暗ライン検出方法及び装置
【課題】 画像内の暗いライン（暗ライン）、特に、暗ライン端を高精度に検出し、例えば口裂線を高精度に検出できるようにする。
【解決手段】 唇周辺画像内に設定した口裂線探索領域において、任意に設定した起点画素列の各画素を開始点とし、隣接する画素列から開始点画素を中心に予め設定した所定範囲内の画素の中で最もグレイスケール値の低い画素を選択し、更に、選択した画素を中心とした所定範囲内の画素の中で最もグレイスケール値の低い画素を次の隣接画素列から選択する動作を口裂線探索領域端の画素列まで順次行い、各開始点画素毎に得られた全選択画素軌跡からグレイスケール総計値が最小の画素の軌跡を口裂線部分とし、この口裂線部分の軌跡上のグレイスケール値変化率が極大となる画素位置を口裂線端部として口裂線を検出する。
【解決手段】 唇周辺画像内に設定した口裂線探索領域において、任意に設定した起点画素列の各画素を開始点とし、隣接する画素列から開始点画素を中心に予め設定した所定範囲内の画素の中で最もグレイスケール値の低い画素を選択し、更に、選択した画素を中心とした所定範囲内の画素の中で最もグレイスケール値の低い画素を次の隣接画素列から選択する動作を口裂線探索領域端の画素列まで順次行い、各開始点画素毎に得られた全選択画素軌跡からグレイスケール総計値が最小の画素の軌跡を口裂線部分とし、この口裂線部分の軌跡上のグレイスケール値変化率が極大となる画素位置を口裂線端部として口裂線を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の明るさの低い線である暗いラインを検出する暗ライン検出方法及び装置に関し、特に、ライン端を精度良く検出可能な暗ライン検出方法及び装置に関する。
【背景技術】
【０００２】
例えば、唇の動きを利用して発話内容を認識するためには、唇周辺画像から唇の横幅、縦幅の変化を取得することが有効である。
唇周辺画像から唇の横幅、縦幅を検出する従来方法としては、肌領域内の画素と唇領域内の画素とのＲＧＢ成分値の差を用いて、画素毎に領域を分割して唇周辺画像から唇領域を抽出する方法が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００３−１８７２４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述の従来方法では、肌領域の画素のＲＧＢ値と唇領域の画素のＲＧＢ値は必ずしも明確に分離できるものではなく、検出対象者の個人差によって肌領域と唇領域を分離することが困難な場合もある。このような場合、唇の横幅、縦幅の検出精度が低下し、発話内容の識別精度が低下する。
【０００４】
ところで、唇周辺画像から唇の横幅、縦幅を検出する別の方法として、人間の上唇と下唇が合わさった口裂部分を示す口裂線を検出し、検出した口裂線を利用して唇の横幅、縦幅を検出する方法が考えられる。画像において、口裂部分は周辺部分と比較して明るさが低く、水平方向に連続した線である暗いライン（暗ライン）として写る。従って、画像内の暗ラインを高精度に検出できれば、唇の横幅、縦幅も精度良く検出することが可能となる。
本発明は上記問題点に着目してなされたもので、画像内の暗ラインを高精度に検出可能な暗ライン検出方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
このため、請求項１の発明は、画像内の明るさの低い線である暗ラインを検出する暗ライン検出方法であって、前記画像の任意の画素列を起点とし、該起点画素列の各画素を開始点とし、前記起点画素列に隣接する画素列から前記開始点画素を中心に予め設定した所定範囲内の画素の中で最もグレイスケール値の低い画素を選択した後、前記選択画素を中心とした前記所定範囲内の画素の中で最もグレイスケール値の低い画素を次の隣接画素列から選択する動作を画像端の画素列まで順次行い、前記各開始点画素毎の、前記起点画素列から画像端画素列までの選択画素の各軌跡情報及び各グレイスケール総計値を記憶し、グレイスケール総計値が最小となる画素軌跡を暗ライン部分とし、該暗ライン部分の軌跡上のグレイスケール値変化率が極大となる画素位置を暗ライン端部として前記暗ラインを検出することを特徴とする
【０００６】
前記暗ラインとして、請求項２のように、顔画像内の口裂線を検出するようにした。この場合、具体的には、請求項３のように、人物の前記顔画像から切り出した唇周辺画像から唇領域を抽出する段階と、抽出された前記唇領域に基づいて口裂線探索領域を設定する段階とを含み、設定された前記口裂線探索領域の画像から前記口裂線を検出するようにした。
【０００７】
前記唇領域抽出段階は、請求項４のように、予め設定した大きさの領域を有するオペレータを、前記唇周辺画像内で所定画素毎にずらして走査し、走査毎に前記オペレータ領域内の全画素のＲ色成分からＧ色成分を減算した値の総計値を演算し、該総計値が最大となった走査位置を、唇領域として抽出するようにするとよい。
【０００８】
請求項５のように、設定された前記口裂線探索領域画像から口裂線部分を検出する場合、前記口裂線探索領域画像の中央の縦方向画素列を、前記起点画素列として左右の画像端部に向けてそれぞれ画素の前記選択動作を行うようにするとよい。
【０００９】
請求項６の発明は、画像内の明るさの低い線である暗ラインを検出する暗ライン検出装置であって、前記画像の任意の画素列を起点とし、該起点画素列の各画素を開始点とし、前記起点画素列に隣接する画素列から前記開始点画素を中心に予め設定した所定範囲内の画素の中で最もグレイスケール値の低い画素を選択した後、前記選択画素を中心とした前記所定範囲内の画素の中で最もグレイスケール値の低い画素を次の隣接画素列から選択する動作を画像端の画素列まで順次行い、前記各開始点画素毎の、前記起点画素列から画像端画素列までの選択画素の各軌跡情報及び各グレイスケール総計値を出力する手段と、前記出力された各軌跡情報及び各グレイスケール総計値を記憶する手段と、記憶された各軌跡情報及び各グレイスケール総計値に基づいて、グレイスケール総計値が最小である画素の軌跡を暗ライン部分と判断する暗ライン部分判断手段と、該暗ライン部分判断手段が暗ライン部分と判断した軌跡上のグレイスケール値の変化率を演算し、変化率が極大となった画素位置を暗ライン端部と判断するライン端部判断手段とを備えて構成した。
【００１０】
前記暗ラインとして、請求項７のように、顔画像内の口裂線を検出する構成とするとよい。
かかる構成では、口裂線、特に、口裂線の端部を高精度に検出できるようになり、検出した口裂線を用いて唇の横幅及び縦幅を高精度に検出できるようになるので、唇の横幅、縦幅の変化から発話内容を認識するシステムにおける認識精度を向上できるようになる。
【００１１】
請求項２の発明の場合、具体的には、請求項８のように、人物の顔画像から切り出した唇周辺画像から唇領域を抽出する手段と、抽出された前記唇領域に基づいて口裂線探索領域を設定する手段とを含み、設定された前記口裂線探索領域の画像から前記口裂線を検出する構成とするとよい。
【００１２】
前記唇領域抽出手段は、請求項９のように、予め設定した大きさの領域を有するオペレータを、前記唇周辺画像内で所定画素毎にずらして走査し、走査毎に前記オペレータ領域内の全画素のＲ色成分からＧ色成分を減算した値の総計値を演算し、該総計値が最大となった走査位置を、唇領域として抽出する構成とするとよい。
【００１３】
請求項１０のように、設定された前記口裂線探索領域画像から口裂線部分を検出する場合、前記口裂線探索領域画像の中央の縦方向画素列を、前記起点画素列として左右の画像端部に向けてそれぞれ前記画素の選択動作を行う構成とするとよい。
【発明の効果】
【００１４】
以上説明したように本発明及び装置によれば、画像内に存在する周辺より明るさの低い暗ラインを高精度に検出でき、特に、暗ラインの端部を高精度に検出できる。従って、例えば顔画像の唇部分の口裂線検出に適用すれば、口裂線の横幅を高精度に検出できるので、唇の横幅及び縦幅の検出精度を向上でき、唇の動きを利用した発話認識システムの認識精度を向上できる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明に係る暗ライン検出装置を口裂線検出に適用した一実施形態の構成図である。
図１において、口裂線検出装置１は、入力する顔画像から唇周辺画像を切り出し、切り出した唇周辺画像から唇領域を抽出して口裂線探索領域を設定する唇領域抽出部２と、該唇領域抽出部２の設定した口裂線探索領域の画像から本発明の暗ライン検出方法により暗ラインとして口裂線を検出する口裂線検出部３と、を備えて構成される。
【００１６】
次に、前記唇領域抽出部２及び口裂線検出部３における各処理動作について詳述する。
まず、唇領域抽出部２の処理動作について説明する。
前記唇領域抽出部２は、例えばカメラ或いは画像記憶装置等から、図２に示すような顔画像Ａを取り込み、更に、取り込んだ顔画像Ａの点線で囲まれた部分を、従来公知の方法を用いて唇周辺画像Ｂとして切り出す。
【００１７】
次いで、切り出した唇周辺画像Ｂの各画素の色成分であるＲ（赤）、Ｇ（緑），Ｂ（青）の各成分値を算出する。ここで、例えば唇周辺画像Ｂが横方向画素数Ｗ、縦方向画素数Ｈからなる画素数Ｗ×Ｈの２次元画像であるとし、縦方向をｙ軸、横方向をｘ軸としたｘｙ座標で、画像左下隅の画素の座標を（０，０）とすると、各画素は座標（ｘ，ｙ）（ただし、ｘ＝０，１，・・・Ｗ−１、ｙ＝０，１，・・・Ｈ−１）で表せる。そして、各画素のＲ（赤）値、Ｇ（緑）値，Ｂ（青）値は、Ｒ値＝ｒ（ｘ，ｙ）、Ｇ値＝ｇ（ｘ，ｙ）、Ｂ値＝ｂ（ｘ，ｙ）と表せる。
【００１８】
各画素のＲ値、Ｇ値，Ｂ値を算出した後、各画素について、Ｒ値からＧ値を減算した値（以下、ＲＧ値とする）をそれぞれ計算する。即ち、各画素のＲＧ値をＲＧ（ｘｙ）とすると、ＲＧ（ｘｙ）＝ｒ（ｘ，ｙ）−ｇ（ｘ，ｙ）を計算する。そして、このＲＧ値で構成される図３に示す２次元のＲＧ画像Ｃを、唇領域抽出用画像として得る。これは、人物画像の一般的な傾向として、唇部分は赤っぽく、肌部分は緑っぽくなる傾向にあるため、唇領域ではＲＧ値が大きな値となり、肌領域ではＲＧ値が小さい値となる傾向があり、ＲＧ画像Ｃを用いることで唇領域が抽出し易くなるためである。
【００１９】
次いで、前記ＲＧ画像Ｃについて、図３に示すように予め設定した大きさの領域を有するオペレータＯＰｍを、例えば１画素づつずらして走査し、走査毎にオペレータＯＰｍ内の各画素のＲＧ値の合計値を計算する。ここで、前記オペレータＯＰｍの大きさとしては、例えば前記顔画像Ａの両目間の長さＬｅｙｅを基準として、横幅ＯＰｍｗ＝Ｌｅｙｅ／２、縦幅ＯＰｍｈ＝Ｌｅｙｅ／４と設定してもよく、或いは、唇周辺画像Ｂの横幅Ｗを基準として、横幅ＯＰｍｗ＝Ｗ／２、縦幅ＯＰｍｈ＝Ｗ／４と設定してよく、オペレータＯＰｍの大きさは任意に設定すればよい。また、オペレータＯＰｍの走査方法は、１画素づつに限らず、適切な複数画素数づつずらしてもよい。
【００２０】
次いで、走査毎のオペレータＯＰｍ内のＲＧ値の合計値が最大となった走査位置を検出し、ＲＧ値の合計値が最大の走査位置を唇領域Ｄ（図４に示す）として抽出する。そして、抽出した唇領域Ｄの両端をＲＧ画像Ｃの左右端まで延長した図５の斜線領域を口裂線探索領域Ｅ（唇領域Ｄの中央画素列Ｆを境とした右側探索領域Ｅ１と左側探索領域Ｅ２からなる領域）として設定する。従って、唇領域抽出部２は、口裂線探索領域設定手段の機能も備える。
【００２１】
次に、前記口裂線検出部３の処理動作について説明する。
口裂線検出部３では、本発明の暗ライン検出方法を利用して口裂線を検出する。
ここで、本発明の暗ライン検出方法の検出原理について説明する。
本発明の暗ライン検出方法は、各画素がグレイスケール値で表された白黒濃淡画像の任意の画素列を起点とし、この起点画素列の各画素を開始点とし、起点画素列に隣接する画素列から開始点画素を中心に予め設定した所定範囲内の画素の中で最もグレイスケール値の低い画素を選択した後、選択画素を中心とした所定範囲内の画素の中で最もグレイスケール値の低い画素を次の隣接画素列から選択する動作を画像端の画素列まで順次行い、各開始点画素毎の、起点画素列から画像端画素列までの選択画素の各軌跡情報及び各グレイスケール総計値を記憶する。そして、グレイスケール総計値が最小となる画素軌跡を暗ライン部分とし、暗ライン部分の軌跡上のグレイスケール値変化率が極大となる画素位置を暗ライン端部として、暗ラインを検出する。尚、選択した起点画素列が画像の中間位置である場合には、画像の反対側端部に対しても同様の選択動作を行い、暗ラインの検出を行う。
【００２２】
図６を用いて具体的に説明する。
例えば、図６の暗ラインを探索するグレイスケール画像Ｉｍｇが、横方向画素数Ｍ、縦方向画素数Ｎからなる画素数Ｍ×Ｎの２次元画像とすると、画像左下隅を原点したｘｙ座標で、各画素位置Ｐは座標Ｐ（ｘ，ｙ）（ただし、ｘ＝０，１，・・・Ｍ−１、ｙ＝０，１，・・・Ｎ−１）で表せる。
【００２３】
図６の画像において、例えば図の左端の画素列（０，ｙ）（ｙ＝０〜Ｎ−１）を起点画素列に設定し、この起点画素列の各画素（０，ｙ）（ただし、ｙ＝０〜Ｎ−１）を開始点として右端の画素列（Ｍ−１，ｙ）まで、隣接する画素列の所定範囲内の画素から最も暗い（グレイスケール値の小さい）画素を探索する動作を繰り返し行う。
【００２４】
即ち、図７に示すように、ある画素Ｐ（ｘ、ｙ）から隣接する画素列（ｘ＋１の列）の画素を選択する場合、予め設定したシフトレベルｌｖ（画素数に相当する）を用いて、画素Ｐ（ｘ、ｙ）を中心とした隣接画素列の上下所定範囲Ｐ（ｘ＋１，ｙ−ｌｖ）〜Ｐ（ｘ＋１，ｙ＋ｌｖ）の画素の中で最もグレイスケール値の小さい画素を選択する。次いで、例えば画素Ｐ（ｘ＋１，ｙ＋１）が選択されたとすると、この選択画素Ｐ（ｘ＋１，ｙ＋１）を基準として、隣接画素列（ｘ＋２の列）の選択画素Ｐ（ｘ＋１，ｙ＋１）を中心とした上下所定範囲Ｐ（ｘ＋２，ｙ−ｌｖ＋１）〜Ｐ（ｘ＋２，ｙ＋ｌｖ＋１）の画素の中で最もグレイスケール値の小さい画素を選択する。起点画素列の各画素からこの選択動作を画像端の画素列まで繰り返し行う。尚、前記シフトレベルｌｖは、グレイスケール画像Ｉｍｇの大きさ等に基づいて適切に設定すればよい。
【００２５】
かかる選択動作により、起点画素列の各画素毎に、図６に示すような起点画素列から画像端までの暗ライン部分の画素軌跡が得られる。尚、図６は、暗ラインの探索動作を説明するための図であり、起点画素列の２つの画素についてだけ示してある。
【００２６】
起点画素列の各画素毎の選択画素軌跡が得られたら、各起点画素毎の選択画素の軌跡情報（座標位置情報）を記憶すると共に、その軌跡上の各画素のグレイスケール値を合算したグレイスケール総計値を各軌跡毎に演算し、その演算値を軌跡情報と対応付けて記憶する。そして、グレイスケール総計値が最小値となる選択画素軌跡を暗ライン部分と判断する。更に、暗ライン部分と判断した選択画素の軌跡上のグレイスケール値変化率を演算し、変化率が極大値となった画素位置を暗ライン端部と判断する。このようにして、画像内の暗ラインを検出する。
【００２７】
上述した本発明の暗ライン検出方法を用いて口裂線を検出する本実施形態の口裂線検出部３では、前述したような画素選択動作を行って得られた各ライン部分の軌跡情報とグレイスケール総計値を出力する出力部と、出力部からの情報を記憶する記憶部と、記憶情報に基づいて、口裂線部分や口裂線端部をそれぞれ判断する各判断部と、を備える。そして、口裂線検出部３は、本実施形態では、図５の口裂線探索領域Ｅの中央の画素列Ｆを起点画素列として、左右の画像端部に向けて図７で説明した画素選択動作を行う構成である。尚、起点画素列は、口裂線探索領域Ｅの画像端を選択してもよく、口裂線探索領域Ｅ内の画素列の任意の画素列を選択すればよいが、中央の画素列を選択すれば、必ず口裂線が存在するので、画像内のノイズ等の影響による誤検出を防止でき、口裂線の検出が容易となる。
【００２８】
図８は、口裂線探索領域Ｅの右側探索領域Ｅ１における口裂線探索結果の一例を示す図である。
図８に示すように、本実施形態の口裂線検出部３によれば、起点画素列の各画素から出発した選択画素の軌跡は、口裂線の端部である口角部分に収束する。
【００２９】
そして、前記出力部により得られる、起点画素列の各画素毎の図８のような選択画素の軌跡情報である座標位置情報を、記憶部に記憶する。また、出力部は、各軌跡における各画素のグレイスケール総計値を演算して記憶部に出力し、記憶部は前記座標位置情報に対応付けて記憶する。そして、口裂線判断部が、記憶部の記憶情報に基づいてグレイスケール総計値が最小の画素軌跡を最も暗いライン部分として口裂線部分と判断する。更に、口裂線の端部である口角部分は唇領域と肌領域の境界であるため、グレイスケール値の変化が大きくなるので、口裂線判断部が、記憶部の記憶情報に基づいて口裂線部分と判断した画素軌跡について、そのグレイスケール値の変化率が極大となる画素部分を口裂線端部である右側口角部分と判断する。
【００３０】
図９は、口裂線部分の画素軌跡上のレースケール値ｆｍａｘ（ｘ）とその変化率Δｆｍａｘ（ｘ）の例を示した図である。
同様の動作を図５の左側探索領域Ｅ２についても行い、左側口角部分の画素位置を検出し、検出した左右の口角位置間を口裂線とし、左右口角間の長さを口裂線長さとする。
【００３１】
かかる口裂線検出装置１によれば、起点画素列の各画素を開始点として、隣接する画素列の暗い画素を順次選択することにより、選択動作と同時に各ラインの軌跡情報が得られる。そして、各ラインは、必ず口裂線端部に収束するので、特に、口裂線端部である口角部分を従来の口裂線検出方法と比較して高精度に検出できる。従って、かかる口裂線検出方法及び装置を用いることにより、唇の横幅、縦幅を高精度に検出できるようになり、唇の動きを利用した発話内容認識システムに適用すれば、発話内容の認識精度を向上できる。
【００３２】
また、本実施形態では、口裂線探索領域Ｅの中央画素列を起点として左右の画像端に向けて画素の選択動作を行うようにしたので、起点画素列に必ず唇領域部分が含まれるため、ノイズ等の影響を受け難く、口裂線の検出精度をより向上できる。
【００３３】
次に、本発明の口裂線（暗ライン）検出方法を適用した唇の動作パターン計測装置の一例について説明する。
唇動作パターン計測装置１０は、顔画像を撮影するカメラ１１と、画像処理部１２とを備え、前記画像処理部１２は、図１の口裂線検出装置１と同じ構成である口裂線検出部１３と、口裂線検出部１３で検出した口裂線情報に基づいて口裂線検出部１３で抽出される唇周辺画像の連続画像におけるの唇の動きを計測する唇動作計測部１４とを備える。
前記唇動作計測部１４では、閉唇時の唇上端と、開口時の唇左右端位置、唇上端位置、下唇上側中心位置を検出して、発話時に時系列的に変化する唇動作パターンを計測する。
【００３４】
次に、唇動作計測部１４の動作について具体的に説明する。
カメラ１１から顔画像が口裂線検出部１３に入力し、口裂線検出部１３は、発話前の閉唇状態の唇周辺画像から、前述した検出方法により口裂線を検出して口裂線の座標情報を唇動作計測部１４に送る。
【００３５】
唇動作計測部１４は、まず、口裂線検出部１３から入力する口裂線座標情報に基づいて口裂線の長さの１／２の位置を唇の中心として設定し、閉唇時の唇上端位置の検出を行う。
図１１に示すように、設定した唇中心点Ｏの上方に唇上端探索領域Ｇ（図の四角で囲まれた領域）を設定する。図中、Ｌは、口裂線、Ｌ１は左唇端、Ｌ２は右唇端を示す。
【００３６】
次に、図１２に示すように、唇上端探索領域Ｇの横方向画素列毎にグレイスケール値の合計値を計算する。グレイスケール値は、肌領域では大きく、唇領域では小さい。従って、唇上端探索領域Ｇの縦方向（ｙ軸方向）にグレイスケール合計値の変化パターンを検出し、変化が最大となる横方向画素列を検出し、この画素列と中心点Ｏを通る縦方向画素列との交点の画素位置Ｌ３を唇上端として検出する。
【００３７】
次に、開口時の唇左右端位置、唇上端位置、下唇上側中心位置の検出動作について説明する。
本実施形態では、発話前の閉唇状態を初期状態とし、後続の連続画像では１つ前の画像で取得した、唇上端、唇左右端、下唇中心位置の位置情報を利用するようにしている。
【００３８】
まず、開口時の唇左右端位置の検出動作を説明する。
１つ前の画像から取得した唇左右端の位置情報を基準として、図１３に一点鎖線で囲まれた唇端探索領域を唇領域左右に設定する。尚、図１３は唇右端を探索する場合を示す。この場合、最暗ラインは、口腔内から口角を経て肌領域を辿るので、設定した唇端探索領域について前述した暗ライン検出方法を適用し唇右端を検出する。唇左端についても同様に検出する。
【００３９】
次に、開口時の唇上端位置の検出動作を説明する。
唇上端については、閉唇時と開口時で唇上端の形状と位置があまり変化しないことを考慮して、１つ前の画像で取得した画像から図１４に示すような唇上端を含んだ画像領域をテンプレートＴとして記録し、１つ前の画像で取得した唇上端位置を基準として、図１５の一点鎖線で示すような唇上端探索領域を設定し、この探索領域で前記テンプレートＴとマッチングする位置を探索して唇上端位置Ｌ３を検出する。
【００４０】
次に、開口時の下唇上側中心位置の検出動作を説明する。
下唇上側中心位置の検出は、閉唇時の唇上端位置検出と同様にして下唇上側中心位置探索領域を設定し、下唇上側中心位置探索領域の縦方向（ｙ軸方向）にグレイスケール合計値の変化パターンを検出し、変化パターンに応じて唇の開口状態を判定し、判定結果に基づいて下唇上側中心位置を検出する。
【００４１】
例えば、図１６に示すように、（ａ）下唇上部が口腔暗部の場合、（ｂ）下唇上部が歯部の場合、（ｃ）下唇上部が歯茎部の場合で、それぞれグレイスケール合計値の変化パターンが異なる。従って、グレイスケール合計値の変化パターンを検出し、検出したグレイスケール合計値変化パターンの傾向から（ａ）〜（ｃ）のいずれの状態かを判定し、判定結果に基づいてそれぞれ図の点線で示す変化点の画素位置を、下唇上側位置と判断し、この画素列と中心点Ｏを通る縦方向画素列との交点の画素位置を下唇上側中心位置として検出する。
【００４２】
上述のようにして、閉唇状態を初期状態として、後続の連続唇周辺画像からそれぞれ唇左右端位置、唇上端位置、下唇上側中心位置を検出し、唇の横幅、縦幅を計測することにより、唇の動作パターンを計測できる。尚、下唇上側中心位置に代えて下唇下側中心位置を検出するようにしてもよい。
【００４３】
図１７に唇動作パターンの計測例を示す。（Ａ）は「０（ぜろ）」を発話した場合の横幅Ｗｊ、縦幅Ｈｊ及び変化量Δｊの時系列変化を示したもの、（Ｂ）は「７（なな）」を発話した場合の横幅Ｗｊ、縦幅Ｈｊ及び変化量Δｊの時系列変化を示したものである。前記変化量Δｊは、縦幅の変化量と横幅の変化量を合せたものである。
【００４４】
尚、本発明の暗ライン検出方法は、上述した口裂線検出だけでなく、画像内で明るさの低いライン状に写し出される、例えば、壁面を横切る亀裂等の検出にも適用することが可能である。
【図面の簡単な説明】
【００４５】
【図１】本発明に係る暗ライン検出装置の一実施形態を示す口裂線検出装置の構成図
【図２】顔画像と唇周辺画像を示す図
【図３】オペレータによる唇周辺画像走査の説明図
【図４】オペレータ走査により唇周辺画像内に設定される唇領域を示す図
【図５】口裂線探索領域を示す図
【図６】本発明に係る暗ライン検出方法による暗ライン検出原理の説明図
【図７】画素の選択動作の説明図
【図８】口裂線探索結果の例を示す図
【図９】口裂線端部の検出動作の説明図
【図１０】本発明に係る暗ライン検出方法を適用した唇動作パターン計測装置の一例を示す構成図
【図１１】唇上端探索領域設定方法の説明図
【図１２】唇上端検出動作の説明図
【図１３】開口時の唇左右端検出動作の説明図
【図１４】開口時の唇上端位置検出用のテンプレートを示す図
【図１５】開口時の唇上端位置検出動作の説明図
【図１６】開口時の下唇上側中心位置検出動作の説明図
【図１７】唇動作パターンの計測例を示し、（Ａ）は「０（ぜろ）」発話時の計測例を示す図、（Ｂ）は「７（なな）」発話時の計測例を示す図
【符号の説明】
【００４６】
１ 口裂線検出装置
２ 唇領域抽出部
３ 口裂線検出部
１０ 唇動作パターン計測装置
１１ カメラ
１２ 画像処理部
１３ 口裂線検出部
１４ 唇動作計測部
【技術分野】
【０００１】
本発明は、画像内の明るさの低い線である暗いラインを検出する暗ライン検出方法及び装置に関し、特に、ライン端を精度良く検出可能な暗ライン検出方法及び装置に関する。
【背景技術】
【０００２】
例えば、唇の動きを利用して発話内容を認識するためには、唇周辺画像から唇の横幅、縦幅の変化を取得することが有効である。
唇周辺画像から唇の横幅、縦幅を検出する従来方法としては、肌領域内の画素と唇領域内の画素とのＲＧＢ成分値の差を用いて、画素毎に領域を分割して唇周辺画像から唇領域を抽出する方法が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００３−１８７２４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述の従来方法では、肌領域の画素のＲＧＢ値と唇領域の画素のＲＧＢ値は必ずしも明確に分離できるものではなく、検出対象者の個人差によって肌領域と唇領域を分離することが困難な場合もある。このような場合、唇の横幅、縦幅の検出精度が低下し、発話内容の識別精度が低下する。
【０００４】
ところで、唇周辺画像から唇の横幅、縦幅を検出する別の方法として、人間の上唇と下唇が合わさった口裂部分を示す口裂線を検出し、検出した口裂線を利用して唇の横幅、縦幅を検出する方法が考えられる。画像において、口裂部分は周辺部分と比較して明るさが低く、水平方向に連続した線である暗いライン（暗ライン）として写る。従って、画像内の暗ラインを高精度に検出できれば、唇の横幅、縦幅も精度良く検出することが可能となる。
本発明は上記問題点に着目してなされたもので、画像内の暗ラインを高精度に検出可能な暗ライン検出方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
このため、請求項１の発明は、画像内の明るさの低い線である暗ラインを検出する暗ライン検出方法であって、前記画像の任意の画素列を起点とし、該起点画素列の各画素を開始点とし、前記起点画素列に隣接する画素列から前記開始点画素を中心に予め設定した所定範囲内の画素の中で最もグレイスケール値の低い画素を選択した後、前記選択画素を中心とした前記所定範囲内の画素の中で最もグレイスケール値の低い画素を次の隣接画素列から選択する動作を画像端の画素列まで順次行い、前記各開始点画素毎の、前記起点画素列から画像端画素列までの選択画素の各軌跡情報及び各グレイスケール総計値を記憶し、グレイスケール総計値が最小となる画素軌跡を暗ライン部分とし、該暗ライン部分の軌跡上のグレイスケール値変化率が極大となる画素位置を暗ライン端部として前記暗ラインを検出することを特徴とする
【０００６】
前記暗ラインとして、請求項２のように、顔画像内の口裂線を検出するようにした。この場合、具体的には、請求項３のように、人物の前記顔画像から切り出した唇周辺画像から唇領域を抽出する段階と、抽出された前記唇領域に基づいて口裂線探索領域を設定する段階とを含み、設定された前記口裂線探索領域の画像から前記口裂線を検出するようにした。
【０００７】
前記唇領域抽出段階は、請求項４のように、予め設定した大きさの領域を有するオペレータを、前記唇周辺画像内で所定画素毎にずらして走査し、走査毎に前記オペレータ領域内の全画素のＲ色成分からＧ色成分を減算した値の総計値を演算し、該総計値が最大となった走査位置を、唇領域として抽出するようにするとよい。
【０００８】
請求項５のように、設定された前記口裂線探索領域画像から口裂線部分を検出する場合、前記口裂線探索領域画像の中央の縦方向画素列を、前記起点画素列として左右の画像端部に向けてそれぞれ画素の前記選択動作を行うようにするとよい。
【０００９】
請求項６の発明は、画像内の明るさの低い線である暗ラインを検出する暗ライン検出装置であって、前記画像の任意の画素列を起点とし、該起点画素列の各画素を開始点とし、前記起点画素列に隣接する画素列から前記開始点画素を中心に予め設定した所定範囲内の画素の中で最もグレイスケール値の低い画素を選択した後、前記選択画素を中心とした前記所定範囲内の画素の中で最もグレイスケール値の低い画素を次の隣接画素列から選択する動作を画像端の画素列まで順次行い、前記各開始点画素毎の、前記起点画素列から画像端画素列までの選択画素の各軌跡情報及び各グレイスケール総計値を出力する手段と、前記出力された各軌跡情報及び各グレイスケール総計値を記憶する手段と、記憶された各軌跡情報及び各グレイスケール総計値に基づいて、グレイスケール総計値が最小である画素の軌跡を暗ライン部分と判断する暗ライン部分判断手段と、該暗ライン部分判断手段が暗ライン部分と判断した軌跡上のグレイスケール値の変化率を演算し、変化率が極大となった画素位置を暗ライン端部と判断するライン端部判断手段とを備えて構成した。
【００１０】
前記暗ラインとして、請求項７のように、顔画像内の口裂線を検出する構成とするとよい。
かかる構成では、口裂線、特に、口裂線の端部を高精度に検出できるようになり、検出した口裂線を用いて唇の横幅及び縦幅を高精度に検出できるようになるので、唇の横幅、縦幅の変化から発話内容を認識するシステムにおける認識精度を向上できるようになる。
【００１１】
請求項２の発明の場合、具体的には、請求項８のように、人物の顔画像から切り出した唇周辺画像から唇領域を抽出する手段と、抽出された前記唇領域に基づいて口裂線探索領域を設定する手段とを含み、設定された前記口裂線探索領域の画像から前記口裂線を検出する構成とするとよい。
【００１２】
前記唇領域抽出手段は、請求項９のように、予め設定した大きさの領域を有するオペレータを、前記唇周辺画像内で所定画素毎にずらして走査し、走査毎に前記オペレータ領域内の全画素のＲ色成分からＧ色成分を減算した値の総計値を演算し、該総計値が最大となった走査位置を、唇領域として抽出する構成とするとよい。
【００１３】
請求項１０のように、設定された前記口裂線探索領域画像から口裂線部分を検出する場合、前記口裂線探索領域画像の中央の縦方向画素列を、前記起点画素列として左右の画像端部に向けてそれぞれ前記画素の選択動作を行う構成とするとよい。
【発明の効果】
【００１４】
以上説明したように本発明及び装置によれば、画像内に存在する周辺より明るさの低い暗ラインを高精度に検出でき、特に、暗ラインの端部を高精度に検出できる。従って、例えば顔画像の唇部分の口裂線検出に適用すれば、口裂線の横幅を高精度に検出できるので、唇の横幅及び縦幅の検出精度を向上でき、唇の動きを利用した発話認識システムの認識精度を向上できる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明に係る暗ライン検出装置を口裂線検出に適用した一実施形態の構成図である。
図１において、口裂線検出装置１は、入力する顔画像から唇周辺画像を切り出し、切り出した唇周辺画像から唇領域を抽出して口裂線探索領域を設定する唇領域抽出部２と、該唇領域抽出部２の設定した口裂線探索領域の画像から本発明の暗ライン検出方法により暗ラインとして口裂線を検出する口裂線検出部３と、を備えて構成される。
【００１６】
次に、前記唇領域抽出部２及び口裂線検出部３における各処理動作について詳述する。
まず、唇領域抽出部２の処理動作について説明する。
前記唇領域抽出部２は、例えばカメラ或いは画像記憶装置等から、図２に示すような顔画像Ａを取り込み、更に、取り込んだ顔画像Ａの点線で囲まれた部分を、従来公知の方法を用いて唇周辺画像Ｂとして切り出す。
【００１７】
次いで、切り出した唇周辺画像Ｂの各画素の色成分であるＲ（赤）、Ｇ（緑），Ｂ（青）の各成分値を算出する。ここで、例えば唇周辺画像Ｂが横方向画素数Ｗ、縦方向画素数Ｈからなる画素数Ｗ×Ｈの２次元画像であるとし、縦方向をｙ軸、横方向をｘ軸としたｘｙ座標で、画像左下隅の画素の座標を（０，０）とすると、各画素は座標（ｘ，ｙ）（ただし、ｘ＝０，１，・・・Ｗ−１、ｙ＝０，１，・・・Ｈ−１）で表せる。そして、各画素のＲ（赤）値、Ｇ（緑）値，Ｂ（青）値は、Ｒ値＝ｒ（ｘ，ｙ）、Ｇ値＝ｇ（ｘ，ｙ）、Ｂ値＝ｂ（ｘ，ｙ）と表せる。
【００１８】
各画素のＲ値、Ｇ値，Ｂ値を算出した後、各画素について、Ｒ値からＧ値を減算した値（以下、ＲＧ値とする）をそれぞれ計算する。即ち、各画素のＲＧ値をＲＧ（ｘｙ）とすると、ＲＧ（ｘｙ）＝ｒ（ｘ，ｙ）−ｇ（ｘ，ｙ）を計算する。そして、このＲＧ値で構成される図３に示す２次元のＲＧ画像Ｃを、唇領域抽出用画像として得る。これは、人物画像の一般的な傾向として、唇部分は赤っぽく、肌部分は緑っぽくなる傾向にあるため、唇領域ではＲＧ値が大きな値となり、肌領域ではＲＧ値が小さい値となる傾向があり、ＲＧ画像Ｃを用いることで唇領域が抽出し易くなるためである。
【００１９】
次いで、前記ＲＧ画像Ｃについて、図３に示すように予め設定した大きさの領域を有するオペレータＯＰｍを、例えば１画素づつずらして走査し、走査毎にオペレータＯＰｍ内の各画素のＲＧ値の合計値を計算する。ここで、前記オペレータＯＰｍの大きさとしては、例えば前記顔画像Ａの両目間の長さＬｅｙｅを基準として、横幅ＯＰｍｗ＝Ｌｅｙｅ／２、縦幅ＯＰｍｈ＝Ｌｅｙｅ／４と設定してもよく、或いは、唇周辺画像Ｂの横幅Ｗを基準として、横幅ＯＰｍｗ＝Ｗ／２、縦幅ＯＰｍｈ＝Ｗ／４と設定してよく、オペレータＯＰｍの大きさは任意に設定すればよい。また、オペレータＯＰｍの走査方法は、１画素づつに限らず、適切な複数画素数づつずらしてもよい。
【００２０】
次いで、走査毎のオペレータＯＰｍ内のＲＧ値の合計値が最大となった走査位置を検出し、ＲＧ値の合計値が最大の走査位置を唇領域Ｄ（図４に示す）として抽出する。そして、抽出した唇領域Ｄの両端をＲＧ画像Ｃの左右端まで延長した図５の斜線領域を口裂線探索領域Ｅ（唇領域Ｄの中央画素列Ｆを境とした右側探索領域Ｅ１と左側探索領域Ｅ２からなる領域）として設定する。従って、唇領域抽出部２は、口裂線探索領域設定手段の機能も備える。
【００２１】
次に、前記口裂線検出部３の処理動作について説明する。
口裂線検出部３では、本発明の暗ライン検出方法を利用して口裂線を検出する。
ここで、本発明の暗ライン検出方法の検出原理について説明する。
本発明の暗ライン検出方法は、各画素がグレイスケール値で表された白黒濃淡画像の任意の画素列を起点とし、この起点画素列の各画素を開始点とし、起点画素列に隣接する画素列から開始点画素を中心に予め設定した所定範囲内の画素の中で最もグレイスケール値の低い画素を選択した後、選択画素を中心とした所定範囲内の画素の中で最もグレイスケール値の低い画素を次の隣接画素列から選択する動作を画像端の画素列まで順次行い、各開始点画素毎の、起点画素列から画像端画素列までの選択画素の各軌跡情報及び各グレイスケール総計値を記憶する。そして、グレイスケール総計値が最小となる画素軌跡を暗ライン部分とし、暗ライン部分の軌跡上のグレイスケール値変化率が極大となる画素位置を暗ライン端部として、暗ラインを検出する。尚、選択した起点画素列が画像の中間位置である場合には、画像の反対側端部に対しても同様の選択動作を行い、暗ラインの検出を行う。
【００２２】
図６を用いて具体的に説明する。
例えば、図６の暗ラインを探索するグレイスケール画像Ｉｍｇが、横方向画素数Ｍ、縦方向画素数Ｎからなる画素数Ｍ×Ｎの２次元画像とすると、画像左下隅を原点したｘｙ座標で、各画素位置Ｐは座標Ｐ（ｘ，ｙ）（ただし、ｘ＝０，１，・・・Ｍ−１、ｙ＝０，１，・・・Ｎ−１）で表せる。
【００２３】
図６の画像において、例えば図の左端の画素列（０，ｙ）（ｙ＝０〜Ｎ−１）を起点画素列に設定し、この起点画素列の各画素（０，ｙ）（ただし、ｙ＝０〜Ｎ−１）を開始点として右端の画素列（Ｍ−１，ｙ）まで、隣接する画素列の所定範囲内の画素から最も暗い（グレイスケール値の小さい）画素を探索する動作を繰り返し行う。
【００２４】
即ち、図７に示すように、ある画素Ｐ（ｘ、ｙ）から隣接する画素列（ｘ＋１の列）の画素を選択する場合、予め設定したシフトレベルｌｖ（画素数に相当する）を用いて、画素Ｐ（ｘ、ｙ）を中心とした隣接画素列の上下所定範囲Ｐ（ｘ＋１，ｙ−ｌｖ）〜Ｐ（ｘ＋１，ｙ＋ｌｖ）の画素の中で最もグレイスケール値の小さい画素を選択する。次いで、例えば画素Ｐ（ｘ＋１，ｙ＋１）が選択されたとすると、この選択画素Ｐ（ｘ＋１，ｙ＋１）を基準として、隣接画素列（ｘ＋２の列）の選択画素Ｐ（ｘ＋１，ｙ＋１）を中心とした上下所定範囲Ｐ（ｘ＋２，ｙ−ｌｖ＋１）〜Ｐ（ｘ＋２，ｙ＋ｌｖ＋１）の画素の中で最もグレイスケール値の小さい画素を選択する。起点画素列の各画素からこの選択動作を画像端の画素列まで繰り返し行う。尚、前記シフトレベルｌｖは、グレイスケール画像Ｉｍｇの大きさ等に基づいて適切に設定すればよい。
【００２５】
かかる選択動作により、起点画素列の各画素毎に、図６に示すような起点画素列から画像端までの暗ライン部分の画素軌跡が得られる。尚、図６は、暗ラインの探索動作を説明するための図であり、起点画素列の２つの画素についてだけ示してある。
【００２６】
起点画素列の各画素毎の選択画素軌跡が得られたら、各起点画素毎の選択画素の軌跡情報（座標位置情報）を記憶すると共に、その軌跡上の各画素のグレイスケール値を合算したグレイスケール総計値を各軌跡毎に演算し、その演算値を軌跡情報と対応付けて記憶する。そして、グレイスケール総計値が最小値となる選択画素軌跡を暗ライン部分と判断する。更に、暗ライン部分と判断した選択画素の軌跡上のグレイスケール値変化率を演算し、変化率が極大値となった画素位置を暗ライン端部と判断する。このようにして、画像内の暗ラインを検出する。
【００２７】
上述した本発明の暗ライン検出方法を用いて口裂線を検出する本実施形態の口裂線検出部３では、前述したような画素選択動作を行って得られた各ライン部分の軌跡情報とグレイスケール総計値を出力する出力部と、出力部からの情報を記憶する記憶部と、記憶情報に基づいて、口裂線部分や口裂線端部をそれぞれ判断する各判断部と、を備える。そして、口裂線検出部３は、本実施形態では、図５の口裂線探索領域Ｅの中央の画素列Ｆを起点画素列として、左右の画像端部に向けて図７で説明した画素選択動作を行う構成である。尚、起点画素列は、口裂線探索領域Ｅの画像端を選択してもよく、口裂線探索領域Ｅ内の画素列の任意の画素列を選択すればよいが、中央の画素列を選択すれば、必ず口裂線が存在するので、画像内のノイズ等の影響による誤検出を防止でき、口裂線の検出が容易となる。
【００２８】
図８は、口裂線探索領域Ｅの右側探索領域Ｅ１における口裂線探索結果の一例を示す図である。
図８に示すように、本実施形態の口裂線検出部３によれば、起点画素列の各画素から出発した選択画素の軌跡は、口裂線の端部である口角部分に収束する。
【００２９】
そして、前記出力部により得られる、起点画素列の各画素毎の図８のような選択画素の軌跡情報である座標位置情報を、記憶部に記憶する。また、出力部は、各軌跡における各画素のグレイスケール総計値を演算して記憶部に出力し、記憶部は前記座標位置情報に対応付けて記憶する。そして、口裂線判断部が、記憶部の記憶情報に基づいてグレイスケール総計値が最小の画素軌跡を最も暗いライン部分として口裂線部分と判断する。更に、口裂線の端部である口角部分は唇領域と肌領域の境界であるため、グレイスケール値の変化が大きくなるので、口裂線判断部が、記憶部の記憶情報に基づいて口裂線部分と判断した画素軌跡について、そのグレイスケール値の変化率が極大となる画素部分を口裂線端部である右側口角部分と判断する。
【００３０】
図９は、口裂線部分の画素軌跡上のレースケール値ｆｍａｘ（ｘ）とその変化率Δｆｍａｘ（ｘ）の例を示した図である。
同様の動作を図５の左側探索領域Ｅ２についても行い、左側口角部分の画素位置を検出し、検出した左右の口角位置間を口裂線とし、左右口角間の長さを口裂線長さとする。
【００３１】
かかる口裂線検出装置１によれば、起点画素列の各画素を開始点として、隣接する画素列の暗い画素を順次選択することにより、選択動作と同時に各ラインの軌跡情報が得られる。そして、各ラインは、必ず口裂線端部に収束するので、特に、口裂線端部である口角部分を従来の口裂線検出方法と比較して高精度に検出できる。従って、かかる口裂線検出方法及び装置を用いることにより、唇の横幅、縦幅を高精度に検出できるようになり、唇の動きを利用した発話内容認識システムに適用すれば、発話内容の認識精度を向上できる。
【００３２】
また、本実施形態では、口裂線探索領域Ｅの中央画素列を起点として左右の画像端に向けて画素の選択動作を行うようにしたので、起点画素列に必ず唇領域部分が含まれるため、ノイズ等の影響を受け難く、口裂線の検出精度をより向上できる。
【００３３】
次に、本発明の口裂線（暗ライン）検出方法を適用した唇の動作パターン計測装置の一例について説明する。
唇動作パターン計測装置１０は、顔画像を撮影するカメラ１１と、画像処理部１２とを備え、前記画像処理部１２は、図１の口裂線検出装置１と同じ構成である口裂線検出部１３と、口裂線検出部１３で検出した口裂線情報に基づいて口裂線検出部１３で抽出される唇周辺画像の連続画像におけるの唇の動きを計測する唇動作計測部１４とを備える。
前記唇動作計測部１４では、閉唇時の唇上端と、開口時の唇左右端位置、唇上端位置、下唇上側中心位置を検出して、発話時に時系列的に変化する唇動作パターンを計測する。
【００３４】
次に、唇動作計測部１４の動作について具体的に説明する。
カメラ１１から顔画像が口裂線検出部１３に入力し、口裂線検出部１３は、発話前の閉唇状態の唇周辺画像から、前述した検出方法により口裂線を検出して口裂線の座標情報を唇動作計測部１４に送る。
【００３５】
唇動作計測部１４は、まず、口裂線検出部１３から入力する口裂線座標情報に基づいて口裂線の長さの１／２の位置を唇の中心として設定し、閉唇時の唇上端位置の検出を行う。
図１１に示すように、設定した唇中心点Ｏの上方に唇上端探索領域Ｇ（図の四角で囲まれた領域）を設定する。図中、Ｌは、口裂線、Ｌ１は左唇端、Ｌ２は右唇端を示す。
【００３６】
次に、図１２に示すように、唇上端探索領域Ｇの横方向画素列毎にグレイスケール値の合計値を計算する。グレイスケール値は、肌領域では大きく、唇領域では小さい。従って、唇上端探索領域Ｇの縦方向（ｙ軸方向）にグレイスケール合計値の変化パターンを検出し、変化が最大となる横方向画素列を検出し、この画素列と中心点Ｏを通る縦方向画素列との交点の画素位置Ｌ３を唇上端として検出する。
【００３７】
次に、開口時の唇左右端位置、唇上端位置、下唇上側中心位置の検出動作について説明する。
本実施形態では、発話前の閉唇状態を初期状態とし、後続の連続画像では１つ前の画像で取得した、唇上端、唇左右端、下唇中心位置の位置情報を利用するようにしている。
【００３８】
まず、開口時の唇左右端位置の検出動作を説明する。
１つ前の画像から取得した唇左右端の位置情報を基準として、図１３に一点鎖線で囲まれた唇端探索領域を唇領域左右に設定する。尚、図１３は唇右端を探索する場合を示す。この場合、最暗ラインは、口腔内から口角を経て肌領域を辿るので、設定した唇端探索領域について前述した暗ライン検出方法を適用し唇右端を検出する。唇左端についても同様に検出する。
【００３９】
次に、開口時の唇上端位置の検出動作を説明する。
唇上端については、閉唇時と開口時で唇上端の形状と位置があまり変化しないことを考慮して、１つ前の画像で取得した画像から図１４に示すような唇上端を含んだ画像領域をテンプレートＴとして記録し、１つ前の画像で取得した唇上端位置を基準として、図１５の一点鎖線で示すような唇上端探索領域を設定し、この探索領域で前記テンプレートＴとマッチングする位置を探索して唇上端位置Ｌ３を検出する。
【００４０】
次に、開口時の下唇上側中心位置の検出動作を説明する。
下唇上側中心位置の検出は、閉唇時の唇上端位置検出と同様にして下唇上側中心位置探索領域を設定し、下唇上側中心位置探索領域の縦方向（ｙ軸方向）にグレイスケール合計値の変化パターンを検出し、変化パターンに応じて唇の開口状態を判定し、判定結果に基づいて下唇上側中心位置を検出する。
【００４１】
例えば、図１６に示すように、（ａ）下唇上部が口腔暗部の場合、（ｂ）下唇上部が歯部の場合、（ｃ）下唇上部が歯茎部の場合で、それぞれグレイスケール合計値の変化パターンが異なる。従って、グレイスケール合計値の変化パターンを検出し、検出したグレイスケール合計値変化パターンの傾向から（ａ）〜（ｃ）のいずれの状態かを判定し、判定結果に基づいてそれぞれ図の点線で示す変化点の画素位置を、下唇上側位置と判断し、この画素列と中心点Ｏを通る縦方向画素列との交点の画素位置を下唇上側中心位置として検出する。
【００４２】
上述のようにして、閉唇状態を初期状態として、後続の連続唇周辺画像からそれぞれ唇左右端位置、唇上端位置、下唇上側中心位置を検出し、唇の横幅、縦幅を計測することにより、唇の動作パターンを計測できる。尚、下唇上側中心位置に代えて下唇下側中心位置を検出するようにしてもよい。
【００４３】
図１７に唇動作パターンの計測例を示す。（Ａ）は「０（ぜろ）」を発話した場合の横幅Ｗｊ、縦幅Ｈｊ及び変化量Δｊの時系列変化を示したもの、（Ｂ）は「７（なな）」を発話した場合の横幅Ｗｊ、縦幅Ｈｊ及び変化量Δｊの時系列変化を示したものである。前記変化量Δｊは、縦幅の変化量と横幅の変化量を合せたものである。
【００４４】
尚、本発明の暗ライン検出方法は、上述した口裂線検出だけでなく、画像内で明るさの低いライン状に写し出される、例えば、壁面を横切る亀裂等の検出にも適用することが可能である。
【図面の簡単な説明】
【００４５】
【図１】本発明に係る暗ライン検出装置の一実施形態を示す口裂線検出装置の構成図
【図２】顔画像と唇周辺画像を示す図
【図３】オペレータによる唇周辺画像走査の説明図
【図４】オペレータ走査により唇周辺画像内に設定される唇領域を示す図
【図５】口裂線探索領域を示す図
【図６】本発明に係る暗ライン検出方法による暗ライン検出原理の説明図
【図７】画素の選択動作の説明図
【図８】口裂線探索結果の例を示す図
【図９】口裂線端部の検出動作の説明図
【図１０】本発明に係る暗ライン検出方法を適用した唇動作パターン計測装置の一例を示す構成図
【図１１】唇上端探索領域設定方法の説明図
【図１２】唇上端検出動作の説明図
【図１３】開口時の唇左右端検出動作の説明図
【図１４】開口時の唇上端位置検出用のテンプレートを示す図
【図１５】開口時の唇上端位置検出動作の説明図
【図１６】開口時の下唇上側中心位置検出動作の説明図
【図１７】唇動作パターンの計測例を示し、（Ａ）は「０（ぜろ）」発話時の計測例を示す図、（Ｂ）は「７（なな）」発話時の計測例を示す図
【符号の説明】
【００４６】
１ 口裂線検出装置
２ 唇領域抽出部
３ 口裂線検出部
１０ 唇動作パターン計測装置
１１ カメラ
１２ 画像処理部
１３ 口裂線検出部
１４ 唇動作計測部
【特許請求の範囲】
【請求項１】
画像内の明るさの低い線である暗ラインを検出する暗ライン検出方法であって、
前記画像の任意の画素列を起点とし、該起点画素列の各画素を開始点とし、前記起点画素列に隣接する画素列から前記開始点画素を中心に予め設定した所定範囲内の画素の中で最もグレイスケール値の低い画素を選択した後、前記選択画素を中心とした前記所定範囲内の画素の中で最もグレイスケール値の低い画素を次の隣接画素列から選択する動作を画像端の画素列まで順次行い、前記各開始点画素毎の、前記起点画素列から画像端画素列までの選択画素の各軌跡情報及び各グレイスケール総計値を記憶し、グレイスケール総計値が最小となる画素軌跡を暗ライン部分とし、該暗ライン部分の軌跡上のグレイスケール値変化率が極大となる画素位置を暗ライン端部として前記暗ラインを検出することを特徴とする暗ライン検出方法。
【請求項２】
前記暗ラインとして、顔画像内の口裂線を検出する請求項１に記載の暗ライン検出方法。
【請求項３】
人物の前記顔画像から切り出した唇周辺画像から唇領域を抽出する段階と、
抽出された前記唇領域に基づいて口裂線探索領域を設定する段階と、
を含み、
設定された前記口裂線探索領域の画像から前記口裂線を検出するようにした請求項２に記載の暗ライン検出方法。
【請求項４】
前記唇領域抽出段階は、予め設定した大きさの領域を有するオペレータを、前記唇周辺画像内で所定画素毎にずらして走査し、走査毎に前記オペレータ領域内の全画素のＲ色成分からＧ色成分を減算した値の総計値を演算し、該総計値が最大となった走査位置を、唇領域として抽出する請求項３に記載の暗ライン検出方法。
【請求項５】
設定された前記口裂線探索領域画像から口裂線部分を検出する場合、前記口裂線探索領域画像の中央の縦方向画素列を、前記起点画素列として左右の画像端部に向けてそれぞれ画素の前記選択動作を行うようにした請求項３又は４に記載の暗ライン検出方法。
【請求項６】
画像内の明るさの低い線である暗ラインを検出する暗ライン検出装置であって、
前記画像の任意の画素列を起点とし、該起点画素列の各画素を開始点とし、前記起点画素列に隣接する画素列から前記開始点画素を中心に予め設定した所定範囲内の画素の中で最もグレイスケール値の低い画素を選択した後、前記選択画素を中心とした前記所定範囲内の画素の中で最もグレイスケール値の低い画素を次の隣接画素列から選択する動作を画像端の画素列まで順次行い、前記各開始点画素毎の、前記起点画素列から画像端画素列までの選択画素の各軌跡情報及び各グレイスケール総計値を出力する手段と、
前記出力された各軌跡情報及び各グレイスケール総計値を記憶する手段と、
記憶された各軌跡情報及び各グレイスケール総計値に基づいて、グレイスケール総計値が最小である画素の軌跡を暗ライン部分と判断する暗ライン部分判断手段と、
該暗ライン部分判断手段が前記暗ライン部分と判断した軌跡上のグレイスケール値の変化率を演算し、変化率が極大となった画素位置を暗ライン端部と判断するライン端部判断手段と、
を備えて構成したことを特徴とする暗ライン検出装置。
【請求項７】
前記暗ラインとして、顔画像内の口裂線を検出する請求項６に記載の暗ライン検出装置。
【請求項８】
人物の顔画像から切り出した唇周辺画像から唇領域を抽出する手段と、
抽出された前記唇領域に基づいて口裂線探索領域を設定する手段と、
を含み、
設定された前記口裂線探索領域の画像から前記口裂線を検出する構成である請求項７に記載の暗ライン検出装置。
【請求項９】
前記唇領域抽出手段は、予め設定した大きさの領域を有するオペレータを、前記唇周辺画像内で所定画素毎にずらして走査し、走査毎に前記オペレータ領域内の全画素のＲ色成分からＧ色成分を減算した値の総計値を演算し、該総計値が最大となった走査位置を、唇領域として抽出する構成である請求項８に記載の暗ライン検出装置。
【請求項１０】
設定された前記口裂線探索領域画像から口裂線部分を検出する場合、前記口裂線探索領域画像の中央の縦方向画素列を、前記起点画素列として左右の画像端部に向けてそれぞれ前記画素の選択動作を行う構成とした請求項８又は９に記載の暗ライン検出装置。
【請求項１】
画像内の明るさの低い線である暗ラインを検出する暗ライン検出方法であって、
前記画像の任意の画素列を起点とし、該起点画素列の各画素を開始点とし、前記起点画素列に隣接する画素列から前記開始点画素を中心に予め設定した所定範囲内の画素の中で最もグレイスケール値の低い画素を選択した後、前記選択画素を中心とした前記所定範囲内の画素の中で最もグレイスケール値の低い画素を次の隣接画素列から選択する動作を画像端の画素列まで順次行い、前記各開始点画素毎の、前記起点画素列から画像端画素列までの選択画素の各軌跡情報及び各グレイスケール総計値を記憶し、グレイスケール総計値が最小となる画素軌跡を暗ライン部分とし、該暗ライン部分の軌跡上のグレイスケール値変化率が極大となる画素位置を暗ライン端部として前記暗ラインを検出することを特徴とする暗ライン検出方法。
【請求項２】
前記暗ラインとして、顔画像内の口裂線を検出する請求項１に記載の暗ライン検出方法。
【請求項３】
人物の前記顔画像から切り出した唇周辺画像から唇領域を抽出する段階と、
抽出された前記唇領域に基づいて口裂線探索領域を設定する段階と、
を含み、
設定された前記口裂線探索領域の画像から前記口裂線を検出するようにした請求項２に記載の暗ライン検出方法。
【請求項４】
前記唇領域抽出段階は、予め設定した大きさの領域を有するオペレータを、前記唇周辺画像内で所定画素毎にずらして走査し、走査毎に前記オペレータ領域内の全画素のＲ色成分からＧ色成分を減算した値の総計値を演算し、該総計値が最大となった走査位置を、唇領域として抽出する請求項３に記載の暗ライン検出方法。
【請求項５】
設定された前記口裂線探索領域画像から口裂線部分を検出する場合、前記口裂線探索領域画像の中央の縦方向画素列を、前記起点画素列として左右の画像端部に向けてそれぞれ画素の前記選択動作を行うようにした請求項３又は４に記載の暗ライン検出方法。
【請求項６】
画像内の明るさの低い線である暗ラインを検出する暗ライン検出装置であって、
前記画像の任意の画素列を起点とし、該起点画素列の各画素を開始点とし、前記起点画素列に隣接する画素列から前記開始点画素を中心に予め設定した所定範囲内の画素の中で最もグレイスケール値の低い画素を選択した後、前記選択画素を中心とした前記所定範囲内の画素の中で最もグレイスケール値の低い画素を次の隣接画素列から選択する動作を画像端の画素列まで順次行い、前記各開始点画素毎の、前記起点画素列から画像端画素列までの選択画素の各軌跡情報及び各グレイスケール総計値を出力する手段と、
前記出力された各軌跡情報及び各グレイスケール総計値を記憶する手段と、
記憶された各軌跡情報及び各グレイスケール総計値に基づいて、グレイスケール総計値が最小である画素の軌跡を暗ライン部分と判断する暗ライン部分判断手段と、
該暗ライン部分判断手段が前記暗ライン部分と判断した軌跡上のグレイスケール値の変化率を演算し、変化率が極大となった画素位置を暗ライン端部と判断するライン端部判断手段と、
を備えて構成したことを特徴とする暗ライン検出装置。
【請求項７】
前記暗ラインとして、顔画像内の口裂線を検出する請求項６に記載の暗ライン検出装置。
【請求項８】
人物の顔画像から切り出した唇周辺画像から唇領域を抽出する手段と、
抽出された前記唇領域に基づいて口裂線探索領域を設定する手段と、
を含み、
設定された前記口裂線探索領域の画像から前記口裂線を検出する構成である請求項７に記載の暗ライン検出装置。
【請求項９】
前記唇領域抽出手段は、予め設定した大きさの領域を有するオペレータを、前記唇周辺画像内で所定画素毎にずらして走査し、走査毎に前記オペレータ領域内の全画素のＲ色成分からＧ色成分を減算した値の総計値を演算し、該総計値が最大となった走査位置を、唇領域として抽出する構成である請求項８に記載の暗ライン検出装置。
【請求項１０】
設定された前記口裂線探索領域画像から口裂線部分を検出する場合、前記口裂線探索領域画像の中央の縦方向画素列を、前記起点画素列として左右の画像端部に向けてそれぞれ前記画素の選択動作を行う構成とした請求項８又は９に記載の暗ライン検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００６−１８５１９７（Ｐ２００６−１８５１９７Ａ）
【公開日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願番号】特願２００４−３７８３４７（Ｐ２００４−３７８３４７）
【出願日】平成１６年１２月２８日（２００４．１２．２８）
【出願人】（０００００４６５１）日本信号株式会社 (720)
【Ｆターム（参考）】
【公開日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願日】平成１６年１２月２８日（２００４．１２．２８）
【出願人】（０００００４６５１）日本信号株式会社 (720)
【Ｆターム（参考）】
[ Back to top ]