表情認識方法及び表情認識装置
【課題】個人差を抑制した表情認識方法を提供する。
【解決手段】対象顔画像中の顔の表情を認識する方法であって、対象顔画像に対して、領域特性及び方向特性が異なる複数の空間フィルタによって周波数分析を行って、前記対象顔画像の複数の表情特徴情報を抽出する特徴抽出ステップと、複数の前記空間フィルタを同一者の基準顔画像に作用させて得られた複数の基準特徴情報と、複数の前記表情特徴情報との差分を示す複数の差分情報を求める差分演算ステップと、前記差分情報に基づいて表情を判定する判定ステップと、を含む。
【解決手段】対象顔画像中の顔の表情を認識する方法であって、対象顔画像に対して、領域特性及び方向特性が異なる複数の空間フィルタによって周波数分析を行って、前記対象顔画像の複数の表情特徴情報を抽出する特徴抽出ステップと、複数の前記空間フィルタを同一者の基準顔画像に作用させて得られた複数の基準特徴情報と、複数の前記表情特徴情報との差分を示す複数の差分情報を求める差分演算ステップと、前記差分情報に基づいて表情を判定する判定ステップと、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表情認識方法及び表情認識装置に関するものである。
【背景技術】
【０００２】
人間とコンピュータとの間での高度の協調関係を実現するには、人間の表情を認識する能力をロボット等のコンピュータシステムに搭載することが求められる。すなわち、コンピュータが人間の表情を認識することにより、コンピュータは、人間の感情を読み取って、人間の感情に対応した対応をすることが可能になる。
【０００３】
従来の表情認識方法として、対象となる顔画像の特徴を抽出し、その特徴に基づいて表情を判定する方法がある。
従来の表情認識方法において、静止画像を対象顔画像とする場合には、顔表情の特徴抽出自体が困難であるが、時系列画像（動画）を対象に特徴を抽出する場合には、表情変化に伴う顔の特徴点の移動を捉えることで、表情に対応した顔画像の特徴を抽出することが容易となる。しかし、時系列画像における特徴点の移動は、個人の顔構造に依存するため、個人差による影響を受けやすいという問題がある。
【０００４】
ここで、特許文献１には、人物の顔の映像信号をウェーブレット変換することにより所定の各帯域ごとに空間周波数領域の周波数信号を生成し、各帯域ごとに前記周波数信号の平均電力を算出し、その平均電力と前記人物の顔が無表情のときにその顔から得られる対応の平均電力との差分を算出する表情検出装置が記載されている。
特許文献１のウェーブレット変換は、画像中の特定の検出領域に対してなされるものであって、前記検出領域全体の周波数の高域と低域を順次分けている帯域分割フィルタ（サブバンドフィルタ）によって実現されている。
【０００５】
前記特許文献１記載のものでは、人物の顔の映像信号をウェーブレット変換することにより所定の各帯域ごとに空間周波数領域の周波数信号を生成しているが、特許文献１におけるウェーブレット変換は、画像中の特定の検出領域の周波数の高域と低域を順次分けている帯域分割フィルタによって行われるものにすぎず、対象顔画像に対して、ガボールフィルタのように領域特性及び方向特性が異なる複数の空間フィルタによって周波数分析を行っているものではない。
すなわち、特許文献１のものでは、画像中の特定部分の周波数の高域と低域を分けるだけであって、周波数特性を調べる際の領域特性及び方向特性についての自由度がなく、個人差による影響を十分に抑制することができない。
特に、特許文献１のものでは、周波数の高域と低域を分けるだけで表情の特徴を抽出しようとしているため、眉・目・口など表情の出やすい特定部分を予め検出領域として特定する必要があり、煩雑な処理となる。
【０００６】
しかも、特許文献１のものでは、ウェーブレット変換後に周波数信号の平均電力を算出して、無表情の顔から得られる対応平均電力との差分を算出しており、ウェーブレット変換によって得られた特徴情報そのものの差分を得るという着想はない。
【０００７】
また、特許文献２には、被写体の顔の特徴点に対して、ガボールウェーブレット変換を行うことにより特徴量を抽出する人種推定装置が記載されている。
特許文献２記載のものは、人種推定装置であって、表情認識装置ではないが、ガボールウェーブレット変換を行っている。ただし、特許文献２記載のものでは、ガボールウェーブレット変換によって特徴を抽出しているものの、ガボールウェーブレット変換によって得られた特徴から直ちに人種推定を行っており、ガボールウェーブレット変換後に基準画像にガボールウェーブレット変換を行ったものとの差分を求めるという着想はない。
【特許文献１】特開平８−２４９４４７号公報
【特許文献２】特開２００５−２６６９８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、個人差による影響を抑制した表情認識技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、対象顔画像中の顔の表情を認識する方法であって、対象顔画像に対して、領域特性及び方向特性が異なる複数の空間フィルタによって周波数分析を行って、前記対象顔画像の複数の表情特徴情報を抽出する特徴抽出ステップと、複数の前記空間フィルタを同一者の基準顔画像に作用させて得られた複数の基準特徴情報と、複数の前記表情特徴情報との差分を示す複数の差分情報を求める差分演算ステップと、前記差分情報に基づいて表情を判定する判定ステップと、を含む。
【００１０】
前記空間フィルタは、ガボールフィルタであるのが好ましい。
【００１１】
前記差分情報を圧縮した圧縮差分情報を取得するステップを更に含み、
前記判定ステップは、前記圧縮差分情報に基づいて表情を判定するのが好ましい。
【００１２】
前記判定ステップは、前記差分情報を入力とし、表情の種別を出力とするニューラルネットワークによって表情を判定するのが好ましい。
【００１３】
前記特徴抽出ステップは、前記対象顔画像の顔全体に対して、複数の前記空間フィルタを作用させるのが好ましい。
【００１４】
他の観点からみた本発明は、対象顔画像中の顔の表情を認識する装置であって、対象顔画像に対して、領域特性及び方向特性が異なる複数の空間フィルタによって周波数分析を行って、前記対象顔画像の複数の表情特徴情報を抽出する特徴抽出部と、複数の前記特徴抽出フィルタを同一者の基準顔画像に作用させて得られた複数の基準特徴情報と、前記表情特徴情報との差分を示す複数の差分情報を求める差分演算部と、前記差分情報に基づいて表情を判定する判定部と、を含む。
【発明の効果】
【００１５】
本発明によれば、領域特性及び方向特性が異なる複数の空間フィルタによって得られた表情特徴情報と基準特徴情報との差分を求めることで、個人差による影響を抑制して表情認識を行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、表情認識装置１を示している。この表情認識装置１は、カメラ（撮像装置）によって取得された対象顔画像に対して前処理を行う前処理部２と、対象顔画像と基準画像との差分情報を求める差分取得部３と、差分取得部３の出力の次元圧縮を行う次元圧縮部４と、次元圧縮部４の出力に基づいて表情判定を行う表情判定部５とを備えている。
なお、上記各部２，３，４，５は、コンピュータの記憶装置（記録媒体）に記憶されたコンピュータプログラムがコンピュータによって実行されることによって実現されるが、上記各部２，３，４，５を専用のハードウェアによって実現してもよい。
【００１７】
なお、表情認識装置１は、学習モードと認識モードの２つのモードを実行可能とされている。学習モードは、ニューラルネットワークからなる表情判定部５に表情認識のための学習を行わせるものであり、認識モードは、カメラによって取得された対象顔画像の表情認識を行うモードである。
また、表情認識装置１は、学習モードの際には、顔表情データベースから顔画像を読み込んで、差分取得部３、次元圧縮部４及び表情判定部５における処理を行う。なお、学習のために、顔表情データベースには、様々な表情の人物顔画像が複数名分、登録されている。
【００１８】
前記前処理部２は、カメラによって取得された対象顔画像（正面顔の静止画像）に対して、前処理として顔画像の正規化を行う。
表情認識装置１の差分取得部３では、顔画像間の差分情報を取得するため、顔画像間で顔の位置・大きさ・姿勢等が異なると、適切な差分情報が得られず、表情認識精度が低下する。そのため、前処理部２では、カメラによって得られた生の対象顔画像（前処理が未処理の対象顔画像）について、顔画像における顔の位置・大きさ・姿勢等を補正した正規化対象顔画像を得る。
前処理部２では、具体的には、入力された対象顔画像について、６分割矩形フィルタ（Six Segment Rectangle Filter:SSRフィルタ）による眉間候補点の抽出、平均顔テンプレートとのマッチング、瞳検索、アフィン変換（姿勢の正規化）、顔領域抽出（顔の位置の正規化）等を行う。
【００１９】
６分割矩形フィルタ（Six Segment Rectangle Filter :ＳＳＲフィルタ）による眉間候補点の抽出は、人間の眉間周辺部分を６分割し、その濃淡情報に注目する手法であり、照明条件に強い手法である。ＳＳＲフィルタによる眉間候補点抽出については、S.kawato and Tetsutani, Scale Adaptive Face Detection and tracking in Rear Time with SSR Filter and Support Vector Machine, Proc. of ACCV 2004, vol. 1, pp132-137,2004（以下、「参考文献１」という）や、S.kawato, Y.Senda and N.Nobuji ,Detection of Between-the-Eyes with SSR-Filter Technical Report of IEICE, PRMU2002-207,pp.41-46,2003（以下、「参考文献２」という）に記載されている。
【００２０】
前処理部２は、入力された対象顔画像に対し、ＳＳＲフィルタによって絞り込まれた眉間候補点の周辺で、予め用意しておいた平均顔テンプレートとの重み（分散パターン）付けテンプレートマッチングを行うことにより候補点をさらに絞り込む。なお、平均顔テンプレートとのマッチングについては、参考文献２に記載されている。
【００２１】
さらに、前処理部２は、絞り込まれた眉間候補点に基づき、瞳検索を行う。瞳検索は、眉間候補点に基づき、対象顔画像の眉間周辺についてエッジ抽出を行い、さらに平滑化処理を行ってノイズを除去する。さらに、２値処理を行い、膨張・縮小処理を行う。最後に、ラベリングを行い、最適な領域の重心を瞳位置として抽出する。以上の処理により、前処理部２に入力された対象顔画像における両瞳の座標が得られる。
なお、入力された対象顔画像から、瞳を検索するための一連の処理は、上記のものに特に限定されない。
【００２２】
図２（ａ）に示すように、両瞳Ｅ，Ｅの位置関係から、入力対象顔画像Ｆ１における顔の姿勢が求まる。すなわち、前処理部２は、両瞳Ｅ，ＥのＸ方向の間隔Ｘ１及び両瞳Ｅ，ＥのＹ方向の間隔Ｙ１から、対象顔画像Ｆ１における顔の姿勢（傾きθ）を算出する。
さらに、前処理部２は、傾きθに基づき、下記回転式を入力顔画像Ｆ１に適用して（アフィン変換）、図２（ｂ）に示すように傾きを補正した姿勢補正顔画像Ｆ２を得る（姿勢の正規化）。
【数１】
なお、上記式において、Ｘ１は入力対象顔画像Ｆ１におけるＸ座標、Ｙ１は入力顔対象画像Ｆ１におけるＹ座標、Ｘ２は姿勢補正顔画像Ｆ２におけるＸ座標、Ｙ２は姿勢補正顔画像Ｆ２におけるＹ座標である。
【００２３】
更に、前処理部２は、姿勢補正顔画像Ｆ２から、顔領域画像Ｆ３の抽出を行う。顔領域の抽出の際には、両瞳Ｅ，Ｅ間の距離をｄとしたときに、この瞳間距離ｄ及び両瞳Ｅ，Ｅの位置を基準として、図３に示すようにＸ，Ｙ方向がそれぞれ２ｄとなる大きさの顔領域画像（顔のほぼ全体の画像）を姿勢補正顔画像Ｆ２から抽出する。
【００２４】
以上のようにして得られた顔領域画像（正規化対象顔画像）Ｆ３は、顔における瞳等の部位の位置が正規化されているため、顔画像間における顔の位置・大きさが補正され、顔画像間での適切な差分情報を得ることが可能となる。特に、表情変化における顔の特徴移動においては、目や目の周辺の特徴点の変化が特に大きいことに鑑みて、瞳（目）の位置を基準として正規化を行うことで、表情認識率を高めている。
【００２５】
前処理部２から出力された正規化対象顔画像は、差分取得部３に与えられる。差分取得部３は、入力された正規化対象顔画像に対しガボールフィルタによるフィルタリングを行う特徴抽出部３１を備えている。
特徴抽出部３１は、ガボールフィルタによって顔の特徴（ガボール特徴）を抽出するためのものである。ガボールフィルタは、画像にガボールウェーブレット変換を施して当該画像の周波数分析を行うものである。
ガボールフィルタ（ガボールウェブレット関数）は下記式によって表され、ｓｉｎ／ｃｏｓ関数をガウス関数で局在化した空間フィルタとして構成されており、ガウス関数を対象顔画像に畳み込み積分することにより、局在化した領域に対してフーリエ変換による周波数分析を行うことができる（図４参照）。
【００２６】
【数２】
【００２７】
このガボールフィルタは、画像の局所的な濃淡情報を取り出すことができるとともに、照明変動の影響を受けにくいという特性がある。また、上記式中のｋ及びφを変更することで、フィルタの領域特性及び方向特性を異ならせることができる。すなわち、図５に示すように、ガウス関数のスケールｋを変更することで、ｓｉｎ／ｃｏｓ関数が局在的に存在する領域の大きさ（領域特性）を変更することができ、回転角φを変更することで、前記の局在的な領域の方向を変更することができる。
【００２８】
前記局在的領域を大きくすると、顔の、より大局的な特徴が抽出される。一方、局在的領域を小さくすると、顔の、より局所的な特徴が抽出される。また、方向特性を変更すると、抽出される特徴の方向性が異なり、例えば図５においてφ＝０の場合、横方向の特徴が抽出され、φ＝π／２の場合、立て方向の特徴が抽出され、φ＝π／４，φ＝３π／４の場合、斜め方向の特徴が抽出される。
【００２９】
前記特徴抽出部３１は、例えば図５に示すように、ｋ及びφの異なる複数のガボールフィルタを有しており、入力された対象顔画像（顔のほぼ全体をカバーする画像）の、大局的な表情特徴情報から局所的な表情特徴情報を抽出することができるとともに、大局的な表情特徴情報及び局所的な表情特徴情報を様々な方向について抽出することができる。
つまり、特徴抽出部３１は、入力された対象顔画像から、複数のガボールフィルタによって、ガボールフィルタ数に対応した数の表情特徴情報（表情特徴画像）を抽出することができる。
【００３０】
特徴抽出部３１から出力された複数の表情特徴情報は、差分取得部３の差分演算部３２に与えられる。
差分演算部３２は、入力された対象顔画像と同一者の真顔（基準顔画像）から得られた基準特徴情報（基準特徴画像）との差分を求めるものである。基準特徴情報は、対象顔画像から得た表情特徴情報と同様に、真顔の基準顔画像に対し、前記前処理部２による処理を行うとともに、特徴抽出部３１による処理を施して、真顔における表情特徴を前述のガボールフィルタによって抽出したものである。
差分演算部３２は、入力された対象顔画像の各表情特徴情報について、当該表情特徴情報に対応する基準特徴情報、すなわち、当該表情特徴情報を求めたガボールフィルタと同じガボールフィルタ（ｋ，φが同じガボールフィルタ）によって求めた基準特徴情報との差分を求める。これにより、ガボールフィルタ数と同じ数の差分情報（差分画像）が得られる。
【００３１】
図６は、基準顔画像（真顔）Ｆ３−ａと、様々な表情の対象顔画像（笑顔、驚き、怒り）Ｆ３−ｂ，Ｆ３−ｃ，Ｆ３−ｄとについて、共通のガボールフィルタを施した場合の基準特徴情報Ｃ−ａ及び表情特徴情報Ｃ−ｂ，Ｃ−ｃ，Ｃ−ｄを示すとともに、各表情の差分情報Ｄ−ｂ，Ｄ−ｃ，Ｄ−ｄを示している。
例えば、対象顔画像が笑顔の画像Ｆ３−ｂである場合、差分演算部３２では、画像Ｆ３−ｂの表情特徴情報Ｃ−ｂと、基準特徴情報Ｃ−ａとの差分をとって、差分情報Ｄ−ｂを獲得する。そして、同様の処理を、他のガボールフィルタによって獲得した表情特徴情報についても行う。
【００３２】
図６の各表情の表情特徴情報Ｃ−ｂ，Ｃ−ｃ，Ｃ−ｄからわかるように、表情の特徴は、表情特徴情報Ｃ−ｂ，Ｃ−ｃ，Ｃ−ｄにおいても、各表情の間で、はっきりとした違いとして表れている。しかし、顔は、目、鼻、口といった部位の位置・大きさが、個人差により、異なるため、表情特徴情報においても、個人差の影響が大きく生じる。このような個人差は、顔表情間の特徴の相違を利用して表情を分類する上で大きな妨げとなる。
【００３３】
これに対し、本実施形態の差分演算部３２では、表情のある顔と真顔との差分をとることで、表情のある顔の真顔からの特徴変化量を差分情報として得ている。目や口といった部位の大きさに個人差があっても、表情を真顔からの変位とみた場合、それほど個人差がなく、真顔からの変位である差分情報に基づいて表情判定を行うことで、個人差による影響を抑制することができる。
【００３４】
しかも、本実施形態では、表情特徴情報と基準特徴情報とは、いずれも正規化された顔画像に基づいて得られているため、画像間における顔のズレ等を解消して、適切な差分情報が得られている。
【００３５】
ここで、各表情において、真顔からの変位が生じる顔の位置や部位（目など）の変位の方向は、表情によって異なる。例えば、真顔からの変位といっても、顔全体からみた大局的な変化から、顔の局所的な部分における変化まであり、さらに、顔の部位の変化の方向も横方向だったり縦方向だったり斜め方向だったりする。これらの変位の生じ方は、各表情間において一定というわけではない。
したがって、一種類（１スケール、１回転角）のガボールフィルタで差分情報を求めても各表情について有意な情報となるとは限らないが、本実施形態では、顔画像に、複数スケール及び複数回転角のガボールフィルタかけているため、顔画像全体に単にフィルタリング処理をするだけで、顔全体における任意の局所空間情報を取得することができ、各表情についての有意な情報を取得することができる。
【００３６】
差分演算部３２から出力された差分情報は、次元圧縮部４に与えられ、圧縮される。例えば、４８×４８画素の画像に対して、３スケール・４回転角のガボールフィルタをかけた出力の次元数は、４８×４８×３×４＝２７６４８次元となり、膨大である。膨大な次元数の差分情報を、後段の表情判定部（ニューラルネットワーク）５に入力するのは困難であるため、次元圧縮部４では次元の圧縮を行い、圧縮差分情報を得る。
次元圧縮部４での次元圧縮は、主成分分析（Principal Component Analysis:ＰＣＡ）によって行われる。なお、主成分分析とは、互いに相関のある多数の変数の情報を、互いに無相関な少数の合成変数に要約する手法である。
【００３７】
次元圧縮部４から出力された圧縮差分情報は、表情判定部５に与えられる。表情判定部５では、圧縮差分情報の分類（表情ごとの分類）を行うことにより、表情判定を行う。図７に示すように、表情判定部５は、入力層、中間層、出力層により構成された３層ニューラルネットワークにより構成されている。入力層の入力ユニット数は、圧縮差分情報の次元数であり、出力層の出力ユニット数は、分類する表情数だけ設けられている。なお、中間数の中間ユニット数は適宜設定される。
【００３８】
対象顔画像を顔表情データベースから獲得する学習モードでは、既知の表情の対象顔画像から得た差分情報を入力とし、出力ユニットへの教師信号として既知の当該表情を示す情報を与える。これにより、表情を認識するための各ユニット間の結合荷重Ｑ，Ｗが得られる。
【００３９】
表情未知の対象顔画像をカメラから獲得する認識モードでは、学習モードによって得られた結合荷重を持つニューラルネットワークに対し、差分情報を与える。入力値は中間層、出力層への伝搬し、出力層の各ユニットから値が出力される。出力層のユニットは、０〜１．０までの実数値を出力値としてとり、最も大きな値を示したユニットに対応する表情が、表情判定結果としての表情となる。
【００４０】
［実験結果］
上記表情認識装置１によって、真顔、笑顔、驚き、怒りの４表情の分類実験を行った。学習モード用の表情既知の顔画像として９名×４表情の顔画像を用いた。認識モード用の表情未知の顔画像の提供者として５名の被験者を用意した。各被験者の４表情を示す画像として各被験者の各表情について、それぞれ１０画像程度（６〜１７画像）用意した。
ガボールフィルタのスケール数ｋとしては、４スケール（ｋ＝π／（√２），π／２，π／（２√２），π／４）、ガボールフィルタの回転角φとしては４回転角（φ＝０，π／４，π／２，３π／４）とした。
【００４１】
次元圧縮部４における圧縮後の次元数を３０とし、ニューラルネットワークの入力ユニット数も３０とした。ニューラルネットワークの出力ユニット数は表情分類数の４とし、中間ユニット数は１５に設定した。学習モードでは、教師信号との平均二乗誤差が０．０００１以下になるまで学習し、その結合荷重を認識モードに用いた。
各被験者１〜５について、４つの表情（真顔、笑顔、驚き、怒り）ついて、複数回ランダムに表情を表現した画像を入力画像（対象顔画像）とし、入力画像数（入力枚数）に対して正確に表情を認識した認識率を求めた。
なお、真顔の顔画像については、真顔同士の差分（自己差分）をとった。
【００４２】
下記表は、実験結果を示している。
【表１】
【００４３】
上記実験結果によれば、全体平均として８０％を超える良好な表情認識率が得られていることがわかる。
【００４４】
なお、本発明は、上記実施形態に限定されるものではない。例えば、フィルタは、ガボールフィルタに限られるものではなく、領域特性と方向特性が異なる複数のフィルタであればよい。また、基準顔画像は、真顔が好ましいが、これに限定されるものではない。さらに、圧縮部４や表情判定部５も上記のものに限定されるわけではない。また、ガボールフィルタのスケール数や回転角は上記のものに限られるものではなく、任意のスケール数、回転角を採用することができる。
【図面の簡単な説明】
【００４５】
【図１】表情認識装置の構成図である。
【図２】画像の正規化手順を示す図である。
【図３】正規化顔画像における瞳の位置と瞳間距離との関係を示す図である。
【図４】ガボールフィルタの一例を示す図である。
【図５】３スケール×４回転角のガボールフィルタを示す図である。
【図６】顔画像、基準特徴情報、表情特徴情報、及び差分情報を示す図である。
【図７】ニューラルネットワーク構成図である。
【符号の説明】
【００４６】
１ 表情認識装置
２ 前処理部
３ 差分取得部
４ 次元圧縮部
５ 表情判定部
３１ 特徴抽出部
３２ 差分演算部
【技術分野】
【０００１】
本発明は、表情認識方法及び表情認識装置に関するものである。
【背景技術】
【０００２】
人間とコンピュータとの間での高度の協調関係を実現するには、人間の表情を認識する能力をロボット等のコンピュータシステムに搭載することが求められる。すなわち、コンピュータが人間の表情を認識することにより、コンピュータは、人間の感情を読み取って、人間の感情に対応した対応をすることが可能になる。
【０００３】
従来の表情認識方法として、対象となる顔画像の特徴を抽出し、その特徴に基づいて表情を判定する方法がある。
従来の表情認識方法において、静止画像を対象顔画像とする場合には、顔表情の特徴抽出自体が困難であるが、時系列画像（動画）を対象に特徴を抽出する場合には、表情変化に伴う顔の特徴点の移動を捉えることで、表情に対応した顔画像の特徴を抽出することが容易となる。しかし、時系列画像における特徴点の移動は、個人の顔構造に依存するため、個人差による影響を受けやすいという問題がある。
【０００４】
ここで、特許文献１には、人物の顔の映像信号をウェーブレット変換することにより所定の各帯域ごとに空間周波数領域の周波数信号を生成し、各帯域ごとに前記周波数信号の平均電力を算出し、その平均電力と前記人物の顔が無表情のときにその顔から得られる対応の平均電力との差分を算出する表情検出装置が記載されている。
特許文献１のウェーブレット変換は、画像中の特定の検出領域に対してなされるものであって、前記検出領域全体の周波数の高域と低域を順次分けている帯域分割フィルタ（サブバンドフィルタ）によって実現されている。
【０００５】
前記特許文献１記載のものでは、人物の顔の映像信号をウェーブレット変換することにより所定の各帯域ごとに空間周波数領域の周波数信号を生成しているが、特許文献１におけるウェーブレット変換は、画像中の特定の検出領域の周波数の高域と低域を順次分けている帯域分割フィルタによって行われるものにすぎず、対象顔画像に対して、ガボールフィルタのように領域特性及び方向特性が異なる複数の空間フィルタによって周波数分析を行っているものではない。
すなわち、特許文献１のものでは、画像中の特定部分の周波数の高域と低域を分けるだけであって、周波数特性を調べる際の領域特性及び方向特性についての自由度がなく、個人差による影響を十分に抑制することができない。
特に、特許文献１のものでは、周波数の高域と低域を分けるだけで表情の特徴を抽出しようとしているため、眉・目・口など表情の出やすい特定部分を予め検出領域として特定する必要があり、煩雑な処理となる。
【０００６】
しかも、特許文献１のものでは、ウェーブレット変換後に周波数信号の平均電力を算出して、無表情の顔から得られる対応平均電力との差分を算出しており、ウェーブレット変換によって得られた特徴情報そのものの差分を得るという着想はない。
【０００７】
また、特許文献２には、被写体の顔の特徴点に対して、ガボールウェーブレット変換を行うことにより特徴量を抽出する人種推定装置が記載されている。
特許文献２記載のものは、人種推定装置であって、表情認識装置ではないが、ガボールウェーブレット変換を行っている。ただし、特許文献２記載のものでは、ガボールウェーブレット変換によって特徴を抽出しているものの、ガボールウェーブレット変換によって得られた特徴から直ちに人種推定を行っており、ガボールウェーブレット変換後に基準画像にガボールウェーブレット変換を行ったものとの差分を求めるという着想はない。
【特許文献１】特開平８−２４９４４７号公報
【特許文献２】特開２００５−２６６９８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、個人差による影響を抑制した表情認識技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、対象顔画像中の顔の表情を認識する方法であって、対象顔画像に対して、領域特性及び方向特性が異なる複数の空間フィルタによって周波数分析を行って、前記対象顔画像の複数の表情特徴情報を抽出する特徴抽出ステップと、複数の前記空間フィルタを同一者の基準顔画像に作用させて得られた複数の基準特徴情報と、複数の前記表情特徴情報との差分を示す複数の差分情報を求める差分演算ステップと、前記差分情報に基づいて表情を判定する判定ステップと、を含む。
【００１０】
前記空間フィルタは、ガボールフィルタであるのが好ましい。
【００１１】
前記差分情報を圧縮した圧縮差分情報を取得するステップを更に含み、
前記判定ステップは、前記圧縮差分情報に基づいて表情を判定するのが好ましい。
【００１２】
前記判定ステップは、前記差分情報を入力とし、表情の種別を出力とするニューラルネットワークによって表情を判定するのが好ましい。
【００１３】
前記特徴抽出ステップは、前記対象顔画像の顔全体に対して、複数の前記空間フィルタを作用させるのが好ましい。
【００１４】
他の観点からみた本発明は、対象顔画像中の顔の表情を認識する装置であって、対象顔画像に対して、領域特性及び方向特性が異なる複数の空間フィルタによって周波数分析を行って、前記対象顔画像の複数の表情特徴情報を抽出する特徴抽出部と、複数の前記特徴抽出フィルタを同一者の基準顔画像に作用させて得られた複数の基準特徴情報と、前記表情特徴情報との差分を示す複数の差分情報を求める差分演算部と、前記差分情報に基づいて表情を判定する判定部と、を含む。
【発明の効果】
【００１５】
本発明によれば、領域特性及び方向特性が異なる複数の空間フィルタによって得られた表情特徴情報と基準特徴情報との差分を求めることで、個人差による影響を抑制して表情認識を行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、表情認識装置１を示している。この表情認識装置１は、カメラ（撮像装置）によって取得された対象顔画像に対して前処理を行う前処理部２と、対象顔画像と基準画像との差分情報を求める差分取得部３と、差分取得部３の出力の次元圧縮を行う次元圧縮部４と、次元圧縮部４の出力に基づいて表情判定を行う表情判定部５とを備えている。
なお、上記各部２，３，４，５は、コンピュータの記憶装置（記録媒体）に記憶されたコンピュータプログラムがコンピュータによって実行されることによって実現されるが、上記各部２，３，４，５を専用のハードウェアによって実現してもよい。
【００１７】
なお、表情認識装置１は、学習モードと認識モードの２つのモードを実行可能とされている。学習モードは、ニューラルネットワークからなる表情判定部５に表情認識のための学習を行わせるものであり、認識モードは、カメラによって取得された対象顔画像の表情認識を行うモードである。
また、表情認識装置１は、学習モードの際には、顔表情データベースから顔画像を読み込んで、差分取得部３、次元圧縮部４及び表情判定部５における処理を行う。なお、学習のために、顔表情データベースには、様々な表情の人物顔画像が複数名分、登録されている。
【００１８】
前記前処理部２は、カメラによって取得された対象顔画像（正面顔の静止画像）に対して、前処理として顔画像の正規化を行う。
表情認識装置１の差分取得部３では、顔画像間の差分情報を取得するため、顔画像間で顔の位置・大きさ・姿勢等が異なると、適切な差分情報が得られず、表情認識精度が低下する。そのため、前処理部２では、カメラによって得られた生の対象顔画像（前処理が未処理の対象顔画像）について、顔画像における顔の位置・大きさ・姿勢等を補正した正規化対象顔画像を得る。
前処理部２では、具体的には、入力された対象顔画像について、６分割矩形フィルタ（Six Segment Rectangle Filter:SSRフィルタ）による眉間候補点の抽出、平均顔テンプレートとのマッチング、瞳検索、アフィン変換（姿勢の正規化）、顔領域抽出（顔の位置の正規化）等を行う。
【００１９】
６分割矩形フィルタ（Six Segment Rectangle Filter :ＳＳＲフィルタ）による眉間候補点の抽出は、人間の眉間周辺部分を６分割し、その濃淡情報に注目する手法であり、照明条件に強い手法である。ＳＳＲフィルタによる眉間候補点抽出については、S.kawato and Tetsutani, Scale Adaptive Face Detection and tracking in Rear Time with SSR Filter and Support Vector Machine, Proc. of ACCV 2004, vol. 1, pp132-137,2004（以下、「参考文献１」という）や、S.kawato, Y.Senda and N.Nobuji ,Detection of Between-the-Eyes with SSR-Filter Technical Report of IEICE, PRMU2002-207,pp.41-46,2003（以下、「参考文献２」という）に記載されている。
【００２０】
前処理部２は、入力された対象顔画像に対し、ＳＳＲフィルタによって絞り込まれた眉間候補点の周辺で、予め用意しておいた平均顔テンプレートとの重み（分散パターン）付けテンプレートマッチングを行うことにより候補点をさらに絞り込む。なお、平均顔テンプレートとのマッチングについては、参考文献２に記載されている。
【００２１】
さらに、前処理部２は、絞り込まれた眉間候補点に基づき、瞳検索を行う。瞳検索は、眉間候補点に基づき、対象顔画像の眉間周辺についてエッジ抽出を行い、さらに平滑化処理を行ってノイズを除去する。さらに、２値処理を行い、膨張・縮小処理を行う。最後に、ラベリングを行い、最適な領域の重心を瞳位置として抽出する。以上の処理により、前処理部２に入力された対象顔画像における両瞳の座標が得られる。
なお、入力された対象顔画像から、瞳を検索するための一連の処理は、上記のものに特に限定されない。
【００２２】
図２（ａ）に示すように、両瞳Ｅ，Ｅの位置関係から、入力対象顔画像Ｆ１における顔の姿勢が求まる。すなわち、前処理部２は、両瞳Ｅ，ＥのＸ方向の間隔Ｘ１及び両瞳Ｅ，ＥのＹ方向の間隔Ｙ１から、対象顔画像Ｆ１における顔の姿勢（傾きθ）を算出する。
さらに、前処理部２は、傾きθに基づき、下記回転式を入力顔画像Ｆ１に適用して（アフィン変換）、図２（ｂ）に示すように傾きを補正した姿勢補正顔画像Ｆ２を得る（姿勢の正規化）。
【数１】
なお、上記式において、Ｘ１は入力対象顔画像Ｆ１におけるＸ座標、Ｙ１は入力顔対象画像Ｆ１におけるＹ座標、Ｘ２は姿勢補正顔画像Ｆ２におけるＸ座標、Ｙ２は姿勢補正顔画像Ｆ２におけるＹ座標である。
【００２３】
更に、前処理部２は、姿勢補正顔画像Ｆ２から、顔領域画像Ｆ３の抽出を行う。顔領域の抽出の際には、両瞳Ｅ，Ｅ間の距離をｄとしたときに、この瞳間距離ｄ及び両瞳Ｅ，Ｅの位置を基準として、図３に示すようにＸ，Ｙ方向がそれぞれ２ｄとなる大きさの顔領域画像（顔のほぼ全体の画像）を姿勢補正顔画像Ｆ２から抽出する。
【００２４】
以上のようにして得られた顔領域画像（正規化対象顔画像）Ｆ３は、顔における瞳等の部位の位置が正規化されているため、顔画像間における顔の位置・大きさが補正され、顔画像間での適切な差分情報を得ることが可能となる。特に、表情変化における顔の特徴移動においては、目や目の周辺の特徴点の変化が特に大きいことに鑑みて、瞳（目）の位置を基準として正規化を行うことで、表情認識率を高めている。
【００２５】
前処理部２から出力された正規化対象顔画像は、差分取得部３に与えられる。差分取得部３は、入力された正規化対象顔画像に対しガボールフィルタによるフィルタリングを行う特徴抽出部３１を備えている。
特徴抽出部３１は、ガボールフィルタによって顔の特徴（ガボール特徴）を抽出するためのものである。ガボールフィルタは、画像にガボールウェーブレット変換を施して当該画像の周波数分析を行うものである。
ガボールフィルタ（ガボールウェブレット関数）は下記式によって表され、ｓｉｎ／ｃｏｓ関数をガウス関数で局在化した空間フィルタとして構成されており、ガウス関数を対象顔画像に畳み込み積分することにより、局在化した領域に対してフーリエ変換による周波数分析を行うことができる（図４参照）。
【００２６】
【数２】
【００２７】
このガボールフィルタは、画像の局所的な濃淡情報を取り出すことができるとともに、照明変動の影響を受けにくいという特性がある。また、上記式中のｋ及びφを変更することで、フィルタの領域特性及び方向特性を異ならせることができる。すなわち、図５に示すように、ガウス関数のスケールｋを変更することで、ｓｉｎ／ｃｏｓ関数が局在的に存在する領域の大きさ（領域特性）を変更することができ、回転角φを変更することで、前記の局在的な領域の方向を変更することができる。
【００２８】
前記局在的領域を大きくすると、顔の、より大局的な特徴が抽出される。一方、局在的領域を小さくすると、顔の、より局所的な特徴が抽出される。また、方向特性を変更すると、抽出される特徴の方向性が異なり、例えば図５においてφ＝０の場合、横方向の特徴が抽出され、φ＝π／２の場合、立て方向の特徴が抽出され、φ＝π／４，φ＝３π／４の場合、斜め方向の特徴が抽出される。
【００２９】
前記特徴抽出部３１は、例えば図５に示すように、ｋ及びφの異なる複数のガボールフィルタを有しており、入力された対象顔画像（顔のほぼ全体をカバーする画像）の、大局的な表情特徴情報から局所的な表情特徴情報を抽出することができるとともに、大局的な表情特徴情報及び局所的な表情特徴情報を様々な方向について抽出することができる。
つまり、特徴抽出部３１は、入力された対象顔画像から、複数のガボールフィルタによって、ガボールフィルタ数に対応した数の表情特徴情報（表情特徴画像）を抽出することができる。
【００３０】
特徴抽出部３１から出力された複数の表情特徴情報は、差分取得部３の差分演算部３２に与えられる。
差分演算部３２は、入力された対象顔画像と同一者の真顔（基準顔画像）から得られた基準特徴情報（基準特徴画像）との差分を求めるものである。基準特徴情報は、対象顔画像から得た表情特徴情報と同様に、真顔の基準顔画像に対し、前記前処理部２による処理を行うとともに、特徴抽出部３１による処理を施して、真顔における表情特徴を前述のガボールフィルタによって抽出したものである。
差分演算部３２は、入力された対象顔画像の各表情特徴情報について、当該表情特徴情報に対応する基準特徴情報、すなわち、当該表情特徴情報を求めたガボールフィルタと同じガボールフィルタ（ｋ，φが同じガボールフィルタ）によって求めた基準特徴情報との差分を求める。これにより、ガボールフィルタ数と同じ数の差分情報（差分画像）が得られる。
【００３１】
図６は、基準顔画像（真顔）Ｆ３−ａと、様々な表情の対象顔画像（笑顔、驚き、怒り）Ｆ３−ｂ，Ｆ３−ｃ，Ｆ３−ｄとについて、共通のガボールフィルタを施した場合の基準特徴情報Ｃ−ａ及び表情特徴情報Ｃ−ｂ，Ｃ−ｃ，Ｃ−ｄを示すとともに、各表情の差分情報Ｄ−ｂ，Ｄ−ｃ，Ｄ−ｄを示している。
例えば、対象顔画像が笑顔の画像Ｆ３−ｂである場合、差分演算部３２では、画像Ｆ３−ｂの表情特徴情報Ｃ−ｂと、基準特徴情報Ｃ−ａとの差分をとって、差分情報Ｄ−ｂを獲得する。そして、同様の処理を、他のガボールフィルタによって獲得した表情特徴情報についても行う。
【００３２】
図６の各表情の表情特徴情報Ｃ−ｂ，Ｃ−ｃ，Ｃ−ｄからわかるように、表情の特徴は、表情特徴情報Ｃ−ｂ，Ｃ−ｃ，Ｃ−ｄにおいても、各表情の間で、はっきりとした違いとして表れている。しかし、顔は、目、鼻、口といった部位の位置・大きさが、個人差により、異なるため、表情特徴情報においても、個人差の影響が大きく生じる。このような個人差は、顔表情間の特徴の相違を利用して表情を分類する上で大きな妨げとなる。
【００３３】
これに対し、本実施形態の差分演算部３２では、表情のある顔と真顔との差分をとることで、表情のある顔の真顔からの特徴変化量を差分情報として得ている。目や口といった部位の大きさに個人差があっても、表情を真顔からの変位とみた場合、それほど個人差がなく、真顔からの変位である差分情報に基づいて表情判定を行うことで、個人差による影響を抑制することができる。
【００３４】
しかも、本実施形態では、表情特徴情報と基準特徴情報とは、いずれも正規化された顔画像に基づいて得られているため、画像間における顔のズレ等を解消して、適切な差分情報が得られている。
【００３５】
ここで、各表情において、真顔からの変位が生じる顔の位置や部位（目など）の変位の方向は、表情によって異なる。例えば、真顔からの変位といっても、顔全体からみた大局的な変化から、顔の局所的な部分における変化まであり、さらに、顔の部位の変化の方向も横方向だったり縦方向だったり斜め方向だったりする。これらの変位の生じ方は、各表情間において一定というわけではない。
したがって、一種類（１スケール、１回転角）のガボールフィルタで差分情報を求めても各表情について有意な情報となるとは限らないが、本実施形態では、顔画像に、複数スケール及び複数回転角のガボールフィルタかけているため、顔画像全体に単にフィルタリング処理をするだけで、顔全体における任意の局所空間情報を取得することができ、各表情についての有意な情報を取得することができる。
【００３６】
差分演算部３２から出力された差分情報は、次元圧縮部４に与えられ、圧縮される。例えば、４８×４８画素の画像に対して、３スケール・４回転角のガボールフィルタをかけた出力の次元数は、４８×４８×３×４＝２７６４８次元となり、膨大である。膨大な次元数の差分情報を、後段の表情判定部（ニューラルネットワーク）５に入力するのは困難であるため、次元圧縮部４では次元の圧縮を行い、圧縮差分情報を得る。
次元圧縮部４での次元圧縮は、主成分分析（Principal Component Analysis:ＰＣＡ）によって行われる。なお、主成分分析とは、互いに相関のある多数の変数の情報を、互いに無相関な少数の合成変数に要約する手法である。
【００３７】
次元圧縮部４から出力された圧縮差分情報は、表情判定部５に与えられる。表情判定部５では、圧縮差分情報の分類（表情ごとの分類）を行うことにより、表情判定を行う。図７に示すように、表情判定部５は、入力層、中間層、出力層により構成された３層ニューラルネットワークにより構成されている。入力層の入力ユニット数は、圧縮差分情報の次元数であり、出力層の出力ユニット数は、分類する表情数だけ設けられている。なお、中間数の中間ユニット数は適宜設定される。
【００３８】
対象顔画像を顔表情データベースから獲得する学習モードでは、既知の表情の対象顔画像から得た差分情報を入力とし、出力ユニットへの教師信号として既知の当該表情を示す情報を与える。これにより、表情を認識するための各ユニット間の結合荷重Ｑ，Ｗが得られる。
【００３９】
表情未知の対象顔画像をカメラから獲得する認識モードでは、学習モードによって得られた結合荷重を持つニューラルネットワークに対し、差分情報を与える。入力値は中間層、出力層への伝搬し、出力層の各ユニットから値が出力される。出力層のユニットは、０〜１．０までの実数値を出力値としてとり、最も大きな値を示したユニットに対応する表情が、表情判定結果としての表情となる。
【００４０】
［実験結果］
上記表情認識装置１によって、真顔、笑顔、驚き、怒りの４表情の分類実験を行った。学習モード用の表情既知の顔画像として９名×４表情の顔画像を用いた。認識モード用の表情未知の顔画像の提供者として５名の被験者を用意した。各被験者の４表情を示す画像として各被験者の各表情について、それぞれ１０画像程度（６〜１７画像）用意した。
ガボールフィルタのスケール数ｋとしては、４スケール（ｋ＝π／（√２），π／２，π／（２√２），π／４）、ガボールフィルタの回転角φとしては４回転角（φ＝０，π／４，π／２，３π／４）とした。
【００４１】
次元圧縮部４における圧縮後の次元数を３０とし、ニューラルネットワークの入力ユニット数も３０とした。ニューラルネットワークの出力ユニット数は表情分類数の４とし、中間ユニット数は１５に設定した。学習モードでは、教師信号との平均二乗誤差が０．０００１以下になるまで学習し、その結合荷重を認識モードに用いた。
各被験者１〜５について、４つの表情（真顔、笑顔、驚き、怒り）ついて、複数回ランダムに表情を表現した画像を入力画像（対象顔画像）とし、入力画像数（入力枚数）に対して正確に表情を認識した認識率を求めた。
なお、真顔の顔画像については、真顔同士の差分（自己差分）をとった。
【００４２】
下記表は、実験結果を示している。
【表１】
【００４３】
上記実験結果によれば、全体平均として８０％を超える良好な表情認識率が得られていることがわかる。
【００４４】
なお、本発明は、上記実施形態に限定されるものではない。例えば、フィルタは、ガボールフィルタに限られるものではなく、領域特性と方向特性が異なる複数のフィルタであればよい。また、基準顔画像は、真顔が好ましいが、これに限定されるものではない。さらに、圧縮部４や表情判定部５も上記のものに限定されるわけではない。また、ガボールフィルタのスケール数や回転角は上記のものに限られるものではなく、任意のスケール数、回転角を採用することができる。
【図面の簡単な説明】
【００４５】
【図１】表情認識装置の構成図である。
【図２】画像の正規化手順を示す図である。
【図３】正規化顔画像における瞳の位置と瞳間距離との関係を示す図である。
【図４】ガボールフィルタの一例を示す図である。
【図５】３スケール×４回転角のガボールフィルタを示す図である。
【図６】顔画像、基準特徴情報、表情特徴情報、及び差分情報を示す図である。
【図７】ニューラルネットワーク構成図である。
【符号の説明】
【００４６】
１ 表情認識装置
２ 前処理部
３ 差分取得部
４ 次元圧縮部
５ 表情判定部
３１ 特徴抽出部
３２ 差分演算部
【特許請求の範囲】
【請求項１】
対象顔画像中の顔の表情を認識する方法であって、
対象顔画像に対して、領域特性及び方向特性が異なる複数の空間フィルタによって周波数分析を行って、前記対象顔画像の複数の表情特徴情報を抽出する特徴抽出ステップと、
複数の前記空間フィルタを同一者の基準顔画像に作用させて得られた複数の基準特徴情報と、複数の前記表情特徴情報との差分を示す複数の差分情報を求める差分演算ステップと、
前記差分情報に基づいて表情を判定する判定ステップと、
を含むことを特徴とする表情認識方法。
【請求項２】
前記空間フィルタは、ガボールフィルタである請求項１記載の表情認識方法。
【請求項３】
前記差分情報を圧縮した圧縮差分情報を取得するステップを更に含み、
前記判定ステップは、前記圧縮差分情報に基づいて表情を判定することを特徴とする請求項１又は２に記載の表情認識方法。
【請求項４】
前記判定ステップは、前記差分情報を入力とし、表情の種別を出力とするニューラルネットワークによって表情を判定することを特徴とする請求項１〜３のいずれかに記載の表情認識方法。
【請求項５】
前記特徴抽出ステップは、前記対象顔画像の顔全体に対して、複数の前記空間フィルタを作用させることを特徴とする請求項１〜４のいずれかに記載の表情認識方法。
【請求項６】
対象顔画像中の顔の表情を認識する装置であって、
対象顔画像に対して、領域特性及び方向特性が異なる複数の空間フィルタによって周波数分析を行って、前記対象顔画像の複数の表情特徴情報を抽出する特徴抽出部と、
複数の前記特徴抽出フィルタを同一者の基準顔画像に作用させて得られた複数の基準特徴情報と、前記表情特徴情報との差分を示す複数の差分情報を求める差分演算部と、
前記差分情報に基づいて表情を判定する判定部と、
を含むことを特徴とする表情認識装置。
【請求項１】
対象顔画像中の顔の表情を認識する方法であって、
対象顔画像に対して、領域特性及び方向特性が異なる複数の空間フィルタによって周波数分析を行って、前記対象顔画像の複数の表情特徴情報を抽出する特徴抽出ステップと、
複数の前記空間フィルタを同一者の基準顔画像に作用させて得られた複数の基準特徴情報と、複数の前記表情特徴情報との差分を示す複数の差分情報を求める差分演算ステップと、
前記差分情報に基づいて表情を判定する判定ステップと、
を含むことを特徴とする表情認識方法。
【請求項２】
前記空間フィルタは、ガボールフィルタである請求項１記載の表情認識方法。
【請求項３】
前記差分情報を圧縮した圧縮差分情報を取得するステップを更に含み、
前記判定ステップは、前記圧縮差分情報に基づいて表情を判定することを特徴とする請求項１又は２に記載の表情認識方法。
【請求項４】
前記判定ステップは、前記差分情報を入力とし、表情の種別を出力とするニューラルネットワークによって表情を判定することを特徴とする請求項１〜３のいずれかに記載の表情認識方法。
【請求項５】
前記特徴抽出ステップは、前記対象顔画像の顔全体に対して、複数の前記空間フィルタを作用させることを特徴とする請求項１〜４のいずれかに記載の表情認識方法。
【請求項６】
対象顔画像中の顔の表情を認識する装置であって、
対象顔画像に対して、領域特性及び方向特性が異なる複数の空間フィルタによって周波数分析を行って、前記対象顔画像の複数の表情特徴情報を抽出する特徴抽出部と、
複数の前記特徴抽出フィルタを同一者の基準顔画像に作用させて得られた複数の基準特徴情報と、前記表情特徴情報との差分を示す複数の差分情報を求める差分演算部と、
前記差分情報に基づいて表情を判定する判定部と、
を含むことを特徴とする表情認識装置。
【図１】
【図２】
【図３】
【図７】
【図４】
【図５】
【図６】
【図２】
【図３】
【図７】
【図４】
【図５】
【図６】
【公開番号】特開２００８−９７２８（Ｐ２００８−９７２８Ａ）
【公開日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願番号】特願２００６−１７９７４５（Ｐ２００６−１７９７４５）
【出願日】平成１８年６月２９日（２００６．６．２９）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１８年２月２２日 立命館大学主催の「立命館大学大学院総合理工学研究科修士論文公聴会」において文書をもって発表
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
【公開日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願日】平成１８年６月２９日（２００６．６．２９）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１８年２月２２日 立命館大学主催の「立命館大学大学院総合理工学研究科修士論文公聴会」において文書をもって発表
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
[ Back to top ]