状態推定システム
【課題】観測データに含まれるノイズや不要なデータを除去して的確な入力情報のみをニューラルネットワークに適応可能とし、教師データへのマッチング精度や計算速度を向上させる。
【解決手段】状態推定システム１は、ＮＮＳ２への前処理部として、観測データを独立成分分析するＩＣＡ部５と主成分分析するＰＣＡ部６とを備え、ＩＣＡ部５、ＰＣＡ部６、ＮＮＳ２への入力パターンを適応的に決定するＧＡ部７を備えている。ＩＣＡ部５は観測データから電気的・機械的なノイズ成分を除去した原信号を推定してＮＮＳ２へ入力し、ＰＣＡ部６はＩＣＡ部５では把握しきれない非線形な部分での不要なデータを除去し、誤差を低減した代表的な特性データをＮＮＳ２へ入力する。これにより、ＮＮＳ２への入力情報を的確な情報とすることができ、ＮＮＳ２における教師データへのマッチング精度や計算速度を向上させることができる。
【解決手段】状態推定システム１は、ＮＮＳ２への前処理部として、観測データを独立成分分析するＩＣＡ部５と主成分分析するＰＣＡ部６とを備え、ＩＣＡ部５、ＰＣＡ部６、ＮＮＳ２への入力パターンを適応的に決定するＧＡ部７を備えている。ＩＣＡ部５は観測データから電気的・機械的なノイズ成分を除去した原信号を推定してＮＮＳ２へ入力し、ＰＣＡ部６はＩＣＡ部５では把握しきれない非線形な部分での不要なデータを除去し、誤差を低減した代表的な特性データをＮＮＳ２へ入力する。これにより、ＮＮＳ２への入力情報を的確な情報とすることができ、ＮＮＳ２における教師データへのマッチング精度や計算速度を向上させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の観測データをニューラルネットワークで学習して系の状態量を推定出力する状態推定システムに関する。
【背景技術】
【０００２】
近年、観測データをニューラルネットワークに適用して系の状態量を推定する技術が開発されている。例えば、車両の前後加速度、横加速度、上下加速度、操舵トルク、前輪舵角、車速、後輪舵角等を測定してニューラルネットワークへの入力とし、横滑り角やヨーレート等の測定が困難な状態量を推定する。
【０００３】
例えば、特許文献１には、リカレントニューラルネットワークを用い、このリカレントニューラルネットワークにおける結合重み係数を遺伝的的アルゴリズムを用いて最適化することで、ネットワーク構成を車両パラメータを推定する上で最適な構造とする技術が開示されている。
【特許文献１】特開２００４−２４９８１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、観測される入力データには、電気的、機械的なノイズ成分を含む場合や、各入力データが教師データに無関係な情報を複数含む場合が多く、このような不要な入力データは、ニューラルネットワークにおいてはノイズでしかない。特許文献１に開示されているような従来のシステムでは、このような観測データを、そのままニューラルネットワークに入力しており、これらを含めて学習を行った場合、教師データに対する適合性の悪化や、システムの汎化能力の低下を起こす虞がある。
【０００５】
本発明は上記事情に鑑みてなされたもので、観測データに含まれるノイズや不要なデータを除去して的確な入力情報のみをニューラルネットワークに適応可能とし、教師データへのマッチング精度や計算速度を向上させることのできる状態推定システムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明による第１の状態推定システムは、複数の観測データからニューラルネットワークを介して系の状態量を推定出力する状態推定システムであって、上記複数の観測データの入力先を、上記ニューラルネットワークと上記ニューラルネットワーク以外とに振り分ける入力パターンを決定する入力パターン決定部と、上記複数の観測データの中から上記入力パターンに従って選択されたデータを独立成分分析して原信号を推定し、推定した原信号を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する独立成分分析部とを備えたことを特徴とする。
【０００７】
また、本発明による第２の状態推定システムは、車両運動における複数の観測データをニューラルネットワークで学習して車体挙動に係る状態量を推定出力する状態推定システムであって、上記複数の観測データの中から所定の入力パターンに従って選択されたデータを独立成分分析して原信号を推定し、推定した原信号を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する独立成分分析部と、上記複数の観測データの中から上記入力パターンに従って選択されたデータを主成分分析して主成分を抽出し、抽出した主成分を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する主成分分析部とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、観測データに含まれるノイズや不要なデータを除去して的確な入力情報のみをニューラルネットワークに入力することができ、教師データへのマッチング精度や計算速度を向上させて、状態量の推定精度を向上することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図１０は本発明の実施の一形態に係り、図１は状態推定システムの全体構成図、図２は独立成分分析の説明図、図３は遺伝的アルゴリズムによる入力パターンの最適化を示す説明図、図４は遺伝子の世代と評価値との関係を示す説明図、図５は車体横滑り角の推定処理を示すフローチャート、図６は学習前の入力パターンを示す説明図、図７は学習後の入力パターンを示す説明図、図８は学習後のシステム構成を示す説明図、図９はシステムの出力例を示す説明図、図１０は非線形領域における教師データへの適合度を示す説明図である。
【００１０】
本発明の状態推定システムは、車両運動解析、画像処理、音声認識等の各種信号処理系に適用され、観測信号からニューラルネットワーク(Neural network;NN)を用いて系の状態量を学習的に推定するものである。図１に示すように、本実施の形態における状態推定システム１は、ハードウエア的には、単一のコンピュータシステム或いはネットワーク等を介して接続された複数のコンピュータシステムで構成され、機能的な特徴として、ニューラルネットワークシステム(Neural network System;NNS)２への前処理部として、入力データ（観測データ）を、独立成分分析（Independent Component Analysis;ICA）を用いて処理する独立成分分析部（ＩＣＡ部）５と主成分分析（Principal Component Analysis;PCA）を用いて処理する主成分分析部（ＰＣＡ部）６とを備えている。
【００１１】
ＮＮＳ２は、本実施の形態においては、周知の階層型ネットワーク３を採用し、ニューラルネットワーク（ＮＮ）３からの出力値と教師信号とを評価する評価器４ａと、この評価器４ａの評価結果に基づいて、出力値と教師信号とを一致させるよう内部の結合加重を学習する学習器４ｂとを備えている。例えば、ＮＮ３を３階層のモデルで構成する場合、ＮＮ３の入力層、中間層、及び出力層を構成する各ノードＮi（ｉ＝１，２，…，ｋ；ｋは各層を構成するノードの総数）は、所定の伝達関数に従い、入力Ｘiに対して１つの出力Ｙiを出力する。
【００１２】
伝達関数としては、例えば、以下の（１）式で表されるシグモイド関数を用いることができる。その他、リミッタ、二値化、不感帯、ピークホールド、微分、積分、最大値等の各関数を伝達関数として用いることも可能である。
Ｙi＝１／(１＋ｅｘｐ(−(Ｘi−θi))) …（１）
【００１３】
ここで、（１）式におけるθiは、ノードＮi毎の閾値である。また、入力Ｘiは、上流側の各ノードＮjの出力Ｙjを重み付けした総和である。すなわち、上流側のノードＮjと下流側のノードＮiとの結合重み係数をｗｔijとした場合、ノードＮiへの入力Ｘiは、以下の（２）式で求められる。
Ｘi＝Σｗｔij×Ｙj …（２）
【００１４】
本状態推定システム１は、観測された複数のデータの全てがそのままＮＮＳ２（ＮＮ３）に入力されるわけではなく、以下に説明する入力パターンに従って、適宜、ＩＣＡ部５及びＰＣＡ部６に振り分けられ、ＩＣＡ部５及びＰＣＡ部６で分析されたデータがＮＮＳ２に入力される。尚、図１は、入力信号Ｄ1,…Ｄnに対する入力パターンの一つの形態を例示するものであり、この入力パターンは、学習によって適応的に更新される。
【００１５】
ＩＣＡ部５は、観測データから電気的・機械的なノイズ成分を除去した原信号を推定してＮＮＳ２へ入力し、ＰＣＡ部６は、ＩＣＡ部５では把握しきれない非線形な部分での不要なデータを除去し、誤差を低減した代表的な特性データをＮＮＳ２へ入力する。このＩＣＡ部５及びＰＣＡ部６による観測データの前処理により、ＮＮＳ２への入力情報を的確な情報とすることができ、ＮＮＳ２における教師データへのマッチング精度や計算速度を向上させることができる。
【００１６】
更に、本状態推定システム１は、ＩＣＡ部５、ＰＣＡ部６、ＮＮＳ２への入力パターンを決定し、この入力パターンを遺伝的アルゴリズム（Genetic Algorithm;GA）で適応的に更新する入力パターン決定部としてのＧＡ部７を備えている。この入力パターンは、ＩＣＡ部５で処理すべきデータ、ＰＣＡ部６で処理すべきデータ、直接ＮＮＳ２に入力すべきデータ、ＮＮＳ２に入力しない未使用データ（不要のデータ）といったようにデータを振り分けるパターンであり、ＧＡ部７は、ＮＮＳ２の出力信号（収束後の学習結果）と教師信号とを比較・評価する評価器８からの出力に基づいて、遺伝的アルゴリズムで入力パターンを適応的に更新していく。
【００１７】
尚、入力データの振り分けは重複を許したパターンとし、一種類の入力が複数回使われる場合も考慮する。つまり、ある一つの入力信号がＩＣＡ部５、ＰＣＡ部６の両方に入る場合もある。また、ＩＣＡ部５、ＰＣＡ部６は、それぞれ複数設けるようにして良く、その数を予め設定しておいて学習を行うようにしても良い。
【００１８】
以下、ＮＮＳ２へ入力するデータの前処理部としてのＩＣＡ部５及びＰＣＡ部６について、詳細に説明する。
【００１９】
ＩＣＡ部５は、ＧＡ部７によって選定された入力信号に対して独立成分分析（ＩＣＡ）を行い、１から所定の入力信号数までの数の独立成分を抽出してＮＮＳ２に入力する。ＩＣＡは、観測信号を複数の要素に分離する、多次元信号解析手法であり、具体的には、図２（ａ）に示すように、複数の原信号から発せられた信号Ｓが減衰等の混合作用素Ａによって減衰・混合された場合に、複数の観測点で計測されたデータＸを元に原信号Ｓを推定し、この推定した原信号ＳをＮＮＳへ入力する新たな変量とすることで、電気的・機械的なノイズ成分や教師データと無関係なデータ等を除去した的確な入力情報とすることができる。
【００２０】
信号の分離は、以下に説明するように、主としてキュムラント(cumulant)等の高次の統計量或いは時間的な相関に基づく独立性により行う。独立とは、確率変数ｘ1,ｘ2に関して、それぞれの確率密度関数をｐ(x1),ｐ(x2)としたとき、以下の（３）式が成り立つことである。一般的には、ｎ個の確率変数ｘ1,ｘ2,…の同時確率分布がそれぞれの確率分布の積に分解されるとき、ｎ個の確率変数ｘ1,ｘ2,…は、互いに独立であるという。尚、信号同士が互いに独立であれば、無相関（相関係数が０）になる。
ｐ(x1,x2)＝p(x1)p(x2) …（３）
【００２１】
ＩＣＡの概念は、観測データが未知の独立成分（原信号データ）の線形結合で与えられると仮定し、観測信号Ｘと原信号Ｓを、以下の（４），（５）式に示すようにベクトルで表現し、原信号Ｓの混合を未知のフルランク行列Ａで表現したとき、観測信号Ｘが以下の（６）式によって与えられるものである。従って、ＩＣＡとは、独立成分及び混合行列に関する知識を一切利用せず、観測信号Ｘのみから独立成分（原信号）Ｓまたは混合行列Ａを推定する手法であると言える。
Ｘ＝[x1,x2,x3,…]T …（４）
Ｓ＝[s1,s2,s3,…]T …（５）
Ｘ＝ＡＳ …（６）
【００２２】
すなわち、図２（ｂ）に示すように、ＩＣＡは、観測信号Ｘのみから、以下の（７）式で計算される復元信号Ｙの各成分が統計的に独立となるように、行列（復元行列）Ｗを求める手法であり、理想的には、行列Ｗは、混合行列Ａの一般化行列になるのが望ましいことになる。
Ｙ＝ＷＸ …（７）
【００２３】
実際に独立成分を求める手法は多数存在し、本実施の形態においては、状況に応じて以下に示す４次キュムラントを利用する手法と相互相関を利用する手法とを使い分ける。
【００２４】
＜４次キュムラントの最大、最小化による手法＞
観測信号が定常データ（確率分布が時不変）であると仮定する場合、キュムラントを用いてＩＣＡを行う。キュムラントとは、ある確率変数に対して、分散、標準偏差、歪度、尖度等の統計的性質を示すものであり、４次キュムラントが最大となるとき、信号は互いに独立となることが証明されている。
【００２５】
そこで、この手法は、観測信号を行列Ｗである方向へ投影した後、その行列の４次キュムラントが最大になるように行列Ｗを決定する問題となる。一般に、４次キュムラントを最大にする行列Ｗを直接決定するには自由度が多き過ぎるため、観測信号Ｘを無相関化してから行う。
【００２６】
無相関化には、以下の（８）式に示すように、直交行列ｕ，ｖ、対角行列ｓによる特異値分解を用い、無相関化後の観測信号Ｘ’は、以下の（９）式で記述できる。
Ｘ＝ｕｓｖT …（８）
Ｘ’＝ｕTＸ …（９）
【００２７】
この観測信号Ｘ’に、行列Ｗである方向に投影した４次のキュムラントＫ4は、以下の（１０）式で表される。尚、Ｅは期待値を表す。
Ｋ4(WTX')＝Ｅ[(WTX')4]−３(WTW)2 …（１０）
【００２８】
この（１０）式が最大になるよう計算を繰り返し、行列Ｗを決定する。行列Ｗの最大値を見つけるには勾配法を用い、更新アルゴリズムは以下の（１１）式で表される。
Ｗ(k+1)＝Ｗ(k)±μ{４(Ｗ(k)TＸ'(k))3Ｘ'(k)−１２||Ｗ(k)||2Ｗ(k)＋２λＷ'(k)} …（１１）
但し、μ：学習（速度）のパラメータ
λ：ラグランジュ乗数
【００２９】
行列Ｗを随時更新していき、Ｗ(k+1)−Ｗ(k)が十分０に近い閾値α以下になった時点で学習が終了し、行列Ｗが決定したことになる。行列Ｗが決定すれば、上述の（７）式により、復元信号Ｙを求めることができる。
【００３０】
尚、行列Ｗの更新計算における閾値α及び繰り返し計算回数の上限値は、評価器８から出力される評価値を用いて変化させるようにしても良い。また、（１１）式で与えられる更新アルゴリズムに代えて、不動点法やＪａｃｏｂｉ法を用いて復元マトリクスＷを求めることも可能である。
【００３１】
＜相互相関最小化＞
一般に信号が弱定常でしかない場合には、３次以上の統計量が時間的に変化してしまい、統計量に利用できるものとしては、２次の統計量しかない。これ以外の量は、時間的に変動するため、１つの見本過程からは一般に推定することができず、次数の高いモーメントやキュムラントといった統計量に基づく手法は用いることができない。そのような場合には、相互相関最小化による手法を用いる。
【００３２】
先の（６）式に示す観測信号と原信号の関係から、観測信号Ｘ(t)の相関関数行列は、以下の（１２）式のようになる。
【００３３】
（１２）式におけるRsi(τ)=Ｅ[Si(t)Si(t+τ)]は、原信号i番目の成分Ｓiの自己相関関数を表すことになる。また、原信号の独立性より、異なる独立成分Ｓi,Ｓjとの相互相関は常に０である。すると、復元信号Ｙ(t)は、適当な転置行列Ｐと対角行列Ｄとを用いて、Ｙ(t)＝Ｘ(t)＝ＥＡＳ(t)=ＰＤＳ(t)と置くことができ、その相関関数行列は、以下の（１３）式で示される。
【００３４】
但し、（１３）式における添字1',2',…,n'は、転置行列Ｐによる添字1,2,…,nの置換を表し、λiは対角行列Ｄの第ｉ成分を表す。（１３）式は、行列Ｐ，Ｄで表現される不定性を許して、相関関数行列を任意の時間差τにおいて対角化することを示している。
【００３５】
従って、復元行列Ｗは、観測信号Ｘ(t)の自己相関行列を複数の時間差τに対して求め、同時に対角化する行列として求めることができ、以下の（１４）式に示す条件に単純化される。ここで、Ｍ(τ)は、以下の（１５）式で示す時間差τの観測信号の相関関数行列を表し、Λkは適当な対角行列とする。
ＷＭ(τk)ＷT＝Λk （∀k=1,…,r） …（１４）
Ｍ(τ)＝Ｅ[Ｘ(t)Ｘ(t+τ)T] …（１５）
【００３６】
以上のことがらは、復元信号の独立性は、複数の相関関数行列の非対角成分が０かどうかで評価できることを示唆している。実際に行列Ｗを求める方法としては、いくつかの方法があるが、ここでは、二つの適当な時間差の相互相関行列Ｍ1＝Ｍ(τ1)、Ｍ2＝Ｍ(τ2)を使い、以下の（１６），（１７）式に示す同時対角化問題を解くこととする。
ＷＭ1ＷT＝Λ1 …（１６）
ＷＭ2ＷT＝Λ2 …（１７）
【００３７】
これは、以下の（１８）式で示す行列の固有値問題に帰着されて解くことができるが、二つの相関関数行列を用いるだけでは、相関係数そのものの推定誤差に影響され易い。
Ｍ1-1Ｍ2ＷT＝ＷTΛ1-1Λ2 …（１８）
【００３８】
従って、本システムでは、以下の（１９）式に示すような、幾つかの相関係数行列の非対角成分の二乗和を評価関数として、これを最小とする行列Ｗを求めることとする。ここで、(ＷＭ(τi)ＷT)ijは、行列ＷＭ(τi)ＷTの(i,j)成分を表すものとする。
【００３９】
尚、このままでは、Ｗ＝０が解となるので、適当な制約を加えると、評価関数は行列Ｗの各成分について、先に示した勾配法等で最適解を得ることができる。
【００４０】
一方、ＰＣＡ部６は、ＧＡ部７によって選定された入力信号に対して主成分分析（ＰＣＡ）を行い、１から所定の入力信号数までの数の直交成分を抽出してＮＮＳ２に入力する。ＰＣＡは、複数のデータのばらつき傾向から、合成された新たな変量（主成分）を求める手法であり、解析的には、複数のデータの線形結合によって主成分を表し、線形結合の重みの大きさが１という制約下で主成分の分散を最大化させるものである。
【００４１】
すなわち、ある入力信号Ｘを３次のベクトルとして、その各成分をＸ1,Ｘ2,Ｘ3とし、固有ベクトルをａ、出力される主成分をＺとすると、主成分Ｚは、以下の（２０）式のような形で表される。
【００４２】
従って、固有ベクトルａを求めることが主成分分析を解くことになる。具体的には、以下の（２１）〜（２４）式に示す条件、すなわち、主成分Ｚの各成分同士の相関係数ｒが０、固有ベクトルの大きさが１である条件が成り立つように、主成分Ｚの分散Ｖを最大にする問題を解く。
ｒZ1Z2＝ｒZ2Z3＝ｒZ1Z3＝０ …（２１）
ａ12＋ｂ12＋ｃ12＝１ …（２２）
ａ22＋ｂ22＋ｃ22＝１ …（２３）
ａ32＋ｂ32＋ｃ32＝１ …（２４）
【００４３】
ここで、ｉ番目のサンプルの主成分得点を、以下の（２５）式で示すＺiで表すと、主成分Ｚの分散Ｖは、以下の（２６）式のようになる。従って、上述の条件下で分散Ｖを最大にする固有ベクトルａを求めれば良い。
Ｚi＝ａiＸi1＋ｂiＸi2＋ｃiＸi3 …（２５）
Ｖ＝１／(ｎ−１)ΣＺi2 …（２６）
【００４４】
分散Ｖを最大にする固有ベクトルａを求める方法としては、一般に、ラグランジュ未定乗数を用いて、分散Ｖを最大にする問題から、以下の（２７）式に示すＧを最大にする問題に置き換える。
Ｇ＝Ｖ−λ(ａ2＋ｂ2＋ｃ2−１) …（２７）
【００４５】
Ｇをａ1,ａ2,ａ3,λで偏微分し、０と置くことにより、以下の（２８）式に示すような固有方程式となる。これは、λを未知数とする３次固有方程式となり、解はλ1,λ2,λ3の３つが求まる。
【００４６】
但し、（λ1≧λ2≧λ3≧０）とすると、分散を最大にする第一主成分はλ1を、第二主成分を求めるにはλ2を、第三主成分を求めるにはλ3を用いて、以下の（２９）式に示す方程式を連立して解くことにより求まる。尚、第二主成分、第三主成分を求める際には、λ2,λ3を用いれば良い。
【００４７】
以上のＩＣＡ部５，ＰＣＡ部６へ入力されるデータは、ＧＡ部７にとって最適化される。ＧＡ部７は、ＩＣＡ部５，ＰＣＡ部６，ＮＮＳ２の各部へ最適なデータが入力されるよう入力パターンを遺伝的アルゴリズム（ＧＡ）によって決定する。ＧＡによる入力パターンの最適化は、個々の入力データを各個体として、各個体の遺伝子に入力先に対応した属性を設定しておき、世代毎に評価を行いながら進化過程を繰り返し、学習を行う。
【００４８】
例えば、図３に示すように、初期個体として１０個の個体を発生し、各個体の遺伝子として、ＩＣＡ部５へ入力するものを「１」、ＰＣＡ部６へ入力するものを「２」、ＮＮＳ２への直接入力するものを「３」、ＮＮＳ２へ入力しないものを「４」としてランダムに設定し、この第１世代の初期個体から評価器８の出力に基づいて世代交代を行う。この世代交代の過程では、第１世代の遺伝子に対して評価値の１番良いものを２つ増やし、評価値の悪かった遺伝子を削除して第２世代の遺伝子を生成し、以後、評価値の良い遺伝子だけを残すように、選択、交叉、突然変異等を繰り返す。そして、最終的に、図４に示すように評価値（平均値）が設定値以下になったとき、学習が収束したと判断して最適化を終了する。
【００４９】
尚、最適化の終了は、最良の遺伝子の評価値が設定値に達した時点、或いは、遺伝子の世代が設定世代数に達した時点とすることも可能である。
【００５０】
次に、本発明の適用対象の１つとして、自動車の車両運動解析における車体横滑り角の推定について説明する。車体横滑り角は、車両運動において、タイヤの進行方向と車体の進行方向とがなす角度であり、実際に計測しようとすると非常に高価なセンサを要するため、他の車両状態量から推定することが望まれているものである。
【００５１】
この横滑り角は、一般に、車両運動が線形領域で記述できる場合、従来のニューラルネットワークにおいても、車輪速度等の入力情報から十分に推定可能であるが、車両がドリフトやスピン状態等の非線形領域に入った場合には、十分な推定精度が得られないばかりでなく、処理すべきデータ数が膨大となって計算速度が遅くなるという問題も生じる。
【００５２】
これに対し、本状態推定システム１では、各入力情報について、ＩＣＡ，ＰＣＡの前処理を行い、前後左右の各車輪速度等の入力情報を、ノイズ成分、操舵成分、車輪速度成分等に分離し、ＮＮＳに入力する。これにより、非線形領域での横滑り角の推定精度を向上させることができ、さらに、不要な入力をカットした最小限の入力を用いることで、計算速度を向上させることができる。
【００５３】
以下、車両状態量である車体横滑り角を推定する処理について、図５のフローチャートを用いて説明する。
【００５４】
本システムでは、横滑り角を推定する場合には、市販車に搭載済みのセンサから容易に得られる計測値、すなわち、操舵角、ヨーレイト、各車輪の速度、横向き加速度、前後加速度、スロットル開度、エンジン回転数等を用いて推定を行う。
【００５５】
また、学習に用いるデータとしては、乾燥路での定常状態から、低摩擦係数路での非線形状態までを考慮する。そのため、乾燥路、水膜路、圧雪路、氷路等の各路面における典型的な加速減速中、及び一定速度で操舵を行うパターン走行から、ドリフト、スピン状態を計測し、全ての路面でのデータに対して平均的に適合するよう、ＮＮＳ２及びＩＣＡ部５を構成すると共に、ＰＣＡ部７の復元マトリックスを構成する。
【００５６】
具体的な処理としては、先ず、最初のステップＳ１において、操舵角、ヨーレイト、各車輪の速度、横向き加速度、前後加速度、スロットル開度、エンジン回転数等の入力信号と、教師信号として計測した横滑り角とをＧＡ部７へ入力する。次に、ステップＳ２で、これらの入力信号を振り分けるため、ＧＡ部７で任意の初期入力パターンを設定する。
【００５７】
入力信号の振り分けは、ＩＣＡ部５への入力、ＰＣＡ部６への入力、ＮＮＳ２への直接入力、その入力信号を用いない場合となり、学習前の初期状態では、図６に示すように、操舵角、ヨーレイト、各車輪の速度、横向き加速度、前後加速度、スロットル開度、エンジン回転数等の各入力データが任意のパターン及び次元数でＩＣＡ部５、ＰＣＡ部６、ＮＮＳ２に振り分けられる（但し、初期パターンでは入力信号を用いない場合は除く）。
【００５８】
この入力パターンに従って選択され、ＩＣＡ部５、ＰＣＡ部６に入力された信号は、ステップＳ３において、それぞれ、ＩＣＡ、ＰＣＡにより処理される。尚、次元圧縮を行う場合には、抽出した信号に順番が必要となるので、ＩＣＡに関しては４次キュムラントの大きい順、ＰＣＡでは第１主成分からの順で信号に番号を付与し、入力する信号、入力しない信号で分離する。
【００５９】
その後、ステップＳ４へ進み、分離したデータと処理をしなかったデータとをＮＮＳ２へ入力し、ステップＳ５において、ＮＮＳ２内部で教師データにマッチングするまで順次学習を行う。そして、ＮＮＳ２での計算が収束した後（入力情報から求めた出力と教師信号が最もマッチングした後）は、ステップＳ６の処理に移り、最終的なＮＮＳ２の出力値と教師データとを評価器８に入力し、評価値Ｑを算出する。この評価値Ｑは、以下の（３０）式により算出される。
Ｑ＝ｗｔ1×Ｅｒ＋ｗｔ2×Ｎ …（３０）
但し、Ｅｒ：教師信号と出力値との誤差の２乗積分値
ｗｔ1：設計者が用途に応じて任意に設定する係数
ｗｔ2：設計者が用途に応じて任意に設定する係数
Ｎ：次元数
【００６０】
尚、（３０）式における結合重み係数ｗｔ1,ｗｔ2に関しては、ＮＮＳの精度を重視する場合には、結合重み係数ｗｔ1を大きくし、入力データの次元数を小さくしたい場合には、結合重み係数ｗｔ2を大きくすることが望ましく、結合重み係数ｗｔ1,ｗｔ2を調整することで所望のシステム構成とすることができる。
【００６１】
この評価値Ｑからは、ステップＳ７で学習終了が判定され、学習が未終了のとき（評価値Ｑが最小に収束していないとき）、ステップＳ８の処理として、ＧＡ部７で評価値Ｑを用いて入力パターンと入力次元数を学習的に変化させ、前述したステップＳ３以降での処理により、ＩＣＡ部５、ＰＣＡ部６、ＮＮＳ２で繰り返し再計算を実行する。このＧＡ部７での学習により、図７に示すように、ＩＣＡ部５，ＰＣＡ部６，ＮＮＳ２への入力パターンがより適正化され、ＮＮＳ２へ適正な次元数の最適なデータが入力されるようになる。そして、評価値Ｑが最小になった時点で、学習終了と判断して計算を終了し、ＮＮＳ２から車体横滑り角の推定結果を出力する。
【００６２】
以上の状態推定システム１は、オンラインで学習するシステムとしてそのまま実車に搭載することも可能であるが、望ましくは、オフラインでの学習が終了し、図８に示すようにＧＡ部７を除いて入力パターンを設定済みのシステムを、実車に搭載することが望ましい。これにより、横滑り角を計測することが困難な実験車や市販車に本システムを搭載し、入力データを設定パターン通りに入力するだけで、車体横滑り角を、迅速且つ高精度で推定することができ、車両挙動の制御性を向上させることができる。
【００６３】
図９は、右前輪車輪速度と左前輪車輪速度とをＩＣＡ部５で独立成分分析してＮＮＳ２へ入力し、横方向加速度と前後方向加速度とスロットル開度とをＰＣＡ部６で主成分分析してＮＮＳ２へ入力した例を示しており、ＩＣＡにより入力データに含まれるノイズを効果的に除去すると共に、ＩＣＡの推定誤差をＰＣＡで低減し、教師データである横滑り角に近い波形をＮＮＳ２から出力していることがわかる。
【００６４】
以上のように、本状態推定システム１では、ＩＣＡ部５による独立成分分析、ＰＣＡ部６による主成分分析を経て、ＮＮＳ２からの出力の評価値を最小にするよう学習することで、従来システムより少ない入力データ数で、教師信号に対する誤差が少ないシステムとすることができる。
【００６５】
すなわち、ＩＣＡを用いることにより、ヨーレイトや操舵角といった横滑り角と比較的対応が取れるデータを取得するようなセンサがない場合においても、各車輪速度等そのままでは全く対応が取れないデータを、対応がとれる形へ写像することが可能となり、同時に、ノイズ成分を分離することができるため、シグナルとノイズとが混ざった状態でニューラルネットワークへ適応することがなく、推定精度を向上することができる。
【００６６】
また、ＰＣＡを用いることにより、ＩＣＡによる出力値では表現し難い非線形な箇所に対しても、誤差を低減することができる。すなわち、図１０（ａ）に示すように、観測データをそのままニューラルネットワークに入力して処理する従来のシステムでは、非線形領域において、教師データ（実線）とシステムの出力値（破線）と大きく乖離してしまうが、図１０（ｂ）に示すように、本システムでは、ＩＣＡ，ＰＣＡで分析処理した後のデータをニューラルネットワークに入力しているため、非線形領域においても、システムの出力値を教師データに精度良く一致させることができる。
【００６７】
尚、本システムにおいて、入力信号が多すぎて学習が収束しない場合や、予めニューラルネットワークへの入力パターンや次元数が設計的に決定している場合には、以下の（ａ）〜（ｃ）に示す方法で学習を行なう。
（ａ）学習が収束しない場合には、入力パターンのみＧＡで最適化して、決定した入力パターンのみで圧縮次元数の学習を行う。
（ｂ）ニューラルネットワークへの入力パターンが決まっている場合には、次元圧縮のみＧＡで学習を行う。
（ｃ）ニューラルネットワークへの入力データの次元数が決定している場合には、入力データ数に制約条件を与えてＧＡを学習させる。
【図面の簡単な説明】
【００６８】
【図１】状態推定システムの全体構成図
【図２】独立成分分析の説明図
【図３】遺伝的アルゴリズムによる入力パターンの最適化を示す説明図
【図４】遺伝子の世代と評価値との関係を示す説明図
【図５】車体横滑り角の推定処理を示すフローチャート
【図６】学習前の入力パターンを示す説明図
【図７】学習後の入力パターンを示す説明図
【図８】学習後のシステム構成を示す説明図
【図９】システムの出力例を示す説明図
【図１０】非線形領域における教師データへの適合度を示す説明図
【符号の説明】
【００６９】
１ 状態推定システム
２ ニューラルネットワークシステム
５ ＩＣＡ部（独立成分分析部）
６ ＰＣＡ部（主成分分析部）
７ ＧＡ部（入力パターン決定部）
８ 評価器
【技術分野】
【０００１】
本発明は、複数の観測データをニューラルネットワークで学習して系の状態量を推定出力する状態推定システムに関する。
【背景技術】
【０００２】
近年、観測データをニューラルネットワークに適用して系の状態量を推定する技術が開発されている。例えば、車両の前後加速度、横加速度、上下加速度、操舵トルク、前輪舵角、車速、後輪舵角等を測定してニューラルネットワークへの入力とし、横滑り角やヨーレート等の測定が困難な状態量を推定する。
【０００３】
例えば、特許文献１には、リカレントニューラルネットワークを用い、このリカレントニューラルネットワークにおける結合重み係数を遺伝的的アルゴリズムを用いて最適化することで、ネットワーク構成を車両パラメータを推定する上で最適な構造とする技術が開示されている。
【特許文献１】特開２００４−２４９８１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、観測される入力データには、電気的、機械的なノイズ成分を含む場合や、各入力データが教師データに無関係な情報を複数含む場合が多く、このような不要な入力データは、ニューラルネットワークにおいてはノイズでしかない。特許文献１に開示されているような従来のシステムでは、このような観測データを、そのままニューラルネットワークに入力しており、これらを含めて学習を行った場合、教師データに対する適合性の悪化や、システムの汎化能力の低下を起こす虞がある。
【０００５】
本発明は上記事情に鑑みてなされたもので、観測データに含まれるノイズや不要なデータを除去して的確な入力情報のみをニューラルネットワークに適応可能とし、教師データへのマッチング精度や計算速度を向上させることのできる状態推定システムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明による第１の状態推定システムは、複数の観測データからニューラルネットワークを介して系の状態量を推定出力する状態推定システムであって、上記複数の観測データの入力先を、上記ニューラルネットワークと上記ニューラルネットワーク以外とに振り分ける入力パターンを決定する入力パターン決定部と、上記複数の観測データの中から上記入力パターンに従って選択されたデータを独立成分分析して原信号を推定し、推定した原信号を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する独立成分分析部とを備えたことを特徴とする。
【０００７】
また、本発明による第２の状態推定システムは、車両運動における複数の観測データをニューラルネットワークで学習して車体挙動に係る状態量を推定出力する状態推定システムであって、上記複数の観測データの中から所定の入力パターンに従って選択されたデータを独立成分分析して原信号を推定し、推定した原信号を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する独立成分分析部と、上記複数の観測データの中から上記入力パターンに従って選択されたデータを主成分分析して主成分を抽出し、抽出した主成分を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する主成分分析部とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、観測データに含まれるノイズや不要なデータを除去して的確な入力情報のみをニューラルネットワークに入力することができ、教師データへのマッチング精度や計算速度を向上させて、状態量の推定精度を向上することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図１０は本発明の実施の一形態に係り、図１は状態推定システムの全体構成図、図２は独立成分分析の説明図、図３は遺伝的アルゴリズムによる入力パターンの最適化を示す説明図、図４は遺伝子の世代と評価値との関係を示す説明図、図５は車体横滑り角の推定処理を示すフローチャート、図６は学習前の入力パターンを示す説明図、図７は学習後の入力パターンを示す説明図、図８は学習後のシステム構成を示す説明図、図９はシステムの出力例を示す説明図、図１０は非線形領域における教師データへの適合度を示す説明図である。
【００１０】
本発明の状態推定システムは、車両運動解析、画像処理、音声認識等の各種信号処理系に適用され、観測信号からニューラルネットワーク(Neural network;NN)を用いて系の状態量を学習的に推定するものである。図１に示すように、本実施の形態における状態推定システム１は、ハードウエア的には、単一のコンピュータシステム或いはネットワーク等を介して接続された複数のコンピュータシステムで構成され、機能的な特徴として、ニューラルネットワークシステム(Neural network System;NNS)２への前処理部として、入力データ（観測データ）を、独立成分分析（Independent Component Analysis;ICA）を用いて処理する独立成分分析部（ＩＣＡ部）５と主成分分析（Principal Component Analysis;PCA）を用いて処理する主成分分析部（ＰＣＡ部）６とを備えている。
【００１１】
ＮＮＳ２は、本実施の形態においては、周知の階層型ネットワーク３を採用し、ニューラルネットワーク（ＮＮ）３からの出力値と教師信号とを評価する評価器４ａと、この評価器４ａの評価結果に基づいて、出力値と教師信号とを一致させるよう内部の結合加重を学習する学習器４ｂとを備えている。例えば、ＮＮ３を３階層のモデルで構成する場合、ＮＮ３の入力層、中間層、及び出力層を構成する各ノードＮi（ｉ＝１，２，…，ｋ；ｋは各層を構成するノードの総数）は、所定の伝達関数に従い、入力Ｘiに対して１つの出力Ｙiを出力する。
【００１２】
伝達関数としては、例えば、以下の（１）式で表されるシグモイド関数を用いることができる。その他、リミッタ、二値化、不感帯、ピークホールド、微分、積分、最大値等の各関数を伝達関数として用いることも可能である。
Ｙi＝１／(１＋ｅｘｐ(−(Ｘi−θi))) …（１）
【００１３】
ここで、（１）式におけるθiは、ノードＮi毎の閾値である。また、入力Ｘiは、上流側の各ノードＮjの出力Ｙjを重み付けした総和である。すなわち、上流側のノードＮjと下流側のノードＮiとの結合重み係数をｗｔijとした場合、ノードＮiへの入力Ｘiは、以下の（２）式で求められる。
Ｘi＝Σｗｔij×Ｙj …（２）
【００１４】
本状態推定システム１は、観測された複数のデータの全てがそのままＮＮＳ２（ＮＮ３）に入力されるわけではなく、以下に説明する入力パターンに従って、適宜、ＩＣＡ部５及びＰＣＡ部６に振り分けられ、ＩＣＡ部５及びＰＣＡ部６で分析されたデータがＮＮＳ２に入力される。尚、図１は、入力信号Ｄ1,…Ｄnに対する入力パターンの一つの形態を例示するものであり、この入力パターンは、学習によって適応的に更新される。
【００１５】
ＩＣＡ部５は、観測データから電気的・機械的なノイズ成分を除去した原信号を推定してＮＮＳ２へ入力し、ＰＣＡ部６は、ＩＣＡ部５では把握しきれない非線形な部分での不要なデータを除去し、誤差を低減した代表的な特性データをＮＮＳ２へ入力する。このＩＣＡ部５及びＰＣＡ部６による観測データの前処理により、ＮＮＳ２への入力情報を的確な情報とすることができ、ＮＮＳ２における教師データへのマッチング精度や計算速度を向上させることができる。
【００１６】
更に、本状態推定システム１は、ＩＣＡ部５、ＰＣＡ部６、ＮＮＳ２への入力パターンを決定し、この入力パターンを遺伝的アルゴリズム（Genetic Algorithm;GA）で適応的に更新する入力パターン決定部としてのＧＡ部７を備えている。この入力パターンは、ＩＣＡ部５で処理すべきデータ、ＰＣＡ部６で処理すべきデータ、直接ＮＮＳ２に入力すべきデータ、ＮＮＳ２に入力しない未使用データ（不要のデータ）といったようにデータを振り分けるパターンであり、ＧＡ部７は、ＮＮＳ２の出力信号（収束後の学習結果）と教師信号とを比較・評価する評価器８からの出力に基づいて、遺伝的アルゴリズムで入力パターンを適応的に更新していく。
【００１７】
尚、入力データの振り分けは重複を許したパターンとし、一種類の入力が複数回使われる場合も考慮する。つまり、ある一つの入力信号がＩＣＡ部５、ＰＣＡ部６の両方に入る場合もある。また、ＩＣＡ部５、ＰＣＡ部６は、それぞれ複数設けるようにして良く、その数を予め設定しておいて学習を行うようにしても良い。
【００１８】
以下、ＮＮＳ２へ入力するデータの前処理部としてのＩＣＡ部５及びＰＣＡ部６について、詳細に説明する。
【００１９】
ＩＣＡ部５は、ＧＡ部７によって選定された入力信号に対して独立成分分析（ＩＣＡ）を行い、１から所定の入力信号数までの数の独立成分を抽出してＮＮＳ２に入力する。ＩＣＡは、観測信号を複数の要素に分離する、多次元信号解析手法であり、具体的には、図２（ａ）に示すように、複数の原信号から発せられた信号Ｓが減衰等の混合作用素Ａによって減衰・混合された場合に、複数の観測点で計測されたデータＸを元に原信号Ｓを推定し、この推定した原信号ＳをＮＮＳへ入力する新たな変量とすることで、電気的・機械的なノイズ成分や教師データと無関係なデータ等を除去した的確な入力情報とすることができる。
【００２０】
信号の分離は、以下に説明するように、主としてキュムラント(cumulant)等の高次の統計量或いは時間的な相関に基づく独立性により行う。独立とは、確率変数ｘ1,ｘ2に関して、それぞれの確率密度関数をｐ(x1),ｐ(x2)としたとき、以下の（３）式が成り立つことである。一般的には、ｎ個の確率変数ｘ1,ｘ2,…の同時確率分布がそれぞれの確率分布の積に分解されるとき、ｎ個の確率変数ｘ1,ｘ2,…は、互いに独立であるという。尚、信号同士が互いに独立であれば、無相関（相関係数が０）になる。
ｐ(x1,x2)＝p(x1)p(x2) …（３）
【００２１】
ＩＣＡの概念は、観測データが未知の独立成分（原信号データ）の線形結合で与えられると仮定し、観測信号Ｘと原信号Ｓを、以下の（４），（５）式に示すようにベクトルで表現し、原信号Ｓの混合を未知のフルランク行列Ａで表現したとき、観測信号Ｘが以下の（６）式によって与えられるものである。従って、ＩＣＡとは、独立成分及び混合行列に関する知識を一切利用せず、観測信号Ｘのみから独立成分（原信号）Ｓまたは混合行列Ａを推定する手法であると言える。
Ｘ＝[x1,x2,x3,…]T …（４）
Ｓ＝[s1,s2,s3,…]T …（５）
Ｘ＝ＡＳ …（６）
【００２２】
すなわち、図２（ｂ）に示すように、ＩＣＡは、観測信号Ｘのみから、以下の（７）式で計算される復元信号Ｙの各成分が統計的に独立となるように、行列（復元行列）Ｗを求める手法であり、理想的には、行列Ｗは、混合行列Ａの一般化行列になるのが望ましいことになる。
Ｙ＝ＷＸ …（７）
【００２３】
実際に独立成分を求める手法は多数存在し、本実施の形態においては、状況に応じて以下に示す４次キュムラントを利用する手法と相互相関を利用する手法とを使い分ける。
【００２４】
＜４次キュムラントの最大、最小化による手法＞
観測信号が定常データ（確率分布が時不変）であると仮定する場合、キュムラントを用いてＩＣＡを行う。キュムラントとは、ある確率変数に対して、分散、標準偏差、歪度、尖度等の統計的性質を示すものであり、４次キュムラントが最大となるとき、信号は互いに独立となることが証明されている。
【００２５】
そこで、この手法は、観測信号を行列Ｗである方向へ投影した後、その行列の４次キュムラントが最大になるように行列Ｗを決定する問題となる。一般に、４次キュムラントを最大にする行列Ｗを直接決定するには自由度が多き過ぎるため、観測信号Ｘを無相関化してから行う。
【００２６】
無相関化には、以下の（８）式に示すように、直交行列ｕ，ｖ、対角行列ｓによる特異値分解を用い、無相関化後の観測信号Ｘ’は、以下の（９）式で記述できる。
Ｘ＝ｕｓｖT …（８）
Ｘ’＝ｕTＸ …（９）
【００２７】
この観測信号Ｘ’に、行列Ｗである方向に投影した４次のキュムラントＫ4は、以下の（１０）式で表される。尚、Ｅは期待値を表す。
Ｋ4(WTX')＝Ｅ[(WTX')4]−３(WTW)2 …（１０）
【００２８】
この（１０）式が最大になるよう計算を繰り返し、行列Ｗを決定する。行列Ｗの最大値を見つけるには勾配法を用い、更新アルゴリズムは以下の（１１）式で表される。
Ｗ(k+1)＝Ｗ(k)±μ{４(Ｗ(k)TＸ'(k))3Ｘ'(k)−１２||Ｗ(k)||2Ｗ(k)＋２λＷ'(k)} …（１１）
但し、μ：学習（速度）のパラメータ
λ：ラグランジュ乗数
【００２９】
行列Ｗを随時更新していき、Ｗ(k+1)−Ｗ(k)が十分０に近い閾値α以下になった時点で学習が終了し、行列Ｗが決定したことになる。行列Ｗが決定すれば、上述の（７）式により、復元信号Ｙを求めることができる。
【００３０】
尚、行列Ｗの更新計算における閾値α及び繰り返し計算回数の上限値は、評価器８から出力される評価値を用いて変化させるようにしても良い。また、（１１）式で与えられる更新アルゴリズムに代えて、不動点法やＪａｃｏｂｉ法を用いて復元マトリクスＷを求めることも可能である。
【００３１】
＜相互相関最小化＞
一般に信号が弱定常でしかない場合には、３次以上の統計量が時間的に変化してしまい、統計量に利用できるものとしては、２次の統計量しかない。これ以外の量は、時間的に変動するため、１つの見本過程からは一般に推定することができず、次数の高いモーメントやキュムラントといった統計量に基づく手法は用いることができない。そのような場合には、相互相関最小化による手法を用いる。
【００３２】
先の（６）式に示す観測信号と原信号の関係から、観測信号Ｘ(t)の相関関数行列は、以下の（１２）式のようになる。
【００３３】
（１２）式におけるRsi(τ)=Ｅ[Si(t)Si(t+τ)]は、原信号i番目の成分Ｓiの自己相関関数を表すことになる。また、原信号の独立性より、異なる独立成分Ｓi,Ｓjとの相互相関は常に０である。すると、復元信号Ｙ(t)は、適当な転置行列Ｐと対角行列Ｄとを用いて、Ｙ(t)＝Ｘ(t)＝ＥＡＳ(t)=ＰＤＳ(t)と置くことができ、その相関関数行列は、以下の（１３）式で示される。
【００３４】
但し、（１３）式における添字1',2',…,n'は、転置行列Ｐによる添字1,2,…,nの置換を表し、λiは対角行列Ｄの第ｉ成分を表す。（１３）式は、行列Ｐ，Ｄで表現される不定性を許して、相関関数行列を任意の時間差τにおいて対角化することを示している。
【００３５】
従って、復元行列Ｗは、観測信号Ｘ(t)の自己相関行列を複数の時間差τに対して求め、同時に対角化する行列として求めることができ、以下の（１４）式に示す条件に単純化される。ここで、Ｍ(τ)は、以下の（１５）式で示す時間差τの観測信号の相関関数行列を表し、Λkは適当な対角行列とする。
ＷＭ(τk)ＷT＝Λk （∀k=1,…,r） …（１４）
Ｍ(τ)＝Ｅ[Ｘ(t)Ｘ(t+τ)T] …（１５）
【００３６】
以上のことがらは、復元信号の独立性は、複数の相関関数行列の非対角成分が０かどうかで評価できることを示唆している。実際に行列Ｗを求める方法としては、いくつかの方法があるが、ここでは、二つの適当な時間差の相互相関行列Ｍ1＝Ｍ(τ1)、Ｍ2＝Ｍ(τ2)を使い、以下の（１６），（１７）式に示す同時対角化問題を解くこととする。
ＷＭ1ＷT＝Λ1 …（１６）
ＷＭ2ＷT＝Λ2 …（１７）
【００３７】
これは、以下の（１８）式で示す行列の固有値問題に帰着されて解くことができるが、二つの相関関数行列を用いるだけでは、相関係数そのものの推定誤差に影響され易い。
Ｍ1-1Ｍ2ＷT＝ＷTΛ1-1Λ2 …（１８）
【００３８】
従って、本システムでは、以下の（１９）式に示すような、幾つかの相関係数行列の非対角成分の二乗和を評価関数として、これを最小とする行列Ｗを求めることとする。ここで、(ＷＭ(τi)ＷT)ijは、行列ＷＭ(τi)ＷTの(i,j)成分を表すものとする。
【００３９】
尚、このままでは、Ｗ＝０が解となるので、適当な制約を加えると、評価関数は行列Ｗの各成分について、先に示した勾配法等で最適解を得ることができる。
【００４０】
一方、ＰＣＡ部６は、ＧＡ部７によって選定された入力信号に対して主成分分析（ＰＣＡ）を行い、１から所定の入力信号数までの数の直交成分を抽出してＮＮＳ２に入力する。ＰＣＡは、複数のデータのばらつき傾向から、合成された新たな変量（主成分）を求める手法であり、解析的には、複数のデータの線形結合によって主成分を表し、線形結合の重みの大きさが１という制約下で主成分の分散を最大化させるものである。
【００４１】
すなわち、ある入力信号Ｘを３次のベクトルとして、その各成分をＸ1,Ｘ2,Ｘ3とし、固有ベクトルをａ、出力される主成分をＺとすると、主成分Ｚは、以下の（２０）式のような形で表される。
【００４２】
従って、固有ベクトルａを求めることが主成分分析を解くことになる。具体的には、以下の（２１）〜（２４）式に示す条件、すなわち、主成分Ｚの各成分同士の相関係数ｒが０、固有ベクトルの大きさが１である条件が成り立つように、主成分Ｚの分散Ｖを最大にする問題を解く。
ｒZ1Z2＝ｒZ2Z3＝ｒZ1Z3＝０ …（２１）
ａ12＋ｂ12＋ｃ12＝１ …（２２）
ａ22＋ｂ22＋ｃ22＝１ …（２３）
ａ32＋ｂ32＋ｃ32＝１ …（２４）
【００４３】
ここで、ｉ番目のサンプルの主成分得点を、以下の（２５）式で示すＺiで表すと、主成分Ｚの分散Ｖは、以下の（２６）式のようになる。従って、上述の条件下で分散Ｖを最大にする固有ベクトルａを求めれば良い。
Ｚi＝ａiＸi1＋ｂiＸi2＋ｃiＸi3 …（２５）
Ｖ＝１／(ｎ−１)ΣＺi2 …（２６）
【００４４】
分散Ｖを最大にする固有ベクトルａを求める方法としては、一般に、ラグランジュ未定乗数を用いて、分散Ｖを最大にする問題から、以下の（２７）式に示すＧを最大にする問題に置き換える。
Ｇ＝Ｖ−λ(ａ2＋ｂ2＋ｃ2−１) …（２７）
【００４５】
Ｇをａ1,ａ2,ａ3,λで偏微分し、０と置くことにより、以下の（２８）式に示すような固有方程式となる。これは、λを未知数とする３次固有方程式となり、解はλ1,λ2,λ3の３つが求まる。
【００４６】
但し、（λ1≧λ2≧λ3≧０）とすると、分散を最大にする第一主成分はλ1を、第二主成分を求めるにはλ2を、第三主成分を求めるにはλ3を用いて、以下の（２９）式に示す方程式を連立して解くことにより求まる。尚、第二主成分、第三主成分を求める際には、λ2,λ3を用いれば良い。
【００４７】
以上のＩＣＡ部５，ＰＣＡ部６へ入力されるデータは、ＧＡ部７にとって最適化される。ＧＡ部７は、ＩＣＡ部５，ＰＣＡ部６，ＮＮＳ２の各部へ最適なデータが入力されるよう入力パターンを遺伝的アルゴリズム（ＧＡ）によって決定する。ＧＡによる入力パターンの最適化は、個々の入力データを各個体として、各個体の遺伝子に入力先に対応した属性を設定しておき、世代毎に評価を行いながら進化過程を繰り返し、学習を行う。
【００４８】
例えば、図３に示すように、初期個体として１０個の個体を発生し、各個体の遺伝子として、ＩＣＡ部５へ入力するものを「１」、ＰＣＡ部６へ入力するものを「２」、ＮＮＳ２への直接入力するものを「３」、ＮＮＳ２へ入力しないものを「４」としてランダムに設定し、この第１世代の初期個体から評価器８の出力に基づいて世代交代を行う。この世代交代の過程では、第１世代の遺伝子に対して評価値の１番良いものを２つ増やし、評価値の悪かった遺伝子を削除して第２世代の遺伝子を生成し、以後、評価値の良い遺伝子だけを残すように、選択、交叉、突然変異等を繰り返す。そして、最終的に、図４に示すように評価値（平均値）が設定値以下になったとき、学習が収束したと判断して最適化を終了する。
【００４９】
尚、最適化の終了は、最良の遺伝子の評価値が設定値に達した時点、或いは、遺伝子の世代が設定世代数に達した時点とすることも可能である。
【００５０】
次に、本発明の適用対象の１つとして、自動車の車両運動解析における車体横滑り角の推定について説明する。車体横滑り角は、車両運動において、タイヤの進行方向と車体の進行方向とがなす角度であり、実際に計測しようとすると非常に高価なセンサを要するため、他の車両状態量から推定することが望まれているものである。
【００５１】
この横滑り角は、一般に、車両運動が線形領域で記述できる場合、従来のニューラルネットワークにおいても、車輪速度等の入力情報から十分に推定可能であるが、車両がドリフトやスピン状態等の非線形領域に入った場合には、十分な推定精度が得られないばかりでなく、処理すべきデータ数が膨大となって計算速度が遅くなるという問題も生じる。
【００５２】
これに対し、本状態推定システム１では、各入力情報について、ＩＣＡ，ＰＣＡの前処理を行い、前後左右の各車輪速度等の入力情報を、ノイズ成分、操舵成分、車輪速度成分等に分離し、ＮＮＳに入力する。これにより、非線形領域での横滑り角の推定精度を向上させることができ、さらに、不要な入力をカットした最小限の入力を用いることで、計算速度を向上させることができる。
【００５３】
以下、車両状態量である車体横滑り角を推定する処理について、図５のフローチャートを用いて説明する。
【００５４】
本システムでは、横滑り角を推定する場合には、市販車に搭載済みのセンサから容易に得られる計測値、すなわち、操舵角、ヨーレイト、各車輪の速度、横向き加速度、前後加速度、スロットル開度、エンジン回転数等を用いて推定を行う。
【００５５】
また、学習に用いるデータとしては、乾燥路での定常状態から、低摩擦係数路での非線形状態までを考慮する。そのため、乾燥路、水膜路、圧雪路、氷路等の各路面における典型的な加速減速中、及び一定速度で操舵を行うパターン走行から、ドリフト、スピン状態を計測し、全ての路面でのデータに対して平均的に適合するよう、ＮＮＳ２及びＩＣＡ部５を構成すると共に、ＰＣＡ部７の復元マトリックスを構成する。
【００５６】
具体的な処理としては、先ず、最初のステップＳ１において、操舵角、ヨーレイト、各車輪の速度、横向き加速度、前後加速度、スロットル開度、エンジン回転数等の入力信号と、教師信号として計測した横滑り角とをＧＡ部７へ入力する。次に、ステップＳ２で、これらの入力信号を振り分けるため、ＧＡ部７で任意の初期入力パターンを設定する。
【００５７】
入力信号の振り分けは、ＩＣＡ部５への入力、ＰＣＡ部６への入力、ＮＮＳ２への直接入力、その入力信号を用いない場合となり、学習前の初期状態では、図６に示すように、操舵角、ヨーレイト、各車輪の速度、横向き加速度、前後加速度、スロットル開度、エンジン回転数等の各入力データが任意のパターン及び次元数でＩＣＡ部５、ＰＣＡ部６、ＮＮＳ２に振り分けられる（但し、初期パターンでは入力信号を用いない場合は除く）。
【００５８】
この入力パターンに従って選択され、ＩＣＡ部５、ＰＣＡ部６に入力された信号は、ステップＳ３において、それぞれ、ＩＣＡ、ＰＣＡにより処理される。尚、次元圧縮を行う場合には、抽出した信号に順番が必要となるので、ＩＣＡに関しては４次キュムラントの大きい順、ＰＣＡでは第１主成分からの順で信号に番号を付与し、入力する信号、入力しない信号で分離する。
【００５９】
その後、ステップＳ４へ進み、分離したデータと処理をしなかったデータとをＮＮＳ２へ入力し、ステップＳ５において、ＮＮＳ２内部で教師データにマッチングするまで順次学習を行う。そして、ＮＮＳ２での計算が収束した後（入力情報から求めた出力と教師信号が最もマッチングした後）は、ステップＳ６の処理に移り、最終的なＮＮＳ２の出力値と教師データとを評価器８に入力し、評価値Ｑを算出する。この評価値Ｑは、以下の（３０）式により算出される。
Ｑ＝ｗｔ1×Ｅｒ＋ｗｔ2×Ｎ …（３０）
但し、Ｅｒ：教師信号と出力値との誤差の２乗積分値
ｗｔ1：設計者が用途に応じて任意に設定する係数
ｗｔ2：設計者が用途に応じて任意に設定する係数
Ｎ：次元数
【００６０】
尚、（３０）式における結合重み係数ｗｔ1,ｗｔ2に関しては、ＮＮＳの精度を重視する場合には、結合重み係数ｗｔ1を大きくし、入力データの次元数を小さくしたい場合には、結合重み係数ｗｔ2を大きくすることが望ましく、結合重み係数ｗｔ1,ｗｔ2を調整することで所望のシステム構成とすることができる。
【００６１】
この評価値Ｑからは、ステップＳ７で学習終了が判定され、学習が未終了のとき（評価値Ｑが最小に収束していないとき）、ステップＳ８の処理として、ＧＡ部７で評価値Ｑを用いて入力パターンと入力次元数を学習的に変化させ、前述したステップＳ３以降での処理により、ＩＣＡ部５、ＰＣＡ部６、ＮＮＳ２で繰り返し再計算を実行する。このＧＡ部７での学習により、図７に示すように、ＩＣＡ部５，ＰＣＡ部６，ＮＮＳ２への入力パターンがより適正化され、ＮＮＳ２へ適正な次元数の最適なデータが入力されるようになる。そして、評価値Ｑが最小になった時点で、学習終了と判断して計算を終了し、ＮＮＳ２から車体横滑り角の推定結果を出力する。
【００６２】
以上の状態推定システム１は、オンラインで学習するシステムとしてそのまま実車に搭載することも可能であるが、望ましくは、オフラインでの学習が終了し、図８に示すようにＧＡ部７を除いて入力パターンを設定済みのシステムを、実車に搭載することが望ましい。これにより、横滑り角を計測することが困難な実験車や市販車に本システムを搭載し、入力データを設定パターン通りに入力するだけで、車体横滑り角を、迅速且つ高精度で推定することができ、車両挙動の制御性を向上させることができる。
【００６３】
図９は、右前輪車輪速度と左前輪車輪速度とをＩＣＡ部５で独立成分分析してＮＮＳ２へ入力し、横方向加速度と前後方向加速度とスロットル開度とをＰＣＡ部６で主成分分析してＮＮＳ２へ入力した例を示しており、ＩＣＡにより入力データに含まれるノイズを効果的に除去すると共に、ＩＣＡの推定誤差をＰＣＡで低減し、教師データである横滑り角に近い波形をＮＮＳ２から出力していることがわかる。
【００６４】
以上のように、本状態推定システム１では、ＩＣＡ部５による独立成分分析、ＰＣＡ部６による主成分分析を経て、ＮＮＳ２からの出力の評価値を最小にするよう学習することで、従来システムより少ない入力データ数で、教師信号に対する誤差が少ないシステムとすることができる。
【００６５】
すなわち、ＩＣＡを用いることにより、ヨーレイトや操舵角といった横滑り角と比較的対応が取れるデータを取得するようなセンサがない場合においても、各車輪速度等そのままでは全く対応が取れないデータを、対応がとれる形へ写像することが可能となり、同時に、ノイズ成分を分離することができるため、シグナルとノイズとが混ざった状態でニューラルネットワークへ適応することがなく、推定精度を向上することができる。
【００６６】
また、ＰＣＡを用いることにより、ＩＣＡによる出力値では表現し難い非線形な箇所に対しても、誤差を低減することができる。すなわち、図１０（ａ）に示すように、観測データをそのままニューラルネットワークに入力して処理する従来のシステムでは、非線形領域において、教師データ（実線）とシステムの出力値（破線）と大きく乖離してしまうが、図１０（ｂ）に示すように、本システムでは、ＩＣＡ，ＰＣＡで分析処理した後のデータをニューラルネットワークに入力しているため、非線形領域においても、システムの出力値を教師データに精度良く一致させることができる。
【００６７】
尚、本システムにおいて、入力信号が多すぎて学習が収束しない場合や、予めニューラルネットワークへの入力パターンや次元数が設計的に決定している場合には、以下の（ａ）〜（ｃ）に示す方法で学習を行なう。
（ａ）学習が収束しない場合には、入力パターンのみＧＡで最適化して、決定した入力パターンのみで圧縮次元数の学習を行う。
（ｂ）ニューラルネットワークへの入力パターンが決まっている場合には、次元圧縮のみＧＡで学習を行う。
（ｃ）ニューラルネットワークへの入力データの次元数が決定している場合には、入力データ数に制約条件を与えてＧＡを学習させる。
【図面の簡単な説明】
【００６８】
【図１】状態推定システムの全体構成図
【図２】独立成分分析の説明図
【図３】遺伝的アルゴリズムによる入力パターンの最適化を示す説明図
【図４】遺伝子の世代と評価値との関係を示す説明図
【図５】車体横滑り角の推定処理を示すフローチャート
【図６】学習前の入力パターンを示す説明図
【図７】学習後の入力パターンを示す説明図
【図８】学習後のシステム構成を示す説明図
【図９】システムの出力例を示す説明図
【図１０】非線形領域における教師データへの適合度を示す説明図
【符号の説明】
【００６９】
１ 状態推定システム
２ ニューラルネットワークシステム
５ ＩＣＡ部（独立成分分析部）
６ ＰＣＡ部（主成分分析部）
７ ＧＡ部（入力パターン決定部）
８ 評価器
【特許請求の範囲】
【請求項１】
複数の観測データからニューラルネットワークを介して系の状態量を推定出力する状態推定システムであって、
上記複数の観測データの入力先を、上記ニューラルネットワークと上記ニューラルネットワーク以外とに振り分ける入力パターンを決定する入力パターン決定部と、
上記複数の観測データの中から上記入力パターンに従って選択されたデータを独立成分分析して原信号を推定し、推定した原信号を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する独立成分分析部と
を備えたことを特徴とする状態推定システム。
【請求項２】
上記複数の観測データの中から上記入力パターンに従って入力されたデータを主成分分析して主成分を抽出し、抽出した主成分を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する主成分分析部を更に備えたことを特徴とする請求項１記載の状態推定システム。
【請求項３】
上記入力パターンを、遺伝的アルゴリズムで適応的に更新することを特徴とする請求項１又は２記載の状態推定システム。
【請求項４】
上記独立成分分析部における原信号の推定を、４次キュムラントを用いて行うことを特徴とする請求項１記載の状態推定システム。
【請求項５】
上記独立成分分析部における原信号の推定を、相互相関関数を用いて行うことを特徴とする請求項１記載の状態推定システム。
【請求項６】
車両運動における複数の観測データをニューラルネットワークで学習して車体挙動に係る状態量を推定出力する状態推定システムであって、
上記複数の観測データの中から所定の入力パターンに従って選択されたデータを独立成分分析して原信号を推定し、推定した原信号を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する独立成分分析部と、
上記複数の観測データの中から上記入力パターンに従って選択されたデータを主成分分析して主成分を抽出し、抽出した主成分を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する主成分分析部と
を備えたことを特徴とする状態推定システム。
【請求項７】
上記状態量は、車両の車体横滑り角であることを特徴とする請求項１又は６記載の状態推定システム。
【請求項１】
複数の観測データからニューラルネットワークを介して系の状態量を推定出力する状態推定システムであって、
上記複数の観測データの入力先を、上記ニューラルネットワークと上記ニューラルネットワーク以外とに振り分ける入力パターンを決定する入力パターン決定部と、
上記複数の観測データの中から上記入力パターンに従って選択されたデータを独立成分分析して原信号を推定し、推定した原信号を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する独立成分分析部と
を備えたことを特徴とする状態推定システム。
【請求項２】
上記複数の観測データの中から上記入力パターンに従って入力されたデータを主成分分析して主成分を抽出し、抽出した主成分を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する主成分分析部を更に備えたことを特徴とする請求項１記載の状態推定システム。
【請求項３】
上記入力パターンを、遺伝的アルゴリズムで適応的に更新することを特徴とする請求項１又は２記載の状態推定システム。
【請求項４】
上記独立成分分析部における原信号の推定を、４次キュムラントを用いて行うことを特徴とする請求項１記載の状態推定システム。
【請求項５】
上記独立成分分析部における原信号の推定を、相互相関関数を用いて行うことを特徴とする請求項１記載の状態推定システム。
【請求項６】
車両運動における複数の観測データをニューラルネットワークで学習して車体挙動に係る状態量を推定出力する状態推定システムであって、
上記複数の観測データの中から所定の入力パターンに従って選択されたデータを独立成分分析して原信号を推定し、推定した原信号を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する独立成分分析部と、
上記複数の観測データの中から上記入力パターンに従って選択されたデータを主成分分析して主成分を抽出し、抽出した主成分を上記観測データに代わる新たな変量として上記ニューラルネットワークに入力する主成分分析部と
を備えたことを特徴とする状態推定システム。
【請求項７】
上記状態量は、車両の車体横滑り角であることを特徴とする請求項１又は６記載の状態推定システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−１１３７１７（Ｐ２００９−１１３７１７Ａ）
【公開日】平成２１年５月２８日（２００９．５．２８）
【国際特許分類】
【出願番号】特願２００７−２９１０７７（Ｐ２００７−２９１０７７）
【出願日】平成１９年１１月８日（２００７．１１．８）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２１年５月２８日（２００９．５．２８）
【国際特許分類】
【出願日】平成１９年１１月８日（２００７．１１．８）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]