感覚データ識別装置及びプログラム
【課題】感覚データに対する識別性能を向上させることができるようにする。
【解決手段】画像脳信号記憶部２０に、画像データを表示したときに被験者の脳の各計測点で計測された脳波信号を表わす脳活動データと、当該画像データとのペアを複数記憶する。画像特徴量学習部２２によって、画像脳信号記憶部２０に記憶された脳活動データ及び画像データの複数ペアに対して、カーネル正準相関分析を行って、脳活動データと画像データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習する。そして、学習された重みを用いた画像側の正準相関変数を、画像特徴量とする。
【解決手段】画像脳信号記憶部２０に、画像データを表示したときに被験者の脳の各計測点で計測された脳波信号を表わす脳活動データと、当該画像データとのペアを複数記憶する。画像特徴量学習部２２によって、画像脳信号記憶部２０に記憶された脳活動データ及び画像データの複数ペアに対して、カーネル正準相関分析を行って、脳活動データと画像データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習する。そして、学習された重みを用いた画像側の正準相関変数を、画像特徴量とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感覚データ識別装置及びプログラムに係り、特に、感覚データを識別するための感覚特徴量を学習して、感覚データを識別する感覚データ識別装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、正準相関解析で得られた変換行列によって特徴ベクトルを写像して新特徴ベクトルを算出する物品判別方法が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６０３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の特許文献１に記載の技術では、正準相関解析にて特徴ベクトルを次元圧縮しているだけであり、識別性能を向上させる特徴量を算出することはできない、という問題がある。
【０００５】
本発明は、上記の問題点を解決するためになされたもので、正準相関解析のカーネル版（カーネル正準相関解析）を使って、感覚データに対する識別性能を向上させることができる感覚データ識別装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために第１の発明に係る感覚データ識別装置は、感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段と、入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段と、を含んで構成されている。
【０００７】
第２の発明に係るプログラムは、コンピュータを、感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段、入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段、及び前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段として機能させるためのプログラムである。
【０００８】
第１の発明及び第２の発明によれば、学習手段によって、感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、脳活動データと感覚データ又は関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習する。そして、学習された重みを用いた正準相関変数を、感覚データを識別するための感覚特徴量とする。
【０００９】
そして、特徴量算出手段によって、入力された感覚データから、学習手段によって学習された感覚特徴量を算出する。識別手段によって、特徴量算出手段によって算出された感覚特徴量に基づいて、感覚データを識別する。
【００１０】
このように、脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、カーネル関数の線形和で表わされる正準相関変数を、感覚特徴量とすることにより、感覚データに対する識別性能を向上させることができる。
【００１１】
なお、感覚特徴量を学習するために使う感覚データは、識別の対象となる感覚データとまったく同じものではなくてよく、ある程度関連はあるものであればよい。本明細書では感覚特徴量を学習ためのデータであって、識別の対象となる感覚データと関連のあるデータを「関連感覚データ」、「関連画像データ」などと呼ぶ。
【００１２】
第３の発明に係る感覚データ識別装置は、感覚データと前記感覚データに対して予め求められた識別結果との組み合わせを学習データとして学習されたニューラルネットワークに前記感覚データ又は関連感覚データを与えたときに前記ニューラルネットワークの中間層の各ニューロンで観測された出力を表わす擬似脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記擬似脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段と、入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段と、を含んで構成されている。
【００１３】
第４の発明に係るプログラムは、コンピュータを、感覚データと前記感覚データに対して予め求められた識別結果との組み合わせを学習データとして学習されたニューラルネットワークに前記感覚データ又は関連感覚データを与えたときに前記ニューラルネットワークの中間層の各ニューロンで観測された出力を表わす擬似脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記擬似脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段、入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段、及び前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段として機能させるためのプログラムである。
【００１４】
第３の発明及び第４の発明によれば、学習手段によって、感覚データと感覚データに対して予め求められた識別結果との組み合わせを学習データとして学習されたニューラルネットワークに感覚データ又は関連感覚データを与えたときにニューラルネットワークの中間層の各ニューロンで観測された出力を表わす擬似脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、擬似脳活動データと感覚データ又は関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習する。そして、学習された重みを用いた正準相関変数を、感覚データを識別するための感覚特徴量とする。
【００１５】
このように、擬似脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、カーネル関数の線形和で表わされる正準相関変数を、感覚特徴量とすることにより、感覚データに対する識別性能を向上させることができる。
【００１６】
上記感覚特徴量は、以下の式で表されるようにすることができる。
【００１７】
【数１】
【００１８】
ただし、Ｉa(n)（ｘ）は、入力された感覚データｘの感覚特徴量であり、ａT(n)φ（ｘ）は、ｎ番目の正準相関変数であり、ｘ(j)は、カーネル正準相関分析のために予め与えられたｊ番目の感覚データ又は関連感覚データである。ｋa（ｘ，ｘ’）はカーネル関数であり、αj(n)はｊ番目のカーネル関数に対する重みである。
【００１９】
また、上記の第１の発明及び第３の発明に係る感覚データ識別装置は、予め用意された複数の感覚データの各々から、学習手段によって学習された感覚特徴量を算出する第２特徴量算出手段と、第２特徴量算出手段によって算出された感覚特徴量と対応する感覚データに対して予め求められた識別結果とを学習データとして、感覚データを識別するための識別モデルを学習する識別モデル学習手段を更に含み、識別手段は、特徴量算出手段によって算出された感覚特徴量と識別モデルとに基づいて、感覚データを識別するようにすることができる。
【００２０】
上記の学習手段は、複数の正準相関変数の各々における重みを学習し、学習された重みを用いた複数の正準相関変数を、感覚特徴量とすることができる。
【００２１】
上記の感覚データを、画像データ、音データ、においデータ、又は触覚データとすることができる。
【００２２】
上記の感覚データ識別装置は、識別手段による識別結果と、入力された感覚データとを対応付けて表示手段に表示させる表示制御手段を更に含むようにすることができる。
【発明の効果】
【００２３】
以上説明したように、本発明の感覚データ識別装置及びプログラムによれば、脳活動データ又は擬似脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、カーネル関数の線形和で表わされる正準相関変数を、感覚特徴量とすることにより、感覚データに対する識別性能を向上させることができる、という効果が得られる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施の形態に係る対象物識別装置の構成を示す概略図である。
【図２】本発明の第１の実施の形態に係る脳活動データ計測装置の構成を示す概略図である。
【図３】キャップ型電極を被験者に装着した様子を示す図である。
【図４】本発明の第１の実施の形態に係る対象物識別装置のコンピュータにおける特徴量学習処理ルーチンの内容を示すフローチャートである。
【図５】本発明の第１の実施の形態に係る対象物識別装置のコンピュータにおける識別処理ルーチンの内容を示すフローチャートである。
【図６】識別結果を表示する画面のイメージ図である。
【図７】本発明の第２の実施の形態に係る擬似脳活動データ計測装置の構成を示す概略図である。
【図８】ニューラルネットワークを説明するための図である。
【図９】本発明の第２の実施の形態に係る擬似脳活動データ計測装置における擬似脳信号取得処理ルーチンの内容を示すフローチャートである。
【図１０】手書き数字画像データの例を示す図である。
【図１１】（Ａ）画像側の第１正準相関変数と脳側の第１正準相関変数との関係を示すグラフ、及び（Ｂ）画像側の第２正準相関変数と脳側の第２正準相関変数との関係を示すグラフである。
【図１２】（Ａ）画像側の第３正準相関変数と脳側の第３正準相関変数との関係を示すグラフ、及び（Ｂ）画像側の第４正準相関変数と脳側の第４正準相関変数との関係を示すグラフである。
【図１３】（Ａ）画像側の第１正準相関変数の分布を示すグラフ、及び（Ｂ）画像側の第２正準相関変数の分布を示すグラフである。
【図１４】（Ａ）画像側のＰＣＡの第１成分の分布を示すグラフ、及び（Ｂ）画像側のＰＣＡの第２成分の分布を示すグラフである。
【図１５】従来のＳＶＭ及びＫＣＣＡ−ＳＶＭにおける遮蔽ありの手書き数字に対する正答率と、手書き平仮名を入力刺激とした場合のＫＣＣＡ−ＳＶＭによる正答率とを示すグラフである。
【図１６】手書き平仮名を表わす画像データの集合の例を示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、撮像画像が、識別対象物としての歩行者を撮像した画像であるか否かを識別する対象物識別装置に本発明を適用した場合を例に説明する。
【００２６】
図１に示すように、第１の実施の形態に係る対象物識別装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置１２と、撮像装置１２から得られる撮像画像が歩行者を撮像した画像であるか否かを識別するコンピュータ１４と、コンピュータ１４の識別結果を表示する表示装置１６とを備えている。
【００２７】
撮像装置１２は、車両の前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００２８】
コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する特徴量学習処理ルーチン及び識別処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１４は、後述する画像データ及び脳活動データのペアを複数記憶した画像脳信号記憶部２０と、画像データ及び脳活動データの複数ペアに基づいて、画像特徴量を学習する画像特徴量学習部２２と、画像特徴量学習部２２による学習結果を記憶する学習結果記憶部２４と、を備えている。
【００２９】
画像脳信号記憶部２０に記憶されている画像データ及び脳活動データの複数ペアは、図２に示す脳活動データ計測装置３０によって求められる。脳活動データ計測装置３０は、被験者の頭部表面上の複数の部位から脳波信号を検出するためのキャップ型電極３２と、画像データを表示する表示装置３４と、表示装置３４に画像データを表示させたときにキャップ型電極３２により検出した各部位の脳波信号を表わす脳活動データを記録するコンピュータ３６とを備えている。
【００３０】
図３に示すように、キャップ型電極３２は、被験者の頭部表面上の複数の部位に装着され、頭部表面上の複数の部位から脳波信号を検出する。また、表示装置３４の表示画面は、被験者に対して向いている。
【００３１】
コンピュータ３６は、ＣＰＵと、ＲＡＭと、ＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ３６は、歩行者画像と非歩行者画像を含む複数の画像データを予め記憶すると共に、対応する脳活動データを格納するための画像脳信号記憶部３８と、画像脳信号記憶部３８から読み込んだ画像データを表示装置３４に表示させる表示制御部４０と、表示装置３４に画像データが表示されたときにキャップ型電極３２から出力された脳波信号を取得する信号取得部４２と、Ａ／Ｄ変換を行って、信号取得部４２によって取得した脳波信号をデジタル信号に変換するＡ／Ｄ変換部４４と、得られた各部位の脳波信号を表わす脳活動データを、画像データと対応させて画像脳信号記憶部３８に格納する記憶制御部４６とを備えている。
【００３２】
信号取得部４２は、被験者の頭部表面上の複数の部位に取り付けられた電極の各々から出力された脳波信号を取得し、雑音除去や増幅処理を行う。
【００３３】
コンピュータ３６は、表示制御部４０によって、画像脳信号記憶部３８に記憶された複数の画像データを順次表示装置３４に表示させると共に、記憶制御部４６によって、各画像データを表示させたときに検出された脳活動データを、画像データと対応させて画像脳信号記憶部３８に記憶させる。これによって、画像脳信号記憶部３８には、画像データと脳活動データとのペアが複数記憶される。
【００３４】
画像脳信号記憶部３８に記憶された画像データと脳活動データとの複数ペアが、対象物識別装置１０のコンピュータ１４に入力され、画像脳信号記憶部２０には、脳活動データ計測装置３０の画像脳信号記憶部３８と同じ画像データと脳活動データとの複数ペアが記憶される。
【００３５】
次に、画像データと脳活動データとの複数ペアから、画像特徴量を学習する原理について説明する。
【００３６】
いま目の前に見えている対象物が人であるか無いかといった視覚弁別タスクは、対象物がノイズや遮蔽物によって隠されると既存の装置にとって極めて困難な課題となる。一方、生物はこのような視覚妨害物への正しい対応が生存上必須であり、上記のタスクを脳はうまくこなすことができる。そこで、脳からその方法を学ぶ事を考える。近年の急速な脳活動測定技術の進歩により、脳が視覚弁別をこなしている時の多数の脳細胞の活動を同時に計測することが可能になっている。そこで、被験者が見ている画像データをｘ、その時の脳活動をｙ、その画像が歩行者であるかないかについての脳の判断をｚとする。ｘは画像を表すので画素数の次元をもつベクトル、ｙは、複数部位の活動を表すので同時測定される部位数の次元を持つベクトルとして表現される。最後にｚは歩行者かそうでないかの判断なので０か１を取るスカラー変数である。
【００３７】
なお、画像及び脳活動のある時刻一点における値だけでなく複数の時刻における値を考えて、それらの間の対応を調べるというように拡張することも可能で、その場合の次元数は、上述の次元数に、考慮する時刻の個数を乗じたものとなる。
【００３８】
従来より、多数の画像ｘ(1)、ｘ(2)、ｘ(3)、・・・ｘ(N)に対する脳の判断ｚ(1)、ｚ(2)、ｚ(3)、・・・ｚ(N)を学習データとして、視覚弁別アルゴリズムとしてのＳＶＭモデルを学習する手法が知られている。この従来手法では、ｘ(j)とｚ(j)の組から画像の弁別にとって重要な画像の特徴量を見つける、という方法が主なものであるが、その従来の手法では識別精度に限界があった。
【００３９】
本実施の形態で提案する方法の新しいところは、その時の脳活動ｙ(1)、ｙ(2)、ｙ(3)、・・・ｙ(N)を用いるところである。脳神経の活動ｙ(j)によってｚ(j)という正しい判断がなされていることに注目すると、画像特徴の中で神経活動と相関するものが、画像の識別にとって重要な画像特徴量であると考えられるため、画像を識別するときの脳活動データ、又は関連画像データを入力するときの脳活動データを用いる。
【００４０】
また、画像ｘ(j)と脳活動ｙ(j)の関係は極めて非線形であり通常の正準相関解析で求めるのは難しい。しかし、画像ｘ(j)と脳活動ｙ(j)を、それぞれ高次元特徴空間にφ（ｘ(j)）とΨ（ｙ(j)）のように写像すると、φ（ｘ(j)）とΨ（ｙ(j)）の関係が線形になる。このことを利用するために、本実施の形態では、画像ｘ(j)と脳活動ｙ(j)の間の相関を、カーネル正準相関分析（Ｋｅｒｎｅｌ Ｃａｎｏｎｉｃａｌ Ｃｏｒｒｅｌａｔｉｏｎ Ａｎａｌｙｓｉｓ： ＫＣＣＡ）を使って求める。
【００４１】
｛φ（ｘ(j)）｝が存在する空間と｛Ψ（ｙ(j)）｝が存在する空間とでお互いが最も高い線形相関を持つような１次元空間を探すには、それぞれをある１次元に射影した量であるａTφ（ｘ(j)）とｂTΨ（ｙ(j)）を考える。カーネル正準相関分析では、以下の（１）式で表されるａTφ（ｘ(j)）とｂTΨ（ｙ(j)）の相関Ｃ（ａTφ（ｘ(j)），ｂTΨ（ｙ(j)））が最大になるａTとｂTを決定する。
【００４２】
【数２】
【００４３】
ここで、ａTとｂTは、それぞれ、φ（ｘ(j)）とΨ（ｙ(j)）と同じ次元のベクトルの転置である。また、Ｃｏｖ（Ｘ，Ｙ）は共分散であり、Ｖａｒ（Ｘ）は分散である。
【００４４】
また、ａTとｂTを求める際に、ａTとｂTを求めるために与えられた有限個のデータに対して相関が極端に高くなり、未知のデータに対する相関を悪くする危険（オーバーフィッティング）を防ぐため、以下の（２）式で表される正則化項を付け加えた上で最大化問題を解く。
【００４５】
【数３】
【００４６】
具体的な計算では、ａTφ（ｘ(j)）とｂTΨ（ｙ(j)）が、予め定められたカーネル関数（ここではＧａｕｓｓカーネルを用いる）の線形和として、具体的に以下の（３）式、（４）式に示すように、α、βを使って表現ができることを用いる（カーネルトリック）。
【００４７】
【数４】
【００４８】
すなわち、本実施の形態では、上記（１）式に上記（３）式、（４）式を代入した式を最大化するα、βを求める。なお、α、βを計算するための、上記（２）式で表される正則化項を付け加えた詳細な式については、非特許文献（カーネル多変量解析、赤穂昭太郎、岩波書店、２００８、７６−７７ページ、式（3.80））に記載されている式と同様な式を用いればよいため、記載を省略する。
【００４９】
上述のようなベクトル（ａ，ｂ）の組（具体的な計算では、（α、β）の組）は一般化固有値問題の解として求まるが、求められる固有ベクトル（ａ，ｂ）を、相関値ｃ(1)、ｃ(2)、ｃ(3)、・・・の高い順に、（ａ(1)，ｂ(1)）、（ａ(2)，ｂ(2)）、（ａ(3)，ｂ(3)）、・・・とする。また、上記（１）式の相関値はベクトル（ａ，ｂ）に依存しない量なので、ここでの最大化の手続きでは、ベクトル（ａ(j)，ｂ(j)）の長さは指定されない。しかしながら、大きな相関値に対応するベクトルほど重要と考えられるので、以下の（５）式により、これらベクトルの長さを相関の値と等しくすることによって、ベクトルの重要度の情報を織り込むことにする。
【００５０】
【数５】
【００５１】
以下で現れる（ａ(j)，ｂ(j)）はこのように長さを調整したものを意味する。
【００５２】
以上のように定めたａT(1)φ（ｘ）、ｂT(1)Ψ（ｙ）をそれぞれ画像の第１正準相関変数、脳活動の第１正準相関変数と呼び、同様に、ａT(2)φ（ｘ）、ｂT(2)Ψ（ｙ）を画像および脳活動の第2正準相関変数と、順次呼ぶことにする。
【００５３】
このようにして得られる画像側の正準相関変数が、画像判別に有用な画像特徴量となる。画像ｘに対する画像特徴量Ｉa（ｘ）は、カーネル関数ｋa（ａ，ｂ）の線形和として具体的に以下の（６）式で計算できる。
【００５４】
【数６】
【００５５】
ただし、ｘ(j)は、カーネル正準相関分析のために予め与えられた画像データである。
【００５６】
ちなみに、脳活動側の特徴量Ｉｂ（ｘ）も、同様に脳活動側カーネル関数ｋb（ｙ、ｙ’）の線形和として、以下の（７）式で計算できる。
【００５７】
【数７】
【００５８】
ところで、上記（２）式で必要であった｜ａ(j)｜と｜ｂ(j)｜もカーネル関数で書けるので実質的な計算が可能である。
【００５９】
このようにして得られた上記（６）式で表わされる画像特徴量は、今問題としている視覚弁別課題を高精度で解くことのできる脳の活動を反映させてつくられたものである。したがって、当該画像特徴量を使った視覚弁別アルゴリズムは、原理的に脳の能力を反映した高性能を示す。
【００６０】
また、本実施の形態では、画像側のｎ0個の正準相関変数｛Ｉ(1)a（ｘ），Ｉ(2)a（ｘ），・・・，Ｉ(ｎ0)a（ｘ）｝を画像特徴量として用いる。
【００６１】
画像特徴量学習部２４は、上記で説明したように、画像データと脳活動データとの複数ペアから、ｎ0個の正準相関変数の各々における重みα、βを学習して、当該重みαと当該画像データの集合とを用いて上記（６）式で算出される画像側のｎ0個の正準相関変数を、画像特徴量として決定し、学習結果記憶部２４に、画像特徴量の学習結果として、ｎ0個の正準相関変数の各々について、上記（６）式の重みα及び画像データｘ(j)を含む各パラメータを格納する。
【００６２】
また、対象物識別装置１０のコンピュータ１４は、画像脳信号記憶部２０に記憶された画像データの各々から、学習された画像特徴量を算出する特徴量算出部５０と、算出された画像特徴量、および対応する画像データに与えられた教師ラベルに基づいて、識別モデルを学習する識別モデル学習部５２と、学習された識別モデルを記憶した識別モデル記憶部５４とを更に備えている。
【００６３】
特徴量算出部５０は、画像脳信号記憶部２０に記憶された画像データの各々から、画像特徴量として、上記（６）式で表わされる画像側のｎ0個の正準相関変数を算出する。
【００６４】
識別モデル学習部５２は、算出された画像特徴量、および対応する画像データが歩行者画像及び非歩行者画像の何れであるかに応じて付与された教師ラベルに基づいて、識別モデルとしてのＳＶＭ（サポートベクターマシン）モデルを学習し、学習されたＳＶＭモデルを、識別モデル記憶部５４に格納する。
【００６５】
コンピュータ１４は、撮像装置１２によって撮像された画像データから、学習された画像特徴量を算出する特徴量算出部５６と、算出された画像特徴量、及び学習されたＳＶＭモデルとに基づいて、ＳＶＭ識別器により、撮像された画像データが歩行者を撮像した画像であるか否かを識別する識別部５８とを更に備えている。
【００６６】
特徴量算出部５６は、撮像装置１２によって撮像された画像データを取得し、取得した画像データから、画像特徴量として、上記（６）式で表わされる画像側のｎ0個の正準相関変数を算出する。
【００６７】
識別部５８は、識別モデル記憶部５４に記憶されたＳＶＭモデルと、特徴量算出部５６により算出された画像特徴量としての画像側のｎ0個の正準相関変数とに基づいて、従来既知のＳＶＭ識別器を用いて、撮像された画像データが歩行者を撮像した画像であるか否かを識別し、識別結果を、撮像された画像データと対応付けて表示装置１６に表示させる。
【００６８】
例えば、ＳＶＭ識別器では、画像側のｎ0個の正準相関変数の張る空間での線形分離、または画像側のｎ0個の正準相関変数をさらに高次元に写像した空間での線形分離を行う。これらの線形分離では、それぞれ、以下の（８）式、（９）式で表わされるカーネル関数を使って、画像の識別を行う。
【００６９】
【数８】
【００７０】
次に、本実施の形態の作用について説明する。まず、歩行者を撮像することにより得られた複数の歩行者画像データと、歩行者以外を撮像することにより得られた非歩行者画像データとを用意し、各画像データに教師ラベルを与えて、脳活動データ計測装置３０の画像脳信号記憶部３８に格納する。
【００７１】
そして、キャップ型電極３２を被験者の頭部に装着した状態で、脳活動データ計測装置３０のコンピュータ３６によって、画像脳信号記憶部３８に記憶されている各画像データを、表示装置３４に表示させると共に、このときに検出される各部位の脳波信号を表わす脳活動データを取得し、画像脳信号記憶部３８に、当該画像データと対応させて脳活動データを格納する。これによって、画像脳信号記憶部３８に、画像データと脳活動データとの複数ペアが格納される。
【００７２】
また、脳活動データ計測装置３０の画像脳信号記憶部３８に記憶されたデータを、対象物識別装置１０に入力して、画像脳信号記憶部２０に格納する。そして、対象物識別装置１０のコンピュータ１４において、図４に示す特徴量学習処理ルーチンが実行される。
【００７３】
ステップ１００において、画像脳信号記憶部２０から、画像データと脳活動データとの複数ペアを読み込み、次のステップ１０２で、上記ステップ１００で読み込んだ画像データと脳活動データとの複数ペアに基づいて、上記（１）式に上記（３）式、（４）式を代入した式で表わされる相関を最大にするカーネル関数の重みα、βを学習すると共に、学習された重みαを適用した上記（６）式で表わされる画像側のｎ0個の正準相関変数を、画像特徴量として決定する。例えば、相関値が所定値以上となる画像側の全ての正準相関変数を、画像特徴量として決定する。
【００７４】
そして、ステップ１０４において、上記ステップ１０２で学習された上記（６）式で表される画像特徴量における、重みα及び画像データｘ(j)を含む各パラメータを学習結果記憶部２４に格納する。
【００７５】
次のステップ１０６では、画像脳信号記憶部２０から各画像データを読み込み、各画像データについて、上記ステップ１０２で学習された画像特徴量を算出する。そして、ステップ１０８において、画像脳信号記憶部２０から各画像データについて与えられた教師ラベルを読み込み、上記ステップ１０６で算出された各画像データの画像特徴量と、教師ラベルとに基づいて、ＳＶＭモデルを学習し、ステップ１１０において、上記ステップ１０８の学習結果を、識別モデル記憶部５４に格納し、特徴量学習処理ルーチンを終了する。
【００７６】
そして、対象物識別装置１０を搭載した車両の走行中に、撮像装置１２によって車両の前方の所定領域が撮像されると、コンピュータ１４において、図５に示す識別処理ルーチンが実行される。
【００７７】
まず、ステップ１２０において、撮像装置１２から画像データを取得し、次のステップ１２２では、上記ステップ１２０で取得した画像データについて、学習された画像特徴量を算出する。そして、ステップ１２４において、上記ステップ１２２で算出された画像特徴量に基づいて、学習されたＳＶＭモデル及びＳＶＭ識別器を用いて、撮像画像データが、歩行者を表わす歩行者画像データであるか否かを識別する。そして、ステップ１２６において、上記ステップ１２４における識別結果を、図６に示すように、撮像画像データと対応付けて表示装置１６に表示して、識別処理ルーチンを終了する。
【００７８】
以上説明したように、第１の実施の形態に係る対象物識別装置によれば、画像データと、当該画像データを表示したときに得られる脳活動データとに対して、カーネル正準相関分析を行って、カーネル関数の重みを学習し、学習された重みを適用した画像側の正準相関変数を、画像特徴量とすることにより、画像データに対する識別性能を向上させる画像特徴量を学習することができる。
【００７９】
また、現在まで、人間を補助するために、人間にまねた様々な認知判断を行う装置が開発されてきたが、人間または動物の脳の能力には遠く及ばないことが多い。脳の持つ高い能力に少しでも迫るために、近年脳科学の知見をヒントとした新しい計算アルゴリズムに基づく機械装置の開発が模索されているが、それらの試みはまだ萌芽的段階にある。産業界の様々な業種で脳科学の知見を応用した新しい発想に基づく装置の開発が望まれているが、脳と機械では信号処理の原理、計算原理が全く異なり、脳科学の知見を機械に応用するのは容易でない。特に脳の研究は、分子生物学的研究から、行動、心理学的研究まで多岐にわたっており、脳は極めて複雑であるため、その中のどの知見が新装置の開発に役立つか明らかでない。このように、脳科学に学ぶことは重要とされながら、脳科学の知識を応用する具体的な手段は示されてこなかった。
【００８０】
本実施の形態では脳科学実験で得られるタスク遂行中の脳活動データを用いて、脳の高度な特性を生かし、かつ、実装可能な計算アルゴリズムを提供して、画像データに対する識別性能を向上させる画像特徴量を学習することができるようにした。また、本実施の形態で学習される画像特徴量を用いることにより、これまでの認識機械での課題（例えば、画像による歩行者認識における、遮蔽やノイズの影響による誤認識及び不認識の問題）を解決することができる。
【００８１】
また、本実施の形態では、脳から学ぶ現実的な方法を規定した。脳が行う知的タスクを、１）どの情報を使うか、２）その情報からどのように計算するか、に分けて考えるとき、本実施の形態では、１）のみについて脳から学び、２）については既存の数学的、工学的手法を適用し、脳からは学ばないようにした。このように学ぶ対象を明確に限定することにより、現実的かつ精密に脳科学の知見を取り入れた装置を開発することができる。
【００８２】
次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る対象物識別装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。
【００８３】
第２の実施の形態では、学習されたニューラルネットワークから、画像データを入力したときの擬似脳活動データを取得している点が、第１の実施の形態と主に異なっている。
【００８４】
第２の実施の形態では、対象物識別装置１０の画像脳信号記憶部２０に、画像データ及び擬似脳活動データのペアが複数記憶されている。
【００８５】
画像脳信号記憶部２０に記憶されている画像データ及び擬似脳活動データの複数ペアは、図７に示す擬似脳活動データ計測装置２３０によって得られる。擬似脳活動データ計測装置２３０は、ＣＰＵと、ＲＡＭと、後述する擬似脳信号取得処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータであり、機能的には次に示すように構成されている。擬似脳活動データ計測装置２３０は、教師ラベルが付与された複数の画像データを予め記憶すると共に、対応する擬似脳活動データを格納するための画像脳信号記憶部２３８と、画像脳信号記憶部２３８から各画像データ及び教師ラベルを読み込んで、画像データが歩行者画像であるか非歩行者画像であるかを識別するためのニューラルネットワーク（擬似脳）を学習するニューラルネットワーク学習部２４０と、画像脳信号記憶部２３８から各画像データを読み込んでニューラルネットワークの入力層に入力する画像データ取得部２４２と、学習されたニューラルネットワークに基づいて、入力された画像データが歩行者画像であるか非歩行者画像であるかを識別するニューラルネットワーク識別部２４４と、画像データが入力されたときにニューラルネットワークの中間層の各ニューロンで観測された出力（擬似脳信号）を表わす擬似脳活動データを取得する擬似脳信号取得部２４６と、得られた擬似脳活動データを、入力された画像データと対応させて画像脳信号記憶部２３８に格納する記憶制御部２４８とを備えている。
【００８６】
図８に示すように、本実施の形態で擬似脳として用いるニューラルネットワークモデルは、例えば、人工的神経回路網モデル（ＡＮＮ）であり、入力層、中間層、及び出力層から構成され、各層は、少なくとも１つのニューロンを備えている。
【００８７】
ニューラルネットワーク学習部２４０は、画像脳信号記憶部２３８から読み込んだ各画像データについて、画像データの各画素の画素値を、ニューラルネットワークの入力層の各ニューロンに入力したときに、出力層のニューロンから出力されるべき値を、当該画像データに対する教師ラベルに基づいて与えて、ニューラルネットワークを学習する。
【００８８】
ニューラルネットワーク識別部２４４は、上記のように学習されたニューラルネットワークに基づいて、画像データが入力されたときの出力層の出力に従って、当該画像データが歩行者画像であるか非歩行者画像であるかを識別する
擬似脳活動データ計測装置２３０は、画像データ取得部２４２によって、画像脳信号記憶部２３８に記憶された複数の画像データを順次、学習されたニューラルネットワークに入力すると共に、擬似脳信号取得部２４６によって、各画像データをニューラルネットワークに入力したときに観測された擬似脳活動データを取得し、記憶制御部２４８によって、画像データと対応させて擬似脳活動データを画像脳信号記憶部２３８に記憶させる。これによって、画像脳信号記憶部２３８には、画像データと擬似脳活動データとのペアが複数記憶される。
【００８９】
画像脳信号記憶部２３８に記憶された画像データと擬似脳活動データとの複数ペアが、対象物識別装置１０のコンピュータ１４に入力され、画像脳信号記憶部２０には、擬似脳活動データ計測装置２３０の画像脳信号記憶部２３８と同じ画像データと擬似脳活動データとの複数ペアが記憶される。
【００９０】
次に、本実施の形態の作用について説明する。まず、歩行者を撮像することにより得られた複数の歩行者画像データと、歩行者以外を撮像することにより得られた非歩行者画像データとを用意し、各画像データに教師ラベルを与えて、脳活動データ計測装置３０の画像脳信号記憶部３８に格納する。
【００９１】
そして、擬似脳活動データ計測装置２３０によって、図９に示す擬似脳信号取得処理ルーチンが実行される。
【００９２】
まず、ステップ２５０において、画像脳信号記憶部２３８に記憶されている各画像データ及び教師ラベルを読み込み、ステップ２５２において、上記ステップ２５０で読み込んだ各画像データ及び教師ラベルに基づいて、ニューラルネットワークを学習する。
【００９３】
そして、ステップ２５４において、画像脳信号記憶部２３８に記憶されている１つの画像データを取得し、ステップ２５６において、上記ステップ２５４で取得した画像データを、ニューラルネットワークの入力層に入力する。
【００９４】
そして、ステップ２５８において、上記ステップ２５６においてニューラルネットワークに画像データが入力されたときにニューラルネットワークの中間層の各ニューロンから出力される擬似脳信号を取得し、各ニューロンの擬似脳信号を表わす擬似脳活動データを取得する。そして、ステップ２６０において、画像脳信号記憶部２３８に、当該画像データと対応させて擬似脳活動データを格納する。ステップ２６２において、画像脳信号記憶部２３８に記憶されている全ての画像データについて、上記ステップ２５４〜ステップ２６０の処理を実行したか否かを判定する。上記ステップ２５４〜ステップ２６０の処理が実行されていない画像データが存在する場合には、上記ステップ２５４へ戻り、当該画像データについて、上記ステップ２５４〜ステップ２６０の処理を繰り返す。一方、全ての画像データについて、上記ステップ２５４〜ステップ２６０の処理を実行した場合には、擬似脳信号取得処理ルーチンを終了する。
【００９５】
なお、第２の実施の形態に係る対象物識別装置１０の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００９６】
以上説明したように、第２の実施の形態に係る対象物識別装置によれば、画像データと、当該画像データを与えたときにニューラルネットワークから得られる擬似脳活動データとに対して、カーネル正準相関分析を行って、カーネル関数の重みを学習し、学習された重みを適用した画像側の正準相関変数を、画像特徴量とすることにより、画像データに対する識別性能を向上させる画像特徴量を学習することができる。
【００９７】
次に、第３の実施の形態について説明する。音データを識別する音識別装置に本発明を適用した場合を例に説明する。なお、第３の実施の形態に係る音識別装置及び脳活動データ計測装置の構成は、第１の実施の形態とほぼ同様の構成となっているため、同一符号を付して説明を省略する。
【００９８】
第３の実施の形態では、画像データではなく、音データを被験者に与え、得られる脳活動データから、音特徴量を学習している点が、第１の実施の形態と異なっている。
【００９９】
第３の実施の形態では、脳活動データ計測装置において、音データに基づいて音出力装置によって被験者に対して音出力し、このときに得られる各部位の脳波信号を表わす脳活動データを取得する。
【０１００】
また、第３の実施の形態に係る音識別装置は、音データの周波数スペクトルデータと、脳活動データとの複数ペアから、上記（１）式で表わされる相関を最大にするカーネル関数の重みα、βを学習すると共に、学習された重みα及び学習用の音データｘ(j)を用いて上記（６）式で表わされる音側のｎ0個の正準相関変数を、音特徴量として決定し、学習された上記（６）式の重みα及び音データｘ(j)を含む各パラメータを学習結果記憶部２４に格納する。
【０１０１】
また、音識別装置は、第１の実施の形態と同様に、上記のように学習された音特徴量を用いて、ＳＶＭモデルを学習すると共に、音入力装置から入力された音データの周波数スペクトルデータから、音特徴量を算出して、学習されたＳＶＭモデルを用いて、音データを識別する。
【０１０２】
このように、第３の実施の形態に係る音識別装置によれば、音データと、当該音データを出力したときに得られる脳活動データとに対して、カーネル正準相関分析を行って、カーネル関数の重みを学習し、学習された重みを適用した音側の正準相関変数を、音特徴量とすることにより、音データに対する識別性能を向上させる音特徴量を学習することができる。
【０１０３】
なお、上記の第３の実施の形態において、上記第２の実施の形態で説明した手法と同様に、ニューラルネットワークなどの擬似脳を用いてもよい。この場合には、音データの周波数スペクトルデータを用いて、ニューラルネットワークを学習し、音データの周波数スペクトルデータを、学習されたニューラルネットワークに入力したときの擬似脳活動データを取得するようにすればよい。
【０１０４】
また、上記の第１の実施の形態〜第３の実施の形態では、画像データ又は音データを識別するための画像特徴量、又は音特徴量を学習する場合について説明したが、脳は視覚、聴覚の他に、嗅覚、触覚、味覚などの感覚信号も処理弁別しており、このような別の感覚に対しても本発明を適用可能である。例えば、ｎ個の化学物質センサで検出される各信号を表わす匂いデータに対して、食欲をそそるに匂いかを識別する匂い識別装置に本発明を適用してもよい。視覚の場合には、画像データが、ピクセル数の次元のベクトルであったが、嗅覚の場合は、匂いデータが、センサ個数の次元のベクトルトルとなり、匂いデータと脳活動データとに対して、カーネル正準相関分析を行って、嗅覚特徴量を学習すればよい。その結果、匂い判別に有利な嗅覚特徴量Ｉa（ｘ）が得られ、嗅覚特徴量に基づいて、匂いを高精度に識別することができる。
【０１０５】
また、例えば、指先の感じる質感でその材質が木製であるかないかを識別する触覚識別装置に本発明を適用してもよい。この場合には、ｎ個の触覚センサの出力を表わす触覚データと脳活動データとに対してカーネル正準相関分析を行って、材質判別に有利な触覚特徴量を学習することができる。
【０１０６】
また、上記の第２の実施の形態では、ニューラルネットワーク（疑似脳）を用いて、擬似脳活動データを取得する場合を例に説明したが、これに限定されるものではない。現存する多数の人工的視覚処理信号装置に、本発明で提案した手法を応用して、それらの装置がどのように一定の識別性能を発揮しているかを調べることも可能である。例えば、人工的視覚処理信号装置が、Ａ＝＞Ｂ＝＞Ｃ＝＞．．．＝＞Ｅのように途中に何段か処理ステップを有する場合、興味ある処理ステップ、例えばＡ＝＞Ｃの間に対してカーネル正準相関分析を行って、Ａの段に入力されるデータにおいて、識別に有利な特徴量が何かを理解するのに役立ててもよい。
【０１０７】
また、上記の第１の実施の形態〜第３の実施の形態では、カーネル正準相関分析（ＫＣＣＡ）を用いた場合について示したが、通常の正準相関分析（ＣＣＡ）を用いるだけで十分な性能が得られる場合もありうる。従って、実施手順として、まずはＣＣＡを用いて、画像特徴量を学習し、学習された画像特徴量を用いた識別性能が不十分であった場合に、ＫＣＣＡを用いて、画像特徴量を学習するようにしてもよい。
【０１０８】
また、上記の第１の実施の形態、第３の実施の形態では、人間の脳について脳活動データを計測する場合を例に説明したが、これに限定されるものではなく、他の生物（例えばラットやサル）の脳について脳活動データを計測してもよい。例えば、手書き数字などの判別ができるように生物を訓練でき、その判別時の脳活動（例えば一次視覚野）を２光子顕微鏡や多点電極などを用いて計測できれば、脳活動データとして用いることができる。
【０１０９】
また、ＳＶＭ識別器を用いて、画像の識別処理を行う場合を例に説明したが、これに限定されるものではなく、従来既知の他の識別手法（例えば、最近傍識別、線形判別など）を用いて、画像の識別処理を行うようにしてもよい。
【０１１０】
また、撮像装置から撮像画像を取得し、撮像画像に対し、歩行者画像であるか否かを識別する場合を例に説明したが、これに限定されるものではなく、ハードディスク装置から画像データを読み込み、読み込んだ画像データに対し、歩行者画像であるか否かを識別してもよい。
【０１１１】
また、様々な大きさの切り出しウィンドウを用いて、撮像画像からウィンドウ画像を抽出し、各ウィンドウ画像に対して、学習された画像特徴量を算出して、歩行者画像であるか否かを識別してもよい。
【０１１２】
また、識別対象物が人物である場合を例に説明したが、これに限定されるものではなく、人物以外の物体を識別対象物としてもよい。
【０１１３】
なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。
【実施例】
【０１１４】
本発明を適用した対象物識別装置の実施例について説明する。以下では、第２の実施の形態で説明した対象物識別装置１０及び擬似脳活動データ計測装置２３０の実施例について説明する。
【０１１５】
手書き数字は書き手によって様々な癖があるため、それぞれの手書き数字がどの数字を意味するかの識別は、困難な画像識別問題の一つである。特に手書き文字の一部が遮蔽されている場合には、その認識は自動認識機械にとっては困難を極めるが、そのような状況でも人間の脳はどの数字かを何とか識別することができる。ここでは、人間の脳の代わりに十分なトレーニングセットを与え、十分な時間かけてトレーニングされた人工的神経回路網モデル（ＡＮＮ）を疑似脳として用い、この疑似脳を、上記の第２の実施の形態で説明した方法により学習することによって、数字弁別の能力を獲得する対象物識別装置を製作した実施例について説明する。
【０１１６】
まず、図１０に示すような、通常の手書き数字を示す画像データ｛ｘ(1)，ｘ(2)，・・・ｘ(N)｝（基本数字画像データと呼ぶ）と、遮蔽された手書き数字を示す画像データ｛￣ｘ(1)，￣ｘ(2)，・・・￣ｘ(N’)｝（遮蔽数字画像データと呼ぶ）をトレーニングセットとして与え、正答率９５％以上で正答するようにＡＮＮの学習を行った（ＡＮＮの出力層１０個のうち一番大きな値を出力とする）。
【０１１７】
手書き文字のデータベースとしては、電子技術総合研究所（現・産業技術総合研究所）のＥＴＬ６データベース（数字）、ＥＴＬ７ｌデータベース（平仮名）を使い、文字としては、計算負荷の都合上１４×１４画素の画像にダウンサンプリングしたものを使った。したがって、｛ｘ(j)｝、｛￣ｘ(j)｝は、それぞれ、１４×１４＝１９６次元のベクトルである。
【０１１８】
上記のトレーニング済みのＡＮＮを、擬似脳活動データ計測装置２３０のニューラルネットワークとして用いた。
【０１１９】
次に、この疑似脳の脳活動を表す中間層の６０個のニューロンの出力を表わす擬似脳活動データと画像データの間の相関を、第１の実施の形態で説明した手法で計算する。その際のデータセットとしては、手書き数字を示す画像データ｛ｘ(1)，ｘ(2)，・・・ｘ(N)｝、｛￣ｘ(1)，￣ｘ(2)，・・・￣ｘ(N’)｝と、それらに対応する中間層の各ニューロンの出力を表わす擬似脳活動データ｛ｙ(1)，ｙ(2)，・・・ｙ(N)｝、｛￣ｙ(1)，￣ｙ(2)，・・・￣ｙ(N’)｝とを用いる。これらのデータ組に基づいて、相関を最大化する正準相関変数を画像特徴量として学習した。
【０１２０】
第１の実施の形態で説明したように、画像側、脳活動側の双方を高次元特徴空間に写像した後、それぞれの特徴空間の中のある方向ａ(1)及びｂ(1)への射影した対、ａT(1)φ（ｘ）、ｂT(1)Ψ（ｙ）を考え、これらが最も相関の高い１次元の対となるようなａ(1)及びｂ(1)を見つけることができる。それが第１正準相関変数の対である。図１１（Ａ）に示すように、実際にこの例について計算されたａT(1)φ（ｘ）、ｂT(1)Ψ（ｙ）の対は、良く相関していることが確認された（相関値＝０．９９７）。なお、ｘ軸が画像側、ｙ軸が脳活動側の変数である。
【０１２１】
詳しくは、総計９００個の手書き数字画像データのうち、５００個の数字画像データをＡＮＮに入力したときの擬似脳活動データを使って上記の第一正準相関変数を決め、その決定に使わなかった残りの４００個の手書き数字画像データについて正準相関変数の対を求めた。求められた正準相関変数対の値が図１１（Ａ）に示され、それぞれが何の数字（０〜９）であるかが示されている。同様に図１１（Ｂ）、図１２（Ａ）、（Ｂ）に、第２、３、４の正準相関変数の対を示す。どの対も非常に良く相関していることが分かった。
【０１２２】
また、多数の手書き数字画像データのうち、“０”を表す画像データには１番から４０番までの背番号を、“１”を表す画像データには４１番から８０番の背番号を、というように、総計４００個の手書き数字画像データに１番から４００番までの背番号を付けて、図１３（Ａ）に、背番号の若い順に下から上へ、画像側の第１正準相関変数の値ａT(1)φ（ｘ）を横軸として示した。図１３（Ｂ）は同様に第２正準相関変数の値ａT(2)φ（ｘ）を横軸に示したものである。
【０１２３】
正準相関変数の値は具体的にはカーネル関数の線形結合として以下の（１０）式のように算出されるが、正準相関変数の値は、画像ｘを与える毎に計算できる値であるから、画像特徴量とみなせる。この画像特徴量が手書き数字の弁別に有効な特徴量であることは、上記図１３（Ａ）、（Ｂ）から理解できる。なぜなら、例えば、第一正準相関変数が−０．０２より小さければ、手書き数字が、｛１，４，７｝または低い確率で｛２，９｝であることが分かり、第一正準相関変数が．０１より大きければ、手書き数字が｛０，５，６｝または低い確率で｛２，８｝であることが分かる。第一正準相関変数でここまで限定した後、第２正準相関変数の値もみれば、さっき区別しきれなかった｛１，４，７｝をかなり確実に識別できる。
【０１２４】
【数９】
【０１２５】
このように、手書き数字の弁別をこなす疑似脳から学ぶ形で作られた正準相関変数は、有用な画像特徴量である。一方で、脳から直接は学ばない従来の画像特徴量である画像のＰＣＡ（主成分分析）の第１、第２成分を図示したのが図１４（Ａ）、（Ｂ）である。これらの成分はもとの画素数１９６次元から最も分散の大きな方向を取りだしたものである。しかし、図１４（Ａ）、（Ｂ）から分かるように、これら特徴量の値は異なる数字間で大幅に重なっていて、数字を識別するための画像特徴量として有用でないことが分かる。
【０１２６】
このように、脳から直接は学ばない従来の画像弁別アルゴリズムに対して、本発明で提案した脳から学ぶアルゴリズムの有意性が確認できた。
【０１２７】
次に、カーネル正準相関分析（ＫＣＣＡ）を使い脳から学んで構成した、相関が０．４以上となる全ての画像側の正準相関変数を画像特徴量として用いて、上記（９）式に示すカーネル関数を使った画像弁別アルゴリズムＫＣＣＡ−ＳＶＭの性能を評価する。
【０１２８】
評価の課題は遮蔽への対応能力である。即ち、手書き文字の典型と考えられる、上記図１０の左上部に示すような基本手書き数字（遮蔽なし）の分類がほぼ１００％正しく出来るようにトレーニングされたＳＶＭ識別器の性能が、遮蔽を受けた手書き数字に対してどの程度低下するかをテストした。具体的には、与えられた遮蔽手書き数字が”５”であるかないかの２択問題で、テストした。
【０１２９】
なお、このように遮蔽文字でトレーニングを受けていないＳＶＭやＫＣＣＡ−ＳＶＭが遮蔽文字にどの程度対応できるのかがここでの評価であるが、ＡＮＮは遮蔽を受けた文字でも区別する能力のある“擬似脳”である、という想定なので、ＡＮＮのトレーニングセットには遮蔽文字を含み、遮蔽文字も識別できるようにＡＮＮが学習されている。
【０１３０】
まず、以下の（１１）式で表されるカーネル関数を使用する従来のＳＶＭの成績をみると、図１５に示すように、その正解率は、手書き文字の遮蔽により１００％から大きく落ち込む。
【０１３１】
【数１０】
【０１３２】
一方、本発明で提案したＫＣＣＡ−ＳＶＭでの正解率は、遮蔽の影響をほとんど受けず、ほぼ１００％にとどまっている。どちらの弁別アルゴリズムも、ＳＶＭモデルのトレーニングセットとしては遮蔽を含まない基本手書き文字しか与えていないが、ＫＣＣＡ−ＳＶＭはその構成上、文字の識別をうまくやるための一般的指針を疑似脳から学んでいるので、数字への遮蔽に効果的に対応できていることがわかった。
【０１３３】
ここでは、基本文字群と、それを遮蔽という視覚上の妨害因子（ディストラクター）を加えた文字群との両方を正しく弁別できる疑似脳（ＡＮＮ）を用意し、そのＡＮＮの遮蔽への対応能力を本発明で提案したＫＣＣＡを使って引き出すために、ＡＮＮへの刺激入力として、遮蔽文字を含む文字群を使用し、このときの脳活動を用いて正準相関変数を求めた。このやり方は、視覚弁別において、対応したい妨害因子が何であるかが初めから決まっていて、かつ脳がそれに対応できることもあらかじめわかっている場合に具体的に適用できる。
【０１３４】
一方、脳は、一般に遮蔽だけでなくインクによる汚れやライティング条件の変化など多種多様な妨害因子への対応能力を持っているはずなので、予め特定の妨害因子を想定してその対応能力だけを脳から学ぼうとするのでなく、脳のいくつかの妨害因子への対応能力を、妨害因子の事前特定なしに学ぶことができれば、脳から学ぶ方法としてさらに有用であると考えられる。
【０１３５】
そこで、妨害因子の事前特定なしに、種々の妨害因子への対応能力を学習可能かどうかを調べた。妨害因子を“遮蔽”と特定しないので、ＫＣＣＡで正準相関変数を求める際のＡＮＮへの入力刺激（以下、相関変数抽出刺激と呼ぶこととする。）として遮蔽された数字は使えない。代わりに、ここでは図１６に示すような手書き平仮名（およびそれに回転、反転、遮蔽を加えたもの）の集まりを、相関変数抽出刺激として使うことにする。なお、この手書き平仮名（およびそれに回転、反転、遮蔽を加えたもの）が、関連感覚データの一例である。上記図１６に示す相関変数抽出刺激に基づいて、上と同じ手続きで正準相関変数を求め、画像側の正準相関変数を画像特徴量として使ったＫＣＣＡ−ＳＶＭの手書き数字（遮蔽されたものを含１４の識別性能を調べた。上記図１５に示す通り、上記の手書き平仮名を入力刺激とした場合でも極めて高い識別性能を有することが分かった。このことは、妨害要因をあらかじめ正確に知らなくても、脳が備えている妨害要因への対応能力をＫＣＣＡで読み取り、その能力を身に付けたＳＶＭ分類器（ＫＣＣＡ−ＳＶＭ）を構築できることを意味し、本発明で提案した手法のさらなる有用性が示された。
【符号の説明】
【０１３６】
１０ 対象物識別装置
１４ コンピュータ
２０ 画像脳信号記憶部
２２ 画像特徴量学習部
２４ 学習結果記憶部
２６ 対象物検出部
３０ 脳活動データ計測装置
３２ キャップ型電極
３４ 表示装置
３６ コンピュータ
３８、２３８ 画像脳信号記憶部
５０ 特徴量算出部
５２ 識別モデル学習部
５４ 識別モデル記憶部
５６ 特徴量算出部
５８ 識別部
２３０ 擬似脳活動データ計測装置
２４０ ニューラルネットワーク学習部
２４４ ニューラルネットワーク識別部
【技術分野】
【０００１】
本発明は、感覚データ識別装置及びプログラムに係り、特に、感覚データを識別するための感覚特徴量を学習して、感覚データを識別する感覚データ識別装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、正準相関解析で得られた変換行列によって特徴ベクトルを写像して新特徴ベクトルを算出する物品判別方法が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６０３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の特許文献１に記載の技術では、正準相関解析にて特徴ベクトルを次元圧縮しているだけであり、識別性能を向上させる特徴量を算出することはできない、という問題がある。
【０００５】
本発明は、上記の問題点を解決するためになされたもので、正準相関解析のカーネル版（カーネル正準相関解析）を使って、感覚データに対する識別性能を向上させることができる感覚データ識別装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために第１の発明に係る感覚データ識別装置は、感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段と、入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段と、を含んで構成されている。
【０００７】
第２の発明に係るプログラムは、コンピュータを、感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段、入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段、及び前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段として機能させるためのプログラムである。
【０００８】
第１の発明及び第２の発明によれば、学習手段によって、感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、脳活動データと感覚データ又は関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習する。そして、学習された重みを用いた正準相関変数を、感覚データを識別するための感覚特徴量とする。
【０００９】
そして、特徴量算出手段によって、入力された感覚データから、学習手段によって学習された感覚特徴量を算出する。識別手段によって、特徴量算出手段によって算出された感覚特徴量に基づいて、感覚データを識別する。
【００１０】
このように、脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、カーネル関数の線形和で表わされる正準相関変数を、感覚特徴量とすることにより、感覚データに対する識別性能を向上させることができる。
【００１１】
なお、感覚特徴量を学習するために使う感覚データは、識別の対象となる感覚データとまったく同じものではなくてよく、ある程度関連はあるものであればよい。本明細書では感覚特徴量を学習ためのデータであって、識別の対象となる感覚データと関連のあるデータを「関連感覚データ」、「関連画像データ」などと呼ぶ。
【００１２】
第３の発明に係る感覚データ識別装置は、感覚データと前記感覚データに対して予め求められた識別結果との組み合わせを学習データとして学習されたニューラルネットワークに前記感覚データ又は関連感覚データを与えたときに前記ニューラルネットワークの中間層の各ニューロンで観測された出力を表わす擬似脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記擬似脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段と、入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段と、を含んで構成されている。
【００１３】
第４の発明に係るプログラムは、コンピュータを、感覚データと前記感覚データに対して予め求められた識別結果との組み合わせを学習データとして学習されたニューラルネットワークに前記感覚データ又は関連感覚データを与えたときに前記ニューラルネットワークの中間層の各ニューロンで観測された出力を表わす擬似脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記擬似脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段、入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段、及び前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段として機能させるためのプログラムである。
【００１４】
第３の発明及び第４の発明によれば、学習手段によって、感覚データと感覚データに対して予め求められた識別結果との組み合わせを学習データとして学習されたニューラルネットワークに感覚データ又は関連感覚データを与えたときにニューラルネットワークの中間層の各ニューロンで観測された出力を表わす擬似脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、擬似脳活動データと感覚データ又は関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習する。そして、学習された重みを用いた正準相関変数を、感覚データを識別するための感覚特徴量とする。
【００１５】
このように、擬似脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、カーネル関数の線形和で表わされる正準相関変数を、感覚特徴量とすることにより、感覚データに対する識別性能を向上させることができる。
【００１６】
上記感覚特徴量は、以下の式で表されるようにすることができる。
【００１７】
【数１】
【００１８】
ただし、Ｉa(n)（ｘ）は、入力された感覚データｘの感覚特徴量であり、ａT(n)φ（ｘ）は、ｎ番目の正準相関変数であり、ｘ(j)は、カーネル正準相関分析のために予め与えられたｊ番目の感覚データ又は関連感覚データである。ｋa（ｘ，ｘ’）はカーネル関数であり、αj(n)はｊ番目のカーネル関数に対する重みである。
【００１９】
また、上記の第１の発明及び第３の発明に係る感覚データ識別装置は、予め用意された複数の感覚データの各々から、学習手段によって学習された感覚特徴量を算出する第２特徴量算出手段と、第２特徴量算出手段によって算出された感覚特徴量と対応する感覚データに対して予め求められた識別結果とを学習データとして、感覚データを識別するための識別モデルを学習する識別モデル学習手段を更に含み、識別手段は、特徴量算出手段によって算出された感覚特徴量と識別モデルとに基づいて、感覚データを識別するようにすることができる。
【００２０】
上記の学習手段は、複数の正準相関変数の各々における重みを学習し、学習された重みを用いた複数の正準相関変数を、感覚特徴量とすることができる。
【００２１】
上記の感覚データを、画像データ、音データ、においデータ、又は触覚データとすることができる。
【００２２】
上記の感覚データ識別装置は、識別手段による識別結果と、入力された感覚データとを対応付けて表示手段に表示させる表示制御手段を更に含むようにすることができる。
【発明の効果】
【００２３】
以上説明したように、本発明の感覚データ識別装置及びプログラムによれば、脳活動データ又は擬似脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、カーネル関数の線形和で表わされる正準相関変数を、感覚特徴量とすることにより、感覚データに対する識別性能を向上させることができる、という効果が得られる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施の形態に係る対象物識別装置の構成を示す概略図である。
【図２】本発明の第１の実施の形態に係る脳活動データ計測装置の構成を示す概略図である。
【図３】キャップ型電極を被験者に装着した様子を示す図である。
【図４】本発明の第１の実施の形態に係る対象物識別装置のコンピュータにおける特徴量学習処理ルーチンの内容を示すフローチャートである。
【図５】本発明の第１の実施の形態に係る対象物識別装置のコンピュータにおける識別処理ルーチンの内容を示すフローチャートである。
【図６】識別結果を表示する画面のイメージ図である。
【図７】本発明の第２の実施の形態に係る擬似脳活動データ計測装置の構成を示す概略図である。
【図８】ニューラルネットワークを説明するための図である。
【図９】本発明の第２の実施の形態に係る擬似脳活動データ計測装置における擬似脳信号取得処理ルーチンの内容を示すフローチャートである。
【図１０】手書き数字画像データの例を示す図である。
【図１１】（Ａ）画像側の第１正準相関変数と脳側の第１正準相関変数との関係を示すグラフ、及び（Ｂ）画像側の第２正準相関変数と脳側の第２正準相関変数との関係を示すグラフである。
【図１２】（Ａ）画像側の第３正準相関変数と脳側の第３正準相関変数との関係を示すグラフ、及び（Ｂ）画像側の第４正準相関変数と脳側の第４正準相関変数との関係を示すグラフである。
【図１３】（Ａ）画像側の第１正準相関変数の分布を示すグラフ、及び（Ｂ）画像側の第２正準相関変数の分布を示すグラフである。
【図１４】（Ａ）画像側のＰＣＡの第１成分の分布を示すグラフ、及び（Ｂ）画像側のＰＣＡの第２成分の分布を示すグラフである。
【図１５】従来のＳＶＭ及びＫＣＣＡ−ＳＶＭにおける遮蔽ありの手書き数字に対する正答率と、手書き平仮名を入力刺激とした場合のＫＣＣＡ−ＳＶＭによる正答率とを示すグラフである。
【図１６】手書き平仮名を表わす画像データの集合の例を示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、撮像画像が、識別対象物としての歩行者を撮像した画像であるか否かを識別する対象物識別装置に本発明を適用した場合を例に説明する。
【００２６】
図１に示すように、第１の実施の形態に係る対象物識別装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置１２と、撮像装置１２から得られる撮像画像が歩行者を撮像した画像であるか否かを識別するコンピュータ１４と、コンピュータ１４の識別結果を表示する表示装置１６とを備えている。
【００２７】
撮像装置１２は、車両の前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００２８】
コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する特徴量学習処理ルーチン及び識別処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１４は、後述する画像データ及び脳活動データのペアを複数記憶した画像脳信号記憶部２０と、画像データ及び脳活動データの複数ペアに基づいて、画像特徴量を学習する画像特徴量学習部２２と、画像特徴量学習部２２による学習結果を記憶する学習結果記憶部２４と、を備えている。
【００２９】
画像脳信号記憶部２０に記憶されている画像データ及び脳活動データの複数ペアは、図２に示す脳活動データ計測装置３０によって求められる。脳活動データ計測装置３０は、被験者の頭部表面上の複数の部位から脳波信号を検出するためのキャップ型電極３２と、画像データを表示する表示装置３４と、表示装置３４に画像データを表示させたときにキャップ型電極３２により検出した各部位の脳波信号を表わす脳活動データを記録するコンピュータ３６とを備えている。
【００３０】
図３に示すように、キャップ型電極３２は、被験者の頭部表面上の複数の部位に装着され、頭部表面上の複数の部位から脳波信号を検出する。また、表示装置３４の表示画面は、被験者に対して向いている。
【００３１】
コンピュータ３６は、ＣＰＵと、ＲＡＭと、ＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ３６は、歩行者画像と非歩行者画像を含む複数の画像データを予め記憶すると共に、対応する脳活動データを格納するための画像脳信号記憶部３８と、画像脳信号記憶部３８から読み込んだ画像データを表示装置３４に表示させる表示制御部４０と、表示装置３４に画像データが表示されたときにキャップ型電極３２から出力された脳波信号を取得する信号取得部４２と、Ａ／Ｄ変換を行って、信号取得部４２によって取得した脳波信号をデジタル信号に変換するＡ／Ｄ変換部４４と、得られた各部位の脳波信号を表わす脳活動データを、画像データと対応させて画像脳信号記憶部３８に格納する記憶制御部４６とを備えている。
【００３２】
信号取得部４２は、被験者の頭部表面上の複数の部位に取り付けられた電極の各々から出力された脳波信号を取得し、雑音除去や増幅処理を行う。
【００３３】
コンピュータ３６は、表示制御部４０によって、画像脳信号記憶部３８に記憶された複数の画像データを順次表示装置３４に表示させると共に、記憶制御部４６によって、各画像データを表示させたときに検出された脳活動データを、画像データと対応させて画像脳信号記憶部３８に記憶させる。これによって、画像脳信号記憶部３８には、画像データと脳活動データとのペアが複数記憶される。
【００３４】
画像脳信号記憶部３８に記憶された画像データと脳活動データとの複数ペアが、対象物識別装置１０のコンピュータ１４に入力され、画像脳信号記憶部２０には、脳活動データ計測装置３０の画像脳信号記憶部３８と同じ画像データと脳活動データとの複数ペアが記憶される。
【００３５】
次に、画像データと脳活動データとの複数ペアから、画像特徴量を学習する原理について説明する。
【００３６】
いま目の前に見えている対象物が人であるか無いかといった視覚弁別タスクは、対象物がノイズや遮蔽物によって隠されると既存の装置にとって極めて困難な課題となる。一方、生物はこのような視覚妨害物への正しい対応が生存上必須であり、上記のタスクを脳はうまくこなすことができる。そこで、脳からその方法を学ぶ事を考える。近年の急速な脳活動測定技術の進歩により、脳が視覚弁別をこなしている時の多数の脳細胞の活動を同時に計測することが可能になっている。そこで、被験者が見ている画像データをｘ、その時の脳活動をｙ、その画像が歩行者であるかないかについての脳の判断をｚとする。ｘは画像を表すので画素数の次元をもつベクトル、ｙは、複数部位の活動を表すので同時測定される部位数の次元を持つベクトルとして表現される。最後にｚは歩行者かそうでないかの判断なので０か１を取るスカラー変数である。
【００３７】
なお、画像及び脳活動のある時刻一点における値だけでなく複数の時刻における値を考えて、それらの間の対応を調べるというように拡張することも可能で、その場合の次元数は、上述の次元数に、考慮する時刻の個数を乗じたものとなる。
【００３８】
従来より、多数の画像ｘ(1)、ｘ(2)、ｘ(3)、・・・ｘ(N)に対する脳の判断ｚ(1)、ｚ(2)、ｚ(3)、・・・ｚ(N)を学習データとして、視覚弁別アルゴリズムとしてのＳＶＭモデルを学習する手法が知られている。この従来手法では、ｘ(j)とｚ(j)の組から画像の弁別にとって重要な画像の特徴量を見つける、という方法が主なものであるが、その従来の手法では識別精度に限界があった。
【００３９】
本実施の形態で提案する方法の新しいところは、その時の脳活動ｙ(1)、ｙ(2)、ｙ(3)、・・・ｙ(N)を用いるところである。脳神経の活動ｙ(j)によってｚ(j)という正しい判断がなされていることに注目すると、画像特徴の中で神経活動と相関するものが、画像の識別にとって重要な画像特徴量であると考えられるため、画像を識別するときの脳活動データ、又は関連画像データを入力するときの脳活動データを用いる。
【００４０】
また、画像ｘ(j)と脳活動ｙ(j)の関係は極めて非線形であり通常の正準相関解析で求めるのは難しい。しかし、画像ｘ(j)と脳活動ｙ(j)を、それぞれ高次元特徴空間にφ（ｘ(j)）とΨ（ｙ(j)）のように写像すると、φ（ｘ(j)）とΨ（ｙ(j)）の関係が線形になる。このことを利用するために、本実施の形態では、画像ｘ(j)と脳活動ｙ(j)の間の相関を、カーネル正準相関分析（Ｋｅｒｎｅｌ Ｃａｎｏｎｉｃａｌ Ｃｏｒｒｅｌａｔｉｏｎ Ａｎａｌｙｓｉｓ： ＫＣＣＡ）を使って求める。
【００４１】
｛φ（ｘ(j)）｝が存在する空間と｛Ψ（ｙ(j)）｝が存在する空間とでお互いが最も高い線形相関を持つような１次元空間を探すには、それぞれをある１次元に射影した量であるａTφ（ｘ(j)）とｂTΨ（ｙ(j)）を考える。カーネル正準相関分析では、以下の（１）式で表されるａTφ（ｘ(j)）とｂTΨ（ｙ(j)）の相関Ｃ（ａTφ（ｘ(j)），ｂTΨ（ｙ(j)））が最大になるａTとｂTを決定する。
【００４２】
【数２】
【００４３】
ここで、ａTとｂTは、それぞれ、φ（ｘ(j)）とΨ（ｙ(j)）と同じ次元のベクトルの転置である。また、Ｃｏｖ（Ｘ，Ｙ）は共分散であり、Ｖａｒ（Ｘ）は分散である。
【００４４】
また、ａTとｂTを求める際に、ａTとｂTを求めるために与えられた有限個のデータに対して相関が極端に高くなり、未知のデータに対する相関を悪くする危険（オーバーフィッティング）を防ぐため、以下の（２）式で表される正則化項を付け加えた上で最大化問題を解く。
【００４５】
【数３】
【００４６】
具体的な計算では、ａTφ（ｘ(j)）とｂTΨ（ｙ(j)）が、予め定められたカーネル関数（ここではＧａｕｓｓカーネルを用いる）の線形和として、具体的に以下の（３）式、（４）式に示すように、α、βを使って表現ができることを用いる（カーネルトリック）。
【００４７】
【数４】
【００４８】
すなわち、本実施の形態では、上記（１）式に上記（３）式、（４）式を代入した式を最大化するα、βを求める。なお、α、βを計算するための、上記（２）式で表される正則化項を付け加えた詳細な式については、非特許文献（カーネル多変量解析、赤穂昭太郎、岩波書店、２００８、７６−７７ページ、式（3.80））に記載されている式と同様な式を用いればよいため、記載を省略する。
【００４９】
上述のようなベクトル（ａ，ｂ）の組（具体的な計算では、（α、β）の組）は一般化固有値問題の解として求まるが、求められる固有ベクトル（ａ，ｂ）を、相関値ｃ(1)、ｃ(2)、ｃ(3)、・・・の高い順に、（ａ(1)，ｂ(1)）、（ａ(2)，ｂ(2)）、（ａ(3)，ｂ(3)）、・・・とする。また、上記（１）式の相関値はベクトル（ａ，ｂ）に依存しない量なので、ここでの最大化の手続きでは、ベクトル（ａ(j)，ｂ(j)）の長さは指定されない。しかしながら、大きな相関値に対応するベクトルほど重要と考えられるので、以下の（５）式により、これらベクトルの長さを相関の値と等しくすることによって、ベクトルの重要度の情報を織り込むことにする。
【００５０】
【数５】
【００５１】
以下で現れる（ａ(j)，ｂ(j)）はこのように長さを調整したものを意味する。
【００５２】
以上のように定めたａT(1)φ（ｘ）、ｂT(1)Ψ（ｙ）をそれぞれ画像の第１正準相関変数、脳活動の第１正準相関変数と呼び、同様に、ａT(2)φ（ｘ）、ｂT(2)Ψ（ｙ）を画像および脳活動の第2正準相関変数と、順次呼ぶことにする。
【００５３】
このようにして得られる画像側の正準相関変数が、画像判別に有用な画像特徴量となる。画像ｘに対する画像特徴量Ｉa（ｘ）は、カーネル関数ｋa（ａ，ｂ）の線形和として具体的に以下の（６）式で計算できる。
【００５４】
【数６】
【００５５】
ただし、ｘ(j)は、カーネル正準相関分析のために予め与えられた画像データである。
【００５６】
ちなみに、脳活動側の特徴量Ｉｂ（ｘ）も、同様に脳活動側カーネル関数ｋb（ｙ、ｙ’）の線形和として、以下の（７）式で計算できる。
【００５７】
【数７】
【００５８】
ところで、上記（２）式で必要であった｜ａ(j)｜と｜ｂ(j)｜もカーネル関数で書けるので実質的な計算が可能である。
【００５９】
このようにして得られた上記（６）式で表わされる画像特徴量は、今問題としている視覚弁別課題を高精度で解くことのできる脳の活動を反映させてつくられたものである。したがって、当該画像特徴量を使った視覚弁別アルゴリズムは、原理的に脳の能力を反映した高性能を示す。
【００６０】
また、本実施の形態では、画像側のｎ0個の正準相関変数｛Ｉ(1)a（ｘ），Ｉ(2)a（ｘ），・・・，Ｉ(ｎ0)a（ｘ）｝を画像特徴量として用いる。
【００６１】
画像特徴量学習部２４は、上記で説明したように、画像データと脳活動データとの複数ペアから、ｎ0個の正準相関変数の各々における重みα、βを学習して、当該重みαと当該画像データの集合とを用いて上記（６）式で算出される画像側のｎ0個の正準相関変数を、画像特徴量として決定し、学習結果記憶部２４に、画像特徴量の学習結果として、ｎ0個の正準相関変数の各々について、上記（６）式の重みα及び画像データｘ(j)を含む各パラメータを格納する。
【００６２】
また、対象物識別装置１０のコンピュータ１４は、画像脳信号記憶部２０に記憶された画像データの各々から、学習された画像特徴量を算出する特徴量算出部５０と、算出された画像特徴量、および対応する画像データに与えられた教師ラベルに基づいて、識別モデルを学習する識別モデル学習部５２と、学習された識別モデルを記憶した識別モデル記憶部５４とを更に備えている。
【００６３】
特徴量算出部５０は、画像脳信号記憶部２０に記憶された画像データの各々から、画像特徴量として、上記（６）式で表わされる画像側のｎ0個の正準相関変数を算出する。
【００６４】
識別モデル学習部５２は、算出された画像特徴量、および対応する画像データが歩行者画像及び非歩行者画像の何れであるかに応じて付与された教師ラベルに基づいて、識別モデルとしてのＳＶＭ（サポートベクターマシン）モデルを学習し、学習されたＳＶＭモデルを、識別モデル記憶部５４に格納する。
【００６５】
コンピュータ１４は、撮像装置１２によって撮像された画像データから、学習された画像特徴量を算出する特徴量算出部５６と、算出された画像特徴量、及び学習されたＳＶＭモデルとに基づいて、ＳＶＭ識別器により、撮像された画像データが歩行者を撮像した画像であるか否かを識別する識別部５８とを更に備えている。
【００６６】
特徴量算出部５６は、撮像装置１２によって撮像された画像データを取得し、取得した画像データから、画像特徴量として、上記（６）式で表わされる画像側のｎ0個の正準相関変数を算出する。
【００６７】
識別部５８は、識別モデル記憶部５４に記憶されたＳＶＭモデルと、特徴量算出部５６により算出された画像特徴量としての画像側のｎ0個の正準相関変数とに基づいて、従来既知のＳＶＭ識別器を用いて、撮像された画像データが歩行者を撮像した画像であるか否かを識別し、識別結果を、撮像された画像データと対応付けて表示装置１６に表示させる。
【００６８】
例えば、ＳＶＭ識別器では、画像側のｎ0個の正準相関変数の張る空間での線形分離、または画像側のｎ0個の正準相関変数をさらに高次元に写像した空間での線形分離を行う。これらの線形分離では、それぞれ、以下の（８）式、（９）式で表わされるカーネル関数を使って、画像の識別を行う。
【００６９】
【数８】
【００７０】
次に、本実施の形態の作用について説明する。まず、歩行者を撮像することにより得られた複数の歩行者画像データと、歩行者以外を撮像することにより得られた非歩行者画像データとを用意し、各画像データに教師ラベルを与えて、脳活動データ計測装置３０の画像脳信号記憶部３８に格納する。
【００７１】
そして、キャップ型電極３２を被験者の頭部に装着した状態で、脳活動データ計測装置３０のコンピュータ３６によって、画像脳信号記憶部３８に記憶されている各画像データを、表示装置３４に表示させると共に、このときに検出される各部位の脳波信号を表わす脳活動データを取得し、画像脳信号記憶部３８に、当該画像データと対応させて脳活動データを格納する。これによって、画像脳信号記憶部３８に、画像データと脳活動データとの複数ペアが格納される。
【００７２】
また、脳活動データ計測装置３０の画像脳信号記憶部３８に記憶されたデータを、対象物識別装置１０に入力して、画像脳信号記憶部２０に格納する。そして、対象物識別装置１０のコンピュータ１４において、図４に示す特徴量学習処理ルーチンが実行される。
【００７３】
ステップ１００において、画像脳信号記憶部２０から、画像データと脳活動データとの複数ペアを読み込み、次のステップ１０２で、上記ステップ１００で読み込んだ画像データと脳活動データとの複数ペアに基づいて、上記（１）式に上記（３）式、（４）式を代入した式で表わされる相関を最大にするカーネル関数の重みα、βを学習すると共に、学習された重みαを適用した上記（６）式で表わされる画像側のｎ0個の正準相関変数を、画像特徴量として決定する。例えば、相関値が所定値以上となる画像側の全ての正準相関変数を、画像特徴量として決定する。
【００７４】
そして、ステップ１０４において、上記ステップ１０２で学習された上記（６）式で表される画像特徴量における、重みα及び画像データｘ(j)を含む各パラメータを学習結果記憶部２４に格納する。
【００７５】
次のステップ１０６では、画像脳信号記憶部２０から各画像データを読み込み、各画像データについて、上記ステップ１０２で学習された画像特徴量を算出する。そして、ステップ１０８において、画像脳信号記憶部２０から各画像データについて与えられた教師ラベルを読み込み、上記ステップ１０６で算出された各画像データの画像特徴量と、教師ラベルとに基づいて、ＳＶＭモデルを学習し、ステップ１１０において、上記ステップ１０８の学習結果を、識別モデル記憶部５４に格納し、特徴量学習処理ルーチンを終了する。
【００７６】
そして、対象物識別装置１０を搭載した車両の走行中に、撮像装置１２によって車両の前方の所定領域が撮像されると、コンピュータ１４において、図５に示す識別処理ルーチンが実行される。
【００７７】
まず、ステップ１２０において、撮像装置１２から画像データを取得し、次のステップ１２２では、上記ステップ１２０で取得した画像データについて、学習された画像特徴量を算出する。そして、ステップ１２４において、上記ステップ１２２で算出された画像特徴量に基づいて、学習されたＳＶＭモデル及びＳＶＭ識別器を用いて、撮像画像データが、歩行者を表わす歩行者画像データであるか否かを識別する。そして、ステップ１２６において、上記ステップ１２４における識別結果を、図６に示すように、撮像画像データと対応付けて表示装置１６に表示して、識別処理ルーチンを終了する。
【００７８】
以上説明したように、第１の実施の形態に係る対象物識別装置によれば、画像データと、当該画像データを表示したときに得られる脳活動データとに対して、カーネル正準相関分析を行って、カーネル関数の重みを学習し、学習された重みを適用した画像側の正準相関変数を、画像特徴量とすることにより、画像データに対する識別性能を向上させる画像特徴量を学習することができる。
【００７９】
また、現在まで、人間を補助するために、人間にまねた様々な認知判断を行う装置が開発されてきたが、人間または動物の脳の能力には遠く及ばないことが多い。脳の持つ高い能力に少しでも迫るために、近年脳科学の知見をヒントとした新しい計算アルゴリズムに基づく機械装置の開発が模索されているが、それらの試みはまだ萌芽的段階にある。産業界の様々な業種で脳科学の知見を応用した新しい発想に基づく装置の開発が望まれているが、脳と機械では信号処理の原理、計算原理が全く異なり、脳科学の知見を機械に応用するのは容易でない。特に脳の研究は、分子生物学的研究から、行動、心理学的研究まで多岐にわたっており、脳は極めて複雑であるため、その中のどの知見が新装置の開発に役立つか明らかでない。このように、脳科学に学ぶことは重要とされながら、脳科学の知識を応用する具体的な手段は示されてこなかった。
【００８０】
本実施の形態では脳科学実験で得られるタスク遂行中の脳活動データを用いて、脳の高度な特性を生かし、かつ、実装可能な計算アルゴリズムを提供して、画像データに対する識別性能を向上させる画像特徴量を学習することができるようにした。また、本実施の形態で学習される画像特徴量を用いることにより、これまでの認識機械での課題（例えば、画像による歩行者認識における、遮蔽やノイズの影響による誤認識及び不認識の問題）を解決することができる。
【００８１】
また、本実施の形態では、脳から学ぶ現実的な方法を規定した。脳が行う知的タスクを、１）どの情報を使うか、２）その情報からどのように計算するか、に分けて考えるとき、本実施の形態では、１）のみについて脳から学び、２）については既存の数学的、工学的手法を適用し、脳からは学ばないようにした。このように学ぶ対象を明確に限定することにより、現実的かつ精密に脳科学の知見を取り入れた装置を開発することができる。
【００８２】
次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る対象物識別装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。
【００８３】
第２の実施の形態では、学習されたニューラルネットワークから、画像データを入力したときの擬似脳活動データを取得している点が、第１の実施の形態と主に異なっている。
【００８４】
第２の実施の形態では、対象物識別装置１０の画像脳信号記憶部２０に、画像データ及び擬似脳活動データのペアが複数記憶されている。
【００８５】
画像脳信号記憶部２０に記憶されている画像データ及び擬似脳活動データの複数ペアは、図７に示す擬似脳活動データ計測装置２３０によって得られる。擬似脳活動データ計測装置２３０は、ＣＰＵと、ＲＡＭと、後述する擬似脳信号取得処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータであり、機能的には次に示すように構成されている。擬似脳活動データ計測装置２３０は、教師ラベルが付与された複数の画像データを予め記憶すると共に、対応する擬似脳活動データを格納するための画像脳信号記憶部２３８と、画像脳信号記憶部２３８から各画像データ及び教師ラベルを読み込んで、画像データが歩行者画像であるか非歩行者画像であるかを識別するためのニューラルネットワーク（擬似脳）を学習するニューラルネットワーク学習部２４０と、画像脳信号記憶部２３８から各画像データを読み込んでニューラルネットワークの入力層に入力する画像データ取得部２４２と、学習されたニューラルネットワークに基づいて、入力された画像データが歩行者画像であるか非歩行者画像であるかを識別するニューラルネットワーク識別部２４４と、画像データが入力されたときにニューラルネットワークの中間層の各ニューロンで観測された出力（擬似脳信号）を表わす擬似脳活動データを取得する擬似脳信号取得部２４６と、得られた擬似脳活動データを、入力された画像データと対応させて画像脳信号記憶部２３８に格納する記憶制御部２４８とを備えている。
【００８６】
図８に示すように、本実施の形態で擬似脳として用いるニューラルネットワークモデルは、例えば、人工的神経回路網モデル（ＡＮＮ）であり、入力層、中間層、及び出力層から構成され、各層は、少なくとも１つのニューロンを備えている。
【００８７】
ニューラルネットワーク学習部２４０は、画像脳信号記憶部２３８から読み込んだ各画像データについて、画像データの各画素の画素値を、ニューラルネットワークの入力層の各ニューロンに入力したときに、出力層のニューロンから出力されるべき値を、当該画像データに対する教師ラベルに基づいて与えて、ニューラルネットワークを学習する。
【００８８】
ニューラルネットワーク識別部２４４は、上記のように学習されたニューラルネットワークに基づいて、画像データが入力されたときの出力層の出力に従って、当該画像データが歩行者画像であるか非歩行者画像であるかを識別する
擬似脳活動データ計測装置２３０は、画像データ取得部２４２によって、画像脳信号記憶部２３８に記憶された複数の画像データを順次、学習されたニューラルネットワークに入力すると共に、擬似脳信号取得部２４６によって、各画像データをニューラルネットワークに入力したときに観測された擬似脳活動データを取得し、記憶制御部２４８によって、画像データと対応させて擬似脳活動データを画像脳信号記憶部２３８に記憶させる。これによって、画像脳信号記憶部２３８には、画像データと擬似脳活動データとのペアが複数記憶される。
【００８９】
画像脳信号記憶部２３８に記憶された画像データと擬似脳活動データとの複数ペアが、対象物識別装置１０のコンピュータ１４に入力され、画像脳信号記憶部２０には、擬似脳活動データ計測装置２３０の画像脳信号記憶部２３８と同じ画像データと擬似脳活動データとの複数ペアが記憶される。
【００９０】
次に、本実施の形態の作用について説明する。まず、歩行者を撮像することにより得られた複数の歩行者画像データと、歩行者以外を撮像することにより得られた非歩行者画像データとを用意し、各画像データに教師ラベルを与えて、脳活動データ計測装置３０の画像脳信号記憶部３８に格納する。
【００９１】
そして、擬似脳活動データ計測装置２３０によって、図９に示す擬似脳信号取得処理ルーチンが実行される。
【００９２】
まず、ステップ２５０において、画像脳信号記憶部２３８に記憶されている各画像データ及び教師ラベルを読み込み、ステップ２５２において、上記ステップ２５０で読み込んだ各画像データ及び教師ラベルに基づいて、ニューラルネットワークを学習する。
【００９３】
そして、ステップ２５４において、画像脳信号記憶部２３８に記憶されている１つの画像データを取得し、ステップ２５６において、上記ステップ２５４で取得した画像データを、ニューラルネットワークの入力層に入力する。
【００９４】
そして、ステップ２５８において、上記ステップ２５６においてニューラルネットワークに画像データが入力されたときにニューラルネットワークの中間層の各ニューロンから出力される擬似脳信号を取得し、各ニューロンの擬似脳信号を表わす擬似脳活動データを取得する。そして、ステップ２６０において、画像脳信号記憶部２３８に、当該画像データと対応させて擬似脳活動データを格納する。ステップ２６２において、画像脳信号記憶部２３８に記憶されている全ての画像データについて、上記ステップ２５４〜ステップ２６０の処理を実行したか否かを判定する。上記ステップ２５４〜ステップ２６０の処理が実行されていない画像データが存在する場合には、上記ステップ２５４へ戻り、当該画像データについて、上記ステップ２５４〜ステップ２６０の処理を繰り返す。一方、全ての画像データについて、上記ステップ２５４〜ステップ２６０の処理を実行した場合には、擬似脳信号取得処理ルーチンを終了する。
【００９５】
なお、第２の実施の形態に係る対象物識別装置１０の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００９６】
以上説明したように、第２の実施の形態に係る対象物識別装置によれば、画像データと、当該画像データを与えたときにニューラルネットワークから得られる擬似脳活動データとに対して、カーネル正準相関分析を行って、カーネル関数の重みを学習し、学習された重みを適用した画像側の正準相関変数を、画像特徴量とすることにより、画像データに対する識別性能を向上させる画像特徴量を学習することができる。
【００９７】
次に、第３の実施の形態について説明する。音データを識別する音識別装置に本発明を適用した場合を例に説明する。なお、第３の実施の形態に係る音識別装置及び脳活動データ計測装置の構成は、第１の実施の形態とほぼ同様の構成となっているため、同一符号を付して説明を省略する。
【００９８】
第３の実施の形態では、画像データではなく、音データを被験者に与え、得られる脳活動データから、音特徴量を学習している点が、第１の実施の形態と異なっている。
【００９９】
第３の実施の形態では、脳活動データ計測装置において、音データに基づいて音出力装置によって被験者に対して音出力し、このときに得られる各部位の脳波信号を表わす脳活動データを取得する。
【０１００】
また、第３の実施の形態に係る音識別装置は、音データの周波数スペクトルデータと、脳活動データとの複数ペアから、上記（１）式で表わされる相関を最大にするカーネル関数の重みα、βを学習すると共に、学習された重みα及び学習用の音データｘ(j)を用いて上記（６）式で表わされる音側のｎ0個の正準相関変数を、音特徴量として決定し、学習された上記（６）式の重みα及び音データｘ(j)を含む各パラメータを学習結果記憶部２４に格納する。
【０１０１】
また、音識別装置は、第１の実施の形態と同様に、上記のように学習された音特徴量を用いて、ＳＶＭモデルを学習すると共に、音入力装置から入力された音データの周波数スペクトルデータから、音特徴量を算出して、学習されたＳＶＭモデルを用いて、音データを識別する。
【０１０２】
このように、第３の実施の形態に係る音識別装置によれば、音データと、当該音データを出力したときに得られる脳活動データとに対して、カーネル正準相関分析を行って、カーネル関数の重みを学習し、学習された重みを適用した音側の正準相関変数を、音特徴量とすることにより、音データに対する識別性能を向上させる音特徴量を学習することができる。
【０１０３】
なお、上記の第３の実施の形態において、上記第２の実施の形態で説明した手法と同様に、ニューラルネットワークなどの擬似脳を用いてもよい。この場合には、音データの周波数スペクトルデータを用いて、ニューラルネットワークを学習し、音データの周波数スペクトルデータを、学習されたニューラルネットワークに入力したときの擬似脳活動データを取得するようにすればよい。
【０１０４】
また、上記の第１の実施の形態〜第３の実施の形態では、画像データ又は音データを識別するための画像特徴量、又は音特徴量を学習する場合について説明したが、脳は視覚、聴覚の他に、嗅覚、触覚、味覚などの感覚信号も処理弁別しており、このような別の感覚に対しても本発明を適用可能である。例えば、ｎ個の化学物質センサで検出される各信号を表わす匂いデータに対して、食欲をそそるに匂いかを識別する匂い識別装置に本発明を適用してもよい。視覚の場合には、画像データが、ピクセル数の次元のベクトルであったが、嗅覚の場合は、匂いデータが、センサ個数の次元のベクトルトルとなり、匂いデータと脳活動データとに対して、カーネル正準相関分析を行って、嗅覚特徴量を学習すればよい。その結果、匂い判別に有利な嗅覚特徴量Ｉa（ｘ）が得られ、嗅覚特徴量に基づいて、匂いを高精度に識別することができる。
【０１０５】
また、例えば、指先の感じる質感でその材質が木製であるかないかを識別する触覚識別装置に本発明を適用してもよい。この場合には、ｎ個の触覚センサの出力を表わす触覚データと脳活動データとに対してカーネル正準相関分析を行って、材質判別に有利な触覚特徴量を学習することができる。
【０１０６】
また、上記の第２の実施の形態では、ニューラルネットワーク（疑似脳）を用いて、擬似脳活動データを取得する場合を例に説明したが、これに限定されるものではない。現存する多数の人工的視覚処理信号装置に、本発明で提案した手法を応用して、それらの装置がどのように一定の識別性能を発揮しているかを調べることも可能である。例えば、人工的視覚処理信号装置が、Ａ＝＞Ｂ＝＞Ｃ＝＞．．．＝＞Ｅのように途中に何段か処理ステップを有する場合、興味ある処理ステップ、例えばＡ＝＞Ｃの間に対してカーネル正準相関分析を行って、Ａの段に入力されるデータにおいて、識別に有利な特徴量が何かを理解するのに役立ててもよい。
【０１０７】
また、上記の第１の実施の形態〜第３の実施の形態では、カーネル正準相関分析（ＫＣＣＡ）を用いた場合について示したが、通常の正準相関分析（ＣＣＡ）を用いるだけで十分な性能が得られる場合もありうる。従って、実施手順として、まずはＣＣＡを用いて、画像特徴量を学習し、学習された画像特徴量を用いた識別性能が不十分であった場合に、ＫＣＣＡを用いて、画像特徴量を学習するようにしてもよい。
【０１０８】
また、上記の第１の実施の形態、第３の実施の形態では、人間の脳について脳活動データを計測する場合を例に説明したが、これに限定されるものではなく、他の生物（例えばラットやサル）の脳について脳活動データを計測してもよい。例えば、手書き数字などの判別ができるように生物を訓練でき、その判別時の脳活動（例えば一次視覚野）を２光子顕微鏡や多点電極などを用いて計測できれば、脳活動データとして用いることができる。
【０１０９】
また、ＳＶＭ識別器を用いて、画像の識別処理を行う場合を例に説明したが、これに限定されるものではなく、従来既知の他の識別手法（例えば、最近傍識別、線形判別など）を用いて、画像の識別処理を行うようにしてもよい。
【０１１０】
また、撮像装置から撮像画像を取得し、撮像画像に対し、歩行者画像であるか否かを識別する場合を例に説明したが、これに限定されるものではなく、ハードディスク装置から画像データを読み込み、読み込んだ画像データに対し、歩行者画像であるか否かを識別してもよい。
【０１１１】
また、様々な大きさの切り出しウィンドウを用いて、撮像画像からウィンドウ画像を抽出し、各ウィンドウ画像に対して、学習された画像特徴量を算出して、歩行者画像であるか否かを識別してもよい。
【０１１２】
また、識別対象物が人物である場合を例に説明したが、これに限定されるものではなく、人物以外の物体を識別対象物としてもよい。
【０１１３】
なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。
【実施例】
【０１１４】
本発明を適用した対象物識別装置の実施例について説明する。以下では、第２の実施の形態で説明した対象物識別装置１０及び擬似脳活動データ計測装置２３０の実施例について説明する。
【０１１５】
手書き数字は書き手によって様々な癖があるため、それぞれの手書き数字がどの数字を意味するかの識別は、困難な画像識別問題の一つである。特に手書き文字の一部が遮蔽されている場合には、その認識は自動認識機械にとっては困難を極めるが、そのような状況でも人間の脳はどの数字かを何とか識別することができる。ここでは、人間の脳の代わりに十分なトレーニングセットを与え、十分な時間かけてトレーニングされた人工的神経回路網モデル（ＡＮＮ）を疑似脳として用い、この疑似脳を、上記の第２の実施の形態で説明した方法により学習することによって、数字弁別の能力を獲得する対象物識別装置を製作した実施例について説明する。
【０１１６】
まず、図１０に示すような、通常の手書き数字を示す画像データ｛ｘ(1)，ｘ(2)，・・・ｘ(N)｝（基本数字画像データと呼ぶ）と、遮蔽された手書き数字を示す画像データ｛￣ｘ(1)，￣ｘ(2)，・・・￣ｘ(N’)｝（遮蔽数字画像データと呼ぶ）をトレーニングセットとして与え、正答率９５％以上で正答するようにＡＮＮの学習を行った（ＡＮＮの出力層１０個のうち一番大きな値を出力とする）。
【０１１７】
手書き文字のデータベースとしては、電子技術総合研究所（現・産業技術総合研究所）のＥＴＬ６データベース（数字）、ＥＴＬ７ｌデータベース（平仮名）を使い、文字としては、計算負荷の都合上１４×１４画素の画像にダウンサンプリングしたものを使った。したがって、｛ｘ(j)｝、｛￣ｘ(j)｝は、それぞれ、１４×１４＝１９６次元のベクトルである。
【０１１８】
上記のトレーニング済みのＡＮＮを、擬似脳活動データ計測装置２３０のニューラルネットワークとして用いた。
【０１１９】
次に、この疑似脳の脳活動を表す中間層の６０個のニューロンの出力を表わす擬似脳活動データと画像データの間の相関を、第１の実施の形態で説明した手法で計算する。その際のデータセットとしては、手書き数字を示す画像データ｛ｘ(1)，ｘ(2)，・・・ｘ(N)｝、｛￣ｘ(1)，￣ｘ(2)，・・・￣ｘ(N’)｝と、それらに対応する中間層の各ニューロンの出力を表わす擬似脳活動データ｛ｙ(1)，ｙ(2)，・・・ｙ(N)｝、｛￣ｙ(1)，￣ｙ(2)，・・・￣ｙ(N’)｝とを用いる。これらのデータ組に基づいて、相関を最大化する正準相関変数を画像特徴量として学習した。
【０１２０】
第１の実施の形態で説明したように、画像側、脳活動側の双方を高次元特徴空間に写像した後、それぞれの特徴空間の中のある方向ａ(1)及びｂ(1)への射影した対、ａT(1)φ（ｘ）、ｂT(1)Ψ（ｙ）を考え、これらが最も相関の高い１次元の対となるようなａ(1)及びｂ(1)を見つけることができる。それが第１正準相関変数の対である。図１１（Ａ）に示すように、実際にこの例について計算されたａT(1)φ（ｘ）、ｂT(1)Ψ（ｙ）の対は、良く相関していることが確認された（相関値＝０．９９７）。なお、ｘ軸が画像側、ｙ軸が脳活動側の変数である。
【０１２１】
詳しくは、総計９００個の手書き数字画像データのうち、５００個の数字画像データをＡＮＮに入力したときの擬似脳活動データを使って上記の第一正準相関変数を決め、その決定に使わなかった残りの４００個の手書き数字画像データについて正準相関変数の対を求めた。求められた正準相関変数対の値が図１１（Ａ）に示され、それぞれが何の数字（０〜９）であるかが示されている。同様に図１１（Ｂ）、図１２（Ａ）、（Ｂ）に、第２、３、４の正準相関変数の対を示す。どの対も非常に良く相関していることが分かった。
【０１２２】
また、多数の手書き数字画像データのうち、“０”を表す画像データには１番から４０番までの背番号を、“１”を表す画像データには４１番から８０番の背番号を、というように、総計４００個の手書き数字画像データに１番から４００番までの背番号を付けて、図１３（Ａ）に、背番号の若い順に下から上へ、画像側の第１正準相関変数の値ａT(1)φ（ｘ）を横軸として示した。図１３（Ｂ）は同様に第２正準相関変数の値ａT(2)φ（ｘ）を横軸に示したものである。
【０１２３】
正準相関変数の値は具体的にはカーネル関数の線形結合として以下の（１０）式のように算出されるが、正準相関変数の値は、画像ｘを与える毎に計算できる値であるから、画像特徴量とみなせる。この画像特徴量が手書き数字の弁別に有効な特徴量であることは、上記図１３（Ａ）、（Ｂ）から理解できる。なぜなら、例えば、第一正準相関変数が−０．０２より小さければ、手書き数字が、｛１，４，７｝または低い確率で｛２，９｝であることが分かり、第一正準相関変数が．０１より大きければ、手書き数字が｛０，５，６｝または低い確率で｛２，８｝であることが分かる。第一正準相関変数でここまで限定した後、第２正準相関変数の値もみれば、さっき区別しきれなかった｛１，４，７｝をかなり確実に識別できる。
【０１２４】
【数９】
【０１２５】
このように、手書き数字の弁別をこなす疑似脳から学ぶ形で作られた正準相関変数は、有用な画像特徴量である。一方で、脳から直接は学ばない従来の画像特徴量である画像のＰＣＡ（主成分分析）の第１、第２成分を図示したのが図１４（Ａ）、（Ｂ）である。これらの成分はもとの画素数１９６次元から最も分散の大きな方向を取りだしたものである。しかし、図１４（Ａ）、（Ｂ）から分かるように、これら特徴量の値は異なる数字間で大幅に重なっていて、数字を識別するための画像特徴量として有用でないことが分かる。
【０１２６】
このように、脳から直接は学ばない従来の画像弁別アルゴリズムに対して、本発明で提案した脳から学ぶアルゴリズムの有意性が確認できた。
【０１２７】
次に、カーネル正準相関分析（ＫＣＣＡ）を使い脳から学んで構成した、相関が０．４以上となる全ての画像側の正準相関変数を画像特徴量として用いて、上記（９）式に示すカーネル関数を使った画像弁別アルゴリズムＫＣＣＡ−ＳＶＭの性能を評価する。
【０１２８】
評価の課題は遮蔽への対応能力である。即ち、手書き文字の典型と考えられる、上記図１０の左上部に示すような基本手書き数字（遮蔽なし）の分類がほぼ１００％正しく出来るようにトレーニングされたＳＶＭ識別器の性能が、遮蔽を受けた手書き数字に対してどの程度低下するかをテストした。具体的には、与えられた遮蔽手書き数字が”５”であるかないかの２択問題で、テストした。
【０１２９】
なお、このように遮蔽文字でトレーニングを受けていないＳＶＭやＫＣＣＡ−ＳＶＭが遮蔽文字にどの程度対応できるのかがここでの評価であるが、ＡＮＮは遮蔽を受けた文字でも区別する能力のある“擬似脳”である、という想定なので、ＡＮＮのトレーニングセットには遮蔽文字を含み、遮蔽文字も識別できるようにＡＮＮが学習されている。
【０１３０】
まず、以下の（１１）式で表されるカーネル関数を使用する従来のＳＶＭの成績をみると、図１５に示すように、その正解率は、手書き文字の遮蔽により１００％から大きく落ち込む。
【０１３１】
【数１０】
【０１３２】
一方、本発明で提案したＫＣＣＡ−ＳＶＭでの正解率は、遮蔽の影響をほとんど受けず、ほぼ１００％にとどまっている。どちらの弁別アルゴリズムも、ＳＶＭモデルのトレーニングセットとしては遮蔽を含まない基本手書き文字しか与えていないが、ＫＣＣＡ−ＳＶＭはその構成上、文字の識別をうまくやるための一般的指針を疑似脳から学んでいるので、数字への遮蔽に効果的に対応できていることがわかった。
【０１３３】
ここでは、基本文字群と、それを遮蔽という視覚上の妨害因子（ディストラクター）を加えた文字群との両方を正しく弁別できる疑似脳（ＡＮＮ）を用意し、そのＡＮＮの遮蔽への対応能力を本発明で提案したＫＣＣＡを使って引き出すために、ＡＮＮへの刺激入力として、遮蔽文字を含む文字群を使用し、このときの脳活動を用いて正準相関変数を求めた。このやり方は、視覚弁別において、対応したい妨害因子が何であるかが初めから決まっていて、かつ脳がそれに対応できることもあらかじめわかっている場合に具体的に適用できる。
【０１３４】
一方、脳は、一般に遮蔽だけでなくインクによる汚れやライティング条件の変化など多種多様な妨害因子への対応能力を持っているはずなので、予め特定の妨害因子を想定してその対応能力だけを脳から学ぼうとするのでなく、脳のいくつかの妨害因子への対応能力を、妨害因子の事前特定なしに学ぶことができれば、脳から学ぶ方法としてさらに有用であると考えられる。
【０１３５】
そこで、妨害因子の事前特定なしに、種々の妨害因子への対応能力を学習可能かどうかを調べた。妨害因子を“遮蔽”と特定しないので、ＫＣＣＡで正準相関変数を求める際のＡＮＮへの入力刺激（以下、相関変数抽出刺激と呼ぶこととする。）として遮蔽された数字は使えない。代わりに、ここでは図１６に示すような手書き平仮名（およびそれに回転、反転、遮蔽を加えたもの）の集まりを、相関変数抽出刺激として使うことにする。なお、この手書き平仮名（およびそれに回転、反転、遮蔽を加えたもの）が、関連感覚データの一例である。上記図１６に示す相関変数抽出刺激に基づいて、上と同じ手続きで正準相関変数を求め、画像側の正準相関変数を画像特徴量として使ったＫＣＣＡ−ＳＶＭの手書き数字（遮蔽されたものを含１４の識別性能を調べた。上記図１５に示す通り、上記の手書き平仮名を入力刺激とした場合でも極めて高い識別性能を有することが分かった。このことは、妨害要因をあらかじめ正確に知らなくても、脳が備えている妨害要因への対応能力をＫＣＣＡで読み取り、その能力を身に付けたＳＶＭ分類器（ＫＣＣＡ−ＳＶＭ）を構築できることを意味し、本発明で提案した手法のさらなる有用性が示された。
【符号の説明】
【０１３６】
１０ 対象物識別装置
１４ コンピュータ
２０ 画像脳信号記憶部
２２ 画像特徴量学習部
２４ 学習結果記憶部
２６ 対象物検出部
３０ 脳活動データ計測装置
３２ キャップ型電極
３４ 表示装置
３６ コンピュータ
３８、２３８ 画像脳信号記憶部
５０ 特徴量算出部
５２ 識別モデル学習部
５４ 識別モデル記憶部
５６ 特徴量算出部
５８ 識別部
２３０ 擬似脳活動データ計測装置
２４０ ニューラルネットワーク学習部
２４４ ニューラルネットワーク識別部
【特許請求の範囲】
【請求項１】
感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段と、
入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段と、
を含む感覚データ識別装置。
【請求項２】
感覚データと前記感覚データに対して予め求められた識別結果との組み合わせを学習データとして学習されたニューラルネットワークに前記感覚データ又は関連感覚データを与えたときに前記ニューラルネットワークの中間層の各ニューロンで観測された出力を表わす擬似脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記擬似脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段と、
入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段と、
を含む感覚データ識別装置。
【請求項３】
前記感覚特徴量は、以下の式で表される請求項１又は２記載の感覚データ識別装置。
【数１】
ただし、Ｉa(n)（ｘ）は、前記入力された感覚データｘの前記感覚特徴量であり、ａT(n)φ（ｘ）は、ｎ番目の前記正準相関変数であり、ｘ(j)は、カーネル正準相関分析のために予め与えられたｊ番目の前記感覚データ又は前記関連感覚データである。ｋa（ｘ(j)，ｘ）はｊ番目の前記カーネル関数であり、αj(n)は前記ｊ番目のカーネル関数に対する前記重みである。
【請求項４】
予め用意された複数の感覚データの各々から、前記学習手段によって学習された前記感覚特徴量を算出する第２特徴量算出手段と、
前記第２特徴量算出手段によって算出された前記感覚特徴量と対応する感覚データに対して予め求められた識別結果とを学習データとして、前記感覚データを識別するための識別モデルを学習する識別モデル学習手段を更に含み、
前記識別手段は、前記特徴量算出手段によって算出された前記感覚特徴量と前記識別モデルとに基づいて、前記感覚データを識別する請求項１〜請求項３の何れか１項記載の感覚データ識別装置。
【請求項５】
前記学習手段は、複数の正準相関変数の各々における重みを学習し、学習された重みを用いた前記複数の正準相関変数を、前記感覚特徴量とする請求項１〜請求項４の何れか１項記載の感覚データ識別装置。
【請求項６】
前記感覚データを、画像データ、音データ、においデータ、又は触覚データとした請求項１〜請求項５の何れか１項記載の感覚データ識別装置。
【請求項７】
前記識別手段による識別結果と、前記入力された感覚データとを対応付けて表示手段に表示させる表示制御手段を更に含む請求項１〜請求項６の何れか１項記載の感覚データ識別装置。
【請求項８】
コンピュータを、
感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段、
入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段、及び
前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段
として機能させるためのプログラム。
【請求項９】
コンピュータを、
感覚データと前記感覚データに対して予め求められた識別結果との組み合わせを学習データとして学習されたニューラルネットワークに前記感覚データ又は関連感覚データを与えたときに前記ニューラルネットワークの中間層の各ニューロンで観測された出力を表わす擬似脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記擬似脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段、
入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段、及び
前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段
として機能させるためのプログラム。
【請求項１】
感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段と、
入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段と、
を含む感覚データ識別装置。
【請求項２】
感覚データと前記感覚データに対して予め求められた識別結果との組み合わせを学習データとして学習されたニューラルネットワークに前記感覚データ又は関連感覚データを与えたときに前記ニューラルネットワークの中間層の各ニューロンで観測された出力を表わす擬似脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記擬似脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段と、
入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段と、
を含む感覚データ識別装置。
【請求項３】
前記感覚特徴量は、以下の式で表される請求項１又は２記載の感覚データ識別装置。
【数１】
ただし、Ｉa(n)（ｘ）は、前記入力された感覚データｘの前記感覚特徴量であり、ａT(n)φ（ｘ）は、ｎ番目の前記正準相関変数であり、ｘ(j)は、カーネル正準相関分析のために予め与えられたｊ番目の前記感覚データ又は前記関連感覚データである。ｋa（ｘ(j)，ｘ）はｊ番目の前記カーネル関数であり、αj(n)は前記ｊ番目のカーネル関数に対する前記重みである。
【請求項４】
予め用意された複数の感覚データの各々から、前記学習手段によって学習された前記感覚特徴量を算出する第２特徴量算出手段と、
前記第２特徴量算出手段によって算出された前記感覚特徴量と対応する感覚データに対して予め求められた識別結果とを学習データとして、前記感覚データを識別するための識別モデルを学習する識別モデル学習手段を更に含み、
前記識別手段は、前記特徴量算出手段によって算出された前記感覚特徴量と前記識別モデルとに基づいて、前記感覚データを識別する請求項１〜請求項３の何れか１項記載の感覚データ識別装置。
【請求項５】
前記学習手段は、複数の正準相関変数の各々における重みを学習し、学習された重みを用いた前記複数の正準相関変数を、前記感覚特徴量とする請求項１〜請求項４の何れか１項記載の感覚データ識別装置。
【請求項６】
前記感覚データを、画像データ、音データ、においデータ、又は触覚データとした請求項１〜請求項５の何れか１項記載の感覚データ識別装置。
【請求項７】
前記識別手段による識別結果と、前記入力された感覚データとを対応付けて表示手段に表示させる表示制御手段を更に含む請求項１〜請求項６の何れか１項記載の感覚データ識別装置。
【請求項８】
コンピュータを、
感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段、
入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段、及び
前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段
として機能させるためのプログラム。
【請求項９】
コンピュータを、
感覚データと前記感覚データに対して予め求められた識別結果との組み合わせを学習データとして学習されたニューラルネットワークに前記感覚データ又は関連感覚データを与えたときに前記ニューラルネットワークの中間層の各ニューロンで観測された出力を表わす擬似脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記擬似脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段、
入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段、及び
前記特徴量算出手段によって算出された前記感覚特徴量に基づいて、前記感覚データを識別する識別手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図６】
【図１０】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図６】
【図１０】
【図１６】
【公開番号】特開２０１２−１８１６０７（Ｐ２０１２−１８１６０７Ａ）
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１１−４２８１４（Ｐ２０１１−４２８１４）
【出願日】平成２３年２月２８日（２０１１．２．２８）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（５０３３５９８２１）独立行政法人理化学研究所 (1,056)
【Ｆターム（参考）】
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願日】平成２３年２月２８日（２０１１．２．２８）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（５０３３５９８２１）独立行政法人理化学研究所 (1,056)
【Ｆターム（参考）】
[ Back to top ]