物体特性のロバストな推定を用いる適応型運転者支援システム
【課題】シーン特性の効率的推定を用いる適応型運転者支援システムを提供する。
【解決手段】ディジタル画像における物体の特性を推定するコンピュータ実現方法であって、数値活性化値を有するニューロンを備えるニューラルマップの中でセンサからの入力データを符号化するステップ、ここにおいて、ニューラルマップ内の活性化値は、更新スキームによって規定される連続時間力学を有するステップと、ニューラルマップの重みを非監視増分様式で作成、適応、及び削除するステップと、重みの値に基づいて入力マップから出力マップへデータを伝達するステップ、ここにおいて、入力マップ（ＩＭ）とニューラル出力マップ（ＯＭ）との間の各々の重みは一意のソース及び宛先ニューロンを有し、データ伝達は方向づけられるステップと、入力マップ（ＩＭ）と出力マップ（ＯＭ）との間の相関を検出するステップとを含む。
【解決手段】ディジタル画像における物体の特性を推定するコンピュータ実現方法であって、数値活性化値を有するニューロンを備えるニューラルマップの中でセンサからの入力データを符号化するステップ、ここにおいて、ニューラルマップ内の活性化値は、更新スキームによって規定される連続時間力学を有するステップと、ニューラルマップの重みを非監視増分様式で作成、適応、及び削除するステップと、重みの値に基づいて入力マップから出力マップへデータを伝達するステップ、ここにおいて、入力マップ（ＩＭ）とニューラル出力マップ（ＯＭ）との間の各々の重みは一意のソース及び宛先ニューロンを有し、データ伝達は方向づけられるステップと、入力マップ（ＩＭ）と出力マップ（ＯＭ）との間の相関を検出するステップとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的に運転者支援システム（例えば、自動車の）に関し、更に具体的には、人工認知システム、特に適応型運転者支援システムで、オンライン学習を実施する手法に関する。
【背景技術】
【０００２】
人工認知システムは、（例えば、ビデオ）センサ信号を供給されて多くのタスクを遂行し、それらのタスクに関して人のパフォーマンスの１つ又は幾つかの態様を再現できるデータ処理システムとして定義されてよい。
【０００３】
人のパフォーマンスの幾つかの態様は、適応型運転者支援システムの情況で特に関連がある。第１に、前の経験から学習し、学習されたものを使用して、未知であっても質的に類似したタスク又は状況を成功裏に処理する能力である。第２に、人工的シナリオの代わりに現実世界シナリオでタスクを遂行するとき、不完全、矛盾、又は歪曲された入力データに対する強靱性である。第３に、臨界状況に置かれても結果を生成する能力である。この臨界状況は、システムの入力データ（これは、通常、外部世界を観察することから来る）の強い変動に起因して生じるか、１つ又は幾つかの内部処理ステップの損傷パフォーマンスに起因して生じ得る。
【０００４】
いずれの場合にも、運転者支援システムの故障は回避されなければならない。最後に、学習手続きによって部分的又は全体的に指定され、追加の設計努力なしに運転者支援システムに収容される全てのデータをアクセス及び使用できる新しい関数によって、運転者支援システムを増分的に拡張する広範な可能性が特に関連する。
【０００５】
適応型運転者支援システムにおける上記の特徴を実現する有望なアプローチは、ニューラルネットワークを使用することである。離散的及び連続的な場合におけるニューロン分野力学並びにニューロン分野で動作する学習メカニズムの基本概念は、非特許文献１、２および３で公式化されている。
【０００６】
より具体的には、Amari力学のモデル化アプローチは、協力及び競争の概念、並びにアトラクタ力学を含む。ニューロン協力及び競争の概念は、記憶されたデータに対する類似性尺度を暗黙に意味する。類似性尺度は、反復的に類似情報を抑圧して非類似情報を強化するために使用される。これは、記憶された情報が冗長性から大きく解放される最終安定ネットワーク状態につながる。そのような安定状態は、雑音又は矛盾した入力に対するかなりの強靱性によって更に特徴づけられる。なぜなら、ネットワーク内の協力及び競争原理は、そのような場合でシステムを安定性へ押し戻すからである。これは、Amariによって提案されるようなニューラルネットワークはアトラクタ力学を実現し、安定状態は常にこの強靱性特性を有することが示され得るという事実に起因する。
【０００７】
しかしながら、Amariらによって説明された方法は、単一のニューラルシートをモデル化するだけである。更にまた、これらの参考文献は、データが符号化される方途に対処していない。
【０００８】
Amari力学又は類似の力学に基づく表現の利点及び認知特性は、例えば、非特許文献４、５および６で検討されている。しかしながら、これらの刊行物は、概念的論証のみに使用される比較的小さいシステムを説明する。これらの参考文献では、学習問題は対処されておらず、学習メカニズムも対処されていない。
【０００９】
学習メカニズムは、非特許文献７で検討されている。学習メカニズムは、動的表現の動的特性、並びに、どの重みを適応すべきかを同定する最大検出スキームを採用する。しかしながら、上記の学習メカニズムはニューラルマップを採用せず、２つのシート間の重みは始めから全部対全部の接続性を有し、Amari力学の内在ブロブ形成特性を利用する近似スキームは存在しない。これに加えて、Ｋｏｎｅｎらによる論文は主として視覚センサからの非構造化入力に取り組んでいる。
【００１０】
最後に、特許文献１は、様々な座標系の変換を遂行するニューラルシートシステムを開示している。このシステムにおいて、シート内のデータは、集団符号、即ち、共通データ符号化スキーム（ＣＤＥＳ）によって表現され、シートはAmari力学に類似した時間力学を所有し、情報は複数のシート間で伝達される。しかしながら、特許文献２は学習システム（ＬＳ）を検討していない。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】ドイツ特許第１９８４４３６４（M. Giese）
【特許文献２】ドイツ特許第１９８４４３６４
【非特許文献】
【００１２】
【非特許文献１】Amari, S. “Dynamics of pattern formation in lateral inhibition type neural fields”, Biological Cybernetics 27:77-87
【非特許文献２】Amari, S. “Mathematical foundations of Neurocomputing”, Proceedings of the IEEE 78:1443-1463
【非特許文献３】Taylor, J.G. “Neural ‘bubble’ dynamics in two dimensions: foundations”, Biological Cybernetics 80:393-409
【非特許文献４】Cisek, P. “Integrated neural processes for defining potential actions and deciding between them: a computational model. Journal of Neuroscience 26:9761-9770
【非特許文献５】Engels, C. et al. “Dynamic fields endow behavior based robots with representations”, Robotics and Autonomous Systems 14:55-77
【非特許文献６】Erlhagen et al. “Dynamic field theory of movement preparation”, Psychological Review 109:545-572
【非特許文献７】Konen et al. “A fast dynamic link marching algorithm for invariant pattern recognition”, Neural Networks 7:1019-1030
【発明の概要】
【発明が解決しようとする課題】
【００１３】
それ故に、本発明の目的は、「知的車両」に関連する関数に必要なシーン特性の効率的推定を用いる適応型運転者支援システムを提供することである。
【課題を解決するための手段】
【００１４】
本目的は、独立請求項に従った方法及びデバイスによって達成される。有利な実施形態は従属請求項で規定される。
【００１５】
提案された手法を使用して、運転者支援システムは、「知的車両」で動作している運転者支援システムへ高度に関連する幾つかの相互依存量を推定する能力を徐々に展開する。
【００１６】
所望の量の相互依存性は、提案された発明によって利用され、全ての量を独立に推定するときに達成され得る点を超えて推定値の品質を改善するために使用される。
【００１７】
問題とされる量は、全て、関連シーン物体（例えば、自動車や歩行者など）の検出に関係する。即ち：
（１）正確な場所
（２）アイデンティティ
（３）距離
【００１８】
指定されたセンサから来る入力データは、指定されたアクチュエータを制御するために学習手法を使用して処理され、アクチュエータ制御を案内するために推定量を使用して処理される。
【００１９】
提案される学習手法は、ニューラルマップ（「ニューロン」と呼ばれるコンピューティング要素の２次元シートの集合）間の新規なメモリ空間効率学習スキーム（ＬＳ）から成る。ここでニューラルマップは、Amari力学の拡張に従った時間発展の力学に供される。ニューラルマップへの情報符号化は、データ符号化スキーム（ＣＤＥＳ）に従って遂行される。本発明によれば、学習スキーム（ＬＳ）は、２つ以上のニューラルマップ間の相関活動を捕獲するため具体的に公式化されてよく、幾つかの単純化仮定を正当化するためニューラルマップのAmari力学を利用する。これは、学習スキーム（ＬＳ）によって適応されるべきパラメータ（「重み」と呼ばれる）の数を大きく低減することにつながる。学習に使用されるデータの性質に関する暗黙的仮定は、行われる必要はない。
【００２０】
共通データ符号化スキーム（ＣＤＥＳ）が固守される限り、新しい情報源（ソース）が任意の時点で学習スキーム（ＬＳ）へ提供され得る。これは、学習タスクの複雑性を増分的に増加することを許す。学習スキーム（ＬＳ）も、注目すべき自己組織化能力を所有する。これは、この学習スキームが、実地検証データを入手できない非監督オンライン学習シナリオに特に適していることを意味する。
【００２１】
Amari力学は、動作中に再パラメータ化されてよい。これは、記憶された情報の融合及びそれら情報間の競争を含むAmari力学の既に十分豊富な情報処理能力に関して、柔軟性及び適応可能性の増加につながる。
【００２２】
本発明に従った方法及びデバイスは、人工認知システムが自立的又は半自立的に「現実世界」のタスクに取り組まなければならない全ての分野、最も具体的には、「知的車両」の中で動作している運転者支援システムで有利に採用されてよい。タスクが、通常、部分的にのみ良好に規定される応用、又はタスクが複雑で、タスクの解決法の設計を困難にする応用において、この手法を使用する認知システムは、新しいパフォーマンス品質を達成することができる。
【００２３】
本発明は、３つのサブシステムを統合する。各サブシステムにおいて、提案される学習手法は特定の目的を達成するために採用され得る。即ち：
（１）異なる空間座標フレーム間のマッピングを学習するサブシステム。
（２）物体アイデンティティ及び物体場所の関連づけを学習するサブシステム。
（３）見かけの物体サイズ、物体アイデンティティ、及び物体距離の関連づけを学習するサブシステム。
【００２４】
これらのサブシステムは、前述した量を、分離された各サブシステムを使用して推定する場合よりもロバストに及び信頼性をもって推定するために組み合わせられてよい。取得されたロバストな推定値は、アクチュエータ制御、特に運転者支援システムで直接役立つ。（ロバストな物体アイデンティティ推定から）歩行者として同定された物体が、（ロバストな深度推定から）安全閾値よりも低い距離で、（ロバストな座標変換及び融合を使用して）視覚／範囲センサによって検出されるとき、簡単な論理がブレーキ操作を起動してよい。
【００２５】
本発明のこれら及び他の態様及び利点は、図面と結びつけて本発明の実施形態の下記の詳細な説明を研究するとき、一層明らかになる。
【図面の簡単な説明】
【００２６】
【図１】本発明によって採用される基本的エンティティ、即ち、シート及び重みを備えるニューラルマップを示す。
【図２】共通データ符号化スキーム（ＣＤＥＳ）としての集団符号化スキームの使用を図解する。
【図３】本発明の実施形態に従った拡張Amari力学の図解である。
【図４】提案される発明についてのシミュレーションスキームの基本要素を示す。
【図５】本発明の実施形態に従ったシステムの中のデータフローの概観である。
【図６】全ての提案されるシナリオについての一般的システムアーキテクチャを示し、入力から出力へのデータフロー、及び本発明の実施形態によって達成される実用的結果を示す。
【図７】本発明の実施形態に従って、視覚センサ上の場所における物体アイデンティティの潜在的依存性の学習を図解するダイアグラムである。
【図８】例えば、視覚センサ及びレーダセンサから結果する、異なる座標系における物体位置の間の依存性の学習を図解する。
【図９】見かけの物体サイズ（視覚センサからの）、物体距離、及び物体アイデンティティの間の依存性の学習を図解する。
【図１０】同じ量の測定及び予測の融合の図解を示す。
【発明を実施するための形態】
【００２７】
図１は、本発明によって採用される基本エンティティ、即ち、シート及び重みを備えるニューラルマップを示す。
【００２８】
発明的学習方法が動作するシステムに関する仮定は行われない。しかしそれでも、データを交換する処理モジュールの大型システムで発明的学習方法を動作させるとき、この方法の利点が最良に理解される。データは「ニューラルマップ」によってモデル化されてよい。「ニューラルマップ」は、ここでは「ニューロン」と呼ばれる離散的要素から構成された２次元シートの集合である。「入力マップ」又は「ソースマップ」と呼ばれるニューラルマップから、「出力マップ」又は「宛先マップ」へのデータ伝達は、「重み」と呼ばれる調節可能パラメータによって支配されてよい。各々の重みは、ソースニューロンと宛先ニューロンとの間の一意の接続を実現する。各ニューロンは、ソースマップ及び宛先マップの或るシートの中にある。
【００２９】
分散されたサブシステム間で情報を交換できることは、人工認知システム、例えば、適応型運転者支援システムにおける学習の中心である。これは、異なるサブシステム内で誘導された情報から学習することを可能にし、現在使用される人工認知システムの典型的ではない品質である。
【００３０】
本発明の１つの態様によれば、学習スキーム（ＬＳ）によって使用されるデータは、共通データ符号化スキーム（ＣＤＥＳ）に従って符号化されてよい。C++又はPASCALのような現代プログラミング言語で使用される複雑で構造化されたデータ型（「struct」、「record」、「class」）の使用は回避されてよく、その代わりに、浮動小数点数の２次元配列のみが基本型として使用されてよい。これらの配列は前述したニューラル「シート」である。これらの簡単なデータ構造の上で、共通データ符号化スキーム（ＣＤＥＳ）が、異なるソースからの情報を均一な方途で符号化してよい。
【００３１】
図２は、共通データ符号化スキーム（ＣＤＥＳ）としての集団符号化スキームの使用を図解する。本発明の態様によれば、共通データ符号化スキーム（ＣＤＥＳ）は集団符号化戦略を使用して、数の２次元配列を浮動小数点数の２次元配列の集合へ符号化してよい。集団符号化戦略では、数が離散化され、各離散値は２次元配列の集合の中で局所的に活性化することによって表現されてよい。この集合は、前に紹介された「ニューラルマップ」を組成する。単一の数及び数の１次元配列は、１つの項目を有する２次元配列、又は１つの行だけを有する２次元配列として扱われてよい。
【００３２】
集団符号化スキームのステップは、言い換えると、
（Ｉ）単一の数ｘを共通データ符号化スキーム（ＣＤＥＳ）へ変換してよい。数ｘは、数のベクトルによって置き換えられてよい。各ベクトルは、或る値へのｘの類似性を表現する。類似性の尺度として、しばしばガウス関数が使用される。即ち、
【数１】
（ＩＩ）２次元配列を共通データ符号化システム（ＣＤＥＳ）へ変換してよい。全ての点で、（Ｉ）の方法が適用され、原初の２次元データのマルチシート表現を形成する。
【００３３】
データを表現するこの方途は統合学習を容易にする。統合学習の意味は、認知システムの中で情報を組み合わせることによって情報を獲得することである。これは、通常、異なるサブシステムで使用される異なるデータ構造に起因して、問題となる。更にまた、普遍的共通データ符号化スキーム（ＣＤＥＳ）は、システム全体で同じ学習アルゴリズムを使用することを可能にする（もっとも、可能性として、異なるパラメータ化を用いる）。
【００３４】
本発明の実施形態によれば、ニューラルマップの中に記憶されたデータは、自立的力学へ供されてよい。全てのデータは共通データ符号化スキーム（ＣＤＥＳ）で符号化されるので、共通力学（即ち、時間の経過と共に定義された振る舞い）を使用することが可能である。もっとも、共通力学は、異なるパラメータ化に供される可能性もある。このようにして、時間の発展及び任意の入力へのニューラルマップの反応は、曖昧さを除いて定義されてよい。即ち、ニューラルマップの各要素に関連づけられた数値（「活性化値」）は、全ての時点で力学によって定義されてよい。力学の目的は、記憶されたデータの上で共通演算を遂行し、データが専門アルゴリズムによってどのように準備されるべきかの基準を設定して、前述した関数の少なくとも幾つかを達成することである。共通データ符号化スキーム（ＣＤＥＳ）は、選ばれたデータ力学と自然に相互作用及びサポートするように設計されてよい。
【００３５】
より具体的には、前述した共通力学を現実化するため、Amari（前掲のAmari，S）力学の拡張２次元（前掲のTaylor, J.G.を参照）版が使用されてよい。元来、皮質性脳関数のモデルとして提案されたが、Amari力学は刺激統合／競争又はデータ融合のような基本認知関数を遂行する能力も所有する。Amari力学の提案された拡張は、単一のシートの中の相互作用とは反対に、異なるニューラルシート間の競争／協力相互作用に関係する。
【００３６】
図３は、本発明の実施形態に従った拡張Amari力学の図解である。協力／競争の概念はAmari力学の中心である。競争するニューロンは相互の値を低減しようと試みるが、協力するニューロンは値を向上しようと試みる。ニューロンが競争するか協力するかは、使用された相互作用核関数の値（「相互作用力」）によって判定される。相互作用力は、単一のニューラルシートの中にある２つのニューロン間の距離に依存するか、シート間の距離に依存する。そのような関数の典型的な例は、１つのニューラルシート内の競争が示される左側、並びに異なるニューラルシートの同じ位置にあるニューロン間の競争が視覚化される右側の双方で描かれる。
【００３７】
本発明によれば、Amari力学のパラメータ化は、異なる力学的振る舞いが、異なる認知関数を結果するように変更されてよい。
【００３８】
言い換えれば、公知のAmari力学の発明的拡張は、ニューラルマップの１つのシート内だけでなく、異なるシートの同じ位置にあるニューロン間の競争又は協力相互作用の存在に関係する。標準Amari力学のシート内相互作用と全く同じように、これらの相互作用は、相互作用の力及び型を判定する相互作用核関数の見地から公式化される（もし関数がゼロよりも小さければ競争、もし大きければ協力、ゼロであるとき影響なし）。
【００３９】
図４は、提案される発明のシミュレーションスキームの基本要素を、ダッシュ線ボックスで象徴化して示す。全体の処理は、そのような基本要素から構築されてよい。
【００４０】
入って来る矢印及び出て行く矢印は、データ通信を表示する。処理モジュールの上の数字は、シミュレーションステージを表示し、最も右のモジュールの疑問符は任意のアルゴリズムを表示する。任意のアルゴリズムは省略されてもよく、この場合では、それはアイデンティティ変換として考えることができる。基本要素の原理は、同じステージのモジュールが１つの時間ステップ内で通信することを効果的に防止する。これはシステムを制約するが、並列分散シミュレーションを実行可能にする。これは運転者支援システムで特に役立つ。
【００４１】
本発明の更なる態様によれば、ニューラルマップ（「ソースマップ」及び「標的マップ」と命名される）間の記憶効率データ伝達スキーム（ＤＴＳ）が採用され、データ上で動作するAmari力学の特性を活用してよい。Amari力学は、（或る条件のもとで）或るサイズの活性化区域（「ブロブ」として知られる）を局所的に産出するので、２つのニューラルマップを接続するために要求される重みの数は低減されてよい。Amari力学によって支配されるニューラルマップ内のブロブのサイズは、ブロブの（固定された）パラメータ化によって特徴づけられ、ブロブ解決はガウス関数に類似したプロフィールを有するので、このブロブ内の全情報は単一の重みを経由して伝達されてよい。それ故に、全部対全部接続を仮定するとき、全ての関連情報を伝達しても、はるかに少ない重みが要求され、こうして記憶装置を節約する。これは、全ての関与したニューラルマップをダウンサンプリングし、ダウンサンプリングされた版の上にデータ伝達スキーム（ＤＴＳ）を適用し、結果（即ち、伝達／変換されたデータ）をアップサンプリングすることによって達成されてよい。こうして、データ伝達スキーム（ＤＴＳ）のアップサンプリングされた結果は、標的マップを支配するAmari力学へ入力として呈示されてよい。それによって、双方のマップのダウンサンプリング因子は、双方のマップで発生するブロブのサイズと両立するように選ばれてよい。
【００４２】
本発明の他の態様によれば、物体特性を推定する学習方法は、幾つかのコンピュータ上で並列分散して実現されてよい。これは関連シナリオである。なぜなら、計算量はかなり高いことが予期されるので、単一の計算機だけを使用して現実化することは不可能だからである。システム構造はモジュール式であること、及びモジュールの型は３つだけであることが仮定される。これらの型は：
型Ｉ：ニューラルマップの力学をシミュレートし、よって共通データ符号化スキーム（ＣＤＥＳ）を実現して、Amari力学によって生成された或る動的振る舞いをモデル化するモジュール。
型ＩＩ：データ伝達スキーム（ＤＴＳ）及び学習スキーム（ＬＳ）を実現するモジュール。
型ＩＩＩ：システム内に記憶されるか（共通データ符号化スキーム（ＣＤＥＳ）によって符号化されて）、外部ソース又はセンサから取得されたデータの上で、アルゴリズムプロセスを遂行するモジュール。これは、センサデータをシステムで単に利用できるようにするモジュールを含むものである。
【００４３】
システム内のデータフローは、図４で示されるように、形態
型Ｉ→型ＩＩ→型ＩＩＩ
の１つ又は複数の処理連鎖から構築され得るという意味で、制約されると仮定される。
【００４４】
幾つかの計算機（例えば、標準のローカルエリアネットワーク）に計算負荷を分散できるように、全てのモジュールの実行は、全ての計算機間で適正に同期化されてよい。本発明によれば、離散的時間ステップに基づく同期化解法が使用されてよい。それは３つのステージから成り、各ステージは前述した３つの型のモジュールの１つに対応する。各ステージは、全ての対応するモジュールについて１つの時間ステップを実行する。
【００４５】
全てのステージの時間ステップは、外部の制御信号によってトリガされてよい。１つの処理ステージの中のモジュールは相互へデータを送らないので（仮定によって）、ステージ内の実行順序は任意である。全てのモジュールが現在の時間ステップの処理を終了したことを信号で知らせたとき、いずれのステージの時間ステップも完了する。この場合では、制御信号が生成され、続くステップへ送られてよい。ステージは循環的に配列されてよい（即ち、ステージＩはステージＩＩＩに続く）。物理時間への固定関係を維持するため、全てのモジュール内で各時間ステップを処理するアルゴリズムは、一定時間アルゴリズムでなければならないことが要求されてよい（これは、ＡＤ、学習スキーム（ＬＳ）、及びデータ伝達スキーム（ＤＴＳ）をシミュレートする場合である）。
【００４６】
本発明の更なる実施形態によれば、データ伝達スキーム（ＤＴＳ）は自立的学習スキーム（ＬＳ）によって適応及び拡張されてよい。自立的学習スキームの目的は、この学習スキームのソース及び宛先マップ内で相関づけられた活動を検出することである。
【００４７】
図５は、本発明の実施形態に従った自立的学習方法の必須の詳細部分を要約する。関連づけられたデータフローは、３つのサブシステム（ダッシュ線のボックスによって表示される）、即ち、座標変換、物体融合、及び深度推定から構築されてよい。楕円は本発明の出力量を表示する。
【００４８】
上記で説明された単純化手法を使用することによって、単純な初期状態から、小さいメモリ及びリソース要件を用いて適当なデータ伝達スキーム（ＤＴＳ）を作成及び適応することができる。
【００４９】
データ伝達スキーム（ＤＴＳ）の適応は、データ伝達の前又は後のどちらで起こってもよい。しかしながら、データ伝達の後でそれを遂行することが好ましい。なぜなら、データ伝達は、学習スキーム（ＬＳ）に関連する量を計算するため既に使用されているかも知れないからである。ソースマップ及び宛先マップのダウンサンプリング版の間の全部対全部接続性を再び仮定すると、学習スキーム（ＬＳ）は、対応する補正を各重みについて計算及び適用してよい。重み補正を計算する可能な規則は、後続の重み正規化を有するHebbian学習規則である。即ち、
【数２】
ここで、重み正規化は、或る規準に従って、例えば、１．０の平方合計を有するように、１つの宛先ニューロンへ接続する全ての重みを尺度変更する。これは、重みが境界外へ成長することを防止するために行われる。
【００５０】
学習スキーム（ＬＳ）は、前述した単純化手法を適用するとき及び適用しないときの双方で使用するのに適している。
【００５１】
呈示された方法を活用する３つの機能性を今から詳説する。後続では、これらの個々の機能性を、はるかに信頼可能で正確な推定値を潜在的に提供できる処理システムへ、どのようにして組み合わせることができるかを示す。
【００５２】
図６は、全ての提案されたシナリオについての一般的システムアーキテクチャを示し、入力から出力へのデータフロー及び本発明の実施形態によって達成される実用的結果を示す（右側上方部分）。標準方法によって可視入力を適当に処理することから結果するセンサ情報、即ち、標準視覚分類器を使用する物体アイデンティティ（例えば、［１９］）、視覚センサ上の物体位置、視覚センサ上の物体サイズ、オーディオ／レーダセンサ上の物体位置、物体距離（立体視からの、又は、レーダセンサからの）が入手可能であることを仮定してよい。
【００５３】
本発明の重要な要素は、前述した全ての手法を使用して到着データを表現し、それらデータ間の相関を検出するモジュールである。この目的のため、到着センサデータは適当な方途で共通データ符号化スキーム（ＣＤＥＳ）へ変換され、提案された学習スキーム（ＬＳ）が到着データに適用されてよい。こうして、学習された相関が読み出され、及び／又は後続の処理モジュールによって利用されてよい。
【００５４】
図７は、本発明の実施形態に従って、視覚センサ上の場所における物体アイデンティティの潜在的依存性の学習を図解するダイアグラムである。単純化するため、共通データ符号化スキーム（ＣＤＥＳ）は２つのニューラルマップによって現実化され、各ニューラルマップは１つのシートを収容してよい。物体アイデンティティ及び位置のような量は、変動する力の局所化された活性化として表現されてよい。物体アイデンティティをニューラルシート内の場所へ割り当てることは任意である。なぜなら、一般的に、想定されたシナリオで識別されるべき物体の種類は全く少ないからである。こうして、学習スキーム（ＬＳ）は、システム動作の正規課程で、もし存在するならば所望の依存性を検出する。
【００５５】
場所に基づく他の機能性は、物体位置と物体アイデンティティとの間の依存性の学習である。再び、２つのニューラルマップの間で学習が遂行される。各ニューラルマップは１つのシートを収容する。１つのマップは、共通データ符号化スキーム（ＣＤＥＳ）へ変換された物体アイデンティティを収容し、他のマップは物体場所を収容する。多くの場合では、或る物体は制限された場所の集合で発生する。これは、物体アイデンティティに関する正しくない判定を却下するために使用され得る事実である。物体アイデンティティは、通常、位置推定よりもずっと誤りやすい。それ故に、補正される必要があるのは、物体場所ではなく物体アイデンティティである。場所は多様な座標フレームで表現されてよい。座標フレームは、可能性として、前のシナリオで概説された方法によって相互へ変換されてよい。通常、技術システム内で一時に１つの物体のみが検出され、したがって物体アイデンティティと物体位置との間に不明瞭な対応の問題は存在しない。それ故に、前述された学習方法は、物体アイデンティティから物体位置へのマッピング、又は逆のマッピングを学習するために適用され得る。再び、このマッピングは１対１である必要はない。学習された関連づけは、Amari力学のデータ融合特性を使用して物体アイデンティティの判定を補正するために使用され得る。全ての機能性の例示的な場合は、図１０で示される。
【００５６】
図８は、異なる座標系における物体位置の間の依存性学習を図解する。これは、例えば、視覚センサ及びレーダセンサから結果する。代替として、シナリオはオーディオセンサにも当てはまる。
【００５７】
異なる座標系で表現される場所の間の依存性は、次のように学習されてよい。最も簡単な場合では、各々が１つのシートを収容する２つのニューラルマップを仮定する。マップ内の各々の活性化ブロブは、共通データ符号化スキーム（ＣＤＥＳ）に従って、異なる座標フレーム内で同じ物体の場所を符号化してよい。座標フレームは、例えば、レーダ（又は、オーディオ）誘導自己中心フレーム及び網膜部位（カメラ誘導）フレームであり得る。提案される学習スキームの適用は２つのマップ間の接続性形成を結果し、この接続性形成は参照フレーム間の変換を遂行する。この変換が１対１でない場合には、常に接続性はこの事実を反映し、曖昧な変換規則によって許される全ての場所へ１つの場所を投影してよい。同じ学習メカニズムを使用し、追加情報、例えば、このシナリオでは深度情報を追加することによって、曖昧さを解決することが可能である。
【００５８】
２つの異なるマップ内の活動ブロブは同じ物体を表現することが、この機能性に欠かせないことに注意すべきである。これは、各座標フレームについて初歩的な「危険対策」を導入することによって善処され得る。危険対策は、レーダセンサの場合では相対的速度であってよく、ビデオセンサの場合ではオプティックフローから計算されたタイム−トゥー−コンタクト（ｔｉｍｅ−ｔｏ−ｃｏｎｔａｃｔ）であってよい。高度に関連及び危険な物体は、２つのマップ内の対応場所で高い値を展示し、したがって正しい変換の学習を可能にする。
【００５９】
更なる機能性は、見かけの物体サイズ、物体アイデンティティ、及び物体距離の間の依存性の学習に関係し、人は見慣れた物体の見かけのサイズを評価することによって物体の距離を判断できるという事実を反映する。
【００６０】
図９は、見かけの物体サイズ（視覚センサからの）、物体距離、及び物体アイデンティティの間の依存性の学習を図解する。この場合で相関を学習及び利用するため、物体アイデンティティ及び見かけの物体サイズのニューラルマップは、提案される学習スキーム（ＬＳ）によって現実化され得る自己組織原理を使用して、単一のニューラルマップへ合併されてよい。こうして、組み合わせられたアイデンティティサイズマップと物体距離マップとの間の学習スキーム（ＬＳ）によって、相関が検出されてよい。
【００６１】
より具体的には、これは２つのニューラルマップ間の相関の検出を要求する。２つのニューラルマップとは、組み合わせられたサイズ物体アイデンティティマップと、例えば、立体視から測定された物体距離マップである。物体距離マップは幾つかのシートを収容し、各シートが或る距離を符号化する。
【００６２】
組み合わせられたサイズ物体アイデンティティマップは、物体アイデンティティ及び物体サイズを符号化するマップから、学習スキーム（ＬＳ）によって形成されてよい。提案される学習スキーム（ＬＳ）を使用して、システムは２つのニューラルマップ間の依存性を学習する。それは、見かけのサイズだけから、物体アイデンティティが確立され得る物体の距離を誘導するためである。この学習シナリオの実用的効果は、既知の物体について、（粗い）距離推定値が、単眼カメラセンサだけに基づいて与えられることである。
【００６３】
本発明の更なる実施形態によれば、前述した機能性を統合システムへ組み合わせることが提案される。関連量の個々の推定値を使用し、ニューラルマップ上で定義された拡張Amari力学を採用する前述の融合メカニズムによって、他の関連量の推定値を改善してよい。これを有効にするため、ＣＤＥＳによって符号化された量を収容するニューラルマップは、ＬＳによって産出されたこの量の予測の合計を受け取る。前に説明された拡張Amari力学の協力及び競争特性によって、可能性として矛盾するこれらの量の組み合わせが達成され、曖昧でない判定が生成される。組み合わせられたシステムの適当なデータフロー構造は、図５で視覚化される。
【００６４】
図１０は、測定（この場合では物体アイデンティティについての分類器判定）と、同じ量の予測との、他の測定された量に基づく融合を示す。任意に、ただ１つの量の多くの予測がこのようにして融合され得る。それは、この量の一層ロバストな推定値を生成するためである。
【００６５】
組み合わせられたシステムの入力はセンサデータであり、出力は物体位置、物体アイデンティティ、及び物体距離の改善されたロバストな推定値である。共通データ符号化スキーム（ＣＤＥＳ）の使用に起因して、個々の機能性を直裁な方法でインタフェースすることが可能である。即ち、よりロバストで正しい推定値を取得するため、同じ論理的思考が個々の推定値の融合に適用される。
【００６６】
物体の位置及びアイデンティティ間の相関の例に基づいて、学習された相関をどのように利用するかが図解される。測定された量（ここでは、視覚センサ上の物体位置）に基づいて、最も確からしい物体アイデンティティが、学習された相関情報から計算されてよい。次に、この情報は、推論された物体アイデンティティを使用することによって融合され、Amari力学の競争プロセス（前のページを参照）に影響を与える（即ち、修正又は「調節」する）。これは、分類プログラムで利用できない知識（即ち、位置情報）「自動車は天空には決して存在しない」に基づく分類判定の補正につながることができる。説明された融合プロセスは、わずかに改造して本明細書で説明された全ての機能性に採用されてよい。
【００６７】
本発明は、更に、自動車又はロボットに搭載可能なシステムを備える。このシステムは、様々なセンサ入力間の依存性を学習及び利用してよい。そこでは、通信は、検出された物体位置（様々な座標フレーム）と物体分類プログラムによって同定されるような物体アイデンティティとの間の依存性、カメラ像から推定されるような見かけの物体サイズ、物体分類プログラムによって計算されるような物体アイデンティティ、及びレーダ又は立体視測定から推定されるような物体距離との間の依存性、及び異なる座標系で表現される場所の間の依存性を伴ってよい。
【００６８】
学習された依存性は、正しい変換を遂行又は予想するために使用されてよい。自動車に搭載されたシステムは、運転者支援システムであってよい。
【技術分野】
【０００１】
本発明は一般的に運転者支援システム（例えば、自動車の）に関し、更に具体的には、人工認知システム、特に適応型運転者支援システムで、オンライン学習を実施する手法に関する。
【背景技術】
【０００２】
人工認知システムは、（例えば、ビデオ）センサ信号を供給されて多くのタスクを遂行し、それらのタスクに関して人のパフォーマンスの１つ又は幾つかの態様を再現できるデータ処理システムとして定義されてよい。
【０００３】
人のパフォーマンスの幾つかの態様は、適応型運転者支援システムの情況で特に関連がある。第１に、前の経験から学習し、学習されたものを使用して、未知であっても質的に類似したタスク又は状況を成功裏に処理する能力である。第２に、人工的シナリオの代わりに現実世界シナリオでタスクを遂行するとき、不完全、矛盾、又は歪曲された入力データに対する強靱性である。第３に、臨界状況に置かれても結果を生成する能力である。この臨界状況は、システムの入力データ（これは、通常、外部世界を観察することから来る）の強い変動に起因して生じるか、１つ又は幾つかの内部処理ステップの損傷パフォーマンスに起因して生じ得る。
【０００４】
いずれの場合にも、運転者支援システムの故障は回避されなければならない。最後に、学習手続きによって部分的又は全体的に指定され、追加の設計努力なしに運転者支援システムに収容される全てのデータをアクセス及び使用できる新しい関数によって、運転者支援システムを増分的に拡張する広範な可能性が特に関連する。
【０００５】
適応型運転者支援システムにおける上記の特徴を実現する有望なアプローチは、ニューラルネットワークを使用することである。離散的及び連続的な場合におけるニューロン分野力学並びにニューロン分野で動作する学習メカニズムの基本概念は、非特許文献１、２および３で公式化されている。
【０００６】
より具体的には、Amari力学のモデル化アプローチは、協力及び競争の概念、並びにアトラクタ力学を含む。ニューロン協力及び競争の概念は、記憶されたデータに対する類似性尺度を暗黙に意味する。類似性尺度は、反復的に類似情報を抑圧して非類似情報を強化するために使用される。これは、記憶された情報が冗長性から大きく解放される最終安定ネットワーク状態につながる。そのような安定状態は、雑音又は矛盾した入力に対するかなりの強靱性によって更に特徴づけられる。なぜなら、ネットワーク内の協力及び競争原理は、そのような場合でシステムを安定性へ押し戻すからである。これは、Amariによって提案されるようなニューラルネットワークはアトラクタ力学を実現し、安定状態は常にこの強靱性特性を有することが示され得るという事実に起因する。
【０００７】
しかしながら、Amariらによって説明された方法は、単一のニューラルシートをモデル化するだけである。更にまた、これらの参考文献は、データが符号化される方途に対処していない。
【０００８】
Amari力学又は類似の力学に基づく表現の利点及び認知特性は、例えば、非特許文献４、５および６で検討されている。しかしながら、これらの刊行物は、概念的論証のみに使用される比較的小さいシステムを説明する。これらの参考文献では、学習問題は対処されておらず、学習メカニズムも対処されていない。
【０００９】
学習メカニズムは、非特許文献７で検討されている。学習メカニズムは、動的表現の動的特性、並びに、どの重みを適応すべきかを同定する最大検出スキームを採用する。しかしながら、上記の学習メカニズムはニューラルマップを採用せず、２つのシート間の重みは始めから全部対全部の接続性を有し、Amari力学の内在ブロブ形成特性を利用する近似スキームは存在しない。これに加えて、Ｋｏｎｅｎらによる論文は主として視覚センサからの非構造化入力に取り組んでいる。
【００１０】
最後に、特許文献１は、様々な座標系の変換を遂行するニューラルシートシステムを開示している。このシステムにおいて、シート内のデータは、集団符号、即ち、共通データ符号化スキーム（ＣＤＥＳ）によって表現され、シートはAmari力学に類似した時間力学を所有し、情報は複数のシート間で伝達される。しかしながら、特許文献２は学習システム（ＬＳ）を検討していない。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】ドイツ特許第１９８４４３６４（M. Giese）
【特許文献２】ドイツ特許第１９８４４３６４
【非特許文献】
【００１２】
【非特許文献１】Amari, S. “Dynamics of pattern formation in lateral inhibition type neural fields”, Biological Cybernetics 27:77-87
【非特許文献２】Amari, S. “Mathematical foundations of Neurocomputing”, Proceedings of the IEEE 78:1443-1463
【非特許文献３】Taylor, J.G. “Neural ‘bubble’ dynamics in two dimensions: foundations”, Biological Cybernetics 80:393-409
【非特許文献４】Cisek, P. “Integrated neural processes for defining potential actions and deciding between them: a computational model. Journal of Neuroscience 26:9761-9770
【非特許文献５】Engels, C. et al. “Dynamic fields endow behavior based robots with representations”, Robotics and Autonomous Systems 14:55-77
【非特許文献６】Erlhagen et al. “Dynamic field theory of movement preparation”, Psychological Review 109:545-572
【非特許文献７】Konen et al. “A fast dynamic link marching algorithm for invariant pattern recognition”, Neural Networks 7:1019-1030
【発明の概要】
【発明が解決しようとする課題】
【００１３】
それ故に、本発明の目的は、「知的車両」に関連する関数に必要なシーン特性の効率的推定を用いる適応型運転者支援システムを提供することである。
【課題を解決するための手段】
【００１４】
本目的は、独立請求項に従った方法及びデバイスによって達成される。有利な実施形態は従属請求項で規定される。
【００１５】
提案された手法を使用して、運転者支援システムは、「知的車両」で動作している運転者支援システムへ高度に関連する幾つかの相互依存量を推定する能力を徐々に展開する。
【００１６】
所望の量の相互依存性は、提案された発明によって利用され、全ての量を独立に推定するときに達成され得る点を超えて推定値の品質を改善するために使用される。
【００１７】
問題とされる量は、全て、関連シーン物体（例えば、自動車や歩行者など）の検出に関係する。即ち：
（１）正確な場所
（２）アイデンティティ
（３）距離
【００１８】
指定されたセンサから来る入力データは、指定されたアクチュエータを制御するために学習手法を使用して処理され、アクチュエータ制御を案内するために推定量を使用して処理される。
【００１９】
提案される学習手法は、ニューラルマップ（「ニューロン」と呼ばれるコンピューティング要素の２次元シートの集合）間の新規なメモリ空間効率学習スキーム（ＬＳ）から成る。ここでニューラルマップは、Amari力学の拡張に従った時間発展の力学に供される。ニューラルマップへの情報符号化は、データ符号化スキーム（ＣＤＥＳ）に従って遂行される。本発明によれば、学習スキーム（ＬＳ）は、２つ以上のニューラルマップ間の相関活動を捕獲するため具体的に公式化されてよく、幾つかの単純化仮定を正当化するためニューラルマップのAmari力学を利用する。これは、学習スキーム（ＬＳ）によって適応されるべきパラメータ（「重み」と呼ばれる）の数を大きく低減することにつながる。学習に使用されるデータの性質に関する暗黙的仮定は、行われる必要はない。
【００２０】
共通データ符号化スキーム（ＣＤＥＳ）が固守される限り、新しい情報源（ソース）が任意の時点で学習スキーム（ＬＳ）へ提供され得る。これは、学習タスクの複雑性を増分的に増加することを許す。学習スキーム（ＬＳ）も、注目すべき自己組織化能力を所有する。これは、この学習スキームが、実地検証データを入手できない非監督オンライン学習シナリオに特に適していることを意味する。
【００２１】
Amari力学は、動作中に再パラメータ化されてよい。これは、記憶された情報の融合及びそれら情報間の競争を含むAmari力学の既に十分豊富な情報処理能力に関して、柔軟性及び適応可能性の増加につながる。
【００２２】
本発明に従った方法及びデバイスは、人工認知システムが自立的又は半自立的に「現実世界」のタスクに取り組まなければならない全ての分野、最も具体的には、「知的車両」の中で動作している運転者支援システムで有利に採用されてよい。タスクが、通常、部分的にのみ良好に規定される応用、又はタスクが複雑で、タスクの解決法の設計を困難にする応用において、この手法を使用する認知システムは、新しいパフォーマンス品質を達成することができる。
【００２３】
本発明は、３つのサブシステムを統合する。各サブシステムにおいて、提案される学習手法は特定の目的を達成するために採用され得る。即ち：
（１）異なる空間座標フレーム間のマッピングを学習するサブシステム。
（２）物体アイデンティティ及び物体場所の関連づけを学習するサブシステム。
（３）見かけの物体サイズ、物体アイデンティティ、及び物体距離の関連づけを学習するサブシステム。
【００２４】
これらのサブシステムは、前述した量を、分離された各サブシステムを使用して推定する場合よりもロバストに及び信頼性をもって推定するために組み合わせられてよい。取得されたロバストな推定値は、アクチュエータ制御、特に運転者支援システムで直接役立つ。（ロバストな物体アイデンティティ推定から）歩行者として同定された物体が、（ロバストな深度推定から）安全閾値よりも低い距離で、（ロバストな座標変換及び融合を使用して）視覚／範囲センサによって検出されるとき、簡単な論理がブレーキ操作を起動してよい。
【００２５】
本発明のこれら及び他の態様及び利点は、図面と結びつけて本発明の実施形態の下記の詳細な説明を研究するとき、一層明らかになる。
【図面の簡単な説明】
【００２６】
【図１】本発明によって採用される基本的エンティティ、即ち、シート及び重みを備えるニューラルマップを示す。
【図２】共通データ符号化スキーム（ＣＤＥＳ）としての集団符号化スキームの使用を図解する。
【図３】本発明の実施形態に従った拡張Amari力学の図解である。
【図４】提案される発明についてのシミュレーションスキームの基本要素を示す。
【図５】本発明の実施形態に従ったシステムの中のデータフローの概観である。
【図６】全ての提案されるシナリオについての一般的システムアーキテクチャを示し、入力から出力へのデータフロー、及び本発明の実施形態によって達成される実用的結果を示す。
【図７】本発明の実施形態に従って、視覚センサ上の場所における物体アイデンティティの潜在的依存性の学習を図解するダイアグラムである。
【図８】例えば、視覚センサ及びレーダセンサから結果する、異なる座標系における物体位置の間の依存性の学習を図解する。
【図９】見かけの物体サイズ（視覚センサからの）、物体距離、及び物体アイデンティティの間の依存性の学習を図解する。
【図１０】同じ量の測定及び予測の融合の図解を示す。
【発明を実施するための形態】
【００２７】
図１は、本発明によって採用される基本エンティティ、即ち、シート及び重みを備えるニューラルマップを示す。
【００２８】
発明的学習方法が動作するシステムに関する仮定は行われない。しかしそれでも、データを交換する処理モジュールの大型システムで発明的学習方法を動作させるとき、この方法の利点が最良に理解される。データは「ニューラルマップ」によってモデル化されてよい。「ニューラルマップ」は、ここでは「ニューロン」と呼ばれる離散的要素から構成された２次元シートの集合である。「入力マップ」又は「ソースマップ」と呼ばれるニューラルマップから、「出力マップ」又は「宛先マップ」へのデータ伝達は、「重み」と呼ばれる調節可能パラメータによって支配されてよい。各々の重みは、ソースニューロンと宛先ニューロンとの間の一意の接続を実現する。各ニューロンは、ソースマップ及び宛先マップの或るシートの中にある。
【００２９】
分散されたサブシステム間で情報を交換できることは、人工認知システム、例えば、適応型運転者支援システムにおける学習の中心である。これは、異なるサブシステム内で誘導された情報から学習することを可能にし、現在使用される人工認知システムの典型的ではない品質である。
【００３０】
本発明の１つの態様によれば、学習スキーム（ＬＳ）によって使用されるデータは、共通データ符号化スキーム（ＣＤＥＳ）に従って符号化されてよい。C++又はPASCALのような現代プログラミング言語で使用される複雑で構造化されたデータ型（「struct」、「record」、「class」）の使用は回避されてよく、その代わりに、浮動小数点数の２次元配列のみが基本型として使用されてよい。これらの配列は前述したニューラル「シート」である。これらの簡単なデータ構造の上で、共通データ符号化スキーム（ＣＤＥＳ）が、異なるソースからの情報を均一な方途で符号化してよい。
【００３１】
図２は、共通データ符号化スキーム（ＣＤＥＳ）としての集団符号化スキームの使用を図解する。本発明の態様によれば、共通データ符号化スキーム（ＣＤＥＳ）は集団符号化戦略を使用して、数の２次元配列を浮動小数点数の２次元配列の集合へ符号化してよい。集団符号化戦略では、数が離散化され、各離散値は２次元配列の集合の中で局所的に活性化することによって表現されてよい。この集合は、前に紹介された「ニューラルマップ」を組成する。単一の数及び数の１次元配列は、１つの項目を有する２次元配列、又は１つの行だけを有する２次元配列として扱われてよい。
【００３２】
集団符号化スキームのステップは、言い換えると、
（Ｉ）単一の数ｘを共通データ符号化スキーム（ＣＤＥＳ）へ変換してよい。数ｘは、数のベクトルによって置き換えられてよい。各ベクトルは、或る値へのｘの類似性を表現する。類似性の尺度として、しばしばガウス関数が使用される。即ち、
【数１】
（ＩＩ）２次元配列を共通データ符号化システム（ＣＤＥＳ）へ変換してよい。全ての点で、（Ｉ）の方法が適用され、原初の２次元データのマルチシート表現を形成する。
【００３３】
データを表現するこの方途は統合学習を容易にする。統合学習の意味は、認知システムの中で情報を組み合わせることによって情報を獲得することである。これは、通常、異なるサブシステムで使用される異なるデータ構造に起因して、問題となる。更にまた、普遍的共通データ符号化スキーム（ＣＤＥＳ）は、システム全体で同じ学習アルゴリズムを使用することを可能にする（もっとも、可能性として、異なるパラメータ化を用いる）。
【００３４】
本発明の実施形態によれば、ニューラルマップの中に記憶されたデータは、自立的力学へ供されてよい。全てのデータは共通データ符号化スキーム（ＣＤＥＳ）で符号化されるので、共通力学（即ち、時間の経過と共に定義された振る舞い）を使用することが可能である。もっとも、共通力学は、異なるパラメータ化に供される可能性もある。このようにして、時間の発展及び任意の入力へのニューラルマップの反応は、曖昧さを除いて定義されてよい。即ち、ニューラルマップの各要素に関連づけられた数値（「活性化値」）は、全ての時点で力学によって定義されてよい。力学の目的は、記憶されたデータの上で共通演算を遂行し、データが専門アルゴリズムによってどのように準備されるべきかの基準を設定して、前述した関数の少なくとも幾つかを達成することである。共通データ符号化スキーム（ＣＤＥＳ）は、選ばれたデータ力学と自然に相互作用及びサポートするように設計されてよい。
【００３５】
より具体的には、前述した共通力学を現実化するため、Amari（前掲のAmari，S）力学の拡張２次元（前掲のTaylor, J.G.を参照）版が使用されてよい。元来、皮質性脳関数のモデルとして提案されたが、Amari力学は刺激統合／競争又はデータ融合のような基本認知関数を遂行する能力も所有する。Amari力学の提案された拡張は、単一のシートの中の相互作用とは反対に、異なるニューラルシート間の競争／協力相互作用に関係する。
【００３６】
図３は、本発明の実施形態に従った拡張Amari力学の図解である。協力／競争の概念はAmari力学の中心である。競争するニューロンは相互の値を低減しようと試みるが、協力するニューロンは値を向上しようと試みる。ニューロンが競争するか協力するかは、使用された相互作用核関数の値（「相互作用力」）によって判定される。相互作用力は、単一のニューラルシートの中にある２つのニューロン間の距離に依存するか、シート間の距離に依存する。そのような関数の典型的な例は、１つのニューラルシート内の競争が示される左側、並びに異なるニューラルシートの同じ位置にあるニューロン間の競争が視覚化される右側の双方で描かれる。
【００３７】
本発明によれば、Amari力学のパラメータ化は、異なる力学的振る舞いが、異なる認知関数を結果するように変更されてよい。
【００３８】
言い換えれば、公知のAmari力学の発明的拡張は、ニューラルマップの１つのシート内だけでなく、異なるシートの同じ位置にあるニューロン間の競争又は協力相互作用の存在に関係する。標準Amari力学のシート内相互作用と全く同じように、これらの相互作用は、相互作用の力及び型を判定する相互作用核関数の見地から公式化される（もし関数がゼロよりも小さければ競争、もし大きければ協力、ゼロであるとき影響なし）。
【００３９】
図４は、提案される発明のシミュレーションスキームの基本要素を、ダッシュ線ボックスで象徴化して示す。全体の処理は、そのような基本要素から構築されてよい。
【００４０】
入って来る矢印及び出て行く矢印は、データ通信を表示する。処理モジュールの上の数字は、シミュレーションステージを表示し、最も右のモジュールの疑問符は任意のアルゴリズムを表示する。任意のアルゴリズムは省略されてもよく、この場合では、それはアイデンティティ変換として考えることができる。基本要素の原理は、同じステージのモジュールが１つの時間ステップ内で通信することを効果的に防止する。これはシステムを制約するが、並列分散シミュレーションを実行可能にする。これは運転者支援システムで特に役立つ。
【００４１】
本発明の更なる態様によれば、ニューラルマップ（「ソースマップ」及び「標的マップ」と命名される）間の記憶効率データ伝達スキーム（ＤＴＳ）が採用され、データ上で動作するAmari力学の特性を活用してよい。Amari力学は、（或る条件のもとで）或るサイズの活性化区域（「ブロブ」として知られる）を局所的に産出するので、２つのニューラルマップを接続するために要求される重みの数は低減されてよい。Amari力学によって支配されるニューラルマップ内のブロブのサイズは、ブロブの（固定された）パラメータ化によって特徴づけられ、ブロブ解決はガウス関数に類似したプロフィールを有するので、このブロブ内の全情報は単一の重みを経由して伝達されてよい。それ故に、全部対全部接続を仮定するとき、全ての関連情報を伝達しても、はるかに少ない重みが要求され、こうして記憶装置を節約する。これは、全ての関与したニューラルマップをダウンサンプリングし、ダウンサンプリングされた版の上にデータ伝達スキーム（ＤＴＳ）を適用し、結果（即ち、伝達／変換されたデータ）をアップサンプリングすることによって達成されてよい。こうして、データ伝達スキーム（ＤＴＳ）のアップサンプリングされた結果は、標的マップを支配するAmari力学へ入力として呈示されてよい。それによって、双方のマップのダウンサンプリング因子は、双方のマップで発生するブロブのサイズと両立するように選ばれてよい。
【００４２】
本発明の他の態様によれば、物体特性を推定する学習方法は、幾つかのコンピュータ上で並列分散して実現されてよい。これは関連シナリオである。なぜなら、計算量はかなり高いことが予期されるので、単一の計算機だけを使用して現実化することは不可能だからである。システム構造はモジュール式であること、及びモジュールの型は３つだけであることが仮定される。これらの型は：
型Ｉ：ニューラルマップの力学をシミュレートし、よって共通データ符号化スキーム（ＣＤＥＳ）を実現して、Amari力学によって生成された或る動的振る舞いをモデル化するモジュール。
型ＩＩ：データ伝達スキーム（ＤＴＳ）及び学習スキーム（ＬＳ）を実現するモジュール。
型ＩＩＩ：システム内に記憶されるか（共通データ符号化スキーム（ＣＤＥＳ）によって符号化されて）、外部ソース又はセンサから取得されたデータの上で、アルゴリズムプロセスを遂行するモジュール。これは、センサデータをシステムで単に利用できるようにするモジュールを含むものである。
【００４３】
システム内のデータフローは、図４で示されるように、形態
型Ｉ→型ＩＩ→型ＩＩＩ
の１つ又は複数の処理連鎖から構築され得るという意味で、制約されると仮定される。
【００４４】
幾つかの計算機（例えば、標準のローカルエリアネットワーク）に計算負荷を分散できるように、全てのモジュールの実行は、全ての計算機間で適正に同期化されてよい。本発明によれば、離散的時間ステップに基づく同期化解法が使用されてよい。それは３つのステージから成り、各ステージは前述した３つの型のモジュールの１つに対応する。各ステージは、全ての対応するモジュールについて１つの時間ステップを実行する。
【００４５】
全てのステージの時間ステップは、外部の制御信号によってトリガされてよい。１つの処理ステージの中のモジュールは相互へデータを送らないので（仮定によって）、ステージ内の実行順序は任意である。全てのモジュールが現在の時間ステップの処理を終了したことを信号で知らせたとき、いずれのステージの時間ステップも完了する。この場合では、制御信号が生成され、続くステップへ送られてよい。ステージは循環的に配列されてよい（即ち、ステージＩはステージＩＩＩに続く）。物理時間への固定関係を維持するため、全てのモジュール内で各時間ステップを処理するアルゴリズムは、一定時間アルゴリズムでなければならないことが要求されてよい（これは、ＡＤ、学習スキーム（ＬＳ）、及びデータ伝達スキーム（ＤＴＳ）をシミュレートする場合である）。
【００４６】
本発明の更なる実施形態によれば、データ伝達スキーム（ＤＴＳ）は自立的学習スキーム（ＬＳ）によって適応及び拡張されてよい。自立的学習スキームの目的は、この学習スキームのソース及び宛先マップ内で相関づけられた活動を検出することである。
【００４７】
図５は、本発明の実施形態に従った自立的学習方法の必須の詳細部分を要約する。関連づけられたデータフローは、３つのサブシステム（ダッシュ線のボックスによって表示される）、即ち、座標変換、物体融合、及び深度推定から構築されてよい。楕円は本発明の出力量を表示する。
【００４８】
上記で説明された単純化手法を使用することによって、単純な初期状態から、小さいメモリ及びリソース要件を用いて適当なデータ伝達スキーム（ＤＴＳ）を作成及び適応することができる。
【００４９】
データ伝達スキーム（ＤＴＳ）の適応は、データ伝達の前又は後のどちらで起こってもよい。しかしながら、データ伝達の後でそれを遂行することが好ましい。なぜなら、データ伝達は、学習スキーム（ＬＳ）に関連する量を計算するため既に使用されているかも知れないからである。ソースマップ及び宛先マップのダウンサンプリング版の間の全部対全部接続性を再び仮定すると、学習スキーム（ＬＳ）は、対応する補正を各重みについて計算及び適用してよい。重み補正を計算する可能な規則は、後続の重み正規化を有するHebbian学習規則である。即ち、
【数２】
ここで、重み正規化は、或る規準に従って、例えば、１．０の平方合計を有するように、１つの宛先ニューロンへ接続する全ての重みを尺度変更する。これは、重みが境界外へ成長することを防止するために行われる。
【００５０】
学習スキーム（ＬＳ）は、前述した単純化手法を適用するとき及び適用しないときの双方で使用するのに適している。
【００５１】
呈示された方法を活用する３つの機能性を今から詳説する。後続では、これらの個々の機能性を、はるかに信頼可能で正確な推定値を潜在的に提供できる処理システムへ、どのようにして組み合わせることができるかを示す。
【００５２】
図６は、全ての提案されたシナリオについての一般的システムアーキテクチャを示し、入力から出力へのデータフロー及び本発明の実施形態によって達成される実用的結果を示す（右側上方部分）。標準方法によって可視入力を適当に処理することから結果するセンサ情報、即ち、標準視覚分類器を使用する物体アイデンティティ（例えば、［１９］）、視覚センサ上の物体位置、視覚センサ上の物体サイズ、オーディオ／レーダセンサ上の物体位置、物体距離（立体視からの、又は、レーダセンサからの）が入手可能であることを仮定してよい。
【００５３】
本発明の重要な要素は、前述した全ての手法を使用して到着データを表現し、それらデータ間の相関を検出するモジュールである。この目的のため、到着センサデータは適当な方途で共通データ符号化スキーム（ＣＤＥＳ）へ変換され、提案された学習スキーム（ＬＳ）が到着データに適用されてよい。こうして、学習された相関が読み出され、及び／又は後続の処理モジュールによって利用されてよい。
【００５４】
図７は、本発明の実施形態に従って、視覚センサ上の場所における物体アイデンティティの潜在的依存性の学習を図解するダイアグラムである。単純化するため、共通データ符号化スキーム（ＣＤＥＳ）は２つのニューラルマップによって現実化され、各ニューラルマップは１つのシートを収容してよい。物体アイデンティティ及び位置のような量は、変動する力の局所化された活性化として表現されてよい。物体アイデンティティをニューラルシート内の場所へ割り当てることは任意である。なぜなら、一般的に、想定されたシナリオで識別されるべき物体の種類は全く少ないからである。こうして、学習スキーム（ＬＳ）は、システム動作の正規課程で、もし存在するならば所望の依存性を検出する。
【００５５】
場所に基づく他の機能性は、物体位置と物体アイデンティティとの間の依存性の学習である。再び、２つのニューラルマップの間で学習が遂行される。各ニューラルマップは１つのシートを収容する。１つのマップは、共通データ符号化スキーム（ＣＤＥＳ）へ変換された物体アイデンティティを収容し、他のマップは物体場所を収容する。多くの場合では、或る物体は制限された場所の集合で発生する。これは、物体アイデンティティに関する正しくない判定を却下するために使用され得る事実である。物体アイデンティティは、通常、位置推定よりもずっと誤りやすい。それ故に、補正される必要があるのは、物体場所ではなく物体アイデンティティである。場所は多様な座標フレームで表現されてよい。座標フレームは、可能性として、前のシナリオで概説された方法によって相互へ変換されてよい。通常、技術システム内で一時に１つの物体のみが検出され、したがって物体アイデンティティと物体位置との間に不明瞭な対応の問題は存在しない。それ故に、前述された学習方法は、物体アイデンティティから物体位置へのマッピング、又は逆のマッピングを学習するために適用され得る。再び、このマッピングは１対１である必要はない。学習された関連づけは、Amari力学のデータ融合特性を使用して物体アイデンティティの判定を補正するために使用され得る。全ての機能性の例示的な場合は、図１０で示される。
【００５６】
図８は、異なる座標系における物体位置の間の依存性学習を図解する。これは、例えば、視覚センサ及びレーダセンサから結果する。代替として、シナリオはオーディオセンサにも当てはまる。
【００５７】
異なる座標系で表現される場所の間の依存性は、次のように学習されてよい。最も簡単な場合では、各々が１つのシートを収容する２つのニューラルマップを仮定する。マップ内の各々の活性化ブロブは、共通データ符号化スキーム（ＣＤＥＳ）に従って、異なる座標フレーム内で同じ物体の場所を符号化してよい。座標フレームは、例えば、レーダ（又は、オーディオ）誘導自己中心フレーム及び網膜部位（カメラ誘導）フレームであり得る。提案される学習スキームの適用は２つのマップ間の接続性形成を結果し、この接続性形成は参照フレーム間の変換を遂行する。この変換が１対１でない場合には、常に接続性はこの事実を反映し、曖昧な変換規則によって許される全ての場所へ１つの場所を投影してよい。同じ学習メカニズムを使用し、追加情報、例えば、このシナリオでは深度情報を追加することによって、曖昧さを解決することが可能である。
【００５８】
２つの異なるマップ内の活動ブロブは同じ物体を表現することが、この機能性に欠かせないことに注意すべきである。これは、各座標フレームについて初歩的な「危険対策」を導入することによって善処され得る。危険対策は、レーダセンサの場合では相対的速度であってよく、ビデオセンサの場合ではオプティックフローから計算されたタイム−トゥー−コンタクト（ｔｉｍｅ−ｔｏ−ｃｏｎｔａｃｔ）であってよい。高度に関連及び危険な物体は、２つのマップ内の対応場所で高い値を展示し、したがって正しい変換の学習を可能にする。
【００５９】
更なる機能性は、見かけの物体サイズ、物体アイデンティティ、及び物体距離の間の依存性の学習に関係し、人は見慣れた物体の見かけのサイズを評価することによって物体の距離を判断できるという事実を反映する。
【００６０】
図９は、見かけの物体サイズ（視覚センサからの）、物体距離、及び物体アイデンティティの間の依存性の学習を図解する。この場合で相関を学習及び利用するため、物体アイデンティティ及び見かけの物体サイズのニューラルマップは、提案される学習スキーム（ＬＳ）によって現実化され得る自己組織原理を使用して、単一のニューラルマップへ合併されてよい。こうして、組み合わせられたアイデンティティサイズマップと物体距離マップとの間の学習スキーム（ＬＳ）によって、相関が検出されてよい。
【００６１】
より具体的には、これは２つのニューラルマップ間の相関の検出を要求する。２つのニューラルマップとは、組み合わせられたサイズ物体アイデンティティマップと、例えば、立体視から測定された物体距離マップである。物体距離マップは幾つかのシートを収容し、各シートが或る距離を符号化する。
【００６２】
組み合わせられたサイズ物体アイデンティティマップは、物体アイデンティティ及び物体サイズを符号化するマップから、学習スキーム（ＬＳ）によって形成されてよい。提案される学習スキーム（ＬＳ）を使用して、システムは２つのニューラルマップ間の依存性を学習する。それは、見かけのサイズだけから、物体アイデンティティが確立され得る物体の距離を誘導するためである。この学習シナリオの実用的効果は、既知の物体について、（粗い）距離推定値が、単眼カメラセンサだけに基づいて与えられることである。
【００６３】
本発明の更なる実施形態によれば、前述した機能性を統合システムへ組み合わせることが提案される。関連量の個々の推定値を使用し、ニューラルマップ上で定義された拡張Amari力学を採用する前述の融合メカニズムによって、他の関連量の推定値を改善してよい。これを有効にするため、ＣＤＥＳによって符号化された量を収容するニューラルマップは、ＬＳによって産出されたこの量の予測の合計を受け取る。前に説明された拡張Amari力学の協力及び競争特性によって、可能性として矛盾するこれらの量の組み合わせが達成され、曖昧でない判定が生成される。組み合わせられたシステムの適当なデータフロー構造は、図５で視覚化される。
【００６４】
図１０は、測定（この場合では物体アイデンティティについての分類器判定）と、同じ量の予測との、他の測定された量に基づく融合を示す。任意に、ただ１つの量の多くの予測がこのようにして融合され得る。それは、この量の一層ロバストな推定値を生成するためである。
【００６５】
組み合わせられたシステムの入力はセンサデータであり、出力は物体位置、物体アイデンティティ、及び物体距離の改善されたロバストな推定値である。共通データ符号化スキーム（ＣＤＥＳ）の使用に起因して、個々の機能性を直裁な方法でインタフェースすることが可能である。即ち、よりロバストで正しい推定値を取得するため、同じ論理的思考が個々の推定値の融合に適用される。
【００６６】
物体の位置及びアイデンティティ間の相関の例に基づいて、学習された相関をどのように利用するかが図解される。測定された量（ここでは、視覚センサ上の物体位置）に基づいて、最も確からしい物体アイデンティティが、学習された相関情報から計算されてよい。次に、この情報は、推論された物体アイデンティティを使用することによって融合され、Amari力学の競争プロセス（前のページを参照）に影響を与える（即ち、修正又は「調節」する）。これは、分類プログラムで利用できない知識（即ち、位置情報）「自動車は天空には決して存在しない」に基づく分類判定の補正につながることができる。説明された融合プロセスは、わずかに改造して本明細書で説明された全ての機能性に採用されてよい。
【００６７】
本発明は、更に、自動車又はロボットに搭載可能なシステムを備える。このシステムは、様々なセンサ入力間の依存性を学習及び利用してよい。そこでは、通信は、検出された物体位置（様々な座標フレーム）と物体分類プログラムによって同定されるような物体アイデンティティとの間の依存性、カメラ像から推定されるような見かけの物体サイズ、物体分類プログラムによって計算されるような物体アイデンティティ、及びレーダ又は立体視測定から推定されるような物体距離との間の依存性、及び異なる座標系で表現される場所の間の依存性を伴ってよい。
【００６８】
学習された依存性は、正しい変換を遂行又は予想するために使用されてよい。自動車に搭載されたシステムは、運転者支援システムであってよい。
【特許請求の範囲】
【請求項１】
ディジタル画像における物体の特性を推定するコンピュータ実現方法であって、
数値活性化値を有するニューロンを備えるニューラルマップの中でセンサからの入力データを符号化するステップであって、ニューラルマップ内の活性化値は、更新スキームによって規定される連続時間力学を有するステップと、
ニューラルマップの重みを非監視増分様式で作成、適応、及び削除するステップと、
重みの値に基づいて、入力マップから出力マップへデータを伝達するステップであって、入力マップ（ＩＭ）とニューラル出力マップ（ＯＭ）との間の各々の重みは、一意のソース及び宛先ニューロンを有し、データ伝達は方向づけられるステップと、
入力マップ（ＩＭ）と出力マップ（ＯＭ）との間の相関を検出するステップと
を備える方法。
【請求項２】
符号化するステップは、集団符号化スキームによって現実化される、請求項１に記載の方法。
【請求項３】
マップの連続時間力学はAmari力学（ＡＤ）の拡張によって与えられ、この拡張は、ニューラルマップ内に収容されたシートの間の競争相互作用を許すと共に複数のニューラルマップから入力を受け取ることができる、請求項１又は２に記載の方法。
【請求項４】
データを伝達することは、入力マップ（ＩＭ）の活性化、出力マップ（ＯＭ）、及び重み、即ち、学習スキーム（ＬＳ）のパラメータを含む依存性を有する関数を使用して、出力マップ（ＯＭ）内の或るニューロンへの入力を計算することを含み、出力マップ（ＯＭ）内のニューロンへの全ての入力が、任意の関数に従って組み合わせられる、請求項３に記載の方法。
【請求項５】
学習スキームは、Hebbian型学習規則に従って、入力マップ（ＩＭ）と出力マップ（ＯＭ）との間の重みの重み増分を計算する、請求項４に記載の方法。
【請求項６】
物体特性を推定するデバイスであって、
数値活性化値を有するニューロンを備えるニューラルマップの中でセンサからの入力データを符号化する手段であって、ニューラルマップ内の活性化値は、更新スキームによって規定される連続時間力学を有する手段と、
ニューラルマップの重みを非監視増分様式で作成、適応、及び削除する手段と、
重みの値に基づいてニューラルマップ間でデータを伝達する手段であって、入力マップ（ＩＭ）とニューラル出力マップ（ＯＭ）との間の各々の重みは一意のソース及び宛先ニューロンを有し、データ伝達は方向づけられる手段と、
入力マップ（ＩＭ）と出力マップ（ＯＭ）との間の相関を検出する手段と
を備えるデバイス。
【請求項７】
運転者支援システムにおいて、特に緊急ブレーキ操作を制御するための、請求項６に記載のデバイスの使用。
【請求項８】
請求項１から６のいずれか一項に記載の方法を実現するように設計されたコンピューティング手段を有する車両又は航空機の運転者支援システム。
【請求項１】
ディジタル画像における物体の特性を推定するコンピュータ実現方法であって、
数値活性化値を有するニューロンを備えるニューラルマップの中でセンサからの入力データを符号化するステップであって、ニューラルマップ内の活性化値は、更新スキームによって規定される連続時間力学を有するステップと、
ニューラルマップの重みを非監視増分様式で作成、適応、及び削除するステップと、
重みの値に基づいて、入力マップから出力マップへデータを伝達するステップであって、入力マップ（ＩＭ）とニューラル出力マップ（ＯＭ）との間の各々の重みは、一意のソース及び宛先ニューロンを有し、データ伝達は方向づけられるステップと、
入力マップ（ＩＭ）と出力マップ（ＯＭ）との間の相関を検出するステップと
を備える方法。
【請求項２】
符号化するステップは、集団符号化スキームによって現実化される、請求項１に記載の方法。
【請求項３】
マップの連続時間力学はAmari力学（ＡＤ）の拡張によって与えられ、この拡張は、ニューラルマップ内に収容されたシートの間の競争相互作用を許すと共に複数のニューラルマップから入力を受け取ることができる、請求項１又は２に記載の方法。
【請求項４】
データを伝達することは、入力マップ（ＩＭ）の活性化、出力マップ（ＯＭ）、及び重み、即ち、学習スキーム（ＬＳ）のパラメータを含む依存性を有する関数を使用して、出力マップ（ＯＭ）内の或るニューロンへの入力を計算することを含み、出力マップ（ＯＭ）内のニューロンへの全ての入力が、任意の関数に従って組み合わせられる、請求項３に記載の方法。
【請求項５】
学習スキームは、Hebbian型学習規則に従って、入力マップ（ＩＭ）と出力マップ（ＯＭ）との間の重みの重み増分を計算する、請求項４に記載の方法。
【請求項６】
物体特性を推定するデバイスであって、
数値活性化値を有するニューロンを備えるニューラルマップの中でセンサからの入力データを符号化する手段であって、ニューラルマップ内の活性化値は、更新スキームによって規定される連続時間力学を有する手段と、
ニューラルマップの重みを非監視増分様式で作成、適応、及び削除する手段と、
重みの値に基づいてニューラルマップ間でデータを伝達する手段であって、入力マップ（ＩＭ）とニューラル出力マップ（ＯＭ）との間の各々の重みは一意のソース及び宛先ニューロンを有し、データ伝達は方向づけられる手段と、
入力マップ（ＩＭ）と出力マップ（ＯＭ）との間の相関を検出する手段と
を備えるデバイス。
【請求項７】
運転者支援システムにおいて、特に緊急ブレーキ操作を制御するための、請求項６に記載のデバイスの使用。
【請求項８】
請求項１から６のいずれか一項に記載の方法を実現するように設計されたコンピューティング手段を有する車両又は航空機の運転者支援システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−１７６２８３（Ｐ２００９−１７６２８３Ａ）
【公開日】平成２１年８月６日（２００９．８．６）
【国際特許分類】
【外国語出願】
【出願番号】特願２００８−２９９５５７（Ｐ２００８−２９９５５７）
【出願日】平成２０年１１月２５日（２００８．１１．２５）
【出願人】（５０３１１３１８６）ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー (50)
【氏名又は名称原語表記】Ｈｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ
【Ｆターム（参考）】
【公開日】平成２１年８月６日（２００９．８．６）
【国際特許分類】
【出願番号】特願２００８−２９９５５７（Ｐ２００８−２９９５５７）
【出願日】平成２０年１１月２５日（２００８．１１．２５）
【出願人】（５０３１１３１８６）ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー (50)
【氏名又は名称原語表記】Ｈｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ
【Ｆターム（参考）】
[ Back to top ]