動的注意モジュールを備えた運転者支援システムまたはロボット
【課題】視覚に基づく注意システムに関し、自車両の周辺環境をモニタし、運転者を支援（アシスト）する。
【解決手段】少なくとも１つの視覚センサと、少なくとも１つの２次元特徴マップを生成するよう、前記視覚センサの出力信号を処理する少なくとも１つの画像処理モジュールと、前記少なくとも１つの特徴マップに基づいて、第１の顕著性マップを生成する背側注意サブシステムであって、該顕著性マップは、運転者支援システムの注意の焦点を示す、システムと、背側注意サブシステムとは独立し、前記少なくとも１つの特徴マップに基づいて、第２の顕著性マップを生成する腹側注意サブシステムであって、該特徴マップは、背側注意サブシステムにおいて用いられるものと同じでも異なってもよい、システムと、を備える。該第２の顕著性マップは、予期しない視覚刺激を示す。
【解決手段】少なくとも１つの視覚センサと、少なくとも１つの２次元特徴マップを生成するよう、前記視覚センサの出力信号を処理する少なくとも１つの画像処理モジュールと、前記少なくとも１つの特徴マップに基づいて、第１の顕著性マップを生成する背側注意サブシステムであって、該顕著性マップは、運転者支援システムの注意の焦点を示す、システムと、背側注意サブシステムとは独立し、前記少なくとも１つの特徴マップに基づいて、第２の顕著性マップを生成する腹側注意サブシステムであって、該特徴マップは、背側注意サブシステムにおいて用いられるものと同じでも異なってもよい、システムと、を備える。該第２の顕著性マップは、予期しない視覚刺激を示す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、先進の運転者支援システムおよび自律型ロボットの分野に関する。運転者支援システムは、自動化された技術的デバイスであり、典型的には、カメラ、レーザスキャナ、赤外線センサのようなセンサを含み、これらは、車両（自動車、オートバイ、船、列車等）に搭載される。
【背景技術】
【０００２】
本発明の目的は、実世界の交通環境を運転している間、こうして該デバイスが搭載された車両の周辺環境をモニタし、運転者を支援（アシスト）することである。「支援する」は、よって、車両のアクチュエータ（ブレーキ、ステアリング、アクセル等）の制御であることができ、もしくは、少なくとも、運転者を支援する視覚または聴覚的な信号の生成であることができる。
【０００３】
例として、名前を少し挙げるとすると、車線を維持するシステム、ブレーキをアシストするデバイス、および距離をモニタするデバイス等が含まれる。本発明は、視覚処理に注目した運転者支援（アシスト）システムを提案し、よって、たとえば、センサデバイスのようなステレオカメラを備えている。
【０００４】
本発明の目的
実世界の交通環境において運転を行う状況では、運転者が、運転について関連する周囲のすべての対象物（オブジェクト）および事象について認識することが、安全に運転するのに重要であり、これらには、交通信号、交通標識および車線境界線のような、運転に関連する対象物、および、車、自転車に乗っている人および歩行者のような、他の交通参加者が含まれる。そのような対象物を認識するのに必要なもの、特にそれらに対して適切に反応するのに必要なものは、運転者が、それらをまず検出できる、ということである。交通信号や他の車両のような、交通環境において典型的であり、運転に直接的に関連するなじみのある対象物については、たとえば、運転者がそれらを積極的に見つけようとするため、運転者はそれらを発見しやすい。それに対し、運転者は、不注意による盲目（inattentional blindness）として知られる現象のように、現在注意の焦点（的）とはなっていない対象物を検出することは、より困難である。しかしながら、そのような対象物は、運転者にとって、高い行動的な関連性(behavioral relevance)を持つものとなるかもしれない。すなわち、たとえばボールが予期せずに車道上に転がった場合、運転者は、該ボールとの衝突を防ぐために、ブレーキをかけることによって即座にそれに反応しなければならず、また、該ボールを追いかけて走る子供を積極的に探すことを開始するだろう。実際、運転者が予期しておらず、その結果、積極的に探したりしない対象物は、しばしばクリティカルな状況を提示し、このような場合に、運転者視点システムは有益となりうる。
【０００５】
以下、”ventral”、”dorsal”、”attention system”、”what”および”where”という用語に関しての混乱を防止するため、「背側および腹側の注意サブシステム(dorsal and ventral attention sub-system)」について理解されるべきものについて説明する。
【０００６】
生物学的には、腹側経路(ventral (visual) pathway、腹側視覚路とも呼ばれる)および背側経路(dorsal (visual) pathway)、背側視覚路とも呼ばれる）があり、また、腹側注意網(ventral attention network)および背側注意網(dorsal attention network)がある。背側注意網が、大部分は背側視覚路の一部であるという事実はさておき（すなわち、より正確には、背側注意網は、背側視覚路上に構築されるが、その境界は、さほどはっきりしていない）、これらの位置およびこれらの機能の両方を参照すると、これらのすべては互いに異なっている。たとえば、Fritschによる文献では、腹側視覚路および背側視覚路を参照しているが、これらは、それぞれの機能に起因して、”what”経路および”where”経路とも呼ばれている。
【０００７】
対して、本発明の注意システムは、背側注意網および腹側注意網を用いる。しかしながら、腹側注意網は、その名称にかかわらず、腹側（すなわち、”what”）経路とは全く異なる。腹側経路は、側頭葉に位置する領域から成るが、腹側注意網は、側頭葉の上にあり、かつ前頭葉にある領域から成り、右脳にのみある。よって、背側注意サブシステムは、脳の背側注意網をモデル化し、腹側注意サブシステムは、脳の腹側注意網をモデル化する。
【０００８】
本発明は、予期されないものであるが、高度に行動的に関連する(behavior-relevant)対象物および状況を、たとえば車両の前方の空間をモニタするステレオカメラの画像に対して作用する、視覚に基づく動的注意システムによって検知する、自動化された支援システムに関する。
【０００９】
従来技術
計算的注意システムにおける最新のものは、簡単に言えば、注意に関するボトムアップ型の顕著性(saliency)モデルと、注意に関するトップダウン型の顕著性モデルと、ボトムアップ型の顕著性およびトップダウン型の顕著性の両方を統合したモデルと、に細分される。ボトムアップ型の顕著性モデルおよびそのアプリケーションの例として、下記の非特許文献１、２、３、４、５、６、７および８がある。このようなアプローチは、典型的には、画素の色、画素の輝度、局所的なエッジの方向および局所的な動きといった、画像の広範囲に渡る異なる特徴を考慮している。各特徴について、いくつかの特徴マップが、異なる空間スケールで、あるいは異なる画像解像度で計算され、ここで、各特徴マップは、画像の各位置について、その位置に対応する特徴がどのように異なっているかを示す。これは、典型的には、中心−周辺(center-surround)原則に基づいて、画像処理メカニズムにより達成される。本発明は、ここで引用されたものと類似のボトムアップ型の顕著性モデルを、構築ブロックとして採用するが、さらに、このボトムアップ型の顕著性モデルに、付加的な顕著性モデルを追加し、これにより、ボトムアップ型の顕著性モデルの制限された機能を超えたものとする。
【００１０】
トップダウン型の顕著性モデルは、例としては、下記の非特許文献９、１０、１１、１２、１３、１４、１５、１６、１７、１８および１９にあり、基本的には、同じ特徴マップ装置から成るが、ボトムアップ型の顕著性モデルに対して、これらの特徴マップは、特徴の異なる組み合わせを強調することができるような動的なやり方で組み合わせられる。ボトムアップ型の顕著性モデルに対する有利な点は、たとえボトムアップ型の顕著性マップにおいてそれらが特有なもの(distinctive、弁別可能なもの)ではないにしても、トップダウン型の顕著性モデルは、異なる特徴組み合わせによって特徴付けられる異なる対象物に調整(tune)されることができる点にある。ボトムアップ型の顕著性モデルに加え、本発明はまた、トップダウン型の顕著性モデルを、別の構築ブロックとして採用する。
【００１１】
Fritschらによる「Towards a Human-like Vision Sensor for Driver Assistance」では、運転者支援システムが記述され、これは、背側経路および腹側経路を採用して、対象物のカテゴリおよび位置を検出する（whatおよびwhere処理経路）。対象物認識（対象物の”what”）の後、対象物の位置およびそのラベルが、該対象物をその後の画像上で追跡するため（対象物の”where”を追跡する）、短期記憶に記憶される。さらに、対象物距離が、該短期記憶にあるすべての対象物について、レーダから取得された計測値に基づいて計算される。該距離情報に基づいて、危険レベルが計算され、必要に応じて警告メッセージが生成される。
【００１２】
この文献によると、”where”経路は、追跡を実行するが、危険の評価および警告の生成は、両方とも、ＳＴＭ（短期記憶）における対象物から計算される。危険および警告の計算は、追跡されている該ＳＴＭ内の、以前に認知された（および既に分類された）対象物に対する距離に基づいている（”where”経路に対し”known objects （既知の対象物）”として示される）。
【００１３】
これに対して、本発明の腹側注意サブシステム(ventral attention sub-system)は、以前に認知されている既知の対象物、領域ないし事柄に依拠しない。代わりに、特徴マップが、その期待（該期待(expectations)は、内部モデルからくるものであり、ＢＵ（ボトムアップ）型の顕著性およびＴＤ（トップダウン）型の顕著性が有するものではない）に反した何らかのものを示す場合に、信号を生成する。
【００１４】
なお、下記の特許文献１は、渋滞（ストップアンドゴー）の交通状況において、車両を案内するための運転者支援システムを記述する。
【００１５】
本発明は、第３の顕著性(saliency)モデルを、ボトムアップ型およびトップダウン型の顕著性に追加し、ここで、特徴の顕著性は、該特徴についての期待と、実際に観察したものとの間の不一致の程度によって定義される。他方、原則的に、このモデルは、下記の非特許文献２０および２１にて提案されている、いわゆるサプライズ・メトリック(surprise metric、驚きの計測)との類似性を持ち、３つの独立した並列処理として、ボトムアップ型の顕著性、トップダウン型の顕著性、および、上記のような驚き(surprise)に基づく第３の顕著性モデルを組み合わせるシステムは、これまで、何ら提案も構築もされていない。当該文献２０および２１では、たとえば、サプライズ・メトリックは、ボトムアップ型の顕著性モデルの出力に直接適用され、こうして、ボトムアップ型の構成要素を置き換える。本発明では、これに対し、これら３つの顕著性モデルは等しく、互いに相互作用する。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】L. Itti, C. Koch, and E. Niebur, “A model of saliency-based visual attention for rapid scene analysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 11, pp. 1254-1259, 1998. [Online]. Available: http://citeseer.ist.psu.edu/itti98model.html
【非特許文献２】L Itti, “Models of bottom-up attention and saliency”, Neurobiology of Attention, 2005
【非特許文献３】F Orabona, G Metta, G Sandini, “Object-based visual attention: a model for a behaving robot”, IEEE Computer Vision and Pattern Recognition - Workshops, 2005
【非特許文献４】SJ Park, JK Shin, M Lee, “Biologically inspired saliency map model for bottom-up visual attention”, Lecture Notes in Computer Science, 2002-Springer
【非特許文献５】W Kienzle, FA Wichmann, B Scholkopf, MO Franz, “A nonparametric approach to bottom-up visual saliency”, Advances in neural information processing systems, 2007
【非特許文献６】SJ Park, SW Ban, JK Shin, M Lee, “Implementation of visual attention system using bottom-up saliency map model”, Lecture notes in computer science, 2003
【非特許文献７】D Gao, N Vasconcelos, “Bottom-up saliency is a discriminant process”, IEEE International Conference on Computer Vision, 2007
【非特許文献８】U Rutishauser, D Walther, C Koch, P Perona, “Is bottom-up attention useful for object recognition?”, Computer Vision and Pattern Recognition, 2004. CVPR 2004
【非特許文献９】SB Choi, SW Ban, M Lee, “Biologically motivated visual attention system using bottom-up saliency map and top-down inhibition”, Neural Information Processing-Letters and Reviews, 2004
【非特許文献１０】V. Navalpakkam and L. Itti, “Modeling the influence of task on attention,” Vision Research, vol. 45, no. 2, pp. 205-231, Jan 2005.
【非特許文献１１】A Oliva, A Torralba, MS Castelhano, JM Henderson, “Top-down control of visual attention in object detection”, Image Processing, 2003. ICIP 2003
【非特許文献１２】S. Frintrop, VOCUS: A Visual Attention System for Object Detection and Goal- Directed Search (Lecture Notes in Computer Science / Lecture Notes in Artificial Intelligence). Secaucus, NJ, USA: Springer-Verlag New York, Inc., 2006.
【非特許文献１３】V Navalpakkam, L Itti, “A goal oriented attention guidance model”, Lecture Notes in Computer Science, 2002
【非特許文献１４】RJ Peters, L Itti, “Beyond bottom-up: Incorporating task-dependent influences into a computational model of spatial attention”, CVPR 2007
【非特許文献１５】B Rasolzadeh, M Bjorkman, JO Eklundh, “An attentional system combining topdown and bottom-up influences”, Lecture Notes in Computer Science, 2007, NUMB 4840, pages 123-140, SPRINGER-VERLAG
【非特許文献１６】M Cerf, J Harel, W Einhauser, C Koch, “Predicting human gaze using low-level saliency combined with face detection”, Advances in neural information processing systems, 2008
【非特許文献１７】B Khadhouri, Y Demiris, “Compound effects of top-down and bottom-up influences on visual attention during action recognition”, International Joint Conference on Artificial Intelligence, IJCAI, 2005
【非特許文献１８】T. Michalke, J. Fritsch, and C. Goerick, “Enhancing robustness of a saliency-based attention system for driver assistance,” in The 6th Int. Conf. on Computer Vision Systems (ICVS’08), Santorini, Greece, 2008.
【非特許文献１９】J. Fritsch, T. Michalke, A. R. T. Gepperth, S. Bone, F. Waibel, M. Kleinehagenbrock, J. Gayko, and C. Goerick, “Towards a human-like vision system for driver assistance,” in Proc. of the IEEE Intelligent Vehicles Symposium (IV), B. D. Schutter, Ed. IEEE Press, 2008.
【非特許文献２０】Itti, L. Baldi, P., “A Principled Approach to Detecting Surprising Events in Video”, CVPR 2005, VOL 1, pages 631-637
【非特許文献２１】T Xu, Q Muhlbauer, S Sosnowski, K Kuhnlenz, M Buss, “Looking at the Surprise: Bottom-Up Attentional Control of an Active Camera System”, Control, Automation, Robotics and Vision, ICARCV 2008
【特許文献】
【００１７】
【特許文献１】ＥＰ ２０２８６３２ Ａ１
【発明の概要】
【発明が解決しようとする課題】
【００１８】
本発明の目的は、特に予期しない事象に関し、車両の運転者を支援するための、改良された、自動化された方法およびシステムを提案することである。
【課題を解決するための手段】
【００１９】
上記の目的は、独立請求項の特徴によって達成される。従属請求項は、さらに、本発明の主要なアイデアを発展させるものである。
【００２０】
本発明の第１の側面によると、たとえば運転者支援システムまたは自律型ロボットのために、視覚に基づく注意システムが提案され、該システムは、
−少なくとも１つの視覚センサと、
−少なくとも１つの２次元特徴マップを生成するよう、該視覚センサの出力信号を処理する少なくとも１つの画像処理モジュールと、
−該少なくとも１つの特徴マップに基づいて、第１の顕著性マップを生成する背側注意サブシステム(dorsal attention subsystem)であって、該顕著性マップは、該運転者支援システムの第１の注意の焦点(focus、的)を示す、システムと、
−上記背側注意サブシステムとは独立して設けられ、該背側注意サブシステムによって生成された信号に依拠しない腹側注意サブシステム(ventral attention subsystem)であって、前記少なくとも１つの特徴マップに基づいて、第２の顕著性マップを生成する腹側注意サブシステムと、を備え、該第２の顕著性マップは、前記背側注意サブシステムによって使用されるものと同じでもよく、あるいは異なってもよい。該第２の顕著性マップは、予期しない視覚刺激を示す。
【００２１】
「予期しない視覚刺激(unexpected visual stimuli)」は、
−該システムの以前の視覚入力および該システムの検知された自己運動(ego-motion)から予測される視覚刺激（該自己運動は、たとえば、内部センサまたは衛星に基づくセンサを用いて検知されることができる）、および、
−視覚刺激の予め記憶されたモデル（これは、たとえば、期待されるものとして学習されることができる）、
を、視覚センサの入力視野から削除した後に残存する、該視覚センサの入力視野における視覚刺激である。
【００２２】
腹側注意サブシステムの特徴マップは、視覚センサのオプティカルフローを表すことができ、該オプティカルフローは、各画素に、２つの異なるサンプリングされた画像間の動きを表す速度ベクトルが割り当てられる２次元マップである。
【００２３】
腹側注意サブシステムは、予期しない刺激が検知された場合には、背側注意サブシステムによって生成される注意に対して、高い優先度を有する。
【００２４】
第２の顕著性マップにおける予期しない視覚刺激は、オプティカルフローの予期（期待）される方向および検知された方向の間の差に基づいて生成されることができる。
【００２５】
オプティカルフローの該期待される方向は、視覚センサの入力視野の中心点を中心とした放射フロー(radial flow)として設定されることができる。
【００２６】
背側注意サブシステムは、ボトムアップ型の顕著性モジュールを備えることができる。
【００２７】
また、背側注意サブシステムは、トップダウンの顕著性モジュールを備えることができる。
【００２８】
本発明のさらなる側面は、上記のような運転者支援システムが設けられる車両に関する。ここで、該運転者支援システムは、たとえばステアリング、ブレーキ（制動）手段および（または）アクセル（加速）手段のような、該車両のアクチュエータのための出力信号を生成する。
【００２９】
本発明によるさらなる特徴、目的および有利な点は、添付の図面と共に、以下の本発明の実施形態の詳細な説明を読むことにより当業者には自明となろう。
【図面の簡単な説明】
【００３０】
【図１】本発明に従う、システムの基本構成を示す図。
【図２】前方にある車についてのタスク誘起型の期待が、トップダウン型の特徴重み付けの手段によって、背側注意サブシステムを調整することを示す（左側）。結果として、注意に関するシステムの焦点は、実際に前方の車に当てられ、これが、分類サブシステム（右側）によって確認される。これは、該システムの注意ダイナミクスの安定した状態を表している。
【図３】車道上に転がるボールの予期しない動きが腹側注意サブシステムによって検知され、再方向付け応答をトリガする（起動する）ケースを示す（左側）。該ボールが、分類サブシステムによって認識されたとき、該再方向付けは終了し、以前は予期しなかった刺激が、既知のものとなる。これは、その後、トップダウン型の特徴の重み付けの手段により、該システムによって積極的に焦点を当てられることができ（右側）、これは、該システムの注意ダイナミクスの再び安定した状態を表す。
【図４】本発明を実現する、技術的なシステムの概要を示す図。
【発明を実施するための形態】
【００３１】
通常の状態下、すなわち、実験に基づく設定ではない状態下では、注意(attention)は、現在のタスクないし目的のようなトップダウンの情報によって強く駆動される。車を運転することは、これが真である状況の一例である。注意の当該分野の最新の計算モデルにおいて、この種の注意は、トップダウン型の顕著性（saliency）の周知の概念によって実現され、これにより、現在のタスク（大部分は、探索（サーチ）タスク）について関連する対象物に向けて、様々な低レベルの特徴検知器を選択的に調整(tune)することが可能となる。これは、タスク関連の対象物の高速の検知を可能にするが、特徴の検知器が現在調整されていない対象物を検知することができないという欠点がある。しかしながら、対象物は、システムに高度に関連することがあり、それらが、該システムの現在のタスクに関連しないとしても、検知され適切に取り扱われなければならない。運転というシナリオにおいては、たとえば、該システムが、前方にある車について距離を維持するタスクに従事している間にも、ボールが車道上に転がってくるかもしれない。
【００３２】
トップダウン型の顕著性とは別に、注意についての最新の計算モデルはまた、ボトムアップ型の顕著性の周知の概念を取り入れる。トップダウン型の顕著性に対し、ボトムアップ型の顕著性は、該システムによって現在実行されているタスクとは独立しており、画像データそれ自身のみを考慮するという点で、非特定的なものである。こうして、ボトムアップ型の顕著性を使用して、実現される特徴に関して何らかの理由でポップアウトした（pop-out、飛び出してきた）画像における対象物および位置を検知することができる。ボトムアップ型の顕著性の手段によって検知することのできるそのような対象物の例は、交通信号の赤いライトである。しかしながら、一般に、該システムに高度に関連するが、上記の意味において現在のタスクには関連しない多くの対象物（たとえば、車道上に転がってくるボール）は、十分にポップアウトするものとは限らず、よって、該対象物については、ボトムアップ型の顕著性によって高い信頼性で検知することはできない。
【００３３】
このため、本発明は、トップダウン型およびボトムアップ型の顕著性に加え、現在の状況に典型的ではない新規の／予期しない刺激についての検知器として動作する、注意についての第３の計算モデルを取り入れることを提案する。一つの実現例において、これは、低レベル特徴のレベルで計算される。たとえば、直線の道路に沿って運転している間、放射状のオプティカルフローとなるのが典型的なケースであり、よって予期されるものである。車道上に転がるボールによって引き起こされるような非放射状のオプティカルフローは、運転している間は予期されるものではなく、よって、該ボールを検知するのに使用されることができる。本発明は、トップダウン型およびボトムアップ型の顕著性を含む、注意についての既知の計算モデルに、新規な検知のためのこの第３の注意モデルを、これら３つの注意モデルが該システム内において相互作用しあうように、取り入れる。
【００３４】
該システムは、教師無し学習手法によって、様々な状況における「典型的(typical)」な特徴の分散を学習することができ、これは、それらが、速やかかつ豊富に観察可能であるために可能である（これに対し、予期しない／典型的でない特徴は、それらが稀にしか生じないために、このような学習を行うことができない）。
【００３５】
システム・アーキテクチャ
本発明により提案されるシステムのアーキテクチャの基本的な構造が、図１に示されており、これは、以下のような５つのサブシステムから成る。
【００３６】
・画像処理モジュール
・背側注意モジュール
・腹側注意モジュール
・分類モジュール
・期待生成モジュール
【００３７】
画像処理モジュールのサブシステムは、（２）に示すような入力画像が与えられた場合、（１）に示すような、種々の２次元特徴マップを計算する
【数１】
【００３８】
各特徴マップは、たとえば、方向性を有するコントラストのエッジ(oriented contrast edge)ないしオプティカルフローのような、所定の特徴に専念（集中）したものとなる。背側注意サブシステムは、該特徴マップを、以下の（３）のような１つの顕著性マップ(saliency map)に統合し、ここから、さらに、以下の（４）のように、画像座標における所定の２Ｄ（二次元）位置、典型的には、大域的最大値(global maximum)となる２Ｄ位置を、計算する。
【数２】
【００３９】
この２Ｄ位置PFoAは、該システムの注意の現在の焦点を表す。すなわち、以降の処理ステップは、画像全体にではなく、PFoAおよびそのローカルな近傍に集中して実行される。
【００４０】
結果として、分類のためのサブシステムが、以下の（５）に示すようなローカル（局所的）な画像パッチを考慮し、その視覚的な外観に基づいて、ＲｐＦｏＡが対応する対象物カテゴリ（以下の（６）で表される）を推定する。ここで、以下の（７）で示されるＣは、該システムに既知の対象物カテゴリの総数である。期待生成サブシステムは、ｃperceivedまたはタスクｔが与えられた場合における、期待される対象物カテゴリ（以下の（８）で表される）を生成することによって、ループを閉じる。ｃexpectedは、その後、背側注意サブシステムに伝えられ、ここで、特徴マップが組み合わせるやり方に影響し、よって、注意の焦点PFoAに影響する。
【数３】
【００４１】
背側注意サブシステムと同様に、腹側注意サブシステムはまた、上記の特徴マップに作用し、これらを、以下の（９）に示すような１つの顕著性マップに統合する。
【数４】
【００４２】
該腹側注意サブシステムは、それらを、異なるやり方で統合する。なぜなら、注意の焦点PFoAを計算することが直接的な目的ではなく、たとえば、予期しない動きのような、現在の状況下での該システムの期待に反する刺激を検知することが、目的だからである。この場合、該システムは、現在実行しているタスクｔを停止する割り込み事象（以下の（１０）で示される）を生成し、同時に、背側注意サブシステムに、粗い空間優先度（coarse spatial prior,以下の（１１）で示される）を提供し、これによって、該システムが、該予期しない刺激に対して再方向付け（reorient;再適応）することを可能にする。
【数５】
【００４３】
我々の着目点が、個々のサブシステムそれらに重点を置いているのではない点に注意されたい。結果として、我々は、それらの実現のために既存の最新のアルゴリズムを採用する。代わりに、我々は、該システム内におけるそれらの動的な相互作用に関心があり、特に、これによってシステムが、腹側注意サブシステムによって検出された予期しない刺激に対して再適応可能になる方法に関心がある。これは、我々の以前のシステム（後述する参考文献１２）で採用されている注意のタスク指向の考えを超えたものである。アテンション・ダイナミクス(attention dynamics,注意ダイナミクス)を示すため、我々は、以下のセクションにおいて、直感的な例を考慮に入れる。
【００４４】
予期しない視覚刺激の標示に関して、ＢＵ（ボトムアップ）型の顕著性マップは、該システムのタスクに現在関連している対象物の典型的な（すなわち、「期待される」）特徴に調整されるＴＤ（トップダウン）の顕著性マップの範囲には無い刺激ないし特徴を検知する。この意味において、ＢＵ型の顕著性は、「予期しない」特徴を検知するものといえる。腹側注意サブシステムは、特別な種類の予期しない特徴を検知する。すなわち、該システムは、関心のある或る対象物の典型的な特徴が何かについての知識は有していないが（ＴＤ型の顕著性は該知識を有している）、代わりに、該システムが現在存在している全体的なシーン(scene)の典型的な特徴が何かについての知識は有している。この種の「予期しない」特徴は一般的なものであり、ＴＤ型の顕著性が、一時に１つの対象物クラスについてのサーチのみを行うことができるのに対し、腹側注意システムは、該シーンの異なる部分における典型的な特徴について多くの同時発生の期待を有することができ、これらは、該システムによって絶えずモニタされ、それらのいずれかが反している場合には警告が生成される。
【００４５】
背側注意システムは、ＴＤ型の顕著性を含み、これは、どの特徴が対象物について典型的であるかに関する知識を考慮することによって、関心のある対象物を検知するよう調整されることができる（この点に関し、どの特徴が典型的であるかについての知識を有しているものの、所定の対象物についての知識ではなく、状況全体についての知識である腹側注意システムとは異なる）。ＴＤ型の顕著性（これまでに述べてきたすべての技術的なＴＤ顕著性）が、非常に特定的であるがため、一時に１つの対象物クラスにのみ調整されることができる。
【００４６】
腹側注意サブシステムは、典型的には、背側注意サブシステムと同じ特徴マップに作用するが、典型的な特徴からなる内部モデルを考慮する。これらのモデルを、たとえば、経験や統計から学習することができる。なぜならば、その定義上、頻繁に観察されることができず、よってモデルによる学習が不可能でないとしても困難なものとなる非典型的な特徴すなわち予期しない特徴とは異なり、典型的な特徴は、頻繁に観察されることができるものだからである。したがって、腹側注意サブシステムは、期待される特徴からの“ずれ（差）”として、典型的でない／予期しない特徴を検知し、それについて、モデルを学習することができる。これらのモデルの学習を、背側注意システムにおけるＴＤ型顕著性についての対象物の外観のＴＤ重み付けの学習と類似したものと考えることができるが、腹側注意モデルは、対象物についてのみ特定的というわけではない。
【００４７】
腹側注意サブシステムは、背側注意システムと特徴マップを共有してもよい。腹側注意システムは、同じ特徴マップに作用するとしても、それらを、背側注意システムとは異なるように処理する点に注意されたい、また、腹側注意サブシステムは、何が典型的な特徴であるかについての内部モデルを考慮し、これらは、該システムが経験から学習することができる。これにより、特徴マップのみを有する背側注意システムにおけるＢＵ型顕著性とは異なるものとなり、また、現在のタスクについて重要な対象物の外観についての期待（または、「モデル」）を有する背側注意システムにおけるＴＤ型顕著性（すなわち、これは、どの特徴が、関心のある対象物の典型的なものか、であり、該システムが現在存在する状況についてどの特徴が一般的に典型的なものか、ではない）とも異なるものとなる。
【００４８】
腹側注意システムは、並列に、多くの期待／モデルの活動を持ち、これは、該システムが、対象物の所定の種類を見つけることを欲するものではなく、典型的な特徴の多くのモデルのうちの１つが違反されているかどうかをモニタすることを欲するためである。
【００４９】
ＴＤ型顕著性に加え、背側注意システムはＢＵ型顕著性を含み、これは、“ポップアウト”の刺激（たとえば、フラッシュライト付きのサイレンや、交通信号の赤のライト）を検知することができる。これはまた、非常の有効な機能であり、腹側注意システムが、交通信号の赤のライトに対して、検出ないし反応する必要がなくなる。なぜなら、それらは、交通環境にとって典型的なものだからである（たとえば、赤に突然変わるその前の緑の交通信号のライトについては、例外となろう）。
【００５０】
背側注意サブシステムのＢＵ型顕著性は、腹側注意システムとは異なる意味での刺激を検出する。すなわち、腹側注意システムは、特徴マップ自体に加えて、典型的な特徴についてのその内部モデルを有しているが、ＢＵ型顕著性は、特徴マップのみを有している。したがって、ＢＵ型顕著性は、ポップアウト型の刺激の検出に制限され、これは、腹側注意システムとは根本的に異なる。実際、我々は、腹側注意システムが、ＢＵ型顕著性が検出することのできない予期しない刺激（たとえば、予期しないボール）を検出することができる状況の例を示す。
【００５１】
本発明に従う注意システムは、全体的に、いわば３つの「顕著性」からなり、それは、背側注意システムに包含されるＢＵ型顕著性およびＴＤ型顕著性と、腹側サブシステムと、である。本発明における意味での「予期しない」刺激は、腹側注意システムの、何が典型的な特徴であるかについての内部モデルに反した刺激を意味する。
【００５２】
注意ダイナミクスの例
該システムが、交通環境内にあり、前方の車に対する距離を維持するタスクが現在実行中であると仮定する。経験から、該システムは、対象物のカテゴリが「車」であり、空間的な優先度(spatial prior)が「前方」であり、行動(behavior)が「ブレーキ」および「アクセル」であることを該タスクが必要としている点を認識している。以下の考慮において、行動についてはさておき、該システムはまた、経験から、様々な特徴マップの観点から、対象物カテゴリ「車」をどう表現するかを認識している。すなわち、どの特徴が、対象物カテゴリ「車」について特有のものであり、どの特徴が該特有のものでないかを知っている。結果としてのトップダウンの特徴の重み付けは、背側注意システムが特徴マップを組み合わせるやり方を調整する（図２の左側を参照）。これにより、車は高度に顕著なものとなるが、該シーンにおける他の部分は顕著にならない顕著性マップとなる。同様に、該システムは、経験から、空間優先度「前方」が、２Ｄ画像空間にどのように変換されるかを認識しており、これは、前方にある車の顕著性をさらに増すと共に、周辺にある車の顕著性を減少することによって、該顕著性マップに影響する。トップダウンの特徴の重み付けおよび空間優先度の組み合わされた効果の結果として、注意の焦点（的）が、前方にある車に実際に当てられる。分類サブシステムはこれを確認し、安定した状態を達成する（図２の右側）。
【００５３】
該システムが、その距離を維持するタスクに専念している間、ボールが車道上に転がると想定する。この予期しない事象は、背側注意サブシステムにおけるトップダウン型の顕著性によっては検知されることができない。すなわち、対象物カテゴリ「ボール」に特有の特徴は、タスクによってトップダウン型の顕著性が現在調整(tune)されている「車」についての特有の特徴とは非常に異なる。背側注意サブシステムのボトムアップ型の顕著性は、該ボールを検知することができる。なぜなら、該ボトムアップ型の顕著性は、原則的に、利用可能な全ての異なる特徴マップを考慮し、それらの所定のサブセット（一部）に調整されることはないからである。背景に対するその動きおよびそのコントラストに起因して、ボールに対応する少なくとも何らかのアクティビティ（活動性）が存在する。しかしながら、このアクティビティは、非常に制限されており、該シーンの他の部分（たとえば、他の交通参加者）に比べて目立つものではない。これは、ボトムアップ型の顕著性の特定性(specificity)の欠落、という欠点である。
【００５４】
さらに、該タスクの存在に起因して、全体としてボトムアップ型の顕著性マップの影響は、トップダウン型の顕著性マップの影響に比べて、大きく低下する。なぜなら、これは、現在進行中のタスクから該システムの注意をそらすものとなるからである。この現象は、”change blindness（変化の見落とし）”（後述する参考文献１３を参照）として知られている。
【００５５】
対して、腹側顕著性マップにおいて、動いているボールは、２つの理由により、高い程度のアクティビティをもたらす。すなわち、第１に、車道に転がるボールは、このような交通シーンにおいて通常は起こらない、システム環境における予期しない変化であるからである。特に、動きの方向は、強く、システムの期待（たとえば、自己運動および異なる車線で動く他の交通参加者によって、放射方向の動きを予測する）に反するものである。第２に、この予期しない変化は、該システムの行動に強く関連している。なぜならば、安全に運転することは、車の前方の領域が空いていることを示すからであり、ボールに続いて、該ボールを追いかけて走る子供が存在するかもしれないからである。したがって、該ボールは、腹側顕著性マップにおいて非常に顕著なものとなり、よって、割り込みをかけて粗い空間優先度(coarse spatial prior)を提供することによって、再方向付け（reorient、再適応）の応答をトリガする。この段階で、該システムも腹側注意サブシステムも、再適応の応答を何がトリガしたのかを認識していない点に注意されたい。すなわち、割り込みは、単に、該何かが起こったことを該システムに知らせるだけであり、背側注意サブシステムに対する粗い空間優先度が、それをどこで探すべきかの大まかな合図（キュー）を提供する。
【００５６】
割り込みは、該システムの現在のタスクを停止し、それと共に、背側注意サブシステム上への対応するトップダウンの特徴の重み付けの影響を停止する。こうして、トップダウンおよびボトムアップの顕著性の間のバランスが、後者の方にシフトされる。腹側注意サブシステムによって提供された粗い空間優先度と共に、ボールに対応するボトムアップ型の顕著性マップにおけるアクティビティは、該シーンにおける他の部分に比べて、今や顕著なものとなる。結果として、該システムの注意の焦点は、該ボールに再方向付けされる。分類サブシステムが、それをボールと認識するやいなや、以前は予期しない刺激であったものが、既知のものとなる。これにより、再方向付け（再適応）の応答の終了がマーク付けされる（図３の左側参照）。
【００５７】
その後、腹側注意サブシステムは、その通常の状態に戻る。該システムにとっての該ボールが持つ関わり合い具合に依存して、以下のように、異なる事柄が起こることがある。すなわち、ボールが、たとえば転がり去ったために、該システムに対してほとんど重要なものでなくなった場合、該システムは、割り込みされたタスクを継続することができ、これにより、前方にある車に再度焦点を当てる。ボールを、たとえばそれが道をブロックしているがために、取り扱わなければならない場合、該システムは、それを回避するためのタスクを設定しなければならず、こうして、ボールに対してさらに焦点を当てることとなる。さらに、該システムが、経験から、ボールに続いて、該ボールを追いかけて走る子供がいるかもしれないことを認識する場合、該システムは、該期待される子供を積極的に捜すタスクを設定することができる。いずれのケースも、注意ダイナミクスに関し、該システムは、図２の右側に示すような安定状態に復帰し、これは、現在必要とされるトップダウン特徴重み付けの観点でのみ異なることとなる。
【００５８】
実現
該提案されるアーキテクチャを実現するための技術的なシステム例の概要が、図４に示されている。大きいボックスは、システム・アーキテクチャの欄で述べた５つのサブシステムに対応し、ここでは、それらの実現をより詳細に示しており、これについては以下に記述される。すべての実現は、Ｃコードで行われ、分散実時間システムのRTBOS/DTBOSフレームワークに埋め込まれる（後述する参考文献１４を参照）
Ａ．画像処理
全体として、該技術的なシステム例への入力は、より具体的には、画像処理サブシステムへの入力は、以下の（１２）に示すように、一対のカラーのステレオ画像である。
【数６】
該画像処理サブシステムは、以下の３つの並列処理ステップから成る。
・顕著性特徴の計算
・ステレオ相関
・オプティカルフローの計算
【００５９】
顕著性特徴計算は、ｉleftに作用し、様々な特徴マップを計算し、これらは、後述する参考文献７で使用されるものと同じである。考慮される特徴として、異なる方向およびスケールにおける輝度コントラストエッジおよびカラーコントラストエッジが含まれ、これらは、さらに、オン−オフおよびオフ−オンのコントラストエッジに細分されることができる。それぞれの特徴マップは、これらの特徴のうちの１つに集中するよう作成され、画素（以下の（１３）で表される）に割り当てられた値（以下の（１４）で表される）は、ｆｊによって表される方向、スケールおよびタイプ（種類）のコントラストエッジが（ｘ，ｙ）に存在する程度を示す。ここで、以下の（１５）で表されるＦは、特徴マップｆｊの総数を示す。
【数７】
【００６０】
ステレオ相関は、ｉleftおよびｉrightの両方に作用し、局所相関法（参考文献１５を参照）を使用して、視差マップ（以下の（１６）で表される）を計算する。該視差マップｉdispは、視差値（以下の（１７）で表される）を各画素に割り当てる。ここで、以下の（１８）で表される視差値が有効である。以下の（１９）で表される視差値は無効であり、これは、たとえば均一な(homogeneous)画像領域内の相関の不確かさに起因して生じることがある。無効な視差値については、さらなる処理は行われない。
【数８】
【００６１】
オプティカルフロー計算は、ｉleftに作用し、また、以前の時間ステップでのｉleftをも考慮し、これら２つのものから、以下のように、オプティカルフローマップiflowX、iflowYを、後述する参考文献１６に記載の方法を使用して計算する。
【数９】
【００６２】
各画素には、以下に示すように、画像座標での速度ベクトルが割り当てられ、これは、以前の時間ステップに対する画素の変位を示す。該速度ベクトルは、該変位の方向および大きさの両方を表す。
【数１０】
【００６３】
得られたすべての特徴マップｆｊ、ｉdisp、ｉflowｘ、ｉflowY は、共に、該画像処理サブシステムの出力を表す。
【００６４】
背側注意(Dorsal Attention)
背側注意サブシステムは、全体として、特徴マップｆｊに作用し、以下の４つの処理ステップから成る。
・ボトムアップの顕著性
・トップダウンの顕著性
・顕著性の組み合わせ
・最大の選択
【００６５】
並列に稼動するボトムアップおよびトップダウン型の顕著性を除き、実行順序はシーケンシャルである。背側注意サブシステムの実現は、後述する参考文献７に提示された作業に対応し、以下、簡単に要約して述べる。
【００６６】
ボトムアップ型の顕著性は、以下の（２１）で示すように、特徴マップの重み付けされた合計を計算することにより、以下の（２０）で示すように、該特徴マップを、１つの（ボトムアップ）の顕著性マップに組み合わせる。 ここで、以下の（２２）で示すのは、ｆｊに対応するボトムアップ型の特徴の重み付け(feature weight)をそれぞれ表す。以下の（２３）で示すトップダウン型の特徴の重み付けとは異なり、以下の（２２）で示されるボトムアップ型の特徴重み付けは、以下の（２４）で示されるように等値を持つよう前もって規定され、実行時においても変化しない。こうして、画素のボトムアップ型の顕著性（以下の（２５）で表される）は、特徴マップで表される特徴が位置（ｘ，ｙ）に存在する程度を示し、何の特徴が存在するかの情報を要約したものとなる。
【数１１】
【００６７】
トップダウン型の顕著性も、以下の（２８）に示すように、特徴マップの重み付けされた合計を計算することにより、以下の（２７）に示すように、該特徴マップを組み合わせて、１つの（トップダウン）顕著性マップとする。ここで、以下の（２９）に示されるのは、ｆｊに対応するトップダウン型の特徴の重み付けをそれぞれ表す。しかしながら、以下の（３０）に示されるボトムアップ型の特徴重み付けとは異なり、（２９）で示されるトップダウン型の特徴重み付けは、一定ではなく、実行時に動的に変化されることができる。
【数１２】
【００６８】
我々のケースでは、以下の（３１）で示されるトップダウン型の特徴重み付けは、期待生成サブシステムによって定義され、異なるｆｊが、期待される対象物カテゴリＣexpectedに特有である程度を示す。
【数１３】
【００６９】
これら２つの顕著性マップは、以下の（３２）に示すように、それらの重み付けされた合計を計算することにより、１つの顕著性マップに組み合わせられる。
【数１４】
【００７０】
その後、最大選択の処理で、背側顕著性マップがその最大値を持つ所の画素を見極める。この画素は、該システムの注意の現在の焦点を表しており、全体として、背側注意サブシステムの出力となる。
【００７１】
分類(Classification)
分類サブシステムは、以下のシーケンシャルな処理ステップからなる。
・セグメント化
・領域選択
・分類
・最大の選択
【００７２】
分類器（後述する参考文献１７を参照）は、たとえば車のドメインにおける「車」、「歩行者」、および「交通標識」のような、その考慮しているドメインについて典型的な様々な対象物カテゴリｃ１、．．．ｃＣについて事前訓練されているとする。前述の（７）で示されるように、Ｃは、該システムに既知である対象物カテゴリの総数を示す。
【００７３】
その後、最大選択の処理では、最も高い活動性を持つ対象物カテゴリを見極める、という決定を行う。該対象物カテゴリは、該システムが現在何を知覚しているかを表しており、全体として、分類サブシステムの出力となる。
【００７４】
期待生成(Expectation Generation)
期待生成サブシステムは、知覚された対象物カテゴリまたはタスクに基づいて、期待される対象物カテゴリを生成する。
【００７５】
該期待は、その後、対象物レベルから特徴レベルに、マッピングによって変換される。結果としてのトップダウン型特徴重み付けのセットは、その後、背側注意サブシステムに伝えられる。
【００７６】
腹側注意(Ventral Attention)
腹側注意サブシステムは、全体として、ｉflowX およびｉflowY に作用し、以下の３つの処理ステップから成る。
・放射状に関する抑制
・最大の計算
・しきい値化
【００７７】
放射状に関する抑制の処理では、一方では、ｉflowXおよびｉflowYに基づいて腹側顕著性マップを計算し、他方では、放射状動きモデル(radial motion model)を計算する。放射状動きモデルは、画像座標の中心点によって定義され、該車ドメインにおいては、該システム自身の車の自己運動が放射状のオプティカルフローとなり、その道路の異なる車線に沿って動いている他の交通参加者もまた、放射状のオプティカルフローとなる、という該システムの期待を表している。このモデルは、直線道路に沿って運転している間は最も良好なオプティカルフローを予測するので、我々の腹側注意サブシステムは、全体的に均一な(uniform)オプティカルフローの存在を検知した場合には、該システム自身を一時的に非活動とする。これは、ｉflowXおよびｉflowYの計算を基礎とする変位マップから自動的に判断され（参考文献１６を参照）、カーブに沿って運転している場合や平坦でない道路を運転している間の誤検知を防止するのに重要である。
【００７８】
そうでなければ、画素（ｘ，ｙ）における速度ベクトル（ｉflowX（ｘ，ｙ），flowY（ｘ，））を、放射状動きモデルによって予測される速度ベクトルの方向を表すベクトル（ｘ−ｃＸ，ｙ−ｃＹ）と比較することにより、以下の（３３）で示される顕著性マップを計算する。
【数１５】
【００７９】
その後、最大計算の処理では、最大の活動性（アクティビティ）を、それが生じている位置と共に見極める。この位置は、再方向付けの応答がトリガされる場合に背側注意サブシステムに伝えられることとなる粗い空間優先度(coarse psatial prior)を表す。
【００８０】
再方向付け応答は、以下の（３４）で示される値が所定のしきい値を超えるときにトリガされる。該しきい値を超えたならば、ｐunexpectedが背側注意サブシステムに送られ、同時に、割り込みが、期待生成サブシステムに送られて、進行中のタスクを停止すると共に、「＝０」を設定することによってトップダウン型の特徴重み付けのセットによる影響を停止し、こうして、ボトムアップ型の顕著性に向かってバランスをシフトする。
【数１６】
【００８１】
本発明のアプリケーション領域の例
１．実世界の車において動作する運転者支援システム。
【００８２】
本発明は、車が、予期しないが取り扱うことを必要とする重要な状況を検出することを可能にする（たとえば、車道上に転がるボール、ゲートウェイ（出入り口）からはみ出して運転している車）。
２．実世界のロボットにおいて動作する注意システム。
【００８３】
本発明は、ロボットが、何らかのタスクに専念している間でも、その環境において予期しない事象を検出することを可能にする（たとえば、ロボットが、対象物を握っている間に近づいてくる人）。
【００８４】
参考文献
[1] L. Itti, C. Koch, and E. Niebur, “A model of saliency-based visual attention for rapid scene analysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 11, pp. 1254-1259, 1998. [Online]. Available: http://citeseer.ist.psu.edu/itti98model.html
[2] L Itti, “Models of bottom-up attention and saliency”, Neurobiology of Attention, 2005
[3] F Orabona, G Metta, G Sandini, “Object-based visual attention: a model for a behaving robot”, IEEE Computer Vision and Pattern Recognition - Workshops, 2005
[4] SJ Park, JK Shin, M Lee, “Biologically inspired saliency map model for bottom-up visual attention”, Lecture Notes in Computer Science, 2002-Springer
[5] W Kienzle, FA Wichmann, B Scholkopf, MO Franz, “A nonparametric approach to bottom-up visual saliency”, Advances in neural information processing systems, 2007
[6] SJ Park, SW Ban, JK Shin, M Lee, “Implementation of visual attention system using bottom-up saliency map model”, Lecture notes in computer science, 2003
[7] D Gao, N Vasconcelos, “Bottom-up saliency is a discriminant process”, IEEE International Conference on Computer Vision, 2007
[8] U Rutishauser, D Walther, C Koch, P Perona, “Is bottom-up attention useful for object recognition?”, Computer Vision and Pattern Recognition, 2004. CVPR 2004
[9] SB Choi, SW Ban, M Lee, “Biologically motivated visual attention system using bottom-up saliency map and top-down inhibition”, Neural Information Processing-Letters and Reviews, 2004
[10] V. Navalpakkam and L. Itti, “Modeling the influence of task on attention,” Vision Research, vol. 45, no. 2, pp. 205-231, Jan 2005.
[11] A Oliva, A Torralba, MS Castelhano, JM Henderson, “Top-down control of visual attention in object detection”, Image Processing, 2003. ICIP 2003
[12] S. Frintrop, VOCUS: A Visual Attention System for Object Detection and Goal- Directed Search (Lecture Notes in Computer Science / Lecture Notes in Artificial Intelligence). Secaucus, NJ, USA: Springer-Verlag New York, Inc., 2006.
[13] V Navalpakkam, L Itti, “A goal oriented attention guidance model”, Lecture Notes in Computer Science, 2002
[14] RJ Peters, L Itti, “Beyond bottom-up: Incorporating task-dependent influences into a computational model of spatial attention”, CVPR 2007
[15] B Rasolzadeh, M Bjorkman, JO Eklundh, “An attentional system combining topdown and bottom-up influences”, Lecture Notes in Computer Science, 2007, NUMB 4840, pages 123-140, SPRINGER-VERLAG
[16] M Cerf, J Harel, W Einhauser, C Koch, “Predicting human gaze using low-level saliency combined with face detection”, Advances in neural information processing systems, 2008
[17] B Khadhouri, Y Demiris, “Compound effects of top-down and bottom-up influences on visual attention during action recognition”, International Joint Conference on Artificial Intelligence, IJCAI, 2005
[18] T. Michalke, J. Fritsch, and C. Goerick, “Enhancing robustness of a saliency-based attention system for driver assistance,” in The 6th Int. Conf. on Computer Vision Systems (ICVS’08), Santorini, Greece, 2008.
[19] J. Fritsch, T. Michalke, A. R. T. Gepperth, S. Bone, F. Waibel, M. Kleinehagenbrock, J. Gayko, and C. Goerick, “Towards a human-like vision system for driver assistance,” in Proc. of the IEEE Intelligent Vehicles Symposium (IV), B. D. Schutter, Ed. IEEE Press, 2008.
[20] Itti, L. Baldi, P., “A Principled Approach to Detecting Surprising Events in Video”, CVPR 2005, VOL 1, pages 631-637
[21] T Xu, Q Muhlbauer, S Sosnowski, K Kuhnlenz, M Buss, “Looking at the Surprise: Bottom-Up Attentional Control of an Active Camera System”, Control, Automation, Robotics and Vision, ICARCV 2008
【技術分野】
【０００１】
本発明は、先進の運転者支援システムおよび自律型ロボットの分野に関する。運転者支援システムは、自動化された技術的デバイスであり、典型的には、カメラ、レーザスキャナ、赤外線センサのようなセンサを含み、これらは、車両（自動車、オートバイ、船、列車等）に搭載される。
【背景技術】
【０００２】
本発明の目的は、実世界の交通環境を運転している間、こうして該デバイスが搭載された車両の周辺環境をモニタし、運転者を支援（アシスト）することである。「支援する」は、よって、車両のアクチュエータ（ブレーキ、ステアリング、アクセル等）の制御であることができ、もしくは、少なくとも、運転者を支援する視覚または聴覚的な信号の生成であることができる。
【０００３】
例として、名前を少し挙げるとすると、車線を維持するシステム、ブレーキをアシストするデバイス、および距離をモニタするデバイス等が含まれる。本発明は、視覚処理に注目した運転者支援（アシスト）システムを提案し、よって、たとえば、センサデバイスのようなステレオカメラを備えている。
【０００４】
本発明の目的
実世界の交通環境において運転を行う状況では、運転者が、運転について関連する周囲のすべての対象物（オブジェクト）および事象について認識することが、安全に運転するのに重要であり、これらには、交通信号、交通標識および車線境界線のような、運転に関連する対象物、および、車、自転車に乗っている人および歩行者のような、他の交通参加者が含まれる。そのような対象物を認識するのに必要なもの、特にそれらに対して適切に反応するのに必要なものは、運転者が、それらをまず検出できる、ということである。交通信号や他の車両のような、交通環境において典型的であり、運転に直接的に関連するなじみのある対象物については、たとえば、運転者がそれらを積極的に見つけようとするため、運転者はそれらを発見しやすい。それに対し、運転者は、不注意による盲目（inattentional blindness）として知られる現象のように、現在注意の焦点（的）とはなっていない対象物を検出することは、より困難である。しかしながら、そのような対象物は、運転者にとって、高い行動的な関連性(behavioral relevance)を持つものとなるかもしれない。すなわち、たとえばボールが予期せずに車道上に転がった場合、運転者は、該ボールとの衝突を防ぐために、ブレーキをかけることによって即座にそれに反応しなければならず、また、該ボールを追いかけて走る子供を積極的に探すことを開始するだろう。実際、運転者が予期しておらず、その結果、積極的に探したりしない対象物は、しばしばクリティカルな状況を提示し、このような場合に、運転者視点システムは有益となりうる。
【０００５】
以下、”ventral”、”dorsal”、”attention system”、”what”および”where”という用語に関しての混乱を防止するため、「背側および腹側の注意サブシステム(dorsal and ventral attention sub-system)」について理解されるべきものについて説明する。
【０００６】
生物学的には、腹側経路(ventral (visual) pathway、腹側視覚路とも呼ばれる)および背側経路(dorsal (visual) pathway)、背側視覚路とも呼ばれる）があり、また、腹側注意網(ventral attention network)および背側注意網(dorsal attention network)がある。背側注意網が、大部分は背側視覚路の一部であるという事実はさておき（すなわち、より正確には、背側注意網は、背側視覚路上に構築されるが、その境界は、さほどはっきりしていない）、これらの位置およびこれらの機能の両方を参照すると、これらのすべては互いに異なっている。たとえば、Fritschによる文献では、腹側視覚路および背側視覚路を参照しているが、これらは、それぞれの機能に起因して、”what”経路および”where”経路とも呼ばれている。
【０００７】
対して、本発明の注意システムは、背側注意網および腹側注意網を用いる。しかしながら、腹側注意網は、その名称にかかわらず、腹側（すなわち、”what”）経路とは全く異なる。腹側経路は、側頭葉に位置する領域から成るが、腹側注意網は、側頭葉の上にあり、かつ前頭葉にある領域から成り、右脳にのみある。よって、背側注意サブシステムは、脳の背側注意網をモデル化し、腹側注意サブシステムは、脳の腹側注意網をモデル化する。
【０００８】
本発明は、予期されないものであるが、高度に行動的に関連する(behavior-relevant)対象物および状況を、たとえば車両の前方の空間をモニタするステレオカメラの画像に対して作用する、視覚に基づく動的注意システムによって検知する、自動化された支援システムに関する。
【０００９】
従来技術
計算的注意システムにおける最新のものは、簡単に言えば、注意に関するボトムアップ型の顕著性(saliency)モデルと、注意に関するトップダウン型の顕著性モデルと、ボトムアップ型の顕著性およびトップダウン型の顕著性の両方を統合したモデルと、に細分される。ボトムアップ型の顕著性モデルおよびそのアプリケーションの例として、下記の非特許文献１、２、３、４、５、６、７および８がある。このようなアプローチは、典型的には、画素の色、画素の輝度、局所的なエッジの方向および局所的な動きといった、画像の広範囲に渡る異なる特徴を考慮している。各特徴について、いくつかの特徴マップが、異なる空間スケールで、あるいは異なる画像解像度で計算され、ここで、各特徴マップは、画像の各位置について、その位置に対応する特徴がどのように異なっているかを示す。これは、典型的には、中心−周辺(center-surround)原則に基づいて、画像処理メカニズムにより達成される。本発明は、ここで引用されたものと類似のボトムアップ型の顕著性モデルを、構築ブロックとして採用するが、さらに、このボトムアップ型の顕著性モデルに、付加的な顕著性モデルを追加し、これにより、ボトムアップ型の顕著性モデルの制限された機能を超えたものとする。
【００１０】
トップダウン型の顕著性モデルは、例としては、下記の非特許文献９、１０、１１、１２、１３、１４、１５、１６、１７、１８および１９にあり、基本的には、同じ特徴マップ装置から成るが、ボトムアップ型の顕著性モデルに対して、これらの特徴マップは、特徴の異なる組み合わせを強調することができるような動的なやり方で組み合わせられる。ボトムアップ型の顕著性モデルに対する有利な点は、たとえボトムアップ型の顕著性マップにおいてそれらが特有なもの(distinctive、弁別可能なもの)ではないにしても、トップダウン型の顕著性モデルは、異なる特徴組み合わせによって特徴付けられる異なる対象物に調整(tune)されることができる点にある。ボトムアップ型の顕著性モデルに加え、本発明はまた、トップダウン型の顕著性モデルを、別の構築ブロックとして採用する。
【００１１】
Fritschらによる「Towards a Human-like Vision Sensor for Driver Assistance」では、運転者支援システムが記述され、これは、背側経路および腹側経路を採用して、対象物のカテゴリおよび位置を検出する（whatおよびwhere処理経路）。対象物認識（対象物の”what”）の後、対象物の位置およびそのラベルが、該対象物をその後の画像上で追跡するため（対象物の”where”を追跡する）、短期記憶に記憶される。さらに、対象物距離が、該短期記憶にあるすべての対象物について、レーダから取得された計測値に基づいて計算される。該距離情報に基づいて、危険レベルが計算され、必要に応じて警告メッセージが生成される。
【００１２】
この文献によると、”where”経路は、追跡を実行するが、危険の評価および警告の生成は、両方とも、ＳＴＭ（短期記憶）における対象物から計算される。危険および警告の計算は、追跡されている該ＳＴＭ内の、以前に認知された（および既に分類された）対象物に対する距離に基づいている（”where”経路に対し”known objects （既知の対象物）”として示される）。
【００１３】
これに対して、本発明の腹側注意サブシステム(ventral attention sub-system)は、以前に認知されている既知の対象物、領域ないし事柄に依拠しない。代わりに、特徴マップが、その期待（該期待(expectations)は、内部モデルからくるものであり、ＢＵ（ボトムアップ）型の顕著性およびＴＤ（トップダウン）型の顕著性が有するものではない）に反した何らかのものを示す場合に、信号を生成する。
【００１４】
なお、下記の特許文献１は、渋滞（ストップアンドゴー）の交通状況において、車両を案内するための運転者支援システムを記述する。
【００１５】
本発明は、第３の顕著性(saliency)モデルを、ボトムアップ型およびトップダウン型の顕著性に追加し、ここで、特徴の顕著性は、該特徴についての期待と、実際に観察したものとの間の不一致の程度によって定義される。他方、原則的に、このモデルは、下記の非特許文献２０および２１にて提案されている、いわゆるサプライズ・メトリック(surprise metric、驚きの計測)との類似性を持ち、３つの独立した並列処理として、ボトムアップ型の顕著性、トップダウン型の顕著性、および、上記のような驚き(surprise)に基づく第３の顕著性モデルを組み合わせるシステムは、これまで、何ら提案も構築もされていない。当該文献２０および２１では、たとえば、サプライズ・メトリックは、ボトムアップ型の顕著性モデルの出力に直接適用され、こうして、ボトムアップ型の構成要素を置き換える。本発明では、これに対し、これら３つの顕著性モデルは等しく、互いに相互作用する。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】L. Itti, C. Koch, and E. Niebur, “A model of saliency-based visual attention for rapid scene analysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 11, pp. 1254-1259, 1998. [Online]. Available: http://citeseer.ist.psu.edu/itti98model.html
【非特許文献２】L Itti, “Models of bottom-up attention and saliency”, Neurobiology of Attention, 2005
【非特許文献３】F Orabona, G Metta, G Sandini, “Object-based visual attention: a model for a behaving robot”, IEEE Computer Vision and Pattern Recognition - Workshops, 2005
【非特許文献４】SJ Park, JK Shin, M Lee, “Biologically inspired saliency map model for bottom-up visual attention”, Lecture Notes in Computer Science, 2002-Springer
【非特許文献５】W Kienzle, FA Wichmann, B Scholkopf, MO Franz, “A nonparametric approach to bottom-up visual saliency”, Advances in neural information processing systems, 2007
【非特許文献６】SJ Park, SW Ban, JK Shin, M Lee, “Implementation of visual attention system using bottom-up saliency map model”, Lecture notes in computer science, 2003
【非特許文献７】D Gao, N Vasconcelos, “Bottom-up saliency is a discriminant process”, IEEE International Conference on Computer Vision, 2007
【非特許文献８】U Rutishauser, D Walther, C Koch, P Perona, “Is bottom-up attention useful for object recognition?”, Computer Vision and Pattern Recognition, 2004. CVPR 2004
【非特許文献９】SB Choi, SW Ban, M Lee, “Biologically motivated visual attention system using bottom-up saliency map and top-down inhibition”, Neural Information Processing-Letters and Reviews, 2004
【非特許文献１０】V. Navalpakkam and L. Itti, “Modeling the influence of task on attention,” Vision Research, vol. 45, no. 2, pp. 205-231, Jan 2005.
【非特許文献１１】A Oliva, A Torralba, MS Castelhano, JM Henderson, “Top-down control of visual attention in object detection”, Image Processing, 2003. ICIP 2003
【非特許文献１２】S. Frintrop, VOCUS: A Visual Attention System for Object Detection and Goal- Directed Search (Lecture Notes in Computer Science / Lecture Notes in Artificial Intelligence). Secaucus, NJ, USA: Springer-Verlag New York, Inc., 2006.
【非特許文献１３】V Navalpakkam, L Itti, “A goal oriented attention guidance model”, Lecture Notes in Computer Science, 2002
【非特許文献１４】RJ Peters, L Itti, “Beyond bottom-up: Incorporating task-dependent influences into a computational model of spatial attention”, CVPR 2007
【非特許文献１５】B Rasolzadeh, M Bjorkman, JO Eklundh, “An attentional system combining topdown and bottom-up influences”, Lecture Notes in Computer Science, 2007, NUMB 4840, pages 123-140, SPRINGER-VERLAG
【非特許文献１６】M Cerf, J Harel, W Einhauser, C Koch, “Predicting human gaze using low-level saliency combined with face detection”, Advances in neural information processing systems, 2008
【非特許文献１７】B Khadhouri, Y Demiris, “Compound effects of top-down and bottom-up influences on visual attention during action recognition”, International Joint Conference on Artificial Intelligence, IJCAI, 2005
【非特許文献１８】T. Michalke, J. Fritsch, and C. Goerick, “Enhancing robustness of a saliency-based attention system for driver assistance,” in The 6th Int. Conf. on Computer Vision Systems (ICVS’08), Santorini, Greece, 2008.
【非特許文献１９】J. Fritsch, T. Michalke, A. R. T. Gepperth, S. Bone, F. Waibel, M. Kleinehagenbrock, J. Gayko, and C. Goerick, “Towards a human-like vision system for driver assistance,” in Proc. of the IEEE Intelligent Vehicles Symposium (IV), B. D. Schutter, Ed. IEEE Press, 2008.
【非特許文献２０】Itti, L. Baldi, P., “A Principled Approach to Detecting Surprising Events in Video”, CVPR 2005, VOL 1, pages 631-637
【非特許文献２１】T Xu, Q Muhlbauer, S Sosnowski, K Kuhnlenz, M Buss, “Looking at the Surprise: Bottom-Up Attentional Control of an Active Camera System”, Control, Automation, Robotics and Vision, ICARCV 2008
【特許文献】
【００１７】
【特許文献１】ＥＰ ２０２８６３２ Ａ１
【発明の概要】
【発明が解決しようとする課題】
【００１８】
本発明の目的は、特に予期しない事象に関し、車両の運転者を支援するための、改良された、自動化された方法およびシステムを提案することである。
【課題を解決するための手段】
【００１９】
上記の目的は、独立請求項の特徴によって達成される。従属請求項は、さらに、本発明の主要なアイデアを発展させるものである。
【００２０】
本発明の第１の側面によると、たとえば運転者支援システムまたは自律型ロボットのために、視覚に基づく注意システムが提案され、該システムは、
−少なくとも１つの視覚センサと、
−少なくとも１つの２次元特徴マップを生成するよう、該視覚センサの出力信号を処理する少なくとも１つの画像処理モジュールと、
−該少なくとも１つの特徴マップに基づいて、第１の顕著性マップを生成する背側注意サブシステム(dorsal attention subsystem)であって、該顕著性マップは、該運転者支援システムの第１の注意の焦点(focus、的)を示す、システムと、
−上記背側注意サブシステムとは独立して設けられ、該背側注意サブシステムによって生成された信号に依拠しない腹側注意サブシステム(ventral attention subsystem)であって、前記少なくとも１つの特徴マップに基づいて、第２の顕著性マップを生成する腹側注意サブシステムと、を備え、該第２の顕著性マップは、前記背側注意サブシステムによって使用されるものと同じでもよく、あるいは異なってもよい。該第２の顕著性マップは、予期しない視覚刺激を示す。
【００２１】
「予期しない視覚刺激(unexpected visual stimuli)」は、
−該システムの以前の視覚入力および該システムの検知された自己運動(ego-motion)から予測される視覚刺激（該自己運動は、たとえば、内部センサまたは衛星に基づくセンサを用いて検知されることができる）、および、
−視覚刺激の予め記憶されたモデル（これは、たとえば、期待されるものとして学習されることができる）、
を、視覚センサの入力視野から削除した後に残存する、該視覚センサの入力視野における視覚刺激である。
【００２２】
腹側注意サブシステムの特徴マップは、視覚センサのオプティカルフローを表すことができ、該オプティカルフローは、各画素に、２つの異なるサンプリングされた画像間の動きを表す速度ベクトルが割り当てられる２次元マップである。
【００２３】
腹側注意サブシステムは、予期しない刺激が検知された場合には、背側注意サブシステムによって生成される注意に対して、高い優先度を有する。
【００２４】
第２の顕著性マップにおける予期しない視覚刺激は、オプティカルフローの予期（期待）される方向および検知された方向の間の差に基づいて生成されることができる。
【００２５】
オプティカルフローの該期待される方向は、視覚センサの入力視野の中心点を中心とした放射フロー(radial flow)として設定されることができる。
【００２６】
背側注意サブシステムは、ボトムアップ型の顕著性モジュールを備えることができる。
【００２７】
また、背側注意サブシステムは、トップダウンの顕著性モジュールを備えることができる。
【００２８】
本発明のさらなる側面は、上記のような運転者支援システムが設けられる車両に関する。ここで、該運転者支援システムは、たとえばステアリング、ブレーキ（制動）手段および（または）アクセル（加速）手段のような、該車両のアクチュエータのための出力信号を生成する。
【００２９】
本発明によるさらなる特徴、目的および有利な点は、添付の図面と共に、以下の本発明の実施形態の詳細な説明を読むことにより当業者には自明となろう。
【図面の簡単な説明】
【００３０】
【図１】本発明に従う、システムの基本構成を示す図。
【図２】前方にある車についてのタスク誘起型の期待が、トップダウン型の特徴重み付けの手段によって、背側注意サブシステムを調整することを示す（左側）。結果として、注意に関するシステムの焦点は、実際に前方の車に当てられ、これが、分類サブシステム（右側）によって確認される。これは、該システムの注意ダイナミクスの安定した状態を表している。
【図３】車道上に転がるボールの予期しない動きが腹側注意サブシステムによって検知され、再方向付け応答をトリガする（起動する）ケースを示す（左側）。該ボールが、分類サブシステムによって認識されたとき、該再方向付けは終了し、以前は予期しなかった刺激が、既知のものとなる。これは、その後、トップダウン型の特徴の重み付けの手段により、該システムによって積極的に焦点を当てられることができ（右側）、これは、該システムの注意ダイナミクスの再び安定した状態を表す。
【図４】本発明を実現する、技術的なシステムの概要を示す図。
【発明を実施するための形態】
【００３１】
通常の状態下、すなわち、実験に基づく設定ではない状態下では、注意(attention)は、現在のタスクないし目的のようなトップダウンの情報によって強く駆動される。車を運転することは、これが真である状況の一例である。注意の当該分野の最新の計算モデルにおいて、この種の注意は、トップダウン型の顕著性（saliency）の周知の概念によって実現され、これにより、現在のタスク（大部分は、探索（サーチ）タスク）について関連する対象物に向けて、様々な低レベルの特徴検知器を選択的に調整(tune)することが可能となる。これは、タスク関連の対象物の高速の検知を可能にするが、特徴の検知器が現在調整されていない対象物を検知することができないという欠点がある。しかしながら、対象物は、システムに高度に関連することがあり、それらが、該システムの現在のタスクに関連しないとしても、検知され適切に取り扱われなければならない。運転というシナリオにおいては、たとえば、該システムが、前方にある車について距離を維持するタスクに従事している間にも、ボールが車道上に転がってくるかもしれない。
【００３２】
トップダウン型の顕著性とは別に、注意についての最新の計算モデルはまた、ボトムアップ型の顕著性の周知の概念を取り入れる。トップダウン型の顕著性に対し、ボトムアップ型の顕著性は、該システムによって現在実行されているタスクとは独立しており、画像データそれ自身のみを考慮するという点で、非特定的なものである。こうして、ボトムアップ型の顕著性を使用して、実現される特徴に関して何らかの理由でポップアウトした（pop-out、飛び出してきた）画像における対象物および位置を検知することができる。ボトムアップ型の顕著性の手段によって検知することのできるそのような対象物の例は、交通信号の赤いライトである。しかしながら、一般に、該システムに高度に関連するが、上記の意味において現在のタスクには関連しない多くの対象物（たとえば、車道上に転がってくるボール）は、十分にポップアウトするものとは限らず、よって、該対象物については、ボトムアップ型の顕著性によって高い信頼性で検知することはできない。
【００３３】
このため、本発明は、トップダウン型およびボトムアップ型の顕著性に加え、現在の状況に典型的ではない新規の／予期しない刺激についての検知器として動作する、注意についての第３の計算モデルを取り入れることを提案する。一つの実現例において、これは、低レベル特徴のレベルで計算される。たとえば、直線の道路に沿って運転している間、放射状のオプティカルフローとなるのが典型的なケースであり、よって予期されるものである。車道上に転がるボールによって引き起こされるような非放射状のオプティカルフローは、運転している間は予期されるものではなく、よって、該ボールを検知するのに使用されることができる。本発明は、トップダウン型およびボトムアップ型の顕著性を含む、注意についての既知の計算モデルに、新規な検知のためのこの第３の注意モデルを、これら３つの注意モデルが該システム内において相互作用しあうように、取り入れる。
【００３４】
該システムは、教師無し学習手法によって、様々な状況における「典型的(typical)」な特徴の分散を学習することができ、これは、それらが、速やかかつ豊富に観察可能であるために可能である（これに対し、予期しない／典型的でない特徴は、それらが稀にしか生じないために、このような学習を行うことができない）。
【００３５】
システム・アーキテクチャ
本発明により提案されるシステムのアーキテクチャの基本的な構造が、図１に示されており、これは、以下のような５つのサブシステムから成る。
【００３６】
・画像処理モジュール
・背側注意モジュール
・腹側注意モジュール
・分類モジュール
・期待生成モジュール
【００３７】
画像処理モジュールのサブシステムは、（２）に示すような入力画像が与えられた場合、（１）に示すような、種々の２次元特徴マップを計算する
【数１】
【００３８】
各特徴マップは、たとえば、方向性を有するコントラストのエッジ(oriented contrast edge)ないしオプティカルフローのような、所定の特徴に専念（集中）したものとなる。背側注意サブシステムは、該特徴マップを、以下の（３）のような１つの顕著性マップ(saliency map)に統合し、ここから、さらに、以下の（４）のように、画像座標における所定の２Ｄ（二次元）位置、典型的には、大域的最大値(global maximum)となる２Ｄ位置を、計算する。
【数２】
【００３９】
この２Ｄ位置PFoAは、該システムの注意の現在の焦点を表す。すなわち、以降の処理ステップは、画像全体にではなく、PFoAおよびそのローカルな近傍に集中して実行される。
【００４０】
結果として、分類のためのサブシステムが、以下の（５）に示すようなローカル（局所的）な画像パッチを考慮し、その視覚的な外観に基づいて、ＲｐＦｏＡが対応する対象物カテゴリ（以下の（６）で表される）を推定する。ここで、以下の（７）で示されるＣは、該システムに既知の対象物カテゴリの総数である。期待生成サブシステムは、ｃperceivedまたはタスクｔが与えられた場合における、期待される対象物カテゴリ（以下の（８）で表される）を生成することによって、ループを閉じる。ｃexpectedは、その後、背側注意サブシステムに伝えられ、ここで、特徴マップが組み合わせるやり方に影響し、よって、注意の焦点PFoAに影響する。
【数３】
【００４１】
背側注意サブシステムと同様に、腹側注意サブシステムはまた、上記の特徴マップに作用し、これらを、以下の（９）に示すような１つの顕著性マップに統合する。
【数４】
【００４２】
該腹側注意サブシステムは、それらを、異なるやり方で統合する。なぜなら、注意の焦点PFoAを計算することが直接的な目的ではなく、たとえば、予期しない動きのような、現在の状況下での該システムの期待に反する刺激を検知することが、目的だからである。この場合、該システムは、現在実行しているタスクｔを停止する割り込み事象（以下の（１０）で示される）を生成し、同時に、背側注意サブシステムに、粗い空間優先度（coarse spatial prior,以下の（１１）で示される）を提供し、これによって、該システムが、該予期しない刺激に対して再方向付け（reorient;再適応）することを可能にする。
【数５】
【００４３】
我々の着目点が、個々のサブシステムそれらに重点を置いているのではない点に注意されたい。結果として、我々は、それらの実現のために既存の最新のアルゴリズムを採用する。代わりに、我々は、該システム内におけるそれらの動的な相互作用に関心があり、特に、これによってシステムが、腹側注意サブシステムによって検出された予期しない刺激に対して再適応可能になる方法に関心がある。これは、我々の以前のシステム（後述する参考文献１２）で採用されている注意のタスク指向の考えを超えたものである。アテンション・ダイナミクス(attention dynamics,注意ダイナミクス)を示すため、我々は、以下のセクションにおいて、直感的な例を考慮に入れる。
【００４４】
予期しない視覚刺激の標示に関して、ＢＵ（ボトムアップ）型の顕著性マップは、該システムのタスクに現在関連している対象物の典型的な（すなわち、「期待される」）特徴に調整されるＴＤ（トップダウン）の顕著性マップの範囲には無い刺激ないし特徴を検知する。この意味において、ＢＵ型の顕著性は、「予期しない」特徴を検知するものといえる。腹側注意サブシステムは、特別な種類の予期しない特徴を検知する。すなわち、該システムは、関心のある或る対象物の典型的な特徴が何かについての知識は有していないが（ＴＤ型の顕著性は該知識を有している）、代わりに、該システムが現在存在している全体的なシーン(scene)の典型的な特徴が何かについての知識は有している。この種の「予期しない」特徴は一般的なものであり、ＴＤ型の顕著性が、一時に１つの対象物クラスについてのサーチのみを行うことができるのに対し、腹側注意システムは、該シーンの異なる部分における典型的な特徴について多くの同時発生の期待を有することができ、これらは、該システムによって絶えずモニタされ、それらのいずれかが反している場合には警告が生成される。
【００４５】
背側注意システムは、ＴＤ型の顕著性を含み、これは、どの特徴が対象物について典型的であるかに関する知識を考慮することによって、関心のある対象物を検知するよう調整されることができる（この点に関し、どの特徴が典型的であるかについての知識を有しているものの、所定の対象物についての知識ではなく、状況全体についての知識である腹側注意システムとは異なる）。ＴＤ型の顕著性（これまでに述べてきたすべての技術的なＴＤ顕著性）が、非常に特定的であるがため、一時に１つの対象物クラスにのみ調整されることができる。
【００４６】
腹側注意サブシステムは、典型的には、背側注意サブシステムと同じ特徴マップに作用するが、典型的な特徴からなる内部モデルを考慮する。これらのモデルを、たとえば、経験や統計から学習することができる。なぜならば、その定義上、頻繁に観察されることができず、よってモデルによる学習が不可能でないとしても困難なものとなる非典型的な特徴すなわち予期しない特徴とは異なり、典型的な特徴は、頻繁に観察されることができるものだからである。したがって、腹側注意サブシステムは、期待される特徴からの“ずれ（差）”として、典型的でない／予期しない特徴を検知し、それについて、モデルを学習することができる。これらのモデルの学習を、背側注意システムにおけるＴＤ型顕著性についての対象物の外観のＴＤ重み付けの学習と類似したものと考えることができるが、腹側注意モデルは、対象物についてのみ特定的というわけではない。
【００４７】
腹側注意サブシステムは、背側注意システムと特徴マップを共有してもよい。腹側注意システムは、同じ特徴マップに作用するとしても、それらを、背側注意システムとは異なるように処理する点に注意されたい、また、腹側注意サブシステムは、何が典型的な特徴であるかについての内部モデルを考慮し、これらは、該システムが経験から学習することができる。これにより、特徴マップのみを有する背側注意システムにおけるＢＵ型顕著性とは異なるものとなり、また、現在のタスクについて重要な対象物の外観についての期待（または、「モデル」）を有する背側注意システムにおけるＴＤ型顕著性（すなわち、これは、どの特徴が、関心のある対象物の典型的なものか、であり、該システムが現在存在する状況についてどの特徴が一般的に典型的なものか、ではない）とも異なるものとなる。
【００４８】
腹側注意システムは、並列に、多くの期待／モデルの活動を持ち、これは、該システムが、対象物の所定の種類を見つけることを欲するものではなく、典型的な特徴の多くのモデルのうちの１つが違反されているかどうかをモニタすることを欲するためである。
【００４９】
ＴＤ型顕著性に加え、背側注意システムはＢＵ型顕著性を含み、これは、“ポップアウト”の刺激（たとえば、フラッシュライト付きのサイレンや、交通信号の赤のライト）を検知することができる。これはまた、非常の有効な機能であり、腹側注意システムが、交通信号の赤のライトに対して、検出ないし反応する必要がなくなる。なぜなら、それらは、交通環境にとって典型的なものだからである（たとえば、赤に突然変わるその前の緑の交通信号のライトについては、例外となろう）。
【００５０】
背側注意サブシステムのＢＵ型顕著性は、腹側注意システムとは異なる意味での刺激を検出する。すなわち、腹側注意システムは、特徴マップ自体に加えて、典型的な特徴についてのその内部モデルを有しているが、ＢＵ型顕著性は、特徴マップのみを有している。したがって、ＢＵ型顕著性は、ポップアウト型の刺激の検出に制限され、これは、腹側注意システムとは根本的に異なる。実際、我々は、腹側注意システムが、ＢＵ型顕著性が検出することのできない予期しない刺激（たとえば、予期しないボール）を検出することができる状況の例を示す。
【００５１】
本発明に従う注意システムは、全体的に、いわば３つの「顕著性」からなり、それは、背側注意システムに包含されるＢＵ型顕著性およびＴＤ型顕著性と、腹側サブシステムと、である。本発明における意味での「予期しない」刺激は、腹側注意システムの、何が典型的な特徴であるかについての内部モデルに反した刺激を意味する。
【００５２】
注意ダイナミクスの例
該システムが、交通環境内にあり、前方の車に対する距離を維持するタスクが現在実行中であると仮定する。経験から、該システムは、対象物のカテゴリが「車」であり、空間的な優先度(spatial prior)が「前方」であり、行動(behavior)が「ブレーキ」および「アクセル」であることを該タスクが必要としている点を認識している。以下の考慮において、行動についてはさておき、該システムはまた、経験から、様々な特徴マップの観点から、対象物カテゴリ「車」をどう表現するかを認識している。すなわち、どの特徴が、対象物カテゴリ「車」について特有のものであり、どの特徴が該特有のものでないかを知っている。結果としてのトップダウンの特徴の重み付けは、背側注意システムが特徴マップを組み合わせるやり方を調整する（図２の左側を参照）。これにより、車は高度に顕著なものとなるが、該シーンにおける他の部分は顕著にならない顕著性マップとなる。同様に、該システムは、経験から、空間優先度「前方」が、２Ｄ画像空間にどのように変換されるかを認識しており、これは、前方にある車の顕著性をさらに増すと共に、周辺にある車の顕著性を減少することによって、該顕著性マップに影響する。トップダウンの特徴の重み付けおよび空間優先度の組み合わされた効果の結果として、注意の焦点（的）が、前方にある車に実際に当てられる。分類サブシステムはこれを確認し、安定した状態を達成する（図２の右側）。
【００５３】
該システムが、その距離を維持するタスクに専念している間、ボールが車道上に転がると想定する。この予期しない事象は、背側注意サブシステムにおけるトップダウン型の顕著性によっては検知されることができない。すなわち、対象物カテゴリ「ボール」に特有の特徴は、タスクによってトップダウン型の顕著性が現在調整(tune)されている「車」についての特有の特徴とは非常に異なる。背側注意サブシステムのボトムアップ型の顕著性は、該ボールを検知することができる。なぜなら、該ボトムアップ型の顕著性は、原則的に、利用可能な全ての異なる特徴マップを考慮し、それらの所定のサブセット（一部）に調整されることはないからである。背景に対するその動きおよびそのコントラストに起因して、ボールに対応する少なくとも何らかのアクティビティ（活動性）が存在する。しかしながら、このアクティビティは、非常に制限されており、該シーンの他の部分（たとえば、他の交通参加者）に比べて目立つものではない。これは、ボトムアップ型の顕著性の特定性(specificity)の欠落、という欠点である。
【００５４】
さらに、該タスクの存在に起因して、全体としてボトムアップ型の顕著性マップの影響は、トップダウン型の顕著性マップの影響に比べて、大きく低下する。なぜなら、これは、現在進行中のタスクから該システムの注意をそらすものとなるからである。この現象は、”change blindness（変化の見落とし）”（後述する参考文献１３を参照）として知られている。
【００５５】
対して、腹側顕著性マップにおいて、動いているボールは、２つの理由により、高い程度のアクティビティをもたらす。すなわち、第１に、車道に転がるボールは、このような交通シーンにおいて通常は起こらない、システム環境における予期しない変化であるからである。特に、動きの方向は、強く、システムの期待（たとえば、自己運動および異なる車線で動く他の交通参加者によって、放射方向の動きを予測する）に反するものである。第２に、この予期しない変化は、該システムの行動に強く関連している。なぜならば、安全に運転することは、車の前方の領域が空いていることを示すからであり、ボールに続いて、該ボールを追いかけて走る子供が存在するかもしれないからである。したがって、該ボールは、腹側顕著性マップにおいて非常に顕著なものとなり、よって、割り込みをかけて粗い空間優先度(coarse spatial prior)を提供することによって、再方向付け（reorient、再適応）の応答をトリガする。この段階で、該システムも腹側注意サブシステムも、再適応の応答を何がトリガしたのかを認識していない点に注意されたい。すなわち、割り込みは、単に、該何かが起こったことを該システムに知らせるだけであり、背側注意サブシステムに対する粗い空間優先度が、それをどこで探すべきかの大まかな合図（キュー）を提供する。
【００５６】
割り込みは、該システムの現在のタスクを停止し、それと共に、背側注意サブシステム上への対応するトップダウンの特徴の重み付けの影響を停止する。こうして、トップダウンおよびボトムアップの顕著性の間のバランスが、後者の方にシフトされる。腹側注意サブシステムによって提供された粗い空間優先度と共に、ボールに対応するボトムアップ型の顕著性マップにおけるアクティビティは、該シーンにおける他の部分に比べて、今や顕著なものとなる。結果として、該システムの注意の焦点は、該ボールに再方向付けされる。分類サブシステムが、それをボールと認識するやいなや、以前は予期しない刺激であったものが、既知のものとなる。これにより、再方向付け（再適応）の応答の終了がマーク付けされる（図３の左側参照）。
【００５７】
その後、腹側注意サブシステムは、その通常の状態に戻る。該システムにとっての該ボールが持つ関わり合い具合に依存して、以下のように、異なる事柄が起こることがある。すなわち、ボールが、たとえば転がり去ったために、該システムに対してほとんど重要なものでなくなった場合、該システムは、割り込みされたタスクを継続することができ、これにより、前方にある車に再度焦点を当てる。ボールを、たとえばそれが道をブロックしているがために、取り扱わなければならない場合、該システムは、それを回避するためのタスクを設定しなければならず、こうして、ボールに対してさらに焦点を当てることとなる。さらに、該システムが、経験から、ボールに続いて、該ボールを追いかけて走る子供がいるかもしれないことを認識する場合、該システムは、該期待される子供を積極的に捜すタスクを設定することができる。いずれのケースも、注意ダイナミクスに関し、該システムは、図２の右側に示すような安定状態に復帰し、これは、現在必要とされるトップダウン特徴重み付けの観点でのみ異なることとなる。
【００５８】
実現
該提案されるアーキテクチャを実現するための技術的なシステム例の概要が、図４に示されている。大きいボックスは、システム・アーキテクチャの欄で述べた５つのサブシステムに対応し、ここでは、それらの実現をより詳細に示しており、これについては以下に記述される。すべての実現は、Ｃコードで行われ、分散実時間システムのRTBOS/DTBOSフレームワークに埋め込まれる（後述する参考文献１４を参照）
Ａ．画像処理
全体として、該技術的なシステム例への入力は、より具体的には、画像処理サブシステムへの入力は、以下の（１２）に示すように、一対のカラーのステレオ画像である。
【数６】
該画像処理サブシステムは、以下の３つの並列処理ステップから成る。
・顕著性特徴の計算
・ステレオ相関
・オプティカルフローの計算
【００５９】
顕著性特徴計算は、ｉleftに作用し、様々な特徴マップを計算し、これらは、後述する参考文献７で使用されるものと同じである。考慮される特徴として、異なる方向およびスケールにおける輝度コントラストエッジおよびカラーコントラストエッジが含まれ、これらは、さらに、オン−オフおよびオフ−オンのコントラストエッジに細分されることができる。それぞれの特徴マップは、これらの特徴のうちの１つに集中するよう作成され、画素（以下の（１３）で表される）に割り当てられた値（以下の（１４）で表される）は、ｆｊによって表される方向、スケールおよびタイプ（種類）のコントラストエッジが（ｘ，ｙ）に存在する程度を示す。ここで、以下の（１５）で表されるＦは、特徴マップｆｊの総数を示す。
【数７】
【００６０】
ステレオ相関は、ｉleftおよびｉrightの両方に作用し、局所相関法（参考文献１５を参照）を使用して、視差マップ（以下の（１６）で表される）を計算する。該視差マップｉdispは、視差値（以下の（１７）で表される）を各画素に割り当てる。ここで、以下の（１８）で表される視差値が有効である。以下の（１９）で表される視差値は無効であり、これは、たとえば均一な(homogeneous)画像領域内の相関の不確かさに起因して生じることがある。無効な視差値については、さらなる処理は行われない。
【数８】
【００６１】
オプティカルフロー計算は、ｉleftに作用し、また、以前の時間ステップでのｉleftをも考慮し、これら２つのものから、以下のように、オプティカルフローマップiflowX、iflowYを、後述する参考文献１６に記載の方法を使用して計算する。
【数９】
【００６２】
各画素には、以下に示すように、画像座標での速度ベクトルが割り当てられ、これは、以前の時間ステップに対する画素の変位を示す。該速度ベクトルは、該変位の方向および大きさの両方を表す。
【数１０】
【００６３】
得られたすべての特徴マップｆｊ、ｉdisp、ｉflowｘ、ｉflowY は、共に、該画像処理サブシステムの出力を表す。
【００６４】
背側注意(Dorsal Attention)
背側注意サブシステムは、全体として、特徴マップｆｊに作用し、以下の４つの処理ステップから成る。
・ボトムアップの顕著性
・トップダウンの顕著性
・顕著性の組み合わせ
・最大の選択
【００６５】
並列に稼動するボトムアップおよびトップダウン型の顕著性を除き、実行順序はシーケンシャルである。背側注意サブシステムの実現は、後述する参考文献７に提示された作業に対応し、以下、簡単に要約して述べる。
【００６６】
ボトムアップ型の顕著性は、以下の（２１）で示すように、特徴マップの重み付けされた合計を計算することにより、以下の（２０）で示すように、該特徴マップを、１つの（ボトムアップ）の顕著性マップに組み合わせる。 ここで、以下の（２２）で示すのは、ｆｊに対応するボトムアップ型の特徴の重み付け(feature weight)をそれぞれ表す。以下の（２３）で示すトップダウン型の特徴の重み付けとは異なり、以下の（２２）で示されるボトムアップ型の特徴重み付けは、以下の（２４）で示されるように等値を持つよう前もって規定され、実行時においても変化しない。こうして、画素のボトムアップ型の顕著性（以下の（２５）で表される）は、特徴マップで表される特徴が位置（ｘ，ｙ）に存在する程度を示し、何の特徴が存在するかの情報を要約したものとなる。
【数１１】
【００６７】
トップダウン型の顕著性も、以下の（２８）に示すように、特徴マップの重み付けされた合計を計算することにより、以下の（２７）に示すように、該特徴マップを組み合わせて、１つの（トップダウン）顕著性マップとする。ここで、以下の（２９）に示されるのは、ｆｊに対応するトップダウン型の特徴の重み付けをそれぞれ表す。しかしながら、以下の（３０）に示されるボトムアップ型の特徴重み付けとは異なり、（２９）で示されるトップダウン型の特徴重み付けは、一定ではなく、実行時に動的に変化されることができる。
【数１２】
【００６８】
我々のケースでは、以下の（３１）で示されるトップダウン型の特徴重み付けは、期待生成サブシステムによって定義され、異なるｆｊが、期待される対象物カテゴリＣexpectedに特有である程度を示す。
【数１３】
【００６９】
これら２つの顕著性マップは、以下の（３２）に示すように、それらの重み付けされた合計を計算することにより、１つの顕著性マップに組み合わせられる。
【数１４】
【００７０】
その後、最大選択の処理で、背側顕著性マップがその最大値を持つ所の画素を見極める。この画素は、該システムの注意の現在の焦点を表しており、全体として、背側注意サブシステムの出力となる。
【００７１】
分類(Classification)
分類サブシステムは、以下のシーケンシャルな処理ステップからなる。
・セグメント化
・領域選択
・分類
・最大の選択
【００７２】
分類器（後述する参考文献１７を参照）は、たとえば車のドメインにおける「車」、「歩行者」、および「交通標識」のような、その考慮しているドメインについて典型的な様々な対象物カテゴリｃ１、．．．ｃＣについて事前訓練されているとする。前述の（７）で示されるように、Ｃは、該システムに既知である対象物カテゴリの総数を示す。
【００７３】
その後、最大選択の処理では、最も高い活動性を持つ対象物カテゴリを見極める、という決定を行う。該対象物カテゴリは、該システムが現在何を知覚しているかを表しており、全体として、分類サブシステムの出力となる。
【００７４】
期待生成(Expectation Generation)
期待生成サブシステムは、知覚された対象物カテゴリまたはタスクに基づいて、期待される対象物カテゴリを生成する。
【００７５】
該期待は、その後、対象物レベルから特徴レベルに、マッピングによって変換される。結果としてのトップダウン型特徴重み付けのセットは、その後、背側注意サブシステムに伝えられる。
【００７６】
腹側注意(Ventral Attention)
腹側注意サブシステムは、全体として、ｉflowX およびｉflowY に作用し、以下の３つの処理ステップから成る。
・放射状に関する抑制
・最大の計算
・しきい値化
【００７７】
放射状に関する抑制の処理では、一方では、ｉflowXおよびｉflowYに基づいて腹側顕著性マップを計算し、他方では、放射状動きモデル(radial motion model)を計算する。放射状動きモデルは、画像座標の中心点によって定義され、該車ドメインにおいては、該システム自身の車の自己運動が放射状のオプティカルフローとなり、その道路の異なる車線に沿って動いている他の交通参加者もまた、放射状のオプティカルフローとなる、という該システムの期待を表している。このモデルは、直線道路に沿って運転している間は最も良好なオプティカルフローを予測するので、我々の腹側注意サブシステムは、全体的に均一な(uniform)オプティカルフローの存在を検知した場合には、該システム自身を一時的に非活動とする。これは、ｉflowXおよびｉflowYの計算を基礎とする変位マップから自動的に判断され（参考文献１６を参照）、カーブに沿って運転している場合や平坦でない道路を運転している間の誤検知を防止するのに重要である。
【００７８】
そうでなければ、画素（ｘ，ｙ）における速度ベクトル（ｉflowX（ｘ，ｙ），flowY（ｘ，））を、放射状動きモデルによって予測される速度ベクトルの方向を表すベクトル（ｘ−ｃＸ，ｙ−ｃＹ）と比較することにより、以下の（３３）で示される顕著性マップを計算する。
【数１５】
【００７９】
その後、最大計算の処理では、最大の活動性（アクティビティ）を、それが生じている位置と共に見極める。この位置は、再方向付けの応答がトリガされる場合に背側注意サブシステムに伝えられることとなる粗い空間優先度(coarse psatial prior)を表す。
【００８０】
再方向付け応答は、以下の（３４）で示される値が所定のしきい値を超えるときにトリガされる。該しきい値を超えたならば、ｐunexpectedが背側注意サブシステムに送られ、同時に、割り込みが、期待生成サブシステムに送られて、進行中のタスクを停止すると共に、「＝０」を設定することによってトップダウン型の特徴重み付けのセットによる影響を停止し、こうして、ボトムアップ型の顕著性に向かってバランスをシフトする。
【数１６】
【００８１】
本発明のアプリケーション領域の例
１．実世界の車において動作する運転者支援システム。
【００８２】
本発明は、車が、予期しないが取り扱うことを必要とする重要な状況を検出することを可能にする（たとえば、車道上に転がるボール、ゲートウェイ（出入り口）からはみ出して運転している車）。
２．実世界のロボットにおいて動作する注意システム。
【００８３】
本発明は、ロボットが、何らかのタスクに専念している間でも、その環境において予期しない事象を検出することを可能にする（たとえば、ロボットが、対象物を握っている間に近づいてくる人）。
【００８４】
参考文献
[1] L. Itti, C. Koch, and E. Niebur, “A model of saliency-based visual attention for rapid scene analysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 11, pp. 1254-1259, 1998. [Online]. Available: http://citeseer.ist.psu.edu/itti98model.html
[2] L Itti, “Models of bottom-up attention and saliency”, Neurobiology of Attention, 2005
[3] F Orabona, G Metta, G Sandini, “Object-based visual attention: a model for a behaving robot”, IEEE Computer Vision and Pattern Recognition - Workshops, 2005
[4] SJ Park, JK Shin, M Lee, “Biologically inspired saliency map model for bottom-up visual attention”, Lecture Notes in Computer Science, 2002-Springer
[5] W Kienzle, FA Wichmann, B Scholkopf, MO Franz, “A nonparametric approach to bottom-up visual saliency”, Advances in neural information processing systems, 2007
[6] SJ Park, SW Ban, JK Shin, M Lee, “Implementation of visual attention system using bottom-up saliency map model”, Lecture notes in computer science, 2003
[7] D Gao, N Vasconcelos, “Bottom-up saliency is a discriminant process”, IEEE International Conference on Computer Vision, 2007
[8] U Rutishauser, D Walther, C Koch, P Perona, “Is bottom-up attention useful for object recognition?”, Computer Vision and Pattern Recognition, 2004. CVPR 2004
[9] SB Choi, SW Ban, M Lee, “Biologically motivated visual attention system using bottom-up saliency map and top-down inhibition”, Neural Information Processing-Letters and Reviews, 2004
[10] V. Navalpakkam and L. Itti, “Modeling the influence of task on attention,” Vision Research, vol. 45, no. 2, pp. 205-231, Jan 2005.
[11] A Oliva, A Torralba, MS Castelhano, JM Henderson, “Top-down control of visual attention in object detection”, Image Processing, 2003. ICIP 2003
[12] S. Frintrop, VOCUS: A Visual Attention System for Object Detection and Goal- Directed Search (Lecture Notes in Computer Science / Lecture Notes in Artificial Intelligence). Secaucus, NJ, USA: Springer-Verlag New York, Inc., 2006.
[13] V Navalpakkam, L Itti, “A goal oriented attention guidance model”, Lecture Notes in Computer Science, 2002
[14] RJ Peters, L Itti, “Beyond bottom-up: Incorporating task-dependent influences into a computational model of spatial attention”, CVPR 2007
[15] B Rasolzadeh, M Bjorkman, JO Eklundh, “An attentional system combining topdown and bottom-up influences”, Lecture Notes in Computer Science, 2007, NUMB 4840, pages 123-140, SPRINGER-VERLAG
[16] M Cerf, J Harel, W Einhauser, C Koch, “Predicting human gaze using low-level saliency combined with face detection”, Advances in neural information processing systems, 2008
[17] B Khadhouri, Y Demiris, “Compound effects of top-down and bottom-up influences on visual attention during action recognition”, International Joint Conference on Artificial Intelligence, IJCAI, 2005
[18] T. Michalke, J. Fritsch, and C. Goerick, “Enhancing robustness of a saliency-based attention system for driver assistance,” in The 6th Int. Conf. on Computer Vision Systems (ICVS’08), Santorini, Greece, 2008.
[19] J. Fritsch, T. Michalke, A. R. T. Gepperth, S. Bone, F. Waibel, M. Kleinehagenbrock, J. Gayko, and C. Goerick, “Towards a human-like vision system for driver assistance,” in Proc. of the IEEE Intelligent Vehicles Symposium (IV), B. D. Schutter, Ed. IEEE Press, 2008.
[20] Itti, L. Baldi, P., “A Principled Approach to Detecting Surprising Events in Video”, CVPR 2005, VOL 1, pages 631-637
[21] T Xu, Q Muhlbauer, S Sosnowski, K Kuhnlenz, M Buss, “Looking at the Surprise: Bottom-Up Attentional Control of an Active Camera System”, Control, Automation, Robotics and Vision, ICARCV 2008
【特許請求の範囲】
【請求項１】
視覚に基づく注意システムであって、
少なくとも１つの視覚センサと、
少なくとも１つの２次元特徴マップを生成するよう、前記視覚センサの出力信号を処理する少なくとも１つの画像処理モジュールと、
前記少なくとも１つの特徴マップに基づいて、第１の顕著性マップを生成する背側注意サブシステムであって、該顕著性マップは、運転者支援システムの注意の焦点を示す、システムと、
前記注意の焦点に影響を及ぼす期待であって、前記背側注意サブシステムに伝えるべき期待を生成する期待生成サブシステムと、
前記背側注意サブシステムとは独立し、前記少なくとも１つの特徴マップに基づいて、第２の顕著性マップを生成する腹側注意サブシステムであって、該特徴マップは、前記背側注意サブシステムにおいて用いられるものと同じでもよいし異なってもよい、システムと、を備え、
前記第２の顕著性マップは、該システムの期待に反した、予期しない視覚刺激を示しており、前記背側注意サブシステムに割り込み事象を生成して、該システムが、該予期しない視覚刺激に対して注意の焦点を再方向付けすることを可能にする、
システム。
【請求項２】
前記予期しない視覚刺激は、該システムの以前の視覚入力および該システムの検知された自己運動から予測された視覚刺激、および、たとえば期待されるものとして学習されることのできる視覚刺激について予め記憶されたモデルを、前記視覚センサの入力視野から削除した後に残存する、該視覚センサの入力視野における視覚刺激である、
請求項１に記載のシステム。
【請求項３】
前記腹側注意サブシステムの特徴マップは、前記視覚センサのオプティカルフローを表しており、該オプティカルフローは、各画素に、２つの異なるサンプリングされた画像間の動きを表す速度ベクトルが割り当てられた２次元マップである、
請求項１または２に記載のシステム。
【請求項４】
前記腹側注意サブシステムは、予期しない刺激が検知された場合には、前記背側注意サブシステムによって生成される注意に対し、高い優先度を有する、
請求項１から３のいずれかに記載のシステム。
【請求項５】
前記第２の顕著性マップにおける前記予期しない視覚刺激は、前記オプティカルフローの期待される方向および検知された方向の間の差に基づいて検知される、
請求項１から３のいずれかに記載のシステム。
【請求項６】
前記オプティカルフローの前記期待される方向は、前記視覚センサの入力視野において中心点を中心とした放射フローである、
請求項５に記載のシステム。
【請求項７】
前記背側注意サブシステムは、ボトムアップ型の顕著性モジュールを備える、
請求項１から６のいずれかに記載のシステム。
【請求項８】
前記背側注意サブシステムは、トップダウン型の顕著性モジュールを備える、
請求項１から７のいずれかに記載のシステム。
【請求項９】
前記背側注意サブシステムの出力は、分類モジュールに供給される、
請求項１から８のいずれかに記載のシステム。
【請求項１０】
さらに、請求項１から９のいずれかに記載の注意システムを備えた、運転者支援システム。
【請求項１１】
請求項１０に記載の運転者支援システムを備えた車両であって、
該運転者支援システムは、ステアリング、制動手段および（または）加速手段のような、該車両のアクチュエータのための出力信号を生成する、
車両。
【請求項１２】
請求項１から９のいずれかに記載の注意システムを備えた、自律型ロボット。
【請求項１】
視覚に基づく注意システムであって、
少なくとも１つの視覚センサと、
少なくとも１つの２次元特徴マップを生成するよう、前記視覚センサの出力信号を処理する少なくとも１つの画像処理モジュールと、
前記少なくとも１つの特徴マップに基づいて、第１の顕著性マップを生成する背側注意サブシステムであって、該顕著性マップは、運転者支援システムの注意の焦点を示す、システムと、
前記注意の焦点に影響を及ぼす期待であって、前記背側注意サブシステムに伝えるべき期待を生成する期待生成サブシステムと、
前記背側注意サブシステムとは独立し、前記少なくとも１つの特徴マップに基づいて、第２の顕著性マップを生成する腹側注意サブシステムであって、該特徴マップは、前記背側注意サブシステムにおいて用いられるものと同じでもよいし異なってもよい、システムと、を備え、
前記第２の顕著性マップは、該システムの期待に反した、予期しない視覚刺激を示しており、前記背側注意サブシステムに割り込み事象を生成して、該システムが、該予期しない視覚刺激に対して注意の焦点を再方向付けすることを可能にする、
システム。
【請求項２】
前記予期しない視覚刺激は、該システムの以前の視覚入力および該システムの検知された自己運動から予測された視覚刺激、および、たとえば期待されるものとして学習されることのできる視覚刺激について予め記憶されたモデルを、前記視覚センサの入力視野から削除した後に残存する、該視覚センサの入力視野における視覚刺激である、
請求項１に記載のシステム。
【請求項３】
前記腹側注意サブシステムの特徴マップは、前記視覚センサのオプティカルフローを表しており、該オプティカルフローは、各画素に、２つの異なるサンプリングされた画像間の動きを表す速度ベクトルが割り当てられた２次元マップである、
請求項１または２に記載のシステム。
【請求項４】
前記腹側注意サブシステムは、予期しない刺激が検知された場合には、前記背側注意サブシステムによって生成される注意に対し、高い優先度を有する、
請求項１から３のいずれかに記載のシステム。
【請求項５】
前記第２の顕著性マップにおける前記予期しない視覚刺激は、前記オプティカルフローの期待される方向および検知された方向の間の差に基づいて検知される、
請求項１から３のいずれかに記載のシステム。
【請求項６】
前記オプティカルフローの前記期待される方向は、前記視覚センサの入力視野において中心点を中心とした放射フローである、
請求項５に記載のシステム。
【請求項７】
前記背側注意サブシステムは、ボトムアップ型の顕著性モジュールを備える、
請求項１から６のいずれかに記載のシステム。
【請求項８】
前記背側注意サブシステムは、トップダウン型の顕著性モジュールを備える、
請求項１から７のいずれかに記載のシステム。
【請求項９】
前記背側注意サブシステムの出力は、分類モジュールに供給される、
請求項１から８のいずれかに記載のシステム。
【請求項１０】
さらに、請求項１から９のいずれかに記載の注意システムを備えた、運転者支援システム。
【請求項１１】
請求項１０に記載の運転者支援システムを備えた車両であって、
該運転者支援システムは、ステアリング、制動手段および（または）加速手段のような、該車両のアクチュエータのための出力信号を生成する、
車両。
【請求項１２】
請求項１から９のいずれかに記載の注意システムを備えた、自律型ロボット。
【図１】
【図４】
【図２】
【図３】
【図４】
【図２】
【図３】
【公開番号】特開２０１１−８７７２（Ｐ２０１１−８７７２Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−１１２０６６（Ｐ２０１０−１１２０６６）
【出願日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（５０３１１３１８６）ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー (50)
【氏名又は名称原語表記】Ｈｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２０１０−１１２０６６（Ｐ２０１０−１１２０６６）
【出願日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（５０３１１３１８６）ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー (50)
【氏名又は名称原語表記】Ｈｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ
【Ｆターム（参考）】
[ Back to top ]