生物の眼球運動神経システムに基づいたバイオ型自動視覚と視線制御システム
【課題】本発明は生物の眼球運動制御の原理を用いて、カメラの視覚認識と視線運動制御システムを構築する。
【解決手段】 本発明の基本システムには、眼に相当するものは広角及び望遠レンズ付きの複数のカメラにより構成されたカメラセットであり、各カメラセットは人間の眼球のように３自由度に回転でき、さらに衝動性眼球運動、滑動性眼球運動、前庭動眼反射、視機性反射運動など人間の眼球運動の特徴を有する。すなわち、本発明のシステムは注視する視標の高速切り替え、高精度・高速の視標追従運動、基盤の振動により生じた視線偏差の補償などの機能を備えている。特に本発明の両眼モデルの場合は両眼が人間のように同一視標しか追従できない特徴があり、視標の距離を瞬時に測定することができる。本システムは広範囲の監視と重要箇所の高精度の画像を同時に得られるので、監視、保安、看護など広い領域で応用可能である。さらに、本システムは自身の運動を補償する機能があるので、車、船、飛行機、ロボットなどの運動物体の視覚としても最適である。本システムを玩具やペットロボットの眼の運動制御に応用する場合、その眼球は生き物のように動くので、持ち主には玩具やペットロボットに「魂」が入っているような感覚を与えることができる。
【解決手段】 本発明の基本システムには、眼に相当するものは広角及び望遠レンズ付きの複数のカメラにより構成されたカメラセットであり、各カメラセットは人間の眼球のように３自由度に回転でき、さらに衝動性眼球運動、滑動性眼球運動、前庭動眼反射、視機性反射運動など人間の眼球運動の特徴を有する。すなわち、本発明のシステムは注視する視標の高速切り替え、高精度・高速の視標追従運動、基盤の振動により生じた視線偏差の補償などの機能を備えている。特に本発明の両眼モデルの場合は両眼が人間のように同一視標しか追従できない特徴があり、視標の距離を瞬時に測定することができる。本システムは広範囲の監視と重要箇所の高精度の画像を同時に得られるので、監視、保安、看護など広い領域で応用可能である。さらに、本システムは自身の運動を補償する機能があるので、車、船、飛行機、ロボットなどの運動物体の視覚としても最適である。本システムを玩具やペットロボットの眼の運動制御に応用する場合、その眼球は生き物のように動くので、持ち主には玩具やペットロボットに「魂」が入っているような感覚を与えることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生物の眼球運動機能を眼球運動の生理学・解剖学に基づいて、工学で実現するロボットビジョンに関するものである。
【背景技術】
【０００２】
従来のカメラによる目標（視標）の追従法は主に視覚フィードバック制御法のみである。この手法のみを用いる場合、注視する目標の切り替えや高速に移動する視標の追従に不十分である。また、カメラ自身の振動や運動に対する補償手法は主に画像処理による画像の微小移動に対する調節制御である。ホームビデオカメラの手ぶれ防止はその一例である。また、ジャイロによるカメラ支持台の振動に対する補償制御法もあるが、並進運動の影響を考えていなく、視覚フィードバックとの連携制御も行っていない。特に、カメラ２台以上を用いた立体画像認識処理の場合、各カメラを相対的に固定していることが殆どであり、各カメラが相対的に運動できる場合、各カメラが注視する目標を同一のものにするカメラ運動制御手法はまだ確立されていない。ズームカメラ、望遠レンズカメラ、広角レンズカメラを連携して、各カメラ視線の運動制御を行う手法も確立していない。
【発明の開示】
【発明の効果】
【０００３】
本発明は自動視覚と視線制御システムを構築することを目的とし、人間の両眼の運動制御神経システムを解析し、その制御原理を用いてカメラ視線の自動制御システムとその制御法を発明した。このシステムと方法は高精度、高速度で目標の正確な位置を認定し、視線を追従させることができる。すなわち、カメラ自身の強烈かつ大範囲の振動や運動により引き起される視線の振動と偏差を補償することができる。また、両眼運動制御システムを提案し、複数のカメラを同一視標を追従させる制御手法を確立した。さらに、ズームレンズ付きカメラ、望遠レンズ付きカメラ、広角レンズ付きカメラなどを統合制御することによって、目標の高精度測定、高精度追従、高精度撮像ができると同時に、広範囲の観察、監視することができる。
本発明は、以下の手法によって実現できる。
本システムの基本構造は中央コントローラによる単眼と両眼構造である。各「眼球」は一つのカメラセットにより構成される。上述したカメラセットは一台または複数台異なるレンズまたは撮像素子を持つカメラによって構成される。二つの単眼を両眼制御システムで制御する場合、両眼と呼ぶ。
１． 単眼の基本構造：一台広角レンズ付きカメラ（以後、広角カメラと呼ぶ）は人間の眼球の中心窩を除いた網膜に相当する。もう一台望遠レンズ、またはズームレンズ付きカメラ（以後、望遠カメラ）は眼球の中心窩に相当する。すなわち、広角カメラと望遠カメラを組み合わせれば、完全なる眼球を構成することができる。広角カメラと望遠カメラは互いの関係によって相対的に定義する。例えば、遠い山を観察するカメラを広角カメラと定義すると、それに対応する望遠カメラは山の上の樹木を観察できるカメラである。各「眼球」は２台または３台アクチュエータにより駆動し、その全体を単眼と呼ぶ。単眼の機能を人間の眼球を超さすために、単眼は複数台の撮像領域の異なり、またはズーム能力の異なるカメラによって構成することができる。この様な単眼によって構成した両眼は両眼間の距離を任意設定可能である。両眼の距離が離れければ離れるほど遠距離の物体の位置測定が精密になり、人間の眼を遥かに超える正確さを得られる。また、同じカメラセット内の広角カメラと望遠カメラが平行に接近設置するので、広角カメラの視野に「興味のある物体」を発見したとき、カメラセットが高速回転し、カメラの視線をこの物体に照準する（人間の衝動性眼球運動に対応）ことによって、この物体は自然に望遠カメラの視野に入る。したがって、望遠カメラから興味のある物体の鮮明な画像を得られる。
２． 固定した広角レンズ付きカメラまたは全方位カメラを単眼または両眼に配合して利用することができる。例えば、視野の広いところに広角レンズカメラまたは全方位カメラを設置し、一台または数台の単眼と一緒に監視システムを構成する。この様な監視システムは監視範囲内のすべての物体の運動過程を記録することができ、各運動物体または特徴のある物体の鮮明な画像を得られる。また、監視されている人間は一つの場所からほかの場所へ移動するとき、この人間の位置信号を別の場所の監視カメラの制御システムに転送することによって、監視される人間を二人として数えることがない。
３． 固定した広角カメラまたは全方位カメラの視野に「興味のある物体」を発見したとき、その物体の位置を算出し、単眼または両眼に対する方向を求め、単眼または両眼の視線を当該物体に照準する。すなわち、この物体をカメラセットの広角カメラと望遠カメラの視野に入り、望遠カメラで鮮明な画像を得る。精度が十分ではなく、この物体がカメラセットの望遠カメラの視野に入っていない場合、前述のようにカメラセットにある広角カメラの視野に入ったこの「興味のある物体」の位置を検出し、カメラの視線をこの物体に照準することによって、この物体を望遠カメラの視野に入れる。
興味のある物体が望遠カメラの視野に入った場合、この物体の特徴点を抽出し、望遠カメラの視線をこの特徴点に照準するためにカメラセットを運動させる（人間の２次衝動性眼球運動に対応する）。また、この特徴点が運動する場合、望遠カメラの画像を処理するプログラムが当該特徴点の視野の中心点に対する横方向と縦方向の距離と移動速度を算出し、その距離と速度の情報を用いてカメラセットの運動を制御し、視線を当該特徴点に追従させる（滑動性眼球運動制御に対応する）。広角カメラの複数の「興味のある物体」が出現する場合、各物体の出現の前後関係や視野にある位置関係を用いて、番号をふり、上述の方法を用いて順番に注視する。ここでいう「興味のある物体」はユーザの要求によって設定することができる。例えば、運動している物体、特定な色の物体、特定の形状の物体（顔、人間の形、車、階段など等）、または、キーボードやマウスなどのインターフェースを通じて直接指定した物体など。同様に、望遠カメラに複数の特徴点を出現した場合、各特徴点の位置関係などで、一定の順序と一定な時間間隔で逐一に照準する。
また、運動する物体（例えば車）の上に当該眼球運動装置を装着する場合、眼球運動装置をまず加速度センサの付いた基盤の上に設置し、次にその基盤をその運動物体に設置する。この場合、基盤上の加速度センサにより検出した運動物体の振動信号を用いて眼球を制御し、物体の運動により生じた眼球の視線の偏差を補償する（人間の前庭動眼反射に対応する）。ここで言う基盤は人間の頭部に相当する。理想的には基盤も１から３自由度回転運動でき（人間の頚部に相当する）、３自由度回転運動加速度センサと３自由度並進運動加速度センサ各一対を用いて基盤の両側に基盤の中心線を対称に設置する。
頭部の両側またはほかの部位に複数のマイクフォンを設置し、音声処理で音源の位置を測定し、その音源を視標として基盤（頭部）または眼球を回転し、注視する。
本発明の制御は以下の２手法で実現する。
１．視標の位置信号は広角カメラから来る。すなわち、広角カメラからの画像信号を処理し、視標の位置を検出する。この視標の位置信号を用いて、事前に設定した「衝動性眼球運動制御信号曲線」を選び、フィードフォワード式に眼球運動を制御し、視線を視標の位置に照準させる。「衝動性眼球運動制御信号曲線」と言うのは、視線をある位置からある視点に移動する場合に、事前に用意した眼球運動システムの最適運動制御曲線のデーターである。この様な方法で眼球運動制御システムの最も速い衝動性眼球運動を実現できる。
２．視線が視標を追跡するための信号は望遠カメラと基盤に設置してある加速度センサから来る。すなわち、望遠レンズから検出した視線と視標のズレと加速度センサから検出した基盤の加速度または速度信号を用いて視線を視標に追従するように眼球運動システムを制御する。次式（１）と（２）は望遠カメラから取り込んだ画像から検出した視標と視線の位置偏差信号と相対速度信号、および加速度センサから検出した基盤の加速度信号を入力信号とした眼球運動システムの運動制御方程式である。
以上の手法を用いた本自動視覚と視線制御システムは監視に利用する場合、現場にいるものを順次に鮮明な画像を取り込み・記録することができ、各来場者の全時間の運動軌跡を記録することができる。さらに、来場者の運動軌跡や位置、または顔の特徴（マスクやサングラスを付けているなど）により各レベルの警報を出すことができる。このシステムは様々な場所の室内と室外の監視に利用できることのみならず、近距離の低空監視を行い、レーダの補助にも利用できる。また、本システムは各運動する装置や設備の上にも設置することができる。例えば車、列車、飛行機、船などの上に装着し、前庭動眼反射の原理を用いて、これらの乗り物の運動や振動により生じた視線の変動を補償することもできる。さらに、このシステムをロボットの眼として利用し、ロボットの視覚認識能力を大幅向上することが可能である。このシステムを眼として玩具に装着することによって、玩具を生き物のように見えることが可能である。
【実施例】
【０００４】
両眼視覚と視線運動制御システムの基本構成は図１に示す。各眼球に２台のカメラによって構成される（必要の時増減可能）。一つは広角カメラ、もう一つは望遠カメラである。両カメラは平行接近設置する（できる限り近いほうがいい）。この視覚装置の運動システムには９自由度を持つ。各眼球（カメラセット１）に３自由度（必要のときに２自由度も可）、頭部（基盤１１）には３自由度（必要に応じて自由度を減るまたは自由度なしに設計することも可）である。
基盤１１の上に二つのカメラセット１を設置する。モータの制御回路は以下である。中央制御器４から出力したデジタル信号はＤ／Ａ変換器９に入力し、Ｄ／Ａ変換器９から変換されたアナログ信号をモータのドライバ５に入力し、ドライバ５はモータ６を駆動する。モータ６に設置されている回転角センサ７はモータ６の回転角度信号をＡ／Ｄ変換器（またはカウンター）１０に入力し、中央制御器４に伝える。
各カメラセット１の画像信号は画像入力ボード３を経由して、中央制御器４に入力され、画像処理によって、対象物体（視標）の各カメラ視線に対する位置（角度）と速度（角速度）を検出する。
回転および並進加速度センサ８から頭部（基盤１１）の回転および並進運動を検出し、Ａ／Ｄ変換（またはカウンター）ボード１０を経由して中央制御器４に入力する。
頭部（基盤１１）両側のマイクフォン２からの音声信号は音声処理ボード１２を経由して中央制御器４に入力され、音源の頭部に対する位置を測定する。
【０００５】
図２は視覚と視線制御システムの座標系を示す。座標ｘＡ−ｌ−ｙＡ−ｌ−ｚＡ−ｌとｘＡ−ｒ−ｙＡ−ｒ−ｚＡ−ｒは左右の加速度センサ８に固定されている座標であり、ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒは左右の眼球（カメラセット１）に固定している座標である。ｘＯ−ｌ−ｙＯ−ｌ−ｚＯ−ｌとｘＯ−ｒ−ｙＯ−ｒ−ｚＯ−ｒは左右の眼窩に固定している座標である。すなわち、原点はカメラセット１の回転中心点で、ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒと同じが、座標系は頭部（基盤１１）に対し相対固定する座標系である。θ１，θ２はモータ６ｌｚとモータ６ｒｚの回転角である。すなわち、ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒがそれぞれｚＯ−ｌとｚＯ−ｒ軸廻り回転した角度である。θ３，θ４，はモータ６ｌｙとモータ６ｒｙの回転角である。すなわち、ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒがそれぞれｙＯ−ｌとｙＯ−ｒ軸廻り回転した角度である。ψ３，とψ４は視標がそれぞれの眼窩固定座標ｙＯ−ｌとｙＯ−ｒ軸廻りの回転角である。図２の座標は皆左右対称である。すなわち、モータ６ｌｚとモータ６ｒｚ及びモータ６ｌｙとモータ６ｒｙは正回転方向逆である。
【０００６】
両眼の左右運動制御システムのブロック線図は図３に示す。ψｔ−ｌとψｔ−ｒはそれぞれ左のカメラセット１ｌと右のカメラセット１ｒの望遠カメラから測定した目標と視線の横方向の誤差である。ψｗ−ｌとψｗ−ｒｒはそれぞれ左のカメラセット１ｌと右のカメラセット１ｒの広角カメラから測定した目標と視線の横方向の誤差である。ψｔ−ｌ、ψｔ−ｒとψｗ−ｌ、ψｗ−ｒの両方はψ１−θ１，ψ２−θ２
と回転角加速度信号である。図３の広角カメラが測定した信号ψｗ−ｌ，ψｗ−ｒの伝達経路以外の制御システムの方程式は以下に示す。
式の中にＴｖｍ，Ｔｖ，Ｔｓは時定数であり、ρ，ρｒ，σ，σｒ，η，ηｒ，κｘ，κｘｒ，κｙ，κｙｒ，κψ，κψｒは全て正の係数であ
対しての運動速度である。式（１）はよせ運動（ｖｅｒｇｅｎｃｅ）の方程式であり、式２は共役運動（ｃｏｎｊｕｇａｔｅ）の方程式である。式（１）＋式（２）と式（１）−式（２）を行うと、それぞれのモータの回転角を求めることができる。式（１）と式（２）から、共役運動の応答速度（時定数Ｔｖｍ［１＋（ρ−ρｒ）（η−ηｒ）］／［１＋Ｔｖｍ（ρ−ρｒ）（σ−σｒ）］の逆数に比例する）はよせ運動の速度（時定数Ｔｖｍ［１＋（ρ＋ρｒ）（η＋ηｒ）］／［１＋Ｔｖｍ（ρ＋ρｒ）（σ＋σｒ）］の逆数に比例する）より速い。この特性は両眼が同じ視標を注視するために非常に重要である。
広角カメラからの画像を処理して得られる視標の信号ψｗ−ｌとψｗ−ｒは視線を現在位置から別の注視点への高速移動（衝動性眼球運動に相当するので、以後はこの運動を衝動性眼球運動と呼ぶ）のときに用いる。すなわち、注視する視標の切換や視線から離れすぎた視標のキャッチアップなどのようなときに用いる眼球運動である。具体的にψｗ−ｌとψｗ−ｒは事前に用意した衝動性眼球運動制御曲線を選ぶのに用いる。また、視線制御システムは衝動性眼球運動を行うときは望遠カメラからの信号を遮断する。
衝動性眼球運動制御曲線の生成はフーリエ級数変換法を用いて実現する。具体的に、もし、視線を時間Ｔ以内に現在位置から目標位置へ移動すると設定する場合、システムの制御曲線以下のｍ本周期Ｔ，Ｔ／２，Ｔ／３，．．．Ｔ／ｍである正弦と余弦曲線によって合成することができる。
ただし、ａ０，ａｎ，ｂｎ，は制御誤差をフーリエ逆変換法を用いて周波数毎の誤差に分離し、繰り返し学習によって得られる。すなわち、以下の式を用いて学習を行う。
ただし、ｉは学習の回数を表し、Ｒ（ｔ）は制御対象（ここではモータ）の最適出力軌跡であり、ｉθ（ｔ）はｉ回目学習後の制御対象の出力曲線（ここでは制御するモータの回転角軌跡）である。図３の制御対象であるモータ６ｌとモータ６ｒは同じ方法で同時に学習を行う。このような方法で衝動性眼球運動制御曲線を生成すれば、各曲線は２ｍ＋１個の係数（ａ０，ａｎ，ｂｎ，ｎ＝１，２…ｍ）で生成または保存できる（一般的にｍ＜１０である）。各カメラセット１には数１０万本の衝動性眼球運動制御曲線を必要する場合があるので、このような方法で大量なメモリ容量を節約できるのみならず、「取り出し」（生成）にも便利である。
【０００７】
両眼の上下運動制御システムのブロック線図は図４に示す。ψｔ−ｌとψｔ−ｒそれぞれ左のカメラセット１ｌと右のカメラセット１ｒの望遠カメラから測定した目標と視線の縦方向の偏差である。ψｔ−ｌとψｔ−ｒはそれぞれ左のカメラセット１ｌと右のカメラセット１ｒの広角カメラ
加速度センサから検出した並進加速度信号と回転角加速度信号である（図２を参照）。図４と図３の制御原理は全く同じである。ただし、眼球が上下運動時に両眼の相対運動（左右運動時のよせ運動に相当）は生理学領域ではまた発見していないので、ここでは、ρ＝ρｒに設定する。すなわち、θ３とθ４はいつも同じである。
図３と同じ、上下の眼球運動制御のブロック線図図４の場合も、広角カメラのからの信号は「衝動性眼球運動制御曲線」を選ぶために使われ、フィードフォワード制御を行う。望遠カメラからの視標とカメラ視線の偏差信号、および視標の視線に対する運動速度信号は視覚フィードバック制御に用いられる。加速度センサ８より測定した並進および回転加速度信号は基盤の振動を補償するためのフィードフォワード運動制御（前庭動眼反射に相当）に用いる。ここでの制御システムではこれらの加速度信号を直接利用するではなく、漏れのある積分器（Ｔ／（Ｔｓ＋１））を通してからの信号を用いる。単眼の制御システムは図３と４のそれぞれの左または右の半分で制御を行う。また、玩具などのような単純な両眼運動制御の場合は一つのモータが両眼を同時に駆動（この場合よせ運動ができない）すれば充分であるので、図３と図４のモータを一つにすることで制御を実現できる。玩具の眼球にはカメラがなく、すなわち、眼球以外のところにカメラ一台を設置する場合は、さらに片方の視覚フィードバック回路を切断する必要がある。
本自動視覚と視線制御システムを監視システムとして利用した場合、例えば室内に利用する場合、天井、または視野の広いところで固定した「天眼」、すなわち、超広角レンズ付きカメラ（魚眼など）または全方位カメラ、を設置し、視野内のすべての物体の運動軌跡を記録することができる。同時に、興味を持つ物体の位置を視線運動制御装置に伝え、追従を行う。
図５の中に、主眼と副眼は共に２自由度回転のできる単眼構造である。天眼は全方位カメラである。未知の人間が部屋に入ったとき、まず、天眼がその人間の大体の位置を検出し、主眼と副眼にその位置を伝える。主眼と副眼は高速回転し、この人物を広角カメラの視野に入れる。更に、主眼の広角カメラの画像信号を用いて、人物の頭部を検出し、視野の中心（すなわち、視線）を人物の頭部に照準する。望遠カメラ広角カメラと並行接近設置しているので、人物の頭部は自然に望遠カメラの視野に入り、ズーム調整することによってこの人物の頭部の鮮明な画像を取ることができる。この場合、副眼は広角カメラを持たなくても大丈夫である。主眼の望遠カメラの視線と天眼から、この人物の頭部位置を正確に測定できるので、この頭部位置信号を用いて副眼の望遠カメラを制御し、人物の頭部に照準することができる。主眼と副眼は同時に撮影または録画するので、人物の頭部の異なる側面の映像を得られる。
本監視システムにはマイクを取り入れることも可能である。すなわち、音源の位置を測定し、視線運動制御装置を音源に向けさせ、発音したところの状況を「見る」。
本自動視覚と視線制御システムの最良構成は両眼システム（カメラセットを２組を持ち、協調制御を行う）である。設置場所や目的に応じて、この両眼システムを一組または複数組を同時利用が可能である。また、各カメラセットに用途によってその広角と望遠機能が任意に組み合わせることができる。一般的に、中央コントローラが最も優先的に処理している「眼球」は主眼と呼ぶ。両眼システムの２組のカメラセットは同じ目標を追従するが、各両眼システムはそれぞれ異なる目標を追従することができる（人間で例えれば、一人の人間は同じ時刻は一つの物体しか注視と追従できないが、複数の人間なら、同時に複数の物体を注視と追従することができる）。
【図面の簡単な説明】
【０００８】
【図１】両眼視覚と視線運動制御システムの構成である。
【図２】両眼視覚と視線運動制御システムの座標系
【図３】両眼視覚と視線運動制御システムの左右運動の制御ブロック線図である。
【図４】両眼視覚と視線運動制御システムの上下運動の制御ブロック線図である。
【図５】監視システムとして利用する場合の具体例である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生物の眼球運動神経システムに基づいたバイオ型自動視覚と視線制御システムに関し、詳しくは、生物の眼球運動機能を、眼球運動の生理学・解剖学に基づいて工学で実現するバイオ型自動視覚と視線制御システム（ロボットビジョン）に関するものである。
【背景技術】
【０００２】
従来のカメラによる目標（視標）の追従法は、主に視覚フィードバック制御法のみである。この手法のみを用いる場合、注視する目標の切り替えや高速に移動する視標の追従に対しては不十分である。また、カメラ自身の振動や運動に対する補償手法は主に画像処理による画像の微小移動に対する調節制御である。ホームビデオカメラの手ぶれ防止はその一例である。また、ジャイロによるカメラ支持台の振動に対する補償制御法もあるが、並進運動の影響を考えていなく、視覚フィードバックとの連携制御も行っていない。特に、カメラ２台以上を用いた立体画像認識処理の場合、各カメラを相対的に固定していることが殆どであり、各カメラが相対的に運動できる場合、各カメラが注視する目標を同一のものにするカメラ運動制御手法はまだ確立されていない。ズームカメラ、望遠レンズカメラ、広角レンズカメラを連携して、各カメラ視線の運動制御を行う手法も確立していない。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、人間の両眼の運動制御神経システムを解析し、その制御原理を用いてカメラ視線の自動制御システムとその制御法であるバイオ型自動視覚と視線制御システムを構築することを目的とするものである。
【課題を解決するための手段】
【０００４】
本発明は、生物の眼球運動神経システムの原理を模擬したバイオ型自動視覚と視線運動制御システムであって、一台若しくは複数台の並列設置してあるカメラにより構成される一つまたは複数のカメラセット１と、カメラセット１を搭載するための基盤１１と、各カメラセット１を基盤１１に対して１または３自由度の回転を可能にする複数台のアクチュエータ６と、アクチュエータ６の回転角度や回転速度を検出する一つまたは複数のセンサ７と、基盤１１に設置する一つまたは複数の基盤１１の回転加速度と併進加速度センサと、各カメラ、各センサ７などからの信号を受け取り、各アクチュエータ６の運動を制御し、外部と信号をやり取りする中央コントローラ４とを有することを最も主要な特徴とする。
【発明の効果】
【０００５】
本発明によれば、高精度、高速度で目標の正確な位置を認定し、視線を追従させることができる。すなわち、カメラ自身の強烈かつ大範囲の振動や運動により引き起される視線の振動と偏差を補償することができる。また、両眼運動制御システムを提案し、複数のカメラを同一視標を追従させる制御手法を確立した。さらに、ズームレンズ付きカメラ、望遠レンズ付きカメラ、広角レンズ付きカメラなどを統合制御することによって、目標の高精度測定、高精度追従、高精度撮像ができると同時に、広範囲の観察、監視することができる。
【発明を実施するための最良の形態】
【０００６】
本発明は、以下の手法によって実現できる。
本発明のバイオ型自動視覚と視線運動制御システムシステムの基本構造は、中央コントローラ４による単眼と両眼構造である。各「眼球」は一つのカメラセット１により構成される。上述したカメラセット１は一台または複数台異なるレンズまたは撮像素子を持つカメラによって構成される。二つの単眼を両眼制御システムで制御する場合、両眼と呼ぶ。
１． 単眼の基本構造：一台広角レンズ付きカメラ（以後、広角カメラと呼ぶ）は人間の眼球の中心窩を除いた網膜に相当する。もう一台の望遠レンズ、またはズームレンズ付きカメラ（以後、望遠カメラ）は眼球の中心窩に相当する。すなわち、広角カメラと望遠カメラを組み合わせれば、完全なる眼球を構成することができる。広角カメラと望遠カメラは互いの関係によって相対的に定義する。例えば、遠い山を観察するカメラを広角カメラと定義すると、それに対応する望遠カメラは山の上の樹木を観察できるカメラである。各「眼球」は２台または３台のアクチュエータ６により駆動し、その全体を単眼と呼ぶ。単眼の機能を人間の眼球の機能以上とするために、単眼は複数台の撮像領域の異なり、またはズーム能力の異なるカメラによって構成することができる。この様な単眼によって構成した両眼は、両眼間の距離を任意設定可能である。両眼の距離が離れければ離れるほど遠距離の物体の位置測定が精密になり、人間の眼を遥かに超える正確さを得られる。
また、同じカメラセット１内の広角カメラと望遠カメラが平行に接近設置するので、広角カメラの視野に「興味のある物体」を発見したとき、カメラセット１が高速回転し、カメラの視線をこの物体に照準する（人間の衝動性眼球運動に対応）ことによって、この物体は自然に望遠カメラの視野に入る。したがって、望遠カメラから興味のある物体の鮮明な画像を得ることができる。
２． 固定した広角レンズ付きカメラまたは全方位カメラを単眼または両眼に配合して利用することができる。例えば、視野の広いところに広角レンズカメラまたは全方位カメラを設置し、一台または数台の単眼と一緒に監視システムを構成する。この様な監視システムは監視範囲内のすべての物体の運動過程を記録することができ、各運動物体または特徴のある物体の鮮明な画像が得られる。また、監視されている人間は一つの場所からほかの場所へ移動するとき、この人間の位置信号を別の場所の監視カメラの制御システムに転送することによって、監視される人間を二人として数えることがない。
３． 固定した広角カメラまたは全方位カメラの視野に「興味のある物体」を発見したとき、その物体の位置を算出し、単眼または両眼に対する方向を求め、単眼または両眼の視線を当該物体に照準する。すなわち、この物体がカメラセット１の広角カメラと望遠カメラの視野に入ると、望遠カメラで鮮明な画像を得る。精度が十分ではなく、この物体がカメラセット１の望遠カメラの視野に入っていない場合、前述のようにカメラセット１にある広角カメラの視野に入ったこの「興味のある物体」の位置を検出し、カメラの視線をこの物体に照準することによって、この物体を望遠カメラの視野に入れる。
興味のある物体が望遠カメラの視野に入った場合、この物体の特徴点を抽出し、望遠カメラの視線をこの特徴点に照準するためにカメラセット１を運動させる（人間の２次衝動性眼球運動に対応する）。また、この特徴点が運動する場合、望遠カメラの画像を処理するプログラムが当該特徴点の視野の中心点に対する横方向と縦方向の距離と移動速度を算出し、その距離と速度の情報を用いてカメラセット１の運動を制御し、視線を当該特徴点に追従させる（滑動性眼球運動制御に対応する）。広角カメラの複数の「興味のある物体」が出現する場合、各物体の出現の前後関係や視野にある位置関係を用いて、番号をふり、上述の方法を用いて順番に注視する。ここでいう「興味のある物体」はユーザの要求によって設定することができる。例えば、運動している物体、特定な色の物体、特定の形状の物体（顔、人間の形、車、階段など等）、または、キーボードやマウスなどのインターフェースを通じて直接指定した物体などである。同様に、望遠カメラに複数の特徴点を出現した場合、各特徴点の位置関係などで、一定の順序と一定な時間間隔で逐一に照準する。
また、運動する物体（例えば車）の上に当該眼球運動装置を装着する場合、眼球運動装置をまず加速度センサ８の付いた基盤１１の上に設置し、次にその基盤１１をその運動物体に設置する。この場合、基盤１１上の加速度センサ８により検出した運動物体の振動信号を用いて眼球を制御し、物体の運動により生じた眼球の視線の偏差を補償する（人間の前庭動眼反射に対応する）。ここで言う基盤１１は、人間の頭部に相当する。理想的には基盤１１も１から３自由度回転運動でき（人間の頚部に相当する）、３自由度回転運動加速度センサと３自由度並進運動加速度センサ各一対を用いて基盤１１の両側にこの基盤１１の中心線に関して対称に設置する。
頭部の両側またはほかの部位に複数のマイクロフォン２を設置し、音声処理で音源の位置を測定し、その音源を視標として基盤（頭部）１１または眼球を回転し、注視する。
本発明のバイオ型自動視覚と視線運動制御システムにおける制御は、以下の２手法で実現する。
１．視標の位置信号は広角カメラから来る。すなわち、広角カメラからの画像信号を処理し、視標の位置を検出する。この視標の位置信号を用いて、事前に設定した「衝動性眼球運動制御信号曲線」を選び、フィードフォワード式に眼球運動を制御し、視線を視標の位置に照準させる。「衝動性眼球運動制御信号曲線」と言うのは、視線をある位置からある視点に移動する場合に、事前に用意した眼球運動システムの最適運動制御曲線のデーターである。この様な方法で眼球運動制御システムの最も速い衝動性眼球運動を実現できる。
２．視線が視標を追跡するための信号は、望遠カメラと基盤１１に設置してある加速度センサ８から来る。すなわち、望遠カメラから検出した視線と視標のズレと加速度センサ８から検出した基盤１１の加速度または速度信号を用いて視線を視標に追従するように眼球運動システムを制御する。
数１と数２は、望遠カメラから取り込んだ画像から検出した視標と視線の位置偏差信号と相対速度信号、および加速度センサ８から検出した基盤１１の加速度信号を入力信号とした眼球運動システムの運動制御方程式である。
【実施例】
【０００７】
本発明の実施例に係るバイオ型自動視覚と視線運動制御システムの基本構成を図１に示す。各眼球（カメラセット１）は２台のカメラによって構成される（必要に応じて増減可能）。一つは広角カメラ、もう一つは望遠カメラである。両カメラは平行接近設置する（できる限り近いほうが好ましい）。このバイオ型自動視覚と視線運動制御システムは９自由度を持つ。各眼球（カメラセット１）に３自由度（必要に応じて２自由度も可）、頭部（基盤１１）には３自由度（必要に応じて自由度を減るまたは自由度なしに設計することも可）を設定する。
基盤１１の上に二つのカメラセット１を設置する。モータ（アクチュエータ）６の制御回路は以下の通りである。中央制御器（中央コントローラ）４から出力したデジタル信号を、Ｄ／Ａ変換器９に入力し、Ｄ／Ａ変換器９から変換されたアナログ信号をモータ６のドライバ５に入力し、ドライバ５によりモータ６を駆動する。モータ６に設置されている回転角を検出するセンサ７によりモータ６の回転角度信号がＡ／Ｄ変換器（またはカウンター）１０に入力され、デジタル信号に変換され中央制御器４に伝えられる。
各カメラセット１からの画像信号は、画像入力ボード３を経由して、中央制御器４に入力され、画像処理によって、対象物体（視標）の各カメラ視線に対する位置（角度）と速度（角速度）を検出する。
回転および並進加速度を検出する加速度センサ８により頭部（基盤１１）の回転および並進運動を検出し、Ａ／Ｄ変換器１０を経由して中央制御器４に入力する。
頭部（基盤１１）両側のマイクロフォン２からの音声信号は、音声処理ボード１２を経由して中央制御器４に入力され、音源の頭部に対する位置を測定する。
【０００８】
図２は視覚と視線制御システムの座標系を示す。座標ｘＡ−ｌ−ｙＡ−ｌ−ｚＡ−ｌとｘＡ−ｒ−ｙＡ−ｒ−ｚＡ−ｒは、左右の加速度センサ８に固定されている座標であり、座標ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒは、左右の眼球（カメラセット１）に固定している座標である。座標ｘＯ−ｌ−ｙＯ−ｌ−ｚＯ−ｌとｘＯ−ｒ−ｙＯ−ｒ−ｚＯ−ｒは、左右の眼窩に固定している座標である。すなわち、原点はカメラセット１の回転中心点で、座標ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒにおいて同様であるが、座標系は頭部（基盤１１）に対し相対固定する座標系である。θ１，θ２はモータ６ｌｚとモータ６ｒｚの回転角である。すなわち、座標ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒがそれぞれｚ０−ｌとｚ０−ｒ軸廻りに回転した角度である。θ３，θ４はモータ６ｌｙとモータ６ｒｙの回転角である。すなわち、座標ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒがそれぞれｙ０−ｌとｙ０−ｒと軸廻りに回転した角度である。ψ３，とψ４は、視標がそれぞれの眼窩固定座標ｙ０−ｌとｙ０−ｒ軸廻りの回転角である。図２の座標は、皆左右対称である。すなわち、モータ６ｌｚとモータ６ｒｚ及びモータ６ｌｙとモータ６ｒｙは正回転方向逆である。
【０００９】
両眼の左右運動制御システムのブロック線図を図３に示す。図３において、ψｔ−ｌとψｔ−ｒは、それぞれ左のカメラセット１ｌと右のカメラセット１ｒの望遠カメラにより測定した目標と視線の横方向の誤差である。ψｗ−ｌとψｗ−ｒはそれぞれ左のカメラセット１ｌと右のカメラセット１ｒの広角カメラにより測定した目標と視線の横方向の誤差である。ψｔ−ｌ、ψｔ−ｒとψｗ−ｌ、ψｗ−ｒの両方はψ１−θ１，ψ２−θ２に対応するが利用する画像信号は異なるカメラから来たものである（図２を参照）。
速度信号と回転角加速度信号である。
図２に示す広角カメラが測定した信号ψｗ−ｌ，ψｗ−ｒの伝達経路以外の制御システムの制御方程式を下記数１、数２に示す。
【００１０】
【数１】
【００１１】
【数２】
【００１２】
数１、数２において、Ｔｖｍ，Ｔｖ，Ｔｓは時定数であり、ρ，ρｒ，σ，σｒ，η，ηｒ，κｘ，κｘｒ，κｙ，κｙｒ，κψ，κψｒは全て正の
標が視線に対しての運動速度である。数１はよせ運動（ｖｅｒｇｅｎｃｅ）の方程式であり、数２は共役運動（ｃｏｎｊｕｇａｔｅ）の方程式である。
（数１）＋（数２）と、（数１）−（数２）を行うと、それぞれのモータ６の回転角を求めることができる。（数１）＋（数２）から、共役運動の応答速度（時定数Ｔｖｍ［１＋（ρ−ρｒ）（η−ηｒ）］／［１＋Ｔｖｍ（ρ−ρｒ）（σ−σｒ）］の逆数に比例する）はよせ運動の速度（時定数Ｔｖｍ［１＋（ρ＋ρｒ）（η＋ηｒ）］／［１＋Ｔｖｍ（ρ＋ρｒ）（σ＋σｒ）］の逆数に比例する）より速い。この特性は両眼が同じ視標を注視するために非常に重要である。
【００１３】
広角カメラからの画像を処理して得られる視標の信号ψｗ−ｌとψｗ−ｒは、視線を現在位置から別の注視点への高速移動（衝動性眼球運動に相当するので、以後はこの運動を衝動性眼球運動と呼ぶ）のときに用いる。すなわち、注視する視標の切換や視線から離れすぎた視標のキャッチアップなどのようなときに用いる眼球運動である。具体的にψｗ−ｌとψｗ−ｒは事前に用意した衝動性眼球運動制御曲線を選ぶのに用いる。また、視線制御システムは衝動性眼球運動を行うときは望遠カメラからの信号を遮断する。
衝動性眼球運動制御曲線の生成はフーリエ級数変換法を用いて実現する。具体的には、もし、視線を時間Ｔ以内に現在位置から目標位置へ移動すると設定する場合、システムの制御曲線ｆ（ｔ）は、下記数３に示すｍ本周期Ｔ，Ｔ／２，Ｔ／３，．．．Ｔ／ｍである正弦と余弦曲線によって合成することができる。
【００１４】
【数３】
【００１５】
ただし、ａ０，ａｎ，ｂｎは制御誤差をフーリエ逆変換法を用いて周波数毎の誤差に分離し、繰り返し学習によって得られる。すなわち、下記数４の式を用いて学習を行う。
【００１６】
【数４】
【００１７】
ただし、ｉは学習の回数を表し、Ｒ（ｔ）は制御対象（ここではモータ）の最適出力軌跡であり、ｉθ（ｔ）はｉ回目学習後の制御対象の出力曲線（ここでは制御するモータの回転角軌跡）である。図３の制御対象であるモータ６１とモータ６ｒは同じ方法で同時に学習を行う。このような方法で衝動性眼球運動制御曲線を生成すれば、各曲線は２ｍ＋１個の係数（ａ０，ａｎ，ｂｎ， ｎ＝１，２・・・ｍ）で生成または保存できる（一般的にｍ＜１０である）。各カメラセット１には数１０万本の衝動性眼球運動制御曲線を必要する場合があるので、このような方法で大量なメモリ容量を節約できるのみならず、「取り出し」（生成）にも便利である。
【００１８】
両眼の上下運動制御システムのブロック線図を図４に示す。図４において、Ψｔ−ｌとΨｔ−ｒはそれぞれ左のカメラセット１ｌと右のカメラセット１ｒの望遠カメラから測定した目標と視線の縦方向の偏差である。Ψｔ−ｌとΨｔ−ｒはそれぞれ左のカメラセット１ｌと右のカメラセット１
それぞれ左右の加速度センサから検出した並進加速度信号と回転角加速度信号である（図２を参照）。図４と図３の制御原理は全く同じである。ただし、眼球が上下運動時に両眼の相対運動（左右運動時のよせ運動に相当）は生理学領域ではまた発見していないので、ここでは、ρ＝ρｒに設定する。すなわち、図２に示すθ３とθ４はいつも同じである。
【００１９】
図３と同様な上下の眼球運動制御のブロック線図である図４に示す場合も、広角カメラのからの信号は「衝動性眼球運動制御曲線」を選ぶために使われ、フィードフォワード制御を行う。望遠カメラからの視標とカメラ視線の偏差信号、および視標の視線に対する運動速度信号は視覚フィードバック制御に用いられる。加速度センサ８により測定した並進および回転加速度信号は、基盤１１の振動を補償するためのフィードフォワード運動制御（前庭動眼反射に相当）に用いる。ここでの制御システムではこれらの加速度信号を直接利用するのではなく、漏れのある積分器（Ｔ／（Ｔｓ＋１））を通してからの信号を用いる。単眼の制御システムの場合は、図３と図４のそれぞれの左または右の半分の構成で制御を行う。また、玩具などのような単純な両眼運動制御の場合は、一つのモータ６が両眼を同時に駆動（この場合よせ運動ができない）すれば充分であるので、図３と図４のモータ６を一つにすることで制御を実現できる。玩具の眼球にはカメラがなく、すなわち、眼球以外のところにカメラ一台を設置する場合は、さらに片方の視覚フィードバック回路を切断する必要がある。
【００２０】
本実施例の自動視覚と視線制御システムを、監視システムとして図５に示すように、例えば室内に利用する場合、天井、または視野の広いところで固定した「天眼」、すなわち、超広角レンズ付きカメラ（魚眼など）または全方位カメラ、を設置し、視野内のすべての物体の運動軌跡を記録することができる。同時に、興味を持つ物体の位置を視線運動制御装置に伝え、追従を行う。
【００２１】
図５において、主眼と副眼は共に２自由度回転のできる単眼構造である。天眼は全方位カメラである。未知の人間が部屋に入ったとき、まず、天眼がその人間の大体の位置を検出し、主眼と副眼にその位置を伝える。主眼と副眼は高速回転し、この人物を広角カメラの視野に入れる。更に、主眼の広角カメラの画像信号を用いて、人物の頭部を検出し、視野の中心（すなわち、視線）を人物の頭部に照準する。望遠カメラ広角カメラと並行接近設置しているので、人物の頭部は自然に望遠カメラの視野に入り、ズーム調整することによってこの人物の頭部の鮮明な画像を取ることができる。この場合、副眼は広角カメラを持たなくても大丈夫である。主眼の望遠カメラの視線と天眼から、この人物の頭部位置を正確に測定できるので、この頭部位置信号を用いて副眼の望遠カメラを制御し、人物の頭部に照準することができる。主眼と副眼は同時に撮影または録画するので、人物の頭部の異なる側面の映像を得られる。本監視システムにはマイクロフォン２を取り入れることも可能である。すなわち、音源の位置を測定し、視線運動制御装置を音源に向けさせ、発音したところの状況を「見る」。
【００２２】
本発明のバイオ型自動視覚と視線制御システムの最良の構成は、両眼システム（カメラセット１を２組持ち、協調制御を行う）である。設置場所や目的に応じて、この両眼システムを一組または複数組を同時利用が可能である。また、各カメラセット１に用途によってその広角と望遠機能を任意に組み合わせることができる。一般的に、中央制御器（中央コントローラ）４が最も優先的に処理している「眼球」は主眼と呼ぶ。両眼システムの２組のカメラセット１は同じ目標を追従するが、各両眼システムはそれぞれ異なる目標を追従することができる（人間で例えれば、一人の人間は同じ時刻では一つの物体しか注視と追従できないが、複数の人間なら、同時に複数の物体を注視と追従することができる）。
【産業上の利用可能性】
【００２３】
以上の手法を用いた本発明のバイオ型自動視覚と視線制御システムは、監視に利用する場合、現場にあるものを順次に鮮明な画像で取り込み、記録することができ、各来場者の全時間の運動軌跡を記録することができる。さらに、来場者の運動軌跡や位置、または顔の特徴（マスクやサングラスを付けているなど）により各レベルの警報を出すことができる。このシステムは様々な場所の室内と室外の監視に利用できることのみならず、近距離の低空監視を行い、レーダの補助にも利用できる。また、本システムは各運動する装置や設備の上にも設置することができる。例えば車、列車、飛行機、船などの上に装着し、前庭動眼反射の原理を用いて、これらの乗り物の運動や振動により生じた視線の変動を補償することもできる。さらに、このシステムをロボットの眼として利用し、ロボットの視覚認識能力を大幅向上することが可能である。このシステムを眼として玩具に装着することによって、玩具を生き物のように見えることが可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施例に係るバイオ型自動視覚と視線運動制御システムの構成を示す図である。
【図２】本発明の実施例に係るバイオ型自動視覚と視線運動制御システムの座標系を示す図である。
【図３】本発明の実施例に係るバイオ型自動視覚と視線運動制御システムの左右運動の制御ブロック線図である。
【図４】本発明の実施例に係るバイオ型自動視覚と視線運動制御システムの上下運動の制御ブロック線図である。
【図５】本発明の実施例に係るバイオ型自動視覚と視線運動制御システムを監視システムとして利用する場合の具体例を示す図である。
【符号の説明】
【００２５】
１ カメラセット
１ｌ 左のカメラセット
１ｒ 右のカメラセット
２ マイクロフォン
３ 画像入力ボード
４ 中央コントローラ（中央制御器）
５ ドライバ
６ モータ（アクチュエータ）
６ｌｚ モータ
６ｒｚ モータ
６ｌｙ モータ
６ｒｙ モータ
７ センサ
８ 加速度センサ
９ Ｄ／Ａ変換器
１０ Ａ／Ｄ変換器（またはカウンター）
１１ 基盤
１２ 音声処理ボード
【技術分野】
【０００１】
本発明は、生物の眼球運動機能を眼球運動の生理学・解剖学に基づいて、工学で実現するロボットビジョンに関するものである。
【背景技術】
【０００２】
従来のカメラによる目標（視標）の追従法は主に視覚フィードバック制御法のみである。この手法のみを用いる場合、注視する目標の切り替えや高速に移動する視標の追従に不十分である。また、カメラ自身の振動や運動に対する補償手法は主に画像処理による画像の微小移動に対する調節制御である。ホームビデオカメラの手ぶれ防止はその一例である。また、ジャイロによるカメラ支持台の振動に対する補償制御法もあるが、並進運動の影響を考えていなく、視覚フィードバックとの連携制御も行っていない。特に、カメラ２台以上を用いた立体画像認識処理の場合、各カメラを相対的に固定していることが殆どであり、各カメラが相対的に運動できる場合、各カメラが注視する目標を同一のものにするカメラ運動制御手法はまだ確立されていない。ズームカメラ、望遠レンズカメラ、広角レンズカメラを連携して、各カメラ視線の運動制御を行う手法も確立していない。
【発明の開示】
【発明の効果】
【０００３】
本発明は自動視覚と視線制御システムを構築することを目的とし、人間の両眼の運動制御神経システムを解析し、その制御原理を用いてカメラ視線の自動制御システムとその制御法を発明した。このシステムと方法は高精度、高速度で目標の正確な位置を認定し、視線を追従させることができる。すなわち、カメラ自身の強烈かつ大範囲の振動や運動により引き起される視線の振動と偏差を補償することができる。また、両眼運動制御システムを提案し、複数のカメラを同一視標を追従させる制御手法を確立した。さらに、ズームレンズ付きカメラ、望遠レンズ付きカメラ、広角レンズ付きカメラなどを統合制御することによって、目標の高精度測定、高精度追従、高精度撮像ができると同時に、広範囲の観察、監視することができる。
本発明は、以下の手法によって実現できる。
本システムの基本構造は中央コントローラによる単眼と両眼構造である。各「眼球」は一つのカメラセットにより構成される。上述したカメラセットは一台または複数台異なるレンズまたは撮像素子を持つカメラによって構成される。二つの単眼を両眼制御システムで制御する場合、両眼と呼ぶ。
１． 単眼の基本構造：一台広角レンズ付きカメラ（以後、広角カメラと呼ぶ）は人間の眼球の中心窩を除いた網膜に相当する。もう一台望遠レンズ、またはズームレンズ付きカメラ（以後、望遠カメラ）は眼球の中心窩に相当する。すなわち、広角カメラと望遠カメラを組み合わせれば、完全なる眼球を構成することができる。広角カメラと望遠カメラは互いの関係によって相対的に定義する。例えば、遠い山を観察するカメラを広角カメラと定義すると、それに対応する望遠カメラは山の上の樹木を観察できるカメラである。各「眼球」は２台または３台アクチュエータにより駆動し、その全体を単眼と呼ぶ。単眼の機能を人間の眼球を超さすために、単眼は複数台の撮像領域の異なり、またはズーム能力の異なるカメラによって構成することができる。この様な単眼によって構成した両眼は両眼間の距離を任意設定可能である。両眼の距離が離れければ離れるほど遠距離の物体の位置測定が精密になり、人間の眼を遥かに超える正確さを得られる。また、同じカメラセット内の広角カメラと望遠カメラが平行に接近設置するので、広角カメラの視野に「興味のある物体」を発見したとき、カメラセットが高速回転し、カメラの視線をこの物体に照準する（人間の衝動性眼球運動に対応）ことによって、この物体は自然に望遠カメラの視野に入る。したがって、望遠カメラから興味のある物体の鮮明な画像を得られる。
２． 固定した広角レンズ付きカメラまたは全方位カメラを単眼または両眼に配合して利用することができる。例えば、視野の広いところに広角レンズカメラまたは全方位カメラを設置し、一台または数台の単眼と一緒に監視システムを構成する。この様な監視システムは監視範囲内のすべての物体の運動過程を記録することができ、各運動物体または特徴のある物体の鮮明な画像を得られる。また、監視されている人間は一つの場所からほかの場所へ移動するとき、この人間の位置信号を別の場所の監視カメラの制御システムに転送することによって、監視される人間を二人として数えることがない。
３． 固定した広角カメラまたは全方位カメラの視野に「興味のある物体」を発見したとき、その物体の位置を算出し、単眼または両眼に対する方向を求め、単眼または両眼の視線を当該物体に照準する。すなわち、この物体をカメラセットの広角カメラと望遠カメラの視野に入り、望遠カメラで鮮明な画像を得る。精度が十分ではなく、この物体がカメラセットの望遠カメラの視野に入っていない場合、前述のようにカメラセットにある広角カメラの視野に入ったこの「興味のある物体」の位置を検出し、カメラの視線をこの物体に照準することによって、この物体を望遠カメラの視野に入れる。
興味のある物体が望遠カメラの視野に入った場合、この物体の特徴点を抽出し、望遠カメラの視線をこの特徴点に照準するためにカメラセットを運動させる（人間の２次衝動性眼球運動に対応する）。また、この特徴点が運動する場合、望遠カメラの画像を処理するプログラムが当該特徴点の視野の中心点に対する横方向と縦方向の距離と移動速度を算出し、その距離と速度の情報を用いてカメラセットの運動を制御し、視線を当該特徴点に追従させる（滑動性眼球運動制御に対応する）。広角カメラの複数の「興味のある物体」が出現する場合、各物体の出現の前後関係や視野にある位置関係を用いて、番号をふり、上述の方法を用いて順番に注視する。ここでいう「興味のある物体」はユーザの要求によって設定することができる。例えば、運動している物体、特定な色の物体、特定の形状の物体（顔、人間の形、車、階段など等）、または、キーボードやマウスなどのインターフェースを通じて直接指定した物体など。同様に、望遠カメラに複数の特徴点を出現した場合、各特徴点の位置関係などで、一定の順序と一定な時間間隔で逐一に照準する。
また、運動する物体（例えば車）の上に当該眼球運動装置を装着する場合、眼球運動装置をまず加速度センサの付いた基盤の上に設置し、次にその基盤をその運動物体に設置する。この場合、基盤上の加速度センサにより検出した運動物体の振動信号を用いて眼球を制御し、物体の運動により生じた眼球の視線の偏差を補償する（人間の前庭動眼反射に対応する）。ここで言う基盤は人間の頭部に相当する。理想的には基盤も１から３自由度回転運動でき（人間の頚部に相当する）、３自由度回転運動加速度センサと３自由度並進運動加速度センサ各一対を用いて基盤の両側に基盤の中心線を対称に設置する。
頭部の両側またはほかの部位に複数のマイクフォンを設置し、音声処理で音源の位置を測定し、その音源を視標として基盤（頭部）または眼球を回転し、注視する。
本発明の制御は以下の２手法で実現する。
１．視標の位置信号は広角カメラから来る。すなわち、広角カメラからの画像信号を処理し、視標の位置を検出する。この視標の位置信号を用いて、事前に設定した「衝動性眼球運動制御信号曲線」を選び、フィードフォワード式に眼球運動を制御し、視線を視標の位置に照準させる。「衝動性眼球運動制御信号曲線」と言うのは、視線をある位置からある視点に移動する場合に、事前に用意した眼球運動システムの最適運動制御曲線のデーターである。この様な方法で眼球運動制御システムの最も速い衝動性眼球運動を実現できる。
２．視線が視標を追跡するための信号は望遠カメラと基盤に設置してある加速度センサから来る。すなわち、望遠レンズから検出した視線と視標のズレと加速度センサから検出した基盤の加速度または速度信号を用いて視線を視標に追従するように眼球運動システムを制御する。次式（１）と（２）は望遠カメラから取り込んだ画像から検出した視標と視線の位置偏差信号と相対速度信号、および加速度センサから検出した基盤の加速度信号を入力信号とした眼球運動システムの運動制御方程式である。
以上の手法を用いた本自動視覚と視線制御システムは監視に利用する場合、現場にいるものを順次に鮮明な画像を取り込み・記録することができ、各来場者の全時間の運動軌跡を記録することができる。さらに、来場者の運動軌跡や位置、または顔の特徴（マスクやサングラスを付けているなど）により各レベルの警報を出すことができる。このシステムは様々な場所の室内と室外の監視に利用できることのみならず、近距離の低空監視を行い、レーダの補助にも利用できる。また、本システムは各運動する装置や設備の上にも設置することができる。例えば車、列車、飛行機、船などの上に装着し、前庭動眼反射の原理を用いて、これらの乗り物の運動や振動により生じた視線の変動を補償することもできる。さらに、このシステムをロボットの眼として利用し、ロボットの視覚認識能力を大幅向上することが可能である。このシステムを眼として玩具に装着することによって、玩具を生き物のように見えることが可能である。
【実施例】
【０００４】
両眼視覚と視線運動制御システムの基本構成は図１に示す。各眼球に２台のカメラによって構成される（必要の時増減可能）。一つは広角カメラ、もう一つは望遠カメラである。両カメラは平行接近設置する（できる限り近いほうがいい）。この視覚装置の運動システムには９自由度を持つ。各眼球（カメラセット１）に３自由度（必要のときに２自由度も可）、頭部（基盤１１）には３自由度（必要に応じて自由度を減るまたは自由度なしに設計することも可）である。
基盤１１の上に二つのカメラセット１を設置する。モータの制御回路は以下である。中央制御器４から出力したデジタル信号はＤ／Ａ変換器９に入力し、Ｄ／Ａ変換器９から変換されたアナログ信号をモータのドライバ５に入力し、ドライバ５はモータ６を駆動する。モータ６に設置されている回転角センサ７はモータ６の回転角度信号をＡ／Ｄ変換器（またはカウンター）１０に入力し、中央制御器４に伝える。
各カメラセット１の画像信号は画像入力ボード３を経由して、中央制御器４に入力され、画像処理によって、対象物体（視標）の各カメラ視線に対する位置（角度）と速度（角速度）を検出する。
回転および並進加速度センサ８から頭部（基盤１１）の回転および並進運動を検出し、Ａ／Ｄ変換（またはカウンター）ボード１０を経由して中央制御器４に入力する。
頭部（基盤１１）両側のマイクフォン２からの音声信号は音声処理ボード１２を経由して中央制御器４に入力され、音源の頭部に対する位置を測定する。
【０００５】
図２は視覚と視線制御システムの座標系を示す。座標ｘＡ−ｌ−ｙＡ−ｌ−ｚＡ−ｌとｘＡ−ｒ−ｙＡ−ｒ−ｚＡ−ｒは左右の加速度センサ８に固定されている座標であり、ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒは左右の眼球（カメラセット１）に固定している座標である。ｘＯ−ｌ−ｙＯ−ｌ−ｚＯ−ｌとｘＯ−ｒ−ｙＯ−ｒ−ｚＯ−ｒは左右の眼窩に固定している座標である。すなわち、原点はカメラセット１の回転中心点で、ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒと同じが、座標系は頭部（基盤１１）に対し相対固定する座標系である。θ１，θ２はモータ６ｌｚとモータ６ｒｚの回転角である。すなわち、ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒがそれぞれｚＯ−ｌとｚＯ−ｒ軸廻り回転した角度である。θ３，θ４，はモータ６ｌｙとモータ６ｒｙの回転角である。すなわち、ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒがそれぞれｙＯ−ｌとｙＯ−ｒ軸廻り回転した角度である。ψ３，とψ４は視標がそれぞれの眼窩固定座標ｙＯ−ｌとｙＯ−ｒ軸廻りの回転角である。図２の座標は皆左右対称である。すなわち、モータ６ｌｚとモータ６ｒｚ及びモータ６ｌｙとモータ６ｒｙは正回転方向逆である。
【０００６】
両眼の左右運動制御システムのブロック線図は図３に示す。ψｔ−ｌとψｔ−ｒはそれぞれ左のカメラセット１ｌと右のカメラセット１ｒの望遠カメラから測定した目標と視線の横方向の誤差である。ψｗ−ｌとψｗ−ｒｒはそれぞれ左のカメラセット１ｌと右のカメラセット１ｒの広角カメラから測定した目標と視線の横方向の誤差である。ψｔ−ｌ、ψｔ−ｒとψｗ−ｌ、ψｗ−ｒの両方はψ１−θ１，ψ２−θ２
と回転角加速度信号である。図３の広角カメラが測定した信号ψｗ−ｌ，ψｗ−ｒの伝達経路以外の制御システムの方程式は以下に示す。
式の中にＴｖｍ，Ｔｖ，Ｔｓは時定数であり、ρ，ρｒ，σ，σｒ，η，ηｒ，κｘ，κｘｒ，κｙ，κｙｒ，κψ，κψｒは全て正の係数であ
対しての運動速度である。式（１）はよせ運動（ｖｅｒｇｅｎｃｅ）の方程式であり、式２は共役運動（ｃｏｎｊｕｇａｔｅ）の方程式である。式（１）＋式（２）と式（１）−式（２）を行うと、それぞれのモータの回転角を求めることができる。式（１）と式（２）から、共役運動の応答速度（時定数Ｔｖｍ［１＋（ρ−ρｒ）（η−ηｒ）］／［１＋Ｔｖｍ（ρ−ρｒ）（σ−σｒ）］の逆数に比例する）はよせ運動の速度（時定数Ｔｖｍ［１＋（ρ＋ρｒ）（η＋ηｒ）］／［１＋Ｔｖｍ（ρ＋ρｒ）（σ＋σｒ）］の逆数に比例する）より速い。この特性は両眼が同じ視標を注視するために非常に重要である。
広角カメラからの画像を処理して得られる視標の信号ψｗ−ｌとψｗ−ｒは視線を現在位置から別の注視点への高速移動（衝動性眼球運動に相当するので、以後はこの運動を衝動性眼球運動と呼ぶ）のときに用いる。すなわち、注視する視標の切換や視線から離れすぎた視標のキャッチアップなどのようなときに用いる眼球運動である。具体的にψｗ−ｌとψｗ−ｒは事前に用意した衝動性眼球運動制御曲線を選ぶのに用いる。また、視線制御システムは衝動性眼球運動を行うときは望遠カメラからの信号を遮断する。
衝動性眼球運動制御曲線の生成はフーリエ級数変換法を用いて実現する。具体的に、もし、視線を時間Ｔ以内に現在位置から目標位置へ移動すると設定する場合、システムの制御曲線以下のｍ本周期Ｔ，Ｔ／２，Ｔ／３，．．．Ｔ／ｍである正弦と余弦曲線によって合成することができる。
ただし、ａ０，ａｎ，ｂｎ，は制御誤差をフーリエ逆変換法を用いて周波数毎の誤差に分離し、繰り返し学習によって得られる。すなわち、以下の式を用いて学習を行う。
ただし、ｉは学習の回数を表し、Ｒ（ｔ）は制御対象（ここではモータ）の最適出力軌跡であり、ｉθ（ｔ）はｉ回目学習後の制御対象の出力曲線（ここでは制御するモータの回転角軌跡）である。図３の制御対象であるモータ６ｌとモータ６ｒは同じ方法で同時に学習を行う。このような方法で衝動性眼球運動制御曲線を生成すれば、各曲線は２ｍ＋１個の係数（ａ０，ａｎ，ｂｎ，ｎ＝１，２…ｍ）で生成または保存できる（一般的にｍ＜１０である）。各カメラセット１には数１０万本の衝動性眼球運動制御曲線を必要する場合があるので、このような方法で大量なメモリ容量を節約できるのみならず、「取り出し」（生成）にも便利である。
【０００７】
両眼の上下運動制御システムのブロック線図は図４に示す。ψｔ−ｌとψｔ−ｒそれぞれ左のカメラセット１ｌと右のカメラセット１ｒの望遠カメラから測定した目標と視線の縦方向の偏差である。ψｔ−ｌとψｔ−ｒはそれぞれ左のカメラセット１ｌと右のカメラセット１ｒの広角カメラ
加速度センサから検出した並進加速度信号と回転角加速度信号である（図２を参照）。図４と図３の制御原理は全く同じである。ただし、眼球が上下運動時に両眼の相対運動（左右運動時のよせ運動に相当）は生理学領域ではまた発見していないので、ここでは、ρ＝ρｒに設定する。すなわち、θ３とθ４はいつも同じである。
図３と同じ、上下の眼球運動制御のブロック線図図４の場合も、広角カメラのからの信号は「衝動性眼球運動制御曲線」を選ぶために使われ、フィードフォワード制御を行う。望遠カメラからの視標とカメラ視線の偏差信号、および視標の視線に対する運動速度信号は視覚フィードバック制御に用いられる。加速度センサ８より測定した並進および回転加速度信号は基盤の振動を補償するためのフィードフォワード運動制御（前庭動眼反射に相当）に用いる。ここでの制御システムではこれらの加速度信号を直接利用するではなく、漏れのある積分器（Ｔ／（Ｔｓ＋１））を通してからの信号を用いる。単眼の制御システムは図３と４のそれぞれの左または右の半分で制御を行う。また、玩具などのような単純な両眼運動制御の場合は一つのモータが両眼を同時に駆動（この場合よせ運動ができない）すれば充分であるので、図３と図４のモータを一つにすることで制御を実現できる。玩具の眼球にはカメラがなく、すなわち、眼球以外のところにカメラ一台を設置する場合は、さらに片方の視覚フィードバック回路を切断する必要がある。
本自動視覚と視線制御システムを監視システムとして利用した場合、例えば室内に利用する場合、天井、または視野の広いところで固定した「天眼」、すなわち、超広角レンズ付きカメラ（魚眼など）または全方位カメラ、を設置し、視野内のすべての物体の運動軌跡を記録することができる。同時に、興味を持つ物体の位置を視線運動制御装置に伝え、追従を行う。
図５の中に、主眼と副眼は共に２自由度回転のできる単眼構造である。天眼は全方位カメラである。未知の人間が部屋に入ったとき、まず、天眼がその人間の大体の位置を検出し、主眼と副眼にその位置を伝える。主眼と副眼は高速回転し、この人物を広角カメラの視野に入れる。更に、主眼の広角カメラの画像信号を用いて、人物の頭部を検出し、視野の中心（すなわち、視線）を人物の頭部に照準する。望遠カメラ広角カメラと並行接近設置しているので、人物の頭部は自然に望遠カメラの視野に入り、ズーム調整することによってこの人物の頭部の鮮明な画像を取ることができる。この場合、副眼は広角カメラを持たなくても大丈夫である。主眼の望遠カメラの視線と天眼から、この人物の頭部位置を正確に測定できるので、この頭部位置信号を用いて副眼の望遠カメラを制御し、人物の頭部に照準することができる。主眼と副眼は同時に撮影または録画するので、人物の頭部の異なる側面の映像を得られる。
本監視システムにはマイクを取り入れることも可能である。すなわち、音源の位置を測定し、視線運動制御装置を音源に向けさせ、発音したところの状況を「見る」。
本自動視覚と視線制御システムの最良構成は両眼システム（カメラセットを２組を持ち、協調制御を行う）である。設置場所や目的に応じて、この両眼システムを一組または複数組を同時利用が可能である。また、各カメラセットに用途によってその広角と望遠機能が任意に組み合わせることができる。一般的に、中央コントローラが最も優先的に処理している「眼球」は主眼と呼ぶ。両眼システムの２組のカメラセットは同じ目標を追従するが、各両眼システムはそれぞれ異なる目標を追従することができる（人間で例えれば、一人の人間は同じ時刻は一つの物体しか注視と追従できないが、複数の人間なら、同時に複数の物体を注視と追従することができる）。
【図面の簡単な説明】
【０００８】
【図１】両眼視覚と視線運動制御システムの構成である。
【図２】両眼視覚と視線運動制御システムの座標系
【図３】両眼視覚と視線運動制御システムの左右運動の制御ブロック線図である。
【図４】両眼視覚と視線運動制御システムの上下運動の制御ブロック線図である。
【図５】監視システムとして利用する場合の具体例である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生物の眼球運動神経システムに基づいたバイオ型自動視覚と視線制御システムに関し、詳しくは、生物の眼球運動機能を、眼球運動の生理学・解剖学に基づいて工学で実現するバイオ型自動視覚と視線制御システム（ロボットビジョン）に関するものである。
【背景技術】
【０００２】
従来のカメラによる目標（視標）の追従法は、主に視覚フィードバック制御法のみである。この手法のみを用いる場合、注視する目標の切り替えや高速に移動する視標の追従に対しては不十分である。また、カメラ自身の振動や運動に対する補償手法は主に画像処理による画像の微小移動に対する調節制御である。ホームビデオカメラの手ぶれ防止はその一例である。また、ジャイロによるカメラ支持台の振動に対する補償制御法もあるが、並進運動の影響を考えていなく、視覚フィードバックとの連携制御も行っていない。特に、カメラ２台以上を用いた立体画像認識処理の場合、各カメラを相対的に固定していることが殆どであり、各カメラが相対的に運動できる場合、各カメラが注視する目標を同一のものにするカメラ運動制御手法はまだ確立されていない。ズームカメラ、望遠レンズカメラ、広角レンズカメラを連携して、各カメラ視線の運動制御を行う手法も確立していない。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、人間の両眼の運動制御神経システムを解析し、その制御原理を用いてカメラ視線の自動制御システムとその制御法であるバイオ型自動視覚と視線制御システムを構築することを目的とするものである。
【課題を解決するための手段】
【０００４】
本発明は、生物の眼球運動神経システムの原理を模擬したバイオ型自動視覚と視線運動制御システムであって、一台若しくは複数台の並列設置してあるカメラにより構成される一つまたは複数のカメラセット１と、カメラセット１を搭載するための基盤１１と、各カメラセット１を基盤１１に対して１または３自由度の回転を可能にする複数台のアクチュエータ６と、アクチュエータ６の回転角度や回転速度を検出する一つまたは複数のセンサ７と、基盤１１に設置する一つまたは複数の基盤１１の回転加速度と併進加速度センサと、各カメラ、各センサ７などからの信号を受け取り、各アクチュエータ６の運動を制御し、外部と信号をやり取りする中央コントローラ４とを有することを最も主要な特徴とする。
【発明の効果】
【０００５】
本発明によれば、高精度、高速度で目標の正確な位置を認定し、視線を追従させることができる。すなわち、カメラ自身の強烈かつ大範囲の振動や運動により引き起される視線の振動と偏差を補償することができる。また、両眼運動制御システムを提案し、複数のカメラを同一視標を追従させる制御手法を確立した。さらに、ズームレンズ付きカメラ、望遠レンズ付きカメラ、広角レンズ付きカメラなどを統合制御することによって、目標の高精度測定、高精度追従、高精度撮像ができると同時に、広範囲の観察、監視することができる。
【発明を実施するための最良の形態】
【０００６】
本発明は、以下の手法によって実現できる。
本発明のバイオ型自動視覚と視線運動制御システムシステムの基本構造は、中央コントローラ４による単眼と両眼構造である。各「眼球」は一つのカメラセット１により構成される。上述したカメラセット１は一台または複数台異なるレンズまたは撮像素子を持つカメラによって構成される。二つの単眼を両眼制御システムで制御する場合、両眼と呼ぶ。
１． 単眼の基本構造：一台広角レンズ付きカメラ（以後、広角カメラと呼ぶ）は人間の眼球の中心窩を除いた網膜に相当する。もう一台の望遠レンズ、またはズームレンズ付きカメラ（以後、望遠カメラ）は眼球の中心窩に相当する。すなわち、広角カメラと望遠カメラを組み合わせれば、完全なる眼球を構成することができる。広角カメラと望遠カメラは互いの関係によって相対的に定義する。例えば、遠い山を観察するカメラを広角カメラと定義すると、それに対応する望遠カメラは山の上の樹木を観察できるカメラである。各「眼球」は２台または３台のアクチュエータ６により駆動し、その全体を単眼と呼ぶ。単眼の機能を人間の眼球の機能以上とするために、単眼は複数台の撮像領域の異なり、またはズーム能力の異なるカメラによって構成することができる。この様な単眼によって構成した両眼は、両眼間の距離を任意設定可能である。両眼の距離が離れければ離れるほど遠距離の物体の位置測定が精密になり、人間の眼を遥かに超える正確さを得られる。
また、同じカメラセット１内の広角カメラと望遠カメラが平行に接近設置するので、広角カメラの視野に「興味のある物体」を発見したとき、カメラセット１が高速回転し、カメラの視線をこの物体に照準する（人間の衝動性眼球運動に対応）ことによって、この物体は自然に望遠カメラの視野に入る。したがって、望遠カメラから興味のある物体の鮮明な画像を得ることができる。
２． 固定した広角レンズ付きカメラまたは全方位カメラを単眼または両眼に配合して利用することができる。例えば、視野の広いところに広角レンズカメラまたは全方位カメラを設置し、一台または数台の単眼と一緒に監視システムを構成する。この様な監視システムは監視範囲内のすべての物体の運動過程を記録することができ、各運動物体または特徴のある物体の鮮明な画像が得られる。また、監視されている人間は一つの場所からほかの場所へ移動するとき、この人間の位置信号を別の場所の監視カメラの制御システムに転送することによって、監視される人間を二人として数えることがない。
３． 固定した広角カメラまたは全方位カメラの視野に「興味のある物体」を発見したとき、その物体の位置を算出し、単眼または両眼に対する方向を求め、単眼または両眼の視線を当該物体に照準する。すなわち、この物体がカメラセット１の広角カメラと望遠カメラの視野に入ると、望遠カメラで鮮明な画像を得る。精度が十分ではなく、この物体がカメラセット１の望遠カメラの視野に入っていない場合、前述のようにカメラセット１にある広角カメラの視野に入ったこの「興味のある物体」の位置を検出し、カメラの視線をこの物体に照準することによって、この物体を望遠カメラの視野に入れる。
興味のある物体が望遠カメラの視野に入った場合、この物体の特徴点を抽出し、望遠カメラの視線をこの特徴点に照準するためにカメラセット１を運動させる（人間の２次衝動性眼球運動に対応する）。また、この特徴点が運動する場合、望遠カメラの画像を処理するプログラムが当該特徴点の視野の中心点に対する横方向と縦方向の距離と移動速度を算出し、その距離と速度の情報を用いてカメラセット１の運動を制御し、視線を当該特徴点に追従させる（滑動性眼球運動制御に対応する）。広角カメラの複数の「興味のある物体」が出現する場合、各物体の出現の前後関係や視野にある位置関係を用いて、番号をふり、上述の方法を用いて順番に注視する。ここでいう「興味のある物体」はユーザの要求によって設定することができる。例えば、運動している物体、特定な色の物体、特定の形状の物体（顔、人間の形、車、階段など等）、または、キーボードやマウスなどのインターフェースを通じて直接指定した物体などである。同様に、望遠カメラに複数の特徴点を出現した場合、各特徴点の位置関係などで、一定の順序と一定な時間間隔で逐一に照準する。
また、運動する物体（例えば車）の上に当該眼球運動装置を装着する場合、眼球運動装置をまず加速度センサ８の付いた基盤１１の上に設置し、次にその基盤１１をその運動物体に設置する。この場合、基盤１１上の加速度センサ８により検出した運動物体の振動信号を用いて眼球を制御し、物体の運動により生じた眼球の視線の偏差を補償する（人間の前庭動眼反射に対応する）。ここで言う基盤１１は、人間の頭部に相当する。理想的には基盤１１も１から３自由度回転運動でき（人間の頚部に相当する）、３自由度回転運動加速度センサと３自由度並進運動加速度センサ各一対を用いて基盤１１の両側にこの基盤１１の中心線に関して対称に設置する。
頭部の両側またはほかの部位に複数のマイクロフォン２を設置し、音声処理で音源の位置を測定し、その音源を視標として基盤（頭部）１１または眼球を回転し、注視する。
本発明のバイオ型自動視覚と視線運動制御システムにおける制御は、以下の２手法で実現する。
１．視標の位置信号は広角カメラから来る。すなわち、広角カメラからの画像信号を処理し、視標の位置を検出する。この視標の位置信号を用いて、事前に設定した「衝動性眼球運動制御信号曲線」を選び、フィードフォワード式に眼球運動を制御し、視線を視標の位置に照準させる。「衝動性眼球運動制御信号曲線」と言うのは、視線をある位置からある視点に移動する場合に、事前に用意した眼球運動システムの最適運動制御曲線のデーターである。この様な方法で眼球運動制御システムの最も速い衝動性眼球運動を実現できる。
２．視線が視標を追跡するための信号は、望遠カメラと基盤１１に設置してある加速度センサ８から来る。すなわち、望遠カメラから検出した視線と視標のズレと加速度センサ８から検出した基盤１１の加速度または速度信号を用いて視線を視標に追従するように眼球運動システムを制御する。
数１と数２は、望遠カメラから取り込んだ画像から検出した視標と視線の位置偏差信号と相対速度信号、および加速度センサ８から検出した基盤１１の加速度信号を入力信号とした眼球運動システムの運動制御方程式である。
【実施例】
【０００７】
本発明の実施例に係るバイオ型自動視覚と視線運動制御システムの基本構成を図１に示す。各眼球（カメラセット１）は２台のカメラによって構成される（必要に応じて増減可能）。一つは広角カメラ、もう一つは望遠カメラである。両カメラは平行接近設置する（できる限り近いほうが好ましい）。このバイオ型自動視覚と視線運動制御システムは９自由度を持つ。各眼球（カメラセット１）に３自由度（必要に応じて２自由度も可）、頭部（基盤１１）には３自由度（必要に応じて自由度を減るまたは自由度なしに設計することも可）を設定する。
基盤１１の上に二つのカメラセット１を設置する。モータ（アクチュエータ）６の制御回路は以下の通りである。中央制御器（中央コントローラ）４から出力したデジタル信号を、Ｄ／Ａ変換器９に入力し、Ｄ／Ａ変換器９から変換されたアナログ信号をモータ６のドライバ５に入力し、ドライバ５によりモータ６を駆動する。モータ６に設置されている回転角を検出するセンサ７によりモータ６の回転角度信号がＡ／Ｄ変換器（またはカウンター）１０に入力され、デジタル信号に変換され中央制御器４に伝えられる。
各カメラセット１からの画像信号は、画像入力ボード３を経由して、中央制御器４に入力され、画像処理によって、対象物体（視標）の各カメラ視線に対する位置（角度）と速度（角速度）を検出する。
回転および並進加速度を検出する加速度センサ８により頭部（基盤１１）の回転および並進運動を検出し、Ａ／Ｄ変換器１０を経由して中央制御器４に入力する。
頭部（基盤１１）両側のマイクロフォン２からの音声信号は、音声処理ボード１２を経由して中央制御器４に入力され、音源の頭部に対する位置を測定する。
【０００８】
図２は視覚と視線制御システムの座標系を示す。座標ｘＡ−ｌ−ｙＡ−ｌ−ｚＡ−ｌとｘＡ−ｒ−ｙＡ−ｒ−ｚＡ−ｒは、左右の加速度センサ８に固定されている座標であり、座標ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒは、左右の眼球（カメラセット１）に固定している座標である。座標ｘＯ−ｌ−ｙＯ−ｌ−ｚＯ−ｌとｘＯ−ｒ−ｙＯ−ｒ−ｚＯ−ｒは、左右の眼窩に固定している座標である。すなわち、原点はカメラセット１の回転中心点で、座標ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒにおいて同様であるが、座標系は頭部（基盤１１）に対し相対固定する座標系である。θ１，θ２はモータ６ｌｚとモータ６ｒｚの回転角である。すなわち、座標ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒがそれぞれｚ０−ｌとｚ０−ｒ軸廻りに回転した角度である。θ３，θ４はモータ６ｌｙとモータ６ｒｙの回転角である。すなわち、座標ｘＥ−ｌ−ｙＥ−ｌ−ｚＥ−ｌとｘＥ−ｒ−ｙＥ−ｒ−ｚＥ−ｒがそれぞれｙ０−ｌとｙ０−ｒと軸廻りに回転した角度である。ψ３，とψ４は、視標がそれぞれの眼窩固定座標ｙ０−ｌとｙ０−ｒ軸廻りの回転角である。図２の座標は、皆左右対称である。すなわち、モータ６ｌｚとモータ６ｒｚ及びモータ６ｌｙとモータ６ｒｙは正回転方向逆である。
【０００９】
両眼の左右運動制御システムのブロック線図を図３に示す。図３において、ψｔ−ｌとψｔ−ｒは、それぞれ左のカメラセット１ｌと右のカメラセット１ｒの望遠カメラにより測定した目標と視線の横方向の誤差である。ψｗ−ｌとψｗ−ｒはそれぞれ左のカメラセット１ｌと右のカメラセット１ｒの広角カメラにより測定した目標と視線の横方向の誤差である。ψｔ−ｌ、ψｔ−ｒとψｗ−ｌ、ψｗ−ｒの両方はψ１−θ１，ψ２−θ２に対応するが利用する画像信号は異なるカメラから来たものである（図２を参照）。
速度信号と回転角加速度信号である。
図２に示す広角カメラが測定した信号ψｗ−ｌ，ψｗ−ｒの伝達経路以外の制御システムの制御方程式を下記数１、数２に示す。
【００１０】
【数１】
【００１１】
【数２】
【００１２】
数１、数２において、Ｔｖｍ，Ｔｖ，Ｔｓは時定数であり、ρ，ρｒ，σ，σｒ，η，ηｒ，κｘ，κｘｒ，κｙ，κｙｒ，κψ，κψｒは全て正の
標が視線に対しての運動速度である。数１はよせ運動（ｖｅｒｇｅｎｃｅ）の方程式であり、数２は共役運動（ｃｏｎｊｕｇａｔｅ）の方程式である。
（数１）＋（数２）と、（数１）−（数２）を行うと、それぞれのモータ６の回転角を求めることができる。（数１）＋（数２）から、共役運動の応答速度（時定数Ｔｖｍ［１＋（ρ−ρｒ）（η−ηｒ）］／［１＋Ｔｖｍ（ρ−ρｒ）（σ−σｒ）］の逆数に比例する）はよせ運動の速度（時定数Ｔｖｍ［１＋（ρ＋ρｒ）（η＋ηｒ）］／［１＋Ｔｖｍ（ρ＋ρｒ）（σ＋σｒ）］の逆数に比例する）より速い。この特性は両眼が同じ視標を注視するために非常に重要である。
【００１３】
広角カメラからの画像を処理して得られる視標の信号ψｗ−ｌとψｗ−ｒは、視線を現在位置から別の注視点への高速移動（衝動性眼球運動に相当するので、以後はこの運動を衝動性眼球運動と呼ぶ）のときに用いる。すなわち、注視する視標の切換や視線から離れすぎた視標のキャッチアップなどのようなときに用いる眼球運動である。具体的にψｗ−ｌとψｗ−ｒは事前に用意した衝動性眼球運動制御曲線を選ぶのに用いる。また、視線制御システムは衝動性眼球運動を行うときは望遠カメラからの信号を遮断する。
衝動性眼球運動制御曲線の生成はフーリエ級数変換法を用いて実現する。具体的には、もし、視線を時間Ｔ以内に現在位置から目標位置へ移動すると設定する場合、システムの制御曲線ｆ（ｔ）は、下記数３に示すｍ本周期Ｔ，Ｔ／２，Ｔ／３，．．．Ｔ／ｍである正弦と余弦曲線によって合成することができる。
【００１４】
【数３】
【００１５】
ただし、ａ０，ａｎ，ｂｎは制御誤差をフーリエ逆変換法を用いて周波数毎の誤差に分離し、繰り返し学習によって得られる。すなわち、下記数４の式を用いて学習を行う。
【００１６】
【数４】
【００１７】
ただし、ｉは学習の回数を表し、Ｒ（ｔ）は制御対象（ここではモータ）の最適出力軌跡であり、ｉθ（ｔ）はｉ回目学習後の制御対象の出力曲線（ここでは制御するモータの回転角軌跡）である。図３の制御対象であるモータ６１とモータ６ｒは同じ方法で同時に学習を行う。このような方法で衝動性眼球運動制御曲線を生成すれば、各曲線は２ｍ＋１個の係数（ａ０，ａｎ，ｂｎ， ｎ＝１，２・・・ｍ）で生成または保存できる（一般的にｍ＜１０である）。各カメラセット１には数１０万本の衝動性眼球運動制御曲線を必要する場合があるので、このような方法で大量なメモリ容量を節約できるのみならず、「取り出し」（生成）にも便利である。
【００１８】
両眼の上下運動制御システムのブロック線図を図４に示す。図４において、Ψｔ−ｌとΨｔ−ｒはそれぞれ左のカメラセット１ｌと右のカメラセット１ｒの望遠カメラから測定した目標と視線の縦方向の偏差である。Ψｔ−ｌとΨｔ−ｒはそれぞれ左のカメラセット１ｌと右のカメラセット１
それぞれ左右の加速度センサから検出した並進加速度信号と回転角加速度信号である（図２を参照）。図４と図３の制御原理は全く同じである。ただし、眼球が上下運動時に両眼の相対運動（左右運動時のよせ運動に相当）は生理学領域ではまた発見していないので、ここでは、ρ＝ρｒに設定する。すなわち、図２に示すθ３とθ４はいつも同じである。
【００１９】
図３と同様な上下の眼球運動制御のブロック線図である図４に示す場合も、広角カメラのからの信号は「衝動性眼球運動制御曲線」を選ぶために使われ、フィードフォワード制御を行う。望遠カメラからの視標とカメラ視線の偏差信号、および視標の視線に対する運動速度信号は視覚フィードバック制御に用いられる。加速度センサ８により測定した並進および回転加速度信号は、基盤１１の振動を補償するためのフィードフォワード運動制御（前庭動眼反射に相当）に用いる。ここでの制御システムではこれらの加速度信号を直接利用するのではなく、漏れのある積分器（Ｔ／（Ｔｓ＋１））を通してからの信号を用いる。単眼の制御システムの場合は、図３と図４のそれぞれの左または右の半分の構成で制御を行う。また、玩具などのような単純な両眼運動制御の場合は、一つのモータ６が両眼を同時に駆動（この場合よせ運動ができない）すれば充分であるので、図３と図４のモータ６を一つにすることで制御を実現できる。玩具の眼球にはカメラがなく、すなわち、眼球以外のところにカメラ一台を設置する場合は、さらに片方の視覚フィードバック回路を切断する必要がある。
【００２０】
本実施例の自動視覚と視線制御システムを、監視システムとして図５に示すように、例えば室内に利用する場合、天井、または視野の広いところで固定した「天眼」、すなわち、超広角レンズ付きカメラ（魚眼など）または全方位カメラ、を設置し、視野内のすべての物体の運動軌跡を記録することができる。同時に、興味を持つ物体の位置を視線運動制御装置に伝え、追従を行う。
【００２１】
図５において、主眼と副眼は共に２自由度回転のできる単眼構造である。天眼は全方位カメラである。未知の人間が部屋に入ったとき、まず、天眼がその人間の大体の位置を検出し、主眼と副眼にその位置を伝える。主眼と副眼は高速回転し、この人物を広角カメラの視野に入れる。更に、主眼の広角カメラの画像信号を用いて、人物の頭部を検出し、視野の中心（すなわち、視線）を人物の頭部に照準する。望遠カメラ広角カメラと並行接近設置しているので、人物の頭部は自然に望遠カメラの視野に入り、ズーム調整することによってこの人物の頭部の鮮明な画像を取ることができる。この場合、副眼は広角カメラを持たなくても大丈夫である。主眼の望遠カメラの視線と天眼から、この人物の頭部位置を正確に測定できるので、この頭部位置信号を用いて副眼の望遠カメラを制御し、人物の頭部に照準することができる。主眼と副眼は同時に撮影または録画するので、人物の頭部の異なる側面の映像を得られる。本監視システムにはマイクロフォン２を取り入れることも可能である。すなわち、音源の位置を測定し、視線運動制御装置を音源に向けさせ、発音したところの状況を「見る」。
【００２２】
本発明のバイオ型自動視覚と視線制御システムの最良の構成は、両眼システム（カメラセット１を２組持ち、協調制御を行う）である。設置場所や目的に応じて、この両眼システムを一組または複数組を同時利用が可能である。また、各カメラセット１に用途によってその広角と望遠機能を任意に組み合わせることができる。一般的に、中央制御器（中央コントローラ）４が最も優先的に処理している「眼球」は主眼と呼ぶ。両眼システムの２組のカメラセット１は同じ目標を追従するが、各両眼システムはそれぞれ異なる目標を追従することができる（人間で例えれば、一人の人間は同じ時刻では一つの物体しか注視と追従できないが、複数の人間なら、同時に複数の物体を注視と追従することができる）。
【産業上の利用可能性】
【００２３】
以上の手法を用いた本発明のバイオ型自動視覚と視線制御システムは、監視に利用する場合、現場にあるものを順次に鮮明な画像で取り込み、記録することができ、各来場者の全時間の運動軌跡を記録することができる。さらに、来場者の運動軌跡や位置、または顔の特徴（マスクやサングラスを付けているなど）により各レベルの警報を出すことができる。このシステムは様々な場所の室内と室外の監視に利用できることのみならず、近距離の低空監視を行い、レーダの補助にも利用できる。また、本システムは各運動する装置や設備の上にも設置することができる。例えば車、列車、飛行機、船などの上に装着し、前庭動眼反射の原理を用いて、これらの乗り物の運動や振動により生じた視線の変動を補償することもできる。さらに、このシステムをロボットの眼として利用し、ロボットの視覚認識能力を大幅向上することが可能である。このシステムを眼として玩具に装着することによって、玩具を生き物のように見えることが可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施例に係るバイオ型自動視覚と視線運動制御システムの構成を示す図である。
【図２】本発明の実施例に係るバイオ型自動視覚と視線運動制御システムの座標系を示す図である。
【図３】本発明の実施例に係るバイオ型自動視覚と視線運動制御システムの左右運動の制御ブロック線図である。
【図４】本発明の実施例に係るバイオ型自動視覚と視線運動制御システムの上下運動の制御ブロック線図である。
【図５】本発明の実施例に係るバイオ型自動視覚と視線運動制御システムを監視システムとして利用する場合の具体例を示す図である。
【符号の説明】
【００２５】
１ カメラセット
１ｌ 左のカメラセット
１ｒ 右のカメラセット
２ マイクロフォン
３ 画像入力ボード
４ 中央コントローラ（中央制御器）
５ ドライバ
６ モータ（アクチュエータ）
６ｌｚ モータ
６ｒｚ モータ
６ｌｙ モータ
６ｒｙ モータ
７ センサ
８ 加速度センサ
９ Ｄ／Ａ変換器
１０ Ａ／Ｄ変換器（またはカウンター）
１１ 基盤
１２ 音声処理ボード
【特許請求の範囲】
【請求項１】
生物の眼球運動神経システムの原理を模擬したことを特徴としたバイオ型自動視覚と視線運動制御システム。本システムは以下の構造をもつ。
一つまたは複数のカメラセット１。各カメラセット１には一台若しくは複数台の並列設置してあるカメラにより構成される。
カメラセットを搭載するための基盤１１。
各カメラセット１を基盤１１に対して１または３自由度の回転を可能にする複数台のアクチュエータ６。
アクチュエータの回転角度や回転速度を検出するセンサ７。
各カメラ、各センサなどからの信号を受け取り、各アクチュエータ６の運動を制御し、外部と信号をやり取りする中央コントローラ４
【請求項２】
各カメラセット１に広角レンズ付きカメラ、望遠レンズ付きカメラまたはズーム機能付きカメラを含むことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項３】
基盤１１（頭部相当）は移動可能であり、基盤１１の上に基盤１１の１乃至６自由度の回転及び並進運動を測るための加速度センサ８を設置し、さらに、各自由度を測るセンサは偶数個の場合、それらのセンサ８を基盤１１の中心軸を境に対称位置に設置することを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項４】
基盤１１の姿勢を制御するために、基盤１１を１台乃至３台のアクチュエータにより駆動し、１乃至３自由度回転制御可能であることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項５】
基盤１１に複数のマイク２を設置し、中央コントローラ４に音声信号を入力できることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項６】
各カメラセットは３台のアクチュエータに駆動し、３自由度の回転が可能であり、その中の一つの自由度はカメラセット１中のあるカメラの光軸を回転軸とする。さらに、視標の位置を正確に測定するために、各カメラセット１の回転中心点の間の距離は自動または手動で調整可能であることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項７】
一台または複数台固定位置にある広角レンズ付カメラ、または全方位カメラを含み、それらの画像信号は中央コントローラ４に入力し、処理されることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム
【請求項８】
視標の捕獲と追従するために以下の方法を用いたことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
（１） 望遠レンズ付カメラの視野の中にある興味のある物体が入っている場合、その物体の特徴点を探し、その特徴点が視野の中心点に置くようにカメラセットを回転する（第２次衝動性眼球運動に相当する）。
（２） 望遠レンズ付カメラの視野の中心部にあるその物体の特徴点が運動する場合、カメラ視線がこの点を追従するように運動制御をする（滑動性眼球運動に相当する）。すなわち、望遠レンズ付カメラとその画像処理アルゴリズムが視野の中心部にある物体の運動速度または物体の特徴点と視野中心点の横方向と縦方向の距離を検出し、カメラ視線をこの特徴点を追従するようにアクチュエータの運動制御を行う。
（３） 望遠レンズ付カメラの視野の中に、複数個特徴点が存在する場合、各特徴点が視野の中心点位置との関係に基づいて、一定の時間間隔で順番にそれぞれの特徴点を視野中心に置くようにカメラ視線を制御する。
【請求項９】
カメラセット１に広角レンズ付きカメラが存在する場合、視標の捕獲と追従するために以下の方法を用いたことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
（１） 広角レンズ付カメラの視野に「興味のある」物体を発見した場合、カメラセットが高速回転し（衝動性眼球運動に相当する）、視線をその物体に合わせ、物体の特徴点を広角レンズ付カメラの視野の中心に置く。すなわち、カメラセットの広角レンズ付カメラとその画像処理アルゴリズムが視野にある「興味のある物体」（例えば運動している物体、特殊の色や形状のある物体）を発見し、その物体の特徴点と視野中心点の横方向と縦方向の距離を検出し、さらに、その処理結果を用いてカメラ視線をその物体に照準させるためのアクチュエータの運動制御を行う。
（２） カメラセット１中の広角レンズ付カメラが望遠レンズ付カメラと平行且つ接近に設置しているので、広角レンズの中心にある物体は自然に望遠レンズ付カメラの視野に入ることになる。したがって、望遠レンズ付カメラを通じてその物体の鮮明な画像を得られる。
【請求項１０】
固定位置に設置する広角レンズ付カメラ、または全方位カメラを用いる場合、視標の捕獲と追従するために以下の方法を用いたことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
固定位置に設置する広角レンズ付カメラ、または全方位カメラの視野に「興味のある」物体を発見した場合、その物体の方向を検出し、カメラセット１の視線をこの物体に照準するように、基盤１１とカメラセット１を駆動するアクチュエータの運動制御を行う。
【請求項１１】
請求項９または１０にある広角レンズ付カメラまたは全方位カメラの視野に複数の「興味のある」物体が存在する場合、物体の出現する時間順またはそれらの位置関係を用いて、追従する順番を決め、一定時間間隔をもって順次に照準と追従を行うことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項１２】
二組のカメラセット１の協調制御を行う場合、以下の制御特性を特徴とする請求項８記載のバイオ型自動視覚と視線運動制御システム。
両カメラセット１の共同運動（共役運動）の応答速度は両カメラセットの相対運動（よせ運動）の応答速度より早い。
【請求項１３】
両眼システム（カメラセットが二つある）の場合、その共役運動とよせ運動を実現するためのアクチュエータ運動制御は下記の方法で実現することができることを特徴とする請求項１２記載のバイオ型自動視覚と視線運動制御システム。
両カメラセットの水平運動に対応するアクチュエータの制御システムの運動制御方程式は
である。ただし、ψｔ−ｌ，ψｔ−ｒは左右それぞれのカメラセットの中の望遠レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標とカメラ視線との水平方向の誤差角度
加速度センサが測定した回転角加速と並進加速度である。Ｔｖｍ，Ｔｖ，Ｔｓは時定数であり、ρ，
カメラセットの中の望遠レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標がカメラに対する相対速度である。上の式はよせ運動の制御方程式であり、下の式は共役運動の制御方程式である。上と下の式の足し算と引き算を行うことによって、それぞれのアクチュエータの回転角を求めることができる。両カメラセットのカメラ視線の垂直運動に対応するアクチュエータの制御システムの運動制御方程式は水平運動と同じである。
【請求項１４】
衝動性眼球運動（広角レンズ付カメラが興味のある物体を発見し、カメラセットが高速にその物体に照準する運動）の場合の運動制御は以下の方法で行うことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
カメラ制御システムの操作信号は繰り返し学習により得られた制御曲線ｆ（ｔ）を用いる。すなわち、
である。ただし、ａ０，ａｎ，ｂｎは制御誤差曲線を逆フーリエ変換法を用いて繰り返し学習によって以下のように得られる。
ただし、Ｔは視線を現在位置から視標位置に移動する時間である。ｉは学習の回数であり、Ｒ（ｔ）は広角レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標とカメラ視線との誤差から算出した対応するアクチュエータの最適運動軌跡である。ｉθ（ｔ）は第ｉ回学習時の対応するアクチュエータの回転角である。
【請求項１５】
基盤１１が運動する場合、以下２つの方法を用いて、基盤１１の運動を補償する請求項８記載のバイオ型自動視覚と視線制御法。
１）基盤１１に設置した角加速度と並進加速度センサの信号が中央コントローラに入力し、その信号を漏れのある積分処理後、カメラセットの運動制御に用いる。すなわち、基盤１１が運動または振動するときに生じたカメラセットの視標追従偏差を加速度センサの信号により補償制御を行う。漏れのある積分処理と言うのが、信号が伝達関数Ｔ／（Ｔｓ＋１）を用いて処理する（Ｔは時定数であり、ｓはラプラス変換の複素パラメータである）。
２）基盤１１を駆動するためのアクチュエータが運動する場合、アクチュエータの上に取り付けていたアクチュエータの回転角または回転速度を測定するセンサの信号を用いて、各カメラセットの視線を振動しないように制御を行う。
【特許請求の範囲】
【請求項１】
生物の眼球運動神経システムの原理を模擬したバイオ型自動視覚と視線運動制御システムであって、
一台若しくは複数台の並列設置してあるカメラにより構成される一つまたは複数のカメラセット１と、
カメラセットを搭載するための基盤１１と、
各カメラセット１を基盤１１に対して１または３自由度の回転を可能にする複数台のアクチュエータ６と、
アクチュエータ６の回転角度や回転速度を検出する一つまたは複数のセンサ７と、
各カメラ、各センサ７などからの信号を受け取り、各アクチュエータ６の運動を制御し、外部と信号をやり取りする中央コントローラ４と、
を有することを特徴としたバイオ型自動視覚と視線運動制御システム。
【請求項２】
各カメラセット１に、広角レンズ付きカメラ、望遠レンズ付きカメラまたはズーム機能付きカメラを含むことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項３】
基盤１１（頭部相当）は移動可能であり、基盤１１の上に基盤１１の１乃至６自由度の回転及び並進運動を測るための加速度センサ８を設置し、さらに、各自由度を測る加速度センサ８は偶数個の場合、それらの加速度センサ８を基盤１１の中心軸を境に対称位置に設置することを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項４】
基盤１１の姿勢を制御するために、基盤１１を１台乃至３台のアクチュエータ６により駆動し、１乃至３自由度回転制御可能であることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項５】
基盤１１に複数のマイク２を設置し、中央コントローラ４に音声信号を入力できることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項６】
各カメラセット１は、３台のアクチュエータ６により駆動し、３自由度の回転が可能であり、その中の一つの自由度はカメラセット１中のあるカメラの光軸を回転軸とするとともに、視標の位置を正確に測定するために、各カメラセット１の回転中心点の間の距離は自動または手動で調整可能であることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項７】
各可動なカメラセット１以外に、一台または複数台固定位置にある広角レンズ付カメラ、または全方位カメラを含み、それらの画像信号は中央コントローラ４に入力され、処理されることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項８】
視標の捕獲と追従するために以下の方法を用いたことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
（１） 望遠レンズ付カメラの視野の中にある興味のある物体が入っている場合、その物体の特徴点を探し、その特徴点が視野の中心点に置くようにカメラセット１を回転する（第２次衝動性眼球運動に相当する）。
（２） 望遠レンズ付カメラの視野の中心部にあるその物体の特徴点が運動する場合、カメラ視線がこの点を追従するように運動制御をする（滑動性眼球運動に相当する）。すなわち、望遠レンズ付カメラとその画像処理アルゴリズムが視野の中心部にある物体の運動速度または物体の特徴点と視野中心点の横方向と縦方向の距離を検出し、カメラ視線をこの特徴点を追従するようにアクチュエータ６の運動制御を行う。
（３） 望遠レンズ付カメラの視野の中に、複数個特徴点が存在する場合、各特徴点が視野の中心点位置との関係に基づいて、一定の時間間隔で順番にそれぞれの特徴点を視野中心に置くようにカメラ視線を制御する。
【請求項９】
カメラセット１に広角レンズ付きカメラが存在する場合、視標の捕獲と追従するために以下の方法を用いたことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
（１） 広角レンズ付カメラの視野に「興味のある」物体を発見した場合、カメラセット１が高速回転し（衝動性眼球運動に相当する）、視線をその物体に合わせ、物体の特徴点を広角レンズ付カメラの視野の中心に置く。すなわち、カメラセット１の広角レンズ付カメラとその画像処理アルゴリズムが視野にある「興味のある物体」（例えば運動している物体、特殊の色や形状のある物体）を発見し、その物体の特徴点と視野中心点の横方向と縦方向の距離を検出し、さらに、その処理結果を用いてカメラ視線をその物体に照準させるためのアクチュエータ６の運動制御を行う。
（２） カメラセット１中の広角レンズ付カメラが望遠レンズ付カメラと平行且つ接近に設置しているので、広角レンズの中心にある物体は自然に望遠レンズ付カメラの視野に入ることになる。したがって、望遠レンズ付カメラを通じてその物体の鮮明な画像を得る。
【請求項１０】
固定位置に設置する広角レンズ付カメラ、または全方位カメラを用いる場合、視標の捕獲と追従を行うために以下の方法を用いたことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
固定位置に設置する広角レンズ付カメラ、または全方位カメラの視野に「興味のある」物体を発見した場合、その物体の方向を検出し、カメラセット１の視線をこの物体に照準するように、基盤１１とカメラセット１を駆動するアクチュエータの運動制御を行う。
【請求項１１】
カメラセット１に、請求項９または１０に記載の広角レンズ付カメラまたは全方位カメラを用いる場合において、その視野に複数の「興味のある」物体が存在する場合、物体の出現する時間順またはそれらの位置関係を用いて、追従する順番を決め、一定時間間隔をもって順次に照準と追従を行うことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項１２】
二組のカメラセット１の協調制御を行う場合、両カメラセット１の共同運動（共役運動）の応答速度は、両カメラセット１の相対運動（よせ運動）の応答速度より早い制御特性であることを特徴とする請求項８記載のバイオ型自動視覚と視線運動制御システム。
【請求項１３】
両眼システム（カメラセット１が二つある）の場合、その共役運動とよせ運動を実現するためのアクチュエータ運動制御は、下記の方法で実現することができることを特徴とする請求項１２記載のバイオ型自動視覚と視線運動制御システム。
（１）両カメラセット１の水平運動及び／又は垂直運動に対応するアクチュエータ６の制御システムの運動制御方程式は、よせ運動の制御方程式である下記数１、共役運動の制御方程式である下記数２で表される。
【数１】
【数２】
ただし、数１、数２において、ψｔ−ｌ，ψｔ−ｒは左右それぞれのカメラセット１の中の望遠レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標とカメラ視線との
左右両側に設置した加速度センサが測定した回転角加速と並進加速度である。Ｔｖｍ，Ｔｖ，Ｔｓ
は左右それぞれのカメラセット１の中の望遠レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標が望遠レンズ付カメラに対する相対速度である。
（２）数１と数２の式の足し算と引き算を行うことによって、それぞれのアクチュエータ６の回転角を求める。
【請求項１４】
衝動性眼球運動（広角レンズ付カメラが興味のある物体を発見し、カメラセット１が高速にその物体に照準する運動）の場合の運動制御は、以下の方法で行うことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
カメラ制御システムの操作信号は、繰り返し学習により得られた下記数３で示される制御曲線ｆ（ｔ）を用いる。
【数３】
ただし、ａ０，ａｎ，ｂｎは制御誤差曲線を逆フーリエ変換法を用いて繰り返し学習によって下記数４により得られる。
【数４】
ただし、Ｔは視線を現在位置から視標位置に移動する時間である。ｉは学習の回数であり、Ｒ（ｔ）は広角レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標とカメラ視線との誤差から算出した対応するアクチュエータの最適運動軌跡である。ｉθ（ｔ）は第ｉ回学習時の対応するアクチュエータの回転角である。
【請求項１５】
基盤１１が運動する場合、以下２つの方法を用いて、基盤１１の運動を補償することを特徴とする請求項８記載のバイオ型自動視覚と視線制御システム。
（１）基盤１１に設置した角加速度と並進加速度を測定する加速度センサ８の信号が中央コントローラ４に入力され、その信号を漏れのある積分処理後、カメラセット１の運動制御に用いる。すなわち、基盤１１が運動または振動するときに生じたカメラセット１の視標追従偏差を加速度センサ８の信号により補償制御を行う。ここに、漏れのある積分処理は、信号を伝達関数Ｔ／（Ｔｓ＋１）を用いて処理する（Ｔは時定数であり、ｓはラプラス変換の複素パラメータである）ものである。
（２）基盤１１を駆動するためのアクチュエータ６が運動する場合、アクチュエータ６の上に取り付けていたこのアクチュエータ６の回転角または回転速度を測定するセンサ７の信号を用いて、各カメラセット１の視線を振動しないように制御を行う。
【請求項１】
生物の眼球運動神経システムの原理を模擬したことを特徴としたバイオ型自動視覚と視線運動制御システム。本システムは以下の構造をもつ。
一つまたは複数のカメラセット１。各カメラセット１には一台若しくは複数台の並列設置してあるカメラにより構成される。
カメラセットを搭載するための基盤１１。
各カメラセット１を基盤１１に対して１または３自由度の回転を可能にする複数台のアクチュエータ６。
アクチュエータの回転角度や回転速度を検出するセンサ７。
各カメラ、各センサなどからの信号を受け取り、各アクチュエータ６の運動を制御し、外部と信号をやり取りする中央コントローラ４
【請求項２】
各カメラセット１に広角レンズ付きカメラ、望遠レンズ付きカメラまたはズーム機能付きカメラを含むことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項３】
基盤１１（頭部相当）は移動可能であり、基盤１１の上に基盤１１の１乃至６自由度の回転及び並進運動を測るための加速度センサ８を設置し、さらに、各自由度を測るセンサは偶数個の場合、それらのセンサ８を基盤１１の中心軸を境に対称位置に設置することを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項４】
基盤１１の姿勢を制御するために、基盤１１を１台乃至３台のアクチュエータにより駆動し、１乃至３自由度回転制御可能であることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項５】
基盤１１に複数のマイク２を設置し、中央コントローラ４に音声信号を入力できることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項６】
各カメラセットは３台のアクチュエータに駆動し、３自由度の回転が可能であり、その中の一つの自由度はカメラセット１中のあるカメラの光軸を回転軸とする。さらに、視標の位置を正確に測定するために、各カメラセット１の回転中心点の間の距離は自動または手動で調整可能であることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項７】
一台または複数台固定位置にある広角レンズ付カメラ、または全方位カメラを含み、それらの画像信号は中央コントローラ４に入力し、処理されることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム
【請求項８】
視標の捕獲と追従するために以下の方法を用いたことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
（１） 望遠レンズ付カメラの視野の中にある興味のある物体が入っている場合、その物体の特徴点を探し、その特徴点が視野の中心点に置くようにカメラセットを回転する（第２次衝動性眼球運動に相当する）。
（２） 望遠レンズ付カメラの視野の中心部にあるその物体の特徴点が運動する場合、カメラ視線がこの点を追従するように運動制御をする（滑動性眼球運動に相当する）。すなわち、望遠レンズ付カメラとその画像処理アルゴリズムが視野の中心部にある物体の運動速度または物体の特徴点と視野中心点の横方向と縦方向の距離を検出し、カメラ視線をこの特徴点を追従するようにアクチュエータの運動制御を行う。
（３） 望遠レンズ付カメラの視野の中に、複数個特徴点が存在する場合、各特徴点が視野の中心点位置との関係に基づいて、一定の時間間隔で順番にそれぞれの特徴点を視野中心に置くようにカメラ視線を制御する。
【請求項９】
カメラセット１に広角レンズ付きカメラが存在する場合、視標の捕獲と追従するために以下の方法を用いたことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
（１） 広角レンズ付カメラの視野に「興味のある」物体を発見した場合、カメラセットが高速回転し（衝動性眼球運動に相当する）、視線をその物体に合わせ、物体の特徴点を広角レンズ付カメラの視野の中心に置く。すなわち、カメラセットの広角レンズ付カメラとその画像処理アルゴリズムが視野にある「興味のある物体」（例えば運動している物体、特殊の色や形状のある物体）を発見し、その物体の特徴点と視野中心点の横方向と縦方向の距離を検出し、さらに、その処理結果を用いてカメラ視線をその物体に照準させるためのアクチュエータの運動制御を行う。
（２） カメラセット１中の広角レンズ付カメラが望遠レンズ付カメラと平行且つ接近に設置しているので、広角レンズの中心にある物体は自然に望遠レンズ付カメラの視野に入ることになる。したがって、望遠レンズ付カメラを通じてその物体の鮮明な画像を得られる。
【請求項１０】
固定位置に設置する広角レンズ付カメラ、または全方位カメラを用いる場合、視標の捕獲と追従するために以下の方法を用いたことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
固定位置に設置する広角レンズ付カメラ、または全方位カメラの視野に「興味のある」物体を発見した場合、その物体の方向を検出し、カメラセット１の視線をこの物体に照準するように、基盤１１とカメラセット１を駆動するアクチュエータの運動制御を行う。
【請求項１１】
請求項９または１０にある広角レンズ付カメラまたは全方位カメラの視野に複数の「興味のある」物体が存在する場合、物体の出現する時間順またはそれらの位置関係を用いて、追従する順番を決め、一定時間間隔をもって順次に照準と追従を行うことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項１２】
二組のカメラセット１の協調制御を行う場合、以下の制御特性を特徴とする請求項８記載のバイオ型自動視覚と視線運動制御システム。
両カメラセット１の共同運動（共役運動）の応答速度は両カメラセットの相対運動（よせ運動）の応答速度より早い。
【請求項１３】
両眼システム（カメラセットが二つある）の場合、その共役運動とよせ運動を実現するためのアクチュエータ運動制御は下記の方法で実現することができることを特徴とする請求項１２記載のバイオ型自動視覚と視線運動制御システム。
両カメラセットの水平運動に対応するアクチュエータの制御システムの運動制御方程式は
である。ただし、ψｔ−ｌ，ψｔ−ｒは左右それぞれのカメラセットの中の望遠レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標とカメラ視線との水平方向の誤差角度
加速度センサが測定した回転角加速と並進加速度である。Ｔｖｍ，Ｔｖ，Ｔｓは時定数であり、ρ，
カメラセットの中の望遠レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標がカメラに対する相対速度である。上の式はよせ運動の制御方程式であり、下の式は共役運動の制御方程式である。上と下の式の足し算と引き算を行うことによって、それぞれのアクチュエータの回転角を求めることができる。両カメラセットのカメラ視線の垂直運動に対応するアクチュエータの制御システムの運動制御方程式は水平運動と同じである。
【請求項１４】
衝動性眼球運動（広角レンズ付カメラが興味のある物体を発見し、カメラセットが高速にその物体に照準する運動）の場合の運動制御は以下の方法で行うことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
カメラ制御システムの操作信号は繰り返し学習により得られた制御曲線ｆ（ｔ）を用いる。すなわち、
である。ただし、ａ０，ａｎ，ｂｎは制御誤差曲線を逆フーリエ変換法を用いて繰り返し学習によって以下のように得られる。
ただし、Ｔは視線を現在位置から視標位置に移動する時間である。ｉは学習の回数であり、Ｒ（ｔ）は広角レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標とカメラ視線との誤差から算出した対応するアクチュエータの最適運動軌跡である。ｉθ（ｔ）は第ｉ回学習時の対応するアクチュエータの回転角である。
【請求項１５】
基盤１１が運動する場合、以下２つの方法を用いて、基盤１１の運動を補償する請求項８記載のバイオ型自動視覚と視線制御法。
１）基盤１１に設置した角加速度と並進加速度センサの信号が中央コントローラに入力し、その信号を漏れのある積分処理後、カメラセットの運動制御に用いる。すなわち、基盤１１が運動または振動するときに生じたカメラセットの視標追従偏差を加速度センサの信号により補償制御を行う。漏れのある積分処理と言うのが、信号が伝達関数Ｔ／（Ｔｓ＋１）を用いて処理する（Ｔは時定数であり、ｓはラプラス変換の複素パラメータである）。
２）基盤１１を駆動するためのアクチュエータが運動する場合、アクチュエータの上に取り付けていたアクチュエータの回転角または回転速度を測定するセンサの信号を用いて、各カメラセットの視線を振動しないように制御を行う。
【特許請求の範囲】
【請求項１】
生物の眼球運動神経システムの原理を模擬したバイオ型自動視覚と視線運動制御システムであって、
一台若しくは複数台の並列設置してあるカメラにより構成される一つまたは複数のカメラセット１と、
カメラセットを搭載するための基盤１１と、
各カメラセット１を基盤１１に対して１または３自由度の回転を可能にする複数台のアクチュエータ６と、
アクチュエータ６の回転角度や回転速度を検出する一つまたは複数のセンサ７と、
各カメラ、各センサ７などからの信号を受け取り、各アクチュエータ６の運動を制御し、外部と信号をやり取りする中央コントローラ４と、
を有することを特徴としたバイオ型自動視覚と視線運動制御システム。
【請求項２】
各カメラセット１に、広角レンズ付きカメラ、望遠レンズ付きカメラまたはズーム機能付きカメラを含むことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項３】
基盤１１（頭部相当）は移動可能であり、基盤１１の上に基盤１１の１乃至６自由度の回転及び並進運動を測るための加速度センサ８を設置し、さらに、各自由度を測る加速度センサ８は偶数個の場合、それらの加速度センサ８を基盤１１の中心軸を境に対称位置に設置することを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項４】
基盤１１の姿勢を制御するために、基盤１１を１台乃至３台のアクチュエータ６により駆動し、１乃至３自由度回転制御可能であることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項５】
基盤１１に複数のマイク２を設置し、中央コントローラ４に音声信号を入力できることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項６】
各カメラセット１は、３台のアクチュエータ６により駆動し、３自由度の回転が可能であり、その中の一つの自由度はカメラセット１中のあるカメラの光軸を回転軸とするとともに、視標の位置を正確に測定するために、各カメラセット１の回転中心点の間の距離は自動または手動で調整可能であることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項７】
各可動なカメラセット１以外に、一台または複数台固定位置にある広角レンズ付カメラ、または全方位カメラを含み、それらの画像信号は中央コントローラ４に入力され、処理されることを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項８】
視標の捕獲と追従するために以下の方法を用いたことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
（１） 望遠レンズ付カメラの視野の中にある興味のある物体が入っている場合、その物体の特徴点を探し、その特徴点が視野の中心点に置くようにカメラセット１を回転する（第２次衝動性眼球運動に相当する）。
（２） 望遠レンズ付カメラの視野の中心部にあるその物体の特徴点が運動する場合、カメラ視線がこの点を追従するように運動制御をする（滑動性眼球運動に相当する）。すなわち、望遠レンズ付カメラとその画像処理アルゴリズムが視野の中心部にある物体の運動速度または物体の特徴点と視野中心点の横方向と縦方向の距離を検出し、カメラ視線をこの特徴点を追従するようにアクチュエータ６の運動制御を行う。
（３） 望遠レンズ付カメラの視野の中に、複数個特徴点が存在する場合、各特徴点が視野の中心点位置との関係に基づいて、一定の時間間隔で順番にそれぞれの特徴点を視野中心に置くようにカメラ視線を制御する。
【請求項９】
カメラセット１に広角レンズ付きカメラが存在する場合、視標の捕獲と追従するために以下の方法を用いたことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
（１） 広角レンズ付カメラの視野に「興味のある」物体を発見した場合、カメラセット１が高速回転し（衝動性眼球運動に相当する）、視線をその物体に合わせ、物体の特徴点を広角レンズ付カメラの視野の中心に置く。すなわち、カメラセット１の広角レンズ付カメラとその画像処理アルゴリズムが視野にある「興味のある物体」（例えば運動している物体、特殊の色や形状のある物体）を発見し、その物体の特徴点と視野中心点の横方向と縦方向の距離を検出し、さらに、その処理結果を用いてカメラ視線をその物体に照準させるためのアクチュエータ６の運動制御を行う。
（２） カメラセット１中の広角レンズ付カメラが望遠レンズ付カメラと平行且つ接近に設置しているので、広角レンズの中心にある物体は自然に望遠レンズ付カメラの視野に入ることになる。したがって、望遠レンズ付カメラを通じてその物体の鮮明な画像を得る。
【請求項１０】
固定位置に設置する広角レンズ付カメラ、または全方位カメラを用いる場合、視標の捕獲と追従を行うために以下の方法を用いたことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
固定位置に設置する広角レンズ付カメラ、または全方位カメラの視野に「興味のある」物体を発見した場合、その物体の方向を検出し、カメラセット１の視線をこの物体に照準するように、基盤１１とカメラセット１を駆動するアクチュエータの運動制御を行う。
【請求項１１】
カメラセット１に、請求項９または１０に記載の広角レンズ付カメラまたは全方位カメラを用いる場合において、その視野に複数の「興味のある」物体が存在する場合、物体の出現する時間順またはそれらの位置関係を用いて、追従する順番を決め、一定時間間隔をもって順次に照準と追従を行うことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
【請求項１２】
二組のカメラセット１の協調制御を行う場合、両カメラセット１の共同運動（共役運動）の応答速度は、両カメラセット１の相対運動（よせ運動）の応答速度より早い制御特性であることを特徴とする請求項８記載のバイオ型自動視覚と視線運動制御システム。
【請求項１３】
両眼システム（カメラセット１が二つある）の場合、その共役運動とよせ運動を実現するためのアクチュエータ運動制御は、下記の方法で実現することができることを特徴とする請求項１２記載のバイオ型自動視覚と視線運動制御システム。
（１）両カメラセット１の水平運動及び／又は垂直運動に対応するアクチュエータ６の制御システムの運動制御方程式は、よせ運動の制御方程式である下記数１、共役運動の制御方程式である下記数２で表される。
【数１】
【数２】
ただし、数１、数２において、ψｔ−ｌ，ψｔ−ｒは左右それぞれのカメラセット１の中の望遠レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標とカメラ視線との
左右両側に設置した加速度センサが測定した回転角加速と並進加速度である。Ｔｖｍ，Ｔｖ，Ｔｓ
は左右それぞれのカメラセット１の中の望遠レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標が望遠レンズ付カメラに対する相対速度である。
（２）数１と数２の式の足し算と引き算を行うことによって、それぞれのアクチュエータ６の回転角を求める。
【請求項１４】
衝動性眼球運動（広角レンズ付カメラが興味のある物体を発見し、カメラセット１が高速にその物体に照準する運動）の場合の運動制御は、以下の方法で行うことを特徴とする請求項１記載のバイオ型自動視覚と視線運動制御システム。
カメラ制御システムの操作信号は、繰り返し学習により得られた下記数３で示される制御曲線ｆ（ｔ）を用いる。
【数３】
ただし、ａ０，ａｎ，ｂｎは制御誤差曲線を逆フーリエ変換法を用いて繰り返し学習によって下記数４により得られる。
【数４】
ただし、Ｔは視線を現在位置から視標位置に移動する時間である。ｉは学習の回数であり、Ｒ（ｔ）は広角レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標とカメラ視線との誤差から算出した対応するアクチュエータの最適運動軌跡である。ｉθ（ｔ）は第ｉ回学習時の対応するアクチュエータの回転角である。
【請求項１５】
基盤１１が運動する場合、以下２つの方法を用いて、基盤１１の運動を補償することを特徴とする請求項８記載のバイオ型自動視覚と視線制御システム。
（１）基盤１１に設置した角加速度と並進加速度を測定する加速度センサ８の信号が中央コントローラ４に入力され、その信号を漏れのある積分処理後、カメラセット１の運動制御に用いる。すなわち、基盤１１が運動または振動するときに生じたカメラセット１の視標追従偏差を加速度センサ８の信号により補償制御を行う。ここに、漏れのある積分処理は、信号を伝達関数Ｔ／（Ｔｓ＋１）を用いて処理する（Ｔは時定数であり、ｓはラプラス変換の複素パラメータである）ものである。
（２）基盤１１を駆動するためのアクチュエータ６が運動する場合、アクチュエータ６の上に取り付けていたこのアクチュエータ６の回転角または回転速度を測定するセンサ７の信号を用いて、各カメラセット１の視線を振動しないように制御を行う。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２００６−５０２６７５（Ｐ２００６−５０２６７５Ａ）
【公表日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願番号】特願２００４−５４５６８１（Ｐ２００４−５４５６８１）
【出願日】平成１５年１０月２０日（２００３．１０．２０）
【国際出願番号】ＰＣＴ／ＣＮ２００３／０００８７２
【国際公開番号】ＷＯ２００４／０３９０７７
【国際公開日】平成１６年５月６日（２００４．５．６）
【出願人】（５０４３２６７９０）
【Ｆターム（参考）】
【公表日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願日】平成１５年１０月２０日（２００３．１０．２０）
【国際出願番号】ＰＣＴ／ＣＮ２００３／０００８７２
【国際公開番号】ＷＯ２００４／０３９０７７
【国際公開日】平成１６年５月６日（２００４．５．６）
【出願人】（５０４３２６７９０）
【Ｆターム（参考）】
[ Back to top ]