光センサ用感度調節方法、光センサ用感度調節装置、ビジュアルトラッキング制御方法及びビジュアルトラッキング制御装置
【課題】光センサ部の非線形特性を考慮しながらも高速に感度調節を行えるようにすることを課題とする。
【解決手段】シリコン網膜カメラ２では、非線形性を有する光センサ部３の感度を調節する際に、シリコン網膜カメラ２からフレーム単位の画素情報に基づいて最大振幅値を求め、その最大振幅値とあらかじめ与えられた振幅値の目標範囲との関係から、最大振幅値が目標範囲外にあった場合には、最大振幅値が目標範囲内に入るまで、シリコン網膜カメラ２を駆動するための電荷の蓄積時間を段階的に増加するように更新する。
【解決手段】シリコン網膜カメラ２では、非線形性を有する光センサ部３の感度を調節する際に、シリコン網膜カメラ２からフレーム単位の画素情報に基づいて最大振幅値を求め、その最大振幅値とあらかじめ与えられた振幅値の目標範囲との関係から、最大振幅値が目標範囲外にあった場合には、最大振幅値が目標範囲内に入るまで、シリコン網膜カメラ２を駆動するための電荷の蓄積時間を段階的に増加するように更新する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、たとえば、光センサ用感度調節方法、光センサ用感度調節装置、ビジュアルトラッキング制御方法及びビジュアルトラッキング制御装置に関する。
【０００２】
【従来の技術】
今日、ロボットの目としてカメラを使うことを考えた場合、ロボットが人間のように外界を知覚できるようなカメラ及び画像処理技術が必要となる。このような技術は、これまで数多く提案されてきている。
【０００３】
上述したような技術の中でも、人間の網膜に見られる並列処理を行う機能をＣＭＯＳ集積回路として実現したビジョンチップと呼ばれるものが開発されている。シリコン網膜もビジョンチップのひとつである。
【０００４】
シリコン網膜の光センサ部には、フォトダイオード（ＰＤ）の寄生容量成分が利用されている。その動作原理はつぎのようである。まずＰＤに電圧をかけて容量に電荷が蓄積させれると、つぎにＰＤで放電が行なわれる。この放電によって光強度に比例した電流が流れ出し、容量に蓄えられた電荷が放出される。光強度が強いほど電流が大きく、ＰＤの両端の電圧の減衰は速くなる。したがって、適当な時間でＰＤの電圧を出力として取り出せば、光強度に比例した電圧の減少が得られる。この時間を以下に蓄積時間Ｔａという。
【０００５】
シリコン網膜はラプラシアン−ガウシアン型のフィルタ特性を持っており、輪郭強調及び平滑化の画像前処理を実時間で行なうことができる。図１０（Ａ）、（Ｂ）はそれぞれシリコン網膜に白い背景の中でオレンジ色のボールを提示した時のＣＣＤカメラの出力、シリコン網膜カメラの出力を示している。図１０のシリコン網膜の出力ではボールの輪郭付近で白黒の強調部分を見ることができる。
【０００６】
また、シリコン網膜で蓄積時間を変えたときの白黒パターンに対する１ライン分の出力応答は図１１のようになる。図１１からわかるように蓄積時間を変えることで応答感度を調節することができると考えられる。また、図１１での出力に見られるようなエッジ付近での輪郭強調による上下のピーク値の幅を以下に最大振幅値Ｖｐｐとする。
【０００７】
シリコン網膜を用いた場合、前処理を施した出力しか得ることができないので、通常行われているように、撮像素子のフロントエンドに位置している光センサ部の情報を用いて光の強度を判断することはできなかった。
【０００８】
【発明が解決しようとする課題】
まず最大振幅値と蓄積時間と照明条件との関係を調べた実験結果は図１２のようになる。ここでは白い背景の中でのオレンジ色のボールをシリコン網膜に提示して実験を行なった。
【０００９】
図１２の結果から感度を調節しようとしたときに問題となるのが、蓄積時間を増やし続けると、ある値を越えてからは最大振幅値が減少し始めることである。このような非線形特性が現れるのはシリコン網膜に使われている光センサの特性によるものである。
【００１０】
上述したように光センサ部にはフォトダイオードを利用している。そのため、放電時間を長く（つまり蓄積時間を大きく）し過ぎると、受光面において強い光を受けている受光素子では容量に蓄えられていた電荷が全て放出され、これにより、電圧の変化が起こらなくなってしまう場合がある。逆に弱い光を受けている受光素子では電圧降下が進み続けるため、画面全体でのコントラストが失われてしまう。これにより、非線形特性が現れる場合がある。
【００１１】
この特性のために感度調節を考える場合に蓄積時間を増加させるべきなのか、それとも減少させるべきなのかが大きな問題である。例えば図１２で照明条件が１６０［Ｌｕｘ］、蓄積時間が１６０［ｍｓ］の状態から照明条件の変化によって最大振幅値が３５０［ｍＶ］から９５［ｍＶ］に減少した場合を考えてみる。このとき、図１２に示したように、変化後の照明条件は明るい８００［Ｌｕｘ］と暗い１２［Ｌｕｘ］の二通りの可能性が考えられる。ここで、照明条件が８００［Ｌｕｘ］、１６０［Ｌｕｘ］、１２［Ｌｕｘ］のときの曲線をそれぞれ１２１、１２２、１２３で示す。
【００１２】
そのため、実際の変化がどちらなのかを判断するためには蓄積時間を変化させ、その結果得られた最大振幅値をもとに判断する必要がある。上述の例では、蓄積時間を大きくしてみると、照明条件が８００［Ｌｕｘ］に明るくなっていた場合には最大振幅値は減少し（図１２の曲線１２１を参照）、照明条件が１２［Ｌｕｘ］に暗くなっていた場合には最大振幅値は増加していた（図１２の曲線１２３を参照）。このようにして、蓄積時間の変動に対する最大振幅値の変化を調べることで照明条件の変化を知ることができる。
【００１３】
しかしながら、上述した方法では、蓄積時間を変化させても最大振幅値に変化が起こらないような領域にある場合には照明条件の変化を判断することができなかった。また、照明条件の変化を判断することに時間がかかってしまい、高速性が損なわれるという問題が生じた。
【００１４】
本発明の目的は、光センサ部の非線形特性を考慮しながらも高速に感度調節を行うことが可能な光センサ用感度調節方法及び光センサ用感度調節装置を提供することにある。
【００１５】
また、本発明の目的は、上述したように高速に感度調節を行いながら、さらに、ロボット等のカメラによる高速なトラッキング性能を実現することが可能なビジュアルトラッキング制御方法及びビジュアルトラッキング制御装置を提供することにある。
【００１６】
【課題を解決するための手段】
上述した課題を解決し、上記目的を達成するため、請求項１の発明に係る光センサ用感度調節方法は、非線形性を有する光センサの感度を調節する光センサ用感度調節方法であって、前記光センサから出力された所定単位の画素情報に基づいて最大振幅値を求める第一ステップと、前記第一ステップで求めた最大振幅値があらかじめ与えられた振幅値の目標範囲内にあるか否かの関係を判断する第二ステップと、前記第二ステップにより前記最大振幅値が前記目標範囲外にあるという関係が判断された場合には、前記第二ステップにより前記最大振幅値が前記目標範囲内にあるという関係が判断されるまで、前記光センサを駆動するための電荷の蓄積時間を段階的に増加するように更新する第三ステップと、を含んだことを特徴とするものである。
【００１７】
請求項１の発明に係る光センサ用感度調節方法は、請求項２の発明のように、前記第三ステップは、最大振幅値と蓄積時間との相関関係を示す曲線において少なくとも過去２サイクル分の蓄積時間にそれぞれ対応する最大振幅値に基づいて線形近似した直線を求め、当該直線が前記目標範囲と交差する位置までを蓄積時間として設定するようにしてもよい。
【００１８】
請求項２の発明に係る光センサ用感度調節方法は、請求項３の発明のように、前記目標範囲は最大振幅値の上限と下限により囲まれる範囲を指し、前記直線が前記目標範囲の上限と交差する位置までを蓄積時間として設定するようにしてもよい。
【００１９】
請求項１、２又は３の発明に係る光センサ用感度調節方法は、請求項４の発明のように、前記第三ステップは、前記光センサを駆動するための電荷の蓄積時間を段階的に増加させる場合、前記蓄積時間の最小値から開始するようにしてもよい。
【００２０】
また、請求項５の発明に係る光センサ用感度調節装置は、光センサの感度を調節する光センサ用感度調節装置であって、前記光センサから出力された所定単位の画素情報に基づいて最大振幅値を検出する最大振幅値検出手段と、前記最大振幅値検出手段で検出された最大振幅値とあらかじめ与えられた振幅値の目標範囲とを比較する比較手段と、前記比較手段により前記最大振幅値が前記目標範囲外にあるという比較結果が得られた場合には、前記比較手段により前記最大振幅値が前記目標範囲内にあるという比較結果が得られるまで、前記光センサを駆動するための電荷の蓄積時間を段階的に増加するように更新する制御手段と、を備えたことを特徴とするものである。
【００２１】
請求項５の発明に係る光センサ用感度調節装置は、請求項６の発明のように、前記光センサは、シリコン網膜カメラに適用されるようにしてもよい。
【００２２】
請求項５又は６の発明に係る光センサ用感度調節装置は、請求項７の発明のように、前記制御手段は、ＦＰＧＡにて実装されるようにしてもよい。
【００２３】
請求項５、６又は７の発明に係る光センサ用感度調節装置は、請求項８の発明のように、前記最大振幅値検出手段は、前記光センサから出力された所定単位の画素情報について最小値と最大値との差分から最大振幅値を検出するようにしてもよい。
【００２４】
また、請求項９の発明に係るビジュアルトラッキング制御方法は、非線形性を有する光センサ部及び駆動モータ部を有するカメラを用いて対象物をトラッキング制御するビジュアルトラッキング制御方法であって、前記光センサ部から出力された所定単位の画素情報に基づいて最大振幅値を求める第一ステップと、前記第一ステップで求めた最大振幅値があらかじめ与えられた振幅値の目標範囲内にあるか否かの関係を判断する第二ステップと、前記第二ステップにより前記最大振幅値が前記目標範囲外にあるという関係が判断された場合には、前記第二ステップにより前記最大振幅値が前記目標範囲内にあるという関係が判断されるまで、前記光センサ部を駆動するための電荷の蓄積時間を段階的に増加するように更新する第三ステップと、前記第一ステップで求めた最大振幅値を参照して前記光センサ部から出力された所定単位の画素情報に基づいてエッジ検出を行う第四ステップと、前記第四ステップによるエッジ検出の結果に基づいて重心を求める第五ステップと、前記第五ステップで求めた重心に基づいて前記駆動モータを制御する第六ステップと、を含んだことを特徴とするものである。
【００２５】
請求項９の発明に係るビジュアルトラッキング制御方法は、請求項１０の発明のように、前記第四ステップは、エッジ検出のための閾値を前記第一ステップで求めた最大振幅値に比例して変化させるようにしてもよい。
【００２６】
請求項９又は１０の発明に係るビジュアルトラッキング制御方法は、請求項１１の発明のように、前記カメラの駆動モータ部はチルト方向、パン方向にそれぞれ駆動可能であり、前記第六ステップは、前記カメラの駆動モータ部に対してチルト方向の制御信号、パン方向の制御信号をそれぞれ出力するようにしてもよい。
【００２７】
請求項９、１０又は１１の発明に係るビジュアルトラッキング制御方法は、請求項１２の発明のように、前記目標範囲を７５ｍＶ〜１８５ｍＶとしてもよい。
【００２８】
また、請求項１４の発明に係るビジュアルトラッキング制御装置は、非線形性を有する光センサ部及び部駆動モータ部を有するカメラに接続され、当該カメラを用いて対象物をトラッキング制御するビジュアルトラッキング制御装置であって、前記光センサ部から出力された所定単位の画素情報に基づいて最大振幅値を検出する最大振幅値検出手段と、前記最大振幅値検出手段で検出された最大振幅値とあらかじめ与えられた振幅値の目標範囲とを比較する比較手段と、前記比較手段により前記最大振幅値が前記目標範囲外にあるという比較結果が得られた場合には、前記比較手段により前記最大振幅値が前記目標範囲内にあるという比較結果が得られるまで、前記光センサ部を駆動するための電荷の蓄積時間を段階的に増加するように更新する制御手段と、前記最大振幅値検出手段で検出された最大振幅値を参照して前記光センサ部から出力された所定単位の画素情報に基づいてエッジ検出を行うエッジ検出手段と、前記エッジ検出手段によるエッジ検出の結果に基づいて重心を算出する重心算出手段と、前記重心算出手段で求めた重心に基づいて前記駆動モータを制御するモータ制御手段と、を備えたことを特徴とするものである。
【００２９】
【発明の実施の形態】
以下に添付図面を参照して、本発明に係る好適な実施の形態について詳述する。まず、図１を参照して全体構成について説明する。図１は本発明の一実施の形態による撮像システムを概略的に示す構成図である。撮像システム１は、例えば図１に示したように、対象物を撮像するシリコン網膜カメラ２、シリコン網膜カメラ２の撮像方向を変更するビジョンシステム４、信号をアナログ−デジタル変換するＡ／Ｄ（アナログ−デジタルコンバータ）５、シリコン網膜カメラ２で撮像された画像に基づいて応答感度の自動調節、対象物のトラッキング制御等を行う制御装置６とを信号線で接続させた構成である。
【００３０】
シリコン網膜カメラ２はＰＤを用いて画像を入力する光センサ部３を有し、ビジョンシステム４はカメラアングルをチルト方向，パン方向にそれぞれ駆動させるモータ４Ａ，モータ４Ｂを備えている。ビジョンシステム４のモータ４Ａ，４Ｂは、パン方向、チルト方向ともに例えば３０〜６０度／秒（パン方向）程度のモータ性能があれば十分であるが、本発明はこれに限定されるものではない。すなわち、必要とされるモータの性能については、移動速度の遅いオブジェクトをトラッキングする目的には低いモータ性能でも十分であり、一方、移動速度の早いオブジェクトをトラッキングする目的には高いモータ性能を適用すればよい。
【００３１】
制御装置６は、例えばＦＰＧＡにて実装された構成であり、応答感度を自動調節するための制御信号生成部７、応答感度の自動調節、モータ制御のための処理を行う処理回路８等を備えている。処理回路８は、応答感度自動調節部９、エッジ検出部１０、重心算出部１１、モータ制御部１２等を備えている。
【００３２】
応答感度自動調節部９は、光センサ部３で得た情報をシリコン網膜カメラ２内で処理を行った後の出力信号をＡ／Ｄ５を介して取り込み、蓄積時間Ｔａを得る機能を有している。エッジ検出部１０は、シリコン網膜カメラ２から出力された出力信号をＡ／Ｄ５を介して取り込み、画像処理によってエッジ検出を行う機能を有している。重心算出部１１は、エッジ検出部１０により検出されたエッジデータに基づいて重心データを算出する機能を有している。モータ制御部１２は、重心算出部１１で算出された重心データに基づいてチルト方向、パン方向の各駆動信号を生成し、チルト方向，パン方向の駆動信号をそれぞれビジョンシステム４のモータ４Ａ，４Ｂに出力する機能を有している。
【００３３】
制御信号生成部７は、応答感度自動調節部９で求められた蓄積時間Ｔａの制御信号を生成する機能を有している。Ａ／Ｄ５は、シリコン網膜カメラ２と制御装置６との間に接続され、シリコン網膜カメラ２の出力信号をアナログ信号からデジタル信号に変換して応答感度自動調節部９とエッジ検出部１０に供給する回路である。
【００３４】
つづいて、図２を参照して応答感度自動調節部９について詳述する。図２は本発明の一実施の形態による応答感度自動調節部９の一構成例を示すブロック図である。応答感度自動調節部９は、例えば図２に示したように、比較器９１，９２、レジスタ９３，９４、減算器９５、比較器９６，９７、ＡＮＤ回路９８、演算回路９９等により構成される。ここで、Ｒ ｃｌｋはシリコン網膜カメラ２から画素情報を読み出す度に発生するクロック信号を示し、Ｖｐｐは最大振幅値を示し、ＭＡＸとＭＩＮはそれぞれ１フレーム中の画素情報のうちで最大値と最小値を示し、ＨｉとＬｏはそれぞれ目標範囲の上限値と下限値を示している。Ｔａは従来で説明した通り蓄積時間を示す。
【００３５】
図２に示す応答感度自動調節部９には、シリコン網膜カメラ２から出力された信号がＡ／Ｄ５を介して入力される。シリコン網膜カメラ２の出力は１画素ずつシリアルに出力されるので、クロック信号Ｒ ｃｌｋに同期してレジスタ９３，９４に保持されている値が一つずつ比較器９１，９２に出力される。
【００３６】
比較器９１では、シリコン網膜カメラ２からの入力（Ａ）とレジスタ９３からの入力（Ｂ）とが比較され、シリコン網膜カメラ２からの出力のほうが大きい場合にのみその出力がレジスタ９３にロードされ、保持される。したがって、レジスタ９３からつぎのクロック信号Ｒ ｃｌｋにしたがって出力される信号は、シリコン網膜カメラ２からの入力のうち現時点で最も大きい値（最大値ＭＡＸ）となる。
【００３７】
一方、比較器９２では、シリコン網膜カメラ２からの入力（Ａ）とレジスタ９４からの入力（Ｂ）とが比較され、シリコン網膜カメラ２からの出力のほうが小さい場合にのみその出力がレジスタ９４にロードされ、保持される。この場合には、レジスタ９４からつぎのクロック信号Ｒ ｃｌｋにしたがって出力される信号は、シリコン網膜カメラ２からの入力のうち現時点で最も小さい値（最小値ＭＩＮ）となる。
【００３８】
このようにして、比較器９１とレジスタ９３との組み合わせによりシリコン網膜カメラ２から最大値ＭＡＸを取り出すことができ、一方、比較器９２とレジスタ９４との組み合わせによりシリコン網膜カメラ２から最小値ＭＩＮを取り出すことができる。画素情報の読み出しが１画面毎すなわちフレーム単位で行われるので、結果的に１フレーム全体での最大値ＭＡＸと最小値ＭＩＮを検出することができる。ここで、本実施の形態においては、シリコン網膜カメラ２が適用されるので、画像入力は高速に行われる。
【００３９】
このようにして求められた最大値ＭＡＸと最小値ＭＩＮとの差が減算器９５によって計算され、その計算結果は当該フレームでの最大振幅値Ｖｐｐとして検出される。つづいて、最大振幅値Ｖｐｐがあらかじめ与えられた目標範囲内にあるかどうかの結果は、比較器９６，９７及びＡＮＤ回路９８により検出される。
【００４０】
最大振幅値Ｖｐｐがあらかじめ与えられる目標範囲にあるかどうかを判断するため、比較器９６，９７には、それぞれ上限値Ｈｉ，下限値Ｌｏが与えられているものとする。比較器９６，９７に対して減算器９５の出力すなわち最大振幅値Ｖｐｐが入力されると、比較器９６では、上限値Ｈｉが最大振幅値Ｖｐｐよりも小さい場合にのみハイレベルの信号が出力され、比較器９７では、下限値Ｌｏが最大振幅値Ｖｐｐよりも大きい場合にのみハイレベルの信号が出力される。
【００４１】
したがって、最大振幅値Ｖｐｐが目標範囲内にあれば、比較器９６，９７の出力はどちらもハイレベルの信号となってＡＮＤ回路９８に入力される。なお、目標範囲外にあれば、少なくとも一方の出力がローレベルの信号となる。ＡＮＤ回路９７では、最大振幅値Ｖｐｐが目標範囲内にあれば、比較器９６，９７の出力はどちらもハイレベルの信号のときにのみハイレベルの信号となる。ＡＮＤ回路９８の出力及び最大振幅値Ｖｐｐは、演算回路９９に入力される。
【００４２】
演算回路９９では、最大振幅値Ｖｐｐが目標範囲内にあれば現在の蓄積時間Ｔａを維持するための出力がなされ、目標範囲外にあれば所定のアルゴリズムを用いて蓄積時間Ｔａを更新するための処理が実行される。この所定のアルゴリズム及び演算回路９９の動作の詳細については、後述する。
【００４３】
つぎに、本実施の形態による感度調節方法を図３を用いて詳述する。図３は本発明の一実施の形態による感度調節方法を説明するグラフを示す図である。
【００４４】
本実施の形態では、最大振幅値が照明条件の変化によって目標範囲外になったとき、蓄積時間を最小値に戻して、それから蓄積時間を増加させていくことで最大振幅値が目標範囲を満たす蓄積時間を見つける方法をとる。すなわち、前述した図１２に示したグラフにおいて、蓄積時間の軸上で一番左から蓄積時間を増加させてやれば、どんな照明条件であろうと最大振幅値は増加し、やがて目標範囲に到達することに着目する。蓄積時間はシリコン網膜カメラ２を含むシステムの特性によって決まるものなので、以下に説明するアルゴリズムを適用するシステムでの可能な最小蓄積時間を蓄積時間の最小値として考えればよい。
【００４５】
また、ここで問題になってくるのが、どのような割合で蓄積時間を増加させていくかということである。照明条件により明るいときに大きな間隔で蓄積時間を大きくしていく場合には、最大振幅値の目標範囲を一気に越えてしまい、逆に暗い時に小さな間隔で蓄積時間を大きくしていく場合には、なかなか最大振幅値は大きくならない。そこで、図１２に示したグラフの曲線３１が上に凸であることに注目して、フレーム処理の過去２サイクル分の蓄積時間と最大振幅値の値を用いて線形近似した直線３２が最大振幅値の目標範囲の上限値に交差（位置Ｐ）するときの蓄積時間を次のサイクルの蓄積時間とする方法を採用する。この方法によって、より早く目標範囲を満たす蓄積時間まで到達することが可能となる。
【００４６】
まず、本実施の形態において感度調節に必要な線形化手法の式は、以下の通りである。
【数１】
ここで、ｎはフレーム単位の処理サイクルを示す自然数であり、Ｖｓｐは演算回路９９で用いる目標範囲の上限値に相当する。
【００４７】
最大振幅値Ｖｐｐが目標範囲外（目標範囲の下限以下、あるいは、目標範囲の上限以上）に変化した場合には、蓄積時間を更新するために、以下の各ステップの処理が実行される。すなわち、
ステップ１．
あらかじめ決められた最小蓄積時間Ｔａ［０］をセットし、その時の最大振幅値Ｖｐｐ［０］を計算する。
ステップ２．
最小蓄積時間Ｔａ［０］よりも大きい蓄積時間Ｔａ［１］をセットし、その時の最大振幅値Ｖｐｐ［１］を計算する。
ステップ３．
上記ステップ１，２でセットされたＴａ［０］、Ｖｐｐ［０］とＴａ［１］、Ｖｐｐ［１］とに基づいて１本の直線３２（図３参照）を取得し、この直線３２から上限値Ｖｓｐを見つける。これにより蓄積時間Ｔａ［ｎ］を取得し、そのときの実時間の最大振幅値Ｖｐｐを計算する。
ステップ４．
上記式（１）で表される線形化手法により、蓄積時間Ｔａを計算してセットする。
【００４８】
演算回路９９において、上記式の演算は最大振幅値Ｖｐｐが目標範囲に達するまで繰り返し実行される。最大振幅値Ｖｐｐが目標範囲に達すると、ＡＮＤ回路９８からの出力はハイレベルの信号となるので、演算回路９９では蓄積時間Ｔａの更新処理はなされず、現在の蓄積時間Ｔａは保持される。
【００４９】
つぎに、図４及び図５を用いて、図１に示した撮像システム１を用いた実験例について説明する。図４は本発明の一実施の形態において照明条件の変化に対する感度調節を説明するグラフを示す図、図５は図４のグラフで照明条件が変化したときの一部拡大図、そして、図６は本発明の一実施の形態による対象物の撮像状況を説明する図である。
【００５０】
実験環境は、図６に示したように、例えば白い背景ＢＧの中にオレンジ色のボールＯＢＪを支点Ｏから紐で吊り下げて配置させ、照明ＬＴの照明条件を変化させる仕組みである。照明条件については、まず８０５［Ｌｕｘ］、その３［ｓｅｃ］後に１５７［Ｌｕｘ］、その５．１［ｓｅｃ］後に４０［Ｌｕｘ］、その９［ｓｅｃ］後に１２［Ｌｕｘ］、その１５．８［ｓｅｃ］後に４０［Ｌｕｘ］の順に変化させた。このように照明条件を変化させながらシリコン網膜カメラ２でボールＯＢＪを撮影し、その際に感度調節を行うものである。このとき、最大振幅値Ｖｐｐの目標範囲を下限３７０［ｍＶ］から上限５００［ｍＶ］（Ｖｓｐ＝５００［ｍＶ］）の範囲とし、また蓄積時間としてＴａ［０］を６［ｍｓ］、Ｔａ［１］を１２［ｍｓ］として設定した。
【００５１】
上述した手順で照明ＬＴの照明条件を変化させると、その変化に応じて蓄積時間Ｔａが変化し、最大振幅値Ｖｐｐが目標範囲内に収まっていることが図４および図５で示す実験結果から確認できる。図４および図５において、４１は最大振幅値の変移を示し、４２は蓄積時間の変移を示す。まず照明条件を８０５［Ｌｕｘ］から１５７［Ｌｕｘ］へと変化させたとき、最大振幅値Ｖｐｐは、約２５０［ｍＶ］まで下がり、目標範囲外になった（図５の変移４１を参照）。このとき、前述した応答感度自動調節部９の処理により感度調節が行なわれる。すなわち、照明条件の変化後、まず蓄積時間Ｔａが、Ｔａ［０］である６［ｍｓ］に設定され、つぎにＴａ［１］に対応する１２［ｍｓ］へと変化する（図５の変移４２を参照）。
【００５２】
その後、演算回路９９のアルゴリズムに従って６０［ｍｓ］、１３８［ｍｓ］へと蓄積時間Ｔａが増加するように制御され、最大振幅値Ｖｐｐが目標範囲内に収まるように調節される（図５の変移４１を参照）。このとき、蓄積時間Ｔａが１３８［ｍｓ］になるまでに要した時間は７８［ｍｓ］であった（図５の変移４２を参照）。従来の蓄積時間の調節では、明るいときに大きな間隔で蓄積時間Ｔａを大きくしていくと最大振幅値Ｖｐｐが目標範囲を一気に越えてしまい、一方、暗いときに小さな間隔で蓄積時間Ｔａを大きくしていくといつまで経っても最大振幅値Ｖｐｐは大きくならず、どちらの場合にも目標範囲に到達させるのに時間がかかることが想定された。このため、７８［ｍｓ］という時間は、通常の画像処理においては十分速い値となる。例えば、蓄積時間が６０［ｍｓ］になった時点での最大振幅値が２５０［ｍＶ］程度になっており、この時点で画像処理を行ったりするのには十分なコントラストが得られていると考えられる。
【００５３】
以上説明したように、本実施の形態によれば、最大振幅値が目標範囲から外れても蓄積時間を最小な値から順次増加させることにしたので、最大振幅値を目標範囲内に迅速に収まるように制御することができる。これにより、照明条件の大きな変化に対しても高速な感度調節が可能である。そのため、照明条件に大きな変化のある環境下において、対象物をトラッキングするような高速な処理が求められる条件の中でも十分に適応することが可能である。なお、対象物のトラッキングを行なった際の最も暗い４０［Ｌｕｘ］という条件はＪＩＳ（日本工業規格）により定められる照明基準の推奨値で事務所、工場等での屋内非常階段等の設定値となっている程度の明るさであり、十分な感度調節範囲を有している。
【００５４】
感度調節に関し、光センサ部は非線形特性を持ってはいるが、蓄積時間が最も小さな状態から大きくなっていく段階では必ず蓄積時間と最大振幅値とは比例関係を有する。そのため、この比例関係をもつ領域を利用し、線形化手法によって最適な蓄積時間を推定し、更新していくことによって最終的に目標範囲に到達することができる。また、この方法を用いることによって、システムの情報処理サイクルの短い上記の領域を利用することになるので、高速化にも利点がある。
【００５５】
つぎに、本実施の形態による対象物のビジュアルトラッキング方法について実験例を用いて説明する。このビジュアルトラッキング方法では、シリコン網膜カメラ２を搭載したパン方向、チルト方向の二自由度をもったビジョンシステム４が利用される。対象物のトラッキングにおける実験は、前述した実験例と同様に、白い背景に対象物がオレンジ色の丸いボール１つとして行った。したがって、ここでも図６に示した環境と同様の環境を例に挙げて説明する。この場合、画素情報から画面全体のエッジを検出して、全てのエッジの重心を追従する方法が使用される。
【００５６】
ＦＰＧＡは、トラッキングと応答制御の両方をパラレルに処理する。エッジ検出は、エッジ周辺の出力画像の変化を検出し、エッジ画素にラベルを付す。重心計算は、以下の式（２）により重心を計算する。
【数２】
上記式（２）において、ｇｘとｇｙはＸ軸方向とＹ軸方向の重心、ｘｅとｙｅはＸ軸方向とＹ軸方向のエッジ画素の軸、ｃｅはエッジ画素数である。モータ制御は、移動対象物の重心とフレーム中心との間の誤差から位置制御される。
【００５７】
この実験においては、目標範囲は下限７５［ｍＶ］から上限１８５［ｍＶ］までの範囲として、対象物をトラッキングするには十分な値に設定し、閾値は最大振幅値の半分とした。トラッキングの対象物であるボールＯＢＪは、たとえばシリコン網膜カメラ２から０．８［ｍ］離して運動させ、運動振幅０．３［ｍ］、運動周期２．８［ｓｅｃ］で運動させ、照明条件は７４０［Ｌｕｘ］、１１５［Ｌｕｘ］、４０［Ｌｕｘ］、１１５［Ｌｕｘ］、７４０［Ｌｕｘ］の順に変化させた。
【００５８】
図７（Ａ）には、本実験を上方より観察した場合の概略図が示され、同図（Ｂ）には、本実験を横方向より観察した場合の概略図が示されている。図７（Ａ）に示したように、支点Ｏで紐の一端を支持される対象物のボールＯＢＪはたとえばＯＢＪ１、ＯＢＪ３、ＯＢＪ２の位置間を振り子運動のように移動する。このとき、照明ＬＴは上述した照明条件の順番にしたがって変更される。上方からの観察では、図７（Ａ）に示したように、ボールＯＢＪの振り子運動は矢印ＳＷＧ方向への動きとなる。
【００５９】
このボールＯＢＪの移動に追従するようにシリコン網膜カメラ２の視線方向は変位する。すなわち、上方向からの観察では、図７（Ａ）に示したように、シリコン網膜カメラ２のパン方向の動きは矢印ＭＶ１のように視線方向Ｖ１〜Ｖ２の間を行き来する。一方、横方向からの観察では、図７（Ｂ）に示したように、シリコン網膜カメラ２のチルト方向の動きは矢印ＭＶ２のように視線方向Ｖ１（Ｖ２）〜Ｖ３の間を行き来する。シリコン網膜カメラ２の視線方向は、モータ４Ａによりチルト方向に変移させられ，モータ４Ｂによりパン方向に変位させられる。
【００６０】
図８は、縦軸に蓄積時間［ｍｓ］、最大振幅値［ｍＶ］をそれぞれとり、横軸に時間［ｓｅｃ］をとっている。最大振幅値の変移を８１で示し、蓄積時間の変移を８２で示す。上述した実験の結果は、図８に示したグラフのように、蓄積時間Ｔａと最大振幅値Ｖｐｐの変化（変移８１、８２）から最大振幅値Ｖｐｐが目標範囲内（下限７５［ｍＶ］から上限１８５［ｍＶ］）に収まっていることがわかる。ここで、照明条件によって蓄積時間Ｔａの変動の幅が異なるのは、照明ＬＴの照明条件の変化を例えば点灯している室内電灯の数を変化させて行ったので、照明条件によって対象物であるボールＯＢＪに当たる光の角度が変化したためである。
【００６１】
図９は、縦軸に角度指令値［°］、横軸に時間［ｓｅｃ］をとっている。図９に示したグラフのように、モータ４Ａ，４Ｂへの角度指令値が振り子運動をするボールＯＢＪを捕えるための良好な値となっていることがわかる。フレーム単位のサイクルごとに角度指令値に３［°］程度の誤差が見られるが、トラッキングを行なうには大きな誤差ではないと考えることができる。よって、照明条件が変化するなかでのトラッキングを行なうことが可能となった。
【００６２】
以上説明したように、本実施の形態によれば、高速な感度調節の実現より対象物のトラッキングにおいては、照明条件に大きな変化があっても的確に対象物を捕捉して、シリコン網膜カメラ２の視線方向を対象物に向けることが可能となる。
【００６３】
さらに、感度調節の有効な方法について説明する。従来、エッジ検出をする場合、図１１にあるようにエッジ付近で現れる上下のピーク値の変化がある閾値を超えるとき、その位置をエッジとして検出する方法を用いていた。
【００６４】
しかしながら、トラッキングを高速で行なうためには、画像情報を得るためのサンプリング周期はなるべく小さなほうが望ましいのに対して、感度調節は最大振幅値Ｖｐｐがなるべく大きくなるように蓄積時間Ｔａを大きくしようとする働きをもつことが望ましかった。ここに、感度調節の場合の矛盾が生じる。
【００６５】
また、感度調節では、最大振幅値が十分大きくなるように目標範囲を設定する必要があった。このため、エッジを検出するための閾値を目標範囲での最大振幅値Ｖｐｐに合わせた値で一定のままにしておくと、最大振幅値Ｖｐｐが目標範囲には達することはなかった。実際にはトラッキングを行なうのに十分な情報を得ることができている場合があり、そのときの有効な情報を間引いてしまっている状態が生じてしまう場合があった。
【００６６】
そこで、対象物をトラッキングする場合には、目標範囲をエッジ検出が安定的に行なえる範囲で小さな最大振幅値Ｖｐｐを目標範囲とすることが好ましい。このように目標範囲を設定して、感度調節を行なう間に最大振幅値Ｖｐｐが変動しても、エッジ検出の閾値をそのときの最大振幅値Ｖｐｐのある一定の割合の値とする。すなわち、最大振幅値が変動しても安定してエッジ検出が行えるように、エッジを判断するための条件の一つである隣接画素間での変化の大きさの閾値を最大振幅値に比例して変化させる。これにより、目標範囲に最大振幅値Ｖｐｐが達する前であっても、ある程度の大きさの最大振幅値Ｖｐｐが得られていたならば、エッジ検出を適切に行なうことが可能である。
【００６７】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更できることは勿論である。例えば、感度調節の考え方は種々のカメラが持つ同様の非線形的な特性に対する適応を考える場合に用いることが可能である。
【００６８】
【発明の効果】
以上説明したように本発明によれば、光センサ部の非線形特性を考慮しながらも高速に感度調節を行うことが可能な光センサ用感度調節方法及び光センサ用感度調節装置を提供できるという効果を奏する。
【００６９】
また、上述したように高速に感度調節を行うことで、さらに、ロボット等のカメラによる高速なトラッキング性能を実現することが可能なビジュアルトラッキング制御方法及びビジュアルトラッキング制御装置を提供できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態による撮像システムを概略的に示す構成図である。
【図２】図１の撮像システムの要部の構成を示すブロック図である。
【図３】本発明の一実施の形態による感度調節方法を説明するグラフを示す図である。
【図４】本発明の一実施の形態において照明条件の変化に対する感度調節を説明するグラフを示す図である。
【図５】図４のグラフで照明条件が変化したときの一部拡大図である。
【図６】本発明の一実施の形態による対象物の撮像状況を説明する図である。
【図７】本発明の一実施の形態によるトラッキング時の駆動モータの態様を概略的に説明する図である。
【図８】本発明の一実施の形態においてトラッキング時の蓄積時間と最大振幅値の変化を説明するグラフを示す図である。
【図９】本発明の一実施の形態においてトラッキング時の駆動モータへの角度指令値の変化を説明するグラフを示す図である。
【図１０】光センサの出力例を示す図である。
【図１１】従来例においてシリコン網膜に白黒パターンを提示して蓄積時間を変えたときの１ライン分の応答結果を示す図である。
【図１２】従来例において照明条件、蓄積時間及び最大振幅値の関係を説明するグラフを示す図である。
【符号の説明】
１ 撮像システム
２ シリコン網膜カメラ
３ 光センサ部
４ ビジョンシステム
４Ａ，４Ｂ モータ
５ Ａ／Ｄ
６ 制御装置
７ 制御信号生成部
８ 処理回路
９ 応答感度自動調節部
１０ エッジ検出部
１１ 重心算出部
１２ モータ制御部
９１，９２，９６，９７ 比較器
９３，９４ レジスタ
９５ 減算器
９８ ＡＮＤ回路
９９ 演算回路
【０００１】
【発明の属する技術分野】
本発明は、たとえば、光センサ用感度調節方法、光センサ用感度調節装置、ビジュアルトラッキング制御方法及びビジュアルトラッキング制御装置に関する。
【０００２】
【従来の技術】
今日、ロボットの目としてカメラを使うことを考えた場合、ロボットが人間のように外界を知覚できるようなカメラ及び画像処理技術が必要となる。このような技術は、これまで数多く提案されてきている。
【０００３】
上述したような技術の中でも、人間の網膜に見られる並列処理を行う機能をＣＭＯＳ集積回路として実現したビジョンチップと呼ばれるものが開発されている。シリコン網膜もビジョンチップのひとつである。
【０００４】
シリコン網膜の光センサ部には、フォトダイオード（ＰＤ）の寄生容量成分が利用されている。その動作原理はつぎのようである。まずＰＤに電圧をかけて容量に電荷が蓄積させれると、つぎにＰＤで放電が行なわれる。この放電によって光強度に比例した電流が流れ出し、容量に蓄えられた電荷が放出される。光強度が強いほど電流が大きく、ＰＤの両端の電圧の減衰は速くなる。したがって、適当な時間でＰＤの電圧を出力として取り出せば、光強度に比例した電圧の減少が得られる。この時間を以下に蓄積時間Ｔａという。
【０００５】
シリコン網膜はラプラシアン−ガウシアン型のフィルタ特性を持っており、輪郭強調及び平滑化の画像前処理を実時間で行なうことができる。図１０（Ａ）、（Ｂ）はそれぞれシリコン網膜に白い背景の中でオレンジ色のボールを提示した時のＣＣＤカメラの出力、シリコン網膜カメラの出力を示している。図１０のシリコン網膜の出力ではボールの輪郭付近で白黒の強調部分を見ることができる。
【０００６】
また、シリコン網膜で蓄積時間を変えたときの白黒パターンに対する１ライン分の出力応答は図１１のようになる。図１１からわかるように蓄積時間を変えることで応答感度を調節することができると考えられる。また、図１１での出力に見られるようなエッジ付近での輪郭強調による上下のピーク値の幅を以下に最大振幅値Ｖｐｐとする。
【０００７】
シリコン網膜を用いた場合、前処理を施した出力しか得ることができないので、通常行われているように、撮像素子のフロントエンドに位置している光センサ部の情報を用いて光の強度を判断することはできなかった。
【０００８】
【発明が解決しようとする課題】
まず最大振幅値と蓄積時間と照明条件との関係を調べた実験結果は図１２のようになる。ここでは白い背景の中でのオレンジ色のボールをシリコン網膜に提示して実験を行なった。
【０００９】
図１２の結果から感度を調節しようとしたときに問題となるのが、蓄積時間を増やし続けると、ある値を越えてからは最大振幅値が減少し始めることである。このような非線形特性が現れるのはシリコン網膜に使われている光センサの特性によるものである。
【００１０】
上述したように光センサ部にはフォトダイオードを利用している。そのため、放電時間を長く（つまり蓄積時間を大きく）し過ぎると、受光面において強い光を受けている受光素子では容量に蓄えられていた電荷が全て放出され、これにより、電圧の変化が起こらなくなってしまう場合がある。逆に弱い光を受けている受光素子では電圧降下が進み続けるため、画面全体でのコントラストが失われてしまう。これにより、非線形特性が現れる場合がある。
【００１１】
この特性のために感度調節を考える場合に蓄積時間を増加させるべきなのか、それとも減少させるべきなのかが大きな問題である。例えば図１２で照明条件が１６０［Ｌｕｘ］、蓄積時間が１６０［ｍｓ］の状態から照明条件の変化によって最大振幅値が３５０［ｍＶ］から９５［ｍＶ］に減少した場合を考えてみる。このとき、図１２に示したように、変化後の照明条件は明るい８００［Ｌｕｘ］と暗い１２［Ｌｕｘ］の二通りの可能性が考えられる。ここで、照明条件が８００［Ｌｕｘ］、１６０［Ｌｕｘ］、１２［Ｌｕｘ］のときの曲線をそれぞれ１２１、１２２、１２３で示す。
【００１２】
そのため、実際の変化がどちらなのかを判断するためには蓄積時間を変化させ、その結果得られた最大振幅値をもとに判断する必要がある。上述の例では、蓄積時間を大きくしてみると、照明条件が８００［Ｌｕｘ］に明るくなっていた場合には最大振幅値は減少し（図１２の曲線１２１を参照）、照明条件が１２［Ｌｕｘ］に暗くなっていた場合には最大振幅値は増加していた（図１２の曲線１２３を参照）。このようにして、蓄積時間の変動に対する最大振幅値の変化を調べることで照明条件の変化を知ることができる。
【００１３】
しかしながら、上述した方法では、蓄積時間を変化させても最大振幅値に変化が起こらないような領域にある場合には照明条件の変化を判断することができなかった。また、照明条件の変化を判断することに時間がかかってしまい、高速性が損なわれるという問題が生じた。
【００１４】
本発明の目的は、光センサ部の非線形特性を考慮しながらも高速に感度調節を行うことが可能な光センサ用感度調節方法及び光センサ用感度調節装置を提供することにある。
【００１５】
また、本発明の目的は、上述したように高速に感度調節を行いながら、さらに、ロボット等のカメラによる高速なトラッキング性能を実現することが可能なビジュアルトラッキング制御方法及びビジュアルトラッキング制御装置を提供することにある。
【００１６】
【課題を解決するための手段】
上述した課題を解決し、上記目的を達成するため、請求項１の発明に係る光センサ用感度調節方法は、非線形性を有する光センサの感度を調節する光センサ用感度調節方法であって、前記光センサから出力された所定単位の画素情報に基づいて最大振幅値を求める第一ステップと、前記第一ステップで求めた最大振幅値があらかじめ与えられた振幅値の目標範囲内にあるか否かの関係を判断する第二ステップと、前記第二ステップにより前記最大振幅値が前記目標範囲外にあるという関係が判断された場合には、前記第二ステップにより前記最大振幅値が前記目標範囲内にあるという関係が判断されるまで、前記光センサを駆動するための電荷の蓄積時間を段階的に増加するように更新する第三ステップと、を含んだことを特徴とするものである。
【００１７】
請求項１の発明に係る光センサ用感度調節方法は、請求項２の発明のように、前記第三ステップは、最大振幅値と蓄積時間との相関関係を示す曲線において少なくとも過去２サイクル分の蓄積時間にそれぞれ対応する最大振幅値に基づいて線形近似した直線を求め、当該直線が前記目標範囲と交差する位置までを蓄積時間として設定するようにしてもよい。
【００１８】
請求項２の発明に係る光センサ用感度調節方法は、請求項３の発明のように、前記目標範囲は最大振幅値の上限と下限により囲まれる範囲を指し、前記直線が前記目標範囲の上限と交差する位置までを蓄積時間として設定するようにしてもよい。
【００１９】
請求項１、２又は３の発明に係る光センサ用感度調節方法は、請求項４の発明のように、前記第三ステップは、前記光センサを駆動するための電荷の蓄積時間を段階的に増加させる場合、前記蓄積時間の最小値から開始するようにしてもよい。
【００２０】
また、請求項５の発明に係る光センサ用感度調節装置は、光センサの感度を調節する光センサ用感度調節装置であって、前記光センサから出力された所定単位の画素情報に基づいて最大振幅値を検出する最大振幅値検出手段と、前記最大振幅値検出手段で検出された最大振幅値とあらかじめ与えられた振幅値の目標範囲とを比較する比較手段と、前記比較手段により前記最大振幅値が前記目標範囲外にあるという比較結果が得られた場合には、前記比較手段により前記最大振幅値が前記目標範囲内にあるという比較結果が得られるまで、前記光センサを駆動するための電荷の蓄積時間を段階的に増加するように更新する制御手段と、を備えたことを特徴とするものである。
【００２１】
請求項５の発明に係る光センサ用感度調節装置は、請求項６の発明のように、前記光センサは、シリコン網膜カメラに適用されるようにしてもよい。
【００２２】
請求項５又は６の発明に係る光センサ用感度調節装置は、請求項７の発明のように、前記制御手段は、ＦＰＧＡにて実装されるようにしてもよい。
【００２３】
請求項５、６又は７の発明に係る光センサ用感度調節装置は、請求項８の発明のように、前記最大振幅値検出手段は、前記光センサから出力された所定単位の画素情報について最小値と最大値との差分から最大振幅値を検出するようにしてもよい。
【００２４】
また、請求項９の発明に係るビジュアルトラッキング制御方法は、非線形性を有する光センサ部及び駆動モータ部を有するカメラを用いて対象物をトラッキング制御するビジュアルトラッキング制御方法であって、前記光センサ部から出力された所定単位の画素情報に基づいて最大振幅値を求める第一ステップと、前記第一ステップで求めた最大振幅値があらかじめ与えられた振幅値の目標範囲内にあるか否かの関係を判断する第二ステップと、前記第二ステップにより前記最大振幅値が前記目標範囲外にあるという関係が判断された場合には、前記第二ステップにより前記最大振幅値が前記目標範囲内にあるという関係が判断されるまで、前記光センサ部を駆動するための電荷の蓄積時間を段階的に増加するように更新する第三ステップと、前記第一ステップで求めた最大振幅値を参照して前記光センサ部から出力された所定単位の画素情報に基づいてエッジ検出を行う第四ステップと、前記第四ステップによるエッジ検出の結果に基づいて重心を求める第五ステップと、前記第五ステップで求めた重心に基づいて前記駆動モータを制御する第六ステップと、を含んだことを特徴とするものである。
【００２５】
請求項９の発明に係るビジュアルトラッキング制御方法は、請求項１０の発明のように、前記第四ステップは、エッジ検出のための閾値を前記第一ステップで求めた最大振幅値に比例して変化させるようにしてもよい。
【００２６】
請求項９又は１０の発明に係るビジュアルトラッキング制御方法は、請求項１１の発明のように、前記カメラの駆動モータ部はチルト方向、パン方向にそれぞれ駆動可能であり、前記第六ステップは、前記カメラの駆動モータ部に対してチルト方向の制御信号、パン方向の制御信号をそれぞれ出力するようにしてもよい。
【００２７】
請求項９、１０又は１１の発明に係るビジュアルトラッキング制御方法は、請求項１２の発明のように、前記目標範囲を７５ｍＶ〜１８５ｍＶとしてもよい。
【００２８】
また、請求項１４の発明に係るビジュアルトラッキング制御装置は、非線形性を有する光センサ部及び部駆動モータ部を有するカメラに接続され、当該カメラを用いて対象物をトラッキング制御するビジュアルトラッキング制御装置であって、前記光センサ部から出力された所定単位の画素情報に基づいて最大振幅値を検出する最大振幅値検出手段と、前記最大振幅値検出手段で検出された最大振幅値とあらかじめ与えられた振幅値の目標範囲とを比較する比較手段と、前記比較手段により前記最大振幅値が前記目標範囲外にあるという比較結果が得られた場合には、前記比較手段により前記最大振幅値が前記目標範囲内にあるという比較結果が得られるまで、前記光センサ部を駆動するための電荷の蓄積時間を段階的に増加するように更新する制御手段と、前記最大振幅値検出手段で検出された最大振幅値を参照して前記光センサ部から出力された所定単位の画素情報に基づいてエッジ検出を行うエッジ検出手段と、前記エッジ検出手段によるエッジ検出の結果に基づいて重心を算出する重心算出手段と、前記重心算出手段で求めた重心に基づいて前記駆動モータを制御するモータ制御手段と、を備えたことを特徴とするものである。
【００２９】
【発明の実施の形態】
以下に添付図面を参照して、本発明に係る好適な実施の形態について詳述する。まず、図１を参照して全体構成について説明する。図１は本発明の一実施の形態による撮像システムを概略的に示す構成図である。撮像システム１は、例えば図１に示したように、対象物を撮像するシリコン網膜カメラ２、シリコン網膜カメラ２の撮像方向を変更するビジョンシステム４、信号をアナログ−デジタル変換するＡ／Ｄ（アナログ−デジタルコンバータ）５、シリコン網膜カメラ２で撮像された画像に基づいて応答感度の自動調節、対象物のトラッキング制御等を行う制御装置６とを信号線で接続させた構成である。
【００３０】
シリコン網膜カメラ２はＰＤを用いて画像を入力する光センサ部３を有し、ビジョンシステム４はカメラアングルをチルト方向，パン方向にそれぞれ駆動させるモータ４Ａ，モータ４Ｂを備えている。ビジョンシステム４のモータ４Ａ，４Ｂは、パン方向、チルト方向ともに例えば３０〜６０度／秒（パン方向）程度のモータ性能があれば十分であるが、本発明はこれに限定されるものではない。すなわち、必要とされるモータの性能については、移動速度の遅いオブジェクトをトラッキングする目的には低いモータ性能でも十分であり、一方、移動速度の早いオブジェクトをトラッキングする目的には高いモータ性能を適用すればよい。
【００３１】
制御装置６は、例えばＦＰＧＡにて実装された構成であり、応答感度を自動調節するための制御信号生成部７、応答感度の自動調節、モータ制御のための処理を行う処理回路８等を備えている。処理回路８は、応答感度自動調節部９、エッジ検出部１０、重心算出部１１、モータ制御部１２等を備えている。
【００３２】
応答感度自動調節部９は、光センサ部３で得た情報をシリコン網膜カメラ２内で処理を行った後の出力信号をＡ／Ｄ５を介して取り込み、蓄積時間Ｔａを得る機能を有している。エッジ検出部１０は、シリコン網膜カメラ２から出力された出力信号をＡ／Ｄ５を介して取り込み、画像処理によってエッジ検出を行う機能を有している。重心算出部１１は、エッジ検出部１０により検出されたエッジデータに基づいて重心データを算出する機能を有している。モータ制御部１２は、重心算出部１１で算出された重心データに基づいてチルト方向、パン方向の各駆動信号を生成し、チルト方向，パン方向の駆動信号をそれぞれビジョンシステム４のモータ４Ａ，４Ｂに出力する機能を有している。
【００３３】
制御信号生成部７は、応答感度自動調節部９で求められた蓄積時間Ｔａの制御信号を生成する機能を有している。Ａ／Ｄ５は、シリコン網膜カメラ２と制御装置６との間に接続され、シリコン網膜カメラ２の出力信号をアナログ信号からデジタル信号に変換して応答感度自動調節部９とエッジ検出部１０に供給する回路である。
【００３４】
つづいて、図２を参照して応答感度自動調節部９について詳述する。図２は本発明の一実施の形態による応答感度自動調節部９の一構成例を示すブロック図である。応答感度自動調節部９は、例えば図２に示したように、比較器９１，９２、レジスタ９３，９４、減算器９５、比較器９６，９７、ＡＮＤ回路９８、演算回路９９等により構成される。ここで、Ｒ ｃｌｋはシリコン網膜カメラ２から画素情報を読み出す度に発生するクロック信号を示し、Ｖｐｐは最大振幅値を示し、ＭＡＸとＭＩＮはそれぞれ１フレーム中の画素情報のうちで最大値と最小値を示し、ＨｉとＬｏはそれぞれ目標範囲の上限値と下限値を示している。Ｔａは従来で説明した通り蓄積時間を示す。
【００３５】
図２に示す応答感度自動調節部９には、シリコン網膜カメラ２から出力された信号がＡ／Ｄ５を介して入力される。シリコン網膜カメラ２の出力は１画素ずつシリアルに出力されるので、クロック信号Ｒ ｃｌｋに同期してレジスタ９３，９４に保持されている値が一つずつ比較器９１，９２に出力される。
【００３６】
比較器９１では、シリコン網膜カメラ２からの入力（Ａ）とレジスタ９３からの入力（Ｂ）とが比較され、シリコン網膜カメラ２からの出力のほうが大きい場合にのみその出力がレジスタ９３にロードされ、保持される。したがって、レジスタ９３からつぎのクロック信号Ｒ ｃｌｋにしたがって出力される信号は、シリコン網膜カメラ２からの入力のうち現時点で最も大きい値（最大値ＭＡＸ）となる。
【００３７】
一方、比較器９２では、シリコン網膜カメラ２からの入力（Ａ）とレジスタ９４からの入力（Ｂ）とが比較され、シリコン網膜カメラ２からの出力のほうが小さい場合にのみその出力がレジスタ９４にロードされ、保持される。この場合には、レジスタ９４からつぎのクロック信号Ｒ ｃｌｋにしたがって出力される信号は、シリコン網膜カメラ２からの入力のうち現時点で最も小さい値（最小値ＭＩＮ）となる。
【００３８】
このようにして、比較器９１とレジスタ９３との組み合わせによりシリコン網膜カメラ２から最大値ＭＡＸを取り出すことができ、一方、比較器９２とレジスタ９４との組み合わせによりシリコン網膜カメラ２から最小値ＭＩＮを取り出すことができる。画素情報の読み出しが１画面毎すなわちフレーム単位で行われるので、結果的に１フレーム全体での最大値ＭＡＸと最小値ＭＩＮを検出することができる。ここで、本実施の形態においては、シリコン網膜カメラ２が適用されるので、画像入力は高速に行われる。
【００３９】
このようにして求められた最大値ＭＡＸと最小値ＭＩＮとの差が減算器９５によって計算され、その計算結果は当該フレームでの最大振幅値Ｖｐｐとして検出される。つづいて、最大振幅値Ｖｐｐがあらかじめ与えられた目標範囲内にあるかどうかの結果は、比較器９６，９７及びＡＮＤ回路９８により検出される。
【００４０】
最大振幅値Ｖｐｐがあらかじめ与えられる目標範囲にあるかどうかを判断するため、比較器９６，９７には、それぞれ上限値Ｈｉ，下限値Ｌｏが与えられているものとする。比較器９６，９７に対して減算器９５の出力すなわち最大振幅値Ｖｐｐが入力されると、比較器９６では、上限値Ｈｉが最大振幅値Ｖｐｐよりも小さい場合にのみハイレベルの信号が出力され、比較器９７では、下限値Ｌｏが最大振幅値Ｖｐｐよりも大きい場合にのみハイレベルの信号が出力される。
【００４１】
したがって、最大振幅値Ｖｐｐが目標範囲内にあれば、比較器９６，９７の出力はどちらもハイレベルの信号となってＡＮＤ回路９８に入力される。なお、目標範囲外にあれば、少なくとも一方の出力がローレベルの信号となる。ＡＮＤ回路９７では、最大振幅値Ｖｐｐが目標範囲内にあれば、比較器９６，９７の出力はどちらもハイレベルの信号のときにのみハイレベルの信号となる。ＡＮＤ回路９８の出力及び最大振幅値Ｖｐｐは、演算回路９９に入力される。
【００４２】
演算回路９９では、最大振幅値Ｖｐｐが目標範囲内にあれば現在の蓄積時間Ｔａを維持するための出力がなされ、目標範囲外にあれば所定のアルゴリズムを用いて蓄積時間Ｔａを更新するための処理が実行される。この所定のアルゴリズム及び演算回路９９の動作の詳細については、後述する。
【００４３】
つぎに、本実施の形態による感度調節方法を図３を用いて詳述する。図３は本発明の一実施の形態による感度調節方法を説明するグラフを示す図である。
【００４４】
本実施の形態では、最大振幅値が照明条件の変化によって目標範囲外になったとき、蓄積時間を最小値に戻して、それから蓄積時間を増加させていくことで最大振幅値が目標範囲を満たす蓄積時間を見つける方法をとる。すなわち、前述した図１２に示したグラフにおいて、蓄積時間の軸上で一番左から蓄積時間を増加させてやれば、どんな照明条件であろうと最大振幅値は増加し、やがて目標範囲に到達することに着目する。蓄積時間はシリコン網膜カメラ２を含むシステムの特性によって決まるものなので、以下に説明するアルゴリズムを適用するシステムでの可能な最小蓄積時間を蓄積時間の最小値として考えればよい。
【００４５】
また、ここで問題になってくるのが、どのような割合で蓄積時間を増加させていくかということである。照明条件により明るいときに大きな間隔で蓄積時間を大きくしていく場合には、最大振幅値の目標範囲を一気に越えてしまい、逆に暗い時に小さな間隔で蓄積時間を大きくしていく場合には、なかなか最大振幅値は大きくならない。そこで、図１２に示したグラフの曲線３１が上に凸であることに注目して、フレーム処理の過去２サイクル分の蓄積時間と最大振幅値の値を用いて線形近似した直線３２が最大振幅値の目標範囲の上限値に交差（位置Ｐ）するときの蓄積時間を次のサイクルの蓄積時間とする方法を採用する。この方法によって、より早く目標範囲を満たす蓄積時間まで到達することが可能となる。
【００４６】
まず、本実施の形態において感度調節に必要な線形化手法の式は、以下の通りである。
【数１】
ここで、ｎはフレーム単位の処理サイクルを示す自然数であり、Ｖｓｐは演算回路９９で用いる目標範囲の上限値に相当する。
【００４７】
最大振幅値Ｖｐｐが目標範囲外（目標範囲の下限以下、あるいは、目標範囲の上限以上）に変化した場合には、蓄積時間を更新するために、以下の各ステップの処理が実行される。すなわち、
ステップ１．
あらかじめ決められた最小蓄積時間Ｔａ［０］をセットし、その時の最大振幅値Ｖｐｐ［０］を計算する。
ステップ２．
最小蓄積時間Ｔａ［０］よりも大きい蓄積時間Ｔａ［１］をセットし、その時の最大振幅値Ｖｐｐ［１］を計算する。
ステップ３．
上記ステップ１，２でセットされたＴａ［０］、Ｖｐｐ［０］とＴａ［１］、Ｖｐｐ［１］とに基づいて１本の直線３２（図３参照）を取得し、この直線３２から上限値Ｖｓｐを見つける。これにより蓄積時間Ｔａ［ｎ］を取得し、そのときの実時間の最大振幅値Ｖｐｐを計算する。
ステップ４．
上記式（１）で表される線形化手法により、蓄積時間Ｔａを計算してセットする。
【００４８】
演算回路９９において、上記式の演算は最大振幅値Ｖｐｐが目標範囲に達するまで繰り返し実行される。最大振幅値Ｖｐｐが目標範囲に達すると、ＡＮＤ回路９８からの出力はハイレベルの信号となるので、演算回路９９では蓄積時間Ｔａの更新処理はなされず、現在の蓄積時間Ｔａは保持される。
【００４９】
つぎに、図４及び図５を用いて、図１に示した撮像システム１を用いた実験例について説明する。図４は本発明の一実施の形態において照明条件の変化に対する感度調節を説明するグラフを示す図、図５は図４のグラフで照明条件が変化したときの一部拡大図、そして、図６は本発明の一実施の形態による対象物の撮像状況を説明する図である。
【００５０】
実験環境は、図６に示したように、例えば白い背景ＢＧの中にオレンジ色のボールＯＢＪを支点Ｏから紐で吊り下げて配置させ、照明ＬＴの照明条件を変化させる仕組みである。照明条件については、まず８０５［Ｌｕｘ］、その３［ｓｅｃ］後に１５７［Ｌｕｘ］、その５．１［ｓｅｃ］後に４０［Ｌｕｘ］、その９［ｓｅｃ］後に１２［Ｌｕｘ］、その１５．８［ｓｅｃ］後に４０［Ｌｕｘ］の順に変化させた。このように照明条件を変化させながらシリコン網膜カメラ２でボールＯＢＪを撮影し、その際に感度調節を行うものである。このとき、最大振幅値Ｖｐｐの目標範囲を下限３７０［ｍＶ］から上限５００［ｍＶ］（Ｖｓｐ＝５００［ｍＶ］）の範囲とし、また蓄積時間としてＴａ［０］を６［ｍｓ］、Ｔａ［１］を１２［ｍｓ］として設定した。
【００５１】
上述した手順で照明ＬＴの照明条件を変化させると、その変化に応じて蓄積時間Ｔａが変化し、最大振幅値Ｖｐｐが目標範囲内に収まっていることが図４および図５で示す実験結果から確認できる。図４および図５において、４１は最大振幅値の変移を示し、４２は蓄積時間の変移を示す。まず照明条件を８０５［Ｌｕｘ］から１５７［Ｌｕｘ］へと変化させたとき、最大振幅値Ｖｐｐは、約２５０［ｍＶ］まで下がり、目標範囲外になった（図５の変移４１を参照）。このとき、前述した応答感度自動調節部９の処理により感度調節が行なわれる。すなわち、照明条件の変化後、まず蓄積時間Ｔａが、Ｔａ［０］である６［ｍｓ］に設定され、つぎにＴａ［１］に対応する１２［ｍｓ］へと変化する（図５の変移４２を参照）。
【００５２】
その後、演算回路９９のアルゴリズムに従って６０［ｍｓ］、１３８［ｍｓ］へと蓄積時間Ｔａが増加するように制御され、最大振幅値Ｖｐｐが目標範囲内に収まるように調節される（図５の変移４１を参照）。このとき、蓄積時間Ｔａが１３８［ｍｓ］になるまでに要した時間は７８［ｍｓ］であった（図５の変移４２を参照）。従来の蓄積時間の調節では、明るいときに大きな間隔で蓄積時間Ｔａを大きくしていくと最大振幅値Ｖｐｐが目標範囲を一気に越えてしまい、一方、暗いときに小さな間隔で蓄積時間Ｔａを大きくしていくといつまで経っても最大振幅値Ｖｐｐは大きくならず、どちらの場合にも目標範囲に到達させるのに時間がかかることが想定された。このため、７８［ｍｓ］という時間は、通常の画像処理においては十分速い値となる。例えば、蓄積時間が６０［ｍｓ］になった時点での最大振幅値が２５０［ｍＶ］程度になっており、この時点で画像処理を行ったりするのには十分なコントラストが得られていると考えられる。
【００５３】
以上説明したように、本実施の形態によれば、最大振幅値が目標範囲から外れても蓄積時間を最小な値から順次増加させることにしたので、最大振幅値を目標範囲内に迅速に収まるように制御することができる。これにより、照明条件の大きな変化に対しても高速な感度調節が可能である。そのため、照明条件に大きな変化のある環境下において、対象物をトラッキングするような高速な処理が求められる条件の中でも十分に適応することが可能である。なお、対象物のトラッキングを行なった際の最も暗い４０［Ｌｕｘ］という条件はＪＩＳ（日本工業規格）により定められる照明基準の推奨値で事務所、工場等での屋内非常階段等の設定値となっている程度の明るさであり、十分な感度調節範囲を有している。
【００５４】
感度調節に関し、光センサ部は非線形特性を持ってはいるが、蓄積時間が最も小さな状態から大きくなっていく段階では必ず蓄積時間と最大振幅値とは比例関係を有する。そのため、この比例関係をもつ領域を利用し、線形化手法によって最適な蓄積時間を推定し、更新していくことによって最終的に目標範囲に到達することができる。また、この方法を用いることによって、システムの情報処理サイクルの短い上記の領域を利用することになるので、高速化にも利点がある。
【００５５】
つぎに、本実施の形態による対象物のビジュアルトラッキング方法について実験例を用いて説明する。このビジュアルトラッキング方法では、シリコン網膜カメラ２を搭載したパン方向、チルト方向の二自由度をもったビジョンシステム４が利用される。対象物のトラッキングにおける実験は、前述した実験例と同様に、白い背景に対象物がオレンジ色の丸いボール１つとして行った。したがって、ここでも図６に示した環境と同様の環境を例に挙げて説明する。この場合、画素情報から画面全体のエッジを検出して、全てのエッジの重心を追従する方法が使用される。
【００５６】
ＦＰＧＡは、トラッキングと応答制御の両方をパラレルに処理する。エッジ検出は、エッジ周辺の出力画像の変化を検出し、エッジ画素にラベルを付す。重心計算は、以下の式（２）により重心を計算する。
【数２】
上記式（２）において、ｇｘとｇｙはＸ軸方向とＹ軸方向の重心、ｘｅとｙｅはＸ軸方向とＹ軸方向のエッジ画素の軸、ｃｅはエッジ画素数である。モータ制御は、移動対象物の重心とフレーム中心との間の誤差から位置制御される。
【００５７】
この実験においては、目標範囲は下限７５［ｍＶ］から上限１８５［ｍＶ］までの範囲として、対象物をトラッキングするには十分な値に設定し、閾値は最大振幅値の半分とした。トラッキングの対象物であるボールＯＢＪは、たとえばシリコン網膜カメラ２から０．８［ｍ］離して運動させ、運動振幅０．３［ｍ］、運動周期２．８［ｓｅｃ］で運動させ、照明条件は７４０［Ｌｕｘ］、１１５［Ｌｕｘ］、４０［Ｌｕｘ］、１１５［Ｌｕｘ］、７４０［Ｌｕｘ］の順に変化させた。
【００５８】
図７（Ａ）には、本実験を上方より観察した場合の概略図が示され、同図（Ｂ）には、本実験を横方向より観察した場合の概略図が示されている。図７（Ａ）に示したように、支点Ｏで紐の一端を支持される対象物のボールＯＢＪはたとえばＯＢＪ１、ＯＢＪ３、ＯＢＪ２の位置間を振り子運動のように移動する。このとき、照明ＬＴは上述した照明条件の順番にしたがって変更される。上方からの観察では、図７（Ａ）に示したように、ボールＯＢＪの振り子運動は矢印ＳＷＧ方向への動きとなる。
【００５９】
このボールＯＢＪの移動に追従するようにシリコン網膜カメラ２の視線方向は変位する。すなわち、上方向からの観察では、図７（Ａ）に示したように、シリコン網膜カメラ２のパン方向の動きは矢印ＭＶ１のように視線方向Ｖ１〜Ｖ２の間を行き来する。一方、横方向からの観察では、図７（Ｂ）に示したように、シリコン網膜カメラ２のチルト方向の動きは矢印ＭＶ２のように視線方向Ｖ１（Ｖ２）〜Ｖ３の間を行き来する。シリコン網膜カメラ２の視線方向は、モータ４Ａによりチルト方向に変移させられ，モータ４Ｂによりパン方向に変位させられる。
【００６０】
図８は、縦軸に蓄積時間［ｍｓ］、最大振幅値［ｍＶ］をそれぞれとり、横軸に時間［ｓｅｃ］をとっている。最大振幅値の変移を８１で示し、蓄積時間の変移を８２で示す。上述した実験の結果は、図８に示したグラフのように、蓄積時間Ｔａと最大振幅値Ｖｐｐの変化（変移８１、８２）から最大振幅値Ｖｐｐが目標範囲内（下限７５［ｍＶ］から上限１８５［ｍＶ］）に収まっていることがわかる。ここで、照明条件によって蓄積時間Ｔａの変動の幅が異なるのは、照明ＬＴの照明条件の変化を例えば点灯している室内電灯の数を変化させて行ったので、照明条件によって対象物であるボールＯＢＪに当たる光の角度が変化したためである。
【００６１】
図９は、縦軸に角度指令値［°］、横軸に時間［ｓｅｃ］をとっている。図９に示したグラフのように、モータ４Ａ，４Ｂへの角度指令値が振り子運動をするボールＯＢＪを捕えるための良好な値となっていることがわかる。フレーム単位のサイクルごとに角度指令値に３［°］程度の誤差が見られるが、トラッキングを行なうには大きな誤差ではないと考えることができる。よって、照明条件が変化するなかでのトラッキングを行なうことが可能となった。
【００６２】
以上説明したように、本実施の形態によれば、高速な感度調節の実現より対象物のトラッキングにおいては、照明条件に大きな変化があっても的確に対象物を捕捉して、シリコン網膜カメラ２の視線方向を対象物に向けることが可能となる。
【００６３】
さらに、感度調節の有効な方法について説明する。従来、エッジ検出をする場合、図１１にあるようにエッジ付近で現れる上下のピーク値の変化がある閾値を超えるとき、その位置をエッジとして検出する方法を用いていた。
【００６４】
しかしながら、トラッキングを高速で行なうためには、画像情報を得るためのサンプリング周期はなるべく小さなほうが望ましいのに対して、感度調節は最大振幅値Ｖｐｐがなるべく大きくなるように蓄積時間Ｔａを大きくしようとする働きをもつことが望ましかった。ここに、感度調節の場合の矛盾が生じる。
【００６５】
また、感度調節では、最大振幅値が十分大きくなるように目標範囲を設定する必要があった。このため、エッジを検出するための閾値を目標範囲での最大振幅値Ｖｐｐに合わせた値で一定のままにしておくと、最大振幅値Ｖｐｐが目標範囲には達することはなかった。実際にはトラッキングを行なうのに十分な情報を得ることができている場合があり、そのときの有効な情報を間引いてしまっている状態が生じてしまう場合があった。
【００６６】
そこで、対象物をトラッキングする場合には、目標範囲をエッジ検出が安定的に行なえる範囲で小さな最大振幅値Ｖｐｐを目標範囲とすることが好ましい。このように目標範囲を設定して、感度調節を行なう間に最大振幅値Ｖｐｐが変動しても、エッジ検出の閾値をそのときの最大振幅値Ｖｐｐのある一定の割合の値とする。すなわち、最大振幅値が変動しても安定してエッジ検出が行えるように、エッジを判断するための条件の一つである隣接画素間での変化の大きさの閾値を最大振幅値に比例して変化させる。これにより、目標範囲に最大振幅値Ｖｐｐが達する前であっても、ある程度の大きさの最大振幅値Ｖｐｐが得られていたならば、エッジ検出を適切に行なうことが可能である。
【００６７】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更できることは勿論である。例えば、感度調節の考え方は種々のカメラが持つ同様の非線形的な特性に対する適応を考える場合に用いることが可能である。
【００６８】
【発明の効果】
以上説明したように本発明によれば、光センサ部の非線形特性を考慮しながらも高速に感度調節を行うことが可能な光センサ用感度調節方法及び光センサ用感度調節装置を提供できるという効果を奏する。
【００６９】
また、上述したように高速に感度調節を行うことで、さらに、ロボット等のカメラによる高速なトラッキング性能を実現することが可能なビジュアルトラッキング制御方法及びビジュアルトラッキング制御装置を提供できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態による撮像システムを概略的に示す構成図である。
【図２】図１の撮像システムの要部の構成を示すブロック図である。
【図３】本発明の一実施の形態による感度調節方法を説明するグラフを示す図である。
【図４】本発明の一実施の形態において照明条件の変化に対する感度調節を説明するグラフを示す図である。
【図５】図４のグラフで照明条件が変化したときの一部拡大図である。
【図６】本発明の一実施の形態による対象物の撮像状況を説明する図である。
【図７】本発明の一実施の形態によるトラッキング時の駆動モータの態様を概略的に説明する図である。
【図８】本発明の一実施の形態においてトラッキング時の蓄積時間と最大振幅値の変化を説明するグラフを示す図である。
【図９】本発明の一実施の形態においてトラッキング時の駆動モータへの角度指令値の変化を説明するグラフを示す図である。
【図１０】光センサの出力例を示す図である。
【図１１】従来例においてシリコン網膜に白黒パターンを提示して蓄積時間を変えたときの１ライン分の応答結果を示す図である。
【図１２】従来例において照明条件、蓄積時間及び最大振幅値の関係を説明するグラフを示す図である。
【符号の説明】
１ 撮像システム
２ シリコン網膜カメラ
３ 光センサ部
４ ビジョンシステム
４Ａ，４Ｂ モータ
５ Ａ／Ｄ
６ 制御装置
７ 制御信号生成部
８ 処理回路
９ 応答感度自動調節部
１０ エッジ検出部
１１ 重心算出部
１２ モータ制御部
９１，９２，９６，９７ 比較器
９３，９４ レジスタ
９５ 減算器
９８ ＡＮＤ回路
９９ 演算回路
【特許請求の範囲】
【請求項１】
非線形性を有する光センサの感度を調節する光センサ用感度調節方法であって、
前記光センサから出力された所定単位の画素情報に基づいて最大振幅値を求める第一ステップと、
前記第一ステップで求めた最大振幅値があらかじめ与えられた振幅値の目標範囲内にあるか否かの関係を判断する第二ステップと、
前記第二ステップにより前記最大振幅値が前記目標範囲外にあるという関係が判断された場合には、前記第二ステップにより前記最大振幅値が前記目標範囲内にあるという関係が判断されるまで、前記光センサを駆動するための電荷の蓄積時間を段階的に増加するように更新する第三ステップと、
を含んだことを特徴とする光センサ用感度調節方法。
【請求項２】
前記第三ステップは、最大振幅値と蓄積時間との相関関係を示す曲線において少なくとも過去２サイクル分の蓄積時間にそれぞれ対応する最大振幅値に基づいて線形近似した直線を求め、当該直線が前記目標範囲と交差する位置までを蓄積時間として設定することを特徴とする請求項１に記載の光センサ用感度調節方法。
【請求項３】
前記目標範囲は最大振幅値の上限と下限により囲まれる範囲を指し、前記直線が前記目標範囲の上限と交差する位置までを蓄積時間として設定することを特徴とする請求項２に記載の光センサ用感度調節方法。
【請求項４】
前記第三ステップは、前記光センサを駆動するための電荷の蓄積時間を段階的に増加させる場合、前記蓄積時間の最小値から開始することを特徴とする請求項１、２又は３に記載の光センサ用感度調節方法。
【請求項５】
光センサの感度を調節する光センサ用感度調節装置であって、
前記光センサから出力された所定単位の画素情報に基づいて最大振幅値を検出する最大振幅値検出手段と、
前記最大振幅値検出手段で検出された最大振幅値とあらかじめ与えられた振幅値の目標範囲とを比較する比較手段と、
前記比較手段により前記最大振幅値が前記目標範囲外にあるという比較結果が得られた場合には、前記比較手段により前記最大振幅値が前記目標範囲内にあるという比較結果が得られるまで、前記光センサを駆動するための電荷の蓄積時間を段階的に増加するように更新する制御手段と、
を備えたことを特徴とする光センサ用感度調節装置。
【請求項６】
前記光センサは、シリコン網膜カメラに適用されることを特徴とする請求項５に記載の光センサ用感度調節装置。
【請求項７】
前記制御手段は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）にて実装されることを特徴とする請求項５又は６に記載の光センサ用感度調節装置。
【請求項８】
前記最大振幅値検出手段は、前記光センサから出力された所定単位の画素情報について最小値と最大値との差分から最大振幅値を検出することを特徴とする請求項５、６又は７に記載の光センサ用感度調節装置。
【請求項９】
非線形性を有する光センサ部及び駆動モータ部を有するカメラを用いて対象物をトラッキング制御するビジュアルトラッキング制御方法であって、
前記光センサ部から出力された所定単位の画素情報に基づいて最大振幅値を求める第一ステップと、
前記第一ステップで求めた最大振幅値があらかじめ与えられた振幅値の目標範囲内にあるか否かの関係を判断する第二ステップと、
前記第二ステップにより前記最大振幅値が前記目標範囲外にあるという関係が判断された場合には、前記第二ステップにより前記最大振幅値が前記目標範囲内にあるという関係が判断されるまで、前記光センサ部を駆動するための電荷の蓄積時間を段階的に増加するように更新する第三ステップと、
前記第一ステップで求めた最大振幅値を参照して前記光センサ部から出力された所定単位の画素情報に基づいてエッジ検出を行う第四ステップと、
前記第四ステップによるエッジ検出の結果に基づいて重心を求める第五ステップと、
前記第五ステップで求めた重心に基づいて前記駆動モータを制御する第六ステップと、
を含んだことを特徴とするビジュアルトラッキング制御方法。
【請求項１０】
前記第四ステップは、エッジ検出のための閾値を前記第一ステップで求めた最大振幅値に比例して変化させることを特徴とする請求項９に記載のビジュアルトラッキング制御方法。
【請求項１１】
前記カメラの駆動モータ部はチルト方向、パン方向にそれぞれ駆動可能であり、前記第六ステップは、前記カメラの駆動モータ部に対してチルト方向の制御信号、パン方向の制御信号をそれぞれ出力することを特徴とする請求項９又は１０に記載のビジュアルトラッキング制御方法。
【請求項１２】
前記目標範囲を７５ｍＶ〜１８５ｍＶとしたことを特徴とする請求項９、１０又は１１に記載のビジュアルトラッキング制御方法。
【請求項１３】
非線形性を有する光センサ部及び部駆動モータ部を有するカメラに接続され、当該カメラを用いて対象物をトラッキング制御するビジュアルトラッキング制御装置であって、
前記光センサ部から出力された所定単位の画素情報に基づいて最大振幅値を検出する最大振幅値検出手段と、
前記最大振幅値検出手段で検出された最大振幅値とあらかじめ与えられた振幅値の目標範囲とを比較する比較手段と、
前記比較手段により前記最大振幅値が前記目標範囲外にあるという比較結果が得られた場合には、前記比較手段により前記最大振幅値が前記目標範囲内にあるという比較結果が得られるまで、前記光センサ部を駆動するための電荷の蓄積時間を段階的に増加するように更新する制御手段と、
前記最大振幅値検出手段で検出された最大振幅値を参照して前記光センサ部から出力された所定単位の画素情報に基づいてエッジ検出を行うエッジ検出手段と、
前記エッジ検出手段によるエッジ検出の結果に基づいて重心を算出する重心算出手段と、
前記重心算出手段で求めた重心に基づいて前記駆動モータを制御するモータ制御手段と、
を備えたことを特徴とするビジュアルトラッキング制御装置。
【請求項１】
非線形性を有する光センサの感度を調節する光センサ用感度調節方法であって、
前記光センサから出力された所定単位の画素情報に基づいて最大振幅値を求める第一ステップと、
前記第一ステップで求めた最大振幅値があらかじめ与えられた振幅値の目標範囲内にあるか否かの関係を判断する第二ステップと、
前記第二ステップにより前記最大振幅値が前記目標範囲外にあるという関係が判断された場合には、前記第二ステップにより前記最大振幅値が前記目標範囲内にあるという関係が判断されるまで、前記光センサを駆動するための電荷の蓄積時間を段階的に増加するように更新する第三ステップと、
を含んだことを特徴とする光センサ用感度調節方法。
【請求項２】
前記第三ステップは、最大振幅値と蓄積時間との相関関係を示す曲線において少なくとも過去２サイクル分の蓄積時間にそれぞれ対応する最大振幅値に基づいて線形近似した直線を求め、当該直線が前記目標範囲と交差する位置までを蓄積時間として設定することを特徴とする請求項１に記載の光センサ用感度調節方法。
【請求項３】
前記目標範囲は最大振幅値の上限と下限により囲まれる範囲を指し、前記直線が前記目標範囲の上限と交差する位置までを蓄積時間として設定することを特徴とする請求項２に記載の光センサ用感度調節方法。
【請求項４】
前記第三ステップは、前記光センサを駆動するための電荷の蓄積時間を段階的に増加させる場合、前記蓄積時間の最小値から開始することを特徴とする請求項１、２又は３に記載の光センサ用感度調節方法。
【請求項５】
光センサの感度を調節する光センサ用感度調節装置であって、
前記光センサから出力された所定単位の画素情報に基づいて最大振幅値を検出する最大振幅値検出手段と、
前記最大振幅値検出手段で検出された最大振幅値とあらかじめ与えられた振幅値の目標範囲とを比較する比較手段と、
前記比較手段により前記最大振幅値が前記目標範囲外にあるという比較結果が得られた場合には、前記比較手段により前記最大振幅値が前記目標範囲内にあるという比較結果が得られるまで、前記光センサを駆動するための電荷の蓄積時間を段階的に増加するように更新する制御手段と、
を備えたことを特徴とする光センサ用感度調節装置。
【請求項６】
前記光センサは、シリコン網膜カメラに適用されることを特徴とする請求項５に記載の光センサ用感度調節装置。
【請求項７】
前記制御手段は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）にて実装されることを特徴とする請求項５又は６に記載の光センサ用感度調節装置。
【請求項８】
前記最大振幅値検出手段は、前記光センサから出力された所定単位の画素情報について最小値と最大値との差分から最大振幅値を検出することを特徴とする請求項５、６又は７に記載の光センサ用感度調節装置。
【請求項９】
非線形性を有する光センサ部及び駆動モータ部を有するカメラを用いて対象物をトラッキング制御するビジュアルトラッキング制御方法であって、
前記光センサ部から出力された所定単位の画素情報に基づいて最大振幅値を求める第一ステップと、
前記第一ステップで求めた最大振幅値があらかじめ与えられた振幅値の目標範囲内にあるか否かの関係を判断する第二ステップと、
前記第二ステップにより前記最大振幅値が前記目標範囲外にあるという関係が判断された場合には、前記第二ステップにより前記最大振幅値が前記目標範囲内にあるという関係が判断されるまで、前記光センサ部を駆動するための電荷の蓄積時間を段階的に増加するように更新する第三ステップと、
前記第一ステップで求めた最大振幅値を参照して前記光センサ部から出力された所定単位の画素情報に基づいてエッジ検出を行う第四ステップと、
前記第四ステップによるエッジ検出の結果に基づいて重心を求める第五ステップと、
前記第五ステップで求めた重心に基づいて前記駆動モータを制御する第六ステップと、
を含んだことを特徴とするビジュアルトラッキング制御方法。
【請求項１０】
前記第四ステップは、エッジ検出のための閾値を前記第一ステップで求めた最大振幅値に比例して変化させることを特徴とする請求項９に記載のビジュアルトラッキング制御方法。
【請求項１１】
前記カメラの駆動モータ部はチルト方向、パン方向にそれぞれ駆動可能であり、前記第六ステップは、前記カメラの駆動モータ部に対してチルト方向の制御信号、パン方向の制御信号をそれぞれ出力することを特徴とする請求項９又は１０に記載のビジュアルトラッキング制御方法。
【請求項１２】
前記目標範囲を７５ｍＶ〜１８５ｍＶとしたことを特徴とする請求項９、１０又は１１に記載のビジュアルトラッキング制御方法。
【請求項１３】
非線形性を有する光センサ部及び部駆動モータ部を有するカメラに接続され、当該カメラを用いて対象物をトラッキング制御するビジュアルトラッキング制御装置であって、
前記光センサ部から出力された所定単位の画素情報に基づいて最大振幅値を検出する最大振幅値検出手段と、
前記最大振幅値検出手段で検出された最大振幅値とあらかじめ与えられた振幅値の目標範囲とを比較する比較手段と、
前記比較手段により前記最大振幅値が前記目標範囲外にあるという比較結果が得られた場合には、前記比較手段により前記最大振幅値が前記目標範囲内にあるという比較結果が得られるまで、前記光センサ部を駆動するための電荷の蓄積時間を段階的に増加するように更新する制御手段と、
前記最大振幅値検出手段で検出された最大振幅値を参照して前記光センサ部から出力された所定単位の画素情報に基づいてエッジ検出を行うエッジ検出手段と、
前記エッジ検出手段によるエッジ検出の結果に基づいて重心を算出する重心算出手段と、
前記重心算出手段で求めた重心に基づいて前記駆動モータを制御するモータ制御手段と、
を備えたことを特徴とするビジュアルトラッキング制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００４−２４０５９１（Ｐ２００４−２４０５９１Ａ）
【公開日】平成１６年８月２６日（２００４．８．２６）
【国際特許分類】
【出願番号】特願２００３−２７６４８（Ｐ２００３−２７６４８）
【出願日】平成１５年２月４日（２００３．２．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００２年８月５日〜７日 開催の「ＳＩＣＥ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ２００２ ｉｎ Ｏｓａｋａ ＰＲＯＣＥＥＤＩＮＧＳ」において文書をもって発表
【出願人】（５０３３５９８２１）独立行政法人理化学研究所 (1,056)
【Ｆターム（参考）】
【公開日】平成１６年８月２６日（２００４．８．２６）
【国際特許分類】
【出願日】平成１５年２月４日（２００３．２．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００２年８月５日〜７日 開催の「ＳＩＣＥ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ２００２ ｉｎ Ｏｓａｋａ ＰＲＯＣＥＥＤＩＮＧＳ」において文書をもって発表
【出願人】（５０３３５９８２１）独立行政法人理化学研究所 (1,056)
【Ｆターム（参考）】
[ Back to top ]