視覚情報処理システム及びその視覚情報処理方法
【課題】光空間変調素子とイメージャとを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現可能な視覚情報処理システムを提供する。
【解決手段】本発明に係る視覚情報処理システムは、光源からの放射光を所定の光パターンに基づいて変調する光空間変調素子を有し、光パターンに基づいて変調された放射光を撮像対象物に照射する光パターン生成部と、光パターンが重畳された撮像対象物を撮像し、撮像対象物の特徴量を抽出する画像特徴抽出部とを備え、光パターンは、三角測量原理に基づいて前記撮像対象物の３次元情報を得ることができる複数の光パターンであると共に、画像特徴抽出部で抽出された特徴量に基づいて光パターンの種類及び数の少なくとも一方が適応制御される光パターンであることを特徴とする。
【解決手段】本発明に係る視覚情報処理システムは、光源からの放射光を所定の光パターンに基づいて変調する光空間変調素子を有し、光パターンに基づいて変調された放射光を撮像対象物に照射する光パターン生成部と、光パターンが重畳された撮像対象物を撮像し、撮像対象物の特徴量を抽出する画像特徴抽出部とを備え、光パターンは、三角測量原理に基づいて前記撮像対象物の３次元情報を得ることができる複数の光パターンであると共に、画像特徴抽出部で抽出された特徴量に基づいて光パターンの種類及び数の少なくとも一方が適応制御される光パターンであることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視覚情報処理システム及びその視覚情報処理方法に係り、特に、光空間変調素子及び高速撮像素子を用いた視覚情報処理システム及びその視覚情報処理方法に関する。
【背景技術】
【０００２】
今日、ＣＭＯＳ画像センサ等の固体撮像素子を用いた撮像装置やカメラは、民生用、産業用を問わず多種多様な形態でその応用分野を広めつつある。
【０００３】
特に、産業用の撮像装置の分野においては、対象物の物理的変動を画像データから抽出し、抽出した情報を各種制御システムの入力値やフィードバック値として用いるといった応用形態が普及してきている。
【０００４】
例えば、移動物体を撮像することにより、移動物体の重心位置や移動物体の姿勢角といった物理量を抽出し、これらの物理量或いはその変化量に基づいて各種制御、例えばロボットアームの制御等を行うシステムがある。このような制御システムに用いられる撮像装置では、対象物の移動速度等にも依存するが、一般的には民生用の応用に比べるとはるかに高い解像度や高フレームレートをリアルタイムで実現することが必要となってくる。
【０００５】
特許文献１が開示する撮像カメラ装置は、高空間解像度と高速リアルタイム性を両立させる技術を開示している。図１５は、特許文献１が開示する撮像カメラ装置２００の構成を示すものであり、高空間解像度を有するイメージャ（固体撮像素子）２０と、演算部３０と、座標変換部４０とを備えている。
【０００６】
演算部３０には、イメージャ２０の全画像（Ｍ×Ｎ）の中から、座標変換部４０で指定された部分画像（ｍ×ｎ）の画像データ（現在のフレームタイムの画像データ）が切り出されて入力される。演算部３０では、部分画像のデータから画像特徴量ξを抽出する演算を行う。画像特徴量ξとは、例えば、部分画像データに含まれる対象物の大きさ、位置、姿勢角等、或いはこれらの変化量等である。座標変換部４０では、抽出された画像特徴量ξに基づいて、次のフレームタイムに切り出すべき部分画像の座標（ｍ’×ｎ’）を計算する。例えば、対象物が平行移動や回転移動している場合には、前フレームの部分画像の座標（ｍ×ｎ）に対してアフィン変換等によって平行移動や回転移動をさせる座標変換を施し、次フレームの部分画像の座標（ｍ’×ｎ’）を算出する。
【０００７】
算出された次フレームの座標（ｍ’×ｎ’）をイメージャの全画像の中から順次読み出して新たな部分画像（ｍ’×ｎ’）の画像データを演算部３０に入力する。
【０００８】
特許文献１が開示する撮像カメラ装置２００では、演算部３０で算出された画像特徴量ξをフィードバックすることにより、イメージャの全画像データを読み出すのではなく、必要な部分的な画像を読み出すことが可能となり、高空間解像度を維持しつつ高速リアルタイム性を実現することができる。
【０００９】
他方、今日、撮像対象物を２次元画像としてだけでなく３次元画像として撮像する技術も開発されつつある。例えば、非特許文献１には、三角測量原理に基づいた３次元画像の生成方法が開示されている。
【特許文献１】特開２００３−３１９２６２号公報
【非特許文献１】“画像処理・実験の概要”、[online]、[平成１７年４月１日検索]、インターネット＜ＵＲＬ：http://www.image.esys.tsukuba.ac.jp/range_finder/gaiyo.html＞
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところで、近時、光空間変調素子と呼ばれるデバイスが開発、実用化されプロジェクタ装置等に多く用いられるようになってきている。光空間変調素子には、液晶ライトバルブ等の透過型のものと、ＤＭＤ（Digital Micro-mirror Device）と呼ばれる反射型のものがある。
【００１１】
透過型の光空間変調素子を用いたプロジェクタ装置では、画像信号を液晶ライトバルブに印加し、光源からの光を液晶ライトバルブに透過させて前方のスクリーン等に画像を投影する。
【００１２】
一方、反射型の空間変調素子を用いたプロジェクタ装置は、光源からの光をＤＭＤに反射させた後、前方のスクリーン等に画像を投影するものである。ＤＭＤには多数の微小なミラーが画素数に対応する数だけ配置されており、ミラーの角度を画素毎に変えることによりスクリーンに投影する光の量を画素毎にオン・オフさせ２次元画像を形成するものである。ミラーの角度の変化はオン・オフ信号によって２値的に変化するが、パルス幅変調によってオン・オフの周期を設定することにより人間の眼に対しては連続的な光の強度を表現することができる。また、画素毎、フレーム毎にパルス幅変調のデューティ比を変化させることにより、空間的にも時間的にも連続な動画像を形成することができる。
【００１３】
従来、液晶ライトバルブやＤＭＤ等の光空間変調素子は、専らプロジェクタ装置に用いられることが多かった。高輝度化、高速化のシステム技術の進展に伴って、プレゼンテーション用のプロジェクタに留まらず、大型テレビとして、或いは劇場映画用のプロジェクタとして多方面に活用されるようになってきているものの、基本的にはプロジェクタ装置の画像形成素子として用いられている。
【００１４】
本発明に係る視覚情報処理システムは、これらの光空間変調素子を従来の画像形成素子として用いるものではない。
【００１５】
画像形成（撮像）そのものは、ＣＭＯＳ画像センサ等の固体撮像素子で行う。同時に、液晶ライトバルブやＤＭＤ等の光空間変調素子を用いて、固体撮像素子に入射する対象物からの光に対して空間的、時間的な変調を施すものである。
【００１６】
本発明に係る視覚情報処理システムは、光空間変調素子と固体撮像素子とを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することを目的とする。
【００１７】
特に、特許文献１が開示する技術のようにイメージャ（固体撮像素子）で撮像された画像データから画像特徴量を抽出し、この画像特徴量に基づいたフィードバックループ中に光空間変調素子を設けることにより、対象物の動き、変化に適応した新たな視覚情報処理を実現することを目的とする。
【００１８】
具体的には、本発明の目的のひとつは、光空間変調素子とイメージャ（固体撮像素子）とを組み合わせることによって、移動物も含めた撮像対象物の３次元画像を画像特徴量に基づいたフィードバック制御により高速にかつ高効率で生成することができる視覚情報処理システム及びその視覚情報処理方法を提供することにある。
【００１９】
また、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、明暗の差が非常に大きく、かつその差が時間的、空間的に変化する対象物に対しても適正な明度のダイナミックレンジを確保することができる視覚情報処理システム及びその視覚情報処理方法を提供することにある。
【００２０】
また、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、画像全体としては解像度をある程度犠牲にして高感度の画像データを提供しつつも、特定の固定或いは移動対象物については高解像度を実現することができる視覚情報処理システム及びその視覚情報処理方法を提供することにある。
【００２１】
また、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、所定の輝度変動を画素毎に抽出し、輝度変動スペクトラム画像を生成することができる視覚情報処理システム及びその視覚情報処理方法を提供することにある。
【００２２】
さらに、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、画像全体、又は特定の固定若しくは移動対象物に対してエッジ強調等の空間フィルタ処理を施すことができる視覚情報処理システム及びその視覚情報処理方法を提供することにある。
【課題を解決するための手段】
【００２３】
上記課題を解決するため、本発明に係る視覚情報処理システムは、請求項１に記載したように、光源からの放射光を所定の光パターンに基づいて変調する光空間変調素子を有し、前記光パターンに基づいて変調された前記放射光を撮像対象物に照射する光パターン生成部と、前記光パターンが重畳された前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部とを備え、前記光パターンは、三角測量原理に基づいて前記撮像対象物の３次元情報を得ることができる複数の光パターンであると共に、前記画像特徴抽出部で抽出された特徴量に基づいて光パターンの種類及び数の少なくとも一方が適応制御される光パターンであることを特徴とする。本構成による視覚情報処理システムによれば、移動物も含めた撮像対象物の３次元画像を画像特徴量に基づいたフィードバック制御により高速にかつ高効率で生成することができる。
【００２４】
また、本発明に係る視覚情報処理システムは、請求項２に記載したように、所定の画素領域を有し、撮像対象物からの入射光の露光時間を画素毎に制御する光空間変調素子と、画素毎に入射光の露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部とを備え、前記画像特徴抽出部で抽出された特徴量は、前記撮像対象物の画素毎の輝度を含む特徴量であり、前記光空間変調素子は、前記画素毎の輝度に基づいて露光時間を適応制御することを特徴とする。本構成による視覚情報処理システムによれば、明暗の差が非常に大きく、かつその差が時間的、空間的に変化する対象物に対しても適正な明度のダイナミックレンジを確保することができる。
【００２５】
また、本発明に係る視覚情報処理システムは、請求項３に記載したように、指定された領域の画素を複数にグループ化し、前記各グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部とを備え、前記画像特徴抽出部は、前記特徴量に基づいて領域を指定し、その領域において、順次切り換えて前記イメージャに入力される前記複数の画素の信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高めることを特徴とする。本構成による視覚情報処理システムによれば、画像全体としては解像度をある程度犠牲にして高感度の画像データを提供しつつも、特定の固定或いは移動対象物については高解像度を実現することができる。
【００２６】
また、本発明に係る視覚情報処理システムは、請求項４に記載したように、指定された領域の画素を複数にグループ化し、前記各グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度のイメージャで撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部とを備え、前記画像特徴抽出部は、前記特徴量に基づいて領域を指定し、その領域において、前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成することを特徴とする。本構成による視覚情報処理システムによれば、所定の輝度変動を画素毎に抽出し、輝度変動スペクトラム画像を生成することができる。
【００２７】
また、本発明に係る視覚情報処理システムは、請求項５に記載したように、指定された領域の画素を複数にグループ化し、前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部とを備え、前記画像特徴抽出部は、前記特徴量に基づいて領域を指定し、その領域において、前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理対象とする空間フィルタリングを行うことを特徴とする。本構成による視覚情報処理システムによれば、画像全体、又は特定の固定若しくは移動対象物に対してエッジ強調等の空間フィルタ処理を施すことができる。
【００２８】
また、本発明に係る視覚情報処理方法は、請求項８に記載したように、光空間変調素子によって光源からの放射光を所定の光パターンに基づいて変調し、前記光パターンに基づいて変調された前記放射光を撮像対象物に照射するステップと、前記光パターンが重畳された前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出するステップとを備え、前記光パターンは、三角測量原理に基づいて前記撮像対象物の３次元情報を得ることができる複数の光パターンであると共に、前記画像特徴抽出部で抽出された特徴量に基づいて光パターンの種類及び数の少なくとも一方が適応制御される光パターンであることを特徴とする。本方法による視覚情報処理方法によれば、移動物も含めた撮像対象物の３次元画像を画像特徴量に基づいたフィードバック制御により高速にかつ高効率で生成することができる。
【００２９】
また、本発明に係る視覚情報処理方法は、請求項９に記載したように、所定の画素領域を有した光空間変調素子によって、撮像対象物からの入射光の露光時間を画素毎に制御するステップと、画素毎に露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出するステップとを備え、抽出された前記特徴量は、前記撮像対象物の画素毎の輝度を含む特徴量であり、前記画素毎に制御するステップは、前記画素毎の輝度に基づいて露光時間を適応制御することを特徴とする。本方法による視覚情報処理方法によれば、明暗の差が非常に大きく、かつその差が時間的、空間的に変化する対象物に対しても適正な明度のダイナミックレンジを確保することができる。
【００３０】
また、本発明に係る視覚情報処理方法は、請求項１０に記載したように、指定された領域の画素が複数にグループ化された光空間変調素子によって、前記グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出するステップとを備え、前記特徴量を抽出するステップは、前記特徴量に基づいて領域を指定し、その領域において、順次切り換えて前記イメージャに入力される前記複数の画素の信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高める処理を含むことを特徴とする。本方法による視覚情報処理方法によれば、画像全体としては解像度をある程度犠牲にして高感度の画像データを提供しつつも、特定の固定或いは移動対象物については高解像度を実現することができる。
【００３１】
また、本発明に係る視覚情報処理方法は、請求項１１に記載したように、指定された領域の画素が複数にグループ化された光空間変調素子によって、前記グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力するステップと、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度のイメージャで撮像し、前記撮像対象物の特徴量を抽出するステップとを備え、前記特徴量を抽出するステップは、前記特徴量に基づいて領域を指定し、その領域において、前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成する処理を含むことを特徴とする。本方法による視覚情報処理方法によれば、所定の輝度変動を画素毎に抽出し、輝度変動スペクトラム画像を生成することができる。
【００３２】
また、本発明に係る視覚情報処理方法は、請求項１２に記載したように、指定された領域の画素が複数にグループ化された光空間変調素子によって、前記グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出するステップとを備え、前記特徴量を抽出するステップは、前記特徴量に基づいて領域を指定し、その領域において、前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理対象とする空間フィルタリングを行う処理を含むことを特徴とすることを特徴とする。本方法による視覚情報処理方法によれば、画像全体、又は特定の固定若しくは移動対象物に対してエッジ強調等の空間フィルタ処理を施すことができる。
【発明の効果】
【００３３】
本発明に係る視覚情報処理システム及びその視覚情報処理方法によれば、光空間変調素子とイメージャとを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することができ、特に、画像特徴量に基づいたフィードバックループ中に光空間変調素子を設けることにより、対象物の動き、変化に適応した新たな視覚情報処理を実現することが可能となる。
【発明を実施するための最良の形態】
【００３４】
本発明に係る視覚情報処理システムおよび視覚情報処理方法の実施形態について、添付図面を参照して説明する。
【００３５】
（１）第１の実施形態
図１は、本発明の第１の実施形態に係る視覚情報処理システム１のシステム構成例を示す図である。第１の実施形態に係る視覚情報処理システム１は、撮像対象物の３次元画像を高速、かつ、高効率で生成するものである。
【００３６】
視覚情報処理システム１は、画像特徴抽出部２と光パターン照射部３とを備えて構成されている。
【００３７】
このうち、画像特徴抽出部２は、図１５に示した撮像カメラ装置２００と同様の構成を備えるものであり、高空間解像度を有するイメージャ（固体撮像素子）２０と、演算部３０と、座標変換部４０とを備えている。イメージャ２０は、例えば所定の画素数を有するＣＭＯＳ画像センサである。
【００３８】
演算部３０には、イメージャ２０の全画像（Ｍ×Ｎ）の中から内、座標変換部４０で指定された部分画像（ｍ×ｎ）の画像データ（現在のフレームタイムの画像データ）が切り出されて入力される。演算部３０では、部分画像のデータから画像特徴量ξを抽出する演算を行う。画像特徴量ξとは、例えば、部分画像データに含まれる対象物の大きさ、位置、姿勢角等、或いはこれらの変化量等である。座標変換部４０では、抽出された画像特徴量ξに基づいて、次のフレームタイムに切り出すべき部分画像の座標（ｍ’×ｎ’）を計算する。例えば、対象物が平行移動や回転移動している場合には、前フレームの部分画像の座標（ｍ×ｎ）に対してアフィン変換等によって平行移動や回転移動をさせる座標変換を施し、次フレームの部分画像の座標（ｍ’×ｎ’）を算出する。
【００３９】
算出された次フレームの座標（ｍ’×ｎ’）をイメージャの全画像の中から順次読み出して新たな部分画像（ｍ’×ｎ’）の画像データを演算部３０に入力する。
【００４０】
特許文献１が開示する撮像カメラ装置２００では、演算部３０で算出された画像特徴量ξをフィードバックすることにより、イメージャの全画像データを読み出すのではなく、必要な部分的な画像を読み出すことが可能となり、高空間解像度を維持しつつ高速リアルタイム性を実現することができる。
【００４１】
他方、光パターン照射部３は、光空間変調素子１０と、光源１２と、光パターン生成部１１を備えて構成されている。
【００４２】
光パターン生成部１１は、画像特徴抽出部２からフィードバックされる画像特徴量ξにも基づいて、各種の光パターン信号を生成し光空間変調素子１０に出力する。
【００４３】
光空間変調素子１０では、光源１２から放射光を光パターン信号に基づいて変調することにより、各種の光パターンを生成する。光空間変調素子１０は、大別して反射型の光空間変調素子１０ａと透過型の光空間変調素子１０ｂが存在する。反射型の光空間変調素子１０ａとしては、例えば、デジタルマイクロミラーデバイス（以下、ＤＭＤという）がある。また、透過型の光空間変調素子１０ｂとしては、例えば、透過型液晶ライトバルブがある。
【００４４】
反射型、透過型のいずれの形態の光空間変調素子１０も反射面或いは透過面に多数の画素を形成しており、反射光あるいは透過光の強度を画素毎に制御することができる。また、いずれの光空間変調素子１０も画素毎の光の強度制御を時間的にも高速で変化させることが可能である。この意味で、光空間変調素子１０は、時空間変調素子と呼ぶこともできる。
【００４５】
上記のように構成された視覚情報処理システム１の３次元画像の生成動作について説明する。
【００４６】
図２は、視覚情報処理システム１の３次元画像生成の動作概念を説明する第１の図である。まず、光空間変調素子１０によって光源１２の放射光を空間的に変調し、所定の光パターンを生成し、この光パターンを、光学系を介して撮像対象物１００に照射する。
【００４７】
光空間変調素子１０が反射型の場合には、光空間変調素子１０の前方側に光源１２を配置し、透過型の場合には光空間変調素子１０の後方側に光源１２を配置すればよい。
【００４８】
図２に例示した光パターンは、複数の縦縞からなる縦縞パターンが撮像対象物１００に照射されている状態を示している。
【００４９】
イメージャ２０には、光学系を介して、撮像対象物１００からの像が入射されるが、この際撮像対象物１００と光パターンとが重畳した像が入射光として入射されることになる。イメージャ２０で撮像された画像データは画像特徴抽出部２の演算部３０に入力される。
【００５０】
演算部３０では、光パターンが重畳された複数の画像データから３次元画像を生成する。この際、イメージャ２０から取り出される画像データは、イメージャ２０の全画素領域であってもよいし、前述したようにイメージャ２０の部分領域を取り出した画像データであっても良い。部分領域の画像データを取り出す場合には、全画素領域の画像データを取り出す場合に比べてより高速（高フレームレート）の処理が可能となる。
【００５１】
演算部３０では、さらに画像特徴量ξが抽出される。画像特徴量ξは、例えば、撮像対象物の位置（重心位置）、大きさ、姿勢角等である。また、これらの変化量（速度）等である。
【００５２】
この画像特徴量ξをフィードバックし光パターンの種類や数等を適応制御することによって、従来の３次元画像の生成方法に比べて高速でかつ精度の高い３次元画像を生成することができる。
【００５３】
図３は、従来の３次元画像の生成方法について説明した図である。詳細については、例えば非特許文献１等に記載されているため、ここでは概略の説明に留める。
【００５４】
まず、複数、図３の例ではｋ種ｋ枚のそれぞれ異なる光パターン３００を１組として用意し、これらの光パターンを撮像対象物１００に対して順次照射する。イメージャ２０では光パターンと撮像対象物が重畳された画像データがｋ枚取得されることになる。このｋ枚の画像データを処理することにより１枚の３次元画像（図示せず）が得られることになる。
【００５５】
連続的に撮像する場合には、上記の処理を繰り返すことになる。従来の方法では、フレーム毎に同じｋ種ｋ枚の光パターンを撮像対象物に照射するものとしていた。
【００５６】
光パターンの種類や数は、撮像対象物の大きさや解像度（空間解像度）に依存するものである。例えば、図３で示した１組の光パターンは、２つの縦縞をもつ最も粗い間隔（これを最粗間隔という）の縞模様から、最も蜜な間隔（これを最密間隔という）の縞模様まで順次縦縞の間隔が１／２となっていくパターンで構成されている。
【００５７】
この場合、最粗間隔は、撮像対象物の大きさにほぼ一致させる必要がある。一方、最密間隔は空間解像度にほぼ一致する。したがって、同じ大きさの撮像対象物を撮像する場合、高い空間解像度を得ようとすると、最密間隔の小さな光パターンが必要となり、結果的に光パターンの種類、数が増加することになる。また、同じ解像度の場合であっても、撮像対象物が大きいほど、或いは撮像対象範囲が広い程最粗間隔を大きくする必要があるため、この場合にも光パターンの種類、数が増加することになる。
【００５８】
従来の３次元画像の生成方法では、画一的な光パターンを生成する形態であるため、撮像対象物の情報が未知の場合や、撮像対象物が移動する等変化した場合には、最適な光パターンとすることが困難であった。
【００５９】
これに対して、本実施形態に係る視覚情報処理システム１では、図１に示したように画像特徴量ξを抽出可能に構成されているため、この画像特徴量ξをフィードバックすることにより、所定の評価関数を最適とする光パターンをアダプティブに生成する（適応制御）することが可能となる。
【００６０】
図４は、本実施形態に係る視覚情報処理システム１による光パターンの生成概念を模式的に示したものである。例えば、Ｎフレーム目の光パターン３００に基づいてイメージャ２０では複数の画像データ３０１が生成され、これに基づいてＮフレーム目の３次元画像が生成される。
【００６１】
この３次元画像に基づいて、画像特徴抽出部２において画像特徴量ξが抽出される。この画像特徴量ξを用いて評価関数を最適化する光パターンを生成することができる。
【００６２】
例えば、評価関数として処理時間を設定し処理時間を最小とするような場合には、所定の解像度を維持する範囲で光パターンの種類、数が最小となればよい。この際、画像特徴量ξとして、撮像対象物の位置、大きさをフィードバックすることにより、光パターンの最粗間隔を広い範囲から撮像対象物の大きさの範囲にまで縮小することが可能となり、結果的に光パターンの種類、枚数が削減され処理時間が短縮されることになる。
【００６３】
また、従来の３次元画像の生成方法では、光パターンの種類、数が多かったため、撮像対象物が移動した場合にはフレーム内での変化により正確な３次元画像の生成が困難であった。これに対して、本実施形態に係る視覚情報処理システム１では、上述したように光パターンの種類、数が削減され、フレームタイムが短縮化されるため、移動対象物であっても正確な３次元画像の生成、或いは３次元情報の抽出が可能となる。
【００６４】
さらに、本実施形態に係る視覚情報処理システム１では、画像特徴量ξとして撮像対象物の移動の有無、移動速度等を検出することが可能であるため、動的な撮像対象物に対してより柔軟な処理が可能となる。
【００６５】
図５は、動的な撮像対象物に対する処理の一例を示したものである。図５（ａ）は、画像全体に動きがない場合である。この場合には、フレーム時間が多少長くても対象物の動きによる誤差は少ないため、最密間隔を小さくした空間解像度の高い光パターンを用いることができる。
【００６６】
一方、図５（ｂ）は、撮像範囲の一部に移動物４００が出現してきた状況を示している。画像特徴抽出部２では移動物４００の位置、大きさ、速度等を画像特徴量ξとして抽出することができる。これらの画像特徴量ξを光パターン生成部３にフィードバックすることにより、移動物４００の周辺の領域（動きのある領域）４０１のみ異なるパターンの光パターンを生成することができる。例えば、動きのある領域の縦縞の密度をその周辺の領域よりも粗くした光パターンに変更する。
【００６７】
変更前の光パターンでは、縦縞の間隔が移動量に比べて大きすぎるため、連続的に移動物４００の３次元画像を生成することは困難であった。これに対して、変更後の光パターンでは、移動物４００の周辺の領域４０１において縦縞の間隔を粗くすることによって、空間解像度は若干低下するものの、連続フレームでの３次元計測が可能となる。また、動きの無い周辺領域については、変更前と同様に高い空間解像度を維持することができる。
【００６８】
光空間変調素子１０を用いた光パターンの生成では、２次元の画素領域上に原理的には任意の形状の光パターンを形成することができる。従って、従来のように全領域で一様な縦縞パターンだけではなく、１つ或いは複数の部分領域のパターンを周囲のパターンと異なった形態で形成することができ、この部分領域を移動対象物の移動に追尾して移動させることも可能となる。
【００６９】
（２）第２の実施形態
図６は、本発明の第２ないし第５の実施形態に係る視覚情報処理システム１ａないし１ｄにおいて共通して用いられる光空間変調素子とイメージャの関係を示した図である。第１の実施形態における光空間変調素子は、光源からの放射光を空間的に変調する形態として用いている。これに対して、第２ないし第５の実施形態における光空間変調素子は、図６に示したように、撮像対象物からの入射光を空間的に変調する形態である。この場合にも第１の実施形態と同様に、反射型と透過型の２つの形態をとり得る。図６（ａ）は、反射型の光空間変調素子１０ａ、例えば、ＤＭＤを用いた形態である。また、図６（ｂ）は、透過型の光空間変調素子１０ｂ、例えば、透過型液晶ライトバルブを用いた形態である。いずれの形態も、撮像対象物１００からの入射光を光空間変調素子１０ａ、１０ｂで画素毎に変調（空間変調）した後、イメージャ２０に出力する形態である。
【００７０】
以下の説明では、図面上は透過型の光空間変調素子を用いているが、説明の重複を避けるためであり、反射型の光空間変調素子を除外するものではない。
【００７１】
図７は、第２の実施形態に係る視覚情報処理システム１ａの構成例を示した図である。第２の実施形態に係る視覚情報処理システム１ａは、反射対象物１００からの入射光の露光時間を画素毎に制御可能に構成されたものである。
【００７２】
視覚情報処理システム１ａは、光空間変調素子１０と、画像特徴抽出部２ａと、露光時間制御部１５を備えて構成されている。
【００７３】
光空間変調素子１０は露光時間制御部１５からの制御信号に基づいて、画素毎に露光時間を制御し、反射光或いは透過光を画像特徴抽出部２ａのイメージャ２０に出力するものである。反射型の光空間変調素子１０ａ、例えば、ＤＭＤの場合にはオン時間、即ちマイクロミラーの反射面がイメージャ２０の方向に向いている時間を画素毎に制御することにより露光時間を画素毎に制御することができる。また、透過型の光空間変調素子１０ｂの場合には画素に印加する電圧を制御することにより透過量を画素毎に制御することにより等価的に露光時間を画素毎に制御することができる。
【００７４】
画像特徴抽出部２ａは、基本的構成は第１の実施形態に係る画像特徴抽出部２と同様のものである。但し、第２の実施形態では、演算部３０で求める画像特徴量ξとして輝度を含んだものとしている。
【００７５】
図８は、視覚情報処理システム１ａによる露光時間制御の動作概念を示した図である。イメージャ２０単体では、素子精度等の問題から明るさに対するダイナミックレンジに限界があり、輝度が極めて高い対象物と輝度が非常に低い対象物とを同時に鮮明な画像で撮像することは一般に困難である。イメージャ２０の画素毎に感度制御回路等を設ける形態も原理的には可能であるが、感度制御回路等の実装上の制約から画素数の低減や画素面積の低減となり、分解能や感度といった本来のイメージャの性能を犠牲にすることとなる。
【００７６】
これに対して、本実施形態に係る視覚情報処理システム１ａにおいては、光空間変調素子１０によって露光時間を制御し、露光時間が制御された反射光或いは透過光を従来のイメージャ２０へ出力する形態である。イメージャ２０で撮像された画像データの輝度を画素毎に画像特徴量ξとして抽出し、露光時間制御部１５を介して光空間変調素子１０にフィードバックする。イメージャ２０で撮像された画像データの特定領域の輝度が高すぎる場合にはその領域の画素の露光時間を減少させ、逆に他の特定領域の輝度が低すぎる場合にはその領域の画像の露光時間を増加させる。このようにイメージャ２０で観測された画像の輝度を画素単位で適応制御することにより、実質的に極めて広いダイナミックレンジを実現することが可能となる。
【００７７】
また、本実施形態では、イメージャ２０自体は従来の形態のものがそのまま使用できるため、イメージャ２０が本来備える解像度や感度を犠牲にすることもない。
【００７８】
第２の実施形態に係る視覚情報処理システム１ａの変形例として、空間感度の自動補正機能を備えた視覚情報処理システム１ａとすることができる。
【００７９】
一般に、イメージャ２０は画素領域の全範囲において完全に均一な感度を有するとは限らず、空間的に感度に差がある。また、カラー撮像の場合に用いられるＲＧＢやＣＭＹ等のカラーフィルタアレイも同様に空間的な感度（透過率）の不均一性を有している。
【００８０】
本実施形態に係る視覚情報処理システム１ａでは、光空間変調素子１０によって画素毎の露光時間を制御することが可能であるため、イメージャ２０やカラーフィルタアレイの空間的な不均一性を容易に補正することができる。
【００８１】
また、第２の実施形態に係る視覚情報処理システム１ａの他の変形例として、室内での撮像等の場合に生じる、照明光の位置の偏りによる輝度の不均一性を補正する形態とすることもできる。照明光に近い領域から遠い領域に向かって輝度が徐々に下がるような場合、特に２値化画像を生成する際には輝度が均一になるように補正する必要がある。本実施形態に係る視覚情報処理システム１ａでは、イメージャ２０の輝度情報をモニタし、光空間変調素子１０の露光時間を適応制御することにより、照明光の位置によらず画素全体で均一な輝度の画像データを生成することができる。
【００８２】
（３）第３の実施形態
図９は、第３の実施形態に係る視覚情報処理システム１ｂの構成例を示した図である。第３の実施形態に係る視覚情報処理システム１ｂは、イメージャ２０と光空間変調素子１０とを組み合わせることにより、イメージャ２０の解像度の向上させる処理を行なうように構成されたものである。
【００８３】
視覚情報処理システム１ｂは、光空間変調素子１０と、画像特徴抽出部２ｂとを備えて構成されている。
【００８４】
本実施形態に係る光空間変調素子１０は、画像特徴抽出部２ｂの画素切換部１６からの制御信号に基づいて、入射光を反射或いは透過させる画素を所定のグループ内で順次切り替えてイメージャ２０へ出力するものである。
【００８５】
画像特徴抽出部２ｂは、基本的構成は第１の実施形態に係る画像特徴抽出部２と同様のものである。但し、第３の実施形態では、演算部３０で求める画像特徴量ξとして特定の撮像対象物の領域情報を含んだものとしている。
【００８６】
図１０は、視覚情報処理システム１ｂによる高解像度処理の動作概念を示した図である。
【００８７】
第３の実施形態に係る視覚情報処理システム１ｂでは、光空間変調素子１０の解像度の方がイメージャ２０の解像度よりも高く構成されている。図１０の例では、光空間変調素子１０は１６×１６（２５６）画素、イメージャ２０は４×４（１６）画素であり、光空間変調素子１０はイメージャ２０に対して１６倍の解像度を有している。
【００８８】
例えば、照明等の無い暗い場所に設置された対象物を撮像する場合等では、より感度の高いイメージャ２０が求められる。一般にイメージャ２０の感度を向上させるには、画素面積の増大が最も有効であり、高感度イメージャは通常のイメージャに比べて画素面積を大きくとったものが多い。このため、一般に高感度イメージャは所定エリア内の画素数が制約され、解像度は通常のイメージャに比べて低いものが多い。
【００８９】
第３の実施形態に係る視覚情報処理システム１ｂでは、このような高感度かつ低解像度のイメージャであっても、光空間変調素子１０と組み合わせることにより、高解像度を実現するものである。
【００９０】
図１０に例示したイメージャ２０の解像度は、光空間変調素子１０の解像度に比べて１／１６となっている。即ち、光空間変調素子１０の１６画素がイメージャ２０の１画素に対応する例である。
【００９１】
まず、光空間変調素子１０の画素を１６（４×４）素子毎にグループ化する。そして、グループ内の１画素のみを順次オンしていく。図１０の例では、（４×４）素子のグループの左上の画素から順次切り替えて（スキャンして）オンとしていく。他のグループについても同様の切り替えシーケンスで画素をオンにしていく。
【００９２】
このような画素の切り替え方法によって、１画素の切り替え毎に各グループからグループの数に対応した数の画素が出力されることになる。図１０の例では、光空間変調素子１０の１６グループから各１画素がオンとなり、合計１６画素がイメージャ２０に出力される。イメージャ２０ではこの１６画素によってまず低解像度の画像データが１枚生成される。光空間変調素子１０では、グループ内の画素を順次切り替えてオンとし、イメージャ２０では低解像度の画像データを順次生成する。グループ内の全画素の切り替えが終了した時点で、イメージャ２０では１６枚の低解像度画像を生成されることになる。
【００９３】
次にこれらの１６枚の低解像度画像データを合成することにより、１枚の高解像度画像データを生成する。１６枚の各低解像度画像データとグループ内の画素位置とは１対１に対応しているため、１６枚の低解像度画像データの合成により、１枚の高解像度画像データの生成が可能である。本例では、イメージャ２０の解像度の１６倍の高解像度化が可能となる。
【００９４】
図１０の例では、グループ内の１６画素を１画素ずつオンする形態を示している。これに対して、例えば、１６画素のうち、４（２×２）画素ずつオンとする形態でも良い。この場合、イメージャ２０では４枚の低解像度画像データが生成されることになり、これらの４枚を合成することにより、４倍の解像度の画像データを生成することができる。前の例に比べると合成後の画像データの解像度は１／４となっているものの、合成する画像データの枚数も１／４となっており、処理時間は短縮される。
【００９５】
このように、本実施形態に係る視覚情報処理システム１ｂでは、イメージャ２０の解像度の向上が可能であり、また向上させる解像度も上記のように容易に変更することができる。
【００９６】
また、図９に示したように、本実施形態に係る視覚情報処理システム１ｂでは、画像特徴抽出部２ｂにおいて撮像対象物の特定の領域を抽出する形態としている。従って、この特定の領域をフィードバックすることにより、所定の画素領域の範囲についてのみ上述した高解像度処理を行なう形態とすることができる。
【００９７】
例えば、画像特徴抽出部２ｂによって移動物体の領域を画像特徴量ξとして抽出する。そして、この移動物体の領域に対しては高解像度処理を行ない、その他の領域については低解像度のままとする。このような適応的な処理により、注視すべき移動物体に対しては高解像度を実現しつつ、画像全体としては感度の低下や処理時間の増加を抑制した視覚情報処理システム１ｂとすることが可能となる。
【００９８】
（４）第４の実施形態
図１１は、第４の実施形態に係る視覚情報処理システム１ｃの構成例を示す図である。
【００９９】
第４の実施形態に係る視覚情報処理システム１ｃは、イメージャ２０と光空間変調素子１０とを組み合わせることにより、撮像対象物の輝度変動等の周波数成分を画素毎に抽出し画像化したスペクトラム画像を生成することができるように構成されたものである。
【０１００】
視覚情報処理システム１ｃは、光空間変調素子１０と、画像特徴抽出部２ｃとを備えて構成されている。
【０１０１】
本実施形態に係る光空間変調素子１０は、画像特徴抽出部２ｃの画素オン・オフ制御部１７からの制御信号に基づいて画素毎に所定の周期信号によってオン・オフし、入射光を反射或いは透過させてイメージャ２０へ出力するものである。
【０１０２】
画像特徴抽出部２ｃは、基本的構成は第３の実施形態に係る画像特徴抽出部２ｂと同様のものであり、演算部３０で求める画像特徴量ξとして特定の撮像対象物の領域情報を含んだものとしている。
【０１０３】
図１２は、視覚情報処理システム１ｃによるスペクトラム画像生成処理の動作概念を示した図である。
【０１０４】
第４の実施形態では、光空間変調素子１０とイメージャ２０とは基本的には同じ画素数で構成される。
【０１０５】
光空間変調素子１０は複数の画素を有する複数のグループに分割される。図１２の例では、４（２×２）画素毎にグループ化される。
【０１０６】
グループ内の４画素に対して、それぞれ異なる周波数のオン・オフ制御信号を印加する。例えば、画素１ないし画素４に対してそれぞれ周波数１ないし周波数４でオン・オフが切り替わる制御信号を印加する。
【０１０７】
撮像対象物の輝度が所定の周波数で変動している場合、この変動周波数と光空間変調素子１０に印加するオン・オフ制御信号の周波数が一致した場合、イメージャ２０では該当する画素の輝度が保持される。他方、撮像対象物の輝度変動の周波数と光空間変調素子１０に印加するオン・オフ制御信号の周波数が不一致の場合、イメージャ２０では該当する画素の輝度は抑制される。即ち、光空間変調素子１０を相関器として機能させ、イメージャ２０が備える容量成分により積分器が構成されるため、画素毎に撮像対象物の変動周波数を抽出することが可能となる。
【０１０８】
例えば、複雑な背景の中に５０Ｈｚの商用電源で蛍光灯が点灯されている場合、本実施形態に係る視覚情報処理システム１ｃでは、オン・オフ制御周波数の１つを５０Ｈｚと一致させることにより、蛍光灯の部分のみが強調されたスペクトラム画像を生成することができる。
【０１０９】
各グループ内のオン・オフ制御周波数は任意に設定することが可能であり、撮像対象物の物理的条件や測定対象周波数に応じて適宜設定することができる。
【０１１０】
例えば、構造物のクラック等を検出する場合、このクラック等が特定の共振周波数で変動することが予めわかっているときには、オン・オフ制御周波数の１つをこの共振周波数に一致させることによりクラック等の位置に対応したスペクトラム画像を生成することが可能となる。この結果、視認が困難な微細なクラック等に対してもその共振周波数を抽出し画像化することによってクラック等の可視化が可能となる。
【０１１１】
また、逆に、観測対象物の共振周波数が未知の場合であっても、画像中の特定の部位の周波数とその周囲の範囲の周波数が異なる場合には、その特定の部位を抽出した画像（スペクトラム画像）を生成することもできる。
【０１１２】
例えば、プリント配線基板を既知の周波数で振動させ、この振動周波数と異なった周波数成分を有する部分を画像として抽出することにより、実装部品の半田付け不良部位を画像情報として検出することが可能となる。
【０１１３】
また、画像特徴抽出部２ｃから画像特徴量ξとして特定の領域情報や特定の周波数成分をフィードバックすることにより、全画素領域の一部の領域に対して特定の周波数成分を中心としたスペクトラム画像を生成することが可能となる。この形態では、スペクトラム画像を生成しようとする領域やその中心周波数が連続的に変化する場合であっても、適応制御によりその変化に追尾させることが可能となる。
【０１１４】
（５）第５の実施形態
図１３は、第５の実施形態に係る視覚情報処理システム１ｄの構成例を示した図である。第５の実施形態に係る視覚情報処理システム１ｄは、イメージャ２０と光空間変調素子１０とを組み合わせることにより、エッジ強調等の空間フィルタリング処理を簡素な演算処理によって実現可能に構成されたものである。
【０１１５】
視覚情報処理システム１ｄは、光空間変調素子１０と、画像特徴抽出部２ｄとを備えて構成されている。
【０１１６】
本実施形態に係る光空間変調素子１０は、画像特徴抽出部２ｄの空間パターン生成制御部１８からの制御信号に基づいて画素毎にオン・オフし、入射光を反射或いは透過させてイメージャ２０へ出力するものである。
【０１１７】
画像特徴抽出部２ｄは、基本的構成は第３の実施形態に係る画像特徴抽出部２ｂと同様のものであり、演算部３０で求める画像特徴量ξとして特定の撮像対象物の領域情報を含んだものとしている。
【０１１８】
図１４は、視覚情報処理システム１ｄによる空間フィルタリング処理の動作概念を示した図である。
【０１１９】
第５の実施形態では、光空間変調素子１０の画素数はイメージャ２０の画素数よりも多い画素数で構成される。図１４の例では、光空間変調素子１０の画素数はイメージャ２０の画素数の４倍として構成されている。
【０１２０】
光空間変調素子１０は複数の画素を有する複数のグループに分割される。図１４の例では、４（２×２）画素毎にグループ化される。
【０１２１】
グループ内の４画素に対しては、所定の空間パターンに基づいて対応する画素にオン・オフ制御信号を印加する。例えば、図１４に例示したように、空間パターン１では、グループ内の４画素総てをオンとする。空間パターン２では、右半分の２画素をオンとし左半分の２画素はオフとする。逆に、空間パターン３では、左半分の２画素をオンとし右半分の２画素はオフとする。
【０１２２】
本実施形態に係る視覚情報処理システム１ｄでは、光空間変調素子１０を空間パターン１、２および３に設定したときに得られるイメージャ２０の画像データから、減算処理のみよってＸ方向、Ｙ方向のエッジ強調処理をする空間フィルタリング処理を実現することができる。
【０１２３】
具体的には、図１４の式（１）に示したように、空間パターン２のときに得られるイメージャ２０の画像、Ｉ(x,y,t+Δt)から、空間パターン１のときに得られるイメージャ２０の画像のＩ(x,y,t)の１／２を減算することによってＸ方向のエッジが強調された画像データを生成することができる。空間パターン１から得られる画像データと空間パターン２から得られる画像データとは厳密には時刻が異なっているものの、光空間変調素子１０の画素を高速に切り替えることにより、図１４の式（１）右辺の演算式を左辺で近似することができる。
【０１２４】
同様にして、図１４の式（２）に示したように、空間パターン３のときに得られるイメージャ２０の画像、Ｉ(x,y,t+２Δt)から、空間パターン１のときに得られるイメージャ２０の画像のＩ(x,y,t)の１／２を減算することによってＹ方向のエッジが強調された画像データを生成することができる。
【０１２５】
第５の実施形態に係る視覚情報処理システム１ｄによれば、複数の空間パターンを光空間変調素子１０を用いて形成し、各空間パターンに応じて得られるイメージャ２０の画像データに対して、減算等の簡素な演算によって空間フィルタリング処理を行なうことができる。
【０１２６】
また、図１３に示したように、所定の領域を示す画像特徴量ξをフィードバックすることにより、特定の領域に対してのみ空間フィルタリング処理を施すことも可能となる。さらに、複数の異なる領域に対して、それぞれ異なった種類の空間フィルタ処理を施すことも可能となる。
【０１２７】
この他、より広い領域に対してテンプレート画像などマッチングする画像を光空間変調素子１０で空間パターンとして生成することにより、空間的なマッチング処理等も可能となる。また、あらかじめ用意した画像だけではなく、前フレームの画像情報に基づいた変調パターンを用意することで、ブロックマッチング等の処理も可能となる。
【０１２８】
上述した各実施形態に係る視覚情報処理システムおよび視覚情報処理によれば、光空間変調素子とイメージャ（固体撮像素子）とを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することができる。
【０１２９】
特に、イメージャで撮像した画像データから画像特徴量を抽出し、この画像特徴量に基づいたフィードバックループ中に光空間変調素子を設けることにより、対象物の動き、変化に適応した新たな視覚情報処理を実現することができる。
【０１３０】
なお、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【図面の簡単な説明】
【０１３１】
【図１】本発明に係る視覚情報処理システムの第１の実施形態のシステム構成例を示す図。
【図２】本発明に係る視覚情報処理システムの第１の実施形態における３次元画像生成の動作を説明する第１の図。
【図３】本発明に係る視覚情報処理システムの第１の実施形態における３次元画像生成の動作を説明する第２の図。
【図４】本発明に係る視覚情報処理システムの第１の実施形態における３次元画像生成の動作を説明する第３の図。
【図５】本発明に係る視覚情報処理システムの第１の実施形態における３次元画像生成の動作を説明する第４の図。
【図６】本発明に係る視覚情報処理システムの第２ないし第５の実施形態における光空間変調素子とイメージャとの関係を示す図。
【図７】本発明に係る視覚情報処理システムの第２の実施形態のシステム構成例を示す図。
【図８】本発明に係る視覚情報処理システムの第２の実施形態における露光時間制御の動作概念を説明する図。
【図９】本発明に係る視覚情報処理システムの第３の実施形態のシステム構成例を示す図。
【図１０】本発明に係る視覚情報処理システムの第３の実施形態における高解像度処理の動作概念を説明する図。
【図１１】本発明に係る視覚情報処理システムの第４の実施形態のシステム構成例を示す図。
【図１２】本発明に係る視覚情報処理システムの第４の実施形態におけるスペクトラム画像生成処理の動作概念を説明する図。
【図１３】本発明に係る視覚情報処理システムの第５の実施形態のシステム構成例を示す図。
【図１４】本発明に係る視覚情報処理システムの第５の実施形態におけるスペクトラム画像生成処理の動作概念を説明する図。
【図１５】画像特徴量の抽出及びフィードバック処理を行う従来の撮像カメラ装置の構成例を示す図。
【符号の説明】
【０１３２】
１、１ａ、１ｂ、１ｃ、１ｄ 視覚情報処理システム
２、２ａ、２ｂ、２ｃ、２ｄ 画像特徴抽出部
３ 光パターン照射部
１０ 光空間変調素子
１０ａ 光空間変調素子（反射型）
１０ｂ 光空間変調素子（透過型）
１１ 光パターン生成部
１２ 光源
１５ 露光時間制御部
１６ 画素切換部
１７ 画素オン・オフ制御部
１８ 空間パターン生成部
２０ イメージャ
３０ 演算部３０
４０ 座標変換部
５０ 高解像度処理部
６０ スペクトラム画像生成部
７０ 空間フィルタリング処理部
１００ 撮像対象物
ξ 画像特徴量
ρ 座標変換パラメータ
【技術分野】
【０００１】
本発明は視覚情報処理システム及びその視覚情報処理方法に係り、特に、光空間変調素子及び高速撮像素子を用いた視覚情報処理システム及びその視覚情報処理方法に関する。
【背景技術】
【０００２】
今日、ＣＭＯＳ画像センサ等の固体撮像素子を用いた撮像装置やカメラは、民生用、産業用を問わず多種多様な形態でその応用分野を広めつつある。
【０００３】
特に、産業用の撮像装置の分野においては、対象物の物理的変動を画像データから抽出し、抽出した情報を各種制御システムの入力値やフィードバック値として用いるといった応用形態が普及してきている。
【０００４】
例えば、移動物体を撮像することにより、移動物体の重心位置や移動物体の姿勢角といった物理量を抽出し、これらの物理量或いはその変化量に基づいて各種制御、例えばロボットアームの制御等を行うシステムがある。このような制御システムに用いられる撮像装置では、対象物の移動速度等にも依存するが、一般的には民生用の応用に比べるとはるかに高い解像度や高フレームレートをリアルタイムで実現することが必要となってくる。
【０００５】
特許文献１が開示する撮像カメラ装置は、高空間解像度と高速リアルタイム性を両立させる技術を開示している。図１５は、特許文献１が開示する撮像カメラ装置２００の構成を示すものであり、高空間解像度を有するイメージャ（固体撮像素子）２０と、演算部３０と、座標変換部４０とを備えている。
【０００６】
演算部３０には、イメージャ２０の全画像（Ｍ×Ｎ）の中から、座標変換部４０で指定された部分画像（ｍ×ｎ）の画像データ（現在のフレームタイムの画像データ）が切り出されて入力される。演算部３０では、部分画像のデータから画像特徴量ξを抽出する演算を行う。画像特徴量ξとは、例えば、部分画像データに含まれる対象物の大きさ、位置、姿勢角等、或いはこれらの変化量等である。座標変換部４０では、抽出された画像特徴量ξに基づいて、次のフレームタイムに切り出すべき部分画像の座標（ｍ’×ｎ’）を計算する。例えば、対象物が平行移動や回転移動している場合には、前フレームの部分画像の座標（ｍ×ｎ）に対してアフィン変換等によって平行移動や回転移動をさせる座標変換を施し、次フレームの部分画像の座標（ｍ’×ｎ’）を算出する。
【０００７】
算出された次フレームの座標（ｍ’×ｎ’）をイメージャの全画像の中から順次読み出して新たな部分画像（ｍ’×ｎ’）の画像データを演算部３０に入力する。
【０００８】
特許文献１が開示する撮像カメラ装置２００では、演算部３０で算出された画像特徴量ξをフィードバックすることにより、イメージャの全画像データを読み出すのではなく、必要な部分的な画像を読み出すことが可能となり、高空間解像度を維持しつつ高速リアルタイム性を実現することができる。
【０００９】
他方、今日、撮像対象物を２次元画像としてだけでなく３次元画像として撮像する技術も開発されつつある。例えば、非特許文献１には、三角測量原理に基づいた３次元画像の生成方法が開示されている。
【特許文献１】特開２００３−３１９２６２号公報
【非特許文献１】“画像処理・実験の概要”、[online]、[平成１７年４月１日検索]、インターネット＜ＵＲＬ：http://www.image.esys.tsukuba.ac.jp/range_finder/gaiyo.html＞
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところで、近時、光空間変調素子と呼ばれるデバイスが開発、実用化されプロジェクタ装置等に多く用いられるようになってきている。光空間変調素子には、液晶ライトバルブ等の透過型のものと、ＤＭＤ（Digital Micro-mirror Device）と呼ばれる反射型のものがある。
【００１１】
透過型の光空間変調素子を用いたプロジェクタ装置では、画像信号を液晶ライトバルブに印加し、光源からの光を液晶ライトバルブに透過させて前方のスクリーン等に画像を投影する。
【００１２】
一方、反射型の空間変調素子を用いたプロジェクタ装置は、光源からの光をＤＭＤに反射させた後、前方のスクリーン等に画像を投影するものである。ＤＭＤには多数の微小なミラーが画素数に対応する数だけ配置されており、ミラーの角度を画素毎に変えることによりスクリーンに投影する光の量を画素毎にオン・オフさせ２次元画像を形成するものである。ミラーの角度の変化はオン・オフ信号によって２値的に変化するが、パルス幅変調によってオン・オフの周期を設定することにより人間の眼に対しては連続的な光の強度を表現することができる。また、画素毎、フレーム毎にパルス幅変調のデューティ比を変化させることにより、空間的にも時間的にも連続な動画像を形成することができる。
【００１３】
従来、液晶ライトバルブやＤＭＤ等の光空間変調素子は、専らプロジェクタ装置に用いられることが多かった。高輝度化、高速化のシステム技術の進展に伴って、プレゼンテーション用のプロジェクタに留まらず、大型テレビとして、或いは劇場映画用のプロジェクタとして多方面に活用されるようになってきているものの、基本的にはプロジェクタ装置の画像形成素子として用いられている。
【００１４】
本発明に係る視覚情報処理システムは、これらの光空間変調素子を従来の画像形成素子として用いるものではない。
【００１５】
画像形成（撮像）そのものは、ＣＭＯＳ画像センサ等の固体撮像素子で行う。同時に、液晶ライトバルブやＤＭＤ等の光空間変調素子を用いて、固体撮像素子に入射する対象物からの光に対して空間的、時間的な変調を施すものである。
【００１６】
本発明に係る視覚情報処理システムは、光空間変調素子と固体撮像素子とを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することを目的とする。
【００１７】
特に、特許文献１が開示する技術のようにイメージャ（固体撮像素子）で撮像された画像データから画像特徴量を抽出し、この画像特徴量に基づいたフィードバックループ中に光空間変調素子を設けることにより、対象物の動き、変化に適応した新たな視覚情報処理を実現することを目的とする。
【００１８】
具体的には、本発明の目的のひとつは、光空間変調素子とイメージャ（固体撮像素子）とを組み合わせることによって、移動物も含めた撮像対象物の３次元画像を画像特徴量に基づいたフィードバック制御により高速にかつ高効率で生成することができる視覚情報処理システム及びその視覚情報処理方法を提供することにある。
【００１９】
また、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、明暗の差が非常に大きく、かつその差が時間的、空間的に変化する対象物に対しても適正な明度のダイナミックレンジを確保することができる視覚情報処理システム及びその視覚情報処理方法を提供することにある。
【００２０】
また、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、画像全体としては解像度をある程度犠牲にして高感度の画像データを提供しつつも、特定の固定或いは移動対象物については高解像度を実現することができる視覚情報処理システム及びその視覚情報処理方法を提供することにある。
【００２１】
また、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、所定の輝度変動を画素毎に抽出し、輝度変動スペクトラム画像を生成することができる視覚情報処理システム及びその視覚情報処理方法を提供することにある。
【００２２】
さらに、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、画像全体、又は特定の固定若しくは移動対象物に対してエッジ強調等の空間フィルタ処理を施すことができる視覚情報処理システム及びその視覚情報処理方法を提供することにある。
【課題を解決するための手段】
【００２３】
上記課題を解決するため、本発明に係る視覚情報処理システムは、請求項１に記載したように、光源からの放射光を所定の光パターンに基づいて変調する光空間変調素子を有し、前記光パターンに基づいて変調された前記放射光を撮像対象物に照射する光パターン生成部と、前記光パターンが重畳された前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部とを備え、前記光パターンは、三角測量原理に基づいて前記撮像対象物の３次元情報を得ることができる複数の光パターンであると共に、前記画像特徴抽出部で抽出された特徴量に基づいて光パターンの種類及び数の少なくとも一方が適応制御される光パターンであることを特徴とする。本構成による視覚情報処理システムによれば、移動物も含めた撮像対象物の３次元画像を画像特徴量に基づいたフィードバック制御により高速にかつ高効率で生成することができる。
【００２４】
また、本発明に係る視覚情報処理システムは、請求項２に記載したように、所定の画素領域を有し、撮像対象物からの入射光の露光時間を画素毎に制御する光空間変調素子と、画素毎に入射光の露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部とを備え、前記画像特徴抽出部で抽出された特徴量は、前記撮像対象物の画素毎の輝度を含む特徴量であり、前記光空間変調素子は、前記画素毎の輝度に基づいて露光時間を適応制御することを特徴とする。本構成による視覚情報処理システムによれば、明暗の差が非常に大きく、かつその差が時間的、空間的に変化する対象物に対しても適正な明度のダイナミックレンジを確保することができる。
【００２５】
また、本発明に係る視覚情報処理システムは、請求項３に記載したように、指定された領域の画素を複数にグループ化し、前記各グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部とを備え、前記画像特徴抽出部は、前記特徴量に基づいて領域を指定し、その領域において、順次切り換えて前記イメージャに入力される前記複数の画素の信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高めることを特徴とする。本構成による視覚情報処理システムによれば、画像全体としては解像度をある程度犠牲にして高感度の画像データを提供しつつも、特定の固定或いは移動対象物については高解像度を実現することができる。
【００２６】
また、本発明に係る視覚情報処理システムは、請求項４に記載したように、指定された領域の画素を複数にグループ化し、前記各グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度のイメージャで撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部とを備え、前記画像特徴抽出部は、前記特徴量に基づいて領域を指定し、その領域において、前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成することを特徴とする。本構成による視覚情報処理システムによれば、所定の輝度変動を画素毎に抽出し、輝度変動スペクトラム画像を生成することができる。
【００２７】
また、本発明に係る視覚情報処理システムは、請求項５に記載したように、指定された領域の画素を複数にグループ化し、前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部とを備え、前記画像特徴抽出部は、前記特徴量に基づいて領域を指定し、その領域において、前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理対象とする空間フィルタリングを行うことを特徴とする。本構成による視覚情報処理システムによれば、画像全体、又は特定の固定若しくは移動対象物に対してエッジ強調等の空間フィルタ処理を施すことができる。
【００２８】
また、本発明に係る視覚情報処理方法は、請求項８に記載したように、光空間変調素子によって光源からの放射光を所定の光パターンに基づいて変調し、前記光パターンに基づいて変調された前記放射光を撮像対象物に照射するステップと、前記光パターンが重畳された前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出するステップとを備え、前記光パターンは、三角測量原理に基づいて前記撮像対象物の３次元情報を得ることができる複数の光パターンであると共に、前記画像特徴抽出部で抽出された特徴量に基づいて光パターンの種類及び数の少なくとも一方が適応制御される光パターンであることを特徴とする。本方法による視覚情報処理方法によれば、移動物も含めた撮像対象物の３次元画像を画像特徴量に基づいたフィードバック制御により高速にかつ高効率で生成することができる。
【００２９】
また、本発明に係る視覚情報処理方法は、請求項９に記載したように、所定の画素領域を有した光空間変調素子によって、撮像対象物からの入射光の露光時間を画素毎に制御するステップと、画素毎に露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出するステップとを備え、抽出された前記特徴量は、前記撮像対象物の画素毎の輝度を含む特徴量であり、前記画素毎に制御するステップは、前記画素毎の輝度に基づいて露光時間を適応制御することを特徴とする。本方法による視覚情報処理方法によれば、明暗の差が非常に大きく、かつその差が時間的、空間的に変化する対象物に対しても適正な明度のダイナミックレンジを確保することができる。
【００３０】
また、本発明に係る視覚情報処理方法は、請求項１０に記載したように、指定された領域の画素が複数にグループ化された光空間変調素子によって、前記グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出するステップとを備え、前記特徴量を抽出するステップは、前記特徴量に基づいて領域を指定し、その領域において、順次切り換えて前記イメージャに入力される前記複数の画素の信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高める処理を含むことを特徴とする。本方法による視覚情報処理方法によれば、画像全体としては解像度をある程度犠牲にして高感度の画像データを提供しつつも、特定の固定或いは移動対象物については高解像度を実現することができる。
【００３１】
また、本発明に係る視覚情報処理方法は、請求項１１に記載したように、指定された領域の画素が複数にグループ化された光空間変調素子によって、前記グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力するステップと、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度のイメージャで撮像し、前記撮像対象物の特徴量を抽出するステップとを備え、前記特徴量を抽出するステップは、前記特徴量に基づいて領域を指定し、その領域において、前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成する処理を含むことを特徴とする。本方法による視覚情報処理方法によれば、所定の輝度変動を画素毎に抽出し、輝度変動スペクトラム画像を生成することができる。
【００３２】
また、本発明に係る視覚情報処理方法は、請求項１２に記載したように、指定された領域の画素が複数にグループ化された光空間変調素子によって、前記グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出するステップとを備え、前記特徴量を抽出するステップは、前記特徴量に基づいて領域を指定し、その領域において、前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理対象とする空間フィルタリングを行う処理を含むことを特徴とすることを特徴とする。本方法による視覚情報処理方法によれば、画像全体、又は特定の固定若しくは移動対象物に対してエッジ強調等の空間フィルタ処理を施すことができる。
【発明の効果】
【００３３】
本発明に係る視覚情報処理システム及びその視覚情報処理方法によれば、光空間変調素子とイメージャとを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することができ、特に、画像特徴量に基づいたフィードバックループ中に光空間変調素子を設けることにより、対象物の動き、変化に適応した新たな視覚情報処理を実現することが可能となる。
【発明を実施するための最良の形態】
【００３４】
本発明に係る視覚情報処理システムおよび視覚情報処理方法の実施形態について、添付図面を参照して説明する。
【００３５】
（１）第１の実施形態
図１は、本発明の第１の実施形態に係る視覚情報処理システム１のシステム構成例を示す図である。第１の実施形態に係る視覚情報処理システム１は、撮像対象物の３次元画像を高速、かつ、高効率で生成するものである。
【００３６】
視覚情報処理システム１は、画像特徴抽出部２と光パターン照射部３とを備えて構成されている。
【００３７】
このうち、画像特徴抽出部２は、図１５に示した撮像カメラ装置２００と同様の構成を備えるものであり、高空間解像度を有するイメージャ（固体撮像素子）２０と、演算部３０と、座標変換部４０とを備えている。イメージャ２０は、例えば所定の画素数を有するＣＭＯＳ画像センサである。
【００３８】
演算部３０には、イメージャ２０の全画像（Ｍ×Ｎ）の中から内、座標変換部４０で指定された部分画像（ｍ×ｎ）の画像データ（現在のフレームタイムの画像データ）が切り出されて入力される。演算部３０では、部分画像のデータから画像特徴量ξを抽出する演算を行う。画像特徴量ξとは、例えば、部分画像データに含まれる対象物の大きさ、位置、姿勢角等、或いはこれらの変化量等である。座標変換部４０では、抽出された画像特徴量ξに基づいて、次のフレームタイムに切り出すべき部分画像の座標（ｍ’×ｎ’）を計算する。例えば、対象物が平行移動や回転移動している場合には、前フレームの部分画像の座標（ｍ×ｎ）に対してアフィン変換等によって平行移動や回転移動をさせる座標変換を施し、次フレームの部分画像の座標（ｍ’×ｎ’）を算出する。
【００３９】
算出された次フレームの座標（ｍ’×ｎ’）をイメージャの全画像の中から順次読み出して新たな部分画像（ｍ’×ｎ’）の画像データを演算部３０に入力する。
【００４０】
特許文献１が開示する撮像カメラ装置２００では、演算部３０で算出された画像特徴量ξをフィードバックすることにより、イメージャの全画像データを読み出すのではなく、必要な部分的な画像を読み出すことが可能となり、高空間解像度を維持しつつ高速リアルタイム性を実現することができる。
【００４１】
他方、光パターン照射部３は、光空間変調素子１０と、光源１２と、光パターン生成部１１を備えて構成されている。
【００４２】
光パターン生成部１１は、画像特徴抽出部２からフィードバックされる画像特徴量ξにも基づいて、各種の光パターン信号を生成し光空間変調素子１０に出力する。
【００４３】
光空間変調素子１０では、光源１２から放射光を光パターン信号に基づいて変調することにより、各種の光パターンを生成する。光空間変調素子１０は、大別して反射型の光空間変調素子１０ａと透過型の光空間変調素子１０ｂが存在する。反射型の光空間変調素子１０ａとしては、例えば、デジタルマイクロミラーデバイス（以下、ＤＭＤという）がある。また、透過型の光空間変調素子１０ｂとしては、例えば、透過型液晶ライトバルブがある。
【００４４】
反射型、透過型のいずれの形態の光空間変調素子１０も反射面或いは透過面に多数の画素を形成しており、反射光あるいは透過光の強度を画素毎に制御することができる。また、いずれの光空間変調素子１０も画素毎の光の強度制御を時間的にも高速で変化させることが可能である。この意味で、光空間変調素子１０は、時空間変調素子と呼ぶこともできる。
【００４５】
上記のように構成された視覚情報処理システム１の３次元画像の生成動作について説明する。
【００４６】
図２は、視覚情報処理システム１の３次元画像生成の動作概念を説明する第１の図である。まず、光空間変調素子１０によって光源１２の放射光を空間的に変調し、所定の光パターンを生成し、この光パターンを、光学系を介して撮像対象物１００に照射する。
【００４７】
光空間変調素子１０が反射型の場合には、光空間変調素子１０の前方側に光源１２を配置し、透過型の場合には光空間変調素子１０の後方側に光源１２を配置すればよい。
【００４８】
図２に例示した光パターンは、複数の縦縞からなる縦縞パターンが撮像対象物１００に照射されている状態を示している。
【００４９】
イメージャ２０には、光学系を介して、撮像対象物１００からの像が入射されるが、この際撮像対象物１００と光パターンとが重畳した像が入射光として入射されることになる。イメージャ２０で撮像された画像データは画像特徴抽出部２の演算部３０に入力される。
【００５０】
演算部３０では、光パターンが重畳された複数の画像データから３次元画像を生成する。この際、イメージャ２０から取り出される画像データは、イメージャ２０の全画素領域であってもよいし、前述したようにイメージャ２０の部分領域を取り出した画像データであっても良い。部分領域の画像データを取り出す場合には、全画素領域の画像データを取り出す場合に比べてより高速（高フレームレート）の処理が可能となる。
【００５１】
演算部３０では、さらに画像特徴量ξが抽出される。画像特徴量ξは、例えば、撮像対象物の位置（重心位置）、大きさ、姿勢角等である。また、これらの変化量（速度）等である。
【００５２】
この画像特徴量ξをフィードバックし光パターンの種類や数等を適応制御することによって、従来の３次元画像の生成方法に比べて高速でかつ精度の高い３次元画像を生成することができる。
【００５３】
図３は、従来の３次元画像の生成方法について説明した図である。詳細については、例えば非特許文献１等に記載されているため、ここでは概略の説明に留める。
【００５４】
まず、複数、図３の例ではｋ種ｋ枚のそれぞれ異なる光パターン３００を１組として用意し、これらの光パターンを撮像対象物１００に対して順次照射する。イメージャ２０では光パターンと撮像対象物が重畳された画像データがｋ枚取得されることになる。このｋ枚の画像データを処理することにより１枚の３次元画像（図示せず）が得られることになる。
【００５５】
連続的に撮像する場合には、上記の処理を繰り返すことになる。従来の方法では、フレーム毎に同じｋ種ｋ枚の光パターンを撮像対象物に照射するものとしていた。
【００５６】
光パターンの種類や数は、撮像対象物の大きさや解像度（空間解像度）に依存するものである。例えば、図３で示した１組の光パターンは、２つの縦縞をもつ最も粗い間隔（これを最粗間隔という）の縞模様から、最も蜜な間隔（これを最密間隔という）の縞模様まで順次縦縞の間隔が１／２となっていくパターンで構成されている。
【００５７】
この場合、最粗間隔は、撮像対象物の大きさにほぼ一致させる必要がある。一方、最密間隔は空間解像度にほぼ一致する。したがって、同じ大きさの撮像対象物を撮像する場合、高い空間解像度を得ようとすると、最密間隔の小さな光パターンが必要となり、結果的に光パターンの種類、数が増加することになる。また、同じ解像度の場合であっても、撮像対象物が大きいほど、或いは撮像対象範囲が広い程最粗間隔を大きくする必要があるため、この場合にも光パターンの種類、数が増加することになる。
【００５８】
従来の３次元画像の生成方法では、画一的な光パターンを生成する形態であるため、撮像対象物の情報が未知の場合や、撮像対象物が移動する等変化した場合には、最適な光パターンとすることが困難であった。
【００５９】
これに対して、本実施形態に係る視覚情報処理システム１では、図１に示したように画像特徴量ξを抽出可能に構成されているため、この画像特徴量ξをフィードバックすることにより、所定の評価関数を最適とする光パターンをアダプティブに生成する（適応制御）することが可能となる。
【００６０】
図４は、本実施形態に係る視覚情報処理システム１による光パターンの生成概念を模式的に示したものである。例えば、Ｎフレーム目の光パターン３００に基づいてイメージャ２０では複数の画像データ３０１が生成され、これに基づいてＮフレーム目の３次元画像が生成される。
【００６１】
この３次元画像に基づいて、画像特徴抽出部２において画像特徴量ξが抽出される。この画像特徴量ξを用いて評価関数を最適化する光パターンを生成することができる。
【００６２】
例えば、評価関数として処理時間を設定し処理時間を最小とするような場合には、所定の解像度を維持する範囲で光パターンの種類、数が最小となればよい。この際、画像特徴量ξとして、撮像対象物の位置、大きさをフィードバックすることにより、光パターンの最粗間隔を広い範囲から撮像対象物の大きさの範囲にまで縮小することが可能となり、結果的に光パターンの種類、枚数が削減され処理時間が短縮されることになる。
【００６３】
また、従来の３次元画像の生成方法では、光パターンの種類、数が多かったため、撮像対象物が移動した場合にはフレーム内での変化により正確な３次元画像の生成が困難であった。これに対して、本実施形態に係る視覚情報処理システム１では、上述したように光パターンの種類、数が削減され、フレームタイムが短縮化されるため、移動対象物であっても正確な３次元画像の生成、或いは３次元情報の抽出が可能となる。
【００６４】
さらに、本実施形態に係る視覚情報処理システム１では、画像特徴量ξとして撮像対象物の移動の有無、移動速度等を検出することが可能であるため、動的な撮像対象物に対してより柔軟な処理が可能となる。
【００６５】
図５は、動的な撮像対象物に対する処理の一例を示したものである。図５（ａ）は、画像全体に動きがない場合である。この場合には、フレーム時間が多少長くても対象物の動きによる誤差は少ないため、最密間隔を小さくした空間解像度の高い光パターンを用いることができる。
【００６６】
一方、図５（ｂ）は、撮像範囲の一部に移動物４００が出現してきた状況を示している。画像特徴抽出部２では移動物４００の位置、大きさ、速度等を画像特徴量ξとして抽出することができる。これらの画像特徴量ξを光パターン生成部３にフィードバックすることにより、移動物４００の周辺の領域（動きのある領域）４０１のみ異なるパターンの光パターンを生成することができる。例えば、動きのある領域の縦縞の密度をその周辺の領域よりも粗くした光パターンに変更する。
【００６７】
変更前の光パターンでは、縦縞の間隔が移動量に比べて大きすぎるため、連続的に移動物４００の３次元画像を生成することは困難であった。これに対して、変更後の光パターンでは、移動物４００の周辺の領域４０１において縦縞の間隔を粗くすることによって、空間解像度は若干低下するものの、連続フレームでの３次元計測が可能となる。また、動きの無い周辺領域については、変更前と同様に高い空間解像度を維持することができる。
【００６８】
光空間変調素子１０を用いた光パターンの生成では、２次元の画素領域上に原理的には任意の形状の光パターンを形成することができる。従って、従来のように全領域で一様な縦縞パターンだけではなく、１つ或いは複数の部分領域のパターンを周囲のパターンと異なった形態で形成することができ、この部分領域を移動対象物の移動に追尾して移動させることも可能となる。
【００６９】
（２）第２の実施形態
図６は、本発明の第２ないし第５の実施形態に係る視覚情報処理システム１ａないし１ｄにおいて共通して用いられる光空間変調素子とイメージャの関係を示した図である。第１の実施形態における光空間変調素子は、光源からの放射光を空間的に変調する形態として用いている。これに対して、第２ないし第５の実施形態における光空間変調素子は、図６に示したように、撮像対象物からの入射光を空間的に変調する形態である。この場合にも第１の実施形態と同様に、反射型と透過型の２つの形態をとり得る。図６（ａ）は、反射型の光空間変調素子１０ａ、例えば、ＤＭＤを用いた形態である。また、図６（ｂ）は、透過型の光空間変調素子１０ｂ、例えば、透過型液晶ライトバルブを用いた形態である。いずれの形態も、撮像対象物１００からの入射光を光空間変調素子１０ａ、１０ｂで画素毎に変調（空間変調）した後、イメージャ２０に出力する形態である。
【００７０】
以下の説明では、図面上は透過型の光空間変調素子を用いているが、説明の重複を避けるためであり、反射型の光空間変調素子を除外するものではない。
【００７１】
図７は、第２の実施形態に係る視覚情報処理システム１ａの構成例を示した図である。第２の実施形態に係る視覚情報処理システム１ａは、反射対象物１００からの入射光の露光時間を画素毎に制御可能に構成されたものである。
【００７２】
視覚情報処理システム１ａは、光空間変調素子１０と、画像特徴抽出部２ａと、露光時間制御部１５を備えて構成されている。
【００７３】
光空間変調素子１０は露光時間制御部１５からの制御信号に基づいて、画素毎に露光時間を制御し、反射光或いは透過光を画像特徴抽出部２ａのイメージャ２０に出力するものである。反射型の光空間変調素子１０ａ、例えば、ＤＭＤの場合にはオン時間、即ちマイクロミラーの反射面がイメージャ２０の方向に向いている時間を画素毎に制御することにより露光時間を画素毎に制御することができる。また、透過型の光空間変調素子１０ｂの場合には画素に印加する電圧を制御することにより透過量を画素毎に制御することにより等価的に露光時間を画素毎に制御することができる。
【００７４】
画像特徴抽出部２ａは、基本的構成は第１の実施形態に係る画像特徴抽出部２と同様のものである。但し、第２の実施形態では、演算部３０で求める画像特徴量ξとして輝度を含んだものとしている。
【００７５】
図８は、視覚情報処理システム１ａによる露光時間制御の動作概念を示した図である。イメージャ２０単体では、素子精度等の問題から明るさに対するダイナミックレンジに限界があり、輝度が極めて高い対象物と輝度が非常に低い対象物とを同時に鮮明な画像で撮像することは一般に困難である。イメージャ２０の画素毎に感度制御回路等を設ける形態も原理的には可能であるが、感度制御回路等の実装上の制約から画素数の低減や画素面積の低減となり、分解能や感度といった本来のイメージャの性能を犠牲にすることとなる。
【００７６】
これに対して、本実施形態に係る視覚情報処理システム１ａにおいては、光空間変調素子１０によって露光時間を制御し、露光時間が制御された反射光或いは透過光を従来のイメージャ２０へ出力する形態である。イメージャ２０で撮像された画像データの輝度を画素毎に画像特徴量ξとして抽出し、露光時間制御部１５を介して光空間変調素子１０にフィードバックする。イメージャ２０で撮像された画像データの特定領域の輝度が高すぎる場合にはその領域の画素の露光時間を減少させ、逆に他の特定領域の輝度が低すぎる場合にはその領域の画像の露光時間を増加させる。このようにイメージャ２０で観測された画像の輝度を画素単位で適応制御することにより、実質的に極めて広いダイナミックレンジを実現することが可能となる。
【００７７】
また、本実施形態では、イメージャ２０自体は従来の形態のものがそのまま使用できるため、イメージャ２０が本来備える解像度や感度を犠牲にすることもない。
【００７８】
第２の実施形態に係る視覚情報処理システム１ａの変形例として、空間感度の自動補正機能を備えた視覚情報処理システム１ａとすることができる。
【００７９】
一般に、イメージャ２０は画素領域の全範囲において完全に均一な感度を有するとは限らず、空間的に感度に差がある。また、カラー撮像の場合に用いられるＲＧＢやＣＭＹ等のカラーフィルタアレイも同様に空間的な感度（透過率）の不均一性を有している。
【００８０】
本実施形態に係る視覚情報処理システム１ａでは、光空間変調素子１０によって画素毎の露光時間を制御することが可能であるため、イメージャ２０やカラーフィルタアレイの空間的な不均一性を容易に補正することができる。
【００８１】
また、第２の実施形態に係る視覚情報処理システム１ａの他の変形例として、室内での撮像等の場合に生じる、照明光の位置の偏りによる輝度の不均一性を補正する形態とすることもできる。照明光に近い領域から遠い領域に向かって輝度が徐々に下がるような場合、特に２値化画像を生成する際には輝度が均一になるように補正する必要がある。本実施形態に係る視覚情報処理システム１ａでは、イメージャ２０の輝度情報をモニタし、光空間変調素子１０の露光時間を適応制御することにより、照明光の位置によらず画素全体で均一な輝度の画像データを生成することができる。
【００８２】
（３）第３の実施形態
図９は、第３の実施形態に係る視覚情報処理システム１ｂの構成例を示した図である。第３の実施形態に係る視覚情報処理システム１ｂは、イメージャ２０と光空間変調素子１０とを組み合わせることにより、イメージャ２０の解像度の向上させる処理を行なうように構成されたものである。
【００８３】
視覚情報処理システム１ｂは、光空間変調素子１０と、画像特徴抽出部２ｂとを備えて構成されている。
【００８４】
本実施形態に係る光空間変調素子１０は、画像特徴抽出部２ｂの画素切換部１６からの制御信号に基づいて、入射光を反射或いは透過させる画素を所定のグループ内で順次切り替えてイメージャ２０へ出力するものである。
【００８５】
画像特徴抽出部２ｂは、基本的構成は第１の実施形態に係る画像特徴抽出部２と同様のものである。但し、第３の実施形態では、演算部３０で求める画像特徴量ξとして特定の撮像対象物の領域情報を含んだものとしている。
【００８６】
図１０は、視覚情報処理システム１ｂによる高解像度処理の動作概念を示した図である。
【００８７】
第３の実施形態に係る視覚情報処理システム１ｂでは、光空間変調素子１０の解像度の方がイメージャ２０の解像度よりも高く構成されている。図１０の例では、光空間変調素子１０は１６×１６（２５６）画素、イメージャ２０は４×４（１６）画素であり、光空間変調素子１０はイメージャ２０に対して１６倍の解像度を有している。
【００８８】
例えば、照明等の無い暗い場所に設置された対象物を撮像する場合等では、より感度の高いイメージャ２０が求められる。一般にイメージャ２０の感度を向上させるには、画素面積の増大が最も有効であり、高感度イメージャは通常のイメージャに比べて画素面積を大きくとったものが多い。このため、一般に高感度イメージャは所定エリア内の画素数が制約され、解像度は通常のイメージャに比べて低いものが多い。
【００８９】
第３の実施形態に係る視覚情報処理システム１ｂでは、このような高感度かつ低解像度のイメージャであっても、光空間変調素子１０と組み合わせることにより、高解像度を実現するものである。
【００９０】
図１０に例示したイメージャ２０の解像度は、光空間変調素子１０の解像度に比べて１／１６となっている。即ち、光空間変調素子１０の１６画素がイメージャ２０の１画素に対応する例である。
【００９１】
まず、光空間変調素子１０の画素を１６（４×４）素子毎にグループ化する。そして、グループ内の１画素のみを順次オンしていく。図１０の例では、（４×４）素子のグループの左上の画素から順次切り替えて（スキャンして）オンとしていく。他のグループについても同様の切り替えシーケンスで画素をオンにしていく。
【００９２】
このような画素の切り替え方法によって、１画素の切り替え毎に各グループからグループの数に対応した数の画素が出力されることになる。図１０の例では、光空間変調素子１０の１６グループから各１画素がオンとなり、合計１６画素がイメージャ２０に出力される。イメージャ２０ではこの１６画素によってまず低解像度の画像データが１枚生成される。光空間変調素子１０では、グループ内の画素を順次切り替えてオンとし、イメージャ２０では低解像度の画像データを順次生成する。グループ内の全画素の切り替えが終了した時点で、イメージャ２０では１６枚の低解像度画像を生成されることになる。
【００９３】
次にこれらの１６枚の低解像度画像データを合成することにより、１枚の高解像度画像データを生成する。１６枚の各低解像度画像データとグループ内の画素位置とは１対１に対応しているため、１６枚の低解像度画像データの合成により、１枚の高解像度画像データの生成が可能である。本例では、イメージャ２０の解像度の１６倍の高解像度化が可能となる。
【００９４】
図１０の例では、グループ内の１６画素を１画素ずつオンする形態を示している。これに対して、例えば、１６画素のうち、４（２×２）画素ずつオンとする形態でも良い。この場合、イメージャ２０では４枚の低解像度画像データが生成されることになり、これらの４枚を合成することにより、４倍の解像度の画像データを生成することができる。前の例に比べると合成後の画像データの解像度は１／４となっているものの、合成する画像データの枚数も１／４となっており、処理時間は短縮される。
【００９５】
このように、本実施形態に係る視覚情報処理システム１ｂでは、イメージャ２０の解像度の向上が可能であり、また向上させる解像度も上記のように容易に変更することができる。
【００９６】
また、図９に示したように、本実施形態に係る視覚情報処理システム１ｂでは、画像特徴抽出部２ｂにおいて撮像対象物の特定の領域を抽出する形態としている。従って、この特定の領域をフィードバックすることにより、所定の画素領域の範囲についてのみ上述した高解像度処理を行なう形態とすることができる。
【００９７】
例えば、画像特徴抽出部２ｂによって移動物体の領域を画像特徴量ξとして抽出する。そして、この移動物体の領域に対しては高解像度処理を行ない、その他の領域については低解像度のままとする。このような適応的な処理により、注視すべき移動物体に対しては高解像度を実現しつつ、画像全体としては感度の低下や処理時間の増加を抑制した視覚情報処理システム１ｂとすることが可能となる。
【００９８】
（４）第４の実施形態
図１１は、第４の実施形態に係る視覚情報処理システム１ｃの構成例を示す図である。
【００９９】
第４の実施形態に係る視覚情報処理システム１ｃは、イメージャ２０と光空間変調素子１０とを組み合わせることにより、撮像対象物の輝度変動等の周波数成分を画素毎に抽出し画像化したスペクトラム画像を生成することができるように構成されたものである。
【０１００】
視覚情報処理システム１ｃは、光空間変調素子１０と、画像特徴抽出部２ｃとを備えて構成されている。
【０１０１】
本実施形態に係る光空間変調素子１０は、画像特徴抽出部２ｃの画素オン・オフ制御部１７からの制御信号に基づいて画素毎に所定の周期信号によってオン・オフし、入射光を反射或いは透過させてイメージャ２０へ出力するものである。
【０１０２】
画像特徴抽出部２ｃは、基本的構成は第３の実施形態に係る画像特徴抽出部２ｂと同様のものであり、演算部３０で求める画像特徴量ξとして特定の撮像対象物の領域情報を含んだものとしている。
【０１０３】
図１２は、視覚情報処理システム１ｃによるスペクトラム画像生成処理の動作概念を示した図である。
【０１０４】
第４の実施形態では、光空間変調素子１０とイメージャ２０とは基本的には同じ画素数で構成される。
【０１０５】
光空間変調素子１０は複数の画素を有する複数のグループに分割される。図１２の例では、４（２×２）画素毎にグループ化される。
【０１０６】
グループ内の４画素に対して、それぞれ異なる周波数のオン・オフ制御信号を印加する。例えば、画素１ないし画素４に対してそれぞれ周波数１ないし周波数４でオン・オフが切り替わる制御信号を印加する。
【０１０７】
撮像対象物の輝度が所定の周波数で変動している場合、この変動周波数と光空間変調素子１０に印加するオン・オフ制御信号の周波数が一致した場合、イメージャ２０では該当する画素の輝度が保持される。他方、撮像対象物の輝度変動の周波数と光空間変調素子１０に印加するオン・オフ制御信号の周波数が不一致の場合、イメージャ２０では該当する画素の輝度は抑制される。即ち、光空間変調素子１０を相関器として機能させ、イメージャ２０が備える容量成分により積分器が構成されるため、画素毎に撮像対象物の変動周波数を抽出することが可能となる。
【０１０８】
例えば、複雑な背景の中に５０Ｈｚの商用電源で蛍光灯が点灯されている場合、本実施形態に係る視覚情報処理システム１ｃでは、オン・オフ制御周波数の１つを５０Ｈｚと一致させることにより、蛍光灯の部分のみが強調されたスペクトラム画像を生成することができる。
【０１０９】
各グループ内のオン・オフ制御周波数は任意に設定することが可能であり、撮像対象物の物理的条件や測定対象周波数に応じて適宜設定することができる。
【０１１０】
例えば、構造物のクラック等を検出する場合、このクラック等が特定の共振周波数で変動することが予めわかっているときには、オン・オフ制御周波数の１つをこの共振周波数に一致させることによりクラック等の位置に対応したスペクトラム画像を生成することが可能となる。この結果、視認が困難な微細なクラック等に対してもその共振周波数を抽出し画像化することによってクラック等の可視化が可能となる。
【０１１１】
また、逆に、観測対象物の共振周波数が未知の場合であっても、画像中の特定の部位の周波数とその周囲の範囲の周波数が異なる場合には、その特定の部位を抽出した画像（スペクトラム画像）を生成することもできる。
【０１１２】
例えば、プリント配線基板を既知の周波数で振動させ、この振動周波数と異なった周波数成分を有する部分を画像として抽出することにより、実装部品の半田付け不良部位を画像情報として検出することが可能となる。
【０１１３】
また、画像特徴抽出部２ｃから画像特徴量ξとして特定の領域情報や特定の周波数成分をフィードバックすることにより、全画素領域の一部の領域に対して特定の周波数成分を中心としたスペクトラム画像を生成することが可能となる。この形態では、スペクトラム画像を生成しようとする領域やその中心周波数が連続的に変化する場合であっても、適応制御によりその変化に追尾させることが可能となる。
【０１１４】
（５）第５の実施形態
図１３は、第５の実施形態に係る視覚情報処理システム１ｄの構成例を示した図である。第５の実施形態に係る視覚情報処理システム１ｄは、イメージャ２０と光空間変調素子１０とを組み合わせることにより、エッジ強調等の空間フィルタリング処理を簡素な演算処理によって実現可能に構成されたものである。
【０１１５】
視覚情報処理システム１ｄは、光空間変調素子１０と、画像特徴抽出部２ｄとを備えて構成されている。
【０１１６】
本実施形態に係る光空間変調素子１０は、画像特徴抽出部２ｄの空間パターン生成制御部１８からの制御信号に基づいて画素毎にオン・オフし、入射光を反射或いは透過させてイメージャ２０へ出力するものである。
【０１１７】
画像特徴抽出部２ｄは、基本的構成は第３の実施形態に係る画像特徴抽出部２ｂと同様のものであり、演算部３０で求める画像特徴量ξとして特定の撮像対象物の領域情報を含んだものとしている。
【０１１８】
図１４は、視覚情報処理システム１ｄによる空間フィルタリング処理の動作概念を示した図である。
【０１１９】
第５の実施形態では、光空間変調素子１０の画素数はイメージャ２０の画素数よりも多い画素数で構成される。図１４の例では、光空間変調素子１０の画素数はイメージャ２０の画素数の４倍として構成されている。
【０１２０】
光空間変調素子１０は複数の画素を有する複数のグループに分割される。図１４の例では、４（２×２）画素毎にグループ化される。
【０１２１】
グループ内の４画素に対しては、所定の空間パターンに基づいて対応する画素にオン・オフ制御信号を印加する。例えば、図１４に例示したように、空間パターン１では、グループ内の４画素総てをオンとする。空間パターン２では、右半分の２画素をオンとし左半分の２画素はオフとする。逆に、空間パターン３では、左半分の２画素をオンとし右半分の２画素はオフとする。
【０１２２】
本実施形態に係る視覚情報処理システム１ｄでは、光空間変調素子１０を空間パターン１、２および３に設定したときに得られるイメージャ２０の画像データから、減算処理のみよってＸ方向、Ｙ方向のエッジ強調処理をする空間フィルタリング処理を実現することができる。
【０１２３】
具体的には、図１４の式（１）に示したように、空間パターン２のときに得られるイメージャ２０の画像、Ｉ(x,y,t+Δt)から、空間パターン１のときに得られるイメージャ２０の画像のＩ(x,y,t)の１／２を減算することによってＸ方向のエッジが強調された画像データを生成することができる。空間パターン１から得られる画像データと空間パターン２から得られる画像データとは厳密には時刻が異なっているものの、光空間変調素子１０の画素を高速に切り替えることにより、図１４の式（１）右辺の演算式を左辺で近似することができる。
【０１２４】
同様にして、図１４の式（２）に示したように、空間パターン３のときに得られるイメージャ２０の画像、Ｉ(x,y,t+２Δt)から、空間パターン１のときに得られるイメージャ２０の画像のＩ(x,y,t)の１／２を減算することによってＹ方向のエッジが強調された画像データを生成することができる。
【０１２５】
第５の実施形態に係る視覚情報処理システム１ｄによれば、複数の空間パターンを光空間変調素子１０を用いて形成し、各空間パターンに応じて得られるイメージャ２０の画像データに対して、減算等の簡素な演算によって空間フィルタリング処理を行なうことができる。
【０１２６】
また、図１３に示したように、所定の領域を示す画像特徴量ξをフィードバックすることにより、特定の領域に対してのみ空間フィルタリング処理を施すことも可能となる。さらに、複数の異なる領域に対して、それぞれ異なった種類の空間フィルタ処理を施すことも可能となる。
【０１２７】
この他、より広い領域に対してテンプレート画像などマッチングする画像を光空間変調素子１０で空間パターンとして生成することにより、空間的なマッチング処理等も可能となる。また、あらかじめ用意した画像だけではなく、前フレームの画像情報に基づいた変調パターンを用意することで、ブロックマッチング等の処理も可能となる。
【０１２８】
上述した各実施形態に係る視覚情報処理システムおよび視覚情報処理によれば、光空間変調素子とイメージャ（固体撮像素子）とを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することができる。
【０１２９】
特に、イメージャで撮像した画像データから画像特徴量を抽出し、この画像特徴量に基づいたフィードバックループ中に光空間変調素子を設けることにより、対象物の動き、変化に適応した新たな視覚情報処理を実現することができる。
【０１３０】
なお、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【図面の簡単な説明】
【０１３１】
【図１】本発明に係る視覚情報処理システムの第１の実施形態のシステム構成例を示す図。
【図２】本発明に係る視覚情報処理システムの第１の実施形態における３次元画像生成の動作を説明する第１の図。
【図３】本発明に係る視覚情報処理システムの第１の実施形態における３次元画像生成の動作を説明する第２の図。
【図４】本発明に係る視覚情報処理システムの第１の実施形態における３次元画像生成の動作を説明する第３の図。
【図５】本発明に係る視覚情報処理システムの第１の実施形態における３次元画像生成の動作を説明する第４の図。
【図６】本発明に係る視覚情報処理システムの第２ないし第５の実施形態における光空間変調素子とイメージャとの関係を示す図。
【図７】本発明に係る視覚情報処理システムの第２の実施形態のシステム構成例を示す図。
【図８】本発明に係る視覚情報処理システムの第２の実施形態における露光時間制御の動作概念を説明する図。
【図９】本発明に係る視覚情報処理システムの第３の実施形態のシステム構成例を示す図。
【図１０】本発明に係る視覚情報処理システムの第３の実施形態における高解像度処理の動作概念を説明する図。
【図１１】本発明に係る視覚情報処理システムの第４の実施形態のシステム構成例を示す図。
【図１２】本発明に係る視覚情報処理システムの第４の実施形態におけるスペクトラム画像生成処理の動作概念を説明する図。
【図１３】本発明に係る視覚情報処理システムの第５の実施形態のシステム構成例を示す図。
【図１４】本発明に係る視覚情報処理システムの第５の実施形態におけるスペクトラム画像生成処理の動作概念を説明する図。
【図１５】画像特徴量の抽出及びフィードバック処理を行う従来の撮像カメラ装置の構成例を示す図。
【符号の説明】
【０１３２】
１、１ａ、１ｂ、１ｃ、１ｄ 視覚情報処理システム
２、２ａ、２ｂ、２ｃ、２ｄ 画像特徴抽出部
３ 光パターン照射部
１０ 光空間変調素子
１０ａ 光空間変調素子（反射型）
１０ｂ 光空間変調素子（透過型）
１１ 光パターン生成部
１２ 光源
１５ 露光時間制御部
１６ 画素切換部
１７ 画素オン・オフ制御部
１８ 空間パターン生成部
２０ イメージャ
３０ 演算部３０
４０ 座標変換部
５０ 高解像度処理部
６０ スペクトラム画像生成部
７０ 空間フィルタリング処理部
１００ 撮像対象物
ξ 画像特徴量
ρ 座標変換パラメータ
【特許請求の範囲】
【請求項１】
光源からの放射光を所定の光パターンに基づいて変調する光空間変調素子を有し、前記光パターンに基づいて変調された前記放射光を撮像対象物に照射する光パターン生成部と、
前記光パターンが重畳された前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部と、
を備え、
前記光パターンは、三角測量原理に基づいて前記撮像対象物の３次元情報を得ることができる複数の光パターンであると共に、前記画像特徴抽出部で抽出された特徴量に基づいて光パターンの種類及び数の少なくとも一方が適応制御される光パターンである、ことを特徴とする視覚情報処理システム。
【請求項２】
所定の画素領域を有し、撮像対象物からの入射光の露光時間を画素毎に制御する光空間変調素子と、
画素毎に入射光の露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部と、
を備え、
前記画像特徴抽出部で抽出された特徴量は、前記撮像対象物の画素毎の輝度を含む特徴量であり、前記光空間変調素子は、前記画素毎の輝度に基づいて露光時間を適応制御することを特徴とする視覚情報処理システム。
【請求項３】
指定された領域の画素を複数にグループ化し、前記各グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部と、
を備え、
前記画像特徴抽出部は、前記特徴量に基づいて領域を指定し、その領域において、順次切り換えて前記イメージャに入力される前記複数の画素の信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高めることを特徴とする視覚情報処理システム。
【請求項４】
指定された領域の画素を複数にグループ化し、前記各グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度のイメージャで撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部と、
を備え、
前記画像特徴抽出部は、前記特徴量に基づいて領域を指定し、その領域において、前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成することを特徴とする視覚情報処理システム。
【請求項５】
指定された領域の画素を複数にグループ化し、前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部と、
を備え、
前記画像特徴抽出部は、前記特徴量に基づいて領域を指定し、その領域において、前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理対象とする空間フィルタリングを行うことを特徴とする視覚情報処理システム。
【請求項６】
前記画像特徴抽出部は、
所定サイズの画素領域を有し、画素位置情報に応じて前記画素領域の部分領域の画像データをフレーム毎に出力するイメージャ部と、
前記部分領域の画像データを入力し、入力した前記画像データと予め算出されている座標変換パラメータとに基づいて画像特徴量を算出すると共に、算出された前記画像特徴量と前記座標変換パラメータとに基づいて次フレーム用の座標変換パラメータを生成する演算部と、
前記部分領域の画素位置を前記次フレーム用の座標変換パラメータに基づいて座標変換し、次フレームの部分領域の画素位置情報を生成する座標変換部と、
を備えて構成されたことを特徴とする請求項１ないし５のいずれかに記載の視覚情報処理システム。
【請求項７】
前記光空間変調素子は、デジタルマイクロミラーデバイス（ＤＭＤ）或いは液晶ライトバルブであることを特徴とする請求項１ないし５のいずれかに記載の視覚情報処理システム。
【請求項８】
光空間変調素子によって光源からの放射光を所定の光パターンに基づいて変調し、前記光パターンに基づいて変調された前記放射光を撮像対象物に照射するステップと、
前記光パターンが重畳された前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出するステップと、
を備え、
前記光パターンは、三角測量原理に基づいて前記撮像対象物の３次元情報を得ることができる複数の光パターンであると共に、前記画像特徴抽出部で抽出された特徴量に基づいて光パターンの種類及び数の少なくとも一方が適応制御される光パターンである、ことを特徴とする視覚情報処理方法。
【請求項９】
所定の画素領域を有した光空間変調素子によって、撮像対象物からの入射光の露光時間を画素毎に制御するステップと、
画素毎に露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出するステップと、
を備え、
抽出された前記特徴量は、前記撮像対象物の画素毎の輝度を含む特徴量であり、前記画素毎に制御するステップは、前記画素毎の輝度に基づいて露光時間を適応制御することを特徴とする視覚情報処理方法。
【請求項１０】
指定された領域の画素が複数にグループ化された光空間変調素子によって、前記グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出するステップと、
を備え、
前記特徴量を抽出するステップは、前記特徴量に基づいて領域を指定し、その領域において、順次切り換えて前記イメージャに入力される前記複数の画素の信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高める処理を含むことを特徴とする視覚情報処理方法。
【請求項１１】
指定された領域の画素が複数にグループ化された光空間変調素子によって、前記グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力するステップと、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度のイメージャで撮像し、前記撮像対象物の特徴量を抽出するステップと、
を備え、
前記特徴量を抽出するステップは、前記特徴量に基づいて領域を指定し、その領域において、前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成する処理を含むことを特徴とする視覚情報処理方法。
【請求項１２】
指定された領域の画素が複数にグループ化された光空間変調素子によって、前記グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出するステップと、
を備え、
前記特徴量を抽出するステップは、前記特徴量に基づいて領域を指定し、その領域において、前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理対象とする空間フィルタリングを行う処理を含むことを特徴とすることを特徴とする視覚情報処理システム。
【請求項１３】
前記特徴量を抽出するステップは、
所定サイズの画素領域を有するイメージャから、画素位置情報に応じて前記画素領域の部分領域の画像データをフレーム毎に出力するステップと、
前記部分領域の画像データを入力し、入力した前記画像データと予め算出されている座標変換パラメータとに基づいて画像特徴量を算出すると共に、算出された前記画像特徴量と前記座標変換パラメータとに基づいて次フレーム用の座標変換パラメータを生成するステップと、
前記部分領域の画素位置を前記次フレーム用の座標変換パラメータに基づいて座標変換し、次フレームの部分領域の画素位置情報を生成するステップと、
を備えたことを特徴とする請求項８ないし１２のいずれかに記載の視覚情報処理方法。
【請求項１４】
前記光空間変調素子は、デジタルマイクロミラーデバイス（ＤＭＤ）或いは液晶ライトバルブであることを特徴とする請求項８ないし１２のいずれかに記載の視覚情報処理方法。
【請求項１】
光源からの放射光を所定の光パターンに基づいて変調する光空間変調素子を有し、前記光パターンに基づいて変調された前記放射光を撮像対象物に照射する光パターン生成部と、
前記光パターンが重畳された前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部と、
を備え、
前記光パターンは、三角測量原理に基づいて前記撮像対象物の３次元情報を得ることができる複数の光パターンであると共に、前記画像特徴抽出部で抽出された特徴量に基づいて光パターンの種類及び数の少なくとも一方が適応制御される光パターンである、ことを特徴とする視覚情報処理システム。
【請求項２】
所定の画素領域を有し、撮像対象物からの入射光の露光時間を画素毎に制御する光空間変調素子と、
画素毎に入射光の露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部と、
を備え、
前記画像特徴抽出部で抽出された特徴量は、前記撮像対象物の画素毎の輝度を含む特徴量であり、前記光空間変調素子は、前記画素毎の輝度に基づいて露光時間を適応制御することを特徴とする視覚情報処理システム。
【請求項３】
指定された領域の画素を複数にグループ化し、前記各グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部と、
を備え、
前記画像特徴抽出部は、前記特徴量に基づいて領域を指定し、その領域において、順次切り換えて前記イメージャに入力される前記複数の画素の信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高めることを特徴とする視覚情報処理システム。
【請求項４】
指定された領域の画素を複数にグループ化し、前記各グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度のイメージャで撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部と、
を備え、
前記画像特徴抽出部は、前記特徴量に基づいて領域を指定し、その領域において、前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成することを特徴とする視覚情報処理システム。
【請求項５】
指定された領域の画素を複数にグループ化し、前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出する画像特徴抽出部と、
を備え、
前記画像特徴抽出部は、前記特徴量に基づいて領域を指定し、その領域において、前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理対象とする空間フィルタリングを行うことを特徴とする視覚情報処理システム。
【請求項６】
前記画像特徴抽出部は、
所定サイズの画素領域を有し、画素位置情報に応じて前記画素領域の部分領域の画像データをフレーム毎に出力するイメージャ部と、
前記部分領域の画像データを入力し、入力した前記画像データと予め算出されている座標変換パラメータとに基づいて画像特徴量を算出すると共に、算出された前記画像特徴量と前記座標変換パラメータとに基づいて次フレーム用の座標変換パラメータを生成する演算部と、
前記部分領域の画素位置を前記次フレーム用の座標変換パラメータに基づいて座標変換し、次フレームの部分領域の画素位置情報を生成する座標変換部と、
を備えて構成されたことを特徴とする請求項１ないし５のいずれかに記載の視覚情報処理システム。
【請求項７】
前記光空間変調素子は、デジタルマイクロミラーデバイス（ＤＭＤ）或いは液晶ライトバルブであることを特徴とする請求項１ないし５のいずれかに記載の視覚情報処理システム。
【請求項８】
光空間変調素子によって光源からの放射光を所定の光パターンに基づいて変調し、前記光パターンに基づいて変調された前記放射光を撮像対象物に照射するステップと、
前記光パターンが重畳された前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出するステップと、
を備え、
前記光パターンは、三角測量原理に基づいて前記撮像対象物の３次元情報を得ることができる複数の光パターンであると共に、前記画像特徴抽出部で抽出された特徴量に基づいて光パターンの種類及び数の少なくとも一方が適応制御される光パターンである、ことを特徴とする視覚情報処理方法。
【請求項９】
所定の画素領域を有した光空間変調素子によって、撮像対象物からの入射光の露光時間を画素毎に制御するステップと、
画素毎に露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物を撮像し、前記撮像対象物の特徴量を抽出するステップと、
を備え、
抽出された前記特徴量は、前記撮像対象物の画素毎の輝度を含む特徴量であり、前記画素毎に制御するステップは、前記画素毎の輝度に基づいて露光時間を適応制御することを特徴とする視覚情報処理方法。
【請求項１０】
指定された領域の画素が複数にグループ化された光空間変調素子によって、前記グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出するステップと、
を備え、
前記特徴量を抽出するステップは、前記特徴量に基づいて領域を指定し、その領域において、順次切り換えて前記イメージャに入力される前記複数の画素の信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高める処理を含むことを特徴とする視覚情報処理方法。
【請求項１１】
指定された領域の画素が複数にグループ化された光空間変調素子によって、前記グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力するステップと、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度のイメージャで撮像し、前記撮像対象物の特徴量を抽出するステップと、
を備え、
前記特徴量を抽出するステップは、前記特徴量に基づいて領域を指定し、その領域において、前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成する処理を含むことを特徴とする視覚情報処理方法。
【請求項１２】
指定された領域の画素が複数にグループ化された光空間変調素子によって、前記グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数を有するイメージャで撮像し、前記撮像対象物の特徴量を抽出するステップと、
を備え、
前記特徴量を抽出するステップは、前記特徴量に基づいて領域を指定し、その領域において、前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理対象とする空間フィルタリングを行う処理を含むことを特徴とすることを特徴とする視覚情報処理システム。
【請求項１３】
前記特徴量を抽出するステップは、
所定サイズの画素領域を有するイメージャから、画素位置情報に応じて前記画素領域の部分領域の画像データをフレーム毎に出力するステップと、
前記部分領域の画像データを入力し、入力した前記画像データと予め算出されている座標変換パラメータとに基づいて画像特徴量を算出すると共に、算出された前記画像特徴量と前記座標変換パラメータとに基づいて次フレーム用の座標変換パラメータを生成するステップと、
前記部分領域の画素位置を前記次フレーム用の座標変換パラメータに基づいて座標変換し、次フレームの部分領域の画素位置情報を生成するステップと、
を備えたことを特徴とする請求項８ないし１２のいずれかに記載の視覚情報処理方法。
【請求項１４】
前記光空間変調素子は、デジタルマイクロミラーデバイス（ＤＭＤ）或いは液晶ライトバルブであることを特徴とする請求項８ないし１２のいずれかに記載の視覚情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００６−２９２３８５（Ｐ２００６−２９２３８５Ａ）
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願番号】特願２００５−１０９２００（Ｐ２００５−１０９２００）
【出願日】平成１７年４月５日（２００５．４．５）
【出願人】（５０４１３６５６８）国立大学法人広島大学 (924)
【出願人】（３９０００５１６４）株式会社フォトロン (18)
【Ｆターム（参考）】
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願日】平成１７年４月５日（２００５．４．５）
【出願人】（５０４１３６５６８）国立大学法人広島大学 (924)
【出願人】（３９０００５１６４）株式会社フォトロン (18)
【Ｆターム（参考）】
[ Back to top ]