視覚情報処理装置及びその視覚情報処理方法
【課題】光空間変調素子とイメージャとを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現する。
【解決手段】本発明に係る視覚情報処理装置は、撮像対象物からの入射光を画素毎に変調すると共に、前記入射光を反射或いは透過させて出力する光空間変調素子と、光空間変調素子から出力された前記撮像対象物からの入射光を撮像し、画像データを生成するイメージャと、イメージャで生成された画像データを画像処理する画像データ処理部とを備える。
【解決手段】本発明に係る視覚情報処理装置は、撮像対象物からの入射光を画素毎に変調すると共に、前記入射光を反射或いは透過させて出力する光空間変調素子と、光空間変調素子から出力された前記撮像対象物からの入射光を撮像し、画像データを生成するイメージャと、イメージャで生成された画像データを画像処理する画像データ処理部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視覚情報処理装置及びその視覚情報処理方法に係り、特に、光空間変調素子及び高速撮像素子を用いた視覚情報処理装置及びその視覚情報処理方法に関する。
【背景技術】
【０００２】
今日、ＣＭＯＳ画像センサ等のイメージャ（固体撮像素子）を用いた撮像装置やカメラは、民生用、産業用を問わず多種多様な形態でその応用分野を広めつつある。
【０００３】
特に、産業用の撮像装置の分野においては、例えば毎秒１０００フレームの超高速性と高解像度とを同時に達成できる撮像装置も実現されてきており、各種の画像解析や制御システムのセンサとして用いられている。
【０００４】
他方、近時、光空間変調素子と呼ばれるデバイスが開発、実用化されプロジェクタ装置等に多く用いられるようになってきている（例えば、特許文献１）。光空間変調素子には、液晶ライトバルブ等の透過型のものと、ＤＭＤ（Digital Micro-mirror Device）と呼ばれる反射型のものがある。
【０００５】
透過型の光空間変調素子を用いたプロジェクタ装置では、画像信号を液晶ライトバルブに印加し、光源からの光を液晶ライトバルブに透過させて前方のスクリーン等に画像を投影する。
【０００６】
これに対して、反射型の空間変調素子を用いたプロジェクタ装置は、光源からの光をＤＭＤに反射させた後、前方のスクリーン等に画像を投影するものである。ＤＭＤには多数の微小なミラーが画素数に対応する数だけ配置されており、ミラーの角度を画素毎に変えることによりスクリーンに投影する光の量を画素毎にオン・オフさせ２次元画像を形成するものである。ミラーの角度の変化はオン・オフ信号によって２値的に変化するが、パルス幅変調によってオン・オフの周期を設定することにより人間の眼に対しては連続的な光の強度を表現することができる。また、画素毎、フレーム毎にパルス幅変調のデューティ比を変化させることにより、空間的にも時間的にも連続な動画像を形成することができる。
【特許文献１】特開２００３−１１４４７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来、液晶ライトバルブやＤＭＤ等の光空間変調素子は、専らプロジェクタ装置に用いられることが多かった。高輝度化、高速化のシステム技術の進展に伴って、プレゼンテーション用のプロジェクタに留まらず、大型テレビとして、或いは劇場映画用のプロジェクタとして多方面に活用されるようになってきているものの、基本的にはプロジェクタ装置の画像形成素子として用いられている。
【０００８】
本発明に係る視覚情報処理装置は、これらの光空間変調素子を従来の画像形成素子として用いるものではない。
【０００９】
画像形成（撮像）そのものは、ＣＭＯＳ画像センサ等のイメージャ（固体撮像素子）で行なう。同時に、液晶ライトバルブやＤＭＤ等の光空間変調素子を用いて、イメージャに入射する対象物からの光に対して空間的、時間的な変調を施すものである。
【００１０】
本発明に係る視覚情報処理装置は、光空間変調素子とイメージャとを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することを目的とする。
【００１１】
具体的には、本発明のひとつの目的は、光空間変調素子とイメージャとを組み合わせることによって、特定の固定或いは移動対象物については高解像度を実現することができる視覚情報処理装置及びその視覚情報処理方法を提供することにある。
【００１２】
また、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、所定の輝度変動を画素毎に抽出し、輝度変動スペクトラム画像を生成することができる視覚情報処理装置及びその視覚情報処理方法を提供することにある。
【００１３】
さらに、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、画像全体、又は特定の固定若しくは移動対象物に対してエッジ強調等の空間フィルタ処理を施すことができる視覚情報処理装置及びその視覚情報処理方法を提供することにある。
【００１４】
また、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、明暗の差が非常に大きな対象物に対しても適正な明度のダイナミックレンジを確保することができる視覚情報処理装置及びその視覚情報処理方法を提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決するため、本発明に係る視覚情報処理装置は、請求項１に記載したように、撮像対象物からの入射光を画素毎に変調すると共に、前記入射光を反射或いは透過させて出力する光空間変調素子と、前記前記光空間変調素子から出力された前記撮像対象物からの入射光を撮像し、画像データを生成するイメージャと、前記イメージャで生成された画像データを画像処理する画像データ処理部とを備えたことを特徴とする。本視覚情報処理装置によれば、従来のイメージャ単体では得られなかった新たな画像処理を実現できる。
【００１６】
また、本発明に係る視覚情報処理装置は、請求項２に記載したように、全画素領域が複数にグループ化され、前記各グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度で撮像するイメージャと、順次切り換えて前記イメージャに入力される前記複数の画素信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高める高解像度処理部とを備えたことを特徴とする。本視覚情報処理装置によれば、高感度の画像データを提供しつつも、特定の固定或いは移動対象物については高解像度を実現することができる。
【００１７】
また、本発明に係る視覚情報処理装置は、請求項３に記載したように、全画素領域が複数にグループ化され、前記各記グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度で撮像し画像データを生成するイメージャと、前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成するスペクトラム画像生成部とを備えたことを特徴とする。本視覚情報処理装置によれば、所定の輝度変動を画素毎に抽出し、輝度変動スペクトラム画像を生成することができる。
【００１８】
また、本発明に係る視覚情報処理装置は、請求項４に記載したように、全画素領域が複数にグループ化され、前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数で撮像し画像データを生成するイメージャと、前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理単位とする空間フィルタリングを行なう空間フィルタ部とを備えたことを特徴とする。本視覚情報処理装置によれば、画像全体、又は特定の固定若しくは移動対象物に対してエッジ強調等の空間フィルタ処理を施すことができる。
【００１９】
また、本発明に係る視覚情報処理装置は、請求項５に記載したように、所定の画素領域を有し、撮像対象物からの入射光の露光時間を画素毎に制御する光空間変調素子と、画素毎に露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物を撮像し画像データを生成するイメージャと、前記イメージャで生成された画像データの画素毎の輝度情報に基づいて、前記露光時間を画素毎に制御する制御信号を生成する制御部とを備えたことを特徴とする。本視覚情報処理装置によれば、明暗の差が非常に大きな対象物に対しても適正な明度のダイナミックレンジを確保することができる。
【００２０】
また、本発明に係る視覚情報処理方法は、請求項７に記載したように、撮像対象物からの入射光を光空間変調素子によって画素毎に変調すると共に、前記入射光を反射或いは透過させて出力するステップと、前記前記光空間変調素子から出力された前記撮像対象物からの入射光をイメージャで撮像し、画像データを生成するステップと、前記イメージャで生成された画像データを画像処理するステップとを備えたことを特徴とする。本視覚情報処理方法によれば、従来のイメージャ単体では得られなかった新たな画像処理を実現することができる。
【００２１】
また、本発明に係る視覚情報処理方法は、請求項８に記載したように、全画素領域が複数にグループ化された光空間変調素子によって、前記各グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度のイメージャで撮像するステップと、順次切り換えて前記イメージャに入力される前記複数の画素信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高めるステップとを備えたことを特徴とする。本視覚情報処理方法によれば、高感度の画像データを提供しつつも、特定の固定或いは移動対象物については高解像度を実現することができる。
【００２２】
また、本発明に係る視覚情報処理方法は、請求項９に記載したように、全画素領域が複数にグループ化された光空間変調素子によって、前記各記グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力するステップと、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度のイメージャで撮像し画像データを生成するステップと、前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成するステップとを備えたことを特徴とする。本視覚情報処理方法によれば、所定の輝度変動を画素毎に抽出し、輝度変動スペクトラム画像を生成することができる。
【００２３】
また、本発明に係る視覚情報処理方法は、請求項１０に記載したように、全画素領域が複数にグループ化された光空間変調素子によって、前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数のイメージャで撮像し画像データを生成するステップと、前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理単位とする空間フィルタリングを行なうステップとを備えたことを特徴とする。本視覚情報処理方法によれば、画像全体、又は特定の固定若しくは移動対象物に対してエッジ強調等の空間フィルタ処理を施すことができる。
【００２４】
また、本発明に係る視覚情報処理方法は、請求項１１に記載したように、所定の画素領域を有した光空間変調素子によって、撮像対象物からの入射光の露光時間を画素毎に制御するステップと、画素毎に露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物をイメージャで撮像し画像データを生成するステップと、前記イメージャで生成された画像データの画素毎の輝度情報に基づいて、前記露光時間を画素毎に制御する制御信号を生成するステップとを備えたことを特徴とする。本視覚情報処理方法によれば、明暗の差が非常に大きな対象物に対しても適正な明度のダイナミックレンジを確保することができる。
【発明の効果】
【００２５】
本発明に係る視覚情報処理装置及びその視覚情報処理方法によれば、光空間変調素子とイメージャとを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することができる。
【発明を実施するための最良の形態】
【００２６】
本発明に係る視覚情報処理装置及びその視覚情報処理方法の実施形態について、添付図面を参照して説明する。
【００２７】
図１は、本発明の実施形態に係る視覚情報処理装置において共通して用いられる光空間変調素子とイメージャの関係を示した図である。本発明の実施形態において、光空間変調素子１０は、図１に示したように、撮像対象物１００からの入射光を空間的に変調する形態として用いる。この場合、光空間変調素子１０としては反射型と透過型の２つの形態をとり得る。図１（ａ）は、反射型の光空間変調素子１０ａ、例えば、ＤＭＤを用いた形態である。また、図１（ｂ）は、透過型の光空間変調素子１０ｂ、例えば、透過型液晶ライトバルブを用いた形態である。いずれの形態も、撮像対象物１００からの入射光を光空間変調素子１０ａ、１０ｂで画素毎に変調（空間変調）した後、イメージャ２０に出力する形態である。
【００２８】
以下の説明では、図面上は透過型の光空間変調素子を用いているが、説明の重複を避けるためであり、反射型の光空間変調素子を除外するものではない。
【００２９】
（１）第１の実施形態
図２は、第１の実施形態に係る視覚情報処理装置１の構成例を示した図である。
【００３０】
第１の実施形態に係る視覚情報処理装置１は、イメージャ２０と光空間変調素子１０とを組み合わせることにより、イメージャ２０の解像度の向上させる処理を行なうように構成されたものである。
【００３１】
視覚情報処理装置１は、光空間変調素子１０と、画像特徴抽出部２ｂと、高解像度処理部３０（画像データ処理部）とを備えて構成されている。
【００３２】
本実施形態に係る光空間変調素子１０は、高解像度処理部３０からの制御信号に基づいて、入射光を反射或いは透過させる画素を所定のグループ内で順次切り替えてイメージャ２０へ出力するものである。
【００３３】
図３は、視覚情報処理装置１による高解像度処理の動作概念を示した図である。
【００３４】
第１の実施形態に係る視覚情報処理装置１では、光空間変調素子１０の解像度の方がイメージャ２０の解像度よりも高く構成されている。図３の例では、光空間変調素子１０は１６×１６（２５６）画素、イメージャ２０は４×４（１６）画素であり、光空間変調素子１０はイメージャ２０に対して１６倍の解像度を有している。
【００３５】
光源等の無い暗い場所にある対象物を撮像する場合等では、より感度の高いイメージャ２０が求められる。一般にイメージャ２０の感度を向上させるには、画素面積の増大が最も有効であり、高感度イメージャは通常のイメージャに比べて画素面積を大きくとったものが多い。このため、一般に高感度イメージャは所定エリア内の画素数が制約され、解像度は通常のイメージャに比べて低いものが多い。
【００３６】
第１の実施形態に係る視覚情報処理装置１では、このような高感度かつ低解像度のイメージャであっても、光空間変調素子１０と組み合わせることにより、高解像度を実現するものである。
【００３７】
図３に例示したイメージャ２０の解像度は、光空間変調素子１０の解像度に比べて１／１６となっている。即ち、光空間変調素子１０の１６画素がイメージャ２０の１画素に対応する例である。
【００３８】
まず、光空間変調素子１０の画素を１６（４×４）素子毎にグループ化する。そして、グループ内の１画素のみを順次オンしていく。図１０の例では、（４×４）素子のグループ内の左上の画素から順次切り替えて（スキャンして）オンとしていく。他のグループについても同様の切り替えシーケンスで画素をオンにしていく。
【００３９】
このような画素に切り替え方法によって、１画素の切り替え毎に各グループからグループの数に対応した数の画素が出力されることになる。図３の例では、光空間変調素子１０の１６グループから各１画素がオンとなり、合計１６画素がイメージャ２０に出力される。イメージャ２０ではこの１６画素によってまず低解像度の画像データが１枚生成される。光空間変調素子１０では、グループ内の画素が順次切り替えられてオンとされていき、イメージャ２０では低解像度の画像データを順次生成する。グループ内の全画素の切り替えが終了した時点で、イメージャ２０では１６枚の低解像度画像を生成されることになる。
【００４０】
次にこれらの１６枚の低解像度画像データを合成することにより、１枚の高解像度画像データを生成する。１６枚の各低解像度画像データとグループ内の画素位置とは１対１に対応しているため、１６枚の低解像度画像データの合成により、１枚の高解像度画像データの生成が可能である。本例では、イメージャ２０の解像度の１６倍の高解像度化が可能となる。
【００４１】
図３の例では、グループ内の１６画素を１画素ずつオンする形態を示している。これに対して、例えば、１６画素のうち、４（２×２）画素ずつオンとする形態でも良い。この場合、イメージャ２０では４枚の低解像度画像データが生成されることになり、これらの４枚を合成することにより、４倍の解像度の画像データを生成することができる。前の例に比べると合成後の画像データの解像度は１／４となっているものの、合成する画像データの枚数も１／４となっており、処理時間は短縮される。
【００４２】
このように、本実施形態に係る視覚情報処理装置１では、イメージャ２０の解像度の向上が可能であり、また向上させる解像度も上記のように容易に変更することができる。
【００４３】
（２）第２の実施形態
図４は、第２の実施形態に係る視覚情報処理装置１ａの構成例を示す図である。
【００４４】
第２の実施形態に係る視覚情報処理装置１ａは、イメージャ２０と光空間変調素子１０とを組み合わせることにより、撮像対象物の輝度変動等の周波数成分を画素毎に抽出し画像化したスペクトラム画像を生成することができるように構成されたものである。
【００４５】
視覚情報処理装置１ａは、光空間変調素子１０と、イメージャ２０と、スペクトラム画像生成部４０（画像データ処理部）とを備えて構成されている。
【００４６】
本実施形態に係る光空間変調素子１０は、スペクトラム画像生成部４０からの制御信号に基づいて画素毎に所定の周期信号によってオン・オフし、撮像対象物１００からの入射光を反射或いは透過させてイメージャ２０へ出力するものである。
【００４７】
図５は、視覚情報処理装置１ａによるスペクトラム画像生成処理の動作概念を示した図である。
【００４８】
第２の実施形態では、光空間変調素子１０とイメージャ２０とは基本的には同じ画素数で構成される。
【００４９】
光空間変調素子１０は複数の画素を有する複数のグループに分割される。図５の例では、４（２×２）画素毎にグループ化される。
【００５０】
グループ内の４画素に対して、それぞれ異なる周波数のオン・オフ制御信号を印加する。例えば、画素１ないし画素４に対してそれぞれ周波数１ないし周波数４でオン・オフが切り替わる制御信号を印加する。
【００５１】
撮像対象物の輝度が所定の周波数で変動している場合、この変動周波数と光空間変調素子１０に印加するオン・オフ制御信号の周波数が一致した場合、イメージャ２０では該当する画素の輝度が保持される。他方、撮像対象物の輝度変動の周波数と光空間変調素子１０に印加するオン・オフ制御信号の周波数が不一致の場合、イメージャ２０では該当する画素の輝度は抑制される。即ち、光空間変調素子１０を相関器として機能させ、イメージャ２０が備える容量成分により積分器が構成されるため、画素毎に撮像対象物の変動周波数を抽出することが可能となる。
【００５２】
例えば、複雑な背景の中に５０Ｈｚの商用電源で蛍光灯が点灯されている場合、本実施形態に係る視覚情報処理装置１ａでは、オン・オフ制御周波数の１つを５０Ｈｚと一致させることにより、蛍光灯の部分のみが強調されたスペクトラム画像を生成することができる。
【００５３】
各グループ内のオン・オフ制御周波数は任意に設定することが可能であり、撮像対象物の物理的条件や測定対象周波数に応じて適宜設定することができる。
【００５４】
例えば、構造物のクラック等を検出する場合、このクラック等が特定の共振周波数で変動することが予めわかっているときには、オン・オフ制御周波数の１つをこの共振周波数に一致させることによりクラック等の位置に対応したスペクトラム画像を生成することが可能となる。この結果、視認が困難な微細なクラック等に対してもその共振周波数を抽出し画像化することによってクラック等の可視化が可能となる。
【００５５】
また、逆に、観測対象物の共振周波数が未知の場合であっても、画像中の特定の部位の周波数とその周囲の範囲の周波数が異なる場合には、その特定の部位を抽出した画像（スペクトラム画像）を生成することもできる。
【００５６】
例えば、プリント配線基板を既知の周波数で振動させ、この振動周波数と異なった周波数成分を有する部分を画像として抽出することにより、実装部品の半田付け不良部位を画像情報として検出することが可能となる。
【００５７】
（３）第３の実施形態
図６は、第３の実施形態に係る視覚情報処理装置１ｂの構成例を示した図である。第３の実施形態に係る視覚情報処理装置１ｂは、イメージャ２０と光空間変調素子１０とを組み合わせることにより、エッジ強調等の空間フィルタリング処理を簡素な演算処理によって実現可能に構成されたものである。
【００５８】
視覚情報処理装置１ｂは、光空間変調素子１０と、イメージャ２０と、空間フィルタリング処理部５０（画像データ処理部）とを備えて構成されている。
【００５９】
本実施形態に係る光空間変調素子１０は、空間フィルタリング処理部５０からの制御信号に基づいて画素毎にオン・オフし、撮像対象物１００からの入射光を反射或いは透過させてイメージャ２０へ出力するものである。
【００６０】
図７は、視覚情報処理装置１ｂによる空間フィルタリング処理の動作概念を示した図である。
【００６１】
第３の実施形態では、光空間変調素子１０の画素数はイメージャ２０の画素数よりも多い画素数で構成される。図７の例では、光空間変調素子１０の画素数はイメージャ２０の画素数の４倍として構成されている。
【００６２】
光空間変調素子１０は複数の画素を有する複数のグループに分割される。図７の例では、４（２×２）画素毎にグループ化される。
【００６３】
グループ内の４画素に対しては、所定の空間パターンに基づいて対応する画素にオン・オフ制御信号を印加する。例えば、図７に例示したように、空間パターン１では、グループ内の４画素総てをオンとする。空間パターン２では、右半分の２画素をオンとし左半分の２画素はオフとする。逆に、空間パターン３では、左半分の２画素をオンとし右半分の２画素はオフとする。
【００６４】
本実施形態に係る視覚情報処理装置１ｂでは、光空間変調素子１０を空間パターン１、２および３に設定したときに得られるイメージャ２０の画像データから、減算処理のみよってＸ方向、Ｙ方向のエッジ強調処理をする空間フィルタリング処理を実現することができる。
【００６５】
具体的には、図７の式（１）に示したように、空間パターン２のときに得られるイメージャ２０の画像、Ｉ(x,y,t+Δt)から、空間パターン１のときに得られるイメージャ２０の画像のＩ(x,y,t)の１／２を減算することによってＸ方向のエッジが強調された画像データを生成することができる。空間パターン１から得られる画像データと空間パターン２から得られる画像データとは厳密には時刻が異なっているものの、光空間変調素子１０の画素を高速に切り替えることにより、図７の式（１）右辺の演算式を左辺で近似することができる。
【００６６】
同様にして、図７の式（２）に示したように、空間パターン３のときに得られるイメージャ２０の画像、Ｉ(x,y,t+２Δt)から、空間パターン１のときに得られるイメージャ２０の画像のＩ(x,y,t)の１／２を減算することによってＹ方向のエッジが強調された画像データを生成することができる。
【００６７】
第３の実施形態に係る視覚情報処理装置１ｂによれば、複数の空間パターンを光空間変調素子１０を用いて形成し、各空間パターンに応じて得られるイメージャ２０の画像データに対して、減算等の簡素な演算によって空間フィルタリング処理を行なうことができる。
【００６８】
この他、より広い領域に対してテンプレート画像などマッチングする画像を光空間変調素子１０で空間パターンとして生成することにより、空間的なマッチング処理等も可能となる。また、あらかじめ用意した画像だけではなく、前フレームの画像情報に基づいた変調パターンを用意することで、ブロックマッチング等の処理も可能となる。
【００６９】
（４）第４の実施形態
図８は、第４の実施形態に係る視覚情報処理装置１ｃの構成例を示した図である。第４の実施形態に係る視覚情報処理装置１ｃは、反射対象物１００からの入射光の露光時間を画素毎に制御可能に構成されたものである。
【００７０】
視覚情報処理装置１ｃは、光空間変調素子１０と、イメージャ２０と、制御部６０（画像データ処理部）とを備えて構成されている。
【００７１】
光空間変調素子１０は制御部６０からの制御信号に基づいて、画素毎に露光時間を制御し、反射光或いは透過光をイメージャ２０に出力するものである。反射型の光空間変調素子１０ａ、例えば、ＤＭＤの場合にはオン時間、即ちマイクロミラーの反射面がイメージャ２０を向いている時間を画素毎に制御することにより露光時間を画素毎に制御することができる。また、透過型の光空間変調素子１０ｂの場合には画素に印加する電圧を制御することにより透過量を画素毎に制御することにより露光時間を等価的に画素毎に制御することができる。
【００７２】
図９は、視覚情報処理装置１ｃによる露光時間制御の動作概念を示した図である。イメージャ２０単体では、素子精度等の問題から明るさに対するダイナミックレンジに限界があり、輝度が極めて高い対象物と輝度が非常に低い対象物とを同時に鮮明な画像で撮像することは一般に困難である。イメージャ２０の画素毎に感度制御回路等を設けてダイナミックレンジを拡大する形態も原理的には可能であるが、感度制御回路等の実装上の制約から画素数の低減や画素面積の低減となり、分解能や感度といった本来のイメージャの性能を犠牲にすることとなる。
【００７３】
これに対して、本実施形態に係る視覚情報処理装置１ｃにおいては、光空間変調素子１０によって露光時間を制御し、露光時間が制御された反射光或いは透過光を従来のイメージャ２０へ出力する形態である。イメージャ２０で撮像された画像データの輝度情報を画素毎に制御部６０で抽出し、光空間変調素子１０にフィードバックする。イメージャ２０で撮像された画像データの特定領域の輝度が高すぎる場合にはその領域の画素の露光時間を減少させ、逆に他の特定領域の輝度が低すぎる場合にはその領域の画像の露光時間を増加させる。このようにイメージャ２０で観測された画像の輝度を画素単位で制御することにより、実質的に極めて広いダイナミックレンジを実現することが可能となる。
【００７４】
また、本実施形態では、イメージャ２０自体は従来の形態のものがそのまま使用できるため、イメージャ２０が本来備える解像度や感度を犠牲にすることもない。
【００７５】
第４の実施形態に係る視覚情報処理装置１ｃの変形例として、空間感度の自動補正機能を備えた視覚情報処理装置１ｃとすることができる。
【００７６】
一般に、イメージャ２０は画素領域の全範囲において完全に均一な感度を有するとは限らず、空間的に感度に差がある。また、カラー撮像の場合に用いられるＲＧＢやＣＭＹ等のカラーフィルタアレイも同様に空間的な感度（透過率）の不均一性を有している。
【００７７】
本実施形態に係る視覚情報処理装置１ｃでは、光空間変調素子１０によって画素毎の露光時間を制御することが可能であるため、イメージャ２０やカラーフィルタアレイの空間的な不均一性を容易に補正することができる。
【００７８】
また、第４の実施形態に係る視覚情報処理装置１ｃの他の変形例として、室内での撮像等の場合に生じる、照明光の位置の偏りによる輝度の不均一性を補正する形態とすることもできる。照明光に近い領域から遠い領域に向かって輝度が徐々に下がるような場合、特に２値化画像を生成する際には輝度が均一になるように補正する必要がある。本実施形態に係る視覚情報処理装置１ｃでは、イメージャ２０の輝度情報をモニタし、光空間変調素子１０の露光時間を制御することにより、照明光の位置に寄らず画素全体で均一な輝度の画像データを生成することができる。
【００７９】
上述した各実施形態に係る視覚情報処理装置および視覚情報処理によれば、光空間変調素子とイメージャ（固体撮像素子）とを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することができる。
【００８０】
なお、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【図面の簡単な説明】
【００８１】
【図１】本発明に係る視覚情報処理装置の第１ないし第４の実施形態における光空間変調素子とイメージャとの関係を示す図。
【図２】本発明に係る視覚情報処理装置の第１の実施形態のシステム構成例を示す図。
【図３】本発明に係る視覚情報処理装置の第１の実施形態における高解像度処理の動作概念を説明する図。
【図４】本発明に係る視覚情報処理装置の第２の実施形態のシステム構成例を示す図。
【図５】本発明に係る視覚情報処理装置の第２の実施形態におけるスペクトラム画像生成処理の動作概念を説明する図。
【図６】本発明に係る視覚情報処理装置の第３の実施形態のシステム構成例を示す図。
【図７】本発明に係る視覚情報処理装置の第３の実施形態における空間フィルタリング処理の動作概念を説明する図。
【図８】本発明に係る視覚情報処理装置の第４の実施形態のシステム構成例を示す図。
【図９】本発明に係る視覚情報処理装置の第４の実施形態における露光時間制御の動作概念を説明する図。
【符号の説明】
【００８２】
１、１ａ、１ｂ、１ｃ 視覚情報処理装置
１０ 光空間変調素子
１０ａ 光空間変調素子（反射型）
１０ｂ 光空間変調素子（透過型）
２０ イメージャ
３０ 高解像度処理部
４０ スペクトラム画像生成部
５０ 空間フィルタリング処理部
６０ 制御部
【技術分野】
【０００１】
本発明は視覚情報処理装置及びその視覚情報処理方法に係り、特に、光空間変調素子及び高速撮像素子を用いた視覚情報処理装置及びその視覚情報処理方法に関する。
【背景技術】
【０００２】
今日、ＣＭＯＳ画像センサ等のイメージャ（固体撮像素子）を用いた撮像装置やカメラは、民生用、産業用を問わず多種多様な形態でその応用分野を広めつつある。
【０００３】
特に、産業用の撮像装置の分野においては、例えば毎秒１０００フレームの超高速性と高解像度とを同時に達成できる撮像装置も実現されてきており、各種の画像解析や制御システムのセンサとして用いられている。
【０００４】
他方、近時、光空間変調素子と呼ばれるデバイスが開発、実用化されプロジェクタ装置等に多く用いられるようになってきている（例えば、特許文献１）。光空間変調素子には、液晶ライトバルブ等の透過型のものと、ＤＭＤ（Digital Micro-mirror Device）と呼ばれる反射型のものがある。
【０００５】
透過型の光空間変調素子を用いたプロジェクタ装置では、画像信号を液晶ライトバルブに印加し、光源からの光を液晶ライトバルブに透過させて前方のスクリーン等に画像を投影する。
【０００６】
これに対して、反射型の空間変調素子を用いたプロジェクタ装置は、光源からの光をＤＭＤに反射させた後、前方のスクリーン等に画像を投影するものである。ＤＭＤには多数の微小なミラーが画素数に対応する数だけ配置されており、ミラーの角度を画素毎に変えることによりスクリーンに投影する光の量を画素毎にオン・オフさせ２次元画像を形成するものである。ミラーの角度の変化はオン・オフ信号によって２値的に変化するが、パルス幅変調によってオン・オフの周期を設定することにより人間の眼に対しては連続的な光の強度を表現することができる。また、画素毎、フレーム毎にパルス幅変調のデューティ比を変化させることにより、空間的にも時間的にも連続な動画像を形成することができる。
【特許文献１】特開２００３−１１４４７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来、液晶ライトバルブやＤＭＤ等の光空間変調素子は、専らプロジェクタ装置に用いられることが多かった。高輝度化、高速化のシステム技術の進展に伴って、プレゼンテーション用のプロジェクタに留まらず、大型テレビとして、或いは劇場映画用のプロジェクタとして多方面に活用されるようになってきているものの、基本的にはプロジェクタ装置の画像形成素子として用いられている。
【０００８】
本発明に係る視覚情報処理装置は、これらの光空間変調素子を従来の画像形成素子として用いるものではない。
【０００９】
画像形成（撮像）そのものは、ＣＭＯＳ画像センサ等のイメージャ（固体撮像素子）で行なう。同時に、液晶ライトバルブやＤＭＤ等の光空間変調素子を用いて、イメージャに入射する対象物からの光に対して空間的、時間的な変調を施すものである。
【００１０】
本発明に係る視覚情報処理装置は、光空間変調素子とイメージャとを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することを目的とする。
【００１１】
具体的には、本発明のひとつの目的は、光空間変調素子とイメージャとを組み合わせることによって、特定の固定或いは移動対象物については高解像度を実現することができる視覚情報処理装置及びその視覚情報処理方法を提供することにある。
【００１２】
また、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、所定の輝度変動を画素毎に抽出し、輝度変動スペクトラム画像を生成することができる視覚情報処理装置及びその視覚情報処理方法を提供することにある。
【００１３】
さらに、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、画像全体、又は特定の固定若しくは移動対象物に対してエッジ強調等の空間フィルタ処理を施すことができる視覚情報処理装置及びその視覚情報処理方法を提供することにある。
【００１４】
また、本発明の他の目的は、光空間変調素子とイメージャとを組み合わせることによって、明暗の差が非常に大きな対象物に対しても適正な明度のダイナミックレンジを確保することができる視覚情報処理装置及びその視覚情報処理方法を提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決するため、本発明に係る視覚情報処理装置は、請求項１に記載したように、撮像対象物からの入射光を画素毎に変調すると共に、前記入射光を反射或いは透過させて出力する光空間変調素子と、前記前記光空間変調素子から出力された前記撮像対象物からの入射光を撮像し、画像データを生成するイメージャと、前記イメージャで生成された画像データを画像処理する画像データ処理部とを備えたことを特徴とする。本視覚情報処理装置によれば、従来のイメージャ単体では得られなかった新たな画像処理を実現できる。
【００１６】
また、本発明に係る視覚情報処理装置は、請求項２に記載したように、全画素領域が複数にグループ化され、前記各グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度で撮像するイメージャと、順次切り換えて前記イメージャに入力される前記複数の画素信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高める高解像度処理部とを備えたことを特徴とする。本視覚情報処理装置によれば、高感度の画像データを提供しつつも、特定の固定或いは移動対象物については高解像度を実現することができる。
【００１７】
また、本発明に係る視覚情報処理装置は、請求項３に記載したように、全画素領域が複数にグループ化され、前記各記グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度で撮像し画像データを生成するイメージャと、前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成するスペクトラム画像生成部とを備えたことを特徴とする。本視覚情報処理装置によれば、所定の輝度変動を画素毎に抽出し、輝度変動スペクトラム画像を生成することができる。
【００１８】
また、本発明に係る視覚情報処理装置は、請求項４に記載したように、全画素領域が複数にグループ化され、前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数で撮像し画像データを生成するイメージャと、前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理単位とする空間フィルタリングを行なう空間フィルタ部とを備えたことを特徴とする。本視覚情報処理装置によれば、画像全体、又は特定の固定若しくは移動対象物に対してエッジ強調等の空間フィルタ処理を施すことができる。
【００１９】
また、本発明に係る視覚情報処理装置は、請求項５に記載したように、所定の画素領域を有し、撮像対象物からの入射光の露光時間を画素毎に制御する光空間変調素子と、画素毎に露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物を撮像し画像データを生成するイメージャと、前記イメージャで生成された画像データの画素毎の輝度情報に基づいて、前記露光時間を画素毎に制御する制御信号を生成する制御部とを備えたことを特徴とする。本視覚情報処理装置によれば、明暗の差が非常に大きな対象物に対しても適正な明度のダイナミックレンジを確保することができる。
【００２０】
また、本発明に係る視覚情報処理方法は、請求項７に記載したように、撮像対象物からの入射光を光空間変調素子によって画素毎に変調すると共に、前記入射光を反射或いは透過させて出力するステップと、前記前記光空間変調素子から出力された前記撮像対象物からの入射光をイメージャで撮像し、画像データを生成するステップと、前記イメージャで生成された画像データを画像処理するステップとを備えたことを特徴とする。本視覚情報処理方法によれば、従来のイメージャ単体では得られなかった新たな画像処理を実現することができる。
【００２１】
また、本発明に係る視覚情報処理方法は、請求項８に記載したように、全画素領域が複数にグループ化された光空間変調素子によって、前記各グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度のイメージャで撮像するステップと、順次切り換えて前記イメージャに入力される前記複数の画素信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高めるステップとを備えたことを特徴とする。本視覚情報処理方法によれば、高感度の画像データを提供しつつも、特定の固定或いは移動対象物については高解像度を実現することができる。
【００２２】
また、本発明に係る視覚情報処理方法は、請求項９に記載したように、全画素領域が複数にグループ化された光空間変調素子によって、前記各記グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力するステップと、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度のイメージャで撮像し画像データを生成するステップと、前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成するステップとを備えたことを特徴とする。本視覚情報処理方法によれば、所定の輝度変動を画素毎に抽出し、輝度変動スペクトラム画像を生成することができる。
【００２３】
また、本発明に係る視覚情報処理方法は、請求項１０に記載したように、全画素領域が複数にグループ化された光空間変調素子によって、前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数のイメージャで撮像し画像データを生成するステップと、前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理単位とする空間フィルタリングを行なうステップとを備えたことを特徴とする。本視覚情報処理方法によれば、画像全体、又は特定の固定若しくは移動対象物に対してエッジ強調等の空間フィルタ処理を施すことができる。
【００２４】
また、本発明に係る視覚情報処理方法は、請求項１１に記載したように、所定の画素領域を有した光空間変調素子によって、撮像対象物からの入射光の露光時間を画素毎に制御するステップと、画素毎に露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物をイメージャで撮像し画像データを生成するステップと、前記イメージャで生成された画像データの画素毎の輝度情報に基づいて、前記露光時間を画素毎に制御する制御信号を生成するステップとを備えたことを特徴とする。本視覚情報処理方法によれば、明暗の差が非常に大きな対象物に対しても適正な明度のダイナミックレンジを確保することができる。
【発明の効果】
【００２５】
本発明に係る視覚情報処理装置及びその視覚情報処理方法によれば、光空間変調素子とイメージャとを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することができる。
【発明を実施するための最良の形態】
【００２６】
本発明に係る視覚情報処理装置及びその視覚情報処理方法の実施形態について、添付図面を参照して説明する。
【００２７】
図１は、本発明の実施形態に係る視覚情報処理装置において共通して用いられる光空間変調素子とイメージャの関係を示した図である。本発明の実施形態において、光空間変調素子１０は、図１に示したように、撮像対象物１００からの入射光を空間的に変調する形態として用いる。この場合、光空間変調素子１０としては反射型と透過型の２つの形態をとり得る。図１（ａ）は、反射型の光空間変調素子１０ａ、例えば、ＤＭＤを用いた形態である。また、図１（ｂ）は、透過型の光空間変調素子１０ｂ、例えば、透過型液晶ライトバルブを用いた形態である。いずれの形態も、撮像対象物１００からの入射光を光空間変調素子１０ａ、１０ｂで画素毎に変調（空間変調）した後、イメージャ２０に出力する形態である。
【００２８】
以下の説明では、図面上は透過型の光空間変調素子を用いているが、説明の重複を避けるためであり、反射型の光空間変調素子を除外するものではない。
【００２９】
（１）第１の実施形態
図２は、第１の実施形態に係る視覚情報処理装置１の構成例を示した図である。
【００３０】
第１の実施形態に係る視覚情報処理装置１は、イメージャ２０と光空間変調素子１０とを組み合わせることにより、イメージャ２０の解像度の向上させる処理を行なうように構成されたものである。
【００３１】
視覚情報処理装置１は、光空間変調素子１０と、画像特徴抽出部２ｂと、高解像度処理部３０（画像データ処理部）とを備えて構成されている。
【００３２】
本実施形態に係る光空間変調素子１０は、高解像度処理部３０からの制御信号に基づいて、入射光を反射或いは透過させる画素を所定のグループ内で順次切り替えてイメージャ２０へ出力するものである。
【００３３】
図３は、視覚情報処理装置１による高解像度処理の動作概念を示した図である。
【００３４】
第１の実施形態に係る視覚情報処理装置１では、光空間変調素子１０の解像度の方がイメージャ２０の解像度よりも高く構成されている。図３の例では、光空間変調素子１０は１６×１６（２５６）画素、イメージャ２０は４×４（１６）画素であり、光空間変調素子１０はイメージャ２０に対して１６倍の解像度を有している。
【００３５】
光源等の無い暗い場所にある対象物を撮像する場合等では、より感度の高いイメージャ２０が求められる。一般にイメージャ２０の感度を向上させるには、画素面積の増大が最も有効であり、高感度イメージャは通常のイメージャに比べて画素面積を大きくとったものが多い。このため、一般に高感度イメージャは所定エリア内の画素数が制約され、解像度は通常のイメージャに比べて低いものが多い。
【００３６】
第１の実施形態に係る視覚情報処理装置１では、このような高感度かつ低解像度のイメージャであっても、光空間変調素子１０と組み合わせることにより、高解像度を実現するものである。
【００３７】
図３に例示したイメージャ２０の解像度は、光空間変調素子１０の解像度に比べて１／１６となっている。即ち、光空間変調素子１０の１６画素がイメージャ２０の１画素に対応する例である。
【００３８】
まず、光空間変調素子１０の画素を１６（４×４）素子毎にグループ化する。そして、グループ内の１画素のみを順次オンしていく。図１０の例では、（４×４）素子のグループ内の左上の画素から順次切り替えて（スキャンして）オンとしていく。他のグループについても同様の切り替えシーケンスで画素をオンにしていく。
【００３９】
このような画素に切り替え方法によって、１画素の切り替え毎に各グループからグループの数に対応した数の画素が出力されることになる。図３の例では、光空間変調素子１０の１６グループから各１画素がオンとなり、合計１６画素がイメージャ２０に出力される。イメージャ２０ではこの１６画素によってまず低解像度の画像データが１枚生成される。光空間変調素子１０では、グループ内の画素が順次切り替えられてオンとされていき、イメージャ２０では低解像度の画像データを順次生成する。グループ内の全画素の切り替えが終了した時点で、イメージャ２０では１６枚の低解像度画像を生成されることになる。
【００４０】
次にこれらの１６枚の低解像度画像データを合成することにより、１枚の高解像度画像データを生成する。１６枚の各低解像度画像データとグループ内の画素位置とは１対１に対応しているため、１６枚の低解像度画像データの合成により、１枚の高解像度画像データの生成が可能である。本例では、イメージャ２０の解像度の１６倍の高解像度化が可能となる。
【００４１】
図３の例では、グループ内の１６画素を１画素ずつオンする形態を示している。これに対して、例えば、１６画素のうち、４（２×２）画素ずつオンとする形態でも良い。この場合、イメージャ２０では４枚の低解像度画像データが生成されることになり、これらの４枚を合成することにより、４倍の解像度の画像データを生成することができる。前の例に比べると合成後の画像データの解像度は１／４となっているものの、合成する画像データの枚数も１／４となっており、処理時間は短縮される。
【００４２】
このように、本実施形態に係る視覚情報処理装置１では、イメージャ２０の解像度の向上が可能であり、また向上させる解像度も上記のように容易に変更することができる。
【００４３】
（２）第２の実施形態
図４は、第２の実施形態に係る視覚情報処理装置１ａの構成例を示す図である。
【００４４】
第２の実施形態に係る視覚情報処理装置１ａは、イメージャ２０と光空間変調素子１０とを組み合わせることにより、撮像対象物の輝度変動等の周波数成分を画素毎に抽出し画像化したスペクトラム画像を生成することができるように構成されたものである。
【００４５】
視覚情報処理装置１ａは、光空間変調素子１０と、イメージャ２０と、スペクトラム画像生成部４０（画像データ処理部）とを備えて構成されている。
【００４６】
本実施形態に係る光空間変調素子１０は、スペクトラム画像生成部４０からの制御信号に基づいて画素毎に所定の周期信号によってオン・オフし、撮像対象物１００からの入射光を反射或いは透過させてイメージャ２０へ出力するものである。
【００４７】
図５は、視覚情報処理装置１ａによるスペクトラム画像生成処理の動作概念を示した図である。
【００４８】
第２の実施形態では、光空間変調素子１０とイメージャ２０とは基本的には同じ画素数で構成される。
【００４９】
光空間変調素子１０は複数の画素を有する複数のグループに分割される。図５の例では、４（２×２）画素毎にグループ化される。
【００５０】
グループ内の４画素に対して、それぞれ異なる周波数のオン・オフ制御信号を印加する。例えば、画素１ないし画素４に対してそれぞれ周波数１ないし周波数４でオン・オフが切り替わる制御信号を印加する。
【００５１】
撮像対象物の輝度が所定の周波数で変動している場合、この変動周波数と光空間変調素子１０に印加するオン・オフ制御信号の周波数が一致した場合、イメージャ２０では該当する画素の輝度が保持される。他方、撮像対象物の輝度変動の周波数と光空間変調素子１０に印加するオン・オフ制御信号の周波数が不一致の場合、イメージャ２０では該当する画素の輝度は抑制される。即ち、光空間変調素子１０を相関器として機能させ、イメージャ２０が備える容量成分により積分器が構成されるため、画素毎に撮像対象物の変動周波数を抽出することが可能となる。
【００５２】
例えば、複雑な背景の中に５０Ｈｚの商用電源で蛍光灯が点灯されている場合、本実施形態に係る視覚情報処理装置１ａでは、オン・オフ制御周波数の１つを５０Ｈｚと一致させることにより、蛍光灯の部分のみが強調されたスペクトラム画像を生成することができる。
【００５３】
各グループ内のオン・オフ制御周波数は任意に設定することが可能であり、撮像対象物の物理的条件や測定対象周波数に応じて適宜設定することができる。
【００５４】
例えば、構造物のクラック等を検出する場合、このクラック等が特定の共振周波数で変動することが予めわかっているときには、オン・オフ制御周波数の１つをこの共振周波数に一致させることによりクラック等の位置に対応したスペクトラム画像を生成することが可能となる。この結果、視認が困難な微細なクラック等に対してもその共振周波数を抽出し画像化することによってクラック等の可視化が可能となる。
【００５５】
また、逆に、観測対象物の共振周波数が未知の場合であっても、画像中の特定の部位の周波数とその周囲の範囲の周波数が異なる場合には、その特定の部位を抽出した画像（スペクトラム画像）を生成することもできる。
【００５６】
例えば、プリント配線基板を既知の周波数で振動させ、この振動周波数と異なった周波数成分を有する部分を画像として抽出することにより、実装部品の半田付け不良部位を画像情報として検出することが可能となる。
【００５７】
（３）第３の実施形態
図６は、第３の実施形態に係る視覚情報処理装置１ｂの構成例を示した図である。第３の実施形態に係る視覚情報処理装置１ｂは、イメージャ２０と光空間変調素子１０とを組み合わせることにより、エッジ強調等の空間フィルタリング処理を簡素な演算処理によって実現可能に構成されたものである。
【００５８】
視覚情報処理装置１ｂは、光空間変調素子１０と、イメージャ２０と、空間フィルタリング処理部５０（画像データ処理部）とを備えて構成されている。
【００５９】
本実施形態に係る光空間変調素子１０は、空間フィルタリング処理部５０からの制御信号に基づいて画素毎にオン・オフし、撮像対象物１００からの入射光を反射或いは透過させてイメージャ２０へ出力するものである。
【００６０】
図７は、視覚情報処理装置１ｂによる空間フィルタリング処理の動作概念を示した図である。
【００６１】
第３の実施形態では、光空間変調素子１０の画素数はイメージャ２０の画素数よりも多い画素数で構成される。図７の例では、光空間変調素子１０の画素数はイメージャ２０の画素数の４倍として構成されている。
【００６２】
光空間変調素子１０は複数の画素を有する複数のグループに分割される。図７の例では、４（２×２）画素毎にグループ化される。
【００６３】
グループ内の４画素に対しては、所定の空間パターンに基づいて対応する画素にオン・オフ制御信号を印加する。例えば、図７に例示したように、空間パターン１では、グループ内の４画素総てをオンとする。空間パターン２では、右半分の２画素をオンとし左半分の２画素はオフとする。逆に、空間パターン３では、左半分の２画素をオンとし右半分の２画素はオフとする。
【００６４】
本実施形態に係る視覚情報処理装置１ｂでは、光空間変調素子１０を空間パターン１、２および３に設定したときに得られるイメージャ２０の画像データから、減算処理のみよってＸ方向、Ｙ方向のエッジ強調処理をする空間フィルタリング処理を実現することができる。
【００６５】
具体的には、図７の式（１）に示したように、空間パターン２のときに得られるイメージャ２０の画像、Ｉ(x,y,t+Δt)から、空間パターン１のときに得られるイメージャ２０の画像のＩ(x,y,t)の１／２を減算することによってＸ方向のエッジが強調された画像データを生成することができる。空間パターン１から得られる画像データと空間パターン２から得られる画像データとは厳密には時刻が異なっているものの、光空間変調素子１０の画素を高速に切り替えることにより、図７の式（１）右辺の演算式を左辺で近似することができる。
【００６６】
同様にして、図７の式（２）に示したように、空間パターン３のときに得られるイメージャ２０の画像、Ｉ(x,y,t+２Δt)から、空間パターン１のときに得られるイメージャ２０の画像のＩ(x,y,t)の１／２を減算することによってＹ方向のエッジが強調された画像データを生成することができる。
【００６７】
第３の実施形態に係る視覚情報処理装置１ｂによれば、複数の空間パターンを光空間変調素子１０を用いて形成し、各空間パターンに応じて得られるイメージャ２０の画像データに対して、減算等の簡素な演算によって空間フィルタリング処理を行なうことができる。
【００６８】
この他、より広い領域に対してテンプレート画像などマッチングする画像を光空間変調素子１０で空間パターンとして生成することにより、空間的なマッチング処理等も可能となる。また、あらかじめ用意した画像だけではなく、前フレームの画像情報に基づいた変調パターンを用意することで、ブロックマッチング等の処理も可能となる。
【００６９】
（４）第４の実施形態
図８は、第４の実施形態に係る視覚情報処理装置１ｃの構成例を示した図である。第４の実施形態に係る視覚情報処理装置１ｃは、反射対象物１００からの入射光の露光時間を画素毎に制御可能に構成されたものである。
【００７０】
視覚情報処理装置１ｃは、光空間変調素子１０と、イメージャ２０と、制御部６０（画像データ処理部）とを備えて構成されている。
【００７１】
光空間変調素子１０は制御部６０からの制御信号に基づいて、画素毎に露光時間を制御し、反射光或いは透過光をイメージャ２０に出力するものである。反射型の光空間変調素子１０ａ、例えば、ＤＭＤの場合にはオン時間、即ちマイクロミラーの反射面がイメージャ２０を向いている時間を画素毎に制御することにより露光時間を画素毎に制御することができる。また、透過型の光空間変調素子１０ｂの場合には画素に印加する電圧を制御することにより透過量を画素毎に制御することにより露光時間を等価的に画素毎に制御することができる。
【００７２】
図９は、視覚情報処理装置１ｃによる露光時間制御の動作概念を示した図である。イメージャ２０単体では、素子精度等の問題から明るさに対するダイナミックレンジに限界があり、輝度が極めて高い対象物と輝度が非常に低い対象物とを同時に鮮明な画像で撮像することは一般に困難である。イメージャ２０の画素毎に感度制御回路等を設けてダイナミックレンジを拡大する形態も原理的には可能であるが、感度制御回路等の実装上の制約から画素数の低減や画素面積の低減となり、分解能や感度といった本来のイメージャの性能を犠牲にすることとなる。
【００７３】
これに対して、本実施形態に係る視覚情報処理装置１ｃにおいては、光空間変調素子１０によって露光時間を制御し、露光時間が制御された反射光或いは透過光を従来のイメージャ２０へ出力する形態である。イメージャ２０で撮像された画像データの輝度情報を画素毎に制御部６０で抽出し、光空間変調素子１０にフィードバックする。イメージャ２０で撮像された画像データの特定領域の輝度が高すぎる場合にはその領域の画素の露光時間を減少させ、逆に他の特定領域の輝度が低すぎる場合にはその領域の画像の露光時間を増加させる。このようにイメージャ２０で観測された画像の輝度を画素単位で制御することにより、実質的に極めて広いダイナミックレンジを実現することが可能となる。
【００７４】
また、本実施形態では、イメージャ２０自体は従来の形態のものがそのまま使用できるため、イメージャ２０が本来備える解像度や感度を犠牲にすることもない。
【００７５】
第４の実施形態に係る視覚情報処理装置１ｃの変形例として、空間感度の自動補正機能を備えた視覚情報処理装置１ｃとすることができる。
【００７６】
一般に、イメージャ２０は画素領域の全範囲において完全に均一な感度を有するとは限らず、空間的に感度に差がある。また、カラー撮像の場合に用いられるＲＧＢやＣＭＹ等のカラーフィルタアレイも同様に空間的な感度（透過率）の不均一性を有している。
【００７７】
本実施形態に係る視覚情報処理装置１ｃでは、光空間変調素子１０によって画素毎の露光時間を制御することが可能であるため、イメージャ２０やカラーフィルタアレイの空間的な不均一性を容易に補正することができる。
【００７８】
また、第４の実施形態に係る視覚情報処理装置１ｃの他の変形例として、室内での撮像等の場合に生じる、照明光の位置の偏りによる輝度の不均一性を補正する形態とすることもできる。照明光に近い領域から遠い領域に向かって輝度が徐々に下がるような場合、特に２値化画像を生成する際には輝度が均一になるように補正する必要がある。本実施形態に係る視覚情報処理装置１ｃでは、イメージャ２０の輝度情報をモニタし、光空間変調素子１０の露光時間を制御することにより、照明光の位置に寄らず画素全体で均一な輝度の画像データを生成することができる。
【００７９】
上述した各実施形態に係る視覚情報処理装置および視覚情報処理によれば、光空間変調素子とイメージャ（固体撮像素子）とを組み合わせることによって、従来では得られることのなかった新たな視覚情報処理を実現することができる。
【００８０】
なお、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【図面の簡単な説明】
【００８１】
【図１】本発明に係る視覚情報処理装置の第１ないし第４の実施形態における光空間変調素子とイメージャとの関係を示す図。
【図２】本発明に係る視覚情報処理装置の第１の実施形態のシステム構成例を示す図。
【図３】本発明に係る視覚情報処理装置の第１の実施形態における高解像度処理の動作概念を説明する図。
【図４】本発明に係る視覚情報処理装置の第２の実施形態のシステム構成例を示す図。
【図５】本発明に係る視覚情報処理装置の第２の実施形態におけるスペクトラム画像生成処理の動作概念を説明する図。
【図６】本発明に係る視覚情報処理装置の第３の実施形態のシステム構成例を示す図。
【図７】本発明に係る視覚情報処理装置の第３の実施形態における空間フィルタリング処理の動作概念を説明する図。
【図８】本発明に係る視覚情報処理装置の第４の実施形態のシステム構成例を示す図。
【図９】本発明に係る視覚情報処理装置の第４の実施形態における露光時間制御の動作概念を説明する図。
【符号の説明】
【００８２】
１、１ａ、１ｂ、１ｃ 視覚情報処理装置
１０ 光空間変調素子
１０ａ 光空間変調素子（反射型）
１０ｂ 光空間変調素子（透過型）
２０ イメージャ
３０ 高解像度処理部
４０ スペクトラム画像生成部
５０ 空間フィルタリング処理部
６０ 制御部
【特許請求の範囲】
【請求項１】
撮像対象物からの入射光を画素毎に変調すると共に、前記入射光を反射或いは透過させて出力する光空間変調素子と、
前記前記光空間変調素子から出力された前記撮像対象物からの入射光を撮像し、画像データを生成するイメージャと、
前記イメージャで生成された画像データを画像処理する画像データ処理部と、
を備えたことを特徴とする視覚情報処理装置。
【請求項２】
全画素領域が複数にグループ化され、前記各グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度で撮像するイメージャと、
順次切り換えて前記イメージャに入力される前記複数の画素信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高める高解像度処理部と、
を備えたことを特徴とする視覚情報処理装置。
【請求項３】
全画素領域が複数にグループ化され、前記各記グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度で撮像し画像データを生成するイメージャと、
前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成するスペクトラム画像生成部と、
を備えたことを特徴とする視覚情報処理装置。
【請求項４】
全画素領域が複数にグループ化され、前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数で撮像し画像データを生成するイメージャと、
前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理単位とする空間フィルタリングを行なう空間フィルタ部と、
を備えたことを特徴とする視覚情報処理装置。
【請求項５】
所定の画素領域を有し、撮像対象物からの入射光の露光時間を画素毎に制御する光空間変調素子と、
画素毎に露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物を撮像し画像データを生成するイメージャと、
前記イメージャで生成された画像データの画素毎の輝度情報に基づいて、前記露光時間を画素毎に制御する制御信号を生成する制御部と、
を備えたことを特徴とする視覚情報処理装置。
【請求項６】
前記光空間変調素子は、デジタルマイクロミラーデバイス（ＤＭＤ）或いは液晶ライトバルブであることを特徴とする請求項１ないし５のいずれかに記載の視覚情報処理装置。
【請求項７】
撮像対象物からの入射光を光空間変調素子によって画素毎に変調すると共に、前記入射光を反射或いは透過させて出力するステップと、
前記前記光空間変調素子から出力された前記撮像対象物からの入射光をイメージャで撮像し、画像データを生成するステップと、
前記イメージャで生成された画像データを画像処理するステップと、
を備えたことを特徴とする視覚情報処理方法。
【請求項８】
全画素領域が複数にグループ化された光空間変調素子によって、前記各グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度のイメージャで撮像するステップと、
順次切り換えて前記イメージャに入力される前記複数の画素信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高めるステップと、
を備えたことを特徴とする視覚情報処理方法。
【請求項９】
全画素領域が複数にグループ化された光空間変調素子によって、前記各記グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力するステップと、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度のイメージャで撮像し画像データを生成するステップと、
前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成するステップと、
を備えたことを特徴とする視覚情報処理方法。
【請求項１０】
全画素領域が複数にグループ化された光空間変調素子によって、前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数のイメージャで撮像し画像データを生成するステップと、
前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理単位とする空間フィルタリングを行なうステップと、
を備えたことを特徴とする視覚情報処理方法。
【請求項１１】
所定の画素領域を有した光空間変調素子によって、撮像対象物からの入射光の露光時間を画素毎に制御するステップと、
画素毎に露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物をイメージャで撮像し画像データを生成するステップと、
前記イメージャで生成された画像データの画素毎の輝度情報に基づいて、前記露光時間を画素毎に制御する制御信号を生成するステップと、
を備えたことを特徴とする視覚情報処理方法。
【請求項１２】
前記光空間変調素子は、デジタルマイクロミラーデバイス（ＤＭＤ）或いは液晶ライトバルブであることを特徴とする請求項７ないし１１のいずれかに記載の視覚情報処理方法。
【請求項１】
撮像対象物からの入射光を画素毎に変調すると共に、前記入射光を反射或いは透過させて出力する光空間変調素子と、
前記前記光空間変調素子から出力された前記撮像対象物からの入射光を撮像し、画像データを生成するイメージャと、
前記イメージャで生成された画像データを画像処理する画像データ処理部と、
を備えたことを特徴とする視覚情報処理装置。
【請求項２】
全画素領域が複数にグループ化され、前記各グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度で撮像するイメージャと、
順次切り換えて前記イメージャに入力される前記複数の画素信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高める高解像度処理部と、
を備えたことを特徴とする視覚情報処理装置。
【請求項３】
全画素領域が複数にグループ化され、前記各記グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度で撮像し画像データを生成するイメージャと、
前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成するスペクトラム画像生成部と、
を備えたことを特徴とする視覚情報処理装置。
【請求項４】
全画素領域が複数にグループ化され、前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力する光空間変調素子と、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数で撮像し画像データを生成するイメージャと、
前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理単位とする空間フィルタリングを行なう空間フィルタ部と、
を備えたことを特徴とする視覚情報処理装置。
【請求項５】
所定の画素領域を有し、撮像対象物からの入射光の露光時間を画素毎に制御する光空間変調素子と、
画素毎に露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物を撮像し画像データを生成するイメージャと、
前記イメージャで生成された画像データの画素毎の輝度情報に基づいて、前記露光時間を画素毎に制御する制御信号を生成する制御部と、
を備えたことを特徴とする視覚情報処理装置。
【請求項６】
前記光空間変調素子は、デジタルマイクロミラーデバイス（ＤＭＤ）或いは液晶ライトバルブであることを特徴とする請求項１ないし５のいずれかに記載の視覚情報処理装置。
【請求項７】
撮像対象物からの入射光を光空間変調素子によって画素毎に変調すると共に、前記入射光を反射或いは透過させて出力するステップと、
前記前記光空間変調素子から出力された前記撮像対象物からの入射光をイメージャで撮像し、画像データを生成するステップと、
前記イメージャで生成された画像データを画像処理するステップと、
を備えたことを特徴とする視覚情報処理方法。
【請求項８】
全画素領域が複数にグループ化された光空間変調素子によって、前記各グループ内の複数の画素信号を順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数の解像度のイメージャで撮像するステップと、
順次切り換えて前記イメージャに入力される前記複数の画素信号を合成し、前記イメージャの解像度を前記光空間変調素子と同じ解像度に高めるステップと、
を備えたことを特徴とする視覚情報処理方法。
【請求項９】
全画素領域が複数にグループ化された光空間変調素子によって、前記各記グループ内の複数の画素信号をそれぞれ異なる周波数でオン・オフして撮像対象物からの入射光を反射或いは透過させて出力するステップと、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記光空間変調素子の解像度と同じ解像度のイメージャで撮像し画像データを生成するステップと、
前記撮像対象物の輝度変動を前記異なる周波数に対応して周波数分解し、前記異なる周波数に対応したスペクトラム画像を生成するステップと、
を備えたことを特徴とする視覚情報処理方法。
【請求項１０】
全画素領域が複数にグループ化された光空間変調素子によって、前記各グループ内の複数の画素信号を所定の複数の空間パターンに基づいて順次切り換えて撮像対象物からの入射光を反射或いは透過させて出力するステップと、
前記光空間変調素子から出力された前記撮像対象物からの入射光を、前記グループ数と同じ画素数のイメージャで撮像し画像データを生成するステップと、
前記複数の空間パターンに基づいて順次イメージャから出力される複数の信号を演算し、前記グループ内の複数の画素を処理単位とする空間フィルタリングを行なうステップと、
を備えたことを特徴とする視覚情報処理方法。
【請求項１１】
所定の画素領域を有した光空間変調素子によって、撮像対象物からの入射光の露光時間を画素毎に制御するステップと、
画素毎に露光時間が制御された前記光空間変調素子からの反射光或いは透過光によって前記撮像対象物をイメージャで撮像し画像データを生成するステップと、
前記イメージャで生成された画像データの画素毎の輝度情報に基づいて、前記露光時間を画素毎に制御する制御信号を生成するステップと、
を備えたことを特徴とする視覚情報処理方法。
【請求項１２】
前記光空間変調素子は、デジタルマイクロミラーデバイス（ＤＭＤ）或いは液晶ライトバルブであることを特徴とする請求項７ないし１１のいずれかに記載の視覚情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−２９５２５３（Ｐ２００６−２９５２５３Ａ）
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願番号】特願２００５−１０９２０１（Ｐ２００５−１０９２０１）
【出願日】平成１７年４月５日（２００５．４．５）
【出願人】（５０４１３６５６８）国立大学法人広島大学 (924)
【出願人】（３９０００５１６４）株式会社フォトロン (18)
【Ｆターム（参考）】
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願日】平成１７年４月５日（２００５．４．５）
【出願人】（５０４１３６５６８）国立大学法人広島大学 (924)
【出願人】（３９０００５１６４）株式会社フォトロン (18)
【Ｆターム（参考）】
[ Back to top ]