画像処理装置及び画像処理方法
【課題】簡易な構成により暗い画像からでもスミアを正確に除去することができる画像処理装置を提供する。
【解決手段】画像処理装置１は、レンズ２を透過した光を第１及び第２の方向に所定の分配比率で分配するＤＭＤ４と、第１及び第２の方向に分配される光を受光する第１及び第２の撮像素子３１及び３２と、第１及び第２の撮像素子３１及び３２の受光した光に基づいて第１及び第２の画像信号を形成する第１及び第２画像信号生成部５及び７と、第２の画像信号に基づいて画像信号を診断する画像信号診断部８と、診断の結果に基づいてＤＭＤ４における分配比率を定めるデバイス制御部６とを備える。
【解決手段】画像処理装置１は、レンズ２を透過した光を第１及び第２の方向に所定の分配比率で分配するＤＭＤ４と、第１及び第２の方向に分配される光を受光する第１及び第２の撮像素子３１及び３２と、第１及び第２の撮像素子３１及び３２の受光した光に基づいて第１及び第２の画像信号を形成する第１及び第２画像信号生成部５及び７と、第２の画像信号に基づいて画像信号を診断する画像信号診断部８と、診断の結果に基づいてＤＭＤ４における分配比率を定めるデバイス制御部６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に、光量の少ない画像における高輝度の領域を、デジタルマイクロミラーデバイスを用いた簡易な構成により正確に検出して除去することができる画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
カメラで撮像した画像から文字や図形の形状や色等の認識（画像認識）を行なう場合、画像の品質劣化は認識率の低下を招く。特に、画像において他の部分と比較して高輝度で局所的に明るい部分（以下、スミア源と言う）に起因して、画像において縦方向に発生する白帯（スミア）は、当該部分の画像が欠落したように認識されるため、画像認識にとっては大きな障害となる。
【０００３】
そこで、例えば下記の特許文献１に記載のように、スミアの影響を低減するために、ＣＣＤ（固体撮像素子）の前に液晶フィルタを設置し、スミア源に当たる部分を暗くフィルタすることにより光量を制御することが知られている。また、下記の特許文献１によれば、２個のＣＣＤとビームスプリッタとを使用し、ビームスプリッタにより分光した光の一方を用いて第１のＣＣＤでスミア源を検出すると共に、他方の光を用いて第２のＣＣＤに対して液晶フィルタを作用させることにより、スミア源の減光を行なうことによりスミアの発生を抑止することが提案されている。
【特許文献１】特開２００２−２０４３９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明者の検討によれば、前述のように、液晶フィルタを用いるスミア除去の場合、以下のような問題がある。
【０００５】
即ち、液晶フィルタで減光した後の画像をＣＣＤに入力する必要があるため、例えばスミア源が移動する場合、液晶フィルタのシャッタ速度が当該移動に追従できず、リアルタイムでフィルタリング処理をすることができない。
【０００６】
また、２個のＣＣＤとビームスプリッタとを用いる場合、ビームスプリッタ（プリズム）とフィルタとが別機構となるので、構造が複雑となり、組立やメンテナンスが煩わしい。また、ビームスプリッタにより光が２等分されてしまう上に、更に液晶フィルタを透過することにより、ＣＣＤに入射する光量が元の画像より極めて少なくなる。この結果、元の画像が暗い画像である場合、スミア源を除去しにくくなる。更に、スミア検出用のＣＣＤの画像とスミア処理済のＣＣＤの画像との間に相関がないので、スミア源の除去処理をフィードバック制御することができない。
【０００７】
本発明は、簡易な構成により暗い画像からでもスミアを正確に除去することができる画像処理装置を提供することを目的とする。
【０００８】
また、本発明は、簡易な構成により暗い画像からでもスミアを正確に除去することができる画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、レンズと、前記レンズを透過した光を第１及び第２の方向に所定の分配比率で分配するデジタルマイクロミラーデバイスと、前記第１及び第２の方向に分配される光を受光する第１及び第２の撮像素子と、前記第１及び第２の撮像素子の受光した光に基づいて、各々、第１及び第２の画像信号を形成する第１及び第２の画像信号生成部と、前記第２の画像信号に基づいて、当該画像信号を診断する画像信号診断部と、前記診断の結果に基づいて、前記デジタルマイクロミラーデバイスにおける前記分配比率を定めるデバイス制御部とを備える。
【００１０】
好ましくは、本発明の一実施態様において、前記画像信号診断部が、前記第２の画像信号に基づいて、画像において他の部分と比較して高輝度で局所的に明るい部分を検出し、前記デバイス制御部が、少なくとも前記高輝度で局所的に明るい部分における前記第１の方向に分配される光の強度を部分的にそれまでよりも小さくし、これ以外の部分における前記第１の方向に分配される光の強度をそのままとする。
【００１１】
好ましくは、本発明の一実施態様において、前記画像信号診断部が、前記高輝度で局所的に明るい部分について、その形状、位置及び最大輝度を検出し、前記デバイス制御部が、前記形状及び位置に基づいて、少なくとも前記高輝度で局所的に明るい部分を含むように、前記第１の方向に分配される光の強度をそれまでよりも小さくするフィルタの形状を決定し、前記最大輝度に基づいて、前記フィルタにおける前記第１の方向に分配される光の強度を決定する。
【００１２】
好ましくは、本発明の一実施態様において、前記画像信号診断部が、前記第１及び第２の画像信号に基づいて、前記診断を行う。
【００１３】
本発明の画像処理方法は、レンズを透過した光をデジタルマイクロミラーデバイスにより第１及び第２の方向に所定の分配比率で分配し、前記第１及び第２の方向に分配される光を第１及び第２の撮像素子により受光し、前記第１及び第２の撮像素子の受光した光に基づいて、各々、第１及び第２の画像信号を形成し、前記第２の画像信号に基づいて、当該画像信号を診断し、前記診断の結果に基づいて、前記デジタルマイクロミラーデバイスにおける前記分配比率を定める。
【発明の効果】
【００１４】
本発明の画像処理装置及び画像処理方法によれば、レンズを透過した光をデジタルマイクロミラーデバイスにより第１及び第２の方向に分配し、第２の方向に分配された光（即ち、第２の画像信号）により構成される画像（第２の画像）を診断してスミア源を検出することができ、これに基づいて、デジタルマイクロミラーデバイスにおける光の分配比率を定めることができる。これにより、液晶フィルタを用いる必要がないので、例えばスミア源が移動する場合でも、リアルタイムにフィルタリング処理をすることができる。また、光軸を精密に調整しなければならないビームスプリッタを用いる必要がないので、構造を簡単にすることができ、組立やメンテナンスを容易にすることができる。更に、ビームスプリッタにより光を２等分する必要がなく、かつ、液晶フィルタを透過させる必要もないので、撮像素子に入射する光量が大きく減衰することを回避することができ、その光量を元の画像に近い量とすることができる。この結果、元の画像が暗い画像であっても、スミア源を除去する処理を容易に行うことができる。従って、簡易な構造により、暗い画像からでもスミアを正確に除去することができる。
【００１５】
また、本発明の一実施態様によれば、画像において他の部分と比較して高輝度で局所的に明るい部分（即ち、スミア源）を検出し、当該スミア源における前記第１の方向に分配される光の強度を部分的にそれまでよりも小さくする。これにより、画像の中のスミア源について部分的にフィルタリングすることができる。この結果、画像の他の部分に影響を与えることなく、スミア源を除去することができる。
【００１６】
また、本発明の一実施態様によれば、スミア源の形状、位置及び最大輝度に基づいて、第１の方向に分配される光の強度をそれまでよりも小さくするフィルタの形状を決定し、フィルタにおける光の強度を決定する。これにより、画像の中のスミア源に応じて、適切な位置及び形状に部分的なフィルタを設けることができる。この結果、画像の他の部分に影響を与えることなく、ほぼスミア源のみを除去することができる。
【００１７】
また、本発明の一実施態様によれば、画像信号診断部が第１及び第２の画像信号に基づいて画像信号の診断を行う。これにより、スミア検出用の第２の画像信号により構成される画像（第２の画像）と、スミア処理済の第１の画像信号により構成される画像（第１の画像）との間に相関を持たせることができるので、スミア源の除去処理をフィードバック制御することができる。
【発明を実施するための最良の形態】
【００１８】
図１（Ａ）は、本発明の画像処理装置の構成の一例を示す構成図であり、図１（Ｂ）は、デジタルマイクロミラーデバイスを概念的に示す説明図である。
【００１９】
この例において、画像処理装置１は、例えばＣＣＤカメラからなる。画像処理装置１は、１個のレンズ２と、撮像用の第１の撮像素子３１と、スミア源の除去用の第２の撮像素子３２と、デジタルマイクロミラーデバイス（以下、ＤＭＤと言う）４と、第１画像信号生成部５と、デバイス制御部６と、第２画像信号生成部７と、画像信号診断部８とを備える。第１及び第２の撮像素子３１及び３２は同一の構造を備え、第１及び第２の画像信号生成部５及び７は同一の構造を備える。
【００２０】
レンズ２は、例えば画像処理装置１の筐体の側面に設けられる。この例では、図１（Ｂ）に示すように、レンズ２を透過した光（入射光）がＤＭＤ４の主表面（ミラーの形成された表面）に対して所定の角度、例えば垂直に入射するように、ＤＭＤ４が配置される。更に、この例では、第１及び第２の撮像素子３１及び３２が、レンズ２を透過した光を対称軸として対称な位置に、ＤＭＤ４の主表面に対して所定の角度θ１をなすように配置される。この時、第１及び第２の方向に対して、各々、第１及び第２の撮像素子３１及び３２の主表面が直交するようにされる。
【００２１】
第１及び第２の撮像素子３１及び３２の位置は、図１（Ｂ）に示す位置に限られず、ＤＭＤ４の第１及び第２の方向に対応するようないずれかの位置に設けられていれば良い。また、ＤＭＤ４の第１及び第２の方向も、図１（Ｂ）に示す方向に限られない。従って、レンズ２と第１及び第２の撮像素子３１及び３２との間に、ＤＭＤ４が設けられていれば良い。
【００２２】
ＤＭＤ４は、図１（Ｂ）に示すように、レンズ２を透過した光を、第１の方向（ＤＭＤ４の正側又はＯＮ側）及び第２の方向（ＤＭＤ４の負側又はＯＦＦ側）に所定の分配比率で分配する。この明細書においては、第１の方向に分配された光（及びその強度）をＩ１とし、第２の方向に分配された光（及びその強度）をＩ２とする。入射光は（Ｉ１＋Ｉ２）と表すことができる。
【００２３】
ＤＭＤ４は、周知のように、光の反射の方向が所定の２方向となるように制御することができ、その方向を高速で交互に切替えることができる。即ち、ＤＭＤ４は、その正側（ＯＮ側）に向く時間の比率と負側（ＯＦＦ側）に向く時間の比率とを制御することにより、第１及び第２の撮像素子３１及び３２に入力される光量を変化させることができる。これにより、ＤＭＤ４のマイクロミラーの向きの時間比率の制御により、光量調節を自由に行うことができ、 暗い画像でもスミア源に対応することができる。
【００２４】
なお、ＤＭＤ４は、例えば特開平１０−０７８５５０号公報、特開２００１−２４２３９５号公報等に記載されている。本発明は、周知のＤＬＰ（Digtal Light Processing 、登録商標）システムにおいて、ＤＭＤ４からの（第１の方向の）光Ｉ１を受光するプロジェクタに変えて、撮像素子３１を設けて、ＤＭＤ４からの光Ｉ１を出力画像信号の形成に用いる。また、本発明は、ＤＬＰシステムにおいて、あまり利用されていなかった（第２の方向の）光Ｉ２を、スミア源の検出に用いる。
【００２５】
デバイス制御部６は、ＤＭＤ４における分配比率を、第１の方向に分配される光の強度Ｉ１が、第２の方向に分配される光の強度Ｉ２より十分に大きくなる比率とする（Ｉ１≫Ｉ２とする）。例えば、第１の方向に分配される光の強度Ｉ１（の初期値）が、レンズ２を透過した光の例えば８０％〜９０％の範囲のいずれかとされ、第２の方向に分配される光の強度Ｉ２（の初期値）が、レンズ２を透過した光の例えば２０％〜１０％の範囲のいずれかとされる。強度Ｉ１及びＩ２は、本発明に従って、スミア源の存在に応じて、部分的に変更される。
【００２６】
なお、実際は、周知のように、ＤＭＤ４における光の分配時に、所定のロスがある。従って、正確には、レンズ２を透過した光の光量から当該ロスを除いた光量が、第１及び第２の方向に分配され、（Ｉ１＋Ｉ２）に相当する。
【００２７】
第１の撮像素子３１は、撮像用であるので、第１の方向（ＤＭＤ４の正側又はＯＮ側）に分配される光Ｉ１を受光し、これを電気信号に変換して出力する。この出力は第１画像信号生成部５に入力される。第１画像信号生成部５は、第１の撮像素子３１の受光した光Ｉ１に基づいて、第１の画像信号を形成する。即ち、第１画像信号生成部５は、第１の撮像素子３１から出力された信号を画像（第１の画像）に変換する。第２画像信号生成部７も同様である。第１の画像信号（第１の画像）が、図１（Ａ）に示すように、当該画像処理装置１の画像信号（出力画像）として出力される。第１の画像は、図示しないが、例えば画像メモリに一旦格納された後に、当該画像メモリから出力される。
【００２８】
第２の撮像素子３２は、スミア源除去用であるので、第２の方向（ＤＭＤ４の負側又はＯＦＦ側）に分配される光Ｉ２を受光し、これを電気信号に変換して出力する。この出力は第２画像信号生成部７に入力される。第２画像信号生成部７は、第２の撮像素子３２の受光した光Ｉ２に基づいて、第２の画像信号（第２の画像）を形成する。第２の画像信号は、図１（Ａ）に示すように、画像信号診断部８に入力される。
【００２９】
第１の画像と第２の画像は、同一の画像である。但し、前述のように、その光量が大きく異なるので、第１の画像は図４（後述する）に示すような明るい画像となり、第２の画像は図５（後述する）に示すような暗い画像となる。元の光量とほぼ同様の光量である第１の画像を本来の撮像用とし、第２の画像をフィルタリング用とするので、本来の画像処理には何ら影響が無い。一方、スミア源は極めて高輝度なので、第２の画像をフィルタリング用としてもスミア源の除去には何ら影響が無い。
【００３０】
このように、撮像用以外にスミア源除去用の撮像素子３２を設けることにより、フィルタリング用の第２の画像を撮像することができる。これにより、本来の撮像用の第１の画像に影響を与えることなく、スミア源が移動する場合における位置を検出し、スミア源を除去することができる。
【００３１】
画像信号診断部８は、撮像された画像から、スミア又はスミア源の有無を検出する。この例では、前述のように、第２の撮像素子３２から出力される第２の画像信号、即ち、第２の画像信号により構成される画像（第２の画像）が、スミア源の検出に用いられる。従って、画像信号診断部８は、第２の画像信号に基づいて、当該画像信号を診断する。即ち、画像信号診断部８が、第２の画像信号に基づいて、第２の画像において他の部分と比較して高輝度で局所的に明るい部分（スミア源）を検出する。スミア源は、例えば点光源や光の反射点であることが多い。
【００３２】
デバイス制御部６は、診断の結果に基づいて、ＤＭＤ４における光の分配比率を定める。即ち、デバイス制御部６が、少なくともスミア源における第１の方向に分配される光の強度Ｉ１を、部分的に、それまでよりも小さくし、これ以外の部分における第１の方向に分配される光の強度Ｉ１をそのままとする。なお、強度Ｉ１の変更に応じて、強度Ｉ２も変更される。
【００３３】
具体的には、画像信号診断部８が、前記高輝度で局所的に明るい部分について、その形状、位置及び最大輝度を検出する。この検出された形状及び位置に基づいて、デバイス制御部６が、少なくともスミア源を含むように、第１の方向に分配される光の強度Ｉ１をそれまでよりも小さくするフィルタの形状を決定する。即ち、フィルタは当該スミア源よりも必ず大きくされる。例えば、スミア源が図２（後述する）に示すような楕円形である場合、フィルタはそれより大きい円形又は四角形（正方形又は長方形）とされる。
【００３４】
また、前記検出された最大輝度に基づいて、デバイス制御部６が、フィルタにおける第１の方向に分配される光の強度Ｉ１を決定する（強度Ｉ２もこれに応じて決定される）。例えば、強度Ｉ１（の初期値）がレンズ２を透過した光の例えば９０％であり、強度Ｉ２（の初期値）が１０％であるとする。この場合において、当該最大輝度が大きい（例えば、第１の閾値より大きく第２の閾値より小さい）場合、強度Ｉ１をそれまでよりも小さい例えば８５％に変更し（減少させ）、強度Ｉ２を１５％に変更する（増加させる）。また、当該最大輝度が極めて大きい（例えば、第２の閾値より大きい）場合、強度Ｉ１を更に小さい例えば８０％に変更し、強度Ｉ２を２０％に変更する。なお、当該最大輝度があまり大きくない（例えば、第１の閾値より小さい）場合、強度Ｉ１をそのまま（９０％）とし、強度Ｉ２もそのまま（１０％）とする。第１及び第２の閾値は経験的に定めることができる。閾値の数は３以上であっても良い。
【００３５】
以上により、デバイス制御部６が、検出したスミア源の位置及び形状に応じて、ＤＭＤ４上の該当する位置、形状の領域（フィルタ領域）に存在するマイクロミラーを、部分的に第１及び第２の方向を向く時間比率を変更するように制御する。フィルタ領域以外の領域におけるマイクロミラーが第１及び第２の方向を向く時間比率はそのままとされる。また、検出したスミア源の位置、形状及び輝度レベル（最大輝度）に応じて、ＤＭＤ４上の該当する位置、形状の領域に存在するマイクロミラーを、当該輝度レベルに応じた時間比率で、第１及び第２の方向（正負の向き）を向くように制御する。
【００３６】
この結果、スミア源に対応する領域に部分的に濃淡を付けフィルタリングすることにより、当該スミア源を除去することができる。また、スミア源が移動したり、その形状が変化したりしても、これをリアルタイムに検出して、これに応じてフィルタの位置及び形状を変化させることができ、スミア源を完全に除去することができる。
【００３７】
この例では、画像信号診断部８が、スミア源が複数ある場合、その各々について、その形状、位置及び最大輝度を検出する。これに基づいて、デバイス制御部６が、スミア源の各々について、フィルタの形状を決定し、フィルタにおける第１の方向に分配される光の強度Ｉ１を決定する。これにより、スミア源が複数存在しても、これらを除去することができる。
【００３８】
例えば、図２に示すように、画像（１画面分の画像）が、スミア及びスミア源を含む場合がある。この例において、スミア源は画面内の楕円形の輝度の高い部分であり、スミアはスミア源から上下に帯状に表示される。図２の画像は第１の画像に相当する。この画像について、そのまま画像認識処理を行うと、スミアによって製品型番を表示するラベル「ＡＢＣ１２３」の「Ｂ」及び「Ｃ」が欠けるため、この製品の製品型番を自動認識することができない。
【００３９】
画像信号診断部８は周知の検出手段によりスミアを検出する。例えば、画像信号診断部８は、このスミアの発生を、図３に示すように、画像における１ライン（走査線）毎の輝度の変化を調べることにより検出する。即ち、スミアは、画像（画像信号）において、他の部分と比較して高輝度で局所的に明るい。従って、例えば適切な閾値を用いることにより、当該高輝度の信号を抽出することができる。又は、画像信号診断部８は、周知の画像認識技術により、周知のスミアのパターンと高輝度の領域とのパターン照合により検出する。いずれの場合も、スミア源はスミアの中でも特に輝度レベルが高く、幅も大きめに出ることから、その位置（縦方向の位置）を検出することができる。これにより、画像信号診断部８は、スミア源の撮像素子３２上の位置と大きさ、輝度レベルを検出し、これらの情報に基づいてフィルタの形状及び濃度を決定し、これをデバイス制御部６に通知する。なお、前述のように、撮像素子３２上のスミア源の位置等を検出すること等は、撮像素子３１上のスミア源について当該処理等をしていることに等しい。
【００４０】
デバイス制御部６は、これに基づいて、ＤＭＤ４のＯＮ／ＯＦＦ時間を部分的に変化させる。これにより、領域を限定したフィルタとして、スミア源を消去（除去）することができる。本発明により、図２の画像からスミア源を除去したスミア処理済の画像（第１の画像）を図４に示す。この画像について画像認識処理を行うと、スミア源の影響はやや残るが、ラベル「ＡＢＣ１２３」を読み取ることができ、この製品の製品型番を正しく自動認識することができる。
【００４１】
一方、本発明によれば、図２の画像からスミア源を除去したスミア処理済の第２の画像として、図５に示すような画像が得られる。図５は、全体に斜線を施すことにより、全体的に暗い画像であることを示している。即ち、図５の画像は、基本的には、図４の画像と同一であるが、その光量が少ないので、全体的に暗い画像となる。しかし、図５においても、スミア源の影響部分（楕円の部分）は周囲の通常の領域とは異なることから、第２の画像によってもスミア源の検出は可能であり、従って、第２の画像を監視することにより、スミア源の移動や大きさ、形状の変化等をリアルタイムに捉えることができ、スミア源を除去する処理が可能である。
【００４２】
図６は、本発明の画像処理装置の構成の他の一例を示す構成図である。この例の画像処理装置１は、図１の画像処理装置１と同様の構成を備えるが、画像信号診断部８に、第２画像信号生成部７からの第２の画像信号に加えて、第１画像信号生成部５からの第１の画像信号が入力される。従って、画像信号診断部８は、第１及び第２の画像信号に基づいて、第１及び第２の画像についての画像診断を行う。これにより、スミア検出用の第２の撮像素子３２の画像とスミア処理済の第１の撮像素子３１の画像との間に相関を持たせることができるので、スミア源の除去処理をフィードバック制御することができる。
【００４３】
具体的には、画像信号診断部８は、第１の画像信号に基づいて、画像においてスミア源の有無を検出し、スミア源がある場合、輝度検出レベルを変更する。そして、画像信号診断部８は、変更した輝度検出レベルを用いて、再度、第２の画像信号に基づいて、画像においてスミア源を検出する。これに基づいて、デバイス制御部６が、再度、少なくともスミア源における第１の方向に分配される光の強度Ｉ１をそれまでよりも小さくする。これにより、スミア源を含む領域に対して部分的にフィルタをかけて、かつ、フィルタの濃度がそれまでよりも濃くされる。この結果、第１の画像信号におけるスミア源を除去することができる。
【００４４】
なお、この時、フィルタにおける第２の方向に分配される光の強度Ｉ２は、強度Ｉ１が小さくされた分だけ、それまでよりも大きくされる。また、フィルタ以外の部分においては、第１及び第２の方向に分配される光の強度Ｉ１及びＩ２は、そのままとされる。
【００４５】
図７は、本発明の画像信号診断処理フローであり、図６の画像処理装置１の画像信号診断部８が実行する画像信号診断処理フローを示す。
【００４６】
画像信号診断部８が、第２画像信号生成部７から第２の画像信号を取り込み（ステップＳ１）、輝度レベルが一定の値を超える部分があるか否かを調べる（ステップＳ２）。超える部分がない場合、画像信号診断部８が、第１画像信号生成部５から第１の画像信号を取り込み（ステップＳ３）、スミアパターンを検出するか否かを調べ（ステップＳ４）、検出しない場合、当該画像についての処理を終了し、検出する場合、輝度の検出レベルを変更した上で（ステップＳ５）、ステップＳ２以下を繰り返す。
【００４７】
ステップＳ２において、輝度レベルが一定の値を超える部分がある場合、画像信号診断部８が、当該超える部分の画像（画像信号又は画素）を切り出して（ステップＳ６）、切り出した部分の数ｎを検出する（ステップＳ７）。
【００４８】
この後、画像信号診断部８が、１個の切り出した部分について、切り出した部分の形状を検出し（ステップＳ８）、切り出した部分の位置を検出し（ステップＳ９）、切り出した部分の最大輝度を検出し（ステップＳ１０）、切り出した部分の面積を検出し（ステップＳ１１）、当該切り出した部分についてのフィルタの形状及び濃さを決定する（ステップＳ１２）。次に、画像信号診断部８が、以上のステップＳ８〜Ｓ１２が切り出した部分の数であるｎ回だけ繰り返されたか否かを調べ（ステップＳ１３）、繰り返されていない場合、ステップＳ８以下を繰り返す。
【００４９】
ステップＳ８〜Ｓ１２をｎ回繰り返した後、画像信号診断部８が、１画面分のフィルタの形状を決定し（ステップＳ１４）、これをデバイス制御部６に送付して（ステップＳ１５）、処理を終了する。
【００５０】
なお、図１の画像処理装置において画像信号診断部８が実行する処理は、図７の画像信号診断処理フローにおいて、ステップＳ３〜Ｓ５を省略し、ステップＳ２の後ステップＳ６を実行し、ステップＳ２において輝度レベルが一定の値を超える部分が無い場合には処理を終了する処理からなると考えて良い。
【００５１】
以上、本発明をその実施の形態に従って説明したが、本発明は、その主旨の範囲内において種々の変形が可能である。
【００５２】
例えば、以上の説明は本発明をＣＣＤカメラからなる画像処理装置に適用した場合についてのものであったが、本発明は、これに限られず、カメラを備える画像処理装置や撮像素子を備える画像処理装置に広く適用することができる。
【００５３】
また、本発明は、カメラで撮像した画像からスミアを除去して文字や形状、色等を認識する画像処理装置に有効であり、例えば工場のライン等においてベルトコンベアを流れる部品等の自動検査や自動認識等の分野において特に有効である。
【００５４】
また、本発明は、カメラで撮像して得た画像に処理を行う画像処理装置において、その撮像環境（周囲の明るさや光源の位置等）が安定していない場合、又は、撮像の対象が不定形であるような場合において、特に有効である。例えば、本発明により、画像の明暗（輝度）を部分的に調整し、全体として輝度が平坦な画像を生成して、周囲の明るさの変動の影響や光源の位置の変化の影響を除去した画像を得ることができる。
【００５５】
以上から判るように、本発明の実施形態の特徴が以下のように把握される。
【００５６】
（付記１）レンズと、
前記レンズを透過した光を第１及び第２の方向に所定の分配比率で分配するデジタルマイクロミラーデバイスと、
前記第１及び第２の方向に分配される光を受光する第１及び第２の撮像素子と、
前記第１及び第２の撮像素子の受光した光に基づいて、各々、第１及び第２の画像信号を形成する第１及び第２の画像信号生成部と、
前記第２の画像信号に基づいて、当該画像信号を診断する画像信号診断部と、
前記診断の結果に基づいて、前記デジタルマイクロミラーデバイスにおける前記分配比率を定めるデバイス制御部とを備える
ことを特徴とする画像処理装置。
【００５７】
（付記２）前記画像信号診断部が、前記第２の画像信号に基づいて、画像において他の部分と比較して高輝度で局所的に明るい部分を検出し、
前記デバイス制御部が、少なくとも前記高輝度で局所的に明るい部分における前記第１の方向に分配される光の強度を部分的にそれまでよりも小さくし、これ以外の部分における前記第１の方向に分配される光の強度をそのままとする
ことを特徴とする付記１に記載の画像処理装置。
【００５８】
（付記３）前記画像信号診断部が、前記高輝度で局所的に明るい部分について、その形状、位置及び最大輝度を検出し、
前記デバイス制御部が、前記形状及び位置に基づいて、少なくとも前記高輝度で局所的に明るい部分を含むように、前記第１の方向に分配される光の強度をそれまでよりも小さくするフィルタの形状を決定し、前記最大輝度に基づいて、前記フィルタにおける前記第１の方向に分配される光の強度を決定する
ことを特徴とする付記２に記載の画像処理装置。
【００５９】
（付記４）前記画像信号診断部が、前記高輝度で局所的に明るい部分が複数ある場合、その各々について、前記形状、位置及び最大輝度を検出し、
前記デバイス制御部が、前記高輝度で局所的に明るい部分の各々について、前記フィルタの形状を決定し、前記フィルタにおける前記第１の方向に分配される光の強度を決定する
ことを特徴とする付記３に記載の画像処理装置。
【００６０】
（付記５）前記デジタルマイクロミラーデバイスが、前記レンズを透過した光が前記デジタルマイクロミラーデバイスの主表面に対して垂直に入射するように配置され、
前記第１及び第２の撮像素子が、前記レンズを透過した光を対称軸として対称な位置に、前記デジタルマイクロミラーデバイスの主表面に対して所定の角度をなすように配置される
ことを特徴とする付記１に記載の画像処理装置。
【００６１】
（付記６）前記第１の画像信号が、当該画像処理装置の画像信号として出力される
ことを特徴とする付記１に記載の画像処理装置。
【００６２】
（付記７）前記デバイス制御部が、前記デジタルマイクロミラーデバイスにおける前記分配比率を、前記第１の方向に分配される光の強度が前記第２の方向に分配される光の強度より十分に大きくなる比率とする
ことを特徴とする付記１に記載の画像処理装置。
【００６３】
（付記８）前記第１の方向に分配される光の強度の初期値が前記レンズを透過した光の８０％〜９０％の範囲のいずれかとされ、前記第２の方向に分配される光の強度が前記レンズを透過した光の２０％〜１０％の範囲のいずれかとされる
ことを特徴とする付記７に記載の画像処理装置。
【００６４】
（付記９）前記画像信号診断部が、前記第１及び第２の画像信号に基づいて、前記診断を行う
ことを特徴とする付記２に記載の画像処理装置。
【００６５】
（付記１０）前記画像信号診断部が、前記第１の画像信号に基づいて、画像において他の部分と比較して高輝度で局所的に明るい部分の有無を検出し、前記高輝度で局所的に明るい部分がある場合、輝度検出レベルを変更する
ことを特徴とする付記９に記載の画像処理装置。
【００６６】
（付記１１）前記画像信号診断部が、前記変更した輝度検出レベルを用いて、再度、前記第２の画像信号に基づいて、画像において他の部分と比較して高輝度で局所的に明るい部分を検出し、
前記デバイス制御部が、再度、少なくとも前記高輝度で局所的に明るい部分における前記第１の方向に分配される光の強度をそれまでよりも小さくし、これ以外の部分における前記第１の方向に分配される光の強度をそのままとする
ことを特徴とする付記１０に記載の画像処理装置。
【００６７】
（付記１２）レンズを透過した光をデジタルマイクロミラーデバイスにより第１及び第２の方向に所定の分配比率で分配し、
前記第１及び第２の方向に分配される光を第１及び第２の撮像素子により受光し、
前記第１及び第２の撮像素子の受光した光に基づいて、各々、第１及び第２の画像信号を形成し、
前記第２の画像信号に基づいて、当該画像信号を診断し、
前記診断の結果に基づいて、前記デジタルマイクロミラーデバイスにおける前記分配比率を定める
ことを特徴とする画像処理方法。
【産業上の利用可能性】
【００６８】
以上、説明したように、本発明によれば、画像処理装置及び画像処理方法において、簡単な構造により、撮像素子に入射する光量が大きく減衰することを回避しつつ、また、画像におけるスミア源以外に影響を与えることを防止しつつ、暗い画像からでもスミアを正確にかつリアルタイムに除去することができる。これにより、例えばカメラで撮像した画像から、文字、形状、色等を認識する自動検査又は自動認識装置において、画像を性格に認識し、検査等を正確に行うことができる。
【図面の簡単な説明】
【００６９】
【図１】本発明の画像処理装置の構成の一例を示す構成図である。
【図２】本発明の画像処理の説明図である。
【図３】本発明の画像処理の説明図である。
【図４】本発明の画像処理の説明図である。
【図５】本発明の画像処理の説明図である。
【図６】本発明の画像処理装置の構成の他の一例を示す構成図である。
【図７】本発明の画像信号診断処理フローである。
【符号の説明】
【００７０】
１ 画像処理装置
２ レンズ
４ デジタルマイクロミラーデバイス（ＤＭＤ）
５ 第１画像信号生成部
６ デバイス制御部
７ 第２画像信号生成部
８ 画像信号診断部
３１ 第１の撮像素子（ＣＣＤ）
３２ 第２の撮像素子（ＣＣＤ）
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に、光量の少ない画像における高輝度の領域を、デジタルマイクロミラーデバイスを用いた簡易な構成により正確に検出して除去することができる画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
カメラで撮像した画像から文字や図形の形状や色等の認識（画像認識）を行なう場合、画像の品質劣化は認識率の低下を招く。特に、画像において他の部分と比較して高輝度で局所的に明るい部分（以下、スミア源と言う）に起因して、画像において縦方向に発生する白帯（スミア）は、当該部分の画像が欠落したように認識されるため、画像認識にとっては大きな障害となる。
【０００３】
そこで、例えば下記の特許文献１に記載のように、スミアの影響を低減するために、ＣＣＤ（固体撮像素子）の前に液晶フィルタを設置し、スミア源に当たる部分を暗くフィルタすることにより光量を制御することが知られている。また、下記の特許文献１によれば、２個のＣＣＤとビームスプリッタとを使用し、ビームスプリッタにより分光した光の一方を用いて第１のＣＣＤでスミア源を検出すると共に、他方の光を用いて第２のＣＣＤに対して液晶フィルタを作用させることにより、スミア源の減光を行なうことによりスミアの発生を抑止することが提案されている。
【特許文献１】特開２００２−２０４３９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明者の検討によれば、前述のように、液晶フィルタを用いるスミア除去の場合、以下のような問題がある。
【０００５】
即ち、液晶フィルタで減光した後の画像をＣＣＤに入力する必要があるため、例えばスミア源が移動する場合、液晶フィルタのシャッタ速度が当該移動に追従できず、リアルタイムでフィルタリング処理をすることができない。
【０００６】
また、２個のＣＣＤとビームスプリッタとを用いる場合、ビームスプリッタ（プリズム）とフィルタとが別機構となるので、構造が複雑となり、組立やメンテナンスが煩わしい。また、ビームスプリッタにより光が２等分されてしまう上に、更に液晶フィルタを透過することにより、ＣＣＤに入射する光量が元の画像より極めて少なくなる。この結果、元の画像が暗い画像である場合、スミア源を除去しにくくなる。更に、スミア検出用のＣＣＤの画像とスミア処理済のＣＣＤの画像との間に相関がないので、スミア源の除去処理をフィードバック制御することができない。
【０００７】
本発明は、簡易な構成により暗い画像からでもスミアを正確に除去することができる画像処理装置を提供することを目的とする。
【０００８】
また、本発明は、簡易な構成により暗い画像からでもスミアを正確に除去することができる画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、レンズと、前記レンズを透過した光を第１及び第２の方向に所定の分配比率で分配するデジタルマイクロミラーデバイスと、前記第１及び第２の方向に分配される光を受光する第１及び第２の撮像素子と、前記第１及び第２の撮像素子の受光した光に基づいて、各々、第１及び第２の画像信号を形成する第１及び第２の画像信号生成部と、前記第２の画像信号に基づいて、当該画像信号を診断する画像信号診断部と、前記診断の結果に基づいて、前記デジタルマイクロミラーデバイスにおける前記分配比率を定めるデバイス制御部とを備える。
【００１０】
好ましくは、本発明の一実施態様において、前記画像信号診断部が、前記第２の画像信号に基づいて、画像において他の部分と比較して高輝度で局所的に明るい部分を検出し、前記デバイス制御部が、少なくとも前記高輝度で局所的に明るい部分における前記第１の方向に分配される光の強度を部分的にそれまでよりも小さくし、これ以外の部分における前記第１の方向に分配される光の強度をそのままとする。
【００１１】
好ましくは、本発明の一実施態様において、前記画像信号診断部が、前記高輝度で局所的に明るい部分について、その形状、位置及び最大輝度を検出し、前記デバイス制御部が、前記形状及び位置に基づいて、少なくとも前記高輝度で局所的に明るい部分を含むように、前記第１の方向に分配される光の強度をそれまでよりも小さくするフィルタの形状を決定し、前記最大輝度に基づいて、前記フィルタにおける前記第１の方向に分配される光の強度を決定する。
【００１２】
好ましくは、本発明の一実施態様において、前記画像信号診断部が、前記第１及び第２の画像信号に基づいて、前記診断を行う。
【００１３】
本発明の画像処理方法は、レンズを透過した光をデジタルマイクロミラーデバイスにより第１及び第２の方向に所定の分配比率で分配し、前記第１及び第２の方向に分配される光を第１及び第２の撮像素子により受光し、前記第１及び第２の撮像素子の受光した光に基づいて、各々、第１及び第２の画像信号を形成し、前記第２の画像信号に基づいて、当該画像信号を診断し、前記診断の結果に基づいて、前記デジタルマイクロミラーデバイスにおける前記分配比率を定める。
【発明の効果】
【００１４】
本発明の画像処理装置及び画像処理方法によれば、レンズを透過した光をデジタルマイクロミラーデバイスにより第１及び第２の方向に分配し、第２の方向に分配された光（即ち、第２の画像信号）により構成される画像（第２の画像）を診断してスミア源を検出することができ、これに基づいて、デジタルマイクロミラーデバイスにおける光の分配比率を定めることができる。これにより、液晶フィルタを用いる必要がないので、例えばスミア源が移動する場合でも、リアルタイムにフィルタリング処理をすることができる。また、光軸を精密に調整しなければならないビームスプリッタを用いる必要がないので、構造を簡単にすることができ、組立やメンテナンスを容易にすることができる。更に、ビームスプリッタにより光を２等分する必要がなく、かつ、液晶フィルタを透過させる必要もないので、撮像素子に入射する光量が大きく減衰することを回避することができ、その光量を元の画像に近い量とすることができる。この結果、元の画像が暗い画像であっても、スミア源を除去する処理を容易に行うことができる。従って、簡易な構造により、暗い画像からでもスミアを正確に除去することができる。
【００１５】
また、本発明の一実施態様によれば、画像において他の部分と比較して高輝度で局所的に明るい部分（即ち、スミア源）を検出し、当該スミア源における前記第１の方向に分配される光の強度を部分的にそれまでよりも小さくする。これにより、画像の中のスミア源について部分的にフィルタリングすることができる。この結果、画像の他の部分に影響を与えることなく、スミア源を除去することができる。
【００１６】
また、本発明の一実施態様によれば、スミア源の形状、位置及び最大輝度に基づいて、第１の方向に分配される光の強度をそれまでよりも小さくするフィルタの形状を決定し、フィルタにおける光の強度を決定する。これにより、画像の中のスミア源に応じて、適切な位置及び形状に部分的なフィルタを設けることができる。この結果、画像の他の部分に影響を与えることなく、ほぼスミア源のみを除去することができる。
【００１７】
また、本発明の一実施態様によれば、画像信号診断部が第１及び第２の画像信号に基づいて画像信号の診断を行う。これにより、スミア検出用の第２の画像信号により構成される画像（第２の画像）と、スミア処理済の第１の画像信号により構成される画像（第１の画像）との間に相関を持たせることができるので、スミア源の除去処理をフィードバック制御することができる。
【発明を実施するための最良の形態】
【００１８】
図１（Ａ）は、本発明の画像処理装置の構成の一例を示す構成図であり、図１（Ｂ）は、デジタルマイクロミラーデバイスを概念的に示す説明図である。
【００１９】
この例において、画像処理装置１は、例えばＣＣＤカメラからなる。画像処理装置１は、１個のレンズ２と、撮像用の第１の撮像素子３１と、スミア源の除去用の第２の撮像素子３２と、デジタルマイクロミラーデバイス（以下、ＤＭＤと言う）４と、第１画像信号生成部５と、デバイス制御部６と、第２画像信号生成部７と、画像信号診断部８とを備える。第１及び第２の撮像素子３１及び３２は同一の構造を備え、第１及び第２の画像信号生成部５及び７は同一の構造を備える。
【００２０】
レンズ２は、例えば画像処理装置１の筐体の側面に設けられる。この例では、図１（Ｂ）に示すように、レンズ２を透過した光（入射光）がＤＭＤ４の主表面（ミラーの形成された表面）に対して所定の角度、例えば垂直に入射するように、ＤＭＤ４が配置される。更に、この例では、第１及び第２の撮像素子３１及び３２が、レンズ２を透過した光を対称軸として対称な位置に、ＤＭＤ４の主表面に対して所定の角度θ１をなすように配置される。この時、第１及び第２の方向に対して、各々、第１及び第２の撮像素子３１及び３２の主表面が直交するようにされる。
【００２１】
第１及び第２の撮像素子３１及び３２の位置は、図１（Ｂ）に示す位置に限られず、ＤＭＤ４の第１及び第２の方向に対応するようないずれかの位置に設けられていれば良い。また、ＤＭＤ４の第１及び第２の方向も、図１（Ｂ）に示す方向に限られない。従って、レンズ２と第１及び第２の撮像素子３１及び３２との間に、ＤＭＤ４が設けられていれば良い。
【００２２】
ＤＭＤ４は、図１（Ｂ）に示すように、レンズ２を透過した光を、第１の方向（ＤＭＤ４の正側又はＯＮ側）及び第２の方向（ＤＭＤ４の負側又はＯＦＦ側）に所定の分配比率で分配する。この明細書においては、第１の方向に分配された光（及びその強度）をＩ１とし、第２の方向に分配された光（及びその強度）をＩ２とする。入射光は（Ｉ１＋Ｉ２）と表すことができる。
【００２３】
ＤＭＤ４は、周知のように、光の反射の方向が所定の２方向となるように制御することができ、その方向を高速で交互に切替えることができる。即ち、ＤＭＤ４は、その正側（ＯＮ側）に向く時間の比率と負側（ＯＦＦ側）に向く時間の比率とを制御することにより、第１及び第２の撮像素子３１及び３２に入力される光量を変化させることができる。これにより、ＤＭＤ４のマイクロミラーの向きの時間比率の制御により、光量調節を自由に行うことができ、 暗い画像でもスミア源に対応することができる。
【００２４】
なお、ＤＭＤ４は、例えば特開平１０−０７８５５０号公報、特開２００１−２４２３９５号公報等に記載されている。本発明は、周知のＤＬＰ（Digtal Light Processing 、登録商標）システムにおいて、ＤＭＤ４からの（第１の方向の）光Ｉ１を受光するプロジェクタに変えて、撮像素子３１を設けて、ＤＭＤ４からの光Ｉ１を出力画像信号の形成に用いる。また、本発明は、ＤＬＰシステムにおいて、あまり利用されていなかった（第２の方向の）光Ｉ２を、スミア源の検出に用いる。
【００２５】
デバイス制御部６は、ＤＭＤ４における分配比率を、第１の方向に分配される光の強度Ｉ１が、第２の方向に分配される光の強度Ｉ２より十分に大きくなる比率とする（Ｉ１≫Ｉ２とする）。例えば、第１の方向に分配される光の強度Ｉ１（の初期値）が、レンズ２を透過した光の例えば８０％〜９０％の範囲のいずれかとされ、第２の方向に分配される光の強度Ｉ２（の初期値）が、レンズ２を透過した光の例えば２０％〜１０％の範囲のいずれかとされる。強度Ｉ１及びＩ２は、本発明に従って、スミア源の存在に応じて、部分的に変更される。
【００２６】
なお、実際は、周知のように、ＤＭＤ４における光の分配時に、所定のロスがある。従って、正確には、レンズ２を透過した光の光量から当該ロスを除いた光量が、第１及び第２の方向に分配され、（Ｉ１＋Ｉ２）に相当する。
【００２７】
第１の撮像素子３１は、撮像用であるので、第１の方向（ＤＭＤ４の正側又はＯＮ側）に分配される光Ｉ１を受光し、これを電気信号に変換して出力する。この出力は第１画像信号生成部５に入力される。第１画像信号生成部５は、第１の撮像素子３１の受光した光Ｉ１に基づいて、第１の画像信号を形成する。即ち、第１画像信号生成部５は、第１の撮像素子３１から出力された信号を画像（第１の画像）に変換する。第２画像信号生成部７も同様である。第１の画像信号（第１の画像）が、図１（Ａ）に示すように、当該画像処理装置１の画像信号（出力画像）として出力される。第１の画像は、図示しないが、例えば画像メモリに一旦格納された後に、当該画像メモリから出力される。
【００２８】
第２の撮像素子３２は、スミア源除去用であるので、第２の方向（ＤＭＤ４の負側又はＯＦＦ側）に分配される光Ｉ２を受光し、これを電気信号に変換して出力する。この出力は第２画像信号生成部７に入力される。第２画像信号生成部７は、第２の撮像素子３２の受光した光Ｉ２に基づいて、第２の画像信号（第２の画像）を形成する。第２の画像信号は、図１（Ａ）に示すように、画像信号診断部８に入力される。
【００２９】
第１の画像と第２の画像は、同一の画像である。但し、前述のように、その光量が大きく異なるので、第１の画像は図４（後述する）に示すような明るい画像となり、第２の画像は図５（後述する）に示すような暗い画像となる。元の光量とほぼ同様の光量である第１の画像を本来の撮像用とし、第２の画像をフィルタリング用とするので、本来の画像処理には何ら影響が無い。一方、スミア源は極めて高輝度なので、第２の画像をフィルタリング用としてもスミア源の除去には何ら影響が無い。
【００３０】
このように、撮像用以外にスミア源除去用の撮像素子３２を設けることにより、フィルタリング用の第２の画像を撮像することができる。これにより、本来の撮像用の第１の画像に影響を与えることなく、スミア源が移動する場合における位置を検出し、スミア源を除去することができる。
【００３１】
画像信号診断部８は、撮像された画像から、スミア又はスミア源の有無を検出する。この例では、前述のように、第２の撮像素子３２から出力される第２の画像信号、即ち、第２の画像信号により構成される画像（第２の画像）が、スミア源の検出に用いられる。従って、画像信号診断部８は、第２の画像信号に基づいて、当該画像信号を診断する。即ち、画像信号診断部８が、第２の画像信号に基づいて、第２の画像において他の部分と比較して高輝度で局所的に明るい部分（スミア源）を検出する。スミア源は、例えば点光源や光の反射点であることが多い。
【００３２】
デバイス制御部６は、診断の結果に基づいて、ＤＭＤ４における光の分配比率を定める。即ち、デバイス制御部６が、少なくともスミア源における第１の方向に分配される光の強度Ｉ１を、部分的に、それまでよりも小さくし、これ以外の部分における第１の方向に分配される光の強度Ｉ１をそのままとする。なお、強度Ｉ１の変更に応じて、強度Ｉ２も変更される。
【００３３】
具体的には、画像信号診断部８が、前記高輝度で局所的に明るい部分について、その形状、位置及び最大輝度を検出する。この検出された形状及び位置に基づいて、デバイス制御部６が、少なくともスミア源を含むように、第１の方向に分配される光の強度Ｉ１をそれまでよりも小さくするフィルタの形状を決定する。即ち、フィルタは当該スミア源よりも必ず大きくされる。例えば、スミア源が図２（後述する）に示すような楕円形である場合、フィルタはそれより大きい円形又は四角形（正方形又は長方形）とされる。
【００３４】
また、前記検出された最大輝度に基づいて、デバイス制御部６が、フィルタにおける第１の方向に分配される光の強度Ｉ１を決定する（強度Ｉ２もこれに応じて決定される）。例えば、強度Ｉ１（の初期値）がレンズ２を透過した光の例えば９０％であり、強度Ｉ２（の初期値）が１０％であるとする。この場合において、当該最大輝度が大きい（例えば、第１の閾値より大きく第２の閾値より小さい）場合、強度Ｉ１をそれまでよりも小さい例えば８５％に変更し（減少させ）、強度Ｉ２を１５％に変更する（増加させる）。また、当該最大輝度が極めて大きい（例えば、第２の閾値より大きい）場合、強度Ｉ１を更に小さい例えば８０％に変更し、強度Ｉ２を２０％に変更する。なお、当該最大輝度があまり大きくない（例えば、第１の閾値より小さい）場合、強度Ｉ１をそのまま（９０％）とし、強度Ｉ２もそのまま（１０％）とする。第１及び第２の閾値は経験的に定めることができる。閾値の数は３以上であっても良い。
【００３５】
以上により、デバイス制御部６が、検出したスミア源の位置及び形状に応じて、ＤＭＤ４上の該当する位置、形状の領域（フィルタ領域）に存在するマイクロミラーを、部分的に第１及び第２の方向を向く時間比率を変更するように制御する。フィルタ領域以外の領域におけるマイクロミラーが第１及び第２の方向を向く時間比率はそのままとされる。また、検出したスミア源の位置、形状及び輝度レベル（最大輝度）に応じて、ＤＭＤ４上の該当する位置、形状の領域に存在するマイクロミラーを、当該輝度レベルに応じた時間比率で、第１及び第２の方向（正負の向き）を向くように制御する。
【００３６】
この結果、スミア源に対応する領域に部分的に濃淡を付けフィルタリングすることにより、当該スミア源を除去することができる。また、スミア源が移動したり、その形状が変化したりしても、これをリアルタイムに検出して、これに応じてフィルタの位置及び形状を変化させることができ、スミア源を完全に除去することができる。
【００３７】
この例では、画像信号診断部８が、スミア源が複数ある場合、その各々について、その形状、位置及び最大輝度を検出する。これに基づいて、デバイス制御部６が、スミア源の各々について、フィルタの形状を決定し、フィルタにおける第１の方向に分配される光の強度Ｉ１を決定する。これにより、スミア源が複数存在しても、これらを除去することができる。
【００３８】
例えば、図２に示すように、画像（１画面分の画像）が、スミア及びスミア源を含む場合がある。この例において、スミア源は画面内の楕円形の輝度の高い部分であり、スミアはスミア源から上下に帯状に表示される。図２の画像は第１の画像に相当する。この画像について、そのまま画像認識処理を行うと、スミアによって製品型番を表示するラベル「ＡＢＣ１２３」の「Ｂ」及び「Ｃ」が欠けるため、この製品の製品型番を自動認識することができない。
【００３９】
画像信号診断部８は周知の検出手段によりスミアを検出する。例えば、画像信号診断部８は、このスミアの発生を、図３に示すように、画像における１ライン（走査線）毎の輝度の変化を調べることにより検出する。即ち、スミアは、画像（画像信号）において、他の部分と比較して高輝度で局所的に明るい。従って、例えば適切な閾値を用いることにより、当該高輝度の信号を抽出することができる。又は、画像信号診断部８は、周知の画像認識技術により、周知のスミアのパターンと高輝度の領域とのパターン照合により検出する。いずれの場合も、スミア源はスミアの中でも特に輝度レベルが高く、幅も大きめに出ることから、その位置（縦方向の位置）を検出することができる。これにより、画像信号診断部８は、スミア源の撮像素子３２上の位置と大きさ、輝度レベルを検出し、これらの情報に基づいてフィルタの形状及び濃度を決定し、これをデバイス制御部６に通知する。なお、前述のように、撮像素子３２上のスミア源の位置等を検出すること等は、撮像素子３１上のスミア源について当該処理等をしていることに等しい。
【００４０】
デバイス制御部６は、これに基づいて、ＤＭＤ４のＯＮ／ＯＦＦ時間を部分的に変化させる。これにより、領域を限定したフィルタとして、スミア源を消去（除去）することができる。本発明により、図２の画像からスミア源を除去したスミア処理済の画像（第１の画像）を図４に示す。この画像について画像認識処理を行うと、スミア源の影響はやや残るが、ラベル「ＡＢＣ１２３」を読み取ることができ、この製品の製品型番を正しく自動認識することができる。
【００４１】
一方、本発明によれば、図２の画像からスミア源を除去したスミア処理済の第２の画像として、図５に示すような画像が得られる。図５は、全体に斜線を施すことにより、全体的に暗い画像であることを示している。即ち、図５の画像は、基本的には、図４の画像と同一であるが、その光量が少ないので、全体的に暗い画像となる。しかし、図５においても、スミア源の影響部分（楕円の部分）は周囲の通常の領域とは異なることから、第２の画像によってもスミア源の検出は可能であり、従って、第２の画像を監視することにより、スミア源の移動や大きさ、形状の変化等をリアルタイムに捉えることができ、スミア源を除去する処理が可能である。
【００４２】
図６は、本発明の画像処理装置の構成の他の一例を示す構成図である。この例の画像処理装置１は、図１の画像処理装置１と同様の構成を備えるが、画像信号診断部８に、第２画像信号生成部７からの第２の画像信号に加えて、第１画像信号生成部５からの第１の画像信号が入力される。従って、画像信号診断部８は、第１及び第２の画像信号に基づいて、第１及び第２の画像についての画像診断を行う。これにより、スミア検出用の第２の撮像素子３２の画像とスミア処理済の第１の撮像素子３１の画像との間に相関を持たせることができるので、スミア源の除去処理をフィードバック制御することができる。
【００４３】
具体的には、画像信号診断部８は、第１の画像信号に基づいて、画像においてスミア源の有無を検出し、スミア源がある場合、輝度検出レベルを変更する。そして、画像信号診断部８は、変更した輝度検出レベルを用いて、再度、第２の画像信号に基づいて、画像においてスミア源を検出する。これに基づいて、デバイス制御部６が、再度、少なくともスミア源における第１の方向に分配される光の強度Ｉ１をそれまでよりも小さくする。これにより、スミア源を含む領域に対して部分的にフィルタをかけて、かつ、フィルタの濃度がそれまでよりも濃くされる。この結果、第１の画像信号におけるスミア源を除去することができる。
【００４４】
なお、この時、フィルタにおける第２の方向に分配される光の強度Ｉ２は、強度Ｉ１が小さくされた分だけ、それまでよりも大きくされる。また、フィルタ以外の部分においては、第１及び第２の方向に分配される光の強度Ｉ１及びＩ２は、そのままとされる。
【００４５】
図７は、本発明の画像信号診断処理フローであり、図６の画像処理装置１の画像信号診断部８が実行する画像信号診断処理フローを示す。
【００４６】
画像信号診断部８が、第２画像信号生成部７から第２の画像信号を取り込み（ステップＳ１）、輝度レベルが一定の値を超える部分があるか否かを調べる（ステップＳ２）。超える部分がない場合、画像信号診断部８が、第１画像信号生成部５から第１の画像信号を取り込み（ステップＳ３）、スミアパターンを検出するか否かを調べ（ステップＳ４）、検出しない場合、当該画像についての処理を終了し、検出する場合、輝度の検出レベルを変更した上で（ステップＳ５）、ステップＳ２以下を繰り返す。
【００４７】
ステップＳ２において、輝度レベルが一定の値を超える部分がある場合、画像信号診断部８が、当該超える部分の画像（画像信号又は画素）を切り出して（ステップＳ６）、切り出した部分の数ｎを検出する（ステップＳ７）。
【００４８】
この後、画像信号診断部８が、１個の切り出した部分について、切り出した部分の形状を検出し（ステップＳ８）、切り出した部分の位置を検出し（ステップＳ９）、切り出した部分の最大輝度を検出し（ステップＳ１０）、切り出した部分の面積を検出し（ステップＳ１１）、当該切り出した部分についてのフィルタの形状及び濃さを決定する（ステップＳ１２）。次に、画像信号診断部８が、以上のステップＳ８〜Ｓ１２が切り出した部分の数であるｎ回だけ繰り返されたか否かを調べ（ステップＳ１３）、繰り返されていない場合、ステップＳ８以下を繰り返す。
【００４９】
ステップＳ８〜Ｓ１２をｎ回繰り返した後、画像信号診断部８が、１画面分のフィルタの形状を決定し（ステップＳ１４）、これをデバイス制御部６に送付して（ステップＳ１５）、処理を終了する。
【００５０】
なお、図１の画像処理装置において画像信号診断部８が実行する処理は、図７の画像信号診断処理フローにおいて、ステップＳ３〜Ｓ５を省略し、ステップＳ２の後ステップＳ６を実行し、ステップＳ２において輝度レベルが一定の値を超える部分が無い場合には処理を終了する処理からなると考えて良い。
【００５１】
以上、本発明をその実施の形態に従って説明したが、本発明は、その主旨の範囲内において種々の変形が可能である。
【００５２】
例えば、以上の説明は本発明をＣＣＤカメラからなる画像処理装置に適用した場合についてのものであったが、本発明は、これに限られず、カメラを備える画像処理装置や撮像素子を備える画像処理装置に広く適用することができる。
【００５３】
また、本発明は、カメラで撮像した画像からスミアを除去して文字や形状、色等を認識する画像処理装置に有効であり、例えば工場のライン等においてベルトコンベアを流れる部品等の自動検査や自動認識等の分野において特に有効である。
【００５４】
また、本発明は、カメラで撮像して得た画像に処理を行う画像処理装置において、その撮像環境（周囲の明るさや光源の位置等）が安定していない場合、又は、撮像の対象が不定形であるような場合において、特に有効である。例えば、本発明により、画像の明暗（輝度）を部分的に調整し、全体として輝度が平坦な画像を生成して、周囲の明るさの変動の影響や光源の位置の変化の影響を除去した画像を得ることができる。
【００５５】
以上から判るように、本発明の実施形態の特徴が以下のように把握される。
【００５６】
（付記１）レンズと、
前記レンズを透過した光を第１及び第２の方向に所定の分配比率で分配するデジタルマイクロミラーデバイスと、
前記第１及び第２の方向に分配される光を受光する第１及び第２の撮像素子と、
前記第１及び第２の撮像素子の受光した光に基づいて、各々、第１及び第２の画像信号を形成する第１及び第２の画像信号生成部と、
前記第２の画像信号に基づいて、当該画像信号を診断する画像信号診断部と、
前記診断の結果に基づいて、前記デジタルマイクロミラーデバイスにおける前記分配比率を定めるデバイス制御部とを備える
ことを特徴とする画像処理装置。
【００５７】
（付記２）前記画像信号診断部が、前記第２の画像信号に基づいて、画像において他の部分と比較して高輝度で局所的に明るい部分を検出し、
前記デバイス制御部が、少なくとも前記高輝度で局所的に明るい部分における前記第１の方向に分配される光の強度を部分的にそれまでよりも小さくし、これ以外の部分における前記第１の方向に分配される光の強度をそのままとする
ことを特徴とする付記１に記載の画像処理装置。
【００５８】
（付記３）前記画像信号診断部が、前記高輝度で局所的に明るい部分について、その形状、位置及び最大輝度を検出し、
前記デバイス制御部が、前記形状及び位置に基づいて、少なくとも前記高輝度で局所的に明るい部分を含むように、前記第１の方向に分配される光の強度をそれまでよりも小さくするフィルタの形状を決定し、前記最大輝度に基づいて、前記フィルタにおける前記第１の方向に分配される光の強度を決定する
ことを特徴とする付記２に記載の画像処理装置。
【００５９】
（付記４）前記画像信号診断部が、前記高輝度で局所的に明るい部分が複数ある場合、その各々について、前記形状、位置及び最大輝度を検出し、
前記デバイス制御部が、前記高輝度で局所的に明るい部分の各々について、前記フィルタの形状を決定し、前記フィルタにおける前記第１の方向に分配される光の強度を決定する
ことを特徴とする付記３に記載の画像処理装置。
【００６０】
（付記５）前記デジタルマイクロミラーデバイスが、前記レンズを透過した光が前記デジタルマイクロミラーデバイスの主表面に対して垂直に入射するように配置され、
前記第１及び第２の撮像素子が、前記レンズを透過した光を対称軸として対称な位置に、前記デジタルマイクロミラーデバイスの主表面に対して所定の角度をなすように配置される
ことを特徴とする付記１に記載の画像処理装置。
【００６１】
（付記６）前記第１の画像信号が、当該画像処理装置の画像信号として出力される
ことを特徴とする付記１に記載の画像処理装置。
【００６２】
（付記７）前記デバイス制御部が、前記デジタルマイクロミラーデバイスにおける前記分配比率を、前記第１の方向に分配される光の強度が前記第２の方向に分配される光の強度より十分に大きくなる比率とする
ことを特徴とする付記１に記載の画像処理装置。
【００６３】
（付記８）前記第１の方向に分配される光の強度の初期値が前記レンズを透過した光の８０％〜９０％の範囲のいずれかとされ、前記第２の方向に分配される光の強度が前記レンズを透過した光の２０％〜１０％の範囲のいずれかとされる
ことを特徴とする付記７に記載の画像処理装置。
【００６４】
（付記９）前記画像信号診断部が、前記第１及び第２の画像信号に基づいて、前記診断を行う
ことを特徴とする付記２に記載の画像処理装置。
【００６５】
（付記１０）前記画像信号診断部が、前記第１の画像信号に基づいて、画像において他の部分と比較して高輝度で局所的に明るい部分の有無を検出し、前記高輝度で局所的に明るい部分がある場合、輝度検出レベルを変更する
ことを特徴とする付記９に記載の画像処理装置。
【００６６】
（付記１１）前記画像信号診断部が、前記変更した輝度検出レベルを用いて、再度、前記第２の画像信号に基づいて、画像において他の部分と比較して高輝度で局所的に明るい部分を検出し、
前記デバイス制御部が、再度、少なくとも前記高輝度で局所的に明るい部分における前記第１の方向に分配される光の強度をそれまでよりも小さくし、これ以外の部分における前記第１の方向に分配される光の強度をそのままとする
ことを特徴とする付記１０に記載の画像処理装置。
【００６７】
（付記１２）レンズを透過した光をデジタルマイクロミラーデバイスにより第１及び第２の方向に所定の分配比率で分配し、
前記第１及び第２の方向に分配される光を第１及び第２の撮像素子により受光し、
前記第１及び第２の撮像素子の受光した光に基づいて、各々、第１及び第２の画像信号を形成し、
前記第２の画像信号に基づいて、当該画像信号を診断し、
前記診断の結果に基づいて、前記デジタルマイクロミラーデバイスにおける前記分配比率を定める
ことを特徴とする画像処理方法。
【産業上の利用可能性】
【００６８】
以上、説明したように、本発明によれば、画像処理装置及び画像処理方法において、簡単な構造により、撮像素子に入射する光量が大きく減衰することを回避しつつ、また、画像におけるスミア源以外に影響を与えることを防止しつつ、暗い画像からでもスミアを正確にかつリアルタイムに除去することができる。これにより、例えばカメラで撮像した画像から、文字、形状、色等を認識する自動検査又は自動認識装置において、画像を性格に認識し、検査等を正確に行うことができる。
【図面の簡単な説明】
【００６９】
【図１】本発明の画像処理装置の構成の一例を示す構成図である。
【図２】本発明の画像処理の説明図である。
【図３】本発明の画像処理の説明図である。
【図４】本発明の画像処理の説明図である。
【図５】本発明の画像処理の説明図である。
【図６】本発明の画像処理装置の構成の他の一例を示す構成図である。
【図７】本発明の画像信号診断処理フローである。
【符号の説明】
【００７０】
１ 画像処理装置
２ レンズ
４ デジタルマイクロミラーデバイス（ＤＭＤ）
５ 第１画像信号生成部
６ デバイス制御部
７ 第２画像信号生成部
８ 画像信号診断部
３１ 第１の撮像素子（ＣＣＤ）
３２ 第２の撮像素子（ＣＣＤ）
【特許請求の範囲】
【請求項１】
レンズと、
前記レンズを透過した光を第１及び第２の方向に所定の分配比率で分配するデジタルマイクロミラーデバイスと、
前記第１及び第２の方向に分配される光を受光する第１及び第２の撮像素子と、
前記第１及び第２の撮像素子の受光した光に基づいて、各々、第１及び第２の画像信号を形成する第１及び第２の画像信号生成部と、
前記第２の画像信号に基づいて、当該画像信号を診断する画像信号診断部と、
前記診断の結果に基づいて、前記デジタルマイクロミラーデバイスにおける前記分配比率を定めるデバイス制御部とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記画像信号診断部が、前記第２の画像信号に基づいて、画像において他の部分と比較して高輝度で局所的に明るい部分を検出し、
前記デバイス制御部が、少なくとも前記高輝度で局所的に明るい部分における前記第１の方向に分配される光の強度を部分的にそれまでよりも小さくし、これ以外の部分における前記第１の方向に分配される光の強度をそのままとする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像信号診断部が、前記高輝度で局所的に明るい部分について、その形状、位置及び最大輝度を検出し、
前記デバイス制御部が、前記形状及び位置に基づいて、少なくとも前記高輝度で局所的に明るい部分を含むように、前記第１の方向に分配される光の強度をそれまでよりも小さくするフィルタの形状を決定し、前記最大輝度に基づいて、前記フィルタにおける前記第１の方向に分配される光の強度を決定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像信号診断部が、前記第１及び第２の画像信号に基づいて、前記診断を行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
レンズを透過した光をデジタルマイクロミラーデバイスにより第１及び第２の方向に所定の分配比率で分配し、
前記第１及び第２の方向に分配される光を第１及び第２の撮像素子により受光し、
前記第１及び第２の撮像素子の受光した光に基づいて、各々、第１及び第２の画像信号を形成し、
前記第２の画像信号に基づいて、当該画像信号を診断し、
前記診断の結果に基づいて、前記デジタルマイクロミラーデバイスにおける前記分配比率を定める
ことを特徴とする画像処理方法。
【請求項１】
レンズと、
前記レンズを透過した光を第１及び第２の方向に所定の分配比率で分配するデジタルマイクロミラーデバイスと、
前記第１及び第２の方向に分配される光を受光する第１及び第２の撮像素子と、
前記第１及び第２の撮像素子の受光した光に基づいて、各々、第１及び第２の画像信号を形成する第１及び第２の画像信号生成部と、
前記第２の画像信号に基づいて、当該画像信号を診断する画像信号診断部と、
前記診断の結果に基づいて、前記デジタルマイクロミラーデバイスにおける前記分配比率を定めるデバイス制御部とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記画像信号診断部が、前記第２の画像信号に基づいて、画像において他の部分と比較して高輝度で局所的に明るい部分を検出し、
前記デバイス制御部が、少なくとも前記高輝度で局所的に明るい部分における前記第１の方向に分配される光の強度を部分的にそれまでよりも小さくし、これ以外の部分における前記第１の方向に分配される光の強度をそのままとする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像信号診断部が、前記高輝度で局所的に明るい部分について、その形状、位置及び最大輝度を検出し、
前記デバイス制御部が、前記形状及び位置に基づいて、少なくとも前記高輝度で局所的に明るい部分を含むように、前記第１の方向に分配される光の強度をそれまでよりも小さくするフィルタの形状を決定し、前記最大輝度に基づいて、前記フィルタにおける前記第１の方向に分配される光の強度を決定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像信号診断部が、前記第１及び第２の画像信号に基づいて、前記診断を行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
レンズを透過した光をデジタルマイクロミラーデバイスにより第１及び第２の方向に所定の分配比率で分配し、
前記第１及び第２の方向に分配される光を第１及び第２の撮像素子により受光し、
前記第１及び第２の撮像素子の受光した光に基づいて、各々、第１及び第２の画像信号を形成し、
前記第２の画像信号に基づいて、当該画像信号を診断し、
前記診断の結果に基づいて、前記デジタルマイクロミラーデバイスにおける前記分配比率を定める
ことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−２７２６３３（Ｐ２００７−２７２６３３Ａ）
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願番号】特願２００６−９８３７４（Ｐ２００６−９８３７４）
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]