画像処理装置
【課題】実際の対象物と撮像手段との関係を確認する作業や、対象物と画像処理結果とを比較する作業を、モニタを用いることなく容易に行うことができるようにする。
【解決手段】撮像部１内に、ＬＣＤ１２を含む投光部１１をＣＣＤ１０と同軸になるように配備し、ＬＣＤ１２に表示された画像がＣＣＤ１０の視野に向けて投影されるようにする。処理部２では、ＣＣＤ１０により生成された画像を用いてワークＷ０の欠陥Ｄを検出し、その欠陥を含む領域Ｒに対応する領域ＲＰに周囲より明るい画像データが設定された投影用画像５０を生成し、これを投影部１１に与えて投影させる。この投影により、ワークＷ０の表面のうち、画像処理により欠陥として検出された範囲が、領域ＲＰの投影像によるマーキングパターンＭにより明示される。
【解決手段】撮像部１内に、ＬＣＤ１２を含む投光部１１をＣＣＤ１０と同軸になるように配備し、ＬＣＤ１２に表示された画像がＣＣＤ１０の視野に向けて投影されるようにする。処理部２では、ＣＣＤ１０により生成された画像を用いてワークＷ０の欠陥Ｄを検出し、その欠陥を含む領域Ｒに対応する領域ＲＰに周囲より明るい画像データが設定された投影用画像５０を生成し、これを投影部１１に与えて投影させる。この投影により、ワークＷ０の表面のうち、画像処理により欠陥として検出された範囲が、領域ＲＰの投影像によるマーキングパターンＭにより明示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生産現場など、大きさや形状が統一された複数の物品を計測したり、その計測結果に基づき物品を検査する目的に用いられる画像処理装置に関する。
【背景技術】
【０００２】
この種の画像処理装置として、１台のカメラにより生成された画像を用いた２次元の計測処理を行うものと、複数台のカメラにより生成されたステレオ画像を用いた３次元計測を行うものとがある。いずれのタイプの画像処理装置でも、使用に先立ち、対象物を正しく撮像することができるように、カメラの視野の範囲や光軸の方向を合わせる必要がある。
【０００３】
従来のカメラの調整処理では、カメラにより生成された画像をモニタに表示し、モニタの表示と実際の対象物とを見比べながら、最適な撮像状態になるように、カメラの位置や姿勢を調整する。
【０００４】
また、上記の調整が終了して装置が利用される場合にも、適宜、処理結果をモニタに表示することにより、ユーザの便宜を図るようにしている。この表示の従来例として、たとえば、特許文献１には、ステレオ画像中の特定の点や領域を対象にした３次元計測を実行し、その計測結果を計測対象物の全体像に対応づけて立体的に表示することが記載されている。
【０００５】
また、特許文献２に記載された発明では、目視検査を行う検査者に、ＣＣＤや視線検出用のセンサが設けられたヘッドマウントディスプレイを装着させる。さらに、特許文献２には、ＣＣＤにより生成された画像を目視用画像としてディスプレイに表示すると共に、視線センサにより検査者の視線が固定されたことが検出されたときの画像を処理して欠陥を検出し、その欠陥の位置を示す枠画像を目視用画像に重ねて表示することが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−５３１４７号公報
【特許文献２】特開２００９−１５０８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１のように、モニタに処理結果が表示される場合には、現場のユーザは、実際の対象物と表示とを見比べることによって、処理結果の適否などを確認する。しかし、モニタの設置場所が撮像が行われる場所から離れている場合には、その確認が困難になり、作業に支障をきたすおそれがある。
【０００８】
特許文献２に記載された発明によれば、ユーザは、対象物の画像と画像処理結果とを容易に見比べることができるが、あくまでも画像の比較ができるだけであり、実物と画像処理の結果とを照合することにはならない。
【０００９】
また、特許文献２に記載された発明では、ユーザが特殊な装置（ヘッドマウントディスプレイ）を装着する必要があるが、この方法が適用できるのは、特許文献２のように、ユーザが現場に拘束されることを前提とする場合である。生産ラインを流れる製品を対象にした自動検査や、ピッキングシステムにおける３次元計測処理など、ユーザが常時処理対象物を見続ける必要のない用途にまで、この方法を適用するのは困難である。
【００１０】
本発明は、上記の問題点に着目し、実際の対象物と撮像手段との関係を確認する作業や、実際の対象物と画像処理結果とを比較する作業を、モニタを用いることなく、撮像が行われる現場で容易に行うことができるようにすることを、課題とする。
【課題を解決するための手段】
【００１１】
本発明は、２次元の撮像素子を有する撮像手段と、撮像素子が生成した２次元画像（以下、「撮像画像」という。）を撮像手段から入力し、その入力画像を用いてあらかじめ定められた画像処理および計測処理を実行する画像処理手段とを具備する画像処理装置に適用される。
【００１２】
本発明が適用された画像処理装置は、２次元のディジタル画像を表示するための表示素子を供え、この表示素子に表示された画像を撮像手段の視野に向けて投影する画像投影手段と、周囲と明るさまたは色が異なる画像データが設定された２次元パターンを含むディジタル画像を画像投影手段に与えて当該画像の投影処理を実行させる投影制御手段とを具備する。また、画像投影手段から投影される画像の結像面内における撮像素子の撮像対象範囲が、画像投影手段からの画像が投影される範囲に包含されるように、撮像手段と画像投影手段との関係が調整されると共に、２次元パターンが撮像対象領域内に投影される。
【００１３】
上記の構成によれば、画像投影手段から投影される画像の結像面に対象物の表面がほぼ位置合わせされた状態になったとき、この対象物の表面に鮮明な画像を投影することが可能になる。また、撮像素子の撮像対象範囲内に周囲と明るさまたは色が異なる画像データが設定された２次元パターンが投影されるので、撮像素子により撮像される範囲に含まれる対象物の表面のうち、上記の２次元パターンが投影される箇所を当該パターンの投影像により明示することが可能になる。さらに、撮像素子の撮像対象範囲は投影される画像が結像する範囲に包含されているので、撮像対象範囲のいずれの位置にも上記の２次元パターンを投影することが可能になる。
【００１４】
したがって、実物の対象物に対し、撮像手段の視野との関係を表すパターンを投影したり、撮像画像に対する処理により検出された部位を示すパターンを投影するなどの投影処理を行うことが可能になり、撮像画像をモニタの表示により確認する必要をなくすことができる。
【００１５】
上記の画像処理装置の好ましい一実施態様では、投影制御手段は、画像処理手段の処理結果に基づき上記２次元パターンの画像データを設定する画素を決定して、画像投影手段に投影される画像を生成する。このようにすれば、たとえば、画像処理により所定の特徴を有する部位が検出された場合に、その検出範囲に対応する表示素子側の画素に輝度の高い画像データを設定して投影処理を行うことにより、実際の対象物の表面のうち画像処理により検出された範囲を明るい投影パターンにより明示することが可能になる。また検出される部位の位置、形状、大きさが種々に変動しても、容易に対応することが可能になる。
【００１６】
他の好ましい実施態様による画像処理装置は、上記の２次元パターンを含む画像を登録するための画像登録手段を具備し、この画像登録手段に登録されている画像の１つを読み出して表示素子に表示させることにより、当該画像の投影処理を実行させる。
【００１７】
上記の実施態様によれば、たとえば、撮像手段の視野の中心位置や計測対象範囲などを表す２次元パターンを含む画像を画像登録手段に登録しておくことにより、撮像手段の位置や光軸を合わせる作業を行う場合には、登録された画像を投影することにより、モニタの表示を確認することなく作業を行うことが可能になる。また、複数の画像を登録して、その中から作業に必要な画像をユーザに選択させたり、ユーザが自身の用途に応じて作成した画像を登録するなどすれば、利便性をより一層向上することができる。
【００１８】
他の好ましい実施態様による画像処理装置では、撮像手段および画像投影手段は、同軸光学系を形成し、かつ同一の筐体の内部に収容される。また、画像投影手段から投影される画像の結像面内における撮像素子側の各画素に対応する各点に、表示素子の互いに異なる画素からの画像データが投影されるように、撮像手段と画像投影手段との関係が調整される。
【００１９】
上記の構成によれば、撮像手段と画像投影手段との光軸が同軸に揃えられると共に、撮像素子と表示素子との画素の対応関係が明確にされているので、表示素子の各画素の中から、撮像対象範囲内の明示したい箇所への投影を行う画素を容易に特定して、投影用画像を設定することが可能になる。
【００２０】
他の好ましい実施態様による画像処理装置では、画像投影手段は、撮像手段とは別体に形成されると共に、画像投影手段から投影される画像の結像面内における撮像素子側の各画素に対応する各点に、表示素子の互いに異なる画素からの画像データが投影されるように、撮像手段に対する関係が調整された状態で配備される。また画像処理手段は、撮像手段から入力された画像を用いて３次元計測処理を実行する。また投影制御手段は、画像処理手段の３次元計測処理の結果に基づく３次元情報を表示素子の表示面に透視変換し、その透視変換結果を用いて３次元計測結果を表す画素に２次元パターンの画像データが設定された画像を生成し、この画像を表示素子に表示させることにより当該画像を投影させる。
【００２１】
なお、この実施態様においては、撮像手段を、複数の２次元カメラによるステレオカメラとして構成し、このステレオカメラを用いた３次元計測を行うのが望ましい。
【００２２】
上記の実施態様の構成によれば、たとえば、３次元計測処理により取得した３次元情報に基づき、計測対象部位の輪郭形状を示す３次元パターンを生成して、これを表示素子の表面に透視変換することにより、表示素子から見た計測対象部位の輪郭形状を表す２次元パターンを得ることができる。したがって、この輪郭形状を表す２次元パターンを周囲より明るい画像データが設定されたパターンとした投影用画像を生成して投影すれば、ユーザは、投影された輪郭パターンと実際の対象物の輪郭線とを見比べて、３次元計測の結果の適否を認識することが可能になる。
【発明の効果】
【００２３】
本発明によれば、実際の対象物の撮像対象範囲内に投影される２次元パターンにより、撮像手段の視野と対象物との関係を確認したり、画像処理の結果と実際の対象物の状態とを比較することが可能になるので、ユーザは、モニタの表示を見なくとも、確認作業を容易に行うことが可能になる。また、撮像素子の撮像対象範囲内のどの場所にも、２次元パターンを投影することができ、パターンの形状や大きさも自由に設定することが可能であるので、利便性が高い装置を提供することができる。また、ユーザは、視認用の器具を装着する必要がなく、必要に応じて、実際の対象物を視覚により認識するだけで良いから、様々な用途の画像処理に利用することが可能になる。
【図面の簡単な説明】
【００２４】
【図１】本発明が適用される画像処理装置の構成例を示す図である。
【図２】撮像部の光学系の構成と処理部の機能ブロック図とを対応づけて示す図である。
【図３】ワークの欠陥に対する光学系の関係、および処理部が実行する処理手順とを対応づけて示す図である。
【図４】２個の撮像部の視点を位置合わせする場合の各撮像部の光学系とワークとの関係、および処理部が実行する処理手順を示す図である。
【図５】２個の撮像部の計測対象領域を位置合わせする場合の各撮像部の光学系とワークとの関係、および処理部が実行する処理手順とを対応づけて示す図である。
【図６】撮像部と投影部とが別体にされたタイプの画像処理装置の構成を示す図である。
【図７】図６の画像処理装置の光学系とワークとの関係、および処理部が実行する処理手順とを対応づけて示す図である。
【発明を実施するための形態】
【００２５】
図１は、本発明が適用される画像処理装置の使用例を示す。
この実施例の画像処理装置は、生産現場において、完成した製品または製品の一部を構成する部品（この実施例では「ワークＷ０」として示す。）の表面に視認される傷や汚れ等の欠陥を検査する目的に用いられるもので、検査対象のワークＷ０の上方に配備された撮像部１と、コンピュータを含む処理部２とにより構成される。なお、処理部２には、必要に応じて、モニタや設定用の操作部（キーボード、マウスなど）が接続される（他の実施例でも同様である。）。
【００２６】
処理部２は、図示しないワーク検出用のセンサからの検出信号により撮像位置へのワークＷ０の搬入を判別し、これに応じて撮像部１を駆動する。これにより撮像処理が実施され、処理部２に撮像画像が入力されると、処理部２では、この撮像画像に対して欠陥検出用の画像処理を実行する。この画像処理には、２値化、エッジ抽出など、欠陥の特徴を抽出するための処理と、抽出された特徴を計測する処理とが含まれる。
【００２７】
さらに処理部２は、画像処理の結果に基づき欠陥の有無を判別し、その判別結果を図示しない外部装置に出力すると共に、後記する検査結果画像を生成する。
【００２８】
さらに、この実施例の画像処理装置では、欠陥が検出されたときに、その検出部位や欠陥の状態を現場の作業者が容易に確認できるように、実際のワークＷ０の該当箇所に撮像部１から輝度の高い光を投光して、その箇所を明示するようにしている。
【００２９】
図２は、上記画像処理装置の撮像部１の光学系の構成と処理部２の機能ブロック図とを対応づけて示したものである。この図２および次の図３では、表面に欠陥Ｄが生じているワークＷ０を示す。
図２に示すように、撮像部１には、レンズ１４、ＣＣＤ１０、投影部１１、およびハーフミラー１５による同軸光学系が設けられる。このほか、図示していないが、撮像部１には、ＣＣＤ１０や投影部１１を駆動するための回路や、画像信号の出力回路などが含まれる。
【００３０】
投影部１１には、液晶パネル（ＬＣＤ）１３およびバックライト用の光源１４などが含まれる。ＬＣＤ１２は、ＣＣＤ１０と同じく、レンズ１４の焦点位置に配備される。またこの実施例では、ＬＣＤ１２とＣＣＤ１０とは、縦、横のサイズ（画素数）が同一で、解像度も等しいものとする。
【００３１】
ワークＷ０の表面には、図示しない外部照明からの光が照射される。図２では、ワークＷ０の表面がレンズ１４の合焦位置に合わせられているものとして、その表面の１点からの反射光の光路を一点鎖線により示す。この一点鎖線に示すように、ワークＷ０からレンズ１４に入射した光はハーフミラー１６を介してＣＣＤ１０に導かれ、これを受光したＣＣＤ１０によってワークＷの表面状態を表す画像が生成される。
【００３２】
投影部１１では、光源１３からのバックライト照明の下でＬＣＤ１２に２次元画像が表示されたとき、この画像中の各画素からの光が、ハーフミラー１５およびレンズ１４を介してレンズ１４の視野範囲内に投光される。これにより、ＬＣＤ１２に表示されている画像がワークＷ０の表面に投影される。
【００３３】
処理部２には、撮像処理部２１、検査実行部２２、投影用画像生成部２３、投影動作制御部２４の機能が設定される。撮像処理部２１は、ＣＣＤ１０を駆動し、生成された撮像画像を入力する。検査実行部２２は、撮像処理部２１から上記の撮像画像の供給を受け、欠陥検出のための画像処理や欠陥の有無を判別する処理を実行する。また外部機器に判別結果を出力する処理や、検査結果画像を生成する処理も、検査実行部２２により実行される。
【００３４】
投影用画像生成部２３は、検査実行部２２が欠陥Ｄを検出して検査結果画像を生成したことに応じて起動し、ＬＣＤ１２に表示させる投影用画像を生成する。投影動作制御部２４は、投影用画像生成部２３により生成された投影用画像を投影部１１に出力し、上記した投影処理を行う。
【００３５】
この実施例では、ＣＣＤ１０とＬＣＤ１２とは、画素数や解像度が完全に一致し、レンズ１４の焦点の位置に配備されているので、ＬＣＤ１２から投影される画像の結像面においては、ＣＣＤ１０の撮像対象範囲と、ＬＣＤ１２からの画像の投影範囲とは完全に一致する。すなわち、ＣＣＤ１０とＬＣＤ１２との間では、同じ座標にある画素同士が対応する関係となる。よって、ワークの表面がレンズ１４の合焦位置に合わせられている場合には、撮像画像中の座標（ｘ，ｙ）に現れるワークＷ０上の任意の点に対し、ＬＣＤ１２側の同一の座標（ｘ，ｙ）から画像データを投影することが可能になる。
【００３６】
この実施例では、上記の光学系の特性を利用して、実際のワークＷ０のうちの画像処理により欠陥が検出された箇所に、輝度の高い色彩によるパターン画像（以下、これを「マーキングパターン」という。）が投影されるようにしている。この投影により、現場の作業者は、実際のワークの明るく照明された箇所を不良が検出された部位として視認することができるので、検査結果の適否や不良の程度を容易に確認することができる。
【００３７】
図３は、撮像部１の光学系について、ワークＷ０の欠陥Ｄに対する光路を示すと共に、処理部２において実施される処理の概略手順のフローチャートを処理中に生成される画像の例に関連づけて示す。以下、この図を参照して、上記の処理部２および撮像部１において実行される処理を説明する。
【００３８】
検査対象のワークＷ０が搬入されると、処理部２では、撮像処理部２１によりＣＣＤ１０を駆動して、生成された画像を入力し（ステップＡ）、検査実行部２２による画像処理（計測処理や判別処理を含む。）を実行する（ステップＢ）。また、欠陥Ｄが検出された場合には、検査実行部２２は、その検出結果を示す検査結果画像４０を生成する。
【００３９】
図３に示す検査結果画像４０は、撮像画像をベースとするもので、画像中の欠陥Ｄ１を囲む範囲に矩形領域Ｒが設定されている。以下では、この領域Ｒを「検出領域Ｒ」という。
【００４０】
投影用画像生成部２３は、前記した光学系の特性に基づき、検査結果画像４０中の検出領域Ｒと同じ範囲に輝度の高い色彩領域ＲＰ（たとえば赤色の領域）を設定し、その他の画素に暗色（たとえば黒色）を設定した投影用画像５０を生成する（ステップＣ）。
投影動作制御部２４は、この投影用画像５０を投影部１１に与えて、投影処理を実行させる（ステップＤ）。これにより、投影用画像５０中の領域ＲＰ内の各画素からは、その領域ＲＰに設定された色彩による光がワークＷ０に投光されるが、他の暗色が設定された画素からは殆ど光は投光されない。よって、実際のワークＷ０の検出領域Ｒに対応する範囲に、領域ＲＰの投影像によるマーキングパターンＭが投影されて、この範囲が明示される。このマーキングパターンＭの投影範囲は、検査結果画像５０中の検出領域Ｒ内に現れた箇所に相当する。したがって、マーキングパターンＭ内に実際の欠陥Ｄが含まれているならば、検査の結果は正しいということになる。
【００４１】
上記の投影処理によれば、画像処理の結果に基づき、マーキングパターンＭの位置や大きさを自由に変更することができるので、検出された欠陥の位置、大きさ、形状などが個々のワークＷ０によってばらついても、なんの問題もなく、実際のワークＷ０の表面に欠陥の検出範囲を明示することが可能になる。したがって、撮像が行われる現場付近にモニタが配備されていなくとも、作業者は検査の結果を支障なく確認することができる。
【００４２】
なお、上記の実施例では、説明を簡単にするために、ＣＣＤ１０とＬＣＤ１２とのサイズや解像度が統一されているものとしたが、これらが異なる場合でも、ＬＣＤ１２からの投影用画像の結像面内におけるＣＣＤ１０の撮像対象範囲が投影用画像の結像範囲に包含され、かつ、この撮像対象範囲内のＣＣＤ１０の各画素に対応する各点に、それぞれＬＣＤ１２の互いに異なる画素からの画像データが投影される関係が成立していれば、ＣＣＤ１０とＬＣＤ１２との間の画素の対応関係に基づき、上記と同様の投影処理を実施することができる。
【００４３】
また、上記の投影処理は欠陥の検出結果を示す目的に限定されるものではない。たとえば、人手により実施される工程において、搬入されたワークを撮像して画像処理により作業対象部位を検出し、検出された対象部位にマーキングパターンを投影することも可能である。このような処理によれば、作業者は、作業対象部位を容易に認識して効率良く作業を行うことができる。
【００４４】
さらに、上記構成の画像処理装置では、種々の２次元パターンを含む画像を生成して投影することができるので、図４および図５に示すように、本格的な使用の前に、撮像部１の視野や光軸の方向などを調整する作業に利用することができる。
【００４５】
図４および図５の実施例では、図２，３の例より大きいワークＷ１を対象として、図１〜３の実施例と同様の構成の撮像部１を２つ使用して、ワークＷ１を異なる視点から撮像する。図４，５では、これらの撮像部１の構成を、図２，３と同じ数字にａ，ｂを付けた符号により示すと共に、各撮像部１ａ，１ｂに対して処理部２が実行する処理手順を示すフローチャートと投影用画像とを対応づけている。
【００４６】
また、図４，５には示していないが、各撮像部１ａ，１ｂは、同一の処理部２に接続され、処理部２において、各撮像部１ａ，１ｂから入力された撮像画像を用いた３次元計測処理、または画像毎に異なる内容の２次元の画像処理を実行する。また、この処理部２には、撮像部１ａ，１ｂ毎に、図２に示した撮像処理部２１、投影用画像生成部２３、投影動作制御部２４の機能が設定される。
【００４７】
なお、装置の構成は上記に限らず、たとえば各撮像部１ａ，１ｂを、それぞれ別個の処理部２に接続して、処理部２，２間で通信を行いながら処理を行ったり、各処理部２，２から上位機器に処理結果を出力して、上位機器で各処理結果を二次加工することも可能である。
【００４８】
図４の実施例では、ワークＷ１の表面の一点に各撮像部１ａ，１ｂの視野の中心点を合わせるために、投影機能を利用する。
【００４９】
具体的に説明すると、この実施例では、撮像部１ａ，１ｂ毎に、十字型のパターンＰａ，Ｐｂを含む投影用画像５１ａ，５１ｂを生成し（ステップＣ１，Ｃ２）、これらの投影用画像を投影部１２ａ，１２ｂに与えて投影処理を行わせる（Ｄ１，Ｄ２）。各パターンＰａ，Ｐｂの中心部（十字のクロス部分）は、ＣＣＤ１０ａ，１０ｂの中心部の画素に対応し、いずれの投影用画像５１ａ，５１ｂとも、パターンＰａ，Ｐｂの構成画素以外の画素に、背景色として暗色が設定される。また各投影用画像５１ａ，５１ｂにおけるパターンＰａ，Ｐｂの形状や大きさは一致しているが、それぞれ色彩が異なる。たとえば、画像５１ａのパターンＰａは赤色に設定され、画像５２ｂのパターンＰｂは青色に設定される。
【００５０】
上記によれば、それぞれの撮像部１ａ，１ｂの投影部１１ａ，１１ｂから上記の投影用画像５１ａ，５１ｂを投影することにより、ワークＷの表面に対し、各パターンＰａ，Ｐｂの投影像による十字型のマーキングパターンＭａ，Ｍｂが投影される。これらのマーキングパターンＭａ，Ｍｂは、それぞれ撮像部１ａ，１ｂの視野の中心部を表すことになるので、作業者は、各マーキングパターンＭａ，Ｍｂの中心部が目標とする位置で合わせるように、各撮像部１ａ，１ｂの位置や姿勢を調整することにより、撮像部１ａ，１ｂの視点を合わせることができる。
【００５１】
図５の実施例は、図４と同様のワークＷ１に対し、各撮像部１ａ，１ｂによる計測範囲を位置合わせする目的に投影機能を利用したものである。
この実施例でも、処理部２は、各撮像部１ａ，１ｂに対して図４の例と同様のステップＣ１，Ｄ１、ステップＣ２，Ｄ２を実行するが、この実施例では、撮像画像に設定される計測対象領域に対応する範囲に輝度の高い色彩による矩形パターンＳａ，Ｓｂを設定した投影用画像５２ａ，５２ｂを生成する。さらに、この実施例でも、図４の例と同様に、各投影用画像５２ａ，５２ｂの矩形パターンＳａ，Ｓｂにそれぞれ異なる色彩を設定する。
【００５２】
上記の処理によれば、各投影部１１ａ，１１ｂから上記の投影用画像５２ａ，５２ｂを投影することにより、各矩形パターンＳａ，Ｓｂの投影像Ｔａ，Ｔｂを、各撮像部１ａ，１ｂの計測対象領域を示すマーキングパターンとしてワークＷ１に投影することができる。これにより、作業者は、各色彩のマーキングパターンＴａ，Ｔｂが重なる範囲ができるだけ広くなるように、撮像部の光軸の向きを調整することによって、最適な計測状態を設定することができる。
【００５３】
なお、図５の実施例においては、ノイズなどの影響を考慮して、ＣＣＤ１０ａ，１０ｂの外周部の画素により生成される画像データを計測対象から除外し、これに伴い、投影用画像５２ａ，５２ｂでも、矩形パターンＳａ，Ｓｂの周囲に暗色領域を設定しているが、各撮像部１ａ，１ｂの視野に対応する範囲全体を明示したい場合には、投影用画像５２ａ，５２ｂの全ての画素に輝度の高い画像データを設定して投影を行ってもよい。
【００５４】
つぎに、図４，５の実施例では、撮像画像に対する画像処理に基づかずに、あらかじめ登録された投影用画像を読み出して投影するものであるが、これらの実施例でも、投影処理中に撮像を行って、生成された撮像画像を処理し、その処理結果に基づき各投影用画像の状態を変更してもよい。
【００５５】
たとえば、図５の実施例に関して説明すると、各投影用画像５２ａ，５２ｂが投影されている状態下で、ＣＣＤ１０ａ，１０ｂのいずれかによる撮像を行って、撮像画像からマーキングパターンＴａ，Ｔｂが重なる範囲を検出し、その重なり範囲の面積があらかじめ定めた基準値を超えたときに、各パターンＳａ，Ｓｂの色彩を統一するような処理を行うことができる。このようにすれば、設定作業に不慣れな作業者でも、ワークＷ１に投影されたマーキングパターンＴａ，Ｔｂの色彩が統一されるまで位置合わせ作業を行うことにより、撮像部１ａ，１ｂの関係を計測に最適な状態に設定することが可能になる。
【００５６】
なお、上記図４，５の例では、２つの撮像部１ａ，１ｂの視点や計測対象領域を位置合わせする目的で投影機能を利用しているが、第１実施例のように単体の撮像部１を使用する場合にも、同様の投影処理を行うことにより、ワークに対する撮像部１の視点の位置や光軸方向を合わせる作業を支援することができる。
【００５７】
また、上記では、図４および図５をそれぞれ別の実施例として説明したが、これらの実施例に適用された４種類の投影用画像５１ａ，５１ｂ，５２ａ，５２ｂを含む複数種の投影用画像を処理部２に登録しておき、これらの投影用画像の中から、目的に応じた投影用画像を選択して投影処理に使用するようにしてもよい。さらに、ユーザが画像作成ソフトにより作成した画像を投影用画像として登録できるようにすれば、自由度が増し、撮像部１の位置合わせ以外の目的にも利用することができる。たとえば、ワークを手作業で計測対象位置に配置する場合に、撮像および画像処理が終了したことを作業者に報知する目的で、ワークの特定の場所にマーキングパターンを投影することができる。
【００５８】
つぎに、図６は、投影部と撮像部とを分離させたタイプの画像処理装置の構成例を示す。この図６では、撮像部を１００、投影部を１１０、処理部を２００として示す。撮像部１００には、ＣＣＤ１０１やレンズ１０２など、撮像機能に関わる部材のみが配備され、投影部１１０には、ＬＣＤ１１１，光源１１２，および投光用のレンズ１１３が設けられる。また、この実施例では、計測対象物の例として、立方体状のワークＷ２を示す。
【００５９】
図６には示していないが、この実施例では、図中の撮像部１００を含む複数台の撮像部が設けられる（以下、全ての撮像部に、図中の撮像部の符号１００を適用する。）。処理部２００は、各撮像部１００から入力された撮像画像を用いた３次元計測処理を実行するもので、撮像処理部２０１、３次元計測処理部２０２、投影用画像生成部２０３、投影動作制御部２０４、キャリブレーション処理部２０５の機能が設定される。
【００６０】
撮像処理部２０１は、各撮像部１００のＣＣＤ１０１を同じタイミングで駆動し、各ＣＣＤ１０１からの撮像画像を入力する。３次元計測処理部２０２は、これらの撮像画像を用いてワークＷ２に対する３次元計測処理を実行する。投影用画像生成部２０３は、この３次元計測処理の結果に基づいて、投影用画像を生成する。投影動作制御部２０４は、投影画像生成部２０３から投影用画像の提供を受けて、これを投影部１１０のＬＣＤ１１１に出力することにより、当該画像を撮像部１００の視野に向けて投影させる。
【００６１】
キャリブレーション処理部２０５は、計測処理に先立ち、キャリブレーション作業を行う作業者の指示に従って動作し、複数の撮像部１００毎に、３次元計測用のパラメータを求めるキャリブレーション演算を実行し、この演算により導出されたパラメータを内部のメモリに登録する。さらにキャリブレーション処理部２０５では、投影部１１０のＬＣＤ１１１に対してもキャリブレーション演算を実行して、３次元計測により得た３次元座標に対応する画素を特定するのに必要なパラメータを求めるキャリブレーション演算を実行する。
【００６２】
ここで、ＬＣＤ１１０に対するキャリブレーション処理について、簡単に説明する。
この実施例の処理部２００には、複数の特徴点が特定の規則に従って配列された構成のキャリブレーションパターンを示す投影用画像が登録されている。作業者は、各撮像部１００に対するキャリブレーションが終了した後に、撮像対象位置にスクリーンを配置し、処理部２に対し、キャリブレーションパターンの投影用画像を読み出して投影部１１０に出力する旨を指示する操作を行う。この操作に応じて、投影用画像生成部２０３および投影動作制御部２０４が起動し、上記の投影用画像の読み出しや投影処理を実行する。このとき作業者は、各撮像部１００の視野内に十分な数の特徴点が明瞭に現れるように、投影部１１０の位置や姿勢を調整する。
【００６３】
上記の調整が完了すると、作業者は、処理部２００に対し、キャリブレーション演算の実行を指示する操作を行う。この操作により、撮像処理部２０１，３次元計測処理部２０２、キャリブレーション処理部２０５の協働による処理が開始され、まず、各撮像部１００からの画像を用いた３次元計測が実施され、各撮像部１００の視野内に共通に含まれる複数の特徴点の３次元座標が計測される。キャリブレーション処理部２０５は、これらの３次元座標を元の投影用画像中の特徴点の座標と対応づけて、これらを用いて、３次元座標の計測値とＬＣＤ１１１上の２次元座標との関係を表すパラメータを導出する。導出されたパラメータは、内部のメモリに登録される。
【００６４】
図７は、上記の登録処理が完了した画像処理装置において実行される処理の概要を、ワークＷ２に対する撮像部１００の光学系の関係、および処理部２００において実行される処理の手順を示すフローチャートなどにより示す。
【００６５】
この実施例の処理部２００では、まず、撮像処理部２０１が各撮像部１００からの撮像画像を入力し（ステップＡ３）、３次元計測処理部２０２による３次元計測処理を実行する（ステップＢ３）。なお、図７の例では、この３次元計測により、ワークＷ２のエッジ部分の３次元座標が計測されるものとして、その計測結果を透視変換したものを撮像画像に合成した画像４３を計測結果画像として作成する。処理部２００にモニタが接続される場合には、この計測結果画像４３はモニタに表示される。
【００６６】
透視用画像生成部２０３は、上記の処理により求められた３次元座標を取得して、これらを、キャリブレーション処理により登録されたパラメータに基づき、ＬＣＤ１１１の表示面に透視変換する。さらに、この透視変換により判明した各３次元座標の投影点に沿って輪郭パターンＥＰを設定し、この輪郭パターンＥＰを輝度の高い色彩により表した投影用画像５３を生成する（ステップＣ３）。
【００６７】
投影動作制御部２０４は、上記の処理により生成された投影用画像５３を投影部１１０に与えて、投影処理を実行させる。これにより、上記の輪郭パターンＥＰによる投影像ＭＥが３次元計測結果を示すマーキングパターンとしてワークＷ２に投影される。
【００６８】
上記の処理により生成される投影用画像５３中の輪郭パターンＥＰは、３次元計測により計測された各点を、投影部１１０のＬＣＤ１１１の位置から観察した状態を示すものである。したがって、３次元計測の結果が正しい場合には、輪郭パターンＥＰの投影により生じたマーキングパターンＭＥは、実際のワークＷ２の輪郭に沿う状態となるはずである。よって、作業者は、パターンＥＰの投影により生じたマーキングパターンが示す輪郭線と実際のワークの輪郭線とを見比べることにより、３次元計測の精度を確認することができる。
【符号の説明】
【００６９】
１，１００ 撮像部
２，２００ 処理部
１０，１０１ ＣＣＤ
１１，１１０ 投影部
１２，１１１ ＬＣＤ
２３，２０３ 投影画像生成部
２４，２０４ 投影動作制御部
２２ 検査実行部
２０２ ３次元計測処理部
５０，５１ａ，５１ｂ，５２ａ，５２ｂ，５３ 投影用画像
Ｍ，Ｍａ，Ｍｂ，Ｔａ，Ｔｂ，ＭＥ マーキングパターン
Ｗ０，Ｗ１，Ｗ２ ワーク
【技術分野】
【０００１】
本発明は、生産現場など、大きさや形状が統一された複数の物品を計測したり、その計測結果に基づき物品を検査する目的に用いられる画像処理装置に関する。
【背景技術】
【０００２】
この種の画像処理装置として、１台のカメラにより生成された画像を用いた２次元の計測処理を行うものと、複数台のカメラにより生成されたステレオ画像を用いた３次元計測を行うものとがある。いずれのタイプの画像処理装置でも、使用に先立ち、対象物を正しく撮像することができるように、カメラの視野の範囲や光軸の方向を合わせる必要がある。
【０００３】
従来のカメラの調整処理では、カメラにより生成された画像をモニタに表示し、モニタの表示と実際の対象物とを見比べながら、最適な撮像状態になるように、カメラの位置や姿勢を調整する。
【０００４】
また、上記の調整が終了して装置が利用される場合にも、適宜、処理結果をモニタに表示することにより、ユーザの便宜を図るようにしている。この表示の従来例として、たとえば、特許文献１には、ステレオ画像中の特定の点や領域を対象にした３次元計測を実行し、その計測結果を計測対象物の全体像に対応づけて立体的に表示することが記載されている。
【０００５】
また、特許文献２に記載された発明では、目視検査を行う検査者に、ＣＣＤや視線検出用のセンサが設けられたヘッドマウントディスプレイを装着させる。さらに、特許文献２には、ＣＣＤにより生成された画像を目視用画像としてディスプレイに表示すると共に、視線センサにより検査者の視線が固定されたことが検出されたときの画像を処理して欠陥を検出し、その欠陥の位置を示す枠画像を目視用画像に重ねて表示することが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−５３１４７号公報
【特許文献２】特開２００９−１５０８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１のように、モニタに処理結果が表示される場合には、現場のユーザは、実際の対象物と表示とを見比べることによって、処理結果の適否などを確認する。しかし、モニタの設置場所が撮像が行われる場所から離れている場合には、その確認が困難になり、作業に支障をきたすおそれがある。
【０００８】
特許文献２に記載された発明によれば、ユーザは、対象物の画像と画像処理結果とを容易に見比べることができるが、あくまでも画像の比較ができるだけであり、実物と画像処理の結果とを照合することにはならない。
【０００９】
また、特許文献２に記載された発明では、ユーザが特殊な装置（ヘッドマウントディスプレイ）を装着する必要があるが、この方法が適用できるのは、特許文献２のように、ユーザが現場に拘束されることを前提とする場合である。生産ラインを流れる製品を対象にした自動検査や、ピッキングシステムにおける３次元計測処理など、ユーザが常時処理対象物を見続ける必要のない用途にまで、この方法を適用するのは困難である。
【００１０】
本発明は、上記の問題点に着目し、実際の対象物と撮像手段との関係を確認する作業や、実際の対象物と画像処理結果とを比較する作業を、モニタを用いることなく、撮像が行われる現場で容易に行うことができるようにすることを、課題とする。
【課題を解決するための手段】
【００１１】
本発明は、２次元の撮像素子を有する撮像手段と、撮像素子が生成した２次元画像（以下、「撮像画像」という。）を撮像手段から入力し、その入力画像を用いてあらかじめ定められた画像処理および計測処理を実行する画像処理手段とを具備する画像処理装置に適用される。
【００１２】
本発明が適用された画像処理装置は、２次元のディジタル画像を表示するための表示素子を供え、この表示素子に表示された画像を撮像手段の視野に向けて投影する画像投影手段と、周囲と明るさまたは色が異なる画像データが設定された２次元パターンを含むディジタル画像を画像投影手段に与えて当該画像の投影処理を実行させる投影制御手段とを具備する。また、画像投影手段から投影される画像の結像面内における撮像素子の撮像対象範囲が、画像投影手段からの画像が投影される範囲に包含されるように、撮像手段と画像投影手段との関係が調整されると共に、２次元パターンが撮像対象領域内に投影される。
【００１３】
上記の構成によれば、画像投影手段から投影される画像の結像面に対象物の表面がほぼ位置合わせされた状態になったとき、この対象物の表面に鮮明な画像を投影することが可能になる。また、撮像素子の撮像対象範囲内に周囲と明るさまたは色が異なる画像データが設定された２次元パターンが投影されるので、撮像素子により撮像される範囲に含まれる対象物の表面のうち、上記の２次元パターンが投影される箇所を当該パターンの投影像により明示することが可能になる。さらに、撮像素子の撮像対象範囲は投影される画像が結像する範囲に包含されているので、撮像対象範囲のいずれの位置にも上記の２次元パターンを投影することが可能になる。
【００１４】
したがって、実物の対象物に対し、撮像手段の視野との関係を表すパターンを投影したり、撮像画像に対する処理により検出された部位を示すパターンを投影するなどの投影処理を行うことが可能になり、撮像画像をモニタの表示により確認する必要をなくすことができる。
【００１５】
上記の画像処理装置の好ましい一実施態様では、投影制御手段は、画像処理手段の処理結果に基づき上記２次元パターンの画像データを設定する画素を決定して、画像投影手段に投影される画像を生成する。このようにすれば、たとえば、画像処理により所定の特徴を有する部位が検出された場合に、その検出範囲に対応する表示素子側の画素に輝度の高い画像データを設定して投影処理を行うことにより、実際の対象物の表面のうち画像処理により検出された範囲を明るい投影パターンにより明示することが可能になる。また検出される部位の位置、形状、大きさが種々に変動しても、容易に対応することが可能になる。
【００１６】
他の好ましい実施態様による画像処理装置は、上記の２次元パターンを含む画像を登録するための画像登録手段を具備し、この画像登録手段に登録されている画像の１つを読み出して表示素子に表示させることにより、当該画像の投影処理を実行させる。
【００１７】
上記の実施態様によれば、たとえば、撮像手段の視野の中心位置や計測対象範囲などを表す２次元パターンを含む画像を画像登録手段に登録しておくことにより、撮像手段の位置や光軸を合わせる作業を行う場合には、登録された画像を投影することにより、モニタの表示を確認することなく作業を行うことが可能になる。また、複数の画像を登録して、その中から作業に必要な画像をユーザに選択させたり、ユーザが自身の用途に応じて作成した画像を登録するなどすれば、利便性をより一層向上することができる。
【００１８】
他の好ましい実施態様による画像処理装置では、撮像手段および画像投影手段は、同軸光学系を形成し、かつ同一の筐体の内部に収容される。また、画像投影手段から投影される画像の結像面内における撮像素子側の各画素に対応する各点に、表示素子の互いに異なる画素からの画像データが投影されるように、撮像手段と画像投影手段との関係が調整される。
【００１９】
上記の構成によれば、撮像手段と画像投影手段との光軸が同軸に揃えられると共に、撮像素子と表示素子との画素の対応関係が明確にされているので、表示素子の各画素の中から、撮像対象範囲内の明示したい箇所への投影を行う画素を容易に特定して、投影用画像を設定することが可能になる。
【００２０】
他の好ましい実施態様による画像処理装置では、画像投影手段は、撮像手段とは別体に形成されると共に、画像投影手段から投影される画像の結像面内における撮像素子側の各画素に対応する各点に、表示素子の互いに異なる画素からの画像データが投影されるように、撮像手段に対する関係が調整された状態で配備される。また画像処理手段は、撮像手段から入力された画像を用いて３次元計測処理を実行する。また投影制御手段は、画像処理手段の３次元計測処理の結果に基づく３次元情報を表示素子の表示面に透視変換し、その透視変換結果を用いて３次元計測結果を表す画素に２次元パターンの画像データが設定された画像を生成し、この画像を表示素子に表示させることにより当該画像を投影させる。
【００２１】
なお、この実施態様においては、撮像手段を、複数の２次元カメラによるステレオカメラとして構成し、このステレオカメラを用いた３次元計測を行うのが望ましい。
【００２２】
上記の実施態様の構成によれば、たとえば、３次元計測処理により取得した３次元情報に基づき、計測対象部位の輪郭形状を示す３次元パターンを生成して、これを表示素子の表面に透視変換することにより、表示素子から見た計測対象部位の輪郭形状を表す２次元パターンを得ることができる。したがって、この輪郭形状を表す２次元パターンを周囲より明るい画像データが設定されたパターンとした投影用画像を生成して投影すれば、ユーザは、投影された輪郭パターンと実際の対象物の輪郭線とを見比べて、３次元計測の結果の適否を認識することが可能になる。
【発明の効果】
【００２３】
本発明によれば、実際の対象物の撮像対象範囲内に投影される２次元パターンにより、撮像手段の視野と対象物との関係を確認したり、画像処理の結果と実際の対象物の状態とを比較することが可能になるので、ユーザは、モニタの表示を見なくとも、確認作業を容易に行うことが可能になる。また、撮像素子の撮像対象範囲内のどの場所にも、２次元パターンを投影することができ、パターンの形状や大きさも自由に設定することが可能であるので、利便性が高い装置を提供することができる。また、ユーザは、視認用の器具を装着する必要がなく、必要に応じて、実際の対象物を視覚により認識するだけで良いから、様々な用途の画像処理に利用することが可能になる。
【図面の簡単な説明】
【００２４】
【図１】本発明が適用される画像処理装置の構成例を示す図である。
【図２】撮像部の光学系の構成と処理部の機能ブロック図とを対応づけて示す図である。
【図３】ワークの欠陥に対する光学系の関係、および処理部が実行する処理手順とを対応づけて示す図である。
【図４】２個の撮像部の視点を位置合わせする場合の各撮像部の光学系とワークとの関係、および処理部が実行する処理手順を示す図である。
【図５】２個の撮像部の計測対象領域を位置合わせする場合の各撮像部の光学系とワークとの関係、および処理部が実行する処理手順とを対応づけて示す図である。
【図６】撮像部と投影部とが別体にされたタイプの画像処理装置の構成を示す図である。
【図７】図６の画像処理装置の光学系とワークとの関係、および処理部が実行する処理手順とを対応づけて示す図である。
【発明を実施するための形態】
【００２５】
図１は、本発明が適用される画像処理装置の使用例を示す。
この実施例の画像処理装置は、生産現場において、完成した製品または製品の一部を構成する部品（この実施例では「ワークＷ０」として示す。）の表面に視認される傷や汚れ等の欠陥を検査する目的に用いられるもので、検査対象のワークＷ０の上方に配備された撮像部１と、コンピュータを含む処理部２とにより構成される。なお、処理部２には、必要に応じて、モニタや設定用の操作部（キーボード、マウスなど）が接続される（他の実施例でも同様である。）。
【００２６】
処理部２は、図示しないワーク検出用のセンサからの検出信号により撮像位置へのワークＷ０の搬入を判別し、これに応じて撮像部１を駆動する。これにより撮像処理が実施され、処理部２に撮像画像が入力されると、処理部２では、この撮像画像に対して欠陥検出用の画像処理を実行する。この画像処理には、２値化、エッジ抽出など、欠陥の特徴を抽出するための処理と、抽出された特徴を計測する処理とが含まれる。
【００２７】
さらに処理部２は、画像処理の結果に基づき欠陥の有無を判別し、その判別結果を図示しない外部装置に出力すると共に、後記する検査結果画像を生成する。
【００２８】
さらに、この実施例の画像処理装置では、欠陥が検出されたときに、その検出部位や欠陥の状態を現場の作業者が容易に確認できるように、実際のワークＷ０の該当箇所に撮像部１から輝度の高い光を投光して、その箇所を明示するようにしている。
【００２９】
図２は、上記画像処理装置の撮像部１の光学系の構成と処理部２の機能ブロック図とを対応づけて示したものである。この図２および次の図３では、表面に欠陥Ｄが生じているワークＷ０を示す。
図２に示すように、撮像部１には、レンズ１４、ＣＣＤ１０、投影部１１、およびハーフミラー１５による同軸光学系が設けられる。このほか、図示していないが、撮像部１には、ＣＣＤ１０や投影部１１を駆動するための回路や、画像信号の出力回路などが含まれる。
【００３０】
投影部１１には、液晶パネル（ＬＣＤ）１３およびバックライト用の光源１４などが含まれる。ＬＣＤ１２は、ＣＣＤ１０と同じく、レンズ１４の焦点位置に配備される。またこの実施例では、ＬＣＤ１２とＣＣＤ１０とは、縦、横のサイズ（画素数）が同一で、解像度も等しいものとする。
【００３１】
ワークＷ０の表面には、図示しない外部照明からの光が照射される。図２では、ワークＷ０の表面がレンズ１４の合焦位置に合わせられているものとして、その表面の１点からの反射光の光路を一点鎖線により示す。この一点鎖線に示すように、ワークＷ０からレンズ１４に入射した光はハーフミラー１６を介してＣＣＤ１０に導かれ、これを受光したＣＣＤ１０によってワークＷの表面状態を表す画像が生成される。
【００３２】
投影部１１では、光源１３からのバックライト照明の下でＬＣＤ１２に２次元画像が表示されたとき、この画像中の各画素からの光が、ハーフミラー１５およびレンズ１４を介してレンズ１４の視野範囲内に投光される。これにより、ＬＣＤ１２に表示されている画像がワークＷ０の表面に投影される。
【００３３】
処理部２には、撮像処理部２１、検査実行部２２、投影用画像生成部２３、投影動作制御部２４の機能が設定される。撮像処理部２１は、ＣＣＤ１０を駆動し、生成された撮像画像を入力する。検査実行部２２は、撮像処理部２１から上記の撮像画像の供給を受け、欠陥検出のための画像処理や欠陥の有無を判別する処理を実行する。また外部機器に判別結果を出力する処理や、検査結果画像を生成する処理も、検査実行部２２により実行される。
【００３４】
投影用画像生成部２３は、検査実行部２２が欠陥Ｄを検出して検査結果画像を生成したことに応じて起動し、ＬＣＤ１２に表示させる投影用画像を生成する。投影動作制御部２４は、投影用画像生成部２３により生成された投影用画像を投影部１１に出力し、上記した投影処理を行う。
【００３５】
この実施例では、ＣＣＤ１０とＬＣＤ１２とは、画素数や解像度が完全に一致し、レンズ１４の焦点の位置に配備されているので、ＬＣＤ１２から投影される画像の結像面においては、ＣＣＤ１０の撮像対象範囲と、ＬＣＤ１２からの画像の投影範囲とは完全に一致する。すなわち、ＣＣＤ１０とＬＣＤ１２との間では、同じ座標にある画素同士が対応する関係となる。よって、ワークの表面がレンズ１４の合焦位置に合わせられている場合には、撮像画像中の座標（ｘ，ｙ）に現れるワークＷ０上の任意の点に対し、ＬＣＤ１２側の同一の座標（ｘ，ｙ）から画像データを投影することが可能になる。
【００３６】
この実施例では、上記の光学系の特性を利用して、実際のワークＷ０のうちの画像処理により欠陥が検出された箇所に、輝度の高い色彩によるパターン画像（以下、これを「マーキングパターン」という。）が投影されるようにしている。この投影により、現場の作業者は、実際のワークの明るく照明された箇所を不良が検出された部位として視認することができるので、検査結果の適否や不良の程度を容易に確認することができる。
【００３７】
図３は、撮像部１の光学系について、ワークＷ０の欠陥Ｄに対する光路を示すと共に、処理部２において実施される処理の概略手順のフローチャートを処理中に生成される画像の例に関連づけて示す。以下、この図を参照して、上記の処理部２および撮像部１において実行される処理を説明する。
【００３８】
検査対象のワークＷ０が搬入されると、処理部２では、撮像処理部２１によりＣＣＤ１０を駆動して、生成された画像を入力し（ステップＡ）、検査実行部２２による画像処理（計測処理や判別処理を含む。）を実行する（ステップＢ）。また、欠陥Ｄが検出された場合には、検査実行部２２は、その検出結果を示す検査結果画像４０を生成する。
【００３９】
図３に示す検査結果画像４０は、撮像画像をベースとするもので、画像中の欠陥Ｄ１を囲む範囲に矩形領域Ｒが設定されている。以下では、この領域Ｒを「検出領域Ｒ」という。
【００４０】
投影用画像生成部２３は、前記した光学系の特性に基づき、検査結果画像４０中の検出領域Ｒと同じ範囲に輝度の高い色彩領域ＲＰ（たとえば赤色の領域）を設定し、その他の画素に暗色（たとえば黒色）を設定した投影用画像５０を生成する（ステップＣ）。
投影動作制御部２４は、この投影用画像５０を投影部１１に与えて、投影処理を実行させる（ステップＤ）。これにより、投影用画像５０中の領域ＲＰ内の各画素からは、その領域ＲＰに設定された色彩による光がワークＷ０に投光されるが、他の暗色が設定された画素からは殆ど光は投光されない。よって、実際のワークＷ０の検出領域Ｒに対応する範囲に、領域ＲＰの投影像によるマーキングパターンＭが投影されて、この範囲が明示される。このマーキングパターンＭの投影範囲は、検査結果画像５０中の検出領域Ｒ内に現れた箇所に相当する。したがって、マーキングパターンＭ内に実際の欠陥Ｄが含まれているならば、検査の結果は正しいということになる。
【００４１】
上記の投影処理によれば、画像処理の結果に基づき、マーキングパターンＭの位置や大きさを自由に変更することができるので、検出された欠陥の位置、大きさ、形状などが個々のワークＷ０によってばらついても、なんの問題もなく、実際のワークＷ０の表面に欠陥の検出範囲を明示することが可能になる。したがって、撮像が行われる現場付近にモニタが配備されていなくとも、作業者は検査の結果を支障なく確認することができる。
【００４２】
なお、上記の実施例では、説明を簡単にするために、ＣＣＤ１０とＬＣＤ１２とのサイズや解像度が統一されているものとしたが、これらが異なる場合でも、ＬＣＤ１２からの投影用画像の結像面内におけるＣＣＤ１０の撮像対象範囲が投影用画像の結像範囲に包含され、かつ、この撮像対象範囲内のＣＣＤ１０の各画素に対応する各点に、それぞれＬＣＤ１２の互いに異なる画素からの画像データが投影される関係が成立していれば、ＣＣＤ１０とＬＣＤ１２との間の画素の対応関係に基づき、上記と同様の投影処理を実施することができる。
【００４３】
また、上記の投影処理は欠陥の検出結果を示す目的に限定されるものではない。たとえば、人手により実施される工程において、搬入されたワークを撮像して画像処理により作業対象部位を検出し、検出された対象部位にマーキングパターンを投影することも可能である。このような処理によれば、作業者は、作業対象部位を容易に認識して効率良く作業を行うことができる。
【００４４】
さらに、上記構成の画像処理装置では、種々の２次元パターンを含む画像を生成して投影することができるので、図４および図５に示すように、本格的な使用の前に、撮像部１の視野や光軸の方向などを調整する作業に利用することができる。
【００４５】
図４および図５の実施例では、図２，３の例より大きいワークＷ１を対象として、図１〜３の実施例と同様の構成の撮像部１を２つ使用して、ワークＷ１を異なる視点から撮像する。図４，５では、これらの撮像部１の構成を、図２，３と同じ数字にａ，ｂを付けた符号により示すと共に、各撮像部１ａ，１ｂに対して処理部２が実行する処理手順を示すフローチャートと投影用画像とを対応づけている。
【００４６】
また、図４，５には示していないが、各撮像部１ａ，１ｂは、同一の処理部２に接続され、処理部２において、各撮像部１ａ，１ｂから入力された撮像画像を用いた３次元計測処理、または画像毎に異なる内容の２次元の画像処理を実行する。また、この処理部２には、撮像部１ａ，１ｂ毎に、図２に示した撮像処理部２１、投影用画像生成部２３、投影動作制御部２４の機能が設定される。
【００４７】
なお、装置の構成は上記に限らず、たとえば各撮像部１ａ，１ｂを、それぞれ別個の処理部２に接続して、処理部２，２間で通信を行いながら処理を行ったり、各処理部２，２から上位機器に処理結果を出力して、上位機器で各処理結果を二次加工することも可能である。
【００４８】
図４の実施例では、ワークＷ１の表面の一点に各撮像部１ａ，１ｂの視野の中心点を合わせるために、投影機能を利用する。
【００４９】
具体的に説明すると、この実施例では、撮像部１ａ，１ｂ毎に、十字型のパターンＰａ，Ｐｂを含む投影用画像５１ａ，５１ｂを生成し（ステップＣ１，Ｃ２）、これらの投影用画像を投影部１２ａ，１２ｂに与えて投影処理を行わせる（Ｄ１，Ｄ２）。各パターンＰａ，Ｐｂの中心部（十字のクロス部分）は、ＣＣＤ１０ａ，１０ｂの中心部の画素に対応し、いずれの投影用画像５１ａ，５１ｂとも、パターンＰａ，Ｐｂの構成画素以外の画素に、背景色として暗色が設定される。また各投影用画像５１ａ，５１ｂにおけるパターンＰａ，Ｐｂの形状や大きさは一致しているが、それぞれ色彩が異なる。たとえば、画像５１ａのパターンＰａは赤色に設定され、画像５２ｂのパターンＰｂは青色に設定される。
【００５０】
上記によれば、それぞれの撮像部１ａ，１ｂの投影部１１ａ，１１ｂから上記の投影用画像５１ａ，５１ｂを投影することにより、ワークＷの表面に対し、各パターンＰａ，Ｐｂの投影像による十字型のマーキングパターンＭａ，Ｍｂが投影される。これらのマーキングパターンＭａ，Ｍｂは、それぞれ撮像部１ａ，１ｂの視野の中心部を表すことになるので、作業者は、各マーキングパターンＭａ，Ｍｂの中心部が目標とする位置で合わせるように、各撮像部１ａ，１ｂの位置や姿勢を調整することにより、撮像部１ａ，１ｂの視点を合わせることができる。
【００５１】
図５の実施例は、図４と同様のワークＷ１に対し、各撮像部１ａ，１ｂによる計測範囲を位置合わせする目的に投影機能を利用したものである。
この実施例でも、処理部２は、各撮像部１ａ，１ｂに対して図４の例と同様のステップＣ１，Ｄ１、ステップＣ２，Ｄ２を実行するが、この実施例では、撮像画像に設定される計測対象領域に対応する範囲に輝度の高い色彩による矩形パターンＳａ，Ｓｂを設定した投影用画像５２ａ，５２ｂを生成する。さらに、この実施例でも、図４の例と同様に、各投影用画像５２ａ，５２ｂの矩形パターンＳａ，Ｓｂにそれぞれ異なる色彩を設定する。
【００５２】
上記の処理によれば、各投影部１１ａ，１１ｂから上記の投影用画像５２ａ，５２ｂを投影することにより、各矩形パターンＳａ，Ｓｂの投影像Ｔａ，Ｔｂを、各撮像部１ａ，１ｂの計測対象領域を示すマーキングパターンとしてワークＷ１に投影することができる。これにより、作業者は、各色彩のマーキングパターンＴａ，Ｔｂが重なる範囲ができるだけ広くなるように、撮像部の光軸の向きを調整することによって、最適な計測状態を設定することができる。
【００５３】
なお、図５の実施例においては、ノイズなどの影響を考慮して、ＣＣＤ１０ａ，１０ｂの外周部の画素により生成される画像データを計測対象から除外し、これに伴い、投影用画像５２ａ，５２ｂでも、矩形パターンＳａ，Ｓｂの周囲に暗色領域を設定しているが、各撮像部１ａ，１ｂの視野に対応する範囲全体を明示したい場合には、投影用画像５２ａ，５２ｂの全ての画素に輝度の高い画像データを設定して投影を行ってもよい。
【００５４】
つぎに、図４，５の実施例では、撮像画像に対する画像処理に基づかずに、あらかじめ登録された投影用画像を読み出して投影するものであるが、これらの実施例でも、投影処理中に撮像を行って、生成された撮像画像を処理し、その処理結果に基づき各投影用画像の状態を変更してもよい。
【００５５】
たとえば、図５の実施例に関して説明すると、各投影用画像５２ａ，５２ｂが投影されている状態下で、ＣＣＤ１０ａ，１０ｂのいずれかによる撮像を行って、撮像画像からマーキングパターンＴａ，Ｔｂが重なる範囲を検出し、その重なり範囲の面積があらかじめ定めた基準値を超えたときに、各パターンＳａ，Ｓｂの色彩を統一するような処理を行うことができる。このようにすれば、設定作業に不慣れな作業者でも、ワークＷ１に投影されたマーキングパターンＴａ，Ｔｂの色彩が統一されるまで位置合わせ作業を行うことにより、撮像部１ａ，１ｂの関係を計測に最適な状態に設定することが可能になる。
【００５６】
なお、上記図４，５の例では、２つの撮像部１ａ，１ｂの視点や計測対象領域を位置合わせする目的で投影機能を利用しているが、第１実施例のように単体の撮像部１を使用する場合にも、同様の投影処理を行うことにより、ワークに対する撮像部１の視点の位置や光軸方向を合わせる作業を支援することができる。
【００５７】
また、上記では、図４および図５をそれぞれ別の実施例として説明したが、これらの実施例に適用された４種類の投影用画像５１ａ，５１ｂ，５２ａ，５２ｂを含む複数種の投影用画像を処理部２に登録しておき、これらの投影用画像の中から、目的に応じた投影用画像を選択して投影処理に使用するようにしてもよい。さらに、ユーザが画像作成ソフトにより作成した画像を投影用画像として登録できるようにすれば、自由度が増し、撮像部１の位置合わせ以外の目的にも利用することができる。たとえば、ワークを手作業で計測対象位置に配置する場合に、撮像および画像処理が終了したことを作業者に報知する目的で、ワークの特定の場所にマーキングパターンを投影することができる。
【００５８】
つぎに、図６は、投影部と撮像部とを分離させたタイプの画像処理装置の構成例を示す。この図６では、撮像部を１００、投影部を１１０、処理部を２００として示す。撮像部１００には、ＣＣＤ１０１やレンズ１０２など、撮像機能に関わる部材のみが配備され、投影部１１０には、ＬＣＤ１１１，光源１１２，および投光用のレンズ１１３が設けられる。また、この実施例では、計測対象物の例として、立方体状のワークＷ２を示す。
【００５９】
図６には示していないが、この実施例では、図中の撮像部１００を含む複数台の撮像部が設けられる（以下、全ての撮像部に、図中の撮像部の符号１００を適用する。）。処理部２００は、各撮像部１００から入力された撮像画像を用いた３次元計測処理を実行するもので、撮像処理部２０１、３次元計測処理部２０２、投影用画像生成部２０３、投影動作制御部２０４、キャリブレーション処理部２０５の機能が設定される。
【００６０】
撮像処理部２０１は、各撮像部１００のＣＣＤ１０１を同じタイミングで駆動し、各ＣＣＤ１０１からの撮像画像を入力する。３次元計測処理部２０２は、これらの撮像画像を用いてワークＷ２に対する３次元計測処理を実行する。投影用画像生成部２０３は、この３次元計測処理の結果に基づいて、投影用画像を生成する。投影動作制御部２０４は、投影画像生成部２０３から投影用画像の提供を受けて、これを投影部１１０のＬＣＤ１１１に出力することにより、当該画像を撮像部１００の視野に向けて投影させる。
【００６１】
キャリブレーション処理部２０５は、計測処理に先立ち、キャリブレーション作業を行う作業者の指示に従って動作し、複数の撮像部１００毎に、３次元計測用のパラメータを求めるキャリブレーション演算を実行し、この演算により導出されたパラメータを内部のメモリに登録する。さらにキャリブレーション処理部２０５では、投影部１１０のＬＣＤ１１１に対してもキャリブレーション演算を実行して、３次元計測により得た３次元座標に対応する画素を特定するのに必要なパラメータを求めるキャリブレーション演算を実行する。
【００６２】
ここで、ＬＣＤ１１０に対するキャリブレーション処理について、簡単に説明する。
この実施例の処理部２００には、複数の特徴点が特定の規則に従って配列された構成のキャリブレーションパターンを示す投影用画像が登録されている。作業者は、各撮像部１００に対するキャリブレーションが終了した後に、撮像対象位置にスクリーンを配置し、処理部２に対し、キャリブレーションパターンの投影用画像を読み出して投影部１１０に出力する旨を指示する操作を行う。この操作に応じて、投影用画像生成部２０３および投影動作制御部２０４が起動し、上記の投影用画像の読み出しや投影処理を実行する。このとき作業者は、各撮像部１００の視野内に十分な数の特徴点が明瞭に現れるように、投影部１１０の位置や姿勢を調整する。
【００６３】
上記の調整が完了すると、作業者は、処理部２００に対し、キャリブレーション演算の実行を指示する操作を行う。この操作により、撮像処理部２０１，３次元計測処理部２０２、キャリブレーション処理部２０５の協働による処理が開始され、まず、各撮像部１００からの画像を用いた３次元計測が実施され、各撮像部１００の視野内に共通に含まれる複数の特徴点の３次元座標が計測される。キャリブレーション処理部２０５は、これらの３次元座標を元の投影用画像中の特徴点の座標と対応づけて、これらを用いて、３次元座標の計測値とＬＣＤ１１１上の２次元座標との関係を表すパラメータを導出する。導出されたパラメータは、内部のメモリに登録される。
【００６４】
図７は、上記の登録処理が完了した画像処理装置において実行される処理の概要を、ワークＷ２に対する撮像部１００の光学系の関係、および処理部２００において実行される処理の手順を示すフローチャートなどにより示す。
【００６５】
この実施例の処理部２００では、まず、撮像処理部２０１が各撮像部１００からの撮像画像を入力し（ステップＡ３）、３次元計測処理部２０２による３次元計測処理を実行する（ステップＢ３）。なお、図７の例では、この３次元計測により、ワークＷ２のエッジ部分の３次元座標が計測されるものとして、その計測結果を透視変換したものを撮像画像に合成した画像４３を計測結果画像として作成する。処理部２００にモニタが接続される場合には、この計測結果画像４３はモニタに表示される。
【００６６】
透視用画像生成部２０３は、上記の処理により求められた３次元座標を取得して、これらを、キャリブレーション処理により登録されたパラメータに基づき、ＬＣＤ１１１の表示面に透視変換する。さらに、この透視変換により判明した各３次元座標の投影点に沿って輪郭パターンＥＰを設定し、この輪郭パターンＥＰを輝度の高い色彩により表した投影用画像５３を生成する（ステップＣ３）。
【００６７】
投影動作制御部２０４は、上記の処理により生成された投影用画像５３を投影部１１０に与えて、投影処理を実行させる。これにより、上記の輪郭パターンＥＰによる投影像ＭＥが３次元計測結果を示すマーキングパターンとしてワークＷ２に投影される。
【００６８】
上記の処理により生成される投影用画像５３中の輪郭パターンＥＰは、３次元計測により計測された各点を、投影部１１０のＬＣＤ１１１の位置から観察した状態を示すものである。したがって、３次元計測の結果が正しい場合には、輪郭パターンＥＰの投影により生じたマーキングパターンＭＥは、実際のワークＷ２の輪郭に沿う状態となるはずである。よって、作業者は、パターンＥＰの投影により生じたマーキングパターンが示す輪郭線と実際のワークの輪郭線とを見比べることにより、３次元計測の精度を確認することができる。
【符号の説明】
【００６９】
１，１００ 撮像部
２，２００ 処理部
１０，１０１ ＣＣＤ
１１，１１０ 投影部
１２，１１１ ＬＣＤ
２３，２０３ 投影画像生成部
２４，２０４ 投影動作制御部
２２ 検査実行部
２０２ ３次元計測処理部
５０，５１ａ，５１ｂ，５２ａ，５２ｂ，５３ 投影用画像
Ｍ，Ｍａ，Ｍｂ，Ｔａ，Ｔｂ，ＭＥ マーキングパターン
Ｗ０，Ｗ１，Ｗ２ ワーク
【特許請求の範囲】
【請求項１】
２次元の撮像素子を有する撮像手段と、前記撮像素子が生成した２次元画像を撮像手段から入力し、その入力画像を用いてあらかじめ定められた画像処理および計測処理を実行する画像処理手段とを具備する画像処理装置において、
２次元のディジタル画像を表示するための表示素子を備え、この表示素子に表示された画像を前記撮像手段の視野に向けて投影する画像投影手段と、
周囲と明るさまたは色が異なる画像データが設定された２次元パターンを含むディジタル画像を前記画像投影手段に与えて当該画像の投影処理を実行させる投影制御手段とを具備し、
前記画像投影手段から投影される画像の結像面内における前記撮像素子の撮像対象範囲が、前記画像投影手段からの画像が投影される範囲に包含されるように、撮像手段と画像投影手段との関係が調整されると共に、前記２次元パターンが前記撮像対象範囲内に投影される、
ことを特徴とする画像処理装置。
【請求項２】
前記投影制御手段は、前記画像処理手段の処理結果に基づき前記２次元パターンの画像データを設定する画素を決定して、前記画像投影手段に投影させる画像を生成する、請求項１に記載された画像処理装置。
【請求項３】
前記投影制御手段は、前記２次元パターンを含む画像を登録するための画像登録手段を具備し、この画像登録手段に登録されている画像の１つを読み出して前記表示素子に表示させることにより、当該画像の投影処理を実行させる、請求項１に記載された画像処理装置。
【請求項４】
前記撮像手段および前記画像投影手段は、同軸光学系を形成し、かつ同一の筐体の内部に収容されると共に、前記画像投影手段から投影される画像の結像面内における前記撮像素子側の各画素に対応する各点に、前記表示素子の互いに異なる画素からの画像データが投影されるように、前記撮像手段と前記画像投影手段との関係が調整されている、
請求項１〜３のいずれかに記載された画像処理装置。
【請求項５】
前記画像投影手段は、前記撮像手段とは別体に形成されると共に、前記画像投影手段から投影される画像の結像面内における前記撮像素子側の各画素に対応する各点に、前記表示素子の互いに異なる画素からの画像データが投影されるように、前記撮像手段に対する関係が調整された状態で配備され、
前記画像処理手段は、前記撮像手段から入力された画像を用いた３次元計測処理を実行し、
前記投影制御手段は、前記画像処理手段の３次元計測処理の結果に基づく３次元情報を前記表示素子の表示面に透視変換し、その透視変換結果を用いて前記３次元計測結果を表す画素に前記２次元パターンの画像データが設定された画像を生成し、この画像を前記表示素子に表示させることにより当該画像を投影させる、請求項１に記載された画像処理装置。
【請求項１】
２次元の撮像素子を有する撮像手段と、前記撮像素子が生成した２次元画像を撮像手段から入力し、その入力画像を用いてあらかじめ定められた画像処理および計測処理を実行する画像処理手段とを具備する画像処理装置において、
２次元のディジタル画像を表示するための表示素子を備え、この表示素子に表示された画像を前記撮像手段の視野に向けて投影する画像投影手段と、
周囲と明るさまたは色が異なる画像データが設定された２次元パターンを含むディジタル画像を前記画像投影手段に与えて当該画像の投影処理を実行させる投影制御手段とを具備し、
前記画像投影手段から投影される画像の結像面内における前記撮像素子の撮像対象範囲が、前記画像投影手段からの画像が投影される範囲に包含されるように、撮像手段と画像投影手段との関係が調整されると共に、前記２次元パターンが前記撮像対象範囲内に投影される、
ことを特徴とする画像処理装置。
【請求項２】
前記投影制御手段は、前記画像処理手段の処理結果に基づき前記２次元パターンの画像データを設定する画素を決定して、前記画像投影手段に投影させる画像を生成する、請求項１に記載された画像処理装置。
【請求項３】
前記投影制御手段は、前記２次元パターンを含む画像を登録するための画像登録手段を具備し、この画像登録手段に登録されている画像の１つを読み出して前記表示素子に表示させることにより、当該画像の投影処理を実行させる、請求項１に記載された画像処理装置。
【請求項４】
前記撮像手段および前記画像投影手段は、同軸光学系を形成し、かつ同一の筐体の内部に収容されると共に、前記画像投影手段から投影される画像の結像面内における前記撮像素子側の各画素に対応する各点に、前記表示素子の互いに異なる画素からの画像データが投影されるように、前記撮像手段と前記画像投影手段との関係が調整されている、
請求項１〜３のいずれかに記載された画像処理装置。
【請求項５】
前記画像投影手段は、前記撮像手段とは別体に形成されると共に、前記画像投影手段から投影される画像の結像面内における前記撮像素子側の各画素に対応する各点に、前記表示素子の互いに異なる画素からの画像データが投影されるように、前記撮像手段に対する関係が調整された状態で配備され、
前記画像処理手段は、前記撮像手段から入力された画像を用いた３次元計測処理を実行し、
前記投影制御手段は、前記画像処理手段の３次元計測処理の結果に基づく３次元情報を前記表示素子の表示面に透視変換し、その透視変換結果を用いて前記３次元計測結果を表す画素に前記２次元パターンの画像データが設定された画像を生成し、この画像を前記表示素子に表示させることにより当該画像を投影させる、請求項１に記載された画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１９１１７０（Ｐ２０１１−１９１１７０Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−５７３４７（Ｐ２０１０−５７３４７）
【出願日】平成２２年３月１５日（２０１０．３．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【出願人】（５０７３１１５３３）株式会社ファクトリービジョンソリューションズ (3)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１５日（２０１０．３．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【出願人】（５０７３１１５３３）株式会社ファクトリービジョンソリューションズ (3)
【Ｆターム（参考）】
[ Back to top ]