説明

画像処理装置、画像処理方法及びコンピュータプログラム

【課題】演算処理量、使用メモリ量を低減し、画像撮像時間を短縮するとともに、検査領域ごとに、それぞれ検査に適した画像を取得することができる画像処理装置、画像処理方法、及びコンピュータプログラムを提供する。
【解決手段】 異なる露光時間で撮像された、複数の多値画像に基づいて元の多値画像より階調の大きい合成画像を生成し、生成した合成画像を該合成画像の階調よりも低い階調へ階調圧縮する。検査を実行する複数の検査領域の指定を受け付け、検査領域ごとに階調圧縮の条件の指定を受け付け、記憶する。少なくとも記憶された検査領域を含む領域を異なる露光時間で撮像して、明るさが異なる複数の多値画像を取得し、取得した複数の多値画像を合成して元の多値画像より階調の大きい合成画像を生成する。記憶された検査領域ごとに指定を受け付けた階調圧縮の条件に基づいて、検査領域ごとに画像を階調圧縮する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体表面を異なる露光時間で撮像した複数の画像に基づいて、受光素子のダイナミックレンジより広いダイナミックレンジを有する合成画像を生成する画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
従来例として、露光時間の異なる画像を複数撮像し、撮像した複数の画像に基づいて受光素子のダイナミックレンジより広いダイナミックレンジを有する合成画像(以下、HDR画像)を生成する技術が開発されている。例えば特許文献1では、一の撮像装置を用いて異なる露光時間で画像を複数撮像する場合に、画像中の移動体の動き量を検出して、画像の位置を補正して合成画像を生成する撮像方法が開示されている。特許文献1では、撮像した画像を分割して、検出した移動体の動き量に応じて分割した画像を移動させることで合成画像を生成している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平10−021378号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
HDR画像を生成する場合、異なる露光条件で撮像した複数の画像を合成することにより、多階調の合成画像を生成する。生成した合成画像は、そのままでは検査処理に用いるデータ量が大きくなるので、合成画像を元の階調まで階調圧縮した画像(以下、階調圧縮画像)を生成する。特許文献1に開示してある撮像方法では、画像全体に対して異なる露光時間で撮像した複数の画像を合成して、その後に階調圧縮するため、演算処理量、使用メモリ量ともに相当量を要するという問題点があった。
【0005】
また、従来の方法では、広いダイナミックレンジを有する合成画像は、画像全体を一律に階調圧縮することにより、より低い階調の画像、例えば元の画像と同じ階調の画像にしていた。しかし、検査領域が複数存在する場合、一の検査領域で検査に適した画像を取得するように階調圧縮したとき、他の検査領域で検査には適さない画像を取得するようになるおそれがあった。
【0006】
本発明は、上記問題点に鑑みてなされたものであり、演算処理量、使用メモリ量を低減し、画像撮像時間を短縮するとともに、検査領域ごとに、それぞれ検査に適した画像を取得することができる画像処理装置、画像処理方法、及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために第1発明に係る画像処理装置は、異なる露光時間で撮像された、複数の多値画像に基づいて元の多値画像より階調の大きい合成画像を生成し、生成した合成画像を該合成画像の階調よりも低い階調へ階調圧縮する画像処理装置において、検査を実行する複数の検査領域の指定を受け付ける領域指定受付手段と、前記検査領域ごとに階調圧縮の条件の指定を受け付ける圧縮条件指定受付手段と、前記領域指定受付手段で指定を受け付けた検査領域及び前記圧縮条件指定受付手段で指定を受け付けた階調圧縮の条件を記憶する記憶手段と、少なくとも記憶された検査領域を含む領域を異なる露光時間で撮像して、明るさが異なる複数の多値画像を取得する多値画像取得手段と、取得した複数の多値画像を合成して元の多値画像より階調の大きい合成画像を生成する合成画像生成手段と、記憶された前記検査領域ごとに指定を受け付けた階調圧縮の条件に基づいて、前記検査領域ごとに画像を階調圧縮する画像圧縮手段とを備えることを特徴とする。
【0008】
また、第2発明に係る画像処理装置は、第1発明において、異なる複数の露光時間を含む露光時間範囲を特定する露光時間範囲特定手段と、前記露光時間範囲特定手段で特定された露光時間範囲内の異なる露光時間で撮像された複数の多値画像を合成して生成した合成画像、最長の露光時間で撮像された画像、最短の露光時間で撮像された画像のうち、少なくともいずれかの画像を表示する画像表示手段とを備え、前記露光時間範囲特定手段は、前記画像表示手段で表示された画像を視認することが可能な状態で前記露光時間範囲の設定を受け付けるようにしてあることを特徴とする。
【0009】
また、第3発明に係る画像処理装置は、第1発明において、異なる複数の露光時間を含む露光時間範囲を特定する露光時間範囲特定手段と、最大輝度値及び最小輝度値の設定を受け付ける輝度範囲設定受付手段と、前記検査領域内の輝度値が前記最大輝度値以下となる第一の露光時間を決定する第一露光時間決定手段と、前記検査領域ごとに、前記検査領域内の輝度値が前記最小輝度値以上となる第二の露光時間を決定する第二露光時間決定手段とを備え、前記露光時間範囲特定手段は、前記露光時間範囲を前記第一の露光時間以上前記第二の露光時間以下に特定するようにしてあることを特徴とする。
【0010】
また、第4発明に係る画像処理装置は、第3発明において、前記露光時間範囲特定手段は、前記検査領域ごとに決定された前記第一の露光時間及び前記第二の露光時間に基づいて露光時間範囲を特定するようにしてあり、前記多値画像取得手段は、特定された前記検査領域ごとの前記露光時間範囲が重なり合わない場合、重なり合わない範囲内の露光時間で多値画像を取得しないようにしてあることを特徴とする。
【0011】
また、第5発明に係る画像処理装置は、第1乃至第4発明のいずれか1つにおいて、前記画像圧縮手段は、指定を受け付けた検査領域を上下左右に所定の画素数拡大した画像作成領域にて前記合成画像を生成するようにしてあることを特徴とする。
【0012】
また、第6発明に係る画像処理装置は、第5発明において、前記所定の画素数は、検査時に実行するフィルタ処理のフィルタサイズに応じて設定するようにしてあることを特徴とする。
【0013】
また、第7発明に係る画像処理装置は、第5発明において、前記所定の画素数は、撮像手段における画素ごとの色の配列に応じて設定するようにしてあることを特徴とする。
【0014】
また、第8発明に係る画像処理装置は、第1乃至第7発明のいずれか1つにおいて、複数の前記検査領域が重なっている場合、重なっている領域全体を一の検査領域として設定するようにしてあることを特徴とする。
【0015】
次に、上記目的を達成するために第9発明に係る画像処理方法は、異なる露光時間で撮像された、複数の多値画像に基づいて元の多値画像より階調の大きい合成画像を生成し、生成した合成画像を該合成画像の階調よりも低い階調へ階調圧縮する画像処理装置で実行することが可能な画像処理方法において、前記画像処理装置は、検査を実行する複数の検査領域の指定を受け付ける領域指定受付工程と、前記検査領域ごとに階調圧縮の条件の指定を受け付ける圧縮条件指定受付工程と、前記領域指定受付工程にて指定を受け付けた検査領域及び前記圧縮条件指定受付工程にて指定を受け付けた階調圧縮の条件を記憶する記憶工程と、少なくとも記憶された検査領域を含む領域を異なる露光時間で撮像して、明るさが異なる複数の多値画像を取得する多値画像取得工程と、取得した複数の多値画像を合成して元の多値画像より階調の大きい合成画像を生成する合成画像生成工程と、記憶された前記検査領域ごとに指定を受け付けた階調圧縮の条件に基づいて、前記検査領域ごとに画像を階調圧縮する画像圧縮工程とを含むことを特徴とする。
【0016】
次に、上記目的を達成するために第10発明に係るコンピュータプログラムは、異なる露光時間で撮像された、複数の多値画像に基づいて元の多値画像より階調の大きい合成画像を生成し、生成した合成画像を該合成画像の階調よりも低い階調へ階調圧縮する画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記画像処理装置を、検査を実行する複数の検査領域の指定を受け付ける領域指定受付手段、前記検査領域ごとに階調圧縮の条件の指定を受け付ける圧縮条件指定受付手段、前記領域指定受付手段で指定を受け付けた検査領域及び前記圧縮条件指定受付手段で指定を受け付けた階調圧縮の条件を記憶する記憶手段、少なくとも記憶された検査領域を含む領域を異なる露光時間で撮像して、明るさが異なる複数の多値画像を取得する多値画像取得手段、取得した複数の多値画像を合成して元の多値画像より階調の大きい合成画像を生成する合成画像生成手段、及び記憶された前記検査領域ごとに指定を受け付けた階調圧縮の条件に基づいて、前記検査領域ごとに画像を階調圧縮する画像圧縮手段として機能させることを特徴とする。
【0017】
第1発明、第9発明及び第10発明では、異なる露光時間で撮像された、複数の多値画像に基づいて元の多値画像より階調の大きい合成画像を生成し、生成した合成画像を該合成画像の階調よりも低い階調へ階調圧縮する。検査を実行する複数の検査領域の指定を受け付け、検査領域ごとに階調圧縮の条件の指定を受け付け、指定を受け付けた検査領域及び階調圧縮の条件を記憶する。少なくとも記憶された検査領域を含む領域を異なる露光時間で撮像して、明るさが異なる複数の多値画像を取得し、取得した複数の多値画像を合成して元の多値画像より階調の大きい合成画像を生成する。記憶された検査領域ごとに指定を受け付けた階調圧縮の条件に基づいて、検査領域ごとに画像を階調圧縮することにより、検査に必要な領域に対してのみ、階調圧縮画像を生成すれば足り、画像処理の演算処理負荷を大きく低減することができる。また、階調圧縮の条件の指定を受け付ける前提として、例えば検査領域ごとに多値画像を取得する露光時間を、黒つぶれ又は白飛びが生じない露光時間範囲内に設定することにより、検査領域内で黒つぶれ又は白飛びが生じない階調圧縮画像を表示することが可能となる。
【0018】
第2発明では、異なる複数の露光時間を含む露光時間範囲を特定し、特定された露光時間範囲内の異なる露光時間で撮像された複数の多値画像を合成して生成した合成画像、最長の露光時間で撮像された画像、最短の露光時間で撮像された画像のうち、少なくともいずれかの画像を表示する。表示された画像を視認することが可能な状態で露光時間範囲の設定を受け付けることにより、画像を視認しながら最適な露光時間範囲を特定することが可能となる。
【0019】
第3発明では、異なる複数の露光時間を含む露光時間範囲を特定する。最大輝度値及び最小輝度値の設定を受け付け、検査領域内の輝度値が最大輝度値以下となる第一の露光時間を決定し、検査領域ごとに、検査領域内の輝度値が最小輝度値以上となる第二の露光時間を決定する。露光時間範囲を第一の露光時間以上第二の露光時間以下に特定することにより、検査領域内で黒つぶれ又は白飛びが生じない階調圧縮画像を表示することが可能となる。
【0020】
第4発明では、検査領域ごとに決定された第一の露光時間及び第二の露光時間に基づいて露光時間範囲を特定し、特定された検査領域ごとの露光時間範囲が重なり合わない場合、重なり合わない範囲内の露光時間で多値画像を取得しないことにより、不要な多値画像を取得することがなく、全体として階調圧縮画像を表示するまでに要する時間を短縮することが可能となる。
【0021】
第5発明では、指定を受け付けた検査領域を上下左右に所定の画素数拡大した画像作成領域にて合成画像を生成することにより、周縁部においても効果的なフィルタ処理を実行することが可能となる。
【0022】
第6発明では、所定の画素数は、検査時に実行するフィルタ処理のフィルタサイズに応じて設定することにより、周縁部においても効果的なフィルタ処理を実行することが可能となる。
【0023】
第7発明では、所定の画素数は、撮像手段における画素ごとの色の配列に応じて設定することにより、階調圧縮した画像のR値、G値、B値を正しく推定することが可能となる。
【0024】
第8発明では、複数の検査領域が重なっている場合、重なっている領域全体を一の検査領域として設定することにより、重なっている領域に対して二重に階調圧縮画像を生成することがなく、画像処理の演算処理負荷を低減することができると共に使用メモリ量を低減することが可能となる。
【発明の効果】
【0025】
本発明では、記憶された検査領域ごとに指定を受け付けた階調圧縮の条件に基づいて、検査領域ごとに画像を階調圧縮することにより、検査に必要な領域に対してのみ、階調圧縮画像を生成すれば足り、画像処理の演算処理負荷を大きく低減することができる。また、階調圧縮の条件の指定を受け付ける前提として、例えば検査領域ごとに多値画像を取得する露光時間を、黒つぶれ又は白飛びが生じない露光時間範囲内に設定することにより、検査領域内で黒つぶれ又は白飛びが生じない階調圧縮画像を表示することが可能となる。
【図面の簡単な説明】
【0026】
【図1】従来のHDR画像の生成方法の説明図である。
【図2】本発明の実施の形態に係る画像処理装置における画像処理方法の一例を説明するための模式図である。
【図3】本発明の実施の形態に係る画像処理装置の構成を模式的に示すブロック図である。
【図4】本発明の実施の形態に係る画像処理装置の一構成例を示す機能ブロック図である。
【図5】本発明の実施の形態に係る画像処理装置の露光時間範囲特定手段の一構成例を示す機能ブロック図である。
【図6】本発明の実施の形態に係る画像処理装置の露光時間範囲特定手段における主制御部の処理手順を示すフローチャートである。
【図7】露光時間範囲の説明図である。
【図8】本発明の実施の形態に係る画像処理装置の合成画像生成時の画像作成領域を示す模式図である。
【図9】図8(b)に対応するフィルタ処理の例示図である。
【図10】R画素、G画素、B画素の配列がベイヤー配列である場合のR、G、B画像作成領域の例示図である。
【図11】本発明の実施の形態に係る画像処理装置の主制御部の画像処理の手順を示すフローチャートである。
【図12】階調圧縮の条件として画像の画質調整パラメータを設定する画面の例示図である。
【図13】「明るさ」のパラメータによる輝度値の変動を示すグラフである。
【図14】「コントラスト」のパラメータによる輝度値の変動を示すグラフである。
【図15】第一の露光時間を設定する画面の例示図である。
【図16】第二の露光時間を設定する画面の例示図である。
【図17】検査領域が重なっている場合の検査領域の設定例を示す模式図である。
【発明を実施するための形態】
【0027】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。
【0028】
図1は、従来のHDR画像の生成方法の説明図である。図1(a)は異なる露光時間t1〜t5(t1<t2<t3<t4<t5)で撮像した複数の多値画像を示し、図1(b)は異なる露光時間で撮像した複数の多値画像を合成した16ビット階調の合成画像(HDR画像)を模式的に示している。図1(a)に示すように8ビット階調(256階調)の画像では、露光時間が短い場合(t1)には黒つぶれが生じており、露光時間が長い場合(t5)には白飛びが生じている。しかし、図1(b)に示すように、16ビット階調(65536階調)の合成画像(HDR画像)を生成することにより、黒つぶれ及び白飛びは解消している。
【0029】
ダイナミックレンジの広いHDR画像は、そのままでは検査処理に用いるデータ量が大きくなる。そこで、HDR画像を元の階調である8ビットへと階調圧縮する必要がある。図1(c)はHDR画像を階調圧縮した階調圧縮画像を示している。図1(c)に示すダイナミックレンジの広い階調圧縮画像を生成することにより、元の画像より鮮明な階調圧縮画像を表示することができる。
【0030】
しかし、画像全体を同じ条件で一律に階調圧縮する場合、明るい部分のコントラストを十分に確保したときには暗い部分のコントラストが不足する。一方、暗い部分のコントラストを十分に確保したときには明るい部分のコントラストが不足する。
【0031】
図2は、本発明の実施の形態に係る画像処理装置における画像処理方法の一例を説明するための模式図である。図2(a)に示すように、まず露光時間がそれぞれt1、t2、t3と、異なる8ビット画像を複数取得し、検査領域A1、A2の指定を受け付ける。
【0032】
次に検査領域A1、A2について、それぞれ複数の8ビット画像に所定の重みづけをして合成した16ビット画像を、図2(b)に示すようにHDR画像として生成する。従来とは異なり、HDR画像は検査領域A1、A2にのみ生成し、検査領域ではない非検査領域についてはHDR画像を生成しない。そして、図2(c)に示すように検査領域A1、A2それぞれのHDR画像を、それぞれ検査に適した条件で階調圧縮した階調圧縮画像を生成することにより、検査領域A1、A2についてそれぞれ検査に適したコントラスト、明るさの画像を取得することができる。
【0033】
図3は、本発明の実施の形態に係る画像処理装置の構成を模式的に示すブロック図である。図3に示すように本実施の形態に係る画像処理装置2は、多値画像を撮像する撮像手段であるカメラ1及びカメラ1により撮像された多値画像又は各種処理を行った後の画像を表示する表示装置5(画像表示手段)に接続されている。
【0034】
画像処理装置2は、少なくともCPU(中央演算装置)、LSI等で構成された主制御部21、RAM22、記憶手段23、I/Oインタフェース24、ビデオインタフェース25、通信インタフェース26、可搬型ディスクドライブ27及び上述したハードウェアを接続する内部バス28で構成されている。主制御部21は、内部バス28を介して画像処理装置2の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶手段23に記憶されているコンピュータプログラム100に従って、種々のソフトウェア的機能を実行する。RAM22は、SRAM、SDRAM等の揮発性メモリで構成され、コンピュータプログラム100の実行時にロードモジュールが展開され、コンピュータプログラム100の実行時に発生する一時的なデータ等を記憶する。
【0035】
記憶手段23は、内蔵される固定型記憶装置(ハードディスク、フラッシュメモリ)、ROM等で構成されている。記憶手段23に記憶されているコンピュータプログラム100は、プログラム及びデータ等の情報を記録したDVD、CD−ROM、フラッシュメモリ等の可搬型記録媒体90から、可搬型ディスクドライブ27を介してダウンロードされ、実行時には記憶手段23からRAM22へ展開して実行される。もちろん、通信インタフェース26を介して外部コンピュータからダウンロードされたコンピュータプログラムであっても良い。
【0036】
通信インタフェース26は内部バス28に接続されており、インターネット、LAN、WAN等の外部のネットワークに接続されることにより、外部のコンピュータ等とデータ送受信を行うことが可能となっている。すなわち、上述した記憶手段23は、画像処理装置2に内蔵される構成に限定されるものではなく、通信インタフェース26を介して接続されている外部のサーバコンピュータ等に設置されているハードディスク等の外部記録媒体であっても良い。また、生成されたHDR画像、階調圧縮画像等も、通信インタフェース26を介して外部機器4へ送信することができる。
【0037】
また、I/Oインタフェース24を介して、キーボード6及びマウス7等の入力装置と接続されている。もちろん、液晶パネル等と一体となったタッチパネル等の入力情報を取得する装置全般を含む。さらに、レーザプリンタ、ドットプリンタ等の印刷装置等と接続されていても良い。
【0038】
カメラ(撮像手段)1は、CCD撮像素子を備えたCCDカメラ等である。表示装置5は、ビデオインタフェース25を介して接続されているCRT、液晶パネル等を有する表示装置である。カメラ1、表示装置5等は、画像処理装置2と一体化されていても良いし、分離されていても良い。外部機器4は、通信インタフェース26を介して接続されている制御機器であり、例えばPLC(プログラマブルロジックコントローラ)等が相当する。ここで外部機器4とは、画像処理装置2による画像処理結果に応じて後処理を実行する機器全体を意味している。
【0039】
図4は、本発明の実施の形態に係る画像処理装置2の一構成例を示す機能ブロック図である。図4において、本実施の形態に係る画像処理装置2は、カメラ1と、画像処理装置2の処理を実行する画像処理部3と、記憶手段23と、入力受付/画像表示部8とで構成される。
【0040】
カメラ1は、例えばディジタルカメラとして機能し、検査する対象として例えばワークの表面を撮像し多値画像を取得して画像処理部3へ出力する。また、設定されて記憶されている露光時間範囲を画像処理部3から取得して検査時に画像を撮像する。
【0041】
画像処理部3は、検査領域設定・記憶手段31と、圧縮条件設定・記憶手段32と、多値画像取得手段33と、合成画像生成手段34と、画像圧縮手段35と、露光時間範囲設定・記憶手段36とを含む。また、画像処理部3は、主制御部21、RAM22、外部I/F等を含んで構成され、検査領域設定・記憶手段31、圧縮条件設定・記憶手段32、多値画像取得手段33、合成画像生成手段34、画像圧縮手段35、及び露光時間範囲設定・記憶手段36の処理動作を制御する。
【0042】
記憶手段23は、画像メモリとして機能し、カメラ1により撮像された多値画像、及び画像処理部3において各種処理を行った後の画像を随時記憶する。また、設定された検査領域、階調圧縮の条件、露光時間範囲等の設定データも記憶する。
【0043】
入力受付/画像表示部8は、コンピュータ用のモニタ等の表示装置5、キーボード6、マウス7等の入力装置で構成される。入力受付部は、例えばダイアログボックスとして表示装置5の表示画面上に設けられ、領域指定受付手段81と、圧縮条件指定受付手段82と、露光時間範囲特定手段83とを含む。画像表示部は、表示装置5の表示画面上の入力受付部に隣接して設けられ、画像表示手段84と、画像調整手段85とを含む。ユーザは、各種処理を行った後の画像を随時、画像表示部に表示させ、入力受付部から入力する。
【0044】
次に、画像処理部3の各構成について説明する。
【0045】
検査領域設定・記憶手段31は、入力受付/画像表示部8の領域指定受付手段81で指定を受け付けた領域を検査領域として設定して記憶する。取得した多値画像全体ではなく、検査の対象が撮像されている部分を含む小領域を検査領域として指定を受け付けることにより、検査に必要な領域に対してのみ露光時間を変えて撮像した複数の多値画像を合成し、階調圧縮すれば足り、全体として階調圧縮画像を表示するまでに要する時間を短縮することができる。
【0046】
圧縮条件設定・記憶手段32は、入力受付/画像表示部8の圧縮条件指定受付手段82で指定を受け付けた階調圧縮の条件を設定して記憶する。圧縮条件指定受付手段82で指定を受け付ける条件としては、明るさ、コントラストのパラメータ等である。
【0047】
なお、合成画像を生成するので、少なくとも二の露光時間が必要となる。そこで、入力受付/画像表示部8は露光時間範囲特定手段83を備え、検査領域全体、又は検査領域ごとに露光時間範囲を特定する。
【0048】
図5は、本発明の実施の形態に係る画像処理装置2の露光時間範囲特定手段83の一構成例を示す機能ブロック図である。図5において、露光時間範囲特定手段83は、輝度範囲設定受付手段831と、第一露光時間決定手段832と、第二露光時間決定手段833とを備えている。
【0049】
輝度範囲設定受付手段831は、最大輝度値及び最小輝度値の設定を受け付ける。第一露光時間決定手段832は、検査領域ごとに、検査領域内の輝度値が最大輝度値以下となる第一の露光時間を決定する。第二露光時間決定手段833は、検査領域ごとに、検査領域内の輝度値が最小輝度値以上となる第二の露光時間を決定する。
【0050】
露光時間範囲特定手段83は、検査領域ごとの露光時間範囲を、第一の露光時間以上第二の露光時間以下に特定する。つまり、輝度値が一定の範囲内に収束するように露光時間範囲を特定することができるので、黒つぶれ又は白飛びが生じるのを未然に回避することができる。
【0051】
図6は、本発明の実施の形態に係る画像処理装置2の露光時間範囲特定手段83における主制御部21の処理手順を示すフローチャートである。なお、図6は、検査領域設定・記憶手段31で設定した一の検査領域に対する処理を示しており、図6に示す処理を検査領域ごとに実行する。なお、検査領域全体に対する処理であっても良いことは言うまでもない。
【0052】
図6において、画像処理装置2の主制御部21は、露光時間t1で撮像した多値画像を取得し(ステップS601)、取得した多値画像の検査領域内のすべての画素値が最大輝度値以下であるか否かを判断する(ステップS602)。主制御部21が、取得した多値画像の検査領域内に最大輝度値より大きい画素値が存在すると判断した場合(ステップS602:NO)、主制御部21は、露光時間t1を一定時間αだけ短縮した時間を新たな露光時間t1とし(ステップS603)、処理をステップS601へ戻して上述した処理を繰り返す。
【0053】
主制御部21が、取得した多値画像の検査領域内のすべての画素値が最大輝度値以下であると判断した場合(ステップS602:YES)、主制御部21は、露光時間t1を露光時間の下限値(第一の露光時間)tmin とし(ステップS604)、新たな露光時間t2で撮像した多値画像を取得する(ステップS605)。主制御部21は、取得した多値画像の検査領域内のすべての画素値が最小輝度値以上であるか否かを判断する(ステップS606)。
【0054】
主制御部21が、取得した多値画像の検査領域内に最小輝度値より小さい画素値が存在すると判断した場合(ステップS606:NO)、主制御部21は、露光時間t2を一定時間αだけ延長した時間を新たな露光時間t2とし(ステップS607)、処理をステップS605へ戻して上述した処理を繰り返す。主制御部21が、取得した多値画像の検査領域内のすべての画素値が最小輝度値以上であると判断した場合(ステップS606:YES)、主制御部21は、露光時間t2を露光時間の上限値(第二の露光時間)tmax とし(ステップS608)、tmin 以上tmax 以下の範囲を露光時間範囲として特定する(ステップS609)。なお、露光時間範囲は、後述するようにユーザが表示された画像を視認しながら設定することも可能である。
【0055】
図4に戻って、多値画像取得手段33は、検査領域ごとに、特定した露光時間範囲内の少なくとも二の露光時間で多値画像を取得する。すなわち、図6で特定した露光時間の下限値(第一の露光時間)tmin 以上、露光時間の上限値(第二の露光時間)tmax 以下である露光時間範囲内の露光時間で撮像した多値画像を複数取得する。
【0056】
なお、特定された検査領域ごとの露光時間範囲が重ならない範囲内の露光時間を、多値画像を取得する露光時間として設定しない。図7は、露光時間範囲の説明図である。図7の例では2つの検査領域について、露光時間の下限値(第一の露光時間)tmin 及び露光時間の上限値(第二の露光時間)tmax を算出して露光時間範囲を特定している。
【0057】
図7に示すように、一の検査領域について特定した露光時間範囲71と、他の検査領域について特定した露光時間範囲72とが互いに重なり合わない場合、多値画像を取得する露光時間として露光時間範囲73内の露光時間を設定しない。これにより、余分な露光時間での撮像を行わないので不要な多値画像を取得することがなく、全体として階調圧縮画像を表示するまでに要する時間を短縮することができる。すなわち、ユーザが設定した検査領域内についてのみ白飛び及び黒つぶれを抑制するのに必要な露光時間を設定し、検査領域外については白飛び及び黒つぶれの発生を許容することにより、余分な露光時間での撮像を極力減らすことができる。
【0058】
図4に戻って、合成画像生成手段34は、異なる露光時間で撮像した複数の多値画像を、検査領域ごとに一定の重みづけをして合成した合成画像(HDR画像)を生成する。これにより、検査領域ごとに広いダイナミックレンジを有するHDR画像を生成することができる。
【0059】
画像圧縮手段35は、検査領域ごとに指定を受け付けた階調圧縮の条件に基づいて、検査領域ごとに合成画像を階調圧縮する。これにより、検査領域ごとに階調圧縮画像を生成することができる。
【0060】
露光時間範囲設定・記憶手段36は、露光時間範囲特定手段83で特定された検査領域ごとの露光時間範囲、すなわち第一の露光時間以上第二の露光時間以下である露光時間範囲を設定して記憶する。
【0061】
検査領域ごとの合成画像生成時には、指定を受け付けた検査領域を上下左右に所定の画素数拡大した領域を画像作成領域として合成画像を生成することが好ましい。フィルタ処理を実行する場合、検査領域よりも広い範囲を画像作成領域としておく必要があるからである。
【0062】
図8は、本発明の実施の形態に係る画像処理装置2の合成画像生成時の画像作成領域の概念を示す模式図である。図8(a)に示す多値画像は、検査領域A1及びA2の指定を受け付けている。
【0063】
図8(b)は、検査領域A1の合成画像生成時の画像作成領域A1’を示している。図8(b)では、検査領域A1よりも上下左右に1画素ずつ広い領域を画像作成領域A1’として合成画像を生成している。
【0064】
同様に、図8(c)は、検査領域A2の合成画像生成時の画像作成領域A2’を示している。図8(c)では、検査領域A2よりも上下左右に2画素ずつ広い領域を画像作成領域A2’として合成画像を生成している。
【0065】
図9は、フィルタ処理の例示図である。図9では、3×3の平均化フィルタ処理を実行している。ここで、3×3の平均化フィルタ処理とは、着目する画素を中心として、その周囲1画素の範囲(すなわち9画素)の輝度値の平均値を着目画素の画素値とする処理を意味する。
【0066】
図9(a)に示すように、ハッチングを施した着目画素91の輝度値は、着目画素91の周囲1画素の範囲に存在する9つの画素92の輝度値の平均値として算出している。したがって、図9(b)に示すように、着目画素93が検査領域の縁端の画素である場合、上下左右の周囲1画素の範囲に存在する9つの画素94の輝度値を取得するためには、検査領域よりも上下左右に1画素ずつ広い領域を画像作成領域としておく必要がある。
【0067】
同様に、5×5の平均化フィルタ処理を実行する場合、着目する画素を中心として、その周囲2画素の範囲(すなわち25画素)の輝度値の平均値を着目画素の画素値としている。したがって、図9(b)に示すように、着目画素が検査領域の縁端の画素である場合であっても、上下左右の周囲2画素の輝度値を取得するためには、検査領域よりも上下左右に2画素ずつ広い領域を画像作成領域としておく必要がある。
【0068】
このように、フィルタサイズに応じて、画像作成領域の大きさを変動させることにより、高い精度で多階調の合成画像を生成することが可能となる。
【0069】
また、カラー画像の画素の配列に応じて、画像作成領域の大きさを定めても良い。図10は、R画素、G画素、B画素の配列がベイヤー配列である場合のR、G、B画像作成領域の例示図である。例えばカラーCCDに代表されるカラー撮像素子は、画素ごとにR成分の受光感度を有するR画素、G成分の受光感度を有するG画素、B成分の受光感度を有するB画素が、図10(a)に示すベイヤー配列で配列されている。
【0070】
画素ごとのR値、G値、B値を算出するためには、着目画素を中心として、その周囲1画素の範囲(すなわち9画素)のR値、G値、B値から着目画素のR値、G値、B値を図10(b)〜(d)に示すように推定演算する。したがって、着目画素が検査領域の縁端の画素である場合、上下左右の周囲1画素のR値、G値、B値を取得するためには、検査領域よりも上下左右に1画素ずつ広い領域を画像作成領域としておく必要がある。
【0071】
なお、画像作成領域として検査領域を拡大する画素数は、フィルタサイズから定まる画素数と、カラー画像の画素の配列から定まる画素数との和として定めれば良い。
【0072】
図11は、本発明の実施の形態に係る画像処理装置2の主制御部21の画像処理の手順を示すフローチャートである。主制御部21は、検査領域の指定を受け付け、指定を受け付けた領域を検査領域として設定して記憶する(ステップS1101)。取得した多値画像全体ではなく、検査の対象が撮像されている部分を含む小領域を検査領域として指定を受け付けることにより、検査に必要な領域に対してのみ、露光時間を変えて撮像した複数の多値画像を合成し、階調圧縮すれば足り、全体として階調圧縮画像を表示するまでに要する時間を短縮することができる。
【0073】
主制御部21は、階調圧縮の条件の指定を受け付け、指定を受け付けた階調圧縮の条件を設定して記憶する(ステップS1102)。指定を受け付ける条件としては、合成画像の基礎となる多値画像の露光条件、合成時の重みづけ条件等である。
【0074】
図12は、階調圧縮の条件として画像の画質調整パラメータを設定する画面の例示図である。図12(a)に示すように、画像表示領域120に多値画像を表示し、検査領域A1、A2を指定する。画質調整パラメータの設定は、検査領域を「領域番号」で指定し、「明るさ」と「コントラスト」のパラメータを指定することにより階調圧縮画像の画質を調整する画質調整手段85として機能する。具体的には、領域番号指定領域121にて検査領域を指定し、明るさ指定領域122及びコントラスト指定領域123にて「明るさ」と「コントラスト」のパラメータを指定する。図12(a)では、「領域番号」として‘1’を指定することにより、検査領域A1に対して画質調整パラメータを設定する。画面表示領域120には、画質調整パラメータを変更した後に実際に作成される合成画像、最長の露光時間で撮像した画像、又は最短の露光時間で撮像した画像等を表示しても良い。これにより、ユーザは表示される画像を確認しながら画質調整パラメータの妥当性を検証することができるので、適切な画質調整パラメータを設定することが容易になる。
【0075】
ここで、「明るさ」及び「コントラスト」のパラメータを指定することにより、どのように階調圧縮画像の画質を調整するのか説明する。図13は、「明るさ」のパラメータによる輝度値の変動を示すグラフである。図13では、縦軸に「明るさ」のパラメータによる画質調整後のHDR画像の輝度値Xを、横軸に画質調整前のHDR画像の輝度値Iを、それぞれ示している。
【0076】
図13は、階調圧縮前のHDR画像の階調が4096階調である場合の輝度値Iの明るさを変える変換特性をグラフに示している。変換後の輝度値Xは(式1)に従って算出されている。
【0077】
【数1】

【0078】
(式1)からもわかるように、パラメータpの値が大きくなるにつれIの値が小さい領域での変換係数が大きくなる。したがって、パラメータpの値が‘0’である場合、すなわち輝度値が同じ値に変換される場合のグラフ131は、パラメータpの値を少し大きくした場合にはグラフ132へ、パラメータpの値をより大きくした場合にはグラフ133へ、それぞれ変換される。本実施の形態では、「明るさ」のパラメータの値が0〜100まで変動するのに対応して、パラメータpの値を1〜16に変動させるようにしてある。つまり、「明るさ」のパラメータの値を0〜100の範囲内で変動させることにより、(式1)のパラメータpの値が0〜16の間で変動し、輝度値の変換特性を調整することができる。
【0079】
図14は、「コントラスト」のパラメータによる輝度値の変動を示すグラフである。図14では、縦軸に階調圧縮画像の輝度値Yを、横軸に明るさ調整後のHDR画像の輝度値Xを、それぞれ示している。なお、X1、Y1は、変換曲線の変曲点となり、変曲点での傾きがコントラストの大小を決定付ける。(X1、Y1)の値はあらかじめ定めてある固定値を用いても良いし、ユーザの設定を受け付けて特定しても良い。
【0080】
図14(a)及び(b)のグラフでは、HDR画像が4096階調である場合であって、パラメータqが1以上であるときのコントラスト曲線を示しており、階調圧縮画像の輝度値Yは、画質調整後のHDR画像の輝度値Xに基づいて(式2)又は(式3)により算出される。
【0081】
【数2】

【0082】
【数3】

【0083】
図14(a)及び(b)は、パラメータqが1より大きい場合を示しており、(X1、Y1)を中心としてコントラストの立ち上がりが急峻となっている。
【0084】
一方、図14(c)及び(d)のグラフでは、HDR画像が4096階調である場合であって、パラメータqが1より小さいときのコントラスト曲線を示している。図14(c)と(d)とでは、設定を受け付けた(X1、Y1)の値が相違しており、(X1、Y1)を中心としてコントラストの立ち上がりが滑らかになっている。
【0085】
本実施の形態では、「コントラスト」のパラメータの値が0〜100まで変動するのに対応して、パラメータqの値を0.18〜5.6に変動させるようにしてある。つまり、「コントラスト」のパラメータの値を0〜100の範囲内で変動させることにより、(式2)又は(式3)のパラメータqの値が0.18〜5.6の間で変動し、輝度値の変換特性を調整することができる。
【0086】
このように、「明るさ」のパラメータ及び「コントラスト」のパラメータを変動させることにより、(式1)のパラメータp及び(式2)、(式3)のパラメータqを変動させることができ、所望の画質を有する階調圧縮画像を生成して表示することができる。
【0087】
具体的には、図12(b)では、明るさ指定領域122の値を‘50’から‘30’へ下げることにより、表示される階調圧縮画像を明確にしている。そして、図12(c)では、コントラスト指定領域123の値を‘50’から‘70’へ上げることにより、表示される階調圧縮画像をより明確にしている。
【0088】
図12(d)では、「領域番号」として‘2’を指定することにより、検査領域A2に対して画質調整パラメータを設定する。具体的には、明るさ指定領域122の値を‘50’から‘80’へ上げ、コントラスト指定領域123の値を‘50’から‘75’へ上げることにより、表示される階調圧縮画像を明確にしている。
【0089】
このように、検査領域ごとに異なる階調圧縮の条件を設定することができるので、例えば検査領域ごとにコントラストを強調したい明るさが異なる場合、それぞれ適切な階調圧縮の条件を設定することにより、ユーザの所望の画像を取得することができる。ここで、階調圧縮の条件とは、図14に示すように、HDR画像の各画素の輝度値を入力変数、階調圧縮後の輝度値を出力変数としたときの変換特性であり、変換特性は変換曲線形状、変曲点の位置等により規定される。ユーザが変換特性を検査領域ごとに選択することにより、例えば検査領域A1では暗い部分のコントラストを強調し、検査領域A2では明るい部分のコントラストを強調する等、検査領域の特性に合わせた階調圧縮を実行することが可能となる。なお、変換曲線形状としては、図14に示したS字形状、逆S字形状の他に、指数(対数)関数、線形等の様々な曲線形状が考えられ、曲線形状もまたユーザが選択することにより、各検査領域に適した幅の広い階調圧縮を実行することが可能になる。
【0090】
図11に戻って、主制御部21は、検査領域ごとに露光時間範囲を特定する(ステップS1103)。具体的には、最大輝度値及び最小輝度値の設定を受け付け、検査領域ごとに、検査領域内の輝度値が最大輝度値以下となる第一の露光時間、及び検査領域内の輝度値が最小輝度値以上となる第二の露光時間を算出する。そして、検査領域ごとの露光時間範囲を、第一の露光時間以上第二の露光時間以下に特定することにより、輝度値が一定の範囲内に収束するように露光時間範囲を特定することができるので、黒つぶれ又は白飛びを未然に回避することができる。
【0091】
図15は、第一の露光時間を設定する画面の例示図である。図15に示すように、露光時間設定領域124、125の値を変化させる都度、画像表示領域120に表示される画像が変化する。露光時間設定領域124の値を‘200’から‘140’へ下げることにより、検査領域A2の画像に黒つぶれが生じるものの、検査領域A1の画像は明確になる。
【0092】
図16は、第二の露光時間を設定する画面の例示図である。露光時間設定領域125の値を‘10000’から‘10300’へ上げることにより、検査領域A1の画像に白飛びが生じるものの、検査領域A2の画像は明確になる。
【0093】
図11に戻って、主制御部21は、検査領域ごとに、特定した露光時間範囲内の少なくとも二の露光時間で多値画像を取得する(ステップS1104)。すなわち、特定した露光時間の下限値(第一の露光時間)以上、露光時間の上限値(第二の露光時間)以下である露光時間範囲内の露光時間で撮像した複数の多値画像を取得する。
【0094】
主制御部21は、異なる露光時間で撮像した複数の多値画像を、輝度値に応じた重みづけをして合成した合成画像を生成する(ステップS1105)。これにより、検査領域ごとに広いダイナミックレンジを有するHDR画像を合成画像として生成することができる。
【0095】
主制御部21は、検査領域ごとに指定を受け付けた階調圧縮の条件に基づいて、検査領域ごとに合成画像を階調圧縮する(ステップS1106)。これにより、検査領域ごとの階調圧縮画像を生成することができる。
【0096】
なお、指定を受け付けた検査領域が重なっている場合、重なっている検査領域をマージして、一の検査領域として設定しても良い。重なっている検査領域に対して二重に合成画像の生成処理及び階調圧縮処理を実行することがなく、画像処理の演算処理負荷を低減することができると共に使用メモリ量を低減することが可能になるからである。
【0097】
図17は、検査領域が重なっている場合の検査領域の設定例を示す模式図である。図17(a)に示すように、3つの検査領域A4、A5、A6の指定を受け付けて、検査領域A4とA5とが一部重なっている場合、図17(b)に示すように検査領域A4と検査領域A5とをマージした検査領域A4+A5を一の検査領域として設定する。これにより、検査領域A4と検査領域A5とが重なり合っている領域171に対して二重に合成画像の生成処理及び階調圧縮処理を実行することがなく、画像処理の演算処理負荷を低減することができると共に使用メモリ量を低減することが可能になる。
【0098】
以上のように本実施の形態によれば、検査領域ごとに指定を受け付けた階調圧縮の条件に基づいて、検査領域ごとに画像を階調圧縮することにより、検査領域ごとの検査に適した明るさ、コントラストを有する画像を作成することができ、安定した検査を行うことが可能となる。また、検査領域ごとに画像を階調圧縮することにより、検査に必要な領域に対してのみ、HDR画像を生成し階調圧縮すれば足り、画像処理の演算処理負荷を大きく低減することができる。
【0099】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。
【符号の説明】
【0100】
1 カメラ(撮像手段)
2 画像処理装置
3 画像処理部
23 記憶手段
8 入力受付/画像表示部
31 検査領域設定・記憶手段
32 圧縮条件設定・記憶手段
33 多値画像取得手段
34 合成画像生成手段
35 画像圧縮手段
36 露光時間範囲設定・記憶手段
81 領域指定受付手段
82 圧縮条件指定受付手段
83 露光時間範囲特定手段
84 画像表示手段
85 画質調整手段
831 輝度範囲設定受付手段
832 第一露光時間決定手段
833 第二露光時間決定手段

【特許請求の範囲】
【請求項1】
異なる露光時間で撮像された、複数の多値画像に基づいて元の多値画像より階調の大きい合成画像を生成し、生成した合成画像を該合成画像の階調よりも低い階調へ階調圧縮する画像処理装置において、
検査を実行する複数の検査領域の指定を受け付ける領域指定受付手段と、
前記検査領域ごとに階調圧縮の条件の指定を受け付ける圧縮条件指定受付手段と、
前記領域指定受付手段で指定を受け付けた検査領域及び前記圧縮条件指定受付手段で指定を受け付けた階調圧縮の条件を記憶する記憶手段と、
少なくとも記憶された検査領域を含む領域を異なる露光時間で撮像して、明るさが異なる複数の多値画像を取得する多値画像取得手段と、
取得した複数の多値画像を合成して元の多値画像より階調の大きい合成画像を生成する合成画像生成手段と、
記憶された前記検査領域ごとに指定を受け付けた階調圧縮の条件に基づいて、前記検査領域ごとに画像を階調圧縮する画像圧縮手段と
を備えることを特徴とする画像処理装置。
【請求項2】
異なる複数の露光時間を含む露光時間範囲を特定する露光時間範囲特定手段と、
前記露光時間範囲特定手段で特定された露光時間範囲内の異なる露光時間で撮像された複数の多値画像を合成して生成した合成画像、最長の露光時間で撮像された画像、最短の露光時間で撮像された画像のうち、少なくともいずれかの画像を表示する画像表示手段と
を備え、
前記露光時間範囲特定手段は、前記画像表示手段で表示された画像を視認することが可能な状態で前記露光時間範囲の設定を受け付けるようにしてあることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
異なる複数の露光時間を含む露光時間範囲を特定する露光時間範囲特定手段と、
最大輝度値及び最小輝度値の設定を受け付ける輝度範囲設定受付手段と、
前記検査領域内の輝度値が前記最大輝度値以下となる第一の露光時間を決定する第一露光時間決定手段と、
前記検査領域ごとに、前記検査領域内の輝度値が前記最小輝度値以上となる第二の露光時間を決定する第二露光時間決定手段と
を備え、
前記露光時間範囲特定手段は、前記露光時間範囲を前記第一の露光時間以上前記第二の露光時間以下に特定するようにしてあることを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記露光時間範囲特定手段は、前記検査領域ごとに決定された前記第一の露光時間及び前記第二の露光時間に基づいて露光時間範囲を特定するようにしてあり、
前記多値画像取得手段は、特定された前記検査領域ごとの前記露光時間範囲が重なり合わない場合、重なり合わない範囲内の露光時間で多値画像を取得しないようにしてあることを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記画像圧縮手段は、指定を受け付けた検査領域を上下左右に所定の画素数拡大した画像作成領域にて前記合成画像を生成するようにしてあることを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。
【請求項6】
前記所定の画素数は、検査時に実行するフィルタ処理のフィルタサイズに応じて設定するようにしてあることを特徴とする請求項5に記載の画像処理装置。
【請求項7】
前記所定の画素数は、撮像手段における画素ごとの色の配列に応じて設定するようにしてあることを特徴とする請求項5に記載の画像処理装置。
【請求項8】
複数の前記検査領域が重なっている場合、重なっている領域全体を一の検査領域として設定するようにしてあることを特徴とする請求項1乃至7のいずれか一項に記載の画像処理装置。
【請求項9】
異なる露光時間で撮像された、複数の多値画像に基づいて元の多値画像より階調の大きい合成画像を生成し、生成した合成画像を該合成画像の階調よりも低い階調へ階調圧縮する画像処理装置で実行することが可能な画像処理方法において、
前記画像処理装置は、
検査を実行する複数の検査領域の指定を受け付ける領域指定受付工程と、
前記検査領域ごとに階調圧縮の条件の指定を受け付ける圧縮条件指定受付工程と、
前記領域指定受付工程にて指定を受け付けた検査領域及び前記圧縮条件指定受付工程にて指定を受け付けた階調圧縮の条件を記憶する記憶工程と、
少なくとも記憶された検査領域を含む領域を異なる露光時間で撮像して、明るさが異なる複数の多値画像を取得する多値画像取得工程と、
取得した複数の多値画像を合成して元の多値画像より階調の大きい合成画像を生成する合成画像生成工程と、
記憶された前記検査領域ごとに指定を受け付けた階調圧縮の条件に基づいて、前記検査領域ごとに画像を階調圧縮する画像圧縮工程と
を含むことを特徴とする画像処理方法。
【請求項10】
異なる露光時間で撮像された、複数の多値画像に基づいて元の多値画像より階調の大きい合成画像を生成し、生成した合成画像を該合成画像の階調よりも低い階調へ階調圧縮する画像処理装置で実行することが可能なコンピュータプログラムにおいて、
前記画像処理装置を、
検査を実行する複数の検査領域の指定を受け付ける領域指定受付手段、
前記検査領域ごとに階調圧縮の条件の指定を受け付ける圧縮条件指定受付手段、
前記領域指定受付手段で指定を受け付けた検査領域及び前記圧縮条件指定受付手段で指定を受け付けた階調圧縮の条件を記憶する記憶手段、
少なくとも記憶された検査領域を含む領域を異なる露光時間で撮像して、明るさが異なる複数の多値画像を取得する多値画像取得手段、
取得した複数の多値画像を合成して元の多値画像より階調の大きい合成画像を生成する合成画像生成手段、及び
記憶された前記検査領域ごとに指定を受け付けた階調圧縮の条件に基づいて、前記検査領域ごとに画像を階調圧縮する画像圧縮手段
として機能させることを特徴とするコンピュータプログラム。

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図13】
image rotate

【図14】
image rotate

【図1】
image rotate

【図2】
image rotate

【図8】
image rotate

【図12】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2012−186514(P2012−186514A)
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願番号】特願2011−31701(P2011−31701)
【出願日】平成23年2月17日(2011.2.17)
【出願人】(000129253)株式会社キーエンス (681)
【Fターム(参考)】