画像処理装置、フォーカス調整方法及びコンピュータプログラム
【課題】検査対象物に複数の合焦位置の候補が存在する場合であっても、容易に最適な合焦位置を選択することが可能な画像処理装置、フォーカス調整方法及びコンピュータプログラムを提供する。
【解決手段】本発明に係る画像処理装置は、検査対象物を含む撮像領域を撮像する撮像部と、撮像した画像を表示する表示部と、検査対象物に対する合焦位置を調整するフォーカス調整部と、撮像して取得した画像データに対して画像処理を実行する画像処理部とを備える。検査対象物に対する合焦位置を変えながら検査対象物を撮像して取得した複数の異なる画像データに基づいて、撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出し、抽出した複数の合焦候補位置に関する合焦候補位置情報を表示部に表示する。表示された複数の合焦候補位置の中から検査対象物の所望の特徴部分が鮮明である画像に対応する合焦位置の選択を受け付ける。
【解決手段】本発明に係る画像処理装置は、検査対象物を含む撮像領域を撮像する撮像部と、撮像した画像を表示する表示部と、検査対象物に対する合焦位置を調整するフォーカス調整部と、撮像して取得した画像データに対して画像処理を実行する画像処理部とを備える。検査対象物に対する合焦位置を変えながら検査対象物を撮像して取得した複数の異なる画像データに基づいて、撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出し、抽出した複数の合焦候補位置に関する合焦候補位置情報を表示部に表示する。表示された複数の合焦候補位置の中から検査対象物の所望の特徴部分が鮮明である画像に対応する合焦位置の選択を受け付ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の合焦候補位置を抽出することができ、抽出した複数の合焦候補位置の中から最適な合焦位置を視認しながら選択することができる画像処理装置、フォーカス調整方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
検査対象物に欠陥が存在するか否かを検査する場合、検査対象物の外観を撮像装置で撮像し、撮像した画像に基づいて欠陥の存否を判定する。欠陥の存在を正しく判定するためには撮像した画像が鮮明である必要があり、通常はフォーカス調整を行ってから検査対象物を撮像している。フォーカス調整には手動調整と自動調整とがあるが、自動調整の方がユーザにとっては使い勝手が良い。
【０００３】
自動でフォーカス調整を行う場合、矩形領域、円形領域等のフォーカスを調整する調整領域を設定し、設定された調整領域内で撮像される検査対象物について、撮像した画像の合焦度合いを評価し、最も合焦度合いが高い位置を合焦位置として抽出している。例えば特許文献１では、撮像部によるフォーカス（合焦）の度合いを示すフォーカス値を算出して、フォーカス値が最大となる最大フォーカス値を抽出し、最大フォーカス値に対応する最大フォーカス位置まで撮像部を移動させることで、撮像部から検査対象物までの被写体距離を調整する拡大観察装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３１６４３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来、合焦度合いの評価には画像データの高周波成分の多少によって評価していた。つまり、設定された調整領域内の高周波成分が多いほどフォーカスが合っており、少ないほどフォーカスがずれていると評価されていた。
【０００６】
しかし、設定された調整領域内でのみ高周波成分を抽出する場合、調整領域の大きさ、調整領域の周囲のにじみの影響により、意図しない評価がなされる場合が生じうる。図１は、従来の合焦度合いの評価の問題点を説明するための模式図である。
【０００７】
図１（ａ）に示すように、フォーカスが合っていない、いわゆる非合焦状態では、図１（ｂ）に示すフォーカスが合っている、いわゆる合焦状態と比べて、検査対象物の特徴部分５００の周囲ににじみ部分５０１が存在する。この状態で調整領域５０２を設定した場合、図１（ｂ）の合焦状態では、背景色一色であるのに対し、図１（ａ）の非合焦状態では、にじみ部分５０１の存在により背景色と異なる色が混じるので、高周波成分が図１（ｂ）よりも多いと判断される可能性が高く、図１（ａ）に示す非合焦状態の方が合焦度合いが高いと誤認されるおそれがあった。
【０００８】
また、図１（ａ）に示す非合焦状態では、検査対象物の特徴部分５００の周囲に存在するにじみ部分５０１を含む画像となるため、適切な調整領域５０２を設定すること自体が困難である。つまり、にじみ部分５０１がある場合には、ウインドウ（調整領域）の設定によってはフォーカス調整を正しく行うことができない場合が生じうる。さらに、フォーカス調整を行う必要があるということは、フォーカスが合っていないことを意味しており、フォーカスが合っていない状態の画像上で、ユーザにウインドウ（調整領域）の設定作業を強いるため、一層ウインドウ（調整領域）の設定が困難になっていた。
【０００９】
本発明は、上記問題点に鑑みてなされたものであり、検査対象物に複数の合焦位置の候補が存在する場合であっても、容易に最適な合焦位置を選択することが可能な画像処理装置、フォーカス調整方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために第１発明に係る画像処理装置は、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像した画像を表示する表示部と、検査対象物に対する合焦位置を調整するフォーカス調整機構を有するフォーカス調整部と、前記撮像部で撮像して取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置において、前記フォーカス調整部は、前記フォーカス調整機構により検査対象物に対する合焦位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、前記撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出する合焦候補位置抽出手段と、抽出した複数の合焦候補位置に関する合焦候補位置情報を前記表示部に表示する候補表示手段とを備えることを特徴とする。
【００１１】
また、第２発明に係る画像処理装置は、第１発明において、前記候補表示手段は、前記表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する前記合焦候補位置情報を前記表示部に表示し、前記フォーカス調整部は、前記表示部に表示された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段を備え、該選択受付手段で一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を前記表示部に表示することを特徴とする。
【００１２】
また、第３発明に係る画像処理装置は、第１又は第２発明において、前記フォーカス調整部は、抽出された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段を備え、該選択受付手段で一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整することを特徴とする。
【００１３】
また、第４発明に係る画像処理装置は、第１又は第２発明において、前記フォーカス調整部は、一の合焦候補位置の選択を受け付ける選択受付手段を備え、該選択受付手段で一の合焦候補位置の選択を受け付けた場合、前記候補表示手段は、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を前記表示部に表示することを特徴とする。
【００１４】
また、第５発明に係る画像処理装置は、第１又は第２発明において、前記候補表示手段は、複数の前記合焦候補位置のうち、前記撮像部との距離が最も短い合焦候補位置を前記表示部に表示することを特徴とする。
【００１５】
また、第６発明に係る画像処理装置は、第１乃至第５発明のいずれか１つにおいて、前記フォーカス調整部は、事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出する合焦度算出手段と、前記小領域ごとに算出した合焦度が最大である合焦位置を取得する合焦位置取得手段とを備え、前記合焦候補位置抽出手段は、取得した前記小領域ごとの合焦位置に基づいて合焦候補位置を抽出することを特徴とする。
【００１６】
次に、上記目的を達成するために第７発明に係るフォーカス調整方法は、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像した画像を表示する表示部と、検査対象物に対する合焦位置を調整するフォーカス調整機構を有するフォーカス調整部と、前記撮像部で撮像して取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能なフォーカス調整方法において、前記フォーカス調整部は、前記フォーカス調整機構により検査対象物に対する合焦位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、前記撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出し、抽出した複数の合焦候補位置に関する合焦候補位置情報を前記表示部に表示することを特徴とする。
【００１７】
また、第８発明に係るフォーカス調整方法は、第７発明において、前記表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する前記合焦候補位置情報を前記表示部に表示し、前記フォーカス調整部は、前記表示部に表示された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付け、一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を前記表示部に表示することを特徴とする。
【００１８】
また、第９発明に係るフォーカス調整方法は、第７又は第８発明において、前記フォーカス調整部は、抽出された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付け、一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整することを特徴とする。
【００１９】
また、第１０発明に係るフォーカス調整方法は、第７又は第８発明において、前記フォーカス調整部は、一の合焦候補位置の選択を受け付け、一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を前記表示部に表示することを特徴とする。
【００２０】
また、第１１発明に係るフォーカス調整方法は、第７又は第８発明において、前記候補表示手段は、複数の前記合焦候補位置のうち、前記撮像部との距離が最も短い合焦候補位置を前記表示部に表示することを特徴とする。
【００２１】
また、第１２発明に係るフォーカス調整方法は、第７乃至第１１発明のいずれか１つにおいて、前記フォーカス調整部は、事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出し、前記小領域ごとに算出した合焦度が最大である合焦位置を取得し、取得した前記小領域ごとの合焦位置に基づいて合焦候補位置を抽出することを特徴とする。
【００２２】
次に、上記目的を達成するために第１３発明に係るコンピュータプログラムは、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像した画像を表示する表示部と、検査対象物に対する合焦位置を調整するフォーカス機構を有するフォーカス調整部と、前記撮像部で撮像して取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記フォーカス調整部を、前記フォーカス調整機構により検査対象物に対する合焦位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、前記撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出する合焦候補位置抽出手段、及び抽出した複数の合焦候補位置に関する合焦候補位置情報を前記表示部に表示する候補表示手段として機能させることを特徴とする。
【００２３】
また、第１４発明に係るコンピュータプログラムは、第１３発明において、前記候補表示手段を、前記表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する前記合焦候補位置情報を前記表示部に表示する手段として機能させ、前記フォーカス調整部を、前記表示部に表示された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段、及び一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を前記表示部に表示する手段として機能させることを特徴とする。
【００２４】
また、第１５発明に係るコンピュータプログラムは、第１３又は第１４発明において、前記フォーカス調整部を、抽出された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段、及び一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整する手段として機能させることを特徴とする。
【００２５】
また、第１６発明に係るコンピュータプログラムは、第１３又は第１４発明において、前記フォーカス調整部を、一の合焦候補位置の選択を受け付ける選択受付手段として機能させ、一の合焦候補位置の選択を受け付けた場合、前記候補表示手段を、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を前記表示部に表示する手段として機能させることを特徴とする。
【００２６】
また、第１７発明に係るコンピュータプログラムは、第１３又は第１４発明において、前記候補表示手段を、複数の前記合焦候補位置のうち、前記撮像部との距離が最も短い合焦候補位置を前記表示部に表示する手段として機能させることを特徴とする。
【００２７】
また、第１８発明に係るコンピュータプログラムは、第１３乃至第１７発明のいずれか１つにおいて、前記フォーカス調整部を、事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出する合焦度算出手段、及び前記小領域ごとに算出した合焦度が最大である合焦位置を取得する合焦位置取得手段として機能させ、前記合焦候補位置抽出手段を、取得した前記小領域ごとの合焦位置に基づいて合焦候補位置を抽出する手段として機能させることを特徴とする。
【００２８】
第１発明、第７発明及び第１３発明では、フォーカス調整機構により検査対象物に対する合焦位置を変えながら、撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出する。抽出した複数の合焦候補位置に関する合焦候補位置情報を表示部に表示する。複数の合焦候補位置を抽出して、撮像領域のどの一部の領域が合焦状態であるのか画面上で確認しながらフォーカス調整を行うことができるので、ユーザは、検査対象物の所望の特徴部分が鮮明である画像に対応する合焦位置を容易に選択することが可能となる。
【００２９】
第２発明、第８発明及び第１４発明では、表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する合焦候補位置情報を表示部に表示し、表示部に表示された複数の合焦候補位置の中から一の合焦候補位置の選択を受け付け、一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を表示する。これにより、合焦候補位置に対応する画像を表示することができ、選択を受け付けた撮像領域が正しいか否かを目視で確認することが可能となる。
【００３０】
第３発明、第９発明及び第１５発明では、抽出された複数の合焦候補位置の中から一の合焦候補位置の選択を受け付け、一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整するので、合焦候補位置に対応する画像を表示することができ、選択を受け付けた撮像領域が正しいか否かを目視で確認することが可能となる。
【００３１】
第４発明、第１０発明及び第１６発明では、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を表示部に表示するので、所望の特徴部分が鮮明に表示されているか否かを目視で確認することができ、所望の撮像領域に対応した合焦位置を容易に選択することが可能となる。
【００３２】
第５発明、第１１発明及び第１７発明では、複数の合焦候補位置のうち、撮像部との距離が最も短い合焦候補位置を表示部に表示する。合焦状態となる可能性が高い、撮像部との距離が最も短い合焦候補位置を表示するので、フォーカス調整が不要になる確率が高く、場合によっては煩雑な操作を省略することが可能となる。
【００３３】
第６発明、第１２発明及び第１８発明では、事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出し、小領域ごとに算出した合焦度が最大である合焦位置を取得する。取得した小領域ごとの合焦位置に基づいて合焦候補位置を抽出するので、合焦状態となる可能性が高い合焦候補位置を抽出することが可能となる。
【発明の効果】
【００３４】
本発明では、複数の合焦候補位置を抽出して、撮像領域のどの一部の領域が合焦状態であるのか画面上で確認しながらフォーカス調整を行うことができるので、検査対象物の所望の特徴部分が鮮明である画像に対応する合焦位置を容易に選択することが可能となる。
【図面の簡単な説明】
【００３５】
【図１】従来の合焦度合いの評価の問題点を説明するための模式図である。
【図２】本発明の実施の形態に係る画像処理センサの構成を示す模式図である。
【図３】本発明の実施の形態に係る画像処理センサの撮像装置の構成を示す外形図である。
【図４】本発明の実施の形態に係る画像処理センサの撮像装置のハードウェア構成を示すブロック図である。
【図５】本発明の実施の形態に係る画像処理センサの撮像装置のカメラモジュールのフォーカス調整部の構成を示す斜視図である。
【図６】本発明の実施の形態に係る画像処理センサの表示装置の構成を示す正面図である。
【図７】本発明の実施の形態に係る画像処理センサの表示装置のモード切り換え画面の例示図である。
【図８】本発明の実施の形態に係る画像処理センサの表示装置の設定画面の例示図である。
【図９】本発明の実施の形態に係る画像処理センサの機能ブロック図である。
【図１０】本発明の実施の形態に係る画像処理センサの合焦度算出方法を説明するための模式図である。
【図１１】本発明の実施の形態に係る画像処理センサの、記憶された画像データに基づく合焦度算出方法を説明するための模式図である。
【図１２】本発明の実施の形態に係る画像処理センサの、算出した合焦度に基づく合焦候補位置の抽出方法を説明するためのテーブルである。
【図１３】本発明の実施の形態に係る画像処理センサの、算出した合焦度がばらついている場合の合焦候補位置の抽出方法を説明するためのテーブルである。
【図１４】本発明の実施の形態に係る画像処理センサで作成された高周波抽出画像の例示図である。
【図１５】画素ごとに合焦度が最大である高周波抽出画像の画像番号を記した合焦度の配置を示す例示図である。
【図１６】本発明の実施の形態に係る画像処理センサの表示装置のフォーカス自動調整画面の例示図である。
【図１７】発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＦＰＧＡ及びＤＳＰのフォーカス自動調整処理の手順を示すフローチャートである。
【図１８】合焦候補位置情報をタッチパネル上の候補ボタンの選択で表示する場合の、表示装置の合焦候補位置選択受付画面の例示図である。
【図１９】合焦候補位置の選択をタッチパネル上で合焦対象位置の指定で受け付ける場合の、表示装置の合焦候補位置選択受付画面の例示図である。
【図２０】合焦状態を順次選択可能とした、表示装置の合焦状態選択受付画面の例示図である。
【図２１】合焦候補位置ごとに小領域を定める場合の、表示装置の合焦候補位置選択受付画面の例示図である。
【図２２】本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＤＳＰの、高周波抽出画像に基づくフォーカス自動調整処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００３６】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。以下、画像処理装置として画像処理センサを例に挙げて説明する。
【００３７】
図２は、本発明の実施の形態に係る画像処理センサの構成を示す模式図である。図２に示すように、本実施の形態に係る画像処理センサは、撮像装置１と、撮像装置１とデータ通信することが可能に接続ケーブル３で接続されている表示装置２とで構成されている。もちろん、表示装置２の代わりに、ディスプレイを有する外部コンピュータであっても良い。なお、撮像装置１と表示装置２とが一体として構成されていても良い。
【００３８】
撮像装置１は、内部に画像処理を実行するＦＰＧＡ、ＤＳＰ等を備えており、検査対象物を撮像する撮像素子を有するカメラモジュール（撮像部）と、検査対象物に対して光を照射する照明部とを備えている。撮像装置１をコンパクトにするべく、例えば図１に示すように、撮像装置１の正面の中央近傍にレンズ１２を配置し、レンズ１２の周囲を囲むように、照明部として複数のＬＥＤ１１を配置してある。なお、撮像装置１とは別に外部照明（リング照明等）を設けても良い。
【００３９】
図３は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す外形図である。図３（ａ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す正面図を、図３（ｂ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す平面図を、図３（ｃ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す背面図を、それぞれ示している。
【００４０】
図３（ａ）に示すように、撮像装置１はレンズ１２を正面の中央近傍に配置しており、レンズ１２の周囲を囲むように複数のＬＥＤ１１を配置してある。撮像時には、複数のＬＥＤ１１を点灯させることにより、検査対象物を含む撮像領域に光を照射し、検査対象物を含む撮像領域を明瞭に撮像することができる。
【００４１】
図３（ｂ）及び図３（ｃ）に示すように、撮像装置１の背面には、外部の電源から電力の供給を受ける電源ケーブルを接続する電源コネクタ１０２と、表示装置２とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ１０３とを備えている。また、手動でフォーカスを調整することができるフォーカス調整ネジ１０１も背面に備えている。
【００４２】
図４は、本発明の実施の形態に係る画像処理センサの撮像装置１のハードウェア構成を示すブロック図である。図４において、コネクタ基板１６は、電源インタフェース１６１に設けてある電源コネクタ１０２（図３（ｂ）及び図３（ｃ）参照）を介して、外部の電源から電力の供給を受ける。電源基板１８は、供給された電力を各基板に供給する。本実施の形態では、カメラモジュール１４にはメイン基板１３を介して電力を供給している。電源基板１８のモータドライバ１８１は、カメラモジュール１４のモータ１４１に駆動電力を供給し、オートフォーカスを実現している。すなわち、モータドライバ１８１及びモータ１４１は、フォーカス調整機構の一例として機能する。
【００４３】
通信基板１７は、メイン基板１３から出力された欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を表示装置２へ送信する。判定信号を受信した表示装置２は、判定結果を表示する。
【００４４】
照明基板（照明部）１５は、検査対象物を撮像する撮像領域に光を照射する。照明基板１５には複数のＬＥＤ１１が設けてあり、図示しないリフレクタはＬＥＤ１１の前方に設けてある。また、レンズ１２は、短距離用又は長距離用のレンズユニットとして交換可能となっている。
【００４５】
カメラモジュール（撮像部）１４は、モータ１４１が回転することにより、オートフォーカス動作の制御を行うフォーカス調整部を備えており、フォーカス調整した後、メイン基板１３からの撮像指示信号に応じて検査対象物を撮像する。本実施の形態では、撮像素子としてＣＭＯＳ基板１４２を備えており、撮像されたカラー画像は、ＣＭＯＳ基板１４２にてダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像へ変換され、メイン基板１３のＦＰＧＡ１３１へ出力される。つまり、ＣＭＯＳ基板１４２は、ＨＤＲ画像を生成・出力する機能を備えており、例えばＨＤＲＣＭＯＳ等がこれに該当する。なお、画像処理センサの撮像装置１には、ＣＭＯＳ基板にてＨＤＲ画像に変換するか否かを切り替える切替部を設けても良い。切替部により、検査対象物を撮像した場合にハレーション等が生じ難いワークが搬送されてきたとき、ＨＤＲ画像を生成しないよう切り替えることができ、ひいては演算処理負荷を軽減することができる。
【００４６】
図５は、本発明の実施の形態に係る画像処理センサの撮像装置１のカメラモジュール１４のフォーカス調整部の構成を示す斜視図である。図５に示すように、カメラモジュール１４のＣＭＯＳ基板１４２にベースマウント１４３を取り付けてある。ベースマウント１４３には、レンズホルダ１４４のレンズ１２を支持するレンズ支持体１２１の上下方向（矢印方向）の動きを検知する上下検知用センサと、レンズ支持体１２１を移動させる機構の一部であるモータ１４１の回転を検知する回転検知用センサとを備えている（図示せず）。
【００４７】
ベースマウント１４３には、レンズ支持体１２１とレンズ支持体１２１を移動させる機構とで構成されたレンズホルダ１４４を取り付けてある。図４に示すように、モータ１４１の回転軸１４１ａに形成された雄ネジと、ナット１４１ｂに形成された雌ネジとが螺合することにより、モータ１４１の回転に応じてナット１４１ｂが矢印方向に直線移動する。ナット１４１ｂはレンズ支持体１２１を下方から押し上げるようになっており、レンズ支持体１２１は図示しない付勢部材により下方へ押し下げられている。したがって、ナット１４１ｂの矢印方向への往復運動をモータ１４１の回転により制御することで、ナット１４１ｂにより付勢部材の付勢力に抗してレンズ支持体１２１を上昇させたり、下降させたりすることができ、レンズ支持体１２１に設けてあるレンズ１２と検査対象物との距離を調整することができる。
【００４８】
図４に戻って、メイン基板１３は、接続してある各基板の動作を制御する。例えば照明基板１５に対しては、複数のＬＥＤ１１の点灯／消灯を制御する制御信号を、ＬＥＤドライバ１５１へ送信する。ＬＥＤドライバ１５１は、ＦＰＧＡ１３１からの制御信号に応じて、例えばＬＥＤ１１の点灯／消灯、光量等を調整する。また、カメラモジュール１４のモータ１４１に対しては、電源基板１８のモータドライバ１８１を介してオートフォーカス動作を制御する制御信号を、ＣＭＯＳ基板１４２に対しては、撮像指示信号等を、それぞれ送信する。
【００４９】
メイン基板１３のＦＰＧＡ１３１は、照明制御、撮像制御をするとともに、取得した画像データに対する画像処理を実行する（画像処理部）。また、メイン基板１３のＤＳＰ１３２は、画像データについて、エッジ検出処理、パターン検索処理等を実行する。パターン検索処理の結果として、欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を通信基板１７へ出力する。演算処理結果等はメモリ１３３に記憶される。なお、本実施の形態では、エッジ検出処理、パターン検索処理等の比較的負荷の重い処理をＤＳＰ１３２により実行している。しかし、場合によってはＦＰＧＡ１３１により実行するようにしても良い。要するに、画像処理部は、ＣＭＯＳ基板１４２で取得した画像データに対して何らかの画像処理を実行できれば、それで足りる。
【００５０】
また、本実施の形態では、ＦＰＧＡ１３１が照明制御、撮像制御等を行っているが、これらをＤＳＰ１３２が行うようにしても良い。また、ＦＰＧＡ１３１とＤＳＰ１３２とが一体となった回路、すなわち主制御回路（主制御部）を設けても良い。要するに、主制御部は、複数のＬＥＤ１１の点灯／消灯を制御する制御信号をＬＥＤドライバ１５１へ送信したり、オートフォーカス動作を制御する制御信号を電源基板１８のモータドライバ１８１を介してカメラモジュール１４のモータ１４１へ送信したり、撮像指示信号等をＣＭＯＳ基板１４２へ送信したり、ＦＰＧＡ１３１及びＤＳＰ１３２の双方の機能を有する。
【００５１】
図６は、本発明の実施の形態に係る画像処理センサの表示装置２の構成を示す正面図である。図６に示すように、表示装置２の前面の中央部分にはタッチパネル２１が設けてあり、撮像された検査対象物のカラー画像を画面に表示するとともに、ユーザによる選択入力を受け付ける。
【００５２】
また、表示装置２は、外部の電源から電力が供給される電源ケーブルを接続する電源コネクタ２４と、撮像装置１とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ２５とを備えている。さらにＵＳＢメモリ等と接続することが可能なＵＳＢポート２２を前面に設けてある。
【００５３】
ユーザは、表示装置２のタッチパネル２１の画面に表示されているボタンを選択することにより、画像処理センサの動作を制御する。そして、検査対象物の検査を実行する「検査モード」と、撮像装置１の条件設定を行う「設定モード」との切り換えを行うこともできる。言い換えると、本実施の形態に係る画像処理センサは、検査対象物の良否を判定する検査モード（Ｒｕｎモード）と、検査に用いる各種パラメータ（撮像パラメータ、照明パラメータ、画像処理パラメータ等）の設定を行う設定モード（非Ｒｕｎモード）とを切り替えるためのモード切替部を有している。図７は、本発明の実施の形態に係る画像処理センサの表示装置２のモード切り換え画面の例示図である。
【００５４】
図７（ａ）は、「検査モード」の画面表示の例示図である。図７（ａ）に示すように検査対象物表示領域７１に、撮像装置１が撮像した検査対象物の画像を表示する。左下の「センサ設定」ボタン７２が切換手段として機能し、「センサ設定」ボタン７２が選択された場合、「設定モード」へと切り換わり、図７（ｂ）に示す画面へと画面遷移する。
【００５５】
図７（ｂ）は、「設定モード」の画面表示の例示図である。図７（ｂ）に示すように、プログラム選択領域７３にて、検査対象物の種類を選択する。ここで、「プログラム」とは、検査対象物の種類又は検査環境に応じて設定された一連のデータ群（パラメータ値の組み合わせ）を意味しており、検査対象物の種類ごとに異なるデータ群をプログラムとして記憶することができる。検査対象物の検査する条件に関する検査条件データには、フォーカス調整をする場合にフォーカスが合う位置を示すフォーカス位置データを含んでいる。
【００５６】
また、検査対象物と比較する基準となる代表的画像であるマスタ画像が記憶されている場合、マスタ画像表示領域７４にマスタ画像が表示される。「設定ナビ」ボタン７５が選択された場合、詳細な設定を行う設定画面に画面遷移する。図７（ｂ）の「運転開始」ボタン７６は切換手段として機能し、「運転開始」ボタン７６が選択された場合、「検査モード」へと切り換わり、図７（ａ）に示す画面へと画面遷移する。
【００５７】
図８は、本発明の実施の形態に係る画像処理センサの表示装置２の設定画面の例示図である。図８に示す設定画面を通じて、ユーザは、撮像条件の設定（図８（ａ））から、パターンサーチする基準となるマスタ画像の登録（図８（ｂ））、マスタ画像に対して輪郭サーチ等のツール設定（図８（ｃ）〜図８（ｅ））、出力割当（図８（ｆ））、という流れで順次設定を行う。以下、詳細に説明する。図７（ｂ）に示す「設定ナビ」ボタン７５が選択された場合、まず図８（ａ）に示す撮像条件設定画面が表示される。撮像条件設定画面では、マスタ画像が記憶されていない場合には現在撮像している検査対象物の画像が、マスタ画像が記憶されている場合にはマスタ画像が主表示領域８１に表示され、画面下部に撮像条件を設定する設定ボタン群が表示されている。例えば「トリガ条件」ボタンが選択された場合には、撮像装置１が検査対象物を撮像するタイミングを特定するトリガ条件を設定することができる。詳細な設定画面は省略するが、それぞれのボタンが選択された場合、それぞれの設定条件に応じて図６に示すタッチパネル２１上に表示される。「フォーカス自動調整」ボタン８３が選択された場合については後述する。
【００５８】
また、より詳細な設定をするには、図８（ａ）の「拡張機能」ボタン８２を選択すれば良い。「拡張機能」ボタン８２が選択された場合、詳細な設定を行うためのボタンが別途表示される。このように撮像条件設定画面では、明るさの調整、フォーカスの調整、撮像範囲、照明のオン／オフ、ズームのオン／オフ等を設定することができる。フォーカスの調整については後述する。
【００５９】
図８（ａ）の「進む」と表示された「画面遷移」ボタン８４が選択された場合、図８（ｂ）に示すマスタ画像登録画面が表示される。登録されたマスタ画像上に、以後、検査用の様々なツールを設定する。１つのマスタ画像に対して複数のプログラムを記憶することができる。つまり、同じマスタ画像に対して異なるツールを設定し、異なるプログラムとして記憶しておくことができる。
【００６０】
マスタ画像は、現在撮像している検査対象物の画像を登録しても良いし、以前に撮像しておいた画像から選択して登録しても良い。現在撮像している画像を登録する場合、ユーザは「Ｌｉｖｅ画像登録」ボタン８５を選択すればよい。「Ｌｉｖｅ画像登録」ボタン８５が選択された時点で撮像されている画像がマスタ画像として登録される。
【００６１】
図８（ｂ）の「進む」と表示された「画面遷移」ボタン８６が選択された場合、図８（ｃ）に示すマスタ画像ごとのツール設定画面が表示される。マスタ画像上に、以後、検査用の様々なツールを設定する。
【００６２】
ツール設定画面では、表示されているマスタ画像に、検査を実行するためのツールを追加設定する。図８（ｃ）に示す「追加」ボタン８７が選択された場合、図８（ｄ）に示すツール選択画面が表示される。ツール選択画面で選択されたツールを追加設定する。例えば「輪郭サーチ」ボタン８８が選択された場合、図８（ｅ）に示す輪郭サーチ設定画面が表示される。輪郭サーチ設定画面で、マスタ画像のどの輪郭を撮像された検査対象物の画像と照合するのか設定しておくことにより、欠陥を検出したか否かで検査対象物の良否を判定することができる。以下、色面積、位置補正等の設定をすることができる。
【００６３】
図８（ｃ）の「進む」と表示された「画面遷移」ボタン８９が選択された場合、図８（ｆ）に示す出力割当画面が表示される。「完了」ボタン９０が選択された場合、図７（ｂ）に示す「設定モード」の画面表示に戻る。このように、ユーザは、図６に示す表示装置２のタッチパネル２１上で、「進む」と表示された「画面遷移」ボタン８４、８６、８９を順に選択することで、簡単かつ短時間に、検査に用いる各種パラメータを設定することができる。また、画像処理センサに慣れていないユーザであっても、表示装置２のタッチパネル２１上で次の操作へ誘導されるので、各種パラメータを容易に設定することができる。
【００６４】
図９は、本発明の実施の形態に係る画像処理センサの機能ブロック図である。図９において、撮像部９０１は、検査対象物を含む撮像領域を撮像する。図４のカメラモジュール１４のうち、ＣＭＯＳ基板１４２の機能がこれに相当する。
【００６５】
フォーカス調整部９０２は、検査対象物に対する合焦位置を調整する。フォーカス調整部９０２は、合焦候補位置抽出部９１１、選択受付部９１２、候補表示部９１３、合焦度算出部９１４、合焦位置取得部９１５を備えている。
【００６６】
合焦候補位置抽出部９１１は、フォーカス調整機構により検査対象物に対する合焦位置を変えながら、カメラモジュール１４により検査対象物を撮像して取得した複数の異なる画像データに基づいて、撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出する。合焦候補位置を抽出するために、合焦度算出部９１４は、事前に撮像領域に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出し、合焦位置取得部９１５は、小領域ごとに算出した合焦度が最大である合焦位置を取得する。合焦候補位置抽出部９１１は、合焦位置取得部９１５で取得した小領域ごとの合焦位置に基づいて、複数の合焦候補位置を抽出する。
【００６７】
図１０は、本発明の実施の形態に係る画像処理センサの合焦度算出方法を説明するための模式図である。図１０（ａ）には、撮像された画像上に複数の仮想中心１００１を１２点設定している。そして、仮想中心１００１それぞれから周囲数１０ピクセルの調整領域（小領域）１００２を設定し、調整領域１００２ごとに高周波成分を抽出する。具体的には、調整領域１００２内の画素数に対する高周波成分の画素数の比率（百分率）として、仮想中心１００１ごと（調整領域１００２ごと）に合焦度を算出して記憶しておく。
【００６８】
もちろん、小領域として１２個の調整領域１００２を設定することに限定されるものではなく、明示的に複数の窓領域を配置する方法であっても良い。図１０（ｂ）は、撮像された画像上に複数の窓領域１００３を配置してある。窓領域１００３ごとに高周波成分を抽出し、窓領域１００３内の画素数に対する高周波成分の画素数の比率（百分率）として、窓領域１００３ごとに合焦度を算出して記憶しておく。
【００６９】
図１０に示す合焦度算出方法は、撮像部で撮像された画像に対して動的に合焦度を算出する方法であるが、事前に撮像されて記憶されている画像であれば高周波成分を細かく検出しても良い。この場合、図１０とは異なり、仮想中心１００１を１２点設定する必要もなく、詳細な高周波抽出画像を全画面に対して作成することができる。
【００７０】
図１１は、本発明の実施の形態に係る画像処理センサの、記憶されている画像に基づく合焦度算出方法を説明するための模式図である。図１１（ａ）に示す撮像された画像の高周波成分を抽出し、図１１（ｂ）に示す高周波抽出画像を得る。図１１（ｂ）では、白い部分に高周波成分が存在することを示しており、黒い部分には存在しないことを示している。もちろん、元の画像と同じサイズで高周波抽出画像を作成しても良いし、画像を圧縮する等により高周波抽出画像のサイズを変更しても良い。例えば図１１（ｃ）では、画像サイズを縮小した高周波抽出画像を示している。
【００７１】
合焦位置取得部９１５は、合焦度の分布又は高周波抽出画像に基づいて複数の合焦候補位置を抽出する。図１２は、本発明の実施の形態に係る画像処理センサの、算出した合焦度に基づく合焦候補位置の抽出方法を説明するためのテーブルである。なお、算出した合焦度には、適当な固定係数を乗じて重み付けしても良い。
【００７２】
図１２は、各仮想中心点のレンズ位置ごとの合焦度を示している。仮想中心点１〜１２において、仮想中心点１〜８で合焦度が最大であるレンズ位置（合焦候補位置）は‘２０’であり、仮想中心点９〜１２で合焦度が最大であるレンズ位置は‘３５’である。レンズ位置は、検査対象物と接触している状態が‘０’、離れるに従って、すなわちレンズ１２がカメラモジュール１４に近いほどレンズ位置の値は大きくなる。
【００７３】
図１２の例では、合焦候補位置として、レンズ位置‘２０’と‘３５’との２つを抽出することができる。複数の合焦候補位置のうち、カメラモジュール１４により近い、すなわちフォーカス距離が短いのはレンズ位置‘３５’であるので、フォーカス自動調整時にはレンズ位置‘３５’にレンズ１２を移動させて合焦候補位置に合焦位置を調整して終了する。
【００７４】
以上、本実施の形態では、図１０乃至図１２を用いて説明しているように、調整領域１００２内の画素数に対する高周波成分（又はエッジ成分）の画素数の比率（百分率）を、仮想中心１００１ごと（調整領域１００２ごと）の合焦度として算出しているが、合焦度の算出方法は特にこれに限定されるものではない。例えば、撮像された画像に対して、ｌ×ｍフィルタを縦横にｎ画素ごとに移動させ（ｌ、ｍ、ｎともに任意の整数）、移動させるたびにｌ×ｍ領域内にある全画素の画素値の分散値を計算し、分散値の２次元配列からなる高周波画像を作成する。作成した高周波画像に対し、事前に決められた重み付けで分散値の重み付け加算又は重み付け乗算を計算し、合焦度を算出する（すなわち、上述した仮想中心１００１の座標に基づいて係数で重み付けし、各仮想中心１００１における１２個の合焦度を算出する）。このように高周波画像を作成することにより合焦度を算出することもできる。要するに、合焦度は、事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示すものであれば、特に算出方法は限定されるものではない。
【００７５】
ここで、図１２の例のように合焦度にばらつきがない場合よりも、実際には合焦度がばらつくことが多い。図１３は、本発明の実施の形態に係る画像処理センサの、算出した合焦度がばらついている場合の合焦候補位置の抽出方法を説明するためのテーブルである。
【００７６】
図１２とは異なり、図１３の例では、仮想中心点２、６、１０で合焦度がばらついている。このようなばらつきが生じている場合、レンズ位置ごとに出現回数を降順にソートし、出現回数の多いレンズ位置から順に合焦候補位置として抽出する。抽出時には、抽出する合焦候補位置のレンズ位置近傍の合焦度から、合焦候補位置から除外する合焦度を選定する。
【００７７】
例えば図１３では、レンズ位置‘２０’が出現回数６回と最多であるので、レンズ位置‘２０’を合焦候補位置として抽出する。そして、同一の検査対象物に起因する合焦度の幅を‘５’とした場合、レンズ位置‘１５’〜‘２５’は同一の合焦候補位置とみなすことができ、レンズ位置‘１５’及び‘２５’は合焦候補位置から除外することができる。
【００７８】
同様に、次にレンズ位置‘３５’が出現回数３回と多いので、レンズ位置‘３５’を合焦候補位置として抽出する。そして、同一の検査対象物に起因する合焦度の幅を‘５’とした場合、レンズ位置‘３０’〜‘４０’は同一の合焦候補位置とみなすことができ、レンズ位置‘３０’及び‘４０’は合焦候補位置から除外することができる。このように、レンズ位置‘２０’、‘３５’が合焦候補位置として抽出され、フォーカス距離が短いのはレンズ位置‘３５’であるのでレンズ位置‘３５’に自動調整される。
【００７９】
合焦位置取得部９１５は、記憶してある、検査対象物を撮像した画像の高周波成分を抽出して作成された高周波抽出画像に基づいて、合焦候補位置を抽出することもできる。図１４は、本発明の実施の形態に係る画像処理センサで作成された高周波抽出画像の例示図である。
【００８０】
図１４（ａ）〜（ｇ）は、左側に元の画像を、右側に合焦度に基づく高周波抽出画像を、それぞれ示している。右側の高周波抽出画像で白く表示されている部分は、高周波成分が多い部分、すなわち合焦度が所定値よりも大きい部分を示している。
【００８１】
合焦位置取得部９１５は、作成された高周波抽出画像の画素ごとに合焦度が最大である高周波抽出画像を選択する。図１５は、画素ごとに合焦度が最大である高周波抽出画像の画像番号を記した合焦度の配置を示す例示図である。
【００８２】
図１５では、画素ごとに合焦度が最大である図１４に示す高周波抽出画像の画像番号を記している。例えば‘２’と記してある画素は、画像番号‘２’の合焦度が最大である旨を示している。そして、同じ画像番号が連続して記されている領域を合焦領域として特定することができ、合焦候補位置として抽出することができる。
【００８３】
なお、合焦領域の境界では値が安定しないことが多いが、この場合は隣接する合焦領域に含めても合焦領域自体は大きく変動しない。また、合焦度の最大値が比較的小さい画素は、ノイズの影響を受けやすい。したがって、合焦領域として特定し得る合焦度の最小値を設けておき、最小値以下である場合には合焦領域に含めないようにしても良い。
【００８４】
また、元の画像ににじみ部分等が存在する場合、高周波成分が多いと判断され、合焦状態であると誤認されるおそれがある。それを回避するべく、高周波抽出画像の各画素をそのまま比較するのではなく、元の画像（図１４の左側の画像）に対して画素ごとにフィルタ処理した値、あるいは標準偏差を算出して除算した値で比較して、値が最大である高周波抽出画像を選択しても良い。
【００８５】
さらに、模様によっては高周波成分が誤って多く算出されるおそれがある。そこで、画素ごとに、周囲の画素値に重み付けをして画素値を決定する、あるいは周囲の画素値の最大値を代表値として画素値を決定することにより、決定した画素値に基づく高周波抽出画像を作成しても良い。このようにすることで、模様による誤差の影響を低減することができる。したがって、高い精度で高周波抽出画像から画素ごとの合焦度が最大である領域を合焦領域として特定することができ、合焦候補位置として抽出することができる。
【００８６】
もちろん、上述した方法を組み合わせることで、より高い精度で高周波抽出画像から画素ごとの合焦度が最大である領域を合焦領域として特定することができ、合焦候補位置として抽出することができる。
【００８７】
図９に戻って、選択受付部９１２は、抽出された複数の合焦候補位置の中から、一の合焦候補位置の選択を受け付ける。選択を受け付ける方法は特に限定されるものではなく、表示装置２のタッチパネル２１に表示されている合焦候補位置を識別することが可能な情報の選択を受け付けることができれば良い。
【００８８】
なお、選択受付部９１２で、一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整する。具体的には、ＤＳＰ１３２（ＦＰＧＡ１３１でも良い）は、モータドライバ１８１を介してカメラモジュール１４のモータ１４１に回転指示を送信し、レンズ１２を移動させて選択を受け付けた一の合焦候補位置に合焦位置を調整する。
【００８９】
候補表示部９１３は、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された検査対象物の画像を表示する。候補表示部９１３は、抽出した複数の合焦候補位置に関する合焦候補位置情報を、表示されている画像に重畳して表示することが好ましい。どの合焦候補位置が検査対象物の所望の特徴部分が鮮明に表示されているか否かを目視で確認することができ、所望の特徴部分に対応した合焦位置を選択することができるからである。
【００９０】
そして、画像処理部９０３は、フォーカス調整された画像データに対して画像処理を実行する。メイン基板１３のＦＰＧＡ１３１による、撮像して取得した画像データに対する前処理、例えば明度調整、ホワイトノイズ調整等の処理がこれに該当する。
【００９１】
本実施の形態では、図７（ｂ）に示す「設定モード」画面から、フォーカス調整を行う場合の検査条件データを設定して記憶する。図７（ｂ）に示す「設定モード」画面から、「設定ナビ」ボタン７５を選択し、図８（ａ）に示す画面が表示される。そして、図８（ａ）の「フォーカス自動調整」ボタン８３を選択することで、フォーカス調整を行う。
【００９２】
図１６は、本発明の実施の形態に係る画像処理センサの表示装置２のフォーカス自動調整画面の例示図である。図１６（ａ）では、主表示領域１６０に現在撮像している検査対象物の画像が表示されている。この状態で「フォーカス自動調整」ボタン１６２が選択された場合、フォーカスの自動調整が実行される。
【００９３】
具体的には、「フォーカス自動調整」ボタン１６２が選択された時点で、ＤＳＰ１３２はモータドライバ１８１に回転制御信号を送信し、モータ１４１を回転させる。そして、検査対象物との距離が最も短い（近い）位置から最も遠い位置までレンズ１２を移動させ、移動中に検査対象物を複数枚撮像する。撮像した複数枚の画像データ、例えば合焦度に基づいて複数の合焦候補位置を抽出する。
【００９４】
そして、複数抽出される合焦候補位置のうち、カメラモジュール１４に最も近い、すなわちフォーカス距離が最も短い合焦候補位置までレンズ１２を移動させて合焦候補位置に合焦位置を調整してフォーカス自動調整を終了する。図１６（ｂ）は、フォーカス自動調整完了時の調整完了画面の例示図である。
【００９５】
主表示領域１６０に表示されている画像は、図１６（ａ）では、表示されている検査対象物の画像の左右の画像ともにぼけて表示されていたのに対し、図１６（ｂ）では右側の画像が鮮明に表示されている。これは、フォーカス距離が短い合焦候補位置にレンズ１２が移動しているからである。
【００９６】
調整完了画面には、合焦候補位置１６４、１６５及び現在の合焦位置１６３が表示されている。図１６（ｂ）の例では、現在の合焦位置１６３は合焦候補位置１６５と一致している。なお、図１６（ｂ）の調整完了画面には、画面下方に、左端をＦａｒ、右端をＮｅａｒとする１本のバーが表示されており、合焦候補位置１６４、１６５を示すボタンは、表示されたバーの上でそれぞれ対応する合焦候補位置の近傍に配置されている。これにより、ユーザは、合焦候補位置１６４、１６５のフォーカス距離がどれくらいであるかを一見して把握することができる。
【００９７】
また、現在の合焦位置１６３を示す逆三角の図形も、表示されたバーの上で対応する合焦候補位置の近傍に配置されている（図１６（ｂ）では合焦候補位置１６５を指す位置に、図１６（ｃ）では合焦候補位置１６４を指す位置に配置されている）。これにより、ユーザは、現在表示されている画像のフォーカス距離がどれくらいであるかを一見して把握することができる。
【００９８】
なお、現在の合焦位置１６３を示すために、図１６（ｃ）に示すような逆三角形の図形でなく、例えば合焦候補位置１６４を示すボタン又は合焦候補位置１６５を示すボタンのうち、現在の合焦位置１６３を示すボタンを光らせても良い。要するに、抽出した複数の合焦候補位置をユーザが表示装置２のタッチパネル２１上で選択することが可能となるように、抽出した複数の合焦候補位置に関する合焦候補位置情報（好ましくは複数の合焦候補位置及び現在の合焦位置）を表示する。
【００９９】
ユーザは、現在の合焦位置１６３を他の合焦候補位置１６４へ変更する操作を行うことで、他の合焦候補位置にレンズ１２を移動させることができる。例えば、表示されている他の合焦候補位置１６４を指１６６でタッチすることにより、現在の合焦位置１６３が他の合焦候補位置１６４へ変更され、主表示領域１６０に表示される画像も変更される。
【０１００】
図１６（ｃ）は、他の合焦候補位置１６４へ変更した場合の調整完了画面の例示図である。図１６（ｃ）では、左側の画像のみが鮮明に表示されている。これは、フォーカス距離が異なる他の合焦候補位置１６４にレンズ１２が移動しているからである。
【０１０１】
したがって、フォーカス自動調整を一度行うことで、複数の合焦候補位置を抽出することができ、ユーザは、表示される画像を見ながら、所望の合焦候補位置を選択することができる。また、ユーザは調整範囲、仮想中心点等を指定する必要もなく、容易に所望の合焦候補位置に合焦位置を調整することが可能となる。
【０１０２】
図１７は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＦＰＧＡ１３１及びＤＳＰ１３２のフォーカス自動調整処理の手順を示すフローチャートである。ＦＰＧＡ１３１は、フォーカス自動調整の開始指示を受け付け（ステップＳ１７０１）、レンズ１２をカメラモジュール１４に最も近い、すなわちフォーカス距離が最も短い調整領域に対応する撮像位置へ移動させる移動指示を、モータドライバ１８１へ送信する（ステップＳ１７０２）。モータドライバ１８１は、移動指示に従ってモータ１４１を回転させ、レンズ１２をカメラモジュール１４に最も近い、すなわち検査対象物から離れた位置に移動させる。
【０１０３】
そして、ＦＰＧＡ１３１は、撮像装置１のカメラモジュール１４のＣＭＯＳ基板１４２へ、検査対象物の撮像指示を送信し（ステップＳ１７０３）、撮像指示を受信したＣＭＯＳ基板１４２で撮像した検査対象物の画像を取得する（ステップＳ１７０４）。
【０１０４】
ＤＳＰ１３２は、取得した画像の画像データの合焦度を算出する（ステップＳ１７０５）。ここでは、図１０及び図１１で説明した合焦度算出方法を用いて合焦度を算出する。ＤＳＰ１３２は、取得した画像データの全ての調整領域について合焦度を算出したか否かを判断する（ステップＳ１７０６）。
【０１０５】
ＤＳＰ１３２が、まだ合焦度を算出していない調整領域が存在すると判断した場合（ステップＳ１７０６：ＮＯ）、ＤＳＰ１３２は、次の調整領域に対応する撮像位置への移動指示をモータドライバ１８１へ送信する（ステップＳ１７０７）。モータドライバ１８１は、移動指示に従ってモータ１４１を回転させ、レンズ１２を次の撮像位置へ移動させる。ＤＳＰ１３２は、処理をステップＳ１７０３へ戻して、上述した処理を繰り返す。
【０１０６】
ＤＳＰ１３２が、全ての調整領域について合焦度を算出したと判断した場合（ステップＳ１７０６：ＹＥＳ）、ＤＳＰ１３２は、合焦候補位置を抽出する（ステップＳ１７０８）。ここでは、図１２及び図１３で説明した合焦候補位置の抽出方法を用いる。ＤＳＰ１３２は、抽出した複数の合焦候補位置に関する合焦候補位置情報の表示指示を、表示装置２のタッチパネル２１へ送信する（ステップＳ１７０９）。
【０１０７】
合焦候補位置情報としては、例えば図１６に示す合焦候補位置１６４、１６５の表示に限定されるものではない。図１８は、合焦候補位置情報をタッチパネル２１上の候補ボタンの選択で表示する場合の、表示装置２の合焦候補位置選択受付画面の例示図である。
【０１０８】
図１８（ａ）に示すように、画像表示部１８０に合焦候補位置に対応する画像データのサムネイル画像等を表示しておき、「候補」ボタン１８２、１８３の選択を受け付けることにより、選択を受け付けた画像を表示する。例えば「候補」ボタン１８２の選択を受け付けた場合には、図１８（ｂ）に示す画像を表示する。画像の左側の模様に焦点が合っていることがわかる。
【０１０９】
一方、「候補」ボタン１８３の選択を受け付けた場合には、図１８（ｃ）に示す画像を表示する。画像の右側の模様に焦点が合っていることがわかる。このように複数の合焦候補位置情報を同時に表示し、合焦候補位置情報の指定を受け付けることにより、合焦候補位置の選択を受け付けることができる。
【０１１０】
また、合焦候補位置情報を表示していなくても、直接、タッチパネル２１上で合焦候補位置の選択を受け付けることができる。図１９は、合焦候補位置の選択をタッチパネル２１上の合焦対象位置の指定で受け付ける場合の、表示装置２の合焦候補位置選択受付画面の例示図である。
【０１１１】
図１９（ａ）に示すように、検査対象物の画像を画像表示部１９１に表示しておき、指１９２、１９３が指し示す位置の選択を受け付けることにより、選択を受け付けた位置の画素に対応して記憶してある合焦候補位置へレンズ１２を移動させて撮像した画像を表示する。例えば指１９２が指し示す位置の選択を受け付けた場合には、図１９（ｂ）に示す画像を表示する。画像の左側の模様に焦点が合っていることがわかる。
【０１１２】
一方、指１９３が指し示す位置の選択を受け付けた場合には、図１９（ｃ）に示す画像を表示する。画像の右側の模様に焦点が合っていることがわかる。このように複数の合焦候補位置情報を直接に画面上に表示することなく、合焦候補位置の選択を受け付けることができる。
【０１１３】
また、順次、合焦候補位置情報を選択することができるようにしても良い。図２０は、合焦状態を順次選択可能とした、表示装置２の合焦状態選択受付画面の例示図である。
【０１１４】
図２０（ａ）に示すように、検査対象物の画像を画像表示部２０１に表示しておき、「次の候補」ボタン２０２又は「前の候補」ボタン２０４の選択を受け付けることにより、順次、記憶してある合焦候補位置へレンズ１２を移動させて撮像した画像を表示する。例えば「次の候補」ボタン２０２の選択を受け付けた場合には、図２０（ｂ）に示す画像を表示する。そして、表示されている画像を確認して、合焦位置とする場合には、「確定」ボタン２０３の選択を受け付ければ良い。
【０１１５】
さらに、表示されている画像を同一の合焦候補位置ごとに小領域を定めて記憶し、小領域単位で選択を受け付けても良い。図２１は、合焦候補位置ごとに小領域を定める場合の、表示装置２の合焦候補位置選択受付画面の例示図である。
【０１１６】
図２１（ａ）に示すように、検査対象物の画像を画像表示部２０１に表示しておき、合焦候補位置ごとに小領域２１１、２１２、２１３に区分けしておく。画面表示においては、各小領域を色分け表示しても良い。
【０１１７】
この状態で、各小領域２１１、２１２、２１３の選択を受け付ける。例えば小領域２１１の選択を受け付けた場合、図２１（ｂ）に示すように、選択を受け付けた小領域２１１が合焦状態である画像を含む画面が表示される。同様に、小領域２１２の選択を受け付けた場合、図２１（ｃ）に示すように、選択を受け付けた小領域２１２が合焦状態である画像を含む画面が表示される。小領域２１３の選択を受け付けた場合、図２１（ｄ）に示すように、選択を受け付けた小領域２１３が合焦状態である画像を含む画面が表示される。
【０１１８】
もちろん、検査対象物を撮像した画像の高周波成分を抽出して作成された高周波抽出画像に基づいて、合焦候補位置を抽出しても良い。図２２は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＤＳＰ１３２の、高周波抽出画像に基づくフォーカス自動調整処理の手順を示すフローチャートである。ＤＳＰ１３２は、フォーカス自動調整の開始指示を受け付け（ステップＳ２２０１）、記憶してある検査対象物の画像データをレンズ位置の順にソートする（ステップＳ２２０２）。ＤＳＰ１３２は、最初のレンズ位置における検査対象物の画像データを読み出す（ステップＳ２２０３）。
【０１１９】
ＤＳＰ１３２は、読み出した画像データの合焦度を算出する（ステップＳ２２０４）。ＤＳＰ１３２は、記憶してある全ての画像データについて合焦度を算出したか否かを判断する（ステップＳ２２０５）。
【０１２０】
ＤＳＰ１３２が、まだ合焦度を算出していない画像データが存在すると判断した場合（ステップＳ２２０５：ＮＯ）、ＤＳＰ１３２は、次の画像データを読み出し（ステップＳ２２０６）、処理をステップＳ２２０４へ処理を戻して、上述した処理を繰り返す。
【０１２１】
ＤＳＰ１３２が、全ての画像データについて合焦度を算出したと判断した場合（ステップＳ２２０５：ＹＥＳ）、ＤＳＰ１３２は、合焦候補位置を抽出する（ステップＳ２２０７）。ここでは、図１４及び図１５で説明した合焦候補位置の抽出方法を用いる。ＤＳＰ１３２は、抽出した複数の合焦候補位置に関する合焦候補位置情報を表示する表示指示を、表示装置２のタッチパネル２１へ送信する（ステップＳ２２０８）。
【０１２２】
以上のように本実施の形態によれば、複数の合焦候補位置を抽出して、撮像領域のどの一部の領域が合焦状態であるのか画面上で確認しながらフォーカス調整を行うことができるので、検査対象物の所望の特徴部分が鮮明である画像に対応する合焦位置を容易に選択することが可能となる。
【０１２３】
つまり、本実施の形態に係る撮像装置１では、モータドライバ１８１及びモータ１４１で構成されるフォーカス調整機構により、検査対象物に対する合焦位置を変えながら、カメラモジュール１４により検査対象物を撮像し、複数の異なる画像データを取得する。そして、取得した複数の画像データに基づいて、撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出し、抽出した複数の合焦候補位置に関する合焦候補位置情報を表示装置２に表示する。これにより、ユーザは、検査対象物の所望の特徴部分が鮮明である画像に対応する合焦位置を容易に選択することができる。
【０１２４】
なお、検査対象物を撮像し、複数の異なる画像データを取得するタイミングと、合焦候補位置を複数抽出するタイミングとは、特に限定されるものではない。例えば、最初に複数の異なる画像データを全て取得した後に、取得した全ての画像データを用いて合焦候補位置を複数抽出しても良いし、例えば予め合焦候補位置を３個抽出すると決めておき、画像データの取得と合焦候補位置の抽出とを交互に行い、合焦候補位置が３個抽出された時点で終了するようにしても良い。
【０１２５】
後者について、さらに具体的には、画像データを取得し、合焦候補位置を１個抽出した場合には、抽出した合焦候補位置を記憶しておき、次に取得した画像データに基づいて合焦候補位置を抽出するときには、既に記憶されている合焦候補位置と異なる位置か否かを判断する。異なる位置であると判断した場合には、新たな合焦候補位置として抽出する。一方、同じ位置であると判断した場合には、新たな合焦候補位置として抽出しない（既に抽出して記憶されている合焦候補位置と同じであるとみなす）。このような処理を繰り返し、合焦候補位置が３個抽出された時点で画像データの取得を終了しても良い。
【０１２６】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置１と表示装置２とは、接続ケーブル３で直結されている形態に限定されるものではなく、ＬＡＮ、ＷＡＮ等のネットワーク網を介して接続されていても良いことは言うまでもない。また、本実施の形態では撮像装置１と表示装置２とは別体となっているが、両者が一体になった画像処理装置であっても良い。
【符号の説明】
【０１２７】
１ 撮像装置
２ 表示装置
３ 接続ケーブル
１３ メイン基板
１４ カメラモジュール（撮像部）
２１ タッチパネル
１３１ ＦＰＧＡ（制御部）
１４１ モータ
１４２ ＣＭＯＳ基板（撮像素子）
【技術分野】
【０００１】
本発明は、複数の合焦候補位置を抽出することができ、抽出した複数の合焦候補位置の中から最適な合焦位置を視認しながら選択することができる画像処理装置、フォーカス調整方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
検査対象物に欠陥が存在するか否かを検査する場合、検査対象物の外観を撮像装置で撮像し、撮像した画像に基づいて欠陥の存否を判定する。欠陥の存在を正しく判定するためには撮像した画像が鮮明である必要があり、通常はフォーカス調整を行ってから検査対象物を撮像している。フォーカス調整には手動調整と自動調整とがあるが、自動調整の方がユーザにとっては使い勝手が良い。
【０００３】
自動でフォーカス調整を行う場合、矩形領域、円形領域等のフォーカスを調整する調整領域を設定し、設定された調整領域内で撮像される検査対象物について、撮像した画像の合焦度合いを評価し、最も合焦度合いが高い位置を合焦位置として抽出している。例えば特許文献１では、撮像部によるフォーカス（合焦）の度合いを示すフォーカス値を算出して、フォーカス値が最大となる最大フォーカス値を抽出し、最大フォーカス値に対応する最大フォーカス位置まで撮像部を移動させることで、撮像部から検査対象物までの被写体距離を調整する拡大観察装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３１６４３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来、合焦度合いの評価には画像データの高周波成分の多少によって評価していた。つまり、設定された調整領域内の高周波成分が多いほどフォーカスが合っており、少ないほどフォーカスがずれていると評価されていた。
【０００６】
しかし、設定された調整領域内でのみ高周波成分を抽出する場合、調整領域の大きさ、調整領域の周囲のにじみの影響により、意図しない評価がなされる場合が生じうる。図１は、従来の合焦度合いの評価の問題点を説明するための模式図である。
【０００７】
図１（ａ）に示すように、フォーカスが合っていない、いわゆる非合焦状態では、図１（ｂ）に示すフォーカスが合っている、いわゆる合焦状態と比べて、検査対象物の特徴部分５００の周囲ににじみ部分５０１が存在する。この状態で調整領域５０２を設定した場合、図１（ｂ）の合焦状態では、背景色一色であるのに対し、図１（ａ）の非合焦状態では、にじみ部分５０１の存在により背景色と異なる色が混じるので、高周波成分が図１（ｂ）よりも多いと判断される可能性が高く、図１（ａ）に示す非合焦状態の方が合焦度合いが高いと誤認されるおそれがあった。
【０００８】
また、図１（ａ）に示す非合焦状態では、検査対象物の特徴部分５００の周囲に存在するにじみ部分５０１を含む画像となるため、適切な調整領域５０２を設定すること自体が困難である。つまり、にじみ部分５０１がある場合には、ウインドウ（調整領域）の設定によってはフォーカス調整を正しく行うことができない場合が生じうる。さらに、フォーカス調整を行う必要があるということは、フォーカスが合っていないことを意味しており、フォーカスが合っていない状態の画像上で、ユーザにウインドウ（調整領域）の設定作業を強いるため、一層ウインドウ（調整領域）の設定が困難になっていた。
【０００９】
本発明は、上記問題点に鑑みてなされたものであり、検査対象物に複数の合焦位置の候補が存在する場合であっても、容易に最適な合焦位置を選択することが可能な画像処理装置、フォーカス調整方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために第１発明に係る画像処理装置は、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像した画像を表示する表示部と、検査対象物に対する合焦位置を調整するフォーカス調整機構を有するフォーカス調整部と、前記撮像部で撮像して取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置において、前記フォーカス調整部は、前記フォーカス調整機構により検査対象物に対する合焦位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、前記撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出する合焦候補位置抽出手段と、抽出した複数の合焦候補位置に関する合焦候補位置情報を前記表示部に表示する候補表示手段とを備えることを特徴とする。
【００１１】
また、第２発明に係る画像処理装置は、第１発明において、前記候補表示手段は、前記表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する前記合焦候補位置情報を前記表示部に表示し、前記フォーカス調整部は、前記表示部に表示された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段を備え、該選択受付手段で一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を前記表示部に表示することを特徴とする。
【００１２】
また、第３発明に係る画像処理装置は、第１又は第２発明において、前記フォーカス調整部は、抽出された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段を備え、該選択受付手段で一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整することを特徴とする。
【００１３】
また、第４発明に係る画像処理装置は、第１又は第２発明において、前記フォーカス調整部は、一の合焦候補位置の選択を受け付ける選択受付手段を備え、該選択受付手段で一の合焦候補位置の選択を受け付けた場合、前記候補表示手段は、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を前記表示部に表示することを特徴とする。
【００１４】
また、第５発明に係る画像処理装置は、第１又は第２発明において、前記候補表示手段は、複数の前記合焦候補位置のうち、前記撮像部との距離が最も短い合焦候補位置を前記表示部に表示することを特徴とする。
【００１５】
また、第６発明に係る画像処理装置は、第１乃至第５発明のいずれか１つにおいて、前記フォーカス調整部は、事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出する合焦度算出手段と、前記小領域ごとに算出した合焦度が最大である合焦位置を取得する合焦位置取得手段とを備え、前記合焦候補位置抽出手段は、取得した前記小領域ごとの合焦位置に基づいて合焦候補位置を抽出することを特徴とする。
【００１６】
次に、上記目的を達成するために第７発明に係るフォーカス調整方法は、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像した画像を表示する表示部と、検査対象物に対する合焦位置を調整するフォーカス調整機構を有するフォーカス調整部と、前記撮像部で撮像して取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能なフォーカス調整方法において、前記フォーカス調整部は、前記フォーカス調整機構により検査対象物に対する合焦位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、前記撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出し、抽出した複数の合焦候補位置に関する合焦候補位置情報を前記表示部に表示することを特徴とする。
【００１７】
また、第８発明に係るフォーカス調整方法は、第７発明において、前記表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する前記合焦候補位置情報を前記表示部に表示し、前記フォーカス調整部は、前記表示部に表示された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付け、一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を前記表示部に表示することを特徴とする。
【００１８】
また、第９発明に係るフォーカス調整方法は、第７又は第８発明において、前記フォーカス調整部は、抽出された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付け、一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整することを特徴とする。
【００１９】
また、第１０発明に係るフォーカス調整方法は、第７又は第８発明において、前記フォーカス調整部は、一の合焦候補位置の選択を受け付け、一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を前記表示部に表示することを特徴とする。
【００２０】
また、第１１発明に係るフォーカス調整方法は、第７又は第８発明において、前記候補表示手段は、複数の前記合焦候補位置のうち、前記撮像部との距離が最も短い合焦候補位置を前記表示部に表示することを特徴とする。
【００２１】
また、第１２発明に係るフォーカス調整方法は、第７乃至第１１発明のいずれか１つにおいて、前記フォーカス調整部は、事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出し、前記小領域ごとに算出した合焦度が最大である合焦位置を取得し、取得した前記小領域ごとの合焦位置に基づいて合焦候補位置を抽出することを特徴とする。
【００２２】
次に、上記目的を達成するために第１３発明に係るコンピュータプログラムは、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像した画像を表示する表示部と、検査対象物に対する合焦位置を調整するフォーカス機構を有するフォーカス調整部と、前記撮像部で撮像して取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記フォーカス調整部を、前記フォーカス調整機構により検査対象物に対する合焦位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、前記撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出する合焦候補位置抽出手段、及び抽出した複数の合焦候補位置に関する合焦候補位置情報を前記表示部に表示する候補表示手段として機能させることを特徴とする。
【００２３】
また、第１４発明に係るコンピュータプログラムは、第１３発明において、前記候補表示手段を、前記表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する前記合焦候補位置情報を前記表示部に表示する手段として機能させ、前記フォーカス調整部を、前記表示部に表示された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段、及び一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を前記表示部に表示する手段として機能させることを特徴とする。
【００２４】
また、第１５発明に係るコンピュータプログラムは、第１３又は第１４発明において、前記フォーカス調整部を、抽出された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段、及び一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整する手段として機能させることを特徴とする。
【００２５】
また、第１６発明に係るコンピュータプログラムは、第１３又は第１４発明において、前記フォーカス調整部を、一の合焦候補位置の選択を受け付ける選択受付手段として機能させ、一の合焦候補位置の選択を受け付けた場合、前記候補表示手段を、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を前記表示部に表示する手段として機能させることを特徴とする。
【００２６】
また、第１７発明に係るコンピュータプログラムは、第１３又は第１４発明において、前記候補表示手段を、複数の前記合焦候補位置のうち、前記撮像部との距離が最も短い合焦候補位置を前記表示部に表示する手段として機能させることを特徴とする。
【００２７】
また、第１８発明に係るコンピュータプログラムは、第１３乃至第１７発明のいずれか１つにおいて、前記フォーカス調整部を、事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出する合焦度算出手段、及び前記小領域ごとに算出した合焦度が最大である合焦位置を取得する合焦位置取得手段として機能させ、前記合焦候補位置抽出手段を、取得した前記小領域ごとの合焦位置に基づいて合焦候補位置を抽出する手段として機能させることを特徴とする。
【００２８】
第１発明、第７発明及び第１３発明では、フォーカス調整機構により検査対象物に対する合焦位置を変えながら、撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出する。抽出した複数の合焦候補位置に関する合焦候補位置情報を表示部に表示する。複数の合焦候補位置を抽出して、撮像領域のどの一部の領域が合焦状態であるのか画面上で確認しながらフォーカス調整を行うことができるので、ユーザは、検査対象物の所望の特徴部分が鮮明である画像に対応する合焦位置を容易に選択することが可能となる。
【００２９】
第２発明、第８発明及び第１４発明では、表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する合焦候補位置情報を表示部に表示し、表示部に表示された複数の合焦候補位置の中から一の合焦候補位置の選択を受け付け、一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を表示する。これにより、合焦候補位置に対応する画像を表示することができ、選択を受け付けた撮像領域が正しいか否かを目視で確認することが可能となる。
【００３０】
第３発明、第９発明及び第１５発明では、抽出された複数の合焦候補位置の中から一の合焦候補位置の選択を受け付け、一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整するので、合焦候補位置に対応する画像を表示することができ、選択を受け付けた撮像領域が正しいか否かを目視で確認することが可能となる。
【００３１】
第４発明、第１０発明及び第１６発明では、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を表示部に表示するので、所望の特徴部分が鮮明に表示されているか否かを目視で確認することができ、所望の撮像領域に対応した合焦位置を容易に選択することが可能となる。
【００３２】
第５発明、第１１発明及び第１７発明では、複数の合焦候補位置のうち、撮像部との距離が最も短い合焦候補位置を表示部に表示する。合焦状態となる可能性が高い、撮像部との距離が最も短い合焦候補位置を表示するので、フォーカス調整が不要になる確率が高く、場合によっては煩雑な操作を省略することが可能となる。
【００３３】
第６発明、第１２発明及び第１８発明では、事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出し、小領域ごとに算出した合焦度が最大である合焦位置を取得する。取得した小領域ごとの合焦位置に基づいて合焦候補位置を抽出するので、合焦状態となる可能性が高い合焦候補位置を抽出することが可能となる。
【発明の効果】
【００３４】
本発明では、複数の合焦候補位置を抽出して、撮像領域のどの一部の領域が合焦状態であるのか画面上で確認しながらフォーカス調整を行うことができるので、検査対象物の所望の特徴部分が鮮明である画像に対応する合焦位置を容易に選択することが可能となる。
【図面の簡単な説明】
【００３５】
【図１】従来の合焦度合いの評価の問題点を説明するための模式図である。
【図２】本発明の実施の形態に係る画像処理センサの構成を示す模式図である。
【図３】本発明の実施の形態に係る画像処理センサの撮像装置の構成を示す外形図である。
【図４】本発明の実施の形態に係る画像処理センサの撮像装置のハードウェア構成を示すブロック図である。
【図５】本発明の実施の形態に係る画像処理センサの撮像装置のカメラモジュールのフォーカス調整部の構成を示す斜視図である。
【図６】本発明の実施の形態に係る画像処理センサの表示装置の構成を示す正面図である。
【図７】本発明の実施の形態に係る画像処理センサの表示装置のモード切り換え画面の例示図である。
【図８】本発明の実施の形態に係る画像処理センサの表示装置の設定画面の例示図である。
【図９】本発明の実施の形態に係る画像処理センサの機能ブロック図である。
【図１０】本発明の実施の形態に係る画像処理センサの合焦度算出方法を説明するための模式図である。
【図１１】本発明の実施の形態に係る画像処理センサの、記憶された画像データに基づく合焦度算出方法を説明するための模式図である。
【図１２】本発明の実施の形態に係る画像処理センサの、算出した合焦度に基づく合焦候補位置の抽出方法を説明するためのテーブルである。
【図１３】本発明の実施の形態に係る画像処理センサの、算出した合焦度がばらついている場合の合焦候補位置の抽出方法を説明するためのテーブルである。
【図１４】本発明の実施の形態に係る画像処理センサで作成された高周波抽出画像の例示図である。
【図１５】画素ごとに合焦度が最大である高周波抽出画像の画像番号を記した合焦度の配置を示す例示図である。
【図１６】本発明の実施の形態に係る画像処理センサの表示装置のフォーカス自動調整画面の例示図である。
【図１７】発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＦＰＧＡ及びＤＳＰのフォーカス自動調整処理の手順を示すフローチャートである。
【図１８】合焦候補位置情報をタッチパネル上の候補ボタンの選択で表示する場合の、表示装置の合焦候補位置選択受付画面の例示図である。
【図１９】合焦候補位置の選択をタッチパネル上で合焦対象位置の指定で受け付ける場合の、表示装置の合焦候補位置選択受付画面の例示図である。
【図２０】合焦状態を順次選択可能とした、表示装置の合焦状態選択受付画面の例示図である。
【図２１】合焦候補位置ごとに小領域を定める場合の、表示装置の合焦候補位置選択受付画面の例示図である。
【図２２】本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＤＳＰの、高周波抽出画像に基づくフォーカス自動調整処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００３６】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。以下、画像処理装置として画像処理センサを例に挙げて説明する。
【００３７】
図２は、本発明の実施の形態に係る画像処理センサの構成を示す模式図である。図２に示すように、本実施の形態に係る画像処理センサは、撮像装置１と、撮像装置１とデータ通信することが可能に接続ケーブル３で接続されている表示装置２とで構成されている。もちろん、表示装置２の代わりに、ディスプレイを有する外部コンピュータであっても良い。なお、撮像装置１と表示装置２とが一体として構成されていても良い。
【００３８】
撮像装置１は、内部に画像処理を実行するＦＰＧＡ、ＤＳＰ等を備えており、検査対象物を撮像する撮像素子を有するカメラモジュール（撮像部）と、検査対象物に対して光を照射する照明部とを備えている。撮像装置１をコンパクトにするべく、例えば図１に示すように、撮像装置１の正面の中央近傍にレンズ１２を配置し、レンズ１２の周囲を囲むように、照明部として複数のＬＥＤ１１を配置してある。なお、撮像装置１とは別に外部照明（リング照明等）を設けても良い。
【００３９】
図３は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す外形図である。図３（ａ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す正面図を、図３（ｂ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す平面図を、図３（ｃ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す背面図を、それぞれ示している。
【００４０】
図３（ａ）に示すように、撮像装置１はレンズ１２を正面の中央近傍に配置しており、レンズ１２の周囲を囲むように複数のＬＥＤ１１を配置してある。撮像時には、複数のＬＥＤ１１を点灯させることにより、検査対象物を含む撮像領域に光を照射し、検査対象物を含む撮像領域を明瞭に撮像することができる。
【００４１】
図３（ｂ）及び図３（ｃ）に示すように、撮像装置１の背面には、外部の電源から電力の供給を受ける電源ケーブルを接続する電源コネクタ１０２と、表示装置２とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ１０３とを備えている。また、手動でフォーカスを調整することができるフォーカス調整ネジ１０１も背面に備えている。
【００４２】
図４は、本発明の実施の形態に係る画像処理センサの撮像装置１のハードウェア構成を示すブロック図である。図４において、コネクタ基板１６は、電源インタフェース１６１に設けてある電源コネクタ１０２（図３（ｂ）及び図３（ｃ）参照）を介して、外部の電源から電力の供給を受ける。電源基板１８は、供給された電力を各基板に供給する。本実施の形態では、カメラモジュール１４にはメイン基板１３を介して電力を供給している。電源基板１８のモータドライバ１８１は、カメラモジュール１４のモータ１４１に駆動電力を供給し、オートフォーカスを実現している。すなわち、モータドライバ１８１及びモータ１４１は、フォーカス調整機構の一例として機能する。
【００４３】
通信基板１７は、メイン基板１３から出力された欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を表示装置２へ送信する。判定信号を受信した表示装置２は、判定結果を表示する。
【００４４】
照明基板（照明部）１５は、検査対象物を撮像する撮像領域に光を照射する。照明基板１５には複数のＬＥＤ１１が設けてあり、図示しないリフレクタはＬＥＤ１１の前方に設けてある。また、レンズ１２は、短距離用又は長距離用のレンズユニットとして交換可能となっている。
【００４５】
カメラモジュール（撮像部）１４は、モータ１４１が回転することにより、オートフォーカス動作の制御を行うフォーカス調整部を備えており、フォーカス調整した後、メイン基板１３からの撮像指示信号に応じて検査対象物を撮像する。本実施の形態では、撮像素子としてＣＭＯＳ基板１４２を備えており、撮像されたカラー画像は、ＣＭＯＳ基板１４２にてダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像へ変換され、メイン基板１３のＦＰＧＡ１３１へ出力される。つまり、ＣＭＯＳ基板１４２は、ＨＤＲ画像を生成・出力する機能を備えており、例えばＨＤＲＣＭＯＳ等がこれに該当する。なお、画像処理センサの撮像装置１には、ＣＭＯＳ基板にてＨＤＲ画像に変換するか否かを切り替える切替部を設けても良い。切替部により、検査対象物を撮像した場合にハレーション等が生じ難いワークが搬送されてきたとき、ＨＤＲ画像を生成しないよう切り替えることができ、ひいては演算処理負荷を軽減することができる。
【００４６】
図５は、本発明の実施の形態に係る画像処理センサの撮像装置１のカメラモジュール１４のフォーカス調整部の構成を示す斜視図である。図５に示すように、カメラモジュール１４のＣＭＯＳ基板１４２にベースマウント１４３を取り付けてある。ベースマウント１４３には、レンズホルダ１４４のレンズ１２を支持するレンズ支持体１２１の上下方向（矢印方向）の動きを検知する上下検知用センサと、レンズ支持体１２１を移動させる機構の一部であるモータ１４１の回転を検知する回転検知用センサとを備えている（図示せず）。
【００４７】
ベースマウント１４３には、レンズ支持体１２１とレンズ支持体１２１を移動させる機構とで構成されたレンズホルダ１４４を取り付けてある。図４に示すように、モータ１４１の回転軸１４１ａに形成された雄ネジと、ナット１４１ｂに形成された雌ネジとが螺合することにより、モータ１４１の回転に応じてナット１４１ｂが矢印方向に直線移動する。ナット１４１ｂはレンズ支持体１２１を下方から押し上げるようになっており、レンズ支持体１２１は図示しない付勢部材により下方へ押し下げられている。したがって、ナット１４１ｂの矢印方向への往復運動をモータ１４１の回転により制御することで、ナット１４１ｂにより付勢部材の付勢力に抗してレンズ支持体１２１を上昇させたり、下降させたりすることができ、レンズ支持体１２１に設けてあるレンズ１２と検査対象物との距離を調整することができる。
【００４８】
図４に戻って、メイン基板１３は、接続してある各基板の動作を制御する。例えば照明基板１５に対しては、複数のＬＥＤ１１の点灯／消灯を制御する制御信号を、ＬＥＤドライバ１５１へ送信する。ＬＥＤドライバ１５１は、ＦＰＧＡ１３１からの制御信号に応じて、例えばＬＥＤ１１の点灯／消灯、光量等を調整する。また、カメラモジュール１４のモータ１４１に対しては、電源基板１８のモータドライバ１８１を介してオートフォーカス動作を制御する制御信号を、ＣＭＯＳ基板１４２に対しては、撮像指示信号等を、それぞれ送信する。
【００４９】
メイン基板１３のＦＰＧＡ１３１は、照明制御、撮像制御をするとともに、取得した画像データに対する画像処理を実行する（画像処理部）。また、メイン基板１３のＤＳＰ１３２は、画像データについて、エッジ検出処理、パターン検索処理等を実行する。パターン検索処理の結果として、欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を通信基板１７へ出力する。演算処理結果等はメモリ１３３に記憶される。なお、本実施の形態では、エッジ検出処理、パターン検索処理等の比較的負荷の重い処理をＤＳＰ１３２により実行している。しかし、場合によってはＦＰＧＡ１３１により実行するようにしても良い。要するに、画像処理部は、ＣＭＯＳ基板１４２で取得した画像データに対して何らかの画像処理を実行できれば、それで足りる。
【００５０】
また、本実施の形態では、ＦＰＧＡ１３１が照明制御、撮像制御等を行っているが、これらをＤＳＰ１３２が行うようにしても良い。また、ＦＰＧＡ１３１とＤＳＰ１３２とが一体となった回路、すなわち主制御回路（主制御部）を設けても良い。要するに、主制御部は、複数のＬＥＤ１１の点灯／消灯を制御する制御信号をＬＥＤドライバ１５１へ送信したり、オートフォーカス動作を制御する制御信号を電源基板１８のモータドライバ１８１を介してカメラモジュール１４のモータ１４１へ送信したり、撮像指示信号等をＣＭＯＳ基板１４２へ送信したり、ＦＰＧＡ１３１及びＤＳＰ１３２の双方の機能を有する。
【００５１】
図６は、本発明の実施の形態に係る画像処理センサの表示装置２の構成を示す正面図である。図６に示すように、表示装置２の前面の中央部分にはタッチパネル２１が設けてあり、撮像された検査対象物のカラー画像を画面に表示するとともに、ユーザによる選択入力を受け付ける。
【００５２】
また、表示装置２は、外部の電源から電力が供給される電源ケーブルを接続する電源コネクタ２４と、撮像装置１とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ２５とを備えている。さらにＵＳＢメモリ等と接続することが可能なＵＳＢポート２２を前面に設けてある。
【００５３】
ユーザは、表示装置２のタッチパネル２１の画面に表示されているボタンを選択することにより、画像処理センサの動作を制御する。そして、検査対象物の検査を実行する「検査モード」と、撮像装置１の条件設定を行う「設定モード」との切り換えを行うこともできる。言い換えると、本実施の形態に係る画像処理センサは、検査対象物の良否を判定する検査モード（Ｒｕｎモード）と、検査に用いる各種パラメータ（撮像パラメータ、照明パラメータ、画像処理パラメータ等）の設定を行う設定モード（非Ｒｕｎモード）とを切り替えるためのモード切替部を有している。図７は、本発明の実施の形態に係る画像処理センサの表示装置２のモード切り換え画面の例示図である。
【００５４】
図７（ａ）は、「検査モード」の画面表示の例示図である。図７（ａ）に示すように検査対象物表示領域７１に、撮像装置１が撮像した検査対象物の画像を表示する。左下の「センサ設定」ボタン７２が切換手段として機能し、「センサ設定」ボタン７２が選択された場合、「設定モード」へと切り換わり、図７（ｂ）に示す画面へと画面遷移する。
【００５５】
図７（ｂ）は、「設定モード」の画面表示の例示図である。図７（ｂ）に示すように、プログラム選択領域７３にて、検査対象物の種類を選択する。ここで、「プログラム」とは、検査対象物の種類又は検査環境に応じて設定された一連のデータ群（パラメータ値の組み合わせ）を意味しており、検査対象物の種類ごとに異なるデータ群をプログラムとして記憶することができる。検査対象物の検査する条件に関する検査条件データには、フォーカス調整をする場合にフォーカスが合う位置を示すフォーカス位置データを含んでいる。
【００５６】
また、検査対象物と比較する基準となる代表的画像であるマスタ画像が記憶されている場合、マスタ画像表示領域７４にマスタ画像が表示される。「設定ナビ」ボタン７５が選択された場合、詳細な設定を行う設定画面に画面遷移する。図７（ｂ）の「運転開始」ボタン７６は切換手段として機能し、「運転開始」ボタン７６が選択された場合、「検査モード」へと切り換わり、図７（ａ）に示す画面へと画面遷移する。
【００５７】
図８は、本発明の実施の形態に係る画像処理センサの表示装置２の設定画面の例示図である。図８に示す設定画面を通じて、ユーザは、撮像条件の設定（図８（ａ））から、パターンサーチする基準となるマスタ画像の登録（図８（ｂ））、マスタ画像に対して輪郭サーチ等のツール設定（図８（ｃ）〜図８（ｅ））、出力割当（図８（ｆ））、という流れで順次設定を行う。以下、詳細に説明する。図７（ｂ）に示す「設定ナビ」ボタン７５が選択された場合、まず図８（ａ）に示す撮像条件設定画面が表示される。撮像条件設定画面では、マスタ画像が記憶されていない場合には現在撮像している検査対象物の画像が、マスタ画像が記憶されている場合にはマスタ画像が主表示領域８１に表示され、画面下部に撮像条件を設定する設定ボタン群が表示されている。例えば「トリガ条件」ボタンが選択された場合には、撮像装置１が検査対象物を撮像するタイミングを特定するトリガ条件を設定することができる。詳細な設定画面は省略するが、それぞれのボタンが選択された場合、それぞれの設定条件に応じて図６に示すタッチパネル２１上に表示される。「フォーカス自動調整」ボタン８３が選択された場合については後述する。
【００５８】
また、より詳細な設定をするには、図８（ａ）の「拡張機能」ボタン８２を選択すれば良い。「拡張機能」ボタン８２が選択された場合、詳細な設定を行うためのボタンが別途表示される。このように撮像条件設定画面では、明るさの調整、フォーカスの調整、撮像範囲、照明のオン／オフ、ズームのオン／オフ等を設定することができる。フォーカスの調整については後述する。
【００５９】
図８（ａ）の「進む」と表示された「画面遷移」ボタン８４が選択された場合、図８（ｂ）に示すマスタ画像登録画面が表示される。登録されたマスタ画像上に、以後、検査用の様々なツールを設定する。１つのマスタ画像に対して複数のプログラムを記憶することができる。つまり、同じマスタ画像に対して異なるツールを設定し、異なるプログラムとして記憶しておくことができる。
【００６０】
マスタ画像は、現在撮像している検査対象物の画像を登録しても良いし、以前に撮像しておいた画像から選択して登録しても良い。現在撮像している画像を登録する場合、ユーザは「Ｌｉｖｅ画像登録」ボタン８５を選択すればよい。「Ｌｉｖｅ画像登録」ボタン８５が選択された時点で撮像されている画像がマスタ画像として登録される。
【００６１】
図８（ｂ）の「進む」と表示された「画面遷移」ボタン８６が選択された場合、図８（ｃ）に示すマスタ画像ごとのツール設定画面が表示される。マスタ画像上に、以後、検査用の様々なツールを設定する。
【００６２】
ツール設定画面では、表示されているマスタ画像に、検査を実行するためのツールを追加設定する。図８（ｃ）に示す「追加」ボタン８７が選択された場合、図８（ｄ）に示すツール選択画面が表示される。ツール選択画面で選択されたツールを追加設定する。例えば「輪郭サーチ」ボタン８８が選択された場合、図８（ｅ）に示す輪郭サーチ設定画面が表示される。輪郭サーチ設定画面で、マスタ画像のどの輪郭を撮像された検査対象物の画像と照合するのか設定しておくことにより、欠陥を検出したか否かで検査対象物の良否を判定することができる。以下、色面積、位置補正等の設定をすることができる。
【００６３】
図８（ｃ）の「進む」と表示された「画面遷移」ボタン８９が選択された場合、図８（ｆ）に示す出力割当画面が表示される。「完了」ボタン９０が選択された場合、図７（ｂ）に示す「設定モード」の画面表示に戻る。このように、ユーザは、図６に示す表示装置２のタッチパネル２１上で、「進む」と表示された「画面遷移」ボタン８４、８６、８９を順に選択することで、簡単かつ短時間に、検査に用いる各種パラメータを設定することができる。また、画像処理センサに慣れていないユーザであっても、表示装置２のタッチパネル２１上で次の操作へ誘導されるので、各種パラメータを容易に設定することができる。
【００６４】
図９は、本発明の実施の形態に係る画像処理センサの機能ブロック図である。図９において、撮像部９０１は、検査対象物を含む撮像領域を撮像する。図４のカメラモジュール１４のうち、ＣＭＯＳ基板１４２の機能がこれに相当する。
【００６５】
フォーカス調整部９０２は、検査対象物に対する合焦位置を調整する。フォーカス調整部９０２は、合焦候補位置抽出部９１１、選択受付部９１２、候補表示部９１３、合焦度算出部９１４、合焦位置取得部９１５を備えている。
【００６６】
合焦候補位置抽出部９１１は、フォーカス調整機構により検査対象物に対する合焦位置を変えながら、カメラモジュール１４により検査対象物を撮像して取得した複数の異なる画像データに基づいて、撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出する。合焦候補位置を抽出するために、合焦度算出部９１４は、事前に撮像領域に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出し、合焦位置取得部９１５は、小領域ごとに算出した合焦度が最大である合焦位置を取得する。合焦候補位置抽出部９１１は、合焦位置取得部９１５で取得した小領域ごとの合焦位置に基づいて、複数の合焦候補位置を抽出する。
【００６７】
図１０は、本発明の実施の形態に係る画像処理センサの合焦度算出方法を説明するための模式図である。図１０（ａ）には、撮像された画像上に複数の仮想中心１００１を１２点設定している。そして、仮想中心１００１それぞれから周囲数１０ピクセルの調整領域（小領域）１００２を設定し、調整領域１００２ごとに高周波成分を抽出する。具体的には、調整領域１００２内の画素数に対する高周波成分の画素数の比率（百分率）として、仮想中心１００１ごと（調整領域１００２ごと）に合焦度を算出して記憶しておく。
【００６８】
もちろん、小領域として１２個の調整領域１００２を設定することに限定されるものではなく、明示的に複数の窓領域を配置する方法であっても良い。図１０（ｂ）は、撮像された画像上に複数の窓領域１００３を配置してある。窓領域１００３ごとに高周波成分を抽出し、窓領域１００３内の画素数に対する高周波成分の画素数の比率（百分率）として、窓領域１００３ごとに合焦度を算出して記憶しておく。
【００６９】
図１０に示す合焦度算出方法は、撮像部で撮像された画像に対して動的に合焦度を算出する方法であるが、事前に撮像されて記憶されている画像であれば高周波成分を細かく検出しても良い。この場合、図１０とは異なり、仮想中心１００１を１２点設定する必要もなく、詳細な高周波抽出画像を全画面に対して作成することができる。
【００７０】
図１１は、本発明の実施の形態に係る画像処理センサの、記憶されている画像に基づく合焦度算出方法を説明するための模式図である。図１１（ａ）に示す撮像された画像の高周波成分を抽出し、図１１（ｂ）に示す高周波抽出画像を得る。図１１（ｂ）では、白い部分に高周波成分が存在することを示しており、黒い部分には存在しないことを示している。もちろん、元の画像と同じサイズで高周波抽出画像を作成しても良いし、画像を圧縮する等により高周波抽出画像のサイズを変更しても良い。例えば図１１（ｃ）では、画像サイズを縮小した高周波抽出画像を示している。
【００７１】
合焦位置取得部９１５は、合焦度の分布又は高周波抽出画像に基づいて複数の合焦候補位置を抽出する。図１２は、本発明の実施の形態に係る画像処理センサの、算出した合焦度に基づく合焦候補位置の抽出方法を説明するためのテーブルである。なお、算出した合焦度には、適当な固定係数を乗じて重み付けしても良い。
【００７２】
図１２は、各仮想中心点のレンズ位置ごとの合焦度を示している。仮想中心点１〜１２において、仮想中心点１〜８で合焦度が最大であるレンズ位置（合焦候補位置）は‘２０’であり、仮想中心点９〜１２で合焦度が最大であるレンズ位置は‘３５’である。レンズ位置は、検査対象物と接触している状態が‘０’、離れるに従って、すなわちレンズ１２がカメラモジュール１４に近いほどレンズ位置の値は大きくなる。
【００７３】
図１２の例では、合焦候補位置として、レンズ位置‘２０’と‘３５’との２つを抽出することができる。複数の合焦候補位置のうち、カメラモジュール１４により近い、すなわちフォーカス距離が短いのはレンズ位置‘３５’であるので、フォーカス自動調整時にはレンズ位置‘３５’にレンズ１２を移動させて合焦候補位置に合焦位置を調整して終了する。
【００７４】
以上、本実施の形態では、図１０乃至図１２を用いて説明しているように、調整領域１００２内の画素数に対する高周波成分（又はエッジ成分）の画素数の比率（百分率）を、仮想中心１００１ごと（調整領域１００２ごと）の合焦度として算出しているが、合焦度の算出方法は特にこれに限定されるものではない。例えば、撮像された画像に対して、ｌ×ｍフィルタを縦横にｎ画素ごとに移動させ（ｌ、ｍ、ｎともに任意の整数）、移動させるたびにｌ×ｍ領域内にある全画素の画素値の分散値を計算し、分散値の２次元配列からなる高周波画像を作成する。作成した高周波画像に対し、事前に決められた重み付けで分散値の重み付け加算又は重み付け乗算を計算し、合焦度を算出する（すなわち、上述した仮想中心１００１の座標に基づいて係数で重み付けし、各仮想中心１００１における１２個の合焦度を算出する）。このように高周波画像を作成することにより合焦度を算出することもできる。要するに、合焦度は、事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示すものであれば、特に算出方法は限定されるものではない。
【００７５】
ここで、図１２の例のように合焦度にばらつきがない場合よりも、実際には合焦度がばらつくことが多い。図１３は、本発明の実施の形態に係る画像処理センサの、算出した合焦度がばらついている場合の合焦候補位置の抽出方法を説明するためのテーブルである。
【００７６】
図１２とは異なり、図１３の例では、仮想中心点２、６、１０で合焦度がばらついている。このようなばらつきが生じている場合、レンズ位置ごとに出現回数を降順にソートし、出現回数の多いレンズ位置から順に合焦候補位置として抽出する。抽出時には、抽出する合焦候補位置のレンズ位置近傍の合焦度から、合焦候補位置から除外する合焦度を選定する。
【００７７】
例えば図１３では、レンズ位置‘２０’が出現回数６回と最多であるので、レンズ位置‘２０’を合焦候補位置として抽出する。そして、同一の検査対象物に起因する合焦度の幅を‘５’とした場合、レンズ位置‘１５’〜‘２５’は同一の合焦候補位置とみなすことができ、レンズ位置‘１５’及び‘２５’は合焦候補位置から除外することができる。
【００７８】
同様に、次にレンズ位置‘３５’が出現回数３回と多いので、レンズ位置‘３５’を合焦候補位置として抽出する。そして、同一の検査対象物に起因する合焦度の幅を‘５’とした場合、レンズ位置‘３０’〜‘４０’は同一の合焦候補位置とみなすことができ、レンズ位置‘３０’及び‘４０’は合焦候補位置から除外することができる。このように、レンズ位置‘２０’、‘３５’が合焦候補位置として抽出され、フォーカス距離が短いのはレンズ位置‘３５’であるのでレンズ位置‘３５’に自動調整される。
【００７９】
合焦位置取得部９１５は、記憶してある、検査対象物を撮像した画像の高周波成分を抽出して作成された高周波抽出画像に基づいて、合焦候補位置を抽出することもできる。図１４は、本発明の実施の形態に係る画像処理センサで作成された高周波抽出画像の例示図である。
【００８０】
図１４（ａ）〜（ｇ）は、左側に元の画像を、右側に合焦度に基づく高周波抽出画像を、それぞれ示している。右側の高周波抽出画像で白く表示されている部分は、高周波成分が多い部分、すなわち合焦度が所定値よりも大きい部分を示している。
【００８１】
合焦位置取得部９１５は、作成された高周波抽出画像の画素ごとに合焦度が最大である高周波抽出画像を選択する。図１５は、画素ごとに合焦度が最大である高周波抽出画像の画像番号を記した合焦度の配置を示す例示図である。
【００８２】
図１５では、画素ごとに合焦度が最大である図１４に示す高周波抽出画像の画像番号を記している。例えば‘２’と記してある画素は、画像番号‘２’の合焦度が最大である旨を示している。そして、同じ画像番号が連続して記されている領域を合焦領域として特定することができ、合焦候補位置として抽出することができる。
【００８３】
なお、合焦領域の境界では値が安定しないことが多いが、この場合は隣接する合焦領域に含めても合焦領域自体は大きく変動しない。また、合焦度の最大値が比較的小さい画素は、ノイズの影響を受けやすい。したがって、合焦領域として特定し得る合焦度の最小値を設けておき、最小値以下である場合には合焦領域に含めないようにしても良い。
【００８４】
また、元の画像ににじみ部分等が存在する場合、高周波成分が多いと判断され、合焦状態であると誤認されるおそれがある。それを回避するべく、高周波抽出画像の各画素をそのまま比較するのではなく、元の画像（図１４の左側の画像）に対して画素ごとにフィルタ処理した値、あるいは標準偏差を算出して除算した値で比較して、値が最大である高周波抽出画像を選択しても良い。
【００８５】
さらに、模様によっては高周波成分が誤って多く算出されるおそれがある。そこで、画素ごとに、周囲の画素値に重み付けをして画素値を決定する、あるいは周囲の画素値の最大値を代表値として画素値を決定することにより、決定した画素値に基づく高周波抽出画像を作成しても良い。このようにすることで、模様による誤差の影響を低減することができる。したがって、高い精度で高周波抽出画像から画素ごとの合焦度が最大である領域を合焦領域として特定することができ、合焦候補位置として抽出することができる。
【００８６】
もちろん、上述した方法を組み合わせることで、より高い精度で高周波抽出画像から画素ごとの合焦度が最大である領域を合焦領域として特定することができ、合焦候補位置として抽出することができる。
【００８７】
図９に戻って、選択受付部９１２は、抽出された複数の合焦候補位置の中から、一の合焦候補位置の選択を受け付ける。選択を受け付ける方法は特に限定されるものではなく、表示装置２のタッチパネル２１に表示されている合焦候補位置を識別することが可能な情報の選択を受け付けることができれば良い。
【００８８】
なお、選択受付部９１２で、一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整する。具体的には、ＤＳＰ１３２（ＦＰＧＡ１３１でも良い）は、モータドライバ１８１を介してカメラモジュール１４のモータ１４１に回転指示を送信し、レンズ１２を移動させて選択を受け付けた一の合焦候補位置に合焦位置を調整する。
【００８９】
候補表示部９１３は、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された検査対象物の画像を表示する。候補表示部９１３は、抽出した複数の合焦候補位置に関する合焦候補位置情報を、表示されている画像に重畳して表示することが好ましい。どの合焦候補位置が検査対象物の所望の特徴部分が鮮明に表示されているか否かを目視で確認することができ、所望の特徴部分に対応した合焦位置を選択することができるからである。
【００９０】
そして、画像処理部９０３は、フォーカス調整された画像データに対して画像処理を実行する。メイン基板１３のＦＰＧＡ１３１による、撮像して取得した画像データに対する前処理、例えば明度調整、ホワイトノイズ調整等の処理がこれに該当する。
【００９１】
本実施の形態では、図７（ｂ）に示す「設定モード」画面から、フォーカス調整を行う場合の検査条件データを設定して記憶する。図７（ｂ）に示す「設定モード」画面から、「設定ナビ」ボタン７５を選択し、図８（ａ）に示す画面が表示される。そして、図８（ａ）の「フォーカス自動調整」ボタン８３を選択することで、フォーカス調整を行う。
【００９２】
図１６は、本発明の実施の形態に係る画像処理センサの表示装置２のフォーカス自動調整画面の例示図である。図１６（ａ）では、主表示領域１６０に現在撮像している検査対象物の画像が表示されている。この状態で「フォーカス自動調整」ボタン１６２が選択された場合、フォーカスの自動調整が実行される。
【００９３】
具体的には、「フォーカス自動調整」ボタン１６２が選択された時点で、ＤＳＰ１３２はモータドライバ１８１に回転制御信号を送信し、モータ１４１を回転させる。そして、検査対象物との距離が最も短い（近い）位置から最も遠い位置までレンズ１２を移動させ、移動中に検査対象物を複数枚撮像する。撮像した複数枚の画像データ、例えば合焦度に基づいて複数の合焦候補位置を抽出する。
【００９４】
そして、複数抽出される合焦候補位置のうち、カメラモジュール１４に最も近い、すなわちフォーカス距離が最も短い合焦候補位置までレンズ１２を移動させて合焦候補位置に合焦位置を調整してフォーカス自動調整を終了する。図１６（ｂ）は、フォーカス自動調整完了時の調整完了画面の例示図である。
【００９５】
主表示領域１６０に表示されている画像は、図１６（ａ）では、表示されている検査対象物の画像の左右の画像ともにぼけて表示されていたのに対し、図１６（ｂ）では右側の画像が鮮明に表示されている。これは、フォーカス距離が短い合焦候補位置にレンズ１２が移動しているからである。
【００９６】
調整完了画面には、合焦候補位置１６４、１６５及び現在の合焦位置１６３が表示されている。図１６（ｂ）の例では、現在の合焦位置１６３は合焦候補位置１６５と一致している。なお、図１６（ｂ）の調整完了画面には、画面下方に、左端をＦａｒ、右端をＮｅａｒとする１本のバーが表示されており、合焦候補位置１６４、１６５を示すボタンは、表示されたバーの上でそれぞれ対応する合焦候補位置の近傍に配置されている。これにより、ユーザは、合焦候補位置１６４、１６５のフォーカス距離がどれくらいであるかを一見して把握することができる。
【００９７】
また、現在の合焦位置１６３を示す逆三角の図形も、表示されたバーの上で対応する合焦候補位置の近傍に配置されている（図１６（ｂ）では合焦候補位置１６５を指す位置に、図１６（ｃ）では合焦候補位置１６４を指す位置に配置されている）。これにより、ユーザは、現在表示されている画像のフォーカス距離がどれくらいであるかを一見して把握することができる。
【００９８】
なお、現在の合焦位置１６３を示すために、図１６（ｃ）に示すような逆三角形の図形でなく、例えば合焦候補位置１６４を示すボタン又は合焦候補位置１６５を示すボタンのうち、現在の合焦位置１６３を示すボタンを光らせても良い。要するに、抽出した複数の合焦候補位置をユーザが表示装置２のタッチパネル２１上で選択することが可能となるように、抽出した複数の合焦候補位置に関する合焦候補位置情報（好ましくは複数の合焦候補位置及び現在の合焦位置）を表示する。
【００９９】
ユーザは、現在の合焦位置１６３を他の合焦候補位置１６４へ変更する操作を行うことで、他の合焦候補位置にレンズ１２を移動させることができる。例えば、表示されている他の合焦候補位置１６４を指１６６でタッチすることにより、現在の合焦位置１６３が他の合焦候補位置１６４へ変更され、主表示領域１６０に表示される画像も変更される。
【０１００】
図１６（ｃ）は、他の合焦候補位置１６４へ変更した場合の調整完了画面の例示図である。図１６（ｃ）では、左側の画像のみが鮮明に表示されている。これは、フォーカス距離が異なる他の合焦候補位置１６４にレンズ１２が移動しているからである。
【０１０１】
したがって、フォーカス自動調整を一度行うことで、複数の合焦候補位置を抽出することができ、ユーザは、表示される画像を見ながら、所望の合焦候補位置を選択することができる。また、ユーザは調整範囲、仮想中心点等を指定する必要もなく、容易に所望の合焦候補位置に合焦位置を調整することが可能となる。
【０１０２】
図１７は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＦＰＧＡ１３１及びＤＳＰ１３２のフォーカス自動調整処理の手順を示すフローチャートである。ＦＰＧＡ１３１は、フォーカス自動調整の開始指示を受け付け（ステップＳ１７０１）、レンズ１２をカメラモジュール１４に最も近い、すなわちフォーカス距離が最も短い調整領域に対応する撮像位置へ移動させる移動指示を、モータドライバ１８１へ送信する（ステップＳ１７０２）。モータドライバ１８１は、移動指示に従ってモータ１４１を回転させ、レンズ１２をカメラモジュール１４に最も近い、すなわち検査対象物から離れた位置に移動させる。
【０１０３】
そして、ＦＰＧＡ１３１は、撮像装置１のカメラモジュール１４のＣＭＯＳ基板１４２へ、検査対象物の撮像指示を送信し（ステップＳ１７０３）、撮像指示を受信したＣＭＯＳ基板１４２で撮像した検査対象物の画像を取得する（ステップＳ１７０４）。
【０１０４】
ＤＳＰ１３２は、取得した画像の画像データの合焦度を算出する（ステップＳ１７０５）。ここでは、図１０及び図１１で説明した合焦度算出方法を用いて合焦度を算出する。ＤＳＰ１３２は、取得した画像データの全ての調整領域について合焦度を算出したか否かを判断する（ステップＳ１７０６）。
【０１０５】
ＤＳＰ１３２が、まだ合焦度を算出していない調整領域が存在すると判断した場合（ステップＳ１７０６：ＮＯ）、ＤＳＰ１３２は、次の調整領域に対応する撮像位置への移動指示をモータドライバ１８１へ送信する（ステップＳ１７０７）。モータドライバ１８１は、移動指示に従ってモータ１４１を回転させ、レンズ１２を次の撮像位置へ移動させる。ＤＳＰ１３２は、処理をステップＳ１７０３へ戻して、上述した処理を繰り返す。
【０１０６】
ＤＳＰ１３２が、全ての調整領域について合焦度を算出したと判断した場合（ステップＳ１７０６：ＹＥＳ）、ＤＳＰ１３２は、合焦候補位置を抽出する（ステップＳ１７０８）。ここでは、図１２及び図１３で説明した合焦候補位置の抽出方法を用いる。ＤＳＰ１３２は、抽出した複数の合焦候補位置に関する合焦候補位置情報の表示指示を、表示装置２のタッチパネル２１へ送信する（ステップＳ１７０９）。
【０１０７】
合焦候補位置情報としては、例えば図１６に示す合焦候補位置１６４、１６５の表示に限定されるものではない。図１８は、合焦候補位置情報をタッチパネル２１上の候補ボタンの選択で表示する場合の、表示装置２の合焦候補位置選択受付画面の例示図である。
【０１０８】
図１８（ａ）に示すように、画像表示部１８０に合焦候補位置に対応する画像データのサムネイル画像等を表示しておき、「候補」ボタン１８２、１８３の選択を受け付けることにより、選択を受け付けた画像を表示する。例えば「候補」ボタン１８２の選択を受け付けた場合には、図１８（ｂ）に示す画像を表示する。画像の左側の模様に焦点が合っていることがわかる。
【０１０９】
一方、「候補」ボタン１８３の選択を受け付けた場合には、図１８（ｃ）に示す画像を表示する。画像の右側の模様に焦点が合っていることがわかる。このように複数の合焦候補位置情報を同時に表示し、合焦候補位置情報の指定を受け付けることにより、合焦候補位置の選択を受け付けることができる。
【０１１０】
また、合焦候補位置情報を表示していなくても、直接、タッチパネル２１上で合焦候補位置の選択を受け付けることができる。図１９は、合焦候補位置の選択をタッチパネル２１上の合焦対象位置の指定で受け付ける場合の、表示装置２の合焦候補位置選択受付画面の例示図である。
【０１１１】
図１９（ａ）に示すように、検査対象物の画像を画像表示部１９１に表示しておき、指１９２、１９３が指し示す位置の選択を受け付けることにより、選択を受け付けた位置の画素に対応して記憶してある合焦候補位置へレンズ１２を移動させて撮像した画像を表示する。例えば指１９２が指し示す位置の選択を受け付けた場合には、図１９（ｂ）に示す画像を表示する。画像の左側の模様に焦点が合っていることがわかる。
【０１１２】
一方、指１９３が指し示す位置の選択を受け付けた場合には、図１９（ｃ）に示す画像を表示する。画像の右側の模様に焦点が合っていることがわかる。このように複数の合焦候補位置情報を直接に画面上に表示することなく、合焦候補位置の選択を受け付けることができる。
【０１１３】
また、順次、合焦候補位置情報を選択することができるようにしても良い。図２０は、合焦状態を順次選択可能とした、表示装置２の合焦状態選択受付画面の例示図である。
【０１１４】
図２０（ａ）に示すように、検査対象物の画像を画像表示部２０１に表示しておき、「次の候補」ボタン２０２又は「前の候補」ボタン２０４の選択を受け付けることにより、順次、記憶してある合焦候補位置へレンズ１２を移動させて撮像した画像を表示する。例えば「次の候補」ボタン２０２の選択を受け付けた場合には、図２０（ｂ）に示す画像を表示する。そして、表示されている画像を確認して、合焦位置とする場合には、「確定」ボタン２０３の選択を受け付ければ良い。
【０１１５】
さらに、表示されている画像を同一の合焦候補位置ごとに小領域を定めて記憶し、小領域単位で選択を受け付けても良い。図２１は、合焦候補位置ごとに小領域を定める場合の、表示装置２の合焦候補位置選択受付画面の例示図である。
【０１１６】
図２１（ａ）に示すように、検査対象物の画像を画像表示部２０１に表示しておき、合焦候補位置ごとに小領域２１１、２１２、２１３に区分けしておく。画面表示においては、各小領域を色分け表示しても良い。
【０１１７】
この状態で、各小領域２１１、２１２、２１３の選択を受け付ける。例えば小領域２１１の選択を受け付けた場合、図２１（ｂ）に示すように、選択を受け付けた小領域２１１が合焦状態である画像を含む画面が表示される。同様に、小領域２１２の選択を受け付けた場合、図２１（ｃ）に示すように、選択を受け付けた小領域２１２が合焦状態である画像を含む画面が表示される。小領域２１３の選択を受け付けた場合、図２１（ｄ）に示すように、選択を受け付けた小領域２１３が合焦状態である画像を含む画面が表示される。
【０１１８】
もちろん、検査対象物を撮像した画像の高周波成分を抽出して作成された高周波抽出画像に基づいて、合焦候補位置を抽出しても良い。図２２は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＤＳＰ１３２の、高周波抽出画像に基づくフォーカス自動調整処理の手順を示すフローチャートである。ＤＳＰ１３２は、フォーカス自動調整の開始指示を受け付け（ステップＳ２２０１）、記憶してある検査対象物の画像データをレンズ位置の順にソートする（ステップＳ２２０２）。ＤＳＰ１３２は、最初のレンズ位置における検査対象物の画像データを読み出す（ステップＳ２２０３）。
【０１１９】
ＤＳＰ１３２は、読み出した画像データの合焦度を算出する（ステップＳ２２０４）。ＤＳＰ１３２は、記憶してある全ての画像データについて合焦度を算出したか否かを判断する（ステップＳ２２０５）。
【０１２０】
ＤＳＰ１３２が、まだ合焦度を算出していない画像データが存在すると判断した場合（ステップＳ２２０５：ＮＯ）、ＤＳＰ１３２は、次の画像データを読み出し（ステップＳ２２０６）、処理をステップＳ２２０４へ処理を戻して、上述した処理を繰り返す。
【０１２１】
ＤＳＰ１３２が、全ての画像データについて合焦度を算出したと判断した場合（ステップＳ２２０５：ＹＥＳ）、ＤＳＰ１３２は、合焦候補位置を抽出する（ステップＳ２２０７）。ここでは、図１４及び図１５で説明した合焦候補位置の抽出方法を用いる。ＤＳＰ１３２は、抽出した複数の合焦候補位置に関する合焦候補位置情報を表示する表示指示を、表示装置２のタッチパネル２１へ送信する（ステップＳ２２０８）。
【０１２２】
以上のように本実施の形態によれば、複数の合焦候補位置を抽出して、撮像領域のどの一部の領域が合焦状態であるのか画面上で確認しながらフォーカス調整を行うことができるので、検査対象物の所望の特徴部分が鮮明である画像に対応する合焦位置を容易に選択することが可能となる。
【０１２３】
つまり、本実施の形態に係る撮像装置１では、モータドライバ１８１及びモータ１４１で構成されるフォーカス調整機構により、検査対象物に対する合焦位置を変えながら、カメラモジュール１４により検査対象物を撮像し、複数の異なる画像データを取得する。そして、取得した複数の画像データに基づいて、撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出し、抽出した複数の合焦候補位置に関する合焦候補位置情報を表示装置２に表示する。これにより、ユーザは、検査対象物の所望の特徴部分が鮮明である画像に対応する合焦位置を容易に選択することができる。
【０１２４】
なお、検査対象物を撮像し、複数の異なる画像データを取得するタイミングと、合焦候補位置を複数抽出するタイミングとは、特に限定されるものではない。例えば、最初に複数の異なる画像データを全て取得した後に、取得した全ての画像データを用いて合焦候補位置を複数抽出しても良いし、例えば予め合焦候補位置を３個抽出すると決めておき、画像データの取得と合焦候補位置の抽出とを交互に行い、合焦候補位置が３個抽出された時点で終了するようにしても良い。
【０１２５】
後者について、さらに具体的には、画像データを取得し、合焦候補位置を１個抽出した場合には、抽出した合焦候補位置を記憶しておき、次に取得した画像データに基づいて合焦候補位置を抽出するときには、既に記憶されている合焦候補位置と異なる位置か否かを判断する。異なる位置であると判断した場合には、新たな合焦候補位置として抽出する。一方、同じ位置であると判断した場合には、新たな合焦候補位置として抽出しない（既に抽出して記憶されている合焦候補位置と同じであるとみなす）。このような処理を繰り返し、合焦候補位置が３個抽出された時点で画像データの取得を終了しても良い。
【０１２６】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置１と表示装置２とは、接続ケーブル３で直結されている形態に限定されるものではなく、ＬＡＮ、ＷＡＮ等のネットワーク網を介して接続されていても良いことは言うまでもない。また、本実施の形態では撮像装置１と表示装置２とは別体となっているが、両者が一体になった画像処理装置であっても良い。
【符号の説明】
【０１２７】
１ 撮像装置
２ 表示装置
３ 接続ケーブル
１３ メイン基板
１４ カメラモジュール（撮像部）
２１ タッチパネル
１３１ ＦＰＧＡ（制御部）
１４１ モータ
１４２ ＣＭＯＳ基板（撮像素子）
【特許請求の範囲】
【請求項１】
検査対象物を含む撮像領域を撮像する撮像部と、
該撮像部で撮像した画像を表示する表示部と、
検査対象物に対する合焦位置を調整するフォーカス調整機構を有するフォーカス調整部と、
前記撮像部で撮像して取得した画像データに対して画像処理を実行する画像処理部と
を備える画像処理装置において、
前記フォーカス調整部は、
前記フォーカス調整機構により検査対象物に対する合焦位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、前記撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出する合焦候補位置抽出手段と、
抽出した複数の合焦候補位置に関する合焦候補位置情報を前記表示部に表示する候補表示手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記候補表示手段は、前記表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する前記合焦候補位置情報を前記表示部に表示し、
前記フォーカス調整部は、前記表示部に表示された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段を備え、
該選択受付手段で一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を前記表示部に表示することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記フォーカス調整部は、
抽出された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段を備え、
該選択受付手段で一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記フォーカス調整部は、
一の合焦候補位置の選択を受け付ける選択受付手段を備え、
該選択受付手段で一の合焦候補位置の選択を受け付けた場合、前記候補表示手段は、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を前記表示部に表示することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記候補表示手段は、複数の前記合焦候補位置のうち、前記撮像部との距離が最も短い合焦候補位置を前記表示部に表示することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項６】
前記フォーカス調整部は、
事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出する合焦度算出手段と、
前記小領域ごとに算出した合焦度が最大である合焦位置を取得する合焦位置取得手段と
を備え、
前記合焦候補位置抽出手段は、取得した前記小領域ごとの合焦位置に基づいて合焦候補位置を抽出することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
検査対象物を含む撮像領域を撮像する撮像部と、
該撮像部で撮像した画像を表示する表示部と、
検査対象物に対する合焦位置を調整するフォーカス調整機構を有するフォーカス調整部と、
前記撮像部で撮像して取得した画像データに対して画像処理を実行する画像処理部と
を備える画像処理装置で実行することが可能なフォーカス調整方法において、
前記フォーカス調整部は、
前記フォーカス調整機構により検査対象物に対する合焦位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、前記撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出し、
抽出した複数の合焦候補位置に関する合焦候補位置情報を前記表示部に表示することを特徴とするフォーカス調整方法。
【請求項８】
前記表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する前記合焦候補位置情報を前記表示部に表示し、
前記フォーカス調整部は、前記表示部に表示された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付け、
一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を前記表示部に表示することを特徴とする請求項７記載のフォーカス調整方法。
【請求項９】
前記フォーカス調整部は、
抽出された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付け、
一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整することを特徴とする請求項７又は８に記載のフォーカス調整方法。
【請求項１０】
前記フォーカス調整部は、
一の合焦候補位置の選択を受け付け、
一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を前記表示部に表示することを特徴とする請求項７又は８に記載のフォーカス調整方法。
【請求項１１】
前記候補表示手段は、複数の前記合焦候補位置のうち、前記撮像部との距離が最も短い合焦候補位置を前記表示部に表示することを特徴とする請求項７又は８に記載のフォーカス調整方法。
【請求項１２】
前記フォーカス調整部は、
事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出し、
前記小領域ごとに算出した合焦度が最大である合焦位置を取得し、
取得した前記小領域ごとの合焦位置に基づいて合焦候補位置を抽出することを特徴とする請求項７乃至１１のいずれか一項に記載のフォーカス調整方法。
【請求項１３】
検査対象物を含む撮像領域を撮像する撮像部と、
該撮像部で撮像した画像を表示する表示部と、
検査対象物に対する合焦位置を調整するフォーカス調整機構を有するフォーカス調整部と、
前記撮像部で撮像して取得した画像データに対して画像処理を実行する画像処理部と
を備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、
前記フォーカス調整部を、
前記フォーカス調整機構により検査対象物に対する合焦位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、前記撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出する合焦候補位置抽出手段、及び
抽出した複数の合焦候補位置に関する合焦候補位置情報を前記表示部に表示する候補表示手段
として機能させることを特徴とするコンピュータプログラム。
【請求項１４】
前記候補表示手段を、前記表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する前記合焦候補位置情報を前記表示部に表示する手段として機能させ、
前記フォーカス調整部を、
前記表示部に表示された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段、及び
一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を前記表示部に表示する手段
として機能させることを特徴とする請求項１３記載のコンピュータプログラム。
【請求項１５】
前記フォーカス調整部を、
抽出された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段、及び
一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整する手段
として機能させることを特徴とする請求項１３又は１４に記載のコンピュータプログラム。
【請求項１６】
前記フォーカス調整部を、
一の合焦候補位置の選択を受け付ける選択受付手段として機能させ、
一の合焦候補位置の選択を受け付けた場合、前記候補表示手段を、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を前記表示部に表示する手段
として機能させることを特徴とする請求項１３又は１４に記載のコンピュータプログラム。
【請求項１７】
前記候補表示手段を、複数の前記合焦候補位置のうち、前記撮像部との距離が最も短い合焦候補位置を前記表示部に表示する手段として機能させることを特徴とする請求項１３又は１４に記載のコンピュータプログラム。
【請求項１８】
前記フォーカス調整部を、
事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出する合焦度算出手段、及び
前記小領域ごとに算出した合焦度が最大である合焦位置を取得する合焦位置取得手段として機能させ、
前記合焦候補位置抽出手段を、取得した前記小領域ごとの合焦位置に基づいて合焦候補位置を抽出する手段
として機能させることを特徴とする請求項１３乃至１７のいずれか一項に記載のコンピュータプログラム。
【請求項１】
検査対象物を含む撮像領域を撮像する撮像部と、
該撮像部で撮像した画像を表示する表示部と、
検査対象物に対する合焦位置を調整するフォーカス調整機構を有するフォーカス調整部と、
前記撮像部で撮像して取得した画像データに対して画像処理を実行する画像処理部と
を備える画像処理装置において、
前記フォーカス調整部は、
前記フォーカス調整機構により検査対象物に対する合焦位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、前記撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出する合焦候補位置抽出手段と、
抽出した複数の合焦候補位置に関する合焦候補位置情報を前記表示部に表示する候補表示手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記候補表示手段は、前記表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する前記合焦候補位置情報を前記表示部に表示し、
前記フォーカス調整部は、前記表示部に表示された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段を備え、
該選択受付手段で一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を前記表示部に表示することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記フォーカス調整部は、
抽出された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段を備え、
該選択受付手段で一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記フォーカス調整部は、
一の合焦候補位置の選択を受け付ける選択受付手段を備え、
該選択受付手段で一の合焦候補位置の選択を受け付けた場合、前記候補表示手段は、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を前記表示部に表示することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記候補表示手段は、複数の前記合焦候補位置のうち、前記撮像部との距離が最も短い合焦候補位置を前記表示部に表示することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項６】
前記フォーカス調整部は、
事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出する合焦度算出手段と、
前記小領域ごとに算出した合焦度が最大である合焦位置を取得する合焦位置取得手段と
を備え、
前記合焦候補位置抽出手段は、取得した前記小領域ごとの合焦位置に基づいて合焦候補位置を抽出することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
検査対象物を含む撮像領域を撮像する撮像部と、
該撮像部で撮像した画像を表示する表示部と、
検査対象物に対する合焦位置を調整するフォーカス調整機構を有するフォーカス調整部と、
前記撮像部で撮像して取得した画像データに対して画像処理を実行する画像処理部と
を備える画像処理装置で実行することが可能なフォーカス調整方法において、
前記フォーカス調整部は、
前記フォーカス調整機構により検査対象物に対する合焦位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、前記撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出し、
抽出した複数の合焦候補位置に関する合焦候補位置情報を前記表示部に表示することを特徴とするフォーカス調整方法。
【請求項８】
前記表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する前記合焦候補位置情報を前記表示部に表示し、
前記フォーカス調整部は、前記表示部に表示された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付け、
一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を前記表示部に表示することを特徴とする請求項７記載のフォーカス調整方法。
【請求項９】
前記フォーカス調整部は、
抽出された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付け、
一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整することを特徴とする請求項７又は８に記載のフォーカス調整方法。
【請求項１０】
前記フォーカス調整部は、
一の合焦候補位置の選択を受け付け、
一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を前記表示部に表示することを特徴とする請求項７又は８に記載のフォーカス調整方法。
【請求項１１】
前記候補表示手段は、複数の前記合焦候補位置のうち、前記撮像部との距離が最も短い合焦候補位置を前記表示部に表示することを特徴とする請求項７又は８に記載のフォーカス調整方法。
【請求項１２】
前記フォーカス調整部は、
事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出し、
前記小領域ごとに算出した合焦度が最大である合焦位置を取得し、
取得した前記小領域ごとの合焦位置に基づいて合焦候補位置を抽出することを特徴とする請求項７乃至１１のいずれか一項に記載のフォーカス調整方法。
【請求項１３】
検査対象物を含む撮像領域を撮像する撮像部と、
該撮像部で撮像した画像を表示する表示部と、
検査対象物に対する合焦位置を調整するフォーカス調整機構を有するフォーカス調整部と、
前記撮像部で撮像して取得した画像データに対して画像処理を実行する画像処理部と
を備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、
前記フォーカス調整部を、
前記フォーカス調整機構により検査対象物に対する合焦位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像データに基づいて、前記撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出する合焦候補位置抽出手段、及び
抽出した複数の合焦候補位置に関する合焦候補位置情報を前記表示部に表示する候補表示手段
として機能させることを特徴とするコンピュータプログラム。
【請求項１４】
前記候補表示手段を、前記表示部にてユーザが選択可能となるように抽出した複数の合焦候補位置に関する前記合焦候補位置情報を前記表示部に表示する手段として機能させ、
前記フォーカス調整部を、
前記表示部に表示された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段、及び
一の合焦候補位置の選択を受け付けた場合、少なくとも選択を受け付けた一の合焦候補位置に合焦位置が調整された画像を前記表示部に表示する手段
として機能させることを特徴とする請求項１３記載のコンピュータプログラム。
【請求項１５】
前記フォーカス調整部を、
抽出された複数の前記合焦候補位置の中から一の合焦候補位置の選択を受け付ける選択受付手段、及び
一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整する手段
として機能させることを特徴とする請求項１３又は１４に記載のコンピュータプログラム。
【請求項１６】
前記フォーカス調整部を、
一の合焦候補位置の選択を受け付ける選択受付手段として機能させ、
一の合焦候補位置の選択を受け付けた場合、前記候補表示手段を、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された画像を前記表示部に表示する手段
として機能させることを特徴とする請求項１３又は１４に記載のコンピュータプログラム。
【請求項１７】
前記候補表示手段を、複数の前記合焦候補位置のうち、前記撮像部との距離が最も短い合焦候補位置を前記表示部に表示する手段として機能させることを特徴とする請求項１３又は１４に記載のコンピュータプログラム。
【請求項１８】
前記フォーカス調整部を、
事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出する合焦度算出手段、及び
前記小領域ごとに算出した合焦度が最大である合焦位置を取得する合焦位置取得手段として機能させ、
前記合焦候補位置抽出手段を、取得した前記小領域ごとの合焦位置に基づいて合焦候補位置を抽出する手段
として機能させることを特徴とする請求項１３乃至１７のいずれか一項に記載のコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１２】
【図１３】
【図１５】
【図１７】
【図２２】
【図７】
【図８】
【図１０】
【図１１】
【図１４】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１２】
【図１３】
【図１５】
【図１７】
【図２２】
【図７】
【図８】
【図１０】
【図１１】
【図１４】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−１０９２７１（Ｐ２０１３−１０９２７１Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５６０１２（Ｐ２０１１−２５６０１２）
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]