カメラ検査装置
【課題】カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができるカメラ検査装置を提供する。
【解決手段】本発明に係るカメラ検査装置１０００は、基準被写体が撮像された画像データを取得する画像データ取得部１１０と、画像データから所定方向に沿った輝度の２回微分値を算出する２回微分値算出部１４０と、２回微分値算出部１４０の算出結果から画像データ中のシミの位置を検出するシミ位置検出部１６１とを備え、カメラの撮像素子の受光面またはその周辺部に付着した異物に起因する画像中のシミを検出する。２回微分値算出部１４０は基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、２回微分値を算出する際の微分間隔を所定方向に沿った位置に応じて異ならせてる。
【解決手段】本発明に係るカメラ検査装置１０００は、基準被写体が撮像された画像データを取得する画像データ取得部１１０と、画像データから所定方向に沿った輝度の２回微分値を算出する２回微分値算出部１４０と、２回微分値算出部１４０の算出結果から画像データ中のシミの位置を検出するシミ位置検出部１６１とを備え、カメラの撮像素子の受光面またはその周辺部に付着した異物に起因する画像中のシミを検出する。２回微分値算出部１４０は基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、２回微分値を算出する際の微分間隔を所定方向に沿った位置に応じて異ならせてる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を有するカメラにより撮像された画像データに基づいて、撮像素子の受光面またはその周辺部に付着したゴミおよび塵等の異物に起因するシミを検出するカメラ検査装置に関する。カメラは例えば携帯電話等の携帯機器搭載用のカメラに代表される。
【背景技術】
【０００２】
近年、撮像素子を有するカメラが様々な電子機器に搭載されている。撮像素子を有するカメラでは、製造工程にてゴミおよび塵が撮像素子やレンズ部に異物として付着して、当該異物がカメラの撮像画像内にシミとして写り込んでしまう場合があった。図１８にシミが写り込んだ撮像画像の例を示す。図１８の例では、シミ１８０１が撮像画像１８０２の左下側に現れており、シミ１８０１の存在により撮像画像の画質が低下している。
【０００３】
携帯電話等の携帯機器に搭載されるカメラにおいては、市場からの高解像度化の要請に伴って１画素当たりのピッチが小さくなってきており、また、携帯機器本体の薄肉化の要請に伴って撮像素子の受光面およびレンズ部との間の距離が短くなってきている。このため、携帯機器用のカメラでは、より微細なゴミおよび塵が撮像素子やレンズ部に付着するだけで、撮像画像にシミが写り込んでしまう場合があった。
【０００４】
従来、カメラの撮像画像中のシミに関する検査は、人間による目視判断によって行われていた。しかしながら、撮像画像内に生じるシミは微弱なものであり、人間の目視による感応的な評価では、検査員によって判断基準が相違し、この違いが検査結果にばらつきを生じさせ、製造歩留まりにも影響を及ぼしていた。携帯機器の量産台数が著しく増加している昨今の状況下においては、目視検査に頼らずに、効率よく高精度に安定して撮像画像中のシミを検出することが望まれる。
【０００５】
目視検査によらない検査技術としては、例えば特許文献１に記載のカメラ検査技術が知られている。特許文献１に記載のカメラ検査技術では、カメラにより撮像された画像データから、所定方向に沿った輝度曲線上の各位置における２回微分値が算出される。輝度曲線は上記所定方向に沿った輝度変化を表す曲線であり、具体的には上記所定方向に沿ったライン上の各画素の輝度値で表される。そして、２回微分値が輝度曲線の形状を表すことを利用して、２次微分値の算出結果に基づいてシミの位置を検出して、検出されたシミの濃度に基づいてカメラの良否判定を行っている。
【特許文献１】特開２００６−１９１２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のカメラ検査技術では、カメラの光学系の輝度シェーディング特性が考慮されていないために、シミの検出精度が低下するという問題があった。輝度シェーディングとは、カメラのレンズ部や撮像素子等の光学系に依存する現象であって、カメラの撮像画像の中心部と周縁部との間に輝度差が生じる現象をいう。輝度シェーディング特性によれば、カメラの撮像画像の周縁部は中央部と比べて輝度が急に低下することがある。また、例えば図１９に示されるように、カメラの撮像画像の周縁部と中心部との間に輝度差が生じるだけでなく、周縁部に凹型の暗い部分が生じる場合もある。輝度シェーディングによって、輝度のうねりや大きな輝度変化が生じると、これらがシミとして誤検出される可能性があった。
【０００７】
特に、携帯機器用のカメラでは、携帯機器の薄肉化に伴って、撮像素子やレンズ部等の光学部の厚みが極端に薄肉化されており、カメラの光学系がもつ輝度シェーディング特性がシミの検出精度に大きく影響する傾向にある。従って、輝度シェーディングの影響を受けずに、高精度にシミを検出することが望まれる。
【０００８】
本発明は、上記従来の問題を解決するためになされたもので、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができるカメラ検査装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明のカメラ検査装置は、撮像素子を有するカメラにより撮像された画像データに基づいて、前記撮像素子の受光面またはその周辺部に付着した異物に起因する画像中のシミを検出するカメラ検査装置であって、前記カメラを用いて基準被写体を撮像することにより得られる画像データを取得する画像データ取得部と、前記画像データから所定方向に沿った輝度の２回微分値を算出する２回微分値算出部と、前記２回微分値算出部の算出結果に基づいて、前記画像データ中のシミの位置を検出する位置検出部とを備え、前記２回微分値算出部は、前記カメラの光学系がもつ特性であって前記基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、前記２回微分値を算出する際の微分間隔を前記所定方向に沿った位置に応じて異ならせる構成を有している。
【００１０】
この構成により、画像データから所定方向に沿った輝度の２回微分値を算出し、２回微分値に基づいて画像データ中のシミの位置を検出する。このシミ位置検出では、２回微分値が負の大きな値（負であって絶対値が大きい値）になる位置が、シミの端部として特定される。本発明では、特にシミ位置検出のために輝度の２回微分値を計算する際に、基準被写体の撮像画像に輝度分布を生じる輝度シェーディング特性に基づいて、微分間隔を所定方向に沿った位置に応じて異ならせている。この構成により、輝度シェーディングによる輝度変化の緩急に応じて、上記微分間隔を適切に変化させることで、輝度シェーディングの輝度変化をシミとして誤検出するのを抑止できる。この結果、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができる。
【００１１】
また、本発明のカメラ検査装置において、前記２回微分値算出部は、前記画像データの中央部での微分間隔と比較して、前記画像データの周縁部での微分間隔を小さく設定している構成を有している。
【００１２】
この構成により、画像データの中央部での微分間隔と比較して、中央部より外側の周縁部での微分間隔を小さく設定して、画像データから輝度の２回微分値が算出される。この構成は、画像データの周縁部では中央部と比べて輝度が急に低下するといった輝度シェーディング特性を有する光学系を備えたカメラの検査に適している。画像データの中央部では、周縁部よりも微分間隔を大きく設定することにより、シミ端部での２回微分値が負の方向に増大し、シミ端部が２回微分値に特徴点としてより顕著に現れ、シミの位置を検出し易くすることができる。一方、画像データの周縁部では、中央部よりも微分間隔を小さく設定することにより、シミが画像の縁部にある場合でも、２回微分値が負の大きな値になって、特徴点が確実に現れるとともに、輝度シェーディングによる輝度の急変化点で２回微分値が負の大きな値になるのを防ぎ、シミと輝度シェーディングによる輝度変化との切り分けを明確に行うことができる。このようにして、画像データの中央部での微分間隔と比較して、周縁部での微分間隔を小さく設定することにより、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができる。
【００１３】
また、本発明のカメラ検査装置において、前記位置検出部は、前記２回微分値を所定のシミ端判定閾値と比較することにより、前記画像データ中の前記シミの位置を検出する構成を有している。これにより、所定のシミ端判定閾値を基準に、２回微分値が負の大きな値になる位置を特徴点として特定できるので、画像データ中のシミの位置を容易に検出することができる。
【００１４】
また、本発明のカメラ検査装置において、前記位置検出部は、前記２回微分値が、先に前記所定のシミ端閾値以上になる位置を前記シミの開始位置とし、次に前記所定のシミ端閾値以上になる位置を前記シミの終了位置として、前記シミの位置を検出する構成を有している。これにより、所定のシミ端判定閾値を基準に、画像データ中で先に２回微分値が負の大きな値になる位置をシミの開始位置とし、後に２回微分値が負の大きな値になる位置をシミの終了位置として特定できるので、画像データ中のシミの位置を容易に検出することができる。
【００１５】
本発明のカメラ検査プログラムは、撮像素子を有するカメラにより撮像された画像データに基づいて、前記撮像素子の前記受光面またはその周辺部に付着した異物に起因する画像中のシミを検出する処理をコンピュータに行わせるカメラ検査プログラムであって、前記カメラを用いて基準被写体を撮像することにより得られる画像データを取得するステップと、前記画像データから所定方向に沿った輝度の２回微分値を算出するステップと、前記２回微分値算出部の算出結果に基づいて、前記画像データ中のシミの位置を検出するステップとを前記コンピュータに実行させ、前記輝度の２回微分値を算出するステップでは、前記カメラの光学系がもつ特性であって前記基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、前記２回微分値を算出する際の微分間隔を前記所定方向に沿った位置に応じて異ならせる構成を有している。この構成によっても、上述した本発明の利点が得られる。
【００１６】
また、本発明の別の態様は、上述のカメラ検査プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１７】
また、本発明のカメラ検査方法は、撮像素子を有するカメラにより撮像された画像データに基づいて、前記撮像素子の前記受光面またはその周辺部に付着した異物に起因する画像中のシミを検出するカメラ検査方法であって、前記カメラを用いて基準被写体を撮像することにより得られる画像データを取得するステップと、前記画像データから所定方向に沿った輝度の２回微分値を算出するステップと、前記２回微分値算出部の算出結果に基づいて、前記画像データ中のシミの位置を検出するステップとを含み、前記輝度の２回微分値を算出するステップでは、前記カメラの光学系がもつ特性であって前記基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、前記２回微分値を算出する際の微分間隔を前記所定方向に沿った位置に応じて異ならせる構成を有している。このカメラ検査方法によっても、上述した本発明の利点が得られる。
【発明の効果】
【００１８】
本発明は、画像データ中のシミを検出するために輝度の２回微分値を算出する際に、輝度シェーディング特性に基づいて、微分間隔を場所によって異ならせることにより、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができるという効果を有するカメラ検査装置を提供することができるものである。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態に係るカメラ検査装置について、図面を用いて説明する。本発明の実施の形態におけるカメラ検査装置の機能ブロック図を図１に示すとともに、このカメラ検査装置をハードウエア面から見た構成を図２に示す。最初に図２を参照してカメラ検査装置の構成をハードウエア面から説明して、次に図１に基づいてカメラ検査装置の各機能について説明する。
【００２０】
カメラ検査装置１０００は、カメラの撮像画像中のシミを検出して、カメラを検査するための装置である。カメラは、例えば携帯電話等の携帯機器に搭載されるカメラモジュールであって、外筐体にレンズ部および撮像素子を備えている。レンズ部は被写体からの光を撮像素子に結像し、撮像素子はレンズ部により結像された像を光電変換することにより、撮像画像の画像データを生成する。
【００２１】
カメラを製造する過程において、撮像素子の受光面またはその周辺部（レンズ部を含む）にゴミおよび塵等の異物が付着すると、カメラにより撮像された画像データにシミとして写りこんでしまうことがある。カメラ検査装置１０００は、カメラにより撮像された画像データに基づいて、カメラの撮像画像中のシミを検出して、シミレベルを良否判定することにより、カメラの検査を行う。
【００２２】
カメラ検査装置１０００は、コンピュータ装置で構成されており、図２に示されるように、コンピュータ本体２１０と、表示部２２０と、操作部２３０とを備えている。コンピュータ本体２１０は、プログラム実行部２１１と、通信部２１２と、メモリ部２１３と、プログラム記憶部２１４とを備えている。
【００２３】
プログラム実行部２１１は、ＣＰＵ等のプロセッサで構成され、プログラム記憶部２１４に記憶されているシミ検査プログラム２１４ａを実行する。通信部２１２は、ＵＳＢケーブル等の通信ケーブルを介して、外部機器に接続されており、外部機器との間でデータの送受を行うことができる。例えば、外部機器がデータ記憶装置であり、予めカメラにより撮像した画像データがデータ記憶装置に記憶されている。そして、データ記憶装置から通信部２１２を介して、コンピュータ本体２１０に画像データを取り込むことができる。外部機器はカメラが搭載された携帯機器でもよい。この場合、予めカメラにより撮像して携帯機器の記憶部に記憶されている画像データを、コンピュータ本体２１０に取り込むことができる。カメラがカメラ検査装置１０００に直接接続され、カメラから撮像画像が取り込まれてもよい。
【００２４】
メモリ部２１３は、プログラム実行部２１１がシミ検査プログラムを実行する等の処理を行う際の作業用のメモリである。プログラム記憶部２１４には、シミ検査プログラム２１４ａが記憶されている。シミ検査プログラム２１４ａは、本実施の形態におけるカメラ検査装置およびカメラ検査方法を実現するためのプログラムであって、特に、カメラにより撮像された画像データに基づいて、画像データの輝度値の２回微分値からシミの位置を検出して、検出したシミの程度を表すシミレベルを算出し、シミレベルに対して良否判定を行うことにより、カメラの検査を行う。こうしたシミ検査プログラム２１４ａを実行することにより、本実施の形態におけるカメラ検出装置およびカメラ検出方法が実現される。このシミ検査プログラム２１４ａの内容は、後で詳細に説明するカメラ検査装置およびカメラ検査方法にて述べられる。
【００２５】
表示部２２０はディスプレイであって、この表示部２２０には検査プログラム２１４ａの処理情報等が表示される。操作部２３０は、テンキー等が配列されたキーボード等であって、例えば検査プログラム２１４ａの実行に関する指示を入力するため等に用いられる。
【００２６】
次に、図1を参照して、カメラ検査装置の構成について更に説明する。図１ではカメラ検査装置１０００が機能ブロックで表されている。図１の各構成が、図２のコンピュータ装置により、具体的にはプログラム記憶部２１４のシミ検出プログラム２１４ａをプログラム実行部２１１が実行することによって実現される。カメラ検査装置１０００は、画像データ取得部１１０と、輝度値算出部１２０と、輝度値平均化部１３０と、２回微分値算出部１４０と、微分間隔記憶部１５０と、シミ検出部１６０と、シミ判定用閾値記憶部１７０と、良否判定部１８０と、判定結果出力部１９０とを備えている。
【００２７】
画像データ取得部１１０は、カメラを用いて基準被写体を撮像することにより得られる画像データを取得する。この画像データ取得部１１０が取得する画像データは、撮像素子（カメラ）から出力される生データであり、ホワイトバランス調整処理やウェーブレット変換処理等の各種画像処理が施されていないデータである。基準被写体は、例えば白色、灰色等の無彩色であって全体に色が均一な被写体であり、パネル等が用いられる。カメラの撮像素子の受光面またはその周辺部（レンズ部を含む）にゴミおよび塵等の異物が付着していると、この異物が撮像画像上においてシミとして影のような形で現れる。図２のプログラム実行部２１１および通信部２１２が、上記の画像データ取得部１１０として機能する。
【００２８】
輝度値算出部１２０は、画像データ取得部１１０が取得する画像データの各画素の輝度値を算出する。３原色画像信号である赤（Ｒ）信号、緑（Ｇ）信号および青（Ｂ）信号の画素値をそれぞれＲ、ＧおよびＢとすると、輝度値Ｙは式（１）のように表される。輝度値算出部１２０は式（１）に従って、ＲＧＢの画素値を８ビット（bit）グレースケールの輝度信号に変換することにより、輝度値を算出する。図２のプログラム実行部２１１が、上記の輝度値算出部１２０として機能する。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ ・・・（１）
【００２９】
輝度値平均化部１３０は、輝度算出部１２０により算出された各画素の輝度値Ｙに対して、平均化処理を行う。ここで、平滑な照度の基準被写体を撮像しても、カメラの画像データは電気的なノイズによる揺らぎを含んでいる。平均化処理はこのような電気的ノイズを低減または除去する。図２のプログラム実行部２１１が、上記の輝度値平均化部１３０として機能する。
【００３０】
平均化処理では、例えば下記の単純平均化が行われる。すなわち、輝度値平均化部１３０は、注目画素を含む所定範囲（例えば７×７画素の合計４９画素）の輝度値の平均値を算出して、注目画素の輝度値を平均値に置き換える。この処理が画像データ内の全画素に対して行われる。この単純平均処理を例えば３回繰り返すことにより、シミを要因とする輝度変化が保持され、電気的なノイズが消去される。
【００３１】
図３に輝度値の平均化処理を示す。図３（ａ）および図３（ｂ）において、横軸は画像データ上の画素の位置であり、縦軸は輝度値であり、各図の輝度曲線は画像データの所定方向に配列する各画素の輝度値の変化を示している。図３（ａ）は、平均化処理前の輝度曲線を示す図であり、図３（ｂ）は、平均化処理後の輝度曲線を示す図である。図３（ａ）に示されるように、平均化処理前の輝度曲線では、電気的なノイズを原因とした輝度の揺らぎが多く生じている。一方、図３（ｂ）に示されるように、平均化処理後の輝度曲線では、電気的なノイズが除去されており、輝度の揺らぎ低減されている。
【００３２】
各画素の輝度値の平均化処理は、上記手法に限定されない。検出したいシミの大きさとレベルに対応して、平均化処理の手法を適正化する必要がある。また、低減または除去したいノイズ量はカメラの仕様によって異なってくるが、そのような低減または除去したいノイズ量に対応して、平均化処理の手法を適正化する必要がある。そこで、これらの要求を満たす処理を行うように、輝度値平均化部１３０が構成されている。
【００３３】
２回微分値算出部１４０は、画像データから所定方向に沿った輝度の２回微分値を算出する。２回微分値算出部１４０は、輝度値平均化部１３０による輝度値の平均化処理後の画像データを用いて、上記２回微分値を算出する。２回微分値算出部１４０は、画像データの水平方向または垂直方向の１ラインを選択して、このラインに沿った輝度の２回微分値を算出する。図２のプログラム実行部２１１が、上記の２回微分値算出部１４０として機能する。
【００３４】
２回微分値算出部１４０は、所定方向の複数のラインの各々を対象として、２回微分値を計算する。所定方向は、水平方向でもよく、垂直方向でもよく、両方の方向であってもよい。また、全ラインを対象として２回微分値が計算されてもよい。あるいは、適当な間引きが行われ、所定間隔毎のラインを対象として２回微分値が算出されてよい。この場合、ラインの間隔は検出すべきシミの大きさに応じて適当に設定される。２回微分値の計算と計算結果を用いたシミ検出および良否判定等の以降の処理は、各ラインに対して同様に行われる。そこで、以下では、水平方向の１つのラインについての処理を中心に、本実施の形態のカメラ検査装置１０００について説明する。
【００３５】
２回微分値算出部１４０は、次に示す式（２）および式（３）に従って２回微分値を算出する。式（２）は１回微分値の計算式であり、式（３）は１回微分値から２回微分値を計算する式である。
Ｄ１ｎ ＝ （Ｙｎ―Ｙｎ−１）／{ｎ―（ｎ−α）} ・・・（２）
Ｄ２ｎ ＝ （Ｄ１ｎ―Ｄ１ｎ−１）／{ｎ―（ｎ−α）} ・・・（３）
【００３６】
ここでは、ｎは計算対象である選択ライン上での画素座標であり、Ｙｎはｎ画素の輝度値であり、Ｄ１ｎはｎ画素の１回微分値であり、Ｄ２ｎはｎ画素の２回微分値である。本実施の形態では、式（２）および式（３）に示されるように、微分間隔αを隔てた２点の輝度値から２回微分値が算出される。
【００３７】
本実施の形態では、特に上記の微分間隔が、画像データ上の位置に応じて異なって設定されている。この微分間隔設定に従い、２回微分値算出部１４０は、画像データ上の位置によって異なる微分間隔を用いて、２回微分値を計算する。微分間隔は検査対象のカメラの輝度シェーディング特性に基づいて設定されている。輝度シェーディングは、カメラの撮像素子やレンズ部等の光学系に依存する現象である。輝度シェーディング特性によって、基準被写体の撮像画像に輝度分布が生じる。
【００３８】
本実施の形態では、輝度シェーディング特性として、画像データの周縁部では中央部と比べて輝度が急に低下することが想定されている。そこで、画像データの中央部の所定範囲とその外側の周縁部とで微分間隔が異なって設定されており、具体的には中央部と比較して、周縁部の微分間隔が小さく設定されている。微分間隔の設定とその効果については、後述にて詳細に説明する。
【００３９】
微分間隔記憶部１５０には、２回微分値を算出する際の微分間隔が記憶されている。上述の通り、２回微分値を算出する際の微分間隔として、中央部用微分間隔１５１および周縁部用微分間隔１５２が設定されており、後者のほうが小さく設定されている。図２のメモリ部２１３が、上記の微分間隔記憶部１５０として機能する。
【００４０】
シミ検出部１６０は、シミ位置検出部１６１と、シミレベル算出部１６２とを備えている。シミ位置検出部１６１は、２回微分値算出部１４０の算出結果に基づいて、画像データ中のシミの位置を検出する。シミレベル算出部１６２は、シミ位置検出部１６１により検出されたシミ位置に基づいて、シミレベルを算出する。図２のプログラム実行部２１１が、上記のシミ検出部１６０として機能する。
【００４１】
ここで、図４を参照して、画像中のシミと上記の２回微分値の関係と、２回微分値によるシミ検出およびシミレベル算出について説明する。図４は、画像データ中でシミが生じている位置における輝度曲線を拡大した図である。図示のように、シミが生じている位置では、シミの周辺と比較して輝度値が小さくなる。図４に示されるように、画像データ中のシミの端部Ａ、Ｂでは特に輝度が急に変化して、輝度曲線が急に曲がる。しかも、シミの端部Ａ、Ｂでは輝度曲線が「上に凸」である。従って、輝度の２回微分値の算出結果では、シミの端部Ａ、Ｂが輝度の２回微分値がマイナスであって絶対値が大きい特徴点として現れる。この特徴点を特定することにより、シミの開始位置（シミ端Ａ）と終了位置（シミ端Ｂ）を検出でき、それらの間をシミとして検出できる。
【００４２】
具体的には、シミ位置検出部１６１は以下のようにして、シミ位置を検出する。シミ位置検出部１６１は、シミ判定用閾値記憶部１７０に記憶されているシミ端判定閾値１７１と、２回微分値算出部１４０により算出された２回微分値とを比較して、画像データ中のシミの位置を検出する。このとき、シミ位置検出部１６１は、２回微分値が、先にシミ端判定閾値以上となる位置をシミの開始位置とし、次にシミ端判定閾値以上となる位置をシミの終了位置として、シミの位置を検出する。図４の例では、シミ端Ａがシミの開始位置Ａ、シミ端Ｂがシミの終了位置となる。
【００４３】
シミレベル算出部１６２は、シミの開始位置（シミ端Ａ）と終了位置（シミ端Ｂ）の間で最も輝度が小さい位置（最低輝度位置Ｍ）を特定し、その位置における輝度値を抽出して、次の式（４）に従ってシミレベルを算出する。シミレベルは、「シミの開始位置と終了位置の輝度の平均値」に対する「最も輝度が小さい位置における輝度値」の割合である。「シミの開始位置と終了位置の輝度の平均値」は、シミが無いとした場合の該当位置の輝度を表す値として用いられる。
【数１】
【００４４】
シミ判定用閾値記憶部１７０には、シミ端判定閾値１７１およびシミレベル判定閾値１７２が記憶されている。シミ端判定閾値１７１は、上述の通り、シミ位置検出部１６１が画像データ中のシミの開始位置および終了位置を検出するのに用いられる。シミレベル判定閾値１７２は、以下に説明する良否判定部１８０にて、シミレベル算出部１６２の算出結果であるシミレベルが良好なレベルか否かを判断するのに用いられる。図２のメモリ２１３が上記のシミ判定用閾値記憶部１７０として機能する。
【００４５】
良否判定部１８０は、シミレベル算出部１６２により算出されたシミレベルと、シミレベル判定閾値１７２とを比較する。そして、比較の結果、良否判定部１８０は、シミレベルがシミレベル判定閾値１７２より小さい場合に「良」と判定し、シミレベルがシミレベル判定閾値１７２より大きい場合に「否」と判定する。図２のプログラム実行部２１１が、上記の良否判定部１８０として機能する。判定結果出力部１９０は、良否判定部１８０の判定結果を出力する。図２の表示部２２０が上記の判定結果出力部１９０として機能する。
【００４６】
ここで、上述した２回微分値算出部１４０にて、２回微分値を算出する際の微分間隔の設定について説明する。ここでは、まず、画像データ中の中央部および周縁部にシミが位置するときの微分間隔と２回微分値算出結果の関係を具体例に基づいて説明し、更に輝度シェーディングの影響と微分間隔の関係について説明し、それから本実施の形態の好適な微分間隔の設定を説明する。
【００４７】
まず、画像データの中央部にシミが写り込んでいる例について説明する。図５は、画像の一例を示す図であって、画像の中央部にシミが写り込んでいる。図６は、図５に対応する輝度曲線であって、図５のシミを水平方向（紙面にて左右方向）に通る線に沿った輝度曲線（水平断面波形）を示す。図７は、微分間隔を１６画素間隔として、図６の輝度曲線で表される輝度の２回微分値を算出した算出結果を示す。図８は、微分間隔を図７より大きい３２画素間隔として、図６の輝度曲線で表される輝度の２回微分値を算出した算出結果を示す。
【００４８】
図５の例では、画像５０２の中央部にシミ５０１が発生しており、そのために図６に示されるように、シミ５０１に対応する位置で輝度が落ち込んでいる。そして、図７および図８に示されるように、２回微分値の算出結果では、シミ端部Ａ１、Ｂ１にて、２回微分値が負の大きな値になる特徴点ａ、ｂ、ｃ、ｄが現れる。図７と図８とを比較すると双方共に特徴点が明確に現れているが、図８の特徴点ｃ、ｄの方が図７の特徴点ａ、ｂよりも２次微分値の絶対値で大きい。このように、微分間隔を大きく設定することにより、シミ端に相当する特徴点における２次微分値の絶対値を大きくでき、画像データのシミの位置を検出し易くすることができる。
【００４９】
次に、画像データの周縁部にシミが写り込んでいる例について説明する。図９は、画像の一例を示す図であって、画像の左上の周縁部にシミが写り込んでいる。図１０は、図９に対応する輝度曲線であって、左上のシミを水平方向に通る輝度曲線を示す。図１１および図１２は、図１０の輝度曲線で表される輝度の２回微分値の算出結果を示す図であって、図１１では微分間隔が２０画素間隔であり、図１２では微分間隔が８画素間隔である。
【００５０】
図９の例では、画像９０２の左上部にシミ９０１が発生しており、そのために図１０に示されるように、輝度曲線の左端では輝度が低下して落ち込んでいる。図１０の輝度曲線に従えば、シミの両端Ａ２、Ｂ２に対応して、２回微分値の曲線においても２箇所に特徴点が現れるはずである。しかしながら、微分間隔が大きい図１１では１つの特徴点ｅしか現れておらず、シミ９０１の開始位置に相当する点Ａ２の位置を特定できない。これに対して、微分間隔を８画素と小さく設定した図１２では、２つの特徴点ｆ、ｇが明確に現れており、シミ９０１の開始位置および終了位置に相当する点Ａ２、Ｂ２の双方の位置を確実に特定することができる。従って、画像データの周縁部では、輝度の２回微分値を算出する際の微分間隔を小さくすることにより、画像端部にシミが発生した場合でも、シミの位置を確実に検出することができる。
【００５１】
次に、輝度シェーディングの影響と微分間隔の関係について説明する。図１３は、画像の一例を示す図であって、画像の左上にシミが写り込んでいる。図１４は、図１３に対応する輝度曲線であって、図１３のシミを水平方向に通る線に沿った輝度曲線を示す。図１５および図１６は、図１４の輝度曲線で表される輝度の２回微分値の算出結果を示す図であって、図１５では微分間隔が３２画素間隔であり、図１６では微分間隔が１６画素間隔である。
【００５２】
図１３の例では、画像１３０２の左上部にシミ１３０１が発生しており、そのために図１４の輝度曲線の左側部分には輝度が低下して落ち込んでおり、そして、図１５の２回微分値の曲線でもシミ１３０１に対応する場所に特徴点が現れている。図１５を更に見ると、図１５の右側部分においては、図１３で画面の右側部分にシミが発生していないにも拘らず、２回微分値が負の大きな値になっており、特徴点が現れている。特徴点における２回微分値の絶対値はシミの位置と同程度に達している。この特徴点の発生は輝度シェーディングに起因している。図１４に示すように、画像の右側部分では輝度シェーディングによって輝度が急に低下しており、図１５ではその部分で２回微分値が負の大きな値になっている。このような特徴点はシミの誤検出の原因になる。
【００５３】
これに対して、図１６では、図１５と比較して微分間隔が小さく設定されている。微分間隔を小さく設定することにより、シミ端部での急な屈曲箇所では２回微分値が負の大きな値になるが、輝度シェーディングで単に輝度の傾きが大きい場所では２回微分値が大きくならない。従って、図１６に示すように、シミの位置では特徴点を維持しつつ、輝度シェーディングで輝度が急変化する場所での特徴点の出現が抑えられる。このようにして、微分間隔を小さく設定することにより、シミの部分と輝度シェーディングの部分との切り分けを行うことができ、このことから、カメラの光学系がもつ輝度シェーディングの影響をより適切に低減して、画像データ中のシミをより精度よく検出することができる。
【００５４】
以上にシミが画像データの中央部および周縁部に発生したときの各々について、微分間隔と２回微分値の関係を説明し、更に輝度シェーディングの影響と微分間隔の関係について説明した。本実施の形態では、これらの関係に基づいて、微分間隔が設定されている。本実施の形態では、画像データの周縁部では中央部と比べて輝度が急に低下するといった輝度シェーディング特性が想定されている。
【００５５】
そして、画像データの中央部、すなわち画像中央の所定の範囲では、周縁部よりも微分間隔を大きく設定している。該中央部の両側である周縁部では、中央部よりも微分間隔を小さく設定している。中央部と周縁部との境界は、画像の中心を挟んで両側の所定位置、すなわち、画像の一方の半部の１ヶ所と、他方の半部の１ヶ所とに予め設定されている。より詳細には、中央部と周縁部との境界は、輝度シェーディングによる輝度変化の度合が変化する場所であって、画像データの中央部から周縁部に向けて輝度が急に低下し始める場所に応じて設定されており、この輝度変化が急になる場所より内側の所定の位置に、中央部と周縁部の境界が予め設定されている。この輝度の急変化開始部を境に、画像の内側（中央側）の領域では中央部の微分間隔が設定され、画像の外側（両端側）の領域では周縁部の微分間隔が設定される。
【００５６】
これらの設定により、画像データの中央部では、シミ端部が２回微分値に特徴点としてより顕著に現れる。画像データの周縁部では、シミが画像の縁部にある場合でも、２回微分値が負の大きな値になって、特徴点が確実に現れるとともに、シミと輝度シェーディングによる輝度変化との切り分けを明確に行うことができる。このような設定により、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができる。
【００５７】
以上に、本実施の形態におけるカメラ検査装置１０００の各機能について説明した。次に、本発明の実施の形態におけるカメラ検査装置１０００の動作について、図に基づいて説明する。図１７は、カメラ検査装置１０００の動作フローを示す図である。プログラム記憶部２１４の検査プログラム２１４ａをプログラム実行部２１１が実行することにより、カメラ検査装置１０００が図１７のカメラ検査処理を行う。
【００５８】
まず、図１７に示されるように、画像データ取得部１１０が、カメラにより基準被写体を撮像して得られる画像データを取得する（ステップ（ＳＴＥＰ：以下、Ｓと称する）１７０１）。輝度算出部１２０が、画像データ取得部１１０により取得される画像データの各画素の輝度値を算出する（Ｓ１７０２）。この際、輝度算出部１２０は上述の通り、式（１）に従って、８ビット（bit）グレースケールの輝度信号への変換によって輝度値を算出する。
【００５９】
次に、輝度値平均化部１３０が、輝度算出部１２０により算出された各画素の輝度値に対して、平均化処理を行う（Ｓ１７０３）。具体的には、注目画素を含む所定範囲（例えば７×７画素の合計４９画素）の輝度値の平均値を算出して、注目画素の輝度値を平均値に置き換える。この処理が画像データ内の全画素に対して３回繰り返される。このような平均化処理により、図３（ａ）および図３（ｂ）を用いて説明したように、シミを要因とする輝度変化が保持され、電気的なノイズが消去される。
【００６０】
次に、２回微分値算出部１４０が、画像データの水平方向または垂直方向の１ラインを選択して、このラインに沿った輝度の２回微分値を上述の式（２）および式（３）に従って算出する（Ｓ１７０４）。２回微分値は、輝度値平均化部１３０による輝度値の平均化処理後の画像データから算出される。前述したように、カメラ検査装置１０００は、多数のラインを順次選択して、各々のラインについて、２回微分値の計算と以後のシミ検出等の処理を行うが、以下の説明では主として１本のラインに着目して説明を行う。
【００６１】
次に、シミ位置検出部１６１が、２回微分値算出部１４０の算出結果に基づいて、画像データ中のシミの位置を検出する（Ｓ１７０５）。具体的には、シミ位置検出部１６１は、シミ判定用閾値記憶部１７０に記憶されているシミ端判定閾値１７１と、２回微分値算出部１４０により算出された２回微分値とを比較して、画像データ中のシミの位置を検出する。このとき、シミ位置検出部１６１は２回微分値がシミ端判定閾値以上になる位置をシミ位置として検出する。より具体的には、シミ位置検出部１６１は、２回微分値が、先にシミ端判定閾値以上となる位置をシミの開始位置とし、次にシミ端判定閾値以上になる位置をシミの終了位置として、シミの位置を検出する。
【００６２】
ここで、前述にて詳細に説明したように、Ｓ１７０４の２回微分算出処理においては、画像データの中央部では、微分間隔が大きい中央部用微分間隔１５１が設定され、周縁部では、中央部と比較して微分間隔が小さい周縁部用微分間隔１５２が設定されている。これにより、Ｓ１７０５のシミ位置検出処理では、カメラの光学系がもつ輝度シェーディングの影響をより適切に低減して、画像データ中のシミをより精度よく検出することができる。
【００６３】
次に、シミレベル算出部１６２が、Ｓ１７０５で検出されたシミ位置に基づいて、シミレベルを算出する（Ｓ１７０６）。具体的には、図４を用いて説明したように、シミレベル算出部１６２が、シミの開始位置と終了位置の間で最も輝度が小さい位置（最低輝度位置）を特定し、その位置における輝度値を抽出して、上記の式（４）に従ってシミレベルを算出する。
【００６４】
シミレベルが算出された後、良否判定部１８０が、算出されたシミレベルと、シミレベル判定閾値１７２とを比較して、シミレベルの良否判定を行う（Ｓ１７０７）。具体的には、良否判定部１８０は、算出されたシミレベルとシミレベル判定閾値１７２を比較した結果、シミレベルがシミレベル判定閾値１７２より小さい場合に「良」と判定し、シミレベルがシミレベル判定閾値１７２より大きい場合に「否」と判定する。この良否判定部１８０の判定結果は、判定結果出力部１９０により出力され、検査員がシミレベルの良否判定結果を確認することができる。以上の通り、本発明の実施の形態におけるカメラ検査装置１０００の動作について説明した。
【００６５】
このような本発明の実施の形態のカメラ検査装置によれば、画像データから所定方向に沿った輝度の２回微分値を算出し、２回微分値に基づいて画像データ中のシミの位置を検出する。このシミ位置検出では、２回微分値が負の大きな値（負であって絶対値が大きい値）になる位置が、シミの端部として特定される。本発明では、特にシミ位置検出のために輝度の２回微分値を計算する際に、基準被写体の撮像画像に輝度分布を生じる輝度シェーディング特性に基づいて、微分間隔を所定方向に沿った位置に応じて異ならせている。この構成により、輝度シェーディングによる輝度変化の緩急に応じて、上記微分間隔を適切に変化させることで、輝度シェーディングの輝度変化をシミとして誤検出するのを抑止できる。この結果、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができる。
【００６６】
また、本発明の形態のカメラ検査装置によれば、画像データの中央部での微分間隔と比較して、中央部より外側の周縁部での微分間隔を小さく設定して、画像データから輝度の２回微分値が算出される。この構成は、画像データの周縁部では中央部と比べて輝度が急に低下するといった一般的な輝度シェーディング特性を有する光学系を備えたカメラの検査に適している。画像データの中央部では、周縁部よりも微分間隔を大きく設定することにより、シミ端部での２回微分値が負の方向に増大し、シミ端部が２回微分値に特徴点としてより顕著に現れ、シミの位置を検出し易くすることができる。一方、画像データの周縁部では、中央部よりも微分間隔を小さく設定することにより、シミが画像の縁部にある場合でも、２回微分値が負の大きな値になって、特徴点が確実に現れるとともに、輝度シェーディングによる輝度の急変化点で２回微分値が負の大きな値になるのを防ぎ、シミと輝度シェーディングによる輝度変化との切り分けを明確に行うことができる。このようにして、画像データの中央部での微分間隔と比較して、周縁部での微分間隔を小さく設定することにより、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができる。
【００６７】
また、本発明の実施の形態におけるカメラ検査装置によれば、２回微分値を所定のシミ端判定閾値と比較することにより、画像データ中のシミの位置を検出する。従って、所定のシミ端判定閾値を基準に、２回微分値が負の大きな値になる位置を特徴点として特定できるので、画像データ中のシミの位置を容易に検出することができる。
【００６８】
また、本発明の実施の形態におけるカメラ検査装置によれば、２回微分値が、先に所定のシミ端閾値を超えた位置をシミの開始位置とし、次に所定のシミ端閾値を越えた位置をシミの終了位置として、シミの位置を検出する構成を有している。これにより、所定のシミ端判定閾値を基準に、画像データ中で先に２回微分値が負の大きな値になる位置をシミの開始位置とし、後に２回微分値が負の大きな値になる位置をシミの終了位置として特定できるので、画像データ中のシミの位置を容易に検出することができる。
【００６９】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００７０】
上記実施態様では、本発明の実施の形態におけるカメラは携帯電話端末や携帯情報端末等の携帯端末に搭載されているカメラモジュールであると説明したが、これに限らず、本発明の実施の形態におけるカメラは一般的なデジタルカメラであってもよい。
【００７１】
上記実施態様では、２回微分値算出部２４０は、画像データの水平方向または垂直方向の１ラインを選択して、このラインに沿った輝度の２回微分値を算出すると説明したが、２回微分値算出部２４０は、水平方向または垂直方向に限らず、画像データの任意の所定の方向に沿った輝度の２回微分値を算出してもよい。
【００７２】
上記実施態様では、本発明に係るカメラ検査装置およびカメラ検査方法について具体的に説明した。しかし、本発明はこれらに限定されない。本発明は、上述したカメラ検査方法の各ステップをコンピュータに実行させるカメラ検査プログラムであってもよく、また、このカメラ検査プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。
【産業上の利用可能性】
【００７３】
以上のように、本発明は、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができるという効果を有し、撮像素子を有するカメラにより撮像された画像データに基づいて、撮像素子の受光面またはその周辺部に付着したゴミおよび塵等の異物に起因するシミを検出するカメラ検査装置に有用である。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施の形態におけるカメラ検査装置の機能ブロック図
【図２】本発明の実施の形態におけるカメラ検査装置の構成をハードウエア面から示す図
【図３】（ａ） 平均化処理前の輝度曲線を示す図 （ｂ） 平均化処理後の輝度曲線を示す図
【図４】画像データ中でシミが生じている部分を拡大した輝度曲線の一例を示す図
【図５】中央部にシミが生じた画像の一例を示す図
【図６】画像の輝度曲線の一例を示す図
【図７】微分間隔が１６画素間隔の場合の輝度の２回微分値の算出結果を示す図
【図８】微分間隔が３２画素間隔の場合の輝度の２回微分値の算出結果を示す図
【図９】周縁部にシミが生じた画像の一例を示す図
【図１０】画像の輝度曲線の一例を示す図
【図１１】微分間隔が２０画素間隔の場合の輝度の２回微分値の算出結果を示す図
【図１２】微分間隔が８画素間隔の場合の輝度の２回微分値の算出結果を示す図
【図１３】左上部にシミが生じた画像の一例を示す図
【図１４】画像の輝度曲線の一例を示す図
【図１５】微分間隔が３２画素間隔の場合の輝度の２回微分値の算出結果を示す図
【図１６】微分間隔が１６画素間隔の場合の輝度の２回微分値の算出結果を示す図
【図１７】本発明の実施の形態におけるカメラ検査装置の動作フローを示す図
【図１８】シミが写り込んだ撮像画像の例を示す図
【図１９】画像の輝度曲線の一例を示す図
【符号の説明】
【００７５】
１１０ 画像データ取得部
１２０ 輝度値算出部
１３０ 輝度値平均化部
１４０ ２回微分値算出部
１５０ 微分間隔記憶部
１６０ シミ検出部
１６１ シミ位置検出部
１６２ シミレベル算出部
１７０ シミ判定用閾値記憶部
１８０ 良否判定部
１９０ 判定結果出力部
１０００ カメラ検査装置
２１０ コンピュータ本体
２１１ プログラム実行部
２１２ 通信部
２１３ メモリ部
２１４ プログラム記憶部
２１４ａ シミ検査プログラム
２２０ 表示部
２３０ 操作部
【技術分野】
【０００１】
本発明は、撮像素子を有するカメラにより撮像された画像データに基づいて、撮像素子の受光面またはその周辺部に付着したゴミおよび塵等の異物に起因するシミを検出するカメラ検査装置に関する。カメラは例えば携帯電話等の携帯機器搭載用のカメラに代表される。
【背景技術】
【０００２】
近年、撮像素子を有するカメラが様々な電子機器に搭載されている。撮像素子を有するカメラでは、製造工程にてゴミおよび塵が撮像素子やレンズ部に異物として付着して、当該異物がカメラの撮像画像内にシミとして写り込んでしまう場合があった。図１８にシミが写り込んだ撮像画像の例を示す。図１８の例では、シミ１８０１が撮像画像１８０２の左下側に現れており、シミ１８０１の存在により撮像画像の画質が低下している。
【０００３】
携帯電話等の携帯機器に搭載されるカメラにおいては、市場からの高解像度化の要請に伴って１画素当たりのピッチが小さくなってきており、また、携帯機器本体の薄肉化の要請に伴って撮像素子の受光面およびレンズ部との間の距離が短くなってきている。このため、携帯機器用のカメラでは、より微細なゴミおよび塵が撮像素子やレンズ部に付着するだけで、撮像画像にシミが写り込んでしまう場合があった。
【０００４】
従来、カメラの撮像画像中のシミに関する検査は、人間による目視判断によって行われていた。しかしながら、撮像画像内に生じるシミは微弱なものであり、人間の目視による感応的な評価では、検査員によって判断基準が相違し、この違いが検査結果にばらつきを生じさせ、製造歩留まりにも影響を及ぼしていた。携帯機器の量産台数が著しく増加している昨今の状況下においては、目視検査に頼らずに、効率よく高精度に安定して撮像画像中のシミを検出することが望まれる。
【０００５】
目視検査によらない検査技術としては、例えば特許文献１に記載のカメラ検査技術が知られている。特許文献１に記載のカメラ検査技術では、カメラにより撮像された画像データから、所定方向に沿った輝度曲線上の各位置における２回微分値が算出される。輝度曲線は上記所定方向に沿った輝度変化を表す曲線であり、具体的には上記所定方向に沿ったライン上の各画素の輝度値で表される。そして、２回微分値が輝度曲線の形状を表すことを利用して、２次微分値の算出結果に基づいてシミの位置を検出して、検出されたシミの濃度に基づいてカメラの良否判定を行っている。
【特許文献１】特開２００６−１９１２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のカメラ検査技術では、カメラの光学系の輝度シェーディング特性が考慮されていないために、シミの検出精度が低下するという問題があった。輝度シェーディングとは、カメラのレンズ部や撮像素子等の光学系に依存する現象であって、カメラの撮像画像の中心部と周縁部との間に輝度差が生じる現象をいう。輝度シェーディング特性によれば、カメラの撮像画像の周縁部は中央部と比べて輝度が急に低下することがある。また、例えば図１９に示されるように、カメラの撮像画像の周縁部と中心部との間に輝度差が生じるだけでなく、周縁部に凹型の暗い部分が生じる場合もある。輝度シェーディングによって、輝度のうねりや大きな輝度変化が生じると、これらがシミとして誤検出される可能性があった。
【０００７】
特に、携帯機器用のカメラでは、携帯機器の薄肉化に伴って、撮像素子やレンズ部等の光学部の厚みが極端に薄肉化されており、カメラの光学系がもつ輝度シェーディング特性がシミの検出精度に大きく影響する傾向にある。従って、輝度シェーディングの影響を受けずに、高精度にシミを検出することが望まれる。
【０００８】
本発明は、上記従来の問題を解決するためになされたもので、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができるカメラ検査装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明のカメラ検査装置は、撮像素子を有するカメラにより撮像された画像データに基づいて、前記撮像素子の受光面またはその周辺部に付着した異物に起因する画像中のシミを検出するカメラ検査装置であって、前記カメラを用いて基準被写体を撮像することにより得られる画像データを取得する画像データ取得部と、前記画像データから所定方向に沿った輝度の２回微分値を算出する２回微分値算出部と、前記２回微分値算出部の算出結果に基づいて、前記画像データ中のシミの位置を検出する位置検出部とを備え、前記２回微分値算出部は、前記カメラの光学系がもつ特性であって前記基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、前記２回微分値を算出する際の微分間隔を前記所定方向に沿った位置に応じて異ならせる構成を有している。
【００１０】
この構成により、画像データから所定方向に沿った輝度の２回微分値を算出し、２回微分値に基づいて画像データ中のシミの位置を検出する。このシミ位置検出では、２回微分値が負の大きな値（負であって絶対値が大きい値）になる位置が、シミの端部として特定される。本発明では、特にシミ位置検出のために輝度の２回微分値を計算する際に、基準被写体の撮像画像に輝度分布を生じる輝度シェーディング特性に基づいて、微分間隔を所定方向に沿った位置に応じて異ならせている。この構成により、輝度シェーディングによる輝度変化の緩急に応じて、上記微分間隔を適切に変化させることで、輝度シェーディングの輝度変化をシミとして誤検出するのを抑止できる。この結果、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができる。
【００１１】
また、本発明のカメラ検査装置において、前記２回微分値算出部は、前記画像データの中央部での微分間隔と比較して、前記画像データの周縁部での微分間隔を小さく設定している構成を有している。
【００１２】
この構成により、画像データの中央部での微分間隔と比較して、中央部より外側の周縁部での微分間隔を小さく設定して、画像データから輝度の２回微分値が算出される。この構成は、画像データの周縁部では中央部と比べて輝度が急に低下するといった輝度シェーディング特性を有する光学系を備えたカメラの検査に適している。画像データの中央部では、周縁部よりも微分間隔を大きく設定することにより、シミ端部での２回微分値が負の方向に増大し、シミ端部が２回微分値に特徴点としてより顕著に現れ、シミの位置を検出し易くすることができる。一方、画像データの周縁部では、中央部よりも微分間隔を小さく設定することにより、シミが画像の縁部にある場合でも、２回微分値が負の大きな値になって、特徴点が確実に現れるとともに、輝度シェーディングによる輝度の急変化点で２回微分値が負の大きな値になるのを防ぎ、シミと輝度シェーディングによる輝度変化との切り分けを明確に行うことができる。このようにして、画像データの中央部での微分間隔と比較して、周縁部での微分間隔を小さく設定することにより、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができる。
【００１３】
また、本発明のカメラ検査装置において、前記位置検出部は、前記２回微分値を所定のシミ端判定閾値と比較することにより、前記画像データ中の前記シミの位置を検出する構成を有している。これにより、所定のシミ端判定閾値を基準に、２回微分値が負の大きな値になる位置を特徴点として特定できるので、画像データ中のシミの位置を容易に検出することができる。
【００１４】
また、本発明のカメラ検査装置において、前記位置検出部は、前記２回微分値が、先に前記所定のシミ端閾値以上になる位置を前記シミの開始位置とし、次に前記所定のシミ端閾値以上になる位置を前記シミの終了位置として、前記シミの位置を検出する構成を有している。これにより、所定のシミ端判定閾値を基準に、画像データ中で先に２回微分値が負の大きな値になる位置をシミの開始位置とし、後に２回微分値が負の大きな値になる位置をシミの終了位置として特定できるので、画像データ中のシミの位置を容易に検出することができる。
【００１５】
本発明のカメラ検査プログラムは、撮像素子を有するカメラにより撮像された画像データに基づいて、前記撮像素子の前記受光面またはその周辺部に付着した異物に起因する画像中のシミを検出する処理をコンピュータに行わせるカメラ検査プログラムであって、前記カメラを用いて基準被写体を撮像することにより得られる画像データを取得するステップと、前記画像データから所定方向に沿った輝度の２回微分値を算出するステップと、前記２回微分値算出部の算出結果に基づいて、前記画像データ中のシミの位置を検出するステップとを前記コンピュータに実行させ、前記輝度の２回微分値を算出するステップでは、前記カメラの光学系がもつ特性であって前記基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、前記２回微分値を算出する際の微分間隔を前記所定方向に沿った位置に応じて異ならせる構成を有している。この構成によっても、上述した本発明の利点が得られる。
【００１６】
また、本発明の別の態様は、上述のカメラ検査プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１７】
また、本発明のカメラ検査方法は、撮像素子を有するカメラにより撮像された画像データに基づいて、前記撮像素子の前記受光面またはその周辺部に付着した異物に起因する画像中のシミを検出するカメラ検査方法であって、前記カメラを用いて基準被写体を撮像することにより得られる画像データを取得するステップと、前記画像データから所定方向に沿った輝度の２回微分値を算出するステップと、前記２回微分値算出部の算出結果に基づいて、前記画像データ中のシミの位置を検出するステップとを含み、前記輝度の２回微分値を算出するステップでは、前記カメラの光学系がもつ特性であって前記基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、前記２回微分値を算出する際の微分間隔を前記所定方向に沿った位置に応じて異ならせる構成を有している。このカメラ検査方法によっても、上述した本発明の利点が得られる。
【発明の効果】
【００１８】
本発明は、画像データ中のシミを検出するために輝度の２回微分値を算出する際に、輝度シェーディング特性に基づいて、微分間隔を場所によって異ならせることにより、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができるという効果を有するカメラ検査装置を提供することができるものである。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態に係るカメラ検査装置について、図面を用いて説明する。本発明の実施の形態におけるカメラ検査装置の機能ブロック図を図１に示すとともに、このカメラ検査装置をハードウエア面から見た構成を図２に示す。最初に図２を参照してカメラ検査装置の構成をハードウエア面から説明して、次に図１に基づいてカメラ検査装置の各機能について説明する。
【００２０】
カメラ検査装置１０００は、カメラの撮像画像中のシミを検出して、カメラを検査するための装置である。カメラは、例えば携帯電話等の携帯機器に搭載されるカメラモジュールであって、外筐体にレンズ部および撮像素子を備えている。レンズ部は被写体からの光を撮像素子に結像し、撮像素子はレンズ部により結像された像を光電変換することにより、撮像画像の画像データを生成する。
【００２１】
カメラを製造する過程において、撮像素子の受光面またはその周辺部（レンズ部を含む）にゴミおよび塵等の異物が付着すると、カメラにより撮像された画像データにシミとして写りこんでしまうことがある。カメラ検査装置１０００は、カメラにより撮像された画像データに基づいて、カメラの撮像画像中のシミを検出して、シミレベルを良否判定することにより、カメラの検査を行う。
【００２２】
カメラ検査装置１０００は、コンピュータ装置で構成されており、図２に示されるように、コンピュータ本体２１０と、表示部２２０と、操作部２３０とを備えている。コンピュータ本体２１０は、プログラム実行部２１１と、通信部２１２と、メモリ部２１３と、プログラム記憶部２１４とを備えている。
【００２３】
プログラム実行部２１１は、ＣＰＵ等のプロセッサで構成され、プログラム記憶部２１４に記憶されているシミ検査プログラム２１４ａを実行する。通信部２１２は、ＵＳＢケーブル等の通信ケーブルを介して、外部機器に接続されており、外部機器との間でデータの送受を行うことができる。例えば、外部機器がデータ記憶装置であり、予めカメラにより撮像した画像データがデータ記憶装置に記憶されている。そして、データ記憶装置から通信部２１２を介して、コンピュータ本体２１０に画像データを取り込むことができる。外部機器はカメラが搭載された携帯機器でもよい。この場合、予めカメラにより撮像して携帯機器の記憶部に記憶されている画像データを、コンピュータ本体２１０に取り込むことができる。カメラがカメラ検査装置１０００に直接接続され、カメラから撮像画像が取り込まれてもよい。
【００２４】
メモリ部２１３は、プログラム実行部２１１がシミ検査プログラムを実行する等の処理を行う際の作業用のメモリである。プログラム記憶部２１４には、シミ検査プログラム２１４ａが記憶されている。シミ検査プログラム２１４ａは、本実施の形態におけるカメラ検査装置およびカメラ検査方法を実現するためのプログラムであって、特に、カメラにより撮像された画像データに基づいて、画像データの輝度値の２回微分値からシミの位置を検出して、検出したシミの程度を表すシミレベルを算出し、シミレベルに対して良否判定を行うことにより、カメラの検査を行う。こうしたシミ検査プログラム２１４ａを実行することにより、本実施の形態におけるカメラ検出装置およびカメラ検出方法が実現される。このシミ検査プログラム２１４ａの内容は、後で詳細に説明するカメラ検査装置およびカメラ検査方法にて述べられる。
【００２５】
表示部２２０はディスプレイであって、この表示部２２０には検査プログラム２１４ａの処理情報等が表示される。操作部２３０は、テンキー等が配列されたキーボード等であって、例えば検査プログラム２１４ａの実行に関する指示を入力するため等に用いられる。
【００２６】
次に、図1を参照して、カメラ検査装置の構成について更に説明する。図１ではカメラ検査装置１０００が機能ブロックで表されている。図１の各構成が、図２のコンピュータ装置により、具体的にはプログラム記憶部２１４のシミ検出プログラム２１４ａをプログラム実行部２１１が実行することによって実現される。カメラ検査装置１０００は、画像データ取得部１１０と、輝度値算出部１２０と、輝度値平均化部１３０と、２回微分値算出部１４０と、微分間隔記憶部１５０と、シミ検出部１６０と、シミ判定用閾値記憶部１７０と、良否判定部１８０と、判定結果出力部１９０とを備えている。
【００２７】
画像データ取得部１１０は、カメラを用いて基準被写体を撮像することにより得られる画像データを取得する。この画像データ取得部１１０が取得する画像データは、撮像素子（カメラ）から出力される生データであり、ホワイトバランス調整処理やウェーブレット変換処理等の各種画像処理が施されていないデータである。基準被写体は、例えば白色、灰色等の無彩色であって全体に色が均一な被写体であり、パネル等が用いられる。カメラの撮像素子の受光面またはその周辺部（レンズ部を含む）にゴミおよび塵等の異物が付着していると、この異物が撮像画像上においてシミとして影のような形で現れる。図２のプログラム実行部２１１および通信部２１２が、上記の画像データ取得部１１０として機能する。
【００２８】
輝度値算出部１２０は、画像データ取得部１１０が取得する画像データの各画素の輝度値を算出する。３原色画像信号である赤（Ｒ）信号、緑（Ｇ）信号および青（Ｂ）信号の画素値をそれぞれＲ、ＧおよびＢとすると、輝度値Ｙは式（１）のように表される。輝度値算出部１２０は式（１）に従って、ＲＧＢの画素値を８ビット（bit）グレースケールの輝度信号に変換することにより、輝度値を算出する。図２のプログラム実行部２１１が、上記の輝度値算出部１２０として機能する。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ ・・・（１）
【００２９】
輝度値平均化部１３０は、輝度算出部１２０により算出された各画素の輝度値Ｙに対して、平均化処理を行う。ここで、平滑な照度の基準被写体を撮像しても、カメラの画像データは電気的なノイズによる揺らぎを含んでいる。平均化処理はこのような電気的ノイズを低減または除去する。図２のプログラム実行部２１１が、上記の輝度値平均化部１３０として機能する。
【００３０】
平均化処理では、例えば下記の単純平均化が行われる。すなわち、輝度値平均化部１３０は、注目画素を含む所定範囲（例えば７×７画素の合計４９画素）の輝度値の平均値を算出して、注目画素の輝度値を平均値に置き換える。この処理が画像データ内の全画素に対して行われる。この単純平均処理を例えば３回繰り返すことにより、シミを要因とする輝度変化が保持され、電気的なノイズが消去される。
【００３１】
図３に輝度値の平均化処理を示す。図３（ａ）および図３（ｂ）において、横軸は画像データ上の画素の位置であり、縦軸は輝度値であり、各図の輝度曲線は画像データの所定方向に配列する各画素の輝度値の変化を示している。図３（ａ）は、平均化処理前の輝度曲線を示す図であり、図３（ｂ）は、平均化処理後の輝度曲線を示す図である。図３（ａ）に示されるように、平均化処理前の輝度曲線では、電気的なノイズを原因とした輝度の揺らぎが多く生じている。一方、図３（ｂ）に示されるように、平均化処理後の輝度曲線では、電気的なノイズが除去されており、輝度の揺らぎ低減されている。
【００３２】
各画素の輝度値の平均化処理は、上記手法に限定されない。検出したいシミの大きさとレベルに対応して、平均化処理の手法を適正化する必要がある。また、低減または除去したいノイズ量はカメラの仕様によって異なってくるが、そのような低減または除去したいノイズ量に対応して、平均化処理の手法を適正化する必要がある。そこで、これらの要求を満たす処理を行うように、輝度値平均化部１３０が構成されている。
【００３３】
２回微分値算出部１４０は、画像データから所定方向に沿った輝度の２回微分値を算出する。２回微分値算出部１４０は、輝度値平均化部１３０による輝度値の平均化処理後の画像データを用いて、上記２回微分値を算出する。２回微分値算出部１４０は、画像データの水平方向または垂直方向の１ラインを選択して、このラインに沿った輝度の２回微分値を算出する。図２のプログラム実行部２１１が、上記の２回微分値算出部１４０として機能する。
【００３４】
２回微分値算出部１４０は、所定方向の複数のラインの各々を対象として、２回微分値を計算する。所定方向は、水平方向でもよく、垂直方向でもよく、両方の方向であってもよい。また、全ラインを対象として２回微分値が計算されてもよい。あるいは、適当な間引きが行われ、所定間隔毎のラインを対象として２回微分値が算出されてよい。この場合、ラインの間隔は検出すべきシミの大きさに応じて適当に設定される。２回微分値の計算と計算結果を用いたシミ検出および良否判定等の以降の処理は、各ラインに対して同様に行われる。そこで、以下では、水平方向の１つのラインについての処理を中心に、本実施の形態のカメラ検査装置１０００について説明する。
【００３５】
２回微分値算出部１４０は、次に示す式（２）および式（３）に従って２回微分値を算出する。式（２）は１回微分値の計算式であり、式（３）は１回微分値から２回微分値を計算する式である。
Ｄ１ｎ ＝ （Ｙｎ―Ｙｎ−１）／{ｎ―（ｎ−α）} ・・・（２）
Ｄ２ｎ ＝ （Ｄ１ｎ―Ｄ１ｎ−１）／{ｎ―（ｎ−α）} ・・・（３）
【００３６】
ここでは、ｎは計算対象である選択ライン上での画素座標であり、Ｙｎはｎ画素の輝度値であり、Ｄ１ｎはｎ画素の１回微分値であり、Ｄ２ｎはｎ画素の２回微分値である。本実施の形態では、式（２）および式（３）に示されるように、微分間隔αを隔てた２点の輝度値から２回微分値が算出される。
【００３７】
本実施の形態では、特に上記の微分間隔が、画像データ上の位置に応じて異なって設定されている。この微分間隔設定に従い、２回微分値算出部１４０は、画像データ上の位置によって異なる微分間隔を用いて、２回微分値を計算する。微分間隔は検査対象のカメラの輝度シェーディング特性に基づいて設定されている。輝度シェーディングは、カメラの撮像素子やレンズ部等の光学系に依存する現象である。輝度シェーディング特性によって、基準被写体の撮像画像に輝度分布が生じる。
【００３８】
本実施の形態では、輝度シェーディング特性として、画像データの周縁部では中央部と比べて輝度が急に低下することが想定されている。そこで、画像データの中央部の所定範囲とその外側の周縁部とで微分間隔が異なって設定されており、具体的には中央部と比較して、周縁部の微分間隔が小さく設定されている。微分間隔の設定とその効果については、後述にて詳細に説明する。
【００３９】
微分間隔記憶部１５０には、２回微分値を算出する際の微分間隔が記憶されている。上述の通り、２回微分値を算出する際の微分間隔として、中央部用微分間隔１５１および周縁部用微分間隔１５２が設定されており、後者のほうが小さく設定されている。図２のメモリ部２１３が、上記の微分間隔記憶部１５０として機能する。
【００４０】
シミ検出部１６０は、シミ位置検出部１６１と、シミレベル算出部１６２とを備えている。シミ位置検出部１６１は、２回微分値算出部１４０の算出結果に基づいて、画像データ中のシミの位置を検出する。シミレベル算出部１６２は、シミ位置検出部１６１により検出されたシミ位置に基づいて、シミレベルを算出する。図２のプログラム実行部２１１が、上記のシミ検出部１６０として機能する。
【００４１】
ここで、図４を参照して、画像中のシミと上記の２回微分値の関係と、２回微分値によるシミ検出およびシミレベル算出について説明する。図４は、画像データ中でシミが生じている位置における輝度曲線を拡大した図である。図示のように、シミが生じている位置では、シミの周辺と比較して輝度値が小さくなる。図４に示されるように、画像データ中のシミの端部Ａ、Ｂでは特に輝度が急に変化して、輝度曲線が急に曲がる。しかも、シミの端部Ａ、Ｂでは輝度曲線が「上に凸」である。従って、輝度の２回微分値の算出結果では、シミの端部Ａ、Ｂが輝度の２回微分値がマイナスであって絶対値が大きい特徴点として現れる。この特徴点を特定することにより、シミの開始位置（シミ端Ａ）と終了位置（シミ端Ｂ）を検出でき、それらの間をシミとして検出できる。
【００４２】
具体的には、シミ位置検出部１６１は以下のようにして、シミ位置を検出する。シミ位置検出部１６１は、シミ判定用閾値記憶部１７０に記憶されているシミ端判定閾値１７１と、２回微分値算出部１４０により算出された２回微分値とを比較して、画像データ中のシミの位置を検出する。このとき、シミ位置検出部１６１は、２回微分値が、先にシミ端判定閾値以上となる位置をシミの開始位置とし、次にシミ端判定閾値以上となる位置をシミの終了位置として、シミの位置を検出する。図４の例では、シミ端Ａがシミの開始位置Ａ、シミ端Ｂがシミの終了位置となる。
【００４３】
シミレベル算出部１６２は、シミの開始位置（シミ端Ａ）と終了位置（シミ端Ｂ）の間で最も輝度が小さい位置（最低輝度位置Ｍ）を特定し、その位置における輝度値を抽出して、次の式（４）に従ってシミレベルを算出する。シミレベルは、「シミの開始位置と終了位置の輝度の平均値」に対する「最も輝度が小さい位置における輝度値」の割合である。「シミの開始位置と終了位置の輝度の平均値」は、シミが無いとした場合の該当位置の輝度を表す値として用いられる。
【数１】
【００４４】
シミ判定用閾値記憶部１７０には、シミ端判定閾値１７１およびシミレベル判定閾値１７２が記憶されている。シミ端判定閾値１７１は、上述の通り、シミ位置検出部１６１が画像データ中のシミの開始位置および終了位置を検出するのに用いられる。シミレベル判定閾値１７２は、以下に説明する良否判定部１８０にて、シミレベル算出部１６２の算出結果であるシミレベルが良好なレベルか否かを判断するのに用いられる。図２のメモリ２１３が上記のシミ判定用閾値記憶部１７０として機能する。
【００４５】
良否判定部１８０は、シミレベル算出部１６２により算出されたシミレベルと、シミレベル判定閾値１７２とを比較する。そして、比較の結果、良否判定部１８０は、シミレベルがシミレベル判定閾値１７２より小さい場合に「良」と判定し、シミレベルがシミレベル判定閾値１７２より大きい場合に「否」と判定する。図２のプログラム実行部２１１が、上記の良否判定部１８０として機能する。判定結果出力部１９０は、良否判定部１８０の判定結果を出力する。図２の表示部２２０が上記の判定結果出力部１９０として機能する。
【００４６】
ここで、上述した２回微分値算出部１４０にて、２回微分値を算出する際の微分間隔の設定について説明する。ここでは、まず、画像データ中の中央部および周縁部にシミが位置するときの微分間隔と２回微分値算出結果の関係を具体例に基づいて説明し、更に輝度シェーディングの影響と微分間隔の関係について説明し、それから本実施の形態の好適な微分間隔の設定を説明する。
【００４７】
まず、画像データの中央部にシミが写り込んでいる例について説明する。図５は、画像の一例を示す図であって、画像の中央部にシミが写り込んでいる。図６は、図５に対応する輝度曲線であって、図５のシミを水平方向（紙面にて左右方向）に通る線に沿った輝度曲線（水平断面波形）を示す。図７は、微分間隔を１６画素間隔として、図６の輝度曲線で表される輝度の２回微分値を算出した算出結果を示す。図８は、微分間隔を図７より大きい３２画素間隔として、図６の輝度曲線で表される輝度の２回微分値を算出した算出結果を示す。
【００４８】
図５の例では、画像５０２の中央部にシミ５０１が発生しており、そのために図６に示されるように、シミ５０１に対応する位置で輝度が落ち込んでいる。そして、図７および図８に示されるように、２回微分値の算出結果では、シミ端部Ａ１、Ｂ１にて、２回微分値が負の大きな値になる特徴点ａ、ｂ、ｃ、ｄが現れる。図７と図８とを比較すると双方共に特徴点が明確に現れているが、図８の特徴点ｃ、ｄの方が図７の特徴点ａ、ｂよりも２次微分値の絶対値で大きい。このように、微分間隔を大きく設定することにより、シミ端に相当する特徴点における２次微分値の絶対値を大きくでき、画像データのシミの位置を検出し易くすることができる。
【００４９】
次に、画像データの周縁部にシミが写り込んでいる例について説明する。図９は、画像の一例を示す図であって、画像の左上の周縁部にシミが写り込んでいる。図１０は、図９に対応する輝度曲線であって、左上のシミを水平方向に通る輝度曲線を示す。図１１および図１２は、図１０の輝度曲線で表される輝度の２回微分値の算出結果を示す図であって、図１１では微分間隔が２０画素間隔であり、図１２では微分間隔が８画素間隔である。
【００５０】
図９の例では、画像９０２の左上部にシミ９０１が発生しており、そのために図１０に示されるように、輝度曲線の左端では輝度が低下して落ち込んでいる。図１０の輝度曲線に従えば、シミの両端Ａ２、Ｂ２に対応して、２回微分値の曲線においても２箇所に特徴点が現れるはずである。しかしながら、微分間隔が大きい図１１では１つの特徴点ｅしか現れておらず、シミ９０１の開始位置に相当する点Ａ２の位置を特定できない。これに対して、微分間隔を８画素と小さく設定した図１２では、２つの特徴点ｆ、ｇが明確に現れており、シミ９０１の開始位置および終了位置に相当する点Ａ２、Ｂ２の双方の位置を確実に特定することができる。従って、画像データの周縁部では、輝度の２回微分値を算出する際の微分間隔を小さくすることにより、画像端部にシミが発生した場合でも、シミの位置を確実に検出することができる。
【００５１】
次に、輝度シェーディングの影響と微分間隔の関係について説明する。図１３は、画像の一例を示す図であって、画像の左上にシミが写り込んでいる。図１４は、図１３に対応する輝度曲線であって、図１３のシミを水平方向に通る線に沿った輝度曲線を示す。図１５および図１６は、図１４の輝度曲線で表される輝度の２回微分値の算出結果を示す図であって、図１５では微分間隔が３２画素間隔であり、図１６では微分間隔が１６画素間隔である。
【００５２】
図１３の例では、画像１３０２の左上部にシミ１３０１が発生しており、そのために図１４の輝度曲線の左側部分には輝度が低下して落ち込んでおり、そして、図１５の２回微分値の曲線でもシミ１３０１に対応する場所に特徴点が現れている。図１５を更に見ると、図１５の右側部分においては、図１３で画面の右側部分にシミが発生していないにも拘らず、２回微分値が負の大きな値になっており、特徴点が現れている。特徴点における２回微分値の絶対値はシミの位置と同程度に達している。この特徴点の発生は輝度シェーディングに起因している。図１４に示すように、画像の右側部分では輝度シェーディングによって輝度が急に低下しており、図１５ではその部分で２回微分値が負の大きな値になっている。このような特徴点はシミの誤検出の原因になる。
【００５３】
これに対して、図１６では、図１５と比較して微分間隔が小さく設定されている。微分間隔を小さく設定することにより、シミ端部での急な屈曲箇所では２回微分値が負の大きな値になるが、輝度シェーディングで単に輝度の傾きが大きい場所では２回微分値が大きくならない。従って、図１６に示すように、シミの位置では特徴点を維持しつつ、輝度シェーディングで輝度が急変化する場所での特徴点の出現が抑えられる。このようにして、微分間隔を小さく設定することにより、シミの部分と輝度シェーディングの部分との切り分けを行うことができ、このことから、カメラの光学系がもつ輝度シェーディングの影響をより適切に低減して、画像データ中のシミをより精度よく検出することができる。
【００５４】
以上にシミが画像データの中央部および周縁部に発生したときの各々について、微分間隔と２回微分値の関係を説明し、更に輝度シェーディングの影響と微分間隔の関係について説明した。本実施の形態では、これらの関係に基づいて、微分間隔が設定されている。本実施の形態では、画像データの周縁部では中央部と比べて輝度が急に低下するといった輝度シェーディング特性が想定されている。
【００５５】
そして、画像データの中央部、すなわち画像中央の所定の範囲では、周縁部よりも微分間隔を大きく設定している。該中央部の両側である周縁部では、中央部よりも微分間隔を小さく設定している。中央部と周縁部との境界は、画像の中心を挟んで両側の所定位置、すなわち、画像の一方の半部の１ヶ所と、他方の半部の１ヶ所とに予め設定されている。より詳細には、中央部と周縁部との境界は、輝度シェーディングによる輝度変化の度合が変化する場所であって、画像データの中央部から周縁部に向けて輝度が急に低下し始める場所に応じて設定されており、この輝度変化が急になる場所より内側の所定の位置に、中央部と周縁部の境界が予め設定されている。この輝度の急変化開始部を境に、画像の内側（中央側）の領域では中央部の微分間隔が設定され、画像の外側（両端側）の領域では周縁部の微分間隔が設定される。
【００５６】
これらの設定により、画像データの中央部では、シミ端部が２回微分値に特徴点としてより顕著に現れる。画像データの周縁部では、シミが画像の縁部にある場合でも、２回微分値が負の大きな値になって、特徴点が確実に現れるとともに、シミと輝度シェーディングによる輝度変化との切り分けを明確に行うことができる。このような設定により、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができる。
【００５７】
以上に、本実施の形態におけるカメラ検査装置１０００の各機能について説明した。次に、本発明の実施の形態におけるカメラ検査装置１０００の動作について、図に基づいて説明する。図１７は、カメラ検査装置１０００の動作フローを示す図である。プログラム記憶部２１４の検査プログラム２１４ａをプログラム実行部２１１が実行することにより、カメラ検査装置１０００が図１７のカメラ検査処理を行う。
【００５８】
まず、図１７に示されるように、画像データ取得部１１０が、カメラにより基準被写体を撮像して得られる画像データを取得する（ステップ（ＳＴＥＰ：以下、Ｓと称する）１７０１）。輝度算出部１２０が、画像データ取得部１１０により取得される画像データの各画素の輝度値を算出する（Ｓ１７０２）。この際、輝度算出部１２０は上述の通り、式（１）に従って、８ビット（bit）グレースケールの輝度信号への変換によって輝度値を算出する。
【００５９】
次に、輝度値平均化部１３０が、輝度算出部１２０により算出された各画素の輝度値に対して、平均化処理を行う（Ｓ１７０３）。具体的には、注目画素を含む所定範囲（例えば７×７画素の合計４９画素）の輝度値の平均値を算出して、注目画素の輝度値を平均値に置き換える。この処理が画像データ内の全画素に対して３回繰り返される。このような平均化処理により、図３（ａ）および図３（ｂ）を用いて説明したように、シミを要因とする輝度変化が保持され、電気的なノイズが消去される。
【００６０】
次に、２回微分値算出部１４０が、画像データの水平方向または垂直方向の１ラインを選択して、このラインに沿った輝度の２回微分値を上述の式（２）および式（３）に従って算出する（Ｓ１７０４）。２回微分値は、輝度値平均化部１３０による輝度値の平均化処理後の画像データから算出される。前述したように、カメラ検査装置１０００は、多数のラインを順次選択して、各々のラインについて、２回微分値の計算と以後のシミ検出等の処理を行うが、以下の説明では主として１本のラインに着目して説明を行う。
【００６１】
次に、シミ位置検出部１６１が、２回微分値算出部１４０の算出結果に基づいて、画像データ中のシミの位置を検出する（Ｓ１７０５）。具体的には、シミ位置検出部１６１は、シミ判定用閾値記憶部１７０に記憶されているシミ端判定閾値１７１と、２回微分値算出部１４０により算出された２回微分値とを比較して、画像データ中のシミの位置を検出する。このとき、シミ位置検出部１６１は２回微分値がシミ端判定閾値以上になる位置をシミ位置として検出する。より具体的には、シミ位置検出部１６１は、２回微分値が、先にシミ端判定閾値以上となる位置をシミの開始位置とし、次にシミ端判定閾値以上になる位置をシミの終了位置として、シミの位置を検出する。
【００６２】
ここで、前述にて詳細に説明したように、Ｓ１７０４の２回微分算出処理においては、画像データの中央部では、微分間隔が大きい中央部用微分間隔１５１が設定され、周縁部では、中央部と比較して微分間隔が小さい周縁部用微分間隔１５２が設定されている。これにより、Ｓ１７０５のシミ位置検出処理では、カメラの光学系がもつ輝度シェーディングの影響をより適切に低減して、画像データ中のシミをより精度よく検出することができる。
【００６３】
次に、シミレベル算出部１６２が、Ｓ１７０５で検出されたシミ位置に基づいて、シミレベルを算出する（Ｓ１７０６）。具体的には、図４を用いて説明したように、シミレベル算出部１６２が、シミの開始位置と終了位置の間で最も輝度が小さい位置（最低輝度位置）を特定し、その位置における輝度値を抽出して、上記の式（４）に従ってシミレベルを算出する。
【００６４】
シミレベルが算出された後、良否判定部１８０が、算出されたシミレベルと、シミレベル判定閾値１７２とを比較して、シミレベルの良否判定を行う（Ｓ１７０７）。具体的には、良否判定部１８０は、算出されたシミレベルとシミレベル判定閾値１７２を比較した結果、シミレベルがシミレベル判定閾値１７２より小さい場合に「良」と判定し、シミレベルがシミレベル判定閾値１７２より大きい場合に「否」と判定する。この良否判定部１８０の判定結果は、判定結果出力部１９０により出力され、検査員がシミレベルの良否判定結果を確認することができる。以上の通り、本発明の実施の形態におけるカメラ検査装置１０００の動作について説明した。
【００６５】
このような本発明の実施の形態のカメラ検査装置によれば、画像データから所定方向に沿った輝度の２回微分値を算出し、２回微分値に基づいて画像データ中のシミの位置を検出する。このシミ位置検出では、２回微分値が負の大きな値（負であって絶対値が大きい値）になる位置が、シミの端部として特定される。本発明では、特にシミ位置検出のために輝度の２回微分値を計算する際に、基準被写体の撮像画像に輝度分布を生じる輝度シェーディング特性に基づいて、微分間隔を所定方向に沿った位置に応じて異ならせている。この構成により、輝度シェーディングによる輝度変化の緩急に応じて、上記微分間隔を適切に変化させることで、輝度シェーディングの輝度変化をシミとして誤検出するのを抑止できる。この結果、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができる。
【００６６】
また、本発明の形態のカメラ検査装置によれば、画像データの中央部での微分間隔と比較して、中央部より外側の周縁部での微分間隔を小さく設定して、画像データから輝度の２回微分値が算出される。この構成は、画像データの周縁部では中央部と比べて輝度が急に低下するといった一般的な輝度シェーディング特性を有する光学系を備えたカメラの検査に適している。画像データの中央部では、周縁部よりも微分間隔を大きく設定することにより、シミ端部での２回微分値が負の方向に増大し、シミ端部が２回微分値に特徴点としてより顕著に現れ、シミの位置を検出し易くすることができる。一方、画像データの周縁部では、中央部よりも微分間隔を小さく設定することにより、シミが画像の縁部にある場合でも、２回微分値が負の大きな値になって、特徴点が確実に現れるとともに、輝度シェーディングによる輝度の急変化点で２回微分値が負の大きな値になるのを防ぎ、シミと輝度シェーディングによる輝度変化との切り分けを明確に行うことができる。このようにして、画像データの中央部での微分間隔と比較して、周縁部での微分間隔を小さく設定することにより、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができる。
【００６７】
また、本発明の実施の形態におけるカメラ検査装置によれば、２回微分値を所定のシミ端判定閾値と比較することにより、画像データ中のシミの位置を検出する。従って、所定のシミ端判定閾値を基準に、２回微分値が負の大きな値になる位置を特徴点として特定できるので、画像データ中のシミの位置を容易に検出することができる。
【００６８】
また、本発明の実施の形態におけるカメラ検査装置によれば、２回微分値が、先に所定のシミ端閾値を超えた位置をシミの開始位置とし、次に所定のシミ端閾値を越えた位置をシミの終了位置として、シミの位置を検出する構成を有している。これにより、所定のシミ端判定閾値を基準に、画像データ中で先に２回微分値が負の大きな値になる位置をシミの開始位置とし、後に２回微分値が負の大きな値になる位置をシミの終了位置として特定できるので、画像データ中のシミの位置を容易に検出することができる。
【００６９】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００７０】
上記実施態様では、本発明の実施の形態におけるカメラは携帯電話端末や携帯情報端末等の携帯端末に搭載されているカメラモジュールであると説明したが、これに限らず、本発明の実施の形態におけるカメラは一般的なデジタルカメラであってもよい。
【００７１】
上記実施態様では、２回微分値算出部２４０は、画像データの水平方向または垂直方向の１ラインを選択して、このラインに沿った輝度の２回微分値を算出すると説明したが、２回微分値算出部２４０は、水平方向または垂直方向に限らず、画像データの任意の所定の方向に沿った輝度の２回微分値を算出してもよい。
【００７２】
上記実施態様では、本発明に係るカメラ検査装置およびカメラ検査方法について具体的に説明した。しかし、本発明はこれらに限定されない。本発明は、上述したカメラ検査方法の各ステップをコンピュータに実行させるカメラ検査プログラムであってもよく、また、このカメラ検査プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。
【産業上の利用可能性】
【００７３】
以上のように、本発明は、カメラの光学系がもつ輝度シェーディングの影響を低減して、画像データ中のシミを精度よく検出することができるという効果を有し、撮像素子を有するカメラにより撮像された画像データに基づいて、撮像素子の受光面またはその周辺部に付着したゴミおよび塵等の異物に起因するシミを検出するカメラ検査装置に有用である。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施の形態におけるカメラ検査装置の機能ブロック図
【図２】本発明の実施の形態におけるカメラ検査装置の構成をハードウエア面から示す図
【図３】（ａ） 平均化処理前の輝度曲線を示す図 （ｂ） 平均化処理後の輝度曲線を示す図
【図４】画像データ中でシミが生じている部分を拡大した輝度曲線の一例を示す図
【図５】中央部にシミが生じた画像の一例を示す図
【図６】画像の輝度曲線の一例を示す図
【図７】微分間隔が１６画素間隔の場合の輝度の２回微分値の算出結果を示す図
【図８】微分間隔が３２画素間隔の場合の輝度の２回微分値の算出結果を示す図
【図９】周縁部にシミが生じた画像の一例を示す図
【図１０】画像の輝度曲線の一例を示す図
【図１１】微分間隔が２０画素間隔の場合の輝度の２回微分値の算出結果を示す図
【図１２】微分間隔が８画素間隔の場合の輝度の２回微分値の算出結果を示す図
【図１３】左上部にシミが生じた画像の一例を示す図
【図１４】画像の輝度曲線の一例を示す図
【図１５】微分間隔が３２画素間隔の場合の輝度の２回微分値の算出結果を示す図
【図１６】微分間隔が１６画素間隔の場合の輝度の２回微分値の算出結果を示す図
【図１７】本発明の実施の形態におけるカメラ検査装置の動作フローを示す図
【図１８】シミが写り込んだ撮像画像の例を示す図
【図１９】画像の輝度曲線の一例を示す図
【符号の説明】
【００７５】
１１０ 画像データ取得部
１２０ 輝度値算出部
１３０ 輝度値平均化部
１４０ ２回微分値算出部
１５０ 微分間隔記憶部
１６０ シミ検出部
１６１ シミ位置検出部
１６２ シミレベル算出部
１７０ シミ判定用閾値記憶部
１８０ 良否判定部
１９０ 判定結果出力部
１０００ カメラ検査装置
２１０ コンピュータ本体
２１１ プログラム実行部
２１２ 通信部
２１３ メモリ部
２１４ プログラム記憶部
２１４ａ シミ検査プログラム
２２０ 表示部
２３０ 操作部
【特許請求の範囲】
【請求項１】
撮像素子を有するカメラにより撮像された画像データに基づいて、前記撮像素子の受光面またはその周辺部に付着した異物に起因する画像中のシミを検出するカメラ検査装置であって、
前記カメラを用いて基準被写体を撮像することにより得られる画像データを取得する画像データ取得部と、
前記画像データから所定方向に沿った輝度の２回微分値を算出する２回微分値算出部と、
前記２回微分値算出部の算出結果に基づいて、前記画像データ中のシミの位置を検出する位置検出部とを備え、
前記２回微分値算出部は、前記カメラの光学系がもつ特性であって前記基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、前記２回微分値を算出する際の微分間隔を前記所定方向に沿った位置に応じて異ならせることを特徴とするカメラ検査装置。
【請求項２】
前記２回微分値算出部は、前記画像データの中央部での微分間隔と比較して、前記画像データの周縁部での微分間隔を小さく設定していることを特徴とする請求項１に記載のカメラ検査装置。
【請求項３】
前記位置検出部は、前記２回微分値を所定のシミ端判定閾値と比較することにより、前記画像データ中の前記シミの位置を検出することを特徴とする請求項１または２に記載のカメラ検査装置。
【請求項４】
前記位置検出部は、前記２回微分値が、先に前記所定のシミ端閾値以上になる位置を前記シミの開始位置とし、次に前記所定のシミ端閾値以上になる位置を前記シミの終了位置として、前記シミの位置を検出することを特徴とする請求項３に記載のカメラ検査装置。
【請求項５】
撮像素子を有するカメラにより撮像された画像データに基づいて、前記撮像素子の前記受光面またはその周辺部に付着した異物に起因する画像中のシミを検出する処理をコンピュータに行わせるカメラ検査プログラムであって、
前記カメラを用いて基準被写体を撮像することにより得られる画像データを取得するステップと、
前記画像データから所定方向に沿った輝度の２回微分値を算出するステップと、
前記２回微分値算出部の算出結果に基づいて、前記画像データ中のシミの位置を検出するステップとを前記コンピュータに実行させ、
前記輝度の２回微分値を算出するステップでは、前記カメラの光学系がもつ特性であって前記基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、前記２回微分値を算出する際の微分間隔を前記所定方向に沿った位置に応じて異ならせることを特徴とするカメラ検査プログラム。
【請求項６】
請求項５に記載されたカメラ検査プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項７】
撮像素子を有するカメラにより撮像された画像データに基づいて、前記撮像素子の前記受光面またはその周辺部に付着した異物に起因する画像中のシミを検出するカメラ検査方法であって、
前記カメラを用いて基準被写体を撮像することにより得られる画像データを取得するステップと、
前記画像データから所定方向に沿った輝度の２回微分値を算出するステップと、
前記２回微分値算出部の算出結果に基づいて、前記画像データ中のシミの位置を検出するステップとを含み、
前記輝度の２回微分値を算出するステップでは、前記カメラの光学系がもつ特性であって前記基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、前記２回微分値を算出する際の微分間隔を前記所定方向に沿った位置に応じて異ならせることを特徴とするカメラ検査方法。
【請求項１】
撮像素子を有するカメラにより撮像された画像データに基づいて、前記撮像素子の受光面またはその周辺部に付着した異物に起因する画像中のシミを検出するカメラ検査装置であって、
前記カメラを用いて基準被写体を撮像することにより得られる画像データを取得する画像データ取得部と、
前記画像データから所定方向に沿った輝度の２回微分値を算出する２回微分値算出部と、
前記２回微分値算出部の算出結果に基づいて、前記画像データ中のシミの位置を検出する位置検出部とを備え、
前記２回微分値算出部は、前記カメラの光学系がもつ特性であって前記基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、前記２回微分値を算出する際の微分間隔を前記所定方向に沿った位置に応じて異ならせることを特徴とするカメラ検査装置。
【請求項２】
前記２回微分値算出部は、前記画像データの中央部での微分間隔と比較して、前記画像データの周縁部での微分間隔を小さく設定していることを特徴とする請求項１に記載のカメラ検査装置。
【請求項３】
前記位置検出部は、前記２回微分値を所定のシミ端判定閾値と比較することにより、前記画像データ中の前記シミの位置を検出することを特徴とする請求項１または２に記載のカメラ検査装置。
【請求項４】
前記位置検出部は、前記２回微分値が、先に前記所定のシミ端閾値以上になる位置を前記シミの開始位置とし、次に前記所定のシミ端閾値以上になる位置を前記シミの終了位置として、前記シミの位置を検出することを特徴とする請求項３に記載のカメラ検査装置。
【請求項５】
撮像素子を有するカメラにより撮像された画像データに基づいて、前記撮像素子の前記受光面またはその周辺部に付着した異物に起因する画像中のシミを検出する処理をコンピュータに行わせるカメラ検査プログラムであって、
前記カメラを用いて基準被写体を撮像することにより得られる画像データを取得するステップと、
前記画像データから所定方向に沿った輝度の２回微分値を算出するステップと、
前記２回微分値算出部の算出結果に基づいて、前記画像データ中のシミの位置を検出するステップとを前記コンピュータに実行させ、
前記輝度の２回微分値を算出するステップでは、前記カメラの光学系がもつ特性であって前記基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、前記２回微分値を算出する際の微分間隔を前記所定方向に沿った位置に応じて異ならせることを特徴とするカメラ検査プログラム。
【請求項６】
請求項５に記載されたカメラ検査プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項７】
撮像素子を有するカメラにより撮像された画像データに基づいて、前記撮像素子の前記受光面またはその周辺部に付着した異物に起因する画像中のシミを検出するカメラ検査方法であって、
前記カメラを用いて基準被写体を撮像することにより得られる画像データを取得するステップと、
前記画像データから所定方向に沿った輝度の２回微分値を算出するステップと、
前記２回微分値算出部の算出結果に基づいて、前記画像データ中のシミの位置を検出するステップとを含み、
前記輝度の２回微分値を算出するステップでは、前記カメラの光学系がもつ特性であって前記基準被写体の撮像画像に輝度分布を生じさせる輝度シェーディング特性に基づいて、前記２回微分値を算出する際の微分間隔を前記所定方向に沿った位置に応じて異ならせることを特徴とするカメラ検査方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００９−１７１５８（Ｐ２００９−１７１５８Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７５７８６（Ｐ２００７−１７５７８６）
【出願日】平成１９年７月４日（２００７．７．４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年７月４日（２００７．７．４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]