説明

撮像装置、画像評価方法、及び焦点調整制御プログラム

【課題】被写体の撮像のためのフォーカスの適切な調整を短時間で行えるようにする。
【解決手段】画像取得部11は、被写体を撮像して当該被写体の画像を取得する。エッジ抽出部12は、画像取得部11により取得された画像に映っている像のエッジを抽出する。ぼけ評価値検出部13は、エッジ抽出部12により抽出されたエッジの強度を当該エッジの方向に基づいて補正して、当該補正後の強度を、画像のぼけの程度を表しているぼけ評価値として検出する。そして、焦点調整部14は、画像取得部11が被写体を撮像する際の焦点位置の設定を、ぼけ評価値検出部13が検出したぼけ評価値に基づいて調整する。

【発明の詳細な説明】
【技術分野】
【0001】
本明細書で議論される実施態様は、被写体の高品位な画像を獲得する技術に関する。
【背景技術】
【0002】
近年、屋外に設置した撮像装置の撮像範囲を通り過ぎる移動物体(移動体)を検知し、その移動体の模様や移動体に付されている文字などを自動認識する画像監視システムが続々と製品化されている。このような画像監視システムに使用される撮像装置の多くは、例えば屋外の柱などの上部に固定して設置される。
【0003】
上述の画像処理システムにおいて、画像認識を精度よく行うためには、認識対象に関する情報が十分得られる画像を取得することが必要であり、そのためには、上記のような場面で移動体が鮮明に映るようにフォーカスを調整することは必須である。また、このフォーカスが経年変化などでずれると画像認識の認識率が低下してしまうため、フォーカスの修正を行う必要があり、この修正は短時間で行われることが好ましい。
【0004】
このような画像処理システムにおいても利用することのできるフォーカス調整の技術が幾つか知られている。これらの技術について簡単に説明する。
まず、第一の技術として、フォーカスの調整を行う場合に、監視エリアにフォーカス調整用の撮像対象物を設置した上でフォーカス設定の変更と撮像とを繰り返して、撮像画像のぼけが最小となるフォーカス設定を探索するという技術が知られている。この技術は、フォーカスの調整作業中、監視エリア内で当該撮像対象物を静止させておかなければならないため、監視エリアへの立入り制限の措置等が必要である。また、経年変化によりフォーカスずれが発生した場合には、その修正のためにシステムの運用を停止する必要もある。
【0005】
また、第二の技術として、静止物体を対象としたオートフォーカスが知られている。この技術は、フォーカス位置を変更しながら静止物体を撮像して得た複数の画像の各々のぼけ量を算出し、このぼけ量が最小になるようにフォーカス位置を調整するというものである。この技術では、フォーカス調整のための撮像対象とする静止物体は、各フォーカス位置で同一のものでなければならない。これは、ほけ量の大きさがフォーカス位置のみならず撮像対象にも依存するため、異なる撮像対象を撮像して得た複数の画像では、ぼけ量が最小の画像を撮像したときのフォーカス位置が、必ずしも最良のフォーカス位置であると限らないためである。
【0006】
また、第三の技術として、任意の複数の撮像対象物を同一フォーカス位置で撮像対象物毎に行う撮像を、フォーカス位置を変更しながら繰り返し、得られた各画像のぼけ量に基づいてフォーカス位置を調整するという技術が知られている。この技術は、まず、同一フォーカス位置で撮像対象物毎に得た複数枚の画像の各々のぼけ量の算出結果を統計処理(例えば加算平均)して、当該フォーカス位置での撮像画像についての、撮像対象物への依存が少ない、ぼけ量の指標値を求める。そして、この指標値が最小のぼけ量を示すようにフォーカス位置を調整する。この第三の技術によるフォーカス位置の調整は、このようにして行われる。
【0007】
なお、この他の背景技術として、車両が撮像された画像に映っている当該車両のナンバープレート部分の位置の検出を行う技術が幾つか知られている。そのうちのひとつは、プレート枠の候補の判定結果と文字領域の候補の判定結果との重複度(例えば重なり面積)から、最も確からしいプレート位置を判定するという技術である。また、そのうちの別のひとつは、撮像画像におけるナンバープレートの文字幅に対応した四辺形図形を有するモデル画像と、撮像画像との正規化相互相関の相関値から、撮像画像中におけるナンバープレートの画像の位置を決定するという技術である。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2006−235921号公報
【特許文献2】特開2005−331738号公報
【特許文献3】特開2004−219546号公報
【特許文献4】特開平3−265985号公報
【特許文献5】特開平7−65284号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
前述した第三の技術では、同一フォーカス位置での複数回の撮像が、フォーカス位置を変更しながら繰り返され、更には、このようにして得られた多数の画像の各々についてぼけ量を算出してその指標値を求めるという処理が行われる。このため、この第三の技術によるフォーカス調整には、長い時間を要する。
【0010】
また、例えば、第一のフォーカス位置での撮像対象が物体Aばかりであり、第二のフォーカス位置での撮像対象が、物体Aとはぼけ量が全く異なる物体Bばかりであるような場合には、前述の第三の技術によるフォーカス調整の精度が低下する可能性がある。このような場合には、第三の技術によって求められるフォーカス位置毎のぼけ量の指標値における撮像対象物の依存性が高くなってしまうからである。
【0011】
上述した問題に鑑み、本明細書で後述する撮像装置は、被写体の撮像のためのフォーカスの適切な調整を短時間で行えるようにする。
【課題を解決するための手段】
【0012】
本明細書で後述する撮像装置に、画像取得部と、エッジ抽出部と、ぼけ評価値検出部と、焦点調整部とを備えているというものがある。ここで、画像取得部は、被写体を撮像して該被写体の画像を取得する。エッジ抽出部は、画像取得部により取得された画像に映っている像のエッジを抽出する。ぼけ評価値検出部は、エッジ抽出部により抽出されたエッジの強度を該エッジの方向に基づいて補正して、該補正後の強度を、画像のぼけの程度を表しているぼけ評価値として検出する。そして、焦点調整部は、画像取得部が被写体を撮像する際の焦点位置の設定を、ぼけ評価値検出部が検出したぼけ評価値に基づいて調整する。
【0013】
また、本明細書で後述する画像評価方法に、画像のぼけの評価を行うというものがある。この画像評価方法では、まず、カメラが被写体を撮像して獲得した該被写体の画像を取得する。次に、前記被写体の像のエッジを抽出する画像処理を前記画像に対して施す。次に、この画像処理により抽出されたエッジの強度を該エッジの方向に基づいて補正する。そして、この画像のぼけの程度を、補正後のエッジの強度を用いて評価して評価結果を得る。
【0014】
また、本明細書で後述する焦点調整制御プログラムに、カメラの焦点位置の設定の調整をコンピュータに行わせるためのものがある。この焦点調整制御プログラムは、画像取得処理と、エッジ抽出処理と、ぼけ評価値検出処理と、焦点調整処理と、をコンピュータに行わせる。ここで、画像取得処理は、カメラが被写体を撮像して獲得した該被写体の画像を取得する処理である。エッジ抽出処理は、画像取得処理により取得された画像に映っている像のエッジを抽出する処理である。ぼけ評価値検出処理は、エッジ抽出処理により抽出されたエッジの強度を該エッジの方向に基づいて補正して、該補正後の強度を、その画像のぼけの程度を表しているぼけ評価値として検出する処理である。そして、焦点調整処理は、カメラの焦点位置の設定を、ぼけ評価値検出処理により検出されたぼけ評価値に基づいて調整する処理である。
【発明の効果】
【0015】
本明細書で後述する撮像装置は、被写体の撮像のためのフォーカスの適切な調整を短時間で行えるという効果を奏する。
【図面の簡単な説明】
【0016】
【図1】撮像装置の一実施例の構成図である。
【図2】ソーベルフィルタを表した図である。
【図3】エッジ方向の違いによるエッジ強度の検出値の違いを説明する図である。
【図4】エッジ方向とエッジ強度との関係の実測例である。
【図5】補正テーブルの例である。
【図6】画像監視システムの設置例を説明する図である。
【図7】画像監視システムの構成の第一の例である。
【図8】フォーカスのずれの方向の検出手法を説明する図である。
【図9】フォーカスずれ量算出部の詳細構成図である。
【図10】エッジを表現している画素のエッジ方向毎の分類を説明する図である。
【図11】エッジ方向に応じた正規化の前後でのエッジ強度の関係を表したグラフの例である。
【図12】ずれ量推定テーブルで表されるエッジ強度とフォーカス位置ずれ量との対応関係を表したグラフの一例である。
【図13】画像監視システムの構成の第二の例である。
【図14】撮像対象物の位置関係と撮像画像上での撮像対象物の構図の関係を説明する図である。
【図15】フォーカス調整方向検出テーブルの例である。
【図16】コンピュータの構成の一例である。
【発明を実施するための形態】
【0017】
これより説明する実施形態に係る撮像装置は、例えば、固定設置して所定の範囲(監視エリア)を撮像し、その監視エリアを通過する被写体の認識を自動で行う、以下[1]から[4]のような条件の下で使用される画像監視システムでの使用に好適なものである。
[1]被写体が監視エリアに入ってきてはすぐに通り過ぎていくため、同一の被写体が撮像されるのは最短で1フレームである。
[2]監視エリアに入ってくる被写体である移動体は毎回異なる。例えば、この画像監視システムを車両の通行の監視に用いる場合、監視エリアに入ってくる車両は毎回異なる。また、例えば、この画像監視システムを人物の監視に用いる場合、監視エリアに入ってくる人物は毎回異なる。
[3]監視エリア内の異なる2色の撮像対象物(例えば、文字や記号、バーコードなどが表示されている物体)の認識に十分である程度にフォーカス調整を行う。
[4]監視エリアの奥行き範囲は撮像距離に比べて十分に狭く、監視エリアの中央にフォーカスを調整すれば、監視エリアは被写界深度内に納まる。
【0018】
後述する本実施形態に係るこの撮像装置は、上述したような条件の下でも、設置時のフォーカス調整や、経年変化などによるフォーカスずれの検出及び修正を自動的に短時間で行う機能を提供する。
【0019】
図1について説明する。図1は撮像装置の一実施例の構成図である。
図1の撮像装置は、画像取得部11、エッジ抽出部12、ぼけ評価値検出部13、及び焦点調整部14を備えている。
【0020】
画像取得部11は、被写体を撮像して、その被写体の画像を取得する処理を行う。
エッジ抽出部12は、画像取得部11により取得された画像に映っている像のエッジを抽出する処理を行う。
【0021】
ぼけ評価値検出部13は、エッジ抽出部12により抽出されたエッジの強度をそのエッジの方向に基づいて補正して、その補正後の強度を、画像のぼけの程度を表しているぼけ評価値として検出する処理を行う。
焦点調整部14は、画像取得部11が被写体を撮像する際の焦点位置の設定を、ぼけ評価値検出部13が検出したぼけ評価値に基づいて調整する処理を行う。
【0022】
このように、この撮像装置では、撮像画像から抽出される撮像対象物の像のエッジの強度を、そのエッジの方向に応じて補正した値を、ぼけ評価値として求め、このほけ評価値を用いて焦点(フォーカス)の位置の調整を行う。詳細は後述するが、このようにして求めるぼけ評価値は、撮像対象物に対する依存性が極めて低いぼけ量の評価値として使用することができる。
なお、図1に描かれているように、この撮像装置が焦点ずれ方向検出部15を備えるようにしてもよい。
【0023】
焦点ずれ方向検出部15は、画像取得部11が異なる焦点位置の設定の下で撮像して得た2枚の画像の各々についてぼけ評価値検出部13が検出したぼけ評価値に基づいて、画像取得部11が被写体を撮像する際の焦点位置のずれの方向を検出する処理を行う。より具体的には、焦点ずれ方向検出部15は、画像取得部11が2枚の画像の各々を撮像したときの焦点位置のずれ量をぼけ評価値に基づいて求め、この各画像についての焦点位置のずれ量の大小比較の結果に基づいて、焦点位置のずれの方向を検出する処理を行う。
【0024】
なお、画像取得部11が、被写体の移動方向に対向する向きの上方から被写体を撮像して被写体を斜視した画像を取得する場合には、焦点ずれ方向検出部15は、画像取得部11が被写体を撮像する際の焦点位置のずれの方向を、次のようにして検出してもよい。この場合には、焦点ずれ方向検出部15は、画像取得部11が取得した第一の画像と、画像取得部11が第一の画像の取得の際と同一の焦点位置の設定で取得した第二の画像とに基づいて焦点位置のずれの方向を検出する処理を行う。より具体的には、この方向の検出は、第一の画像に映っている第一の被写体の像と、第二の画像に映っている、第一の被写体とは異なる第二の被写体の像との各々についての画像上での特徴に基づいて行われる。この方向の検出に用いられる特徴としては、例えば、それぞれの像についての、画像上の位置と、ぼけ評価値検出部13により検出される評価値との関係がある。
【0025】
次に、図1の画像装置におけるぼけ評価値検出部13が検出するぼけ評価値が、撮像対象物に対する依存性が極めて低いぼけ量の評価値として使用できる理由について説明する。
【0026】
画像のぼけの評価尺度として、エッジ強度が利用できることは広く知られている。このエッジ強度は画像中の撮像対象物の像のエッジ部分の画素の輝度値より算出される値であるが、エッジの方向が異なると、実際には同一であるはずのこのエッジ強度の値が異なる値となって検出されてしまうことがある。
【0027】
エッジ強度は、基本的には、注目画素の周囲の隣接画素の輝度値の差分(微分値)を用いて表現される。このエッジ強度を求めるためにフィルタがしばしば使用され、このフィルタと隣接画素の輝度値との畳み込み演算を行うことでエッジ強度が求まる。このフィルタには、エッジ強度を得るために使用する隣接画素の選択の違いや、画像に含まれるノイズ成分を抑制する手法の違いなどにより、幾つかの種類のものが提案されている。
【0028】
図2には、このようなフィルタの一例である、ソーベル(Sobel)フィルタを表している。ソーベルフィルタは、エッジの抽出を行うと共に、中央の画素に重みを付けた平均化によりノイズを低減するという特徴も備えている。
【0029】
図2において、(1)は、縦方向のエッジ抽出に使用されるソーベルフィルタであり、注目画素に対する画像の縦方向の隣接画素の輝度値の微分値を求めて縦方向のエッジ抽出を行うものである。従って、この(1)のフィルタを用いてエッジ強度を求めると、そのエッジ強度の検出値は、縦方向のエッジに対して大きな値となるが、横方向のエッジに対しては小さな値となってしまう。
【0030】
また、図2において、(2)は、横方向のエッジ抽出に使用されるソーベルフィルタであり、注目画素に対する画像の横方向の隣接画素の輝度値の微分値を求めて縦方向のエッジ抽出を行うものである。従って、この(2)のフィルタを用いてエッジ強度を求めると、そのエッジ強度の検出値は、横方向のエッジに対して大きな値となるが、縦方向のエッジに対しては小さな値となってしまう。
【0031】
このように、隣接画素の輝度値の微分値を得るフィルタを用いてエッジ強度を求める場合には、どのようなフィルタを使っても、エッジ強度の検出値は、エッジの方向に依存してしまう。
【0032】
このエッジ方向の依存性を少なくするために、縦方向のエッジ抽出用のフィルタを用いて得られる結果と、横方向のエッジ抽出用のフィルタを用いて得られる結果とを組み合わせたエッジ強度の検出が広く行われている。例えば、図2の(1)のソーベルフィルタを用いて得られた縦方向のエッジの強度をdyとし、(2)のソーベルフィルタを用いて得られた横方向のエッジの強度をdxとしたときに、下記の式の値Eをエッジ強度の検出結果とする。
【数1】

【0033】
この[数1]式を用いてエッジ強度を検出すれば、求まる値の、横方向のエッジと縦方向のエッジとの間での違いは吸収される。しかし、横方向及び縦方向から傾いた斜め方向のエッジについては、[数1]式を用いてエッジ強度を検出しても、その検出値の違いを吸収しきれない場合がある。
【0034】
例えば、図3に例示した画像において、(1−1)の画像における四角形で囲まれた部分には、縦方向のエッジが存在している。一方、(2−1)の画像における四角形で囲まれた部分には、(1−1)のエッジの方向からわずかに傾いた斜め方向のエッジが存在している。なお、図3において、(1−2)は、(1−1)の画像における四角形で囲まれた部分を拡大したものであり、(2−2)は、(2−1)の画像における四角形で囲まれた部分を拡大したものである。
【0035】
この(2−1)の9個の画素と(2−2)の9個の画素とを比較すると、上行の3個及び下行の3個の画素は、輝度値が両者で同一である。従って、この部分の縦方向のエッジの強度を、図2の(1)のソーベルフィルタを用いて求めると、エッジ強度の検出値は、(1−2)の場合と(2−2)の場合とで同一の値となる。ところが、中行の3個の画素の輝度は、(1−2)と(2−2)との間で異なっている。このため、この部分の横方向のエッジの強度を、図2の(2)のソーベルフィルタを用いて求めると、エッジ強度の検出値は、(1−2)の場合と(2−2)の場合とで異なる値となってしまう。
【0036】
ここで図4について説明する。図4は、ある撮像対象物についての画像から検出されるエッジについての、エッジ方向とエッジ強度との関係を表したグラフである。
図4の2つのグラフにおいて、横軸は、画像から複数抽出されるエッジ各々の角度を表している。また、図4において、(1)のグラフの縦軸は、各エッジについて前掲した[数1]式を用いて求めたエッジ強度のうちの最大値を表しており、(2)のグラフの縦軸は、各エッジについて前掲した[数1]式を用いて求めたエッジ強度の平均値を表している。なお、どちらのグラフにも、異なるフォーカス位置において撮像対象物を撮像した画像からのエッジ強度の検出値を、それぞれ「ぼけ1」と「ぼけ2」として表示している。
【0037】
この図4のどちらのグラフを見ても分かるように、本来はエッジの方向に関わらず同一値が検出されるはずであるエッジ強度が、その最大値と平均値とのどちらにおいても、エッジの方向に依存してしまっていることが分かる。しかし、この図4のグラフを参照すれば、エッジ強度の検出値がエッジの方向によってどの程度違うのかを求めることができることが分かる。
【0038】
そこで、図1の撮像装置のぼけ評価値検出部13は、前述したようなフィルタを用いて求めた撮像画像のエッジ強度の検出値に、そのエッジの方向に応じた変換係数を乗算して補正し、その補正後のエッジ強度を、その撮像画像についてのぼけ評価値とする。より具体的には、エッジの方向の違いとエッジ強度の検出値の違いとの関係を、予めシミュレーションにより算出しておき、若しくは予め実測しておき、その算出結果若しくは実測結果を表している、図5に例示するような変換係数テーブルを作成しておく。作成した補正テーブルはぼけ評価値検出部13に予め備えておくようにする。その後、ぼけ評価値を求めるときには、ぼけ評価値検出部13は、この変換係数テーブルから、エッジの方向に応じた変換係数を抽出し、前述したようなフィルタを用いて求めた撮像画像のエッジ強度の検出値に、変換係数テーブルから抽出した変換係数を乗算する。ぼけ評価値検出部13は、このようにして画像のぼけ評価値を求める。
【0039】
このようにして求められるフォーカス位置毎のぼけ評価値は、同一のフォーカス位置であれば、エッジの方向が異なっても、ほぼ同一の値となるので、このぼけ評価値とフォーカス位置ずれ量とは一対一に対応すると考えることができる。そこで、図1の撮像装置では、ぼけ評価値とフォーカス位置ずれ量の関係を焦点調整部14に予め記録しておくようにして、ぼけ評価値からフォーカス位置ずれ量の推定を行い、その推定結果に応じてフォーカスの設定の調整を行う。図1の撮像装置は、このようにすることで、フォーカス位置設定を何度も変更しながら撮像を繰り返して得た複数の画像のぼけ量を比較する必要がなくなるので、フォーカス位置調整に要する時間が短縮される。
【0040】
次に、図1の撮像装置を備えた画像監視システムについて説明する。なお、ここでは、車両が通行する道路の監視において、当該車両に取り付けられているナンバープレートの文字認識を行う画像監視システムに、この撮像装置を備えた場合の例を説明する。
【0041】
画像監視システムでナンバープレートの文字認識を行う場合、図6に例示するように、被写体である自動車1を撮像して自動車1の画像を取得するカメラ2は、その撮像方向が、水平面に対して斜め下向きの方向に向けて設置され、ある監視エリアの撮像を行う。つまり、このように設置されたカメラ2は、自動車1の移動方向に対向する向きの上方から自動車1を撮像して自動車1を斜視した画像を取得する。
【0042】
画像監視システムは、その監視エリア内に入ってカメラ2により撮像された自動車1のナンバープレートに描かれている文字を認識する。但し、被写体である自動車1は移動体であるため、カメラ2による撮像画像に自動車1が映るのは数フレームのみである。従って、前述したような静止物体を対象としたオートフォーカスでは、適切なフォーカス位置の設定を行うことができず、監視エリアの位置に予めフォーカスを合わせておく必要がある。
【0043】
ここで図7について説明する。図7は、画像監視システムの構成の第一の例である。
この画像監視システムは、カメラ2が接続されている撮像部20と、認識部30とを備えており、カメラ2により撮像された自動車1のナンバープレートに描かれている文字を認識して、その認識結果を出力する。
【0044】
撮像部20は、図6のように設置されているカメラ2のフォーカス位置の調整制御や、カメラ2の撮影動作制御を行う。
撮像部20は画像入力部21を備えている。画像入力部21は、撮像画像の入力を取得し、取得した撮像画像を認識部30に転送する処理を行う。この撮像部20とカメラ2とにより、図1の画像取得部11が構成されている。
【0045】
認識部30は、ナンバープレート切り出し部31、フォーカスずれ量算出部32、仮調整判定部33、フォーカス仮調整部34、フォーカスずれ方向検出部35、フォーカス調整部36、ナンバープレート認識部37、及び認識結果出力部38を備えている。
【0046】
ナンバープレート切り出し部31は、画像入力部21から転送されてくる撮像画像に自動車1が映っている場合に、自動車1のナンバープレート部分の画像を切り出す画像処理を行う。なお、本実施形態では、このナンバープレート部分の画像を撮像画像から切り出す手法は、広く知られている周知の手法(例えば、前掲した特許文献4や特許文献5に記載されている手法)を採用する。
【0047】
フォーカスずれ量算出部32は、ナンバープレート切り出し部31が切り出したナンバープレート部分画像における、プレートに描かれている文字の像のエッジ情報を用いて、撮像画像の撮像時におけるカメラ2のフォーカス位置のずれ量を推定する処理を行う。このフォーカスずれ量算出部32の詳細は後述する。
【0048】
仮調整判定部33は、フォーカス仮調整部34によるフォーカス位置の仮調整が既に行われているか否かを判定する処理を行う。そして、仮調整が未だ行われていないと判定した場合(判定結果がNoの場合)には、フォーカス仮調整部34にカメラ2のフォーカス位置の仮調整のための処理を行わせる。一方、仮調整が既に行われていると判定した場合(判定結果がYesの場合)には、フォーカスずれ方向検出部35にフォーカス位置のずれの方向の検出の処理を行わせる。
【0049】
フォーカス仮調整部34は、予め定めておいたフォーカス位置の調整方向へ、フォーカスずれ量算出部32が算出したフォーカス位置ずれ量よりも十分小さい量だけ、カメラ2のフォーカス位置を移動する調整の指示を、撮像部20に与える処理を行う。撮像部20は、この指示を受け取ると、カメラ2を制御する処理を行って、指示に応じた調整方向及び移動量だけフォーカス位置を移動させる調整を行う。
【0050】
フォーカスずれ方向検出部35は、フォーカス位置のずれの方向の検出処理を行う。そして、フォーカス調整部36は、フォーカスずれ方向検出部35が通知した調整方向へ、フォーカスずれ量算出部32が算出したフォーカス位置ずれ量に相当する調整量だけ、カメラ2のフォーカス位置を移動する調整の指示を、撮像部20に与える処理を行う。撮像部20は、この指示を受け取ると、カメラ2を制御する処理を行って、指示に応じた調整方向及び移動量だけフォーカス位置を移動させる調整を行う。このようにして、図1の焦点調整部14の機能が提供される。
【0051】
ナンバープレート認識部37は、ナンバープレート切り出し部31から出力されるナンバープレート部分画像に描かれている文字に対して文字認識処理を行う。認識結果出力部38は、ナンバープレート認識部37による文字認識の結果を出力する処理を行う。
【0052】
次に、フォーカスずれ方向検出部35による、フォーカス位置のずれの方向の検出手法について、図8を参照しながら説明する。
なお、フォーカス位置の設定の調整が行われる前のカメラ2により取得された撮像画像に基づいてフォーカスずれ量算出部32が算出したフォーカス位置ずれ量をa1とする。また、フォーカス仮調整部34が撮像部20に行わせる仮調整が行われた後のフォーカス位置の設定の下でカメラ2により取得された撮像画像に基づいてフォーカスずれ量算出部32が算出したフォーカス位置ずれ量をa2とする。なお、図8において、[1]は、フォーカス仮調整部34に予め定められていた調整方向が、フォーカス位置をカメラ2に近づける方向とされていた場合の例である。また、[2]は、その調整方向が、フォーカス位置をカメラ2から遠ざける方向とされていた場合の例である。
【0053】
まず、フォーカスずれ方向検出部35は、a1とa2との大小比較を行う。
ここで、図8の[1]の場合のように、a2がa1よりも小さい場合、すなわち、仮調整後の方が仮調整前よりもフォーカス位置ずれ量が小さい場合には、仮調整でのフォーカス位置の調整方向(フォーカス位置をカメラ2に近づける方向)は正しいとの判定を下す。そして、この場合には、フォーカスずれ方向検出部35は、仮調整と同一の調整方向をフォーカス調整部36に通知する。
【0054】
一方、[2]の場合のように、a2がa1よりも大きい場合、すなわち、仮調整前の方が仮調整後よりもフォーカス位置ずれ量が小さい場合には、仮調整でのフォーカス位置の調整方向(フォーカス位置をカメラ2から遠ざける方向)は誤っていたとの判定を下す。そして、この場合には、フォーカスずれ方向検出部35は、仮調整での調整方向とは逆向きの調整方向(すなわち、フォーカス位置をカメラ2に近づける方向)をフォーカス調整部36に通知する。
【0055】
フォーカス調整部36は、このような通知を受けた場合には、フォーカス位置を、調整前の位置から、カメラ2に近づける調整方向へ、フォーカス位置ずれ量a1に相当する調整量だけ、カメラ2のフォーカス位置を移動する調整の指示を、撮像部20に与える。撮像部20は、この指示を受け取ると、カメラ2を制御して、指示に応じた調整方向及び移動量だけフォーカス位置を移動させる調整を行う。
【0056】
フォーカスずれ方向検出部35は、以上のようにして、カメラ2が異なる焦点位置の設定の下で撮像して取得した2枚の画像の各々についてのぼけ評価値に基づいた、焦点位置のずれの方向の検出が行われ、図1の焦点ずれ方向検出部15の機能が提供される。
【0057】
次に、フォーカスずれ量算出部32の詳細について説明する。図9は、フォーカスずれ量算出部32の詳細構成図である。
フォーカスずれ量算出部32は、エッジ方向分類部41、方向別ぼけ評価値算出部42、ぼけ評価値算出部43、及びフォーカスずれ量出力部44を備えている。
【0058】
エッジ方向分類部41は、まず、図10のように、ナンバープレート部分画像を構成している画素のうち、ナンバープレートに描かれている文字の像のエッジを表現している画素を、そのエッジ方向毎に、所定数のグループに分類する処理を行う。
【0059】
なお、画素のエッジ方向を示す値は、例えば下記の[数2]式により算出することができる。
【数2】

【0060】
この[数2]式において、dxは水平方向(横方向)のエッジ勾配を表しており、dyは垂直方向(縦方向)のエッジ勾配を表している。このdx及びdyは、注目画素と当該注目画素に隣接する8個の隣接画素とからなる計9個の画素の輝度値と、図2に提示した2つのソーベルフィルタの係数の各々との畳み込み演算をすることで算出することができる。
【0061】
次に、エッジ方向分類部41は、[数2]式により算出された角度θに対し、エッジ方向のグループ毎のラベル付けを行う。このとき、エッジの強度が所定の閾値未満である画素については、エッジを表現するものではないとの判定を下し、ラベル付けは行わない。なお、エッジの強度は、例えば下記の[数3]式により算出することができる。
【数3】

【0062】
図10の例では、画素Aは、そのエッジ方向に基づき「方向2」のグループに分類されて「方向2」のラベルが付され、画素Bは、そのエッジ方向に基づき「方向1」のグループに分類されて「方向1」のラベルが付されることを表している。なお、画素Cは、エッジを表現している画素ではないと判定される結果、分類は行われない。
【0063】
以上の処理を行って、ナンバープレート部分画像から、ナンバープレートに描かれている文字の像のエッジの抽出を行うエッジ方向分類部41は、図1のエッジ抽出部12の機能を提供する。
【0064】
図9の説明に戻る。
方向別ぼけ評価値算出部42は、まず、前述したエッジ方向のグループ毎に、そのグループに属する画素のエッジ強度を、前掲した[数3]式を用いて算出する処理を行う。次に、方向別ぼけ評価値算出部42は、エッジ方向のグループ毎に、そのグループに属する画素のエッジ強度の代表値を算出する処理を行う。この代表値としては、例えば、そのグループに属する画素のエッジ強度の加算平均値を求めてもよく、あるいは、そのグループに属する画素のエッジ強度のうちの最大値を、その代表値としてもよい。
【0065】
次に、方向別ぼけ評価値算出部42は、以上のようにして求めたエッジ方向のグループ毎のエッジ強度の代表値を補正して、その方向についてのぼけ評価値(方向別ぼけ評価値)を算出する処理を行う。なお、この処理では、後述する事前準備により作成して方向別ぼけ評価値算出部42に予め備えておいた補正テーブルを用いる。
【0066】
ぼけ評価値算出部43は、方向別ぼけ評価値算出部42が算出した方向別ぼけ評価値に基づき、ナンバープレート部分画像が切り出された撮像画像についてのぼけ評価値を算出する処理を行う。本実施形態では、ぼけ評価値算出部43は、前述したエッジ方向の各グループに分類された画素の数をグループ毎に計数し、その数が最大である方向についての方向別ぼけ評価値を、ナンバープレート部分画像が切り出された撮像画像についてのぼけ評価値とする。なお、この代わりに、例えば、各グループについての方向別ぼけ評価値について、各グループに分類された画素の数に応じた重み付けを行った上で、その加算平均を求め、得られた平均値を、撮像画像についてのぼけ評価値としてもよい。
【0067】
なお、方向別ぼけ評価値算出部42により算出した方向別ぼけ評価値は、エッジ方向に依存しない値であるので、どの方向のものを、撮影画像全体のぼけ評価値としてもよい。但し、エッジの方向によってはグループに属する画素が全く存在しない、あるいは極めて少ない場合もあり得るので、本実施形態では、ぼけ評価値算出部43が、上述したようにしてぼけ評価値の算出を行うようにしている。
【0068】
以上の方向別ぼけ評価値算出部42とぼけ評価値算出部43との組合せにより、図1のぼけ評価値検出部13の機能が提供され、ナンバープレート部分画像から抽出された文字の像のエッジ強度が、そのエッジ方向に基づいて補正されてぼけ評価値の検出が行われる。
【0069】
フォーカスずれ量出力部44は、ぼけ評価値算出部43により算出されたぼけ評価値から、撮像画像の撮像時におけるカメラ2のフォーカス位置のずれ量の推定を行って、そのずれ量の推定結果を出力する処理を行う。なお、このフォーカス位置のずれ量の推定は、ずれ量推定テーブルを用いて行い、このために、このテーブルは、フォーカスずれ量出力部44に予め備えておくようにする。ずれ量推定テーブルは、ぼけ評価値とずれ量の推定値との関係を表しているテーブルであり、後述する事前準備により作成しておく。
【0070】
次に、方向別ぼけ評価値算出部42に備えておく補正テーブルと、フォーカスずれ量出力部44に備えておくずれ量推定テーブルとを作成する事前準備について説明する。
まず、補正テーブルの作成について説明する。この補正テーブルは、エッジの方向の違いとエッジ強度の検出値の違いとの関係を表すものである。ここでは、この補正テーブルとして、補正の前後におけるエッジの強度の値についての対応関係が示されている補正テーブルを、前述したエッジの方向のグループ毎に作成する。このような補正テーブルをシミュレーションにより作成する場合には、例えば以下のようにして行う。
【0071】
まず、エッジの方向が角度θである直線状の対象物の画像(直線画像)を作成し、この画像に対して平滑化の画像処理を行ってぼけた画像を生成する。このぼけ画像を生成する画像処理は、例えば、ガウシアンのモデルを利用した、下記の[数4]式の演算を行う処理である。
【数4】

【0072】
この[数4]式において、L(x,y)及びL’(x,y)は、画素(x,y)の輝度をそれぞれ表している。また、σは、ぼけの程度を表すパラメータであり、その値が大きいほどぼけの程度が大きくなる。
【0073】
ここで、エッジの方向が角度θである直線画像Iθ,0を、[数4]式を用いてぼかした画像をIθ,σとする。この画像Iθ,σを構成している各画素のエッジ強度Eθ,σは、図5の左側の棒グラフのように、エッジ方向の違いによって違った値となる。このエッジ強度Eθ,σが、図5の右側の棒グラフのように一定の値になれば、エッジ方向の違いによらないものとなる。
【0074】
そこで、下記の[数5]式の計算を行って、エッジ強度の変換係数Cθ,σを用意する。
【数5】

【0075】
この変換係数Cθ,σを、エッジの方向が角度θであるときのエッジ強度(正規化前のエッジ強度)Eθ,σに乗算して得られる正規化後のエッジ強度は、エッジの方向が0°である場合と同じ強度になるように補正されたものになる。従って、この正規化後エッジ強度は、エッジの方向に依存しない値となる。
【0076】
以上のようなシミュレーションによって求められる正規化前エッジ強度と正規化後エッジ強度との対応関係は、図11に例示するグラフのような関係となる。そこで、このグラフに表されている対応関係を補正テーブルとして作成する。この補正テーブルをエッジ方向のグループ数分用意することで、全てのエッジ方向についてのエッジ強度を補正して、そのエッジ方向に依存しない方向によらない方向別ぼけ評価値に変換することができる。
【0077】
なお、以上のようにして補正テーブルをシミュレーションにより作成する代わりに、実測を行って補正テーブルを作成してもよい。
また、この補正テーブルとしては、正規化後エッジ強度Cθ,σθ,σの代わりに、変換係数Cθ,σが用意されていてもよい。なお、この変換係数テーブルを用いる場合には、方向別ぼけ評価値算出部42は、エッジ強度の検出値に、そのエッジの方向とエッジ強度の検出値に応じた変換係数を乗算し、算出された値を、その撮像画像についてのぼけ評価値とする。
【0078】
次に、ずれ量推定テーブルの作成について説明する。前述したように、ずれ量推定テーブルは、ぼけ評価値とずれ量の推定値との関係を表しているテーブルである。
まず、例えば縞模様のような、ある特定の方向のエッジを持つ対象物を用意し、その対象物を、フォーカス位置設定を変化させながらカメラ2で複数回撮像する。そして、得られた各画像のエッジ強度(前述した正規化後エッジ強度)を算出し、そのエッジ強度とフォーカス位置ずれ量との対応関係を記録する。図12は、この対応関係を表したグラフの一例である。このグラフに表されている対応関係をずれ量推定テーブルとして作成する。なお、ずれ量推定テーブルは、正規化後エッジ強度とフォーカス位置ずれ量との対応関係を表しているもののみを作成すれば十分であり、前述したエッジの方向のグループ毎の作成は不要である。
【0079】
ずれ量推定テーブルは、例えば以上のようにして作成する。フォーカスずれ量出力部44は、このようにして作成されたずれ量推定テーブルを参照し、エッジ強度に対応付けられているフォーカス位置の推定ずれ量を当該テーブルから取得することで、フォーカス位置ずれ量の推定を行う。
【0080】
次に図13について説明する。図13は、画像監視システムの構成の第二の例である。
この第二の例において、図7に図解した第一の例におけるものと同一の機能を有している構成要素には同一の符号を付しており、これらについては詳細な説明を省略する。
【0081】
図13の構成は、仮調整判定部33が画像判定部51に置き換えられている点と、フォーカス仮調整部34が削除されている点とにおいて、図7に図解した構成と異なっている。また、図13におけるフォーカスずれ方向検出部52は、フォーカス位置のずれの方向の検出処理を行うものであるが、その検出手法が、図7に図解した第一の例におけるフォーカスずれ方向検出部35と異なっている。そこで、ここでは、この検出手法について説明する。
【0082】
前述したように、画像監視システムのカメラ2は、図6に例示するように、その撮像方向が水平面に対して斜め下向きの方向に向けて設置されている場合には、自動車1の移動方向に対向する向きの上方から自動車1を撮像して自動車1を斜視した画像を取得する。従って、このように設置されているカメラ2で取得される撮像画像では、カメラ2の設置位置から遠くに位置している自動車1の像が画像の上側に配置される構図になり、カメラ2の設置位置から近くに位置している自動車1の像が画像の下側に配置される構図になる。この構図の関係を、図14を用いて説明する。
【0083】
図14において、三角形状の撮像対象物は、丸形状の撮像対象物よりも、カメラ2からは遠くに位置している。このような位置関係の下でカメラ2により得られる撮像画像は、三角形状の撮像対象物が丸形状の撮像対象物よりも画像上で上側に配置される構図になる。
【0084】
図13におけるフォーカスずれ方向検出部52は、このような撮像画像上での撮像対象物の位置関係を利用することで、フォーカス位置の仮調整を行わずに、フォーカス位置のずれの方向の検出を行う。
【0085】
図13において、フォーカスずれ量算出部32は、ナンバープレート部分画像における、プレートに描かれている文字の像のエッジ情報を用いて撮像画像の撮像時におけるカメラ2のフォーカス位置のずれ量を推定する処理を、前述したようにして行う。
【0086】
画像判定部51は、カメラ2が、2つの被写体を撮像して撮像画像を取得したか否かを判定する処理を行う。本実施形態では、画像判定部51は、カメラ2が、2台の自動車1の各々のナンバープレートが映っている撮像画像を取得したか否かを判定する処理を行う。なお、この2台の自動車1の各々のナンバープレートが映っている撮像画像は、1台ずつの自動車1のナンバープレートが映っている2枚の撮像画像でもよく、また、2台の自動車1の両方のナンバープレートが映っている1枚の撮像画像でもよい。ここで、所望の撮像画像が取得されたと判定した場合(判定結果がYesの場合)には、フォーカスずれ方向検出部52にフォーカス位置のずれの方向の検出の処理を行わせる。一方、所望の撮像画像が未だ取得されていないと判定した場合(判定結果がNoの場合)には、撮像部20に指示を与え、カメラ2による自動車1の撮像を行わせる。なお、このときの自動車1の撮像では、カメラ2のフォーカス位置の設定は変更しない。
【0087】
フォーカスずれ方向検出部52は、まず、2枚のナンバープレート部分画像のフォーカス位置ずれ量a1及びa2をフォーカスずれ量算出部32から取得し、更に、各ナンバープレート部分画像の撮像画像上での縦方向の位置を表す座標y1及びy2を取得する。そして、図15のフォーカス調整方向検出テーブルを参照し、a1とa2との大小関係及びy1とy2との大小関係とに対応付けられているフォーカス位置の調整の方向を、当該テーブルから抽出してその検出結果として、フォーカス調整部36に通知する。
【0088】
図15のフォーカス調整方向検出テーブルを参照すると、例えば、フォーカス位置ずれ量はa1がa2よりも小さく、撮像画像上の位置はy1がy2よりも小さい(すなわち撮像画像上においてy1がy2よりも上側に位置している)場合には、「手前」となる。すなわち、この場合には、カメラ2から遠いナンバープレートの像の方が、カメラ2に近いナンバープレートの像よりもフォーカス位置ずれ量が少なくなっているので、現在フォーカスは「奥」にずれていることが分かり、フォーカス位置の調整の方向は、「手前」、すなわち、カメラ2に近づく方向となる。
【0089】
フォーカス調整部36は、このような通知を受けた場合には、フォーカス位置を、調整前の位置から、カメラ2に近づける調整方向へ、フォーカス位置ずれ量に相当する調整量だけ、カメラ2のフォーカス位置を移動する調整の指示を、撮像部20に与える。撮像部20は、この指示を受け取ると、カメラ2を制御して、指示に応じた調整方向及び移動量だけフォーカス位置を移動させる調整を行う。
【0090】
以上のように、図13の画像監視システムでは、まず、カメラ2が、第一の画像と第二の画像とを同一のフォーカス位置の設定の下で取得する。ここで、第一の画像には、自動車1のナンバープレートの像を映し、第二の画像には、第一の画像に映っているものとは異なる自動車1のナンバープレートの像を映す。但し、第一の画像と第二の画像とは同一の画像でもよい。このときに、フォーカスずれ方向検出部52は、第一の画像に映っているナンバープレートの像についての、第一の画像上の位置と、フォーカスずれ量算出部32が算出したフォーカス位置のずれ量とを取得する。更に、フォーカスずれ方向検出部52は、第一の画像に映っているナンバープレートの像についても、第二の画像上の位置と、フォーカスずれ量算出部32が算出したフォーカス位置のずれ量とを取得する。そして、これらの位置の情報とフォーカス位置のずれ量の情報とに基づいて、フォーカス位置のずれの方向を検出する。図13の画像監視システムでは、以上のようにして、フォーカス位置の仮調整を行わずに、フォーカス位置のずれの方向の検出を可能にしている。
【0091】
なお、以上までに説明した図1の撮像装置、並びに図7及び図13の画像監視システムの各構成要素を、標準的な構成のコンピュータを用いて構成することができる。
ここで図16について説明する。図16には、コンピュータの構成の一例が図解されている。
【0092】
このコンピュータ60は、MPU61、ROM62、RAM63、ハードディスク装置64、入力装置65、表示装置66、インタフェース装置67、及び記録媒体駆動装置68を備えている。なお、これらの構成要素はバスライン69を介して接続されており、MPU61の管理の下で各種のデータを相互に授受することができる。
【0093】
MPU(Micro Processing Unit)61は、このコンピュータ60全体の動作を制御する演算処理装置である。
ROM(Read Only Memory)62は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。MPU61は、この基本制御プログラムをコンピュータ60の起動時に読み出して実行することにより、このコンピュータ60の各構成要素の動作制御が可能になる。
【0094】
RAM(Random Access Memory)63は、MPU61が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【0095】
ハードディスク装置64は、MPU61によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。MPU61は、ハードディスク装置64に記憶されている所定の制御プログラムを読み出して実行することにより、各種の制御処理を行えるようになる。
【0096】
入力装置65は、例えばキーボード装置やマウス装置である。入力装置65は、例えば図1の撮像装置や図7及び図13の画像監視システムの管理者により操作されると、その操作内容に対応付けられている管理者からの各種情報の入力を取得し、取得した入力情報をMPU61に送付する。
【0097】
表示装置66は例えば液晶ディスプレイであり、MPU61から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置67は、このコンピュータ60に接続される各種機器との間での各種情報の授受の管理を行う。例えば、図7及び図13の画像監視システムの各構成要素をこのコンピュータ60で構成する場合には、インタフェース装置67には、カメラ2が接続されて、撮像画像データやカメラ2の制御データ等の授受が行われる。
【0098】
記録媒体駆動装置68は、可搬型記録媒体70に記録されている各種の制御プログラムやデータの読み出しを行う装置である。MPU61は、可搬型記録媒体70に記録されている所定の制御プログラムを、記録媒体駆動装置68を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体70としては、例えばCD−ROM(Compact Disc Read Only Memory)やDVD−ROM(Digital Versatile Disc Read Only Memory)、USB(Universal Serial Bus)規格のコネクタが備えられているフラッシュメモリなどがある。
【0099】
このようなコンピュータ60を用いて図1の撮像装置を構成するには、例えば、画像取得部11、エッジ抽出部12、ぼけ評価値検出部13、焦点調整部14、及び焦点ずれ方向検出部15の各々が行う処理をMPU61に行わせるための制御プログラムを作成する。また、コンピュータ60を用いて図7及び図13の画像監視システムを構成する場合も同様であり、図7及び図13の画像監視システムの各構成要素で行われる処理をMPU61に行わせるための制御プログラムを作成する。
【0100】
なお、この制御プログラムには、前述した事前準備により作成した補正テーブル及び焦点ずれ量推定テーブルをハードディスク装置64に記憶させる処理をMPU61に行わせるプログラムを含ませておくようにする。また、前述したように、コンピュータ60のインタフェース装置67にはカメラ2を接続しておき、この制御プログラムでは、カメラ2が撮像して得た撮像画像の取り込み処理や、カメラ2のフォーカス位置の調整処理を、コンピュータ60が行うようにしておく。
【0101】
なお、作成された制御プログラムはハードディスク装置64若しくは可搬型記録媒体70に予め格納しておく。そして、MPU61に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、図1の撮像装置や図7及び図13の画像監視システムの各構成要素が各々有している機能のコンピュータ60での提供が可能となる。
【0102】
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
(付記1)
被写体を撮像して該被写体の画像を取得する画像取得部と、
前記画像取得部により取得された画像に映っている像のエッジを抽出するエッジ抽出部と、
前記エッジ抽出部により抽出されたエッジの強度を該エッジの方向に基づいて補正して、該補正後の強度を、前記画像のぼけの程度を表しているぼけ評価値として検出するぼけ評価値検出部と、
前記画像取得部が前記被写体を撮像する際の焦点位置の設定を、前記ぼけ評価値検出部が検出したぼけ評価値に基づいて調整する焦点調整部と、
を備えていることを特徴とする撮像装置。
(付記2)
前記ぼけ評価値検出部は、前記補正の前後における前記エッジの強度の値についての対応関係が前記エッジの方向毎に示されている補正テーブルを備えており、前記エッジ抽出部により抽出されたエッジの強度の補正を、該補正テーブルを用いて行うことを特徴とする付記1に記載の撮像装置。
(付記3)
前記焦点調整部は、前記ぼけ評価値と前記焦点位置のずれ量の推定値との対応関係が示されているずれ量推定テーブルを備えており、前記焦点位置の設定を、該ずれ量推定テーブルを用いて行うことを特徴とする付記1又は2に記載の撮像装置。
(付記4)
前記画像取得部が異なる焦点位置の設定の下で撮像して取得した2枚の画像の各々について前記ぼけ評価値検出部が検出したぼけ評価値に基づいて、前記焦点位置のずれの方向を検出する焦点ずれ方向検出部を更に備えており、
前記焦点調整部は、前記焦点位置の設定を、前記焦点ずれ方向検出部が検出した焦点位置のずれの方向にも更に基づいて行う、
ことを特徴とする付記1から3のうちのいずれか一項に記載の撮像装置。
(付記5)
前記焦点ずれ方向検出部は、前記画像取得部が前記2枚の画像の各々を撮像したときの焦点位置のずれ量を前記ぼけ評価値から推定し、該2枚の画像の各々についての該焦点位置のずれ量の推定値の大小比較の結果に基づいて、前記焦点位置のずれの方向を検出することを特徴とする付記4に記載の撮像装置。
(付記6)
前記画像取得部は、前記被写体の移動方向に対向する向きの上方から該被写体を撮像して該被写体を斜視した画像を取得し、
前記画像取得部が取得した第一の画像に映っている第一の被写体の像についての、該第一の画像上の位置及び前記ぼけ評価値検出部により検出されるぼけ評価値と、該画像取得部が該第一の画像の取得の際と同一の焦点位置の設定の下で取得した第二の画像に映っている、該第一の被写体とは異なる第二の被写体の像についての、該第二の画像上の位置及び該ぼけ評価値検出部により検出されるぼけ評価値とに基づいて、前記焦点位置のずれの方向を検出する焦点ずれ方向検出部を更に備えており、
前記焦点調整部は、前記焦点位置の設定を、前記焦点ずれ方向検出部が検出した焦点位置のずれの方向にも更に基づいて行う、
ことを特徴とする付記1から3のうちのいずれか一項に記載の撮像装置。
(付記7)
前記焦点ずれ方向検出部は、前記画像取得部が前記第一及び前記第二の画像の各々を撮像したときの焦点位置のずれ量を前記ぼけ評価値から推定し、該第一及び該第二の画像の各々についての該焦点位置のずれ量の推定値と、前記第一の被写体の像についての該第一の画像上の位置と、前記第二の被写体の像についての該第二の画像上の位置とに基づいて、前記焦点位置のずれの方向を検出することを特徴とする付記6に記載の撮像装置。(
(付記8)
前記第一の画像と前記第二の画像とが同一の撮像対象を撮像した画像であることを特徴とする付記6又は7に記載の撮像装置。
(付記9)
画像のほけの評価を行う画像評価方法であって、
カメラが被写体を撮像して獲得した該被写体の画像を取得し、
前記被写体の像のエッジを抽出する画像処理を前記画像に対して施し、
前記画像処理により抽出されたエッジの強度を該エッジの方向に基づいて補正し、
前記画像のぼけの程度を、前記補正後のエッジの強度を用いて評価して評価結果を得る、
ことを特徴とする画像評価方法。
(付記10)
前記エッジの強度の補正は、該補正の前後における該エッジの強度の値についての対応関係が該エッジの方向毎に示されている補正テーブルを用いて行うことを特徴とする付記9に記載の画像評価方法。
(付記11)
カメラの焦点位置の設定の調整をコンピュータに行わせるための焦点調整制御プログラムであって、
前記カメラが被写体を撮像して獲得した該被写体の画像を取得する画像取得処理と、
前記画像取得処理により取得された画像に映っている像のエッジを抽出するエッジ抽出処理と、
前記エッジ抽出処理により抽出されたエッジの強度を該エッジの方向に基づいて補正して、該補正後の強度を、前記画像のぼけの程度を表しているぼけ評価値として検出するぼけ評価値検出処理と、
前記カメラの焦点位置の設定を、前記ぼけ評価値検出処理により検出されたぼけ評価値に基づいて調整する焦点調整処理と、
をコンピュータに行わせることを特徴とする焦点調整制御プログラム。
(付記12)
前記焦点調整制御プログラムは、更に、前記カメラが異なる焦点位置の設定の下で撮像して取得した2枚の画像の各々について前記ぼけ評価値検出処理により検出されたぼけ評価値に基づいて、前記焦点位置のずれの方向を検出する焦点ずれ方向検出処理を前記コンピュータに行わせ、
前記焦点調整処理は、前記焦点位置の設定を、前記焦点ずれ方向検出処理により検出された焦点位置のずれの方向にも更に基づいて行う、
ことを特徴とする付記11に記載の焦点調整制御プログラム。
(付記13)
前記焦点ずれ方向検出処理は、前記カメラが前記2枚の画像の各々を撮像したときの焦点位置のずれ量を前記ぼけ評価値から推定し、該2枚の画像の各々についての該焦点位置のずれ量の推定値の大小比較の結果に基づいて、前記焦点位置のずれの方向を検出することを特徴とする付記12に記載の焦点調整制御プログラム。
(付記14)
前記カメラは、前記被写体の移動方向に対向する向きの上方から該被写体を撮像して該被写体を斜視した画像を取得し、
前記焦点調整制御プログラムは、更に、前記カメラが取得した第一の画像に映っている第一の被写体の像についての、該第一の画像上の位置及び前記ぼけ評価値検出処理により検出されるぼけ評価値と、該カメラが該第一の画像の取得の際と同一の焦点位置の設定の下で取得した第二の画像に映っている、該第一の被写体とは異なる第二の被写体の像についての、該第二の画像上の位置及びぼけ評価値検出処理により検出されるぼけ評価値とに基づいて、前記焦点位置のずれの方向を検出する焦点ずれ方向検出処理を前記コンピュータに行わせ、
前記焦点調整処理は、前記焦点位置の設定を、前記焦点ずれ方向検出処理により検出された焦点位置のずれの方向にも更に基づいて行う、
ことを特徴とする付記11に記載の焦点調整制御プログラム。
(付記15)
前記焦点ずれ方向検出処理は、前記カメラが前記第一及び前記第二の画像の各々を撮像したときの焦点位置のずれ量を前記ぼけ評価値から推定し、該第一及び該第二の画像の各々についての該焦点位置のずれ量の推定値と、前記第一の被写体の像についての該第一の画像上の位置と、前記第二の被写体の像についての該第二の画像上の位置とに基づいて、前記焦点位置のずれの方向を検出することを特徴とする付記14に記載の焦点調整制御プログラム。
【符号の説明】
【0103】
1 自動車
2 カメラ
11 画像取得部
12 エッジ抽出部
13 ぼけ評価値検出部
14 焦点調整部
15 焦点ずれ方向検出部
20 撮像部
21 画像入力部
30 認識部
31 ナンバープレート切り出し部
32 フォーカスずれ量算出部
33 仮調整判定部
34 フォーカス仮調整部
35、52 フォーカスずれ方向検出部
36 フォーカス調整部
37 ナンバープレート認識部
38 認識結果出力部
41 エッジ方向分類部
42 方向別ぼけ評価値算出部
43 ぼけ評価値算出部
44 フォーカスずれ量出力部
51 画像判定部
60 コンピュータ
61 MPU
62 ROM
63 RAM
64 ハードディスク装置
65 入力装置
66 表示装置
67 インタフェース装置
68 記録媒体駆動装置
69 バスライン
70 可搬型記録媒体

【特許請求の範囲】
【請求項1】
被写体を撮像して該被写体の画像を取得する画像取得部と、
前記画像取得部により取得された画像に映っている像のエッジを抽出するエッジ抽出部と、
前記エッジ抽出部により抽出されたエッジの強度を該エッジの方向に基づいて補正して、該補正後の強度を、前記画像のぼけの程度を表しているぼけ評価値として検出するぼけ評価値検出部と、
前記画像取得部が前記被写体を撮像する際の焦点位置の設定を、前記ぼけ評価値検出部が検出したぼけ評価値に基づいて調整する焦点調整部と、
を備えていることを特徴とする撮像装置。
【請求項2】
前記ぼけ評価値検出部は、前記補正の前後における前記エッジの強度の値についての対応関係が前記エッジの方向毎に示されている補正テーブルを備えており、前記エッジ抽出部により抽出されたエッジの強度の補正を、該補正テーブルを用いて行うことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記焦点調整部は、前記ぼけ評価値と前記焦点位置のずれ量の推定値との対応関係が示されているずれ量推定テーブルを備えており、前記焦点位置の設定を、該ずれ量推定テーブルを用いて行うことを特徴とする請求項1又は2に記載の撮像装置。
【請求項4】
前記画像取得部が異なる焦点位置の設定の下で撮像して取得した2枚の画像の各々について前記ぼけ評価値検出部が検出したぼけ評価値に基づいて、前記焦点位置のずれの方向を検出する焦点ずれ方向検出部を更に備えており、
前記焦点調整部は、前記焦点位置の設定を、前記焦点ずれ方向検出部が検出した焦点位置のずれの方向にも更に基づいて行う、
ことを特徴とする請求項1から3のうちのいずれか一項に記載の撮像装置。
【請求項5】
前記焦点ずれ方向検出部は、前記画像取得部が前記2枚の画像の各々を撮像したときの焦点位置のずれ量を前記ぼけ評価値から推定し、該2枚の画像の各々についての該焦点位置のずれ量の推定値の大小比較の結果に基づいて、前記焦点位置のずれの方向を検出することを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記画像取得部は、前記被写体の移動方向に対向する向きの上方から該被写体を撮像して該被写体を斜視した画像を取得し、
前記画像取得部が取得した第一の画像に映っている第一の被写体の像についての、該第一の画像上の位置及び前記ぼけ評価値検出部により検出されるぼけ評価値と、該画像取得部が該第一の画像の取得の際と同一の焦点位置の設定の下で取得した第二の画像に映っている、該第一の被写体とは異なる第二の被写体の像についての、該第二の画像上の位置及び該ぼけ評価値検出部により検出されるぼけ評価値とに基づいて、前記焦点位置のずれの方向を検出する焦点ずれ方向検出部を更に備えており、
前記焦点調整部は、前記焦点位置の設定を、前記焦点ずれ方向検出部が検出した焦点位置のずれの方向にも更に基づいて行う、
ことを特徴とする請求項1から3のうちのいずれか一項に記載の撮像装置。
【請求項7】
前記焦点ずれ方向検出部は、前記画像取得部が前記第一及び前記第二の画像の各々を撮像したときの焦点位置のずれ量を前記ぼけ評価値から推定し、該第一及び該第二の画像の各々についての該焦点位置のずれ量の推定値と、前記第一の被写体の像についての該第一の画像上の位置と、前記第二の被写体の像についての該第二の画像上の位置とに基づいて、前記焦点位置のずれの方向を検出することを特徴とする請求項6に記載の撮像装置。
【請求項8】
画像のほけの評価を行う画像評価方法であって、
カメラが被写体を撮像して獲得した該被写体の画像を取得し、
前記被写体の像のエッジを抽出する画像処理を前記画像に対して施し、
前記画像処理により抽出されたエッジの強度を該エッジの方向に基づいて補正し、
前記画像のぼけの程度を、前記補正後のエッジの強度を用いて評価して評価結果を得る、
ことを特徴とする画像評価方法。
【請求項9】
カメラの焦点位置の設定の調整をコンピュータに行わせるための焦点調整制御プログラムであって、
前記カメラが被写体を撮像して獲得した該被写体の画像を取得する画像取得処理と、
前記画像取得処理により取得された画像に映っている像のエッジを抽出するエッジ抽出処理と、
前記エッジ抽出処理により抽出されたエッジの強度を該エッジの方向に基づいて補正して、該補正後の強度を、前記画像のぼけの程度を表しているぼけ評価値として検出するぼけ評価値検出処理と、
前記カメラの焦点位置の設定を、前記ぼけ評価値検出処理により検出されたぼけ評価値に基づいて調整する焦点調整処理と、
をコンピュータに行わせることを特徴とする焦点調整制御プログラム。

【図1】
image rotate

【図2】
image rotate

【図7】
image rotate

【図10】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図8】
image rotate

【図9】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2012−73679(P2012−73679A)
【公開日】平成24年4月12日(2012.4.12)
【国際特許分類】
【出願番号】特願2010−216122(P2010−216122)
【出願日】平成22年9月27日(2010.9.27)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】