フォーカス調整装置及びフォーカス調整方法
【課題】撮像装置のフォーカス調整を、簡易に且つ確実に行えるようにする。
【解決手段】認識部１３は、撮像装置２が移動中の車体を撮像して得た撮像画像に対して行う、該車体に装着されているナンバープレートの文字・模様の認識を、辞書画像とのパターンマッチングにより行う。基準位置設定部１５は、撮像装置２が車体を連続して撮像して得た複数枚の撮像画像に基づいて、前述の認識に最適と推定される位置を、基準位置として該撮像画像上で設定する。フォーカス補正部１６は、認識部１３が基準位置画像、前画像、及び後画像の各々に対して認識を行った１結果のパターンマッチング率に基づいて、フォーカスの調整の要否を判定してフォーカスの調整を行う。基準位置画像は、基準位置に文字・模様が表されている撮像画像であり、前画像及び後画像は、基準位置画像の撮像時の前後にそれぞれ撮像された撮像画像である。
【解決手段】認識部１３は、撮像装置２が移動中の車体を撮像して得た撮像画像に対して行う、該車体に装着されているナンバープレートの文字・模様の認識を、辞書画像とのパターンマッチングにより行う。基準位置設定部１５は、撮像装置２が車体を連続して撮像して得た複数枚の撮像画像に基づいて、前述の認識に最適と推定される位置を、基準位置として該撮像画像上で設定する。フォーカス補正部１６は、認識部１３が基準位置画像、前画像、及び後画像の各々に対して認識を行った１結果のパターンマッチング率に基づいて、フォーカスの調整の要否を判定してフォーカスの調整を行う。基準位置画像は、基準位置に文字・模様が表されている撮像画像であり、前画像及び後画像は、基準位置画像の撮像時の前後にそれぞれ撮像された撮像画像である。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で議論される実施態様は、移動体の高品位な画像を獲得する技術に関する。
【背景技術】
【０００２】
近年、屋外に設置した撮像設置の撮像範囲内を移動する物体（移動体）を検知し、その移動体の模様や移動体に付されている文字などを認識する画像処理システムが続々と製品化されている。このような画像処理システムに、赤外線カメラとＬＥＤ（発光ダイオード）等の赤外光照明とを組み合わせた構成の撮像システムを用いて、昼夜を問わず文字・模様の認識を行えるようにした製品もある。
【０００３】
また、このような画像処理システムに使用される撮像装置の多くは、例えば屋外の柱などの上部に設置されるが、この設置時にはカメラのフォーカス、ズーム等の調整が行われる。
【０００４】
カメラのフォーカス調整技術に関し、オートフォーカスの技術が広く知られている。一般的に、オートフォーカスは、画像全体に亘ってフォーカスが適切となるように調整するものである。このオートフォーカス技術について、幾つかの技術が知られている。そのうちのひとつは、所定台数分の自動車の撮像画像に映っているナンバープレートの文字の認識処理により求まる認識結果と過去の認識履歴とが所定量以上異なる場合に、当該文字のボケ具合の評価結果に基づきフォーカスの調整を行うというものである。
【０００５】
また、この他の背景技術として、自動車の撮像画像からナンバープレートの位置を特定する技術や、画像内の２つの領域のボケ具合の程度の差に応じてカメラの焦点をずらす方向を決定してカメラの焦点を移動体に合わせる技術が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２３５９２１号公報
【特許文献２】特開昭６３−１２０３９９号公報
【特許文献３】特開２０１０−６０９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像内に局在する模様、文字等の認識対象のみを認識する場合には、その認識対象周辺にフォーカスが確実に合っていることが求められる。このため、前述したようなオートフォーカス技術だけでは対応しきれず、設置現場での調整員による手動での調整が必要となる。
【０００８】
また、この調整作業は屋外の路上等で通行を制限して行うような場合もあるため、現場での作業時にて確実な調整完了を求められる。しかしながら、調整作業は、個人の感性・判断に依存する面があることや、設置箇所の数に伴う複数作業グループでの調整作業の実施、作業当日の天候、通行制限の時間的制約等に起因して、その調整が最適でないままに現場作業を終了せざるを得ない場合もある。このような場合には、撮影画像や認識処理の状況を確認の上、後日現場にて改めて調整作業が必要となることもあり、道路等の許可申請や人員・機材確保等の作業が再度発生してしまうことにもなる。
【０００９】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、撮像装置のフォーカス調整を、簡易に且つ確実に行えるようにすることである。
【課題を解決するための手段】
【００１０】
本明細書で後述するフォーカス調整装置は、撮像装置のフォーカスの調整を行うものである。このフォーカス調整装置のひとつには、認識部と、基準位置設定部と、フォーカス補正部と、を有するというものがある。ここで、認識部は、撮像装置が移動中の車体を撮像して得た撮像画像に対して行う、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識を行う。なお、この文字若しくは模様の認識は、予め用意されている、辞書画像とのパターンマッチングにより行う。また、基準位置設定部は、撮像装置が車体を連続して撮像して得た複数枚の撮像画像に基づいて、ナンバープレートに付されている文字若しくは模様の認識に最適と推定される位置を、基準位置として該撮像画像上で設定する。そして、フォーカス補正部は、基準位置画像、前画像、及び後画像の各々に対して認識を行った結果のパターンマッチング率に基づいて、該フォーカスの調整の要否を判定し、該判定結果に従って該フォーカスの調整を行う。なお、基準位置画像とは、前述の複数の撮像画像のうち基準位置設定部が設定した基準位置に文字若しくは模様が表されている画像である。また、前画像及び後画像は、それぞれ、前述の複数の撮像画像のうち基準位置画像の撮像時の前後にそれぞれ撮像された画像である。
【００１１】
また、本明細書で後述する方法のひとつに、撮像装置のフォーカスの調整を行う方法がある。この方法では、まず、撮像装置が移動中の車体を連続して撮像して得た複数枚の撮像画像に基づいて、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識に最適と推定される位置を、基準位置として該撮像画像上で設定する。次に、この複数の撮像画像のうちの基準位置画像、前画像及び後画像の各々に対し、車体に装着されているナンバープレートに付されている文字若しくは模様の認識を行う。この文字若しくは模様の認識は、予め用意されている、辞書画像とのパターンマッチングにより行う。なお、ここで、基準位置画像とは、この複数の撮像画像のうち、前述の基準位置に文字若しくは模様が表されている画像である。また、前画像及び後画像は、それぞれ、基準位置画像の撮像時の前後にそれぞれ撮像された画像である。その後、この方法では、前述の基準位置画像、前画像、及び後画像の各々に対して認識を行ったことで認識結果を得たときのパターンマッチング率に基づいて、フォーカスの調整の要否を判定し、この判定結果に従って該フォーカスの調整を行う。
【発明の効果】
【００１２】
本明細書で後述する装置は、撮像装置のフォーカス調整を、簡易に且つ確実に行うことができる。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置の機能構成図を示す図である。
【図２】撮像装置２の設置例である。
【図３】図１の画像処理装置として動作させることのできるコンピュータの構成例である。
【図４】文字・模様認識処理の処理手順を図解したフローチャートである。
【図５】フォーカス調整制御処理の処理手順を図解したフローチャートである。
【図６】撮像画像の画像領域のブロックへの分割例である。
【図７】基準位置設定処理の処理手順を図解したフローチャートである。
【図８】フォーカス調整要否判定処理の処理手順を図解したフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面に基づいて説明する。
まず図１について説明する。図１は画像処理装置の機能構成図である。
図１において、画像処理装置１は、撮像装置（カメラ）２により得られる撮像画像に対して各種の画像処理を行って、撮像画像から移動物体を検出すると共に、撮像画像から文字若しくは模様の認識を行うものである。また、この画像処理装置１は、撮像装置２のフォーカスの調整を行うフォーカス調整装置の機能を備えている。
【００１５】
ここで図２について説明する。図２は、撮像装置２の設置例を図解したものである。
撮像装置２は、道路３を走行している移動中の車両４の車体を、その進行方向の前方のある程度離れた位置の斜め上方から、当該車体に付されているナンバープレートが映り込むような構図で連続して撮像し、得られた複数枚の撮像画像を画像処理装置１に送付する。この撮像装置２は、地面に立てられている支柱５の上部に固定されており、その撮像方向も固定されている。
【００１６】
図１の説明へ戻る。画像処理装置１は、画像取込部１１、移動物体検出部１２、認識部１３、辞書画像データベース１４、基準位置設定部１５、フォーカス補正部１６、及びカメラ制御部１７を備えている。
【００１７】
画像取込部１１は、画像処理装置１に送付されてくる複数枚の撮像画像を取り込んで、画像取込部１１自身に備えられている画像バッファに格納する。この画像バッファはリングバッファ構成とし、１台の車両４の車体の像が部分的にでも映っている全ての撮像画像を格納するために十分な格納容量を有しているものとする。
【００１８】
移動物体検出部１２は、画像取込部１１の画像バッファに格納されている撮像画像を１枚ずつ取り出し、取り出した画像に映っている、車両４の車体等の移動物体の像の検出を行う。この検出は、例えば、車両４等の移動物体が全く映っていない道路３の画像を、支柱５に固定されている撮像装置２で予め撮像しておく。そして、この撮像により得られた画像と画像バッファから取り出した撮像画像との差分画像を求め、この差分画像を構成する画素のうち画素値が所定値以上であるものの集合により特定される領域を当該撮像画像から抽出する。この抽出した領域に映っている画像を、移動物体の像の検出結果とする。
【００１９】
認識部１３は、移動物体検出部１２により撮像画像から検出された移動物体の像に対し、車両４の車体に装着されているナンバープレートに付されている文字・模様の認識処理を行う。
【００２０】
本実施形態においては、認識部１３は、この認識処理を、ナンバープレートに付されていることがあり得る各種の文字・模様の画像である辞書画像とのパターンマッチングにより行う。辞書画像データベース１４には、このパターンマッチングに用いられる辞書画像のデータが、その文字・模様の情報と対応付けられて予め蓄積されている。
【００２１】
認識部１３は、辞書画像データベース１４に蓄積されている辞書画像と、撮像画像に映っている車両４の車体の像から抽出される、辞書画像に対応するサイズの部分画像領域とのパターンマッチングを行う。
【００２２】
認識部１３は、このパターンマッチングを、車両４の車体の像から抽出される全ての部分画像領域について行うと共に、辞書画像データベース１４に蓄積されている全ての辞書画像についても行う。なお、このパターンマッチングを、車両４の車体の像全体から抽出される部分画像領域について行う代わりに、例えば後述の処理のようにして、車両４の車体の像から探索したナンバープレートの像から抽出される部分画像領域について行うようにしてもよい。
【００２３】
次に、認識部１３は、このパターンマッチングの結果として得られるパターンマッチング率（類似度）が所定値以上で最高となる辞書画像と、そのときの部分画像領域の位置とを特定する。ここで特定された位置は、その車体に装着されているナンバープレートに付されている文字・模様についての、撮像画像上での存在位置である。
【００２４】
認識部１３は、更に、辞書画像データベース１４から、この特定された辞書画像に対応付けられている文字・模様の情報を取り出す。この取り出された情報が、認識部１３による認識処理の結果として得られる情報である。
【００２５】
なお、移動物体検出部１２は、車両４の車体に限らず、道路３を走行しているオートバイや自転車などを移動物体として検出することもある。しかし、これらには進行方向の前方にナンバープレートに付されていないので、認識部１３が認識処理を行っても文字・模様の認識結果は得られない。
【００２６】
基準位置設定部１５は、撮像装置２が車両４の車体を連続して撮像して得た複数枚の撮像画像に基づいて、当該車体に装着されているナンバープレートに付されている文字・模様の認識に最適と推定される位置を、基準位置として当該撮像画像上で設定する。この基準位置設定部１５による基準位置の設定手法の詳細は後述する。
【００２７】
フォーカス補正部１６は、認識部１３が前述した認識結果を得たときのパターンマッチング率に基づいて、撮像装置２のフォーカスの調整の要否を判定し、この判定結果に従って、撮像装置２のフォーカスの調整を行う。
【００２８】
フォーカス補正部１６による、撮像装置２のフォーカスの調整の要否の判定は、より具体的には、以下のようにして行われる。
フォーカス補正部１６は、まず、撮像装置２が撮像した複数の撮像画像のうちから、基準位置設定部１５が設定した基準位置に文字・模様が表されている画像に対して認識を行ったことで認識部１３が認識結果を得たときのパターンマッチング率を得る。ここで、この基準位置に文字・模様が表されている画像を「基準位置画像」と称することとする。
【００２９】
更に、フォーカス補正部１６は、当該複数の撮像画像のうちから、基準位置画像の撮像時の前及び後にそれぞれ撮像された画像の各々に対して認識を行ったことで認識部１３が認識結果を得たときのパターンマッチング率を得る。なお、この基準位置画像の撮像時の前及び後にそれぞれ撮像された画像を、「前画像」及び「後画像」と称することとする。
【００３０】
フォーカス補正部１６は、これらの基準位置画像、前画像、及び後画像のそれぞれについてのパターンマッチング率に基づいて、撮像装置２のフォーカスの調整の要否を判定する。
【００３１】
このフォーカス補正部１６による、撮像装置２のフォーカスの調整の要否の判定の手法についての詳細は後述する。
カメラ制御部１７は、フォーカス補正部１６から指示されるフォーカスの調整内容に従って撮像装置２を制御して、撮像装置２のフォーカスの位置調整を行う。
【００３２】
図１の画像処理装置１は以上の構成を備えている。なお、この画像処理装置１が行う動作を、標準的な構成のコンピュータに行わせることもできる。
ここで図３について説明する。図３には、画像処理装置１として動作させることのできるコンピュータ２０の構成例が図解されている。
【００３３】
このコンピュータ２０は、ＭＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ハードディスク装置２４、入力装置２５、表示装置２６、インタフェース装置２７、及び記録媒体駆動装置２８を備えている。なお、これらの構成要素はバス２９を介して接続されており、ＭＰＵ２１の管理の下で各種のデータを相互に授受することができる。
【００３４】
ＭＰＵ（Micro Processing Unit）２１は、このコンピュータ２０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）２２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ２１は、この基本制御プログラムをコンピュータ２０の起動時に読み出して実行することにより、このコンピュータ２０の各構成要素の動作制御が可能になる。
【００３５】
ＲＡＭ（Random Access Memory）２３は、ＭＰＵ２１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【００３６】
ハードディスク装置２４は、ＭＰＵ２１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。
ＭＰＵ２１は、ハードディスク装置２４に記憶されている所定の制御プログラムを読み出して実行することにより、後述する制御処理を行えるようになる。
【００３７】
入力装置２５は、例えばキーボード装置やマウス装置であり、コンピュータ２０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ２１に送付する。
【００３８】
表示装置２６は例えば液晶ディスプレイであり、ＭＰＵ２１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置２７は、このコンピュータ２０に接続される各種機器との間での各種データの授受の管理を行う。より具体的には、インタフェース装置２７は、撮像装置２からから送られてくる撮像画像信号のアナログ−デジタル変換や、認識結果情報・出力画像データなどの後続機器への送信などを行う。
【００３９】
記録媒体駆動装置２８は、可搬型記録媒体３０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ２１は、可搬型記録媒体３０に記録されている所定の制御プログラムを、記録媒体駆動装置２８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体３０としては、例えばＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などがある。
【００４０】
このようなコンピュータ２０を画像処理装置１として動作させるには、まず、画像処理装置１で行われる各種処理の処理内容をＭＰＵ２１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置２４若しくは可搬型記録媒体３０に予め格納しておく。そして、ＭＰＵ２１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ２１が、図１の画像処理装置１が有している各部として機能し、このコンピュータ２０による画像処理装置１としての動作が可能になる。
【００４１】
次に、画像処理装置１により行われる、撮像装置２のフォーカス調整の動作手順について、フローチャートを参照しながら説明する。
まず図４について説明する。図４は、文字・模様認識処理の処理手順を図解したフローチャートである。
【００４２】
まず、図４のＳ１０１において、撮像画像取り込み処理が画像取込部１１により行われる。この処理は、画像処理装置１に送付されてくる複数枚の撮像画像を取り込んで、画像取込部１１自身に備えられている画像バッファに格納する処理である。なお、この撮像画像取り込み処理は、撮像装置２から撮像画像が送付されてくる度に実行されて、撮像画像が送付順に画像バッファに格納される。
【００４３】
次に、Ｓ１０２において、移動物体検出処理が移動物体検出部１２により行われる。この処理は、画像取込部１１の画像バッファに格納されている撮像画像を１枚取り出し、取り出した画像に映っている、車両４の車体等の移動物体の像の検出を、移動物体検出部１２が、前述したようにして行う処理である。
【００４４】
次に、Ｓ１０３において、前述したＳ１０２の移動物体検出処理により撮像画像から移動物体を検出したか否かを判定する処理が移動物体検出部１２により行われる。ここで、移動物体を検出したと判定されたとき（判定結果がＹｅｓのとき）にはＳ１０４に処理を進める。一方、移動物体を検出しなかったと判定されたとき（判定結果がＮｏのとき）にはＳ１０２へ処理を戻して、次の撮像画像を画像取込部１１の画像バッファから１枚取り出して、取り出した撮像画像に対する移動物体検出処理が移動物体検出部１２により行われる。
【００４５】
次に、Ｓ１０４では、Ｓ１０２の処理により検出された移動物体の像から、車両４の車体に付されているナンバープレートを探索する処理が認識部１３により行われる。この処理は、例えば、移動物体の像のエッジ抽出を行って、撮像画像の水平方向の中央付近に存在する矩形状のエッジがナンバープレートであると推定して、探索を行う。
【００４６】
次に、Ｓ１０５では、Ｓ１０４の探索処理によりナンバープレートを発見したか否かを判定する処理が認識部１３により行われる。ここで、ナンバープレートを発見したと判定されたとき（判定結果がＹｅｓのとき）にはＳ１０６に処理を進める。一方、ナンバープレートを発見しなかったと判定されたとき（判定結果がＮｏのとき）にはＳ１０２へ処理を戻して、次の撮像画像を画像取込部１１の画像バッファから１枚取り出し、取り出した撮像画像に対する移動物体検出処理が行われる。
【００４７】
次に、Ｓ１０６では、Ｓ１０４の処理により発見されたナンバープレートに含まれている文字・模様を認識する処理が、認識部１３により、前述したようにして行われる。この処理による認識結果である文字・模様の情報と、認識対象であった撮像画像とは、後続の他の機器へ出力される。
【００４８】
次に、Ｓ１０７では、Ｓ１０６の認識処理による認識結果である文字・模様が存在していた撮像画像上の位置（存在位置）の情報を取得する処理が認識部１３により行われる。この処理により取得された文字・模様の存在位置の情報は、後述するフォーカス調整制御処理において使用される。
【００４９】
このＳ１０７の処理を終えた後には、Ｓ１０２へ処理を戻して、次の撮像画像を画像取込部１１の画像バッファから１枚取り出して、取り出した撮像画像に対する移動物体検出処理が移動物体検出部１２により行われる。
【００５０】
以上までの処理が文字・模様認識処理である。
次に図５について説明する。図５は、フォーカス調整制御処理の処理手順を図解したフローチャートである。
【００５１】
なお、この図５の処理のうち、Ｓ２０１及びＳ２０２の処理は基準位置設定部１５により行われ、Ｓ２０３からＳ２０８の処理はフォーカス補正部１６により行われる。
まず、Ｓ２０１において、前述した文字・模様認識処理により取得した文字・模様の存在位置の分布についてのヒストグラムを作成する処理が行われる。この処理は、まず、図６に図解するように、撮像画像の画像領域を縦横に分割（図６の例では３×３）してブロック（図６の例では９個のブロック）を予め定めておく。次に、撮像画像から取得した文字・模様の存在位置が、これらのブロックのいずれに属するかを、撮像装置２が一定時間連続して撮像して得た複数枚の撮像画像について行う。そして、各ブロックに属する文字・模様の存在位置の度数をブロック毎に計数し、この計数結果を表すヒストグラムを作成する。
【００５２】
なお、図６の分割例では撮像画像を縦横３×３に分割して９個のブロックとしていたが、ブロックの分割数を図６の例から変更してもよい。
次に、Ｓ２０２ではフォーカス調整基準位置設定処理が行われる。この処理は、Ｓ２０１の処理により作成したヒストグラムにおける度数が所定の条件を満たしているブロックの位置を、前述した基準位置として設定する処理である。このフォーカス調整基準位置設定処理の詳細は後述する。
【００５３】
次に、Ｓ２０３では、Ｓ２０２の処理で設定された基準位置でナンバープレートの文字・模様の認識を行った車両４が映っている一連の撮像画像を、画像取込部１１の画像バッファから読み出して取得する処理が行われる。実際には、この処理では、基準位置でナンバープレートの文字・模様の認識を行った撮像画像の撮像時に対して前及び後の所定時間の範囲に撮像装置２が撮像した一連の撮像画像を、画像バッファから読み出して取得する処理が行われる。この処理により取得された一連の撮像画像は、フォーカス補正部１６自身が有している画像バッファメモリに一時的に蓄積される。
【００５４】
次に、Ｓ２０４では、Ｓ２０３の処理で取得された一連の撮像画像に基づいて、撮像装置２のフォーカスの調整の要否を判定する処理が行われる。このフォーカス調整要否判定処理の詳細は後述する。
【００５５】
次に、Ｓ２０５では、Ｓ２０４のフォーカス調整要否判定処理によって、フォーカスの調整が必要と判定されたか否かを調べる処理が行われる。ここで、フォーカスの調整が必要と判定されていたとき（判定結果がＹｅｓのとき）にはＳ２０６に処理を進め、フォーカスの調整が不要と判定されていたとき（判定結果がＮｏのとき）にはＳ２０７に処理を進める。
【００５６】
Ｓ２０６では、カメラ制御部１７に所定の指示を与えて、撮像装置２のフォーカスの調整を行わせる処理が行われる。なお、このフォーカスの調整手法の例については後述する。
【００５７】
上述したＳ２０６の処理を終えた後はＳ２０３に処理を戻し、フォーカスの調整がなされた撮像装置２で撮像されて得られた撮像画像について、前述したＳ２０３以降の処理が改めて行われて、フォーカスの調整の要否判定が行われる。
【００５８】
Ｓ２０７では、撮像装置２のフォーカス調整を行わずに、ひとまず今回のフォーカス調整制御処理を終了する。その後、予め定めておいた時間が経過したときに、Ｓ２０１へ処理を戻して、フォーカス調整制御処理の実行を改めて開始する。
以上までの処理がフォーカス調整制御処理である。
【００５９】
次に図７について説明する。図７は、図６のＳ２０２の処理である、基準位置設定処理の処理手順を図解したフローチャートである。
図７において、まず、Ｓ３０１では、Ｓ２０１の処理で作成したヒストグラムにおいて、度数の大きい順に上位２個のブロックを抽出し、その２個のブロックの度数の差分を算出する処理が行われる。
【００６０】
次に、Ｓ３０２では、Ｓ３０１の処理で算出した度数の差分値が、所定の閾値Ｔ１以上であるか否かを判定する処理が行われる。ここで、当該差分値が閾値Ｔ１以上であると判定されたとき（判定結果がＹｅｓのとき）にはＳ３０３に処理を進め、当該差分値が閾値Ｔ１未満であると判定されたとき（判定結果がＮｏのとき）にはＳ３０４に処理を進める。
【００６１】
Ｓ３０２の処理結果がＹｅｓと判定される場合とは、前述したヒストグラムにおける最大の度数がその他のいずれの度数より顕著に大きいとみなせる場合である。この場合を言い換えれば、撮像装置２が一定時間連続して撮像して得た複数枚の撮像画像のうちの相当数のものについての文字・模様の存在位置が、最大の度数であるブロック内であった場合である。従って、このブロックの位置は、車両４の車体に装着されているナンバープレートに付されている文字・模様の認識に最適と推定することができる。そこで、Ｓ３０３では、前述したヒストグラムにおいて最大の度数であるブロックの中心位置を、フォーカス調整のための基準位置として設定する処理が行われる。
【００６２】
上述したＳ３０３の処理を終えた後は、図７の基準位置設定処理が終了し、その後は図６の処理を進める。
一方、Ｓ３０２の処理結果がＮｏと判定される場合とは、前述したヒストグラムにおける最大の度数がその他のいずれの度数より顕著に大きいとみなすことはできない場合である。この場合には、文字・模様の存在位置の属する数が比較的大きい幾つかのブロックの位置の中央付近を、フォーカス調整のための基準位置として設定する。
【００６３】
より具体的には、まず、Ｓ３０４において、前述したヒストグラムにおける最大の度数との度数の差が閾値Ｔ１未満であるブロックを全て抽出する処理が行われる。
次に、Ｓ３０５において、抽出された各ブロックについて、その中心位置を表す撮像画像平面上の座標の平均（平面直交座標における軸毎の座標値の加算平均）を算出する処理が行われる。
【００６４】
次に、Ｓ３０６において、Ｓ３０５の処理で算出された座標の平均値が属するブロックの中心位置を、フォーカス調整のための基準位置として設定する処理が行われる。
上述したＳ３０６の処理を終えた後は、図７の基準位置設定処理が終了し、その後は図６の処理を進める。
【００６５】
以上までの処理が基準位置設定処理であり、この処理を基準位置設定部１５が行うことで、フォーカス調整のための前述した基準位置が、撮像装置２が車両４の車体を連続して撮像して得た複数枚の撮像画像に基づいて設定される。
【００６６】
次に図８について説明する。図８は、図６のＳ２０４の処理である、フォーカス調整要否判定処理の処理手順を図解したフローチャートである。
図８において、まず、Ｓ４０１では、図６のＳ２０３の処理によってフォーカス補正部１６の画像バッファメモリに蓄積されている複数枚の撮像画像から３枚の撮像画像を抽出する処理が行われる。この処理で抽出される撮像画像は、Ｓ２０２の基準位置設定処理で設定された基準位置に文字・模様が表されている、前述の基準位置画像と、この基準位置画像の撮像時の前及び後にそれぞれ撮像された、前述の前画像及び後画像とである。但し、このうちの前画像及び後画像は、複数枚の撮像画像のうちで文字・模様が当該基準位置から最も離れた位置に表されている画像である。
【００６７】
図２の例のように設置されている撮像装置２で車両４を連続して撮像して得た撮像画像において、車両４に付されているナンバープレートの各撮像画像上での位置は、撮像時間の経過に従って、画像の最上部から最下部へと変化する。従って、Ｓ４０１の処理で抽出される撮像画像のうちで、前画像は、ナンバープレートに付されている文字・模様が画像の最上部に写っている撮像画像であり、後画像は、ナンバープレートに付されている文字・模様が画像の最下部に写っている撮像画像である。
【００６８】
次に、Ｓ４０２では、Ｓ４０１の処理によって抽出された３枚の撮像画像に対し、前述したパターンマッチングによる文字・模様の認識処理を認識部１３に行わせ、このパターンマッチングの結果として得られるパターンマッチング率を取得する処理が行われる。
【００６９】
なお、このＳ４０２の処理において、認識処理を認識部１３に改めて行わせる代わりに、前述した図４のＳ１０６の処理において撮像画像に対して行った認識処理におけるパターンマッチング率を保存しておいて用いるようにしてもよい。
【００７０】
次に、Ｓ４０３では、基準位置画像と前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と後画像とについてのパターンマッチング率の差分の絶対値との和を算出する処理が行われる。
【００７１】
次に、Ｓ４０４では、Ｓ４０３の処理により算出された値が、所定の閾値Ｔ２以上であるか否かを判定する処理が行われる。ここで、当該算出値が閾値Ｔ２以上であると判定されたとき（判定結果がＹｅｓのとき）にはＳ４０５に処理を進め、当該算出値が閾値Ｔ２未満であると判定されたとき（判定結果がＮｏのとき）にはＳ４０６に処理を進める。
【００７２】
Ｓ４０４の判定処理がＹｅｓと判定される場合とは、Ｓ４０１の処理によって抽出された３枚の撮像画像の各々で、パターンマッチング率のばらつきが顕著に大きいと考えられる場合である。本実施形態では、このような場合には、パターンマッチング率のばらつきの大きさの原因が、撮像画像を撮像した撮像装置２のフォーカスのずれにあるとみなし、Ｓ４０５において、撮像装置２のフォーカス調整が必要との判定を下す処理が行われる。
【００７３】
上述したＳ４０５の処理を終えた後は、図８のフォーカス調整要否判定処理が終了し、その後は図６の処理を進める。
一方、Ｓ４０４の判定処理がＮｏと判定される場合とは、Ｓ４０１の処理によって抽出された３枚の撮像画像の各々でのパターンマッチング率のばらつきはそれほど大きくはないと考えられる場合である。本実施形態では、このような場合には、撮像画像を撮像した撮像装置２のフォーカスのずれは許容範囲内にあるとみなし、Ｓ４０６において、撮像装置２のフォーカス調整は不要との判定を下す処理が行われる。
【００７４】
上述したＳ４０６の処理を終えた後は、図８のフォーカス調整要否判定処理が終了し、その後は図６の処理を進める。
以上までの処理がフォーカス調整要否判定処理であり、この処理をフォーカス補正部１６が行うことで、撮像装置２が車体を連続して撮像して得た複数枚の撮像画像に基づいて、撮像装置２のフォーカスの調整の要否が判定される。
【００７５】
なお、撮像装置２のフォーカスの調整の要否の判定を、以下のようにしてフォーカス補正部１６が行ってもよい。
この手法では、まず、基準位置画像に対して認識部１３が行った、ある文字・模様についての認識処理において、文字・模様とのパターンマッチングに用いる辞書画像毎に求められるパターンマッチング率の最高のものと、それに続く２番目に高いものとを取得する。そして、この両者の差分を算出する。
【００７６】
撮像装置２のフォーカスが基準位置に対して不適切になると、撮像画像中の文字・模様がボケる。すると、上記の２つのパターンマッチング率の差は小さくなる。そこで、上述したようにして算出したパターンマッチング率の差分値が所定の閾値以下であるか否かを判定し、当該所定の閾値以下である場合には、撮像装置２のフォーカスの調整が必要との判定を下すようにする。
【００７７】
この判定手法では、前述した前画像及び後画像を用いないので、画像を蓄積しておくためのメモリの節約となる。
なお、この判定手法においては、認証対象とする文字・模様に類似性の高い文字・模様が他に存在する場合には、判定精度の低下が考えられるので、認証対象とする文字・模様を特定のもの（他に似ている文字・模様が少ないもの）に限定してもよい。
【００７８】
以上のようにしてフォーカスの調整の要否の判定を行った結果、調整が必要との判定がなされた場合には、例えば以下のような手法に従って撮像装置２のフォーカスの調整を行う。
【００７９】
この手法では、前述したフォーカス調整要否判定処理において算出した、基準位置画像と前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と後画像とについてのパターンマッチング率の差分の絶対値とを用いる。そして、フォーカス補正部１６が、まず、この２つの絶対値の大小比較を行う。
【００８０】
この大小比較において、後画像についての絶対値の方が、前画像についての絶対値よりも大きい場合には、前画像の方が後画像よりも文字・模様のボケ量が大きいと考えることができる。
【００８１】
ところで、前述したように、前画像は、ナンバープレートに付されている文字・模様が画像の最上部に写っている撮像画像であり、後画像は、ナンバープレートに付されている文字・模様が画像の最下部に写っている撮像画像である。ここで、車両４は、撮像装置２に向かう方向に進行しており、撮像装置２は車両４を斜め上方から撮像している。従って、前画像を撮像したときの車両４の位置は、基準位置画像の撮像時よりも遠方に位置しており、後画像を撮像したときの車両４の位置は、基準位置画像の撮像時よりも近くに位置している。従って、前画像の方が文字・模様のボケ量が大きいということは、撮像装置２の現在のフォーカスが近い側にずれていると考えられる。
【００８２】
そこで、前述した大小比較により、後画像についての絶対値の方が前画像についての絶対値よりも大きい場合には、撮像装置２のフォーカスを遠ざける方向に調整するようにする。その一方、後画像についての絶対値の方が前画像についての絶対値よりも小さい場合には、撮像装置２のフォーカスを近づける方向に調整するようにする。
【００８３】
フォーカス補正部１６は、そのフォーカスの調整の方向を、前述した大小比較の結果に従って決定し、決定した方向を、フォーカス調整の制御指示と共にカメラ制御部１７に与える。カメラ制御部１７は、フォーカス補正部１６から指示されるフォーカスの調整内容に従って撮像装置２を制御して、撮像装置２のフォーカスの位置調整を行う。
【００８４】
フォーカス補正部１６が、撮像装置２のフォーカスの調整を行うときの調整の方向を、前画像と後画像との各々においてのフォーカスのずれの状況に基づいて以上のようにして決定して、フォーカスの調整を行うようにしてもよい。
【００８５】
図１の画像処理装置１は、以上のような動作を行うことで、撮像装置２のフォーカス調整の要否を自ら判別して、そのフォーカス調整を、その判別結果に応じて自動的に行うことができる。従って、この画像処理装置１を使用することで、撮像装置２のフォーカス調整を行うための調整員による手動での調整作業が不要になる。
【００８６】
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像装置のフォーカスの調整を行うフォーカス調整装置であって、
該撮像装置が移動中の車体を撮像して得た撮像画像に対して行う、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識を、予め用意されている、辞書画像とのパターンマッチングにより行う認識部と、
該撮像装置が該車体を連続して撮像して得た複数枚の該撮像画像に基づいて、該ナンバープレートに付されている文字若しくは模様の認識に最適と推定される位置を、基準位置として該撮像画像上で設定する基準位置設定部と、
該複数枚の撮像画像のうち該基準位置設定部が設定した基準位置に該文字若しくは該模様が表されている画像である基準位置画像に対して該認識を行った結果のパターンマッチング率と、該複数枚の撮像画像のうち該基準位置画像の撮像時の前後にそれぞれ撮像された画像である前画像及び後画像の各々に対して該認識を行った結果のパターンマッチング率とに基づいて、該フォーカスの調整の要否を判定し、該判定結果に従って該フォーカスの調整を行うフォーカス補正部と、
を有することを特徴とするフォーカス調整装置。
（付記２）
該基準位置設定部は、該複数枚の該撮像画像の各々について該認識部が該認識を行って得られた認識結果である該文字若しくは該模様の該撮像画像上での存在位置の分布についてのヒストグラムを求め、該ヒストグラムにおける度数が所定の条件を満たしている存在位置を、該基準位置として設定することを特徴とする付記１に記載のフォーカス調整装置。
（付記３）
該所定の条件は、該度数が該ヒストグラムにおいて最大であって、且つ、該ヒストグラムにおいて度数が二番目に大きいものとの度数の差が所定の閾値以上であることを特徴とする付記２に記載のフォーカス調整装置。
（付記４）
該基準位置設定部は、該所定の条件を満たしている存在位置が存在しない場合には、該ヒストグラムにおける度数と該ヒストグラムにおける度数の最大値との差が該閾値未満である全ての存在位置を示す座標の平均値で表される位置を、該基準位置として設定することを特徴とする付記３に記載のフォーカス調整装置。
（付記５）
該前画像及び該後画像は、該複数枚の撮像画像のうちで該文字若しくは該模様が該基準位置から最も離れた位置に表されている画像であることを特徴とする付記１乃至付記４のうちのいずれか一項に記載のフォーカス調整装置。
（付記６）
該フォーカス補正部は、該基準位置画像と該前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と該後画像とについてのパターンマッチング率の差分の絶対値との和が所定の閾値以上である場合に、該フォーカスの調整が必要との判定を下すことを特徴とする付記１乃至付記５のうちのいずれか一項に記載のフォーカス調整装置。
（付記７）
該フォーカス補正部は、該フォーカスの調整を行うときの調整の方向を、該前画像と該後画像との各々においてのフォーカスのずれの状況（傾向）に基づき決定することを特徴とする付記１乃至付記６のうちのいずれか一項に記載のフォーカス調整装置。
（付記８）
該フォーカス補正部は、該基準位置画像と該前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と該後画像とについてのパターンマッチング率の差分の絶対値との大小比較を行い、該フォーカスの調整を行うときの調整の方向を、該比較の結果に対応する方向に決定することを特徴とする付記７に記載のフォーカス調整装置。
（付記９）
撮像装置のフォーカスの調整を行う方法であって、
該撮像装置が移動中の車体を連続して撮像して得た複数枚の撮像画像に基づいて、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識に最適と推定される位置を、基準位置として該撮像画像上で設定し、
該複数枚の撮像画像のうち、該基準位置に該文字若しくは該模様が表されている画像である基準位置画像、並びに、該基準位置画像の撮像時の前後にそれぞれ撮像された画像である前画像及び後画像の各々に対して行う、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識を、予め用意されている、辞書画像とのパターンマッチングにより行い、
該基準位置画像、該前画像、及び該後画像の各々に対して該認識を行ったことで認識結果を得たときのパターンマッチング率に基づいて、該フォーカスの調整の要否を判定し、該判定結果に従って該フォーカスの調整を行う、
ことを特徴とするフォーカス調整方法。
（付記１０）
該基準位置の設定においては、該複数枚の該撮像画像の各々について、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識を行い、該認識の結果として得られた該文字若しくは該模様の該撮像画像上での存在位置の分布についてのヒストグラムを求め、該ヒストグラムにおける度数が所定の条件を満たしている存在位置を、該基準位置として設定することを特徴とする付記９に記載のフォーカス調整方法。
（付記１１）
該所定の条件は、該度数が該ヒストグラムにおいて最大であって、且つ、該ヒストグラムにおいて度数が二番目に大きいものとの度数の差が所定の閾値以上であることを特徴とする付記１０に記載のフォーカス調整方法。
（付記１２）
該基準位置の設定において、該所定の条件を満たしている存在位置が存在しない場合には、該ヒストグラムにおける度数と該ヒストグラムにおける度数の最大値との差が該閾値未満である全ての存在位置を示す座標の平均値で表される位置を、該基準位置として設定することを特徴とする付記１１に記載のフォーカス調整方法。
（付記１３）
該前画像及び該後画像は、該複数枚の撮像画像のうちで該文字若しくは該模様が該基準位置から最も離れた位置に表されている画像であることを特徴とする付記９乃至付記１２のうちのいずれか一項に記載のフォーカス調整方法。
（付記１４）
該フォーカスの調整の要否の判定においては、該基準位置画像と該前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と該後画像とについてのパターンマッチング率の差分の絶対値との和が所定の閾値以上である場合に、該フォーカスの調整が必要との判定を下すことを特徴とする付記９乃至付記１３のうちのいずれか一項に記載のフォーカス調整方法。
（付記１５）
該フォーカスの調整を行うときには、該フォーカスの調整を行うときの調整の方向を、該前画像と該後画像との各々においてのフォーカスのずれの状況に基づき決定することを特徴とする付記９乃至付記１４のうちのいずれか一項に記載のフォーカス調整方法。
（付記１６）
該フォーカスの調整を行うときの調整の方向の決定では、該基準位置画像と該前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と該後画像とについてのパターンマッチング率の差分の絶対値との大小比較を行い、該フォーカスの調整を行うときの調整の方向を、該比較の結果に対応する方向に決定することを特徴とする付記１５に記載のフォーカス調整方法。
【符号の説明】
【００８７】
１ 画像処理装置
２ 撮像装置
３ 道路
４ 車両
５ 支柱
１１ 画像取込部
１２ 移動物体検出部
１３ 認識部
１４ 辞書画像データベース
１５ 基準位置設定部
１６ フォーカス補正部
１７ カメラ制御部
２０ コンピュータ
２１ ＭＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ハードディスク装置
２５ 入力装置
２６ 表示装置
２７ インタフェース装置
２８ 記録媒体駆動装置
２９ バス
３０ 可搬型記録媒体
【技術分野】
【０００１】
本明細書で議論される実施態様は、移動体の高品位な画像を獲得する技術に関する。
【背景技術】
【０００２】
近年、屋外に設置した撮像設置の撮像範囲内を移動する物体（移動体）を検知し、その移動体の模様や移動体に付されている文字などを認識する画像処理システムが続々と製品化されている。このような画像処理システムに、赤外線カメラとＬＥＤ（発光ダイオード）等の赤外光照明とを組み合わせた構成の撮像システムを用いて、昼夜を問わず文字・模様の認識を行えるようにした製品もある。
【０００３】
また、このような画像処理システムに使用される撮像装置の多くは、例えば屋外の柱などの上部に設置されるが、この設置時にはカメラのフォーカス、ズーム等の調整が行われる。
【０００４】
カメラのフォーカス調整技術に関し、オートフォーカスの技術が広く知られている。一般的に、オートフォーカスは、画像全体に亘ってフォーカスが適切となるように調整するものである。このオートフォーカス技術について、幾つかの技術が知られている。そのうちのひとつは、所定台数分の自動車の撮像画像に映っているナンバープレートの文字の認識処理により求まる認識結果と過去の認識履歴とが所定量以上異なる場合に、当該文字のボケ具合の評価結果に基づきフォーカスの調整を行うというものである。
【０００５】
また、この他の背景技術として、自動車の撮像画像からナンバープレートの位置を特定する技術や、画像内の２つの領域のボケ具合の程度の差に応じてカメラの焦点をずらす方向を決定してカメラの焦点を移動体に合わせる技術が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２３５９２１号公報
【特許文献２】特開昭６３−１２０３９９号公報
【特許文献３】特開２０１０−６０９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像内に局在する模様、文字等の認識対象のみを認識する場合には、その認識対象周辺にフォーカスが確実に合っていることが求められる。このため、前述したようなオートフォーカス技術だけでは対応しきれず、設置現場での調整員による手動での調整が必要となる。
【０００８】
また、この調整作業は屋外の路上等で通行を制限して行うような場合もあるため、現場での作業時にて確実な調整完了を求められる。しかしながら、調整作業は、個人の感性・判断に依存する面があることや、設置箇所の数に伴う複数作業グループでの調整作業の実施、作業当日の天候、通行制限の時間的制約等に起因して、その調整が最適でないままに現場作業を終了せざるを得ない場合もある。このような場合には、撮影画像や認識処理の状況を確認の上、後日現場にて改めて調整作業が必要となることもあり、道路等の許可申請や人員・機材確保等の作業が再度発生してしまうことにもなる。
【０００９】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、撮像装置のフォーカス調整を、簡易に且つ確実に行えるようにすることである。
【課題を解決するための手段】
【００１０】
本明細書で後述するフォーカス調整装置は、撮像装置のフォーカスの調整を行うものである。このフォーカス調整装置のひとつには、認識部と、基準位置設定部と、フォーカス補正部と、を有するというものがある。ここで、認識部は、撮像装置が移動中の車体を撮像して得た撮像画像に対して行う、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識を行う。なお、この文字若しくは模様の認識は、予め用意されている、辞書画像とのパターンマッチングにより行う。また、基準位置設定部は、撮像装置が車体を連続して撮像して得た複数枚の撮像画像に基づいて、ナンバープレートに付されている文字若しくは模様の認識に最適と推定される位置を、基準位置として該撮像画像上で設定する。そして、フォーカス補正部は、基準位置画像、前画像、及び後画像の各々に対して認識を行った結果のパターンマッチング率に基づいて、該フォーカスの調整の要否を判定し、該判定結果に従って該フォーカスの調整を行う。なお、基準位置画像とは、前述の複数の撮像画像のうち基準位置設定部が設定した基準位置に文字若しくは模様が表されている画像である。また、前画像及び後画像は、それぞれ、前述の複数の撮像画像のうち基準位置画像の撮像時の前後にそれぞれ撮像された画像である。
【００１１】
また、本明細書で後述する方法のひとつに、撮像装置のフォーカスの調整を行う方法がある。この方法では、まず、撮像装置が移動中の車体を連続して撮像して得た複数枚の撮像画像に基づいて、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識に最適と推定される位置を、基準位置として該撮像画像上で設定する。次に、この複数の撮像画像のうちの基準位置画像、前画像及び後画像の各々に対し、車体に装着されているナンバープレートに付されている文字若しくは模様の認識を行う。この文字若しくは模様の認識は、予め用意されている、辞書画像とのパターンマッチングにより行う。なお、ここで、基準位置画像とは、この複数の撮像画像のうち、前述の基準位置に文字若しくは模様が表されている画像である。また、前画像及び後画像は、それぞれ、基準位置画像の撮像時の前後にそれぞれ撮像された画像である。その後、この方法では、前述の基準位置画像、前画像、及び後画像の各々に対して認識を行ったことで認識結果を得たときのパターンマッチング率に基づいて、フォーカスの調整の要否を判定し、この判定結果に従って該フォーカスの調整を行う。
【発明の効果】
【００１２】
本明細書で後述する装置は、撮像装置のフォーカス調整を、簡易に且つ確実に行うことができる。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置の機能構成図を示す図である。
【図２】撮像装置２の設置例である。
【図３】図１の画像処理装置として動作させることのできるコンピュータの構成例である。
【図４】文字・模様認識処理の処理手順を図解したフローチャートである。
【図５】フォーカス調整制御処理の処理手順を図解したフローチャートである。
【図６】撮像画像の画像領域のブロックへの分割例である。
【図７】基準位置設定処理の処理手順を図解したフローチャートである。
【図８】フォーカス調整要否判定処理の処理手順を図解したフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面に基づいて説明する。
まず図１について説明する。図１は画像処理装置の機能構成図である。
図１において、画像処理装置１は、撮像装置（カメラ）２により得られる撮像画像に対して各種の画像処理を行って、撮像画像から移動物体を検出すると共に、撮像画像から文字若しくは模様の認識を行うものである。また、この画像処理装置１は、撮像装置２のフォーカスの調整を行うフォーカス調整装置の機能を備えている。
【００１５】
ここで図２について説明する。図２は、撮像装置２の設置例を図解したものである。
撮像装置２は、道路３を走行している移動中の車両４の車体を、その進行方向の前方のある程度離れた位置の斜め上方から、当該車体に付されているナンバープレートが映り込むような構図で連続して撮像し、得られた複数枚の撮像画像を画像処理装置１に送付する。この撮像装置２は、地面に立てられている支柱５の上部に固定されており、その撮像方向も固定されている。
【００１６】
図１の説明へ戻る。画像処理装置１は、画像取込部１１、移動物体検出部１２、認識部１３、辞書画像データベース１４、基準位置設定部１５、フォーカス補正部１６、及びカメラ制御部１７を備えている。
【００１７】
画像取込部１１は、画像処理装置１に送付されてくる複数枚の撮像画像を取り込んで、画像取込部１１自身に備えられている画像バッファに格納する。この画像バッファはリングバッファ構成とし、１台の車両４の車体の像が部分的にでも映っている全ての撮像画像を格納するために十分な格納容量を有しているものとする。
【００１８】
移動物体検出部１２は、画像取込部１１の画像バッファに格納されている撮像画像を１枚ずつ取り出し、取り出した画像に映っている、車両４の車体等の移動物体の像の検出を行う。この検出は、例えば、車両４等の移動物体が全く映っていない道路３の画像を、支柱５に固定されている撮像装置２で予め撮像しておく。そして、この撮像により得られた画像と画像バッファから取り出した撮像画像との差分画像を求め、この差分画像を構成する画素のうち画素値が所定値以上であるものの集合により特定される領域を当該撮像画像から抽出する。この抽出した領域に映っている画像を、移動物体の像の検出結果とする。
【００１９】
認識部１３は、移動物体検出部１２により撮像画像から検出された移動物体の像に対し、車両４の車体に装着されているナンバープレートに付されている文字・模様の認識処理を行う。
【００２０】
本実施形態においては、認識部１３は、この認識処理を、ナンバープレートに付されていることがあり得る各種の文字・模様の画像である辞書画像とのパターンマッチングにより行う。辞書画像データベース１４には、このパターンマッチングに用いられる辞書画像のデータが、その文字・模様の情報と対応付けられて予め蓄積されている。
【００２１】
認識部１３は、辞書画像データベース１４に蓄積されている辞書画像と、撮像画像に映っている車両４の車体の像から抽出される、辞書画像に対応するサイズの部分画像領域とのパターンマッチングを行う。
【００２２】
認識部１３は、このパターンマッチングを、車両４の車体の像から抽出される全ての部分画像領域について行うと共に、辞書画像データベース１４に蓄積されている全ての辞書画像についても行う。なお、このパターンマッチングを、車両４の車体の像全体から抽出される部分画像領域について行う代わりに、例えば後述の処理のようにして、車両４の車体の像から探索したナンバープレートの像から抽出される部分画像領域について行うようにしてもよい。
【００２３】
次に、認識部１３は、このパターンマッチングの結果として得られるパターンマッチング率（類似度）が所定値以上で最高となる辞書画像と、そのときの部分画像領域の位置とを特定する。ここで特定された位置は、その車体に装着されているナンバープレートに付されている文字・模様についての、撮像画像上での存在位置である。
【００２４】
認識部１３は、更に、辞書画像データベース１４から、この特定された辞書画像に対応付けられている文字・模様の情報を取り出す。この取り出された情報が、認識部１３による認識処理の結果として得られる情報である。
【００２５】
なお、移動物体検出部１２は、車両４の車体に限らず、道路３を走行しているオートバイや自転車などを移動物体として検出することもある。しかし、これらには進行方向の前方にナンバープレートに付されていないので、認識部１３が認識処理を行っても文字・模様の認識結果は得られない。
【００２６】
基準位置設定部１５は、撮像装置２が車両４の車体を連続して撮像して得た複数枚の撮像画像に基づいて、当該車体に装着されているナンバープレートに付されている文字・模様の認識に最適と推定される位置を、基準位置として当該撮像画像上で設定する。この基準位置設定部１５による基準位置の設定手法の詳細は後述する。
【００２７】
フォーカス補正部１６は、認識部１３が前述した認識結果を得たときのパターンマッチング率に基づいて、撮像装置２のフォーカスの調整の要否を判定し、この判定結果に従って、撮像装置２のフォーカスの調整を行う。
【００２８】
フォーカス補正部１６による、撮像装置２のフォーカスの調整の要否の判定は、より具体的には、以下のようにして行われる。
フォーカス補正部１６は、まず、撮像装置２が撮像した複数の撮像画像のうちから、基準位置設定部１５が設定した基準位置に文字・模様が表されている画像に対して認識を行ったことで認識部１３が認識結果を得たときのパターンマッチング率を得る。ここで、この基準位置に文字・模様が表されている画像を「基準位置画像」と称することとする。
【００２９】
更に、フォーカス補正部１６は、当該複数の撮像画像のうちから、基準位置画像の撮像時の前及び後にそれぞれ撮像された画像の各々に対して認識を行ったことで認識部１３が認識結果を得たときのパターンマッチング率を得る。なお、この基準位置画像の撮像時の前及び後にそれぞれ撮像された画像を、「前画像」及び「後画像」と称することとする。
【００３０】
フォーカス補正部１６は、これらの基準位置画像、前画像、及び後画像のそれぞれについてのパターンマッチング率に基づいて、撮像装置２のフォーカスの調整の要否を判定する。
【００３１】
このフォーカス補正部１６による、撮像装置２のフォーカスの調整の要否の判定の手法についての詳細は後述する。
カメラ制御部１７は、フォーカス補正部１６から指示されるフォーカスの調整内容に従って撮像装置２を制御して、撮像装置２のフォーカスの位置調整を行う。
【００３２】
図１の画像処理装置１は以上の構成を備えている。なお、この画像処理装置１が行う動作を、標準的な構成のコンピュータに行わせることもできる。
ここで図３について説明する。図３には、画像処理装置１として動作させることのできるコンピュータ２０の構成例が図解されている。
【００３３】
このコンピュータ２０は、ＭＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ハードディスク装置２４、入力装置２５、表示装置２６、インタフェース装置２７、及び記録媒体駆動装置２８を備えている。なお、これらの構成要素はバス２９を介して接続されており、ＭＰＵ２１の管理の下で各種のデータを相互に授受することができる。
【００３４】
ＭＰＵ（Micro Processing Unit）２１は、このコンピュータ２０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）２２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ２１は、この基本制御プログラムをコンピュータ２０の起動時に読み出して実行することにより、このコンピュータ２０の各構成要素の動作制御が可能になる。
【００３５】
ＲＡＭ（Random Access Memory）２３は、ＭＰＵ２１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【００３６】
ハードディスク装置２４は、ＭＰＵ２１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。
ＭＰＵ２１は、ハードディスク装置２４に記憶されている所定の制御プログラムを読み出して実行することにより、後述する制御処理を行えるようになる。
【００３７】
入力装置２５は、例えばキーボード装置やマウス装置であり、コンピュータ２０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ２１に送付する。
【００３８】
表示装置２６は例えば液晶ディスプレイであり、ＭＰＵ２１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置２７は、このコンピュータ２０に接続される各種機器との間での各種データの授受の管理を行う。より具体的には、インタフェース装置２７は、撮像装置２からから送られてくる撮像画像信号のアナログ−デジタル変換や、認識結果情報・出力画像データなどの後続機器への送信などを行う。
【００３９】
記録媒体駆動装置２８は、可搬型記録媒体３０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ２１は、可搬型記録媒体３０に記録されている所定の制御プログラムを、記録媒体駆動装置２８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体３０としては、例えばＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などがある。
【００４０】
このようなコンピュータ２０を画像処理装置１として動作させるには、まず、画像処理装置１で行われる各種処理の処理内容をＭＰＵ２１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置２４若しくは可搬型記録媒体３０に予め格納しておく。そして、ＭＰＵ２１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ２１が、図１の画像処理装置１が有している各部として機能し、このコンピュータ２０による画像処理装置１としての動作が可能になる。
【００４１】
次に、画像処理装置１により行われる、撮像装置２のフォーカス調整の動作手順について、フローチャートを参照しながら説明する。
まず図４について説明する。図４は、文字・模様認識処理の処理手順を図解したフローチャートである。
【００４２】
まず、図４のＳ１０１において、撮像画像取り込み処理が画像取込部１１により行われる。この処理は、画像処理装置１に送付されてくる複数枚の撮像画像を取り込んで、画像取込部１１自身に備えられている画像バッファに格納する処理である。なお、この撮像画像取り込み処理は、撮像装置２から撮像画像が送付されてくる度に実行されて、撮像画像が送付順に画像バッファに格納される。
【００４３】
次に、Ｓ１０２において、移動物体検出処理が移動物体検出部１２により行われる。この処理は、画像取込部１１の画像バッファに格納されている撮像画像を１枚取り出し、取り出した画像に映っている、車両４の車体等の移動物体の像の検出を、移動物体検出部１２が、前述したようにして行う処理である。
【００４４】
次に、Ｓ１０３において、前述したＳ１０２の移動物体検出処理により撮像画像から移動物体を検出したか否かを判定する処理が移動物体検出部１２により行われる。ここで、移動物体を検出したと判定されたとき（判定結果がＹｅｓのとき）にはＳ１０４に処理を進める。一方、移動物体を検出しなかったと判定されたとき（判定結果がＮｏのとき）にはＳ１０２へ処理を戻して、次の撮像画像を画像取込部１１の画像バッファから１枚取り出して、取り出した撮像画像に対する移動物体検出処理が移動物体検出部１２により行われる。
【００４５】
次に、Ｓ１０４では、Ｓ１０２の処理により検出された移動物体の像から、車両４の車体に付されているナンバープレートを探索する処理が認識部１３により行われる。この処理は、例えば、移動物体の像のエッジ抽出を行って、撮像画像の水平方向の中央付近に存在する矩形状のエッジがナンバープレートであると推定して、探索を行う。
【００４６】
次に、Ｓ１０５では、Ｓ１０４の探索処理によりナンバープレートを発見したか否かを判定する処理が認識部１３により行われる。ここで、ナンバープレートを発見したと判定されたとき（判定結果がＹｅｓのとき）にはＳ１０６に処理を進める。一方、ナンバープレートを発見しなかったと判定されたとき（判定結果がＮｏのとき）にはＳ１０２へ処理を戻して、次の撮像画像を画像取込部１１の画像バッファから１枚取り出し、取り出した撮像画像に対する移動物体検出処理が行われる。
【００４７】
次に、Ｓ１０６では、Ｓ１０４の処理により発見されたナンバープレートに含まれている文字・模様を認識する処理が、認識部１３により、前述したようにして行われる。この処理による認識結果である文字・模様の情報と、認識対象であった撮像画像とは、後続の他の機器へ出力される。
【００４８】
次に、Ｓ１０７では、Ｓ１０６の認識処理による認識結果である文字・模様が存在していた撮像画像上の位置（存在位置）の情報を取得する処理が認識部１３により行われる。この処理により取得された文字・模様の存在位置の情報は、後述するフォーカス調整制御処理において使用される。
【００４９】
このＳ１０７の処理を終えた後には、Ｓ１０２へ処理を戻して、次の撮像画像を画像取込部１１の画像バッファから１枚取り出して、取り出した撮像画像に対する移動物体検出処理が移動物体検出部１２により行われる。
【００５０】
以上までの処理が文字・模様認識処理である。
次に図５について説明する。図５は、フォーカス調整制御処理の処理手順を図解したフローチャートである。
【００５１】
なお、この図５の処理のうち、Ｓ２０１及びＳ２０２の処理は基準位置設定部１５により行われ、Ｓ２０３からＳ２０８の処理はフォーカス補正部１６により行われる。
まず、Ｓ２０１において、前述した文字・模様認識処理により取得した文字・模様の存在位置の分布についてのヒストグラムを作成する処理が行われる。この処理は、まず、図６に図解するように、撮像画像の画像領域を縦横に分割（図６の例では３×３）してブロック（図６の例では９個のブロック）を予め定めておく。次に、撮像画像から取得した文字・模様の存在位置が、これらのブロックのいずれに属するかを、撮像装置２が一定時間連続して撮像して得た複数枚の撮像画像について行う。そして、各ブロックに属する文字・模様の存在位置の度数をブロック毎に計数し、この計数結果を表すヒストグラムを作成する。
【００５２】
なお、図６の分割例では撮像画像を縦横３×３に分割して９個のブロックとしていたが、ブロックの分割数を図６の例から変更してもよい。
次に、Ｓ２０２ではフォーカス調整基準位置設定処理が行われる。この処理は、Ｓ２０１の処理により作成したヒストグラムにおける度数が所定の条件を満たしているブロックの位置を、前述した基準位置として設定する処理である。このフォーカス調整基準位置設定処理の詳細は後述する。
【００５３】
次に、Ｓ２０３では、Ｓ２０２の処理で設定された基準位置でナンバープレートの文字・模様の認識を行った車両４が映っている一連の撮像画像を、画像取込部１１の画像バッファから読み出して取得する処理が行われる。実際には、この処理では、基準位置でナンバープレートの文字・模様の認識を行った撮像画像の撮像時に対して前及び後の所定時間の範囲に撮像装置２が撮像した一連の撮像画像を、画像バッファから読み出して取得する処理が行われる。この処理により取得された一連の撮像画像は、フォーカス補正部１６自身が有している画像バッファメモリに一時的に蓄積される。
【００５４】
次に、Ｓ２０４では、Ｓ２０３の処理で取得された一連の撮像画像に基づいて、撮像装置２のフォーカスの調整の要否を判定する処理が行われる。このフォーカス調整要否判定処理の詳細は後述する。
【００５５】
次に、Ｓ２０５では、Ｓ２０４のフォーカス調整要否判定処理によって、フォーカスの調整が必要と判定されたか否かを調べる処理が行われる。ここで、フォーカスの調整が必要と判定されていたとき（判定結果がＹｅｓのとき）にはＳ２０６に処理を進め、フォーカスの調整が不要と判定されていたとき（判定結果がＮｏのとき）にはＳ２０７に処理を進める。
【００５６】
Ｓ２０６では、カメラ制御部１７に所定の指示を与えて、撮像装置２のフォーカスの調整を行わせる処理が行われる。なお、このフォーカスの調整手法の例については後述する。
【００５７】
上述したＳ２０６の処理を終えた後はＳ２０３に処理を戻し、フォーカスの調整がなされた撮像装置２で撮像されて得られた撮像画像について、前述したＳ２０３以降の処理が改めて行われて、フォーカスの調整の要否判定が行われる。
【００５８】
Ｓ２０７では、撮像装置２のフォーカス調整を行わずに、ひとまず今回のフォーカス調整制御処理を終了する。その後、予め定めておいた時間が経過したときに、Ｓ２０１へ処理を戻して、フォーカス調整制御処理の実行を改めて開始する。
以上までの処理がフォーカス調整制御処理である。
【００５９】
次に図７について説明する。図７は、図６のＳ２０２の処理である、基準位置設定処理の処理手順を図解したフローチャートである。
図７において、まず、Ｓ３０１では、Ｓ２０１の処理で作成したヒストグラムにおいて、度数の大きい順に上位２個のブロックを抽出し、その２個のブロックの度数の差分を算出する処理が行われる。
【００６０】
次に、Ｓ３０２では、Ｓ３０１の処理で算出した度数の差分値が、所定の閾値Ｔ１以上であるか否かを判定する処理が行われる。ここで、当該差分値が閾値Ｔ１以上であると判定されたとき（判定結果がＹｅｓのとき）にはＳ３０３に処理を進め、当該差分値が閾値Ｔ１未満であると判定されたとき（判定結果がＮｏのとき）にはＳ３０４に処理を進める。
【００６１】
Ｓ３０２の処理結果がＹｅｓと判定される場合とは、前述したヒストグラムにおける最大の度数がその他のいずれの度数より顕著に大きいとみなせる場合である。この場合を言い換えれば、撮像装置２が一定時間連続して撮像して得た複数枚の撮像画像のうちの相当数のものについての文字・模様の存在位置が、最大の度数であるブロック内であった場合である。従って、このブロックの位置は、車両４の車体に装着されているナンバープレートに付されている文字・模様の認識に最適と推定することができる。そこで、Ｓ３０３では、前述したヒストグラムにおいて最大の度数であるブロックの中心位置を、フォーカス調整のための基準位置として設定する処理が行われる。
【００６２】
上述したＳ３０３の処理を終えた後は、図７の基準位置設定処理が終了し、その後は図６の処理を進める。
一方、Ｓ３０２の処理結果がＮｏと判定される場合とは、前述したヒストグラムにおける最大の度数がその他のいずれの度数より顕著に大きいとみなすことはできない場合である。この場合には、文字・模様の存在位置の属する数が比較的大きい幾つかのブロックの位置の中央付近を、フォーカス調整のための基準位置として設定する。
【００６３】
より具体的には、まず、Ｓ３０４において、前述したヒストグラムにおける最大の度数との度数の差が閾値Ｔ１未満であるブロックを全て抽出する処理が行われる。
次に、Ｓ３０５において、抽出された各ブロックについて、その中心位置を表す撮像画像平面上の座標の平均（平面直交座標における軸毎の座標値の加算平均）を算出する処理が行われる。
【００６４】
次に、Ｓ３０６において、Ｓ３０５の処理で算出された座標の平均値が属するブロックの中心位置を、フォーカス調整のための基準位置として設定する処理が行われる。
上述したＳ３０６の処理を終えた後は、図７の基準位置設定処理が終了し、その後は図６の処理を進める。
【００６５】
以上までの処理が基準位置設定処理であり、この処理を基準位置設定部１５が行うことで、フォーカス調整のための前述した基準位置が、撮像装置２が車両４の車体を連続して撮像して得た複数枚の撮像画像に基づいて設定される。
【００６６】
次に図８について説明する。図８は、図６のＳ２０４の処理である、フォーカス調整要否判定処理の処理手順を図解したフローチャートである。
図８において、まず、Ｓ４０１では、図６のＳ２０３の処理によってフォーカス補正部１６の画像バッファメモリに蓄積されている複数枚の撮像画像から３枚の撮像画像を抽出する処理が行われる。この処理で抽出される撮像画像は、Ｓ２０２の基準位置設定処理で設定された基準位置に文字・模様が表されている、前述の基準位置画像と、この基準位置画像の撮像時の前及び後にそれぞれ撮像された、前述の前画像及び後画像とである。但し、このうちの前画像及び後画像は、複数枚の撮像画像のうちで文字・模様が当該基準位置から最も離れた位置に表されている画像である。
【００６７】
図２の例のように設置されている撮像装置２で車両４を連続して撮像して得た撮像画像において、車両４に付されているナンバープレートの各撮像画像上での位置は、撮像時間の経過に従って、画像の最上部から最下部へと変化する。従って、Ｓ４０１の処理で抽出される撮像画像のうちで、前画像は、ナンバープレートに付されている文字・模様が画像の最上部に写っている撮像画像であり、後画像は、ナンバープレートに付されている文字・模様が画像の最下部に写っている撮像画像である。
【００６８】
次に、Ｓ４０２では、Ｓ４０１の処理によって抽出された３枚の撮像画像に対し、前述したパターンマッチングによる文字・模様の認識処理を認識部１３に行わせ、このパターンマッチングの結果として得られるパターンマッチング率を取得する処理が行われる。
【００６９】
なお、このＳ４０２の処理において、認識処理を認識部１３に改めて行わせる代わりに、前述した図４のＳ１０６の処理において撮像画像に対して行った認識処理におけるパターンマッチング率を保存しておいて用いるようにしてもよい。
【００７０】
次に、Ｓ４０３では、基準位置画像と前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と後画像とについてのパターンマッチング率の差分の絶対値との和を算出する処理が行われる。
【００７１】
次に、Ｓ４０４では、Ｓ４０３の処理により算出された値が、所定の閾値Ｔ２以上であるか否かを判定する処理が行われる。ここで、当該算出値が閾値Ｔ２以上であると判定されたとき（判定結果がＹｅｓのとき）にはＳ４０５に処理を進め、当該算出値が閾値Ｔ２未満であると判定されたとき（判定結果がＮｏのとき）にはＳ４０６に処理を進める。
【００７２】
Ｓ４０４の判定処理がＹｅｓと判定される場合とは、Ｓ４０１の処理によって抽出された３枚の撮像画像の各々で、パターンマッチング率のばらつきが顕著に大きいと考えられる場合である。本実施形態では、このような場合には、パターンマッチング率のばらつきの大きさの原因が、撮像画像を撮像した撮像装置２のフォーカスのずれにあるとみなし、Ｓ４０５において、撮像装置２のフォーカス調整が必要との判定を下す処理が行われる。
【００７３】
上述したＳ４０５の処理を終えた後は、図８のフォーカス調整要否判定処理が終了し、その後は図６の処理を進める。
一方、Ｓ４０４の判定処理がＮｏと判定される場合とは、Ｓ４０１の処理によって抽出された３枚の撮像画像の各々でのパターンマッチング率のばらつきはそれほど大きくはないと考えられる場合である。本実施形態では、このような場合には、撮像画像を撮像した撮像装置２のフォーカスのずれは許容範囲内にあるとみなし、Ｓ４０６において、撮像装置２のフォーカス調整は不要との判定を下す処理が行われる。
【００７４】
上述したＳ４０６の処理を終えた後は、図８のフォーカス調整要否判定処理が終了し、その後は図６の処理を進める。
以上までの処理がフォーカス調整要否判定処理であり、この処理をフォーカス補正部１６が行うことで、撮像装置２が車体を連続して撮像して得た複数枚の撮像画像に基づいて、撮像装置２のフォーカスの調整の要否が判定される。
【００７５】
なお、撮像装置２のフォーカスの調整の要否の判定を、以下のようにしてフォーカス補正部１６が行ってもよい。
この手法では、まず、基準位置画像に対して認識部１３が行った、ある文字・模様についての認識処理において、文字・模様とのパターンマッチングに用いる辞書画像毎に求められるパターンマッチング率の最高のものと、それに続く２番目に高いものとを取得する。そして、この両者の差分を算出する。
【００７６】
撮像装置２のフォーカスが基準位置に対して不適切になると、撮像画像中の文字・模様がボケる。すると、上記の２つのパターンマッチング率の差は小さくなる。そこで、上述したようにして算出したパターンマッチング率の差分値が所定の閾値以下であるか否かを判定し、当該所定の閾値以下である場合には、撮像装置２のフォーカスの調整が必要との判定を下すようにする。
【００７７】
この判定手法では、前述した前画像及び後画像を用いないので、画像を蓄積しておくためのメモリの節約となる。
なお、この判定手法においては、認証対象とする文字・模様に類似性の高い文字・模様が他に存在する場合には、判定精度の低下が考えられるので、認証対象とする文字・模様を特定のもの（他に似ている文字・模様が少ないもの）に限定してもよい。
【００７８】
以上のようにしてフォーカスの調整の要否の判定を行った結果、調整が必要との判定がなされた場合には、例えば以下のような手法に従って撮像装置２のフォーカスの調整を行う。
【００７９】
この手法では、前述したフォーカス調整要否判定処理において算出した、基準位置画像と前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と後画像とについてのパターンマッチング率の差分の絶対値とを用いる。そして、フォーカス補正部１６が、まず、この２つの絶対値の大小比較を行う。
【００８０】
この大小比較において、後画像についての絶対値の方が、前画像についての絶対値よりも大きい場合には、前画像の方が後画像よりも文字・模様のボケ量が大きいと考えることができる。
【００８１】
ところで、前述したように、前画像は、ナンバープレートに付されている文字・模様が画像の最上部に写っている撮像画像であり、後画像は、ナンバープレートに付されている文字・模様が画像の最下部に写っている撮像画像である。ここで、車両４は、撮像装置２に向かう方向に進行しており、撮像装置２は車両４を斜め上方から撮像している。従って、前画像を撮像したときの車両４の位置は、基準位置画像の撮像時よりも遠方に位置しており、後画像を撮像したときの車両４の位置は、基準位置画像の撮像時よりも近くに位置している。従って、前画像の方が文字・模様のボケ量が大きいということは、撮像装置２の現在のフォーカスが近い側にずれていると考えられる。
【００８２】
そこで、前述した大小比較により、後画像についての絶対値の方が前画像についての絶対値よりも大きい場合には、撮像装置２のフォーカスを遠ざける方向に調整するようにする。その一方、後画像についての絶対値の方が前画像についての絶対値よりも小さい場合には、撮像装置２のフォーカスを近づける方向に調整するようにする。
【００８３】
フォーカス補正部１６は、そのフォーカスの調整の方向を、前述した大小比較の結果に従って決定し、決定した方向を、フォーカス調整の制御指示と共にカメラ制御部１７に与える。カメラ制御部１７は、フォーカス補正部１６から指示されるフォーカスの調整内容に従って撮像装置２を制御して、撮像装置２のフォーカスの位置調整を行う。
【００８４】
フォーカス補正部１６が、撮像装置２のフォーカスの調整を行うときの調整の方向を、前画像と後画像との各々においてのフォーカスのずれの状況に基づいて以上のようにして決定して、フォーカスの調整を行うようにしてもよい。
【００８５】
図１の画像処理装置１は、以上のような動作を行うことで、撮像装置２のフォーカス調整の要否を自ら判別して、そのフォーカス調整を、その判別結果に応じて自動的に行うことができる。従って、この画像処理装置１を使用することで、撮像装置２のフォーカス調整を行うための調整員による手動での調整作業が不要になる。
【００８６】
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像装置のフォーカスの調整を行うフォーカス調整装置であって、
該撮像装置が移動中の車体を撮像して得た撮像画像に対して行う、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識を、予め用意されている、辞書画像とのパターンマッチングにより行う認識部と、
該撮像装置が該車体を連続して撮像して得た複数枚の該撮像画像に基づいて、該ナンバープレートに付されている文字若しくは模様の認識に最適と推定される位置を、基準位置として該撮像画像上で設定する基準位置設定部と、
該複数枚の撮像画像のうち該基準位置設定部が設定した基準位置に該文字若しくは該模様が表されている画像である基準位置画像に対して該認識を行った結果のパターンマッチング率と、該複数枚の撮像画像のうち該基準位置画像の撮像時の前後にそれぞれ撮像された画像である前画像及び後画像の各々に対して該認識を行った結果のパターンマッチング率とに基づいて、該フォーカスの調整の要否を判定し、該判定結果に従って該フォーカスの調整を行うフォーカス補正部と、
を有することを特徴とするフォーカス調整装置。
（付記２）
該基準位置設定部は、該複数枚の該撮像画像の各々について該認識部が該認識を行って得られた認識結果である該文字若しくは該模様の該撮像画像上での存在位置の分布についてのヒストグラムを求め、該ヒストグラムにおける度数が所定の条件を満たしている存在位置を、該基準位置として設定することを特徴とする付記１に記載のフォーカス調整装置。
（付記３）
該所定の条件は、該度数が該ヒストグラムにおいて最大であって、且つ、該ヒストグラムにおいて度数が二番目に大きいものとの度数の差が所定の閾値以上であることを特徴とする付記２に記載のフォーカス調整装置。
（付記４）
該基準位置設定部は、該所定の条件を満たしている存在位置が存在しない場合には、該ヒストグラムにおける度数と該ヒストグラムにおける度数の最大値との差が該閾値未満である全ての存在位置を示す座標の平均値で表される位置を、該基準位置として設定することを特徴とする付記３に記載のフォーカス調整装置。
（付記５）
該前画像及び該後画像は、該複数枚の撮像画像のうちで該文字若しくは該模様が該基準位置から最も離れた位置に表されている画像であることを特徴とする付記１乃至付記４のうちのいずれか一項に記載のフォーカス調整装置。
（付記６）
該フォーカス補正部は、該基準位置画像と該前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と該後画像とについてのパターンマッチング率の差分の絶対値との和が所定の閾値以上である場合に、該フォーカスの調整が必要との判定を下すことを特徴とする付記１乃至付記５のうちのいずれか一項に記載のフォーカス調整装置。
（付記７）
該フォーカス補正部は、該フォーカスの調整を行うときの調整の方向を、該前画像と該後画像との各々においてのフォーカスのずれの状況（傾向）に基づき決定することを特徴とする付記１乃至付記６のうちのいずれか一項に記載のフォーカス調整装置。
（付記８）
該フォーカス補正部は、該基準位置画像と該前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と該後画像とについてのパターンマッチング率の差分の絶対値との大小比較を行い、該フォーカスの調整を行うときの調整の方向を、該比較の結果に対応する方向に決定することを特徴とする付記７に記載のフォーカス調整装置。
（付記９）
撮像装置のフォーカスの調整を行う方法であって、
該撮像装置が移動中の車体を連続して撮像して得た複数枚の撮像画像に基づいて、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識に最適と推定される位置を、基準位置として該撮像画像上で設定し、
該複数枚の撮像画像のうち、該基準位置に該文字若しくは該模様が表されている画像である基準位置画像、並びに、該基準位置画像の撮像時の前後にそれぞれ撮像された画像である前画像及び後画像の各々に対して行う、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識を、予め用意されている、辞書画像とのパターンマッチングにより行い、
該基準位置画像、該前画像、及び該後画像の各々に対して該認識を行ったことで認識結果を得たときのパターンマッチング率に基づいて、該フォーカスの調整の要否を判定し、該判定結果に従って該フォーカスの調整を行う、
ことを特徴とするフォーカス調整方法。
（付記１０）
該基準位置の設定においては、該複数枚の該撮像画像の各々について、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識を行い、該認識の結果として得られた該文字若しくは該模様の該撮像画像上での存在位置の分布についてのヒストグラムを求め、該ヒストグラムにおける度数が所定の条件を満たしている存在位置を、該基準位置として設定することを特徴とする付記９に記載のフォーカス調整方法。
（付記１１）
該所定の条件は、該度数が該ヒストグラムにおいて最大であって、且つ、該ヒストグラムにおいて度数が二番目に大きいものとの度数の差が所定の閾値以上であることを特徴とする付記１０に記載のフォーカス調整方法。
（付記１２）
該基準位置の設定において、該所定の条件を満たしている存在位置が存在しない場合には、該ヒストグラムにおける度数と該ヒストグラムにおける度数の最大値との差が該閾値未満である全ての存在位置を示す座標の平均値で表される位置を、該基準位置として設定することを特徴とする付記１１に記載のフォーカス調整方法。
（付記１３）
該前画像及び該後画像は、該複数枚の撮像画像のうちで該文字若しくは該模様が該基準位置から最も離れた位置に表されている画像であることを特徴とする付記９乃至付記１２のうちのいずれか一項に記載のフォーカス調整方法。
（付記１４）
該フォーカスの調整の要否の判定においては、該基準位置画像と該前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と該後画像とについてのパターンマッチング率の差分の絶対値との和が所定の閾値以上である場合に、該フォーカスの調整が必要との判定を下すことを特徴とする付記９乃至付記１３のうちのいずれか一項に記載のフォーカス調整方法。
（付記１５）
該フォーカスの調整を行うときには、該フォーカスの調整を行うときの調整の方向を、該前画像と該後画像との各々においてのフォーカスのずれの状況に基づき決定することを特徴とする付記９乃至付記１４のうちのいずれか一項に記載のフォーカス調整方法。
（付記１６）
該フォーカスの調整を行うときの調整の方向の決定では、該基準位置画像と該前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と該後画像とについてのパターンマッチング率の差分の絶対値との大小比較を行い、該フォーカスの調整を行うときの調整の方向を、該比較の結果に対応する方向に決定することを特徴とする付記１５に記載のフォーカス調整方法。
【符号の説明】
【００８７】
１ 画像処理装置
２ 撮像装置
３ 道路
４ 車両
５ 支柱
１１ 画像取込部
１２ 移動物体検出部
１３ 認識部
１４ 辞書画像データベース
１５ 基準位置設定部
１６ フォーカス補正部
１７ カメラ制御部
２０ コンピュータ
２１ ＭＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ハードディスク装置
２５ 入力装置
２６ 表示装置
２７ インタフェース装置
２８ 記録媒体駆動装置
２９ バス
３０ 可搬型記録媒体
【特許請求の範囲】
【請求項１】
撮像装置のフォーカスの調整を行うフォーカス調整装置であって、
該撮像装置が移動中の車体を撮像して得た撮像画像に対して行う、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識を、予め用意されている、辞書画像とのパターンマッチングにより行う認識部と、
該撮像装置が該車体を連続して撮像して得た複数枚の該撮像画像に基づいて、該ナンバープレートに付されている文字若しくは模様の認識に最適と推定される位置を、基準位置として該撮像画像上で設定する基準位置設定部と、
該複数枚の撮像画像のうち該基準位置設定部が設定した基準位置に該文字若しくは該模様が表されている画像である基準位置画像に対して該認識を行った結果のパターンマッチング率と、該複数枚の撮像画像のうち該基準位置画像の撮像時の前後にそれぞれ撮像された画像である前画像及び後画像の各々に対して該認識を行った結果のパターンマッチング率とに基づいて、該フォーカスの調整の要否を判定し、該判定結果に従って該フォーカスの調整を行うフォーカス補正部と、
を有することを特徴とするフォーカス調整装置。
【請求項２】
該基準位置設定部は、該複数枚の該撮像画像の各々について該認識部が該認識を行って得られた認識結果である該文字若しくは該模様の該撮像画像上での存在位置の分布についてのヒストグラムを求め、該ヒストグラムにおける度数が所定の条件を満たしている存在位置を、該基準位置として設定することを特徴とする請求項１に記載のフォーカス調整装置。
【請求項３】
該前画像及び該後画像は、該複数枚の撮像画像のうちで該文字若しくは該模様が該基準位置から最も離れた位置に表されている画像であることを特徴とする請求項１又は請求項２に記載のフォーカス調整装置。
【請求項４】
該フォーカス補正部は、該フォーカスの調整を行うときの調整の方向を、該前画像と該後画像との各々においてのフォーカスのずれの状況に基づき決定することを特徴とする請求項１乃至請求項３のうちのいずれか一項に記載のフォーカス調整装置。
【請求項５】
該フォーカス補正部は、該基準位置画像と該前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と該後画像とについてのパターンマッチング率の差分の絶対値との大小比較を行い、該フォーカスの調整を行うときの調整の方向を、該比較の結果に対応する方向に決定することを特徴とする請求項４に記載のフォーカス調整装置。
【請求項６】
撮像装置のフォーカスの調整を行う方法であって、
該撮像装置が移動中の車体を連続して撮像して得た複数枚の撮像画像に基づいて、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識に最適と推定される位置を、基準位置として該撮像画像上で設定し、
該複数枚の撮像画像のうち、該基準位置に該文字若しくは該模様が表されている画像である基準位置画像、並びに、該基準位置画像の撮像時の前後にそれぞれ撮像された画像である前画像及び後画像の各々に対して行う、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識を、予め用意されている、辞書画像とのパターンマッチングにより行い、
該基準位置画像、該前画像、及び該後画像の各々に対して該認識を行ったことで認識結果を得たときのパターンマッチング率に基づいて、該フォーカスの調整の要否を判定し、該判定結果に従って該フォーカスの調整を行う、
ことを特徴とするフォーカス調整方法。
【請求項１】
撮像装置のフォーカスの調整を行うフォーカス調整装置であって、
該撮像装置が移動中の車体を撮像して得た撮像画像に対して行う、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識を、予め用意されている、辞書画像とのパターンマッチングにより行う認識部と、
該撮像装置が該車体を連続して撮像して得た複数枚の該撮像画像に基づいて、該ナンバープレートに付されている文字若しくは模様の認識に最適と推定される位置を、基準位置として該撮像画像上で設定する基準位置設定部と、
該複数枚の撮像画像のうち該基準位置設定部が設定した基準位置に該文字若しくは該模様が表されている画像である基準位置画像に対して該認識を行った結果のパターンマッチング率と、該複数枚の撮像画像のうち該基準位置画像の撮像時の前後にそれぞれ撮像された画像である前画像及び後画像の各々に対して該認識を行った結果のパターンマッチング率とに基づいて、該フォーカスの調整の要否を判定し、該判定結果に従って該フォーカスの調整を行うフォーカス補正部と、
を有することを特徴とするフォーカス調整装置。
【請求項２】
該基準位置設定部は、該複数枚の該撮像画像の各々について該認識部が該認識を行って得られた認識結果である該文字若しくは該模様の該撮像画像上での存在位置の分布についてのヒストグラムを求め、該ヒストグラムにおける度数が所定の条件を満たしている存在位置を、該基準位置として設定することを特徴とする請求項１に記載のフォーカス調整装置。
【請求項３】
該前画像及び該後画像は、該複数枚の撮像画像のうちで該文字若しくは該模様が該基準位置から最も離れた位置に表されている画像であることを特徴とする請求項１又は請求項２に記載のフォーカス調整装置。
【請求項４】
該フォーカス補正部は、該フォーカスの調整を行うときの調整の方向を、該前画像と該後画像との各々においてのフォーカスのずれの状況に基づき決定することを特徴とする請求項１乃至請求項３のうちのいずれか一項に記載のフォーカス調整装置。
【請求項５】
該フォーカス補正部は、該基準位置画像と該前画像とについてのパターンマッチング率の差分の絶対値と、該基準位置画像と該後画像とについてのパターンマッチング率の差分の絶対値との大小比較を行い、該フォーカスの調整を行うときの調整の方向を、該比較の結果に対応する方向に決定することを特徴とする請求項４に記載のフォーカス調整装置。
【請求項６】
撮像装置のフォーカスの調整を行う方法であって、
該撮像装置が移動中の車体を連続して撮像して得た複数枚の撮像画像に基づいて、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識に最適と推定される位置を、基準位置として該撮像画像上で設定し、
該複数枚の撮像画像のうち、該基準位置に該文字若しくは該模様が表されている画像である基準位置画像、並びに、該基準位置画像の撮像時の前後にそれぞれ撮像された画像である前画像及び後画像の各々に対して行う、該車体に装着されているナンバープレートに付されている文字若しくは模様の認識を、予め用意されている、辞書画像とのパターンマッチングにより行い、
該基準位置画像、該前画像、及び該後画像の各々に対して該認識を行ったことで認識結果を得たときのパターンマッチング率に基づいて、該フォーカスの調整の要否を判定し、該判定結果に従って該フォーカスの調整を行う、
ことを特徴とするフォーカス調整方法。
【図１】
【図３】
【図４】
【図５】
【図７】
【図８】
【図２】
【図６】
【図３】
【図４】
【図５】
【図７】
【図８】
【図２】
【図６】
【公開番号】特開２０１２−３３４２（Ｐ２０１２−３３４２Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３５４１７（Ｐ２０１０−１３５４１７）
【出願日】平成２２年６月１４日（２０１０．６．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１４日（２０１０．６．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]