携帯端末装置、携帯端末装置のプログラム、画像認識システム、及び盗難車検索システム
【課題】文字が記載された被写体からその文字を高精度にかつ迅速に得ることができる携帯端末装置のプログラム、携帯端末装置、画像認識システム及び盗難車検索システムを提供する。
【解決手段】携帯電話１は、ナンバープレートが撮像された画像からそのナンバープレート部分である被写体画像を切り出すと共にその被写体画像を盗難車検索サーバ２０に送信する（ステップＳ１、Ｓ３）。盗難車検索サーバ２０は、被写体画像を画像処理することにより、ナンバープレートに記載された文字情報を抽出する（ステップＳ４）。その文字情報と一致する自動車登録番号が盗難車データベースに登録されているか否かを検索し（ステップＳ５）、その結果を携帯電話１に送信する（ステップＳ７）。携帯電話１はこの結果をディスプレイに表示する。
【解決手段】携帯電話１は、ナンバープレートが撮像された画像からそのナンバープレート部分である被写体画像を切り出すと共にその被写体画像を盗難車検索サーバ２０に送信する（ステップＳ１、Ｓ３）。盗難車検索サーバ２０は、被写体画像を画像処理することにより、ナンバープレートに記載された文字情報を抽出する（ステップＳ４）。その文字情報と一致する自動車登録番号が盗難車データベースに登録されているか否かを検索し（ステップＳ５）、その結果を携帯電話１に送信する（ステップＳ７）。携帯電話１はこの結果をディスプレイに表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は携帯端末装置のプログラム、携帯端末装置、画像認識システム、及び盗難車検索システムに関し、特に、携帯端末装置により現場で撮像した画像をサーバが画像認識する場合に適用して有用なものである。
【背景技術】
【０００２】
従来、自動車が盗難に遭ったものであるか否かの判断は、例えば警察官がその車両のナンバープレートに記載された自動車登録番号を無線機等により口頭で照会することにより行われている。このような方法によれば、口頭による照会であるため結果を得るまでに時間を要してしまう他、人手がかかるために、無人による２４時間の運用が難しい。このため、携帯端末装置を用いて、即座に、しかも全自動で自動車が盗難に遭ったものであるか否かを照会し得る車両照会システムが提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に示すような車両照会システムでは、携帯端末装置のカメラを用いてナンバープレートを撮像し、その画像データをサーバ装置に送信する。そして、サーバ装置では、その画像データを画像処理することで自動車登録番号を文字情報として認識し、盗難車の情報が記憶されたデータベースを検索することでその自動車登録番号の自動車が盗難に遭ったか否かを携帯端末装置に送信する。このような車両照会システムにより、自動車が盗難車であるか否かを即座に照会することが出来るようになっている。
【０００４】
しかしながら、特許文献１の車両照会システムでは、携帯端末装置のカメラにより得られる画像は、必ずしも画像認識され易いものであるとは限らないため、ナンバープレートから得られる自動車登録番号の認識の精度が低くなってしまうという問題がある。例えば、画像中にナンバープレートが十分な大きさで撮像されていない場合や、ナンバープレートへの焦点が合っていない場合、サーバ装置でのナンバープレートの認識率が低下してしまう。この結果、携帯端末装置の操作者に再度の撮影を促すことになり、迅速に自動車の照会が出来ないという問題が生じる。
【０００５】
また、携帯端末装置で撮像した画像をそのままサーバ装置に送信すると、その画像の一部にあるナンバープレートを認識するために、画像全体をスキャンしてナンバープレートを認識し、その後、自動車登録番号を認識しなければならず、画像データの送信や、画像認識に時間を要してしまう。特に、多数の携帯端末装置からサーバ装置に画像が集中して送信されると、サーバ装置からの結果が携帯端末装置に返るまでの時間が増大し、自動車登録番号の照会作業に支障が生じてしまう。
【０００６】
なお、このような問題は、自動車のナンバープレートを撮像し、そこに記載された自動車登録番号を文字情報として認識する場合に限定されず、携帯端末装置で任意の被写体を撮像し、サーバ装置で画像を認識して文字情報を認識する場合にも同様に存在する。
【０００７】
【特許文献１】特開２００５−３０１３７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、かかる事情に鑑み、文字が記載された被写体からその文字を高精度にかつ迅速に得ることができ、画像処理により切り出された被写体画像とその撮像場所を示すＧＰＳ位置情報とを一緒に送信する携帯端末装置のプログラム、携帯端末装置、画像認識システム及びナンバープレートからその自動車登録番号とその自動車に関する情報とを高精度にかつ迅速に得ることができる盗難車検索システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための本発明の第１の態様は、撮像装置と、無線通信でデータの送受信を行う無線通信装置と、ディスプレイと、前記撮像装置から得た画像を画像処理することにより、当該画像のうち、文字が記載されて目的とする被写体が含まれた領域である被写体画像を認識する被写体認識手段と、前記無線通信装置を介して前記被写体画像を画像認識サーバに送信する画像送信手段と、前記画像認識サーバが前記被写体画像を画像処理することによりその被写体画像から抽出した文字情報を前記画像認識サーバから受信するとともに、当該文字情報を前記ディスプレイに表示する情報表示手段とを備えることを特徴とする携帯端末装置にある。
【００１０】
かかる第１の態様では、被写体を撮像して得た画像から所定の画像処理を行うことで、画像全体から被写体のみが撮像された部分である被写体画像を切り出し、この被写体画像を画像認識サーバに送信する。このため、画像認識サーバに、画像全体をスキャンさせることなく、その分高速に被写体画像から文字情報を抽出させることができる。
【００１１】
本発明の第２の態様は、第１の態様に記載する携帯端末装置において、前記被写体認識手段は、前記画像を画像処理して、被写体に記載された文字数、画像中の文字の位置、又は画像全体のピクセル数に占める文字のピクセル数の比率であるピクセル比率を算出し、これらの文字数、位置又はピクセル比率から、前記画像に被写体が含まれているか否かの度合いを表すスコア値を計算し、当該スコア値が所定値になるまで前記撮像装置をズームさせることを特徴とする携帯端末装置にある。
【００１２】
かかる第２の態様では、スコア値を用いることで、画像認識サーバが文字情報を抽出しうる程度の画質の被写体画像を得ることができるので、画像認識サーバでの画像処理において高精度に被写体画像から文字情報を抽出することができる。
【００１３】
本発明の第３の態様は、第２の態様に記載する携帯端末装置において、前記被写体認識手段は、前記被写体に焦点を合わせて画像を取得することを特徴とする携帯端末装置にある。
【００１４】
かかる第３の態様では、被写体に焦点が合った被写体画像を形成できるため、画像認識サーバに被写体画像から文字情報をより高精度に抽出させることができる。
【００１５】
本発明の第４の態様は、第１〜第３の何れか一つの態様に記載する携帯端末装置において、ＧＰＳ機能をさらに備え、前記画像送信手段は、前記被写体画像とともに前記ＧＰＳ機能による位置情報を前記画像認識サーバに送信することを特徴とする携帯端末装置にある。
【００１６】
かかる第４の態様では、ＧＰＳ機能による位置情報、すなわち被写体を撮像した場所を画像認識サーバに送信することができる。例えば被写体がナンバープレートである場合、その自動車が発見された位置情報を画像認識サーバに送ることになり、画像認識サーバは、その自動車が盗難に遭ったものであるならば、受信した位置情報を利用して、盗難車の発見場所としてこれを記録することができる。このような記録から盗難車の盗難状況、例えば、地域別の盗難車発生状況を表すマップを作図したりすることができる。
【００１７】
本発明の第５の態様は、第１〜第４の何れか一つの態様に記載する携帯端末装置において、前記情報表示手段は、前記画像認識サーバから受信した前記文字情報と共に、前記被写体画像を前記ディスプレイに表示することを特徴とする携帯端末装置にある。
【００１８】
かかる第５の態様では、画像認識サーバにて正確に被写体に記載された文字が認識されて正しい文字情報が得られているか否かを比較確認することができる。
【００１９】
本発明の第６の態様は、第１〜第５の何れか一つの態様に記載する携帯端末装置において、前記被写体は、自動車のナンバープレートであり、前記情報表示手段では、前記画像認識サーバが被写体画像から抽出した文字情報と、その文字情報と一致する自動車登録番号が盗難に遭った自動車のものであるか否かを前記画像認識サーバから受信して前記ディスプレイに表示することを特徴とする携帯端末装置にある。
【００２０】
かかる第６の態様では、携帯端末装置は画像全体からナンバープレートのみの被写体画像を画像認識サーバに送信するため、画像認識サーバに被写体画像から文字情報を高精度に抽出させることができ、この結果、その文字情報に基づいてその自動車が盗難車であるか否かが正確に検索される。これにより携帯端末装置は、その自動車が盗難車であるか否かについての正確な情報を得ることができる。
【００２１】
本発明の第７の態様は、第１〜第６の何れか一つの態様に記載する各種処理手段として携帯端末装置を機能させるためのプログラムにある。
【００２２】
かかる第７の態様では、携帯端末装置に上述した被写体画像の切り出し等を行わせることができる。またプログラムは、既存の携帯端末装置にダウンロードされて実行されうるので、既存の携帯端末装置を新たなものに取り替えることなく、有効活用することができる。
【００２３】
本発明の第８の態様は、第１〜第６の何れか一つの態様に記載する携帯端末装置と、無線でデータの送受信が可能に接続された画像認識サーバとを備える画像認識システムであって、前記画像認識サーバは、前記携帯端末装置から受信した被写体画像を画像処理することにより被写体に記載された文字の文字情報を抽出する画像認識手段と、前記文字情報を前記携帯端末装置に送信する検索結果送信手段とを備えることを特徴とする画像認識システムにある。
【００２４】
かかる第８の態様では、携帯端末装置が、被写体を撮像して得た画像から所定の画像処理を行うことで、画像全体から被写体のみが撮像された部分である被写体画像を切り出し、この被写体画像を画像認識サーバに送信する。このため、画像認識サーバは、画像全体をスキャンする必要が無く、その分高速に被写体画像から文字情報を抽出することができる。
【００２５】
本発明の第９の態様は、第１〜第６の何れか一つの態様に記載する携帯端末装置と、無線でデータの送受信が可能に接続された盗難車検索サーバとを備える盗難車検索システムであって、前記被写体は、自動車のナンバープレートであり、前記盗難車検索サーバは、前記携帯端末装置から受信した被写体画像を画像処理することによりナンバープレートに記載された文字情報を抽出するナンバープレート認識手段と、盗難に遭った自動車の自動車登録番号が記憶された盗難車データベースと、前記ナンバープレート認識手段により前記被写体画像から抽出された文字情報と一致する自動車登録番号が前記盗難車データベースに登録されているか否かを検索する盗難車検索手段と、前記文字情報と前記盗難車検索手段の検索結果を前記携帯端末装置に送信する検索結果送信手段とを備えることを特徴とする盗難車検索システムにある。
【００２６】
かかる第９の態様では、盗難に遭った自動車と思われるもののナンバープレートを携帯端末装置で撮像すると、盗難車検索サーバから実際に盗難に遭った自動車であるか否かの情報が迅速に与えられる。これにより、携帯端末装置の操作者は、被写体画像を送信してから迅速に、その自動車が盗難に遭ったか否かについての正確な情報を知ることができる。
【００２７】
本発明の第１０の態様は、第９の態様に記載する盗難車検索システムにおいて、前記盗難車データベースには、盗難に遭った自動車を管轄する組織とその連絡先がさらに記憶され、前記盗難車検索サーバは、前記盗難車検索手段により前記自動車登録番号が前記盗難車データベースに登録されている場合、その自動車登録番号の自動車を管轄する組織とその連絡先を前記盗難車データベースから検索する連絡先検索手段をさらに備え、前記検索結果送信手段は、前記連絡先検索手段の検索結果を前記携帯端末装置に送信することを特徴とする盗難車検索システムにある。
【００２８】
かかる第１０の態様では、盗難車を発見した場合に、連絡すべき組織に確実に且つ迅速に連絡をとることができる。
【００２９】
本発明の第１１の態様は、第４〜第６の何れか一つの態様に記載する携帯端末装置と、無線でデータの送受信が可能に接続された盗難車検索サーバとを備える盗難車検索システムであって、前記被写体は、自動車のナンバープレートであり、前記盗難車検索サーバは、前記携帯端末装置から受信した被写体画像を画像処理することによりナンバープレートに記載された文字情報を抽出するナンバープレート認識手段と、盗難に遭った自動車の自動車登録番号が記憶された盗難車データベースと、前記ナンバープレート認識手段により前記被写体画像から抽出された文字情報と一致する自動車登録番号が前記盗難車データベースに登録されているか否かを検索する盗難車検索手段と、前記文字情報と前記盗難車検索手段の検索結果を前記携帯端末装置に送信する検索結果送信手段と、前記ナンバープレート認識手段により前記被写体画像から抽出された文字情報と一致する自動車登録番号が前記盗難車データベースに登録されているとき、前記携帯端末装置から受信した位置情報をその自動車登録番号に関連づけて前記盗難車データベースに記憶するデータベース更新手段と、地図データにおける前記盗難車データベースの位置情報に対応する位置に、その位置情報に関連づけられた自動車登録番号を表示するマッピング作図手段とを備えることを特徴とする盗難車検索システムにある。
【００３０】
かかる第１１の態様では、自動車の盗難の発生状況を視覚的に把握することができる。盗難の発生状況についての視覚的な表示は、盗難の傾向を推測したり、盗難防止対策をするための情報として有効なものである。
【００３１】
本発明の第１２の態様は、第１１の態様に記載する盗難車検索システムにおいて、前記データベース更新手段は、前記位置情報を受信した日時を前記盗難車データベースに記憶し、前記マッピング作図手段は、前記盗難車データベースに記憶された日時とともに前記自動車登録番号を表示することを特徴とする盗難車検索システムにある。
【００３２】
かかる第１２の態様では、自動車の盗難の発生状況を、時系列的に把握することができる。
【発明の効果】
【００３３】
本発明によれば、文字が記載された被写体からその文字を高精度にかつ迅速に得ることができ、画像処理により切り出された被写体画像とその撮像場所を示すＧＰＳ位置情報とを一緒に送信することができる携帯端末装置のプログラム、携帯端末装置、及び画像認識システム、並びにナンバープレートからその自動車登録番号とその自動車に関する情報とを高精度にかつ迅速に得ることができる盗難車検索システムが提供される。
【発明を実施するための最良の形態】
【００３４】
以下、本発明を実施するための最良の形態について説明する。なお、実施形態の説明は例示であり、本発明は以下の説明に限定されない。
【００３５】
〈実施形態１〉
図１は、実施形態１に係る盗難車検索システムの概略構成図である。図示するように、本実施形態の盗難車検索システムは、携帯電話１と、携帯電話１とネットワーク４０を介してデータの送受信が可能に接続された盗難車検索サーバ２０（画像認識サーバの一例）とを具備している。
【００３６】
携帯電話１は、本発明に係るプログラムを実行する携帯端末装置の一例である。携帯電話１は、カメラで撮影した画像３０のうち、ナンバープレート３２（被写体）が撮像された部分である被写体画像３１を切り出し、被写体画像３１をネットワーク４０を介して盗難車検索サーバ２０に送信する。
【００３７】
盗難車検索サーバ２０は、ＣＰＵ、記憶装置、入出力装置、通信装置等を備えた一般的な情報処理装置である。盗難車検索サーバ２０は、携帯電話１から受信した被写体画像３１に対して画像処理を行うことでナンバープレート３２に記載された文字である自動車登録番号を文字情報として認識し、この文字情報を携帯電話１に送信する。さらに、盗難車検索サーバ２０は、盗難に遭った自動車に関する情報を予め保持しており、認識した自動車登録番号が盗難に遭った自動車のものであるか否かを検索して、その結果を携帯電話１に送信する。
【００３８】
ネットワーク４０は、携帯電話１の通信網とインターネットとから構成されている。なお、通信内容の機密性を確保すべく、ＶＰＮやＳＳＬ等を併用することが好ましい。
【００３９】
図２は、実施形態１に係るプログラムを実行する携帯電話の構成を示す機能ブロック図である。図示するように、携帯電話１は、ＣＰＵ２と、ＲＯＭ３と、フラッシュメモリ４と、操作ボタン５と、ディスプレイ６と、マイク７と、スピーカ８と、撮像装置９と、無線通信装置１０と、アンテナ１１、ＧＰＳ装置１２とを備えている。
【００４０】
ＣＰＵ２は、携帯電話１全体の制御を行うものであり、具体的には、各機器３〜１２の制御やデータの受け渡し、アプリケーションの起動および停止などを行うことによって、携帯電話１を一つの装置として機能させる。
【００４１】
ＲＯＭ３は、プログラムやデータを格納する記憶装置であり、ＣＰＵ２は、ＲＯＭ３からプログラムを読み出して実行する中央処理装置である。フラッシュメモリ４は、プログラムやデータの読み出し、および、書き込みが可能な半導体メモリであり、例えば電話番号やメールアドレスなどのデータを記憶する。
【００４２】
操作ボタン５は、文字や数字を入力したり各種操作をしたりするためのボタンであり、ディスプレイ６は、各種情報の表示を行う液晶ディスプレイ（表示部）である。マイク７は、音声通話時に音声を入力し、スピーカ８は、音声通話時の音声などを出力する。
【００４３】
撮像装置９は、被写体であるナンバープレート３２を撮影し、その画像３０を電子データとして取得するためのものである。この画像３０からは、詳細は後述するが、プログラムにより画像処理されて被写体画像３１が切り出される。また、撮像装置９は、ズーム機能とオートフォーカス機能とを有しており、これらの機能は、ＣＰＵ２の制御により調整可能になっている。
【００４４】
無線通信装置１０は、アンテナ１１を介して送信する電波を生成する処理や、アンテナ１１を介して受信した電波から通信データを復元する処理を行う集積回路であり、アンテナ１１は、電波を送信あるいは受信する。
【００４５】
ＧＰＳ装置１２は、グローバル・ポジショニング・システム (GPS: Global Positioning System)を利用して、携帯電話１の位置を取得する装置である。このＧＰＳ装置１２により取得された携帯電話１の位置を位置情報と称する。位置情報は、詳細は後述するが、画像認識サーバに送信され、その位置情報に関連する情報が画像認識サーバから送信される。
【００４６】
そして、この携帯電話１において実行されるプログラム１３は、あらかじめ、ネットワークを介して他のコンピュータからダウンロードされて、フラッシュメモリ４に記憶されて、ＣＰＵ２によって実行される。
【００４７】
なお、プログラム１３は、必ずしもダウンロードされてフラッシュメモリ４に記憶される必要はなく、例えば、あらかじめ、ＲＯＭ３に記憶されていてもよいし、メモリカードなど、着脱可能な外部記憶装置に記憶されていてもよい。また、携帯電話１にプログラム１３をインストールする方法としては、携帯電話１がプログラム１３をダウンロードしてＲＯＭ３やフラッシュメモリ４にインストールする場合に限らず、任意の方法で携帯電話１に独自にインストールされていてもよい。例えば、ＵＳＢ等のインタフェースを介してパソコン等から携帯電話１のＲＯＭ３やフラッシュメモリ４にプログラム１３がインストールされてもよい。
【００４８】
図３は、実施形態１に係る盗難車検索システムの構成を示す機能ブロック図である。図示するように、盗難車検索サーバ２０は、盗難車データベース２１と、ナンバープレート認識手段（画像認識手段）２２と、盗難車検索手段２３と、連絡先検索手段２４と、検索結果送信手段２５と、位置情報・画像情報登録手段２６と、マッピング作図手段２７とを備えている。なお、これらの各種処理手段２２〜２７はＣＰＵで実行されるプログラムとして実装されている。
【００４９】
盗難車データベース２１は、盗難車の自動車登録番号、及び盗難車を管轄する組織とその連絡先が予め記憶されている。自動車登録番号は、一般的な自動車の場合、地名（品川、横浜等）、分類（２〜３桁の数字）、用途（平仮名）、最大４桁の一連の番号から構成されている。また、盗難車データベース２１には、盗難車の自動車登録番号ごとに、その管轄の組織、例えば警察署の名称やその連絡先の電話番号等が関連づけられて記憶され、自動車登録番号が特定されれば、その名称、連絡先が検索できるようになっている。なお、盗難車データベース２１には、盗難車の所有者の氏名や盗難車の車種、色、車体番号、エンジン番号などの所有者に関する情報や、盗難が発生した年月日、場所など盗難事件に関する情報が記憶されていてもよい。
【００５０】
なお、盗難車データベース２１は、盗難車検索サーバ２０自体が備えている必要はなく、別の情報処理装置に備わっていてもよい。この場合、盗難車検索サーバ２０が、ネットワーク越しにその情報処理装置の盗難車データベース２１を利用できるようにする。例えば、複数の盗難車検索サーバ２０が、一つの盗難車データベース２１を共用するように構成することで、複数の盗難車検索サーバ２０で負荷を分散することができる。
【００５１】
ナンバープレート認識手段２２は、携帯電話１から受信した被写体画像３１を画像処理することによりナンバープレート３２に記載された文字情報を抽出する。具体的には、ＯＣＲ（Optical Character Reader）処理を行う。
【００５２】
このとき、詳細は後述するが、携帯電話１側で、撮像装置９で撮像した全体の画像３０からナンバープレート３２のみが撮像された部分の被写体画像３１が切り出されているため、ナンバープレート認識手段２２は、画像３０全体をスキャンしてナンバープレート３２に該当する部分を認識する必要はない。このため、スキャンに掛る処理時間を短縮することが可能となっている。また、仮にナンバープレート認識手段２２が画像３０全体をスキャンするとナンバープレート３２の位置を誤認識する場合もあるが、本発明のナンバープレート認識手段２２の処理対象は被写体画像３１であるのでこのようなスキャンは不要となり、そのような誤認識をすることなく高精度にナンバープレート３２の自動車登録番号を認識することが出来る。
【００５３】
さらに、詳細は後述するが、携帯電話１は、ナンバープレート認識手段２２が自動車登録番号を認識し得る程度に、ズーム機能やオートフォーカス機能を調整して撮像するので、自動車登録番号をより一層高い精度で認識できる。なお、画像処理手法としては特に限定されず、既知のものを適用することが出来る。このような画像処理手法を用いても高精度な認識が可能である。
【００５４】
盗難車検索手段２３は、ナンバープレート認識手段２２により被写体画像３１から抽出された文字情報と一致する自動車登録番号が盗難車データベース２１に登録されているか否かを検索する。すなわち、被写体画像３１から抽出された文字情報を検索キーとして、盗難車データベースからその検索キーに一致する自動車登録番号を検索する。検索の結果、一致した自動車登録番号がみつかれば、携帯電話１で撮像したナンバープレート３２の自動車は盗難に遭ったものであるということになる。
【００５５】
連絡先検索手段２４は、盗難車検索手段２３において、被写体画像３１から抽出した文字情報と一致する自動車登録番号が盗難車データベースに登録されている場合、その自動車登録番号の自動車を管轄する組織とその連絡先を盗難車データベース２１から検索する。この検索の結果、盗難に遭った自動車を管轄する組織への連絡先が得られることになる。
【００５６】
検索結果送信手段２５は、被写体画像３１から認識した文字情報、盗難車検索手段２３の検索結果、及び連絡先検索手段２４の検索結果を携帯電話１に送信する。これにより、携帯電話１は、受信した文字情報をディスプレイ６に表示することで、認識結果が正しいか否かを携帯電話１の操作者に確認させることが出来る。また、盗難車検索手段２３の検索結果、すなわち、被写体画像３１から認識した自動車登録番号が盗難に遭った自動車に関するものであるか否かが携帯電話１に送信されるため、操作者は、撮像したナンバープレート３２の自動車が盗難車であるか否かを判断することが出来る。さらに、連絡先検索手段２４の検索結果、すなわち、盗難車の管轄への連絡先が携帯電話１に送信され、ディスプレイ６に表示されるため、操作者は、表示された連絡先にフォーカスを当て、発信ボタンを押下することで、速やかにその連絡先に連絡して対処することが出来る。
【００５７】
また、携帯電話１は、被写体画像３１を切り出した後、フラッシュメモリ４に一時的に格納しており、上記検索結果である文字情報と共にその被写体画像３１をディスプレイ６に表示するようになっている。これにより、ナンバープレート認識手段２２にて正確にＯＣＲ処理されて正しい文字情報が得られているか否かを比較確認することができるようになっている。
【００５８】
位置情報・画像情報登録手段２６は、データベース更新手段の一例であり、携帯電話１から受信した位置情報を盗難車データベースに記憶させ、さらに被写体画像３１も盗難車データベースに記憶させるものである。詳言すると、ナンバープレート認識手段２２により被写体画像３１から抽出された文字情報と一致する自動車登録番号が盗難車データベース２１に登録されているとき、携帯電話１から受信した位置情報をその自動車登録番号に関連づけて盗難車データベース２１に記憶する。また、被写体画像３１もその自動車登録番号に関連づけて盗難車データベース２１に記憶する。これにより、携帯電話１が自動車を撮像した位置、すなわち発見場所をその自動車登録番号に関連づけて記録することが出来る。なお、位置情報の記録の際に、位置情報を受信した日時を合わせて盗難車データベース２１に記憶させてもよい。
【００５９】
マッピング作図手段２７は、地図データにおける盗難車データベース２１の位置情報に対応する位置に、その位置情報に関連づけられた自動車登録番号を表示する。すなわち、地図上に、発見場所を重ね合わせて表示する。これにより、自動車の盗難の発生状況を視覚的に把握することができる。また、地図上に、盗難車データベース２１に記憶した日時を合わせて表示させてもよい。これにより、自動車の盗難の発生状況を、時系列的に把握することができる。このように盗難の発生状況についての視覚的な表示は、盗難の傾向を推測したり、盗難防止対策をするための情報として有効なものである。
【００６０】
図４は、実施形態１に係る盗難車検索システムの処理フローである。同図を用いて、携帯電話１と盗難車検索サーバ２０の処理フローについて説明する。なお、盗難車データベース２１には、例として表１に示すような情報が予め記憶されているとする。
【００６１】
【表１】
【００６２】
表１の各行は一つの盗難車に関する自動車登録番号、所有者に関する情報、及び盗難事件に関する情報を表している。そして、携帯電話１の撮像対象のナンバープレート３２には「横浜 ３００ や ＹＹ−ＹＹ」が記載されているとする。
【００６３】
まず、携帯電話１は、ナンバープレート３２の撮像及び被写体画像３１の切り出しを行う（被写体識別手順；ステップＳ１）。すなわち、携帯電話１の操作者の操作により、撮像装置９を介して携帯電話１のメモリに画像３０が記録され、プログラム１３によりその画像３０からナンバープレート３２部分の被写体画像３１が切り出される。この被写体画像３１の切り出しについては後述する。
【００６４】
次に、携帯電話１は、ＧＰＳ装置１２で位置情報の取得を行う（ステップＳ２）。その後、盗難車検索サーバ２０に対して、被写体画像３１及び位置情報の送信を行う（画像送信手順；ステップＳ３）。ただし、携帯電話１は、被写体画像３１をフラッシュメモリ４に記憶させたままにしておく。
【００６５】
一方、盗難車検索サーバ２０は、携帯電話１から受信した被写体画像３１を画像処理することにより被写体画像３１から文字情報の認識を行う（ステップＳ４）。この処理により、ナンバープレート３２に記載された自動車登録番号である「横浜 ３００ や ＹＹ−ＹＹ」が文字情報として認識される。
【００６６】
次に、盗難車検索サーバ２０は、文字情報に一致する自動車登録番号の検索を行う（ステップＳ５）。例えば、ステップＳ４で認識された文字情報については、表１に示した盗難車データベース２１からは、２行目の自動車登録番号がみつかる。すなわち、携帯電話１で撮像したナンバープレート３２の自動車は盗難に遭ったものであることが分かる。
【００６７】
次に、盗難車検索サーバ２０は、盗難車を管轄する警察署等の組織とその連絡先の検索を行う（ステップＳ６）。例えば、ステップＳ４で認識された文字情報については、表１に示した盗難車データベース２１からは、２行目の「Ｂ警察署」の「連絡先Ｂ」がみつかる。
【００６８】
そして、盗難車検索サーバ２０は、携帯電話１に対して、ステップＳ５、ステップＳ６でみつけた検索結果の送信を行う（ステップＳ７）。例えば、ステップＳ５の検索結果としては、認識した文字情報そのものであってもよいし、その文字情報に一致する自動車登録番号の自動車は盗難に遭ったものである旨の情報であってもよい。
【００６９】
携帯電話１は、盗難車検索サーバ２０からの検索結果の表示を行う（情報表示手順；ステップＳ８）。例えば、携帯電話１は、ディスプレイ６に、盗難車検索サーバ２０が認識した文字情報や、その文字情報に一致する自動車登録番号の自動車は盗難に遭ったものである旨を表示する。このとき、携帯電話１は、フラッシュメモリ４に記憶させた被写体画像３１を文字情報に並べてディスプレイ６に表示する。これにより、利用者は、撮像した被写体画像３１と、そこに記載されている文字が正しく認識されたか否かを確認することができる。
【００７０】
一方、盗難車検索サーバ２０は、盗難車データベース２１に携帯電話１から得た位置情報と被写体画像３１の登録をさせる（ステップＳ９）。また、このとき位置情報を受信したときの日時も記憶させる。表２に、表１の盗難車データベース２１に位置情報と日時を記憶させたものを例示する。
【００７１】
【表２】
【００７２】
表２に示すように、盗難車として認識された２行目の自動車登録番号について、携帯電話１から得た位置情報、すなわち発見場所の緯度経度が記憶され、その位置情報を得た日時（発見日時）が記憶されている。なお、所有者、盗難年月日、盗難場所については表１と同じであるので表示を省略してある。
【００７３】
次に、盗難車検索サーバ２０は、マップの作図を行う（ステップＳ１０）。例えば、盗難車検索サーバ２０のディスプレイに地図データを表示し、その地図データの発見場所に該当する箇所に、盗難車の自動車登録番号や発見日時を表示する。マップの作図方法には、地域別の盗難車発生状況を表す図、盗難事件個別詳細を表す図、同一盗難車の時系列発生状況を表す図などの作図が可能である。
【００７４】
ここで、携帯電話１のプログラム１３による被写体画像３１の切り出しについて説明する。図５は、実施形態１に係る被写体画像３１の切り出しについての処理フローである。まず、プログラム１３は、撮像装置９から画像の取得を行う（ステップＳ１１）。具体的には、ＣＰＵ２が撮像装置９で撮像された画像をフラッシュメモリ４又は一時記憶用のメモリに記憶する。
【００７５】
次に、この画像に対して画像処理を行いスコア値の計算を行う（ステップＳ１２）。ここで、スコア値とは、画像に被写体が含まれているか否かの度合いを表す数値である。スコア値は、被写体に記載された文字数、画像中の文字の位置、又は画像全体のピクセル数に占める文字のピクセル数の比率であるピクセル比率を算出し、これらに基づいてスコア値を算出する。
【００７６】
具体的には、画像全体にある文字数をカウント処理して、ナンバープレート３２を構成している日本語（地域名、平仮名）、数字（分類番号、一連番号）、記号（ハイフン、ドット）のみを検知し、その検知した文字数を加算することで文字数を算出する。この文字数をＸ１とする。なお、このカウント処理は、画像中の文字を数える処理であり、ＯＣＲ技術を応用することで実現できる。ＯＣＲ処理によれば、個々の文字を認識するのみならず、画像中に文字が在ることを認識し、この認識した文字数を得ることができるからである。
【００７７】
また、画像処理により数字部分と記号部分とを検知し、その検知した数字部分と記号部分とがナンバー部の形式である「ＮＮ−ＮＮ」や「・Ｎ―ＮＮ」（Ｎは数字）に適合するか否かを判断する。例えば、検知した数字部分と記号部分とが、「１２―３４」や「・５−６７」であれば、この形式に適合するものと判断される。この場合は、その文字数をＸ２とし、符号を＋とする。一方、ナンバー部の形式に適合しない場合、例えば「Ｚ３４―１２」（Ｚは誤認識した文字）や「１―１２」のように、形式に対して文字数が過剰であったり不足した場合は、その文字数をＸ２とし、符号を−（マイナス）とする。
【００７８】
なお、Ｘ２としては、次のような数値であってもよい。すなわち、検知した文字のうち、ナンバー部、すなわち数字部分と記号（ハイフン、ドット）部分の文字サイズ（ピクセル数）が、画像全体のピクセル数に占める比率を算出することでピクセル比率を算出する。このピクセル比率をＸ２とする。このとき、ピクセル比率Ｘ２が或る閾値以上であるならば、符号を＋とし、その閾値未満であるならば符号を−（マイナス）とする。
【００７９】
さらに、画像処理により日本語部分（地域名）と数字部分（分類番号）とを検知し、その検知した日本語部分と数字部分が地域名・分類番号の形式である「○○○ ＮＮＮ」（○は文字、Ｎは数字）に適合するか否かを判断する。例えば、検知した日本語部分と数字部分とが、「横浜 ３００」であれば、この形式に適合するものと判断される。この場合は、その文字数をＸ３とし、符号を＋とする。一方、上記形式に適合しない場合、例えば「横浜 ３００Ｚ」（Ｚは誤認識した文字）や「横浜 ３」のように、形式に対して文字数が過剰であったり不足した場合は、その文字数をＸ３とし、符号を−（マイナス）とする。
【００８０】
このように算出したＸ１〜Ｘ３について、次式のように所定の係数ａ〜ｃをそれぞれ乗じて加算することでスコア値Ｙを算出する。
【００８１】
【数１】
【００８２】
係数ａ〜ｃは、ナンバープレート認識手段２２でＯＣＲ処理をした際に文字を十分に認識できる程度に調整する。例えば、ａを１０、ｂを１０、ｃを２５とすることが好ましい。
【００８３】
なお、スコア値の算出はこのような算出方法に限定されない。例えば、画像からカウント処理で認識した文字数が、ナンバープレート３２に含まれる文字数と同数であるか否かを数値化したものを用いてもよい。また、地域名、分類名、平仮名、一連番号については文字数を算出し、ナンバー部についてはピクセル比率を算出したが、ナンバー部について文字数を算出し、地域名、分類名、平仮名、一連番号全体についてピクセル比率を算出してもよい。
【００８４】
次に、スコア値が所定の閾値以上であるか否かを判定する。本実施形態では、スコア値が６０以上であるか否かを判定する（ステップＳ１３）。この結果、スコア値が６０未満であるとき（ステップＳ１３；Ｎｏ）、１段階分、撮像装置９のズームを行う（ステップＳ１４）。これにより、画像中に占めるナンバープレート３２が大きくなり、認識の精度が向上する。その後、ステップＳ１１に戻り、画像の取得、スコア値の計算を行う。このようにして、スコア値が６０以上になった場合（ステップＳ１３；Ｙｅｓ）、ナンバープレート認識手段２２がＯＣＲ処理して文字情報を抽出しうる程度の画質のナンバープレート３２が画像中にあるということになる。
【００８５】
次に、撮像装置９のオートフォーカス機能によりナンバープレート３２への焦点合わせを行う（ステップＳ１５）。これにより、焦点の合った画像が得られ、盗難車検索サーバ２０での認識の精度が向上する。次に、画像全体から認識したナンバープレート３２の部分（被写体画像３１）の切り出しを行う（ステップＳ１６）。
【００８６】
最後に、被写体画像３１とこの被写体画像３１を確認するための確認ボタンをディスプレイに表示し、その確認ボタンが押されたか否かを判定する（ステップＳ１７）。これにより、操作者に対して、画像認識して切り出した被写体画像３１が確実にナンバープレート３２であるか否かを確認させることができる。この確認ボタンが押されない場合（ステップＳ１７；Ｎｏ）、例えば、不適切な被写体画像３１がディスプレイに表示された場合等であるが、ステップＳ１１に戻り、再度被写体画像３１を得るためのステップを実行する。確認ボタンが押された場合（ステップＳ１７；Ｙｅｓ）、被写体画像３１の切り出しを終了する。
【００８７】
以上に説明したように、プログラム１３を実行する携帯電話１は、ナンバープレート３２を撮像して得た画像から所定の画像処理を行うことで、画像全体からナンバープレート３２のみが撮像された部分である被写体画像３１を切り出す。このとき、携帯電話１は、スコア値を用いて、ナンバープレート認識手段２２がＯＣＲ処理して文字情報を抽出しうる程度の画質の被写体画像３１を得るので、ナンバープレート認識手段２２でのＯＣＲ処理において高精度に被写体画像３１から文字情報を抽出することができる。
【００８８】
また、携帯電話１は、画像全体から被写体画像３１を抜き出し、この被写体画像３１を盗難車検索サーバ２０に送信するため、盗難車検索サーバ２０は、画像全体をスキャンする必要はなく、その分高速に被写体画像３１から文字情報を抽出することができる。
【００８９】
そして、盗難車検索サーバ２０は、文字情報を検索キーとして盗難車データベースを検索して、そのナンバープレート３２の自動車が盗難に遭ったか否かを携帯電話１に送信する。このため、携帯電話１の操作者は、被写体画像３１を送信してから迅速に、その自動車が盗難に遭ったか否かについての正確な情報を知ることができる。
【００９０】
〈実施形態２〉
実施形態１の盗難車検索システムでは、盗難車に関する情報が記憶された盗難車データベースを用いたが、必ずしも盗難車に限定する必要はなく、本発明に係る画像認識システムは、例えば、或る施設に入庫した自動車を管理する車両管理システムに応用できる。
【００９１】
図６は、実施形態２に係る車両管理システムの構成を示す機能ブロック図である。なお、実施形態１と同一のものには同一の符号を付し、重複する説明は省略する。
【００９２】
図示するように、実施形態２に係る車両管理システムの画像認識サーバ２０Ａ（盗難車検索サーバ２０に相当。）は、盗難車データベースの代わりに、或る施設に入庫可能な自動車の自動車登録番号が記憶された車両管理データベースを備えている。そして、画像認識サーバ２０Ａは、ナンバープレート認識手段２２により被写体画像３１から抽出された文字情報を検索キーとし、その検索キーに一致する自動車登録番号が車両管理データベースに登録されているか否かを検索する自動車検索手段２３Ａを備えている。検索結果送信手段２５は、この自動車検索手段２３Ａの検索結果を携帯電話１に送信する。
【００９３】
このような構成の画像認識システムでは、例えば、或る施設に入庫しようとする自動車のナンバープレート３２が被写体画像３１として画像認識サーバ２０Ａに送信され、その被写体画像３１から抽出された文字情報に一致する自動車登録番号が車両管理データベース２１Ａに登録されているか否かが検索される。そしてその検索結果が携帯電話１に送信される。
【００９４】
これにより、例えば施設の係員が、その施設に入庫しようとする自動車のナンバープレート３２を携帯電話１で撮像することで、その自動車がその施設に入庫可能であるか否かが画像認識サーバから与えられ、入庫の可否を即座に行うことができる。
【００９５】
〈他の実施形態〉
実施形態１又は実施形態２では、被写体は自動車のナンバープレート３２としたが、もちろんこれに限定されず、任意の文字が記載された物を被写体とすることができる。
【００９６】
また、盗難車検索サーバ２０又は画像認識サーバ２０Ａでは、被写体画像３１から文字情報を抽出した後、その文字情報と一致する自動車登録番号が盗難車データベース２１又は車両管理データベース２１Ａに登録されているかを検索したが、必ずしもこれらのようなデータベースを検索する必要はない。すなわち、携帯電話１が被写体を撮像し、所定の画像処理を行って被写体画像３１を切り出して盗難車検索サーバ２０又は画像認識サーバ２０Ａに送信し、盗難車検索サーバ２０又は画像認識サーバ２０Ａが被写体画像３１から文字情報を抽出して、その文字情報を携帯電話１に送信するようにしてもよい。この場合においても、携帯電話１側で、画像全体から被写体が撮像された部分である被写体画像３１のみが抽出されるため、盗難車検索サーバ２０又は画像認識サーバ２０Ａは、その被写体画像３１から文字情報を精度よく認識することができる。
【００９７】
さらに、携帯電話１の各処理手段２２〜２７は、プログラムとして実装されていたが、これに限定されず、例えば集積回路のようにハードウェアとして実装されていてもよい。
【図面の簡単な説明】
【００９８】
【図１】実施形態１に係る盗難車検索システムの概略構成図である。
【図２】実施形態１に係るプログラムを実行する携帯電話の構成を示す機能ブロック図である。
【図３】実施形態１に係る盗難車検索システムの構成を示す機能ブロック図である。
【図４】実施形態１に係る盗難車検索システムの処理フローである。
【図５】実施形態１に係る被写体画像の切り出しについての処理フローである。
【図６】実施形態２に係る車両管理システムの構成を示す機能ブロック図である。
【符号の説明】
【００９９】
１ 携帯電話
２ CPU
３ ROM
４ フラッシュメモリ
５ 操作ボタン
６ ディスプレイ
７ マイク
８ スピーカ
９ 撮像装置
１０ 無線通信装置
１１ アンテナ
１２ 装置
１３ プログラム
２０ 盗難車検索サーバ
２１ 盗難車データベース
２２ ナンバープレート認識手段
２３ 盗難車検索手段
２４ 連絡先検索手段
２５ 検索結果送信手段
２６ 位置情報・画像情報登録手段
２７ マッピング作図手段
３０ 画像
３１ 被写体画像
４０ ネットワーク
【技術分野】
【０００１】
本発明は携帯端末装置のプログラム、携帯端末装置、画像認識システム、及び盗難車検索システムに関し、特に、携帯端末装置により現場で撮像した画像をサーバが画像認識する場合に適用して有用なものである。
【背景技術】
【０００２】
従来、自動車が盗難に遭ったものであるか否かの判断は、例えば警察官がその車両のナンバープレートに記載された自動車登録番号を無線機等により口頭で照会することにより行われている。このような方法によれば、口頭による照会であるため結果を得るまでに時間を要してしまう他、人手がかかるために、無人による２４時間の運用が難しい。このため、携帯端末装置を用いて、即座に、しかも全自動で自動車が盗難に遭ったものであるか否かを照会し得る車両照会システムが提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に示すような車両照会システムでは、携帯端末装置のカメラを用いてナンバープレートを撮像し、その画像データをサーバ装置に送信する。そして、サーバ装置では、その画像データを画像処理することで自動車登録番号を文字情報として認識し、盗難車の情報が記憶されたデータベースを検索することでその自動車登録番号の自動車が盗難に遭ったか否かを携帯端末装置に送信する。このような車両照会システムにより、自動車が盗難車であるか否かを即座に照会することが出来るようになっている。
【０００４】
しかしながら、特許文献１の車両照会システムでは、携帯端末装置のカメラにより得られる画像は、必ずしも画像認識され易いものであるとは限らないため、ナンバープレートから得られる自動車登録番号の認識の精度が低くなってしまうという問題がある。例えば、画像中にナンバープレートが十分な大きさで撮像されていない場合や、ナンバープレートへの焦点が合っていない場合、サーバ装置でのナンバープレートの認識率が低下してしまう。この結果、携帯端末装置の操作者に再度の撮影を促すことになり、迅速に自動車の照会が出来ないという問題が生じる。
【０００５】
また、携帯端末装置で撮像した画像をそのままサーバ装置に送信すると、その画像の一部にあるナンバープレートを認識するために、画像全体をスキャンしてナンバープレートを認識し、その後、自動車登録番号を認識しなければならず、画像データの送信や、画像認識に時間を要してしまう。特に、多数の携帯端末装置からサーバ装置に画像が集中して送信されると、サーバ装置からの結果が携帯端末装置に返るまでの時間が増大し、自動車登録番号の照会作業に支障が生じてしまう。
【０００６】
なお、このような問題は、自動車のナンバープレートを撮像し、そこに記載された自動車登録番号を文字情報として認識する場合に限定されず、携帯端末装置で任意の被写体を撮像し、サーバ装置で画像を認識して文字情報を認識する場合にも同様に存在する。
【０００７】
【特許文献１】特開２００５−３０１３７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、かかる事情に鑑み、文字が記載された被写体からその文字を高精度にかつ迅速に得ることができ、画像処理により切り出された被写体画像とその撮像場所を示すＧＰＳ位置情報とを一緒に送信する携帯端末装置のプログラム、携帯端末装置、画像認識システム及びナンバープレートからその自動車登録番号とその自動車に関する情報とを高精度にかつ迅速に得ることができる盗難車検索システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための本発明の第１の態様は、撮像装置と、無線通信でデータの送受信を行う無線通信装置と、ディスプレイと、前記撮像装置から得た画像を画像処理することにより、当該画像のうち、文字が記載されて目的とする被写体が含まれた領域である被写体画像を認識する被写体認識手段と、前記無線通信装置を介して前記被写体画像を画像認識サーバに送信する画像送信手段と、前記画像認識サーバが前記被写体画像を画像処理することによりその被写体画像から抽出した文字情報を前記画像認識サーバから受信するとともに、当該文字情報を前記ディスプレイに表示する情報表示手段とを備えることを特徴とする携帯端末装置にある。
【００１０】
かかる第１の態様では、被写体を撮像して得た画像から所定の画像処理を行うことで、画像全体から被写体のみが撮像された部分である被写体画像を切り出し、この被写体画像を画像認識サーバに送信する。このため、画像認識サーバに、画像全体をスキャンさせることなく、その分高速に被写体画像から文字情報を抽出させることができる。
【００１１】
本発明の第２の態様は、第１の態様に記載する携帯端末装置において、前記被写体認識手段は、前記画像を画像処理して、被写体に記載された文字数、画像中の文字の位置、又は画像全体のピクセル数に占める文字のピクセル数の比率であるピクセル比率を算出し、これらの文字数、位置又はピクセル比率から、前記画像に被写体が含まれているか否かの度合いを表すスコア値を計算し、当該スコア値が所定値になるまで前記撮像装置をズームさせることを特徴とする携帯端末装置にある。
【００１２】
かかる第２の態様では、スコア値を用いることで、画像認識サーバが文字情報を抽出しうる程度の画質の被写体画像を得ることができるので、画像認識サーバでの画像処理において高精度に被写体画像から文字情報を抽出することができる。
【００１３】
本発明の第３の態様は、第２の態様に記載する携帯端末装置において、前記被写体認識手段は、前記被写体に焦点を合わせて画像を取得することを特徴とする携帯端末装置にある。
【００１４】
かかる第３の態様では、被写体に焦点が合った被写体画像を形成できるため、画像認識サーバに被写体画像から文字情報をより高精度に抽出させることができる。
【００１５】
本発明の第４の態様は、第１〜第３の何れか一つの態様に記載する携帯端末装置において、ＧＰＳ機能をさらに備え、前記画像送信手段は、前記被写体画像とともに前記ＧＰＳ機能による位置情報を前記画像認識サーバに送信することを特徴とする携帯端末装置にある。
【００１６】
かかる第４の態様では、ＧＰＳ機能による位置情報、すなわち被写体を撮像した場所を画像認識サーバに送信することができる。例えば被写体がナンバープレートである場合、その自動車が発見された位置情報を画像認識サーバに送ることになり、画像認識サーバは、その自動車が盗難に遭ったものであるならば、受信した位置情報を利用して、盗難車の発見場所としてこれを記録することができる。このような記録から盗難車の盗難状況、例えば、地域別の盗難車発生状況を表すマップを作図したりすることができる。
【００１７】
本発明の第５の態様は、第１〜第４の何れか一つの態様に記載する携帯端末装置において、前記情報表示手段は、前記画像認識サーバから受信した前記文字情報と共に、前記被写体画像を前記ディスプレイに表示することを特徴とする携帯端末装置にある。
【００１８】
かかる第５の態様では、画像認識サーバにて正確に被写体に記載された文字が認識されて正しい文字情報が得られているか否かを比較確認することができる。
【００１９】
本発明の第６の態様は、第１〜第５の何れか一つの態様に記載する携帯端末装置において、前記被写体は、自動車のナンバープレートであり、前記情報表示手段では、前記画像認識サーバが被写体画像から抽出した文字情報と、その文字情報と一致する自動車登録番号が盗難に遭った自動車のものであるか否かを前記画像認識サーバから受信して前記ディスプレイに表示することを特徴とする携帯端末装置にある。
【００２０】
かかる第６の態様では、携帯端末装置は画像全体からナンバープレートのみの被写体画像を画像認識サーバに送信するため、画像認識サーバに被写体画像から文字情報を高精度に抽出させることができ、この結果、その文字情報に基づいてその自動車が盗難車であるか否かが正確に検索される。これにより携帯端末装置は、その自動車が盗難車であるか否かについての正確な情報を得ることができる。
【００２１】
本発明の第７の態様は、第１〜第６の何れか一つの態様に記載する各種処理手段として携帯端末装置を機能させるためのプログラムにある。
【００２２】
かかる第７の態様では、携帯端末装置に上述した被写体画像の切り出し等を行わせることができる。またプログラムは、既存の携帯端末装置にダウンロードされて実行されうるので、既存の携帯端末装置を新たなものに取り替えることなく、有効活用することができる。
【００２３】
本発明の第８の態様は、第１〜第６の何れか一つの態様に記載する携帯端末装置と、無線でデータの送受信が可能に接続された画像認識サーバとを備える画像認識システムであって、前記画像認識サーバは、前記携帯端末装置から受信した被写体画像を画像処理することにより被写体に記載された文字の文字情報を抽出する画像認識手段と、前記文字情報を前記携帯端末装置に送信する検索結果送信手段とを備えることを特徴とする画像認識システムにある。
【００２４】
かかる第８の態様では、携帯端末装置が、被写体を撮像して得た画像から所定の画像処理を行うことで、画像全体から被写体のみが撮像された部分である被写体画像を切り出し、この被写体画像を画像認識サーバに送信する。このため、画像認識サーバは、画像全体をスキャンする必要が無く、その分高速に被写体画像から文字情報を抽出することができる。
【００２５】
本発明の第９の態様は、第１〜第６の何れか一つの態様に記載する携帯端末装置と、無線でデータの送受信が可能に接続された盗難車検索サーバとを備える盗難車検索システムであって、前記被写体は、自動車のナンバープレートであり、前記盗難車検索サーバは、前記携帯端末装置から受信した被写体画像を画像処理することによりナンバープレートに記載された文字情報を抽出するナンバープレート認識手段と、盗難に遭った自動車の自動車登録番号が記憶された盗難車データベースと、前記ナンバープレート認識手段により前記被写体画像から抽出された文字情報と一致する自動車登録番号が前記盗難車データベースに登録されているか否かを検索する盗難車検索手段と、前記文字情報と前記盗難車検索手段の検索結果を前記携帯端末装置に送信する検索結果送信手段とを備えることを特徴とする盗難車検索システムにある。
【００２６】
かかる第９の態様では、盗難に遭った自動車と思われるもののナンバープレートを携帯端末装置で撮像すると、盗難車検索サーバから実際に盗難に遭った自動車であるか否かの情報が迅速に与えられる。これにより、携帯端末装置の操作者は、被写体画像を送信してから迅速に、その自動車が盗難に遭ったか否かについての正確な情報を知ることができる。
【００２７】
本発明の第１０の態様は、第９の態様に記載する盗難車検索システムにおいて、前記盗難車データベースには、盗難に遭った自動車を管轄する組織とその連絡先がさらに記憶され、前記盗難車検索サーバは、前記盗難車検索手段により前記自動車登録番号が前記盗難車データベースに登録されている場合、その自動車登録番号の自動車を管轄する組織とその連絡先を前記盗難車データベースから検索する連絡先検索手段をさらに備え、前記検索結果送信手段は、前記連絡先検索手段の検索結果を前記携帯端末装置に送信することを特徴とする盗難車検索システムにある。
【００２８】
かかる第１０の態様では、盗難車を発見した場合に、連絡すべき組織に確実に且つ迅速に連絡をとることができる。
【００２９】
本発明の第１１の態様は、第４〜第６の何れか一つの態様に記載する携帯端末装置と、無線でデータの送受信が可能に接続された盗難車検索サーバとを備える盗難車検索システムであって、前記被写体は、自動車のナンバープレートであり、前記盗難車検索サーバは、前記携帯端末装置から受信した被写体画像を画像処理することによりナンバープレートに記載された文字情報を抽出するナンバープレート認識手段と、盗難に遭った自動車の自動車登録番号が記憶された盗難車データベースと、前記ナンバープレート認識手段により前記被写体画像から抽出された文字情報と一致する自動車登録番号が前記盗難車データベースに登録されているか否かを検索する盗難車検索手段と、前記文字情報と前記盗難車検索手段の検索結果を前記携帯端末装置に送信する検索結果送信手段と、前記ナンバープレート認識手段により前記被写体画像から抽出された文字情報と一致する自動車登録番号が前記盗難車データベースに登録されているとき、前記携帯端末装置から受信した位置情報をその自動車登録番号に関連づけて前記盗難車データベースに記憶するデータベース更新手段と、地図データにおける前記盗難車データベースの位置情報に対応する位置に、その位置情報に関連づけられた自動車登録番号を表示するマッピング作図手段とを備えることを特徴とする盗難車検索システムにある。
【００３０】
かかる第１１の態様では、自動車の盗難の発生状況を視覚的に把握することができる。盗難の発生状況についての視覚的な表示は、盗難の傾向を推測したり、盗難防止対策をするための情報として有効なものである。
【００３１】
本発明の第１２の態様は、第１１の態様に記載する盗難車検索システムにおいて、前記データベース更新手段は、前記位置情報を受信した日時を前記盗難車データベースに記憶し、前記マッピング作図手段は、前記盗難車データベースに記憶された日時とともに前記自動車登録番号を表示することを特徴とする盗難車検索システムにある。
【００３２】
かかる第１２の態様では、自動車の盗難の発生状況を、時系列的に把握することができる。
【発明の効果】
【００３３】
本発明によれば、文字が記載された被写体からその文字を高精度にかつ迅速に得ることができ、画像処理により切り出された被写体画像とその撮像場所を示すＧＰＳ位置情報とを一緒に送信することができる携帯端末装置のプログラム、携帯端末装置、及び画像認識システム、並びにナンバープレートからその自動車登録番号とその自動車に関する情報とを高精度にかつ迅速に得ることができる盗難車検索システムが提供される。
【発明を実施するための最良の形態】
【００３４】
以下、本発明を実施するための最良の形態について説明する。なお、実施形態の説明は例示であり、本発明は以下の説明に限定されない。
【００３５】
〈実施形態１〉
図１は、実施形態１に係る盗難車検索システムの概略構成図である。図示するように、本実施形態の盗難車検索システムは、携帯電話１と、携帯電話１とネットワーク４０を介してデータの送受信が可能に接続された盗難車検索サーバ２０（画像認識サーバの一例）とを具備している。
【００３６】
携帯電話１は、本発明に係るプログラムを実行する携帯端末装置の一例である。携帯電話１は、カメラで撮影した画像３０のうち、ナンバープレート３２（被写体）が撮像された部分である被写体画像３１を切り出し、被写体画像３１をネットワーク４０を介して盗難車検索サーバ２０に送信する。
【００３７】
盗難車検索サーバ２０は、ＣＰＵ、記憶装置、入出力装置、通信装置等を備えた一般的な情報処理装置である。盗難車検索サーバ２０は、携帯電話１から受信した被写体画像３１に対して画像処理を行うことでナンバープレート３２に記載された文字である自動車登録番号を文字情報として認識し、この文字情報を携帯電話１に送信する。さらに、盗難車検索サーバ２０は、盗難に遭った自動車に関する情報を予め保持しており、認識した自動車登録番号が盗難に遭った自動車のものであるか否かを検索して、その結果を携帯電話１に送信する。
【００３８】
ネットワーク４０は、携帯電話１の通信網とインターネットとから構成されている。なお、通信内容の機密性を確保すべく、ＶＰＮやＳＳＬ等を併用することが好ましい。
【００３９】
図２は、実施形態１に係るプログラムを実行する携帯電話の構成を示す機能ブロック図である。図示するように、携帯電話１は、ＣＰＵ２と、ＲＯＭ３と、フラッシュメモリ４と、操作ボタン５と、ディスプレイ６と、マイク７と、スピーカ８と、撮像装置９と、無線通信装置１０と、アンテナ１１、ＧＰＳ装置１２とを備えている。
【００４０】
ＣＰＵ２は、携帯電話１全体の制御を行うものであり、具体的には、各機器３〜１２の制御やデータの受け渡し、アプリケーションの起動および停止などを行うことによって、携帯電話１を一つの装置として機能させる。
【００４１】
ＲＯＭ３は、プログラムやデータを格納する記憶装置であり、ＣＰＵ２は、ＲＯＭ３からプログラムを読み出して実行する中央処理装置である。フラッシュメモリ４は、プログラムやデータの読み出し、および、書き込みが可能な半導体メモリであり、例えば電話番号やメールアドレスなどのデータを記憶する。
【００４２】
操作ボタン５は、文字や数字を入力したり各種操作をしたりするためのボタンであり、ディスプレイ６は、各種情報の表示を行う液晶ディスプレイ（表示部）である。マイク７は、音声通話時に音声を入力し、スピーカ８は、音声通話時の音声などを出力する。
【００４３】
撮像装置９は、被写体であるナンバープレート３２を撮影し、その画像３０を電子データとして取得するためのものである。この画像３０からは、詳細は後述するが、プログラムにより画像処理されて被写体画像３１が切り出される。また、撮像装置９は、ズーム機能とオートフォーカス機能とを有しており、これらの機能は、ＣＰＵ２の制御により調整可能になっている。
【００４４】
無線通信装置１０は、アンテナ１１を介して送信する電波を生成する処理や、アンテナ１１を介して受信した電波から通信データを復元する処理を行う集積回路であり、アンテナ１１は、電波を送信あるいは受信する。
【００４５】
ＧＰＳ装置１２は、グローバル・ポジショニング・システム (GPS: Global Positioning System)を利用して、携帯電話１の位置を取得する装置である。このＧＰＳ装置１２により取得された携帯電話１の位置を位置情報と称する。位置情報は、詳細は後述するが、画像認識サーバに送信され、その位置情報に関連する情報が画像認識サーバから送信される。
【００４６】
そして、この携帯電話１において実行されるプログラム１３は、あらかじめ、ネットワークを介して他のコンピュータからダウンロードされて、フラッシュメモリ４に記憶されて、ＣＰＵ２によって実行される。
【００４７】
なお、プログラム１３は、必ずしもダウンロードされてフラッシュメモリ４に記憶される必要はなく、例えば、あらかじめ、ＲＯＭ３に記憶されていてもよいし、メモリカードなど、着脱可能な外部記憶装置に記憶されていてもよい。また、携帯電話１にプログラム１３をインストールする方法としては、携帯電話１がプログラム１３をダウンロードしてＲＯＭ３やフラッシュメモリ４にインストールする場合に限らず、任意の方法で携帯電話１に独自にインストールされていてもよい。例えば、ＵＳＢ等のインタフェースを介してパソコン等から携帯電話１のＲＯＭ３やフラッシュメモリ４にプログラム１３がインストールされてもよい。
【００４８】
図３は、実施形態１に係る盗難車検索システムの構成を示す機能ブロック図である。図示するように、盗難車検索サーバ２０は、盗難車データベース２１と、ナンバープレート認識手段（画像認識手段）２２と、盗難車検索手段２３と、連絡先検索手段２４と、検索結果送信手段２５と、位置情報・画像情報登録手段２６と、マッピング作図手段２７とを備えている。なお、これらの各種処理手段２２〜２７はＣＰＵで実行されるプログラムとして実装されている。
【００４９】
盗難車データベース２１は、盗難車の自動車登録番号、及び盗難車を管轄する組織とその連絡先が予め記憶されている。自動車登録番号は、一般的な自動車の場合、地名（品川、横浜等）、分類（２〜３桁の数字）、用途（平仮名）、最大４桁の一連の番号から構成されている。また、盗難車データベース２１には、盗難車の自動車登録番号ごとに、その管轄の組織、例えば警察署の名称やその連絡先の電話番号等が関連づけられて記憶され、自動車登録番号が特定されれば、その名称、連絡先が検索できるようになっている。なお、盗難車データベース２１には、盗難車の所有者の氏名や盗難車の車種、色、車体番号、エンジン番号などの所有者に関する情報や、盗難が発生した年月日、場所など盗難事件に関する情報が記憶されていてもよい。
【００５０】
なお、盗難車データベース２１は、盗難車検索サーバ２０自体が備えている必要はなく、別の情報処理装置に備わっていてもよい。この場合、盗難車検索サーバ２０が、ネットワーク越しにその情報処理装置の盗難車データベース２１を利用できるようにする。例えば、複数の盗難車検索サーバ２０が、一つの盗難車データベース２１を共用するように構成することで、複数の盗難車検索サーバ２０で負荷を分散することができる。
【００５１】
ナンバープレート認識手段２２は、携帯電話１から受信した被写体画像３１を画像処理することによりナンバープレート３２に記載された文字情報を抽出する。具体的には、ＯＣＲ（Optical Character Reader）処理を行う。
【００５２】
このとき、詳細は後述するが、携帯電話１側で、撮像装置９で撮像した全体の画像３０からナンバープレート３２のみが撮像された部分の被写体画像３１が切り出されているため、ナンバープレート認識手段２２は、画像３０全体をスキャンしてナンバープレート３２に該当する部分を認識する必要はない。このため、スキャンに掛る処理時間を短縮することが可能となっている。また、仮にナンバープレート認識手段２２が画像３０全体をスキャンするとナンバープレート３２の位置を誤認識する場合もあるが、本発明のナンバープレート認識手段２２の処理対象は被写体画像３１であるのでこのようなスキャンは不要となり、そのような誤認識をすることなく高精度にナンバープレート３２の自動車登録番号を認識することが出来る。
【００５３】
さらに、詳細は後述するが、携帯電話１は、ナンバープレート認識手段２２が自動車登録番号を認識し得る程度に、ズーム機能やオートフォーカス機能を調整して撮像するので、自動車登録番号をより一層高い精度で認識できる。なお、画像処理手法としては特に限定されず、既知のものを適用することが出来る。このような画像処理手法を用いても高精度な認識が可能である。
【００５４】
盗難車検索手段２３は、ナンバープレート認識手段２２により被写体画像３１から抽出された文字情報と一致する自動車登録番号が盗難車データベース２１に登録されているか否かを検索する。すなわち、被写体画像３１から抽出された文字情報を検索キーとして、盗難車データベースからその検索キーに一致する自動車登録番号を検索する。検索の結果、一致した自動車登録番号がみつかれば、携帯電話１で撮像したナンバープレート３２の自動車は盗難に遭ったものであるということになる。
【００５５】
連絡先検索手段２４は、盗難車検索手段２３において、被写体画像３１から抽出した文字情報と一致する自動車登録番号が盗難車データベースに登録されている場合、その自動車登録番号の自動車を管轄する組織とその連絡先を盗難車データベース２１から検索する。この検索の結果、盗難に遭った自動車を管轄する組織への連絡先が得られることになる。
【００５６】
検索結果送信手段２５は、被写体画像３１から認識した文字情報、盗難車検索手段２３の検索結果、及び連絡先検索手段２４の検索結果を携帯電話１に送信する。これにより、携帯電話１は、受信した文字情報をディスプレイ６に表示することで、認識結果が正しいか否かを携帯電話１の操作者に確認させることが出来る。また、盗難車検索手段２３の検索結果、すなわち、被写体画像３１から認識した自動車登録番号が盗難に遭った自動車に関するものであるか否かが携帯電話１に送信されるため、操作者は、撮像したナンバープレート３２の自動車が盗難車であるか否かを判断することが出来る。さらに、連絡先検索手段２４の検索結果、すなわち、盗難車の管轄への連絡先が携帯電話１に送信され、ディスプレイ６に表示されるため、操作者は、表示された連絡先にフォーカスを当て、発信ボタンを押下することで、速やかにその連絡先に連絡して対処することが出来る。
【００５７】
また、携帯電話１は、被写体画像３１を切り出した後、フラッシュメモリ４に一時的に格納しており、上記検索結果である文字情報と共にその被写体画像３１をディスプレイ６に表示するようになっている。これにより、ナンバープレート認識手段２２にて正確にＯＣＲ処理されて正しい文字情報が得られているか否かを比較確認することができるようになっている。
【００５８】
位置情報・画像情報登録手段２６は、データベース更新手段の一例であり、携帯電話１から受信した位置情報を盗難車データベースに記憶させ、さらに被写体画像３１も盗難車データベースに記憶させるものである。詳言すると、ナンバープレート認識手段２２により被写体画像３１から抽出された文字情報と一致する自動車登録番号が盗難車データベース２１に登録されているとき、携帯電話１から受信した位置情報をその自動車登録番号に関連づけて盗難車データベース２１に記憶する。また、被写体画像３１もその自動車登録番号に関連づけて盗難車データベース２１に記憶する。これにより、携帯電話１が自動車を撮像した位置、すなわち発見場所をその自動車登録番号に関連づけて記録することが出来る。なお、位置情報の記録の際に、位置情報を受信した日時を合わせて盗難車データベース２１に記憶させてもよい。
【００５９】
マッピング作図手段２７は、地図データにおける盗難車データベース２１の位置情報に対応する位置に、その位置情報に関連づけられた自動車登録番号を表示する。すなわち、地図上に、発見場所を重ね合わせて表示する。これにより、自動車の盗難の発生状況を視覚的に把握することができる。また、地図上に、盗難車データベース２１に記憶した日時を合わせて表示させてもよい。これにより、自動車の盗難の発生状況を、時系列的に把握することができる。このように盗難の発生状況についての視覚的な表示は、盗難の傾向を推測したり、盗難防止対策をするための情報として有効なものである。
【００６０】
図４は、実施形態１に係る盗難車検索システムの処理フローである。同図を用いて、携帯電話１と盗難車検索サーバ２０の処理フローについて説明する。なお、盗難車データベース２１には、例として表１に示すような情報が予め記憶されているとする。
【００６１】
【表１】
【００６２】
表１の各行は一つの盗難車に関する自動車登録番号、所有者に関する情報、及び盗難事件に関する情報を表している。そして、携帯電話１の撮像対象のナンバープレート３２には「横浜 ３００ や ＹＹ−ＹＹ」が記載されているとする。
【００６３】
まず、携帯電話１は、ナンバープレート３２の撮像及び被写体画像３１の切り出しを行う（被写体識別手順；ステップＳ１）。すなわち、携帯電話１の操作者の操作により、撮像装置９を介して携帯電話１のメモリに画像３０が記録され、プログラム１３によりその画像３０からナンバープレート３２部分の被写体画像３１が切り出される。この被写体画像３１の切り出しについては後述する。
【００６４】
次に、携帯電話１は、ＧＰＳ装置１２で位置情報の取得を行う（ステップＳ２）。その後、盗難車検索サーバ２０に対して、被写体画像３１及び位置情報の送信を行う（画像送信手順；ステップＳ３）。ただし、携帯電話１は、被写体画像３１をフラッシュメモリ４に記憶させたままにしておく。
【００６５】
一方、盗難車検索サーバ２０は、携帯電話１から受信した被写体画像３１を画像処理することにより被写体画像３１から文字情報の認識を行う（ステップＳ４）。この処理により、ナンバープレート３２に記載された自動車登録番号である「横浜 ３００ や ＹＹ−ＹＹ」が文字情報として認識される。
【００６６】
次に、盗難車検索サーバ２０は、文字情報に一致する自動車登録番号の検索を行う（ステップＳ５）。例えば、ステップＳ４で認識された文字情報については、表１に示した盗難車データベース２１からは、２行目の自動車登録番号がみつかる。すなわち、携帯電話１で撮像したナンバープレート３２の自動車は盗難に遭ったものであることが分かる。
【００６７】
次に、盗難車検索サーバ２０は、盗難車を管轄する警察署等の組織とその連絡先の検索を行う（ステップＳ６）。例えば、ステップＳ４で認識された文字情報については、表１に示した盗難車データベース２１からは、２行目の「Ｂ警察署」の「連絡先Ｂ」がみつかる。
【００６８】
そして、盗難車検索サーバ２０は、携帯電話１に対して、ステップＳ５、ステップＳ６でみつけた検索結果の送信を行う（ステップＳ７）。例えば、ステップＳ５の検索結果としては、認識した文字情報そのものであってもよいし、その文字情報に一致する自動車登録番号の自動車は盗難に遭ったものである旨の情報であってもよい。
【００６９】
携帯電話１は、盗難車検索サーバ２０からの検索結果の表示を行う（情報表示手順；ステップＳ８）。例えば、携帯電話１は、ディスプレイ６に、盗難車検索サーバ２０が認識した文字情報や、その文字情報に一致する自動車登録番号の自動車は盗難に遭ったものである旨を表示する。このとき、携帯電話１は、フラッシュメモリ４に記憶させた被写体画像３１を文字情報に並べてディスプレイ６に表示する。これにより、利用者は、撮像した被写体画像３１と、そこに記載されている文字が正しく認識されたか否かを確認することができる。
【００７０】
一方、盗難車検索サーバ２０は、盗難車データベース２１に携帯電話１から得た位置情報と被写体画像３１の登録をさせる（ステップＳ９）。また、このとき位置情報を受信したときの日時も記憶させる。表２に、表１の盗難車データベース２１に位置情報と日時を記憶させたものを例示する。
【００７１】
【表２】
【００７２】
表２に示すように、盗難車として認識された２行目の自動車登録番号について、携帯電話１から得た位置情報、すなわち発見場所の緯度経度が記憶され、その位置情報を得た日時（発見日時）が記憶されている。なお、所有者、盗難年月日、盗難場所については表１と同じであるので表示を省略してある。
【００７３】
次に、盗難車検索サーバ２０は、マップの作図を行う（ステップＳ１０）。例えば、盗難車検索サーバ２０のディスプレイに地図データを表示し、その地図データの発見場所に該当する箇所に、盗難車の自動車登録番号や発見日時を表示する。マップの作図方法には、地域別の盗難車発生状況を表す図、盗難事件個別詳細を表す図、同一盗難車の時系列発生状況を表す図などの作図が可能である。
【００７４】
ここで、携帯電話１のプログラム１３による被写体画像３１の切り出しについて説明する。図５は、実施形態１に係る被写体画像３１の切り出しについての処理フローである。まず、プログラム１３は、撮像装置９から画像の取得を行う（ステップＳ１１）。具体的には、ＣＰＵ２が撮像装置９で撮像された画像をフラッシュメモリ４又は一時記憶用のメモリに記憶する。
【００７５】
次に、この画像に対して画像処理を行いスコア値の計算を行う（ステップＳ１２）。ここで、スコア値とは、画像に被写体が含まれているか否かの度合いを表す数値である。スコア値は、被写体に記載された文字数、画像中の文字の位置、又は画像全体のピクセル数に占める文字のピクセル数の比率であるピクセル比率を算出し、これらに基づいてスコア値を算出する。
【００７６】
具体的には、画像全体にある文字数をカウント処理して、ナンバープレート３２を構成している日本語（地域名、平仮名）、数字（分類番号、一連番号）、記号（ハイフン、ドット）のみを検知し、その検知した文字数を加算することで文字数を算出する。この文字数をＸ１とする。なお、このカウント処理は、画像中の文字を数える処理であり、ＯＣＲ技術を応用することで実現できる。ＯＣＲ処理によれば、個々の文字を認識するのみならず、画像中に文字が在ることを認識し、この認識した文字数を得ることができるからである。
【００７７】
また、画像処理により数字部分と記号部分とを検知し、その検知した数字部分と記号部分とがナンバー部の形式である「ＮＮ−ＮＮ」や「・Ｎ―ＮＮ」（Ｎは数字）に適合するか否かを判断する。例えば、検知した数字部分と記号部分とが、「１２―３４」や「・５−６７」であれば、この形式に適合するものと判断される。この場合は、その文字数をＸ２とし、符号を＋とする。一方、ナンバー部の形式に適合しない場合、例えば「Ｚ３４―１２」（Ｚは誤認識した文字）や「１―１２」のように、形式に対して文字数が過剰であったり不足した場合は、その文字数をＸ２とし、符号を−（マイナス）とする。
【００７８】
なお、Ｘ２としては、次のような数値であってもよい。すなわち、検知した文字のうち、ナンバー部、すなわち数字部分と記号（ハイフン、ドット）部分の文字サイズ（ピクセル数）が、画像全体のピクセル数に占める比率を算出することでピクセル比率を算出する。このピクセル比率をＸ２とする。このとき、ピクセル比率Ｘ２が或る閾値以上であるならば、符号を＋とし、その閾値未満であるならば符号を−（マイナス）とする。
【００７９】
さらに、画像処理により日本語部分（地域名）と数字部分（分類番号）とを検知し、その検知した日本語部分と数字部分が地域名・分類番号の形式である「○○○ ＮＮＮ」（○は文字、Ｎは数字）に適合するか否かを判断する。例えば、検知した日本語部分と数字部分とが、「横浜 ３００」であれば、この形式に適合するものと判断される。この場合は、その文字数をＸ３とし、符号を＋とする。一方、上記形式に適合しない場合、例えば「横浜 ３００Ｚ」（Ｚは誤認識した文字）や「横浜 ３」のように、形式に対して文字数が過剰であったり不足した場合は、その文字数をＸ３とし、符号を−（マイナス）とする。
【００８０】
このように算出したＸ１〜Ｘ３について、次式のように所定の係数ａ〜ｃをそれぞれ乗じて加算することでスコア値Ｙを算出する。
【００８１】
【数１】
【００８２】
係数ａ〜ｃは、ナンバープレート認識手段２２でＯＣＲ処理をした際に文字を十分に認識できる程度に調整する。例えば、ａを１０、ｂを１０、ｃを２５とすることが好ましい。
【００８３】
なお、スコア値の算出はこのような算出方法に限定されない。例えば、画像からカウント処理で認識した文字数が、ナンバープレート３２に含まれる文字数と同数であるか否かを数値化したものを用いてもよい。また、地域名、分類名、平仮名、一連番号については文字数を算出し、ナンバー部についてはピクセル比率を算出したが、ナンバー部について文字数を算出し、地域名、分類名、平仮名、一連番号全体についてピクセル比率を算出してもよい。
【００８４】
次に、スコア値が所定の閾値以上であるか否かを判定する。本実施形態では、スコア値が６０以上であるか否かを判定する（ステップＳ１３）。この結果、スコア値が６０未満であるとき（ステップＳ１３；Ｎｏ）、１段階分、撮像装置９のズームを行う（ステップＳ１４）。これにより、画像中に占めるナンバープレート３２が大きくなり、認識の精度が向上する。その後、ステップＳ１１に戻り、画像の取得、スコア値の計算を行う。このようにして、スコア値が６０以上になった場合（ステップＳ１３；Ｙｅｓ）、ナンバープレート認識手段２２がＯＣＲ処理して文字情報を抽出しうる程度の画質のナンバープレート３２が画像中にあるということになる。
【００８５】
次に、撮像装置９のオートフォーカス機能によりナンバープレート３２への焦点合わせを行う（ステップＳ１５）。これにより、焦点の合った画像が得られ、盗難車検索サーバ２０での認識の精度が向上する。次に、画像全体から認識したナンバープレート３２の部分（被写体画像３１）の切り出しを行う（ステップＳ１６）。
【００８６】
最後に、被写体画像３１とこの被写体画像３１を確認するための確認ボタンをディスプレイに表示し、その確認ボタンが押されたか否かを判定する（ステップＳ１７）。これにより、操作者に対して、画像認識して切り出した被写体画像３１が確実にナンバープレート３２であるか否かを確認させることができる。この確認ボタンが押されない場合（ステップＳ１７；Ｎｏ）、例えば、不適切な被写体画像３１がディスプレイに表示された場合等であるが、ステップＳ１１に戻り、再度被写体画像３１を得るためのステップを実行する。確認ボタンが押された場合（ステップＳ１７；Ｙｅｓ）、被写体画像３１の切り出しを終了する。
【００８７】
以上に説明したように、プログラム１３を実行する携帯電話１は、ナンバープレート３２を撮像して得た画像から所定の画像処理を行うことで、画像全体からナンバープレート３２のみが撮像された部分である被写体画像３１を切り出す。このとき、携帯電話１は、スコア値を用いて、ナンバープレート認識手段２２がＯＣＲ処理して文字情報を抽出しうる程度の画質の被写体画像３１を得るので、ナンバープレート認識手段２２でのＯＣＲ処理において高精度に被写体画像３１から文字情報を抽出することができる。
【００８８】
また、携帯電話１は、画像全体から被写体画像３１を抜き出し、この被写体画像３１を盗難車検索サーバ２０に送信するため、盗難車検索サーバ２０は、画像全体をスキャンする必要はなく、その分高速に被写体画像３１から文字情報を抽出することができる。
【００８９】
そして、盗難車検索サーバ２０は、文字情報を検索キーとして盗難車データベースを検索して、そのナンバープレート３２の自動車が盗難に遭ったか否かを携帯電話１に送信する。このため、携帯電話１の操作者は、被写体画像３１を送信してから迅速に、その自動車が盗難に遭ったか否かについての正確な情報を知ることができる。
【００９０】
〈実施形態２〉
実施形態１の盗難車検索システムでは、盗難車に関する情報が記憶された盗難車データベースを用いたが、必ずしも盗難車に限定する必要はなく、本発明に係る画像認識システムは、例えば、或る施設に入庫した自動車を管理する車両管理システムに応用できる。
【００９１】
図６は、実施形態２に係る車両管理システムの構成を示す機能ブロック図である。なお、実施形態１と同一のものには同一の符号を付し、重複する説明は省略する。
【００９２】
図示するように、実施形態２に係る車両管理システムの画像認識サーバ２０Ａ（盗難車検索サーバ２０に相当。）は、盗難車データベースの代わりに、或る施設に入庫可能な自動車の自動車登録番号が記憶された車両管理データベースを備えている。そして、画像認識サーバ２０Ａは、ナンバープレート認識手段２２により被写体画像３１から抽出された文字情報を検索キーとし、その検索キーに一致する自動車登録番号が車両管理データベースに登録されているか否かを検索する自動車検索手段２３Ａを備えている。検索結果送信手段２５は、この自動車検索手段２３Ａの検索結果を携帯電話１に送信する。
【００９３】
このような構成の画像認識システムでは、例えば、或る施設に入庫しようとする自動車のナンバープレート３２が被写体画像３１として画像認識サーバ２０Ａに送信され、その被写体画像３１から抽出された文字情報に一致する自動車登録番号が車両管理データベース２１Ａに登録されているか否かが検索される。そしてその検索結果が携帯電話１に送信される。
【００９４】
これにより、例えば施設の係員が、その施設に入庫しようとする自動車のナンバープレート３２を携帯電話１で撮像することで、その自動車がその施設に入庫可能であるか否かが画像認識サーバから与えられ、入庫の可否を即座に行うことができる。
【００９５】
〈他の実施形態〉
実施形態１又は実施形態２では、被写体は自動車のナンバープレート３２としたが、もちろんこれに限定されず、任意の文字が記載された物を被写体とすることができる。
【００９６】
また、盗難車検索サーバ２０又は画像認識サーバ２０Ａでは、被写体画像３１から文字情報を抽出した後、その文字情報と一致する自動車登録番号が盗難車データベース２１又は車両管理データベース２１Ａに登録されているかを検索したが、必ずしもこれらのようなデータベースを検索する必要はない。すなわち、携帯電話１が被写体を撮像し、所定の画像処理を行って被写体画像３１を切り出して盗難車検索サーバ２０又は画像認識サーバ２０Ａに送信し、盗難車検索サーバ２０又は画像認識サーバ２０Ａが被写体画像３１から文字情報を抽出して、その文字情報を携帯電話１に送信するようにしてもよい。この場合においても、携帯電話１側で、画像全体から被写体が撮像された部分である被写体画像３１のみが抽出されるため、盗難車検索サーバ２０又は画像認識サーバ２０Ａは、その被写体画像３１から文字情報を精度よく認識することができる。
【００９７】
さらに、携帯電話１の各処理手段２２〜２７は、プログラムとして実装されていたが、これに限定されず、例えば集積回路のようにハードウェアとして実装されていてもよい。
【図面の簡単な説明】
【００９８】
【図１】実施形態１に係る盗難車検索システムの概略構成図である。
【図２】実施形態１に係るプログラムを実行する携帯電話の構成を示す機能ブロック図である。
【図３】実施形態１に係る盗難車検索システムの構成を示す機能ブロック図である。
【図４】実施形態１に係る盗難車検索システムの処理フローである。
【図５】実施形態１に係る被写体画像の切り出しについての処理フローである。
【図６】実施形態２に係る車両管理システムの構成を示す機能ブロック図である。
【符号の説明】
【００９９】
１ 携帯電話
２ CPU
３ ROM
４ フラッシュメモリ
５ 操作ボタン
６ ディスプレイ
７ マイク
８ スピーカ
９ 撮像装置
１０ 無線通信装置
１１ アンテナ
１２ 装置
１３ プログラム
２０ 盗難車検索サーバ
２１ 盗難車データベース
２２ ナンバープレート認識手段
２３ 盗難車検索手段
２４ 連絡先検索手段
２５ 検索結果送信手段
２６ 位置情報・画像情報登録手段
２７ マッピング作図手段
３０ 画像
３１ 被写体画像
４０ ネットワーク
【特許請求の範囲】
【請求項１】
撮像装置と、
無線通信でデータの送受信を行う無線通信装置と、
ディスプレイと、
前記撮像装置から得た画像を画像処理することにより、当該画像のうち、文字が記載されて目的とする被写体が含まれた領域である被写体画像を認識する被写体認識手段と、
前記無線通信装置を介して前記被写体画像を画像認識サーバに送信する画像送信手段と、
前記画像認識サーバが前記被写体画像を画像処理することによりその被写体画像から抽出した文字情報を前記画像認識サーバから受信するとともに、当該文字情報を前記ディスプレイに表示する情報表示手段とを備える
ことを特徴とする携帯端末装置。
【請求項２】
請求項１に記載する携帯端末装置において、
前記被写体認識手段は、前記画像を画像処理して、被写体に記載された文字数、画像中の文字の位置、又は画像全体のピクセル数に占める文字のピクセル数の比率であるピクセル比率を算出し、これらの文字数、位置又はピクセル比率から、前記画像に被写体が含まれているか否かの度合いを表すスコア値を計算し、当該スコア値が所定値になるまで前記撮像装置をズームさせる
ことを特徴とする携帯端末装置。
【請求項３】
請求項２に記載する携帯端末装置において、
前記被写体認識手段は、前記被写体に焦点を合わせて画像を取得する
ことを特徴とする携帯端末装置。
【請求項４】
請求項１〜請求項３の何れか一項に記載する携帯端末装置において、
ＧＰＳ機能をさらに備え、
前記画像送信手段は、前記被写体画像とともに前記ＧＰＳ機能による位置情報を前記画像認識サーバに送信する
ことを特徴とする携帯端末装置。
【請求項５】
請求項１〜請求項４の何れか一項に記載する携帯端末装置において、
前記情報表示手段は、前記画像認識サーバから受信した前記文字情報と共に、前記被写体画像を前記ディスプレイに表示する
ことを特徴とする携帯端末装置。
【請求項６】
請求項１〜請求項５の何れか一項に記載する携帯端末装置において、
前記被写体は、自動車のナンバープレートであり、
前記情報表示手段は、前記画像認識サーバが被写体画像から抽出した文字情報と、その文字情報と一致する自動車登録番号が盗難に遭った自動車のものであるか否かを前記画像認識サーバから受信して前記ディスプレイに表示する
ことを特徴とする携帯端末装置。
【請求項７】
請求項１〜請求項６の何れか一項に記載する各処理手段として携帯端末装置を機能させるためのプログラム。
【請求項８】
請求項１〜請求項６の何れか一項に記載する携帯端末装置と、
無線でデータの送受信が可能に接続された画像認識サーバとを備える画像認識システムであって、
前記画像認識サーバは、
前記携帯端末装置から受信した被写体画像を画像処理することにより被写体に記載された文字の文字情報を抽出する画像認識手段と、
前記文字情報を前記携帯端末装置に送信する検索結果送信手段とを備える
ことを特徴とする画像認識システム。
【請求項９】
請求項１〜請求項６の何れか一項に記載する携帯端末装置と、
無線でデータの送受信が可能に接続された盗難車検索サーバとを備える盗難車検索システムであって、
前記被写体は、自動車のナンバープレートであり、
前記盗難車検索サーバは、
前記携帯端末装置から受信した被写体画像を画像処理することによりナンバープレートに記載された文字情報を抽出するナンバープレート認識手段と、
盗難に遭った自動車の自動車登録番号が記憶された盗難車データベースと、
前記ナンバープレート認識手段により前記被写体画像から抽出された文字情報と一致する自動車登録番号が前記盗難車データベースに登録されているか否かを検索する盗難車検索手段と、
前記文字情報と前記盗難車検索手段の検索結果を前記携帯端末装置に送信する検索結果送信手段とを備える
ことを特徴とする盗難車検索システム。
【請求項１０】
請求項９に記載する盗難車検索システムにおいて、
前記盗難車データベースには、盗難に遭った自動車を管轄する組織とその連絡先がさらに記憶され、
前記盗難車検索サーバは、
前記盗難車検索手段により前記自動車登録番号が前記盗難車データベースに登録されている場合、その自動車登録番号の自動車を管轄する組織とその連絡先を前記盗難車データベースから検索する連絡先検索手段をさらに備え、
前記検索結果送信手段は、前記連絡先検索手段の検索結果を前記携帯端末装置に送信する
ことを特徴とする盗難車検索システム。
【請求項１１】
請求項４〜請求項６の何れか一項に記載する携帯端末装置と、
無線でデータの送受信が可能に接続された盗難車検索サーバとを備える盗難車検索システムであって、
前記被写体は、自動車のナンバープレートであり、
前記盗難車検索サーバは、
前記携帯端末装置から受信した被写体画像を画像処理することによりナンバープレートに記載された文字情報を抽出するナンバープレート認識手段と、
盗難に遭った自動車の自動車登録番号が記憶された盗難車データベースと、
前記ナンバープレート認識手段により前記被写体画像から抽出された文字情報と一致する自動車登録番号が前記盗難車データベースに登録されているか否かを検索する盗難車検索手段と、
前記文字情報と前記盗難車検索手段の検索結果を前記携帯端末装置に送信する検索結果送信手段と、
前記ナンバープレート認識手段により前記被写体画像から抽出された文字情報と一致する自動車登録番号が前記盗難車データベースに登録されているとき、前記携帯端末装置から受信した位置情報をその自動車登録番号に関連づけて前記盗難車データベースに記憶するデータベース更新手段と、
地図データにおける前記盗難車データベースの位置情報に対応する位置に、その位置情報に関連づけられた自動車登録番号を表示するマッピング作図手段とを備える
ことを特徴とする盗難車検索システム。
【請求項１２】
請求項１１に記載する盗難車検索システムにおいて、
前記データベース更新手段は、前記位置情報を受信した日時を前記盗難車データベースに記憶し、
前記マッピング作図手段は、前記盗難車データベースに記憶された日時とともに前記自動車登録番号を表示する
ことを特徴とする盗難車検索システム。
【請求項１】
撮像装置と、
無線通信でデータの送受信を行う無線通信装置と、
ディスプレイと、
前記撮像装置から得た画像を画像処理することにより、当該画像のうち、文字が記載されて目的とする被写体が含まれた領域である被写体画像を認識する被写体認識手段と、
前記無線通信装置を介して前記被写体画像を画像認識サーバに送信する画像送信手段と、
前記画像認識サーバが前記被写体画像を画像処理することによりその被写体画像から抽出した文字情報を前記画像認識サーバから受信するとともに、当該文字情報を前記ディスプレイに表示する情報表示手段とを備える
ことを特徴とする携帯端末装置。
【請求項２】
請求項１に記載する携帯端末装置において、
前記被写体認識手段は、前記画像を画像処理して、被写体に記載された文字数、画像中の文字の位置、又は画像全体のピクセル数に占める文字のピクセル数の比率であるピクセル比率を算出し、これらの文字数、位置又はピクセル比率から、前記画像に被写体が含まれているか否かの度合いを表すスコア値を計算し、当該スコア値が所定値になるまで前記撮像装置をズームさせる
ことを特徴とする携帯端末装置。
【請求項３】
請求項２に記載する携帯端末装置において、
前記被写体認識手段は、前記被写体に焦点を合わせて画像を取得する
ことを特徴とする携帯端末装置。
【請求項４】
請求項１〜請求項３の何れか一項に記載する携帯端末装置において、
ＧＰＳ機能をさらに備え、
前記画像送信手段は、前記被写体画像とともに前記ＧＰＳ機能による位置情報を前記画像認識サーバに送信する
ことを特徴とする携帯端末装置。
【請求項５】
請求項１〜請求項４の何れか一項に記載する携帯端末装置において、
前記情報表示手段は、前記画像認識サーバから受信した前記文字情報と共に、前記被写体画像を前記ディスプレイに表示する
ことを特徴とする携帯端末装置。
【請求項６】
請求項１〜請求項５の何れか一項に記載する携帯端末装置において、
前記被写体は、自動車のナンバープレートであり、
前記情報表示手段は、前記画像認識サーバが被写体画像から抽出した文字情報と、その文字情報と一致する自動車登録番号が盗難に遭った自動車のものであるか否かを前記画像認識サーバから受信して前記ディスプレイに表示する
ことを特徴とする携帯端末装置。
【請求項７】
請求項１〜請求項６の何れか一項に記載する各処理手段として携帯端末装置を機能させるためのプログラム。
【請求項８】
請求項１〜請求項６の何れか一項に記載する携帯端末装置と、
無線でデータの送受信が可能に接続された画像認識サーバとを備える画像認識システムであって、
前記画像認識サーバは、
前記携帯端末装置から受信した被写体画像を画像処理することにより被写体に記載された文字の文字情報を抽出する画像認識手段と、
前記文字情報を前記携帯端末装置に送信する検索結果送信手段とを備える
ことを特徴とする画像認識システム。
【請求項９】
請求項１〜請求項６の何れか一項に記載する携帯端末装置と、
無線でデータの送受信が可能に接続された盗難車検索サーバとを備える盗難車検索システムであって、
前記被写体は、自動車のナンバープレートであり、
前記盗難車検索サーバは、
前記携帯端末装置から受信した被写体画像を画像処理することによりナンバープレートに記載された文字情報を抽出するナンバープレート認識手段と、
盗難に遭った自動車の自動車登録番号が記憶された盗難車データベースと、
前記ナンバープレート認識手段により前記被写体画像から抽出された文字情報と一致する自動車登録番号が前記盗難車データベースに登録されているか否かを検索する盗難車検索手段と、
前記文字情報と前記盗難車検索手段の検索結果を前記携帯端末装置に送信する検索結果送信手段とを備える
ことを特徴とする盗難車検索システム。
【請求項１０】
請求項９に記載する盗難車検索システムにおいて、
前記盗難車データベースには、盗難に遭った自動車を管轄する組織とその連絡先がさらに記憶され、
前記盗難車検索サーバは、
前記盗難車検索手段により前記自動車登録番号が前記盗難車データベースに登録されている場合、その自動車登録番号の自動車を管轄する組織とその連絡先を前記盗難車データベースから検索する連絡先検索手段をさらに備え、
前記検索結果送信手段は、前記連絡先検索手段の検索結果を前記携帯端末装置に送信する
ことを特徴とする盗難車検索システム。
【請求項１１】
請求項４〜請求項６の何れか一項に記載する携帯端末装置と、
無線でデータの送受信が可能に接続された盗難車検索サーバとを備える盗難車検索システムであって、
前記被写体は、自動車のナンバープレートであり、
前記盗難車検索サーバは、
前記携帯端末装置から受信した被写体画像を画像処理することによりナンバープレートに記載された文字情報を抽出するナンバープレート認識手段と、
盗難に遭った自動車の自動車登録番号が記憶された盗難車データベースと、
前記ナンバープレート認識手段により前記被写体画像から抽出された文字情報と一致する自動車登録番号が前記盗難車データベースに登録されているか否かを検索する盗難車検索手段と、
前記文字情報と前記盗難車検索手段の検索結果を前記携帯端末装置に送信する検索結果送信手段と、
前記ナンバープレート認識手段により前記被写体画像から抽出された文字情報と一致する自動車登録番号が前記盗難車データベースに登録されているとき、前記携帯端末装置から受信した位置情報をその自動車登録番号に関連づけて前記盗難車データベースに記憶するデータベース更新手段と、
地図データにおける前記盗難車データベースの位置情報に対応する位置に、その位置情報に関連づけられた自動車登録番号を表示するマッピング作図手段とを備える
ことを特徴とする盗難車検索システム。
【請求項１２】
請求項１１に記載する盗難車検索システムにおいて、
前記データベース更新手段は、前記位置情報を受信した日時を前記盗難車データベースに記憶し、
前記マッピング作図手段は、前記盗難車データベースに記憶された日時とともに前記自動車登録番号を表示する
ことを特徴とする盗難車検索システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−８６２０１（Ｐ２０１０−８６２０１Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５３３１７（Ｐ２００８−２５３３１７）
【出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（５９３２２５８８４）財団法人保安電子通信技術協会 (3)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（５９３２２５８８４）財団法人保安電子通信技術協会 (3)
【Ｆターム（参考）】
[ Back to top ]