身分証明書撮影システム、身分証明書撮影方法およびプログラム
【課題】身分証明書を撮影した画像の、あおり歪みを正確に、しかも自動的に補正できるようにすることで、身分証明書に記載された内容を好適に認識させる身分証明書撮影システム等を提供すること。
【解決手段】身分証明書撮影システムは、撮像装置により得られた画像において、顔検出手段により顔が検出された場合に、写真検出手段による写真領域の検出を行い、写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正する。
【解決手段】身分証明書撮影システムは、撮像装置により得られた画像において、顔検出手段により顔が検出された場合に、写真検出手段による写真領域の検出を行い、写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識技術に関する。
【背景技術】
【０００２】
インターネットの発達に伴い、近年ではインターネットショッピングが盛んである。インターネットショッピングが盛んな理由には大きく３つが存在する。一つは世界中から珍しい商品を簡単に手に入れられるといったメリットである。次に、店舗に足を運ばなくて良い、商品は家まで届けてくれる、時間を選ばず買い物ができるといった手軽さに起因するメリットが有る。更には、様々な店舗の中から最も安い店で買い物ができるといったコストに起因するメリットが有る。
【０００３】
さて、前述の通り、インターネットで販売される商品は非常に多岐に渡る。その中には購買に年齢制限が存在する酒や煙草と言った嗜好品も含まれる。元来の対面での販売では、商品購入の際に店員による確認が可能であった。一方、インターネットショッピングにおいては、これが不可能になってしまっている。そのため、これらの商品を扱うインターネットショップでは、身分証明書の提示をユーザに求め、年齢確認を行ってから販売を行っている。尚、年齢確認をせずに販売しているショップもあるが、今後規制が進み前者のような販売スタイルは廃れることが予想される。
【０００４】
ここで、身分証明書の提示をするためにユーザは以下のようなステップを踏んでいるのが現状である。１．コンビニなど、コピーの取れる所定の場所に行く。２．お金を払ってコピーをとる。３．申込用紙に必要事項を記入。４．封筒に入れて切手を買う。５．封筒を投函。６.年齢確認完了後発注。
【０００５】
本来、インターネットショッピングを行う主な理由には手軽さと、コストが有ることは前に述べたとおりである。しかし、上のような年齢確認のステップは手軽さとコストのメリットを大幅に損なうという問題がある。更にいうと、以上述べたような、年齢などの身分を確認するステップは、様々な場面でユーザの手軽さやコストといったメリットを損なうという問題がある。例えばネットバンクの口座開設などもこのような問題を持っている。
【０００６】
このような問題に対して特許文献１では専用の端末を用意し、自動車免許証を読み取って生年月日を認識して年齢認証を行い、該年齢認証結果を転送することにより、年齢制限のある商品をユーザに購買させるという発明がなされている。本発明を利用すれば上記の２.コピー取得。４．封筒に入れ切手を買う。５．封筒を投函と言った作業が軽減されるため、ユーザは比較的簡便に年齢確認を完了させられる。しかし、専用の端末が設置している場所まで赴く必要があり、依然、１.所定の場所に行く、という問題点は解消されていない。
【０００７】
一方、この発明に対して、専用の端末を用意するのではなく、ユーザの持つ携帯電話に付随しているデジタルカメラを用いて運転免許証を撮影し、年齢認証を行うという技術が容易に類推できる。この技術によれば自宅など、どこにいても自由に年齢認証が可能となり、ユーザの利便性は大幅に向上する。
【０００８】
一方、専用の端末などと違い、携帯電話に付随するカメラは撮影条件が固定できないため、認識に好適な画像が得られるとは限らない。例えば運転免許証を斜めから撮影すると、図２３に示すように、あおり歪みと呼ばれる歪みが生じる。このような歪みが生じると運転免許証に記載された文字も歪むため、運転免許証に記載された内容の認識が難しくなる。
【０００９】
このあおり歪みを、画像処理を用いることで補正するという発明はいくつかなされている。例えば、特許文献２では画像中二つの線分を指定することで、あおり補正を行うという発明がなされている。本発明は、補正前の台形が補正後にどのような長方形に変換されるかというような線形変換マトリクスを算出して、該マトリクスを全面に施すことによりあおりの補正を行うという手段に起因するものである。図２４で示すように補正前と補正後とで、黒丸で示された４点ずつ計８点を指定する必要がある。
【００１０】
前記発明では補正前の４点をユーザが指定する。更に補正後の４点を計算により算出するが、補正後の４点に対しては簡易的に算出しているため、正確に補正できない。実は補正後の画像における、長方形の辺の長さを求めるためには、カメラに対する運転免許証の傾き角度と、カメラから運転免許証までの距離が必要である。
【００１１】
撮影角度によって長方形の辺の長さが変化してしまう仕組みを図２５で説明する。
カメラは撮影した３次元空間を平面で表現するため、３次元空間の各点はカメラと点を結んだ線が、像ができる面と交わる点に記述される。その結果本来長さL1+L2であった長方形の辺はl1+l2と表現される。l1とL1との関係は以下の数式で記述できる。
【００１２】
【数１】
【００１３】
ここでdはカメラと像ができる面との距離でθは像ができる面に対して、長方形がどれだけ傾いているかの角度である。以上のようにθとdが明らかにならないと元の長方形の大きさは判らない。つまり、角度θと距離dを何らかの手段で取得しない限り、正確なあおり補正を行うことは不可能である。何らかの手段とは例えば測距センサなどである。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
これに対して、特許文献３では撮像装置に距離を計測する手段と角度をユーザに入力させる手段を具備し、それにより正確なあおり補正を行う発明がなされているが、携帯電話に付随するカメラにはそのような手段は具備されていないという問題があった。
【００１５】
また特許文献４では、簡易的に補正後の長方形を算出し、その後、長方形のアスペクト比をユーザに指定させることによって正確なあおり補正を行っているが、アスペクト比の指定という作業はユーザにとっては難解かつ煩雑であるという問題があった。
【００１６】
本発明は以上の問題を解決するためのものであり、身分証明書を撮影した画像の、あおり歪みを正確に、しかも自動的に補正できるようにすることで、身分証明書に記載された内容を好適に認識させることを目的としている。
【課題を解決するための手段】
【００１７】
請求項１に記載の発明は、身分証明書を撮影する撮像装置と、画像に顔が含まれるか否かを判定する顔検出手段と、顔が含まれる写真領域を検出する写真検出手段と、画像全体のあおりを補正するあおり補正手段とを備え、撮像装置により得られた画像において、顔検出手段により顔が検出された場合に、写真検出手段による写真領域の検出を行い、写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正することを特徴とする身分証明書撮影システムである。
【００１８】
請求項２に記載の発明は、請求項１記載の身分証明書撮影システムにおいて、あおり補正後の画像に対して、顔検出処理を施すことを特徴とする。
【００１９】
請求項３に記載の発明は、請求項１記載の身分証明書撮影システムにおいて、あおり補正前の画像に対して、顔検出処理を施すことを特徴とする。
【００２０】
請求項４に記載の発明は、請求項２もしくは３記載の身分証明書撮影システムにおいて、顔検出手段は、撮像装置に撮影される画像にて、概ね所定の方向を向いているときにのみ顔の検出が行えるようになっていることを特徴とする。
【００２１】
請求項５に記載の発明は、請求項４記載の身分証明書撮影システムにおいて、さらに表示手段を備え、検出した顔写真領域の候補を表示し、候補が複数存在する場合には、表示手段に複数の結果を表示し、ユーザに選択させることを特徴とする。
【００２２】
請求項６に記載の発明は、請求項５記載の身分証明書撮影システムにおいて、写真領域の大きさと位置に応じて、身分証明書の記載事項読み取りを開始するか否かを決定することを特徴とする。
【００２３】
請求項７に記載の発明は、請求項１記載の身分証明書撮影システムにおいて、撮像装置は、撮影時に自動的にマクロモードになることを特徴とする。
【００２４】
請求項８に記載の発明は、請求項１記載の身分証明書撮影システムにおいて、身分証明書に記載された事項を読み取るＯＣＲ手段を有しており、該ＯＣＲ手段は、撮像装置とは別のハードウェアに実装されていることを特徴とする。
【００２５】
請求項９に記載の発明は、請求項１記載の身分証明書撮影システムにおいて、あおり補正手段は、写真検出手段により得られた写真領域に応じて、あおり補正を行うことを特徴とする。
【００２６】
請求項１０に記載の発明は、請求項１記載の身分証明書撮影システムにおいて、撮影時に表示手段へ、身分証名書の概形を表示し、該概形に合わせて撮影することをユーザに促すことを特徴とする。
【００２７】
請求項１１に記載の発明は、身分証明書を撮影する撮像装置と、画像に顔が含まれるか否かを判定する顔検出手段と、顔が含まれる写真領域を検出する写真検出手段と、画像全体のあおりを補正するあおり補正手段とを備える身分証明書撮影システムにおける身分証明書撮影方法であって、撮像装置により得られた画像において、顔検出手段により顔が検出された場合に、写真検出手段による写真領域の検出を行い、写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正することを特徴とする身分証明書撮影方法である。
【００２８】
請求項１２に記載の発明は、請求項１１記載の身分証明書撮影方法において、あおり補正後の画像に対して、顔検出処理を施すことを特徴とする。
【００２９】
請求項１３に記載の発明は、請求項１１記載の身分証明書撮影方法において、あおり補正前の画像に対して、顔検出処理を施すことを特徴とする。
【００３０】
請求項１４に記載の発明は、請求項１２もしくは１３記載の身分証明書撮影方法において、顔検出手段は、撮像装置に撮影される画像にて、概ね所定の方向を向いているときにのみ顔の検出が行えるようになっていることを特徴とする。
【００３１】
請求項１５に記載の発明は、請求項１４記載の身分証明書撮影方法において、身分証明書撮影システムはさらに表示手段を備え、検出した顔写真領域の候補を表示し、候補が複数存在する場合には、表示手段に複数の結果を表示し、ユーザに選択させることを特徴とする。
【００３２】
請求項１６に記載の発明は、請求項１５記載の身分証明書撮影方法において、写真領域の大きさと位置に応じて、身分証明書の記載事項読み取りを開始するか否かを決定することを特徴とする。
【００３３】
請求項１７に記載の発明は、請求項１１記載の身分証明書撮影方法において、撮像装置は、撮影時に自動的にマクロモードになることを特徴とする。
【００３４】
請求項１８に記載の発明は、請求項１１記載の身分証明書撮影方法において、身分証明書に記載された事項を読み取るＯＣＲ手段を有しており、該ＯＣＲ手段は、撮像装置とは別のハードウェアに実装されていることを特徴とする。
【００３５】
請求項１９に記載の発明は、請求項１１記載の身分証明書撮影方法において、あおり補正手段は、写真検出手段により得られた写真領域に応じて、あおり補正を行うことを特徴とする。
【００３６】
請求項２０に記載の発明は、請求項１１記載の身分証明書撮影方法において、撮影時に表示手段へ、身分証名書の概形を表示し、該概形に合わせて撮影することをユーザに促すことを特徴とする。
【００３７】
請求項２１に記載の発明は、コンピュータに、身分証明書を撮影する撮像装置により得られた画像を取得し、画像に顔が含まれるか否かを判定する顔検出手段により顔が検出された場合に、顔が含まれる写真領域を検出する写真検出手段による写真領域の検出を行い、写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正する処理を実行させることを特徴とするプログラムである。
【００３８】
請求項２２に記載の発明は、請求項２１記載のプログラムにおいて、あおり補正後の画像に対して、顔検出処理を施すことを特徴とする。
【００３９】
請求項２３に記載の発明は、請求項２１記載のプログラムにおいて、あおり補正前の画像に対して、顔検出処理を施すことを特徴とする。
【００４０】
請求項２４に記載の発明は、請求項２２もしくは２３記載のプログラムにおいて、顔検出手段により、撮像装置に撮影される画像にて、概ね所定の方向を向いているときにのみ顔の検出が行えるようになっていることを特徴とする。
【００４１】
請求項２５に記載の発明は、請求項２４記載のプログラムにおいて、さらに検出した顔写真領域の候補を表示し、候補が複数存在する場合には、表示手段に複数の結果を表示し、ユーザに選択させることを特徴とする。
【００４２】
請求項２６に記載の発明は、請求項２５記載のプログラムにおいて、写真領域の大きさと位置に応じて、身分証明書の記載事項読み取りを開始するか否かを決定することを特徴とする。
【００４３】
請求項２７に記載の発明は、請求項２１記載のプログラムにおいて、あおり補正手段により、写真検出手段で得られた写真領域に応じて、あおり補正を行うことを特徴とする。
【００４４】
請求項２８に記載の発明は、請求項２１記載のプログラムにおいて、撮影時に表示手段へ、身分証名書の概形を表示し、該概形に合わせて撮影することをユーザに促すことを特徴とする。
【発明の効果】
【００４５】
身分証明書を撮影した画像の、あおり歪みを正確に、しかも自動的に補正できるようにすることで、身分証明書に記載された内容を好適に認識させることができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の第一の実施形態に係るユーザから見たシステムの動作を説明する図である。
【図２】本発明の第一の実施形態に係る送信フォームについて説明する図である。
【図３】本発明の第一の実施形態に係る画像領域を示す図である。
【図４】本発明の第一の実施形態に係る該アプリケーションの動作を示すフローチャートである。
【図５】本発明の第一の実施形態に係る顔検出処理により検出される顔の領域の図である。
【図６】本発明の第一の実施形態に係る写真領域の位置とサイズが特定される図である。
【図７】本発明の第一の実施形態に係るフィルタ群である。
【図８】本発明の第一の実施形態に係る正解画像について説明する図である。
【図９】本発明の第一の実施形態に係るAdaboostによる分類規則の生成手法のフローチャートを示した図である。
【図１０】本発明の第一の実施形態に係るあおり補正について説明する図である。
【図１１】本発明の第一の実施形態に係る画像全体にフィルタを施すことについて説明する図である。
【図１２】本発明の第一の実施形態に係る実際に多数の曲線を描いた図である。
【図１３】本発明の第一の実施形態に係る補正後の４点の算出方法の図である。
【図１４】本発明の第一の実施形態に係る写真領域の特定を示したフローチャートである。
【図１５】本発明の第一の実施形態に係る左辺の検出について説明する図である。
【図１６】本発明の第一の実施形態に係る探索範囲について説明する図である。
【図１７】本発明の第一の実施形態に係るサーバの具備する機能を説明する図である。
【図１８】本発明の第一の実施形態に係る免許証読み取り部の動作を示したフローチャートである。
【図１９】本発明の第一の実施形態に係る矩形領域を示した図である。
【図２０】本発明の第二の実施形態に係る運転免許証アプリケーションの動作を示すフローチャートである。
【図２１】本発明の第二の実施形態に係る写真領域特定処理のフローチャートである。
【図２２】本発明の第三の実施形態に係る画像全体にエッジ検出処理、Hough変換、交点検出処理を行うことについて説明する図である。
【図２３】従来のあおり補正を説明する図である。
【図２４】従来のあおり補正を説明する図である。
【図２５】従来の撮影角度によって長方形の辺の長さが変化してしまう仕組みを説明する図である。
【発明を実施するための形態】
【００４７】
以下、本発明の好適な実施の形態として、クライアントサーバ型のインターネットショッピングに利用できる身分証明書撮影システムを例に挙げる。
【００４８】
第１の実施の形態
ユーザから見たシステムの動作
まず図１を元に、ユーザから見たシステムの動作を説明する。尚、前提は以下の通りである。１．ユーザのPCはインターネットに接続しており、インターネットを通じてサーバと通信できる。２．ユーザは携帯電話を所持している。３．該携帯電話は無線でインターネットを通じてサーバと通信できる。４．該携帯電話にはカメラが付随している。５．該携帯電話はQRコードから情報を抽出できる。６．該携帯電話は無線でインターネットを通じてメールを受信することができる。
【００４９】
まず、ユーザはPCをインターネットに接続し、webページ上で様々な検索を行う(step001)。所望の商品が見つかった場合に、webページ上に配されたボタンをマウスクリックにより押下する。すると、webページからは該商品の購入決定の通知がサーバへと送信される(step002)。サーバへと通知された商品が成人にしか買えない商品である場合(step003)、サーバからは成人認証の必要性がPCを通じて通知されるとともに、webページ上にQRコードが表示される(step004)。表示されたQRコードをユーザが自分の携帯電話で撮影すると(Step005)、携帯電話はQRコードを認識し、QRコードに埋め込まれたアドレスを検知する。検知したアドレスはユーザの携帯電話のディスプレイに表示され、ユーザが該アドレスをクリックすると、携帯電話はサーバにアプリケーションの受信要求を行う。
【００５０】
受信要求を受けたサーバから携帯電話へ成人認証のための運転免許証撮影アプリケーションがダウンロードされる(step006)。ユーザが該アプリケーションを起動すると、運転免許証の撮影が促される。それに従い、ユーザは自らの運転免許証を撮影する(step007)。尚、該アプリケーションを用いた撮影については、後述する。
【００５１】
ユーザによって撮影された運転免許証の画像はサーバに送信される(step008)。該運転免許証画像に基づいてサーバはユーザが成人であるか否かを判定する。サーバは、成人認証の結果が、成人でない場合、該商品を購入できないという内容の記載されたアラートをユーザの携帯電話にメールで送信する(step011)。この場合、ユーザは買い物を続けることができず買い物は終了する。
【００５２】
一方、成人であると判定した場合、サーバは、ユーザの携帯電話に商品を購入するための住所や名前などといった情報を入力するためのフォームと送信ボタンが記入されたhtmlメールを送信する（図２参照）。
【００５３】
該メールを受信(step010)したユーザは、フォームに必要事項を記入し(step012)、送信ボタンを押すことでサーバに情報を送信する(step013)。最後に、商品を提供する側は、該フォームに入力された内容に基づいてユーザに代金を請求するとともに、ユーザへ商品を発送することで買い物は終了する。
【００５４】
尚、step003において年齢認証が必要ないと判定された場合、サーバは、フォームの添付されたメールをユーザに送付する(step010)が、年齢認証が必要な場合とは異なり、該htmlはユーザが閲覧中のwebページに送信されるものとする。これにより年齢認証が必要ない場合に携帯電話を利用しなくて良いのでユーザの利便性が向上する。
【００５５】
運転免許証撮影アプリケーションの動作
次に前述の運転免許証撮影アプリケーションを用いてユーザが免許証を撮影する際の動作について説明する。図４は該アプリケーションの動作を示すフローチャートである。ユーザが撮影を開始すると、携帯電話に付属しているカメラによって画像の取得がなされる(step100)。尚、撮影が開始された場合に、カメラが自動的にマクロモードになることが望ましい。マクロモードとは、近接した物体にピントが合いやすくするモードである。免許証の記載内容を正確に読み取るためには、比較的近い位置に有る免許証を、ピントを合わせながら撮影する必要がある。マクロモードが搭載された携帯電話のデジタルカメラは一般的であるが、ユーザは概してマクロモードの存在を知らない。そのため、マクロモードの設定をアプリケーションが自動的に設定することが望ましい。
【００５６】
該アプリケーションは取得した画像に対して、顔検出処理を行う(step101)。尚、顔検出処理の詳しい手段については後述する。該アプリケーションは顔が無かった場合(step102)、画像取得に戻る。一方、顔が存在していた場合（step102）、続いて顔が所定の領域に含まれるか否かを該アプリケーションが判定する。所定の領域とは、画像全体において顔の中心位置が右1/3に位置しており、更に顔の中心位置が画像の上下方向において中心1/3に含まれている領域とする（図３の斜線領域）。
【００５７】
更に、該アプリケーションでは検出された顔領域のサイズが、画面全体の3％以上10％以下を占めるかを判定する。これら全てが満たされた場合に、該アプリケーションは写真領域特定のステップ(step104)に進む。それらの一つでも満たされない場合には、該アプリケーションは画像取得(step100)に戻る。
【００５８】
ここで位置の検出された顔の位置を判定するのは、顔の誤検出を防ぐためである。また、成人認証を行うために、必要な領域が画面に全て収まっていることを判定する目的もある。尚、これらの数値は経験的に決定したものであり、特に理論的な裏づけが有るわけではない。
【００５９】
ここで所定の領域であるかの判定手段を満たさない原因を該アプリケーションが携帯電話の画面を通じてユーザに通知すると、ユーザはそれに合わせて撮影条件を調整できるので、よりスムーズに撮影を行うことが可能になる。
【００６０】
続いて、撮影された免許証画像に対して該アプリケーションはあおり補正(step104)を行う。あおり補正は前述の通り、図２３で示したような台形に歪んでしまった長方形を、元の長方形に戻す処理である。処理の詳細については後述するが、発明の背景でも記載したとおり、ここで元の長方形に対して正確なアスペクト比を持つ長方形画像へと補正することは不可能であるため、アスペクト比が不正確な画像へと補正される。
【００６１】
あおり補正に続いて、該アプリケーションは撮影された運転免許証の写真領域を特定する（step104）。一般に後述する顔検出処理により検出される顔の領域は図５の太線で示すように、写真全体ではなく、顔の領域のみになってしまう場合が多い。そのため、本実施形態においては、該アプリケーションは顔の領域だけでなく、写真領域の特定を行う。尚、本発明における写真領域とは、写真により得られた画像が記載されている領域のことを示す。実際には写真が貼られている領域でもよいし、写真を印刷した領域でもよい。また、写真領域の特定の手段については後述するが、写真領域の候補は複数検出される場合が有る。この場合には該アプリケーションは携帯電話に付随するディスプレイを用いて候補を全て表示し、ユーザに選択させる。これにより顔領域特定の間違いを大幅に減らすことができる。
【００６２】
Step105によって該アプリケーションが写真領域を特定すると、免許証画像全体において、写真領域の位置とサイズが特定されるが、（図６参照）step106では得られたw,とhの比に応じて画面全体の縦横比を該アプリケーションが変化させる。日本における免許証の写真はw:h=24:30である。これに合わせて、画像の縦方向を拡大縮小する。
【００６３】
アスペクト比補正が行われた画像を該アプリケーションがサーバに送信(step0107)することにより、該アプリケーションの処理は完了する。
【００６４】
顔検出手段(図４-step101)
顔検出については文献１で紹介されている手法を用いるものとする。今回は非特許文献１記載の手法を用いたが、もちろん、固有顔法などといった手法を用いても構わないし、単純なパタンマッチを用いても構わない。顔が検出できる手法であれば何でも良い。
非特許文献１
Rapid Object Detection using a Boosted Cascade of Simple Features. IEEE CVPR, 2001.
その詳細は非特許文献２に譲るが、ここでは、その概要について述べる。非特許文献１で紹介される手法のエッセンスは、Rectangle Filterと呼ばれるフィルタ及び、Adaboost(非特許文献２)と呼ばれる学習手段であると言える。
非特許文献２
The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer Series in Statistics. 2001.
Rectangle Filterとは図７に示す様な、フィルタ群である。
【００６５】
例えば図７の1.Edge Features(a)を画像に適用することを考える。フィルタをスキャンして、白い矩形に含まれた領域の画素の平均値と、黒い矩形に含まれる領域の画素の平均値との差を以て、フィルタ中心部の出力値とする。これにより特定のエッジパタンとの一致度を算出できる。
【００６６】
ここでRectangle Filterのように単純な形のフィルタを用いる理由はIntegral Imageと呼ばれる高速化が利用できるからである。Integral Imageについて詳しくは触れないが、本来ならば、各矩形に含まれる画素の平均値を算出するのに（領域に含まれる画素数）回の和算が必要であるのに対し、Integral Imageを利用することによって、3回の和算を行うだけで前記平均値を算出できるため非常に高速な計算が可能である。これらの計算を図で挙げた全てのフィルタを様々な大きさに変化させながら行う。その結果、入力画像の各点において、多次元のベクトルが得られることになる。
【００６７】
続いて、入力画像における、様々な大きさ、様々な位置の矩形を仮定し、それぞれの矩形に含まれるベクトルの値から、顔が存在するか否かを判定する。勿論の事ながら、その判定は非常に大きな次元のベクトルを扱うことになり、人間の手によって、判定手段を作成することは非常に困難である。そこで、正解か不正解かを二値的に判定する識別器を作成する、Adaboostと呼ばれる手法を用いる。
【００６８】
Adaboostに対して様々なベクトルと正解値を学習データとして与えて学習させると、入力ベクトルが正解か不正解かを判定する識別器が得られる。本実施の形態における学習データにおいて上記rectangle filterの出力値がベクトルとなり、顔である画像が正解、顔以外の画像が不正解になる。
【００６９】
ここで、正解画像として導入する顔画像について補足しておく。正解画像として、図８における(a)〜(d)のような様々な方向を向いた顔画像を与えておくと、作成された顔検出手段は、(a)〜(d)の様々なパターンを識別できるものになる。逆に(a)のパターンだけを正解画像として与え、(b)〜(d)を不正解画像として与えると、(a)のようなパターンの顔だけを検出できる。
【００７０】
ここで、本実施の形態においては後者の(a)のパターンだけを正解データとして与えた。(a)の方向を向いた顔だけが検出できるので、携帯電話による撮影時に、撮影画像において運転免許証がどの方向を向いているかを簡易に判定できるからである。これによりサーバの負荷が減るだけでなく、サーバ側で運転免許証の記載内容を読み取る際に精度が良くなる。
次に、Adaboostの動作原理について述べる。
【００７１】
Adaboost
Adaboostは分類規則の生成手段である。複数の貧弱な識別器の結果の重み付き多数決を採ることで高精度な判定結果を得ることができる。尚、ここでいう貧弱な識別器（弱識別器）と言う言葉は、それらを組み合わせて得られる高精度な識別器を強識別器と呼ぶのと対比するための言葉で、実際にはどんな識別器であっても構わない。更に言うなら、本実施の形態における顔検出手段は、学習により２値的な分類手段を得られる手法であれば何でも良い。例えばSVMやニューラルネットワークなどを用いても構わない。
【００７２】
まず、Adaboostによる分類規則の生成手法について述べる。図９はAdaboostによる分類規則の生成手法のフローチャートを示した図である。
【００７３】
まずStep01ではサンプルに対する重みD1(i)を初期化する。初期化の方法は、全ての重みの和が１になってさえいれば、自由であるが、今回はサンプル数ｍに対して各サンプルに1/mの重みを付けることとした。次にStep02では重みの付けられたサンプルを用いて弱識別器ht(xi)の学習を行う。非特許文献２では弱識別器の規定は無く、識別率が０．５を超えてさえいれば良いとされている。今回用いた弱識別器は特徴量次元から、或る特定の１次元を抽出し、閾値を設定する弱識別器を用いた。前述の様に特徴量は全て０〜１に正規化されているので、0. 01ステップなどで順次閾値をスキャンすれば最適な弱識別器が設定できる。
【００７４】
続いてStep03では学習により得られた弱識別器により、全サンプルに対する識別を行い、間違い率εtを算出する。但し、この間違い率は間違えたサンプル数の割合でなく、間違えたサンプルに付けられた重みの和の割合である。前述の通り、重みは合計１に正規化されているので、間違えたサンプルに付けられた重みの和を採ることで、間違い率が算出できる。続いてStep04では前記間違い率εtを用いて、数２に基づいて弱識別器の重みαtを算出する。数２は優秀な弱識別器には高い重みを付け、劣等な弱識別器には低い重みが付くようになっている。
【００７５】
【数２】
【００７６】
続いてStep05では前記弱識別器の重みαiを用いて、数３、数４に基づいてサンプルの重みを更新する。数３は今回の学習で間違えたサンプルの重みを重く、正解したサンプルの重みを小さくするように設計されている。尚、Ztは更新後の重みの和が１になるように正規化するための値である。
【００７７】
【数３】
【００７８】
【数４】
【００７９】
最後にStep06では収束確認を行う。例えばエラー率が０になった場合には収束したと言えるし、エラー率の変化が事前に設定した閾値（例えば1e-6等）の範囲を超えない場合にも収束したと言える。もし、収束しなかった場合にはもう一度Step02〜Step06迄の処理を繰り返す。もし、収束した場合には、処理を終了させる。
【００８０】
最終的に算出された、複数の弱識別器hi(x)と弱識別器の重みαiを利用し、数式５に基づいて計算を行えば識別器として利用することが出来る。但し、数式５においてTは収束までに学習した回数、つまり識別に利用する弱識別器の数を示している。
【００８１】
【数５】
【００８２】
あおり補正(図４-step104)
続いて図４-step104で示したあおり補正について述べる。あおり補正は図１０に示すようなフローによって達成される。
【００８３】
まずエッジ検出手段300では、画像全体に図１１で示すようなフィルタを施し、画像からエッジ成分を算出し、更に二値化処理することによってエッジの二値画像を得る。以下エッジである点をエッジ点と呼ぶことにする。
【００８４】
続いて、直線検出手段301は、画像に含まれる直線を検出する。ここでは一般的な直線検出アルゴリズムであるHough変換を利用するものとする。尚、ここではHough変換を利用したが、直線が検出できるアルゴリズムならば何でも構わない。Hough変換ではエッジ点の座標x, yを以下の式に代入してrθ平面状での曲線を得る。
【００８５】
【数６】
【００８６】
全てのエッジ点の座標を数６に代入して、rθ平面状で曲線を描くと、それらの曲線が多数交わる点が現れる。図１２は、実際に多数の曲線を描いたものである。ここで、白い線が各曲線を表しており、明るい点ほど多数の曲線が交わる点であるといえる。
【００８７】
この明るい点を示すｒとθを以下の数７に代入すると所望の直線が得られる。一方、実際には、図１２からも明らかなように明るい点ではなく、明るい領域が得られてしまうため、局所領域で最も明るい領域を求めて、直線を示すrとθを得るものとする。即ち、該rθ平面への描画の後、rθ平面において注目画素を順次スキャンし、注目画素の周辺５×５画素において、注目画素が最も白い点であったrとθにより表現される直線（以下の式参照）が直線の候補となる。
【００８８】
【数７】
【００８９】
尚、図１２からも明らかなように、直線の候補は複数現れる。そのため、交点検出手段302では、まず、検出された全ての直線候補の交点を算出する。算出された交点の中で、画像中で最も左上に有るものと、右上に有るものと、最も左下に有るものと、右下に有るものを、補正前の４点として出力する。尚、この４点は運転免許証の４隅が取れることを期待している。
【００９０】
続いて、補正後４点算出手段303では、前記補正前の４点の座標を元に、補正後の４点を算出する。補正後の４点の算出方法は、図１３で示すように各点の中点を通る垂直、もしくは水平な直線を４辺とする長方形の各頂点である。図中白丸で示した点が補正前の４点であり、黒丸で示した点が補正後の４点である。
【００９１】
以降、補正前の４点の座標を(x0, y0)〜(x3, y3)とし、補正後の４点の座標を(x'0, y'0)〜(x'3, y'3)として話を続ける。
【００９２】
続いてマトリクス算出手段304では、数８の８元連立方程式を解くことにより求める。
【００９３】
【数８】
【００９４】
この８元連立方程式をGauss-Jordan法等で解くと変換マトリクスを求めることができる。
【００９５】
ここで得られた変換マトリクスをマトリクス演算手段305で画像全体に施すことによりあおり補正が完了する。
【００９６】
写真領域判定手段(図４-step105)
続いて図４のstep105で説明した写真領域特定手段について述べる。写真領域の特定は図１４に示すようなフローによって左、右、上、下の各辺を検出することによりなされる。まず左辺の検出を例に挙げて説明する。
【００９７】
まず左辺は縦エッジなので、縦のエッジを検出する。具体的には図１５の(a)のような縦エッジに強く応答するようなフィルタを全面に施す。
【００９８】
続いて二値化処理を行って(401)、エッジ画素と非エッジ画素を確定する。エッジカウント402ではまず、検出した顔の領域を参考に、図１６の点線で示したような探索範囲を決定する。該探索範囲において、縦方向にエッジをカウントする。結果各xにおいて縦エッジ画素がどれだけ存在するかをカウントする。その後、最大カウント探索403では最も縦エッジ画素が存在するx座標の縦エッジ画素数を探索する。その後、各x座標の縦エッジ数と、最大縦エッジ数を比較し、最大エッジ数の80％以上を写真縁候補とする。同様に右辺を検出する。
【００９９】
また、上辺と下辺についてはエッジ検出のフィルタとして図１５の(b)のようなフィルタを用い、更にエッジのカウントを縦方向ではなく、横方向にすれば、同様に写真縁候補が得られる。尚、写真縁はエッジカウントが最大の点だけをピックアップするのではなく、最大の８０％を超えていれば候補点とするため、写真領域の候補は前述の通り複数現れる。
【０１００】
サーバ側から見たシステムの動作
続いて、サーバ側から見たシステムの動作について説明する。以下の図１７は該実施の形態のシステムにおけるサーバの具備する機能を一覧にしたものである。まずサーバは通信部107を具備し、インターネットを通じて様々なユーザのPCと通信することができる。またサーバには商品の情報を格納する商品DBが存在する。該DBには表１に示すように、それぞれの商品ID、商品名、価格、画像URL、年齢認証が必要か否か、および、商品の画像が格納されている。
【０１０１】
【表１】
【０１０２】
ユーザがインターネットを通じて該サーバのページにアクセスすると、該サーバは商品情報送信部100を通じてユーザのPCへこれらの情報を送信する。これらの情報を閲覧したユーザが商品の検索を行った後に購入決定のボタンを押すと、サーバへは購入にいたった商品の商品IDが送信されてくる。
【０１０３】
該サーバは、送信された商品IDを商品DB内で検索し、該商品は成人認証を必要としているか否かを年齢認証要否判定部101にて判定する。年齢認証が必要でない場合、該サーバはフォーム生成・送信部102により、フォームを生成し、通信部105とインターネットを介してユーザの閲覧しているwebページへ送信する。
【０１０４】
一方、年齢認証が必要である場合には、該サーバはQRコード作成・送信部を用いてQRコードを作成しさ、ユーザが閲覧中のPCへQRコードを送信する。ここで、QRコードには該サーバに保持される運転免許証画像送信アプリケーションをダウンロードするためのアドレスが含まれているものとし、ユーザがカメラで該QRコードを撮影し、QRコードの内容を読み取ると、該アドレスに簡単にアクセスできるものとする。
【０１０５】
ユーザが該アドレスにアクセスすると、該サーバはアプリケーション送信部105を通じて、保持している前記運転免許証画像送信アプリケーションをユーザへと送信する。
【０１０６】
ユーザが、運転免許証画像送信アプリケーションを通じて免許証の画像を送信してくると、該サーバは免許証読み取り部106を用いて、免許証の画像からユーザの生年月日を読み取る。該免許証読み取り部106の動作については後述する。該サーバは読み取った生年月日を元にユーザの年齢を算出し、ユーザの年齢が二十歳を超えていた場合、フォーム生成・送信部102を用いて、フォームを生成し、通信部105とインターネットを介してユーザの閲覧しているwebページへ送信する。尚、後述するが、生年月日の読み取りと同様の手段で、住所や氏名の読み取りも行うことができるので、該サーバが住所や氏名を読み取って、生成するフォームに予め入力しておけば、ユーザの手間が省け、ユーザの利便性が向上する。
【０１０７】
ユーザにより必要事項の記入されたフォームが送信されてきた場合、該サーバはフォーム受信部103で該フォームを受け取り、注文内容DBへと格納する。該DBを参照し、商品を提供する人間が、該フォームに入力された内容に基づいてユーザに代金を請求するとともに、ユーザへ商品を発送することで買い物は終了する。
【０１０８】
免許証読み取り部106
図１７で示した免許証読み取り部106の動作について図１８のフロー図を用いて説明する。
【０１０９】
まず、領域特定手段500により免許証画像において生年月日が記載されている領域を該サーバが特定できる。既に述べたように、これまでの処理で、免許証画像中でどこに顔写真が存在するかは該サーバに対して明らかになっている。また、免許証のフォーマットは（少なくとも都道府県内では）一定である。そのため、顔写真の左上に対して、生年月日が記載される領域の左上との位置関係、および図１９に示した矩形領域の大きさは一定である。そのため、写真領域の位置から、簡単に領域を生年月日の記載された領域を該サーバが特定できる。
【０１１０】
このように、簡単に領域を特定できるのは、本実施の形態で該サーバがあおり補正を行っているだけでなく、顔写真領域を用いた正確なアスペト比補正を行っているから実現できることである。もし、あおり補正を行っていない場合、アスペクト比が補正されていないことを考えると、顔写真の位置がわかっても、生年月日が記載された領域は容易にわからない。
【０１１１】
続いて、文字切り出し手段501では、特定した領域に含まれる画像を該サーバが一文字ずつの画像に切り分ける。更に、文字照合手段502では文字DBを参照し、パタンマッチで切り出した文字それぞれが、どの文字に近いかを判定する。
【０１１２】
第一の実施の形態の効果
ここまで第一の実施の形態について説明してきた。従来技術で説明したとおり、本来被写体(身分証明書)との距離、および免許証とカメラとのなす角度が明らかにならない限り、正確なアスペクト比を保持したあおり補正は不可能であった。一方、本実施の形態では、定型フォーマットである免許証についてならば、定型フォーマットのサイズ情報を利用することで、正確なアスペクト比を保持したあおり補正を自動で行うことが出来ることを示した。更に、定型フォーマットの中でも、顔、および顔写真に着目したのは、免許証などに用いられる顔写真が顔検出にとって極めて好適であるためである。更にいえば、本実施の形態で示した非特許文献２記載の手法は現在、デジタルカメラなどで広く採用されている手法であり、認識精度は極めて高い。これらのことから、免許証に記載されている顔の検出は極めて高い精度で行える。
また、この構成により、運転免許証に対して正確なあおり補正を行うことができるため、顔の位置から免許証の記載事項が書かれた領域を極めて良好に特定することができる。
本発明は運転免許証に限定して説明したが、定型フォーマットかつ、顔写真が貼付されている身分証明書にならばなんでも適用可能である。
【０１１３】
本発明の第二の実施の形態（携帯電話で顔検出だけは行う）
第二の実施の形態で述べる身分証明書撮影システムは、ユーザ側から見たシステムの動作、サーバ側から見たシステムの動作はほぼ第一の実施の形態で述べた身分証明書撮影システムと同じであるが、顔検出や、あおり補正といった処理がサーバ側に実装されている点で異なる。それにより第一の実施の形態と異なる点である、運転免許撮影アプリケーションの動作と、免許証読み取り部の動作について述べる。
【０１１４】
運転免許証撮影アプリケーションの動作
図２０は運転免許証アプリケーションの動作を示すものである。ユーザが撮影を開始すると、携帯電話に付属しているカメラによって画像の取得がなされる(step200)。尚、撮影が開始された場合には、第一の実施の形態同様、該アプリケーションが自動的にカメラをマクロモードにすることが望ましい。また、本実施の形態では、ユーザが撮影した画像が成人識別に好適であるかが、全く判らないので、撮影時に該アプリケーションが携帯電話のディスプレイ上に免許証の概形を表示し、該概形に合わせて撮影することをユーザに促すと良い。こうすることで、ユーザは画面においてどの方向に免許証を置いて撮影すればよいのか、どの程度の大きさに撮影すればよいのかがわかる。すると、撮影される画像は比較的好条件のものになるので、以下の処理の精度が高まる。撮影した画像はサーバへ送信される(step201)。
【０１１５】
免許証読み取り部の動作(図１７-106)
基本的には第一の実施の形態と同様であるが、第一の実施の形態でカメラ側のアプリケーションの処理であった顔検出(step101)からアスペクト比補正(step106)までの処理をサーバに行わせる点で異なる（図４参照）。殆どの処理は図４を用いて説明したものと同じであるが、写真領域特定(step105)だけは若干異なる。図２１は写真領域特定処理のフローチャートであるが、404の判定手段において、第一の実施の形態では、最大カウントの80%以上であるならアプリケーションが写真領域の候補とするとし、複数の候補からユーザに選択させるという構成となっていたが、本実施の形態では、最大カウントの場合に即、サーバが写真領域として決定してしまう。このような処理にしたのは、処理がサーバ上で行われ、ユーザからのインタラクティブな操作が不可能であるからである。
【０１１６】
第二の実施の形態の効果
以上のように第二の実施の形態では、第一の実施の形態のように写真領域の候補をユーザが選択するなどといったインタラクティブな動作がない分、認識の精度は落ちるが、一般的に貧弱な処理能力しか持たない携帯電話での処理を最小限に抑えているので、高速に動作し、ユーザの利便性は高まる。
【０１１７】
本発明の第三の実施の形態
第三の実施の形態で述べる身分証明書撮影システムは第一の実施の形態で述べた身分証明書撮影システムとほぼ同じ構成であるが、図４のあおり補正(step104)の動作が異なる。第一の実施の形態の図１０で示したあおり補正では、画像全体にエッジ検出処理、Hough変換、交点検出処理を行った。一方、本実施の形態では、該処理を施す範囲を図２２中の太線で囲われた範囲のみにする。尚、太点線は顔検出により検出された顔の範囲であり、処理を施す領域は、顔の範囲と重心を変えずに縦横２倍にした範囲とする。
【０１１８】
第一の実施の形態の図１０で示したあおり補正では、免許証の４隅が取れることを期待して、全面への処理を行ったが、本実施の形態では、写真領域の４隅が取れることを期待して処理を行っている。経験的に広い範囲（免許証の４隅）を見てあおり補正を行った方が、精度の良いあおり補正が行えるが、本実施の形態のように狭い範囲（写真領域の４隅）を見て、あおり補正を行ったほうが、処理量は大幅に削減できる。
【０１１９】
以上、これまでの各実施の形態では、携帯電話とサーバを連携させて身分の証明を行うことを説明してきたが、各構成要件をどちらに携帯電話、サーバのどちらに担当させても構わない。例えば、それらの処理を行う機能を全て携帯電話に具備することも可能である。例えば、身分証明を行うソフトとしてユーザに提供し、そのソフトにより認証が行えた場合にのみ、所定の物品販売するといったことも実現可能である。
また、同様に全ての処理を一切サーバにやらせてしまっても問題は無い。サーバにはユーザから送られてきた身分証明書が撮影された画像が送られてきて、それに処理を行うことによって身分証明を行い、所定の物品を販売するといったことも実現可能である。
【０１２０】
以下、各請求項の作用効果について説明する。
【０１２１】
請求項１等の発明によれば、運転免許証の写真という定型であることが既知の領域を検出し、該領域の幅と高さを用いてあおり補正後のアスペクト比補正を行うことにより、正確な補正を行うことができ、免許証の内容を読み取る際の精度が向上する。
【０１２２】
請求項２等の発明によればあおり補正後の画像に対して顔検出処理を施すため、顔検出の精度が向上し、免許証の内容を読み取る際の精度が向上する。
【０１２３】
請求項３等の発明によれば、顔検出を行い、撮影された画像が読み取りに適するか否かを判定してから、比較的重いあおり補正を行うため、読み取りに適した画像が得られるまで、重い処理を何度も繰り返すことが無くなり、ユーザの利便性が向上する。
【０１２４】
請求項４等の発明に拠れば、顔検出が行える顔の向きは一定なので、ユーザが間違えた配置で撮影を行うことにより年齢の認証が行えないといった不具合が無くなり、ユーザの利便性が向上する。
【０１２５】
請求項５等の発明によれば、複数の顔写真領域の候補からユーザに選択させることで、ユーザに負荷をかけることなく正確に顔写真領域を特定できるため正確なアスペクト比の補正ができる。
【０１２６】
請求項６等の発明によれば、写真の位置と大きさが成人認証に好適な場合にだけ読み取りを行うことにより、小さい画像や、必要な領域が切れてしまった画像に対して、読み取り処理を行わないため、読み込めないために、ユーザに再度の撮影を促すなどといった処理を経ることなく読み取りが完了するため、ユーザの利便性が向上する。
【０１２７】
請求項７等の発明によれば、運転免許証の撮影が開始すると同時に自動的にマクロモードになるため、十分に免許証に近づいて撮影を行っても、ピントのあった画像が得られるため読み取りの精度が向上する。
【０１２８】
請求項８等の発明によれば、比較的重い処理であるOCR処理を、サーバなどのリッチな処理能力の有る端末で行うため、携帯電話の処理系に過度な処理能力を要求せず、ユーザにとってはシステム導入の敷居が下がる。
【０１２９】
請求項９等の発明によれば、顔検出手段によって得られた顔領域からあおり補正を行うための処理を施す範囲を大幅に小さくすることができるため、携帯電話の処理系に過度な処理能力を要求せず、ユーザにとってはシステム導入の敷居が下がる。
【０１３０】
請求項１０等の発明によれば、撮影時に、撮影画面に身分証明書の概形が現れ、該概形に合わせて身分証明書を撮影すればよいので、画面内で身分証明書がどう撮影されていれば良いのかが直感的に判るためユーザの利便性が向上する。
【０１３１】
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々の変更実施が可能である。
【先行技術文献】
【特許文献】
【０１３２】
【特許文献１】特開２００３−０３０７２６号公報
【特許文献２】特開２００１−０８４３６５号公報
【特許文献３】特開平０９−２８９６００号公報
【特許文献４】特開２００１−１７７７１６号公報
【技術分野】
【０００１】
本発明は、画像認識技術に関する。
【背景技術】
【０００２】
インターネットの発達に伴い、近年ではインターネットショッピングが盛んである。インターネットショッピングが盛んな理由には大きく３つが存在する。一つは世界中から珍しい商品を簡単に手に入れられるといったメリットである。次に、店舗に足を運ばなくて良い、商品は家まで届けてくれる、時間を選ばず買い物ができるといった手軽さに起因するメリットが有る。更には、様々な店舗の中から最も安い店で買い物ができるといったコストに起因するメリットが有る。
【０００３】
さて、前述の通り、インターネットで販売される商品は非常に多岐に渡る。その中には購買に年齢制限が存在する酒や煙草と言った嗜好品も含まれる。元来の対面での販売では、商品購入の際に店員による確認が可能であった。一方、インターネットショッピングにおいては、これが不可能になってしまっている。そのため、これらの商品を扱うインターネットショップでは、身分証明書の提示をユーザに求め、年齢確認を行ってから販売を行っている。尚、年齢確認をせずに販売しているショップもあるが、今後規制が進み前者のような販売スタイルは廃れることが予想される。
【０００４】
ここで、身分証明書の提示をするためにユーザは以下のようなステップを踏んでいるのが現状である。１．コンビニなど、コピーの取れる所定の場所に行く。２．お金を払ってコピーをとる。３．申込用紙に必要事項を記入。４．封筒に入れて切手を買う。５．封筒を投函。６.年齢確認完了後発注。
【０００５】
本来、インターネットショッピングを行う主な理由には手軽さと、コストが有ることは前に述べたとおりである。しかし、上のような年齢確認のステップは手軽さとコストのメリットを大幅に損なうという問題がある。更にいうと、以上述べたような、年齢などの身分を確認するステップは、様々な場面でユーザの手軽さやコストといったメリットを損なうという問題がある。例えばネットバンクの口座開設などもこのような問題を持っている。
【０００６】
このような問題に対して特許文献１では専用の端末を用意し、自動車免許証を読み取って生年月日を認識して年齢認証を行い、該年齢認証結果を転送することにより、年齢制限のある商品をユーザに購買させるという発明がなされている。本発明を利用すれば上記の２.コピー取得。４．封筒に入れ切手を買う。５．封筒を投函と言った作業が軽減されるため、ユーザは比較的簡便に年齢確認を完了させられる。しかし、専用の端末が設置している場所まで赴く必要があり、依然、１.所定の場所に行く、という問題点は解消されていない。
【０００７】
一方、この発明に対して、専用の端末を用意するのではなく、ユーザの持つ携帯電話に付随しているデジタルカメラを用いて運転免許証を撮影し、年齢認証を行うという技術が容易に類推できる。この技術によれば自宅など、どこにいても自由に年齢認証が可能となり、ユーザの利便性は大幅に向上する。
【０００８】
一方、専用の端末などと違い、携帯電話に付随するカメラは撮影条件が固定できないため、認識に好適な画像が得られるとは限らない。例えば運転免許証を斜めから撮影すると、図２３に示すように、あおり歪みと呼ばれる歪みが生じる。このような歪みが生じると運転免許証に記載された文字も歪むため、運転免許証に記載された内容の認識が難しくなる。
【０００９】
このあおり歪みを、画像処理を用いることで補正するという発明はいくつかなされている。例えば、特許文献２では画像中二つの線分を指定することで、あおり補正を行うという発明がなされている。本発明は、補正前の台形が補正後にどのような長方形に変換されるかというような線形変換マトリクスを算出して、該マトリクスを全面に施すことによりあおりの補正を行うという手段に起因するものである。図２４で示すように補正前と補正後とで、黒丸で示された４点ずつ計８点を指定する必要がある。
【００１０】
前記発明では補正前の４点をユーザが指定する。更に補正後の４点を計算により算出するが、補正後の４点に対しては簡易的に算出しているため、正確に補正できない。実は補正後の画像における、長方形の辺の長さを求めるためには、カメラに対する運転免許証の傾き角度と、カメラから運転免許証までの距離が必要である。
【００１１】
撮影角度によって長方形の辺の長さが変化してしまう仕組みを図２５で説明する。
カメラは撮影した３次元空間を平面で表現するため、３次元空間の各点はカメラと点を結んだ線が、像ができる面と交わる点に記述される。その結果本来長さL1+L2であった長方形の辺はl1+l2と表現される。l1とL1との関係は以下の数式で記述できる。
【００１２】
【数１】
【００１３】
ここでdはカメラと像ができる面との距離でθは像ができる面に対して、長方形がどれだけ傾いているかの角度である。以上のようにθとdが明らかにならないと元の長方形の大きさは判らない。つまり、角度θと距離dを何らかの手段で取得しない限り、正確なあおり補正を行うことは不可能である。何らかの手段とは例えば測距センサなどである。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
これに対して、特許文献３では撮像装置に距離を計測する手段と角度をユーザに入力させる手段を具備し、それにより正確なあおり補正を行う発明がなされているが、携帯電話に付随するカメラにはそのような手段は具備されていないという問題があった。
【００１５】
また特許文献４では、簡易的に補正後の長方形を算出し、その後、長方形のアスペクト比をユーザに指定させることによって正確なあおり補正を行っているが、アスペクト比の指定という作業はユーザにとっては難解かつ煩雑であるという問題があった。
【００１６】
本発明は以上の問題を解決するためのものであり、身分証明書を撮影した画像の、あおり歪みを正確に、しかも自動的に補正できるようにすることで、身分証明書に記載された内容を好適に認識させることを目的としている。
【課題を解決するための手段】
【００１７】
請求項１に記載の発明は、身分証明書を撮影する撮像装置と、画像に顔が含まれるか否かを判定する顔検出手段と、顔が含まれる写真領域を検出する写真検出手段と、画像全体のあおりを補正するあおり補正手段とを備え、撮像装置により得られた画像において、顔検出手段により顔が検出された場合に、写真検出手段による写真領域の検出を行い、写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正することを特徴とする身分証明書撮影システムである。
【００１８】
請求項２に記載の発明は、請求項１記載の身分証明書撮影システムにおいて、あおり補正後の画像に対して、顔検出処理を施すことを特徴とする。
【００１９】
請求項３に記載の発明は、請求項１記載の身分証明書撮影システムにおいて、あおり補正前の画像に対して、顔検出処理を施すことを特徴とする。
【００２０】
請求項４に記載の発明は、請求項２もしくは３記載の身分証明書撮影システムにおいて、顔検出手段は、撮像装置に撮影される画像にて、概ね所定の方向を向いているときにのみ顔の検出が行えるようになっていることを特徴とする。
【００２１】
請求項５に記載の発明は、請求項４記載の身分証明書撮影システムにおいて、さらに表示手段を備え、検出した顔写真領域の候補を表示し、候補が複数存在する場合には、表示手段に複数の結果を表示し、ユーザに選択させることを特徴とする。
【００２２】
請求項６に記載の発明は、請求項５記載の身分証明書撮影システムにおいて、写真領域の大きさと位置に応じて、身分証明書の記載事項読み取りを開始するか否かを決定することを特徴とする。
【００２３】
請求項７に記載の発明は、請求項１記載の身分証明書撮影システムにおいて、撮像装置は、撮影時に自動的にマクロモードになることを特徴とする。
【００２４】
請求項８に記載の発明は、請求項１記載の身分証明書撮影システムにおいて、身分証明書に記載された事項を読み取るＯＣＲ手段を有しており、該ＯＣＲ手段は、撮像装置とは別のハードウェアに実装されていることを特徴とする。
【００２５】
請求項９に記載の発明は、請求項１記載の身分証明書撮影システムにおいて、あおり補正手段は、写真検出手段により得られた写真領域に応じて、あおり補正を行うことを特徴とする。
【００２６】
請求項１０に記載の発明は、請求項１記載の身分証明書撮影システムにおいて、撮影時に表示手段へ、身分証名書の概形を表示し、該概形に合わせて撮影することをユーザに促すことを特徴とする。
【００２７】
請求項１１に記載の発明は、身分証明書を撮影する撮像装置と、画像に顔が含まれるか否かを判定する顔検出手段と、顔が含まれる写真領域を検出する写真検出手段と、画像全体のあおりを補正するあおり補正手段とを備える身分証明書撮影システムにおける身分証明書撮影方法であって、撮像装置により得られた画像において、顔検出手段により顔が検出された場合に、写真検出手段による写真領域の検出を行い、写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正することを特徴とする身分証明書撮影方法である。
【００２８】
請求項１２に記載の発明は、請求項１１記載の身分証明書撮影方法において、あおり補正後の画像に対して、顔検出処理を施すことを特徴とする。
【００２９】
請求項１３に記載の発明は、請求項１１記載の身分証明書撮影方法において、あおり補正前の画像に対して、顔検出処理を施すことを特徴とする。
【００３０】
請求項１４に記載の発明は、請求項１２もしくは１３記載の身分証明書撮影方法において、顔検出手段は、撮像装置に撮影される画像にて、概ね所定の方向を向いているときにのみ顔の検出が行えるようになっていることを特徴とする。
【００３１】
請求項１５に記載の発明は、請求項１４記載の身分証明書撮影方法において、身分証明書撮影システムはさらに表示手段を備え、検出した顔写真領域の候補を表示し、候補が複数存在する場合には、表示手段に複数の結果を表示し、ユーザに選択させることを特徴とする。
【００３２】
請求項１６に記載の発明は、請求項１５記載の身分証明書撮影方法において、写真領域の大きさと位置に応じて、身分証明書の記載事項読み取りを開始するか否かを決定することを特徴とする。
【００３３】
請求項１７に記載の発明は、請求項１１記載の身分証明書撮影方法において、撮像装置は、撮影時に自動的にマクロモードになることを特徴とする。
【００３４】
請求項１８に記載の発明は、請求項１１記載の身分証明書撮影方法において、身分証明書に記載された事項を読み取るＯＣＲ手段を有しており、該ＯＣＲ手段は、撮像装置とは別のハードウェアに実装されていることを特徴とする。
【００３５】
請求項１９に記載の発明は、請求項１１記載の身分証明書撮影方法において、あおり補正手段は、写真検出手段により得られた写真領域に応じて、あおり補正を行うことを特徴とする。
【００３６】
請求項２０に記載の発明は、請求項１１記載の身分証明書撮影方法において、撮影時に表示手段へ、身分証名書の概形を表示し、該概形に合わせて撮影することをユーザに促すことを特徴とする。
【００３７】
請求項２１に記載の発明は、コンピュータに、身分証明書を撮影する撮像装置により得られた画像を取得し、画像に顔が含まれるか否かを判定する顔検出手段により顔が検出された場合に、顔が含まれる写真領域を検出する写真検出手段による写真領域の検出を行い、写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正する処理を実行させることを特徴とするプログラムである。
【００３８】
請求項２２に記載の発明は、請求項２１記載のプログラムにおいて、あおり補正後の画像に対して、顔検出処理を施すことを特徴とする。
【００３９】
請求項２３に記載の発明は、請求項２１記載のプログラムにおいて、あおり補正前の画像に対して、顔検出処理を施すことを特徴とする。
【００４０】
請求項２４に記載の発明は、請求項２２もしくは２３記載のプログラムにおいて、顔検出手段により、撮像装置に撮影される画像にて、概ね所定の方向を向いているときにのみ顔の検出が行えるようになっていることを特徴とする。
【００４１】
請求項２５に記載の発明は、請求項２４記載のプログラムにおいて、さらに検出した顔写真領域の候補を表示し、候補が複数存在する場合には、表示手段に複数の結果を表示し、ユーザに選択させることを特徴とする。
【００４２】
請求項２６に記載の発明は、請求項２５記載のプログラムにおいて、写真領域の大きさと位置に応じて、身分証明書の記載事項読み取りを開始するか否かを決定することを特徴とする。
【００４３】
請求項２７に記載の発明は、請求項２１記載のプログラムにおいて、あおり補正手段により、写真検出手段で得られた写真領域に応じて、あおり補正を行うことを特徴とする。
【００４４】
請求項２８に記載の発明は、請求項２１記載のプログラムにおいて、撮影時に表示手段へ、身分証名書の概形を表示し、該概形に合わせて撮影することをユーザに促すことを特徴とする。
【発明の効果】
【００４５】
身分証明書を撮影した画像の、あおり歪みを正確に、しかも自動的に補正できるようにすることで、身分証明書に記載された内容を好適に認識させることができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の第一の実施形態に係るユーザから見たシステムの動作を説明する図である。
【図２】本発明の第一の実施形態に係る送信フォームについて説明する図である。
【図３】本発明の第一の実施形態に係る画像領域を示す図である。
【図４】本発明の第一の実施形態に係る該アプリケーションの動作を示すフローチャートである。
【図５】本発明の第一の実施形態に係る顔検出処理により検出される顔の領域の図である。
【図６】本発明の第一の実施形態に係る写真領域の位置とサイズが特定される図である。
【図７】本発明の第一の実施形態に係るフィルタ群である。
【図８】本発明の第一の実施形態に係る正解画像について説明する図である。
【図９】本発明の第一の実施形態に係るAdaboostによる分類規則の生成手法のフローチャートを示した図である。
【図１０】本発明の第一の実施形態に係るあおり補正について説明する図である。
【図１１】本発明の第一の実施形態に係る画像全体にフィルタを施すことについて説明する図である。
【図１２】本発明の第一の実施形態に係る実際に多数の曲線を描いた図である。
【図１３】本発明の第一の実施形態に係る補正後の４点の算出方法の図である。
【図１４】本発明の第一の実施形態に係る写真領域の特定を示したフローチャートである。
【図１５】本発明の第一の実施形態に係る左辺の検出について説明する図である。
【図１６】本発明の第一の実施形態に係る探索範囲について説明する図である。
【図１７】本発明の第一の実施形態に係るサーバの具備する機能を説明する図である。
【図１８】本発明の第一の実施形態に係る免許証読み取り部の動作を示したフローチャートである。
【図１９】本発明の第一の実施形態に係る矩形領域を示した図である。
【図２０】本発明の第二の実施形態に係る運転免許証アプリケーションの動作を示すフローチャートである。
【図２１】本発明の第二の実施形態に係る写真領域特定処理のフローチャートである。
【図２２】本発明の第三の実施形態に係る画像全体にエッジ検出処理、Hough変換、交点検出処理を行うことについて説明する図である。
【図２３】従来のあおり補正を説明する図である。
【図２４】従来のあおり補正を説明する図である。
【図２５】従来の撮影角度によって長方形の辺の長さが変化してしまう仕組みを説明する図である。
【発明を実施するための形態】
【００４７】
以下、本発明の好適な実施の形態として、クライアントサーバ型のインターネットショッピングに利用できる身分証明書撮影システムを例に挙げる。
【００４８】
第１の実施の形態
ユーザから見たシステムの動作
まず図１を元に、ユーザから見たシステムの動作を説明する。尚、前提は以下の通りである。１．ユーザのPCはインターネットに接続しており、インターネットを通じてサーバと通信できる。２．ユーザは携帯電話を所持している。３．該携帯電話は無線でインターネットを通じてサーバと通信できる。４．該携帯電話にはカメラが付随している。５．該携帯電話はQRコードから情報を抽出できる。６．該携帯電話は無線でインターネットを通じてメールを受信することができる。
【００４９】
まず、ユーザはPCをインターネットに接続し、webページ上で様々な検索を行う(step001)。所望の商品が見つかった場合に、webページ上に配されたボタンをマウスクリックにより押下する。すると、webページからは該商品の購入決定の通知がサーバへと送信される(step002)。サーバへと通知された商品が成人にしか買えない商品である場合(step003)、サーバからは成人認証の必要性がPCを通じて通知されるとともに、webページ上にQRコードが表示される(step004)。表示されたQRコードをユーザが自分の携帯電話で撮影すると(Step005)、携帯電話はQRコードを認識し、QRコードに埋め込まれたアドレスを検知する。検知したアドレスはユーザの携帯電話のディスプレイに表示され、ユーザが該アドレスをクリックすると、携帯電話はサーバにアプリケーションの受信要求を行う。
【００５０】
受信要求を受けたサーバから携帯電話へ成人認証のための運転免許証撮影アプリケーションがダウンロードされる(step006)。ユーザが該アプリケーションを起動すると、運転免許証の撮影が促される。それに従い、ユーザは自らの運転免許証を撮影する(step007)。尚、該アプリケーションを用いた撮影については、後述する。
【００５１】
ユーザによって撮影された運転免許証の画像はサーバに送信される(step008)。該運転免許証画像に基づいてサーバはユーザが成人であるか否かを判定する。サーバは、成人認証の結果が、成人でない場合、該商品を購入できないという内容の記載されたアラートをユーザの携帯電話にメールで送信する(step011)。この場合、ユーザは買い物を続けることができず買い物は終了する。
【００５２】
一方、成人であると判定した場合、サーバは、ユーザの携帯電話に商品を購入するための住所や名前などといった情報を入力するためのフォームと送信ボタンが記入されたhtmlメールを送信する（図２参照）。
【００５３】
該メールを受信(step010)したユーザは、フォームに必要事項を記入し(step012)、送信ボタンを押すことでサーバに情報を送信する(step013)。最後に、商品を提供する側は、該フォームに入力された内容に基づいてユーザに代金を請求するとともに、ユーザへ商品を発送することで買い物は終了する。
【００５４】
尚、step003において年齢認証が必要ないと判定された場合、サーバは、フォームの添付されたメールをユーザに送付する(step010)が、年齢認証が必要な場合とは異なり、該htmlはユーザが閲覧中のwebページに送信されるものとする。これにより年齢認証が必要ない場合に携帯電話を利用しなくて良いのでユーザの利便性が向上する。
【００５５】
運転免許証撮影アプリケーションの動作
次に前述の運転免許証撮影アプリケーションを用いてユーザが免許証を撮影する際の動作について説明する。図４は該アプリケーションの動作を示すフローチャートである。ユーザが撮影を開始すると、携帯電話に付属しているカメラによって画像の取得がなされる(step100)。尚、撮影が開始された場合に、カメラが自動的にマクロモードになることが望ましい。マクロモードとは、近接した物体にピントが合いやすくするモードである。免許証の記載内容を正確に読み取るためには、比較的近い位置に有る免許証を、ピントを合わせながら撮影する必要がある。マクロモードが搭載された携帯電話のデジタルカメラは一般的であるが、ユーザは概してマクロモードの存在を知らない。そのため、マクロモードの設定をアプリケーションが自動的に設定することが望ましい。
【００５６】
該アプリケーションは取得した画像に対して、顔検出処理を行う(step101)。尚、顔検出処理の詳しい手段については後述する。該アプリケーションは顔が無かった場合(step102)、画像取得に戻る。一方、顔が存在していた場合（step102）、続いて顔が所定の領域に含まれるか否かを該アプリケーションが判定する。所定の領域とは、画像全体において顔の中心位置が右1/3に位置しており、更に顔の中心位置が画像の上下方向において中心1/3に含まれている領域とする（図３の斜線領域）。
【００５７】
更に、該アプリケーションでは検出された顔領域のサイズが、画面全体の3％以上10％以下を占めるかを判定する。これら全てが満たされた場合に、該アプリケーションは写真領域特定のステップ(step104)に進む。それらの一つでも満たされない場合には、該アプリケーションは画像取得(step100)に戻る。
【００５８】
ここで位置の検出された顔の位置を判定するのは、顔の誤検出を防ぐためである。また、成人認証を行うために、必要な領域が画面に全て収まっていることを判定する目的もある。尚、これらの数値は経験的に決定したものであり、特に理論的な裏づけが有るわけではない。
【００５９】
ここで所定の領域であるかの判定手段を満たさない原因を該アプリケーションが携帯電話の画面を通じてユーザに通知すると、ユーザはそれに合わせて撮影条件を調整できるので、よりスムーズに撮影を行うことが可能になる。
【００６０】
続いて、撮影された免許証画像に対して該アプリケーションはあおり補正(step104)を行う。あおり補正は前述の通り、図２３で示したような台形に歪んでしまった長方形を、元の長方形に戻す処理である。処理の詳細については後述するが、発明の背景でも記載したとおり、ここで元の長方形に対して正確なアスペクト比を持つ長方形画像へと補正することは不可能であるため、アスペクト比が不正確な画像へと補正される。
【００６１】
あおり補正に続いて、該アプリケーションは撮影された運転免許証の写真領域を特定する（step104）。一般に後述する顔検出処理により検出される顔の領域は図５の太線で示すように、写真全体ではなく、顔の領域のみになってしまう場合が多い。そのため、本実施形態においては、該アプリケーションは顔の領域だけでなく、写真領域の特定を行う。尚、本発明における写真領域とは、写真により得られた画像が記載されている領域のことを示す。実際には写真が貼られている領域でもよいし、写真を印刷した領域でもよい。また、写真領域の特定の手段については後述するが、写真領域の候補は複数検出される場合が有る。この場合には該アプリケーションは携帯電話に付随するディスプレイを用いて候補を全て表示し、ユーザに選択させる。これにより顔領域特定の間違いを大幅に減らすことができる。
【００６２】
Step105によって該アプリケーションが写真領域を特定すると、免許証画像全体において、写真領域の位置とサイズが特定されるが、（図６参照）step106では得られたw,とhの比に応じて画面全体の縦横比を該アプリケーションが変化させる。日本における免許証の写真はw:h=24:30である。これに合わせて、画像の縦方向を拡大縮小する。
【００６３】
アスペクト比補正が行われた画像を該アプリケーションがサーバに送信(step0107)することにより、該アプリケーションの処理は完了する。
【００６４】
顔検出手段(図４-step101)
顔検出については文献１で紹介されている手法を用いるものとする。今回は非特許文献１記載の手法を用いたが、もちろん、固有顔法などといった手法を用いても構わないし、単純なパタンマッチを用いても構わない。顔が検出できる手法であれば何でも良い。
非特許文献１
Rapid Object Detection using a Boosted Cascade of Simple Features. IEEE CVPR, 2001.
その詳細は非特許文献２に譲るが、ここでは、その概要について述べる。非特許文献１で紹介される手法のエッセンスは、Rectangle Filterと呼ばれるフィルタ及び、Adaboost(非特許文献２)と呼ばれる学習手段であると言える。
非特許文献２
The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer Series in Statistics. 2001.
Rectangle Filterとは図７に示す様な、フィルタ群である。
【００６５】
例えば図７の1.Edge Features(a)を画像に適用することを考える。フィルタをスキャンして、白い矩形に含まれた領域の画素の平均値と、黒い矩形に含まれる領域の画素の平均値との差を以て、フィルタ中心部の出力値とする。これにより特定のエッジパタンとの一致度を算出できる。
【００６６】
ここでRectangle Filterのように単純な形のフィルタを用いる理由はIntegral Imageと呼ばれる高速化が利用できるからである。Integral Imageについて詳しくは触れないが、本来ならば、各矩形に含まれる画素の平均値を算出するのに（領域に含まれる画素数）回の和算が必要であるのに対し、Integral Imageを利用することによって、3回の和算を行うだけで前記平均値を算出できるため非常に高速な計算が可能である。これらの計算を図で挙げた全てのフィルタを様々な大きさに変化させながら行う。その結果、入力画像の各点において、多次元のベクトルが得られることになる。
【００６７】
続いて、入力画像における、様々な大きさ、様々な位置の矩形を仮定し、それぞれの矩形に含まれるベクトルの値から、顔が存在するか否かを判定する。勿論の事ながら、その判定は非常に大きな次元のベクトルを扱うことになり、人間の手によって、判定手段を作成することは非常に困難である。そこで、正解か不正解かを二値的に判定する識別器を作成する、Adaboostと呼ばれる手法を用いる。
【００６８】
Adaboostに対して様々なベクトルと正解値を学習データとして与えて学習させると、入力ベクトルが正解か不正解かを判定する識別器が得られる。本実施の形態における学習データにおいて上記rectangle filterの出力値がベクトルとなり、顔である画像が正解、顔以外の画像が不正解になる。
【００６９】
ここで、正解画像として導入する顔画像について補足しておく。正解画像として、図８における(a)〜(d)のような様々な方向を向いた顔画像を与えておくと、作成された顔検出手段は、(a)〜(d)の様々なパターンを識別できるものになる。逆に(a)のパターンだけを正解画像として与え、(b)〜(d)を不正解画像として与えると、(a)のようなパターンの顔だけを検出できる。
【００７０】
ここで、本実施の形態においては後者の(a)のパターンだけを正解データとして与えた。(a)の方向を向いた顔だけが検出できるので、携帯電話による撮影時に、撮影画像において運転免許証がどの方向を向いているかを簡易に判定できるからである。これによりサーバの負荷が減るだけでなく、サーバ側で運転免許証の記載内容を読み取る際に精度が良くなる。
次に、Adaboostの動作原理について述べる。
【００７１】
Adaboost
Adaboostは分類規則の生成手段である。複数の貧弱な識別器の結果の重み付き多数決を採ることで高精度な判定結果を得ることができる。尚、ここでいう貧弱な識別器（弱識別器）と言う言葉は、それらを組み合わせて得られる高精度な識別器を強識別器と呼ぶのと対比するための言葉で、実際にはどんな識別器であっても構わない。更に言うなら、本実施の形態における顔検出手段は、学習により２値的な分類手段を得られる手法であれば何でも良い。例えばSVMやニューラルネットワークなどを用いても構わない。
【００７２】
まず、Adaboostによる分類規則の生成手法について述べる。図９はAdaboostによる分類規則の生成手法のフローチャートを示した図である。
【００７３】
まずStep01ではサンプルに対する重みD1(i)を初期化する。初期化の方法は、全ての重みの和が１になってさえいれば、自由であるが、今回はサンプル数ｍに対して各サンプルに1/mの重みを付けることとした。次にStep02では重みの付けられたサンプルを用いて弱識別器ht(xi)の学習を行う。非特許文献２では弱識別器の規定は無く、識別率が０．５を超えてさえいれば良いとされている。今回用いた弱識別器は特徴量次元から、或る特定の１次元を抽出し、閾値を設定する弱識別器を用いた。前述の様に特徴量は全て０〜１に正規化されているので、0. 01ステップなどで順次閾値をスキャンすれば最適な弱識別器が設定できる。
【００７４】
続いてStep03では学習により得られた弱識別器により、全サンプルに対する識別を行い、間違い率εtを算出する。但し、この間違い率は間違えたサンプル数の割合でなく、間違えたサンプルに付けられた重みの和の割合である。前述の通り、重みは合計１に正規化されているので、間違えたサンプルに付けられた重みの和を採ることで、間違い率が算出できる。続いてStep04では前記間違い率εtを用いて、数２に基づいて弱識別器の重みαtを算出する。数２は優秀な弱識別器には高い重みを付け、劣等な弱識別器には低い重みが付くようになっている。
【００７５】
【数２】
【００７６】
続いてStep05では前記弱識別器の重みαiを用いて、数３、数４に基づいてサンプルの重みを更新する。数３は今回の学習で間違えたサンプルの重みを重く、正解したサンプルの重みを小さくするように設計されている。尚、Ztは更新後の重みの和が１になるように正規化するための値である。
【００７７】
【数３】
【００７８】
【数４】
【００７９】
最後にStep06では収束確認を行う。例えばエラー率が０になった場合には収束したと言えるし、エラー率の変化が事前に設定した閾値（例えば1e-6等）の範囲を超えない場合にも収束したと言える。もし、収束しなかった場合にはもう一度Step02〜Step06迄の処理を繰り返す。もし、収束した場合には、処理を終了させる。
【００８０】
最終的に算出された、複数の弱識別器hi(x)と弱識別器の重みαiを利用し、数式５に基づいて計算を行えば識別器として利用することが出来る。但し、数式５においてTは収束までに学習した回数、つまり識別に利用する弱識別器の数を示している。
【００８１】
【数５】
【００８２】
あおり補正(図４-step104)
続いて図４-step104で示したあおり補正について述べる。あおり補正は図１０に示すようなフローによって達成される。
【００８３】
まずエッジ検出手段300では、画像全体に図１１で示すようなフィルタを施し、画像からエッジ成分を算出し、更に二値化処理することによってエッジの二値画像を得る。以下エッジである点をエッジ点と呼ぶことにする。
【００８４】
続いて、直線検出手段301は、画像に含まれる直線を検出する。ここでは一般的な直線検出アルゴリズムであるHough変換を利用するものとする。尚、ここではHough変換を利用したが、直線が検出できるアルゴリズムならば何でも構わない。Hough変換ではエッジ点の座標x, yを以下の式に代入してrθ平面状での曲線を得る。
【００８５】
【数６】
【００８６】
全てのエッジ点の座標を数６に代入して、rθ平面状で曲線を描くと、それらの曲線が多数交わる点が現れる。図１２は、実際に多数の曲線を描いたものである。ここで、白い線が各曲線を表しており、明るい点ほど多数の曲線が交わる点であるといえる。
【００８７】
この明るい点を示すｒとθを以下の数７に代入すると所望の直線が得られる。一方、実際には、図１２からも明らかなように明るい点ではなく、明るい領域が得られてしまうため、局所領域で最も明るい領域を求めて、直線を示すrとθを得るものとする。即ち、該rθ平面への描画の後、rθ平面において注目画素を順次スキャンし、注目画素の周辺５×５画素において、注目画素が最も白い点であったrとθにより表現される直線（以下の式参照）が直線の候補となる。
【００８８】
【数７】
【００８９】
尚、図１２からも明らかなように、直線の候補は複数現れる。そのため、交点検出手段302では、まず、検出された全ての直線候補の交点を算出する。算出された交点の中で、画像中で最も左上に有るものと、右上に有るものと、最も左下に有るものと、右下に有るものを、補正前の４点として出力する。尚、この４点は運転免許証の４隅が取れることを期待している。
【００９０】
続いて、補正後４点算出手段303では、前記補正前の４点の座標を元に、補正後の４点を算出する。補正後の４点の算出方法は、図１３で示すように各点の中点を通る垂直、もしくは水平な直線を４辺とする長方形の各頂点である。図中白丸で示した点が補正前の４点であり、黒丸で示した点が補正後の４点である。
【００９１】
以降、補正前の４点の座標を(x0, y0)〜(x3, y3)とし、補正後の４点の座標を(x'0, y'0)〜(x'3, y'3)として話を続ける。
【００９２】
続いてマトリクス算出手段304では、数８の８元連立方程式を解くことにより求める。
【００９３】
【数８】
【００９４】
この８元連立方程式をGauss-Jordan法等で解くと変換マトリクスを求めることができる。
【００９５】
ここで得られた変換マトリクスをマトリクス演算手段305で画像全体に施すことによりあおり補正が完了する。
【００９６】
写真領域判定手段(図４-step105)
続いて図４のstep105で説明した写真領域特定手段について述べる。写真領域の特定は図１４に示すようなフローによって左、右、上、下の各辺を検出することによりなされる。まず左辺の検出を例に挙げて説明する。
【００９７】
まず左辺は縦エッジなので、縦のエッジを検出する。具体的には図１５の(a)のような縦エッジに強く応答するようなフィルタを全面に施す。
【００９８】
続いて二値化処理を行って(401)、エッジ画素と非エッジ画素を確定する。エッジカウント402ではまず、検出した顔の領域を参考に、図１６の点線で示したような探索範囲を決定する。該探索範囲において、縦方向にエッジをカウントする。結果各xにおいて縦エッジ画素がどれだけ存在するかをカウントする。その後、最大カウント探索403では最も縦エッジ画素が存在するx座標の縦エッジ画素数を探索する。その後、各x座標の縦エッジ数と、最大縦エッジ数を比較し、最大エッジ数の80％以上を写真縁候補とする。同様に右辺を検出する。
【００９９】
また、上辺と下辺についてはエッジ検出のフィルタとして図１５の(b)のようなフィルタを用い、更にエッジのカウントを縦方向ではなく、横方向にすれば、同様に写真縁候補が得られる。尚、写真縁はエッジカウントが最大の点だけをピックアップするのではなく、最大の８０％を超えていれば候補点とするため、写真領域の候補は前述の通り複数現れる。
【０１００】
サーバ側から見たシステムの動作
続いて、サーバ側から見たシステムの動作について説明する。以下の図１７は該実施の形態のシステムにおけるサーバの具備する機能を一覧にしたものである。まずサーバは通信部107を具備し、インターネットを通じて様々なユーザのPCと通信することができる。またサーバには商品の情報を格納する商品DBが存在する。該DBには表１に示すように、それぞれの商品ID、商品名、価格、画像URL、年齢認証が必要か否か、および、商品の画像が格納されている。
【０１０１】
【表１】
【０１０２】
ユーザがインターネットを通じて該サーバのページにアクセスすると、該サーバは商品情報送信部100を通じてユーザのPCへこれらの情報を送信する。これらの情報を閲覧したユーザが商品の検索を行った後に購入決定のボタンを押すと、サーバへは購入にいたった商品の商品IDが送信されてくる。
【０１０３】
該サーバは、送信された商品IDを商品DB内で検索し、該商品は成人認証を必要としているか否かを年齢認証要否判定部101にて判定する。年齢認証が必要でない場合、該サーバはフォーム生成・送信部102により、フォームを生成し、通信部105とインターネットを介してユーザの閲覧しているwebページへ送信する。
【０１０４】
一方、年齢認証が必要である場合には、該サーバはQRコード作成・送信部を用いてQRコードを作成しさ、ユーザが閲覧中のPCへQRコードを送信する。ここで、QRコードには該サーバに保持される運転免許証画像送信アプリケーションをダウンロードするためのアドレスが含まれているものとし、ユーザがカメラで該QRコードを撮影し、QRコードの内容を読み取ると、該アドレスに簡単にアクセスできるものとする。
【０１０５】
ユーザが該アドレスにアクセスすると、該サーバはアプリケーション送信部105を通じて、保持している前記運転免許証画像送信アプリケーションをユーザへと送信する。
【０１０６】
ユーザが、運転免許証画像送信アプリケーションを通じて免許証の画像を送信してくると、該サーバは免許証読み取り部106を用いて、免許証の画像からユーザの生年月日を読み取る。該免許証読み取り部106の動作については後述する。該サーバは読み取った生年月日を元にユーザの年齢を算出し、ユーザの年齢が二十歳を超えていた場合、フォーム生成・送信部102を用いて、フォームを生成し、通信部105とインターネットを介してユーザの閲覧しているwebページへ送信する。尚、後述するが、生年月日の読み取りと同様の手段で、住所や氏名の読み取りも行うことができるので、該サーバが住所や氏名を読み取って、生成するフォームに予め入力しておけば、ユーザの手間が省け、ユーザの利便性が向上する。
【０１０７】
ユーザにより必要事項の記入されたフォームが送信されてきた場合、該サーバはフォーム受信部103で該フォームを受け取り、注文内容DBへと格納する。該DBを参照し、商品を提供する人間が、該フォームに入力された内容に基づいてユーザに代金を請求するとともに、ユーザへ商品を発送することで買い物は終了する。
【０１０８】
免許証読み取り部106
図１７で示した免許証読み取り部106の動作について図１８のフロー図を用いて説明する。
【０１０９】
まず、領域特定手段500により免許証画像において生年月日が記載されている領域を該サーバが特定できる。既に述べたように、これまでの処理で、免許証画像中でどこに顔写真が存在するかは該サーバに対して明らかになっている。また、免許証のフォーマットは（少なくとも都道府県内では）一定である。そのため、顔写真の左上に対して、生年月日が記載される領域の左上との位置関係、および図１９に示した矩形領域の大きさは一定である。そのため、写真領域の位置から、簡単に領域を生年月日の記載された領域を該サーバが特定できる。
【０１１０】
このように、簡単に領域を特定できるのは、本実施の形態で該サーバがあおり補正を行っているだけでなく、顔写真領域を用いた正確なアスペト比補正を行っているから実現できることである。もし、あおり補正を行っていない場合、アスペクト比が補正されていないことを考えると、顔写真の位置がわかっても、生年月日が記載された領域は容易にわからない。
【０１１１】
続いて、文字切り出し手段501では、特定した領域に含まれる画像を該サーバが一文字ずつの画像に切り分ける。更に、文字照合手段502では文字DBを参照し、パタンマッチで切り出した文字それぞれが、どの文字に近いかを判定する。
【０１１２】
第一の実施の形態の効果
ここまで第一の実施の形態について説明してきた。従来技術で説明したとおり、本来被写体(身分証明書)との距離、および免許証とカメラとのなす角度が明らかにならない限り、正確なアスペクト比を保持したあおり補正は不可能であった。一方、本実施の形態では、定型フォーマットである免許証についてならば、定型フォーマットのサイズ情報を利用することで、正確なアスペクト比を保持したあおり補正を自動で行うことが出来ることを示した。更に、定型フォーマットの中でも、顔、および顔写真に着目したのは、免許証などに用いられる顔写真が顔検出にとって極めて好適であるためである。更にいえば、本実施の形態で示した非特許文献２記載の手法は現在、デジタルカメラなどで広く採用されている手法であり、認識精度は極めて高い。これらのことから、免許証に記載されている顔の検出は極めて高い精度で行える。
また、この構成により、運転免許証に対して正確なあおり補正を行うことができるため、顔の位置から免許証の記載事項が書かれた領域を極めて良好に特定することができる。
本発明は運転免許証に限定して説明したが、定型フォーマットかつ、顔写真が貼付されている身分証明書にならばなんでも適用可能である。
【０１１３】
本発明の第二の実施の形態（携帯電話で顔検出だけは行う）
第二の実施の形態で述べる身分証明書撮影システムは、ユーザ側から見たシステムの動作、サーバ側から見たシステムの動作はほぼ第一の実施の形態で述べた身分証明書撮影システムと同じであるが、顔検出や、あおり補正といった処理がサーバ側に実装されている点で異なる。それにより第一の実施の形態と異なる点である、運転免許撮影アプリケーションの動作と、免許証読み取り部の動作について述べる。
【０１１４】
運転免許証撮影アプリケーションの動作
図２０は運転免許証アプリケーションの動作を示すものである。ユーザが撮影を開始すると、携帯電話に付属しているカメラによって画像の取得がなされる(step200)。尚、撮影が開始された場合には、第一の実施の形態同様、該アプリケーションが自動的にカメラをマクロモードにすることが望ましい。また、本実施の形態では、ユーザが撮影した画像が成人識別に好適であるかが、全く判らないので、撮影時に該アプリケーションが携帯電話のディスプレイ上に免許証の概形を表示し、該概形に合わせて撮影することをユーザに促すと良い。こうすることで、ユーザは画面においてどの方向に免許証を置いて撮影すればよいのか、どの程度の大きさに撮影すればよいのかがわかる。すると、撮影される画像は比較的好条件のものになるので、以下の処理の精度が高まる。撮影した画像はサーバへ送信される(step201)。
【０１１５】
免許証読み取り部の動作(図１７-106)
基本的には第一の実施の形態と同様であるが、第一の実施の形態でカメラ側のアプリケーションの処理であった顔検出(step101)からアスペクト比補正(step106)までの処理をサーバに行わせる点で異なる（図４参照）。殆どの処理は図４を用いて説明したものと同じであるが、写真領域特定(step105)だけは若干異なる。図２１は写真領域特定処理のフローチャートであるが、404の判定手段において、第一の実施の形態では、最大カウントの80%以上であるならアプリケーションが写真領域の候補とするとし、複数の候補からユーザに選択させるという構成となっていたが、本実施の形態では、最大カウントの場合に即、サーバが写真領域として決定してしまう。このような処理にしたのは、処理がサーバ上で行われ、ユーザからのインタラクティブな操作が不可能であるからである。
【０１１６】
第二の実施の形態の効果
以上のように第二の実施の形態では、第一の実施の形態のように写真領域の候補をユーザが選択するなどといったインタラクティブな動作がない分、認識の精度は落ちるが、一般的に貧弱な処理能力しか持たない携帯電話での処理を最小限に抑えているので、高速に動作し、ユーザの利便性は高まる。
【０１１７】
本発明の第三の実施の形態
第三の実施の形態で述べる身分証明書撮影システムは第一の実施の形態で述べた身分証明書撮影システムとほぼ同じ構成であるが、図４のあおり補正(step104)の動作が異なる。第一の実施の形態の図１０で示したあおり補正では、画像全体にエッジ検出処理、Hough変換、交点検出処理を行った。一方、本実施の形態では、該処理を施す範囲を図２２中の太線で囲われた範囲のみにする。尚、太点線は顔検出により検出された顔の範囲であり、処理を施す領域は、顔の範囲と重心を変えずに縦横２倍にした範囲とする。
【０１１８】
第一の実施の形態の図１０で示したあおり補正では、免許証の４隅が取れることを期待して、全面への処理を行ったが、本実施の形態では、写真領域の４隅が取れることを期待して処理を行っている。経験的に広い範囲（免許証の４隅）を見てあおり補正を行った方が、精度の良いあおり補正が行えるが、本実施の形態のように狭い範囲（写真領域の４隅）を見て、あおり補正を行ったほうが、処理量は大幅に削減できる。
【０１１９】
以上、これまでの各実施の形態では、携帯電話とサーバを連携させて身分の証明を行うことを説明してきたが、各構成要件をどちらに携帯電話、サーバのどちらに担当させても構わない。例えば、それらの処理を行う機能を全て携帯電話に具備することも可能である。例えば、身分証明を行うソフトとしてユーザに提供し、そのソフトにより認証が行えた場合にのみ、所定の物品販売するといったことも実現可能である。
また、同様に全ての処理を一切サーバにやらせてしまっても問題は無い。サーバにはユーザから送られてきた身分証明書が撮影された画像が送られてきて、それに処理を行うことによって身分証明を行い、所定の物品を販売するといったことも実現可能である。
【０１２０】
以下、各請求項の作用効果について説明する。
【０１２１】
請求項１等の発明によれば、運転免許証の写真という定型であることが既知の領域を検出し、該領域の幅と高さを用いてあおり補正後のアスペクト比補正を行うことにより、正確な補正を行うことができ、免許証の内容を読み取る際の精度が向上する。
【０１２２】
請求項２等の発明によればあおり補正後の画像に対して顔検出処理を施すため、顔検出の精度が向上し、免許証の内容を読み取る際の精度が向上する。
【０１２３】
請求項３等の発明によれば、顔検出を行い、撮影された画像が読み取りに適するか否かを判定してから、比較的重いあおり補正を行うため、読み取りに適した画像が得られるまで、重い処理を何度も繰り返すことが無くなり、ユーザの利便性が向上する。
【０１２４】
請求項４等の発明に拠れば、顔検出が行える顔の向きは一定なので、ユーザが間違えた配置で撮影を行うことにより年齢の認証が行えないといった不具合が無くなり、ユーザの利便性が向上する。
【０１２５】
請求項５等の発明によれば、複数の顔写真領域の候補からユーザに選択させることで、ユーザに負荷をかけることなく正確に顔写真領域を特定できるため正確なアスペクト比の補正ができる。
【０１２６】
請求項６等の発明によれば、写真の位置と大きさが成人認証に好適な場合にだけ読み取りを行うことにより、小さい画像や、必要な領域が切れてしまった画像に対して、読み取り処理を行わないため、読み込めないために、ユーザに再度の撮影を促すなどといった処理を経ることなく読み取りが完了するため、ユーザの利便性が向上する。
【０１２７】
請求項７等の発明によれば、運転免許証の撮影が開始すると同時に自動的にマクロモードになるため、十分に免許証に近づいて撮影を行っても、ピントのあった画像が得られるため読み取りの精度が向上する。
【０１２８】
請求項８等の発明によれば、比較的重い処理であるOCR処理を、サーバなどのリッチな処理能力の有る端末で行うため、携帯電話の処理系に過度な処理能力を要求せず、ユーザにとってはシステム導入の敷居が下がる。
【０１２９】
請求項９等の発明によれば、顔検出手段によって得られた顔領域からあおり補正を行うための処理を施す範囲を大幅に小さくすることができるため、携帯電話の処理系に過度な処理能力を要求せず、ユーザにとってはシステム導入の敷居が下がる。
【０１３０】
請求項１０等の発明によれば、撮影時に、撮影画面に身分証明書の概形が現れ、該概形に合わせて身分証明書を撮影すればよいので、画面内で身分証明書がどう撮影されていれば良いのかが直感的に判るためユーザの利便性が向上する。
【０１３１】
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々の変更実施が可能である。
【先行技術文献】
【特許文献】
【０１３２】
【特許文献１】特開２００３−０３０７２６号公報
【特許文献２】特開２００１−０８４３６５号公報
【特許文献３】特開平０９−２８９６００号公報
【特許文献４】特開２００１−１７７７１６号公報
【特許請求の範囲】
【請求項１】
身分証明書を撮影する撮像装置と、画像に顔が含まれるか否かを判定する顔検出手段と、顔が含まれる写真領域を検出する写真検出手段と、画像全体のあおりを補正するあおり補正手段とを備え、前記撮像装置により得られた画像において、前記顔検出手段により顔が検出された場合に、前記写真検出手段による写真領域の検出を行い、前記写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正することを特徴とする身分証明書撮影システム。
【請求項２】
あおり補正後の画像に対して、顔検出処理を施すことを特徴とする請求項１記載の身分証明書撮影システム。
【請求項３】
あおり補正前の画像に対して、顔検出処理を施すことを特徴とする請求項１記載の身分証明書撮影システム。
【請求項４】
前記顔検出手段は、撮像装置に撮影される画像にて、概ね所定の方向を向いているときにのみ顔の検出が行えるようになっていることを特徴とする請求項２もしくは３記載の身分証明書撮影システム。
【請求項５】
さらに表示手段を備え、検出した顔写真領域の候補を表示し、候補が複数存在する場合には、表示手段に複数の結果を表示し、ユーザに選択させることを特徴とする請求項４記載の身分証明書撮影システム。
【請求項６】
写真領域の大きさと位置に応じて、身分証明書の記載事項読み取りを開始するか否かを決定することを特徴とする請求項５記載の身分証明書撮影システム。
【請求項７】
前記撮像装置は、撮影時に自動的にマクロモードになることを特徴とする請求項１記載の身分証明書撮影システム。
【請求項８】
身分証明書に記載された事項を読み取るＯＣＲ手段を有しており、該ＯＣＲ手段は、前記撮像装置とは別のハードウェアに実装されていることを特徴とする請求項１記載の身分証明書撮影システム。
【請求項９】
前記あおり補正手段は、前記写真検出手段により得られた写真領域に応じて、あおり補正を行うことを特徴とする請求項１記載の身分証明書撮影システム。
【請求項１０】
撮影時に表示手段へ、身分証名書の概形を表示し、該概形に合わせて撮影することをユーザに促すことを特徴とする請求項１記載の身分証明書撮影システム。
【請求項１１】
身分証明書を撮影する撮像装置と、画像に顔が含まれるか否かを判定する顔検出手段と、顔が含まれる写真領域を検出する写真検出手段と、画像全体のあおりを補正するあおり補正手段とを備える身分証明書撮影システムにおける身分証明書撮影方法であって、前記撮像装置により得られた画像において、前記顔検出手段により顔が検出された場合に、前記写真検出手段による写真領域の検出を行い、前記写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正することを特徴とする身分証明書撮影方法。
【請求項１２】
あおり補正後の画像に対して、顔検出処理を施すことを特徴とする請求項１１記載の身分証明書撮影方法。
【請求項１３】
あおり補正前の画像に対して、顔検出処理を施すことを特徴とする請求項１１記載の身分証明書撮影方法。
【請求項１４】
前記顔検出手段は、撮像装置に撮影される画像にて、概ね所定の方向を向いているときにのみ顔の検出が行えるようになっていることを特徴とする請求項１２もしくは１３記載の身分証明書撮影方法。
【請求項１５】
身分証明書撮影システムはさらに表示手段を備え、検出した顔写真領域の候補を表示し、候補が複数存在する場合には、表示手段に複数の結果を表示し、ユーザに選択させることを特徴とする請求項１４記載の身分証明書撮影方法。
【請求項１６】
写真領域の大きさと位置に応じて、身分証明書の記載事項読み取りを開始するか否かを決定することを特徴とする請求項１５記載の身分証明書撮影方法。
【請求項１７】
前記撮像装置は、撮影時に自動的にマクロモードになることを特徴とする請求項１１記載の身分証明書撮影方法。
【請求項１８】
身分証明書に記載された事項を読み取るＯＣＲ手段を有しており、該ＯＣＲ手段は、前記撮像装置とは別のハードウェアに実装されていることを特徴とする請求項１１記載の身分証明書撮影方法。
【請求項１９】
前記あおり補正手段は、前記写真検出手段により得られた写真領域に応じて、あおり補正を行うことを特徴とする請求項１１記載の身分証明書撮影方法。
【請求項２０】
撮影時に表示手段へ、身分証名書の概形を表示し、該概形に合わせて撮影することをユーザに促すことを特徴とする請求項１１記載の身分証明書撮影方法。
【請求項２１】
コンピュータに、身分証明書を撮影する撮像装置により得られた画像を取得し、画像に顔が含まれるか否かを判定する顔検出手段により顔が検出された場合に、顔が含まれる写真領域を検出する写真検出手段による写真領域の検出を行い、前記写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正する処理を実行させることを特徴とするプログラム。
【請求項２２】
あおり補正後の画像に対して、顔検出処理を施すことを特徴とする請求項２１記載のプログラム。
【請求項２３】
あおり補正前の画像に対して、顔検出処理を施すことを特徴とする請求項２１記載のプログラム。
【請求項２４】
前記顔検出手段により、撮像装置に撮影される画像にて、概ね所定の方向を向いているときにのみ顔の検出が行えるようになっていることを特徴とする請求項２２もしくは２３記載のプログラム。
【請求項２５】
さらに検出した顔写真領域の候補を表示し、候補が複数存在する場合には、表示手段に複数の結果を表示し、ユーザに選択させることを特徴とする請求項２４記載のプログラム。
【請求項２６】
写真領域の大きさと位置に応じて、身分証明書の記載事項読み取りを開始するか否かを決定することを特徴とする請求項２５記載のプログラム。
【請求項２７】
前記あおり補正手段により、前記写真検出手段で得られた写真領域に応じて、あおり補正を行うことを特徴とする請求項２１記載のプログラム。
【請求項２８】
撮影時に表示手段へ、身分証名書の概形を表示し、該概形に合わせて撮影することをユーザに促すことを特徴とする請求項２１記載のプログラム。
【請求項１】
身分証明書を撮影する撮像装置と、画像に顔が含まれるか否かを判定する顔検出手段と、顔が含まれる写真領域を検出する写真検出手段と、画像全体のあおりを補正するあおり補正手段とを備え、前記撮像装置により得られた画像において、前記顔検出手段により顔が検出された場合に、前記写真検出手段による写真領域の検出を行い、前記写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正することを特徴とする身分証明書撮影システム。
【請求項２】
あおり補正後の画像に対して、顔検出処理を施すことを特徴とする請求項１記載の身分証明書撮影システム。
【請求項３】
あおり補正前の画像に対して、顔検出処理を施すことを特徴とする請求項１記載の身分証明書撮影システム。
【請求項４】
前記顔検出手段は、撮像装置に撮影される画像にて、概ね所定の方向を向いているときにのみ顔の検出が行えるようになっていることを特徴とする請求項２もしくは３記載の身分証明書撮影システム。
【請求項５】
さらに表示手段を備え、検出した顔写真領域の候補を表示し、候補が複数存在する場合には、表示手段に複数の結果を表示し、ユーザに選択させることを特徴とする請求項４記載の身分証明書撮影システム。
【請求項６】
写真領域の大きさと位置に応じて、身分証明書の記載事項読み取りを開始するか否かを決定することを特徴とする請求項５記載の身分証明書撮影システム。
【請求項７】
前記撮像装置は、撮影時に自動的にマクロモードになることを特徴とする請求項１記載の身分証明書撮影システム。
【請求項８】
身分証明書に記載された事項を読み取るＯＣＲ手段を有しており、該ＯＣＲ手段は、前記撮像装置とは別のハードウェアに実装されていることを特徴とする請求項１記載の身分証明書撮影システム。
【請求項９】
前記あおり補正手段は、前記写真検出手段により得られた写真領域に応じて、あおり補正を行うことを特徴とする請求項１記載の身分証明書撮影システム。
【請求項１０】
撮影時に表示手段へ、身分証名書の概形を表示し、該概形に合わせて撮影することをユーザに促すことを特徴とする請求項１記載の身分証明書撮影システム。
【請求項１１】
身分証明書を撮影する撮像装置と、画像に顔が含まれるか否かを判定する顔検出手段と、顔が含まれる写真領域を検出する写真検出手段と、画像全体のあおりを補正するあおり補正手段とを備える身分証明書撮影システムにおける身分証明書撮影方法であって、前記撮像装置により得られた画像において、前記顔検出手段により顔が検出された場合に、前記写真検出手段による写真領域の検出を行い、前記写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正することを特徴とする身分証明書撮影方法。
【請求項１２】
あおり補正後の画像に対して、顔検出処理を施すことを特徴とする請求項１１記載の身分証明書撮影方法。
【請求項１３】
あおり補正前の画像に対して、顔検出処理を施すことを特徴とする請求項１１記載の身分証明書撮影方法。
【請求項１４】
前記顔検出手段は、撮像装置に撮影される画像にて、概ね所定の方向を向いているときにのみ顔の検出が行えるようになっていることを特徴とする請求項１２もしくは１３記載の身分証明書撮影方法。
【請求項１５】
身分証明書撮影システムはさらに表示手段を備え、検出した顔写真領域の候補を表示し、候補が複数存在する場合には、表示手段に複数の結果を表示し、ユーザに選択させることを特徴とする請求項１４記載の身分証明書撮影方法。
【請求項１６】
写真領域の大きさと位置に応じて、身分証明書の記載事項読み取りを開始するか否かを決定することを特徴とする請求項１５記載の身分証明書撮影方法。
【請求項１７】
前記撮像装置は、撮影時に自動的にマクロモードになることを特徴とする請求項１１記載の身分証明書撮影方法。
【請求項１８】
身分証明書に記載された事項を読み取るＯＣＲ手段を有しており、該ＯＣＲ手段は、前記撮像装置とは別のハードウェアに実装されていることを特徴とする請求項１１記載の身分証明書撮影方法。
【請求項１９】
前記あおり補正手段は、前記写真検出手段により得られた写真領域に応じて、あおり補正を行うことを特徴とする請求項１１記載の身分証明書撮影方法。
【請求項２０】
撮影時に表示手段へ、身分証名書の概形を表示し、該概形に合わせて撮影することをユーザに促すことを特徴とする請求項１１記載の身分証明書撮影方法。
【請求項２１】
コンピュータに、身分証明書を撮影する撮像装置により得られた画像を取得し、画像に顔が含まれるか否かを判定する顔検出手段により顔が検出された場合に、顔が含まれる写真領域を検出する写真検出手段による写真領域の検出を行い、前記写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正する処理を実行させることを特徴とするプログラム。
【請求項２２】
あおり補正後の画像に対して、顔検出処理を施すことを特徴とする請求項２１記載のプログラム。
【請求項２３】
あおり補正前の画像に対して、顔検出処理を施すことを特徴とする請求項２１記載のプログラム。
【請求項２４】
前記顔検出手段により、撮像装置に撮影される画像にて、概ね所定の方向を向いているときにのみ顔の検出が行えるようになっていることを特徴とする請求項２２もしくは２３記載のプログラム。
【請求項２５】
さらに検出した顔写真領域の候補を表示し、候補が複数存在する場合には、表示手段に複数の結果を表示し、ユーザに選択させることを特徴とする請求項２４記載のプログラム。
【請求項２６】
写真領域の大きさと位置に応じて、身分証明書の記載事項読み取りを開始するか否かを決定することを特徴とする請求項２５記載のプログラム。
【請求項２７】
前記あおり補正手段により、前記写真検出手段で得られた写真領域に応じて、あおり補正を行うことを特徴とする請求項２１記載のプログラム。
【請求項２８】
撮影時に表示手段へ、身分証名書の概形を表示し、該概形に合わせて撮影することをユーザに促すことを特徴とする請求項２１記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１１−９９８６（Ｐ２０１１−９９８６Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２００９−１５０６６９（Ｐ２００９−１５０６６９）
【出願日】平成２１年６月２５日（２００９．６．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２１年６月２５日（２００９．６．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]