プログラム、及び情報処理装置
【課題】操作者に負担をかけることなく目的とする写真の画像データまたは印刷物を得る。
【解決手段】情報処理装置に、人間の顔を撮影して得られる顔写真に写し出された人間の顔の配置についての規定を記憶させ、人間の属性毎に属性をもった人間の標準的な左右の目の位置を含む標準的な顔の形状を記憶させ、ある人間の顔を撮影して得られるある顔写真の画像データの入力を受けさせ、ある人間の属性を示す情報の入力を受けさせ、ある顔写真に写し出されたある人間の左右の目の位置を特定させ、特定された前記ある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、ある人間と属性が同じ人間の標準的な顔がある顔写真に配置されたとした場合に、標準的な顔の配置が規定に適合するように、ある顔写真をトリミングする領域を判定させるためのプログラムに関する。
【解決手段】情報処理装置に、人間の顔を撮影して得られる顔写真に写し出された人間の顔の配置についての規定を記憶させ、人間の属性毎に属性をもった人間の標準的な左右の目の位置を含む標準的な顔の形状を記憶させ、ある人間の顔を撮影して得られるある顔写真の画像データの入力を受けさせ、ある人間の属性を示す情報の入力を受けさせ、ある顔写真に写し出されたある人間の左右の目の位置を特定させ、特定された前記ある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、ある人間と属性が同じ人間の標準的な顔がある顔写真に配置されたとした場合に、標準的な顔の配置が規定に適合するように、ある顔写真をトリミングする領域を判定させるためのプログラムに関する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、及び情報処理装置に関する。
【背景技術】
【０００２】
パスポートや運転免許証の交付を申請する際や、入学願書や履歴書を提出する際など、顔写真の提出が求められる機会は多い。このような顔写真は一般的に証明写真とも言われている。このような証明写真には、顔の位置や大きさなど、顔の配置について詳細に規定されていることが多い。そのため、多くの場合、撮影機材を整えた写真専門店で証明写真を撮影してもらうのが一般的である。しかしこの場合、写真専門店に出かける手間がかかる上、写真専門店の営業時間内に出かけられない事も多い。また、できあがった証明写真をとりに出かける手間もかかる。
【０００３】
一方、写真の撮影から現像までを自動的に行う事のできる証明写真撮影装置も開発されており、広く町中等に設置されている。しかし証明写真撮影装置を用いて証明写真を撮影する場合には、規定に適合した証明写真になるように、撮影時に椅子の高さなど様々な調整を自分でおこなう必要がある。そのためできあがった証明写真が規定に適合しない場合も多い。
【０００４】
ところで、近年、パスポートや運転免許証の更新等、行政手続きの電子化が促進されている。一方で、デジタルカメラの普及やプリンタの高画質化によって、自分で撮影して得た画像を自分で編集し、印刷することもできるようになった。
そのため、デジタルカメラで自分の顔を撮影し、撮影して得られた画像を自分で編集して証明写真として提出することもできるようになった。
【０００５】
証明写真用の画像編集に関連する技術として、様々なものが開発されている（例えば特許文献１乃至３参照）。
【特許文献１】特開平７−３０３２５０号公報
【特許文献２】特開平１１−８８１４号公報
【特許文献３】特開２００３−１８７２５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、自ら写真を編集して証明写真を作成する場合には、編集前の写真は必ずしも証明写真に用いられることを前提として撮影されたものではない場合も多い。これまでの技術では、編集前の写真から、規定に適合する証明写真を得るためには、様々な編集作業を行う必要があり、特別の機材を必要とする場合もあった。また、編集前の写真に写し出されている顔を自動認識することにより編集作業の自動化を可能とする技術では、顔を自動認識するために必要な計測ポイントの数が多く、編集処理に時間が掛かる上、顔の自動認識がうまく行われない場合もあった。
【０００７】
本発明は上記課題を鑑みてなされたものであり、プログラム、及び情報処理装置を提供することを主たる目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、情報処理装置に、人間の顔を撮影して得られる顔写真に写し出された前記人間の顔の配置についての規定を記憶させ、前記人間の属性毎に、前記属性をもった人間の標準的な左右の目の位置を含む標準的な顔の形状を記憶させ、ある人間の顔を撮影して得られるある前記顔写真の画像データの入力を受けさせ、前記ある人間の属性を示す情報の入力を受けさせ、前記ある顔写真に写し出された前記ある人間の左右の目の位置を特定させ、前記特定された前記ある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、前記ある人間と前記属性が同じ前記人間の前記標準的な顔が前記ある顔写真に配置されたとした場合に、前記標準的な顔の配置が前記規定に適合するように、前記ある顔写真をトリミングする領域を判定させるためのプログラムに関する。
【０００９】
その他、本願が開示する課題、及びその解決方法は、発明を実施するための最良の形態の欄、及び図面により明らかにされる。
【発明の効果】
【００１０】
プログラム、及び情報処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
＝＝＝全体構成例＝＝＝
まず本実施の形態に係る情報処理装置２００を含む情報処理システムの全体構成を図１に示す。本実施の形態においては、パスポート申請者が、自宅の情報処理装置２００からネットワーク４００を通じて通信可能に接続された都道府県等のパスポート発行部署に設けられた情報処理装置２００にアクセスすることにより、パスポートの申請を行う場合を例に説明する。
【００１２】
情報処理装置１（２００）は、都道府県のパスポートの発行部署に設置されるコンピュータである。情報処理装置２（２００）や情報処理装置３（２００）は、ネットワーク４００を通じて情報処理装置１（２００）と通信可能に接続された、パスポート申請者のコンピュータである。ネットワーク４００は、例えばインターネットとすることができる。またパスポート申請専用の通信網とすることもできる。
【００１３】
パスポートの申請者は、パスポート申請の際に、パスポートに掲載される顔写真（証明写真）をパスポート発行部署に提出する必要がある。本実施の形態においては、パスポートに掲載される顔写真は、電子データ（以下、画像データとも記す）として、情報処理装置２（２００）や情報処理装置３（２００）から情報処理装置１（２００）に送信される。
【００１４】
パスポートに掲載される顔写真は、顔の配置などについて詳細に規定がなされており、パスポート発行部署に送信される画像データから得られる顔写真は、これらの詳細な規定を満たすものである必要がある。パスポートに掲載される顔写真は、例えば頭頂部から上の余白部分が５乃至９ｍｍ（ミリメートル）、頭頂部から顎部までが２５ｍｍ乃至２９ｍｍであることが要求される。この規定を模式的に示した図を図３に示す。図３には、顔写真５００に写し出された顔の頭頂部及び顎部が、網掛け部分で示される範囲になければならないことが示される。
【００１５】
本実施の形態においては、情報処理装置１（２００）に送信される画像データから得られる顔写真５００がこのような規定を満たすように、情報処理装置２（２００）や情報処理装置３（２００）において、顔写真５００の編集、作成が行われる。
そして情報処理装置１（２００）においては、情報処理装置２（２００）や情報処理装置３（２００）から送信されてくる画像データから得られる顔写真５００が所定の規定を満たすものであるか否かの検査が行われる。
【００１６】
なお、顔写真５００の編集や作成は、パスポート発行部署により、本実施の形態に係る情報処理装置１（２００）を用いて行われるようにすることもできる。この場合パスポートの申請者は、例えば図４に示すような、パスポート用に編集されていない写真５１０の画像データを情報処理装置１（２００）に送信するようにすることもできる。
また、情報処理装置２（２００）や情報処理装置３（２００）で編集、作成された顔写真５００は、パスポート申請者により印画紙に印刷され、都道府県のパスポート発行部署に郵便などにより送付されるようにすることもできる。
【００１７】
＝＝＝情報処理装置＝＝＝
次に本実施の形態に係る情報処理装置２００の構成図を図２に示す。
本実施の形態に係る情報処理装置２００は、ＣＰＵ２１０、メモリ２２０、ポート２３０、記録媒体読取装置２４０、入力装置２５０、出力装置２６０、記憶装置２８０を備える。
【００１８】
ＣＰＵ２１０は情報処理装置２００の全体の制御を司るもので、メモリ２２０に記憶された本実施の形態に係る各種の動作を行うためのコードから構成される画像編集プログラム２２０Ａを実行することにより、上述したパスポート用の顔写真５００の編集、作成を行う。また、編集、作成された顔写真５００の表示や印刷を行うこともできる。ＣＰＵ２１０により画像編集プログラム２２０Ａが実行されることにより、目特定部やトリミング領域判定部が実現される。
【００１９】
メモリ（第１の記憶部、第２の記憶部）２２０には、画像編集プログラム２２０Ａや設定ファイル２２０Ｂ、属性別顔データ管理テーブル２２０Ｃが記憶される。設定ファイル２２０Ｂは、人間の顔を撮影して得られる顔写真５００に写し出された人間の顔の配置についての規定が記載されたデータである。例えばパスポート用顔写真５００についての規定が記載されている。なお詳しくは後述するが、設定ファイル２２０Ｂには、パスポート用顔写真５００についての規定の他にも、例えば運転免許証の申請時に提出する顔写真５００についての規定なども記載されるようにすることができる。属性別顔データ管理テーブル２２０Ｃは、人間の属性毎に、その属性をもった人間の標準的な左右の目の位置を含む標準的な顔の形状が記載されたデータを管理するテーブルである。人間の属性としては、例えば国籍や、性、年齢の少なくともいずれかとすることができ、それらの人間の属性毎に人間の標準的な顔の形状が記載されたデータが管理される。なお図２には、画像編集プログラム２２０Ａは一つのプログラムにより構成されるように記載されているが、複数のプログラムにより構成されるようにすることもできる。
【００２０】
記録媒体読取装置（第１の入力部）２４０は、記録媒体２７０に記録されているプログラムや画像データ、その他のデータを読み取るための装置である。例えば、記録媒体読取装置２４０は、記録媒体２７０に記録された、ある人間の顔を撮影して得られるある顔写真の画像データを読み取る（入力を受ける）ことができる。読み取られたプログラムや画像データ、その他のデータはメモリ２２０や記憶装置２８０に記憶される。従って、例えば記録媒体２７０に記録された画像編集プログラム２２０Ａや設定ファイル２２０Ｂ、属性別顔データ管理テーブル２２０Ｃ、人間の顔が写し出された写真５１０の画像データを、記録媒体読取装置２４０を用いて上記記録媒体２７０から読み取って、メモリ２２０や記憶装置２８０に記憶するようにすることができる。記録媒体２７０としてはフレキシブルディスクや磁気テープ、ＣＤ−ＲＯＭ、半導体メモリ等を用いることができる。その他、光ディスクやＤＶＤディスク、スマートメディアを用いることもできる。また記録媒体読取装置２４０は情報処理装置２００に内蔵されている形態とすることもできるし、外付されている形態とすることもできる。
【００２１】
記憶装置２８０は、例えばハードディスク装置や半導体記憶装置等とすることができる。画像編集プログラム２２０Ａや設定ファイル２２０Ｂ、属性別顔データ管理テーブル２２０Ｃは、記憶装置２８０に記憶されるようにすることもできる。この場合、記憶装置２８０が第１の記憶部、第２の記憶部として機能する。
【００２２】
入力装置（第２の入力部）２５０は、情報処理装置２００へのデータ入力等のために用いられるユーザインタフェースとして機能する装置である。入力装置２５０としては例えばキーボードやマウス等を用いることができる。入力装置２５０は、例えばある人間の属性を示す情報、例えば性別や国籍、年齢等の情報の入力を受ける。
【００２３】
出力装置２６０は、情報を外部に出力するためのユーザインタフェースとして機能する装置である。出力装置２６０としては例えばディスプレイやプリンタ等を用いることができる。例えば、上述した顔写真５００の表示や印刷は、出力装置２６０を用いることにより行われる。顔写真５００が出力装置２６０に表示されることにより、本実施の形態に係るパスポート発行部署において、パスポート申請者により提出された顔写真５００が所定の規定を満たすか否かの検査を行うことができる。またプリンタを用いて顔写真５００を印刷することもできる。
【００２４】
ポート２３０は通信を行うための装置である。例えばネットワーク４００を介して行われる他の情報処理装置２００との間の通信は、ポート２３０を介して行われるようにすることができる。この場合例えば、画像編集プログラム２２０Ａや設定ファイル２２０Ｂ、属性別顔データ管理テーブル２２０Ｃを、ポート２３０を通じて他の情報処理装置２００から受信して、メモリ２２０や記憶装置２８０に記憶するようにすることもできる。また、例えばフラットベッドスキャナやフィルムスキャナが他の情報処理装置２００として機能する場合には、これらの装置からポート２３０を介して画像データを受信するようにすることもできる。この場合にはポート２３０は第１の入力部として機能する。なおフラットベッドスキャナは、写真をデジタルデータ化するための装置である。またフィルムスキャナは、ネガフィルムやポジフィルムをデジタルデータ化するための装置である。
【００２５】
＝＝＝画像データの編集、作成＝＝＝
次に、本実施の形態に係る画像データの編集、作成の処理について図５乃至図１９を参照しながら詳細に説明する。
【００２６】
まず本実施の形態に係る画像データの編集、作成の処理の全体を示す図を図５に示す。 図５において、画像入力手段は上述した第１の入力部に相当し、デジタルデータ化された画像データを入力する手段であれば何でも良い。例えば、画像データが保存されたフレキシブルディスク、光ディスク、ＤＶＤディスク、ＣＤ−ＲＯＭ、スマートメディア、などの記録媒体２７０に記録されたデータを読み出す事ができるドライブ、または、写真をデジタルデータ化する事ができるフラットベッドスキャナ、または、ネガフィルムやポジフィルムをデジタルデータ化できるフィルムスキャナ、または、ネットワーク経由で画像データを取得するためのネットワークデータ受信装置、などを挙げる事ができる。画像入力手段は、上述した記録媒体読取装置２４０やポート２３０に相当する。または、例えばデジタルカメラそのものを画像入力手段とし、デジタルカメラにより撮影された画像がシステム内に取り込めるようにしても良い。なお、画像入力手段により入力される画像としては、例えば図４に示すような画像とすることができる。
【００２７】
画像入力手段から入力された画像データは、図５の入力データ保持部に記憶される。入力データ保持部は、上述したメモリ２２０や記憶装置２８０に相当する。入力データ保持部はデジタルデータを記憶できる装置であれば何でも良いが、大容量のデータの高速な読み出しと書き込みが可能で、情報処理装置２００の電源を切っても記憶したデータが消去する事のないハードディスクが良い。
【００２８】
本実施の形態に係る顔写真５００の編集、作成は、入力データ保持部に画像データとして記憶された何枚かの画像の中から選択されたものに対して行われる。また、入力データ保持部に記憶された全ての画像に対して編集を行っても良い。編集する画像は、図５に示す表示手段に表示され、図５の操作手段を用いて選択される。なお、表示手段は上述した出力装置２６０に相当する。また操作手段は、上述した入力装置２５０に相当する。表示手段はモニタ、プロジェクタ、などを挙げる事ができる。操作手段はキーボード、マウス、ペン入力装置、タッチパネル装置、音声入力装置、などを挙げる事ができる。
【００２９】
なお、本実施の形態においては、画像の入力、編集、出力、保存（記憶）等は、図１１に示す画像編集ウインドウ８００を通じて行うことができる。画像編集ウインドウ８００は、情報処理装置２００が備える出力装置２６０に表示される。そしてマウスのカーソルをウインドウ内の所定の位置に合わせてクリックすることにより、所望の処理を情報処理装置２００に実行させることができる。
【００３０】
例えば、上述した画像の入力は、図１１の「読込」欄にマウスのカーソルを合わせてクリックすることにより行うことができる。読み込まれた画像は、プレビューウインドウ８１０に表示される。そして読み込んだ画像に対する編集は、「自動調整」欄にマウスのカーソルを合わせてクリックすることにより行うことができる。
【００３１】
本実施の形態に係る情報処理装置２００を用いて顔写真５００が編集を行われる際には、まず、図５の目検出手段により、入力データ保持部に記憶されている画像データが読み込まれる。目検出手段は、上述した目特定部に相当し、ある顔写真５００に写し出されたある人間の左右の目の位置を特定する。目検出手段は、読み込んだ画像データに対して、画像データ内の顔領域内の目の位置を検出する。検出結果として、右目のＸ座標、右目のＹ座標、左目のＸ座標、左目のＹ座標を出力する。
【００３２】
目の位置の検出は、例えば、一般的に用いられているテンプレートマッチング手法を用いることにより行うことが可能である。
その手順を図６に示す。まず、画像データの中から人物の頭部を抽出する（S1000）。人物の頭部の検出は、図７に示す顔テンプレート６００を画像データに適用することにより行われる。顔テンプレート６００には、色情報（肌色）を用いると検出精度が向上するが、処理に時間がかかるため、グレースケール画像の顔テンプレート６００を利用しても良い。画像データの各個所で顔テンプレートの大きさ、向きを変更して評価値を計算し、あるしきい値以上の評価値が計算された個所は人物の頭部であるとみなす。一つの画像データに対して複数の頭部が抽出されても良い。
【００３３】
このようにして頭部が検出されると、検出された頭部の領域に対して、図８に示す目テンプレート６１０を用いて目の検出を行う（S1001）。この時に、S1000で用いた顔テンプレート６００の検出結果情報を利用すれば、大まかな目の位置はほぼ確定するため、計算量を少なくする事ができる。頭部領域内の各個所で目テンプレート６１０の大きさと向きを変更して評価値を計算し、評価値の高い上位二つの位置を両眼の位置とする。また、検出された両眼の目テンプレート６１０はどちらもほぼ同じテンプレート回転角とテンプレートサイズで検出されるはずである。これらの情報を利用して、両眼のＸ座標とＹ座標を得る事ができる。
【００３４】
図５に戻って、位置調整手段は、目検出手段から両眼の座標を取得する。位置調整手段は、上述したトリミング領域判定部に相当する。両眼の座標が分かると瞳孔間距離を求める事ができる。両眼の座標の右目座標を（ＲＸ，ＲＹ）、左目座標を（ＬＸ，ＬＹ）とすると、瞳孔間距離の実測値il＝（（RX―LX）2＋（RY―LY）2）0.5 として計算する事ができる。
【００３５】
そして図９に示すように、瞳孔間距離の実測値ilと、統計的数値の瞳孔間距離IL、頭頂部の位置FT、顎部の位置FB、顔の長さFL、顔の幅FWの各比率（FT/IL、FB/IL、FL/IL、FW/IL）とから、画像データの顔画像を標準的な顔と仮定した場合の顔の大きさや頭頂部の位置、顎部の位置を推測し、座標で求める事ができる。すなわち、統計的情報に基づいて、瞳孔間距離から顔の長さや頭頂部の位置、顎の位置を求めることによって、顔の大きさを推定する事ができる。
【００３６】
このようにすることによって、本実施の形態においては、両眼のＸ座標、Ｙ座標の値に基づいて、顔の位置と大きさを、所定の規定に適合するように調整することができる。すなわち、目検出手段によって特定されたある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、ある人間と属性が同じ人間の標準的な顔がある顔写真に配置されたとした場合に、標準的な顔の配置が、顔写真の規定に適合するように、ある顔写真をトリミングする領域を判定することができる。もし顔画像が傾いている場合は傾きを補正することもできる。
【００３７】
また、推定に用いる統計情報は、国籍や年齢、性などの人間の属性によって大きく左右されるため、顔写真５００に写し出された人物の属性に応じて統計情報に使用するデータを切り替えるようにする。
【００３８】
図１１において、「属性入力」欄８３０にマウスのカーソルを合わせてクリックすることにより、図１２に示す属性入力ウインドウ９００が表示され、属性を示す情報を入力することができる。
【００３９】
図１２に示す例では、国籍入力欄９１０と、性別入力欄９２０、年齢入力欄９３０が示される。「ＯＫ」欄にマウスのカーソルをあわせてクリックすることにより、属性を示す情報を入力することができる。そして、入力された属性を示す情報に基づいて、図１３に示す顔データ管理テーブル２２０Ｃにより人間の属性毎に管理される人間の標準的な左右の目の位置を含む標準的な顔の形状が特定され、上述したように、画像データの顔画像を標準的な顔と仮定した場合の顔の大きさや頭頂部の位置、顎部の位置が推測される。
【００４０】
図１１において、「自動調整」欄８４０がクリックされると、位置調整手段は、目検出手段によって特定されたある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、ある人間と属性が同じ人間の標準的な顔がある顔写真に配置されたとした場合に、標準的な顔の配置が、顔写真が添付される書類の種類に応じて定められる規定に適合するように、ある顔写真をトリミングする領域を判定する。顔写真が添付される書類の種類に応じて記憶される規定は、設定ファイル２２０Ｂに記述されている。
【００４１】
設定ファイル２２０Ｂの例を図１０に示す。設定ファイルには、パスポートや運転免許証の少なくともいずれかを含む、顔写真が添付される書類の種類に応じて規定されるそれぞれの顔写真５００の縦の長さや横の長さ、顔写真５００の上端から測った頭頂部の規定位置、顔写真５００の上端から測った顎部の規定位置、などが記述される。設定ファイル２２０Ｂの選択は、図１１に示す画像編集ウインドウ８００において、「編集用途選択」欄８９０をクリックすることにより行うことができる。「編集用途選択」欄８９０をクリックすると、図１４に示す編集用途ウインドウ７００が表示される。図１４に示す例では、「パスポート」、「運転免許証」、「採用試験願書」、「社員証」、「学生証」が例示されている。それぞれの編集用途に応じて、設定ファイル２２０Ｂには、顔写真５００の規定が記載される。
【００４２】
なお、設定ファイル２２０Ｂには、顔写真５００の大きさがミリメートル（ｍｍ）単位で記述されているが、これは図５の出力手段の出力解像度に応じてピクセル値に変換される。また、顔写真５００が出力手段から出力されない場合、例えば電子申請によって画像データそのものがネットワーク４００を通じて情報処理装置１（２００）に送信される場合には、電子申請に必要な解像度を設定ファイル２２０Ｂにあらかじめ記述しておき、その解像度情報を用いてピクセル値に変換するようにしても良い。また解像度を操作者に操作手段を使用して入力させても良い。
【００４３】
なお、本実施の形態においてはパスポート申請を行う場合を例に説明しているため、「編集用途選択」欄８９０においては「パスポート」が選択され、情報処理装置１（２００）は前述したように都道府県のパスポート発行担当部署に設置されるコンピュータとしているが、例えば「運転免許証」の申請を行う場合には、申請者は情報処理装置２（２００）や情報処理装置３（２００）において、「運転免許証」を選択すると共に、例えば運転免許試験場に設置されるコンピュータである情報処理装置１（２００）に、顔写真５００をネットワーク４００を通じて送信する。
【００４４】
このように、本実施の形態においては、顔写真が添付される書類の種類に応じた様々な規定が設定ファイルに記録されており、顔写真編集者によって選択された規定に適合するように写真の編集が行われるので、パスポートや運転免許証等のように、書類毎に要件が異なる場合でも、それぞれの規定に適合した顔の配置の調整を行うことができる。
【００４５】
なお、ここで、パスポートや運転免許証用に提出される顔写真５００は、６ヶ月以内に撮影されたものであることが必要である。そのため、例えば画像入力手段により入力される画像データにはある人間の顔が撮影された日付を特定するための情報が含まれ、日付が所定の日付よりも古い場合には、例えば位置調整手段により、情報処理装置２００が備えるユーザインタフェースに警告を出力させる様にすることもできる。
【００４６】
目検出手段は、一枚の画像データにおいて検出された全ての頭部について両眼座標の検出を行う様にすることもできる。複数の両眼座標が検出された場合は、目検出手段は、どの頭部領域に関して検出したかという情報と共に両眼の座標を記憶する。この場合、目検出手段には一枚の画像データから検出する頭部領域の数の制限値を設定しても良い。また、一枚の画像から複数の両眼座標が検出された場合は、検出された両眼座標の付近を切り出した縮小画像を表示手段に表示し、操作者に検出結果の選択をさせても良い。
【００４７】
位置調整手段は、前述の処理を行う事によって、入力データ保持部から取得した画像データを適切な顔写真画像に編集する。すなわち、目検出手段によって特定された、ある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、ある人間と属性が同じ人間の標準的な顔がある顔写真５００に配置されたとした場合に、標準的な顔の配置が、顔写真５００の規定に適合するように、ある顔写真５００をトリミングする領域を判定し、適切な顔写真画像に編集する。そして、その編集結果の画像データを調整結果保持部に記憶する。調整結果保持部は、上述した例えばメモリ２２０や記憶装置２８０に相当する。
【００４８】
編集結果の画像データは、例えば図１１に示すプレビューウインドウ８１０に表示される。図１１において、プレビューウインドウ８１０には、図４に示した写真を編集して得られた画像データが表示されている。図１１に示すプレビューウインドウ８１０には、調整後の画像データに重ねて、頭頂部と顎部の基準線８１１、及びそれらの許容範囲が表示されている。
【００４９】
操作者は、プレビューウインドウ８１０に表示されたこれらの基準線を見て、調整結果が適切かどうかを判断する事ができる。もちろん、パスポート発行担当部署において行われる顔写真５００の検査の場合も同様である。
【００５０】
ここで、もし規定に適合していない場合には、操作手段を用いて顔の位置の平行移動や顔の回転角度の調整、顔の大きさの拡大、縮小を行う事ができる。例えば図１１に示す画像編集画面における事後調整欄８５０に示される様々なアイコンのそれぞれにマウスのカーソルを重ねて、クリックすることにより、プレビューウインドウ８１０に表示されている画像に対して、上記の操作を行うことができる。
なお、プレビューウインドウ８１０に表示される頭頂部や顎部の基準線８１１、及びそれらの許容範囲は、図１５に示すような態様とすることもできる。
【００５１】
顔写真５００の調整結果がプレビューウインドウ８１０に表示される事によって、操作者は編集結果を確認しながら顔の配置を調整する事ができる。調整が済んだらマウスのカーソルを「保存」欄に重ねてクリックすることにより、位置、大きさ、回転のそれぞれが調整された画像データを、調整結果保持部に記憶することができる。ここで調整結果保持部は、上述したメモリ２２０や記憶装置２８０に相当する。「やり直し」欄８８０にカーソルを重ねてクリックすることにより、調整をもう一度やり直すこともできる。
【００５２】
操作者は出力手段（出力装置２６０に相当）を使用して、調整結果保持部に記憶された画像データをプリント用紙に印刷する事もできる。この場合、操作者は操作手段を用いて一枚ずつ印刷しても良いし、調整結果保持部に記憶されているデータ全てを印刷しても良い。また、調整結果保持部に記憶されているデータを何枚か選択して印刷しても良い。
【００５３】
なお、パスポートや運転免許証に用いられる顔写真５００は、いわゆる無背景である必要がある。そこで本実施の形態において、顔写真５００の背景が無背景であるか否かをチェックするようにすることもできる。その処理を図１６乃至図１７を参照しながら説明する。
【００５４】
顔写真５００が無背景であるか否かのチェックは、例えば図１１に示す画像編集ウインドウ８００において、「自動調整」欄８４０がクリックされ、顔写真５００が所定の規定に適合するように顔の配置が調整された後に行われるようにすることができる。
まず、調整後の顔写真５００の画像の左上の画素の色を背景色とする（S2000）。そして左上の画素をチェック開始位置として設定する（S2001）。そして各画素について一つずつ、背景色との色の差を測定する（S2002、S2003）。色の差が許容値以下である場合には、一つ右の画素について背景色との色の差を測定する（S2005、S2002、S2003）。なお、右の画素がない場合には、一つ下の一番左の画素について背景色との色の差を測定する。色の差が許容値を超える場合には、警告メッセージを出力する（S2006）。警告メッセージは、例えば情報処理装置２００が備える出力装置２６０に出力するようにすることができる。全ての背景部分について背景色との色の差のチェックが完了したら、処理を終了する（S2002）。上記処理を図で示したのが図１７である。
このように、トリミングされたある顔写真５００に写し出されたある人間の頭頂部よりも上部の領域に含まれる各画素の色調を、所定の画素の色調と比較させ、比較の結果に応じて、情報処理装置２００が備えるユーザインタフェースに警告を出力させることによって、例えば図４に示すようなスナップ写真からパスポートに用いるための顔写真５００を作成しようとした場合に、人物の背景が無背景でないものが顔写真５００として提出されてしまうことを防止することが可能となる。
【００５５】
なお、顔写真５００の背景のチェックは図１８乃至図１９に示す処理によっても行うことができる。
すなわち、まず顔写真５００の左上の画素を背景色として設定する（S3000）。そして画像の各画素の最上段のラインを開始位置として設定する（S3001）。次に、画像のライン毎に、背景色と非背景色との比率を計算する（S3002）。そして比率が許容値以下でない場合は、警告メッセージを出力する（S3004）。余白と規定されている全ての領域について計算を行ったら、処理を終了する（S3005）。上記処理を図で示したのが図１９である。
このようにライン毎に処理を行うようにすることによって、無背景のチェックをより短時間に行うことも可能となる。
【００５６】
以上、本実施の形態に係る情報処理装置２００及び画像編集プログラム２２０Ａについて説明したが、本実施の形態に係る情報処理装置２００及び画像編集プログラム２２０Ａによれば、顔写真５００など出力画像中の顔の大きさや位置が規定されている画像を作成する際に、入力された画像から自動的に目的の写真を切り出して大きさや傾きや位置を調整するため、操作者に負担をかけることなく目的とする写真の画像データまたは印刷物を得ることができる。
【００５７】
また、操作者は自動調整結果を表示手段によって確認し、操作手段によって再調整を行う事ができるため、自動調整結果が好ましくない場合でも容易に確認と修正作業を行う事ができ、調整ミスを減らす事ができる。
【００５８】
また、自動調整に用いる情報は両眼の座標のみを使用するため、処理が高速に実行できるうえ、両眼座標以外の情報を必要とする自動調整システムよりも検出率を向上させることができる。また、頭頂部を検出する必要がないため、背景部が複雑であっても問題なく自動調整を行うことができる。
【００５９】
また、一つの画像データ内に複数の頭部が検出された場合は、それぞれの頭部について両眼の検出や写真の切り出し処理が行われるため、集合写真から各個人の顔を切り出す作業などにも効果的に適用することができる。
【００６０】
以上発明を実施するための最良の形態について説明したが、上記実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得ると共に、本発明にはその等価物も含まれる。
【図面の簡単な説明】
【００６１】
【図１】本実施の形態に係る情報処理システムの全体構成を示すブロック図である。
【図２】本実施の形態に係る情報処理装置の構成を示すブロック図である。
【図３】本実施の形態に係る顔写真についての規定を示す図である。
【図４】本実施の形態に係る顔写真の作成に用いられる写真を示す図である。
【図５】本実施の形態に係るシステム構成を示す図である。
【図６】本実施の形態に係る目検出処理の流れを示すフローチャートである。
【図７】本実施の形態に係る顔テンプレートを示す図である。
【図８】本実施の形態に係る目テンプレートを示す図である。
【図９】本実施の形態に係る標準的な顔を示す図である。
【図１０】本実施の形態に係る設定ファイルを示す図である。
【図１１】本実施の形態に係る画像編集ウインドウを示す図である。
【図１２】本実施の形態に係る属性入力ウインドウを示す図である。
【図１３】本実施の形態に係る顔データ管理テーブルを示す図である。
【図１４】本実施の形態に係る編集用途ウインドウを示す図である。
【図１５】本実施の形態に係る画像編集ウインドウを示す図である。
【図１６】本実施の形態に係る背景チェック処理の流れを示すフローチャートである。
【図１７】本実施の形態に係る背景チェック処理の様子を示す図である。
【図１８】本実施の形態に係る背景チェック処理の流れを示すフローチャートである。
【図１９】本実施の形態に係る背景チェック処理の様子を示す図である。
【符号の説明】
【００６２】
２００ 情報処理装置
２１０ ＣＰＵ
２２０ メモリ
２２０Ａ 画像編集プログラム
２２０Ｂ 設定ファイル
２２０Ｃ 属性別顔データ管理テーブル
２３０ ポート
２４０ 記録媒体読取装置
２５０ 入力装置
２６０ 出力装置
２７０ 記録媒体
２８０ 記憶装置
４００ ネットワーク
５００ 顔写真
５１０ 編集用写真
６００ 顔テンプレート
６１０ 目テンプレート
７００ 編集用途ウインドウ
８００ 画像編集ウインドウ
８１０ プレビューウインドウ
９００ 属性入力ウインドウ
【技術分野】
【０００１】
本発明は、プログラム、及び情報処理装置に関する。
【背景技術】
【０００２】
パスポートや運転免許証の交付を申請する際や、入学願書や履歴書を提出する際など、顔写真の提出が求められる機会は多い。このような顔写真は一般的に証明写真とも言われている。このような証明写真には、顔の位置や大きさなど、顔の配置について詳細に規定されていることが多い。そのため、多くの場合、撮影機材を整えた写真専門店で証明写真を撮影してもらうのが一般的である。しかしこの場合、写真専門店に出かける手間がかかる上、写真専門店の営業時間内に出かけられない事も多い。また、できあがった証明写真をとりに出かける手間もかかる。
【０００３】
一方、写真の撮影から現像までを自動的に行う事のできる証明写真撮影装置も開発されており、広く町中等に設置されている。しかし証明写真撮影装置を用いて証明写真を撮影する場合には、規定に適合した証明写真になるように、撮影時に椅子の高さなど様々な調整を自分でおこなう必要がある。そのためできあがった証明写真が規定に適合しない場合も多い。
【０００４】
ところで、近年、パスポートや運転免許証の更新等、行政手続きの電子化が促進されている。一方で、デジタルカメラの普及やプリンタの高画質化によって、自分で撮影して得た画像を自分で編集し、印刷することもできるようになった。
そのため、デジタルカメラで自分の顔を撮影し、撮影して得られた画像を自分で編集して証明写真として提出することもできるようになった。
【０００５】
証明写真用の画像編集に関連する技術として、様々なものが開発されている（例えば特許文献１乃至３参照）。
【特許文献１】特開平７−３０３２５０号公報
【特許文献２】特開平１１−８８１４号公報
【特許文献３】特開２００３−１８７２５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、自ら写真を編集して証明写真を作成する場合には、編集前の写真は必ずしも証明写真に用いられることを前提として撮影されたものではない場合も多い。これまでの技術では、編集前の写真から、規定に適合する証明写真を得るためには、様々な編集作業を行う必要があり、特別の機材を必要とする場合もあった。また、編集前の写真に写し出されている顔を自動認識することにより編集作業の自動化を可能とする技術では、顔を自動認識するために必要な計測ポイントの数が多く、編集処理に時間が掛かる上、顔の自動認識がうまく行われない場合もあった。
【０００７】
本発明は上記課題を鑑みてなされたものであり、プログラム、及び情報処理装置を提供することを主たる目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、情報処理装置に、人間の顔を撮影して得られる顔写真に写し出された前記人間の顔の配置についての規定を記憶させ、前記人間の属性毎に、前記属性をもった人間の標準的な左右の目の位置を含む標準的な顔の形状を記憶させ、ある人間の顔を撮影して得られるある前記顔写真の画像データの入力を受けさせ、前記ある人間の属性を示す情報の入力を受けさせ、前記ある顔写真に写し出された前記ある人間の左右の目の位置を特定させ、前記特定された前記ある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、前記ある人間と前記属性が同じ前記人間の前記標準的な顔が前記ある顔写真に配置されたとした場合に、前記標準的な顔の配置が前記規定に適合するように、前記ある顔写真をトリミングする領域を判定させるためのプログラムに関する。
【０００９】
その他、本願が開示する課題、及びその解決方法は、発明を実施するための最良の形態の欄、及び図面により明らかにされる。
【発明の効果】
【００１０】
プログラム、及び情報処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
＝＝＝全体構成例＝＝＝
まず本実施の形態に係る情報処理装置２００を含む情報処理システムの全体構成を図１に示す。本実施の形態においては、パスポート申請者が、自宅の情報処理装置２００からネットワーク４００を通じて通信可能に接続された都道府県等のパスポート発行部署に設けられた情報処理装置２００にアクセスすることにより、パスポートの申請を行う場合を例に説明する。
【００１２】
情報処理装置１（２００）は、都道府県のパスポートの発行部署に設置されるコンピュータである。情報処理装置２（２００）や情報処理装置３（２００）は、ネットワーク４００を通じて情報処理装置１（２００）と通信可能に接続された、パスポート申請者のコンピュータである。ネットワーク４００は、例えばインターネットとすることができる。またパスポート申請専用の通信網とすることもできる。
【００１３】
パスポートの申請者は、パスポート申請の際に、パスポートに掲載される顔写真（証明写真）をパスポート発行部署に提出する必要がある。本実施の形態においては、パスポートに掲載される顔写真は、電子データ（以下、画像データとも記す）として、情報処理装置２（２００）や情報処理装置３（２００）から情報処理装置１（２００）に送信される。
【００１４】
パスポートに掲載される顔写真は、顔の配置などについて詳細に規定がなされており、パスポート発行部署に送信される画像データから得られる顔写真は、これらの詳細な規定を満たすものである必要がある。パスポートに掲載される顔写真は、例えば頭頂部から上の余白部分が５乃至９ｍｍ（ミリメートル）、頭頂部から顎部までが２５ｍｍ乃至２９ｍｍであることが要求される。この規定を模式的に示した図を図３に示す。図３には、顔写真５００に写し出された顔の頭頂部及び顎部が、網掛け部分で示される範囲になければならないことが示される。
【００１５】
本実施の形態においては、情報処理装置１（２００）に送信される画像データから得られる顔写真５００がこのような規定を満たすように、情報処理装置２（２００）や情報処理装置３（２００）において、顔写真５００の編集、作成が行われる。
そして情報処理装置１（２００）においては、情報処理装置２（２００）や情報処理装置３（２００）から送信されてくる画像データから得られる顔写真５００が所定の規定を満たすものであるか否かの検査が行われる。
【００１６】
なお、顔写真５００の編集や作成は、パスポート発行部署により、本実施の形態に係る情報処理装置１（２００）を用いて行われるようにすることもできる。この場合パスポートの申請者は、例えば図４に示すような、パスポート用に編集されていない写真５１０の画像データを情報処理装置１（２００）に送信するようにすることもできる。
また、情報処理装置２（２００）や情報処理装置３（２００）で編集、作成された顔写真５００は、パスポート申請者により印画紙に印刷され、都道府県のパスポート発行部署に郵便などにより送付されるようにすることもできる。
【００１７】
＝＝＝情報処理装置＝＝＝
次に本実施の形態に係る情報処理装置２００の構成図を図２に示す。
本実施の形態に係る情報処理装置２００は、ＣＰＵ２１０、メモリ２２０、ポート２３０、記録媒体読取装置２４０、入力装置２５０、出力装置２６０、記憶装置２８０を備える。
【００１８】
ＣＰＵ２１０は情報処理装置２００の全体の制御を司るもので、メモリ２２０に記憶された本実施の形態に係る各種の動作を行うためのコードから構成される画像編集プログラム２２０Ａを実行することにより、上述したパスポート用の顔写真５００の編集、作成を行う。また、編集、作成された顔写真５００の表示や印刷を行うこともできる。ＣＰＵ２１０により画像編集プログラム２２０Ａが実行されることにより、目特定部やトリミング領域判定部が実現される。
【００１９】
メモリ（第１の記憶部、第２の記憶部）２２０には、画像編集プログラム２２０Ａや設定ファイル２２０Ｂ、属性別顔データ管理テーブル２２０Ｃが記憶される。設定ファイル２２０Ｂは、人間の顔を撮影して得られる顔写真５００に写し出された人間の顔の配置についての規定が記載されたデータである。例えばパスポート用顔写真５００についての規定が記載されている。なお詳しくは後述するが、設定ファイル２２０Ｂには、パスポート用顔写真５００についての規定の他にも、例えば運転免許証の申請時に提出する顔写真５００についての規定なども記載されるようにすることができる。属性別顔データ管理テーブル２２０Ｃは、人間の属性毎に、その属性をもった人間の標準的な左右の目の位置を含む標準的な顔の形状が記載されたデータを管理するテーブルである。人間の属性としては、例えば国籍や、性、年齢の少なくともいずれかとすることができ、それらの人間の属性毎に人間の標準的な顔の形状が記載されたデータが管理される。なお図２には、画像編集プログラム２２０Ａは一つのプログラムにより構成されるように記載されているが、複数のプログラムにより構成されるようにすることもできる。
【００２０】
記録媒体読取装置（第１の入力部）２４０は、記録媒体２７０に記録されているプログラムや画像データ、その他のデータを読み取るための装置である。例えば、記録媒体読取装置２４０は、記録媒体２７０に記録された、ある人間の顔を撮影して得られるある顔写真の画像データを読み取る（入力を受ける）ことができる。読み取られたプログラムや画像データ、その他のデータはメモリ２２０や記憶装置２８０に記憶される。従って、例えば記録媒体２７０に記録された画像編集プログラム２２０Ａや設定ファイル２２０Ｂ、属性別顔データ管理テーブル２２０Ｃ、人間の顔が写し出された写真５１０の画像データを、記録媒体読取装置２４０を用いて上記記録媒体２７０から読み取って、メモリ２２０や記憶装置２８０に記憶するようにすることができる。記録媒体２７０としてはフレキシブルディスクや磁気テープ、ＣＤ−ＲＯＭ、半導体メモリ等を用いることができる。その他、光ディスクやＤＶＤディスク、スマートメディアを用いることもできる。また記録媒体読取装置２４０は情報処理装置２００に内蔵されている形態とすることもできるし、外付されている形態とすることもできる。
【００２１】
記憶装置２８０は、例えばハードディスク装置や半導体記憶装置等とすることができる。画像編集プログラム２２０Ａや設定ファイル２２０Ｂ、属性別顔データ管理テーブル２２０Ｃは、記憶装置２８０に記憶されるようにすることもできる。この場合、記憶装置２８０が第１の記憶部、第２の記憶部として機能する。
【００２２】
入力装置（第２の入力部）２５０は、情報処理装置２００へのデータ入力等のために用いられるユーザインタフェースとして機能する装置である。入力装置２５０としては例えばキーボードやマウス等を用いることができる。入力装置２５０は、例えばある人間の属性を示す情報、例えば性別や国籍、年齢等の情報の入力を受ける。
【００２３】
出力装置２６０は、情報を外部に出力するためのユーザインタフェースとして機能する装置である。出力装置２６０としては例えばディスプレイやプリンタ等を用いることができる。例えば、上述した顔写真５００の表示や印刷は、出力装置２６０を用いることにより行われる。顔写真５００が出力装置２６０に表示されることにより、本実施の形態に係るパスポート発行部署において、パスポート申請者により提出された顔写真５００が所定の規定を満たすか否かの検査を行うことができる。またプリンタを用いて顔写真５００を印刷することもできる。
【００２４】
ポート２３０は通信を行うための装置である。例えばネットワーク４００を介して行われる他の情報処理装置２００との間の通信は、ポート２３０を介して行われるようにすることができる。この場合例えば、画像編集プログラム２２０Ａや設定ファイル２２０Ｂ、属性別顔データ管理テーブル２２０Ｃを、ポート２３０を通じて他の情報処理装置２００から受信して、メモリ２２０や記憶装置２８０に記憶するようにすることもできる。また、例えばフラットベッドスキャナやフィルムスキャナが他の情報処理装置２００として機能する場合には、これらの装置からポート２３０を介して画像データを受信するようにすることもできる。この場合にはポート２３０は第１の入力部として機能する。なおフラットベッドスキャナは、写真をデジタルデータ化するための装置である。またフィルムスキャナは、ネガフィルムやポジフィルムをデジタルデータ化するための装置である。
【００２５】
＝＝＝画像データの編集、作成＝＝＝
次に、本実施の形態に係る画像データの編集、作成の処理について図５乃至図１９を参照しながら詳細に説明する。
【００２６】
まず本実施の形態に係る画像データの編集、作成の処理の全体を示す図を図５に示す。 図５において、画像入力手段は上述した第１の入力部に相当し、デジタルデータ化された画像データを入力する手段であれば何でも良い。例えば、画像データが保存されたフレキシブルディスク、光ディスク、ＤＶＤディスク、ＣＤ−ＲＯＭ、スマートメディア、などの記録媒体２７０に記録されたデータを読み出す事ができるドライブ、または、写真をデジタルデータ化する事ができるフラットベッドスキャナ、または、ネガフィルムやポジフィルムをデジタルデータ化できるフィルムスキャナ、または、ネットワーク経由で画像データを取得するためのネットワークデータ受信装置、などを挙げる事ができる。画像入力手段は、上述した記録媒体読取装置２４０やポート２３０に相当する。または、例えばデジタルカメラそのものを画像入力手段とし、デジタルカメラにより撮影された画像がシステム内に取り込めるようにしても良い。なお、画像入力手段により入力される画像としては、例えば図４に示すような画像とすることができる。
【００２７】
画像入力手段から入力された画像データは、図５の入力データ保持部に記憶される。入力データ保持部は、上述したメモリ２２０や記憶装置２８０に相当する。入力データ保持部はデジタルデータを記憶できる装置であれば何でも良いが、大容量のデータの高速な読み出しと書き込みが可能で、情報処理装置２００の電源を切っても記憶したデータが消去する事のないハードディスクが良い。
【００２８】
本実施の形態に係る顔写真５００の編集、作成は、入力データ保持部に画像データとして記憶された何枚かの画像の中から選択されたものに対して行われる。また、入力データ保持部に記憶された全ての画像に対して編集を行っても良い。編集する画像は、図５に示す表示手段に表示され、図５の操作手段を用いて選択される。なお、表示手段は上述した出力装置２６０に相当する。また操作手段は、上述した入力装置２５０に相当する。表示手段はモニタ、プロジェクタ、などを挙げる事ができる。操作手段はキーボード、マウス、ペン入力装置、タッチパネル装置、音声入力装置、などを挙げる事ができる。
【００２９】
なお、本実施の形態においては、画像の入力、編集、出力、保存（記憶）等は、図１１に示す画像編集ウインドウ８００を通じて行うことができる。画像編集ウインドウ８００は、情報処理装置２００が備える出力装置２６０に表示される。そしてマウスのカーソルをウインドウ内の所定の位置に合わせてクリックすることにより、所望の処理を情報処理装置２００に実行させることができる。
【００３０】
例えば、上述した画像の入力は、図１１の「読込」欄にマウスのカーソルを合わせてクリックすることにより行うことができる。読み込まれた画像は、プレビューウインドウ８１０に表示される。そして読み込んだ画像に対する編集は、「自動調整」欄にマウスのカーソルを合わせてクリックすることにより行うことができる。
【００３１】
本実施の形態に係る情報処理装置２００を用いて顔写真５００が編集を行われる際には、まず、図５の目検出手段により、入力データ保持部に記憶されている画像データが読み込まれる。目検出手段は、上述した目特定部に相当し、ある顔写真５００に写し出されたある人間の左右の目の位置を特定する。目検出手段は、読み込んだ画像データに対して、画像データ内の顔領域内の目の位置を検出する。検出結果として、右目のＸ座標、右目のＹ座標、左目のＸ座標、左目のＹ座標を出力する。
【００３２】
目の位置の検出は、例えば、一般的に用いられているテンプレートマッチング手法を用いることにより行うことが可能である。
その手順を図６に示す。まず、画像データの中から人物の頭部を抽出する（S1000）。人物の頭部の検出は、図７に示す顔テンプレート６００を画像データに適用することにより行われる。顔テンプレート６００には、色情報（肌色）を用いると検出精度が向上するが、処理に時間がかかるため、グレースケール画像の顔テンプレート６００を利用しても良い。画像データの各個所で顔テンプレートの大きさ、向きを変更して評価値を計算し、あるしきい値以上の評価値が計算された個所は人物の頭部であるとみなす。一つの画像データに対して複数の頭部が抽出されても良い。
【００３３】
このようにして頭部が検出されると、検出された頭部の領域に対して、図８に示す目テンプレート６１０を用いて目の検出を行う（S1001）。この時に、S1000で用いた顔テンプレート６００の検出結果情報を利用すれば、大まかな目の位置はほぼ確定するため、計算量を少なくする事ができる。頭部領域内の各個所で目テンプレート６１０の大きさと向きを変更して評価値を計算し、評価値の高い上位二つの位置を両眼の位置とする。また、検出された両眼の目テンプレート６１０はどちらもほぼ同じテンプレート回転角とテンプレートサイズで検出されるはずである。これらの情報を利用して、両眼のＸ座標とＹ座標を得る事ができる。
【００３４】
図５に戻って、位置調整手段は、目検出手段から両眼の座標を取得する。位置調整手段は、上述したトリミング領域判定部に相当する。両眼の座標が分かると瞳孔間距離を求める事ができる。両眼の座標の右目座標を（ＲＸ，ＲＹ）、左目座標を（ＬＸ，ＬＹ）とすると、瞳孔間距離の実測値il＝（（RX―LX）2＋（RY―LY）2）0.5 として計算する事ができる。
【００３５】
そして図９に示すように、瞳孔間距離の実測値ilと、統計的数値の瞳孔間距離IL、頭頂部の位置FT、顎部の位置FB、顔の長さFL、顔の幅FWの各比率（FT/IL、FB/IL、FL/IL、FW/IL）とから、画像データの顔画像を標準的な顔と仮定した場合の顔の大きさや頭頂部の位置、顎部の位置を推測し、座標で求める事ができる。すなわち、統計的情報に基づいて、瞳孔間距離から顔の長さや頭頂部の位置、顎の位置を求めることによって、顔の大きさを推定する事ができる。
【００３６】
このようにすることによって、本実施の形態においては、両眼のＸ座標、Ｙ座標の値に基づいて、顔の位置と大きさを、所定の規定に適合するように調整することができる。すなわち、目検出手段によって特定されたある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、ある人間と属性が同じ人間の標準的な顔がある顔写真に配置されたとした場合に、標準的な顔の配置が、顔写真の規定に適合するように、ある顔写真をトリミングする領域を判定することができる。もし顔画像が傾いている場合は傾きを補正することもできる。
【００３７】
また、推定に用いる統計情報は、国籍や年齢、性などの人間の属性によって大きく左右されるため、顔写真５００に写し出された人物の属性に応じて統計情報に使用するデータを切り替えるようにする。
【００３８】
図１１において、「属性入力」欄８３０にマウスのカーソルを合わせてクリックすることにより、図１２に示す属性入力ウインドウ９００が表示され、属性を示す情報を入力することができる。
【００３９】
図１２に示す例では、国籍入力欄９１０と、性別入力欄９２０、年齢入力欄９３０が示される。「ＯＫ」欄にマウスのカーソルをあわせてクリックすることにより、属性を示す情報を入力することができる。そして、入力された属性を示す情報に基づいて、図１３に示す顔データ管理テーブル２２０Ｃにより人間の属性毎に管理される人間の標準的な左右の目の位置を含む標準的な顔の形状が特定され、上述したように、画像データの顔画像を標準的な顔と仮定した場合の顔の大きさや頭頂部の位置、顎部の位置が推測される。
【００４０】
図１１において、「自動調整」欄８４０がクリックされると、位置調整手段は、目検出手段によって特定されたある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、ある人間と属性が同じ人間の標準的な顔がある顔写真に配置されたとした場合に、標準的な顔の配置が、顔写真が添付される書類の種類に応じて定められる規定に適合するように、ある顔写真をトリミングする領域を判定する。顔写真が添付される書類の種類に応じて記憶される規定は、設定ファイル２２０Ｂに記述されている。
【００４１】
設定ファイル２２０Ｂの例を図１０に示す。設定ファイルには、パスポートや運転免許証の少なくともいずれかを含む、顔写真が添付される書類の種類に応じて規定されるそれぞれの顔写真５００の縦の長さや横の長さ、顔写真５００の上端から測った頭頂部の規定位置、顔写真５００の上端から測った顎部の規定位置、などが記述される。設定ファイル２２０Ｂの選択は、図１１に示す画像編集ウインドウ８００において、「編集用途選択」欄８９０をクリックすることにより行うことができる。「編集用途選択」欄８９０をクリックすると、図１４に示す編集用途ウインドウ７００が表示される。図１４に示す例では、「パスポート」、「運転免許証」、「採用試験願書」、「社員証」、「学生証」が例示されている。それぞれの編集用途に応じて、設定ファイル２２０Ｂには、顔写真５００の規定が記載される。
【００４２】
なお、設定ファイル２２０Ｂには、顔写真５００の大きさがミリメートル（ｍｍ）単位で記述されているが、これは図５の出力手段の出力解像度に応じてピクセル値に変換される。また、顔写真５００が出力手段から出力されない場合、例えば電子申請によって画像データそのものがネットワーク４００を通じて情報処理装置１（２００）に送信される場合には、電子申請に必要な解像度を設定ファイル２２０Ｂにあらかじめ記述しておき、その解像度情報を用いてピクセル値に変換するようにしても良い。また解像度を操作者に操作手段を使用して入力させても良い。
【００４３】
なお、本実施の形態においてはパスポート申請を行う場合を例に説明しているため、「編集用途選択」欄８９０においては「パスポート」が選択され、情報処理装置１（２００）は前述したように都道府県のパスポート発行担当部署に設置されるコンピュータとしているが、例えば「運転免許証」の申請を行う場合には、申請者は情報処理装置２（２００）や情報処理装置３（２００）において、「運転免許証」を選択すると共に、例えば運転免許試験場に設置されるコンピュータである情報処理装置１（２００）に、顔写真５００をネットワーク４００を通じて送信する。
【００４４】
このように、本実施の形態においては、顔写真が添付される書類の種類に応じた様々な規定が設定ファイルに記録されており、顔写真編集者によって選択された規定に適合するように写真の編集が行われるので、パスポートや運転免許証等のように、書類毎に要件が異なる場合でも、それぞれの規定に適合した顔の配置の調整を行うことができる。
【００４５】
なお、ここで、パスポートや運転免許証用に提出される顔写真５００は、６ヶ月以内に撮影されたものであることが必要である。そのため、例えば画像入力手段により入力される画像データにはある人間の顔が撮影された日付を特定するための情報が含まれ、日付が所定の日付よりも古い場合には、例えば位置調整手段により、情報処理装置２００が備えるユーザインタフェースに警告を出力させる様にすることもできる。
【００４６】
目検出手段は、一枚の画像データにおいて検出された全ての頭部について両眼座標の検出を行う様にすることもできる。複数の両眼座標が検出された場合は、目検出手段は、どの頭部領域に関して検出したかという情報と共に両眼の座標を記憶する。この場合、目検出手段には一枚の画像データから検出する頭部領域の数の制限値を設定しても良い。また、一枚の画像から複数の両眼座標が検出された場合は、検出された両眼座標の付近を切り出した縮小画像を表示手段に表示し、操作者に検出結果の選択をさせても良い。
【００４７】
位置調整手段は、前述の処理を行う事によって、入力データ保持部から取得した画像データを適切な顔写真画像に編集する。すなわち、目検出手段によって特定された、ある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、ある人間と属性が同じ人間の標準的な顔がある顔写真５００に配置されたとした場合に、標準的な顔の配置が、顔写真５００の規定に適合するように、ある顔写真５００をトリミングする領域を判定し、適切な顔写真画像に編集する。そして、その編集結果の画像データを調整結果保持部に記憶する。調整結果保持部は、上述した例えばメモリ２２０や記憶装置２８０に相当する。
【００４８】
編集結果の画像データは、例えば図１１に示すプレビューウインドウ８１０に表示される。図１１において、プレビューウインドウ８１０には、図４に示した写真を編集して得られた画像データが表示されている。図１１に示すプレビューウインドウ８１０には、調整後の画像データに重ねて、頭頂部と顎部の基準線８１１、及びそれらの許容範囲が表示されている。
【００４９】
操作者は、プレビューウインドウ８１０に表示されたこれらの基準線を見て、調整結果が適切かどうかを判断する事ができる。もちろん、パスポート発行担当部署において行われる顔写真５００の検査の場合も同様である。
【００５０】
ここで、もし規定に適合していない場合には、操作手段を用いて顔の位置の平行移動や顔の回転角度の調整、顔の大きさの拡大、縮小を行う事ができる。例えば図１１に示す画像編集画面における事後調整欄８５０に示される様々なアイコンのそれぞれにマウスのカーソルを重ねて、クリックすることにより、プレビューウインドウ８１０に表示されている画像に対して、上記の操作を行うことができる。
なお、プレビューウインドウ８１０に表示される頭頂部や顎部の基準線８１１、及びそれらの許容範囲は、図１５に示すような態様とすることもできる。
【００５１】
顔写真５００の調整結果がプレビューウインドウ８１０に表示される事によって、操作者は編集結果を確認しながら顔の配置を調整する事ができる。調整が済んだらマウスのカーソルを「保存」欄に重ねてクリックすることにより、位置、大きさ、回転のそれぞれが調整された画像データを、調整結果保持部に記憶することができる。ここで調整結果保持部は、上述したメモリ２２０や記憶装置２８０に相当する。「やり直し」欄８８０にカーソルを重ねてクリックすることにより、調整をもう一度やり直すこともできる。
【００５２】
操作者は出力手段（出力装置２６０に相当）を使用して、調整結果保持部に記憶された画像データをプリント用紙に印刷する事もできる。この場合、操作者は操作手段を用いて一枚ずつ印刷しても良いし、調整結果保持部に記憶されているデータ全てを印刷しても良い。また、調整結果保持部に記憶されているデータを何枚か選択して印刷しても良い。
【００５３】
なお、パスポートや運転免許証に用いられる顔写真５００は、いわゆる無背景である必要がある。そこで本実施の形態において、顔写真５００の背景が無背景であるか否かをチェックするようにすることもできる。その処理を図１６乃至図１７を参照しながら説明する。
【００５４】
顔写真５００が無背景であるか否かのチェックは、例えば図１１に示す画像編集ウインドウ８００において、「自動調整」欄８４０がクリックされ、顔写真５００が所定の規定に適合するように顔の配置が調整された後に行われるようにすることができる。
まず、調整後の顔写真５００の画像の左上の画素の色を背景色とする（S2000）。そして左上の画素をチェック開始位置として設定する（S2001）。そして各画素について一つずつ、背景色との色の差を測定する（S2002、S2003）。色の差が許容値以下である場合には、一つ右の画素について背景色との色の差を測定する（S2005、S2002、S2003）。なお、右の画素がない場合には、一つ下の一番左の画素について背景色との色の差を測定する。色の差が許容値を超える場合には、警告メッセージを出力する（S2006）。警告メッセージは、例えば情報処理装置２００が備える出力装置２６０に出力するようにすることができる。全ての背景部分について背景色との色の差のチェックが完了したら、処理を終了する（S2002）。上記処理を図で示したのが図１７である。
このように、トリミングされたある顔写真５００に写し出されたある人間の頭頂部よりも上部の領域に含まれる各画素の色調を、所定の画素の色調と比較させ、比較の結果に応じて、情報処理装置２００が備えるユーザインタフェースに警告を出力させることによって、例えば図４に示すようなスナップ写真からパスポートに用いるための顔写真５００を作成しようとした場合に、人物の背景が無背景でないものが顔写真５００として提出されてしまうことを防止することが可能となる。
【００５５】
なお、顔写真５００の背景のチェックは図１８乃至図１９に示す処理によっても行うことができる。
すなわち、まず顔写真５００の左上の画素を背景色として設定する（S3000）。そして画像の各画素の最上段のラインを開始位置として設定する（S3001）。次に、画像のライン毎に、背景色と非背景色との比率を計算する（S3002）。そして比率が許容値以下でない場合は、警告メッセージを出力する（S3004）。余白と規定されている全ての領域について計算を行ったら、処理を終了する（S3005）。上記処理を図で示したのが図１９である。
このようにライン毎に処理を行うようにすることによって、無背景のチェックをより短時間に行うことも可能となる。
【００５６】
以上、本実施の形態に係る情報処理装置２００及び画像編集プログラム２２０Ａについて説明したが、本実施の形態に係る情報処理装置２００及び画像編集プログラム２２０Ａによれば、顔写真５００など出力画像中の顔の大きさや位置が規定されている画像を作成する際に、入力された画像から自動的に目的の写真を切り出して大きさや傾きや位置を調整するため、操作者に負担をかけることなく目的とする写真の画像データまたは印刷物を得ることができる。
【００５７】
また、操作者は自動調整結果を表示手段によって確認し、操作手段によって再調整を行う事ができるため、自動調整結果が好ましくない場合でも容易に確認と修正作業を行う事ができ、調整ミスを減らす事ができる。
【００５８】
また、自動調整に用いる情報は両眼の座標のみを使用するため、処理が高速に実行できるうえ、両眼座標以外の情報を必要とする自動調整システムよりも検出率を向上させることができる。また、頭頂部を検出する必要がないため、背景部が複雑であっても問題なく自動調整を行うことができる。
【００５９】
また、一つの画像データ内に複数の頭部が検出された場合は、それぞれの頭部について両眼の検出や写真の切り出し処理が行われるため、集合写真から各個人の顔を切り出す作業などにも効果的に適用することができる。
【００６０】
以上発明を実施するための最良の形態について説明したが、上記実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得ると共に、本発明にはその等価物も含まれる。
【図面の簡単な説明】
【００６１】
【図１】本実施の形態に係る情報処理システムの全体構成を示すブロック図である。
【図２】本実施の形態に係る情報処理装置の構成を示すブロック図である。
【図３】本実施の形態に係る顔写真についての規定を示す図である。
【図４】本実施の形態に係る顔写真の作成に用いられる写真を示す図である。
【図５】本実施の形態に係るシステム構成を示す図である。
【図６】本実施の形態に係る目検出処理の流れを示すフローチャートである。
【図７】本実施の形態に係る顔テンプレートを示す図である。
【図８】本実施の形態に係る目テンプレートを示す図である。
【図９】本実施の形態に係る標準的な顔を示す図である。
【図１０】本実施の形態に係る設定ファイルを示す図である。
【図１１】本実施の形態に係る画像編集ウインドウを示す図である。
【図１２】本実施の形態に係る属性入力ウインドウを示す図である。
【図１３】本実施の形態に係る顔データ管理テーブルを示す図である。
【図１４】本実施の形態に係る編集用途ウインドウを示す図である。
【図１５】本実施の形態に係る画像編集ウインドウを示す図である。
【図１６】本実施の形態に係る背景チェック処理の流れを示すフローチャートである。
【図１７】本実施の形態に係る背景チェック処理の様子を示す図である。
【図１８】本実施の形態に係る背景チェック処理の流れを示すフローチャートである。
【図１９】本実施の形態に係る背景チェック処理の様子を示す図である。
【符号の説明】
【００６２】
２００ 情報処理装置
２１０ ＣＰＵ
２２０ メモリ
２２０Ａ 画像編集プログラム
２２０Ｂ 設定ファイル
２２０Ｃ 属性別顔データ管理テーブル
２３０ ポート
２４０ 記録媒体読取装置
２５０ 入力装置
２６０ 出力装置
２７０ 記録媒体
２８０ 記憶装置
４００ ネットワーク
５００ 顔写真
５１０ 編集用写真
６００ 顔テンプレート
６１０ 目テンプレート
７００ 編集用途ウインドウ
８００ 画像編集ウインドウ
８１０ プレビューウインドウ
９００ 属性入力ウインドウ
【特許請求の範囲】
【請求項１】
情報処理装置に、
人間の顔を撮影して得られる顔写真に写し出された前記人間の顔の配置についての規定を記憶させ、
前記人間の属性毎に、前記属性をもった人間の標準的な左右の目の位置を含む標準的な顔の形状を記憶させ、
ある人間の顔を撮影して得られるある前記顔写真の画像データの入力を受けさせ、
前記ある人間の属性を示す情報の入力を受けさせ、
前記ある顔写真に写し出された前記ある人間の左右の目の位置を特定させ、
前記特定された前記ある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、前記ある人間と前記属性が同じ前記人間の前記標準的な顔が前記ある顔写真に配置されたとした場合に、前記標準的な顔の配置が前記規定に適合するように、前記ある顔写真をトリミングする領域を判定させる
ためのプログラム。
【請求項２】
前記情報処理装置に、
前記トリミングされた前記ある顔写真に写し出された前記ある人間の頭頂部よりも上部の領域に含まれる各画素の色調を、所定の前記画素の色調と比較させ、
前記比較の結果に応じて、前記情報処理装置が備えるユーザインタフェースに警告を出力させる
ための請求項１に記載のプログラム。
【請求項３】
前記顔写真に写し出された前記人間の顔の配置についての前記規定の記憶は、前記顔写真が添付される書類の種類に応じて行われ、
前記トリミングする領域の判定は、前記ある顔写真が添付される前記書類の種類に応じて定められる前記規定に適合するように行われること
を特徴とする請求項１に記載のプログラム。
【請求項４】
前記顔写真が添付される前記書類の種類は、パスポート又は運転免許証の少なくともいずれかであること
を特徴とする請求項３に記載のプログラム。
【請求項５】
前記画像データには、前記ある人間の顔が撮影された日付を特定するための情報が含まれ、
前記日付が所定の日付よりも古い場合には、前記情報処理装置が備えるユーザインタフェースに警告を出力させる
ための請求項１に記載のプログラム。
【請求項６】
前記人間の属性は、国籍、性、又は年齢の少なくともいずれかであること
を特徴とする請求項１に記載のプログラム。
【請求項７】
人間の顔を撮影して得られる顔写真に写し出された前記人間の顔の配置についての規定を記憶する第１の記憶部と、
前記人間の属性毎に、前記属性をもった人間の標準的な左右の目の位置を含む標準的な顔の形状を記憶する第２の記憶部と、
ある人間の顔を撮影して得られるある前記顔写真の画像データの入力を受ける第１の入力部と、
前記ある人間の属性を示す情報の入力を受ける第２の入力部と、
前記ある顔写真に写し出された前記ある人間の左右の目の位置を特定する目特定部と、
前記特定された前記ある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、前記ある人間と前記属性が同じ前記人間の前記標準的な顔が配置された場合に、前記標準的な顔の配置が前記規定に適合するように、前記ある顔写真をトリミングする領域を判定するトリミング領域判定部と、
を備えることを特徴とする情報処理装置。
【請求項１】
情報処理装置に、
人間の顔を撮影して得られる顔写真に写し出された前記人間の顔の配置についての規定を記憶させ、
前記人間の属性毎に、前記属性をもった人間の標準的な左右の目の位置を含む標準的な顔の形状を記憶させ、
ある人間の顔を撮影して得られるある前記顔写真の画像データの入力を受けさせ、
前記ある人間の属性を示す情報の入力を受けさせ、
前記ある顔写真に写し出された前記ある人間の左右の目の位置を特定させ、
前記特定された前記ある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、前記ある人間と前記属性が同じ前記人間の前記標準的な顔が前記ある顔写真に配置されたとした場合に、前記標準的な顔の配置が前記規定に適合するように、前記ある顔写真をトリミングする領域を判定させる
ためのプログラム。
【請求項２】
前記情報処理装置に、
前記トリミングされた前記ある顔写真に写し出された前記ある人間の頭頂部よりも上部の領域に含まれる各画素の色調を、所定の前記画素の色調と比較させ、
前記比較の結果に応じて、前記情報処理装置が備えるユーザインタフェースに警告を出力させる
ための請求項１に記載のプログラム。
【請求項３】
前記顔写真に写し出された前記人間の顔の配置についての前記規定の記憶は、前記顔写真が添付される書類の種類に応じて行われ、
前記トリミングする領域の判定は、前記ある顔写真が添付される前記書類の種類に応じて定められる前記規定に適合するように行われること
を特徴とする請求項１に記載のプログラム。
【請求項４】
前記顔写真が添付される前記書類の種類は、パスポート又は運転免許証の少なくともいずれかであること
を特徴とする請求項３に記載のプログラム。
【請求項５】
前記画像データには、前記ある人間の顔が撮影された日付を特定するための情報が含まれ、
前記日付が所定の日付よりも古い場合には、前記情報処理装置が備えるユーザインタフェースに警告を出力させる
ための請求項１に記載のプログラム。
【請求項６】
前記人間の属性は、国籍、性、又は年齢の少なくともいずれかであること
を特徴とする請求項１に記載のプログラム。
【請求項７】
人間の顔を撮影して得られる顔写真に写し出された前記人間の顔の配置についての規定を記憶する第１の記憶部と、
前記人間の属性毎に、前記属性をもった人間の標準的な左右の目の位置を含む標準的な顔の形状を記憶する第２の記憶部と、
ある人間の顔を撮影して得られるある前記顔写真の画像データの入力を受ける第１の入力部と、
前記ある人間の属性を示す情報の入力を受ける第２の入力部と、
前記ある顔写真に写し出された前記ある人間の左右の目の位置を特定する目特定部と、
前記特定された前記ある人間の左右の目の位置に左右の目の位置がそれぞれ一致するように、前記ある人間と前記属性が同じ前記人間の前記標準的な顔が配置された場合に、前記標準的な顔の配置が前記規定に適合するように、前記ある顔写真をトリミングする領域を判定するトリミング領域判定部と、
を備えることを特徴とする情報処理装置。
【図１】
【図２】
【図４】
【図５】
【図６】
【図１０】
【図１２】
【図１３】
【図１４】
【図１６】
【図１８】
【図３】
【図７】
【図８】
【図９】
【図１１】
【図１５】
【図１７】
【図１９】
【図２】
【図４】
【図５】
【図６】
【図１０】
【図１２】
【図１３】
【図１４】
【図１６】
【図１８】
【図３】
【図７】
【図８】
【図９】
【図１１】
【図１５】
【図１７】
【図１９】
【公開番号】特開２００６−４２６５（Ｐ２００６−４２６５Ａ）
【公開日】平成１８年１月５日（２００６．１．５）
【国際特許分類】
【出願番号】特願２００４−１８１２４６（Ｐ２００４−１８１２４６）
【出願日】平成１６年６月１８日（２００４．６．１８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【出願人】（０００２３３０５５）日立ソフトウエアエンジニアリング株式会社 (1,610)
【Ｆターム（参考）】
【公開日】平成１８年１月５日（２００６．１．５）
【国際特許分類】
【出願日】平成１６年６月１８日（２００４．６．１８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【出願人】（０００２３３０５５）日立ソフトウエアエンジニアリング株式会社 (1,610)
【Ｆターム（参考）】
[ Back to top ]