説明

顔画像の自動トリミング装置

【課題】 証明写真等の自動トリミングは、顔と背景の識別が難しく、トリミング品質の安定度に欠ける。本発明では顔領域を高精度で特定することにより、誤認識の可能性を極小化し、適正なトリミング枠を安定して求めることを課題とする。
【解決手段】 Haar-like 特徴により顔領域を高い精度で抽出し、ここから得た顔矩形領域を基に、上下方向倍率パラメータ(S14)およびトリミング枠縦横比(S17)によりトリミング領域を決定する(S18)。これにより、境界の誤認識等がなく安定高品位のトリミング結果を得る。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータを用いた画像処理技術に関し、特に証明写真に用いるような、顔を含む人物画像に対し、顔認識技術に基き所定のトリミングを自動的に行なう画像処理技術に関する。
【背景技術】
【0002】
免許証や履歴書などに用いる証明写真のように、被写体の顔を中心とし、予め定められたサイズの写真を作成するには、各サイズに応じたトリミング枠を精度良く決める必要がある。中にはパスポートのように、頭頂位置や下顎位置に基準を設けているものもあり、顔の大きさ、位置など、トリミング枠内での顔画像の配置には配慮すべき要素が多い。すなわち、顔の中心線はトリミング枠の中心線にできるだけ近く、また、頭上および顎下には適度なスペースを確保することが要求される。
したがって、トリミングにかかわる一連の処理は手作業または半自動でなされることが多かったが、手作業による部分が残ると、多数の証明写真を連続して作成するような場合は作業負担が大きいという問題があった。
また近年は、肖像写真をセルフ方式で作成する撮影ボックスのような形態が普及しており、人手の介在するトリミング操作を極力排する必要性も高まっている。
このような事情のもと、顔の輪郭や特徴点を手がかりに顔領域を特定し、トリミング枠の決定を自動化する試みが種々行なわれている。例えば、下記の特許文献1では、背景と頭頂部境界での濃度変化から頭頂位置を検出し、さらに、パターンマッチングを利用した両目位置の検出により顔の上下方向のおおよその大きさを求め、トリミングのタイプ毎に予め決められた配分にしたがって枠の位置を決定することとしている。
【特許文献1】特開2003−187257号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、境界(エッジ)を手がかりに顔形状を判別する方法では、様々な被写体、様々な撮影条件の画像から必要とする境界部を確実に抽出することは難しく、例えば背景の一部を頭頂部と誤認識し、誤ったトリミング枠の生成に至るといったことが避け難かった。また、頭頂部の位置は髪型等によっても大きく変わるため、これを手がかりにしたトリミング枠は、顔の大きさに対しバラツキが生じ、特に、社員証作製のような統一性のあるデザインでの連続処理ではトリミング品質の安定性の点で欠点が目立った。
そこで本発明は、顔の特徴点の自動認識により顔領域を特定することにより、境界検出のような誤認識の可能性を極小化し、適正なトリミング枠を安定して求めることを課題とする。
【課題を解決するための手段】
【0004】
上記課題を解決するために本発明の自動トリミング装置は、
人物の顔を含む画像データを入力する人物画像入力手段と、
前記人物画像入力手段で入力された人物画像から顔の領域を表わす矩形領域を特定し記憶する顔矩形領域抽出手段と、
予め設定された上下方向の倍率パラメータおよびトリミング枠の縦横比と、前記顔領域抽出手段で得られた顔矩形領域に基づいて、前記人物画像のトリミング枠を決定し、前記人物画像にトリミング加工を行なう画像加工手段と、
を有することを特徴としている。
また、前記画像加工手段は、前記人物画像のトリミング枠を決定する際、前記顔領域の中心を基準として、同顔領域の高さと前記上下方向の倍率パラメータに基づき上辺及び下辺の位置を決定し、前記トリミング枠の縦横比により左辺、右辺の位置を決定してトリミング枠を決定することを特徴としている。
さらに、本発明の自動トリミング装置は、人物画像のトリミング枠を決定するパラメータの組合せを幾つか用意し、利用者に選択させる入力手段を備えたことを特徴としている。
【発明の効果】
【0005】
本発明の顔画像の自動トリミング装置によれば、トリミングの対象となる顔画像データに対し、適正なトリミング結果が安定して得られるため、一般の証明写真の用途はもちろんのこと、特に、社員証や学生証のような、一時期大量作成のような用途により効果的である。
また、利用者はトリミングの体裁を複数の中から選択できるため、より好ましい体裁の仕上がりを得ることができる。
【発明を実施するための最良の形態】
【0006】
以下、本発明の実施形態について、図面を参照しながら説明する。
図1は本発明の自動トリミング装置の機能ブロック図、図2は本発明をコンピュータ処理により実現した場合の構成図を示す。
図3はトリミング枠を決定するまでの画像加工の遷移を示す図、図4は処理の過程を表わすフロー図、図5はトリミング枠の様態を示す図、図6は種々のパラメータの組み合わせによるトリミング結果を示す図である。
【0007】
図1は本発明の自動トリミング装置の構成を機能別に表わしたもので、本装置は大別して、操作部11、処理部10、I/O外部接続部16、データ格納部17から構成される。
操作部11は、キーボードやマウスなどを用いて本発明のトリミング処理に関するパラメータを入力し、あるいは指示を与えるためのものである。また処理部10はデータ格納部17に格納されたデータやパラメータを参照し画像処理を行なうことを示し、本発明のトリミング処理で用いる画像入力手段12、顔矩形領域抽出手段13、トリミング枠決定手段14、画像加工手段15などから構成される。I/O外部接続部16は、主に画像データの入出力のためのものであり、例えば、入力の場合は、データ格納メディアやデジタル撮像機器などが接続され、また、出力の場合は、データ格納メディアや、その他プリンタなどが接続されることを想定している。
【0008】
この中で、顔矩形領域抽出手段13とは、トリミング範囲を決定するにあたり顔の位置と大きさを検出し決定する機能であり、その結果は図3(2)に示すような、顔の位置と大きさを表わす矩形領域31として得られる。また、トリミング枠決定手段14は、矩形領域31に基き、別途設定されたパラメータに応じて図3(3)のようなトリミング枠32を導き出す機能である。
なお、トリミング枠とはトリミング領域33と他の領域との境界部であり、図上では線または線分で表わしている。
【0009】
図2は、本発明のトリミング処理をコンピュータ処理で実現した時のハードウェア構成例である。自動トリミング装置1は、バス9を介して接続されるCPU2、メモリ3、モニタ4、I/O5、キーボード6、マウス7とハードディスク8などで構成される。
メモリ3は、CPU2がプログラム82を実行する際に、実行すべきプログラムや一時的作業データを格納するデータ記憶場所である。
モニタ4は、視覚情報を表示する表示装置であり、キーボード6およびマウス7は、操作者による情報入力や指示を受け付け、その信号をCPUに伝達する入力装置である。
I/O5は外部との接続に関する接続口を表わし、例えば、デジタルカメラ、CD、DVDなどの外部機器、あるいはネットワークを介してプリンタや他のシステムと接続される。
ハードディスク8には、本システムが扱う対象とする情報からなるデータ81、CPUが実行するプログラム82、本システムがコンピュータとして機能するための基盤ソフトウェアであるOS83などが格納される。
また、上記の画像処理や入出力の制御は図2のCPU2がプログラム82を実行することにより実現される。
【0010】
図4は、本発明の自動トリミング装置の処理フローを表わしたものである。
まず、画像入力段階(S11)でコンピュータに入力された人物画像は、顔検出処理により顔部が特定される。顔検出のための手法は種々あるが図4に示すフローでは「Haar−like特徴」を用いている(以下、Haar−like特徴をH−L特徴と略記)。
H−L特徴を用いた物体検出手法は、検出対象となる物体の明暗のパターンを基に、高速に識別を行うことを特徴とし、静止画や動画像中における顔検出などに利用されており、特に、証明写真のような正面、無帽の人物像に対しては高い検出精度を発揮する。H−L特徴を用いた顔の検出結果は、目・鼻・口などといった顔の局所情報と、顔の中心、サイズなどの情報を含んだ領域として表わされる。
【0011】
なお、H−L特徴による対象物検出の原理、顔検出への適用例などについては、下記の文献(非特許文献1、非特許文献2)に紹介されている。
【非特許文献1】Paul Viola and Michel J. Jones: “Rapid Object Detection Using a Boosted Cascade of Simple Features”, Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.511-518, (2001)
【非特許文献2】Rainer Lienhart and Jochen Maydt: “An Extended Set of Haar-likeFeatures for Rapid Object Detection”, Proceedings of the 2002 IEEEInternational Conference on Image Processing, Vol.1, pp.900-903, (2002)
【0012】
また、H−L特徴を用い、画像中から顔を特定し、顔のサイズや位置を取得する手法は、既に画像処理のライブラリとして提供されている(Intel社が開発、公開しているOpenCVライブラリ)。
本発明では、得られた顔の位置やサイズを基に、最終的にトリミング枠を決めるのに最適な領域として、顔の矩形領域を求めることとしている。顔矩形領域を使用することで、髪型などによる影響を受けずに、適正なトリミング枠を安定して決定することが可能となる。
図3(2)に示す顔矩形領域31は、Haar−like特徴およびOpenCVを用いて得られた顔領域を図示したものであり、同顔矩形領域は処理画像中の顔の位置(中心)と大きさ(顔の幅および高さ)を表わしている。
【0013】
顔矩形領域31が特定されると、ここから得られる顔の高さに、予め設定された上方向および下方向の倍率パラメータを作用させることにより、上下のトリミング領域が求められる(S15)。すなわち、図5に示すように、顔矩形領域31の中心から顔矩形領域31の上下辺までの距離をh、また、顔矩形領域31の中心からトリミング枠の上辺および下辺までの距離をそれぞれHuおよびHlとすると、Hu、Hlは、
Hu=h×upper
Hl=h×lower
ただし、upperは上方向の倍率パラメータ
lowerは下方向の倍率パラメータ
の計算式で求められる。
ここからトリミング枠の上辺および下辺の位置が定まり、上下方向のトリミング領域が決定される(S15)。
【0014】
また、トリミング枠の高さをHとすると、
H=Hu+hl
からトリミング枠の高さが求められる(S16)。このHに、予め設定されたトリミング枠の縦横比を作用させることでトリミング枠の幅が得られ、ここから幅方向のトリミング領域が決定される。この幅方向のトリミング領域と、上記で得られた上下トリミング領域(S15)とを合わせることにより、求めるトリミング領域が決定される(S18)。
【0015】
このようなトリミング領域を参照して、同領域内の画像のみを取り出し、また場合によっては決められた仕上げ寸法に収める画素密度変換などの画像加工(S19)を施すことにより図3(4)に示すようなトリミング結果が得られる。
【0016】
なお、上下方向の倍率パラメータ(S14)およびトリミング枠の縦横比(S17)は、求める仕上がりの体裁にしたがって予め設定されるが、仕上がりの体裁はトリミング画像の用途により種々異なるため、利用者の便のためには、前記パラメータ類が複数の体裁に対応した形で提供されることが望ましい。そこで本発明では、上下方向の倍率パラメータとトリミング枠の縦横比の組合せを幾つか用意し、利用者に選択させることとしている。
【0017】
図6(A)〜(D)は、上下方向の倍率パラメータとトリミング枠の縦横比を変化させたときのトリミングの様子を示す。例えば図6の(B)図では、(A)図に対し上方向の倍率パラメータが変わっており、これに応じて、トリミング枠B62がトリミング枠A61に対し上方向に伸びることを表わしている。
【0018】
このような組合せを利用者に選択させることは、例えば、図6(A)〜(D)のような選択用画像を図2のモニタ4に表示し、マウス7で指定する、といった方法で実現できる。
【図面の簡単な説明】
【0019】
【図1】本発明の自動トリミング装置の機能ブロック図
【図2】ハードウェア構成図
【図3】画像加工の遷移を示す図
【図4】処理過程を表わすフロー図
【図5】トリミング枠を示す図
【図6】種々のパラメータに対するトリミング結果を示す図
【符号の説明】
【0020】
1 自動トリミング装置
2 CPU
3 メモリ
5 I/O
6 キーボード
7 マウス
8 ハードディスク
10 処理部
11 操作部
16 I/O外部接続部
17 データ格納部
31 顔矩形領域
32 トリミング枠
33 トリミング領域
40 トリミング処理フロー
61 トリミング枠A
62 トリミング枠B

【特許請求の範囲】
【請求項1】
人物の顔を含む画像データを入力する人物画像入力手段と、
前記人物画像入力手段で入力された人物画像から顔の領域を表わす矩形領域を特定し記憶する顔矩形領域抽出手段と、
予め設定された上下方向の倍率パラメータおよびトリミング枠の縦横比と、前記顔領域抽出手段で得られた顔矩形領域に基づいて、前記人物画像のトリミング枠を決定し、前記人物画像にトリミング加工を行なう画像加工手段と、
を有する顔画像の自動トリミング装置。
【請求項2】
前記画像加工手段は、前記人物画像のトリミング枠を決定する際、前記顔領域の中心を基準として、
同顔領域の高さと前記上下方向の倍率パラメータに基づき上辺及び下辺の位置を決定し、前記トリミング枠の縦横比により左辺、右辺の位置を決定してトリミング枠を決定するものであること特徴とする請求項1に記載の顔画像の自動トリミング装置。
【請求項3】
請求項1または2に記載の顔画像の自動トリミング装置であって、
あらかじめ定めた、幾つかの人物画像のトリミング枠を決定するパラメータの組合せを、利用者に選択させる入力手段をさらに備えたことを特徴とする顔画像の自動トリミング装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2010−68470(P2010−68470A)
【公開日】平成22年3月25日(2010.3.25)
【国際特許分類】
【出願番号】特願2008−235524(P2008−235524)
【出願日】平成20年9月12日(2008.9.12)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】