画像処理装置および画像処理方法
【課題】撮影されたときの状況が不明な顔画像であっても、適正な画像に補正して安定した画質で出力することができる画像処理装置および画像処理方法を提供する。
【解決手段】申請者が提示するＩＣメモリカードからそれに記録されている当該申請者が独自の撮影環境にて撮影した少なくとも顔画像を含む画像を読込み補正処理等を施す画像処理装置において、入力画像から人物の白目領域の明度および色相を測定し、それに基づき出力用顔画像の明度および色相を補正する。
【解決手段】申請者が提示するＩＣメモリカードからそれに記録されている当該申請者が独自の撮影環境にて撮影した少なくとも顔画像を含む画像を読込み補正処理等を施す画像処理装置において、入力画像から人物の白目領域の明度および色相を測定し、それに基づき出力用顔画像の明度および色相を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、自動車の運転免許証（以後、単に免許証と称す）や各種証明書（カードタイプや冊子タイプを含む）など、人物の顔画像と個人情報とを一緒にカード媒体に印刷することによりＩＤカードを発行するＩＤカード発行システムにおいて、カード発行申請者が提示する可搬性のある記録媒体から読込んだ当該申請者が独自の撮影環境にて撮影した当該申請者の顔画像を適正な画像に補正する画像画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
一般に、免許証等のＩＤカードを発行するＩＤカード発行システムにおいて、カード発行申請者の顔画像を撮影して出力する場合、特定の画質になるべく工夫が必要になる。
たとえば、出力時に画質がばらつかないように、厳正なカメラ、照明環境下で撮影を行なったり、そうでなければ撮影時の明るさ色合い等を監視する機能を設け、出力時に画像補正をかけることにより実現したり、肌色系の色に対し、記憶色再現手法で一定の顔色になるように補正を行なう場合もある（たとえば、特許文献１、特許文献２参照）。
【特許文献１】特開２００４−３４３８０９号公報
【特許文献２】特開２００４−２９７６１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、ＩＤカード発行システムに備えられた管理された撮影装置で撮影された顔画像ではなく、撮影されたときの状況が不明な顔画像、たとえば、カード発行申請者が提示するＩＣメモリカードから読込んだ当該申請者が独自の撮影環境にて撮影した顔画像の場合、撮影時の環境情報等を確実に入手することはできないし、記憶色再現手法により補正する場合は、明るい照明で撮影した色黒の人や、暗い照明で撮影した色白の人に対し、誤った補正をすることもある。
【０００４】
また、この種のＩＤカード発行システムにおいて、顔画像をサツエイして出力する場合、顔の大きさにあわせてトリミングを行ない、出力用の大きさにリサイズすることは手間がかかるという問題もある。
【０００５】
そこで、本発明は、撮影されたときの状況が不明な顔画像であっても、適正な画像に補正して安定した画質で出力することができる画像処理装置および画像処理方法を提供することを目的とする。
【０００６】
また、本発明は、出力する顔画像の位置および大きさが目標値となるように自動的にトリミングおよび大きさ補正を行なうことにより手間が省ける画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、人物の少なくとも顔画像を含む画像を入力する画像入力手段と、この画像入力手段により入力された画像から人物の瞳を含む領域を抽出する瞳領域抽出手段と、この瞳領域抽出手段により抽出された瞳を含む領域から白目領域を抽出し、この抽出した白目領域の明度および色相を測定することで明度補正係数および色相補正係数を決定する補正係数決定手段と、前記画像入力手段により入力された画像から顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定手段により決定された明度補正係数および色相補正係数に基づき明度および色相の補正を行なう画像補正手段とを具備している。
【０００８】
また、本発明の画像処理装置は、人物の少なくとも顔画像を含む画像を入力する画像入力手段と、この画像入力手段により入力された画像から人物の目および口の位置を抽出する目および口抽出手段と、この目および口抽出手段により抽出された目および口の位置から当該人物の顔の大きさを算出し、この算出した顔の大きさから当該顔の位置および大きさが目標値となるように補正するための顔補正係数を決定する補正係数決定手段と、前記画像入力手段により入力された画像から、前記補正係数決定手段により決定された顔補正係数に基づき顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定手段により決定された顔補正係数に基づき大きさの補正を行なう画像補正手段とを具備している。
【０００９】
また、本発明の画像処理方法は、人物の少なくとも顔画像を含む画像を入力する画像入力ステップと、この画像入力ステップにより入力された画像から人物の瞳を含む領域を抽出する瞳領域抽出ステップと、この瞳領域抽出ステップにより抽出された瞳を含む領域から白目領域を抽出し、この抽出した白目領域の明度および色相を測定することで明度補正係数および色相補正係数を決定する補正係数決定ステップと、前記画像入力ステップにより入力された画像から顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定ステップにより決定された明度補正係数および色相補正係数に基づき明度および色相の補正を行なう画像補正ステップとを具備している。
【００１０】
さらに、本発明の画像処理方法は、人物の少なくとも顔画像を含む画像を入力する画像入力ステップと、この画像入力ステップにより入力された画像から人物の目および口の位置を抽出する目および口抽出ステップと、この目および口抽出ステップにより抽出された目および口の位置から当該人物の顔の大きさを算出し、この算出した顔の大きさから当該顔の位置および大きさが目標値となるように補正するための顔補正係数を決定する補正係数決定ステップと、前記画像入力ステップにより入力された画像から、前記補正係数決定ステップにより決定された顔補正係数に基づき顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定ステップにより決定された顔補正係数に基づき大きさの補正を行なう画像補正ステップとを具備している。
【発明の効果】
【００１１】
本発明によれば、人物の白目領域の明度および色相を測定し、それに基づき顔画像の明度および色相を補正することにより、撮影されたときの状況が不明な顔画像であっても、適正な画像に補正して安定した画質で出力することができる画像処理装置および画像処理方法を提供できる。
【００１２】
また、本発明によれば、出力する顔画像の位置および大きさが目標値となるように自動的にトリミングおよび大きさ補正を行なうことにより手間が省ける画像処理装置および画像処理方法を提供できる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本実施の形態に係る
図１は、本発明に係る画像処理装置が適用される、たとえばＩＤカードを発行するＩＤカード発行システムの構成を概略的に示すものである。図１において、このＩＤカード発行システムは、全体的な制御を司る汎用コンピュータで構成されるホストコンピュータ１０１、このホストコンピュータ１０１に接続され、少なくともカード発行申請者（以後、単に申請者と称す）のＩＤカードに記載する各種情報を含む個人情報を、申請者が持つ固有の識別情報としての個人番号（ＩＤ番号）と対応させて記憶しているデータベース１０２、申請者が提示するＩＣメモリカード（可搬性のある記録媒体）１０３からそれに記録されている当該申請者が独自の撮影環境にて撮影した少なくとも顔画像を含む画像（以下、顔画像と称す）１０４を読込み補正処理等を施す画像処理装置１０５、画像処理装置１０５からの指令により、申請者の顔画像と個人番号、氏名、年齢、住所などの個人情報を、未発行状態のＩＤカードに印刷することによりＩＤカード１０６を作成する印刷装置１０７、それと同時に顔画像、個人番号、氏名、年齢、住所などの個人情報をファイリングするファイリング装置１０８、これらホストコンピュータ１０１、画像処理装置１０５、印刷装置１０７、および、ファイリング装置１０８を相互接続するネットワーク１０９から構成されている。
印刷装置１０７は、ＩＤカード１０６のＩＣチップ１１０に対し顔画像や個人情報などを書込む書込手段としてのＩＣ書込装置１１１を備えている。
【００１４】
ＩＤカード１０６は、たとえば、ＩＣカードを用いており、ＩＣ化されたメモリを含むＩＣチップ１１０を内蔵している。ＩＤカード１０６の表面には、申請者の顔画像１１２や個人番号、氏名、年齢、住所などの個人情報１１３などがそれぞれ印刷される。
【００１５】
ＩＤカード１０６として用いるＩＣカードは、ＩＣ書込装置１１１との間でコンタクト部を介して通信を行なう接触式のＩＣカード、あるいは、ＩＣ書込装置１１１との間で無線による通信を行なう非接触式のＩＣカードのいずれであってもよい。
【００１６】
図２は、画像処理装置１０５の全体的な構成を示すブロック図である。すなわち、操作者に対し処理状態やガイダンスなどを案内表示する表示器（モニタディスプレイ）２０１、操作者に対しガイダンスなどを音声で案内するスピーカ２０２、画像データおよびその他の描画処理を行ない、表示器２０１への表示制御を行なうビデオアクセラレート部２０３、スピーカ２０２へのガイダンス用の音声を制御するサウンドコントロール部２０４、各種演算処理や各種制御などを行なうＣＰＵ（セントラル・プロセッシング・ユニット）、画像データや演算結果などを一時保存するメインメモリ、および、各種周辺機器とのインタフェイスを備えたＣＰＵ部２０５、各種周辺機器を接続する外部バス（たとえば、ＳＣＳＩなど）を制御する外部バス制御部２０６、各種ＯＳやアプリケーション、制御用データ、画像データなどを保存するハードディスク装置などの大容量記憶装置２０７、ＩＣメモリカード１０３に対してデータの読み書きを行なうカードリーダライタ部２０８、申請者固有の識別情報である個人番号をカード発行申請書から光学的に読取って入力する光学式読取装置（ＯＣＲ）２０９、操作者が操作するキーボード２１０やマウス２１１、ネットワーク１０９上の他の各種機器（ホストコンピュータ１０１、印刷装置１０７、ファイリング装置１０８など）との間で相互通信を行なうためのネットワークアダプタ２１２などによって構成されている。
【００１７】
このような構成において、画像処理装置１０５のメイン処理について図３に示すフローチャートを参照して説明する。
まず、ステップＳ１０１にて、ＩＤカードを作成する申請者の持参した申請書を光学式読取装置２０９にセットすることにより、申請者固有の識別情報である個人番号を申請書から読取って入力する。申請書から読取った個人番号はＣＰＵ部２０５へ送られ、メインメモリに格納される。
【００１８】
次に、ステップＳ１０２にて、ＣＰＵ部２０５は、申請書から読取った個人番号をキーとして、データベース１０２から当該申請者の個人情報を検索して読出し、メインメモリに格納する。
次に、ステップＳ１０３にて、操作者は、申請者が提示したＩＣメモリカード１０３を受取り、当該ＩＣメモリカード１０３をカードリーダライタ部２０８にセットすることにより、当該ＩＣメモリカード１０３からそれに記録されている当該申請者が独自の撮影環境にて撮影した顔画像１０４を読込み、メインメモリに格納する。
【００１９】
次に、ステップＳ１０４にて、ＩＣメモリカード１０３から読込んだ申請者の顔画像に対する画像処理を行なう。この画像処理については後で詳細を説明する。次に、ステップＳ１０５にて、ステップＳ１０４の画像処理が正常に終了したか否かを判定し、エラーがあった場合はステップＳ１０７にて、表示器２０１やスピーカ２０２により、操作者と申請者に対しその旨のガイダンスを行ない、ステップＳ１０１に戻る。
【００２０】
ステップＳ１０５における判定の結果、画像処理が正常に終了した場合、ステップＳ１０８にて、出力用画像を生成し、印刷装置１０７に対しＩＤカード１０６の作成指示を行なう。その後、ステップＳ１０１に戻り、次の画像処理に備える。
【００２１】
図４は、ＩＣメモリカード１０３からの入力画像（顔画像）１８と、その入力画像１８内から顔輪郭領域１９を判定し、顔の大きさを検出する様子を示すものである。
【００２２】
以下、図５に示すフローチャートおよび図４を参照して図３におけるステップＳ１０４の画像処理について説明する。なお、以下に説明する処理は、主にＣＰＵ部２０５内のＣＰＵの制御によって実行される。
まず、ステップＳ１にて、ＩＣメモリカード１０３から読込んだ顔画像を表示器２０１に表示する。次に、ステップＳ２にて、操作者は、マウス２１１を用いて申請者の瞳が含まれる領域２０（図４参照）をドラッグする。このマウス２１１の操作に基づき、ステップＳ３にて、指定された領域２０内から、瞳と同形状の丸い形状をした部位２１，２２（図４参照）を抽出する。
【００２３】
次に、ステップＳ４では、抽出したそれぞれの部位周辺の形状とあらかじめ登録された左右瞳の標本データとを比較し、類似度合いが最も高い抽出部位を左右瞳分抽出する。次に、ステップＳ５にて、類似度合いがあらかじめ設定される閾値以上であるか否かを判定し、閾値以上であれば正常に開いている瞳位置と判断し、もし閾値以下であれば、瞳が見つからないと判断し、ステップＳ１１〜Ｓ１２にて操作者による指定を行なう。
すなわち、ステップＳ１１にて、瞳が見つからない旨を表示器２０１に表示する。次に、ステップＳ１２にて、操作者は、マウス２１１を用いて両目の位置をそれぞれクリックすることで、瞳部分を指示する。
【００２４】
次に、ステップＳ６にて、決定した瞳部位２１，２２を後の処理用に一次保存する。次に、ステップＳ７にて、後で詳細を説明するズーム係数測定処理（第１の補正係数決定手段）を行なうことで、顔画像内の顔の大きさを測定し、ズーム係数（補正係数）を算出する。
次に、ステップＳ８にて、後で詳細を説明する顔色補正係数測定処理（第２の補正係数決定手段）を行なうことで、白目領域の情報から顔色補正係数を算出する。
【００２５】
次に、ステップＳ９にて、後で詳細を説明する出力画像生成処理を行なうことにより、ステップＳ７，Ｓ８で算出した各補正係数に伴う補正処理を行なう。
【００２６】
図６は、図５におけるステップＳ７のズーム係数測定処理の流れを示すもので、以下それについて説明する。
まず、ステップＳ３１にて、抽出した左右の瞳部位２１，２２の中心２３（図４参照）からの相対位置領域として、口が必ず存在するであろう領域２４（図４参照）を算出し、この算出した領域２４内から唇と同様の赤色の画素をもつ部位を抽出する。
次に、ステップＳ３２にて、抽出したそれぞれの部位とあらかじめ登録された口の標本データとを比較し、類似度合いが最も高い抽出部位を口部位２５（図４参照）として抽出する。
【００２７】
次に、ステップＳ３３にて、左右の瞳部位２１，２２と口部位２５との間の面積２６（図４参照）を求め、この求めた面積２６から顔の大きさを求める。次に、ステップＳ３４にて、別途出力処理にて媒体への印刷を行なう際に、適正な解像度とするために設けられた目標顔大きさ（目標値）に対する測定した顔大きさの比率をズーム係数とし、この決定したズーム係数をステップＳ３５にて後の処理のために一次保存する。
【００２８】
図７は、図５におけるステップＳ８の顔色補正係数測定処理の流れを示すもので、以下それについて図８も参照しながら説明する。
まず、ステップＳ７１にて、瞳領域画像８０を生成するための矩形領域（基準値×ズーム係数）を算出する。この矩形領域は、ステップＳ３４での基準値を基に設定している、基準大きさの瞳が含まれるために丁度よい大きさの矩形領域として設定している基準の矩形領域の大きさに対し、ステップＳ３４で決定したズーム係数分大きな領域を設定する。なぜなら、固定の矩形領域とした場合、入力画像内の顔部分に閉める画素数はまちまちであり、瞳部位が適正に確保できない場合があるからである。
【００２９】
次に、ステップＳ７２にて、ステップＳ６で保持した瞳部位の情報を基に、ステップＳ７１で求めた矩形領域分の瞳領域８０をトリミングする。
次に、ステップＳ７３にて、瞳領域画像８０のＲ（赤），Ｇ（緑），Ｂ（青）で表現された各画素を色相Ｈ、彩度Ｓ、明度Ｖに変換し、後の処理のためにメモリＨＳＶＤａｔａ（図示しない）に一次保存する。
【００３０】
次に、ステップＳ７４にて、後で詳細を説明する肌／瞳領域ラベリング処理を行なうことにより、瞳領域画像８０内の肌領域と瞳領域に対しラベリングを行ない、図８に示すようなデータ８１を生成する。
次に、ステップＳ７５にて、後で詳細を説明する白目領域ラベリング処理を行なうことにより、瞳領域画像８０内の白目領域とその他の領域に対しラベリングを行ない、図８に示すようなデータ８２を生成する。
【００３１】
次に、ステップＳ７６にて、ステップＳ７５で求められたデータ８２を基に、瞳領域画像８０内の白目領域の明度と色相をそれぞれ測定し、ステップＳ７７にて、明度補正係数と色相補正係数を決定する。各補正係数は、各基準値に対し実際の測定値の違いから補正分を決定する。この基準値は、印刷装置や画面上で見たときに最も好ましい照明環境で撮影した場合に白目領域から取り得る値である。
次に、ステップＳ７８〜Ｓ７９にて、ステップＳ７７で決定した明度補正係数と色相補正係数を後の処理のために一次保存する。
【００３２】
図９は、図７におけるステップＳ７４の肌／瞳領域ラベリング処理の流れを示すもので、以下それについて図８も参照しながら説明する。
まず、ステップＳ８１にて、メモリＨＳＶＤａｔａの左上、右上、左下、右下の４隅から肌領域の色相値Ｈｓｋｉｎと彩度値Ｓｓｋｉｎを抽出する。瞳領域画像８０中、瞳の形状により、これら４隅は必ず肌領域が存在すると仮定している。
【００３３】
次に、ステップＳ８２にて、ステップＳ８１で抽出した色相値Ｈｓｋｉｎおよび彩度値Ｓｓｋｉｎと同様な色相値、彩度値を持った領域を「０」でラベリングし、それ以外の領域を「１」でラベリングすることで、肌領域Ｅ１とそれ以外である瞳領域Ｅ２を分離したデータ（ＳｋｉｎＬｂＤａｔａ）８１を生成し、後の処理のために一次保存する。
ここで、肌領域の判定には色相Ｈ、彩度Ｓ、明度Ｖのうち明度Ｖは使用しない。なぜなら、肌領域は色相Ｈと彩度Ｓは安定した値をとるが、明度Ｖについては照明の影や染み等により様々な値をとりえるため、肌領域の抽出に明度Ｖを使うと安定した判定ができなくなるからである。また、色相Ｈと彩度Ｓは適度に重み付けを行なうことにより、より安定した判定ができる。
【００３４】
図１０は、図７におけるステップＳ７６の白目領域ラベリング処理の流れを示すもので、以下それについて図８も参照しながら説明する。
ステップＳ９１にて、ステップＳ８２で生成したデータ８１の「１」の要素を持ち、かつ、メモリＨＳＶＤａｔａにて明度Ｖがある閾値以上の領域を「１」でラベリングし、それ以外の領域を「０」でラベリングすることで、白目領域Ｅ３とそれ以外の領域Ｅ４を分離したデータ（ＥｙｅＬｂＤａｔａ）８２を生成し、後の処理のために一時保存する。
この処理では、ステップＳ８２で分離した瞳領域Ｅ２内の白目領域Ｅ３とそれ以外の領域Ｅ４とを分離する。既に肌領域は分離が済んでいるため、残りの黒目の領域と白目の領域とを分離するために、明るい領域は白目、暗い領域は黒目という判定を行なうべく、明度Ｖのみにより分離判定する。白目領域と黒目領域とを区別する際、色相Ｈや彩度Ｓは様々な値をとりえるため、これら２種の情報を使うと安定した判定ができない。
【００３５】
図１１は、図５におけるステップＳ９の出力画像生成処理の流れを示すもので、以下それについて説明する。
まず、ステップＳ１１０にて、ステップＳ６で保存した瞳位置２１から２２までの中心２３（図４参照）を基準に、その周辺矩形領域（顔輪郭領域）１９のトリミングを行なう。この場合、矩形領域１９の大きさは、ステップＳ３５で保存したズーム係数により決定する。
【００３６】
次に、ステップＳ１１１にて、ステップＳ１１０でトリミングした矩形領域１９内の顔画像に対し、ステップＳ３５で保存したズーム係数によるデジタルズーム処理を行なう。
次に、ステップＳ１１２にて、ステップＳ１１１でズーム処理した矩形領域１９内の顔画像に対し、ステップＳ７７で決定した明度補正係数に基づき明度補正を行なう。次に、ステップＳ１１３にて、ステップＳ１１２で明度補正を行なった顔画像に対し、ステップＳ７７で決定した色相補正係数に基づき色相補正を行なう。
【００３７】
次に、ステップＳ１１４にて、記憶色再現のための明度補正を行なう。一般に、肌色は記憶色と表現される。この記憶色とは、人間の想像の中で好ましい肌色としてつくり得た色である。実際にカメラで顔を撮影した色をそのまま出力した場合、大概の人はその顔が想像よりも暗いと感じる。そのため、記憶色再現は一般的に明度をあげる処理を行なう。
【００３８】
なお、前記実施の形態では、入力画像が申請者が提示するＩＣメモリカードから読込んだ当該申請者が独自の撮影環境にて撮影した顔画像の場合について説明したが、必ずしもこのような入力画像に限定されるものではなく、たとえば、本装置にビデオカメラを装備し、当該カメラにより申請者の顔画像を撮影して入力したものであっても同様に適用できる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態に係るＩＤカード発行システムの構成を概略的に示すブロック図。
【図２】画像処理装置の全体的な構成を概略的に示すブロック図
【図３】画像処理装置のメイン処理を説明するためのフローチャート。
【図４】入力画像（顔画像）と、その入力画像内から顔輪郭領域を判定し、顔の大きさを検出する様子を説明する図。
【図５】画像処理について説明するためのフローチャート。
【図６】ズーム係数測定処理の流れを示すフローチャート。
【図７】顔色補正係数測定処理の流れを示すフローチャート。
【図８】顔色補正係数測定処理を説明するための図。
【図９】肌／瞳領域ラベリング処理の流れを示フローチャート。
【図１０】白目領域ラベリング処理の流れを示すフローチャート。
【図１１】出力画像生成処理を説明するためのフローチャート。
【符号の説明】
【００４０】
１０１…ホストコンピュータ、１０２…データベース、１０３…ＩＣメモリカード（記録媒体）、１０４…顔画像、１０５…画像処理装置、１０６…ＩＤカード、１０７…印刷装置、１０８…ファイリング装置、１１０…メモリチップ（記憶媒体）、１１１…ＩＣ書込み装置、１１２…顔画像、２０１…表示器、２０５…ＣＰＵ部、２０８…カードリーダライタ。
【技術分野】
【０００１】
本発明は、たとえば、自動車の運転免許証（以後、単に免許証と称す）や各種証明書（カードタイプや冊子タイプを含む）など、人物の顔画像と個人情報とを一緒にカード媒体に印刷することによりＩＤカードを発行するＩＤカード発行システムにおいて、カード発行申請者が提示する可搬性のある記録媒体から読込んだ当該申請者が独自の撮影環境にて撮影した当該申請者の顔画像を適正な画像に補正する画像画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
一般に、免許証等のＩＤカードを発行するＩＤカード発行システムにおいて、カード発行申請者の顔画像を撮影して出力する場合、特定の画質になるべく工夫が必要になる。
たとえば、出力時に画質がばらつかないように、厳正なカメラ、照明環境下で撮影を行なったり、そうでなければ撮影時の明るさ色合い等を監視する機能を設け、出力時に画像補正をかけることにより実現したり、肌色系の色に対し、記憶色再現手法で一定の顔色になるように補正を行なう場合もある（たとえば、特許文献１、特許文献２参照）。
【特許文献１】特開２００４−３４３８０９号公報
【特許文献２】特開２００４−２９７６１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、ＩＤカード発行システムに備えられた管理された撮影装置で撮影された顔画像ではなく、撮影されたときの状況が不明な顔画像、たとえば、カード発行申請者が提示するＩＣメモリカードから読込んだ当該申請者が独自の撮影環境にて撮影した顔画像の場合、撮影時の環境情報等を確実に入手することはできないし、記憶色再現手法により補正する場合は、明るい照明で撮影した色黒の人や、暗い照明で撮影した色白の人に対し、誤った補正をすることもある。
【０００４】
また、この種のＩＤカード発行システムにおいて、顔画像をサツエイして出力する場合、顔の大きさにあわせてトリミングを行ない、出力用の大きさにリサイズすることは手間がかかるという問題もある。
【０００５】
そこで、本発明は、撮影されたときの状況が不明な顔画像であっても、適正な画像に補正して安定した画質で出力することができる画像処理装置および画像処理方法を提供することを目的とする。
【０００６】
また、本発明は、出力する顔画像の位置および大きさが目標値となるように自動的にトリミングおよび大きさ補正を行なうことにより手間が省ける画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、人物の少なくとも顔画像を含む画像を入力する画像入力手段と、この画像入力手段により入力された画像から人物の瞳を含む領域を抽出する瞳領域抽出手段と、この瞳領域抽出手段により抽出された瞳を含む領域から白目領域を抽出し、この抽出した白目領域の明度および色相を測定することで明度補正係数および色相補正係数を決定する補正係数決定手段と、前記画像入力手段により入力された画像から顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定手段により決定された明度補正係数および色相補正係数に基づき明度および色相の補正を行なう画像補正手段とを具備している。
【０００８】
また、本発明の画像処理装置は、人物の少なくとも顔画像を含む画像を入力する画像入力手段と、この画像入力手段により入力された画像から人物の目および口の位置を抽出する目および口抽出手段と、この目および口抽出手段により抽出された目および口の位置から当該人物の顔の大きさを算出し、この算出した顔の大きさから当該顔の位置および大きさが目標値となるように補正するための顔補正係数を決定する補正係数決定手段と、前記画像入力手段により入力された画像から、前記補正係数決定手段により決定された顔補正係数に基づき顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定手段により決定された顔補正係数に基づき大きさの補正を行なう画像補正手段とを具備している。
【０００９】
また、本発明の画像処理方法は、人物の少なくとも顔画像を含む画像を入力する画像入力ステップと、この画像入力ステップにより入力された画像から人物の瞳を含む領域を抽出する瞳領域抽出ステップと、この瞳領域抽出ステップにより抽出された瞳を含む領域から白目領域を抽出し、この抽出した白目領域の明度および色相を測定することで明度補正係数および色相補正係数を決定する補正係数決定ステップと、前記画像入力ステップにより入力された画像から顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定ステップにより決定された明度補正係数および色相補正係数に基づき明度および色相の補正を行なう画像補正ステップとを具備している。
【００１０】
さらに、本発明の画像処理方法は、人物の少なくとも顔画像を含む画像を入力する画像入力ステップと、この画像入力ステップにより入力された画像から人物の目および口の位置を抽出する目および口抽出ステップと、この目および口抽出ステップにより抽出された目および口の位置から当該人物の顔の大きさを算出し、この算出した顔の大きさから当該顔の位置および大きさが目標値となるように補正するための顔補正係数を決定する補正係数決定ステップと、前記画像入力ステップにより入力された画像から、前記補正係数決定ステップにより決定された顔補正係数に基づき顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定ステップにより決定された顔補正係数に基づき大きさの補正を行なう画像補正ステップとを具備している。
【発明の効果】
【００１１】
本発明によれば、人物の白目領域の明度および色相を測定し、それに基づき顔画像の明度および色相を補正することにより、撮影されたときの状況が不明な顔画像であっても、適正な画像に補正して安定した画質で出力することができる画像処理装置および画像処理方法を提供できる。
【００１２】
また、本発明によれば、出力する顔画像の位置および大きさが目標値となるように自動的にトリミングおよび大きさ補正を行なうことにより手間が省ける画像処理装置および画像処理方法を提供できる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本実施の形態に係る
図１は、本発明に係る画像処理装置が適用される、たとえばＩＤカードを発行するＩＤカード発行システムの構成を概略的に示すものである。図１において、このＩＤカード発行システムは、全体的な制御を司る汎用コンピュータで構成されるホストコンピュータ１０１、このホストコンピュータ１０１に接続され、少なくともカード発行申請者（以後、単に申請者と称す）のＩＤカードに記載する各種情報を含む個人情報を、申請者が持つ固有の識別情報としての個人番号（ＩＤ番号）と対応させて記憶しているデータベース１０２、申請者が提示するＩＣメモリカード（可搬性のある記録媒体）１０３からそれに記録されている当該申請者が独自の撮影環境にて撮影した少なくとも顔画像を含む画像（以下、顔画像と称す）１０４を読込み補正処理等を施す画像処理装置１０５、画像処理装置１０５からの指令により、申請者の顔画像と個人番号、氏名、年齢、住所などの個人情報を、未発行状態のＩＤカードに印刷することによりＩＤカード１０６を作成する印刷装置１０７、それと同時に顔画像、個人番号、氏名、年齢、住所などの個人情報をファイリングするファイリング装置１０８、これらホストコンピュータ１０１、画像処理装置１０５、印刷装置１０７、および、ファイリング装置１０８を相互接続するネットワーク１０９から構成されている。
印刷装置１０７は、ＩＤカード１０６のＩＣチップ１１０に対し顔画像や個人情報などを書込む書込手段としてのＩＣ書込装置１１１を備えている。
【００１４】
ＩＤカード１０６は、たとえば、ＩＣカードを用いており、ＩＣ化されたメモリを含むＩＣチップ１１０を内蔵している。ＩＤカード１０６の表面には、申請者の顔画像１１２や個人番号、氏名、年齢、住所などの個人情報１１３などがそれぞれ印刷される。
【００１５】
ＩＤカード１０６として用いるＩＣカードは、ＩＣ書込装置１１１との間でコンタクト部を介して通信を行なう接触式のＩＣカード、あるいは、ＩＣ書込装置１１１との間で無線による通信を行なう非接触式のＩＣカードのいずれであってもよい。
【００１６】
図２は、画像処理装置１０５の全体的な構成を示すブロック図である。すなわち、操作者に対し処理状態やガイダンスなどを案内表示する表示器（モニタディスプレイ）２０１、操作者に対しガイダンスなどを音声で案内するスピーカ２０２、画像データおよびその他の描画処理を行ない、表示器２０１への表示制御を行なうビデオアクセラレート部２０３、スピーカ２０２へのガイダンス用の音声を制御するサウンドコントロール部２０４、各種演算処理や各種制御などを行なうＣＰＵ（セントラル・プロセッシング・ユニット）、画像データや演算結果などを一時保存するメインメモリ、および、各種周辺機器とのインタフェイスを備えたＣＰＵ部２０５、各種周辺機器を接続する外部バス（たとえば、ＳＣＳＩなど）を制御する外部バス制御部２０６、各種ＯＳやアプリケーション、制御用データ、画像データなどを保存するハードディスク装置などの大容量記憶装置２０７、ＩＣメモリカード１０３に対してデータの読み書きを行なうカードリーダライタ部２０８、申請者固有の識別情報である個人番号をカード発行申請書から光学的に読取って入力する光学式読取装置（ＯＣＲ）２０９、操作者が操作するキーボード２１０やマウス２１１、ネットワーク１０９上の他の各種機器（ホストコンピュータ１０１、印刷装置１０７、ファイリング装置１０８など）との間で相互通信を行なうためのネットワークアダプタ２１２などによって構成されている。
【００１７】
このような構成において、画像処理装置１０５のメイン処理について図３に示すフローチャートを参照して説明する。
まず、ステップＳ１０１にて、ＩＤカードを作成する申請者の持参した申請書を光学式読取装置２０９にセットすることにより、申請者固有の識別情報である個人番号を申請書から読取って入力する。申請書から読取った個人番号はＣＰＵ部２０５へ送られ、メインメモリに格納される。
【００１８】
次に、ステップＳ１０２にて、ＣＰＵ部２０５は、申請書から読取った個人番号をキーとして、データベース１０２から当該申請者の個人情報を検索して読出し、メインメモリに格納する。
次に、ステップＳ１０３にて、操作者は、申請者が提示したＩＣメモリカード１０３を受取り、当該ＩＣメモリカード１０３をカードリーダライタ部２０８にセットすることにより、当該ＩＣメモリカード１０３からそれに記録されている当該申請者が独自の撮影環境にて撮影した顔画像１０４を読込み、メインメモリに格納する。
【００１９】
次に、ステップＳ１０４にて、ＩＣメモリカード１０３から読込んだ申請者の顔画像に対する画像処理を行なう。この画像処理については後で詳細を説明する。次に、ステップＳ１０５にて、ステップＳ１０４の画像処理が正常に終了したか否かを判定し、エラーがあった場合はステップＳ１０７にて、表示器２０１やスピーカ２０２により、操作者と申請者に対しその旨のガイダンスを行ない、ステップＳ１０１に戻る。
【００２０】
ステップＳ１０５における判定の結果、画像処理が正常に終了した場合、ステップＳ１０８にて、出力用画像を生成し、印刷装置１０７に対しＩＤカード１０６の作成指示を行なう。その後、ステップＳ１０１に戻り、次の画像処理に備える。
【００２１】
図４は、ＩＣメモリカード１０３からの入力画像（顔画像）１８と、その入力画像１８内から顔輪郭領域１９を判定し、顔の大きさを検出する様子を示すものである。
【００２２】
以下、図５に示すフローチャートおよび図４を参照して図３におけるステップＳ１０４の画像処理について説明する。なお、以下に説明する処理は、主にＣＰＵ部２０５内のＣＰＵの制御によって実行される。
まず、ステップＳ１にて、ＩＣメモリカード１０３から読込んだ顔画像を表示器２０１に表示する。次に、ステップＳ２にて、操作者は、マウス２１１を用いて申請者の瞳が含まれる領域２０（図４参照）をドラッグする。このマウス２１１の操作に基づき、ステップＳ３にて、指定された領域２０内から、瞳と同形状の丸い形状をした部位２１，２２（図４参照）を抽出する。
【００２３】
次に、ステップＳ４では、抽出したそれぞれの部位周辺の形状とあらかじめ登録された左右瞳の標本データとを比較し、類似度合いが最も高い抽出部位を左右瞳分抽出する。次に、ステップＳ５にて、類似度合いがあらかじめ設定される閾値以上であるか否かを判定し、閾値以上であれば正常に開いている瞳位置と判断し、もし閾値以下であれば、瞳が見つからないと判断し、ステップＳ１１〜Ｓ１２にて操作者による指定を行なう。
すなわち、ステップＳ１１にて、瞳が見つからない旨を表示器２０１に表示する。次に、ステップＳ１２にて、操作者は、マウス２１１を用いて両目の位置をそれぞれクリックすることで、瞳部分を指示する。
【００２４】
次に、ステップＳ６にて、決定した瞳部位２１，２２を後の処理用に一次保存する。次に、ステップＳ７にて、後で詳細を説明するズーム係数測定処理（第１の補正係数決定手段）を行なうことで、顔画像内の顔の大きさを測定し、ズーム係数（補正係数）を算出する。
次に、ステップＳ８にて、後で詳細を説明する顔色補正係数測定処理（第２の補正係数決定手段）を行なうことで、白目領域の情報から顔色補正係数を算出する。
【００２５】
次に、ステップＳ９にて、後で詳細を説明する出力画像生成処理を行なうことにより、ステップＳ７，Ｓ８で算出した各補正係数に伴う補正処理を行なう。
【００２６】
図６は、図５におけるステップＳ７のズーム係数測定処理の流れを示すもので、以下それについて説明する。
まず、ステップＳ３１にて、抽出した左右の瞳部位２１，２２の中心２３（図４参照）からの相対位置領域として、口が必ず存在するであろう領域２４（図４参照）を算出し、この算出した領域２４内から唇と同様の赤色の画素をもつ部位を抽出する。
次に、ステップＳ３２にて、抽出したそれぞれの部位とあらかじめ登録された口の標本データとを比較し、類似度合いが最も高い抽出部位を口部位２５（図４参照）として抽出する。
【００２７】
次に、ステップＳ３３にて、左右の瞳部位２１，２２と口部位２５との間の面積２６（図４参照）を求め、この求めた面積２６から顔の大きさを求める。次に、ステップＳ３４にて、別途出力処理にて媒体への印刷を行なう際に、適正な解像度とするために設けられた目標顔大きさ（目標値）に対する測定した顔大きさの比率をズーム係数とし、この決定したズーム係数をステップＳ３５にて後の処理のために一次保存する。
【００２８】
図７は、図５におけるステップＳ８の顔色補正係数測定処理の流れを示すもので、以下それについて図８も参照しながら説明する。
まず、ステップＳ７１にて、瞳領域画像８０を生成するための矩形領域（基準値×ズーム係数）を算出する。この矩形領域は、ステップＳ３４での基準値を基に設定している、基準大きさの瞳が含まれるために丁度よい大きさの矩形領域として設定している基準の矩形領域の大きさに対し、ステップＳ３４で決定したズーム係数分大きな領域を設定する。なぜなら、固定の矩形領域とした場合、入力画像内の顔部分に閉める画素数はまちまちであり、瞳部位が適正に確保できない場合があるからである。
【００２９】
次に、ステップＳ７２にて、ステップＳ６で保持した瞳部位の情報を基に、ステップＳ７１で求めた矩形領域分の瞳領域８０をトリミングする。
次に、ステップＳ７３にて、瞳領域画像８０のＲ（赤），Ｇ（緑），Ｂ（青）で表現された各画素を色相Ｈ、彩度Ｓ、明度Ｖに変換し、後の処理のためにメモリＨＳＶＤａｔａ（図示しない）に一次保存する。
【００３０】
次に、ステップＳ７４にて、後で詳細を説明する肌／瞳領域ラベリング処理を行なうことにより、瞳領域画像８０内の肌領域と瞳領域に対しラベリングを行ない、図８に示すようなデータ８１を生成する。
次に、ステップＳ７５にて、後で詳細を説明する白目領域ラベリング処理を行なうことにより、瞳領域画像８０内の白目領域とその他の領域に対しラベリングを行ない、図８に示すようなデータ８２を生成する。
【００３１】
次に、ステップＳ７６にて、ステップＳ７５で求められたデータ８２を基に、瞳領域画像８０内の白目領域の明度と色相をそれぞれ測定し、ステップＳ７７にて、明度補正係数と色相補正係数を決定する。各補正係数は、各基準値に対し実際の測定値の違いから補正分を決定する。この基準値は、印刷装置や画面上で見たときに最も好ましい照明環境で撮影した場合に白目領域から取り得る値である。
次に、ステップＳ７８〜Ｓ７９にて、ステップＳ７７で決定した明度補正係数と色相補正係数を後の処理のために一次保存する。
【００３２】
図９は、図７におけるステップＳ７４の肌／瞳領域ラベリング処理の流れを示すもので、以下それについて図８も参照しながら説明する。
まず、ステップＳ８１にて、メモリＨＳＶＤａｔａの左上、右上、左下、右下の４隅から肌領域の色相値Ｈｓｋｉｎと彩度値Ｓｓｋｉｎを抽出する。瞳領域画像８０中、瞳の形状により、これら４隅は必ず肌領域が存在すると仮定している。
【００３３】
次に、ステップＳ８２にて、ステップＳ８１で抽出した色相値Ｈｓｋｉｎおよび彩度値Ｓｓｋｉｎと同様な色相値、彩度値を持った領域を「０」でラベリングし、それ以外の領域を「１」でラベリングすることで、肌領域Ｅ１とそれ以外である瞳領域Ｅ２を分離したデータ（ＳｋｉｎＬｂＤａｔａ）８１を生成し、後の処理のために一次保存する。
ここで、肌領域の判定には色相Ｈ、彩度Ｓ、明度Ｖのうち明度Ｖは使用しない。なぜなら、肌領域は色相Ｈと彩度Ｓは安定した値をとるが、明度Ｖについては照明の影や染み等により様々な値をとりえるため、肌領域の抽出に明度Ｖを使うと安定した判定ができなくなるからである。また、色相Ｈと彩度Ｓは適度に重み付けを行なうことにより、より安定した判定ができる。
【００３４】
図１０は、図７におけるステップＳ７６の白目領域ラベリング処理の流れを示すもので、以下それについて図８も参照しながら説明する。
ステップＳ９１にて、ステップＳ８２で生成したデータ８１の「１」の要素を持ち、かつ、メモリＨＳＶＤａｔａにて明度Ｖがある閾値以上の領域を「１」でラベリングし、それ以外の領域を「０」でラベリングすることで、白目領域Ｅ３とそれ以外の領域Ｅ４を分離したデータ（ＥｙｅＬｂＤａｔａ）８２を生成し、後の処理のために一時保存する。
この処理では、ステップＳ８２で分離した瞳領域Ｅ２内の白目領域Ｅ３とそれ以外の領域Ｅ４とを分離する。既に肌領域は分離が済んでいるため、残りの黒目の領域と白目の領域とを分離するために、明るい領域は白目、暗い領域は黒目という判定を行なうべく、明度Ｖのみにより分離判定する。白目領域と黒目領域とを区別する際、色相Ｈや彩度Ｓは様々な値をとりえるため、これら２種の情報を使うと安定した判定ができない。
【００３５】
図１１は、図５におけるステップＳ９の出力画像生成処理の流れを示すもので、以下それについて説明する。
まず、ステップＳ１１０にて、ステップＳ６で保存した瞳位置２１から２２までの中心２３（図４参照）を基準に、その周辺矩形領域（顔輪郭領域）１９のトリミングを行なう。この場合、矩形領域１９の大きさは、ステップＳ３５で保存したズーム係数により決定する。
【００３６】
次に、ステップＳ１１１にて、ステップＳ１１０でトリミングした矩形領域１９内の顔画像に対し、ステップＳ３５で保存したズーム係数によるデジタルズーム処理を行なう。
次に、ステップＳ１１２にて、ステップＳ１１１でズーム処理した矩形領域１９内の顔画像に対し、ステップＳ７７で決定した明度補正係数に基づき明度補正を行なう。次に、ステップＳ１１３にて、ステップＳ１１２で明度補正を行なった顔画像に対し、ステップＳ７７で決定した色相補正係数に基づき色相補正を行なう。
【００３７】
次に、ステップＳ１１４にて、記憶色再現のための明度補正を行なう。一般に、肌色は記憶色と表現される。この記憶色とは、人間の想像の中で好ましい肌色としてつくり得た色である。実際にカメラで顔を撮影した色をそのまま出力した場合、大概の人はその顔が想像よりも暗いと感じる。そのため、記憶色再現は一般的に明度をあげる処理を行なう。
【００３８】
なお、前記実施の形態では、入力画像が申請者が提示するＩＣメモリカードから読込んだ当該申請者が独自の撮影環境にて撮影した顔画像の場合について説明したが、必ずしもこのような入力画像に限定されるものではなく、たとえば、本装置にビデオカメラを装備し、当該カメラにより申請者の顔画像を撮影して入力したものであっても同様に適用できる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態に係るＩＤカード発行システムの構成を概略的に示すブロック図。
【図２】画像処理装置の全体的な構成を概略的に示すブロック図
【図３】画像処理装置のメイン処理を説明するためのフローチャート。
【図４】入力画像（顔画像）と、その入力画像内から顔輪郭領域を判定し、顔の大きさを検出する様子を説明する図。
【図５】画像処理について説明するためのフローチャート。
【図６】ズーム係数測定処理の流れを示すフローチャート。
【図７】顔色補正係数測定処理の流れを示すフローチャート。
【図８】顔色補正係数測定処理を説明するための図。
【図９】肌／瞳領域ラベリング処理の流れを示フローチャート。
【図１０】白目領域ラベリング処理の流れを示すフローチャート。
【図１１】出力画像生成処理を説明するためのフローチャート。
【符号の説明】
【００４０】
１０１…ホストコンピュータ、１０２…データベース、１０３…ＩＣメモリカード（記録媒体）、１０４…顔画像、１０５…画像処理装置、１０６…ＩＤカード、１０７…印刷装置、１０８…ファイリング装置、１１０…メモリチップ（記憶媒体）、１１１…ＩＣ書込み装置、１１２…顔画像、２０１…表示器、２０５…ＣＰＵ部、２０８…カードリーダライタ。
【特許請求の範囲】
【請求項１】
人物の少なくとも顔画像を含む画像を入力する画像入力手段と、
この画像入力手段により入力された画像から人物の瞳を含む領域を抽出する瞳領域抽出手段と、
この瞳領域抽出手段により抽出された瞳を含む領域から白目領域を抽出し、この抽出した白目領域の明度および色相を測定することで明度補正係数および色相補正係数を決定する補正係数決定手段と、
前記画像入力手段により入力された画像から顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定手段により決定された明度補正係数および色相補正係数に基づき明度および色相の補正を行なう画像補正手段と、
を具備したことを特徴とする画像処理装置。
【請求項２】
人物の少なくとも顔画像を含む画像を入力する画像入力手段と、
この画像入力手段により入力された画像から人物の目および口の位置を抽出する目および口抽出手段と、
この目および口抽出手段により抽出された目および口の位置から当該人物の顔の大きさを算出し、この算出した顔の大きさから当該顔の位置および大きさが目標値となるように補正するための顔補正係数を決定する補正係数決定手段と、
前記画像入力手段により入力された画像から、前記補正係数決定手段により決定された顔補正係数に基づき顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定手段により決定された顔補正係数に基づき大きさの補正を行なう画像補正手段と、
を具備したことを特徴とする画像処理装置。
【請求項３】
前記画像補正手段により補正された顔画像に対し記憶色再現のための色相補正を行なう記憶色再現処理手段をさらに具備したことを特徴とする請求項１または請求項２記載の画像処理装置。
【請求項４】
人物の少なくとも顔画像を含む画像を入力する画像入力手段と、
この画像入力手段により入力された画像から人物の瞳を含む領域を抽出する瞳領域抽出手段と、
この瞳領域抽出手段により抽出された瞳を含む領域から瞳および口の位置を抽出する瞳および口抽出手段と、
この瞳および口抽出手段により抽出された瞳および口の位置から当該人物の顔の大きさを算出し、この算出した顔の大きさから当該顔の位置および大きさが目標値となるように補正するための顔補正係数を決定する第１の補正係数決定手段と、
前記瞳領域抽出手段により抽出された瞳を含む領域から白目領域を抽出し、この抽出した白目領域の明度および色相を測定することで明度補正係数および色相補正係数を決定する第２の補正係数決定手段と、
前記画像入力手段により入力された画像から、前記第１の補正係数決定手段により決定された顔補正係数に基づき顔画像を抽出し、この抽出した顔画像に対し前記第１の補正係数決定手段により決定された顔補正係数に基づき大きさの補正を行なう第１の画像補正手段と、
この第１の画像補正手段により補正された顔画像に対し、前記第２の補正係数決定手段により決定された明度補正係数および色相補正係数に基づき明度および色相の補正を行なう第２の画像補正手段と、
を具備したことを特徴とする画像処理装置。
【請求項５】
前記第２の画像補正手段により補正された顔画像に対し記憶色再現のための色相補正を行なう記憶色再現処理手段をさらに具備したことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記画像入力手段により入力される画像は、人物が独自の撮影環境にて撮影した当該人物の少なくとも顔画像を含む画像が記録された可搬性のある記録媒体から読込んだ前記画像であることを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項７】
人物の少なくとも顔画像を含む画像を入力する画像入力ステップと、
この画像入力ステップにより入力された画像から人物の瞳を含む領域を抽出する瞳領域抽出ステップと、
この瞳領域抽出ステップにより抽出された瞳を含む領域から白目領域を抽出し、この抽出した白目領域の明度および色相を測定することで明度補正係数および色相補正係数を決定する補正係数決定ステップと、
前記画像入力ステップにより入力された画像から顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定ステップにより決定された明度補正係数および色相補正係数に基づき明度および色相の補正を行なう画像補正ステップと、
を具備したことを特徴とする画像処理方法。
【請求項８】
人物の少なくとも顔画像を含む画像を入力する画像入力ステップと、
この画像入力ステップにより入力された画像から人物の目および口の位置を抽出する目および口抽出ステップと、
この目および口抽出ステップにより抽出された目および口の位置から当該人物の顔の大きさを算出し、この算出した顔の大きさから当該顔の位置および大きさが目標値となるように補正するための顔補正係数を決定する補正係数決定ステップと、
前記画像入力ステップにより入力された画像から、前記補正係数決定ステップにより決定された顔補正係数に基づき顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定ステップにより決定された顔補正係数に基づき大きさの補正を行なう画像補正ステップと、
を具備したことを特徴とする画像処理方法。
【請求項９】
人物の少なくとも顔画像を含む画像を入力する画像入力ステップと、
この画像入力ステップにより入力された画像から人物の瞳を含む領域を抽出する瞳領域抽出ステップと、
この瞳領域抽出ステップにより抽出された瞳を含む領域から瞳および口の位置を抽出する瞳および口抽出ステップと、
この瞳および口抽出ステップにより抽出された瞳および口の位置から当該人物の顔の大きさを算出し、この算出した顔の大きさから当該顔の位置および大きさが目標値となるように補正するための顔補正係数を決定する第１の補正係数決定ステップと、
前記瞳領域抽出ステップにより抽出された瞳を含む領域から白目領域を抽出し、この抽出した白目領域の明度および色相を測定することで明度補正係数および色相補正係数を決定する第２の補正係数決定ステップと、
前記画像入力ステップにより入力された画像から、前記第１の補正係数決定ステップにより決定された顔補正係数に基づき顔画像を抽出し、この抽出した顔画像に対し前記第１の補正係数決定ステップにより決定された顔補正係数に基づき大きさの補正を行なう第１の画像補正ステップと、
この第１の画像補正ステップにより大きさが補正された顔画像に対し、前記第２の補正係数決定ステップにより決定された明度補正係数および色相補正係数に基づき明度および色相の補正を行なう第２の画像補正ステップと、
を具備したことを特徴とする画像処理方法。
【請求項１】
人物の少なくとも顔画像を含む画像を入力する画像入力手段と、
この画像入力手段により入力された画像から人物の瞳を含む領域を抽出する瞳領域抽出手段と、
この瞳領域抽出手段により抽出された瞳を含む領域から白目領域を抽出し、この抽出した白目領域の明度および色相を測定することで明度補正係数および色相補正係数を決定する補正係数決定手段と、
前記画像入力手段により入力された画像から顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定手段により決定された明度補正係数および色相補正係数に基づき明度および色相の補正を行なう画像補正手段と、
を具備したことを特徴とする画像処理装置。
【請求項２】
人物の少なくとも顔画像を含む画像を入力する画像入力手段と、
この画像入力手段により入力された画像から人物の目および口の位置を抽出する目および口抽出手段と、
この目および口抽出手段により抽出された目および口の位置から当該人物の顔の大きさを算出し、この算出した顔の大きさから当該顔の位置および大きさが目標値となるように補正するための顔補正係数を決定する補正係数決定手段と、
前記画像入力手段により入力された画像から、前記補正係数決定手段により決定された顔補正係数に基づき顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定手段により決定された顔補正係数に基づき大きさの補正を行なう画像補正手段と、
を具備したことを特徴とする画像処理装置。
【請求項３】
前記画像補正手段により補正された顔画像に対し記憶色再現のための色相補正を行なう記憶色再現処理手段をさらに具備したことを特徴とする請求項１または請求項２記載の画像処理装置。
【請求項４】
人物の少なくとも顔画像を含む画像を入力する画像入力手段と、
この画像入力手段により入力された画像から人物の瞳を含む領域を抽出する瞳領域抽出手段と、
この瞳領域抽出手段により抽出された瞳を含む領域から瞳および口の位置を抽出する瞳および口抽出手段と、
この瞳および口抽出手段により抽出された瞳および口の位置から当該人物の顔の大きさを算出し、この算出した顔の大きさから当該顔の位置および大きさが目標値となるように補正するための顔補正係数を決定する第１の補正係数決定手段と、
前記瞳領域抽出手段により抽出された瞳を含む領域から白目領域を抽出し、この抽出した白目領域の明度および色相を測定することで明度補正係数および色相補正係数を決定する第２の補正係数決定手段と、
前記画像入力手段により入力された画像から、前記第１の補正係数決定手段により決定された顔補正係数に基づき顔画像を抽出し、この抽出した顔画像に対し前記第１の補正係数決定手段により決定された顔補正係数に基づき大きさの補正を行なう第１の画像補正手段と、
この第１の画像補正手段により補正された顔画像に対し、前記第２の補正係数決定手段により決定された明度補正係数および色相補正係数に基づき明度および色相の補正を行なう第２の画像補正手段と、
を具備したことを特徴とする画像処理装置。
【請求項５】
前記第２の画像補正手段により補正された顔画像に対し記憶色再現のための色相補正を行なう記憶色再現処理手段をさらに具備したことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記画像入力手段により入力される画像は、人物が独自の撮影環境にて撮影した当該人物の少なくとも顔画像を含む画像が記録された可搬性のある記録媒体から読込んだ前記画像であることを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項７】
人物の少なくとも顔画像を含む画像を入力する画像入力ステップと、
この画像入力ステップにより入力された画像から人物の瞳を含む領域を抽出する瞳領域抽出ステップと、
この瞳領域抽出ステップにより抽出された瞳を含む領域から白目領域を抽出し、この抽出した白目領域の明度および色相を測定することで明度補正係数および色相補正係数を決定する補正係数決定ステップと、
前記画像入力ステップにより入力された画像から顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定ステップにより決定された明度補正係数および色相補正係数に基づき明度および色相の補正を行なう画像補正ステップと、
を具備したことを特徴とする画像処理方法。
【請求項８】
人物の少なくとも顔画像を含む画像を入力する画像入力ステップと、
この画像入力ステップにより入力された画像から人物の目および口の位置を抽出する目および口抽出ステップと、
この目および口抽出ステップにより抽出された目および口の位置から当該人物の顔の大きさを算出し、この算出した顔の大きさから当該顔の位置および大きさが目標値となるように補正するための顔補正係数を決定する補正係数決定ステップと、
前記画像入力ステップにより入力された画像から、前記補正係数決定ステップにより決定された顔補正係数に基づき顔画像を抽出し、この抽出した顔画像に対し前記補正係数決定ステップにより決定された顔補正係数に基づき大きさの補正を行なう画像補正ステップと、
を具備したことを特徴とする画像処理方法。
【請求項９】
人物の少なくとも顔画像を含む画像を入力する画像入力ステップと、
この画像入力ステップにより入力された画像から人物の瞳を含む領域を抽出する瞳領域抽出ステップと、
この瞳領域抽出ステップにより抽出された瞳を含む領域から瞳および口の位置を抽出する瞳および口抽出ステップと、
この瞳および口抽出ステップにより抽出された瞳および口の位置から当該人物の顔の大きさを算出し、この算出した顔の大きさから当該顔の位置および大きさが目標値となるように補正するための顔補正係数を決定する第１の補正係数決定ステップと、
前記瞳領域抽出ステップにより抽出された瞳を含む領域から白目領域を抽出し、この抽出した白目領域の明度および色相を測定することで明度補正係数および色相補正係数を決定する第２の補正係数決定ステップと、
前記画像入力ステップにより入力された画像から、前記第１の補正係数決定ステップにより決定された顔補正係数に基づき顔画像を抽出し、この抽出した顔画像に対し前記第１の補正係数決定ステップにより決定された顔補正係数に基づき大きさの補正を行なう第１の画像補正ステップと、
この第１の画像補正ステップにより大きさが補正された顔画像に対し、前記第２の補正係数決定ステップにより決定された明度補正係数および色相補正係数に基づき明度および色相の補正を行なう第２の画像補正ステップと、
を具備したことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−６０５２５（Ｐ２００７−６０５２５Ａ）
【公開日】平成１９年３月８日（２００７．３．８）
【国際特許分類】
【出願番号】特願２００５−２４６１３９（Ｐ２００５−２４６１３９）
【出願日】平成１７年８月２６日（２００５．８．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１９年３月８日（２００７．３．８）
【国際特許分類】
【出願日】平成１７年８月２６日（２００５．８．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]