顔イラスト画生成方法及び顔イラスト画生成装置
【課題】複数の人物被写体が写った撮影画像であっても、その中の顔画像をＮ値化して綺麗な顔イラスト画を生成する方法及び生成する装置を提案する。
【解決手段】本発明による顔イラスト画生成方法は、撮影画像から顔画像検出し、決定された顔画像をグレースケール化した後、閾値決定用画像領域を切り出す。閾値決定用画像領域より広い範囲をイラスト画生成範囲として指定する。前記閾値決定用画像領域の輝度ヒストグラムを特徴点検出手段によって検出した黒目部分と小鼻の陰の部分の輝度でデータ補正を行って補正ヒストグラムを生成する。ヒストグラム補正手段と、前記生成範囲決定手段によって決定された範囲の画像から、閾値の値を前記補正ヒストグラムより決定する。前記生成範囲決定手段によって決定された範囲の画像を、前記閾値によって２値化し、顔の２値化画像を生成する。
【解決手段】本発明による顔イラスト画生成方法は、撮影画像から顔画像検出し、決定された顔画像をグレースケール化した後、閾値決定用画像領域を切り出す。閾値決定用画像領域より広い範囲をイラスト画生成範囲として指定する。前記閾値決定用画像領域の輝度ヒストグラムを特徴点検出手段によって検出した黒目部分と小鼻の陰の部分の輝度でデータ補正を行って補正ヒストグラムを生成する。ヒストグラム補正手段と、前記生成範囲決定手段によって決定された範囲の画像から、閾値の値を前記補正ヒストグラムより決定する。前記生成範囲決定手段によって決定された範囲の画像を、前記閾値によって２値化し、顔の２値化画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の中から顔画像を抽出して顔のイラスト画を生成する方法と、顔のイラスト画を生成する装置に関するものである。
【背景技術】
【０００２】
近年、携帯電話の普及に伴っていろいろな新しいサービスが行われるようになった。その１つに、携帯電話で撮影した顔写真をアップロードさせることで顔写真を２値化画像に変換しイラスト化した顔画像を提供するサービスがある。このサービスは、２値化画像に最適化させるために、背景の明るさや色などを指定するなど撮影条件を限定して撮影させるものであり、撮影条件を守らずに撮影した画像では、綺麗な２値化画像を得ることが難しい。
【０００３】
一方、画像の２値化については以前より種々の提案がなされている。例えば、下記特許文献１には、濃い図形や薄い図形を含む画像を２値化して見易い画像とするときに、薄い図形がノイズによって見難くならないようにした局所的２値化方法が提案されている。また、下記特許文献２には、網掛けされた文字を含む画像でも見易い２値化画像を生成するとともに、何も書かれていないところのノイズを拾って生成してしまうことのない２値化方法が提案されている。
【特許文献１】特開２００１−２４５１４８号公報
【特許文献２】特開２００１−２２２６８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述のように、顔のイラスト画像を生成するには、そのための最適条件で画像の撮影を行わなければならず、非常に不便である。また、前述の特許文献に記載された判別分析法を応用した２値化技術では顔のような陰影が細かく分布した画像では綺麗な２値化画像を生成することが困難であった。
【０００５】
本発明は、係る問題に鑑み、複数の人物被写体が写った撮影画像であっても、その中の顔画像をＮ値化して綺麗な顔イラスト画を生成する方法及び生成する装置を提案する。
【課題を解決するための手段】
【０００６】
本発明による顔イラスト画生成方法は、入力手段によって取り込まれた撮影画像から選択された顔画像のイラスト画を生成する顔イラスト画生成方法であって、白黒画像に変換するグレースケール化手段によってグレースケール化された前記顔画像から、顔の肌部分を切り出して閾値決定用画像領域とする顔領域切出手段と、頭部全体が含まれるように前記閾値決定用画像領域より広い範囲をイラスト画生成範囲として指定する生成範囲決定手段と、前記閾値決定用画像領域の輝度ヒストグラムを生成するヒストグラム生成手段と、前記閾値決定用画像領域から、顔の肌部分で最も暗い部分と黒目部分とを検出する特徴点検出手段と、前記輝度ヒストグラムに対して、前記黒目部分より輝度が低い領域を前記黒目部分の輝度と同じとするとともに、前記顔の肌部分で最も暗い部分より輝度が高い領域を前記顔の肌部分で最も暗い部分の輝度と同じとするデータ補正を行って、補正ヒストグラムを生成するヒストグラム補正手段と、前記生成範囲決定手段によって決定された画像からＮ値化画像を生成するために、前記補正ヒストグラムより３個以下の閾値の値を決定する閾値決定手段と、前記生成範囲決定手段によって決定された画像を、前記閾値決定手段によって決定された閾値でＮ値化し、Ｎ値化画像を生成するＮ値化画像生成手段と、によって、顔のＮ値化画像を生成する。
【０００７】
前記Ｎ値化画像生成のためのＮ数は、手動操作によって選択され決定されるようにしても良い。また、前記撮影画像の中から目の座標を取得して目の輪郭部を検出し、検出した輪郭部を太くする補正を行う目輪郭補正手段を備えるようにすると好適である。前記イラスト化された顔画像をベクタデータ化する手段を備えるようにすると好ましい。
【０００８】
本発明による顔イラスト画生成装置は、撮影画像を取り込む入力手段と、前記撮影画像の中からイラスト画を生成する顔画像を決定する顔画像決定手段と、前記顔画像決定手段で決定された顔画像からＮ値化画像を生成する請求項１乃至４いずれかに記載の顔イラスト画生成方法を実行する顔イラスト画生成手段と、前記顔イラスト画生成手段によって生成されたＮ値化画像を出力する出力手段と、を備える。
【発明の効果】
【０００９】
本発明による顔イラスト画生成方法及び顔イラスト画生成装置によれば、顔のイラスト画を生成するにあたって、ユーザーに対して最適条件で撮影を行うことを強いることがなく、複数の人物被写体が写った画像など、どのような画像からでも顔画像が存在するものであれば、綺麗にＮ値化された顔画像を簡単な操作で生成することができる。
【発明を実施するための最良の形態】
【００１０】
図１に示すように、本発明による顔イラスト画生成装置１０は、撮影画像Ａ（図３を参照）を取り込んで２値化画像Ｂ（図４を参照）を生成する装置である。略矩形のケース部材１１の前面にＬＣＤパネル１２及び電源ボタン１３、選択ボタン１４、決定ボタン１５が設けられ、側面には画像の記録されたメモリカード１６と、生成されたイラスト画像を保存するメモリカード１７がそれぞれ着脱自在に装填されるスロット１８，１９が設けられている。前記２枚のメモリカード１６，１７をスロット１８，１９に装填し、電源ボタン１３をオンにすると、ＬＣＤパネル１２に記録された撮影画像の全アイコンが表示される。ＬＣＤパネル１２の表面はタッチパネルになっており、使用者の指又は付属する操作ペン（図示せず）などを画面上の任意のアイコンに触れさせて希望するアイコンを選択するか、あるいは、選択ボタン１４を押してアイコンの指定を順次に移動して希望するアイコンを選択し、決定ボタン１５を押して選択したアイコンの撮影画像を表示することができる。
【００１１】
図２に示すように、メモリカード１６からメディアコントローラ（入力手段）２１によって読み出された撮影画像Ａは、データバス２２を介してシステムメモリ２３のＲＡＭ領域に一時記憶される。一時記憶された撮影画像Ａは、ＬＣＤドライバ２４でアナログのコンポジット信号に変換され、ＬＣＤパネル１２に送られ表示される。システムメモリ２３は、各種制御用のプログラムや設定情報などが記録されたＲＯＭや作業用メモリとしてのＲＡＭの機能を備えており、ＣＰＵ２５は各種情報をＲＯＭ領域からＲＡＭ領域に読み出して各種処理を実行する。例えば、ＲＯＭ領域に記憶されたシーケンスプログラムをワークメモリであるＲＡＭ領域に読み出して実行する。ＣＰＵ２５には、前記電源ボタン１３及び選択ボタン１４、決定ボタン１５の操作により発生する操作信号が入力される。
【００１２】
ＣＰＵ２５には、データバス２２を介して、撮影画像Ａの中から複数の顔画像Ｃ（図３を参照）を検出する顔画像検出回路（顔画像検出手段）２６と、前記選択ボタン１４及び決定ボタン１５の操作によってＬＣＤパネル１２に表示された複数の顔画像Ｃの中から１つを選択し決定する顔画像決定回路（顔画像決定手段）２７と、顔画像決定手段で決定された顔画像から２値化画像Ｂを生成する顔イラスト画生成部（顔イラスト画生成手段）３０と、システムメモリ２３のＲＡＭ領域に一時保存された２値化画像ＢをＲＡＭ領域から読み出してＪＰＥＧ形式などの所定の圧縮形式で圧縮処理する圧縮伸長処理回路２８と、圧縮された２値化画像Ｂをメモリカード１７に保存するメディアコントローラ（出力手段）２９とが接続されている。前記圧縮形式は、白領域を透明、黒領域を不透明とみなした透過ＰＮＧ、透過ＧＩＦなどであっても良い。また、前記圧縮の前に、ベクタデータ化回路（ベクタデータ化手段）によってＣＡＤデータへの変換が可能なベクタデータ化してから所定の圧縮形式で圧縮した後、メモリカード１７に保存するようにしても良い。
【００１３】
顔画像検出回路２６は、撮影画像Ａを正方格子状に分割し（例えば１６×１６）、各分割領域に含まれる赤、緑、青の各色信号の信号レベルから皮膚と推定される肌色の画素を多く含む分割領域を選び出し、肌色の画素を多く含む領域から目の白色の画素と黒目と推定される黒色の画素とを有する領域を選び出して、その領域から画像上の両目の位置座標を求め、その周囲の肌色の画素を多く含む領域を顔領域と見なす。特開２００７−２２６４２４号公報に記載されているように、顔領域の検出によって、鼻や口など顔パーツの識別、顔の肌部分で最も暗い部分（例えば、小鼻の陰の部分など）の検出、これらの座標データ化などの実行が可能である。
【００１４】
前記顔イラスト画生成部３０は、撮影画像Ａを白黒画像に変換するグレースケール化回路（グレースケール化手段）３１と、グレースケール化された撮影画像Ａから頭髪や背景ができるだけ含まれないように顔の肌部分全体が納まる範囲を四角形に切り出して閾値決定用画像領域Ｄ（図５を参照）とする顔領域切出回路（顔領域切出手段）３２と、頭髪を含む頭部全体が含まれるように閾値決定用画像領域Ｄより広い範囲をイラスト画生成範囲Ｅ（図６を参照）として指定する生成範囲決定回路（生成範囲決定手段）３３と、前記閾値決定用画像領域Ｄの輝度ヒストグラムＦ（図７を参照）を生成するヒストグラム生成回路（ヒストグラム生成手段）３４と、閾値決定用画像領域Ｄから黒目部分Ｇ（図５を参照）と小鼻の陰の部分（顔の肌部分で最も暗い部分）Ｈ（図５を参照）とを検出する特徴点検出回路（特徴点検出手段）３５と、輝度ヒストグラムＦに対して前記黒目部分Ｇより輝度が低い領域を前記黒目部分の輝度と同じとするとともに前記小鼻の陰の部分Ｈより輝度が高い領域を前記小鼻の陰の部分の輝度と同じとするデータ補正を行って補正ヒストグラムＫ（図８を参照）を生成するヒストグラム補正回路（ヒストグラム補正手段）３６と、イラスト画生成範囲Ｅから２値化画像Ｂを生成するための閾値の値を前記補正ヒストグラムより決定する閾値決定回路（閾値決定手段）３７と、イラスト画生成範囲Ｅの画像を前記閾値で２値化して２値化画像Ｂを生成する２値化画像生成回路（２値化画像生成手段）３８と、撮影画像Ａの中から目の座標を取得して目の輪郭部を検出し検出した輪郭部を太くする補正を行う目輪郭補正回路（目輪郭補正手段）３９と、から構成される。
【００１５】
次に、図９に示すフローチャートに沿って本発明による顔イラスト画生成方法について説明する。顔イラスト画生成装置１０に設けられたスロット１８に撮影画像Ａが記録されたメモリカード１６を装填し、生成された２値化画像Ｂを保存するメモリカード１７をスロット１９に装填して、電源ボタン１３をオンにすると、メモリカード１６に記録された撮影画像の全アイコンがＬＣＤパネル１２に表示される。付属する操作ペンを希望するアイコンに触れさせて選択し、決定ボタン１５を押すと、選択したアイコンの撮影画像Ａが表示される。表示された撮影画像Ａは、顔画像検出回路２６によって画像上の全ての顔画像が検出される。ここで、顔画像が検出できなかったときは、その旨のメッセージがＬＣＤパネル１２に表示されるので、ユーザーは別の撮影画像を選択し直すことになる。
【００１６】
図１０に示すフローチャートに沿って、顔画像の決定までを説明する。顔画像が検出されると、顔画像決定回路２７によって顔画像の数が確認される。顔画像が１つであった場合は、その顔画像に決定される。顔画像が複数であった場合は、最も大きい顔画像が選択表示（例えば、図３のＣに枠が表示）される。その状態で、決定ボタン１５が押されるとその顔画像に決定され、選択ボタン１４が押されると次に大きい画像（例えば、図３のＣ２に枠が表示）が選択表示される。最も小さい顔画像が選択表示されている時に選択ボタン１４が押された場合は最も大きい顔画像が選択表示される。
【００１７】
図９に戻って説明する。顔画像が決定されると、グレースケール化回路３１によって撮影画像Ａがグレースケールに変換され、グレースケール化された撮影画像Ａから、顔領域切出回路３２によって閾値決定用画像領域Ｄが切り出されるとともに、生成範囲決定回路３３によって閾値決定用画像領域Ｄより広い範囲（例えば、長さで１．８倍）がイラスト画生成範囲Ｅとして切り出される。切り出された閾値決定用画像領域Ｄは、ヒストグラム生成回路３４によって輝度ヒストグラムＦが生成される。輝度ヒストグラムＦが生成されると、特徴点検出回路３５は前記顔画像検出回路２６から目の位置情報を取得して閾値決定用画像領域Ｄの黒目部分Ｇと小鼻の陰の部分Ｈを特定する。検出された黒目部分Ｇの輝度Ｐと小鼻の陰の部分Ｈの輝度Ｑが測定され、ヒストグラム補正回路３６によって前記輝度ヒストグラムＦが補正されて補正ヒストグラムＫが生成される。この補正ヒストグラムＫに判別分析法を適用して閾値Ｒが求められる。ここで、前記イラスト画生成範囲Ｅの画像データが閾値Ｒによって２値化され、２値化画像に変換される。その後、２値化画像は目輪郭補正回路３９によって輪郭部を太くする補正が行われ完成する。
【００１８】
２値化画像の保存方法はメモリカードだけとは限らない。例えば、出力手段として、無線ＬＡＮを通じてメール送信、またはウエブ上のサーバへアップロードする手段を備えるようにしても良い。
【００１９】
前記実施形態は、撮影画像Ａを２値化して顔のイラスト画を生成する方法について説明したが、本発明は、２値化に限るものではなく、３値化、あるいは４値化による顔イラスト画生成方法についても提案するものである。もちろん、５値化、６値化したイラスト画を生成することも可能であるが、濃度分割を多くすることが必ずしも良いイラスト画を得ることになる訳ではないので、２〜４値化の中から選択するものについて説明する。
【００２０】
Ｎを２〜４とするＮ値化画像を生成可能なＮ値化画像生成装置で、Ｎ値化画像を生成する場合について説明する。前述の実施形態と異なるところは、２値化、３値化、４値化のための閾値が求められること、２値化、３値化、４値化した全ての画像が生成されること、２値化、３値化、４値化した画像の中から１つを選択し決定する手段を備えていることであり、その他の部分は同じであるから、前述の実施形態と同じ部分については説明を省略する。
【００２１】
図１１に示すフローチャートに沿って説明する。輝度ヒストグラムＦを補正して補正ヒストグラムＫを求めるところまでは、図１０のフローチャートと同じである。この補正ヒストグラムＫに判別分析法を適用して２値化用の閾値Ｒが求められるとともに、閾値Ｒの低輝度側と高輝度側に２つの閾値Ｓ，Ｔが設定される（図１２参照）。前記イラスト画生成範囲Ｅに対して、閾値Ｒによる２値化画像データが生成されるとともに、閾値Ｓ，Ｔによって３値化画像データが生成され、閾値Ｒ，Ｓ，Ｔによって４値化画像データが生成される。前記ＬＣＤパネルには最初に２値化画像が表示されているが、選択ボタン１４が操作されると３値化画像に表示が切り替り、続いて選択ボタン１４が操作されると４値化画像が表示される。ユーザーはＬＣＤパネルに表示された画像を確認した後に決定ボタン１５を操作する。決定ボタン１５が操作されたときに表示されている画像がイラスト画生成画像として決定される。
【００２２】
前記実施形態では、顔画像が複数であった場合は、最も大きい顔画像が選択され表示されるとしたが、顔画像を表示する順番はこれに限ることはなく、例えば、正面を向いた画像から表示させる、あるいは、笑った顔を優先的に表示させるなど、複数の表示方法が考えられる。
【００２３】
前記実施形態では、２値化、３値化、４値化画像をユーザーが確認しながら選択するようにしたが、ヒストグラム識別回路とパターンテンプレートを用いて、前記輝度ヒストグラムあるいは前記補正ヒストグラムから最適なＮ値化画像を自動的に選択するようにしても良い。
【図面の簡単な説明】
【００２４】
【図１】本発明による顔イラスト画生成装置の概観斜視図である。
【図２】顔イラスト画生成装置の電気的構成を示すブロック図である。
【図３】撮影画像を示す模式図である。
【図４】２値化画像を示す模式図である。
【図５】閾値決定用画像領域を示す模式図である。
【図６】顔のイラスト画生成範囲を示す模式図である。
【図７】輝度ヒストグラムを示す模式図である。
【図８】補正ヒストグラムを示す模式図である。
【図９】２値化画像生成方法の手順を示すフローチャートである。
【図１０】２値化画像を生成する顔を決定する手順を示すフローチャートである。
【図１１】Ｎ値化画像生成方法の手順を示すフローチャートである。
【図１２】Ｎ値化画像生成のための補正ヒストグラムを示す模式図である。
【符号の説明】
【００２５】
１０ 顔イラスト画生成装置
１２ ＬＣＤパネル
１３ 電源ボタン
１４ 選択ボタン
１５ 決定ボタン
１６，１７ メモリカード
２１ メディアコントローラ（入力手段）
２３ システムメモリ
２４ ＬＣＤドライバ
２５ ＣＰＵ
２６ 顔画像検出回路（顔画像検出手段）
２７ 顔画像決定回路（顔画像決定手段）
２９ メディアコントローラ（出力手段）
３０ 顔イラスト画生成部（顔イラスト画生成手段）
３１ グレースケール化回路（グレースケール化手段）
３２ 顔領域切出回路（顔領域切出手段）
３３ 生成範囲決定回路（生成範囲決定手段）
３４ ヒストグラム生成回路（ヒストグラム生成手段）
３５ 特徴点検出回路（特徴点検出手段）
３６ ヒストグラム補正回路（ヒストグラム補正手段）
３７ 閾値決定回路（閾値決定手段）
３８ ２値化画像生成回路（Ｎ値化画像生成手段）
３９ 目輪郭補正回路（目輪郭補正手段）
Ａ 撮影画像
Ｂ ２値化画像
Ｃ 顔画像
Ｄ 閾値決定用画像領域
Ｅ イラスト画生成範囲
Ｆ 輝度ヒストグラム
Ｇ 黒目部分
Ｈ 小鼻の陰の部分（顔の肌部分で最も暗い部分）
Ｋ 補正ヒストグラム
Ｐ 黒目部分の輝度
Ｑ 小鼻の陰の部分の輝度
Ｒ，Ｓ，Ｔ 閾値
【技術分野】
【０００１】
本発明は、撮影画像の中から顔画像を抽出して顔のイラスト画を生成する方法と、顔のイラスト画を生成する装置に関するものである。
【背景技術】
【０００２】
近年、携帯電話の普及に伴っていろいろな新しいサービスが行われるようになった。その１つに、携帯電話で撮影した顔写真をアップロードさせることで顔写真を２値化画像に変換しイラスト化した顔画像を提供するサービスがある。このサービスは、２値化画像に最適化させるために、背景の明るさや色などを指定するなど撮影条件を限定して撮影させるものであり、撮影条件を守らずに撮影した画像では、綺麗な２値化画像を得ることが難しい。
【０００３】
一方、画像の２値化については以前より種々の提案がなされている。例えば、下記特許文献１には、濃い図形や薄い図形を含む画像を２値化して見易い画像とするときに、薄い図形がノイズによって見難くならないようにした局所的２値化方法が提案されている。また、下記特許文献２には、網掛けされた文字を含む画像でも見易い２値化画像を生成するとともに、何も書かれていないところのノイズを拾って生成してしまうことのない２値化方法が提案されている。
【特許文献１】特開２００１−２４５１４８号公報
【特許文献２】特開２００１−２２２６８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述のように、顔のイラスト画像を生成するには、そのための最適条件で画像の撮影を行わなければならず、非常に不便である。また、前述の特許文献に記載された判別分析法を応用した２値化技術では顔のような陰影が細かく分布した画像では綺麗な２値化画像を生成することが困難であった。
【０００５】
本発明は、係る問題に鑑み、複数の人物被写体が写った撮影画像であっても、その中の顔画像をＮ値化して綺麗な顔イラスト画を生成する方法及び生成する装置を提案する。
【課題を解決するための手段】
【０００６】
本発明による顔イラスト画生成方法は、入力手段によって取り込まれた撮影画像から選択された顔画像のイラスト画を生成する顔イラスト画生成方法であって、白黒画像に変換するグレースケール化手段によってグレースケール化された前記顔画像から、顔の肌部分を切り出して閾値決定用画像領域とする顔領域切出手段と、頭部全体が含まれるように前記閾値決定用画像領域より広い範囲をイラスト画生成範囲として指定する生成範囲決定手段と、前記閾値決定用画像領域の輝度ヒストグラムを生成するヒストグラム生成手段と、前記閾値決定用画像領域から、顔の肌部分で最も暗い部分と黒目部分とを検出する特徴点検出手段と、前記輝度ヒストグラムに対して、前記黒目部分より輝度が低い領域を前記黒目部分の輝度と同じとするとともに、前記顔の肌部分で最も暗い部分より輝度が高い領域を前記顔の肌部分で最も暗い部分の輝度と同じとするデータ補正を行って、補正ヒストグラムを生成するヒストグラム補正手段と、前記生成範囲決定手段によって決定された画像からＮ値化画像を生成するために、前記補正ヒストグラムより３個以下の閾値の値を決定する閾値決定手段と、前記生成範囲決定手段によって決定された画像を、前記閾値決定手段によって決定された閾値でＮ値化し、Ｎ値化画像を生成するＮ値化画像生成手段と、によって、顔のＮ値化画像を生成する。
【０００７】
前記Ｎ値化画像生成のためのＮ数は、手動操作によって選択され決定されるようにしても良い。また、前記撮影画像の中から目の座標を取得して目の輪郭部を検出し、検出した輪郭部を太くする補正を行う目輪郭補正手段を備えるようにすると好適である。前記イラスト化された顔画像をベクタデータ化する手段を備えるようにすると好ましい。
【０００８】
本発明による顔イラスト画生成装置は、撮影画像を取り込む入力手段と、前記撮影画像の中からイラスト画を生成する顔画像を決定する顔画像決定手段と、前記顔画像決定手段で決定された顔画像からＮ値化画像を生成する請求項１乃至４いずれかに記載の顔イラスト画生成方法を実行する顔イラスト画生成手段と、前記顔イラスト画生成手段によって生成されたＮ値化画像を出力する出力手段と、を備える。
【発明の効果】
【０００９】
本発明による顔イラスト画生成方法及び顔イラスト画生成装置によれば、顔のイラスト画を生成するにあたって、ユーザーに対して最適条件で撮影を行うことを強いることがなく、複数の人物被写体が写った画像など、どのような画像からでも顔画像が存在するものであれば、綺麗にＮ値化された顔画像を簡単な操作で生成することができる。
【発明を実施するための最良の形態】
【００１０】
図１に示すように、本発明による顔イラスト画生成装置１０は、撮影画像Ａ（図３を参照）を取り込んで２値化画像Ｂ（図４を参照）を生成する装置である。略矩形のケース部材１１の前面にＬＣＤパネル１２及び電源ボタン１３、選択ボタン１４、決定ボタン１５が設けられ、側面には画像の記録されたメモリカード１６と、生成されたイラスト画像を保存するメモリカード１７がそれぞれ着脱自在に装填されるスロット１８，１９が設けられている。前記２枚のメモリカード１６，１７をスロット１８，１９に装填し、電源ボタン１３をオンにすると、ＬＣＤパネル１２に記録された撮影画像の全アイコンが表示される。ＬＣＤパネル１２の表面はタッチパネルになっており、使用者の指又は付属する操作ペン（図示せず）などを画面上の任意のアイコンに触れさせて希望するアイコンを選択するか、あるいは、選択ボタン１４を押してアイコンの指定を順次に移動して希望するアイコンを選択し、決定ボタン１５を押して選択したアイコンの撮影画像を表示することができる。
【００１１】
図２に示すように、メモリカード１６からメディアコントローラ（入力手段）２１によって読み出された撮影画像Ａは、データバス２２を介してシステムメモリ２３のＲＡＭ領域に一時記憶される。一時記憶された撮影画像Ａは、ＬＣＤドライバ２４でアナログのコンポジット信号に変換され、ＬＣＤパネル１２に送られ表示される。システムメモリ２３は、各種制御用のプログラムや設定情報などが記録されたＲＯＭや作業用メモリとしてのＲＡＭの機能を備えており、ＣＰＵ２５は各種情報をＲＯＭ領域からＲＡＭ領域に読み出して各種処理を実行する。例えば、ＲＯＭ領域に記憶されたシーケンスプログラムをワークメモリであるＲＡＭ領域に読み出して実行する。ＣＰＵ２５には、前記電源ボタン１３及び選択ボタン１４、決定ボタン１５の操作により発生する操作信号が入力される。
【００１２】
ＣＰＵ２５には、データバス２２を介して、撮影画像Ａの中から複数の顔画像Ｃ（図３を参照）を検出する顔画像検出回路（顔画像検出手段）２６と、前記選択ボタン１４及び決定ボタン１５の操作によってＬＣＤパネル１２に表示された複数の顔画像Ｃの中から１つを選択し決定する顔画像決定回路（顔画像決定手段）２７と、顔画像決定手段で決定された顔画像から２値化画像Ｂを生成する顔イラスト画生成部（顔イラスト画生成手段）３０と、システムメモリ２３のＲＡＭ領域に一時保存された２値化画像ＢをＲＡＭ領域から読み出してＪＰＥＧ形式などの所定の圧縮形式で圧縮処理する圧縮伸長処理回路２８と、圧縮された２値化画像Ｂをメモリカード１７に保存するメディアコントローラ（出力手段）２９とが接続されている。前記圧縮形式は、白領域を透明、黒領域を不透明とみなした透過ＰＮＧ、透過ＧＩＦなどであっても良い。また、前記圧縮の前に、ベクタデータ化回路（ベクタデータ化手段）によってＣＡＤデータへの変換が可能なベクタデータ化してから所定の圧縮形式で圧縮した後、メモリカード１７に保存するようにしても良い。
【００１３】
顔画像検出回路２６は、撮影画像Ａを正方格子状に分割し（例えば１６×１６）、各分割領域に含まれる赤、緑、青の各色信号の信号レベルから皮膚と推定される肌色の画素を多く含む分割領域を選び出し、肌色の画素を多く含む領域から目の白色の画素と黒目と推定される黒色の画素とを有する領域を選び出して、その領域から画像上の両目の位置座標を求め、その周囲の肌色の画素を多く含む領域を顔領域と見なす。特開２００７−２２６４２４号公報に記載されているように、顔領域の検出によって、鼻や口など顔パーツの識別、顔の肌部分で最も暗い部分（例えば、小鼻の陰の部分など）の検出、これらの座標データ化などの実行が可能である。
【００１４】
前記顔イラスト画生成部３０は、撮影画像Ａを白黒画像に変換するグレースケール化回路（グレースケール化手段）３１と、グレースケール化された撮影画像Ａから頭髪や背景ができるだけ含まれないように顔の肌部分全体が納まる範囲を四角形に切り出して閾値決定用画像領域Ｄ（図５を参照）とする顔領域切出回路（顔領域切出手段）３２と、頭髪を含む頭部全体が含まれるように閾値決定用画像領域Ｄより広い範囲をイラスト画生成範囲Ｅ（図６を参照）として指定する生成範囲決定回路（生成範囲決定手段）３３と、前記閾値決定用画像領域Ｄの輝度ヒストグラムＦ（図７を参照）を生成するヒストグラム生成回路（ヒストグラム生成手段）３４と、閾値決定用画像領域Ｄから黒目部分Ｇ（図５を参照）と小鼻の陰の部分（顔の肌部分で最も暗い部分）Ｈ（図５を参照）とを検出する特徴点検出回路（特徴点検出手段）３５と、輝度ヒストグラムＦに対して前記黒目部分Ｇより輝度が低い領域を前記黒目部分の輝度と同じとするとともに前記小鼻の陰の部分Ｈより輝度が高い領域を前記小鼻の陰の部分の輝度と同じとするデータ補正を行って補正ヒストグラムＫ（図８を参照）を生成するヒストグラム補正回路（ヒストグラム補正手段）３６と、イラスト画生成範囲Ｅから２値化画像Ｂを生成するための閾値の値を前記補正ヒストグラムより決定する閾値決定回路（閾値決定手段）３７と、イラスト画生成範囲Ｅの画像を前記閾値で２値化して２値化画像Ｂを生成する２値化画像生成回路（２値化画像生成手段）３８と、撮影画像Ａの中から目の座標を取得して目の輪郭部を検出し検出した輪郭部を太くする補正を行う目輪郭補正回路（目輪郭補正手段）３９と、から構成される。
【００１５】
次に、図９に示すフローチャートに沿って本発明による顔イラスト画生成方法について説明する。顔イラスト画生成装置１０に設けられたスロット１８に撮影画像Ａが記録されたメモリカード１６を装填し、生成された２値化画像Ｂを保存するメモリカード１７をスロット１９に装填して、電源ボタン１３をオンにすると、メモリカード１６に記録された撮影画像の全アイコンがＬＣＤパネル１２に表示される。付属する操作ペンを希望するアイコンに触れさせて選択し、決定ボタン１５を押すと、選択したアイコンの撮影画像Ａが表示される。表示された撮影画像Ａは、顔画像検出回路２６によって画像上の全ての顔画像が検出される。ここで、顔画像が検出できなかったときは、その旨のメッセージがＬＣＤパネル１２に表示されるので、ユーザーは別の撮影画像を選択し直すことになる。
【００１６】
図１０に示すフローチャートに沿って、顔画像の決定までを説明する。顔画像が検出されると、顔画像決定回路２７によって顔画像の数が確認される。顔画像が１つであった場合は、その顔画像に決定される。顔画像が複数であった場合は、最も大きい顔画像が選択表示（例えば、図３のＣに枠が表示）される。その状態で、決定ボタン１５が押されるとその顔画像に決定され、選択ボタン１４が押されると次に大きい画像（例えば、図３のＣ２に枠が表示）が選択表示される。最も小さい顔画像が選択表示されている時に選択ボタン１４が押された場合は最も大きい顔画像が選択表示される。
【００１７】
図９に戻って説明する。顔画像が決定されると、グレースケール化回路３１によって撮影画像Ａがグレースケールに変換され、グレースケール化された撮影画像Ａから、顔領域切出回路３２によって閾値決定用画像領域Ｄが切り出されるとともに、生成範囲決定回路３３によって閾値決定用画像領域Ｄより広い範囲（例えば、長さで１．８倍）がイラスト画生成範囲Ｅとして切り出される。切り出された閾値決定用画像領域Ｄは、ヒストグラム生成回路３４によって輝度ヒストグラムＦが生成される。輝度ヒストグラムＦが生成されると、特徴点検出回路３５は前記顔画像検出回路２６から目の位置情報を取得して閾値決定用画像領域Ｄの黒目部分Ｇと小鼻の陰の部分Ｈを特定する。検出された黒目部分Ｇの輝度Ｐと小鼻の陰の部分Ｈの輝度Ｑが測定され、ヒストグラム補正回路３６によって前記輝度ヒストグラムＦが補正されて補正ヒストグラムＫが生成される。この補正ヒストグラムＫに判別分析法を適用して閾値Ｒが求められる。ここで、前記イラスト画生成範囲Ｅの画像データが閾値Ｒによって２値化され、２値化画像に変換される。その後、２値化画像は目輪郭補正回路３９によって輪郭部を太くする補正が行われ完成する。
【００１８】
２値化画像の保存方法はメモリカードだけとは限らない。例えば、出力手段として、無線ＬＡＮを通じてメール送信、またはウエブ上のサーバへアップロードする手段を備えるようにしても良い。
【００１９】
前記実施形態は、撮影画像Ａを２値化して顔のイラスト画を生成する方法について説明したが、本発明は、２値化に限るものではなく、３値化、あるいは４値化による顔イラスト画生成方法についても提案するものである。もちろん、５値化、６値化したイラスト画を生成することも可能であるが、濃度分割を多くすることが必ずしも良いイラスト画を得ることになる訳ではないので、２〜４値化の中から選択するものについて説明する。
【００２０】
Ｎを２〜４とするＮ値化画像を生成可能なＮ値化画像生成装置で、Ｎ値化画像を生成する場合について説明する。前述の実施形態と異なるところは、２値化、３値化、４値化のための閾値が求められること、２値化、３値化、４値化した全ての画像が生成されること、２値化、３値化、４値化した画像の中から１つを選択し決定する手段を備えていることであり、その他の部分は同じであるから、前述の実施形態と同じ部分については説明を省略する。
【００２１】
図１１に示すフローチャートに沿って説明する。輝度ヒストグラムＦを補正して補正ヒストグラムＫを求めるところまでは、図１０のフローチャートと同じである。この補正ヒストグラムＫに判別分析法を適用して２値化用の閾値Ｒが求められるとともに、閾値Ｒの低輝度側と高輝度側に２つの閾値Ｓ，Ｔが設定される（図１２参照）。前記イラスト画生成範囲Ｅに対して、閾値Ｒによる２値化画像データが生成されるとともに、閾値Ｓ，Ｔによって３値化画像データが生成され、閾値Ｒ，Ｓ，Ｔによって４値化画像データが生成される。前記ＬＣＤパネルには最初に２値化画像が表示されているが、選択ボタン１４が操作されると３値化画像に表示が切り替り、続いて選択ボタン１４が操作されると４値化画像が表示される。ユーザーはＬＣＤパネルに表示された画像を確認した後に決定ボタン１５を操作する。決定ボタン１５が操作されたときに表示されている画像がイラスト画生成画像として決定される。
【００２２】
前記実施形態では、顔画像が複数であった場合は、最も大きい顔画像が選択され表示されるとしたが、顔画像を表示する順番はこれに限ることはなく、例えば、正面を向いた画像から表示させる、あるいは、笑った顔を優先的に表示させるなど、複数の表示方法が考えられる。
【００２３】
前記実施形態では、２値化、３値化、４値化画像をユーザーが確認しながら選択するようにしたが、ヒストグラム識別回路とパターンテンプレートを用いて、前記輝度ヒストグラムあるいは前記補正ヒストグラムから最適なＮ値化画像を自動的に選択するようにしても良い。
【図面の簡単な説明】
【００２４】
【図１】本発明による顔イラスト画生成装置の概観斜視図である。
【図２】顔イラスト画生成装置の電気的構成を示すブロック図である。
【図３】撮影画像を示す模式図である。
【図４】２値化画像を示す模式図である。
【図５】閾値決定用画像領域を示す模式図である。
【図６】顔のイラスト画生成範囲を示す模式図である。
【図７】輝度ヒストグラムを示す模式図である。
【図８】補正ヒストグラムを示す模式図である。
【図９】２値化画像生成方法の手順を示すフローチャートである。
【図１０】２値化画像を生成する顔を決定する手順を示すフローチャートである。
【図１１】Ｎ値化画像生成方法の手順を示すフローチャートである。
【図１２】Ｎ値化画像生成のための補正ヒストグラムを示す模式図である。
【符号の説明】
【００２５】
１０ 顔イラスト画生成装置
１２ ＬＣＤパネル
１３ 電源ボタン
１４ 選択ボタン
１５ 決定ボタン
１６，１７ メモリカード
２１ メディアコントローラ（入力手段）
２３ システムメモリ
２４ ＬＣＤドライバ
２５ ＣＰＵ
２６ 顔画像検出回路（顔画像検出手段）
２７ 顔画像決定回路（顔画像決定手段）
２９ メディアコントローラ（出力手段）
３０ 顔イラスト画生成部（顔イラスト画生成手段）
３１ グレースケール化回路（グレースケール化手段）
３２ 顔領域切出回路（顔領域切出手段）
３３ 生成範囲決定回路（生成範囲決定手段）
３４ ヒストグラム生成回路（ヒストグラム生成手段）
３５ 特徴点検出回路（特徴点検出手段）
３６ ヒストグラム補正回路（ヒストグラム補正手段）
３７ 閾値決定回路（閾値決定手段）
３８ ２値化画像生成回路（Ｎ値化画像生成手段）
３９ 目輪郭補正回路（目輪郭補正手段）
Ａ 撮影画像
Ｂ ２値化画像
Ｃ 顔画像
Ｄ 閾値決定用画像領域
Ｅ イラスト画生成範囲
Ｆ 輝度ヒストグラム
Ｇ 黒目部分
Ｈ 小鼻の陰の部分（顔の肌部分で最も暗い部分）
Ｋ 補正ヒストグラム
Ｐ 黒目部分の輝度
Ｑ 小鼻の陰の部分の輝度
Ｒ，Ｓ，Ｔ 閾値
【特許請求の範囲】
【請求項１】
入力手段によって取り込まれた顔画像のイラスト画を生成する顔イラスト画生成方法であって、
白黒画像に変換するグレースケール化手段によってグレースケール化され、前記顔画像から顔の肌部分全体が納まる範囲を切り出して閾値決定用画像領域とする顔領域切出手段と、
頭部全体が含まれるように前記閾値決定用画像領域より広い範囲をイラスト画生成範囲として指定する生成範囲決定手段と、
前記閾値決定用画像領域の輝度ヒストグラムを生成するヒストグラム生成手段と、
前記閾値決定用画像領域から、顔の肌部分で最も暗い部分と黒目部分とを検出する特徴点検出手段と、
前記輝度ヒストグラムに対して、前記黒目部分より輝度が低い領域を前記黒目部分の輝度と同じとするとともに、前記顔の肌部分で最も暗い部分より輝度が高い領域を前記顔の肌部分で最も暗い部分の輝度と同じとするデータ補正を行って、補正ヒストグラムを生成するヒストグラム補正手段と、
前記生成範囲決定手段によって決定された画像からＮ値化画像を生成するために、前記補正ヒストグラムより３個以下の閾値の値を決定する閾値決定手段と、
前記生成範囲決定手段によって決定された画像を、前記閾値決定手段によって決定された閾値でＮ値化し、Ｎ値化画像を生成するＮ値化画像生成手段と、
によって、顔のＮ値化画像を生成することを特徴とする顔イラスト画生成方法。
【請求項２】
前記Ｎ値化画像生成のためのＮ数は、手動操作によって選択され決定されることを特徴とする請求項１記載の顔イラスト画生成方法。
【請求項３】
前記撮影画像の中から目の座標を取得して目の輪郭部を検出し、検出した輪郭部を太くする補正を行う目輪郭補正手段を備えたことを特徴とする請求項１又は２記載の顔イラスト画生成方法。
【請求項４】
前記Ｎ値化画像をベクタデータ化する手段を備えたことを特徴とする請求項１乃至３いずれかに記載の顔イラスト画生成方法。
【請求項５】
顔画像を取り込む入力手段と、
請求項１乃至４いずれかに記載の顔イラスト画生成方法を実行する顔イラスト画生成手段と、
前記顔イラスト画生成手段によって生成されたＮ値化画像を出力する出力手段と、
を備えたことを特徴とする顔イラスト画生成装置。
【請求項１】
入力手段によって取り込まれた顔画像のイラスト画を生成する顔イラスト画生成方法であって、
白黒画像に変換するグレースケール化手段によってグレースケール化され、前記顔画像から顔の肌部分全体が納まる範囲を切り出して閾値決定用画像領域とする顔領域切出手段と、
頭部全体が含まれるように前記閾値決定用画像領域より広い範囲をイラスト画生成範囲として指定する生成範囲決定手段と、
前記閾値決定用画像領域の輝度ヒストグラムを生成するヒストグラム生成手段と、
前記閾値決定用画像領域から、顔の肌部分で最も暗い部分と黒目部分とを検出する特徴点検出手段と、
前記輝度ヒストグラムに対して、前記黒目部分より輝度が低い領域を前記黒目部分の輝度と同じとするとともに、前記顔の肌部分で最も暗い部分より輝度が高い領域を前記顔の肌部分で最も暗い部分の輝度と同じとするデータ補正を行って、補正ヒストグラムを生成するヒストグラム補正手段と、
前記生成範囲決定手段によって決定された画像からＮ値化画像を生成するために、前記補正ヒストグラムより３個以下の閾値の値を決定する閾値決定手段と、
前記生成範囲決定手段によって決定された画像を、前記閾値決定手段によって決定された閾値でＮ値化し、Ｎ値化画像を生成するＮ値化画像生成手段と、
によって、顔のＮ値化画像を生成することを特徴とする顔イラスト画生成方法。
【請求項２】
前記Ｎ値化画像生成のためのＮ数は、手動操作によって選択され決定されることを特徴とする請求項１記載の顔イラスト画生成方法。
【請求項３】
前記撮影画像の中から目の座標を取得して目の輪郭部を検出し、検出した輪郭部を太くする補正を行う目輪郭補正手段を備えたことを特徴とする請求項１又は２記載の顔イラスト画生成方法。
【請求項４】
前記Ｎ値化画像をベクタデータ化する手段を備えたことを特徴とする請求項１乃至３いずれかに記載の顔イラスト画生成方法。
【請求項５】
顔画像を取り込む入力手段と、
請求項１乃至４いずれかに記載の顔イラスト画生成方法を実行する顔イラスト画生成手段と、
前記顔イラスト画生成手段によって生成されたＮ値化画像を出力する出力手段と、
を備えたことを特徴とする顔イラスト画生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−６６９５４（Ｐ２０１０−６６９５４Ａ）
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願番号】特願２００８−２３１９０９（Ｐ２００８−２３１９０９）
【出願日】平成２０年９月１０日（２００８．９．１０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願日】平成２０年９月１０日（２００８．９．１０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]