画像処理装置、画像処理方法及びコンピュータプログラム
【課題】複数の人物が動きのあるポーズをとる場合でも、撮影した画像にて人物の顔を小顔に見せる加工処理を有効に行なうことができる画像処理装置、画像処理方法及びコンピュータプログラムを提供する。
【解決手段】顔検出により得られた顔領域から一の顔領域を選択し、選択した顔領域内で特定されている目、鼻又は口の領域の位置に基づき、顔中心を特定する。選択した顔領域に対応する顔への小顔率を設定し（Ｓ９６）、設定した小顔率で、マスクが掛けられた作業領域内の各画素をグリッド毎に、顔中心へ向けて移動させ（Ｓ９７）、小顔処理を実現する。
【解決手段】顔検出により得られた顔領域から一の顔領域を選択し、選択した顔領域内で特定されている目、鼻又は口の領域の位置に基づき、顔中心を特定する。選択した顔領域に対応する顔への小顔率を設定し（Ｓ９６）、設定した小顔率で、マスクが掛けられた作業領域内の各画素をグリッド毎に、顔中心へ向けて移動させ（Ｓ９７）、小顔処理を実現する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の人物の顔を加工する画像処理装置に関する。特に、複数の人物が動きのあるポーズをとる場合でも、画像に対し各人物の顔を小顔に見せる加工処理を有効に行なうことができる画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
画像処理技術の進歩により、カメラでの撮影により得られる画像に種々の加工を加える画像処理が即時的に行なわれるようになった。
【０００３】
特許文献１には、ユーザ自身を撮影した写真画像が簡易に印刷出力され、ユーザが写真画像を得ることができる自動写真撮影装置に関し、撮像画像に対して画像の一部を拡大又は縮小することによって変形させ、面白味のある印刷出力を得ることができる自動写真撮影装置の技術が開示されている。
【０００４】
また特許文献２には、証明写真等の写真画像を出力するに際し、人物を撮影した撮像画像から顔領域を抽出し、更に顔の特徴点を検出し、検出した顔の特徴点の位置に基づいて顔がほっそりするように顔の輪郭を加工することにより、従来の写真スタジオでの撮影技術又はノウハウによらずに、見栄えの良い画像を得ることができる画像補正装置の技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２６７１５６号公報
【特許文献２】特開２００４−３１８２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献２に開示された技術により、人物を撮影した画像から顔の輪郭を抽出し、顔がほっそりするように輪郭を加工することができる。しかしながら、特許文献２に開示されている技術で想定されている加工対象の画像は、カメラに正面を向けた１人の人物を撮像する肖像写真又は証明写真等の画像である。
【０００７】
肖像写真又は証明写真を撮るなどの特定の場合以外では、被写体となる人物は、カメラの撮影範囲の垂直方向に対して平行に写るような直立した姿勢で写されるとは限らない。特に、ユーザ自身をカメラで写真撮影し、撮影した画像に対し合成する画像の編集を受け付け、編集された画像と撮影した画像とを合成して所定の用紙に印刷し、写真シールとして提供する画像出力装置、所謂プリクラ（登録商標）では、被写体となる人物は一人とは限らず、更に各人物は様々な動きのあるポーズで写ることが多い。
【０００８】
複数の人物が重なって写る場合、各人物の輪郭に対しても加工を行なう構成とすると、輪郭に歪みが出るなどの不具合が生じる可能性がある。例えば特許文献２に開示されている技術では、顔領域を顔の両側から幅を狭めるように対称に縮小している。人物が重なっているにも拘わらず一方の人物の顔領域を縮小させた場合、縮小される輪郭付近の他方の人物の顔領域における画像情報が欠落するなど歪みが生じる可能性がある。
【０００９】
また、各人物が夫々、顔を斜めに傾けて写る、又は顔を斜めに向けて写るなどした場合がある。この場合に認識された顔領域を、正面を向いているという前提で対称に縮小する加工を行なった場合、顔領域内に歪みが生じる可能性も考えられる。
【００１０】
このように、撮像される人物が複数である可能性があり、且つ動きのあるポーズをとることが想定される場合、いずれの人物の顔領域にも同じように加工を施す構成では、本来はすべきでない箇所に無用に加工がされ、人物の顔に歪みが生じるなどの問題が起こる可能性があり、効果的に見栄えを良くすることは困難である。
【００１１】
本発明は斯かる事情に鑑みてなされたものであり、人物が動きのあるポーズをとる場合でも、撮影した画像中の人物の顔を小顔に見せる加工処理を有効に行なうことができる画像処理装置、画像処理方法及びコンピュータプログラムを提供することを目的とする。
【００１２】
また本発明の目的は、画像の加工によって輪郭の不自然な歪みが発生することを防止でき、人物の顔を小顔に見せる加工処理を有効に行なうことができる画像処理装置を提供することにある。
【００１３】
本発明の目的は、顔の目、鼻又は口が写る位置から基準となる位置を特定し、基準に基づき画像の加工処理を行なうことにより、人物が動きのあるポーズをとる場合でも各人物の顔を小顔に見せる加工処理を有効に行なうことができる画像処理装置を提供することにある。
【００１４】
本発明の目的は、人物の顔の分類別に加工することができ、人物が動きのあるポーズをとる場合でも、各々の顔を小顔に見せる加工処理を有効に行なうことができる画像処理装置を提供することにある。
【００１５】
更に本発明の目的は、人物が動きのあるポーズをとる場合でも、各々の人物の写り方及び顔の特性に応じて不自然とならないように、小顔に見せる加工処理を有効に行なうことができる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１６】
本発明に係る画像処理装置は、画像中の人物の顔を検出する検出手段と、検出した顔を加工する加工手段とを備える画像処理装置において、前記検出手段が検出した顔の輪郭に基づき加工処理範囲の境界を特定する処理境界線を設定する処理境界設定手段と、前記顔の輪郭を含む所定範囲を顔領域として画像から抽出する手段と、前記検出手段が検出した顔の目、鼻又は口の各領域を特定する手段と、特定した各領域の位置に基づいて顔中心を特定する手段とを備え、前記加工手段は、顔領域内で特定した顔中心へ向け、設定した処理境界線内の領域の画像を縦横夫々所定の比率にて縮小させるようにしてあることを特徴とする。
【００１７】
本発明に係る画像処理装置は、特定した目、鼻又は口の各領域の内、両目の領域を結ぶ第１直線、及び、鼻の領域又は口の領域の中心を顔に対し縦方向に通る第２直線を特定する手段と、第１直線及び第２直線の交点から、第１直線が顔の輪郭と交わる２つの交点までの長さを夫々特定する手段と、第１直線及び第２直線の交点から、第２直線が顔の下部で顔の輪郭と交わる交点までの長さを特定する手段と、特定された夫々の長さに基づき、撮像画像に写っている人物の顔の型を分類する手段と、分類した型に応じて、縦横の収縮率を夫々調整するための前記所定の比率に対する係数を決定する手段とを更に備えることを特徴とする。
【００１８】
本発明に係る画像処理装置は、前記加工手段は、顔領域内であって更に処理境界線内の領域の画像を、両目の領域を除いて収縮させるようにしてあることを特徴とする。
【００１９】
本発明に係る画像処理装置は、特定した目の領域の、顔領域に対する大きさを求める手段と、求めた大きさと予め与えられた基準の大きさとを比較する手段と、比較結果に応じた目の大きさの拡大率を算出する手段とを備え、前記加工手段は、算出した拡大率に基づき、前記特定した両目の領域の画像を拡大させるようにしてあることを特徴とする。
【００２０】
本発明に係る画像処理方法は、画像中の人物の顔を検出し、検出した顔を加工する画像処理方法において、検出された顔の輪郭に基づき加工処理範囲の境界を特定する処理境界線を設定し、顔の輪郭を含む所定範囲を顔領域として画像から抽出し、検出した顔の目、鼻又は口の各領域を特定し、特定した各領域の位置に基づいて顔中心を特定し、顔領域内で特定した顔中心へ向け、設定した処理境界線内の領域の画像を縦横夫々所定の比率にて縮小させることを特徴とする。
【００２１】
本発明に係るコンピュータプログラムは、コンピュータに、画像に写る人物の顔を検出させ、検出された顔を加工させるためのコンピュータプログラムにおいて、コンピュータに、検出された顔の輪郭に基づき加工処理範囲の境界を特定する処理境界線を設定するステップと、顔の輪郭を含む所定範囲を顔領域として画像から抽出するステップと、検出した顔の目、鼻又は口の各領域を特定するステップと、特定した各領域の位置に基づいて顔中心を特定するステップと、顔領域内で特定した顔中心へ向け、設定した処理境界線内の領域の画像を縦横夫々所定の比率にて縮小させるステップとを実行させるためのコンピュータプログラムであることを特徴とする。
【００２２】
本発明では、顔の目、鼻又は口が写る領域が特定され、目、鼻又は口の領域の位置に基づき顔中心が特定される。顔中心へ向けて処理境界線内の領域が縦横夫々所定の比率で収縮される加工が行なわれる。これにより、顔が傾いて写っている場合、顔が正面を向いていない場合でも自然な画像となるように加工することが可能となる。
【００２３】
本発明では、両目の領域を結ぶ第１直線、鼻又は口の領域の中心を通る第２直線が特定される。第１直線及び第２直線の交点から顔の横方向の両端までの幅、前記交点から顎の先端に当たる部分までの長さに基づいて顔の型が分類され、顔型の分類に基づき、縦横の収縮率を調整するための係数が決定される。これにより、面長顔である場合は縦の収縮率を相対的に大きくし、幅広顔である場合は横の収縮率を相対的に大きくするなど、顔型の分類に応じた効果的な加工が行なわれる。
【００２４】
本発明では、両目の領域が除外されて収縮される。顔領域の両目の領域以外が収縮される補正により、両目が相対的に大きくなるように加工される。
【００２５】
本発明では、両目の領域の画像は、顔領域の大きさに対する大きさと、予め与えられた基準となる大きさとの比較判定結果に応じて求められる拡大率により、両目が相対的に大きくなるように加工される。
【発明の効果】
【００２６】
本発明による場合、顔領域として抽出される領域の中心を顔中心とするのでなく、眉間に当たる部分が顔中心として特定され、顔中心に向かい収縮されることによって加工が行なわれるので、人物が顔を傾けて写るか、又は正面を向かずに写るかなど、動きのあるポーズをとる画像であっても、人物の顔を小顔に見せる加工を有効に行なうことができる。
【００２７】
本発明による場合、顔中心を基準に顔型の分類がされ、顔型の分類に応じた加工が行なわれるので、人物が動きのあるポーズをとる画像であっても、顔を小顔に見せる加工を有効に行なうことができる。
【００２８】
本発明による場合、人物が動きのあるポーズをとる画像であっても、両目の部分に無用に加工が行なわれることを防止でき、各人物の顔を小顔に見せる加工を有効に行なうことができる。
【００２９】
本発明による場合、人物が動きのあるポーズをとる画像であっても、各々の人物の顔領域の大きさに、顔領域の大きさに対する両目の領域の大きさの特性に応じた拡大率にて両目の領域の画像が拡大され、顔を小顔に見せ、且つ理想的な顔に近づけさせる加工を有効に行なうことができる。顔の大きさに対する大きさにて拡大率が調整されるので、奥に写る人物と、手前に写る人物とで両目の領域の拡大を適切に調節できる。更に、基準となる大きさとの比較判定結果に応じて拡大率が調整されるので、一律の割合で拡大するよりも、異なる特性の顔に応じて両目の領域を拡大して小顔に見せる加工を有効に行なうことができる。
【図面の簡単な説明】
【００３０】
【図１】本実施の形態における画像出力装置の外観を示す斜視図である。
【図２】本実施の形態における画像出力装置の外観を示す斜視図である。
【図３】本実施の形態に係る画像出力装置の構成を模式的に示すブロック図である。
【図４】本実施の形態に係る画像出力装置の構成を模式的に示すブロック図である。
【図５】実施の形態１におけるＣＰＵが写真撮影、編集、印刷を実行する処理手順を示すフローチャートである。
【図６】実施の形態１における画像処理部のＣＰＵにより実行される画像処理手順の全体の一例を示すフローチャートである。
【図７】実施の形態１における画像処理部のＣＰＵにより実行される解析処理の一例を示すフローチャートである。
【図８】実施の形態１における画像処理部のＣＰＵにより実行される重複輪郭除外処理の一例を示すフローチャートである。
【図９】実施の形態１における画像処理部のＣＰＵにより実行される小顔処理の一例を示すフローチャートである。
【図１０】実施の形態１における画像処理部のＣＰＵにより実行される加工画像作成処理の一例を示すフローチャートである。
【図１１】ＣＰＵが制御部から取得した画像の内容例を示す説明図である。
【図１２】ＣＰＵにより顔検出処理が実行されて得られる情報の内容例を示す説明図である。
【図１３】ＣＰＵによる解析処理によって特定される顔中心の例を示す説明図である。
【図１４】ＣＰＵによる解析処理によって設定される輪郭処理線及び作業領域の例を示す説明図である。
【図１５】ＣＰＵによる解析処理によって設定される輪郭処理線及び作業領域の他の例を示す説明図である。
【図１６】ＣＰＵによる小顔処理の概要を示す説明図である。
【図１７】実施の形態２における画像処理部のＣＰＵにより実行される解析処理の一例を示すフローチャートである。
【図１８】実施の形態２における画像処理部のＣＰＵにより実行される顔分類の判別処理の一例を示すフローチャートである。
【図１９】画像中で検出される顔に対して特定される輪郭及び中央線の例を示す説明図である。
【図２０】実施の形態２における画像処理部のＣＰＵにより実行される小顔処理の一例を示すフローチャートである。
【図２１】実施の形態３における画像処理部のＣＰＵにより実行される解析処理の一例を示すフローチャートである。
【図２２】実施の形態３における画像処理部のＣＰＵにより実行される目の拡大率の算出処理の一例を示すフローチャートである。
【図２３】画像中で検出される顔領域から算出される目の大きさの例を示す説明図である。
【図２４】実施の形態３における画像処理部のＣＰＵにより実行される小顔処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００３１】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
【００３２】
以下の説明では、ユーザを写真撮影し、撮影した画像に基づいて写真シールを出力する画像出力装置に、本発明に係る画像処理装置を適用した例を挙げて説明する。つまり以下に示す実施の形態において、本発明に係る画像処理装置は画像出力装置に含まれ、写真シールを出力するために撮影された画像に対し補正を行なう。
【００３３】
（実施の形態１）
図１及び図２は、本実施の形態における画像出力装置の外観を示す斜視図である。画像出力装置は全体として略直方体形状のボックス型の装置であり、鉛直方向に略半分に分けるように仕切りが設けられている。画像出力装置は、この仕切りによって撮影空間Ｒ１及び編集空間Ｒ２に分けられている。図１は主に画像出力装置の撮影空間Ｒ１側から観た外観斜視図を示しており、図２は主に編集空間Ｒ２側から観た画像出力装置の外観斜視図を示している。
【００３４】
図１の斜視図に示すように、撮影空間Ｒ１は略直方体をなすフレームに囲まれた空間である。撮影空間Ｒ１は、ユーザからの料金の投入を受け付け、ユーザの写真撮影を実行するための空間である。撮影空間Ｒ１には、所定料金を受け付ける受付部１が外側に設けられており、また、編集空間Ｒ２との仕切りに相当する内部壁面にはユーザを撮影するためのカメラ２１、ディスプレイ２２等の機器を含む撮影部２が設けられている。
【００３５】
受付部１には、硬貨の投入を受け付けるコイン投入口１０と、コイン投入口１０から投入される硬貨の真偽を判定するコインセレクタ１１と、投入された硬貨の総額又は投入残額等の各種情報を表示するための表示パネル１２とが含まれる。コインセレクタ１１は、コイン投入口１０から投入される硬貨の真偽を判定して判定信号を送出する。コインセレクタ１１は、硬貨が偽と判定された場合、又は硬貨を受け付けないように設定されている間、図示しないコイン返却口へ硬貨を吐き出す。表示パネル１２は、液晶パネル、セグメントＬＥＤ等からなり、制御信号を受け付けてコインの投入を促す案内、投入すべき料金、投入総額、残額、又は他のユーザが撮影中でありコインの投入を受け付けていない旨の案内等を表示する。
【００３６】
受付部１に含まれている表示パネル１２及びコインセレクタ１１は、後述する第１筐体の内部に収納された制御機構に接続されており、制御機構との間で判定信号、制御信号等を送受信する。
【００３７】
ユーザは、受付部１のコイン投入口１０から所定料金に相当する硬貨を投入することにより、画像出力装置によるサービスを受けることができる。
【００３８】
撮影空間Ｒ１の内部、即ち撮影ブース内部には、撮影部２を構成する各機器が設置されている。撮影ブース内部の編集空間Ｒ２との空間を仕切る壁面の下部には、各機器を制御する制御機構を収納した第１筐体２０が設置されている。第１筐体２０の上方であって、立った状態のユーザの略目線の高さの位置にカメラ２１が設置されている。カメラ２１の下方には、カメラ２１から出力される映像信号に基づきプレビュー画面を表示し、且つユーザの操作を受け付けるタッチパネル式のディスプレイ２２が設定されている。また、カメラ２１及びディスプレイ２２を囲むように被写体に光を照射するストロボ・ランプ２３が設置されている。また、第１筐体２０上部には音楽、案内音声を出力するスピーカ２４，２４が設置されている。
【００３９】
撮影部２を構成するカメラ２１、ディスプレイ２２、ストロボ・ランプ２３及びスピーカ２４，２４は夫々、第１筐体２０の内部に設置されている制御機構に夫々接続されている。
【００４０】
カメラ２１は、ユーザを被写体として撮影するため、内部にレンズ群、絞り、シャッター、ＣＣＤ（Charge Coupled Device）等の撮像素子を含むデジタルカメラである。カメラ２１は、タイマー機能によりシャッターが動作して撮像素子から静止画像を取得し記憶することにより写真撮影を実行する。また、カメラ２１は起動している間、撮像素子から出力されるデジタル化された映像信号を制御機構へ出力している。制御機構からは、この映像信号に基づくプレビュー画面の表示用の撮影画像が出力される。
【００４１】
ディスプレイ２２は撮影中の操作を案内する操作画面とプレビュー画面とを表示するための液晶パネルを有し、カメラ２１からリアルタイムに出力される映像信号に基づいて制御機構から出力されている画像を受け付けて表示する。また、ディスプレイ２２はタッチパネル式であり、ユーザによってタッチされた箇所の画面上の位置の情報を含む信号が制御機構へ出力される。
【００４２】
ストロボ・ランプ２３は、撮影ブース内の照明機器であると共に、写真撮影時にはフラッシュとして機能する。なお、本実施の形態ではストロボ・ランプ２３は図に示すように７つに分けられており、制御機構に含まれる制御基盤を介して夫々の発光のタイミングがカメラ２１による写真撮影（シャッターの動作）に同期して制御される。
【００４３】
撮影ブースの外周は遮光性を有するシート材（図示せず）によって覆われている。このシート材によって外部からの光が遮断され、且つ外部からの覗き見を防止することができ、さらにユーザが撮影ブース内で自由にポーズをとることができるプライベート空間が実現される。
【００４４】
また、撮影ブース内側から見たシート材は均等な色調及び明度となるようにしてある。カメラ２１から観た場合にユーザの後方がシート材の均等な色調及び明度となるので、後述にて説明するようにユーザが写っている領域以外を透明化するクロマキー処理が可能になる。
【００４５】
ユーザは撮影ブース内に入り、ディスプレイ２２に表示される案内及びスピーカ２４，２４から出力される案内音声に従い操作画面を操作し、ストロボ・ランプ２３からの照明を受けてポーズを決め、カメラ２１による写真撮影を実行することができる。まず、ユーザはタッチパネル式のディスプレイ２２に表示される操作画面から、ユーザが写る写真を装飾する前景画像及び／又は背景画像を選択することができる。ユーザが前景画像及び／又は背景画像を選択した場合、ディスプレイ２２には、カメラ２１から制御機構を介してリアルタイムに出力されている画像、即ちカメラ２１から出力されている撮影画像、選択された前景画像及び／又は背景画像に基づく印刷結果のプレビュー画面が表示される。ユーザはプレビュー画面を確認しながらポーズを決め、写真撮影を実行することができる。
【００４６】
写真撮影が実行された場合、制御機構はカメラ２１で記憶された静止画像を取得し、後にユーザによる編集操作を受け付けるための画像、及び、後に印刷出力するための画像として夫々複製する。
【００４７】
次に図２の斜視図に示す編集空間Ｒ２に設置されている各構成部について説明する。編集空間Ｒ２は、上述の撮影空間Ｒ１の内部のカメラ２１、ディスプレイ２２、ストロボ・ランプ２３、スピーカ２４，２４及び第１筐体２０が設置されていた壁面の裏側の空間であり、ユーザが写真撮影を実行した後に画像の編集をすることができる空間である。図２に示す編集空間Ｒ２は撮影空間Ｒ１の上面から延設されているバーに取り付けられたカーテン状のシート材（図示せず）によって他の空間から仕切られる。そして編集空間Ｒ２には、以下に示す各構成部を内外に備える略直方体の第２筐体３０が設置されている。
【００４８】
第２筐体３０の一方の側面は撮影空間Ｒ１との仕切りである壁面に接しており、他の三側面の内の対向する面には夫々、写真撮影された画像及びその他の画像を編集するためのインタフェースを備える第１編集部４ａ及び第２編集部４ｂが設けられている。他方の側面には編集された画像を所定の写真シール用紙に印刷出力する印刷部５が設けられている。また、第２筐体３０の内部には、第１編集部４ａ、第２編集部４ｂ及び印刷部５の各構成部を制御する制御機構が設置されている。
【００４９】
なお、第１筐体２０及び第２筐体３０の相互に接している面は夫々が有する開口部（図示せず）を介して内部が連通しており、第１筐体２０の内部に設置されている撮影部２の制御機構と、第２筐体３０の内部に設置されている第１編集部４ａ、第２編集部４ｂ及び印刷部５の制御機構とは、複数のケーブル類によって接続されている。
【００５０】
第１編集部４ａには夫々、写真撮影された画像及び他の画像を編集するための操作画面を表示するタブレットディスプレイ４０ａと、２つのタッチペン４１ａ，４２ａと、スピーカ４３ａとが含まれる。なお後述の第２編集部４ｂにもタブレットディスプレイ４０ｂと、２つのタッチペン４１ｂ，４２ｂと、スピーカ４３ｂとが含まれている。第１編集部４ａ及び第２編集部４ｂ夫々のタブレットディスプレイ４０ａ，４０ｂ、２つのタッチペン４１ａ，４２ａ，４１ｂ，４２ｂ、及びスピーカ４３ａ，４３ｂは夫々、第２筐体３０の対向する面に向かい合うように設置されている。また、タブレットディスプレイ４０ａ，４０ｂ、タッチペン４１ａ，４２ａ，４１ｂ，４２ｂ及びスピーカ４３ａ，４３ｂは第２筐体３０の内部の制御機構に接続されている。
【００５１】
印刷部５には、第２筐体３０の内部に設置されており画像を所定の用紙に印刷するプリンタ５０と、印刷された用紙がプリンタから吐き出されるシール吐出口５１と、各種情報を表示する表示パネル５２とが含まれる。表示パネル５２は第２筐体３０の内部に設置された制御機構に接続されており、プリンタ５０も第２筐体３０の内部で制御機構に接続されている。
【００５２】
ユーザは、撮影ブース内で撮影部２により撮影を完了した後、第１編集部４ａ又は第２編集部４ｂにより印刷する画像の選択、選択した画像に対する落書き等の作業が可能である。第１編集部４ａ又は第２編集部４ｂ夫々のタブレットディスプレイ４０ａ，４０ｂには、写真撮影が実行されたことによって取得された画像と、選択された前景画像及び／又は背景画像とが共に表示される。タブレットディスプレイ４０ａ，４０ｂは、共に設置されているタッチペン４１ａ，４２ａ，４１ｂ，４２ｂによる操作を受け付けるようにしてあり、ユーザはタッチペン４１ａ，４２ａ，４１ｂ，４２ｂにより印刷する画像の選択及び選択した画像への文字、スタンプ状の絵柄の挿入などの操作が可能である。
【００５３】
制御機構により、写真撮影された画像に対し、後述する画像処理装置による補正処理が行なわれる。そして、ユーザによる編集が完了した場合、補正処理後の印刷出力用の画像に、選択された前景画像及び／又は背景画像、更に編集結果に基づく文字、絵柄等などが合成される。合成された後の画像が第２筐体３０内部に設置されているプリンタ５０によって所定の用紙に印刷される。印刷された所定の用紙は写真シールとしてシール吐出口５１に吐き出される。ユーザは、シール吐出口５１から完成した写真シールを取得することができ、これにより写真シールの撮影提供サービスが実現する。
【００５４】
図３及び図４は、本実施の形態に係る画像出力装置の構成を模式的に示すブロック図である。図３は、主に以下に説明する制御部６、画像処理部７、電源部８、通信部９及び受付部１の構成を示し、図４は、撮影部２、第１編集部４ａ、第２編集部４ｂ及び印刷部５の構成を示している。図３及び図４に示すように画像出力装置は、各構成部を制御する制御部６と、撮影された画像を補正する画像処理部７と、ＡＣ電源から電力を供給する電源部８と、インターネット等の外部ネットワークＮへ通信が可能な通信部９と、上述のコイン投入口１０、コインセレクタ１１及び表示パネル１２を含む受付部１と、カメラ２１、ディスプレイ２２、ストロボ・ランプ２３及びスピーカ２４，２４を含む撮影部２と、タブレットディスプレイ４０ａ、２つのタッチペン４１ａ，４２ａ及びスピーカ４３ａを含む第１編集部４ａと、タブレットディスプレイ４０ｂ、２つのタッチペン４１ｂ，４２ｂ及びスピーカ４３ｂを含む第２編集部４ｂと、プリンタ５０、シール吐出口５１及び表示パネル５２を含む印刷部５と、各部を接続するバス１００とにより構成される。なお、制御部６、画像処理部７、電源部８、通信部９及びバス１００が、第１筐体２０及び第２筐体３０の内部に設置された制御機構に対応する。
【００５５】
受付部１、撮影部２、第１編集部４ａ、第２編集部４ｂ及び印刷部５を夫々構成する各ハードウェアは、上述のように、画像出力装置のユーザによる操作が可能なように撮影空間Ｒ１、編集空間Ｒ２に設置されており、第１筐体２０及び第２筐体３０内部に設置されている制御機構内のバス１００に接続されている。これに対し制御部６、画像処理部７、電源部８及び通信部９は第１筐体２０及び第２筐体３０の内部に設置されている制御機構内に含まれており、制御機構内に配されたバス１００に接続されている。
【００５６】
制御機構は、第１筐体２０及び第２筐体３０の内部に設置された複数のパーソナルコンピュータ（以下、ＰＣ：Personal Computerという。）と、上述の受付部１、撮影部２、第１編集部４ａ、第２編集部４ｂ及び印刷部５を構成する各ハードウェアをＰＣから制御するための制御基盤とを含んで構成される。なお、複数のＰＣは夫々、その制御対象によって機能が分割される。例えば、撮影空間Ｒ１の受付部１を制御するＰＣと、撮影部２を制御するＰＣと、第１編集部４ａ及び第２編集部４ｂを制御するＰＣと、撮影された画像に画像処理を施し印刷部５にて出力するＰＣと、夫々機能が分割されて動作するように構成される。本実施の形態では、画像処理について主に説明するため仮想的に、受付部１、撮影部２、第１編集部４ａ及び第２編集部４ｂを制御する第１ＰＣと、画像処理を行ない印刷部５にて出力する第２ＰＣとの動作によって各構成部が制御されるとして以下に説明する。
【００５７】
制御部６には第１ＰＣに備えられた、各構成部のハードウェアを制御するＣＰＵ６０と、ＣＰＵ６０の動作により発生する情報を一時的に記憶するＤＲＡＭ（Dynamic Random Access Memory）等のメモリ６１と、各種データを記憶するＨＤＤ（Hard Disk Drive）６２と、撮影部２のカメラ２１から出力された映像信号から静止画像を撮影画像としてキャプチャし、クロマキー処理を実行するためのキャプチャ・クロマキーボード６３とが含まれる。
【００５８】
ＣＰＵ６０は、ＨＤＤ６２に記憶されている後述の制御プログラム６Ｐを読み出して実行することにより、受付部１のコインセレクタ１１からの判定信号を受け付け、受け付けた判定信号に応じて表示パネル１２へ制御信号を送出し、所定料金の受け付けを実現する。またＣＰＵ６０は、制御プログラム６Ｐを読み出して実行することにより、撮影部２のカメラ２１による撮影と、ストロボ・ランプ２３との動作を同期させる制御を行ない、カメラ２１によって写真撮影されて記憶された印刷出力用の画像を取得する処理、更に、カメラ２１から出力される映像信号を、キャプチャ・クロマキーボード６３を介してプレビュー画面、編集画面用の撮影画像として取得する処理、ディスプレイ２２に表示する処理、第１編集部４ａ及び第２編集部４ｂによる編集を受け付ける処理等の各種処理を実行する。
【００５９】
ＨＤＤ６２には、ＣＰＵ６０が各構成部のハードウェアを制御するための制御プログラム６Ｐが記憶されている。ＣＰＵ６０がＨＤＤ６２から制御プログラム６Ｐをメモリ６１に読み出して実行することにより、各ハードウェアの制御及び種々のソフトウェア機能が実現される。
【００６０】
また、ＨＤＤ６２には、制御プログラム６Ｐの他に、写真撮影された印刷出力用の画像と合成するための前景／背景画像、撮影部２のディスプレイ２２に撮影画像と共に表示するための前景／背景画像が記憶されている。ＨＤＤ６２には更に、撮影部２のディスプレイ２２に表示される操作画面に用いられる各画像、第１及び第２編集部４ａ，４ｂのタブレットディスプレイ４０ａ，４０ｂに表示される編集画面に用いられる画像、テキストファイル、スピーカ２４，２４，４３ａ，４３ｂに出力する案内音声などの音声データ等のデータが記憶されている。また、ＨＤＤ６２には、ユーザが写真撮影を実行したことでＣＰＵ６０によりカメラ２１から取得された印刷出力用の画像、前景画像及び／又は背景画像と合成処理が実行されることで得られる合成画像及び編集処理によって得られる編集画像が記憶される。
【００６１】
キャプチャ・クロマキーボード６３は、受け付けた映像信号から例えば毎秒３０枚の静止画像を取得して出力するキャプチャ機能と、キャプチャされた各静止画像から所定の色調及び明度の画素を認識し、一定の範囲内で同一の色調及び明度の画素に対してα値（透明度）を設定することにより透明化し出力するクロマキー機能とを有するハードウェアである。キャプチャ・クロマキーボード６３は、カメラ２１から出力される映像信号を受け付けるように接続されている。また、キャプチャ及びクロマキー処理された後の静止画像は、キャプチャ・クロマキーボード６３に内蔵される図示しないメモリに書き込まれる。ＣＰＵ６０は当該メモリから静止画像をプレビュー用の撮影画像として読み出し、クロマキー処理を行なわせ、ディスプレイ２２のプレビュー画面に表示する処理を実行する。
【００６２】
また、キャプチャ・クロマキーボード６３は、ドライバソフトにより毎秒取得する静止画像の枚数、及び透明化する所定の色調及び明度、例えばＲＧＢ値の設定が可能である。ＣＰＵ６０は、カメラ２１によって撮影される画像の内のユーザの後方に位置するシート材が写っている領域の色調及び明度を透明化するように指示する。これにより、ＣＰＵ６０は、キャプチャ・クロマキーボード６３にて、クロマキー処理された人物のみの人物画像を得ることができ、前景画像及び／又は背景画像と重ねてプレビュー画面を表示させることができる。
【００６３】
画像処理部７には第２ＰＣに備えられた、各構成部のハードウェアを制御するＣＰＵ７０と、ＣＰＵ７０の動作により発生する情報を一時的に記憶するＤＲＡＭ等のメモリ７１と、各種データを記憶するＨＤＤ７２と、画像及び描画命令を受け付けて描画処理を行なうグラフィックボード７３とが含まれる。画像処理部７は単独で、対象となる画像に対して後述する加工処理を行なう画像処理装置として動作することが可能である。
【００６４】
ＣＰＵ７０は、ＨＤＤ７２に記憶されている後述の画像処理プログラム７Ｐを読み出して実行することにより、制御部６の制御に基づく写真撮影によってカメラ２１にて撮影された画像を加工する画像処理を実現する。詳細には、制御部６の制御により、ユーザが写真撮影を実行してカメラ２１にて写真撮影された画像が画像処理部７へ受け渡される。そしてＣＰＵ７０は、制御部６から写真撮影された画像を取得してメモリ７１に書き込み、画像処理を実行することによって、画像中のユーザの顔を小顔にするなどの見栄えを良くする加工を行なう。画像処理の詳細については、後述にて説明する。
【００６５】
ＨＤＤ７２には、ＣＰＵ７０が、取得した画像に対する加工などの画像処理を行なうための画像処理プログラム７Ｐが記憶されている。画像処理プログラム７Ｐは、図示しないＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体に記録された画像処理プログラムをＨＤＤ７２に複製したものでもよいし、通信部９を介して取得したものでもよい。
【００６６】
グラフィックボード７３は、受け付けた画像及び描画命令に基づき、図示しない内蔵メモリに画像を描画するハードウェアである。ＣＰＵ７０は、自身が制御部６から取得してメモリ７１に一時的に記憶した画像に対する画像処理を、グラフィックボード７３を用いて行なう。具体的には、ＣＰＵ７０は画像と、画像処理に伴なう描画命令とをグラフィックボード７３に与えて描画処理を行なわせ、描画処理によって得られた画像をメモリ７１に取得する。
【００６７】
電源部８は、第１ＰＣ及び第２ＰＣのみならず各構成部へのＡＣ電源からの電力の供給を実現する。画像出力装置には、電源を投入する電源スイッチ（図示せず）が設けられており、電源部８に接続されている。電源部８は電源スイッチのオン／オフを検知し、画像出力装置の稼動／動作を切り替える。なお、電源部８はＵＰＳ（Uninterruptible Power Supply：無停電電源装置）ユニット８０を含んで構成される。ＵＰＳユニット８０により、ＡＣ電源からの電力が突然遮断された場合でも、各構成部へのダメージを減らすことができる。電源スイッチがオフに切り替えられた場合、ＵＰＳユニット８０は停電信号をＣＰＵ６０へ出力し、ＣＰＵ６０は停電信号を検知したときの所定の終了処理を行ない画像出力装置全体の電源をオフにする。
【００６８】
通信部９は、ＰＨＳユニット９０により構成され、制御部６（ＣＰＵ６０）に内部バス１００を介して接続されている。ＰＨＳユニット９０は、インターネット等の外部ネットワークＮに接続してデータの送受信を実現する。ＣＰＵ６０は、通信部９のＰＨＳユニット９０を介して外部ネットワークＮ上の他の装置と通信してデータの送受信が可能である。本実施の形態における画像出力装置では、ＣＰＵ９０はユーザの名前、メールアドレス等の識別情報又は送信先のＵＲＬと共に、撮影して編集した後の画像を外部ネットワークＮに接続している他のサーバ装置へ送信する機能を有している。この機能により、ユーザがサーバ装置から自身が撮影して編集した画像を携帯電話機又は自宅のＰＣにより閲覧することができるサービス、及び携帯電話機又はＰＣへダウンロードすることができるサービスが実現可能である。
【００６９】
このように構成される画像出力装置で、ユーザが写真プリントの提供サービスを受ける場合に、ＣＰＵ６０の処理に基づき画像出力装置にて実行される全体的処理について説明する。図５は、実施の形態１におけるＣＰＵ６０が写真撮影、編集、印刷を実行する処理手順を示すフローチャートである。
【００７０】
ＣＰＵ６０は、コイン投入口１０から所定料金を満たす硬貨が投入されたか否かを判断する（ステップＳ１）。ＣＰＵ６０は、所定料金を満たす硬貨が投入されていないと判断した場合（Ｓ１：ＮＯ）、処理をステップＳ１へ戻して所定料金を満たす硬貨が投入されたと判断するまで待機する。なお、この間ＣＰＵ６０は、表示パネル１２に投入済みの硬貨の総額を表示させるように制御信号を表示パネル１２へ出力する。
【００７１】
ＣＰＵ６０は、ステップＳ１において所定料金を満たす硬貨が投入されたと判断した場合（Ｓ１：ＹＥＳ）、表示パネル１２に案内情報の画面を表示し、更に撮影部２のディスプレイ２２に操作画面を表示させ、更にスピーカから案内音声を出力し（ステップＳ２）、ユーザに撮影ブース内に入り、撮影を実行するように促す。これにより、写真プリントサービスの提供が開始される。
【００７２】
ＣＰＵ６０は、ユーザがディスプレイ２２における操作画面などを操作することにより、合成させる前景画像及び／又は背景画像が選択され、更に、撮影が実行され、完了したか否かを判断する（ステップＳ３）。具体的には、前景画像及び／又は背景画像が選択されると、シャッターを動作させるためのカウントが開始され、ディスプレイ２２にプレビュー画面が表示される。そして、カウントアップされたとＣＰＵ６０が判断してシャッターを動作させ写真撮影が実行される。ユーザがプレビュー画面を見て撮影された画像で決定する旨のボタン等を操作するか、例えば６回などの所定回数の写真撮影が終了するかにより撮影が完了する。ＣＰＵ６０は、撮影が完了していないと判断した場合（Ｓ３：ＮＯ）、処理をステップＳ３へ戻して、撮影が完了するまで待機する。
【００７３】
ＣＰＵ６０は、撮影が完了したと判断した場合（Ｓ３：ＹＥＳ）、シャッターを動作させて写真撮影された画像をカメラ２１から取得し、選択された前景画像及び／又は背景画像と関連付けてメモリ６１に保存する（ステップＳ４）。そしてＣＰＵ６０は、ディスプレイ２２に案内情報の画面を表示させ、第１編集部４ａ又は第２編集部４ｂのタブレットディスプレイ４０ａ，４０ｂに操作画面を表示させ、スピーカ２４，２４によって案内音声を出力し（ステップＳ５）、ユーザに編集空間Ｒ２へ移動し、編集操作を行なうように促す。
【００７４】
次にＣＰＵ６０は、メモリ６１に保存した写真撮影された画像を画像処理部７へ受け渡して、画像処理を実行させる（ステップＳ６）。そしてＣＰＵ６０は、タブレットディスプレイ４０ａ，４０ｂの操作画面にて編集を受け付ける（ステップＳ７）。このとき、操作画面に表示されるユーザを撮影した画像は、画像処理後の画像であってもよい。この場合、ＣＰＵ６０は画像処理後の小顔にする加工が行なわれた撮影画像をキャプチャ・クロマキーボード６３にてクロマキー処理して人物のみの画像を作成し、操作画面に前景画像及び／又は背景画像と重ねて表示させる。
【００７５】
ＣＰＵ６０は、編集完了を指示する操作がされたことにより編集が完了し、且つ画像処理部７による画像処理が完了したか否かを判断する（ステップＳ８）。ＣＰＵ６０は、編集又は画像処理部７による画像処理のいずれかが未完了であると判断した場合（Ｓ８：ＮＯ）、処理をステップＳ８に戻して両者が完了するまで待機する。
【００７６】
ＣＰＵ６０は、編集及び画像処理のいずれもが完了したと判断した場合（Ｓ８：ＹＥＳ）、画像処理部７による画像処理によって加工が完了した加工画像と、編集結果の文字又は画像などの情報と、選択されて関連付けてメモリ６１に保存されている背景画像及び／又は前景画像とに対し合成処理を実行して合成画像を生成する（ステップＳ９）。ＣＰＵ６０は、生成された合成画像を操作画面に表示すると共に、印刷部５のプリンタ５０へ出力して印刷出力を指示する（ステップＳ１０）。このときＣＰＵ６０は、操作画面にて印刷レイアウトの選択、印刷指示を受け付けてもよい。
【００７７】
ＣＰＵ６０は、印刷が完了したか否かを判断し（ステップＳ１１）、印刷が完了していないと判断した場合（Ｓ１１：ＮＯ）、処理をステップＳ１１へ戻して印刷が完了したと判断するまで待機する。ＣＰＵ６０は、プリンタ５０における印刷が完了したと判断した場合（Ｓ１１：ＹＥＳ）、印刷が完了した旨を示す案内表示を印刷部５の表示パネル５２、第１編集部４ａ又は第２編集部４ｂのタブレットディスプレイ４０ａ，４０ｂに表示し、スピーカ４３ａ，４３ｂから案内音声を出力し（ステップＳ１２）、処理を終了する。
【００７８】
このとき、印刷された写真シールがシール吐出口５１に排出されているので、ユーザは自身が撮影された写真シールを取得することができる。このように、写真プリントサービスの提供が実現される。
【００７９】
次に、図５に示したフローチャートの内のステップＳ６における画像処理実行の指示に基づき、画像処理部７にて実行される画像処理について詳細を説明する。なお、カメラ２１から取得されて制御部６から受け渡される画像は、複数の画素の輝度値、色差値からなるデジタル画像データである。
【００８０】
図６は、実施の形態１における画像処理部７のＣＰＵ７０により実行される画像処理手順の全体の一例を示すフローチャートである。以下に示す処理は、ＣＰＵ７０がＨＤＤ７２から画像処理プログラム７Ｐを読み出して実行することにより実現される。
【００８１】
ＣＰＵ７０は、制御部６から受け渡される写真撮影された画像を取得し（ステップＳ１０１）、取得した画像から人物の顔を検出し（ステップＳ１０２）、検出した顔における各器官が写る領域を特定する（ステップＳ１０３）。更にＣＰＵ７０は、検出した人物の顔の輪郭を抽出する（ステップＳ１０４）。
【００８２】
ステップＳ１０２からステップＳ１０４までの顔検出、各器官領域の特定、及び輪郭抽出の処理は、肌色検出、テンプレートマッチングなどの種々の既存技術を利用して行なわれる。ステップＳ１０２の顔検出処理によってＣＰＵ７０は具体的に、画像中の顔が写っている領域（顔領域）の画像内における座標情報を得る。顔領域は具体的には、眉及び口の領域の外接矩形などである。顔領域は楕円形等でもよい。このとき、顔の傾きも検出され、画像に写る人物の顔が傾いている場合には、顔検出により得られる顔領域の横軸方向及び縦軸方向は、画像の水平方向及び垂直方向に対して傾いている。またこのとき、検出された顔の数が得られ、後の処理で用いるとしてもよい。また、ステップＳ１０３の各器官が写る領域の特定処理では、各器官、例えば目、鼻又は口の輪郭がテンプレートマッチングにより特定され、各器官の輪郭上の数点の座標情報、又は各器官を覆う楕円形状の画像内における座標情報が得られる。ステップＳ１０４における顔の輪郭抽出処理でも、肌色検出などにより顔の輪郭が抽出され、抽出された顔の輪郭上の数点の画像内における座標情報が得られる。
【００８３】
次にＣＰＵ７０は、ステップＳ１０２からステップＳ１０４までの処理によって得られる顔の輪郭、各器官領域に関する座標情報を解析する処理を行なう（ステップＳ１０５）。解析処理の詳細は後述にて説明するが、ここでは、ＣＰＵ７０は検出された顔を補正するための各種情報の特定、及び加工作業領域の設定を行なう。
【００８４】
ＣＰＵ７０は、ステップＳ１０２における顔検出処理の結果に基づき、取得した画像から複数の顔が検出されたか否かを判断する（ステップＳ１０６）。ＣＰＵ７０は、取得した画像から顔は複数検出されていないと判断した場合（Ｓ１０６：ＮＯ）、処理を後述のステップＳ１０８に進める。
【００８５】
ＣＰＵ７０は、取得した画像から複数の顔が検出されたと判断した場合（Ｓ１０６：ＹＥＳ）、各顔の輪郭夫々に対し、他の輪郭が重複するか否かを判断し、重複する輪郭に対応する顔を加工対象から除外する処理を行なう（ステップＳ１０７）。ステップＳ１０７の重複輪郭除外処理の詳細についても後述にて説明する。
【００８６】
次にＣＰＵ７０は、検出された顔を小顔になるよう加工する小顔処理を行なう準備のため、ステップＳ１０５の解析処理にて設定された作業領域内にグリッドを作成する（ステップＳ１０８）。グリッドの作成において例えばＣＰＵ７０は、作業領域を縦横夫々５０などの所定数で分割する。このとき、メッシュ分割してもよいし、顔の黄金比に応じた分割を行なってもよい。
【００８７】
そしてＣＰＵ７０は小顔処理を実行する（ステップＳ１０９）。小顔処理の詳細については後述にて説明する。
【００８８】
ＣＰＵ７０は、ステップＳ１０９にて小顔処理を実行した結果得られる画像を用い、加工画像作成処理を実行し（ステップＳ１１０）、後のＣＰＵ６０による合成画像生成処理に用いることができる画像を生成し、画像処理部７における画像処理を終了する。なお、ステップＳ１１０における加工画像作成処理についても詳細を後述にて説明する。
【００８９】
なお、ステップＳ１０２からステップＳ１０４までの処理の順序は図６のフローチャートに示す処理手順には限らず、前後してもよい。また、ステップＳ１０６における顔の数が複数であるか否かの判断処理は必須ではない。したがって、顔の数が複数であるか否かに関わらず、ステップＳ１０７の処理へ進めてよい。ステップＳ１０７における処理では、抽出された顔領域を一つずつ選択して処理を行なうようにしてあり、顔の数が複数であるか単数であるかによらずに処理が行なわれる。
【００９０】
図７は、実施の形態１における画像処理部７のＣＰＵ７０により実行される解析処理の一例を示すフローチャートである。図７のフローチャートに示す処理手順は、図６のフローチャートに示したステップＳ１０５の処理手順の詳細である。
【００９１】
ＣＰＵ７０は、顔検出により得られた顔領域から一の顔領域を選択し（ステップＳ５１）、選択した顔領域内で特定されている目、鼻又は口の領域の位置に基づき、顔中心を特定する（ステップＳ５２）。ステップＳ５２における顔中心の特定処理としてＣＰＵ７０は、ステップＳ１０３にて特定された鼻の領域の中心位置を顔中心と特定してもよいし、ステップＳ１０３にて特定された両目の領域の中心位置と、鼻の領域の中心位置とを結ぶ三角形の重心を顔中心と特定してもよい。本実施の形態における画像処理部７による処理では、顔検出により得られる顔領域である矩形の中心を顔中心とするのでなく、目、鼻又は口の位置から顔中心を特定する。本実施の形態のような写真プリントサービスの提供を受けるユーザは、顔をカメラ２１に向けずに、斜めに向けてポーズをとるなどの状況が考えられ、顔領域の中心が必ずしも顔中心と一致するとは限らないからである。
【００９２】
ＣＰＵ７０は、顔の輪郭を基に、輪郭を外側に拡大させた処理輪郭線を、加工処理の境界線とするために顔領域に設定する（ステップＳ５３）。具体的にＣＰＵ７０は、ステップＳ５２にて特定された顔中心を中心に、ステップＳ１０４にて抽出された顔の輪郭を拡大する。即ち、ＣＰＵ７０は、顔中心から顔の輪郭上の各点までの距離に、所定の拡大係数を乗じ、拡大係数を乗じて得られる距離にある点を結ぶ線を処理輪郭線として設定する。
【００９３】
次にＣＰＵ７０は、顔検出により得られた顔領域の横軸方向及び縦軸方向、即ち顔の横方向及び縦方向に平行であって、顔の中央線即ち鼻又は口の中心を通る線へ向かう処理ベクトルを特定する（ステップＳ５４）。ステップＳ５４にて特定される処理ベクトルは、後述の小顔処理において画像を収縮する方向及び大きさを示すベクトルとして利用される。ここで、顔の横方向と縦方向との夫々について処理ベクトルを特定することにより、顔の横方向及び縦方向夫々に対し、別個の比率で後述の小顔処理を行なうことが可能となる。
【００９４】
ＣＰＵ７０は、画像を収縮させる比率である処理係数を決定する（ステップＳ５５）。後述の小顔処理にて、ステップＳ５４で特定された横方向及び縦方向の処理ベクトルに沿って画像を収縮させるところ、処理係数とは、この際の画像の収縮率（小顔率）に対し、顔の大きさに応じて変化を加えるためのものである。具体的にＣＰＵ７０は、検出された顔の幅、即ち処理輪郭線の外接矩形の幅に基づき、処理係数を決定する。処理係数は顔領域の大きさ、即ち画像に占める比率に応じて変化するように予め設定されており、顔領域の大きさが比較的大きい場合、即ち手前に顔が写る場合と、顔領域の大きさが比較的小さい場合即ち奥に顔が写る場合とでは、顔の大きさが比較的大きい場合に収縮の比率が大きくなるようにしてある。これにより、奥に写る人物の顔は小さいにも拘らず更に無用に小さく加工されるなどの事態を防止する。
【００９５】
ＣＰＵ７０は、ステップＳ５３にて拡大した処理輪郭線を含む所定範囲を作業領域として設定する（ステップＳ５６）。ここでは、処理輪郭線の外接矩形（画像の垂直方向及び水平方向を、縦方向及び横方向とする）を所定の倍率で拡大したものを作業領域として設定する。作業領域を設定して、後述する小顔処理の対象領域を限定することにより、処理の高速化を図ることができる。
【００９６】
ＣＰＵ７０は、顔検出により得られた顔領域全てについて処理を行なったか否かを判断し（ステップＳ５７）、顔領域全てについて処理を行っていないと判断した場合（Ｓ５７：ＮＯ）、処理をステップＳ５１へ戻す。ＣＰＵ７０は、検出された顔全てについて処理を行なったと判断した場合（Ｓ５７：ＹＥＳ）、解析処理を終了し、図６のフローチャートにおけるステップＳ１０６へ処理を戻す。
【００９７】
図８は、実施の形態１における画像処理部７のＣＰＵ７０により実行される重複輪郭除外処理の一例を示すフローチャートである。図８のフローチャートに示す処理手順は、図６のフローチャートに示したステップＳ１０７の処理手順の詳細である。
【００９８】
ＣＰＵ７０は、顔検出により得られた顔領域から一の顔領域を選択し（ステップＳ７１）、選択した顔領域に設定されている処理輪郭線を取得する（ステップＳ７２）。ＣＰＵ７０は、取得した処理輪郭線が他の顔領域に対応付けられている処理輪郭線と交差するか否かを判断する（ステップＳ７３）。ステップＳ７３における判断処理は、処理輪郭線同士が交差するか否かのみならず、処理輪郭線間の距離が所定値以下であるか否かを判断してもよい。また、検出された顔の数が単数である場合は他の顔領域が存在しないので、ＣＰＵ７０は、ステップＳ７３の判断処理にて他の処理輪郭線と交差しないと判断する。
【００９９】
ＣＰＵ７０は、取得した処理輪郭線が他の処理輪郭線と交差しないと判断した場合（Ｓ７３：ＮＯ）、顔検出により得られた顔領域全てについて処理を行なったか否かを判断する（ステップＳ７４）。
【０１００】
ＣＰＵ７０は、取得した処理輪郭線が他の処理輪郭線と交差すると判断した場合（Ｓ７３：ＹＥＳ）、取得した処理輪郭線が設定されている顔領域を後述の小顔処理、即ち加工処理の対象から除外し（ステップＳ７５）、処理をステップＳ７４へ進める。なお、ＣＰＵ７０は具体的に、各顔領域に加工処理の対象外であるか否かを示すフラグ（デフォルトではオフ）を対応付けておき、ステップＳ７５では、当該フラグをオンにする。ＣＰＵ７０は、後述する小顔処理において当該フラグがオンである顔領域に対しては処理を行なわない。
【０１０１】
そしてＣＰＵ７０は、ステップＳ７４にて顔領域全てについて処理を行っていないと判断した場合（Ｓ７４：ＮＯ）、処理をステップＳ７１へ戻し、顔領域全てについて処理を行なったと判断した場合（Ｓ７４：ＹＥＳ）、解析処理を終了し、図６のフローチャートにおけるステップＳ１０８へ処理を戻す。
【０１０２】
図８のフローチャートに示した処理手順により、複数のユーザがカメラ２１に向けて前後になって写る場合などに顔が重なっているとき、又は顔を寄せて写る場合など顔が近接しているときに、顔領域に無用に加工を行なうことによって輪郭にて歪が生じる事態が防止される。
【０１０３】
図９は、実施の形態１における画像処理部７のＣＰＵ７０により実行される小顔処理の一例を示すフローチャートである。図９のフローチャートに示す処理手順は、図６のフローチャートに示したステップＳ１０９の処理手順の詳細である。ここで、以下に示す処理が行なわれるに際し、検出された顔の顔領域には作業領域が設定されており、更に作業領域内にグリッドが作成されている。
【０１０４】
ＣＰＵ７０は、顔検出により得られた顔領域から一の顔領域を選択し（ステップＳ９１）、選択した顔領域に設定されている作業領域に対し、後述の処理（Ｓ９６、Ｓ９７）を行なわないためのマスクを作成する（ステップＳ９２）。具体的にはＣＰＵ７０は、設定されている作業領域内であって、処理輪郭線の外側、目の領域、及び、両目の中央を結ぶ直線よりも上側の領域をマスキング対象領域（マスク）とする。そしてマスク内の画素に対するマスク値を「０」とし、それ以外の作業領域内の画素に対するマスク値を「１」とする。次にＣＰＵ７０は、ステップＳ９２で作成したマスクにおいて、処理輪郭線の内側との境界をぼかす処理を行なう（ステップＳ９３）。ぼかし処理を行なうことにより、マスク値が「１」である領域と、「０」である領域との境界がぼやけ、後述の処理（Ｓ９６、Ｓ９７）の結果が、自然な画像となる。
【０１０５】
ＣＰＵ７０は、全顔領域についてステップＳ９２及びＳ９３のマスクの処理を行なったか否かを判断し（ステップＳ９４）、全顔領域について処理を行なっていないと判断した場合（Ｓ９４：ＮＯ）、処理をステップＳ９１へ戻す。ＣＰＵ７０は、全顔領域について処理を行なったと判断した場合（Ｓ９４：ＹＥＳ）、次のステップへ処理を進める。
【０１０６】
ＣＰＵ７０は、再度顔検出により得られた顔領域から一の顔領域を選択し（ステップＳ９５）、選択した顔領域に対応する顔への小顔率を設定する（ステップＳ９６）。小顔率とは顔を小さくする効果の強さを示し、具体的には作業領域内の画像の収縮率である。小顔率には、０．９，０．８等任意の値を設定可能である。またこのとき、小顔率は顔の横方向と縦方向とで夫々異なる値を設定することが可能なように、横方向の小顔率と縦方向の小顔率とが設定される。
【０１０７】
ＣＰＵ７０は、ステップＳ９６で設定された小顔率で、マスクが掛けられた作業領域内の各画素をグリッド毎に、顔中心へ向けて移動させ（ステップＳ９７）、小顔処理を実現する。なお、グリッドを移動させる描画は、ＣＰＵ７０が描画命令を与えることによりグラフィックボード７３を用いて行なう。グリッド毎の移動量は、顔中心からの距離に応じて異なる。詳細には、各グリッド内の画素を、以下に示す式（１）で求められる移動量に基づいて顔中心へ向かって移動させる。
横方向移動量＝顔中心からの距離×横方向の小顔率×マスク値
縦方向移動量＝顔中心からの距離×縦方向の小顔率×マスク値
…（１）
【０１０８】
式（１）に示すように、マスク値に「０」が設定されたグリッドの画素は移動されない。また、ステップＳ９３におけるぼかし処理により、作業領域内のマスクとの境界付近のグリッドの移動量が境界に近いほど小さくなるように調整され、マスクとの境界では移動量はゼロである。これにより、マスキングされた領域外の作業領域内の画像が全体的に顔中心へ移動して、マスクとの境界付近の画素が欠落することが回避される。
【０１０９】
ＣＰＵ７０は、全顔領域についてステップＳ９６及びＳ９７の所定の比率の決定及び小顔処理を行なったか否かを判断し（ステップＳ９８）、全顔領域について処理を行なっていないと判断した場合（Ｓ９８：ＮＯ）、処理をステップＳ９５へ戻す。ＣＰＵ７０は、全顔領域について処理を行なったと判断した場合（Ｓ９８：ＹＥＳ）、小顔処理を終了し、図６のフローチャートにおけるステップＳ１１０へ処理を戻す。
【０１１０】
なお、図９のフローチャートに示した処理において、ステップＳ９１からＳ９４まで、ステップＳ９５からＳ９８までの２段階にわけ、ステップＳ９２及びＳ９３の処理を全顔領域に対して行なってから、再度全顔領域に対してステップＳ９６及びＳ９７の処理を行なう構成とした。これは、ステップＳ９７にてグラフィックボード７３を用いた描画処理を行なう構成としているため、グラフィックボード７３を占有する時間をまとめて描画処理を高速に効率よく行なうためである。したがって、必ずしも図９のフローチャートに示した処理手順のように、２段階に分けて処理を行なう必要はない。
【０１１１】
次に、小顔処理の結果を反映させた加工画像を作成する処理について説明する。図１０は、実施の形態１における画像処理部７のＣＰＵ７０により実行される加工画像作成処理の一例を示すフローチャートである。図１０のフローチャートに示す処理手順は、図６のフローチャートに示したステップＳ１１０の処理手順の詳細である。
【０１１２】
ＣＰＵ７０は、図６のフローチャートのステップＳ１０９における小顔処理が終了した場合、メモリ７１に保存してある制御部６から取得した元の画像を、グラフィックボード７３を利用して描画する（ステップＳ１００１）。ＣＰＵ７０は再度、検出により得られた顔領域から一の顔領域を選択し（ステップＳ１００２）、選択した顔領域について小顔処理後の作業領域内の画像を、ステップＳ５１で描画した画像の上に重ねるようにして描画させる（ステップＳ１００３）。このとき、作業領域内の部分のみが、元の画像に重ねられるようにして描画される。
【０１１３】
次にＣＰＵ７０は、全顔領域について描画処理を行なったか否かを判断し（ステップＳ１００４）、全顔領域について描画処理を行っていないと判断した場合（Ｓ１００４：ＮＯ）、処理をステップＳ１００２へ戻す。ＣＰＵ７０は、全顔領域について描画処理を行なったと判断した場合（Ｓ１００４：ＹＥＳ）、加工画像作成処理を終了し、図６のフローチャートに処理を戻し、画像処理を終了する。
【０１１４】
図６乃至図１０のフローチャートに示した処理手順により、人物が動きのあるポーズをとる場合も夫々の顔が小顔となる加工が有効に行なわれる。
【０１１５】
次に、図６乃至図１０のフローチャートに示した画像処理部７のＣＰＵ７０によって実行される各処理手順を、具体例を示す図面を参照して説明する。
【０１１６】
図１１は、ＣＰＵ７０が制御部６から取得した画像の内容例を示す説明図である。図１１の説明図に示す内容例では、画像に３人の人物が写っていることが判る。図１１に示すように、右側に写る人物及び中央に写る人物は顔が正面に向いておらず、鼻を通る顔の中央線に対し頬部分の面積が左右対称ではない。この場合、肌色の領域の中心線を基準に左右対照に輪郭を内側にずらすなどしたときには、顔に歪みが生まれて不自然となる。また、図１１に示すように、左側に写る人物及び中央に写る人物は顔を傾けてポーズをとっている。したがって、肌色の領域に対し画像の垂直方向を軸に処理を行なうと顔に歪みが生じる。
【０１１７】
図１２は、ＣＰＵ７０により顔検出処理が実行されて得られる情報の内容例を示す説明図である。顔検出処理により、図１１に示した画像に対して３つの矩形が、検出された顔領域として得られていることが示されている。左側に写る人物及び中央に写る人物については、矩形である顔領域の横軸方向及び縦軸方向は、画像の水平方向及び垂直方向に対して傾いていることが示されている。また、各人物について顔の各器官の輪郭上の点が、各器官領域として特定されている。図１２に示す各点は夫々、区別されずに示されているが、顔検出処理により右目の輪郭上の点、左目の輪郭上の点、鼻の輪郭上の点などのように器官毎に区別されて検出される。同様に顔の輪郭上の点が特定されている。
【０１１８】
図１３は、ＣＰＵ７０による解析処理によって特定される顔中心の例を示す説明図である。図１３には、検出された顔夫々について、特定された顔中心を通る顔の縦方向の中央線と、横方向の中央線とが示されている。以後の処理では、図１３に示した顔中心を基準に、顔を小顔にする加工が行なわれる。顔中心に向かい小顔処理の加工が行なわれるので、複数の人物が、図１３に示すように顔を傾けて写るか、又は正面を向かずに写るかなど、動きのあるポーズをとる画像であっても、不自然な画像とならず、有効に加工を行なうことができる。
【０１１９】
図１４は、ＣＰＵ７０による解析処理によって設定される輪郭処理線及び作業領域の例を示す説明図である。図１４には、各人物の顔に対し、図１３に示した顔中心を特定する２つの中央線に加え、顔検出処理によって特定された顔の輪郭を破線にて示している。また、図１４中の７４ａ，７４ｂ，７４ｃは、解析処理により特定された処理輪郭線であり、７５ａ，７５ｂ，７５ｃは設定された作業領域を示している。
【０１２０】
図１４に示すように、各人物の顔について処理輪郭線７４ａ，７４ｂ，７４ｃは、破線にて示した実際の輪郭を拡大させることで設定されており、実際の輪郭の外側に位置している。実際に顔の輪郭よりも外側の線を処理輪郭線７４ａ，７４ｂ，７４ｃとすることにより、実際の輪郭における歪みが防止されるので、小顔にする加工が行なわれることによって輪郭に不自然な歪みが生じることを防止することができる。
【０１２１】
また図１４に示すように、作業領域７５ａ，７５ｂ，７５ｃとして夫々、処理輪郭線７４ａ，７４ｂ，７４ｃの外接矩形を所定の倍率で拡大したものを設定されていることが示されている。以後、作業領域７５ａ，７５ｂ，７５ｃ内の画像に限定して小顔処理が高速に行なわれる。
【０１２２】
次に、図８のフローチャートに示した重複輪郭除外処理について具体例を挙げて説明する。図１４に示した例に対し、重複輪郭除外処理を行なう場合、まずＣＰＵ７０は例えばステップＳ７１にて中央の人物の顔領域を選択し（Ｓ７１）、処理輪郭線７４ｂを取得する（Ｓ７２）。そして、ＣＰＵ７０は処理輪郭線７４ｂに対し、他の処理輪郭線７４ａ又は処理輪郭線７４ｃと交差するか否かを判断する（Ｓ７３）。この場合、ＣＰＵ７０は、いずれの処理輪郭線７４ａ，７４ｃとも交差しないと判断するので（Ｓ７３：ＮＯ）、いずれの顔領域も、加工処理対象から除外されない。
【０１２３】
図１５は、ＣＰＵ７０による解析処理によって設定される輪郭処理線及び作業領域の他の例を示す説明図である。図１５に示す例は、画像中の２人の人物の顔が検出された例である。図１５に示す例では、２人の人物は前後に重なって写っている。そして夫々の顔領域に対して、破線に示す輪郭が抽出されている。更に、図１４に示した例と同様に、抽出された輪郭に基づき処理輪郭線７４ｄ，７４ｅ及び作業領域７５ｄ，７５ｅが設定されている。
【０１２４】
図１５に示す例に対し、ＣＰＵ７０が重複輪郭除外処理を行なう場合は、２人の顔のいずれも加工処理対象から除外される。図１５に示すように、処理輪郭線７４ｄ，７４ｅが交差しているからである。このように、画像中の複数の人物の顔が重なるように近接している場合には、後述の小顔処理を行なって夫々画素を移動したときに、相互に画像の歪みを発生させる可能性がある。画像処理部７の重複輪郭除外処理により、歪みを発生させる可能性のある顔については加工を行なわないようにすることができ、複数の人物が動きのあるポーズをとり、複数の人物が密着して写る画像、又は重なって写る画像であっても加工によって不自然な画像となることがない。
【０１２５】
図１４の例では、処理輪郭線７４ａ，７４ｂ，７４ｃがいずれも交差していないために、いずれの顔も加工対象外とならず、図１５の例では処理輪郭線７４ｄ，７４ｅが交差しているためにいずれの顔も加工対象外となった。重複輪郭除外処理では、完全に交差している場合のみならず、処理輪郭線間の距離が所定値以下である場合には顔が近接しているために加工対象外とすべきと判断してもよい。したがって、図１４の例であっても例えば処理輪郭線７４ｂ，７４ｃ間の距離が所定値以下であるために、中央の人物の顔と右側の人物の顔とを加工対象外としてもよい。また、処理輪郭線が交差しているか否かのみならず、作業領域間が重複している場合に加工対象外とする構成としてもよい。
【０１２６】
なお、図１５に示した作業領域７５ｄと作業領域７５ｅとは、重複している。重複領域については作業領域から除外されるようにマスクとするようにしてもよい。
【０１２７】
次に、図９のフローチャートに示した小顔処理について具体例を挙げて説明する。図１６は、ＣＰＵ７０による小顔処理の概要を示す説明図である。図１６には、各顔領域について設定されている作業領域７５ａ，７５ｂ，７５ｃに対して作成されるマスクが黒塗りにて示されている。図１６に示すマスクは、作業領域７５ａ，７５ｂ，７５ｃの矩形内であって処理輪郭線７４ａ，７４ｂ，７４ｃの外側の領域である。更に、両目の領域及び両目の中央を結ぶ直線よりも画像の上側の領域もマスクの領域とされている。当該領域にマスクをして小顔処理を行なうことにより、画素を移動させる領域と移動させない領域との境界が自然となる。なお、図１６に示すマスクは、ぼかし処理を行なう前の状態を示している。また、両目の領域をマスクとすることにより、両目が加工されて目が小さくなることが回避され、各人物の顔を小顔に見せる加工を有効に行なうことができる。
【０１２８】
作業領域７５ａ，７５ｂ，７５ｃをそのまま顔中心に向かって収縮させることにより小顔とすることもできるが、この場合、作業領域７５ａ，７５ｂ，７５ｃの矩形の境界線当たりに画素情報が欠落する、境界に歪みが発生するなど不自然な画像となる可能性がある。
【０１２９】
図１６の黒塗りで示されるマスク以外の作業領域７５ａ，７５ｂ，７５ｃ内の画素をグリッド毎に、夫々矢印に示す方向に沿って顔中心へ向かって移動させることにより、小顔処理が行なわれる。
【０１３０】
そして、小顔処理が行なわれた後の作業領域７５ａ，７５ｂ，７５ｃが、図１１の説明図に示したような元の画像に夫々重ねられて描画されることにより（図１０、Ｓ１００３）、画像中の人物の顔が小顔となるように加工が行なわれた加工画像が作成される。
【０１３１】
（実施の形態２）
実施の形態２では、実施の形態１で示した画像処理に加え、画像に写る人物の顔型を分類し、顔型の分類に応じて顔の縦方向及び横方向に対する小顔率を調整する処理を行なう。
【０１３２】
実施の形態２における画像出力装置の構成は、解析処理の詳細、小顔処理の詳細以外はハードウェア構成及びソフトウェア的な処理手順も同様である。以下の説明では、実施の形態１と共通する構成については同一の符号を付し、相違する処理手順について説明する。
【０１３３】
図１７は、実施の形態２における画像処理部７のＣＰＵ７０により実行される解析処理の一例を示すフローチャートである。図１７のフローチャートにて説明する処理手順の内、実施の形態１にて示した図７のフローチャートの処理手順と共通する処理手順については、同一のステップ番号を付して詳細な説明を省略する。
【０１３４】
ＣＰＵ７０は、検出された顔の顔領域を選択し（Ｓ５１）、顔中心を特定し（Ｓ５２）、更に顔の輪郭を外側に拡大させた処理輪郭線を設定し（Ｓ５３）、処理ベクトルを特定し（Ｓ５４）、処理係数を決定すると（Ｓ５５）、それらの情報に基づき顔分類を判別する（ステップＳ５８）。ＣＰＵ７０は、顔分類の判別結果を各顔に対応付けて記憶しておき、後の小顔処理にて小顔率の設定の際に用いる。
【０１３５】
顔分類の判別処理について詳細を説明する。図１８は、実施の形態２における画像処理部７のＣＰＵ７０により実行される顔分類の判別処理の一例を示すフローチャートである。
【０１３６】
ＣＰＵ７０は、特定されている顔中心を基準に、顔中心を通る顔の横方向の中央線と抽出されている実際の顔の輪郭との交点の内の、左側の交点までの長さａ１を特定する（ステップＳ８０１）。そしてＣＰＵ７０は、顔中心から、顔中心を通る顔の横方向の中央線と実際の顔の輪郭との交点の内の、右側の交点までの長さａ２を特定する（ステップＳ８０２）。更にＣＰＵ７０は、顔中心から、顔中心を通る顔の縦方向の中央線と実際の顔の下部の輪郭との交点までの長さａ３を特定する（ステップＳ８０３）。
【０１３７】
次にＣＰＵ７０は、ステップＳ８０１からステップＳ８０３までで特定した長さａ１，ａ２，ａ３を用い、顔の幅即ち横方向の長さに対する顔の縦方向の長さの比率ｋが、所定値に等しいか否かを判断する（ステップＳ８０４）。ここで比率ｋは、
ｋ＝ａ３／（ａ１＋ａ２）
で表わされる。
【０１３８】
ＣＰＵ７０は、ステップＳ８０４にて、比率ｋが所定値に等しいと判断した場合（Ｓ８０４：ＹＥＳ）、標準の顔型であるパターン１に顔型を分類し（ステップＳ８０５）、分類処理を終了して、図１７のフローチャートにおけるステップＳ５６に処理を戻す。
【０１３９】
ＣＰＵ７０は、ステップＳ８０４にて、比率ｋが所定値に等しくないと判断した場合（Ｓ８０４：ＮＯ）、比率ｋが所定値よりも大きいか否かを判断する（ステップＳ８０６）。ＣＰＵ７０は、比率ｋが所定値よりも大きいと判断した場合（Ｓ８０６：ＹＥＳ）、縦方向の長さが長いので面長型であるパターン２に顔型を分類し（ステップＳ８０７）、分類処理を終了して、図１７のフローチャートにおけるステップＳ５６に処理を戻す。
【０１４０】
ＣＰＵ７０は、ステップＳ８０６にて、比率ｋが所定値よりも小さいと判断した場合（Ｓ８０６：ＮＯ）、横方向の長さが長いので丸顔型であるパターン３に顔型を分類し（ステップＳ８０８）、分類処理を終了して、図１７のフローチャートにおけるステップＳ５６に処理を戻す。
【０１４１】
このとき、所定値としては、理想的な顔の縦横比が４：３であることから０．７５を用いるとする。他の値を用いてもよい。ステップＳ８０４にて、比率ｋが０．７５と完全に等しいと判断される可能性が低いので、プラスマイナス０．０１などの所定の範囲内で０．７５と等しいと判断する。
【０１４２】
図１８のフローチャートに示した処理を、具体例を挙げて説明する。図１９は、画像中で検出される顔に対して特定される輪郭及び中央線の例を示す説明図である。図１９の説明図に示される画像中の３人の人物の内、右側の人物の顔に対して顔型の分類処理が行なわれる場合を例に挙げる。図１９に示すように、顔中心から、横方向の中央線と顔の輪郭との左側の交点までの長さａ１、右側の交点までの長さａ２が特定され、更に、顔中心から、縦方向の中央線と顔の下部の輪郭との交点までの長さａ３が特定される。これらの長さａ１，ａ２，ａ３に基づき算出される比率ｋにより、右側の人物の顔型が分類される。
【０１４３】
分類された顔型を小顔処理における小顔率の設定の際に用いる処理について説明する。図２０は、実施の形態２における画像処理部７のＣＰＵ７０により実行される小顔処理の一例を示すフローチャートである。図２０のフローチャートにて説明する処理手順の内、実施の形態１にて示した図９のフローチャートの処理手順と共通する処理手順については、同一のステップ番号を付して詳細な説明を省略する。
【０１４４】
ＣＰＵ７０は、全顔領域についてマスクを作成し（Ｓ９２）、マスクをぼかす処理（Ｓ９３）を行なった場合（Ｓ９４：ＹＥＳ）、再度、一の顔領域を選択し（Ｓ９５）、選択した顔について判別され、対応付けて記憶してある顔型の分類に基づき、小顔率を設定する（ステップＳ９９）。このときＣＰＵ７０は、顔型の分類に基づいて顔の横方向の小顔率と縦方向の小顔率とを設定する。例えばＣＰＵ７０は、解析処理により顔がパターン１（標準型）と判別されている場合には、初期的に設定してある小顔率を、顔の横方向及び縦方向夫々そのまま用いる。これに対し、ＣＰＵ７０は、解析処理により顔がパターン２（面長型）と判別されている場合には、顔の縦方向の小顔率を顔の横方向の小顔率よりも強くするように設定する。顔が面長型と判別されている場合ＣＰＵ７０は、顔の縦横比が理想の０．７５に近づくように、以下の式（２）に基づき縦方向の小顔率を設定してもよい。このとき、横方向の小顔率は初期的に設定してある小顔率を用いる。
縦方向の小顔率
＝縦方向の小顔率（初期設定）×［０．７５／｛ａ３／（ａ１＋ａ２）｝］…（２）
【０１４５】
また、ＣＰＵ７０は、解析処理により顔がパターン３（丸顔型）と判別されている場合には、顔の横方向の小顔率を顔の縦方向の小顔率よりも強くするように設定する。顔が丸顔型と判別されている場合ＣＰＵ７０は、顔の縦横比が理想の０．７５に近づくように、以下の式（３）に基づき横方向の小顔率を設定してもよい。このとき、縦方向の小顔率は初期的に設定してある小顔率を用いる。
横方向の小顔率
＝横方向の小顔率（初期設定）×［｛ａ３／（ａ１＋ａ２）｝／０．７５］…（３）
【０１４６】
次にＣＰＵ７０は、全顔領域について、上述のように顔の分類に基づいて設定した小顔率で、マスクが掛けられた作業領域内の各画素をグリッド毎に、顔中心へ向けて移動させ（Ｓ９７）、小顔処理を実現し、小顔処理を終了する。
【０１４７】
このように、画像中の人物の顔夫々の顔型の分類に応じて加工が行なわれるので、人物が動きのあるポーズをとる画像であっても、画像中の人物の顔を小顔に見せる加工を有効に行なうことができる。
【０１４８】
（実施の形態３）
実施の形態３では、実施の形態１又は２に示した画像処理に加え、画像に写る人物の顔の内の両目の領域を、両目が大きくなるように、且つ不自然に大きくなりすぎないように加工処理を行なう。
【０１４９】
実施の形態３における画像出力装置の構成は、解析処理の詳細、小顔処理の詳細以外は、ハードウェア構成及びソフトウェア的な処理手順も同様である。以下の説明では、実施の形態１又は２と共通する構成については同一の符号を付して詳細な説明を省略し、相違する処理手順について説明する。
【０１５０】
図２１は、実施の形態３における画像処理部７のＣＰＵ７０により実行される解析処理の一例を示すフローチャートである。図２１のフローチャートにて説明する処理手順の内、実施の形態１又は２にて示した図７又は図１７のフローチャートの処理手順と共通する処理手順については、同一のステップ番号を付して詳細な説明を省略する。
【０１５１】
ＣＰＵ７０は、検出された顔の顔領域を選択し（Ｓ５１）、顔中心を特定し（Ｓ５２）、更に顔の輪郭を外側に拡大させた処理輪郭線を設定し（Ｓ５３）、処理ベクトルを特定し（Ｓ５４）、処理係数を決定し（Ｓ５５）、顔分類を判別すると（Ｓ５８）、次に、目の拡大率を算出する（ステップＳ５９）。ＣＰＵ７０は、顔毎に算出される拡大率を各顔に対応付けて記憶しておき、後の小顔処理にて目の領域を拡大する際に用いる。その後は、ＣＰＵ７０は、作業領域を設定し（Ｓ５６）、全ての顔領域について処理を行なったと判断するまで（Ｓ５７：ＹＥＳ）、処理を繰り返す。
【０１５２】
目の拡大率の算出処理について詳細を説明する。図２２は、実施の形態３における画像処理部７のＣＰＵ７０により実行される目の拡大率の算出処理の一例を示すフローチャートである。図２２のフローチャートに示す処理手順は、図２１のフローチャートに示したステップＳ５９の処理手順の詳細である。
【０１５３】
ＣＰＵ７０は、図６に示した画像処理中のステップＳ１０２にて抽出された顔領域の大きさ（画素数）を求める（ステップＳ９００１）。具体的には例えば、ＣＰＵ７０は、顔検出処理によって得られた矩形の面積（図１２参照）を、顔領域の面積として求める。また、顔領域の内、解析処理のＳ５２にて特定される顔中心を通る顔の横方向の中央線よりも下部の面積としてもよいし、肌色部分を抽出し、抽出した領域の面積を、顔領域の面積として求めてもよい。
【０１５４】
ＣＰＵ７０は、ステップＳ９００１で求めた顔領域の大きさに対する基準の目の大きさを求める（ステップＳ９００２）。具体的には、ＣＰＵ７０は、ステップＳ９００１で求めた面積に対する基準となる所定の比率によって、基準の大きさを面積として求める。
【０１５５】
ＣＰＵ７０は、図６に示した画像処理中のステップＳ１０３にて特定された目の領域の大きさ（画素数）を求める（ステップＳ９００３）。具体的には、ＣＰＵ７０は、特定された目の輪郭上の数点の座標情報、又は目の領域を覆う楕円形状の画像内における座標情報から、当該座標情報が示す輪郭内に含まれる領域の面積を求める。
【０１５６】
ＣＰＵ７０は、ステップＳ９００２で求めた基準の大きさと、ステップＳ９００３で求めた目の領域の大きさとを比較する（ステップＳ９００４）。ＣＰＵ７０は、ステップＳ９００４における比較結果に応じて所定の数式に従って目の拡大率を算出する（ステップＳ９００５）。ステップＳ９００５の算出方法は例えば以下である。
【０１５７】
ステップＳ９００２で求めた基準の大きさをＡ、ステップＳ９００３で求めた被写体の人物の目の領域の大きさをＢとする。ここで基準となる目の拡大率をＥ（例えば１．１＝１１０％）、求める目の拡大率をｅとすると、ＣＰＵ７０は、所定の数式として以下の式に従って拡大率を算出する。
【０１５８】
【数１】
【０１５９】
ただし、ＣＰＵ７０はステップＳ９００５における算出処理にて、算出した拡大率ｅが１（１００％）以上となるように、且つ拡大率ｅが自然な範囲に収まるか否かを判断し、係数αにて調整を行なう。なお、用いる数式は式（４）には限らない。以下の式（５）を用いて求めてもよい。
【０１６０】
【数２】
【０１６１】
式（４）及び式（５）のいずれを用いた場合も、顔領域の大きさに対して目が基準の大きさよりも大きい顔については、目が大きくなりすぎることがないように、拡大率は１を下回らない条件下で小さく算出され、目が基準の大きさ以下である顔については拡大率が比較的大きな値となって効果的に目の領域を拡大できる。
【０１６２】
ＣＰＵ７０はこれにより拡大率の算出処理を終了し、図２１のフローチャートにおけるステップＳ５６に処理を戻す。
【０１６３】
図２２のフローチャートに示した処理を、具体例を挙げて説明する。図２３は、画像中で検出される顔領域から算出される目の大きさの例を示す説明図である。図２３の説明図に示される画像中の３人の人物の内、右側の人物の顔の目の大きさが求められる場合を例に挙げる。図２３には、実施の形態１の図１２にて示した顔検出処理結果により得られる目の輪郭上の点を結んだ領域がハッチングにて示されている。ＣＰＵ７０は、図２２のフローチャートに示したステップＳ９００３にて、図２３中のハッチングにて示したように目の領域の面積ｂを求める。
【０１６４】
なお、上述のフローチャートの説明では、顔領域の大きさ及び目の領域の大きさは、面積として求めた。しかしながら本発明はこれに限らず、顔領域の大きさは、検出処理によって得られた矩形の横幅又は縦幅でもよい。この場合、図２３に示すように、目の領域の大きさも特定された目の輪郭上の横幅ｂ１又は縦幅ｂ２を、目の領域の大きさとして求める。そして、ＣＰＵ７０は、横幅どうし又は縦幅どうしを用い、上述の式（４）により拡大率を求めてもよい。また、ＣＰＵ７０は、横幅ｂ１と縦幅ｂ２とを掛けて面積Ｂとして扱い、上述の式（４）により拡大率を求めてもよい。
【０１６５】
また、上述のフローチャートの説明では、基準の目の大きさの算出、及び被写体の人物の顔領域から特定された目の領域の大きさの算出を、面積（例えば画素数）として求めるとした。求められる目の大きさはいずれも、ステップＳ９００１にて算出される顔領域の大きさに対する比率（百分率）でもよい。このとき、基準の目の大きさは予め基準の比率が与えられているから、改めて算出するステップＳ９００２は不要である。
【０１６６】
次に、求められた目の拡大率ｅを用いた小顔処理について説明する。図２４は、実施の形態３における画像処理部７のＣＰＵ７０により実行される小顔処理の一例を示すフローチャートである。なお、図２４のフローチャートにて説明する処理手順の内、実施の形態１又は２にて示した図９又は図２０のフローチャートの処理手順と共通する処理手順については、同一のステップ番号を付して詳細な説明を省略する。
【０１６７】
ＣＰＵ７０は、全顔領域についてマスクを作成してぼかし処理を行ない（Ｓ９１〜Ｓ９４）、全顔領域について顔型の分類に基づき設定された小顔率を用いて顔領域のグリッド移動を行なう（Ｓ９５〜Ｓ９９）。ＣＰＵ７０は、再度、一の顔領域を選択し（ステップＳ９１０）、選択した顔領域から目の領域を抽出する（ステップＳ９１１）。抽出する目の領域は、図２３に示すように特定された目の輪郭上の点で囲まれる領域でもよいし、特定された目の輪郭上の点を含む楕円形でもよい。そして、ＣＰＵ７０は、選択した顔の目の領域について算出してあった目の拡大率ｅに基づき、抽出した目の領域を拡大する（ステップＳ９１２）。
【０１６８】
ＣＰＵ７０は、全顔領域についてステップＳ９１１及びＳ９１２の処理の目の領域の拡大処理を行なったか否かを判断し（ステップＳ９１３）、全顔領域について処理を行なっていないと判断した場合（Ｓ９１３：ＮＯ）、処理をステップＳ９１０へ戻す。ＣＰＵ７０は、全顔領域について処理を行なったと判断した場合（Ｓ９１３：ＹＥＳ）、小顔処理を終了する。
【０１６９】
ＣＰＵ７０は、この後の加工画像作成処理においては、元の画像の上に、拡大した目の領域の画像と、小顔処理後の作業領域内の画像とを重ねるようにして描画させる。このとき、マスク処理をしてある作業領域内の画像を最も上に重ねるようにしてもよいし、目の領域の境界のぼかし処理をしておき、当該目の領域の画像を最も上に重ねるようにしてもよい。
【０１７０】
このように、各顔領域に対する基準の目の大きさを用い、被写体として写る人物の個別の顔の特性に応じて、適切に目の大きさを拡大することができる。つまり、画像中の顔領域に対して個別に、夫々の顔の大きさに対する大きさにて拡大率が調整されるから、奥に写る人物と、手前に写る人物とで両目の領域の拡大を適切に調節できる。プリクラのように複数の人物が動きのあるポーズをとり、前後に重なって写る場合が少なくないときには、同一の拡大率を一律に用いて目の領域を拡大するとした場合には後ろ（奥に）写る人物の目が不自然に大きく拡大されるなどの問題が生じる可能性がある。しかしながら、本実施の形態３における画像処理部７の処理により、上述のように個別に適切な拡大が可能であるから、ユーザが満足する画像を得られる。
【０１７１】
また、写体として写る人物の顔における目の大きさに応じて個別に、目の拡大率が調整されるから、一律の割合で拡大するよりも、異なる特性の顔に応じて両目の領域を拡大して小顔に見せる加工を有効に行なうことができる。つまり、画像中の目が大きい顔の人物の目が更に大きくなり過ぎる事態、又は、目が小さい顔の人物の目の拡大が不足する事態を避け、異なる特性の顔を有するユーザが共に動きのあるポーズをとって写る場合であっても、各ユーザが満足する画像を得られる。
【０１７２】
実施の形態１乃至３では、画像処理部７の小顔処理において描画を、グラフィックボード７３を用いてハードウェア的に実現した。画像処理部７はグラフィックボード７３を有さずに、ＣＰＵ７０により描画処理をソフトウェア的に実行する構成としてもよい。
【０１７３】
実施の形態１乃至３では、画像処理部７は画像出力装置に含まれる一構成部であった。本発明はこれに限らず、画像処理部７が、加工処理対象として読み込まれた画像に対して人物の顔を加工する一の画像処理装置として単独に動作するものであってもよい。また、画像処理部７による画像処理の対象は、プリクラにおける画像のみならず、人物を写した画像に対する画像処理に広く適用可能である。
【０１７４】
上述のように、本発明の範囲は本実施の形態に限定されるものではないことは勿論である。
【符号の説明】
【０１７５】
２ 撮影部
２１ カメラ
５ 印刷部
５０ プリンタ
６ 制御部
６０ ＣＰＵ
７ 画像処理部
７０ ＣＰＵ
７２ ＨＤＤ
７Ｐ 画像処理プログラム
【技術分野】
【０００１】
本発明は、画像中の人物の顔を加工する画像処理装置に関する。特に、複数の人物が動きのあるポーズをとる場合でも、画像に対し各人物の顔を小顔に見せる加工処理を有効に行なうことができる画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
画像処理技術の進歩により、カメラでの撮影により得られる画像に種々の加工を加える画像処理が即時的に行なわれるようになった。
【０００３】
特許文献１には、ユーザ自身を撮影した写真画像が簡易に印刷出力され、ユーザが写真画像を得ることができる自動写真撮影装置に関し、撮像画像に対して画像の一部を拡大又は縮小することによって変形させ、面白味のある印刷出力を得ることができる自動写真撮影装置の技術が開示されている。
【０００４】
また特許文献２には、証明写真等の写真画像を出力するに際し、人物を撮影した撮像画像から顔領域を抽出し、更に顔の特徴点を検出し、検出した顔の特徴点の位置に基づいて顔がほっそりするように顔の輪郭を加工することにより、従来の写真スタジオでの撮影技術又はノウハウによらずに、見栄えの良い画像を得ることができる画像補正装置の技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２６７１５６号公報
【特許文献２】特開２００４−３１８２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献２に開示された技術により、人物を撮影した画像から顔の輪郭を抽出し、顔がほっそりするように輪郭を加工することができる。しかしながら、特許文献２に開示されている技術で想定されている加工対象の画像は、カメラに正面を向けた１人の人物を撮像する肖像写真又は証明写真等の画像である。
【０００７】
肖像写真又は証明写真を撮るなどの特定の場合以外では、被写体となる人物は、カメラの撮影範囲の垂直方向に対して平行に写るような直立した姿勢で写されるとは限らない。特に、ユーザ自身をカメラで写真撮影し、撮影した画像に対し合成する画像の編集を受け付け、編集された画像と撮影した画像とを合成して所定の用紙に印刷し、写真シールとして提供する画像出力装置、所謂プリクラ（登録商標）では、被写体となる人物は一人とは限らず、更に各人物は様々な動きのあるポーズで写ることが多い。
【０００８】
複数の人物が重なって写る場合、各人物の輪郭に対しても加工を行なう構成とすると、輪郭に歪みが出るなどの不具合が生じる可能性がある。例えば特許文献２に開示されている技術では、顔領域を顔の両側から幅を狭めるように対称に縮小している。人物が重なっているにも拘わらず一方の人物の顔領域を縮小させた場合、縮小される輪郭付近の他方の人物の顔領域における画像情報が欠落するなど歪みが生じる可能性がある。
【０００９】
また、各人物が夫々、顔を斜めに傾けて写る、又は顔を斜めに向けて写るなどした場合がある。この場合に認識された顔領域を、正面を向いているという前提で対称に縮小する加工を行なった場合、顔領域内に歪みが生じる可能性も考えられる。
【００１０】
このように、撮像される人物が複数である可能性があり、且つ動きのあるポーズをとることが想定される場合、いずれの人物の顔領域にも同じように加工を施す構成では、本来はすべきでない箇所に無用に加工がされ、人物の顔に歪みが生じるなどの問題が起こる可能性があり、効果的に見栄えを良くすることは困難である。
【００１１】
本発明は斯かる事情に鑑みてなされたものであり、人物が動きのあるポーズをとる場合でも、撮影した画像中の人物の顔を小顔に見せる加工処理を有効に行なうことができる画像処理装置、画像処理方法及びコンピュータプログラムを提供することを目的とする。
【００１２】
また本発明の目的は、画像の加工によって輪郭の不自然な歪みが発生することを防止でき、人物の顔を小顔に見せる加工処理を有効に行なうことができる画像処理装置を提供することにある。
【００１３】
本発明の目的は、顔の目、鼻又は口が写る位置から基準となる位置を特定し、基準に基づき画像の加工処理を行なうことにより、人物が動きのあるポーズをとる場合でも各人物の顔を小顔に見せる加工処理を有効に行なうことができる画像処理装置を提供することにある。
【００１４】
本発明の目的は、人物の顔の分類別に加工することができ、人物が動きのあるポーズをとる場合でも、各々の顔を小顔に見せる加工処理を有効に行なうことができる画像処理装置を提供することにある。
【００１５】
更に本発明の目的は、人物が動きのあるポーズをとる場合でも、各々の人物の写り方及び顔の特性に応じて不自然とならないように、小顔に見せる加工処理を有効に行なうことができる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１６】
本発明に係る画像処理装置は、画像中の人物の顔を検出する検出手段と、検出した顔を加工する加工手段とを備える画像処理装置において、前記検出手段が検出した顔の輪郭に基づき加工処理範囲の境界を特定する処理境界線を設定する処理境界設定手段と、前記顔の輪郭を含む所定範囲を顔領域として画像から抽出する手段と、前記検出手段が検出した顔の目、鼻又は口の各領域を特定する手段と、特定した各領域の位置に基づいて顔中心を特定する手段とを備え、前記加工手段は、顔領域内で特定した顔中心へ向け、設定した処理境界線内の領域の画像を縦横夫々所定の比率にて縮小させるようにしてあることを特徴とする。
【００１７】
本発明に係る画像処理装置は、特定した目、鼻又は口の各領域の内、両目の領域を結ぶ第１直線、及び、鼻の領域又は口の領域の中心を顔に対し縦方向に通る第２直線を特定する手段と、第１直線及び第２直線の交点から、第１直線が顔の輪郭と交わる２つの交点までの長さを夫々特定する手段と、第１直線及び第２直線の交点から、第２直線が顔の下部で顔の輪郭と交わる交点までの長さを特定する手段と、特定された夫々の長さに基づき、撮像画像に写っている人物の顔の型を分類する手段と、分類した型に応じて、縦横の収縮率を夫々調整するための前記所定の比率に対する係数を決定する手段とを更に備えることを特徴とする。
【００１８】
本発明に係る画像処理装置は、前記加工手段は、顔領域内であって更に処理境界線内の領域の画像を、両目の領域を除いて収縮させるようにしてあることを特徴とする。
【００１９】
本発明に係る画像処理装置は、特定した目の領域の、顔領域に対する大きさを求める手段と、求めた大きさと予め与えられた基準の大きさとを比較する手段と、比較結果に応じた目の大きさの拡大率を算出する手段とを備え、前記加工手段は、算出した拡大率に基づき、前記特定した両目の領域の画像を拡大させるようにしてあることを特徴とする。
【００２０】
本発明に係る画像処理方法は、画像中の人物の顔を検出し、検出した顔を加工する画像処理方法において、検出された顔の輪郭に基づき加工処理範囲の境界を特定する処理境界線を設定し、顔の輪郭を含む所定範囲を顔領域として画像から抽出し、検出した顔の目、鼻又は口の各領域を特定し、特定した各領域の位置に基づいて顔中心を特定し、顔領域内で特定した顔中心へ向け、設定した処理境界線内の領域の画像を縦横夫々所定の比率にて縮小させることを特徴とする。
【００２１】
本発明に係るコンピュータプログラムは、コンピュータに、画像に写る人物の顔を検出させ、検出された顔を加工させるためのコンピュータプログラムにおいて、コンピュータに、検出された顔の輪郭に基づき加工処理範囲の境界を特定する処理境界線を設定するステップと、顔の輪郭を含む所定範囲を顔領域として画像から抽出するステップと、検出した顔の目、鼻又は口の各領域を特定するステップと、特定した各領域の位置に基づいて顔中心を特定するステップと、顔領域内で特定した顔中心へ向け、設定した処理境界線内の領域の画像を縦横夫々所定の比率にて縮小させるステップとを実行させるためのコンピュータプログラムであることを特徴とする。
【００２２】
本発明では、顔の目、鼻又は口が写る領域が特定され、目、鼻又は口の領域の位置に基づき顔中心が特定される。顔中心へ向けて処理境界線内の領域が縦横夫々所定の比率で収縮される加工が行なわれる。これにより、顔が傾いて写っている場合、顔が正面を向いていない場合でも自然な画像となるように加工することが可能となる。
【００２３】
本発明では、両目の領域を結ぶ第１直線、鼻又は口の領域の中心を通る第２直線が特定される。第１直線及び第２直線の交点から顔の横方向の両端までの幅、前記交点から顎の先端に当たる部分までの長さに基づいて顔の型が分類され、顔型の分類に基づき、縦横の収縮率を調整するための係数が決定される。これにより、面長顔である場合は縦の収縮率を相対的に大きくし、幅広顔である場合は横の収縮率を相対的に大きくするなど、顔型の分類に応じた効果的な加工が行なわれる。
【００２４】
本発明では、両目の領域が除外されて収縮される。顔領域の両目の領域以外が収縮される補正により、両目が相対的に大きくなるように加工される。
【００２５】
本発明では、両目の領域の画像は、顔領域の大きさに対する大きさと、予め与えられた基準となる大きさとの比較判定結果に応じて求められる拡大率により、両目が相対的に大きくなるように加工される。
【発明の効果】
【００２６】
本発明による場合、顔領域として抽出される領域の中心を顔中心とするのでなく、眉間に当たる部分が顔中心として特定され、顔中心に向かい収縮されることによって加工が行なわれるので、人物が顔を傾けて写るか、又は正面を向かずに写るかなど、動きのあるポーズをとる画像であっても、人物の顔を小顔に見せる加工を有効に行なうことができる。
【００２７】
本発明による場合、顔中心を基準に顔型の分類がされ、顔型の分類に応じた加工が行なわれるので、人物が動きのあるポーズをとる画像であっても、顔を小顔に見せる加工を有効に行なうことができる。
【００２８】
本発明による場合、人物が動きのあるポーズをとる画像であっても、両目の部分に無用に加工が行なわれることを防止でき、各人物の顔を小顔に見せる加工を有効に行なうことができる。
【００２９】
本発明による場合、人物が動きのあるポーズをとる画像であっても、各々の人物の顔領域の大きさに、顔領域の大きさに対する両目の領域の大きさの特性に応じた拡大率にて両目の領域の画像が拡大され、顔を小顔に見せ、且つ理想的な顔に近づけさせる加工を有効に行なうことができる。顔の大きさに対する大きさにて拡大率が調整されるので、奥に写る人物と、手前に写る人物とで両目の領域の拡大を適切に調節できる。更に、基準となる大きさとの比較判定結果に応じて拡大率が調整されるので、一律の割合で拡大するよりも、異なる特性の顔に応じて両目の領域を拡大して小顔に見せる加工を有効に行なうことができる。
【図面の簡単な説明】
【００３０】
【図１】本実施の形態における画像出力装置の外観を示す斜視図である。
【図２】本実施の形態における画像出力装置の外観を示す斜視図である。
【図３】本実施の形態に係る画像出力装置の構成を模式的に示すブロック図である。
【図４】本実施の形態に係る画像出力装置の構成を模式的に示すブロック図である。
【図５】実施の形態１におけるＣＰＵが写真撮影、編集、印刷を実行する処理手順を示すフローチャートである。
【図６】実施の形態１における画像処理部のＣＰＵにより実行される画像処理手順の全体の一例を示すフローチャートである。
【図７】実施の形態１における画像処理部のＣＰＵにより実行される解析処理の一例を示すフローチャートである。
【図８】実施の形態１における画像処理部のＣＰＵにより実行される重複輪郭除外処理の一例を示すフローチャートである。
【図９】実施の形態１における画像処理部のＣＰＵにより実行される小顔処理の一例を示すフローチャートである。
【図１０】実施の形態１における画像処理部のＣＰＵにより実行される加工画像作成処理の一例を示すフローチャートである。
【図１１】ＣＰＵが制御部から取得した画像の内容例を示す説明図である。
【図１２】ＣＰＵにより顔検出処理が実行されて得られる情報の内容例を示す説明図である。
【図１３】ＣＰＵによる解析処理によって特定される顔中心の例を示す説明図である。
【図１４】ＣＰＵによる解析処理によって設定される輪郭処理線及び作業領域の例を示す説明図である。
【図１５】ＣＰＵによる解析処理によって設定される輪郭処理線及び作業領域の他の例を示す説明図である。
【図１６】ＣＰＵによる小顔処理の概要を示す説明図である。
【図１７】実施の形態２における画像処理部のＣＰＵにより実行される解析処理の一例を示すフローチャートである。
【図１８】実施の形態２における画像処理部のＣＰＵにより実行される顔分類の判別処理の一例を示すフローチャートである。
【図１９】画像中で検出される顔に対して特定される輪郭及び中央線の例を示す説明図である。
【図２０】実施の形態２における画像処理部のＣＰＵにより実行される小顔処理の一例を示すフローチャートである。
【図２１】実施の形態３における画像処理部のＣＰＵにより実行される解析処理の一例を示すフローチャートである。
【図２２】実施の形態３における画像処理部のＣＰＵにより実行される目の拡大率の算出処理の一例を示すフローチャートである。
【図２３】画像中で検出される顔領域から算出される目の大きさの例を示す説明図である。
【図２４】実施の形態３における画像処理部のＣＰＵにより実行される小顔処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００３１】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
【００３２】
以下の説明では、ユーザを写真撮影し、撮影した画像に基づいて写真シールを出力する画像出力装置に、本発明に係る画像処理装置を適用した例を挙げて説明する。つまり以下に示す実施の形態において、本発明に係る画像処理装置は画像出力装置に含まれ、写真シールを出力するために撮影された画像に対し補正を行なう。
【００３３】
（実施の形態１）
図１及び図２は、本実施の形態における画像出力装置の外観を示す斜視図である。画像出力装置は全体として略直方体形状のボックス型の装置であり、鉛直方向に略半分に分けるように仕切りが設けられている。画像出力装置は、この仕切りによって撮影空間Ｒ１及び編集空間Ｒ２に分けられている。図１は主に画像出力装置の撮影空間Ｒ１側から観た外観斜視図を示しており、図２は主に編集空間Ｒ２側から観た画像出力装置の外観斜視図を示している。
【００３４】
図１の斜視図に示すように、撮影空間Ｒ１は略直方体をなすフレームに囲まれた空間である。撮影空間Ｒ１は、ユーザからの料金の投入を受け付け、ユーザの写真撮影を実行するための空間である。撮影空間Ｒ１には、所定料金を受け付ける受付部１が外側に設けられており、また、編集空間Ｒ２との仕切りに相当する内部壁面にはユーザを撮影するためのカメラ２１、ディスプレイ２２等の機器を含む撮影部２が設けられている。
【００３５】
受付部１には、硬貨の投入を受け付けるコイン投入口１０と、コイン投入口１０から投入される硬貨の真偽を判定するコインセレクタ１１と、投入された硬貨の総額又は投入残額等の各種情報を表示するための表示パネル１２とが含まれる。コインセレクタ１１は、コイン投入口１０から投入される硬貨の真偽を判定して判定信号を送出する。コインセレクタ１１は、硬貨が偽と判定された場合、又は硬貨を受け付けないように設定されている間、図示しないコイン返却口へ硬貨を吐き出す。表示パネル１２は、液晶パネル、セグメントＬＥＤ等からなり、制御信号を受け付けてコインの投入を促す案内、投入すべき料金、投入総額、残額、又は他のユーザが撮影中でありコインの投入を受け付けていない旨の案内等を表示する。
【００３６】
受付部１に含まれている表示パネル１２及びコインセレクタ１１は、後述する第１筐体の内部に収納された制御機構に接続されており、制御機構との間で判定信号、制御信号等を送受信する。
【００３７】
ユーザは、受付部１のコイン投入口１０から所定料金に相当する硬貨を投入することにより、画像出力装置によるサービスを受けることができる。
【００３８】
撮影空間Ｒ１の内部、即ち撮影ブース内部には、撮影部２を構成する各機器が設置されている。撮影ブース内部の編集空間Ｒ２との空間を仕切る壁面の下部には、各機器を制御する制御機構を収納した第１筐体２０が設置されている。第１筐体２０の上方であって、立った状態のユーザの略目線の高さの位置にカメラ２１が設置されている。カメラ２１の下方には、カメラ２１から出力される映像信号に基づきプレビュー画面を表示し、且つユーザの操作を受け付けるタッチパネル式のディスプレイ２２が設定されている。また、カメラ２１及びディスプレイ２２を囲むように被写体に光を照射するストロボ・ランプ２３が設置されている。また、第１筐体２０上部には音楽、案内音声を出力するスピーカ２４，２４が設置されている。
【００３９】
撮影部２を構成するカメラ２１、ディスプレイ２２、ストロボ・ランプ２３及びスピーカ２４，２４は夫々、第１筐体２０の内部に設置されている制御機構に夫々接続されている。
【００４０】
カメラ２１は、ユーザを被写体として撮影するため、内部にレンズ群、絞り、シャッター、ＣＣＤ（Charge Coupled Device）等の撮像素子を含むデジタルカメラである。カメラ２１は、タイマー機能によりシャッターが動作して撮像素子から静止画像を取得し記憶することにより写真撮影を実行する。また、カメラ２１は起動している間、撮像素子から出力されるデジタル化された映像信号を制御機構へ出力している。制御機構からは、この映像信号に基づくプレビュー画面の表示用の撮影画像が出力される。
【００４１】
ディスプレイ２２は撮影中の操作を案内する操作画面とプレビュー画面とを表示するための液晶パネルを有し、カメラ２１からリアルタイムに出力される映像信号に基づいて制御機構から出力されている画像を受け付けて表示する。また、ディスプレイ２２はタッチパネル式であり、ユーザによってタッチされた箇所の画面上の位置の情報を含む信号が制御機構へ出力される。
【００４２】
ストロボ・ランプ２３は、撮影ブース内の照明機器であると共に、写真撮影時にはフラッシュとして機能する。なお、本実施の形態ではストロボ・ランプ２３は図に示すように７つに分けられており、制御機構に含まれる制御基盤を介して夫々の発光のタイミングがカメラ２１による写真撮影（シャッターの動作）に同期して制御される。
【００４３】
撮影ブースの外周は遮光性を有するシート材（図示せず）によって覆われている。このシート材によって外部からの光が遮断され、且つ外部からの覗き見を防止することができ、さらにユーザが撮影ブース内で自由にポーズをとることができるプライベート空間が実現される。
【００４４】
また、撮影ブース内側から見たシート材は均等な色調及び明度となるようにしてある。カメラ２１から観た場合にユーザの後方がシート材の均等な色調及び明度となるので、後述にて説明するようにユーザが写っている領域以外を透明化するクロマキー処理が可能になる。
【００４５】
ユーザは撮影ブース内に入り、ディスプレイ２２に表示される案内及びスピーカ２４，２４から出力される案内音声に従い操作画面を操作し、ストロボ・ランプ２３からの照明を受けてポーズを決め、カメラ２１による写真撮影を実行することができる。まず、ユーザはタッチパネル式のディスプレイ２２に表示される操作画面から、ユーザが写る写真を装飾する前景画像及び／又は背景画像を選択することができる。ユーザが前景画像及び／又は背景画像を選択した場合、ディスプレイ２２には、カメラ２１から制御機構を介してリアルタイムに出力されている画像、即ちカメラ２１から出力されている撮影画像、選択された前景画像及び／又は背景画像に基づく印刷結果のプレビュー画面が表示される。ユーザはプレビュー画面を確認しながらポーズを決め、写真撮影を実行することができる。
【００４６】
写真撮影が実行された場合、制御機構はカメラ２１で記憶された静止画像を取得し、後にユーザによる編集操作を受け付けるための画像、及び、後に印刷出力するための画像として夫々複製する。
【００４７】
次に図２の斜視図に示す編集空間Ｒ２に設置されている各構成部について説明する。編集空間Ｒ２は、上述の撮影空間Ｒ１の内部のカメラ２１、ディスプレイ２２、ストロボ・ランプ２３、スピーカ２４，２４及び第１筐体２０が設置されていた壁面の裏側の空間であり、ユーザが写真撮影を実行した後に画像の編集をすることができる空間である。図２に示す編集空間Ｒ２は撮影空間Ｒ１の上面から延設されているバーに取り付けられたカーテン状のシート材（図示せず）によって他の空間から仕切られる。そして編集空間Ｒ２には、以下に示す各構成部を内外に備える略直方体の第２筐体３０が設置されている。
【００４８】
第２筐体３０の一方の側面は撮影空間Ｒ１との仕切りである壁面に接しており、他の三側面の内の対向する面には夫々、写真撮影された画像及びその他の画像を編集するためのインタフェースを備える第１編集部４ａ及び第２編集部４ｂが設けられている。他方の側面には編集された画像を所定の写真シール用紙に印刷出力する印刷部５が設けられている。また、第２筐体３０の内部には、第１編集部４ａ、第２編集部４ｂ及び印刷部５の各構成部を制御する制御機構が設置されている。
【００４９】
なお、第１筐体２０及び第２筐体３０の相互に接している面は夫々が有する開口部（図示せず）を介して内部が連通しており、第１筐体２０の内部に設置されている撮影部２の制御機構と、第２筐体３０の内部に設置されている第１編集部４ａ、第２編集部４ｂ及び印刷部５の制御機構とは、複数のケーブル類によって接続されている。
【００５０】
第１編集部４ａには夫々、写真撮影された画像及び他の画像を編集するための操作画面を表示するタブレットディスプレイ４０ａと、２つのタッチペン４１ａ，４２ａと、スピーカ４３ａとが含まれる。なお後述の第２編集部４ｂにもタブレットディスプレイ４０ｂと、２つのタッチペン４１ｂ，４２ｂと、スピーカ４３ｂとが含まれている。第１編集部４ａ及び第２編集部４ｂ夫々のタブレットディスプレイ４０ａ，４０ｂ、２つのタッチペン４１ａ，４２ａ，４１ｂ，４２ｂ、及びスピーカ４３ａ，４３ｂは夫々、第２筐体３０の対向する面に向かい合うように設置されている。また、タブレットディスプレイ４０ａ，４０ｂ、タッチペン４１ａ，４２ａ，４１ｂ，４２ｂ及びスピーカ４３ａ，４３ｂは第２筐体３０の内部の制御機構に接続されている。
【００５１】
印刷部５には、第２筐体３０の内部に設置されており画像を所定の用紙に印刷するプリンタ５０と、印刷された用紙がプリンタから吐き出されるシール吐出口５１と、各種情報を表示する表示パネル５２とが含まれる。表示パネル５２は第２筐体３０の内部に設置された制御機構に接続されており、プリンタ５０も第２筐体３０の内部で制御機構に接続されている。
【００５２】
ユーザは、撮影ブース内で撮影部２により撮影を完了した後、第１編集部４ａ又は第２編集部４ｂにより印刷する画像の選択、選択した画像に対する落書き等の作業が可能である。第１編集部４ａ又は第２編集部４ｂ夫々のタブレットディスプレイ４０ａ，４０ｂには、写真撮影が実行されたことによって取得された画像と、選択された前景画像及び／又は背景画像とが共に表示される。タブレットディスプレイ４０ａ，４０ｂは、共に設置されているタッチペン４１ａ，４２ａ，４１ｂ，４２ｂによる操作を受け付けるようにしてあり、ユーザはタッチペン４１ａ，４２ａ，４１ｂ，４２ｂにより印刷する画像の選択及び選択した画像への文字、スタンプ状の絵柄の挿入などの操作が可能である。
【００５３】
制御機構により、写真撮影された画像に対し、後述する画像処理装置による補正処理が行なわれる。そして、ユーザによる編集が完了した場合、補正処理後の印刷出力用の画像に、選択された前景画像及び／又は背景画像、更に編集結果に基づく文字、絵柄等などが合成される。合成された後の画像が第２筐体３０内部に設置されているプリンタ５０によって所定の用紙に印刷される。印刷された所定の用紙は写真シールとしてシール吐出口５１に吐き出される。ユーザは、シール吐出口５１から完成した写真シールを取得することができ、これにより写真シールの撮影提供サービスが実現する。
【００５４】
図３及び図４は、本実施の形態に係る画像出力装置の構成を模式的に示すブロック図である。図３は、主に以下に説明する制御部６、画像処理部７、電源部８、通信部９及び受付部１の構成を示し、図４は、撮影部２、第１編集部４ａ、第２編集部４ｂ及び印刷部５の構成を示している。図３及び図４に示すように画像出力装置は、各構成部を制御する制御部６と、撮影された画像を補正する画像処理部７と、ＡＣ電源から電力を供給する電源部８と、インターネット等の外部ネットワークＮへ通信が可能な通信部９と、上述のコイン投入口１０、コインセレクタ１１及び表示パネル１２を含む受付部１と、カメラ２１、ディスプレイ２２、ストロボ・ランプ２３及びスピーカ２４，２４を含む撮影部２と、タブレットディスプレイ４０ａ、２つのタッチペン４１ａ，４２ａ及びスピーカ４３ａを含む第１編集部４ａと、タブレットディスプレイ４０ｂ、２つのタッチペン４１ｂ，４２ｂ及びスピーカ４３ｂを含む第２編集部４ｂと、プリンタ５０、シール吐出口５１及び表示パネル５２を含む印刷部５と、各部を接続するバス１００とにより構成される。なお、制御部６、画像処理部７、電源部８、通信部９及びバス１００が、第１筐体２０及び第２筐体３０の内部に設置された制御機構に対応する。
【００５５】
受付部１、撮影部２、第１編集部４ａ、第２編集部４ｂ及び印刷部５を夫々構成する各ハードウェアは、上述のように、画像出力装置のユーザによる操作が可能なように撮影空間Ｒ１、編集空間Ｒ２に設置されており、第１筐体２０及び第２筐体３０内部に設置されている制御機構内のバス１００に接続されている。これに対し制御部６、画像処理部７、電源部８及び通信部９は第１筐体２０及び第２筐体３０の内部に設置されている制御機構内に含まれており、制御機構内に配されたバス１００に接続されている。
【００５６】
制御機構は、第１筐体２０及び第２筐体３０の内部に設置された複数のパーソナルコンピュータ（以下、ＰＣ：Personal Computerという。）と、上述の受付部１、撮影部２、第１編集部４ａ、第２編集部４ｂ及び印刷部５を構成する各ハードウェアをＰＣから制御するための制御基盤とを含んで構成される。なお、複数のＰＣは夫々、その制御対象によって機能が分割される。例えば、撮影空間Ｒ１の受付部１を制御するＰＣと、撮影部２を制御するＰＣと、第１編集部４ａ及び第２編集部４ｂを制御するＰＣと、撮影された画像に画像処理を施し印刷部５にて出力するＰＣと、夫々機能が分割されて動作するように構成される。本実施の形態では、画像処理について主に説明するため仮想的に、受付部１、撮影部２、第１編集部４ａ及び第２編集部４ｂを制御する第１ＰＣと、画像処理を行ない印刷部５にて出力する第２ＰＣとの動作によって各構成部が制御されるとして以下に説明する。
【００５７】
制御部６には第１ＰＣに備えられた、各構成部のハードウェアを制御するＣＰＵ６０と、ＣＰＵ６０の動作により発生する情報を一時的に記憶するＤＲＡＭ（Dynamic Random Access Memory）等のメモリ６１と、各種データを記憶するＨＤＤ（Hard Disk Drive）６２と、撮影部２のカメラ２１から出力された映像信号から静止画像を撮影画像としてキャプチャし、クロマキー処理を実行するためのキャプチャ・クロマキーボード６３とが含まれる。
【００５８】
ＣＰＵ６０は、ＨＤＤ６２に記憶されている後述の制御プログラム６Ｐを読み出して実行することにより、受付部１のコインセレクタ１１からの判定信号を受け付け、受け付けた判定信号に応じて表示パネル１２へ制御信号を送出し、所定料金の受け付けを実現する。またＣＰＵ６０は、制御プログラム６Ｐを読み出して実行することにより、撮影部２のカメラ２１による撮影と、ストロボ・ランプ２３との動作を同期させる制御を行ない、カメラ２１によって写真撮影されて記憶された印刷出力用の画像を取得する処理、更に、カメラ２１から出力される映像信号を、キャプチャ・クロマキーボード６３を介してプレビュー画面、編集画面用の撮影画像として取得する処理、ディスプレイ２２に表示する処理、第１編集部４ａ及び第２編集部４ｂによる編集を受け付ける処理等の各種処理を実行する。
【００５９】
ＨＤＤ６２には、ＣＰＵ６０が各構成部のハードウェアを制御するための制御プログラム６Ｐが記憶されている。ＣＰＵ６０がＨＤＤ６２から制御プログラム６Ｐをメモリ６１に読み出して実行することにより、各ハードウェアの制御及び種々のソフトウェア機能が実現される。
【００６０】
また、ＨＤＤ６２には、制御プログラム６Ｐの他に、写真撮影された印刷出力用の画像と合成するための前景／背景画像、撮影部２のディスプレイ２２に撮影画像と共に表示するための前景／背景画像が記憶されている。ＨＤＤ６２には更に、撮影部２のディスプレイ２２に表示される操作画面に用いられる各画像、第１及び第２編集部４ａ，４ｂのタブレットディスプレイ４０ａ，４０ｂに表示される編集画面に用いられる画像、テキストファイル、スピーカ２４，２４，４３ａ，４３ｂに出力する案内音声などの音声データ等のデータが記憶されている。また、ＨＤＤ６２には、ユーザが写真撮影を実行したことでＣＰＵ６０によりカメラ２１から取得された印刷出力用の画像、前景画像及び／又は背景画像と合成処理が実行されることで得られる合成画像及び編集処理によって得られる編集画像が記憶される。
【００６１】
キャプチャ・クロマキーボード６３は、受け付けた映像信号から例えば毎秒３０枚の静止画像を取得して出力するキャプチャ機能と、キャプチャされた各静止画像から所定の色調及び明度の画素を認識し、一定の範囲内で同一の色調及び明度の画素に対してα値（透明度）を設定することにより透明化し出力するクロマキー機能とを有するハードウェアである。キャプチャ・クロマキーボード６３は、カメラ２１から出力される映像信号を受け付けるように接続されている。また、キャプチャ及びクロマキー処理された後の静止画像は、キャプチャ・クロマキーボード６３に内蔵される図示しないメモリに書き込まれる。ＣＰＵ６０は当該メモリから静止画像をプレビュー用の撮影画像として読み出し、クロマキー処理を行なわせ、ディスプレイ２２のプレビュー画面に表示する処理を実行する。
【００６２】
また、キャプチャ・クロマキーボード６３は、ドライバソフトにより毎秒取得する静止画像の枚数、及び透明化する所定の色調及び明度、例えばＲＧＢ値の設定が可能である。ＣＰＵ６０は、カメラ２１によって撮影される画像の内のユーザの後方に位置するシート材が写っている領域の色調及び明度を透明化するように指示する。これにより、ＣＰＵ６０は、キャプチャ・クロマキーボード６３にて、クロマキー処理された人物のみの人物画像を得ることができ、前景画像及び／又は背景画像と重ねてプレビュー画面を表示させることができる。
【００６３】
画像処理部７には第２ＰＣに備えられた、各構成部のハードウェアを制御するＣＰＵ７０と、ＣＰＵ７０の動作により発生する情報を一時的に記憶するＤＲＡＭ等のメモリ７１と、各種データを記憶するＨＤＤ７２と、画像及び描画命令を受け付けて描画処理を行なうグラフィックボード７３とが含まれる。画像処理部７は単独で、対象となる画像に対して後述する加工処理を行なう画像処理装置として動作することが可能である。
【００６４】
ＣＰＵ７０は、ＨＤＤ７２に記憶されている後述の画像処理プログラム７Ｐを読み出して実行することにより、制御部６の制御に基づく写真撮影によってカメラ２１にて撮影された画像を加工する画像処理を実現する。詳細には、制御部６の制御により、ユーザが写真撮影を実行してカメラ２１にて写真撮影された画像が画像処理部７へ受け渡される。そしてＣＰＵ７０は、制御部６から写真撮影された画像を取得してメモリ７１に書き込み、画像処理を実行することによって、画像中のユーザの顔を小顔にするなどの見栄えを良くする加工を行なう。画像処理の詳細については、後述にて説明する。
【００６５】
ＨＤＤ７２には、ＣＰＵ７０が、取得した画像に対する加工などの画像処理を行なうための画像処理プログラム７Ｐが記憶されている。画像処理プログラム７Ｐは、図示しないＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体に記録された画像処理プログラムをＨＤＤ７２に複製したものでもよいし、通信部９を介して取得したものでもよい。
【００６６】
グラフィックボード７３は、受け付けた画像及び描画命令に基づき、図示しない内蔵メモリに画像を描画するハードウェアである。ＣＰＵ７０は、自身が制御部６から取得してメモリ７１に一時的に記憶した画像に対する画像処理を、グラフィックボード７３を用いて行なう。具体的には、ＣＰＵ７０は画像と、画像処理に伴なう描画命令とをグラフィックボード７３に与えて描画処理を行なわせ、描画処理によって得られた画像をメモリ７１に取得する。
【００６７】
電源部８は、第１ＰＣ及び第２ＰＣのみならず各構成部へのＡＣ電源からの電力の供給を実現する。画像出力装置には、電源を投入する電源スイッチ（図示せず）が設けられており、電源部８に接続されている。電源部８は電源スイッチのオン／オフを検知し、画像出力装置の稼動／動作を切り替える。なお、電源部８はＵＰＳ（Uninterruptible Power Supply：無停電電源装置）ユニット８０を含んで構成される。ＵＰＳユニット８０により、ＡＣ電源からの電力が突然遮断された場合でも、各構成部へのダメージを減らすことができる。電源スイッチがオフに切り替えられた場合、ＵＰＳユニット８０は停電信号をＣＰＵ６０へ出力し、ＣＰＵ６０は停電信号を検知したときの所定の終了処理を行ない画像出力装置全体の電源をオフにする。
【００６８】
通信部９は、ＰＨＳユニット９０により構成され、制御部６（ＣＰＵ６０）に内部バス１００を介して接続されている。ＰＨＳユニット９０は、インターネット等の外部ネットワークＮに接続してデータの送受信を実現する。ＣＰＵ６０は、通信部９のＰＨＳユニット９０を介して外部ネットワークＮ上の他の装置と通信してデータの送受信が可能である。本実施の形態における画像出力装置では、ＣＰＵ９０はユーザの名前、メールアドレス等の識別情報又は送信先のＵＲＬと共に、撮影して編集した後の画像を外部ネットワークＮに接続している他のサーバ装置へ送信する機能を有している。この機能により、ユーザがサーバ装置から自身が撮影して編集した画像を携帯電話機又は自宅のＰＣにより閲覧することができるサービス、及び携帯電話機又はＰＣへダウンロードすることができるサービスが実現可能である。
【００６９】
このように構成される画像出力装置で、ユーザが写真プリントの提供サービスを受ける場合に、ＣＰＵ６０の処理に基づき画像出力装置にて実行される全体的処理について説明する。図５は、実施の形態１におけるＣＰＵ６０が写真撮影、編集、印刷を実行する処理手順を示すフローチャートである。
【００７０】
ＣＰＵ６０は、コイン投入口１０から所定料金を満たす硬貨が投入されたか否かを判断する（ステップＳ１）。ＣＰＵ６０は、所定料金を満たす硬貨が投入されていないと判断した場合（Ｓ１：ＮＯ）、処理をステップＳ１へ戻して所定料金を満たす硬貨が投入されたと判断するまで待機する。なお、この間ＣＰＵ６０は、表示パネル１２に投入済みの硬貨の総額を表示させるように制御信号を表示パネル１２へ出力する。
【００７１】
ＣＰＵ６０は、ステップＳ１において所定料金を満たす硬貨が投入されたと判断した場合（Ｓ１：ＹＥＳ）、表示パネル１２に案内情報の画面を表示し、更に撮影部２のディスプレイ２２に操作画面を表示させ、更にスピーカから案内音声を出力し（ステップＳ２）、ユーザに撮影ブース内に入り、撮影を実行するように促す。これにより、写真プリントサービスの提供が開始される。
【００７２】
ＣＰＵ６０は、ユーザがディスプレイ２２における操作画面などを操作することにより、合成させる前景画像及び／又は背景画像が選択され、更に、撮影が実行され、完了したか否かを判断する（ステップＳ３）。具体的には、前景画像及び／又は背景画像が選択されると、シャッターを動作させるためのカウントが開始され、ディスプレイ２２にプレビュー画面が表示される。そして、カウントアップされたとＣＰＵ６０が判断してシャッターを動作させ写真撮影が実行される。ユーザがプレビュー画面を見て撮影された画像で決定する旨のボタン等を操作するか、例えば６回などの所定回数の写真撮影が終了するかにより撮影が完了する。ＣＰＵ６０は、撮影が完了していないと判断した場合（Ｓ３：ＮＯ）、処理をステップＳ３へ戻して、撮影が完了するまで待機する。
【００７３】
ＣＰＵ６０は、撮影が完了したと判断した場合（Ｓ３：ＹＥＳ）、シャッターを動作させて写真撮影された画像をカメラ２１から取得し、選択された前景画像及び／又は背景画像と関連付けてメモリ６１に保存する（ステップＳ４）。そしてＣＰＵ６０は、ディスプレイ２２に案内情報の画面を表示させ、第１編集部４ａ又は第２編集部４ｂのタブレットディスプレイ４０ａ，４０ｂに操作画面を表示させ、スピーカ２４，２４によって案内音声を出力し（ステップＳ５）、ユーザに編集空間Ｒ２へ移動し、編集操作を行なうように促す。
【００７４】
次にＣＰＵ６０は、メモリ６１に保存した写真撮影された画像を画像処理部７へ受け渡して、画像処理を実行させる（ステップＳ６）。そしてＣＰＵ６０は、タブレットディスプレイ４０ａ，４０ｂの操作画面にて編集を受け付ける（ステップＳ７）。このとき、操作画面に表示されるユーザを撮影した画像は、画像処理後の画像であってもよい。この場合、ＣＰＵ６０は画像処理後の小顔にする加工が行なわれた撮影画像をキャプチャ・クロマキーボード６３にてクロマキー処理して人物のみの画像を作成し、操作画面に前景画像及び／又は背景画像と重ねて表示させる。
【００７５】
ＣＰＵ６０は、編集完了を指示する操作がされたことにより編集が完了し、且つ画像処理部７による画像処理が完了したか否かを判断する（ステップＳ８）。ＣＰＵ６０は、編集又は画像処理部７による画像処理のいずれかが未完了であると判断した場合（Ｓ８：ＮＯ）、処理をステップＳ８に戻して両者が完了するまで待機する。
【００７６】
ＣＰＵ６０は、編集及び画像処理のいずれもが完了したと判断した場合（Ｓ８：ＹＥＳ）、画像処理部７による画像処理によって加工が完了した加工画像と、編集結果の文字又は画像などの情報と、選択されて関連付けてメモリ６１に保存されている背景画像及び／又は前景画像とに対し合成処理を実行して合成画像を生成する（ステップＳ９）。ＣＰＵ６０は、生成された合成画像を操作画面に表示すると共に、印刷部５のプリンタ５０へ出力して印刷出力を指示する（ステップＳ１０）。このときＣＰＵ６０は、操作画面にて印刷レイアウトの選択、印刷指示を受け付けてもよい。
【００７７】
ＣＰＵ６０は、印刷が完了したか否かを判断し（ステップＳ１１）、印刷が完了していないと判断した場合（Ｓ１１：ＮＯ）、処理をステップＳ１１へ戻して印刷が完了したと判断するまで待機する。ＣＰＵ６０は、プリンタ５０における印刷が完了したと判断した場合（Ｓ１１：ＹＥＳ）、印刷が完了した旨を示す案内表示を印刷部５の表示パネル５２、第１編集部４ａ又は第２編集部４ｂのタブレットディスプレイ４０ａ，４０ｂに表示し、スピーカ４３ａ，４３ｂから案内音声を出力し（ステップＳ１２）、処理を終了する。
【００７８】
このとき、印刷された写真シールがシール吐出口５１に排出されているので、ユーザは自身が撮影された写真シールを取得することができる。このように、写真プリントサービスの提供が実現される。
【００７９】
次に、図５に示したフローチャートの内のステップＳ６における画像処理実行の指示に基づき、画像処理部７にて実行される画像処理について詳細を説明する。なお、カメラ２１から取得されて制御部６から受け渡される画像は、複数の画素の輝度値、色差値からなるデジタル画像データである。
【００８０】
図６は、実施の形態１における画像処理部７のＣＰＵ７０により実行される画像処理手順の全体の一例を示すフローチャートである。以下に示す処理は、ＣＰＵ７０がＨＤＤ７２から画像処理プログラム７Ｐを読み出して実行することにより実現される。
【００８１】
ＣＰＵ７０は、制御部６から受け渡される写真撮影された画像を取得し（ステップＳ１０１）、取得した画像から人物の顔を検出し（ステップＳ１０２）、検出した顔における各器官が写る領域を特定する（ステップＳ１０３）。更にＣＰＵ７０は、検出した人物の顔の輪郭を抽出する（ステップＳ１０４）。
【００８２】
ステップＳ１０２からステップＳ１０４までの顔検出、各器官領域の特定、及び輪郭抽出の処理は、肌色検出、テンプレートマッチングなどの種々の既存技術を利用して行なわれる。ステップＳ１０２の顔検出処理によってＣＰＵ７０は具体的に、画像中の顔が写っている領域（顔領域）の画像内における座標情報を得る。顔領域は具体的には、眉及び口の領域の外接矩形などである。顔領域は楕円形等でもよい。このとき、顔の傾きも検出され、画像に写る人物の顔が傾いている場合には、顔検出により得られる顔領域の横軸方向及び縦軸方向は、画像の水平方向及び垂直方向に対して傾いている。またこのとき、検出された顔の数が得られ、後の処理で用いるとしてもよい。また、ステップＳ１０３の各器官が写る領域の特定処理では、各器官、例えば目、鼻又は口の輪郭がテンプレートマッチングにより特定され、各器官の輪郭上の数点の座標情報、又は各器官を覆う楕円形状の画像内における座標情報が得られる。ステップＳ１０４における顔の輪郭抽出処理でも、肌色検出などにより顔の輪郭が抽出され、抽出された顔の輪郭上の数点の画像内における座標情報が得られる。
【００８３】
次にＣＰＵ７０は、ステップＳ１０２からステップＳ１０４までの処理によって得られる顔の輪郭、各器官領域に関する座標情報を解析する処理を行なう（ステップＳ１０５）。解析処理の詳細は後述にて説明するが、ここでは、ＣＰＵ７０は検出された顔を補正するための各種情報の特定、及び加工作業領域の設定を行なう。
【００８４】
ＣＰＵ７０は、ステップＳ１０２における顔検出処理の結果に基づき、取得した画像から複数の顔が検出されたか否かを判断する（ステップＳ１０６）。ＣＰＵ７０は、取得した画像から顔は複数検出されていないと判断した場合（Ｓ１０６：ＮＯ）、処理を後述のステップＳ１０８に進める。
【００８５】
ＣＰＵ７０は、取得した画像から複数の顔が検出されたと判断した場合（Ｓ１０６：ＹＥＳ）、各顔の輪郭夫々に対し、他の輪郭が重複するか否かを判断し、重複する輪郭に対応する顔を加工対象から除外する処理を行なう（ステップＳ１０７）。ステップＳ１０７の重複輪郭除外処理の詳細についても後述にて説明する。
【００８６】
次にＣＰＵ７０は、検出された顔を小顔になるよう加工する小顔処理を行なう準備のため、ステップＳ１０５の解析処理にて設定された作業領域内にグリッドを作成する（ステップＳ１０８）。グリッドの作成において例えばＣＰＵ７０は、作業領域を縦横夫々５０などの所定数で分割する。このとき、メッシュ分割してもよいし、顔の黄金比に応じた分割を行なってもよい。
【００８７】
そしてＣＰＵ７０は小顔処理を実行する（ステップＳ１０９）。小顔処理の詳細については後述にて説明する。
【００８８】
ＣＰＵ７０は、ステップＳ１０９にて小顔処理を実行した結果得られる画像を用い、加工画像作成処理を実行し（ステップＳ１１０）、後のＣＰＵ６０による合成画像生成処理に用いることができる画像を生成し、画像処理部７における画像処理を終了する。なお、ステップＳ１１０における加工画像作成処理についても詳細を後述にて説明する。
【００８９】
なお、ステップＳ１０２からステップＳ１０４までの処理の順序は図６のフローチャートに示す処理手順には限らず、前後してもよい。また、ステップＳ１０６における顔の数が複数であるか否かの判断処理は必須ではない。したがって、顔の数が複数であるか否かに関わらず、ステップＳ１０７の処理へ進めてよい。ステップＳ１０７における処理では、抽出された顔領域を一つずつ選択して処理を行なうようにしてあり、顔の数が複数であるか単数であるかによらずに処理が行なわれる。
【００９０】
図７は、実施の形態１における画像処理部７のＣＰＵ７０により実行される解析処理の一例を示すフローチャートである。図７のフローチャートに示す処理手順は、図６のフローチャートに示したステップＳ１０５の処理手順の詳細である。
【００９１】
ＣＰＵ７０は、顔検出により得られた顔領域から一の顔領域を選択し（ステップＳ５１）、選択した顔領域内で特定されている目、鼻又は口の領域の位置に基づき、顔中心を特定する（ステップＳ５２）。ステップＳ５２における顔中心の特定処理としてＣＰＵ７０は、ステップＳ１０３にて特定された鼻の領域の中心位置を顔中心と特定してもよいし、ステップＳ１０３にて特定された両目の領域の中心位置と、鼻の領域の中心位置とを結ぶ三角形の重心を顔中心と特定してもよい。本実施の形態における画像処理部７による処理では、顔検出により得られる顔領域である矩形の中心を顔中心とするのでなく、目、鼻又は口の位置から顔中心を特定する。本実施の形態のような写真プリントサービスの提供を受けるユーザは、顔をカメラ２１に向けずに、斜めに向けてポーズをとるなどの状況が考えられ、顔領域の中心が必ずしも顔中心と一致するとは限らないからである。
【００９２】
ＣＰＵ７０は、顔の輪郭を基に、輪郭を外側に拡大させた処理輪郭線を、加工処理の境界線とするために顔領域に設定する（ステップＳ５３）。具体的にＣＰＵ７０は、ステップＳ５２にて特定された顔中心を中心に、ステップＳ１０４にて抽出された顔の輪郭を拡大する。即ち、ＣＰＵ７０は、顔中心から顔の輪郭上の各点までの距離に、所定の拡大係数を乗じ、拡大係数を乗じて得られる距離にある点を結ぶ線を処理輪郭線として設定する。
【００９３】
次にＣＰＵ７０は、顔検出により得られた顔領域の横軸方向及び縦軸方向、即ち顔の横方向及び縦方向に平行であって、顔の中央線即ち鼻又は口の中心を通る線へ向かう処理ベクトルを特定する（ステップＳ５４）。ステップＳ５４にて特定される処理ベクトルは、後述の小顔処理において画像を収縮する方向及び大きさを示すベクトルとして利用される。ここで、顔の横方向と縦方向との夫々について処理ベクトルを特定することにより、顔の横方向及び縦方向夫々に対し、別個の比率で後述の小顔処理を行なうことが可能となる。
【００９４】
ＣＰＵ７０は、画像を収縮させる比率である処理係数を決定する（ステップＳ５５）。後述の小顔処理にて、ステップＳ５４で特定された横方向及び縦方向の処理ベクトルに沿って画像を収縮させるところ、処理係数とは、この際の画像の収縮率（小顔率）に対し、顔の大きさに応じて変化を加えるためのものである。具体的にＣＰＵ７０は、検出された顔の幅、即ち処理輪郭線の外接矩形の幅に基づき、処理係数を決定する。処理係数は顔領域の大きさ、即ち画像に占める比率に応じて変化するように予め設定されており、顔領域の大きさが比較的大きい場合、即ち手前に顔が写る場合と、顔領域の大きさが比較的小さい場合即ち奥に顔が写る場合とでは、顔の大きさが比較的大きい場合に収縮の比率が大きくなるようにしてある。これにより、奥に写る人物の顔は小さいにも拘らず更に無用に小さく加工されるなどの事態を防止する。
【００９５】
ＣＰＵ７０は、ステップＳ５３にて拡大した処理輪郭線を含む所定範囲を作業領域として設定する（ステップＳ５６）。ここでは、処理輪郭線の外接矩形（画像の垂直方向及び水平方向を、縦方向及び横方向とする）を所定の倍率で拡大したものを作業領域として設定する。作業領域を設定して、後述する小顔処理の対象領域を限定することにより、処理の高速化を図ることができる。
【００９６】
ＣＰＵ７０は、顔検出により得られた顔領域全てについて処理を行なったか否かを判断し（ステップＳ５７）、顔領域全てについて処理を行っていないと判断した場合（Ｓ５７：ＮＯ）、処理をステップＳ５１へ戻す。ＣＰＵ７０は、検出された顔全てについて処理を行なったと判断した場合（Ｓ５７：ＹＥＳ）、解析処理を終了し、図６のフローチャートにおけるステップＳ１０６へ処理を戻す。
【００９７】
図８は、実施の形態１における画像処理部７のＣＰＵ７０により実行される重複輪郭除外処理の一例を示すフローチャートである。図８のフローチャートに示す処理手順は、図６のフローチャートに示したステップＳ１０７の処理手順の詳細である。
【００９８】
ＣＰＵ７０は、顔検出により得られた顔領域から一の顔領域を選択し（ステップＳ７１）、選択した顔領域に設定されている処理輪郭線を取得する（ステップＳ７２）。ＣＰＵ７０は、取得した処理輪郭線が他の顔領域に対応付けられている処理輪郭線と交差するか否かを判断する（ステップＳ７３）。ステップＳ７３における判断処理は、処理輪郭線同士が交差するか否かのみならず、処理輪郭線間の距離が所定値以下であるか否かを判断してもよい。また、検出された顔の数が単数である場合は他の顔領域が存在しないので、ＣＰＵ７０は、ステップＳ７３の判断処理にて他の処理輪郭線と交差しないと判断する。
【００９９】
ＣＰＵ７０は、取得した処理輪郭線が他の処理輪郭線と交差しないと判断した場合（Ｓ７３：ＮＯ）、顔検出により得られた顔領域全てについて処理を行なったか否かを判断する（ステップＳ７４）。
【０１００】
ＣＰＵ７０は、取得した処理輪郭線が他の処理輪郭線と交差すると判断した場合（Ｓ７３：ＹＥＳ）、取得した処理輪郭線が設定されている顔領域を後述の小顔処理、即ち加工処理の対象から除外し（ステップＳ７５）、処理をステップＳ７４へ進める。なお、ＣＰＵ７０は具体的に、各顔領域に加工処理の対象外であるか否かを示すフラグ（デフォルトではオフ）を対応付けておき、ステップＳ７５では、当該フラグをオンにする。ＣＰＵ７０は、後述する小顔処理において当該フラグがオンである顔領域に対しては処理を行なわない。
【０１０１】
そしてＣＰＵ７０は、ステップＳ７４にて顔領域全てについて処理を行っていないと判断した場合（Ｓ７４：ＮＯ）、処理をステップＳ７１へ戻し、顔領域全てについて処理を行なったと判断した場合（Ｓ７４：ＹＥＳ）、解析処理を終了し、図６のフローチャートにおけるステップＳ１０８へ処理を戻す。
【０１０２】
図８のフローチャートに示した処理手順により、複数のユーザがカメラ２１に向けて前後になって写る場合などに顔が重なっているとき、又は顔を寄せて写る場合など顔が近接しているときに、顔領域に無用に加工を行なうことによって輪郭にて歪が生じる事態が防止される。
【０１０３】
図９は、実施の形態１における画像処理部７のＣＰＵ７０により実行される小顔処理の一例を示すフローチャートである。図９のフローチャートに示す処理手順は、図６のフローチャートに示したステップＳ１０９の処理手順の詳細である。ここで、以下に示す処理が行なわれるに際し、検出された顔の顔領域には作業領域が設定されており、更に作業領域内にグリッドが作成されている。
【０１０４】
ＣＰＵ７０は、顔検出により得られた顔領域から一の顔領域を選択し（ステップＳ９１）、選択した顔領域に設定されている作業領域に対し、後述の処理（Ｓ９６、Ｓ９７）を行なわないためのマスクを作成する（ステップＳ９２）。具体的にはＣＰＵ７０は、設定されている作業領域内であって、処理輪郭線の外側、目の領域、及び、両目の中央を結ぶ直線よりも上側の領域をマスキング対象領域（マスク）とする。そしてマスク内の画素に対するマスク値を「０」とし、それ以外の作業領域内の画素に対するマスク値を「１」とする。次にＣＰＵ７０は、ステップＳ９２で作成したマスクにおいて、処理輪郭線の内側との境界をぼかす処理を行なう（ステップＳ９３）。ぼかし処理を行なうことにより、マスク値が「１」である領域と、「０」である領域との境界がぼやけ、後述の処理（Ｓ９６、Ｓ９７）の結果が、自然な画像となる。
【０１０５】
ＣＰＵ７０は、全顔領域についてステップＳ９２及びＳ９３のマスクの処理を行なったか否かを判断し（ステップＳ９４）、全顔領域について処理を行なっていないと判断した場合（Ｓ９４：ＮＯ）、処理をステップＳ９１へ戻す。ＣＰＵ７０は、全顔領域について処理を行なったと判断した場合（Ｓ９４：ＹＥＳ）、次のステップへ処理を進める。
【０１０６】
ＣＰＵ７０は、再度顔検出により得られた顔領域から一の顔領域を選択し（ステップＳ９５）、選択した顔領域に対応する顔への小顔率を設定する（ステップＳ９６）。小顔率とは顔を小さくする効果の強さを示し、具体的には作業領域内の画像の収縮率である。小顔率には、０．９，０．８等任意の値を設定可能である。またこのとき、小顔率は顔の横方向と縦方向とで夫々異なる値を設定することが可能なように、横方向の小顔率と縦方向の小顔率とが設定される。
【０１０７】
ＣＰＵ７０は、ステップＳ９６で設定された小顔率で、マスクが掛けられた作業領域内の各画素をグリッド毎に、顔中心へ向けて移動させ（ステップＳ９７）、小顔処理を実現する。なお、グリッドを移動させる描画は、ＣＰＵ７０が描画命令を与えることによりグラフィックボード７３を用いて行なう。グリッド毎の移動量は、顔中心からの距離に応じて異なる。詳細には、各グリッド内の画素を、以下に示す式（１）で求められる移動量に基づいて顔中心へ向かって移動させる。
横方向移動量＝顔中心からの距離×横方向の小顔率×マスク値
縦方向移動量＝顔中心からの距離×縦方向の小顔率×マスク値
…（１）
【０１０８】
式（１）に示すように、マスク値に「０」が設定されたグリッドの画素は移動されない。また、ステップＳ９３におけるぼかし処理により、作業領域内のマスクとの境界付近のグリッドの移動量が境界に近いほど小さくなるように調整され、マスクとの境界では移動量はゼロである。これにより、マスキングされた領域外の作業領域内の画像が全体的に顔中心へ移動して、マスクとの境界付近の画素が欠落することが回避される。
【０１０９】
ＣＰＵ７０は、全顔領域についてステップＳ９６及びＳ９７の所定の比率の決定及び小顔処理を行なったか否かを判断し（ステップＳ９８）、全顔領域について処理を行なっていないと判断した場合（Ｓ９８：ＮＯ）、処理をステップＳ９５へ戻す。ＣＰＵ７０は、全顔領域について処理を行なったと判断した場合（Ｓ９８：ＹＥＳ）、小顔処理を終了し、図６のフローチャートにおけるステップＳ１１０へ処理を戻す。
【０１１０】
なお、図９のフローチャートに示した処理において、ステップＳ９１からＳ９４まで、ステップＳ９５からＳ９８までの２段階にわけ、ステップＳ９２及びＳ９３の処理を全顔領域に対して行なってから、再度全顔領域に対してステップＳ９６及びＳ９７の処理を行なう構成とした。これは、ステップＳ９７にてグラフィックボード７３を用いた描画処理を行なう構成としているため、グラフィックボード７３を占有する時間をまとめて描画処理を高速に効率よく行なうためである。したがって、必ずしも図９のフローチャートに示した処理手順のように、２段階に分けて処理を行なう必要はない。
【０１１１】
次に、小顔処理の結果を反映させた加工画像を作成する処理について説明する。図１０は、実施の形態１における画像処理部７のＣＰＵ７０により実行される加工画像作成処理の一例を示すフローチャートである。図１０のフローチャートに示す処理手順は、図６のフローチャートに示したステップＳ１１０の処理手順の詳細である。
【０１１２】
ＣＰＵ７０は、図６のフローチャートのステップＳ１０９における小顔処理が終了した場合、メモリ７１に保存してある制御部６から取得した元の画像を、グラフィックボード７３を利用して描画する（ステップＳ１００１）。ＣＰＵ７０は再度、検出により得られた顔領域から一の顔領域を選択し（ステップＳ１００２）、選択した顔領域について小顔処理後の作業領域内の画像を、ステップＳ５１で描画した画像の上に重ねるようにして描画させる（ステップＳ１００３）。このとき、作業領域内の部分のみが、元の画像に重ねられるようにして描画される。
【０１１３】
次にＣＰＵ７０は、全顔領域について描画処理を行なったか否かを判断し（ステップＳ１００４）、全顔領域について描画処理を行っていないと判断した場合（Ｓ１００４：ＮＯ）、処理をステップＳ１００２へ戻す。ＣＰＵ７０は、全顔領域について描画処理を行なったと判断した場合（Ｓ１００４：ＹＥＳ）、加工画像作成処理を終了し、図６のフローチャートに処理を戻し、画像処理を終了する。
【０１１４】
図６乃至図１０のフローチャートに示した処理手順により、人物が動きのあるポーズをとる場合も夫々の顔が小顔となる加工が有効に行なわれる。
【０１１５】
次に、図６乃至図１０のフローチャートに示した画像処理部７のＣＰＵ７０によって実行される各処理手順を、具体例を示す図面を参照して説明する。
【０１１６】
図１１は、ＣＰＵ７０が制御部６から取得した画像の内容例を示す説明図である。図１１の説明図に示す内容例では、画像に３人の人物が写っていることが判る。図１１に示すように、右側に写る人物及び中央に写る人物は顔が正面に向いておらず、鼻を通る顔の中央線に対し頬部分の面積が左右対称ではない。この場合、肌色の領域の中心線を基準に左右対照に輪郭を内側にずらすなどしたときには、顔に歪みが生まれて不自然となる。また、図１１に示すように、左側に写る人物及び中央に写る人物は顔を傾けてポーズをとっている。したがって、肌色の領域に対し画像の垂直方向を軸に処理を行なうと顔に歪みが生じる。
【０１１７】
図１２は、ＣＰＵ７０により顔検出処理が実行されて得られる情報の内容例を示す説明図である。顔検出処理により、図１１に示した画像に対して３つの矩形が、検出された顔領域として得られていることが示されている。左側に写る人物及び中央に写る人物については、矩形である顔領域の横軸方向及び縦軸方向は、画像の水平方向及び垂直方向に対して傾いていることが示されている。また、各人物について顔の各器官の輪郭上の点が、各器官領域として特定されている。図１２に示す各点は夫々、区別されずに示されているが、顔検出処理により右目の輪郭上の点、左目の輪郭上の点、鼻の輪郭上の点などのように器官毎に区別されて検出される。同様に顔の輪郭上の点が特定されている。
【０１１８】
図１３は、ＣＰＵ７０による解析処理によって特定される顔中心の例を示す説明図である。図１３には、検出された顔夫々について、特定された顔中心を通る顔の縦方向の中央線と、横方向の中央線とが示されている。以後の処理では、図１３に示した顔中心を基準に、顔を小顔にする加工が行なわれる。顔中心に向かい小顔処理の加工が行なわれるので、複数の人物が、図１３に示すように顔を傾けて写るか、又は正面を向かずに写るかなど、動きのあるポーズをとる画像であっても、不自然な画像とならず、有効に加工を行なうことができる。
【０１１９】
図１４は、ＣＰＵ７０による解析処理によって設定される輪郭処理線及び作業領域の例を示す説明図である。図１４には、各人物の顔に対し、図１３に示した顔中心を特定する２つの中央線に加え、顔検出処理によって特定された顔の輪郭を破線にて示している。また、図１４中の７４ａ，７４ｂ，７４ｃは、解析処理により特定された処理輪郭線であり、７５ａ，７５ｂ，７５ｃは設定された作業領域を示している。
【０１２０】
図１４に示すように、各人物の顔について処理輪郭線７４ａ，７４ｂ，７４ｃは、破線にて示した実際の輪郭を拡大させることで設定されており、実際の輪郭の外側に位置している。実際に顔の輪郭よりも外側の線を処理輪郭線７４ａ，７４ｂ，７４ｃとすることにより、実際の輪郭における歪みが防止されるので、小顔にする加工が行なわれることによって輪郭に不自然な歪みが生じることを防止することができる。
【０１２１】
また図１４に示すように、作業領域７５ａ，７５ｂ，７５ｃとして夫々、処理輪郭線７４ａ，７４ｂ，７４ｃの外接矩形を所定の倍率で拡大したものを設定されていることが示されている。以後、作業領域７５ａ，７５ｂ，７５ｃ内の画像に限定して小顔処理が高速に行なわれる。
【０１２２】
次に、図８のフローチャートに示した重複輪郭除外処理について具体例を挙げて説明する。図１４に示した例に対し、重複輪郭除外処理を行なう場合、まずＣＰＵ７０は例えばステップＳ７１にて中央の人物の顔領域を選択し（Ｓ７１）、処理輪郭線７４ｂを取得する（Ｓ７２）。そして、ＣＰＵ７０は処理輪郭線７４ｂに対し、他の処理輪郭線７４ａ又は処理輪郭線７４ｃと交差するか否かを判断する（Ｓ７３）。この場合、ＣＰＵ７０は、いずれの処理輪郭線７４ａ，７４ｃとも交差しないと判断するので（Ｓ７３：ＮＯ）、いずれの顔領域も、加工処理対象から除外されない。
【０１２３】
図１５は、ＣＰＵ７０による解析処理によって設定される輪郭処理線及び作業領域の他の例を示す説明図である。図１５に示す例は、画像中の２人の人物の顔が検出された例である。図１５に示す例では、２人の人物は前後に重なって写っている。そして夫々の顔領域に対して、破線に示す輪郭が抽出されている。更に、図１４に示した例と同様に、抽出された輪郭に基づき処理輪郭線７４ｄ，７４ｅ及び作業領域７５ｄ，７５ｅが設定されている。
【０１２４】
図１５に示す例に対し、ＣＰＵ７０が重複輪郭除外処理を行なう場合は、２人の顔のいずれも加工処理対象から除外される。図１５に示すように、処理輪郭線７４ｄ，７４ｅが交差しているからである。このように、画像中の複数の人物の顔が重なるように近接している場合には、後述の小顔処理を行なって夫々画素を移動したときに、相互に画像の歪みを発生させる可能性がある。画像処理部７の重複輪郭除外処理により、歪みを発生させる可能性のある顔については加工を行なわないようにすることができ、複数の人物が動きのあるポーズをとり、複数の人物が密着して写る画像、又は重なって写る画像であっても加工によって不自然な画像となることがない。
【０１２５】
図１４の例では、処理輪郭線７４ａ，７４ｂ，７４ｃがいずれも交差していないために、いずれの顔も加工対象外とならず、図１５の例では処理輪郭線７４ｄ，７４ｅが交差しているためにいずれの顔も加工対象外となった。重複輪郭除外処理では、完全に交差している場合のみならず、処理輪郭線間の距離が所定値以下である場合には顔が近接しているために加工対象外とすべきと判断してもよい。したがって、図１４の例であっても例えば処理輪郭線７４ｂ，７４ｃ間の距離が所定値以下であるために、中央の人物の顔と右側の人物の顔とを加工対象外としてもよい。また、処理輪郭線が交差しているか否かのみならず、作業領域間が重複している場合に加工対象外とする構成としてもよい。
【０１２６】
なお、図１５に示した作業領域７５ｄと作業領域７５ｅとは、重複している。重複領域については作業領域から除外されるようにマスクとするようにしてもよい。
【０１２７】
次に、図９のフローチャートに示した小顔処理について具体例を挙げて説明する。図１６は、ＣＰＵ７０による小顔処理の概要を示す説明図である。図１６には、各顔領域について設定されている作業領域７５ａ，７５ｂ，７５ｃに対して作成されるマスクが黒塗りにて示されている。図１６に示すマスクは、作業領域７５ａ，７５ｂ，７５ｃの矩形内であって処理輪郭線７４ａ，７４ｂ，７４ｃの外側の領域である。更に、両目の領域及び両目の中央を結ぶ直線よりも画像の上側の領域もマスクの領域とされている。当該領域にマスクをして小顔処理を行なうことにより、画素を移動させる領域と移動させない領域との境界が自然となる。なお、図１６に示すマスクは、ぼかし処理を行なう前の状態を示している。また、両目の領域をマスクとすることにより、両目が加工されて目が小さくなることが回避され、各人物の顔を小顔に見せる加工を有効に行なうことができる。
【０１２８】
作業領域７５ａ，７５ｂ，７５ｃをそのまま顔中心に向かって収縮させることにより小顔とすることもできるが、この場合、作業領域７５ａ，７５ｂ，７５ｃの矩形の境界線当たりに画素情報が欠落する、境界に歪みが発生するなど不自然な画像となる可能性がある。
【０１２９】
図１６の黒塗りで示されるマスク以外の作業領域７５ａ，７５ｂ，７５ｃ内の画素をグリッド毎に、夫々矢印に示す方向に沿って顔中心へ向かって移動させることにより、小顔処理が行なわれる。
【０１３０】
そして、小顔処理が行なわれた後の作業領域７５ａ，７５ｂ，７５ｃが、図１１の説明図に示したような元の画像に夫々重ねられて描画されることにより（図１０、Ｓ１００３）、画像中の人物の顔が小顔となるように加工が行なわれた加工画像が作成される。
【０１３１】
（実施の形態２）
実施の形態２では、実施の形態１で示した画像処理に加え、画像に写る人物の顔型を分類し、顔型の分類に応じて顔の縦方向及び横方向に対する小顔率を調整する処理を行なう。
【０１３２】
実施の形態２における画像出力装置の構成は、解析処理の詳細、小顔処理の詳細以外はハードウェア構成及びソフトウェア的な処理手順も同様である。以下の説明では、実施の形態１と共通する構成については同一の符号を付し、相違する処理手順について説明する。
【０１３３】
図１７は、実施の形態２における画像処理部７のＣＰＵ７０により実行される解析処理の一例を示すフローチャートである。図１７のフローチャートにて説明する処理手順の内、実施の形態１にて示した図７のフローチャートの処理手順と共通する処理手順については、同一のステップ番号を付して詳細な説明を省略する。
【０１３４】
ＣＰＵ７０は、検出された顔の顔領域を選択し（Ｓ５１）、顔中心を特定し（Ｓ５２）、更に顔の輪郭を外側に拡大させた処理輪郭線を設定し（Ｓ５３）、処理ベクトルを特定し（Ｓ５４）、処理係数を決定すると（Ｓ５５）、それらの情報に基づき顔分類を判別する（ステップＳ５８）。ＣＰＵ７０は、顔分類の判別結果を各顔に対応付けて記憶しておき、後の小顔処理にて小顔率の設定の際に用いる。
【０１３５】
顔分類の判別処理について詳細を説明する。図１８は、実施の形態２における画像処理部７のＣＰＵ７０により実行される顔分類の判別処理の一例を示すフローチャートである。
【０１３６】
ＣＰＵ７０は、特定されている顔中心を基準に、顔中心を通る顔の横方向の中央線と抽出されている実際の顔の輪郭との交点の内の、左側の交点までの長さａ１を特定する（ステップＳ８０１）。そしてＣＰＵ７０は、顔中心から、顔中心を通る顔の横方向の中央線と実際の顔の輪郭との交点の内の、右側の交点までの長さａ２を特定する（ステップＳ８０２）。更にＣＰＵ７０は、顔中心から、顔中心を通る顔の縦方向の中央線と実際の顔の下部の輪郭との交点までの長さａ３を特定する（ステップＳ８０３）。
【０１３７】
次にＣＰＵ７０は、ステップＳ８０１からステップＳ８０３までで特定した長さａ１，ａ２，ａ３を用い、顔の幅即ち横方向の長さに対する顔の縦方向の長さの比率ｋが、所定値に等しいか否かを判断する（ステップＳ８０４）。ここで比率ｋは、
ｋ＝ａ３／（ａ１＋ａ２）
で表わされる。
【０１３８】
ＣＰＵ７０は、ステップＳ８０４にて、比率ｋが所定値に等しいと判断した場合（Ｓ８０４：ＹＥＳ）、標準の顔型であるパターン１に顔型を分類し（ステップＳ８０５）、分類処理を終了して、図１７のフローチャートにおけるステップＳ５６に処理を戻す。
【０１３９】
ＣＰＵ７０は、ステップＳ８０４にて、比率ｋが所定値に等しくないと判断した場合（Ｓ８０４：ＮＯ）、比率ｋが所定値よりも大きいか否かを判断する（ステップＳ８０６）。ＣＰＵ７０は、比率ｋが所定値よりも大きいと判断した場合（Ｓ８０６：ＹＥＳ）、縦方向の長さが長いので面長型であるパターン２に顔型を分類し（ステップＳ８０７）、分類処理を終了して、図１７のフローチャートにおけるステップＳ５６に処理を戻す。
【０１４０】
ＣＰＵ７０は、ステップＳ８０６にて、比率ｋが所定値よりも小さいと判断した場合（Ｓ８０６：ＮＯ）、横方向の長さが長いので丸顔型であるパターン３に顔型を分類し（ステップＳ８０８）、分類処理を終了して、図１７のフローチャートにおけるステップＳ５６に処理を戻す。
【０１４１】
このとき、所定値としては、理想的な顔の縦横比が４：３であることから０．７５を用いるとする。他の値を用いてもよい。ステップＳ８０４にて、比率ｋが０．７５と完全に等しいと判断される可能性が低いので、プラスマイナス０．０１などの所定の範囲内で０．７５と等しいと判断する。
【０１４２】
図１８のフローチャートに示した処理を、具体例を挙げて説明する。図１９は、画像中で検出される顔に対して特定される輪郭及び中央線の例を示す説明図である。図１９の説明図に示される画像中の３人の人物の内、右側の人物の顔に対して顔型の分類処理が行なわれる場合を例に挙げる。図１９に示すように、顔中心から、横方向の中央線と顔の輪郭との左側の交点までの長さａ１、右側の交点までの長さａ２が特定され、更に、顔中心から、縦方向の中央線と顔の下部の輪郭との交点までの長さａ３が特定される。これらの長さａ１，ａ２，ａ３に基づき算出される比率ｋにより、右側の人物の顔型が分類される。
【０１４３】
分類された顔型を小顔処理における小顔率の設定の際に用いる処理について説明する。図２０は、実施の形態２における画像処理部７のＣＰＵ７０により実行される小顔処理の一例を示すフローチャートである。図２０のフローチャートにて説明する処理手順の内、実施の形態１にて示した図９のフローチャートの処理手順と共通する処理手順については、同一のステップ番号を付して詳細な説明を省略する。
【０１４４】
ＣＰＵ７０は、全顔領域についてマスクを作成し（Ｓ９２）、マスクをぼかす処理（Ｓ９３）を行なった場合（Ｓ９４：ＹＥＳ）、再度、一の顔領域を選択し（Ｓ９５）、選択した顔について判別され、対応付けて記憶してある顔型の分類に基づき、小顔率を設定する（ステップＳ９９）。このときＣＰＵ７０は、顔型の分類に基づいて顔の横方向の小顔率と縦方向の小顔率とを設定する。例えばＣＰＵ７０は、解析処理により顔がパターン１（標準型）と判別されている場合には、初期的に設定してある小顔率を、顔の横方向及び縦方向夫々そのまま用いる。これに対し、ＣＰＵ７０は、解析処理により顔がパターン２（面長型）と判別されている場合には、顔の縦方向の小顔率を顔の横方向の小顔率よりも強くするように設定する。顔が面長型と判別されている場合ＣＰＵ７０は、顔の縦横比が理想の０．７５に近づくように、以下の式（２）に基づき縦方向の小顔率を設定してもよい。このとき、横方向の小顔率は初期的に設定してある小顔率を用いる。
縦方向の小顔率
＝縦方向の小顔率（初期設定）×［０．７５／｛ａ３／（ａ１＋ａ２）｝］…（２）
【０１４５】
また、ＣＰＵ７０は、解析処理により顔がパターン３（丸顔型）と判別されている場合には、顔の横方向の小顔率を顔の縦方向の小顔率よりも強くするように設定する。顔が丸顔型と判別されている場合ＣＰＵ７０は、顔の縦横比が理想の０．７５に近づくように、以下の式（３）に基づき横方向の小顔率を設定してもよい。このとき、縦方向の小顔率は初期的に設定してある小顔率を用いる。
横方向の小顔率
＝横方向の小顔率（初期設定）×［｛ａ３／（ａ１＋ａ２）｝／０．７５］…（３）
【０１４６】
次にＣＰＵ７０は、全顔領域について、上述のように顔の分類に基づいて設定した小顔率で、マスクが掛けられた作業領域内の各画素をグリッド毎に、顔中心へ向けて移動させ（Ｓ９７）、小顔処理を実現し、小顔処理を終了する。
【０１４７】
このように、画像中の人物の顔夫々の顔型の分類に応じて加工が行なわれるので、人物が動きのあるポーズをとる画像であっても、画像中の人物の顔を小顔に見せる加工を有効に行なうことができる。
【０１４８】
（実施の形態３）
実施の形態３では、実施の形態１又は２に示した画像処理に加え、画像に写る人物の顔の内の両目の領域を、両目が大きくなるように、且つ不自然に大きくなりすぎないように加工処理を行なう。
【０１４９】
実施の形態３における画像出力装置の構成は、解析処理の詳細、小顔処理の詳細以外は、ハードウェア構成及びソフトウェア的な処理手順も同様である。以下の説明では、実施の形態１又は２と共通する構成については同一の符号を付して詳細な説明を省略し、相違する処理手順について説明する。
【０１５０】
図２１は、実施の形態３における画像処理部７のＣＰＵ７０により実行される解析処理の一例を示すフローチャートである。図２１のフローチャートにて説明する処理手順の内、実施の形態１又は２にて示した図７又は図１７のフローチャートの処理手順と共通する処理手順については、同一のステップ番号を付して詳細な説明を省略する。
【０１５１】
ＣＰＵ７０は、検出された顔の顔領域を選択し（Ｓ５１）、顔中心を特定し（Ｓ５２）、更に顔の輪郭を外側に拡大させた処理輪郭線を設定し（Ｓ５３）、処理ベクトルを特定し（Ｓ５４）、処理係数を決定し（Ｓ５５）、顔分類を判別すると（Ｓ５８）、次に、目の拡大率を算出する（ステップＳ５９）。ＣＰＵ７０は、顔毎に算出される拡大率を各顔に対応付けて記憶しておき、後の小顔処理にて目の領域を拡大する際に用いる。その後は、ＣＰＵ７０は、作業領域を設定し（Ｓ５６）、全ての顔領域について処理を行なったと判断するまで（Ｓ５７：ＹＥＳ）、処理を繰り返す。
【０１５２】
目の拡大率の算出処理について詳細を説明する。図２２は、実施の形態３における画像処理部７のＣＰＵ７０により実行される目の拡大率の算出処理の一例を示すフローチャートである。図２２のフローチャートに示す処理手順は、図２１のフローチャートに示したステップＳ５９の処理手順の詳細である。
【０１５３】
ＣＰＵ７０は、図６に示した画像処理中のステップＳ１０２にて抽出された顔領域の大きさ（画素数）を求める（ステップＳ９００１）。具体的には例えば、ＣＰＵ７０は、顔検出処理によって得られた矩形の面積（図１２参照）を、顔領域の面積として求める。また、顔領域の内、解析処理のＳ５２にて特定される顔中心を通る顔の横方向の中央線よりも下部の面積としてもよいし、肌色部分を抽出し、抽出した領域の面積を、顔領域の面積として求めてもよい。
【０１５４】
ＣＰＵ７０は、ステップＳ９００１で求めた顔領域の大きさに対する基準の目の大きさを求める（ステップＳ９００２）。具体的には、ＣＰＵ７０は、ステップＳ９００１で求めた面積に対する基準となる所定の比率によって、基準の大きさを面積として求める。
【０１５５】
ＣＰＵ７０は、図６に示した画像処理中のステップＳ１０３にて特定された目の領域の大きさ（画素数）を求める（ステップＳ９００３）。具体的には、ＣＰＵ７０は、特定された目の輪郭上の数点の座標情報、又は目の領域を覆う楕円形状の画像内における座標情報から、当該座標情報が示す輪郭内に含まれる領域の面積を求める。
【０１５６】
ＣＰＵ７０は、ステップＳ９００２で求めた基準の大きさと、ステップＳ９００３で求めた目の領域の大きさとを比較する（ステップＳ９００４）。ＣＰＵ７０は、ステップＳ９００４における比較結果に応じて所定の数式に従って目の拡大率を算出する（ステップＳ９００５）。ステップＳ９００５の算出方法は例えば以下である。
【０１５７】
ステップＳ９００２で求めた基準の大きさをＡ、ステップＳ９００３で求めた被写体の人物の目の領域の大きさをＢとする。ここで基準となる目の拡大率をＥ（例えば１．１＝１１０％）、求める目の拡大率をｅとすると、ＣＰＵ７０は、所定の数式として以下の式に従って拡大率を算出する。
【０１５８】
【数１】
【０１５９】
ただし、ＣＰＵ７０はステップＳ９００５における算出処理にて、算出した拡大率ｅが１（１００％）以上となるように、且つ拡大率ｅが自然な範囲に収まるか否かを判断し、係数αにて調整を行なう。なお、用いる数式は式（４）には限らない。以下の式（５）を用いて求めてもよい。
【０１６０】
【数２】
【０１６１】
式（４）及び式（５）のいずれを用いた場合も、顔領域の大きさに対して目が基準の大きさよりも大きい顔については、目が大きくなりすぎることがないように、拡大率は１を下回らない条件下で小さく算出され、目が基準の大きさ以下である顔については拡大率が比較的大きな値となって効果的に目の領域を拡大できる。
【０１６２】
ＣＰＵ７０はこれにより拡大率の算出処理を終了し、図２１のフローチャートにおけるステップＳ５６に処理を戻す。
【０１６３】
図２２のフローチャートに示した処理を、具体例を挙げて説明する。図２３は、画像中で検出される顔領域から算出される目の大きさの例を示す説明図である。図２３の説明図に示される画像中の３人の人物の内、右側の人物の顔の目の大きさが求められる場合を例に挙げる。図２３には、実施の形態１の図１２にて示した顔検出処理結果により得られる目の輪郭上の点を結んだ領域がハッチングにて示されている。ＣＰＵ７０は、図２２のフローチャートに示したステップＳ９００３にて、図２３中のハッチングにて示したように目の領域の面積ｂを求める。
【０１６４】
なお、上述のフローチャートの説明では、顔領域の大きさ及び目の領域の大きさは、面積として求めた。しかしながら本発明はこれに限らず、顔領域の大きさは、検出処理によって得られた矩形の横幅又は縦幅でもよい。この場合、図２３に示すように、目の領域の大きさも特定された目の輪郭上の横幅ｂ１又は縦幅ｂ２を、目の領域の大きさとして求める。そして、ＣＰＵ７０は、横幅どうし又は縦幅どうしを用い、上述の式（４）により拡大率を求めてもよい。また、ＣＰＵ７０は、横幅ｂ１と縦幅ｂ２とを掛けて面積Ｂとして扱い、上述の式（４）により拡大率を求めてもよい。
【０１６５】
また、上述のフローチャートの説明では、基準の目の大きさの算出、及び被写体の人物の顔領域から特定された目の領域の大きさの算出を、面積（例えば画素数）として求めるとした。求められる目の大きさはいずれも、ステップＳ９００１にて算出される顔領域の大きさに対する比率（百分率）でもよい。このとき、基準の目の大きさは予め基準の比率が与えられているから、改めて算出するステップＳ９００２は不要である。
【０１６６】
次に、求められた目の拡大率ｅを用いた小顔処理について説明する。図２４は、実施の形態３における画像処理部７のＣＰＵ７０により実行される小顔処理の一例を示すフローチャートである。なお、図２４のフローチャートにて説明する処理手順の内、実施の形態１又は２にて示した図９又は図２０のフローチャートの処理手順と共通する処理手順については、同一のステップ番号を付して詳細な説明を省略する。
【０１６７】
ＣＰＵ７０は、全顔領域についてマスクを作成してぼかし処理を行ない（Ｓ９１〜Ｓ９４）、全顔領域について顔型の分類に基づき設定された小顔率を用いて顔領域のグリッド移動を行なう（Ｓ９５〜Ｓ９９）。ＣＰＵ７０は、再度、一の顔領域を選択し（ステップＳ９１０）、選択した顔領域から目の領域を抽出する（ステップＳ９１１）。抽出する目の領域は、図２３に示すように特定された目の輪郭上の点で囲まれる領域でもよいし、特定された目の輪郭上の点を含む楕円形でもよい。そして、ＣＰＵ７０は、選択した顔の目の領域について算出してあった目の拡大率ｅに基づき、抽出した目の領域を拡大する（ステップＳ９１２）。
【０１６８】
ＣＰＵ７０は、全顔領域についてステップＳ９１１及びＳ９１２の処理の目の領域の拡大処理を行なったか否かを判断し（ステップＳ９１３）、全顔領域について処理を行なっていないと判断した場合（Ｓ９１３：ＮＯ）、処理をステップＳ９１０へ戻す。ＣＰＵ７０は、全顔領域について処理を行なったと判断した場合（Ｓ９１３：ＹＥＳ）、小顔処理を終了する。
【０１６９】
ＣＰＵ７０は、この後の加工画像作成処理においては、元の画像の上に、拡大した目の領域の画像と、小顔処理後の作業領域内の画像とを重ねるようにして描画させる。このとき、マスク処理をしてある作業領域内の画像を最も上に重ねるようにしてもよいし、目の領域の境界のぼかし処理をしておき、当該目の領域の画像を最も上に重ねるようにしてもよい。
【０１７０】
このように、各顔領域に対する基準の目の大きさを用い、被写体として写る人物の個別の顔の特性に応じて、適切に目の大きさを拡大することができる。つまり、画像中の顔領域に対して個別に、夫々の顔の大きさに対する大きさにて拡大率が調整されるから、奥に写る人物と、手前に写る人物とで両目の領域の拡大を適切に調節できる。プリクラのように複数の人物が動きのあるポーズをとり、前後に重なって写る場合が少なくないときには、同一の拡大率を一律に用いて目の領域を拡大するとした場合には後ろ（奥に）写る人物の目が不自然に大きく拡大されるなどの問題が生じる可能性がある。しかしながら、本実施の形態３における画像処理部７の処理により、上述のように個別に適切な拡大が可能であるから、ユーザが満足する画像を得られる。
【０１７１】
また、写体として写る人物の顔における目の大きさに応じて個別に、目の拡大率が調整されるから、一律の割合で拡大するよりも、異なる特性の顔に応じて両目の領域を拡大して小顔に見せる加工を有効に行なうことができる。つまり、画像中の目が大きい顔の人物の目が更に大きくなり過ぎる事態、又は、目が小さい顔の人物の目の拡大が不足する事態を避け、異なる特性の顔を有するユーザが共に動きのあるポーズをとって写る場合であっても、各ユーザが満足する画像を得られる。
【０１７２】
実施の形態１乃至３では、画像処理部７の小顔処理において描画を、グラフィックボード７３を用いてハードウェア的に実現した。画像処理部７はグラフィックボード７３を有さずに、ＣＰＵ７０により描画処理をソフトウェア的に実行する構成としてもよい。
【０１７３】
実施の形態１乃至３では、画像処理部７は画像出力装置に含まれる一構成部であった。本発明はこれに限らず、画像処理部７が、加工処理対象として読み込まれた画像に対して人物の顔を加工する一の画像処理装置として単独に動作するものであってもよい。また、画像処理部７による画像処理の対象は、プリクラにおける画像のみならず、人物を写した画像に対する画像処理に広く適用可能である。
【０１７４】
上述のように、本発明の範囲は本実施の形態に限定されるものではないことは勿論である。
【符号の説明】
【０１７５】
２ 撮影部
２１ カメラ
５ 印刷部
５０ プリンタ
６ 制御部
６０ ＣＰＵ
７ 画像処理部
７０ ＣＰＵ
７２ ＨＤＤ
７Ｐ 画像処理プログラム
【特許請求の範囲】
【請求項１】
画像中の人物の顔を検出する検出手段と、検出した顔を加工する加工手段とを備える画像処理装置において、
前記検出手段が検出した顔の輪郭に基づき加工処理範囲の境界を特定する処理境界線を設定する処理境界設定手段と、
前記顔の輪郭を含む所定範囲を顔領域として画像から抽出する手段と、
前記検出手段が検出した顔の目、鼻又は口の各領域を特定する手段と、
特定した各領域の位置に基づいて顔中心を特定する手段と
を備え、
前記加工手段は、
顔領域内で特定した顔中心へ向け、設定した処理境界線内の領域の画像を縦横夫々所定の比率にて縮小させるようにしてあること
を特徴とする画像処理装置。
【請求項２】
特定した目、鼻又は口の各領域の内、両目の領域を結ぶ第１直線、及び、鼻の領域又は口の領域の中心を顔に対し縦方向に通る第２直線を特定する手段と、
第１直線及び第２直線の交点から、第１直線が顔の輪郭と交わる２つの交点までの長さを夫々特定する手段と、
第１直線及び第２直線の交点から、第２直線が顔の下部で顔の輪郭と交わる交点までの長さを特定する手段と、
特定された夫々の長さに基づき、撮像画像に写っている人物の顔の型を分類する手段と、
分類した型に応じて、縦横の収縮率を夫々調整するための前記所定の比率に対する係数を決定する手段と
を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記加工手段は、顔領域内であって更に処理境界線内の領域の画像を、両目の領域を除いて収縮させるようにしてあること
を特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
特定した目の領域の、顔領域に対する大きさを求める手段と、
求めた大きさと予め与えられた基準の大きさとを比較する手段と、
比較結果に応じた目の大きさの拡大率を算出する手段と
を備え、
前記加工手段は、算出した拡大率に基づき、前記特定した両目の領域の画像を拡大させるようにしてあること
を特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
画像中の人物の顔を検出し、検出した顔を加工する画像処理方法において、
検出された顔の輪郭に基づき加工処理範囲の境界を特定する処理境界線を設定し、
顔の輪郭を含む所定範囲を顔領域として画像から抽出し、
検出した顔の目、鼻又は口の各領域を特定し、
特定した各領域の位置に基づいて顔中心を特定し、
顔領域内で特定した顔中心へ向け、設定した処理境界線内の領域の画像を縦横夫々所定の比率にて縮小させる
ことを特徴とする画像処理方法。
【請求項６】
コンピュータに、画像に写る人物の顔を検出させ、検出された顔を加工させるためのコンピュータプログラムにおいて、
コンピュータに、
検出された顔の輪郭に基づき加工処理範囲の境界を特定する処理境界線を設定するステップと、
顔の輪郭を含む所定範囲を顔領域として画像から抽出するステップと、
検出した顔の目、鼻又は口の各領域を特定するステップと、
特定した各領域の位置に基づいて顔中心を特定するステップと、
顔領域内で特定した顔中心へ向け、設定した処理境界線内の領域の画像を縦横夫々所定の比率にて縮小させるステップと
を実行させるためのコンピュータプログラム。
【請求項１】
画像中の人物の顔を検出する検出手段と、検出した顔を加工する加工手段とを備える画像処理装置において、
前記検出手段が検出した顔の輪郭に基づき加工処理範囲の境界を特定する処理境界線を設定する処理境界設定手段と、
前記顔の輪郭を含む所定範囲を顔領域として画像から抽出する手段と、
前記検出手段が検出した顔の目、鼻又は口の各領域を特定する手段と、
特定した各領域の位置に基づいて顔中心を特定する手段と
を備え、
前記加工手段は、
顔領域内で特定した顔中心へ向け、設定した処理境界線内の領域の画像を縦横夫々所定の比率にて縮小させるようにしてあること
を特徴とする画像処理装置。
【請求項２】
特定した目、鼻又は口の各領域の内、両目の領域を結ぶ第１直線、及び、鼻の領域又は口の領域の中心を顔に対し縦方向に通る第２直線を特定する手段と、
第１直線及び第２直線の交点から、第１直線が顔の輪郭と交わる２つの交点までの長さを夫々特定する手段と、
第１直線及び第２直線の交点から、第２直線が顔の下部で顔の輪郭と交わる交点までの長さを特定する手段と、
特定された夫々の長さに基づき、撮像画像に写っている人物の顔の型を分類する手段と、
分類した型に応じて、縦横の収縮率を夫々調整するための前記所定の比率に対する係数を決定する手段と
を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記加工手段は、顔領域内であって更に処理境界線内の領域の画像を、両目の領域を除いて収縮させるようにしてあること
を特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
特定した目の領域の、顔領域に対する大きさを求める手段と、
求めた大きさと予め与えられた基準の大きさとを比較する手段と、
比較結果に応じた目の大きさの拡大率を算出する手段と
を備え、
前記加工手段は、算出した拡大率に基づき、前記特定した両目の領域の画像を拡大させるようにしてあること
を特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
画像中の人物の顔を検出し、検出した顔を加工する画像処理方法において、
検出された顔の輪郭に基づき加工処理範囲の境界を特定する処理境界線を設定し、
顔の輪郭を含む所定範囲を顔領域として画像から抽出し、
検出した顔の目、鼻又は口の各領域を特定し、
特定した各領域の位置に基づいて顔中心を特定し、
顔領域内で特定した顔中心へ向け、設定した処理境界線内の領域の画像を縦横夫々所定の比率にて縮小させる
ことを特徴とする画像処理方法。
【請求項６】
コンピュータに、画像に写る人物の顔を検出させ、検出された顔を加工させるためのコンピュータプログラムにおいて、
コンピュータに、
検出された顔の輪郭に基づき加工処理範囲の境界を特定する処理境界線を設定するステップと、
顔の輪郭を含む所定範囲を顔領域として画像から抽出するステップと、
検出した顔の目、鼻又は口の各領域を特定するステップと、
特定した各領域の位置に基づいて顔中心を特定するステップと、
顔領域内で特定した顔中心へ向け、設定した処理境界線内の領域の画像を縦横夫々所定の比率にて縮小させるステップと
を実行させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１３−１０９７８７（Ｐ２０１３−１０９７８７Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１３−５２２２０（Ｐ２０１３−５２２２０）
【出願日】平成２５年３月１４日（２０１３．３．１４）
【分割の表示】特願２００９−１７４６８１（Ｐ２００９−１７４６８１）の分割
【原出願日】平成２１年７月２７日（２００９．７．２７）
【出願人】（５９１２３７６８５）株式会社メイクソフトウェア (137)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２５年３月１４日（２０１３．３．１４）
【分割の表示】特願２００９−１７４６８１（Ｐ２００９−１７４６８１）の分割
【原出願日】平成２１年７月２７日（２００９．７．２７）
【出願人】（５９１２３７６８５）株式会社メイクソフトウェア (137)
【Ｆターム（参考）】
[ Back to top ]