画像処理装置および画像処理方法
【課題】撮影画像に複数の人が写っている場合において、それぞれの人の顔の形を好適に補正することができるようにする。
【解決手段】それぞれの顔が重なり条件に合致するか否かを判定し、重なり条件に合致する画像については、顔の輪郭を変形する画像処理の対象とせず、重なり条件に合致しない画像については画像処理の対象とした上で、再度、重なり条件に合致し、かつ画像処理の対象としていない画像を選択して、反復的に、重なり条件に合致するか否かを判定することを繰り返す。重なり条件は、選択している顔に設定された最大輪郭ラインが、他の顔の輪郭ラインと交わるか否かの条件である。本発明は、写真シール作成装置に適用することができる。
【解決手段】それぞれの顔が重なり条件に合致するか否かを判定し、重なり条件に合致する画像については、顔の輪郭を変形する画像処理の対象とせず、重なり条件に合致しない画像については画像処理の対象とした上で、再度、重なり条件に合致し、かつ画像処理の対象としていない画像を選択して、反復的に、重なり条件に合致するか否かを判定することを繰り返す。重なり条件は、選択している顔に設定された最大輪郭ラインが、他の顔の輪郭ラインと交わるか否かの条件である。本発明は、写真シール作成装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、撮影画像に複数の人が写っている場合において、それぞれの人の顔の形を好適に補正することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
利用者を撮影し、撮影画像に対して利用者に編集を行わせ、編集後の画像をシール紙に印刷して提供する写真シール作成装置が知られている。このような写真シール作成装置は娯楽（遊戯）施設等に設置される。
【０００３】
写真シール作成装置によって提供される１ゲームの流れは、通常、撮影ブース内にいる利用者を被写体として撮影し、利用者を編集ブースに移動させ、編集ブース内で行われる操作に従って画像を編集し、編集後の画像である編集画像をシール紙に印刷して排出するという流れになる。撮影画像の編集は、撮影画像に対してスタンプツールを使ってスタンプ画像を付加したり、ペンツールを使って手書き文字を入力したりして、撮影画像に装飾を施すことによって行われる。
【０００４】
ところで、近年、画像処理を施すことによって見栄えのよい撮影画像を生成する機能を搭載した写真シール作成装置がある。ここでいう画像処理は、編集ブースで行われる、撮影画像に何らかの画像を付加して装飾を施す編集処理とは異なり、撮影画像に写る人物（写真シール作成装置の利用者）自体を補正する処理である。
【０００５】
撮影画像の画像処理には、ぱっちりと大きくみせるように目の大きさを変更する処理や、肌をきれいに見せるように肌色を変更する処理がある。また、小顔になるように顎のラインを変形する処理や、小顔にするために、顔ラインを取得し、そのラインを基に目を除いた部分の顔領域を変形する処理がある。
【０００６】
例えば、目の大きさを変更する処理と肌の色を変更する処理については特許文献１に開示されており、顎のラインを変形する処理については特許文献２に開示されている。また、目を除いた顔領域を変形する処理については特許文献３に開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−１７５５８０号公報
【特許文献２】特開２０１０−５０５０１号公報
【特許文献３】特開２０１０−６１６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
見栄えのよい撮影画像を提供するために様々な画像処理の機能が提供されているが、例えば特許文献１に開示されている技術は、目の大きさや肌の色を対象とした処理であり、顔の輪郭を変形するものではないから、顔全体をみたときにバランスの悪い画像になってしまうことがある。また、利用者が個別に操作を行わなければならないため操作性に優れていなかった。
【０００９】
また、特許文献２に開示されている技術によっては、例えば利用者が複数いる場合、他の利用者の顔との関係を考慮することなく、画像処理の対象としている顔の顎ラインを変形するようになされていることから、画像処理後の全員の顔を見たときにバランスの悪い画像になってしまうことがある。さらに、撮影画像に何人の顔が含まれているかが顔検出処理によって取得され、取得された人数分だけ処理が繰り返されることから、最初に取得人数からもれてしまった人の顔は処理の対象にならず、この点において、全ての利用者にとって満足できる撮影画像を提供できているとはいえない。
【００１０】
特許文献３に開示されている技術によっては、撮影画像に写る人の数が複数の場合、一人が写る範囲の境界線と他の人が写る範囲の境界線が所定の距離内であれば両者とも画像処理の対象にならず、また、撮影画像に写る人の数が３人以上である場合の処理が開示されていない。写真シール作成装置の使い方として３人のグループで近づいて撮影を行うといったことも多く、このような場合に仮に誰の顔も画像処理の対象にならないとすると、このことも、全ての利用者にとって満足できる撮影画像を提供できていないことになる。さらに、近づいた時は画像処理の対象にならず、離れた時は画像処理の対象になるため、同じゲーム内で生成される複数の撮影画像間で、同一人の顔に違いが生じてしまい、見栄えの悪い画像を提供したり、利用者に不快感を与えたりすることがあった。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、撮影画像に複数の人が写っている場合において、それぞれの人の顔の形を好適に補正することができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の画像処理装置は、撮影画像に写る人物の顔を検出する顔検出手段と、前記撮影画像から検出された人物の顔に、変形可能な最大の輪郭の大きさを表す線である最大輪郭ラインを設定する設定手段と、前記顔検出手段で検出された人物の顔が複数あった場合に、前記複数の人物の顔のうちの所定の人物の顔に設定された前記最大輪郭ラインが他の人物の顔の輪郭のラインと交わるか否かを判定し、交わらないと判定した場合、前記所定の人物の顔を対象として、前記最大輪郭ラインにより表される大きさの範囲内で所定の大きさになるように輪郭を変形する画像処理を行い、交わると判定した場合、前記画像処理を行わない顔変形処理手段と、前記顔変形処理手段で、前記所定の人物の顔を対象として前記画像処理を行う毎に、他の人物の顔を前記顔変形処理手段の処理対象とする前記所定の人物の顔として選択する選択手段とを有することを特徴とする。
【００１３】
前記顔検出手段には、前記撮影画像に写る人物の顔を検出させるとともに、人物の顔として検出したオブジェクトに対して人物の顔である確率を計算させ、前記選択手段には、前記顔検出手段により求められた前記確率の高い順に処理対象とする前記所定の人物の顔を選択させることができる。
【００１４】
前記選択手段には、前記画像処理の対象とした顔を除いて、前記複数の人物の全員の顔に設定された前記最大輪郭ラインが前記他の人物の顔の輪郭のラインと交わると判定するまで、処理対象とする前記所定の人物の顔の選択を繰り返させることができる。
【００１５】
本発明の一側面の画像処理方法は、撮影画像に写る人物の顔を検出し、前記撮影画像から検出された人物の顔に、変形可能な最大の輪郭の大きさを表す線である最大輪郭ラインを設定し、検出した人物の顔が複数あった場合に、前記複数の人物の顔のうちの所定の人物の顔に設定された前記最大輪郭ラインが他の人物の顔の輪郭のラインと交わるか否かを判定し、交わらないと判定した場合、前記所定の人物の顔を対象として、前記最大輪郭ラインにより表される大きさの範囲内で所定の大きさになるように輪郭を変形する画像処理を行い、交わると判定した場合、前記画像処理を行わず、前記所定の人物の顔を対象として前記画像処理を行う毎に、他の人物の顔を処理対象とする前記所定の人物の顔として選択するステップを含む。
【００１６】
本発明の一側面においては、撮影画像に写る人物の顔が検出され、前記撮影画像から検出された人物の顔に、変形可能な最大の輪郭の大きさを表す線である最大輪郭ラインが設定される。また、検出された人物の顔が複数あった場合に、前記複数の人物の顔のうちの所定の人物の顔に設定された前記最大輪郭ラインが他の人物の顔の輪郭のラインと交わるか否かが判定され、交わらないと判定された場合、前記所定の人物の顔を対象として、前記最大輪郭ラインにより表される大きさの範囲内で所定の大きさになるように輪郭を変形する画像処理が行われ、交わると判定された場合、前記画像処理が行われない。前記所定の人物の顔を対象として前記画像処理が行われる毎に、他の人物の顔が処理対象とする前記所定の人物の顔として選択される。
【発明の効果】
【００１７】
本発明によれば、撮影画像に複数の人が写っている場合において、それぞれの人の顔の形を好適に補正することができる。
【図面の簡単な説明】
【００１８】
【図１】写真シール作成装置の構成例を示す斜視図である。
【図２】写真シール作成装置を他の角度からみた斜視図である。
【図３】利用者の移動について説明する図である。
【図４】撮影ユニットの前方ユニットの正面の構成例を示す図である。
【図５】編集ユニットの側面の構成例を示す図である。
【図６】編集ユニットの他の側面の構成例を示す図である。
【図７】写真シール作成装置の内部の構成例を示すブロック図である。
【図８】図７の制御部の機能構成例を示すブロック図である。
【図９】図８の撮影処理部の機能構成例を示すブロック図である。
【図１０】撮影画像の例を示す図である。
【図１１】撮影画像の他の例を示す図である。
【図１２】撮影画像のさらに他の例を示す図である。
【図１３】撮影画像の例を示す図である。
【図１４】撮影画像に写る顔の位置の例を示す図である。
【図１５】撮影画像に写る顔の位置の他の例を示す図である。
【図１６】撮影画像に写る顔の位置のさらに他の例を示す図である。
【図１７】撮影画像に写る顔の位置の例を示す図である。
【図１８】撮影画像に写る顔の位置の他の例を示す図である。
【図１９】撮影画像に写る顔の位置のさらに他の例を示す図である。
【図２０】写真シール作成装置の写真シール作成ゲーム処理について説明するフローチャートである。
【図２１】図２０のステップＳ３において行われる撮影処理について説明するフローチャートである。
【図２２】図２１のステップＳ１６において行われる顔変形処理について説明するフローチャートである。
【図２３】画像処理の具体例を示す図である。
【図２４】画像処理の具体例を示す他の図である。
【図２５】画像処理の具体例を示すさらに他の図である。
【図２６】画像処理の効果について説明する図である。
【図２７】画像処理の効果について説明する他の図である。
【発明を実施するための形態】
【００１９】
［写真シール作成装置の構成］
図１は、写真シール作成装置１の構成例を示す斜視図である。
【００２０】
写真シール作成装置１は、撮影や編集等の作業を利用者にゲームとして行わせ、撮影画像や編集済み画像を提供する代わりに利用者より代金を受け取るゲーム機（画像処理装置）である。写真シール作成装置１はゲームセンタなどの店舗に設置される。利用者は１人であることもあるし、複数人であることもある。
【００２１】
写真シール作成装置１が提供する写真シール作成ゲームにおいて、利用者は、代金を投入し、自身が被写体となって撮影を行い、撮影によって得られた撮影画像の中から編集対象画像を選択し、編集対象画像に対して、背景や前景となるフレーム画像、手書きの線画やスタンプ画像を合成する編集機能を用いて編集を行うことにより、撮影画像を彩り豊かな画像にする。ゲーム終了後、利用者は、編集済み画像が印刷されたシール紙を受け取ることになる。
【００２２】
図１に示すように、写真シール作成装置１の筐体１０は、主に、撮影ユニット１２、編集ユニット１３、天井ストロボユニット１４、および背景カーテンユニット１５から構成される。
【００２３】
撮影ユニット１２は、利用者を被写体として撮影する機能を有するユニットである。撮影ユニット１２の内部の撮影空間において撮影が行われる。撮影ユニット１２は、大きく前方ユニット１２Ａと後方ユニット１２Ｂに分けられる。
【００２４】
前方ユニット１２Ａは、撮影空間の前方側となるユニットであり、撮影に関する処理を行ったり、利用者による操作を受け付けたりする。前方ユニット１２Ａの側面には、外付けモニタ１６、スピーカ１７、タッチペン１８ａ，１８ｂが設けられる。外付けモニタ１６の下方には硬貨投入口５５が設けられる。後方ユニット１２Ｂは撮影空間の後方側となる壁状のユニットである。
【００２５】
編集ユニット１３は、利用者が撮影画像に対して編集等を行うための構成が設けられるユニットである。２組の利用者が同時に編集作業を行うことができるように、編集等を行うための構成が編集ユニット１３の２つの面のそれぞれに設けられる。写真シール作成装置１は、ある利用者に写真シール作成ゲームを行わせることと、他の利用者に写真シール作成ゲームを行わせることを並列的に実行することができる。
【００２６】
撮影空間の上方に設けられる天井ストロボユニット１４は、撮影タイミングに合わせて撮影空間内に向けてフラッシュを発光するストロボを内蔵する。天井ストロボユニット１４の内部には蛍光灯が配置されており、撮影空間の照明としても機能する。
【００２７】
後方ユニット１２Ｂの上部には、背景に利用する可動式のカーテン（背景カーテン）が収納された背景カーテンユニット１５が設けられている。背景カーテンユニット１５には、色または柄の異なる巻き取り式のカーテンが複数収納されている。背景カーテンユニット１５は、前方ユニット１２Ａに設けられたカメラやストロボ等の撮影機能と連動して動作し、撮影の際に、例えば利用者により選択された色のカーテンを下ろし、その他のカーテンを巻き取る。背景カーテンについて、複数のカーテンを１枚のクロマキー用のカーテンとして昇降式カーテンとしてもよく、また、クロマキー用のカーテンを予め撮影空間の背面に張り付けるとともに、合成用の背景画像を複数種類用意し、編集処理において利用者が所望する背景画像をカーテンの部分に合成することができるようにしてもよい。
【００２８】
前方ユニット１２Ａの側面に設けられる外付けモニタ１６は、撮影空間で撮影が行われている場合に、次に撮影空間を利用するために撮影空間の外で待機している利用者や、写真シール作成装置１の傍を通りかかった人に対して、ゲームの進行状況を示す映像を表示したり、ゲームの流れや遊び方等を案内する映像（デモンストレーション）を表示したり、写真シール作成装置１が設置されている店舗や地域の広告等を表示したりする。外付けモニタ１６はタブレット内蔵モニタであり、事前接客処理に関する画面を表示し、利用者による選択操作を受け付ける。
【００２９】
スピーカ１７は、外付けモニタ１６の表示に合わせた音声を出力する。
【００３０】
タッチペン１８ａ，１８ｂは事前接客作業を行う利用者により用いられる。利用者は、タッチペン１８（タッチペン１８ａ，１８ｂ）によって外付けモニタ１６をタップしたり、外付けモニタ１６上を移動させたりすることにより、各種の項目を選択することができる。タッチペンを２本用意しておくことにより、事前接客作業における選択操作を２人の利用者が同時に行うことが可能になる。
【００３１】
図２は、写真シール作成装置１を別の角度から見た斜視図である。
【００３２】
編集ユニット１３は、前方ユニット１２Ａの、後方ユニット１２Ｂ側の面（撮影空間側の面）と反対の面に隣接して設置される。編集ユニット１３の２つの側面には、利用者が撮影画像に対する編集等を行うための第１編集インタフェース１３Ａと第２編集インタフェース１３Ｂがそれぞれ設けられる。
【００３３】
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について図３を参照して説明する。図３は、写真シール作成装置１を上から見た平面図である。
【００３４】
外付けモニタ１６の前方の空間である事前接客空間３１において硬貨投入口５５に代金を投入した利用者（利用者Ａ）は、タッチペン１８を用いて、外付けモニタ１６に表示される画面に従って各種の設定を行う。事前接客空間３１においては、例えば、画像をサーバに送信する機能である携帯送信の機能を利用するか否かの選択が事前接客作業として行われる。
【００３５】
事前接客作業を終えた利用者は、前方ユニット１２Ａと後方ユニット１２Ｂの間に形成された撮影空間３２に入り、前方ユニット１２Ａに設けられたカメラやモニタを利用して撮影作業を行う（利用者Ｂ）。
【００３６】
撮影作業を終えた利用者は、撮影画像の中から編集対象画像を選択し、選択した後に例えば前方ユニット１２Ａのモニタに表示される移動案内に従って、撮影空間３２から、編集作業を行う編集空間に移動する。
【００３７】
編集ユニット１３の、前方ユニット１２Ａから見て右側（第１編集インタフェース１３Ａの前方）に第１編集空間３３Ａが形成され、左側（第２編集インタフェース１３Ｂの前方）に第２編集空間３３Ｂが形成される。以下、適宜、第１編集空間３３Ａと第２編集空間３３Ｂを区別する必要が無い場合、まとめて編集空間３３という。
【００３８】
撮影空間３２の利用者（利用者Ｂ）は、撮影作業を終えたとき、２つの編集空間のうち、空いている方に案内される。第１編集空間３３Ａまたは第２編集空間３３Ｂに移動した利用者は、編集作業を開始する。第１編集空間３３Ａの利用者である利用者Ｃと、第２編集空間３３Ｂの利用者である利用者Ｃ'は同時に編集作業を行うことができる。
【００３９】
編集作業を終えた利用者は、次に、分割数の設定などの印刷設定作業を編集空間３３において行う。印刷設定作業が終了した後、印刷が開始される。画像の印刷中、利用者は、携帯送信の機能を利用することを事前接客作業時に選択している場合、サーバに保存しておく画像を編集済み画像の中から選択したり、ミニゲームを行ったりする。印刷が終了した場合、利用者は印刷物受取領域３４に移動してシール紙を受け取り、一連の写真シール作成ゲームを終える。
【００４０】
次に、各ユニットの構成について説明する。
【００４１】
図４は、前方ユニット１２Ａの構成例を示す図である。図４の正面１２Ａ−１は、撮影空間３２で撮影作業を行う利用者にとって前方に位置する面である。
【００４２】
正面１２Ａ−１のほぼ中央には、撮影空間３２内の被写体を撮影するカメラ５１が設けられており、カメラ５１の下にタッチパネルモニタ５２が設けられている。
【００４３】
正面１２Ａ−１には、カメラ５１による撮影タイミングに合わせて発光する照明装置５３−１乃至５３−８が設置されている他、撮影作業を行っている利用者が手荷物等を置くための荷物置き場５４−１および５４−２が、タッチパネルモニタ５２の下にある照明装置５３−７を挟んで左右に設けられている。正面１２Ａ−１の例えば天井付近には、写真シール作成ゲームの撮影作業における案内音声、BGM(Back Ground Music)、効果音等の音声を出力するスピーカも設けられる。
【００４４】
カメラ５１は、CCD(Charge Coupled Device)などの撮像素子により構成され、撮影空間３２にいる利用者を撮影する。カメラ５１により取り込まれた取り込み画像は、一部が切り出されたり、背景等の画像が合成されたりして、タッチパネルモニタ５２にリアルタイムで表示される。利用者により撮影が指示されたときなどの所定のタイミングでカメラ５１により取り込まれた画像は撮影画像（静止画像）として保存される。
【００４５】
タッチパネルモニタ５２は、LCD(Liquid Crystal Display)などのライブビューモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ５２は、カメラ５１により取り込まれた取り込み画像に背景や前景等の画像を合成した合成画像（動画像）を表示するライブビューモニタとしての機能と、各種のGUI(Graphical User Interface)画像を表示するとともに、画面上に重畳されたタッチパネルにより利用者の選択操作を受け付ける機能とを備えている。
【００４６】
図５は、編集ユニット１３の、撮影ユニット１２側から見て右側面の構成例（第１編集空間３３Ａ側の構成例）を示す図である。
【００４７】
第１編集インタフェース１３Ａには、タブレット内蔵モニタ６２、タッチペン６３−１，６３−２、およびスピーカ６４が設けられる。これらの上方には照明装置６１も設けられる。
【００４８】
タブレット内蔵モニタ６２は、タッチペン６３−１または６３−２を用いて操作入力が可能なタブレットがLCDなどの表示デバイス上に重畳されることによって構成される。タブレット内蔵モニタ６２には、例えば、編集対象画像の編集に用いられる画面である編集画面が表示される。２人で同時に編集作業を行う場合、タッチペン６３−１は一方の利用者により用いられ、タッチペン６３−２は他方の利用者により用いられる。以下、適宜、タッチペン６３−１とタッチペン６３−２をまとめてタッチペン６３という。
【００４９】
スピーカ６４は、案内音声、効果音、BGMなどの編集作業に関する音声を出力する。なお、第２編集空間３３Ｂ側の編集ユニット１３の構成も、図５に示す第１編集空間３３Ａ側の構成と基本的に同様の構成である。
【００５０】
図６は、編集ユニット１３の、写真シール排出部１３Ｃの構成例を示す図である。
【００５１】
写真シール排出部１３Ｃには写真シール排出口７１が設けられる。写真シール排出口７１には、第１編集空間３３Ａの利用者が編集作業を行って得られた画像が印刷されたシール紙と、第２編集空間３３Ｂの利用者が編集作業を行って得られた画像が印刷されたシール紙が排出される。編集ユニット１３の内部にはプリンタが設けられており、編集作業により得られた画像の印刷がそのプリンタにより行われる。
【００５２】
次に、写真シール作成装置１の内部構成について説明する。図７は、写真シール作成装置１の内部の構成例を示すブロック図である。上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００５３】
制御部１０１は、写真シール作成装置１の全体の動作を制御する。制御部１０１には、記憶部１０２、通信部１０３、ドライブ１０４、ROM(Read Only Memory)１０６、RAM(Random Access Memory)１０７、事前接客部１１１、撮影部１１２、編集部１１３、プリンタ１１４が接続される。
【００５４】
記憶部１０２は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体からなり、制御部１０１から供給された各種の設定情報を記憶する。記憶部１０２に記憶されている情報は制御部１０１により適宜読み出される。
【００５５】
通信部１０３はインターネットなどのネットワークのインタフェースであり、制御部１０１による制御に従って外部の装置と通信を行う。
【００５６】
ドライブ１０４には、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）や半導体メモリなどよりなるリムーバブルメディア１０５が適宜装着される。ドライブ１０４によりリムーバブルメディア１０５から読み出されたコンピュータプログラムやデータは、制御部１０１に供給され、記憶部１０２に記憶されたり、インストールされたりする。
【００５７】
ROM１０６には、制御部１０１において実行されるプログラムやデータが記憶されている。RAM１０７は、制御部１０１が処理するデータやプログラムを一時的に記憶する。
【００５８】
事前接客部１１１は、事前接客作業を利用者に行わせるための処理である事前接客処理を行うブロックであり、外付けモニタ１６、スピーカ１７、タッチペン１８、および硬貨処理部１２１から構成される。
【００５９】
外付けモニタ１６は、制御部１０１による制御に従って、写真シール作成ゲームの流れや遊び方等を案内する映像などを表示する。また、外付けモニタ１６は、代金が投入された後、携帯送信の機能を利用するか否かの選択画面などを表示する。外付けモニタ１６に対して入力された利用者の操作の内容を表す信号は制御部１０１に供給される。
【００６０】
硬貨処理部１２１は、硬貨投入口に対する硬貨の投入を検出する。硬貨処理部１２１は、硬貨が投入されたことを検出した場合、そのことを表す起動信号を制御部１０１に出力する。
【００６１】
撮影部１１２は、撮影作業を利用者に行わせるための処理である撮影処理を行うブロックであり、背景カーテンユニット１５、照明制御部１２２、カメラ５１、タッチパネルモニタ５２、およびスピーカ１２４から構成される。
【００６２】
背景カーテンユニット１５は、制御部１０１より供給される背景制御信号に基づいて背景カーテンの上げ下ろしを行う。背景の選択は利用者が手動で行うようにしてもよい。
【００６３】
照明制御部１２２は、制御部１０１より供給される照明制御信号に基づいて、照明装置５３−１乃至５３−８を点灯したり、消灯したりする。
【００６４】
カメラ５１は、制御部１０１による制御に従って撮影を行い、撮影によって得られた画像データを制御部１０１に出力する。撮影処理においては、撮影が複数回行われ、複数の撮影画像の中から選択された所定の数の画像が編集対象画像として記憶部１０２に保存される。
【００６５】
編集部１１３は、編集作業を利用者に行わせるための処理である編集処理を行うブロックであり、第１編集インタフェース１３Ａに対応する第１編集部１１３Ａと、第２編集インタフェース１３Ｂに対応する第２編集部１１３Ｂよりなる。ここでは第１編集部１１３Ａの構成について説明するが、第２編集部１１３Ｂも第１編集部１１３Ａと同一の構成を有する。
【００６６】
第１編集部１１３Ａは、タブレット内蔵モニタ６２、タッチペン６３−１，６３−２、およびスピーカ６４から構成される。
【００６７】
タブレット内蔵モニタ６２は編集用モニタ１４１とタブレット１４２により構成され、制御部１０１による制御に従って編集画面を表示し、編集画面に対する利用者の操作を検出する。利用者の操作の内容を表す信号は制御部１０１に供給され、編集対象画像の編集が行われる。編集画面には、記憶部１０２に保存されていた編集対象画像のサムネイル画像が表示され、サムネイル画像をタップすることによって選択された編集対象画像がサムネイル画像より大きなサイズで表示される。利用者は、拡大して表示させる編集対象画像を適宜切り替え、拡大表示された編集対象画像に対して、編集画面に表示されるペンツールを使って手書きの文字を入力したり、スタンプツールを使ってハート柄などの画像を入力したりすることができる。
【００６８】
プリンタ１１４は、編集処理によって得られた編集済み画像をシール紙１６２に印刷し、写真シール排出口７１に排出する。
【００６９】
図８は、制御部１０１の機能構成例を示すブロック図である。図８に示す構成は、制御部１０１が所定のプログラムを実行することによって実現される。制御部１０１においては、事前接客処理部２０１、撮影処理部２０２、編集処理部２０３、印刷処理部２０４、および事後接客処理部２０５が実現される。
【００７０】
事前接客処理部２０１は、写真シール作成ゲームを開始する際に投入される代金（硬貨）に関する処理や、撮影前設定などに関する処理である事前接客処理を行う。撮影処理部２０２は、利用者を撮影する処理である撮影処理を行う。編集処理部２０３は、撮影画像に対する編集等の編集処理を行う。印刷処理部２０４は、編集処理によって得られた画像をシール紙に印刷する印刷処理を行う。事後接客処理部２０５は、編集作業を終えて印刷が終わるのを待っている利用者に対してミニゲームなどを提供する事後接客処理を行う。
【００７１】
［顔変形処理について］
以上のような構成を有する写真シール作成装置１においては、撮影画像を対象として、撮影画像に写る人物の顔を変形する処理である顔変形処理が行われる。顔変形処理は、例えば、撮影が終了した後であって、編集が開始される前に行われる。すなわち、編集処理においては、顔変形処理後の画像が編集対象画像として用いられる。顔変形処理は、利用者の指示に応じて行われるようにしてもよいし、写真シール作成装置１により自動的に行われるようにしてもよい。撮影して得られた画像を元画像として顔変形処理を施し、さらに、縦長形状、横長形状、正方形形状の画像を切り出し、その切り出した画像が編集用画像となる。
【００７２】
図９は、撮影処理部２０２の機能構成例を示すブロック図である。撮影処理部２０２は、撮影制御部２１１、顔認識部２１２、最大輪郭ライン設定部２１３、および画像処理部２１４から構成される。
【００７３】
撮影制御部２１１は、撮影空間３２にいる利用者を複数回撮影し、編集対象画像として選択された撮影画像を出力する。撮影制御部２１１から出力された撮影画像は、顔認識部２１２、最大輪郭ライン設定部２１３、および画像処理部２１４にそれぞれ供給される。
【００７４】
顔認識部２１２は、撮影制御部２１１から供給された撮影画像に写る顔を認識する。顔認識部２１２は、例えば撮影画像を解析することによって、撮影画像に写るオブジェクトの各位置における特徴を抽出し、抽出した特徴と、予め用意されている人物の顔の各位置における特徴とをマッチングすることによって顔認識を行う。顔認識部２１２は、撮影画像に写るオブジェクトのうち、マッチング結果を表すスコアの高いものを人物の顔であるとして認識する。
【００７５】
図１０は、撮影画像の例を示す図である。図１０の例においては、二人の人物が写っており、フレームＦ１，Ｆ２で囲んで示すようにそれぞれの人物の顔が認識されている。以下、適宜、フレームＦ１で囲んで示す左側の人物の顔を顔１、フレームＦ２で囲んで示す右側の人物の顔を顔２として説明する。
【００７６】
顔認識部２１２は、認識したそれぞれの顔の位置を表す情報と、顔の輪郭、目、鼻、口などの顔の各部分の位置を表す情報を最大輪郭ライン設定部２１３に出力する。また、顔認識部２１２は、マッチングにより求めたスコアを画像処理部２１４に出力する。画像処理部２１４に出力されるスコア（信頼度）は、顔であるとして認識したオブジェクトが実際に顔である確率を表す。
【００７７】
最大輪郭ライン設定部２１３は、顔認識部２１２から供給された情報に基づいて撮影画像に写る顔の輪郭を特定し、それぞれの顔に、変形して拡大することが可能な最大の輪郭の範囲を表すラインである最大輪郭ラインを設定する。
【００７８】
図１１に示すように、顔１の輪郭が輪郭ラインＬ１で表され、顔２の輪郭が輪郭ラインＬ２で表される場合について説明する。この場合、最大輪郭ライン設定部２１３は、図１２に示すように、輪郭ラインＬ１の外側に、顔１の輪郭を変形して拡大することが可能な最大の輪郭の範囲を表す最大輪郭ラインＬ１maxを設定し、輪郭ラインＬ２の外側に、顔２の輪郭を変形して拡大することが可能な最大の輪郭の範囲を表す最大輪郭ラインＬ２maxを設定する。
【００７９】
例えば、最大輪郭ラインは、目、鼻、口などの顔の各部分より求められる顔の中心を基準位置として、基準位置から、輪郭上の各位置までの距離を、顔の外側に所定の割合だけ広げることによって設定される。基準位置から輪郭上の各位置までの距離を同じ割合で広げるのではなく、変形後の顔がより小顔に見えるように、横方向に広げる割合より縦方向に広げる割合の方が大きくなるようにしてもよい。最大輪郭ライン設定部２１３は、撮影画像の各顔に設定した最大輪郭ラインの情報を画像処理部２１４に出力する。
【００８０】
なお、最大輪郭ラインだけでなく、図１３において破線で示すように、基準位置から輪郭上の各位置までの距離を、顔の内側に所定の割合だけ狭めることによって最小輪郭ラインが設定されるようにしてもよい。この場合、画像処理によって、顔の輪郭を最大輪郭ラインの範囲まで拡大するだけでなく、最小輪郭ラインの範囲まで縮小することが可能とされる。場合によっては、部分的に顔輪郭ラインより内側となる部分や外側となる部分が混在したような最大（最小）変形ラインとなりうるような見栄えのよい画像になるようなラインに設定してもよい。例えば、面長になるように、頬より上は輪郭ラインより少し外側で、唇より下は輪郭ラインより少し内側になるようなラインになるように設定してもよい。
【００８１】
また、一点鎖線で示すように、輪郭ラインと最大輪郭ラインの間に、双方のラインとほぼ平行なラインが設定され、このラインに沿って、輪郭ラインの範囲を拡大することができるようにしてもよい。
【００８２】
画像処理部２１４は、顔認識部２１２から供給された信頼度に基づいて、人物の顔である確率の最も高い顔を選択し、選択している顔が、重なり条件に合致するか否かを判定する。
【００８３】
重なり条件は、選択している顔に設定された最大輪郭ラインが、他の顔の輪郭ラインと交わるか否かの条件である。画像処理部２１４は、選択している顔の最大輪郭ラインが、他の顔の輪郭ラインと交わる場合、重なり条件に合致すると判定し、選択している顔の最大輪郭ラインが、他の顔の輪郭ラインと交わらない場合、重なり条件に合致しないと判定する。
【００８４】
画像処理部２１４は、選択している顔が重なり条件に合致する場合、その顔を、輪郭を変形する画像処理の対象とはせずに、次に信頼度の高い顔を選択し、重なり条件に合致するか否かを判定する。すなわち、顔の輪郭を拡大するように変形したときに、変形前より、他の人物の顔に近づく、または、他の人物の顔との重なり部分が大きくなるような顔については、画像処理の対象とはしないで、他の顔を対象として処理が進められる。
【００８５】
ここで、撮影画像に写る顔の位置の各パターンについて、それぞれの顔が画像処理の対象となるか否かについて説明する。撮影画像に写る顔が２つである場合について説明するが、３つ以上である場合も同様である。
【００８６】
例えば、図１４に示すように、顔１と顔２の関係が、最大輪郭ライン同士が交わらないほど離れている関係にある場合、画像処理部２１４は、顔１と顔２のいずれの顔をも対象として画像処理を行う。図１４の例においては、最大輪郭ラインＬ１maxが輪郭ラインＬ２と交わらず、顔１は重なり条件に合致しない。また、最大輪郭ラインＬ２maxが輪郭ラインＬ１と交わらず、顔２も重なり条件に合致しない。
【００８７】
図１５に示すように、顔１と顔２の関係が、最大輪郭ライン同士は交わるが、一方の最大輪郭ラインが他方の輪郭ラインに交わらないほど離れている関係にある場合も同様に、画像処理部２１４は、顔１と顔２のいずれの顔をも対象として画像処理を行う。図１５の例においては、最大輪郭ラインＬ１maxが輪郭ラインＬ２とは交わらず、顔１は重なり条件に合致しない。また、最大輪郭ラインＬ２maxが輪郭ラインＬ１と交わらず、顔２も重なり条件に合致しない。
【００８８】
図１６に示すように、顔１と顔２の関係が、横に並ぶのではなく縦にずれていることによって、最大輪郭ラインＬ１maxが輪郭ラインＬ２と交わるが、最大輪郭ラインＬ２maxが輪郭ラインＬ１と交わらない関係にある場合、画像処理部２１４は、顔１を対象とはしないで、顔２を対象として画像処理を行う。顔１は重なり条件に合致し、顔２は重なり条件に合致しない。
【００８９】
例えば、図１６の顔２を対象とした画像処理によって、図１７に示すように顔２の輪郭を小さくした場合、画像処理部２１４は、再度、顔１を選択し、顔１が重なり条件に合致するか否かを判定する。図１７の例においては、最大輪郭ラインＬ１maxが変形後の顔２に設定された輪郭ラインＬ２と交わり、顔１は重なり条件に合致するから、このとき、処理は終了する。
【００９０】
図１８に示すように、顔１と顔２の関係が、最大輪郭ラインＬ１maxが輪郭ラインＬ２と交わるが、最大輪郭ラインＬ２maxが輪郭ラインＬ１と交わらない関係にある場合、画像処理部２１４は、顔１を対象とはしないで、顔２を対象として画像処理を行う。図１８の例においては、顔１は重なり条件に合致し、顔２は重なり条件に合致しない。
【００９１】
例えば、図１８の顔２を対象とした画像処理によって、図１９に示すように顔２の輪郭を小さくした場合、画像処理部２１４は、再度、顔１を選択し、顔１が重なり条件に合致するか否かを判定する。図１９の例においては、最大輪郭ラインＬ１maxが変形後の顔２の輪郭ラインＬ２と交わらず、顔１は重なり条件に合致しないから、画像処理部２１４は、次に、顔１を対象とした画像処理を行う。
【００９２】
一方の顔が重なり条件に合致するものであったとしても、他方の顔の輪郭の大きさを変えることによって重なり条件に合致しなくなる場合もあり、この場合、重なり条件に合致すると先に判定されていた顔の方も、画像処理の対象になることになる。
【００９３】
図９の説明に戻り、画像処理部２１４は、以上のようにして画像処理の対象を選択し、顔の輪郭を変形した撮影画像を出力する。画像処理部２１４から出力された撮影画像は編集処理部２０３に出力され、編集対象画像として用いられる。
【００９４】
全ての撮影画像を対象として画像処理部２１４により画像処理が行われるのではなく、複数の撮影画像の中から選択された撮影画像のみを対象として画像処理が行われるようにしてもよい。この場合、撮影制御部２１１による撮影処理の終了後、選択画面がタッチパネルモニタ５２に表示され、画像処理の対象とする撮影画像が利用者により選択されることになる。
【００９５】
［写真シール作成装置の動作］
ここで、図２０のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置１の処理について説明する。
【００９６】
ステップＳ１において、写真シール作成装置１の硬貨処理部１２１は、硬貨が投入されたか否かを判定し、投入されたと判定するまで待機する。
【００９７】
硬貨が投入されたとステップＳ１において判定された場合、ステップ２において、事前接客処理部２０１は事前接客処理を行う。例えば事前接客処理により、携帯送信の機能を利用するか否かが選択され、利用することが選択された場合、利用者の携帯電話機のメールアドレスの入力画面が外付けモニタ１６に表示される。利用者は自身の携帯電話機のメールアドレスを入力することになる。
【００９８】
ステップＳ３において、撮影処理部２０２は撮影処理を行う。撮影処理によって得られた撮影画像はタッチパネルモニタ５２に表示され、その中から選択された編集対象画像が編集処理部２０３に供給される。
【００９９】
ステップＳ４において、編集処理部２０３は、編集画面を表示し、利用者の操作に応じて編集処理を行う。編集処理により、上述したように、編集対象画像に対して、手書きの文字や模様、あらかじめ用意されているハート柄などの画像が入力される。
【０１００】
ステップＳ５において、事後接客処理部２０５は事後接客処理を行う。携帯送信の機能を利用することが事前接客処理時に選択されている場合、事後接客処理部２０５は、編集対象画像をタブレット内蔵モニタ６２に表示し、その中から、所定の数の画像を携帯送信用画像として利用者に選択させる。
【０１０１】
携帯送信用画像として選択された画像は、利用者により入力されたメールアドレスとともに写真シール作成装置１からサーバに送信され、サーバが有する記憶媒体に保存される。保存先を表すURLを含む電子メールがサーバから利用者の携帯電話機に送信される。利用者が携帯電話機を操作して電子メールに含まれるURLに対するアクセスを指示したとき、サーバに対するアクセスが行われ、携帯送信用画像が携帯電話機のディスプレイに表示される。
【０１０２】
ステップＳ６において、印刷処理部２０４は、プリンタ１１４を制御し、編集処理により得られた編集済みの画像をシール紙１６２に印刷する印刷処理を行う。
【０１０３】
ステップＳ７において、印刷処理部２０４は、所定の画面をタブレット内蔵モニタ６２に表示するなどして、写真シール排出口７１の前への移動を案内する。
【０１０４】
印刷が終了したとき、ステップＳ８において、印刷処理部２０４は、編集済みの画像が印刷されたシール紙１６２を写真シール排出口７１に排出し、処理を終了させる。
【０１０５】
次に、図２１のフローチャートを参照して、図２０のステップＳ３において行われる撮影処理について説明する。
【０１０６】
撮影処理の開始時、タッチパネルモニタ５２には、カメラ５１により取り込まれたライブビュー画像が表示され、所定の位置に、撮影の開始を指示するときに操作されるスタートボタンが表示される。ステップＳ１１において、撮影処理部２０２は、撮影開始までの所定の時間が経過したか否かを判定し、経過していないと判定した場合、ステップＳ１２において、スタートボタンが押下されたか否かを判定する。
【０１０７】
スタートボタンが押下されていないとステップＳ１２において判定した場合、撮影処理部２０２は、ステップＳ１１に戻り、以上の処理を繰り返す。一方、スタートボタンが押下されたとステップＳ１２において判定した場合、ステップＳ１３において、撮影処理部２０２は、タッチパネルモニタ５２にカウントダウンインジケータを表示させ、撮影を行う。
【０１０８】
ステップＳ１４において、撮影処理部２０２は、予め定められた所定の回数だけ撮影を行ったか否かを判定し、撮影を行っていないと判定した場合、ステップＳ１３に戻り、撮影を繰り返す。
【０１０９】
一方、予め定められた所定の回数だけ撮影を行ったとステップＳ１４において判定した場合、ステップＳ１５において、撮影処理部２０２は、選択画面をタッチパネルモニタ５２に表示し、編集対象画像を利用者に選択させる。編集対象画像の選択画面には、繰り返し撮影を行うことによって得られた撮影画像が表示される。
【０１１０】
編集対象とする撮影画像が選択されたとき、ステップＳ１６において、撮影画像に写る顔の輪郭を画像処理によって変形する顔変形処理が行われる。顔変形処理については図２２のフローチャートを参照して後述する。
【０１１１】
ステップＳ１７において、撮影処理部２０２は、編集空間３３への移動を案内する画面である誘導画面を表示する。例えば、第１編集空間３３Ａまたは第２編集空間３３Ｂのうち、いずれが使用可能であるかが判断され、他の利用者が使用してない（空いている）方の編集空間への移動が案内される。その後、図２０のステップＳ３に戻り、それ以降の処理が行われる。
【０１１２】
次に、図２２のフローチャートを参照して、図２１のステップＳ１６において行われる顔変形処理について説明する。
【０１１３】
ステップＳ２１において、顔認識部２１２は、撮影画像を対象として顔認識を行う。顔認識により、撮影画像に写る顔が検出されるとともに、それぞれの顔が実際に人物の顔である確率を表す信頼度が求められる。
【０１１４】
ステップＳ２２において、最大輪郭ライン設定部２１３は、顔認識部２１２により認識された顔の輪郭を特定し、それぞれの顔に最大輪郭ラインを設定する。
【０１１５】
ステップＳ２３において、画像処理部２１４は、顔認識部２１２により求められた信頼度に基づいて、顔である確率の最も高い１つの顔を選択する。ここでの顔の選択においては、輪郭の変形を既に行った顔は除かれる。
【０１１６】
ステップＳ２４において、画像処理部２１４は、選択している顔が重なり条件に合致するか否かを判定する。
【０１１７】
最大輪郭ラインが他の顔の輪郭ラインと交わらないことから、選択している顔が重なり条件に合致しないとステップＳ２４において判定した場合、ステップＳ２５において、画像処理部２１４は、画像処理を行うことによって、選択している顔の輪郭を、目標とする大きさになるように変形する。目標とする大きさが利用者により選択されるようにしてもよいし、画像処理部２１４により自動的に選択されるようにしてもよい。最大輪郭ラインが目標とする大きさとして選択された場合、輪郭ラインが最大輪郭ラインと重なるまで輪郭が拡大され、最小輪郭ラインが目標とする大きさとして選択された場合、輪郭ラインが最小輪郭ラインと重なるまで輪郭が縮小される。
【０１１８】
例えば、輪郭ラインが最大輪郭ラインと重なるまで輪郭を拡大する場合、その画像処理は、輪郭ラインより内側にある画素を用いて、輪郭ラインから最大輪郭ラインまでの範囲を補間するとともに、輪郭ラインが拡大することに伴って、輪郭ラインより外側にある画素を外側に移動させるようにして行われる。また、輪郭ラインが最小輪郭ラインと重なるまで輪郭を縮小する場合、その画像処理は、輪郭ラインを縮小させることに伴って、輪郭ラインより外側にある画素を用いて、輪郭ラインから最小輪郭ラインまでの範囲を補間するようにして行われる。
【０１１９】
選択している顔の画像処理が終了した場合、画像処理部２１４は、ステップＳ２３に戻り、次に信頼度の高い顔を選択し、以降の処理を繰り返す。例えば、信頼度の最も高い顔の画像処理が行われた場合、２番目に信頼度の高い顔が選択され、処理が繰り返される。また、２番目以降に信頼度の高い顔の画像処理が行われた場合、輪郭の変形を既に行った顔を除いて、信頼度の最も高い顔から順に選択され、処理が繰り返される。
【０１２０】
一方、ステップＳ２４において、最大輪郭ラインが他の顔の輪郭ラインと交わることから、選択している顔が重なり条件に合致すると判定した場合、ステップＳ２６において、画像処理部２１４は、全ての顔を選択したか否かを判定する。
【０１２１】
全ての顔を選択していないとステップＳ２６において判定した場合、ステップＳ２３に戻り、次に信頼度の高い顔を選択し、以降の処理を繰り返す。全ての顔を選択したとステップＳ２６において判定された場合、図２１のステップＳ１６に戻り、それ以降の処理が行われる。
【０１２２】
図２３は、画像処理の具体例を示す図である。
【０１２３】
図２３の左側に示すように、３人の顔が写っている撮影画像Ｐ１を対象として画像処理を行う場合について説明する。撮影画像Ｐ１においては、３人の顔のうち、中央の顔が左右の顔より若干小さく写っている。信頼度の高い順に、右側の人物の顔がID1の顔として認識され、左側の人物の顔がID2の顔として認識され、中央の人物の顔がID3の顔として認識されているものとする。この場合、右側のID1の顔が最初に選択される。
【０１２４】
撮影画像Ｐ１においては、ID1の顔の最大輪郭ラインＬ１maxの左端部分が中央のID3の顔の輪郭ラインＬ３と交わっているから、ID1の顔は重なり条件に合致し、画像処理の対象とはならない。
【０１２５】
次に、左側のID2の顔が選択される。撮影画像Ｐ１においては、ID2の顔の最大輪郭ラインＬ２maxの右端部分が中央のID3の顔の輪郭ラインＬ３と交わっているから、ID2の顔は重なり条件に合致し、画像処理の対象とはならない。
【０１２６】
次に、中央のID3の顔が選択される。撮影画像Ｐ１においては、ID3の顔の最大輪郭ラインＬ３maxが、ID1の顔の輪郭ラインＬ１、ID2の顔の輪郭ラインＬ２の双方と交わらないから、ID3の顔は重なり条件に合致せず、矢印＃１の先に示すように、ID3の顔を対象として画像処理が行われる。矢印＃１の先に示す撮影画像においてID3の顔にのみ最大輪郭ラインなどを示していることは、ID3の顔を対象として画像処理が行われることを表す。
【０１２７】
ここでは、最大輪郭ラインＬ１maxの左端部分が輪郭ラインＬ３と交わらず、かつ、最大輪郭ラインＬ２maxの右端部分が輪郭ラインＬ３と交わらない程度に、ID3の顔が縮小されたものとする。
【０１２８】
図２４の左側に示す撮影画像Ｐ２は、ID3の顔を縮小して得られた、画像処理後の撮影画像である。
【０１２９】
ID3の顔の画像処理が行われているから、この場合、右側のID1の顔が再度選択される。撮影画像Ｐ２においては、ID1の顔の最大輪郭ラインＬ１maxがID3の顔の輪郭ラインＬ３と交わらないから、ID1の顔は重なり条件に合致せず、ID1の顔を対象として画像処理が行われる。
【０１３０】
ID1の顔を対象として画像処理が行われた後、次に、左側のID2の顔が選択される。撮影画像Ｐ２においては、ID2の顔の最大輪郭ラインＬ２maxがID3の顔の輪郭ラインＬ３と交わらないから、ID2の顔は重なり条件に合致せず、矢印＃２の先に示すように、ID2の顔を対象として画像処理が行われる。
【０１３１】
図２５は、以上の一連の流れによって、ID1，ID2，ID3のそれぞれの顔を対象として画像処理を行って得られた撮影画像を示す図である。以上のように、それぞれの顔が重なり条件に合致するか否かを判定し、重なり条件に合致する画像については画像処理の対象とせず、重なり条件に合致しない画像については画像処理の対象とした上で、再度、重なり条件に合致し、かつ画像処理の対象としていない画像を選択して、反復的に、重なり条件に合致するか否かを判定することを繰り返すことによって、他の顔との関係を考慮した上で、全ての顔を対象として画像処理を行うことが可能になる。
【０１３２】
図２６は、重なり条件に合致しない画像から画像処理の対象とすることの効果について説明する図である。ここでは、ID1の顔とID3の顔を用いて説明する。
【０１３３】
図２６の左側に示すID1の顔とID3の顔の関係は、ID1の顔の最大輪郭ラインＬ１maxがID3の顔の輪郭ラインＬ３と交わるが、ID3の顔の最大輪郭ラインＬ３maxはID1の顔の輪郭ラインＬ１と交わらない関係にある。
【０１３４】
この場合、上述したように、輪郭を縮小する処理は、輪郭ラインを縮小させることに伴って、輪郭ラインより外側にある画素を用いて、輪郭ラインから最小輪郭ラインまでの範囲を補間するようにして行われるから、仮に、ID1の顔を先に縮小させた場合、矢印＃１１の先に示すように、ID3の顔の一部（最大輪郭ラインＬ１maxが入り込んでいる付近）がID1の顔の方に引っ張られるような形で広がり、ID3の顔が凸型に歪んでしまうことがある。
【０１３５】
反対に、輪郭を拡大する処理は、輪郭ラインより内側にある画素を用いて、輪郭ラインから最大輪郭ラインまでの範囲を補間するとともに、輪郭ラインが拡大することに伴って、輪郭ラインより外側にある画素を外側に移動させるようにして行われるから、仮に、ID1の顔を先に拡大させた場合、矢印＃１２の先に示すように、ID3の顔の一部が最大輪郭ラインＬ１maxに沿うような形で狭まり、ID3の顔が凹型に歪んでしまうことがある。以上のようにして画像処理の対象を選択することにより、ID3の顔が歪んでしまうことを防ぐことが可能になる。
【０１３６】
［変形例］
以上においては、画像処理によって顔の輪郭を変形する場合について説明したが、顔の輪郭の変形に伴って、目、鼻、口などの顔の各部分の位置や大きさについても補正されるようにしてもよい。
【０１３７】
また、以上においては、顔変形処理が、撮影画像の中から選択された編集対象画像に写る顔を対象として対して行われるものとしたが、他の画像に写る顔を対象として行われるようにしてもよい。例えば、取り込み画像に写る顔を対象としてリアルタイムで行われるようにしたり、編集済み画像に写る顔を対象として行われるようにしたりすることも可能である。
【０１３８】
図２７に示すように、撮影画像の範囲内に最大輪郭ラインが収まらない顔については、画像処理の対象から外すようにしてもよい。図２７の例においては、ID1の顔の最大輪郭ラインＬ１maxは、その一部が撮影画像からはみ出ている。この場合であっても、ID3の顔を対象とした重なり条件の判定は、ID3の顔の最大輪郭ラインＬ３maxと、ID1の顔の輪郭ラインＬ１とが重なるか否かを判定するようにして行われる。ここでは、ID1の顔の最大輪郭ラインＬ１maxが撮影画像からはみ出る場合、画像処理の対象から外すようにしたが、撮影画像の方を拡大し、対象から外すことなく、ID1の顔が画像処理の対象となるようにしてもよい。撮影画像の拡大は、最大輪郭ラインＬ１maxが収まるようになるまで、例えば撮影画像の端にある画素をコピーして広げる（ひきのばす）ことによって行われる。
【０１３９】
以上においては、重なり条件を判定する順序が信頼度の高い順であるものとしたが、顔の大きい順、または小さい順といったように、顔の大きさで決まるようにしてもよい。また、予め用意されているテンプレートと輪郭の形状を比較することによって丸顔の順、細顔の順といったように、顔の形で決まるようにしてもよい。
【０１４０】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。例えば、以上においては重なり条件の判定がラインが交わるか否かに基づいて行われるものとしたが、面が重なるか否かに基づいて行われるようにしてもよい。
【符号の説明】
【０１４１】
１ 写真シール作成装置， ２ 携帯端末， ３ 管理サーバ， １２ 撮影ユニット， １３ 編集ユニット， １０１ 制御部， １１１ 事前接客部， １１２ 撮影部， １１３ 編集部， ２０１ 事前接客処理部， ２０２ 撮影処理部， ２０３ 編集処理部， ２０４ 印刷処理部， ２０５ 事後接客処理部， ２１１ 撮影制御部， ２１２ 顔認識部， ２１３ 最大輪郭ライン設定部， ２１４ 画像処理部
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、撮影画像に複数の人が写っている場合において、それぞれの人の顔の形を好適に補正することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
利用者を撮影し、撮影画像に対して利用者に編集を行わせ、編集後の画像をシール紙に印刷して提供する写真シール作成装置が知られている。このような写真シール作成装置は娯楽（遊戯）施設等に設置される。
【０００３】
写真シール作成装置によって提供される１ゲームの流れは、通常、撮影ブース内にいる利用者を被写体として撮影し、利用者を編集ブースに移動させ、編集ブース内で行われる操作に従って画像を編集し、編集後の画像である編集画像をシール紙に印刷して排出するという流れになる。撮影画像の編集は、撮影画像に対してスタンプツールを使ってスタンプ画像を付加したり、ペンツールを使って手書き文字を入力したりして、撮影画像に装飾を施すことによって行われる。
【０００４】
ところで、近年、画像処理を施すことによって見栄えのよい撮影画像を生成する機能を搭載した写真シール作成装置がある。ここでいう画像処理は、編集ブースで行われる、撮影画像に何らかの画像を付加して装飾を施す編集処理とは異なり、撮影画像に写る人物（写真シール作成装置の利用者）自体を補正する処理である。
【０００５】
撮影画像の画像処理には、ぱっちりと大きくみせるように目の大きさを変更する処理や、肌をきれいに見せるように肌色を変更する処理がある。また、小顔になるように顎のラインを変形する処理や、小顔にするために、顔ラインを取得し、そのラインを基に目を除いた部分の顔領域を変形する処理がある。
【０００６】
例えば、目の大きさを変更する処理と肌の色を変更する処理については特許文献１に開示されており、顎のラインを変形する処理については特許文献２に開示されている。また、目を除いた顔領域を変形する処理については特許文献３に開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−１７５５８０号公報
【特許文献２】特開２０１０−５０５０１号公報
【特許文献３】特開２０１０−６１６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
見栄えのよい撮影画像を提供するために様々な画像処理の機能が提供されているが、例えば特許文献１に開示されている技術は、目の大きさや肌の色を対象とした処理であり、顔の輪郭を変形するものではないから、顔全体をみたときにバランスの悪い画像になってしまうことがある。また、利用者が個別に操作を行わなければならないため操作性に優れていなかった。
【０００９】
また、特許文献２に開示されている技術によっては、例えば利用者が複数いる場合、他の利用者の顔との関係を考慮することなく、画像処理の対象としている顔の顎ラインを変形するようになされていることから、画像処理後の全員の顔を見たときにバランスの悪い画像になってしまうことがある。さらに、撮影画像に何人の顔が含まれているかが顔検出処理によって取得され、取得された人数分だけ処理が繰り返されることから、最初に取得人数からもれてしまった人の顔は処理の対象にならず、この点において、全ての利用者にとって満足できる撮影画像を提供できているとはいえない。
【００１０】
特許文献３に開示されている技術によっては、撮影画像に写る人の数が複数の場合、一人が写る範囲の境界線と他の人が写る範囲の境界線が所定の距離内であれば両者とも画像処理の対象にならず、また、撮影画像に写る人の数が３人以上である場合の処理が開示されていない。写真シール作成装置の使い方として３人のグループで近づいて撮影を行うといったことも多く、このような場合に仮に誰の顔も画像処理の対象にならないとすると、このことも、全ての利用者にとって満足できる撮影画像を提供できていないことになる。さらに、近づいた時は画像処理の対象にならず、離れた時は画像処理の対象になるため、同じゲーム内で生成される複数の撮影画像間で、同一人の顔に違いが生じてしまい、見栄えの悪い画像を提供したり、利用者に不快感を与えたりすることがあった。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、撮影画像に複数の人が写っている場合において、それぞれの人の顔の形を好適に補正することができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の画像処理装置は、撮影画像に写る人物の顔を検出する顔検出手段と、前記撮影画像から検出された人物の顔に、変形可能な最大の輪郭の大きさを表す線である最大輪郭ラインを設定する設定手段と、前記顔検出手段で検出された人物の顔が複数あった場合に、前記複数の人物の顔のうちの所定の人物の顔に設定された前記最大輪郭ラインが他の人物の顔の輪郭のラインと交わるか否かを判定し、交わらないと判定した場合、前記所定の人物の顔を対象として、前記最大輪郭ラインにより表される大きさの範囲内で所定の大きさになるように輪郭を変形する画像処理を行い、交わると判定した場合、前記画像処理を行わない顔変形処理手段と、前記顔変形処理手段で、前記所定の人物の顔を対象として前記画像処理を行う毎に、他の人物の顔を前記顔変形処理手段の処理対象とする前記所定の人物の顔として選択する選択手段とを有することを特徴とする。
【００１３】
前記顔検出手段には、前記撮影画像に写る人物の顔を検出させるとともに、人物の顔として検出したオブジェクトに対して人物の顔である確率を計算させ、前記選択手段には、前記顔検出手段により求められた前記確率の高い順に処理対象とする前記所定の人物の顔を選択させることができる。
【００１４】
前記選択手段には、前記画像処理の対象とした顔を除いて、前記複数の人物の全員の顔に設定された前記最大輪郭ラインが前記他の人物の顔の輪郭のラインと交わると判定するまで、処理対象とする前記所定の人物の顔の選択を繰り返させることができる。
【００１５】
本発明の一側面の画像処理方法は、撮影画像に写る人物の顔を検出し、前記撮影画像から検出された人物の顔に、変形可能な最大の輪郭の大きさを表す線である最大輪郭ラインを設定し、検出した人物の顔が複数あった場合に、前記複数の人物の顔のうちの所定の人物の顔に設定された前記最大輪郭ラインが他の人物の顔の輪郭のラインと交わるか否かを判定し、交わらないと判定した場合、前記所定の人物の顔を対象として、前記最大輪郭ラインにより表される大きさの範囲内で所定の大きさになるように輪郭を変形する画像処理を行い、交わると判定した場合、前記画像処理を行わず、前記所定の人物の顔を対象として前記画像処理を行う毎に、他の人物の顔を処理対象とする前記所定の人物の顔として選択するステップを含む。
【００１６】
本発明の一側面においては、撮影画像に写る人物の顔が検出され、前記撮影画像から検出された人物の顔に、変形可能な最大の輪郭の大きさを表す線である最大輪郭ラインが設定される。また、検出された人物の顔が複数あった場合に、前記複数の人物の顔のうちの所定の人物の顔に設定された前記最大輪郭ラインが他の人物の顔の輪郭のラインと交わるか否かが判定され、交わらないと判定された場合、前記所定の人物の顔を対象として、前記最大輪郭ラインにより表される大きさの範囲内で所定の大きさになるように輪郭を変形する画像処理が行われ、交わると判定された場合、前記画像処理が行われない。前記所定の人物の顔を対象として前記画像処理が行われる毎に、他の人物の顔が処理対象とする前記所定の人物の顔として選択される。
【発明の効果】
【００１７】
本発明によれば、撮影画像に複数の人が写っている場合において、それぞれの人の顔の形を好適に補正することができる。
【図面の簡単な説明】
【００１８】
【図１】写真シール作成装置の構成例を示す斜視図である。
【図２】写真シール作成装置を他の角度からみた斜視図である。
【図３】利用者の移動について説明する図である。
【図４】撮影ユニットの前方ユニットの正面の構成例を示す図である。
【図５】編集ユニットの側面の構成例を示す図である。
【図６】編集ユニットの他の側面の構成例を示す図である。
【図７】写真シール作成装置の内部の構成例を示すブロック図である。
【図８】図７の制御部の機能構成例を示すブロック図である。
【図９】図８の撮影処理部の機能構成例を示すブロック図である。
【図１０】撮影画像の例を示す図である。
【図１１】撮影画像の他の例を示す図である。
【図１２】撮影画像のさらに他の例を示す図である。
【図１３】撮影画像の例を示す図である。
【図１４】撮影画像に写る顔の位置の例を示す図である。
【図１５】撮影画像に写る顔の位置の他の例を示す図である。
【図１６】撮影画像に写る顔の位置のさらに他の例を示す図である。
【図１７】撮影画像に写る顔の位置の例を示す図である。
【図１８】撮影画像に写る顔の位置の他の例を示す図である。
【図１９】撮影画像に写る顔の位置のさらに他の例を示す図である。
【図２０】写真シール作成装置の写真シール作成ゲーム処理について説明するフローチャートである。
【図２１】図２０のステップＳ３において行われる撮影処理について説明するフローチャートである。
【図２２】図２１のステップＳ１６において行われる顔変形処理について説明するフローチャートである。
【図２３】画像処理の具体例を示す図である。
【図２４】画像処理の具体例を示す他の図である。
【図２５】画像処理の具体例を示すさらに他の図である。
【図２６】画像処理の効果について説明する図である。
【図２７】画像処理の効果について説明する他の図である。
【発明を実施するための形態】
【００１９】
［写真シール作成装置の構成］
図１は、写真シール作成装置１の構成例を示す斜視図である。
【００２０】
写真シール作成装置１は、撮影や編集等の作業を利用者にゲームとして行わせ、撮影画像や編集済み画像を提供する代わりに利用者より代金を受け取るゲーム機（画像処理装置）である。写真シール作成装置１はゲームセンタなどの店舗に設置される。利用者は１人であることもあるし、複数人であることもある。
【００２１】
写真シール作成装置１が提供する写真シール作成ゲームにおいて、利用者は、代金を投入し、自身が被写体となって撮影を行い、撮影によって得られた撮影画像の中から編集対象画像を選択し、編集対象画像に対して、背景や前景となるフレーム画像、手書きの線画やスタンプ画像を合成する編集機能を用いて編集を行うことにより、撮影画像を彩り豊かな画像にする。ゲーム終了後、利用者は、編集済み画像が印刷されたシール紙を受け取ることになる。
【００２２】
図１に示すように、写真シール作成装置１の筐体１０は、主に、撮影ユニット１２、編集ユニット１３、天井ストロボユニット１４、および背景カーテンユニット１５から構成される。
【００２３】
撮影ユニット１２は、利用者を被写体として撮影する機能を有するユニットである。撮影ユニット１２の内部の撮影空間において撮影が行われる。撮影ユニット１２は、大きく前方ユニット１２Ａと後方ユニット１２Ｂに分けられる。
【００２４】
前方ユニット１２Ａは、撮影空間の前方側となるユニットであり、撮影に関する処理を行ったり、利用者による操作を受け付けたりする。前方ユニット１２Ａの側面には、外付けモニタ１６、スピーカ１７、タッチペン１８ａ，１８ｂが設けられる。外付けモニタ１６の下方には硬貨投入口５５が設けられる。後方ユニット１２Ｂは撮影空間の後方側となる壁状のユニットである。
【００２５】
編集ユニット１３は、利用者が撮影画像に対して編集等を行うための構成が設けられるユニットである。２組の利用者が同時に編集作業を行うことができるように、編集等を行うための構成が編集ユニット１３の２つの面のそれぞれに設けられる。写真シール作成装置１は、ある利用者に写真シール作成ゲームを行わせることと、他の利用者に写真シール作成ゲームを行わせることを並列的に実行することができる。
【００２６】
撮影空間の上方に設けられる天井ストロボユニット１４は、撮影タイミングに合わせて撮影空間内に向けてフラッシュを発光するストロボを内蔵する。天井ストロボユニット１４の内部には蛍光灯が配置されており、撮影空間の照明としても機能する。
【００２７】
後方ユニット１２Ｂの上部には、背景に利用する可動式のカーテン（背景カーテン）が収納された背景カーテンユニット１５が設けられている。背景カーテンユニット１５には、色または柄の異なる巻き取り式のカーテンが複数収納されている。背景カーテンユニット１５は、前方ユニット１２Ａに設けられたカメラやストロボ等の撮影機能と連動して動作し、撮影の際に、例えば利用者により選択された色のカーテンを下ろし、その他のカーテンを巻き取る。背景カーテンについて、複数のカーテンを１枚のクロマキー用のカーテンとして昇降式カーテンとしてもよく、また、クロマキー用のカーテンを予め撮影空間の背面に張り付けるとともに、合成用の背景画像を複数種類用意し、編集処理において利用者が所望する背景画像をカーテンの部分に合成することができるようにしてもよい。
【００２８】
前方ユニット１２Ａの側面に設けられる外付けモニタ１６は、撮影空間で撮影が行われている場合に、次に撮影空間を利用するために撮影空間の外で待機している利用者や、写真シール作成装置１の傍を通りかかった人に対して、ゲームの進行状況を示す映像を表示したり、ゲームの流れや遊び方等を案内する映像（デモンストレーション）を表示したり、写真シール作成装置１が設置されている店舗や地域の広告等を表示したりする。外付けモニタ１６はタブレット内蔵モニタであり、事前接客処理に関する画面を表示し、利用者による選択操作を受け付ける。
【００２９】
スピーカ１７は、外付けモニタ１６の表示に合わせた音声を出力する。
【００３０】
タッチペン１８ａ，１８ｂは事前接客作業を行う利用者により用いられる。利用者は、タッチペン１８（タッチペン１８ａ，１８ｂ）によって外付けモニタ１６をタップしたり、外付けモニタ１６上を移動させたりすることにより、各種の項目を選択することができる。タッチペンを２本用意しておくことにより、事前接客作業における選択操作を２人の利用者が同時に行うことが可能になる。
【００３１】
図２は、写真シール作成装置１を別の角度から見た斜視図である。
【００３２】
編集ユニット１３は、前方ユニット１２Ａの、後方ユニット１２Ｂ側の面（撮影空間側の面）と反対の面に隣接して設置される。編集ユニット１３の２つの側面には、利用者が撮影画像に対する編集等を行うための第１編集インタフェース１３Ａと第２編集インタフェース１３Ｂがそれぞれ設けられる。
【００３３】
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について図３を参照して説明する。図３は、写真シール作成装置１を上から見た平面図である。
【００３４】
外付けモニタ１６の前方の空間である事前接客空間３１において硬貨投入口５５に代金を投入した利用者（利用者Ａ）は、タッチペン１８を用いて、外付けモニタ１６に表示される画面に従って各種の設定を行う。事前接客空間３１においては、例えば、画像をサーバに送信する機能である携帯送信の機能を利用するか否かの選択が事前接客作業として行われる。
【００３５】
事前接客作業を終えた利用者は、前方ユニット１２Ａと後方ユニット１２Ｂの間に形成された撮影空間３２に入り、前方ユニット１２Ａに設けられたカメラやモニタを利用して撮影作業を行う（利用者Ｂ）。
【００３６】
撮影作業を終えた利用者は、撮影画像の中から編集対象画像を選択し、選択した後に例えば前方ユニット１２Ａのモニタに表示される移動案内に従って、撮影空間３２から、編集作業を行う編集空間に移動する。
【００３７】
編集ユニット１３の、前方ユニット１２Ａから見て右側（第１編集インタフェース１３Ａの前方）に第１編集空間３３Ａが形成され、左側（第２編集インタフェース１３Ｂの前方）に第２編集空間３３Ｂが形成される。以下、適宜、第１編集空間３３Ａと第２編集空間３３Ｂを区別する必要が無い場合、まとめて編集空間３３という。
【００３８】
撮影空間３２の利用者（利用者Ｂ）は、撮影作業を終えたとき、２つの編集空間のうち、空いている方に案内される。第１編集空間３３Ａまたは第２編集空間３３Ｂに移動した利用者は、編集作業を開始する。第１編集空間３３Ａの利用者である利用者Ｃと、第２編集空間３３Ｂの利用者である利用者Ｃ'は同時に編集作業を行うことができる。
【００３９】
編集作業を終えた利用者は、次に、分割数の設定などの印刷設定作業を編集空間３３において行う。印刷設定作業が終了した後、印刷が開始される。画像の印刷中、利用者は、携帯送信の機能を利用することを事前接客作業時に選択している場合、サーバに保存しておく画像を編集済み画像の中から選択したり、ミニゲームを行ったりする。印刷が終了した場合、利用者は印刷物受取領域３４に移動してシール紙を受け取り、一連の写真シール作成ゲームを終える。
【００４０】
次に、各ユニットの構成について説明する。
【００４１】
図４は、前方ユニット１２Ａの構成例を示す図である。図４の正面１２Ａ−１は、撮影空間３２で撮影作業を行う利用者にとって前方に位置する面である。
【００４２】
正面１２Ａ−１のほぼ中央には、撮影空間３２内の被写体を撮影するカメラ５１が設けられており、カメラ５１の下にタッチパネルモニタ５２が設けられている。
【００４３】
正面１２Ａ−１には、カメラ５１による撮影タイミングに合わせて発光する照明装置５３−１乃至５３−８が設置されている他、撮影作業を行っている利用者が手荷物等を置くための荷物置き場５４−１および５４−２が、タッチパネルモニタ５２の下にある照明装置５３−７を挟んで左右に設けられている。正面１２Ａ−１の例えば天井付近には、写真シール作成ゲームの撮影作業における案内音声、BGM(Back Ground Music)、効果音等の音声を出力するスピーカも設けられる。
【００４４】
カメラ５１は、CCD(Charge Coupled Device)などの撮像素子により構成され、撮影空間３２にいる利用者を撮影する。カメラ５１により取り込まれた取り込み画像は、一部が切り出されたり、背景等の画像が合成されたりして、タッチパネルモニタ５２にリアルタイムで表示される。利用者により撮影が指示されたときなどの所定のタイミングでカメラ５１により取り込まれた画像は撮影画像（静止画像）として保存される。
【００４５】
タッチパネルモニタ５２は、LCD(Liquid Crystal Display)などのライブビューモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ５２は、カメラ５１により取り込まれた取り込み画像に背景や前景等の画像を合成した合成画像（動画像）を表示するライブビューモニタとしての機能と、各種のGUI(Graphical User Interface)画像を表示するとともに、画面上に重畳されたタッチパネルにより利用者の選択操作を受け付ける機能とを備えている。
【００４６】
図５は、編集ユニット１３の、撮影ユニット１２側から見て右側面の構成例（第１編集空間３３Ａ側の構成例）を示す図である。
【００４７】
第１編集インタフェース１３Ａには、タブレット内蔵モニタ６２、タッチペン６３−１，６３−２、およびスピーカ６４が設けられる。これらの上方には照明装置６１も設けられる。
【００４８】
タブレット内蔵モニタ６２は、タッチペン６３−１または６３−２を用いて操作入力が可能なタブレットがLCDなどの表示デバイス上に重畳されることによって構成される。タブレット内蔵モニタ６２には、例えば、編集対象画像の編集に用いられる画面である編集画面が表示される。２人で同時に編集作業を行う場合、タッチペン６３−１は一方の利用者により用いられ、タッチペン６３−２は他方の利用者により用いられる。以下、適宜、タッチペン６３−１とタッチペン６３−２をまとめてタッチペン６３という。
【００４９】
スピーカ６４は、案内音声、効果音、BGMなどの編集作業に関する音声を出力する。なお、第２編集空間３３Ｂ側の編集ユニット１３の構成も、図５に示す第１編集空間３３Ａ側の構成と基本的に同様の構成である。
【００５０】
図６は、編集ユニット１３の、写真シール排出部１３Ｃの構成例を示す図である。
【００５１】
写真シール排出部１３Ｃには写真シール排出口７１が設けられる。写真シール排出口７１には、第１編集空間３３Ａの利用者が編集作業を行って得られた画像が印刷されたシール紙と、第２編集空間３３Ｂの利用者が編集作業を行って得られた画像が印刷されたシール紙が排出される。編集ユニット１３の内部にはプリンタが設けられており、編集作業により得られた画像の印刷がそのプリンタにより行われる。
【００５２】
次に、写真シール作成装置１の内部構成について説明する。図７は、写真シール作成装置１の内部の構成例を示すブロック図である。上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００５３】
制御部１０１は、写真シール作成装置１の全体の動作を制御する。制御部１０１には、記憶部１０２、通信部１０３、ドライブ１０４、ROM(Read Only Memory)１０６、RAM(Random Access Memory)１０７、事前接客部１１１、撮影部１１２、編集部１１３、プリンタ１１４が接続される。
【００５４】
記憶部１０２は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体からなり、制御部１０１から供給された各種の設定情報を記憶する。記憶部１０２に記憶されている情報は制御部１０１により適宜読み出される。
【００５５】
通信部１０３はインターネットなどのネットワークのインタフェースであり、制御部１０１による制御に従って外部の装置と通信を行う。
【００５６】
ドライブ１０４には、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）や半導体メモリなどよりなるリムーバブルメディア１０５が適宜装着される。ドライブ１０４によりリムーバブルメディア１０５から読み出されたコンピュータプログラムやデータは、制御部１０１に供給され、記憶部１０２に記憶されたり、インストールされたりする。
【００５７】
ROM１０６には、制御部１０１において実行されるプログラムやデータが記憶されている。RAM１０７は、制御部１０１が処理するデータやプログラムを一時的に記憶する。
【００５８】
事前接客部１１１は、事前接客作業を利用者に行わせるための処理である事前接客処理を行うブロックであり、外付けモニタ１６、スピーカ１７、タッチペン１８、および硬貨処理部１２１から構成される。
【００５９】
外付けモニタ１６は、制御部１０１による制御に従って、写真シール作成ゲームの流れや遊び方等を案内する映像などを表示する。また、外付けモニタ１６は、代金が投入された後、携帯送信の機能を利用するか否かの選択画面などを表示する。外付けモニタ１６に対して入力された利用者の操作の内容を表す信号は制御部１０１に供給される。
【００６０】
硬貨処理部１２１は、硬貨投入口に対する硬貨の投入を検出する。硬貨処理部１２１は、硬貨が投入されたことを検出した場合、そのことを表す起動信号を制御部１０１に出力する。
【００６１】
撮影部１１２は、撮影作業を利用者に行わせるための処理である撮影処理を行うブロックであり、背景カーテンユニット１５、照明制御部１２２、カメラ５１、タッチパネルモニタ５２、およびスピーカ１２４から構成される。
【００６２】
背景カーテンユニット１５は、制御部１０１より供給される背景制御信号に基づいて背景カーテンの上げ下ろしを行う。背景の選択は利用者が手動で行うようにしてもよい。
【００６３】
照明制御部１２２は、制御部１０１より供給される照明制御信号に基づいて、照明装置５３−１乃至５３−８を点灯したり、消灯したりする。
【００６４】
カメラ５１は、制御部１０１による制御に従って撮影を行い、撮影によって得られた画像データを制御部１０１に出力する。撮影処理においては、撮影が複数回行われ、複数の撮影画像の中から選択された所定の数の画像が編集対象画像として記憶部１０２に保存される。
【００６５】
編集部１１３は、編集作業を利用者に行わせるための処理である編集処理を行うブロックであり、第１編集インタフェース１３Ａに対応する第１編集部１１３Ａと、第２編集インタフェース１３Ｂに対応する第２編集部１１３Ｂよりなる。ここでは第１編集部１１３Ａの構成について説明するが、第２編集部１１３Ｂも第１編集部１１３Ａと同一の構成を有する。
【００６６】
第１編集部１１３Ａは、タブレット内蔵モニタ６２、タッチペン６３−１，６３−２、およびスピーカ６４から構成される。
【００６７】
タブレット内蔵モニタ６２は編集用モニタ１４１とタブレット１４２により構成され、制御部１０１による制御に従って編集画面を表示し、編集画面に対する利用者の操作を検出する。利用者の操作の内容を表す信号は制御部１０１に供給され、編集対象画像の編集が行われる。編集画面には、記憶部１０２に保存されていた編集対象画像のサムネイル画像が表示され、サムネイル画像をタップすることによって選択された編集対象画像がサムネイル画像より大きなサイズで表示される。利用者は、拡大して表示させる編集対象画像を適宜切り替え、拡大表示された編集対象画像に対して、編集画面に表示されるペンツールを使って手書きの文字を入力したり、スタンプツールを使ってハート柄などの画像を入力したりすることができる。
【００６８】
プリンタ１１４は、編集処理によって得られた編集済み画像をシール紙１６２に印刷し、写真シール排出口７１に排出する。
【００６９】
図８は、制御部１０１の機能構成例を示すブロック図である。図８に示す構成は、制御部１０１が所定のプログラムを実行することによって実現される。制御部１０１においては、事前接客処理部２０１、撮影処理部２０２、編集処理部２０３、印刷処理部２０４、および事後接客処理部２０５が実現される。
【００７０】
事前接客処理部２０１は、写真シール作成ゲームを開始する際に投入される代金（硬貨）に関する処理や、撮影前設定などに関する処理である事前接客処理を行う。撮影処理部２０２は、利用者を撮影する処理である撮影処理を行う。編集処理部２０３は、撮影画像に対する編集等の編集処理を行う。印刷処理部２０４は、編集処理によって得られた画像をシール紙に印刷する印刷処理を行う。事後接客処理部２０５は、編集作業を終えて印刷が終わるのを待っている利用者に対してミニゲームなどを提供する事後接客処理を行う。
【００７１】
［顔変形処理について］
以上のような構成を有する写真シール作成装置１においては、撮影画像を対象として、撮影画像に写る人物の顔を変形する処理である顔変形処理が行われる。顔変形処理は、例えば、撮影が終了した後であって、編集が開始される前に行われる。すなわち、編集処理においては、顔変形処理後の画像が編集対象画像として用いられる。顔変形処理は、利用者の指示に応じて行われるようにしてもよいし、写真シール作成装置１により自動的に行われるようにしてもよい。撮影して得られた画像を元画像として顔変形処理を施し、さらに、縦長形状、横長形状、正方形形状の画像を切り出し、その切り出した画像が編集用画像となる。
【００７２】
図９は、撮影処理部２０２の機能構成例を示すブロック図である。撮影処理部２０２は、撮影制御部２１１、顔認識部２１２、最大輪郭ライン設定部２１３、および画像処理部２１４から構成される。
【００７３】
撮影制御部２１１は、撮影空間３２にいる利用者を複数回撮影し、編集対象画像として選択された撮影画像を出力する。撮影制御部２１１から出力された撮影画像は、顔認識部２１２、最大輪郭ライン設定部２１３、および画像処理部２１４にそれぞれ供給される。
【００７４】
顔認識部２１２は、撮影制御部２１１から供給された撮影画像に写る顔を認識する。顔認識部２１２は、例えば撮影画像を解析することによって、撮影画像に写るオブジェクトの各位置における特徴を抽出し、抽出した特徴と、予め用意されている人物の顔の各位置における特徴とをマッチングすることによって顔認識を行う。顔認識部２１２は、撮影画像に写るオブジェクトのうち、マッチング結果を表すスコアの高いものを人物の顔であるとして認識する。
【００７５】
図１０は、撮影画像の例を示す図である。図１０の例においては、二人の人物が写っており、フレームＦ１，Ｆ２で囲んで示すようにそれぞれの人物の顔が認識されている。以下、適宜、フレームＦ１で囲んで示す左側の人物の顔を顔１、フレームＦ２で囲んで示す右側の人物の顔を顔２として説明する。
【００７６】
顔認識部２１２は、認識したそれぞれの顔の位置を表す情報と、顔の輪郭、目、鼻、口などの顔の各部分の位置を表す情報を最大輪郭ライン設定部２１３に出力する。また、顔認識部２１２は、マッチングにより求めたスコアを画像処理部２１４に出力する。画像処理部２１４に出力されるスコア（信頼度）は、顔であるとして認識したオブジェクトが実際に顔である確率を表す。
【００７７】
最大輪郭ライン設定部２１３は、顔認識部２１２から供給された情報に基づいて撮影画像に写る顔の輪郭を特定し、それぞれの顔に、変形して拡大することが可能な最大の輪郭の範囲を表すラインである最大輪郭ラインを設定する。
【００７８】
図１１に示すように、顔１の輪郭が輪郭ラインＬ１で表され、顔２の輪郭が輪郭ラインＬ２で表される場合について説明する。この場合、最大輪郭ライン設定部２１３は、図１２に示すように、輪郭ラインＬ１の外側に、顔１の輪郭を変形して拡大することが可能な最大の輪郭の範囲を表す最大輪郭ラインＬ１maxを設定し、輪郭ラインＬ２の外側に、顔２の輪郭を変形して拡大することが可能な最大の輪郭の範囲を表す最大輪郭ラインＬ２maxを設定する。
【００７９】
例えば、最大輪郭ラインは、目、鼻、口などの顔の各部分より求められる顔の中心を基準位置として、基準位置から、輪郭上の各位置までの距離を、顔の外側に所定の割合だけ広げることによって設定される。基準位置から輪郭上の各位置までの距離を同じ割合で広げるのではなく、変形後の顔がより小顔に見えるように、横方向に広げる割合より縦方向に広げる割合の方が大きくなるようにしてもよい。最大輪郭ライン設定部２１３は、撮影画像の各顔に設定した最大輪郭ラインの情報を画像処理部２１４に出力する。
【００８０】
なお、最大輪郭ラインだけでなく、図１３において破線で示すように、基準位置から輪郭上の各位置までの距離を、顔の内側に所定の割合だけ狭めることによって最小輪郭ラインが設定されるようにしてもよい。この場合、画像処理によって、顔の輪郭を最大輪郭ラインの範囲まで拡大するだけでなく、最小輪郭ラインの範囲まで縮小することが可能とされる。場合によっては、部分的に顔輪郭ラインより内側となる部分や外側となる部分が混在したような最大（最小）変形ラインとなりうるような見栄えのよい画像になるようなラインに設定してもよい。例えば、面長になるように、頬より上は輪郭ラインより少し外側で、唇より下は輪郭ラインより少し内側になるようなラインになるように設定してもよい。
【００８１】
また、一点鎖線で示すように、輪郭ラインと最大輪郭ラインの間に、双方のラインとほぼ平行なラインが設定され、このラインに沿って、輪郭ラインの範囲を拡大することができるようにしてもよい。
【００８２】
画像処理部２１４は、顔認識部２１２から供給された信頼度に基づいて、人物の顔である確率の最も高い顔を選択し、選択している顔が、重なり条件に合致するか否かを判定する。
【００８３】
重なり条件は、選択している顔に設定された最大輪郭ラインが、他の顔の輪郭ラインと交わるか否かの条件である。画像処理部２１４は、選択している顔の最大輪郭ラインが、他の顔の輪郭ラインと交わる場合、重なり条件に合致すると判定し、選択している顔の最大輪郭ラインが、他の顔の輪郭ラインと交わらない場合、重なり条件に合致しないと判定する。
【００８４】
画像処理部２１４は、選択している顔が重なり条件に合致する場合、その顔を、輪郭を変形する画像処理の対象とはせずに、次に信頼度の高い顔を選択し、重なり条件に合致するか否かを判定する。すなわち、顔の輪郭を拡大するように変形したときに、変形前より、他の人物の顔に近づく、または、他の人物の顔との重なり部分が大きくなるような顔については、画像処理の対象とはしないで、他の顔を対象として処理が進められる。
【００８５】
ここで、撮影画像に写る顔の位置の各パターンについて、それぞれの顔が画像処理の対象となるか否かについて説明する。撮影画像に写る顔が２つである場合について説明するが、３つ以上である場合も同様である。
【００８６】
例えば、図１４に示すように、顔１と顔２の関係が、最大輪郭ライン同士が交わらないほど離れている関係にある場合、画像処理部２１４は、顔１と顔２のいずれの顔をも対象として画像処理を行う。図１４の例においては、最大輪郭ラインＬ１maxが輪郭ラインＬ２と交わらず、顔１は重なり条件に合致しない。また、最大輪郭ラインＬ２maxが輪郭ラインＬ１と交わらず、顔２も重なり条件に合致しない。
【００８７】
図１５に示すように、顔１と顔２の関係が、最大輪郭ライン同士は交わるが、一方の最大輪郭ラインが他方の輪郭ラインに交わらないほど離れている関係にある場合も同様に、画像処理部２１４は、顔１と顔２のいずれの顔をも対象として画像処理を行う。図１５の例においては、最大輪郭ラインＬ１maxが輪郭ラインＬ２とは交わらず、顔１は重なり条件に合致しない。また、最大輪郭ラインＬ２maxが輪郭ラインＬ１と交わらず、顔２も重なり条件に合致しない。
【００８８】
図１６に示すように、顔１と顔２の関係が、横に並ぶのではなく縦にずれていることによって、最大輪郭ラインＬ１maxが輪郭ラインＬ２と交わるが、最大輪郭ラインＬ２maxが輪郭ラインＬ１と交わらない関係にある場合、画像処理部２１４は、顔１を対象とはしないで、顔２を対象として画像処理を行う。顔１は重なり条件に合致し、顔２は重なり条件に合致しない。
【００８９】
例えば、図１６の顔２を対象とした画像処理によって、図１７に示すように顔２の輪郭を小さくした場合、画像処理部２１４は、再度、顔１を選択し、顔１が重なり条件に合致するか否かを判定する。図１７の例においては、最大輪郭ラインＬ１maxが変形後の顔２に設定された輪郭ラインＬ２と交わり、顔１は重なり条件に合致するから、このとき、処理は終了する。
【００９０】
図１８に示すように、顔１と顔２の関係が、最大輪郭ラインＬ１maxが輪郭ラインＬ２と交わるが、最大輪郭ラインＬ２maxが輪郭ラインＬ１と交わらない関係にある場合、画像処理部２１４は、顔１を対象とはしないで、顔２を対象として画像処理を行う。図１８の例においては、顔１は重なり条件に合致し、顔２は重なり条件に合致しない。
【００９１】
例えば、図１８の顔２を対象とした画像処理によって、図１９に示すように顔２の輪郭を小さくした場合、画像処理部２１４は、再度、顔１を選択し、顔１が重なり条件に合致するか否かを判定する。図１９の例においては、最大輪郭ラインＬ１maxが変形後の顔２の輪郭ラインＬ２と交わらず、顔１は重なり条件に合致しないから、画像処理部２１４は、次に、顔１を対象とした画像処理を行う。
【００９２】
一方の顔が重なり条件に合致するものであったとしても、他方の顔の輪郭の大きさを変えることによって重なり条件に合致しなくなる場合もあり、この場合、重なり条件に合致すると先に判定されていた顔の方も、画像処理の対象になることになる。
【００９３】
図９の説明に戻り、画像処理部２１４は、以上のようにして画像処理の対象を選択し、顔の輪郭を変形した撮影画像を出力する。画像処理部２１４から出力された撮影画像は編集処理部２０３に出力され、編集対象画像として用いられる。
【００９４】
全ての撮影画像を対象として画像処理部２１４により画像処理が行われるのではなく、複数の撮影画像の中から選択された撮影画像のみを対象として画像処理が行われるようにしてもよい。この場合、撮影制御部２１１による撮影処理の終了後、選択画面がタッチパネルモニタ５２に表示され、画像処理の対象とする撮影画像が利用者により選択されることになる。
【００９５】
［写真シール作成装置の動作］
ここで、図２０のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置１の処理について説明する。
【００９６】
ステップＳ１において、写真シール作成装置１の硬貨処理部１２１は、硬貨が投入されたか否かを判定し、投入されたと判定するまで待機する。
【００９７】
硬貨が投入されたとステップＳ１において判定された場合、ステップ２において、事前接客処理部２０１は事前接客処理を行う。例えば事前接客処理により、携帯送信の機能を利用するか否かが選択され、利用することが選択された場合、利用者の携帯電話機のメールアドレスの入力画面が外付けモニタ１６に表示される。利用者は自身の携帯電話機のメールアドレスを入力することになる。
【００９８】
ステップＳ３において、撮影処理部２０２は撮影処理を行う。撮影処理によって得られた撮影画像はタッチパネルモニタ５２に表示され、その中から選択された編集対象画像が編集処理部２０３に供給される。
【００９９】
ステップＳ４において、編集処理部２０３は、編集画面を表示し、利用者の操作に応じて編集処理を行う。編集処理により、上述したように、編集対象画像に対して、手書きの文字や模様、あらかじめ用意されているハート柄などの画像が入力される。
【０１００】
ステップＳ５において、事後接客処理部２０５は事後接客処理を行う。携帯送信の機能を利用することが事前接客処理時に選択されている場合、事後接客処理部２０５は、編集対象画像をタブレット内蔵モニタ６２に表示し、その中から、所定の数の画像を携帯送信用画像として利用者に選択させる。
【０１０１】
携帯送信用画像として選択された画像は、利用者により入力されたメールアドレスとともに写真シール作成装置１からサーバに送信され、サーバが有する記憶媒体に保存される。保存先を表すURLを含む電子メールがサーバから利用者の携帯電話機に送信される。利用者が携帯電話機を操作して電子メールに含まれるURLに対するアクセスを指示したとき、サーバに対するアクセスが行われ、携帯送信用画像が携帯電話機のディスプレイに表示される。
【０１０２】
ステップＳ６において、印刷処理部２０４は、プリンタ１１４を制御し、編集処理により得られた編集済みの画像をシール紙１６２に印刷する印刷処理を行う。
【０１０３】
ステップＳ７において、印刷処理部２０４は、所定の画面をタブレット内蔵モニタ６２に表示するなどして、写真シール排出口７１の前への移動を案内する。
【０１０４】
印刷が終了したとき、ステップＳ８において、印刷処理部２０４は、編集済みの画像が印刷されたシール紙１６２を写真シール排出口７１に排出し、処理を終了させる。
【０１０５】
次に、図２１のフローチャートを参照して、図２０のステップＳ３において行われる撮影処理について説明する。
【０１０６】
撮影処理の開始時、タッチパネルモニタ５２には、カメラ５１により取り込まれたライブビュー画像が表示され、所定の位置に、撮影の開始を指示するときに操作されるスタートボタンが表示される。ステップＳ１１において、撮影処理部２０２は、撮影開始までの所定の時間が経過したか否かを判定し、経過していないと判定した場合、ステップＳ１２において、スタートボタンが押下されたか否かを判定する。
【０１０７】
スタートボタンが押下されていないとステップＳ１２において判定した場合、撮影処理部２０２は、ステップＳ１１に戻り、以上の処理を繰り返す。一方、スタートボタンが押下されたとステップＳ１２において判定した場合、ステップＳ１３において、撮影処理部２０２は、タッチパネルモニタ５２にカウントダウンインジケータを表示させ、撮影を行う。
【０１０８】
ステップＳ１４において、撮影処理部２０２は、予め定められた所定の回数だけ撮影を行ったか否かを判定し、撮影を行っていないと判定した場合、ステップＳ１３に戻り、撮影を繰り返す。
【０１０９】
一方、予め定められた所定の回数だけ撮影を行ったとステップＳ１４において判定した場合、ステップＳ１５において、撮影処理部２０２は、選択画面をタッチパネルモニタ５２に表示し、編集対象画像を利用者に選択させる。編集対象画像の選択画面には、繰り返し撮影を行うことによって得られた撮影画像が表示される。
【０１１０】
編集対象とする撮影画像が選択されたとき、ステップＳ１６において、撮影画像に写る顔の輪郭を画像処理によって変形する顔変形処理が行われる。顔変形処理については図２２のフローチャートを参照して後述する。
【０１１１】
ステップＳ１７において、撮影処理部２０２は、編集空間３３への移動を案内する画面である誘導画面を表示する。例えば、第１編集空間３３Ａまたは第２編集空間３３Ｂのうち、いずれが使用可能であるかが判断され、他の利用者が使用してない（空いている）方の編集空間への移動が案内される。その後、図２０のステップＳ３に戻り、それ以降の処理が行われる。
【０１１２】
次に、図２２のフローチャートを参照して、図２１のステップＳ１６において行われる顔変形処理について説明する。
【０１１３】
ステップＳ２１において、顔認識部２１２は、撮影画像を対象として顔認識を行う。顔認識により、撮影画像に写る顔が検出されるとともに、それぞれの顔が実際に人物の顔である確率を表す信頼度が求められる。
【０１１４】
ステップＳ２２において、最大輪郭ライン設定部２１３は、顔認識部２１２により認識された顔の輪郭を特定し、それぞれの顔に最大輪郭ラインを設定する。
【０１１５】
ステップＳ２３において、画像処理部２１４は、顔認識部２１２により求められた信頼度に基づいて、顔である確率の最も高い１つの顔を選択する。ここでの顔の選択においては、輪郭の変形を既に行った顔は除かれる。
【０１１６】
ステップＳ２４において、画像処理部２１４は、選択している顔が重なり条件に合致するか否かを判定する。
【０１１７】
最大輪郭ラインが他の顔の輪郭ラインと交わらないことから、選択している顔が重なり条件に合致しないとステップＳ２４において判定した場合、ステップＳ２５において、画像処理部２１４は、画像処理を行うことによって、選択している顔の輪郭を、目標とする大きさになるように変形する。目標とする大きさが利用者により選択されるようにしてもよいし、画像処理部２１４により自動的に選択されるようにしてもよい。最大輪郭ラインが目標とする大きさとして選択された場合、輪郭ラインが最大輪郭ラインと重なるまで輪郭が拡大され、最小輪郭ラインが目標とする大きさとして選択された場合、輪郭ラインが最小輪郭ラインと重なるまで輪郭が縮小される。
【０１１８】
例えば、輪郭ラインが最大輪郭ラインと重なるまで輪郭を拡大する場合、その画像処理は、輪郭ラインより内側にある画素を用いて、輪郭ラインから最大輪郭ラインまでの範囲を補間するとともに、輪郭ラインが拡大することに伴って、輪郭ラインより外側にある画素を外側に移動させるようにして行われる。また、輪郭ラインが最小輪郭ラインと重なるまで輪郭を縮小する場合、その画像処理は、輪郭ラインを縮小させることに伴って、輪郭ラインより外側にある画素を用いて、輪郭ラインから最小輪郭ラインまでの範囲を補間するようにして行われる。
【０１１９】
選択している顔の画像処理が終了した場合、画像処理部２１４は、ステップＳ２３に戻り、次に信頼度の高い顔を選択し、以降の処理を繰り返す。例えば、信頼度の最も高い顔の画像処理が行われた場合、２番目に信頼度の高い顔が選択され、処理が繰り返される。また、２番目以降に信頼度の高い顔の画像処理が行われた場合、輪郭の変形を既に行った顔を除いて、信頼度の最も高い顔から順に選択され、処理が繰り返される。
【０１２０】
一方、ステップＳ２４において、最大輪郭ラインが他の顔の輪郭ラインと交わることから、選択している顔が重なり条件に合致すると判定した場合、ステップＳ２６において、画像処理部２１４は、全ての顔を選択したか否かを判定する。
【０１２１】
全ての顔を選択していないとステップＳ２６において判定した場合、ステップＳ２３に戻り、次に信頼度の高い顔を選択し、以降の処理を繰り返す。全ての顔を選択したとステップＳ２６において判定された場合、図２１のステップＳ１６に戻り、それ以降の処理が行われる。
【０１２２】
図２３は、画像処理の具体例を示す図である。
【０１２３】
図２３の左側に示すように、３人の顔が写っている撮影画像Ｐ１を対象として画像処理を行う場合について説明する。撮影画像Ｐ１においては、３人の顔のうち、中央の顔が左右の顔より若干小さく写っている。信頼度の高い順に、右側の人物の顔がID1の顔として認識され、左側の人物の顔がID2の顔として認識され、中央の人物の顔がID3の顔として認識されているものとする。この場合、右側のID1の顔が最初に選択される。
【０１２４】
撮影画像Ｐ１においては、ID1の顔の最大輪郭ラインＬ１maxの左端部分が中央のID3の顔の輪郭ラインＬ３と交わっているから、ID1の顔は重なり条件に合致し、画像処理の対象とはならない。
【０１２５】
次に、左側のID2の顔が選択される。撮影画像Ｐ１においては、ID2の顔の最大輪郭ラインＬ２maxの右端部分が中央のID3の顔の輪郭ラインＬ３と交わっているから、ID2の顔は重なり条件に合致し、画像処理の対象とはならない。
【０１２６】
次に、中央のID3の顔が選択される。撮影画像Ｐ１においては、ID3の顔の最大輪郭ラインＬ３maxが、ID1の顔の輪郭ラインＬ１、ID2の顔の輪郭ラインＬ２の双方と交わらないから、ID3の顔は重なり条件に合致せず、矢印＃１の先に示すように、ID3の顔を対象として画像処理が行われる。矢印＃１の先に示す撮影画像においてID3の顔にのみ最大輪郭ラインなどを示していることは、ID3の顔を対象として画像処理が行われることを表す。
【０１２７】
ここでは、最大輪郭ラインＬ１maxの左端部分が輪郭ラインＬ３と交わらず、かつ、最大輪郭ラインＬ２maxの右端部分が輪郭ラインＬ３と交わらない程度に、ID3の顔が縮小されたものとする。
【０１２８】
図２４の左側に示す撮影画像Ｐ２は、ID3の顔を縮小して得られた、画像処理後の撮影画像である。
【０１２９】
ID3の顔の画像処理が行われているから、この場合、右側のID1の顔が再度選択される。撮影画像Ｐ２においては、ID1の顔の最大輪郭ラインＬ１maxがID3の顔の輪郭ラインＬ３と交わらないから、ID1の顔は重なり条件に合致せず、ID1の顔を対象として画像処理が行われる。
【０１３０】
ID1の顔を対象として画像処理が行われた後、次に、左側のID2の顔が選択される。撮影画像Ｐ２においては、ID2の顔の最大輪郭ラインＬ２maxがID3の顔の輪郭ラインＬ３と交わらないから、ID2の顔は重なり条件に合致せず、矢印＃２の先に示すように、ID2の顔を対象として画像処理が行われる。
【０１３１】
図２５は、以上の一連の流れによって、ID1，ID2，ID3のそれぞれの顔を対象として画像処理を行って得られた撮影画像を示す図である。以上のように、それぞれの顔が重なり条件に合致するか否かを判定し、重なり条件に合致する画像については画像処理の対象とせず、重なり条件に合致しない画像については画像処理の対象とした上で、再度、重なり条件に合致し、かつ画像処理の対象としていない画像を選択して、反復的に、重なり条件に合致するか否かを判定することを繰り返すことによって、他の顔との関係を考慮した上で、全ての顔を対象として画像処理を行うことが可能になる。
【０１３２】
図２６は、重なり条件に合致しない画像から画像処理の対象とすることの効果について説明する図である。ここでは、ID1の顔とID3の顔を用いて説明する。
【０１３３】
図２６の左側に示すID1の顔とID3の顔の関係は、ID1の顔の最大輪郭ラインＬ１maxがID3の顔の輪郭ラインＬ３と交わるが、ID3の顔の最大輪郭ラインＬ３maxはID1の顔の輪郭ラインＬ１と交わらない関係にある。
【０１３４】
この場合、上述したように、輪郭を縮小する処理は、輪郭ラインを縮小させることに伴って、輪郭ラインより外側にある画素を用いて、輪郭ラインから最小輪郭ラインまでの範囲を補間するようにして行われるから、仮に、ID1の顔を先に縮小させた場合、矢印＃１１の先に示すように、ID3の顔の一部（最大輪郭ラインＬ１maxが入り込んでいる付近）がID1の顔の方に引っ張られるような形で広がり、ID3の顔が凸型に歪んでしまうことがある。
【０１３５】
反対に、輪郭を拡大する処理は、輪郭ラインより内側にある画素を用いて、輪郭ラインから最大輪郭ラインまでの範囲を補間するとともに、輪郭ラインが拡大することに伴って、輪郭ラインより外側にある画素を外側に移動させるようにして行われるから、仮に、ID1の顔を先に拡大させた場合、矢印＃１２の先に示すように、ID3の顔の一部が最大輪郭ラインＬ１maxに沿うような形で狭まり、ID3の顔が凹型に歪んでしまうことがある。以上のようにして画像処理の対象を選択することにより、ID3の顔が歪んでしまうことを防ぐことが可能になる。
【０１３６】
［変形例］
以上においては、画像処理によって顔の輪郭を変形する場合について説明したが、顔の輪郭の変形に伴って、目、鼻、口などの顔の各部分の位置や大きさについても補正されるようにしてもよい。
【０１３７】
また、以上においては、顔変形処理が、撮影画像の中から選択された編集対象画像に写る顔を対象として対して行われるものとしたが、他の画像に写る顔を対象として行われるようにしてもよい。例えば、取り込み画像に写る顔を対象としてリアルタイムで行われるようにしたり、編集済み画像に写る顔を対象として行われるようにしたりすることも可能である。
【０１３８】
図２７に示すように、撮影画像の範囲内に最大輪郭ラインが収まらない顔については、画像処理の対象から外すようにしてもよい。図２７の例においては、ID1の顔の最大輪郭ラインＬ１maxは、その一部が撮影画像からはみ出ている。この場合であっても、ID3の顔を対象とした重なり条件の判定は、ID3の顔の最大輪郭ラインＬ３maxと、ID1の顔の輪郭ラインＬ１とが重なるか否かを判定するようにして行われる。ここでは、ID1の顔の最大輪郭ラインＬ１maxが撮影画像からはみ出る場合、画像処理の対象から外すようにしたが、撮影画像の方を拡大し、対象から外すことなく、ID1の顔が画像処理の対象となるようにしてもよい。撮影画像の拡大は、最大輪郭ラインＬ１maxが収まるようになるまで、例えば撮影画像の端にある画素をコピーして広げる（ひきのばす）ことによって行われる。
【０１３９】
以上においては、重なり条件を判定する順序が信頼度の高い順であるものとしたが、顔の大きい順、または小さい順といったように、顔の大きさで決まるようにしてもよい。また、予め用意されているテンプレートと輪郭の形状を比較することによって丸顔の順、細顔の順といったように、顔の形で決まるようにしてもよい。
【０１４０】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。例えば、以上においては重なり条件の判定がラインが交わるか否かに基づいて行われるものとしたが、面が重なるか否かに基づいて行われるようにしてもよい。
【符号の説明】
【０１４１】
１ 写真シール作成装置， ２ 携帯端末， ３ 管理サーバ， １２ 撮影ユニット， １３ 編集ユニット， １０１ 制御部， １１１ 事前接客部， １１２ 撮影部， １１３ 編集部， ２０１ 事前接客処理部， ２０２ 撮影処理部， ２０３ 編集処理部， ２０４ 印刷処理部， ２０５ 事後接客処理部， ２１１ 撮影制御部， ２１２ 顔認識部， ２１３ 最大輪郭ライン設定部， ２１４ 画像処理部
【特許請求の範囲】
【請求項１】
撮影画像に写る人物の顔を検出する顔検出手段と、
前記撮影画像から検出された人物の顔に、変形可能な最大の輪郭の大きさを表す線である最大輪郭ラインを設定する設定手段と、
前記顔検出手段で検出された人物の顔が複数あった場合に、前記複数の人物の顔のうちの所定の人物の顔に設定された前記最大輪郭ラインが他の人物の顔の輪郭のラインと交わるか否かを判定し、交わらないと判定した場合、前記所定の人物の顔を対象として、前記最大輪郭ラインにより表される大きさの範囲内で所定の大きさになるように輪郭を変形する画像処理を行い、交わると判定した場合、前記画像処理を行わない顔変形処理手段と、
前記顔変形処理手段で、前記所定の人物の顔を対象として前記画像処理を行う毎に、他の人物の顔を前記顔変形処理手段の処理対象とする前記所定の人物の顔として選択する選択手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記顔検出手段は、前記撮影画像に写る人物の顔を検出するとともに、人物の顔として検出したオブジェクトに対して人物の顔である確率を計算し、
前記選択手段は、前記顔検出手段により求められた前記確率の高い順に処理対象とする前記所定の人物の顔を選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記画像処理の対象とした顔を除いて、前記複数の人物の全員の顔に設定された前記最大輪郭ラインが前記他の人物の顔の輪郭のラインと交わると前記顔変形処理手段が判定するまで、処理対象とする前記所定の人物の顔の選択を繰り返す
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
撮影画像に写る人物の顔を検出し、
前記撮影画像から検出された人物の顔に、変形可能な最大の輪郭の大きさを表す線である最大輪郭ラインを設定し、
検出した人物の顔が複数あった場合に、前記複数の人物の顔のうちの所定の人物の顔に設定された前記最大輪郭ラインが他の人物の顔の輪郭のラインと交わるか否かを判定し、交わらないと判定した場合、前記所定の人物の顔を対象として、前記最大輪郭ラインにより表される大きさの範囲内で所定の大きさになるように輪郭を変形する画像処理を行い、交わると判定した場合、前記画像処理を行わず、
前記所定の人物の顔を対象として前記画像処理を行う毎に、他の人物の顔を処理対象とする前記所定の人物の顔として選択する
ステップを含むことを特徴とする画像処理方法。
【請求項１】
撮影画像に写る人物の顔を検出する顔検出手段と、
前記撮影画像から検出された人物の顔に、変形可能な最大の輪郭の大きさを表す線である最大輪郭ラインを設定する設定手段と、
前記顔検出手段で検出された人物の顔が複数あった場合に、前記複数の人物の顔のうちの所定の人物の顔に設定された前記最大輪郭ラインが他の人物の顔の輪郭のラインと交わるか否かを判定し、交わらないと判定した場合、前記所定の人物の顔を対象として、前記最大輪郭ラインにより表される大きさの範囲内で所定の大きさになるように輪郭を変形する画像処理を行い、交わると判定した場合、前記画像処理を行わない顔変形処理手段と、
前記顔変形処理手段で、前記所定の人物の顔を対象として前記画像処理を行う毎に、他の人物の顔を前記顔変形処理手段の処理対象とする前記所定の人物の顔として選択する選択手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記顔検出手段は、前記撮影画像に写る人物の顔を検出するとともに、人物の顔として検出したオブジェクトに対して人物の顔である確率を計算し、
前記選択手段は、前記顔検出手段により求められた前記確率の高い順に処理対象とする前記所定の人物の顔を選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記画像処理の対象とした顔を除いて、前記複数の人物の全員の顔に設定された前記最大輪郭ラインが前記他の人物の顔の輪郭のラインと交わると前記顔変形処理手段が判定するまで、処理対象とする前記所定の人物の顔の選択を繰り返す
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
撮影画像に写る人物の顔を検出し、
前記撮影画像から検出された人物の顔に、変形可能な最大の輪郭の大きさを表す線である最大輪郭ラインを設定し、
検出した人物の顔が複数あった場合に、前記複数の人物の顔のうちの所定の人物の顔に設定された前記最大輪郭ラインが他の人物の顔の輪郭のラインと交わるか否かを判定し、交わらないと判定した場合、前記所定の人物の顔を対象として、前記最大輪郭ラインにより表される大きさの範囲内で所定の大きさになるように輪郭を変形する画像処理を行い、交わると判定した場合、前記画像処理を行わず、
前記所定の人物の顔を対象として前記画像処理を行う毎に、他の人物の顔を処理対象とする前記所定の人物の顔として選択する
ステップを含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１２−１４２７７２（Ｐ２０１２−１４２７７２Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１０−２９３８８５（Ｐ２０１０−２９３８８５）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（３０７０１００９６）フリュー株式会社 (210)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（３０７０１００９６）フリュー株式会社 (210)
【Ｆターム（参考）】
[ Back to top ]