自動写真作成装置、画像処理装置、画像処理方法、および画像処理プログラム
【課題】利用者に操作負担を課すことなく、かつ、(顔を小さくする処理を施したことを)利用者に意識させることなく、本来よりも利用者の顔が小さく写った写真シールを出力することのできる自動写真作成装置を提供する。
【解決手段】自動写真作成装置において、撮影(ステップS121,S131)が行われた後、撮影画像から利用者の顔の輪郭を抽出する顔検出処理(ステップS123,S133)が行われる。その後、最終的に出力される写真シールにおける利用者の顔が実際の撮影画像における利用者の顔よりも相対的に小さくなるように撮影画像から当該撮影画像に含まれている利用者の顔の輪郭を小さくする小顔処理(ステップS125,S135)が行われ、落書き対象画像が生成される。そして、顔の輪郭が本来よりも小さくされた落書き対象画像を含む合成画像が写真シールとして出力される。
【解決手段】自動写真作成装置において、撮影(ステップS121,S131)が行われた後、撮影画像から利用者の顔の輪郭を抽出する顔検出処理(ステップS123,S133)が行われる。その後、最終的に出力される写真シールにおける利用者の顔が実際の撮影画像における利用者の顔よりも相対的に小さくなるように撮影画像から当該撮影画像に含まれている利用者の顔の輪郭を小さくする小顔処理(ステップS125,S135)が行われ、落書き対象画像が生成される。そして、顔の輪郭が本来よりも小さくされた落書き対象画像を含む合成画像が写真シールとして出力される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、利用者をカメラで撮影し、その撮影画像に基づき生成される合成画像を出力する自動写真作成装置および画像処理装置に関する。
【背景技術】
【0002】
従来より、利用者をカメラで撮影し、その撮影画像を写真シール(あるいは写真カード等)として出力する遊戯用写真作成装置が知られている。このような遊戯用写真作成装置は、遊戯性または娯楽性が高いことから、撮影画像と合成すべき画像を、利用者の嗜好に応じて、予め用意された多種多様な背景画像および前景画像から選択したり、タッチペンやライトペン等のペン型入力手段を用いて利用者が自由に描いたりできるように構成されているものが多い。利用者によるこのような行為は、撮影画像に対してなされるため、「落書き」と呼ばれる。
【0003】
ところで、利用者にとっては、いわゆる「写真写り」の良い写真シールが得られることが好ましい。特に近年、「小顔(こがお)」という言葉が流行していることから把握されるように、多くの女性が「顔を小さく見せたい」と感じており、比較的顔が大きく写っている写真シールよりも比較的顔が小さく写っている写真シールの方が利用者には喜ばれる。そこで、特許文献1には、撮影画像に対して補正を施すことを可能にした自動写真作成装置の発明が開示されている。この自動写真作成装置によれば、利用者からの指示に基づいて、撮影画像に対して頬を細くする処理や顔を小さくする処理が施される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−277772号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、上記特許文献1に開示された自動写真作成装置によると、撮影画像中の顔を小さくするための操作を利用者自身が行わなければならないので、不慣れな利用者にとっては操作負担が大きい。また、写真シールに自分の顔が小さく写っていることに対する利用者の喜びは、「顔を小さくする処理が施された」という認識があるときよりもそのような認識がないときの方が大きくなると考えられる。
【0006】
そこで、本発明は、利用者に操作負担を課すことなく、かつ、(顔を小さくする処理が施されたことを)利用者に意識させることなく、本来よりも利用者の顔が小さく写った(利用者が小顔に写った)写真シールを出力することのできる自動写真作成装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、所定の撮影領域における被写体である利用者を撮影し、撮影画像に基づいて生成される落書き対象画像を含む合成画像を出力する自動写真作成装置および画像処理装置に関するものである。撮影画像における利用者の顔を検出し、落書き対象画像における利用者の顔の輪郭が撮影画像における利用者の顔の輪郭よりも小さくなるように、撮影画像に基づいて落書き対象画像を生成する。その際、撮影画像において利用者の右目および左目の所定の位置を通過する直線を第1の基準線としたときに、撮影画像において利用者の顔の輪郭を形成する画素データのうち第1の基準線よりも利用者の顎側に位置する画素データの座標を第1の基準線寄りに移動させる。
【発明の効果】
【0008】
本発明によれば、撮影画像における利用者の顔が検出され、利用者の顔の輪郭を小さくする小顔処理が施されることにより落書き対象画像が生成される。そして、その落書き対象画像を含む合成画像が出力される。ここで、撮影画像に基づいて落書き対象画像が生成される際、利用者の顔の輪郭のうち両目の所定位置よりも顎側の部分については上方(頭部寄り)に移動させられる。このため、落書き対象画像中の利用者の顔については、目から顎までの距離が本来の距離よりも短くなる。これにより、本来よりも目から顎までの距離が短く写った写真を利用者に提供することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施形態に係る自動写真作成装置である遊戯用写真作成装置の外観を示す図である。
【図2】上記実施形態における撮影ユニットの正面図である。
【図3】上記実施形態における編集ユニットの正面図である。
【図4】上記実施形態において、撮影操作用タッチパネルの画面構成を示す模式図である。
【図5】上記実施形態において、編集操作用タッチパネルの画面構成を示す模式図である。
【図6】上記実施形態に係る遊戯用写真作成装置の要部を機能面から見た構成を示すブロック図である。
【図7】上記実施形態における撮影処理の処理手順を示すフローチャートである。
【図8】上記実施形態における編集処理の処理手順を示すフローチャートである。
【図9】上記実施形態における小顔処理の処理手順を示すフローチャートである。
【図10】上記実施形態において、小顔処理について説明するための図である。
【図11】上記実施形態において、小顔処理について説明するための図である。
【図12】上記実施形態において、小顔処理について説明するための図である。
【図13】上記実施形態において、小顔処理について説明するための図である。
【図14】上記実施形態の変形例における撮影処理の処理手順を示すフローチャートである。
【図15】上記変形例における明るさ補償処理の処理手順を示すフローチャートである。
【図16】上記変形例において、RGB色空間からLab色空間へのデータの変換に用いられる式である。
【図17】上記変形例において、補正前の明るさと補正後の明るさとの関係を規定したトーンカーブを示す図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照しつつ本発明の一実施形態について説明する。
【0011】
<1.全体構成>
図1は、本発明の一実施形態に係る自動写真作成装置である遊戯用写真作成装置の外観を示す図である。より詳細には、図1(a)は、この遊戯用写真作成装置を横から見た外観側面図であり、図1(b)は、上から見た外観平面図である。この遊戯用写真作成装置は、利用者Uが入る撮影室2と、利用者Uを撮影し背景画像および前景画像の選択を受け付ける撮影ユニット3と、利用者Uによる落書き(描画操作)を含む編集操作を受け付け撮影画像に合成した合成画像を生成する編集ユニット4とを備えている。図2は、撮影ユニット3の正面図であり、図3は、編集ユニット4の正面図である。以下、図1から図3を参照しつつ、本実施形態における遊戯用写真作成装置の全体構成について説明する。
【0012】
撮影室2は、略直方体形状であって、撮影ユニット3は、内部に入る利用者Uから見て前の面である撮影室2の前面に沿って配置される。なお、撮影室2左右両側面の一部には、それぞれ利用者Uが出入りするための開口部と、当該開口部の一部または全部を覆う遮光カーテンとが設けられている。また、撮影室2の内部に入る利用者Uから見て後ろの面である背面には電動ロールカーテン装置25が備えられている。この電動ロールカーテン装置25にはクロマキー合成処理のための単一の色(ここでは青色または緑色)が付されたロールカーテンが収納されており、撮影の開始とともに当該ロールカーテンが展開され終了とともに巻き取られる。なお、電動ロールカーテン装置25は、クロマキー合成処理が行われない場合、所定の模様や風景などがそれぞれ描かれた複数のロールカーテンを適宜展開し巻き取る構成であってもよい。また、撮影室2の床面が撮影対象となる場合には、当該床面にも上記単一の色が付される。
【0013】
撮影ユニット3は、利用者Uを撮影する撮像手段としてのカメラ10と、当該カメラ10の上下左右の適宜の位置に配置され閃光を発する照明手段としてのストロボ11,12,13L,13R,14と、当該カメラ10の下方に配置され利用者Uからの操作の受け付けや撮影画像の表示等を行う撮影操作用タッチパネル20とを備えている。
【0014】
カメラ10は、典型的には、CCD(電荷結合素子)を利用してデジタル画像信号を生成するデジタルカメラであって、利用者Uを撮影し、その撮影画像を表す画像信号を出力する。ストロボ11〜14は、撮影のための充分な光を得るために利用者Uに向かって閃光を発する。撮影操作用タッチパネル20は、撮影の際に利用者Uによる各種操作を受け付けるための操作画面を提供するとともに、上記画像信号に基づく画像をリアルタイムで表示するように構成されている。図4は、撮影操作用タッチパネル20の画面構成を示す模式図である。図4に示すように、撮影操作用タッチパネル20には、リアルタイムで撮影画像を表示するためのリアルタイムプレビュー領域201と、ポーズの見本を表示するためのポーズ見本表示領域202と、撮影によって得られる落書き対象画像を表示するための落書き対象画像表示領域203とが含まれている。
【0015】
また撮影ユニット3は、コンピュータを中心に構成され各部の制御等を行う制御装置、I/O制御装置、および編集ユニット4と通信を行うためのネットワークアダプタなどを内蔵しているほか、合成画像を写真シール(または写真カード)として出力する出力手段としてのネットワークプリンタ35を備えている。さらに、撮影ユニット3は、前面下方にコイン投入口26を、側面に写真シールの取出口28をそれぞれ備えている。
【0016】
編集ユニット4は、撮影ユニット3と同様のコンピュータを中心に構成され各部の制御等を行う制御装置および撮影ユニット3等と通信を行うためのネットワークアダプタなどを内蔵している。また、編集ユニット4は、図1(b)に示すように、2組の利用者Uがプレイ可能なように2つのユニット4a、4bに分かれている。そのうちの一方のユニット4aには、落書き領域や落書きのためのメニュー、ツール等を表示する領域を含む編集操作用タッチパネル400と、当該編集操作用タッチパネル400に対する操作に使用されるタッチペン49L、49Rとが設けられている。なお、他方のユニット4bについても同様の構成となっている。ここで図1(a)において手前に見えるユニット4aを「落書きブースA」と呼び、その反対側(図では裏側)のユニット4bを「落書きブースB」と呼ぶ。
【0017】
本実施形態における編集操作用タッチパネル400は、各ユニット4a、4bにおいてそれぞれ2人の利用者Uが同時に落書きを行えるような画面構成となっている。なお、本説明においては、左側の利用者Uが使用する構成要素には「L」を含む参照符号を付し、右側の利用者Uが使用する構成要素には「R」を含む参照符号を付している。
【0018】
図5は、編集操作用タッチパネル400の画面構成を示す模式図である。この編集操作用タッチパネル400には、左右の利用者Uそれぞれが使用する構成要素として、撮影画像に基づいて生成された複数の落書き対象画像から選択された画像を表示し(仮想的な)落書きを行える領域である落書き領域41L、41Rと、利用者Uが落書きを行うためのツールすなわち(選択された)落書き対象画像に対する編集指示のためのツールの集合であって使用可能に表示したものとしてのパレット42L、42Rと、それらパレット42L、42Rに含まれるツールの種類を切り替えるためのモード選択ボタン群44L、44Rと、パレット42L、42Rに含まれうるツール以外で落書きに関する操作を行うためのボタン群45L、45Rとが含まれている。パレット42L、42Rにはタブ43L、43Rが設けられており、タブを切り替えることによって多種類のアイテムの表示、選択が可能となっている。また、編集操作用タッチパネル400には、左右の利用者が共通に使用する構成要素として、落書き時間の残り時間を表示するためのタイマー46と、編集用の複数の落書き対象画像を落書き候補画像として小さく一覧表示した画像群である候補画像サムネイル47と、タブやアイテムなどの選択が行われたときに当該選択されたものについての使用説明などを表示するためのガイド画面表示領域48とが含まれている。
【0019】
なお、図5に示す編集操作用タッチパネル400において、モード選択ボタン群44L、44Rによって、パレットモードを例えば「ペン」、「スタンプ」、「フレーム」、および「背景」のいずれかに切り替えることができる。また、ボタン群45L、45Rによって、例えば「らくがき終了」、「らくがき全消去」、「一つ戻る」、「消しゴム」、「背景消しゴム」、「太いペン」、「中ぐらいのペン」、および「細いペン」というような機能が提供される。
【0020】
以上のような構成において、利用者は、撮影室2において撮影を行った後、編集ユニット4の落書きブースAまたは落書きブースBの編集操作用タッチパネル400を使用することにより、撮影画像に基づいて生成された落書き対象画像に対して落書きを行う。そして、落書きによって生成された合成画像をネットワークプリンタ35から印刷出力する。
【0021】
<2.機能的構成>
図6は、本実施形態に係る遊戯用写真作成装置の要部を機能面から見た構成を示すブロック図である。この遊戯用写真作成装置は、機能的には、主として利用者Uを撮影する処理(撮影処理)を行うための撮影処理部7と、主として落書き対象画像に対する利用者Uの落書き操作に応じて当該落書き対象画像の編集処理を行うための編集処理部8と、印刷出力を行う出力処理部9とから構成されている。撮影処理部7は、第1の制御部70と撮像部71と第1の表示・操作部72とI/O制御部73と照明部74と第1の通信部75とによって構成されている。編集処理部8は、第2の制御部80と第2の表示・操作部81、82と第2の通信部83とによって構成されている。出力処理部9は、出力部90によって構成されている。ネットワークアダプタである第1および第2の通信部75,83とネットワークプリンタ35である出力部90とは、LAN(Local Area Network)などのネットワーク6を介してそれぞれ相互に通信可能となっている。
【0022】
撮像部71は、CCD等の撮像素子を用いて構成されるカメラ10に相当し、リアルタイムに画像を取り込んで当該画像(撮影画像)を表す画像信号を出力する。この画像信号は第1の制御部70に入力されて、その内部のメモリに撮影画像データとして一時的に記憶される。また、この撮影画像データは撮影画像信号として第1の制御部70から第1の表示・操作部72に供給され、当該撮影画像信号に基づく撮影画像がリアルタイムに表示される。
【0023】
第1の表示・操作部72は、撮影操作用タッチパネル20に相当し、撮影画像に合成されるべき背景画像および前景画像を選択する操作や、出力されるべき写真のレイアウトを決定するための利用者Uの操作やシャッター操作等を受け付ける。これらの操作を示す信号は、操作信号として第1の制御部70に入力される。ここで、利用者Uを撮影するための(選択された撮影メニューに対応する)所定の処理が開始されると、第1の表示・操作部72に利用者Uのための案内が表示され、その後の第1の制御部70からの指示に基づき、数秒程度の予め決められた時間の経過後にカメラ10の撮影方向にストロボ11〜14から閃光が放たれる。そのとき、利用者Uの撮影画像を表す信号として撮像部71から出力される画像信号が第1の制御部70に入力され、第1の制御部70内のメモリまたは補助記憶装置としてのハードディス装置等に撮影画像データとして格納される。また、この撮影画像データに対して後述する小顔処理が施されることによって落書き対象画像が生成される。
【0024】
照明部74は、カメラ10の上下左右の適宜の位置に配置されたストロボ11,12,13L,13R,14に相当し、第1の制御部70からの指示に基づきI/O制御部73によって点灯/消灯および調光が制御される。I/O制御部73は、撮影ユニット3に内蔵されるI/O制御装置に相当し、第1の制御部70からの指示に基づき、照明部74を制御する。また、後述のコイン検出部(不図示)からの検出信号等の入力信号を第1の制御部70へ転送する。第1の通信部75は、撮影ユニット3に内蔵されるネットワークアダプタに相当し、データ送受信の際のインタフェースとして機能する。
【0025】
第1の制御部70は、撮影ユニット3に内蔵され、CPUや、メモリ、フレームバッファ、タイマー、補助記憶装置などを含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、上述のようにして入力される操作信号等に基づき各部を制御するために、上述のように各部に指示を出す。また撮影された画像に基づいて落書き対象画像が生成され、生成された落書き対象画像はフレームバッファに書き込まれることにより、第1の表示・操作部72に表示される。さらに、第1の制御部70は、落書き対象画像に所定の背景画像や前景画像を描画した画像である合成画像を生成する。生成された合成画像はフレームバッファに書き込まれることにより第1の表示・操作部72に表示される。こうして撮影および合成画像の生成が終了すると、生成された合成画像は利用者Uの操作入力に応じて適宜選択された後、第1の通信部75を介して、編集ユニット4に対応する第2の制御部80へ送信される。
【0026】
上記の構成要素の他、撮影ユニット3におけるコイン投入口26に投入されたコインを検出するためのコイン検出部(不図示)が更に撮影ユニット3に設けられており、第1の制御部70は、コイン検出部での検出結果に基づき、利用者Uに所定時間だけ撮影や背景画像および前景画像の選択や落書きなど、本遊戯用写真作成装置によるプレイを許容するように各部を制御する。このコイン検出部やその検出結果に基づく第1の制御部70による制御動作は、従来の遊戯用写真作成装置と同様であって周知であるので、その詳しい説明を省略する。
【0027】
第2の制御部80は、編集ユニット4に内蔵され、CPU、メモリ、フレームバッファ、および補助記憶装置などを含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、編集処理に関する全体の制御を行う。また、第2の制御部80は、第1の制御部70から送られてきた合成画像に対する落書き処理を行うための操作信号に基づき、当該合成画像に所定画像を描画した画像である合成画像を生成する。生成された合成画像は対応する第2の表示・操作部81,82に表示される。上記のような画像合成が終了すると、当該合成画像は出力部90に送信される。なお、出力部90が別の合成画像を出力中である場合には、その旨が表示されるとともに終了を待って送信される。
【0028】
第2の表示・操作部81、82は、落書きのための編集操作用タッチパネル400に相当し、タッチペンを用いた利用者Uの操作を受け付ける。第2の通信部83は、編集ユニット4に内蔵されるネットワークアダプタに相当し、データ送受信の際のインタフェースとして機能する。
【0029】
出力部90は、撮影ユニット3に内蔵されるネットワークプリンタ35に相当し、第2の制御部80から受け取った利用者Uの落書きに応じて画像処理された画像データの表す画像を写真シール(または写真カード)として出力する。出力された写真シール等は、撮影ユニット3の側面に設けられた取出口28から取り出される。
【0030】
なお、制御装置において実行される上記所定プログラムは、例えば、そのプログラムを記録した記録媒体であるDVD−ROMによって提供される。すなわち、上記所定プログラムの記録媒体としてのDVD−ROMが制御装置内に補助記憶装置として内蔵されたDVD−ROM駆動装置に装着され、そのDVD−ROMから所定プログラムが読み出されて補助記憶装置としてのハードディスク装置にインストールされる。また、上記所定プログラムは、DVD−ROM以外の記録媒体(CD−ROM等)や通信回線を介して提供されてもよい。そして、本遊戯用写真作成装置の起動のための所定操作がなされると、ハードディスク装置にインストールされた所定プログラムは、制御装置内のメモリに転送されてそこに一時的に格納され、制御装置内のCPUによって実行される。これにより、制御装置による上記各部の制御処理が実現される。
【0031】
<3.遊戯用写真作成装置における処理手順>
上述したように、この遊戯用写真作成装置には撮影ユニット3と編集ユニット4とが含まれている。撮影ユニット3では撮影処理が行われ、編集ユニット4では編集処理が行われる。なお、或る利用者Uが編集ユニット4でプレイしている時に他の利用者Uは撮影ユニット3でプレイすることができるように構成されている。すなわち、この遊戯用写真作成装置は、撮影処理と編集処理とを並行して行うことができる。以下に、撮影処理と編集処理の処理手順の概要について説明する。
【0032】
<3.1 撮影処理>
図7は、本実施形態における撮影処理の処理手順を示すフローチャートである。この遊戯用写真作成装置が利用されていない時(プレイが行われていない時)には、撮影操作用タッチパネル20にはデモ画像(デモンストレーション用の画像)が表示されている。デモ画像の表示中に利用者Uがコイン投入口26にコインを投入すると、プレイが開始される(ステップS100)。
【0033】
プレイが開始されると、第1の制御部70は、利用者Uによる撮影モードの選択を受け付ける(ステップS110)。なお、本実施形態においては、撮影モードとして、利用者Uにとって自動的に撮影が行われる「オート撮影モード」と、背景等を利用者Uが選択する「こだわり撮影モード」とが用意されているものとして説明する。ステップS110では、第1の制御部70は、いずれかのモードを利用者Uに選択させるための画面を撮影操作用タッチパネル20に表示し、利用者Uによる選択操作を受け付ける。そして、第1の制御部70は、利用者Uがいずれのモードを選択したのかを判定する。判定の結果、オート撮影モードが選択されていればステップS120に進み、こだわり撮影モードが選択されていればステップS130に進む。
【0034】
ステップS120では、撮影用テーマの選択が行われる。具体的には、第1の制御部70は、予め用意された複数の撮影用テーマの中からいずれか(1または複数)の撮影用テーマを利用者Uに選択させるための画面を撮影操作用タッチパネル20に表示し、利用者Uによる選択操作を受け付ける。そして、第1の制御部70は、利用者Uの選択操作に基づいて選択情報を取得し、選択された撮影用テーマに基づいて、撮影の際に使用するフレームと背景との組み合わせを決定する。その後、ステップS121に進み、撮影が行われる。この撮影により、撮影画像データが第1の制御部70のメモリに格納される。
【0035】
撮影の終了後、ステップS123に進み、第1の制御部70のメモリに格納された撮影画像データに基づいて、顔検出処理が行われる。顔検出処理とは、撮影画像から利用者Uの顔の部分を表している領域を検出するための処理すなわち利用者Uの顔の輪郭を検出する処理のことである。本実施形態においては、公知の顔検出処理を用いて、撮影画像から利用者Uの顔の輪郭が検出される。例えば、特開平8−63597号公報に開示されているように、各画素のRGB値から明度,色相,彩度,色度などの色の特徴量を求め、その特徴量に基づいて対象画素が肌色であるか否かを判定し、肌色と判定された画素から成る画像に対してエッジ抽出を行ってエッジ画像を取得し、当該エッジ画像と予め用意された複数の顔テンプレートとをマッチングすることにより利用者Uの顔の輪郭を検出することができる。また、特開2000−48184号公報に開示されているように、肌色領域の検出後、当該肌色領域の射影分布を求め、その射影分布から顔領域候補を抽出し、当該顔領域候補についての領域の縦横比や当該顔領域候補が予め用意された顔パターンと一致するか否かなどを考慮して利用者Uの顔の輪郭を検出することもできる。さらに、特許第4121026号公報に開示されているように、水平方向および垂直方向のエッジの大きさから算出される勾配ベクトルに基づく特徴量と顔の識別のために予め用意された参照データとに基づいて識別ポイントを求め、当該識別ポイントに基づいて利用者Uの顔を検出するようにしても良い。顔検出処理の終了後、ステップS125に進む。
【0036】
ステップS125では、小顔処理が行われる。小顔処理とは、最終的に出力される写真シールにおける利用者Uの顔が実際の撮影画像における利用者Uの顔よりも相対的に小さくなるように、撮影画像から当該撮影画像に含まれている利用者Uの顔の輪郭を小さくすることによって落書き対象画像を生成する処理のことである。なお、小顔処理についての詳しい説明は後述する。小顔処理の終了後、ステップS127に進む。
【0037】
ステップS127では、小顔処理によって撮影画像に基づいて生成された落書き対象画像が、撮影操作用タッチパネル20に表示される。詳しくは、ステップS127の処理が行われる都度、図4に示した撮影操作用タッチパネル20の落書き対象画像表示領域203に落書き対象画像が順次表示される。その後、ステップS129に進み、第1の制御部70は、予め定められた枚数の撮影が終了したか否かを判定する。判定の結果、当該枚数の撮影が終了していればステップS140に進み、当該枚数の撮影が終了していなければステップS121に戻る。
【0038】
ステップS130では、利用者Uによって、フレームと背景との組み合わせが選択される。具体的には、第1の制御部70は、予め用意された複数のフレームの中からいずれかのフレームを利用者Uに選択させるための画面、および予め用意された複数の背景の中からいずれかの背景を利用者Uに選択させるための画面を撮影操作用タッチパネル20に表示し、利用者Uによる選択操作を受け付ける。そして、第1の制御部70は、利用者Uの選択操作に基づいて、選択情報を取得する。その後、ステップS131に進み、撮影が行われる。この撮影により、撮影画像データが第1の制御部70のメモリに格納される。
【0039】
撮影の終了後、顔検出処理(ステップS133)および小顔処理(ステップS135)が行われ、それらの処理によって生成された落書き対象画像が撮影操作用タッチパネル20に表示される(ステップS137)。なお、ステップS133、ステップS135、およびステップS137における処理の詳細については、それぞれ上述したステップS123、ステップS125、およびステップS127と同様であるので、説明を省略する。ステップS137の終了後、ステップS139に進み、第1の制御部70は、プレイの開始から或いは撮影モードが選択されてから所定の時間が経過しているか否かの判定を行う。判定の結果、所定の時間が経過していればステップS140に進み、所定の時間が経過していなければステップS130に戻る。
【0040】
ステップS140では、小顔処理で生成された複数の落書き対象画像の中から実際の落書き対象となる画像の(利用者Uによる)選択が行われる。具体的には、第1の制御部70は、落書きおよび印刷に使用する画像を利用者Uに選択させるために、落書き対象画像の一覧を撮影操作用タッチパネル20に表示し、利用者Uによる選択操作を受け付ける。そして、第1の制御部70は、利用者Uによって選択された画像を実際の落書き対象画像として第2の制御部80に転送する。ステップS140の終了後、ステップS150に進む。ステップS150では、案内画面の表示が行われる。具体的には、第1の制御部70は、利用者Uを編集ユニット4のいずれか(4aまたは4b)に導くための画面を撮影操作用タッチパネル20に表示する。これにより、撮影処理が終了する。
【0041】
なお、本実施形態においては、上記ステップS123,S133によって顔検出手段(顔検出ステップ)が実現され、上記ステップS125,S135によって小顔処理手段(小顔処理ステップ)が実現されている。
【0042】
<3.2 編集処理>
図8は、本実施形態における編集処理の処理手順を示すフローチャートである。上述した撮影処理の終了後、第2の制御部80は、ネットワーク6を介して第1の制御部70から送られる落書き対象画像(図8のステップS140で利用者Uによって選択された画像)を取得する(ステップS200)。その後、タイマー46が所定の時間(利用者Uに落書きを許可する時間)に設定され、カウントダウンが開始される(ステップS210)。
【0043】
タイマー46のカウントダウン開始後、編集ユニット4では、利用者Uによる落書き操作(描画操作)が受け付けられる(ステップS220)。利用者Uに落書きを許可する残り時間が60秒になると、第2の制御部80は、落書き時間を延長するか否かを判定する(ステップS230)。落書き時間を延長するか否かは、次にこのユニット4aまたは4bでプレイすることになる利用者Uが撮影室2にいるか否か(撮影ユニット3で撮影処理が行われているか否か)によって判定される。その結果、落書き時間を延長する旨の判定がなされると、ステップS240に進む。一方、落書き時間を延長しない旨の判定がなされると、ステップS250に進む。ステップS240では、タイマーが所定の時間(利用者Uに更に落書きを許可する時間)に設定され、再度カウントダウンが開始される。ステップS240の終了後、ステップS250に進む。
【0044】
ステップS250では、ステップS220と同様、編集ユニット4で利用者Uによる落書き操作が受け付けられる。落書き時間が0になる(終了する)と、出力される写真の分割パターンの選択が行われる(ステップS260)。具体的には、第2の制御部80は、予め用意された複数の分割パターンの中からいずれかの分割パターンを利用者Uに選択させるための画面を編集操作用タッチパネル400に表示し、利用者Uによる選択操作を受け付ける。そして、第2の制御部80は、利用者Uの選択操作に基づいて、選択情報を取得する。ステップS260の終了後、ステップS270に進む。
【0045】
ステップS270では、第2の制御部80は、落書き終了済みの落書き対象画像である合成画像を所定のサーバに登録するか否かの判定を行う。具体的には、第2の制御部80は、合成画像を所定のサーバに登録するか否かを利用者Uに選択させるための画面を編集操作用タッチパネル400に表示し、利用者Uによる選択操作を受け付ける。そして、第2の制御部80は、利用者Uがいずれを選択したのか判定する。判定の結果、サーバに登録する旨の選択が行われていればステップS280に進み、サーバに登録しない旨の選択が行われていればステップS290に進む。
【0046】
ステップS280では、所定のサーバへの合成画像の画像データの送信が行われる。ステップS280の終了後、ステップS290に進む。ステップS290では、案内画面の表示が行われる。具体的には、第2の制御部80は、利用者Uを写真シールの取出口28に導くための画面を編集操作用タッチパネル400に表示する。これにより、編集処理が終了する。
【0047】
<3.3 小顔処理>
図9は、本実施形態における小顔処理の処理手順を示すフローチャートである。まず、第1の制御部70は、上述した顔検出処理の結果に基づき、撮影画像に何人の顔が含まれているかの情報(以下「人数データ」という。)を取得する(ステップS300)。この小顔処理においては、その人数データに基づいて、ステップS310からステップS340までの処理が人数分の回数だけ繰り返される。例えば撮影画像に3人の顔が含まれていれば、ステップS310からステップS340までの処理が3回繰り返され、当該3人の利用者Uの顔が順次に処理対象とされる。
【0048】
ステップS310では、第1の制御部70は、撮影画像中の処理対象とされている利用者Uの顔の輪郭のうち目から下の部分を当該撮影画像から抽出する(抽出されたデータを以下「抽出輪郭データ」という。)。その後、ステップS320に進み、第1の制御部70は、抽出輪郭データの座標の変換を行う。この変換は、変換後の利用者Uの顔の輪郭が変換前の利用者Uの顔の輪郭よりも小さくなるように行われる。これにより、例えば、図10(a)に示すような利用者Uの顔の輪郭が図10(b)に示すような形状に変形させられる。
【0049】
ステップS320の終了後、ステップS330に進み、第1の制御部70は、利用者Uの顔の輪郭を変形させたことに伴い、利用者Uの首の部分のデータの座標を変換する。これにより、変換後のデータに基づく利用者Uの首の長さは、変換前のデータに基づく利用者Uの首の長さよりも長くなる。ステップS330の終了後、ステップS340に進み、第1の制御部70は、人数分の処理が終了したか否かの判定を行う。判定の結果、人数分の処理が終了していれば小顔処理は終了し、人数分の処理が終了していなければステップS310に戻る。
【0050】
ところで、上記小顔処理において、撮影画像中の利用者Uの顔は例えば以下のようにして縮小される。まず、撮影画像において利用者Uの右目および左目の所定の位置を通過する直線が第1の基準線とされる。これについては、図11に示すように、右目および左目の最上部を通過する直線51を第1の基準線としても良いし、右目および左目の中心を通過する直線52を第1の基準線としても良いし、右目および左目の最下部を通過する直線53を第1の基準線としても良い。そして、利用者Uの顔の輪郭を形成する画素データのうち第1の基準線よりも当該利用者Uの顎側に位置する画素データが上述の抽出輪郭データとされる。また、図11に示すように、撮影画像において利用者Uの額の中心と顎の中心とを通過する直線55が第2の基準線とされる。そして、第1の基準線や第2の基準線を考慮して抽出輪郭データの座標の変換(移動)が行われる。
【0051】
以下、利用者Uの右目および左目の最下部を通過する直線53が第1の基準線とされたものと仮定して抽出輪郭データの座標の変換例(第1〜第3の変換例)を説明する。第1の変換例では、図12(a)に示すように、抽出輪郭データの各画素の座標が第1の基準線寄りに移動させられる。これにより、図11に示すような撮影画像は図13(a)に示すような画像に変換される。第2の変換例では、図12(b)に示すように、抽出輪郭データの各画素の座標が第1の基準線寄りかつ第2の基準線寄りに移動させられ、その際、第1の基準線寄りに移動させられる距離と第2の基準線寄りに移動させられる距離とは等しくされる。これにより、図11に示すような撮影画像は図13(b)に示すような画像に変換される。第3の変換例では、図12(c)に示すように、抽出輪郭データの各画素の座標が第1の基準線寄りかつ第2の基準線寄りに移動させられ、その際、第2の基準線寄りに移動させられる距離は第1の基準線寄りに移動させられる距離よりも長くされる。これにより、図11に示すような撮影画像は図13(c)に示すような画像に変換される。以上のように、抽出輪郭データの座標の変換の仕方は様々なものが考えられる。
【0052】
<4.効果>
以上のように、本実施形態によると、撮影によって得られた撮影画像に対して利用者Uの顔の輪郭を小さくする処理(小顔処理)が施され、それによって生成された画像が落書き対象画像とされる。そして、当該落書き対象画像に落書きが施された画像が出力される。小顔処理においては、撮影画像において利用者Uの右目および左目の所定の位置を通過する直線を第1の基準線としたときに、撮影画像において利用者Uの顔の輪郭を形成する画素データのうち第1の基準線よりも利用者Uの顎側に位置する画素データの座標が第1の基準線寄りに移動させられる。このため、本来よりも目から顎までの距離が短く写った写真を利用者Uに提供することができる。
【0053】
また、本実施形態によれば、小顔処理において、利用者Uの顔の輪郭のうち両目の所定位置よりも顎側の部分については上方(頭部寄り)かつ中心寄りに移動させられる(第2の変換例)。このため、落書き対象画像中の利用者Uの顔については、目から顎までの距離が本来の距離よりも短くなるとともに、目よりも顎側の部分が本来よりも細くなる。これにより、本来よりも目から顎までの距離が短く、かつ、目よりも顎側の部分が本来よりも細く写った写真を利用者Uに提供することができる。
【0054】
また、本実施形態によれば、小顔処理において、利用者の顔の輪郭のうち両目の所定位置よりも顎側の部分については上方(頭部寄り)かつ中心寄りに移動させられるところ、上方への移動距離よりも中心方向への移動距離の方が大きくなるように輪郭の移動が行われる(第3の変換例)。このため、落書き対象画像中の利用者Uの顔については、目から顎までの距離が本来の距離よりも短くなるとともに、目よりも顎側の部分が本来よりもかなり細くなる。これにより、本来よりも目から顎までの距離が短く、かつ、目よりも顎側の部分が本来よりもかなり細く写った写真を利用者に提供することができる。
【0055】
以上のように、小顔処理の施し方(抽出輪郭データの座標の変換の仕方)については様々なものを適用することができる(図13(a)〜(c)を参照)。このため、「本来よりも目から顎までの距離が短く写った写真」、「本来よりも目から顎までの距離が短く、かつ、目よりも顎側の部分が本来よりも細く写った写真」、「本来よりも目から顎までの距離が短く、かつ、目よりも顎側の部分が本来よりも著しく細く写った写真」など様々な変換手法により利用者Uの顔を小さくした写真を当該利用者Uに提供することができる。
【0056】
<5.変形例>
以下、上記実施形態の変形例について説明する。図14は、本変形例における撮影処理の処理手順を示すフローチャートである。本変形例においては、顔検出処理(ステップS123,ステップS133)と小顔処理(ステップS125,ステップS135)との間のタイミングで、明るさ補償処理(ステップS124,ステップS134)が行われる。ここで、明るさ補償処理とは、撮影画像において利用者Uの顔の明るさが予め定められた目標とする明るさよりも暗い場合に、小顔処理によって生成される落書き対象画像中の利用者Uの顔を明るくする処理のことである。
【0057】
図15は、本変形例における明るさ補償処理の処理手順を示すフローチャートである。明るさ補償処理の開始後、まず、第1の制御部70は、顔検出処理によって検出された利用者Uの顔の輪郭内の画素データについて、RGB色空間からLab色空間へのデータの変換を行う(ステップS400)。なお、この変換については、例えば特開2008−99148号公報に開示されているように図16に示す式を用いて行うことができる。
【0058】
次に、ステップS410に進み、第1の制御部70は、Lab色空間に変換されたデータに基づいて、利用者Uの顔の輪郭内の画素データのうち肌色のデータの抽出を行う。本変形例においては、a値およびb値が18以上かつ25以下となる画素データが肌色のデータであると判断される。次に、ステップS420に進み、第1の制御部70は、ステップS410で抽出した肌色のデータについての明るさ(L値)の平均値を算出する。
【0059】
次に、ステップS430に進み、第1の制御部70は、ステップS420で算出された平均値と予め定められた(明るさの)目標値との差を算出する。その後、ステップS440に進み、第1の制御部70は、ステップS430で算出された(平均値と目標値との)差を補償するように、画素データ中の明るさを示すデータに変換を施す。この変換については、例えば、補正前の明るさと補正後の明るさとの関係を規定した図17に示すようなトーンカーブに従って行うことができる。ステップS440が終了すると、明るさ補償処理が終了する。
【0060】
本変形例によれば、撮影画像中の利用者Uの顔の肌色部分が目標とする明るさよりも暗い場合に、落書き対象画像の生成の際に当該肌色部分の明るさが補償される。このため、利用者Uの顔色が比較的黒い場合であっても、明るさが補償された落書き対象画像に基づいて写真が生成されるので、写真中の利用者Uの顔は鮮明となる。また、撮影の際に光量が不充分であっても、落書き対象画像の生成の際に利用者Uの顔の肌色部分の明るさが補償されるので、写真中の利用者Uの顔は鮮明となる。
【0061】
また、本変形例によれば、Lab色空間に変換されたデータに基づいて、利用者Uの顔の輪郭内の画素データから肌色のデータが抽出される。Lab色空間による色の表現は人の視角に近いため、効果的に撮影画像中の利用者Uの顔の肌色部分の明るさが補償される。
【0062】
なお、本変形例においては小顔処理の前に明るさ補償処理が行われる構成としているが、本発明はこれに限定されず、小顔処理の後に明るさ補償処理が行われる構成としても良い。また、本変形例においてはRGB色空間のデータをLab色空間のデータに変換することによって得られるa値およびb値に基づいて各画素データが肌色であるか否かの判断が行われているが、本発明はこれに限定されず、他の手法により肌色の部分の抽出が行われても良い。さらに、本変形例においては肌色のデータについての明るさの平均値と目標値との差を補償するようにデータの変換が行われているが、本発明はこれに限定されず、明るさの中央値あるいはヒストグラムに基づき決定される値(例えば最頻値)と目標値との差を補償するようにデータの変換が行われても良い。
【0063】
<6.その他>
上記実施形態においては1つの撮影画像につき1つの落書き対象画像が生成されることを前提に説明しているが、本発明はこれに限定されない。1つの撮影画像につき複数の落書き対象画像(例えば、図13(a)〜(c)に示すような3つの画像)を生成し、それらの画像のうちの1つを利用者Uが選択するための手段(落書き対象画像選択手段)を備える構成にしても良い。この場合、利用者Uによる操作が介在することになるが、利用者Uの好みの応じて縮小された顔が写った写真シールを当該利用者Uに提供することができる。
【符号の説明】
【0064】
2…撮影室
3…撮影ユニット
4…編集ユニット
10…カメラ
11〜14…ストロボ
20…撮影操作用タッチパネル
51〜53…第1の基準線
55…第2の基準線
70…第1の制御部
71…撮像部(カメラ)
72…第1の表示・操作部(撮影操作用タッチパネル)
73…I/O制御部(I/O制御装置)
74…照明部(ストロボ)
75,83…第1および第2の通信部(ネットワークアダプタ)
80…第2の制御部
81,82…第2の表示・操作部(編集操作用タッチパネル)
400…編集操作用タッチパネル
U…利用者
【技術分野】
【0001】
本発明は、利用者をカメラで撮影し、その撮影画像に基づき生成される合成画像を出力する自動写真作成装置および画像処理装置に関する。
【背景技術】
【0002】
従来より、利用者をカメラで撮影し、その撮影画像を写真シール(あるいは写真カード等)として出力する遊戯用写真作成装置が知られている。このような遊戯用写真作成装置は、遊戯性または娯楽性が高いことから、撮影画像と合成すべき画像を、利用者の嗜好に応じて、予め用意された多種多様な背景画像および前景画像から選択したり、タッチペンやライトペン等のペン型入力手段を用いて利用者が自由に描いたりできるように構成されているものが多い。利用者によるこのような行為は、撮影画像に対してなされるため、「落書き」と呼ばれる。
【0003】
ところで、利用者にとっては、いわゆる「写真写り」の良い写真シールが得られることが好ましい。特に近年、「小顔(こがお)」という言葉が流行していることから把握されるように、多くの女性が「顔を小さく見せたい」と感じており、比較的顔が大きく写っている写真シールよりも比較的顔が小さく写っている写真シールの方が利用者には喜ばれる。そこで、特許文献1には、撮影画像に対して補正を施すことを可能にした自動写真作成装置の発明が開示されている。この自動写真作成装置によれば、利用者からの指示に基づいて、撮影画像に対して頬を細くする処理や顔を小さくする処理が施される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−277772号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、上記特許文献1に開示された自動写真作成装置によると、撮影画像中の顔を小さくするための操作を利用者自身が行わなければならないので、不慣れな利用者にとっては操作負担が大きい。また、写真シールに自分の顔が小さく写っていることに対する利用者の喜びは、「顔を小さくする処理が施された」という認識があるときよりもそのような認識がないときの方が大きくなると考えられる。
【0006】
そこで、本発明は、利用者に操作負担を課すことなく、かつ、(顔を小さくする処理が施されたことを)利用者に意識させることなく、本来よりも利用者の顔が小さく写った(利用者が小顔に写った)写真シールを出力することのできる自動写真作成装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、所定の撮影領域における被写体である利用者を撮影し、撮影画像に基づいて生成される落書き対象画像を含む合成画像を出力する自動写真作成装置および画像処理装置に関するものである。撮影画像における利用者の顔を検出し、落書き対象画像における利用者の顔の輪郭が撮影画像における利用者の顔の輪郭よりも小さくなるように、撮影画像に基づいて落書き対象画像を生成する。その際、撮影画像において利用者の右目および左目の所定の位置を通過する直線を第1の基準線としたときに、撮影画像において利用者の顔の輪郭を形成する画素データのうち第1の基準線よりも利用者の顎側に位置する画素データの座標を第1の基準線寄りに移動させる。
【発明の効果】
【0008】
本発明によれば、撮影画像における利用者の顔が検出され、利用者の顔の輪郭を小さくする小顔処理が施されることにより落書き対象画像が生成される。そして、その落書き対象画像を含む合成画像が出力される。ここで、撮影画像に基づいて落書き対象画像が生成される際、利用者の顔の輪郭のうち両目の所定位置よりも顎側の部分については上方(頭部寄り)に移動させられる。このため、落書き対象画像中の利用者の顔については、目から顎までの距離が本来の距離よりも短くなる。これにより、本来よりも目から顎までの距離が短く写った写真を利用者に提供することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施形態に係る自動写真作成装置である遊戯用写真作成装置の外観を示す図である。
【図2】上記実施形態における撮影ユニットの正面図である。
【図3】上記実施形態における編集ユニットの正面図である。
【図4】上記実施形態において、撮影操作用タッチパネルの画面構成を示す模式図である。
【図5】上記実施形態において、編集操作用タッチパネルの画面構成を示す模式図である。
【図6】上記実施形態に係る遊戯用写真作成装置の要部を機能面から見た構成を示すブロック図である。
【図7】上記実施形態における撮影処理の処理手順を示すフローチャートである。
【図8】上記実施形態における編集処理の処理手順を示すフローチャートである。
【図9】上記実施形態における小顔処理の処理手順を示すフローチャートである。
【図10】上記実施形態において、小顔処理について説明するための図である。
【図11】上記実施形態において、小顔処理について説明するための図である。
【図12】上記実施形態において、小顔処理について説明するための図である。
【図13】上記実施形態において、小顔処理について説明するための図である。
【図14】上記実施形態の変形例における撮影処理の処理手順を示すフローチャートである。
【図15】上記変形例における明るさ補償処理の処理手順を示すフローチャートである。
【図16】上記変形例において、RGB色空間からLab色空間へのデータの変換に用いられる式である。
【図17】上記変形例において、補正前の明るさと補正後の明るさとの関係を規定したトーンカーブを示す図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照しつつ本発明の一実施形態について説明する。
【0011】
<1.全体構成>
図1は、本発明の一実施形態に係る自動写真作成装置である遊戯用写真作成装置の外観を示す図である。より詳細には、図1(a)は、この遊戯用写真作成装置を横から見た外観側面図であり、図1(b)は、上から見た外観平面図である。この遊戯用写真作成装置は、利用者Uが入る撮影室2と、利用者Uを撮影し背景画像および前景画像の選択を受け付ける撮影ユニット3と、利用者Uによる落書き(描画操作)を含む編集操作を受け付け撮影画像に合成した合成画像を生成する編集ユニット4とを備えている。図2は、撮影ユニット3の正面図であり、図3は、編集ユニット4の正面図である。以下、図1から図3を参照しつつ、本実施形態における遊戯用写真作成装置の全体構成について説明する。
【0012】
撮影室2は、略直方体形状であって、撮影ユニット3は、内部に入る利用者Uから見て前の面である撮影室2の前面に沿って配置される。なお、撮影室2左右両側面の一部には、それぞれ利用者Uが出入りするための開口部と、当該開口部の一部または全部を覆う遮光カーテンとが設けられている。また、撮影室2の内部に入る利用者Uから見て後ろの面である背面には電動ロールカーテン装置25が備えられている。この電動ロールカーテン装置25にはクロマキー合成処理のための単一の色(ここでは青色または緑色)が付されたロールカーテンが収納されており、撮影の開始とともに当該ロールカーテンが展開され終了とともに巻き取られる。なお、電動ロールカーテン装置25は、クロマキー合成処理が行われない場合、所定の模様や風景などがそれぞれ描かれた複数のロールカーテンを適宜展開し巻き取る構成であってもよい。また、撮影室2の床面が撮影対象となる場合には、当該床面にも上記単一の色が付される。
【0013】
撮影ユニット3は、利用者Uを撮影する撮像手段としてのカメラ10と、当該カメラ10の上下左右の適宜の位置に配置され閃光を発する照明手段としてのストロボ11,12,13L,13R,14と、当該カメラ10の下方に配置され利用者Uからの操作の受け付けや撮影画像の表示等を行う撮影操作用タッチパネル20とを備えている。
【0014】
カメラ10は、典型的には、CCD(電荷結合素子)を利用してデジタル画像信号を生成するデジタルカメラであって、利用者Uを撮影し、その撮影画像を表す画像信号を出力する。ストロボ11〜14は、撮影のための充分な光を得るために利用者Uに向かって閃光を発する。撮影操作用タッチパネル20は、撮影の際に利用者Uによる各種操作を受け付けるための操作画面を提供するとともに、上記画像信号に基づく画像をリアルタイムで表示するように構成されている。図4は、撮影操作用タッチパネル20の画面構成を示す模式図である。図4に示すように、撮影操作用タッチパネル20には、リアルタイムで撮影画像を表示するためのリアルタイムプレビュー領域201と、ポーズの見本を表示するためのポーズ見本表示領域202と、撮影によって得られる落書き対象画像を表示するための落書き対象画像表示領域203とが含まれている。
【0015】
また撮影ユニット3は、コンピュータを中心に構成され各部の制御等を行う制御装置、I/O制御装置、および編集ユニット4と通信を行うためのネットワークアダプタなどを内蔵しているほか、合成画像を写真シール(または写真カード)として出力する出力手段としてのネットワークプリンタ35を備えている。さらに、撮影ユニット3は、前面下方にコイン投入口26を、側面に写真シールの取出口28をそれぞれ備えている。
【0016】
編集ユニット4は、撮影ユニット3と同様のコンピュータを中心に構成され各部の制御等を行う制御装置および撮影ユニット3等と通信を行うためのネットワークアダプタなどを内蔵している。また、編集ユニット4は、図1(b)に示すように、2組の利用者Uがプレイ可能なように2つのユニット4a、4bに分かれている。そのうちの一方のユニット4aには、落書き領域や落書きのためのメニュー、ツール等を表示する領域を含む編集操作用タッチパネル400と、当該編集操作用タッチパネル400に対する操作に使用されるタッチペン49L、49Rとが設けられている。なお、他方のユニット4bについても同様の構成となっている。ここで図1(a)において手前に見えるユニット4aを「落書きブースA」と呼び、その反対側(図では裏側)のユニット4bを「落書きブースB」と呼ぶ。
【0017】
本実施形態における編集操作用タッチパネル400は、各ユニット4a、4bにおいてそれぞれ2人の利用者Uが同時に落書きを行えるような画面構成となっている。なお、本説明においては、左側の利用者Uが使用する構成要素には「L」を含む参照符号を付し、右側の利用者Uが使用する構成要素には「R」を含む参照符号を付している。
【0018】
図5は、編集操作用タッチパネル400の画面構成を示す模式図である。この編集操作用タッチパネル400には、左右の利用者Uそれぞれが使用する構成要素として、撮影画像に基づいて生成された複数の落書き対象画像から選択された画像を表示し(仮想的な)落書きを行える領域である落書き領域41L、41Rと、利用者Uが落書きを行うためのツールすなわち(選択された)落書き対象画像に対する編集指示のためのツールの集合であって使用可能に表示したものとしてのパレット42L、42Rと、それらパレット42L、42Rに含まれるツールの種類を切り替えるためのモード選択ボタン群44L、44Rと、パレット42L、42Rに含まれうるツール以外で落書きに関する操作を行うためのボタン群45L、45Rとが含まれている。パレット42L、42Rにはタブ43L、43Rが設けられており、タブを切り替えることによって多種類のアイテムの表示、選択が可能となっている。また、編集操作用タッチパネル400には、左右の利用者が共通に使用する構成要素として、落書き時間の残り時間を表示するためのタイマー46と、編集用の複数の落書き対象画像を落書き候補画像として小さく一覧表示した画像群である候補画像サムネイル47と、タブやアイテムなどの選択が行われたときに当該選択されたものについての使用説明などを表示するためのガイド画面表示領域48とが含まれている。
【0019】
なお、図5に示す編集操作用タッチパネル400において、モード選択ボタン群44L、44Rによって、パレットモードを例えば「ペン」、「スタンプ」、「フレーム」、および「背景」のいずれかに切り替えることができる。また、ボタン群45L、45Rによって、例えば「らくがき終了」、「らくがき全消去」、「一つ戻る」、「消しゴム」、「背景消しゴム」、「太いペン」、「中ぐらいのペン」、および「細いペン」というような機能が提供される。
【0020】
以上のような構成において、利用者は、撮影室2において撮影を行った後、編集ユニット4の落書きブースAまたは落書きブースBの編集操作用タッチパネル400を使用することにより、撮影画像に基づいて生成された落書き対象画像に対して落書きを行う。そして、落書きによって生成された合成画像をネットワークプリンタ35から印刷出力する。
【0021】
<2.機能的構成>
図6は、本実施形態に係る遊戯用写真作成装置の要部を機能面から見た構成を示すブロック図である。この遊戯用写真作成装置は、機能的には、主として利用者Uを撮影する処理(撮影処理)を行うための撮影処理部7と、主として落書き対象画像に対する利用者Uの落書き操作に応じて当該落書き対象画像の編集処理を行うための編集処理部8と、印刷出力を行う出力処理部9とから構成されている。撮影処理部7は、第1の制御部70と撮像部71と第1の表示・操作部72とI/O制御部73と照明部74と第1の通信部75とによって構成されている。編集処理部8は、第2の制御部80と第2の表示・操作部81、82と第2の通信部83とによって構成されている。出力処理部9は、出力部90によって構成されている。ネットワークアダプタである第1および第2の通信部75,83とネットワークプリンタ35である出力部90とは、LAN(Local Area Network)などのネットワーク6を介してそれぞれ相互に通信可能となっている。
【0022】
撮像部71は、CCD等の撮像素子を用いて構成されるカメラ10に相当し、リアルタイムに画像を取り込んで当該画像(撮影画像)を表す画像信号を出力する。この画像信号は第1の制御部70に入力されて、その内部のメモリに撮影画像データとして一時的に記憶される。また、この撮影画像データは撮影画像信号として第1の制御部70から第1の表示・操作部72に供給され、当該撮影画像信号に基づく撮影画像がリアルタイムに表示される。
【0023】
第1の表示・操作部72は、撮影操作用タッチパネル20に相当し、撮影画像に合成されるべき背景画像および前景画像を選択する操作や、出力されるべき写真のレイアウトを決定するための利用者Uの操作やシャッター操作等を受け付ける。これらの操作を示す信号は、操作信号として第1の制御部70に入力される。ここで、利用者Uを撮影するための(選択された撮影メニューに対応する)所定の処理が開始されると、第1の表示・操作部72に利用者Uのための案内が表示され、その後の第1の制御部70からの指示に基づき、数秒程度の予め決められた時間の経過後にカメラ10の撮影方向にストロボ11〜14から閃光が放たれる。そのとき、利用者Uの撮影画像を表す信号として撮像部71から出力される画像信号が第1の制御部70に入力され、第1の制御部70内のメモリまたは補助記憶装置としてのハードディス装置等に撮影画像データとして格納される。また、この撮影画像データに対して後述する小顔処理が施されることによって落書き対象画像が生成される。
【0024】
照明部74は、カメラ10の上下左右の適宜の位置に配置されたストロボ11,12,13L,13R,14に相当し、第1の制御部70からの指示に基づきI/O制御部73によって点灯/消灯および調光が制御される。I/O制御部73は、撮影ユニット3に内蔵されるI/O制御装置に相当し、第1の制御部70からの指示に基づき、照明部74を制御する。また、後述のコイン検出部(不図示)からの検出信号等の入力信号を第1の制御部70へ転送する。第1の通信部75は、撮影ユニット3に内蔵されるネットワークアダプタに相当し、データ送受信の際のインタフェースとして機能する。
【0025】
第1の制御部70は、撮影ユニット3に内蔵され、CPUや、メモリ、フレームバッファ、タイマー、補助記憶装置などを含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、上述のようにして入力される操作信号等に基づき各部を制御するために、上述のように各部に指示を出す。また撮影された画像に基づいて落書き対象画像が生成され、生成された落書き対象画像はフレームバッファに書き込まれることにより、第1の表示・操作部72に表示される。さらに、第1の制御部70は、落書き対象画像に所定の背景画像や前景画像を描画した画像である合成画像を生成する。生成された合成画像はフレームバッファに書き込まれることにより第1の表示・操作部72に表示される。こうして撮影および合成画像の生成が終了すると、生成された合成画像は利用者Uの操作入力に応じて適宜選択された後、第1の通信部75を介して、編集ユニット4に対応する第2の制御部80へ送信される。
【0026】
上記の構成要素の他、撮影ユニット3におけるコイン投入口26に投入されたコインを検出するためのコイン検出部(不図示)が更に撮影ユニット3に設けられており、第1の制御部70は、コイン検出部での検出結果に基づき、利用者Uに所定時間だけ撮影や背景画像および前景画像の選択や落書きなど、本遊戯用写真作成装置によるプレイを許容するように各部を制御する。このコイン検出部やその検出結果に基づく第1の制御部70による制御動作は、従来の遊戯用写真作成装置と同様であって周知であるので、その詳しい説明を省略する。
【0027】
第2の制御部80は、編集ユニット4に内蔵され、CPU、メモリ、フレームバッファ、および補助記憶装置などを含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、編集処理に関する全体の制御を行う。また、第2の制御部80は、第1の制御部70から送られてきた合成画像に対する落書き処理を行うための操作信号に基づき、当該合成画像に所定画像を描画した画像である合成画像を生成する。生成された合成画像は対応する第2の表示・操作部81,82に表示される。上記のような画像合成が終了すると、当該合成画像は出力部90に送信される。なお、出力部90が別の合成画像を出力中である場合には、その旨が表示されるとともに終了を待って送信される。
【0028】
第2の表示・操作部81、82は、落書きのための編集操作用タッチパネル400に相当し、タッチペンを用いた利用者Uの操作を受け付ける。第2の通信部83は、編集ユニット4に内蔵されるネットワークアダプタに相当し、データ送受信の際のインタフェースとして機能する。
【0029】
出力部90は、撮影ユニット3に内蔵されるネットワークプリンタ35に相当し、第2の制御部80から受け取った利用者Uの落書きに応じて画像処理された画像データの表す画像を写真シール(または写真カード)として出力する。出力された写真シール等は、撮影ユニット3の側面に設けられた取出口28から取り出される。
【0030】
なお、制御装置において実行される上記所定プログラムは、例えば、そのプログラムを記録した記録媒体であるDVD−ROMによって提供される。すなわち、上記所定プログラムの記録媒体としてのDVD−ROMが制御装置内に補助記憶装置として内蔵されたDVD−ROM駆動装置に装着され、そのDVD−ROMから所定プログラムが読み出されて補助記憶装置としてのハードディスク装置にインストールされる。また、上記所定プログラムは、DVD−ROM以外の記録媒体(CD−ROM等)や通信回線を介して提供されてもよい。そして、本遊戯用写真作成装置の起動のための所定操作がなされると、ハードディスク装置にインストールされた所定プログラムは、制御装置内のメモリに転送されてそこに一時的に格納され、制御装置内のCPUによって実行される。これにより、制御装置による上記各部の制御処理が実現される。
【0031】
<3.遊戯用写真作成装置における処理手順>
上述したように、この遊戯用写真作成装置には撮影ユニット3と編集ユニット4とが含まれている。撮影ユニット3では撮影処理が行われ、編集ユニット4では編集処理が行われる。なお、或る利用者Uが編集ユニット4でプレイしている時に他の利用者Uは撮影ユニット3でプレイすることができるように構成されている。すなわち、この遊戯用写真作成装置は、撮影処理と編集処理とを並行して行うことができる。以下に、撮影処理と編集処理の処理手順の概要について説明する。
【0032】
<3.1 撮影処理>
図7は、本実施形態における撮影処理の処理手順を示すフローチャートである。この遊戯用写真作成装置が利用されていない時(プレイが行われていない時)には、撮影操作用タッチパネル20にはデモ画像(デモンストレーション用の画像)が表示されている。デモ画像の表示中に利用者Uがコイン投入口26にコインを投入すると、プレイが開始される(ステップS100)。
【0033】
プレイが開始されると、第1の制御部70は、利用者Uによる撮影モードの選択を受け付ける(ステップS110)。なお、本実施形態においては、撮影モードとして、利用者Uにとって自動的に撮影が行われる「オート撮影モード」と、背景等を利用者Uが選択する「こだわり撮影モード」とが用意されているものとして説明する。ステップS110では、第1の制御部70は、いずれかのモードを利用者Uに選択させるための画面を撮影操作用タッチパネル20に表示し、利用者Uによる選択操作を受け付ける。そして、第1の制御部70は、利用者Uがいずれのモードを選択したのかを判定する。判定の結果、オート撮影モードが選択されていればステップS120に進み、こだわり撮影モードが選択されていればステップS130に進む。
【0034】
ステップS120では、撮影用テーマの選択が行われる。具体的には、第1の制御部70は、予め用意された複数の撮影用テーマの中からいずれか(1または複数)の撮影用テーマを利用者Uに選択させるための画面を撮影操作用タッチパネル20に表示し、利用者Uによる選択操作を受け付ける。そして、第1の制御部70は、利用者Uの選択操作に基づいて選択情報を取得し、選択された撮影用テーマに基づいて、撮影の際に使用するフレームと背景との組み合わせを決定する。その後、ステップS121に進み、撮影が行われる。この撮影により、撮影画像データが第1の制御部70のメモリに格納される。
【0035】
撮影の終了後、ステップS123に進み、第1の制御部70のメモリに格納された撮影画像データに基づいて、顔検出処理が行われる。顔検出処理とは、撮影画像から利用者Uの顔の部分を表している領域を検出するための処理すなわち利用者Uの顔の輪郭を検出する処理のことである。本実施形態においては、公知の顔検出処理を用いて、撮影画像から利用者Uの顔の輪郭が検出される。例えば、特開平8−63597号公報に開示されているように、各画素のRGB値から明度,色相,彩度,色度などの色の特徴量を求め、その特徴量に基づいて対象画素が肌色であるか否かを判定し、肌色と判定された画素から成る画像に対してエッジ抽出を行ってエッジ画像を取得し、当該エッジ画像と予め用意された複数の顔テンプレートとをマッチングすることにより利用者Uの顔の輪郭を検出することができる。また、特開2000−48184号公報に開示されているように、肌色領域の検出後、当該肌色領域の射影分布を求め、その射影分布から顔領域候補を抽出し、当該顔領域候補についての領域の縦横比や当該顔領域候補が予め用意された顔パターンと一致するか否かなどを考慮して利用者Uの顔の輪郭を検出することもできる。さらに、特許第4121026号公報に開示されているように、水平方向および垂直方向のエッジの大きさから算出される勾配ベクトルに基づく特徴量と顔の識別のために予め用意された参照データとに基づいて識別ポイントを求め、当該識別ポイントに基づいて利用者Uの顔を検出するようにしても良い。顔検出処理の終了後、ステップS125に進む。
【0036】
ステップS125では、小顔処理が行われる。小顔処理とは、最終的に出力される写真シールにおける利用者Uの顔が実際の撮影画像における利用者Uの顔よりも相対的に小さくなるように、撮影画像から当該撮影画像に含まれている利用者Uの顔の輪郭を小さくすることによって落書き対象画像を生成する処理のことである。なお、小顔処理についての詳しい説明は後述する。小顔処理の終了後、ステップS127に進む。
【0037】
ステップS127では、小顔処理によって撮影画像に基づいて生成された落書き対象画像が、撮影操作用タッチパネル20に表示される。詳しくは、ステップS127の処理が行われる都度、図4に示した撮影操作用タッチパネル20の落書き対象画像表示領域203に落書き対象画像が順次表示される。その後、ステップS129に進み、第1の制御部70は、予め定められた枚数の撮影が終了したか否かを判定する。判定の結果、当該枚数の撮影が終了していればステップS140に進み、当該枚数の撮影が終了していなければステップS121に戻る。
【0038】
ステップS130では、利用者Uによって、フレームと背景との組み合わせが選択される。具体的には、第1の制御部70は、予め用意された複数のフレームの中からいずれかのフレームを利用者Uに選択させるための画面、および予め用意された複数の背景の中からいずれかの背景を利用者Uに選択させるための画面を撮影操作用タッチパネル20に表示し、利用者Uによる選択操作を受け付ける。そして、第1の制御部70は、利用者Uの選択操作に基づいて、選択情報を取得する。その後、ステップS131に進み、撮影が行われる。この撮影により、撮影画像データが第1の制御部70のメモリに格納される。
【0039】
撮影の終了後、顔検出処理(ステップS133)および小顔処理(ステップS135)が行われ、それらの処理によって生成された落書き対象画像が撮影操作用タッチパネル20に表示される(ステップS137)。なお、ステップS133、ステップS135、およびステップS137における処理の詳細については、それぞれ上述したステップS123、ステップS125、およびステップS127と同様であるので、説明を省略する。ステップS137の終了後、ステップS139に進み、第1の制御部70は、プレイの開始から或いは撮影モードが選択されてから所定の時間が経過しているか否かの判定を行う。判定の結果、所定の時間が経過していればステップS140に進み、所定の時間が経過していなければステップS130に戻る。
【0040】
ステップS140では、小顔処理で生成された複数の落書き対象画像の中から実際の落書き対象となる画像の(利用者Uによる)選択が行われる。具体的には、第1の制御部70は、落書きおよび印刷に使用する画像を利用者Uに選択させるために、落書き対象画像の一覧を撮影操作用タッチパネル20に表示し、利用者Uによる選択操作を受け付ける。そして、第1の制御部70は、利用者Uによって選択された画像を実際の落書き対象画像として第2の制御部80に転送する。ステップS140の終了後、ステップS150に進む。ステップS150では、案内画面の表示が行われる。具体的には、第1の制御部70は、利用者Uを編集ユニット4のいずれか(4aまたは4b)に導くための画面を撮影操作用タッチパネル20に表示する。これにより、撮影処理が終了する。
【0041】
なお、本実施形態においては、上記ステップS123,S133によって顔検出手段(顔検出ステップ)が実現され、上記ステップS125,S135によって小顔処理手段(小顔処理ステップ)が実現されている。
【0042】
<3.2 編集処理>
図8は、本実施形態における編集処理の処理手順を示すフローチャートである。上述した撮影処理の終了後、第2の制御部80は、ネットワーク6を介して第1の制御部70から送られる落書き対象画像(図8のステップS140で利用者Uによって選択された画像)を取得する(ステップS200)。その後、タイマー46が所定の時間(利用者Uに落書きを許可する時間)に設定され、カウントダウンが開始される(ステップS210)。
【0043】
タイマー46のカウントダウン開始後、編集ユニット4では、利用者Uによる落書き操作(描画操作)が受け付けられる(ステップS220)。利用者Uに落書きを許可する残り時間が60秒になると、第2の制御部80は、落書き時間を延長するか否かを判定する(ステップS230)。落書き時間を延長するか否かは、次にこのユニット4aまたは4bでプレイすることになる利用者Uが撮影室2にいるか否か(撮影ユニット3で撮影処理が行われているか否か)によって判定される。その結果、落書き時間を延長する旨の判定がなされると、ステップS240に進む。一方、落書き時間を延長しない旨の判定がなされると、ステップS250に進む。ステップS240では、タイマーが所定の時間(利用者Uに更に落書きを許可する時間)に設定され、再度カウントダウンが開始される。ステップS240の終了後、ステップS250に進む。
【0044】
ステップS250では、ステップS220と同様、編集ユニット4で利用者Uによる落書き操作が受け付けられる。落書き時間が0になる(終了する)と、出力される写真の分割パターンの選択が行われる(ステップS260)。具体的には、第2の制御部80は、予め用意された複数の分割パターンの中からいずれかの分割パターンを利用者Uに選択させるための画面を編集操作用タッチパネル400に表示し、利用者Uによる選択操作を受け付ける。そして、第2の制御部80は、利用者Uの選択操作に基づいて、選択情報を取得する。ステップS260の終了後、ステップS270に進む。
【0045】
ステップS270では、第2の制御部80は、落書き終了済みの落書き対象画像である合成画像を所定のサーバに登録するか否かの判定を行う。具体的には、第2の制御部80は、合成画像を所定のサーバに登録するか否かを利用者Uに選択させるための画面を編集操作用タッチパネル400に表示し、利用者Uによる選択操作を受け付ける。そして、第2の制御部80は、利用者Uがいずれを選択したのか判定する。判定の結果、サーバに登録する旨の選択が行われていればステップS280に進み、サーバに登録しない旨の選択が行われていればステップS290に進む。
【0046】
ステップS280では、所定のサーバへの合成画像の画像データの送信が行われる。ステップS280の終了後、ステップS290に進む。ステップS290では、案内画面の表示が行われる。具体的には、第2の制御部80は、利用者Uを写真シールの取出口28に導くための画面を編集操作用タッチパネル400に表示する。これにより、編集処理が終了する。
【0047】
<3.3 小顔処理>
図9は、本実施形態における小顔処理の処理手順を示すフローチャートである。まず、第1の制御部70は、上述した顔検出処理の結果に基づき、撮影画像に何人の顔が含まれているかの情報(以下「人数データ」という。)を取得する(ステップS300)。この小顔処理においては、その人数データに基づいて、ステップS310からステップS340までの処理が人数分の回数だけ繰り返される。例えば撮影画像に3人の顔が含まれていれば、ステップS310からステップS340までの処理が3回繰り返され、当該3人の利用者Uの顔が順次に処理対象とされる。
【0048】
ステップS310では、第1の制御部70は、撮影画像中の処理対象とされている利用者Uの顔の輪郭のうち目から下の部分を当該撮影画像から抽出する(抽出されたデータを以下「抽出輪郭データ」という。)。その後、ステップS320に進み、第1の制御部70は、抽出輪郭データの座標の変換を行う。この変換は、変換後の利用者Uの顔の輪郭が変換前の利用者Uの顔の輪郭よりも小さくなるように行われる。これにより、例えば、図10(a)に示すような利用者Uの顔の輪郭が図10(b)に示すような形状に変形させられる。
【0049】
ステップS320の終了後、ステップS330に進み、第1の制御部70は、利用者Uの顔の輪郭を変形させたことに伴い、利用者Uの首の部分のデータの座標を変換する。これにより、変換後のデータに基づく利用者Uの首の長さは、変換前のデータに基づく利用者Uの首の長さよりも長くなる。ステップS330の終了後、ステップS340に進み、第1の制御部70は、人数分の処理が終了したか否かの判定を行う。判定の結果、人数分の処理が終了していれば小顔処理は終了し、人数分の処理が終了していなければステップS310に戻る。
【0050】
ところで、上記小顔処理において、撮影画像中の利用者Uの顔は例えば以下のようにして縮小される。まず、撮影画像において利用者Uの右目および左目の所定の位置を通過する直線が第1の基準線とされる。これについては、図11に示すように、右目および左目の最上部を通過する直線51を第1の基準線としても良いし、右目および左目の中心を通過する直線52を第1の基準線としても良いし、右目および左目の最下部を通過する直線53を第1の基準線としても良い。そして、利用者Uの顔の輪郭を形成する画素データのうち第1の基準線よりも当該利用者Uの顎側に位置する画素データが上述の抽出輪郭データとされる。また、図11に示すように、撮影画像において利用者Uの額の中心と顎の中心とを通過する直線55が第2の基準線とされる。そして、第1の基準線や第2の基準線を考慮して抽出輪郭データの座標の変換(移動)が行われる。
【0051】
以下、利用者Uの右目および左目の最下部を通過する直線53が第1の基準線とされたものと仮定して抽出輪郭データの座標の変換例(第1〜第3の変換例)を説明する。第1の変換例では、図12(a)に示すように、抽出輪郭データの各画素の座標が第1の基準線寄りに移動させられる。これにより、図11に示すような撮影画像は図13(a)に示すような画像に変換される。第2の変換例では、図12(b)に示すように、抽出輪郭データの各画素の座標が第1の基準線寄りかつ第2の基準線寄りに移動させられ、その際、第1の基準線寄りに移動させられる距離と第2の基準線寄りに移動させられる距離とは等しくされる。これにより、図11に示すような撮影画像は図13(b)に示すような画像に変換される。第3の変換例では、図12(c)に示すように、抽出輪郭データの各画素の座標が第1の基準線寄りかつ第2の基準線寄りに移動させられ、その際、第2の基準線寄りに移動させられる距離は第1の基準線寄りに移動させられる距離よりも長くされる。これにより、図11に示すような撮影画像は図13(c)に示すような画像に変換される。以上のように、抽出輪郭データの座標の変換の仕方は様々なものが考えられる。
【0052】
<4.効果>
以上のように、本実施形態によると、撮影によって得られた撮影画像に対して利用者Uの顔の輪郭を小さくする処理(小顔処理)が施され、それによって生成された画像が落書き対象画像とされる。そして、当該落書き対象画像に落書きが施された画像が出力される。小顔処理においては、撮影画像において利用者Uの右目および左目の所定の位置を通過する直線を第1の基準線としたときに、撮影画像において利用者Uの顔の輪郭を形成する画素データのうち第1の基準線よりも利用者Uの顎側に位置する画素データの座標が第1の基準線寄りに移動させられる。このため、本来よりも目から顎までの距離が短く写った写真を利用者Uに提供することができる。
【0053】
また、本実施形態によれば、小顔処理において、利用者Uの顔の輪郭のうち両目の所定位置よりも顎側の部分については上方(頭部寄り)かつ中心寄りに移動させられる(第2の変換例)。このため、落書き対象画像中の利用者Uの顔については、目から顎までの距離が本来の距離よりも短くなるとともに、目よりも顎側の部分が本来よりも細くなる。これにより、本来よりも目から顎までの距離が短く、かつ、目よりも顎側の部分が本来よりも細く写った写真を利用者Uに提供することができる。
【0054】
また、本実施形態によれば、小顔処理において、利用者の顔の輪郭のうち両目の所定位置よりも顎側の部分については上方(頭部寄り)かつ中心寄りに移動させられるところ、上方への移動距離よりも中心方向への移動距離の方が大きくなるように輪郭の移動が行われる(第3の変換例)。このため、落書き対象画像中の利用者Uの顔については、目から顎までの距離が本来の距離よりも短くなるとともに、目よりも顎側の部分が本来よりもかなり細くなる。これにより、本来よりも目から顎までの距離が短く、かつ、目よりも顎側の部分が本来よりもかなり細く写った写真を利用者に提供することができる。
【0055】
以上のように、小顔処理の施し方(抽出輪郭データの座標の変換の仕方)については様々なものを適用することができる(図13(a)〜(c)を参照)。このため、「本来よりも目から顎までの距離が短く写った写真」、「本来よりも目から顎までの距離が短く、かつ、目よりも顎側の部分が本来よりも細く写った写真」、「本来よりも目から顎までの距離が短く、かつ、目よりも顎側の部分が本来よりも著しく細く写った写真」など様々な変換手法により利用者Uの顔を小さくした写真を当該利用者Uに提供することができる。
【0056】
<5.変形例>
以下、上記実施形態の変形例について説明する。図14は、本変形例における撮影処理の処理手順を示すフローチャートである。本変形例においては、顔検出処理(ステップS123,ステップS133)と小顔処理(ステップS125,ステップS135)との間のタイミングで、明るさ補償処理(ステップS124,ステップS134)が行われる。ここで、明るさ補償処理とは、撮影画像において利用者Uの顔の明るさが予め定められた目標とする明るさよりも暗い場合に、小顔処理によって生成される落書き対象画像中の利用者Uの顔を明るくする処理のことである。
【0057】
図15は、本変形例における明るさ補償処理の処理手順を示すフローチャートである。明るさ補償処理の開始後、まず、第1の制御部70は、顔検出処理によって検出された利用者Uの顔の輪郭内の画素データについて、RGB色空間からLab色空間へのデータの変換を行う(ステップS400)。なお、この変換については、例えば特開2008−99148号公報に開示されているように図16に示す式を用いて行うことができる。
【0058】
次に、ステップS410に進み、第1の制御部70は、Lab色空間に変換されたデータに基づいて、利用者Uの顔の輪郭内の画素データのうち肌色のデータの抽出を行う。本変形例においては、a値およびb値が18以上かつ25以下となる画素データが肌色のデータであると判断される。次に、ステップS420に進み、第1の制御部70は、ステップS410で抽出した肌色のデータについての明るさ(L値)の平均値を算出する。
【0059】
次に、ステップS430に進み、第1の制御部70は、ステップS420で算出された平均値と予め定められた(明るさの)目標値との差を算出する。その後、ステップS440に進み、第1の制御部70は、ステップS430で算出された(平均値と目標値との)差を補償するように、画素データ中の明るさを示すデータに変換を施す。この変換については、例えば、補正前の明るさと補正後の明るさとの関係を規定した図17に示すようなトーンカーブに従って行うことができる。ステップS440が終了すると、明るさ補償処理が終了する。
【0060】
本変形例によれば、撮影画像中の利用者Uの顔の肌色部分が目標とする明るさよりも暗い場合に、落書き対象画像の生成の際に当該肌色部分の明るさが補償される。このため、利用者Uの顔色が比較的黒い場合であっても、明るさが補償された落書き対象画像に基づいて写真が生成されるので、写真中の利用者Uの顔は鮮明となる。また、撮影の際に光量が不充分であっても、落書き対象画像の生成の際に利用者Uの顔の肌色部分の明るさが補償されるので、写真中の利用者Uの顔は鮮明となる。
【0061】
また、本変形例によれば、Lab色空間に変換されたデータに基づいて、利用者Uの顔の輪郭内の画素データから肌色のデータが抽出される。Lab色空間による色の表現は人の視角に近いため、効果的に撮影画像中の利用者Uの顔の肌色部分の明るさが補償される。
【0062】
なお、本変形例においては小顔処理の前に明るさ補償処理が行われる構成としているが、本発明はこれに限定されず、小顔処理の後に明るさ補償処理が行われる構成としても良い。また、本変形例においてはRGB色空間のデータをLab色空間のデータに変換することによって得られるa値およびb値に基づいて各画素データが肌色であるか否かの判断が行われているが、本発明はこれに限定されず、他の手法により肌色の部分の抽出が行われても良い。さらに、本変形例においては肌色のデータについての明るさの平均値と目標値との差を補償するようにデータの変換が行われているが、本発明はこれに限定されず、明るさの中央値あるいはヒストグラムに基づき決定される値(例えば最頻値)と目標値との差を補償するようにデータの変換が行われても良い。
【0063】
<6.その他>
上記実施形態においては1つの撮影画像につき1つの落書き対象画像が生成されることを前提に説明しているが、本発明はこれに限定されない。1つの撮影画像につき複数の落書き対象画像(例えば、図13(a)〜(c)に示すような3つの画像)を生成し、それらの画像のうちの1つを利用者Uが選択するための手段(落書き対象画像選択手段)を備える構成にしても良い。この場合、利用者Uによる操作が介在することになるが、利用者Uの好みの応じて縮小された顔が写った写真シールを当該利用者Uに提供することができる。
【符号の説明】
【0064】
2…撮影室
3…撮影ユニット
4…編集ユニット
10…カメラ
11〜14…ストロボ
20…撮影操作用タッチパネル
51〜53…第1の基準線
55…第2の基準線
70…第1の制御部
71…撮像部(カメラ)
72…第1の表示・操作部(撮影操作用タッチパネル)
73…I/O制御部(I/O制御装置)
74…照明部(ストロボ)
75,83…第1および第2の通信部(ネットワークアダプタ)
80…第2の制御部
81,82…第2の表示・操作部(編集操作用タッチパネル)
400…編集操作用タッチパネル
U…利用者
【特許請求の範囲】
【請求項1】
所定の撮影領域における被写体である利用者を撮影する撮像手段と、前記撮像手段により得られる撮影画像に基づいて生成される落書き対象画像を含む合成画像を写真として出力する出力手段とを備える自動写真作成装置であって、
前記撮影画像における前記利用者の顔を検出する顔検出手段と、
前記落書き対象画像における前記利用者の顔の輪郭が前記撮影画像における前記利用者の顔の輪郭よりも小さくなるように、前記撮影画像に基づいて前記落書き対象画像を生成する小顔処理手段と
を備え、
前記小顔処理手段は、前記撮影画像において前記利用者の右目および左目の所定の位置を通過する直線を第1の基準線としたときに、前記撮影画像において前記利用者の顔の輪郭を形成する画素データのうち前記第1の基準線よりも前記利用者の顎側に位置する画素データの座標を前記第1の基準線寄りに移動させることによって前記落書き対象画像を生成することを特徴とする、自動写真作成装置。
【請求項2】
前記小顔処理手段は、前記撮影画像において前記利用者の額の中心と顎の中心とを通過する直線を第2の基準線としたときに、前記撮影画像において前記利用者の顔の輪郭を形成する画素データのうち前記第1の基準線よりも前記利用者の顎側に位置する画素データの座標を更に前記第2の基準線寄りに移動させることによって前記落書き対象画像を生成することを特徴とする、請求項1に記載の自動写真作成装置。
【請求項3】
前記小顔処理手段は、前記落書き対象画像を生成するために前記撮影画像において前記利用者の顔の輪郭を形成する画素データのうち前記第1の基準線よりも前記利用者の顎側に位置する画素データの座標を移動させる際に、前記第2の基準線寄りに移動させる距離を前記第1の基準線寄りに移動させる距離よりも長くすることを特徴とする、請求項2に記載の自動写真作成装置。
【請求項4】
前記小顔処理手段は、前記撮像手段により得られる1つの撮影画像につき互いに異なる複数の落書き対象画像を生成し、
前記複数の落書き対象画像の中から前記合成画像に含まれるべき落書き対象画像を外部から選択するための落書き対象画像選択手段を更に備えることを特徴とする、請求項1から3までのいずれか1項に記載の自動写真作成装置。
【請求項5】
前記顔検出手段によって検出された前記利用者の顔の輪郭に含まれる領域のうちの肌色の領域の明るさを示す値と所定の目標値との差に基づいて、前記小顔処理手段によって生成される前記落書き対象画像における前記利用者の顔の輪郭に含まれる領域のうちの肌色の領域についての明るさの補償を行う明るさ補償手段を更に備えることを特徴とする、請求項1から4までのいずれか1項に記載の自動写真作成装置。
【請求項6】
前記明るさ補償手段は、前記顔検出手段によって検出された前記利用者の顔の輪郭に含まれる領域の画素データのRGB値をLab値に変換したときのa値およびb値に基づいて、前記利用者の顔の輪郭に含まれる領域から肌色の領域を検出することを特徴とする、請求項5に記載の自動写真作成装置。
【請求項7】
撮影画像に含まれる人物の顔を検出する顔検出手段と、
前記撮影画像に含まれる人物の顔の輪郭を小さくした二次画像を前記撮影画像に基づいて生成する小顔処理手段と
を備え、
前記小顔処理手段は、前記撮影画像に含まれる人物の右目および左目の所定の位置を通過する直線を第1の基準線としたときに、前記撮影画像に含まれる人物の顔の輪郭を形成する画素データのうち前記第1の基準線よりも当該人物の顎側に位置する画素データの座標を前記第1の基準線寄りに移動させることによって前記二次画像を生成することを特徴とする、画像処理装置。
【請求項8】
撮影画像に含まれる人物の顔を検出する顔検出ステップと、
前記撮影画像に含まれる人物の顔の輪郭を小さくした二次画像を前記撮影画像に基づいて生成する小顔処理ステップと
を備え、
前記小顔処理ステップでは、前記撮影画像に含まれる人物の右目および左目の所定の位置を通過する直線を第1の基準線としたときに、前記撮影画像に含まれる人物の顔の輪郭を形成する画素データのうち前記第1の基準線よりも当該人物の顎側に位置する画素データの座標を前記第1の基準線寄りに移動させることによって前記二次画像が生成されることを特徴とする、画像処理方法。
【請求項9】
撮影画像に含まれる人物の顔を検出する顔検出ステップと、
前記撮影画像に含まれる人物の顔の輪郭を小さくした二次画像を前記撮影画像に基づいて生成する小顔処理ステップと
をコンピュータに実行させる画像処理プログラムであって、
前記小顔処理ステップでは、前記撮影画像に含まれる人物の右目および左目の所定の位置を通過する直線を第1の基準線としたときに、前記撮影画像に含まれる人物の顔の輪郭を形成する画素データのうち前記第1の基準線よりも当該人物の顎側に位置する画素データの座標を前記第1の基準線寄りに移動させることによって前記二次画像が生成されることを特徴とする、画像処理プログラム。
【請求項1】
所定の撮影領域における被写体である利用者を撮影する撮像手段と、前記撮像手段により得られる撮影画像に基づいて生成される落書き対象画像を含む合成画像を写真として出力する出力手段とを備える自動写真作成装置であって、
前記撮影画像における前記利用者の顔を検出する顔検出手段と、
前記落書き対象画像における前記利用者の顔の輪郭が前記撮影画像における前記利用者の顔の輪郭よりも小さくなるように、前記撮影画像に基づいて前記落書き対象画像を生成する小顔処理手段と
を備え、
前記小顔処理手段は、前記撮影画像において前記利用者の右目および左目の所定の位置を通過する直線を第1の基準線としたときに、前記撮影画像において前記利用者の顔の輪郭を形成する画素データのうち前記第1の基準線よりも前記利用者の顎側に位置する画素データの座標を前記第1の基準線寄りに移動させることによって前記落書き対象画像を生成することを特徴とする、自動写真作成装置。
【請求項2】
前記小顔処理手段は、前記撮影画像において前記利用者の額の中心と顎の中心とを通過する直線を第2の基準線としたときに、前記撮影画像において前記利用者の顔の輪郭を形成する画素データのうち前記第1の基準線よりも前記利用者の顎側に位置する画素データの座標を更に前記第2の基準線寄りに移動させることによって前記落書き対象画像を生成することを特徴とする、請求項1に記載の自動写真作成装置。
【請求項3】
前記小顔処理手段は、前記落書き対象画像を生成するために前記撮影画像において前記利用者の顔の輪郭を形成する画素データのうち前記第1の基準線よりも前記利用者の顎側に位置する画素データの座標を移動させる際に、前記第2の基準線寄りに移動させる距離を前記第1の基準線寄りに移動させる距離よりも長くすることを特徴とする、請求項2に記載の自動写真作成装置。
【請求項4】
前記小顔処理手段は、前記撮像手段により得られる1つの撮影画像につき互いに異なる複数の落書き対象画像を生成し、
前記複数の落書き対象画像の中から前記合成画像に含まれるべき落書き対象画像を外部から選択するための落書き対象画像選択手段を更に備えることを特徴とする、請求項1から3までのいずれか1項に記載の自動写真作成装置。
【請求項5】
前記顔検出手段によって検出された前記利用者の顔の輪郭に含まれる領域のうちの肌色の領域の明るさを示す値と所定の目標値との差に基づいて、前記小顔処理手段によって生成される前記落書き対象画像における前記利用者の顔の輪郭に含まれる領域のうちの肌色の領域についての明るさの補償を行う明るさ補償手段を更に備えることを特徴とする、請求項1から4までのいずれか1項に記載の自動写真作成装置。
【請求項6】
前記明るさ補償手段は、前記顔検出手段によって検出された前記利用者の顔の輪郭に含まれる領域の画素データのRGB値をLab値に変換したときのa値およびb値に基づいて、前記利用者の顔の輪郭に含まれる領域から肌色の領域を検出することを特徴とする、請求項5に記載の自動写真作成装置。
【請求項7】
撮影画像に含まれる人物の顔を検出する顔検出手段と、
前記撮影画像に含まれる人物の顔の輪郭を小さくした二次画像を前記撮影画像に基づいて生成する小顔処理手段と
を備え、
前記小顔処理手段は、前記撮影画像に含まれる人物の右目および左目の所定の位置を通過する直線を第1の基準線としたときに、前記撮影画像に含まれる人物の顔の輪郭を形成する画素データのうち前記第1の基準線よりも当該人物の顎側に位置する画素データの座標を前記第1の基準線寄りに移動させることによって前記二次画像を生成することを特徴とする、画像処理装置。
【請求項8】
撮影画像に含まれる人物の顔を検出する顔検出ステップと、
前記撮影画像に含まれる人物の顔の輪郭を小さくした二次画像を前記撮影画像に基づいて生成する小顔処理ステップと
を備え、
前記小顔処理ステップでは、前記撮影画像に含まれる人物の右目および左目の所定の位置を通過する直線を第1の基準線としたときに、前記撮影画像に含まれる人物の顔の輪郭を形成する画素データのうち前記第1の基準線よりも当該人物の顎側に位置する画素データの座標を前記第1の基準線寄りに移動させることによって前記二次画像が生成されることを特徴とする、画像処理方法。
【請求項9】
撮影画像に含まれる人物の顔を検出する顔検出ステップと、
前記撮影画像に含まれる人物の顔の輪郭を小さくした二次画像を前記撮影画像に基づいて生成する小顔処理ステップと
をコンピュータに実行させる画像処理プログラムであって、
前記小顔処理ステップでは、前記撮影画像に含まれる人物の右目および左目の所定の位置を通過する直線を第1の基準線としたときに、前記撮影画像に含まれる人物の顔の輪郭を形成する画素データのうち前記第1の基準線よりも当該人物の顎側に位置する画素データの座標を前記第1の基準線寄りに移動させることによって前記二次画像が生成されることを特徴とする、画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2013−31208(P2013−31208A)
【公開日】平成25年2月7日(2013.2.7)
【国際特許分類】
【出願番号】特願2012−201219(P2012−201219)
【出願日】平成24年9月13日(2012.9.13)
【分割の表示】特願2008−210240(P2008−210240)の分割
【原出願日】平成20年8月19日(2008.8.19)
【出願人】(597047392)辰巳電子工業株式会社 (77)
【Fターム(参考)】
【公開日】平成25年2月7日(2013.2.7)
【国際特許分類】
【出願日】平成24年9月13日(2012.9.13)
【分割の表示】特願2008−210240(P2008−210240)の分割
【原出願日】平成20年8月19日(2008.8.19)
【出願人】(597047392)辰巳電子工業株式会社 (77)
【Fターム(参考)】
[ Back to top ]