自動写真作成装置
【課題】撮影対象となる利用者の足部分が不自然に写らないよう画像補正を行う。
【解決手段】本自動写真作成装置は、撮影画像111に含まれる利用者U1,U2の足首位置を含むべき予め定められた線分Pbを上辺とし撮影画像の下端を下辺とする足先画像を下方向へ縮小し、利用者U1,U2の膝位置を含むべき予め定められた線分Paを上辺とし、上記線分Pbを下辺とする脚部画像を下方向へ上記縮小にあわせて拡大する画像変形処理を行う。このことにより、カメラの位置と利用者の立位姿勢によって、その足首からつま先までが不自然に長く見える状態を解消でき、利用者U1,U2の足をスタイル良く長く見せることができる。
【解決手段】本自動写真作成装置は、撮影画像111に含まれる利用者U1,U2の足首位置を含むべき予め定められた線分Pbを上辺とし撮影画像の下端を下辺とする足先画像を下方向へ縮小し、利用者U1,U2の膝位置を含むべき予め定められた線分Paを上辺とし、上記線分Pbを下辺とする脚部画像を下方向へ上記縮小にあわせて拡大する画像変形処理を行う。このことにより、カメラの位置と利用者の立位姿勢によって、その足首からつま先までが不自然に長く見える状態を解消でき、利用者U1,U2の足をスタイル良く長く見せることができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動写真作成装置に関し、さらに詳しくは、利用者をカメラで撮影し、その撮影画像に基づき生成される合成画像を写真等として出力する自動写真作成装置に関する。
【背景技術】
【0002】
従来、利用者をカメラで撮影し、その撮影画像を写真シールや写真カード等として出力する遊戯用写真作成装置が知られている。このような遊戯用写真作成装置は、遊戯性または娯楽性が高いことから、撮影画像と合成すべき画像を、利用者の嗜好に応じて、予め用意された多種多様な背景画像および前景画像(例えばフレーム画像やスタンプ画像など)から選択したり、タッチペンを用いて利用者が自由に描いたりできるように構成されているものが多い。利用者によるこのような操作は、撮影画像に対してなされるため、「落書き」と呼ばれる。
【0003】
このような遊戯用写真作成装置では、限定された撮影室内で撮影するため、カメラに広角レンズが使用されることが多い。この広角レンズは、樽型歪みと呼ばれる歪曲収差を生じることが知られており、このような歪曲収差により生じる撮影画像の変形を補正する手法には従来より様々な工夫がなされている。
【0004】
例えば、特開2001−311993号公報には、カメラによりズームイン又はズームアウトを行った後に、撮影された使用者の画像をソフト的に歪補正するフォトブースの構成が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2001−311993号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、遊戯用写真作成装置における撮影室内で人物を撮影する際、人物の足部分が不自然に写ることがある。すなわち典型的には、遊戯用写真作成装置に設けられるカメラの位置は、通常立っている人物の前方近傍であって、当該人物の胸またはそれ以上の高さであり、その位置から人物を撮影すると、人物の足が不自然に短く写ることがある。
【0007】
また、立っている人物の足首からつま先までの部分は、地面に対してほぼ平行となっているのが通常である。そのため、この部分と、地面に対してほぼ垂直となっている足首から上の部分とで写り方が異なり、結果的に不自然に写ることがある。
【0008】
このような不自然な写り方は、遊戯用写真作成装置において撮影された画像に対して、上記樽型歪みや幾何歪みなどを補正する周知の画像処理を行ったとしても、根本的な改善は望めない。
【0009】
そこで、本発明では、撮影対象となる利用者の足部分が不自然に写らないよう画像補正を行う自動写真作成装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
第1の発明は、被写体である利用者を含む像を撮影する撮影手段と、前記撮影手段により得られる撮影画像を含む合成画像を写真として出力する出力手段とを備える自動写真作成装置であって、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成手段を備えることを特徴とする。
【0011】
第2の発明は、第1の発明において、
前記画像合成手段は、前記利用者の足首近傍から所定の上限位置までの像を含むべき脚部画像を前記方向に拡大し、縮小された足先画像と拡大された脚部画像とが接するように前記合成画像を生成することを特徴とする。
【0012】
第3の発明は、第2の発明において、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記撮影画像において足首が写るべき予め定められた位置を含む線分を下辺とし、前記撮影画像において膝が写るべき予め定められた上限位置を含む線分を上辺とする矩形領域を前記脚部画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする。
【0013】
第4の発明は、第2または第3の発明において、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記撮影画像において足首が写るべき予め定められた位置を含む線分を上辺とし、前記撮影画像の下端を含む線分または前記撮影画像において足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域を前記足先画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする。
【0014】
第5の発明は、第2から第4までのいずれか1つの発明において、
前記画像合成手段は、前記撮影画像における縮小前の前記足先画像の下端位置と前記縮小された足先画像の下端位置とを一致させ、かつ前記撮影画像における拡大前の前記脚部画像の上端位置と前記拡大された脚部画像の上端位置とを一致させるよう、前記足先画像を縮小し前記脚部画像を拡大することを特徴とする。
【0015】
第6の発明は、第2の発明において、
前記脚部画像に前記利用者の顔の像が含まれるか否かを判定する顔検出手段をさらに備え、
前記画像合成手段は、前記顔検出手段によって前記顔の像が含まれないと判定される場合、前記脚部画像を前記方向に第1の拡大率で拡大し、前記顔検出手段によって前記顔の像が含まれると判定される場合、前記脚部画像を拡大しないか、または前記第1の拡大率よりも小さい第2の拡大率で前記脚部画像を前記方向に拡大することを特徴とする。
【0016】
第7の発明は、第2の発明において、
前記撮影手段による撮影対象であって、所定の色を付された被撮影面を有する背景提示手段と、
前記撮影画像に含まれる前記被撮影面の像が占める領域の色に対応するクロマキーマスクを作成するマスク作成手段と、
前記マスク作成手段により作成されたクロマキーマスクを使用することによって前記利用者の像のみを含む利用者画像を抽出する利用者画像抽出手段と
をさらに備え、
前記画像合成手段は、前記利用者画像を含む前記合成画像と、所定の背景付加画像とを合成するクロマキー処理を行うことにより、新たな合成画像を生成することを特徴とする。
【0017】
第8の発明は、第7の発明において、
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、前記利用者の足首の位置を検出する足首検出手段をさらに備え、
前記画像合成手段は、前記足首検出手段により検出される足首の位置に基づき、前記足先画像および前記脚部画像を定めることを特徴とする。
【0018】
第9の発明は、第8の発明において、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記足首検出手段により検出される前記利用者の少なくとも1つの足首の位置に基づき算出される位置を含む線分を上辺とし、前記撮影画像の下端を含む線分または前記撮影画像において足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域または当該矩形領域内に含まれる前記利用者画像部分を前記足先画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする。
【0019】
第10の発明は、第8または第9の発明において、
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、前記利用者の膝の位置を検出する膝検出手段をさらに備え、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記膝検出手段により検出される前記利用者の少なくとも1つの膝の位置に基づき算出される位置を含む線分を上辺とし、前記足首検出手段により検出される前記利用者の少なくとも1つの足首の位置に基づき算出される位置を含む線分を下辺とする矩形領域または当該矩形領域内に含まれる前記利用者画像部分を前記脚部画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする。
【0020】
第11の発明は、第8の発明において、
前記足首検出手段は、前記利用者画像に基づき、一人以上の前記利用者の各足首の位置をそれぞれ検出し、
前記画像合成手段は、前記足首検出手段により検出される各足首の位置に基づき、前記各足首の像および当該各足首に対応する足先の像を含む前記利用者画像部分を前記各足首に対応する足先画像と定めるとともに、前記各足首および当該各足首に対応する前記上限位置の像を含む前記利用者画像部分を前記各足首に対応する脚部画像と定め、前記各足首に対応する縮小された足先画像と拡大された脚部画像とが前記各足首でそれぞれ接するように前記合成画像を生成することを特徴とする。
【0021】
第12の発明は、第11の発明において、
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、一人以上の前記利用者の各膝の位置をそれぞれ検出する膝検出手段をさらに備え、
前記画像合成手段は、前記膝検出手段により検出される前記各膝の位置を前記各足首に対応する前記上限位置として前記脚部画像を定めることを特徴とする。
【0022】
第13の発明は、被写体である利用者を含む像を撮影する撮影ステップと、前記撮影ステップにより得られる撮影画像を含む合成画像を写真として出力する出力ステップとを備える自動写真作成方法であって、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成ステップを備えることを特徴とする。
【0023】
第14の発明は、コンピュータである自動写真作成装置に、
被写体である利用者を含む像を撮影する撮影ステップと、
前記撮影ステップにより得られる撮影画像を含む合成画像を写真として出力する出力ステップと、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成ステップとを実行させることを特徴とする、プログラムである。
【発明の効果】
【0024】
上記第1の発明によれば、利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように合成画像を生成するので、撮影対象となる利用者の足部分が不自然に写らないように(不自然に長く見えないように)することができる。
【0025】
上記第2の発明によれば、足先画像を所定方向に縮小するとともに、利用者の足首近傍から所定の上限位置までの像を含むべき脚部画像を方向に拡大し、縮小された足先画像と拡大された脚部画像とが接するように合成画像を生成するので、利用者の像の連続性を保ちつつ、撮影対象となる利用者の足部分が不自然に写らないように(不自然に長く見えないように)することができ、利用者の足をスタイル良く長く見せることができる。
【0026】
上記第3の発明によれば、撮影画像において足首が写るべき予め定められた位置を含む線分を下辺とし、膝が写るべき予め定められた上限位置を含む線分を上辺とする矩形領域を脚部画像と定め、足先画像を下方向に縮小するとともに脚部画像を下方向に拡大するので、予め定められた位置を使用する簡易な構成により、利用者の足部分が不自然に写らないようにすることができる。特に限定された撮影室内での利用者の位置(例えば足首等の高さ)はほぼ一定であると言えるので、このような簡易な構成が可能となる。
【0027】
上記第4の発明によれば、足首が写るべき予め定められた位置を含む線分を上辺とし、撮影画像の下端を含む線分または足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域を足先画像と定め、足先画像を下方向に縮小するとともに脚部画像を下方向に拡大するので、予め定められた位置を使用する簡易な構成により、利用者の足部分が不自然に写らないようにすることができる。また同様に、特に限定された撮影室内での利用者の位置(例えば足首等の高さ)はほぼ一定であると言えるので、このような簡易な構成が可能となる。
【0028】
上記第5の発明によれば、縮小前の足先画像の下端位置と縮小された足先画像の下端位置とを一致させ、かつ拡大前の脚部画像の上端位置と拡大された脚部画像の上端位置とを一致させるので、利用者の像の連続性を簡単に保つことがえき、利用者の足部分が不自然に写らないようにすることができる。
【0029】
上記第6の発明によれば、顔検出手段によって脚部画像に利用者の顔の像が含まれると判定される場合、脚部画像を拡大しないか、または第1の拡大率よりも小さい第2の拡大率で脚部画像を拡大するので、撮影対象となる利用者の足部分が不自然に写らないように(不自然に長く見えないように)しつつ、撮影画像に写る利用者の顔が変形するような違和感を解消または低減することができる。
【0030】
上記第7の発明によれば、被撮影面の像が占める領域の色に対応するクロマキーマスクを作成し、作成されたクロマキーマスクを使用することによって利用者の像のみを含む利用者画像を抽出し、利用者画像を含む合成画像と、所定の背景付加画像とを合成するので、遊戯性の高い合成画像が得られるとともに、抽出された利用者画像を使用することにより容易に足先画像を縮小し脚部画像を拡大することができる。
【0031】
上記第8の発明によれば、利用者画像に基づき、利用者の足首の位置を検出し、検出される足首の位置に基づき、足先画像および脚部画像を定めるので、利用者の実際の足首の位置に基づき、正確な範囲の足先画像を得ることができる。よって、より正確に利用者の足部分が不自然に写らないようにすることができる。
【0032】
上記第9の発明によれば、利用者画像に基づき検出した利用者の少なくとも1つの足首の位置に基づき定められる矩形領域または当該矩形領域内に含まれる利用者画像部分を足先画像と定めるので、予め定められた足首の位置に基づく場合よりも正確な範囲の足先画像を得ることができる。よって、より正確に利用者の足部分が不自然に写らないようにすることができる。
【0033】
上記第10の発明によれば、利用者画像に基づき検出した利用者の少なくとも1つの膝の位置に基づき定められる矩形領域または当該矩形領域内に含まれる利用者画像部分を脚部画像と定めるので、予め定められた膝の位置に基づく場合よりも正確な範囲の脚部画像を得ることができる。よって、より正確に利用者の足部分が不自然に写らないようにすることができる。
【0034】
上記第11の発明によれば、利用者画像に基づき一人以上の利用者の各足首の位置をそれぞれ検出し、各足首の位置に基づき足先画像を定めるとともに、各足首に対応する脚部画像を定めるので、各利用者の各足の位置が異なっている場合であっても、それぞれの足首位置に応じた足先画像を得ることができ、それぞれの足先画像について適宜に縮小することができる。よって、漏れなく、より確実に利用者の足部分が不自然に写らないようにすることができる。
【0035】
上記第12の発明によれば、利用者画像に基づき一人以上の利用者の各膝の位置をそれぞれ検出し、各膝の位置に基づき脚部画像を定めるので、各利用者の各足の位置が異なっている場合であっても、それぞれの足首位置に応じた足先画像およびそれぞれの膝位置に応じた脚部画像を得ることができる。よって、漏れなく、より確実かつ正確に利用者の足部分が不自然に写らないようにすることができる。
【0036】
上記第13の発明によれば、装置発明である上記第1の発明の効果と同様の効果を自動写真作成方法において奏することができる。
【0037】
上記第14の発明によれば、装置発明である上記第1の発明の効果と同様の効果をプログラムにおいて奏することができる。
【図面の簡単な説明】
【0038】
【図1】本発明の一実施形態に係る自動写真作成装置である遊戯用写真作成装置の外観を示す図である。
【図2】上記実施形態における撮影ユニットの正面図である。
【図3】上記実施形態における編集ユニットの正面図である。
【図4】上記実施形態における出力ユニットの正面図である。
【図5】上記実施形態における撮影操作用タッチパネルの表示構成を示す模式図である。
【図6】上記実施形態に係る遊戯用写真作成装置の要部を機能面から見た構成を示すブロック図である。
【図7】上記実施形態における撮影処理の手順を示すフローチャートである。
【図8】上記実施形態における落書き編集処理の手順を示すフローチャートである。
【図9】上記実施形態において、カメラ位置近傍から見た利用者U1,U2と背景との位置関係を簡略に示す図である。
【図10】上記実施形態において、撮影室側面方向から見た利用者Uと背景との位置関係を簡略に示す図であ
【図11】上記実施形態において、撮影画像における予め定められた足首位置および膝位置を示す図である。
【図12】上記実施形態において、脚バランス処理の第1の態様による処理の結果得られる画像を示す図である。
【図13】上記実施形態における撮影画像における検出された各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を示す図である。
【図14】上記実施形態における、脚バランス処理の第3の態様における処理後の各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を含む利用者画像を示す図である。
【図15】上記実施形態において、図13に示す例とは異なる撮影画像における検出された各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を示す図である。
【発明を実施するための形態】
【0039】
以下、添付図面を参照しつつ本発明の一実施形態について説明する。
<1.全体構成>
図1は、本発明の一実施形態に係る自動写真作成装置である遊戯用写真作成装置の外観を示す図である。より詳細には、図1(a)は、この遊戯用写真作成装置を横から見た外観側面図であり、図1(b)は、上から見た外観平面図である。この遊戯用写真作成装置は、利用者が入る撮影室2と、利用者を撮影し背景画像および前景画像の選択を受け付ける撮影ユニット3と、利用者による落書き(描画操作)を含む編集操作を受け付け撮影画像に合成した合成画像を生成する編集ユニット4と、合成画像を出力する出力ユニット5とを備えている。図2は、撮影ユニット3の正面図であり、図3は、編集ユニット4の正面図であり、図4は、出力ユニット5の正面図である。以下、図1から図4を参照しつつ、本実施形態に係る遊戯用写真作成装置の全体構成について説明する。
【0040】
撮影室2は、略直方体形状であって、撮影ユニット3は、内部に入る利用者から見て前の面である撮影室2の前面に沿って配置されている。なお、撮影室2の左右両側面の一部には、それぞれ利用者が出入りするための開口部と、当該開口部の一部または全部を覆う遮光カーテンとが設けられている。また、撮影室2の内部に入る利用者から見て後ろの面である背面にはクロマキー合成処理のための単一の色(ここでは青色または緑色)が付されている。なお、これらの色は床面等にも付されているものとする。
【0041】
撮影ユニット3は、利用者を撮影する撮像手段としてのカメラ10と、当該カメラ10の上下左右の位置に配置され閃光を発するストロボ11、12、13L、13R、14と、当該カメラ10の下方に配置され利用者からの操作の受け付けや撮影画像の表示等を行う撮影操作用タッチパネル20とを備えている。
【0042】
カメラ10は、典型的には、CCD(電荷結合素子)を利用してデジタル画像信号を生成するデジタルカメラであって、利用者を撮影し、その撮影画像を表す画像信号を出力する。なお、ここでのカメラ10は広角レンズを使用しており、撮影画像には樽型歪みが生じているものとする。ストロボ11〜14は、撮影のための充分な光を得るために利用者に向かって閃光を発する。撮影操作用タッチパネル20は、撮影の際に利用者による各種操作を受け付けるための操作画面を提供するとともに、上記画像信号に基づく画像をリアルタイムで表示するように構成されている。
【0043】
図5は、撮影操作用タッチパネル20の表示構成を示す模式図である。図5に示すように、撮影操作用タッチパネル20には、リアルタイムで撮影画像を表示するためのリアルタイムプレビュー領域201と、ポーズの見本を表示するためのポーズ見本表示領域202と、撮影によって得られる落書き対象画像を表示するための落書き対象画像表示領域203とが含まれている。
【0044】
また撮影ユニット3は、コンピュータを中心に構成され各部の制御等を行う制御装置、I/O制御装置、および編集ユニット4と通信を行うためのネットワークアダプタ等を内蔵している。また、撮影ユニット3は、前面下方にコイン投入口26を備えている。
【0045】
編集ユニット4は、撮影ユニット3と同様のコンピュータを中心に構成され各部の制御等を行う制御装置、および撮影ユニット3等と通信を行うためのネットワークアダプタ等を内蔵している。また、編集ユニット4は、図1(b)に示すように、2組の利用者がプレイ可能なように2つのユニット4a、4bに分かれている。そのうちの一方のユニット4aには、落書き領域や落書きのためのメニュー、ツール等を表示する領域を含みGUI(Graphical User Interface)表示手段として機能する編集操作用タッチパネル400と、当該編集操作用タッチパネル400に対する操作に使用されるポインティングデバイスとしての4つのタッチペン49L1、49L2、49R1、49R2とが設けられている。なお、他方のユニット4bについても同様の構成となっている。ここで図1(a)において手前に見えるユニット4aを「落書きブースA」と呼び、その反対側(図では裏側)のユニット4bを「落書きブースB」と呼ぶ。
【0046】
本実施形態における編集操作用タッチパネル400は、各ユニット4a、4bにおいて典型的にはそれぞれ2人の利用者が同時に落書きを行えるような表示構成となっている。なお、本説明においては、左側の利用者が使用する構成要素には「L」を含む参照符号を付し、右側の利用者が使用する構成要素には「R」を含む参照符号を付している。
【0047】
また、本実施形態における編集操作用タッチパネル400に表示される表示画面は、典型的には2人の利用者の操作に適するよう、左右に2分割されて表示されている。以下では、この表示画面のうちの左側の操作画面を左操作画面といい、右側の操作画面を右操作画面という。
【0048】
さらに、編集操作用タッチパネル400は、4つのタッチペン49L1、49L2、49R1、49R2による操作位置を同時に検出可能に構成されており、かつ、検出される各操作位置が、49L1、49L2、49R1、49R2のうちのいずれの操作に対応するのかも検出可能となっている。例えば、編集操作用タッチパネル400として静電容量方式のタッチパネルを使用した場合には、このような複数の操作位置の同時検出と操作されたタッチペンの識別とが可能である。
【0049】
なお、左操作画面用の2つのタッチペン(以下「左画面用ペン」という)49L1、49L2、または右操作画面用の2つのタッチペン(以下「右画面用ペン」という)49R1、49R2は、それぞれが同時に使用(入力操作)できるが、これをできないように、すなわち先にアクティブとなり(先に操作入力が受け付けられ)継続的にアクティブとなっているタッチペンのみが操作入力可能となるように制御してもよい。このように制御すれば描画レスポンスを高速に保つことができる。
【0050】
また、上記タッチペンの数には特に限定がなく、またタッチペンに代えて、同時に座標検出可能な周知のポインティングデバイス(例えばトラックボールやカーソルキー、カメラ画像に基づく位置判定など)を入力操作手段として使用してもよい。
【0051】
出力ユニット5は、図4に示すように、典型的には携帯電話端末に内蔵される赤外線通信ポートにより、例えばデコメール(登録商標)画像等の素材画像や撮影画像に落書きをした合成画像などを利用者の携帯電話端末に転送する際に利用者によって操作される出力操作用タッチパネル30と、出力操作用タッチパネル30の下方に配置され上記素材画像等を赤外線信号として携帯電話端末に向けて直接送信するための赤外線通信ポート(非接触通信ポート)31と、上記通信の際に必要な操作方法や効果音などを音声によって利用者に知らせるスピーカ32とを備えている。また、出力ユニット5は、前面下方に、編集ユニット4で編集操作が行われた合成画像を印刷した写真シールや写真カード等を取り出す取出口33を備えている。
【0052】
出力操作用タッチパネル30は、利用者が合成画像を印刷された写真シールを携帯電話端末でも見たい場合に、上記赤外線通信機能(またはその他の近接無線通信機能)を備えた携帯電話端末に送信するのに必要な各種操作を受け付けるための操作画面を提供するように構成されていている。
【0053】
このような出力ユニット5も、撮影ユニット3と同様のコンピュータを中心に構成され各部の制御等を行う制御装置および編集ユニット4等と通信を行うためのネットワークアダプタ等を内蔵しているほか、合成画像を写真シール等として印刷するネットワークプリンタ35を備えている。
【0054】
以上のような構成において、利用者は、撮影室2において撮影を行った後、編集ユニット4の落書きブースAまたは落書きブースBの編集操作用タッチパネル400を使用することにより、撮影画像に基づいて生成された落書き対象画像に対して落書きを行う。そして、利用者は、落書きによって生成された合成画像をネットワークプリンタによって印刷したり、赤外線通信機能を有する携帯電話端末に画像を送信し、携帯電話端末で受信した画像を端末画面に表示させたりする。
【0055】
<2.機能的構成>
図6は、本実施形態に係る遊戯用写真作成装置の要部を機能面から見た構成を示すブロック図である。図6に示されるようにこの遊戯用写真作成装置は、機能的には、主として利用者を撮影する処理(撮影処理)を行うための撮影処理部7と、主として落書き対象画像に対する利用者の落書き操作に応じて当該落書き対象画像の編集処理を行うための編集処理部8と、編集処理が行われた落書き対象画像を写真シール等として出力したり、赤外線通信を利用して携帯電話端末に出力したりする処理(出力処理)を行う出力処理部9とから構成されている。
【0056】
撮影処理部7は、第1の制御部70と、撮像部71と、第1の表示・操作部72と、I/O制御部73と、照明部74と、第1の通信部75とによって構成されている。編集処理部8は、第2の制御部80と、第2の表示・操作部81、82と、第2の通信部83とによって構成されている。出力処理部9は、第3の制御部90と、第3の表示・操作部91と、印刷出力部92と、音声出力部93と、非接触通信部94と、第3の通信部95とによって構成されている。ネットワークアダプタである第1、第2および第3の通信部75、83、95は、LAN(Local Area Network)であるネットワーク6を介してそれぞれ相互に通信可能となっている。
【0057】
撮像部71は、CCD等の撮像素子を用いて構成されるカメラ10に相当し、リアルタイムに画像を取り込んで当該画像(撮影画像)を表す画像信号を出力する。この画像信号は第1の制御部70に入力されて、その内部のメモリに撮影画像データとして一時的に記憶される。また、この撮影画像データは撮影画像信号として第1の制御部70から第1の表示・操作部72に供給され、当該撮影画像信号に基づく撮影画像がリアルタイムに表示される。
【0058】
第1の表示・操作部72は、撮影操作用タッチパネル20に相当し、撮影画像に合成されるべき背景画像および前景画像を選択する操作や、出力されるべき写真のレイアウトを決定するための利用者の操作やシャッター操作等を受け付ける。これらの操作を示す信号は、操作信号として第1の制御部70に入力される。ここで、利用者を撮影するための(選択された撮影メニューに対応する)所定の処理が開始されると、第1の表示・操作部72に利用者のための案内が表示され、その後の第1の制御部70からの指示に基づき、数秒程度の予め決められた時間の経過後にカメラ10の撮影方向にストロボ11〜14から閃光が放たれる。そのとき、利用者の撮影画像を表す信号として撮像部71から出力される画像信号が第1の制御部70に入力され、第1の制御部70内のメモリまたは補助記憶装置としてのハードディスク装置等に撮影画像データとして格納される。
【0059】
照明部74は、カメラ10の上下左右の位置に配置されたストロボ11、12、13L、13R、14に相当し、第1の制御部70からの指示に基づきI/O制御部73によって点灯/消灯および調光が制御される。I/O制御部73は、撮影ユニット3に内蔵されるI/O制御装置に相当し、第1の制御部70からの指示に基づき、照明部74を制御する。また、後述のコイン検出部(不図示)からの検出信号等の入力信号を第1の制御部70へ転送する。第1の通信部75は、撮影ユニット3に内蔵されるネットワークアダプタに相当し、ネットワーク6を介したデータ送受信の際のインタフェースとして機能する。
【0060】
第1の制御部70は、撮影ユニット3に内蔵され、CPU、メモリ、フレームバッファ、タイマー、補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、上述のようにして入力される操作信号等に基づき各部を制御するために、上述のように各部に指示を出す。また撮影された画像に基づいて落書き対象画像を生成する。生成された落書き対象画像はフレームバッファに書き込まれることにより、第1の表示・操作部72に表示される。さらに、第1の制御部70は、落書き対象画像に所定の背景画像や前景画像を描画した画像である合成画像を生成する。この落書き対象画像には、詳しくは後述するようにマスクの作成に使用されるキー色となる背景色が付されており、周知のクロマキー合成処理の手法に基づき、利用者の像のみを含む撮影画像部分を抽出し、当該撮影画像部分が背景画像中に嵌め込まれるように合成する。なお、撮影画像または利用者の像のみを含む撮影画像部分に対して後述する各種補正処理がなされる。このように生成された合成画像はフレームバッファに書き込まれることにより第1の表示・操作部72に表示される。こうして撮影および合成画像の生成が終了すると、生成された合成画像は利用者の入力操作に応じて適宜選択された後、第1の通信部75を介して、編集ユニット4に対応する第2の制御部80へ送られる。
【0061】
上記の構成要素の他、撮影ユニット3におけるコイン投入口26に投入されたコインを検出するためのコイン検出部(不図示)が更に撮影ユニット3に設けられており、第1の制御部70は、コイン検出部での検出結果に基づき、利用者に所定時間だけ撮影や背景画像および前景画像の選択や落書き等、本遊戯用写真作成装置によるプレイを許容するように各部を制御する。このコイン検出部による検出動作やその検出結果に基づく第1の制御部70による制御動作は、従来の遊戯用写真作成装置と同様であって周知であるので、その詳しい説明を省略する。
【0062】
第2の制御部80は、編集ユニット4に内蔵され、CPU、メモリ、フレームバッファ、および補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、落書き編集処理に関する全体の制御を行う。また、第2の制御部80は、第1の制御部70から送られてきた撮影画像に対する落書き処理を行うための操作信号に基づき、落書き対象画像に所定画像を描画した画像である合成画像を生成する。生成された合成画像は利用者の指示に応じて対応する第2の表示・操作部81、82に表示される。上記のような合成画像の生成が終了すると、当該合成画像は出力ユニット5に送られる。なお、印刷出力部92が別の合成画像を出力中である場合には、その旨が表示されるとともに終了を待って送られる。
【0063】
第2の表示・操作部81、82は、主として落書きのためのGUI表示手段として機能する編集操作用タッチパネル400に相当し、タッチペンを用いた利用者の操作を受け付ける。第2の通信部83は、編集ユニット4に内蔵されるネットワークアダプタに相当し、ネットワーク6を介したデータ送受信の際のインタフェースとして機能する。
【0064】
第3の制御部90は、出力ユニット5に内蔵され、CPU、メモリ、フレームバッファ、タイマー、および補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、出力処理に関する全体の制御を行う。第3の制御部90は、第2の制御部80から送られてきた合成画像を合成画像データとしてメモリに格納する。印刷出力部92は出力ユニットに内蔵されるネットワークプリンタ35に相当し、メモリに格納された複数の合成画像データを(適宜にレイアウトした)写真シール(または写真カード)として印刷する。印刷された写真シール等は、出力ユニット5の正面下方に設けられた取出口33から取り出される。
【0065】
また、第3の制御部90は、編集ユニット4から送られてきた合成画像に基づいて写真シール等の印刷処理を開始すると同時に、利用者が作成した合成画像のデータを携帯電話端末にダウンロードできるように、利用者の入力操作を受け付けるための操作画面を第3の表示・操作部91に表示する。この第3の表示・操作部91は出力操作用タッチパネル30に相当し、受け付けた入力操作を操作信号として第3の制御部90に入力する入力手段として機能する。
【0066】
第3の制御部90は、入力された操作信号に基づき、利用者の携帯電話端末に画像データを送信するように非接触通信部94に対して指示を出す。非接触通信部94は赤外線通信ポート31に相当する。上記画像データは、非接触通信部94から非接触通信方式の赤外線信号として利用者の携帯電話端末に直接送信される。第3の通信部95は、出力ユニット5に内蔵されるネットワークアダプタに相当し、ネットワーク6を介したデータ送受信の際のインタフェースとして機能する。
【0067】
ここで、第3の制御部90は、上記入力操作が行われていない間、補助記憶装置に予め記憶されているデモ画像(デモンストレーション用の画像)やミニゲームの画像等をフレームバッファに書き込むことにより第3の表示・操作部91に表示する。また音声出力部93は、スピーカ32に相当する。音声出力部93は、第3の表示・操作部91に表示される操作画面と連動して入力操作方法を利用者に説明し、また第3の表示・操作部91にデモ画像やミニゲームが表示されているときに楽曲や効果音等を流す。
【0068】
ここで、各制御装置において実行される上記所定プログラムは、例えば、そのプログラムを記録した記録媒体であるDVD−ROMによって提供される。すなわち、上記所定プログラムの記録媒体としてのDVD−ROMが補助記憶装置として制御装置内に内蔵されたDVD−ROM駆動装置に装着され、そのDVD−ROMから所定プログラムが読み出されて補助記憶装置としてのハードディスク装置にインストールされる。また、上記所定プログラムは、DVD−ROM以外の記録媒体(CD−ROM等)や通信回線を介して提供されてもよい。そして、本遊戯用写真作成装置の起動のための操作がなされると、ハードディスク装置にインストールされた所定プログラムは、制御装置内のメモリに転送されてそこに一時的に格納され、制御装置内のCPUによって実行される。これにより、制御装置による上記各部の制御処理が実現される。
【0069】
なお、上記第1から第3までの制御部70,80,90は、異なるユニットに内蔵される異なるコンピュータを含む装置に相当するものとして説明したが、このような構成は一例であって、上記第1から第3までの制御部70,80,90は、2つ以下または4つ以上の装置により実現されてもよい。この場合には各装置において、それぞれ実現されるべき機能に応じたプログラムが実行される。また、撮影ユニット3、編集ユニット4、および出力ユニット5についても、2つ以下または4つ以上のユニットにより構成されてもよい。
【0070】
<3.遊戯用写真作成装置における処理手順>
上述したように、この遊戯用写真作成装置には、撮影ユニット3と編集ユニット4と出力ユニット5とが含まれている。撮影ユニット3では撮影処理が行われ、編集ユニット4では後述する落書き編集処理が行われ、出力ユニット5では出力処理が行われる。なお、或る利用者が撮影ユニット3でプレイしている時に他の利用者は編集ユニット4でプレイし、さらに他の利用者は出力ユニット5で合成画像を出力することができるように構成されている。すなわち、この遊戯用写真作成装置は、撮影処理と落書き編集処理と出力処理とを並行して行うことができる。以下に、撮影処理、落書き編集処理、および出力処理の手順の概要について説明する。
【0071】
<3.1 撮影処理>
図7は、本実施形態における撮影処理の手順を示すフローチャートである。この遊戯用写真作成装置が使用されていない時(プレイが行われていない時)には、撮影操作用タッチパネル20にはデモ画像が表示されている。デモ画像の表示中に利用者がコイン投入口26にコインを投入すると、プレイが開始される(ステップS100)。
【0072】
プレイが開始されると、第1の制御部70は、利用者による撮影モードの選択を受け付ける(ステップS110)。ステップS110では、例えば画質(具体的にはコントラストが高いくっきりとした画質、柔らかなふんわりとした画質、または透明感のあるクールな画質のうちのいずれか)を選択し、明るさを選択し、自動で撮影するか手動で撮影するかを選択し、自動で撮影する場合には撮影用テーマの選択が行われる。この場合、第1の制御部70は、予め用意された複数の撮影用テーマの中から1つ以上の撮影用テーマを利用者に選択させるための画面を撮影操作用タッチパネル20に表示し、利用者による選択操作を受け付ける。そして、第1の制御部70は、利用者の選択操作に基づいて選択情報を取得し、選択された撮影用テーマに基づいて、撮影の際に使用するフレームと背景との組み合わせを決定する。また手動で撮影する場合は、上記フレームと背景とを利用者が自由に決定する。その後、処理はステップS120に進み、撮影が行われる。この撮影により、撮影画像データが第1の制御部70のメモリに格納される。
【0073】
ステップS130では、撮影画像に基づいて生成された落書き対象画像(撮影画像を含む画像)が、撮影操作用タッチパネル20に表示される。詳しくは、ステップS130の処理が行われる都度、図5に示した撮影操作用タッチパネル20の落書き対象画像表示領域203に落書き対象画像が順次追加表示される。その後、処理はステップS140に進み、第1の制御部70は、予め定められた枚数の撮影が終了したか否かを判定する。判定の結果、当該枚数の撮影が終了していれば処理はステップS150に進み、当該枚数の撮影が終了していなければステップS120に戻る。なお、実際には撮影のための制限時間(例えば3分)が設けられる。
【0074】
ステップS150では、複数の落書き対象画像の中から実際の落書き対象となる画像の(利用者による)選択が行われる。具体的には、第1の制御部70は、落書きおよび印刷に使用する画像を利用者に選択させるために、落書き対象画像の一覧を撮影操作用タッチパネル20に表示し、利用者による選択操作を受け付ける。ステップS150の終了後、処理はステップS160に進む。
【0075】
ステップS160では、選択された落書き対象となる画像に対して周知の歪曲収差、典型的には広角レンズを使用するカメラ10によって生じる樽型歪みを解消するための補正処理が行われる。この補正処理は、例えば方形の画像を糸巻き型に変形するような縮小変形処理を行うものである。このような補正処理は周知であるので詳しい説明は省略する。また、ここで幾何学歪み、例えば立位姿勢の利用者に対してカメラの撮影位置が比較的高いことから生じる(足が短く見えるような)歪みを補正する処理を行ってもよい。ステップS160の終了後、処理はステップS170に進む。
【0076】
ステップS170では、歪曲収差が補正された落書き対象となる画像に対してクロマキー合成処理が行われる。このクロマキー合成処理は、一般的にはクロマキーマスクを作成する処理と、背景画像を合成する処理とを含む。クロマキーマスクとは、例えば周知の合成マスク(アルファチャネル)であって、対象となる撮影画像のうちのキー色(ここでは青色または緑色)を有する領域、すなわち撮影室2の背面の像が占める領域を透明とし、それ以外の領域を非透明とするためのデータである。この合成マスクは一般的には対象となる画像の画素毎に0(完全透明)または255(完全非透明)の透過度を示す値αが設定される。このようなクロマキーマスクを使用することにより、撮影画像の非透明領域(α=255)に相当する背景画像の領域は隠され(マスクされ)、その透明領域(α=0)に相当する背景画像の領域は見えるように合成される。そのため、あたかも対象となる撮影画像の非透明領域の部分が切り取られ、切り取られた当該部分が上記背景画像に対して貼り付けられたような合成画像が得られる。このようなクロマキー処理によって遊戯性の高い写真作成を行うことができる。なお、この背景画像は撮影中に利用者によって適宜選択されるが、後述する落書き処理中に利用者の選択操作に応じて選ばれてもよい。
【0077】
ステップS180では、クロマキー合成処理がなされた落書き対象画像に対して、撮影対象となる利用者の足部分が不自然に写らないよう、本実施形態の特徴的な処理である脚バランス補正処理が行われる。なお、この上記落書き対象画像に変えて、撮影画像そのものに対して脚バランス補正処理を行ってもよいし、クロマキー合成前の上記透明領域に対応する利用者の像のみを含む撮影画像部分(以下「利用者画像」という)に対して脚バランス補正処理を行ってもよい。この脚バランス処理は、複数の処理態様が考えられ、それらの処理内容は詳しく後述する。そして、第1の制御部70は、以上のように補正された画像を実際の落書き対象画像として第2の制御部80に送る。ステップS180の終了後、処理はステップS190に進む。
【0078】
ステップS190では、案内画面の表示が行われる。具体的には、第1の制御部70は、利用者を編集ユニット4のいずれか(4aまたは4b)に導くための画面を撮影操作用タッチパネル20に表示する。これにより、撮影処理が終了する。
【0079】
<3.2 落書き編集処理>
図8は、本実施形態における落書き編集処理の手順を示すフローチャートである。第2の制御部80が所定のプログラムに基づき図8に示すように動作することで、この落書き編集処理が実現される。この処理では、上述した撮影処理の終了後、第2の制御部80は、ネットワーク(LAN)6を介して第1の制御部70から送られる落書き対象画像(図7のステップS150で利用者によって選択され、ステップS160,S170で補正された画像)を取得する(ステップS200)。その後、タイマー46が所定の時間(具体的には、落書きを許可する時間)に設定され、カウントダウンが開始される(ステップS210)。
【0080】
タイマー46のカウントダウン開始後、編集ユニット4を構成するユニット4a,4bのそれぞれの編集操作用タッチパネル400において、落書き編集操作画面が表示され、利用者による落書き操作(描画操作)が受け付けられる(ステップS232〜S236)。なおこの落書き編集処理時において、編集ユニット4では、撮影画像に基づく落書き対象画像に対する編集操作の他に、デコメール画像等の素材画像を作成するための編集操作が受け付けられてもよい。
【0081】
具体的には、編集操作画面内のボタンやツールなどの1つをタッチペンでタッチすると、その座標値が入力され(S232)、対応する落書き画面処理(S234)が行われる。その後ステップS236においてタイマー46の残り時間が0になる(または利用者が終了させる操作を行う)ことにより落書きが終了したかが判定され、終了していない場合(S236においてNoの場合)にはステップS232に戻り、落書きが終了するまで処理が繰り返され、落書きが終了した場合(S236においてYesの場合)には、処理はステップS240に進む。
【0082】
ステップS240では、出力される写真の分割パターンの選択が行われる。具体的には、第2の制御部80は、予め用意された複数の分割パターンの中からいずれかの分割パターンを利用者に選択させるための画面を編集操作用タッチパネル400に表示し、利用者による選択操作を受け付ける。そして、第2の制御部80は、利用者の選択操作に基づいて、選択情報を取得する。ステップS240の処理が終了した後、ステップS250の処理に進む。
【0083】
ステップS250では、案内画面の表示が行われる。具体的には、第2の制御部80は、利用者を出力ユニット5に導くための画面を編集操作用タッチパネル400に表示する。これにより、落書き編集処理が終了する。落書き編集処理が終了すると、出力ユニット5において、編集ユニット4から送られてきた合成画像に基づいて写真シール等の印刷処理が開始されることなどについては前述した通りである。
【0084】
以上のような処理のうち、前述したようにステップS180における脚バランス補正処理が特徴的な内容となっており、複数の処理態様が考えられる。以下、順に具体的に説明する。なお、この脚バランス補正処理(S180)は、第1の制御部70によって、撮影終了直後に行われるが、第2の制御部80によって行われてもよいし、落書き操作中に例えば利用者の指示に応じて行われる構成であってもよい。
【0085】
<3.3 脚バランス処理の具体的な内容>
<3.3.1 第1の処理態様>
図9は、カメラ位置近傍から見た利用者U1,U2と背景との位置関係を簡略に示す図であり、図10は、撮影室側面方向から見た利用者Uと背景との位置関係を簡略に示す図である。
【0086】
図9に示されるように、利用者U1,U2は、撮影室2内部のクロマキー色を付された背面110を背にして、クロマキー色が付された床面120の上に立っている。背面(背景)110および床面120のうち、カメラ10により撮影される撮影範囲101は点線で示されている。ここで利用者U1,U2は並んで立っており、背面からその足首までの距離はほぼ同一であるものとする。したがって、図10では、利用者U1,U2を特に区別せず利用者Uとして示している。
【0087】
図10を参照すれば分かるように、カメラ10の画角に応じて、(利用者Uを含む)点線で囲まれた領域内の対象物がカメラ10により撮影されることになるが、立位姿勢の利用者Uの足首からつま先までは、床面120に対して平行に位置することになる。そしてカメラ10から足首までの図中では一点鎖線で示される線分と床面120とのなす角が45度より大きい場合には、カメラ10により撮影された利用者Uの足首からつま先までの部分の長さは、実際の長さよりも長く写ることになる。また、上記角度が45度以下である場合であっても、人物写真を見るときの仮想的な(または心理的な)視点位置は、実際のカメラの位置よりも人物から離れた位置に置かれることが多い。特に、カメラ10の撮影位置が床面から高い位置にあることによって足が短く見える(写る)ことを防止するため、前述したステップS160において歪曲収差補正とともに幾何学歪み補正等を行う場合には、実際のカメラの位置よりも離れた(やや下方の)位置に仮想的な視点が置かれることが多い。そのため、上記角度に関わらず、撮影画像に含まれる利用者Uの足首からつま先までの長さが不自然に長く伸びているように感じられることがある。
【0088】
そこで、ステップ180に示される脚バランス処理の第1の態様では、利用者Uの足首からつま先までを含む画像部分(以下「足先画像」という)を下方向に縮小するとともに、利用者Uの膝から足首までを含む画像部分(以下「脚部画像」という)を下方向に拡大することにより、上記不自然な見え方を解消する。
【0089】
なお、利用者Uの足首からつま先までの長さを、不自然に長く伸びていると感じられない程度に縮小し、上記脚部画像を拡大する処理を行わない構成も考えられる。この構成によって、撮影対象となる利用者の足部分が不自然に写らないように(不自然に長く見えないように)することができる。ただし、この拡大処理だけでは、足首からつま先までの長さのみを縮小すると、その部分だけが小さくなったことによる違和感を生じることがある。また、ステップS160において幾何学歪み補正等を行うことにより、足が短く見えないよう補正する処理がなされる場合であっても、足首からつま先までの長さだけを縮小すると、足が全体として短く見える(写る)ことがある。さらに利用者Uの膝から足首まで長さを伸ばすように脚部画像を拡大することにより、利用者Uのスタイルが(実際よりも)良く見える効果も得られる。そのため、上記足先画像の縮小とともに、上記脚部画像の拡大を合わせて行うのが好適である。
【0090】
また、利用者Uの膝付近から足首付近までの長さを伸ばすようにすることは、スタイルよく見せるために好適であるが、たとえば利用者Uの太ももや足の付け根、または腰付近(若しくはそれより上の所定位置)から足首付近までの長さを伸ばすようにしても全体としてスタイルよく見せることはできる。そのため、脚部画像は、上記のように膝付近から足首付近を含む画像部分に限られるわけではなく、およそ利用者Uの足の全部または一部を含む画像部分であればよい。
【0091】
ここで第1の処理態様では、利用者Uの足首位置および膝位置は、予め定められた位置に決定される。すなわち、利用者が立位姿勢をとる場合、手や肘の位置は様々に変化するため、予め定めることは不可能に近い。しかし、平均的な身長の利用者の足首や膝の位置のうち、カメラ10から見て左右方向における(立ち)位置を予め定めることは困難であっても、カメラ10から見て上下方向における(立ち)位置を予め定めることは比較的容易である。なぜなら、限定された撮影室2内で背面を背にする利用者は、当該背面からほぼ等しい距離を空けて立つことが多く、したがって、足を大きく振り上げるなどの姿勢を取らない限り、利用者Uの足首位置および膝位置は、ほぼ一定の位置(高さ)になるからである。そこで、撮影画像における利用者Uの足首位置および膝位置であると(比較的高い確度で)推測される予め定められた足首位置および膝位置に基づき、上記足先画像の縮小と脚部画像の拡大とを行う。以下、図11および図12を参照して、この第1の処理態様の内容について説明する。
【0092】
なお、以下において足首や膝、足先などの位置とは、撮影画像(または利用者画像など)における上下方向(Y軸方向)の位置(すなわち左右方向(X軸方向)の位置を考慮しない位置)を指す。
【0093】
図11は、撮影画像における予め定められた足首位置および膝位置を示す図である。図11では、撮影範囲101に等しいものとして撮影画像111の範囲(外周)を点線で示している。前述のように、利用者Uの足首位置および膝位置は、ほぼ一定の位置(高さ)になるので、このことに基づき予め定められる足首位置は図中では線分Paとして示され、膝位置は図中では線分Pbとして示されている。
【0094】
したがって、脚部画像は、利用者U1,U2の足首位置を含むであろうと推測され、かつ利用者U1,U2の膝位置を含むであろうと推測される画像領域、すなわち線分Paを上辺とし線分Pbを下辺とし、これら上辺および下辺と撮影画像の左端(左辺)および右端(右辺)とで囲まれた領域と定めることができる。
【0095】
また、足先画像は、利用者U1,U2の足首位置を含むであろうと推測され、かつ利用者U1,U2の足先位置を含むであろうと推測される画像領域、すなわち線分Pbを上辺とし撮影画像の下端(下辺)を下辺とし、これらと撮影画像の左端(左辺)および右端(右辺)とで囲まれた領域と定めることができる。
【0096】
ここで、足先画像の下辺を撮影画像の下端(下辺)と一致させる場合には、利用者U1,U2の足先位置を含む可能性が極めて高いが、実際の足先位置は撮影画像の下端から離れた上方であることが多い。すなわち、前述のように、限定された撮影室2内で背面を背にする利用者は、当該背面からほぼ等しい位置に立つことが多く、したがって、利用者Uの足首位置および膝位置と同様に、足先位置もほぼ一定の位置(高さ)になる。よって、線分Pa,Pbと同様に足先位置を含むべき線分を設定することが可能であるので、この足先位置を含むべき線分を、撮影画像の下端に代えて、足先画像の下辺とすることもできる。
【0097】
次に、以上のようにして決定される足先画像および脚部画像は、利用者の像の一部であるため、利用者の像としての連続性が保たれるように縮小または拡大されなければならない。そこで、脚部画像は、線分Paである上辺を固定して下方へ拡大し、足先画像は、撮影画像の下端(または足先位置を含むべき線分)である下辺を固定して下方へ縮小するとともに、拡大された脚部画像の下辺と縮小された足先画像の上辺とが接するように画像変形処理を行う。この処理により得られる画像が脚バランス処理の第1の処理態様により最終的に得られる画像となる。
【0098】
図12は、脚バランス処理の第1の態様による処理の結果得られる画像を示す図である。図12に示されるように、脚部画像は拡大の前後でその上辺(ここでは線分Pa)の位置に変化はなく、足先画像は拡大の前後で下辺(ここでは撮影画像の下辺)の位置に変化はなく、上記画像変形処理により拡大された脚部画像と縮小された足先画像とが接する辺(図中では線分Pcとして示されている)の位置が線分Pbの位置から下方へ移動している。
【0099】
具体的には、足先画像は下方へ0.8倍(もちろんそれ以外の倍率であってもよい)に縮小されており、脚部画像は縮小された足先画像と接する位置まで拡大されている。このように、撮影画像における縮小前の足先画像の下端位置と縮小された足先画像の下端位置とを一致させ、かつ撮影画像における拡大前の脚部画像の上端位置と拡大された脚部画像の上端位置とを一致させるよう、足先画像を縮小し脚部画像を拡大すれば、画像変形処理後の利用者の像の連続性が保たれるとともに、利用者Uの足首からつま先までが不自然に長く見える(写る)状態を解消でき、利用者U1,U2の足をスタイル良く長く見せることができる。ここで足先画像を縮小する程度(縮小率)が決定されると、画像変形の前後で撮影画像の大きさが変わらない限り、脚部画像を拡大する程度(拡大率)は自ずと定まるが、画像変形の前後で撮影画像の大きさが変わるように構成されてもよく、上記縮小率と無関係に上記拡大率が定められてもよい。
【0100】
なお、上記足先画像は、線分Pbを上辺、撮影画像の下端または足先位置を含むべき線分を下辺とする撮影画像の矩形領域部分であり、脚部画像は、線分Paを上辺、線分Pbを下辺とする撮影画像の矩形領域部分であるものとして説明したが、これらの矩形領域に含まれる(クロマキー処理によって抽出された)利用者画像部分であってもよい。撮影画像に対して上記画像変形処理を行った後にクロマキー処理を行う場合と、クロマキー処理後の利用者画像に対して上記画像変形処理を行う場合とで変わりはないからである。
【0101】
また前述したように、脚部画像は、利用者Uの膝近傍から足首近傍までを含むものでなくてもよいので、例えば一般的な利用者Uの腰近傍から足首近傍までを含む撮影画像部分が脚部画像であってもよい。この場合には、図11における線分Pbの位置が(一般的な利用者の)膝位置(膝の高さ)ではなく、腰位置(腰の高さ)となる。そのため、一般的な利用者より相当に背が低い利用者(典型的には子供)や、しゃがんだ姿勢の利用者などが撮影対象に含まれている場合、上記画像変形処理により脚部画像を拡大すると違和感を生じる合成画像が生成されることがある。特に、線分Pa,Pbの間に利用者の顔部分が位置することにより、脚部画像に顔の像が含まれる場合、画像の拡大によって顔の形が変形してしまうため、特に違和感を生じることになる。
【0102】
そこで、ステップ180に示される脚バランス処理の第1の態様における変形例として、脚部画像に利用者Uの顔の像が含まれる場合には、脚部画像を下方向に一切拡大しないか、または拡大する程度(拡大率)を小さくする構成が考えられる。このように構成すれば、顔が変形するような違和感を解消または低減することができる。具体的には、第1の制御部70は、脚部画像である線分Pa,Pbの間の撮影画像中に、人物の顔の像が含まれているか否かを周知のパターン認識などの手法に基づく顔認識処理により判定し、当該顔認識処理によって顔の像が含まれていると判定されない場合には、上記第1の態様と同一の処理を行い、含まれていると判定される場合には、脚部画像を下方向に一切拡大しないか、または拡大率を小さく設定した後に拡大し、足首画像を縮小する。そうすれば、利用者Uの足首からつま先までが不自然に長く見える状態を解消しつつ、撮影画像に写る利用者の顔が変形するような違和感を解消または低減することができる。なお、上記顔認識には顔検出用LSIチップなどのハードウェアを使用してもよい。そうすればソフトウェア処理の場合よりも顔検出を高速化することができる。
【0103】
以上のような上記脚バランス処理の第1の態様における画像変形処理は、ステップS160における歪曲収差補正や、ステップS170におけるクロマキー合成処理を前提にするものではないため、これらの処理を省略してもよいし、これらの処理の間や前に行ってもよい。また、ステップS160における歪曲収差補正と同時に行う構成であってもよい。
【0104】
さらにステップS170におけるクロマキー合成処理を画像変形処理と関連付け、このクロマキー合成処理により得られる利用者画像に基づき、利用者U1,U2の(実際の)足首位置および膝位置を検出する構成も考えられる。そうすれば、正確な足首位置および膝位置が得られるので、利用者Uの足首からつま先までが不自然に長く見える状態をより確実に解消でき、また利用者U1,U2の足をよりスタイル良く長く見せることができる。以下、上記利用者画像を利用した脚バランス処理の第2の態様について説明する。
【0105】
<3.3.2 第2の処理態様>
この第2の処理態様では、上記第1の処理態様とは異なり、利用者画像に基づき、利用者U1,U2の実際の足首位置および膝位置を検出する。この足首位置および膝位置を検出する方法としては、周知のパターンマッチングに基づく画像認識手法など、様々な方法が考えられる。
【0106】
例えば、各利用者に対応する利用者画像の上下方向の長さ(具体的には頭の上端から足先までの長さ)に基づき、足首位置および膝位置を算出してもよい。なぜなら、人間の足首位置および膝位置は、身長に対して所定の割合で定まる位置にあることが多いからである。
【0107】
また、利用者画像の左右方向の幅から(典型的には最も幅が大きい位置で)腰の位置を検出し、当該腰の位置(および足先位置など)を上記上下方向の長さとともに判断対象とすることにより、足首位置および膝位置を算出してもよい。腰の位置から足の長さが定まることが多いからである。
【0108】
さらに、利用者画像の形状を解析することにより、当該利用者画像のそれぞれの足部分に対応する画像における足先からの最初の屈曲位置を足首位置とし、二番目の屈曲位置を膝位置として検出してもよい。
【0109】
さらにまた、様々な姿勢をとる利用者を撮影することにより得られる数多くの利用者画像の画像パターンとその足首位置および膝位置とを対応付けて予め記憶しておき、上記クロマキー処理により得られる利用者画像とその形状が近似する画像パターンを検索し、当該画像パターンに対応する足首位置および膝位置を、本両者画像における足首位置および膝位置として検出してもよい。
【0110】
以上のようにして足首位置および膝位置を検出すれば、上記第1の処理態様における線分Pa,Pbを設定することができるので、上記第1の処理態様と同様に画像変形処理を行うことにより、同様に利用者Uの足首からつま先までが不自然に長く見える状態を解消でき、利用者U1,U2の足をスタイル良く長く見せることができる。
【0111】
なお、本第2の処理態様においても第1の処理態様と同様に、上記足先画像および脚部画像は、撮影画像の矩形領域部分である必要はなく、これらの矩形領域に含まれる(クロマキー処理によって抽出された)利用者画像部分であってもよい。
【0112】
また、第1の態様における変形例と同様に、脚部画像に利用者Uの顔の像が含まれる場合には、脚部画像を下方向に一切拡大しないか、または拡大する程度(拡大率)を小さくしてもよい。このように構成すれば、顔が変形するような違和感を解消または低減することができる。
【0113】
ここで、上記第2の処理態様では、利用者U1,U2の各足首位置および各膝位置は、それぞれ同一かまたはほぼ変わらない位置にあるものとして説明したが、これらが異なる場合には、全ての位置を平均化したり、最も異なる1つを除いて平均化したり、または代表的な1つの位置に基づいて決定するなど様々な手法などが考えられる。
【0114】
もっとも、さらに正確な画像変形処理を行うためには、利用者U1,U2の各足首位置および各膝位置を個別に検出した上で、個別に(すなわち各利用者の片足ずつについて)画像変形処理を行う必要がある。そこでこのように個別の画像変形処理を行う、脚バランス処理の第3の態様について、図13および図14を参照して説明する。
【0115】
<3.3.3 第3の処理態様>
図13は、撮影画像における検出された各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を示す図である。図中では、利用者U2の左足(図では右側の足)がややカメラ位置から後方(撮影室2の背面に近づく方向)に置かれており、その結果、利用者U2の左足の足首の位置(高さ)が利用者U1の両足首の位置および利用者U2の右足の足首の位置(高さ)とは異なっている。なお、このような違いは説明を簡単にするための例示であって、各利用者の各足首の位置および各膝の位置は、いずれか一箇所以上が異なっていればよく、実際には全て同一であってもよい。
【0116】
また図中では、利用者U1,U2の膝位置(を含む線分の位置)はhaとして示され、利用者U1の両足首および利用者U2の右足の足首の位置(を含む線分の位置)はhbとして示され、利用者U2の左足の足首の位置(を含む線分の位置)はhbとして示されている。
【0117】
さらに、この第2の処理態様では、足先の位置も検出される構成であって、利用者U1の両足の足先および利用者U2の右足の足先の位置(を含む線分の位置)はhcとして示され、利用者U2の左足の足先の位置(を含む線分の位置)はheとして示されている。
【0118】
なお、足先の位置は利用者画像の各下端であるため容易に検出することができ、足首おおよび膝の位置は、各種画像認識手法により検出することができることは前述したとおりである。
【0119】
ここで、クロマキー処理に基づき生成される利用者画像のうち、利用者U1の右足(図では左側の足)における脚部画像A11aは、膝位置haを上限とし足首位置hbを下限とする利用者画像部分であり、足先画像A11bは、足首位置hbを上限とし足先位置hcを下限とする利用者画像部分である。そして、足先画像A11bを足先位置hcに向かって下方向へ0.8倍に縮小するとともに、脚部画像A11aを縮小後の足先画像A11bと接するように足先位置hcに向かって下方向へ拡大する。
【0120】
また、利用者U1の左足における脚部画像A12aおよび足先画像A12bと、利用者U2の右足における脚部画像A21aおよび足先画像A21bとについては、上記利用者U1の右足における脚部画像A11aおよび足先画像A11bと同一の足首位置および膝位置であるので、同一の拡大縮小処理が行われる。
【0121】
さらに、利用者U2の左足における脚部画像A22aは、膝位置haを上限とし足首位置hdを下限とする利用者画像部分であり、足先画像A22bは、足首位置hdを上限とし足先位置heを下限とする利用者画像部分である。この足首位置hdおよび足先位置heは、上記足首位置hbおよび足先位置hcとは異なるので、足先画像A22bを足先位置heに向かって下方向へ0.8倍に縮小するとともに、脚部画像A22aを縮小後の足先画像A22bと接するように足先位置heに向かって下方向へ拡大する。この画像変形処理における縮小率は他と同じであっても、(脚部画像A22aおよび足先画像A22bにおけるそれぞれ上下方向の長さが他と異なることにより)画像変形後の足首位置は、上記第1の処理態様による場合とは異なる。
【0122】
図14は、上記画像変形処理後の各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を含む利用者画像を示す図である。図14に示されるように、上記画像変形後の利用者U1の両足首および利用者U2の右足首の位置は、ともに足首位置hfであるが、利用者U2の左足首の位置は、足首位置hgであり、各利用者の各足毎に正確に足首位置が検出され、個別に適切な画像変形処理がなされている。すなわち、或る足首の位置が他の足首の位置とは異なる場合に、一律に上記画像変形処理を行うと、当該足首を含む脚部画像または足先画像の変形が適切なものではなくなることがある。本第3の処理態様によれば、このような不都合を解消することができ、各足に対して漏れなくより確実に、利用者Uのその他の足首からつま先までが不自然に長く見える状態を適切に解消することができ、また利用者U1,U2の足をよりスタイル良く長く見せることができる。
【0123】
なお、ここでは説明の便宜のために、拡大または縮小の方向は下方向であるように説明したが、これは通常、立位姿勢の利用者の各足は、床に対して垂直に伸びるためである。したがって、利用者の足毎に伸びる方向(例えば脚部画像および足先画像に含まれる最も離れた2点を結ぶ線分に沿った方向等)を算出し、足毎に算出された伸びる方向へ上記画像変形処理における拡大および縮小を行う構成であってもよい。また、各足における脚部画像と足先画像とについて個別にそれぞれの伸びる方向を算出し、拡大または縮小を行う構成であってもよい。
【0124】
また、以上では画像変形処理を各足において必ず行うものとして説明したが、例えば図15に示されるように足を大きく振り上げている場合など、足首から足先が床に対して平行またはほぼ平行になっていない場合(典型的には足先を床面から離して伸ばしている場合)、この足首からつま先までの足先画像に対して画像変形処理を行うと、かえって違和感を生じる場合も考えられる。
【0125】
図15は、図13に示す例とは異なる撮影画像における検出された各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を示す図である。この図15に示されるように、利用者U1,U2の膝位置ha、利用者U1の両足首および利用者U2の右足の足首位置hbおよび足先位置hcは、図13に示される場合と同一であるが、利用者U2の左足の足首位置hiおよび足先位置hjは、図13に示される場合よりもさらに上方にあって足先を伸ばす形(すなわち膝から足先までがほぼ同一直線上にある形)となっている。
【0126】
したがって、各足毎に適切な方向に拡大および縮小を行う第2の処理態様における画像変形処理を各足に対して行う場合、実際に伸びているはずの利用者U2の左足における足先の画像が縮小されるため、かえって違和感を生じることがある。そこで、例えば、同一の利用者U(ここでは利用者U2)の他方の足(ここでは右足)における足首位置よりも、当該足(ここでは左足)の足先位置が上である場合、当該足先は通常は床面から離れているため、床面と平行でなく伸ばされているものとして、当該足における脚部画像および足先画像に対しては、上記画像変形処理を行わないようにする。
【0127】
そうすれば、不自然に長く見えていない(すなわち実際に長く見えるべき)足首からつま先までを縮小することなく、利用者Uのその他の足首からつま先までが不自然に長く見える状態を適切に解消することができ、また利用者U1,U2の足をよりスタイル良く長く見せることができる。
【0128】
<4.効果>
以上のように本実施形態によれば、足先画像は下方に縮小され、脚部画像は縮小された足先画像と接する位置まで拡大されるので、利用者の像の連続性を保ちつつ、撮影対象となる利用者の足部分が不自然に写らないように(不自然に長く見えないように)することができ、利用者の足をスタイル良く長く見せることができる。
【符号の説明】
【0129】
3…撮影ユニット
4…編集ユニット
5…出力ユニット
6…ネットワーク(LAN)
10…カメラ
20…撮影操作用タッチパネル
30…出力操作用タッチパネル
35…ネットワークプリンタ
31…非接触通信ポート(赤外線ポート)
32…スピーカ
49L1、49L2…左画面用タッチペン
49R1、49R2…右画面用タッチペン
70…第1の制御部
72…第1の表示・操作部(撮影操作用タッチパネル)
80…第2の制御部(GUI制御装置)
81、82…第2の表示・操作部(編集操作用タッチパネル)
90…第3の制御部
91…第3の表示・操作部(出力操作用タッチパネル)
92…印刷出力部(ネットワークプリンタ)
101…撮影範囲
110…背面
400…編集操作用タッチパネル
U、U1、U2 …利用者
【技術分野】
【0001】
本発明は、自動写真作成装置に関し、さらに詳しくは、利用者をカメラで撮影し、その撮影画像に基づき生成される合成画像を写真等として出力する自動写真作成装置に関する。
【背景技術】
【0002】
従来、利用者をカメラで撮影し、その撮影画像を写真シールや写真カード等として出力する遊戯用写真作成装置が知られている。このような遊戯用写真作成装置は、遊戯性または娯楽性が高いことから、撮影画像と合成すべき画像を、利用者の嗜好に応じて、予め用意された多種多様な背景画像および前景画像(例えばフレーム画像やスタンプ画像など)から選択したり、タッチペンを用いて利用者が自由に描いたりできるように構成されているものが多い。利用者によるこのような操作は、撮影画像に対してなされるため、「落書き」と呼ばれる。
【0003】
このような遊戯用写真作成装置では、限定された撮影室内で撮影するため、カメラに広角レンズが使用されることが多い。この広角レンズは、樽型歪みと呼ばれる歪曲収差を生じることが知られており、このような歪曲収差により生じる撮影画像の変形を補正する手法には従来より様々な工夫がなされている。
【0004】
例えば、特開2001−311993号公報には、カメラによりズームイン又はズームアウトを行った後に、撮影された使用者の画像をソフト的に歪補正するフォトブースの構成が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2001−311993号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、遊戯用写真作成装置における撮影室内で人物を撮影する際、人物の足部分が不自然に写ることがある。すなわち典型的には、遊戯用写真作成装置に設けられるカメラの位置は、通常立っている人物の前方近傍であって、当該人物の胸またはそれ以上の高さであり、その位置から人物を撮影すると、人物の足が不自然に短く写ることがある。
【0007】
また、立っている人物の足首からつま先までの部分は、地面に対してほぼ平行となっているのが通常である。そのため、この部分と、地面に対してほぼ垂直となっている足首から上の部分とで写り方が異なり、結果的に不自然に写ることがある。
【0008】
このような不自然な写り方は、遊戯用写真作成装置において撮影された画像に対して、上記樽型歪みや幾何歪みなどを補正する周知の画像処理を行ったとしても、根本的な改善は望めない。
【0009】
そこで、本発明では、撮影対象となる利用者の足部分が不自然に写らないよう画像補正を行う自動写真作成装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
第1の発明は、被写体である利用者を含む像を撮影する撮影手段と、前記撮影手段により得られる撮影画像を含む合成画像を写真として出力する出力手段とを備える自動写真作成装置であって、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成手段を備えることを特徴とする。
【0011】
第2の発明は、第1の発明において、
前記画像合成手段は、前記利用者の足首近傍から所定の上限位置までの像を含むべき脚部画像を前記方向に拡大し、縮小された足先画像と拡大された脚部画像とが接するように前記合成画像を生成することを特徴とする。
【0012】
第3の発明は、第2の発明において、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記撮影画像において足首が写るべき予め定められた位置を含む線分を下辺とし、前記撮影画像において膝が写るべき予め定められた上限位置を含む線分を上辺とする矩形領域を前記脚部画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする。
【0013】
第4の発明は、第2または第3の発明において、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記撮影画像において足首が写るべき予め定められた位置を含む線分を上辺とし、前記撮影画像の下端を含む線分または前記撮影画像において足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域を前記足先画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする。
【0014】
第5の発明は、第2から第4までのいずれか1つの発明において、
前記画像合成手段は、前記撮影画像における縮小前の前記足先画像の下端位置と前記縮小された足先画像の下端位置とを一致させ、かつ前記撮影画像における拡大前の前記脚部画像の上端位置と前記拡大された脚部画像の上端位置とを一致させるよう、前記足先画像を縮小し前記脚部画像を拡大することを特徴とする。
【0015】
第6の発明は、第2の発明において、
前記脚部画像に前記利用者の顔の像が含まれるか否かを判定する顔検出手段をさらに備え、
前記画像合成手段は、前記顔検出手段によって前記顔の像が含まれないと判定される場合、前記脚部画像を前記方向に第1の拡大率で拡大し、前記顔検出手段によって前記顔の像が含まれると判定される場合、前記脚部画像を拡大しないか、または前記第1の拡大率よりも小さい第2の拡大率で前記脚部画像を前記方向に拡大することを特徴とする。
【0016】
第7の発明は、第2の発明において、
前記撮影手段による撮影対象であって、所定の色を付された被撮影面を有する背景提示手段と、
前記撮影画像に含まれる前記被撮影面の像が占める領域の色に対応するクロマキーマスクを作成するマスク作成手段と、
前記マスク作成手段により作成されたクロマキーマスクを使用することによって前記利用者の像のみを含む利用者画像を抽出する利用者画像抽出手段と
をさらに備え、
前記画像合成手段は、前記利用者画像を含む前記合成画像と、所定の背景付加画像とを合成するクロマキー処理を行うことにより、新たな合成画像を生成することを特徴とする。
【0017】
第8の発明は、第7の発明において、
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、前記利用者の足首の位置を検出する足首検出手段をさらに備え、
前記画像合成手段は、前記足首検出手段により検出される足首の位置に基づき、前記足先画像および前記脚部画像を定めることを特徴とする。
【0018】
第9の発明は、第8の発明において、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記足首検出手段により検出される前記利用者の少なくとも1つの足首の位置に基づき算出される位置を含む線分を上辺とし、前記撮影画像の下端を含む線分または前記撮影画像において足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域または当該矩形領域内に含まれる前記利用者画像部分を前記足先画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする。
【0019】
第10の発明は、第8または第9の発明において、
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、前記利用者の膝の位置を検出する膝検出手段をさらに備え、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記膝検出手段により検出される前記利用者の少なくとも1つの膝の位置に基づき算出される位置を含む線分を上辺とし、前記足首検出手段により検出される前記利用者の少なくとも1つの足首の位置に基づき算出される位置を含む線分を下辺とする矩形領域または当該矩形領域内に含まれる前記利用者画像部分を前記脚部画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする。
【0020】
第11の発明は、第8の発明において、
前記足首検出手段は、前記利用者画像に基づき、一人以上の前記利用者の各足首の位置をそれぞれ検出し、
前記画像合成手段は、前記足首検出手段により検出される各足首の位置に基づき、前記各足首の像および当該各足首に対応する足先の像を含む前記利用者画像部分を前記各足首に対応する足先画像と定めるとともに、前記各足首および当該各足首に対応する前記上限位置の像を含む前記利用者画像部分を前記各足首に対応する脚部画像と定め、前記各足首に対応する縮小された足先画像と拡大された脚部画像とが前記各足首でそれぞれ接するように前記合成画像を生成することを特徴とする。
【0021】
第12の発明は、第11の発明において、
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、一人以上の前記利用者の各膝の位置をそれぞれ検出する膝検出手段をさらに備え、
前記画像合成手段は、前記膝検出手段により検出される前記各膝の位置を前記各足首に対応する前記上限位置として前記脚部画像を定めることを特徴とする。
【0022】
第13の発明は、被写体である利用者を含む像を撮影する撮影ステップと、前記撮影ステップにより得られる撮影画像を含む合成画像を写真として出力する出力ステップとを備える自動写真作成方法であって、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成ステップを備えることを特徴とする。
【0023】
第14の発明は、コンピュータである自動写真作成装置に、
被写体である利用者を含む像を撮影する撮影ステップと、
前記撮影ステップにより得られる撮影画像を含む合成画像を写真として出力する出力ステップと、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成ステップとを実行させることを特徴とする、プログラムである。
【発明の効果】
【0024】
上記第1の発明によれば、利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように合成画像を生成するので、撮影対象となる利用者の足部分が不自然に写らないように(不自然に長く見えないように)することができる。
【0025】
上記第2の発明によれば、足先画像を所定方向に縮小するとともに、利用者の足首近傍から所定の上限位置までの像を含むべき脚部画像を方向に拡大し、縮小された足先画像と拡大された脚部画像とが接するように合成画像を生成するので、利用者の像の連続性を保ちつつ、撮影対象となる利用者の足部分が不自然に写らないように(不自然に長く見えないように)することができ、利用者の足をスタイル良く長く見せることができる。
【0026】
上記第3の発明によれば、撮影画像において足首が写るべき予め定められた位置を含む線分を下辺とし、膝が写るべき予め定められた上限位置を含む線分を上辺とする矩形領域を脚部画像と定め、足先画像を下方向に縮小するとともに脚部画像を下方向に拡大するので、予め定められた位置を使用する簡易な構成により、利用者の足部分が不自然に写らないようにすることができる。特に限定された撮影室内での利用者の位置(例えば足首等の高さ)はほぼ一定であると言えるので、このような簡易な構成が可能となる。
【0027】
上記第4の発明によれば、足首が写るべき予め定められた位置を含む線分を上辺とし、撮影画像の下端を含む線分または足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域を足先画像と定め、足先画像を下方向に縮小するとともに脚部画像を下方向に拡大するので、予め定められた位置を使用する簡易な構成により、利用者の足部分が不自然に写らないようにすることができる。また同様に、特に限定された撮影室内での利用者の位置(例えば足首等の高さ)はほぼ一定であると言えるので、このような簡易な構成が可能となる。
【0028】
上記第5の発明によれば、縮小前の足先画像の下端位置と縮小された足先画像の下端位置とを一致させ、かつ拡大前の脚部画像の上端位置と拡大された脚部画像の上端位置とを一致させるので、利用者の像の連続性を簡単に保つことがえき、利用者の足部分が不自然に写らないようにすることができる。
【0029】
上記第6の発明によれば、顔検出手段によって脚部画像に利用者の顔の像が含まれると判定される場合、脚部画像を拡大しないか、または第1の拡大率よりも小さい第2の拡大率で脚部画像を拡大するので、撮影対象となる利用者の足部分が不自然に写らないように(不自然に長く見えないように)しつつ、撮影画像に写る利用者の顔が変形するような違和感を解消または低減することができる。
【0030】
上記第7の発明によれば、被撮影面の像が占める領域の色に対応するクロマキーマスクを作成し、作成されたクロマキーマスクを使用することによって利用者の像のみを含む利用者画像を抽出し、利用者画像を含む合成画像と、所定の背景付加画像とを合成するので、遊戯性の高い合成画像が得られるとともに、抽出された利用者画像を使用することにより容易に足先画像を縮小し脚部画像を拡大することができる。
【0031】
上記第8の発明によれば、利用者画像に基づき、利用者の足首の位置を検出し、検出される足首の位置に基づき、足先画像および脚部画像を定めるので、利用者の実際の足首の位置に基づき、正確な範囲の足先画像を得ることができる。よって、より正確に利用者の足部分が不自然に写らないようにすることができる。
【0032】
上記第9の発明によれば、利用者画像に基づき検出した利用者の少なくとも1つの足首の位置に基づき定められる矩形領域または当該矩形領域内に含まれる利用者画像部分を足先画像と定めるので、予め定められた足首の位置に基づく場合よりも正確な範囲の足先画像を得ることができる。よって、より正確に利用者の足部分が不自然に写らないようにすることができる。
【0033】
上記第10の発明によれば、利用者画像に基づき検出した利用者の少なくとも1つの膝の位置に基づき定められる矩形領域または当該矩形領域内に含まれる利用者画像部分を脚部画像と定めるので、予め定められた膝の位置に基づく場合よりも正確な範囲の脚部画像を得ることができる。よって、より正確に利用者の足部分が不自然に写らないようにすることができる。
【0034】
上記第11の発明によれば、利用者画像に基づき一人以上の利用者の各足首の位置をそれぞれ検出し、各足首の位置に基づき足先画像を定めるとともに、各足首に対応する脚部画像を定めるので、各利用者の各足の位置が異なっている場合であっても、それぞれの足首位置に応じた足先画像を得ることができ、それぞれの足先画像について適宜に縮小することができる。よって、漏れなく、より確実に利用者の足部分が不自然に写らないようにすることができる。
【0035】
上記第12の発明によれば、利用者画像に基づき一人以上の利用者の各膝の位置をそれぞれ検出し、各膝の位置に基づき脚部画像を定めるので、各利用者の各足の位置が異なっている場合であっても、それぞれの足首位置に応じた足先画像およびそれぞれの膝位置に応じた脚部画像を得ることができる。よって、漏れなく、より確実かつ正確に利用者の足部分が不自然に写らないようにすることができる。
【0036】
上記第13の発明によれば、装置発明である上記第1の発明の効果と同様の効果を自動写真作成方法において奏することができる。
【0037】
上記第14の発明によれば、装置発明である上記第1の発明の効果と同様の効果をプログラムにおいて奏することができる。
【図面の簡単な説明】
【0038】
【図1】本発明の一実施形態に係る自動写真作成装置である遊戯用写真作成装置の外観を示す図である。
【図2】上記実施形態における撮影ユニットの正面図である。
【図3】上記実施形態における編集ユニットの正面図である。
【図4】上記実施形態における出力ユニットの正面図である。
【図5】上記実施形態における撮影操作用タッチパネルの表示構成を示す模式図である。
【図6】上記実施形態に係る遊戯用写真作成装置の要部を機能面から見た構成を示すブロック図である。
【図7】上記実施形態における撮影処理の手順を示すフローチャートである。
【図8】上記実施形態における落書き編集処理の手順を示すフローチャートである。
【図9】上記実施形態において、カメラ位置近傍から見た利用者U1,U2と背景との位置関係を簡略に示す図である。
【図10】上記実施形態において、撮影室側面方向から見た利用者Uと背景との位置関係を簡略に示す図であ
【図11】上記実施形態において、撮影画像における予め定められた足首位置および膝位置を示す図である。
【図12】上記実施形態において、脚バランス処理の第1の態様による処理の結果得られる画像を示す図である。
【図13】上記実施形態における撮影画像における検出された各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を示す図である。
【図14】上記実施形態における、脚バランス処理の第3の態様における処理後の各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を含む利用者画像を示す図である。
【図15】上記実施形態において、図13に示す例とは異なる撮影画像における検出された各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を示す図である。
【発明を実施するための形態】
【0039】
以下、添付図面を参照しつつ本発明の一実施形態について説明する。
<1.全体構成>
図1は、本発明の一実施形態に係る自動写真作成装置である遊戯用写真作成装置の外観を示す図である。より詳細には、図1(a)は、この遊戯用写真作成装置を横から見た外観側面図であり、図1(b)は、上から見た外観平面図である。この遊戯用写真作成装置は、利用者が入る撮影室2と、利用者を撮影し背景画像および前景画像の選択を受け付ける撮影ユニット3と、利用者による落書き(描画操作)を含む編集操作を受け付け撮影画像に合成した合成画像を生成する編集ユニット4と、合成画像を出力する出力ユニット5とを備えている。図2は、撮影ユニット3の正面図であり、図3は、編集ユニット4の正面図であり、図4は、出力ユニット5の正面図である。以下、図1から図4を参照しつつ、本実施形態に係る遊戯用写真作成装置の全体構成について説明する。
【0040】
撮影室2は、略直方体形状であって、撮影ユニット3は、内部に入る利用者から見て前の面である撮影室2の前面に沿って配置されている。なお、撮影室2の左右両側面の一部には、それぞれ利用者が出入りするための開口部と、当該開口部の一部または全部を覆う遮光カーテンとが設けられている。また、撮影室2の内部に入る利用者から見て後ろの面である背面にはクロマキー合成処理のための単一の色(ここでは青色または緑色)が付されている。なお、これらの色は床面等にも付されているものとする。
【0041】
撮影ユニット3は、利用者を撮影する撮像手段としてのカメラ10と、当該カメラ10の上下左右の位置に配置され閃光を発するストロボ11、12、13L、13R、14と、当該カメラ10の下方に配置され利用者からの操作の受け付けや撮影画像の表示等を行う撮影操作用タッチパネル20とを備えている。
【0042】
カメラ10は、典型的には、CCD(電荷結合素子)を利用してデジタル画像信号を生成するデジタルカメラであって、利用者を撮影し、その撮影画像を表す画像信号を出力する。なお、ここでのカメラ10は広角レンズを使用しており、撮影画像には樽型歪みが生じているものとする。ストロボ11〜14は、撮影のための充分な光を得るために利用者に向かって閃光を発する。撮影操作用タッチパネル20は、撮影の際に利用者による各種操作を受け付けるための操作画面を提供するとともに、上記画像信号に基づく画像をリアルタイムで表示するように構成されている。
【0043】
図5は、撮影操作用タッチパネル20の表示構成を示す模式図である。図5に示すように、撮影操作用タッチパネル20には、リアルタイムで撮影画像を表示するためのリアルタイムプレビュー領域201と、ポーズの見本を表示するためのポーズ見本表示領域202と、撮影によって得られる落書き対象画像を表示するための落書き対象画像表示領域203とが含まれている。
【0044】
また撮影ユニット3は、コンピュータを中心に構成され各部の制御等を行う制御装置、I/O制御装置、および編集ユニット4と通信を行うためのネットワークアダプタ等を内蔵している。また、撮影ユニット3は、前面下方にコイン投入口26を備えている。
【0045】
編集ユニット4は、撮影ユニット3と同様のコンピュータを中心に構成され各部の制御等を行う制御装置、および撮影ユニット3等と通信を行うためのネットワークアダプタ等を内蔵している。また、編集ユニット4は、図1(b)に示すように、2組の利用者がプレイ可能なように2つのユニット4a、4bに分かれている。そのうちの一方のユニット4aには、落書き領域や落書きのためのメニュー、ツール等を表示する領域を含みGUI(Graphical User Interface)表示手段として機能する編集操作用タッチパネル400と、当該編集操作用タッチパネル400に対する操作に使用されるポインティングデバイスとしての4つのタッチペン49L1、49L2、49R1、49R2とが設けられている。なお、他方のユニット4bについても同様の構成となっている。ここで図1(a)において手前に見えるユニット4aを「落書きブースA」と呼び、その反対側(図では裏側)のユニット4bを「落書きブースB」と呼ぶ。
【0046】
本実施形態における編集操作用タッチパネル400は、各ユニット4a、4bにおいて典型的にはそれぞれ2人の利用者が同時に落書きを行えるような表示構成となっている。なお、本説明においては、左側の利用者が使用する構成要素には「L」を含む参照符号を付し、右側の利用者が使用する構成要素には「R」を含む参照符号を付している。
【0047】
また、本実施形態における編集操作用タッチパネル400に表示される表示画面は、典型的には2人の利用者の操作に適するよう、左右に2分割されて表示されている。以下では、この表示画面のうちの左側の操作画面を左操作画面といい、右側の操作画面を右操作画面という。
【0048】
さらに、編集操作用タッチパネル400は、4つのタッチペン49L1、49L2、49R1、49R2による操作位置を同時に検出可能に構成されており、かつ、検出される各操作位置が、49L1、49L2、49R1、49R2のうちのいずれの操作に対応するのかも検出可能となっている。例えば、編集操作用タッチパネル400として静電容量方式のタッチパネルを使用した場合には、このような複数の操作位置の同時検出と操作されたタッチペンの識別とが可能である。
【0049】
なお、左操作画面用の2つのタッチペン(以下「左画面用ペン」という)49L1、49L2、または右操作画面用の2つのタッチペン(以下「右画面用ペン」という)49R1、49R2は、それぞれが同時に使用(入力操作)できるが、これをできないように、すなわち先にアクティブとなり(先に操作入力が受け付けられ)継続的にアクティブとなっているタッチペンのみが操作入力可能となるように制御してもよい。このように制御すれば描画レスポンスを高速に保つことができる。
【0050】
また、上記タッチペンの数には特に限定がなく、またタッチペンに代えて、同時に座標検出可能な周知のポインティングデバイス(例えばトラックボールやカーソルキー、カメラ画像に基づく位置判定など)を入力操作手段として使用してもよい。
【0051】
出力ユニット5は、図4に示すように、典型的には携帯電話端末に内蔵される赤外線通信ポートにより、例えばデコメール(登録商標)画像等の素材画像や撮影画像に落書きをした合成画像などを利用者の携帯電話端末に転送する際に利用者によって操作される出力操作用タッチパネル30と、出力操作用タッチパネル30の下方に配置され上記素材画像等を赤外線信号として携帯電話端末に向けて直接送信するための赤外線通信ポート(非接触通信ポート)31と、上記通信の際に必要な操作方法や効果音などを音声によって利用者に知らせるスピーカ32とを備えている。また、出力ユニット5は、前面下方に、編集ユニット4で編集操作が行われた合成画像を印刷した写真シールや写真カード等を取り出す取出口33を備えている。
【0052】
出力操作用タッチパネル30は、利用者が合成画像を印刷された写真シールを携帯電話端末でも見たい場合に、上記赤外線通信機能(またはその他の近接無線通信機能)を備えた携帯電話端末に送信するのに必要な各種操作を受け付けるための操作画面を提供するように構成されていている。
【0053】
このような出力ユニット5も、撮影ユニット3と同様のコンピュータを中心に構成され各部の制御等を行う制御装置および編集ユニット4等と通信を行うためのネットワークアダプタ等を内蔵しているほか、合成画像を写真シール等として印刷するネットワークプリンタ35を備えている。
【0054】
以上のような構成において、利用者は、撮影室2において撮影を行った後、編集ユニット4の落書きブースAまたは落書きブースBの編集操作用タッチパネル400を使用することにより、撮影画像に基づいて生成された落書き対象画像に対して落書きを行う。そして、利用者は、落書きによって生成された合成画像をネットワークプリンタによって印刷したり、赤外線通信機能を有する携帯電話端末に画像を送信し、携帯電話端末で受信した画像を端末画面に表示させたりする。
【0055】
<2.機能的構成>
図6は、本実施形態に係る遊戯用写真作成装置の要部を機能面から見た構成を示すブロック図である。図6に示されるようにこの遊戯用写真作成装置は、機能的には、主として利用者を撮影する処理(撮影処理)を行うための撮影処理部7と、主として落書き対象画像に対する利用者の落書き操作に応じて当該落書き対象画像の編集処理を行うための編集処理部8と、編集処理が行われた落書き対象画像を写真シール等として出力したり、赤外線通信を利用して携帯電話端末に出力したりする処理(出力処理)を行う出力処理部9とから構成されている。
【0056】
撮影処理部7は、第1の制御部70と、撮像部71と、第1の表示・操作部72と、I/O制御部73と、照明部74と、第1の通信部75とによって構成されている。編集処理部8は、第2の制御部80と、第2の表示・操作部81、82と、第2の通信部83とによって構成されている。出力処理部9は、第3の制御部90と、第3の表示・操作部91と、印刷出力部92と、音声出力部93と、非接触通信部94と、第3の通信部95とによって構成されている。ネットワークアダプタである第1、第2および第3の通信部75、83、95は、LAN(Local Area Network)であるネットワーク6を介してそれぞれ相互に通信可能となっている。
【0057】
撮像部71は、CCD等の撮像素子を用いて構成されるカメラ10に相当し、リアルタイムに画像を取り込んで当該画像(撮影画像)を表す画像信号を出力する。この画像信号は第1の制御部70に入力されて、その内部のメモリに撮影画像データとして一時的に記憶される。また、この撮影画像データは撮影画像信号として第1の制御部70から第1の表示・操作部72に供給され、当該撮影画像信号に基づく撮影画像がリアルタイムに表示される。
【0058】
第1の表示・操作部72は、撮影操作用タッチパネル20に相当し、撮影画像に合成されるべき背景画像および前景画像を選択する操作や、出力されるべき写真のレイアウトを決定するための利用者の操作やシャッター操作等を受け付ける。これらの操作を示す信号は、操作信号として第1の制御部70に入力される。ここで、利用者を撮影するための(選択された撮影メニューに対応する)所定の処理が開始されると、第1の表示・操作部72に利用者のための案内が表示され、その後の第1の制御部70からの指示に基づき、数秒程度の予め決められた時間の経過後にカメラ10の撮影方向にストロボ11〜14から閃光が放たれる。そのとき、利用者の撮影画像を表す信号として撮像部71から出力される画像信号が第1の制御部70に入力され、第1の制御部70内のメモリまたは補助記憶装置としてのハードディスク装置等に撮影画像データとして格納される。
【0059】
照明部74は、カメラ10の上下左右の位置に配置されたストロボ11、12、13L、13R、14に相当し、第1の制御部70からの指示に基づきI/O制御部73によって点灯/消灯および調光が制御される。I/O制御部73は、撮影ユニット3に内蔵されるI/O制御装置に相当し、第1の制御部70からの指示に基づき、照明部74を制御する。また、後述のコイン検出部(不図示)からの検出信号等の入力信号を第1の制御部70へ転送する。第1の通信部75は、撮影ユニット3に内蔵されるネットワークアダプタに相当し、ネットワーク6を介したデータ送受信の際のインタフェースとして機能する。
【0060】
第1の制御部70は、撮影ユニット3に内蔵され、CPU、メモリ、フレームバッファ、タイマー、補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、上述のようにして入力される操作信号等に基づき各部を制御するために、上述のように各部に指示を出す。また撮影された画像に基づいて落書き対象画像を生成する。生成された落書き対象画像はフレームバッファに書き込まれることにより、第1の表示・操作部72に表示される。さらに、第1の制御部70は、落書き対象画像に所定の背景画像や前景画像を描画した画像である合成画像を生成する。この落書き対象画像には、詳しくは後述するようにマスクの作成に使用されるキー色となる背景色が付されており、周知のクロマキー合成処理の手法に基づき、利用者の像のみを含む撮影画像部分を抽出し、当該撮影画像部分が背景画像中に嵌め込まれるように合成する。なお、撮影画像または利用者の像のみを含む撮影画像部分に対して後述する各種補正処理がなされる。このように生成された合成画像はフレームバッファに書き込まれることにより第1の表示・操作部72に表示される。こうして撮影および合成画像の生成が終了すると、生成された合成画像は利用者の入力操作に応じて適宜選択された後、第1の通信部75を介して、編集ユニット4に対応する第2の制御部80へ送られる。
【0061】
上記の構成要素の他、撮影ユニット3におけるコイン投入口26に投入されたコインを検出するためのコイン検出部(不図示)が更に撮影ユニット3に設けられており、第1の制御部70は、コイン検出部での検出結果に基づき、利用者に所定時間だけ撮影や背景画像および前景画像の選択や落書き等、本遊戯用写真作成装置によるプレイを許容するように各部を制御する。このコイン検出部による検出動作やその検出結果に基づく第1の制御部70による制御動作は、従来の遊戯用写真作成装置と同様であって周知であるので、その詳しい説明を省略する。
【0062】
第2の制御部80は、編集ユニット4に内蔵され、CPU、メモリ、フレームバッファ、および補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、落書き編集処理に関する全体の制御を行う。また、第2の制御部80は、第1の制御部70から送られてきた撮影画像に対する落書き処理を行うための操作信号に基づき、落書き対象画像に所定画像を描画した画像である合成画像を生成する。生成された合成画像は利用者の指示に応じて対応する第2の表示・操作部81、82に表示される。上記のような合成画像の生成が終了すると、当該合成画像は出力ユニット5に送られる。なお、印刷出力部92が別の合成画像を出力中である場合には、その旨が表示されるとともに終了を待って送られる。
【0063】
第2の表示・操作部81、82は、主として落書きのためのGUI表示手段として機能する編集操作用タッチパネル400に相当し、タッチペンを用いた利用者の操作を受け付ける。第2の通信部83は、編集ユニット4に内蔵されるネットワークアダプタに相当し、ネットワーク6を介したデータ送受信の際のインタフェースとして機能する。
【0064】
第3の制御部90は、出力ユニット5に内蔵され、CPU、メモリ、フレームバッファ、タイマー、および補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、出力処理に関する全体の制御を行う。第3の制御部90は、第2の制御部80から送られてきた合成画像を合成画像データとしてメモリに格納する。印刷出力部92は出力ユニットに内蔵されるネットワークプリンタ35に相当し、メモリに格納された複数の合成画像データを(適宜にレイアウトした)写真シール(または写真カード)として印刷する。印刷された写真シール等は、出力ユニット5の正面下方に設けられた取出口33から取り出される。
【0065】
また、第3の制御部90は、編集ユニット4から送られてきた合成画像に基づいて写真シール等の印刷処理を開始すると同時に、利用者が作成した合成画像のデータを携帯電話端末にダウンロードできるように、利用者の入力操作を受け付けるための操作画面を第3の表示・操作部91に表示する。この第3の表示・操作部91は出力操作用タッチパネル30に相当し、受け付けた入力操作を操作信号として第3の制御部90に入力する入力手段として機能する。
【0066】
第3の制御部90は、入力された操作信号に基づき、利用者の携帯電話端末に画像データを送信するように非接触通信部94に対して指示を出す。非接触通信部94は赤外線通信ポート31に相当する。上記画像データは、非接触通信部94から非接触通信方式の赤外線信号として利用者の携帯電話端末に直接送信される。第3の通信部95は、出力ユニット5に内蔵されるネットワークアダプタに相当し、ネットワーク6を介したデータ送受信の際のインタフェースとして機能する。
【0067】
ここで、第3の制御部90は、上記入力操作が行われていない間、補助記憶装置に予め記憶されているデモ画像(デモンストレーション用の画像)やミニゲームの画像等をフレームバッファに書き込むことにより第3の表示・操作部91に表示する。また音声出力部93は、スピーカ32に相当する。音声出力部93は、第3の表示・操作部91に表示される操作画面と連動して入力操作方法を利用者に説明し、また第3の表示・操作部91にデモ画像やミニゲームが表示されているときに楽曲や効果音等を流す。
【0068】
ここで、各制御装置において実行される上記所定プログラムは、例えば、そのプログラムを記録した記録媒体であるDVD−ROMによって提供される。すなわち、上記所定プログラムの記録媒体としてのDVD−ROMが補助記憶装置として制御装置内に内蔵されたDVD−ROM駆動装置に装着され、そのDVD−ROMから所定プログラムが読み出されて補助記憶装置としてのハードディスク装置にインストールされる。また、上記所定プログラムは、DVD−ROM以外の記録媒体(CD−ROM等)や通信回線を介して提供されてもよい。そして、本遊戯用写真作成装置の起動のための操作がなされると、ハードディスク装置にインストールされた所定プログラムは、制御装置内のメモリに転送されてそこに一時的に格納され、制御装置内のCPUによって実行される。これにより、制御装置による上記各部の制御処理が実現される。
【0069】
なお、上記第1から第3までの制御部70,80,90は、異なるユニットに内蔵される異なるコンピュータを含む装置に相当するものとして説明したが、このような構成は一例であって、上記第1から第3までの制御部70,80,90は、2つ以下または4つ以上の装置により実現されてもよい。この場合には各装置において、それぞれ実現されるべき機能に応じたプログラムが実行される。また、撮影ユニット3、編集ユニット4、および出力ユニット5についても、2つ以下または4つ以上のユニットにより構成されてもよい。
【0070】
<3.遊戯用写真作成装置における処理手順>
上述したように、この遊戯用写真作成装置には、撮影ユニット3と編集ユニット4と出力ユニット5とが含まれている。撮影ユニット3では撮影処理が行われ、編集ユニット4では後述する落書き編集処理が行われ、出力ユニット5では出力処理が行われる。なお、或る利用者が撮影ユニット3でプレイしている時に他の利用者は編集ユニット4でプレイし、さらに他の利用者は出力ユニット5で合成画像を出力することができるように構成されている。すなわち、この遊戯用写真作成装置は、撮影処理と落書き編集処理と出力処理とを並行して行うことができる。以下に、撮影処理、落書き編集処理、および出力処理の手順の概要について説明する。
【0071】
<3.1 撮影処理>
図7は、本実施形態における撮影処理の手順を示すフローチャートである。この遊戯用写真作成装置が使用されていない時(プレイが行われていない時)には、撮影操作用タッチパネル20にはデモ画像が表示されている。デモ画像の表示中に利用者がコイン投入口26にコインを投入すると、プレイが開始される(ステップS100)。
【0072】
プレイが開始されると、第1の制御部70は、利用者による撮影モードの選択を受け付ける(ステップS110)。ステップS110では、例えば画質(具体的にはコントラストが高いくっきりとした画質、柔らかなふんわりとした画質、または透明感のあるクールな画質のうちのいずれか)を選択し、明るさを選択し、自動で撮影するか手動で撮影するかを選択し、自動で撮影する場合には撮影用テーマの選択が行われる。この場合、第1の制御部70は、予め用意された複数の撮影用テーマの中から1つ以上の撮影用テーマを利用者に選択させるための画面を撮影操作用タッチパネル20に表示し、利用者による選択操作を受け付ける。そして、第1の制御部70は、利用者の選択操作に基づいて選択情報を取得し、選択された撮影用テーマに基づいて、撮影の際に使用するフレームと背景との組み合わせを決定する。また手動で撮影する場合は、上記フレームと背景とを利用者が自由に決定する。その後、処理はステップS120に進み、撮影が行われる。この撮影により、撮影画像データが第1の制御部70のメモリに格納される。
【0073】
ステップS130では、撮影画像に基づいて生成された落書き対象画像(撮影画像を含む画像)が、撮影操作用タッチパネル20に表示される。詳しくは、ステップS130の処理が行われる都度、図5に示した撮影操作用タッチパネル20の落書き対象画像表示領域203に落書き対象画像が順次追加表示される。その後、処理はステップS140に進み、第1の制御部70は、予め定められた枚数の撮影が終了したか否かを判定する。判定の結果、当該枚数の撮影が終了していれば処理はステップS150に進み、当該枚数の撮影が終了していなければステップS120に戻る。なお、実際には撮影のための制限時間(例えば3分)が設けられる。
【0074】
ステップS150では、複数の落書き対象画像の中から実際の落書き対象となる画像の(利用者による)選択が行われる。具体的には、第1の制御部70は、落書きおよび印刷に使用する画像を利用者に選択させるために、落書き対象画像の一覧を撮影操作用タッチパネル20に表示し、利用者による選択操作を受け付ける。ステップS150の終了後、処理はステップS160に進む。
【0075】
ステップS160では、選択された落書き対象となる画像に対して周知の歪曲収差、典型的には広角レンズを使用するカメラ10によって生じる樽型歪みを解消するための補正処理が行われる。この補正処理は、例えば方形の画像を糸巻き型に変形するような縮小変形処理を行うものである。このような補正処理は周知であるので詳しい説明は省略する。また、ここで幾何学歪み、例えば立位姿勢の利用者に対してカメラの撮影位置が比較的高いことから生じる(足が短く見えるような)歪みを補正する処理を行ってもよい。ステップS160の終了後、処理はステップS170に進む。
【0076】
ステップS170では、歪曲収差が補正された落書き対象となる画像に対してクロマキー合成処理が行われる。このクロマキー合成処理は、一般的にはクロマキーマスクを作成する処理と、背景画像を合成する処理とを含む。クロマキーマスクとは、例えば周知の合成マスク(アルファチャネル)であって、対象となる撮影画像のうちのキー色(ここでは青色または緑色)を有する領域、すなわち撮影室2の背面の像が占める領域を透明とし、それ以外の領域を非透明とするためのデータである。この合成マスクは一般的には対象となる画像の画素毎に0(完全透明)または255(完全非透明)の透過度を示す値αが設定される。このようなクロマキーマスクを使用することにより、撮影画像の非透明領域(α=255)に相当する背景画像の領域は隠され(マスクされ)、その透明領域(α=0)に相当する背景画像の領域は見えるように合成される。そのため、あたかも対象となる撮影画像の非透明領域の部分が切り取られ、切り取られた当該部分が上記背景画像に対して貼り付けられたような合成画像が得られる。このようなクロマキー処理によって遊戯性の高い写真作成を行うことができる。なお、この背景画像は撮影中に利用者によって適宜選択されるが、後述する落書き処理中に利用者の選択操作に応じて選ばれてもよい。
【0077】
ステップS180では、クロマキー合成処理がなされた落書き対象画像に対して、撮影対象となる利用者の足部分が不自然に写らないよう、本実施形態の特徴的な処理である脚バランス補正処理が行われる。なお、この上記落書き対象画像に変えて、撮影画像そのものに対して脚バランス補正処理を行ってもよいし、クロマキー合成前の上記透明領域に対応する利用者の像のみを含む撮影画像部分(以下「利用者画像」という)に対して脚バランス補正処理を行ってもよい。この脚バランス処理は、複数の処理態様が考えられ、それらの処理内容は詳しく後述する。そして、第1の制御部70は、以上のように補正された画像を実際の落書き対象画像として第2の制御部80に送る。ステップS180の終了後、処理はステップS190に進む。
【0078】
ステップS190では、案内画面の表示が行われる。具体的には、第1の制御部70は、利用者を編集ユニット4のいずれか(4aまたは4b)に導くための画面を撮影操作用タッチパネル20に表示する。これにより、撮影処理が終了する。
【0079】
<3.2 落書き編集処理>
図8は、本実施形態における落書き編集処理の手順を示すフローチャートである。第2の制御部80が所定のプログラムに基づき図8に示すように動作することで、この落書き編集処理が実現される。この処理では、上述した撮影処理の終了後、第2の制御部80は、ネットワーク(LAN)6を介して第1の制御部70から送られる落書き対象画像(図7のステップS150で利用者によって選択され、ステップS160,S170で補正された画像)を取得する(ステップS200)。その後、タイマー46が所定の時間(具体的には、落書きを許可する時間)に設定され、カウントダウンが開始される(ステップS210)。
【0080】
タイマー46のカウントダウン開始後、編集ユニット4を構成するユニット4a,4bのそれぞれの編集操作用タッチパネル400において、落書き編集操作画面が表示され、利用者による落書き操作(描画操作)が受け付けられる(ステップS232〜S236)。なおこの落書き編集処理時において、編集ユニット4では、撮影画像に基づく落書き対象画像に対する編集操作の他に、デコメール画像等の素材画像を作成するための編集操作が受け付けられてもよい。
【0081】
具体的には、編集操作画面内のボタンやツールなどの1つをタッチペンでタッチすると、その座標値が入力され(S232)、対応する落書き画面処理(S234)が行われる。その後ステップS236においてタイマー46の残り時間が0になる(または利用者が終了させる操作を行う)ことにより落書きが終了したかが判定され、終了していない場合(S236においてNoの場合)にはステップS232に戻り、落書きが終了するまで処理が繰り返され、落書きが終了した場合(S236においてYesの場合)には、処理はステップS240に進む。
【0082】
ステップS240では、出力される写真の分割パターンの選択が行われる。具体的には、第2の制御部80は、予め用意された複数の分割パターンの中からいずれかの分割パターンを利用者に選択させるための画面を編集操作用タッチパネル400に表示し、利用者による選択操作を受け付ける。そして、第2の制御部80は、利用者の選択操作に基づいて、選択情報を取得する。ステップS240の処理が終了した後、ステップS250の処理に進む。
【0083】
ステップS250では、案内画面の表示が行われる。具体的には、第2の制御部80は、利用者を出力ユニット5に導くための画面を編集操作用タッチパネル400に表示する。これにより、落書き編集処理が終了する。落書き編集処理が終了すると、出力ユニット5において、編集ユニット4から送られてきた合成画像に基づいて写真シール等の印刷処理が開始されることなどについては前述した通りである。
【0084】
以上のような処理のうち、前述したようにステップS180における脚バランス補正処理が特徴的な内容となっており、複数の処理態様が考えられる。以下、順に具体的に説明する。なお、この脚バランス補正処理(S180)は、第1の制御部70によって、撮影終了直後に行われるが、第2の制御部80によって行われてもよいし、落書き操作中に例えば利用者の指示に応じて行われる構成であってもよい。
【0085】
<3.3 脚バランス処理の具体的な内容>
<3.3.1 第1の処理態様>
図9は、カメラ位置近傍から見た利用者U1,U2と背景との位置関係を簡略に示す図であり、図10は、撮影室側面方向から見た利用者Uと背景との位置関係を簡略に示す図である。
【0086】
図9に示されるように、利用者U1,U2は、撮影室2内部のクロマキー色を付された背面110を背にして、クロマキー色が付された床面120の上に立っている。背面(背景)110および床面120のうち、カメラ10により撮影される撮影範囲101は点線で示されている。ここで利用者U1,U2は並んで立っており、背面からその足首までの距離はほぼ同一であるものとする。したがって、図10では、利用者U1,U2を特に区別せず利用者Uとして示している。
【0087】
図10を参照すれば分かるように、カメラ10の画角に応じて、(利用者Uを含む)点線で囲まれた領域内の対象物がカメラ10により撮影されることになるが、立位姿勢の利用者Uの足首からつま先までは、床面120に対して平行に位置することになる。そしてカメラ10から足首までの図中では一点鎖線で示される線分と床面120とのなす角が45度より大きい場合には、カメラ10により撮影された利用者Uの足首からつま先までの部分の長さは、実際の長さよりも長く写ることになる。また、上記角度が45度以下である場合であっても、人物写真を見るときの仮想的な(または心理的な)視点位置は、実際のカメラの位置よりも人物から離れた位置に置かれることが多い。特に、カメラ10の撮影位置が床面から高い位置にあることによって足が短く見える(写る)ことを防止するため、前述したステップS160において歪曲収差補正とともに幾何学歪み補正等を行う場合には、実際のカメラの位置よりも離れた(やや下方の)位置に仮想的な視点が置かれることが多い。そのため、上記角度に関わらず、撮影画像に含まれる利用者Uの足首からつま先までの長さが不自然に長く伸びているように感じられることがある。
【0088】
そこで、ステップ180に示される脚バランス処理の第1の態様では、利用者Uの足首からつま先までを含む画像部分(以下「足先画像」という)を下方向に縮小するとともに、利用者Uの膝から足首までを含む画像部分(以下「脚部画像」という)を下方向に拡大することにより、上記不自然な見え方を解消する。
【0089】
なお、利用者Uの足首からつま先までの長さを、不自然に長く伸びていると感じられない程度に縮小し、上記脚部画像を拡大する処理を行わない構成も考えられる。この構成によって、撮影対象となる利用者の足部分が不自然に写らないように(不自然に長く見えないように)することができる。ただし、この拡大処理だけでは、足首からつま先までの長さのみを縮小すると、その部分だけが小さくなったことによる違和感を生じることがある。また、ステップS160において幾何学歪み補正等を行うことにより、足が短く見えないよう補正する処理がなされる場合であっても、足首からつま先までの長さだけを縮小すると、足が全体として短く見える(写る)ことがある。さらに利用者Uの膝から足首まで長さを伸ばすように脚部画像を拡大することにより、利用者Uのスタイルが(実際よりも)良く見える効果も得られる。そのため、上記足先画像の縮小とともに、上記脚部画像の拡大を合わせて行うのが好適である。
【0090】
また、利用者Uの膝付近から足首付近までの長さを伸ばすようにすることは、スタイルよく見せるために好適であるが、たとえば利用者Uの太ももや足の付け根、または腰付近(若しくはそれより上の所定位置)から足首付近までの長さを伸ばすようにしても全体としてスタイルよく見せることはできる。そのため、脚部画像は、上記のように膝付近から足首付近を含む画像部分に限られるわけではなく、およそ利用者Uの足の全部または一部を含む画像部分であればよい。
【0091】
ここで第1の処理態様では、利用者Uの足首位置および膝位置は、予め定められた位置に決定される。すなわち、利用者が立位姿勢をとる場合、手や肘の位置は様々に変化するため、予め定めることは不可能に近い。しかし、平均的な身長の利用者の足首や膝の位置のうち、カメラ10から見て左右方向における(立ち)位置を予め定めることは困難であっても、カメラ10から見て上下方向における(立ち)位置を予め定めることは比較的容易である。なぜなら、限定された撮影室2内で背面を背にする利用者は、当該背面からほぼ等しい距離を空けて立つことが多く、したがって、足を大きく振り上げるなどの姿勢を取らない限り、利用者Uの足首位置および膝位置は、ほぼ一定の位置(高さ)になるからである。そこで、撮影画像における利用者Uの足首位置および膝位置であると(比較的高い確度で)推測される予め定められた足首位置および膝位置に基づき、上記足先画像の縮小と脚部画像の拡大とを行う。以下、図11および図12を参照して、この第1の処理態様の内容について説明する。
【0092】
なお、以下において足首や膝、足先などの位置とは、撮影画像(または利用者画像など)における上下方向(Y軸方向)の位置(すなわち左右方向(X軸方向)の位置を考慮しない位置)を指す。
【0093】
図11は、撮影画像における予め定められた足首位置および膝位置を示す図である。図11では、撮影範囲101に等しいものとして撮影画像111の範囲(外周)を点線で示している。前述のように、利用者Uの足首位置および膝位置は、ほぼ一定の位置(高さ)になるので、このことに基づき予め定められる足首位置は図中では線分Paとして示され、膝位置は図中では線分Pbとして示されている。
【0094】
したがって、脚部画像は、利用者U1,U2の足首位置を含むであろうと推測され、かつ利用者U1,U2の膝位置を含むであろうと推測される画像領域、すなわち線分Paを上辺とし線分Pbを下辺とし、これら上辺および下辺と撮影画像の左端(左辺)および右端(右辺)とで囲まれた領域と定めることができる。
【0095】
また、足先画像は、利用者U1,U2の足首位置を含むであろうと推測され、かつ利用者U1,U2の足先位置を含むであろうと推測される画像領域、すなわち線分Pbを上辺とし撮影画像の下端(下辺)を下辺とし、これらと撮影画像の左端(左辺)および右端(右辺)とで囲まれた領域と定めることができる。
【0096】
ここで、足先画像の下辺を撮影画像の下端(下辺)と一致させる場合には、利用者U1,U2の足先位置を含む可能性が極めて高いが、実際の足先位置は撮影画像の下端から離れた上方であることが多い。すなわち、前述のように、限定された撮影室2内で背面を背にする利用者は、当該背面からほぼ等しい位置に立つことが多く、したがって、利用者Uの足首位置および膝位置と同様に、足先位置もほぼ一定の位置(高さ)になる。よって、線分Pa,Pbと同様に足先位置を含むべき線分を設定することが可能であるので、この足先位置を含むべき線分を、撮影画像の下端に代えて、足先画像の下辺とすることもできる。
【0097】
次に、以上のようにして決定される足先画像および脚部画像は、利用者の像の一部であるため、利用者の像としての連続性が保たれるように縮小または拡大されなければならない。そこで、脚部画像は、線分Paである上辺を固定して下方へ拡大し、足先画像は、撮影画像の下端(または足先位置を含むべき線分)である下辺を固定して下方へ縮小するとともに、拡大された脚部画像の下辺と縮小された足先画像の上辺とが接するように画像変形処理を行う。この処理により得られる画像が脚バランス処理の第1の処理態様により最終的に得られる画像となる。
【0098】
図12は、脚バランス処理の第1の態様による処理の結果得られる画像を示す図である。図12に示されるように、脚部画像は拡大の前後でその上辺(ここでは線分Pa)の位置に変化はなく、足先画像は拡大の前後で下辺(ここでは撮影画像の下辺)の位置に変化はなく、上記画像変形処理により拡大された脚部画像と縮小された足先画像とが接する辺(図中では線分Pcとして示されている)の位置が線分Pbの位置から下方へ移動している。
【0099】
具体的には、足先画像は下方へ0.8倍(もちろんそれ以外の倍率であってもよい)に縮小されており、脚部画像は縮小された足先画像と接する位置まで拡大されている。このように、撮影画像における縮小前の足先画像の下端位置と縮小された足先画像の下端位置とを一致させ、かつ撮影画像における拡大前の脚部画像の上端位置と拡大された脚部画像の上端位置とを一致させるよう、足先画像を縮小し脚部画像を拡大すれば、画像変形処理後の利用者の像の連続性が保たれるとともに、利用者Uの足首からつま先までが不自然に長く見える(写る)状態を解消でき、利用者U1,U2の足をスタイル良く長く見せることができる。ここで足先画像を縮小する程度(縮小率)が決定されると、画像変形の前後で撮影画像の大きさが変わらない限り、脚部画像を拡大する程度(拡大率)は自ずと定まるが、画像変形の前後で撮影画像の大きさが変わるように構成されてもよく、上記縮小率と無関係に上記拡大率が定められてもよい。
【0100】
なお、上記足先画像は、線分Pbを上辺、撮影画像の下端または足先位置を含むべき線分を下辺とする撮影画像の矩形領域部分であり、脚部画像は、線分Paを上辺、線分Pbを下辺とする撮影画像の矩形領域部分であるものとして説明したが、これらの矩形領域に含まれる(クロマキー処理によって抽出された)利用者画像部分であってもよい。撮影画像に対して上記画像変形処理を行った後にクロマキー処理を行う場合と、クロマキー処理後の利用者画像に対して上記画像変形処理を行う場合とで変わりはないからである。
【0101】
また前述したように、脚部画像は、利用者Uの膝近傍から足首近傍までを含むものでなくてもよいので、例えば一般的な利用者Uの腰近傍から足首近傍までを含む撮影画像部分が脚部画像であってもよい。この場合には、図11における線分Pbの位置が(一般的な利用者の)膝位置(膝の高さ)ではなく、腰位置(腰の高さ)となる。そのため、一般的な利用者より相当に背が低い利用者(典型的には子供)や、しゃがんだ姿勢の利用者などが撮影対象に含まれている場合、上記画像変形処理により脚部画像を拡大すると違和感を生じる合成画像が生成されることがある。特に、線分Pa,Pbの間に利用者の顔部分が位置することにより、脚部画像に顔の像が含まれる場合、画像の拡大によって顔の形が変形してしまうため、特に違和感を生じることになる。
【0102】
そこで、ステップ180に示される脚バランス処理の第1の態様における変形例として、脚部画像に利用者Uの顔の像が含まれる場合には、脚部画像を下方向に一切拡大しないか、または拡大する程度(拡大率)を小さくする構成が考えられる。このように構成すれば、顔が変形するような違和感を解消または低減することができる。具体的には、第1の制御部70は、脚部画像である線分Pa,Pbの間の撮影画像中に、人物の顔の像が含まれているか否かを周知のパターン認識などの手法に基づく顔認識処理により判定し、当該顔認識処理によって顔の像が含まれていると判定されない場合には、上記第1の態様と同一の処理を行い、含まれていると判定される場合には、脚部画像を下方向に一切拡大しないか、または拡大率を小さく設定した後に拡大し、足首画像を縮小する。そうすれば、利用者Uの足首からつま先までが不自然に長く見える状態を解消しつつ、撮影画像に写る利用者の顔が変形するような違和感を解消または低減することができる。なお、上記顔認識には顔検出用LSIチップなどのハードウェアを使用してもよい。そうすればソフトウェア処理の場合よりも顔検出を高速化することができる。
【0103】
以上のような上記脚バランス処理の第1の態様における画像変形処理は、ステップS160における歪曲収差補正や、ステップS170におけるクロマキー合成処理を前提にするものではないため、これらの処理を省略してもよいし、これらの処理の間や前に行ってもよい。また、ステップS160における歪曲収差補正と同時に行う構成であってもよい。
【0104】
さらにステップS170におけるクロマキー合成処理を画像変形処理と関連付け、このクロマキー合成処理により得られる利用者画像に基づき、利用者U1,U2の(実際の)足首位置および膝位置を検出する構成も考えられる。そうすれば、正確な足首位置および膝位置が得られるので、利用者Uの足首からつま先までが不自然に長く見える状態をより確実に解消でき、また利用者U1,U2の足をよりスタイル良く長く見せることができる。以下、上記利用者画像を利用した脚バランス処理の第2の態様について説明する。
【0105】
<3.3.2 第2の処理態様>
この第2の処理態様では、上記第1の処理態様とは異なり、利用者画像に基づき、利用者U1,U2の実際の足首位置および膝位置を検出する。この足首位置および膝位置を検出する方法としては、周知のパターンマッチングに基づく画像認識手法など、様々な方法が考えられる。
【0106】
例えば、各利用者に対応する利用者画像の上下方向の長さ(具体的には頭の上端から足先までの長さ)に基づき、足首位置および膝位置を算出してもよい。なぜなら、人間の足首位置および膝位置は、身長に対して所定の割合で定まる位置にあることが多いからである。
【0107】
また、利用者画像の左右方向の幅から(典型的には最も幅が大きい位置で)腰の位置を検出し、当該腰の位置(および足先位置など)を上記上下方向の長さとともに判断対象とすることにより、足首位置および膝位置を算出してもよい。腰の位置から足の長さが定まることが多いからである。
【0108】
さらに、利用者画像の形状を解析することにより、当該利用者画像のそれぞれの足部分に対応する画像における足先からの最初の屈曲位置を足首位置とし、二番目の屈曲位置を膝位置として検出してもよい。
【0109】
さらにまた、様々な姿勢をとる利用者を撮影することにより得られる数多くの利用者画像の画像パターンとその足首位置および膝位置とを対応付けて予め記憶しておき、上記クロマキー処理により得られる利用者画像とその形状が近似する画像パターンを検索し、当該画像パターンに対応する足首位置および膝位置を、本両者画像における足首位置および膝位置として検出してもよい。
【0110】
以上のようにして足首位置および膝位置を検出すれば、上記第1の処理態様における線分Pa,Pbを設定することができるので、上記第1の処理態様と同様に画像変形処理を行うことにより、同様に利用者Uの足首からつま先までが不自然に長く見える状態を解消でき、利用者U1,U2の足をスタイル良く長く見せることができる。
【0111】
なお、本第2の処理態様においても第1の処理態様と同様に、上記足先画像および脚部画像は、撮影画像の矩形領域部分である必要はなく、これらの矩形領域に含まれる(クロマキー処理によって抽出された)利用者画像部分であってもよい。
【0112】
また、第1の態様における変形例と同様に、脚部画像に利用者Uの顔の像が含まれる場合には、脚部画像を下方向に一切拡大しないか、または拡大する程度(拡大率)を小さくしてもよい。このように構成すれば、顔が変形するような違和感を解消または低減することができる。
【0113】
ここで、上記第2の処理態様では、利用者U1,U2の各足首位置および各膝位置は、それぞれ同一かまたはほぼ変わらない位置にあるものとして説明したが、これらが異なる場合には、全ての位置を平均化したり、最も異なる1つを除いて平均化したり、または代表的な1つの位置に基づいて決定するなど様々な手法などが考えられる。
【0114】
もっとも、さらに正確な画像変形処理を行うためには、利用者U1,U2の各足首位置および各膝位置を個別に検出した上で、個別に(すなわち各利用者の片足ずつについて)画像変形処理を行う必要がある。そこでこのように個別の画像変形処理を行う、脚バランス処理の第3の態様について、図13および図14を参照して説明する。
【0115】
<3.3.3 第3の処理態様>
図13は、撮影画像における検出された各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を示す図である。図中では、利用者U2の左足(図では右側の足)がややカメラ位置から後方(撮影室2の背面に近づく方向)に置かれており、その結果、利用者U2の左足の足首の位置(高さ)が利用者U1の両足首の位置および利用者U2の右足の足首の位置(高さ)とは異なっている。なお、このような違いは説明を簡単にするための例示であって、各利用者の各足首の位置および各膝の位置は、いずれか一箇所以上が異なっていればよく、実際には全て同一であってもよい。
【0116】
また図中では、利用者U1,U2の膝位置(を含む線分の位置)はhaとして示され、利用者U1の両足首および利用者U2の右足の足首の位置(を含む線分の位置)はhbとして示され、利用者U2の左足の足首の位置(を含む線分の位置)はhbとして示されている。
【0117】
さらに、この第2の処理態様では、足先の位置も検出される構成であって、利用者U1の両足の足先および利用者U2の右足の足先の位置(を含む線分の位置)はhcとして示され、利用者U2の左足の足先の位置(を含む線分の位置)はheとして示されている。
【0118】
なお、足先の位置は利用者画像の各下端であるため容易に検出することができ、足首おおよび膝の位置は、各種画像認識手法により検出することができることは前述したとおりである。
【0119】
ここで、クロマキー処理に基づき生成される利用者画像のうち、利用者U1の右足(図では左側の足)における脚部画像A11aは、膝位置haを上限とし足首位置hbを下限とする利用者画像部分であり、足先画像A11bは、足首位置hbを上限とし足先位置hcを下限とする利用者画像部分である。そして、足先画像A11bを足先位置hcに向かって下方向へ0.8倍に縮小するとともに、脚部画像A11aを縮小後の足先画像A11bと接するように足先位置hcに向かって下方向へ拡大する。
【0120】
また、利用者U1の左足における脚部画像A12aおよび足先画像A12bと、利用者U2の右足における脚部画像A21aおよび足先画像A21bとについては、上記利用者U1の右足における脚部画像A11aおよび足先画像A11bと同一の足首位置および膝位置であるので、同一の拡大縮小処理が行われる。
【0121】
さらに、利用者U2の左足における脚部画像A22aは、膝位置haを上限とし足首位置hdを下限とする利用者画像部分であり、足先画像A22bは、足首位置hdを上限とし足先位置heを下限とする利用者画像部分である。この足首位置hdおよび足先位置heは、上記足首位置hbおよび足先位置hcとは異なるので、足先画像A22bを足先位置heに向かって下方向へ0.8倍に縮小するとともに、脚部画像A22aを縮小後の足先画像A22bと接するように足先位置heに向かって下方向へ拡大する。この画像変形処理における縮小率は他と同じであっても、(脚部画像A22aおよび足先画像A22bにおけるそれぞれ上下方向の長さが他と異なることにより)画像変形後の足首位置は、上記第1の処理態様による場合とは異なる。
【0122】
図14は、上記画像変形処理後の各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を含む利用者画像を示す図である。図14に示されるように、上記画像変形後の利用者U1の両足首および利用者U2の右足首の位置は、ともに足首位置hfであるが、利用者U2の左足首の位置は、足首位置hgであり、各利用者の各足毎に正確に足首位置が検出され、個別に適切な画像変形処理がなされている。すなわち、或る足首の位置が他の足首の位置とは異なる場合に、一律に上記画像変形処理を行うと、当該足首を含む脚部画像または足先画像の変形が適切なものではなくなることがある。本第3の処理態様によれば、このような不都合を解消することができ、各足に対して漏れなくより確実に、利用者Uのその他の足首からつま先までが不自然に長く見える状態を適切に解消することができ、また利用者U1,U2の足をよりスタイル良く長く見せることができる。
【0123】
なお、ここでは説明の便宜のために、拡大または縮小の方向は下方向であるように説明したが、これは通常、立位姿勢の利用者の各足は、床に対して垂直に伸びるためである。したがって、利用者の足毎に伸びる方向(例えば脚部画像および足先画像に含まれる最も離れた2点を結ぶ線分に沿った方向等)を算出し、足毎に算出された伸びる方向へ上記画像変形処理における拡大および縮小を行う構成であってもよい。また、各足における脚部画像と足先画像とについて個別にそれぞれの伸びる方向を算出し、拡大または縮小を行う構成であってもよい。
【0124】
また、以上では画像変形処理を各足において必ず行うものとして説明したが、例えば図15に示されるように足を大きく振り上げている場合など、足首から足先が床に対して平行またはほぼ平行になっていない場合(典型的には足先を床面から離して伸ばしている場合)、この足首からつま先までの足先画像に対して画像変形処理を行うと、かえって違和感を生じる場合も考えられる。
【0125】
図15は、図13に示す例とは異なる撮影画像における検出された各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を示す図である。この図15に示されるように、利用者U1,U2の膝位置ha、利用者U1の両足首および利用者U2の右足の足首位置hbおよび足先位置hcは、図13に示される場合と同一であるが、利用者U2の左足の足首位置hiおよび足先位置hjは、図13に示される場合よりもさらに上方にあって足先を伸ばす形(すなわち膝から足先までがほぼ同一直線上にある形)となっている。
【0126】
したがって、各足毎に適切な方向に拡大および縮小を行う第2の処理態様における画像変形処理を各足に対して行う場合、実際に伸びているはずの利用者U2の左足における足先の画像が縮小されるため、かえって違和感を生じることがある。そこで、例えば、同一の利用者U(ここでは利用者U2)の他方の足(ここでは右足)における足首位置よりも、当該足(ここでは左足)の足先位置が上である場合、当該足先は通常は床面から離れているため、床面と平行でなく伸ばされているものとして、当該足における脚部画像および足先画像に対しては、上記画像変形処理を行わないようにする。
【0127】
そうすれば、不自然に長く見えていない(すなわち実際に長く見えるべき)足首からつま先までを縮小することなく、利用者Uのその他の足首からつま先までが不自然に長く見える状態を適切に解消することができ、また利用者U1,U2の足をよりスタイル良く長く見せることができる。
【0128】
<4.効果>
以上のように本実施形態によれば、足先画像は下方に縮小され、脚部画像は縮小された足先画像と接する位置まで拡大されるので、利用者の像の連続性を保ちつつ、撮影対象となる利用者の足部分が不自然に写らないように(不自然に長く見えないように)することができ、利用者の足をスタイル良く長く見せることができる。
【符号の説明】
【0129】
3…撮影ユニット
4…編集ユニット
5…出力ユニット
6…ネットワーク(LAN)
10…カメラ
20…撮影操作用タッチパネル
30…出力操作用タッチパネル
35…ネットワークプリンタ
31…非接触通信ポート(赤外線ポート)
32…スピーカ
49L1、49L2…左画面用タッチペン
49R1、49R2…右画面用タッチペン
70…第1の制御部
72…第1の表示・操作部(撮影操作用タッチパネル)
80…第2の制御部(GUI制御装置)
81、82…第2の表示・操作部(編集操作用タッチパネル)
90…第3の制御部
91…第3の表示・操作部(出力操作用タッチパネル)
92…印刷出力部(ネットワークプリンタ)
101…撮影範囲
110…背面
400…編集操作用タッチパネル
U、U1、U2 …利用者
【特許請求の範囲】
【請求項1】
被写体である利用者を含む像を撮影する撮影手段と、前記撮影手段により得られる撮影画像を含む合成画像を写真として出力する出力手段とを備える自動写真作成装置であって、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成手段を備えることを特徴とする、自動写真作成装置。
【請求項2】
前記画像合成手段は、前記利用者の足首近傍から所定の上限位置までの像を含むべき脚部画像を前記方向に拡大し、縮小された足先画像と拡大された脚部画像とが接するように前記合成画像を生成することを特徴とする、請求項1に記載の自動写真作成装置。
【請求項3】
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記撮影画像において足首が写るべき予め定められた位置を含む線分を下辺とし、前記撮影画像において膝が写るべき予め定められた上限位置を含む線分を上辺とする矩形領域を前記脚部画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする、請求項2に記載の自動写真作成装置。
【請求項4】
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記撮影画像において足首が写るべき予め定められた位置を含む線分を上辺とし、前記撮影画像の下端を含む線分または前記撮影画像において足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域を前記足先画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする、請求項2または請求項3に記載に記載の自動写真作成装置。
【請求項5】
前記画像合成手段は、前記撮影画像における縮小前の前記足先画像の下端位置と前記縮小された足先画像の下端位置とを一致させ、かつ前記撮影画像における拡大前の前記脚部画像の上端位置と前記拡大された脚部画像の上端位置とを一致させるよう、前記足先画像を縮小し前記脚部画像を拡大することを特徴とする、請求項2から請求項4までのいずれか1項に記載の自動写真作成装置。
【請求項6】
前記脚部画像に前記利用者の顔の像が含まれるか否かを判定する顔検出手段をさらに備え、
前記画像合成手段は、前記顔検出手段によって前記顔の像が含まれないと判定される場合、前記脚部画像を前記方向に第1の拡大率で拡大し、前記顔検出手段によって前記顔の像が含まれると判定される場合、前記脚部画像を拡大しないか、または前記第1の拡大率よりも小さい第2の拡大率で前記脚部画像を前記方向に拡大することを特徴とする、請求項2に記載の自動写真作成装置。
【請求項7】
前記撮影手段による撮影対象であって、所定の色を付された被撮影面を有する背景提示手段と、
前記撮影画像に含まれる前記被撮影面の像が占める領域の色に対応するクロマキーマスクを作成するマスク作成手段と、
前記マスク作成手段により作成されたクロマキーマスクを使用することによって前記利用者の像のみを含む利用者画像を抽出する利用者画像抽出手段と
をさらに備え、
前記画像合成手段は、前記利用者画像を含む前記合成画像と、所定の背景付加画像とを合成するクロマキー処理を行うことにより、新たな合成画像を生成することを特徴とする、請求項2に記載の自動写真作成装置。
【請求項8】
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、前記利用者の足首の位置を検出する足首検出手段をさらに備え、
前記画像合成手段は、前記足首検出手段により検出される足首の位置に基づき、前記足先画像および前記脚部画像を定めることを特徴とする、請求項7に記載の自動写真作成装置。
【請求項9】
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記足首検出手段により検出される前記利用者の少なくとも1つの足首の位置に基づき算出される位置を含む線分を上辺とし、前記撮影画像の下端を含む線分または前記撮影画像において足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域または当該矩形領域内に含まれる前記利用者画像部分を前記足先画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする、請求項8に記載の自動写真作成装置。
【請求項10】
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、前記利用者の膝の位置を検出する膝検出手段をさらに備え、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記膝検出手段により検出される前記利用者の少なくとも1つの膝の位置に基づき算出される位置を含む線分を上辺とし、前記足首検出手段により検出される前記利用者の少なくとも1つの足首の位置に基づき算出される位置を含む線分を下辺とする矩形領域または当該矩形領域内に含まれる前記利用者画像部分を前記脚部画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする、請求項8または請求項9に記載の自動写真作成装置。
【請求項11】
前記足首検出手段は、前記利用者画像に基づき、一人以上の前記利用者の各足首の位置をそれぞれ検出し、
前記画像合成手段は、前記足首検出手段により検出される各足首の位置に基づき、前記各足首の像および当該各足首に対応する足先の像を含む前記利用者画像部分を前記各足首に対応する足先画像と定めるとともに、前記各足首および当該各足首に対応する前記上限位置の像を含む前記利用者画像部分を前記各足首に対応する脚部画像と定め、前記各足首に対応する縮小された足先画像と拡大された脚部画像とが前記各足首でそれぞれ接するように前記合成画像を生成することを特徴とする、請求項8に記載の自動写真作成装置。
【請求項12】
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、一人以上の前記利用者の各膝の位置をそれぞれ検出する膝検出手段をさらに備え、
前記画像合成手段は、前記膝検出手段により検出される前記各膝の位置を前記各足首に対応する前記上限位置として前記脚部画像を定めることを特徴とする、請求項11に記載の自動写真作成装置。
【請求項13】
被写体である利用者を含む像を撮影する撮影ステップと、前記撮影ステップにより得られる撮影画像を含む合成画像を写真として出力する出力ステップとを備える自動写真作成方法であって、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成ステップを備えることを特徴とする、自動写真作成方法。
【請求項14】
コンピュータである自動写真作成装置に、
被写体である利用者を含む像を撮影する撮影ステップと、
前記撮影ステップにより得られる撮影画像を含む合成画像を写真として出力する出力ステップと、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成ステップとを実行させることを特徴とする、プログラム。
【請求項1】
被写体である利用者を含む像を撮影する撮影手段と、前記撮影手段により得られる撮影画像を含む合成画像を写真として出力する出力手段とを備える自動写真作成装置であって、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成手段を備えることを特徴とする、自動写真作成装置。
【請求項2】
前記画像合成手段は、前記利用者の足首近傍から所定の上限位置までの像を含むべき脚部画像を前記方向に拡大し、縮小された足先画像と拡大された脚部画像とが接するように前記合成画像を生成することを特徴とする、請求項1に記載の自動写真作成装置。
【請求項3】
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記撮影画像において足首が写るべき予め定められた位置を含む線分を下辺とし、前記撮影画像において膝が写るべき予め定められた上限位置を含む線分を上辺とする矩形領域を前記脚部画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする、請求項2に記載の自動写真作成装置。
【請求項4】
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記撮影画像において足首が写るべき予め定められた位置を含む線分を上辺とし、前記撮影画像の下端を含む線分または前記撮影画像において足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域を前記足先画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする、請求項2または請求項3に記載に記載の自動写真作成装置。
【請求項5】
前記画像合成手段は、前記撮影画像における縮小前の前記足先画像の下端位置と前記縮小された足先画像の下端位置とを一致させ、かつ前記撮影画像における拡大前の前記脚部画像の上端位置と前記拡大された脚部画像の上端位置とを一致させるよう、前記足先画像を縮小し前記脚部画像を拡大することを特徴とする、請求項2から請求項4までのいずれか1項に記載の自動写真作成装置。
【請求項6】
前記脚部画像に前記利用者の顔の像が含まれるか否かを判定する顔検出手段をさらに備え、
前記画像合成手段は、前記顔検出手段によって前記顔の像が含まれないと判定される場合、前記脚部画像を前記方向に第1の拡大率で拡大し、前記顔検出手段によって前記顔の像が含まれると判定される場合、前記脚部画像を拡大しないか、または前記第1の拡大率よりも小さい第2の拡大率で前記脚部画像を前記方向に拡大することを特徴とする、請求項2に記載の自動写真作成装置。
【請求項7】
前記撮影手段による撮影対象であって、所定の色を付された被撮影面を有する背景提示手段と、
前記撮影画像に含まれる前記被撮影面の像が占める領域の色に対応するクロマキーマスクを作成するマスク作成手段と、
前記マスク作成手段により作成されたクロマキーマスクを使用することによって前記利用者の像のみを含む利用者画像を抽出する利用者画像抽出手段と
をさらに備え、
前記画像合成手段は、前記利用者画像を含む前記合成画像と、所定の背景付加画像とを合成するクロマキー処理を行うことにより、新たな合成画像を生成することを特徴とする、請求項2に記載の自動写真作成装置。
【請求項8】
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、前記利用者の足首の位置を検出する足首検出手段をさらに備え、
前記画像合成手段は、前記足首検出手段により検出される足首の位置に基づき、前記足先画像および前記脚部画像を定めることを特徴とする、請求項7に記載の自動写真作成装置。
【請求項9】
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記足首検出手段により検出される前記利用者の少なくとも1つの足首の位置に基づき算出される位置を含む線分を上辺とし、前記撮影画像の下端を含む線分または前記撮影画像において足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域または当該矩形領域内に含まれる前記利用者画像部分を前記足先画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする、請求項8に記載の自動写真作成装置。
【請求項10】
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、前記利用者の膝の位置を検出する膝検出手段をさらに備え、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記膝検出手段により検出される前記利用者の少なくとも1つの膝の位置に基づき算出される位置を含む線分を上辺とし、前記足首検出手段により検出される前記利用者の少なくとも1つの足首の位置に基づき算出される位置を含む線分を下辺とする矩形領域または当該矩形領域内に含まれる前記利用者画像部分を前記脚部画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする、請求項8または請求項9に記載の自動写真作成装置。
【請求項11】
前記足首検出手段は、前記利用者画像に基づき、一人以上の前記利用者の各足首の位置をそれぞれ検出し、
前記画像合成手段は、前記足首検出手段により検出される各足首の位置に基づき、前記各足首の像および当該各足首に対応する足先の像を含む前記利用者画像部分を前記各足首に対応する足先画像と定めるとともに、前記各足首および当該各足首に対応する前記上限位置の像を含む前記利用者画像部分を前記各足首に対応する脚部画像と定め、前記各足首に対応する縮小された足先画像と拡大された脚部画像とが前記各足首でそれぞれ接するように前記合成画像を生成することを特徴とする、請求項8に記載の自動写真作成装置。
【請求項12】
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、一人以上の前記利用者の各膝の位置をそれぞれ検出する膝検出手段をさらに備え、
前記画像合成手段は、前記膝検出手段により検出される前記各膝の位置を前記各足首に対応する前記上限位置として前記脚部画像を定めることを特徴とする、請求項11に記載の自動写真作成装置。
【請求項13】
被写体である利用者を含む像を撮影する撮影ステップと、前記撮影ステップにより得られる撮影画像を含む合成画像を写真として出力する出力ステップとを備える自動写真作成方法であって、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成ステップを備えることを特徴とする、自動写真作成方法。
【請求項14】
コンピュータである自動写真作成装置に、
被写体である利用者を含む像を撮影する撮影ステップと、
前記撮影ステップにより得られる撮影画像を含む合成画像を写真として出力する出力ステップと、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成ステップとを実行させることを特徴とする、プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2012−169987(P2012−169987A)
【公開日】平成24年9月6日(2012.9.6)
【国際特許分類】
【出願番号】特願2011−30894(P2011−30894)
【出願日】平成23年2月16日(2011.2.16)
【出願人】(597047392)辰巳電子工業株式会社 (77)
【Fターム(参考)】
【公開日】平成24年9月6日(2012.9.6)
【国際特許分類】
【出願日】平成23年2月16日(2011.2.16)
【出願人】(597047392)辰巳電子工業株式会社 (77)
【Fターム(参考)】
[ Back to top ]