説明

画像撮影編集装置および方法、並びにプログラム

【課題】より楽しみながら利用者が撮影を行うことができるようにする。
【解決手段】写真シール作成装置1においては、一連の写真シール作成ゲームのうちの撮影作業時に、被写体である利用者が動いた範囲がカメラにより取り込まれた動画像から抽出され、抽出された範囲内に柄や文字が見えるような前景画像が取り込み中の動画像に合成されて、その合成された動画像がライブビュー表示されるようになされている。例えば、ぞうきんで窓を拭くような真似をすることで柄や文字などを浮かび上がらせることのできる機能が実現される。本発明は、ゲームセンタ等に設置される写真シール作成装置に適用することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像撮影編集装置および方法、並びにプログラムに関し、特に、より楽しみながら利用者が撮影を行うことができるようにした画像撮影編集装置および方法、並びにプログラムに関する。
【背景技術】
【0002】
娯楽(遊戯)施設等に設置される従来の写真シール作成装置により提供される1回のゲームは、被写体の撮影、撮影画像に対する編集(落書き)、編集が施された編集画像もしくは撮影画像のシール紙への印刷、という流れで終了する。
【0003】
このような写真シール作成装置においては、利用者自身が写っている撮影画像に対して様々な編集を行うことができるようになされているが、編集を行う以前に、編集の対象となる撮影画像自体が利用者の好みに応じた画像でなければ満足のいかないまま編集を行うことになってしまう。すなわち、編集を楽しむことができず、さらには、ゲームに対しての満足度が欠けてしまう。
【0004】
そこで、近年、満足のいく撮影画像を得ることができるようにするためや、利用者が面白みのある撮影作業を行うことができるようにするために、様々な手法で撮影を行ったり、様々な撮影画像を取得したりすることができるような写真シール作成装置が開発されている。
【0005】
例えば、撮影時に、利用者が選択した前景画像や背景画像と、カメラによって取り込んだ被写体の動画像を合成し、その合成画像をライブビュー表示させるような写真シール作成装置がある。利用者は、前景画像や背景画像に合成された自分の画像を見ながら、撮影を行うことができる。
【0006】
特許文献1には、撮影した画像のうちの被写体の領域以外の領域に背景画像を合成し、その合成画像に前景画像をさらに合成することによって得られた画像をライブビュー表示させる技術が開示されている。
【0007】
特許文献2には、1度撮影された撮影画像のうちの利用者により指定された領域に、取り込み中の被写体の動画像を合成してライブビュー表示させる技術が開示されている。
【0008】
特許文献3には、撮影した画像から被写体の特定部位を検出し、検出した特定部位の位置に基づいて、所定のオブジェクトなどの前景となる動画像を合成して表示させる技術が開示されている。
【0009】
特許文献4には、フレーム画像を動画像として表示し、利用者の指定に応じてフレーム画像を静止させることによって、利用者が、自身が写っている被写体画像と好みのフレーム画像を合成させることができるようにした技術が開示されている。
【0010】
特許文献5,6には、被写体の動画像を表示し、表示した動画像に対してタッチペンなどを用いて編集を行うことができるようにした技術が開示されている。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開2004−320077号公報
【特許文献2】特開2007−241199号公報
【特許文献3】特開2000−92481号公報
【特許文献4】特開平10−282571号公報
【特許文献5】特開2002−94906号公報
【特許文献6】特開2002−125176号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかしながら、特許文献1に開示されている技術によれば、被写体の画像に合成するのに用いられる合成用画像(前景画像・背景画像)は静止画であるため、そのような静止画である合成用画像と合成された自分の画像を見ることができるとしても、撮影作業は面白みに欠けたものとなる。
【0013】
また、特許文献2に開示されている技術によれば、撮影を2回行ったり、動画像を合成する領域を指定したりする必要があることから、利用者にとって操作が複雑となり、操作性が低下してしまう。
【0014】
特許文献3に開示されている技術によれば、例えば指検知に応じて前景画像を合成する場合、撮影画像に指が写っていないときには(撮影時に提示される、撮影ポーズのサンプル画像と違うときには)、前景画像が表示されないことになってしまい、このようなとき、面白みに欠けてしまうことになる。
【0015】
特許文献4に開示されている技術によれば、静止画のフレーム画像を取得する際に、動画像であるフレーム画像の状態が好みの状態になっているタイミングと撮影のタイミングが合わなければ、利用者が意図するフレーム画像が得られず、結果として、合成画像は満足のいかない画像となる。
【0016】
特許文献5,6に開示されている技術によれば、動画像を見ながら編集を行うことができるが、その編集を行うにはタッチペンなどを操作する必要があることから、利用者にとって操作が複雑となり、操作性が低下してしまう。
【0017】
このように、従来の技術によれば、利用者にとって操作が複雑であるために操作性が低下することになったり、面白みに欠け、満足のいかない撮影画像を提供することになってしまったりしている。従って、ゲームに対しての利用者の満足度も低下せざるを得ない状況になっている。
【0018】
ライブビュー表示によって撮影作業時に利用者に提示される動画像は、面白みのあるものであることが好ましい。
【0019】
本発明はこのような状況に鑑みてなされたものであり、より楽しみながら利用者が撮影を行うことができるようにするものである。
【課題を解決するための手段】
【0020】
本発明の一側面の画像撮影編集装置は、利用者を被写体として撮影し、撮影して得られた画像に対して利用者に編集を行わせ、撮影して得られた前記画像または編集済みの画像を作成する画像撮影編集装置において、利用者が被写体として映る動画像を取り込む撮影手段と、前記撮影手段により取り込まれた動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームに基づいて被写体の領域と背景とを分けるマスク画像を作成する作成手段と、前記作成手段により作成されたマスク画像の差分に基づいて、所定の期間毎に被写体が動いた範囲、または静止している範囲を検出する動き検出手段と、前記動き検出手段により検出された範囲に応じて前記撮影手段により取り込まれた動画像を構成するそれぞれのフレームに映る被写体の領域内の画素の濃度を調整する調整手段と、前記調整手段により各画素の濃度が調整されたフレームから構成される動画像を、編集の対象とする画像の撮影中に表示させる表示制御手段とを備える。
【0021】
前記調整手段には、前記被写体の領域内の画素のうち、前記動き検出手段により検出された範囲と同じ範囲内の画素の濃度を上げるように調整させることができる。
【0022】
前記調整手段には、さらに、前記被写体の領域内の画素のうち、前記動き検出手段により検出された範囲と同じ範囲内の画素以外の画素の濃度を下げるように調整させることができる。
【0023】
利用者は、自分の動きに応じて、自分の姿が浮かび上がったり消えたりする動画像を見ながら撮影を行うことができる。また、利用者は、煩雑な操作を行うことなくそのような動画像を表示させることができる。
【0024】
すなわち、利用者はより簡単に、かつ楽しみながら撮影を行うことができ、それにより満足感を得ることができる。
【0025】
本発明の一側面の画像撮影編集方法またはプログラムは、利用者が被写体として映る動画像を取り込み、取り込んだ動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームに基づいて被写体の領域と背景とを分けるマスク画像を作成し、作成したマスク画像の差分に基づいて、所定の期間毎に被写体が動いた範囲、または静止している範囲を検出し、検出した範囲に応じて、取り込んだ動画像を構成するそれぞれのフレームに映る被写体の領域内の画素の濃度を調整し、各画素の濃度を調整したフレームから構成される動画像を、編集の対象とする画像の撮影中に表示させるステップを含む。
【0026】
本発明の一側面においては、利用者が被写体として映る動画像が取り込まれ、取り込まれた動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームに基づいて被写体の領域と背景とを分けるマスク画像が作成される。また、作成されたマスク画像の差分に基づいて、所定の期間毎に被写体が動いた範囲、または静止している範囲が検出され、検出された範囲に応じて、取り込まれた動画像を構成するそれぞれのフレームに映る被写体の領域内の画素の濃度が調整される。さらに、各画素の濃度が調整されたフレームから構成される動画像が、編集の対象とする画像の撮影中に表示される。
【発明の効果】
【0027】
本発明によれば、利用者はより楽しみながら撮影を行うことができる。
【図面の簡単な説明】
【0028】
【図1】本発明を適用した写真シール作成装置の一実施の形態を示す斜視図である。
【図2】図1の写真シール作成装置の他の角度からの斜視図である。
【図3】図1の写真シール作成装置の設置例を示す斜視図である。
【図4】利用者の空間移動を説明する図である。
【図5】事前接客ユニットの構成例を示す図である。
【図6】前方ユニットの正面の構成例を示す図である。
【図7】編集ユニットの側面の構成例を示す図である。
【図8】編集ユニットの他の側面の構成例を示す図である。
【図9】写真シール作成装置の内部の構成例を示すブロック図である。
【図10】制御装置の機能構成例を示すブロック図である。
【図11】カメラにより撮影された動画像の例を示す図である。
【図12】マスク画像の例を示す図である。
【図13】被写体の動きの範囲の例を示す図である。
【図14】前景画像の例を示す図である。
【図15】カメラにより撮影された動画像を構成する1フレームの例を示す図である。
【図16】合成動画像を構成する1フレームの例を示す図である。
【図17】写真シール作成ゲームの流れについて説明するフローチャートである。
【図18】図16のステップS2において行われる撮影処理について説明するフローチャートである。
【図19】ぞうきん機能の処理について説明するフローチャートである。
【図20】合成動画像を構成する1フレームの他の例を示す図である。
【図21】合成動画像を構成する1フレームのさらに他の例を示す図である。
【図22】前景画像の他の例を示す図である。
【図23】合成動画像を構成する1フレームの例を示す図である。
【図24】合成動画像を構成する1フレームの他の例を示す図である。
【図25】合成動画像を構成する1フレームのさらに他の例を示す図である。
【図26】カメラにより撮影された動画像の他の例を示す図である。
【図27】マスク画像の他の例を示す図である。
【図28】被写体の動きの範囲の例を示す図である。
【図29】動画像を構成する1フレームの例を示す図である。
【図30】カメラにより撮影された動画像のさらに他の例を示す図である。
【図31】マスク画像のさらに他の例を示す図である。
【図32】被写体の動きの範囲の例を示す図である。
【図33】カメラにより撮影された動画像を構成する1フレームの例を示す図である。
【図34】動画像を構成する1フレームの例を示す図である。
【発明を実施するための形態】
【0029】
図1は、本発明を適用した写真シール作成装置の一実施の形態を示す図である。
【0030】
図1に示される写真シール作成装置1は、撮影や編集等の作業の娯楽性を高め、それらの作業を利用者にゲーム(遊戯サービス)として行わせ、その撮影・編集した画像を、写真シールやデータとして利用者に提供する代わりに、利用者より代金を受け取るゲーム装置(遊戯サービス提供装置)である。写真シール作成装置1は、通常、ゲームセンタや観光地の店舗等に設置される。
【0031】
写真シール作成装置1が実行する写真シール作成ゲームにおいて、利用者は、ゲームの代金を投入し、写真シール作成装置1に設けられたカメラを用いて自分自身等を撮影し、その撮影画像に対して、ペン画像入力やスタンプ画像入力等の編集機能(落書き編集機能)を用いて編集を行い、撮影画像を彩り豊かなものにデザインする。そしてゲーム終了後、利用者は、編集した画像が印刷された写真シール等を成果物として受け取る。
【0032】
後に詳述するように、写真シール作成装置1においては、一連の写真シール作成ゲームのうちの撮影作業時に、被写体である利用者の動きがカメラにより取り込まれた動画像から検出され、ライブビュー表示される動画像全体のうちの、動きが検出された範囲に絵柄などが合成されるようになされている。
【0033】
動きに応じて異なる範囲に絵柄などが表示されるため、利用者は、自分の動きに応じて変化してライブビュー表示される動画像を見ながら、撮影を楽しむことができる。
【0034】
写真シール作成装置1の筐体10は、図1に示されるように、事前接客ユニット11、撮影ユニット12、編集ユニット13、および天井ストロボユニット14の4つのユニットに大きく分けられる。
【0035】
事前接客ユニット11は、写真シール作成ゲームの受け付けを行ったり、写真シール作成ゲームの流れや遊び方等を映像や音声で案内(説明)するコンテンツ(デモンストレーション)を出力したりするユニットである。
【0036】
撮影ユニット12は、被写体(利用者等)を撮影する機能を有しており、後述する内部の空間(撮影空間)において被写体の撮影が行われる。この撮影ユニット12は、大きく、前方ユニット12Aと後方ユニット12Bの2つに分けられる。
【0037】
前方ユニット12Aは、撮影空間の前方とされる側のユニットであり、撮影空間の利用者の撮影に関する処理を行ったり、利用者の写真シール作成ゲームに関する操作を受け付けたりする。後方ユニット12Bは、撮影空間の後方とされる側のユニットであり、前方ユニット12Aによる利用者の撮影の際に、背景の役割を果たすユニットである。この後方ユニット12Bの内部は、空洞(空間)となっており、利用者が撮影を行う際に利用される空間(後述する撮影空間)の一部として構成される。この後方ユニット12Bの内部には、例えば、背景に利用する可動式のカーテン(背景カーテン)や利用者がポーズをとるために利用するステージ等が設けられるようにしてもよい。
【0038】
編集ユニット13は、利用者が撮影画像に対する落書き編集等を行うための構成(例えば、モニタ、タッチパネル、およびタッチペン等)が設けられている。1つの筺体からなる編集ユニット13は、2組の利用者が同時に編集作業を行うことができるように、2つの面のそれぞれに、落書き編集等を行うための構成が設けられている。すなわち、写真シール作成装置1は、複数の写真シール作成ゲームを並列的に実行することができる。編集ユニット13は、写真シール作成ゲームのプレイの回転率を向上させるために、それらの複数組の利用者が同時に落書き編集を行うことができるように、2つの落書き編集等を行うための構成が設けられている。
【0039】
撮影空間の上方に設けられる天井ストロボユニット14は、撮影タイミングに合わせて撮影空間内に向けてストロボ発光するフラッシュを内蔵する。この天井ストロボユニット14は、さらに内部に蛍光灯が配置されており、撮影空間(撮影空間内の利用者)を常時照らす照明としても機能する。撮影空間は、後述するように簡易的に閉鎖的な空間として構成される。従って、外部より光が進入しづらく、暗くなりがちで利用者の操作性が低下する恐れがある。天井ストロボユニット14が、その照明により撮影空間を明るく照らすことにより、そのような恐れを回避し、操作性を向上させることができる。なお、このような照明は前方ユニット12Aや後方ユニット12Bにも設けられている。
【0040】
図2は、図1の写真シール作成装置1を、編集ユニット13側より見た斜視図である。
【0041】
編集ユニット13は、図2に示されるように、前方ユニット12Aの、後方ユニット12B側の面(つまり、撮影空間側の面)と反対の面に隣接して設置される。編集ユニット13の、前方ユニット12Aに直交する2つの側面には、利用者が撮影画像に対する落書き編集等を行うための第1編集インタフェース13Aと第2編集インタフェース13Bがそれぞれ設けられている。つまり、編集ユニット13には、写真シール作成ゲームを行う複数組の利用者が、前方ユニット12Aと後方ユニット12Bを結ぶ方向と直交する向きに、編集ユニット13を挟んで対向する状態で編集作業を行うことができるように、2つの編集インタフェースが設けられている。これらの編集インタフェースの構成の詳細については後述する。
【0042】
また、編集ユニット13の、撮影ユニット12と対向する面には、写真シール作成ゲームがプレイされることにより作成された写真シールが排出されて利用者に提供される写真シール排出部13Cが設けられている。
【0043】
図3は、写真シール作成装置1の設置例を示す外観図である。
【0044】
写真シール作成装置1がゲームセンタ等に設置される場合、例えば図3に示されるように、撮影ユニット12や編集ユニット13を囲むように、カーテン21が設けられ、撮影作業が行われる撮影空間や編集作業が行われる編集空間等を簡易的に囲み、各空間の閉鎖性を向上させている。つまり、カーテン21は、例えば、各空間内の環境を安定させることにより、高画質な撮影や編集画面の見易さ等に寄与したり、各空間外からの視界を遮断し、利用者が外部からの視線を意識せずに撮影や編集等の作業を行うことができるようにしたりする。
【0045】
このカーテン21の外側の面は、通常、広告を掲載する場所として利用され、設置場所において注目度が高まるように、写真シール作成装置1の機種名や機種のイメージを表す派手なデザイン画が印刷される。
【0046】
以上のような写真シール作成装置1は、利用者の各組に対して、それぞれ、写真シール作成ゲームをプレイさせる。写真シール作成装置1は、複数の写真シール作成ゲームを同時に進行させることができる。つまり、写真シール作成装置1は、同時に複数の組に写真シール作成ゲームをプレイさせることができる。このとき、各組の利用者は、写真シール作成装置1に設けられた複数の空間を移動しながら、写真シール作成ゲームの各作業を行い、ゲームを進行させる。
【0047】
写真シール作成ゲームの流れと、それに伴う空間の移動について、図4を参照して説明する。
【0048】
図4は、写真シール作成装置1を上から見た平面図である。
【0049】
図4に示されるように、利用者は、事前接客ユニット11前方周辺の領域である事前接客領域31において、事前接客ユニット11に代金を投入することで写真シール作成ゲームを開始する(利用者A)。利用者は、図中点線で示される、前方ユニット12Aと後方ユニット12Bとの間に形成される、撮影作業を行う撮影空間32が使用中で無ければ、事前接客ユニット11の横付近より入場する(利用者B)。もし、前の組の利用者が撮影空間32を使用中であれば(撮影作業中であれば)、利用者は、事前接客領域31において待機する(事前接客ユニット11が待機を指示する)。
【0050】
なお、事前接客ユニット11は、点線で示されるように前方ユニット12Aの反対側に設けることも可能であり、この場合、利用者は、その事前接客ユニット11のある方から写真シール作成ゲームを開始し(利用者A')、事前接客終了後、上述した側と反対側より撮影空間32に入場する(利用者B)。
【0051】
撮影空間32に入場した利用者(利用者B)は、前方ユニット12Aの正面に設けられたカメラやモニタを利用して自分自身等を撮影させる撮影作業を行う。
【0052】
撮影作業が終了すると利用者は、得られた撮影画像の中から編集・印刷を行うためにキープするキープ画像を選択し、表示された移動案内に従って、撮影作業を行った撮影空間32から、図中点線で示される、編集作業を行う編集空間へと移動する。
【0053】
編集ユニット13の、前方ユニット12Aから見て左側(第1編集インタフェース13Aの前方)に第1編集空間33Aが設けられ、右側(第2編集インタフェース13Bの前方)に第2編集空間33Bが設けられている。つまり、この写真シール作成装置1においては、第1編集空間33Aの利用者(利用者C)および第2編集空間33Bの利用者(利用者C')の、合計2組の利用者が同時に編集作業を行うことができる。撮影空間32の利用者(利用者B)は、この2つの編集空間のうち、空いている方に案内される。第1編集空間33Aまたは第2編集空間33Bに移動すると、利用者は、落書き編集作業を行う。以下において、第1編集空間33Aと第2編集空間33Bとを区別する必要の無い場合、編集空間33と称する。
【0054】
その後、落書き編集が終了すると、利用者(利用者Cまたは利用者C')は、次に、印刷設定作業を行い、分割数等の設定を行う。そして印刷が開始されると、利用者は、その印刷中にミニゲームを行う。そして、印刷が終了すると、写真シール排出部13C前方の印刷物受取領域34に移動し(利用者D)、排出された写真シール紙を受け取り、写真シール作成ゲームを終了する。
【0055】
次に、各ユニットの構成について説明する。
【0056】
図5は、事前接客ユニット11の構成例を示す図である。
【0057】
図5に示されるように、事前接客ユニット11には、利用者が投入する写真シール作成ゲームの代金を受け付けたり、お釣り等を利用者に返却したりする硬貨投入返却口41、写真シール作成ゲームやその遊戯方法の案内やデモンストレーション画面等を表示するモニタ42、および、モニタ42に表示される画像に対応する音声や、効果音等を出力するスピーカ43が設けられている。
【0058】
モニタ42に表示される画像やスピーカ43より出力される音声は、筐体10(カーテン21に囲まれる領域の外)の外部に向けて出力されるため、写真シール作成ゲームを行う前の、利用者となる予定の人の写真シール作成ゲームの遊戯方法についての理解を深めるだけでなく、写真シール作成装置1の周囲に居る、写真シール作成ゲームを行っていない人間に対しての宣伝(勧誘)効果も有する。
【0059】
また、利用者が硬貨投入返却口41に写真シール作成ゲームをプレイするために所定の代金を投入すると、撮影空間32が空いている場合には、モニタ42に、利用者を撮影空間32に誘導する案内画面が表示され、それに対応する音声がスピーカ43より出力される。また、撮影空間32が使用中である場合には、モニタ42に、利用者にその場(事前接客領域31)において待機させるように促す案内画面が表示され、それに対応する音声がスピーカ43より出力される。
【0060】
なお、上述したように、事前接客ユニット11は、図5に示されるように、前方ユニット12Aの右側に設置してもよいし、図1に示されるように、前方ユニット12Aの左側に設置してもよい。
【0061】
図6は、前方ユニット12Aの構成例を示す図である。
【0062】
図6に示される正面12A−1は、撮影空間32内に面する側面であり、撮影作業を行う利用者にとって前方に位置する面である。つまり、利用者は、撮影空間32において、基本的にこの正面12A−1に向かって(前方ユニット12A側を向いて)撮影作業を行う。
【0063】
この正面12A−1には、撮影空間32内の被写体を撮影するカメラ51、例えば、カメラ51により光電変換されてリアルタイムに(即時)取得されている(撮り込まれている)取得画像や撮影結果である撮影画像、撮影作業に関する案内、および、背景画像の選択等を行うGUI(Graphical User Interface)画像の表示等、撮影作業に関する表示を行うとともに、画面上に重畳されたタッチパネルにより利用者の指示を受け付けるタッチパネルモニタ52、撮影空間32内を照明したり、カメラ51による撮影タイミングに合わせてフラッシュ光を発光したりする照明装置53−1乃至照明装置53−8、撮影作業中の利用者の手荷物等を置くための荷物置場54−1および荷物置場54−2、並びに、撮影作業に関する案内や効果音等の音声が出力されるスピーカ55−1およびスピーカ55−2が設けられている。
【0064】
カメラ51は、CCD(Charge Coupled Device)を利用した撮像素子等により構成され、写真シール作成ゲームの撮影作業の工程において、撮影空間32内の利用者を撮影する。なお、カメラ51として、CCDの代わりに、例えばCMOS(Complementary Metal Oxide Semiconductor)センサを用いたカメラを使用してもよい。もちろん、これら以外にも、利用者を撮影し、デジタル画像データを得られるものであればどのようなカメラを用いるようにしてもよい。また、カメラ51の個数も設置位置も任意である。
【0065】
タッチパネルモニタ52はLCD(Liquid Crystal Display)等により構成され、カメラ51の取得画像、撮影画像に合成する合成用画像、撮影結果として保存される撮影画像、または撮影作業の手順を案内する案内画像等、撮影作業に関する画像を表示するモニタである。このタッチパネルモニタ52の画面上には無色透明のタッチパネル(例えば、感圧式や電磁誘導式等)が重畳されており、例えば利用者の指等でタップすることによりその位置情報(利用者の指示)を入力することができる。
【0066】
照明装置53−1乃至照明装置53−8は、複数の、蛍光灯およびストロボ発光可能な照明装置により構成され、撮影空間32を明るくし、操作性や安全性を確保するために、撮影空間32を常時照らすとともに、撮影画像の画質を向上させるために、撮影タイミングに対応するタイミングでストロボ発光し、撮影される利用者に光を多様な角度から照射する。以下において、照明装置53−1乃至照明装置53−8を互いに区別して説明する必要の無い場合、照明装置53と称する。
【0067】
荷物置場54−1および荷物置場54−2は、撮影時における利用者の手荷物の置き場所として利用する棚である。荷物置場54−1および荷物置場54−2は、いずれも、撮影の邪魔にならないような位置、すなわち、利用者が撮影ポーズをとるのに邪魔にならず、かつ、照明装置53の光の照射の妨げとならない位置に設けられている。利用者は、手荷物を荷物置場54−1または荷物置場54−2に置くことにより、より快適に撮影作業を行うことができる。以下において、荷物置場54−1および荷物置場54−2を互いに区別して説明する必要のない場合、単に荷物置場54と称する。
【0068】
スピーカ55−1およびスピーカ55−2は、写真シール作成ゲームの撮影作業における案内音声、BGM(Back Ground Music)、効果音等の音声を適宜出力する。スピーカ55−1およびスピーカ55−2を互いに区別する必要のない場合、スピーカ55と称する。なお、スピーカ55の数および設置位置は任意である。
【0069】
次に、編集ユニット13の構成について説明する。
【0070】
図7は、編集ユニット13の、撮影ユニット12側から見て左側面の構成例(第1編集空間33A側の構成例)を示す図である。
【0071】
図7において、この左側面には、第1編集インタフェース13Aが設けられている。その上側には、カーテン21等で仕切られているために暗くなる第1編集空間33Aを照らすための照明装置61が設けられている。この照明装置61により、写真シール作成装置1は、利用者の編集作業効率の低下を抑制し、第1編集空間33Aの安全性を向上させることができる。なお、図7の例においては、編集ユニット13の、照明装置61が設けられている第1編集インタフェース13Aの上側の部分が、第2編集空間33B側に貫通しており、照明装置61は、第1編集空間33Aと第2編集空間33Bとで共有している。つまり、照明装置61は、第1編集空間33Aだけでなく第2編集空間33Bも照明し、安全性を向上させる。なお、この照明装置61の設置位置および個数は任意である。
【0072】
第1編集インタフェース13Aには、タブレット内蔵モニタ62、2本のタッチペン(タッチペン63−1およびタッチペン63−2)、並びに、スピーカ64が設けられている。
【0073】
タブレット内蔵モニタ62は、撮影空間における撮影作業により得られた撮影画像を編集するためのGUI画像(落書き編集入力画面)等を表示する。
【0074】
タブレット内蔵モニタ62は、タッチペン63−1またはタッチペン63−2により位置情報を入力可能なタブレットと、画像を表示可能なLCD等の表示デバイスを有するモニタである。ここでは、タブレットは、例えば、感圧式や電磁誘導式の入力デバイスであり、無色透明で、表示デバイスの表示画面上に重畳されて設置されている。つまり、タブレット内蔵モニタ62は、表示デバイスにより単にGUI画像等を表示するだけでなく、タブレットにより利用者からの入力操作を受け付ける。
【0075】
このタブレット内蔵モニタ62の左右近傍には、画面上に重畳されたタッチパネルに対応するタッチペン63−1とタッチペン63−2が左右1本ずつ所定のアタッチメントにより編集ユニット13に着脱可能に固定されており、同じ組の2人の利用者が、これらのタッチペンをそれぞれ使用することにより、同時に、写真シール作成作業の編集作業の工程をプレイすることができるようになされている。なお、以下において、タッチペン63−1およびタッチペン63−2を互いに区別して説明する必要のない場合、単にタッチペン63と称する。
【0076】
そのタッチペン63は、編集ユニット13内部に設置されたシステムと有線(または無線)により電気的にも接続されている。タッチペン63は、タブレット内蔵モニタ62の表示デバイスの表示画面上に重畳された無色透明のタブレットと連携して動作する。利用者がこれらのタッチペン63を操作して、そのタブレットをタップする(タッチペン63とタブレット内蔵モニタ62の表示画面を接触(または近接)させる)ことにより、これらは、利用者からの入力を受け付ける入力手段として動作する。なお、タッチペン63の設置本数、設置位置、及び形状等は任意である。
【0077】
スピーカ64は、例えば、案内音声、効果音、またはBGM等、写真シール作成ゲームの編集作業に関する音声を出力する。なお、スピーカ64の設置個数、デザイン、および形状等は任意である。
【0078】
なお、編集ユニット13の第2編集空間33B側の構成も、図7に示される第1編集空間33A側の構成と基本的に同様であるので、その説明については省略する。以下においては、図7に示される構成例は、編集ユニット13の第2編集空間33B側の構成を説明する場合にも適用する。
【0079】
図8は、編集ユニット13の、写真シール排出部13Cの構成例を示す図である。
【0080】
図8に示されるように、写真シール排出部13Cには、第1編集空間33Aにおいて編集作業を行った利用者が作成した写真シール(つまり、第1編集インタフェース13Aが操作されて作成された写真シール)と、第2編集空間33Bにおいて編集作業を行った利用者が作成した写真シール(つまり、第2編集インタフェース13Bが操作されて作成された写真シール)が排出される写真シール排出口71が設けられている。
【0081】
編集ユニット13内部には、プリンタが設置されており、第1編集インタフェース13Aまたは第2編集インタフェース13Bが操作されて作成された印刷用の画像は、そのプリンタによりシール紙に印刷される。プリンタより出力された写真シールは、この写真シール排出口71より排出される。
【0082】
次に、写真シール作成装置1の内部の構成について説明する。
【0083】
図9は、写真シール作成装置1のハードウエア構成例を示すブロック図である。以上において説明した部分と同じ部分については、同じ番号を付し、その説明を省略する。
【0084】
図9において、写真シール作成装置1は、写真シール作成装置1の装置全体を制御する処理部である制御装置101を有しており、その制御装置101には、記憶部102、通信部103、ドライブ104、ROM(Read Only Memory)106、RAM(Random Access Memory)107、事前接客部111、撮影部112、編集部113、およびプリンタ114がそれぞれ所定のバスを介して接続される。
【0085】
記憶部102は、例えばハードディスクやフラッシュメモリ等のような不揮発性の記憶媒体を有しており、制御装置101より供給される各種設定情報をその記憶媒体に保存したり、記憶媒体に記録されている設定情報を読み出して制御装置101に供給したりする。なお、この記憶媒体は、情報を記憶することができるものであれば、どのようなものであってもよい。
【0086】
通信部103は、例えばインターネットや公衆電話回線網等のような外部のネットワーク(図示せず)を介して、または単に通信ケーブル(図示せず)を介して、他の通信装置(図示せず)に接続され、制御装置101に制御されて、例えば利用者の携帯型電話機、利用者のパーソナルコンピュータ、または中央管理サーバ等のような他の通信装置と通信を行う。例えば、通信部103は、制御装置101より供給される送信情報を他の通信装置に送信したり、他の通信装置より供給された受信情報を制御装置101に供給したりする。
【0087】
ドライブ104には、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク、および、半導体メモリなどのリムーバブルメディア105が適宜装着され、それらから読み出されたコンピュータプログラムやデータが、必要に応じて制御装置101に供給され、記憶部102等に保存されたり、インストールされたりする。
【0088】
ROM106には、制御装置101において実行されるプログラムやデータが予め格納されており、ROM106は、制御装置101の指示に基づいて、プログラムやデータを制御装置101に供給する。RAM107は、制御装置101が処理するデータやプログラムを一時的に保持する。
【0089】
事前接客部111は、事前接客ユニット11を用いて、撮影前の利用者に対する接客処理を行う。例えば、事前接客部111は、写真シール作成ゲームのデモンストレーション画面を表示したり、写真シール作成ゲームの代金(硬貨)の投入を受け付けたり、撮影空間32内への移動案内を行ったり、撮影空間32が使用中の場合、利用者を待機させたりする。事前接客部111は、上述したモニタ42およびスピーカ43の他に、硬貨処理部121を有する。硬貨処理部121は、硬貨投入返却口41に硬貨が投入されると、利用者による写真シール作成装置1の代金支払いに関する処理(ゲーム参加受け付け等)を行い、課金処理や、移動又は待機案内等をモニタ42及びスピーカ43に行わせたりする。
【0090】
撮影部112は、撮影ユニット12に関するブロックであり、背景カーテン131、照明装置53、カメラ51、タッチパネルモニタ52、およびスピーカ55を有する。
【0091】
背景カーテン131は、写真シール作成ゲームの撮影作業の工程において、背景として用いられる複数の昇降式カーテンとその制御を行う制御部を有するユニットである。例えば、カーテンには色、模様、絵柄などが異なる多種類のカーテンがある。昇降式のカーテンではなく、吊下げ式のカーテンが用意されるようにしてもよい。
【0092】
照明装置53は、制御装置101より供給される照明制御信号に基づいて、点灯したり、消灯したり、またはフラッシュ光を発光したりする。
【0093】
カメラ51は、制御装置101に制御されて、写真シール作成ゲームの撮影作業の工程において、撮影空間32内の被写体(利用者)の撮影を行う。例えば、カメラ51は、制御装置101の制御の下、動画像を取りこみ、その取得した動画像データを制御装置101に供給する。また、カメラ51は、制御装置101より供給されるシャッタ制御信号に基づいて、メカシャッタを動作させる等して、撮影画像(静止画像)の取得を行い、取得した静止画像データを制御装置101に供給する。
【0094】
タッチパネルモニタ52は撮影画像表示部132を有しており、制御装置101より供給されるRGB信号に基づく画像をその撮影画像表示部132に表示する。また、タッチパネルモニタ52は、その撮影画像表示部132の表面に重畳された、無色透明のタッチパネル(図示せず)も有している。利用者が、自分自身の指等を用いてこのタッチパネルにタップ(接触または近接)すると、タッチパネルモニタ52は、その位置情報を制御装置101に供給する。制御装置101は、その位置情報を解析し、表示画像に対して利用者が入力した情報や指示を特定し、受け付ける。
【0095】
スピーカ55は、例えば、制御装置101より供給される音声信号の音声(撮影作業の案内音声、効果音、またはBGM等)を出力する。
【0096】
編集部113は、編集ユニット13に関するブロックであり、第1編集インタフェース13Aに対応する第1編集部113Aと、第2編集インタフェース13Bに対応する第2編集部113Bよりなる。第1編集部113Aおよび第2編集部113Bは互いに同一の構成を有しており、以下の説明は、第1編集部113Aについて行うが、第2編集部113Bにも適用可能である。
【0097】
第1編集部113Aは、図7を参照して説明したように、タブレット内蔵モニタ62、タッチペン63−1およびタッチペン63−2、並びに、スピーカ64を有する。
【0098】
タブレット内蔵モニタ62はLCD等の表示デバイスよりなる編集用モニタ141と、編集用モニタ141の表示画面上に重畳された無色透明のタブレット142により構成される。タブレット内蔵モニタ62は、制御装置101より供給されるRGB信号に対応する、編集入力用のGUIや撮像画像等、編集に関する画像を、編集用モニタ141に表示する。また、利用者が、タッチペン63−1またはタッチペン63−2を操作してタブレット142にタップ(接触または近接)すると、タブレット内蔵モニタ62は、その位置情報を制御装置101に供給する。制御装置101は、その位置情報を解析し、表示画像(GUI等)に対して利用者が入力した情報や指示を特定し、受け付ける。つまり、撮影画像(撮影画像を用いて作成された合成画像)に対する編集入力は、これらの構成を用いて行われる。
【0099】
スピーカ64は、制御装置101より供給される音声信号の音声(編集作業の案内音声、効果音、またはBGM等の、写真シール作成ゲームの編集作業の工程に関する音声)を出力する。
【0100】
プリンタ114は、編集部113により行われた編集作業結果をシール紙に印刷する2つのヘッド(ヘッド151およびヘッド152)を有する。プリンタ114は、制御装置101より第1編集部113Aにより行われた編集作業結果を取得すると、シール紙ユニット161よりシール紙162を取得し、ヘッド151において、編集作業結果をシール紙162に印刷する。また、プリンタ114は、制御装置101より第2編集部113Bにより行われた編集作業結果を取得すると、シール紙ユニット161よりシール紙162を取得し、ヘッド152において、編集作業結果をシール紙162に印刷する。
【0101】
プリンタ114は、印刷を終了すると、その印刷されたシール紙162を写真シールとして写真シール排出口71より排出し、利用者に提供する。
【0102】
図10は、制御装置101の機能構成例を示すブロック図である。
【0103】
図10には、撮影作業を行っている利用者に対してライブビュー表示によって提示する合成動画像の作成に関する機能構成が示されている。図10に示される構成の他に、撮影処理を行う構成、編集処理を行う構成、印刷処理を行う構成などが制御装置101においては実現される。
【0104】
図10に示される構成のうちの少なくとも一部は、制御装置101により所定のプログラムが実行されることによって実現される。
【0105】
図10に示されるように、制御装置101においては、マスク画像作成部201、差分抽出部202、合成部203、および表示制御部204が実現される。利用者が撮影作業を開始したとき、利用者が被写体として映っている動画像の撮影が開始され、撮影された動画像がカメラ51からマスク画像作成部201と合成部203に供給される。カメラ51により撮影された動画像を時間軸に並べた場合、その動画像は静止画が連続していると考えることができる。
【0106】
マスク画像作成部201は、カメラ51から供給された動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームを対象としてクロマキ処理や肌色領域の検出処理などを行うことによって、被写体の領域と背景の領域とを分けるデータであるマスク画像を作成する。例えば、カメラ51から供給される動画像には、クロマキ用のカーテンが被写体の背景として映っており、それぞれのフレームを対象としてクロマキ処理を行うことができるようになされている。
【0107】
図11は、カメラ51により撮影された動画像の例を示す図である。
【0108】
図11の例においては、カメラ51により撮影された動画像を構成するフレームとしてフレームf1乃至f3が示されている。横方向は時間方向を表す。
【0109】
フレームf1において、被写体の体はフレームの中心を基準とすると若干右側にあり、被写体の右腕は斜めに下げた状態になっている。また、フレームf2,f3おいて、被写体の体はフレームf1における位置と同じ位置にあり、それぞれ、被写体の右腕は水平に向けた状態、斜めに上げた状態になっている。
【0110】
すなわち、図11は、カメラ51に体の正面を向けている利用者が、撮影作業中に、右腕を斜め下から斜め上に動かした場合の例を示している。
【0111】
このようなフレームから構成される動画像がカメラ51から供給された場合、マスク画像作成部201においては、図12に示されるようなマスク画像が作成される。マスク画像の縦横の画素数は、カメラ51により撮影された動画像を構成するそれぞれのフレームの縦横の画素数と同じであるものとする。
【0112】
図12のマスク画像m1乃至m3は、それぞれ、図11のフレームf1乃至f3から作成されたマスク画像であり、黒く塗りつぶされている領域が被写体の領域を表す。マスク画像全体の画素のうち、黒く塗りつぶされている領域に対応する画素の画素値はRGB=(0,0,0)で表され、それ以外の領域に対応する画素の画素値はRGB=(255,255,255)で表される。
【0113】
マスク画像作成部201は、このようにして作成したマスク画像を差分抽出部202に出力する。
【0114】
差分抽出部202は、マスク画像作成部201から供給されたマスク画像に基づいて、所定の期間内に被写体が動いた範囲を抽出する。
【0115】
図13は、差分抽出部202により抽出される範囲の例を示す図である。
【0116】
例えば、図12のマスク画像m1乃至m3がマスク画像作成部201により作成された場合、差分抽出部202においては、それぞれのマスク画像の差分が求められ、マスク画像間で差分のある、図13に斜線を付して示す範囲A1が、被写体が動いた範囲として抽出される。なお、被写体の手を認識する機能が制御装置101に搭載されている場合、手の動いた範囲だけが、被写体が動いた範囲として抽出されるようにしてもよい。
【0117】
差分抽出部202は、被写体が動いた範囲を表す情報を合成部203に出力する。
【0118】
合成部203は、ライブビュー表示させる動画像を構成するフレームの全画素に対応するカウント値を保持するための作業領域を有している。カウント値は被写体の画像に対して合成する前景画像の各画素の濃度を表す値であり、設定されたカウント値に応じた濃度を有するものになるように、前景画像の各画素の濃度が調整される。ライブビュー表示させる動画像を構成する各フレームの縦横の画素数、カメラ51により撮影された動画像を構成する各フレームの縦横の画素数、前景画像の縦横の画素数は同じ画素数であるものとする。
【0119】
図14は、前景画像の例を示す図である。
【0120】
図14は、ハート柄が全体に並べられた前景画像の例を示している。前景画像は、静止画像であってもよいし、動画像であってもよい。また、柄(画像)を表示するものだけでなく、文字を表示するものであってもよい。
【0121】
例えば、撮影作業の開始時である初期状態では作業領域のカウント値は全て0として設定される。カウント値が全て0であるため、初期状態においては、合成動画像上では前景画像は見えずに、カメラ51により撮影された動画像がそのまま見えることになる。
【0122】
また、合成部203は、差分抽出部202から供給された情報に基づいて、作業領域の全カウント値のうち、被写体が動いた範囲と同じ範囲内の前景画像の画素に対応するカウント値を増加させ、一方、被写体の動きがなかった範囲(静止していた範囲)と同じ範囲内の前景画像の画素に対応するカウント値を減少させる。この結果、連続して動きがある範囲内の前景画像の画素に対応するカウント値は一定値を超えることになる。
【0123】
合成部203は、カウント値に応じて各画素の濃度を調整した前景画像を、カメラ51により撮影された動画像に重ねることによって合成し、合成して得られた合成動画像を表示制御部204に出力する。カウント値が一定値を超えた前景画像の画素だけが、合成画像上で視認可能な濃度を有するように調整されるようにしてもよい。
【0124】
図15は、カメラ51により撮影された動画像を構成する1フレームの例を示す図である。
【0125】
例えば、図15に示されるようなフレームを含む動画像がカメラ51から供給されるとともに、図13に示されるような範囲A1が差分抽出部202により抽出され、範囲A1と同じ範囲内の前景画像の画素の濃度が、合成画像上で視認可能な濃度を有するように調整された場合、図16に示されるような1フレームの合成画像が合成部203により作成される。
【0126】
図16の例においては、範囲A1と同じ範囲の前景画像(ハート柄)が、図15の画像からクロマキ処理などによって抽出された被写体の領域の前景として合成されている。図16に点線で示す範囲A1は、斜線を付して示す図13の範囲A1と同じ範囲を表す。
【0127】
被写体の動きに応じてカウント値が更新され、前景画像の各画素の濃度が調整されるため、合成動画像上では、被写体が動いた範囲と同じ範囲の前景画像が浮かび上がって見え、反対に、被写体が静止していた範囲と同じ範囲の前景画像が徐々に消えていくように見えることになる。
【0128】
これにより、ぞうきんで窓を拭くような真似をすることで柄や文字などを浮かび上がらせることのできる機能が実現される。以下、このように、体を動かしている範囲で画像や文字を浮かび上がらせる機能を「ぞうきん」機能という。
【0129】
図10の説明に戻り、表示制御部204は、合成部203から供給された合成動画像を撮影空間32にあるタッチパネルモニタ52の撮影画像表示部132に表示させる。利用者は、ライブビュー表示される合成動画像を見ながら撮影作業を行うことができる。
【0130】
ここで、以上のような構成を有する写真シール作成装置1の処理について説明する。
【0131】
はじめに、図17のフローチャートを参照して、写真シール作成ゲームの流れについて説明する。
【0132】
写真シール作成ゲームを行う利用者は、最初に、事前接客領域31において、事前接客ユニット11の硬貨投入返却口41にコインを投入し、ゲームの代金を支払う。硬貨処理部121は、硬貨投入を受け付け、起動信号を制御装置101に供給する。
【0133】
ステップS1において、制御装置101は、その起動信号に基づいて、代金が投入されたか否かを判定し、正当な代金が投入されたと判定した場合、ステップS2に進む。代金を投入した利用者は、事前接客部111のモニタ42に表示される案内デモ画面などに従って撮影空間32に移動し、撮影作業を開始する。
【0134】
ステップS2において、制御装置101は、撮影部112の各部を制御し、撮影空間32内において行われる、写真シール作成ゲームの撮影作業に関する処理である撮影処理を実行する。撮影処理については図18のフローチャートを参照して説明する。
【0135】
ステップS3において、制御装置101は、撮影作業を終えた撮影空間32内の利用者に対して、画像や音声によって第1編集空間33Aまたは第2編集空間33Bへの移動を促す移動案内処理を行う。
【0136】
ステップS4において、制御装置101は、編集空間33に移動した利用者に対して、写真シール作成ゲームの編集作業に関する処理である編集処理を行う。
【0137】
編集処理が終了すると、ステップS5において、制御装置101は、プリンタ114を制御し、編集作業により得られた編集済み画像をシール紙に印刷する印刷処理を行う。
【0138】
ステップS6において、制御装置101は、印刷終了待機中の利用者に対してミニゲームや画像転送等のサービスを提供する事後接客処理を行う。
【0139】
事後接客処理が終了すると、ステップS7において、制御装置101は、編集空間33の利用者を印刷物受取領域34に移動させる移動案内を行う。
【0140】
印刷処理が終了すると、ステップS8において、制御装置101は、プリンタ114を制御し、印刷済みのシール紙を写真シール排出口71より排出させ、写真シール作成ゲーム処理を終了する。
【0141】
次に、図18のフローチャートを参照して、図17のステップS2において行われる撮影処理について説明する。
【0142】
ステップS11において、制御装置101は、カメラ51により取り込まれた動画像を撮影画像表示部132に表示させ、ライブビューを開始する。
【0143】
ステップS12において、制御装置101は、タッチパネルモニタ52に対する利用者の入力に応じて、カメラ51の写り、明るさを調整する。
【0144】
ステップS13において、制御装置101は、ぞうきん機能の開始が利用者により指示されたか否かを判定する。タッチパネルモニタ52には、ぞうきん機能の開始を指示するときに操作されるボタンが表示される。
【0145】
タッチパネルモニタ52に表示されたボタンが操作されたことから、ぞうきん機能の開始が指示されたとステップS13において判定した場合、ステップS14において、制御装置101の合成部203は、各画素の濃度を調整した前景画像を、カメラ51から供給された動画像に映る被写体の前景として合成し、合成して得られた合成動画像を表示制御部204に出力する。図18の処理と並行して行われる、前景画像の各画素の濃度を調整するぞうきん機能の処理については図19のフローチャートを参照して説明する。
【0146】
ステップS15において、表示制御部204は、合成部203から供給された合成動画像を撮影画像表示部132に表示させる。これにより、撮影画像表示部132には、図16に示されるような画像からなる合成動画像が表示される。
【0147】
撮影を開始することが指示された場合、または、ステップS13においてぞうきん機能の開始が指示されていないと判定した場合、ステップS16において、制御装置101は、タッチパネルモニタ52にカウントダウンインジケータを表示させる。
【0148】
カウントダウンインジケータにより表される撮影までの残り時間が0秒になったとき、ステップS17において、制御装置101は撮影を行い、撮影のタイミングにおける合成動画像の1フレームを撮影画像として保存する。
【0149】
ステップS18において、制御装置101は、あらかじめ定められた回数だけ撮影を行ったか否かを判定し、撮影を行っていない、すなわち、撮影可能回数が残っていると判定した場合、ステップS13に戻り、それ以降の処理を繰り返す。
【0150】
一方、ステップS18において、あらかじめ定められた回数だけ撮影を行ったと判定した場合、ステップS19において、制御装置101は、複数の撮影画像の中から編集対象画像(キープ画像)とする画像を利用者に選択させ、選択された撮影画像を保存する。その後、図17のステップS2に戻り、それ以降の処理が行われる。
【0151】
次に、図19のフローチャートを参照して、ぞうきん機能の処理について説明する。
【0152】
ステップS31において、制御装置101の合成部203は、前景画像の各画素に対応する作業領域のカウント値を全て0として設定する。
【0153】
ステップS32において、マスク画像作成部201は、カメラ51から供給された動画像を構成するそれぞれのフレームを対象としてクロマキなど処理を行い、マスク画像を作成する。マスク画像作成部201は、作成したマスク画像を差分抽出部202に出力する。
【0154】
ステップS33において、差分抽出部202は、マスク画像間の差分を求め、被写体が動いた範囲を抽出する。差分抽出部202は、被写体が動いた範囲を表す情報を合成部203に出力する。
【0155】
ステップS34において、合成部203は、差分抽出部202から供給された情報に基づいて、被写体が動いた範囲と同じ範囲内の前景画像の画素に対応するカウント値を増加させ、それ以外の前景画像の画素に対応するカウント値を減少させることによって、カウント値を更新させる。
【0156】
ステップS35において、合成部203は、更新したカウント値に応じて、前景画像の各画素の濃度を調整し、ステップS32以降の処理を繰り返す。ステップS32以降の処理は、ぞうきん機能によるライブビュー表示を行っている間、繰り返される。
【0157】
以上の処理により、利用者は、自分が体を動かしたり止めたりすることに応じて浮かび上がったり消えたりする前景画像を見ながら、より楽しんで撮影を行うことができる。
【0158】
以上においては、初期状態の前景画像が透明であり、ライブビュー表示される合成動画像上では前景画像は見えないものとしたが、半透明の部分を少なくとも一部に含む画像が前景画像として用いられるようにしてもよい。半透明の部分に重なる利用者の体の部分は、合成動画像上では、いわば磨りガラス越しに見たようなものになる。
【0159】
図20は、撮影作業中にライブビュー表示される合成動画像を構成する1フレームの例を示す図である。
【0160】
図20に示されるフレーム全体のうち、斜線を付して示す範囲A11は半透明の領域である。範囲A11以外の前景画像の領域は透明の領域であり、この領域と重なる被写体の頭付近ははっきりと合成動画像上で見えることになる。図20に示されるフレームも、合成部203により作成されたものである。
【0161】
図20の例においては、範囲A11内に円R1が表示されている。撮影作業中、例えば、「円の範囲で手を動かしてね」などの案内が音声や画面表示によって利用者に対して提示される。
【0162】
この案内を確認した利用者が左手などを動かすことにより、円R1に対応する範囲内で被写体が動いたことがカメラ51により撮影された動画像に基づいて上述したようにして抽出された場合、動きの抽出された部分からキャラクタなどの所定の画像が徐々に表示される(隠れていた画像が徐々に現れる)。最終的に、円R1に対応する範囲内全体に渡って動きが抽出された場合、図21に示されるように、半透明であった領域A11は透明の領域として表示が切り替えられるとともに、円R1が表示されていた位置にはキャラクタの画像である画像P1全体が表示される。すなわち、円R1は、その部分に何かしらの画像が隠れていることを表している。
【0163】
なお、円R1に対応する範囲内全体に渡って動きが抽出された場合に画像P1の全体が表示されるのではなく、図22に斜線を付して示すような、隠れている画像P1の所定の範囲に対応する部分で動きが抽出された場合に画像P1の全体が表示されるようにしてもよい。画像P1として図22に示されるような豚の顔の画像が用意されている場合、これにより、利用者は、例えば豚の顔の片耳以外の部分に対応する範囲で手を動かすだけで豚の顔の全体を表示させることができる。
【0164】
また、カメラ51により撮影された動画像を構成する各フレームを対象として被写体の顔の検出が行われ、その顔の範囲上で被写体の動きが抽出された場合であっても、顔の範囲には前景画像が表示されないようにしてもよい。
【0165】
図20の例においては、前景画像が半透明の領域を一部に含むものとしたが、全体が透明になっているようにしてもよい。全体が透明になっている場合、ライブビュー表示される合成動画像上では、キャラクタなどの画像がどこに隠れているのかが分からないため、図23に示されるように、白抜き矢印などでその部分が指定されるようにしてもよい。図23において、点線で示す範囲A11は透明の領域である。また、点線で示す円R1も実際に表示されるものではない。
【0166】
また、被写体が体を動かした範囲と同じ範囲内の前景画像の画素の濃度が上がるのではなく、異なる範囲内の前景画像の画素の濃度が上がるようにしてもよい。
【0167】
図24は合成動画像を構成する1フレームの例を示す図である。
【0168】
図24は、合成動画像上では見えないほど、前景画像の各画素の濃度が低い状態を示している。このような状態において、図24の白抜き矢印で示す範囲で利用者が手を動かし、そのことが抽出された場合、上述した方法によればこの白抜き矢印で示す範囲と同じ範囲に前景画像の柄などが見えるようになるが、この例においては、図25に示されるように、手を動かした範囲とは異なる、被写体の外側の範囲A21に前景画像の柄が見えるように表示される。動きが抽出された位置とマスク画像(顔マスク)から検出された顔の位置を結ぶ線の延長線上の位置に前景画像の柄が表示されるようにすることにより、被写体が前景画像によって隠れてしまうのを防ぐことができる。
【0169】
被写体が動いた範囲を抽出する方法として、カメラ51により撮影された動画像から複数のマスク画像が作成され、マスク画像における被写体の領域内の画素の色差分がそれぞれのマスク画像間で求められ、色差分のある範囲が、被写体が動いた範囲として抽出されるようにしてもよい。時間軸上にそれぞれのマスク画像を並べた場合、n−1番目のマスク画像における被写体の領域内の色と、n番目のマスク画像における被写体の領域内の色の差分が求められ、色差分のある範囲が、被写体が動いた範囲として抽出されることになる。
【0170】
次に、被写体の動いた範囲を抽出し、抽出した範囲に応じて異なる動画像を撮影作業中にライブビュー表示させる他の機能について説明する。
【0171】
この機能の開始時、カメラ51により撮影された動画像を構成するフレームから抽出された被写体の領域の画素の濃度は、ライブビュー表示される合成動画像上から見えないような濃度(透明)に調整される。
【0172】
この状態で、被写体が動いた範囲が上述したようにして抽出された場合、被写体が動いた範囲と同じ範囲内の画素の濃度を上げ、それ以外の画素の濃度を下げるように、カメラ51により撮影された動画像の各フレームから抽出された被写体の領域の各画素の濃度が合成部203により調整される。これにより、動きに応じて被写体の姿が現れたり消えたりするような動画像が作成され、ライブビュー表示されることになる。
【0173】
すなわち、この機能は、前景画像の各画素の濃度を調整することによってある画像が表示されたり消えたりするようにするものではなく、カメラ51により撮影された動画像の各フレームから抽出された被写体の領域の各画素の濃度を調整することによって、被写体の姿が表示されたり消えたりするようにするものである。
【0174】
以下、このようにして被写体の姿を合成動画像上で表示させたり消したりする機能を「透明人間」機能という。
【0175】
図26は、カメラ51により撮影された動画像の他の例を示す図である。
【0176】
図26の例においては、カメラ51により撮影された動画像を構成するフレームとしてフレームf11乃至f13が示されている。横方向は時間方向を表す。
【0177】
フレームf11において、被写体の体はフレームの中心を基準とすると左側にあり、フレームf12において、被写体の体はフレームのほぼ中心にある。フレームf13において、被写体の体はフレームの中心を基準とすると右側にある。
【0178】
図27は、図26の動画像に基づいてマスク画像作成部201により作成されるマスク画像の例を示す図である。
【0179】
図27のマスク画像m11乃至m13は、それぞれ、図26のフレームf11乃至f13から作成されたマスク画像である。差分抽出部202においては、図27に示されるようなマスク画像間の差分が求められ、所定の期間内に被写体が動いた範囲が抽出される。
【0180】
図28は、差分抽出部202により抽出される範囲の例を示す図である。
【0181】
例えば、図27のマスク画像m11乃至m13などに基づいて、マスク画像間で差分のある、図28に斜線を付して示す範囲A21が、被写体が動いた範囲として抽出される。図28に示されるような範囲A21が差分抽出部202により抽出された場合、合成部203においては、カウント値が更新されることによって、カメラ51により撮影された動画像を構成するフレームから抽出された被写体の領域の画素のうち、範囲A21と同じ範囲内の画素の濃度を上げ、それ以外の画素の濃度を下げるようにして動画像が作成される。ここでは、カウント値は、カメラ51により撮影された動画像を構成するフレームから抽出された被写体の領域の画素の濃度を表す。
【0182】
図29は、透明人間機能によってライブビュー表示される動画像を構成する1フレームの例を示す図である。
【0183】
図29に示されるように、カメラ51により撮影された動画像を構成するフレームの中央に被写体が映っている場合、この被写体は点線で示す範囲A21の内側にいるから、被写体の領域の画素のうち、範囲A21と同じ範囲内の画素の濃度が上がることにより、被写体の全身が動画像上に表示されることになる。なお、図29に点線で示す範囲A21は動画像上に表示されるものではない。動画像上に表示されている被写体の姿は、所定の時間だけ被写体が静止していることが抽出された場合、カウント値が減算していくことに応じて徐々に消えていくことになる。
【0184】
このように、動きに応じて姿が表示されたり消えたりするようにすることによっても、利用者は、より楽しみながら撮影作業を行うことができる。撮影のタイミングによっては、利用者は、自分の体の一部が消えているような画像を撮影し、編集対象の画像として選択することが可能になる。
【0185】
なお、ここでは、被写体の動いた範囲を抽出し、カメラ51により撮影された動画像を構成するフレームに映る被写体の領域の画素の濃度を調整することによって被写体の姿を動画像上で表示したり消したりするものとしたが、半透明の前景画像の濃度を被写体の動いた範囲に応じて調整することによって、被写体の姿を合成動画像上で表示したり消したりするようにしてもよい。この場合、半透明の前景画像の画素のうち、被写体の動いた範囲と同じ範囲内の画素は透明になり、被写体の姿が合成動画像上に表示されることになる。
【0186】
以上においては、被写体が動いた範囲と同じ範囲内において前景画像が表示されたり、被写体の姿が表示されたりするものとしたが、反対に、動きのない範囲、すなわち被写体が静止している範囲と同じ範囲内において前景画像が表示されたり、被写体の姿が表示されたりするようにしてもよい。
【0187】
図30は、カメラ51により撮影された動画像のさらに他の例を示す図である。
【0188】
図30の例においては、カメラ51により撮影された動画像を構成するフレームとしてフレームf21乃至f23が示されている。横方向は時間方向を表す。
【0189】
フレームf21において、被写体の体はフレームの中心を基準とすると左側にあり、頭だけがフレームの中心にくるように体が傾けられている。フレームf22において、被写体の体はフレームのほぼ中心にある。フレームf23において、被写体の体はフレームの中心を基準とすると右側にあり、頭だけがフレームの中心にくるように体が傾けられている。頭の位置は、フレームf21乃至f23のいずれのフレームにおいてもほぼ同じ位置にある。
【0190】
図31は、図30の動画像に基づいてマスク画像作成部201により作成されるマスク画像の例を示す図である。
【0191】
図31のマスク画像m21乃至m23は、それぞれ、図30のフレームf21乃至f23から作成されたマスク画像である。差分抽出部202においては、図31に示されるようなマスク画像間の差分が求められ、所定の期間内に被写体が静止している範囲が抽出される。
【0192】
図32は、差分抽出部202により抽出される範囲の例を示す図である。
【0193】
例えば、図31のマスク画像m21乃至m23に基づいて、マスク画像間で差分のない、図32に斜線を付して示す範囲A31が、被写体が静止していた範囲として抽出される。図32に示されるような範囲A31が差分抽出部202により抽出された場合、合成部203においては、カウント値が更新されることによって、カメラ51により撮影された動画像を構成するフレームから抽出された被写体の領域の画素のうち、範囲A31と同じ範囲内の画素の濃度を上げ、それ以外の画素の濃度を下げるようにして動画像が作成される。ここでも、カウント値は、カメラ51により撮影された動画像を構成するフレームから抽出された被写体の領域の画素の濃度を表す。
【0194】
図33は、カメラ51により撮影された動画像を構成する1フレームの例を示す図であり、図34は、透明人間機能によってライブビュー表示される動画像を構成する1フレームの例を示す図である。
【0195】
カメラ51により撮影された動画像を構成する図33のフレームに映る被写体の領域の画素のうち、範囲A31と同じ範囲内の画素の濃度が上がることにより、図34に示されるように被写体の頭だけが動画像上に表示されることになる。
【0196】
このように、静止している範囲に画像が表示されるようにすることによっても、利用者は、より楽しみながら撮影作業を行うことができる。
【0197】
なお、ここでは、被写体の静止している範囲を抽出し、カメラ51により撮影された動画像を構成するフレームに映る被写体の領域内の画素の濃度を調整することによって被写体の姿を動画像上で表示したり消したりするものとしたが、半透明の前景画像の濃度を被写体の静止している範囲に応じて調整することによって、被写体の姿を合成動画像上で表示したり消したりするようにしてもよい。この場合、半透明の前景画像の画素のうち、被写体の静止している範囲と同じ範囲内の画素は透明になり、被写体の姿が合成動画像上に表示されることになる。
【0198】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどにインストールされる。
【0199】
インストールされるプログラムは、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)や半導体メモリなどよりなる図9に示されるリムーバブルメディア105に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供される。プログラムは、記憶部102やROM106に、あらかじめインストールしておくことができる。
【0200】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0201】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0202】
1 写真シール作成装置
12 撮影ユニット
13 編集ユニット
101 制御装置
201 マスク画像作成部
202 差分抽出部
203 合成部
204 表示制御部

【特許請求の範囲】
【請求項1】
利用者を被写体として撮影し、撮影して得られた画像に対して利用者に編集を行わせ、撮影して得られた前記画像または編集済みの画像を作成する画像撮影編集装置において、
利用者が被写体として映る動画像を取り込む撮影手段と、
前記撮影手段により取り込まれた動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームに基づいて被写体の領域と背景とを分けるマスク画像を作成する作成手段と、
前記作成手段により作成されたマスク画像の差分に基づいて、所定の期間毎に被写体が動いた範囲、または静止している範囲を検出する動き検出手段と、
前記動き検出手段により検出された範囲に応じて前記撮影手段により取り込まれた動画像を構成するそれぞれのフレームに映る被写体の領域内の画素の濃度を調整する調整手段と、
前記調整手段により各画素の濃度が調整されたフレームから構成される動画像を、編集の対象とする画像の撮影中に表示させる表示制御手段と
を備える画像撮影編集装置。
【請求項2】
前記調整手段は、前記被写体の領域内の画素のうち、前記動き検出手段により検出された範囲と同じ範囲内の画素の濃度を上げるように調整する
請求項1に記載の画像撮影編集装置。
【請求項3】
前記調整手段は、さらに、前記被写体の領域内の画素のうち、前記動き検出手段により検出された範囲と同じ範囲内の画素以外の画素の濃度を下げるように調整する
請求項2に記載の画像撮影編集装置。
【請求項4】
利用者を被写体として撮影し、撮影して得られた画像に対して利用者に編集を行わせ、撮影して得られた前記画像または編集済みの画像を作成する画像撮影編集装置の写真シール作成方法において、
利用者が被写体として映る動画像を取り込み、
取り込んだ動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームに基づいて被写体の領域と背景とを分けるマスク画像を作成し、
作成したマスク画像の差分に基づいて、所定の期間毎に被写体が動いた範囲、または静止している範囲を検出し、
検出した範囲に応じて、取り込んだ動画像を構成するそれぞれのフレームに映る被写体の領域内の画素の濃度を調整し、
各画素の濃度を調整したフレームから構成される動画像を、編集の対象とする画像の撮影中に表示させる
ステップを含む画像撮影編集方法。
【請求項5】
利用者を被写体として撮影し、撮影して得られた画像に対して利用者に編集を行わせ、撮影して得られた前記画像または編集済みの画像を作成する画像撮影編集装置の処理をコンピュータに実行させるプログラムにおいて、
利用者が被写体として映る動画像を取り込み、
取り込んだ動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームに基づいて被写体の領域と背景とを分けるマスク画像を作成し、
作成したマスク画像の差分に基づいて、所定の期間毎に被写体が動いた範囲、または静止している範囲を検出し、
検出した範囲に応じて、取り込んだ動画像を構成するそれぞれのフレームに映る被写体の領域内の画素の濃度を調整し、
各画素の濃度を調整したフレームから構成される動画像を、編集の対象とする画像の撮影中に表示させる
ステップを含むプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate


【公開番号】特開2012−151890(P2012−151890A)
【公開日】平成24年8月9日(2012.8.9)
【国際特許分類】
【出願番号】特願2012−64796(P2012−64796)
【出願日】平成24年3月22日(2012.3.22)
【分割の表示】特願2008−682(P2008−682)の分割
【原出願日】平成20年1月7日(2008.1.7)
【出願人】(307010096)フリュー株式会社 (210)
【Fターム(参考)】