説明

画像合成システム

【課題】予め合成画像の出来上がりイメージを確認するとともに、主要被写体画像と背景画像との分離処理を容易にする。
【解決手段】単一色背景・選択部/表示部26は、単一色背景画像データを第2プロジェクタ17に、単一色背景情報を被写体切出部28に送る。通常背景・選択部/表示部27は、通常背景画像データを第1プロジェクタ16及び画像合成部29に送る。プロジェクタ16,17は、通常背景画像,単一色背景画像をそれぞれスクリーン12の背面12bに投影する。ユーザは、通常背景画像22がスクリーン12に見える位置に立って人物11と通常背景画像22とのバランスを確認し、人物11の立ち位置を調整する。デジタルカメラ15から出力された撮影画像データは被写体切出部28に送られ、単一色背景情報に基づいて主要被写体画像データの切り出しが行なわれ、画像合成部29に送られ、通常背景画像データとの画像合成が行なわれる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像合成システムに関し、更に詳しくはクロマキーによる合成画像の作成を行なう画像合成システムに関するものである。
【背景技術】
【0002】
従来から、電子画像における画像合成は、肌色の補色とされる青色の単一色背景(通称ブルーバック)を背景に主要被写体の撮影を行ない、主要被写体を除く青色の背景画像を通常の背景画像(以下通常背景画像という)と置き換えることにより主要被写体画像と通常背景画像との合成を行なう、いわゆるクロマキー合成処理が使われている。
【0003】
このようなクロマキー合成処理においては、主要被写体である人物と背景とが連続的である場合でも、人物の影が消されてしまうため、不自然な印象を与えるが、影の部分の画像データを用いて合成後の画像の中に主要部の影が付加された背景画像データを作成するようにした合成方法が知られている(例えば特許文献1)。
【0004】
また、装置筐体の背面内部と内部底面部を自ら発光させ、さらに前面部、天井部からの照明を被写体に投射することで撮影対象の全身の影を相殺し、無影状態を作り出すことにより、簡易な構造で占有スペースが少なく、限られた空間内で自然な合成結果を得る画像合成方法が知られている(例えば特許文献2)。
【0005】
また、被写体に使用されている色に応じて背景色を自在に変化させ、被写体に使用されていない所望の色を背景色として選択して表示することにより、被写体画像と所望の背景画像とをクロマキー合成処理を用いて合成する際に、高精度に合成処理を行うことに寄与する背景装置が知られている(例えば特許文献3)。
【0006】
また、照明用ストロボの照明光が当たって反射した反射光をカメラの存在領域以外の領域に誘導する反射光誘導シートを用いて被写体の背景となるスクリーンとすることにより、反射光によるスクリーンでのハレーションを防止して美麗な撮影画像を得ることができる写真プリント作成装置が知られている(例えば特許文献4)。
【特許文献1】特開平06−339150号公報
【特許文献2】特開2000−224410号公報
【特許文献3】特開2002−118770号公報
【特許文献4】特開2004−077958号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
上述したようにブルーバックを用いたクロマキーによる画像合成では、ブルーバックの青色と補色関係にある肌色である人の顔や手などは明確に分離できるが、例えば主要被写体である人物が青色の服を着ていた場合、服をブルーバックから明確に分離するのが困難である。これを解決するには、上記特許文献3記載の背景装置を用いればよいが、主要被写体の色に対応して数多くの色を自在に表示する装置が大掛かりであり、コスト面でも現実的とは言い難いのが実情である。
【0008】
一方、主要被写体の撮影画像と背景画像との合成結果は、実際にその合成作業を行なってみてはじめて分かるため、主要被写体と背景とが合わない場合には、背景の選び直しや撮り直しなどの手間がかかり、満足のいく結果を得るまでには多大な労力が必要であった。このため、実際の画像合成を行なう前に、手間をかけずに予め合成結果を知りたいという要望がある。
【0009】
本発明は、上記のような問題点を解決するためになされたもので、予め合成画像の出来上がりイメージを確認できるとともに、主要被写体画像と背景画像との分離処理を容易にできる画像合成システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の画像合成システムは、主要被写体の背後に配置され、投影された異なる複数の画像が見る角度によって切り替わって見える半透明のスクリーンと、このスクリーンの主要被写体と反対側の背面に、所定の単一色からなる単一色背景画像を投影する第1投影器と、この第1投影器とは異なる投影角でスクリーンの背面に、主要被写体画像と合成されるべき任意の通常背景画像を第1投影器と同時に投影する第2投影器と、前記スクリーンの主要被写体側の表面に単一色背景画像が映し出されていると見える位置からスクリーンを背景に主要被写体を撮影する単一色背景用の撮影装置と、この撮影装置によって撮影された撮影画像から主要被写体画像を切り出す主要被写体切出部と、前記主要被写体画像と通常背景画像とを合成する画像合成部とからなることを特徴とする。
【0011】
また、前記単一色背景用の撮影装置の他に、前記スクリーンの表面に通常背景画像が映し出されていると見える位置からスクリーンを背景に主要被写体を撮影する通常背景用の撮影装置を設けたことを特徴とする。
【0012】
また、主要被写体の背後に配置され、投影された異なる複数の画像が見る角度によって切り替わって見える半透明のスクリーンと、このスクリーンの主要被写体と反対側の背面に、所定の単一色からなる第1単一色背景画像とこれと異なる単一色からなる第2単一色背景画像とを交互に、かつ第1単一色背景画像と第2単一色背景画像との間に主要被写体画像に合成されるべき任意の通常背景画像を挿入しながら、各画像を一定時間間隔で順次に投影する第1投影器と、この第1投影器とは異なる投影角でスクリーンの背面に、前記第1単一色背景画像と第2単一色背景画像とを交互に、かつ第1単一色背景画像と第2単一色背景画像との間に前記通常背景画像を挿入しながら、かつ第1投影器が第1単一色背景画像を投影している時には第2単一色背景画像を投影し、第1投影器が第2単一色背景画像を投影している時には第1単一色背景画像を投影する第2投影器と、第1投影器から投影された画像がスクリーンの主要被写体側の表面に映し出されて見える第1位置から第1,第2単一色背景画像を背景に主要被写体を撮影する第1撮影装置と、第2投影器から投影された画像がスクリーンの主要被写体側の表面に映し出されて見える第2位置から、第1撮影装置が第1単一色背景画像を背景に主要被写体を撮影している間には第2単一色背景画像を背景に主要被写体を撮影し、第1撮影装置が第2単一色背景画像を背景に主要被写体を撮影している間には第1単一色背景画像を背景に主要被写体を撮影する第2撮影装置と、第1,第2撮影装置によって同時にそれぞれ撮影された各撮影画像から第1,第2の主要被写体画像を切り出す主要被写体切出部と、前記第1,第2の主要被写体画像から1個の主要被写体画像を特定する主要被写体画像特定部と、この主要被写体画像特定部によって特定された主要被写体画像と通常背景画像とを合成する画像合成部とからなることを特徴とする。
【0013】
また、主要被写体の背後に配置され、投影された異なる複数の画像が見る角度によって切り替わって見える半透明のスクリーンと、このスクリーンの主要被写体と反対側の背面に、所定の単一色からなる第1単一色背景画像とこれと異なる単一色からなる第2単一色背景画像とを交互に、かつ第1単一色背景画像と第2単一色背景画像との間に主要被写体画像に合成されるべき任意の通常背景画像を挿入しながら、各画像を一定時間間隔で順次に投影する第1投影器と、この第1投影器とは異なる投影角でスクリーンの背面に、前記第1単一色背景画像と第2単一色背景画像とを交互に、かつ第1単一色背景画像と第2単一色背景画像との間に前記通常背景画像を挿入しながら、かつ第1投影器が第1単一色背景画像又は第2単一色背景画像を投影している時には通常背景画像を投影し、第1投影器が通常背景画像を投影している時には第1単一色背景画像又は第2単一色背景画像を投影する第2投影器と、第1投影器から投影された画像がスクリーンの主要被写体側の表面に映し出されて見える第1位置から第1,第2単一色背景画像を背景に主要被写体を撮影する第1撮影装置と、第2投影器から投影された画像がスクリーンの主要被写体側の表面に映し出されて見える第2位置から、第1撮影装置が第1単一色背景画像を背景に主要被写体を撮影している間には第2単一色背景画像を背景に主要被写体を撮影し、第1撮影装置が第2単一色背景画像を背景に主要被写体を撮影している間には第1単一色背景画像を背景に主要被写体を撮影する第2撮影装置と、第1,第2撮影装置によって同時にそれぞれ撮影された各撮影画像から第1,第2の主要被写体画像を切り出す主要被写体切出部と、前記第1,第2の主要被写体画像から1個の主要被写体画像を特定する主要被写体画像特定部と、この主要被写体画像特定部によって特定された主要被写体画像と通常背景画像とを合成する画像合成部とからなることを特徴とする。
とを特徴とする。
【0014】
主要被写体の背後に配置され、投影された異なる複数の画像が見る角度によって切り替わって見える半透明のスクリーンと、このスクリーンの主要被写体と反対側の背面に、所定の単一色からなる単一色背景画像と所定の通常背景画像とを交互に投影する投影器であって、前記単一色背景画像の色が互いに異なり、かつ前記スクリーンへの投影角が互いに異なる位置に設置された複数台の投影器と、この投影器の各々に対応し、それぞれの単一色背景画像がスクリーンの主要被写体側の表面に映し出されて見える各位置からそれぞれの単一色背景画像を背景に主要被写体を撮影する投影器の数と同数の撮影装置と、前記撮影装置の各々によって同時に撮影された各撮影画像からそれぞれの主要被写体画像を切り出す主要被写体切出部と、この主要被写体切出部によって切り出された複数個の主要被写体画像から1個の主要被写体画像を特定する主要被写体画像特定部と、この主要被写体画像特定部によって特定された主要被写体画像と通常背景画像とを合成する画像合成部とからなることを特徴とする。
【0015】
また、主要被写体の背後に配置され、投影された異なる複数の画像が見る角度によって切り替わって見える半透明のスクリーンと、このスクリーンの主要被写体と反対側の背面に、互いに色が異なる複数の単一色背景画像を所定の一定時間間隔で順次に投影する第1投影器と、この第1投影器とは異なる投影角でスクリーンの背面に、主要被写体画像と合成されるべき所定の通常背景画像を、連続して、もしくは第1投影器と同じ一定時間間隔で投影する第2投影器と、前記第1,第2投影器とは異なる投影角でスクリーンの背面に、前記第1投影器と同じ複数の単一色背景画像を第1投影器と同じ一定時間間隔で、かつ第1投影器から投影された単一色背景画像とは異なる色の単一色背景画像となる順序で投影する第3投影器と、第1投影器から投影された単一色背景画像がスクリーンの主要被写体側の表面に映し出されて見える第1位置から第1投影器の投影タイミングに同期して主要被写体を撮影する第1撮影装置と、第2投影器から投影された通常背景画像がスクリーンの主要被写体側の表面に映し出されて見える第2位置から主要被写体を連続して、もしくは第2投影器の投影タイミングに同期して撮影する第2撮影装置と、第3投影器から投影された単一色背景画像がスクリーンの主要被写体側の表面に映し出されて見える第3位置から第3投影器の投影タイミングに同期して主要被写体を撮影する第3撮影装置と、第1,第3撮影装置によって同時にそれぞれ撮影された各撮影画像から第1,第2の主要被写体画像を切り出す主要被写体切出部と、前記第1,第2の主要被写体画像から1個の主要被写体画像を特定する主要被写体画像特定部と、この主要被写体画像特定部によって特定された主要被写体画像と通常背景画像とを合成する画像合成部とからなることを特徴とする。
【発明の効果】
【0016】
本発明の画像合成システムによれば、投影された異なる複数の画像が見る角度によって切り替わって見える半透明のスクリーンを用い、単一色背景画像と通常背景画像とを同時にまたは交互に投影するので、予め合成画像の出来上がりイメージを確認できるとともに、主要被写体画像と背景画像との分離処理を容易にできる。
【発明を実施するための最良の形態】
【0017】
本発明の画像合成システムは、テーマパークなどで、例えば城や建物と、キャラクタとが表示された背景画像に人物画像を合成する場合に使用されるが、この他に通常のスタジオ撮影で本発明システムを使用することもできる。以下、本発明の実施形態について詳細に説明する。
【0018】
本発明の第1実施形態を示す図1において、画像合成システム10は、主要被写体である人物11の背後に配置された周知のレンチキュラーレンズからなる半透明のスクリーン12と、このスクリーン12の表面12aを背景にして人物11を撮影するデジタルカメラ15と、前記スクリーン12の背面12bの後方に設置された2台の第1,第2プロジェクタ16,17と、前記デジタルカメラ15及び第1,第2プロジェクタ16,17を制御するシステムコントローラ18(図2参照)とからなる。なお、図示していないが、撮影に際しては、デジタルカメラ15のシャッターレリーズに同調してストロボ装置が発光して人物11を照明する。
【0019】
なお、前記スクリーン12は、図面上レンチキュラーレンズからなることを模式的に表わすために波形の形状に描いているが、実際には、例えば幅40lpi(line per inch)のシリンドリカル凹レンズを並べたピッチの細かいものを用いている。
【0020】
第1プロジェクタ16は、人物11の撮影画像が合成されるべき通常背景画像22(図3(A)参照)をスクリーン12の背面12bに投影する。なお、通常背景画像22は、ユーザの好みで自由に決められるが、例えば城や建物とキャラクタとが表示された背景画像が使用される。また、通常背景画像22は、スクリーン12の表面12aから見て正像となるように、背面12bに対してはネガ像である。
【0021】
また、第2プロジェクタ17は、周知のクロマキー合成処理に用いる単一の色からなる単一色背景画像23(図3(B)参照)をスクリーン12の背面12bに投影する。なお、単一色背景画像23の色は、本実施形態では「灰色」とする。
【0022】
第1,第2プロジェクタ16,17は、スクリーン12の背面12bの中心から垂直に引き出した仮想中心線L1に対して左右対称の位置に離間して配置され、スクリーン12の背面12b全体に画像が投影されるように、それぞれの投影光軸の向きが決められている。そして、第1,第2プロジェクタ16,17は、通常背景画像22,単一色背景画像23をそれぞれ同時に投影する。
【0023】
人物11が立っている側からスクリーン12の表面12aを見ると、レンチキュラーレンズの特性により、スクリーン12の表面12aを望む角度をわずかに変更するだけで、スクリーン12の表面12aに見える画像が、通常背景画像22又は単一色背景画像23のいずれか一方に切り替わる。そして、前記デジタルカメラ15は、単一色背景画像23がスクリーン12の表面12aに見える位置に設置される。
【0024】
画像合成システム10の電気的な構成を示す図2において、システムコントローラ18は、単一色背景・選択部/表示部26,通常背景・選択部/表示部27,被写体切出部28,画像合成部29からなる。ユーザは、人物11が身につけた服や靴などの色と色相が異なる色(本実施形態では灰色)の画像データ(以下単一色背景画像データという)を予め選択して単一色背景・選択部/表示部26にセットしておく。また、人物11と合成する所望の通常背景画像の画像データ(以下通常背景画像データという)を選択して通常背景・選択部/表示部27にセットしておく。
【0025】
システムコントローラ18に電源を投入すると、単一色背景・選択部/表示部26は、予めセットされた色の単一色背景画像データを第2プロジェクタ17に送るとともに、クロマキーを作成するための単一色情報を被写体切出部28に送る。また、通常背景・選択部/表示部27は、予めセットされた通常背景画像データを第1プロジェクタ16及び画像合成部29に送る。
【0026】
前記被写体切出部28は、単一色背景・選択部/表示部26から入力された単一色情報(色情報)に基づいてキー信号を作成し、これによりデジタルカメラ15から入力された撮影画像データから人物11の撮影画像データ(以下主要被写体画像データという)を切り抜いて、この主要被写体画像データを画像合成部29に送る。
【0027】
前記画像合成部29は、前記主要被写体画像データと、通常背景・選択部/表示部27から送られた通常背景画像データとを画像合成し、得られた画像データをプリント用画像データとしてプリンタ(図示せず)に送る。なお、撮影画像データから切り抜かれた主要被写体画像データは、撮影画像での座標データを保持しており、通常背景画像データと合成される際に、通常背景画像内で同じ座標位置に合成される。
【0028】
次に、本実施形態の作用について説明する。まず、予め人物11が身につけている服や靴などの色とできるだけ色相の異なる色の単一色背景画像23を選択してその単一色背景画像データを単一色背景・選択部/表示部26にセットする。前記単一色背景画像23の色は、本実施形態では灰色とする。また、人物11の撮影画像と合成する所望の通常背景画像22を選択して通常背景・選択部/表示部27にセットする。
【0029】
デジタルカメラ15,第1,第2プロジェクタ16,17及びシステムコントローラ18に電源を投入すると、単一色背景・選択部/表示部26は、単一色背景画像データを第2プロジェクタ17に、また単一色背景画像23の色情報である単一色背景情報を被写体切出部28に送る。また同時に、通常背景・選択部/表示部27は、通常背景画像データを第1プロジェクタ16及び画像合成部29に送る。
【0030】
図4のフローチャートに示すように、第1,第2プロジェクタ16,17は、通常背景画像,単一色背景画像をそれぞれスクリーン12の背面12bに投影する(st1)。ユーザは、通常背景画像22がスクリーン12の表面12aに見える位置に立って、人物11と通常背景画像22とのバランスを確認し、人物11の立ち位置を調整する(st2)。これにより、合成完成後の画像を高い確度で予想できる。
【0031】
次に、ユーザは、スクリーン12の表面12aに単一色背景画像23が見える位置に立ち位置をずらし、人物11の輪郭が単一色背景画像23と明瞭に分離して見えているか否かを確認する(st3)。人物11の輪郭が単一色背景画像23と明瞭に分離して見えない場合には、単一色背景・選択部/表示部26にセットされている単一色背景画像データを人物11の輪郭が明瞭に分離して見える別の色の単一色背景画像データに変更する(st4)。
【0032】
ユーザが所望のタイミングでデジタルカメラ15のシャッタをレリーズすると、デジタルカメラ15により、単一色背景画像23を背景にして人物11が撮影される(st5)。デジタルカメラ15は、周知の各種画像処理を行なってデジタルの画像データを出力し、これを被写体切出部28に送る。
【0033】
被写体切出部28は、単一色背景情報に基づいて、デジタルカメラ15から入力された画像データから主要被写体画像データを切り出して画像合成部29に送る。画像合成部29は、主要被写体画像データと、通常背景・選択部/表示部27から入力された通常背景画像データとを画像合成し(st6)、この画像データをプリント用画像データとしてプリンタに送る。
【0034】
次に、本発明の第2実施形態である画像合成システム30は、図5に示すように、2台の第1,第2デジタルカメラ31,32を用いて、異なる2色の単一色の背景で人物11を同時に撮影し、これによって服や靴など人物11が身につけている物の色が一方の単一色の色相に似ていて明確に分離できないような場合でも対応できる。なお、上記第1実施形態と同じ構成箇所には、同じ符号を付し、説明を省略する。また、図示していないが、撮影に際しては、第1,第2デジタルカメラ31,32の各シャッターレリーズに同調してストロボ装置が発光して人物11を照明する。
【0035】
画像合成システム30の電気的な構成を示す図6において、システムコントローラ33の単一色背景・選択部/表示部26から送出される単一色背景画像データと、通常背景・選択部/表示部27から送出される通常背景画像データとは、切替制御部34で制御される背景画像切替器35によって所定の一定時間間隔、例えば1/30秒間隔で切り替えられ、第1プロジェクタ16,第2プロジェクタ17にそれぞれ送られる。
【0036】
第1プロジェクタ16は、図7(A)及び図8(A)に示すように、通常背景画像22と単一色背景画像とを一定時間間隔で交互に、かつ前記単一色背景画像は青色の単一色背景画像36と緑色の単一色背景画像38とを交互にスクリーン12の背面12bに投影する。また、第2プロジェクタ17は、図7(B)及び図8(B)に示すように、通常背景画像22と単一色背景画像とを一定時間間隔で交互に、かつ前記単一色背景画像は、第1プロジェクタ16と異なる単一色背景画像となるように、緑色の単一色背景画像38と青色の単一色背景画像36とを交互にスクリーン12の背面12bに投影する。
【0037】
前記プロジェクタ16,17の投影タイミングは同期しており、第1プロジェクタ16が通常背景画像22を投影している時には、第2プロジェクタ17も通常背景画像22を投影し、また第1プロジェクタ16が青色の単一色背景画像36又は緑色の単一色背景画像38を投影している時には、第2プロジェクタ17は緑色の単一色背景画像38又は青色の単一色背景画像36を投影する。
【0038】
第1デジタルカメラ31は、第1プロジェクタ16からの投影画像がスクリーン12に投影されて見える位置に設置され、第1プロジェクタ16の投影タイミングと同期して撮影を行なう。また、第2デジタルカメラ32は、第2プロジェクタ17からの投影画像がスクリーン12に投影されて見える位置に設置され、第2プロジェクタ17の投影タイミングと同期して撮影を行なう。
【0039】
このように、第1プロジェクタ16と第2プロジェクタ17とで投影する単一色背景画像の色を互いに入れ替えて投影し、第1デジタルカメラ31,32が交互に異なる単一色背景画像を背景とする撮影を行なうので、プロジェクタやデジタルカメラの個体差や組み合わせに起因する主要被写体画像の色データのバラツキを軽減することができる。
【0040】
第1,第2デジタルカメラ31,32から出力された単一色背景画像36,38をそれぞれ背景にした撮影画像データは、切替制御部34で制御される撮影画像切替器40を介して被写体切出部28に送られる。また、デジタルカメラ31,32から出力された通常背景画像22を背景にした各スルー画の画像データは、撮影画像切替器40を介してモニタ(図示せず)に送られ、画像合成した状態を事前に確認することができる。
【0041】
被写体切出部28は、青色の単一色背景画像36を背景にして人物11を撮影した撮影画像データ(主要被写体画像データ)を受け取ると、単一色背景・選択部/表示部26から入力された単一色背景画像36の青色情報に基づいてキー信号を作成し、これにより撮影画像データから主要被写体画像データを切り抜き、画像合成部29に送る。また同様に、緑色の単一色背景画像38を背景にして主要被写体画像データを受け取ると、単一色背景・選択部/表示部26から入力された単一色背景画像38の緑色情報に基づいてキー信号を作成し、これにより撮影画像データから主要被写体画像データを切り抜き、画像合成部29に送る。
【0042】
ここで、例えば人物11の袖の色が青色であった場合、青色の単一色背景画像36を背景にした撮影画像データでは、袖の部分が単一色背景画像36から分離できないが、緑色の単一色背景画像38を背景にした撮影画像データでは、青色をした袖の部分は単一色背景画像38から分離される。また、人物11の靴の色が緑色であった場合、緑色の単一色背景画像38を背景にした撮影画像データでは、靴の部分が単一色背景画像38から分離できないが、青色の単一色背景画像36を背景にした撮影画像データでは、緑色をした靴の部分は単一色背景画像36から分離される。
【0043】
画像合成部29は、単一色背景画像36から切り出された主要被写体画像データと、単一色背景画像38から切り出された主要被写体画像データとを合成することにより、欠落した色データのない完全な1個の主要被写体画像データを作成する。続いて、画像合成部29は、この主要被写体画像データと、通常背景・選択部/表示部27から送られた通常背景画像データとを画像合成し、得られた画像データをプリント用画像データとしてプリンタに送る。
【0044】
次に、本実施形態の作用について説明する。まず、人物11をスクリーン12の前方に立たせる。第1プロジェクタ16は、通常背景画像22と単一色背景画像とを交互に、かつ単一色背景画像は青色の単一色背景画像36と緑色の単一色背景画像38とを交互に、第2プロジェクタ17は、通常背景画像22と単一色背景画像とを交互に、かつ単一色背景画像は第1プロジェクタ16と逆に緑色の単一色背景画像38と青色の単一色背景画像36とを交互に、それぞれ一定時間間隔でスクリーン12の背面12bに投影する。
【0045】
この時、第1,第2デジタルカメラ31,32は、スルー画撮影状態になっており、このスルー画の画像データは、撮影画像切替器40を介してモニタに送られる。図9のフローチャートに示すように、ユーザがモニタを観察することにより、合成完成後の画像を明確に予想できる(st11)。
【0046】
ユーザがシャッタレリーズ操作を行なうと、第1,第2デジタルカメラ31,32が、同じタイミングで青色の単一色背景画像36,緑色の単一色背景画像38をバックにして人物11の撮影を同時に行なう(st12)。これらの撮影画像データは、撮影画像切替器40を介して被写体切出部28に送られ、各撮影画像データからそれぞれ主要被写体画像データが切り抜かれ(st13)、画像合成部29に送られる。
【0047】
画像合成部29に送られた2つの主要被写体画像データに基づいて、欠落した色データのない完全な1個の主要被写体画像データが作成される(st14)。続いて、この主要被写体画像データと、通常背景・選択部/表示部27から送られた通常背景画像データとが画像合成され(st15)、得られた画像データがプリンタに送られる。
【0048】
本実施形態では、第1プロジェクタ16が通常背景画像22を投影している時には、第2プロジェクタも通常背景画像22を投影し、第1プロジェクタ16が単一色背景画像を投影している時には、第2プロジェクタも単一色背景画像を投影するようにしたが、図10,図11に示すように、プロジェクタ16,17の投影タイミングをずらし、第1プロジェクタ16が通常背景画像22を投影している時には、第2プロジェクタ17は単一色背景画像を投影し、第1プロジェクタ16が単一色背景画像を投影している時には、第2プロジェクタ17は通常背景画像22を投影するようにしてもよい。なお、前記単一色背景画像は、プロジェクタ16,17間で互いに異なる色となるように投影される。
【0049】
このようにすると、通常背景画像22が途切れることなく投影されるから、いつでも人物11が後ろを振り返ってスクリーンの背景画像を観察することができ、人物11自らが画像合成位置を調整することができる。
【0050】
第1デジタルカメラ31は第1プロジェクタ16に同期し、また第2デジタルカメラ32は第2プロジェクタ17に同期して、交互に撮影を行ない、撮影に間が空くことがないので、ストロボ装置ではなく、写真用のライト装置を使用して照明を行なう方が有利である。なお、デジタルカメラ31,32それぞれに個別にストロボ装置を設けて、チャージが間に合うようにできれば、ストロボ装置でもよい。
【0051】
また、デジタルカメラ31,32は交互に撮影を行なうので、2台のデジタルカメラ31,32の代わりに1台のデジタルカメラで2つの位置(デジタルカメラ31,32の設置された各位置)を交互に往復移動しながら撮影することもできる。
【0052】
次に、本発明の第3実施形態である画像合成システム50は、図12に示すように、3台の第1〜第3プロジェクタ51〜53と3台の第1〜第3デジタルカメラ55〜57を用いて、異なる3色の単一色背景画像で人物11を同時に撮影する。これにより、服や靴など人物11が身につけている物の色が2つの単一色背景画像の色相に似ていて明確に分離できないような場合でも、残り1つの単一色背景画像によって分離できる。なお、上記第1,第2実施形態と同じ構成箇所には、同じ符号を付し、説明を省略する。また、図示していないが、撮影に際しては、デジタルカメラ55〜57の各シャッターレリーズに同調してストロボ装置が発光して人物11を照明する。
【0053】
また、本実施形態では、前記異なる3色を「青色」,「黄色」,「緑色」とし、これらの単一色背景画像をわずかな位置変更によりそれぞれ独立して見えるようにするレンチキュラーレンズからなるスクリーン59がプロジェクタ51〜53とデジタルカメラ55〜57との間に設置されている。そして、スクリーン59の表面59a側に主要被写体である人物11が立つ。
【0054】
前記プロジェクタ52が背面59bの中心から垂直に引き出した仮想中心線L2の延長線上に設置され、プロジェクタ51,53が仮想中心線L2に対して左右対称の位置に離間して配置されている。また、背面59b全体に画像が投影されるように、プロジェクタ51〜53の各投影光軸の向きが決められている。
【0055】
画像合成システム50の電気的な構成を示す図13において、システムコントローラ33の単一色背景・選択部/表示部26から送出される単一色背景画像データと、通常背景・選択部/表示部27から送出される通常背景画像データとは、切替制御部34で制御される背景画像切替器35によって所定の一定時間間隔で切り替えられ、第1〜第3プロジェクタ51〜53にそれぞれ送られる。
【0056】
これにより、図14(A)に示すように、第1プロジェクタ51は、通常背景画像22と緑色の単一色背景画像38とを一定時間間隔で交互にスクリーン59の背面59bに投影する。また、第2プロジェクタ52は、通常背景画像22と黄色の単一色背景画像62とを一定時間間隔で交互にスクリーン59の背面59bに投影する。また、第3プロジェクタ53は、通常背景画像22と青色の単一色背景画像36とを一定時間間隔で交互にスクリーン59の背面59bに投影する。そして、プロジェクタ51〜53の投影タイミングは同期しており、通常背景画像22は3台一斉に、かつ単一色背景画像38,62,36も3台一斉に投影される。
【0057】
第1デジタルカメラ55は、緑色の単一色背景画像38がスクリーン59に投影されて見える位置に設置され、第2デジタルカメラ56は、黄色の単一色背景画像62がスクリーン59に投影されて見える位置(中央部)に設置され、第3デジタルカメラ57は、青色の単一色背景画像36がスクリーン59に投影されて見える位置に設置されている。
【0058】
デジタルカメラ55〜57から出力された単一色背景画像38,62,36をそれぞれ背景にした各撮影画像データは、切替制御部34で制御される撮影画像切替器40を介して被写体切出部28に送られる。また、デジタルカメラ55〜57から出力された通常背景画像22を背景にした各スルー画の画像データは、撮影画像切替器40を介してモニタ(図示せず)に送られ、画像合成した状態を事前に確認することができる。
【0059】
被写体切出部28は、単一色背景画像38を背景にして人物11を撮影した撮影画像データを第1デジタルカメラ55から受け取ると、単一色背景・選択部/表示部26から入力された単一色背景画像38の緑色情報に基づいてキー信号を作成し、これにより第1デジタルカメラ55から入力された撮影画像データから主要被写体(人物11)画像データを切り抜き、画像合成部29に送る。
【0060】
また、同様に、被写体切出部28は、第2デジタルカメラ56から入力された撮影画像データから単一色背景画像62の黄色情報に基づいて主要被写体画像データを切り抜くとともに、第3デジタルカメラ57から入力された撮影画像データから単一色背景画像38の緑色情報に基づいて主要被写体画像データを切り抜き、各主要被写体画像データを画像合成部29に送る。
【0061】
ここで、上記第2実施形態にて説明したように、人物11が身につけている物に青色のものがあっても、緑色の単一色背景画像38を背景にして撮影された第1デジタルカメラ55からの撮影画像データにより分離され、また人物11が身につけている物に緑色のものがあっても、青色の単一色背景画像36を背景にして撮影された第3デジタルカメラ57からの撮影画像データにより分離される。さらに、本実施形態では、第2デジタルカメラ57が黄色の単一色背景画像62を背景にした撮影を行なうので、人物11が身につけている物に青色や緑色のものがあっても、第2デジタルカメラ55からの撮影画像データにより分離される。
【0062】
画像合成部29は、単一色背景画像36,38,62の各背景から切り出された3つの主要被写体画像データに基づいて、欠落した色データのない完全な1個の主要被写体画像データを作成する。続いて、画像合成部29は、この主要被写体画像データと、通常背景・選択部/表示部27から送られた通常背景画像データとを画像合成し、得られた画像データをプリント用画像データとしてプリンタに送る。
【0063】
次に、本実施形態の作用について説明する。まず、人物11をスクリーン12の前方に立たせる。第1プロジェクタ51は通常背景画像22と緑色の単一色背景画像38とを交互に、第2プロジェクタ52は通常背景画像22と黄色の単一色背景画像62とを交互に、第3プロジェクタ53は通常背景画像22と青色の単一色背景画像36とを交互に、それぞれ一定時間間隔でスクリーン59の背面59bに投影する。
【0064】
この時、デジタルカメラ55〜57は、スルー画撮影状態になっており、このスルー画の画像データは、撮影画像切替器40を介してモニタに送られる。図15のフローチャートに示すように、ユーザがモニタを観察することにより、合成完成後の画像を明確に予想できる(st21)。
【0065】
ユーザがシャッタレリーズ操作を行なうと、デジタルカメラ55〜57が、同じタイミングで緑色の単一色背景画像38,黄色の単一色背景画像62,青色の単一色背景画像36をバックにして人物11の撮影を同時に行なう(st22)。これらの撮影画像データは、撮影画像切替器40を介して被写体切出部28に送られ、各撮影画像データからそれぞれ主要被写体画像データが切り抜かれ(st23)、画像合成部29に送られる。
【0066】
画像合成部29に送られた3つの主要被写体画像データに基づいて、欠落した色データのない完全な1個の主要被写体画像データが作成される(st24)。続いて、この主要被写体画像データと、通常背景・選択部/表示部27から送られた通常背景画像データとが画像合成され(st25)、得られた画像データがプリンタに送られる。
【0067】
本実施形態では、3台のプロジェクタ51〜53がそれぞれ通常背景画像22と単一色背景画像とを交互に投影したが、図16,図17に示すように、3台のうち2台のプロジェクタ(例えば第1,第3プロジェクタ51,53)が互いに異なる単一色背景画像を投影するとともに、残りの1台のプロジェクタ(例えば第2プロジェクタ52)が通常背景画像22を連続的に投影するようにしてもよい。
【0068】
より具体的に説明すると、図17(A),(C)に示すように、第1,第3プロジェクタ51,53は、青色の単一色背景画像36と緑色の単一色背景画像38と黄色の単一色背景画像62とを順次に所定の一定時間間隔で、かつ第1プロジェクタ51が緑色の単一色背景画像38を投影している間には第3プロジェクタ53が青色の単一色背景画像36を投影し、第1プロジェクタ51が黄色の単一色背景画像62を投影している間には第3プロジェクタ53が緑色の単一色背景画像38を投影し、第1プロジェクタ51が青色の単一色背景画像36を投影している間には第3プロジェクタ53が黄色の単一色背景画像62を投影するようにずらして、スクリーン12の背面12bに投影する。
【0069】
また、第2プロジェクタ52は、図17(B)に示すように、30フレーム/秒の速度で通常背景画像22をスクリーン12の背面12bに投影し、これに同期して第2デジタルカメラ56が人物11をムービー撮影する。このムービー撮影では、ストロボ装置を用いずにライト装置を用いる。なお、ムービー撮影は、30フレーム/秒での動画撮影である。
【0070】
また、第1デジタルカメラ55は、第1プロジェクタ51の投影タイミングと同期し、15フレーム/秒で撮影を行なう。また、第3デジタルカメラ57は、第3プロジェクタ53の投影タイミング及び第1デジタルカメラ55の撮影タイミングと同期し、15フレーム/秒で撮影を行なう。なお、デジタルカメラ55,57の撮影では、ストロボ装置が同調してストロボ撮影が行なわれる。
【0071】
第2デジタルカメラ56から出力されるムービー画像は、撮影画像切替器40を介してモニタに送られ、画像合成した状態を事前に確認することができる。また、第1,第3デジタルカメラ55,57から同時に出力される撮影画像データに基づいて主要被写体画像の切り出しが行なわれる。この切り出しは、図17(A),(C)に示すように、黄色の単一色背景画像62と緑色の単一色背景画像38,緑色の単一色背景画像38と青色の単一色背景画像36,青色の単一色背景画像36と黄色の単一色背景画像62,・・・という組み合わせにて行なわれ、欠落の無い主要被写体画像が作成され、これが通常背景画像22と合成される。これにより、プロジェクタやデジタルカメラの個体差や組み合わせに起因する主要被写体画像の色データのバラツキを軽減することができる。
【0072】
以上説明した第2実施形態では、第1プロジェクタと第2プロジェクタとで投影する単一色背景画像の色を互いに入れ替えて投影したが、必ずしも入れ替えなくてもよい。また、上記第2実施形態では、2台のデジタルカメラを用いたが、人物が静止している場合には、1台のデジタルカメラで交互に位置を変えて撮影を行なうようにしてもよい。また、上記第3実施形態では、3台のデジタルカメラを用いたが、人物が静止している場合には、1台のデジタルカメラで順次に位置を変えて撮影を行なうようにしてもよい。
【0073】
また、上記第2実施形態では、単一色背景画像の色を「青色」と「緑色」とし、上記第3実施形態では、単一色背景画像の色を「青色」,「緑色」,「黄色」としたが、本発明はこれに限定されることなく、主要被写体画像が明確に分離できれば、どのような色でもよい。また、上記第3実施形態では、単一色背景画像の色を互いに異なる3色としたが、本発明はこのような色数に限定されず、例えば互いに異なる4色としてもよい。
【0074】
また、上記実施形態は、いずれもユーザが操作する画像合成システムであったが、この他に、撮影される人物がディスプレイに表示される案内画面に沿って、所望の背景画像やキャラクタなどを選択し、自動で画像合成し、プリントや画像合成データが得られるようにしてもよい。この場合にも、後ろを振り返ってスクリーンの背景画像を観察することで、画像合成位置を任意に選択することができる。
【図面の簡単な説明】
【0075】
【図1】2台のプロジェクタと1台のデジタルカメラを用いる本発明の第1実施形態の外観を俯瞰して示す説明図である。
【図2】第1実施形態の電気的な構成を示すブロック図である。
【図3】通常背景画像と灰色の単一色背景画像とを示す説明図である。
【図4】第1実施形態の主なシーケンスを示すフローチャートである。
【図5】2台のプロジェクタと2台のデジタルカメラを用いる本発明の第2実施形態の外観を俯瞰して示す説明図である。
【図6】第2実施形態の電気的な構成を示すブロック図である。
【図7】同じタイミングで異なる2色の単一色背景画像を投影すると同時に撮影を行なう様子を示す説明図である。
【図8】各プロジェクタの投影順を示す説明図である。
【図9】第2実施形態の主なシーケンスを示すフローチャートである。
【図10】第2実施形態において、2台のプロジェクタ間で通常背景画像と単一色背景画像を交互のタイミングで投影する場合の説明図である。
【図11】各プロジェクタの投影順を示す説明図である。
【図12】3台のプロジェクタと3台のデジタルカメラを用いる本発明の第3実施形態を示す説明図である。
【図13】第3実施形態の電気的な構成を示すブロック図である。
【図14】同じタイミングで異なる3色の単一色背景画像を投影すると同時に撮影を行なう様子を示す説明図である。
【図15】第3実施形態の主なシーケンスを示すフローチャートである。
【図16】第3実施形態において、同じタイミングで異なる2色の単一色背景画像と通常背景画像を投影すると同時に撮影を行なう場合を示す説明図である。
【図17】各プロジェクタの投影順を示す説明図である。
【符号の説明】
【0076】
10,30,50 画像合成システム
12,59 スクリーン
15,31,32,55〜57 デジタルカメラ
16,17,51〜53 プロジェクタ
18,33 システムコントローラ
22 通常背景画像
23,36,38,62 単一色背景画像
26 単一色背景・選択部/表示部
27 通常背景・選択部/表示部
28 被写体切出部
29 画像合成部
34 切替制御部
35 背景画像切替器
40 撮影画像切替器

【特許請求の範囲】
【請求項1】
主要被写体の背後に配置され、投影された異なる複数の画像が見る角度によって切り替わって見える半透明のスクリーンと、
このスクリーンの主要被写体と反対側の背面に、所定の単一色からなる単一色背景画像を投影する第1投影器と、
この第1投影器とは異なる投影角でスクリーンの背面に、主要被写体画像と合成されるべき任意の通常背景画像を第1投影器と同時に投影する第2投影器と、
前記スクリーンの主要被写体側の表面に単一色背景画像が映し出されていると見える位置からスクリーンを背景に主要被写体を撮影する単一色背景用の撮影装置と、
この撮影装置によって撮影された撮影画像から主要被写体画像を切り出す主要被写体切出部と、
前記主要被写体画像と通常背景画像とを合成する画像合成部と
からなることを特徴とする画像合成システム。
【請求項2】
前記単一色背景用の撮影装置の他に、前記スクリーンの表面に通常背景画像が映し出されていると見える位置からスクリーンを背景に主要被写体を撮影する通常背景用の撮影装置を設けたことを特徴とする請求項1記載の画像合成システム。
【請求項3】
主要被写体の背後に配置され、投影された異なる複数の画像が見る角度によって切り替わって見える半透明のスクリーンと、
このスクリーンの主要被写体と反対側の背面に、所定の単一色からなる第1単一色背景画像とこれと異なる単一色からなる第2単一色背景画像とを交互に、かつ第1単一色背景画像と第2単一色背景画像との間に主要被写体画像に合成されるべき任意の通常背景画像を挿入しながら、各画像を一定時間間隔で順次に投影する第1投影器と、
この第1投影器とは異なる投影角でスクリーンの背面に、前記第1単一色背景画像と第2単一色背景画像とを交互に、かつ第1単一色背景画像と第2単一色背景画像との間に前記通常背景画像を挿入しながら、かつ第1投影器が第1単一色背景画像を投影している時には第2単一色背景画像を投影し、第1投影器が第2単一色背景画像を投影している時には第1単一色背景画像を投影する第2投影器と、
第1投影器から投影された画像がスクリーンの主要被写体側の表面に映し出されて見える第1位置から第1,第2単一色背景画像を背景に主要被写体を撮影する第1撮影装置と、
第2投影器から投影された画像がスクリーンの主要被写体側の表面に映し出されて見える第2位置から、第1撮影装置が第1単一色背景画像を背景に主要被写体を撮影している間には第2単一色背景画像を背景に主要被写体を撮影し、第1撮影装置が第2単一色背景画像を背景に主要被写体を撮影している間には第1単一色背景画像を背景に主要被写体を撮影する第2撮影装置と、
第1,第2撮影装置によって同時にそれぞれ撮影された各撮影画像から第1,第2の主要被写体画像を切り出す主要被写体切出部と、
前記第1,第2の主要被写体画像から1個の主要被写体画像を特定する主要被写体画像特定部と、
この主要被写体画像特定部によって特定された主要被写体画像と通常背景画像とを合成する画像合成部と
からなることを特徴とする画像合成システム。
【請求項4】
主要被写体の背後に配置され、投影された異なる複数の画像が見る角度によって切り替わって見える半透明のスクリーンと、
このスクリーンの主要被写体と反対側の背面に、所定の単一色からなる第1単一色背景画像とこれと異なる単一色からなる第2単一色背景画像とを交互に、かつ第1単一色背景画像と第2単一色背景画像との間に主要被写体画像に合成されるべき任意の通常背景画像を挿入しながら、各画像を一定時間間隔で順次に投影する第1投影器と、
この第1投影器とは異なる投影角でスクリーンの背面に、前記第1単一色背景画像と第2単一色背景画像とを交互に、かつ第1単一色背景画像と第2単一色背景画像との間に前記通常背景画像を挿入しながら、かつ第1投影器が第1単一色背景画像又は第2単一色背景画像を投影している時には通常背景画像を投影し、第1投影器が通常背景画像を投影している時には第1単一色背景画像又は第2単一色背景画像を投影する第2投影器と、
第1投影器から投影された画像がスクリーンの主要被写体側の表面に映し出されて見える第1位置から第1,第2単一色背景画像を背景に主要被写体を撮影する第1撮影装置と、
第2投影器から投影された画像がスクリーンの主要被写体側の表面に映し出されて見える第2位置から、第1撮影装置が第1単一色背景画像を背景に主要被写体を撮影している間には第2単一色背景画像を背景に主要被写体を撮影し、第1撮影装置が第2単一色背景画像を背景に主要被写体を撮影している間には第1単一色背景画像を背景に主要被写体を撮影する第2撮影装置と、
第1,第2撮影装置によって同時にそれぞれ撮影された各撮影画像から第1,第2の主要被写体画像を切り出す主要被写体切出部と、
前記第1,第2の主要被写体画像から1個の主要被写体画像を特定する主要被写体画像特定部と、
この主要被写体画像特定部によって特定された主要被写体画像と通常背景画像とを合成する画像合成部と
からなることを特徴とする画像合成システム。
【請求項5】
主要被写体の背後に配置され、投影された異なる複数の画像が見る角度によって切り替わって見える半透明のスクリーンと、
このスクリーンの主要被写体と反対側の背面に、所定の単一色からなる単一色背景画像と所定の通常背景画像とを交互に投影する投影器であって、前記単一色背景画像の色が互いに異なり、かつ前記スクリーンへの投影角が互いに異なる位置に設置された複数台の投影器と、
この投影器の各々に対応し、それぞれの単一色背景画像がスクリーンの主要被写体側の表面に映し出されて見える各位置からそれぞれの単一色背景画像を背景に主要被写体を撮影する投影器の数と同数の撮影装置と、
前記撮影装置の各々によって同時に撮影された各撮影画像からそれぞれの主要被写体画像を切り出す主要被写体切出部と、
この主要被写体切出部によって切り出された複数個の主要被写体画像から1個の主要被写体画像を特定する主要被写体画像特定部と、
この主要被写体画像特定部によって特定された主要被写体画像と通常背景画像とを合成する画像合成部と
からなることを特徴とする画像合成システム。
【請求項6】
主要被写体の背後に配置され、投影された異なる複数の画像が見る角度によって切り替わって見える半透明のスクリーンと、
このスクリーンの主要被写体と反対側の背面に、互いに色が異なる複数の単一色背景画像を所定の一定時間間隔で順次に投影する第1投影器と、
この第1投影器とは異なる投影角でスクリーンの背面に、主要被写体画像と合成されるべき所定の通常背景画像を、連続して、もしくは第1投影器と同じ一定時間間隔で投影する第2投影器と、
前記第1,第2投影器とは異なる投影角でスクリーンの背面に、前記第1投影器と同じ複数の単一色背景画像を第1投影器と同じ一定時間間隔で、かつ第1投影器から投影された単一色背景画像とは異なる色の単一色背景画像となる順序で投影する第3投影器と、
第1投影器から投影された単一色背景画像がスクリーンの主要被写体側の表面に映し出されて見える第1位置から第1投影器の投影タイミングに同期して主要被写体を撮影する第1撮影装置と、
第2投影器から投影された通常背景画像がスクリーンの主要被写体側の表面に映し出されて見える第2位置から主要被写体を連続して、もしくは第2投影器の投影タイミングに同期して撮影する第2撮影装置と、
第3投影器から投影された単一色背景画像がスクリーンの主要被写体側の表面に映し出されて見える第3位置から第3投影器の投影タイミングに同期して主要被写体を撮影する第3撮影装置と、
第1,第3撮影装置によって同時にそれぞれ撮影された各撮影画像から第1,第2の主要被写体画像を切り出す主要被写体切出部と、
前記第1,第2の主要被写体画像から1個の主要被写体画像を特定する主要被写体画像特定部と、
この主要被写体画像特定部によって特定された主要被写体画像と通常背景画像とを合成する画像合成部と
からなることを特徴とする画像合成システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2008−92120(P2008−92120A)
【公開日】平成20年4月17日(2008.4.17)
【国際特許分類】
【出願番号】特願2006−268510(P2006−268510)
【出願日】平成18年9月29日(2006.9.29)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】