説明

背景置換装置および撮影システム

【課題】 小型で簡易の撮影システム、および、この撮影システムに好適な背景置換装置を提供する。
【解決手段】 撮像装置で被写体が撮影されて得られた撮影画像を、画素値の集合で画像を表現した形式で取得する撮影画像取得部と、被写体に対する背景は撮影画像中で所定の一様さを有しているとの前提で背景の画素値を、被写体に隠れた背後も含めて推定する背景推定部と、撮影画像の各画素値から、背景推定部で推定された画素値を差し引く背景差し引き部と、背景差し引き部による差し引き結果に基づいて、撮影画像中の領域を、被写体が写っている被写体領域と、被写体領域を除いた背景領域とに区別する領域区別部と、領域区別部による領域の区別に基づいて、撮影装置で被写体と同じ被写体が撮影されて得られた撮影画像中の背景を別の背景に置換する背景置換部とを備えた。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体を撮影して撮影画像を取得し、その撮影画像中の背景を別の背景に置換して背景置換画像を作成する背景置換装置、および、この背景置換画像の作成に好適な撮影システムに関する。
【背景技術】
【0002】
従来、写真館等では、背景幕を使った撮影が行なわれていることが多い。しかし、このような撮影は、背景を確実に作り出すために大きな背景幕が使われ、広い撮影スペースを必要とする。また、背景幕の交換等には手間がかかり、結果的に撮影コストが高くなる。
【0003】
そこで、もっと手軽に撮影を楽しむことができるように、従来のような大きな背景幕や広い撮影スペースが不要な、小型で簡易の撮影システムの開発が望まれている。
【0004】
このような小型の撮影システムでは、前記のような背景幕の代わりに、何らかの仮の背景の前で撮影が行なわれ、撮影で得られた撮影画像に対して、撮影画像中の背景を顧客が所望する背景に差替えるという背景置換処理が行われる。
【0005】
このような背景置換処理に関する技術の一例として、例えば、青色等に塗られた背景パネル等を被写体の背後に配置して撮影を行ない、その撮影で得られた撮影画像において、背景パネルの色と同色の部分と、異なる色の部分とを、それぞれ撮影画像中の背景と被写体として区別し、撮影画像中の背景に区別された部分を所望の背景に置換するクロマキー処理と呼ばれる処理が知られている。
【0006】
このクロマキー処理では、撮影画像中の背景パネル上に被写体の影が写っていると、この影が、被写体と背景との区別を妨げてしまうことがある。そこで、クロマキー処理の対象となる撮影画像を撮影する際には、背景として、面発光する背景パネルを用いることで、背景パネル上の被写体の影を、この背景パネルが発する光で打ち消すという技術が提案されている(例えば、特許文献1参照。)
上記クロマキー処理を含めて、従来の背景置換処理では、被写体がきれいに写ることに主眼が置かれた撮影光条件の下で撮影された撮影画像が用いられて、その撮影画像中の被写体と背景との区別を行うことが多いが、そのような撮影光条件下で得られた撮影画像自体は、そもそも、被写体と背景との区別に適さない画像であることが多い。
【特許文献1】特開2000−224410号公報(第3−10頁、図3)
【発明の開示】
【発明が解決しようとする課題】
【0007】
そのため、撮影画像中の被写体と背景とを良好に区別するために、被写体がきれいに写っている撮影画像を得たときの撮影光条件とは相違する撮影光条件下で同一の被写体が撮影された撮影画像を用いることが考えられ、それらの撮影光条件の相違は極端な方が望ましい。
【0008】
例えば、被写体の背面側から光を照らして被写体のシルエットを作ると被写体と背景との区別が容易である。しかしながら、種々の被写体でそのようなシルエットを確実に作るためには、被写体に光が写り込まないように回りを暗幕で囲むなどの配慮が必要となり、小型で簡易という流れに逆行することとなる。
【0009】
そこで、撮影システムの小型化、簡易化に貢献できるように、より簡便な撮影条件下の撮影画像で、より確実に被写体と背景とを区別することができる技術が望まれている。
【0010】
本発明は、前記事情に鑑み、簡便な撮影条件下の撮影画像であっても確実に被写体と背景とを区別することができる背景置換装置、および、小型化、簡易化が容易な撮影システムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成する本発明の背景置換装置は、
撮像装置で被写体が撮影されて得られた撮影画像を、画素値の集合で画像を表現した形式で取得する撮影画像取得部と、
上記被写体に対する背景は上記撮影画像中で所定の一様さを有しているとの前提でこの背景の画素値を、この被写体に隠れた背後も含めて推定する背景推定部と、
上記撮影画像の各画素値から、上記背景推定部で推定された画素値を差し引く背景差し引き部と、
上記背景差し引き部による差し引き結果に基づいて、上記撮影装置で上記被写体と同じ被写体が撮影されて得られた撮影画像中の領域を、上記被写体が写っている被写体領域と、この被写体領域を除いた背景領域とに区別する領域区別部と、
上記領域区別部による領域の区別に基づいて、上記撮影画像中の背景を別の背景に置換する背景置換部とを備えたことを特徴とする。
【0012】
従来の技術では、背景と被写体とが極端に異なる色や明るさを有していることが前提となっている。そのため、被写体の一部に背景と紛らわしい色や明るさが存在すると区別の精度は低下する。しかし、本発明の背景置換装置では、被写体に隠れた背後も含めて推定し、推定画素値と被写体の画素値との差で被写体と背景とを区別しているので撮影画像上の被写体の画素値とその被写体に隠れた背後の推定画素値とに僅かでも差があれば、被写体の一部や背景の一部にやや紛らわしい部分が生じてしまうような簡便な撮影条件が用いられても被写体領域と背景領域とを区別できる。したがって、本発明の背景置換装置によれば、高精度に背景置換が行なえて、小型で簡易の撮影システムの実現に寄与することができる。尚、ここにいう「所定の一様」とは、一様な変化の他にも均一をも含む概念である。また、ここにいう「画素値」とは、画素毎に数値として付与された情報であれば、明るさでも色でも、その他のいわゆる特徴量でもよい。
【0013】
ここで、上記領域区別部が、上記背景差し引き部によって上記撮影画像の各画素値から上記背景の画素値が差し引かれて得られる差し引き画素値と所定の閾値との比較によって上記被写体領域と上記背景領域とを区別することが好ましい。
【0014】
この様にすると、領域の区別を簡易に行うことができる。
【0015】
また、本発明の背景置換装置が、上記撮影画像取得部で取得された撮影画像中で所定方向に延びる各ラインについて解析し、このライン上に被写体が存在するか否かを確認する被写体確認部を備え、
上記背景推定部が、上記被写体確認部で被写体の存在が確認されたラインについて、上記背景の画素値を、この被写体確認部で被写体の不存在が確認されたラインの画素値を用いて推定するものであることも好ましい態様である。
【0016】
この様にすると、一層高精度に背景を推定することができる。
【0017】
また、上記背景推定部が、被写体を挟む両側の上記背景ラインに基づいてこの被写体の背景の画素値を推定するものであることが好ましい。
【0018】
この様にすると、より一層高精度に背景を推定することができる。
【0019】
ここで、上記背景推定部が、上記背景の明るさが上記撮影画像中で所定の一様さを有しているとの前提でこの背景の明るさを表す画素値を推定するものであることが好ましい。
【0020】
色より明るさの方が一様性が作り易いことから、この様にすると、被写体と背景との差も作りやすい。
【0021】
上記目的を達成する本発明の撮影システムは、
被写体を撮影し、画素値の集合で画像を表現した形式で撮影画像を得る撮影装置;
上記被写体を、この被写体を挟んで上記撮影装置とは反対側に位置する面からの、この面に沿って所定の一様さを有する光で照らす照明装置;および
上記撮影装置で得られた撮影画像を取得する撮影画像取得部と、
上記被写体に対する背景は上記撮影画像中で上記一様さを有しているとの前提でこの背景の画素値を、この被写体に隠れた背後も含めて推定する背景推定部と、
上記撮影画像の各画素値から、上記背景推定部で推定された画素値を差し引く背景差し引き部と、
上記背景差し引き部による差し引き結果に基づいて、上記撮影画像中の領域を、上記被写体が写っている被写体領域と、この被写体領域を除いた背景領域とに区別する領域区別部と、
上記領域区別部による領域の区別に基づいて、上記撮影装置で上記被写体と同じ被写体が撮影されて得られた撮影画像中の背景を別の背景に置換する背景置換部とを備えた背景置換装置;
を備えたことを特徴とする。
【0022】
本発明の撮影システムによれば、小型化、簡易化が容易な撮影システムを提供することができる。
【0023】
ここで、上記照明装置が、上記面に沿った所定の第1方向について一様に変化し、この面に沿った、この第1方向に交わる所定の第2方向については均一の光で上記被写体を照らすものであり、
上記背景置換装置が、上記撮影画像取得部で取得された撮影画像中で上記第1方向に延びる各ラインについて解析し、このライン上に被写体が存在するか否かを確認する被写体確認部を備えたものであり、
上記背景置換装置の背景推定部が、上記被写体確認部で被写体の存在が確認されたラインについて、上記背景の画素値を、この被写体確認部で被写体の不存在が確認されたラインの画素値を用いて推定するものであることが好ましい。
【0024】
この様にすると、より一層高精度な背景置換が行われる、小型化、簡易化が進んだ撮影システムを提供することができる。
【0025】
また、上記照明装置が、上記面に沿って明るさが所定の一様さを有する光で上記被写体を照らすものであり、
上記背景推定部が、上記背景の明るさが上記撮影画像中で上記一様さを有しているとの前提でこの背景の明るさを表す画素値を推定するものであってもよい。
【発明の効果】
【0026】
本発明によれば、簡便な撮影条件下の撮影画像であっても確実に被写体と背景とを区別することができる背景置換装置、および、小型化、簡易化が容易な撮影システムを提供することができる。
【発明を実施するための最良の形態】
【0027】
以下、本発明の実施形態を説明する。
【0028】
図1は、撮影システムを示す図である。
【0029】
この図1に示す撮影システム1は、被写体を撮影して撮影画像を取得する撮影セット10と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を所望の背景に置換して背景置換画像を作成するパーソナルコンピュータ20と、パーソナルコンピュータ20で作成された背景置換画像を出力するプリンタ30と、置換用の背景画像がストックされているサーバ40とを備えている。この撮影システム1が、本発明の撮影システムの一実施形態であり、パーソナルコンピュータ20が、本発明の背景置換装置の第1実施形態である。
【0030】
撮影セット10は、デジタルカメラ11と、第1閃光発光装置12と、撮影台13とを備えており、撮影台13の内部には、第2閃光発光装置130が備えられている。
【0031】
デジタルカメラ11は、連写機能を有しており、撮影者がシャッタボタンを1回押すと、短時間に自動で被写体Pを2回撮影する。1回毎の撮影によって得られた撮影画像は、デジタルカメラ11内のメモリに一時的に保管されるが、撮影システム1では、デジタルカメラ11がパーソナルコンピュータ20に接続されており、2回の撮影が終了した時点で、この2回の撮影で得られた撮影画像は、このパーソナルコンピュータ20に直ちに送られる。また、デジタルカメラ11は、撮影の際、第1閃光発光装置12および第2閃光発光装置に対して、閃光発光を指示する指示信号を個別に発信できるようになっており、上記2回の撮影のうち最初の撮影の際には第1閃光発光装置12に対してのみ上記指示信号が発信され、2回目撮影の際には第2閃光発光装置130に対してのみ上記指示信号が発信される。
【0032】
撮影台13は、被写体Pが載せられる、厚みの薄い乳白色のプラスティック板131と、このプラスティック板131を保持する筐体132、および、その筐体132内に内蔵された第2閃光発光装置130を備えている。尚、プラスティック板131上には被写体Pであるお椀が奥側にもう1つ並べられている。
【0033】
ここで、この撮影システム1の撮影セット10では、上述したように、1回目の撮影は第1閃光発光装置12のみが閃光を発した状態で行なわれ、2回目の撮影は第2閃光発光装置130のみが閃光を発した状態で行なわれる。その結果、1回目の撮影では、デジタルカメラ11側から被写体Pを照らすという順光状態での撮影により、被写体Pがきれいに写った撮影画像が得られる。また、この1回目の撮影に連続して行なわれる2回目の撮影では、第2閃光発光装置130からの閃光が、図1に示すように湾曲した乳白色のプラスティック板131の背面側から発光されることで、このプラスティック板131からは図1における奥行き方向および上下方向に均一な明るさの光が出射されるが、湾曲したプラスティック板131上の各箇所の向きとデジタルカメラ11の向きとの関係により、撮影画像上では、被写体はシャドウ側に偏るのに対し、背景は左右方向には均一で上下方向には下方に向かって一様に暗くなる。
【0034】
パーソナルコンピュータ20では、デジタルカメラ11から送信されてきた上述の2つの撮影画像を基に背景置換画像が作成される。この背景置換画像の作成については後述する。
【0035】
図2は、図1に示すパーソナルコンピュータの外観斜視図である。
【0036】
図2に示すパーソナルコンピュータ20は、外観構成上、フレキシブルディスク(以降、FDと呼ぶ)やCD−ROMの装填口を有し、その装填口に装填されたFDやCD−ROMへのアクセス機能を有する本体装置210、その本体装置210からの指示に応じて表示画面220a上に画像を表示する画像表示装置220、本体装置210にキー操作に応じた各種の情報を入力するキーボード230、表示画面220a上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス240、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メディアが装填され、その小型記憶メディアをアクセスするメディアドライブ250を備えている。
【0037】
プリンタ30は、パーソナルコンピュータ20から送られてくる画像をプリントするものであり、撮影システム1では、パーソナルコンピュータ20によって作成された背景置換画像をプリントする役割を担っている。
【0038】
図1に示すサーバ40には、パーソナルコンピュータ20で実行される背景置換における、置換背景となる複数の背景候補が格納されている。この背景候補は、表示画面220a上に表示されることによって提示される。また、この撮影システム1では、サーバ40内に格納されている背景以外にも、前記のCD−ROMや前記の小型記憶メディア等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面220aを通じて提示される。
【0039】
次に、この図1に示す撮影システム1で実行される作業の流れについて説明する。尚、以下の説明では、図1に示す要素については特に図番を断らずに図1中の符号を使って参照する。
【0040】
図3は、図1の撮影システムで実行される作業の流れを示す図である。
【0041】
まず、撮影者が、プラスティック板131上に載せられた被写体Pに対するピントや露光の調節等を行なった後にデジタルカメラ11のシャッタボタンを押すと、被写体Pに対する撮影が2回連続して行なわれる。まず1回目の撮影では、デジタルカメラ11から発信される指示信号に応じて第1閃光発光装置12のみ閃光発光させて、被写体Pが撮影される(ステップS1)。続いて、2回目の撮影が、第2閃光発光装置130のみ閃光発光させて行なわれる(ステップS2)。
【0042】
これら2回の撮影それぞれで得られた2つの撮影画像は、デジタルカメラ11内のメモリに一時的に保管された後、パーソナルコンピュータ20に送信される。また、パーソナルコンピュータ20に対する操作により、顧客が所望する背景がサーバ40あるいは何らかの入力用記憶媒体から読み出される(ステップS3)。続いて、これら2つの撮影画像を基に背景置換画像を作成するという、詳しくは後述する背景置換処理が実行される(ステップS4)。そして、この背景置換処理で作成された背景置換画像を表わす画像データが、まず画像表示装置220に転送され、さらに、プリンタ30と、顧客が希望する出力用記憶媒体とのうちの少なくとも1つに転送される(ステップS5)。続いて、背景置換画像が表示画面220a上に表示される(ステップS6)。
【0043】
さらに、画像データがプリンタ30に転送された場合には、プリンタ30において、その画像データに基づいて背景置換画像がプリントされる(ステップS7)。
【0044】
以下では、これらの処理を実行するパーソナルコンピュータ20と、パーソナルコンピュータ20における背景置換処理の詳細について説明する。
【0045】
まず、このパーソナルコンピュータ20の内部構成について説明する。
【0046】
図4は、図1に示すパーソナルコンピュータのハードウェア構成図である。
【0047】
この図4に示すように、本体装置210の内部には、各種プログラムを実行するCPU211、各種プログラムやデータ等が保存されたハードディスク装置213、ハードディスク装置213に格納されたプログラムが読み出されCPU211での実行のために展開される主メモリ212、FD520が装填され、その装填されたFD520をアクセスするFDドライブ214、CD−ROM510をアクセスするCD−ROMドライブ215、図1のサーバ40やデジタルカメラ11と接続され、これらの機器から置換用の背景や撮影画像等を受け取る入力インタフェース216、および、図1のプリンタ30と接続され、背景置換画像等を出力する出力インタフェース217が内蔵されている。これらの各種要素と、さらに図1にも示す画像表示装置220、キーボード230、マウス240、および、小型記憶メディア530をアクセスするメディアドライブ250は、バス260を介して相互に接続されている。
【0048】
ここで、CD−ROM510には、パーソナルコンピュータ20を、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶されている。そして、その背景置換プログラムが記憶されたCD−ROM510がCD−ROMドライブ215に装填されると、そのCD−ROM510に記憶された背景置換プログラムがこのパーソナルコンピュータ20にアップロードされてハードディスク装置213に書き込まれる。これにより、パーソナルコンピュータ20は背景置換装置として動作する。
【0049】
次に、この背景置換プログラムについて説明する。
【0050】
図5は、CD−ROMの概念図である。
【0051】
図5に示すCD−ROM510には、図1等に示すパーソナルコンピュータ20を、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶されている。
【0052】
図5に示すCD−ROM510には背景置換プログラム600が記憶されており、この背景置換プログラム600は、画像取得部610、置換処理部620、画像データ転送部630、および画像表示部640で構成されている。
【0053】
この背景置換プログラム600の各部の詳細については、本発明にいう背景置換装置の一例の各部の作用と併せて説明する。尚、以下の説明では、図1、図4、および図5に示す要素については特に図番を断らずに各図中の符号を使って参照する。
【0054】
図6は、パーソナルコンピュータが本発明にいう背景置換装置の一例として動作するときの機能を表わす機能ブロック図である。尚、図5に示す背景置換プログラムが図1等に示すパーソナルコンピュータにインストールされることで、パーソナルコンピュータは、本発明にいう背景置換装置の一例として動作する。
【0055】
図6には、図1にも示す、デジタルカメラ11、第1閃光発光装置12、および第2閃光発光装置130を備えた撮影セット10や、プリンタ30、サーバ40も示されている。
【0056】
この図6に示す背景置換装置700では、上述したように、撮影セット10のデジタルカメラ11によって撮影された2つの撮影画像を取得し、これらの2つの撮影画像のうち、第2閃光発光装置130のみを閃光発光させて得られた撮影画像(以下、この撮影画像を逆光画像と称す。)に基づいて、第1閃光発光装置12のみを閃光発光させて得られた撮影画像(以下、この撮影画像を通常画像と称す。)を被写体領域と背景領域とに区別して、その背景領域を所望の背景に置換するという背景置換処理が実行され、この背景置換装置700には、画像取得部710、背景置換処理部720、画像データ転送部730、および画像表示部740が備えられている。
【0057】
画像取得部710では、まず、デジタルカメラ11で撮影され、そのデジタルカメラ11から送信される、2つの撮影画像を表すRGB値をそれぞれ受け取る。また、この画像取得部710では、顧客が所望する背景を、サーバ40から、あるいは、CD−ROMや小型記憶メディア等といった入力用記憶媒体540から読み出す。この画像取得部710は、実質的には、パーソナルコンピュータ20のCPU211が、背景置換プログラム600の画像取得部610に従って、入力インタフェース216、FDドライブ214、CD−ROMドライブ215、およびメディアドライブ250を制御することによって構成される。
【0058】
背景置換処理部720では、画像取得部710により取得された2つの撮影画像(逆光画像および通常画像)に基づいて背景置換画像が作成される。背景置換処理部720は、実質的には、パーソナルコンピュータ20のCPU211が、背景置換プログラム600の置換処理部630に従って動作することによって構成される。
【0059】
画像データ転送部730では、背景置換処理部720で作成された背景置換画像を表わす画像データを、プリンタ30および顧客が希望する出力用記憶媒体550のうちの少なくとも一方と、この背景置換装置700の画像表示部740とに転送する。この画像データ転送部730は、実質的には、パーソナルコンピュータ20のCPU211が、背景置換プログラム600の画像データ転送部630に従って、出力インタフェース217、FDドライブ214、CD−ROMドライブ215、およびメディアドライブ250を制御することによって構成される。
【0060】
画像表示部740では、画像データ転送部730から転送されてくる画像データが表す背景置換画像を表示画面220aに表示し、画像表示部740は、実質的には、パーソナルコンピュータ20のCPU211が、背景置換プログラム600の画像表示部640に従って画像表示装置220を制御することによって構成される。
【0061】
また、前記の画像データ転送部730からプリンタ30に背景置換画像を表わす画像データが出力された場合には、プリンタ30では、この画像データに基づく背景置換画像がプリントされ、前記の画像データ転送部730から、何らかの出力用記憶媒体550に背景置換画像を表わす画像データが出力された場合には、この画像データがその出力用記憶媒体550に書き込まれる。そして、背景置換画像がプリントされたプリント紙と、背景置換画像を表わす画像データが書き込まれた出力用記憶媒体550との両方、あるいは一方が、顧客の希望に応じて提供される。
【0062】
次に、背景置換処理部720の詳細について説明する。
【0063】
図7は、図6に1つのブロックで示される背景置換処理部の詳細を示す図である。
【0064】
図7に示される背景置換処理部720は、背景推定部721、差し引き部722、調整部725、2値化部723、および背景置換作成部724を備えている。尚、以下では、画像取得部710が取得した、2つの撮影画像のRGB値群のうち、第1閃光発光装置12のみを利用して撮影された撮影画像(通常画像)を表すRGB値群を第1RGB値群と称し、第2閃光発光装置130のみを利用して撮影された撮影画像(逆光画像)を表すRGB値群を第2RGB値群と称す。また、顧客が所望した背景のRGB値を背景RGB値群と称す。尚、図7中に示される第3RGB値群については後述する。
【0065】
ここで、図8は、図7に示される各部で生成される画像を観念的に示す図である。
【0066】
図8(a)には、第2RGB値群によって表される画像(逆光画像)が示されており、ここには、上から下にかけて一様なグラデーションを有する背景と、この背景の上部よりもシャドウ側に寄った被写体とが示されている。図8(b)には、図7中に示される背景推定部721において、第2RGB値群に基づいて被写体の背後については背景推定がされて作成された第3RGB値群が表す背景画像が示されている。図8(c)には、差し引き部722において、第2RGB値群から第3RGB値群の各値が差し引かれた結果のRGB値群で表された画像が示されており、ここには、ベタ黒の背景に被写体Pがうっすら浮かび上がっている様子が示されている。図8(d)には、差し引かれた結果のRGB値群が調整部725での調整を終え、その後、2値化部723において2値化処理された、その処理済みのRGB値群が表す画像が示されている。
【0067】
以下では、図7に示される各部の動作について、図8〜図10を参照しながらさらに詳細に説明する。
【0068】
まず、図7に示される背景推定部721には、図8(a)に示される撮影画像を表す第2RGB値群が入力され、この第2RGB値群に基づいて、図8(a)に示される逆光の撮影画像から、被写体Pに隠れた背後の領域のRGB値の推定が行われる。
【0069】
図9は、被写体に隠れた背後の領域のRGB値の推定の手法を概念的に示す図である。尚、図9に示されている画像は、明暗の図示が省略されているが、図8(a)と同じ図であるとして話を進める。
【0070】
背景推定部721では、入力されてきた第2RGB値群から、まず、図9に示される画像の左側の1列目の上端に位置する画素から下端に位置する画素までの各画素における輝度を順に読み出しつつ、これ以降に輝度を読み出す画素の輝度推定を外挿法により行い、推定した輝度(以下、この推定した輝度を推定輝度と称す。)と、実際に読み出した輝度(以下、この読み出した輝度を読出輝度と称す。)との間に所定値以上のズレがあるか否かを判定し、これら輝度の読み出し、輝度の推定、および判定を、図9に示す撮影画像の左端から右端に架けて行う。その結果、読出輝度と推定輝度との差が全て所定値未満の画素からなる列は、背景領域のみを通過する列として認識される。一方、列の中に、読出輝度と推定輝度との差が所定値以上である画素が存在する列は被写体領域を通過する列として認識され、その列上の、被写体領域に属する画素の輝度は、被写体領域を通過する列の直前の、背景領域に通過する列の対応する画素の読出輝度に置き換えられる。この様にして被写体Pの背後の領域の輝度が推定により決定される。尚、被写体Pの背後の領域の輝度の推定において、輝度の読み出しを撮影画像の上端から開始するのは、この撮影セット10において撮影される撮影画像の背景は前述したように上方が明るく下方に行くほど暗くなっており、背景領域に、例えば、背景の周縁が黒枠として写っている場合でも、所定の閾値を下回る暗い部分は除外しつつ所定の閾値以上の明るさが読み取れた画素を背景領域の始まりの画素とすることができるからである。また、この背景推定部721は、本発明にいう背景推定部の一例と、被写体確認部の一例とを併せたものに相当する。
【0071】
図10は、撮影画像上の上下方向の位置と読出輝度との関係を示す図である。
【0072】
図10(a)には、横軸に図9に示す逆光撮影の画像上の上下方向の位置、縦軸に輝度(0〜255)をとった場合の、この画像の背景領域に属する列の上下位置と読出輝度との関係が示されており、ここには、列の上端では、255に近い‘明’側の読出輝度が、列の下端に近づくにつれて0に近い‘暗’側へなだらかに変化していく様子が示されている。また、図9に示される、背景領域を通過する列のうち代表的な列A、B、C、E、F、およびGにおける上下位置と読出輝度との関係がほぼ同じであることで、図10(a)には、プロットがほぼ同じ位置に重ねて行われている様子が示されている。このことは、つまり、図9に示される撮影画像の背景が左右方向に均一であることを表している。
【0073】
図10(b)には、被写体領域を通過する列の中から代表的に抽出した列Dについて得られた、列Dにおける上下位置と読出輝度との関係が示されている。この列Dについては、位置a手前までの画素は背景領域に属しているものの、位置aから位置bまでの間の画素が被写体領域に属していることで外挿法による推定輝度と読出輝度とのズレが所定値以上となる。このため、この範囲内の読出輝度が、背景領域のみを通過する列のうち最も近い列である列Cの対応する範囲の読出輝度に置き換えられる。図10(b)には、読出輝度の置き換えが行われた範囲が点線で示されている。以上説明したようにして、背景推定部721では、被写体Pに隠れた背後の画素の輝度推定を行った上で、背景全体のRGB値群である第3RGB値群を作成する。図7に示す差し引き部722では、第2RGB値群から第3RGB値群が差し引かれる。
【0074】
従来の背景置換技術では、背景と被写体とが極端に異なる色や明るさを有していることが背景置換処理を高精度に行うための要件となっている。そのため、被写体と背景との境目の色や明るさに明らかな差がないと、背景と被写体との区別の精度は低下する。しかし、この背景置換処理部720では、被写体を逆光で撮影して得られた第2RGB値群から、被写体Pに隠れた背後については推定を用いた背景画像を表す第3RGB値群を差し引くことで得られた差分により被写体領域と背景領域とを区別する。つまり、背景置換処理部720によれば、被写体と背景との境目の色や明るさに明らかな差がなくても、被写体領域のRGB値群と、その被写体領域に隠れた背後の領域について推定されたRGB値群とに僅かでも差があれば被写体領域と背景領域とを区別することができる。
【0075】
図7に示す調整部725では、第2RGB値群から第3RGB値群が差し引かれた後のRGB値群に対する、オペレータによる調整が可能となっている。
【0076】
ここで、図11は、コンピュータの画像表示装置の画面表示を示す図である。
【0077】
本発明の背景置換装置の第1実施形態であるコンピュータ20では、第2RGB値群から第3RGB値群が差し引かれた後のRGB値群に対し、光の写り込み等によるノイズ成分の除去をオペレータが調整部725を介して手動で行えるようになっており、図11(a)には、この手動による調整が行われる際の画面表示が示されている。
【0078】
図11(a)には、第2RGB値群から第3RGB値群が差し引かれた後のRGB値群が表す画像が表示された画面220aが示されており、この画面220aには、入力欄221a、‘実行’ボタン222a、および‘OK’ボタン223aも表示されている。
【0079】
図11(a)に示される入力欄221aには、ノイズ成分除去のための閾値が入力される。例えば、この入力欄221aに値‘10’が入力され、‘実行’ボタン222aが操作されると、まず、周囲とRGB値が異なる孤立した画素群の検出が行われ、検出した画素群の中で群を構成する画素数が、入力欄221aで指定されている値(ここに示す例では‘10’)以下の画素群については、ノイズ成分によるものとし、その画素群のRGB値はその周囲の画素のRGB値と同じRGB値に置き換えられる。このように、このコンピュータ20では、第2RGB値群から第3RGB値群が差し引かれた後のRGB値群に対するノイズ成分の除去の判断基準となる画素数のオペレータによる変更が可能となっている。図11(a)に示される‘OK’ボタン223aは、ノイズ成分が除去されたRGB値群を2値化部723(図7参照)に送る際に操作されるボタンである。
【0080】
その後、画面220aには、図11(b)に示すように、調整部725でノイズ成分が除去されたRGB値群に対して、2値化部723における2値化処理が施されたRGB値群により表される画像が表示される。
【0081】
2値化部723では、調整部725から送られてきた、ノイズ成分が除去されたRGB値群から輝度を読み出し、閾値A未満の輝度については輝度を‘0’とし、閾値A以上の輝度については輝度を‘255’としている。この閾値としては、デフォルトで、ノイズ成分が除去されたRGB値群から読み出された輝度の出現頻度の分布における最大輝度と最小輝度の中間値が設定されるようになっている。
【0082】
ここで、このコンピュータ20では、調整部725でのノイズ成分の除去処理がなされた後のRGB値群に対する2値化処理についての調整を、オペレータが調整部725を介して手動で行えるようになっており、図11(b)には、この手動による調整が行われる際の画面表示が示されている。
【0083】
図11(b)に示される‘ヒストグラム’ボタン224aは、調整部725から送られてきたRGB値群の輝度を出現頻度の分布で表す際に操作されるボタンである。
【0084】
図11(c)には、‘ヒストグラム’ボタン224aが操作されたことによる画面表示が示されている。ここには、調整部725から送られてきたRGB値群から読み出された輝度の出現頻度の分布が示されており、ノイズ成分が除去されたRGB値群の輝度の分布における最大輝度である‘2A’と最小輝度である値‘0’の中間値である‘A’が現在の閾値となっている様子が図中の直線Sで示されている。オペレータは、マウス240を使用してこの直線Sをつまみながら左右に移動することで閾値を変更できるようになっている。図11(b)に示される‘実行’ボタン222aは、オペレータが新たに設定した閾値を基準として2値化処理を行う際に操作される。また、図11(b)に示される‘OK’ボタン223aは、2値化処理がなされたRGB値群を背景置換画像作製部724に送る際に操作されるボタンである。図11(c)に示される‘決定’ボタン225aは、マウス240を使用して直線Sを移動させた後、それを閾値として設定するために操作されるボタンである。‘戻る’ボタン226aは、図11(c)に示される画面表示から図11(b)に示される画面表示に戻る際に操作されるボタンである。
【0085】
2値化部723により2値化処理されたRGB値群の輝度については、設定された閾値に基づいて、閾値未満の輝度は‘0’とされ、閾値以上の輝度は‘255’とされて、画像上ではそれぞれ‘ベタ黒’と‘白’とで表される。
【0086】
図7に示す背景置換画像作成部724では、2値化部723により輝度が‘255’とされた被写体領域のRGB値については、第1RGB値群の対応するRGB値に置き換えられ、2値化部723により輝度が‘0’とされた背景領域のRGB値については、顧客が所望した背景RGB値群の対応するRGB値に置き換えられる。これにより、順光できれいに撮影された被写体と、顧客が所望する背景とが組み合わさった背景置換画像が作成される。
【0087】
このようにして作成された背景置換画像を表わすRGB値群が、図6に示される画像データ転送部730に送信され、各出力デバイスや出力用記憶媒体550(図6参照)に転送される。
【0088】
以上説明したように、本実施形態のコンピュータ20では、被写体Pを挟んでデジタルカメラ11とは反対側に位置するプラスティック板131からの、このプラスティック板131に沿って所定の一様さを有する光で照らされたこの被写体Pを撮影した逆光画像に基づいて、被写体Pに隠れた背後については推定して背景全体のRGB値群を得、逆光画像を表すRGB値群から背景全体のRGB値群を差し引くことで被写体領域が高精度に検出されて背景置換が行われる。したがって、本実施形態のコンピュータ20によれば、小型で簡易の撮影システム1の実現に寄与することができる。
【0089】
次に、この撮影システム1に備えられている、本発明の背景置換装置の第1実施形態であるパーソナルコンピュータ20との置換が可能な、本発明の背景置換装置の第2実施形態であるパーソナルコンピュータ21について説明する。
【0090】
第2実施形態のパーソナルコンピュータ21と、第1実施形態のパーソナルコンピュータ20との相違点は、被写体の背後の背景推定の方法にあるので、以下では、第2実施形態のパーソナルコンピュータ21における背景推定の方法についてのみ説明する。
【0091】
図12は、本発明の背景置換装置の第2実施形態であるパーソナルコンピュータにおける背景推定の対象である逆光画像を示す図である。
【0092】
図12には、画角の中央に1つの被写体が配置された逆光画像が示されている。
【0093】
第2実施形態のパーソナルコンピュータ21では、入力されてきた、図12に示される逆光画像を表す第2RGB値群から、まず、図12に示される画像の左側の1列目の上端に位置する画素から下端に位置する画素までの各画素における輝度を順に読み出し、読み出した1列分の読出輝度に基づいて曲線を近似し、この近似曲線と読出輝度との差分の平均値が所定値未満であるか否かを判定し、これら輝度の読み出し、曲線近似、および判定を、図12に示す撮影画像の左端の列から右端の列にかけて行う。この判定の結果、平均値が所定値未満であればその列は背景領域のみを通過する列と認識され、平均値が所定値以上であればその列は被写体領域を通過する列と認識される。被写体領域を通過する列上の、被写体領域に属する画素の輝度は、被写体領域を通過する列の直前の、背景領域のみを通過する列の対応する画素の読出輝度に置き換えられる。第2実施形態のパーソナルコンピュータ21では、この様に、被写体Pの背後の領域の輝度が、近似曲線を利用して推定される。
【0094】
次に、この撮影システム1に備えられている、本発明の背景置換装置の第1実施形態であるパーソナルコンピュータ20との置換が可能な、本発明の背景置換装置の第3実施形態であるパーソナルコンピュータ22について説明する。
【0095】
第3実施形態のパーソナルコンピュータ22と、第1実施形態のパーソナルコンピュータ20との相違点も、被写体の背後の背景推定の方法にあるので、以下では、第3実施形態のパーソナルコンピュータ22における、被写体の背後の背景推定の方法についてのみ説明する。
【0096】
第3実施形態であるパーソナルコンピュータ22では、まず、第2実施形態であるパーソナルコンピュータ21で行われている、輝度の読み出し、曲線近似、および判定が、左端から右端にかけてと右端から左端にかけてとの双方で、上記差分の平均値が所定値以上となる列が検出されるまで行なわれる。
【0097】
左端から右端にかけて行った上述の判定で上記差分の平均値が所定値以上となる列(以下では、その検出した列を列L1と称す。)が検出され、また、右端から左端にかけて行った上述の判定で上記差分の平均値が所定値以上となる列(以下では、その検出した列を列R1と称す。)が検出されると、これら列L1と列R1とを含め、列1と列R1との間に位置する各列も、被写体領域を通過する列として認識される。被写体領域を通過する各列上の画素の輝度は、背景領域のみを通過する列であって被写体領域に最も近い列である、列L1の左隣の列(以下では、その列をL0と称す。)および列R1の右隣の列(以下では、その列をR0と称す。)から距離の比に応じて重み付け平均がされた新たな輝度(以下では、この新たな輝度を推定輝度と称す。)に置き換えられる。例えば、被写体領域に属する、列L0からの距離と列R0からの距離との比がm:nの位置にある列X上の所定画素xの推定輝度は、列L0上の、所定画素xに対応する画素の輝度Lxと、列R0上の、所定画素xに対応する画素の輝度Rxとに基づいて、式(m*Rx+n*Lx)/(m+n)で算出される。この様な距離の比に応じた重み付け平均がされているのは、左右方向における背景領域の輝度のムラを、輝度を推定する領域にも反映させるためである。第3実施形態のパーソナルコンピュータ22によれば、図12に示されるような被写体が1つの場合の背景置換を高精度に行うことができる。尚、上記では、被写体領域を通過する列か否かの判定を、近似曲線からの差分の平均値に基づいて行っている場合を例に挙げたが、被写体領域を通過する列か否かの判定としては、近似曲線からの差分の最大値に基づいて行ってもよい。尚、第3実施形態では、上述のR1およびL1を、第2実施形で説明した近似曲線により検出した場合を例に挙げたが、R1およびL1の検出としては第1実施形態で説明した外挿法による検出を採用してもよい。
【0098】
次に、本発明の背景置換装置の第4実施形態であるパーソナルコンピュータ23について説明する。このパーソナルコンピュータ23も、この撮影システム1に備えられている、本発明の背景置換装置の第1実施形態であるパーソナルコンピュータ20との置換が可能なものである。
【0099】
第4実施形態のパーソナルコンピュータ23と、第1実施形態のパーソナルコンピュータ20との相違点も、被写体の背後の背景推定の方法にあるので、以下では、第4実施形態のパーソナルコンピュータ23における、被写体の背後の背景推定の方法についてのみ説明する。
【0100】
第4実施形態のパーソナルコンピュータ23では、第2実施形態であるパーソナルコンピュータ21で行われている、輝度の読み出し、曲線近似、および判定が、左端から右端にかけてと右端から左端にかけてとに加え、上端から下端にかけてと下端から上端にかけてとの双方についても、上記差分の平均値が所定値以上となる列が検出されるまで行なわれる。
【0101】
第4実施形態のパーソナルコンピュータ23では、上述の判定を上端から下端にかけて行った場合に上記差分の平均値が所定値以上となる列の一列上の列(以下では、この列を列U0と称す。)、および、上述の判定を下端から上端にかけて行った場合に上記差分の平均値が所定値以上となる列の一列下の列(以下では、この列を列D0と称す。)からの距離に基づいて重み付け平均した、被写体領域に属する各画素の輝度と、前述のL0およびR0からの距離に基づいて重み付け平均した、被写体領域に属する各画素の輝度との平均を上述の推定輝度とする。第4実施形態であるパーソナルコンピュータ23におけるこの背景推定は、左右方向と上下方向とのいずれの方向に背景の明るさが均一であるのかが不明である場合に有効となる。尚、第3実施形態では、上述の列R1、L1、U1、およびD1を、第2実施形で説明した近似曲線により検出した場合を例に挙げたが、これを第1実施形態で説明した外挿法による検出を採用してもよい。
【0102】
尚、以上の実施形態では、本発明にいう背景の所定の一様さの一例として、明るさが左右方向に均一、かつ上下方向に一様に変化する例を挙げているが、本発明にいう背景の所定の一様さは、背景の推定が可能であれば、明るさが上下方向に均一、かつ左右方向に一様に変化するものであってもよく、さらには、上下左右に均一であってもよい。
【0103】
また、以上の実施形態では、本発明にいう背景推定の一例として、画素の輝度を検出する例を挙げているが、本発明にいう背景推定は、画素の輝度ではなく、画素の色を検出してもよい。さらには、ライン毎ではなく2次元的に推定しても良い。
【図面の簡単な説明】
【0104】
【図1】撮影システムを示す図である。
【図2】図1に示すパーソナルコンピュータの外観斜視図である。
【図3】図1の撮影システムで実行される作業の流れを示す図である。
【図4】図1に示すパーソナルコンピュータのハードウェア構成図である。
【図5】CD−ROMの概念図である。
【図6】パーソナルコンピュータが本発明にいう背景置換装置の一例として動作するときの機能を表わす機能ブロック図である。
【図7】図6に1つのブロックで示す置換処理部の詳細を示す図である。
【図8】図7に示される各部で生成される画像を観念的に示す図である。
【図9】被写体に隠れた背後の領域のRGB値の推定の手法を概念的に示す図である。
【図10】撮影画像上の上下位置と輝度との関係を示す図である。
【図11】コンピュータの画像表示装置の画面表示を示す図である。
【図12】本発明の背景置換装置の第3実施形態であるパーソナルコンピュータにおける背景推定の対象である逆光画像を示す図である。
【符号の説明】
【0105】
1 撮影システム
10 撮影セット
11 デジタルカメラ
12 第1閃光発光装置
13 撮影台
130 第2閃光発光装置
131 プラスティック板
132 筐体
20 パーソナルコンピュータ
600 背景置換プログラム
610 画像取得部
620 置換処理部
630 画像データ転送部
640 画像表示部
700 背景置換装置
710 画像取得部
720 背景置換処理部
721 背景推定部
722 差し引き部
723 2値化部
724 背景置換画像作成部
725 調整部
730 画像データ転送部
740 画像表示部

【特許請求の範囲】
【請求項1】
撮像装置で被写体が撮影されて得られた撮影画像を、画素値の集合で画像を表現した形式で取得する撮影画像取得部と、
前記被写体に対する背景は前記撮影画像中で所定の一様さを有しているとの前提で該背景の画素値を、該被写体に隠れた背後も含めて推定する背景推定部と、
前記撮影画像の各画素値から、前記背景推定部で推定された画素値を差し引く背景差し引き部と、
前記背景差し引き部による差し引き結果に基づいて、前記撮影装置で前記被写体と同じ被写体が撮影されて得られた撮影画像中の領域を、前記被写体が写っている被写体領域と、該被写体領域を除いた背景領域とに区別する領域区別部と、
前記領域区別部による領域の区別に基づいて、前記撮影画像中の背景を別の背景に置換する背景置換部とを備えたことを特徴とする背景置換装置。
【請求項2】
前記領域区別部が、前記背景差し引き部によって前記撮影画像の各画素値から前記背景の画素値が差し引かれて得られる差し引き画素値と所定の閾値との比較によって前記被写体領域と前記背景領域とを区別するものであることを特徴とする請求項1記載の背景置換装置。
【請求項3】
前記撮影画像取得部で取得された撮影画像中で所定方向に延びる各ラインについて解析し、該ライン上に被写体が存在するか否かを確認する被写体確認部を備え、
前記背景推定部が、前記被写体確認部で被写体の存在が確認された被写体ラインについて、前記背景の画素値を、該被写体確認部で被写体の不存在が確認された背景ラインの画素値を用いて推定するものであることを特徴とする請求項1又は2記載の背景置換装置。
【請求項4】
前記背景推定部が、被写体を挟む両側の前記背景ラインに基づいて該被写体の背景の画素値を推定するものであることを特徴とする請求項3記載の背景置換装置。
【請求項5】
前記背景推定部が、前記背景の明るさが前記撮影画像中で所定の一様さを有しているとの前提でこの背景の明るさを表す画素値を推定するものであることを特徴とする請求項1から4のうちのいずれか1項記載の背景置換装置。
【請求項6】
被写体を撮影し、画素値の集合で画像を表現した形式で撮影画像を得る撮影装置;
前記被写体を、該被写体を挟んで前記撮影装置とは反対側に位置する面からの、該面に沿って所定の一様さを有する光で照らす照明装置;および
前記撮影装置で得られた撮影画像を取得する撮影画像取得部と、
前記被写体に対する背景は前記撮影画像中で前記一様さを有しているとの前提で該背景の画素値を、該被写体に隠れた背後も含めて推定する背景推定部と、
前記撮影画像の各画素値から、前記背景推定部で推定された画素値を差し引く背景差し引き部と、
前記背景差し引き部による差し引き結果に基づいて、前記撮影画像中の領域を、前記被写体が写っている被写体領域と、該被写体領域を除いた背景領域とに区別する領域区別部と、
前記領域区別部による領域の区別に基づいて、前記撮影装置で前記被写体と同じ被写体が撮影されて得られた撮影画像中の背景を別の背景に置換する背景置換部とを備えた背景置換装置;
を備えたことを特徴とする撮影システム。
【請求項7】
前記照明装置が、前記面に沿った所定の第1方向について一様に変化し、該面に沿った、該第1方向に交わる所定の第2方向については均一の光で前記被写体を照らすものであり、
前記背景置換装置が、前記撮影画像取得部で取得された撮影画像中で前記第1方向に延びる各ラインについて解析し、該ライン上に被写体が存在するか否かを確認する被写体確認部を備えたものであり、
前記背景置換装置の背景推定部が、前記被写体確認部で被写体の存在が確認されたラインについて、前記背景の画素値を、該被写体確認部で被写体の不存在が確認されたラインの画素値を用いて推定するものであることを特徴とする請求項6記載の撮影システム。
【請求項8】
前記照明装置が、前記面に沿って明るさが所定の一様さを有する光で前記被写体を照らすものであり、
前記背景推定部が、前記背景の明るさが前記撮影画像中で前記一様さを有しているとの前提でこの背景の明るさを表す画素値を推定するものであることを特徴とする請求項6又は7記載の撮影システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2010−81252(P2010−81252A)
【公開日】平成22年4月8日(2010.4.8)
【国際特許分類】
【出願番号】特願2008−246699(P2008−246699)
【出願日】平成20年9月25日(2008.9.25)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】