撮影環境確認方法
【課題】 背景置換に適した撮影画像が得られる環境であるか否かを確認するための撮影環境確認方法を提供する。
【解決手段】 被写体が載置される、該被写体の下部から背後に至る載置面を有し、該載置面からの光で該被写体を照らす撮影台上に、撮影環境確認用の既知の基準被写体を載置して撮影することで撮影画像を得る撮影過程と、前記撮影過程で得られた撮影画像について、前記基準被写体の上部が写る既知の第１領域中の明るさに対し前記載置面が写る既知の第２領域中の明るさが所定程度を越えて明るいか否かを判定する判定過程とを有することを特徴とする撮影環境確認方法。
【解決手段】 被写体が載置される、該被写体の下部から背後に至る載置面を有し、該載置面からの光で該被写体を照らす撮影台上に、撮影環境確認用の既知の基準被写体を載置して撮影することで撮影画像を得る撮影過程と、前記撮影過程で得られた撮影画像について、前記基準被写体の上部が写る既知の第１領域中の明るさに対し前記載置面が写る既知の第２領域中の明るさが所定程度を越えて明るいか否かを判定する判定過程とを有することを特徴とする撮影環境確認方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮影して取得した撮影画像中の背景を別の背景に置換して背景置換画像を作成するにあたり、取得する該撮影画像の撮影環境を確認する撮影環境確認方法に関する。
【背景技術】
【０００２】
従来、写真館等では、背景幕を使った写真撮影が行なわれている。しかし、この写真撮影では、十分に背景を作り出すための大きな背景幕が使用されることから、広い撮影スペースを必要とし、また、背景幕の交換等にも手間がかかるため、結果的に撮影コストが高くなる。
【０００３】
そこで、もっと手軽に撮影ができるように、従来のような大きな背景幕や広い撮影スペースが不要な、小型の撮影システムの開発が望まれている。このような小型の撮影システムでは、上記のような背景幕の代わりとなる何らかの仮の背景の前で行なって得られた撮影画像に対して、撮影画像中の背景を顧客が所望する背景と差替える背景置換処理が施される。
【０００４】
このような背景置換処理に関する技術の一例として、例えば、青色等に塗られた背景パネル等を被写体の背後に配置して撮影を行ない、その撮影で得られた撮影画像において、背景パネルの色と同色の部分と、異なる色の部分とを、それぞれ撮影画像中の背景と被写体として区別し、撮影画像中の背景に区別された部分を所望の背景に置換するクロマキー処理と呼ばれる処理が知られている（例えば、特許文献１参照。）。
【０００５】
ところで、上述のように撮影画像中の背景を所望の背景と置換するためには、撮影によって得た撮影画像中の被写体と背景とを精度良く区別する必要がある。
【０００６】
ところが、そのような撮影画像は、被写体がきれいに写ることに主眼が置かれた撮影光条件の下で撮影されたものであるため、その撮影画像中の被写体と背景とを、その撮影画像自体に基づいて互いに誤認することなく区別することが困難であることが多い。
【０００７】
撮影画像中の被写体と背景とを精度良く区別するためには、被写体がきれいに写っている撮影画像を含む、相違する複数の撮影光条件の下でそれぞれ撮影された複数の撮影画像がある方が望ましく、また、それら複数の撮影光条件の相違は極端な方が望ましい。
【０００８】
そこで、異なる複数の撮影光条件として順光状態と逆光状態との双方で撮影を行い、特に逆光状態での撮影では、被写体と背景とで撮影画像上における明るさの違いを際だたせることで撮影画像中の被写体と背景とを精度良く区別することが可能である。
【特許文献１】特開２０００−２２４４１０号公報（第３−１０頁、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、逆光撮影画像上の被写体に光が写り込んだり、背景中に暗い部分があったりすると、撮影画像中の被写体と背景との区別がし難くなるという問題がある。
【００１０】
本発明は、上記事情に鑑み、背景置換に適した逆光撮影画像が得られる環境であるか否かを確認するための撮影環境確認方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成する本発明の撮影環境確認方法は、
被写体が載置される、この被写体の下部から背後に至る載置面を有し、この載置面からの光でこの被写体を照らす撮影台上に、撮影環境確認用の既知の基準被写体を載置して撮影することで撮影画像を得る撮影過程と、
上記撮影過程で得られた撮影画像について、上記基準被写体の上部が写る既知の第１領域中の明るさに対し上記載置面が写る既知の第２領域中の明るさが所定程度を越えて明るいか否かを判定する判定過程とを有することを特徴とする。
【００１２】
逆光状態で撮影を行って得られた逆光撮影画像を利用して被写体と背景とを精度良く区別するには、逆光撮影画像上における被写体の明るさと背景の明るさとの違いが際だっている必要がある。そこで、本発明の撮影環境確認方法は、通常の被写体よりも背景に対する明るさの違いを際だたせ難い基準被写体を被写体とする逆光撮影画像において、背景の明るさが基準被写体の明るさに対し所定程度を越えて確保されていれば、通常の被写体であれば当然に被写体と背景とを精度良く区別するのに必要な明るさの差が確保されるはずという発想に基づいて成されたものである。
【００１３】
ここで、上記撮影過程で得られた撮影画像について上記第１領域中で最も明るい箇所の明るさを求める上記第１の明るさ解析過程と、
上記撮影過程で得られた撮影画像について上記第２領域中で最も暗い箇所の明るさを求める第２の明るさ解析過程とを有し、
上記判定過程が、上記第１の明るさ解析過程で求められた明るさに対し上記第２の明るさ解析過程で求められた明るさが明るいか否かを判定する過程であることが好ましく、また、上記撮影過程で得られた撮影画像について明暗のエッジを検出するエッジ検出過程を有し、上記判定過程が、上記エッジ検出過程で検出されたエッジに、上記第１領域と上記第２領域との既知の境界と位置が一致するエッジが存在するか否かを判定する過程であることも好ましい態様である。
【００１４】
判定過程が上記のいずれかであると、撮影画像中の被写体と背景との区別を一層高精度に行うことができる。
【００１５】
また、上記判定過程での判定結果が否定的である場合に、上記載置面の、上記被写体の背後に存在する部分とこの被写体との距離を広げる拡張過程を備えたことが好ましく、また、上記判定過程での判定結果が否定的である場合に、上記載置面の、上記被写体の背後に存在する部分の角度を後方に傾ける傾斜過程を備えたことも好ましい態様である。
【００１６】
この様にすると、基準被写体の上部の明るさを簡易にシャドウ側に寄らせることができる。これにより、基準被写体の上部の明るさに対する所定程度を越えた背景の明るさの確保が可能となる。
【発明の効果】
【００１７】
本発明によれば、背景置換方法に適した逆光撮影画像が得られる環境であるか否かを確認するための撮影環境確認方法を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態を説明する前に、背景置換方法の基本的な内容、および、その方法の実施に必要な設備について説明する。
【００１９】
図１は、背景置換画像を作成するための撮影システムの概要を示す図である。
【００２０】
この図１に示す撮影システム１は、被写体を撮影して撮影画像を取得する撮影セット１０と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を所望の背景に置換して背景置換画像を作成するパーソナルコンピュータ２０と、パーソナルコンピュータ２０で作成された背景置換画像を出力するプリンタ３０と、置換用の背景画像がストックされているサーバ４０とを備えている。
【００２１】
撮影セット１０は、デジタルカメラ１１と、第１閃光発光装置１２と、撮影台１３とを備えており、撮影台１３の内部には、第２閃光発光装置１３０が備えられている。
【００２２】
デジタルカメラ１１は、連写機能を有しており、撮影者がシャッタボタンを１回押すと、短時間に異なる撮影条件下で被写体Ｐを各１回ずつ計２回撮影する。撮影によって得られた撮影画像は、デジタルカメラ１１内のメモリに一時的に保管されるが、撮影システム１では、デジタルカメラ１１がパーソナルコンピュータ２０に接続されており、２回の撮影が終了した時点で、この２回の撮影で得られた撮影画像は、このパーソナルコンピュータ２０に直ちに送られる。また、デジタルカメラ１１は、撮影の際、第１閃光発光装置１２および第２閃光発光装置１３０に対して、閃光発光を指示する指示信号を個別に発信できるようになっており、計２回の撮影のうち最初の撮影の際には第１閃光発光装置１２に対してのみ上記指示信号が発信され、２回目の撮影の際には第２閃光発光装置１３０に対してのみ上記指示信号が発信される。
【００２３】
撮影台１３は、被写体Ｐが載せられる、厚みの薄い乳白色のプラスティック板１３１と、このプラスティック板１３１を保持する筐体１３２、および、その筐体１３２内に内蔵された第２閃光発光装置１３０を備えている。尚、プラスティック板１３１上には、被写体Ｐであるお椀が奥側にもう１つ載せられている。
【００２４】
ここで、この撮影システム１の撮影セット１０では、上述したように、１回目の撮影は第１閃光発光装置１２のみが閃光を発した状態で行なわれ、２回目の撮影は第２閃光発光装置１３０のみが閃光を発した状態で行なわれる。その結果、１回目の撮影では、デジタルカメラ１１側から被写体Ｐを照らすという順光状態での撮影により、被写体Ｐがきれいに写った撮影画像が得られる。また、この１回目の撮影に連続して行なわれる２回目の撮影では、第２閃光発光装置１３０からの閃光が、図１に示すように湾曲した乳白色のプラスティック板１３１の背面側から発光されることで、このプラスティック板１３１からは図１における奥行き方向および上下方向に均一な明るさの光が出射されるが、湾曲したプラスティック板１３１上の各箇所の向きとデジタルカメラ１１の向きとの関係により、撮影画像上では、被写体はシャドウ側に偏ったものとなるのに対し、背景は左右方向には均一で上方から下方にかけてハイライト側から一様にシャドウ側に変化するものとなる。
【００２５】
パーソナルコンピュータ２０では、デジタルカメラ１１から送信されてきた上述の２つの撮影画像を基に背景置換画像が作成される。この背景置換画像の作成については後述する。
【００２６】
図２は、図１に示すパーソナルコンピュータの外観斜視図である。
【００２７】
図２に示すパーソナルコンピュータ２０は、外観構成上、フレキシブルディスク（以降、ＦＤと呼ぶ）やＣＤ−ＲＯＭの装填口を有し、その装填口に装填されたＦＤやＣＤ−ＲＯＭへのアクセス機能を有する本体装置２１０、その本体装置２１０からの指示に応じて表示画面２２０ａ上に画像を表示する画像表示装置２２０、本体装置２１０にキー操作に応じた各種の情報を入力するキーボード２３０、表示画面２２０ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス２４０、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メディアが装填され、その小型記憶メディアをアクセスするメディアドライブ２５０を備えている。
【００２８】
図１に示すプリンタ３０は、パーソナルコンピュータ２０から送られてくる画像をプリントするものであり、撮影システム１では、パーソナルコンピュータ２０によって作成された背景置換画像をプリントする役割を担っている。
【００２９】
図１に示すサーバ４０には、パーソナルコンピュータ２０で実行される背景置換における、置換背景となる複数の背景候補が格納されている。これら背景候補は、表示画面２２０ａ上に表示されることによって提示される。また、この撮影システム１では、サーバ４０内に格納されている背景以外にも、前記のＣＤ−ＲＯＭや前記の小型記憶メディア等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面２２０ａを通じて提示される。
【００３０】
次に、この図１に示す撮影システム１で実行される、背景置換画像の作成の流れについて説明する。尚、以下の説明では、図１に示す要素については特に図番を断らずに図１中の符号を使って参照する。
【００３１】
図３は、図１の撮影システムにおける背景置換作業の流れを示す図である。
【００３２】
まず、撮影者が、プラスティック板１３１上に載せられた被写体Ｐに対するピントや露光の調節等を行なった後にデジタルカメラ１１のシャッタボタンを押すと、被写体Ｐに対する撮影が２回連続して行なわれる。まず１回目の撮影では、デジタルカメラ１１から発信される指示信号に応じて第１閃光発光装置１２のみ閃光発光させて、被写体Ｐが撮影される（ステップＳ１）。続いて、２回目の撮影が、第２閃光発光装置１３０のみ閃光発光させて行なわれる（ステップＳ２）。
【００３３】
これら２回の撮影それぞれで得られた２つの撮影画像は、デジタルカメラ１１内のメモリに一時的に保管された後、パーソナルコンピュータ２０に送信される。また、パーソナルコンピュータ２０に対する操作により、顧客が所望する背景がサーバ４０あるいは何らかの入力用記憶媒体から読み出される（ステップＳ３）。続いて、これら２つの撮影画像を基に背景置換画像を作成するという、詳しくは後述する背景置換処理が実行される（ステップＳ４）。そして、この背景置換処理で作成された背景置換画像を表わす画像データが、まず画像表示装置２２０に転送され、さらに、プリンタ３０と、顧客が希望する出力用記憶媒体とのうちの少なくとも１つに転送される（ステップＳ５）。続いて、背景置換画像が表示画面２２０ａ上に表示される（ステップＳ６）。
【００３４】
さらに、画像データがプリンタ３０に転送された場合には、プリンタ３０において、その画像データに基づいて背景置換画像がプリントされる（ステップＳ７）。
【００３５】
以下では、これらの処理を実行するパーソナルコンピュータ２０と、パーソナルコンピュータ２０における背景置換処理の詳細について説明する。
【００３６】
まず、このパーソナルコンピュータ２０の内部構成について説明する。
【００３７】
図４は、図１に示すパーソナルコンピュータのハードウェア構成図である。
【００３８】
この図４に示すように、本体装置２１０の内部には、各種プログラムを実行するＣＰＵ２１１、各種プログラムやデータ等が保存されたハードディスク装置２１３、ハードディスク装置２１３に格納されたプログラムが読み出されＣＰＵ２１１での実行のために展開される主メモリ２１２、ＦＤ５２０が装填され、その装填されたＦＤ５２０をアクセスするＦＤドライブ２１４、ＣＤ−ＲＯＭ５１０をアクセスするＣＤ−ＲＯＭドライブ２１５、図１のサーバ４０やデジタルカメラ１１と接続され、これらの機器から置換用の背景や撮影画像等を受け取る入力インタフェース２１６、および、図１のプリンタ３０と接続され、背景置換画像等を出力する出力インタフェース２１７が内蔵されている。これらの各種要素と、さらに図１にも示す画像表示装置２２０、キーボード２３０、マウス２４０、および、小型記憶メディア５３０をアクセスするメディアドライブ２５０は、バス２６０を介して相互に接続されている。
【００３９】
ここで、ＣＤ−ＲＯＭ５１０には、背景置換プログラムが記憶されている。そして、その背景置換プログラムが記憶されたＣＤ−ＲＯＭ５１０がＣＤ−ＲＯＭドライブ２１５に装填されると、そのＣＤ−ＲＯＭ５１０に記憶された背景置換プログラムがこのパーソナルコンピュータ２０にアップロードされてハードディスク装置２１３に書き込まれる。これにより、パーソナルコンピュータ２０は背景置換装置として動作する。
【００４０】
次に、この背景置換プログラムについて説明する。
【００４１】
図５は、ＣＤ−ＲＯＭの概念図である。
【００４２】
図５に示すＣＤ−ＲＯＭ５１０には、図１等に示すパーソナルコンピュータ２０を背景置換装置の一例として動作させるための背景置換プログラムが記憶されている。
【００４３】
図５に示すＣＤ−ＲＯＭ５１０には背景置換プログラム６００が記憶されており、この背景置換プログラム６００は、画像取得部６１０、背景置換処理部６２０、画像データ転送部６３０、画像表示部６４０、および撮影環境判定部６５０で構成されている。
【００４４】
この背景置換プログラム６００の各部の詳細については、背景置換装置の一例の各部の作用と併せて説明する。尚、以下の説明では、図１、図４、および図５に示す要素については特に図番を断らずに各図中の符号を使って参照する。
【００４５】
図６は、機能ブロック図である。尚、図５に示す背景置換プログラムが図１等に示すパーソナルコンピュータにインストールされることで、パーソナルコンピュータは、背景置換装置の一例として動作する。
【００４６】
図６には、背景置換装置７００および撮影環境判定装置８００が示されている。尚、撮影環境判定装置８００についての説明は後に譲る。
【００４７】
また、図６には、図１にも示す、デジタルカメラ１１、第１閃光発光装置１２、および第２閃光発光装置１３０を備えた撮影セット１０や、プリンタ３０、サーバ４０が示されている。
【００４８】
この図６に示す背景置換装置７００では、上述したように、撮影セット１０のデジタルカメラ１１によって撮影された２つの撮影画像を取得し、これらの２つの撮影画像のうち、第２閃光発光装置１３０のみを閃光発光させて得られた撮影画像（以下、この撮影画像を逆光画像と称す。）に基づいて、第１閃光発光装置１２のみを閃光発光させて得られた撮影画像（以下、この撮影画像を通常画像と称す。）上の被写体領域と背景領域とを区別し、そのうちの背景領域については所望の背景に置換するという背景置換処理が実行され、この背景置換装置７００は、画像取得部７１０、背景置換処理部７２０、画像データ転送部７３０、および画像表示部７４０で構成されている。
【００４９】
画像取得部７１０では、まず、デジタルカメラ１１で撮影され、そのデジタルカメラ１１から送信される、２つの撮影画像を表すＲＧＢ値をそれぞれ受け取る。また、この画像取得部７１０では、顧客が所望する背景を、サーバ４０から、あるいは、ＣＤ−ＲＯＭや小型記憶メディア等といった入力用記憶媒体５４０から取得する。この画像取得部７１０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像取得部６１０に従って、入力インタフェース２１６、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。
【００５０】
背景置換処理部７２０では、画像取得部７１０により取得された２つの撮影画像（逆光画像および通常画像）に基づいて背景置換画像が作成される。背景置換処理部７２０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の置換処理部６２０に従って動作することによって構成される。
【００５１】
画像データ転送部７３０では、背景置換処理部７２０で作成された背景置換画像を表わす画像データを、プリンタ３０および顧客が希望する出力用記憶媒体５５０のうちの少なくとも一方と、この背景置換装置７００の画像表示部７４０とに転送する。この画像データ転送部７３０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像データ転送部６３０に従って、出力インタフェース２１７、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。
【００５２】
画像表示部７４０では、画像データ転送部７３０から転送されてくる画像データが表す背景置換画像を表示画面２２０ａに表示し、画像表示部７４０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像表示部６４０に従って画像表示装置２２０を制御することによって構成される。
【００５３】
また、上記画像データ転送部７３０からプリンタ３０に背景置換画像を表わす画像データが出力された場合には、プリンタ３０では、この画像データによって表される背景置換画像がプリントされ、また、画像データ転送部７３０から、何らかの出力用記憶媒体５５０に背景置換画像を表わす画像データが出力された場合には、この画像データがその出力用記憶媒体５５０に書き込まれる。そして、背景置換画像がプリントされたプリント紙と、背景置換画像を表わす画像データが書き込まれた出力用記憶媒体５５０との両方、あるいは一方が、顧客の希望に応じて提供される。
【００５４】
次に、背景置換処理部７２０の詳細について説明する。
【００５５】
図７は、背景置換処理部の詳細を示す図である。
【００５６】
図７に示される背景置換処理部７２０は、背景推定部７２１、差し引き部７２２、調整部７２５、２値化部７２３、および背景置換画像作成部７２４を備えている。尚、以下では、画像取得部７１０が取得した２つの撮影画像のＲＧＢ値群のうち、第１閃光発光装置１２のみを利用して撮影された撮影画像（通常画像）を表すＲＧＢ値群を第１ＲＧＢ値群と称し、第２閃光発光装置１３０のみを利用して撮影された撮影画像（逆光画像）を表すＲＧＢ値群を第２ＲＧＢ値群と称す。また、顧客が所望した背景のＲＧＢ値を背景ＲＧＢ値群と称す。尚、図７中に示される第３ＲＧＢ値群については後述する。
【００５７】
ここで、図８は、図７に示される各部で生成される画像を観念的に示す図である。
【００５８】
図８（ａ）には、第２ＲＧＢ値群によって表される画像（逆光画像）が示されており、ここには、上から下にかけて一様なグラデーションを有する背景と、この背景の上部よりもシャドウ側に寄った被写体とが示されている。図８（ｂ）には、図７中に示される背景推定部７２１において、第２ＲＧＢ値群に基づいて被写体の背後については背景推定がされて作成された第３ＲＧＢ値群が表す背景画像が示されている。図８（ｃ）には、差し引き部７２２において、第２ＲＧＢ値群から第３ＲＧＢ値群の各値が差し引かれた結果のＲＧＢ値群で表された画像が示されており、ここには、ベタ黒の背景に被写体がうっすら浮かび上がっている様子が示されている。図８（ｄ）には、差し引かれた結果のＲＧＢ値群が調整部７２５での調整を終え、その後、２値化部７２３において２値化処理された後のＲＧＢ値群が表す画像が示されている。
【００５９】
図７に示される各部の動作についてさらに詳細に説明する。
【００６０】
まず、図７に示される背景推定部７２１には、図８（ａ）に示される撮影画像を表す第２ＲＧＢ値群が入力され、この第２ＲＧＢ値群に基づいて、図８（ａ）に示される逆光の撮影画像から、被写体に隠れた背後の領域のＲＧＢ値の推定が行われる。
【００６１】
図９は、被写体に隠れた背後の領域のＲＧＢ値の推定の手法を概念的に示す図である。尚、図９に示されている画像は、明暗の図示が省略されているが、図８（ａ）に示される図と同じ図であるとして話を進める。
【００６２】
背景推定部７２１では、入力されてきた第２ＲＧＢ値群から、まず、図９に示される画像の左側の１列目の上端に位置する画素から下端に位置する画素までのうちの最初の数画素の輝度を読み出した後は、その先の画素の輝度予測が外挿法により行なわれると共に輝度の実際の読み出しも行われ、予測した輝度（以下、この予測した輝度を予測輝度と称す。）と実際に読み出した輝度（以下、この読み出した輝度を読出輝度と称す。）との間に所定値以上のズレがあるか否かが判定される。これら輝度の読み出し、輝度の予測、および判定を、図９に示す撮影画像の左端から右端にかけて列毎に行う。その結果、読出輝度と予測輝度との差が全て所定値未満の画素からなる列は、背景領域のみを通過する列として認識される。一方、列の中に、読出輝度と予測輝度との差が所定値以上である画素が存在した列は被写体領域を通過する列として認識され、その列上の、被写体領域に属する画素の輝度は、被写体領域を通過する列の直前の、背景領域を通過する列の対応する画素の読出輝度に置き換えられる。この様にして被写体Ｐの背後の領域の輝度が推定される。尚、被写体Ｐの背後の領域の輝度の推定において、輝度の読み出しを撮影画像の上端から開始するのは、この撮影セット１０において撮影される撮影画像の背景は前述したように上方が明るく下方に行くほど暗くなっており、背景領域に、例えば、背景の周縁が黒枠として写っている場合でも、所定の閾値を下回る暗い部分は除外しつつ所定の閾値以上の明るさが読み取れた画素を背景領域の始まりの画素とすることができるからである。
【００６３】
図１０は、撮影画像上の上下方向の位置と読出輝度との関係を示す図である。
【００６４】
図１０（ａ）には、横軸に図９に示す逆光撮影の画像上の上下方向の位置、縦軸に輝度（０〜２５５）をとった場合の、この画像の背景領域に属する列の上下位置と読出輝度との関係が示されており、ここには、列の上端では、２５５に近い‘明’側の読出輝度が、列の下端に近づくにつれて０に近い‘暗’側へなだらかに変化していく様子が示されている。また、図９に示される、背景領域を通過する列のうち代表的な列Ａ、Ｂ、Ｃ、Ｅ、Ｆ、およびＧにおける上下位置と読出輝度との関係がほぼ同じであることで、図１０（ａ）には、プロットがほぼ同じ位置に重ねて行われている様子が示されている。このことは、つまり、図９に示される撮影画像の背景が左右方向に均一であることを表している。
【００６５】
図１０（ｂ）には、被写体領域を通過する列の中から代表的に抽出した列Ｄについて得られた、列Ｄにおける上下位置と読出輝度との関係が示されている。この列Ｄについては、位置ａ手前までの画素は背景領域に属しているものの、位置ａから位置ｂまでの間の画素が被写体領域に属していることで外挿法による予測輝度と読出輝度とのズレが所定値以上となる。このため、この範囲内の読出輝度が、背景領域のみを通過する列のうちの直前の列である列Ｃの対応する範囲の読出輝度に置き換えられる。図１０（ｂ）には、輝度の置き換えが行われた範囲が点線で示されている。以上説明したようにして、背景推定部７２１では、被写体Ｐに隠れた背後の画素の輝度推定を行った上で、背景全体のＲＧＢ値群である第３ＲＧＢ値群を作成する。
【００６６】
図７に示す差し引き部７２２では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれる。
【００６７】
従来の背景置換技術では、背景と被写体とが極端に異なる色や明るさを有していることが背景置換処理を高精度に行うための要件となっている。そのため、被写体と背景との境目の色や明るさに明らかな差がないと、背景と被写体との区別の精度は低下する。しかし、この背景置換処理部７２０では、被写体を逆光で撮影して得られた第２ＲＧＢ値群から、被写体Ｐに隠れた背後については推定を用いた背景画像を表す第３ＲＧＢ値群を差し引くことで得られた差分により被写体領域と背景領域とを区別する。つまり、背景置換処理部７２０によれば、被写体と背景との境目の色や明るさに明らかな差がなくても、被写体領域のＲＧＢ値群と、その被写体領域に隠れた背後の領域について推定されたＲＧＢ値群とに僅かでも差があれば被写体領域と背景領域とを区別することができる。
【００６８】
図７に示す調整部７２５では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれた後のＲＧＢ値群に対する、オペレータによる調整が可能となっている。
【００６９】
ここで、図１１は、パーソナルコンピュータの画像表示装置の画面表示を示す図である。
【００７０】
パーソナルコンピュータ２０では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれた後のＲＧＢ値群に対し、光の写り込み等によるノイズ成分の除去をオペレータが調整部７２５を介して手動で行えるようになっており、図１１（ａ）には、この手動による調整が行われる際に表示画面２２０ａ上に表示される画面表示が示されている。
【００７１】
図１１（ａ）には、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれた後のＲＧＢ値群が表す画像が表示された表示画面２２０ａが示されており、この表示画面２２０ａには、入力欄２２１ａ、‘実行’ボタン２２２ａ、および‘ＯＫ’ボタン２２３ａも表示されている。
【００７２】
図１１（ａ）に示される入力欄２２１ａには、ノイズ成分除去のための閾値が入力される。例えば、この入力欄２２１ａに値‘１０’が入力され、‘実行’ボタン２２２ａが操作されると、入力欄２２１ａで指定されている値（ここに示す例では‘１０’）以下の画素数からなる画素群であって、周囲とＲＧＢ値が異なる孤立した画素群の検出が行われ、そのような画素群はノイズ成分であるとして、その画素群のＲＧＢ値はその周囲の画素のＲＧＢ値と同じＲＧＢ値に置き換えられる。このように、このパーソナルコンピュータ２０では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれた後のＲＧＢ値群に対するノイズ成分の除去の判断基準となる画素数のオペレータによる変更が可能となっている。図１１（ａ）に示される‘ＯＫ’ボタン２２３ａは、ノイズ成分が除去されたＲＧＢ値群を２値化部７２３（図７参照）に送る際に操作されるボタンである。
【００７３】
その後、画面２２０ａには、図１１（ｂ）に示すように、調整部７２５でノイズ成分が除去されたＲＧＢ値群に対して２値化部７２３における２値化処理が施されたＲＧＢ値群によって表される画像が表示される。
【００７４】
２値化部７２３では、調整部７２５から送られてきた、ノイズ成分が除去されたＲＧＢ値群から輝度を読み出し、閾値Ａ未満の輝度については輝度を‘０’（ベタ黒）とし、閾値Ａ以上の輝度については輝度を‘２５５’（白）としている。この閾値としては、デフォルトで、ノイズ成分が除去されたＲＧＢ値群から読み出された輝度の出現頻度の分布における最大輝度と最小輝度の中間値が設定されるようになっている。
【００７５】
このパーソナルコンピュータ２０では、調整部７２５でのノイズ成分の除去処理がなされた後のＲＧＢ値群に対する２値化処理についての調整を、オペレータが手動で行えるようになっており、図１１（ｂ）には、この手動による調整が行われる際の画面表示が示されている。
【００７６】
図１１（ｂ）に示される‘ヒストグラム’ボタン２２４ａは、調整部７２５から送られてきたＲＧＢ値群の輝度を出現頻度の分布で表す際に操作されるボタンである。
【００７７】
図１１（ｃ）には、‘ヒストグラム’ボタン２２４ａが操作されたことによる画面表示が示されている。ここには、調整部７２５から送られてきたＲＧＢ値群から読み出された輝度の出現頻度の分布が示されており、ノイズ成分が除去されたＲＧＢ値群の輝度分布における最大輝度である‘２Ａ’と最小輝度である値‘０’の中間値である‘Ａ’が現在の閾値となっている様子が図中の直線Ｓで示されている。オペレータは、マウス２４０を使用してこの直線Ｓをつまみながら左右に移動することで閾値を変更できるようになっている。図１１（ｂ）に示される‘実行’ボタン２２２ａは、オペレータが新たに設定した閾値を基準として２値化処理を行う際に操作される。また、図１１（ｂ）に示される‘ＯＫ’ボタン２２３ａは、２値化処理がなされたＲＧＢ値群を背景置換画像作成部７２４に送る際に操作されるボタンである。図１１（ｃ）に示される‘決定’ボタン２２５ａは、マウス２４０を使用して直線Ｓを移動させた後、それを閾値として設定するために操作されるボタンである。‘戻る’ボタン２２６ａは、図１１（ｃ）に示される画面表示から図１１（ｂ）に示される画面表示に戻る際に操作されるボタンである。
【００７８】
図７に示す背景置換画像作成部７２４では、２値化部７２３により輝度が‘２５５’とされた被写体領域のＲＧＢ値については、第１ＲＧＢ値群の対応するＲＧＢ値に置き換えられ、２値化部７２３により輝度が‘０’とされた背景領域のＲＧＢ値については、顧客が所望した背景ＲＧＢ値群の対応するＲＧＢ値に置き換えられる。これにより、順光できれいに撮影された被写体と、顧客が所望する背景とが組み合わさった背景置換画像が作成される。
【００７９】
このようにして作成された背景置換画像を表わすＲＧＢ値群が、図６に示される画像データ転送部７３０に送信され、各出力デバイスや出力用記憶媒体５５０（図６参照）に転送される。
【００８０】
以上説明したように、パーソナルコンピュータ２０では、被写体Ｐを挟んでデジタルカメラ１１とは反対側に位置するプラスティック板１３１からの、このプラスティック板１３１に沿って所定の一様さを有する光で照らされたこの被写体Ｐを撮影した逆光画像に基づいて、被写体Ｐに隠れた背後については推定して背景全体のＲＧＢ値群を得、逆光画像を表すＲＧＢ値群から背景全体のＲＧＢ値群を差し引くことで被写体領域が高精度に検出されて背景置換が行われる。
【００８１】
ここで、上述の背景置換装置における被写体と背景との切り分けは、逆光撮影画像上の被写体領域と背景領域との間に明るさの違いがあるほど精度が高まるものの、この逆光撮影画像の撮影の際に、周囲が明るい場合や、ＥＬパネル１３０の光が被写体の上部に写り込むなどして被写体領域中に背景領域とほぼ同じ明るさの部分が発生すると、背景領域と被写体領域との切り分けが高精度に行えなくなるおそれがある。
【００８２】
そこで、この撮影システム１が設置されている環境が、逆光撮影画像における背景領域と被写体領域との高精度な切り分けが可能な撮影環境か否かを実際の被写体を撮影する前に確認する必要がある。以下では、この撮影環境を確認する方法について説明する。
【００８３】
図１２は、撮影環境確認方法の流れを示す図である。この撮影環境確認方法が、本発明の撮影環境確認方法の第１実施形態である。また、この撮影環境確認方法は、写真撮影がオペレータによって行われた後は図６に示す撮影環境判定装置８００により実施される。尚、この撮影環境判定装置８００は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の一部である撮影環境判定部６５０に従って動作することによって構成され、オペレータは、パーソナルコンピュータ２０の表示画面２２０ａ上で背景置換動作と撮影環境判定動作とを切り換えて実行できるようになっている。
【００８４】
この撮影環境確認方法は、ステップＳ１１として、上部表面が鏡面になっているダミーの基準被写体を、ＥＬパネル１３０からの光のみがこの基準被写体を後方から照らすという逆光状態で撮影する。尚、この逆光撮影は、撮影画像上の基準被写体が予め決められた位置および大きさとなるように、デジタルカメラ１および基準被写体が所定の場所に配置されて行われる。撮影画像は、図３で説明したように、パーソナルコンピュータ２０からなる撮影環境判定装置８００に送信される。撮影環境判定装置８００では、撮影画像上の所定範囲を被写体領域として把握する。ステップＳ１２として、撮影環境判定装置８００では、撮影画像上の、基準被写体の上部鏡面が写っているものと把握している所定範囲に属する各画素の画素値を画素毎に換算し、各画素毎に輝度を得る。ステップＳ１３として、撮影環境判定装置８００では、取得した輝度の中での最大輝度（Ｏｘ）を検出する。ステップＳ１４として、撮影環境判定装置８００では、撮影画像上の被写体領域を除いたその他の領域である背景領域に属する各画素の画素値を画素毎に換算し、各画素毎に輝度を得る。上述したように、撮影画像上の背景領域は撮影環境判定装置８００によって把握されていることから、撮影環境判定装置８００では、撮影画像上の背景領域も把握が可能となっている。ステップＳ１５として、撮影環境判定装置８００では、背景領域の各画素の画素値を画素毎に換算し、各画素毎に輝度を得る。その後、撮影環境判定装置８００では、これら輝度の中での最小輝度（Ｂｎ）を検出する。ステップＳ１６として、撮影環境判定装置８００では、背景領域の最小輝度（Ｂｎ）が被写体上部の最大輝度（Ｏｘ）を超えているか否かを判定し、超えていなければ被写体と背景との区別が困難な状況にあるとして、プラスティック板１３１の端部の吊り下げ位置の降下を指示する表示を画像表示装置２２０に行わさせる。尚、図１に示す様に、プラスティック板１３１の端部の吊り下げ位置は３段階（上、中、下）での変更が可能となっており、この吊り下げ位置の降下は、画像表示装置２２０の表示画面上に‘中’、‘下’のうちのいずれかへの変更指示が表示され、それを受けてオペレータによって行われる。以下、この撮影環境確認方法について、さらに詳細に説明する。
【００８５】
図１３は、基準被写体の撮影の様子を示す図である。
【００８６】
図１３には、上部表面が鏡面の基準被写体Ｓがプラスティック板１３１上に載置されている様子が示されている。
【００８７】
本実施形態の撮影環境確認方法では、背景置換用の撮影の前に、現在の撮影環境が背景領域と被写体領域とを区別できる逆光撮影画像を得られる撮影環境か否かを確認するため、背景領域と被写体領域との区別がし難い、上部に鏡面を有する基準被写体Ｓをダミーの被写体として用いて逆光撮影を行ってみて、背景領域の最小輝度（Ｂｎ）が基準被写体上部の最大輝度（Ｏｘ）を超えているか否かを判定する。その結果、超えていなければ被写体と背景との区別が困難な状況にあるとして、背景領域の最小輝度（Ｂｎ）が基準被写体上部の最大輝度（Ｏｘ）を超えるようにプラスティック板１３１の端部の吊り下げ位置が下げられる。プラスティック板１３１の端部の吊り下げ位置を下げることで、基準被写体Ｓとプラスティック板１３１との間を空けると共に、プラスティック板１３１の角度を寝かせることとなる。背景領域の最小輝度（Ｂｎ）が基準被写体上部の最大輝度（Ｏｘ）を超えていない場合にプラスティック板１３１の端部の吊り下げ位置を下げるのは、基準被写体上部の最大輝度（Ｏｘ）が背景領域の最小輝度（Ｂｎ）を上回るのは、プラスティック板１３１からの光の写り込みが原因と考えられるからであり、この様にすることで、基準被写体Ｓへの光の写り込みが抑えられ、基準被写体上部の最大輝度（Ｏｘ）を小さくすることができるからである。
【００８８】
また、上部に鏡面を有する基準被写体Ｓを被写体として使用し、その上部の最大輝度（Ｏｘ）を背景領域の最小輝度（Ｂｎ）と比較しているのは、上部は下部に比べて背面からの光が写り込みやすいために被写体領域の中で最も明るくなりやすく、基準被写体Ｓよりも光を吸収するために暗く写りやすい通常の被写体であれば、いずれの部分の輝度であっても当然にこの最大輝度（Ｏｘ）を下回ると考えられ、逆光撮影画像上ではハイライト側である背景領域の最小輝度（Ｂｎ）が被写体領域の最大輝度（Ｏｘ）よりも明るいという、背景領域と被写体領域とを区別する上で最低限必要な条件をこの基準被写体Ｓで満たせば、通常の被写体であれば当然にこの条件を満たすと考えられるからである。尚、基準被写体Ｓとして全面が鏡面のもの、あるいは、プラスティック板１３１からの光を透過するものを使用してもよい。
【００８９】
以上説明したように、本実施形態の撮影環境確認方法では、基準被写体Ｓの逆光撮影画像上の背景領域の中の最も暗い箇所の明るさが、被写体領域の中の最も明るい箇所の明るさよりも明るいか否かを判定することで、被写体と背景との区別が可能な逆光撮影画像が得られる撮影環境か否かを確認することができる。また、この撮影環境確認方法によれば、逆光撮影画像における背景領域と被写体領域との区別が通常の被写体よりもし難いと考えられる、逆光撮影画像において通常の被写体よりも明るく写りがちな被写体として、一部に鏡面を有すると共に一部が光を透過するものを使用していることで、被写体と背景との区別が可能な撮影画像が得られる撮影環境か否かをより確実に確認することができる。
【００９０】
次に、本発明の撮影環境確認方法の第２実施形態について説明する。
【００９１】
図１４は、撮影環境確認方法の流れを示す図である。尚、この撮影環境確認方法も、オペレータによる撮影後は、図６に示す撮影環境判定装置８００により実施される。
【００９２】
この撮影環境確認方法は、まず、ステップＳ２１として、第１実施形態と同様に上部表面が鏡面の基準被写体を、ＥＬパネル１３０からの光のみがこの基準被写体を後方から照らすという逆光状態で、撮影画像上の基準被写体が予め決められた位置および大きさとなるように撮影する。ステップＳ２２として、撮影環境判定装置８００では、撮影画像上の基準被写体上部のエッジ位置の抽出を行う。このエッジ位置の抽出は、撮影画像上の各画素の画素値から換算し得られた輝度差の大小に基づいて行われる。ステップＳ２３として、撮影環境判定装置８００では、ステップＳ２２で抽出したエッジの位置が、撮影画像上の基準被写体が予め決められた位置および大きさとなるように撮影されていることを前提として把握している、撮影画像上の基準被写体上部のエッジ位置と同じであるか否かを判定する。ステップＳ２４として、撮影環境判定装置８００では、エッジ位置が合致していない場合には、被写体と背景との区別が困難な状況にあるとして、プラスティック板１３１の端部の吊り下げ位置の降下を指示する。この第２実施形態の撮影環境確認方法によっても、被写体と背景との区別が可能な撮影画像が得られる撮影環境か否かを確認することができる。
【図面の簡単な説明】
【００９３】
【図１】背景置換画像を作成するための撮影システムの概要を示す図である。
【図２】図１に示すパーソナルコンピュータの外観斜視図である。
【図３】図１の撮影システムにおける背景置換作業の流れを示す図である。
【図４】図１に示すパーソナルコンピュータのハードウェア構成図である。
【図５】ＣＤ−ＲＯＭの概念図である。
【図６】機能ブロック図である。
【図７】背景置換処理部の詳細を示す図である。
【図８】図７に示される各部で生成される画像を観念的に示す図である。
【図９】被写体に隠れた背後の領域のＲＧＢ値の推定の手法を概念的に示す図である。
【図１０】撮影画像上の上下方向の位置と読出輝度との関係を示す図である。
【図１１】画像表示装置の画面表示を示す図である。
【図１２】撮影環境確認方法の流れを示す図である。
【図１３】基準被写体の撮影の様子を示す図である。
【図１４】撮影環境確認方法の流れを示す図である。
【符号の説明】
【００９４】
１ 撮影システム
１０ 撮影セット
１１ デジタルカメラ
１２ 第１閃光発光装置
１３ 撮影台
１３０ 第２閃光発光装置
１３１ プラスティック板
１３２ 筐体
２０ パーソナルコンピュータ
６００ 背景置換プログラム
６１０ 画像取得部
６２０ 置換処理部
６３０ 画像データ転送部
６４０ 画像表示部
６５０ 撮影環境判定部
７００ 背景置換装置
７１０ 画像取得部
７２０ 背景置換処理部
７２１ 背景推定部
７２２ 差し引き部
７２３ ２値化部
７２４ 背景置換画像作成部
７２５ 調整部
７３０ 画像データ転送部
７４０ 画像表示部
８００ 撮影環境判定装置
【技術分野】
【０００１】
本発明は、被写体を撮影して取得した撮影画像中の背景を別の背景に置換して背景置換画像を作成するにあたり、取得する該撮影画像の撮影環境を確認する撮影環境確認方法に関する。
【背景技術】
【０００２】
従来、写真館等では、背景幕を使った写真撮影が行なわれている。しかし、この写真撮影では、十分に背景を作り出すための大きな背景幕が使用されることから、広い撮影スペースを必要とし、また、背景幕の交換等にも手間がかかるため、結果的に撮影コストが高くなる。
【０００３】
そこで、もっと手軽に撮影ができるように、従来のような大きな背景幕や広い撮影スペースが不要な、小型の撮影システムの開発が望まれている。このような小型の撮影システムでは、上記のような背景幕の代わりとなる何らかの仮の背景の前で行なって得られた撮影画像に対して、撮影画像中の背景を顧客が所望する背景と差替える背景置換処理が施される。
【０００４】
このような背景置換処理に関する技術の一例として、例えば、青色等に塗られた背景パネル等を被写体の背後に配置して撮影を行ない、その撮影で得られた撮影画像において、背景パネルの色と同色の部分と、異なる色の部分とを、それぞれ撮影画像中の背景と被写体として区別し、撮影画像中の背景に区別された部分を所望の背景に置換するクロマキー処理と呼ばれる処理が知られている（例えば、特許文献１参照。）。
【０００５】
ところで、上述のように撮影画像中の背景を所望の背景と置換するためには、撮影によって得た撮影画像中の被写体と背景とを精度良く区別する必要がある。
【０００６】
ところが、そのような撮影画像は、被写体がきれいに写ることに主眼が置かれた撮影光条件の下で撮影されたものであるため、その撮影画像中の被写体と背景とを、その撮影画像自体に基づいて互いに誤認することなく区別することが困難であることが多い。
【０００７】
撮影画像中の被写体と背景とを精度良く区別するためには、被写体がきれいに写っている撮影画像を含む、相違する複数の撮影光条件の下でそれぞれ撮影された複数の撮影画像がある方が望ましく、また、それら複数の撮影光条件の相違は極端な方が望ましい。
【０００８】
そこで、異なる複数の撮影光条件として順光状態と逆光状態との双方で撮影を行い、特に逆光状態での撮影では、被写体と背景とで撮影画像上における明るさの違いを際だたせることで撮影画像中の被写体と背景とを精度良く区別することが可能である。
【特許文献１】特開２０００−２２４４１０号公報（第３−１０頁、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、逆光撮影画像上の被写体に光が写り込んだり、背景中に暗い部分があったりすると、撮影画像中の被写体と背景との区別がし難くなるという問題がある。
【００１０】
本発明は、上記事情に鑑み、背景置換に適した逆光撮影画像が得られる環境であるか否かを確認するための撮影環境確認方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成する本発明の撮影環境確認方法は、
被写体が載置される、この被写体の下部から背後に至る載置面を有し、この載置面からの光でこの被写体を照らす撮影台上に、撮影環境確認用の既知の基準被写体を載置して撮影することで撮影画像を得る撮影過程と、
上記撮影過程で得られた撮影画像について、上記基準被写体の上部が写る既知の第１領域中の明るさに対し上記載置面が写る既知の第２領域中の明るさが所定程度を越えて明るいか否かを判定する判定過程とを有することを特徴とする。
【００１２】
逆光状態で撮影を行って得られた逆光撮影画像を利用して被写体と背景とを精度良く区別するには、逆光撮影画像上における被写体の明るさと背景の明るさとの違いが際だっている必要がある。そこで、本発明の撮影環境確認方法は、通常の被写体よりも背景に対する明るさの違いを際だたせ難い基準被写体を被写体とする逆光撮影画像において、背景の明るさが基準被写体の明るさに対し所定程度を越えて確保されていれば、通常の被写体であれば当然に被写体と背景とを精度良く区別するのに必要な明るさの差が確保されるはずという発想に基づいて成されたものである。
【００１３】
ここで、上記撮影過程で得られた撮影画像について上記第１領域中で最も明るい箇所の明るさを求める上記第１の明るさ解析過程と、
上記撮影過程で得られた撮影画像について上記第２領域中で最も暗い箇所の明るさを求める第２の明るさ解析過程とを有し、
上記判定過程が、上記第１の明るさ解析過程で求められた明るさに対し上記第２の明るさ解析過程で求められた明るさが明るいか否かを判定する過程であることが好ましく、また、上記撮影過程で得られた撮影画像について明暗のエッジを検出するエッジ検出過程を有し、上記判定過程が、上記エッジ検出過程で検出されたエッジに、上記第１領域と上記第２領域との既知の境界と位置が一致するエッジが存在するか否かを判定する過程であることも好ましい態様である。
【００１４】
判定過程が上記のいずれかであると、撮影画像中の被写体と背景との区別を一層高精度に行うことができる。
【００１５】
また、上記判定過程での判定結果が否定的である場合に、上記載置面の、上記被写体の背後に存在する部分とこの被写体との距離を広げる拡張過程を備えたことが好ましく、また、上記判定過程での判定結果が否定的である場合に、上記載置面の、上記被写体の背後に存在する部分の角度を後方に傾ける傾斜過程を備えたことも好ましい態様である。
【００１６】
この様にすると、基準被写体の上部の明るさを簡易にシャドウ側に寄らせることができる。これにより、基準被写体の上部の明るさに対する所定程度を越えた背景の明るさの確保が可能となる。
【発明の効果】
【００１７】
本発明によれば、背景置換方法に適した逆光撮影画像が得られる環境であるか否かを確認するための撮影環境確認方法を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態を説明する前に、背景置換方法の基本的な内容、および、その方法の実施に必要な設備について説明する。
【００１９】
図１は、背景置換画像を作成するための撮影システムの概要を示す図である。
【００２０】
この図１に示す撮影システム１は、被写体を撮影して撮影画像を取得する撮影セット１０と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を所望の背景に置換して背景置換画像を作成するパーソナルコンピュータ２０と、パーソナルコンピュータ２０で作成された背景置換画像を出力するプリンタ３０と、置換用の背景画像がストックされているサーバ４０とを備えている。
【００２１】
撮影セット１０は、デジタルカメラ１１と、第１閃光発光装置１２と、撮影台１３とを備えており、撮影台１３の内部には、第２閃光発光装置１３０が備えられている。
【００２２】
デジタルカメラ１１は、連写機能を有しており、撮影者がシャッタボタンを１回押すと、短時間に異なる撮影条件下で被写体Ｐを各１回ずつ計２回撮影する。撮影によって得られた撮影画像は、デジタルカメラ１１内のメモリに一時的に保管されるが、撮影システム１では、デジタルカメラ１１がパーソナルコンピュータ２０に接続されており、２回の撮影が終了した時点で、この２回の撮影で得られた撮影画像は、このパーソナルコンピュータ２０に直ちに送られる。また、デジタルカメラ１１は、撮影の際、第１閃光発光装置１２および第２閃光発光装置１３０に対して、閃光発光を指示する指示信号を個別に発信できるようになっており、計２回の撮影のうち最初の撮影の際には第１閃光発光装置１２に対してのみ上記指示信号が発信され、２回目の撮影の際には第２閃光発光装置１３０に対してのみ上記指示信号が発信される。
【００２３】
撮影台１３は、被写体Ｐが載せられる、厚みの薄い乳白色のプラスティック板１３１と、このプラスティック板１３１を保持する筐体１３２、および、その筐体１３２内に内蔵された第２閃光発光装置１３０を備えている。尚、プラスティック板１３１上には、被写体Ｐであるお椀が奥側にもう１つ載せられている。
【００２４】
ここで、この撮影システム１の撮影セット１０では、上述したように、１回目の撮影は第１閃光発光装置１２のみが閃光を発した状態で行なわれ、２回目の撮影は第２閃光発光装置１３０のみが閃光を発した状態で行なわれる。その結果、１回目の撮影では、デジタルカメラ１１側から被写体Ｐを照らすという順光状態での撮影により、被写体Ｐがきれいに写った撮影画像が得られる。また、この１回目の撮影に連続して行なわれる２回目の撮影では、第２閃光発光装置１３０からの閃光が、図１に示すように湾曲した乳白色のプラスティック板１３１の背面側から発光されることで、このプラスティック板１３１からは図１における奥行き方向および上下方向に均一な明るさの光が出射されるが、湾曲したプラスティック板１３１上の各箇所の向きとデジタルカメラ１１の向きとの関係により、撮影画像上では、被写体はシャドウ側に偏ったものとなるのに対し、背景は左右方向には均一で上方から下方にかけてハイライト側から一様にシャドウ側に変化するものとなる。
【００２５】
パーソナルコンピュータ２０では、デジタルカメラ１１から送信されてきた上述の２つの撮影画像を基に背景置換画像が作成される。この背景置換画像の作成については後述する。
【００２６】
図２は、図１に示すパーソナルコンピュータの外観斜視図である。
【００２７】
図２に示すパーソナルコンピュータ２０は、外観構成上、フレキシブルディスク（以降、ＦＤと呼ぶ）やＣＤ−ＲＯＭの装填口を有し、その装填口に装填されたＦＤやＣＤ−ＲＯＭへのアクセス機能を有する本体装置２１０、その本体装置２１０からの指示に応じて表示画面２２０ａ上に画像を表示する画像表示装置２２０、本体装置２１０にキー操作に応じた各種の情報を入力するキーボード２３０、表示画面２２０ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス２４０、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メディアが装填され、その小型記憶メディアをアクセスするメディアドライブ２５０を備えている。
【００２８】
図１に示すプリンタ３０は、パーソナルコンピュータ２０から送られてくる画像をプリントするものであり、撮影システム１では、パーソナルコンピュータ２０によって作成された背景置換画像をプリントする役割を担っている。
【００２９】
図１に示すサーバ４０には、パーソナルコンピュータ２０で実行される背景置換における、置換背景となる複数の背景候補が格納されている。これら背景候補は、表示画面２２０ａ上に表示されることによって提示される。また、この撮影システム１では、サーバ４０内に格納されている背景以外にも、前記のＣＤ−ＲＯＭや前記の小型記憶メディア等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面２２０ａを通じて提示される。
【００３０】
次に、この図１に示す撮影システム１で実行される、背景置換画像の作成の流れについて説明する。尚、以下の説明では、図１に示す要素については特に図番を断らずに図１中の符号を使って参照する。
【００３１】
図３は、図１の撮影システムにおける背景置換作業の流れを示す図である。
【００３２】
まず、撮影者が、プラスティック板１３１上に載せられた被写体Ｐに対するピントや露光の調節等を行なった後にデジタルカメラ１１のシャッタボタンを押すと、被写体Ｐに対する撮影が２回連続して行なわれる。まず１回目の撮影では、デジタルカメラ１１から発信される指示信号に応じて第１閃光発光装置１２のみ閃光発光させて、被写体Ｐが撮影される（ステップＳ１）。続いて、２回目の撮影が、第２閃光発光装置１３０のみ閃光発光させて行なわれる（ステップＳ２）。
【００３３】
これら２回の撮影それぞれで得られた２つの撮影画像は、デジタルカメラ１１内のメモリに一時的に保管された後、パーソナルコンピュータ２０に送信される。また、パーソナルコンピュータ２０に対する操作により、顧客が所望する背景がサーバ４０あるいは何らかの入力用記憶媒体から読み出される（ステップＳ３）。続いて、これら２つの撮影画像を基に背景置換画像を作成するという、詳しくは後述する背景置換処理が実行される（ステップＳ４）。そして、この背景置換処理で作成された背景置換画像を表わす画像データが、まず画像表示装置２２０に転送され、さらに、プリンタ３０と、顧客が希望する出力用記憶媒体とのうちの少なくとも１つに転送される（ステップＳ５）。続いて、背景置換画像が表示画面２２０ａ上に表示される（ステップＳ６）。
【００３４】
さらに、画像データがプリンタ３０に転送された場合には、プリンタ３０において、その画像データに基づいて背景置換画像がプリントされる（ステップＳ７）。
【００３５】
以下では、これらの処理を実行するパーソナルコンピュータ２０と、パーソナルコンピュータ２０における背景置換処理の詳細について説明する。
【００３６】
まず、このパーソナルコンピュータ２０の内部構成について説明する。
【００３７】
図４は、図１に示すパーソナルコンピュータのハードウェア構成図である。
【００３８】
この図４に示すように、本体装置２１０の内部には、各種プログラムを実行するＣＰＵ２１１、各種プログラムやデータ等が保存されたハードディスク装置２１３、ハードディスク装置２１３に格納されたプログラムが読み出されＣＰＵ２１１での実行のために展開される主メモリ２１２、ＦＤ５２０が装填され、その装填されたＦＤ５２０をアクセスするＦＤドライブ２１４、ＣＤ−ＲＯＭ５１０をアクセスするＣＤ−ＲＯＭドライブ２１５、図１のサーバ４０やデジタルカメラ１１と接続され、これらの機器から置換用の背景や撮影画像等を受け取る入力インタフェース２１６、および、図１のプリンタ３０と接続され、背景置換画像等を出力する出力インタフェース２１７が内蔵されている。これらの各種要素と、さらに図１にも示す画像表示装置２２０、キーボード２３０、マウス２４０、および、小型記憶メディア５３０をアクセスするメディアドライブ２５０は、バス２６０を介して相互に接続されている。
【００３９】
ここで、ＣＤ−ＲＯＭ５１０には、背景置換プログラムが記憶されている。そして、その背景置換プログラムが記憶されたＣＤ−ＲＯＭ５１０がＣＤ−ＲＯＭドライブ２１５に装填されると、そのＣＤ−ＲＯＭ５１０に記憶された背景置換プログラムがこのパーソナルコンピュータ２０にアップロードされてハードディスク装置２１３に書き込まれる。これにより、パーソナルコンピュータ２０は背景置換装置として動作する。
【００４０】
次に、この背景置換プログラムについて説明する。
【００４１】
図５は、ＣＤ−ＲＯＭの概念図である。
【００４２】
図５に示すＣＤ−ＲＯＭ５１０には、図１等に示すパーソナルコンピュータ２０を背景置換装置の一例として動作させるための背景置換プログラムが記憶されている。
【００４３】
図５に示すＣＤ−ＲＯＭ５１０には背景置換プログラム６００が記憶されており、この背景置換プログラム６００は、画像取得部６１０、背景置換処理部６２０、画像データ転送部６３０、画像表示部６４０、および撮影環境判定部６５０で構成されている。
【００４４】
この背景置換プログラム６００の各部の詳細については、背景置換装置の一例の各部の作用と併せて説明する。尚、以下の説明では、図１、図４、および図５に示す要素については特に図番を断らずに各図中の符号を使って参照する。
【００４５】
図６は、機能ブロック図である。尚、図５に示す背景置換プログラムが図１等に示すパーソナルコンピュータにインストールされることで、パーソナルコンピュータは、背景置換装置の一例として動作する。
【００４６】
図６には、背景置換装置７００および撮影環境判定装置８００が示されている。尚、撮影環境判定装置８００についての説明は後に譲る。
【００４７】
また、図６には、図１にも示す、デジタルカメラ１１、第１閃光発光装置１２、および第２閃光発光装置１３０を備えた撮影セット１０や、プリンタ３０、サーバ４０が示されている。
【００４８】
この図６に示す背景置換装置７００では、上述したように、撮影セット１０のデジタルカメラ１１によって撮影された２つの撮影画像を取得し、これらの２つの撮影画像のうち、第２閃光発光装置１３０のみを閃光発光させて得られた撮影画像（以下、この撮影画像を逆光画像と称す。）に基づいて、第１閃光発光装置１２のみを閃光発光させて得られた撮影画像（以下、この撮影画像を通常画像と称す。）上の被写体領域と背景領域とを区別し、そのうちの背景領域については所望の背景に置換するという背景置換処理が実行され、この背景置換装置７００は、画像取得部７１０、背景置換処理部７２０、画像データ転送部７３０、および画像表示部７４０で構成されている。
【００４９】
画像取得部７１０では、まず、デジタルカメラ１１で撮影され、そのデジタルカメラ１１から送信される、２つの撮影画像を表すＲＧＢ値をそれぞれ受け取る。また、この画像取得部７１０では、顧客が所望する背景を、サーバ４０から、あるいは、ＣＤ−ＲＯＭや小型記憶メディア等といった入力用記憶媒体５４０から取得する。この画像取得部７１０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像取得部６１０に従って、入力インタフェース２１６、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。
【００５０】
背景置換処理部７２０では、画像取得部７１０により取得された２つの撮影画像（逆光画像および通常画像）に基づいて背景置換画像が作成される。背景置換処理部７２０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の置換処理部６２０に従って動作することによって構成される。
【００５１】
画像データ転送部７３０では、背景置換処理部７２０で作成された背景置換画像を表わす画像データを、プリンタ３０および顧客が希望する出力用記憶媒体５５０のうちの少なくとも一方と、この背景置換装置７００の画像表示部７４０とに転送する。この画像データ転送部７３０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像データ転送部６３０に従って、出力インタフェース２１７、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。
【００５２】
画像表示部７４０では、画像データ転送部７３０から転送されてくる画像データが表す背景置換画像を表示画面２２０ａに表示し、画像表示部７４０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像表示部６４０に従って画像表示装置２２０を制御することによって構成される。
【００５３】
また、上記画像データ転送部７３０からプリンタ３０に背景置換画像を表わす画像データが出力された場合には、プリンタ３０では、この画像データによって表される背景置換画像がプリントされ、また、画像データ転送部７３０から、何らかの出力用記憶媒体５５０に背景置換画像を表わす画像データが出力された場合には、この画像データがその出力用記憶媒体５５０に書き込まれる。そして、背景置換画像がプリントされたプリント紙と、背景置換画像を表わす画像データが書き込まれた出力用記憶媒体５５０との両方、あるいは一方が、顧客の希望に応じて提供される。
【００５４】
次に、背景置換処理部７２０の詳細について説明する。
【００５５】
図７は、背景置換処理部の詳細を示す図である。
【００５６】
図７に示される背景置換処理部７２０は、背景推定部７２１、差し引き部７２２、調整部７２５、２値化部７２３、および背景置換画像作成部７２４を備えている。尚、以下では、画像取得部７１０が取得した２つの撮影画像のＲＧＢ値群のうち、第１閃光発光装置１２のみを利用して撮影された撮影画像（通常画像）を表すＲＧＢ値群を第１ＲＧＢ値群と称し、第２閃光発光装置１３０のみを利用して撮影された撮影画像（逆光画像）を表すＲＧＢ値群を第２ＲＧＢ値群と称す。また、顧客が所望した背景のＲＧＢ値を背景ＲＧＢ値群と称す。尚、図７中に示される第３ＲＧＢ値群については後述する。
【００５７】
ここで、図８は、図７に示される各部で生成される画像を観念的に示す図である。
【００５８】
図８（ａ）には、第２ＲＧＢ値群によって表される画像（逆光画像）が示されており、ここには、上から下にかけて一様なグラデーションを有する背景と、この背景の上部よりもシャドウ側に寄った被写体とが示されている。図８（ｂ）には、図７中に示される背景推定部７２１において、第２ＲＧＢ値群に基づいて被写体の背後については背景推定がされて作成された第３ＲＧＢ値群が表す背景画像が示されている。図８（ｃ）には、差し引き部７２２において、第２ＲＧＢ値群から第３ＲＧＢ値群の各値が差し引かれた結果のＲＧＢ値群で表された画像が示されており、ここには、ベタ黒の背景に被写体がうっすら浮かび上がっている様子が示されている。図８（ｄ）には、差し引かれた結果のＲＧＢ値群が調整部７２５での調整を終え、その後、２値化部７２３において２値化処理された後のＲＧＢ値群が表す画像が示されている。
【００５９】
図７に示される各部の動作についてさらに詳細に説明する。
【００６０】
まず、図７に示される背景推定部７２１には、図８（ａ）に示される撮影画像を表す第２ＲＧＢ値群が入力され、この第２ＲＧＢ値群に基づいて、図８（ａ）に示される逆光の撮影画像から、被写体に隠れた背後の領域のＲＧＢ値の推定が行われる。
【００６１】
図９は、被写体に隠れた背後の領域のＲＧＢ値の推定の手法を概念的に示す図である。尚、図９に示されている画像は、明暗の図示が省略されているが、図８（ａ）に示される図と同じ図であるとして話を進める。
【００６２】
背景推定部７２１では、入力されてきた第２ＲＧＢ値群から、まず、図９に示される画像の左側の１列目の上端に位置する画素から下端に位置する画素までのうちの最初の数画素の輝度を読み出した後は、その先の画素の輝度予測が外挿法により行なわれると共に輝度の実際の読み出しも行われ、予測した輝度（以下、この予測した輝度を予測輝度と称す。）と実際に読み出した輝度（以下、この読み出した輝度を読出輝度と称す。）との間に所定値以上のズレがあるか否かが判定される。これら輝度の読み出し、輝度の予測、および判定を、図９に示す撮影画像の左端から右端にかけて列毎に行う。その結果、読出輝度と予測輝度との差が全て所定値未満の画素からなる列は、背景領域のみを通過する列として認識される。一方、列の中に、読出輝度と予測輝度との差が所定値以上である画素が存在した列は被写体領域を通過する列として認識され、その列上の、被写体領域に属する画素の輝度は、被写体領域を通過する列の直前の、背景領域を通過する列の対応する画素の読出輝度に置き換えられる。この様にして被写体Ｐの背後の領域の輝度が推定される。尚、被写体Ｐの背後の領域の輝度の推定において、輝度の読み出しを撮影画像の上端から開始するのは、この撮影セット１０において撮影される撮影画像の背景は前述したように上方が明るく下方に行くほど暗くなっており、背景領域に、例えば、背景の周縁が黒枠として写っている場合でも、所定の閾値を下回る暗い部分は除外しつつ所定の閾値以上の明るさが読み取れた画素を背景領域の始まりの画素とすることができるからである。
【００６３】
図１０は、撮影画像上の上下方向の位置と読出輝度との関係を示す図である。
【００６４】
図１０（ａ）には、横軸に図９に示す逆光撮影の画像上の上下方向の位置、縦軸に輝度（０〜２５５）をとった場合の、この画像の背景領域に属する列の上下位置と読出輝度との関係が示されており、ここには、列の上端では、２５５に近い‘明’側の読出輝度が、列の下端に近づくにつれて０に近い‘暗’側へなだらかに変化していく様子が示されている。また、図９に示される、背景領域を通過する列のうち代表的な列Ａ、Ｂ、Ｃ、Ｅ、Ｆ、およびＧにおける上下位置と読出輝度との関係がほぼ同じであることで、図１０（ａ）には、プロットがほぼ同じ位置に重ねて行われている様子が示されている。このことは、つまり、図９に示される撮影画像の背景が左右方向に均一であることを表している。
【００６５】
図１０（ｂ）には、被写体領域を通過する列の中から代表的に抽出した列Ｄについて得られた、列Ｄにおける上下位置と読出輝度との関係が示されている。この列Ｄについては、位置ａ手前までの画素は背景領域に属しているものの、位置ａから位置ｂまでの間の画素が被写体領域に属していることで外挿法による予測輝度と読出輝度とのズレが所定値以上となる。このため、この範囲内の読出輝度が、背景領域のみを通過する列のうちの直前の列である列Ｃの対応する範囲の読出輝度に置き換えられる。図１０（ｂ）には、輝度の置き換えが行われた範囲が点線で示されている。以上説明したようにして、背景推定部７２１では、被写体Ｐに隠れた背後の画素の輝度推定を行った上で、背景全体のＲＧＢ値群である第３ＲＧＢ値群を作成する。
【００６６】
図７に示す差し引き部７２２では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれる。
【００６７】
従来の背景置換技術では、背景と被写体とが極端に異なる色や明るさを有していることが背景置換処理を高精度に行うための要件となっている。そのため、被写体と背景との境目の色や明るさに明らかな差がないと、背景と被写体との区別の精度は低下する。しかし、この背景置換処理部７２０では、被写体を逆光で撮影して得られた第２ＲＧＢ値群から、被写体Ｐに隠れた背後については推定を用いた背景画像を表す第３ＲＧＢ値群を差し引くことで得られた差分により被写体領域と背景領域とを区別する。つまり、背景置換処理部７２０によれば、被写体と背景との境目の色や明るさに明らかな差がなくても、被写体領域のＲＧＢ値群と、その被写体領域に隠れた背後の領域について推定されたＲＧＢ値群とに僅かでも差があれば被写体領域と背景領域とを区別することができる。
【００６８】
図７に示す調整部７２５では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれた後のＲＧＢ値群に対する、オペレータによる調整が可能となっている。
【００６９】
ここで、図１１は、パーソナルコンピュータの画像表示装置の画面表示を示す図である。
【００７０】
パーソナルコンピュータ２０では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれた後のＲＧＢ値群に対し、光の写り込み等によるノイズ成分の除去をオペレータが調整部７２５を介して手動で行えるようになっており、図１１（ａ）には、この手動による調整が行われる際に表示画面２２０ａ上に表示される画面表示が示されている。
【００７１】
図１１（ａ）には、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれた後のＲＧＢ値群が表す画像が表示された表示画面２２０ａが示されており、この表示画面２２０ａには、入力欄２２１ａ、‘実行’ボタン２２２ａ、および‘ＯＫ’ボタン２２３ａも表示されている。
【００７２】
図１１（ａ）に示される入力欄２２１ａには、ノイズ成分除去のための閾値が入力される。例えば、この入力欄２２１ａに値‘１０’が入力され、‘実行’ボタン２２２ａが操作されると、入力欄２２１ａで指定されている値（ここに示す例では‘１０’）以下の画素数からなる画素群であって、周囲とＲＧＢ値が異なる孤立した画素群の検出が行われ、そのような画素群はノイズ成分であるとして、その画素群のＲＧＢ値はその周囲の画素のＲＧＢ値と同じＲＧＢ値に置き換えられる。このように、このパーソナルコンピュータ２０では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれた後のＲＧＢ値群に対するノイズ成分の除去の判断基準となる画素数のオペレータによる変更が可能となっている。図１１（ａ）に示される‘ＯＫ’ボタン２２３ａは、ノイズ成分が除去されたＲＧＢ値群を２値化部７２３（図７参照）に送る際に操作されるボタンである。
【００７３】
その後、画面２２０ａには、図１１（ｂ）に示すように、調整部７２５でノイズ成分が除去されたＲＧＢ値群に対して２値化部７２３における２値化処理が施されたＲＧＢ値群によって表される画像が表示される。
【００７４】
２値化部７２３では、調整部７２５から送られてきた、ノイズ成分が除去されたＲＧＢ値群から輝度を読み出し、閾値Ａ未満の輝度については輝度を‘０’（ベタ黒）とし、閾値Ａ以上の輝度については輝度を‘２５５’（白）としている。この閾値としては、デフォルトで、ノイズ成分が除去されたＲＧＢ値群から読み出された輝度の出現頻度の分布における最大輝度と最小輝度の中間値が設定されるようになっている。
【００７５】
このパーソナルコンピュータ２０では、調整部７２５でのノイズ成分の除去処理がなされた後のＲＧＢ値群に対する２値化処理についての調整を、オペレータが手動で行えるようになっており、図１１（ｂ）には、この手動による調整が行われる際の画面表示が示されている。
【００７６】
図１１（ｂ）に示される‘ヒストグラム’ボタン２２４ａは、調整部７２５から送られてきたＲＧＢ値群の輝度を出現頻度の分布で表す際に操作されるボタンである。
【００７７】
図１１（ｃ）には、‘ヒストグラム’ボタン２２４ａが操作されたことによる画面表示が示されている。ここには、調整部７２５から送られてきたＲＧＢ値群から読み出された輝度の出現頻度の分布が示されており、ノイズ成分が除去されたＲＧＢ値群の輝度分布における最大輝度である‘２Ａ’と最小輝度である値‘０’の中間値である‘Ａ’が現在の閾値となっている様子が図中の直線Ｓで示されている。オペレータは、マウス２４０を使用してこの直線Ｓをつまみながら左右に移動することで閾値を変更できるようになっている。図１１（ｂ）に示される‘実行’ボタン２２２ａは、オペレータが新たに設定した閾値を基準として２値化処理を行う際に操作される。また、図１１（ｂ）に示される‘ＯＫ’ボタン２２３ａは、２値化処理がなされたＲＧＢ値群を背景置換画像作成部７２４に送る際に操作されるボタンである。図１１（ｃ）に示される‘決定’ボタン２２５ａは、マウス２４０を使用して直線Ｓを移動させた後、それを閾値として設定するために操作されるボタンである。‘戻る’ボタン２２６ａは、図１１（ｃ）に示される画面表示から図１１（ｂ）に示される画面表示に戻る際に操作されるボタンである。
【００７８】
図７に示す背景置換画像作成部７２４では、２値化部７２３により輝度が‘２５５’とされた被写体領域のＲＧＢ値については、第１ＲＧＢ値群の対応するＲＧＢ値に置き換えられ、２値化部７２３により輝度が‘０’とされた背景領域のＲＧＢ値については、顧客が所望した背景ＲＧＢ値群の対応するＲＧＢ値に置き換えられる。これにより、順光できれいに撮影された被写体と、顧客が所望する背景とが組み合わさった背景置換画像が作成される。
【００７９】
このようにして作成された背景置換画像を表わすＲＧＢ値群が、図６に示される画像データ転送部７３０に送信され、各出力デバイスや出力用記憶媒体５５０（図６参照）に転送される。
【００８０】
以上説明したように、パーソナルコンピュータ２０では、被写体Ｐを挟んでデジタルカメラ１１とは反対側に位置するプラスティック板１３１からの、このプラスティック板１３１に沿って所定の一様さを有する光で照らされたこの被写体Ｐを撮影した逆光画像に基づいて、被写体Ｐに隠れた背後については推定して背景全体のＲＧＢ値群を得、逆光画像を表すＲＧＢ値群から背景全体のＲＧＢ値群を差し引くことで被写体領域が高精度に検出されて背景置換が行われる。
【００８１】
ここで、上述の背景置換装置における被写体と背景との切り分けは、逆光撮影画像上の被写体領域と背景領域との間に明るさの違いがあるほど精度が高まるものの、この逆光撮影画像の撮影の際に、周囲が明るい場合や、ＥＬパネル１３０の光が被写体の上部に写り込むなどして被写体領域中に背景領域とほぼ同じ明るさの部分が発生すると、背景領域と被写体領域との切り分けが高精度に行えなくなるおそれがある。
【００８２】
そこで、この撮影システム１が設置されている環境が、逆光撮影画像における背景領域と被写体領域との高精度な切り分けが可能な撮影環境か否かを実際の被写体を撮影する前に確認する必要がある。以下では、この撮影環境を確認する方法について説明する。
【００８３】
図１２は、撮影環境確認方法の流れを示す図である。この撮影環境確認方法が、本発明の撮影環境確認方法の第１実施形態である。また、この撮影環境確認方法は、写真撮影がオペレータによって行われた後は図６に示す撮影環境判定装置８００により実施される。尚、この撮影環境判定装置８００は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の一部である撮影環境判定部６５０に従って動作することによって構成され、オペレータは、パーソナルコンピュータ２０の表示画面２２０ａ上で背景置換動作と撮影環境判定動作とを切り換えて実行できるようになっている。
【００８４】
この撮影環境確認方法は、ステップＳ１１として、上部表面が鏡面になっているダミーの基準被写体を、ＥＬパネル１３０からの光のみがこの基準被写体を後方から照らすという逆光状態で撮影する。尚、この逆光撮影は、撮影画像上の基準被写体が予め決められた位置および大きさとなるように、デジタルカメラ１および基準被写体が所定の場所に配置されて行われる。撮影画像は、図３で説明したように、パーソナルコンピュータ２０からなる撮影環境判定装置８００に送信される。撮影環境判定装置８００では、撮影画像上の所定範囲を被写体領域として把握する。ステップＳ１２として、撮影環境判定装置８００では、撮影画像上の、基準被写体の上部鏡面が写っているものと把握している所定範囲に属する各画素の画素値を画素毎に換算し、各画素毎に輝度を得る。ステップＳ１３として、撮影環境判定装置８００では、取得した輝度の中での最大輝度（Ｏｘ）を検出する。ステップＳ１４として、撮影環境判定装置８００では、撮影画像上の被写体領域を除いたその他の領域である背景領域に属する各画素の画素値を画素毎に換算し、各画素毎に輝度を得る。上述したように、撮影画像上の背景領域は撮影環境判定装置８００によって把握されていることから、撮影環境判定装置８００では、撮影画像上の背景領域も把握が可能となっている。ステップＳ１５として、撮影環境判定装置８００では、背景領域の各画素の画素値を画素毎に換算し、各画素毎に輝度を得る。その後、撮影環境判定装置８００では、これら輝度の中での最小輝度（Ｂｎ）を検出する。ステップＳ１６として、撮影環境判定装置８００では、背景領域の最小輝度（Ｂｎ）が被写体上部の最大輝度（Ｏｘ）を超えているか否かを判定し、超えていなければ被写体と背景との区別が困難な状況にあるとして、プラスティック板１３１の端部の吊り下げ位置の降下を指示する表示を画像表示装置２２０に行わさせる。尚、図１に示す様に、プラスティック板１３１の端部の吊り下げ位置は３段階（上、中、下）での変更が可能となっており、この吊り下げ位置の降下は、画像表示装置２２０の表示画面上に‘中’、‘下’のうちのいずれかへの変更指示が表示され、それを受けてオペレータによって行われる。以下、この撮影環境確認方法について、さらに詳細に説明する。
【００８５】
図１３は、基準被写体の撮影の様子を示す図である。
【００８６】
図１３には、上部表面が鏡面の基準被写体Ｓがプラスティック板１３１上に載置されている様子が示されている。
【００８７】
本実施形態の撮影環境確認方法では、背景置換用の撮影の前に、現在の撮影環境が背景領域と被写体領域とを区別できる逆光撮影画像を得られる撮影環境か否かを確認するため、背景領域と被写体領域との区別がし難い、上部に鏡面を有する基準被写体Ｓをダミーの被写体として用いて逆光撮影を行ってみて、背景領域の最小輝度（Ｂｎ）が基準被写体上部の最大輝度（Ｏｘ）を超えているか否かを判定する。その結果、超えていなければ被写体と背景との区別が困難な状況にあるとして、背景領域の最小輝度（Ｂｎ）が基準被写体上部の最大輝度（Ｏｘ）を超えるようにプラスティック板１３１の端部の吊り下げ位置が下げられる。プラスティック板１３１の端部の吊り下げ位置を下げることで、基準被写体Ｓとプラスティック板１３１との間を空けると共に、プラスティック板１３１の角度を寝かせることとなる。背景領域の最小輝度（Ｂｎ）が基準被写体上部の最大輝度（Ｏｘ）を超えていない場合にプラスティック板１３１の端部の吊り下げ位置を下げるのは、基準被写体上部の最大輝度（Ｏｘ）が背景領域の最小輝度（Ｂｎ）を上回るのは、プラスティック板１３１からの光の写り込みが原因と考えられるからであり、この様にすることで、基準被写体Ｓへの光の写り込みが抑えられ、基準被写体上部の最大輝度（Ｏｘ）を小さくすることができるからである。
【００８８】
また、上部に鏡面を有する基準被写体Ｓを被写体として使用し、その上部の最大輝度（Ｏｘ）を背景領域の最小輝度（Ｂｎ）と比較しているのは、上部は下部に比べて背面からの光が写り込みやすいために被写体領域の中で最も明るくなりやすく、基準被写体Ｓよりも光を吸収するために暗く写りやすい通常の被写体であれば、いずれの部分の輝度であっても当然にこの最大輝度（Ｏｘ）を下回ると考えられ、逆光撮影画像上ではハイライト側である背景領域の最小輝度（Ｂｎ）が被写体領域の最大輝度（Ｏｘ）よりも明るいという、背景領域と被写体領域とを区別する上で最低限必要な条件をこの基準被写体Ｓで満たせば、通常の被写体であれば当然にこの条件を満たすと考えられるからである。尚、基準被写体Ｓとして全面が鏡面のもの、あるいは、プラスティック板１３１からの光を透過するものを使用してもよい。
【００８９】
以上説明したように、本実施形態の撮影環境確認方法では、基準被写体Ｓの逆光撮影画像上の背景領域の中の最も暗い箇所の明るさが、被写体領域の中の最も明るい箇所の明るさよりも明るいか否かを判定することで、被写体と背景との区別が可能な逆光撮影画像が得られる撮影環境か否かを確認することができる。また、この撮影環境確認方法によれば、逆光撮影画像における背景領域と被写体領域との区別が通常の被写体よりもし難いと考えられる、逆光撮影画像において通常の被写体よりも明るく写りがちな被写体として、一部に鏡面を有すると共に一部が光を透過するものを使用していることで、被写体と背景との区別が可能な撮影画像が得られる撮影環境か否かをより確実に確認することができる。
【００９０】
次に、本発明の撮影環境確認方法の第２実施形態について説明する。
【００９１】
図１４は、撮影環境確認方法の流れを示す図である。尚、この撮影環境確認方法も、オペレータによる撮影後は、図６に示す撮影環境判定装置８００により実施される。
【００９２】
この撮影環境確認方法は、まず、ステップＳ２１として、第１実施形態と同様に上部表面が鏡面の基準被写体を、ＥＬパネル１３０からの光のみがこの基準被写体を後方から照らすという逆光状態で、撮影画像上の基準被写体が予め決められた位置および大きさとなるように撮影する。ステップＳ２２として、撮影環境判定装置８００では、撮影画像上の基準被写体上部のエッジ位置の抽出を行う。このエッジ位置の抽出は、撮影画像上の各画素の画素値から換算し得られた輝度差の大小に基づいて行われる。ステップＳ２３として、撮影環境判定装置８００では、ステップＳ２２で抽出したエッジの位置が、撮影画像上の基準被写体が予め決められた位置および大きさとなるように撮影されていることを前提として把握している、撮影画像上の基準被写体上部のエッジ位置と同じであるか否かを判定する。ステップＳ２４として、撮影環境判定装置８００では、エッジ位置が合致していない場合には、被写体と背景との区別が困難な状況にあるとして、プラスティック板１３１の端部の吊り下げ位置の降下を指示する。この第２実施形態の撮影環境確認方法によっても、被写体と背景との区別が可能な撮影画像が得られる撮影環境か否かを確認することができる。
【図面の簡単な説明】
【００９３】
【図１】背景置換画像を作成するための撮影システムの概要を示す図である。
【図２】図１に示すパーソナルコンピュータの外観斜視図である。
【図３】図１の撮影システムにおける背景置換作業の流れを示す図である。
【図４】図１に示すパーソナルコンピュータのハードウェア構成図である。
【図５】ＣＤ−ＲＯＭの概念図である。
【図６】機能ブロック図である。
【図７】背景置換処理部の詳細を示す図である。
【図８】図７に示される各部で生成される画像を観念的に示す図である。
【図９】被写体に隠れた背後の領域のＲＧＢ値の推定の手法を概念的に示す図である。
【図１０】撮影画像上の上下方向の位置と読出輝度との関係を示す図である。
【図１１】画像表示装置の画面表示を示す図である。
【図１２】撮影環境確認方法の流れを示す図である。
【図１３】基準被写体の撮影の様子を示す図である。
【図１４】撮影環境確認方法の流れを示す図である。
【符号の説明】
【００９４】
１ 撮影システム
１０ 撮影セット
１１ デジタルカメラ
１２ 第１閃光発光装置
１３ 撮影台
１３０ 第２閃光発光装置
１３１ プラスティック板
１３２ 筐体
２０ パーソナルコンピュータ
６００ 背景置換プログラム
６１０ 画像取得部
６２０ 置換処理部
６３０ 画像データ転送部
６４０ 画像表示部
６５０ 撮影環境判定部
７００ 背景置換装置
７１０ 画像取得部
７２０ 背景置換処理部
７２１ 背景推定部
７２２ 差し引き部
７２３ ２値化部
７２４ 背景置換画像作成部
７２５ 調整部
７３０ 画像データ転送部
７４０ 画像表示部
８００ 撮影環境判定装置
【特許請求の範囲】
【請求項１】
被写体が載置される、該被写体の下部から背後に至る載置面を有し、該載置面からの光で該被写体を照らす撮影台上に、撮影環境確認用の既知の基準被写体を載置して撮影することで撮影画像を得る撮影過程と、
前記撮影過程で得られた撮影画像について、前記基準被写体の上部が写る既知の第１領域中の明るさに対し前記載置面が写る既知の第２領域中の明るさが所定程度を越えて明るいか否かを判定する判定過程とを有することを特徴とする撮影環境確認方法。
【請求項２】
前記撮影過程で得られた撮影画像について前記第１領域中で最も明るい箇所の明るさを求める前記第１の明るさ解析過程と、
前記撮影過程で得られた撮影画像について前記第２領域中で最も暗い箇所の明るさを求める第２の明るさ解析過程とを有し、
前記判定過程が、前記第１の明るさ解析過程で求められた明るさに対し前記記第２の明るさ解析過程で求められた明るさが明るいか否かを判定する過程であることを特徴とする請求項１記載の撮影環境確認方法。
【請求項３】
前記撮影過程で得られた撮影画像について明暗のエッジを検出するエッジ検出過程を有し、
前記判定過程が、前記エッジ検出過程で検出されたエッジに、前記第１領域と前記第２領域との既知の境界と位置が一致するエッジが存在するか否かを判定する過程であることを特徴とする請求項１記載の撮影環境確認方法。
【請求項４】
前記判定過程での判定結果が否定的である場合に、前記載置面の、前記被写体の背後に存在する部分と該被写体との距離を広げる拡張過程を備えたことを特徴とする請求項１から３のうちいずれか１項記載の撮影環境確認方法。
【請求項５】
前記判定過程での判定結果が否定的である場合に、前記載置面の、前記被写体の背後に存在する部分の角度を後方に傾ける傾斜過程を備えたことを特徴とする請求項１から４のうちいずれか１項記載の撮影環境確認方法。
【請求項１】
被写体が載置される、該被写体の下部から背後に至る載置面を有し、該載置面からの光で該被写体を照らす撮影台上に、撮影環境確認用の既知の基準被写体を載置して撮影することで撮影画像を得る撮影過程と、
前記撮影過程で得られた撮影画像について、前記基準被写体の上部が写る既知の第１領域中の明るさに対し前記載置面が写る既知の第２領域中の明るさが所定程度を越えて明るいか否かを判定する判定過程とを有することを特徴とする撮影環境確認方法。
【請求項２】
前記撮影過程で得られた撮影画像について前記第１領域中で最も明るい箇所の明るさを求める前記第１の明るさ解析過程と、
前記撮影過程で得られた撮影画像について前記第２領域中で最も暗い箇所の明るさを求める第２の明るさ解析過程とを有し、
前記判定過程が、前記第１の明るさ解析過程で求められた明るさに対し前記記第２の明るさ解析過程で求められた明るさが明るいか否かを判定する過程であることを特徴とする請求項１記載の撮影環境確認方法。
【請求項３】
前記撮影過程で得られた撮影画像について明暗のエッジを検出するエッジ検出過程を有し、
前記判定過程が、前記エッジ検出過程で検出されたエッジに、前記第１領域と前記第２領域との既知の境界と位置が一致するエッジが存在するか否かを判定する過程であることを特徴とする請求項１記載の撮影環境確認方法。
【請求項４】
前記判定過程での判定結果が否定的である場合に、前記載置面の、前記被写体の背後に存在する部分と該被写体との距離を広げる拡張過程を備えたことを特徴とする請求項１から３のうちいずれか１項記載の撮影環境確認方法。
【請求項５】
前記判定過程での判定結果が否定的である場合に、前記載置面の、前記被写体の背後に存在する部分の角度を後方に傾ける傾斜過程を備えたことを特徴とする請求項１から４のうちいずれか１項記載の撮影環境確認方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−９３３７２（Ｐ２０１０−９３３７２Ａ）
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願番号】特願２００８−２５８７７２（Ｐ２００８−２５８７７２）
【出願日】平成２０年１０月３日（２００８．１０．３）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願日】平成２０年１０月３日（２００８．１０．３）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]