画像処理装置、画像処理方法及びプログラム
【課題】被写体存在画像内での被写体構成領域及び背景構成領域の指定を自動的に行う。
【解決手段】サーバ３であって、背景と被写体とが混在する被写体存在画像の複数の画像領域の代表色と所定の一色とを比較する類似度算出部３０６ｅと、この比較結果に基づいて、被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色からなる抽出用背景画像を生成する背景画像生成部３０６ｇと、生成された抽出用背景色に基づいて、被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する被写体領域特定部３０６ｉ及び背景領域特定部３０６ｈとを備えている。
【解決手段】サーバ３であって、背景と被写体とが混在する被写体存在画像の複数の画像領域の代表色と所定の一色とを比較する類似度算出部３０６ｅと、この比較結果に基づいて、被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色からなる抽出用背景画像を生成する背景画像生成部３０６ｇと、生成された抽出用背景色に基づいて、被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する被写体領域特定部３０６ｉ及び背景領域特定部３０６ｈとを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、背景と被写体とが混在する画像から被写体が含まれる領域を抽出するための画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、背景と被写体とが混在する画像から被写体が含まれる領域の抽出に、例えば、グラフカットアルゴリズムなどのエネルギー関数を最小にするパラメータを求める手法が用いられている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６９７３２１２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１等の場合、被写体を構成する正解領域（シード）及び背景を構成する正解領域に基づいて、被写体領域か背景領域か未確定の領域の被写体らしさや背景らしさである尤度を算出するようになっているが、予め各正解領域の指定をユーザによる操作部の所定操作に基づいて行わなければならなかった。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、被写体存在画像内での被写体構成領域及び背景構成領域の指定を自動的に行うことができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
背景と被写体とが存在する被写体存在画像を取得する取得手段と、この取得手段により取得された被写体存在画像内で複数の画像領域を特定する第１の特定手段と、この第１の特定手段により特定された各画像領域の代表色と所定の一色とを比較する比較手段と、この比較手段による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する生成手段と、この生成手段により生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する第２の特定手段と、を備えたことを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記被写体存在画像を複数の画像領域に分割する分割手段を更に備え、前記第１の特定手段は、前記分割手段により分割された複数の画像領域を特定対象として特定することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記取得手段により取得された被写体存在画像の背景の色を一色で推定する推定手段を更に備え、前記比較手段は、前記推定手段により推定された前記背景の色を前記所定の一色として、前記第１の特定手段により特定された各画像領域の代表色との類似度を算出することを特徴としている。
【０００９】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記推定手段は、更に、前記被写体存在画像の複数の領域の各々について、他の領域の代表色との類似度が所定の判定値以上であるか否かを判定し、前記所定の判定値以上であると判定された回数が最も多い領域の代表色を前記背景の色として推定することを特徴としている。
【００１０】
請求項５に記載の発明は、請求項４に記載の画像処理装置において、
前記第２の特定手段は、更に、前記推定手段により他の領域の色との類似度が所定の判定値以上であると判定された回数が最も多い領域を、前記背景構成領域として特定することを特徴としている。
【００１１】
請求項６に記載の発明は、請求項４又は５に記載の画像処理装置において、
前記推定手段は、更に、前記複数の領域の色のばらつき量を算出し、算出されたばらつき量が所定値以下である領域の各々について、他の領域の色との類似度が所定の判定値以上であるか否かを判定し、前記所定の判定値以上であると判定された回数が最も多い領域の色を前記背景の色として推定することを特徴としている。
【００１２】
請求項７に記載の発明は、請求項３〜６の何れか一項に記載の画像処理装置において、
前記比較手段による比較の結果、各画像領域に係る類似度合が所定の判定値よりも大きいか否かを判定する判定手段を更に備え、前記生成手段は、前記判定手段により画像領域の類似度が所定の判定値よりも大きいと判定されると、当該画像領域に対応する領域については当該画像領域の背景色に基づいて前記抽出用背景色を生成し、一方、前記判定手段により画像領域の類似度が所定の判定値以下であると判定されると、当該画像領域に対応する領域については前記推定手段により推定された前記背景の色に基づいて前記抽出用背景色を生成することを特徴としている。
【００１３】
請求項８に記載の発明は、請求項１〜７の何れか一項に記載の画像処理装置において、
前記第２の特定手段により特定された前記被写体構成領域及び前記背景構成領域に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出する抽出手段を更に備えることを特徴としている。
【００１４】
請求項９に記載の発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、背景と被写体とが存在する被写体存在画像を取得する処理と、この取得された被写体存在画像内で複数の画像領域を特定する処理と、この特定された各画像領域の代表色と所定の一色とを比較する処理と、この比較する処理による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する処理と、この生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する処理と、を含むことを特徴としている。
【００１５】
請求項１０に記載の発明のプログラムは、
画像処理装置のコンピュータを、背景と被写体とが存在する被写体存在画像を取得する取得手段、この取得手段により取得された被写体存在画像内で複数の画像領域を特定する第１の特定手段、この第１の特定手段により特定された各画像領域の代表色と所定の一色とを比較する比較手段、この比較手段による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する生成手段、この生成手段により生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する第２の特定手段、として機能させることを特徴としている。
【発明の効果】
【００１６】
本発明によれば、被写体存在画像内での被写体構成領域及び背景構成領域の指定を自動的に行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した実施形態１の被写体切り抜きシステムの概略構成を示すブロック図である。
【図２】被写体切り抜きシステムを構成する撮像装置の概略構成を示すブロック図である。
【図３】被写体切り抜きシステムを構成するユーザ端末の概略構成を示すブロック図である。
【図４】被写体切り抜きシステムを構成するサーバの概略構成を示すブロック図である。
【図５】被写体切り抜きシステムによる被写体画像生成処理に係る動作の一例を示すフローチャートである。
【図６】図５の被写体画像生成処理における被写体切抜処理に係る動作の一例を示すフローチャートである。
【図７】図６の被写体切抜処理における背景生成処理に係る動作の一例を示すフローチャートである。
【図８】図７の背景生成処理に係る画像の一例を模式的に示す図である。
【図９】図７の背景生成処理に係る画像の一例を模式的に示す図である。
【図１０】図６の被写体切抜処理における背景領域特定処理に係る動作の一例を示すフローチャートである。
【図１１】図６の被写体切抜処理における被写体領域特定処理に係る動作の一例を示すフローチャートである。
【図１２】図６の被写体切抜処理に係る画像の一例を模式的に示す図である。
【図１３】図６の被写体切抜処理における被写体抽出処理に係る動作の一例を示すフローチャートである。
【図１４】図１３の被写体抽出処理における抽出結果判定処理に係る動作の一例を示すフローチャートである。
【図１５】図６の被写体切抜処理に係る画像の一例を模式的に示す図である。
【図１６】本発明を適用した実施形態２の撮像装置の概略構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１９】
［実施形態１］
図１は、本発明を適用した実施形態１の被写体切り抜きシステム１００の概略構成を示すブロック図である。
図１に示すように、実施形態１の被写体切り抜きシステム１００は、撮像装置１と、ユーザ端末２と、サーバ３とを備え、ユーザ端末２とサーバ３とが所定の通信ネットワークＮを介して各種情報を送受信可能に接続されている。
【００２０】
先ず、撮像装置１について図２を参照して説明する。
ここで、図２は、撮像装置１の概略構成を示すブロック図である。
図２に示すように、撮像装置１は、レンズ部１０１と、電子撮像部１０２と、ユニット回路部１０３と、撮像制御部１０４と、画像処理部１０５と、表示部１０６と、記録媒体制御部１０７と、バッファメモリ１０８と、プログラムメモリ１０９と、操作入力部１１０と、中央制御部１１１とを備えている。
【００２１】
レンズ部１０１は、例えば、図示は省略するが、ズームレンズ、フォーカスレンズ、絞り等を有し、これらレンズを通過した被写体の光学像を結像する。
【００２２】
電子撮像部１０２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ等から構成され、レンズ部１０１の各種レンズを通過した光学像を当該電子撮像部１０２により二次元の画像信号（ＲＧＢ画像データ）に変換して、ユニット回路部１０３に出力する。
【００２３】
ユニット回路部１０３は、例えば、図示は省略するが、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）、ＡＧＣ（Auto Gain Control：ゲイン調整アンプ）、ＡＤＣ（Analog to Digital Converter：アナログ／デジタル変換器）等を具備している。そして、ユニット回路部１０３は、電子撮像部１０２から出力されて入力される被写体の光学像に応じたアナログの画像信号をＣＤＳにより保持し、当該画像信号をＡＧＣにより増幅した後、増幅された画像信号をＡＤＣによりデジタルの画像信号に変換する。
【００２４】
撮像制御部１０４は、中央制御部１１１からの指令に基づいて、被写体の撮像の際に、レンズ部１０１、電子撮像部１０２、ユニット回路部１０３等の動作を制御する。具体的には、撮像制御部１０４は、レンズ部１０１のズームレンズやフォーカスレンズ等を光軸上で移動させるためのレンズモータ（図示略）の駆動を制御したり、電子撮像部１０２を走査駆動するタイミングを制御したり、電子撮像部１０２の駆動タイミングに基づいてユニット回路部１０３の駆動タイミングを制御する。
【００２５】
画像処理部１０５は、Ａ／Ｄ変換後の画像信号に対して、画素毎のＲ，Ｇ，Ｂの色成分データ（ＲＧＢデータ）を生成するＲＧＢ補間処理、ＲＧＢデータから輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）からなるＹＵＶデータを画素毎に生成するＹＵＶ変換処理、さらに自動ホワイトバランスや輪郭強調などの画品質向上のためのデジタル信号処理を行う。そして、画像処理部１０５は、変換後の各画像フレームのＹＵＶデータをバッファメモリ１０８に順次出力し、当該バッファメモリ１０８に格納させる。
【００２６】
表示部１０６は、バッファメモリ１０８に格納された１フレーム分のＹＵＶデータをビデオ信号に変換した後、ライブビュー画像として表示画面に表示する。具体的には、表示部１０６は、被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を所定の表示フレームレートで表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
【００２７】
記録媒体制御部１０７は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。即ち、記録媒体制御部１０７は、画像処理部１０５のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記録媒体Ｍに記録させる。具体的には、記録媒体制御部１０７は、背景と被写体とが存在する被写体存在画像Ｐ１（図８（ａ）参照）の記録用の画像データを記録媒体Ｍに記録させる。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００２８】
バッファメモリ１０８は、画像データ等を一時的に記録するバッファであるとともに、中央制御部１１１などのワーキングメモリ等としても使用される。
【００２９】
プログラムメモリ１０９には、当該撮像装置１の機能に係る各種プログラムやデータが格納されている。また、プログラムメモリ１０９には、例えば、静止画撮像時、連続撮像時、ライブビュー画像撮像時等の各撮像時における適正な露出値(ＥＶ)に対応する絞り値(Ｆ)とシャッタースピードとの組み合わせを示すプログラム線図を構成するプログラムＡＥデータや、ＥＶ値表（何れも図示略）も格納されている。
【００３０】
操作入力部１１０は、当該撮像装置１の所定操作を行うためのものである。具体的には、操作入力部１１０は、例えば、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定用ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンのユーザ操作に応じて所定の操作信号を中央制御部１１１に出力する。
【００３１】
中央制御部１１１は、例えば、撮像装置１の各部を制御するＣＰＵを具備するワンチップマイコン等から構成されている。
また、中央制御部１１１は、操作入力部１１０から出力され入力された操作信号に基づいて、撮像装置１の各部を制御する。具体的には、中央制御部１１１は、操作入力部１１０のシャッタボタンの所定操作に従って出力された記録指示信号が入力されると、プログラムメモリ１０９に記憶されている所定のプログラムに従って、撮像制御部１０４により電子撮像部１０２及びユニット回路部１０３の駆動タイミングを制御して静止画像を撮影する処理を実行する。この静止画像の撮影によりバッファメモリ１０８に格納された１フレーム分のＹＵＶデータは、画像処理部１０５にてＪＰＥＧ方式等により圧縮され符号化されて、記録媒体Ｍに静止画像データとして記録される。
【００３２】
次に、ユーザ端末２について図３を参照して説明する。
ユーザ端末２は、例えば、パーソナルコンピュータ等により構成され、サーバ３により開設されるＷｅｂページ（例えば、被写体抽出用ページ）にアクセスして、被写体存在画像Ｐ１の画像データをサーバ３に送信する。
【００３３】
図３は、ユーザ端末２の概略構成を示すブロック図である。
図３に示すように、ユーザ端末２は、具体的には、中央制御部２０１と、通信制御部２０２と、表示部２０３と、記録媒体制御部２０４と、操作入力部２０５等を備えている。
【００３４】
中央制御部２０１は、ユーザ端末２の各部を制御するものである。具体的には、中央制御部２０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＲＯＭに記憶されたユーザ端末２用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部２０３に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末２で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
【００３５】
通信制御部２０２は、例えば、モデム（MODEM:Modulater/DEModulater）、ターミナルアダプタ（Terminal Adapter）等によって構成され、所定の通信ネットワークＮを介してサーバ３等の外部機器との間で情報の通信制御を行うためのものである。
【００３６】
なお、通信ネットワークＮは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークＮであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ等が含まれる。
【００３７】
表示部２０３は、例えば、ＬＣＤ、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、中央制御部２０１のＣＰＵの制御下にて各種情報を表示画面に表示する。
具体的には、表示部２０３は、例えば、サーバ３から送信され通信制御部２０２により受信されたＷｅｂページ（例えば、被写体抽出用ページ）のページデータに基づいて、対応するＷｅｂページを表示画面に表示する。
【００３８】
記録媒体制御部２０４は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。即ち、記録媒体制御部２０４は、撮像装置１から取り外されて装着された記録媒体Ｍから被写体画像生成処理（後述）に係る被写体存在画像Ｐ１の画像データを読み出して通信制御部２０２に出力する。
そして、通信制御部２０２は、入力された被写体存在画像Ｐ１の画像データをサーバ３に所定の通信ネットワークＮを介して送信する。
【００３９】
操作入力部２０５は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部２０１のＣＰＵに出力する。
【００４０】
次に、サーバ３について図４を参照して説明する。
サーバ３は、Ｗｅｂ（World Wide Web）サーバ３としてインターネット上にＷｅｂページ（例えば、被写体抽出用ページ）を開設する機能を具備するものであり、ユーザ端末２からのアクセスに応じて当該ユーザ端末２にＷｅｂページのページデータを送信する。また、サーバ３は、画像処理装置として、背景と被写体とが混在する被写体存在画像Ｐ１の複数の画像領域Ａ、…の色と所定の一色との類似度を算出し、算出された類似度に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用の背景色、ここでは抽出用の背景色からなる画像である抽出用背景画像Ｐ４（図９（ｄ）参照）を生成する。そして、サーバ３が、生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ及び背景を構成する背景構成領域Ｃｂをそれぞれ特定する。
【００４１】
図４は、サーバ３の概略構成を示すブロック図である。
図４に示すように、サーバ３は、具体的には、中央制御部３０１と、記憶部３０２と、表示部３０３と、通信制御部３０４と、被写体検出部３０５と、被写体切抜部３０６等を備えて構成されている。
【００４２】
中央制御部３０１は、サーバ３の各部を制御するものである。具体的には、中央制御部３０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＣＰＵは、ＲＯＭに記憶されたサーバ３用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部３０３に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ３で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
【００４３】
記憶部３０２は、例えば、半導体の不揮発メモリやＨＤＤ（Hard Disc Drive）等により構成され、ユーザ端末２に送信されるＷｅｂページのページデータ等を記憶する。
【００４４】
表示部３０３は、例えば、ＬＣＤ、ＣＲＴ等のディスプレイから構成され、中央制御部３０１のＣＰＵの制御下にて各種情報を表示画面に表示する。
【００４５】
通信制御部３０４は、例えば、モデム、ターミナルアダプタ等によって構成され、所定の通信ネットワークＮを介してユーザ端末２等の外部機器との間で情報の通信制御を行うためのものである。
【００４６】
被写体検出部３０５は、被写体存在画像Ｐ１から特定の被写体を検出する。
即ち、被写体検出部３０５は、ユーザ端末２から所定の通信ネットワークＮを介して送信され通信制御部３０４により受信した被写体存在画像Ｐ１の画像データ（ＹＵＶデータ）を取得して、当該画像データに対して、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理を行って特定の被写体が含まれる領域Ｄ（例えば、顔領域等）を検出する。具体的には、被写体検出部３０５は、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理によって特定の被写体の候補となる候補領域を抽出し、抽出された候補領域の中で所定の識別条件を満たすものを特定の被写体として検出する。
なお、所定の識別条件としては、例えば、「ヒトの顔」や「動物」などの形状を基準とするものや、画角全体の画像に対する割合（例えば、半分以上であるか）などの大きさを基準とするものや、明度や彩度が高く鮮やかな（派手な）色合いであるか否かや肌色であるか否かなどの色調を基準とするもの等が挙げられる。
なお、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００４７】
被写体切抜部３０６は、画像取得部３０６ａと、画像分割部３０６ｂと、画像領域特定部３０６ｃと、背景色推定部３０６ｄと、類似度算出部３０６ｅと、類似度判定部３０６ｆと、背景画像生成部３０６ｇと、背景領域特定部３０６ｈと、被写体領域特定部３０６ｉと、被写体抽出部３０６ｊとを具備している。
【００４８】
画像取得部３０６ａは、背景と被写体とが存在する被写体存在画像Ｐ１を取得する。
即ち、画像取得部３０６ａは、ユーザ端末２から所定の通信ネットワークＮを介して送信され通信制御部３０４により受信した被写体存在画像Ｐ１（図８（ａ）参照）のＹＵＶデータを取得する。また、画像取得部３０６ａは、被写体存在画像Ｐ１のＹＵＶデータを水平（ｘ軸）方向及び垂直（ｙ軸）方向ともに所定の比率で縮小した縮小画像（例えば、ＶＧＡサイズの画像等）のＹＵＶデータを生成しても良い。
【００４９】
画像分割部３０６ｂは、被写体存在画像Ｐ１を複数の画像領域Ａ、…に分割する。
即ち、画像分割部３０６ｂは、被写体存在画像Ｐ１のＹＵＶデータに基づいて、当該被写体存在画像Ｐ１全体を水平方向及び垂直方向がそれぞれ所定画素からなる複数の画像領域Ａ、…に分割する。具体的には、画像分割部３０６ｂは、例えば、画像取得部３０６ａにより生成された被写体存在画像Ｐ１の縮小画像のＹＵＶデータに基づいて、当該縮小画像を４つの画像領域Ａ、…（図９（ｂ）参照）に分割する。
なお、画像分割部３０６ｂは、被写体存在画像Ｐ１の低解像度の画像データを分割するようにしたが、高解像度の画像データを分割しても良い。また、分割数として、４つを例示したが、一例であってこれに限られるものではなく、分割数は適宜任意に変更可能である。さらに、画像分割部３０６ｂは、被写体存在画像Ｐ１の分割を所定回数行っても良く、複数（例えば、４つ）に分割された画像領域Ａの各々をさらに所定数の画像領域に分割しても良い。
【００５０】
画像領域特定部３０６ｃは、被写体存在画像Ｐ１内で複数の画像領域Ａ、…を特定する。
即ち、画像領域特定部３０６ｃは、画像取得部３０６ａにより取得された被写体存在画像Ｐ１内で所定の特定条件に従って複数の画像領域Ａ、…を特定する。具体的には、画像領域特定部３０６ｃは、画像分割部３０６ｂにより分割された被写体存在画像Ｐ１の複数の画像領域Ａ、…を、類似度算出部３０６ｅによる所定の一色との類似度の算出に係る特定対象として特定する。
なお、画像領域特定部３０６ｃは、画像分割部３０６ｂにより分割された複数の画像領域Ａ、…を特定対象とするようにしたが、これに限られるものではなく、特定対象となる画像領域Ａは適宜任意に変更可能である。例えば、人の胸から上のバストショットを撮像した被写体存在画像Ｐ１から被写体領域Ｄを抽出するバストショット抽出モードが設定されている場合には、画像領域特定部３０６ｃは、被写体存在画像Ｐ１を所定の表示領域に表示した状態で、上側の画像境界から下側に所定範囲内の画像領域や、左上隅部や右上隅部から所定範囲内の画像領域を特定対象として特定しても良い。
【００５１】
背景色推定部３０６ｄは、被写体存在画像Ｐ１の背景の色を推定する。
即ち、背景色推定部３０６ｄは、画像取得部３０６ａにより取得された被写体存在画像Ｐ１のＹＵＶデータに基づいて所定の演算処理を行って、当該被写体存在画像Ｐ１の背景の色を一色で推定する。具体的には、背景色推定部３０６ｄは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータを取得して、当該縮小画像全体を水平方向及び垂直方向がそれぞれ所定画素（例えば、２０画素等）からなる複数のブロック（領域）Ｂ、…に分割する（図８（ｂ）参照）。そして、背景色推定部３０６ｄは、各ブロックＢ内の複数の画素の画素値に基づいて所定の演算を行って、当該ブロックＢの代表色（例えば、平均色等）を算出する。また、背景色推定部３０６ｄは、各ブロックＢ内の複数の画素の画素値及び代表色に基づいて所定の演算を行って、各ブロックＢ内の色のばらつき量（例えば、分散、標準偏差等）を算出する。
そして、背景色推定部３０６ｄは、複数のブロックＢ、…の各々について、ブロックＢ内の色のばらつき量が所定値以下であるか否かを判定し、色のばらつき量が所定値以下であるブロックＢを特定する。その後、背景色推定部３０６ｄは、特定された各ブロックＢについて、当該ブロックＢの代表色と他のブロックＢの代表色との類似度（例えば、輝度情報及び色差情報の各々についてのユークリッド空間における距離等）が所定の判定値以上であるか否かを判定し、所定の判定値以上であると判定されたブロックＢについては投票する。そして、背景色推定部３０６ｄは、最も投票数の多いブロックＢの代表色、即ち、所定の判定値以上であると判定された回数が最も多いブロックＢの代表色を背景色として推定する（図８（ｃ）参照）。
図８（ｃ）にあっては、推定された背景色が全画面に亘って一様に形成された画像Ｐ２を模式的に表している。
【００５２】
なお、背景色推定部３０６ｄによる背景色の推定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、被写体存在画像Ｐ１の背景は画像の変化が少ない（色のばらつき量の小さい）平坦な領域であると仮定して、背景色推定部３０６ｄは、複数のブロックＢ、…のうち、色のばらつき量が所定値以下であるブロックＢの各々について、他のブロックＢの代表色との類似度が所定の判定値以上であるか否かを判定するようにしたが、色のばらつき量に拘わらず複数のブロックＢ、…の全てについて他のブロックＢの代表色との類似度が所定の判定値以上であるか否かを判定するようにしても良い。
【００５３】
また、背景色推定部３０６ｄは、画像分割部３０６ｂにより分割された被写体存在画像Ｐ１の複数の画像領域Ａ、…の色を推定する。即ち、背景色推定部３０６ｄは、各画像領域Ａについて上記と同様の手法に従って代表色を推定する。
具体的には、背景色推定部３０６ｄは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータに基づいて画像分割部３０６ｂにより分割された各画像領域Ａ（図９（ａ）参照）全体を水平方向及び垂直方向がそれぞれ所定画素（例えば、２０画素等）からなる複数のブロックＢ、…（領域）に分割する（図９（ｂ）参照）。そして、背景色推定部３０６ｄは、各画像領域Ａの各ブロックＢ内の複数の画素の画素値に基づいて所定の演算を行って、当該ブロックＢの代表色（例えば、平均色等）及び各ブロックＢ内の色のばらつき量（例えば、分散、標準偏差等）を算出する。そして、背景色推定部３０６ｄは、各画像領域Ａの複数のブロックＢ、…の中で、色のばらつき量が所定値以下であるブロックＢを特定し、特定された各ブロックＢについて、各画像領域Ａ内の他のブロックＢの代表色との類似度（例えば、輝度情報及び色差情報の各々についてのユークリッド距離等）が所定の判定値以上であると判定されたブロックＢについて投票する。そして、背景色推定部３０６ｄは、最も投票数の多いブロックＢの代表色、即ち、所定の判定値以上であると判定された回数が最も多いブロックＢの代表色を各画像領域Ａの色として推定する（図９（ｃ）参照）。
図９（ｃ）にあっては、各画像領域Ａについて推定された色が一様に形成された画像Ｐ３を模式的に表している。また、各画像領域Ａの色は、単位面積あたりのドット数を異ならせることによって色分けされた状態を模式的に表している。
なお、背景色推定部３０６ｄによる各画像領域Ａの色の推定方法は、一例であってこれに限られるものではなく、上記の背景色の推定方法と同様に適宜任意に変更可能である。
【００５４】
類似度算出部３０６ｅは、被写体存在画像Ｐ１の各画像領域Ａの色と所定の一色との類似度を算出する。
即ち、類似度算出部３０６ｅは、画像領域特定部３０６ｃにより特定された各画像領域Ａの色と所定の一色との類似度を算出する。具体的には、類似度算出部３０６ｅは、背景色推定部３０６ｄにより推定された背景色（図８（ｃ）参照）と、各画像領域Ａの色（図９（ｃ）参照）との類似度（例えば、輝度情報及び色差情報の各々についてのユークリッド距離等）を算出する。
なお、所定の一色として、背景色推定部３０６ｄにより推定された被写体存在画像Ｐ１の背景色を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、各画像領域Ａの色との類似度の判定用に用いられる色であれば如何なる色であっても良く、例えば、類似度算出部３０６ｅは、各画像領域Ａの色の平均色を算出し、当該平均色を所定の一色として類似度の判定用に用いても良い。
【００５５】
類似度判定部３０６ｆは、各画像領域Ａに係る類似度が所定の判定値よりも大きいか否かを判定する。
即ち、類似度判定部３０６ｆは、類似度算出部３０６ｅにより算出された被写体存在画像Ｐ１の各画像領域Ａの色と背景色（所定の一色）との類似度が所定の判定値よりも大きいか否かを判定する。
【００５６】
背景画像生成部３０６ｇは、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景画像Ｐ４を生成する。
即ち、背景画像生成部３０６ｇは、類似度算出部３０６ｅにより算出された被写体存在画像Ｐ１の各画像領域Ａの色と背景色（所定の一色）との類似度に基づいて、抽出用背景画像Ｐ４を生成する。具体的には、背景画像生成部３０６ｇは、被写体存在画像Ｐ１の各画像領域Ａの代表色と背景色との比較結果、つまり、類似度判定部３０６ｆによる判定結果に応じて、抽出用背景画像Ｐ４における各画像領域Ａに対応する領域の色を特定して、抽出用背景画像Ｐ４を生成する。例えば、背景画像生成部３０６ｇは、被写体存在画像Ｐ１の複数の画像領域Ａ、…のうち、類似度算出部３０６ｅにより算出された背景色との類似度が所定の判定値よりも大きいと判定された画像領域Ａについては、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として、背景色推定部３０６ｄにより特定された画像領域Ａの色を採用して、抽出用背景画像Ｐ４を生成する。その一方で、背景画像生成部３０６ｇは、類似度算出部３０６ｅにより算出された背景色との類似度が所定の判定値以下であると判定された画像領域Ａについては、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として背景色を採用して、抽出用背景画像Ｐ４を生成する（図９（ｄ）参照）。例えば、図９（ｄ）に示すように、背景画像生成部３０６ｇは、被写体存在画像Ｐ１を分割した４つの画像領域Ａ、…のうち、左側二つの画像領域Ａについては、背景色との類似度が所定の判定値よりも大きいと判定して、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として当該画像領域Ａの色を採用する。その一方で、背景画像生成部３０６ｇは、被写体存在画像Ｐ１を分割した４つの画像領域Ａ、…のうち、右側二つの画像領域Ａについては、背景色との類似度が所定の判定値以下であると判定して、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として背景色を採用する。
なお、図９（ｄ）にあっては、各画像領域Ａの色は、単位面積あたりのドット数を異ならせることによって色分けされた状態を模式的に表している。
【００５７】
背景領域特定部３０６ｈは、被写体存在画像Ｐ１内で背景を構成する背景構成領域Ｃｂを特定する。
即ち、背景領域特定部３０６ｈは、背景画像生成部３０６ｇにより生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で背景を構成する背景構成領域Ｃｂ（図１２（ａ）参照）を特定する。具体的には、背景領域特定部３０６ｈは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータ及び抽出用背景画像Ｐ４のＹＵＶデータに基づいて、縮小画像と抽出用背景画像Ｐ４との間で対応する各画素の輝度情報及び色差情報の各々について差分を算出した後、輝度情報及び色差情報の各差分の値に対して所定の重み付け（例えば、Ｙ：Ｕ：Ｖ＝1：4：4程度）を行って一次元の差分情報を生成する。
その後、背景領域特定部３０６ｈは、生成した差分情報を所定の分析方法（例えば、判別分析法等）を用いて分析し、被写体存在画像Ｐ１内で背景に対応する正解領域（シード）を構成する背景構成領域Ｃｂの判定用の第１閾値を設定する。例えば、背景領域特定部３０６ｈは、判別分析法によって、複数の差分情報を二つに区分した場合にクラス間分散が最大となる閾値を算出し、当該閾値よりも小さい差分情報の中での中央値（Median）を第１閾値として設定する。なお、背景構成領域Ｃｂの判定用の第１閾値の設定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、判別分析法の結果に基づいてガウシアン混合分布を生成し、当該分布の谷部を背景と被写体との境目として第１閾値を設定しても良い。
そして、背景領域特定部３０６ｈは、差分情報が第１閾値以下の画素であって、背景画像生成部３０６ｇによる抽出用背景画像Ｐ４の生成に用いられたブロックＢを抽出用背景画像Ｐ４のサポート領域として背景構成領域Ｃｂに特定する。即ち、背景領域特定部３０６ｈは、背景色推定部３０６ｄによる背景色や各画像領域Ａの色の推定にて、他のブロックＢの代表色との類似度が所定の判定値以上であると判定された回数が最も多いブロックＢ、つまり、投票数の最も多いブロックＢを背景構成領域Ｃｂに特定する。ここで、本推定方法は一例であり、差分情報が第１閾値以下の画素を背景構成領域Ｃｓとして特定しても良い。
【００５８】
なお、背景領域特定部３０６ｈは、例えば、被写体検出部３０５による顔検出処理の結果、顔領域が検出された場合や、人の胸から上のバストショットを撮像した被写体存在画像Ｐ１から被写体領域Ｄを抽出するバストショット抽出モードが設定されている場合には、被写体存在画像Ｐ１の上側画像境界や左右両側の画像境界から所定範囲内の画素について背景構成領域Ｃｂとして特定するか否かを判定しても良い（詳細後述）。
また、図１２（ａ）にあっては、被写体存在画像Ｐ１の背景構成領域Ｃｂ以外の領域に斜線を付して表し、背景構成領域Ｃｂを白抜きの状態で表している。
【００５９】
被写体領域特定部３０６ｉは、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓを特定する。
即ち、被写体領域特定部３０６ｉは、背景画像生成部３０６ｇにより生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ（図１２（ｂ）参照）を特定する。具体的には、被写体領域特定部３０６ｉは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータ及び抽出用背景画像Ｐ４のＹＵＶデータに基づいて、縮小画像と抽出用背景画像Ｐ４との間で対応する各画素の輝度情報及び色差情報の各々について差分を算出した後、輝度情報及び色差情報の各差分の値に対して所定の重み付け（例えば、Ｙ：Ｕ：Ｖ＝1：4.5：4.5程度）を行って一次元の差分情報を生成する。
その後、被写体領域特定部３０６ｉは、生成した差分情報を所定の分析方法（例えば、判別分析法等）を用いて分析し、被写体存在画像Ｐ１内で被写体に対応する正解領域（シード）を構成する被写体構成領域Ｃｓの判定用の閾値を設定する。例えば、被写体領域特定部３０６ｉは、判別分析法によって、複数の差分情報を二つに区分した場合にクラス間分散が最大となる閾値を算出し、当該閾値よりも大きい差分情報の中での中央値（Median）を判定用の閾値として設定する。なお、被写体構成領域Ｃｓの判定用の閾値の設定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、判別分析法の結果に基づいてガウシアン混合分布を生成し、当該分布の谷部よりも差分情報の大きい領域を利用して判定用の閾値を設定しても良い。
そして、被写体領域特定部３０６ｉは、差分情報が判定用の閾値よりも大きい画素を被写体構成領域Ｃｓとして特定する。
【００６０】
なお、被写体領域特定部３０６ｉは、例えば、被写体存在画像Ｐ１の縮小画像を分割した複数のブロックＢ、…について、注目するブロックＢの周辺ブロックに対する色のばらつき量（例えば、分散、標準偏差等）が所定値よりも大きいブロックＢは、画像の変化が激しい領域であるとして被写体構成領域Ｃｓとして特定しても良い。また、例えば、被写体領域特定部３０６ｉは、被写体検出部３０５による顔検出処理の結果、顔領域が検出された場合には、検出された顔領域を被写体構成領域Ｃｓとして特定しても良い（詳細後述）。
また、図１２（ｂ）にあっては、被写体存在画像Ｐ１の被写体構成領域Ｃｓ以外の領域に斜線を付して表し、被写体構成領域Ｃｓを白抜きの状態で表している。
【００６１】
このように、被写体領域特定部３０６ｉ及び背景領域特定部３０６ｈは、背景画像生成部３０６ｇにより生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ及び背景を構成する背景構成領域Ｃｂをそれぞれ特定する。
【００６２】
被写体抽出部３０６ｊは、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出する。
即ち、被写体抽出部３０６ｊは、被写体領域特定部３０６ｉ及び背景領域特定部３０６ｈにより特定された被写体構成領域Ｃｓ及び背景構成領域Ｃｂに基づいて、二値画像を生成する二値画像生成部３０６ｋを具備しており、当該二値画像生成部３０６ｋにより生成された二値画像に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出する。
【００６３】
具体的には、二値画像生成部３０６ｋは、被写体存在画像Ｐ１における被写体構成領域Ｃｓ及び背景構成領域Ｃｂ以外の領域を、被写体であるか背景であるか未確定の未確定領域Ｃｕとして、例えば、被写体構成領域Ｃｓの画素値を「１」とし、背景構成領域Ｃｂの画素値を「０」とし、未確定領域Ｃｕの画素値を「０．５」とする三値画像Ｐ５（図１５（ａ）参照）を生成する。なお、図１５（ａ）にあっては、三値画像Ｐ５における背景構成領域Ｃｂを「黒塗り」で、被写体構成領域Ｃｓを「白抜き」で、未確定領域Ｃｕに斜線を付して表している。
そして、二値画像生成部３０６ｋは、三値画像Ｐ５について所定のエネルギー関数を設定し、設定したエネルギー関数を最小にするパラメータを算出することで、未確定領域Ｃｕを構成する各画素の画素値を特定する。
例えば、エネルギー最小化の手法として、グラフカットアルゴリズムを利用する場合、二値画像生成部３０６ｋは、被写体存在画像Ｐ１の被写体構成領域Ｃｓ及び背景構成領域Ｃｂに対応する領域の色情報（輝度情報及び色差情報）に従ってガウシアン混合分布を生成し、当該ガウシアン混合分布に基づいて、未確定領域Ｃｕの各画素について被写体尤度及び背景尤度を算出する。ここで、被写体尤度は、対象画素が被写体にどれだけ近いか、即ち、対象画素が被写体を構成する画素であると推定した場合の尤もらしさ（確率）を数値で表したものであり、同様に、背景尤度は、対象画素が背景にどれだけ近いか、即ち、対象画素が背景を構成する画素であると推定した場合の尤もらしさを数値で表したものである。
【００６４】
そして、二値画像生成部３０６ｋは、エネルギー関数のデータ項に、被写体構成領域Ｃｓ及び背景構成領域Ｃｂ、未確定領域Ｃｕの各画素に係る被写体尤度及び背景尤度を設定するとともに、エネルギー関数の平滑化項に、未確定領域Ｃｕの各画素について周囲画素（例えば、隣接する画素）に対する色差情報の差分を設定する。その後、二値画像生成部３０６ｋは、設定したエネルギー関数を最小にするパラメータを算出し、未確定領域Ｃｕを構成する各画素について、被写体領域Ｄに対応する画素値とするか背景領域に対応する画素値とするかを特定する。このとき、平滑化項については、被写体検出部３０５による特定の被写体の検出結果、例えば、顔検出処理の検出結果を考慮して、顔領域の周辺の髪の毛などに対応できるようにノイズ除去特性を設定しても良い。
このようにして、二値画像生成部３０６ｋは、被写体領域Ｄの画素値を「１」とし、背景領域の画素値を「０」とする二値画像を生成する。
【００６５】
そして、被写体抽出部３０６ｊは、二値画像生成部３０６ｋにより生成された二値画像に基づいて、被写体存在画像Ｐ１における被写体領域Ｄの位置を示し、当該被写体領域Ｄを抽出するための抽出用画像を生成する。
ここで、抽出用画像としては、例えば、被写体存在画像Ｐ１の各画素について、被写体画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したアルファマップＭが挙げられる。
具体的には、被写体抽出部３０６ｊは、例えば、二値画像に対して細かいノイズや手ぶれによる相違が存在する領域を除去するための収縮処理を行って所定値よりも小さい画素集合や手ぶれによる細線画素集合を除外した後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行い、その後、収縮分を修正するための膨張処理を行う。また、被写体抽出部３０６ｊは、例えば、被写体部分として特定した最大面積の画素集合内でラベリング処理を行って、当該被写体部分の構成画素のラベル数に対して所定の割合以下のラベル数の背景領域に対応する画素集合の各画素の画素値を、被写体部分に対応する画素値に変更して、被写体部分に置き換える穴埋め処理を行う。
その後、被写体抽出部３０６ｊは、上記の被写体部分に対応する最大面積の画素集合の画素値が「１」、背景領域に対応するその他の部分の画素値が「０」である二値画像に対してローパスフィルタを施して境界部分に中間値を生じさせることで、各々の領域について所定のアルファ値を生成する。これにより、被写体領域Ｄのアルファ値が「１」となり、被写体存在画像Ｐ１の所定の背景に対する透過度が０％となる。一方、被写体の背景部分のアルファ値が「０」となり、当該被写体存在画像Ｐ１の所定の背景に対する透過度が１００％となる。
なお、図１５（ｂ）にあっては、アルファマップＭにおける被写体領域Ｄを「白抜き」で、背景領域を「黒塗り」で表している。
【００６６】
その後、被写体抽出部３０６ｊは、生成された抽出用画像（アルファマップＭ）に基づいて、被写体存在画像Ｐ１の各画素のうち、アルファ値が１の画素を所定の単一色画像Ｐ７に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体画像を所定の単一色画像Ｐ７と合成して被写体切り抜き画像Ｐ６（図１５（ｃ）参照）の画像データを生成する。
【００６７】
次に、ユーザ端末２及びサーバ３を用いた被写体画像生成処理について図５〜図１５を参照して説明する。
ここで、図５は、被写体画像生成処理に係る動作の一例を示すフローチャートであり、図６は、被写体画像生成処理における被写体切抜処理に係る動作の一例を示すフローチャートである。
なお、以下の説明にあっては、撮像装置１により生成された被写体存在画像Ｐ１の画像データが記録された記録媒体Ｍがユーザ端末２の記録媒体制御部２０４に装着されているものとする。
【００６８】
図５に示すように、ユーザ端末２の中央制御部２０１は、ユーザによる操作入力部２０５の所定操作に基づいて、サーバ３により開設される被写体抽出用ページのアクセス指示が入力されると、中央制御部２０１のＣＰＵは、当該アクセス指示を通信制御部２０２により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ１）。
サーバ３の通信制御部３０４によって、ユーザ端末２から送信されたアクセス指示が受信されると、中央制御部３０１のＣＰＵは、被写体抽出用ページのページデータを通信制御部３０４により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ２）。
そして、ユーザ端末２の通信制御部２０２によって、被写体抽出用ページのページデータが受信されると、表示部２０３は、当該被写体抽出用ページのページデータに基づいて、所定の被写体抽出用ページを表示画面に表示する。
【００６９】
次に、ユーザ端末２の記録媒体制御部２０４は、記録媒体Ｍから当該被写体画像生成処理に係る被写体存在画像Ｐ１の画像データを読み出した後、表示部２０３は、当該被写体存在画像Ｐ１の画像データを表示画面に表示する（ステップＳ３）。続けて、通信制御部２０２は、読み出された被写体存在画像Ｐ１の画像データ（ＹＵＶデータ）をサーバ３に所定の通信ネットワークＮを介して送信する（ステップＳ４）。
【００７０】
そして、ユーザ端末２から送信された被写体存在画像Ｐ１の画像データがサーバ３の通信制御部３０４により受信されると、サーバ３は、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを切り抜く被写体切抜処理を実行する（ステップＳ５；図６参照）。
【００７１】
図６に示すように、被写体切抜処理では、先ず、被写体切抜部３０６は、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景画像Ｐ４を生成する背景生成処理（図７参照；詳細後述）を行った後（ステップＳ５１）、抽出用背景画像Ｐ４の生成が成功したか否かを判定する（ステップＳ５２）。
ここで、抽出用背景画像Ｐ４の生成が成功したと判定されると（ステップＳ５２；ＹＥＳ）、被写体切抜部３０６の背景領域特定部３０６ｈは、被写体存在画像Ｐ１内で背景を構成する背景構成領域Ｃｂを特定する背景領域特定処理（図１０参照；詳細後述）を行う（ステップＳ５３）。続けて、被写体切抜部３０６の被写体領域特定部３０６ｉは、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓを特定する被写体領域特定処理（図１１参照；詳細後述）を行う（ステップＳ５４）。
【００７２】
その後、被写体切抜部３０６の被写体抽出部３０６ｊは、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出する被写体抽出処理（図１２参照；詳細後述）を行った後（ステップＳ５５）、当該被写体切抜処理を終了させる。
【００７３】
一方、ステップＳ５２にて、抽出用背景画像Ｐ４の生成が成功していないと判定されると（ステップＳ５２；ＮＯ）、被写体切抜部３０６は、当該被写体切抜処理を終了させる。
【００７４】
図５に戻り、被写体切抜部３０６は、抽出結果判定処理の結果に基づいて、被写体切抜処理が成功したか、つまり被写体画像の生成が成功したか否かを判定する（ステップＳ６）。
ここで、被写体画像の生成が成功したと判定されると（ステップＳ６；ＹＥＳ）、中央制御部３０１のＣＰＵは、生成された被写体切り抜き画像Ｐ６の画像データを通信制御部３０４により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ７）。
そして、ユーザ端末２の通信制御部２０２によって、被写体切り抜き画像Ｐ６の画像データが受信されると（ステップＳ８）、表示部２０３は、当該被写体切り抜き画像Ｐ６の画像データに基づいて、被写体画像を表示画面に表示する（ステップＳ９）。
【００７５】
一方、ステップＳ６にて、被写体画像の生成が成功していないと判定されると（ステップＳ６；ＮＯ）、中央制御部３０１のＣＰＵは、被写体画像生成の失敗に係る所定の画面の表示指示を通信制御部３０４により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ１０）。
そして、ユーザ端末２の通信制御部２０２によって、サーバ３から送信された被写体画像生成の失敗に係る所定の画面の表示指示が受信されると、表示部２０３は、当該被写体画像生成の失敗に係る所定の画面を表示画面に表示する（ステップＳ１１）。
【００７６】
次に、被写体切抜処理における背景生成処理について、図７〜図９を参照して説明する。
図７は、背景生成処理に係る動作の一例を示すフローチャートである。
【００７７】
図７に示すように、被写体切抜部３０６の画像取得部３０６ａは、ユーザ端末２から所定の通信ネットワークＮを介して送信され通信制御部３０４により受信した被写体存在画像Ｐ１（図８（ａ）参照）のＹＵＶデータを取得する（ステップＳ６１）。また、画像取得部３０６ａは、被写体存在画像Ｐ１のＹＵＶデータを水平（ｘ軸）方向及び垂直（ｙ軸）方向ともに所定の比率で縮小した縮小画像（例えば、ＶＧＡサイズの画像等）のＹＵＶデータを生成する。
【００７８】
次に、被写体切抜部３０６の背景色推定部３０６ｄは、被写体存在画像Ｐ１を複数のブロックＢ、…に分割した後、各ブロックＢの代表色及び色のばらつき量を算出する（ステップＳ６２）。
具体的には、背景色推定部３０６ｄは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータに基づいて、当該縮小画像全体を水平方向及び垂直方向がそれぞれ所定画素（例えば、２０画素等）からなる複数のブロックＢ、…に分割する（図８（ｂ）参照）。そして、背景色推定部３０６ｄは、各ブロックＢ内の複数の画素の画素値に基づいて所定の演算を行って、当該ブロックＢの代表色を算出するとともに、各ブロックＢ内の色のばらつき量を算出する。
続けて、背景色推定部３０６ｄは、複数のブロックＢ、…の各々について色のばらつき量が所定値以下であるか否かを判定し、色のばらつき量が所定値以下であるブロックＢをそれぞれ特定する（ステップＳ６３）。その後、背景色推定部３０６ｄは、特定された各ブロックＢについて、他のブロックＢの代表色との類似度が所定の判定値以上であるか否かを判定し、所定の判定値以上であると判定されたブロックＢについては投票する（ステップＳ６４）。
【００７９】
次に、背景色推定部３０６ｄは、ステップＳ６４の処理にて投票された数が所定数以上であるか否かを判定する（ステップＳ６５）。
ここで、投票された数が所定数以上であると判定されると（ステップＳ６５；ＹＥＳ）、背景色推定部３０６ｄは、所定の判定値以上であると判定された回数が最も多いブロックＢ（最多投票数のブロックＢ）の代表色を抽出用背景画像Ｐ４の全体色（背景色）として特定する（ステップＳ６６；図８（ｃ）参照）。
一方、ステップＳ６５にて、投票された数が所定数以上でないと判定されると（ステップＳ６５；ＮＯ）、被写体切抜部３０６は、抽出用背景画像Ｐ４の生成を失敗として（ステップＳ６７）、背景生成処理を終了させる。
【００８０】
抽出用背景画像Ｐ４の全体色（背景色）を特定（ステップＳ６６）した後、被写体切抜部３０６の画像分割部３０６ｂは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータに基づいて、当該縮小画像全体を水平方向及び垂直方向がそれぞれ所定画素からなる複数（例えば、４つ）の画像領域Ａ（図９（ａ）参照）に分割する（ステップＳ６８）。そして、画像領域特定部３０６ｃは、画像分割部３０６ｂにより分割された被写体存在画像Ｐ１の複数の画像領域Ａ、…を、類似度算出部３０６ｅによる抽出用背景画像Ｐ４の背景色（所定の一色）との類似度の算出に係る特定対象として特定する。
【００８１】
次に、背景色推定部３０６ｄは、各画像領域Ａ全体を水平方向及び垂直方向がそれぞれ所定画素（例えば、２０画素等）からなる複数のブロックＢ、…（図９（ｂ）参照）に分割した後、各ブロックＢ内の複数の画素の画素値に基づいて所定の演算を行って、当該ブロックＢの代表色を算出するとともに、各ブロックＢ内の色のばらつき量を算出する（ステップＳ６９）。
続けて、背景色推定部３０６ｄは、各画像領域Ａの複数のブロックＢ、…の各々について色のばらつき量が所定値以下であるか否かを判定し、色のばらつき量が所定値以下であるブロックＢをそれぞれ特定する。その後、背景色推定部３０６ｄは、特定された各ブロックＢについて、他のブロックＢの代表色との類似度が所定の判定値以上であるか否かを判定し、所定の判定値以上であると判定されたブロックＢについては投票する（ステップＳ７０）。
【００８２】
次に、背景色推定部３０６ｄは、各画像領域Ａについて、ステップＳ７０の処理にて投票された数が所定数以上であるか否かを判定する（ステップＳ７１）。
ここで、投票された数が所定数以上であると判定されると（ステップＳ７１；ＹＥＳ）、背景色推定部３０６ｄは、所定の判定値以上であると判定された回数が最も多いブロックＢ（最多投票数のブロックＢ）の代表色を各画像領域Ａの色として特定する（ステップＳ７２；図９（ｃ）参照）。
続けて、被写体切抜部３０６の類似度算出部３０６ｅは、各画像領域Ａの色について背景色との類似度（例えば、輝度情報及び色差情報の各々についてのユークリッド距離等）を算出して、類似度判定部３０６ｆは、算出された各画像領域Ａの色と背景色との類似度が所定の判定値よりも大きいか否かを判定する（ステップＳ７３）。
【００８３】
ステップＳ７３にて、背景色との類似度が所定の判定値よりも大きい（ステップＳ７３；ＹＥＳ）と判定された画像領域Ａについては、被写体切抜部３０６の背景画像生成部３０６ｇは、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として背景色推定部３０６ｄにより特定された画像領域Ａの色を採用する（ステップＳ７４）。その一方で、背景色との類似度が所定の判定値以下である（ステップＳ７３；ＮＯ）と判定された画像領域Ａについては、背景画像生成部３０６ｇは、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として背景色を採用する（ステップＳ７５）。
また、ステップＳ７１にて、投票された数が所定数以上でない（ステップＳ７１；ＮＯ）と判定された画像領域Ａについても、背景画像生成部３０６ｇは、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として背景色を採用する（ステップＳ７５）。
【００８４】
その後、背景画像生成部３０６ｇは、抽出用背景画像Ｐ４における被写体存在画像Ｐ１の各画像領域Ａに対応する領域について採用された色に従って、抽出用背景画像Ｐ４のＹＵＶデータを生成する（ステップＳ７６；図９（ｄ）参照）。
これにより、背景生成処理を終了する。
【００８５】
次に、被写体切抜処理における背景領域特定処理について、図１０及び図１２（ａ）を参照して説明する。
図１０は、背景領域特定処理に係る動作の一例を示すフローチャートである。
【００８６】
図１０に示すように、被写体切抜部３０６の背景領域特定部３０６ｈは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータ及び抽出用背景画像Ｐ４のＹＵＶデータに基づいて、縮小画像と抽出用背景画像Ｐ４との間で対応する各画素の輝度情報及び色差情報の各々について差分を算出する（ステップＳ８１）。その後、背景領域特定部３０６ｈは、算出された輝度情報及び色差情報の各差分の値に対して所定の重み付けを行って一次元の差分情報を生成する。
【００８７】
次に、背景領域特定部３０６ｈは、生成した差分情報に基づいて、被写体存在画像Ｐ１内で背景に対応する正解領域を構成する背景構成領域Ｃｂの判定用の第１閾値を設定する（ステップＳ８２）。具体的には、背景領域特定部３０６ｈは、判別分析法によって、複数の差分情報を二つに区分した場合にクラス間分散が最大となる閾値を算出し、当該閾値よりも小さい差分情報の中での中央値（Median）を第１閾値として設定する。
続けて、背景領域特定部３０６ｈは、差分情報が第１閾値以下の画素であって、背景画像生成部３０６ｇによる抽出用背景画像Ｐ４の生成に用いられたブロックＢを抽出用背景画像Ｐ４のサポート領域として背景構成領域Ｃｂに特定する（ステップＳ８３；図１２（ａ）参照）。具体的には、背景領域特定部３０６ｈは、背景色推定部３０６ｄによる背景色や各画像領域Ａの色の推定にて、他のブロックＢの代表色との類似度が所定の判定値以上であると判定された回数が最も多いブロックＢ、つまり、投票数の最も多いブロックＢを背景構成領域Ｃｂに特定する。
【００８８】
次に、被写体検出部３０５は、被写体存在画像Ｐ１のＹＵＶデータに対して所定の顔検出処理を行って顔領域を検出する（ステップＳ８４）。
続けて、背景領域特定部３０６ｈは、被写体検出部３０５による顔検出処理の結果に従って、被写体存在画像Ｐ１内で背景構成領域Ｃｂである可能性の高い縁領域を特定する（ステップＳ８５）。具体的には、顔検出処理の結果、顔領域が検出された場合、背景領域特定部３０６ｈは、例えば、被写体存在画像Ｐ１の上側画像境界や左右両側の画像境界から所定範囲（例えば、２０画素等）内を縁領域として、背景構成領域Ｃｂである可能性の高い縁領域として特定する。
なお、背景構成領域Ｃｂである可能性の高い縁領域の特定に、被写体検出部３０５による顔検出処理の結果を考慮するようにしたが、例えば、人の胸から上のバストショットを撮像した被写体存在画像Ｐ１から被写体領域Ｄを抽出するバストショット抽出モードが設定されている場合には、被写体存在画像Ｐ１の上側画像境界や左右両側の画像境界から所定範囲内の画素について背景構成領域Ｃｂとして特定するようにしても良い。
【００８９】
続けて、背景領域特定部３０６ｈは、特定された各縁領域を構成する所定画素（例えば、２０画素等）からなる複数のブロックＢ、…の各々について、色のばらつき量（例えば、分散、標準偏差等）が所定値以下であるか否かを判定し、色のばらつき量が所定値以下であるブロックＢを特定する（ステップＳ８６）。
次に、背景領域特定部３０６ｈは、特定された各ブロックＢの代表色の中で、抽出用背景画像Ｐ４の色（背景色や各画像領域Ａの色）との類似度を算出し、最も類似する代表色を特定する（ステップＳ８７）。次に、背景領域特定部３０６ｈは、特定された代表色と抽出用背景画像Ｐ４の背景色との差分を算出して（ステップＳ８８）、当該差分に基づいて、被写体存在画像Ｐ１内で背景に対応する正解領域を構成する背景構成領域Ｃｂの判定用の第２閾値を設定する（ステップＳ８９）。
ここで、第２閾値は、第１閾値よりも判定度が緩い値であり、例えば、背景構成領域Ｃｂである可能性の高い縁領域を構成するブロックＢのうち、抽出用背景画像Ｐ４の色との差分がステップＳ８７にて特定された代表色と抽出用背景画像Ｐ４の背景色との色差以下のブロックＢを背景構成領域Ｃｂとする程度に設定される。また、ステップＳ８２における第１閾値の設定の際に算出された、複数の差分情報を二つに区分した場合にクラス間分散が最大となる閾値を第２閾値として設定しても良い。
【００９０】
そして、背景領域特定部３０６ｈは、縁領域を構成する複数のブロックＢ、…のうち、各ブロックＢの代表色と抽出用背景画像Ｐ４の色（背景色や各画像領域Ａの色）との差分情報が第２閾値以下のブロックＢを、背景構成領域Ｃｂに追加特定する（ステップＳ９０）。
或いは、ステップＳ８７で特定した代表色と縁領域の色の差が、所定値以下の領域を背景構成領域Ｃｂに追加しても良い。
これにより、背景領域特定処理を終了する。
【００９１】
次に、被写体切抜処理における被写体領域特定処理について、図１１及び図１２（ｂ）を参照して説明する。
図１１は、被写体領域特定処理に係る動作の一例を示すフローチャートである。
被写体切抜部３０６の被写体領域特定部３０６ｉは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータ及び抽出用背景画像Ｐ４のＹＵＶデータに基づいて、縮小画像と抽出用背景画像Ｐ４との間で対応する各画素の輝度情報及び色差情報の各々について差分を算出する（ステップＳ１０１）。その後、被写体領域特定部３０６ｉは、算出された輝度情報及び色差情報の各差分の値に対して所定の重み付けを行って一次元の差分情報を生成する。
【００９２】
次に、被写体領域特定部３０６ｉは、生成した差分情報に基づいて、被写体存在画像Ｐ１内で被写体に対応する正解領域を構成する被写体構成領域Ｃｓの判定用の閾値を設定する（ステップＳ１０２）。具体的には、被写体領域特定部３０６ｉは、判別分析法によって、複数の差分情報を二つに区分した場合にクラス間分散が最大となる閾値を算出し、当該閾値よりも大きい差分情報の中での中央値（Median）を判定用の閾値として設定する。
続けて、被写体領域特定部３０６ｉは、差分情報が判定用の閾値よりも大きい画素を特定する。
次に、被写体存在画像Ｐ１の縮小画像を分割した複数のブロックＢ、のうち、注目するブロックＢ内の色のばらつき（分散）が所定値よりも大きいブロックＢを特定し、特定したブロック内で、差分情報が判定用の閾値より大きい画素を被写体構成領域Ｃｓとして特定する（ステップＳ１０３；図１２（ｂ）参照）。
或いは、差分情報が判定用閾値より大きい画素を被写体構成領域Ｃｓとし、更に色のばらつきが大きいブロックＢを追加しても良い。
【００９３】
次に、被写体検出部３０５は、被写体存在画像Ｐ１のＹＵＶデータに対して所定の顔検出処理を行って顔領域を検出する（ステップＳ１０４）。
続けて、被写体検出部３０５は、顔領域の検出に成功したか否かを判定し（ステップＳ１０５）、顔領域の検出に成功したと判定されると（ステップＳ１０５；ＹＥＳ）、被写体領域特定部３０６ｉは、検出された顔領域を被写体構成領域Ｃｓとして追加特定する（ステップＳ１０６）。このとき、被写体領域特定部３０６ｉは、必ずしも顔領域全体を被写体構成領域Ｃｓとして特定する必要はなく、顔領域の所定方向（例えば、水平方向）については、実際に検出された顔領域よりも所定の割合小さくなるような領域を設定しても良い。また、被写体領域特定部３０６ｉは、被写体存在画像Ｐ１内で顔領域よりも下側の領域を被写体構成領域Ｃｓとして特定しても良い。
一方、ステップＳ１０５にて、顔領域の検出に成功していないと判定されると（ステップＳ１０５；ＮＯ）、被写体切抜部３０６は、ステップＳ１０６をスキップして、被写体領域特定処理を終了させる。
【００９４】
次に、被写体切抜処理における被写体抽出処理について、図１３〜図１５を参照して説明する。
図１３は、被写体抽出処理に係る動作の一例を示すフローチャートであり、図１４は、被写体抽出処理における抽出結果判定処理に係る動作の一例を示すフローチャートである。
【００９５】
図１３に示すように、被写体抽出部３０６ｊの二値画像生成部３０６ｋは、被写体構成領域Ｃｓ、背景構成領域Ｃｂ、被写体であるか背景であるか未確定の未確定領域Ｃｕからなる三値画像Ｐ５（図１５（ａ）参照）における、未確定領域Ｃｕの各画素について被写体尤度及び背景尤度を算出する（ステップＳ１１１）。
具体的には、二値画像生成部３０６ｋは、被写体存在画像Ｐ１における被写体構成領域Ｃｓ及び背景構成領域Ｃｂ以外の領域を、被写体であるか背景であるか未確定の未確定領域Ｃｕとして、例えば、被写体構成領域Ｃｓの画素値を「１」とし、背景構成領域Ｃｂの画素値を「０」とし、未確定領域Ｃｕの画素値を「０．５」とする三値画像Ｐ５を生成する。そして、二値画像生成部３０６ｋは、被写体存在画像Ｐ１の被写体構成領域Ｃｓ及び背景構成領域Ｃｂに対応する領域の色情報（輝度情報及び色差情報）に従ってガウシアン混合分布を生成し、当該ガウシアン混合分布に基づいて、未確定領域Ｃｕの各画素について被写体尤度及び背景尤度を算出する（ステップＳ１１１）。
【００９６】
次に、二値画像生成部３０６ｋは、グラフカットアルゴリズムを利用して、被写体領域Ｄの画素値を「１」とし、背景領域の画素値を「０」とする二値画像を生成する（ステップＳ１１２）。
具体的には、二値画像生成部３０６ｋは、所定のエネルギー関数のデータ項に、被写体構成領域Ｃｓ及び背景構成領域Ｃｂ、未確定領域Ｃｕの各画素に係る被写体尤度及び背景尤度を設定するとともに、エネルギー関数の平滑化項に、未確定領域Ｃｕの各画素について周囲画素（例えば、隣接する画素）に対する色差情報の差分を設定する。その後、二値画像生成部３０６ｋは、設定したエネルギー関数を最小にするパラメータを算出し、未確定領域Ｃｕを構成する各画素について、被写体領域Ｄに対応する画素値「１」とするか背景領域に対応する画素値「０」とするかを特定する。
【００９７】
続けて、被写体抽出部３０６ｊは、二値画像生成部３０６ｋにより生成された二値画像に基づいて、被写体存在画像Ｐ１における被写体領域Ｄの位置を示す抽出用画像（例えば、アルファマップＭ）を生成する（ステップＳ１１３）。
具体的には、被写体抽出部３０６ｊは、例えば、二値画像に対して細かいノイズや手ぶれによる相違が存在する領域を除去するための収縮処理を行って所定値よりも小さい画素集合や手ぶれによる細線画素集合を除外した後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行い、その後、収縮分を修正するための膨張処理を行う。また、被写体抽出部３０６ｊは、例えば、被写体部分として特定した最大面積の画素集合内でラベリング処理を行って、当該被写体部分の構成画素のラベル数に対して所定の割合以下のラベル数の背景領域に対応する画素集合の各画素の画素値を、被写体部分に対応する画素値に変更して、被写体部分に置き換える穴埋め処理を行う。
その後、被写体抽出部３０６ｊは、上記の被写体部分に対応する最大面積の画素集合の画素値が「１」、背景領域に対応するその他の部分の画素値が「０」である二値画像に対してローパスフィルタを施して境界部分に中間値を生じさせることで、各々の領域について所定のアルファ値を生成してアルファマップＭ（図１５（ｂ）参照）を生成する。
【００９８】
その後、被写体抽出部３０６ｊは、生成された抽出用画像（アルファマップＭ）を用いて被写体存在画像Ｐ１から被写体領域Ｄを切り出して、所定の単一色画像Ｐ７と合成して被写体切り抜き画像Ｐ６（図１５（ｃ）参照）の画像データを生成する（ステップＳ１１４）。
具体的には、被写体切抜部３０６は、被写体存在画像Ｐ１の全ての画素について、アルファ値が０の画素については、透過させ、アルファ値が０＜α＜１の画素については、所定の単一色とブレンディングを行い、アルファ値が１の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、アルファマップＭの縁部分には、合成階調がつけられているため、切り出された被写体領域Ｄと単一色画像Ｐ７（背景）との境界部分がはっきりしていない自然な感じとなる。
また、生成された被写体切り抜き画像Ｐ６の画像データは、抽出用画像であるアルファマップＭと対応付けて記憶部３０２に記憶される。
【００９９】
次に、被写体切抜部３０６は、被写体抽出処理の結果を判定する抽出結果判定処理（図１４参照）を行う（ステップＳ１１５）。
ここで、抽出結果判定処理について、図１４を参照して説明する。
【０１００】
図１４に示すように、被写体切抜部３０６は、被写体切抜処理にて被写体検出部３０５による顔検出が成功しているか否かを判定する（ステップＳ１２１）。
ここで、顔検出が成功していると判定されると（ステップＳ１２１；ＹＥＳ）、被写体切抜部３０６は、被写体切り抜き画像Ｐ６の被写体領域Ｄ内に顔領域が含まれているか否かを判定する（ステップＳ１２２）。
【０１０１】
ステップＳ１２２にて、被写体領域Ｄ内に顔領域が含まれていると判定されると（ステップＳ１２２；ＹＥＳ）、被写体切抜部３０６は、被写体領域Ｄが被写体切り抜き画像Ｐ６の画像境界に所定の割合以上かかっているか否かを判定する（ステップＳ１２３）。具体的には、被写体切抜部３０６は、被写体領域Ｄにおける、被写体切り抜き画像Ｐ６の所定の画像境界（例えば、下側画像境界等）と重畳する画素数が全画像境界の画素数に対して所定の割合以上となっているか否かを判定する。
ここで、被写体領域Ｄが被写体切り抜き画像Ｐ６の画像境界に所定の割合以上かかっていないと判定されると（ステップＳ１２３；ＮＯ）、被写体切抜部３０６は、被写体領域Ｄが被写体切り抜き画像Ｐ６の下側画像境界にかかっているか否かを判定する（ステップＳ１２４）。
【０１０２】
ステップＳ１２４にて、被写体領域Ｄが被写体切り抜き画像Ｐ６の下側画像境界にかかっていると判定されると（ステップＳ１２４；ＹＥＳ）、被写体切抜部３０６は、被写体領域Ｄの大きさが被写体切り抜き画像Ｐ６全体に対して所定の割合以下であるか否かを判定する（ステップＳ１２５）。具体的には、被写体切抜部３０６は、被写体領域Ｄの構成画素数及び被写体切り抜き画像Ｐ６全体の構成画素数を特定して、被写体領域Ｄの構成画素数が被写体切り抜き画像Ｐ６全体の構成画素数に対して所定の割合以下であるか否かを判定する。
ここで、被写体領域Ｄの大きさが被写体切り抜き画像Ｐ６全体に対して所定の割合以下でないと判定されると（ステップＳ１２５；ＮＯ）、被写体切抜部３０６は、被写体画像の生成が成功であるとして（ステップＳ１２６）、抽出結果判定処理を終了する。
一方、ステップＳ１２５にて、被写体領域Ｄの大きさが被写体切り抜き画像Ｐ６全体に対して所定の割合以下であると判定されると（ステップＳ１２５；ＹＥＳ）、被写体切抜部３０６は、被写体画像の生成が失敗であるとして（ステップＳ１２７）、抽出結果判定処理を終了する。
【０１０３】
一方、ステップＳ１２４にて、被写体領域Ｄが被写体切り抜き画像Ｐ６の下側画像境界にかかっていないと判定されると（ステップＳ１２４；ＮＯ）、被写体切抜部３０６は、被写体領域Ｄが被写体切り抜き画像Ｐ６の左右両側の画像境界にかかっているか否かを判定する（ステップＳ１２８）。
ここで、被写体領域Ｄが被写体切り抜き画像Ｐ６の左右両側の画像境界にかかっていないと判定されると（ステップＳ１２８；ＮＯ）、被写体切抜部３０６は、処理をステップＳ１２５に移行して、上記と同様に、被写体領域Ｄの大きさが被写体切り抜き画像Ｐ６全体に対して所定の割合以下であるか否かを判定する（ステップＳ１２５）。その一方で、被写体領域Ｄが被写体切り抜き画像Ｐ６の左右両側の画像境界にかかっていると判定されると（ステップＳ１２８；ＹＥＳ）、被写体切抜部３０６は、処理をステップＳ１２７に移行して、被写体画像の生成が失敗であるとする（ステップＳ１２７）。
また、ステップＳ１２１にて、顔検出が成功していないと判定された場合にも（ステップＳ１２１；ＮＯ）、被写体切抜部３０６は、処理をステップＳ１２５に移行して、上記と同様の処理を行う（ステップＳ１２５）。
【０１０４】
一方、ステップＳ１２２にて、被写体領域Ｄ内に顔領域が含まれていないと判定されるか（ステップＳ１２２；ＮＯ）、或いは、ステップＳ１２３にて、被写体領域Ｄが被写体切り抜き画像Ｐ６の画像境界に所定の割合以上かかっていると判定された場合にも（ステップＳ１２３；ＹＥＳ）、被写体切抜部３０６は、処理をステップＳ１２７に移行して、被写体画像の生成が失敗であるとする（ステップＳ１２７）。
これにより、被写体抽出処理を終了する。
【０１０５】
以上のように、実施形態１の被写体切り抜きシステム１００によれば、被写体存在画像Ｐ１の複数の画像領域Ａ、…の色と所定の一色との類似度に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景色からなる抽出用背景画像Ｐ４を生成するので、被写体存在画像Ｐ１の色を複数の画像領域Ａ、…毎に個別に考慮して抽出用背景色（抽出用背景画像Ｐ４）の生成を適正に行うことができる。このとき、被写体存在画像Ｐ１を分割して複数の画像領域Ａ、…を特定するので、所定の一色との類似度の算出に係る画像領域Ａの特定を適正に行うことができる。
そして、生成された抽出用背景色（抽出用背景画像Ｐ４）に基づいて、被写体存在画像Ｐ１内で被写体構成領域Ｃｓ及び背景構成領域Ｃｂをそれぞれ特定するので、被写体や背景を構成する正解領域（シード）の指定を、予めユーザによる操作部の所定操作に基づいて行う必要がなくなり、被写体存在画像Ｐ１内での被写体構成領域Ｃｓ及び背景構成領域Ｃｂの指定を自動的に行うことができる。
【０１０６】
具体的には、被写体存在画像Ｐ１の複数のブロックＢ、…の各々について、他のブロックＢの色との類似度が所定の判定値以上であると判定された回数が最も多いブロックＢの色を被写体存在画像Ｐ１の背景色として推定するので、被写体存在画像Ｐ１の複数の画像領域Ａ、…の色との類似度の算出基準となる被写体存在画像Ｐ１の背景色（所定の一色）の推定を適正に行うことができる。
さらに、他のブロックＢの色との類似度が所定の判定値以上であると判定された回数が最も多いブロックＢを、背景構成領域Ｃｂとして特定するので、被写体存在画像Ｐ１の背景色の推定に用いられたブロックＢを背景構成領域Ｃｂとして適正に特定することができる。
また、複数のブロックＢの色のばらつき量が所定値以下であるブロックＢの各々について、他のブロックＢの色との類似度が所定の判定値以上であるか否かを判定するので、被写体存在画像Ｐ１を構成する複数のブロックＢのうち、色のばらつき量の少ないブロックＢのみを用いて被写体存在画像Ｐ１の背景色（所定の一色）を推定することができ、当該背景色の推定を適正に行うことができる。
【０１０７】
また、抽出用背景画像Ｐ４の生成の際に、所定の一色との類似度が所定の判定値よりも大きいと判定された画像領域Ａについては、当該画像領域Ａの色に基づいて抽出用背景画像Ｐ４を生成することができ、その一方で、所定の一色との類似度が所定の判定値以下であると判定された画像領域Ａについては、被写体存在画像Ｐ１の推定された背景色に基づいて抽出用背景画像Ｐ４を生成することができるので、被写体存在画像Ｐ１の複数の画像領域Ａの各々について所定の一色との類似度を考慮して抽出用背景画像Ｐ４の生成を適正に行うことができる。
【０１０８】
さらに、被写体構成領域Ｃｓ及び背景構成領域Ｃｂに基づいて、被写体存在画像Ｐ１から被写体領域Ｄを抽出するので、被写体存在画像Ｐ１を取得するだけで当該被写体存在画像Ｐ１から被写体領域Ｄを自動的に抽出することができる。
【０１０９】
［実施形態２］
図１６は、本発明を適用した実施形態２の撮像装置２０１の概略構成を示すブロック図である。
なお、実施形態２の撮像装置２０１は、以下に詳細に説明する以外の点で上記実施形態１の撮像装置１と略同様の構成をなし、詳細な説明は省略する。
【０１１０】
実施形態２の撮像装置２０１は、画像処理装置として、背景と被写体とが混在する被写体存在画像Ｐ１の複数の画像領域Ａ、…の色と所定の一色との類似度を算出し、算出された類似度に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景画像Ｐ４を生成する。そして、撮像装置２０１が、生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ及び背景を構成する背景構成領域Ｃｂをそれぞれ特定する。
【０１１１】
図１６に示すように、撮像装置２０１は、上記実施形態１の撮像装置１の各部、即ち、レンズ部１０１、電子撮像部１０２、ユニット回路部１０３、撮像制御部１０４、画像処理部１０５、表示部１０６、記録媒体制御部１０７、バッファメモリ１０８、プログラムメモリ１０９、操作入力部１１０、中央制御部１１１に加えて、被写体検出部１１２と、被写体切抜部１１３とを備えている。
【０１１２】
被写体検出部１１２及び被写体切抜部１１３は、実施形態１のサーバ３に備わる被写体検出部３０５及び被写体切抜部３０６と同等の機能を有している。
即ち、被写体切抜部１１３の類似度算出部３０６ｅは、背景と被写体とが混在する被写体存在画像Ｐ１の複数の画像領域Ａ、…の色と所定の一色との類似度を算出し、背景画像生成部３０６ｇは、算出された類似度に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景画像Ｐ４を生成する。そして、背景領域特定部３０６ｈ及び被写体領域特定部３０６ｉは、生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ及び背景を構成する背景構成領域Ｃｂをそれぞれ特定する。
また、被写体検出部１１２は、被写体存在画像Ｐ１から特定の被写体を検出する。
【０１１３】
そして、撮像装置２０１は、上記実施形態１の被写体切抜処理（図６参照）と略同等の被写体切抜処理を行って、被写体存在画像Ｐ１から被写体領域Ｄを切り出して、被写体切り抜き画像Ｐ６の画像データを生成する。
【０１１４】
従って、実施形態２の撮像装置２０１によれば、上記実施形態１と同様に、被写体存在画像Ｐ１の複数の画像領域Ａ、…の色と所定の一色との類似度に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景色からなる抽出用背景画像Ｐ４を生成するので、被写体存在画像Ｐ１の色を複数の画像領域Ａ、…毎に個別に考慮して抽出用背景色（抽出用背景画像Ｐ４）の生成を適正に行うことができる。そして、生成された抽出用背景色（抽出用背景画像Ｐ４）に基づいて、被写体存在画像Ｐ１内で被写体構成領域Ｃｓ及び背景構成領域Ｃｂをそれぞれ特定するので、被写体や背景を構成する正解領域（シード）の指定を、予めユーザによる操作部の所定操作に基づいて行う必要がなくなり、被写体存在画像Ｐ１内での被写体構成領域Ｃｓ及び背景構成領域Ｃｂの指定を自動的に行うことができる。
【０１１５】
なお、上記実施形態１、２にあっては、必ずしも被写体検出部３０５、１１２を備える必要はなく、被写体検出部３０５、１１２を備えるか否かは適宜任意に変更可能である。
【０１１６】
なお、本発明は、上記実施形態１、２に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態１、２にあっては、被写体切抜部３０６（１１３）に画像分割部３０６ｂ、背景色推定部３０６ｄ、被写体抽出部３０６ｊを具備するようにしたが、画像分割部３０６ｂや背景色推定部３０６ｄや被写体抽出部３０６ｊを具備するか否かは適宜任意に変更可能である。
【０１１７】
また、上記実施形態１、２にあっては、被写体切抜部３０６（１１３）に類似度判定部３０６ｆを具備し、当該類似度判定部３０６ｆの判定結果を考慮して抽出用背景画像Ｐ４を生成するようにしたが、類似度判定部３０６ｆを具備するか否か、即ち、類似度判定部３０６ｆの判定結果を考慮して抽出用背景画像Ｐ４を生成するか否かは適宜任意に変更可能である。
【０１１８】
さらに、上記実施形態１、２にあっては、被写体抽出処理にて抽出結果判定処理を実行するようにしたが、抽出結果判定処理を行うか否かは適宜任意に変更可能である。また、図１４に示した抽出結果判定処理の処理内容も一例であってこれに限られるものではなく、適宜任意に変更可能である。
【０１１９】
また、上記実施形態１にあっては、ユーザによるユーザ端末２の所定操作に基づいて、Ｗｅｂサーバとして機能するサーバ（画像処理装置）３によって被写体構成領域Ｃｓ及び背景構成領域Ｃｂを特定するようにしたが、一例であってこれに限られるものではなく、画像処理装置の構成は適宜任意に変更可能である。即ち、抽出用画像の生成に係る被写体切抜部３０６（１１３）の機能をソフトウェアにより実現される構成として、ユーザ端末２にインストールすることで通信ネットワークＮを必要とすることなく、当該ユーザ端末２単体で被写体画像生成処理を行うようにしても良い。
つまり、ユーザ端末２は、背景と被写体とが混在する被写体存在画像Ｐ１の複数の画像領域Ａ、…の色と所定の一色との類似度を算出し、算出された類似度に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景画像Ｐ４を生成し、生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ及び背景を構成する背景構成領域Ｃｂをそれぞれ特定するようにしても良い。
【０１２０】
また、上記実施形態１にあっては、ユーザ端末２として、パーソナルコンピュータを例示したが、一例であってこれに限られるものではなく適宜任意に変更可能であり、例えば、携帯電話機等を適用しても良い。
【０１２１】
さらに、実施形態１の被写体切り抜きシステム１００にプリント装置を備え、当該プリント装置によって、サーバ３により生成された被写体切り抜き画像Ｐ６の被写体画像を所定のプリント用基材に対して所定の印刷方式により印刷して、被写体画像のプリントを作成するようにしても良い。また、サーバ３は、生成した被写体切り抜き画像Ｐ６をアルファマップＭを利用して所定の背景画像と合成して被写体合成画像（図示略）を生成しても良く、この場合には、プリント装置は、当該被写体合成画像のプリントを作成するようにしても良い。
なお、被写体切り抜き画像Ｐ６や被写体合成画像の画像データには、ユーザによる所定の改変を禁止する制御情報を埋め込むようにしても良い。
【０１２２】
加えて、上記実施形態１、２にあっては、取得手段、第１の特定手段、比較手段、生成手段、第２の特定手段としての機能を、サーバ３の中央制御部３０１や撮像装置２０１の中央制御部１１１の制御下にて、被写体切抜部３０６（１１３）の画像取得部３０６ａ、画像領域特定部３０６ｃ、類似度算出部３０６ｅ、背景画像生成部３０６ｇ、背景領域特定部３０６ｈ、被写体領域特定部３０６ｉが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部３０１（１１１）のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、第１の特定処理ルーチン、比較処理ルーチン、生成処理ルーチン、第２の特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部３０１（１１１）のＣＰＵを、背景と被写体とが存在する被写体存在画像Ｐ１を取得する取得手段として機能させるようにしても良い。また、第１の特定処理ルーチンにより中央制御部３０１のＣＰＵを、取得手段により取得された被写体存在画像Ｐ１内で複数の画像領域Ａ、…を特定する第１の特定手段として機能させるようにしても良い。また、比較処理ルーチンにより中央制御部３０１のＣＰＵを、第１の特定手段により特定された各画像領域Ａの代表色と所定の一色とを比較する比較手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部３０１のＣＰＵを、比較手段による比較結果に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景色を生成する生成手段として機能させるようにしても良い。また、第２の特定処理ルーチンにより中央制御部３０１のＣＰＵを、生成手段により生成された抽出用背景色に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ及び背景を構成する背景構成領域Ｃｂをそれぞれ特定する第２の特定手段として機能させるようにしても良い。
【０１２３】
同様に、分割手段、推定手段、判定手段、抽出手段についても、サーバ３の中央制御部３０１や撮像装置２０１の中央制御部１１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【０１２４】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【符号の説明】
【０１２５】
１００ 被写体切り抜きシステム
１、２０１ 撮像装置
２ ユーザ端末
３ サーバ
３０１ 中央制御部
３０４ 通信制御部
３０５ 被写体検出部
３０６ 被写体切抜部
３０６ａ 画像取得部
３０６ｂ 画像分割部
３０６ｃ 画像領域特定部
３０６ｄ 背景色推定部
３０６ｅ 類似度算出部
３０６ｆ 類似度判定部
３０６ｇ 背景画像生成部
３０６ｈ 背景領域特定部
３０６ｉ 被写体領域特定部
３０６ｊ 被写体抽出部
Ｍ 記録媒体
Ｎ 通信ネットワーク
【技術分野】
【０００１】
本発明は、背景と被写体とが混在する画像から被写体が含まれる領域を抽出するための画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、背景と被写体とが混在する画像から被写体が含まれる領域の抽出に、例えば、グラフカットアルゴリズムなどのエネルギー関数を最小にするパラメータを求める手法が用いられている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６９７３２１２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１等の場合、被写体を構成する正解領域（シード）及び背景を構成する正解領域に基づいて、被写体領域か背景領域か未確定の領域の被写体らしさや背景らしさである尤度を算出するようになっているが、予め各正解領域の指定をユーザによる操作部の所定操作に基づいて行わなければならなかった。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、被写体存在画像内での被写体構成領域及び背景構成領域の指定を自動的に行うことができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
背景と被写体とが存在する被写体存在画像を取得する取得手段と、この取得手段により取得された被写体存在画像内で複数の画像領域を特定する第１の特定手段と、この第１の特定手段により特定された各画像領域の代表色と所定の一色とを比較する比較手段と、この比較手段による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する生成手段と、この生成手段により生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する第２の特定手段と、を備えたことを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記被写体存在画像を複数の画像領域に分割する分割手段を更に備え、前記第１の特定手段は、前記分割手段により分割された複数の画像領域を特定対象として特定することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記取得手段により取得された被写体存在画像の背景の色を一色で推定する推定手段を更に備え、前記比較手段は、前記推定手段により推定された前記背景の色を前記所定の一色として、前記第１の特定手段により特定された各画像領域の代表色との類似度を算出することを特徴としている。
【０００９】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記推定手段は、更に、前記被写体存在画像の複数の領域の各々について、他の領域の代表色との類似度が所定の判定値以上であるか否かを判定し、前記所定の判定値以上であると判定された回数が最も多い領域の代表色を前記背景の色として推定することを特徴としている。
【００１０】
請求項５に記載の発明は、請求項４に記載の画像処理装置において、
前記第２の特定手段は、更に、前記推定手段により他の領域の色との類似度が所定の判定値以上であると判定された回数が最も多い領域を、前記背景構成領域として特定することを特徴としている。
【００１１】
請求項６に記載の発明は、請求項４又は５に記載の画像処理装置において、
前記推定手段は、更に、前記複数の領域の色のばらつき量を算出し、算出されたばらつき量が所定値以下である領域の各々について、他の領域の色との類似度が所定の判定値以上であるか否かを判定し、前記所定の判定値以上であると判定された回数が最も多い領域の色を前記背景の色として推定することを特徴としている。
【００１２】
請求項７に記載の発明は、請求項３〜６の何れか一項に記載の画像処理装置において、
前記比較手段による比較の結果、各画像領域に係る類似度合が所定の判定値よりも大きいか否かを判定する判定手段を更に備え、前記生成手段は、前記判定手段により画像領域の類似度が所定の判定値よりも大きいと判定されると、当該画像領域に対応する領域については当該画像領域の背景色に基づいて前記抽出用背景色を生成し、一方、前記判定手段により画像領域の類似度が所定の判定値以下であると判定されると、当該画像領域に対応する領域については前記推定手段により推定された前記背景の色に基づいて前記抽出用背景色を生成することを特徴としている。
【００１３】
請求項８に記載の発明は、請求項１〜７の何れか一項に記載の画像処理装置において、
前記第２の特定手段により特定された前記被写体構成領域及び前記背景構成領域に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出する抽出手段を更に備えることを特徴としている。
【００１４】
請求項９に記載の発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、背景と被写体とが存在する被写体存在画像を取得する処理と、この取得された被写体存在画像内で複数の画像領域を特定する処理と、この特定された各画像領域の代表色と所定の一色とを比較する処理と、この比較する処理による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する処理と、この生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する処理と、を含むことを特徴としている。
【００１５】
請求項１０に記載の発明のプログラムは、
画像処理装置のコンピュータを、背景と被写体とが存在する被写体存在画像を取得する取得手段、この取得手段により取得された被写体存在画像内で複数の画像領域を特定する第１の特定手段、この第１の特定手段により特定された各画像領域の代表色と所定の一色とを比較する比較手段、この比較手段による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する生成手段、この生成手段により生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する第２の特定手段、として機能させることを特徴としている。
【発明の効果】
【００１６】
本発明によれば、被写体存在画像内での被写体構成領域及び背景構成領域の指定を自動的に行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した実施形態１の被写体切り抜きシステムの概略構成を示すブロック図である。
【図２】被写体切り抜きシステムを構成する撮像装置の概略構成を示すブロック図である。
【図３】被写体切り抜きシステムを構成するユーザ端末の概略構成を示すブロック図である。
【図４】被写体切り抜きシステムを構成するサーバの概略構成を示すブロック図である。
【図５】被写体切り抜きシステムによる被写体画像生成処理に係る動作の一例を示すフローチャートである。
【図６】図５の被写体画像生成処理における被写体切抜処理に係る動作の一例を示すフローチャートである。
【図７】図６の被写体切抜処理における背景生成処理に係る動作の一例を示すフローチャートである。
【図８】図７の背景生成処理に係る画像の一例を模式的に示す図である。
【図９】図７の背景生成処理に係る画像の一例を模式的に示す図である。
【図１０】図６の被写体切抜処理における背景領域特定処理に係る動作の一例を示すフローチャートである。
【図１１】図６の被写体切抜処理における被写体領域特定処理に係る動作の一例を示すフローチャートである。
【図１２】図６の被写体切抜処理に係る画像の一例を模式的に示す図である。
【図１３】図６の被写体切抜処理における被写体抽出処理に係る動作の一例を示すフローチャートである。
【図１４】図１３の被写体抽出処理における抽出結果判定処理に係る動作の一例を示すフローチャートである。
【図１５】図６の被写体切抜処理に係る画像の一例を模式的に示す図である。
【図１６】本発明を適用した実施形態２の撮像装置の概略構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１９】
［実施形態１］
図１は、本発明を適用した実施形態１の被写体切り抜きシステム１００の概略構成を示すブロック図である。
図１に示すように、実施形態１の被写体切り抜きシステム１００は、撮像装置１と、ユーザ端末２と、サーバ３とを備え、ユーザ端末２とサーバ３とが所定の通信ネットワークＮを介して各種情報を送受信可能に接続されている。
【００２０】
先ず、撮像装置１について図２を参照して説明する。
ここで、図２は、撮像装置１の概略構成を示すブロック図である。
図２に示すように、撮像装置１は、レンズ部１０１と、電子撮像部１０２と、ユニット回路部１０３と、撮像制御部１０４と、画像処理部１０５と、表示部１０６と、記録媒体制御部１０７と、バッファメモリ１０８と、プログラムメモリ１０９と、操作入力部１１０と、中央制御部１１１とを備えている。
【００２１】
レンズ部１０１は、例えば、図示は省略するが、ズームレンズ、フォーカスレンズ、絞り等を有し、これらレンズを通過した被写体の光学像を結像する。
【００２２】
電子撮像部１０２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ等から構成され、レンズ部１０１の各種レンズを通過した光学像を当該電子撮像部１０２により二次元の画像信号（ＲＧＢ画像データ）に変換して、ユニット回路部１０３に出力する。
【００２３】
ユニット回路部１０３は、例えば、図示は省略するが、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）、ＡＧＣ（Auto Gain Control：ゲイン調整アンプ）、ＡＤＣ（Analog to Digital Converter：アナログ／デジタル変換器）等を具備している。そして、ユニット回路部１０３は、電子撮像部１０２から出力されて入力される被写体の光学像に応じたアナログの画像信号をＣＤＳにより保持し、当該画像信号をＡＧＣにより増幅した後、増幅された画像信号をＡＤＣによりデジタルの画像信号に変換する。
【００２４】
撮像制御部１０４は、中央制御部１１１からの指令に基づいて、被写体の撮像の際に、レンズ部１０１、電子撮像部１０２、ユニット回路部１０３等の動作を制御する。具体的には、撮像制御部１０４は、レンズ部１０１のズームレンズやフォーカスレンズ等を光軸上で移動させるためのレンズモータ（図示略）の駆動を制御したり、電子撮像部１０２を走査駆動するタイミングを制御したり、電子撮像部１０２の駆動タイミングに基づいてユニット回路部１０３の駆動タイミングを制御する。
【００２５】
画像処理部１０５は、Ａ／Ｄ変換後の画像信号に対して、画素毎のＲ，Ｇ，Ｂの色成分データ（ＲＧＢデータ）を生成するＲＧＢ補間処理、ＲＧＢデータから輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）からなるＹＵＶデータを画素毎に生成するＹＵＶ変換処理、さらに自動ホワイトバランスや輪郭強調などの画品質向上のためのデジタル信号処理を行う。そして、画像処理部１０５は、変換後の各画像フレームのＹＵＶデータをバッファメモリ１０８に順次出力し、当該バッファメモリ１０８に格納させる。
【００２６】
表示部１０６は、バッファメモリ１０８に格納された１フレーム分のＹＵＶデータをビデオ信号に変換した後、ライブビュー画像として表示画面に表示する。具体的には、表示部１０６は、被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を所定の表示フレームレートで表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
【００２７】
記録媒体制御部１０７は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。即ち、記録媒体制御部１０７は、画像処理部１０５のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記録媒体Ｍに記録させる。具体的には、記録媒体制御部１０７は、背景と被写体とが存在する被写体存在画像Ｐ１（図８（ａ）参照）の記録用の画像データを記録媒体Ｍに記録させる。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００２８】
バッファメモリ１０８は、画像データ等を一時的に記録するバッファであるとともに、中央制御部１１１などのワーキングメモリ等としても使用される。
【００２９】
プログラムメモリ１０９には、当該撮像装置１の機能に係る各種プログラムやデータが格納されている。また、プログラムメモリ１０９には、例えば、静止画撮像時、連続撮像時、ライブビュー画像撮像時等の各撮像時における適正な露出値(ＥＶ)に対応する絞り値(Ｆ)とシャッタースピードとの組み合わせを示すプログラム線図を構成するプログラムＡＥデータや、ＥＶ値表（何れも図示略）も格納されている。
【００３０】
操作入力部１１０は、当該撮像装置１の所定操作を行うためのものである。具体的には、操作入力部１１０は、例えば、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定用ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンのユーザ操作に応じて所定の操作信号を中央制御部１１１に出力する。
【００３１】
中央制御部１１１は、例えば、撮像装置１の各部を制御するＣＰＵを具備するワンチップマイコン等から構成されている。
また、中央制御部１１１は、操作入力部１１０から出力され入力された操作信号に基づいて、撮像装置１の各部を制御する。具体的には、中央制御部１１１は、操作入力部１１０のシャッタボタンの所定操作に従って出力された記録指示信号が入力されると、プログラムメモリ１０９に記憶されている所定のプログラムに従って、撮像制御部１０４により電子撮像部１０２及びユニット回路部１０３の駆動タイミングを制御して静止画像を撮影する処理を実行する。この静止画像の撮影によりバッファメモリ１０８に格納された１フレーム分のＹＵＶデータは、画像処理部１０５にてＪＰＥＧ方式等により圧縮され符号化されて、記録媒体Ｍに静止画像データとして記録される。
【００３２】
次に、ユーザ端末２について図３を参照して説明する。
ユーザ端末２は、例えば、パーソナルコンピュータ等により構成され、サーバ３により開設されるＷｅｂページ（例えば、被写体抽出用ページ）にアクセスして、被写体存在画像Ｐ１の画像データをサーバ３に送信する。
【００３３】
図３は、ユーザ端末２の概略構成を示すブロック図である。
図３に示すように、ユーザ端末２は、具体的には、中央制御部２０１と、通信制御部２０２と、表示部２０３と、記録媒体制御部２０４と、操作入力部２０５等を備えている。
【００３４】
中央制御部２０１は、ユーザ端末２の各部を制御するものである。具体的には、中央制御部２０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＲＯＭに記憶されたユーザ端末２用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部２０３に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末２で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
【００３５】
通信制御部２０２は、例えば、モデム（MODEM:Modulater/DEModulater）、ターミナルアダプタ（Terminal Adapter）等によって構成され、所定の通信ネットワークＮを介してサーバ３等の外部機器との間で情報の通信制御を行うためのものである。
【００３６】
なお、通信ネットワークＮは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークＮであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ等が含まれる。
【００３７】
表示部２０３は、例えば、ＬＣＤ、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、中央制御部２０１のＣＰＵの制御下にて各種情報を表示画面に表示する。
具体的には、表示部２０３は、例えば、サーバ３から送信され通信制御部２０２により受信されたＷｅｂページ（例えば、被写体抽出用ページ）のページデータに基づいて、対応するＷｅｂページを表示画面に表示する。
【００３８】
記録媒体制御部２０４は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。即ち、記録媒体制御部２０４は、撮像装置１から取り外されて装着された記録媒体Ｍから被写体画像生成処理（後述）に係る被写体存在画像Ｐ１の画像データを読み出して通信制御部２０２に出力する。
そして、通信制御部２０２は、入力された被写体存在画像Ｐ１の画像データをサーバ３に所定の通信ネットワークＮを介して送信する。
【００３９】
操作入力部２０５は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部２０１のＣＰＵに出力する。
【００４０】
次に、サーバ３について図４を参照して説明する。
サーバ３は、Ｗｅｂ（World Wide Web）サーバ３としてインターネット上にＷｅｂページ（例えば、被写体抽出用ページ）を開設する機能を具備するものであり、ユーザ端末２からのアクセスに応じて当該ユーザ端末２にＷｅｂページのページデータを送信する。また、サーバ３は、画像処理装置として、背景と被写体とが混在する被写体存在画像Ｐ１の複数の画像領域Ａ、…の色と所定の一色との類似度を算出し、算出された類似度に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用の背景色、ここでは抽出用の背景色からなる画像である抽出用背景画像Ｐ４（図９（ｄ）参照）を生成する。そして、サーバ３が、生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ及び背景を構成する背景構成領域Ｃｂをそれぞれ特定する。
【００４１】
図４は、サーバ３の概略構成を示すブロック図である。
図４に示すように、サーバ３は、具体的には、中央制御部３０１と、記憶部３０２と、表示部３０３と、通信制御部３０４と、被写体検出部３０５と、被写体切抜部３０６等を備えて構成されている。
【００４２】
中央制御部３０１は、サーバ３の各部を制御するものである。具体的には、中央制御部３０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＣＰＵは、ＲＯＭに記憶されたサーバ３用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部３０３に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ３で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
【００４３】
記憶部３０２は、例えば、半導体の不揮発メモリやＨＤＤ（Hard Disc Drive）等により構成され、ユーザ端末２に送信されるＷｅｂページのページデータ等を記憶する。
【００４４】
表示部３０３は、例えば、ＬＣＤ、ＣＲＴ等のディスプレイから構成され、中央制御部３０１のＣＰＵの制御下にて各種情報を表示画面に表示する。
【００４５】
通信制御部３０４は、例えば、モデム、ターミナルアダプタ等によって構成され、所定の通信ネットワークＮを介してユーザ端末２等の外部機器との間で情報の通信制御を行うためのものである。
【００４６】
被写体検出部３０５は、被写体存在画像Ｐ１から特定の被写体を検出する。
即ち、被写体検出部３０５は、ユーザ端末２から所定の通信ネットワークＮを介して送信され通信制御部３０４により受信した被写体存在画像Ｐ１の画像データ（ＹＵＶデータ）を取得して、当該画像データに対して、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理を行って特定の被写体が含まれる領域Ｄ（例えば、顔領域等）を検出する。具体的には、被写体検出部３０５は、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理によって特定の被写体の候補となる候補領域を抽出し、抽出された候補領域の中で所定の識別条件を満たすものを特定の被写体として検出する。
なお、所定の識別条件としては、例えば、「ヒトの顔」や「動物」などの形状を基準とするものや、画角全体の画像に対する割合（例えば、半分以上であるか）などの大きさを基準とするものや、明度や彩度が高く鮮やかな（派手な）色合いであるか否かや肌色であるか否かなどの色調を基準とするもの等が挙げられる。
なお、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００４７】
被写体切抜部３０６は、画像取得部３０６ａと、画像分割部３０６ｂと、画像領域特定部３０６ｃと、背景色推定部３０６ｄと、類似度算出部３０６ｅと、類似度判定部３０６ｆと、背景画像生成部３０６ｇと、背景領域特定部３０６ｈと、被写体領域特定部３０６ｉと、被写体抽出部３０６ｊとを具備している。
【００４８】
画像取得部３０６ａは、背景と被写体とが存在する被写体存在画像Ｐ１を取得する。
即ち、画像取得部３０６ａは、ユーザ端末２から所定の通信ネットワークＮを介して送信され通信制御部３０４により受信した被写体存在画像Ｐ１（図８（ａ）参照）のＹＵＶデータを取得する。また、画像取得部３０６ａは、被写体存在画像Ｐ１のＹＵＶデータを水平（ｘ軸）方向及び垂直（ｙ軸）方向ともに所定の比率で縮小した縮小画像（例えば、ＶＧＡサイズの画像等）のＹＵＶデータを生成しても良い。
【００４９】
画像分割部３０６ｂは、被写体存在画像Ｐ１を複数の画像領域Ａ、…に分割する。
即ち、画像分割部３０６ｂは、被写体存在画像Ｐ１のＹＵＶデータに基づいて、当該被写体存在画像Ｐ１全体を水平方向及び垂直方向がそれぞれ所定画素からなる複数の画像領域Ａ、…に分割する。具体的には、画像分割部３０６ｂは、例えば、画像取得部３０６ａにより生成された被写体存在画像Ｐ１の縮小画像のＹＵＶデータに基づいて、当該縮小画像を４つの画像領域Ａ、…（図９（ｂ）参照）に分割する。
なお、画像分割部３０６ｂは、被写体存在画像Ｐ１の低解像度の画像データを分割するようにしたが、高解像度の画像データを分割しても良い。また、分割数として、４つを例示したが、一例であってこれに限られるものではなく、分割数は適宜任意に変更可能である。さらに、画像分割部３０６ｂは、被写体存在画像Ｐ１の分割を所定回数行っても良く、複数（例えば、４つ）に分割された画像領域Ａの各々をさらに所定数の画像領域に分割しても良い。
【００５０】
画像領域特定部３０６ｃは、被写体存在画像Ｐ１内で複数の画像領域Ａ、…を特定する。
即ち、画像領域特定部３０６ｃは、画像取得部３０６ａにより取得された被写体存在画像Ｐ１内で所定の特定条件に従って複数の画像領域Ａ、…を特定する。具体的には、画像領域特定部３０６ｃは、画像分割部３０６ｂにより分割された被写体存在画像Ｐ１の複数の画像領域Ａ、…を、類似度算出部３０６ｅによる所定の一色との類似度の算出に係る特定対象として特定する。
なお、画像領域特定部３０６ｃは、画像分割部３０６ｂにより分割された複数の画像領域Ａ、…を特定対象とするようにしたが、これに限られるものではなく、特定対象となる画像領域Ａは適宜任意に変更可能である。例えば、人の胸から上のバストショットを撮像した被写体存在画像Ｐ１から被写体領域Ｄを抽出するバストショット抽出モードが設定されている場合には、画像領域特定部３０６ｃは、被写体存在画像Ｐ１を所定の表示領域に表示した状態で、上側の画像境界から下側に所定範囲内の画像領域や、左上隅部や右上隅部から所定範囲内の画像領域を特定対象として特定しても良い。
【００５１】
背景色推定部３０６ｄは、被写体存在画像Ｐ１の背景の色を推定する。
即ち、背景色推定部３０６ｄは、画像取得部３０６ａにより取得された被写体存在画像Ｐ１のＹＵＶデータに基づいて所定の演算処理を行って、当該被写体存在画像Ｐ１の背景の色を一色で推定する。具体的には、背景色推定部３０６ｄは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータを取得して、当該縮小画像全体を水平方向及び垂直方向がそれぞれ所定画素（例えば、２０画素等）からなる複数のブロック（領域）Ｂ、…に分割する（図８（ｂ）参照）。そして、背景色推定部３０６ｄは、各ブロックＢ内の複数の画素の画素値に基づいて所定の演算を行って、当該ブロックＢの代表色（例えば、平均色等）を算出する。また、背景色推定部３０６ｄは、各ブロックＢ内の複数の画素の画素値及び代表色に基づいて所定の演算を行って、各ブロックＢ内の色のばらつき量（例えば、分散、標準偏差等）を算出する。
そして、背景色推定部３０６ｄは、複数のブロックＢ、…の各々について、ブロックＢ内の色のばらつき量が所定値以下であるか否かを判定し、色のばらつき量が所定値以下であるブロックＢを特定する。その後、背景色推定部３０６ｄは、特定された各ブロックＢについて、当該ブロックＢの代表色と他のブロックＢの代表色との類似度（例えば、輝度情報及び色差情報の各々についてのユークリッド空間における距離等）が所定の判定値以上であるか否かを判定し、所定の判定値以上であると判定されたブロックＢについては投票する。そして、背景色推定部３０６ｄは、最も投票数の多いブロックＢの代表色、即ち、所定の判定値以上であると判定された回数が最も多いブロックＢの代表色を背景色として推定する（図８（ｃ）参照）。
図８（ｃ）にあっては、推定された背景色が全画面に亘って一様に形成された画像Ｐ２を模式的に表している。
【００５２】
なお、背景色推定部３０６ｄによる背景色の推定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、被写体存在画像Ｐ１の背景は画像の変化が少ない（色のばらつき量の小さい）平坦な領域であると仮定して、背景色推定部３０６ｄは、複数のブロックＢ、…のうち、色のばらつき量が所定値以下であるブロックＢの各々について、他のブロックＢの代表色との類似度が所定の判定値以上であるか否かを判定するようにしたが、色のばらつき量に拘わらず複数のブロックＢ、…の全てについて他のブロックＢの代表色との類似度が所定の判定値以上であるか否かを判定するようにしても良い。
【００５３】
また、背景色推定部３０６ｄは、画像分割部３０６ｂにより分割された被写体存在画像Ｐ１の複数の画像領域Ａ、…の色を推定する。即ち、背景色推定部３０６ｄは、各画像領域Ａについて上記と同様の手法に従って代表色を推定する。
具体的には、背景色推定部３０６ｄは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータに基づいて画像分割部３０６ｂにより分割された各画像領域Ａ（図９（ａ）参照）全体を水平方向及び垂直方向がそれぞれ所定画素（例えば、２０画素等）からなる複数のブロックＢ、…（領域）に分割する（図９（ｂ）参照）。そして、背景色推定部３０６ｄは、各画像領域Ａの各ブロックＢ内の複数の画素の画素値に基づいて所定の演算を行って、当該ブロックＢの代表色（例えば、平均色等）及び各ブロックＢ内の色のばらつき量（例えば、分散、標準偏差等）を算出する。そして、背景色推定部３０６ｄは、各画像領域Ａの複数のブロックＢ、…の中で、色のばらつき量が所定値以下であるブロックＢを特定し、特定された各ブロックＢについて、各画像領域Ａ内の他のブロックＢの代表色との類似度（例えば、輝度情報及び色差情報の各々についてのユークリッド距離等）が所定の判定値以上であると判定されたブロックＢについて投票する。そして、背景色推定部３０６ｄは、最も投票数の多いブロックＢの代表色、即ち、所定の判定値以上であると判定された回数が最も多いブロックＢの代表色を各画像領域Ａの色として推定する（図９（ｃ）参照）。
図９（ｃ）にあっては、各画像領域Ａについて推定された色が一様に形成された画像Ｐ３を模式的に表している。また、各画像領域Ａの色は、単位面積あたりのドット数を異ならせることによって色分けされた状態を模式的に表している。
なお、背景色推定部３０６ｄによる各画像領域Ａの色の推定方法は、一例であってこれに限られるものではなく、上記の背景色の推定方法と同様に適宜任意に変更可能である。
【００５４】
類似度算出部３０６ｅは、被写体存在画像Ｐ１の各画像領域Ａの色と所定の一色との類似度を算出する。
即ち、類似度算出部３０６ｅは、画像領域特定部３０６ｃにより特定された各画像領域Ａの色と所定の一色との類似度を算出する。具体的には、類似度算出部３０６ｅは、背景色推定部３０６ｄにより推定された背景色（図８（ｃ）参照）と、各画像領域Ａの色（図９（ｃ）参照）との類似度（例えば、輝度情報及び色差情報の各々についてのユークリッド距離等）を算出する。
なお、所定の一色として、背景色推定部３０６ｄにより推定された被写体存在画像Ｐ１の背景色を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、各画像領域Ａの色との類似度の判定用に用いられる色であれば如何なる色であっても良く、例えば、類似度算出部３０６ｅは、各画像領域Ａの色の平均色を算出し、当該平均色を所定の一色として類似度の判定用に用いても良い。
【００５５】
類似度判定部３０６ｆは、各画像領域Ａに係る類似度が所定の判定値よりも大きいか否かを判定する。
即ち、類似度判定部３０６ｆは、類似度算出部３０６ｅにより算出された被写体存在画像Ｐ１の各画像領域Ａの色と背景色（所定の一色）との類似度が所定の判定値よりも大きいか否かを判定する。
【００５６】
背景画像生成部３０６ｇは、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景画像Ｐ４を生成する。
即ち、背景画像生成部３０６ｇは、類似度算出部３０６ｅにより算出された被写体存在画像Ｐ１の各画像領域Ａの色と背景色（所定の一色）との類似度に基づいて、抽出用背景画像Ｐ４を生成する。具体的には、背景画像生成部３０６ｇは、被写体存在画像Ｐ１の各画像領域Ａの代表色と背景色との比較結果、つまり、類似度判定部３０６ｆによる判定結果に応じて、抽出用背景画像Ｐ４における各画像領域Ａに対応する領域の色を特定して、抽出用背景画像Ｐ４を生成する。例えば、背景画像生成部３０６ｇは、被写体存在画像Ｐ１の複数の画像領域Ａ、…のうち、類似度算出部３０６ｅにより算出された背景色との類似度が所定の判定値よりも大きいと判定された画像領域Ａについては、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として、背景色推定部３０６ｄにより特定された画像領域Ａの色を採用して、抽出用背景画像Ｐ４を生成する。その一方で、背景画像生成部３０６ｇは、類似度算出部３０６ｅにより算出された背景色との類似度が所定の判定値以下であると判定された画像領域Ａについては、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として背景色を採用して、抽出用背景画像Ｐ４を生成する（図９（ｄ）参照）。例えば、図９（ｄ）に示すように、背景画像生成部３０６ｇは、被写体存在画像Ｐ１を分割した４つの画像領域Ａ、…のうち、左側二つの画像領域Ａについては、背景色との類似度が所定の判定値よりも大きいと判定して、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として当該画像領域Ａの色を採用する。その一方で、背景画像生成部３０６ｇは、被写体存在画像Ｐ１を分割した４つの画像領域Ａ、…のうち、右側二つの画像領域Ａについては、背景色との類似度が所定の判定値以下であると判定して、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として背景色を採用する。
なお、図９（ｄ）にあっては、各画像領域Ａの色は、単位面積あたりのドット数を異ならせることによって色分けされた状態を模式的に表している。
【００５７】
背景領域特定部３０６ｈは、被写体存在画像Ｐ１内で背景を構成する背景構成領域Ｃｂを特定する。
即ち、背景領域特定部３０６ｈは、背景画像生成部３０６ｇにより生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で背景を構成する背景構成領域Ｃｂ（図１２（ａ）参照）を特定する。具体的には、背景領域特定部３０６ｈは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータ及び抽出用背景画像Ｐ４のＹＵＶデータに基づいて、縮小画像と抽出用背景画像Ｐ４との間で対応する各画素の輝度情報及び色差情報の各々について差分を算出した後、輝度情報及び色差情報の各差分の値に対して所定の重み付け（例えば、Ｙ：Ｕ：Ｖ＝1：4：4程度）を行って一次元の差分情報を生成する。
その後、背景領域特定部３０６ｈは、生成した差分情報を所定の分析方法（例えば、判別分析法等）を用いて分析し、被写体存在画像Ｐ１内で背景に対応する正解領域（シード）を構成する背景構成領域Ｃｂの判定用の第１閾値を設定する。例えば、背景領域特定部３０６ｈは、判別分析法によって、複数の差分情報を二つに区分した場合にクラス間分散が最大となる閾値を算出し、当該閾値よりも小さい差分情報の中での中央値（Median）を第１閾値として設定する。なお、背景構成領域Ｃｂの判定用の第１閾値の設定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、判別分析法の結果に基づいてガウシアン混合分布を生成し、当該分布の谷部を背景と被写体との境目として第１閾値を設定しても良い。
そして、背景領域特定部３０６ｈは、差分情報が第１閾値以下の画素であって、背景画像生成部３０６ｇによる抽出用背景画像Ｐ４の生成に用いられたブロックＢを抽出用背景画像Ｐ４のサポート領域として背景構成領域Ｃｂに特定する。即ち、背景領域特定部３０６ｈは、背景色推定部３０６ｄによる背景色や各画像領域Ａの色の推定にて、他のブロックＢの代表色との類似度が所定の判定値以上であると判定された回数が最も多いブロックＢ、つまり、投票数の最も多いブロックＢを背景構成領域Ｃｂに特定する。ここで、本推定方法は一例であり、差分情報が第１閾値以下の画素を背景構成領域Ｃｓとして特定しても良い。
【００５８】
なお、背景領域特定部３０６ｈは、例えば、被写体検出部３０５による顔検出処理の結果、顔領域が検出された場合や、人の胸から上のバストショットを撮像した被写体存在画像Ｐ１から被写体領域Ｄを抽出するバストショット抽出モードが設定されている場合には、被写体存在画像Ｐ１の上側画像境界や左右両側の画像境界から所定範囲内の画素について背景構成領域Ｃｂとして特定するか否かを判定しても良い（詳細後述）。
また、図１２（ａ）にあっては、被写体存在画像Ｐ１の背景構成領域Ｃｂ以外の領域に斜線を付して表し、背景構成領域Ｃｂを白抜きの状態で表している。
【００５９】
被写体領域特定部３０６ｉは、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓを特定する。
即ち、被写体領域特定部３０６ｉは、背景画像生成部３０６ｇにより生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ（図１２（ｂ）参照）を特定する。具体的には、被写体領域特定部３０６ｉは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータ及び抽出用背景画像Ｐ４のＹＵＶデータに基づいて、縮小画像と抽出用背景画像Ｐ４との間で対応する各画素の輝度情報及び色差情報の各々について差分を算出した後、輝度情報及び色差情報の各差分の値に対して所定の重み付け（例えば、Ｙ：Ｕ：Ｖ＝1：4.5：4.5程度）を行って一次元の差分情報を生成する。
その後、被写体領域特定部３０６ｉは、生成した差分情報を所定の分析方法（例えば、判別分析法等）を用いて分析し、被写体存在画像Ｐ１内で被写体に対応する正解領域（シード）を構成する被写体構成領域Ｃｓの判定用の閾値を設定する。例えば、被写体領域特定部３０６ｉは、判別分析法によって、複数の差分情報を二つに区分した場合にクラス間分散が最大となる閾値を算出し、当該閾値よりも大きい差分情報の中での中央値（Median）を判定用の閾値として設定する。なお、被写体構成領域Ｃｓの判定用の閾値の設定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、判別分析法の結果に基づいてガウシアン混合分布を生成し、当該分布の谷部よりも差分情報の大きい領域を利用して判定用の閾値を設定しても良い。
そして、被写体領域特定部３０６ｉは、差分情報が判定用の閾値よりも大きい画素を被写体構成領域Ｃｓとして特定する。
【００６０】
なお、被写体領域特定部３０６ｉは、例えば、被写体存在画像Ｐ１の縮小画像を分割した複数のブロックＢ、…について、注目するブロックＢの周辺ブロックに対する色のばらつき量（例えば、分散、標準偏差等）が所定値よりも大きいブロックＢは、画像の変化が激しい領域であるとして被写体構成領域Ｃｓとして特定しても良い。また、例えば、被写体領域特定部３０６ｉは、被写体検出部３０５による顔検出処理の結果、顔領域が検出された場合には、検出された顔領域を被写体構成領域Ｃｓとして特定しても良い（詳細後述）。
また、図１２（ｂ）にあっては、被写体存在画像Ｐ１の被写体構成領域Ｃｓ以外の領域に斜線を付して表し、被写体構成領域Ｃｓを白抜きの状態で表している。
【００６１】
このように、被写体領域特定部３０６ｉ及び背景領域特定部３０６ｈは、背景画像生成部３０６ｇにより生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ及び背景を構成する背景構成領域Ｃｂをそれぞれ特定する。
【００６２】
被写体抽出部３０６ｊは、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出する。
即ち、被写体抽出部３０６ｊは、被写体領域特定部３０６ｉ及び背景領域特定部３０６ｈにより特定された被写体構成領域Ｃｓ及び背景構成領域Ｃｂに基づいて、二値画像を生成する二値画像生成部３０６ｋを具備しており、当該二値画像生成部３０６ｋにより生成された二値画像に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出する。
【００６３】
具体的には、二値画像生成部３０６ｋは、被写体存在画像Ｐ１における被写体構成領域Ｃｓ及び背景構成領域Ｃｂ以外の領域を、被写体であるか背景であるか未確定の未確定領域Ｃｕとして、例えば、被写体構成領域Ｃｓの画素値を「１」とし、背景構成領域Ｃｂの画素値を「０」とし、未確定領域Ｃｕの画素値を「０．５」とする三値画像Ｐ５（図１５（ａ）参照）を生成する。なお、図１５（ａ）にあっては、三値画像Ｐ５における背景構成領域Ｃｂを「黒塗り」で、被写体構成領域Ｃｓを「白抜き」で、未確定領域Ｃｕに斜線を付して表している。
そして、二値画像生成部３０６ｋは、三値画像Ｐ５について所定のエネルギー関数を設定し、設定したエネルギー関数を最小にするパラメータを算出することで、未確定領域Ｃｕを構成する各画素の画素値を特定する。
例えば、エネルギー最小化の手法として、グラフカットアルゴリズムを利用する場合、二値画像生成部３０６ｋは、被写体存在画像Ｐ１の被写体構成領域Ｃｓ及び背景構成領域Ｃｂに対応する領域の色情報（輝度情報及び色差情報）に従ってガウシアン混合分布を生成し、当該ガウシアン混合分布に基づいて、未確定領域Ｃｕの各画素について被写体尤度及び背景尤度を算出する。ここで、被写体尤度は、対象画素が被写体にどれだけ近いか、即ち、対象画素が被写体を構成する画素であると推定した場合の尤もらしさ（確率）を数値で表したものであり、同様に、背景尤度は、対象画素が背景にどれだけ近いか、即ち、対象画素が背景を構成する画素であると推定した場合の尤もらしさを数値で表したものである。
【００６４】
そして、二値画像生成部３０６ｋは、エネルギー関数のデータ項に、被写体構成領域Ｃｓ及び背景構成領域Ｃｂ、未確定領域Ｃｕの各画素に係る被写体尤度及び背景尤度を設定するとともに、エネルギー関数の平滑化項に、未確定領域Ｃｕの各画素について周囲画素（例えば、隣接する画素）に対する色差情報の差分を設定する。その後、二値画像生成部３０６ｋは、設定したエネルギー関数を最小にするパラメータを算出し、未確定領域Ｃｕを構成する各画素について、被写体領域Ｄに対応する画素値とするか背景領域に対応する画素値とするかを特定する。このとき、平滑化項については、被写体検出部３０５による特定の被写体の検出結果、例えば、顔検出処理の検出結果を考慮して、顔領域の周辺の髪の毛などに対応できるようにノイズ除去特性を設定しても良い。
このようにして、二値画像生成部３０６ｋは、被写体領域Ｄの画素値を「１」とし、背景領域の画素値を「０」とする二値画像を生成する。
【００６５】
そして、被写体抽出部３０６ｊは、二値画像生成部３０６ｋにより生成された二値画像に基づいて、被写体存在画像Ｐ１における被写体領域Ｄの位置を示し、当該被写体領域Ｄを抽出するための抽出用画像を生成する。
ここで、抽出用画像としては、例えば、被写体存在画像Ｐ１の各画素について、被写体画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したアルファマップＭが挙げられる。
具体的には、被写体抽出部３０６ｊは、例えば、二値画像に対して細かいノイズや手ぶれによる相違が存在する領域を除去するための収縮処理を行って所定値よりも小さい画素集合や手ぶれによる細線画素集合を除外した後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行い、その後、収縮分を修正するための膨張処理を行う。また、被写体抽出部３０６ｊは、例えば、被写体部分として特定した最大面積の画素集合内でラベリング処理を行って、当該被写体部分の構成画素のラベル数に対して所定の割合以下のラベル数の背景領域に対応する画素集合の各画素の画素値を、被写体部分に対応する画素値に変更して、被写体部分に置き換える穴埋め処理を行う。
その後、被写体抽出部３０６ｊは、上記の被写体部分に対応する最大面積の画素集合の画素値が「１」、背景領域に対応するその他の部分の画素値が「０」である二値画像に対してローパスフィルタを施して境界部分に中間値を生じさせることで、各々の領域について所定のアルファ値を生成する。これにより、被写体領域Ｄのアルファ値が「１」となり、被写体存在画像Ｐ１の所定の背景に対する透過度が０％となる。一方、被写体の背景部分のアルファ値が「０」となり、当該被写体存在画像Ｐ１の所定の背景に対する透過度が１００％となる。
なお、図１５（ｂ）にあっては、アルファマップＭにおける被写体領域Ｄを「白抜き」で、背景領域を「黒塗り」で表している。
【００６６】
その後、被写体抽出部３０６ｊは、生成された抽出用画像（アルファマップＭ）に基づいて、被写体存在画像Ｐ１の各画素のうち、アルファ値が１の画素を所定の単一色画像Ｐ７に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体画像を所定の単一色画像Ｐ７と合成して被写体切り抜き画像Ｐ６（図１５（ｃ）参照）の画像データを生成する。
【００６７】
次に、ユーザ端末２及びサーバ３を用いた被写体画像生成処理について図５〜図１５を参照して説明する。
ここで、図５は、被写体画像生成処理に係る動作の一例を示すフローチャートであり、図６は、被写体画像生成処理における被写体切抜処理に係る動作の一例を示すフローチャートである。
なお、以下の説明にあっては、撮像装置１により生成された被写体存在画像Ｐ１の画像データが記録された記録媒体Ｍがユーザ端末２の記録媒体制御部２０４に装着されているものとする。
【００６８】
図５に示すように、ユーザ端末２の中央制御部２０１は、ユーザによる操作入力部２０５の所定操作に基づいて、サーバ３により開設される被写体抽出用ページのアクセス指示が入力されると、中央制御部２０１のＣＰＵは、当該アクセス指示を通信制御部２０２により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ１）。
サーバ３の通信制御部３０４によって、ユーザ端末２から送信されたアクセス指示が受信されると、中央制御部３０１のＣＰＵは、被写体抽出用ページのページデータを通信制御部３０４により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ２）。
そして、ユーザ端末２の通信制御部２０２によって、被写体抽出用ページのページデータが受信されると、表示部２０３は、当該被写体抽出用ページのページデータに基づいて、所定の被写体抽出用ページを表示画面に表示する。
【００６９】
次に、ユーザ端末２の記録媒体制御部２０４は、記録媒体Ｍから当該被写体画像生成処理に係る被写体存在画像Ｐ１の画像データを読み出した後、表示部２０３は、当該被写体存在画像Ｐ１の画像データを表示画面に表示する（ステップＳ３）。続けて、通信制御部２０２は、読み出された被写体存在画像Ｐ１の画像データ（ＹＵＶデータ）をサーバ３に所定の通信ネットワークＮを介して送信する（ステップＳ４）。
【００７０】
そして、ユーザ端末２から送信された被写体存在画像Ｐ１の画像データがサーバ３の通信制御部３０４により受信されると、サーバ３は、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを切り抜く被写体切抜処理を実行する（ステップＳ５；図６参照）。
【００７１】
図６に示すように、被写体切抜処理では、先ず、被写体切抜部３０６は、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景画像Ｐ４を生成する背景生成処理（図７参照；詳細後述）を行った後（ステップＳ５１）、抽出用背景画像Ｐ４の生成が成功したか否かを判定する（ステップＳ５２）。
ここで、抽出用背景画像Ｐ４の生成が成功したと判定されると（ステップＳ５２；ＹＥＳ）、被写体切抜部３０６の背景領域特定部３０６ｈは、被写体存在画像Ｐ１内で背景を構成する背景構成領域Ｃｂを特定する背景領域特定処理（図１０参照；詳細後述）を行う（ステップＳ５３）。続けて、被写体切抜部３０６の被写体領域特定部３０６ｉは、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓを特定する被写体領域特定処理（図１１参照；詳細後述）を行う（ステップＳ５４）。
【００７２】
その後、被写体切抜部３０６の被写体抽出部３０６ｊは、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出する被写体抽出処理（図１２参照；詳細後述）を行った後（ステップＳ５５）、当該被写体切抜処理を終了させる。
【００７３】
一方、ステップＳ５２にて、抽出用背景画像Ｐ４の生成が成功していないと判定されると（ステップＳ５２；ＮＯ）、被写体切抜部３０６は、当該被写体切抜処理を終了させる。
【００７４】
図５に戻り、被写体切抜部３０６は、抽出結果判定処理の結果に基づいて、被写体切抜処理が成功したか、つまり被写体画像の生成が成功したか否かを判定する（ステップＳ６）。
ここで、被写体画像の生成が成功したと判定されると（ステップＳ６；ＹＥＳ）、中央制御部３０１のＣＰＵは、生成された被写体切り抜き画像Ｐ６の画像データを通信制御部３０４により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ７）。
そして、ユーザ端末２の通信制御部２０２によって、被写体切り抜き画像Ｐ６の画像データが受信されると（ステップＳ８）、表示部２０３は、当該被写体切り抜き画像Ｐ６の画像データに基づいて、被写体画像を表示画面に表示する（ステップＳ９）。
【００７５】
一方、ステップＳ６にて、被写体画像の生成が成功していないと判定されると（ステップＳ６；ＮＯ）、中央制御部３０１のＣＰＵは、被写体画像生成の失敗に係る所定の画面の表示指示を通信制御部３０４により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ１０）。
そして、ユーザ端末２の通信制御部２０２によって、サーバ３から送信された被写体画像生成の失敗に係る所定の画面の表示指示が受信されると、表示部２０３は、当該被写体画像生成の失敗に係る所定の画面を表示画面に表示する（ステップＳ１１）。
【００７６】
次に、被写体切抜処理における背景生成処理について、図７〜図９を参照して説明する。
図７は、背景生成処理に係る動作の一例を示すフローチャートである。
【００７７】
図７に示すように、被写体切抜部３０６の画像取得部３０６ａは、ユーザ端末２から所定の通信ネットワークＮを介して送信され通信制御部３０４により受信した被写体存在画像Ｐ１（図８（ａ）参照）のＹＵＶデータを取得する（ステップＳ６１）。また、画像取得部３０６ａは、被写体存在画像Ｐ１のＹＵＶデータを水平（ｘ軸）方向及び垂直（ｙ軸）方向ともに所定の比率で縮小した縮小画像（例えば、ＶＧＡサイズの画像等）のＹＵＶデータを生成する。
【００７８】
次に、被写体切抜部３０６の背景色推定部３０６ｄは、被写体存在画像Ｐ１を複数のブロックＢ、…に分割した後、各ブロックＢの代表色及び色のばらつき量を算出する（ステップＳ６２）。
具体的には、背景色推定部３０６ｄは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータに基づいて、当該縮小画像全体を水平方向及び垂直方向がそれぞれ所定画素（例えば、２０画素等）からなる複数のブロックＢ、…に分割する（図８（ｂ）参照）。そして、背景色推定部３０６ｄは、各ブロックＢ内の複数の画素の画素値に基づいて所定の演算を行って、当該ブロックＢの代表色を算出するとともに、各ブロックＢ内の色のばらつき量を算出する。
続けて、背景色推定部３０６ｄは、複数のブロックＢ、…の各々について色のばらつき量が所定値以下であるか否かを判定し、色のばらつき量が所定値以下であるブロックＢをそれぞれ特定する（ステップＳ６３）。その後、背景色推定部３０６ｄは、特定された各ブロックＢについて、他のブロックＢの代表色との類似度が所定の判定値以上であるか否かを判定し、所定の判定値以上であると判定されたブロックＢについては投票する（ステップＳ６４）。
【００７９】
次に、背景色推定部３０６ｄは、ステップＳ６４の処理にて投票された数が所定数以上であるか否かを判定する（ステップＳ６５）。
ここで、投票された数が所定数以上であると判定されると（ステップＳ６５；ＹＥＳ）、背景色推定部３０６ｄは、所定の判定値以上であると判定された回数が最も多いブロックＢ（最多投票数のブロックＢ）の代表色を抽出用背景画像Ｐ４の全体色（背景色）として特定する（ステップＳ６６；図８（ｃ）参照）。
一方、ステップＳ６５にて、投票された数が所定数以上でないと判定されると（ステップＳ６５；ＮＯ）、被写体切抜部３０６は、抽出用背景画像Ｐ４の生成を失敗として（ステップＳ６７）、背景生成処理を終了させる。
【００８０】
抽出用背景画像Ｐ４の全体色（背景色）を特定（ステップＳ６６）した後、被写体切抜部３０６の画像分割部３０６ｂは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータに基づいて、当該縮小画像全体を水平方向及び垂直方向がそれぞれ所定画素からなる複数（例えば、４つ）の画像領域Ａ（図９（ａ）参照）に分割する（ステップＳ６８）。そして、画像領域特定部３０６ｃは、画像分割部３０６ｂにより分割された被写体存在画像Ｐ１の複数の画像領域Ａ、…を、類似度算出部３０６ｅによる抽出用背景画像Ｐ４の背景色（所定の一色）との類似度の算出に係る特定対象として特定する。
【００８１】
次に、背景色推定部３０６ｄは、各画像領域Ａ全体を水平方向及び垂直方向がそれぞれ所定画素（例えば、２０画素等）からなる複数のブロックＢ、…（図９（ｂ）参照）に分割した後、各ブロックＢ内の複数の画素の画素値に基づいて所定の演算を行って、当該ブロックＢの代表色を算出するとともに、各ブロックＢ内の色のばらつき量を算出する（ステップＳ６９）。
続けて、背景色推定部３０６ｄは、各画像領域Ａの複数のブロックＢ、…の各々について色のばらつき量が所定値以下であるか否かを判定し、色のばらつき量が所定値以下であるブロックＢをそれぞれ特定する。その後、背景色推定部３０６ｄは、特定された各ブロックＢについて、他のブロックＢの代表色との類似度が所定の判定値以上であるか否かを判定し、所定の判定値以上であると判定されたブロックＢについては投票する（ステップＳ７０）。
【００８２】
次に、背景色推定部３０６ｄは、各画像領域Ａについて、ステップＳ７０の処理にて投票された数が所定数以上であるか否かを判定する（ステップＳ７１）。
ここで、投票された数が所定数以上であると判定されると（ステップＳ７１；ＹＥＳ）、背景色推定部３０６ｄは、所定の判定値以上であると判定された回数が最も多いブロックＢ（最多投票数のブロックＢ）の代表色を各画像領域Ａの色として特定する（ステップＳ７２；図９（ｃ）参照）。
続けて、被写体切抜部３０６の類似度算出部３０６ｅは、各画像領域Ａの色について背景色との類似度（例えば、輝度情報及び色差情報の各々についてのユークリッド距離等）を算出して、類似度判定部３０６ｆは、算出された各画像領域Ａの色と背景色との類似度が所定の判定値よりも大きいか否かを判定する（ステップＳ７３）。
【００８３】
ステップＳ７３にて、背景色との類似度が所定の判定値よりも大きい（ステップＳ７３；ＹＥＳ）と判定された画像領域Ａについては、被写体切抜部３０６の背景画像生成部３０６ｇは、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として背景色推定部３０６ｄにより特定された画像領域Ａの色を採用する（ステップＳ７４）。その一方で、背景色との類似度が所定の判定値以下である（ステップＳ７３；ＮＯ）と判定された画像領域Ａについては、背景画像生成部３０６ｇは、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として背景色を採用する（ステップＳ７５）。
また、ステップＳ７１にて、投票された数が所定数以上でない（ステップＳ７１；ＮＯ）と判定された画像領域Ａについても、背景画像生成部３０６ｇは、抽出用背景画像Ｐ４における当該画像領域Ａに対応する領域の色として背景色を採用する（ステップＳ７５）。
【００８４】
その後、背景画像生成部３０６ｇは、抽出用背景画像Ｐ４における被写体存在画像Ｐ１の各画像領域Ａに対応する領域について採用された色に従って、抽出用背景画像Ｐ４のＹＵＶデータを生成する（ステップＳ７６；図９（ｄ）参照）。
これにより、背景生成処理を終了する。
【００８５】
次に、被写体切抜処理における背景領域特定処理について、図１０及び図１２（ａ）を参照して説明する。
図１０は、背景領域特定処理に係る動作の一例を示すフローチャートである。
【００８６】
図１０に示すように、被写体切抜部３０６の背景領域特定部３０６ｈは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータ及び抽出用背景画像Ｐ４のＹＵＶデータに基づいて、縮小画像と抽出用背景画像Ｐ４との間で対応する各画素の輝度情報及び色差情報の各々について差分を算出する（ステップＳ８１）。その後、背景領域特定部３０６ｈは、算出された輝度情報及び色差情報の各差分の値に対して所定の重み付けを行って一次元の差分情報を生成する。
【００８７】
次に、背景領域特定部３０６ｈは、生成した差分情報に基づいて、被写体存在画像Ｐ１内で背景に対応する正解領域を構成する背景構成領域Ｃｂの判定用の第１閾値を設定する（ステップＳ８２）。具体的には、背景領域特定部３０６ｈは、判別分析法によって、複数の差分情報を二つに区分した場合にクラス間分散が最大となる閾値を算出し、当該閾値よりも小さい差分情報の中での中央値（Median）を第１閾値として設定する。
続けて、背景領域特定部３０６ｈは、差分情報が第１閾値以下の画素であって、背景画像生成部３０６ｇによる抽出用背景画像Ｐ４の生成に用いられたブロックＢを抽出用背景画像Ｐ４のサポート領域として背景構成領域Ｃｂに特定する（ステップＳ８３；図１２（ａ）参照）。具体的には、背景領域特定部３０６ｈは、背景色推定部３０６ｄによる背景色や各画像領域Ａの色の推定にて、他のブロックＢの代表色との類似度が所定の判定値以上であると判定された回数が最も多いブロックＢ、つまり、投票数の最も多いブロックＢを背景構成領域Ｃｂに特定する。
【００８８】
次に、被写体検出部３０５は、被写体存在画像Ｐ１のＹＵＶデータに対して所定の顔検出処理を行って顔領域を検出する（ステップＳ８４）。
続けて、背景領域特定部３０６ｈは、被写体検出部３０５による顔検出処理の結果に従って、被写体存在画像Ｐ１内で背景構成領域Ｃｂである可能性の高い縁領域を特定する（ステップＳ８５）。具体的には、顔検出処理の結果、顔領域が検出された場合、背景領域特定部３０６ｈは、例えば、被写体存在画像Ｐ１の上側画像境界や左右両側の画像境界から所定範囲（例えば、２０画素等）内を縁領域として、背景構成領域Ｃｂである可能性の高い縁領域として特定する。
なお、背景構成領域Ｃｂである可能性の高い縁領域の特定に、被写体検出部３０５による顔検出処理の結果を考慮するようにしたが、例えば、人の胸から上のバストショットを撮像した被写体存在画像Ｐ１から被写体領域Ｄを抽出するバストショット抽出モードが設定されている場合には、被写体存在画像Ｐ１の上側画像境界や左右両側の画像境界から所定範囲内の画素について背景構成領域Ｃｂとして特定するようにしても良い。
【００８９】
続けて、背景領域特定部３０６ｈは、特定された各縁領域を構成する所定画素（例えば、２０画素等）からなる複数のブロックＢ、…の各々について、色のばらつき量（例えば、分散、標準偏差等）が所定値以下であるか否かを判定し、色のばらつき量が所定値以下であるブロックＢを特定する（ステップＳ８６）。
次に、背景領域特定部３０６ｈは、特定された各ブロックＢの代表色の中で、抽出用背景画像Ｐ４の色（背景色や各画像領域Ａの色）との類似度を算出し、最も類似する代表色を特定する（ステップＳ８７）。次に、背景領域特定部３０６ｈは、特定された代表色と抽出用背景画像Ｐ４の背景色との差分を算出して（ステップＳ８８）、当該差分に基づいて、被写体存在画像Ｐ１内で背景に対応する正解領域を構成する背景構成領域Ｃｂの判定用の第２閾値を設定する（ステップＳ８９）。
ここで、第２閾値は、第１閾値よりも判定度が緩い値であり、例えば、背景構成領域Ｃｂである可能性の高い縁領域を構成するブロックＢのうち、抽出用背景画像Ｐ４の色との差分がステップＳ８７にて特定された代表色と抽出用背景画像Ｐ４の背景色との色差以下のブロックＢを背景構成領域Ｃｂとする程度に設定される。また、ステップＳ８２における第１閾値の設定の際に算出された、複数の差分情報を二つに区分した場合にクラス間分散が最大となる閾値を第２閾値として設定しても良い。
【００９０】
そして、背景領域特定部３０６ｈは、縁領域を構成する複数のブロックＢ、…のうち、各ブロックＢの代表色と抽出用背景画像Ｐ４の色（背景色や各画像領域Ａの色）との差分情報が第２閾値以下のブロックＢを、背景構成領域Ｃｂに追加特定する（ステップＳ９０）。
或いは、ステップＳ８７で特定した代表色と縁領域の色の差が、所定値以下の領域を背景構成領域Ｃｂに追加しても良い。
これにより、背景領域特定処理を終了する。
【００９１】
次に、被写体切抜処理における被写体領域特定処理について、図１１及び図１２（ｂ）を参照して説明する。
図１１は、被写体領域特定処理に係る動作の一例を示すフローチャートである。
被写体切抜部３０６の被写体領域特定部３０６ｉは、被写体存在画像Ｐ１の縮小画像のＹＵＶデータ及び抽出用背景画像Ｐ４のＹＵＶデータに基づいて、縮小画像と抽出用背景画像Ｐ４との間で対応する各画素の輝度情報及び色差情報の各々について差分を算出する（ステップＳ１０１）。その後、被写体領域特定部３０６ｉは、算出された輝度情報及び色差情報の各差分の値に対して所定の重み付けを行って一次元の差分情報を生成する。
【００９２】
次に、被写体領域特定部３０６ｉは、生成した差分情報に基づいて、被写体存在画像Ｐ１内で被写体に対応する正解領域を構成する被写体構成領域Ｃｓの判定用の閾値を設定する（ステップＳ１０２）。具体的には、被写体領域特定部３０６ｉは、判別分析法によって、複数の差分情報を二つに区分した場合にクラス間分散が最大となる閾値を算出し、当該閾値よりも大きい差分情報の中での中央値（Median）を判定用の閾値として設定する。
続けて、被写体領域特定部３０６ｉは、差分情報が判定用の閾値よりも大きい画素を特定する。
次に、被写体存在画像Ｐ１の縮小画像を分割した複数のブロックＢ、のうち、注目するブロックＢ内の色のばらつき（分散）が所定値よりも大きいブロックＢを特定し、特定したブロック内で、差分情報が判定用の閾値より大きい画素を被写体構成領域Ｃｓとして特定する（ステップＳ１０３；図１２（ｂ）参照）。
或いは、差分情報が判定用閾値より大きい画素を被写体構成領域Ｃｓとし、更に色のばらつきが大きいブロックＢを追加しても良い。
【００９３】
次に、被写体検出部３０５は、被写体存在画像Ｐ１のＹＵＶデータに対して所定の顔検出処理を行って顔領域を検出する（ステップＳ１０４）。
続けて、被写体検出部３０５は、顔領域の検出に成功したか否かを判定し（ステップＳ１０５）、顔領域の検出に成功したと判定されると（ステップＳ１０５；ＹＥＳ）、被写体領域特定部３０６ｉは、検出された顔領域を被写体構成領域Ｃｓとして追加特定する（ステップＳ１０６）。このとき、被写体領域特定部３０６ｉは、必ずしも顔領域全体を被写体構成領域Ｃｓとして特定する必要はなく、顔領域の所定方向（例えば、水平方向）については、実際に検出された顔領域よりも所定の割合小さくなるような領域を設定しても良い。また、被写体領域特定部３０６ｉは、被写体存在画像Ｐ１内で顔領域よりも下側の領域を被写体構成領域Ｃｓとして特定しても良い。
一方、ステップＳ１０５にて、顔領域の検出に成功していないと判定されると（ステップＳ１０５；ＮＯ）、被写体切抜部３０６は、ステップＳ１０６をスキップして、被写体領域特定処理を終了させる。
【００９４】
次に、被写体切抜処理における被写体抽出処理について、図１３〜図１５を参照して説明する。
図１３は、被写体抽出処理に係る動作の一例を示すフローチャートであり、図１４は、被写体抽出処理における抽出結果判定処理に係る動作の一例を示すフローチャートである。
【００９５】
図１３に示すように、被写体抽出部３０６ｊの二値画像生成部３０６ｋは、被写体構成領域Ｃｓ、背景構成領域Ｃｂ、被写体であるか背景であるか未確定の未確定領域Ｃｕからなる三値画像Ｐ５（図１５（ａ）参照）における、未確定領域Ｃｕの各画素について被写体尤度及び背景尤度を算出する（ステップＳ１１１）。
具体的には、二値画像生成部３０６ｋは、被写体存在画像Ｐ１における被写体構成領域Ｃｓ及び背景構成領域Ｃｂ以外の領域を、被写体であるか背景であるか未確定の未確定領域Ｃｕとして、例えば、被写体構成領域Ｃｓの画素値を「１」とし、背景構成領域Ｃｂの画素値を「０」とし、未確定領域Ｃｕの画素値を「０．５」とする三値画像Ｐ５を生成する。そして、二値画像生成部３０６ｋは、被写体存在画像Ｐ１の被写体構成領域Ｃｓ及び背景構成領域Ｃｂに対応する領域の色情報（輝度情報及び色差情報）に従ってガウシアン混合分布を生成し、当該ガウシアン混合分布に基づいて、未確定領域Ｃｕの各画素について被写体尤度及び背景尤度を算出する（ステップＳ１１１）。
【００９６】
次に、二値画像生成部３０６ｋは、グラフカットアルゴリズムを利用して、被写体領域Ｄの画素値を「１」とし、背景領域の画素値を「０」とする二値画像を生成する（ステップＳ１１２）。
具体的には、二値画像生成部３０６ｋは、所定のエネルギー関数のデータ項に、被写体構成領域Ｃｓ及び背景構成領域Ｃｂ、未確定領域Ｃｕの各画素に係る被写体尤度及び背景尤度を設定するとともに、エネルギー関数の平滑化項に、未確定領域Ｃｕの各画素について周囲画素（例えば、隣接する画素）に対する色差情報の差分を設定する。その後、二値画像生成部３０６ｋは、設定したエネルギー関数を最小にするパラメータを算出し、未確定領域Ｃｕを構成する各画素について、被写体領域Ｄに対応する画素値「１」とするか背景領域に対応する画素値「０」とするかを特定する。
【００９７】
続けて、被写体抽出部３０６ｊは、二値画像生成部３０６ｋにより生成された二値画像に基づいて、被写体存在画像Ｐ１における被写体領域Ｄの位置を示す抽出用画像（例えば、アルファマップＭ）を生成する（ステップＳ１１３）。
具体的には、被写体抽出部３０６ｊは、例えば、二値画像に対して細かいノイズや手ぶれによる相違が存在する領域を除去するための収縮処理を行って所定値よりも小さい画素集合や手ぶれによる細線画素集合を除外した後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行い、その後、収縮分を修正するための膨張処理を行う。また、被写体抽出部３０６ｊは、例えば、被写体部分として特定した最大面積の画素集合内でラベリング処理を行って、当該被写体部分の構成画素のラベル数に対して所定の割合以下のラベル数の背景領域に対応する画素集合の各画素の画素値を、被写体部分に対応する画素値に変更して、被写体部分に置き換える穴埋め処理を行う。
その後、被写体抽出部３０６ｊは、上記の被写体部分に対応する最大面積の画素集合の画素値が「１」、背景領域に対応するその他の部分の画素値が「０」である二値画像に対してローパスフィルタを施して境界部分に中間値を生じさせることで、各々の領域について所定のアルファ値を生成してアルファマップＭ（図１５（ｂ）参照）を生成する。
【００９８】
その後、被写体抽出部３０６ｊは、生成された抽出用画像（アルファマップＭ）を用いて被写体存在画像Ｐ１から被写体領域Ｄを切り出して、所定の単一色画像Ｐ７と合成して被写体切り抜き画像Ｐ６（図１５（ｃ）参照）の画像データを生成する（ステップＳ１１４）。
具体的には、被写体切抜部３０６は、被写体存在画像Ｐ１の全ての画素について、アルファ値が０の画素については、透過させ、アルファ値が０＜α＜１の画素については、所定の単一色とブレンディングを行い、アルファ値が１の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、アルファマップＭの縁部分には、合成階調がつけられているため、切り出された被写体領域Ｄと単一色画像Ｐ７（背景）との境界部分がはっきりしていない自然な感じとなる。
また、生成された被写体切り抜き画像Ｐ６の画像データは、抽出用画像であるアルファマップＭと対応付けて記憶部３０２に記憶される。
【００９９】
次に、被写体切抜部３０６は、被写体抽出処理の結果を判定する抽出結果判定処理（図１４参照）を行う（ステップＳ１１５）。
ここで、抽出結果判定処理について、図１４を参照して説明する。
【０１００】
図１４に示すように、被写体切抜部３０６は、被写体切抜処理にて被写体検出部３０５による顔検出が成功しているか否かを判定する（ステップＳ１２１）。
ここで、顔検出が成功していると判定されると（ステップＳ１２１；ＹＥＳ）、被写体切抜部３０６は、被写体切り抜き画像Ｐ６の被写体領域Ｄ内に顔領域が含まれているか否かを判定する（ステップＳ１２２）。
【０１０１】
ステップＳ１２２にて、被写体領域Ｄ内に顔領域が含まれていると判定されると（ステップＳ１２２；ＹＥＳ）、被写体切抜部３０６は、被写体領域Ｄが被写体切り抜き画像Ｐ６の画像境界に所定の割合以上かかっているか否かを判定する（ステップＳ１２３）。具体的には、被写体切抜部３０６は、被写体領域Ｄにおける、被写体切り抜き画像Ｐ６の所定の画像境界（例えば、下側画像境界等）と重畳する画素数が全画像境界の画素数に対して所定の割合以上となっているか否かを判定する。
ここで、被写体領域Ｄが被写体切り抜き画像Ｐ６の画像境界に所定の割合以上かかっていないと判定されると（ステップＳ１２３；ＮＯ）、被写体切抜部３０６は、被写体領域Ｄが被写体切り抜き画像Ｐ６の下側画像境界にかかっているか否かを判定する（ステップＳ１２４）。
【０１０２】
ステップＳ１２４にて、被写体領域Ｄが被写体切り抜き画像Ｐ６の下側画像境界にかかっていると判定されると（ステップＳ１２４；ＹＥＳ）、被写体切抜部３０６は、被写体領域Ｄの大きさが被写体切り抜き画像Ｐ６全体に対して所定の割合以下であるか否かを判定する（ステップＳ１２５）。具体的には、被写体切抜部３０６は、被写体領域Ｄの構成画素数及び被写体切り抜き画像Ｐ６全体の構成画素数を特定して、被写体領域Ｄの構成画素数が被写体切り抜き画像Ｐ６全体の構成画素数に対して所定の割合以下であるか否かを判定する。
ここで、被写体領域Ｄの大きさが被写体切り抜き画像Ｐ６全体に対して所定の割合以下でないと判定されると（ステップＳ１２５；ＮＯ）、被写体切抜部３０６は、被写体画像の生成が成功であるとして（ステップＳ１２６）、抽出結果判定処理を終了する。
一方、ステップＳ１２５にて、被写体領域Ｄの大きさが被写体切り抜き画像Ｐ６全体に対して所定の割合以下であると判定されると（ステップＳ１２５；ＹＥＳ）、被写体切抜部３０６は、被写体画像の生成が失敗であるとして（ステップＳ１２７）、抽出結果判定処理を終了する。
【０１０３】
一方、ステップＳ１２４にて、被写体領域Ｄが被写体切り抜き画像Ｐ６の下側画像境界にかかっていないと判定されると（ステップＳ１２４；ＮＯ）、被写体切抜部３０６は、被写体領域Ｄが被写体切り抜き画像Ｐ６の左右両側の画像境界にかかっているか否かを判定する（ステップＳ１２８）。
ここで、被写体領域Ｄが被写体切り抜き画像Ｐ６の左右両側の画像境界にかかっていないと判定されると（ステップＳ１２８；ＮＯ）、被写体切抜部３０６は、処理をステップＳ１２５に移行して、上記と同様に、被写体領域Ｄの大きさが被写体切り抜き画像Ｐ６全体に対して所定の割合以下であるか否かを判定する（ステップＳ１２５）。その一方で、被写体領域Ｄが被写体切り抜き画像Ｐ６の左右両側の画像境界にかかっていると判定されると（ステップＳ１２８；ＹＥＳ）、被写体切抜部３０６は、処理をステップＳ１２７に移行して、被写体画像の生成が失敗であるとする（ステップＳ１２７）。
また、ステップＳ１２１にて、顔検出が成功していないと判定された場合にも（ステップＳ１２１；ＮＯ）、被写体切抜部３０６は、処理をステップＳ１２５に移行して、上記と同様の処理を行う（ステップＳ１２５）。
【０１０４】
一方、ステップＳ１２２にて、被写体領域Ｄ内に顔領域が含まれていないと判定されるか（ステップＳ１２２；ＮＯ）、或いは、ステップＳ１２３にて、被写体領域Ｄが被写体切り抜き画像Ｐ６の画像境界に所定の割合以上かかっていると判定された場合にも（ステップＳ１２３；ＹＥＳ）、被写体切抜部３０６は、処理をステップＳ１２７に移行して、被写体画像の生成が失敗であるとする（ステップＳ１２７）。
これにより、被写体抽出処理を終了する。
【０１０５】
以上のように、実施形態１の被写体切り抜きシステム１００によれば、被写体存在画像Ｐ１の複数の画像領域Ａ、…の色と所定の一色との類似度に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景色からなる抽出用背景画像Ｐ４を生成するので、被写体存在画像Ｐ１の色を複数の画像領域Ａ、…毎に個別に考慮して抽出用背景色（抽出用背景画像Ｐ４）の生成を適正に行うことができる。このとき、被写体存在画像Ｐ１を分割して複数の画像領域Ａ、…を特定するので、所定の一色との類似度の算出に係る画像領域Ａの特定を適正に行うことができる。
そして、生成された抽出用背景色（抽出用背景画像Ｐ４）に基づいて、被写体存在画像Ｐ１内で被写体構成領域Ｃｓ及び背景構成領域Ｃｂをそれぞれ特定するので、被写体や背景を構成する正解領域（シード）の指定を、予めユーザによる操作部の所定操作に基づいて行う必要がなくなり、被写体存在画像Ｐ１内での被写体構成領域Ｃｓ及び背景構成領域Ｃｂの指定を自動的に行うことができる。
【０１０６】
具体的には、被写体存在画像Ｐ１の複数のブロックＢ、…の各々について、他のブロックＢの色との類似度が所定の判定値以上であると判定された回数が最も多いブロックＢの色を被写体存在画像Ｐ１の背景色として推定するので、被写体存在画像Ｐ１の複数の画像領域Ａ、…の色との類似度の算出基準となる被写体存在画像Ｐ１の背景色（所定の一色）の推定を適正に行うことができる。
さらに、他のブロックＢの色との類似度が所定の判定値以上であると判定された回数が最も多いブロックＢを、背景構成領域Ｃｂとして特定するので、被写体存在画像Ｐ１の背景色の推定に用いられたブロックＢを背景構成領域Ｃｂとして適正に特定することができる。
また、複数のブロックＢの色のばらつき量が所定値以下であるブロックＢの各々について、他のブロックＢの色との類似度が所定の判定値以上であるか否かを判定するので、被写体存在画像Ｐ１を構成する複数のブロックＢのうち、色のばらつき量の少ないブロックＢのみを用いて被写体存在画像Ｐ１の背景色（所定の一色）を推定することができ、当該背景色の推定を適正に行うことができる。
【０１０７】
また、抽出用背景画像Ｐ４の生成の際に、所定の一色との類似度が所定の判定値よりも大きいと判定された画像領域Ａについては、当該画像領域Ａの色に基づいて抽出用背景画像Ｐ４を生成することができ、その一方で、所定の一色との類似度が所定の判定値以下であると判定された画像領域Ａについては、被写体存在画像Ｐ１の推定された背景色に基づいて抽出用背景画像Ｐ４を生成することができるので、被写体存在画像Ｐ１の複数の画像領域Ａの各々について所定の一色との類似度を考慮して抽出用背景画像Ｐ４の生成を適正に行うことができる。
【０１０８】
さらに、被写体構成領域Ｃｓ及び背景構成領域Ｃｂに基づいて、被写体存在画像Ｐ１から被写体領域Ｄを抽出するので、被写体存在画像Ｐ１を取得するだけで当該被写体存在画像Ｐ１から被写体領域Ｄを自動的に抽出することができる。
【０１０９】
［実施形態２］
図１６は、本発明を適用した実施形態２の撮像装置２０１の概略構成を示すブロック図である。
なお、実施形態２の撮像装置２０１は、以下に詳細に説明する以外の点で上記実施形態１の撮像装置１と略同様の構成をなし、詳細な説明は省略する。
【０１１０】
実施形態２の撮像装置２０１は、画像処理装置として、背景と被写体とが混在する被写体存在画像Ｐ１の複数の画像領域Ａ、…の色と所定の一色との類似度を算出し、算出された類似度に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景画像Ｐ４を生成する。そして、撮像装置２０１が、生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ及び背景を構成する背景構成領域Ｃｂをそれぞれ特定する。
【０１１１】
図１６に示すように、撮像装置２０１は、上記実施形態１の撮像装置１の各部、即ち、レンズ部１０１、電子撮像部１０２、ユニット回路部１０３、撮像制御部１０４、画像処理部１０５、表示部１０６、記録媒体制御部１０７、バッファメモリ１０８、プログラムメモリ１０９、操作入力部１１０、中央制御部１１１に加えて、被写体検出部１１２と、被写体切抜部１１３とを備えている。
【０１１２】
被写体検出部１１２及び被写体切抜部１１３は、実施形態１のサーバ３に備わる被写体検出部３０５及び被写体切抜部３０６と同等の機能を有している。
即ち、被写体切抜部１１３の類似度算出部３０６ｅは、背景と被写体とが混在する被写体存在画像Ｐ１の複数の画像領域Ａ、…の色と所定の一色との類似度を算出し、背景画像生成部３０６ｇは、算出された類似度に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景画像Ｐ４を生成する。そして、背景領域特定部３０６ｈ及び被写体領域特定部３０６ｉは、生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ及び背景を構成する背景構成領域Ｃｂをそれぞれ特定する。
また、被写体検出部１１２は、被写体存在画像Ｐ１から特定の被写体を検出する。
【０１１３】
そして、撮像装置２０１は、上記実施形態１の被写体切抜処理（図６参照）と略同等の被写体切抜処理を行って、被写体存在画像Ｐ１から被写体領域Ｄを切り出して、被写体切り抜き画像Ｐ６の画像データを生成する。
【０１１４】
従って、実施形態２の撮像装置２０１によれば、上記実施形態１と同様に、被写体存在画像Ｐ１の複数の画像領域Ａ、…の色と所定の一色との類似度に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景色からなる抽出用背景画像Ｐ４を生成するので、被写体存在画像Ｐ１の色を複数の画像領域Ａ、…毎に個別に考慮して抽出用背景色（抽出用背景画像Ｐ４）の生成を適正に行うことができる。そして、生成された抽出用背景色（抽出用背景画像Ｐ４）に基づいて、被写体存在画像Ｐ１内で被写体構成領域Ｃｓ及び背景構成領域Ｃｂをそれぞれ特定するので、被写体や背景を構成する正解領域（シード）の指定を、予めユーザによる操作部の所定操作に基づいて行う必要がなくなり、被写体存在画像Ｐ１内での被写体構成領域Ｃｓ及び背景構成領域Ｃｂの指定を自動的に行うことができる。
【０１１５】
なお、上記実施形態１、２にあっては、必ずしも被写体検出部３０５、１１２を備える必要はなく、被写体検出部３０５、１１２を備えるか否かは適宜任意に変更可能である。
【０１１６】
なお、本発明は、上記実施形態１、２に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態１、２にあっては、被写体切抜部３０６（１１３）に画像分割部３０６ｂ、背景色推定部３０６ｄ、被写体抽出部３０６ｊを具備するようにしたが、画像分割部３０６ｂや背景色推定部３０６ｄや被写体抽出部３０６ｊを具備するか否かは適宜任意に変更可能である。
【０１１７】
また、上記実施形態１、２にあっては、被写体切抜部３０６（１１３）に類似度判定部３０６ｆを具備し、当該類似度判定部３０６ｆの判定結果を考慮して抽出用背景画像Ｐ４を生成するようにしたが、類似度判定部３０６ｆを具備するか否か、即ち、類似度判定部３０６ｆの判定結果を考慮して抽出用背景画像Ｐ４を生成するか否かは適宜任意に変更可能である。
【０１１８】
さらに、上記実施形態１、２にあっては、被写体抽出処理にて抽出結果判定処理を実行するようにしたが、抽出結果判定処理を行うか否かは適宜任意に変更可能である。また、図１４に示した抽出結果判定処理の処理内容も一例であってこれに限られるものではなく、適宜任意に変更可能である。
【０１１９】
また、上記実施形態１にあっては、ユーザによるユーザ端末２の所定操作に基づいて、Ｗｅｂサーバとして機能するサーバ（画像処理装置）３によって被写体構成領域Ｃｓ及び背景構成領域Ｃｂを特定するようにしたが、一例であってこれに限られるものではなく、画像処理装置の構成は適宜任意に変更可能である。即ち、抽出用画像の生成に係る被写体切抜部３０６（１１３）の機能をソフトウェアにより実現される構成として、ユーザ端末２にインストールすることで通信ネットワークＮを必要とすることなく、当該ユーザ端末２単体で被写体画像生成処理を行うようにしても良い。
つまり、ユーザ端末２は、背景と被写体とが混在する被写体存在画像Ｐ１の複数の画像領域Ａ、…の色と所定の一色との類似度を算出し、算出された類似度に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景画像Ｐ４を生成し、生成された抽出用背景画像Ｐ４に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ及び背景を構成する背景構成領域Ｃｂをそれぞれ特定するようにしても良い。
【０１２０】
また、上記実施形態１にあっては、ユーザ端末２として、パーソナルコンピュータを例示したが、一例であってこれに限られるものではなく適宜任意に変更可能であり、例えば、携帯電話機等を適用しても良い。
【０１２１】
さらに、実施形態１の被写体切り抜きシステム１００にプリント装置を備え、当該プリント装置によって、サーバ３により生成された被写体切り抜き画像Ｐ６の被写体画像を所定のプリント用基材に対して所定の印刷方式により印刷して、被写体画像のプリントを作成するようにしても良い。また、サーバ３は、生成した被写体切り抜き画像Ｐ６をアルファマップＭを利用して所定の背景画像と合成して被写体合成画像（図示略）を生成しても良く、この場合には、プリント装置は、当該被写体合成画像のプリントを作成するようにしても良い。
なお、被写体切り抜き画像Ｐ６や被写体合成画像の画像データには、ユーザによる所定の改変を禁止する制御情報を埋め込むようにしても良い。
【０１２２】
加えて、上記実施形態１、２にあっては、取得手段、第１の特定手段、比較手段、生成手段、第２の特定手段としての機能を、サーバ３の中央制御部３０１や撮像装置２０１の中央制御部１１１の制御下にて、被写体切抜部３０６（１１３）の画像取得部３０６ａ、画像領域特定部３０６ｃ、類似度算出部３０６ｅ、背景画像生成部３０６ｇ、背景領域特定部３０６ｈ、被写体領域特定部３０６ｉが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部３０１（１１１）のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、第１の特定処理ルーチン、比較処理ルーチン、生成処理ルーチン、第２の特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部３０１（１１１）のＣＰＵを、背景と被写体とが存在する被写体存在画像Ｐ１を取得する取得手段として機能させるようにしても良い。また、第１の特定処理ルーチンにより中央制御部３０１のＣＰＵを、取得手段により取得された被写体存在画像Ｐ１内で複数の画像領域Ａ、…を特定する第１の特定手段として機能させるようにしても良い。また、比較処理ルーチンにより中央制御部３０１のＣＰＵを、第１の特定手段により特定された各画像領域Ａの代表色と所定の一色とを比較する比較手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部３０１のＣＰＵを、比較手段による比較結果に基づいて、被写体存在画像Ｐ１から被写体が含まれる領域Ｄを抽出するための抽出用背景色を生成する生成手段として機能させるようにしても良い。また、第２の特定処理ルーチンにより中央制御部３０１のＣＰＵを、生成手段により生成された抽出用背景色に基づいて、被写体存在画像Ｐ１内で被写体を構成する被写体構成領域Ｃｓ及び背景を構成する背景構成領域Ｃｂをそれぞれ特定する第２の特定手段として機能させるようにしても良い。
【０１２３】
同様に、分割手段、推定手段、判定手段、抽出手段についても、サーバ３の中央制御部３０１や撮像装置２０１の中央制御部１１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【０１２４】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【符号の説明】
【０１２５】
１００ 被写体切り抜きシステム
１、２０１ 撮像装置
２ ユーザ端末
３ サーバ
３０１ 中央制御部
３０４ 通信制御部
３０５ 被写体検出部
３０６ 被写体切抜部
３０６ａ 画像取得部
３０６ｂ 画像分割部
３０６ｃ 画像領域特定部
３０６ｄ 背景色推定部
３０６ｅ 類似度算出部
３０６ｆ 類似度判定部
３０６ｇ 背景画像生成部
３０６ｈ 背景領域特定部
３０６ｉ 被写体領域特定部
３０６ｊ 被写体抽出部
Ｍ 記録媒体
Ｎ 通信ネットワーク
【特許請求の範囲】
【請求項１】
背景と被写体とが存在する被写体存在画像を取得する取得手段と、
この取得手段により取得された被写体存在画像内で複数の画像領域を特定する第１の特定手段と、
この第１の特定手段により特定された各画像領域の代表色と所定の一色とを比較する比較手段と、
この比較手段による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する生成手段と、
この生成手段により生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する第２の特定手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記被写体存在画像を複数の画像領域に分割する分割手段を更に備え、
前記第１の特定手段は、
前記分割手段により分割された複数の画像領域を特定対象として特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段により取得された被写体存在画像の背景の色を一色で推定する推定手段を更に備え、
前記比較手段は、
前記推定手段により推定された前記背景の色を前記所定の一色として、前記第１の特定手段により特定された各画像領域の代表色との類似度を算出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記推定手段は、更に、
前記被写体存在画像の複数の領域の各々について、他の領域の代表色との類似度が所定の判定値以上であるか否かを判定し、前記所定の判定値以上であると判定された回数が最も多い領域の代表色を前記背景の色として推定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の特定手段は、更に、
前記推定手段により他の領域の色との類似度が所定の判定値以上であると判定された回数が最も多い領域を、前記背景構成領域として特定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記推定手段は、更に、
前記複数の領域の色のばらつき量を算出し、算出されたばらつき量が所定値以下である領域の各々について、他の領域の色との類似度が所定の判定値以上であるか否かを判定し、前記所定の判定値以上であると判定された回数が最も多い領域の色を前記背景の色として推定することを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記比較手段による比較の結果、各画像領域に係る類似度合が所定の判定値よりも大きいか否かを判定する判定手段を更に備え、
前記生成手段は、
前記判定手段により画像領域の類似度が所定の判定値よりも大きいと判定されると、当該画像領域に対応する領域については当該画像領域の背景色に基づいて前記抽出用背景色を生成し、一方、前記判定手段により画像領域の類似度が所定の判定値以下であると判定されると、当該画像領域に対応する領域については前記推定手段により推定された前記背景の色に基づいて前記抽出用背景色を生成することを特徴とする請求項３〜６の何れか一項に記載の画像処理装置。
【請求項８】
前記第２の特定手段により特定された前記被写体構成領域及び前記背景構成領域に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出する抽出手段を更に備えることを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
【請求項９】
画像処理装置を用いた画像処理方法であって、
背景と被写体とが存在する被写体存在画像を取得する処理と、
この取得された被写体存在画像内で複数の画像領域を特定する処理と、
この特定された各画像領域の代表色と所定の一色とを比較する処理と、
この比較する処理による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する処理と、
この生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する処理と、
を含むことを特徴とする画像処理方法。
【請求項１０】
画像処理装置のコンピュータを、
背景と被写体とが存在する被写体存在画像を取得する取得手段、
この取得手段により取得された被写体存在画像内で複数の画像領域を特定する第１の特定手段、
この第１の特定手段により特定された各画像領域の代表色と所定の一色とを比較する比較手段、
この比較手段による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する生成手段、
この生成手段により生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する第２の特定手段、
として機能させることを特徴とするプログラム。
【請求項１】
背景と被写体とが存在する被写体存在画像を取得する取得手段と、
この取得手段により取得された被写体存在画像内で複数の画像領域を特定する第１の特定手段と、
この第１の特定手段により特定された各画像領域の代表色と所定の一色とを比較する比較手段と、
この比較手段による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する生成手段と、
この生成手段により生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する第２の特定手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記被写体存在画像を複数の画像領域に分割する分割手段を更に備え、
前記第１の特定手段は、
前記分割手段により分割された複数の画像領域を特定対象として特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段により取得された被写体存在画像の背景の色を一色で推定する推定手段を更に備え、
前記比較手段は、
前記推定手段により推定された前記背景の色を前記所定の一色として、前記第１の特定手段により特定された各画像領域の代表色との類似度を算出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記推定手段は、更に、
前記被写体存在画像の複数の領域の各々について、他の領域の代表色との類似度が所定の判定値以上であるか否かを判定し、前記所定の判定値以上であると判定された回数が最も多い領域の代表色を前記背景の色として推定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の特定手段は、更に、
前記推定手段により他の領域の色との類似度が所定の判定値以上であると判定された回数が最も多い領域を、前記背景構成領域として特定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記推定手段は、更に、
前記複数の領域の色のばらつき量を算出し、算出されたばらつき量が所定値以下である領域の各々について、他の領域の色との類似度が所定の判定値以上であるか否かを判定し、前記所定の判定値以上であると判定された回数が最も多い領域の色を前記背景の色として推定することを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記比較手段による比較の結果、各画像領域に係る類似度合が所定の判定値よりも大きいか否かを判定する判定手段を更に備え、
前記生成手段は、
前記判定手段により画像領域の類似度が所定の判定値よりも大きいと判定されると、当該画像領域に対応する領域については当該画像領域の背景色に基づいて前記抽出用背景色を生成し、一方、前記判定手段により画像領域の類似度が所定の判定値以下であると判定されると、当該画像領域に対応する領域については前記推定手段により推定された前記背景の色に基づいて前記抽出用背景色を生成することを特徴とする請求項３〜６の何れか一項に記載の画像処理装置。
【請求項８】
前記第２の特定手段により特定された前記被写体構成領域及び前記背景構成領域に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出する抽出手段を更に備えることを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
【請求項９】
画像処理装置を用いた画像処理方法であって、
背景と被写体とが存在する被写体存在画像を取得する処理と、
この取得された被写体存在画像内で複数の画像領域を特定する処理と、
この特定された各画像領域の代表色と所定の一色とを比較する処理と、
この比較する処理による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する処理と、
この生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する処理と、
を含むことを特徴とする画像処理方法。
【請求項１０】
画像処理装置のコンピュータを、
背景と被写体とが存在する被写体存在画像を取得する取得手段、
この取得手段により取得された被写体存在画像内で複数の画像領域を特定する第１の特定手段、
この第１の特定手段により特定された各画像領域の代表色と所定の一色とを比較する比較手段、
この比較手段による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する生成手段、
この生成手段により生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する第２の特定手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１３３６０７（Ｐ２０１２−１３３６０７Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８５３１５（Ｐ２０１０−２８５３１５）
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]