画像処理装置、画像処理方法、及びプログラム
【課題】人物等の前景物体に対して任意の背景を合成するために必要な画像処理に対する操作を簡便にすること。
【解決手段】切抜処理部１０２は、前景物体を含む処理対象画像のデータについて、前景物体を含む前景領域と、背景領域と、それらの境界領域とを検出する。切抜処理部１０２は、処理対象画像を表示部３８に表示するに際し、境界領域を他の領域とは識別可能な第１の色で表示させ、背景領域を、処理対象画像の色とは異なる第２の色で表示させる制御を実行する。
【解決手段】切抜処理部１０２は、前景物体を含む処理対象画像のデータについて、前景物体を含む前景領域と、背景領域と、それらの境界領域とを検出する。切抜処理部１０２は、処理対象画像を表示部３８に表示するに際し、境界領域を他の領域とは識別可能な第１の色で表示させ、背景領域を、処理対象画像の色とは異なる第２の色で表示させる制御を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、人物等の前景物体に対して任意の背景を合成し、その結果得られる合成画像を印刷する技術が存在する。
【０００３】
例えば特許文献１には、人物写真等を別の背景と合成して印刷する技術として、別の背景画像を人物の背後のスクリーンに直接投影する技術が開示されている。また、特許文献１には、クロマキー合成に用いるためにブルーバック背景を投影する技術や、映画でよく用いられる、いわゆるクロマキー合成処理との組み合せの技術についても開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−７７９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、スクリーンや投影装置等を用いることなく、画像処理のみによって任意の背景に任意の画像から切り抜いた前景物体を合成したいという要求が近年挙げられているが、特許文献１の技術では、当該要求に応えることができない。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、スクリーンや投影装置等を用いることなく、任意の背景に任意の画像から切り抜いた前景物体を合成するために必要な画像処理を実現し、ひいては当該画像処理に対する操作を簡便にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様によると、
前景物体を含む処理対象画像のデータについて、前記前景物体を含む前景領域と、背景領域と、前記前景領域と前記背景領域との境界を示す境界領域とを検出する検出手段と、
前記処理対象画像を表示するに際し、前記境界領域を他の領域とは識別可能な第１の色で表示させ、前記背景領域を、前記第１の色とは異なる第２の色で表示させる制御を実行する表示制御手段と、
を備える画像処理装置を提供する。
【０００８】
本発明の一態様によると、上述した本発明の一態様に係る画像処理装置に対応する画像処理方法及びプログラムの各々を提供する。
【発明の効果】
【０００９】
本発明によれば、スクリーンや投影装置等を用いることなく、任意の背景を前景物体に合成するために必要な画像処理を実現し、ひいては当該画像処理に対する操作を簡便にすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】図１の画像処理システムのクライアント機器のハードウェア構成を示すブロック図である。
【図３】図１の画像処理システムのサーバのハードウェア構成を示すブロック図である。
【図４】図２のハードウェア構成を有するクライアント機器と、図３のハードウェア構成を有するサーバとが協働して切抜処理を実行する場合の画像処理システムの機能的構成を示す機能ブロック図である。
【図５】図４のクライアント機器が切抜指定処理を実行する場合に取り得る各状態の一例を示す状態遷移図である。
【図６】図４の画像処理システムの切抜処理で用いられる基本画面の一例を示す図である。
【図７】図５の切抜指定処理で用いられる切抜領域指定画面の一例を示す図である。
【図８】図５の切抜指定処理で用いられる切抜修正指定画面の一例を示す図である。
【図９】図５の切抜指定処理の一部に対応する切抜領域修正処理の流れを説明するフローチャートである。
【図１０】図４のクライアント機器が仕上調整処理を実行する場合に取り得る各状態の一例を示す状態遷移図である。
【図１１】図１０の仕上調整処理内で実行されるマット処理の流れを説明するフローチャートである。
【図１２】図１０の仕上調整処理で用いられる仕上確認画面の一例を示す図である。
【図１３】図１０の仕上調整処理で用いられる仕上調整画面の一例を示す図である。
【図１４】図１のクライアント機器とサーバとが協同して切り抜き処理を実行する場合の相互の処理の関係について説明するフローチャートである。
【図１５】図１４のクライアント側処理の切抜処理の流れを説明するフローチャートである。
【図１６】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図１７】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図１８】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図１９】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２０】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２１】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２２】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２３】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２４】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２５】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２６】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２７】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２８】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２９】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態を図面に基づいて説明する。
【００１２】
図１は、本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。
【００１３】
図１に示す画像処理システムは、クライアント機器１１−１乃至１１−Ｎ（Ｎは１以上の任意の整数値）と、サーバ１２と、を備えている。
クライアント機器１１−１乃至１１−Ｎ及びサーバ１２の各々は、インターネット等の所定のネットワーク２１を介して相互に接続されている。
なお、以下、クライアント機器１１−１乃至１１−Ｎの個々を区別する必要が無い場合、これらをまとめて、「クライアント機器１１」と呼ぶ。
【００１４】
クライアント機器１１は、ネットワーク２１を介して接続したサーバ１２と協働して、人物等の着目物体（以下「前景」と呼ぶ）を含む画像を原画像として、当該原画像から前景を切り抜く画像処理を実行することができる。このような画像処理を、以下、「切抜処理」と呼ぶ。
このような切抜処理により原画像から切り出された前景は、原画像とは別の新たな背景と合成され、その結果得られる合成画像が紙媒体等に印刷されてユーザに提供される。
【００１５】
図２は、このような切抜処理を実行するためのクライアント機器１１のハードウェア構成を示すブロック図である。クライアント機器１１は、例えばカメラ付きパーソナルコンピュータにより構成することができる。
【００１６】
クライアント機器１１は、CPU（Central Processing Unit）３１と、ROM（Read Only Memory）３２と、RAM（Random Access Memory）３３と、バス３４と、入出力インターフェース３５と、撮像部３６と、操作部３７と、表示部３８と、記憶部３９と、通信部４０と、ドライブ４１と、を備えている。
【００１７】
CPU３１は、ROM３２に記録されているプログラムに従って、又は、記憶部３９からRAM３３にロードされたプログラムに従って、各種の処理を実行する。
RAM３３にはまた、CPU３１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１８】
例えば本実施形態では、後述する図４の通信制御部１０１を実現するプログラムが、ROM３２や記憶部３９に記憶されている。また、後述する図４の切抜処理部１０２を実現するプログラム（切抜処理を実行するプログラムであり、以下、「切抜処理用プログラム」と呼ぶ）は、サーバ１２から提供されてRAM３３に展開される。従って、CPU３１が、これらのプログラムに従った処理を実行することで、図４の通信制御部１０１及び切抜処理部１０２の各機能を実現することができる。
【００１９】
CPU３１、ROM３２、及びRAM３３は、バス３４を介して相互に接続されている。このバス３４にはまた、入出力インターフェース３５も接続されている。入出力インターフェース３５には、撮像部３６、操作部３７、表示部３８、記憶部３９、通信部４０、及びドライブ４１が接続されている。
【００２０】
撮像部３６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００２１】
光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２２】
イメージセンサは、光電変換素子や、AFE（Analog Front End）等から構成される。
光電変換素子は、例えばCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮像）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D（Analog/Digital）変換処理等の各種信号処理を施す。各種信号処理によって、デジタル信号が生成され、撮像部３６の出力信号として出力される。
なお、以下、撮像部３６の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部３６からは撮像画像のデータが出力されて、CPU３１等に適宜供給される。
【００２３】
操作部３７は、キーボードやマウス等で構成され、ユーザの指示操作を受け付ける。
表示部３８は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部３９は、ハードディスク等で構成され、撮像部３６から出力された撮像画像のデータ等、画像処理の対象となる画像のデータを一時記憶する。また、記憶部３９は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部４０は、ネットワーク２１を介してサーバ１２（図１）等の他の装置との間で行う通信を制御する。
例えば本実施形態では、各種データの他、上述の如く切抜処理用プログラムがサーバ１２から送信されてくる場合がある。このような場合、通信部４０は、当該切抜処理用プログラムを受信して記憶部３９に一旦記憶させる。記憶部３９に記憶された切抜処理用プログラムは、RAM３３に展開されてCPU３１により実行される。
【００２４】
ドライブ４１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア４２が適宜装着される。
ドライブ４１によってリムーバブルメディア４２から読み出されたプログラムは、必要に応じて記憶部３９にインストールされる。また、リムーバブルメディア４２は、記憶部３９に記憶されている画像のデータ等の各種データも、記憶部３９と同様に記憶することができる。
【００２５】
図３は、このようなクライアント機器１１と協働して切抜処理を実行するためのサーバ１２のハードウェア構成を示すブロック図である。
【００２６】
サーバ１２は、CPU５１と、ROM５２と、RAM５３と、バス５４と、入出力インターフェース５５と、入力部５６と、出力部５７と、記憶部５８と、通信部５９と、ドライブ６０と、を備えている。
【００２７】
CPU５１は、ROM５２に記録されているプログラムに従って、又は、記憶部５８からRAM５３にロードされたプログラムに従って、各種の処理を実行する。
RAM５３にはまた、CPU５１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００２８】
例えば本実施形態では、後述する図４の通信制御部１５１及び主制御部１５２の各機能を実現するプログラムが、ROM５２や記憶部５８に記憶されている。従って、CPU５１が、これらのプログラムに従った処理を実行することで、図４の通信制御部１５１及び主制御部１５２の各機能を実現することができる。
【００２９】
CPU５１、ROM５２、及びRAM５３は、バス５４を介して相互に接続されている。このバス５４にはまた、入出力インターフェース５５も接続されている。入出力インターフェース５５には、入力部５６、出力部５７、記憶部５８、通信部５９、及びドライブ６０が接続されている。
【００３０】
入力部５６は、キーボードやマウス等で構成され、各種情報を入力する。
出力部５７は、液晶ディスプレイ、スピーカ、プリンタ等で構成され、各種情報を出力する。例えば、クライアント機器１１の切抜処理によって原画像から切り抜かれた前景と、原画像とは別の新背景とが合成され、その結果得られる合成画像が、プリンタにより紙媒体等に印刷されて出力される。
記憶部５８は、ハードディスク等で構成され、各種情報を記憶する。
通信部５９は、ネットワーク２１を介してクライアント機器１１（図１）等の他の装置との間で行う通信を制御する。
【００３１】
ドライブ６０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア６１が適宜装着される。
ドライブ６０によってリムーバブルメディア６１から読み出されたプログラムは、必要に応じて記憶部５８にインストールされる。また、リムーバブルメディア６１は、記憶部５８に記憶されている画像のデータ等の各種データも、記憶部５８と同様に記憶することができる。
【００３２】
図４は、図２のハードウェア構成を有するクライアント機器１１と、図３のハードウェア構成を有するサーバ１２とが協働して切抜処理を実行する場合の画像処理システムの機能的構成を示す機能ブロック図である。
【００３３】
［クライアント機器１１の機能的構成］
初めに、画像処理システムの構成要素のうち、クライアント機器１１の機能的構成について説明する。
【００３４】
クライアント機器１１がネットワーク２１を介してサーバ１２と通信をする場合、クライアント機器１１のCPU３１において、通信制御部１０１が機能する。
即ち、通信制御部１０１は、通信部４０及びネットワーク２１を介してサーバ１２と接続して、各種情報を授受するための制御を実行する。
例えば、通信制御部１０１は、切抜処理用プログラムがサーバ１２から送信されてきた場合、ネットワーク２１を介して通信部４０に受信させ、記憶部３９のプログラム記憶部１３１に一旦記憶させる。
このようにしてプログラム記憶部１３１に記憶された切抜処理用プログラムがRAM３３（図２）に展開されて実行されると、CPU３１において、切抜処理部１０２が機能する。
【００３５】
切抜処理部１０２は、切抜処理を実行すべく、切抜指定部１１１と、仕上調整部１１２と、を備えている。仕上調整部１１２は、領域演算処理部１２１を備えている。
【００３６】
即ち、切抜処理を実現する切抜処理用プログラムは、大別すると、切抜指定プログラムと、仕上調整プログラムと、に分類される。
【００３７】
切抜処理用プログラムのうち切抜指定プログラムが実行される場合には、切抜処理部１０２のうち切抜指定部１１１が機能する。
切抜指定プログラムとは、処理対象の原画像から、切抜対象としてユーザにより選択される前景の領域（以下、「選択領域」と呼ぶ）の指定を行い、選択領域の境界部分をきれいに仕上げる（境界領域の重ね合わせを滑らかにする）ための演算を行い、その演算結果を保存するまでの一連の処理（以下、「切抜指定処理」と呼ぶ）を実現するプログラムである。
なお、選択領域の境界部分をきれいに仕上げる（境界領域の重ね合わせを滑らかにする）ための演算を、以下、「領域演算」と呼ぶ。
切抜指定プログラムでは、処理途中の状態でもデータの保存が可能になっており、処理途中の状態で保存されたデータが再度読み込まれた場合、保存された時点の状態から処理の継続が可能になる。即ち、ユーザにとっては、保存された状態から継続して作業を行うことが可能になる。
【００３８】
一方、切抜処理用プログラムのうち仕上調整プログラムが実行される場合には、切抜処理部１０２のうち仕上調整部１１２が機能する。
即ち、上述の切抜指定プログラムのみが実行されても、境界領域の仕上げを行った選択領域を特定可能なデータが得られるが、ユーザが、さらに高精細な合成画像を得たいと所望した場合や境界領域の調整を行いたいと所望した場合等に実行されるプログラムが、仕上調整プログラムである。
仕上調整プログラムでは、切抜指定プログラムによる切抜指定処理の結果が読み込まれ、領域演算を伴う各種処理（これらをまとめて、「仕上調整処理」と呼ぶ）が実行される。この仕上調整処理における領域演算は、後述するマット処理を伴うものであるため、このマット処理も含めた領域演算を実行する処理を、以下、「領域演算処理」と呼ぶ。
このマット処理が実行される場合には、仕上調整部１１２のうち、領域演算処理部１２１が機能する。
仕上調整プログラムでは、処理途中の状態でもデータの保存が可能になっており、処理途中の状態で保存されたデータが再度読み込まれた場合、保存された時点の状態から処理の継続が可能になる。即ち、ユーザにとっては、保存された状態から継続して作業を行うことが可能になる。
【００３９】
なお、切抜指定部１１１、仕上調整部１１２、及び、領域演算処理部１２１の各々が有する各機能の更なる詳細については、図５以降の図面を参照して後述する。
【００４０】
このように、本実施形態では、通信制御部１０１及び切抜処理部１０２は、図２に示す構成のうち、CPU３１というハードウェアと、プログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示であって、通信制御部１０１及び切抜処理部１０２の機能の少なくとも一部を、CPU３１以外の他の構成要素に移譲させることも当然可能である。
【００４１】
また、本実施形態では、記憶部３９の一領域として、プログラム記憶部１３１と、画像記憶部１３２と、が設けられている。
プログラム記憶部１３１は、通信制御部１０１を実現するプログラムを予め記憶している。また、上述したように、通信制御部１０１の制御により切抜処理用プログラムが受信された場合、当該切抜処理用プログラムはプログラム記憶部１３１に記憶される。
画像記憶部１３２は、切抜処理部１０２が切抜処理を実行する際の処理対象となる各種画像のデータを所定のファイル形式で記憶する。画像記憶部１３２に記憶され得る画像のデータの具体例については、後述する。
なお、プログラム記憶部１３１及び画像記憶部１３２が記憶部３９の一領域として設けられていることは例示にすぎず、その他例えば、リムーバブルメディア４２の一領域として設けられるようにしてもよい。また、画像記憶部１３２は、クライアント機器１１に設けられている必要は特になく、例えば、通信部４０及びネットワーク２１を介して接続される他の装置内に設けられていてもよい。
【００４２】
以上、画像処理システムの構成要素のうち、クライアント機器１１の機能的構成について説明した。次に、画像処理システムの構成要素のうち、サーバ１２の機能的構成について説明する。
【００４３】
［サーバ１２の機能的構成］
クライアント機器１１がネットワーク２１を介して接続するサーバ１２と協働して切抜処理を実行する場合、サーバ１２のCPU５１においては、通信制御部１５１と、主制御部１５２と、が機能する。
【００４４】
通信制御部１５１は、通信部５９及びネットワーク２１を介してクライアント機器１１と接続して、各種情報を授受するための制御を実行する。
例えば、通信制御部１５１は、クライアント機器１１からアクセスされると（例えば後述するログイン処理がなされると）、記憶部５８のプログラム記憶部１６１に記憶されていた切抜処理用プログラムを読み出して、通信部５９からネットワーク２１を介してクライアント機器１１に対して送信する（後述する図１４のステップＳ２０１，Ｓ２２１，Ｓ２２３参照）。
また例えば、通信制御部１５１は、切抜処理後の画像等、各種画像のデータがクライアント機器１１から送信されてきた場合、各種画像のデータをネットワーク２１を介して通信部５９に受信させ、記憶部５８の画像記憶部１６２に記憶させる。
その後例えば、画像記憶部１６２に記憶された画像のデータに基づいて、切抜処理によって原画像から切り抜かれた前景と、原画像とは別の新背景とが合成され、その結果得られる合成画像が、プリンタにより紙媒体等に印刷されて出力される。
【００４５】
主制御部１５２は、クライアント機器１１がネットワーク２１と接続してサーバ１２と協働して切抜処理を実行する場合、サーバ１２全体を制御する。
なお、主制御部１５２の制御の詳細については、図１４等を参照して後述する。
【００４６】
このように、本実施形態では、通信制御部１５１及び主制御部１５２は、図３に示す構成のうち、CPU５１というハードウェアと、プログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示であって、通信制御部１５１及び主制御部１５２の機能の少なくとも一部を、CPU５１以外の他の構成要素に移譲させることも当然可能である。
【００４７】
また、本実施形態では、記憶部５８の一領域として、プログラム記憶部１６１と、画像記憶部１６２と、が設けられている。
プログラム記憶部１６１は、通信制御部１５１及び主制御部１５２の各々を実現するプログラムを予め記憶している。プログラム記憶部１６１はまた、上述の如く、クライアント機器１１に対してダウンロードさせることが可能な、切抜処理用プログラムを予め記憶している。
画像記憶部１６２は、上述したように、クライアント機器１１から送信されて通信部５９に受信された、各種画像のデータを所定のファイル形式で記憶する。画像記憶部１６２に記憶され得る画像のデータの具体例については、後述する。
なお、プログラム記憶部１６１及び画像記憶部１６２が記憶部５８の一領域として設けられていることは例示にすぎず、その他例えば、リムーバブルメディア６１の一領域として設けられるようにしてもよい。また、画像記憶部１６２は、サーバ１２に設けられている必要は特になく、例えば、通信部５９及びネットワーク２１を介して接続される他の装置内に設けられていてもよい。
【００４８】
次に、このような図４の機能的構成を有する画像処理システムが実行する切抜処理の詳細について説明する。
先ず、図５乃至図９を参照して、切抜処理のうち、切抜指定処理の詳細について説明する。
【００４９】
図５は、クライアント機器１１が切抜指定処理を実行する場合に取り得る各状態の一例を示す状態遷移図である。
【００５０】
図５において、各状態は、１つの楕円で示されており、その楕円に引かれた“Ｓ”を含む符号により判別される。
１つの状態から１つの状態への状態遷移（同一の状態に留まる場合も含む）は、所定の条件（以下、「状態遷移条件」と呼ぶ）が満たされると実行される。
このような状態遷移条件は、図５おいては、１つの状態から１つの状態への遷移を表す矢印に、“Ｃ”を含む符号を付して表されている。
なお、本段落の内容は、後述する図１０の状態遷移図についても同様にあてはまる。
【００５１】
前提として、本実施形態では、処理対象画像のデータは、切抜指定処理の開始前に予め画像記憶部１３２から読み込まれているものとする。
即ち、詳細については図１４のフローチャートを参照して後述するが、切抜処理（切抜指定処理）の前に、画像記憶部１３２に記憶されている複数の画像のデータの中から、切抜対象の前景（人物等）を含む画像のデータがユーザにより選択される（後述する図１４のステップＳ２０４参照）。
このようにして選択され画像のデータは、処理対象画像のデータとして画像記憶部１３２から読み込まれ、サーバ１２に送信される（後述する図１４のステップＳ２０５参照）。これにより、切抜処理のうち切抜指定処理が開始する（後述する図１４のステップＳ２０６，図１５のステップＳ２４１参照）。
すると、切抜指定部１１１（図４）は、状態遷移条件Ｃ１が満たされたと判定し、クライアント機器１１の状態を、処理対象画像取得処理状態Ｓ１１に遷移させる。
【００５２】
処理対象画像取得処理状態Ｓ１１に遷移すると、切抜指定部１１１は、処理対象画像のデータを取得する。
ここで、処理対象画像のデータは、特に限定されず、例えば撮像部３６（図２）により人物が撮像された結果得られる撮像画像のデータ等を採用することができる。
ただし、読み込まれた画像の解像度（サイズ）のままでは、切抜指定処理に長時間を要する場合がある。そこで、本実施形態では、切抜指定部１１１は、読み込まれた画像のデータの解像度（サイズ）を縮小する。
このように切抜指定部１１１により縮小された後の解像度（サイズ）を、以下、「縮小サイズ」と呼ぶ。例えば、（水平方向の画素数）×（垂直方向の画素数）のサイズという表記を用いるならば、本実施形態では縮小サイズとして、640×480のサイズ又は480×640のサイズが採用される。
【００５３】
ここで、処理対象画像のデータとして取得される種類として、次の２種類が存在する。
即ち、１種類目のデータとは、撮像画像等の原画像のデータそのものである。
主に、処理対象画像に対する切抜指定処理が初回の場合に、１種類目のデータ、即ち、原画像のデータそのものが取得される。この場合、原画像のデータが縮小サイズのデータに変換されると、切抜指定部１１１は、状態遷移条件Ｃ２が満たされたと判定し、クライアント機器１１の状態を、切抜領域指定画面操作処理状態Ｓ１２に遷移させる。
これに対して、２種類目のデータとは、前回の処理対象画像に対する切抜指定処理の途中に保存された画像（切抜画像等）のデータである。
２種類目の画像のデータが取得され、必要に応じて、当該データが縮小サイズのデータに変換されると、切抜指定部１１１は、状態遷移条件Ｃ３が満たされたと判定し、クライアント機器１１の状態を、切抜修正画面操作処理状態Ｓ１４に遷移させる。
【００５４】
このようにして、処理対象画像取得処理状態Ｓ１１からは、切抜領域指定画面操作処理状態Ｓ１２又は切抜修正画面操作処理状態Ｓ１４に遷移する。
ここで、「切抜領域指定画面操作処理状態」とは、「切抜領域指定画面」と名付けられたGUI（Graphical User Interface）用の画面が、クライアント機器１１の表示部３８（図２，図４）に表示され、当該画面に対してユーザによるGUI操作がなされた場合に、GUI操作の内容に応じた処理を実行している状態をいう。
従って、ユーザは、切抜領域指定画面を用いて、操作部３７（図２，図４）のマウス等を用いたGUI操作をすることによって、切抜処理を実行する上で必要な各種指示をクライアント機器１１と対話的に行うことが可能になる。
なお、この段落の記載事項は、切抜処理における、切抜修正画面操作処理状態等他の画面操作処理状態についても同様にあてはまる。
切抜処理で用いられる画面は複数種類存在するため、各状態において異なる種類の画面が表示部３８に表示される。
ただし、切抜処理で用いられる複数種類の画面は何れも、図６に示すような基本画面に基づいて生成される。即ち、基本画面を構成する各要素（ソフトウェアボタンやスライダー等）のうち、所定の種類の画面が表示される状態において、使用できないものや、選択する必要が無いためそのアイコンを選択している状態になっているもの（移動アイコン等）は表示が禁止されるように、当該所定の種類の画面が生成される。
【００５５】
図６は、切抜処理で用いられる基本画面の一例を示している。
基本画面２０１は、６つの表示領域２１１乃至２１６に区分されている。
【００５６】
表示領域２１１は、基本画面２０１の略中央部に位置し、処理対象画像のうち、ユーザが操作対象とする部分を表示する。
【００５７】
表示領域２１２には、例えば「色の変更」と表示されたソフトウェアボタン２３１（以下、「色変更ボタン２３１」と呼ぶ）が配置される。色変更ボタン２３１には、境界領域やその外側の背景領域（後述する非選択領域）についての色の変更の指示の機能が割り当てられる。
また例えば、図６には図示しないが（図１２参照）、表示領域２１２の同一位置に、「背景を変更」と表示されたソフトウェアボタン３５１（以下、「背景変更ボタン３５１」と呼ぶ）が配置される場合がある。背景変更ボタン３５１には、（異なった色の）背景の表示切替等の指示の機能が割り当てられる。
即ち、ユーザは、操作部３７のマウス等を用いて、色変更ボタン２３１や背景変更ボタン３５１を押下操作することで、これらに割り当てられている内容の指示を行うことができる。なお、これらの各種指示の詳細については後述する。
【００５８】
表示領域２１２にはまた、左方に「透明度」と表示されたスライダー２３２（以下、「透明度変更スライダー２３２」と呼ぶ）が配置される。透明度変更スライダー２３２は、境界領域やその外側の背景領域（後述する非選択領域）の透明度の変更を行うスライダーである。
【００５９】
ここで、スライダーとは、オーディオ機器等で見られるスライドボリュームを模したソフトウェア上のコントロールをいう。一般的に、スライダーは、小さなつまみと、それを動かすための溝を模した表示によって構成される。
このスライダーは、一定の範囲内から１つの値を選択するという機能を有している。溝の両端のうち、一方の端が最小値であり、他方の端が最大値である。即ち、ユーザは、操作部３７のマウス等を用いて、小さなつまみをドラッグして移動させることにより、溝の範囲内で任意の値（透明度変更スライダー２３２では、透明度）を選択することができる。
なお、選択肢の中から１つを選ぶという機能だけに着目すると、ラジオボタンやリストボックスを採用してもよいが、本実施形態のようにスライダーを採用することで、ユーザは、連続した関係にある多数の値の中から所望の値を選択することが可能になる。
【００６０】
表示領域２１３には、「拡大縮小」と表示されたスライダー２４１（以下、「拡大縮小スライダー２４１」と呼ぶ）が配置される。
拡大縮小スライダー２４１は、表示領域２１１に表示される画像の拡大縮小を行うスライダーである。本実施形態の拡大縮小スライダー２４１においては、その溝の左端に対して、最小倍率である１倍が対応付けられており、その溝の右端に対して、最大倍率である８培が対応付けられている。即ち、本実施形態では、１倍未満の選択はできないことになる。小さなつまみが溝の左端によせられると、表示領域２１１は１倍表示となる。ここで、１倍表示とは、編集画像（処理対象画像）の全体が表示領域２１１の全体に表示された状態をいう。
【００６１】
表示領域２１４には、描画ツールが配置される。
描画ツールとは、ユーザが操作部３７のマウス等を用いてアイコンやペンをクリックして、表示領域２１１に対するマウス操作の動作を変更するために使用するツールをいう。
描画ツールを構成する要素の種類や個数は特に限定されないが、本実施形態では図６に示すように、移動アイコン２５１、背景ペン２５２、境界ペン２５３、消しゴム２５４、及びペンサイズ２５５が表示領域２１４に配置されている。
移動アイコン２５１は、ユーザが操作部３７のマウス等を用いてマウスドラックを行うことで、拡大中の画面の表示領域を変更（移動）する機能を有するアイコンである。
背景ペン２５２は、背景を指定するために使用するソフトウェアペンである。
境界ペン２５３は、背景と前景との境界を指定するために使用するソフトウェアペンである。
消しゴム２５４は、切抜領域指定画面（後述する図７参照）では、境界ペン２４２で描いた領域を消去するために使用し、切抜領域指定画面以外の画面では、選択領域（切り抜かれる前景領域）を指定するために使用するためのツールである。
ペンサイズ２５５は、背景ペン２５２、境界ペン２５３、消しゴム２５４の塗りのサイズを選択するためのアイコンである。ユーザは、操作部３７のマウス等を用いて、ペンサイズ２５５のうち所望のサイズのアイコンをクリックすることで、塗りのサイズを変更できる。
なお、本実施形態では、画面間を移行した場合には、ペンサイズ２５５の設定（塗りのサイズ）はリセットされる。領域演算（マット領域演算含む）が実行された場合には、ペンサイズ２５５の設定（塗りのサイズ）は維持される。表示拡大時のペンサイズ２５５の設定（塗りのサイズ）は、画面の拡大と一緒に拡大される。
【００６２】
表示領域２１５には、ソフトウェアボタン２６１乃至２６４等各種ソフトウェアボタンが配置される。
表示領域２１５に配置されるソフトウェアボタンは、各種画面によってまちまちであるため、後述する各種画面の説明の際に併せて説明する。なお、図６に示すソフトウェアボタン２６１乃至２６４は、後述する仕上領域指定画面において用いられるものである。
【００６３】
表示領域２１６は、予備領域として設けられており、メッセージ画像等各種画像が適宜表示される。
【００６４】
次に、このような図６の基本画面２０１に基づいて生成される画面のうち、図５の切抜領域指定画面操作処理状態Ｓ１２で表示される画面、即ち切抜領域指定画面について説明する。
【００６５】
図７は、切抜領域指定画面の一例を示している。
切抜領域指定画面２０２は、基本画面２０１（図６）と同様に、６つの表示領域２１１乃至２１６に区分されている。
ただし、切抜領域指定画面２０２の表示領域２１２，２１３，２１６には、何ら表示されていない。
【００６６】
表示領域２１１には、初期状態として、撮像画像等の処理対象画像の全体（ただし縮小サイズ）が表示される。
表示領域２１４には、描画ツールのうち、境界ペン２５３、消しゴム２５４、及びペンサイズ２５５が表示される。
【００６７】
そこで、ユーザは、操作部３７のマウス等を用いて、表示領域２１１に表示された処理対象画像のうち、前景と背景との境界領域を境界ペン２５３で囲うように指定する。このとき、ユーザにより指定された境界領域が、ペンサイズ２５５により指定された塗りのサイズの太さで、表示領域２１１に表示される。例えば図７の例では、前景（ウミガメ）と背景との境界領域は指定されている最中なので、境界領域として、指定済みの部分に対応する一部の領域３０１が表示されている。
【００６８】
ユーザは、境界領域の指定の操作を行っている最中に境界ペン２５３で誤った部分を指定しまった場合、消しゴム２５４を用いて、表示領域２１１に表示された境界領域のうち、誤った部分に対応する領域を消去することができる。
また、ユーザは、境界ペン２５３や消しゴム２５４の描画サイズ（塗りのサイズ）を変更したい場合には、ペンサイズ２５５の設定を行えばよい。
【００６９】
切抜領域指定画面２０２の表示領域２１５には、「やり直し」と表示されたソフトウェアボタン３１１（以下、「やり直しボタン３１１」と呼ぶ）と、「領域計算」と表示されたソフトウェアボタン３１２（以下、「領域計算ボタン３１２」と呼ぶ）と、が配置される。
【００７０】
やり直しボタン３１１には、直前の操作を取り消す機能が割り当てられている。
即ち、ユーザは、直前の操作内容が間違っていた場合等に、操作部３７のマウス等を用いて、やり直しボタン３１１を押下操作することで、当該直前の操作を取り消すことができる。
【００７１】
領域計算ボタン３１２には、領域演算の開始指示の機能が割り当てられている。
即ち、ユーザは、境界領域の指定の操作後、操作部３７のマウス等を用いて、領域計算ボタン３１２を押下操作することで、当該境界領域についての領域演算の開始指示を行うことができる。
【００７２】
領域計算ボタン３１２が押下操作されると、切抜指定部１１１（図４）は、図５に示すように、状態遷移条件Ｃ４が満たされたと判定し、クライアント機器１１の状態を、領域演算処理状態Ｓ１３に遷移させる。
【００７３】
領域演算処理状態Ｓ１３に遷移すると、切抜指定部１１１は、処理対象画像のデータ（縮小サイズ）に基づいて、ユーザにより指定された境界領域についての領域演算を行う。
具体的には本実施形態では、切抜指定部１１１は、次のような一連の処理を実行することで、領域演算を行う。
即ち、切抜指定部１１１は、処理対象画像のデータに基づいて、ユーザにより指定された境界領域の内側の領域を、前景と断定できる領域（以下、「絶対前景領域」と呼ぶ）として決定し、当該境界領域の外側の領域を、背景と断定できる領域（以下、「絶対背景領域」と呼ぶ）を決定する。
次に、切抜指定部１１１は、処理対象画像（縮小サイズ）を構成する各画素毎に、前景又は背景を示す２値ラベルのあてはまりの良さを評価するコスト関数を、１階MRF（Markov Random Field）モデルを用いてモデル化し、その最適解を求める。
具体的には、切抜指定部１１１は、絶対前景領域と絶対背景領域との情報を用いてデータ項を作り、処理対象画像のエッジ性を用いて隣接項を作る。
これにより、最適化された、縮小サイズの２値ラベルが得られる。そこで、切抜指定部１１１は、当該２値ラベルを記憶部３９の画像記憶部１３２（図４）等に保存する。
このようにして、本実施形態では、切抜指定部１１１により領域演算が行われる。
【００７４】
このような領域演算が終了すると、切抜指定部１１１（図４）は、図５に示すように、状態遷移条件Ｃ５が満たされたと判定し、クライアント機器１１の状態を、切抜修正画面操作処理状態Ｓ１４に遷移させる。
なお、図５には図示しないが、境界ペン２５３で指定された境界領域の不具合（境界領域が閉じていない等）で領域演算が行われかった場合には、切抜指定部１１１は、領域演算がうまくいかなかったことを示すメッセージ画像を表示部３８に表示させ、切抜領域指定画面操作処理状態を維持する。
【００７５】
切抜修正画面操作処理状態Ｓ１４に遷移すると、切抜指定部１１１は、図８に示すような切抜修正画面を表示部３８に表示させる。
【００７６】
図８は、切抜修正指定画面の一例を示している。
切抜修正画面２０３は、基本画面２０１（図６）と同様に、６つの表示領域２１１乃至２１６に区分されている。
【００７７】
表示領域２１１には、初期状態として、上述した図７の切抜領域指定画面２０２の領域計算ボタン３１２が押下操作されて上述の領域演算が行われた結果が表示される。
即ち、表示領域２１１には、処理対象画像（縮小サイズ）に２値ラベル（縮小サイズ）が合成された合成画像が表示されるとともに、前景と背景との境界領域（図８の例ではウミガメの周囲を囲む領域３０２）が表示される。
この場合、境界領域内の領域が、切抜対象としてユーザにより選択される前景領域、即ち選択領域である。選択領域は透過率が１００％で固定されており、常に処理対象画像そのものが表示されるようになされている。
ユーザが操作部３７のマウス等を用いて選択領域を修正するための画面が、切抜修正画面２０３である。
【００７８】
表示領域２１２には、色変更ボタン２３１と、透明度変更スライダー２３２とが配置されている。
ここで、境界領域（図８の例ではウミガメの周囲を囲む領域３０２）の外側の領域、即ち、切抜対象としてユーザにより選択されない背景領域を、以下「非選択領域」と呼ぶ。この場合、切抜修正画面２０３の表示領域２１１に表示される画像は、前景としての選択領域と、背景としての非選択領域と、これらの領域の境界となる境界領域と、にそれぞれ分類される。
このような分類をユーザが視認できるように、本実施形態では、境界領域及び非選択領域の各々が、第１の色及び第２の色で表示される。なお、以下、境界領域を表示する第１の色を「境界色」と、背景としての非選択領域を表示する第２の色を「背景色」と、それぞれ呼ぶ。
このような境界色と背景色との組み合わせは、本実施形態の初期状態では、赤色と青色との組み合わせとされているが、それぞれの領域が識別可能な色であれば、どのような色でもよい。また、境界色及び背景色それぞれの色は色変更ボタン２３１によって変更可能になっている。即ち、ユーザは、色変更ボタン２３１を押下操作することで、境界色と背景色との組み合わせを、所望の色の組み合わせに変更することができる。なお、色の組み合わせの変更の詳細については、図２５を参照して後述する。
また、境界領域及び非選択領域は、本実施形態の初期状態では半透過状態となっているが、透明度変更スライダー２３２によって透明度の変更が可能になっている。なお、２値ラベル側の非選択領域が背景色となっており、この透明度が高くなるにつれ、処理対象画像の背景部分がユーザに視認されるようになる。境界領域の透明度についても同様になっている。
ユーザは、透明度変更スライダー２３２を操作することで、境界領域及び非選択領域の透明度を、所望の度合に変更することができる。
【００７９】
表示領域２１３には、拡大縮小スライダー２４１が配置されている。
従って、ユーザは、拡大縮小スライダー２４１を操作することで、選択領域、境界領域及び非選択領域のうちの、所望の領域や２以上の領域の結合部等着目する部分を拡大表示させることができる。その後、ユーザは、拡大縮小スライダー２４１を操作することで、拡大表示後の画像を、等倍となるまでの範囲内で縮小表示させることもできる。
【００８０】
表示領域２１４には、描画ツールのうち、移動アイコン２５１、背景ペン２５２、消しゴム２５４、及びペンサイズ２５５が表示される。
【００８１】
そこで、ユーザは、操作部３７のマウス等を用いて、表示領域２１１に表示されている画像のうち、本来前景であるはずが背景となっている領域を消しゴム２５４で消すように指定することで、当該領域を選択領域として新たに指定することができる。
一方、ユーザは、操作部３７のマウス等を用いて、表示領域２１１に表示されている画像のうち、本来背景であるはずが前景となっている領域を背景ペン２５２で描くように指定することで、当該領域を非選択領域として指定することができる。
要するに、表示領域２１１において、非選択領域は第２の色で表示されているので、ユーザは、色が塗ってあるところは、選択領域（前景）が切り抜かれた場合に切り捨てられる領域というイメージを持って、選択領域を修正する作業を行うことができる。
なお、表示領域２１１が拡大表示中の場合、ユーザは、移動アイコン２５１を用いて、表示領域（作業対象領域）を変更（移動）することができる。また、ユーザは、背景ペン２５２や消しゴム２５４の描画サイズ（塗りのサイズ）を変更したい場合には、ペンサイズ２５５の設定を行えばよい。
【００８２】
切抜修正画面２０３の表示領域２１５には、切抜領域指定画面２０２と同様にやり直しボタン３１１及び領域計算ボタン３１２が配置される。さらに、当該表示領域２１５には、「領域指定」と表示されたソフトウェアボタン３１３（以下、「領域指定ボタン３１３」と呼ぶ）と、「保存」と表示されたソフトウェアボタン３１４（以下、「保存ボタン３１４」と呼ぶ）と、が配置される。
【００８３】
ユーザは、直前の操作内容が間違っていた場合等に、操作部３７のマウス等を用いて、やり直しボタン３１１を押下操作することで、当該直前の操作を取り消すことができる。
【００８４】
また、ユーザは、選択領域の修正の操作後、操作部３７のマウス等を用いて、領域計算ボタン３１２を再度押下操作することで、領域演算の再演算の開始指示を行うことができる。
【００８５】
即ち、切抜修正画面２０３の領域計算ボタン３１２が押下操作されると、切抜指定部１１１（図４）は、図５に示すように、状態遷移条件Ｃ６が満たされたと判定し、クライアント機器１１の状態を、領域演算処理状態Ｓ１３に再び遷移させる。
【００８６】
領域演算処理状態Ｓ１３に再び遷移すると、切抜指定部１１１は、処理対象画像のデータ（縮小サイズ）に基づいて、ユーザにより修正された後の選択領域について、領域演算の再演算を実行する。
【００８７】
このような領域演算の再演算が終了すると、切抜指定部１１１は、図５に示すように、状態遷移条件Ｃ５が再び満たされたと判定し、クライアント機器１１の状態を、切抜修正画面操作処理状態Ｓ１４に再び遷移させる。
【００８８】
切抜修正画面操作処理状態Ｓ１４に再び遷移すると、切抜指定部１１１は、切抜修正画面を表示部３８に表示させる。この場合、表示領域２１１には、領域演算の再演算の結果を示す画像が表示される。
【００８９】
ここで、領域計算ボタン３１２の押下回数に特に制限はない。従って、ユーザは、選択領域の修正の操作を行い、領域計算ボタン３１２を押下操作して、領域演算の再演算の結果が表示領域２１１に表示されると、表示領域２１１の表示内容で修正結果の確認を行う、といった一連の作業を何回も繰り返すことができる。
【００９０】
なお、このような一連の作業の繰り返しても、所望の選択領域が得られない場合、ユーザは、一から境界領域の指定操作をやり直してもよい。
このような場合、ユーザは、領域指定ボタン３１３を押下操作すればよい。
すると、図５に示すように、状態遷移条件Ｃ７が満たされたと判定され、クライアント機器１１の状態が、切抜領域指定画面操作処理状態Ｓ１２に再び遷移し、図７に示す切抜領域指定画面２０２が再表示される。
これにより、ユーザは、切抜領域指定画面２０２に対するGUI操作を再度行うことができる。
【００９１】
一方、このような一連の作業が繰り返されて、所望の選択領域が得られた場合、ユーザは、切抜指定処理の結果を保存すべく、図８の切抜修正画面２０３の保存ボタン３１４を押下操作するとよい。
すると、図５に示すように、状態遷移条件Ｃ８が満たされたと判定され、クライアント機器１１の状態が、境界領域仕上処理状態Ｓ１５に遷移する。
【００９２】
境界領域仕上処理状態Ｓ１５に遷移すると、切抜指定部１１１は、境界領域仕上処理を実行する。
これにより、状態遷移条件Ｃ９が満たされたと判定され、クライアント機器１１の状態が、結果保存処理状態Ｓ１６に遷移する。結果保存処理状態Ｓ１６に遷移すると、切抜指定部１１１は、処理対象画像のデータ（オリジナルサイズ）と、領域演算により得られた２値化ラベル（縮小サイズ）と、を少なくとも含むファイルを生成し、記憶部３９の画像記憶部１３２に記憶させる。
このようなファイルを、以下、「切抜指定処理結果ファイル」と呼ぶ。
なお、図８の切抜修正画面２０３に対するGUI操作として、背景ペン２５２や消しゴム２５４で修正後、領域計算ボタン３１２が押下されずに（領域演算が行われずに）、保存ボタン３１４が押下された場合には、切抜指定部１１１は、領域演算を行わずに、最後に修正を行った状態を選択領域や非選択領域に反映したデータ（２値化ラベル）を作成し、当該データを切抜指定処理結果ファイルに含める。
【００９３】
このようにして、切抜指定処理結果ファイルが記憶部３９に記憶されると、図５に示すように、状態遷移条件Ｃ１０が満たされたと判定され、切抜指定処理が終了になる。
【００９４】
ここで、切抜指定処理時の操作について理解をさらに深めるべく、切抜修正画面操作処理状態Ｓ１４に遷移してから、ユーザが図８の切抜修正画面２０３に対する各種操作を行って、切抜修正が行われた後のデータが記憶部３２に記憶されるまでの一連の処理（以下、「切抜領域修正処理」と呼ぶ）について説明する。
図９は、切抜領域修正処理の流れを説明するフローチャートである。
図５と図９とを比較して容易にわかるように、図９の切り抜き領域修正処理とは、図５の領域演算処理Ｓ１３乃至結果保存処理Ｓ１６のうちの一部の連続した処理をフローチャート化したものである。
【００９５】
図５の切抜領域指定画面操作処理状態Ｓ１２において、切抜領域指定画面２０２（図７）の領域計算ボタン３１２が押下操作され、領域演算処理状態Ｓ１３において、領域減算が実行されて、状態遷移条件Ｃ５が満たされると、切抜修正画面操作処理状態Ｓ１４に遷移する。すると、切抜修正画面２０３（図８）が表示され、次に示すような切抜領域修正処理が実行される。
【００９６】
ステップＳ２１において、切抜指定部１１１は、選択領域の結果（切抜領域指定画面２０２に対する操作に基づく、領域演算の結果）を示す画像（以下、「表示画像」と呼ぶ）を、切抜修正画面２０３の表示領域２１１に表示させる。
ここで、本実施形態の表示画像においては、上述したように、非選択領域（背景領域）の背景色は青で、境界領域（図８の例ではウミガメの周囲を囲む領域３０２）の境界色は赤で、それぞれ表示されるものとする。また、上述したように、非選択領域及び境界領域は、初期状態として、半透過状態で表示されるものとする。
即ち、本実施形態の切抜修正画面２０３においては、色が塗ってある領域は切り捨てられる領域であるとイメージしてユーザが作業できるような表示形態となっている。
【００９７】
ステップＳ２２において、切抜指定部１１１は、色変更又は拡大縮小の指示があるか否かを判定する。
【００９８】
色変更又は拡大縮小の指示があると、ステップＳ２２おいてＹＥＳであると判定されて、処理はステップＳ２３に進む。
ステップＳ２３において、切抜指定部１１１は、表示領域２１１の表示画像を、色変更又は拡大縮小して表示させる。
具体的には例えば、色変更ボタン２３１が押下操作された場合には色変更が指示されたと判定され、即ちステップＳ２２の処理でＹＥＳであると判定され、ステップＳ２３の処理で境界色と背景色との組み合わせが変更される。
また例えば、拡大縮小スライダー２４１が操作された場合には拡大縮小が指示されたと判定され、即ちステップＳ２２の処理でＹＥＳであると判定され、ステップＳ２３の処理で表示画像の拡大又は縮小が行われる。
【００９９】
このようなステップＳ２３の処理が終了すると、処理はステップＳ２４に進む。
なお、色変更又は拡大縮小の指示がない場合にも、ステップＳ２２おいてＮＯであると判定されて、ステップＳ２３の処理は実行されずに、即ち表示領域２１１の表示の変更は行われずに、処理はステップＳ２４に進む。
【０１００】
ステップＳ２４において、切抜指定部１１１は、非選択領域の指定があるか否かを判定する。
【０１０１】
上述したように、ユーザは、操作部３７のマウス等を用いて、表示領域２１１に表示されている画像のうち、本来背景であるはずが前景となっている領域を背景ペン２５２で描くように指定することで、当該領域を非選択領域として指定することができる。
このような指定があると、ステップＳ２４おいてＹＥＳであると判定されて、処理はステップＳ２５に進む。
ステップＳ２５において、切抜指定部１１１は、指定された領域を非選択領域に変更する。この場合、表示領域２１１の表示画像において、非選択領域に変更された領域は背景色で表示される。
【０１０２】
このようなステップＳ２５の処理が終了すると、処理はステップＳ２６に進む。
なお、非選択領域の選択がない場合にも、ステップＳ２４おいてＮＯであると判定されて、ステップＳ２５の処理は実行されずに、即ち非選択領域への変更は行われずに、処理はステップＳ２６に進む。
【０１０３】
ステップＳ２６において、切抜指定部１１１は、選択領域の指定があるか否かを判定する。
【０１０４】
上述したように、ユーザは、操作部３７のマウス等を用いて、表示領域２１１に表示されている画像のうち、本来前景であるはずが背景となっている領域を消しゴム２５４で消すように指定することで、当該領域を選択領域として新たに指定することができる。
このような指定があると、ステップＳ２６おいてＹＥＳであると判定されて、処理はステップＳ２７に進む。
ステップＳ２７において、切抜指定部１１１は、指定された領域を選択領域に変更する。この場合、表示領域２１１の表示画像において、選択領域に変更された領域には、原画像の対応する領域が表示される。
【０１０５】
このようなステップＳ２７の処理が終了すると、処理はステップＳ２８に進む。
なお、非選択領域の選択がない場合にも、ステップＳ２６おいてＮＯであると判定されて、ステップＳ２７の処理は実行されずに、即ち非選択領域への変更は行われずに、処理はステップＳ２８に進む。
【０１０６】
ステップＳ２８において、切抜指定部１１１は、領域計算の指示があるか否かを判定する。
【０１０７】
上述したように、ユーザは、このような選択領域や非選択領域の指定の操作後、操作部３７のマウス等を用いて、領域計算ボタン３１２を押下操作することで、領域演算の再演算の開始指示を行うことができる。
このような指示があった場合、ステップＳ２８においてＹＥＳであると判定されて、処理はステップＳ１３に進む。
ステップＳ１３において、切抜指定部１１１は、領域演算処理を実行する。
ここで、図９のフローチャートのステップと図５の領域演算処理状態とで同一の符号Ｓ１３を付しているのは、同一の処理が実行されるからである。即ち、図９のステップＳ２８においてＹＥＳであると判定されることと、図５の状態遷移条件Ｃ６を満たされることとは等価である。
従って、図９のステップＳ１３の領域演算処理が終了することは、図５の状態遷移条件Ｃ５が満たされたことと等価になるので、図５において切抜修正画面操作処理状態Ｓ１４に再び遷移するように、図９では処理はステップＳ２１に戻され、それ以降の処理が繰り返されることになる。
【０１０８】
これに対して、このような領域演算処理が不要の場合、領域計算ボタン３１２は押下操作されないので、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ２９に進む。
ステップＳ２９において、切抜指定部１１１は、保存の指示があるか否かを判定する。
【０１０９】
上述したように、保存の指示は、保存ボタン３１４の押下操作によって行われる。
このような保存の指示が行われない場合、ステップＳ２９においてＮＯであると判定されて、処理はステップＳ２１に戻され、それ以降の処理が繰り返されることになる。
即ち、上述したように、ユーザは、所望の選択領域の結果が得られるまで、色変更や拡大縮小を適宜行いつつ、何度でも、選択領域や非選択領域の指定を繰り返すことができる。そして、ユーザは、所望の選択領域の結果が得られたときに、保存ボタン３１４を押下操作すればよい。
保存ボタン３１４が押下操作されると、ステップＳ２９においてＹＥＳであると判定されて、処理はステップＳ１５に進む。
ここで、図９のフローチャートのステップと図５の境界領域仕上処理状態とで同一の符号Ｓ１５を付しているのは、同一の処理が実行されるからである。即ち、図９のステップＳ２９においてＹＥＳであると判定されることと、図５の状態遷移条件Ｃ８が満たされることとは等価である。
【０１１０】
従って、図９のステップＳ１５の境界領域仕上げ処理が終了することは、図５の状態遷移条件Ｃ９が満たされたことと等価になるので、図５において結果保存処理状態Ｓ１６に遷移するのと等価に、同一符号のステップＳ１６に処理は進む。即ち、図９のフローチャートのステップと図５の結果保存処理状態とで同一の符号Ｓ１６を付しているのは、同一の処理が実行されるからである。
従って、ステップＳ１６の結果保存処理によって、切抜指定処理結果ファイルが記憶部３９に記憶されると、図５の状態遷移条件Ｃ１０が満たされたと判定されたのと等価に、切抜領域指定処理が終了になる。
【０１１１】
以上、図４の機能的構成を有する画像処理システムが実行する切抜処理のうち、切抜指定処理の詳細について、図５乃至図９を参照して説明した。
次に、図１０乃至図１３を参照して、当該切抜処理のうち、仕上調整処理の詳細について説明する。
【０１１２】
図１０は、クライアント機器１１が仕上調整処理を実行する場合に取り得る各状態の一例を示す状態遷移図である。
【０１１３】
仕上調整処理は、切抜指定処理後に実行される。即ち、切抜指定処理結果ファイルを用いても、処理対象画像から前景を切り出して、別の新背景に合成することは十分可能である。しかしながら、ユーザの中には、境界領域の高精度な仕上げや、より高精細な画像の仕上げを所望するものもいる。そこで、このようなユーザのために仕上処理が実行される。
仕上調整処理の開始の指示は、操作部３７に対する所定の操作により行われる。
このような指示がなされると、仕上調整部１１２（図４）は、状態遷移条件Ｃ４１が満たされたと判定し、クライアント機器１１の状態を、ファイル読込処理状態Ｓ４１に遷移させる。
【０１１４】
ファイル読込処理状態Ｓ４１に遷移すると、仕上調整部１１２は、処理対象画像のデータを含む切抜指定処理結果ファイルを記憶部３９から読み込む。
これにより、状態遷移条件Ｃ４２が満たされた判定されて、クライアント機器１１の状態は、サイズ設定処理状態Ｓ４２に遷移する。
【０１１５】
サイズ設定処理状態Ｓ４２に遷移すると、仕上調整部１１２は、次のような一連の処理を実行する。
即ち、仕上調整部１１２は、図示はしないが、出力サイズを選択させる画面を表示部３８に表示させ、ユーザの選択操作を待ち受ける。
ユーザは、操作部３７を操作して、印刷出力等する場合の画像のサイズとして、所望のサイズを選択する。
仕上調整部１１２は、ユーザにより選択されたサイズを、出力サイズとして設定する。ここで、出力サイズは、一般的には、撮像画像等の処理対象画像のオリジナルサイズ以下となるが、特にこれに限定されず、任意のサイズで構わない。
このような一連の処理が実行されると、状態遷移条件Ｃ４３が満たされたと判定されて、クライアント機器１１の状態は、領域演算処理状態Ｓ４３に遷移する。
【０１１６】
領域演算処理状態Ｓ４３に遷移すると、仕上調整部１１２の領域演算処理部１２１は、読み込まれた切抜指定処理結果ファイルについて、領域演算処理を実行する。
【０１１７】
領域演算においては、マット処理が実行される。
マット処理の本質は、前景と背景の境界画素の混色を分離することである。
具体的には、次の式（１）の条件を連立させ、観測値Pから未知数α,F（場合によってはBも)を推定する処理が、マット処理である。
P[x,y,c]=α[x,y]F[x,y,c]+(1-α[x,y])B[x,y,c]・・・（１）
式（１）の左辺において、P[x,y,c]は、座標x,y（以下、「画素位置x,y」とも呼ぶ）,色成分cの画素値を表している。
式（１）の右辺において、α［x,y］は、画素位置x,yにおける比率であって、０乃至１の範囲内で可変する比率であり、「混合比α」や「アルファ値」等と呼ばれている。即ち、混合比α［x,y］は、画素毎に異なる値になる。F[x,y,c]は、前景の画素値であり、以下、「前景画素値」と呼ぶ。B[x,y,c]は、背景の画素値であり、以下、「背景画素値」と呼ぶ。
なお、画素位置x,y，色成分cを個々に区別する必要がない場合、以下、x,y,cの表記は適宜省略する。
【０１１８】
式（１）は、境界領域の画素位置x,yにおいて、比率α[x,y]で前景画素値F[x,y,c]と背景画素値B[x,y,c]とが混合された結果として、画素値P[x,y,c]が観測されるという意味である。
ここで、式（１）は単純に連立させると不足条件方程式であるため、そのままでは解くことが不可能である。しかしながら、背景画素値Bの取り得る範囲を別の手段により指定したり（クロマキー）、また前景画素値F及び背景画素値Bが滑らかに変化する（局所的に等しい）等の仮定を加えることで、式（１）を解くことが可能になる。
【０１１９】
このため、マット処理では、混合比α（アルファ値）と前景画素値Fが推定される。このようにしてマット処理で混合比α（アルファ値）と前景画素値Fを正しく推定できれば、新しい背景画素値B’ [x,y,c]に対して、次の式（２）を演算することで、合成画像P’の画素位置x,yの画素値P’[x,y,c]が容易に得られる。
P’[x,y,c]=α[x,y]F[x,y,c]+(1-α[x,y])B’[x,y,c]・・・（２）
このようにして得られた合成画像P’には、原画像（本実施形態では処理対象画像）の背景画素値B[x,y,c]は、理想的には残らないため、美しく自然な結果になる。
【０１２０】
なお、マット処理のさらなる詳細については、“Bayesian approach to digital matting”,2001（IEEE CVPR)等を参照するとよい。
【０１２１】
ここで、本実施形態の画像処理システム（図１）では、合成画像P’を印刷出力することも想定されている。
印刷出力として十分な画素数を考慮する場合に、マット処理を行うことの最大の問題点は、その出力画素数に応じて膨大な計算量が必要になる点である。
ユーザが、発注前に印刷出力結果を正確に確認できることは苦情を未然に防ぐために重要である。また、ユーザの修正が必要であればそれを即座に開始できることが、商機を逃さないために重要である。しかしながら、1000万画素を大きく越える最近のデジタルスチルカメラやデジタルプリンタの画素数をリアルタイムにマット処理することは、パーソナルコンピュータ（例えば図１のクライアント機器１１）やウェブサーバ（例えば図１のサーバ１２）にとっては困難である。
そこで、本実施形態では、図１１に示すようなマット処理を実行することで、マット処理の演算量を大幅に低下するようにしている。
【０１２２】
図１１は、マット処理の流れを説明するフローチャートである。
【０１２３】
ステップＳ１０１において、領域演算処理部１２１は、中解像度サイズを設定する。
ここで、中解像度サイズとは、出力サイズと、予め設定されている所定サイズ（上述した切抜指定処理で用いられる縮小サイズ以上のサイズとする）とのうち、小さい方のサイズをいう。
従って、領域演算処理部１２１は、出力サイズと、予め設定されている所定サイズとを比較し、小さいほうのサイズを選択することで、中解像度サイズを設定する。
【０１２４】
ステップＳ１０２において、領域演算処理部１２１は、切抜指定処理結果ファイルから処理対象画像のデータを読み出し、当該処理対象画像のデータのサイズを、オリジナルサイズから中解像度サイズに変換する。
なお、通常は、オリジナルサイズの方が中解像度サイズよりも大きいため、ステップＳ１０２の処理は、いわゆるサイズ縮小処理になる。
【０１２５】
ステップＳ１０３において、領域演算処理部１２１は、切抜指定処理結果ファイルから２値ラベルを読み出し、当該２値化ラベルのサイズを縮小サイズから中解像度サイズに変換することで、中解像度２値ラベルを生成する。
なお、通常は、縮小サイズの方が中解像度サイズよりも小さいため、ステップＳ１０３の処理は、いわゆるサイズ拡大処理になる。
このように、中解像度２値ラベルは、その名の如く２値ラベルになる必要があるので、２値ラベルのサイズの変換の手法としては、例えば最近傍法を採用したり、例えばバイキュービック法等の結果を再２値化する手法を採用するとよい。
【０１２６】
ステップＳ１０４において、領域演算処理部１２１は、中解像度２値ラベルから、中解像度サイズのトライマップを作成する。
トライマップは、画素位置x,y毎に、前景、背景、中間の３値ラベルを持つ。
ここで、トライマップの中間ラベル領域は、次のような第１領域と第２領域の集合和領域である。
即ち、中解像度２値ラベルのうち前景ラベル領域を所定幅分膨張（モルフォロジ処理におけるディレーション）させ、その結果得られる膨張領域（元々の２値前景ラベル領域を含まない）が、第１領域として採用される。
一方、中解像度２値ラベルのうち背景ラベル領域を所定幅分膨張（同）させ、その結果得られる膨張領域（元々の２値背景ラベル領域を含まない）が、第２領域として採用される。
これらの第１領域と第２領域の集合和領域として、中間ラベル領域が得られる。なお、この中間ラベル領域は、ユーザが境界ペン２５３で指定した境界領域を少し誇張させた領域となる。したがって、ユーザは境界ペン２５３で境界領域を指定するとともに、マット処理における中間ラベル領域の基準となる領域を指定したこととなる。
そして、このようにして得られる中間ラベル領域に含まれない領域のうち、２値前景ラベル領域が前景ラベル領域となり、２値背景ラベル領域が背景ラベル領域となる。
【０１２７】
ステップＳ１０５において、領域演算処理部１２１は、トライマップについて、中解像度サイズを覆う所定数及び所定形状のブロックの集合を設定する。
なお、各ブロックは、その隣接ブロックと境界で所定幅のオーバーラップ領域を持たせるように設定される。
【０１２８】
ステップＳ１０６において、領域演算処理部１２１は、ステップＳ１０５の処理で設定したブロックの集合体の中から、処理対象のブロックを設定する。
【０１２９】
ステップＳ１０７において、領域演算処理部１２１は、処理対象のブロックとして、トライマップのブロックと、対応する中解像度の処理対象画像のブロックとを入力し、これらの入力に基づいてマット処理を実行する。
このステップＳ１０７のマット処理によって、処理対象のブロックを構成する各画素のそれぞれについての、混合比α（アルファ値）と前景画素値Fがそれぞれ得られる。
【０１３０】
ステップＳ１０８において、領域演算処理部１２１は、全てのブロックが処理対象に設定されたか否かを判定する。
未だ処理対象に設定されていないブロックが存在する場合、ステップＳ１０８においてＮＯであると判定されて、処理はステップＳ１０６に戻され、それ以降の処理が繰り返される。即ち、ステップＳ１０６乃至Ｓ１０８のループ処理が繰り返し実行されることで、ステップＳ１０５の処理で設定された各ブロックの各々が処理対象に順次設定されて、その都度マット処理が実行される。
そして、最後のブロックについてのマット処理が実行されると、次のステップＳ１０８においてＹＥＳであると判定されて、処理はステップＳ１０９に進む。
【０１３１】
ステップＳ１０９において、領域演算処理部１２１は、各ブロックの混合比α（アルファ値）と前景画素値Fをモザイクして、中解像度サイズの混合比αの集合体（以下、「中解像度α画像」と呼ぶ）と、中解像度サイズの前景画素値Fの集合体（以下、「中解像度前景Ｆ画像」と呼ぶ）とを構成する。
なお、領域演算処理部１２１は、ブロック間のオーバーラップ領域については、なだらかなブレンド比でブレンドを行い、境界の不整合を緩和するものとする。
【０１３２】
これにより、領域演算処理が終了となる。すると、仕上調整部１１２（図４）は、図１０に示すように、状態遷移条件Ｃ４４が満たされたと判定し、クライアント機器１１の状態を、仕上確認画面操作処理状態Ｓ４４に遷移させる。
【０１３３】
仕上確認画面操作処理状態Ｓ４４に遷移すると、仕上調整部１１２は、図１２に示すような仕上確認画面を表示部３８に表示させる。
【０１３４】
図１２は、仕上確認画面の一例を示している。
仕上確認画面２０４は、マット処理により境界領域の仕上がされた画像の確認を行う画面であり、基本画面２０１（図６）と同様に、６つの表示領域２１１乃至２１６に区分されている。
【０１３５】
表示領域２１１には、領域演算処理の結果が表示される。
即ち、中解像度の処理対象画像のデータと、予め用意された新背景画像のデータ（必要に応じて中解像度に変換）とが、上述の式（２）に従って合成され、その合成結果である合成画像P’が表示領域２１１に表示される。
この場合、新背景画像のデータを構成する各画素値が、背景画素値B’[x,y,c]として式（２）に代入される。また、マット処理で求められた中解像度α画像の各画素値が、混合比α[x,y]として式（２）に代入される。マット処理で求められた中解像度前景F画像の各画素値が、前景画素値F[x,y,c]として式（２）に代入される。
なお、初期状態の新背景画像としては、灰色（単色）の画像が表示領域２１１に表示される。
【０１３６】
表示領域２１２には、背景変更ボタン３５１が表示されている。
従って、ユーザは、背景変更ボタン３５１を押下操作することで、表示領域２１１に表示される背景画像を、複数の新背景画像のうち所望の１つに変更することができる。
なお、新背景画像は、特に限定されず、予めデフォルトとして設定されている画像の他、ユーザが所望する任意の画像を設定することができる。ただし、新背景画像の設定は、図示せぬ別の画面で行われるものとする。
このように、ユーザは、背景変更ボタン３５１を押下操作するだけで、即ち操作部３７のマウスをクリック操作等するだけで、各種各様の新背景画像に瞬時に変更することができるので、マット処理の結果を、実際の合成イメージとして視認することが容易にできる。
【０１３７】
表示領域２１３には、拡大縮小スライダー２４１が配置されている。
従って、ユーザは、拡大縮小スライダー２４１を操作することで、マット処理の結果である合成画像P’のうち着目する部分を拡大表示させることができる。その後、ユーザは、拡大縮小スライダー２４１を操作することで、拡大表示後の合成画像P’を、等倍となるまでの範囲内で縮小表示させることもできる。
【０１３８】
表示領域２１５には、「仕上げ調整」と表示されたソフトウェアボタン３６１（以下、「仕上調整ボタン３６１」と呼ぶ）と、「保存」と表示されたソフトウェアボタン３６２（以下、「保存ボタン３６２」と呼ぶ）と、が配置される。
【０１３９】
ユーザは、表示領域２１１に表示された合成画像P’を確認して、境界領域の仕上げの部分修正をさらに行いたいと判断した場合、仕上調整ボタン３６１を押下操作することで、仕上調整の開始を指示することができる。
【０１４０】
即ち、仕上調整ボタン３６１が押下操作されると、仕上調整部１１２（図４）は、図１０に示すように、状態遷移条件Ｃ４５が満たされたと判定し、クライアント機器１１の状態を、仕上調整画面操作処理状態Ｓ４５に遷移させる。
【０１４１】
仕上調整画面操作処理状態Ｓ４５に遷移すると、仕上調整部１１２は、図１３に示すような仕上調整画面を表示部３８に表示させる。
【０１４２】
図１３は、仕上調整画面の一例を示している。
仕上調整画面２０５は、マット処理により境界領域の仕上がされた処理対象画像について、部分的な仕上を行うための画面である。例えば、仕上調整画面２０５は、髪の毛の部分等細い部分をきれいに出すため一部分の境界の滑らかさを修正するために用いられる。
仕上調整画面２０５は、基本画面２０１（図６）と同様に、６つの表示領域２１１乃至２１６に区分されている。
【０１４３】
表示領域２１１には、境界領域の仕上がされた処理対象画像について、前景としての選択領域と、背景としての非選択領域と、これらの領域の境界となる境界領域（図１２の例では領域３８１）と、をそれぞれ分類して表示する。
即ち、表示領域２１１には、処理対象画像（中解像度サイズ）にトライマップ（中解像度サイズ）が合成された合成画像が表示される。
この場合、透明度はトライマップ側で設定される。即ち、選択領域は透過率が１００％で固定されており、常に処理対象画像そのもの（図１３の例ではウミガメ）が表示されるようになされている。一方、トライマップの非選択領域が背景色（単色）の領域となっており、この透明度が高くなるにつれ、処理対象画像の背景部分がユーザに視認されるようになる。同様に、トライマップの境界領域（中間領域）が境界色（単色）の領域となっており、この透明度が高くなるにつれ、処理対象画像の境界部分がユーザに視認されるようになる。
このため、図８の切抜修正画面２０３と同様に、表示領域２１２には、色変更ボタン２３１と、透明度変更スライダー２３２とが配置され、拡大縮小スライダー２４１が配置されている。
ただし、色変更ボタン２３１、透明度変更スライダー２３２、及び拡大縮小スライダー２４１の各部品については、図８の切抜修正画面２０３の各部品として説明済みであるので、ここでは説明は省略する。
【０１４４】
表示領域２１５には、「やり直し」と表示されたソフトウェアボタン３７１（以下、「やり直しボタン３７１」と呼ぶ）と、「確認画面」と表示されたソフトウェアボタン３７２（以下、「確認画面ボタン３７２」と呼ぶ）と、が配置される。
ユーザは、直前の操作内容が間違っていた場合等に、やり直しボタン３７１を押下操作することで、当該直前の操作を取り消すことができる。
確認画面ボタン３７２については、後述する。
【０１４５】
ところで、図１３の仕上調整画面２０５が表示部３８に表示されている状態で、ユーザは、操作部３７のマウスを用いて、表示領域２１１に表示された画像のうち、修正を行いたい箇所をクリック操作することで、修正領域指定画面の表示の指示を行うことができる。
即ち、このようなクリック操作がなされることによって、修正領域指定画面の表示の指示が行われると、仕上調整部１１２（図４）は、図１０に示すように、状態遷移条件Ｃ４６が満たされたと判定し、クライアント機器１１の状態を、仕上領域指定画面操作処理状態Ｓ４６に遷移させる。
【０１４６】
仕上領域指定画面操作処理状態Ｓ４６に遷移すると、仕上調整部１１２は、図６に示す基本画面２０１と同一構成の仕上領域指定画面を表示部３８に表示させる。
【０１４７】
仕上領域指定画面（図６の基本画面２０１と同一構成）の表示領域２１１には、上述した図１３の仕上調整画面２０５に対してクリック操作がなされた箇所を中心とする、所定のサイズの領域画像が表示される。
具体的には、仕上調整部１１２は、図１３の仕上調整画面２０５に対してクリック操作がなされた箇所の近傍の領域をブロック化する。ここで、このブロックは、図１１のステップＳ１０５の処理で設定されたブロックのサイズ、位置、形状と必ずしも一致させる必要はない。
仕上調整部１１２は、そのブロックの原画像（処理対象画像）とトライマップとを、領域画像として表示領域２１１に透過表示させる。
ユーザは、操作部３７のマウス等を用いて、この領域画像の範囲内で、選択領域等の修正を行うことができる。
【０１４８】
このため、図８の切抜修正画面２０３と同様に、表示領域２１２には、色変更ボタン２３１と、透明度変更スライダー２３２とが配置され、表示領域２１３には、拡大縮小スライダー２４１が配置されている。
ただし、色変更ボタン２３１、透明度変更スライダー２３２、及び拡大縮小スライダー２４１の各部品については、図８の切抜修正画面２０３の各部品として説明済みであるので、ここではこれらの説明は省略する。
【０１４９】
ユーザは、表示領域２１１に表示されている領域画像のうち、背景としての非選択領域については背景ペン２５２を用いて、境界領域については境界ペン２５３を用いて、前景としての選択領域については消しゴム２５４を用いて、修正の操作をすることができる。
このような修正の操作により、表示領域２１１に領域画像として表示されているトライマップが修正されることになる。
なお、ユーザは、移動アイコン２５１を用いて、表示領域（作業対象領域）を変更（移動）することができるが、必要に応じて表示領域の変更（移動）を禁止するようにしてもよい。また、ユーザは、背景ペン２５２、境界ペン２５３、又は消しゴム２５４の描画サイズ（塗りのサイズ）を変更したい場合には、ペンサイズ２５５の設定を行えばよい。
【０１５０】
仕上領域指定画面（図６の基本画面２０１と同一構成）の表示領域２１５には、「やり直し」と表示されたソフトウェアボタン２６１（以下、「やり直しボタン２６１」と呼ぶ）と、「領域計算」と表示されたソフトウェアボタン２６２（以下、「領域計算ボタン２６２」と呼ぶ）と、「仕上げ調整」と表示されたソフトウェアボタン２６３（以下、「仕上調整ボタン２６３」と呼ぶ）と、「確認画面」と表示されたソフトウェアボタン２６４（以下、「確認画面ボタン２６４」と呼ぶ）と、が配置される。
【０１５１】
ユーザは、直前の操作内容が間違っていた場合等に、やり直しボタン２６１を押下操作することで、当該直前の操作を取り消すことができる。
【０１５２】
また、ユーザは、選択領域等の修正の操作後、即ち、トライマップを修正した後、領域計算ボタン２６２を押下操作することで、マット領域演算の再演算の開始指示を行うことができる。
【０１５３】
即ち、仕上領域指定画面（図６の基本画面２０１と同一構成）の領域計算ボタン２６２が押下操作されると、仕上調整部１１２（図４）は、図１０に示すように、状態遷移条件Ｃ４７が満たされたと判定し、クライアント機器１１の状態を、部分領域演算処理状態Ｓ４７に遷移させる。
【０１５４】
部分領域演算処理状態Ｓ４７に遷移すると、仕上調整部１１２の領域演算処理部１２１は、ユーザにより修正された後の選択領域についての部分的なマット処理を実行する。
【０１５５】
ただし、この場合の部分的なマット処理としては、上述の図１１のフローチャートに従った処理ではなく、次のような処理が本実施形態では実行される。
即ち、仕上調整部１１２の領域演算処理部１２１は、仕上領域指定画面（図６の基本画面２０１と同一構成）の表示領域２１１に表示されたブロックについて、修正されたトライマップを用いてマット処理を行う。
領域演算処理部１２１は、マット処理の結果得られた混合比α（アルファ値）と前景画素値Fを、全体結果にモザイクする。即ち、領域演算処理部１２１は、ブロックの所定幅境界付近はなだらかにブレンドし、その内部の領域は上書きする。
このようにして、中解像度α画像と、中解像度前景Ｆ画像とが再構成されると、仕上調整部１１２（図４）は、図１０に示すように、状態遷移条件Ｃ４８が満たされたと判定し、クライアント機器１１の状態を、仕上調整画面操作処理状態Ｓ４５に再び遷移させる。
【０１５６】
仕上調整画面操作処理状態Ｓ４５に再び遷移すると、仕上調整画面２０５（図１３）が表示部３８に再表示される。この場合、仕上調整画面２０５の表示領域２１１には、部分的なマット処理の結果が表示される。
【０１５７】
なお、仕上領域指定画面（図６の基本画面２０１と同一構成）の仕上げ調整ボタン２６３が押下操作されても、図１０に示すように、状態遷移条件Ｃ４９が満たされたと判定され、クライアント機器１１の状態は、仕上調整画面操作処理状態Ｓ４５に再び遷移する。
この場合も、仕上調整画面２０５（図１３）が表示部３８に再表示されるが、仕上調整画面２０５の表示領域２１１には、前回の状態のままの画像が表示される。
【０１５８】
ここで、仕上調整画面２０５（図１３）の表示領域２１１をみたユーザが、修正をさらに行いたいと所望した場合には、操作部３７のマウスを用いて、修正を行いたい箇所を再度クリック操作すればよい。
この場合、図１０に示すように、状態遷移条件Ｃ４６が満たされたと判定されて、クライアント機器１１の状態が、仕上領域指定画面操作処理状態Ｓ４６に再度遷移して、仕上領域指定画面（図６の基本画面２０１と同一構成）が再表示される。
ユーザは、仕上領域指定画面に対して上述した作業を繰り返して再修正した後、即ちトライマップを再修正した後、領域計算ボタン２６２を押下操作する。すると、図１０に示すように、状態遷移条件Ｃ４７が満たされたと判定され、部分領域演算処理状態Ｓ４７に再び遷移する。
部分領域演算処理状態Ｓ４７に再び遷移すると、ユーザにより再修正された後の選択領域についての部分的なマット処理が再実行される。即ち、中解像度α画像と、中解像度前景Ｆ画像とが再構成される。これにより、状態遷移条件Ｃ４８が満たされたと再度判定され、クライアント機器１１の状態が、仕上調整画面操作処理状態Ｓ４５に再び遷移する。
仕上調整画面操作処理状態Ｓ４５に再び遷移すると、仕上調整画面２０５（図１３）が表示部３８に再表示される。この場合、仕上調整画面２０５の表示領域２１１には、部分的なマット処理の再処理の結果が表示される。
ユーザは、このような一連の操作を繰り返し実行することで、所望の結果になるまで、選択領域等を何度でも修正することができる。
【０１５９】
ユーザは、このような修正の操作を繰り返して所望の結果が得られたと判断した場合、仕上調整画面２０５（図１３）が表示部３８に表示されている状態で、確認画面ボタン３７２を押下操作することで、仕上確認画面の表示指示をする。
このようにして確認画面ボタン３７２が押下操作されると、図１０に示すように、状態遷移条件Ｃ４９が満たされたと判定されて、クライアント機器１１の状態は、仕上確認画面操作処理状態Ｓ４４に再び遷移する。これにより、仕上確認画面２０４（図１２）が表示部３８に再表示される。
【０１６０】
なお、仕上領域指定画面（図６の基本画面２０１と同一構成）の確認画面ボタン２６４が押下操作されても、図１０に示すように、状態遷移条件Ｃ５０が満たされたと判定され、クライアント機器１１の状態は、仕上確認画面操作処理状態Ｓ４４に再び遷移し、仕上確認画面２０４（図１２）が表示部３８に再表示される。
【０１６１】
ユーザは、所望の修正結果が得られたならば、仕上調整処理の結果を保存すべく、仕上確認画面２０４（図１２）の保存ボタン３６２を押下操作するとよい。
すると、図１０に示すように、状態遷移条件Ｃ５１が満たされたと判定され、クライアント機器１１の状態が、結果保存処理状態Ｓ４８に遷移する。
【０１６２】
結果保存処理状態Ｓ４８に遷移すると、出力サイズが中解像度サイズに等しい場合は、仕上調整部１１２は、中解像度α画像及び中解像度前景F画像の各データを少なくとも含むファイルを生成し、記憶部３９の画像記憶部１３２に記憶させる。
このようなファイルを、以下、「仕上調整結果ファイル」と呼ぶ。
【０１６３】
ただし、一般的には、出力サイズは中解像度サイズよりも大きいので、仕上調整部１１２は、次のような一連の処理を実行することで、仕上調整結果ファイルを生成して、記憶部３９の画像記憶部１３２に記憶させる。
即ち、仕上調整部１１２は、中解像度α画像及び中解像度前景F画像の各データのサイズを、出力サイズに変換する。なお、中解像度α画像が出力サイズに変換されたものを、以下、「出力サイズα画像」と呼ぶ。また、中解像度前景F画像が出力サイズに変換されたものを、以下、「出力サイズ前景F画像」と呼ぶ。
仕上調整部１１２は、処理対象画像P（入力画像P）のデータのサイズを、出力サイズに変換する。
仕上調整部１１２は、出力サイズの画素毎に、混合比α[x,y]>t（tは所定閾値、1以下で1に近い値）なる画素位置x,yにおける前景画素値F[x,y,c]を、処理対象画像Pの対応する画素位置x,yの画素値P[x,y,c]の値に更新する。
仕上げ調整部１１２は、出力サイズα画像及び更新後の出力サイズ前景F画像の各データを少なくとも含む仕上調整結果ファイルを生成し、記憶部３９の画像記憶部１３２に記憶させる。
【０１６４】
このようにして、仕上調整結果ファイルが記憶部３９に記憶されると、状態遷移条件Ｃ５２が満たされたと判定されて、図１０の仕上調整処理は終了する。
【０１６５】
なお、本実施形態では、図１のクライアント機器１１又はサーバ１２（以下、説明の便宜上サーバ１２とする）は、その後、図示せぬプログラムを起動させ、次のような処理を実行することができる。即ち、サーバ１２は、印刷出力される新背景、及び、新背景若しくは前景にかける特殊効果フィルタのユーザ選択を受け付け、最終印刷出力の画面イメージをユーザに提示してユーザの確認を求める。サーバ１２は、ユーザが了解すれば、代金決済をして、切り抜かれた前景に対して新背景が合成された合成画像を、紙媒体等に印刷する。
具体的には、新背景のデータを構成する各画素値が、背景画素値B’[x,y,c]として上述の式（２）に代入される。また、出力サイズα画像の各画素値が、混合比α[x,y]として式（２）に代入される。出力サイズ前景F画像の各画素値が、前景画素値F[x,y,c]として式（２）に代入される。そして、式（２）が演算され、その結果得られる合成画像P’が紙媒体に印刷される。
【０１６６】
以上説明したように、マット処理の本質は、上述の式（１）の方程式を解くことであるが、方程式の求解速度は当然未知数の数に支配される。
本実施形態では、中解像度サイズでの処理（以下、「中間解像度処理」と呼ぶ）ができるので、未知数となる中間領域の混合比αと前景画素値Fの数を大幅に減らすことができ、その結果、大幅に処理速度が向上する。
ここで、単純な中間解像度処理では前景画素値Fの解像度が、処理対象画像（撮像画像等の原画像、即ち入力画像）の解像度よりも劣るため、印刷等の出力品質が低下してしまう。
そこで、本実施形態の切抜処理では、α値判定により、境界領域では、混色のない中解像度前景F画像の画素値が用いられ、内部領域（前景となる領域）では、高解像度の処理対象画像（撮像画像等の原画像、即ち入力画像）の画素値が用いられる。これにより、処理の高速化を実現しながら出力品質の低下を最低限に抑えることが可能になる。
さらに、処理対象画像（撮像画像等の原画像、即ち入力画像）は通常、その主要被写体の主要部分にフォーカスを合わせて撮像されるため、主要被写体のエッジ部分ではフォーカスがぼけている場合がある。そのような場合、本実施形態の切抜処理の結果は高解像度処理と全く優劣のつかない結果を与える。
また、処理対象画像（撮像画像等の原画像、即ち入力画像）のノイズや前景背景の本質的類似等の理由により、境界領域のマット処理結果が、たとえ高解像度で処理したものであっても解像度分の精度が出ない場合がある。このような場合には、本実施形態の切抜処理の結果は、高解像度処理の結果と全く優劣のつかない結果となる。
【０１６７】
以上、図５乃至図１３を参照して、図４の機能的構成を有する画像処理システムが実行する切抜処理の詳細について説明した。
次に、図１４を参照して、図４の機能的構成を有する画像処理システムにおいて切抜処理が実行される場合における、クライアント機器１１とサーバ１２との処理の関係について説明する。
【０１６８】
図１４は、クライアント機器１１とサーバ１２とが協同して切り抜き処理を実行する場合の相互の処理の関係について説明するフローチャートである。
図１４の左方には、クライアント機器１１側の処理の流れを示すフローチャートが示され、同図の右方には、サーバ１２側の処理の流れを示すフローチャートが示されている。
クライアント機器１１側とサーバ１２側とのうち、一方から他方へ引かれている矢印は、その方向に情報が伝送されていることを意味している。
【０１６９】
ステップＳ２０１において、図４のクライアント機器１１の通信制御部１０１は、ユーザによる操作部３７の操作に基づいて、サーバ１２に対するログイン処理を実行する。
【０１７０】
ステップＳ２２１において、サーバ１２の通信制御部１５１は、当該クライアント機器１１によるログイン処理を受け付ける。
ステップＳ２２２において、サーバ１２の通信制御部１５１は、切抜処理用プログラムをプログラム記憶部１６１から読みこみ、通信部５９からクライアント機器１１に対して送信させる。
【０１７１】
ステップＳ２０２において、クライアント機器１１の通信制御部１０１は、サーバ１２からネットワーク２１を介して送信されてくる切抜処理用プログラムを、通信部４０に受信させる。
ステップＳ２０３において、クライアント機器１１の通信制御部１０１は、切抜処理用プログラムをプログラム記憶部１３１に一旦記憶させた後、RAM３３（図２）等に展開して実行する。これにより、クライアント機器１１のCPU３１において、切抜処理部１０２が機能するようになる。
【０１７２】
ステップＳ２０４において、クライアント機器１１の切抜処理部１０２は、処理対象画像が選択されたか否かを判定する。
即ち、ユーザは、操作部３７を操作することによって、撮像画像等所望の画像を、処理対象画像として選択することができる。
ユーザによる選択の操作がなされていない場合、ステップＳ２０４においてＮＯであると判定されて、処理はステップＳ２０４に再び戻される。即ち、ユーザによる選択の操作がなされるまでの間、ステップＳ２０４の判定処理が繰り返し実行されて、クライアント機器１１側の処理は待機状態になる。
その後、ユーザによる選択の操作がなされると、ステップＳ２０４においてＹＥＳであると判定されて、処理はステップＳ２０５に進む。
ステップＳ２０５において、クライアント機器１１の通信制御部１０１は、処理画像のデータを画像記憶部１３２から読み込み、通信部４０からサーバ１２に対して送信させる。
【０１７３】
ステップＳ２２３において、サーバ１２の通信制御部１５１は、クライアント機器１１からネットワーク２１を介して送信されてくる処理対象画像のデータを、通信部５９に受信させ、画像記憶部１６２に保存する。
【０１７４】
一方、ステップＳ２０６において、クライアント機器１１の切抜処理部１０２は、処理画像のデータについて、上述した切抜処理を実行する。
【０１７５】
図１５は、クライアント側処理のステップＳ２０６の切抜処理の流れを説明するフローチャートである。
【０１７６】
ステップＳ２４１において、切抜処理部１０２の切抜指定部１１１は、切抜指定処理を実行する。切抜指定処理の詳細については、図５乃至図９を参照して説明済みであるので、ここではその説明は省略する。
【０１７７】
ステップＳ２４２において、切抜処理部１０２は、仕上調整処理を実行するか否かを判定する。
即ち、上述したように、切抜指定処理の結果だけでも、処理対象画像から前景を抜き出すことは十分可能であるため、仕上調整処理は、必須な処理ではなく、ユーザが実行有無を自在に選択可能な処理となっている。
【０１７８】
従って、ユーザが操作部３７を操作して仕上調整処理の実行を指示した場合、ステップＳ２４２においてＹＥＳであると判定されて、処理はステップＳ２４３に進む。ステップＳ２４３において、切抜処理部１０２の仕上調整部１１２は、仕上調整処理を実行する。仕上調整処理の詳細については、図１０乃至図１３を参照して説明済みであるので、ここではその説明は省略する。
仕上調整処理が終了すると、処理は後述するステップＳ２４４に進む。
【０１７９】
これに対して、ユーザが操作部３７を操作して仕上調整処理を実行しない旨を指示した場合、ステップＳ２４２においてＮＯであると判定されて、ステップＳ２４３の仕上調整処理は実行されずに、処理はステップＳ２４４に進む。
【０１８０】
ステップＳ２４４において、クライアント機器１１の通信制御部１０１は、処理結果のデータを切抜画像のデータとして、通信部４０からサーバ１２に対して送信させる。
例えば仕上調整処理が実行されなかった場合（ステップＳ２４２の処理でＮＯであると判定された場合）、上述した切抜指定処理結果ファイルが、切抜画像のデータとしてサーバ１２に送信される。
これに対して、例えば仕上調整処理が実行された場合（ステップＳ２４２の処理でＹＥＳであると判定されて、ステップＳ２４３の処理が実行された場合）、仕上調整結果ファイルが、切抜画像のデータとしてサーバ１２に送信される。
なお、上述したように、切抜指定処理又は仕上調整処理では、処理途中の状態でもデータの保存が可能になっており、処理途中の状態で保存されたデータが再度読み込まれた場合、保存された時点の状態から処理の継続が可能になる。従って、このような処理途中の状態のデータも、必要に応じて、切抜画像のデータとしてサーバ１２に送信される。
【０１８１】
図１４に戻り、ステップＳ２２４において、サーバ１２の通信制御部１５１は、クライアント機器１１からネットワーク２１を介して送信されてくる切抜画像のデータを、通信部５９に受信させ、画像記憶部１６２に仮保存する。
【０１８２】
この間、ステップＳ２０７において、クライアント機器１１の切抜処理部１０２は、処理の終了指示があったか否かを判定する。
処理の終了指示の手法は、特に限定されないが、本実施形態では、ユーザが操作部３７を操作して処理の終了指示をするという手法が採用されているものとする。
このような終了の指示の操作がなされていない場合、ステップＳ２０７においてＮＯであると判定されて、処理はステップＳ２０４に戻され、それ以降の処理が実行される。即ち、終了の指示の操作がなされるまでの間、ステップＳ２０４乃至Ｓ２０７のループ処理が繰り返し実行されて、その都度切抜処理が実行され、切抜画像のデータがサーバ１２に送信される。
その後、終了の指示の操作がなされると、ステップＳ２０７においてＹＥＳであると判定され、処理はステップＳ２０８に進む。
ステップＳ２０８において、クライアント機器１１の通信制御部１０１は、処理の終了を示す通知（以下、「終了通知」と呼ぶ）を、通信部４０からサーバ１２に対して送信させる。
これにより、クライアント機器１１側の処理は終了する。
【０１８３】
この間、ステップＳ２２５において、サーバ１２の通信制御部１５１は、終了通知を受信したか否かを判定する。
終了通知が受信されていない場合、ステップＳ２２５においてＮＯであると判定されて、処理はステップＳ２２３に戻され、それ以降の処理が繰り返される。即ち、上述の如く、クライアント機器１１側でステップＳ２０４乃至Ｓ２０７のループ処理が繰り返し実行されている間、終了通知は送信されないので、ステップＳ２２３乃至Ｓ２２５のループ処理が繰り返し実行され、クライアント機器１１から処理画像や切抜画像の各データが送信されてくる度、受信されて保存される。
その後、終了通知が受信されると、次のステップＳ２２５においてＹＥＳであると判定されて、処理はステップＳ２２６に進む。
ステップＳ２２６において、サーバ１２の主制御部１５２は、これまで仮保存していた切抜画像のデータを本保存する。
これにより、サーバ１２側の処理は終了する。
【０１８４】
その後、図示はしないが、サーバ１２は、印刷出力される新背景、及び、新背景若しくは前景にかける特殊効果フィルタのユーザ選択を受け付け、最終印刷出力の画面イメージをユーザに提示してユーザの確認を求める。
サーバ１２は、ユーザが了解すれば、代金決済をして、切り抜かれた前景に対して新背景が合成された合成画像を、紙媒体等に印刷する。
【０１８５】
以上、切抜処理を実行可能な画像処理システムの一実施形態について説明した。
ここで、当該画像処理システムが、切抜処理を実行するが故に備える特長（効果）について、図１６乃至図２９を適宜参照して説明する。
【０１８６】
本実施形態の画像処理システムは、切抜処理を実行することができるので、操作に慣れないユーザは簡単な対話操作をするだけでよい、という第１の特長を有している。
【０１８７】
即ち、上述したように、切抜処理は、切抜指定処理と、仕上調整処理とに区分される。仕上調整処理は、細かな仕上の調整を行うための処理であり必須な処理ではない。即ち、切抜指定処理の結果（切抜指定処理結果ファイル）だけでも、処理対象画像から、前景を切り出して、新背景に合成することができる。
この切抜指定処理の実行時に必要となるユーザのGUI操作は、上述したように、ユーザにとって非常に容易で手間のかからないラフな操作であり、操作に慣れないユーザであっても戸惑うことなく行える操作である。
以下、図１６乃至図１８を参照して、切抜指定処理の際のユーザのGUI操作の具体例について説明する。
【０１８８】
図１６は、切抜領域指定画面操作処理状態Ｓ１２（図５）において表示される切抜領域指定画面に対するユーザのGUI操作の様子を示している。
図１６に示すように、ユーザは、切抜領域指定画面２０２に表示されている処理対象画像から、前景と背景との境界領域５０１を指定することができる。
ここで、境界領域５０１は、厳密に前景と背景との本当の境界線（細線）で指定される必要はなく、図１６に示すように、大雑把な太い線での指定でよい。要するに、ユーザは、前景と背景との本当の境界線を含むように、ある程度余裕を持った太さの線で、境界領域５０１を指定することができる。
もっとも、ユーザは、失敗しやすい部分や、特別な意図があって細かく指定したい部分については、当然ながら細い線を使用してもよい。
換言すると、前景と背景との境界領域５０１は、図７の境界ペン２５３で指定されるところ、当該境界ペン２５３の塗りの太さは、図７のペンサイズ２５５で自在に可変設定することができる。
【０１８９】
ユーザは、境界領域５０１の指定の操作後、領域計算ボタン３１２を押下操作する。
これにより、領域演算処理状態Ｓ１３（図５）に遷移して、領域演算が行われる。
領域演算が終了すると、切抜修正画面操作処理状態Ｓ１４（図５）に遷移して、図１７に示すような切抜修正画面２０３が表示される。
【０１９０】
図１７は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の初期状態の様子を示している。
図１７に示すように、領域演算の結果（２値ラベル）に基づいて、境界領域５０２が表示されている。
ただし、領域５０３は、ウミガメのヒレの一部であり、本来前景（境界領域５０２の内側）となるべきところ、背景（境界領域５０２の外側）になってしまっている。これは、処理対象画像において、前景と背景との色が類似色であったためである。
このような場合、ユーザは、本来前景であるはずが背景となっている領域５０３を、消しゴム２５４で消すように指定することで、領域５０３を選択領域として新たに指定する。その後、ユーザは、領域計算ボタン３１２を押下操作する。
これにより、領域演算処理状態Ｓ１３（図５）に再度遷移して、領域演算の再演算が行われる。
領域演算の再演算が終了すると、切抜修正画面操作処理状態Ｓ１４（図５）に再度遷移して、図１８に示すような切抜修正画面２０３が表示される。
【０１９１】
図１８は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面に対するGUI操作の実行結果を示している。
図１８に示すように、領域演算の再演算の結果（再構成後の２値ラベル）に基づいて、境界領域５０２が表示されている。ウミガメのヒレの一部である領域５０３は、境界領域５０２の内側、即ち前景に含まれるようになったことがわかる。
この図１８の状態で、ほぼユーザにとっての所望の結果となっていると思われる。このような状態になった時点で、ユーザは、保存ボタン３１４を押下操作する。
すると、境界領域仕上処理状態Ｓ１５（図５）に遷移し、引き続き結果保存処理状態Ｓ１６（図５）に遷移し、図１８の状態を示す切抜指定処理結果ファイルが記憶部３９に記憶される。
その後、サーバ１２（図１）等は、この切抜指定処理結果ファイルを用いることで、少なくとも図１８の境界領域５０２内のウミガメの画像を前景として切り抜くことができ、当該前景と新背景とを合成した合成画像の印刷等をすることが可能になる。
なお、ユーザは、さらに所望の選択領域となるように、クライアント機器１１に仕上調整処理を実行させるようにしてもよい。
【０１９２】
本実施形態の画像処理システムは、切抜処理を実行することができるので、上述の第１の特長に加えてさらに、セグメンテーションされた領域の表示形態を自在に可変できる、という第２の特長を有している。
【０１９３】
即ち、切抜修正画面２０３等において、前景領域は完全透過で表示される一方、背景領域と境界領域は、任意に可変できる透過比率での半透過色（原画像と分類色とのブレンド）で表示される。この透過比率（透明度）は、透明度変更スライダー２３２により簡易に変更できる。
図１９乃至図２１には、透明度変更スライダー２３２に対する操作結果の具体例が示されている。
【０１９４】
図１９は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の初期状態の様子を示している。
図１９に示すように、領域演算の結果（２値ラベル）に基づいて、境界領域、当該境界領域の内側のウミガメの前景領域、及び、当該境界領域の外側の背景領域５０４が表示されている。
即ち、背景領域５０４の背景色（図面では表現しきれないが、例えば青色）及び境界領域の境界色（図面では表現しきれないが、例えば赤色）と、原画像の色とが、透明度変更スライダー２３２の小さなつまみの位置に応じた混合比率（α値）で、ブレンド表示される。ただし、前景領域（ウミガメ）は混合されずに、常に完全透過している。
図１９の初期状態では、透明度変更スライダー２３２の小さなつまみは、中央に配置されている。従って、ユーザは、原画像（処理対象画像）の状態と、前景を切り出した状態（結果）とのイメージをバランスよく同時に視認することができる。
【０１９５】
図２０は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の、透明度変更スライダー２３２の小さなつまみを左端に寄せた状態を示している。
ユーザは、操作部３７を操作して、透明度変更スライダー２３２の小さなつまみの位置を、所望の位置に自在に動かすことができる。
図２０に示すように、透明度変更スライダー２３２の小さなつまみが左端まで移動されると、透過度が０％になるので、背景領域５０４については背景色（図面では表現しきれないが、例えば青色）のみが表示され、境界領域については境界色（図面では表現しきれないが、例えば赤色）が表示される。
即ち、前景領域では、原画像（ウミガメの部分）が他と混合されずに常に完全透過して表示される一方、背景領域５０４及び境界領域では、原画像（背景部分）が完全に消えて表示されない。従って、ユーザは、原画像（処理対象画像）の背景が完全に消えた時における、前景を切り出した状態（結果）のイメージをつかむことが容易にできる。即ち、図２０の状態は、現状の品質確認を行いやすい状態である。
なお、第４の特長として後述するが、背景領域５０４については、単色の背景色のみの画像のかわりに、任意の画像（第４の特長でいう「新背景画像」等）を採用することもできる。
【０１９６】
図２１は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の、透明度変更スライダー２３２の小さなつまみを右端に寄せた状態を示している。
図２１に示すように、透明度変更スライダー２３２の小さなつまみが右端まで移動されると、透過度が１００％になるので、背景領域５０４については背景色（図面では表現しきれないが、例えば青色）が完全に消え、境界領域については境界色（図面では表現しきれないが、例えば赤色）が完全に消えて、原画像が完全透過して表示される。
即ち、前景領域では、原画像（ウミガメの部分）が他と混合されずに常に完全透過して表示されるので、結果として、原画像の全体（処理対象画像全体）そのものが表示されることになる。
従って、ユーザは、背景色や境界色といった領域色に影響されずに、原画像における元の前景物体（本例ではウミガメ）の境界を容易に視認することができる。即ち、図２１の状態は、次にどう修正するかをユーザが判断しやすい状態である。
【０１９７】
このように、第３の特長により、ユーザは、操作部３７を操作して、透明度変更スライダー２３２の小さなつまみの位置を、所望の位置に自在に動かすことができる。従って、ユーザは、透明度変更スライダー２３２の操作だけで、現状の品質確認と次にどのように修正すべきかの判断とを同時に行うことができる。
このとき、ユーザは、透明度変更スライダー２３２の小さなつまみの位置として、原画像の配色やその時の作業内容等に応じてバランスのよい位置を自在に選択することができる。
【０１９８】
また、半透過表示を行っても混合比（α値）が固定されていると、慣れていないユーザは、背景色なのか、原画像そのものの色なのかについての判別、即ちどこまでが背景領域であってどこからが前景領域なのかについての判別をすることができない。
これに対して、本実施形態の画像処理システムを利用するユーザは、第３の特長により、このような判別が容易にできるようになる。即ち、ユーザは、透明度変更スライダー２３２の小さなつまみの位置を移動させることで、表示が変化する部分が境界領域及び背景領域であり、表示が変化しない部分が前景領域であると、容易に判別することができる。しかも、このような判別を行うための透明度変更スライダー２３２の小さなつまみの移動量は、原画像表示が行われる右端まででなくても、ある程度の移動量でよい。
【０１９９】
本実施形態の画像処理システムは、切抜処理を実行することができるので、上述の第１及び第２の特長に加えてさらに、境界色や背景色といった分類色の変更操作が非常に少ない回数でできる、という第３の特長を有している。
【０２００】
即ち、境界色や背景色といった分類色（上述の例では青と赤）が原画像の色と類似している場合、第２の特長に基づいて混合比（α値）を変更しても、結果の変化が乏しくなり、ユーザは十分に視認できない場合がある。
この場合の対策としては、分類色として適当な色、即ち原画像の色と異なる色に変更する対策を取ればよい。
この場合、通常取られると想定される対策は、ユーザが、「色の変更」の機能が割り当てられたソフトウェアボタン（上述の色変更ボタン２３１がその一例）を押下操作すると、カラーパレットを表示して、当該カラーパレットから任意の色をユーザが選択する操作をする、といった対策になる。
しかしながら、このような対策では、ユーザが背景色と境界色をそれぞれ多数の色から選択する必要があるために、結果として、５ステップ前後のクリック操作が必要になる。
そこで、本実施形態の画像処理システムは、次のような手法を採用することによって、色変更ボタン２３１を最大で２回押下操作するだけで（クリック操作２回分に相当する操作をするだけで）済む、といった第３の特長を有している。
【０２０１】
図２２は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の初期状態の様子を示している。
図２２に示すように、領域演算の結果（２値ラベル）に基づいて、境界領域５０６、当該境界領域５０６の内側のウミガメの前景領域、及び、当該境界領域５０６の外側のウミガメの背景領域５０７が表示されている。
初期状態では、境界領域５０６の境界色は、図面では表現しきれないが例えば上述した赤色であり、背景領域５０７の背景色は、図面では表現しきれないが例えば上述した青色である。
【０２０２】
図２３は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の、色変更ボタン２３１を１回押下操作した状態を示している。
ユーザは、操作部３７を操作して、色変更ボタン２３１を押下操作することで、境界色や背景色といった分類色の変更を指示することができる。
色変更ボタン２３１が１回押下操作されると、境界領域５０６の境界色は、図面では表現しきれないが例えば茶色に変更され、背景領域５０７の背景色は、図面では表現しきれないが例えば緑色に変更される。
【０２０３】
図２４は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の、色変更ボタン２３１を２回押下操作した状態を示している。
色変更ボタン２３１が２回押下操作されると（図２３の状態からさらに１回押下操作されると）、境界領域５０６の境界色は、図面では表現しきれないが例えばマゼンダに変更され、背景領域５０７の背景色は、図面では表現しきれないが例えばシアンに変更される。
【０２０４】
色変更ボタン２３１が３回押下操作されると（図２４の状態からさらに１回押下操作されると）、図２２の初期状態に戻る。即ち、境界領域５０６の境界色は赤色に戻り、背景領域５０４の背景色は青色に戻る。
【０２０５】
なお、境界色と背景色の配色の決定手法は、特にこれに限定せず、背景色として３色、境界色として３色、合計６色を、単にそれぞれ明確に異なる色にすることで決定する手法を採用すれば足りる。なお、上述の例では、境界色は赤系の色として統一感を持たせている。
【０２０６】
図２５は、このような境界色と背景色の配色の決定手法を説明する図である。
前提として、今現在編集しようとしている領域、即ち十分に狭い領域を考えれば、原画像の前景領域と背景領域の画素値はほぼ一定していると考えてよい。即ち、ユーザの作業を通してみれば、画像の各部位での編集にあたり、配色の再変更は必要な場合があるが、それは大きな不都合ではないと考えられる。
また、前景画素値を「f」と記述し、背景画素値を「ｂ」と記述し、境界色として採用される３色の各々を、「Ｍ１」，「Ｍ２」，「Ｍ３」のそれぞれと記述し、背景色として採用される３色の各々を、「Ｂ１」，「Ｂ２」，「Ｂ３」のそれぞれと記述する。
このような前提の下、設計者等は、６色（境界色Ｍ１乃至Ｍ３、及び背景色Ｂ１乃至Ｂ３）のうち、前景画素値fに最も近い色を選択する。また、設計者等は、６色（境界色Ｍ１乃至Ｍ３、及び背景色Ｂ１乃至Ｂ３）のうち、背景画素値bに最も近い色を選択する。この場合、図２５から明らかなように、どのように対応をつけても、何れかの行における１対の組み合せ（図２５例ではＭ２,Ｂ２の対）には、前景画素値fからも背景画素値bからも矢印が来ない。
ここで、６色（境界色Ｍ１乃至Ｍ３、及び背景色Ｂ１乃至Ｂ３）としてそれぞれ明確に異なる色にすることで、設計者等は、矢印が来ない行の対を、境界色と背景色の配色として選択するだけで、原画像の画素値との類似色は発生させない配色を設定することが可能になる。
この配色は、仕上領域指定画面（図６の基本画面２０１と同一構成）における、略輪郭線の色（境界色）、部分マット処理による修正後のトライマップ表示の色（中間領域が境界色）と共通であり、全体に統一されており、配色変更で同時に変わる。
【０２０７】
本実施形態の画像処理システムは、切抜処理を実行することができるので、上述の第１乃至第３の特長に加えてさらに、仕上確認画面２１２（図１２）における背景を、任意の新背景画像に変更可能である、という第４の特長を有している。
【０２０８】
即ち、仕上確認画面操作処理状態Ｓ４４（図１０）に遷移すると、図２６に示すような仕上確認画面２０４が表示される。
図２６は、仕上確認画面操作処理状態Ｓ４４（図１０）において表示される仕上確認画面２０４の初期状態の様子を示している。
図２６に示すように、仕上確認画面２０４には、仕上調整が行われた処理対象画像から切り抜かれた前景（ウミガメ）に対して、予め用意された新背景画像５１１が合成されて表示される。
ユーザは、背景変更ボタン３５１を押下操作することで、表示領域２１１に表示される背景画像を、任意の新背景画像に変更することができる。
【０２０９】
図２７は、仕上確認画面操作処理状態Ｓ４４（図１０）において表示される仕上確認画面２０４の、背景変更ボタン３５１を１回押下操作した状態を示している。
背景変更ボタン３５１が１回押下操作されると、表示領域２１１に表示される背景画像は、図２７に示すような新背景画像５１２に変更される。
【０２１０】
図２８は、仕上確認画面操作処理状態Ｓ４４（図１０）において表示される仕上確認画面２０４の、背景変更ボタン３５１を２回押下操作した状態を示している。
背景変更ボタン３５１が２回押下操作されると（図２７の状態からさらに１回押下操作されると）、表示領域２１１に表示される背景画像は、図２８に示すような新背景画像５１３に変更される。
【０２１１】
図２９は、仕上確認画面操作処理状態Ｓ４４（図１０）において表示される仕上確認画面２０４の、背景変更ボタン３５１を３回押下操作した状態を示している。
背景変更ボタン３５１が３回押下操作されると（図２８の状態からさらに１回押下操作されると）、表示領域２１１に表示される背景画像は、図２９に示すような新背景画像５１４に変更される。
【０２１２】
ユーザは、納得するまで選択領域（切り抜かれる前景の領域）の修正の操作を繰り返すことになるが、切抜き結果の良し悪しは、新背景画像との相性があり、例えば境界混色をどの程度許容するかといった判断は、単色無地の背景画像だけから想像することは困難である。
あらかじめターゲットの新背景画像が決まっていれば、ターゲットたる新背景画像を表示すれば必要十分な結果が得られるが、そもそもターゲットがあらかじめ決まっているとは限らない。また、ターゲットが決まっていたとしても、どのような新背景画像に対してもある程度通用する品質に仕上げられることが望ましい。
そこで、本実施形態では、確認画面たる仕上確認画面２０４と、編集画面たる仕上調整画面２０５（図１３）とを行き来できるソフトウェアボタン、即ち、仕上調整ボタン３６１（図１２）や確認画面ボタン３７２（図１３）が設けられている。さらに、典型的な場合をある程度網羅できるような代表的な配色や複雑さを表現できる新背景画像の集合体が用意されており、背景変更ボタン３５１の押下操作（クリック操作に相当する操作）だけで、背景画像の内容が、巡回的に切り替えられるように構成されている。
これにより、例えば、ユーザは、特定の新背景画像を念頭においているならば、それに類似する新背景画像を用いて品質を容易に視認することができる。また例えば、ユーザは、あらゆる背景に通用することを目指していれば、全ての新背景画像を順次用いて品質を容易に視認することができる。そして、ユーザは、仮に品質不十分であると判断すれば、編集画面たる仕上調整画面２０５（図１３）を表示させて、編集操作に容易に戻ることが可能になる。
【０２１３】
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０２１４】
例えば、上述した実施形態では、切抜処理は、クライアント機器１１とサーバ１２との協働により行われていたが（図４）、クライアント機器１１又はサーバ１２のうちの何れかで行われてもよい。
ここで、システムとは、複数の装置や処理部により構成される装置全体を表すものであると定義し、１つの筺体内に収まる範囲内を１台の装置と仮定するならば、本発明が適用される画像処理システムは、複数の装置で構成してもよいし、単体の装置で構成してもよい。この場合、複数の装置で構成されるならば、複数の装置全体で図４の切抜処理部１０２の機能全体を発揮することができれば足り、図４の切抜処理部１０２の一機能は、複数の装置のうち任意の台数の任意の装置が有していればよい。
【０２１５】
また例えば、上述した実施の形態では、本発明が適用される情報処理装置は、パーソナルコンピュータ等として構成される例として説明した。しかしながら、本発明は、特にこれに限定されず、画像処理機能を有する電子機器一般に適用することができ、例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。
【０２１６】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０２１７】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０２１８】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア４２（図２），６１（図３）により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROM３２（図２），５２（図３）や記憶部３９（図２），５８（図３）に含まれるハードディスク等で構成される。
【０２１９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【０２２０】
１１・・・クライアント機器、１２・・・サーバ、２１・・・ネットワーク、１０１・・・通信制御部、１０２・・・切替処理部、１１１・・・切抜指定部、１１２・・・仕上調整部、１２１・・・領域演算処理部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、人物等の前景物体に対して任意の背景を合成し、その結果得られる合成画像を印刷する技術が存在する。
【０００３】
例えば特許文献１には、人物写真等を別の背景と合成して印刷する技術として、別の背景画像を人物の背後のスクリーンに直接投影する技術が開示されている。また、特許文献１には、クロマキー合成に用いるためにブルーバック背景を投影する技術や、映画でよく用いられる、いわゆるクロマキー合成処理との組み合せの技術についても開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−７７９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、スクリーンや投影装置等を用いることなく、画像処理のみによって任意の背景に任意の画像から切り抜いた前景物体を合成したいという要求が近年挙げられているが、特許文献１の技術では、当該要求に応えることができない。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、スクリーンや投影装置等を用いることなく、任意の背景に任意の画像から切り抜いた前景物体を合成するために必要な画像処理を実現し、ひいては当該画像処理に対する操作を簡便にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様によると、
前景物体を含む処理対象画像のデータについて、前記前景物体を含む前景領域と、背景領域と、前記前景領域と前記背景領域との境界を示す境界領域とを検出する検出手段と、
前記処理対象画像を表示するに際し、前記境界領域を他の領域とは識別可能な第１の色で表示させ、前記背景領域を、前記第１の色とは異なる第２の色で表示させる制御を実行する表示制御手段と、
を備える画像処理装置を提供する。
【０００８】
本発明の一態様によると、上述した本発明の一態様に係る画像処理装置に対応する画像処理方法及びプログラムの各々を提供する。
【発明の効果】
【０００９】
本発明によれば、スクリーンや投影装置等を用いることなく、任意の背景を前景物体に合成するために必要な画像処理を実現し、ひいては当該画像処理に対する操作を簡便にすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】図１の画像処理システムのクライアント機器のハードウェア構成を示すブロック図である。
【図３】図１の画像処理システムのサーバのハードウェア構成を示すブロック図である。
【図４】図２のハードウェア構成を有するクライアント機器と、図３のハードウェア構成を有するサーバとが協働して切抜処理を実行する場合の画像処理システムの機能的構成を示す機能ブロック図である。
【図５】図４のクライアント機器が切抜指定処理を実行する場合に取り得る各状態の一例を示す状態遷移図である。
【図６】図４の画像処理システムの切抜処理で用いられる基本画面の一例を示す図である。
【図７】図５の切抜指定処理で用いられる切抜領域指定画面の一例を示す図である。
【図８】図５の切抜指定処理で用いられる切抜修正指定画面の一例を示す図である。
【図９】図５の切抜指定処理の一部に対応する切抜領域修正処理の流れを説明するフローチャートである。
【図１０】図４のクライアント機器が仕上調整処理を実行する場合に取り得る各状態の一例を示す状態遷移図である。
【図１１】図１０の仕上調整処理内で実行されるマット処理の流れを説明するフローチャートである。
【図１２】図１０の仕上調整処理で用いられる仕上確認画面の一例を示す図である。
【図１３】図１０の仕上調整処理で用いられる仕上調整画面の一例を示す図である。
【図１４】図１のクライアント機器とサーバとが協同して切り抜き処理を実行する場合の相互の処理の関係について説明するフローチャートである。
【図１５】図１４のクライアント側処理の切抜処理の流れを説明するフローチャートである。
【図１６】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図１７】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図１８】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図１９】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２０】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２１】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２２】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２３】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２４】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２５】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２６】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２７】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２８】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図２９】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態を図面に基づいて説明する。
【００１２】
図１は、本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。
【００１３】
図１に示す画像処理システムは、クライアント機器１１−１乃至１１−Ｎ（Ｎは１以上の任意の整数値）と、サーバ１２と、を備えている。
クライアント機器１１−１乃至１１−Ｎ及びサーバ１２の各々は、インターネット等の所定のネットワーク２１を介して相互に接続されている。
なお、以下、クライアント機器１１−１乃至１１−Ｎの個々を区別する必要が無い場合、これらをまとめて、「クライアント機器１１」と呼ぶ。
【００１４】
クライアント機器１１は、ネットワーク２１を介して接続したサーバ１２と協働して、人物等の着目物体（以下「前景」と呼ぶ）を含む画像を原画像として、当該原画像から前景を切り抜く画像処理を実行することができる。このような画像処理を、以下、「切抜処理」と呼ぶ。
このような切抜処理により原画像から切り出された前景は、原画像とは別の新たな背景と合成され、その結果得られる合成画像が紙媒体等に印刷されてユーザに提供される。
【００１５】
図２は、このような切抜処理を実行するためのクライアント機器１１のハードウェア構成を示すブロック図である。クライアント機器１１は、例えばカメラ付きパーソナルコンピュータにより構成することができる。
【００１６】
クライアント機器１１は、CPU（Central Processing Unit）３１と、ROM（Read Only Memory）３２と、RAM（Random Access Memory）３３と、バス３４と、入出力インターフェース３５と、撮像部３６と、操作部３７と、表示部３８と、記憶部３９と、通信部４０と、ドライブ４１と、を備えている。
【００１７】
CPU３１は、ROM３２に記録されているプログラムに従って、又は、記憶部３９からRAM３３にロードされたプログラムに従って、各種の処理を実行する。
RAM３３にはまた、CPU３１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１８】
例えば本実施形態では、後述する図４の通信制御部１０１を実現するプログラムが、ROM３２や記憶部３９に記憶されている。また、後述する図４の切抜処理部１０２を実現するプログラム（切抜処理を実行するプログラムであり、以下、「切抜処理用プログラム」と呼ぶ）は、サーバ１２から提供されてRAM３３に展開される。従って、CPU３１が、これらのプログラムに従った処理を実行することで、図４の通信制御部１０１及び切抜処理部１０２の各機能を実現することができる。
【００１９】
CPU３１、ROM３２、及びRAM３３は、バス３４を介して相互に接続されている。このバス３４にはまた、入出力インターフェース３５も接続されている。入出力インターフェース３５には、撮像部３６、操作部３７、表示部３８、記憶部３９、通信部４０、及びドライブ４１が接続されている。
【００２０】
撮像部３６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００２１】
光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２２】
イメージセンサは、光電変換素子や、AFE（Analog Front End）等から構成される。
光電変換素子は、例えばCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮像）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D（Analog/Digital）変換処理等の各種信号処理を施す。各種信号処理によって、デジタル信号が生成され、撮像部３６の出力信号として出力される。
なお、以下、撮像部３６の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部３６からは撮像画像のデータが出力されて、CPU３１等に適宜供給される。
【００２３】
操作部３７は、キーボードやマウス等で構成され、ユーザの指示操作を受け付ける。
表示部３８は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部３９は、ハードディスク等で構成され、撮像部３６から出力された撮像画像のデータ等、画像処理の対象となる画像のデータを一時記憶する。また、記憶部３９は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部４０は、ネットワーク２１を介してサーバ１２（図１）等の他の装置との間で行う通信を制御する。
例えば本実施形態では、各種データの他、上述の如く切抜処理用プログラムがサーバ１２から送信されてくる場合がある。このような場合、通信部４０は、当該切抜処理用プログラムを受信して記憶部３９に一旦記憶させる。記憶部３９に記憶された切抜処理用プログラムは、RAM３３に展開されてCPU３１により実行される。
【００２４】
ドライブ４１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア４２が適宜装着される。
ドライブ４１によってリムーバブルメディア４２から読み出されたプログラムは、必要に応じて記憶部３９にインストールされる。また、リムーバブルメディア４２は、記憶部３９に記憶されている画像のデータ等の各種データも、記憶部３９と同様に記憶することができる。
【００２５】
図３は、このようなクライアント機器１１と協働して切抜処理を実行するためのサーバ１２のハードウェア構成を示すブロック図である。
【００２６】
サーバ１２は、CPU５１と、ROM５２と、RAM５３と、バス５４と、入出力インターフェース５５と、入力部５６と、出力部５７と、記憶部５８と、通信部５９と、ドライブ６０と、を備えている。
【００２７】
CPU５１は、ROM５２に記録されているプログラムに従って、又は、記憶部５８からRAM５３にロードされたプログラムに従って、各種の処理を実行する。
RAM５３にはまた、CPU５１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００２８】
例えば本実施形態では、後述する図４の通信制御部１５１及び主制御部１５２の各機能を実現するプログラムが、ROM５２や記憶部５８に記憶されている。従って、CPU５１が、これらのプログラムに従った処理を実行することで、図４の通信制御部１５１及び主制御部１５２の各機能を実現することができる。
【００２９】
CPU５１、ROM５２、及びRAM５３は、バス５４を介して相互に接続されている。このバス５４にはまた、入出力インターフェース５５も接続されている。入出力インターフェース５５には、入力部５６、出力部５７、記憶部５８、通信部５９、及びドライブ６０が接続されている。
【００３０】
入力部５６は、キーボードやマウス等で構成され、各種情報を入力する。
出力部５７は、液晶ディスプレイ、スピーカ、プリンタ等で構成され、各種情報を出力する。例えば、クライアント機器１１の切抜処理によって原画像から切り抜かれた前景と、原画像とは別の新背景とが合成され、その結果得られる合成画像が、プリンタにより紙媒体等に印刷されて出力される。
記憶部５８は、ハードディスク等で構成され、各種情報を記憶する。
通信部５９は、ネットワーク２１を介してクライアント機器１１（図１）等の他の装置との間で行う通信を制御する。
【００３１】
ドライブ６０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア６１が適宜装着される。
ドライブ６０によってリムーバブルメディア６１から読み出されたプログラムは、必要に応じて記憶部５８にインストールされる。また、リムーバブルメディア６１は、記憶部５８に記憶されている画像のデータ等の各種データも、記憶部５８と同様に記憶することができる。
【００３２】
図４は、図２のハードウェア構成を有するクライアント機器１１と、図３のハードウェア構成を有するサーバ１２とが協働して切抜処理を実行する場合の画像処理システムの機能的構成を示す機能ブロック図である。
【００３３】
［クライアント機器１１の機能的構成］
初めに、画像処理システムの構成要素のうち、クライアント機器１１の機能的構成について説明する。
【００３４】
クライアント機器１１がネットワーク２１を介してサーバ１２と通信をする場合、クライアント機器１１のCPU３１において、通信制御部１０１が機能する。
即ち、通信制御部１０１は、通信部４０及びネットワーク２１を介してサーバ１２と接続して、各種情報を授受するための制御を実行する。
例えば、通信制御部１０１は、切抜処理用プログラムがサーバ１２から送信されてきた場合、ネットワーク２１を介して通信部４０に受信させ、記憶部３９のプログラム記憶部１３１に一旦記憶させる。
このようにしてプログラム記憶部１３１に記憶された切抜処理用プログラムがRAM３３（図２）に展開されて実行されると、CPU３１において、切抜処理部１０２が機能する。
【００３５】
切抜処理部１０２は、切抜処理を実行すべく、切抜指定部１１１と、仕上調整部１１２と、を備えている。仕上調整部１１２は、領域演算処理部１２１を備えている。
【００３６】
即ち、切抜処理を実現する切抜処理用プログラムは、大別すると、切抜指定プログラムと、仕上調整プログラムと、に分類される。
【００３７】
切抜処理用プログラムのうち切抜指定プログラムが実行される場合には、切抜処理部１０２のうち切抜指定部１１１が機能する。
切抜指定プログラムとは、処理対象の原画像から、切抜対象としてユーザにより選択される前景の領域（以下、「選択領域」と呼ぶ）の指定を行い、選択領域の境界部分をきれいに仕上げる（境界領域の重ね合わせを滑らかにする）ための演算を行い、その演算結果を保存するまでの一連の処理（以下、「切抜指定処理」と呼ぶ）を実現するプログラムである。
なお、選択領域の境界部分をきれいに仕上げる（境界領域の重ね合わせを滑らかにする）ための演算を、以下、「領域演算」と呼ぶ。
切抜指定プログラムでは、処理途中の状態でもデータの保存が可能になっており、処理途中の状態で保存されたデータが再度読み込まれた場合、保存された時点の状態から処理の継続が可能になる。即ち、ユーザにとっては、保存された状態から継続して作業を行うことが可能になる。
【００３８】
一方、切抜処理用プログラムのうち仕上調整プログラムが実行される場合には、切抜処理部１０２のうち仕上調整部１１２が機能する。
即ち、上述の切抜指定プログラムのみが実行されても、境界領域の仕上げを行った選択領域を特定可能なデータが得られるが、ユーザが、さらに高精細な合成画像を得たいと所望した場合や境界領域の調整を行いたいと所望した場合等に実行されるプログラムが、仕上調整プログラムである。
仕上調整プログラムでは、切抜指定プログラムによる切抜指定処理の結果が読み込まれ、領域演算を伴う各種処理（これらをまとめて、「仕上調整処理」と呼ぶ）が実行される。この仕上調整処理における領域演算は、後述するマット処理を伴うものであるため、このマット処理も含めた領域演算を実行する処理を、以下、「領域演算処理」と呼ぶ。
このマット処理が実行される場合には、仕上調整部１１２のうち、領域演算処理部１２１が機能する。
仕上調整プログラムでは、処理途中の状態でもデータの保存が可能になっており、処理途中の状態で保存されたデータが再度読み込まれた場合、保存された時点の状態から処理の継続が可能になる。即ち、ユーザにとっては、保存された状態から継続して作業を行うことが可能になる。
【００３９】
なお、切抜指定部１１１、仕上調整部１１２、及び、領域演算処理部１２１の各々が有する各機能の更なる詳細については、図５以降の図面を参照して後述する。
【００４０】
このように、本実施形態では、通信制御部１０１及び切抜処理部１０２は、図２に示す構成のうち、CPU３１というハードウェアと、プログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示であって、通信制御部１０１及び切抜処理部１０２の機能の少なくとも一部を、CPU３１以外の他の構成要素に移譲させることも当然可能である。
【００４１】
また、本実施形態では、記憶部３９の一領域として、プログラム記憶部１３１と、画像記憶部１３２と、が設けられている。
プログラム記憶部１３１は、通信制御部１０１を実現するプログラムを予め記憶している。また、上述したように、通信制御部１０１の制御により切抜処理用プログラムが受信された場合、当該切抜処理用プログラムはプログラム記憶部１３１に記憶される。
画像記憶部１３２は、切抜処理部１０２が切抜処理を実行する際の処理対象となる各種画像のデータを所定のファイル形式で記憶する。画像記憶部１３２に記憶され得る画像のデータの具体例については、後述する。
なお、プログラム記憶部１３１及び画像記憶部１３２が記憶部３９の一領域として設けられていることは例示にすぎず、その他例えば、リムーバブルメディア４２の一領域として設けられるようにしてもよい。また、画像記憶部１３２は、クライアント機器１１に設けられている必要は特になく、例えば、通信部４０及びネットワーク２１を介して接続される他の装置内に設けられていてもよい。
【００４２】
以上、画像処理システムの構成要素のうち、クライアント機器１１の機能的構成について説明した。次に、画像処理システムの構成要素のうち、サーバ１２の機能的構成について説明する。
【００４３】
［サーバ１２の機能的構成］
クライアント機器１１がネットワーク２１を介して接続するサーバ１２と協働して切抜処理を実行する場合、サーバ１２のCPU５１においては、通信制御部１５１と、主制御部１５２と、が機能する。
【００４４】
通信制御部１５１は、通信部５９及びネットワーク２１を介してクライアント機器１１と接続して、各種情報を授受するための制御を実行する。
例えば、通信制御部１５１は、クライアント機器１１からアクセスされると（例えば後述するログイン処理がなされると）、記憶部５８のプログラム記憶部１６１に記憶されていた切抜処理用プログラムを読み出して、通信部５９からネットワーク２１を介してクライアント機器１１に対して送信する（後述する図１４のステップＳ２０１，Ｓ２２１，Ｓ２２３参照）。
また例えば、通信制御部１５１は、切抜処理後の画像等、各種画像のデータがクライアント機器１１から送信されてきた場合、各種画像のデータをネットワーク２１を介して通信部５９に受信させ、記憶部５８の画像記憶部１６２に記憶させる。
その後例えば、画像記憶部１６２に記憶された画像のデータに基づいて、切抜処理によって原画像から切り抜かれた前景と、原画像とは別の新背景とが合成され、その結果得られる合成画像が、プリンタにより紙媒体等に印刷されて出力される。
【００４５】
主制御部１５２は、クライアント機器１１がネットワーク２１と接続してサーバ１２と協働して切抜処理を実行する場合、サーバ１２全体を制御する。
なお、主制御部１５２の制御の詳細については、図１４等を参照して後述する。
【００４６】
このように、本実施形態では、通信制御部１５１及び主制御部１５２は、図３に示す構成のうち、CPU５１というハードウェアと、プログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示であって、通信制御部１５１及び主制御部１５２の機能の少なくとも一部を、CPU５１以外の他の構成要素に移譲させることも当然可能である。
【００４７】
また、本実施形態では、記憶部５８の一領域として、プログラム記憶部１６１と、画像記憶部１６２と、が設けられている。
プログラム記憶部１６１は、通信制御部１５１及び主制御部１５２の各々を実現するプログラムを予め記憶している。プログラム記憶部１６１はまた、上述の如く、クライアント機器１１に対してダウンロードさせることが可能な、切抜処理用プログラムを予め記憶している。
画像記憶部１６２は、上述したように、クライアント機器１１から送信されて通信部５９に受信された、各種画像のデータを所定のファイル形式で記憶する。画像記憶部１６２に記憶され得る画像のデータの具体例については、後述する。
なお、プログラム記憶部１６１及び画像記憶部１６２が記憶部５８の一領域として設けられていることは例示にすぎず、その他例えば、リムーバブルメディア６１の一領域として設けられるようにしてもよい。また、画像記憶部１６２は、サーバ１２に設けられている必要は特になく、例えば、通信部５９及びネットワーク２１を介して接続される他の装置内に設けられていてもよい。
【００４８】
次に、このような図４の機能的構成を有する画像処理システムが実行する切抜処理の詳細について説明する。
先ず、図５乃至図９を参照して、切抜処理のうち、切抜指定処理の詳細について説明する。
【００４９】
図５は、クライアント機器１１が切抜指定処理を実行する場合に取り得る各状態の一例を示す状態遷移図である。
【００５０】
図５において、各状態は、１つの楕円で示されており、その楕円に引かれた“Ｓ”を含む符号により判別される。
１つの状態から１つの状態への状態遷移（同一の状態に留まる場合も含む）は、所定の条件（以下、「状態遷移条件」と呼ぶ）が満たされると実行される。
このような状態遷移条件は、図５おいては、１つの状態から１つの状態への遷移を表す矢印に、“Ｃ”を含む符号を付して表されている。
なお、本段落の内容は、後述する図１０の状態遷移図についても同様にあてはまる。
【００５１】
前提として、本実施形態では、処理対象画像のデータは、切抜指定処理の開始前に予め画像記憶部１３２から読み込まれているものとする。
即ち、詳細については図１４のフローチャートを参照して後述するが、切抜処理（切抜指定処理）の前に、画像記憶部１３２に記憶されている複数の画像のデータの中から、切抜対象の前景（人物等）を含む画像のデータがユーザにより選択される（後述する図１４のステップＳ２０４参照）。
このようにして選択され画像のデータは、処理対象画像のデータとして画像記憶部１３２から読み込まれ、サーバ１２に送信される（後述する図１４のステップＳ２０５参照）。これにより、切抜処理のうち切抜指定処理が開始する（後述する図１４のステップＳ２０６，図１５のステップＳ２４１参照）。
すると、切抜指定部１１１（図４）は、状態遷移条件Ｃ１が満たされたと判定し、クライアント機器１１の状態を、処理対象画像取得処理状態Ｓ１１に遷移させる。
【００５２】
処理対象画像取得処理状態Ｓ１１に遷移すると、切抜指定部１１１は、処理対象画像のデータを取得する。
ここで、処理対象画像のデータは、特に限定されず、例えば撮像部３６（図２）により人物が撮像された結果得られる撮像画像のデータ等を採用することができる。
ただし、読み込まれた画像の解像度（サイズ）のままでは、切抜指定処理に長時間を要する場合がある。そこで、本実施形態では、切抜指定部１１１は、読み込まれた画像のデータの解像度（サイズ）を縮小する。
このように切抜指定部１１１により縮小された後の解像度（サイズ）を、以下、「縮小サイズ」と呼ぶ。例えば、（水平方向の画素数）×（垂直方向の画素数）のサイズという表記を用いるならば、本実施形態では縮小サイズとして、640×480のサイズ又は480×640のサイズが採用される。
【００５３】
ここで、処理対象画像のデータとして取得される種類として、次の２種類が存在する。
即ち、１種類目のデータとは、撮像画像等の原画像のデータそのものである。
主に、処理対象画像に対する切抜指定処理が初回の場合に、１種類目のデータ、即ち、原画像のデータそのものが取得される。この場合、原画像のデータが縮小サイズのデータに変換されると、切抜指定部１１１は、状態遷移条件Ｃ２が満たされたと判定し、クライアント機器１１の状態を、切抜領域指定画面操作処理状態Ｓ１２に遷移させる。
これに対して、２種類目のデータとは、前回の処理対象画像に対する切抜指定処理の途中に保存された画像（切抜画像等）のデータである。
２種類目の画像のデータが取得され、必要に応じて、当該データが縮小サイズのデータに変換されると、切抜指定部１１１は、状態遷移条件Ｃ３が満たされたと判定し、クライアント機器１１の状態を、切抜修正画面操作処理状態Ｓ１４に遷移させる。
【００５４】
このようにして、処理対象画像取得処理状態Ｓ１１からは、切抜領域指定画面操作処理状態Ｓ１２又は切抜修正画面操作処理状態Ｓ１４に遷移する。
ここで、「切抜領域指定画面操作処理状態」とは、「切抜領域指定画面」と名付けられたGUI（Graphical User Interface）用の画面が、クライアント機器１１の表示部３８（図２，図４）に表示され、当該画面に対してユーザによるGUI操作がなされた場合に、GUI操作の内容に応じた処理を実行している状態をいう。
従って、ユーザは、切抜領域指定画面を用いて、操作部３７（図２，図４）のマウス等を用いたGUI操作をすることによって、切抜処理を実行する上で必要な各種指示をクライアント機器１１と対話的に行うことが可能になる。
なお、この段落の記載事項は、切抜処理における、切抜修正画面操作処理状態等他の画面操作処理状態についても同様にあてはまる。
切抜処理で用いられる画面は複数種類存在するため、各状態において異なる種類の画面が表示部３８に表示される。
ただし、切抜処理で用いられる複数種類の画面は何れも、図６に示すような基本画面に基づいて生成される。即ち、基本画面を構成する各要素（ソフトウェアボタンやスライダー等）のうち、所定の種類の画面が表示される状態において、使用できないものや、選択する必要が無いためそのアイコンを選択している状態になっているもの（移動アイコン等）は表示が禁止されるように、当該所定の種類の画面が生成される。
【００５５】
図６は、切抜処理で用いられる基本画面の一例を示している。
基本画面２０１は、６つの表示領域２１１乃至２１６に区分されている。
【００５６】
表示領域２１１は、基本画面２０１の略中央部に位置し、処理対象画像のうち、ユーザが操作対象とする部分を表示する。
【００５７】
表示領域２１２には、例えば「色の変更」と表示されたソフトウェアボタン２３１（以下、「色変更ボタン２３１」と呼ぶ）が配置される。色変更ボタン２３１には、境界領域やその外側の背景領域（後述する非選択領域）についての色の変更の指示の機能が割り当てられる。
また例えば、図６には図示しないが（図１２参照）、表示領域２１２の同一位置に、「背景を変更」と表示されたソフトウェアボタン３５１（以下、「背景変更ボタン３５１」と呼ぶ）が配置される場合がある。背景変更ボタン３５１には、（異なった色の）背景の表示切替等の指示の機能が割り当てられる。
即ち、ユーザは、操作部３７のマウス等を用いて、色変更ボタン２３１や背景変更ボタン３５１を押下操作することで、これらに割り当てられている内容の指示を行うことができる。なお、これらの各種指示の詳細については後述する。
【００５８】
表示領域２１２にはまた、左方に「透明度」と表示されたスライダー２３２（以下、「透明度変更スライダー２３２」と呼ぶ）が配置される。透明度変更スライダー２３２は、境界領域やその外側の背景領域（後述する非選択領域）の透明度の変更を行うスライダーである。
【００５９】
ここで、スライダーとは、オーディオ機器等で見られるスライドボリュームを模したソフトウェア上のコントロールをいう。一般的に、スライダーは、小さなつまみと、それを動かすための溝を模した表示によって構成される。
このスライダーは、一定の範囲内から１つの値を選択するという機能を有している。溝の両端のうち、一方の端が最小値であり、他方の端が最大値である。即ち、ユーザは、操作部３７のマウス等を用いて、小さなつまみをドラッグして移動させることにより、溝の範囲内で任意の値（透明度変更スライダー２３２では、透明度）を選択することができる。
なお、選択肢の中から１つを選ぶという機能だけに着目すると、ラジオボタンやリストボックスを採用してもよいが、本実施形態のようにスライダーを採用することで、ユーザは、連続した関係にある多数の値の中から所望の値を選択することが可能になる。
【００６０】
表示領域２１３には、「拡大縮小」と表示されたスライダー２４１（以下、「拡大縮小スライダー２４１」と呼ぶ）が配置される。
拡大縮小スライダー２４１は、表示領域２１１に表示される画像の拡大縮小を行うスライダーである。本実施形態の拡大縮小スライダー２４１においては、その溝の左端に対して、最小倍率である１倍が対応付けられており、その溝の右端に対して、最大倍率である８培が対応付けられている。即ち、本実施形態では、１倍未満の選択はできないことになる。小さなつまみが溝の左端によせられると、表示領域２１１は１倍表示となる。ここで、１倍表示とは、編集画像（処理対象画像）の全体が表示領域２１１の全体に表示された状態をいう。
【００６１】
表示領域２１４には、描画ツールが配置される。
描画ツールとは、ユーザが操作部３７のマウス等を用いてアイコンやペンをクリックして、表示領域２１１に対するマウス操作の動作を変更するために使用するツールをいう。
描画ツールを構成する要素の種類や個数は特に限定されないが、本実施形態では図６に示すように、移動アイコン２５１、背景ペン２５２、境界ペン２５３、消しゴム２５４、及びペンサイズ２５５が表示領域２１４に配置されている。
移動アイコン２５１は、ユーザが操作部３７のマウス等を用いてマウスドラックを行うことで、拡大中の画面の表示領域を変更（移動）する機能を有するアイコンである。
背景ペン２５２は、背景を指定するために使用するソフトウェアペンである。
境界ペン２５３は、背景と前景との境界を指定するために使用するソフトウェアペンである。
消しゴム２５４は、切抜領域指定画面（後述する図７参照）では、境界ペン２４２で描いた領域を消去するために使用し、切抜領域指定画面以外の画面では、選択領域（切り抜かれる前景領域）を指定するために使用するためのツールである。
ペンサイズ２５５は、背景ペン２５２、境界ペン２５３、消しゴム２５４の塗りのサイズを選択するためのアイコンである。ユーザは、操作部３７のマウス等を用いて、ペンサイズ２５５のうち所望のサイズのアイコンをクリックすることで、塗りのサイズを変更できる。
なお、本実施形態では、画面間を移行した場合には、ペンサイズ２５５の設定（塗りのサイズ）はリセットされる。領域演算（マット領域演算含む）が実行された場合には、ペンサイズ２５５の設定（塗りのサイズ）は維持される。表示拡大時のペンサイズ２５５の設定（塗りのサイズ）は、画面の拡大と一緒に拡大される。
【００６２】
表示領域２１５には、ソフトウェアボタン２６１乃至２６４等各種ソフトウェアボタンが配置される。
表示領域２１５に配置されるソフトウェアボタンは、各種画面によってまちまちであるため、後述する各種画面の説明の際に併せて説明する。なお、図６に示すソフトウェアボタン２６１乃至２６４は、後述する仕上領域指定画面において用いられるものである。
【００６３】
表示領域２１６は、予備領域として設けられており、メッセージ画像等各種画像が適宜表示される。
【００６４】
次に、このような図６の基本画面２０１に基づいて生成される画面のうち、図５の切抜領域指定画面操作処理状態Ｓ１２で表示される画面、即ち切抜領域指定画面について説明する。
【００６５】
図７は、切抜領域指定画面の一例を示している。
切抜領域指定画面２０２は、基本画面２０１（図６）と同様に、６つの表示領域２１１乃至２１６に区分されている。
ただし、切抜領域指定画面２０２の表示領域２１２，２１３，２１６には、何ら表示されていない。
【００６６】
表示領域２１１には、初期状態として、撮像画像等の処理対象画像の全体（ただし縮小サイズ）が表示される。
表示領域２１４には、描画ツールのうち、境界ペン２５３、消しゴム２５４、及びペンサイズ２５５が表示される。
【００６７】
そこで、ユーザは、操作部３７のマウス等を用いて、表示領域２１１に表示された処理対象画像のうち、前景と背景との境界領域を境界ペン２５３で囲うように指定する。このとき、ユーザにより指定された境界領域が、ペンサイズ２５５により指定された塗りのサイズの太さで、表示領域２１１に表示される。例えば図７の例では、前景（ウミガメ）と背景との境界領域は指定されている最中なので、境界領域として、指定済みの部分に対応する一部の領域３０１が表示されている。
【００６８】
ユーザは、境界領域の指定の操作を行っている最中に境界ペン２５３で誤った部分を指定しまった場合、消しゴム２５４を用いて、表示領域２１１に表示された境界領域のうち、誤った部分に対応する領域を消去することができる。
また、ユーザは、境界ペン２５３や消しゴム２５４の描画サイズ（塗りのサイズ）を変更したい場合には、ペンサイズ２５５の設定を行えばよい。
【００６９】
切抜領域指定画面２０２の表示領域２１５には、「やり直し」と表示されたソフトウェアボタン３１１（以下、「やり直しボタン３１１」と呼ぶ）と、「領域計算」と表示されたソフトウェアボタン３１２（以下、「領域計算ボタン３１２」と呼ぶ）と、が配置される。
【００７０】
やり直しボタン３１１には、直前の操作を取り消す機能が割り当てられている。
即ち、ユーザは、直前の操作内容が間違っていた場合等に、操作部３７のマウス等を用いて、やり直しボタン３１１を押下操作することで、当該直前の操作を取り消すことができる。
【００７１】
領域計算ボタン３１２には、領域演算の開始指示の機能が割り当てられている。
即ち、ユーザは、境界領域の指定の操作後、操作部３７のマウス等を用いて、領域計算ボタン３１２を押下操作することで、当該境界領域についての領域演算の開始指示を行うことができる。
【００７２】
領域計算ボタン３１２が押下操作されると、切抜指定部１１１（図４）は、図５に示すように、状態遷移条件Ｃ４が満たされたと判定し、クライアント機器１１の状態を、領域演算処理状態Ｓ１３に遷移させる。
【００７３】
領域演算処理状態Ｓ１３に遷移すると、切抜指定部１１１は、処理対象画像のデータ（縮小サイズ）に基づいて、ユーザにより指定された境界領域についての領域演算を行う。
具体的には本実施形態では、切抜指定部１１１は、次のような一連の処理を実行することで、領域演算を行う。
即ち、切抜指定部１１１は、処理対象画像のデータに基づいて、ユーザにより指定された境界領域の内側の領域を、前景と断定できる領域（以下、「絶対前景領域」と呼ぶ）として決定し、当該境界領域の外側の領域を、背景と断定できる領域（以下、「絶対背景領域」と呼ぶ）を決定する。
次に、切抜指定部１１１は、処理対象画像（縮小サイズ）を構成する各画素毎に、前景又は背景を示す２値ラベルのあてはまりの良さを評価するコスト関数を、１階MRF（Markov Random Field）モデルを用いてモデル化し、その最適解を求める。
具体的には、切抜指定部１１１は、絶対前景領域と絶対背景領域との情報を用いてデータ項を作り、処理対象画像のエッジ性を用いて隣接項を作る。
これにより、最適化された、縮小サイズの２値ラベルが得られる。そこで、切抜指定部１１１は、当該２値ラベルを記憶部３９の画像記憶部１３２（図４）等に保存する。
このようにして、本実施形態では、切抜指定部１１１により領域演算が行われる。
【００７４】
このような領域演算が終了すると、切抜指定部１１１（図４）は、図５に示すように、状態遷移条件Ｃ５が満たされたと判定し、クライアント機器１１の状態を、切抜修正画面操作処理状態Ｓ１４に遷移させる。
なお、図５には図示しないが、境界ペン２５３で指定された境界領域の不具合（境界領域が閉じていない等）で領域演算が行われかった場合には、切抜指定部１１１は、領域演算がうまくいかなかったことを示すメッセージ画像を表示部３８に表示させ、切抜領域指定画面操作処理状態を維持する。
【００７５】
切抜修正画面操作処理状態Ｓ１４に遷移すると、切抜指定部１１１は、図８に示すような切抜修正画面を表示部３８に表示させる。
【００７６】
図８は、切抜修正指定画面の一例を示している。
切抜修正画面２０３は、基本画面２０１（図６）と同様に、６つの表示領域２１１乃至２１６に区分されている。
【００７７】
表示領域２１１には、初期状態として、上述した図７の切抜領域指定画面２０２の領域計算ボタン３１２が押下操作されて上述の領域演算が行われた結果が表示される。
即ち、表示領域２１１には、処理対象画像（縮小サイズ）に２値ラベル（縮小サイズ）が合成された合成画像が表示されるとともに、前景と背景との境界領域（図８の例ではウミガメの周囲を囲む領域３０２）が表示される。
この場合、境界領域内の領域が、切抜対象としてユーザにより選択される前景領域、即ち選択領域である。選択領域は透過率が１００％で固定されており、常に処理対象画像そのものが表示されるようになされている。
ユーザが操作部３７のマウス等を用いて選択領域を修正するための画面が、切抜修正画面２０３である。
【００７８】
表示領域２１２には、色変更ボタン２３１と、透明度変更スライダー２３２とが配置されている。
ここで、境界領域（図８の例ではウミガメの周囲を囲む領域３０２）の外側の領域、即ち、切抜対象としてユーザにより選択されない背景領域を、以下「非選択領域」と呼ぶ。この場合、切抜修正画面２０３の表示領域２１１に表示される画像は、前景としての選択領域と、背景としての非選択領域と、これらの領域の境界となる境界領域と、にそれぞれ分類される。
このような分類をユーザが視認できるように、本実施形態では、境界領域及び非選択領域の各々が、第１の色及び第２の色で表示される。なお、以下、境界領域を表示する第１の色を「境界色」と、背景としての非選択領域を表示する第２の色を「背景色」と、それぞれ呼ぶ。
このような境界色と背景色との組み合わせは、本実施形態の初期状態では、赤色と青色との組み合わせとされているが、それぞれの領域が識別可能な色であれば、どのような色でもよい。また、境界色及び背景色それぞれの色は色変更ボタン２３１によって変更可能になっている。即ち、ユーザは、色変更ボタン２３１を押下操作することで、境界色と背景色との組み合わせを、所望の色の組み合わせに変更することができる。なお、色の組み合わせの変更の詳細については、図２５を参照して後述する。
また、境界領域及び非選択領域は、本実施形態の初期状態では半透過状態となっているが、透明度変更スライダー２３２によって透明度の変更が可能になっている。なお、２値ラベル側の非選択領域が背景色となっており、この透明度が高くなるにつれ、処理対象画像の背景部分がユーザに視認されるようになる。境界領域の透明度についても同様になっている。
ユーザは、透明度変更スライダー２３２を操作することで、境界領域及び非選択領域の透明度を、所望の度合に変更することができる。
【００７９】
表示領域２１３には、拡大縮小スライダー２４１が配置されている。
従って、ユーザは、拡大縮小スライダー２４１を操作することで、選択領域、境界領域及び非選択領域のうちの、所望の領域や２以上の領域の結合部等着目する部分を拡大表示させることができる。その後、ユーザは、拡大縮小スライダー２４１を操作することで、拡大表示後の画像を、等倍となるまでの範囲内で縮小表示させることもできる。
【００８０】
表示領域２１４には、描画ツールのうち、移動アイコン２５１、背景ペン２５２、消しゴム２５４、及びペンサイズ２５５が表示される。
【００８１】
そこで、ユーザは、操作部３７のマウス等を用いて、表示領域２１１に表示されている画像のうち、本来前景であるはずが背景となっている領域を消しゴム２５４で消すように指定することで、当該領域を選択領域として新たに指定することができる。
一方、ユーザは、操作部３７のマウス等を用いて、表示領域２１１に表示されている画像のうち、本来背景であるはずが前景となっている領域を背景ペン２５２で描くように指定することで、当該領域を非選択領域として指定することができる。
要するに、表示領域２１１において、非選択領域は第２の色で表示されているので、ユーザは、色が塗ってあるところは、選択領域（前景）が切り抜かれた場合に切り捨てられる領域というイメージを持って、選択領域を修正する作業を行うことができる。
なお、表示領域２１１が拡大表示中の場合、ユーザは、移動アイコン２５１を用いて、表示領域（作業対象領域）を変更（移動）することができる。また、ユーザは、背景ペン２５２や消しゴム２５４の描画サイズ（塗りのサイズ）を変更したい場合には、ペンサイズ２５５の設定を行えばよい。
【００８２】
切抜修正画面２０３の表示領域２１５には、切抜領域指定画面２０２と同様にやり直しボタン３１１及び領域計算ボタン３１２が配置される。さらに、当該表示領域２１５には、「領域指定」と表示されたソフトウェアボタン３１３（以下、「領域指定ボタン３１３」と呼ぶ）と、「保存」と表示されたソフトウェアボタン３１４（以下、「保存ボタン３１４」と呼ぶ）と、が配置される。
【００８３】
ユーザは、直前の操作内容が間違っていた場合等に、操作部３７のマウス等を用いて、やり直しボタン３１１を押下操作することで、当該直前の操作を取り消すことができる。
【００８４】
また、ユーザは、選択領域の修正の操作後、操作部３７のマウス等を用いて、領域計算ボタン３１２を再度押下操作することで、領域演算の再演算の開始指示を行うことができる。
【００８５】
即ち、切抜修正画面２０３の領域計算ボタン３１２が押下操作されると、切抜指定部１１１（図４）は、図５に示すように、状態遷移条件Ｃ６が満たされたと判定し、クライアント機器１１の状態を、領域演算処理状態Ｓ１３に再び遷移させる。
【００８６】
領域演算処理状態Ｓ１３に再び遷移すると、切抜指定部１１１は、処理対象画像のデータ（縮小サイズ）に基づいて、ユーザにより修正された後の選択領域について、領域演算の再演算を実行する。
【００８７】
このような領域演算の再演算が終了すると、切抜指定部１１１は、図５に示すように、状態遷移条件Ｃ５が再び満たされたと判定し、クライアント機器１１の状態を、切抜修正画面操作処理状態Ｓ１４に再び遷移させる。
【００８８】
切抜修正画面操作処理状態Ｓ１４に再び遷移すると、切抜指定部１１１は、切抜修正画面を表示部３８に表示させる。この場合、表示領域２１１には、領域演算の再演算の結果を示す画像が表示される。
【００８９】
ここで、領域計算ボタン３１２の押下回数に特に制限はない。従って、ユーザは、選択領域の修正の操作を行い、領域計算ボタン３１２を押下操作して、領域演算の再演算の結果が表示領域２１１に表示されると、表示領域２１１の表示内容で修正結果の確認を行う、といった一連の作業を何回も繰り返すことができる。
【００９０】
なお、このような一連の作業の繰り返しても、所望の選択領域が得られない場合、ユーザは、一から境界領域の指定操作をやり直してもよい。
このような場合、ユーザは、領域指定ボタン３１３を押下操作すればよい。
すると、図５に示すように、状態遷移条件Ｃ７が満たされたと判定され、クライアント機器１１の状態が、切抜領域指定画面操作処理状態Ｓ１２に再び遷移し、図７に示す切抜領域指定画面２０２が再表示される。
これにより、ユーザは、切抜領域指定画面２０２に対するGUI操作を再度行うことができる。
【００９１】
一方、このような一連の作業が繰り返されて、所望の選択領域が得られた場合、ユーザは、切抜指定処理の結果を保存すべく、図８の切抜修正画面２０３の保存ボタン３１４を押下操作するとよい。
すると、図５に示すように、状態遷移条件Ｃ８が満たされたと判定され、クライアント機器１１の状態が、境界領域仕上処理状態Ｓ１５に遷移する。
【００９２】
境界領域仕上処理状態Ｓ１５に遷移すると、切抜指定部１１１は、境界領域仕上処理を実行する。
これにより、状態遷移条件Ｃ９が満たされたと判定され、クライアント機器１１の状態が、結果保存処理状態Ｓ１６に遷移する。結果保存処理状態Ｓ１６に遷移すると、切抜指定部１１１は、処理対象画像のデータ（オリジナルサイズ）と、領域演算により得られた２値化ラベル（縮小サイズ）と、を少なくとも含むファイルを生成し、記憶部３９の画像記憶部１３２に記憶させる。
このようなファイルを、以下、「切抜指定処理結果ファイル」と呼ぶ。
なお、図８の切抜修正画面２０３に対するGUI操作として、背景ペン２５２や消しゴム２５４で修正後、領域計算ボタン３１２が押下されずに（領域演算が行われずに）、保存ボタン３１４が押下された場合には、切抜指定部１１１は、領域演算を行わずに、最後に修正を行った状態を選択領域や非選択領域に反映したデータ（２値化ラベル）を作成し、当該データを切抜指定処理結果ファイルに含める。
【００９３】
このようにして、切抜指定処理結果ファイルが記憶部３９に記憶されると、図５に示すように、状態遷移条件Ｃ１０が満たされたと判定され、切抜指定処理が終了になる。
【００９４】
ここで、切抜指定処理時の操作について理解をさらに深めるべく、切抜修正画面操作処理状態Ｓ１４に遷移してから、ユーザが図８の切抜修正画面２０３に対する各種操作を行って、切抜修正が行われた後のデータが記憶部３２に記憶されるまでの一連の処理（以下、「切抜領域修正処理」と呼ぶ）について説明する。
図９は、切抜領域修正処理の流れを説明するフローチャートである。
図５と図９とを比較して容易にわかるように、図９の切り抜き領域修正処理とは、図５の領域演算処理Ｓ１３乃至結果保存処理Ｓ１６のうちの一部の連続した処理をフローチャート化したものである。
【００９５】
図５の切抜領域指定画面操作処理状態Ｓ１２において、切抜領域指定画面２０２（図７）の領域計算ボタン３１２が押下操作され、領域演算処理状態Ｓ１３において、領域減算が実行されて、状態遷移条件Ｃ５が満たされると、切抜修正画面操作処理状態Ｓ１４に遷移する。すると、切抜修正画面２０３（図８）が表示され、次に示すような切抜領域修正処理が実行される。
【００９６】
ステップＳ２１において、切抜指定部１１１は、選択領域の結果（切抜領域指定画面２０２に対する操作に基づく、領域演算の結果）を示す画像（以下、「表示画像」と呼ぶ）を、切抜修正画面２０３の表示領域２１１に表示させる。
ここで、本実施形態の表示画像においては、上述したように、非選択領域（背景領域）の背景色は青で、境界領域（図８の例ではウミガメの周囲を囲む領域３０２）の境界色は赤で、それぞれ表示されるものとする。また、上述したように、非選択領域及び境界領域は、初期状態として、半透過状態で表示されるものとする。
即ち、本実施形態の切抜修正画面２０３においては、色が塗ってある領域は切り捨てられる領域であるとイメージしてユーザが作業できるような表示形態となっている。
【００９７】
ステップＳ２２において、切抜指定部１１１は、色変更又は拡大縮小の指示があるか否かを判定する。
【００９８】
色変更又は拡大縮小の指示があると、ステップＳ２２おいてＹＥＳであると判定されて、処理はステップＳ２３に進む。
ステップＳ２３において、切抜指定部１１１は、表示領域２１１の表示画像を、色変更又は拡大縮小して表示させる。
具体的には例えば、色変更ボタン２３１が押下操作された場合には色変更が指示されたと判定され、即ちステップＳ２２の処理でＹＥＳであると判定され、ステップＳ２３の処理で境界色と背景色との組み合わせが変更される。
また例えば、拡大縮小スライダー２４１が操作された場合には拡大縮小が指示されたと判定され、即ちステップＳ２２の処理でＹＥＳであると判定され、ステップＳ２３の処理で表示画像の拡大又は縮小が行われる。
【００９９】
このようなステップＳ２３の処理が終了すると、処理はステップＳ２４に進む。
なお、色変更又は拡大縮小の指示がない場合にも、ステップＳ２２おいてＮＯであると判定されて、ステップＳ２３の処理は実行されずに、即ち表示領域２１１の表示の変更は行われずに、処理はステップＳ２４に進む。
【０１００】
ステップＳ２４において、切抜指定部１１１は、非選択領域の指定があるか否かを判定する。
【０１０１】
上述したように、ユーザは、操作部３７のマウス等を用いて、表示領域２１１に表示されている画像のうち、本来背景であるはずが前景となっている領域を背景ペン２５２で描くように指定することで、当該領域を非選択領域として指定することができる。
このような指定があると、ステップＳ２４おいてＹＥＳであると判定されて、処理はステップＳ２５に進む。
ステップＳ２５において、切抜指定部１１１は、指定された領域を非選択領域に変更する。この場合、表示領域２１１の表示画像において、非選択領域に変更された領域は背景色で表示される。
【０１０２】
このようなステップＳ２５の処理が終了すると、処理はステップＳ２６に進む。
なお、非選択領域の選択がない場合にも、ステップＳ２４おいてＮＯであると判定されて、ステップＳ２５の処理は実行されずに、即ち非選択領域への変更は行われずに、処理はステップＳ２６に進む。
【０１０３】
ステップＳ２６において、切抜指定部１１１は、選択領域の指定があるか否かを判定する。
【０１０４】
上述したように、ユーザは、操作部３７のマウス等を用いて、表示領域２１１に表示されている画像のうち、本来前景であるはずが背景となっている領域を消しゴム２５４で消すように指定することで、当該領域を選択領域として新たに指定することができる。
このような指定があると、ステップＳ２６おいてＹＥＳであると判定されて、処理はステップＳ２７に進む。
ステップＳ２７において、切抜指定部１１１は、指定された領域を選択領域に変更する。この場合、表示領域２１１の表示画像において、選択領域に変更された領域には、原画像の対応する領域が表示される。
【０１０５】
このようなステップＳ２７の処理が終了すると、処理はステップＳ２８に進む。
なお、非選択領域の選択がない場合にも、ステップＳ２６おいてＮＯであると判定されて、ステップＳ２７の処理は実行されずに、即ち非選択領域への変更は行われずに、処理はステップＳ２８に進む。
【０１０６】
ステップＳ２８において、切抜指定部１１１は、領域計算の指示があるか否かを判定する。
【０１０７】
上述したように、ユーザは、このような選択領域や非選択領域の指定の操作後、操作部３７のマウス等を用いて、領域計算ボタン３１２を押下操作することで、領域演算の再演算の開始指示を行うことができる。
このような指示があった場合、ステップＳ２８においてＹＥＳであると判定されて、処理はステップＳ１３に進む。
ステップＳ１３において、切抜指定部１１１は、領域演算処理を実行する。
ここで、図９のフローチャートのステップと図５の領域演算処理状態とで同一の符号Ｓ１３を付しているのは、同一の処理が実行されるからである。即ち、図９のステップＳ２８においてＹＥＳであると判定されることと、図５の状態遷移条件Ｃ６を満たされることとは等価である。
従って、図９のステップＳ１３の領域演算処理が終了することは、図５の状態遷移条件Ｃ５が満たされたことと等価になるので、図５において切抜修正画面操作処理状態Ｓ１４に再び遷移するように、図９では処理はステップＳ２１に戻され、それ以降の処理が繰り返されることになる。
【０１０８】
これに対して、このような領域演算処理が不要の場合、領域計算ボタン３１２は押下操作されないので、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ２９に進む。
ステップＳ２９において、切抜指定部１１１は、保存の指示があるか否かを判定する。
【０１０９】
上述したように、保存の指示は、保存ボタン３１４の押下操作によって行われる。
このような保存の指示が行われない場合、ステップＳ２９においてＮＯであると判定されて、処理はステップＳ２１に戻され、それ以降の処理が繰り返されることになる。
即ち、上述したように、ユーザは、所望の選択領域の結果が得られるまで、色変更や拡大縮小を適宜行いつつ、何度でも、選択領域や非選択領域の指定を繰り返すことができる。そして、ユーザは、所望の選択領域の結果が得られたときに、保存ボタン３１４を押下操作すればよい。
保存ボタン３１４が押下操作されると、ステップＳ２９においてＹＥＳであると判定されて、処理はステップＳ１５に進む。
ここで、図９のフローチャートのステップと図５の境界領域仕上処理状態とで同一の符号Ｓ１５を付しているのは、同一の処理が実行されるからである。即ち、図９のステップＳ２９においてＹＥＳであると判定されることと、図５の状態遷移条件Ｃ８が満たされることとは等価である。
【０１１０】
従って、図９のステップＳ１５の境界領域仕上げ処理が終了することは、図５の状態遷移条件Ｃ９が満たされたことと等価になるので、図５において結果保存処理状態Ｓ１６に遷移するのと等価に、同一符号のステップＳ１６に処理は進む。即ち、図９のフローチャートのステップと図５の結果保存処理状態とで同一の符号Ｓ１６を付しているのは、同一の処理が実行されるからである。
従って、ステップＳ１６の結果保存処理によって、切抜指定処理結果ファイルが記憶部３９に記憶されると、図５の状態遷移条件Ｃ１０が満たされたと判定されたのと等価に、切抜領域指定処理が終了になる。
【０１１１】
以上、図４の機能的構成を有する画像処理システムが実行する切抜処理のうち、切抜指定処理の詳細について、図５乃至図９を参照して説明した。
次に、図１０乃至図１３を参照して、当該切抜処理のうち、仕上調整処理の詳細について説明する。
【０１１２】
図１０は、クライアント機器１１が仕上調整処理を実行する場合に取り得る各状態の一例を示す状態遷移図である。
【０１１３】
仕上調整処理は、切抜指定処理後に実行される。即ち、切抜指定処理結果ファイルを用いても、処理対象画像から前景を切り出して、別の新背景に合成することは十分可能である。しかしながら、ユーザの中には、境界領域の高精度な仕上げや、より高精細な画像の仕上げを所望するものもいる。そこで、このようなユーザのために仕上処理が実行される。
仕上調整処理の開始の指示は、操作部３７に対する所定の操作により行われる。
このような指示がなされると、仕上調整部１１２（図４）は、状態遷移条件Ｃ４１が満たされたと判定し、クライアント機器１１の状態を、ファイル読込処理状態Ｓ４１に遷移させる。
【０１１４】
ファイル読込処理状態Ｓ４１に遷移すると、仕上調整部１１２は、処理対象画像のデータを含む切抜指定処理結果ファイルを記憶部３９から読み込む。
これにより、状態遷移条件Ｃ４２が満たされた判定されて、クライアント機器１１の状態は、サイズ設定処理状態Ｓ４２に遷移する。
【０１１５】
サイズ設定処理状態Ｓ４２に遷移すると、仕上調整部１１２は、次のような一連の処理を実行する。
即ち、仕上調整部１１２は、図示はしないが、出力サイズを選択させる画面を表示部３８に表示させ、ユーザの選択操作を待ち受ける。
ユーザは、操作部３７を操作して、印刷出力等する場合の画像のサイズとして、所望のサイズを選択する。
仕上調整部１１２は、ユーザにより選択されたサイズを、出力サイズとして設定する。ここで、出力サイズは、一般的には、撮像画像等の処理対象画像のオリジナルサイズ以下となるが、特にこれに限定されず、任意のサイズで構わない。
このような一連の処理が実行されると、状態遷移条件Ｃ４３が満たされたと判定されて、クライアント機器１１の状態は、領域演算処理状態Ｓ４３に遷移する。
【０１１６】
領域演算処理状態Ｓ４３に遷移すると、仕上調整部１１２の領域演算処理部１２１は、読み込まれた切抜指定処理結果ファイルについて、領域演算処理を実行する。
【０１１７】
領域演算においては、マット処理が実行される。
マット処理の本質は、前景と背景の境界画素の混色を分離することである。
具体的には、次の式（１）の条件を連立させ、観測値Pから未知数α,F（場合によってはBも)を推定する処理が、マット処理である。
P[x,y,c]=α[x,y]F[x,y,c]+(1-α[x,y])B[x,y,c]・・・（１）
式（１）の左辺において、P[x,y,c]は、座標x,y（以下、「画素位置x,y」とも呼ぶ）,色成分cの画素値を表している。
式（１）の右辺において、α［x,y］は、画素位置x,yにおける比率であって、０乃至１の範囲内で可変する比率であり、「混合比α」や「アルファ値」等と呼ばれている。即ち、混合比α［x,y］は、画素毎に異なる値になる。F[x,y,c]は、前景の画素値であり、以下、「前景画素値」と呼ぶ。B[x,y,c]は、背景の画素値であり、以下、「背景画素値」と呼ぶ。
なお、画素位置x,y，色成分cを個々に区別する必要がない場合、以下、x,y,cの表記は適宜省略する。
【０１１８】
式（１）は、境界領域の画素位置x,yにおいて、比率α[x,y]で前景画素値F[x,y,c]と背景画素値B[x,y,c]とが混合された結果として、画素値P[x,y,c]が観測されるという意味である。
ここで、式（１）は単純に連立させると不足条件方程式であるため、そのままでは解くことが不可能である。しかしながら、背景画素値Bの取り得る範囲を別の手段により指定したり（クロマキー）、また前景画素値F及び背景画素値Bが滑らかに変化する（局所的に等しい）等の仮定を加えることで、式（１）を解くことが可能になる。
【０１１９】
このため、マット処理では、混合比α（アルファ値）と前景画素値Fが推定される。このようにしてマット処理で混合比α（アルファ値）と前景画素値Fを正しく推定できれば、新しい背景画素値B’ [x,y,c]に対して、次の式（２）を演算することで、合成画像P’の画素位置x,yの画素値P’[x,y,c]が容易に得られる。
P’[x,y,c]=α[x,y]F[x,y,c]+(1-α[x,y])B’[x,y,c]・・・（２）
このようにして得られた合成画像P’には、原画像（本実施形態では処理対象画像）の背景画素値B[x,y,c]は、理想的には残らないため、美しく自然な結果になる。
【０１２０】
なお、マット処理のさらなる詳細については、“Bayesian approach to digital matting”,2001（IEEE CVPR)等を参照するとよい。
【０１２１】
ここで、本実施形態の画像処理システム（図１）では、合成画像P’を印刷出力することも想定されている。
印刷出力として十分な画素数を考慮する場合に、マット処理を行うことの最大の問題点は、その出力画素数に応じて膨大な計算量が必要になる点である。
ユーザが、発注前に印刷出力結果を正確に確認できることは苦情を未然に防ぐために重要である。また、ユーザの修正が必要であればそれを即座に開始できることが、商機を逃さないために重要である。しかしながら、1000万画素を大きく越える最近のデジタルスチルカメラやデジタルプリンタの画素数をリアルタイムにマット処理することは、パーソナルコンピュータ（例えば図１のクライアント機器１１）やウェブサーバ（例えば図１のサーバ１２）にとっては困難である。
そこで、本実施形態では、図１１に示すようなマット処理を実行することで、マット処理の演算量を大幅に低下するようにしている。
【０１２２】
図１１は、マット処理の流れを説明するフローチャートである。
【０１２３】
ステップＳ１０１において、領域演算処理部１２１は、中解像度サイズを設定する。
ここで、中解像度サイズとは、出力サイズと、予め設定されている所定サイズ（上述した切抜指定処理で用いられる縮小サイズ以上のサイズとする）とのうち、小さい方のサイズをいう。
従って、領域演算処理部１２１は、出力サイズと、予め設定されている所定サイズとを比較し、小さいほうのサイズを選択することで、中解像度サイズを設定する。
【０１２４】
ステップＳ１０２において、領域演算処理部１２１は、切抜指定処理結果ファイルから処理対象画像のデータを読み出し、当該処理対象画像のデータのサイズを、オリジナルサイズから中解像度サイズに変換する。
なお、通常は、オリジナルサイズの方が中解像度サイズよりも大きいため、ステップＳ１０２の処理は、いわゆるサイズ縮小処理になる。
【０１２５】
ステップＳ１０３において、領域演算処理部１２１は、切抜指定処理結果ファイルから２値ラベルを読み出し、当該２値化ラベルのサイズを縮小サイズから中解像度サイズに変換することで、中解像度２値ラベルを生成する。
なお、通常は、縮小サイズの方が中解像度サイズよりも小さいため、ステップＳ１０３の処理は、いわゆるサイズ拡大処理になる。
このように、中解像度２値ラベルは、その名の如く２値ラベルになる必要があるので、２値ラベルのサイズの変換の手法としては、例えば最近傍法を採用したり、例えばバイキュービック法等の結果を再２値化する手法を採用するとよい。
【０１２６】
ステップＳ１０４において、領域演算処理部１２１は、中解像度２値ラベルから、中解像度サイズのトライマップを作成する。
トライマップは、画素位置x,y毎に、前景、背景、中間の３値ラベルを持つ。
ここで、トライマップの中間ラベル領域は、次のような第１領域と第２領域の集合和領域である。
即ち、中解像度２値ラベルのうち前景ラベル領域を所定幅分膨張（モルフォロジ処理におけるディレーション）させ、その結果得られる膨張領域（元々の２値前景ラベル領域を含まない）が、第１領域として採用される。
一方、中解像度２値ラベルのうち背景ラベル領域を所定幅分膨張（同）させ、その結果得られる膨張領域（元々の２値背景ラベル領域を含まない）が、第２領域として採用される。
これらの第１領域と第２領域の集合和領域として、中間ラベル領域が得られる。なお、この中間ラベル領域は、ユーザが境界ペン２５３で指定した境界領域を少し誇張させた領域となる。したがって、ユーザは境界ペン２５３で境界領域を指定するとともに、マット処理における中間ラベル領域の基準となる領域を指定したこととなる。
そして、このようにして得られる中間ラベル領域に含まれない領域のうち、２値前景ラベル領域が前景ラベル領域となり、２値背景ラベル領域が背景ラベル領域となる。
【０１２７】
ステップＳ１０５において、領域演算処理部１２１は、トライマップについて、中解像度サイズを覆う所定数及び所定形状のブロックの集合を設定する。
なお、各ブロックは、その隣接ブロックと境界で所定幅のオーバーラップ領域を持たせるように設定される。
【０１２８】
ステップＳ１０６において、領域演算処理部１２１は、ステップＳ１０５の処理で設定したブロックの集合体の中から、処理対象のブロックを設定する。
【０１２９】
ステップＳ１０７において、領域演算処理部１２１は、処理対象のブロックとして、トライマップのブロックと、対応する中解像度の処理対象画像のブロックとを入力し、これらの入力に基づいてマット処理を実行する。
このステップＳ１０７のマット処理によって、処理対象のブロックを構成する各画素のそれぞれについての、混合比α（アルファ値）と前景画素値Fがそれぞれ得られる。
【０１３０】
ステップＳ１０８において、領域演算処理部１２１は、全てのブロックが処理対象に設定されたか否かを判定する。
未だ処理対象に設定されていないブロックが存在する場合、ステップＳ１０８においてＮＯであると判定されて、処理はステップＳ１０６に戻され、それ以降の処理が繰り返される。即ち、ステップＳ１０６乃至Ｓ１０８のループ処理が繰り返し実行されることで、ステップＳ１０５の処理で設定された各ブロックの各々が処理対象に順次設定されて、その都度マット処理が実行される。
そして、最後のブロックについてのマット処理が実行されると、次のステップＳ１０８においてＹＥＳであると判定されて、処理はステップＳ１０９に進む。
【０１３１】
ステップＳ１０９において、領域演算処理部１２１は、各ブロックの混合比α（アルファ値）と前景画素値Fをモザイクして、中解像度サイズの混合比αの集合体（以下、「中解像度α画像」と呼ぶ）と、中解像度サイズの前景画素値Fの集合体（以下、「中解像度前景Ｆ画像」と呼ぶ）とを構成する。
なお、領域演算処理部１２１は、ブロック間のオーバーラップ領域については、なだらかなブレンド比でブレンドを行い、境界の不整合を緩和するものとする。
【０１３２】
これにより、領域演算処理が終了となる。すると、仕上調整部１１２（図４）は、図１０に示すように、状態遷移条件Ｃ４４が満たされたと判定し、クライアント機器１１の状態を、仕上確認画面操作処理状態Ｓ４４に遷移させる。
【０１３３】
仕上確認画面操作処理状態Ｓ４４に遷移すると、仕上調整部１１２は、図１２に示すような仕上確認画面を表示部３８に表示させる。
【０１３４】
図１２は、仕上確認画面の一例を示している。
仕上確認画面２０４は、マット処理により境界領域の仕上がされた画像の確認を行う画面であり、基本画面２０１（図６）と同様に、６つの表示領域２１１乃至２１６に区分されている。
【０１３５】
表示領域２１１には、領域演算処理の結果が表示される。
即ち、中解像度の処理対象画像のデータと、予め用意された新背景画像のデータ（必要に応じて中解像度に変換）とが、上述の式（２）に従って合成され、その合成結果である合成画像P’が表示領域２１１に表示される。
この場合、新背景画像のデータを構成する各画素値が、背景画素値B’[x,y,c]として式（２）に代入される。また、マット処理で求められた中解像度α画像の各画素値が、混合比α[x,y]として式（２）に代入される。マット処理で求められた中解像度前景F画像の各画素値が、前景画素値F[x,y,c]として式（２）に代入される。
なお、初期状態の新背景画像としては、灰色（単色）の画像が表示領域２１１に表示される。
【０１３６】
表示領域２１２には、背景変更ボタン３５１が表示されている。
従って、ユーザは、背景変更ボタン３５１を押下操作することで、表示領域２１１に表示される背景画像を、複数の新背景画像のうち所望の１つに変更することができる。
なお、新背景画像は、特に限定されず、予めデフォルトとして設定されている画像の他、ユーザが所望する任意の画像を設定することができる。ただし、新背景画像の設定は、図示せぬ別の画面で行われるものとする。
このように、ユーザは、背景変更ボタン３５１を押下操作するだけで、即ち操作部３７のマウスをクリック操作等するだけで、各種各様の新背景画像に瞬時に変更することができるので、マット処理の結果を、実際の合成イメージとして視認することが容易にできる。
【０１３７】
表示領域２１３には、拡大縮小スライダー２４１が配置されている。
従って、ユーザは、拡大縮小スライダー２４１を操作することで、マット処理の結果である合成画像P’のうち着目する部分を拡大表示させることができる。その後、ユーザは、拡大縮小スライダー２４１を操作することで、拡大表示後の合成画像P’を、等倍となるまでの範囲内で縮小表示させることもできる。
【０１３８】
表示領域２１５には、「仕上げ調整」と表示されたソフトウェアボタン３６１（以下、「仕上調整ボタン３６１」と呼ぶ）と、「保存」と表示されたソフトウェアボタン３６２（以下、「保存ボタン３６２」と呼ぶ）と、が配置される。
【０１３９】
ユーザは、表示領域２１１に表示された合成画像P’を確認して、境界領域の仕上げの部分修正をさらに行いたいと判断した場合、仕上調整ボタン３６１を押下操作することで、仕上調整の開始を指示することができる。
【０１４０】
即ち、仕上調整ボタン３６１が押下操作されると、仕上調整部１１２（図４）は、図１０に示すように、状態遷移条件Ｃ４５が満たされたと判定し、クライアント機器１１の状態を、仕上調整画面操作処理状態Ｓ４５に遷移させる。
【０１４１】
仕上調整画面操作処理状態Ｓ４５に遷移すると、仕上調整部１１２は、図１３に示すような仕上調整画面を表示部３８に表示させる。
【０１４２】
図１３は、仕上調整画面の一例を示している。
仕上調整画面２０５は、マット処理により境界領域の仕上がされた処理対象画像について、部分的な仕上を行うための画面である。例えば、仕上調整画面２０５は、髪の毛の部分等細い部分をきれいに出すため一部分の境界の滑らかさを修正するために用いられる。
仕上調整画面２０５は、基本画面２０１（図６）と同様に、６つの表示領域２１１乃至２１６に区分されている。
【０１４３】
表示領域２１１には、境界領域の仕上がされた処理対象画像について、前景としての選択領域と、背景としての非選択領域と、これらの領域の境界となる境界領域（図１２の例では領域３８１）と、をそれぞれ分類して表示する。
即ち、表示領域２１１には、処理対象画像（中解像度サイズ）にトライマップ（中解像度サイズ）が合成された合成画像が表示される。
この場合、透明度はトライマップ側で設定される。即ち、選択領域は透過率が１００％で固定されており、常に処理対象画像そのもの（図１３の例ではウミガメ）が表示されるようになされている。一方、トライマップの非選択領域が背景色（単色）の領域となっており、この透明度が高くなるにつれ、処理対象画像の背景部分がユーザに視認されるようになる。同様に、トライマップの境界領域（中間領域）が境界色（単色）の領域となっており、この透明度が高くなるにつれ、処理対象画像の境界部分がユーザに視認されるようになる。
このため、図８の切抜修正画面２０３と同様に、表示領域２１２には、色変更ボタン２３１と、透明度変更スライダー２３２とが配置され、拡大縮小スライダー２４１が配置されている。
ただし、色変更ボタン２３１、透明度変更スライダー２３２、及び拡大縮小スライダー２４１の各部品については、図８の切抜修正画面２０３の各部品として説明済みであるので、ここでは説明は省略する。
【０１４４】
表示領域２１５には、「やり直し」と表示されたソフトウェアボタン３７１（以下、「やり直しボタン３７１」と呼ぶ）と、「確認画面」と表示されたソフトウェアボタン３７２（以下、「確認画面ボタン３７２」と呼ぶ）と、が配置される。
ユーザは、直前の操作内容が間違っていた場合等に、やり直しボタン３７１を押下操作することで、当該直前の操作を取り消すことができる。
確認画面ボタン３７２については、後述する。
【０１４５】
ところで、図１３の仕上調整画面２０５が表示部３８に表示されている状態で、ユーザは、操作部３７のマウスを用いて、表示領域２１１に表示された画像のうち、修正を行いたい箇所をクリック操作することで、修正領域指定画面の表示の指示を行うことができる。
即ち、このようなクリック操作がなされることによって、修正領域指定画面の表示の指示が行われると、仕上調整部１１２（図４）は、図１０に示すように、状態遷移条件Ｃ４６が満たされたと判定し、クライアント機器１１の状態を、仕上領域指定画面操作処理状態Ｓ４６に遷移させる。
【０１４６】
仕上領域指定画面操作処理状態Ｓ４６に遷移すると、仕上調整部１１２は、図６に示す基本画面２０１と同一構成の仕上領域指定画面を表示部３８に表示させる。
【０１４７】
仕上領域指定画面（図６の基本画面２０１と同一構成）の表示領域２１１には、上述した図１３の仕上調整画面２０５に対してクリック操作がなされた箇所を中心とする、所定のサイズの領域画像が表示される。
具体的には、仕上調整部１１２は、図１３の仕上調整画面２０５に対してクリック操作がなされた箇所の近傍の領域をブロック化する。ここで、このブロックは、図１１のステップＳ１０５の処理で設定されたブロックのサイズ、位置、形状と必ずしも一致させる必要はない。
仕上調整部１１２は、そのブロックの原画像（処理対象画像）とトライマップとを、領域画像として表示領域２１１に透過表示させる。
ユーザは、操作部３７のマウス等を用いて、この領域画像の範囲内で、選択領域等の修正を行うことができる。
【０１４８】
このため、図８の切抜修正画面２０３と同様に、表示領域２１２には、色変更ボタン２３１と、透明度変更スライダー２３２とが配置され、表示領域２１３には、拡大縮小スライダー２４１が配置されている。
ただし、色変更ボタン２３１、透明度変更スライダー２３２、及び拡大縮小スライダー２４１の各部品については、図８の切抜修正画面２０３の各部品として説明済みであるので、ここではこれらの説明は省略する。
【０１４９】
ユーザは、表示領域２１１に表示されている領域画像のうち、背景としての非選択領域については背景ペン２５２を用いて、境界領域については境界ペン２５３を用いて、前景としての選択領域については消しゴム２５４を用いて、修正の操作をすることができる。
このような修正の操作により、表示領域２１１に領域画像として表示されているトライマップが修正されることになる。
なお、ユーザは、移動アイコン２５１を用いて、表示領域（作業対象領域）を変更（移動）することができるが、必要に応じて表示領域の変更（移動）を禁止するようにしてもよい。また、ユーザは、背景ペン２５２、境界ペン２５３、又は消しゴム２５４の描画サイズ（塗りのサイズ）を変更したい場合には、ペンサイズ２５５の設定を行えばよい。
【０１５０】
仕上領域指定画面（図６の基本画面２０１と同一構成）の表示領域２１５には、「やり直し」と表示されたソフトウェアボタン２６１（以下、「やり直しボタン２６１」と呼ぶ）と、「領域計算」と表示されたソフトウェアボタン２６２（以下、「領域計算ボタン２６２」と呼ぶ）と、「仕上げ調整」と表示されたソフトウェアボタン２６３（以下、「仕上調整ボタン２６３」と呼ぶ）と、「確認画面」と表示されたソフトウェアボタン２６４（以下、「確認画面ボタン２６４」と呼ぶ）と、が配置される。
【０１５１】
ユーザは、直前の操作内容が間違っていた場合等に、やり直しボタン２６１を押下操作することで、当該直前の操作を取り消すことができる。
【０１５２】
また、ユーザは、選択領域等の修正の操作後、即ち、トライマップを修正した後、領域計算ボタン２６２を押下操作することで、マット領域演算の再演算の開始指示を行うことができる。
【０１５３】
即ち、仕上領域指定画面（図６の基本画面２０１と同一構成）の領域計算ボタン２６２が押下操作されると、仕上調整部１１２（図４）は、図１０に示すように、状態遷移条件Ｃ４７が満たされたと判定し、クライアント機器１１の状態を、部分領域演算処理状態Ｓ４７に遷移させる。
【０１５４】
部分領域演算処理状態Ｓ４７に遷移すると、仕上調整部１１２の領域演算処理部１２１は、ユーザにより修正された後の選択領域についての部分的なマット処理を実行する。
【０１５５】
ただし、この場合の部分的なマット処理としては、上述の図１１のフローチャートに従った処理ではなく、次のような処理が本実施形態では実行される。
即ち、仕上調整部１１２の領域演算処理部１２１は、仕上領域指定画面（図６の基本画面２０１と同一構成）の表示領域２１１に表示されたブロックについて、修正されたトライマップを用いてマット処理を行う。
領域演算処理部１２１は、マット処理の結果得られた混合比α（アルファ値）と前景画素値Fを、全体結果にモザイクする。即ち、領域演算処理部１２１は、ブロックの所定幅境界付近はなだらかにブレンドし、その内部の領域は上書きする。
このようにして、中解像度α画像と、中解像度前景Ｆ画像とが再構成されると、仕上調整部１１２（図４）は、図１０に示すように、状態遷移条件Ｃ４８が満たされたと判定し、クライアント機器１１の状態を、仕上調整画面操作処理状態Ｓ４５に再び遷移させる。
【０１５６】
仕上調整画面操作処理状態Ｓ４５に再び遷移すると、仕上調整画面２０５（図１３）が表示部３８に再表示される。この場合、仕上調整画面２０５の表示領域２１１には、部分的なマット処理の結果が表示される。
【０１５７】
なお、仕上領域指定画面（図６の基本画面２０１と同一構成）の仕上げ調整ボタン２６３が押下操作されても、図１０に示すように、状態遷移条件Ｃ４９が満たされたと判定され、クライアント機器１１の状態は、仕上調整画面操作処理状態Ｓ４５に再び遷移する。
この場合も、仕上調整画面２０５（図１３）が表示部３８に再表示されるが、仕上調整画面２０５の表示領域２１１には、前回の状態のままの画像が表示される。
【０１５８】
ここで、仕上調整画面２０５（図１３）の表示領域２１１をみたユーザが、修正をさらに行いたいと所望した場合には、操作部３７のマウスを用いて、修正を行いたい箇所を再度クリック操作すればよい。
この場合、図１０に示すように、状態遷移条件Ｃ４６が満たされたと判定されて、クライアント機器１１の状態が、仕上領域指定画面操作処理状態Ｓ４６に再度遷移して、仕上領域指定画面（図６の基本画面２０１と同一構成）が再表示される。
ユーザは、仕上領域指定画面に対して上述した作業を繰り返して再修正した後、即ちトライマップを再修正した後、領域計算ボタン２６２を押下操作する。すると、図１０に示すように、状態遷移条件Ｃ４７が満たされたと判定され、部分領域演算処理状態Ｓ４７に再び遷移する。
部分領域演算処理状態Ｓ４７に再び遷移すると、ユーザにより再修正された後の選択領域についての部分的なマット処理が再実行される。即ち、中解像度α画像と、中解像度前景Ｆ画像とが再構成される。これにより、状態遷移条件Ｃ４８が満たされたと再度判定され、クライアント機器１１の状態が、仕上調整画面操作処理状態Ｓ４５に再び遷移する。
仕上調整画面操作処理状態Ｓ４５に再び遷移すると、仕上調整画面２０５（図１３）が表示部３８に再表示される。この場合、仕上調整画面２０５の表示領域２１１には、部分的なマット処理の再処理の結果が表示される。
ユーザは、このような一連の操作を繰り返し実行することで、所望の結果になるまで、選択領域等を何度でも修正することができる。
【０１５９】
ユーザは、このような修正の操作を繰り返して所望の結果が得られたと判断した場合、仕上調整画面２０５（図１３）が表示部３８に表示されている状態で、確認画面ボタン３７２を押下操作することで、仕上確認画面の表示指示をする。
このようにして確認画面ボタン３７２が押下操作されると、図１０に示すように、状態遷移条件Ｃ４９が満たされたと判定されて、クライアント機器１１の状態は、仕上確認画面操作処理状態Ｓ４４に再び遷移する。これにより、仕上確認画面２０４（図１２）が表示部３８に再表示される。
【０１６０】
なお、仕上領域指定画面（図６の基本画面２０１と同一構成）の確認画面ボタン２６４が押下操作されても、図１０に示すように、状態遷移条件Ｃ５０が満たされたと判定され、クライアント機器１１の状態は、仕上確認画面操作処理状態Ｓ４４に再び遷移し、仕上確認画面２０４（図１２）が表示部３８に再表示される。
【０１６１】
ユーザは、所望の修正結果が得られたならば、仕上調整処理の結果を保存すべく、仕上確認画面２０４（図１２）の保存ボタン３６２を押下操作するとよい。
すると、図１０に示すように、状態遷移条件Ｃ５１が満たされたと判定され、クライアント機器１１の状態が、結果保存処理状態Ｓ４８に遷移する。
【０１６２】
結果保存処理状態Ｓ４８に遷移すると、出力サイズが中解像度サイズに等しい場合は、仕上調整部１１２は、中解像度α画像及び中解像度前景F画像の各データを少なくとも含むファイルを生成し、記憶部３９の画像記憶部１３２に記憶させる。
このようなファイルを、以下、「仕上調整結果ファイル」と呼ぶ。
【０１６３】
ただし、一般的には、出力サイズは中解像度サイズよりも大きいので、仕上調整部１１２は、次のような一連の処理を実行することで、仕上調整結果ファイルを生成して、記憶部３９の画像記憶部１３２に記憶させる。
即ち、仕上調整部１１２は、中解像度α画像及び中解像度前景F画像の各データのサイズを、出力サイズに変換する。なお、中解像度α画像が出力サイズに変換されたものを、以下、「出力サイズα画像」と呼ぶ。また、中解像度前景F画像が出力サイズに変換されたものを、以下、「出力サイズ前景F画像」と呼ぶ。
仕上調整部１１２は、処理対象画像P（入力画像P）のデータのサイズを、出力サイズに変換する。
仕上調整部１１２は、出力サイズの画素毎に、混合比α[x,y]>t（tは所定閾値、1以下で1に近い値）なる画素位置x,yにおける前景画素値F[x,y,c]を、処理対象画像Pの対応する画素位置x,yの画素値P[x,y,c]の値に更新する。
仕上げ調整部１１２は、出力サイズα画像及び更新後の出力サイズ前景F画像の各データを少なくとも含む仕上調整結果ファイルを生成し、記憶部３９の画像記憶部１３２に記憶させる。
【０１６４】
このようにして、仕上調整結果ファイルが記憶部３９に記憶されると、状態遷移条件Ｃ５２が満たされたと判定されて、図１０の仕上調整処理は終了する。
【０１６５】
なお、本実施形態では、図１のクライアント機器１１又はサーバ１２（以下、説明の便宜上サーバ１２とする）は、その後、図示せぬプログラムを起動させ、次のような処理を実行することができる。即ち、サーバ１２は、印刷出力される新背景、及び、新背景若しくは前景にかける特殊効果フィルタのユーザ選択を受け付け、最終印刷出力の画面イメージをユーザに提示してユーザの確認を求める。サーバ１２は、ユーザが了解すれば、代金決済をして、切り抜かれた前景に対して新背景が合成された合成画像を、紙媒体等に印刷する。
具体的には、新背景のデータを構成する各画素値が、背景画素値B’[x,y,c]として上述の式（２）に代入される。また、出力サイズα画像の各画素値が、混合比α[x,y]として式（２）に代入される。出力サイズ前景F画像の各画素値が、前景画素値F[x,y,c]として式（２）に代入される。そして、式（２）が演算され、その結果得られる合成画像P’が紙媒体に印刷される。
【０１６６】
以上説明したように、マット処理の本質は、上述の式（１）の方程式を解くことであるが、方程式の求解速度は当然未知数の数に支配される。
本実施形態では、中解像度サイズでの処理（以下、「中間解像度処理」と呼ぶ）ができるので、未知数となる中間領域の混合比αと前景画素値Fの数を大幅に減らすことができ、その結果、大幅に処理速度が向上する。
ここで、単純な中間解像度処理では前景画素値Fの解像度が、処理対象画像（撮像画像等の原画像、即ち入力画像）の解像度よりも劣るため、印刷等の出力品質が低下してしまう。
そこで、本実施形態の切抜処理では、α値判定により、境界領域では、混色のない中解像度前景F画像の画素値が用いられ、内部領域（前景となる領域）では、高解像度の処理対象画像（撮像画像等の原画像、即ち入力画像）の画素値が用いられる。これにより、処理の高速化を実現しながら出力品質の低下を最低限に抑えることが可能になる。
さらに、処理対象画像（撮像画像等の原画像、即ち入力画像）は通常、その主要被写体の主要部分にフォーカスを合わせて撮像されるため、主要被写体のエッジ部分ではフォーカスがぼけている場合がある。そのような場合、本実施形態の切抜処理の結果は高解像度処理と全く優劣のつかない結果を与える。
また、処理対象画像（撮像画像等の原画像、即ち入力画像）のノイズや前景背景の本質的類似等の理由により、境界領域のマット処理結果が、たとえ高解像度で処理したものであっても解像度分の精度が出ない場合がある。このような場合には、本実施形態の切抜処理の結果は、高解像度処理の結果と全く優劣のつかない結果となる。
【０１６７】
以上、図５乃至図１３を参照して、図４の機能的構成を有する画像処理システムが実行する切抜処理の詳細について説明した。
次に、図１４を参照して、図４の機能的構成を有する画像処理システムにおいて切抜処理が実行される場合における、クライアント機器１１とサーバ１２との処理の関係について説明する。
【０１６８】
図１４は、クライアント機器１１とサーバ１２とが協同して切り抜き処理を実行する場合の相互の処理の関係について説明するフローチャートである。
図１４の左方には、クライアント機器１１側の処理の流れを示すフローチャートが示され、同図の右方には、サーバ１２側の処理の流れを示すフローチャートが示されている。
クライアント機器１１側とサーバ１２側とのうち、一方から他方へ引かれている矢印は、その方向に情報が伝送されていることを意味している。
【０１６９】
ステップＳ２０１において、図４のクライアント機器１１の通信制御部１０１は、ユーザによる操作部３７の操作に基づいて、サーバ１２に対するログイン処理を実行する。
【０１７０】
ステップＳ２２１において、サーバ１２の通信制御部１５１は、当該クライアント機器１１によるログイン処理を受け付ける。
ステップＳ２２２において、サーバ１２の通信制御部１５１は、切抜処理用プログラムをプログラム記憶部１６１から読みこみ、通信部５９からクライアント機器１１に対して送信させる。
【０１７１】
ステップＳ２０２において、クライアント機器１１の通信制御部１０１は、サーバ１２からネットワーク２１を介して送信されてくる切抜処理用プログラムを、通信部４０に受信させる。
ステップＳ２０３において、クライアント機器１１の通信制御部１０１は、切抜処理用プログラムをプログラム記憶部１３１に一旦記憶させた後、RAM３３（図２）等に展開して実行する。これにより、クライアント機器１１のCPU３１において、切抜処理部１０２が機能するようになる。
【０１７２】
ステップＳ２０４において、クライアント機器１１の切抜処理部１０２は、処理対象画像が選択されたか否かを判定する。
即ち、ユーザは、操作部３７を操作することによって、撮像画像等所望の画像を、処理対象画像として選択することができる。
ユーザによる選択の操作がなされていない場合、ステップＳ２０４においてＮＯであると判定されて、処理はステップＳ２０４に再び戻される。即ち、ユーザによる選択の操作がなされるまでの間、ステップＳ２０４の判定処理が繰り返し実行されて、クライアント機器１１側の処理は待機状態になる。
その後、ユーザによる選択の操作がなされると、ステップＳ２０４においてＹＥＳであると判定されて、処理はステップＳ２０５に進む。
ステップＳ２０５において、クライアント機器１１の通信制御部１０１は、処理画像のデータを画像記憶部１３２から読み込み、通信部４０からサーバ１２に対して送信させる。
【０１７３】
ステップＳ２２３において、サーバ１２の通信制御部１５１は、クライアント機器１１からネットワーク２１を介して送信されてくる処理対象画像のデータを、通信部５９に受信させ、画像記憶部１６２に保存する。
【０１７４】
一方、ステップＳ２０６において、クライアント機器１１の切抜処理部１０２は、処理画像のデータについて、上述した切抜処理を実行する。
【０１７５】
図１５は、クライアント側処理のステップＳ２０６の切抜処理の流れを説明するフローチャートである。
【０１７６】
ステップＳ２４１において、切抜処理部１０２の切抜指定部１１１は、切抜指定処理を実行する。切抜指定処理の詳細については、図５乃至図９を参照して説明済みであるので、ここではその説明は省略する。
【０１７７】
ステップＳ２４２において、切抜処理部１０２は、仕上調整処理を実行するか否かを判定する。
即ち、上述したように、切抜指定処理の結果だけでも、処理対象画像から前景を抜き出すことは十分可能であるため、仕上調整処理は、必須な処理ではなく、ユーザが実行有無を自在に選択可能な処理となっている。
【０１７８】
従って、ユーザが操作部３７を操作して仕上調整処理の実行を指示した場合、ステップＳ２４２においてＹＥＳであると判定されて、処理はステップＳ２４３に進む。ステップＳ２４３において、切抜処理部１０２の仕上調整部１１２は、仕上調整処理を実行する。仕上調整処理の詳細については、図１０乃至図１３を参照して説明済みであるので、ここではその説明は省略する。
仕上調整処理が終了すると、処理は後述するステップＳ２４４に進む。
【０１７９】
これに対して、ユーザが操作部３７を操作して仕上調整処理を実行しない旨を指示した場合、ステップＳ２４２においてＮＯであると判定されて、ステップＳ２４３の仕上調整処理は実行されずに、処理はステップＳ２４４に進む。
【０１８０】
ステップＳ２４４において、クライアント機器１１の通信制御部１０１は、処理結果のデータを切抜画像のデータとして、通信部４０からサーバ１２に対して送信させる。
例えば仕上調整処理が実行されなかった場合（ステップＳ２４２の処理でＮＯであると判定された場合）、上述した切抜指定処理結果ファイルが、切抜画像のデータとしてサーバ１２に送信される。
これに対して、例えば仕上調整処理が実行された場合（ステップＳ２４２の処理でＹＥＳであると判定されて、ステップＳ２４３の処理が実行された場合）、仕上調整結果ファイルが、切抜画像のデータとしてサーバ１２に送信される。
なお、上述したように、切抜指定処理又は仕上調整処理では、処理途中の状態でもデータの保存が可能になっており、処理途中の状態で保存されたデータが再度読み込まれた場合、保存された時点の状態から処理の継続が可能になる。従って、このような処理途中の状態のデータも、必要に応じて、切抜画像のデータとしてサーバ１２に送信される。
【０１８１】
図１４に戻り、ステップＳ２２４において、サーバ１２の通信制御部１５１は、クライアント機器１１からネットワーク２１を介して送信されてくる切抜画像のデータを、通信部５９に受信させ、画像記憶部１６２に仮保存する。
【０１８２】
この間、ステップＳ２０７において、クライアント機器１１の切抜処理部１０２は、処理の終了指示があったか否かを判定する。
処理の終了指示の手法は、特に限定されないが、本実施形態では、ユーザが操作部３７を操作して処理の終了指示をするという手法が採用されているものとする。
このような終了の指示の操作がなされていない場合、ステップＳ２０７においてＮＯであると判定されて、処理はステップＳ２０４に戻され、それ以降の処理が実行される。即ち、終了の指示の操作がなされるまでの間、ステップＳ２０４乃至Ｓ２０７のループ処理が繰り返し実行されて、その都度切抜処理が実行され、切抜画像のデータがサーバ１２に送信される。
その後、終了の指示の操作がなされると、ステップＳ２０７においてＹＥＳであると判定され、処理はステップＳ２０８に進む。
ステップＳ２０８において、クライアント機器１１の通信制御部１０１は、処理の終了を示す通知（以下、「終了通知」と呼ぶ）を、通信部４０からサーバ１２に対して送信させる。
これにより、クライアント機器１１側の処理は終了する。
【０１８３】
この間、ステップＳ２２５において、サーバ１２の通信制御部１５１は、終了通知を受信したか否かを判定する。
終了通知が受信されていない場合、ステップＳ２２５においてＮＯであると判定されて、処理はステップＳ２２３に戻され、それ以降の処理が繰り返される。即ち、上述の如く、クライアント機器１１側でステップＳ２０４乃至Ｓ２０７のループ処理が繰り返し実行されている間、終了通知は送信されないので、ステップＳ２２３乃至Ｓ２２５のループ処理が繰り返し実行され、クライアント機器１１から処理画像や切抜画像の各データが送信されてくる度、受信されて保存される。
その後、終了通知が受信されると、次のステップＳ２２５においてＹＥＳであると判定されて、処理はステップＳ２２６に進む。
ステップＳ２２６において、サーバ１２の主制御部１５２は、これまで仮保存していた切抜画像のデータを本保存する。
これにより、サーバ１２側の処理は終了する。
【０１８４】
その後、図示はしないが、サーバ１２は、印刷出力される新背景、及び、新背景若しくは前景にかける特殊効果フィルタのユーザ選択を受け付け、最終印刷出力の画面イメージをユーザに提示してユーザの確認を求める。
サーバ１２は、ユーザが了解すれば、代金決済をして、切り抜かれた前景に対して新背景が合成された合成画像を、紙媒体等に印刷する。
【０１８５】
以上、切抜処理を実行可能な画像処理システムの一実施形態について説明した。
ここで、当該画像処理システムが、切抜処理を実行するが故に備える特長（効果）について、図１６乃至図２９を適宜参照して説明する。
【０１８６】
本実施形態の画像処理システムは、切抜処理を実行することができるので、操作に慣れないユーザは簡単な対話操作をするだけでよい、という第１の特長を有している。
【０１８７】
即ち、上述したように、切抜処理は、切抜指定処理と、仕上調整処理とに区分される。仕上調整処理は、細かな仕上の調整を行うための処理であり必須な処理ではない。即ち、切抜指定処理の結果（切抜指定処理結果ファイル）だけでも、処理対象画像から、前景を切り出して、新背景に合成することができる。
この切抜指定処理の実行時に必要となるユーザのGUI操作は、上述したように、ユーザにとって非常に容易で手間のかからないラフな操作であり、操作に慣れないユーザであっても戸惑うことなく行える操作である。
以下、図１６乃至図１８を参照して、切抜指定処理の際のユーザのGUI操作の具体例について説明する。
【０１８８】
図１６は、切抜領域指定画面操作処理状態Ｓ１２（図５）において表示される切抜領域指定画面に対するユーザのGUI操作の様子を示している。
図１６に示すように、ユーザは、切抜領域指定画面２０２に表示されている処理対象画像から、前景と背景との境界領域５０１を指定することができる。
ここで、境界領域５０１は、厳密に前景と背景との本当の境界線（細線）で指定される必要はなく、図１６に示すように、大雑把な太い線での指定でよい。要するに、ユーザは、前景と背景との本当の境界線を含むように、ある程度余裕を持った太さの線で、境界領域５０１を指定することができる。
もっとも、ユーザは、失敗しやすい部分や、特別な意図があって細かく指定したい部分については、当然ながら細い線を使用してもよい。
換言すると、前景と背景との境界領域５０１は、図７の境界ペン２５３で指定されるところ、当該境界ペン２５３の塗りの太さは、図７のペンサイズ２５５で自在に可変設定することができる。
【０１８９】
ユーザは、境界領域５０１の指定の操作後、領域計算ボタン３１２を押下操作する。
これにより、領域演算処理状態Ｓ１３（図５）に遷移して、領域演算が行われる。
領域演算が終了すると、切抜修正画面操作処理状態Ｓ１４（図５）に遷移して、図１７に示すような切抜修正画面２０３が表示される。
【０１９０】
図１７は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の初期状態の様子を示している。
図１７に示すように、領域演算の結果（２値ラベル）に基づいて、境界領域５０２が表示されている。
ただし、領域５０３は、ウミガメのヒレの一部であり、本来前景（境界領域５０２の内側）となるべきところ、背景（境界領域５０２の外側）になってしまっている。これは、処理対象画像において、前景と背景との色が類似色であったためである。
このような場合、ユーザは、本来前景であるはずが背景となっている領域５０３を、消しゴム２５４で消すように指定することで、領域５０３を選択領域として新たに指定する。その後、ユーザは、領域計算ボタン３１２を押下操作する。
これにより、領域演算処理状態Ｓ１３（図５）に再度遷移して、領域演算の再演算が行われる。
領域演算の再演算が終了すると、切抜修正画面操作処理状態Ｓ１４（図５）に再度遷移して、図１８に示すような切抜修正画面２０３が表示される。
【０１９１】
図１８は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面に対するGUI操作の実行結果を示している。
図１８に示すように、領域演算の再演算の結果（再構成後の２値ラベル）に基づいて、境界領域５０２が表示されている。ウミガメのヒレの一部である領域５０３は、境界領域５０２の内側、即ち前景に含まれるようになったことがわかる。
この図１８の状態で、ほぼユーザにとっての所望の結果となっていると思われる。このような状態になった時点で、ユーザは、保存ボタン３１４を押下操作する。
すると、境界領域仕上処理状態Ｓ１５（図５）に遷移し、引き続き結果保存処理状態Ｓ１６（図５）に遷移し、図１８の状態を示す切抜指定処理結果ファイルが記憶部３９に記憶される。
その後、サーバ１２（図１）等は、この切抜指定処理結果ファイルを用いることで、少なくとも図１８の境界領域５０２内のウミガメの画像を前景として切り抜くことができ、当該前景と新背景とを合成した合成画像の印刷等をすることが可能になる。
なお、ユーザは、さらに所望の選択領域となるように、クライアント機器１１に仕上調整処理を実行させるようにしてもよい。
【０１９２】
本実施形態の画像処理システムは、切抜処理を実行することができるので、上述の第１の特長に加えてさらに、セグメンテーションされた領域の表示形態を自在に可変できる、という第２の特長を有している。
【０１９３】
即ち、切抜修正画面２０３等において、前景領域は完全透過で表示される一方、背景領域と境界領域は、任意に可変できる透過比率での半透過色（原画像と分類色とのブレンド）で表示される。この透過比率（透明度）は、透明度変更スライダー２３２により簡易に変更できる。
図１９乃至図２１には、透明度変更スライダー２３２に対する操作結果の具体例が示されている。
【０１９４】
図１９は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の初期状態の様子を示している。
図１９に示すように、領域演算の結果（２値ラベル）に基づいて、境界領域、当該境界領域の内側のウミガメの前景領域、及び、当該境界領域の外側の背景領域５０４が表示されている。
即ち、背景領域５０４の背景色（図面では表現しきれないが、例えば青色）及び境界領域の境界色（図面では表現しきれないが、例えば赤色）と、原画像の色とが、透明度変更スライダー２３２の小さなつまみの位置に応じた混合比率（α値）で、ブレンド表示される。ただし、前景領域（ウミガメ）は混合されずに、常に完全透過している。
図１９の初期状態では、透明度変更スライダー２３２の小さなつまみは、中央に配置されている。従って、ユーザは、原画像（処理対象画像）の状態と、前景を切り出した状態（結果）とのイメージをバランスよく同時に視認することができる。
【０１９５】
図２０は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の、透明度変更スライダー２３２の小さなつまみを左端に寄せた状態を示している。
ユーザは、操作部３７を操作して、透明度変更スライダー２３２の小さなつまみの位置を、所望の位置に自在に動かすことができる。
図２０に示すように、透明度変更スライダー２３２の小さなつまみが左端まで移動されると、透過度が０％になるので、背景領域５０４については背景色（図面では表現しきれないが、例えば青色）のみが表示され、境界領域については境界色（図面では表現しきれないが、例えば赤色）が表示される。
即ち、前景領域では、原画像（ウミガメの部分）が他と混合されずに常に完全透過して表示される一方、背景領域５０４及び境界領域では、原画像（背景部分）が完全に消えて表示されない。従って、ユーザは、原画像（処理対象画像）の背景が完全に消えた時における、前景を切り出した状態（結果）のイメージをつかむことが容易にできる。即ち、図２０の状態は、現状の品質確認を行いやすい状態である。
なお、第４の特長として後述するが、背景領域５０４については、単色の背景色のみの画像のかわりに、任意の画像（第４の特長でいう「新背景画像」等）を採用することもできる。
【０１９６】
図２１は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の、透明度変更スライダー２３２の小さなつまみを右端に寄せた状態を示している。
図２１に示すように、透明度変更スライダー２３２の小さなつまみが右端まで移動されると、透過度が１００％になるので、背景領域５０４については背景色（図面では表現しきれないが、例えば青色）が完全に消え、境界領域については境界色（図面では表現しきれないが、例えば赤色）が完全に消えて、原画像が完全透過して表示される。
即ち、前景領域では、原画像（ウミガメの部分）が他と混合されずに常に完全透過して表示されるので、結果として、原画像の全体（処理対象画像全体）そのものが表示されることになる。
従って、ユーザは、背景色や境界色といった領域色に影響されずに、原画像における元の前景物体（本例ではウミガメ）の境界を容易に視認することができる。即ち、図２１の状態は、次にどう修正するかをユーザが判断しやすい状態である。
【０１９７】
このように、第３の特長により、ユーザは、操作部３７を操作して、透明度変更スライダー２３２の小さなつまみの位置を、所望の位置に自在に動かすことができる。従って、ユーザは、透明度変更スライダー２３２の操作だけで、現状の品質確認と次にどのように修正すべきかの判断とを同時に行うことができる。
このとき、ユーザは、透明度変更スライダー２３２の小さなつまみの位置として、原画像の配色やその時の作業内容等に応じてバランスのよい位置を自在に選択することができる。
【０１９８】
また、半透過表示を行っても混合比（α値）が固定されていると、慣れていないユーザは、背景色なのか、原画像そのものの色なのかについての判別、即ちどこまでが背景領域であってどこからが前景領域なのかについての判別をすることができない。
これに対して、本実施形態の画像処理システムを利用するユーザは、第３の特長により、このような判別が容易にできるようになる。即ち、ユーザは、透明度変更スライダー２３２の小さなつまみの位置を移動させることで、表示が変化する部分が境界領域及び背景領域であり、表示が変化しない部分が前景領域であると、容易に判別することができる。しかも、このような判別を行うための透明度変更スライダー２３２の小さなつまみの移動量は、原画像表示が行われる右端まででなくても、ある程度の移動量でよい。
【０１９９】
本実施形態の画像処理システムは、切抜処理を実行することができるので、上述の第１及び第２の特長に加えてさらに、境界色や背景色といった分類色の変更操作が非常に少ない回数でできる、という第３の特長を有している。
【０２００】
即ち、境界色や背景色といった分類色（上述の例では青と赤）が原画像の色と類似している場合、第２の特長に基づいて混合比（α値）を変更しても、結果の変化が乏しくなり、ユーザは十分に視認できない場合がある。
この場合の対策としては、分類色として適当な色、即ち原画像の色と異なる色に変更する対策を取ればよい。
この場合、通常取られると想定される対策は、ユーザが、「色の変更」の機能が割り当てられたソフトウェアボタン（上述の色変更ボタン２３１がその一例）を押下操作すると、カラーパレットを表示して、当該カラーパレットから任意の色をユーザが選択する操作をする、といった対策になる。
しかしながら、このような対策では、ユーザが背景色と境界色をそれぞれ多数の色から選択する必要があるために、結果として、５ステップ前後のクリック操作が必要になる。
そこで、本実施形態の画像処理システムは、次のような手法を採用することによって、色変更ボタン２３１を最大で２回押下操作するだけで（クリック操作２回分に相当する操作をするだけで）済む、といった第３の特長を有している。
【０２０１】
図２２は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の初期状態の様子を示している。
図２２に示すように、領域演算の結果（２値ラベル）に基づいて、境界領域５０６、当該境界領域５０６の内側のウミガメの前景領域、及び、当該境界領域５０６の外側のウミガメの背景領域５０７が表示されている。
初期状態では、境界領域５０６の境界色は、図面では表現しきれないが例えば上述した赤色であり、背景領域５０７の背景色は、図面では表現しきれないが例えば上述した青色である。
【０２０２】
図２３は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の、色変更ボタン２３１を１回押下操作した状態を示している。
ユーザは、操作部３７を操作して、色変更ボタン２３１を押下操作することで、境界色や背景色といった分類色の変更を指示することができる。
色変更ボタン２３１が１回押下操作されると、境界領域５０６の境界色は、図面では表現しきれないが例えば茶色に変更され、背景領域５０７の背景色は、図面では表現しきれないが例えば緑色に変更される。
【０２０３】
図２４は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の、色変更ボタン２３１を２回押下操作した状態を示している。
色変更ボタン２３１が２回押下操作されると（図２３の状態からさらに１回押下操作されると）、境界領域５０６の境界色は、図面では表現しきれないが例えばマゼンダに変更され、背景領域５０７の背景色は、図面では表現しきれないが例えばシアンに変更される。
【０２０４】
色変更ボタン２３１が３回押下操作されると（図２４の状態からさらに１回押下操作されると）、図２２の初期状態に戻る。即ち、境界領域５０６の境界色は赤色に戻り、背景領域５０４の背景色は青色に戻る。
【０２０５】
なお、境界色と背景色の配色の決定手法は、特にこれに限定せず、背景色として３色、境界色として３色、合計６色を、単にそれぞれ明確に異なる色にすることで決定する手法を採用すれば足りる。なお、上述の例では、境界色は赤系の色として統一感を持たせている。
【０２０６】
図２５は、このような境界色と背景色の配色の決定手法を説明する図である。
前提として、今現在編集しようとしている領域、即ち十分に狭い領域を考えれば、原画像の前景領域と背景領域の画素値はほぼ一定していると考えてよい。即ち、ユーザの作業を通してみれば、画像の各部位での編集にあたり、配色の再変更は必要な場合があるが、それは大きな不都合ではないと考えられる。
また、前景画素値を「f」と記述し、背景画素値を「ｂ」と記述し、境界色として採用される３色の各々を、「Ｍ１」，「Ｍ２」，「Ｍ３」のそれぞれと記述し、背景色として採用される３色の各々を、「Ｂ１」，「Ｂ２」，「Ｂ３」のそれぞれと記述する。
このような前提の下、設計者等は、６色（境界色Ｍ１乃至Ｍ３、及び背景色Ｂ１乃至Ｂ３）のうち、前景画素値fに最も近い色を選択する。また、設計者等は、６色（境界色Ｍ１乃至Ｍ３、及び背景色Ｂ１乃至Ｂ３）のうち、背景画素値bに最も近い色を選択する。この場合、図２５から明らかなように、どのように対応をつけても、何れかの行における１対の組み合せ（図２５例ではＭ２,Ｂ２の対）には、前景画素値fからも背景画素値bからも矢印が来ない。
ここで、６色（境界色Ｍ１乃至Ｍ３、及び背景色Ｂ１乃至Ｂ３）としてそれぞれ明確に異なる色にすることで、設計者等は、矢印が来ない行の対を、境界色と背景色の配色として選択するだけで、原画像の画素値との類似色は発生させない配色を設定することが可能になる。
この配色は、仕上領域指定画面（図６の基本画面２０１と同一構成）における、略輪郭線の色（境界色）、部分マット処理による修正後のトライマップ表示の色（中間領域が境界色）と共通であり、全体に統一されており、配色変更で同時に変わる。
【０２０７】
本実施形態の画像処理システムは、切抜処理を実行することができるので、上述の第１乃至第３の特長に加えてさらに、仕上確認画面２１２（図１２）における背景を、任意の新背景画像に変更可能である、という第４の特長を有している。
【０２０８】
即ち、仕上確認画面操作処理状態Ｓ４４（図１０）に遷移すると、図２６に示すような仕上確認画面２０４が表示される。
図２６は、仕上確認画面操作処理状態Ｓ４４（図１０）において表示される仕上確認画面２０４の初期状態の様子を示している。
図２６に示すように、仕上確認画面２０４には、仕上調整が行われた処理対象画像から切り抜かれた前景（ウミガメ）に対して、予め用意された新背景画像５１１が合成されて表示される。
ユーザは、背景変更ボタン３５１を押下操作することで、表示領域２１１に表示される背景画像を、任意の新背景画像に変更することができる。
【０２０９】
図２７は、仕上確認画面操作処理状態Ｓ４４（図１０）において表示される仕上確認画面２０４の、背景変更ボタン３５１を１回押下操作した状態を示している。
背景変更ボタン３５１が１回押下操作されると、表示領域２１１に表示される背景画像は、図２７に示すような新背景画像５１２に変更される。
【０２１０】
図２８は、仕上確認画面操作処理状態Ｓ４４（図１０）において表示される仕上確認画面２０４の、背景変更ボタン３５１を２回押下操作した状態を示している。
背景変更ボタン３５１が２回押下操作されると（図２７の状態からさらに１回押下操作されると）、表示領域２１１に表示される背景画像は、図２８に示すような新背景画像５１３に変更される。
【０２１１】
図２９は、仕上確認画面操作処理状態Ｓ４４（図１０）において表示される仕上確認画面２０４の、背景変更ボタン３５１を３回押下操作した状態を示している。
背景変更ボタン３５１が３回押下操作されると（図２８の状態からさらに１回押下操作されると）、表示領域２１１に表示される背景画像は、図２９に示すような新背景画像５１４に変更される。
【０２１２】
ユーザは、納得するまで選択領域（切り抜かれる前景の領域）の修正の操作を繰り返すことになるが、切抜き結果の良し悪しは、新背景画像との相性があり、例えば境界混色をどの程度許容するかといった判断は、単色無地の背景画像だけから想像することは困難である。
あらかじめターゲットの新背景画像が決まっていれば、ターゲットたる新背景画像を表示すれば必要十分な結果が得られるが、そもそもターゲットがあらかじめ決まっているとは限らない。また、ターゲットが決まっていたとしても、どのような新背景画像に対してもある程度通用する品質に仕上げられることが望ましい。
そこで、本実施形態では、確認画面たる仕上確認画面２０４と、編集画面たる仕上調整画面２０５（図１３）とを行き来できるソフトウェアボタン、即ち、仕上調整ボタン３６１（図１２）や確認画面ボタン３７２（図１３）が設けられている。さらに、典型的な場合をある程度網羅できるような代表的な配色や複雑さを表現できる新背景画像の集合体が用意されており、背景変更ボタン３５１の押下操作（クリック操作に相当する操作）だけで、背景画像の内容が、巡回的に切り替えられるように構成されている。
これにより、例えば、ユーザは、特定の新背景画像を念頭においているならば、それに類似する新背景画像を用いて品質を容易に視認することができる。また例えば、ユーザは、あらゆる背景に通用することを目指していれば、全ての新背景画像を順次用いて品質を容易に視認することができる。そして、ユーザは、仮に品質不十分であると判断すれば、編集画面たる仕上調整画面２０５（図１３）を表示させて、編集操作に容易に戻ることが可能になる。
【０２１３】
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０２１４】
例えば、上述した実施形態では、切抜処理は、クライアント機器１１とサーバ１２との協働により行われていたが（図４）、クライアント機器１１又はサーバ１２のうちの何れかで行われてもよい。
ここで、システムとは、複数の装置や処理部により構成される装置全体を表すものであると定義し、１つの筺体内に収まる範囲内を１台の装置と仮定するならば、本発明が適用される画像処理システムは、複数の装置で構成してもよいし、単体の装置で構成してもよい。この場合、複数の装置で構成されるならば、複数の装置全体で図４の切抜処理部１０２の機能全体を発揮することができれば足り、図４の切抜処理部１０２の一機能は、複数の装置のうち任意の台数の任意の装置が有していればよい。
【０２１５】
また例えば、上述した実施の形態では、本発明が適用される情報処理装置は、パーソナルコンピュータ等として構成される例として説明した。しかしながら、本発明は、特にこれに限定されず、画像処理機能を有する電子機器一般に適用することができ、例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。
【０２１６】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０２１７】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０２１８】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア４２（図２），６１（図３）により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROM３２（図２），５２（図３）や記憶部３９（図２），５８（図３）に含まれるハードディスク等で構成される。
【０２１９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【０２２０】
１１・・・クライアント機器、１２・・・サーバ、２１・・・ネットワーク、１０１・・・通信制御部、１０２・・・切替処理部、１１１・・・切抜指定部、１１２・・・仕上調整部、１２１・・・領域演算処理部
【特許請求の範囲】
【請求項１】
前景物体を含む処理対象画像のデータについて、前記前景物体を含む前景領域と、背景領域と、前記前景領域と前記背景領域との境界を示す境界領域と、を検出する検出手段と、
前記処理対象画像を表示するに際し、前記境界領域を他の領域とは識別可能な第１の色で表示させ、前記背景領域を、前記第１の色とは異なる第２の色で表示させる制御を実行する表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
ユーザからの指示に従って、前記境界領域の前記第１の色、及び前記背景領域の前記第２の色を変更する変更手段
を更に備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記境界領域の第１の色候補として３色、前記背景領域の第２の色候補として３色、合計６色が、それぞれ明確に異なる色となるように予め設定されており、
前記変更手段は、前記第１の色として、前記第１の色候補となる３色の中から選択して変更し、前記第２の色として、前記第２の色候補となる３色の中から選択して変更する、
請求項２に記載の画像処理装置。
【請求項４】
画像処理装置が、前景物体を含む処理対象画像のデータに対して画像処理を実行する画像処理方法において、
処理対象画像のデータについて、前記前景物体を含む前景領域と、背景領域と、前記前景領域と前記背景領域との境界を示す境界領域と、を検出する検出ステップと、
前記処理対象画像を表示するに際し、前記境界領域を他の領域とは識別可能な第１の色で表示させ、前記背景領域を、前記第１の色とは異なる第２の色で表示させる制御を実行する表示制御ステップと、
を含む画像処理方法。
【請求項５】
前景物体を含む処理対象画像のデータに対して施される画像処理を制御するコンピュータに、
前記処理対象画像のデータについて、前記前景物体を含む前景領域と、背景領域と、前記前景領域と前記背景領域との境界を示す境界領域と、を検出する検出手段、
前記処理対象画像を表示するに際し、前記境界領域を他の領域とは識別可能な第１の色で表示させ、前記背景領域を、前記第１の色とは異なる第２の色で表示させる制御を実行する表示制御手段、
として機能させるプログラム。
【請求項１】
前景物体を含む処理対象画像のデータについて、前記前景物体を含む前景領域と、背景領域と、前記前景領域と前記背景領域との境界を示す境界領域と、を検出する検出手段と、
前記処理対象画像を表示するに際し、前記境界領域を他の領域とは識別可能な第１の色で表示させ、前記背景領域を、前記第１の色とは異なる第２の色で表示させる制御を実行する表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
ユーザからの指示に従って、前記境界領域の前記第１の色、及び前記背景領域の前記第２の色を変更する変更手段
を更に備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記境界領域の第１の色候補として３色、前記背景領域の第２の色候補として３色、合計６色が、それぞれ明確に異なる色となるように予め設定されており、
前記変更手段は、前記第１の色として、前記第１の色候補となる３色の中から選択して変更し、前記第２の色として、前記第２の色候補となる３色の中から選択して変更する、
請求項２に記載の画像処理装置。
【請求項４】
画像処理装置が、前景物体を含む処理対象画像のデータに対して画像処理を実行する画像処理方法において、
処理対象画像のデータについて、前記前景物体を含む前景領域と、背景領域と、前記前景領域と前記背景領域との境界を示す境界領域と、を検出する検出ステップと、
前記処理対象画像を表示するに際し、前記境界領域を他の領域とは識別可能な第１の色で表示させ、前記背景領域を、前記第１の色とは異なる第２の色で表示させる制御を実行する表示制御ステップと、
を含む画像処理方法。
【請求項５】
前景物体を含む処理対象画像のデータに対して施される画像処理を制御するコンピュータに、
前記処理対象画像のデータについて、前記前景物体を含む前景領域と、背景領域と、前記前景領域と前記背景領域との境界を示す境界領域と、を検出する検出手段、
前記処理対象画像を表示するに際し、前記境界領域を他の領域とは識別可能な第１の色で表示させ、前記背景領域を、前記第１の色とは異なる第２の色で表示させる制御を実行する表示制御手段、
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図９】
【図１０】
【図１１】
【図１４】
【図１５】
【図２５】
【図６】
【図７】
【図８】
【図１２】
【図１３】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図９】
【図１０】
【図１１】
【図１４】
【図１５】
【図２５】
【図６】
【図７】
【図８】
【図１２】
【図１３】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１２−１２３７１６（Ｐ２０１２−１２３７１６Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７５６７４（Ｐ２０１０−２７５６７４）
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]