説明

画像処理装置、画像処理方法及びプログラム

【課題】所定の画像処理が施された画像からの所望の領域の抽出を簡便に行う。
【解決手段】サーバ3であって、画像から被写体領域が切り抜かれた被写体切り抜き画像と背景画像とが合成された被写体合成画像を取得する画像取得部305cと、取得された被写体合成画像に対して所定の画像処理を施すアート変換処理部305dと、切り抜き画像に係る被写体領域と背景領域との境界線を特定する境界線特定部305eと、特定された境界線に基づいて、所定の画像処理が施された被写体合成画像から被写体領域に対応する被写体対応領域を抽出する抽出部305gと、を備えている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、画像上に順次入力される座標データに基づいて輪郭線を描画して、当該画像から輪郭線で囲まれた対象領域を抽出する画像処理装置が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−48213号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1の場合、抽出された対象領域を他の画像に合成した合成画像において、当該対象領域に対応する領域の表示態様を変形させるような画像処理を施した場合、画像処理後の合成画像から対象領域に対応する領域を抽出するためには、再度輪郭線を描画しなければならないという問題があった。
【0005】
そこで、本発明の課題は、所定の画像処理が施された画像からの所望の領域の抽出を簡便に行うことができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明の画像処理装置は、
画像から所定領域が切り抜かれた切り抜き画像と他の画像とが合成された合成画像を取得する取得手段と、この取得手段により取得された合成画像に対して所定の画像処理を施す処理手段と、前記切り抜き画像に係る前記所定領域と背景領域との境界線を特定する特定手段と、この特定手段により特定された前記境界線に基づいて、前記所定の画像処理が施された合成画像から前記所定領域に対応する対応領域を抽出する抽出手段と、を備えたことを特徴としている。
【0007】
また、本発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、画像から所定領域が切り抜かれた切り抜き画像と他の画像とが合成された合成画像を取得する工程と、取得された合成画像に対して所定の画像処理を施す工程と、前記切り抜き画像に係る前記所定領域と背景領域との境界線を特定する工程と、特定された前記境界線に基づいて、前記所定の画像処理が施された合成画像から前記所定領域に対応する対応領域を抽出する工程と、を含むことを特徴としている。
【0008】
また、本発明のプログラムは、
画像処理装置のコンピュータを、画像から所定領域が切り抜かれた切り抜き画像と他の画像とが合成された合成画像を取得する取得手段、この取得手段により取得された合成画像に対して所定の画像処理を施す処理手段、前記切り抜き画像に係る前記所定領域と背景領域との境界線を特定する特定手段、この特定手段により特定された前記境界線に基づいて、前記所定の画像処理が施された合成画像から前記所定領域に対応する対応領域を抽出する抽出手段、として機能させることを特徴としている。
【発明の効果】
【0009】
本発明によれば、所定の画像処理が施された画像からの所望の領域の抽出を簡便に行うことができる。
【図面の簡単な説明】
【0010】
【図1】本発明を適用した一実施形態の画像処理システムの概略構成を示すブロック図である。
【図2】図1の画像処理システムを構成するユーザ端末の概略構成を示すブロック図である。
【図3】図1の画像処理システムを構成するサーバの概略構成を示すブロック図である。
【図4】図1の画像処理システムによる画像抽出処理に係る動作の一例を示すフローチャートである。
【図5】図4の画像抽出処理に係る画像の一例を模式的に示す図である。
【図6】図4の画像抽出処理に係る画像の一例を模式的に示す図である。
【図7】図4の画像抽出処理に係る画像の一例を模式的に示す図である。
【図8】図4の画像抽出処理に係る画像の一例を模式的に示す図である。
【発明を実施するための形態】
【0011】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の画像処理システム100の概略構成を示すブロック図である。
【0012】
本実施形態の画像処理システム100は、図1に示すように、撮像装置1と、ユーザ端末2と、サーバ3とを備え、ユーザ端末2とサーバ3とが所定の通信ネットワークNを介して各種情報を送受信可能に接続されている。
【0013】
撮像装置1は、被写体を撮像する撮像機能や撮像画像の画像データを記録媒体Cに記録する記録機能等を具備する。即ち、撮像装置1は、公知のものを適用可能であり、例えば、主要な機能を撮像機能とするデジタルカメラだけでなく、主要な機能としないものの撮像機能を具備する携帯電話機等の携帯端末なども含む。
【0014】
次に、ユーザ端末2について図2を参照して説明する。
ユーザ端末2は、例えば、パーソナルコンピュータ等により構成され、サーバ3により開設されるWebページ(例えば、画像抽出用ページ)にアクセスして、当該Webページ上で各種の指示を入力する。
【0015】
図2は、ユーザ端末2の概略構成を示すブロック図である。
図2に示すように、ユーザ端末2は、具体的には、中央制御部201と、操作入力部202と、表示部203と、記録媒体制御部204と、通信制御部205等を備えている。
【0016】
中央制御部201は、ユーザ端末2の各部を制御する。具体的には、中央制御部201は、CPU、RAM、ROM(何れも図示略)を備え、ROMに記憶されたユーザ端末2用の各種処理プログラム(図示略)に従って各種の制御動作を行う。その際に、CPUは、RAM内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部203に表示させる。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末2で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
【0017】
操作入力部202は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部201のCPUに出力する。
なお、操作入力部202としてタッチパネル(図示略)を表示部203の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
【0018】
表示部203は、例えば、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)等のディスプレイから構成され、中央制御部201のCPUの制御下にて各種情報を表示画面に表示する。
即ち、表示部203は、例えば、サーバ3から送信され通信制御部205により受信されたWebページ(例えば、画像抽出用ページ)のページデータに基づいて、対応するWebページを表示画面に表示する。具体的には、表示部203は、画像抽出処理(後述)に係る各種の処理画面の画像データに基づいて、各種の処理画面を表示画面に表示する。
【0019】
記録媒体制御部204は、記録媒体Cが着脱自在に構成され、装着された記録媒体Cからのデータの読み出しや記録媒体Cに対するデータの書き込みを制御する。即ち、記録媒体制御部204は、撮像装置1から取り外されて装着された記録媒体Cから画像抽出処理(後述)に係る被写体存在画像(図示略)の画像データを読み出して通信制御部205に出力する。
ここで、被写体存在画像とは、所定の背景内に主要な被写体が存在する画像のことである。また、記録媒体Cには、撮像装置1の画像処理部(図示略)により所定の符号化形式(例えば、JPEG形式等)に従って符号化された被写体存在画像の画像データが記録されている。
そして、通信制御部205は、記録媒体制御部204から出力され入力された被写体存在画像の画像データをサーバ3に所定の通信ネットワークNを介して送信する。
なお、記録媒体Cは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【0020】
通信制御部205は、例えば、モデム(MODEM:Modulater/DEModulater)、ターミナルアダプタ(Terminal Adapter)等によって構成され、所定の通信ネットワークNを介してサーバ3等の外部機器との間で情報の通信制御を行う。
【0021】
なお、通信ネットワークNは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、LAN(Local Area Network)やWAN(Wide Area Network)等の様々な回線形態を適用することが可能である。また、通信ネットワークNには、例えば、電話回線網、ISDN回線網、専用線、移動体通信網、通信衛星回線、CATV回線網等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ等が含まれる。
【0022】
次に、サーバ3について図3を参照して説明する。
サーバ3は、Web(World Wide Web)サーバとしてインターネット上にWebページ(例えば、画像抽出用ページ)を開設する機能を具備するものであり、ユーザ端末2からのアクセスに応じて当該ユーザ端末2にWebページのページデータを送信する。また、サーバ3は、画像処理装置として、被写体切り抜き画像P1(図5(a)参照)に係る被写体領域(所定領域)Psと背景領域との境界線Lに基づいて、所定の画像処理が施された画像処理済み画像P3(図6(b)参照)から被写体領域Psに対応する被写体対応領域Qs(図8(b)参照)を抽出する。
【0023】
図3は、サーバ3の概略構成を示すブロック図である。
図3に示すように、サーバ3は、具体的には、中央制御部301と、記憶部302と、表示部303と、通信制御部304と、画像処理部305等を備えて構成されている。
【0024】
中央制御部301は、サーバ3の各部を制御する。具体的には、中央制御部301は、CPU、RAM、ROM(何れも図示略)を備え、CPUは、ROMに記憶されたサーバ3用の各種処理プログラム(図示略)に従って各種の制御動作を行う。その際に、CPUは、RAM内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部303に表示させる。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ3で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
【0025】
記憶部302は、例えば、半導体の不揮発メモリやHDD(Hard Disc Drive)等により構成され、ユーザ端末2に送信されるWebページのページデータ、画像処理部305により生成された被写体切り抜き画像P1や被写体合成画像P2(図6(a)参照)や被写体抽出画像P7(図8(b)参照)の画像データ等をそれぞれ記憶する。また、記憶部302は、被写体合成画像P2の背景領域を構成する背景画像Pb(図6(a)参照)の画像データを記憶する。
【0026】
表示部303は、例えば、LCD、CRT等のディスプレイから構成され、中央制御部301のCPUの制御下にて各種情報を表示画面に表示する。
【0027】
通信制御部304は、例えば、モデム、ターミナルアダプタ等によって構成され、所定の通信ネットワークNを介してユーザ端末2等の外部機器との間で情報の通信制御を行う。
具体的には、通信制御部304は、例えば、画像抽出処理(後述)にてユーザ端末2から所定の通信ネットワークNを介して送信された被写体存在画像の画像データを受信して、当該画像データを中央制御部301のCPUに出力する。
中央制御部301のCPUは、入力された被写体存在画像の画像データを切抜部305aに出力する。
【0028】
画像処理部305は、切抜部305aと、画像合成部305bと、画像取得部305cと、アート変換処理部305dと、境界線特定部305eと、三値画像生成部305fと、抽出部305gとを具備している。
【0029】
切抜部305aは、被写体存在画像から被写体切り抜き画像P1(図5(a)参照)を生成する。
即ち、切抜部305aは、公知の被写体切抜手法を用いて、被写体存在画像から被写体が含まれる領域Psが切り抜かれた被写体切り抜き画像P1を生成する。
具体的には、切抜部305aは、被写体存在画像における被写体領域Psの位置を示し、当該被写体領域Psを抽出するための被写体位置情報M(図5(b)参照)を生成する位置情報生成部a1を備えている。
ここで、被写体位置情報Mとしては、例えば、被写体存在画像の各画素について、被写体画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したアルファマップが挙げられる。
【0030】
位置情報生成部a1は、先ず、ユーザ端末2から所定の通信ネットワークNを介して送信され通信制御部304により受信された被写体存在画像の画像データを取得する。そして、位置情報生成部a1は、例えば、ユーザによるユーザ端末2の操作入力部202(例えば、マウス等)の所定操作に基づいて、表示部203に表示されている当該被写体存在画像上に描画された切抜線(図示略)に基づいて当該被写体存在画像を区分する。続けて、位置情報生成部a1は、被写体存在画像の切抜線により区分される複数の区分領域の中で、被写体の背景を推定して当該背景の各画素の画素値に基づいて所定の演算を行って、被写体の背景色を所定の単一色として推定する。その後、位置情報生成部a1は、所定の単一色の背景用画像と被写体存在画像との間で対応する各画素の差分情報(例えば、相違度マップ等)を生成する。そして、位置情報生成部a1は、生成した差分情報の各画素の画素値を所定の閾値と比較して二値化した後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行って面積が最大の画素集合を被写体部分とする。
その後、位置情報生成部a1は、例えば、上記の面積が最大の画素集合が「1」、その他の部分が「0」である二値化された差分情報に対してローパスフィルタを施して境界部分に中間値を生じさせることでアルファ値を作成する。この場合、被写体領域Psはアルファ値が「1」となり、被写体存在画像の所定の背景に対する透過度が0%となる。一方、被写体の背景部分はアルファ値が「0」となり、当該被写体存在画像の所定の背景に対する透過度が100%となる。
【0031】
そして、切抜部305aは、位置情報生成部a1により生成された被写体位置情報M(アルファマップ)に基づいて、被写体存在画像の各画素のうち、アルファ値が「1」の画素を所定の単一色画像に対して透過させずに、且つ、アルファ値が「0」の画素を透過させるように、被写体画像を所定の単一色画像と合成して被写体切り抜き画像P1の画像データを生成する。
被写体切り抜き画像P1の画像データは、例えば、位置情報生成部a1により生成された被写体位置情報M(アルファマップ)と対応付けられたデータである。
【0032】
なお、上記した切抜部305aによる被写体切抜手法は、一例であってこれに限られるものではなく、被写体存在画像から被写体が含まれる被写体領域Psを切り抜く公知の手法であれば如何なる手法を適用しても良い。
また、切抜部305aは、被写体存在画像から被写体が含まれる被写体領域Psを切り抜くようにしたが、切抜部305aによる切り抜きの対象領域は一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、切抜部305aは、被写体領域Ps以外の所定領域、例えば、背景領域等を切り抜きの対象領域としても良い。
【0033】
画像合成部305bは、被写体切り抜き画像P1と背景画像Pbとを合成する画像合成処理を行う。
即ち、画像合成部305bは、被写体切り抜き画像P1と他の画像である背景画像Pbとを合成して被写体合成画像P2(図6(a)参照)を生成する。具体的には、画像合成部305bは、切抜部305aにより生成された被写体切り抜き画像P1の画像データ及び記憶部302から読み出された背景画像Pbの画像データを取得する。そして、画像合成部305bは、背景画像Pbの各画素のうち、被写体切り抜き画像P1のアルファ値が「0」の画素は背景画像Pbに対して透過させ、被写体切り抜き画像P1のアルファ値が「1」の画素は被写体切り抜き画像P1の対応する画素の画素値で背景画像Pbの画素を上書きし、さらに、背景画像Pbの各画素のうち、被写体切り抜き画像P1の画素のアルファ値が「0<α<1」の画素は1の補数(1−α)を用いて被写体切り抜き画像P1の被写体領域Psを切り抜いた画像(背景画像×(1−α))を生成した後、被写体位置情報M(アルファマップ)における1の補数(1−α)を用いて被写体切り抜き画像P1を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像P1から減算し、それを被写体領域Psを切り抜いた画像(背景画像×(1−α))と合成する。
【0034】
画像取得部305cは、被写体合成画像P2を取得する。
即ち、画像取得部305cは、被写体切り抜き画像P1と他の画像である背景画像Pbとが合成された被写体合成画像P2を取得する。具体的には、画像取得部305cは、画像合成部305bから当該画像合成部305bにより生成された被写体合成画像P2の画像データを取得する。
なお、画像取得部305cによる被写体合成画像P2の取得方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、例えば、サーバ3と外部の情報通信機器とが所定の通信ネットワークNを介して情報通信可能に接続された状態で、この情報通信機器から送信された生成済みの被写体合成画像の画像データを受信して、当該画像データを取得するようにしても良い。また、例えば、サーバ3に記録媒体制御部を備え、この記録媒体制御部に装着された記録媒体Cから被写体合成画像の画像データを読み出して取得するようにしても良い。
【0035】
アート変換処理部305dは、処理対象である被写体合成画像P2を各種の視覚的効果を有する画像に加工するアート変換処理を施す。
ここで、アート変換処理とは、処理対象となる被写体合成画像P2の視覚的効果、即ち、表示部に表示された状態における表示態様を変化させる画像処理のことである。アート変換処理としては、具体的には、例えば、油彩絵の具で描いたような視覚的効果を有する画像に加工する「油彩画風」(図6(b)参照)や、水彩絵の具で描いたような視覚的効果を有する画像に加工する「水彩画風」や、色鉛筆で書いたような視覚的効果を有する画像に加工する「色鉛筆風」等が挙げられるが、一例であってこれらに限られるものではなく、適宜任意に変更可能である。
そして、アート変換処理部305dは、ユーザによるユーザ端末2の操作入力部202の所定操作に基づいて指定された所定の処理内容のアート変換処理(例えば、「油彩画風」等)を被写体合成画像P2に対して施し、画像処理済み画像P3の画像データを取得する。
また、処理対象の画像を各種の視覚的効果を有する画像に加工する技術は、例えば、公知の画像処理関連のソフトウェアを用いた処理と略同様の処理によって実現され、HSV色空間における色相、彩度、明度などを変更したり各種のフィルタを用いることで行われるが、公知の技術であるので、詳細な説明を省略する。また、「○○風」とは、公知の画像処理関連のソフトウェアによって実現可能なアート変換処理が施された視覚的効果のことを言う。
【0036】
なお、画像処理としては、被写体合成画像P2を絵画調の画像に加工するアート変換処理に限られるものではなく、例えば、輪郭強調処理、階調補正処理、二値化処理など適宜任意に変更することができる。
【0037】
境界線特定部305eは、被写体切り抜き画像P1に係る被写体領域Psと背景領域との境界線Lを特定する。
即ち、境界線特定部305eは、切抜部305aにより生成された被写体切り抜き画像P1内で被写体領域(所定領域)Psの位置を示す被写体位置情報Mを用いて境界線Lを特定する。具体的には、境界線特定部305eは、位置情報生成部a1により生成された被写体位置情報M(例えば、アルファマップ)を複製し、当該被写体位置情報Mの被写体領域Psと背景領域(図5(b)に示す被写体位置情報Mにおける「黒塗り」で表す領域等)との境界をなす縁部分をトレースした軌跡を境界線Lとして特定する。そして、境界線特定部305eは、特定された境界線Lを表す境界線画像P4(図7(a)参照)を所定のデータ形式(例えば、SVG(Scalable Vector Graphics)で記述された画像フォーマット等)で生成する。
【0038】
三値画像生成部305fは、被写体構成領域As、背景構成領域Ab及び境界領域Alの各画素の画素値を互いに異ならせた三値画像P6を生成する。
即ち、三値画像生成部305fは、被写体を構成する被写体構成領域Asの各画素を第1の画素値(例えば、「1」等)、背景を構成する背景構成領域Abの各画素を第2の画素値(例えば、「0」等)、被写体であるか背景であるか未確定の領域(未確定領域)である境界領域Alの各画素を第3の画素値(例えば、「0.5」等)とする三値画像P6(図8(a)参照)を生成する。具体的には、先ず、三値画像生成部305fは、境界線特定部305eにより生成された所定のデータ形式(例えば、SVGで記述された画像フォーマット等)の境界線画像P4の画像データを取得し、当該境界線Lを基準とする所定の範囲内の各画素を画素値が未確定の領域として設定して境界領域画像P5(図7(b)参照)を生成する。例えば、三値画像生成部305fは、SVGで記述された画像フォーマットの境界線画像P4の画像データの「fill」、「stroke」、「stroke-width」、「StrokeLineCap」等の項目を逐次調整して、当該境界線Lの太さを変更することで画素値が未確定の領域としての境界領域Alを設定する。
ここで、境界領域Alの設定に係る境界線Lの太さの変更度合は、被写体合成画像P2に対する画像処理(例えば、アート変換処理)の処理内容に応じて変化させても良い。即ち、被写体合成画像P2に対するアート変換処理が、例えば、筆跡を表現するためのタッチの細かさ、絵の具や刺繍を表現するためのテクスチャの大きさ、画像を表現するキャンバスの粗さ等を基準として、元画像の視覚的効果、特に主要部の形状の変化が相対的に大きい画像加工処理の場合には、境界線Lの太さを相対的に太くするように変更度合を設定し、一方、元画像の主要部の形状の変化が相対的に小さい画像加工処理の場合には、境界線Lの太さを相対的に細くするように変更度合を設定しても良い。
【0039】
そして、三値画像生成部305fは、位置情報生成部a1により生成された被写体位置情報M(例えば、アルファマップ)を複製し、当該被写体位置情報Mと生成済みの境界領域画像P5とを併合して三値画像P6を生成する。具体的には、三値画像生成部305fは、被写体位置情報Mと境界領域画像P5とを上下に重ね合わせた状態で、被写体位置情報Mの被写体領域Psのうち、境界領域Alと重なり合わない部分の各画素を画素値が「1」の被写体構成領域Asとする。同様に、三値画像生成部305fは、被写体位置情報Mの背景領域のうち、境界領域Alと重なり合わない部分の各画素を画素値が「0」の背景構成領域Abとする。また、三値画像生成部305fは、被写体位置情報Mの被写体領域Ps及び背景領域のうち、境界領域Alと重なり合った部分の各画素を画素値が「0.5」の境界領域(未確定領域)Alとする。このようにして、三値画像生成部305fは、被写体構成領域As、背景構成領域Ab及び境界領域Alの各画素の画素値が互いに異なる三値画像P6を生成する。
なお、図8(a)にあっては、三値画像P6における背景構成領域Abを「黒塗り」で、被写体構成領域Asを「白抜き」で、境界領域(未確定領域)Alにドットを付して表している。
【0040】
抽出部305gは、画像処理済み画像P3から被写体領域Psに対応する被写体対応領域Qsを抽出する。
即ち、抽出部305gは、境界線特定部305eにより特定された境界線Lに基づいて、所定の画像処理が施された画像処理済み画像P3から被写体領域Psに対応する被写体対応領域Qsを抽出する。具体的には、抽出部305gは、三値画像生成部305fにより生成された三値画像P6に基づいて、画像処理済み画像P3の境界線Lを基準とする境界領域(所定の範囲)Al内でエッジを検出するエッジ検出処理を行い、当該エッジ検出処理の結果に基づいて、当該画像処理済み画像P3から被写体対応領域Qsを特定して抽出する。例えば、抽出部305gは、エッジ検出処理により境界領域Al内で被写体領域Psのエッジ(背景領域との境目)を検出し、画像処理済み画像P3内で当該エッジにより区分される領域(例えば、エッジにより囲まれる内側領域等)を被写体対応領域Qsとして特定した後、画像処理済み画像P3から被写体対応領域Qsを抽出した被写体抽出画像P7(図8(b)参照)を生成する。
上記のエッジ検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【0041】
なお、抽出部305gによる被写体対応領域Qsの抽出の手法として、エッジ検出処理を例示したが一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、例えば、グラフカットアルゴリズムを利用して、三値画像P6に係る所定のエネルギー関数を最小にするパラメータを算出することで、画素値の未確定領域である境界領域Alを構成する各画素の画素値を特定して二値画像(マスク画像)を生成した後、当該二値画像を利用して画像処理済み画像P3から被写体対応領域Qsを切り抜くようにしても良い。
【0042】
次に、ユーザ端末2及びサーバ3を用いた画像抽出処理について、図4〜図8を参照して説明する。
ここで、図4は、画像抽出処理に係る動作の一例を示すフローチャートである。
また、図5(a)は、被写体切り抜き画像P1の一例を模式的に示す図であり、図5(b)は、被写体位置情報Mの一例を模式的に示す図である。また、図6(a)は、被写体合成画像P2の一例を模式的に示す図であり、図6(b)は、画像処理済み画像P3の一例を模式的に示す図である。また、図7(a)は、境界線画像P4の一例を模式的に示す図であり、図7(b)は、境界領域画像P5の一例を模式的に示す図である。また、図8(a)は、三値画像P6の一例を模式的に示す図であり、図8(b)は、被写体抽出画像P7の一例を模式的に示す図である。
【0043】
図4に示すように、ユーザ端末2の中央制御部201のCPUは、ユーザによる操作入力部202の所定操作に基づいて、サーバ3により開設される画像抽出用ページのアクセス指示が入力されると、当該アクセス指示を通信制御部205により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS1)。
サーバ3の通信制御部304によって、ユーザ端末2から送信されたアクセス指示が受信されると、中央制御部301のCPUは、画像抽出用ページのページデータを通信制御部304により所定の通信ネットワークNを介してユーザ端末2に送信させる(ステップS2)。
そして、ユーザ端末2の通信制御部205によって、画像抽出用ページのページデータが受信されると、中央制御部201のCPUは、当該画像抽出用ページのページデータに基づいて、画像抽出用ページの所定の画面を表示部203に表示させる。続けて、ユーザによる操作入力部202の所定操作に基づいて、記録媒体制御部204は、記録媒体Cからユーザ所望の被写体存在画像の画像データを読み出した後、中央制御部201のCPUは、読み出された被写体存在画像の画像データを通信制御部205により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS3)。
【0044】
サーバ3の通信制御部304によって、ユーザ端末2から送信された被写体存在画像の画像データが受信されると、画像処理部305の切抜部305aは、被写体存在画像から被写体位置情報M(例えば、アルファマップ)を用いて被写体切り抜き画像P1(図5(a)参照)を生成する(ステップS4)。
具体的には、切抜部305aの位置情報生成部a1は、被写体存在画像における被写体領域Psの位置を示し、当該被写体領域Psを抽出するための被写体位置情報M(アルファマップ;図5(b)参照)を生成する。その後、切抜部305aは、生成された被写体位置情報Mに基づいて、被写体存在画像の各画素のうち、アルファ値が「1」の画素を所定の単一色画像に対して透過させずに、且つ、アルファ値が「0」の画素を透過させるように、被写体領域Psの画像を所定の単一色画像と合成して被写体切り抜き画像P1の画像データを生成する。
【0045】
ユーザ端末2の中央制御部201のCPUは、ユーザによる操作入力部202の所定操作に基づいて、ユーザ所望の背景画像Pbを指定する指示が入力されると、当該背景画像Pbの指定指示を通信制御部205により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS5)。
サーバ3の通信制御部304によって、ユーザ端末2から送信された背景画像Pbの指定指示が受信されると、画像処理部305の画像合成部305bは、被写体切り抜き画像P1と背景画像Pbとを合成して被写体合成画像P2(図6(a)参照)を生成する(ステップS6)。
具体的には、画像合成部305bは、通信制御部304により受信された指定指示に係る背景画像Pbの画像データを記憶部302から取得するとともに、被写体切り抜き画像P1の画像データを切抜部305aから取得する。そして、画像合成部305bは、背景画像Pbの各画素のうち、被写体切り抜き画像P1のアルファ値が「0」の画素は背景画像Pbに対して透過させ、被写体切り抜き画像P1のアルファ値が「1」の画素は被写体切り抜き画像P1の対応する画素の画素値で背景画像Pbの画素を上書きし、さらに、背景画像Pbの各画素のうち、被写体切り抜き画像P1の画素のアルファ値が「0<α<1」の画素は1の補数(1−α)を用いて被写体切り抜き画像P1の被写体領域Psを切り抜いた画像(背景画像×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて被写体切り抜き画像P1を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像P1から減算し、それを被写体領域Psを切り抜いた画像(背景画像×(1−α))と合成する。
【0046】
次に、ユーザ端末2の中央制御部201のCPUは、ユーザによる操作入力部202の所定操作に基づいて、被写体合成画像P2に対するアート変換処理の実行指示が入力されると、当該アート変換処理の実行指示を通信制御部205により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS7)。
サーバ3の通信制御部304によって、ユーザ端末2から送信されたアート変換処理の実行指示が受信されると、画像処理部305の画像取得部305cは、画像合成部305bにより生成された被写体合成画像P2の画像データを取得した後(ステップS8)、アート変換処理部305dは、ユーザによるユーザ端末2の操作入力部202の所定操作に基づいて指定された所定の処理内容のアート変換処理(例えば、「油彩画風」等)を被写体合成画像P2に対して施し、画像処理済み画像P3(図6(b)参照)の画像データを取得する(ステップS9)。
【0047】
続けて、画像処理部305の境界線特定部305eは、被写体位置情報Mを用いて被写体切り抜き画像P1に係る被写体領域Psと背景領域との境界線Lを特定して、所定のデータ形式の境界線画像P4(図7(a)参照)を生成する(ステップS10)。
具体的には、境界線特定部305eは、位置情報生成部a1により生成された被写体位置情報M(アルファマップ)を複製し、当該被写体位置情報Mの被写体領域Psと背景領域との境界をなす縁部分をトレースした軌跡を境界線Lとして特定した後、当該境界線Lを表す境界線画像P4を所定のデータ形式(例えば、SVGで記述された画像フォーマット等)で生成する。
【0048】
次に、画像処理部305の三値画像生成部305fは、境界線特定部305eにより生成された所定のデータ形式の境界線画像P4の画像データを取得し、当該境界線Lを基準とする所定の範囲内の画素を画素値が未確定の境界領域Alとして設定して境界領域画像P5(図7(b)参照)を生成する(ステップS11)。
続けて、三値画像生成部305fは、位置情報生成部a1により生成された被写体位置情報M(アルファマップ)を複製し、当該被写体位置情報Mと生成済みの境界領域画像P5とを併合して、被写体構成領域As、背景構成領域Ab及び境界領域Alの各画素の画素値が互いに異なる三値画像P6(図8(a)参照)を生成する(ステップS12)。具体的には、三値画像生成部305fは、被写体位置情報Mの被写体領域Psのうち、境界領域Alと重なり合わない部分を画素値が「1」の被写体構成領域Asとし、同様に、被写体位置情報Mの背景領域のうち、境界領域Alと重なり合わない部分を画素値が「0」の背景構成領域Abとする。また、三値画像生成部305fは、被写体位置情報Mの被写体領域Ps及び背景領域のうち、境界領域Alと重なり合った部分を画素値が「0.5」の境界領域(未確定領域)Alとする。
【0049】
次に、画像処理部305の抽出部305gは、三値画像生成部305fにより生成された三値画像P6に基づいて、画像処理済み画像P3から被写体領域Psに対応する被写体対応領域Qsを抽出する(ステップS13)。
具体的には、抽出部305gは、三値画像P6に基づいて、画像処理済み画像P3の境界線Lを基準とする境界領域Al内でエッジを検出するエッジ検出処理を行い、境界領域Al内で被写体領域Psのエッジを特定する。そして、抽出部305gは、画像処理済み画像P3内で特定されたエッジにより区分される領域(例えば、エッジの内側領域等)を被写体対応領域Qsとして特定した後、画像処理済み画像P3から被写体対応領域Qsを抽出した被写体抽出画像P7(図8(b)参照)を生成する。
【0050】
その後、中央制御部301のCPUは、抽出部305gにより生成された被写体抽出画像P7の画像データを通信制御部304により所定の通信ネットワークNを介してユーザ端末2に送信させる(ステップS14)。
そして、ユーザ端末2の通信制御部205によって、被写体抽出画像P7の画像データが受信されると、中央制御部201のCPUは、当該画像データに基づいて、被写体抽出画像P7を表示部203に表示させる(ステップS15)。
これにより、画像抽出処理を終了する。
【0051】
以上のように、本実施形態の画像処理システム100によれば、被写体切り抜き画像P1に係る被写体領域(所定領域)Psと背景領域との境界線Lに基づいて、所定の画像処理が施された被写体合成画像P2(画像処理済み画像P3)から被写体領域Psに対応する被写体対応領域Qsを抽出するので、被写体切り抜き画像P1と他の画像(背景画像Pb)とが合成された被写体合成画像P2に対して主要部の形状が変化するような画像処理が施された画像処理済み画像P3であっても、被写体切り抜き画像P1に係る被写体領域Psと背景領域との境界線Lを基準として、当該画像処理済み画像P3内の被写体対応領域Qsを適正に特定することができる。
従って、所定の画像処理が施された画像処理済み画像P3からの所望の被写体対応領域Qsの抽出を簡便に行うことができる。
【0052】
また、所定の画像処理が施された被写体合成画像P2である画像処理済み画像P3の境界線Lを基準とする所定の範囲内でエッジ検出処理を行うので、画像処理済み画像P3内でエッジ検出処理の処理対象となる範囲を絞り込んだ上で当該エッジ検出処理を行うことができ、画像処理済み画像P3からの被写体対応領域Qsの抽出を適正に行うことができるとともに、処理能力の高い演算装置を搭載せずとも画像抽出処理の高速化を図ることができる。
特に、被写体構成領域As、背景構成領域Ab及び境界領域Alの各画素の画素値が互いに異なる三値画像P6を利用することで、画像処理済み画像P3内にてエッジ検出処理の処理対象となる境界領域Alだけでなく、被写体構成領域As及び背景構成領域Abの特定も簡便に、且つ、適正に行うことができる。
【0053】
また、被写体切り抜き画像P1内で被写体領域Psの位置を示す被写体位置情報Mを用いて境界線Lを特定するので、所定の画像処理が施される前の被写体切り抜き画像P1に係る被写体位置情報Mを用いて境界線Lを適正に特定することができ、これにより、当該境界線Lを基準として画像処理済み画像P3内で被写体領域Psに対応する被写体対応領域Qsを適正に特定することができる。
さらに、画像合成部305bにより生成された被写体合成画像P2を取得するので、当該被写体合成画像P2を処理対象として、所定の画像処理を施して画像処理済み画像P3を生成することができる。
【0054】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、被写体構成領域As、背景構成領域Ab及び境界領域Alの各画素の画素値が互いに異なる三値画像P6を利用して、画像処理済み画像P3から被写体対応領域Qsを抽出するようにしたが、被写体対応領域Qsの抽出に三値画像P6を利用するか否かは適宜任意に変更可能である。即ち、サーバ3は、必ずしも三値画像P6を生成する三値画像生成部305fを具備する必要はなく、被写体切り抜き画像P1に係る被写体領域Psと背景領域との境界線Lを基準として、画像処理済み画像P3から被写体対応領域Qsを抽出可能であれば如何なる構成であっても良い。
【0055】
さらに、上記実施形態にあっては、被写体存在画像から被写体切り抜き画像P1を生成するようにしたが、被写体切り抜き画像P1を生成するか否かは適宜任意に変更可能である。即ち、サーバ3は、必ずしも被写体切り抜き画像P1を生成する切抜部305aを具備する必要はなく、被写体切り抜き画像P1に係る被写体領域Psと背景領域との境界線Lを特定可能であれば如何なる構成であっても良い。
【0056】
また、上記実施形態にあっては、ユーザ端末2から送信され通信制御部304により受信された被写体存在画像を、被写体切り抜き画像P1の生成に係る処理対象の画像として取得する構成を例示したが、一例であってこれに限られるものではなく、被写体存在画像の取得方法は適宜任意に変更可能である。
即ち、例えば、予めサーバ3の記憶部302に被写体存在画像の画像データを記憶しておき、被写体切り抜き画像P1の生成の際に、切抜部305aが当該被写体存在画像の画像データを取得するようにしても良い。また、例えば、被写体切り抜き画像P1の生成の際に、切抜部305aは、ユーザ端末2と異なる外部の情報通信機器から所定の通信ネットワークNを介して送信され通信制御部304により受信された被写体存在画像の画像データを取得するようにしても良い。
【0057】
さらに、サーバ3の記憶部302に被写体切り抜き画像P1と合成される背景画像Pbの画像データを記憶するようにしたが、必ずしも背景画像Pbを記憶しておく必要はない。即ち、例えば、被写体合成画像P2の生成の際に、画像合成部305bは、ユーザ端末2や他の外部の情報通信機器から所定の通信ネットワークNを介して送信され通信制御部304により受信された背景画像Pbの画像データを取得するようにしても良い。
【0058】
また、ユーザによるユーザ端末2の所定操作に基づいて、Webサーバとして機能するサーバ(画像処理装置)3によって被写体対応領域Qsを抽出するようにしたが、一例であってこれに限られるものではなく、画像処理装置の構成は適宜任意に変更可能である。即ち、被写体対応領域Qsの抽出に係る画像処理部305の機能をソフトウェアにより実現される構成として、ユーザ端末2にインストールすることで通信ネットワークNを必要とすることなく、当該ユーザ端末2単体で画像抽出処理を行うようにしても良い。
【0059】
さらに、上記実施形態にあっては、ユーザ端末2として、パーソナルコンピュータを例示したが、一例であってこれに限られるものではなく、例えば、携帯電話機等を適用しても良い。
【0060】
加えて、上記実施形態にあっては、取得手段、処理手段、特定手段、抽出手段としての機能を、中央制御部301の制御下にて、画像取得部305c、アート変換処理部305d、境界線特定部305e、抽出部305gが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部301のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、画像処理ルーチン、特定処理ルーチン、抽出処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部301のCPUを、画像から所定領域が切り抜かれた切り抜き画像と他の画像とが合成された合成画像を取得する取得手段として機能させるようにしても良い。また、画像処理ルーチンにより中央制御部301のCPUを、取得手段により取得された合成画像に対して所定の画像処理を施す処理手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部301のCPUを、切り抜き画像に係る所定領域と背景領域との境界線Lを特定する特定手段として機能させるようにしても良い。また、抽出処理ルーチンにより中央制御部301のCPUを、特定手段により特定された境界線Lに基づいて、所定の画像処理が施された合成画像から所定領域に対応する対応領域を抽出する抽出手段として機能させるようにしても良い。
【0061】
同様に、生成手段、切抜手段、合成手段についても、中央制御部301のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
【0062】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
【0063】
〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
<請求項1>
画像から所定領域が切り抜かれた切り抜き画像と他の画像とが合成された合成画像を取得する取得手段と、
この取得手段により取得された合成画像に対して所定の画像処理を施す処理手段と、
前記切り抜き画像に係る前記所定領域と背景領域との境界線を特定する特定手段と、
この特定手段により特定された前記境界線に基づいて、前記所定の画像処理が施された合成画像から前記所定領域に対応する対応領域を抽出する抽出手段と、
を備えたことを特徴とする画像処理装置。
<請求項2>
前記抽出手段は、更に、
前記所定の画像処理が施された合成画像の前記境界線を基準とする所定の範囲内でエッジを検出するエッジ検出処理を行い、当該エッジ検出処理の結果に基づいて、当該合成画像から前記対応領域を特定して抽出することを特徴とする請求項1に記載の画像処理装置。
<請求項3>
前記所定領域を構成する領域、前記背景領域を構成する領域及び前記境界線を基準とする所定の範囲における各画素の画素値を互いに異ならせた三値画像を生成する生成手段を更に備え、
前記抽出手段は、
前記生成手段により生成された前記三値画像に基づいて、前記所定の画像処理が施された合成画像から前記対応領域を特定して抽出することを特徴とする請求項1又は2に記載の画像処理装置。
<請求項4>
画像から所定領域を切り抜いて切り抜き画像を生成する切抜手段を更に備え、
前記特定手段は、
前記切抜手段により生成された前記切り抜き画像内で前記所定領域の位置を示す位置情報を用いて前記境界線を特定することを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
<請求項5>
前記切抜手段により生成された前記切り抜き画像と前記他の画像とを合成して合成画像を生成する合成手段を更に備え、
前記取得手段は、
前記合成手段により生成された前記合成画像を取得することを特徴とする請求項4に記載の画像処理装置。
<請求項6>
画像処理装置を用いた画像処理方法であって、
画像から所定領域が切り抜かれた切り抜き画像と他の画像とが合成された合成画像を取得する工程と、
取得された合成画像に対して所定の画像処理を施す工程と、
前記切り抜き画像に係る前記所定領域と背景領域との境界線を特定する工程と、
特定された前記境界線に基づいて、前記所定の画像処理が施された合成画像から前記所定領域に対応する対応領域を抽出する工程と、
を含むことを特徴とする画像処理方法。
<請求項7>
画像処理装置のコンピュータを、
画像から所定領域が切り抜かれた切り抜き画像と他の画像とが合成された合成画像を取得する取得手段、
この取得手段により取得された合成画像に対して所定の画像処理を施す処理手段、
前記切り抜き画像に係る前記所定領域と背景領域との境界線を特定する特定手段、
この特定手段により特定された前記境界線に基づいて、前記所定の画像処理が施された合成画像から前記所定領域に対応する対応領域を抽出する抽出手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【0064】
100 画像処理システム
3 サーバ
301 中央制御部
305 画像処理部
305a 切抜部
305b 画像合成部
305c 画像取得部
305d アート変換処理部
305e 境界線特定部
305f 三値画像生成部
305g 抽出部

【特許請求の範囲】
【請求項1】
画像から所定領域が切り抜かれた切り抜き画像と他の画像とが合成された合成画像を取得する取得手段と、
この取得手段により取得された合成画像に対して所定の画像処理を施す処理手段と、
前記切り抜き画像に係る前記所定領域と背景領域との境界線を特定する特定手段と、
この特定手段により特定された前記境界線に基づいて、前記所定の画像処理が施された合成画像から前記所定領域に対応する対応領域を抽出する抽出手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記抽出手段は、更に、
前記所定の画像処理が施された合成画像の前記境界線を基準とする所定の範囲内でエッジを検出するエッジ検出処理を行い、当該エッジ検出処理の結果に基づいて、当該合成画像から前記対応領域を特定して抽出することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記所定領域を構成する領域、前記背景領域を構成する領域及び前記境界線を基準とする所定の範囲における各画素の画素値を互いに異ならせた三値画像を生成する生成手段を更に備え、
前記抽出手段は、
前記生成手段により生成された前記三値画像に基づいて、前記所定の画像処理が施された合成画像から前記対応領域を特定して抽出することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
画像から所定領域を切り抜いて切り抜き画像を生成する切抜手段を更に備え、
前記特定手段は、
前記切抜手段により生成された前記切り抜き画像内で前記所定領域の位置を示す位置情報を用いて前記境界線を特定することを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
【請求項5】
前記切抜手段により生成された前記切り抜き画像と前記他の画像とを合成して合成画像を生成する合成手段を更に備え、
前記取得手段は、
前記合成手段により生成された前記合成画像を取得することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
画像処理装置を用いた画像処理方法であって、
画像から所定領域が切り抜かれた切り抜き画像と他の画像とが合成された合成画像を取得する工程と、
取得された合成画像に対して所定の画像処理を施す工程と、
前記切り抜き画像に係る前記所定領域と背景領域との境界線を特定する工程と、
特定された前記境界線に基づいて、前記所定の画像処理が施された合成画像から前記所定領域に対応する対応領域を抽出する工程と、
を含むことを特徴とする画像処理方法。
【請求項7】
画像処理装置のコンピュータを、
画像から所定領域が切り抜かれた切り抜き画像と他の画像とが合成された合成画像を取得する取得手段、
この取得手段により取得された合成画像に対して所定の画像処理を施す処理手段、
前記切り抜き画像に係る前記所定領域と背景領域との境界線を特定する特定手段、
この特定手段により特定された前記境界線に基づいて、前記所定の画像処理が施された合成画像から前記所定領域に対応する対応領域を抽出する抽出手段、
として機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図7】
image rotate

【図5】
image rotate

【図6】
image rotate

【図8】
image rotate


【公開番号】特開2013−3990(P2013−3990A)
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願番号】特願2011−136854(P2011−136854)
【出願日】平成23年6月21日(2011.6.21)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】