画像分離装置、画像分離方法および画像分離プログラム
【課題】ユーザの作業負荷および作業時間を軽減しつつ、画像の前景と背景を適切に分離する。
【解決手段】画像を前景と背景に分離するための画像分離装置であって、画像を入力し、記憶手段に記憶するデータ入力手段と、前景および背景の画像濃淡値（または輝度）をＩとした場合、Ｆを前景の画像濃淡値、Ｂは背景の画像濃淡値、αは、αブレンディングに関する小数として、所定の拘束条件下で目的関数を最小化し、未知数α、Ｆ、Ｂを画素単位に取得し、画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であるか、背景の画素であるかを判別し、前景と背景とを分離する分離手段と、前記分離した背景と前景とをそれぞれ表示する表示手段と、を有する。
【解決手段】画像を前景と背景に分離するための画像分離装置であって、画像を入力し、記憶手段に記憶するデータ入力手段と、前景および背景の画像濃淡値（または輝度）をＩとした場合、Ｆを前景の画像濃淡値、Ｂは背景の画像濃淡値、αは、αブレンディングに関する小数として、所定の拘束条件下で目的関数を最小化し、未知数α、Ｆ、Ｂを画素単位に取得し、画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であるか、背景の画素であるかを判別し、前景と背景とを分離する分離手段と、前記分離した背景と前景とをそれぞれ表示する表示手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる前景と背景とを分離する技術に関する。
【背景技術】
【０００２】
１枚の画像の中から、当該画像を構成する前景（興味の対象、物体）と背景とを抽出す
る場合、例えば非特許文献１などの画像編集ツールを用いて手作業で対象となる前景の画
像を分離抽出することが行われている。
【非特許文献１】“Photoshop”、［online］、［平成２０年９月１２日検索］、イ ンターネット＜URL: http://web.kyoto-inet.or.jp/people/hikeda/justnet/smu/ind ex.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記のような画像編集ツールを用いる場合、ユーザは、抽出対象である前景の輪郭を手
作業で指定・設定する。そのため、抽出対象の輪郭が煙や毛のように細かくまたは不明瞭
な場合、前景と背景を適切に分離することは困難であるとともに、ユーザの作業負荷が大
きく、またユーザの熟練した技術や経験が必要となる。
【０００４】
また、動画において、前景と背景とを分離抽出し、分離抽出した前景を別のシーンの背
景と合成して新しい動画を創り出すことも行われている。動画は複数の画像フレームから
構成され、画像フレーム毎に抽出対象の輪郭を手作業で指定するため、動画の場合、数日
以上かけて分離抽出作業が行われている。
【０００５】
本発明は上記事情に鑑みてなされたものであり、本発明の目的は、ユーザの作業負荷お
よび作業時間を軽減しつつ、画像の前景と背景を適切に分離することにある。
【課題を解決するための手段】
【０００６】
本発明は、画像を前景と背景に分離するための画像分離装置であって、
画像を入力し、記憶手段に記憶するデータ入力手段と、
前景および背景の画像濃淡値（または輝度）をＩとした場合、Ｆを前景の画像濃淡値、Ｂは背景の画像濃淡値、αは、αブレンディングに関する小数として、
【０００７】
【数１】
【０００８】
で表現して、１枚の画像を構成する画素単位ごとに生成し、
式（１）から、
【０００９】
【数７】
【００１０】
を生成して、
【００１１】
【数８】
【００１２】
を拘束条件として最小化し、
目的関数
【００１３】
【数９】
式(9)
【００１４】
を生成し、当該目的関数を
【００１５】
【数１０】
式(10)
【００１６】
ｅは未知数α、Ｆ、Ｂであり、それぞれの変数について偏微分して、未知数α、Ｆ、Ｂを画素単位に取得し、画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であるか、背景の画素であるかを判別し、前景と背景とを分離する分離手段と、
前記分離した背景と前景とをそれぞれ表示する表示手段と、を有する。
【００１７】
また、本発明は、画像分離装置が行う、画像を前景と背景に分離するための画像分離方法であって、
画像を入力し、記憶手段に記憶するデータ入力ステップと、
前景および背景の画像濃淡値（または輝度）をＩとした場合、Ｆを前景の画像濃淡値、Ｂは背景の画像濃淡値、αは、αブレンディングに関する小数として、
【００１８】
【数１】
【００１９】
で表現して、１枚の画像を構成する画素単位ごとに生成し、
式（１）から、
【００２０】
【数７】
【００２１】
を生成して、
【００２２】
【数８】
【００２３】
を拘束条件として最小化し、
目的関数
【００２４】
【数９】
式(9)
【００２５】
を生成し、当該目的関数を
【００２６】
【数１０】
式(10)
【００２７】
ｅは未知数α、Ｆ、Ｂであり、それぞれの変数について偏微分して、未知数α、Ｆ、Ｂを画素単位に取得し、画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であるか、背景の画素であるかを判別し、前景と背景とを分離する分離ステップと、
前記分離した背景と前景とをそれぞれ表示する表示ステップと、を行う。
【００２８】
また、本発明は、前記画像分離方法をコンピュータに実行させる時空間画像分離プログ
ラムである。
【発明の効果】
【００２９】
本発明によれば、ユーザの作業負荷および作業時間を軽減しつつ、画像の前景と背景を
適切に分離することができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施形態について説明する。
【００３１】
図１は、本発明の実施形態に係る画像分離装置の概略構成図である。本実施形態の画像
分離装置は、画像濃淡値（輝度）Ｉが、前景Ｆと背景Ｂとがある比率αで合成されたＩ＝
αＦ＋（１−α）Ｂであるとする画像モデルにおいて、Ｆ、Ｂ、αを推定することを目的
とした目的関数を生成し、当該目的関数を解析することにより、画像を前景と背景に分離
抽出する。なお、前景は、興味の対象となるものである。
【００３２】
図示する画像分離装置は、データ入力部１００と、指示受付部１１０と、画像分離部１
２０と、表示部１３０と、データ蓄積部１４０と、指示変位部１５０とを有する。
【００３３】
データ入力部１００は、１枚の画像（静止画像）または時空間画像（動画）を入力し、
記憶手段であるデータ蓄積部１４０に記憶する。指示受付部１１０は、画像の前景の一部
に入力したユーザの指示と、背景の一部に入力したユーザの指示とを受け付ける。画像分
離部１２０は、ユーザが指示した箇所の前景および背景の画像濃淡値を拘束条件として目
的関数を生成し、当該目的関数を最小二乗法を用いて解析することにより、画像を前景と
背景に分離する。表示部１３０は、分離した背景と前景とをそれぞれ表示する。指示変位
部１５０は、動画が入力された場合、前後する画像フレーム間の前景および背景の動きを
検出し、第１の画像フレームに対して入力されたユーザの指示を、検出した動きに応じて
変位させて第２の画像フレーム以降に反映させる。
【００３４】
上記説明した画像分離装置は、例えば、ＣＰＵと、メモリと、外部記憶装置と、入力装
置と、出力装置と、これらの各装置を接続するバスと、を備えた汎用的なコンピュータシ
ステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上に
ロードされた画像分離装置用のプログラムを実行することにより、画像分離装置の各機能
が実現される。なお、画像分離装置のデータ蓄積部１４０には、メモリまたは外部記憶装
置が用いられる。なお、画像分離装置は、必要に応じて、他の装置と接続するための通信
制御装置を備えることとしてもよい。
【００３５】
また、画像分離装置用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ
−ＲＯＭ、ＭＯなどのコンピュータ読み取り可能な記録媒体に記憶すること、または、ネ
ットワークを介して配信することも可能である。
【００３６】
次に、画像を前景と背景に分離する方法について説明する。
【００３７】
図２は、画像の分離処理のフローチャートである。まず、データ入力部１００は、カメ
ラまたなネットワークを介して１枚の画像（静止画像）または時空間画像を入力し、デー
タ蓄積部１４０に格納する（Ｓ１１）。時空間画像は、時系列に連続する複数の画像フレ
ーム（映像フレーム）から構成される動画データである。
【００３８】
そして、指示受付部１１０は、データ蓄積部１４０に格納された画像を読み出し、出力
装置に表示する。データ蓄積部１４０に格納された画像が時空間画像の場合は、指示受付
部１１０は、１枚目（先頭）の画像フレームを出力装置に表示する。
【００３９】
ユーザは、出力装置に表示された画像に、マウスやキーボードなどの入力装置を用いて
、インタラクティブに前景と背景の領域を指定（定義）する。そして、指示受付部１１０
は、ユーザの指示を受け付ける（Ｓ１２）。なお、指示受付部１１０には、一般的な画像
編集ルーツを用いることが考えられる。
【００４０】
図３は、画像に入力されたユーザの指示の一例と、前景と背景に分離抽出された結果を
示す図である。
【００４１】
ユーザは、マウスなどを用いて、表示された画像２００の前景の領域２０１の一部に任
意の線（曲線または直線）２０２を入力するとともに、背景の領域の一部に任意の線２０
３を入力する。そして、後述する処理により、画像２００は、背景のみの画像２１０と、
前景のみの画像２２０に分離される。
【００４２】
そして、画像分離部１２０は、後述する処理により、データ蓄積部１４０に格納された
画像を、前景と背景に分離する（Ｓ１３）。すなわち、画像分離部１２０は、画像を構成
する各画素について、前景の画素であるか背景の画素であるかを判別する。表示部１３０
は、分離された前景（前景と判別された画素）と、背景（背景と判別された画素）を、そ
れぞれ表示装置に表示する（Ｓ１４）。また、表示部１３０は、分離した前景と背景を、
分離する前の元の画像と対応付けてデータ蓄積部１４０に記憶する。
【００４３】
そして、指示変位部１５０は、Ｓ１１で入力され記憶された画像に、次の画像フレーム
があるか否かを（すなわち、動画であるか否か）を判別する（Ｓ１５）。指示変位部１５
０は、入力した画像のファイル番号・フレーム番号や、画像の属性などから、静止画であ
るのか、時系列に連続する動画であるのかを判別する。入力された画像が１枚の静止画で
ある場合（Ｓ１５：ＮＯ）は、処理を終了する。
【００４４】
一方、入力された画像が動画であって、次の画像フレームが存在する場合（Ｓ１５：Ｙ
ＥＳ）、指示変位部１５０は、Ｓ１２で入力されたユーザの指示（図３参照）を、２枚目
の画像フレームに反映（コピー）する（Ｓ１６）。
【００４５】
ここで、前景および背景が、時空間的に変化している場合がある。そのため、指示変位
部１５０は、分離処理済みの画像フレーム（ここでは１枚目の画像フレーム）と、次の時
刻の画像フレーム（ここでは２枚目の画像フレーム）の２枚の画像フレームを用いて、動
き推定法により画像の動きを取得する。動き推定法には、オプティカルフロー、相互相関
法などを用いることができる。指示変位部１５０は、取得した画像の動きに基づいて、ユ
ーザが前景および背景として定義した線の位置および形状を時空間的に変位（移動、変形
）させて、２枚目の画像フレームに設定する。
【００４６】
そして、Ｓ１３に戻り、２枚目の画像フレームを前景と背景に分離し、分離した前景と
背景をそれぞれ表示し、データ蓄積部１４０に記憶する（Ｓ１４）。そして、次の画像フ
レームが存在するか否かを判別し、全ての画像フレームについて、以降の処理を繰り返し
行う。
【００４７】
図４は、動画を前景と背景に分離する処理を模式的に示した図である。
【００４８】
図４には、前景と背景を指定したユーザの指示４０１、４０２が入力された１枚目の画
像フレーム４００が示されている。また、図５には、複数の画像フレームから構成される
動画４１０と、画像フレーム毎に分離された前景４２０と背景４３０とが示されている。
ここで、分離された前景４２０からわかるように、前景は、時間とともに変形および移動
している。
【００４９】
ここで、指示変位部１５０は、１枚目の画像フレーム４１１と、２枚目の画像フレーム
４１２との間で、オプティカルフローや相互相関法などの動き推定法により、前景の変位
を検出する。そして、指示変位部１５０は、検出した変位に基づいて、１枚目の画像フレ
ーム４００に入力されたユーザの指示４０１、４０２を、４１３に示すように変形および
移動させて、２枚目の画像フレームに設定（反映）する。３枚目の画像フレームについて
は、２枚目の画像フレームと３枚目の画像フレームとの間の動きを検出し、当該動きに基
づいて２枚目の画像フレームに設定されたユーザ指示を変位させて設定する。これにより
、ユーザは、１枚目の画像フレームに、前景と背景の指示を入力するだけで、全ての画像
フレームにユーザの指示が自動的に反映される。
【００５０】
次に、Ｓ１３の画像分離部１２０の処理、すなわち１枚の画像から、前景と背景を分離
抽出する方法について説明する。なお、この方法は、マッティング(matting)法とも呼ば
れている。
【００５１】
まず、１枚の画像モデルとして、前景と背景の２つの対象がそれぞれある比率で合成さ
れたものとする。これは数式表現として、画素の濃淡値（または輝度）をＩとした場合、
以下の式（１）で表現することができる。
【００５２】
【数１】
【００５３】
Ｆは前景の画像濃淡値で、Ｂは背景の画像濃淡値である。αは、αブレンディングに関
する小数であり、0.0から1.0の範囲にある。式（１）は、１枚の画像を構成する画素単位
ごとに生成される。
【００５４】
本実施形態では、１枚の画像を与えたときに、画素毎にＦ、Ｂ、小数αを推定し、前景
と背景とを分離とすることを目的とする。この推定には、以下に示す４つの方法がある。
第１のおよび第２の方法は、Ｓ１２でユーザが指定した前景および背景の情報を用い、一
方、第３および第４の方法は、Ｓ１２でユーザが指定した前景および背景の情報を用いな
い。第３および第４方法を用いる場合は、Ｓ１２、Ｓ１６の処理を省略することができる
。分離する画像に応じて、どの方法を用いるかをあらかじめ決めておくものとする。
［第１の方法］
まず、αを画素の画像濃淡値Ｉの一次線形関数で近似できるものと仮定した画像モデル
を考える。この画像モデルの場合、αは以下の式（２）のように表現できる。また、前景
と背景は、テクスチャが少ない比較的滑らかな画像（空間微分が小さい）であると仮定す
る。
【００５５】
【数２】
【００５６】
ｗは、画像の中の小さい領域（窓領域）であって、近傍の画素の集合である。窓の大き
さは「３画素×３画素」〜「５画素×５画素」である。ｉは、窓領域の中における画素の
位置を示す。
【００５７】
式（２）の未知数α、ａ、ｂを推定するために、以下に示す式（３）の目的関数の最小
化問題に帰着させることができる。
【００５８】
【数３】
【００５９】
εは、調整係数であり、前景と背景の画像の滑らかさに応じて、所定の値が設定される
。また、εａｊ２の項は、正則化項であり、数値的な不安定性問題を緩和する役割がある
。ｊは、ｊ番目の窓領域を示す。
【００６０】
しかし、このままでは、ａｊおよびｂｊの目的関数を一意に決定するためには、条件が
不足（under-constraint）しているため、事前知識が必要である。（３）は、α、ａ、ｂ
についての２次関数であり、Ｎ個の画素については、未知数は３Ｎ個である。
【００６１】
そのため、拘束条件として、ユーザがマウス操作により任意の曲線として入力した窓領
域ｊについては、前景として指定した位置の画素の画像濃淡値をＦに、また、背景として
指定した位置の画素の画像濃淡値をＢに設定（反映）をする。
【００６２】
そして、式（３）を、最小２乗法を用いて解析することにより、画素単位にα、ａ、ｂ
を取得する。そして、取得したα、ａ、ｂを式（２）のただしの部分に代入し、式（２）
のただしの部分の連立方程式を解くことにより画素単位にＦ、Ｂを取得する。
【００６３】
そして、画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素
であるか、背景の画素であるかを判別する。例えば、Ｆの画像濃淡値およびＢの画像濃淡
値の少なくとも１つが所定の閾値（例えば１０）より小さい画素については背景の画素と
判別し、それ以外の画素については前景の画素であると判別する。
【００６４】
そして、前景と判別した各画素を抽出することにより、図３に示すような前景画像２２
０を背景から分離して抽出することができる。また。背景と判別した各画像のみを抽出す
ることにより、図３に示すような前景部分がマスク（黒く表示）された背景画像２１０の
みを分離抽出することができる。また、前景と背景を分離抽出できるだけでなく、前景と
背景とが重なり合っている領域でのαを推定することができる。
［第２の方法］
前景と背景が滑らかな画像の場合には、前述の第１の方法の式（３）により前景と背景
とを適切に分離抽出することができる。しかしながら、対象（前景）がテクスチャに富ん
でいる場合、輝度の変化が大きく、式（３）の最小二乗法では推定誤差を引き起こす場合
がある。
【００６５】
そのため、第２の方法では、式（３）の代わりに以下の式（４）を適用する。式（４）
は、ロバスト統計学で用いられているロバスト関数ρを用いた非線形最小二乗法の式であ
る。
【００６６】
【数４】
【００６７】
ロバスト関数は、以下の式（５）で表現することができ、λは、調整パラメータであっ
て、0.001から0.1の範囲である。
【００６８】
【数５】
【００６９】
式（４）の最小化のための必要条件は以下の式（６）であり、式（４）を共役勾配法な
ど非線形最小二乗法を用いて解析することにより、画素単位にα、ａ、ｂを取得すること
ができる。
【００７０】
【数６】
【００７１】
そして、取得したα、ａ、ｂを式（２）のただしの部分に代入し、式（２）のただしの
部分の連立方程式を解くことにより画素単位にＦ、Ｂを取得する。これにより、第１の方
法と同様に画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素
であるか、背景の画素であるかを判別し、前景と背景とを分離する。
【００７２】
図５は、テクスチャに富んだ前景を有する画像３００を、第１の方法と第２の方法で分
離した結果を示す。図５（ａ）は第１の方法による分離結果で、図５（ｂ）は第２の方法
による分離結果である。
【００７３】
図５（ａ）の第１の方法では、推定誤差が引き起こされ、前景として分離抽出された画
像３１０には、背景の一部が含まれている。すなわち、前景と背景とが適切に分離されて
いない。これに対し、図５（ｂ）に示す第２の方法では、ロバスト関数を用いることによ
り、前景３３０と背景３４０とが適切に分離されている。すなわち、ロバスト関数を用い
た第２の方法では、テクスチャに富んだ１枚の画像３３０から、前景３３０と背景３４０
を適切に分離抽出することができる。
［第３の方法］
第３の方法は、Ｓ１２でユーザが指定した前景および背景の情報を用いることなく、前
述の式（１）のみを用いて画像を分離する。
【００７４】
まず、式（１）から派生して以下の式（７）および式（８）を生成する。
【００７５】
【数７】
【００７６】
【数８】
【００７７】
すなわち、最小化問題の観点から、式（１）から式（７）を容易に導出することができ
る。これにより、関数Ｖ１の最小化問題となる。しかし、このままでは条件不足（under-
constraint）問題となっているため、拘束条件が必要となる。そこで、ある画素点ｐに着
目したとき、滑らかさ条件を課すことが考えられる。そこで、ｑをｐの４点連結近傍点と
して式（８）を生成し、式（８）を最小化する。
【００７８】
そして、式（７）および（８）をまとめて、以下の式（９）の目的関数を得ることがで
きる。
【００７９】
【数９】
式(9)
【００８０】
ここで、ｅとｆは係数である。式（４）の最小化のための必要条件は、以下の式（１０
）である。
【００８１】
【数１０】
式(10)
【００８２】
ここで、ｅは未知数α、Ｆ、Ｂであり、それぞれの変数について偏微分される。これに
より、未知数α、Ｆ、Ｂを画素単位に取得することができる。これにより、第１の方法と
同様に画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であ
るか、背景の画素であるかを判別し、前景と背景とを分離する。
［第４の方法］
第４の方法では、第３の方法にロバスト関数を適用する。すなわち、第３の方法の式（
７）および式（８）の代わりに、以下の式（１１）を適用する。式（１１）は、ロバスト
統計学で用いられているロバスト関数ρを用いた非線形最小二乗法の式である。
【００８３】
【数１１】
【００８４】
式（１１）から以下の式（１２）の目的関数を得ることができる。
【００８５】
【数１２】
【００８６】
ここで、ｃおよびｄは係数である。この式（１２）を非線形最小二乗法の枠組みで解く
ことにより、未知数α、Ｆ、Ｂを画素単位に取得することができる。これにより、第１の
方法と同様に画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画
素であるか、背景の画素であるかを判別し、前景と背景とを分離する。
【００８７】
以上説明した本実施形態では、ユーザが指示した箇所の前景および背景の画像濃淡値を
拘束条件として目的関数を生成し、当該目的関数を最小二乗法を用いて解析することによ
り、ユーザの作業負荷および作業時間を軽減しつつ、画像の前景と背景を適切に分離する
ことができる。また、本実施形態では、画像の画像濃淡値Ｉが、前景Ｆと背景Ｂとがある
比率αで合成されたものであるとする画像モデルにおいて、Ｆ、Ｂ、αを推定することを
目的とした目的関数を生成し、当該目的関数を解析することにより、前景（対象）の輪郭
が細かい毛や細い線で構成されている場合であっても、画像を前景と背景に分離すること
ができる。
【００８８】
また、本実施形態では、目的関数の拘束条件として近傍の画素における推定値の類似性
が高いという目的関数（式（４））を生成し、最小値問題として解析することにより、画
像の前景と背景を適切に分離することができる。
【００８９】
また、本実施形態では、ロバスト関数を用いることにより、テクスチャに富んだ画像か
ら、前景と背景を適切に分離抽出することができる。
【００９０】
また、本実施形態では、複数の画像フレームから構成される動画の場合であっても、画
像フレーム毎に前景と背景とを分離することができる。これにより、ユーザが手作業で分
離する場合と比べ、作業負荷および分離作業に要する時間が大幅に軽減される。
【００９１】
本実施形態では、画像フレーム間での前景および背景の動きを検出し、当該動きに対応
して、ユーザが１枚目の画像フレームに入力したユーザの指示を変位（移動・変形）させ
て、２枚目以降の画像フレームに逐次適用（反映）する。これにより、ユーザは一度指示
するだけで、自動的に全ての画像フレームが前景と背景に分離される。また、前景や背景
が変形移動する場合であっても、適切に前景と背景を分離することができる。
【００９２】
なお、前景（対象）の運動がバネのように振動運動している既知の物理現象の場合は、
動き推定された結果を弾性方式により補正することで、より精度の高い動き推定を行い、
この動き推定により、前景が振幅運動している場合であっても適正に前景と背景を分離す
ることができる。
【００９３】
本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が
可能である。
【図面の簡単な説明】
【００９４】
【図１】本発明の実施形態に係る画像分離装置のブロック図である。
【図２】画像を前景と背景に分離する方法のフローチャートである。
【図３】画像に入力されたユーザの指示と、前景と背景に分離抽出された結果を示す 具体例である。
【図４】動画を前景と背景に画像を分離する処理を説明するために説明図である。
【図５】テクスチャに富んだ前景を有する画像を、第１の方法と第２の方法で分離し た結果を示す図である。
【符号の説明】
【００９５】
１００ データ入力部
１１０ 指示受付部
１２０ 画像分離部
１３０ 表示部
１４０ データ蓄積部
１５０ 指示変位部
【技術分野】
【０００１】
本発明は、画像に含まれる前景と背景とを分離する技術に関する。
【背景技術】
【０００２】
１枚の画像の中から、当該画像を構成する前景（興味の対象、物体）と背景とを抽出す
る場合、例えば非特許文献１などの画像編集ツールを用いて手作業で対象となる前景の画
像を分離抽出することが行われている。
【非特許文献１】“Photoshop”、［online］、［平成２０年９月１２日検索］、イ ンターネット＜URL: http://web.kyoto-inet.or.jp/people/hikeda/justnet/smu/ind ex.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記のような画像編集ツールを用いる場合、ユーザは、抽出対象である前景の輪郭を手
作業で指定・設定する。そのため、抽出対象の輪郭が煙や毛のように細かくまたは不明瞭
な場合、前景と背景を適切に分離することは困難であるとともに、ユーザの作業負荷が大
きく、またユーザの熟練した技術や経験が必要となる。
【０００４】
また、動画において、前景と背景とを分離抽出し、分離抽出した前景を別のシーンの背
景と合成して新しい動画を創り出すことも行われている。動画は複数の画像フレームから
構成され、画像フレーム毎に抽出対象の輪郭を手作業で指定するため、動画の場合、数日
以上かけて分離抽出作業が行われている。
【０００５】
本発明は上記事情に鑑みてなされたものであり、本発明の目的は、ユーザの作業負荷お
よび作業時間を軽減しつつ、画像の前景と背景を適切に分離することにある。
【課題を解決するための手段】
【０００６】
本発明は、画像を前景と背景に分離するための画像分離装置であって、
画像を入力し、記憶手段に記憶するデータ入力手段と、
前景および背景の画像濃淡値（または輝度）をＩとした場合、Ｆを前景の画像濃淡値、Ｂは背景の画像濃淡値、αは、αブレンディングに関する小数として、
【０００７】
【数１】
【０００８】
で表現して、１枚の画像を構成する画素単位ごとに生成し、
式（１）から、
【０００９】
【数７】
【００１０】
を生成して、
【００１１】
【数８】
【００１２】
を拘束条件として最小化し、
目的関数
【００１３】
【数９】
式(9)
【００１４】
を生成し、当該目的関数を
【００１５】
【数１０】
式(10)
【００１６】
ｅは未知数α、Ｆ、Ｂであり、それぞれの変数について偏微分して、未知数α、Ｆ、Ｂを画素単位に取得し、画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であるか、背景の画素であるかを判別し、前景と背景とを分離する分離手段と、
前記分離した背景と前景とをそれぞれ表示する表示手段と、を有する。
【００１７】
また、本発明は、画像分離装置が行う、画像を前景と背景に分離するための画像分離方法であって、
画像を入力し、記憶手段に記憶するデータ入力ステップと、
前景および背景の画像濃淡値（または輝度）をＩとした場合、Ｆを前景の画像濃淡値、Ｂは背景の画像濃淡値、αは、αブレンディングに関する小数として、
【００１８】
【数１】
【００１９】
で表現して、１枚の画像を構成する画素単位ごとに生成し、
式（１）から、
【００２０】
【数７】
【００２１】
を生成して、
【００２２】
【数８】
【００２３】
を拘束条件として最小化し、
目的関数
【００２４】
【数９】
式(9)
【００２５】
を生成し、当該目的関数を
【００２６】
【数１０】
式(10)
【００２７】
ｅは未知数α、Ｆ、Ｂであり、それぞれの変数について偏微分して、未知数α、Ｆ、Ｂを画素単位に取得し、画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であるか、背景の画素であるかを判別し、前景と背景とを分離する分離ステップと、
前記分離した背景と前景とをそれぞれ表示する表示ステップと、を行う。
【００２８】
また、本発明は、前記画像分離方法をコンピュータに実行させる時空間画像分離プログ
ラムである。
【発明の効果】
【００２９】
本発明によれば、ユーザの作業負荷および作業時間を軽減しつつ、画像の前景と背景を
適切に分離することができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施形態について説明する。
【００３１】
図１は、本発明の実施形態に係る画像分離装置の概略構成図である。本実施形態の画像
分離装置は、画像濃淡値（輝度）Ｉが、前景Ｆと背景Ｂとがある比率αで合成されたＩ＝
αＦ＋（１−α）Ｂであるとする画像モデルにおいて、Ｆ、Ｂ、αを推定することを目的
とした目的関数を生成し、当該目的関数を解析することにより、画像を前景と背景に分離
抽出する。なお、前景は、興味の対象となるものである。
【００３２】
図示する画像分離装置は、データ入力部１００と、指示受付部１１０と、画像分離部１
２０と、表示部１３０と、データ蓄積部１４０と、指示変位部１５０とを有する。
【００３３】
データ入力部１００は、１枚の画像（静止画像）または時空間画像（動画）を入力し、
記憶手段であるデータ蓄積部１４０に記憶する。指示受付部１１０は、画像の前景の一部
に入力したユーザの指示と、背景の一部に入力したユーザの指示とを受け付ける。画像分
離部１２０は、ユーザが指示した箇所の前景および背景の画像濃淡値を拘束条件として目
的関数を生成し、当該目的関数を最小二乗法を用いて解析することにより、画像を前景と
背景に分離する。表示部１３０は、分離した背景と前景とをそれぞれ表示する。指示変位
部１５０は、動画が入力された場合、前後する画像フレーム間の前景および背景の動きを
検出し、第１の画像フレームに対して入力されたユーザの指示を、検出した動きに応じて
変位させて第２の画像フレーム以降に反映させる。
【００３４】
上記説明した画像分離装置は、例えば、ＣＰＵと、メモリと、外部記憶装置と、入力装
置と、出力装置と、これらの各装置を接続するバスと、を備えた汎用的なコンピュータシ
ステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上に
ロードされた画像分離装置用のプログラムを実行することにより、画像分離装置の各機能
が実現される。なお、画像分離装置のデータ蓄積部１４０には、メモリまたは外部記憶装
置が用いられる。なお、画像分離装置は、必要に応じて、他の装置と接続するための通信
制御装置を備えることとしてもよい。
【００３５】
また、画像分離装置用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ
−ＲＯＭ、ＭＯなどのコンピュータ読み取り可能な記録媒体に記憶すること、または、ネ
ットワークを介して配信することも可能である。
【００３６】
次に、画像を前景と背景に分離する方法について説明する。
【００３７】
図２は、画像の分離処理のフローチャートである。まず、データ入力部１００は、カメ
ラまたなネットワークを介して１枚の画像（静止画像）または時空間画像を入力し、デー
タ蓄積部１４０に格納する（Ｓ１１）。時空間画像は、時系列に連続する複数の画像フレ
ーム（映像フレーム）から構成される動画データである。
【００３８】
そして、指示受付部１１０は、データ蓄積部１４０に格納された画像を読み出し、出力
装置に表示する。データ蓄積部１４０に格納された画像が時空間画像の場合は、指示受付
部１１０は、１枚目（先頭）の画像フレームを出力装置に表示する。
【００３９】
ユーザは、出力装置に表示された画像に、マウスやキーボードなどの入力装置を用いて
、インタラクティブに前景と背景の領域を指定（定義）する。そして、指示受付部１１０
は、ユーザの指示を受け付ける（Ｓ１２）。なお、指示受付部１１０には、一般的な画像
編集ルーツを用いることが考えられる。
【００４０】
図３は、画像に入力されたユーザの指示の一例と、前景と背景に分離抽出された結果を
示す図である。
【００４１】
ユーザは、マウスなどを用いて、表示された画像２００の前景の領域２０１の一部に任
意の線（曲線または直線）２０２を入力するとともに、背景の領域の一部に任意の線２０
３を入力する。そして、後述する処理により、画像２００は、背景のみの画像２１０と、
前景のみの画像２２０に分離される。
【００４２】
そして、画像分離部１２０は、後述する処理により、データ蓄積部１４０に格納された
画像を、前景と背景に分離する（Ｓ１３）。すなわち、画像分離部１２０は、画像を構成
する各画素について、前景の画素であるか背景の画素であるかを判別する。表示部１３０
は、分離された前景（前景と判別された画素）と、背景（背景と判別された画素）を、そ
れぞれ表示装置に表示する（Ｓ１４）。また、表示部１３０は、分離した前景と背景を、
分離する前の元の画像と対応付けてデータ蓄積部１４０に記憶する。
【００４３】
そして、指示変位部１５０は、Ｓ１１で入力され記憶された画像に、次の画像フレーム
があるか否かを（すなわち、動画であるか否か）を判別する（Ｓ１５）。指示変位部１５
０は、入力した画像のファイル番号・フレーム番号や、画像の属性などから、静止画であ
るのか、時系列に連続する動画であるのかを判別する。入力された画像が１枚の静止画で
ある場合（Ｓ１５：ＮＯ）は、処理を終了する。
【００４４】
一方、入力された画像が動画であって、次の画像フレームが存在する場合（Ｓ１５：Ｙ
ＥＳ）、指示変位部１５０は、Ｓ１２で入力されたユーザの指示（図３参照）を、２枚目
の画像フレームに反映（コピー）する（Ｓ１６）。
【００４５】
ここで、前景および背景が、時空間的に変化している場合がある。そのため、指示変位
部１５０は、分離処理済みの画像フレーム（ここでは１枚目の画像フレーム）と、次の時
刻の画像フレーム（ここでは２枚目の画像フレーム）の２枚の画像フレームを用いて、動
き推定法により画像の動きを取得する。動き推定法には、オプティカルフロー、相互相関
法などを用いることができる。指示変位部１５０は、取得した画像の動きに基づいて、ユ
ーザが前景および背景として定義した線の位置および形状を時空間的に変位（移動、変形
）させて、２枚目の画像フレームに設定する。
【００４６】
そして、Ｓ１３に戻り、２枚目の画像フレームを前景と背景に分離し、分離した前景と
背景をそれぞれ表示し、データ蓄積部１４０に記憶する（Ｓ１４）。そして、次の画像フ
レームが存在するか否かを判別し、全ての画像フレームについて、以降の処理を繰り返し
行う。
【００４７】
図４は、動画を前景と背景に分離する処理を模式的に示した図である。
【００４８】
図４には、前景と背景を指定したユーザの指示４０１、４０２が入力された１枚目の画
像フレーム４００が示されている。また、図５には、複数の画像フレームから構成される
動画４１０と、画像フレーム毎に分離された前景４２０と背景４３０とが示されている。
ここで、分離された前景４２０からわかるように、前景は、時間とともに変形および移動
している。
【００４９】
ここで、指示変位部１５０は、１枚目の画像フレーム４１１と、２枚目の画像フレーム
４１２との間で、オプティカルフローや相互相関法などの動き推定法により、前景の変位
を検出する。そして、指示変位部１５０は、検出した変位に基づいて、１枚目の画像フレ
ーム４００に入力されたユーザの指示４０１、４０２を、４１３に示すように変形および
移動させて、２枚目の画像フレームに設定（反映）する。３枚目の画像フレームについて
は、２枚目の画像フレームと３枚目の画像フレームとの間の動きを検出し、当該動きに基
づいて２枚目の画像フレームに設定されたユーザ指示を変位させて設定する。これにより
、ユーザは、１枚目の画像フレームに、前景と背景の指示を入力するだけで、全ての画像
フレームにユーザの指示が自動的に反映される。
【００５０】
次に、Ｓ１３の画像分離部１２０の処理、すなわち１枚の画像から、前景と背景を分離
抽出する方法について説明する。なお、この方法は、マッティング(matting)法とも呼ば
れている。
【００５１】
まず、１枚の画像モデルとして、前景と背景の２つの対象がそれぞれある比率で合成さ
れたものとする。これは数式表現として、画素の濃淡値（または輝度）をＩとした場合、
以下の式（１）で表現することができる。
【００５２】
【数１】
【００５３】
Ｆは前景の画像濃淡値で、Ｂは背景の画像濃淡値である。αは、αブレンディングに関
する小数であり、0.0から1.0の範囲にある。式（１）は、１枚の画像を構成する画素単位
ごとに生成される。
【００５４】
本実施形態では、１枚の画像を与えたときに、画素毎にＦ、Ｂ、小数αを推定し、前景
と背景とを分離とすることを目的とする。この推定には、以下に示す４つの方法がある。
第１のおよび第２の方法は、Ｓ１２でユーザが指定した前景および背景の情報を用い、一
方、第３および第４の方法は、Ｓ１２でユーザが指定した前景および背景の情報を用いな
い。第３および第４方法を用いる場合は、Ｓ１２、Ｓ１６の処理を省略することができる
。分離する画像に応じて、どの方法を用いるかをあらかじめ決めておくものとする。
［第１の方法］
まず、αを画素の画像濃淡値Ｉの一次線形関数で近似できるものと仮定した画像モデル
を考える。この画像モデルの場合、αは以下の式（２）のように表現できる。また、前景
と背景は、テクスチャが少ない比較的滑らかな画像（空間微分が小さい）であると仮定す
る。
【００５５】
【数２】
【００５６】
ｗは、画像の中の小さい領域（窓領域）であって、近傍の画素の集合である。窓の大き
さは「３画素×３画素」〜「５画素×５画素」である。ｉは、窓領域の中における画素の
位置を示す。
【００５７】
式（２）の未知数α、ａ、ｂを推定するために、以下に示す式（３）の目的関数の最小
化問題に帰着させることができる。
【００５８】
【数３】
【００５９】
εは、調整係数であり、前景と背景の画像の滑らかさに応じて、所定の値が設定される
。また、εａｊ２の項は、正則化項であり、数値的な不安定性問題を緩和する役割がある
。ｊは、ｊ番目の窓領域を示す。
【００６０】
しかし、このままでは、ａｊおよびｂｊの目的関数を一意に決定するためには、条件が
不足（under-constraint）しているため、事前知識が必要である。（３）は、α、ａ、ｂ
についての２次関数であり、Ｎ個の画素については、未知数は３Ｎ個である。
【００６１】
そのため、拘束条件として、ユーザがマウス操作により任意の曲線として入力した窓領
域ｊについては、前景として指定した位置の画素の画像濃淡値をＦに、また、背景として
指定した位置の画素の画像濃淡値をＢに設定（反映）をする。
【００６２】
そして、式（３）を、最小２乗法を用いて解析することにより、画素単位にα、ａ、ｂ
を取得する。そして、取得したα、ａ、ｂを式（２）のただしの部分に代入し、式（２）
のただしの部分の連立方程式を解くことにより画素単位にＦ、Ｂを取得する。
【００６３】
そして、画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素
であるか、背景の画素であるかを判別する。例えば、Ｆの画像濃淡値およびＢの画像濃淡
値の少なくとも１つが所定の閾値（例えば１０）より小さい画素については背景の画素と
判別し、それ以外の画素については前景の画素であると判別する。
【００６４】
そして、前景と判別した各画素を抽出することにより、図３に示すような前景画像２２
０を背景から分離して抽出することができる。また。背景と判別した各画像のみを抽出す
ることにより、図３に示すような前景部分がマスク（黒く表示）された背景画像２１０の
みを分離抽出することができる。また、前景と背景を分離抽出できるだけでなく、前景と
背景とが重なり合っている領域でのαを推定することができる。
［第２の方法］
前景と背景が滑らかな画像の場合には、前述の第１の方法の式（３）により前景と背景
とを適切に分離抽出することができる。しかしながら、対象（前景）がテクスチャに富ん
でいる場合、輝度の変化が大きく、式（３）の最小二乗法では推定誤差を引き起こす場合
がある。
【００６５】
そのため、第２の方法では、式（３）の代わりに以下の式（４）を適用する。式（４）
は、ロバスト統計学で用いられているロバスト関数ρを用いた非線形最小二乗法の式であ
る。
【００６６】
【数４】
【００６７】
ロバスト関数は、以下の式（５）で表現することができ、λは、調整パラメータであっ
て、0.001から0.1の範囲である。
【００６８】
【数５】
【００６９】
式（４）の最小化のための必要条件は以下の式（６）であり、式（４）を共役勾配法な
ど非線形最小二乗法を用いて解析することにより、画素単位にα、ａ、ｂを取得すること
ができる。
【００７０】
【数６】
【００７１】
そして、取得したα、ａ、ｂを式（２）のただしの部分に代入し、式（２）のただしの
部分の連立方程式を解くことにより画素単位にＦ、Ｂを取得する。これにより、第１の方
法と同様に画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素
であるか、背景の画素であるかを判別し、前景と背景とを分離する。
【００７２】
図５は、テクスチャに富んだ前景を有する画像３００を、第１の方法と第２の方法で分
離した結果を示す。図５（ａ）は第１の方法による分離結果で、図５（ｂ）は第２の方法
による分離結果である。
【００７３】
図５（ａ）の第１の方法では、推定誤差が引き起こされ、前景として分離抽出された画
像３１０には、背景の一部が含まれている。すなわち、前景と背景とが適切に分離されて
いない。これに対し、図５（ｂ）に示す第２の方法では、ロバスト関数を用いることによ
り、前景３３０と背景３４０とが適切に分離されている。すなわち、ロバスト関数を用い
た第２の方法では、テクスチャに富んだ１枚の画像３３０から、前景３３０と背景３４０
を適切に分離抽出することができる。
［第３の方法］
第３の方法は、Ｓ１２でユーザが指定した前景および背景の情報を用いることなく、前
述の式（１）のみを用いて画像を分離する。
【００７４】
まず、式（１）から派生して以下の式（７）および式（８）を生成する。
【００７５】
【数７】
【００７６】
【数８】
【００７７】
すなわち、最小化問題の観点から、式（１）から式（７）を容易に導出することができ
る。これにより、関数Ｖ１の最小化問題となる。しかし、このままでは条件不足（under-
constraint）問題となっているため、拘束条件が必要となる。そこで、ある画素点ｐに着
目したとき、滑らかさ条件を課すことが考えられる。そこで、ｑをｐの４点連結近傍点と
して式（８）を生成し、式（８）を最小化する。
【００７８】
そして、式（７）および（８）をまとめて、以下の式（９）の目的関数を得ることがで
きる。
【００７９】
【数９】
式(9)
【００８０】
ここで、ｅとｆは係数である。式（４）の最小化のための必要条件は、以下の式（１０
）である。
【００８１】
【数１０】
式(10)
【００８２】
ここで、ｅは未知数α、Ｆ、Ｂであり、それぞれの変数について偏微分される。これに
より、未知数α、Ｆ、Ｂを画素単位に取得することができる。これにより、第１の方法と
同様に画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であ
るか、背景の画素であるかを判別し、前景と背景とを分離する。
［第４の方法］
第４の方法では、第３の方法にロバスト関数を適用する。すなわち、第３の方法の式（
７）および式（８）の代わりに、以下の式（１１）を適用する。式（１１）は、ロバスト
統計学で用いられているロバスト関数ρを用いた非線形最小二乗法の式である。
【００８３】
【数１１】
【００８４】
式（１１）から以下の式（１２）の目的関数を得ることができる。
【００８５】
【数１２】
【００８６】
ここで、ｃおよびｄは係数である。この式（１２）を非線形最小二乗法の枠組みで解く
ことにより、未知数α、Ｆ、Ｂを画素単位に取得することができる。これにより、第１の
方法と同様に画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画
素であるか、背景の画素であるかを判別し、前景と背景とを分離する。
【００８７】
以上説明した本実施形態では、ユーザが指示した箇所の前景および背景の画像濃淡値を
拘束条件として目的関数を生成し、当該目的関数を最小二乗法を用いて解析することによ
り、ユーザの作業負荷および作業時間を軽減しつつ、画像の前景と背景を適切に分離する
ことができる。また、本実施形態では、画像の画像濃淡値Ｉが、前景Ｆと背景Ｂとがある
比率αで合成されたものであるとする画像モデルにおいて、Ｆ、Ｂ、αを推定することを
目的とした目的関数を生成し、当該目的関数を解析することにより、前景（対象）の輪郭
が細かい毛や細い線で構成されている場合であっても、画像を前景と背景に分離すること
ができる。
【００８８】
また、本実施形態では、目的関数の拘束条件として近傍の画素における推定値の類似性
が高いという目的関数（式（４））を生成し、最小値問題として解析することにより、画
像の前景と背景を適切に分離することができる。
【００８９】
また、本実施形態では、ロバスト関数を用いることにより、テクスチャに富んだ画像か
ら、前景と背景を適切に分離抽出することができる。
【００９０】
また、本実施形態では、複数の画像フレームから構成される動画の場合であっても、画
像フレーム毎に前景と背景とを分離することができる。これにより、ユーザが手作業で分
離する場合と比べ、作業負荷および分離作業に要する時間が大幅に軽減される。
【００９１】
本実施形態では、画像フレーム間での前景および背景の動きを検出し、当該動きに対応
して、ユーザが１枚目の画像フレームに入力したユーザの指示を変位（移動・変形）させ
て、２枚目以降の画像フレームに逐次適用（反映）する。これにより、ユーザは一度指示
するだけで、自動的に全ての画像フレームが前景と背景に分離される。また、前景や背景
が変形移動する場合であっても、適切に前景と背景を分離することができる。
【００９２】
なお、前景（対象）の運動がバネのように振動運動している既知の物理現象の場合は、
動き推定された結果を弾性方式により補正することで、より精度の高い動き推定を行い、
この動き推定により、前景が振幅運動している場合であっても適正に前景と背景を分離す
ることができる。
【００９３】
本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が
可能である。
【図面の簡単な説明】
【００９４】
【図１】本発明の実施形態に係る画像分離装置のブロック図である。
【図２】画像を前景と背景に分離する方法のフローチャートである。
【図３】画像に入力されたユーザの指示と、前景と背景に分離抽出された結果を示す 具体例である。
【図４】動画を前景と背景に画像を分離する処理を説明するために説明図である。
【図５】テクスチャに富んだ前景を有する画像を、第１の方法と第２の方法で分離し た結果を示す図である。
【符号の説明】
【００９５】
１００ データ入力部
１１０ 指示受付部
１２０ 画像分離部
１３０ 表示部
１４０ データ蓄積部
１５０ 指示変位部
【特許請求の範囲】
【請求項１】
画像を前景と背景に分離するための画像分離装置であって、
画像を入力し、記憶手段に記憶するデータ入力手段と、
前景および背景の画像濃淡値（または輝度）をＩとした場合、Ｆを前景の画像濃淡値、Ｂは背景の画像濃淡値、αは、αブレンディングに関する小数として、
で表現して、１枚の画像を構成する画素単位ごとに生成し、
式（１）から、
を生成して、
を拘束条件として最小化し、
目的関数
式(9)
を生成し、当該目的関数を
式(10)
ｅは未知数α、Ｆ、Ｂであり、それぞれの変数について偏微分して、未知数α、Ｆ、Ｂを画素単位に取得し、画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であるか、背景の画素であるかを判別し、前景と背景とを分離する分離手段と、
前記分離した背景と前景とをそれぞれ表示する表示手段と、を有すること
を特徴とする画像分離装置。
【請求項２】
請求項１記載の画像分離装置であって、
前記分離手段は、ロバスト関数を介した目的関数を生成し、当該目的関数を非線形最小
二乗法を用いて解析することにより、前記画像を前景と背景に分離すること
を特徴とする画像分離装置。
【請求項３】
請求項１または請求項２記載の画像分離装置であって、
前記データ入力手段が入力する画像は、複数の画像フレームから構成される時空間画像
であって、
前後する画像フレーム間の前景および背景の動きを検出し、前記時空間画像の第１の画
像フレームに対して前記画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であるか、背景の画素であるかの判別を、前記検出した動きに応じて変位させて第２の画像フレーム以降に反映させる変位手段を、さらに有すること
を特徴とする画像分離装置。
【請求項４】
画像分離装置が行う、画像を前景と背景に分離するための画像分離方法であって、
画像を入力し、記憶手段に記憶するデータ入力ステップと、
前景および背景の画像濃淡値（または輝度）をＩとした場合、Ｆを前景の画像濃淡値、Ｂは背景の画像濃淡値、αは、αブレンディングに関する小数として、
で表現して、１枚の画像を構成する画素単位ごとに生成し、
式（１）から、
を生成して、
を拘束条件として最小化し、
目的関数
式(9)
を生成し、当該目的関数を
式(10)
ｅは未知数α、Ｆ、Ｂであり、それぞれの変数について偏微分して、未知数α、Ｆ、Ｂを画素単位に取得し、画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であるか、背景の画素であるかを判別し、前景と背景とを分離する分離ステップと、
前記分離した背景と前景とをそれぞれ表示する表示ステップと、を行うこと
を特徴とする画像分離方法。
【請求項５】
請求項４記載の画像分離方法であって、
前記分離ステップは、ロバスト関数を介した目的関数を生成し、当該目的関数を非線形
最小二乗法を用いて解析することにより、前記画像を前景と背景に分離すること
を特徴とする画像分離方法。
【請求項６】
請求項４または請求項５記載の画像分離方法であって、
前記データ入力ステップで入力する画像は、複数の画像フレームから構成される時空間
画像であって、
前後する画像フレーム間の前景および背景の動きを検出し、前記時空間画像の第１の画
像フレームに対して前記画素が前景の画素であるか、背景の画素であるかの判別を、前記検出した動きに応じて変位させて第２の画像フレーム以降に反映させる変位ステップを、さらに行うこと
を特徴とする画像分離方法。
【請求項７】
請求項４から請求項６のいずれか１項に記載の画像分離方法をコンピュータに実行させ
る画像分離プログラム。
【請求項１】
画像を前景と背景に分離するための画像分離装置であって、
画像を入力し、記憶手段に記憶するデータ入力手段と、
前景および背景の画像濃淡値（または輝度）をＩとした場合、Ｆを前景の画像濃淡値、Ｂは背景の画像濃淡値、αは、αブレンディングに関する小数として、
で表現して、１枚の画像を構成する画素単位ごとに生成し、
式（１）から、
を生成して、
を拘束条件として最小化し、
目的関数
式(9)
を生成し、当該目的関数を
式(10)
ｅは未知数α、Ｆ、Ｂであり、それぞれの変数について偏微分して、未知数α、Ｆ、Ｂを画素単位に取得し、画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であるか、背景の画素であるかを判別し、前景と背景とを分離する分離手段と、
前記分離した背景と前景とをそれぞれ表示する表示手段と、を有すること
を特徴とする画像分離装置。
【請求項２】
請求項１記載の画像分離装置であって、
前記分離手段は、ロバスト関数を介した目的関数を生成し、当該目的関数を非線形最小
二乗法を用いて解析することにより、前記画像を前景と背景に分離すること
を特徴とする画像分離装置。
【請求項３】
請求項１または請求項２記載の画像分離装置であって、
前記データ入力手段が入力する画像は、複数の画像フレームから構成される時空間画像
であって、
前後する画像フレーム間の前景および背景の動きを検出し、前記時空間画像の第１の画
像フレームに対して前記画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であるか、背景の画素であるかの判別を、前記検出した動きに応じて変位させて第２の画像フレーム以降に反映させる変位手段を、さらに有すること
を特徴とする画像分離装置。
【請求項４】
画像分離装置が行う、画像を前景と背景に分離するための画像分離方法であって、
画像を入力し、記憶手段に記憶するデータ入力ステップと、
前景および背景の画像濃淡値（または輝度）をＩとした場合、Ｆを前景の画像濃淡値、Ｂは背景の画像濃淡値、αは、αブレンディングに関する小数として、
で表現して、１枚の画像を構成する画素単位ごとに生成し、
式（１）から、
を生成して、
を拘束条件として最小化し、
目的関数
式(9)
を生成し、当該目的関数を
式(10)
ｅは未知数α、Ｆ、Ｂであり、それぞれの変数について偏微分して、未知数α、Ｆ、Ｂを画素単位に取得し、画素単位に取得したＦおよびＢの画像濃淡値を用いて、当該画素が前景の画素であるか、背景の画素であるかを判別し、前景と背景とを分離する分離ステップと、
前記分離した背景と前景とをそれぞれ表示する表示ステップと、を行うこと
を特徴とする画像分離方法。
【請求項５】
請求項４記載の画像分離方法であって、
前記分離ステップは、ロバスト関数を介した目的関数を生成し、当該目的関数を非線形
最小二乗法を用いて解析することにより、前記画像を前景と背景に分離すること
を特徴とする画像分離方法。
【請求項６】
請求項４または請求項５記載の画像分離方法であって、
前記データ入力ステップで入力する画像は、複数の画像フレームから構成される時空間
画像であって、
前後する画像フレーム間の前景および背景の動きを検出し、前記時空間画像の第１の画
像フレームに対して前記画素が前景の画素であるか、背景の画素であるかの判別を、前記検出した動きに応じて変位させて第２の画像フレーム以降に反映させる変位ステップを、さらに行うこと
を特徴とする画像分離方法。
【請求項７】
請求項４から請求項６のいずれか１項に記載の画像分離方法をコンピュータに実行させ
る画像分離プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−２２７９０９（Ｐ２０１１−２２７９０９Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１１−１２１２６４（Ｐ２０１１−１２１２６４）
【出願日】平成２３年５月３１日（２０１１．５．３１）
【分割の表示】特願２００８−２６６７８４（Ｐ２００８−２６６７８４）の分割
【原出願日】平成２０年１０月１５日（２００８．１０．１５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２３年５月３１日（２０１１．５．３１）
【分割の表示】特願２００８−２６６７８４（Ｐ２００８−２６６７８４）の分割
【原出願日】平成２０年１０月１５日（２００８．１０．１５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]