ハイブリッドラベルに基づいてオブジェクトを分割する方法とシステム
【課題】 ハイブリッドラベルに基づいて対象を分割する方法とシステムを提供する。
【解決手段】 ハイブリッドラベルに基づいて対象を分割する方法は、目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み。
【解決手段】 ハイブリッドラベルに基づいて対象を分割する方法は、目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、ハイブリッドラベルに基づいてオブジェクトを分割する方法とシステムに関する。
【背景技術】
【０００２】
画像分割の目的は、画像から関心のある領域をラベル付けすることである。ラベル付けの結果に基づいて、特定の関心のある領域について画像処理を実行することが可能となる。特定の領域について画像処理を実行するというそのような要求は画像処理アプリケーションにおける一般的な要求である。しかしながら、効率的に関心のある領域をラベル付けする方法はまだ確立していない。領域それ自身が規則的な領域ならば、この操作は、対話型のツール（例えば、マウス）を用いることにより簡単に実行することができる。しかしながら、関心のある領域が不規則ならば、関心のある領域の各エッジピクセルをラベル付けすることは、非常に煩わしくかつ労力を要する作業である。このため、自動又は半自動の方式によって画像から関心のある領域を抽出することが望まれている。この関心のある目標地域は、目標対象、あるいは対象あるいは、前景と略して称される。
【０００３】
半自動式対象ラベル付け法は対話型の対象分割のために用いられる。
ユーザは、対象に関するある情報をコンピュータ・プログラム提供する必要がある。その後、コンピュータ・プログラムが、そのような情報に基づいて対象を自動的に分割する。結果が最終目標を達成しなければ、ユーザはいくつかの追加情報を提供し、コンピュータ・プログラムが再び計算を実行する。この反復の対話分割方法においては、一歩一歩良好な分割結果に近づく。一般に、ユーザが対象情報を提供するのに２つの方法がある。第１の方法は対象のエッジをラベル付けすることである。一旦対象の完全なエッジがラベル付けされれば、対象分割のタスクが完遂する。第２の方法は対象のシードピクセル（seed pixel）の一部をラベル付けすることである。コンピュータ・プログラムは、シードピクセルによって提供される情報に基づいて対象を自動的に分割する。例えば、第２の方法においては、ユーザが、マウスを用いて、いくつかの決定した対象ピクセルと背景ピクセルをラベル付けし、コンピュータ・プログラムが目標対象を分割する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願第20080136820Ａ１号
【非特許文献】
【０００５】
【非特許文献１】Wang, D., Shan, S.G., Zeng, W., Zhang,H.M., Chen, X.L.: A novel two-tier Bayesian based method for hair segmentation.International Conference on Image Processing, (2009) 2401-2404
【非特許文献２】Eduardo S. L. Gastal and Manuel M. Oliveira, Shared Sampling for Real-Time Alpha Matting,Computer Graphics Forum, Volume 29 (2010), Number 2, Proceedings ofEurographics 2010, pp. 575-584
【発明の概要】
【発明が解決しようとする課題】
【０００６】
対話型の対象分割技術の目的は、できるだけ少ない対話回数で正確な分割結果を取得することである。理想的には、ユーザが一つずつ目標ピクセルをラベル付けすることである。しかしながら、対象が非常に多くのピクセル数を有するかもしれないし、それらをラベル付けすることは非常に煩わしくかつ労力を要するので、これは非実用的である。
他方、対象のエッジが非常に簡単な場合、対話型の対象分割技術は高精度な分割を達成することが可能である。複雑な状態においては、分割結果は、それほど正確でない傾向がある。例えば、髪の毛などのような対象のエッジは非常に複雑なエッジを有し、対象のエッジをラベル付けすることはユーザにとって非常に困難である。したがって、エッジピクセルについて分割誤差がある場合、あるいはラベル付けについて情報が不十分な場合、ユーザによるラベル付け操作は、ラベル付けが不十分であるため、一般に悪い結果を導くことになる。それ故、そのような複雑なエッジを処理することは既存の分割アルゴリズムにとって困難である。
【０００７】
特許文献１(US 20080136820 A1)は、ラベルに基づいた対象を分割する方法を提供する。しかしながら、特許文献１の概念は、前景と背景の２タイプのラベルを用いて分割結果を取得することにある。髪の毛のような複雑なエッジについて、高精度な分割を達成することは、特許文献１の方法にとってもなお困難である。
【０００８】
本発明は、ハイブリッドラベルに基づいて対象を分割する方法とシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によるハイブリッドラベルに基づいて対象を分割する方法は、目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み、ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む。
【００１０】
好ましい態様によれば、下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するステップをさらに含む。
【００１１】
好ましい態様によれば、所定の閾値を用いて、不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するステップをさらに含む。
【００１２】
好ましい態様によれば、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算するステップは、Mattingアルゴリズムに基づく。
【００１３】
好ましい態様によれば、前景モデルと背景モデルは、混合ガウスモデルに基づく。
【００１４】
本発明によるハイブリッドラベルに基づいて対象を分割するシステムは、目標対象を含む画像内のピクセルについてラベル付けストロークを受信するように構成される受信手段と、不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定する分割手段とを備え、ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む。
【００１５】
好ましい態様によれば、受信手段によって受信されたラベル付けストロークを格納するように構成された記憶手段と、受信したラベル付けストロークが、前景ストローク、背景ストロークあるいは不確定ストロークかを分析し、分析結果を分割手段に提供するように構成される分析手段をさらに含む。
【００１６】
好ましい態様によれば、分割手段は、下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するように構成される。
【００１７】
好ましい態様によれば、分割手段は、所定の閾値を用いて、不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するように構成される。
【００１８】
好ましい態様によれば、分割手段は、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を、Mattingアルゴリズムに基づいて計算するように構成される。
【００１９】
好ましい態様によれば、分割手段は、混合ガウスモデルに基づいて、前景モデルと背景モデルを構築するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【発明の効果】
【００２０】
本発明の実施の形態による方法とシステムによれば、対話型の分割は、多くのタイプのラベルに基づいて画像内の対象について実行される。この方法によれば、複雑なエッジが存在する情況を処理し、高精度な分割結果を取得することが可能となる。
【図面の簡単な説明】
【００２１】
本発明の上記特徴と効果は、図面を参照して説明された以下の詳細な説明からさらに明らかになるであろう。
【図１】本発明の実施の形態によるハイブリッドラベルに基づいて対象を分割するシステムの全体構成を示すブロック図である。
【図２】本発明の実施の形態によるハイブリッドラベルに基づいて対象を分割する方法を説明するフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の好ましい実施の形態について、図面を参照して詳細に説明する。異なる図において、同じ引用符号は同一或いは類似の構成要素を表わすために用いられる。明瞭さと簡潔さのために、いくつかの既知の機能と構成の詳細については、本発明の主題を不明瞭にしないように省略する。
【００２３】
図１は、本発明の実施の形態によるハイブリッドラベルに基づいてオブジェクトを分割するためのシステムの全体構成を示すブロック図である。
図１に示すように、本発明の実施の形態によるシステムは、ユーザによって入力された入力画像に対するラベル付け処理の結果に基づいて異なるタイプのラベル付けストローク（例えば、前景、背景、そして不確定の、３つのタイプのラベル付けストロークがある）から前景モデルと背景モデルを構築し、かつラベル付けストロークに基づいて自動画像分割を実行するよう構成された分割ユニット１１０と、画像分割の結果を表示するように構成された表示ユニット１２０とを備えている。
その後、ユーザは、分割結果を観察し、分割目標に基づいて現在の分割結果が要求を満足するかどうかを判定する。要求が満足されなければ、ユーザは、マウスまたはスタイラスペンなどのような入力装置で分割結果に基づいた対話をさらに実行することも可能である。
本発明の実施の形態によれば、分割ユニット１１０は、不確定なストロークによってラベル付けされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを確立し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するよう構成されている。
【００２４】
本発明の実施例によれば、前回のステップの分割結果について、ユーザは分割結果をラベル付けし、毎回ラベル付けされるピクセルの集合がラベル付けストロークとなる。
このシステムは、入力装置を介してユーザによって入力されるラベル付けストロークを受信するように構成された受信ユニット１５０を備えている。その後、記憶ユニット１４０は、ユーザと一度対話された全てのストロークを格納する。
これらのストロークは、前景、背景および不確定なエッジ（境界）のように、異なるタイプのラベルにそれぞれ対応している。記憶ユニット１４０は、ストロークについて、ストロークによってカバーされるピクセルの位置集合を格納する。各ストロークは、３種類のラベル（前景、背景および不確定なエッジ）の１つに対応する。
【００２５】
本発明の実施例によれば、システムは、ユーザと一度対話されるいくつかのストロークに基づいて、異なるタイプのストロークを処理するための異なる工程を決定し、決定結果を分割ユニット１１０に提供するように構成された分析ユニット１３０を備えている。
【００２６】
次に、上記のシステムの動作処理について、図２を参照して具体例を用いて説明する。図２は、本発明の実施の形態によるハイブリッドラベルに基づいて対象を分割する方法を示すフローチャートである。
【００２７】
図２に示すように、画像はシステムに入力される。ここで、目標対象を含むデジタル画像が本発明の実施の形態の入力である。目標対象は、ユーザによって定義された何れかの画像領域である。この目標対象は、分割に先立って定義され、かつ明確である。目標対象は、明確な意味（例えば、人物、動物と草原、あるいは明確な意味を有するそのようなターゲットの組み合わせ）を有する目標である。
図２に示すように、入力画像は子供の背部を含む画像である。この画像は、子供、フットボール、芝生、木および数人のフットボール選手などの多くのオブジェクトを含んでいる。ここでは、子供の髪の毛を目標対象として定義し、その他の対象を背景と見なす。目標対象は背景と相対する前景である。
【００２８】
ステップＳ１１で、分割ユニット１１０は、目標対象（すなわち、子供の髪の毛）を抽出するために入力画像を分割する。
【００２９】
ステップＳ１２で、表示ユニット１２０は、分割の結果を表示する。一般的に、対象分割の結果は、背景ピクセルを表す１つの値と前景ピクセルを表すもう１つの値を有する、二値画像を用いて表わされる。分割結果が評価のためにユーザに提供されることになっているので、通常、分割結果画像はオリジナルの画像上へ重ねられる。この場合、前景対象のエッジを、オリジナル画像上で特別の色で強調することも可能である。あるいは、分割された対象を、特別の色でオリジナル画像上に表示してもよい。
【００３０】
その後、ステップＳ１３で、分割結果が評価される。ユーザ評価は、現在提示されている分割結果に基づいて、取得された分割結果が特定の要求を満足しているかどうかをユーザが判定し、判定結果をコンピュータ・プログラムに通知する主観的な動作である。要求が満足されれば、コンピュータ・プログラムは分割を終了するよう通知され、そうでなければ、次の処理が実行される。
【００３１】
ユーザ対話の目的は、分割アルゴリズムに新たな前景、背景および不確定なラベルを提供することである。本発明の一実施例によれば、これらのラベルは、例えば、前景、背景および不確定なラベルを自動的に計算するような、他の方法によって提供される。統計的な意味における前景オブジェクト・モデルが存在する場合については、前回の分割結果からの前景と背景のピクセルは、高い閾値より高い信用度を有するピクセルが前景として分類され、低い閾値より低い信用度を有するピクセルが背景として分類され、中位の信用度を有し、前景と背景の間のエッジ空間に位置するピクセルは、不確定なピクセルとして判定するような方法で、モデルに基づいて分類される。
【００３２】
ステップＳ１４で、処理が終了したかどうかが判定される。分割実行は、ターゲットの定義に基づいて主観的及び／または客観的な方法で判定される。処理が終了すれば、ステップＳ１５で分割結果が表示される。そうでなければ、ステップＳ１６で、ユーザが、入力装置を介して前回の分割結果からピクセルについてラベル付けストロークを入力する。本発明の一実施例によれば、ラベル付けストロークは、前景ストローク、背景ストロークおよび不確定なエッジストロークを含む。
【００３３】
ユーザ対話は、ユーザが対話ツールで分割結果を修正する処理である。
本発明の実施の形態において用いられる対話ツールは、コンピュータ・マウスである。ユーザは、マウスを用いてコンピュータのスクリーン上にラベルを付する。マウスによって付された各ラベルの軌跡はストロークと称される。
各ストロークは、前景、背景あるいは不確定なラベルなどのようなラベルタイプを有する。各ストロークは、ピクセル位置の集合であり、それらの位置のピクセルが前景、背景あるいは不確定なタイプのラベルを含むことを示している。ユーザは、目標対象の定義に基づいて前景と背景のラベルを付する。ラベルを付するのが容易でないピクセルには、不確定なタイプとしてラベル付けする。
一般的は、不確定なピクセルは、対象のエッジに主に生成される。
対象のエッジが複雑である場合、多くの対話が前景ピクセルを判定するために必要となる。
図２に示す髪の毛のエッジを具体例として挙げると、前景のエッジが時には数ピクセル或いはただ１ピクセルだけの幅を有するような、とても多くの細い髪の毛が存在する。したがって、高い品質の対話作業を実行することはユーザにとって困難である。
この問題に対する解決法として、不確定なピクセルとしてラベル付けすることが可能である。この場合、ユーザは、コンピュータ・プログラムが自動的にそれらのピクセルを処理することができるように、区別するのが容易でないピクセルに不確定なタイプとして直接ラベルを付ける必要があるだけである。
【００３４】
本発明の一実施例によれば、ユーザが行う１回の対話は、いくつかのストロークから構成される可能性がある。各ストロークは、３つのタイプのラベル、前景、背景、不確定のうちの１つを有する。
異なるラベルタイプのピクセルは、表示のための３つの集合にそれぞれ格納される。
これらの３つの集合は、それぞれ、ユーザによってラベル付けされたピクセルの位置集合を格納する。
その後、その処理はステップＳ１１に戻る。
【００３５】
ステップＳ１１で、対象は受信したラベル付けストロークに基づいて再度分割される。
【００３６】
対象分割は、どのピクセルが目標対象（前景）に属するか、また、どのピクセルが背景対象に属するかを判定するための、対象に対応する画像ピクセルに対して行う二項分類の処理である。
本発明の一実施例によれば、ここで用いられる分割アルゴリズムは、対応する前景と背景情報に基づいて、前景モデルと背景モデルを構築する。
その後、前景モデルと背景モデルを用いて、画像内のピクセルを分類することにより、対象の分割結果が取得される。
【００３７】
ステップＳ１１において、前景モデルは、前景ピクセルを判定するために、先験的情報（apriori information）に基づいて確立された数学モデルである。
このモデルは、前景ピクセルの数値特性について記述する。
ここで、この方法において用いられる前景モデルは、例えば、非特許文献１（Wang, D., Shan, S.G., Zeng, W., Zhang,
H.M., Chen, X.L.: A novel two-tier Bayesian based method for hair segmentation.
International Conference on Image Processing, (2009) 2401-2404）に記述されるような混合ガウスモデルである。
【００３８】
ステップＳ１１において、背景モデルは、背景ピクセルを判定するために、先験的情報（apriori information）に基づいて確立された数学モデルである。このモデルは、背景ピクセルの数値特性について記述する。
ここで、この方法において用いられる背景モデルは、例えば、非特許文献１に記述されるような混合ガウスモデルである。
【００３９】
ステップＳ１１において用いられる、グラフカット方法（graph-cut method）は、前景と背景のモデルに基づいてピクセルを分類する方法である。
この方法は、グラフカット理論（graph-cut theory）を利用し、ピクセル中の空間的位置関係と組み合わせて、ピクセルについて前景と背景モデルを組込み、非特許文献１に記述されるように、前景と背景のピクセルを分類するために最大／最小フローアルゴリズム（maximum/minimum flow algorithm）を用いる。
【００４０】
ステップＳ１１において、非特許文献２（Eduardo S. L. Gastal and
Manuel M. Oliveira, Shared Sampling for Real-Time Alpha Matting, Computer
Graphics Forum, Volume 29 (2010), Number 2, Proceedings of Eurographics 2010,
pp. 575-584）に記述されるようなMattingアルゴリズムは用いることが可能である。それはピクセルのAlpha値を計算する方法である。この方法は、判定した前景と背景ピクセルに基づいて前景または背景に分類されていないピクセルのアルファ値を計算する。
【００４１】
本発明の実施の形態において、前景または背景に分類されていないピクセルは、図２に示されるステップＳ１７で不確定とラベル付けされたピクセルから取得される。
Mattingアルゴリズムを用いることにより、不確定なピクセルのAlpha値が計算される。
ここで、Alpha値は、ピクセルが前景ピクセルであるための確率を表わす０と１の間の実数である。
Alpha値の１は、ピクセルが１００％前景ピクセルであることを示し、Alpha値の０は、ピクセルが１００％背景ピクセルであることを示している。
従って、Alpha値に従って、低い閾値（下限）より低いAlpha値を有するピクセルは、背景ピクセルと判定され、一方、高い閾値（上限）より高いAlpha値を有するピクセルは、前景ピクセルと判定される。
【００４２】
分割アルゴリズムの具体例について以下に示す。
（１）ユーザとの対話のない初期段階では、分割アルゴリズムは、以下の２つの方策の任意の１つを使用することが可能である。
１．１）非特許文献に記述されるような他の自動対象分割方法を用いて、初期の分割結果を取得する。
１．２）全ての画像ピクセルを背景ピクセルに直接分類する。
（２）分割結果は評価のためにユーザに提示される。
（３）ユーザが分割結果に満足ならば、アルゴリズムは終了する。
（４）ユーザが分割結果に満足しなければ、対話が必要となる。
ラベルは、対話ツール（例えば、マウス）で画像上に付される。
いくつかのピクセルが前景ピクセルであるとユーザが考えれば、ユーザは、対話ツールを用いてスクリーン上でこれらのピクセルにラベルを付する。同様にして、背景ピクセルにもラベルが付される。
前回の分割結果において分割誤差（例えば、前景ピクセルが背景に間違って分割され、あるいは、背景ピクセルが前景に間違って分割される）があれば、ユーザは、そのような間違って分割されたピクセルを正しいラベルで再度ラベル付けする。
他方、ユーザは、ユーザが正確にラベル付けすることができないと考えるピクセルに、不確定なラベル（本発明の実施の形態に特有のラベル）を用いてラベル付けする。
ここで、各ラベルはストロークと称される。各ストロークは３つのタイプのラベル（前景、背景、不確定）の１つに対応する。
１つのストロークは、ユーザがスクリーン上で対話ツールを移動させる軌跡内のピクセルの位置集合である。
（５）ユーザによってラベル付けされたストロークを元に、ユーザ指定の前景ピクセル、前回の分割結果と一緒の背景ピクセルに基づいて更新後の前景と背景モデルが構築される。
ここで、新たな前景と背景モデルの構築中に、ユーザによってラベル付けされた前景と背景のピクセルは、大きな重みを持って割り当てられる。
構築された前景と背景モデルに基づいて、分割プログラムは、不確定なタイプとしてラベル付けされない画像内の各ピクセルを、グラフカットによって前景または背景のピクセルに分類する。
ユーザによって指定された各不確定なピクセルについて、そのAlpha値がMattingアルゴリズムを用いて決定される。
ここで、Alpha値は、ピクセルが前景ピクセルであるための確率を表わす０と１の間の実数である。
Alpha値の１は、ピクセルが１００％前景ピクセルであることを示し、Alpha値の０は、ピクセルが１００％背景ピクセルであることを示している。
従って、Alpha値に従って、低い閾値（下限）より低いAlpha値を有するピクセルは、背景ピクセルと判定され、一方、高い閾値（上限）より高いAlpha値を有するピクセルは、前景ピクセルと判定される。
他のAlpha値を有するピクセルは、次の前景／背景更新計算に含まれない不確定なピクセルと判定される。
（６）ステップ（５）で取得された結果は、ユーザに提示される。
ユーザが現在の分割結果に満足しなければ、処理はステップ（４）に戻る。そうでなければ、処理は次のステップに進む。
（７）全ての不確定なピクセルは、０．５前後の閾値に基づいて、前景または背景のピクセルに再分類される。
【００４３】
本発明の実施の形態によれば、アルゴリズムの終了は、次のものに基づいて決定される
（ａ）対話の回数、すなわち、所定回数の対話が実行されれば、アルゴリズムが終了する；（ｂ）グラフカットアルゴリズムにおけるエネルギー関数などによる分割結果評価度、すなわち、しきい値より小さなエネルギー関数は、分割が特定の要求を満足することを示す；（ｃ）主観的な評価、すなわち、ユーザが、分割結果について主観的な評価をし、全処理を終了する指示を入力する。
【００４４】
統計的な意味における前景オブジェクト・モデルが存在する場合については、前回の分割結果からの前景と背景のピクセルは、高い信用度を有するピクセルが前景として分類され、低い信用度を有するピクセルが背景として分類され、中位の信用度を有し、前景と背景の間のエッジの空間に位置するピクセルは、不確定なピクセルとして判定されるような方法で、モデルに基づいて分類される。
【００４５】
本発明の実施の形態の解決法によれば、３つのタイプのラベルが対象分割のために用いられる。特に、不確定性ラベルは分割性能を向上させるために導入されている。
この方法によって、分割中の前景と背景の間のエッジにおけるピクセルの影響を回避することができ、複雑なエッジについての処理がより容易になり、分割精度が向上する。
【００４６】
以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも、上記実施の形態に限定されるものでなく、その技術的思想の範囲内において様々に変形して実施することができる。
【００４７】
さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。
【００４８】
（付記１）
目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、
分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割する方法。
【００４９】
（付記２）
下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するステップをさらに含むことを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割する方法。
【００５０】
（付記３）
所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するステップをさらに含むことを特徴とする付記２に記載のハイブリッドラベルに基づいて対象を分割する方法。
【００５１】
（付記３）
不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算するステップは、Mattingアルゴリズムに基づくことを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割する方法。
【００５２】
（付記５）
前記前景モデルと背景モデルは、混合ガウスモデルに基づくことを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割する方法。
【００５３】
（付記６）
目標対象を含む画像内のピクセルについてラベル付けストロークを受信するように構成される受信手段と、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定する分割手段とを備え、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割するシステム。
【００５４】
（付記７）
前記受信手段によって受信されたラベル付けストロークを格納するように構成された記憶手段と、
受信したラベル付けストロークが、前景ストローク、背景ストロークあるいは不確定ストロークかを分析し、分析結果を前記分割手段に提供するように構成される分析手段をさらに備えることを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【００５５】
（付記８）
前記分割手段は、下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【００５６】
（付記９）
前記分割手段は、所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するように構成されることを特徴とする付記８に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【００５７】
（付記１０）
前記分割手段は、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を、Mattingアルゴリズムに基づいて計算するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【００５８】
（付記１１）
前記分割手段は、混合ガウスモデルに基づいて、前記前景モデルと背景モデルを構築するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【符号の説明】
【００５９】
１１０：分割ユニット
１２０：表示ユニット
１３０：分析ユニット
１４０：記憶ユニット
１５０：受信ユニット
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、ハイブリッドラベルに基づいてオブジェクトを分割する方法とシステムに関する。
【背景技術】
【０００２】
画像分割の目的は、画像から関心のある領域をラベル付けすることである。ラベル付けの結果に基づいて、特定の関心のある領域について画像処理を実行することが可能となる。特定の領域について画像処理を実行するというそのような要求は画像処理アプリケーションにおける一般的な要求である。しかしながら、効率的に関心のある領域をラベル付けする方法はまだ確立していない。領域それ自身が規則的な領域ならば、この操作は、対話型のツール（例えば、マウス）を用いることにより簡単に実行することができる。しかしながら、関心のある領域が不規則ならば、関心のある領域の各エッジピクセルをラベル付けすることは、非常に煩わしくかつ労力を要する作業である。このため、自動又は半自動の方式によって画像から関心のある領域を抽出することが望まれている。この関心のある目標地域は、目標対象、あるいは対象あるいは、前景と略して称される。
【０００３】
半自動式対象ラベル付け法は対話型の対象分割のために用いられる。
ユーザは、対象に関するある情報をコンピュータ・プログラム提供する必要がある。その後、コンピュータ・プログラムが、そのような情報に基づいて対象を自動的に分割する。結果が最終目標を達成しなければ、ユーザはいくつかの追加情報を提供し、コンピュータ・プログラムが再び計算を実行する。この反復の対話分割方法においては、一歩一歩良好な分割結果に近づく。一般に、ユーザが対象情報を提供するのに２つの方法がある。第１の方法は対象のエッジをラベル付けすることである。一旦対象の完全なエッジがラベル付けされれば、対象分割のタスクが完遂する。第２の方法は対象のシードピクセル（seed pixel）の一部をラベル付けすることである。コンピュータ・プログラムは、シードピクセルによって提供される情報に基づいて対象を自動的に分割する。例えば、第２の方法においては、ユーザが、マウスを用いて、いくつかの決定した対象ピクセルと背景ピクセルをラベル付けし、コンピュータ・プログラムが目標対象を分割する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願第20080136820Ａ１号
【非特許文献】
【０００５】
【非特許文献１】Wang, D., Shan, S.G., Zeng, W., Zhang,H.M., Chen, X.L.: A novel two-tier Bayesian based method for hair segmentation.International Conference on Image Processing, (2009) 2401-2404
【非特許文献２】Eduardo S. L. Gastal and Manuel M. Oliveira, Shared Sampling for Real-Time Alpha Matting,Computer Graphics Forum, Volume 29 (2010), Number 2, Proceedings ofEurographics 2010, pp. 575-584
【発明の概要】
【発明が解決しようとする課題】
【０００６】
対話型の対象分割技術の目的は、できるだけ少ない対話回数で正確な分割結果を取得することである。理想的には、ユーザが一つずつ目標ピクセルをラベル付けすることである。しかしながら、対象が非常に多くのピクセル数を有するかもしれないし、それらをラベル付けすることは非常に煩わしくかつ労力を要するので、これは非実用的である。
他方、対象のエッジが非常に簡単な場合、対話型の対象分割技術は高精度な分割を達成することが可能である。複雑な状態においては、分割結果は、それほど正確でない傾向がある。例えば、髪の毛などのような対象のエッジは非常に複雑なエッジを有し、対象のエッジをラベル付けすることはユーザにとって非常に困難である。したがって、エッジピクセルについて分割誤差がある場合、あるいはラベル付けについて情報が不十分な場合、ユーザによるラベル付け操作は、ラベル付けが不十分であるため、一般に悪い結果を導くことになる。それ故、そのような複雑なエッジを処理することは既存の分割アルゴリズムにとって困難である。
【０００７】
特許文献１(US 20080136820 A1)は、ラベルに基づいた対象を分割する方法を提供する。しかしながら、特許文献１の概念は、前景と背景の２タイプのラベルを用いて分割結果を取得することにある。髪の毛のような複雑なエッジについて、高精度な分割を達成することは、特許文献１の方法にとってもなお困難である。
【０００８】
本発明は、ハイブリッドラベルに基づいて対象を分割する方法とシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によるハイブリッドラベルに基づいて対象を分割する方法は、目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み、ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む。
【００１０】
好ましい態様によれば、下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するステップをさらに含む。
【００１１】
好ましい態様によれば、所定の閾値を用いて、不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するステップをさらに含む。
【００１２】
好ましい態様によれば、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算するステップは、Mattingアルゴリズムに基づく。
【００１３】
好ましい態様によれば、前景モデルと背景モデルは、混合ガウスモデルに基づく。
【００１４】
本発明によるハイブリッドラベルに基づいて対象を分割するシステムは、目標対象を含む画像内のピクセルについてラベル付けストロークを受信するように構成される受信手段と、不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定する分割手段とを備え、ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む。
【００１５】
好ましい態様によれば、受信手段によって受信されたラベル付けストロークを格納するように構成された記憶手段と、受信したラベル付けストロークが、前景ストローク、背景ストロークあるいは不確定ストロークかを分析し、分析結果を分割手段に提供するように構成される分析手段をさらに含む。
【００１６】
好ましい態様によれば、分割手段は、下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するように構成される。
【００１７】
好ましい態様によれば、分割手段は、所定の閾値を用いて、不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するように構成される。
【００１８】
好ましい態様によれば、分割手段は、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を、Mattingアルゴリズムに基づいて計算するように構成される。
【００１９】
好ましい態様によれば、分割手段は、混合ガウスモデルに基づいて、前景モデルと背景モデルを構築するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【発明の効果】
【００２０】
本発明の実施の形態による方法とシステムによれば、対話型の分割は、多くのタイプのラベルに基づいて画像内の対象について実行される。この方法によれば、複雑なエッジが存在する情況を処理し、高精度な分割結果を取得することが可能となる。
【図面の簡単な説明】
【００２１】
本発明の上記特徴と効果は、図面を参照して説明された以下の詳細な説明からさらに明らかになるであろう。
【図１】本発明の実施の形態によるハイブリッドラベルに基づいて対象を分割するシステムの全体構成を示すブロック図である。
【図２】本発明の実施の形態によるハイブリッドラベルに基づいて対象を分割する方法を説明するフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の好ましい実施の形態について、図面を参照して詳細に説明する。異なる図において、同じ引用符号は同一或いは類似の構成要素を表わすために用いられる。明瞭さと簡潔さのために、いくつかの既知の機能と構成の詳細については、本発明の主題を不明瞭にしないように省略する。
【００２３】
図１は、本発明の実施の形態によるハイブリッドラベルに基づいてオブジェクトを分割するためのシステムの全体構成を示すブロック図である。
図１に示すように、本発明の実施の形態によるシステムは、ユーザによって入力された入力画像に対するラベル付け処理の結果に基づいて異なるタイプのラベル付けストローク（例えば、前景、背景、そして不確定の、３つのタイプのラベル付けストロークがある）から前景モデルと背景モデルを構築し、かつラベル付けストロークに基づいて自動画像分割を実行するよう構成された分割ユニット１１０と、画像分割の結果を表示するように構成された表示ユニット１２０とを備えている。
その後、ユーザは、分割結果を観察し、分割目標に基づいて現在の分割結果が要求を満足するかどうかを判定する。要求が満足されなければ、ユーザは、マウスまたはスタイラスペンなどのような入力装置で分割結果に基づいた対話をさらに実行することも可能である。
本発明の実施の形態によれば、分割ユニット１１０は、不確定なストロークによってラベル付けされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを確立し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するよう構成されている。
【００２４】
本発明の実施例によれば、前回のステップの分割結果について、ユーザは分割結果をラベル付けし、毎回ラベル付けされるピクセルの集合がラベル付けストロークとなる。
このシステムは、入力装置を介してユーザによって入力されるラベル付けストロークを受信するように構成された受信ユニット１５０を備えている。その後、記憶ユニット１４０は、ユーザと一度対話された全てのストロークを格納する。
これらのストロークは、前景、背景および不確定なエッジ（境界）のように、異なるタイプのラベルにそれぞれ対応している。記憶ユニット１４０は、ストロークについて、ストロークによってカバーされるピクセルの位置集合を格納する。各ストロークは、３種類のラベル（前景、背景および不確定なエッジ）の１つに対応する。
【００２５】
本発明の実施例によれば、システムは、ユーザと一度対話されるいくつかのストロークに基づいて、異なるタイプのストロークを処理するための異なる工程を決定し、決定結果を分割ユニット１１０に提供するように構成された分析ユニット１３０を備えている。
【００２６】
次に、上記のシステムの動作処理について、図２を参照して具体例を用いて説明する。図２は、本発明の実施の形態によるハイブリッドラベルに基づいて対象を分割する方法を示すフローチャートである。
【００２７】
図２に示すように、画像はシステムに入力される。ここで、目標対象を含むデジタル画像が本発明の実施の形態の入力である。目標対象は、ユーザによって定義された何れかの画像領域である。この目標対象は、分割に先立って定義され、かつ明確である。目標対象は、明確な意味（例えば、人物、動物と草原、あるいは明確な意味を有するそのようなターゲットの組み合わせ）を有する目標である。
図２に示すように、入力画像は子供の背部を含む画像である。この画像は、子供、フットボール、芝生、木および数人のフットボール選手などの多くのオブジェクトを含んでいる。ここでは、子供の髪の毛を目標対象として定義し、その他の対象を背景と見なす。目標対象は背景と相対する前景である。
【００２８】
ステップＳ１１で、分割ユニット１１０は、目標対象（すなわち、子供の髪の毛）を抽出するために入力画像を分割する。
【００２９】
ステップＳ１２で、表示ユニット１２０は、分割の結果を表示する。一般的に、対象分割の結果は、背景ピクセルを表す１つの値と前景ピクセルを表すもう１つの値を有する、二値画像を用いて表わされる。分割結果が評価のためにユーザに提供されることになっているので、通常、分割結果画像はオリジナルの画像上へ重ねられる。この場合、前景対象のエッジを、オリジナル画像上で特別の色で強調することも可能である。あるいは、分割された対象を、特別の色でオリジナル画像上に表示してもよい。
【００３０】
その後、ステップＳ１３で、分割結果が評価される。ユーザ評価は、現在提示されている分割結果に基づいて、取得された分割結果が特定の要求を満足しているかどうかをユーザが判定し、判定結果をコンピュータ・プログラムに通知する主観的な動作である。要求が満足されれば、コンピュータ・プログラムは分割を終了するよう通知され、そうでなければ、次の処理が実行される。
【００３１】
ユーザ対話の目的は、分割アルゴリズムに新たな前景、背景および不確定なラベルを提供することである。本発明の一実施例によれば、これらのラベルは、例えば、前景、背景および不確定なラベルを自動的に計算するような、他の方法によって提供される。統計的な意味における前景オブジェクト・モデルが存在する場合については、前回の分割結果からの前景と背景のピクセルは、高い閾値より高い信用度を有するピクセルが前景として分類され、低い閾値より低い信用度を有するピクセルが背景として分類され、中位の信用度を有し、前景と背景の間のエッジ空間に位置するピクセルは、不確定なピクセルとして判定するような方法で、モデルに基づいて分類される。
【００３２】
ステップＳ１４で、処理が終了したかどうかが判定される。分割実行は、ターゲットの定義に基づいて主観的及び／または客観的な方法で判定される。処理が終了すれば、ステップＳ１５で分割結果が表示される。そうでなければ、ステップＳ１６で、ユーザが、入力装置を介して前回の分割結果からピクセルについてラベル付けストロークを入力する。本発明の一実施例によれば、ラベル付けストロークは、前景ストローク、背景ストロークおよび不確定なエッジストロークを含む。
【００３３】
ユーザ対話は、ユーザが対話ツールで分割結果を修正する処理である。
本発明の実施の形態において用いられる対話ツールは、コンピュータ・マウスである。ユーザは、マウスを用いてコンピュータのスクリーン上にラベルを付する。マウスによって付された各ラベルの軌跡はストロークと称される。
各ストロークは、前景、背景あるいは不確定なラベルなどのようなラベルタイプを有する。各ストロークは、ピクセル位置の集合であり、それらの位置のピクセルが前景、背景あるいは不確定なタイプのラベルを含むことを示している。ユーザは、目標対象の定義に基づいて前景と背景のラベルを付する。ラベルを付するのが容易でないピクセルには、不確定なタイプとしてラベル付けする。
一般的は、不確定なピクセルは、対象のエッジに主に生成される。
対象のエッジが複雑である場合、多くの対話が前景ピクセルを判定するために必要となる。
図２に示す髪の毛のエッジを具体例として挙げると、前景のエッジが時には数ピクセル或いはただ１ピクセルだけの幅を有するような、とても多くの細い髪の毛が存在する。したがって、高い品質の対話作業を実行することはユーザにとって困難である。
この問題に対する解決法として、不確定なピクセルとしてラベル付けすることが可能である。この場合、ユーザは、コンピュータ・プログラムが自動的にそれらのピクセルを処理することができるように、区別するのが容易でないピクセルに不確定なタイプとして直接ラベルを付ける必要があるだけである。
【００３４】
本発明の一実施例によれば、ユーザが行う１回の対話は、いくつかのストロークから構成される可能性がある。各ストロークは、３つのタイプのラベル、前景、背景、不確定のうちの１つを有する。
異なるラベルタイプのピクセルは、表示のための３つの集合にそれぞれ格納される。
これらの３つの集合は、それぞれ、ユーザによってラベル付けされたピクセルの位置集合を格納する。
その後、その処理はステップＳ１１に戻る。
【００３５】
ステップＳ１１で、対象は受信したラベル付けストロークに基づいて再度分割される。
【００３６】
対象分割は、どのピクセルが目標対象（前景）に属するか、また、どのピクセルが背景対象に属するかを判定するための、対象に対応する画像ピクセルに対して行う二項分類の処理である。
本発明の一実施例によれば、ここで用いられる分割アルゴリズムは、対応する前景と背景情報に基づいて、前景モデルと背景モデルを構築する。
その後、前景モデルと背景モデルを用いて、画像内のピクセルを分類することにより、対象の分割結果が取得される。
【００３７】
ステップＳ１１において、前景モデルは、前景ピクセルを判定するために、先験的情報（apriori information）に基づいて確立された数学モデルである。
このモデルは、前景ピクセルの数値特性について記述する。
ここで、この方法において用いられる前景モデルは、例えば、非特許文献１（Wang, D., Shan, S.G., Zeng, W., Zhang,
H.M., Chen, X.L.: A novel two-tier Bayesian based method for hair segmentation.
International Conference on Image Processing, (2009) 2401-2404）に記述されるような混合ガウスモデルである。
【００３８】
ステップＳ１１において、背景モデルは、背景ピクセルを判定するために、先験的情報（apriori information）に基づいて確立された数学モデルである。このモデルは、背景ピクセルの数値特性について記述する。
ここで、この方法において用いられる背景モデルは、例えば、非特許文献１に記述されるような混合ガウスモデルである。
【００３９】
ステップＳ１１において用いられる、グラフカット方法（graph-cut method）は、前景と背景のモデルに基づいてピクセルを分類する方法である。
この方法は、グラフカット理論（graph-cut theory）を利用し、ピクセル中の空間的位置関係と組み合わせて、ピクセルについて前景と背景モデルを組込み、非特許文献１に記述されるように、前景と背景のピクセルを分類するために最大／最小フローアルゴリズム（maximum/minimum flow algorithm）を用いる。
【００４０】
ステップＳ１１において、非特許文献２（Eduardo S. L. Gastal and
Manuel M. Oliveira, Shared Sampling for Real-Time Alpha Matting, Computer
Graphics Forum, Volume 29 (2010), Number 2, Proceedings of Eurographics 2010,
pp. 575-584）に記述されるようなMattingアルゴリズムは用いることが可能である。それはピクセルのAlpha値を計算する方法である。この方法は、判定した前景と背景ピクセルに基づいて前景または背景に分類されていないピクセルのアルファ値を計算する。
【００４１】
本発明の実施の形態において、前景または背景に分類されていないピクセルは、図２に示されるステップＳ１７で不確定とラベル付けされたピクセルから取得される。
Mattingアルゴリズムを用いることにより、不確定なピクセルのAlpha値が計算される。
ここで、Alpha値は、ピクセルが前景ピクセルであるための確率を表わす０と１の間の実数である。
Alpha値の１は、ピクセルが１００％前景ピクセルであることを示し、Alpha値の０は、ピクセルが１００％背景ピクセルであることを示している。
従って、Alpha値に従って、低い閾値（下限）より低いAlpha値を有するピクセルは、背景ピクセルと判定され、一方、高い閾値（上限）より高いAlpha値を有するピクセルは、前景ピクセルと判定される。
【００４２】
分割アルゴリズムの具体例について以下に示す。
（１）ユーザとの対話のない初期段階では、分割アルゴリズムは、以下の２つの方策の任意の１つを使用することが可能である。
１．１）非特許文献に記述されるような他の自動対象分割方法を用いて、初期の分割結果を取得する。
１．２）全ての画像ピクセルを背景ピクセルに直接分類する。
（２）分割結果は評価のためにユーザに提示される。
（３）ユーザが分割結果に満足ならば、アルゴリズムは終了する。
（４）ユーザが分割結果に満足しなければ、対話が必要となる。
ラベルは、対話ツール（例えば、マウス）で画像上に付される。
いくつかのピクセルが前景ピクセルであるとユーザが考えれば、ユーザは、対話ツールを用いてスクリーン上でこれらのピクセルにラベルを付する。同様にして、背景ピクセルにもラベルが付される。
前回の分割結果において分割誤差（例えば、前景ピクセルが背景に間違って分割され、あるいは、背景ピクセルが前景に間違って分割される）があれば、ユーザは、そのような間違って分割されたピクセルを正しいラベルで再度ラベル付けする。
他方、ユーザは、ユーザが正確にラベル付けすることができないと考えるピクセルに、不確定なラベル（本発明の実施の形態に特有のラベル）を用いてラベル付けする。
ここで、各ラベルはストロークと称される。各ストロークは３つのタイプのラベル（前景、背景、不確定）の１つに対応する。
１つのストロークは、ユーザがスクリーン上で対話ツールを移動させる軌跡内のピクセルの位置集合である。
（５）ユーザによってラベル付けされたストロークを元に、ユーザ指定の前景ピクセル、前回の分割結果と一緒の背景ピクセルに基づいて更新後の前景と背景モデルが構築される。
ここで、新たな前景と背景モデルの構築中に、ユーザによってラベル付けされた前景と背景のピクセルは、大きな重みを持って割り当てられる。
構築された前景と背景モデルに基づいて、分割プログラムは、不確定なタイプとしてラベル付けされない画像内の各ピクセルを、グラフカットによって前景または背景のピクセルに分類する。
ユーザによって指定された各不確定なピクセルについて、そのAlpha値がMattingアルゴリズムを用いて決定される。
ここで、Alpha値は、ピクセルが前景ピクセルであるための確率を表わす０と１の間の実数である。
Alpha値の１は、ピクセルが１００％前景ピクセルであることを示し、Alpha値の０は、ピクセルが１００％背景ピクセルであることを示している。
従って、Alpha値に従って、低い閾値（下限）より低いAlpha値を有するピクセルは、背景ピクセルと判定され、一方、高い閾値（上限）より高いAlpha値を有するピクセルは、前景ピクセルと判定される。
他のAlpha値を有するピクセルは、次の前景／背景更新計算に含まれない不確定なピクセルと判定される。
（６）ステップ（５）で取得された結果は、ユーザに提示される。
ユーザが現在の分割結果に満足しなければ、処理はステップ（４）に戻る。そうでなければ、処理は次のステップに進む。
（７）全ての不確定なピクセルは、０．５前後の閾値に基づいて、前景または背景のピクセルに再分類される。
【００４３】
本発明の実施の形態によれば、アルゴリズムの終了は、次のものに基づいて決定される
（ａ）対話の回数、すなわち、所定回数の対話が実行されれば、アルゴリズムが終了する；（ｂ）グラフカットアルゴリズムにおけるエネルギー関数などによる分割結果評価度、すなわち、しきい値より小さなエネルギー関数は、分割が特定の要求を満足することを示す；（ｃ）主観的な評価、すなわち、ユーザが、分割結果について主観的な評価をし、全処理を終了する指示を入力する。
【００４４】
統計的な意味における前景オブジェクト・モデルが存在する場合については、前回の分割結果からの前景と背景のピクセルは、高い信用度を有するピクセルが前景として分類され、低い信用度を有するピクセルが背景として分類され、中位の信用度を有し、前景と背景の間のエッジの空間に位置するピクセルは、不確定なピクセルとして判定されるような方法で、モデルに基づいて分類される。
【００４５】
本発明の実施の形態の解決法によれば、３つのタイプのラベルが対象分割のために用いられる。特に、不確定性ラベルは分割性能を向上させるために導入されている。
この方法によって、分割中の前景と背景の間のエッジにおけるピクセルの影響を回避することができ、複雑なエッジについての処理がより容易になり、分割精度が向上する。
【００４６】
以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも、上記実施の形態に限定されるものでなく、その技術的思想の範囲内において様々に変形して実施することができる。
【００４７】
さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。
【００４８】
（付記１）
目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、
分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割する方法。
【００４９】
（付記２）
下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するステップをさらに含むことを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割する方法。
【００５０】
（付記３）
所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するステップをさらに含むことを特徴とする付記２に記載のハイブリッドラベルに基づいて対象を分割する方法。
【００５１】
（付記３）
不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算するステップは、Mattingアルゴリズムに基づくことを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割する方法。
【００５２】
（付記５）
前記前景モデルと背景モデルは、混合ガウスモデルに基づくことを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割する方法。
【００５３】
（付記６）
目標対象を含む画像内のピクセルについてラベル付けストロークを受信するように構成される受信手段と、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定する分割手段とを備え、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割するシステム。
【００５４】
（付記７）
前記受信手段によって受信されたラベル付けストロークを格納するように構成された記憶手段と、
受信したラベル付けストロークが、前景ストローク、背景ストロークあるいは不確定ストロークかを分析し、分析結果を前記分割手段に提供するように構成される分析手段をさらに備えることを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【００５５】
（付記８）
前記分割手段は、下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【００５６】
（付記９）
前記分割手段は、所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するように構成されることを特徴とする付記８に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【００５７】
（付記１０）
前記分割手段は、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を、Mattingアルゴリズムに基づいて計算するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【００５８】
（付記１１）
前記分割手段は、混合ガウスモデルに基づいて、前記前景モデルと背景モデルを構築するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【符号の説明】
【００５９】
１１０：分割ユニット
１２０：表示ユニット
１３０：分析ユニット
１４０：記憶ユニット
１５０：受信ユニット
【特許請求の範囲】
【請求項１】
目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、
分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割する方法。
【請求項２】
下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するステップをさらに含むことを特徴とする請求項１に記載のハイブリッドラベルに基づいて対象を分割する方法。
【請求項３】
所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するステップをさらに含むことを特徴とする請求項２に記載のハイブリッドラベルに基づいて対象を分割する方法。
【請求項４】
不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算するステップは、Mattingアルゴリズムに基づくことを特徴とする請求項１に記載のハイブリッドラベルに基づいて対象を分割する方法。
【請求項５】
前記前景モデルと背景モデルは、混合ガウスモデルに基づくことを特徴とする請求項１に記載のハイブリッドラベルに基づいて対象を分割する方法。
【請求項６】
目標対象を含む画像内のピクセルについてラベル付けストロークを受信するように構成される受信手段と、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定する分割手段とを備え、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割するシステム。
【請求項７】
前記受信手段によって受信されたラベル付けストロークを格納するように構成された記憶手段と、
受信したラベル付けストロークが、前景ストローク、背景ストロークあるいは不確定ストロークかを分析し、分析結果を前記分割手段に提供するように構成される分析手段をさらに備えることを特徴とする請求項６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【請求項８】
前記分割手段は、下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するように構成されることを特徴とする請求項６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【請求項９】
前記分割手段は、所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するように構成されることを特徴とする請求項８に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【請求項１０】
前記分割手段は、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を、Mattingアルゴリズムに基づいて計算するように構成されることを特徴とする請求項６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【請求項１】
目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、
分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割する方法。
【請求項２】
下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するステップをさらに含むことを特徴とする請求項１に記載のハイブリッドラベルに基づいて対象を分割する方法。
【請求項３】
所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するステップをさらに含むことを特徴とする請求項２に記載のハイブリッドラベルに基づいて対象を分割する方法。
【請求項４】
不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算するステップは、Mattingアルゴリズムに基づくことを特徴とする請求項１に記載のハイブリッドラベルに基づいて対象を分割する方法。
【請求項５】
前記前景モデルと背景モデルは、混合ガウスモデルに基づくことを特徴とする請求項１に記載のハイブリッドラベルに基づいて対象を分割する方法。
【請求項６】
目標対象を含む画像内のピクセルについてラベル付けストロークを受信するように構成される受信手段と、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定する分割手段とを備え、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割するシステム。
【請求項７】
前記受信手段によって受信されたラベル付けストロークを格納するように構成された記憶手段と、
受信したラベル付けストロークが、前景ストローク、背景ストロークあるいは不確定ストロークかを分析し、分析結果を前記分割手段に提供するように構成される分析手段をさらに備えることを特徴とする請求項６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【請求項８】
前記分割手段は、下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するように構成されることを特徴とする請求項６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【請求項９】
前記分割手段は、所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するように構成されることを特徴とする請求項８に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【請求項１０】
前記分割手段は、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を、Mattingアルゴリズムに基づいて計算するように構成されることを特徴とする請求項６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
【図１】
【図２】
【図２】
【公開番号】特開２０１２−２０８９１３（Ｐ２０１２−２０８９１３Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−２４４２０６（Ｐ２０１１−２４４２０６）
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（５０５４１８８７０）エヌイーシー（チャイナ）カンパニー， リミテッド (108)
【氏名又は名称原語表記】ＮＥＣ（Ｃｈｉｎａ）Ｃｏ．，Ｌｔｄ．
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−２４４２０６（Ｐ２０１１−２４４２０６）
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（５０５４１８８７０）エヌイーシー（チャイナ）カンパニー， リミテッド (108)
【氏名又は名称原語表記】ＮＥＣ（Ｃｈｉｎａ）Ｃｏ．，Ｌｔｄ．
【Ｆターム（参考）】
[ Back to top ]