強度に基づくラベル伝播およびレベルセットの確率で画像をセグメント化する方法
【課題】この発明の強度に基づくラベル伝播およびレベルセットの確率で画像をセグメント化する方法は、画像細分化においてユーザラベルを活用する。
【解決手段】ユーザラベルは、画像強度情報に関して伝播される。伝播されたユーザラベルは、レベルセット展開のコスト関数に含まれる。レベルセットは、オブジェクトセグメントの確率を表わす。
【解決手段】ユーザラベルは、画像強度情報に関して伝播される。伝播されたユーザラベルは、レベルセット展開のコスト関数に含まれる。レベルセットは、オブジェクトセグメントの確率を表わす。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、一般的には画像処理に関し、さらに詳細には、画像セグメンテーション（セグメント化）に関するものである。
【背景技術】
【０００２】
従来の画像処理は、画像をセグメント化（細分化）するために、レベルセット（レベル組）およびユーザ情報を使用することができる。たとえば、米国特許第７，２７７，５８２号、「Ｕｓｅｒ ｉｎｔｅｒａｃｔｉｖｅ ｌｅｖｅｌ ｓｅｔ ｍｅｔｈｏｄｓ ｆｏｒ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ（画像セグメント化のためのユーザ対話型レベルセット方法）」、を参照。レベルセットは、コスト関数を最小化するために展開され、オブジェクトピクセル（オブジェクト画素）およびバックグラウンドピクセル（背景画素）のイメージ（画像）強度バリアンス（偏差）が、コスト関数において使用される。ユーザは、ピクセル（画素）をオブジェクト画素または背景画素としてラベル付けし、ユーザによりラベル付けされた画素およびその近くの画素の符号からの、展開するレベルセットの符号の偏差を、等方性の重み付け（すなわち、全方向に一様な重み付け）によりペナルティーを科すことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来、ユーザラベルは画像強度情報を組込まない。レベルセット展開における偏差項が支配し、また、ユーザにより選択された背景位置の近くの画素だけが背景として残る。
【０００４】
図１は、従来のユーザ対話処理でのセグメンテーション（セグメント化）に失敗した画像を示す。図２に示される正しいセグメンテーションを達成するのは難しい。
【０００５】
この発明の目的は、正しいセグメンテーションを近似したセグメンテーションを生成することである。
【課題を解決するための手段】
【０００６】
この発明の実施の形態は、レベルセットおよびユーザラベルを使用して、入力画像をセグメント化する方法を提供する。本方法は、画像強度情報に基づいてラベルを伝播し、該情報を確率的なレベルセット表示と組み合わせる。本方法は、精度を改善、増大するとともに、処理時間を減少させる。
【発明の効果】
【０００７】
図６は、上述された本方法によって製作されたセグメント３０９を示し、それは、従来の方法での、図１に示されるセグメンテーションよりも、より正確に目で見ることができる。
【図面の簡単な説明】
【０００８】
【図１】従来の方法での、失敗したセグメンテーションの画像である。
【図２】図１の画像に対する正しいセグメンテーションである。
【図３】この発明の実施の形態１による、画像をセグメント化する方法のブロック図である。
【図４】この発明の実施の形態１による、ラベル付けされた画素を有する画像である。
【図５】この発明の実施の形態１による、画像グリッドグラフの概略図である。
【図６】この発明の実施の形態１による、セグメントの画像である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図３は、出力画像においてセグメント３０９を生成するために、我々の発明の実施の形態により、入力画像３０１をセグメント化する方法３００を示す。図６を参照。本方法の工程は、当該技術において知られているように、バスで接続されたメモリおよび入出力インタフェースを含むプロセッサで行うことができる。
【００１０】
ユーザは、１セット（組）のラベル３１０を供給する。そのラベルのセットは、オブジェクト画素３１１および背景画素３１２を識別する（図４を参照）。それらのラベルは、最初のレベルセット３０３を生成するために伝播３１０される。その後、そのレベルセットは、出力画像においてセグメント３０９を生成するために、以下に詳細に記述されるコスト関数Ｊを使用して展開３０２される。
【００１１】
レベルセットは、関数Ω１、関数Ω２および関数Ｃを有する空間領域における入力画像のセグメンテーション（細分化）を表し、ここで、
【数１】
である。また、ここで、関数Ω１は、オブジェクト画素の背景領域を識別し、関数Ω２は、背景画素の背景領域を識別し、関数Ｃは、オブジェクト領域と背景領域との間の境界画素を識別し、また、（ｘ、ｙ）は、入力画像内の画素の位置の座標である。
【００１２】
コスト関数Ｊの、領域に基づくレベルセットコスト関数ＪＯは、
【数２】
である。ここで、ｕは、画像位置（ｘ、ｙ）の画素の強度であり、また、
【数３】
は、各領域の画素強度の平均であり、また、
【数４】
である。ここで、
【数５】
は、ヘヴィサイドのステップ（階段）関数である。単位ステップ（階段）関数とも呼ばれる、ヘヴィサイドの階段関数Ｈは、不連続関数であり、その値は、負の引数に対して０、また、正の引数に対して１である。
【００１３】
我々のコスト関数Ｊは、また、以下に述べるような、ユーザラベルコスト関数ＪＵおよび最大確信度（マクシマムビリーフ）コスト関数ＪＢを含む。
ユーザラベルのセットは、次の関数Ｌ（ｘ、ｙ）を使用してエンコードされる。
【００１４】
【数６】
【００１５】
図５に示されるように、ラベル伝播３１０は、ラベル付けされていない各画素５１０からラベル付けされた画素のうちの１つ５１１までの、画像グリッドグラフにおける経路５０１に沿った最小距離Ｄを決定する。画像グリッドグラフでは、各画素はノードであり、また、エッジは、各ノードを、画素５１０に対してのみ示されるように、８つの最も近い近隣の画素に接続する。
【００１６】
最小距離は、以下の式（９）で表される。
【００１７】
【数７】
【００１８】
ここで、ｋ＝０、１に対して、Ｌ（ｘｍ、ｙｍ）＝ｋであり、また、ｍは画素（ｘｍ、ｙｍ）のインデックスである。
【００１９】
すなわち、Ｄ０（ｘ、ｙ）は、位置（ｘ、ｙ）のラベル付けされていない画素から、ラベル付けされた画素のうちの強度が類似する１つまでの最小距離である。対応する経路は、（ｘ、ｙ）、（ｘ１、ｙ１）、（ｘ２、ｙ２）、．．．、（ｘｍ、ｙｍ）であり、ここで、Ｌ（ｘｍ、ｙｍ）＝０である。インデックスｍは、すべてのピクセル位置（ｘ、ｙ）に対して変化する。
【００２０】
言いかえれば、異なる位置の、ラベル付けされていない画素は、ラベル付けされた画素のうちの１つへの異なる経路を有し、またその結果、異なる経路長ｍを有する。
【００２１】
【数８】
【００２２】
最小距離は、確率的なレベルセットを以下の式のように初期化する。
【００２３】
【数９】
【００２４】
確率的なレベルセットが、以下の式の最大確信度コスト関数において使用される。
【００２５】
【数１０】
【００２６】
ここで、
【数１１】
は、オブジェクト画素の数である。
【００２７】
したがって、展開中に使用されるコスト関数は、以下の式のように、領域に基づくコスト関数ＪＯ、ユーザコスト関数ＪＵおよび最大確信度コスト関数ＪＢの和である。
【００２８】
【数１２】
【００２９】
ここで、λＵ＿およびλＢは、それぞれユーザコスト関数ＪＵおよび最大確信度コスト関数ＪＢの相対的重要度を制御するスカラパラメータである。
【００３０】
レベルセットは、極小値に到達するまで、コスト関数のオイラー−ラグランジュ方程式を使用して、展開される。これらのオイラー−ラグランジュ方程式は、極小値で微分可能で且つ定常である。
【００３１】
図６は、上述された本方法によって製作されたセグメント３０９を示し、それは、従来の方法での、図１に示されるセグメンテーションよりも、より正確に目で見ることができる。
【００３２】
この発明は好ましい実施の形態の例として記述されたが、この発明の趣旨および範囲内で様々な他の改変および変更を行ってもよいことが理解されるべきである。したがって、この発明の真実の趣旨および範囲内に入るような、すべての変更例および変形例をカバーすることが、添付の特許請求の範囲の目的である。
【技術分野】
【０００１】
この発明は、一般的には画像処理に関し、さらに詳細には、画像セグメンテーション（セグメント化）に関するものである。
【背景技術】
【０００２】
従来の画像処理は、画像をセグメント化（細分化）するために、レベルセット（レベル組）およびユーザ情報を使用することができる。たとえば、米国特許第７，２７７，５８２号、「Ｕｓｅｒ ｉｎｔｅｒａｃｔｉｖｅ ｌｅｖｅｌ ｓｅｔ ｍｅｔｈｏｄｓ ｆｏｒ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ（画像セグメント化のためのユーザ対話型レベルセット方法）」、を参照。レベルセットは、コスト関数を最小化するために展開され、オブジェクトピクセル（オブジェクト画素）およびバックグラウンドピクセル（背景画素）のイメージ（画像）強度バリアンス（偏差）が、コスト関数において使用される。ユーザは、ピクセル（画素）をオブジェクト画素または背景画素としてラベル付けし、ユーザによりラベル付けされた画素およびその近くの画素の符号からの、展開するレベルセットの符号の偏差を、等方性の重み付け（すなわち、全方向に一様な重み付け）によりペナルティーを科すことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来、ユーザラベルは画像強度情報を組込まない。レベルセット展開における偏差項が支配し、また、ユーザにより選択された背景位置の近くの画素だけが背景として残る。
【０００４】
図１は、従来のユーザ対話処理でのセグメンテーション（セグメント化）に失敗した画像を示す。図２に示される正しいセグメンテーションを達成するのは難しい。
【０００５】
この発明の目的は、正しいセグメンテーションを近似したセグメンテーションを生成することである。
【課題を解決するための手段】
【０００６】
この発明の実施の形態は、レベルセットおよびユーザラベルを使用して、入力画像をセグメント化する方法を提供する。本方法は、画像強度情報に基づいてラベルを伝播し、該情報を確率的なレベルセット表示と組み合わせる。本方法は、精度を改善、増大するとともに、処理時間を減少させる。
【発明の効果】
【０００７】
図６は、上述された本方法によって製作されたセグメント３０９を示し、それは、従来の方法での、図１に示されるセグメンテーションよりも、より正確に目で見ることができる。
【図面の簡単な説明】
【０００８】
【図１】従来の方法での、失敗したセグメンテーションの画像である。
【図２】図１の画像に対する正しいセグメンテーションである。
【図３】この発明の実施の形態１による、画像をセグメント化する方法のブロック図である。
【図４】この発明の実施の形態１による、ラベル付けされた画素を有する画像である。
【図５】この発明の実施の形態１による、画像グリッドグラフの概略図である。
【図６】この発明の実施の形態１による、セグメントの画像である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図３は、出力画像においてセグメント３０９を生成するために、我々の発明の実施の形態により、入力画像３０１をセグメント化する方法３００を示す。図６を参照。本方法の工程は、当該技術において知られているように、バスで接続されたメモリおよび入出力インタフェースを含むプロセッサで行うことができる。
【００１０】
ユーザは、１セット（組）のラベル３１０を供給する。そのラベルのセットは、オブジェクト画素３１１および背景画素３１２を識別する（図４を参照）。それらのラベルは、最初のレベルセット３０３を生成するために伝播３１０される。その後、そのレベルセットは、出力画像においてセグメント３０９を生成するために、以下に詳細に記述されるコスト関数Ｊを使用して展開３０２される。
【００１１】
レベルセットは、関数Ω１、関数Ω２および関数Ｃを有する空間領域における入力画像のセグメンテーション（細分化）を表し、ここで、
【数１】
である。また、ここで、関数Ω１は、オブジェクト画素の背景領域を識別し、関数Ω２は、背景画素の背景領域を識別し、関数Ｃは、オブジェクト領域と背景領域との間の境界画素を識別し、また、（ｘ、ｙ）は、入力画像内の画素の位置の座標である。
【００１２】
コスト関数Ｊの、領域に基づくレベルセットコスト関数ＪＯは、
【数２】
である。ここで、ｕは、画像位置（ｘ、ｙ）の画素の強度であり、また、
【数３】
は、各領域の画素強度の平均であり、また、
【数４】
である。ここで、
【数５】
は、ヘヴィサイドのステップ（階段）関数である。単位ステップ（階段）関数とも呼ばれる、ヘヴィサイドの階段関数Ｈは、不連続関数であり、その値は、負の引数に対して０、また、正の引数に対して１である。
【００１３】
我々のコスト関数Ｊは、また、以下に述べるような、ユーザラベルコスト関数ＪＵおよび最大確信度（マクシマムビリーフ）コスト関数ＪＢを含む。
ユーザラベルのセットは、次の関数Ｌ（ｘ、ｙ）を使用してエンコードされる。
【００１４】
【数６】
【００１５】
図５に示されるように、ラベル伝播３１０は、ラベル付けされていない各画素５１０からラベル付けされた画素のうちの１つ５１１までの、画像グリッドグラフにおける経路５０１に沿った最小距離Ｄを決定する。画像グリッドグラフでは、各画素はノードであり、また、エッジは、各ノードを、画素５１０に対してのみ示されるように、８つの最も近い近隣の画素に接続する。
【００１６】
最小距離は、以下の式（９）で表される。
【００１７】
【数７】
【００１８】
ここで、ｋ＝０、１に対して、Ｌ（ｘｍ、ｙｍ）＝ｋであり、また、ｍは画素（ｘｍ、ｙｍ）のインデックスである。
【００１９】
すなわち、Ｄ０（ｘ、ｙ）は、位置（ｘ、ｙ）のラベル付けされていない画素から、ラベル付けされた画素のうちの強度が類似する１つまでの最小距離である。対応する経路は、（ｘ、ｙ）、（ｘ１、ｙ１）、（ｘ２、ｙ２）、．．．、（ｘｍ、ｙｍ）であり、ここで、Ｌ（ｘｍ、ｙｍ）＝０である。インデックスｍは、すべてのピクセル位置（ｘ、ｙ）に対して変化する。
【００２０】
言いかえれば、異なる位置の、ラベル付けされていない画素は、ラベル付けされた画素のうちの１つへの異なる経路を有し、またその結果、異なる経路長ｍを有する。
【００２１】
【数８】
【００２２】
最小距離は、確率的なレベルセットを以下の式のように初期化する。
【００２３】
【数９】
【００２４】
確率的なレベルセットが、以下の式の最大確信度コスト関数において使用される。
【００２５】
【数１０】
【００２６】
ここで、
【数１１】
は、オブジェクト画素の数である。
【００２７】
したがって、展開中に使用されるコスト関数は、以下の式のように、領域に基づくコスト関数ＪＯ、ユーザコスト関数ＪＵおよび最大確信度コスト関数ＪＢの和である。
【００２８】
【数１２】
【００２９】
ここで、λＵ＿およびλＢは、それぞれユーザコスト関数ＪＵおよび最大確信度コスト関数ＪＢの相対的重要度を制御するスカラパラメータである。
【００３０】
レベルセットは、極小値に到達するまで、コスト関数のオイラー−ラグランジュ方程式を使用して、展開される。これらのオイラー−ラグランジュ方程式は、極小値で微分可能で且つ定常である。
【００３１】
図６は、上述された本方法によって製作されたセグメント３０９を示し、それは、従来の方法での、図１に示されるセグメンテーションよりも、より正確に目で見ることができる。
【００３２】
この発明は好ましい実施の形態の例として記述されたが、この発明の趣旨および範囲内で様々な他の改変および変更を行ってもよいことが理解されるべきである。したがって、この発明の真実の趣旨および範囲内に入るような、すべての変更例および変形例をカバーすることが、添付の特許請求の範囲の目的である。
【特許請求の範囲】
【請求項１】
オブジェクトの入力画像をセグメント化するための方法であって、
ラベル付けされた画素および残りのラベル付けされていない画素を生成するため、入力画像内の画素に対して、オブジェクト画素と背景画素とを識別する１組のラベルをユーザによって指定する工程と、
確率的に表される最初のレベルセットを生成するために、近隣の画素の強度の差に基づいて、前記入力画像内の前記ラベルを伝播する工程と、
出力画像内にセグメントを生成するために、コスト関数を使用して前記最初のレベルセットを展開する工程と、を備え、前記工程がプロセッサで行われる、方法。
【請求項２】
前記レベルは、関数Ω１、関数Ω２および関数Ｃを有する空間領域における前記入力画像のセグメンテーションを表し、ここで、
【数１】
であり、またここで、前記関数Ω１は前記オブジェクト画素のオブジェクト領域を識別し、前記関数Ω２は前記背景画素の背景領域を識別し、前記関数Ｃは、前記オブジェクト領域と前記背景領域との間の境界画素を識別し、また、（ｘ、ｙ）は前記入力画像内の画素の位置の座標である、請求項１の方法。
【請求項３】
前記コスト関数は領域に基づくレベルセット関数ＪＯ、ユーザラベルコスト関数ＪＵおよび最大確信度コスト関数ＪＢを含む、請求項１の方法。
【請求項４】
前記領域に基づくコスト関数は以下の式であり、
【数２】
ここで、ｕは位置（ｘ、ｙ）の画素の強度であり、また、
【数３】
は、特別な領域内の画素強度の平均であり、また、
【数４】
であり、ここで、
【数５】
はヘヴィサイドの階段関数である、請求項３の方法。
【請求項５】
前記ユーザラベルのセットは、関数、
【数６】
を使用してエンコードされる、請求項４の方法。
【請求項６】
前記伝播は、ラベル付けされていない各画素から前記ラベル付けされた画素のうちの１つまでの、画像グリッドグラフにおける経路に沿った最小距離Ｄを決定し、ここで、該最小距離は、
【数７】
であり、またここで、ｋ＝０、１に対して、Ｌ（ｘｍ、ｙｍ）＝ｋであり、ｍは画素（ｘｍ、ｙｍ）のインデックスである、請求項５の方法。
【請求項７】
前記最小距離は、確率的なレベルセットを、以下の式、
【数８】
のように初期化する、請求項６の方法。
【請求項８】
前記確率的なレベルセットは、以下の式の最大確信度コスト関数において使用され、
【数９】
ここで、
【数１０】
は前記オブジェクト画素の数である、請求項７の方法。
【請求項９】
前記コスト関数は、
【数１１】
であり、ここで、λＵ＿およびλＢは、それぞれユーザコスト関数ＪＵおよび最大確信度コスト関数ＪＢの相対的重要度を制御するスカラパラメータである、請求項１の方法。
【請求項１０】
前記展開することは、極小値に到達するまで、前記コスト関数のオイラー−ラグランジュ方程式を使用する、請求項１の方法。
【請求項１】
オブジェクトの入力画像をセグメント化するための方法であって、
ラベル付けされた画素および残りのラベル付けされていない画素を生成するため、入力画像内の画素に対して、オブジェクト画素と背景画素とを識別する１組のラベルをユーザによって指定する工程と、
確率的に表される最初のレベルセットを生成するために、近隣の画素の強度の差に基づいて、前記入力画像内の前記ラベルを伝播する工程と、
出力画像内にセグメントを生成するために、コスト関数を使用して前記最初のレベルセットを展開する工程と、を備え、前記工程がプロセッサで行われる、方法。
【請求項２】
前記レベルは、関数Ω１、関数Ω２および関数Ｃを有する空間領域における前記入力画像のセグメンテーションを表し、ここで、
【数１】
であり、またここで、前記関数Ω１は前記オブジェクト画素のオブジェクト領域を識別し、前記関数Ω２は前記背景画素の背景領域を識別し、前記関数Ｃは、前記オブジェクト領域と前記背景領域との間の境界画素を識別し、また、（ｘ、ｙ）は前記入力画像内の画素の位置の座標である、請求項１の方法。
【請求項３】
前記コスト関数は領域に基づくレベルセット関数ＪＯ、ユーザラベルコスト関数ＪＵおよび最大確信度コスト関数ＪＢを含む、請求項１の方法。
【請求項４】
前記領域に基づくコスト関数は以下の式であり、
【数２】
ここで、ｕは位置（ｘ、ｙ）の画素の強度であり、また、
【数３】
は、特別な領域内の画素強度の平均であり、また、
【数４】
であり、ここで、
【数５】
はヘヴィサイドの階段関数である、請求項３の方法。
【請求項５】
前記ユーザラベルのセットは、関数、
【数６】
を使用してエンコードされる、請求項４の方法。
【請求項６】
前記伝播は、ラベル付けされていない各画素から前記ラベル付けされた画素のうちの１つまでの、画像グリッドグラフにおける経路に沿った最小距離Ｄを決定し、ここで、該最小距離は、
【数７】
であり、またここで、ｋ＝０、１に対して、Ｌ（ｘｍ、ｙｍ）＝ｋであり、ｍは画素（ｘｍ、ｙｍ）のインデックスである、請求項５の方法。
【請求項７】
前記最小距離は、確率的なレベルセットを、以下の式、
【数８】
のように初期化する、請求項６の方法。
【請求項８】
前記確率的なレベルセットは、以下の式の最大確信度コスト関数において使用され、
【数９】
ここで、
【数１０】
は前記オブジェクト画素の数である、請求項７の方法。
【請求項９】
前記コスト関数は、
【数１１】
であり、ここで、λＵ＿およびλＢは、それぞれユーザコスト関数ＪＵおよび最大確信度コスト関数ＪＢの相対的重要度を制御するスカラパラメータである、請求項１の方法。
【請求項１０】
前記展開することは、極小値に到達するまで、前記コスト関数のオイラー−ラグランジュ方程式を使用する、請求項１の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１７０８４６（Ｐ２０１１−１７０８４６Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−１９７１５（Ｐ２０１１−１９７１５）
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１１−１９７１５（Ｐ２０１１−１９７１５）
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]