画像セグメンテーション方法、プログラムおよび装置
【課題】ユーザーからの簡単な指示で対象物を正確に抽出する画像セグメンテーション方法を提供する。
【解決手段】カラー画像を取得するカラー画像取得工程と、距離画像を取得する距離画像取得工程と、前景および背景の一部を設定する前景背景設定工程と、カラー画像の色情報と距離画像の距離情報とを統合的に用いて対象物を画像中からセグメンテーションする演算を実行する画像セグメンテーション演算実行工程と、を備える。記画像セグメンテーション演算実行工程は、色情報と距離情報とを有する４次元空間内において前景および背景がそれぞれ平面上に拘束された２画像の線形和で表わされるとするモデルを導入し、前景背景設定工程にて設定された前景領域と背景領域とを初期拘束条件としつつ、費用関数を最小化することで前景と背景とを重ね合わせる際の前景の不透明度αを算出する。
【解決手段】カラー画像を取得するカラー画像取得工程と、距離画像を取得する距離画像取得工程と、前景および背景の一部を設定する前景背景設定工程と、カラー画像の色情報と距離画像の距離情報とを統合的に用いて対象物を画像中からセグメンテーションする演算を実行する画像セグメンテーション演算実行工程と、を備える。記画像セグメンテーション演算実行工程は、色情報と距離情報とを有する４次元空間内において前景および背景がそれぞれ平面上に拘束された２画像の線形和で表わされるとするモデルを導入し、前景背景設定工程にて設定された前景領域と背景領域とを初期拘束条件としつつ、費用関数を最小化することで前景と背景とを重ね合わせる際の前景の不透明度αを算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像セグメンテーション方法、画像セグメンテーションプログラム、画像セグメンテーション装置に関する。具体的には、画像中から特定対象物を抽出する画像セグメンテーション方法に関する。
【背景技術】
【０００２】
画像データ中において特定の対象物を抽出する画像セグメンテーション方法が知られ、広い分野で用いられている。例えば、映像編集における画像合成や、MRI画像等の医療画像から特定部位を抽出する際に利用されている。また近年では、ロボットビジョンを人が見ながらロボットを遠隔操作する研究が進められている。
【０００３】
図10は、ロボットビジョンを人が見ながらロボットを遠隔操作するロボットシステムの概念図である。図において、ロボット10は可動アーム11と画像取得センサ12とを備えている。ユーザーの手元にはモニター13と制御装置であるホストコンピュータ14とが配置されている。ホストコンピュータ14には画像セグメンテーションを実行するプログラムが格納されている。そして、ロボット10の画像取得センサ12で撮像された画像はユーザーの手元にあるモニター13に伝送される。ユーザーがモニター13に表示された画像中の対象物Wを指示する。例えば、モニター上において対象物Wとその他の背景部分とをそれぞれ指でなぞる。すると、ロボット10は、画像中から対象物Wを抜き出して認識し、ユーザーからの指示によって対象物Wを持ち上げたり移動させたりする。
【０００４】
ここで、画像データから特定の領域を抽出する技術としてマッティング（matting）が知られ、非特許文献1ではカラー画像中から目的の前景画像を抽出する方法が開示されている。
非特許文献1に沿って従来のマッティング技術を説明する。
まず、入力画像Iを前景画像Fと背景画像Bとの線形和であると仮定し、不透明度αを用いて次のように表わす。
なお、下付きiは画素ごとのインデックスナンバーを表す。
【０００５】
【数１】
【０００６】
画像セグメンテーションでは、求めたい右辺の変数がすべて未知数である。
ユーザーからの簡単な指示によって適切なα、F、Bを求めることになるが、解析的に解けるようにするために条件を加えることが必要になる。
前記非特許文献1では、各画素の周囲の小窓内においてはFとBとはそれぞれ２色の線形和として表されるという仮定をおく。つまり、小窓内においてFi、Biは、RGB空間内でそれぞれ一本の直線で表わされるとする。非特許文献1では、これをカラーラインモデル（color line model）と呼んでいる。
【０００７】
【数２】
【０００８】
（式1）と（式2）とにより、RGBの各カラーチャンネルｃに対し、次の式が導出される。
【０００９】
【数３】
【００１０】
行列表現にすると、次のようになる。
【００１１】
【数４】
【００１２】
Hは、ｃ番目の行が[Fc2−Bc2, Fc1−Fc2, Bc1-Bc2]である3×3の行列であり、IiとB2は3つのカラーチャンネルをもつ3×1のベクトルである。
ここで、H-1の第1行を[aR, aG, aB]とし、また、H-1の第1行とベクトル-B２との内積をbと定めると、次の式が導出される。
【００１３】
【数５】
【００１４】
マッティング(matting)問題としてα，a，bを求めるために、カラー画像に対するマッティングの費用関数を次のように定義し、これを最小化する。
【００１５】
【数６】
【００１６】
なお、wjはj番目の画素周りの小窓である。
最後の項は、数値安定化のため、かつ、なめらかなαのための正規化項であり、例えば、小窓wのサイズを3×3とし、ε=10-7とすることが例として挙げられる。小窓を各画素に対してとると重なりが生じ、それによって情報が近接の画素に伝播していく。そして、与えられたαに対して各小窓wkに最適なa、bの組は最小自乗問題として解けることから、費用関数はαのみの式で表わされる。
【００１７】
【数７】
【００１８】
L(3)は、カラー画像に対するマッティングラプラシアン（Matting Laplacian）であって画素数Nの画像に対してN×Nの行列である。RGBの３カラーチャンネルの場合、L(3)の(i,j)要素は次のように表わされる。
【００１９】
【数８】
【００２０】
ここで、δijはクロネッカーのデルタ、Σk(3)は小窓wk内の輝度の3×3共分散行列、μk(3)は３×１の平均ベクトル、E3は3×3の単位行列を表す。
【００２１】
このようなモデルにおいて、ユーザーが画像中の前景と背景とをそれぞれ指定する。前景に指定された領域はαが1に決まり、背景に指定された領域はαが0に決まる。このような条件から出発して（式7）を適用することにより、画素ごとのαが算出される。このように算出されたαの値に基づいて全体画像から特定の対象物のみが抽出される。
上記方法によれば、RGBカラー画像に対するマッティング演算によって前景と背景とを区別して抽出することができる。
これは、単純なグレースケールを用いた演算処理に比べてより精密なセグメンテーションとなる。
【非特許文献１】A. Levin, D.Lischinski, and Y.Weiss. A closed-form solution to natural image matting. IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.30, NO.2, pp.228-242, 2008.
【発明の開示】
【発明が解決しようとする課題】
【００２２】
しかしながら、上記方法では、前景と背景とで色が異なることを前提とするため、前景と背景とで色が近似している場合には前景と背景との境界で不透明度αが近似した値になるという事態も起こりうる。
この場合、前景である特定対象物と背景とを区別して認識することが不可能となる。また、従来の方法では、カラー画像のうちどの部分が前景でどの部分が背景であるかをそれぞれユーザーが細かく指定しないと、パラメータが解けないので、ユーザーの操作が面倒であった。
【００２３】
本発明の目的は、上記問題を解決し、ユーザーからの簡単な指示で対象物を正確に抽出する画像セグメンテーション方法、画像セグメンテーション方法、画像セグメンテーションプログラムおよび画像セグメンテーション装置を提供することにある。
【課題を解決するための手段】
【００２４】
本発明の画像セグメンテーション方法は、画像中において特定の対象物を前景領域としその他の領域を背景領域として前記対象物を画像中からセグメンテーションする画像セグメンテーション方法であって、前記対象物を含んだ部分のカラー画像を取得するカラー画像取得工程と、前記対象物を含んだ部分の距離画像を取得する距離画像取得工程と、前景領域の一部または背景領域の一部のうち一方をユーザー指定によって設定するとともに、前景領域の一部または背景領域の一部のうちの他方を自動設定する前景背景設定工程と、前記カラー画像の色情報と前記距離画像の距離情報とを統合的に用いて前記対象物を画像中からセグメンテーションする演算を実行する画像セグメンテーション演算実行工程と、を備えることを特徴とする。
【００２５】
本発明では、前記画像セグメンテーション演算実行工程は、前景および背景がそれぞれ色情報と距離情報とを有する４次元空間内の平面に拘束された画像で表わされるとするモデルを導入し、前記前景背景設定工程にて設定された前景領域と背景領域を初期拘束条件としつつ、費用関数を最小化することで前景と背景とを重ね合わせる際の前景の不透明度αを算出することが好ましい。
【００２６】
本発明では、前記前景背景設定工程は、ユーザーが画像中において前景の一部として指定した画素を前景画素として設定する前景画素設定工程と、前記前景画素設定工程にて設定された画素の距離情報から所定距離以上離れた距離情報を有する画素を背景画素に自動設定する背景画素設定工程と、を備えることが好ましい。
【００２７】
本発明では、前記前景背景設定工程は、ユーザーが画像中において前景の一部として指定した画素を前景画素として設定する前景画素設定工程と、画像データの端部領域を背景画素として自動設定する背景画素設定工程と、を備えることが好ましい。
【００２８】
本発明では、前記前景背景設定工程は、ユーザーが抽出したい対象物の外側を囲む閉曲線を指定したことに対応してこの閉曲線に囲まれた領域を閉領域として設定する閉領域設定工程と、前記閉領域の外側を自動的に背景画素として設定する背景画素設定工程と、前記閉領域の中心領域を前景画素に設定する前景画素設定工程と、を備えることが好ましい。
【００２９】
本発明では、前記画像セグメンテーション演算実行工程は、前記閉領域の内側、または、前記閉領域が外接する矩形の内側のみを演算対象とすることが好ましい。
【００３０】
本発明では、前記画像セグメンテーション演算実行工程の前に、演算対象となる領域に含まれる画素が有する色値および／または距離値の分布がフルスケールになるようにスケール変換するスケール変換工程を備えることが好ましい。
【００３１】
本発明では、前記画像セグメンテーション演算実行工程によって互いに分離した領域が前景領域として複数抽出された場合に、前記分離した前景領域にラベリング処理を行うラベリング処理工程と、前記前景画素設定工程においてユーザーが前景画素として指示した画素を含む前景領域を抽出の対象物として認識して抽出する対象物抽出工程と、を備えることが好ましい。
【００３２】
本発明では、前記画像セグメンテーション演算実行工程によって算出される前景と背景とを重ね合わせる際の前景の不透明度αに対して平滑化処理を行う平滑化処理工程を備えることが好ましい。
【００３３】
本発明では、前記カラー画像取得工程にて取得したカラー画像と前記距離画像取得工程にて取得した距離画像とを統合する際にそれぞれの重み付けを調整することが好ましい。
【００３４】
本発明の画像セグメンテーションプログラムは、前記画像セグメンテーション方法をコンピュータに実行させることを特徴とする。
【００３５】
本発明の画像セグメンテーション装置は、カラー画像を取得するカラー画像取得カメラと、距離画像を取得する距離画像取得カメラと、ユーザーが画像中の前景または背景を指示する入力手段と、前記画像セグメンテーションプログラムを格納した演算制御部と、を備えることを特徴とする。
【発明を実施するための最良の形態】
【００３６】
以下に、本発明を実施するための最良の形態について図を参照して説明する。
本発明に係る第1実施形態について説明する。
図1は、本発明の第1実施形態に係る画像セグメンテーション装置の全体構成を示す図である。
画像セグメンテーション装置100は、被写体の撮像によりカラー画像および距離画像を取得するセンサ部200と、画像表示およびタッチセンサの機能を有する表示部300と、キーボード等の入力部400と、センサ部200にて取得された画像データ中から対象物を抽出する画像セグメンテーション演算を実行する演算制御部500と、を備えている。
【００３７】
センサ部200は、カラー画像取得カメラ210と、距離画像取得カメラ220と、を備える。カラー画像取得カメラ210は、たとえば、フォーカスカメラとCCDイメージセンサとを備えた構成であり、所定解像度のデジタルカラー画像を取得する。カラー画像取得カメラ210によって取得される画像データは二次元的に構成された画素ごとにRGBの色データを持ったデータとなる。
【００３８】
距離画像取得カメラ220は、被写体の各ポイントまでの距離データを取得する。
距離データの計測原理としては特に限定されるものではなく、例えば、レーザーを用いたレーザーレンジセンサでもよく、あるいは光切断法を用いた構成でもよく、レンズフォーカスを用いた構成でもよい。
【００３９】
表示部300は、画像表示とともにタッチセンサ（入力手段）の入力機能を有し、ユーザーがタッチした画面位置の情報を演算制御部500に出力可能である。また、入力部400は、キーボードなどにより所定のコマンド操作やパラメータの設定入力などを行う。
【００４０】
演算制御部500は、CPUおよびメモリを備えたマイクロコントローラであり、特に、画像演算処理に適した構成になっている。そして、メモリに格納された画像セグメンテーションプログラムを実行することによって画像セグメンテーションを行う。
具体的な処理動作は、フローチャートを参照しつつ説明する。
【００４１】
次に、画像セグメンテーション方法について説明する。
図2は、画像セグメンテーション方法の動作手順を示すフローチャートである。この動作は、演算制御部500の画像セグメンテーションプログラムが実行されることによって実現される。
各工程について順を追って説明する。
【００４２】
ST100において、画像データ取得工程を実行する。
画像データ取得工程ST100としては、カラー画像取得カメラ210によってカラー画像を取得するカラー画像取得工程ST110と、距離画像取得カメラ220によって距離画像を取得する距離画像取得工程ST120と、を順次実行する。取得されたカラー画像と距離画像とは座標系を合わせて、画素ごとに色データと距離データとを併せ持つ４次元データの画像とする。すなわち、画像Iのi画素に含まれる情報は、赤成分IiR、緑成分IiG、青成分IiB、距離情報Iidを持つ。
【００４３】
Ii＝（IiR, IiG, IiB, Iid）T
【００４４】
カラー画像PCと距離画像PDとを合成する様子を図3に概念的に示す。
なお、図面ではカラー表現やグレースケール表現ができないため、カラー画像PCは単純白黒であり、距離画像PDはハッチングで表わしている。
【００４５】
このようにして取得された画像データを、表示部300に表示する（取得画像表示工程ST200）。
なお、表示部300に表示する画像としては、カラー画像取得カメラ210によって取得したカラー画像{Ii＝（IiR, IiG, IiB）}だけでもよく、あるいは距離データを合わせて奥行きを表現した2.5D画像でもよい。
【００４６】
次に、前景背景設定工程（ST300）において、前景画素設定工程ST310と、背景画素設定工程ST320と、を順次実行する。
まず、前景画素設定工程（ST310）では、ユーザーから前景画素として指示された画素を前景画素として設定する。
このとき、ユーザーは、表示部300に表示された画像を見ながら背景から切り出して抽出したい対象物の一部をなぞる。すると、表示部300がタッチパネルとしてユーザーがなぞった位置の情報を演算制御部500に出力する。演算制御部500は、画像データのうちユーザーがなぞった画素を前景画素Fiとして設定する。
ここで、前景画素Fiに設定するとは、その画素の不透明度αiを1に設定するということである。
【００４７】
次に、背景画素設定工程ST320を実行する。
背景画素設定工程ST320においては、前景画素設定工程ST310で設定された前景画素の距離情報Iid（i∈F）から所定距離以上遠方である距離情報を有する画素を自動的に背景画素として設定する。
具体的には、演算制御部500の所定メモリに予め背景画素設定閾値θF-Bとして所定の距離差を設定しておく。そして、前景画素として指定された画素のうちの最大の距離情報max（Iid）を有するものから背景画素設定閾値θF-B以上離れたものを背景画素とする。
【００４８】
【数９】
【００４９】
このように背景画素として自動設定された画素については不透明度αを０に設定する。
【００５０】
このように前景背景設定工程（ST300）によって前景画素および背景画素を部分的に設定したところで、次にセグメンテーション演算実行工程（ST400）を実行する。
本実施形態におけるセグメンテーション演算実行工程（ST400）では、入力画像Iの情報として色情報（IiR, IiG, IiB）に加えて距離情報Iidを有するため、背景技術で説明したマッティング技術を距離情報を含んだアルゴリズムに拡張し、色情報と距離情報とを統合的に用いて抽出対象となる前景画像を高精度に切り出す点に大きな特徴を有する。
まず、マッティング技術を距離情報に対して拡張するアルゴリズムを示し、続いて費用関数の最小化を実行することで全画素のαを決定する演算処理について説明する。
【００５１】
本実施形態において新たに加えた距離情報についても線形性が成り立つとする。
【００５２】
【数１０】
【００５３】
なお、Ii＝（IiR, IiG, IiB, Iid）T、Fi＝（FiR, FiG, FiB, Fid）T、Bi＝（BiR, BiG, BiB, Bid）Tである。
【００５４】
そして、カラーラインモデルでRGB３次元空間内の直線上に拘束した条件を４次元空間内の平面上の拘束に拡張する。
本発明では、色情報と距離情報とを有する４次元空間内において前景および背景がそれぞれ平面上に拘束された画像で表わされるとするモデルを導入する。
すなわち、前景および背景はそれぞれ４次元中の３ベクトルの線形和で表わされるものとなる。
このモデルをcolor-distance plane modelと呼ぶことにする。
color-distance plane modelは、ある定ベクトルF1, F2, F3、B1, B2, B3に対して次の式を与える。
【００５５】
【数１１】
【００５６】
したがって、（式10）は次のようになる。
【００５７】
【数１２】
【００５８】
これを整理し、行列を用いて表す。
【００５９】
【数１３】
【００６０】
Hは、ｃ番目の行が[Fc3−Bc3, Fc1−Fc3, Fc2-Fc3, Bc1-Bc3,Bc2-Bc3]である4×5の行列である。
Aは、A＝（αi、αiβFi、αiγFi、（1-αi）βBi、（1-αi）γiB）Tで表わされる5×1のベクトルである。
また、C＝Ii−B3である。
【００６１】
Hは4×5で列が冗長であるため、擬似逆行列H＋をかけても単位行列にならない。そこで、Aのノルムを最小にする条件を与える。ラグランジュの未定乗数法により、ラグランジュ乗数λを用いてラグランジュ関数Lは次のように与えられる。
【００６２】
【数１４】
【００６３】
（式14）の極値化の条件は、
【００６４】
【数１５】
【００６５】
すなわち、次のようになる。
【００６６】
【数１６】
【００６７】
第１項目の逆行列を左から両辺にかけると、次の式が導かれる。
【００６８】
【数１７】
【００６９】
ここで、HT（HHT）-1＝H＋とすると、A＝H+Cである。Aの要素を明示すると次のようになる。
【００７０】
【数１８】
【００７１】
H+の第1行目を[aR, aG, aB, ad]とし、H+の第1行目と-B3との内積をbとすると、次の式が成り立つ。
【００７２】
【数１９】
【００７３】
このように距離情報を含めた4次元情報においてcolor-distance plane modelを導入することにより、（式19）を導くことができた。これは、前記背景技術で説明したカラーラインモデルの式5に対応しており、カラーラインモデルの（式19）をそのまま４次元に拡張できた。したがって、費用関数についても４次元に拡張でき、次のようになる。
【００７４】
【数２０】
【００７５】
式20からac、bを消去してαのみの式とする。
【００７６】
【数２１】
【００７７】
ここで、Lはマッティングラプラシアン（Matting Laplacian）であり、色情報（RGB）と距離情報（d）の4チャンネルの場合のL(4)の(i,j)要素は次のように表わされる。
【００７８】
【数２２】
【００７９】
ここで、Σk(4)は小窓wk内の4×4共分散行列、μk(4)は4×1の平均ベクトル、E4は4×4の単位行列を表す。
【００８０】
このようにして色情報に距離情報を加えた4次元情報においてcolor-distance plane modelの導入によるマッティング技術の拡張ができた。
次に、前景画素設定工程（ST310）におけるユーザーの前景指定（α=1）と背景画素設定工程（ST320）における背景画素（α=0）の自動設定とを初期拘束条件として、これを満たしつつ費用関数を最小化するαを求める。すなわち、次の式によりαを決定する。
【００８１】
【数２３】
【００８２】
ここで、Sは前景背景設定工程（ST300）において前景および背景に設定された画素の集合を表す。
siは画素ごとに設定された不透明度αの値を表し、すなわち、前景画素に設定されていれば1であり、背景画素に設定されていれば0である。
【００８３】
（式23）に最小自乗法を用いた解法を適用するため、行列を使った次の表現に変形する。
【００８４】
【数２４】
【００８５】
νは初期拘束条件をどの程度重視するかの重みを表し、たとえば100に設定することが例として挙げられる。
画像の全画素数をNとするとき、Dsは、N×Nの行列であって前景または背景に設定された画素に対応する対角成分が1でその他は0である対角行列である。
bsはN×1のベクトルであって、前景または背景として設定された画素に対応する要素にはその画素のα値が格納され、それ以外は0である。
（式24）はαに関する2次式であり、αに関する偏微分を0にすることで最小化がなされる。したがって、以下の式が導かれる。
【００８６】
【数２５】
【００８７】
すなわち、演算制御部は（式25）をあらかじめ格納しており、前景背景設定工程（ST300）にて設定された前景画素および背景画素を初期条件として（式25）を解く。これによって画素ごとのα値を算出する。
このように算出したαに基づいて入力画像から対象物を抽出するにあたっては、算出したαに対して閾値処理による２値化を行い、これをマスクとして入力画像にかけることで前景画像を作成する。これにより、画像中の対象物の画像を抽出する。
【００８８】
次に、抽出画像表示工程（ST500）を実行する。
これは、セグメンテーション演算実行工程（ST400）にて抽出した対象物を表示部300に表示する工程である。
表示部300に表示する場合には、抽出した対象物をカラー画像表示するようにカラー画像から抽出した部分だけをトリミングして表示する。あるいは、距離情報を加えて2.5D画像として表示させてもよい。
【００８９】
以上に説明した本発明の第1実施形態によれば次の効果を奏する。
（１）色情報だけでなく距離情報を加味した画像セグメンテーション演算を実行するので、精度よく対象物を抽出することができる。
従来のごとく色情報のみに基づいたセグメンテーションでは前景と背景とで色が似通っていると前景を背景との区別ができないが、本実施形態では色が類似していたとしても距離情報によって前景と背景とを正確に切り分けて区別することができる。これにより従来よりも高精度な画像セグメンテーションを可能にするという格別の効果を奏する。
【００９０】
（２）前景背景設定工程ST300において、ユーザーは前景のみを指示するだけで背景画素まで細かく指示する必要はないため、ユーザーの操作が非常に簡単になる。また、ユーザーが抜き出したいものを指定するだけでよいので、前景と背景とを細かく分けて指定するテクニカルな操作に比べて非常に自然なものとできる。
従来は、色情報のみしか取得しなかったため、ユーザーが前景と背景とを細かく指定しなければセグメンテーション演算を正確に実行することができなかったが、本実施形態では、色情報に加えて距離情報を取得するので、前景の一部を指定すれば前景から所定距離以上離れた地点は背景であると演算制御部500によって自動設定することが可能である。このように、本実施形態によれば、ユーザー操作が簡便でありながらも高精度の画像セグメンテーションを実行できる。
【００９１】
（第2実施形態）
第2実施形態について説明する。第2実施形態の基本的構成は第1実施形態に同様であるが、前景背景設定工程において前景画素と背景画素とを設定する手順に特徴を有する。
上記第1実施形態においては、ユーザーがタッチパネルである表示部300上で前景画素を指示し（前景画素設定工程ST310）、前景画素から所定距離以上遠方の距離情報を有する画素を背景画素として自動設定した（背景画素設定工程ST320）。
これに対し第2実施形態としては、背景画素設定工程ST320において、抽出の対象物は画像の端部領域には含まれないものとし、画像データの端部領域（例えば画像の縁から５画素分）を背景画素として自動設定する。
なお、背景画素設定工程としては、上記のように画像の端部領域だけを背景画素として設定してもよく、または、上記第1実施形態で説明した背景画素の設定と併用してもよい。
本第2実施形態によれば、初期拘束条件で背景画素として設定する画素が多くなるのでセグメンテーション演算の精度が高くなる。たとえば、対象物が載っている机のなどのように対象物よりも手前にあるが背景であるものを初期条件として背景に自動設定できる。
【００９２】
（第3実施形態）
次に、第3実施形態について説明する。
第3実施形態の基本的構成は第1実施形態に同様であるが、前景背景設定工程において前景画素と背景画素とを設定する手順に特徴を有する。
第3実施形態においては、前景背景設定工程において、ユーザーが対象物を囲む閉領域を指示する。
図4は、第3実施形態における前景背景設定工程の手順を示すフローチャートである。
また、図5は、ユーザーの指示から前景画素を設定する流れを概念的に示す図である。
【００９３】
画像データ取得工程ST100の後、前景背景設定工程ST320において、ユーザーは表示部300の画像表示を見ながら抽出したい対象物の外側を囲むように閉曲線Cを描き、この閉曲線Cで囲まれた閉領域を指定する（閉領域設定工程ST330）。
この閉領域の外側は自動的に背景画素として設定される（背景画素設定工程ST340）。
次に、対象物は、閉領域の中心領域であるという推定から前景画素を設定する（前景画素設定工程ST350）。すなわち、閉曲線Cから所定画素数以上内側にある領域を前景画素として設定する。DiPをi画素と閉曲線との最短距離とすると、前景画素Fは次の集合で表わされる。
【００９４】
【数２６】
【００９５】
ここで、jは閉曲線C上の画素を表すインデックスであり、dist（Ii,Ij）は、i画素とj画素との間隔を求める関数である。
（式26）は、図4に示すように、閉領域において閉曲線Cまでの距離に応じた場を形成し、その場を閾値θPで切断した面、すなわち、閉曲線からの距離がθPを超えるものを前景画素に設定することを示す。
【００９６】
これにより、背景画素と前景画素とが設定されるので、これを初期拘束条件として第1実施形態で説明した画像セグメンテーション演算実行工程（ST400）を実行する。
【００９７】
（変形例1）
上記第3実施形態では、前景画素を設定するにあたり、閉曲線からの距離（画素数）に基づいて閉領域内に前景画素を設定したが、さらに、次のように画素の距離情報を利用してもよい。
第3実施形態の変形例1として、まず、閉領域内の画素の距離情報が同値である画素をそれぞれ抜き出す。そして、距離情報が同値である画素について上記の場（DiP）を荷重値とし、荷重値の相加平均（算術平均）を求める。距離情報が同値である画素群ごとに求められた相加平均が有意（例えば所定値以上）である画素群を前景画素として自動設定する。同様に色値についても同じ色値を有する画素群ごとに荷重値の相加平均を求めて、有意な画素群を前景画素に設定してもよい。
【００９８】
（変形例２）
上記第3実施形態にあってはユーザーが対象物を含む領域を閉曲線で指示するため（閉領域設定工程ST330）、画像セグメンテーション演算実行工程（ST400）では、この閉領域の内側だけを計算対象としてもよい。あるいは、この閉領域が外接する矩形内にのみセグメンテーション演算を実行してもよい。これにより、計算量が格段に少なくなるので処理の高速化を図ることができる。
【００９９】
（第4実施形態）
次に第4実施形態について説明する。
第4実施形態の基本的構成は第1実施形態に同様であるが、セグメンテーション演算実行工程（ST400）の前にスケール変換工程（ST390）を実行する点に特徴を有する。
図6は、第4実施形態の動作を説明するフローチャートである。
第4実施形態においては、前景画素と背景画素とが設定された後、スケール変換工程（ST390）において画像中の画素が有する色値および距離値の分布がフルスケールになるようにスケール変換する。
【０１００】
カラー画像取得カメラ210および距離画像取得カメラ220は広い範囲でデータを取得できるように調整されているが、セグメンテーション演算において計算の対象になる色値および距離値は撮像対象によって大きく異なってくる。そして、個々の演算対象ではカメラのフルレンジに合わせて計算する必要はない。
図7は、スケール変換の様子を概念的に示す図である。
図7(A）は、画像中の画素の色値または距離値の分布を示す。
特定の画像中ではフルレンジに万遍なくデータ値が分布することはなく、特定の領域に集中する。そこで、演算対象となる領域について高精度に演算するため、図7(A)中の上下限値がフルスケールになるようして図7(B)に示されるようにスケール変換を行う。これにより、注目したい画素の色値および距離値に重みが付くことになり、対象についての高精度な演算結果を得ることができる。
【０１０１】
なお、スケール変換を行うにあたり、前景画素および背景画素の設定手順としては、上記第1実施形態に示した前景背景設定工程の方法の他、上記第2実施形態および第3実施形態の場合でも適用できる。
第3実施形態の場合にはユーザーが閉領域を指示するところ、この閉領域内の画素の色値および距離値のデータをフルスケールに変換してもよい。
【０１０２】
（第5実施形態）
次に第5実施形態について説明する。
第5実施形態の基本的構成は第1実施形態に同様であるが、セグメンテーション演算の結果に対してラベリング処理を行ってユーザーが意図した対象物のみを抽出する点に特徴を有する。
図8は、第5実施形態の動作を説明するフローチャートである。
ST400においてセグメンテーション演算を実行するところ、セグメンテーション演算実行工程（ST400）の結果として、互いに分離した領域が前景領域として複数抽出される場合があり得る。そこで、第5実施形態においては、ST400のセグメンテーション演算に続いて、分離した前景領域にラベリングを行う（ラベリング処理工程ST410）。そして、ST310にてユーザーが前景画素として指示した画素を含む前景領域を抽出の対象物として認識し、この領域だけを最終的に抽出する（対象物抽出工程ST420）。これによりユーザーが意図した対象物を正確に抽出することができる。
【０１０３】
（第6実施形態）
次に第6実施形態について説明する。
第6実施形態の基本的構成は第1実施形態に同様であるが、セグメンテーション演算の結果に対して平滑化処理を行う点に特徴を有する。
図9は、第6実施形態の動作を説明するフローチャートである。
ST400においてセグメンテーション演算を実行するところ、セグメンテーション演算実行工程（ST400）の結果として、αがランダムな離散値になる場合があり得る。特に、前景領域と背景領域との境界部分ではα値がランダムに飛び飛びになることがあり得る。
そこで、第6実施形態においては、ST400のセグメンテーション演算に続いて、各画素のα値を周囲の画素に対して平滑化する平滑化処理を行う（平滑化処理工程ST430）。これによりノイズ除去を行い、対象物の輪郭を滑らかかつ高精度に切り出すことができる。なお、平滑化フィルタの種類としては特に限定されるものではない。
【０１０４】
（第7実施形態）
次に第7実施形態について説明する。
第7実施形態の基本的構成は第1実施形態に同様であるが、色情報と距離情報との重み付けを変えた場合のセグメンテーション演算を複数行う点に特徴を有する。
本発明では画像Iのi画素に含まれる情報は、赤成分IiR、緑成分IiG、青成分IiB、距離情報Iidを持つが（Ii＝（IiR, IiG, IiB, Iid））、色情報と距離情報とは別々の測定系で得るものである。
したがって、画素Iiの情報として統合させる際に色情報と距離情報とでスケールを適切に合わせる必要がある。
ここで、第7実施形態においては、色情報と距離情報と合成する際にそれぞれのスケールを変換する比率のパターンを複数用意しておく。そして、各パターンでセグメンテーション演算を実行し、それらの結果を表示部に表示してユーザーに提示する。ユーザーとしては、もっとも適切に対象物を抽出しているセグメンテーション結果を選択する。
このように色情報と距離情報とを合成する際のスケール比率を変えることにより、色情報と距離情報との重み付けを調整することができる。
これにより、色情報で抽出しやすい場合や距離情報で抽出しやすい場合などその場その場に応じて最適な４次元画像セグメンテーションを行うことができる。
【０１０５】
（変形例3）
上記第7実施形態にあっては、色情報と距離情報との重み付けを複数パターン予め用意しておく場合を説明したが、ユーザーがその都度重み付けパラメータを設定してもよいことはもちろんである。
その場合、たとえば、画面上に表示されたスライダーをユーザーが操作して色情報と距離情報の重み付けを簡便に設定変更できるようにしてもよい。
【０１０６】
また、カラー画像取得カメラ210および距離画像取得カメラ220は距離によって取得データの精度が異なってくるが、距離と精度の関係が両者で異なる場合が考えられる。
このような場合、近景と遠景とでは色情報と距離情報との影響の度合いが異なってくることになる。そこで、事前に色情報と距離情報とのスケールを合わせる非線形マップを作成しておく。そして、前記非線形マップに従ったスケール変換によって色情報と距離情報とを合成する。これにより、近くと遠くとで変わりなく精度の高い画像セグメンテーションを実行することができる。
【０１０７】
なお、本発明は上記実施形態に限定されず、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれる。
センサ部の構成としてはカラー画像取得カメラと距離画像取得カメラとが別体である場合を例示したが、カメラで取得した画像に対応する距離情報を直接取得する構成であってもよい。
このような構成としては、たとえば、角度をつけたレーザー投光器とカラー画像を取得するCCDセンサとを内蔵し、三角測距法で距離を計測しつつカラー画像を取り込む光切断方式などが知られている。このように距離データと色データとを同時に取得するセンサを用いることにより、光軸ずれがなくなり、色情報と距離情報との４次元データを高精度に統合し、その結果、高精度な画像セグメンテーションを行うことができる。
【０１０８】
上記第1実施形態において、背景画素設定工程ST320では、前景画素の距離情報Iid（i∈F）から所定距離以上遠方である距離情報を有する画素を背景画素に設定したが、遠方側のみならず、所定距離以上近い側の距離情報を有する画素も背景画素として設定してもよい。すなわち、前景画素として設定された画素が有する距離情報の上下限値に対して所定距離以上離れた距離情報を有する画素を背景画素に設定してもよい。
このとき、ロボット遠隔操作を行う場合などには、背景画素を設定する際の距離の閾値としてロボットの可動アームの長さを用いてもよい。
【０１０９】
上記実施形態では、表示部がタッチパネルになっており、ユーザーは表示部に表示された画像をなぞることで前景または背景の指示を行う場合を説明したが、前景または背景の指定はマウスによる操作などの別の入力手段によって入力指示してもよいことはもちろんである。
【０１１０】
上記実施形態において、カラー画像はRGBの３次元情報としたが、色情報としては単色のグレースケールであっても本発明のごとく距離情報を統合した画像セグメンテーションを行うことができる。
【図面の簡単な説明】
【０１１１】
【図１】第1実施形態に係る画像セグメンテーション装置の全体構成を示す図。
【図２】第1実施形態に係る画像セグメンテーション方法の動作手順を示すフローチャート。
【図３】第1実施形態において、カラー画像と距離画像とを合成する様子を概念的に示す図。
【図４】第3実施形態において、前景背景設定工程の手順を示すフローチャート。
【図５】第3実施形態において、ユーザーの指示から前景画素を設定する流れを概念的に示す図。
【図６】第4実施形態の動作を説明するフローチャートである。
【図７】第4実施形態において、スケール変換の様子を概念的に示す図。
【図８】第5実施形態の動作を説明するフローチャート。
【図９】第6実施形態の動作を説明するフローチャート。
【図１０】背景技術において、ロボットを遠隔操作するシステムを示す図。
【符号の説明】
【０１１２】
100…画像セグメンテーション装置、200…センサ部、210…カラー画像取得カメラ、220…距離画像取得カメラ、300…表示部、400…入力部、500…演算制御部。
【技術分野】
【０００１】
本発明は、画像セグメンテーション方法、画像セグメンテーションプログラム、画像セグメンテーション装置に関する。具体的には、画像中から特定対象物を抽出する画像セグメンテーション方法に関する。
【背景技術】
【０００２】
画像データ中において特定の対象物を抽出する画像セグメンテーション方法が知られ、広い分野で用いられている。例えば、映像編集における画像合成や、MRI画像等の医療画像から特定部位を抽出する際に利用されている。また近年では、ロボットビジョンを人が見ながらロボットを遠隔操作する研究が進められている。
【０００３】
図10は、ロボットビジョンを人が見ながらロボットを遠隔操作するロボットシステムの概念図である。図において、ロボット10は可動アーム11と画像取得センサ12とを備えている。ユーザーの手元にはモニター13と制御装置であるホストコンピュータ14とが配置されている。ホストコンピュータ14には画像セグメンテーションを実行するプログラムが格納されている。そして、ロボット10の画像取得センサ12で撮像された画像はユーザーの手元にあるモニター13に伝送される。ユーザーがモニター13に表示された画像中の対象物Wを指示する。例えば、モニター上において対象物Wとその他の背景部分とをそれぞれ指でなぞる。すると、ロボット10は、画像中から対象物Wを抜き出して認識し、ユーザーからの指示によって対象物Wを持ち上げたり移動させたりする。
【０００４】
ここで、画像データから特定の領域を抽出する技術としてマッティング（matting）が知られ、非特許文献1ではカラー画像中から目的の前景画像を抽出する方法が開示されている。
非特許文献1に沿って従来のマッティング技術を説明する。
まず、入力画像Iを前景画像Fと背景画像Bとの線形和であると仮定し、不透明度αを用いて次のように表わす。
なお、下付きiは画素ごとのインデックスナンバーを表す。
【０００５】
【数１】
【０００６】
画像セグメンテーションでは、求めたい右辺の変数がすべて未知数である。
ユーザーからの簡単な指示によって適切なα、F、Bを求めることになるが、解析的に解けるようにするために条件を加えることが必要になる。
前記非特許文献1では、各画素の周囲の小窓内においてはFとBとはそれぞれ２色の線形和として表されるという仮定をおく。つまり、小窓内においてFi、Biは、RGB空間内でそれぞれ一本の直線で表わされるとする。非特許文献1では、これをカラーラインモデル（color line model）と呼んでいる。
【０００７】
【数２】
【０００８】
（式1）と（式2）とにより、RGBの各カラーチャンネルｃに対し、次の式が導出される。
【０００９】
【数３】
【００１０】
行列表現にすると、次のようになる。
【００１１】
【数４】
【００１２】
Hは、ｃ番目の行が[Fc2−Bc2, Fc1−Fc2, Bc1-Bc2]である3×3の行列であり、IiとB2は3つのカラーチャンネルをもつ3×1のベクトルである。
ここで、H-1の第1行を[aR, aG, aB]とし、また、H-1の第1行とベクトル-B２との内積をbと定めると、次の式が導出される。
【００１３】
【数５】
【００１４】
マッティング(matting)問題としてα，a，bを求めるために、カラー画像に対するマッティングの費用関数を次のように定義し、これを最小化する。
【００１５】
【数６】
【００１６】
なお、wjはj番目の画素周りの小窓である。
最後の項は、数値安定化のため、かつ、なめらかなαのための正規化項であり、例えば、小窓wのサイズを3×3とし、ε=10-7とすることが例として挙げられる。小窓を各画素に対してとると重なりが生じ、それによって情報が近接の画素に伝播していく。そして、与えられたαに対して各小窓wkに最適なa、bの組は最小自乗問題として解けることから、費用関数はαのみの式で表わされる。
【００１７】
【数７】
【００１８】
L(3)は、カラー画像に対するマッティングラプラシアン（Matting Laplacian）であって画素数Nの画像に対してN×Nの行列である。RGBの３カラーチャンネルの場合、L(3)の(i,j)要素は次のように表わされる。
【００１９】
【数８】
【００２０】
ここで、δijはクロネッカーのデルタ、Σk(3)は小窓wk内の輝度の3×3共分散行列、μk(3)は３×１の平均ベクトル、E3は3×3の単位行列を表す。
【００２１】
このようなモデルにおいて、ユーザーが画像中の前景と背景とをそれぞれ指定する。前景に指定された領域はαが1に決まり、背景に指定された領域はαが0に決まる。このような条件から出発して（式7）を適用することにより、画素ごとのαが算出される。このように算出されたαの値に基づいて全体画像から特定の対象物のみが抽出される。
上記方法によれば、RGBカラー画像に対するマッティング演算によって前景と背景とを区別して抽出することができる。
これは、単純なグレースケールを用いた演算処理に比べてより精密なセグメンテーションとなる。
【非特許文献１】A. Levin, D.Lischinski, and Y.Weiss. A closed-form solution to natural image matting. IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.30, NO.2, pp.228-242, 2008.
【発明の開示】
【発明が解決しようとする課題】
【００２２】
しかしながら、上記方法では、前景と背景とで色が異なることを前提とするため、前景と背景とで色が近似している場合には前景と背景との境界で不透明度αが近似した値になるという事態も起こりうる。
この場合、前景である特定対象物と背景とを区別して認識することが不可能となる。また、従来の方法では、カラー画像のうちどの部分が前景でどの部分が背景であるかをそれぞれユーザーが細かく指定しないと、パラメータが解けないので、ユーザーの操作が面倒であった。
【００２３】
本発明の目的は、上記問題を解決し、ユーザーからの簡単な指示で対象物を正確に抽出する画像セグメンテーション方法、画像セグメンテーション方法、画像セグメンテーションプログラムおよび画像セグメンテーション装置を提供することにある。
【課題を解決するための手段】
【００２４】
本発明の画像セグメンテーション方法は、画像中において特定の対象物を前景領域としその他の領域を背景領域として前記対象物を画像中からセグメンテーションする画像セグメンテーション方法であって、前記対象物を含んだ部分のカラー画像を取得するカラー画像取得工程と、前記対象物を含んだ部分の距離画像を取得する距離画像取得工程と、前景領域の一部または背景領域の一部のうち一方をユーザー指定によって設定するとともに、前景領域の一部または背景領域の一部のうちの他方を自動設定する前景背景設定工程と、前記カラー画像の色情報と前記距離画像の距離情報とを統合的に用いて前記対象物を画像中からセグメンテーションする演算を実行する画像セグメンテーション演算実行工程と、を備えることを特徴とする。
【００２５】
本発明では、前記画像セグメンテーション演算実行工程は、前景および背景がそれぞれ色情報と距離情報とを有する４次元空間内の平面に拘束された画像で表わされるとするモデルを導入し、前記前景背景設定工程にて設定された前景領域と背景領域を初期拘束条件としつつ、費用関数を最小化することで前景と背景とを重ね合わせる際の前景の不透明度αを算出することが好ましい。
【００２６】
本発明では、前記前景背景設定工程は、ユーザーが画像中において前景の一部として指定した画素を前景画素として設定する前景画素設定工程と、前記前景画素設定工程にて設定された画素の距離情報から所定距離以上離れた距離情報を有する画素を背景画素に自動設定する背景画素設定工程と、を備えることが好ましい。
【００２７】
本発明では、前記前景背景設定工程は、ユーザーが画像中において前景の一部として指定した画素を前景画素として設定する前景画素設定工程と、画像データの端部領域を背景画素として自動設定する背景画素設定工程と、を備えることが好ましい。
【００２８】
本発明では、前記前景背景設定工程は、ユーザーが抽出したい対象物の外側を囲む閉曲線を指定したことに対応してこの閉曲線に囲まれた領域を閉領域として設定する閉領域設定工程と、前記閉領域の外側を自動的に背景画素として設定する背景画素設定工程と、前記閉領域の中心領域を前景画素に設定する前景画素設定工程と、を備えることが好ましい。
【００２９】
本発明では、前記画像セグメンテーション演算実行工程は、前記閉領域の内側、または、前記閉領域が外接する矩形の内側のみを演算対象とすることが好ましい。
【００３０】
本発明では、前記画像セグメンテーション演算実行工程の前に、演算対象となる領域に含まれる画素が有する色値および／または距離値の分布がフルスケールになるようにスケール変換するスケール変換工程を備えることが好ましい。
【００３１】
本発明では、前記画像セグメンテーション演算実行工程によって互いに分離した領域が前景領域として複数抽出された場合に、前記分離した前景領域にラベリング処理を行うラベリング処理工程と、前記前景画素設定工程においてユーザーが前景画素として指示した画素を含む前景領域を抽出の対象物として認識して抽出する対象物抽出工程と、を備えることが好ましい。
【００３２】
本発明では、前記画像セグメンテーション演算実行工程によって算出される前景と背景とを重ね合わせる際の前景の不透明度αに対して平滑化処理を行う平滑化処理工程を備えることが好ましい。
【００３３】
本発明では、前記カラー画像取得工程にて取得したカラー画像と前記距離画像取得工程にて取得した距離画像とを統合する際にそれぞれの重み付けを調整することが好ましい。
【００３４】
本発明の画像セグメンテーションプログラムは、前記画像セグメンテーション方法をコンピュータに実行させることを特徴とする。
【００３５】
本発明の画像セグメンテーション装置は、カラー画像を取得するカラー画像取得カメラと、距離画像を取得する距離画像取得カメラと、ユーザーが画像中の前景または背景を指示する入力手段と、前記画像セグメンテーションプログラムを格納した演算制御部と、を備えることを特徴とする。
【発明を実施するための最良の形態】
【００３６】
以下に、本発明を実施するための最良の形態について図を参照して説明する。
本発明に係る第1実施形態について説明する。
図1は、本発明の第1実施形態に係る画像セグメンテーション装置の全体構成を示す図である。
画像セグメンテーション装置100は、被写体の撮像によりカラー画像および距離画像を取得するセンサ部200と、画像表示およびタッチセンサの機能を有する表示部300と、キーボード等の入力部400と、センサ部200にて取得された画像データ中から対象物を抽出する画像セグメンテーション演算を実行する演算制御部500と、を備えている。
【００３７】
センサ部200は、カラー画像取得カメラ210と、距離画像取得カメラ220と、を備える。カラー画像取得カメラ210は、たとえば、フォーカスカメラとCCDイメージセンサとを備えた構成であり、所定解像度のデジタルカラー画像を取得する。カラー画像取得カメラ210によって取得される画像データは二次元的に構成された画素ごとにRGBの色データを持ったデータとなる。
【００３８】
距離画像取得カメラ220は、被写体の各ポイントまでの距離データを取得する。
距離データの計測原理としては特に限定されるものではなく、例えば、レーザーを用いたレーザーレンジセンサでもよく、あるいは光切断法を用いた構成でもよく、レンズフォーカスを用いた構成でもよい。
【００３９】
表示部300は、画像表示とともにタッチセンサ（入力手段）の入力機能を有し、ユーザーがタッチした画面位置の情報を演算制御部500に出力可能である。また、入力部400は、キーボードなどにより所定のコマンド操作やパラメータの設定入力などを行う。
【００４０】
演算制御部500は、CPUおよびメモリを備えたマイクロコントローラであり、特に、画像演算処理に適した構成になっている。そして、メモリに格納された画像セグメンテーションプログラムを実行することによって画像セグメンテーションを行う。
具体的な処理動作は、フローチャートを参照しつつ説明する。
【００４１】
次に、画像セグメンテーション方法について説明する。
図2は、画像セグメンテーション方法の動作手順を示すフローチャートである。この動作は、演算制御部500の画像セグメンテーションプログラムが実行されることによって実現される。
各工程について順を追って説明する。
【００４２】
ST100において、画像データ取得工程を実行する。
画像データ取得工程ST100としては、カラー画像取得カメラ210によってカラー画像を取得するカラー画像取得工程ST110と、距離画像取得カメラ220によって距離画像を取得する距離画像取得工程ST120と、を順次実行する。取得されたカラー画像と距離画像とは座標系を合わせて、画素ごとに色データと距離データとを併せ持つ４次元データの画像とする。すなわち、画像Iのi画素に含まれる情報は、赤成分IiR、緑成分IiG、青成分IiB、距離情報Iidを持つ。
【００４３】
Ii＝（IiR, IiG, IiB, Iid）T
【００４４】
カラー画像PCと距離画像PDとを合成する様子を図3に概念的に示す。
なお、図面ではカラー表現やグレースケール表現ができないため、カラー画像PCは単純白黒であり、距離画像PDはハッチングで表わしている。
【００４５】
このようにして取得された画像データを、表示部300に表示する（取得画像表示工程ST200）。
なお、表示部300に表示する画像としては、カラー画像取得カメラ210によって取得したカラー画像{Ii＝（IiR, IiG, IiB）}だけでもよく、あるいは距離データを合わせて奥行きを表現した2.5D画像でもよい。
【００４６】
次に、前景背景設定工程（ST300）において、前景画素設定工程ST310と、背景画素設定工程ST320と、を順次実行する。
まず、前景画素設定工程（ST310）では、ユーザーから前景画素として指示された画素を前景画素として設定する。
このとき、ユーザーは、表示部300に表示された画像を見ながら背景から切り出して抽出したい対象物の一部をなぞる。すると、表示部300がタッチパネルとしてユーザーがなぞった位置の情報を演算制御部500に出力する。演算制御部500は、画像データのうちユーザーがなぞった画素を前景画素Fiとして設定する。
ここで、前景画素Fiに設定するとは、その画素の不透明度αiを1に設定するということである。
【００４７】
次に、背景画素設定工程ST320を実行する。
背景画素設定工程ST320においては、前景画素設定工程ST310で設定された前景画素の距離情報Iid（i∈F）から所定距離以上遠方である距離情報を有する画素を自動的に背景画素として設定する。
具体的には、演算制御部500の所定メモリに予め背景画素設定閾値θF-Bとして所定の距離差を設定しておく。そして、前景画素として指定された画素のうちの最大の距離情報max（Iid）を有するものから背景画素設定閾値θF-B以上離れたものを背景画素とする。
【００４８】
【数９】
【００４９】
このように背景画素として自動設定された画素については不透明度αを０に設定する。
【００５０】
このように前景背景設定工程（ST300）によって前景画素および背景画素を部分的に設定したところで、次にセグメンテーション演算実行工程（ST400）を実行する。
本実施形態におけるセグメンテーション演算実行工程（ST400）では、入力画像Iの情報として色情報（IiR, IiG, IiB）に加えて距離情報Iidを有するため、背景技術で説明したマッティング技術を距離情報を含んだアルゴリズムに拡張し、色情報と距離情報とを統合的に用いて抽出対象となる前景画像を高精度に切り出す点に大きな特徴を有する。
まず、マッティング技術を距離情報に対して拡張するアルゴリズムを示し、続いて費用関数の最小化を実行することで全画素のαを決定する演算処理について説明する。
【００５１】
本実施形態において新たに加えた距離情報についても線形性が成り立つとする。
【００５２】
【数１０】
【００５３】
なお、Ii＝（IiR, IiG, IiB, Iid）T、Fi＝（FiR, FiG, FiB, Fid）T、Bi＝（BiR, BiG, BiB, Bid）Tである。
【００５４】
そして、カラーラインモデルでRGB３次元空間内の直線上に拘束した条件を４次元空間内の平面上の拘束に拡張する。
本発明では、色情報と距離情報とを有する４次元空間内において前景および背景がそれぞれ平面上に拘束された画像で表わされるとするモデルを導入する。
すなわち、前景および背景はそれぞれ４次元中の３ベクトルの線形和で表わされるものとなる。
このモデルをcolor-distance plane modelと呼ぶことにする。
color-distance plane modelは、ある定ベクトルF1, F2, F3、B1, B2, B3に対して次の式を与える。
【００５５】
【数１１】
【００５６】
したがって、（式10）は次のようになる。
【００５７】
【数１２】
【００５８】
これを整理し、行列を用いて表す。
【００５９】
【数１３】
【００６０】
Hは、ｃ番目の行が[Fc3−Bc3, Fc1−Fc3, Fc2-Fc3, Bc1-Bc3,Bc2-Bc3]である4×5の行列である。
Aは、A＝（αi、αiβFi、αiγFi、（1-αi）βBi、（1-αi）γiB）Tで表わされる5×1のベクトルである。
また、C＝Ii−B3である。
【００６１】
Hは4×5で列が冗長であるため、擬似逆行列H＋をかけても単位行列にならない。そこで、Aのノルムを最小にする条件を与える。ラグランジュの未定乗数法により、ラグランジュ乗数λを用いてラグランジュ関数Lは次のように与えられる。
【００６２】
【数１４】
【００６３】
（式14）の極値化の条件は、
【００６４】
【数１５】
【００６５】
すなわち、次のようになる。
【００６６】
【数１６】
【００６７】
第１項目の逆行列を左から両辺にかけると、次の式が導かれる。
【００６８】
【数１７】
【００６９】
ここで、HT（HHT）-1＝H＋とすると、A＝H+Cである。Aの要素を明示すると次のようになる。
【００７０】
【数１８】
【００７１】
H+の第1行目を[aR, aG, aB, ad]とし、H+の第1行目と-B3との内積をbとすると、次の式が成り立つ。
【００７２】
【数１９】
【００７３】
このように距離情報を含めた4次元情報においてcolor-distance plane modelを導入することにより、（式19）を導くことができた。これは、前記背景技術で説明したカラーラインモデルの式5に対応しており、カラーラインモデルの（式19）をそのまま４次元に拡張できた。したがって、費用関数についても４次元に拡張でき、次のようになる。
【００７４】
【数２０】
【００７５】
式20からac、bを消去してαのみの式とする。
【００７６】
【数２１】
【００７７】
ここで、Lはマッティングラプラシアン（Matting Laplacian）であり、色情報（RGB）と距離情報（d）の4チャンネルの場合のL(4)の(i,j)要素は次のように表わされる。
【００７８】
【数２２】
【００７９】
ここで、Σk(4)は小窓wk内の4×4共分散行列、μk(4)は4×1の平均ベクトル、E4は4×4の単位行列を表す。
【００８０】
このようにして色情報に距離情報を加えた4次元情報においてcolor-distance plane modelの導入によるマッティング技術の拡張ができた。
次に、前景画素設定工程（ST310）におけるユーザーの前景指定（α=1）と背景画素設定工程（ST320）における背景画素（α=0）の自動設定とを初期拘束条件として、これを満たしつつ費用関数を最小化するαを求める。すなわち、次の式によりαを決定する。
【００８１】
【数２３】
【００８２】
ここで、Sは前景背景設定工程（ST300）において前景および背景に設定された画素の集合を表す。
siは画素ごとに設定された不透明度αの値を表し、すなわち、前景画素に設定されていれば1であり、背景画素に設定されていれば0である。
【００８３】
（式23）に最小自乗法を用いた解法を適用するため、行列を使った次の表現に変形する。
【００８４】
【数２４】
【００８５】
νは初期拘束条件をどの程度重視するかの重みを表し、たとえば100に設定することが例として挙げられる。
画像の全画素数をNとするとき、Dsは、N×Nの行列であって前景または背景に設定された画素に対応する対角成分が1でその他は0である対角行列である。
bsはN×1のベクトルであって、前景または背景として設定された画素に対応する要素にはその画素のα値が格納され、それ以外は0である。
（式24）はαに関する2次式であり、αに関する偏微分を0にすることで最小化がなされる。したがって、以下の式が導かれる。
【００８６】
【数２５】
【００８７】
すなわち、演算制御部は（式25）をあらかじめ格納しており、前景背景設定工程（ST300）にて設定された前景画素および背景画素を初期条件として（式25）を解く。これによって画素ごとのα値を算出する。
このように算出したαに基づいて入力画像から対象物を抽出するにあたっては、算出したαに対して閾値処理による２値化を行い、これをマスクとして入力画像にかけることで前景画像を作成する。これにより、画像中の対象物の画像を抽出する。
【００８８】
次に、抽出画像表示工程（ST500）を実行する。
これは、セグメンテーション演算実行工程（ST400）にて抽出した対象物を表示部300に表示する工程である。
表示部300に表示する場合には、抽出した対象物をカラー画像表示するようにカラー画像から抽出した部分だけをトリミングして表示する。あるいは、距離情報を加えて2.5D画像として表示させてもよい。
【００８９】
以上に説明した本発明の第1実施形態によれば次の効果を奏する。
（１）色情報だけでなく距離情報を加味した画像セグメンテーション演算を実行するので、精度よく対象物を抽出することができる。
従来のごとく色情報のみに基づいたセグメンテーションでは前景と背景とで色が似通っていると前景を背景との区別ができないが、本実施形態では色が類似していたとしても距離情報によって前景と背景とを正確に切り分けて区別することができる。これにより従来よりも高精度な画像セグメンテーションを可能にするという格別の効果を奏する。
【００９０】
（２）前景背景設定工程ST300において、ユーザーは前景のみを指示するだけで背景画素まで細かく指示する必要はないため、ユーザーの操作が非常に簡単になる。また、ユーザーが抜き出したいものを指定するだけでよいので、前景と背景とを細かく分けて指定するテクニカルな操作に比べて非常に自然なものとできる。
従来は、色情報のみしか取得しなかったため、ユーザーが前景と背景とを細かく指定しなければセグメンテーション演算を正確に実行することができなかったが、本実施形態では、色情報に加えて距離情報を取得するので、前景の一部を指定すれば前景から所定距離以上離れた地点は背景であると演算制御部500によって自動設定することが可能である。このように、本実施形態によれば、ユーザー操作が簡便でありながらも高精度の画像セグメンテーションを実行できる。
【００９１】
（第2実施形態）
第2実施形態について説明する。第2実施形態の基本的構成は第1実施形態に同様であるが、前景背景設定工程において前景画素と背景画素とを設定する手順に特徴を有する。
上記第1実施形態においては、ユーザーがタッチパネルである表示部300上で前景画素を指示し（前景画素設定工程ST310）、前景画素から所定距離以上遠方の距離情報を有する画素を背景画素として自動設定した（背景画素設定工程ST320）。
これに対し第2実施形態としては、背景画素設定工程ST320において、抽出の対象物は画像の端部領域には含まれないものとし、画像データの端部領域（例えば画像の縁から５画素分）を背景画素として自動設定する。
なお、背景画素設定工程としては、上記のように画像の端部領域だけを背景画素として設定してもよく、または、上記第1実施形態で説明した背景画素の設定と併用してもよい。
本第2実施形態によれば、初期拘束条件で背景画素として設定する画素が多くなるのでセグメンテーション演算の精度が高くなる。たとえば、対象物が載っている机のなどのように対象物よりも手前にあるが背景であるものを初期条件として背景に自動設定できる。
【００９２】
（第3実施形態）
次に、第3実施形態について説明する。
第3実施形態の基本的構成は第1実施形態に同様であるが、前景背景設定工程において前景画素と背景画素とを設定する手順に特徴を有する。
第3実施形態においては、前景背景設定工程において、ユーザーが対象物を囲む閉領域を指示する。
図4は、第3実施形態における前景背景設定工程の手順を示すフローチャートである。
また、図5は、ユーザーの指示から前景画素を設定する流れを概念的に示す図である。
【００９３】
画像データ取得工程ST100の後、前景背景設定工程ST320において、ユーザーは表示部300の画像表示を見ながら抽出したい対象物の外側を囲むように閉曲線Cを描き、この閉曲線Cで囲まれた閉領域を指定する（閉領域設定工程ST330）。
この閉領域の外側は自動的に背景画素として設定される（背景画素設定工程ST340）。
次に、対象物は、閉領域の中心領域であるという推定から前景画素を設定する（前景画素設定工程ST350）。すなわち、閉曲線Cから所定画素数以上内側にある領域を前景画素として設定する。DiPをi画素と閉曲線との最短距離とすると、前景画素Fは次の集合で表わされる。
【００９４】
【数２６】
【００９５】
ここで、jは閉曲線C上の画素を表すインデックスであり、dist（Ii,Ij）は、i画素とj画素との間隔を求める関数である。
（式26）は、図4に示すように、閉領域において閉曲線Cまでの距離に応じた場を形成し、その場を閾値θPで切断した面、すなわち、閉曲線からの距離がθPを超えるものを前景画素に設定することを示す。
【００９６】
これにより、背景画素と前景画素とが設定されるので、これを初期拘束条件として第1実施形態で説明した画像セグメンテーション演算実行工程（ST400）を実行する。
【００９７】
（変形例1）
上記第3実施形態では、前景画素を設定するにあたり、閉曲線からの距離（画素数）に基づいて閉領域内に前景画素を設定したが、さらに、次のように画素の距離情報を利用してもよい。
第3実施形態の変形例1として、まず、閉領域内の画素の距離情報が同値である画素をそれぞれ抜き出す。そして、距離情報が同値である画素について上記の場（DiP）を荷重値とし、荷重値の相加平均（算術平均）を求める。距離情報が同値である画素群ごとに求められた相加平均が有意（例えば所定値以上）である画素群を前景画素として自動設定する。同様に色値についても同じ色値を有する画素群ごとに荷重値の相加平均を求めて、有意な画素群を前景画素に設定してもよい。
【００９８】
（変形例２）
上記第3実施形態にあってはユーザーが対象物を含む領域を閉曲線で指示するため（閉領域設定工程ST330）、画像セグメンテーション演算実行工程（ST400）では、この閉領域の内側だけを計算対象としてもよい。あるいは、この閉領域が外接する矩形内にのみセグメンテーション演算を実行してもよい。これにより、計算量が格段に少なくなるので処理の高速化を図ることができる。
【００９９】
（第4実施形態）
次に第4実施形態について説明する。
第4実施形態の基本的構成は第1実施形態に同様であるが、セグメンテーション演算実行工程（ST400）の前にスケール変換工程（ST390）を実行する点に特徴を有する。
図6は、第4実施形態の動作を説明するフローチャートである。
第4実施形態においては、前景画素と背景画素とが設定された後、スケール変換工程（ST390）において画像中の画素が有する色値および距離値の分布がフルスケールになるようにスケール変換する。
【０１００】
カラー画像取得カメラ210および距離画像取得カメラ220は広い範囲でデータを取得できるように調整されているが、セグメンテーション演算において計算の対象になる色値および距離値は撮像対象によって大きく異なってくる。そして、個々の演算対象ではカメラのフルレンジに合わせて計算する必要はない。
図7は、スケール変換の様子を概念的に示す図である。
図7(A）は、画像中の画素の色値または距離値の分布を示す。
特定の画像中ではフルレンジに万遍なくデータ値が分布することはなく、特定の領域に集中する。そこで、演算対象となる領域について高精度に演算するため、図7(A)中の上下限値がフルスケールになるようして図7(B)に示されるようにスケール変換を行う。これにより、注目したい画素の色値および距離値に重みが付くことになり、対象についての高精度な演算結果を得ることができる。
【０１０１】
なお、スケール変換を行うにあたり、前景画素および背景画素の設定手順としては、上記第1実施形態に示した前景背景設定工程の方法の他、上記第2実施形態および第3実施形態の場合でも適用できる。
第3実施形態の場合にはユーザーが閉領域を指示するところ、この閉領域内の画素の色値および距離値のデータをフルスケールに変換してもよい。
【０１０２】
（第5実施形態）
次に第5実施形態について説明する。
第5実施形態の基本的構成は第1実施形態に同様であるが、セグメンテーション演算の結果に対してラベリング処理を行ってユーザーが意図した対象物のみを抽出する点に特徴を有する。
図8は、第5実施形態の動作を説明するフローチャートである。
ST400においてセグメンテーション演算を実行するところ、セグメンテーション演算実行工程（ST400）の結果として、互いに分離した領域が前景領域として複数抽出される場合があり得る。そこで、第5実施形態においては、ST400のセグメンテーション演算に続いて、分離した前景領域にラベリングを行う（ラベリング処理工程ST410）。そして、ST310にてユーザーが前景画素として指示した画素を含む前景領域を抽出の対象物として認識し、この領域だけを最終的に抽出する（対象物抽出工程ST420）。これによりユーザーが意図した対象物を正確に抽出することができる。
【０１０３】
（第6実施形態）
次に第6実施形態について説明する。
第6実施形態の基本的構成は第1実施形態に同様であるが、セグメンテーション演算の結果に対して平滑化処理を行う点に特徴を有する。
図9は、第6実施形態の動作を説明するフローチャートである。
ST400においてセグメンテーション演算を実行するところ、セグメンテーション演算実行工程（ST400）の結果として、αがランダムな離散値になる場合があり得る。特に、前景領域と背景領域との境界部分ではα値がランダムに飛び飛びになることがあり得る。
そこで、第6実施形態においては、ST400のセグメンテーション演算に続いて、各画素のα値を周囲の画素に対して平滑化する平滑化処理を行う（平滑化処理工程ST430）。これによりノイズ除去を行い、対象物の輪郭を滑らかかつ高精度に切り出すことができる。なお、平滑化フィルタの種類としては特に限定されるものではない。
【０１０４】
（第7実施形態）
次に第7実施形態について説明する。
第7実施形態の基本的構成は第1実施形態に同様であるが、色情報と距離情報との重み付けを変えた場合のセグメンテーション演算を複数行う点に特徴を有する。
本発明では画像Iのi画素に含まれる情報は、赤成分IiR、緑成分IiG、青成分IiB、距離情報Iidを持つが（Ii＝（IiR, IiG, IiB, Iid））、色情報と距離情報とは別々の測定系で得るものである。
したがって、画素Iiの情報として統合させる際に色情報と距離情報とでスケールを適切に合わせる必要がある。
ここで、第7実施形態においては、色情報と距離情報と合成する際にそれぞれのスケールを変換する比率のパターンを複数用意しておく。そして、各パターンでセグメンテーション演算を実行し、それらの結果を表示部に表示してユーザーに提示する。ユーザーとしては、もっとも適切に対象物を抽出しているセグメンテーション結果を選択する。
このように色情報と距離情報とを合成する際のスケール比率を変えることにより、色情報と距離情報との重み付けを調整することができる。
これにより、色情報で抽出しやすい場合や距離情報で抽出しやすい場合などその場その場に応じて最適な４次元画像セグメンテーションを行うことができる。
【０１０５】
（変形例3）
上記第7実施形態にあっては、色情報と距離情報との重み付けを複数パターン予め用意しておく場合を説明したが、ユーザーがその都度重み付けパラメータを設定してもよいことはもちろんである。
その場合、たとえば、画面上に表示されたスライダーをユーザーが操作して色情報と距離情報の重み付けを簡便に設定変更できるようにしてもよい。
【０１０６】
また、カラー画像取得カメラ210および距離画像取得カメラ220は距離によって取得データの精度が異なってくるが、距離と精度の関係が両者で異なる場合が考えられる。
このような場合、近景と遠景とでは色情報と距離情報との影響の度合いが異なってくることになる。そこで、事前に色情報と距離情報とのスケールを合わせる非線形マップを作成しておく。そして、前記非線形マップに従ったスケール変換によって色情報と距離情報とを合成する。これにより、近くと遠くとで変わりなく精度の高い画像セグメンテーションを実行することができる。
【０１０７】
なお、本発明は上記実施形態に限定されず、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれる。
センサ部の構成としてはカラー画像取得カメラと距離画像取得カメラとが別体である場合を例示したが、カメラで取得した画像に対応する距離情報を直接取得する構成であってもよい。
このような構成としては、たとえば、角度をつけたレーザー投光器とカラー画像を取得するCCDセンサとを内蔵し、三角測距法で距離を計測しつつカラー画像を取り込む光切断方式などが知られている。このように距離データと色データとを同時に取得するセンサを用いることにより、光軸ずれがなくなり、色情報と距離情報との４次元データを高精度に統合し、その結果、高精度な画像セグメンテーションを行うことができる。
【０１０８】
上記第1実施形態において、背景画素設定工程ST320では、前景画素の距離情報Iid（i∈F）から所定距離以上遠方である距離情報を有する画素を背景画素に設定したが、遠方側のみならず、所定距離以上近い側の距離情報を有する画素も背景画素として設定してもよい。すなわち、前景画素として設定された画素が有する距離情報の上下限値に対して所定距離以上離れた距離情報を有する画素を背景画素に設定してもよい。
このとき、ロボット遠隔操作を行う場合などには、背景画素を設定する際の距離の閾値としてロボットの可動アームの長さを用いてもよい。
【０１０９】
上記実施形態では、表示部がタッチパネルになっており、ユーザーは表示部に表示された画像をなぞることで前景または背景の指示を行う場合を説明したが、前景または背景の指定はマウスによる操作などの別の入力手段によって入力指示してもよいことはもちろんである。
【０１１０】
上記実施形態において、カラー画像はRGBの３次元情報としたが、色情報としては単色のグレースケールであっても本発明のごとく距離情報を統合した画像セグメンテーションを行うことができる。
【図面の簡単な説明】
【０１１１】
【図１】第1実施形態に係る画像セグメンテーション装置の全体構成を示す図。
【図２】第1実施形態に係る画像セグメンテーション方法の動作手順を示すフローチャート。
【図３】第1実施形態において、カラー画像と距離画像とを合成する様子を概念的に示す図。
【図４】第3実施形態において、前景背景設定工程の手順を示すフローチャート。
【図５】第3実施形態において、ユーザーの指示から前景画素を設定する流れを概念的に示す図。
【図６】第4実施形態の動作を説明するフローチャートである。
【図７】第4実施形態において、スケール変換の様子を概念的に示す図。
【図８】第5実施形態の動作を説明するフローチャート。
【図９】第6実施形態の動作を説明するフローチャート。
【図１０】背景技術において、ロボットを遠隔操作するシステムを示す図。
【符号の説明】
【０１１２】
100…画像セグメンテーション装置、200…センサ部、210…カラー画像取得カメラ、220…距離画像取得カメラ、300…表示部、400…入力部、500…演算制御部。
【特許請求の範囲】
【請求項１】
画像中において特定の対象物を前景領域としその他の領域を背景領域として前記対象物を画像中からセグメンテーションする画像セグメンテーション方法であって、
前記対象物を含んだ部分のカラー画像を取得するカラー画像取得工程と、
前記対象物を含んだ部分の距離画像を取得する距離画像取得工程と、
前景領域の一部または背景領域の一部のうち一方をユーザー指定によって設定するとともに、前景領域の一部または背景領域の一部のうちの他方を自動設定する前景背景設定工程と、
前記カラー画像の色情報と前記距離画像の距離情報とを統合的に用いて前記対象物を画像中からセグメンテーションする演算を実行する画像セグメンテーション演算実行工程と、を備える
ことを特徴とする画像セグメンテーション方法。
【請求項２】
請求項1に記載の画像セグメンテーション方法において、
前記画像セグメンテーション演算実行工程は、
前景および背景がそれぞれ色情報と距離情報とを有する４次元空間内の平面に拘束された画像で表わされるとするモデルを導入し、
前記前景背景設定工程にて設定された前景領域と背景領域とを初期拘束条件としつつ、費用関数を最小化することで前景と背景とを重ね合わせる際の前景の不透明度αを算出する
ことを特徴とする画像セグメンテーション方法。
【請求項３】
請求項１または請求項２に記載の画像セグメンテーション方法において、
前記前景背景設定工程は、
ユーザーが画像中において前景の一部として指定した画素を前景画素として設定する前景画素設定工程と、
前記前景画素設定工程にて設定された画素の距離情報から所定距離以上離れた距離情報を有する画素を背景画素に自動設定する背景画素設定工程と、を備える
ことを特徴とする画像セグメンテーション方法。
【請求項４】
請求項１または請求項２に記載の画像セグメンテーション方法において、
前記前景背景設定工程は、
ユーザーが画像中において前景の一部として指定した画素を前景画素として設定する前景画素設定工程と、
画像データの端部領域を背景画素として自動設定する背景画素設定工程と、を備える
ことを特徴とする画像セグメンテーション方法。
【請求項５】
請求項１または請求項２に記載の画像セグメンテーション方法において、
前記前景背景設定工程は、
ユーザーが抽出したい対象物の外側を囲む閉曲線を指定したことに対応してこの閉曲線に囲まれた領域を閉領域として設定する閉領域設定工程と、
前記閉領域の外側を自動的に背景画素として設定する背景画素設定工程と、
前記閉領域の中心領域を前景画素に設定する前景画素設定工程と、を備える
ことを特徴とする画像セグメンテーション方法。
【請求項６】
請求項５に記載の画像セグメンテーション方法において、
前記画像セグメンテーション演算実行工程は、前記閉領域の内側、または、前記閉領域が外接する矩形の内側のみを演算対象とする
ことを特徴とする画像セグメンテーション方法。
【請求項７】
請求項１から請求項６のいずれかに記載の画像セグメンテーション方法において、
前記画像セグメンテーション演算実行工程の前に、演算対象となる領域に含まれる画素が有する色値および／または距離値の分布がフルスケールになるようにスケール変換するスケール変換工程を備える
ことを特徴とする画像セグメンテーション方法。
【請求項８】
請求項３または請求項４に記載の画像セグメンテーション方法において、
前記画像セグメンテーション演算実行工程によって互いに分離した領域が前景領域として複数抽出された場合に、前記分離した前景領域にラベリング処理を行うラベリング処理工程と、
前記前景画素設定工程においてユーザーが前景画素として指示した画素を含む前景領域を抽出の対象物として認識して抽出する対象物抽出工程と、を備える
ことを特徴とする画像セグメンテーション方法。
【請求項９】
請求項１から請求項８のいずれかに記載の画像セグメンテーション方法において、
前記画像セグメンテーション演算実行工程によって算出される前景の不透明度αに対して平滑化処理を行う平滑化処理工程を備える
ことを特徴とする画像セグメンテーション方法。
【請求項１０】
請求項１から請求項９のいずれかに記載の画像セグメンテーション方法において、
前記カラー画像取得工程にて取得したカラー画像と前記距離画像取得工程にて取得した距離画像とを統合する際にそれぞれの重み付けを調整する
ことを特徴とする画像セグメンテーション方法。
【請求項１１】
請求項１から請求項１０のいずれかに記載の画像セグメンテーション方法をコンピュータに実行させる画像セグメンテーションプログラム。
【請求項１２】
カラー画像を取得するカラー画像取得カメラと、距離画像を取得する距離画像取得カメラと、ユーザーが画像中の前景または背景を指示する入力手段と、請求項１１に記載の画像セグメンテーションプログラムを格納した演算制御部と、を備える
ことを特徴とする画像セグメンテーション装置。
【請求項１】
画像中において特定の対象物を前景領域としその他の領域を背景領域として前記対象物を画像中からセグメンテーションする画像セグメンテーション方法であって、
前記対象物を含んだ部分のカラー画像を取得するカラー画像取得工程と、
前記対象物を含んだ部分の距離画像を取得する距離画像取得工程と、
前景領域の一部または背景領域の一部のうち一方をユーザー指定によって設定するとともに、前景領域の一部または背景領域の一部のうちの他方を自動設定する前景背景設定工程と、
前記カラー画像の色情報と前記距離画像の距離情報とを統合的に用いて前記対象物を画像中からセグメンテーションする演算を実行する画像セグメンテーション演算実行工程と、を備える
ことを特徴とする画像セグメンテーション方法。
【請求項２】
請求項1に記載の画像セグメンテーション方法において、
前記画像セグメンテーション演算実行工程は、
前景および背景がそれぞれ色情報と距離情報とを有する４次元空間内の平面に拘束された画像で表わされるとするモデルを導入し、
前記前景背景設定工程にて設定された前景領域と背景領域とを初期拘束条件としつつ、費用関数を最小化することで前景と背景とを重ね合わせる際の前景の不透明度αを算出する
ことを特徴とする画像セグメンテーション方法。
【請求項３】
請求項１または請求項２に記載の画像セグメンテーション方法において、
前記前景背景設定工程は、
ユーザーが画像中において前景の一部として指定した画素を前景画素として設定する前景画素設定工程と、
前記前景画素設定工程にて設定された画素の距離情報から所定距離以上離れた距離情報を有する画素を背景画素に自動設定する背景画素設定工程と、を備える
ことを特徴とする画像セグメンテーション方法。
【請求項４】
請求項１または請求項２に記載の画像セグメンテーション方法において、
前記前景背景設定工程は、
ユーザーが画像中において前景の一部として指定した画素を前景画素として設定する前景画素設定工程と、
画像データの端部領域を背景画素として自動設定する背景画素設定工程と、を備える
ことを特徴とする画像セグメンテーション方法。
【請求項５】
請求項１または請求項２に記載の画像セグメンテーション方法において、
前記前景背景設定工程は、
ユーザーが抽出したい対象物の外側を囲む閉曲線を指定したことに対応してこの閉曲線に囲まれた領域を閉領域として設定する閉領域設定工程と、
前記閉領域の外側を自動的に背景画素として設定する背景画素設定工程と、
前記閉領域の中心領域を前景画素に設定する前景画素設定工程と、を備える
ことを特徴とする画像セグメンテーション方法。
【請求項６】
請求項５に記載の画像セグメンテーション方法において、
前記画像セグメンテーション演算実行工程は、前記閉領域の内側、または、前記閉領域が外接する矩形の内側のみを演算対象とする
ことを特徴とする画像セグメンテーション方法。
【請求項７】
請求項１から請求項６のいずれかに記載の画像セグメンテーション方法において、
前記画像セグメンテーション演算実行工程の前に、演算対象となる領域に含まれる画素が有する色値および／または距離値の分布がフルスケールになるようにスケール変換するスケール変換工程を備える
ことを特徴とする画像セグメンテーション方法。
【請求項８】
請求項３または請求項４に記載の画像セグメンテーション方法において、
前記画像セグメンテーション演算実行工程によって互いに分離した領域が前景領域として複数抽出された場合に、前記分離した前景領域にラベリング処理を行うラベリング処理工程と、
前記前景画素設定工程においてユーザーが前景画素として指示した画素を含む前景領域を抽出の対象物として認識して抽出する対象物抽出工程と、を備える
ことを特徴とする画像セグメンテーション方法。
【請求項９】
請求項１から請求項８のいずれかに記載の画像セグメンテーション方法において、
前記画像セグメンテーション演算実行工程によって算出される前景の不透明度αに対して平滑化処理を行う平滑化処理工程を備える
ことを特徴とする画像セグメンテーション方法。
【請求項１０】
請求項１から請求項９のいずれかに記載の画像セグメンテーション方法において、
前記カラー画像取得工程にて取得したカラー画像と前記距離画像取得工程にて取得した距離画像とを統合する際にそれぞれの重み付けを調整する
ことを特徴とする画像セグメンテーション方法。
【請求項１１】
請求項１から請求項１０のいずれかに記載の画像セグメンテーション方法をコンピュータに実行させる画像セグメンテーションプログラム。
【請求項１２】
カラー画像を取得するカラー画像取得カメラと、距離画像を取得する距離画像取得カメラと、ユーザーが画像中の前景または背景を指示する入力手段と、請求項１１に記載の画像セグメンテーションプログラムを格納した演算制御部と、を備える
ことを特徴とする画像セグメンテーション装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−３９９９９（Ｐ２０１０−３９９９９Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−２０５５９５（Ｐ２００８−２０５５９５）
【出願日】平成２０年８月８日（２００８．８．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年６月５日発行の「社団法人 日本機械学会」が主催する研究集会の予稿集「ロボティクス・メカトロニクス講演会２００８ 講演概要集」及び「同 講演論文集」に掲載し、かつ 同日開催の上記研究集会において文書をもって発表
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１９年度、文部科学省、科学技術総合研究委託事業、産業技術力強化法第１９条の適用を受けるもの
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月８日（２００８．８．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年６月５日発行の「社団法人 日本機械学会」が主催する研究集会の予稿集「ロボティクス・メカトロニクス講演会２００８ 講演概要集」及び「同 講演論文集」に掲載し、かつ 同日開催の上記研究集会において文書をもって発表
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１９年度、文部科学省、科学技術総合研究委託事業、産業技術力強化法第１９条の適用を受けるもの
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
[ Back to top ]