画像処理装置、方法、及びプログラム
【課題】実施形態によれば、画像内のオブジェクト領域を精度良く特定することができる画像処理装置、方法、及びプログラムを提供する。
【解決手段】第１設定部は、画像において、少なくともオブジェクトの一部の位置を検出して、画像における一又は複数の画素ごとに、オブジェクトが存在する領域に含まれるかどうかを示す第１尤度を求める。第２設定部は、画像における一又は複数の画素ごとに、画素の特徴量を用いて、画素が立体物に相当する画素であるかどうかを示す第２尤度を求める。特定部は、第１尤度と第２尤度とを用いて、画像におけるオブジェクトが存在する領域を特定する。
【解決手段】第１設定部は、画像において、少なくともオブジェクトの一部の位置を検出して、画像における一又は複数の画素ごとに、オブジェクトが存在する領域に含まれるかどうかを示す第１尤度を求める。第２設定部は、画像における一又は複数の画素ごとに、画素の特徴量を用いて、画素が立体物に相当する画素であるかどうかを示す第２尤度を求める。特定部は、第１尤度と第２尤度とを用いて、画像におけるオブジェクトが存在する領域を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
入力画像におけるオブジェクト領域（例えば、人物領域）を特定する画像処理方法がある。このような画像処理方法は、「画像セグメンテーション技術」等と呼ばれている。
【０００３】
従来の画像処理方法では、顔検出により特定された顔領域内の各画素から、人物の色モデルを生成し、当該色モデルと当該顔領域内の各画素とを比較することにより、人物領域を特定するものがある。
【０００４】
しかし、このような画像処理方法では、人物全体の領域を特定する場合、精度良く人物全体の領域を特定することができないという課題がある。
【０００５】
また、他の従来の画像処理方法では、人物の顔領域に、予め学習してある人物モデルを当てはめ、入力画像における人物領域を特定するものがある。しかし、このような画像処理方法では、学習してある人物モデルの形状と、入力画像における実際の人物の形状とが異なる場合、精度良く人物の領域を特定することができないという課題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２０９７９５号公報
【非特許文献】
【０００７】
【非特許文献１】Ｈｏｎｇｌｉａｎｇ Ｌｉ，Ｎｇａｎ，Ｋ．Ｎ，ａｎｄ Ｑｉａｎｇ Ｌｉｕ，”ＦａｃｅＳｅｇ：Ａｕｔｏｍａｔｉｃ Ｆａｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｖｉｄｅｏ，” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｕｌｔｉｍｅｄｉａ，ｖｏｌ．１１，ｐｐ．７７−８８，２００９
【非特許文献２】Ｃａｒｓｔｅｎ Ｒｏｔｈｅｒ，Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ，Ａｎｄｒｅｗ Ｂｌａｋｅ，“”ＧｒａｂＣｕｔ“−Ｉｎｔｅｒａｃｔｉｖｅ Ｆｏｒｅｇｒｏｕｎｄ Ｅｘｔｒａｃｔｉｏｎ ｕｓｉｎｇ Ｉｔｅｒａｔｅｄ Ｇｒａｐｈ Ｃｕｔｓ”，ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈｉｃｓ（ＳＩＧＧＲＡＰＨ‘04），ｖｏｌ．２３，ｎｏ．３，ｐｐ．３０９−３１４，２００４
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする課題は、画像内のオブジェクト領域を精度良く特定することができる画像処理装置、方法、及びプログラムを提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、実施形態に係るオブジェクト画像処理装置は、第１設定部と、第２設定部と、特定部とを備える。
【００１０】
第１設定部は、画像において、少なくともオブジェクトの一部の位置を検出して、前記画像における一又は複数の画素ごとに、前記オブジェクトが存在する領域に含まれるかどうかを示す第１尤度を求める。第２設定部は、前記画像における一又は複数の画素ごとに、前記画素の特徴量を用いて、前記画素が立体物に相当する画素であるかどうかを示す第２尤度を求める。特定部は、前記第１尤度と前記第２尤度とを用いて、前記画像における前記オブジェクトが存在する領域を特定する。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る画像処理装置１を表すブロック図。
【図２】画像処理装置１の処理を表すフローチャート。
【図３】画像処理装置１の処理を表す概略図。
【図４】第２の実施形態に係る画像処理装置２を表すブロック図。
【図５】画像処理装置２の処理を表すフローチャート。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
第１の実施形態に係る画像処理装置１は、例えば、ＴＶやＰＣ、デジタルフォトフレーム等に用いられてよい。また、画像処理装置１は、ユーザに立体画像を知覚させることが可能なＴＶやＰＣ、デジタルフォトフレーム等に用いられてもよい。画像処理装置１は、入力画像における、一又は複数のオブジェクト領域を特定するものである。本実施形態では、オブジェクトが人物である場合について説明する。
【００１３】
例えば、画像処理装置１が、ユーザが裸眼もしくは専用メガネにより立体画像を知覚可能な立体ＴＶや立体ＰＣに用いられる場合、画像処理装置１は、特定した人物領域に基づき、さらに、入力画像の各画素に対し、各々の奥行きの程度を表す深度（デプス）を割り当て、立体画像を生成してよい。
【００１４】
画像処理装置１は、入力画像内の顔領域（人物領域の一部）の位置を検出し、入力画像における一又は複数の画素ごとに、当該画素が人物領域に含まれるかどうかを示す尤度（第１尤度）を求める。画像処理装置１は、入力画像における一又は複数の画素ごとに、当該画素の特徴量（後述）を用いて、各画素が立体物に相当する画素であるかどうかを示す尤度（第２尤度）を求める。本実施形態において立体物とは、入力画像における背景以外の領域であり、オブジェクト（人物）も含む。画像処理装置１は、第１尤度と第２尤度とを用いて、入力画像における人物領域を特定する。
【００１５】
図１は、画像処理装置１を表すブロック図である。画像処理装置１は、取得部１０と、第１設定部１１と、第２設定部１２と、特定部１３とを備える。特定部１３は、合成部１３１と、生成部１３２と、領域特定部１３３とを含む。
【００１６】
取得部１０は、入力画像を取得する。
【００１７】
第１設定部１１は、入力画像における顔領域の位置を検出し、検出した顔領域の位置に対応するように、予め用意された人物の第１モデルを割り当てることによって、第１尤度を求める。このとき、第１設定部１１は、第１モデルを記憶している記憶部（不図示）から、第１モデルを抽出してよい。第１尤度は、その値が高いほど、人物領域である確率が高いことを示す。すなわち、入力画像に割り当てられた第１モデル内の各画素の第１尤度は、第１モデル外の各画素の第１尤度よりも高い。例えば、第１モデル内の各画素の第１尤度は「１」であり、第１モデル外の各画素の第１尤度は「０」であってもよい。
【００１８】
第２設定部１２は、入力画像における一又は複数の画素の特徴量に基づき、当該画素の第２尤度を求める。各画素の特徴量とは、各画素の画素値（色成分毎）や輝度、各画素のテクスチャ情報（隣接画素との輝度勾配を含む）等、各画素（あるいは、画素群毎）が有するパラメータである。複数の画素の特徴量は、例えば、各画素の特徴量の平均値であってよい。第２設定部１２は、入力画像における一又は複数の画素について、当該画素の画素値や、当該画素の周囲の画素の画素値等から、当該画素の第２尤度を算出してよい。
【００１９】
合成部１３１は、各画素について、第１尤度と第２尤度とを所定の規則で合成し、第３尤度を求める。
【００２０】
生成部１３２は、入力画像における一又は複数の画素ごとの特徴量と、当該画素ごとの第３尤度とに基づき、人物の第２モデルを生成する。第２モデルとは、入力画像における各画素が人物領域に含まれるか否かを判定するためのモデルである。
【００２１】
領域特定部１３３は、入力画像における一又は複数の画素の特徴量と、第２モデルとを比較し、入力画像における人物領域を特定する。
【００２２】
取得部１０と、第１設定部１１と、第２設定部１２と、特定部１３とは、中央演算処理装置（ＣＰＵ）、及びＣＰＵが用いるメモリにより実現されてよい。
【００２３】
以上、画像処理装置１の構成について説明した。
【００２４】
図２は、画像処理装置１の処理を表すフローチャートである。図３は、画像処理装置１の処理を表す概略図である。
【００２５】
取得部１０は、入力画像を取得する（Ｓ１０１）。図３（ａ）に示すように、本例における入力画像は、一人の人物１０１と、人物１０１以外の立体物１０２を含むとする。取得部１０は、入力画像を取得して、第１設定部１１と、第２設定部１２と、生成部１３２と、領域特定部１３３とに供給する。
【００２６】
第１設定部１１は、入力画像において、顔領域の位置を検出する（Ｓ１０２）。図３（ｂ）に示すように、例えば、第１設定部１１は、入力画像において、近接する矩形領域の輝度差（明度差でもよい）であるＨａａｒ−ｌｉｋｅ特徴等を求め、顔領域の位置を検出してもよい。ただし、これに限定されず、公知の顔検出方法を用いても構わない。
【００２７】
第１設定部１１は、検出した顔領域の位置に対応するように、第１モデルを割り当てることによって、第１尤度を求める（Ｓ１０３）。図３（ｃ）において、黒線部分に含まれる画素は、黒線部分以外の画素に比べ、人物領域に含まれる尤度（第１尤度）が高いことを表している。第１設定部１１は、図３（ｃ）に示すような第１尤度１０４を求める。第１設定部１１は、求めた第１尤度を、合成部１３１に供給する。
【００２８】
なお、入力画像中に複数の人物が存在する場合、第１設定部１１は、各々の顔領域の位置に基づき、入力画像の画素ごとに、第１尤度を求めてよい。
【００２９】
なお、第１尤度を求めるための第１モデルには、検出された顔領域の位置と対応する基準位置が設けられていることが望ましい。また、第１モデルのサイズは、顔領域のサイズに対応していなくてよい。すなわち、第１設定部１１は、顔領域のサイズに応じて、第１モデルの大きさを拡大／縮小すればよい。図３（ｃ）の例では、第１モデルの幅が、顔領域の幅と一致するように、拡大／縮小されている。
【００３０】
第２設定部１２は、入力画像における一又は複数の画素の特徴量に基づき、当該画素の第２尤度を求める（Ｓ１０４）。図３（ｄ）において、黒線部分に含まれる画素は、黒線部分以外の画素に比べ、立体物の領域である尤度（第２尤度）が高いことを表している。
【００３１】
例えば、第２設定部１２は、立体物を検出する識別器を用いて、画素ごとの第２尤度を算出してよい。あるいは、第２設定部１２は、入力画像中の「空の領域」と「地面の領域」とを検出し、それらの領域に基づいて、第２尤度を算出してもよい。第２設定部１２は、求めた第２尤度を、合成部１３１に供給する。
【００３２】
合成部１３１は、第１尤度と第２尤度とを合成し、第３尤度を求める（Ｓ１０５）。図３（ｅ）に示すように、合成部１３１は、画素ごとに、第１尤度と第２尤度とを合成し、第３尤度１０６を求める。
【００３３】
例えば、合成部１３１は、入力画像の同じ画素に対応する、第１尤度と第２尤度との積を計算し、画素ごとに第３尤度を求めてよい。あるいは、合成部１３１は、入力画像の同じ画素に対応する、第１尤度又は第２尤度のうち、尤度が高いほうを採用し、画素ごとに第３尤度を求めてもよい。この場合、第１尤度と第２尤度とは正規化されているのが望ましい。
【００３４】
なお、上記に例示するものに限定されず、第３尤度は、第１尤度と第２尤度とが所定の規則に従って合成されたものであればよい。
【００３５】
生成部１３２は、入力画像における一又は複数の画素ごとの特徴量と、当該画素ごとの第３尤度とに基づき、第２モデルを生成する（Ｓ１０６）。
【００３６】
例えば、生成部１３２は、第３尤度が高い画素の特徴量の重みが高くなるよう、各画素の特徴量を重み付けした第２モデルを生成してよい。第２モデルが重み付き平均である場合、画素数をＮ、画素ｚの特徴量をｖ(ｚ)、第３尤度をｗ(ｚ)とすると、第２モデルＭは、式１で表される。
【数１】
【００３７】
なお、第２モデルは、これに限られない。例えば、第２モデルには、色の「Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ」等、データに重み付け可能な公知のモデルを用いてもよい。
【００３８】
また、生成部１３２は、第２モデルを直接求めるのではなく、入力画像における人物以外の領域（以下、背景領域）のモデルである背景モデルを生成してもよい。背景モデルは、第２モデルに用いた第３尤度と相反する尤度を用いて生成してよい。
【００３９】
領域特定部１３３は、入力画像における一又は複数の画素ごとに、当該画素の特徴量と、生成された第２モデルとを比較し、入力画像における人物領域を特定する（Ｓ１０７）。
【００４０】
領域特定部１３３は、非特許文献２に記載の手法により、入力画像における人物領域を特定してよい。この場合、領域特定部１３３は、入力画像における各画素の特徴量とオブジェクトモデルとの類似度から、当該画素が人物領域に含まれる尤度Ａを判定する。領域特定部１３３は、背景モデルとの類似度から、当該画素が背景領域に含まれる尤度Ｂを判定する。領域特定部１３３は、尤度Ａと尤度Ｂとに基づいて、入力画像における人物領域を特定する（非特許文献２参照）。
【００４１】
この手法以外にも、領域特定部１３３は、第２モデルを用いて、人物領域を特定するものであれば、他の公知の手法を用いても構わない。
【００４２】
領域特定部１３３は、特定された人物領域のデータを出力する（Ｓ１０８）。例えば、領域特定部１３３は、立体画像生成部（不図示）に、人物領域のデータを出力してよい。立体画像生成部（不図示）は、特定された人物領域のデータに基づき、入力画像の各画素に対してデプスを割り当て、立体画像を生成する。これで、入力画像に対する画像処理装置１の処理が終了する。
【００４３】
以上、画像処理装置１の処理について説明した。
【００４４】
なお、本実施形態において、第１設定部１１は、入力画像に対し、予め用意された第１モデルを割り当てることにより、第１尤度を求める場合を説明したが、これに限られない。例えば、第１設定部１１は、検出した顔領域の位置から、各画素までの距離に応じて、各画素の第１尤度を求めてもよい。この場合、第１設定部１１は、顔領域の位置からの距離が遠い画素ほど、第１尤度を低くしてよい。
【００４５】
あるいは、第１設定部１１は、検出した顔領域の位置に矩形領域を設定し、当該矩形内に含まれる画素の第１尤度が高くなるようにしてもよい。第１設定部１１は、予め定められた関数により、第１尤度を求めてもよい。
【００４６】
また、第１設定部１１は、公知の手法を用いて、検出した顔を基に、入力画像における人物の属性（年齢、性別、人種等）を判別し、判別された属性に対応する第１尤度を求めてもよい。この場合、第１設定部１１は、記憶部（不図示）に、各属性に対応する第１尤度を記憶していればよい。
【００４７】
また、入力画像が赤外線画像である場合、第２設定部１２は、各画素が、人物の平均体温に近い温度（例えば、摂氏３５度〜４０度）を有する領域を検出し、当該領域において、各画素と平均体温との差に基づいて第２尤度を算出してもよい。
【００４８】
第１設定部は、オブジェクトの一部（人物の顔や胴体等）を精度良く検出することが可能であるが、例えば、上げた腕の領域等、オブジェクトの特異な姿勢を検出することは困難である。一方、第２設定部は、オブジェクトの特異な姿勢の領域を精度良く検出することが可能である。
【００４９】
本実施形態によれば、入力画像内のオブジェクトが、予め想定される形状と異なる場合であっても、オブジェクト領域を精度良く特定することができる。本実施形態により特定されたオブジェクト領域を用いることにより、オブジェクトの切り出し（トリミング）や、人物領域における肌色補正等、オブジェクト領域に施す自動的な処理を効果的に実現することができる。
【００５０】
（変形例１）
画像処理装置１は、人物領域に限られず、他のオブジェクト（例えば、動物、乗り物、建物、草木等）の領域を特定することも可能である。すなわち、このようなオブジェクトに対応する第１モデルを記憶部（不図示）が記憶しておき、第１設定部１１は、検出したオブジェクトの一部から、当該オブジェクトを判別し、当該オブジェクトに対応する第１モデルを記憶部（不図示）から抽出し、第１尤度を求めればよい。
【００５１】
例えば、オブジェクトが車である場合、第１設定部１１は、入力画像における車領域の位置を検出し、入力画像における一又は複数の画素ごとに、予め車の第１モデルを記憶している記憶部（不図示）から第１モデルを抽出し、第１尤度を求めてよい。
【００５２】
（変形例２）
画像処理装置１が立体画像生成部（不図示）を備え、入力画像から立体画像を生成する場合、画像処理装置１は、調整部（不図示）をさらに備えてよい。調節部（不図示）は、ユーザから、生成される立体画像の画質の指定を受け、生成部１３２が第２モデルを生成する際に用いる、入力画像のサイズを調節する。
【００５３】
例えば、調節部（不図示）は、高い画質を指定された場合には、生成部１３２が第２モデルを生成する際に用いる当該入力画像のサイズを縮小せず、低い画質を指定された場合に、生成部１３２が第２モデルを生成する際に用いる当該入力画像のサイズを縮小する。生成部１３２は、指定されたサイズの入力画像において、画素ごとの特徴量と、第３尤度とに基づき、第２モデルを生成する。
【００５４】
なお、調節部（不図示）は、入力画像の各ブロックに含まれる画素のうち、一の画素の画素値を用いて、当該入力画像のサイズを縮小してもよい。あるいは、入力画像の各ブロックに含まれる画素の画素値の平均値を用いて、当該入力画像のサイズを縮小してもよい。あるいは、これに限らず、加重平均フィルタやメディアンフィルタ等、公知の手法を用いて、当該入力画像のサイズを縮小してもよい。
【００５５】
調整部（不図示）は、立体画像が表示されるべき表示画面（不図示）に、画質の指定を受け付けるためのＵＩ画面を表示してもよい。ユーザは、リモートコントローラー等を用いて、画質を指定してよい。画質が高く設定されるほど、画像処理装置１が立体画像を生成する際に要する処理時間は長くなる。画質が低く設定されるほど、当該処理時間は短くなる。
【００５６】
ＵＩ画面は、「高・中・低」といった画質モードを指定するための指定画面であってよい。この場合、ユーザは、当該指定画面の中から、いずれか一つの画質モードを選択することにより、画質を指定してよい。
【００５７】
例えば、調節部（不図示）は、ユーザにより指定された画質が「高」である場合、生成部１３２が第２モデルを生成する際に用いる入力画像のサイズを縮小せず、ユーザにより指定された画質が「低」である場合、当該入力画像のサイズを４分の１に縮小する。
【００５８】
また、ＵＩ画面は、ある範囲の数値（例えば、０〜１００）の中から、一つの数値を指定可能な「バー」であってよい。この場合、ユーザは、当該バーの中で、一つの数値を指定することにより、画質を指定してよい。
【００５９】
例えば、調節部（不図示）は、ユーザにより指定された画質が「１００」である場合、生成部１３２が第２モデルを生成する際に用いる入力画像を縮小せず、ユーザにより指定された画質が「５０」である場合、当該入力画像のサイズを縦横それぞれ２分の１に縮小してよい。また、例えば、調節部（不図示）は、ユーザにより指定された画質が「２５」である場合、当該入力画像のサイズを縦横それぞれ４分の１に縮小する。
【００６０】
本変形例の画像処理装置１は、ユーザからの画質の指定に応じて、生成する第２モデルの精度を調節することができ、生成される立体画像の精度を調節することができる。すなわち、ユーザは、当該処理時間を考慮して、画質を選択的に指定することができる。
【００６１】
画像処理装置１が立体ＴＶに用いられる場合、立体ＴＶが、録画された動画像（入力画像）から立体画像を生成する際に、本変形例を用いることができる。
【００６２】
画像処理装置１が立体ＰＣに用いられる場合、立体ＰＣが、入力画像（写真等の静止画像や動画像）から立体画像を生成する際に、本変形例を用いることができる。
【００６３】
（第２の実施形態）
第２の実施形態に係る画像処理装置２は、第１尤度と第２尤度とを用いて、特定した人物領域を補正する点が、第１の実施形態の場合と異なる。
【００６４】
図４は、画像処理装置２を表すブロック図である。画像処理装置２は、画像処理装置１の特定部１３に代えて、特定部２３を備える。特定部２３は、生成部２３２と、領域特定部２３３とを含む。
【００６５】
図５は、画像処理装置２の処理を表すフローチャートである。画像処理装置２の処理では、図２におけるステップＳ１０５の処理を行なわない。また、図２におけるステップＳ１０６が、ステップＳ２０１に置き換わる。図２におけるステップＳ１０７が、ステップＳ２０２に置き換わる。
【００６６】
ステップＳ２０１において、生成部２３２は、第１尤度を用いて第２モデルを生成する（Ｓ２０１）。なお、生成部２３２は、第１の実施形態において、生成部１３２が第３尤度を用いて、第２モデルを生成した場合と同様にして、第２モデルを生成してよい。
【００６７】
ステップＳ２０２において、領域特定部２３３は、第２モデルの他に、第１尤度と第２尤度とを用いる（Ｓ２０２）。領域特定部２３３は、第１尤度と第２尤度とを用いて、特定した人物領域を補正する。例えば、領域特定部２３３は、入力画像における一又は複数の画素の特徴量と第２モデルとの比較により算出した各画素の人物領域らしさを表す尤度に、第１尤度と第２尤度とを掛け合わせることによって、特定した人物領域を補正する。また、領域特定部２３３は、第１尤度と相反する尤度と、第２尤度と相反する尤度とを用いて、背景領域を表す尤度を補正してよい。
【００６８】
画像処理装置２の処理について、画像処理装置１の処理と異なる点を説明した。
【００６９】
上述したように、画像処理装置２によれば、第１尤度と第２尤度とを、直接、オブジェクト領域の特定に用いることができる。これにより、第１尤度と第２尤度との精度が高い場合には、第１の実施形態よりも、オブジェクト領域を精度良く特定することができる。
【００７０】
なお、本実施形態においても、第１の実施形態における変形例１及び変形例２を適用することができる。
【００７１】
上述した実施形態によれば、画像内のオブジェクト領域を精度良く特定することができる。
【００７２】
なお、上述のオブジェクト領域特定装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、Ａ、Ｂ、ＣおよびＤは、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、オブジェクト領域特定装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、ＢおよびＣは、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００７３】
これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７４】
１、２・・・画像処理装置
１１・・・第１設定部
１２・・・第２設定部
１３、２３・・・特定部
１３１・・・合成部
１３２、２３２・・・生成部
１３３、２３３・・・領域特定部
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
入力画像におけるオブジェクト領域（例えば、人物領域）を特定する画像処理方法がある。このような画像処理方法は、「画像セグメンテーション技術」等と呼ばれている。
【０００３】
従来の画像処理方法では、顔検出により特定された顔領域内の各画素から、人物の色モデルを生成し、当該色モデルと当該顔領域内の各画素とを比較することにより、人物領域を特定するものがある。
【０００４】
しかし、このような画像処理方法では、人物全体の領域を特定する場合、精度良く人物全体の領域を特定することができないという課題がある。
【０００５】
また、他の従来の画像処理方法では、人物の顔領域に、予め学習してある人物モデルを当てはめ、入力画像における人物領域を特定するものがある。しかし、このような画像処理方法では、学習してある人物モデルの形状と、入力画像における実際の人物の形状とが異なる場合、精度良く人物の領域を特定することができないという課題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２０９７９５号公報
【非特許文献】
【０００７】
【非特許文献１】Ｈｏｎｇｌｉａｎｇ Ｌｉ，Ｎｇａｎ，Ｋ．Ｎ，ａｎｄ Ｑｉａｎｇ Ｌｉｕ，”ＦａｃｅＳｅｇ：Ａｕｔｏｍａｔｉｃ Ｆａｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｖｉｄｅｏ，” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｕｌｔｉｍｅｄｉａ，ｖｏｌ．１１，ｐｐ．７７−８８，２００９
【非特許文献２】Ｃａｒｓｔｅｎ Ｒｏｔｈｅｒ，Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ，Ａｎｄｒｅｗ Ｂｌａｋｅ，“”ＧｒａｂＣｕｔ“−Ｉｎｔｅｒａｃｔｉｖｅ Ｆｏｒｅｇｒｏｕｎｄ Ｅｘｔｒａｃｔｉｏｎ ｕｓｉｎｇ Ｉｔｅｒａｔｅｄ Ｇｒａｐｈ Ｃｕｔｓ”，ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈｉｃｓ（ＳＩＧＧＲＡＰＨ‘04），ｖｏｌ．２３，ｎｏ．３，ｐｐ．３０９−３１４，２００４
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする課題は、画像内のオブジェクト領域を精度良く特定することができる画像処理装置、方法、及びプログラムを提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、実施形態に係るオブジェクト画像処理装置は、第１設定部と、第２設定部と、特定部とを備える。
【００１０】
第１設定部は、画像において、少なくともオブジェクトの一部の位置を検出して、前記画像における一又は複数の画素ごとに、前記オブジェクトが存在する領域に含まれるかどうかを示す第１尤度を求める。第２設定部は、前記画像における一又は複数の画素ごとに、前記画素の特徴量を用いて、前記画素が立体物に相当する画素であるかどうかを示す第２尤度を求める。特定部は、前記第１尤度と前記第２尤度とを用いて、前記画像における前記オブジェクトが存在する領域を特定する。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る画像処理装置１を表すブロック図。
【図２】画像処理装置１の処理を表すフローチャート。
【図３】画像処理装置１の処理を表す概略図。
【図４】第２の実施形態に係る画像処理装置２を表すブロック図。
【図５】画像処理装置２の処理を表すフローチャート。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
第１の実施形態に係る画像処理装置１は、例えば、ＴＶやＰＣ、デジタルフォトフレーム等に用いられてよい。また、画像処理装置１は、ユーザに立体画像を知覚させることが可能なＴＶやＰＣ、デジタルフォトフレーム等に用いられてもよい。画像処理装置１は、入力画像における、一又は複数のオブジェクト領域を特定するものである。本実施形態では、オブジェクトが人物である場合について説明する。
【００１３】
例えば、画像処理装置１が、ユーザが裸眼もしくは専用メガネにより立体画像を知覚可能な立体ＴＶや立体ＰＣに用いられる場合、画像処理装置１は、特定した人物領域に基づき、さらに、入力画像の各画素に対し、各々の奥行きの程度を表す深度（デプス）を割り当て、立体画像を生成してよい。
【００１４】
画像処理装置１は、入力画像内の顔領域（人物領域の一部）の位置を検出し、入力画像における一又は複数の画素ごとに、当該画素が人物領域に含まれるかどうかを示す尤度（第１尤度）を求める。画像処理装置１は、入力画像における一又は複数の画素ごとに、当該画素の特徴量（後述）を用いて、各画素が立体物に相当する画素であるかどうかを示す尤度（第２尤度）を求める。本実施形態において立体物とは、入力画像における背景以外の領域であり、オブジェクト（人物）も含む。画像処理装置１は、第１尤度と第２尤度とを用いて、入力画像における人物領域を特定する。
【００１５】
図１は、画像処理装置１を表すブロック図である。画像処理装置１は、取得部１０と、第１設定部１１と、第２設定部１２と、特定部１３とを備える。特定部１３は、合成部１３１と、生成部１３２と、領域特定部１３３とを含む。
【００１６】
取得部１０は、入力画像を取得する。
【００１７】
第１設定部１１は、入力画像における顔領域の位置を検出し、検出した顔領域の位置に対応するように、予め用意された人物の第１モデルを割り当てることによって、第１尤度を求める。このとき、第１設定部１１は、第１モデルを記憶している記憶部（不図示）から、第１モデルを抽出してよい。第１尤度は、その値が高いほど、人物領域である確率が高いことを示す。すなわち、入力画像に割り当てられた第１モデル内の各画素の第１尤度は、第１モデル外の各画素の第１尤度よりも高い。例えば、第１モデル内の各画素の第１尤度は「１」であり、第１モデル外の各画素の第１尤度は「０」であってもよい。
【００１８】
第２設定部１２は、入力画像における一又は複数の画素の特徴量に基づき、当該画素の第２尤度を求める。各画素の特徴量とは、各画素の画素値（色成分毎）や輝度、各画素のテクスチャ情報（隣接画素との輝度勾配を含む）等、各画素（あるいは、画素群毎）が有するパラメータである。複数の画素の特徴量は、例えば、各画素の特徴量の平均値であってよい。第２設定部１２は、入力画像における一又は複数の画素について、当該画素の画素値や、当該画素の周囲の画素の画素値等から、当該画素の第２尤度を算出してよい。
【００１９】
合成部１３１は、各画素について、第１尤度と第２尤度とを所定の規則で合成し、第３尤度を求める。
【００２０】
生成部１３２は、入力画像における一又は複数の画素ごとの特徴量と、当該画素ごとの第３尤度とに基づき、人物の第２モデルを生成する。第２モデルとは、入力画像における各画素が人物領域に含まれるか否かを判定するためのモデルである。
【００２１】
領域特定部１３３は、入力画像における一又は複数の画素の特徴量と、第２モデルとを比較し、入力画像における人物領域を特定する。
【００２２】
取得部１０と、第１設定部１１と、第２設定部１２と、特定部１３とは、中央演算処理装置（ＣＰＵ）、及びＣＰＵが用いるメモリにより実現されてよい。
【００２３】
以上、画像処理装置１の構成について説明した。
【００２４】
図２は、画像処理装置１の処理を表すフローチャートである。図３は、画像処理装置１の処理を表す概略図である。
【００２５】
取得部１０は、入力画像を取得する（Ｓ１０１）。図３（ａ）に示すように、本例における入力画像は、一人の人物１０１と、人物１０１以外の立体物１０２を含むとする。取得部１０は、入力画像を取得して、第１設定部１１と、第２設定部１２と、生成部１３２と、領域特定部１３３とに供給する。
【００２６】
第１設定部１１は、入力画像において、顔領域の位置を検出する（Ｓ１０２）。図３（ｂ）に示すように、例えば、第１設定部１１は、入力画像において、近接する矩形領域の輝度差（明度差でもよい）であるＨａａｒ−ｌｉｋｅ特徴等を求め、顔領域の位置を検出してもよい。ただし、これに限定されず、公知の顔検出方法を用いても構わない。
【００２７】
第１設定部１１は、検出した顔領域の位置に対応するように、第１モデルを割り当てることによって、第１尤度を求める（Ｓ１０３）。図３（ｃ）において、黒線部分に含まれる画素は、黒線部分以外の画素に比べ、人物領域に含まれる尤度（第１尤度）が高いことを表している。第１設定部１１は、図３（ｃ）に示すような第１尤度１０４を求める。第１設定部１１は、求めた第１尤度を、合成部１３１に供給する。
【００２８】
なお、入力画像中に複数の人物が存在する場合、第１設定部１１は、各々の顔領域の位置に基づき、入力画像の画素ごとに、第１尤度を求めてよい。
【００２９】
なお、第１尤度を求めるための第１モデルには、検出された顔領域の位置と対応する基準位置が設けられていることが望ましい。また、第１モデルのサイズは、顔領域のサイズに対応していなくてよい。すなわち、第１設定部１１は、顔領域のサイズに応じて、第１モデルの大きさを拡大／縮小すればよい。図３（ｃ）の例では、第１モデルの幅が、顔領域の幅と一致するように、拡大／縮小されている。
【００３０】
第２設定部１２は、入力画像における一又は複数の画素の特徴量に基づき、当該画素の第２尤度を求める（Ｓ１０４）。図３（ｄ）において、黒線部分に含まれる画素は、黒線部分以外の画素に比べ、立体物の領域である尤度（第２尤度）が高いことを表している。
【００３１】
例えば、第２設定部１２は、立体物を検出する識別器を用いて、画素ごとの第２尤度を算出してよい。あるいは、第２設定部１２は、入力画像中の「空の領域」と「地面の領域」とを検出し、それらの領域に基づいて、第２尤度を算出してもよい。第２設定部１２は、求めた第２尤度を、合成部１３１に供給する。
【００３２】
合成部１３１は、第１尤度と第２尤度とを合成し、第３尤度を求める（Ｓ１０５）。図３（ｅ）に示すように、合成部１３１は、画素ごとに、第１尤度と第２尤度とを合成し、第３尤度１０６を求める。
【００３３】
例えば、合成部１３１は、入力画像の同じ画素に対応する、第１尤度と第２尤度との積を計算し、画素ごとに第３尤度を求めてよい。あるいは、合成部１３１は、入力画像の同じ画素に対応する、第１尤度又は第２尤度のうち、尤度が高いほうを採用し、画素ごとに第３尤度を求めてもよい。この場合、第１尤度と第２尤度とは正規化されているのが望ましい。
【００３４】
なお、上記に例示するものに限定されず、第３尤度は、第１尤度と第２尤度とが所定の規則に従って合成されたものであればよい。
【００３５】
生成部１３２は、入力画像における一又は複数の画素ごとの特徴量と、当該画素ごとの第３尤度とに基づき、第２モデルを生成する（Ｓ１０６）。
【００３６】
例えば、生成部１３２は、第３尤度が高い画素の特徴量の重みが高くなるよう、各画素の特徴量を重み付けした第２モデルを生成してよい。第２モデルが重み付き平均である場合、画素数をＮ、画素ｚの特徴量をｖ(ｚ)、第３尤度をｗ(ｚ)とすると、第２モデルＭは、式１で表される。
【数１】
【００３７】
なお、第２モデルは、これに限られない。例えば、第２モデルには、色の「Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ」等、データに重み付け可能な公知のモデルを用いてもよい。
【００３８】
また、生成部１３２は、第２モデルを直接求めるのではなく、入力画像における人物以外の領域（以下、背景領域）のモデルである背景モデルを生成してもよい。背景モデルは、第２モデルに用いた第３尤度と相反する尤度を用いて生成してよい。
【００３９】
領域特定部１３３は、入力画像における一又は複数の画素ごとに、当該画素の特徴量と、生成された第２モデルとを比較し、入力画像における人物領域を特定する（Ｓ１０７）。
【００４０】
領域特定部１３３は、非特許文献２に記載の手法により、入力画像における人物領域を特定してよい。この場合、領域特定部１３３は、入力画像における各画素の特徴量とオブジェクトモデルとの類似度から、当該画素が人物領域に含まれる尤度Ａを判定する。領域特定部１３３は、背景モデルとの類似度から、当該画素が背景領域に含まれる尤度Ｂを判定する。領域特定部１３３は、尤度Ａと尤度Ｂとに基づいて、入力画像における人物領域を特定する（非特許文献２参照）。
【００４１】
この手法以外にも、領域特定部１３３は、第２モデルを用いて、人物領域を特定するものであれば、他の公知の手法を用いても構わない。
【００４２】
領域特定部１３３は、特定された人物領域のデータを出力する（Ｓ１０８）。例えば、領域特定部１３３は、立体画像生成部（不図示）に、人物領域のデータを出力してよい。立体画像生成部（不図示）は、特定された人物領域のデータに基づき、入力画像の各画素に対してデプスを割り当て、立体画像を生成する。これで、入力画像に対する画像処理装置１の処理が終了する。
【００４３】
以上、画像処理装置１の処理について説明した。
【００４４】
なお、本実施形態において、第１設定部１１は、入力画像に対し、予め用意された第１モデルを割り当てることにより、第１尤度を求める場合を説明したが、これに限られない。例えば、第１設定部１１は、検出した顔領域の位置から、各画素までの距離に応じて、各画素の第１尤度を求めてもよい。この場合、第１設定部１１は、顔領域の位置からの距離が遠い画素ほど、第１尤度を低くしてよい。
【００４５】
あるいは、第１設定部１１は、検出した顔領域の位置に矩形領域を設定し、当該矩形内に含まれる画素の第１尤度が高くなるようにしてもよい。第１設定部１１は、予め定められた関数により、第１尤度を求めてもよい。
【００４６】
また、第１設定部１１は、公知の手法を用いて、検出した顔を基に、入力画像における人物の属性（年齢、性別、人種等）を判別し、判別された属性に対応する第１尤度を求めてもよい。この場合、第１設定部１１は、記憶部（不図示）に、各属性に対応する第１尤度を記憶していればよい。
【００４７】
また、入力画像が赤外線画像である場合、第２設定部１２は、各画素が、人物の平均体温に近い温度（例えば、摂氏３５度〜４０度）を有する領域を検出し、当該領域において、各画素と平均体温との差に基づいて第２尤度を算出してもよい。
【００４８】
第１設定部は、オブジェクトの一部（人物の顔や胴体等）を精度良く検出することが可能であるが、例えば、上げた腕の領域等、オブジェクトの特異な姿勢を検出することは困難である。一方、第２設定部は、オブジェクトの特異な姿勢の領域を精度良く検出することが可能である。
【００４９】
本実施形態によれば、入力画像内のオブジェクトが、予め想定される形状と異なる場合であっても、オブジェクト領域を精度良く特定することができる。本実施形態により特定されたオブジェクト領域を用いることにより、オブジェクトの切り出し（トリミング）や、人物領域における肌色補正等、オブジェクト領域に施す自動的な処理を効果的に実現することができる。
【００５０】
（変形例１）
画像処理装置１は、人物領域に限られず、他のオブジェクト（例えば、動物、乗り物、建物、草木等）の領域を特定することも可能である。すなわち、このようなオブジェクトに対応する第１モデルを記憶部（不図示）が記憶しておき、第１設定部１１は、検出したオブジェクトの一部から、当該オブジェクトを判別し、当該オブジェクトに対応する第１モデルを記憶部（不図示）から抽出し、第１尤度を求めればよい。
【００５１】
例えば、オブジェクトが車である場合、第１設定部１１は、入力画像における車領域の位置を検出し、入力画像における一又は複数の画素ごとに、予め車の第１モデルを記憶している記憶部（不図示）から第１モデルを抽出し、第１尤度を求めてよい。
【００５２】
（変形例２）
画像処理装置１が立体画像生成部（不図示）を備え、入力画像から立体画像を生成する場合、画像処理装置１は、調整部（不図示）をさらに備えてよい。調節部（不図示）は、ユーザから、生成される立体画像の画質の指定を受け、生成部１３２が第２モデルを生成する際に用いる、入力画像のサイズを調節する。
【００５３】
例えば、調節部（不図示）は、高い画質を指定された場合には、生成部１３２が第２モデルを生成する際に用いる当該入力画像のサイズを縮小せず、低い画質を指定された場合に、生成部１３２が第２モデルを生成する際に用いる当該入力画像のサイズを縮小する。生成部１３２は、指定されたサイズの入力画像において、画素ごとの特徴量と、第３尤度とに基づき、第２モデルを生成する。
【００５４】
なお、調節部（不図示）は、入力画像の各ブロックに含まれる画素のうち、一の画素の画素値を用いて、当該入力画像のサイズを縮小してもよい。あるいは、入力画像の各ブロックに含まれる画素の画素値の平均値を用いて、当該入力画像のサイズを縮小してもよい。あるいは、これに限らず、加重平均フィルタやメディアンフィルタ等、公知の手法を用いて、当該入力画像のサイズを縮小してもよい。
【００５５】
調整部（不図示）は、立体画像が表示されるべき表示画面（不図示）に、画質の指定を受け付けるためのＵＩ画面を表示してもよい。ユーザは、リモートコントローラー等を用いて、画質を指定してよい。画質が高く設定されるほど、画像処理装置１が立体画像を生成する際に要する処理時間は長くなる。画質が低く設定されるほど、当該処理時間は短くなる。
【００５６】
ＵＩ画面は、「高・中・低」といった画質モードを指定するための指定画面であってよい。この場合、ユーザは、当該指定画面の中から、いずれか一つの画質モードを選択することにより、画質を指定してよい。
【００５７】
例えば、調節部（不図示）は、ユーザにより指定された画質が「高」である場合、生成部１３２が第２モデルを生成する際に用いる入力画像のサイズを縮小せず、ユーザにより指定された画質が「低」である場合、当該入力画像のサイズを４分の１に縮小する。
【００５８】
また、ＵＩ画面は、ある範囲の数値（例えば、０〜１００）の中から、一つの数値を指定可能な「バー」であってよい。この場合、ユーザは、当該バーの中で、一つの数値を指定することにより、画質を指定してよい。
【００５９】
例えば、調節部（不図示）は、ユーザにより指定された画質が「１００」である場合、生成部１３２が第２モデルを生成する際に用いる入力画像を縮小せず、ユーザにより指定された画質が「５０」である場合、当該入力画像のサイズを縦横それぞれ２分の１に縮小してよい。また、例えば、調節部（不図示）は、ユーザにより指定された画質が「２５」である場合、当該入力画像のサイズを縦横それぞれ４分の１に縮小する。
【００６０】
本変形例の画像処理装置１は、ユーザからの画質の指定に応じて、生成する第２モデルの精度を調節することができ、生成される立体画像の精度を調節することができる。すなわち、ユーザは、当該処理時間を考慮して、画質を選択的に指定することができる。
【００６１】
画像処理装置１が立体ＴＶに用いられる場合、立体ＴＶが、録画された動画像（入力画像）から立体画像を生成する際に、本変形例を用いることができる。
【００６２】
画像処理装置１が立体ＰＣに用いられる場合、立体ＰＣが、入力画像（写真等の静止画像や動画像）から立体画像を生成する際に、本変形例を用いることができる。
【００６３】
（第２の実施形態）
第２の実施形態に係る画像処理装置２は、第１尤度と第２尤度とを用いて、特定した人物領域を補正する点が、第１の実施形態の場合と異なる。
【００６４】
図４は、画像処理装置２を表すブロック図である。画像処理装置２は、画像処理装置１の特定部１３に代えて、特定部２３を備える。特定部２３は、生成部２３２と、領域特定部２３３とを含む。
【００６５】
図５は、画像処理装置２の処理を表すフローチャートである。画像処理装置２の処理では、図２におけるステップＳ１０５の処理を行なわない。また、図２におけるステップＳ１０６が、ステップＳ２０１に置き換わる。図２におけるステップＳ１０７が、ステップＳ２０２に置き換わる。
【００６６】
ステップＳ２０１において、生成部２３２は、第１尤度を用いて第２モデルを生成する（Ｓ２０１）。なお、生成部２３２は、第１の実施形態において、生成部１３２が第３尤度を用いて、第２モデルを生成した場合と同様にして、第２モデルを生成してよい。
【００６７】
ステップＳ２０２において、領域特定部２３３は、第２モデルの他に、第１尤度と第２尤度とを用いる（Ｓ２０２）。領域特定部２３３は、第１尤度と第２尤度とを用いて、特定した人物領域を補正する。例えば、領域特定部２３３は、入力画像における一又は複数の画素の特徴量と第２モデルとの比較により算出した各画素の人物領域らしさを表す尤度に、第１尤度と第２尤度とを掛け合わせることによって、特定した人物領域を補正する。また、領域特定部２３３は、第１尤度と相反する尤度と、第２尤度と相反する尤度とを用いて、背景領域を表す尤度を補正してよい。
【００６８】
画像処理装置２の処理について、画像処理装置１の処理と異なる点を説明した。
【００６９】
上述したように、画像処理装置２によれば、第１尤度と第２尤度とを、直接、オブジェクト領域の特定に用いることができる。これにより、第１尤度と第２尤度との精度が高い場合には、第１の実施形態よりも、オブジェクト領域を精度良く特定することができる。
【００７０】
なお、本実施形態においても、第１の実施形態における変形例１及び変形例２を適用することができる。
【００７１】
上述した実施形態によれば、画像内のオブジェクト領域を精度良く特定することができる。
【００７２】
なお、上述のオブジェクト領域特定装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、Ａ、Ｂ、ＣおよびＤは、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、オブジェクト領域特定装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、ＢおよびＣは、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００７３】
これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７４】
１、２・・・画像処理装置
１１・・・第１設定部
１２・・・第２設定部
１３、２３・・・特定部
１３１・・・合成部
１３２、２３２・・・生成部
１３３、２３３・・・領域特定部
【特許請求の範囲】
【請求項１】
画像において、少なくともオブジェクトの一部の位置を検出して、前記画像における一又は複数の画素ごとに、前記オブジェクトが存在する領域に含まれるかどうかを示す第１尤度を求める第１設定部と、
前記画像における一又は複数の画素ごとに、前記画素の特徴量を用いて、前記画素が立体物に相当する画素であるかどうかを示す第２尤度を求める第２設定部と、
前記第１尤度と前記第２尤度とを用いて、前記画像における前記オブジェクトが存在する領域を特定する特定部と
を備える画像処理装置。
【請求項２】
前記第１設定部は、
前記オブジェクトが存在する領域を示す第１モデルを予め保持し、検出した前記オブジェクトの一部の位置に対応するように、前記第１モデルを割り当てることにより、前記第１尤度を求める、
請求項１記載の画像処理装置。
【請求項３】
前記特定部は、
前記画像における一又は複数の画素ごとに、前記第１尤度と前記第２尤度とを合成し、第３尤度を求める合成部と、
前記第３尤度を用いて、前記画像の画素が、前記オブジェクトが存在する領域に含まれるか否かを判定するための第２モデルを生成する生成部と、
前記第２モデルを用いて、前記画像の画素が、前記オブジェクトが存在する領域に含まれるか否かを判定し、前記オブジェクトが存在する領域を特定する領域特定部と
を備える、請求項２記載の画像処理装置。
【請求項４】
前記オブジェクトは人物であり、
前記第１設定部は、
前記画像に対する顔検出を行なうことにより前記人物を検出する、
請求項３記載の画像処理装置。
【請求項５】
前記合成部は、
前記第１尤度と前記第２尤度との積により、前記第３尤度を求める、
請求項３記載の画像処理装置。
【請求項６】
前記特定部は、
前記第１尤度、又は、前記第２尤度のうち、少なくとも一つを用いて、前記画像における画素が、前記オブジェクトが存在する領域に含まれるか否かを判定するための第２モデルを生成する生成部と、
前記第１尤度、前記第２尤度、又は、前記第２モデルのうち、少なくとも一つを用いて、前記画像の画素が、前記オブジェクトが存在する領域に含まれるか否かを判定し、前記オブジェクトが存在する領域を特定する領域特定部と
を備える、請求項１記載の画像処理装置。
【請求項７】
特定された前記オブジェクト領域に基づき、前記画像の画素に対し、各々の奥行きの程度を表すデプスを割り当て、ユーザが立体視可能な立体画像を生成する立体画像生成部をさらに備える、請求項１記載の画像処理装置。
【請求項８】
ユーザからの指定に基づいて、前記生成部が前記第２モデルの生成に用いる、前記画像のサイズを調節する調節部をさらに備える、
請求項３又は６記載の画像処理装置。
【請求項９】
画像において、少なくともオブジェクトの一部の位置を検出して、前記画像における一又は複数の画素ごとに、前記オブジェクトが存在する領域に含まれるかどうかを示す第１尤度を求め、
前記画像における一又は複数の画素ごとに、前記画素の特徴量を用いて、前記画素が立体物に相当する画素であるかどうかを示す第２尤度を求め、
前記第１尤度と前記第２尤度とを用いて、前記画像における前記オブジェクトが存在する領域を特定する、
画像処理方法。
【請求項１０】
コンピュータを、
画像において、少なくともオブジェクトの一部の位置を検出して、前記画像における一又は複数の画素ごとに、前記オブジェクトが存在する領域に含まれるかどうかを示す第１尤度を求める手段と、
前記画像における一又は複数の画素ごとに、前記画素の特徴量を用いて、前記画素が立体物に相当する画素であるかどうかを示す第２尤度を求める手段と、
前記第１尤度と前記第２尤度とを用いて、前記画像における前記オブジェクトが存在する領域を特定する手段と
して機能させるための、画像処理プログラム。
【請求項１】
画像において、少なくともオブジェクトの一部の位置を検出して、前記画像における一又は複数の画素ごとに、前記オブジェクトが存在する領域に含まれるかどうかを示す第１尤度を求める第１設定部と、
前記画像における一又は複数の画素ごとに、前記画素の特徴量を用いて、前記画素が立体物に相当する画素であるかどうかを示す第２尤度を求める第２設定部と、
前記第１尤度と前記第２尤度とを用いて、前記画像における前記オブジェクトが存在する領域を特定する特定部と
を備える画像処理装置。
【請求項２】
前記第１設定部は、
前記オブジェクトが存在する領域を示す第１モデルを予め保持し、検出した前記オブジェクトの一部の位置に対応するように、前記第１モデルを割り当てることにより、前記第１尤度を求める、
請求項１記載の画像処理装置。
【請求項３】
前記特定部は、
前記画像における一又は複数の画素ごとに、前記第１尤度と前記第２尤度とを合成し、第３尤度を求める合成部と、
前記第３尤度を用いて、前記画像の画素が、前記オブジェクトが存在する領域に含まれるか否かを判定するための第２モデルを生成する生成部と、
前記第２モデルを用いて、前記画像の画素が、前記オブジェクトが存在する領域に含まれるか否かを判定し、前記オブジェクトが存在する領域を特定する領域特定部と
を備える、請求項２記載の画像処理装置。
【請求項４】
前記オブジェクトは人物であり、
前記第１設定部は、
前記画像に対する顔検出を行なうことにより前記人物を検出する、
請求項３記載の画像処理装置。
【請求項５】
前記合成部は、
前記第１尤度と前記第２尤度との積により、前記第３尤度を求める、
請求項３記載の画像処理装置。
【請求項６】
前記特定部は、
前記第１尤度、又は、前記第２尤度のうち、少なくとも一つを用いて、前記画像における画素が、前記オブジェクトが存在する領域に含まれるか否かを判定するための第２モデルを生成する生成部と、
前記第１尤度、前記第２尤度、又は、前記第２モデルのうち、少なくとも一つを用いて、前記画像の画素が、前記オブジェクトが存在する領域に含まれるか否かを判定し、前記オブジェクトが存在する領域を特定する領域特定部と
を備える、請求項１記載の画像処理装置。
【請求項７】
特定された前記オブジェクト領域に基づき、前記画像の画素に対し、各々の奥行きの程度を表すデプスを割り当て、ユーザが立体視可能な立体画像を生成する立体画像生成部をさらに備える、請求項１記載の画像処理装置。
【請求項８】
ユーザからの指定に基づいて、前記生成部が前記第２モデルの生成に用いる、前記画像のサイズを調節する調節部をさらに備える、
請求項３又は６記載の画像処理装置。
【請求項９】
画像において、少なくともオブジェクトの一部の位置を検出して、前記画像における一又は複数の画素ごとに、前記オブジェクトが存在する領域に含まれるかどうかを示す第１尤度を求め、
前記画像における一又は複数の画素ごとに、前記画素の特徴量を用いて、前記画素が立体物に相当する画素であるかどうかを示す第２尤度を求め、
前記第１尤度と前記第２尤度とを用いて、前記画像における前記オブジェクトが存在する領域を特定する、
画像処理方法。
【請求項１０】
コンピュータを、
画像において、少なくともオブジェクトの一部の位置を検出して、前記画像における一又は複数の画素ごとに、前記オブジェクトが存在する領域に含まれるかどうかを示す第１尤度を求める手段と、
前記画像における一又は複数の画素ごとに、前記画素の特徴量を用いて、前記画素が立体物に相当する画素であるかどうかを示す第２尤度を求める手段と、
前記第１尤度と前記第２尤度とを用いて、前記画像における前記オブジェクトが存在する領域を特定する手段と
して機能させるための、画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２５６２９７（Ｐ２０１２−２５６２９７Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１３０２９３（Ｐ２０１１−１３０２９３）
【出願日】平成２３年６月１０日（２０１１．６．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月１０日（２０１１．６．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]