画像処理プログラム及び画像処理装置
【課題】対象画像内の対象物の数や形状が不定であっても、対象画像の中から指定された分類情報に係る対象物を含む画像領域を抽出する。
【解決手段】画像処理装置１０は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出し、対象画像を取得し、指定された分類情報に係る対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出し、対象画像に含まれる画素ごとに算出された評価値に基づいて、対象画像の中から指定された分類情報に係る画像領域を抽出する。
【解決手段】画像処理装置１０は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出し、対象画像を取得し、指定された分類情報に係る対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出し、対象画像に含まれる画素ごとに算出された評価値に基づいて、対象画像の中から指定された分類情報に係る画像領域を抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム及び画像処理装置に関する。
【背景技術】
【０００２】
画像の中から指定された対象物を抽出する方法には、例えばテンプレートマッチングによる方法がある（例えば下記の特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−４７９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像の中に含まれる対象物の数や形状が不定である場合には、テンプレートマッチングによる方法では対象物を抽出できないことがある。
【０００５】
本発明の目的は、指定された分類情報に係る対象物の数や形状が不定であっても、対象画像の中から当該指定された分類情報に係る対象物を含む画像領域を抽出できる画像処理プログラム及び画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に記載の発明は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、対象画像を取得する取得手段と、指定された分類情報に係る前記対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、前記確率分布算出手段により前記指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、前記画素評価値算出手段により前記対象画像に含まれる画素ごとに算出された評価値に基づいて、前記対象画像の中から前記指定された分類情報に係る画像領域を抽出する画像領域抽出手段としてコンピュータを機能させるための画像処理プログラムである。
【０００７】
また、請求項２に記載の発明は、前記画像領域抽出手段は、前記対象画像に含まれる画素のうち、前記画素評価値算出手段により算出された評価値が閾値以上である画素を連結した連結画素群を含む画像領域を抽出することを特徴とする請求項１に記載の画像処理プログラムである。
【０００８】
また、請求項３に記載の発明は、前記対象画像の中に複数の画像領域を設定する設定手段と、前記設定手段により設定される複数の画像領域ごとに、当該画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、当該画像領域の評価値を算出する領域評価値算出手段として前記コンピュータをさらに機能させ、前記画像領域抽出手段は、前記領域評価値算出手段により前記複数の画像領域について算出された評価値に基づいて、前記複数の画像領域の中から前記指定された分類情報に係る画像領域を抽出することを特徴とする請求項１に記載の画像処理プログラムである。
【０００９】
また、請求項４に記載の発明は、前記画素評価値算出手段は、指定された複数の分類情報ごとに、当該分類情報に係る前記対象画像に含まれる画素ごとの評価値を算出し、前記画像領域抽出手段は、前記指定された複数の分類情報ごとに、前記対象画像の中から当該分類情報に係る画像領域を抽出することを特徴とする請求項１乃至３のいずれかに記載の画像処理プログラムである。
【００１０】
また、請求項５に記載の発明は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、対象画像の中に部分領域を設定する設定手段と、指定された複数の分類情報ごとに、当該分類情報に係る前記部分領域に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、当該分類情報について前記確率分布算出手段により算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、前記指定された複数の分類情報ごとに、前記画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、前記部分領域の評価値を算出する領域評価値算出手段と、前記部分領域について前記領域評価値算出手段により算出された前記指定された複数の分類情報ごとの評価値に基づいて、前記指定された複数の分類情報の中から前記部分領域に係る分類情報を決定する決定手段としてコンピュータを機能させるための画像処理プログラムである。
【００１１】
また、請求項６に記載の発明は、前記設定手段は、前記対象画像について指定された点を含む複数の部分領域を設定し、前記領域評価値算出手段は、前記複数の部分領域のそれぞれについて前記指定された複数の分類情報ごとの評価値を算出し、前記決定手段は、前記領域評価値算出手段により算出された最大の評価値に対応する部分領域及び分類情報を決定することを特徴とする請求項５に記載の画像処理プログラムである。
【００１２】
また、請求項７に記載の発明は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、対象画像を取得する取得手段と、指定された分類情報に係る前記対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、前記確率分布算出手段により前記指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、前記画素評価値算出手段により前記対象画像に含まれる画素ごとに算出された評価値に基づいて、前記対象画像の中から前記指定された分類情報に係る画像領域を抽出する画像領域抽出手段と、を含むことを特徴とする画像処理装置である。
【００１３】
また、請求項８に記載の発明は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、対象画像の中に部分領域を設定する設定手段と、指定された複数の分類情報ごとに、当該分類情報に係る前記部分領域に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、当該分類情報について前記確率分布算出手段により算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、前記指定された複数の分類情報ごとに、前記画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、前記部分領域の評価値を算出する領域評価値算出手段と、前記部分領域について前記領域評価値算出手段により算出された前記指定された複数の分類情報ごとの評価値に基づいて、前記指定された複数の分類情報の中から前記部分領域に係る分類情報を決定する決定手段と、を含むことを特徴とする画像処理装置である。
【発明の効果】
【００１４】
請求項１及び７に記載の発明によれば、指定された分類情報に係る対象物の数や形状が不定であっても、対象画像の中から当該指定された分類情報に係る対象物を含む画像領域を抽出できる。
【００１５】
請求項２に記載の発明によれば、対象画像の中から指定された分類情報である確率が他の画素に比べて高い画素に基づき画像領域を抽出できる。
【００１６】
請求項３に記載の発明によれば、対象画像の中から指定された分類情報である確率が他の画像領域に比べて高い画像領域を抽出できる。
【００１７】
請求項４に記載の発明によれば、対象画像の中から複数の分類情報のそれぞれに該当する画像領域を抽出できる。
【００１８】
請求項５及び８に記載の発明によれば、対象画像の中に設定した部分領域に含まれる対象物の数や形状が不定であっても、当該対象物の分類情報を決定できる。
【００１９】
請求項６に記載の発明によれば、対象画像について指定された点を含む部分領域に含まれる対象物の分類情報を決定できる。
【図面の簡単な説明】
【００２０】
【図１】本実施形態に係る画像処理装置の機能ブロック図である。
【図２】学習データの一例を示す図である。
【図３】画像処理装置により行われる学習処理の流れを示すフローチャートである。
【図４】学習用画像と、学習用画像について指定された領域と分類情報の一例を示す図である。
【図５】学習用画像において分類情報が定められた領域について生成される特徴ベクトルの一例を説明する図である。
【図６】画像処理装置により行われる対象画像に対する処理の第１の例を示すフローチャートである。
【図７】第１の処理に係る対象画像に対する処理結果の一例を示す図である。
【図８】画像処理装置により行われる対象画像に対する処理の第２の例を示すフローチャートである。
【図９】画像処理装置により行われる対象画像に対する処理の第４の例を示すフローチャートである。
【図１０】画像処理装置により行われる対象画像に対する処理の第５の例を示すフローチャートである。
【図１１】第５の処理に係る対象画像に対する処理結果の一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明を実施するための実施の形態（以下、実施形態という）を、図面に従って説明する。
【００２２】
図１には、本実施形態に係る画像処理装置１０の機能ブロック図を示した。図１に示されるように、画像処理装置１０は、学習用画像データ取得部１００、学習領域設定部１０２、特徴データ生成部１０４、学習データ記憶部１０６、確率分布算出部１０８、対象画像データ取得部１１０、処理条件取得部１１２、画素評価値算出部１１４、部分領域設定部１１６、領域評価値算出部１１８、対象領域抽出部１２０、分類情報決定部１２２、表示情報生成部１２４、及び表示部１２６を備える。
【００２３】
画像処理装置１０に備えられる上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる画像処理装置１０に供給されることとしてもよいし、インターネット等のデータ通信網を介して供給されることとしてもよい。
【００２４】
学習用画像データ取得部１００は、学習用画像と、当該学習用画像に含まれる領域について予め定められた分類情報（ラベル情報）とを含む学習用画像データを取得する。
【００２５】
学習領域設定部１０２は、学習用画像データ取得部１００により取得された学習用画像の中から分類情報を学習するために用いる画像領域（学習領域）を設定する。学習領域設定部１０２は、学習用画像データに学習領域を指定するデータが含まれている場合には当該データに基づいて学習領域を設定し、当該データが含まれていない場合には、エッジ検出、画像分割等の結果に基づいて学習領域を設定することとしてよい。
【００２６】
特徴データ生成部１０４は、指定された画像領域についての画像特徴を表す特徴データを生成する。例えば、特徴データ生成部１０４は、指定された画像領域の内部から予め定められたサイズの領域（単位領域）を１又は複数選択し、当該各単位領域について色情報、テクスチャ情報等の画像特徴値を抽出し、当該各単位領域について抽出された平均の画像特徴値を要素として並べたベクトルを特徴データ（特徴ベクトル）として生成することとしてよい。もちろん、画像領域から特徴データを生成する方法は、上記の方法に限られず、Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅｓ法等の他の方法を用いることとしても構わない。
【００２７】
本実施形態では、特徴データ生成部１０４は、学習領域設定部１０２により設定された学習領域の画像特徴を表す特徴ベクトルを生成し、生成した特徴ベクトルを、学習領域について定められた分類情報に関連づけて学習データ記憶部１０６に記憶する。
【００２８】
学習データ記憶部１０６は、分類情報と、学習領域に係る情報とを関連づけて記憶する。学習領域に係る情報とは、学習領域の学習用画像の識別情報と、学習用画像の部分領域を識別する領域識別情報とを含むデータであってもよいし、学習領域について特徴データ生成部１０４により生成された特徴ベクトルを含むデータであってもよい。
【００２９】
図２には、学習データ記憶部１０６に記憶される学習データの一例を示した。図２に示した学習データ（テーブル）の例では、学習領域を識別する学習領域ＩＤに関連づけて、分類情報、特徴ベクトルが記憶される。なお、学習領域ＩＤのＩｉｊとは、学習用画像ｉの部分領域ｊを示すこととする。
【００３０】
確率分布算出部１０８は、学習データ記憶部１０６に記憶される学習データに基づいて、分類情報（ラベル情報）ごとの特徴ベクトルの確率分布を算出する。具体的には、確率分布算出部１０８は、分類情報ｃに対する事前分布Ｐ（ｃ）、特徴ベクトルｘの事前分布Ｐ（ｘ）、及び分類情報ｃを与えた場合の特徴ベクトルｘの確率分布Ｐ（ｘ｜ｃ）を算出する。まず、学習データ記憶部１０６に記憶される学習データの特徴ベクトルの総数をＮ、分類情報ｃが付与された特徴ベクトルの数がＮｃである場合には、Ｐ（ｃ）は以下の式（１）により算出される。
【００３１】
【数１】
【００３２】
特徴ベクトルｘの事前分布Ｐ（ｘ）に関しては０より大きく１よりも小さい一定値とするか、全学習用画像から抽出した特徴ベクトルの集合Ｘを用いて算出することとしてよい。例えば、確率分布算出部１０８は、特徴ベクトルｘの事前分布Ｐ（ｘ）を、混合ガウス分布を仮定し以下の式（２）により求めることとしてよい。なお、Ｎ（ｘ｜μ，Σ）は、平均ベクトルμ、共分散行列Σの多次元正規分布を表し、πは各正規分布に対する重みであってΣπｉ＝１の制約条件を持つパラメータ群であり、ｎはガウス分布の混合数である。
【００３３】
【数２】
【００３４】
分類情報ｃが与えられた場合の特徴ベクトルｘの確率分布Ｐ（ｘ｜ｃ）は、Ｐ（ｘ）同様に混合ガウス分布を用いて算出することとしてよい。具体的には、分類情報ｃが与えられた特徴ベクトルのみ（個数はＮｃ）を用いて確率分布Ｐ（ｘ｜ｃ）を算出することとする。なお、確率分布の算出方法は、混合ガウス分布を用いる以外にも例えばカーネル密度推定法等を用いてもよい。
【００３５】
対象画像データ取得部１１０は、処理の対象とする対象画像のデータを取得する。
【００３６】
処理条件取得部１１２は、対象画像に対して行う処理の条件を取得する。例えば、処理条件取得部１１２は、キーボードやマウス等の入力デバイスを介して入力されたデータに基づいて、対象画像に対して行う処理の内容や条件を取得することとしてよい。具体的には、画像処理装置１０は、分類情報が入力された場合には、対象画像から当該入力された分類情報に該当する画像領域を抽出する処理を実行し、画像領域が入力された場合には、当該画像領域に含まれる対象物の分類情報を決定する処理を実行することとしてよい。また、上記の処理以外にも、画像処理装置１０は、対象画像に含まれる全て又は一部の分類情報にそれぞれ対応する対象物を抽出する処理や、対象画像に対してポイントされた点に係る対象物の存在領域と分類情報とを決定する処理等を実行することとしてよい。
【００３７】
画素評価値算出部１１４は、対象画像データ取得部１１０により取得された対象画像に含まれる少なくとも一部の画素ごとに、指定された分類情報に該当する確率に基づく評価値を算出する。例えば、対象画像に含まれる全ての画素を処理対象としてもよいし、定間隔で画素を抽出して処理対象としてもよい。そして、画素評価値算出部１１４は、処理対象とする各画素を中心とする単位領域について特徴データ生成部１０４により生成された特徴ベクトルｙと、指定された分類情報ｃについて算出された確率分布に基づいて、特徴ベクトルｙに対する評価値ＳＣ（ｙ）を算出する。具体的には、画素評価値算出部１１４は、評価値ＳＣ（ｙ）を以下の式（３）により算出する。
【００３８】
【数３】
【００３９】
部分領域設定部１１６は、対象画像内に部分領域を設定する。例えば、部分領域設定部１１６は、対象画像に含まれる画素のうち、画素評価値算出部１１４で算出された評価値が閾値（例えば０）以上の画素を連結した連結画素群のそれぞれを部分領域に設定してもよいし、対象画像内の任意の部分を部分領域として設定してもよい。また、処理条件取得部１１２で、部分領域の範囲が指定されている場合には、その指定された範囲を部分領域に設定することとしてよい。
【００４０】
領域評価値算出部１１８は、部分領域設定部１１６により設定された部分領域の評価値を算出する。例えば、領域評価値算出部１１８は、部分領域ごとに、当該部分領域に含まれる各画素について画素評価値算出部１１４により算出された評価値の和を当該部分領域の評価値として算出する。
【００４１】
例えば、部分領域Ｙに含まれる画素ｐｉ（ｉ＝１，・・・，ｎ）に対し、画素ｐｉについて算出された特徴ベクトルをｙｉとする。このとき、部分領域Ｙが分類情報ｃである確率Ｐ（ｃ｜Ｙ）は、以下の式（４）により算出される。
【００４２】
【数４】
【００４３】
確率Ｐ（ｃ｜Ｙ）の対数ｌｏｇＰ（ｃ｜Ｙ）を、部分領域Ｙの評価値Ｓｃ（Ｙ）とすると、Ｓｃ（Ｙ）は以下の式（５）により算出される。
【００４４】
【数５】
【００４５】
対象領域抽出部１２０は、対象画像の中から指定された分類情報に係る部分領域（対象領域）を抽出する。例えば、対象領域抽出部１２０は、分類情報ｃに関して部分領域Ｙの評価値Ｓｃ（Ｙ）が最大となる部分領域Ｙを、対象領域として抽出することとしてよい。具体的には、式（５）の第２項は分類情報ｃに対して一定値であるから、式（５）の第１項を最大化するように部分領域Ｙを選択すればよい。そのため、評価値Ｓｃ（ｙ）が正となる画素を繋げた部分領域Ｙの中から、評価値Ｓｃ（Ｙ）が最大となるものを選択することで、対象領域を選択することとしてよい。また、部分領域の形状を矩形等の多角形とした場合には、Ｓｃ（ｙ）が正となる画素のみを連結した場合が必ずしも評価値Ｓｃ（Ｙ）を最大化しないため、部分領域Ｙの領域を変化させてそれぞれの部分領域Ｙについて算出された評価値のうち最大の評価値に該当する部分領域Ｙを対象領域として選択することとしてよい。
【００４６】
また、対象領域抽出部１２０は、Ｐ（ｃ｜Ｙ）が最大となる部分領域Ｙを決定するのではなく、下記の式（６）を最大化する部分領域Ｙを対象領域として選択することとしてもよい。
【００４７】
【数６】
【００４８】
分類情報決定部１２２は、部分領域設定部１１６により設定された部分領域について、指定する複数の分類情報ごとに評価値を算出し、その最大の評価値に該当する分類情報を、当該部分領域の分類情報に決定する。例えば、分類情報決定部１２２は、分類情報ｃｉ（ｉ＝１，・・・，ｍ）のそれぞれについて、式（７）により評価値Ｓｃｉ（Ｙ）を算出し、その最大値に当たるｃｉを部分領域Ｙの分類情報とすることとしてよい。
【００４９】
【数７】
【００５０】
表示情報生成部１２４は、対象領域抽出部１２０により抽出された部分領域や、分類情報決定部１２２により決定された分類情報を表示する表示情報を生成する。
【００５１】
表示部１２６は、表示情報生成部１２４により生成された表示情報に基づく画面を表示する。
【００５２】
次に、画像処理装置１０により行われる学習処理の流れを図３に示したフローチャートを参照しながら説明する。
【００５３】
図３に示されるように、画像処理装置１０は、学習用画像の入力を受け付ける（Ｓ１００１）と共に、当該学習用画像に含まれる領域の指定と、当該領域の分類情報とを受け付ける（Ｓ１００２）。
【００５４】
図４には、学習用画像と、学習用画像について指定された領域と分類情報の一例を示した。図４（Ａ）には、複数の学習用画像が示され、図４（Ｂ）には、それぞれの学習用画像に指定された領域に係る分類情報が示されている。
【００５５】
画像処理装置１０は、各学習用画像について指定された領域から複数の画素を選択する（Ｓ１００３）と共に、選択した各画素を中心とした予め定められたサイズの矩形領域の画像特徴を表す特徴ベクトルを生成する（Ｓ１００４）。
【００５６】
図５は、学習用画像において分類情報が定められた領域について生成される特徴ベクトルの一例を説明する図である。図５に示されるように、学習用画像において分類情報「Ｃ１（犬）」が指定された領域Ｉ１１の内部から複数の画素を選択し、各画素を中心とする単位矩形領域の画像特徴に基づき、各画素の特徴ベクトルを生成する。そして、例えば領域Ａの特徴ベクトルを、各画素の特徴ベクトルの平均値として算出することとしてよい。
【００５７】
画像処理装置１０は、領域に係る分類情報と、当該領域について生成された特徴ベクトルとを関連づけて記憶する（Ｓ１００５）。
【００５８】
画像処理装置１０は、全ての学習用画像について、Ｓ１００３乃至Ｓ１００５の処理を終えると（Ｓ１００６：Ｙ）、分類情報ごとに関連づけられる特徴ベクトルに基づいて、分類情報ごとの特徴ベクトルの確率分布を算出し、その結果を記憶して（Ｓ１００７）、学習処理を終了する。
【００５９】
次に、画像処理装置１０により行われる対象画像に対する処理の第１の例を図６に示したフローチャートを参照しながら説明する。
【００６０】
図６に示されるように、画像処理装置１０は、対象画像を取得すると共に（Ｓ２００１）、対象画像に対して行う処理内容を受け付ける（Ｓ２００２）。第１の例に係る処理では、指定された分類情報に係る画像領域を対象画像の中から抽出する処理を実行することとする。
【００６１】
画像処理装置１０は、対象画像に含まれる各画素について、当該各画素を中心とする単位矩形領域の画像特徴に基づいて特徴ベクトルを生成し（Ｓ２００３）、生成した特徴ベクトルと、指定された分類情報について算出された確率分布とに基づいて各画素の評価値を算出する（Ｓ２００４）。
【００６２】
画像処理装置１０は、上記算出された評価値が閾値より大きい（例えば０より大きい）画素を選択し（Ｓ２００５）、当該選択した画素を連結して領域を設定する（Ｓ２００６）。
【００６３】
画像処理装置１０は、上記設定した領域のうち領域内部に含まれる画素の評価値の総和が最大の領域を選択し（Ｓ２００７）、さらに選択した領域のサイズが一定のサイズ以上である場合には（Ｓ２００８：Ｙ）、上記選択した領域を対象領域として抽出する（Ｓ２００９）。画像処理装置１０は、抽出した対象領域を表示部１２６に表示して（Ｓ２０１０）、処理を終了する。また、Ｓ２００８で条件を満たさないと判定された場合には（Ｓ２００８：Ｎ）、対象領域が存在しないとして、処理を終了することとしてもよいし、領域の評価値が大きい順に領域を再度選択してＳ２００８以降の処理を実行するようにしてもよい。
【００６４】
図７には、第１の処理に係る対象画像に対する処理結果の一例を示した。図７（Ａ）は、対象画像の一例であり、図７（Ｂ）は、対象画像について設定された領域（白画素群）の一例であり、図７（Ｃ）は、設定された領域から選択された対象領域の一例である。なお、図７（Ｂ）では、対象画像に含まれる画素のうち評価値が０より大きい画素を白画素、他を黒画素として表している。
【００６５】
次に、画像処理装置１０により行われる対象画像に対する処理の第２の例を図８に示したフローチャートを参照しながら説明する。
【００６６】
図８に示されるように、画像処理装置１０は、対象画像を取得すると共に（Ｓ３００１）、対象画像に対して行う処理内容を受け付ける（Ｓ３００２）。第２の例に係る処理では、指定された分類情報に係る矩形の対象領域を対象画像の中から抽出する処理を実行することとする。
【００６７】
画像処理装置１０は、対象画像に含まれる各画素について、当該各画素を中心とする単位矩形領域の画像特徴に基づいて特徴ベクトルを生成し（Ｓ３００３）、生成した特徴ベクトルと、指定された分類情報について算出された確率分布とに基づいて各画素の評価値を算出する（Ｓ３００４）。
【００６８】
画像処理装置１０は、原点を含む矩形領域、すなわち左上（０，０）、右下（ｘ，ｙ）とする矩形領域に含まれる画素の評価値の総和Ｓ（０，０，ｘ，ｙ）を算出し、記憶する（Ｓ３００５）。なお、０≦ｘ≦Ｗ、０≦ｙ≦Ｈ、Ｗは対象画像の横サイズ、Ｈは対象画像の縦サイズとする。
【００６９】
画像処理装置１０は、計算対象の矩形領域を設定し（Ｓ３００６）、設定した矩形領域の評価値を算出する（Ｓ３００７）。設定した矩形領域を左上（ｘ１，ｙ１）、右下（ｘ２，ｙ２）とすると、Ｓ（ｘ１，ｙ１，ｘ２，ｙ２）＝Ｓ（０，０，ｘ２，ｙ２）−Ｓ（０，０，ｘ１，ｙ２）−Ｓ（０，０，ｘ２，ｙ１）＋Ｓ（０，０，ｘ１，ｙ１）により算出される。
【００７０】
画像処理装置１０は、計算対象の矩形領域を変化させて（Ｓ３００８）、算出される評価値が最大の矩形領域を対象領域に決定する（Ｓ３００９）。そして、画像処理装置１０は、抽出した対象領域を表示部１２６に表示して（Ｓ３０１０）、処理を終了する。
【００７１】
次に、画像処理装置１０により行われる対象画像に対する処理の第３の例について説明する。第３の例に係る処理では、複数の分類情報ごとに対象領域を決定し、分類情報と対象領域とを関連づけた態様で表示することとする。なお、分類情報について対象領域を決定する方法は、上記の第１又は第２の処理により行うこととしてよい。また、第３の例では、学習された全て又は一部の分類情報について対象領域を決定することとしてもよいし、ユーザーに指定された分類情報について対象領域を決定することとしてもよい。
【００７２】
次に、画像処理装置１０により行われる対象画像に対する処理の第４の例を、図９に示したフローチャートを参照しながら説明する。
【００７３】
図９に示されるように、画像処理装置１０は、対象画像を取得すると共に（Ｓ４００１）、対象画像に対して行う処理内容を受け付ける（Ｓ４００２）。第４の例に係る処理では、対象画像について指定された部分領域の分類情報を決定する処理を実行することとする。
【００７４】
画像処理装置１０は、対象画像について指定された部分領域に含まれる各画素について、当該各画素を中心とする単位矩形領域の画像特徴に基づいて特徴ベクトルを生成する（Ｓ４００３）。次いで、画像処理装置１０は、未処理の分類情報の１つを選択し（Ｓ４００４）、当該選択した分類情報について算出された確率分布と、生成した特徴ベクトルとに基づいて各画素の評価値を算出する（Ｓ４００５）。そして、画像処理装置１０は、部分領域に含まれる各画素の評価値に基づいて（例えば式（５）参照）、部分領域の評価値を算出する（Ｓ４００６）。
【００７５】
画像処理装置１０は、全ての分類情報について処理が完了していない場合には（Ｓ４００７：Ｎ）、Ｓ４００４に戻ってそれ以降の処理を繰り返し、全ての分類情報について処理が完了した場合には（Ｓ４００７：Ｙ）、Ｓ４００６で算出された評価値が最大の分類情報を、部分領域の分類情報として決定し（Ｓ４００８）、その分類情報を表示部１２６に表示して（Ｓ４００９）、処理を終了する。
【００７６】
次に、画像処理装置１０により行われる対象画像に対する処理の第５の例を、図１０に示したフローチャートを参照しながら説明する。
【００７７】
図１０に示されるように、画像処理装置１０は、対象画像を取得すると共に（Ｓ５００１）、対象画像の点の指定を受け付ける（Ｓ５００２）。なお、第５の例に係る処理では、対象画像について指定された点を含む対象物の領域及び分類情報を決定する処理を実行することとする。
【００７８】
画像処理装置１０は、未処理の分類情報を１つ選択し（Ｓ５００３）、選択した分類情報について、指定された点を含む矩形領域の評価値を算出する（Ｓ５００４）。画像処理装置１０は、矩形領域を変化させて（Ｓ５００５）、算出される評価値が最大の矩形領域を決定する（Ｓ５００６）。
【００７９】
次いで、画像処理装置１０は、全ての分類情報について処理が完了していない場合には（Ｓ５００７：Ｎ）、Ｓ５００３に戻ってそれ以降の処理を繰り返し、全ての分類情報について処理が完了した場合には（Ｓ５００７：Ｙ）、Ｓ５００６で決定した矩形領域のうち評価値が最大の矩形領域及びその分類情報を選択し（Ｓ５００８）、その結果を表示部１２６に表示して（Ｓ５００９）、処理を終了する。
【００８０】
図１１には、第５の処理に係る対象画像に対する処理結果の一例を示した。図１１（Ａ）は、対象画像及び指定された点（図中の＋）の一例であり、図１１（Ｂ）は、対象画像について各分類情報について決定した矩形領域の一例であり、図１１（Ｃ）は、最終的に選択された矩形領域及びその分類情報（Ｃ１）の一例である。
【００８１】
本発明は、上記の実施形態に限定されるものではなく、対象画像から抽出する画像領域は四角形のみならず、他の多角形や楕円を含む任意の形状としてもよい。また、上記の実施形態では、分類情報ごとの確率分布は事前に算出しておくこととしたが、対象画像を受け付けた後に算出することとしても構わない。
【符号の説明】
【００８２】
１０ 画像処理装置、１００ 学習用画像データ取得部、１０２ 学習領域設定部、１０４ 特徴データ生成部、１０６ 学習データ記憶部、１０８ 確率分布算出部、１１０ 対象画像データ取得部、１１２ 処理条件取得部、１１４ 画素評価値算出部、１１６ 部分領域設定部、１１８ 領域評価値算出部、１２０ 対象領域抽出部、１２２ 分類情報決定部、１２４ 表示情報生成部、１２６ 表示部。
【技術分野】
【０００１】
本発明は、画像処理プログラム及び画像処理装置に関する。
【背景技術】
【０００２】
画像の中から指定された対象物を抽出する方法には、例えばテンプレートマッチングによる方法がある（例えば下記の特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−４７９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像の中に含まれる対象物の数や形状が不定である場合には、テンプレートマッチングによる方法では対象物を抽出できないことがある。
【０００５】
本発明の目的は、指定された分類情報に係る対象物の数や形状が不定であっても、対象画像の中から当該指定された分類情報に係る対象物を含む画像領域を抽出できる画像処理プログラム及び画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に記載の発明は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、対象画像を取得する取得手段と、指定された分類情報に係る前記対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、前記確率分布算出手段により前記指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、前記画素評価値算出手段により前記対象画像に含まれる画素ごとに算出された評価値に基づいて、前記対象画像の中から前記指定された分類情報に係る画像領域を抽出する画像領域抽出手段としてコンピュータを機能させるための画像処理プログラムである。
【０００７】
また、請求項２に記載の発明は、前記画像領域抽出手段は、前記対象画像に含まれる画素のうち、前記画素評価値算出手段により算出された評価値が閾値以上である画素を連結した連結画素群を含む画像領域を抽出することを特徴とする請求項１に記載の画像処理プログラムである。
【０００８】
また、請求項３に記載の発明は、前記対象画像の中に複数の画像領域を設定する設定手段と、前記設定手段により設定される複数の画像領域ごとに、当該画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、当該画像領域の評価値を算出する領域評価値算出手段として前記コンピュータをさらに機能させ、前記画像領域抽出手段は、前記領域評価値算出手段により前記複数の画像領域について算出された評価値に基づいて、前記複数の画像領域の中から前記指定された分類情報に係る画像領域を抽出することを特徴とする請求項１に記載の画像処理プログラムである。
【０００９】
また、請求項４に記載の発明は、前記画素評価値算出手段は、指定された複数の分類情報ごとに、当該分類情報に係る前記対象画像に含まれる画素ごとの評価値を算出し、前記画像領域抽出手段は、前記指定された複数の分類情報ごとに、前記対象画像の中から当該分類情報に係る画像領域を抽出することを特徴とする請求項１乃至３のいずれかに記載の画像処理プログラムである。
【００１０】
また、請求項５に記載の発明は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、対象画像の中に部分領域を設定する設定手段と、指定された複数の分類情報ごとに、当該分類情報に係る前記部分領域に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、当該分類情報について前記確率分布算出手段により算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、前記指定された複数の分類情報ごとに、前記画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、前記部分領域の評価値を算出する領域評価値算出手段と、前記部分領域について前記領域評価値算出手段により算出された前記指定された複数の分類情報ごとの評価値に基づいて、前記指定された複数の分類情報の中から前記部分領域に係る分類情報を決定する決定手段としてコンピュータを機能させるための画像処理プログラムである。
【００１１】
また、請求項６に記載の発明は、前記設定手段は、前記対象画像について指定された点を含む複数の部分領域を設定し、前記領域評価値算出手段は、前記複数の部分領域のそれぞれについて前記指定された複数の分類情報ごとの評価値を算出し、前記決定手段は、前記領域評価値算出手段により算出された最大の評価値に対応する部分領域及び分類情報を決定することを特徴とする請求項５に記載の画像処理プログラムである。
【００１２】
また、請求項７に記載の発明は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、対象画像を取得する取得手段と、指定された分類情報に係る前記対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、前記確率分布算出手段により前記指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、前記画素評価値算出手段により前記対象画像に含まれる画素ごとに算出された評価値に基づいて、前記対象画像の中から前記指定された分類情報に係る画像領域を抽出する画像領域抽出手段と、を含むことを特徴とする画像処理装置である。
【００１３】
また、請求項８に記載の発明は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、対象画像の中に部分領域を設定する設定手段と、指定された複数の分類情報ごとに、当該分類情報に係る前記部分領域に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、当該分類情報について前記確率分布算出手段により算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、前記指定された複数の分類情報ごとに、前記画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、前記部分領域の評価値を算出する領域評価値算出手段と、前記部分領域について前記領域評価値算出手段により算出された前記指定された複数の分類情報ごとの評価値に基づいて、前記指定された複数の分類情報の中から前記部分領域に係る分類情報を決定する決定手段と、を含むことを特徴とする画像処理装置である。
【発明の効果】
【００１４】
請求項１及び７に記載の発明によれば、指定された分類情報に係る対象物の数や形状が不定であっても、対象画像の中から当該指定された分類情報に係る対象物を含む画像領域を抽出できる。
【００１５】
請求項２に記載の発明によれば、対象画像の中から指定された分類情報である確率が他の画素に比べて高い画素に基づき画像領域を抽出できる。
【００１６】
請求項３に記載の発明によれば、対象画像の中から指定された分類情報である確率が他の画像領域に比べて高い画像領域を抽出できる。
【００１７】
請求項４に記載の発明によれば、対象画像の中から複数の分類情報のそれぞれに該当する画像領域を抽出できる。
【００１８】
請求項５及び８に記載の発明によれば、対象画像の中に設定した部分領域に含まれる対象物の数や形状が不定であっても、当該対象物の分類情報を決定できる。
【００１９】
請求項６に記載の発明によれば、対象画像について指定された点を含む部分領域に含まれる対象物の分類情報を決定できる。
【図面の簡単な説明】
【００２０】
【図１】本実施形態に係る画像処理装置の機能ブロック図である。
【図２】学習データの一例を示す図である。
【図３】画像処理装置により行われる学習処理の流れを示すフローチャートである。
【図４】学習用画像と、学習用画像について指定された領域と分類情報の一例を示す図である。
【図５】学習用画像において分類情報が定められた領域について生成される特徴ベクトルの一例を説明する図である。
【図６】画像処理装置により行われる対象画像に対する処理の第１の例を示すフローチャートである。
【図７】第１の処理に係る対象画像に対する処理結果の一例を示す図である。
【図８】画像処理装置により行われる対象画像に対する処理の第２の例を示すフローチャートである。
【図９】画像処理装置により行われる対象画像に対する処理の第４の例を示すフローチャートである。
【図１０】画像処理装置により行われる対象画像に対する処理の第５の例を示すフローチャートである。
【図１１】第５の処理に係る対象画像に対する処理結果の一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明を実施するための実施の形態（以下、実施形態という）を、図面に従って説明する。
【００２２】
図１には、本実施形態に係る画像処理装置１０の機能ブロック図を示した。図１に示されるように、画像処理装置１０は、学習用画像データ取得部１００、学習領域設定部１０２、特徴データ生成部１０４、学習データ記憶部１０６、確率分布算出部１０８、対象画像データ取得部１１０、処理条件取得部１１２、画素評価値算出部１１４、部分領域設定部１１６、領域評価値算出部１１８、対象領域抽出部１２０、分類情報決定部１２２、表示情報生成部１２４、及び表示部１２６を備える。
【００２３】
画像処理装置１０に備えられる上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる画像処理装置１０に供給されることとしてもよいし、インターネット等のデータ通信網を介して供給されることとしてもよい。
【００２４】
学習用画像データ取得部１００は、学習用画像と、当該学習用画像に含まれる領域について予め定められた分類情報（ラベル情報）とを含む学習用画像データを取得する。
【００２５】
学習領域設定部１０２は、学習用画像データ取得部１００により取得された学習用画像の中から分類情報を学習するために用いる画像領域（学習領域）を設定する。学習領域設定部１０２は、学習用画像データに学習領域を指定するデータが含まれている場合には当該データに基づいて学習領域を設定し、当該データが含まれていない場合には、エッジ検出、画像分割等の結果に基づいて学習領域を設定することとしてよい。
【００２６】
特徴データ生成部１０４は、指定された画像領域についての画像特徴を表す特徴データを生成する。例えば、特徴データ生成部１０４は、指定された画像領域の内部から予め定められたサイズの領域（単位領域）を１又は複数選択し、当該各単位領域について色情報、テクスチャ情報等の画像特徴値を抽出し、当該各単位領域について抽出された平均の画像特徴値を要素として並べたベクトルを特徴データ（特徴ベクトル）として生成することとしてよい。もちろん、画像領域から特徴データを生成する方法は、上記の方法に限られず、Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅｓ法等の他の方法を用いることとしても構わない。
【００２７】
本実施形態では、特徴データ生成部１０４は、学習領域設定部１０２により設定された学習領域の画像特徴を表す特徴ベクトルを生成し、生成した特徴ベクトルを、学習領域について定められた分類情報に関連づけて学習データ記憶部１０６に記憶する。
【００２８】
学習データ記憶部１０６は、分類情報と、学習領域に係る情報とを関連づけて記憶する。学習領域に係る情報とは、学習領域の学習用画像の識別情報と、学習用画像の部分領域を識別する領域識別情報とを含むデータであってもよいし、学習領域について特徴データ生成部１０４により生成された特徴ベクトルを含むデータであってもよい。
【００２９】
図２には、学習データ記憶部１０６に記憶される学習データの一例を示した。図２に示した学習データ（テーブル）の例では、学習領域を識別する学習領域ＩＤに関連づけて、分類情報、特徴ベクトルが記憶される。なお、学習領域ＩＤのＩｉｊとは、学習用画像ｉの部分領域ｊを示すこととする。
【００３０】
確率分布算出部１０８は、学習データ記憶部１０６に記憶される学習データに基づいて、分類情報（ラベル情報）ごとの特徴ベクトルの確率分布を算出する。具体的には、確率分布算出部１０８は、分類情報ｃに対する事前分布Ｐ（ｃ）、特徴ベクトルｘの事前分布Ｐ（ｘ）、及び分類情報ｃを与えた場合の特徴ベクトルｘの確率分布Ｐ（ｘ｜ｃ）を算出する。まず、学習データ記憶部１０６に記憶される学習データの特徴ベクトルの総数をＮ、分類情報ｃが付与された特徴ベクトルの数がＮｃである場合には、Ｐ（ｃ）は以下の式（１）により算出される。
【００３１】
【数１】
【００３２】
特徴ベクトルｘの事前分布Ｐ（ｘ）に関しては０より大きく１よりも小さい一定値とするか、全学習用画像から抽出した特徴ベクトルの集合Ｘを用いて算出することとしてよい。例えば、確率分布算出部１０８は、特徴ベクトルｘの事前分布Ｐ（ｘ）を、混合ガウス分布を仮定し以下の式（２）により求めることとしてよい。なお、Ｎ（ｘ｜μ，Σ）は、平均ベクトルμ、共分散行列Σの多次元正規分布を表し、πは各正規分布に対する重みであってΣπｉ＝１の制約条件を持つパラメータ群であり、ｎはガウス分布の混合数である。
【００３３】
【数２】
【００３４】
分類情報ｃが与えられた場合の特徴ベクトルｘの確率分布Ｐ（ｘ｜ｃ）は、Ｐ（ｘ）同様に混合ガウス分布を用いて算出することとしてよい。具体的には、分類情報ｃが与えられた特徴ベクトルのみ（個数はＮｃ）を用いて確率分布Ｐ（ｘ｜ｃ）を算出することとする。なお、確率分布の算出方法は、混合ガウス分布を用いる以外にも例えばカーネル密度推定法等を用いてもよい。
【００３５】
対象画像データ取得部１１０は、処理の対象とする対象画像のデータを取得する。
【００３６】
処理条件取得部１１２は、対象画像に対して行う処理の条件を取得する。例えば、処理条件取得部１１２は、キーボードやマウス等の入力デバイスを介して入力されたデータに基づいて、対象画像に対して行う処理の内容や条件を取得することとしてよい。具体的には、画像処理装置１０は、分類情報が入力された場合には、対象画像から当該入力された分類情報に該当する画像領域を抽出する処理を実行し、画像領域が入力された場合には、当該画像領域に含まれる対象物の分類情報を決定する処理を実行することとしてよい。また、上記の処理以外にも、画像処理装置１０は、対象画像に含まれる全て又は一部の分類情報にそれぞれ対応する対象物を抽出する処理や、対象画像に対してポイントされた点に係る対象物の存在領域と分類情報とを決定する処理等を実行することとしてよい。
【００３７】
画素評価値算出部１１４は、対象画像データ取得部１１０により取得された対象画像に含まれる少なくとも一部の画素ごとに、指定された分類情報に該当する確率に基づく評価値を算出する。例えば、対象画像に含まれる全ての画素を処理対象としてもよいし、定間隔で画素を抽出して処理対象としてもよい。そして、画素評価値算出部１１４は、処理対象とする各画素を中心とする単位領域について特徴データ生成部１０４により生成された特徴ベクトルｙと、指定された分類情報ｃについて算出された確率分布に基づいて、特徴ベクトルｙに対する評価値ＳＣ（ｙ）を算出する。具体的には、画素評価値算出部１１４は、評価値ＳＣ（ｙ）を以下の式（３）により算出する。
【００３８】
【数３】
【００３９】
部分領域設定部１１６は、対象画像内に部分領域を設定する。例えば、部分領域設定部１１６は、対象画像に含まれる画素のうち、画素評価値算出部１１４で算出された評価値が閾値（例えば０）以上の画素を連結した連結画素群のそれぞれを部分領域に設定してもよいし、対象画像内の任意の部分を部分領域として設定してもよい。また、処理条件取得部１１２で、部分領域の範囲が指定されている場合には、その指定された範囲を部分領域に設定することとしてよい。
【００４０】
領域評価値算出部１１８は、部分領域設定部１１６により設定された部分領域の評価値を算出する。例えば、領域評価値算出部１１８は、部分領域ごとに、当該部分領域に含まれる各画素について画素評価値算出部１１４により算出された評価値の和を当該部分領域の評価値として算出する。
【００４１】
例えば、部分領域Ｙに含まれる画素ｐｉ（ｉ＝１，・・・，ｎ）に対し、画素ｐｉについて算出された特徴ベクトルをｙｉとする。このとき、部分領域Ｙが分類情報ｃである確率Ｐ（ｃ｜Ｙ）は、以下の式（４）により算出される。
【００４２】
【数４】
【００４３】
確率Ｐ（ｃ｜Ｙ）の対数ｌｏｇＰ（ｃ｜Ｙ）を、部分領域Ｙの評価値Ｓｃ（Ｙ）とすると、Ｓｃ（Ｙ）は以下の式（５）により算出される。
【００４４】
【数５】
【００４５】
対象領域抽出部１２０は、対象画像の中から指定された分類情報に係る部分領域（対象領域）を抽出する。例えば、対象領域抽出部１２０は、分類情報ｃに関して部分領域Ｙの評価値Ｓｃ（Ｙ）が最大となる部分領域Ｙを、対象領域として抽出することとしてよい。具体的には、式（５）の第２項は分類情報ｃに対して一定値であるから、式（５）の第１項を最大化するように部分領域Ｙを選択すればよい。そのため、評価値Ｓｃ（ｙ）が正となる画素を繋げた部分領域Ｙの中から、評価値Ｓｃ（Ｙ）が最大となるものを選択することで、対象領域を選択することとしてよい。また、部分領域の形状を矩形等の多角形とした場合には、Ｓｃ（ｙ）が正となる画素のみを連結した場合が必ずしも評価値Ｓｃ（Ｙ）を最大化しないため、部分領域Ｙの領域を変化させてそれぞれの部分領域Ｙについて算出された評価値のうち最大の評価値に該当する部分領域Ｙを対象領域として選択することとしてよい。
【００４６】
また、対象領域抽出部１２０は、Ｐ（ｃ｜Ｙ）が最大となる部分領域Ｙを決定するのではなく、下記の式（６）を最大化する部分領域Ｙを対象領域として選択することとしてもよい。
【００４７】
【数６】
【００４８】
分類情報決定部１２２は、部分領域設定部１１６により設定された部分領域について、指定する複数の分類情報ごとに評価値を算出し、その最大の評価値に該当する分類情報を、当該部分領域の分類情報に決定する。例えば、分類情報決定部１２２は、分類情報ｃｉ（ｉ＝１，・・・，ｍ）のそれぞれについて、式（７）により評価値Ｓｃｉ（Ｙ）を算出し、その最大値に当たるｃｉを部分領域Ｙの分類情報とすることとしてよい。
【００４９】
【数７】
【００５０】
表示情報生成部１２４は、対象領域抽出部１２０により抽出された部分領域や、分類情報決定部１２２により決定された分類情報を表示する表示情報を生成する。
【００５１】
表示部１２６は、表示情報生成部１２４により生成された表示情報に基づく画面を表示する。
【００５２】
次に、画像処理装置１０により行われる学習処理の流れを図３に示したフローチャートを参照しながら説明する。
【００５３】
図３に示されるように、画像処理装置１０は、学習用画像の入力を受け付ける（Ｓ１００１）と共に、当該学習用画像に含まれる領域の指定と、当該領域の分類情報とを受け付ける（Ｓ１００２）。
【００５４】
図４には、学習用画像と、学習用画像について指定された領域と分類情報の一例を示した。図４（Ａ）には、複数の学習用画像が示され、図４（Ｂ）には、それぞれの学習用画像に指定された領域に係る分類情報が示されている。
【００５５】
画像処理装置１０は、各学習用画像について指定された領域から複数の画素を選択する（Ｓ１００３）と共に、選択した各画素を中心とした予め定められたサイズの矩形領域の画像特徴を表す特徴ベクトルを生成する（Ｓ１００４）。
【００５６】
図５は、学習用画像において分類情報が定められた領域について生成される特徴ベクトルの一例を説明する図である。図５に示されるように、学習用画像において分類情報「Ｃ１（犬）」が指定された領域Ｉ１１の内部から複数の画素を選択し、各画素を中心とする単位矩形領域の画像特徴に基づき、各画素の特徴ベクトルを生成する。そして、例えば領域Ａの特徴ベクトルを、各画素の特徴ベクトルの平均値として算出することとしてよい。
【００５７】
画像処理装置１０は、領域に係る分類情報と、当該領域について生成された特徴ベクトルとを関連づけて記憶する（Ｓ１００５）。
【００５８】
画像処理装置１０は、全ての学習用画像について、Ｓ１００３乃至Ｓ１００５の処理を終えると（Ｓ１００６：Ｙ）、分類情報ごとに関連づけられる特徴ベクトルに基づいて、分類情報ごとの特徴ベクトルの確率分布を算出し、その結果を記憶して（Ｓ１００７）、学習処理を終了する。
【００５９】
次に、画像処理装置１０により行われる対象画像に対する処理の第１の例を図６に示したフローチャートを参照しながら説明する。
【００６０】
図６に示されるように、画像処理装置１０は、対象画像を取得すると共に（Ｓ２００１）、対象画像に対して行う処理内容を受け付ける（Ｓ２００２）。第１の例に係る処理では、指定された分類情報に係る画像領域を対象画像の中から抽出する処理を実行することとする。
【００６１】
画像処理装置１０は、対象画像に含まれる各画素について、当該各画素を中心とする単位矩形領域の画像特徴に基づいて特徴ベクトルを生成し（Ｓ２００３）、生成した特徴ベクトルと、指定された分類情報について算出された確率分布とに基づいて各画素の評価値を算出する（Ｓ２００４）。
【００６２】
画像処理装置１０は、上記算出された評価値が閾値より大きい（例えば０より大きい）画素を選択し（Ｓ２００５）、当該選択した画素を連結して領域を設定する（Ｓ２００６）。
【００６３】
画像処理装置１０は、上記設定した領域のうち領域内部に含まれる画素の評価値の総和が最大の領域を選択し（Ｓ２００７）、さらに選択した領域のサイズが一定のサイズ以上である場合には（Ｓ２００８：Ｙ）、上記選択した領域を対象領域として抽出する（Ｓ２００９）。画像処理装置１０は、抽出した対象領域を表示部１２６に表示して（Ｓ２０１０）、処理を終了する。また、Ｓ２００８で条件を満たさないと判定された場合には（Ｓ２００８：Ｎ）、対象領域が存在しないとして、処理を終了することとしてもよいし、領域の評価値が大きい順に領域を再度選択してＳ２００８以降の処理を実行するようにしてもよい。
【００６４】
図７には、第１の処理に係る対象画像に対する処理結果の一例を示した。図７（Ａ）は、対象画像の一例であり、図７（Ｂ）は、対象画像について設定された領域（白画素群）の一例であり、図７（Ｃ）は、設定された領域から選択された対象領域の一例である。なお、図７（Ｂ）では、対象画像に含まれる画素のうち評価値が０より大きい画素を白画素、他を黒画素として表している。
【００６５】
次に、画像処理装置１０により行われる対象画像に対する処理の第２の例を図８に示したフローチャートを参照しながら説明する。
【００６６】
図８に示されるように、画像処理装置１０は、対象画像を取得すると共に（Ｓ３００１）、対象画像に対して行う処理内容を受け付ける（Ｓ３００２）。第２の例に係る処理では、指定された分類情報に係る矩形の対象領域を対象画像の中から抽出する処理を実行することとする。
【００６７】
画像処理装置１０は、対象画像に含まれる各画素について、当該各画素を中心とする単位矩形領域の画像特徴に基づいて特徴ベクトルを生成し（Ｓ３００３）、生成した特徴ベクトルと、指定された分類情報について算出された確率分布とに基づいて各画素の評価値を算出する（Ｓ３００４）。
【００６８】
画像処理装置１０は、原点を含む矩形領域、すなわち左上（０，０）、右下（ｘ，ｙ）とする矩形領域に含まれる画素の評価値の総和Ｓ（０，０，ｘ，ｙ）を算出し、記憶する（Ｓ３００５）。なお、０≦ｘ≦Ｗ、０≦ｙ≦Ｈ、Ｗは対象画像の横サイズ、Ｈは対象画像の縦サイズとする。
【００６９】
画像処理装置１０は、計算対象の矩形領域を設定し（Ｓ３００６）、設定した矩形領域の評価値を算出する（Ｓ３００７）。設定した矩形領域を左上（ｘ１，ｙ１）、右下（ｘ２，ｙ２）とすると、Ｓ（ｘ１，ｙ１，ｘ２，ｙ２）＝Ｓ（０，０，ｘ２，ｙ２）−Ｓ（０，０，ｘ１，ｙ２）−Ｓ（０，０，ｘ２，ｙ１）＋Ｓ（０，０，ｘ１，ｙ１）により算出される。
【００７０】
画像処理装置１０は、計算対象の矩形領域を変化させて（Ｓ３００８）、算出される評価値が最大の矩形領域を対象領域に決定する（Ｓ３００９）。そして、画像処理装置１０は、抽出した対象領域を表示部１２６に表示して（Ｓ３０１０）、処理を終了する。
【００７１】
次に、画像処理装置１０により行われる対象画像に対する処理の第３の例について説明する。第３の例に係る処理では、複数の分類情報ごとに対象領域を決定し、分類情報と対象領域とを関連づけた態様で表示することとする。なお、分類情報について対象領域を決定する方法は、上記の第１又は第２の処理により行うこととしてよい。また、第３の例では、学習された全て又は一部の分類情報について対象領域を決定することとしてもよいし、ユーザーに指定された分類情報について対象領域を決定することとしてもよい。
【００７２】
次に、画像処理装置１０により行われる対象画像に対する処理の第４の例を、図９に示したフローチャートを参照しながら説明する。
【００７３】
図９に示されるように、画像処理装置１０は、対象画像を取得すると共に（Ｓ４００１）、対象画像に対して行う処理内容を受け付ける（Ｓ４００２）。第４の例に係る処理では、対象画像について指定された部分領域の分類情報を決定する処理を実行することとする。
【００７４】
画像処理装置１０は、対象画像について指定された部分領域に含まれる各画素について、当該各画素を中心とする単位矩形領域の画像特徴に基づいて特徴ベクトルを生成する（Ｓ４００３）。次いで、画像処理装置１０は、未処理の分類情報の１つを選択し（Ｓ４００４）、当該選択した分類情報について算出された確率分布と、生成した特徴ベクトルとに基づいて各画素の評価値を算出する（Ｓ４００５）。そして、画像処理装置１０は、部分領域に含まれる各画素の評価値に基づいて（例えば式（５）参照）、部分領域の評価値を算出する（Ｓ４００６）。
【００７５】
画像処理装置１０は、全ての分類情報について処理が完了していない場合には（Ｓ４００７：Ｎ）、Ｓ４００４に戻ってそれ以降の処理を繰り返し、全ての分類情報について処理が完了した場合には（Ｓ４００７：Ｙ）、Ｓ４００６で算出された評価値が最大の分類情報を、部分領域の分類情報として決定し（Ｓ４００８）、その分類情報を表示部１２６に表示して（Ｓ４００９）、処理を終了する。
【００７６】
次に、画像処理装置１０により行われる対象画像に対する処理の第５の例を、図１０に示したフローチャートを参照しながら説明する。
【００７７】
図１０に示されるように、画像処理装置１０は、対象画像を取得すると共に（Ｓ５００１）、対象画像の点の指定を受け付ける（Ｓ５００２）。なお、第５の例に係る処理では、対象画像について指定された点を含む対象物の領域及び分類情報を決定する処理を実行することとする。
【００７８】
画像処理装置１０は、未処理の分類情報を１つ選択し（Ｓ５００３）、選択した分類情報について、指定された点を含む矩形領域の評価値を算出する（Ｓ５００４）。画像処理装置１０は、矩形領域を変化させて（Ｓ５００５）、算出される評価値が最大の矩形領域を決定する（Ｓ５００６）。
【００７９】
次いで、画像処理装置１０は、全ての分類情報について処理が完了していない場合には（Ｓ５００７：Ｎ）、Ｓ５００３に戻ってそれ以降の処理を繰り返し、全ての分類情報について処理が完了した場合には（Ｓ５００７：Ｙ）、Ｓ５００６で決定した矩形領域のうち評価値が最大の矩形領域及びその分類情報を選択し（Ｓ５００８）、その結果を表示部１２６に表示して（Ｓ５００９）、処理を終了する。
【００８０】
図１１には、第５の処理に係る対象画像に対する処理結果の一例を示した。図１１（Ａ）は、対象画像及び指定された点（図中の＋）の一例であり、図１１（Ｂ）は、対象画像について各分類情報について決定した矩形領域の一例であり、図１１（Ｃ）は、最終的に選択された矩形領域及びその分類情報（Ｃ１）の一例である。
【００８１】
本発明は、上記の実施形態に限定されるものではなく、対象画像から抽出する画像領域は四角形のみならず、他の多角形や楕円を含む任意の形状としてもよい。また、上記の実施形態では、分類情報ごとの確率分布は事前に算出しておくこととしたが、対象画像を受け付けた後に算出することとしても構わない。
【符号の説明】
【００８２】
１０ 画像処理装置、１００ 学習用画像データ取得部、１０２ 学習領域設定部、１０４ 特徴データ生成部、１０６ 学習データ記憶部、１０８ 確率分布算出部、１１０ 対象画像データ取得部、１１２ 処理条件取得部、１１４ 画素評価値算出部、１１６ 部分領域設定部、１１８ 領域評価値算出部、１２０ 対象領域抽出部、１２２ 分類情報決定部、１２４ 表示情報生成部、１２６ 表示部。
【特許請求の範囲】
【請求項１】
分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、
対象画像を取得する取得手段と、
指定された分類情報に係る前記対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、前記確率分布算出手段により前記指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、
前記画素評価値算出手段により前記対象画像に含まれる画素ごとに算出された評価値に基づいて、前記対象画像の中から前記指定された分類情報に係る画像領域を抽出する画像領域抽出手段
としてコンピュータを機能させるための画像処理プログラム。
【請求項２】
前記画像領域抽出手段は、前記対象画像に含まれる画素のうち、前記画素評価値算出手段により算出された評価値が閾値以上である画素を連結した連結画素群を含む画像領域を抽出する
ことを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記対象画像の中に複数の画像領域を設定する設定手段と、
前記設定手段により設定される複数の画像領域ごとに、当該画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、当該画像領域の評価値を算出する領域評価値算出手段として前記コンピュータをさらに機能させ、
前記画像領域抽出手段は、前記領域評価値算出手段により前記複数の画像領域について算出された評価値に基づいて、前記複数の画像領域の中から前記指定された分類情報に係る画像領域を抽出する
ことを特徴とする請求項１に記載の画像処理プログラム。
【請求項４】
前記画素評価値算出手段は、指定された複数の分類情報ごとに、当該分類情報に係る前記対象画像に含まれる画素ごとの評価値を算出し、
前記画像領域抽出手段は、前記指定された複数の分類情報ごとに、前記対象画像の中から当該分類情報に係る画像領域を抽出する
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理プログラム。
【請求項５】
分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、
対象画像の中に部分領域を設定する設定手段と、
指定された複数の分類情報ごとに、当該分類情報に係る前記部分領域に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、当該分類情報について前記確率分布算出手段により算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、
前記指定された複数の分類情報ごとに、前記画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、前記部分領域の評価値を算出する領域評価値算出手段と、
前記部分領域について前記領域評価値算出手段により算出された前記指定された複数の分類情報ごとの評価値に基づいて、前記指定された複数の分類情報の中から前記部分領域に係る分類情報を決定する決定手段
としてコンピュータを機能させるための画像処理プログラム。
【請求項６】
前記設定手段は、前記対象画像について指定された点を含む複数の部分領域を設定し、
前記領域評価値算出手段は、前記複数の部分領域のそれぞれについて前記指定された複数の分類情報ごとの評価値を算出し、
前記決定手段は、前記領域評価値算出手段により算出された最大の評価値に対応する部分領域及び分類情報を決定する
ことを特徴とする請求項５に記載の画像処理プログラム。
【請求項７】
分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、
対象画像を取得する取得手段と、
指定された分類情報に係る前記対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、前記確率分布算出手段により前記指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、
前記画素評価値算出手段により前記対象画像に含まれる画素ごとに算出された評価値に基づいて、前記対象画像の中から前記指定された分類情報に係る画像領域を抽出する画像領域抽出手段と、を含む
ことを特徴とする画像処理装置。
【請求項８】
分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、
対象画像の中に部分領域を設定する設定手段と、
指定された複数の分類情報ごとに、当該分類情報に係る前記部分領域に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、当該分類情報について前記確率分布算出手段により算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、
前記指定された複数の分類情報ごとに、前記画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、前記部分領域の評価値を算出する領域評価値算出手段と、
前記部分領域について前記領域評価値算出手段により算出された前記指定された複数の分類情報ごとの評価値に基づいて、前記指定された複数の分類情報の中から前記部分領域に係る分類情報を決定する決定手段と、を含む
ことを特徴とする画像処理装置。
【請求項１】
分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、
対象画像を取得する取得手段と、
指定された分類情報に係る前記対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、前記確率分布算出手段により前記指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、
前記画素評価値算出手段により前記対象画像に含まれる画素ごとに算出された評価値に基づいて、前記対象画像の中から前記指定された分類情報に係る画像領域を抽出する画像領域抽出手段
としてコンピュータを機能させるための画像処理プログラム。
【請求項２】
前記画像領域抽出手段は、前記対象画像に含まれる画素のうち、前記画素評価値算出手段により算出された評価値が閾値以上である画素を連結した連結画素群を含む画像領域を抽出する
ことを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記対象画像の中に複数の画像領域を設定する設定手段と、
前記設定手段により設定される複数の画像領域ごとに、当該画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、当該画像領域の評価値を算出する領域評価値算出手段として前記コンピュータをさらに機能させ、
前記画像領域抽出手段は、前記領域評価値算出手段により前記複数の画像領域について算出された評価値に基づいて、前記複数の画像領域の中から前記指定された分類情報に係る画像領域を抽出する
ことを特徴とする請求項１に記載の画像処理プログラム。
【請求項４】
前記画素評価値算出手段は、指定された複数の分類情報ごとに、当該分類情報に係る前記対象画像に含まれる画素ごとの評価値を算出し、
前記画像領域抽出手段は、前記指定された複数の分類情報ごとに、前記対象画像の中から当該分類情報に係る画像領域を抽出する
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理プログラム。
【請求項５】
分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、
対象画像の中に部分領域を設定する設定手段と、
指定された複数の分類情報ごとに、当該分類情報に係る前記部分領域に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、当該分類情報について前記確率分布算出手段により算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、
前記指定された複数の分類情報ごとに、前記画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、前記部分領域の評価値を算出する領域評価値算出手段と、
前記部分領域について前記領域評価値算出手段により算出された前記指定された複数の分類情報ごとの評価値に基づいて、前記指定された複数の分類情報の中から前記部分領域に係る分類情報を決定する決定手段
としてコンピュータを機能させるための画像処理プログラム。
【請求項６】
前記設定手段は、前記対象画像について指定された点を含む複数の部分領域を設定し、
前記領域評価値算出手段は、前記複数の部分領域のそれぞれについて前記指定された複数の分類情報ごとの評価値を算出し、
前記決定手段は、前記領域評価値算出手段により算出された最大の評価値に対応する部分領域及び分類情報を決定する
ことを特徴とする請求項５に記載の画像処理プログラム。
【請求項７】
分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、
対象画像を取得する取得手段と、
指定された分類情報に係る前記対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、前記確率分布算出手段により前記指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、
前記画素評価値算出手段により前記対象画像に含まれる画素ごとに算出された評価値に基づいて、前記対象画像の中から前記指定された分類情報に係る画像領域を抽出する画像領域抽出手段と、を含む
ことを特徴とする画像処理装置。
【請求項８】
分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、
対象画像の中に部分領域を設定する設定手段と、
指定された複数の分類情報ごとに、当該分類情報に係る前記部分領域に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、当該分類情報について前記確率分布算出手段により算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、
前記指定された複数の分類情報ごとに、前記画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、前記部分領域の評価値を算出する領域評価値算出手段と、
前記部分領域について前記領域評価値算出手段により算出された前記指定された複数の分類情報ごとの評価値に基づいて、前記指定された複数の分類情報の中から前記部分領域に係る分類情報を決定する決定手段と、を含む
ことを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図６】
【図８】
【図９】
【図１０】
【図４】
【図５】
【図７】
【図１１】
【図２】
【図３】
【図６】
【図８】
【図９】
【図１０】
【図４】
【図５】
【図７】
【図１１】
【公開番号】特開２０１２−１６４２２６（Ｐ２０１２−１６４２２６Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２５４３５（Ｐ２０１１−２５４３５）
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]