領域識別装置およびコンテンツ識別装置
【課題】状況変化がある環境下で撮像された画像でも、画像中の識別領域を高精度に識別し、画像が識別対象コンテンツであるか否かを高精度に判定できるようにすること。
【解決手段】第1の検出手段11は、画像から状況変化に頑健な第1の特徴量を抽出し、該第1の特徴量を用いて識別領域の一部を検出する。第2の検出手段11は、第1の検出手段11で検出された識別領域の一部から第2の特徴量を抽出し、該第2の特徴量を用いて識別領域の全体を検出する。例えば、第1の検出手段11は、画像から形状情報または輝度情報を用いて顔領域を検出し、第2の検出手段は、顔領域から抽出される色を用いて肌領域を検出する。検出された識別領域の全体(肌部分)の配置などの特徴量から画像を識別できる。
【解決手段】第1の検出手段11は、画像から状況変化に頑健な第1の特徴量を抽出し、該第1の特徴量を用いて識別領域の一部を検出する。第2の検出手段11は、第1の検出手段11で検出された識別領域の一部から第2の特徴量を抽出し、該第2の特徴量を用いて識別領域の全体を検出する。例えば、第1の検出手段11は、画像から形状情報または輝度情報を用いて顔領域を検出し、第2の検出手段は、顔領域から抽出される色を用いて肌領域を検出する。検出された識別領域の全体(肌部分)の配置などの特徴量から画像を識別できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、領域識別装置およびコンテンツ識別装置に関し、特に、採光条件などの状況変化がある環境下で撮像された画像でも、画像中の特定領域を高精度に識別でき、その識別結果を利用して未知コンテンツが識別対象コンテンツであるか否かを高精度に判定できる領域識別装置およびコンテンツ識別装置に関する。
【背景技術】
【０００２】
インターネット上には種々のコンテンツが流通しており、これらのコンテンツには猥褻で有害なものが含まれている。インターネットを通じて誰でもがどのようなコンテンツでも取得できるのを制限するため、コンテンツをフィルタリングする技術が利用される。
【０００３】
コンテンツをフィルタリングする方法として、データベースに登録されたアドレスへのアクセスを制限する方法がある。
【０００４】
特許文献１には、ブラックリストDBを有するフィルタリングサーバを設け、クライアントPCからの閲覧リクエストを受けたとき、ブラックリストDBを参照してアクセス先のWebページが規制対象URLか否かを判定して規制対象URLの閲覧を制限するフィルタリング情報処理システムが記載されている。
【０００５】
特許文献２は、メールサーバから子供などの受信者への電子メールの配信を一定時間保留するとともに、それに含まれているURLをレイティング機関に送り、レイティング機関では当該URLのコンテンツが有害であるか否か人手で審査してブラックリストを作成し、有害コンテンツへのアクセスを制限するコンテンツフィルタリング方法が記載されている。
【０００６】
特許文献３には、コンテンツに含まれる画像データ、動画データおよび音声データをDBに蓄積された基準画像データ、基準動画データおよび基準音声データとの類似性を判断し、類似性があると判断された場合に当該コンテンツを閲覧不可とするコンテンツフィルタリングシステムが記載されている。類似性の判断では、例えば、動画データと基準動画像データからフレームごとに抽出される色、形、テクスチャ、位置、線分などの特徴量、音声データから抽出される単語、フレーズなどの特徴量を利用する。また、URLデータベースに登録されたURLから受信したコンテンツを閲覧不可とすることも記載されている。
【０００７】
特許文献４は、肌色領域を検出し、各肌色領域の面積と重心位置を算出する、コンピュータ画像処理により猥褻ヌード画像を弁別する方法が記載されている。これでは、検出された複数の肌色領域が適宜の面積の組み合わせパターンに合うと分類された画像について、肌色領域の密集度合いや離散度合いに相関した肌色分布特徴量を求め、該肌色分布特徴量から画像が猥褻ヌード画像の可能性が大きいか否かを判断する。
【０００８】
非特許文献１には、有害モバイルコンテンツのフィルタリングシステムが記載されている。
【特許文献１】特開２００４−１４５６９５号公報
【特許文献２】特開２００６−１４６７４３号公報
【特許文献３】特開２００５−２９３１２３号公報
【特許文献４】特開２００２−１７５５２７号公報
【非特許文献１】有害モバイルコンテンツのフィルタリングシステムに関する調査研究(平成１４年度調査研究報告書)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載されたフィルタリング情報処理システムは、特定のURLを規制対象URLとしてブラックリストDBに登録しておき、これを基にして閲覧を制限するので、ブラックリストDBに登録されている情報が古くなって、現状での規制対象をよく反映しなくなってしまう恐れがある。現状での規制対象URLを時間遅れなく収集してブラックリストDBに登録することは実際上不可能である。しかも、ネットワーク上の情報は日々更新されるので、ブラックリストDBの保守管理には膨大な手間と時間がかかるという課題がある。
【００１０】
特許文献２に記載されたコンテンツフィルタリング方法は、レイティング機関で当該URLのコンテンツが有害であるか否か人手で審査してブラックリストを作成するので、ブラックリスト作成に時間がかかるだけでなく、審査する人によって基準が曖昧になるという課題がある。
【００１１】
特許文献３に記載されたコンテンツフィルタリングシステムは、画像データと基準画像データ、動画データと基準動画データ、音声データと基準音声データからそれぞれ特徴量を抽出し、これらを比較して類似性を判断するが、特徴量の抽出や選定について具体的に記載されていない。また、類似性の判断のための比較方法についても記載されていない。
【００１２】
特許文献４に記載されたコンピュータ画像処理により猥褻ヌード画像を弁別する方法は、採光条件(太陽光か蛍光灯かなど)や露光条件などの環境により画像の肌色が変化することを考慮していない。素人が撮像した画像などでは肌色が基準から大きくずれていることがあり、このような画像では、肌色領域を精度よく検出できない。
【００１３】
投稿サイトには、素人を含めた色々な人が撮影した画像が投稿される。特許文献４に記載された肌色の検出を基にした弁別方法で、肌色が基準からずれている画像が処理対象である場合、肌色領域の検出自体が破綻してしまうので、コンテンツを意図したとおりに精度よく弁別することができない。
【００１４】
特許文献４に記載された肌色の検出を基にした弁別方法や非特許文献１に記載された有害モバイルコンテンツのフィルタリングシステムは、採光条件や露光条件などの状況変化に対する耐性が低いという課題がある。
【００１５】
本発明の目的は、上記課題を解決し、採光条件や露光条件などの状況変化がある環境下で撮像された画像でも、画像中の特定領域を高精度に識別でき、その識別結果を利用して未知コンテンツが識別対象コンテンツであるか否かを高精度に判定できる領域識別装置およびコンテンツ識別装置を提供することにある。
【課題を解決するための手段】
【００１６】
上記の課題を解決するため、本発明の領域識別装置は、未知コンテンツにおける識別領域を識別する領域識別装置において、未知コンテンツが保持する複数の特徴量の中で、状況変化に頑健な第１の特徴量を抽出し、該第１の特徴量を用いて識別領域の一部を検出する第１の検出手段と、前記第１の検出手段で検出された識別領域の一部から第２の特徴量を抽出し、該第２の特徴量を用いて識別領域の全体を検出する第２の検出手段とを備えたことを第１の特徴としている。
【００１７】
また、本発明の領域識別装置は、前記第１の検出手段が、未知コンテンツから形状情報または輝度情報を第１の特徴量として抽出し、該第１の特徴量を用いて識別領域の一部として顔領域を検出する顔領域検出手段であり、前記第２の検出手段は、前記顔領域検出手段で検出された顔領域の色を第２の特徴量として抽出し、該第２の特徴量を用いて識別領域の全体としての肌領域を検出する肌領域検出手段であることを第２の特徴としている。
【００１８】
また、本発明の領域識別装置は、前記顔領域検出手段が、未知コンテンツから顔の特徴量である形状情報または輝度情報を第１の特徴量として抽出する顔特徴量抽出手段と、学習用コンテンツから抽出された顔の特徴量を用いて予め学習することで得られたテンプレートパターンと前記顔特徴量抽出手段で抽出された顔の特徴量との類似度から顔尤度を算出する顔尤度算出手段と、前記顔尤度算出手段で算出された顔尤度から顔領域を生成する顔領域形成手段とを備えたことを第３の特徴としている。
【００１９】
また、本発明の領域識別装置は、前記肌領域検出手段が、前記顔領域検出手段で検出された顔領域から肌部分の色を抽出する肌色抽出手段と、前記肌色抽出手段で抽出された色を未知コンテンツの肌色として学習する肌色学習手段と、前記肌色学習手段での学習結果から未知コンテンツについての肌尤度を算出する肌尤度算出手段と、前記肌尤度算出手段で算出された肌尤度から未知コンテンツにおける肌部分の全体を形成するための閾値を設定する閾値設定手段と、前記肌尤度算出手段で算出された肌尤度と前記閾値設定手段で設定された閾値とを比較し、その大小関係から未知コンテンツにおける肌部分の全体を肌領域として形成する肌領域形成手段と、前記肌領域形成手段で形成された肌領域ごとにその妥当性を判定するとともに、前記閾値設定手段で設定された閾値の妥当性を判定し、該閾値が妥当でないと判定した場合には前記閾値設定手段に閾値の設定し直しを指示する肌判定手段とを備えたことを第４の特徴としている。
【００２０】
本発明のコンテンツ識別装置は、前記第１の特徴を有する領域識別装置と、前記第２の検出手段で検出された識別領域の全体から第３の特徴量を検出する第３の検出手段と、前記第３の検出手段で検出された第３の特徴量と識別対象コンテンツが持つ第３の特徴量との類似性を評価して未知コンテンツが識別対象コンテンツであるか否かを識別する識別手段とを備えたことを第１の特徴としている。
【００２１】
また、本発明のコンテンツ識別装置は、前記第２ないし４の特徴のいずれかを有する領域識別装置と、前記肌領域検出手段で検出された肌領域から第３の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された第３の特徴量から未知コンテンツが識別対象コンテンツとしての猥褻なコンテンツであるか否かを識別する識別手段を備えたことを第２の特徴としている。
【００２２】
また、本発明のコンテンツ識別装置は、前記第３の特徴を有する領域識別装置と、前記肌領域検出手段で検出された肌領域から第３の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された第３の特徴量から未知コンテンツが識別対象コンテンツとしての猥褻なコンテンツであるか否かを識別する識別手段と、前記顔領域形成手段で生成された顔領域の大きさ、数、分布、位置のうちの１つあるいは複数によって未知コンテンツが猥褻なコンテンツでないことを識別する顔判定手段とを備えたことを第３の特徴としている。
【発明の効果】
【００２３】
本発明は、未知コンテンツが持つ特性に応じて適応的に識別領域を識別するものであるので、採光条件などの状況変化がある環境下で撮像された画像でも、画像中の識別領域を高精度に識別できる。また、その識別結果を利用して未知コンテンツが識別対象コンテンツであるか否かを高精度に判定できる。すなわち、採光条件や露光条件などの環境の変化に頑健な識別および判定が可能となる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明を説明する。図１は、本発明に係るコンテンツ識別装置の基本構成を示すブロック図である。このコンテンツ識別装置は、第1〜第3の検出手段11〜13および識別手段14を備える。ここで、第1〜第2の検出手段11〜12までの構成は、領域識別装置として機能する。これらの各部は、ハードウエアでもソフトウエアでも実現できる。
【００２５】
未知コンテンツは、まず、第1の検出手段11に入力される。第1の検出手段11は、未知コンテンツが保持する複数の特徴量の中で、状況変化に頑健な第1の特徴量に基づいて識別領域の一部を検出する。物体の形状は、状況変化に頑健な特徴量であり、輝度の差分も比較的頑健な特徴量である。第1の検出手段11は、このような状況変化に頑健な第1の特徴量を抽出し、これを用いて識別領域の一部を検出する。
【００２６】
第2の検出手段12は、第１の検出手段11で検出された識別領域の一部から第2の特徴量を抽出し、第2の特徴量を用いて識別領域の全体を検出する。
【００２７】
採光条件や露光条件などが変化しても第1の特徴量を確実に抽出でき、これを用いて識別領域の一部を確実に検出できる。その後、識別領域の一部から識別領域の特徴を表す第2の特徴量を抽出する。第2の特徴量を用いて識別領域の全体を高精度で識別できる。
【００２８】
第3の検出手段13は、第2の検出手段12で検出された識別領域の全体から第3の特徴量を検出する。第3の特徴量は、未知コンテンツが識別対象コンテンツであるか識別対象外コンテンツであるかを識別するためのものである。
【００２９】
識別手段14は、第3の検出手段13で検出された第3の特徴量から未知コンテンツが識別対象コンテンツであるか識別対象外コンテンツかを識別する。この識別は、識別対象コンテンツおよび識別対象外コンテンツが持つ第3の特徴量との類似性を評価することで可能である。
【００３０】
以下では、未知コンテンツとして静止画像(以下、単に画像と称す)が入力され、画像中の顔領域を識別領域の一部とし、顔を含む肌部分の全体を識別領域とし、その識別結果から当該画像が識別対象コンテンツ(以下、正例コンテンツと称す)であるか識別対象外コンテンツ(以下、負例コンテンツと称す)であるかを識別する場合を例にあげて説明する。これは、肌の露出具合から画像が猥褻なコンテンツであるか否かを識別するコンテンツ識別装置に適用できる。
【００３１】
図２は、この場合の本発明の実施形態を示すブロック図である。本実施形態は、顔領域検出部21、肌領域検出部22、特徴量抽出部23および識別部24を備える。
【００３２】
未知コンテンツである入力画像は、まず、顔領域検出部21に与えられる。顔領域検出部21は、入力画像の顔領域を検出する。顔領域は、画像から抽出される形状情報や輝度情報から検出できる。顔領域検出部21は、顔領域が検出されない画像、顔領域が検出されても明らかに負例コンテンツであると想定される画像を負例コンテンツに識別する。負例コンテンツは以後の処理対象外とする。
【００３３】
図３は、顔領域検出部21の動作を示すフローチャートである。顔領域検出部21は、入力画像に対し、顔特徴量抽出処理S31、顔尤度算出処理S32、顔領域形成処理S33および顔判定処理S34を順次実行する。
【００３４】
顔領域検出に先立って予め、顔領域検出に使用する辞書データベースを構築する。この辞書データベースは、顔を含む学習用画像を用意し、それにおける顔を学習することにより構築できる。例えば、学習用画像から顔領域を手動で抽出し、顔の特徴量を求め、これを辞書データベースに登録する。入力画像における顔領域は、辞書データベースに登録されている顔の特徴量との類似度から検出できる。さらに、非顔の特徴量を学習して辞書データベースに登録しておくことも好ましい。辞書データベースに登録されている非顔の特徴量との類似度から入力画像における非顔領域を排除でき、以降の処理負担を軽減できる。
【００３５】
顔の学習は、頭髪を除いた顔全体の特徴量により行うことができるが、目、眉、鼻、口などの部分についての特徴量により行うこともできる。また、顔全体および部分についての特徴量の複数の組み合わせで顔の学習を行うことも顔領域検出の精度を高めるのに有効である。
【００３６】
顔領域を確実に検出できるように、顔の特徴量として、撮像時の採光条件や露光条件などの状況変化に対して頑健な特徴量を利用する。この特徴量は、例えば、形状や輝度の差分である。形状情報は、撮像時の状況変化に対して頑健であり、また、画像各部分の輝度情報の相対的な関係(明度差)も状況変化に対して頑健である。また、顔の特徴量として、エッジやコーナの特徴点分布、平均的な顔の輝度分布のテンプレートパターンを利用することもできる。色は、状況変化に対する変化が大きい(頑健でない)ので、顔の特徴量として利用しない。
【００３７】
矩形領域の明度差を利用した特徴量は、Haar特徴量として知られている。Haar特徴量を用いた顔領域検出方式は、例えば「P.Viola and M.Jones,“Robust real time object detection,”In IEEE ICCV Workshop on Statistical and Computational Theories of Vision, July 2001.」に記載されている。
【００３８】
入力画像に対しては、まず、顔特徴量抽出処理S31を実行する。顔特徴量抽出処理S31では、入力画像から形状情報や輝度情報などの顔の特徴量を抽出する。
【００３９】
顔尤度算出処理S32は、顔特徴量抽出処理S31で抽出された特徴量と辞書データベースに登録されている顔の特徴量とを比較し、両者の類似度から、入力画像についての顔尤度を算出する。
【００４０】
顔領域形成処理S33では、顔尤度算出処理S32で算出された顔尤度が高い領域を顔領域と判断し、顔領域を生成する。
【００４１】
顔判定処理S34では、顔領域形成処理S33で顔領域が生成されなかった画像、顔領域が生成されてもその配置や数などから明らかに識別対象外であると想定できる画像を負例コンテンツと判定する。例えば、顔や体の画面内でのバランスを考えると、顔領域形成処理S33で生成された顔領域がほぼ画面一杯であるというように大きい場合は、顔のみの画像と想定され、顔領域の数が多い場合は、集合写真のような画像と想定されるので、これらの画像は、猥褻なコンテンツではないと判定できる。また、顔領域の位置が画面の一端に寄っていたり、顔領域の下部が画面内に収まっていないような画像も、猥褻なコンテンツでないと判定できる。
【００４２】
顔判定処理S34で、負例コンテンツと判定された入力画像は負例コンテンツに識別され、以降の処理から取り除かれる。このように、顔判定処理S34の段階で、猥褻なコンテンツでない画像を取り除くことにより、以後の処理負担を軽減できる。顔判定処理S34で負例コンテンツと判定されなかった画像は、肌領域検出部22(図２)に与えられる。
【００４３】
図２に戻って、肌領域検出部22は、顔領域検出部21で検出された顔領域から当該画像における肌色を学習した後、その肌色の領域を当該画像全体から抽出する。その後、肌色の領域の肌らしさを評価し、当該画像全体における肌領域を検出する。
【００４４】
図４は、肌領域検出部22の動作を示すフローチャートである。肌領域検出部22は、入力画像に対して、肌色抽出処理S41、肌色学習処理S42、肌尤度算出処理S43、閾値設定処理S44で設定された閾値を用いて肌領域を生成する肌領域形成処理S45、肌判定処理S46を順次実行する。
【００４５】
まず、肌色抽出処理S41は、顔領域検出部21(図２)で検出された顔領域から肌色を学習するための肌色(学習用肌色)を抽出する。そのために、顔の中の肌でない部分、例えば、目や口唇、鼻の穴などの部分を排除し、肌部分だけを抽出する。これは、顔を構成する顔部品を検出し、検出された顔部品を顔から排除することで実現できる。顔領域検出部21(図２)が顔部品を検出した上での顔領域検出方式を採用しているならば、そこで既に検出されている顔部品を利用できる。
【００４６】
次に、顔部品が排除された顔の色分布から当該画像における肌色を抽出する。例えば、顔部品が排除されて顔の色ヒストグラムを求め、最頻色とそれから一定距離内の近傍色を当該画像における肌色として抽出する。また、色ヒストグラムで最頻色が含まれる峰全体を当該画像における肌色とすることもできる。肌色抽出処理S41では、さらに、非肌色を学習するするための色を抽出するのが好ましい。そのために、当該画像の非肌部分から非肌色を抽出する。この際、当該画像における肌色が非肌色として抽出されないように、顔内からの色の抽出はしないようにし、また、当該画像における肌色に近い色も抽出しないようにするのが好ましい。
【００４７】
肌色学習処理S42は、肌色抽出処理S41で抽出された肌色を用いてガウス混合モデルで肌をモデル化する。さらに非肌色が抽出されている場合には、非肌色を用いて非肌をモデル化する。モデル化にはSVM(Support Vector Machine)やGMM(Gaussian Mixture Model)など任意の識別器を用いることができる。GMMを利用する場合は、式(1)に示すように、肌色、非肌色の分布が複数のガウス分布の和で構成され、これにより肌、非肌で各色が発生する確率を算出できる。
【００４８】
【数１】
【００４９】
ここで、xは、色を表し、Nは、ガウス分布の数を示す。ガウス分布ごとに重み係数wｉを持つ。μｉおよびΣｉは、それぞれ平均値と共分散行列を表す。ガウス分布のパラメータは、EMアルゴリズムなどの最尤推定法を利用して求めることができる。
【００５０】
肌色学習処理S42は、手動で肌領域が抽出された一般的な学習用画像について、肌であって色xが発生する確率Pｇ(x|skin)を式(1)により算出し、保持している。また、肌色学習処理S42は、入力画像について、同様に、肌であって色xが発生する確率Pｃ(x|skin)を算出する。
【００５１】
さらに非肌色が抽出されている場合、肌色学習処理S42は、手動で非肌領域が抽出された一般的な学習用画像について、非肌であって色xが発生する確率Pｇ(x|¬ skin)を式(1)により算出し、保持している。また、肌色学習処理S42は、入力画像について、同様に、非肌領域であって色情報xが発生する確率をPｃ(x|¬ skin)を算出する。
【００５２】
肌尤度算出処理S43は、式(2),(3)により、肌尤度P(x|skin)および非肌尤度P(x|¬ skin)をそれぞれ算出する。
【００５３】
【数２】
【００５４】
【数３】
【００５５】
肌領域形成処理S45は、閾値設定処理S44で設定された閾値TH1を用い、肌尤度P(x|skin)、あるいは肌尤度P(x|skin)と非肌尤度P(x|¬ skin)とから肌領域を生成する。肌尤度P(x|skin)からはそれが閾値を超える画素を肌領域とすることができる。また、肌尤度P(x|skin)と非肌尤度P(x|¬ skin)とからは、閾値TH1が与えられたとき、式(4)で表される尤度比Lが閾値TH1を超える画素を肌領域とすることができる。式(4)において、閾値TH1=1とすれば、肌尤度P(x|skin)が非肌尤度P(x|¬ skin)より大きい領域が肌領域として生成される。これにより生成された肌領域の境界が滑らかでない場合には、生成された肌領域境界の画素とその周辺の画素との類似性から肌領域を膨張・収縮させる処理を施して肌領域を整形することができる。
【００５６】
【数４】
【００５７】
肌判定処理S45では、肌領域形成処理S45で生成された肌領域が実際に肌部分か、あるいはただの肌色部分かを判定する。これは、色または輝度の平坦性を評価することにより可能である。例えば、肌領域形成処理S45で生成された肌領域内の色または輝度の分散を算出し、この分散を閾値TH2と比較する。そして、分散が閾値TH2より小さい場合は実際の肌部分と判定し、分散が閾値TH2以上の場合はただの肌色部分と判定する。肌領域形成処理S45で生成された肌領域内でエッジを検出し、エッジの割合が閾値TH3より小さい場合、実際の肌色部分と判定し、エッジの割合が閾値TH3以上の場合にはただの肌色部分と判定することも可能である。
【００５８】
閾値設定処理S44は、まず、肌色抽出処理S41で抽出された肌色の顔領域を十分に抽出できるように、閾値TH1の初期値を設定する。肌領域形成処理S45で生成された肌領域が、肌判定処理S46でただの肌色部分と判定された場合、閾値設定処理S44は、肌領域形成処理S45のための閾値TH1が緩いと判断し、それを大きく設定し直す。そして、再度肌領域形成処理S45をやり直させる。
【００５９】
図２に戻って、特徴抽出部23は、肌領域検出部22で検出された肌領域の領域ごと特徴量を抽出する。この特徴量としては、領域の大きさや形状、重心、位置、各種モーメントを利用できる。式(4)で表される尤度比Lを線形にマッピングした分布を特徴量とすることもできる。
【００６０】
識別部24は、学習用画像を予め手動で正例と負例に分類し、特徴抽出部23でこれらから抽出される特徴量を基にして、画像を正例コンテンツと負例コンテンツとに分類するための学習モデルを構成しておく。そして、この学習モデルを用いて、入力画像を正例コンテンツと負例コンテンツに識別する。
【００６１】
識別部24での識別は、学習モデルおよび特徴量抽出部23によって肌領域の領域ごとに抽出された特徴量を用いて、SVMあるいは判別分析などにより可能である。SVMを用いる場合は、予め用意された学習用データセットで肌領域と非肌領域を分離するマージンを最大化するような超平面を構築しておく。特徴量抽出部23で抽出された特徴量をSVM上に写像し、これがSVMの超平面に対してどこに位置するかによって当該入力画像が正例コンテンツであるか負例コンテンツであるかを識別できる。SVMについては、V.N.Vapnik,「Statistical Learning Theory」, John Wiley & Sons(1998)などに記載されている。
【００６２】
以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々に変形可能である。例えば、上記説明では、未知コンテンツが静止画像であるとしたが、動画像は静止画像の集まりであるので、動画像を処理対象とすることもできる。なお、動画像の場合、一連の画像内で第2の特徴量(当該画像での肌色)が変化しないことが想定されるならば、第2特徴量を抽出するまでの処理は、先頭の1または数フレームについて行うだけでよい。
【００６３】
本発明は、肌領域の識別に限定されず、状況変化に頑健でない色などの特徴量を用いて直接的に識別領域を精度よく識別できないケースで、状況変化に頑健な特徴量を用いて識別領域の一部を検出でき、識別領域の一部から状況変化に応じて変化するが識別領域の全体を識別できる特徴量を抽出できるケースに適用できる。
【図面の簡単な説明】
【００６４】
【図１】本発明に係るコンテンツ識別装置の基本構成を示すブロック図である。
【図２】肌部分を検出してコンテンツ識別を行う、本発明の実施形態を示すブロック図である。
【図３】顔領域検出部の動作を示すフローチャートである。
【図４】肌領域検出部の動作を示すフローチャートである。
【符号の説明】
【００６５】
11・・・第1の検出手段、12・・・第2の検出手段、13・・・第3の検出手段、14・・・識別手段、21・・・顔領域検出部、22・・・肌領域検出部、23・・・特徴量抽出部、24・・・識別部、S31・・・顔特徴量抽出処理、S32・・・顔尤度算出処理、S33・・・顔領域形成処理、S34・・・顔判定処理、S41・・・肌色抽出処理、S42・・・肌色学習処理、S43・・・肌尤度算出処理、S44・・・閾値設定処理、S45・・・肌領域形成処理、S46・・・肌判定処理
【技術分野】
【０００１】
本発明は、領域識別装置およびコンテンツ識別装置に関し、特に、採光条件などの状況変化がある環境下で撮像された画像でも、画像中の特定領域を高精度に識別でき、その識別結果を利用して未知コンテンツが識別対象コンテンツであるか否かを高精度に判定できる領域識別装置およびコンテンツ識別装置に関する。
【背景技術】
【０００２】
インターネット上には種々のコンテンツが流通しており、これらのコンテンツには猥褻で有害なものが含まれている。インターネットを通じて誰でもがどのようなコンテンツでも取得できるのを制限するため、コンテンツをフィルタリングする技術が利用される。
【０００３】
コンテンツをフィルタリングする方法として、データベースに登録されたアドレスへのアクセスを制限する方法がある。
【０００４】
特許文献１には、ブラックリストDBを有するフィルタリングサーバを設け、クライアントPCからの閲覧リクエストを受けたとき、ブラックリストDBを参照してアクセス先のWebページが規制対象URLか否かを判定して規制対象URLの閲覧を制限するフィルタリング情報処理システムが記載されている。
【０００５】
特許文献２は、メールサーバから子供などの受信者への電子メールの配信を一定時間保留するとともに、それに含まれているURLをレイティング機関に送り、レイティング機関では当該URLのコンテンツが有害であるか否か人手で審査してブラックリストを作成し、有害コンテンツへのアクセスを制限するコンテンツフィルタリング方法が記載されている。
【０００６】
特許文献３には、コンテンツに含まれる画像データ、動画データおよび音声データをDBに蓄積された基準画像データ、基準動画データおよび基準音声データとの類似性を判断し、類似性があると判断された場合に当該コンテンツを閲覧不可とするコンテンツフィルタリングシステムが記載されている。類似性の判断では、例えば、動画データと基準動画像データからフレームごとに抽出される色、形、テクスチャ、位置、線分などの特徴量、音声データから抽出される単語、フレーズなどの特徴量を利用する。また、URLデータベースに登録されたURLから受信したコンテンツを閲覧不可とすることも記載されている。
【０００７】
特許文献４は、肌色領域を検出し、各肌色領域の面積と重心位置を算出する、コンピュータ画像処理により猥褻ヌード画像を弁別する方法が記載されている。これでは、検出された複数の肌色領域が適宜の面積の組み合わせパターンに合うと分類された画像について、肌色領域の密集度合いや離散度合いに相関した肌色分布特徴量を求め、該肌色分布特徴量から画像が猥褻ヌード画像の可能性が大きいか否かを判断する。
【０００８】
非特許文献１には、有害モバイルコンテンツのフィルタリングシステムが記載されている。
【特許文献１】特開２００４−１４５６９５号公報
【特許文献２】特開２００６−１４６７４３号公報
【特許文献３】特開２００５−２９３１２３号公報
【特許文献４】特開２００２−１７５５２７号公報
【非特許文献１】有害モバイルコンテンツのフィルタリングシステムに関する調査研究(平成１４年度調査研究報告書)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載されたフィルタリング情報処理システムは、特定のURLを規制対象URLとしてブラックリストDBに登録しておき、これを基にして閲覧を制限するので、ブラックリストDBに登録されている情報が古くなって、現状での規制対象をよく反映しなくなってしまう恐れがある。現状での規制対象URLを時間遅れなく収集してブラックリストDBに登録することは実際上不可能である。しかも、ネットワーク上の情報は日々更新されるので、ブラックリストDBの保守管理には膨大な手間と時間がかかるという課題がある。
【００１０】
特許文献２に記載されたコンテンツフィルタリング方法は、レイティング機関で当該URLのコンテンツが有害であるか否か人手で審査してブラックリストを作成するので、ブラックリスト作成に時間がかかるだけでなく、審査する人によって基準が曖昧になるという課題がある。
【００１１】
特許文献３に記載されたコンテンツフィルタリングシステムは、画像データと基準画像データ、動画データと基準動画データ、音声データと基準音声データからそれぞれ特徴量を抽出し、これらを比較して類似性を判断するが、特徴量の抽出や選定について具体的に記載されていない。また、類似性の判断のための比較方法についても記載されていない。
【００１２】
特許文献４に記載されたコンピュータ画像処理により猥褻ヌード画像を弁別する方法は、採光条件(太陽光か蛍光灯かなど)や露光条件などの環境により画像の肌色が変化することを考慮していない。素人が撮像した画像などでは肌色が基準から大きくずれていることがあり、このような画像では、肌色領域を精度よく検出できない。
【００１３】
投稿サイトには、素人を含めた色々な人が撮影した画像が投稿される。特許文献４に記載された肌色の検出を基にした弁別方法で、肌色が基準からずれている画像が処理対象である場合、肌色領域の検出自体が破綻してしまうので、コンテンツを意図したとおりに精度よく弁別することができない。
【００１４】
特許文献４に記載された肌色の検出を基にした弁別方法や非特許文献１に記載された有害モバイルコンテンツのフィルタリングシステムは、採光条件や露光条件などの状況変化に対する耐性が低いという課題がある。
【００１５】
本発明の目的は、上記課題を解決し、採光条件や露光条件などの状況変化がある環境下で撮像された画像でも、画像中の特定領域を高精度に識別でき、その識別結果を利用して未知コンテンツが識別対象コンテンツであるか否かを高精度に判定できる領域識別装置およびコンテンツ識別装置を提供することにある。
【課題を解決するための手段】
【００１６】
上記の課題を解決するため、本発明の領域識別装置は、未知コンテンツにおける識別領域を識別する領域識別装置において、未知コンテンツが保持する複数の特徴量の中で、状況変化に頑健な第１の特徴量を抽出し、該第１の特徴量を用いて識別領域の一部を検出する第１の検出手段と、前記第１の検出手段で検出された識別領域の一部から第２の特徴量を抽出し、該第２の特徴量を用いて識別領域の全体を検出する第２の検出手段とを備えたことを第１の特徴としている。
【００１７】
また、本発明の領域識別装置は、前記第１の検出手段が、未知コンテンツから形状情報または輝度情報を第１の特徴量として抽出し、該第１の特徴量を用いて識別領域の一部として顔領域を検出する顔領域検出手段であり、前記第２の検出手段は、前記顔領域検出手段で検出された顔領域の色を第２の特徴量として抽出し、該第２の特徴量を用いて識別領域の全体としての肌領域を検出する肌領域検出手段であることを第２の特徴としている。
【００１８】
また、本発明の領域識別装置は、前記顔領域検出手段が、未知コンテンツから顔の特徴量である形状情報または輝度情報を第１の特徴量として抽出する顔特徴量抽出手段と、学習用コンテンツから抽出された顔の特徴量を用いて予め学習することで得られたテンプレートパターンと前記顔特徴量抽出手段で抽出された顔の特徴量との類似度から顔尤度を算出する顔尤度算出手段と、前記顔尤度算出手段で算出された顔尤度から顔領域を生成する顔領域形成手段とを備えたことを第３の特徴としている。
【００１９】
また、本発明の領域識別装置は、前記肌領域検出手段が、前記顔領域検出手段で検出された顔領域から肌部分の色を抽出する肌色抽出手段と、前記肌色抽出手段で抽出された色を未知コンテンツの肌色として学習する肌色学習手段と、前記肌色学習手段での学習結果から未知コンテンツについての肌尤度を算出する肌尤度算出手段と、前記肌尤度算出手段で算出された肌尤度から未知コンテンツにおける肌部分の全体を形成するための閾値を設定する閾値設定手段と、前記肌尤度算出手段で算出された肌尤度と前記閾値設定手段で設定された閾値とを比較し、その大小関係から未知コンテンツにおける肌部分の全体を肌領域として形成する肌領域形成手段と、前記肌領域形成手段で形成された肌領域ごとにその妥当性を判定するとともに、前記閾値設定手段で設定された閾値の妥当性を判定し、該閾値が妥当でないと判定した場合には前記閾値設定手段に閾値の設定し直しを指示する肌判定手段とを備えたことを第４の特徴としている。
【００２０】
本発明のコンテンツ識別装置は、前記第１の特徴を有する領域識別装置と、前記第２の検出手段で検出された識別領域の全体から第３の特徴量を検出する第３の検出手段と、前記第３の検出手段で検出された第３の特徴量と識別対象コンテンツが持つ第３の特徴量との類似性を評価して未知コンテンツが識別対象コンテンツであるか否かを識別する識別手段とを備えたことを第１の特徴としている。
【００２１】
また、本発明のコンテンツ識別装置は、前記第２ないし４の特徴のいずれかを有する領域識別装置と、前記肌領域検出手段で検出された肌領域から第３の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された第３の特徴量から未知コンテンツが識別対象コンテンツとしての猥褻なコンテンツであるか否かを識別する識別手段を備えたことを第２の特徴としている。
【００２２】
また、本発明のコンテンツ識別装置は、前記第３の特徴を有する領域識別装置と、前記肌領域検出手段で検出された肌領域から第３の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された第３の特徴量から未知コンテンツが識別対象コンテンツとしての猥褻なコンテンツであるか否かを識別する識別手段と、前記顔領域形成手段で生成された顔領域の大きさ、数、分布、位置のうちの１つあるいは複数によって未知コンテンツが猥褻なコンテンツでないことを識別する顔判定手段とを備えたことを第３の特徴としている。
【発明の効果】
【００２３】
本発明は、未知コンテンツが持つ特性に応じて適応的に識別領域を識別するものであるので、採光条件などの状況変化がある環境下で撮像された画像でも、画像中の識別領域を高精度に識別できる。また、その識別結果を利用して未知コンテンツが識別対象コンテンツであるか否かを高精度に判定できる。すなわち、採光条件や露光条件などの環境の変化に頑健な識別および判定が可能となる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明を説明する。図１は、本発明に係るコンテンツ識別装置の基本構成を示すブロック図である。このコンテンツ識別装置は、第1〜第3の検出手段11〜13および識別手段14を備える。ここで、第1〜第2の検出手段11〜12までの構成は、領域識別装置として機能する。これらの各部は、ハードウエアでもソフトウエアでも実現できる。
【００２５】
未知コンテンツは、まず、第1の検出手段11に入力される。第1の検出手段11は、未知コンテンツが保持する複数の特徴量の中で、状況変化に頑健な第1の特徴量に基づいて識別領域の一部を検出する。物体の形状は、状況変化に頑健な特徴量であり、輝度の差分も比較的頑健な特徴量である。第1の検出手段11は、このような状況変化に頑健な第1の特徴量を抽出し、これを用いて識別領域の一部を検出する。
【００２６】
第2の検出手段12は、第１の検出手段11で検出された識別領域の一部から第2の特徴量を抽出し、第2の特徴量を用いて識別領域の全体を検出する。
【００２７】
採光条件や露光条件などが変化しても第1の特徴量を確実に抽出でき、これを用いて識別領域の一部を確実に検出できる。その後、識別領域の一部から識別領域の特徴を表す第2の特徴量を抽出する。第2の特徴量を用いて識別領域の全体を高精度で識別できる。
【００２８】
第3の検出手段13は、第2の検出手段12で検出された識別領域の全体から第3の特徴量を検出する。第3の特徴量は、未知コンテンツが識別対象コンテンツであるか識別対象外コンテンツであるかを識別するためのものである。
【００２９】
識別手段14は、第3の検出手段13で検出された第3の特徴量から未知コンテンツが識別対象コンテンツであるか識別対象外コンテンツかを識別する。この識別は、識別対象コンテンツおよび識別対象外コンテンツが持つ第3の特徴量との類似性を評価することで可能である。
【００３０】
以下では、未知コンテンツとして静止画像(以下、単に画像と称す)が入力され、画像中の顔領域を識別領域の一部とし、顔を含む肌部分の全体を識別領域とし、その識別結果から当該画像が識別対象コンテンツ(以下、正例コンテンツと称す)であるか識別対象外コンテンツ(以下、負例コンテンツと称す)であるかを識別する場合を例にあげて説明する。これは、肌の露出具合から画像が猥褻なコンテンツであるか否かを識別するコンテンツ識別装置に適用できる。
【００３１】
図２は、この場合の本発明の実施形態を示すブロック図である。本実施形態は、顔領域検出部21、肌領域検出部22、特徴量抽出部23および識別部24を備える。
【００３２】
未知コンテンツである入力画像は、まず、顔領域検出部21に与えられる。顔領域検出部21は、入力画像の顔領域を検出する。顔領域は、画像から抽出される形状情報や輝度情報から検出できる。顔領域検出部21は、顔領域が検出されない画像、顔領域が検出されても明らかに負例コンテンツであると想定される画像を負例コンテンツに識別する。負例コンテンツは以後の処理対象外とする。
【００３３】
図３は、顔領域検出部21の動作を示すフローチャートである。顔領域検出部21は、入力画像に対し、顔特徴量抽出処理S31、顔尤度算出処理S32、顔領域形成処理S33および顔判定処理S34を順次実行する。
【００３４】
顔領域検出に先立って予め、顔領域検出に使用する辞書データベースを構築する。この辞書データベースは、顔を含む学習用画像を用意し、それにおける顔を学習することにより構築できる。例えば、学習用画像から顔領域を手動で抽出し、顔の特徴量を求め、これを辞書データベースに登録する。入力画像における顔領域は、辞書データベースに登録されている顔の特徴量との類似度から検出できる。さらに、非顔の特徴量を学習して辞書データベースに登録しておくことも好ましい。辞書データベースに登録されている非顔の特徴量との類似度から入力画像における非顔領域を排除でき、以降の処理負担を軽減できる。
【００３５】
顔の学習は、頭髪を除いた顔全体の特徴量により行うことができるが、目、眉、鼻、口などの部分についての特徴量により行うこともできる。また、顔全体および部分についての特徴量の複数の組み合わせで顔の学習を行うことも顔領域検出の精度を高めるのに有効である。
【００３６】
顔領域を確実に検出できるように、顔の特徴量として、撮像時の採光条件や露光条件などの状況変化に対して頑健な特徴量を利用する。この特徴量は、例えば、形状や輝度の差分である。形状情報は、撮像時の状況変化に対して頑健であり、また、画像各部分の輝度情報の相対的な関係(明度差)も状況変化に対して頑健である。また、顔の特徴量として、エッジやコーナの特徴点分布、平均的な顔の輝度分布のテンプレートパターンを利用することもできる。色は、状況変化に対する変化が大きい(頑健でない)ので、顔の特徴量として利用しない。
【００３７】
矩形領域の明度差を利用した特徴量は、Haar特徴量として知られている。Haar特徴量を用いた顔領域検出方式は、例えば「P.Viola and M.Jones,“Robust real time object detection,”In IEEE ICCV Workshop on Statistical and Computational Theories of Vision, July 2001.」に記載されている。
【００３８】
入力画像に対しては、まず、顔特徴量抽出処理S31を実行する。顔特徴量抽出処理S31では、入力画像から形状情報や輝度情報などの顔の特徴量を抽出する。
【００３９】
顔尤度算出処理S32は、顔特徴量抽出処理S31で抽出された特徴量と辞書データベースに登録されている顔の特徴量とを比較し、両者の類似度から、入力画像についての顔尤度を算出する。
【００４０】
顔領域形成処理S33では、顔尤度算出処理S32で算出された顔尤度が高い領域を顔領域と判断し、顔領域を生成する。
【００４１】
顔判定処理S34では、顔領域形成処理S33で顔領域が生成されなかった画像、顔領域が生成されてもその配置や数などから明らかに識別対象外であると想定できる画像を負例コンテンツと判定する。例えば、顔や体の画面内でのバランスを考えると、顔領域形成処理S33で生成された顔領域がほぼ画面一杯であるというように大きい場合は、顔のみの画像と想定され、顔領域の数が多い場合は、集合写真のような画像と想定されるので、これらの画像は、猥褻なコンテンツではないと判定できる。また、顔領域の位置が画面の一端に寄っていたり、顔領域の下部が画面内に収まっていないような画像も、猥褻なコンテンツでないと判定できる。
【００４２】
顔判定処理S34で、負例コンテンツと判定された入力画像は負例コンテンツに識別され、以降の処理から取り除かれる。このように、顔判定処理S34の段階で、猥褻なコンテンツでない画像を取り除くことにより、以後の処理負担を軽減できる。顔判定処理S34で負例コンテンツと判定されなかった画像は、肌領域検出部22(図２)に与えられる。
【００４３】
図２に戻って、肌領域検出部22は、顔領域検出部21で検出された顔領域から当該画像における肌色を学習した後、その肌色の領域を当該画像全体から抽出する。その後、肌色の領域の肌らしさを評価し、当該画像全体における肌領域を検出する。
【００４４】
図４は、肌領域検出部22の動作を示すフローチャートである。肌領域検出部22は、入力画像に対して、肌色抽出処理S41、肌色学習処理S42、肌尤度算出処理S43、閾値設定処理S44で設定された閾値を用いて肌領域を生成する肌領域形成処理S45、肌判定処理S46を順次実行する。
【００４５】
まず、肌色抽出処理S41は、顔領域検出部21(図２)で検出された顔領域から肌色を学習するための肌色(学習用肌色)を抽出する。そのために、顔の中の肌でない部分、例えば、目や口唇、鼻の穴などの部分を排除し、肌部分だけを抽出する。これは、顔を構成する顔部品を検出し、検出された顔部品を顔から排除することで実現できる。顔領域検出部21(図２)が顔部品を検出した上での顔領域検出方式を採用しているならば、そこで既に検出されている顔部品を利用できる。
【００４６】
次に、顔部品が排除された顔の色分布から当該画像における肌色を抽出する。例えば、顔部品が排除されて顔の色ヒストグラムを求め、最頻色とそれから一定距離内の近傍色を当該画像における肌色として抽出する。また、色ヒストグラムで最頻色が含まれる峰全体を当該画像における肌色とすることもできる。肌色抽出処理S41では、さらに、非肌色を学習するするための色を抽出するのが好ましい。そのために、当該画像の非肌部分から非肌色を抽出する。この際、当該画像における肌色が非肌色として抽出されないように、顔内からの色の抽出はしないようにし、また、当該画像における肌色に近い色も抽出しないようにするのが好ましい。
【００４７】
肌色学習処理S42は、肌色抽出処理S41で抽出された肌色を用いてガウス混合モデルで肌をモデル化する。さらに非肌色が抽出されている場合には、非肌色を用いて非肌をモデル化する。モデル化にはSVM(Support Vector Machine)やGMM(Gaussian Mixture Model)など任意の識別器を用いることができる。GMMを利用する場合は、式(1)に示すように、肌色、非肌色の分布が複数のガウス分布の和で構成され、これにより肌、非肌で各色が発生する確率を算出できる。
【００４８】
【数１】
【００４９】
ここで、xは、色を表し、Nは、ガウス分布の数を示す。ガウス分布ごとに重み係数wｉを持つ。μｉおよびΣｉは、それぞれ平均値と共分散行列を表す。ガウス分布のパラメータは、EMアルゴリズムなどの最尤推定法を利用して求めることができる。
【００５０】
肌色学習処理S42は、手動で肌領域が抽出された一般的な学習用画像について、肌であって色xが発生する確率Pｇ(x|skin)を式(1)により算出し、保持している。また、肌色学習処理S42は、入力画像について、同様に、肌であって色xが発生する確率Pｃ(x|skin)を算出する。
【００５１】
さらに非肌色が抽出されている場合、肌色学習処理S42は、手動で非肌領域が抽出された一般的な学習用画像について、非肌であって色xが発生する確率Pｇ(x|¬ skin)を式(1)により算出し、保持している。また、肌色学習処理S42は、入力画像について、同様に、非肌領域であって色情報xが発生する確率をPｃ(x|¬ skin)を算出する。
【００５２】
肌尤度算出処理S43は、式(2),(3)により、肌尤度P(x|skin)および非肌尤度P(x|¬ skin)をそれぞれ算出する。
【００５３】
【数２】
【００５４】
【数３】
【００５５】
肌領域形成処理S45は、閾値設定処理S44で設定された閾値TH1を用い、肌尤度P(x|skin)、あるいは肌尤度P(x|skin)と非肌尤度P(x|¬ skin)とから肌領域を生成する。肌尤度P(x|skin)からはそれが閾値を超える画素を肌領域とすることができる。また、肌尤度P(x|skin)と非肌尤度P(x|¬ skin)とからは、閾値TH1が与えられたとき、式(4)で表される尤度比Lが閾値TH1を超える画素を肌領域とすることができる。式(4)において、閾値TH1=1とすれば、肌尤度P(x|skin)が非肌尤度P(x|¬ skin)より大きい領域が肌領域として生成される。これにより生成された肌領域の境界が滑らかでない場合には、生成された肌領域境界の画素とその周辺の画素との類似性から肌領域を膨張・収縮させる処理を施して肌領域を整形することができる。
【００５６】
【数４】
【００５７】
肌判定処理S45では、肌領域形成処理S45で生成された肌領域が実際に肌部分か、あるいはただの肌色部分かを判定する。これは、色または輝度の平坦性を評価することにより可能である。例えば、肌領域形成処理S45で生成された肌領域内の色または輝度の分散を算出し、この分散を閾値TH2と比較する。そして、分散が閾値TH2より小さい場合は実際の肌部分と判定し、分散が閾値TH2以上の場合はただの肌色部分と判定する。肌領域形成処理S45で生成された肌領域内でエッジを検出し、エッジの割合が閾値TH3より小さい場合、実際の肌色部分と判定し、エッジの割合が閾値TH3以上の場合にはただの肌色部分と判定することも可能である。
【００５８】
閾値設定処理S44は、まず、肌色抽出処理S41で抽出された肌色の顔領域を十分に抽出できるように、閾値TH1の初期値を設定する。肌領域形成処理S45で生成された肌領域が、肌判定処理S46でただの肌色部分と判定された場合、閾値設定処理S44は、肌領域形成処理S45のための閾値TH1が緩いと判断し、それを大きく設定し直す。そして、再度肌領域形成処理S45をやり直させる。
【００５９】
図２に戻って、特徴抽出部23は、肌領域検出部22で検出された肌領域の領域ごと特徴量を抽出する。この特徴量としては、領域の大きさや形状、重心、位置、各種モーメントを利用できる。式(4)で表される尤度比Lを線形にマッピングした分布を特徴量とすることもできる。
【００６０】
識別部24は、学習用画像を予め手動で正例と負例に分類し、特徴抽出部23でこれらから抽出される特徴量を基にして、画像を正例コンテンツと負例コンテンツとに分類するための学習モデルを構成しておく。そして、この学習モデルを用いて、入力画像を正例コンテンツと負例コンテンツに識別する。
【００６１】
識別部24での識別は、学習モデルおよび特徴量抽出部23によって肌領域の領域ごとに抽出された特徴量を用いて、SVMあるいは判別分析などにより可能である。SVMを用いる場合は、予め用意された学習用データセットで肌領域と非肌領域を分離するマージンを最大化するような超平面を構築しておく。特徴量抽出部23で抽出された特徴量をSVM上に写像し、これがSVMの超平面に対してどこに位置するかによって当該入力画像が正例コンテンツであるか負例コンテンツであるかを識別できる。SVMについては、V.N.Vapnik,「Statistical Learning Theory」, John Wiley & Sons(1998)などに記載されている。
【００６２】
以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々に変形可能である。例えば、上記説明では、未知コンテンツが静止画像であるとしたが、動画像は静止画像の集まりであるので、動画像を処理対象とすることもできる。なお、動画像の場合、一連の画像内で第2の特徴量(当該画像での肌色)が変化しないことが想定されるならば、第2特徴量を抽出するまでの処理は、先頭の1または数フレームについて行うだけでよい。
【００６３】
本発明は、肌領域の識別に限定されず、状況変化に頑健でない色などの特徴量を用いて直接的に識別領域を精度よく識別できないケースで、状況変化に頑健な特徴量を用いて識別領域の一部を検出でき、識別領域の一部から状況変化に応じて変化するが識別領域の全体を識別できる特徴量を抽出できるケースに適用できる。
【図面の簡単な説明】
【００６４】
【図１】本発明に係るコンテンツ識別装置の基本構成を示すブロック図である。
【図２】肌部分を検出してコンテンツ識別を行う、本発明の実施形態を示すブロック図である。
【図３】顔領域検出部の動作を示すフローチャートである。
【図４】肌領域検出部の動作を示すフローチャートである。
【符号の説明】
【００６５】
11・・・第1の検出手段、12・・・第2の検出手段、13・・・第3の検出手段、14・・・識別手段、21・・・顔領域検出部、22・・・肌領域検出部、23・・・特徴量抽出部、24・・・識別部、S31・・・顔特徴量抽出処理、S32・・・顔尤度算出処理、S33・・・顔領域形成処理、S34・・・顔判定処理、S41・・・肌色抽出処理、S42・・・肌色学習処理、S43・・・肌尤度算出処理、S44・・・閾値設定処理、S45・・・肌領域形成処理、S46・・・肌判定処理
【特許請求の範囲】
【請求項１】
未知コンテンツにおける識別領域を識別する領域識別装置において、
未知コンテンツが保持する複数の特徴量の中で、状況変化に頑健な第１の特徴量を抽出し、該第１の特徴量を用いて識別領域の一部を検出する第１の検出手段と、
前記第１の検出手段で検出された識別領域の一部から第２の特徴量を抽出し、該第２の特徴量を用いて識別領域の全体を検出する第２の検出手段とを備えたことを特徴とする領域識別装置。
【請求項２】
前記第１の検出手段は、未知コンテンツから形状情報または輝度情報を第１の特徴量として抽出し、該第１の特徴量を用いて識別領域の一部として顔領域を検出する顔領域検出手段であり、
前記第２の検出手段は、前記顔領域検出手段で検出された顔領域の色を第２の特徴量として抽出し、該第２の特徴量を用いて識別領域の全体としての肌領域を検出する肌領域検出手段であることを特徴とする請求項１に記載の領域識別装置。
【請求項３】
前記顔領域検出手段は、未知コンテンツから顔の特徴量である形状情報または輝度情報を第１の特徴量として抽出する顔特徴量抽出手段と、学習用コンテンツから抽出された顔の特徴量を用いて予め学習することで得られたテンプレートパターンと前記顔特徴量抽出手段で抽出された顔の特徴量との類似度から顔尤度を算出する顔尤度算出手段と、前記顔尤度算出手段で算出された顔尤度から顔領域を生成する顔領域形成手段とを備えたことを特徴とする請求項２に記載の領域識別装置。
【請求項４】
前記テンプレートパターンは、顔領域の全体的な形状情報だけでなく、目、眉、鼻、口の各部分についての形状情報を個別に含み、前記顔尤度算出手段は、前記形状情報の個々についての類似度および各部分の相対的位置関係から顔尤度を算出することを特徴とする請求項３に記載の領域識別装置。
【請求項５】
前記顔尤度算出手段は、顔領域の特徴量に対する類似度だけでなく、非顔領域の特徴量に対する類似度を算出し、両類似度の比から顔尤度を算出することを特徴とする請求項３に記載の領域識別装置。
【請求項６】
前記肌領域検出手段は、前記顔領域検出手段で検出された顔領域から肌部分の色を抽出する肌色抽出手段と、前記肌色抽出手段で抽出された色を未知コンテンツの肌色として学習する肌色学習手段と、前記肌色学習手段での学習結果から未知コンテンツについての肌尤度を算出する肌尤度算出手段と、前記肌尤度算出手段で算出された肌尤度から未知コンテンツにおける肌部分の全体を形成するための閾値を設定する閾値設定手段と、前記肌尤度算出手段で算出された肌尤度と前記閾値設定手段で設定された閾値とを比較し、その大小関係から未知コンテンツにおける肌部分の全体を肌領域として形成する肌領域形成手段と、前記肌領域形成手段で形成された肌領域ごとにその妥当性を判定するとともに、前記閾値設定手段で設定された閾値の妥当性を判定し、該閾値が妥当でないと判定した場合には前記閾値設定手段に閾値の設定し直しを指示する肌判定手段とを備えたことを特徴とする請求項２に記載の領域識別装置。
【請求項７】
前記肌色抽出手段は、前記顔領域検出手段で検出された顔領域の色ヒストグラムを生成し、最頻色を含む峰を肌部分の色として抽出することを特徴とする請求項６に記載の領域識別装置。
【請求項８】
前記肌色学習手段は、学習用コンテンツを用いた学習により予め肌確率を算出する手段を有することを特徴とする請求項６に記載の領域識別装置。
【請求項９】
前記肌色学習手段は、さらに、前記肌色抽出手段で抽出された肌部分の色と排他的な関係を持つ色で、かつ顔領域外からランダムに選択された色を非肌部分の色として学習し、該非肌部分の色と未知コンテンツの非肌部分の色とを対応づける非肌確率を算出する手段を有することを特徴とする請求項６に記載の領域識別装置。
【請求項１０】
前記肌尤度算出手段は、学習により予め算出されている肌確率に前記肌色学習手段で未知コンテンツについて算出された肌確率を反映した肌確率を肌尤度として算出することを特徴とする請求項８に記載の領域識別装置。
【請求項１１】
前記肌尤度算出手段は、学習により予め算出されている肌確率に前記肌色学習手段で未知コンテンツについて算出された非肌色確率との比を肌尤度として算出することを特徴とする請求項９に記載の領域識別装置。
【請求項１２】
前記閾値設定手段は、前記顔領域検出手段で検出された顔領域が、前記肌領域形成手段で肌領域として形成されるように閾値の初期値を設定することを特徴とする請求項６に記載の領域識別装置。
【請求項１３】
前記肌領域形成手段は、前記閾値設定手段で設定された閾値と前記肌尤度算出手段で算出された肌尤度とを比較し、肌尤度が閾値以上である領域を肌領域として形成することを特徴とする請求項６に記載の領域識別装置。
【請求項１４】
前記肌判定手段は、前記肌領域形成手段で形成された肌領域ごとに平坦性を評価して肌領域としての適合性を判定し、適合していると判定された場合は当該肌領域を肌領域として出力し、適合していないと判定された場合は、該肌領域について前記閾値設定手段で設定された閾値が不適だったとして該閾値を変更した上で前記肌領域形成手段に再度肌領域の形成を試みさせることを特徴とする請求項６に記載の領域識別装置。
【請求項１５】
請求項１に記載の領域識別装置と、
前記第２の検出手段で検出された識別領域の全体から第３の特徴量を検出する第３の検出手段と、
前記第３の検出手段で検出された第３の特徴量と識別対象コンテンツが持つ第３の特徴量との類似性を評価して未知コンテンツが識別対象コンテンツであるか否かを識別する識別手段とを備えたことを特徴とするコンテンツ識別装置。
【請求項１６】
請求項２ないし１４に記載のいずれかの領域識別装置と、
前記肌領域検出手段で検出された肌領域から第３の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された第３の特徴量から未知コンテンツが識別対象コンテンツとしての猥褻なコンテンツであるか否かを識別する識別手段を備えたことを特徴とするコンテンツ識別装置。
【請求項１７】
請求項３ないし５に記載のいずれかの領域識別装置と、
前記肌領域検出手段で検出された肌領域から第３の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された第３の特徴量から未知コンテンツが識別対象コンテンツとしての猥褻なコンテンツであるか否かを識別する識別手段と、
前記顔領域形成手段で生成された顔領域の大きさ、数、分布、位置のうちの１つあるいは複数によって未知コンテンツが猥褻なコンテンツでないことを識別する顔判定手段とを備えたことを特徴とするコンテンツ識別装置。
【請求項１８】
前記特徴量抽出手段は、前記肌領域検出手段で検出された肌領域ごとに、大きさ、形状、重心、位置、各種モーメント、肌尤度分布を第３の特徴量として抽出することを特徴とする請求項１６または１７に記載のコンテンツ識別装置。
【請求項１９】
前記識別手段は、予め識別対象コンテンツおよび識別対象外コンテンツから抽出した特徴量と前記特徴量抽出手段で抽出された第３の特徴量とを比較し、未知コンテンツを識別対象コンテンツであるか識別対象外コンテンツであるかを識別することを特徴とする請求項１５ないし１８のいずれかに記載のコンテンツ識別装置。
【請求項１】
未知コンテンツにおける識別領域を識別する領域識別装置において、
未知コンテンツが保持する複数の特徴量の中で、状況変化に頑健な第１の特徴量を抽出し、該第１の特徴量を用いて識別領域の一部を検出する第１の検出手段と、
前記第１の検出手段で検出された識別領域の一部から第２の特徴量を抽出し、該第２の特徴量を用いて識別領域の全体を検出する第２の検出手段とを備えたことを特徴とする領域識別装置。
【請求項２】
前記第１の検出手段は、未知コンテンツから形状情報または輝度情報を第１の特徴量として抽出し、該第１の特徴量を用いて識別領域の一部として顔領域を検出する顔領域検出手段であり、
前記第２の検出手段は、前記顔領域検出手段で検出された顔領域の色を第２の特徴量として抽出し、該第２の特徴量を用いて識別領域の全体としての肌領域を検出する肌領域検出手段であることを特徴とする請求項１に記載の領域識別装置。
【請求項３】
前記顔領域検出手段は、未知コンテンツから顔の特徴量である形状情報または輝度情報を第１の特徴量として抽出する顔特徴量抽出手段と、学習用コンテンツから抽出された顔の特徴量を用いて予め学習することで得られたテンプレートパターンと前記顔特徴量抽出手段で抽出された顔の特徴量との類似度から顔尤度を算出する顔尤度算出手段と、前記顔尤度算出手段で算出された顔尤度から顔領域を生成する顔領域形成手段とを備えたことを特徴とする請求項２に記載の領域識別装置。
【請求項４】
前記テンプレートパターンは、顔領域の全体的な形状情報だけでなく、目、眉、鼻、口の各部分についての形状情報を個別に含み、前記顔尤度算出手段は、前記形状情報の個々についての類似度および各部分の相対的位置関係から顔尤度を算出することを特徴とする請求項３に記載の領域識別装置。
【請求項５】
前記顔尤度算出手段は、顔領域の特徴量に対する類似度だけでなく、非顔領域の特徴量に対する類似度を算出し、両類似度の比から顔尤度を算出することを特徴とする請求項３に記載の領域識別装置。
【請求項６】
前記肌領域検出手段は、前記顔領域検出手段で検出された顔領域から肌部分の色を抽出する肌色抽出手段と、前記肌色抽出手段で抽出された色を未知コンテンツの肌色として学習する肌色学習手段と、前記肌色学習手段での学習結果から未知コンテンツについての肌尤度を算出する肌尤度算出手段と、前記肌尤度算出手段で算出された肌尤度から未知コンテンツにおける肌部分の全体を形成するための閾値を設定する閾値設定手段と、前記肌尤度算出手段で算出された肌尤度と前記閾値設定手段で設定された閾値とを比較し、その大小関係から未知コンテンツにおける肌部分の全体を肌領域として形成する肌領域形成手段と、前記肌領域形成手段で形成された肌領域ごとにその妥当性を判定するとともに、前記閾値設定手段で設定された閾値の妥当性を判定し、該閾値が妥当でないと判定した場合には前記閾値設定手段に閾値の設定し直しを指示する肌判定手段とを備えたことを特徴とする請求項２に記載の領域識別装置。
【請求項７】
前記肌色抽出手段は、前記顔領域検出手段で検出された顔領域の色ヒストグラムを生成し、最頻色を含む峰を肌部分の色として抽出することを特徴とする請求項６に記載の領域識別装置。
【請求項８】
前記肌色学習手段は、学習用コンテンツを用いた学習により予め肌確率を算出する手段を有することを特徴とする請求項６に記載の領域識別装置。
【請求項９】
前記肌色学習手段は、さらに、前記肌色抽出手段で抽出された肌部分の色と排他的な関係を持つ色で、かつ顔領域外からランダムに選択された色を非肌部分の色として学習し、該非肌部分の色と未知コンテンツの非肌部分の色とを対応づける非肌確率を算出する手段を有することを特徴とする請求項６に記載の領域識別装置。
【請求項１０】
前記肌尤度算出手段は、学習により予め算出されている肌確率に前記肌色学習手段で未知コンテンツについて算出された肌確率を反映した肌確率を肌尤度として算出することを特徴とする請求項８に記載の領域識別装置。
【請求項１１】
前記肌尤度算出手段は、学習により予め算出されている肌確率に前記肌色学習手段で未知コンテンツについて算出された非肌色確率との比を肌尤度として算出することを特徴とする請求項９に記載の領域識別装置。
【請求項１２】
前記閾値設定手段は、前記顔領域検出手段で検出された顔領域が、前記肌領域形成手段で肌領域として形成されるように閾値の初期値を設定することを特徴とする請求項６に記載の領域識別装置。
【請求項１３】
前記肌領域形成手段は、前記閾値設定手段で設定された閾値と前記肌尤度算出手段で算出された肌尤度とを比較し、肌尤度が閾値以上である領域を肌領域として形成することを特徴とする請求項６に記載の領域識別装置。
【請求項１４】
前記肌判定手段は、前記肌領域形成手段で形成された肌領域ごとに平坦性を評価して肌領域としての適合性を判定し、適合していると判定された場合は当該肌領域を肌領域として出力し、適合していないと判定された場合は、該肌領域について前記閾値設定手段で設定された閾値が不適だったとして該閾値を変更した上で前記肌領域形成手段に再度肌領域の形成を試みさせることを特徴とする請求項６に記載の領域識別装置。
【請求項１５】
請求項１に記載の領域識別装置と、
前記第２の検出手段で検出された識別領域の全体から第３の特徴量を検出する第３の検出手段と、
前記第３の検出手段で検出された第３の特徴量と識別対象コンテンツが持つ第３の特徴量との類似性を評価して未知コンテンツが識別対象コンテンツであるか否かを識別する識別手段とを備えたことを特徴とするコンテンツ識別装置。
【請求項１６】
請求項２ないし１４に記載のいずれかの領域識別装置と、
前記肌領域検出手段で検出された肌領域から第３の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された第３の特徴量から未知コンテンツが識別対象コンテンツとしての猥褻なコンテンツであるか否かを識別する識別手段を備えたことを特徴とするコンテンツ識別装置。
【請求項１７】
請求項３ないし５に記載のいずれかの領域識別装置と、
前記肌領域検出手段で検出された肌領域から第３の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された第３の特徴量から未知コンテンツが識別対象コンテンツとしての猥褻なコンテンツであるか否かを識別する識別手段と、
前記顔領域形成手段で生成された顔領域の大きさ、数、分布、位置のうちの１つあるいは複数によって未知コンテンツが猥褻なコンテンツでないことを識別する顔判定手段とを備えたことを特徴とするコンテンツ識別装置。
【請求項１８】
前記特徴量抽出手段は、前記肌領域検出手段で検出された肌領域ごとに、大きさ、形状、重心、位置、各種モーメント、肌尤度分布を第３の特徴量として抽出することを特徴とする請求項１６または１７に記載のコンテンツ識別装置。
【請求項１９】
前記識別手段は、予め識別対象コンテンツおよび識別対象外コンテンツから抽出した特徴量と前記特徴量抽出手段で抽出された第３の特徴量とを比較し、未知コンテンツを識別対象コンテンツであるか識別対象外コンテンツであるかを識別することを特徴とする請求項１５ないし１８のいずれかに記載のコンテンツ識別装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００９−１６９５１８（Ｐ２００９−１６９５１８Ａ）
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願番号】特願２００８−４４６９（Ｐ２００８−４４６９）
【出願日】平成２０年１月１１日（２００８．１．１１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願日】平成２０年１月１１日（２００８．１．１１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]