画像解析装置、画像解析方法、画像検索システムおよびプログラム
【課題】画像を心理的印象の類似性を使用して特徴付けを行う画像解析技術を提供する。
【解決手段】画像解析装置１０２は、データベース１０４に格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、画像を前記印象の類似するカテゴリーに分類する配色分類部２０４と、画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンで画像をマッピングするテクスチャ・マッピング部２０６と、データベース１０４からイメージ語に分類された画像の配色パターンに色空間上の尺度で類似する画像を検索し、検索した画像を配色分類部２０４に渡して配色パターンを色が与える印象ごとの補充を可能とする補充画像検索部２０８とを含んでいる。
【解決手段】画像解析装置１０２は、データベース１０４に格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、画像を前記印象の類似するカテゴリーに分類する配色分類部２０４と、画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンで画像をマッピングするテクスチャ・マッピング部２０６と、データベース１０４からイメージ語に分類された画像の配色パターンに色空間上の尺度で類似する画像を検索し、検索した画像を配色分類部２０４に渡して配色パターンを色が与える印象ごとの補充を可能とする補充画像検索部２０８とを含んでいる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似画像のマイニング技術に関し、より詳細には、本発明は、画像を心理的印象の類似性を使用して特徴付けを行う画像解析技術に関する。
【背景技術】
【０００２】
ポスターやＷｅｂページなどのデザイン製作では、複数の担当者が印刷物やＷｅｂページを見ながらデザインを進めてゆく作業を行っている。画像が有する色は、彩度、明度、色相などの特徴量で特徴付けられているものの、種類が多く、また視者の特性や心理的状態によっても色から受取る印象が異なる場合がある。このような場合に特定個人の感性によらず、また、効率的に大多数の視者が受ける印象に基づいて画像解析を行い、画像を特徴付ける属性として使用することで、色彩の決定や類似性判断をより効率的に行うことができるものと考えられてきた。
【０００３】
この様な目的のために多く用いられている手法として、情報処理装置に感性的な学習、すなわち色教示を行い、その結果をデータベースに反映させて行く手法を挙げることができる。色彩を教示するのは担当者が母集団の印象を統計解析し、その結果をデータベースに反映させることによって行われることが多い。しかしながら、精度の高い感性的パラメータの統計的学習を行うためには、（１）母集団から分布比率が等しい教示データ群を構築する必要があること、（２）多数の教示データの準備が必要なこと、（３）色という特徴量から受ける印象は、ユーザまたは使用者などによって異なることが多く、分散が大きくその有意性を判断することが困難であること、（４）この様な統計処理を排除するためのＲＧＢといった特徴量だけで色を特徴付けるのでは、人間の感性が反映されるかどうか確実ではなく高精度の教示ということができないという問題があった。
【０００４】
このため、色彩をデータベースに教示させる際には、教示者側および利用者側の両方で、労力を消費し、さらに作成したデータベースの信頼性もそれぞれの母集団の相違で異なるなど、充分な利便性を提供しているとはいえないという問題を生じさせていた。
【０００５】
また、画像は、複数の色が織りなす種々の形状・模様によって構成されており、画像を特徴付ける場合には、必ずしも色属性ばかりではなく画像のテクスチャを考慮する必要があり、また画像に局所的に存在する色彩が、当該画像を特徴付けるための色として機能する場合もあることが知られている。例えば、グラフィックデザイン分野では、デザイナーは、喚起したいイメージを、配色、被写体、ロゴなどを工夫して表現するが、この際デザイナーは、特に配色を重要視し、比較的使用量の多い色をベースカラー、使用量は少ないが誘目性のある色をアクセントカラーと呼び、これらの組み合わせからデザインする傾向にある。また、デザイナーは、デザイン性の高いダイレクトメールを作成する場合など、そのイメージを可視化・具体化するために、配色パターンによる感性モデルを構築して、配色などの効率化を行うことも行われている（非特許文献１）。
【０００６】
しかしながら、配色パターン、すなわち画像全体に相対する色彩の配置および配色といった属性により特徴付けられるアクセントカラーに関しては、これまでその定義が曖昧であり、どのような配色や配置を、画像を特徴付けるアクセントカラーとして判断するべきかについて、デザイナーの経験やボランティアを使用した心理統計処理によって得られたモデルによる経験的なものとならざるを得ないという問題があった。
【０００７】
近年、インターネットおよびＷｅｂブラウザなど、電子データ共有のためのインフラ基盤が整備され、テキストデータばかりではなく、画像も検索の対象となる場合が多い。また、個人的に撮影した写真データを一括してサーバで管理するインターネット・サービスも普及している状況にある。このため、心理的な印象が類似する画像を情報処理装置を使用して検索する技術はますます重要になってくるものと考えられる。
【０００８】
これまで画像を検索対象とする検索システムも数多く知られており、例えば、特開２００２−１３２８３２号公報(特許文献１）では、画像検索を行うために、画像にキーワードをメタデータとして追加し、キーワードを検索キーとしてユーザから送付されたクエリーとの一致性に基づいて画像を検索する技術が記載されている。
【０００９】
また、特開２００２−６３１７２号公報(特許文献２）では、画像検索において画像検索者がイメージする画像の指定を容易に実現でき、画像データベースの中から所望の画像を効率的に検索するために、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリー別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なう技術が記載されている。
【００１０】
また、特開２００８−１７１２４３号公報（特許文献３）では、画像に対して割り当てたテキストのセットを検索キーとして使用し色彩パターンを検索する技術が記載されている。
【００１１】
上述したように画像を検索する技術は種々提案されているものの、主として画像に対してキーワードをメタデータとして付し、当該キーワードを検索することにより対応する画像または画像の特徴量を検索するものである。すなわち、いずれの技術についても画像に対して与えられたキーワードに基づいて検索を行うものであり、画像を特徴付ける特徴量をそのまま検索キーとして検索を可能とするものではないし、画像の心理的な類似性を用いて検索可能とする特徴量を決定することを課題とするものではない。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】重松利季、「画像特徴量およびｔｆ−ｉｄｆに準じたキーワード評価による画像分類」、映像情報メディア学会技術報告３３（２０），２１−２４，２００９−０５−２５
【特許文献】
【００１３】
【特許文献１】特開２００２−１３２８３２号公報
【特許文献２】特開２００２−６３１７２号公報
【特許文献３】特開２００８−１７１２４３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明は、従来技術の上記問題点に鑑みてなされてものであり、教示データの数を削減しても高精度に画像の心理的印象を支配する要因である配色、テクスチャなどの決定を可能とし、また類似する心理的効果を与える特徴を有するコンテンツ画像の検索を可能とする、画像解析装置、画像解析方法およびプログラム、および当該画像解析方法を利用した画像検索システムを提供することを目的とする。さらに、本発明は、従来のように、特定個人の感性によらず、また、平均的に大多数の視者が受ける印象に基づいて画像解析を行うのではなく、逆に個々人の感性を重視した画像解析技術を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明では、画像の特徴を抽出するために異なる配色のペアから構成した配色パターンを使用し画像全体の色特徴を少数の教示データから抽出し、教示データとして使用できる画像を色情報の類似性を使用して検索・補充することにより、データベースに格納された膨大な画像の中から心理的に類似する可能性の高い画像を抽出し、教示データを補充する。補充した教示データは、色彩の類似性を使用して再クラスタリングされ、詳細な心理的印象の相違に対応付けられる。また、画像の類似検索は、画像の色合いの他、画像にメッシュを割当て、メッシュを代表する３点間コントラストでメッシュを特徴付けし、テクスチャ・マッピングに基づくテクスチャの類似性や、画像中で色彩が有意に異なるアクセントカラーの判断を使用しても行うことができる。
【００１６】
本発明の画像解析装置は、画像の心理的類似性を解析し、
データベースに格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、画像を前記印象の類似するカテゴリーに分類する配色分類部と、
画像にメッシュおよびメッシュ内にサブメッシュを定義して、サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンで画像をマッピングするテクスチャ・マッピング部と、
データベースからイメージ語に分類された画像の配色パターンに色空間上の尺度で類似する画像を検索し、検索した画像を配色分類部に渡して配色パターンを前記色が与える印象ごとの補充を可能とする補充画像検索部とを含んでいる。
【００１７】
本発明の配色分類部は、さらに、
印象ごとの分類対象である配色パターンを生成する配色パターン生成部と、
印象を代表するイメージ語を設定する色イメージ設定部と、
補充画像検索部が検索した画像をイメージ語に対応付けて登録する配色パターン補充部と、
補充された配色パターンをさらに詳細分類する、配色パターン分類部と
を含むことができる。
【００１８】
本発明のテクスチャ・マッピング部は、
３点の輝度を計算する位置を指定するテンプレートに指定された３点の輝度を計算する輝度計算部と、
３点の輝度から３点間コントラストを計算する３点間コントラスト計算部と、
メッシュを特徴付ける３点間コントラストを与えたテンプレートのパターンをメッシュのテクスチャ情報として登録するテクスチャ・パターン決定部とを含むことができる。
【００１９】
本発明の画像解析装置は、画像の一部の領域についての特徴量を決定する領域特徴量決定部を含み、領域特徴量決定部は、画像に領域を割当て、割当てた領域のＲＧＢヒストグラムを平均することにより、画像全体を特徴付けるベースカラーと、画像の中で特徴的な色属性を有するアクセントカラーとを決定することができる。
【００２０】
以上の様に、本発明では、画像のアクセントカラーを画像のベースカラーから効率的に抽出することにより、高い効率で画像の心理的印象に関する類似検索が可能となる。
【図面の簡単な説明】
【００２１】
【図１】本実施形態の画像解析装置１０２を含む検索システム１００の機能ブロック図。
【図２】本実施形態の画像解析装置１０２の機能ブロック２００を示す図。
【図３】本実施形態のサーバ１１０の機能ブロック３００を示す図。
【図４】図２で説明した本実施形態の配色分類部２０４の機能ブロック４００を示す図。
【図５】本実施形態のテクスチャ・マッピング部２０６の機能ブロック５００を示す図。
【図６】本実施形態の領域特徴取得部２０８の詳細な機能ブロック６００を示す図。
【図７】本実施形態の配色分類部２０４が実行する処理のフローチャート。
【図８】配色分類部２０４の処理によって生成される配色パターンおよび配色パターンの補充の実施形態を示す図。
【図９】本実施形態のテクスチャ・マッピング部２０６が実行する処理のフローチャート。
【図１０】本実施形態で使用するコントラストの計測パターン１０００を、従来のコントラスト計測パターンと、３点間コントラストの計測パターンとの比較で示した図。
【図１１】本実施形態の領域特徴取得部２０８の実行する処理のフローチャート。
【図１２】本実施形態の領域特徴取得部２０８が実行する処理を画像に対応付けて説明した図。
【図１３】本実施形態の画像検索方法のフローチャート。
【図１４】本実施形態の検索システム１００による検索結果１４００を、クエリー画像（図１２（ａ））、および検索結果画像（図１４（ｂ））およびそれぞれの色特徴を、ＨＳＶ表示に変換して示した図。
【図１５】右手側に示したクエリー画像を使用して画像検索を行った結果を示した図。
【図１６】図１５と同一のクエリー画像を使用して検索された別の検索結果画像を示した図。
【図１７】図１６の検索結果画像を、ＨＳＶのＶ（明度）ヒストグラムとして類似性を示した図。
【図１８】図１５〜図１７に示したクエリー画像による検索結果から排除された画像を、比較例として示した図。
【発明を実施するための形態】
【００２２】
以下、本発明を図面に示した実施形態を以て説明するが本発明は、後述する実施形態に限定されるものではない。図１は、本実施形態の画像解析装置１０２を含む検索システム１００の機能ブロック図である。図1に示す検索システム１００は、インターネットやＬＡＮといったネットワーク１２０に接続された画像解析装置１０２と、画像解析装置１０２に対して検索キーを送付し、画像解析装置１０２が検索した結果である画像を受領するクライアント装置１３０とを含んで構成されている。
【００２３】
画像解析装置１０２は、パーソナル・コンピュータ、ワークステーション、サーバ専用機として実装することができ、ＰＥＮＴＩＵＭ（登録商標）シリーズ、ＣＯＲＥ（登録商標）シリーズ、ＤＵＡＬＣＯＲＥ（登録商標）シリーズといったＣＰＵ、ＸＥＯＮ（登録商標）シリーズ、またはＰＯＷＥＲＰＣ（登録商標）といったＲＩＳＣタイプのＣＰＵ、ＲＡＭ、ＲＯＭなどを搭載することができる。また、画像解析装置１０２は、Ｗｉｎｄｏｗｓ（登録商標）、ＭａｃＯＳ（登録商標）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのオペレーティング・システム（ＯＳ）を動作させて、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａｓｃｒｉｐｔ（登録商標）、Ｐｅｒｌ、Ｒｕｂｙ、ＰＨＰなどで作成されたサーバ・プログラムを実行する。画像解析装置１０２をサーバとして実装する場合には、例えばＡｐａｃｈｅ、ＩＩＳといったサーバ・アプリケーションを実装し、ＣＧＩ(Common Gateway Interface)などを使用してＨＴＴＰプロトコルを使用したクライアント装置１３０からのリクエストを処理する。
【００２４】
クライアント装置１３０は、デスクトップ・コンピュータ、ノート型コンピュータ、タブレット型コンピュータ、ＰＤＡ(Personal Data Assistant)、スマートフォンなどとして実装することができ、ＰＥＮＴＩＵＭ（登録商標）、ＣＥＬＥＲＯＮ（登録商標）、ＡＴＯＭ（登録商標）、ＣＯＲＥ（登録商標）シリーズ、ＤＵＡＬＣＯＲＥ（登録商標）シリーズなどのＣＰＵ、ＲＡＭ、ＲＯＭなどを実装し、Ｗｉｎｄｏｗｓ（登録商標）シリーズなどのＯＳの制御下で、Internet
Explorer（登録商標）、Mozilla(（登録商標）／FireFox（登録商標）、Opera（登録商標）などのブラウザ・プログラムを動作させて、画像解析装置１０２に対して各種のリクエストを送付し、また検索結果の画像をダウンロードし、閲覧可能としている。
【００２５】
画像解析装置１０２は、キーボード１０６、マウス１０８などのインタフェースからオペレータによる操作を受領し、サービスの開始、画像データの蓄積などの処理を実行し、画像から当該画像を特徴付ける特徴量を取得し、画像を、ネットワーク１２０に接続されたサーバ１１０が管理するデータベース１０４に登録する。データベース１０４に登録された画像は、画像解析装置１０２自体での画像特徴付け処理の要求、またはクライアント装置１３０からサーバ１１０への検索リクエストに応じて検索され、検索された画像を、画像解析装置１０２またはクライアント装置１３０に送付される。
【００２６】
なお、データベース１０４は、例えばＤＢ２（登録商標）、Ｃａｃｈｅ（登録商標）、ＸＭＬＤＢなど、これまで知られたいかなるリレーショナル・データベースやオブジェクト指向データベース（ＯＯＤＢ）を利用して実装することができる。また、図１では便宜上、画像解析装置１０２と、サーバ１１０とを機能的に説明する目的で異なる情報処理装置として説明した。しかしながら、画像解析装置１０２とサーバ１１０とが一体として構成されていても良いし、データベース１０４だけをＳＡＮ(Storage Area Network)として画像解析装置１０２およびサーバ１１０から機能分離させることもでき、このためのアーキテクチャは、これまで知られたいかなるものでも用いることができる。
【００２７】
ここで、用語「送付」とは、クライアント装置１３０が画像ファイルを直接ダウンロードする形態の他、画像解析装置１０２の画像を管理するＵＲＩ(Uniform Resource Identifier)をクライアント装置１３０に提示し、ブラウザ・プログラムによりデスクトップ画面上に表示させる形態を意味する。また、本明細書において、用語「画像」とは、カラー画像、モノクロ画像を問わず、輝度、明度、彩度を有し、例えば、ＢＭＰ、ＧＩＦ、ＪＰＥＧ、ＪＰＥＧ２０００、ＴＩＦＦ、ＰＮＧなどの拡張子で規定されるデジタル画像データを意味し、圧縮の有無を問わない。
【００２８】
図２は、本実施形態の画像解析装置１０２の機能ブロック２００を示す図である。画像解析装置１０２は、その機能ブロックとして、インタフェース部２０２を備えている。インタフェース部２０２は、説明する図では、ネットワーク・インタフェース、ＡＴＡ、ＳＡＴＡ、ＳＡＴＡＩＩ、ＳＣＳＩといったストレージ・インタフェース、ＵＳＢおよびＶＧＡなど、画像解析装置１０２に対する入出力を制御するための各種インタフェースを総合した機能として示している。
【００２９】
画像解析装置１０２は、配色分類部２０４と、テクスチャ・マッピング部２０６と、領域特徴取得部２０８とを含んで構成されている。配色分類部２０４は、処理対象の画像が視者に与える心理的印象を、画像の場合にはＲＧＢヒストグラム解析で、色自体についてはＲＧＢ値に基づくＣＩＥ１９７６Ｌ＊ａ＊ｂ＊を計算し、イメージ語で記述される配色のカテゴリーを数値的に分類し、配色特徴量ＤＢ２２２に初期カテゴリーを生成し、当該初期カテゴリーにボランティアが分類した教示データを初期データとして格納する。
【００３０】
テクスチャ・マッピング部２０６は、処理対象の画像に存在する物体や模様の２次元的分布を特徴付ける値を画像から計算し、画像の情報としてマイニングする機能を有しており、画像のテクスチャをマッピング情報として画像識別値に対応付けて登録する。
【００３１】
また、領域特徴取得部２０８は、処理対象の画像を適切な単位の領域に分割し、領域に特有の配色特徴量およびテクスチャ特徴量を計算し、画像識別値、領域識別値に対応付けて領域特徴量ＤＢ２２６に登録する。色調、テクスチャとして数値化する機能を有する。抽出する機能を備えている。各処理部の詳細な機能については後述する。
【００３２】
さらに、画像解析装置１０２は、補充画像検索部２１０を備えている。補充画像検索部２１０は、配色分類部２０４が初期カテゴリーの作成が終了した後に配色分類部２０４から呼び出され、配色分類部２０４がイメージ語に初期分類した画像に類似する画像を画像ＤＢ２２０から検索し、その結果を配色分類部２０４、テクスチャ・マッピング部２０６、領域特徴取得部２０８にそれぞれ渡す。配色分類部２０４は、配色特徴量ＤＢ２２２の該当するカテゴリーに処理対象の画像を登録させ、テクスチャ・マッピング部２０６は、テクスチャ特徴量ＤＢ２２４に処理対象の画像のテクスチャ・マッピングとして用いられるテクスチャ特徴量を登録し、領域特徴取得部２０８は、領域特徴量ＤＢ２２６に領域識別値、テクスチャ特徴量を登録して行く。
【００３３】
すなわち、本実施形態では、少数の教示データを使用し、視者が画像に対して抱く印象を特徴付けるイメージ語に対応付けられるカテゴリーに教示データを分類し、当該分類に画像ＤＢ２２０から抽出した画像を補充して行くことにより、少数の教示データから配色特徴量を効率的に分類・統合し、色情報属性として登録すると共に、画像の設定されたメッシュごとにテクスチャ情報を計算し、これをマッピングしたマッピング情報を登録するものである。
【００３４】
配色パターンまたは画像の補充が終了した後、配色分類部２０４は、色差および心理的メトリック尺度の値を使用して、配色特徴量ＤＢ２２２内の画像を再クラスター化することによって、画像を配色特徴量に従った細分化されたクラスターに再分類する。
【００３５】
図３は、本実施形態のサーバ１１０の機能ブロック３００を示す。サーバ１１０は、本実施形態では、いわゆるＷｅｂサーバとして構成することができ、クライアント装置１３０や画像解析装置１０２からの画像アクセス要求を受領して、要求された画像を検索し、要求元に画像または画像へのリンク情報を含む構造化文書を送付している。
【００３６】
図３に示すサーバ１１０は、画像特徴抽出部３０４と、画像検索部３０６と、検索結果作成部３０８とを含んで構成されている。画像特徴抽出部３０４は、外部からネットワーク１２０を介してクライアント装置１３０が送付する検索キーとして機能する画像を受領し、受領した画像から、検索に使用するための画像特徴を抽出し、各画像特徴を検索キーとしてクエリーベクトルに設定する。
【００３７】
画像検索部３０６は、説明している実施形態では、２つの機能を有する。第１の機能は、画像解析装置１０２からの画像特徴量が送付されると、データベース１０４に格納した画像を検索し、データ・マイニングのため、画像に対して画像の特徴量を索引付けし、データベース１０４に登録する機能である。他の１つの機能は、クライアント装置１３０から送付されたクエリー画像から画像特徴抽出部３０４が計算したクエリーベクトルを受け取り、データベース１０４の検索を実行する機能である。
【００３８】
画像検索部３０６は、画像の検索が終了すると、検索結果作成部３０８を呼出し、検索された画像を画像解析装置１０２またはクライアント装置１３０に提示するために、例えば、類似度順に画像または画像のＵＲＩをソートし、検索結果リストなどを作成し、ＨＴＭＬといった構造化文書を作成して、ＨＴＴＰプロトコル・ベースで、検索結果の送信を可能とさせる。
【００３９】
以上の機能手段は、サーバ１１０のアプリケーション・プログラム処理機能、例えばＰｅｒｌ、Ｒｕｂｙ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＨＰなどのプログラム機能部が主な機能を提供している。
【００４０】
さらに、サーバ１１０は、検索結果送信部３１０を含んでおり、検索結果送信部３１０は、作成された構造化文書をリクエストの送信元に返すと共にクライアント装置１３０や画像解析装置１０２からのダウンロード要求や閲覧要求を処理する機能を有しており、例えば、Ａｐａｃｈｅといったサーバ・プログラムが検索結果送信部３１０の実装構成の主体とされる。
【００４１】
図４は、図２で説明した本実施形態の配色分類部２０４の機能ブロック４００を示す。配色分類部２０４は、配色パターン生成部４０２と、色イメージ設定部４０４と、補充画像検索部呼出部４０６とを含んで構成されている。配色パターン生成部４０２は、教示データを生成する処理を実行し、ボランティアなどにより提示するべき教示データを抽出し、デスクトップ画面上などに、教示のためのイメージ語と共にリスト表示するためのデータを作成する処理部である。なお、提示する画像は、カラーデザインなどの分野に適用する場合、カラーパッチとすることができるし、画像検索などのためにデータベースを実装する場合、写真、イラストその他のコンテンツ画像などとすることができる。
【００４２】
本実施形態で、配色パターンを生成する場合、カラーパッチおよびコンテンツ画像は、配色パターンの設定を効率化する目的および教示データの印象をボランティアなどに強く印象づけるためであり、配色パターンのペアは、後述する色イメージを与えると考えられる範囲で、色差および心理的メトリッククロマの大きなものをペアとすることで効率的な教示が可能となる。なお、色差および心理的メトリッククロマについては、例えば、「新編 画像解析ハンドブック」、高木・下田監修、東京大学出版会発行２００４年９月１０日（初版）などを参照されたい。
【００４３】
色イメージ設定部４０４は、本実施形態で教示データとして使用する配色パターンが与える印象を簡単な語句に置き換えたリストを管理する。色イメージ設定部４０４は、色教示のために使用する配色パターンの印象を、例えば「Ｃｏｏｌ」、「Ｈｏｔ」、「インテリジェンス」、「赤を基調とした配色」、「青を基調とした配色」、「快活」、「沈みがち」など、色教示を行うボランティアに提示する印象語にボランティアが分類した配色パターンを印象語に対応付けて管理する。色イメージ設定部４０４は、色教示が終了した段階で分類された配色パターンを構成する色情報についてＲＧＢデータからＬ＊ａ＊ｂ＊色空間データに変換し、Ｌ＊ａ＊ｂ＊の値を生成し、補充画像検索部呼出部４０６に分類されたＬ＊ａ＊ｂ＊の値を渡す。
【００４４】
なお、カラーパッチから配色パターンを生成する場合ではなく、コンテンツ画像を教示データとする場合には、コンテンツ画像を構成するＲＧＢデータをＬ＊ａ＊ｂ＊色空間の値に射影し、カラー・ヒストグラムの平均値を使用して、コンテンツ画像の配色パターンとすることができる。また、コンテンツ画像は、それ自体が配色パターンを有しているということもできるが、同様の心理的な印象を与えると考えられるコンテンツ画像のペアとして教示データとすることもできる。
【００４５】
補充画像検索部呼出部４０６は、補充画像検索部２１０を呼び出し、画像ＤＢ２２０の検索を実行させ、色イメージ設定部４０４が分類した初期グループ毎に、当該グループが含む画像の色情報に関し、画像ＤＢ２２０から画像を取得し、取得した画像のＬ＊ａ＊ｂ＊色空間の色差および心理的メトリッククロマの値が設定したしきい値範囲の画像を選択し、配色パターン補充部４０８に当該画像または当該画像を参照させるための情報を渡し、現在処理している初期グループの配色パターンとして、例えば色イメージ設定部４０４が管理するリストに追加し、色パターンまたは画像を補充する。
【００４６】
配色パターン分類部４１０は、補充が完了した後、配色パターンまたは画像を、Ｋ−平均法を使用して詳細グループ分けを行い、最終的な教示色パターンを生成させ、その結果を配色特徴量ＤＢ２２２に格納する。本実施形態で使用するＫ平均法（Ｋ−ｍｅａｎｓ）は、データ集合｛χｉ｝に対して設定した数のクラスターＶｊを定義し、このクラスターＶｊに対してランダムにデータχｉを割り当て、各クラスターＶｊの重心を、クラスターＶｊに分類されているデータχｉの要素の平均（または重み付け平均）として計算する。
【００４７】
その後、データχｉと、クラスターＶｊの各重心との間のノルムを計算し、χｉについてノルムが最も近いクラスターＶｊにχｉの帰属を変更する。これを、データ数ｉについて反復し、各クラスターＶｊに帰属したデータχｉのノルムの合計の変化量が設定した微少量以下になった段階で、クラスターを確定するものである。
【００４８】
なお、本実施形態では、クラスターＶｊの数は、統計的に最もクラスターが生成されるように、下記式（１）で示される相関比を最大化させる数として動的に設定した。
【００４９】
【数１】
【００５０】
図４に示したデータ構造４２０は、配色パターン分類部４１０がクラスター分類を完了した後のクラスター化された配色パターンの実施形態である、初期グループは、配色パターンの補充の後、配色パターン分類部４１０によりクラスターＣ１〜Ｃｎに分類され、各クラスター４３０には、配色パターンimage_A〜image_imが分類されている。同様のデータ構造としてクラスターＣ２〜Ｃｎが生成される。これらのデータ構造は、初期グループが類似の印象を与える配色または画像から形成され、当該初期グループに対して配色または画像を補充し、当該結果をＫ平均法により再分類することから、配色パターンを心理的な印象が近いグループに分類することを可能とする。
【００５１】
図５は、本実施形態のテクスチャ・マッピング部２０６の機能ブロック５００を示す。テクスチャ・マッピング部２０６は、メッシュ割当部５０２と、輝度計算部５０４と、テクスチャ・パターン決定部５０６と、３点間コントラスト計算部５０８とを含んでいる。メッシュ割当部５０２は、処理対象とする画像にメッシュを割当て、さらにメッシュを、９ブロックのサブメッシュに割り当て、サブメッシュ単位でのコントラストおよびメッシュについての３点間コントラストの計算を可能とさせている。
【００５２】
輝度計算部５０４は、メッシュが含むサブメッシュの輝度（Ｌ＊値）を計算し、適切なメモリに記憶させており、３点間コントラスト計算部５０８による３点間コントラスト計算を可能とさせている。なお、３点間コントラストとは、メッシュの中心にあるサブメッシュを取り囲む８のサブブメッシュのコントラスト・パターンをテンプレートとし、３点間コントラストの画像上での分布をマッピングすることで、画像全体にわたるテクスチャ（以下、全体テクスチャとして参照する。）として、画像上のコントラスト・パターンを識別させることを可能とする。
【００５３】
テクスチャ・パターン決定部５０６は、本実施形態では、メッシュについての２８種類のコントラスト・パターンをテンプレートとして登録しており、画像のメッシュの３点間コントラストを計算するためテンプレートと照合を行う。テンプレートには、３点間コントラストを計算するサブメッシュの位置が登録されており、３点間コントラスト計算部５０８による３点間コントラストの計算を効率化させている。
【００５４】
またテクスチャ・パターン決定部５０６は、３点間コントラスト計算部５０８が計算した３点間コントラストのうち、最も高いコントラストを与えたテンプレートのパターンＩＤを、当該メッシュのテクスチャ情報としてマッピングする。この結果、テクスチャ・マッピング部２０６は、パターンＩＤ分布から、画像が全体として直線パターンが支配的な画像であるか、それとも曲線が支配的な画像であるか、または特に特徴付けられる形状がないかの判断をマッピング結果を使用して判断することを可能とする。なお、３点間コントラスト計算の詳細については後述する。
【００５５】
また、図５において、生成された全体テクスチャを含むテクスチャ特徴量ＤＢ２２４のデータ構造５１０の実施形態も示す。クラスタＣｉには、image_Aからimage_imが登録されている。また、image_A〜image_imは、３点間コントラストがマッピングされた全体テクスチャ情報が対応付けられており、このデータがテクスチャ特徴量ＤＢ２２４が格納する実質的なデータ構造である。
【００５６】
図６は、本実施形態の領域特徴取得部２０８の詳細な機能ブロック６００を示す。領域特徴取得部２０８は、処理対象の画像の特定の領域のテクスチャや色情報を抽出し、画像の特定領域の情報を取得する機能を有する。領域特徴取得部２０８は、画像全体のうち特徴的な情報を検索に使用する場合や、画像の特定領域毎に画像特徴を判断し、画像の類似判断を行う場合に利用される。
【００５７】
領域割当部６０２と、ベースカラー抽出部６０４と、アクセントカラー抽出部６０６と、領域特徴量決定部６０８とを含んで構成されている。領域割当部６０２は、画像上に指定されたサイズの領域をマッピングし、例えば領域の４隅の位置座標を画像上の物理的な座標に対応付けすることによって、領域と画像上の領域とを対応付けする。そして、領域特徴量決定部６０８は、割当てられた領域を、領域が包含する画素野のカラー・ヒストグラムの分布の平均値で置換し、周囲色と特定の領域の色彩の差の判断を可能とする。
【００５８】
ベースカラー抽出部６０４は、領域に特徴的な色、すなわち画像全体に比較した時に領域が特徴的な色情報を有しているか否かを判断するために、画像において最も広い面積を占める色情報を、カラー・ヒストグラムおよび画素分布から取得し、ベースカラーとして領域特徴量決定部６０８に送付する。
【００５９】
また、アクセントカラー抽出部６０６は、注目している領域が、ベースカラーに対して特徴的、すなわち色差および心理的メトリッククロマがしきい値を超えているか否かの判断を行う。アクセントカラー抽出部６０６は、当該領域の色情報が、画像上で質的に全体とは異なる特性を有していると判断した場合には、判断結果を領域特徴量決定部６０８に送付し、ベースカラー抽出部６０４が取得したベースカラー情報と共に領域を特徴付ける情報として管理させる。
【００６０】
以上の処理によって、領域特徴量決定部６０８は、画像の特定の領域に関し、ベースカラー、アクセントカラーの有無、テクスチャの相違を取得し、領域特徴量ＤＢ２２６に格納する。図６には、本実施形態の画像解析装置１０２が画像についての処理を完了した段階で、画像ＤＢ２２０に構成される画像をマイニングするために利用可能なデータ構造６１０を示す。データ構造３３０は、配色特徴量ＤＢ２２２に格納されるデータ構造であり、データ構造４２０は、テクスチャ特徴量ＤＢ２２４に格納されるデータ構造であり、データ構造６２０は、領域特徴量ＤＢ２２６に格納されるデータ構造である。
【００６１】
なお、データ構造６２０のＴ１〜Ｔ４は、例えば画像image_Aの領域１〜領域４についての、ベースカラー情報、アクセントカラー情報および領域テクスチャ情報を含む情報を示す。
【００６２】
図７は、本実施形態の配色分類部２０４が実行する処理のフローチャートである。図７の処理は、ステップＳ７００から開始し、ステップＳ７０１で配色パターンを生成する。配色パターンは、色が視者に与える心理的な印象が共通すると考えられるカラーパッチをペアにすることによって生成される。また、処理対象の画像が、コンテンツ画像である場合、それ自体が配色パターンであるということができるので、コンテンツ画像の場合は、それ自体またはコンテンツ画像に関して共通する印象を与えるコンテンツ画像のペアとして配色パターンを生成し、適切な画像ＤＢ２２０などの適切な領域に格納する。
【００６３】
ステップＳ７０２では、当該配色パターンに対し、教示データとして使用する目的で、配色に対する視者が抱く印象を示すイメージ語を割当て、イメージ語に対して、配色パターンを登録するためのリストを作成する。ステップＳ７０３では、ボランティアといった視者に対して配色パターンを提示し、配色パターンに対して抱く心証を、デスクトップ画面上にブラウザ・ソフトウェアにより提示されるイメージ語テーブルの、該当するイメージ語のフィールドに、配色パターンをドラッグドロップするなどにより、視者の印象に対応して配色パターンを初期分類してゆく。なお、初期分類のためのグラフィカル・ユーザ・インタフェース（ＧＵＩ）としては、配色パターンの表示毎にプルダウン・リストを割り当てておき、配色パターン毎に視者がプルダウン・リストに表示されるイメージ語から該当するイメージ語を選択する態様を用いることができる。
【００６４】
視者の選択結果は、例えばフォームとして、画像解析装置１０２に送付されて、ステップＳ７０４で該当するイメージ語に対して視者が抱く印象が蓄積される。画像解析装置１０２は、特定のイメージ語に割当てられた配色パターンを解析し、例えばサーバ１１０のデータベース１０４から配色パターンを抽出して取得し、教示データとして使用される配色パターンと抽出した配色パターンとの間のＬ＊ａ＊ｂ＊色空間における色差および心理的メトリッククロマの差を計算する。なお、色差ΔＥ＊ａｂおよび心理的メトリッククロマは、下記式（２）（３）でそれぞれ与えられる。
【００６５】
【数２】
【００６６】
【数３】
【００６７】
ステップＳ７０７では、色差および心理的メトリッククロマの各値について設定したしきい値ＴＥおよびＴＰと色差の差および心理的メトリッククロマの差とをそれぞれ比較し、それぞれが選択したしきい値以下であるか否かを判断する。色差の差および心理的メトリッククロマの差のいずれかが、各しきい値よりも大きい場合（Ｎｏ）、処理をステップＳ７０５に戻し、別の配色パターンを抽出し、ステップＳ７０６、Ｓ７０７の処理および判断を繰り返す。
【００６８】
一方、色差の差および心理的メトリッククロマの差のいずれもがしきい値よりも小さい場合（Ｙｅｓ）、ステップＳ７０８で現在処理を行っているイメージ語に分類するべきとして、リストの該当イメージ語の配色パターンを登録するフィールドに配色パターン自体または配色パターンを固有に指定するＵＲＩなどを登録することによって配色パターンを補充して行く。ステップＳ７１０では、データベース１０４などに予め登録した配色パターンの全パターンについて判断を終了したか否かを判断し、終了していない場合（Ｎｏ）ステップＳ７０９で次のパターンを選択しステップＳ７０５に処理を戻し、全パターンの判断が終了するまで処理を反復する。
【００６９】
ステップＳ７１０の判断で、全パターンについて判断が終了したと判断した場合（Ｙｅｓ）、ステップＳ７１１で、配色特徴量ＤＢ２２２にリストを登録する。ステップＳ７１２では、配色特徴量ＤＢに登録したリストを参照し、Ｋ平均法により補充された配色パターンを詳細カテゴリーにカテゴリー化し、処理をステップＳ７１３で終了させる。なお、図７の説明は、Ｋ平均法を画像解析装置１０２において実行するものとして説明したが、画像解析装置１０２の実行するプログラムを、ＰＨＰ、Ｐｅｒｌ、Ｒｕｂｙなどのプログラミング言語で記述したＣＧＩプログラムなどとして実装することで、画像解析装置１０２の処理をサーバ１１０に依頼して実行することができる。
【００７０】
なお、詳細カテゴリーに分類された配色パターンには、新たに該当するイメージ語が付されても良いし、具体的な用途において必要ではない場合には、特に特定のイメージ語を割り当てずとも良い。なお、イメージ語を付する場合とは、画像テキスト検索を行う場合などであり、画像にイメージ語などをメタデータとして追加する場合である。また、画像自体を使用して検索する場合には、イメージ語は特に付されずとも良い。
【００７１】
図８は、配色分類部２０４の処理によって生成される配色パターンおよび配色パターンの補充の実施形態を示す。図８（ａ）は、画像解析装置１０２が生成した配色パターンのセットであり、ボランティアは、図８（ａ）で示す配色パターンのセットをデスクトップ画面上で見ながら、それぞれのイメージ語を割り当てるか、またはイメージ語が表示されたリストに図８（ａ）の配色パターンをドラック・ドロップするなどして登録してゆく。
【００７２】
この結果、視者が受けた印象ごとに、分類した図８（ｂ）、（ｃ）に示す初期教示パターンが生成される。初期教示パターンは、説明の目的で、４パターンに分類されている。図８（ｃ）に示した初期教示パターンについて、画像解析装置１０２は、例えばサーバ１１０に依頼し、配色パターンの補充を実行する。その結果、色差および心理メトリッククロマが類似する配色パターンが自動的に補充される。この処理により、ボランティアといった視者に対して膨大な教示データ・セットを提示することなく、ボランティアの負担を軽減し、また膨大な教示データの準備を行う必要がなく、効率的に視者に一定の心理的印象を与える教示データを生成することができる。
【００７３】
図９は、本実施形態のテクスチャ・マッピング部２０６が実行する処理のフローチャートである。なお、説明の便宜上、テクスチャ・マッピング部２０６は、画像解析装置１０２が実行する処理として説明するが、テクスチャ・マッピング部２０６の処理は、適切なＣＧＩプログラムなどを実装し、サーバ１１０に委任し、画像解析装置１０２はその結果を受領するだけの機能として実装することができる。
【００７４】
図９の処理は、ステップＳ９００から開始し、ステップＳ９０１で処理対象の画像を画像ＤＢ２２０から取得する。ステップＳ９０２で、画像にメッシュを割当てる。メッシュを割当てる処理は、画像上の画素の物理的位置座標を、メモリ上に定義した二次元の矩形面に割当てる処理を意味する。さらに、ステップＳ９０３では、当該メッシュを、９つのサブメッシュに分割し、中央のサブメッシュを基準メッシュとし、基準メッシュを取り囲む８のサブメッシュをサンプリング・メッシュとする。
【００７５】
ステップＳ９０４では、メッシュについてテンプレートを参照し、３点間コントラストを計算する。３点間コントラストは、下記式（４）で計算できる。
【００７６】
【数４】
【００７７】
サブメッシュの輝度は、サブメッシュが含む画素のＲＧＢ値を平均し、平均のＲＧＢ値から計算したＬ＊の値を使用することができる。上記式（４）で定義した３点間コントラストは、注目する３点の合計輝度に対して、基準サブメッシュから変位ベクトルａ１、ａ２だけ変位した位置の合計輝度と基準サブメッシュの輝度との差という物理的意義を有する。すなわち、上記式（４）で与えられる３点間コントラストは、基準サブメッシュを境としてコントラストが変化していることを示す指標とすることができ、この結果、特定の計測パターンに帰属される基準サブメッシュの画像上での分布を検査することにより、画像のテクスチャをマッピングすることが可能となる。
【００７８】
ステップＳ９０４では、メッシュについてテンプレートを参照し３点間コントラストを計算し、最もコントラスト値を与えたテンプレートのパターンＩＤを決定する。ステップＳ９０５では、当該メッシュについて決定されたパターンＩＤを登録し、画像のメッシュの位置にパターンＩＤを登録する。その後、ステップＳ９０６で画像のテクスチャ特徴量ＤＢに当該画像のメッシュのテクスチャ情報としてパターンＩＤを登録し、ステップＳ９０７で全画像のメッシュについてパターンＩＤを割当てたか否かを判断する。
【００７９】
ステップＳ９０７で割当てていないと判断された場合（Ｎｏ）、処理をステップＳ９０４に戻し、次のメッシュを取得し、当該メッシュについてパターンＩＤの決定処理を反復させる。ステップＳ９０７で当該画像全体についてテクスチャ・マッピングが終了したと判断された場合（Ｙｅｓ）処理をステップＳ９０８で終了させる。
【００８０】
図９の処理が終了した時点で、画像上のメッシュで最も大きな３点間コントラストを与えるパターンが画像全体にわたってマッピングでき、この結果、画像が含む物体または模様といった大局的なテクスチャのマイニングが可能となる。
【００８１】
図１０には、本実施形態で使用するコントラストの計測パターン１０００を、従来のコントラスト計測パターンと、３点間コントラストの計測パターンとの比較で示す。図１０に示すコントラスト計測パターン１０１０は、従来のコントラスト計測パターンであり、メッシュの中央の基準サブメッシュに対して１点だけの輝度を使用して２点間のコントラストを計測する。一方、３点間コントラストの計測パターン１０２０は、８つのサブメッシュから２つのサブメッシュを抽出し、３点間でコントラストを計算する。この結果、例えば基準サブメッシュを中心としたコントラスト分布の情報を得ることができ、画像上のテクスチャをマイニングするための指標として使用することができる。
【００８２】
本実施形態では、テクスチャ・マッピング部２０６は、画像上に適切なサイズのメッシュを割当て、当該メッシュにサブメッシュを割り当てて画像全体に対して３点間コントラストを計算し、画像を３点間コントラストの計測パターンＩＤでマッピングすることで、例えば、直線が主要のテクスチャであるのか、曲線が主要なテクスチャであるのか、または特に特徴的なテクスチャがないのかに関連して画像のマイニングを可能とする。
【００８３】
図１１は、本実施形態の領域特徴取得部２０８の実行する処理のフローチャートである。領域特徴取得部２０８は、画像の部分領域の特徴量を使用した画像をマイニングするために利用でき、例えば、特徴的な形状・色の配置を使用して画像を検索したり提示したりする際に機能する。図１１の処理は、ステップＳ１１００から開始し、ステップＳ１１０１で、処理対象の画像を取得する。この段階では画像は、配色分類され、さらにテクスチャ・マッピングがなされている。ステップＳ１１０２では、画像全体の画素について画像の３次元ＲＧＢヒストグラムを作成し、画像中で、最も広い面積を占める色を決定し、当該色を、Ｌ＊ａ＊ｂ＊色空間の値に変換して、画像のベースカラーとして特定する。
【００８４】
ステップＳ１１０３では、画像を領域分割し、ステップＳ１１０４で領域内のＲＧＢヒストグラムを作成し、領域中で最も使用されている色のＬ＊ａ＊ｂ＊値を計算し、当該Ｌ＊ａ＊ｂ＊値で当該領域を平均化する。ステップＳ１１０５では、全領域の処理を終了したか否かを判断し、終了していなければ（Ｎｏ）、処理をステップＳ１１０４に戻して処理を反復させる。一方、ステップＳ１１０５で、全領域について終了したと判断した場合（Ｙｅｓ）、ステップＳ１１０６で、領域のＬ＊ａ＊ｂ＊値と、ベースカラーのＬ＊ａ＊ｂ＊値との色差を計算する。ステップＳ１１０７では、計算した色差がしきい値を超えるか否かを判断し、しきい値を超えない場合（Ｎｏ）、処理をステップＳ１１０９に分岐させて、処理を終了する。
【００８５】
一方、ステップＳ１１０７の判断でしきい値を超えると判断された場合（Ｙｅｓ）、ステップＳ１１０８で、最大色差の領域についてのＬ＊ａ＊ｂ＊値をベースカラーのＬ＊ａ＊ｂ＊と共にデータベース１０４に格納し処理を終了する。
【００８６】
図１２は、本実施形態の領域特徴取得部２０８が実行する処理を画像に対応付けて説明した図である。図１２（ａ）は、処理対象の画像であり図１２（ｂ）には、画像について割り当てた領域についてそのＲＧＢを平均化した後のデータを画像として示したものである。図１２（ｂ）から、画像全体のイメージを代表するベースカラーを抽出する。ベースカラーの抽出後、各メッシュと、ベースカラーとの色差を計算して行き、最も色差の大きな領域のＬ＊ａ＊ｂ＊値をアクセントカラーとして決定し、図１２（ｄ）として処理対象画像の属性情報としてデータベース１０４に格納する。
【００８７】
図１３は、本実施形態の画像検索方法のフローチャートを示す。本実施形態の画像検索方法は、ステップＳ１３００から開始し、ステップＳ１３０１でクライアント装置から検索クエリーとするクエリー画像を受領し、ステップＳ１３０２でクエリー画像をメッシュ分割し、画像全体および各メッシュについて配色特徴量、テクスチャ特徴量、領域特徴量を計算し、クエリーベクトルを作成する。
【００８８】
ステップＳ１３０３では、各画像について登録された特徴量を読み出して、特徴量ベクトルとし、特徴量ベクトルと、クエリーベクトルとの間の平行度を計算する。平行度の計算に際しては、数値ベクトルの場合には、内積であり、例えば計測パターンの場合には、対応するメッシュの計測パターン同士が一致すれば、０、不一致の場合には、非ゼロ値とする論理演算を実行することにより、特徴量ベクトルの平行性を評価する。ステップＳ１３０４では、平行度が高い画像のうち、上位設定数画像を抽出し、平行度の順にソーティングし、検索結果としてバッファメモリにリストまたはテーブルとして登録する。
【００８９】
ステップＳ１３０５では、検索結果を構造化文書として出力し、クライアント装置にレスポンスとして送付する。ステップＳ１３０６では、クライアント装置からの画像閲覧要求を受領したか否かを判断し、受領しなければ（Ｎｏ）、タイムアウトなどを待ってステップＳ１３０８で処理を終了する。一方、ステップＳ１３０６で画像閲覧要求を受領した場合（Ｙｅｓ）、ステップＳ１３０７で画像をクライアント装置に送付した後、処理をステップＳ１３０６に戻し、さらに要求を待機する。
【００９０】
以上のように、本実施形態の画像検索方法では、画像に対して特にテキストなどのメタデータを追加することなく、画像検索を実行することができる。なお、他の実施形態では、画像の特徴量検索と共にイメージ語などをメタデータとした検索も併用することができる。
【００９１】
以下、図１４〜図１８を使用して、本実施形態の検索システム１００について説明する。図１４は、本実施形態の検索システム１００による検索結果１４００を、クエリー画像（図１２（ａ））、および検索結果画像（図１４（ｂ））およびそれぞれの色特徴を、ＨＳＶ表示に変換して示した図である。図１４（ａ）に示すクエリー画像は、青空／草原のコンテンツ画像であり、クエリー画像として、３つ送付され、検索システム１００は、これらの画像に類似する画像を検索する。検索システム１００のサーバ１１０は、クエリー画像からＬ＊ａ＊ｂ＊の値を計算し平均して、配色分類特徴値、テクスチャ・マッピングおよび領域特徴量を計算する。なお、テクスチャ・マッピングおよび領域特徴量は、平均化できないので、それぞれクエリー・ベクトルの別個の要素値として追加する。
【００９２】
図１４（ａ）の左手側には、クエリー画像の色値の平均をＨＳＶのＨヒストグラムとして示したものを示す。図１４（ａ）のＨヒストグラムは、左手側から、Ｒ、Ｇ、Ｂの順に並んだカラー・ヒストグラムとされている。また図１４（ｂ）は検索結果画像であり、図１４（ｂ）の左手側の画像では、青空／草原のコンテンツ画像が検索されている。また、検索結果画像の左手側に示したＨヒストグラムを見ても、クエリー画像の微量のＲ成分が検索結果画像に見られないことを除き、ヒストグラム・パターンは、良好に一致していることが示されている。
【００９３】
図１５〜図１７は、さらに他のコンテンツ画像をクエリー画像として画像検索を行った結果を示す。図１５は、図１５（ａ）の右手側に示したクエリー画像を使用して画像検索を行った結果であり、図１５（ｂ）が検索された画像である。図１５（ａ）、（ｂ）の左手側にはそれぞれＨヒストグラムが示されており、クエリー画像では、Ｇ、Ｂが主要な成分を有していることが示されており、図１５（ｂ）のＨヒストグラムでも、Ｇ成分にやや不一致が見られるが、Ｇ−Ｂ領域の主成分はほぼ一致していることが分かる。また、テクスチャ・マッピングによって、クエリー画像は、先生分が主要な画像テクスチャであると解析されるので、図１５（ｂ）の検索結果画像も直線的なテクスチャが主体の画像が検索されている。
【００９４】
図１６は、図１５と同一のクエリー画像を使用して検索された別の検索結果画像の実施形態である。図１６では、Ｈヒストグラムではなく、ＨＳＶのＳ（彩度）ヒストグラムを使用して検索結果の一致性を説明するものである。図１６のＳヒストグラムは、左手側が彩度０であり、右手側に向かって高彩度となる尺度が用いられている。
【００９５】
図１５でも説明したように、図１６においても検索結果画像は、建造物と空というパターンを有するコンテンツ画像が抽出されている。一方、図１６（ａ）、（ｂ）の左手側のＳヒストグラムに示すように、彩度のパターンは、高彩度側の最大領域付近に僅かに相違はみられるもののＳヒストグラムの主要部はほぼ一致している。
【００９６】
また、図１７は、図１６の検索結果画像を、ＨＳＶのＶ（明度）ヒストグラムとして類似性を示したものである。図１７に示されるように、明度についても、低明度側端では不一致はみられるものの、低明度側端は、画像上で視者に与える印象も低いことから、視者の心理的印象に最も強く作用する明度領域の範囲で、充分にヒストグラム分布が一致しているものと判断された。すなわち、本実施形態では、画像を単にＲＧＢの強度や分布だけで検索するのではなく、画像が与える心理的印象を教示することで、画像属性を生成し、当該属性を使用して画像マイニングを行うことにより、ＲＧＢの相違によらず、クエリー画像に類似する画像の類似検索を効率良く行うことができるものと結論できる。
【００９７】
図１８は、図１５〜図１７に示したクエリー画像による検索結果から排除された画像を、比較例として示した図である。図１８の右手側には、画像が示され、左手側には、ＨＳＶヒストグラム（上から順に、Ｈヒストグラム、Ｓヒストグラム、Ｖヒストグラム）を示す。図１８に示すように、検索結果から排除された画像は、明らかにＨＳＶ特性が異なり、また画像から受ける印象や、テクスチャ特徴が異なり、さらにまったく別の心理的印象が与えられることが示される。
【００９８】
以上の通り、本発明によれば、教示データの数を削減しても高精度に画像の色や配色などの決定を可能とし、また類似する特徴を有する配色パターンやコンテンツ画像の識別を可能とする、画像解析装置、画像解析方法およびプログラム、および当該画像解析方法を利用した画像検索システムを提供することができ、インターネットを介して共有されるコンテンツ画像の効率的な検索に適用することができる。
【００９９】
これまで本発明を図面に示した実施の形態および具体的な実施例に基づいて説明してきたが、本発明は、説明した実施形態に限定されるものではなく、追加、変更、別実施例など当業者により想到される画像解析、方法、検索システムは、本発明の効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【０１００】
１００ 検索システム
１０２ 画像解析装置
１０４ データベース
１０６ キーボード
１０８ マウス
１１０ サーバ
１２０ ネットワーク
１３０ クライアント装置
２００ 機能ブロック
２０２ インタフェース部
２０４ 配色分類部
２０６ テクスチャ・マッピング部
２０８ 領域特徴取得部
２１０ 補充画像検索部
２２０ 画像ＤＢ
２２２ 配色特徴量ＤＢ
２２４ テクスチャ特徴量ＤＢ
２２６ 領域特徴量ＤＢ
３００ 機能ブロック
３０４ 画像特徴抽出部
３０６ 画像検索部
３０８ 検索結果作成部
３１０ 検索結果送信部
３３０ データ構造
４００ 機能ブロック
４０２ 配色パターン生成部
４０４ 色イメージ設定部
４０６ 補充画像検索部呼出部
４０８ 配色パターン補充部
４１０ 配色パターン分類部
４２０ データ構造
４３０ クラスター
【技術分野】
【０００１】
本発明は、類似画像のマイニング技術に関し、より詳細には、本発明は、画像を心理的印象の類似性を使用して特徴付けを行う画像解析技術に関する。
【背景技術】
【０００２】
ポスターやＷｅｂページなどのデザイン製作では、複数の担当者が印刷物やＷｅｂページを見ながらデザインを進めてゆく作業を行っている。画像が有する色は、彩度、明度、色相などの特徴量で特徴付けられているものの、種類が多く、また視者の特性や心理的状態によっても色から受取る印象が異なる場合がある。このような場合に特定個人の感性によらず、また、効率的に大多数の視者が受ける印象に基づいて画像解析を行い、画像を特徴付ける属性として使用することで、色彩の決定や類似性判断をより効率的に行うことができるものと考えられてきた。
【０００３】
この様な目的のために多く用いられている手法として、情報処理装置に感性的な学習、すなわち色教示を行い、その結果をデータベースに反映させて行く手法を挙げることができる。色彩を教示するのは担当者が母集団の印象を統計解析し、その結果をデータベースに反映させることによって行われることが多い。しかしながら、精度の高い感性的パラメータの統計的学習を行うためには、（１）母集団から分布比率が等しい教示データ群を構築する必要があること、（２）多数の教示データの準備が必要なこと、（３）色という特徴量から受ける印象は、ユーザまたは使用者などによって異なることが多く、分散が大きくその有意性を判断することが困難であること、（４）この様な統計処理を排除するためのＲＧＢといった特徴量だけで色を特徴付けるのでは、人間の感性が反映されるかどうか確実ではなく高精度の教示ということができないという問題があった。
【０００４】
このため、色彩をデータベースに教示させる際には、教示者側および利用者側の両方で、労力を消費し、さらに作成したデータベースの信頼性もそれぞれの母集団の相違で異なるなど、充分な利便性を提供しているとはいえないという問題を生じさせていた。
【０００５】
また、画像は、複数の色が織りなす種々の形状・模様によって構成されており、画像を特徴付ける場合には、必ずしも色属性ばかりではなく画像のテクスチャを考慮する必要があり、また画像に局所的に存在する色彩が、当該画像を特徴付けるための色として機能する場合もあることが知られている。例えば、グラフィックデザイン分野では、デザイナーは、喚起したいイメージを、配色、被写体、ロゴなどを工夫して表現するが、この際デザイナーは、特に配色を重要視し、比較的使用量の多い色をベースカラー、使用量は少ないが誘目性のある色をアクセントカラーと呼び、これらの組み合わせからデザインする傾向にある。また、デザイナーは、デザイン性の高いダイレクトメールを作成する場合など、そのイメージを可視化・具体化するために、配色パターンによる感性モデルを構築して、配色などの効率化を行うことも行われている（非特許文献１）。
【０００６】
しかしながら、配色パターン、すなわち画像全体に相対する色彩の配置および配色といった属性により特徴付けられるアクセントカラーに関しては、これまでその定義が曖昧であり、どのような配色や配置を、画像を特徴付けるアクセントカラーとして判断するべきかについて、デザイナーの経験やボランティアを使用した心理統計処理によって得られたモデルによる経験的なものとならざるを得ないという問題があった。
【０００７】
近年、インターネットおよびＷｅｂブラウザなど、電子データ共有のためのインフラ基盤が整備され、テキストデータばかりではなく、画像も検索の対象となる場合が多い。また、個人的に撮影した写真データを一括してサーバで管理するインターネット・サービスも普及している状況にある。このため、心理的な印象が類似する画像を情報処理装置を使用して検索する技術はますます重要になってくるものと考えられる。
【０００８】
これまで画像を検索対象とする検索システムも数多く知られており、例えば、特開２００２−１３２８３２号公報(特許文献１）では、画像検索を行うために、画像にキーワードをメタデータとして追加し、キーワードを検索キーとしてユーザから送付されたクエリーとの一致性に基づいて画像を検索する技術が記載されている。
【０００９】
また、特開２００２−６３１７２号公報(特許文献２）では、画像検索において画像検索者がイメージする画像の指定を容易に実現でき、画像データベースの中から所望の画像を効率的に検索するために、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリー別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なう技術が記載されている。
【００１０】
また、特開２００８−１７１２４３号公報（特許文献３）では、画像に対して割り当てたテキストのセットを検索キーとして使用し色彩パターンを検索する技術が記載されている。
【００１１】
上述したように画像を検索する技術は種々提案されているものの、主として画像に対してキーワードをメタデータとして付し、当該キーワードを検索することにより対応する画像または画像の特徴量を検索するものである。すなわち、いずれの技術についても画像に対して与えられたキーワードに基づいて検索を行うものであり、画像を特徴付ける特徴量をそのまま検索キーとして検索を可能とするものではないし、画像の心理的な類似性を用いて検索可能とする特徴量を決定することを課題とするものではない。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】重松利季、「画像特徴量およびｔｆ−ｉｄｆに準じたキーワード評価による画像分類」、映像情報メディア学会技術報告３３（２０），２１−２４，２００９−０５−２５
【特許文献】
【００１３】
【特許文献１】特開２００２−１３２８３２号公報
【特許文献２】特開２００２−６３１７２号公報
【特許文献３】特開２００８−１７１２４３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明は、従来技術の上記問題点に鑑みてなされてものであり、教示データの数を削減しても高精度に画像の心理的印象を支配する要因である配色、テクスチャなどの決定を可能とし、また類似する心理的効果を与える特徴を有するコンテンツ画像の検索を可能とする、画像解析装置、画像解析方法およびプログラム、および当該画像解析方法を利用した画像検索システムを提供することを目的とする。さらに、本発明は、従来のように、特定個人の感性によらず、また、平均的に大多数の視者が受ける印象に基づいて画像解析を行うのではなく、逆に個々人の感性を重視した画像解析技術を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明では、画像の特徴を抽出するために異なる配色のペアから構成した配色パターンを使用し画像全体の色特徴を少数の教示データから抽出し、教示データとして使用できる画像を色情報の類似性を使用して検索・補充することにより、データベースに格納された膨大な画像の中から心理的に類似する可能性の高い画像を抽出し、教示データを補充する。補充した教示データは、色彩の類似性を使用して再クラスタリングされ、詳細な心理的印象の相違に対応付けられる。また、画像の類似検索は、画像の色合いの他、画像にメッシュを割当て、メッシュを代表する３点間コントラストでメッシュを特徴付けし、テクスチャ・マッピングに基づくテクスチャの類似性や、画像中で色彩が有意に異なるアクセントカラーの判断を使用しても行うことができる。
【００１６】
本発明の画像解析装置は、画像の心理的類似性を解析し、
データベースに格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、画像を前記印象の類似するカテゴリーに分類する配色分類部と、
画像にメッシュおよびメッシュ内にサブメッシュを定義して、サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンで画像をマッピングするテクスチャ・マッピング部と、
データベースからイメージ語に分類された画像の配色パターンに色空間上の尺度で類似する画像を検索し、検索した画像を配色分類部に渡して配色パターンを前記色が与える印象ごとの補充を可能とする補充画像検索部とを含んでいる。
【００１７】
本発明の配色分類部は、さらに、
印象ごとの分類対象である配色パターンを生成する配色パターン生成部と、
印象を代表するイメージ語を設定する色イメージ設定部と、
補充画像検索部が検索した画像をイメージ語に対応付けて登録する配色パターン補充部と、
補充された配色パターンをさらに詳細分類する、配色パターン分類部と
を含むことができる。
【００１８】
本発明のテクスチャ・マッピング部は、
３点の輝度を計算する位置を指定するテンプレートに指定された３点の輝度を計算する輝度計算部と、
３点の輝度から３点間コントラストを計算する３点間コントラスト計算部と、
メッシュを特徴付ける３点間コントラストを与えたテンプレートのパターンをメッシュのテクスチャ情報として登録するテクスチャ・パターン決定部とを含むことができる。
【００１９】
本発明の画像解析装置は、画像の一部の領域についての特徴量を決定する領域特徴量決定部を含み、領域特徴量決定部は、画像に領域を割当て、割当てた領域のＲＧＢヒストグラムを平均することにより、画像全体を特徴付けるベースカラーと、画像の中で特徴的な色属性を有するアクセントカラーとを決定することができる。
【００２０】
以上の様に、本発明では、画像のアクセントカラーを画像のベースカラーから効率的に抽出することにより、高い効率で画像の心理的印象に関する類似検索が可能となる。
【図面の簡単な説明】
【００２１】
【図１】本実施形態の画像解析装置１０２を含む検索システム１００の機能ブロック図。
【図２】本実施形態の画像解析装置１０２の機能ブロック２００を示す図。
【図３】本実施形態のサーバ１１０の機能ブロック３００を示す図。
【図４】図２で説明した本実施形態の配色分類部２０４の機能ブロック４００を示す図。
【図５】本実施形態のテクスチャ・マッピング部２０６の機能ブロック５００を示す図。
【図６】本実施形態の領域特徴取得部２０８の詳細な機能ブロック６００を示す図。
【図７】本実施形態の配色分類部２０４が実行する処理のフローチャート。
【図８】配色分類部２０４の処理によって生成される配色パターンおよび配色パターンの補充の実施形態を示す図。
【図９】本実施形態のテクスチャ・マッピング部２０６が実行する処理のフローチャート。
【図１０】本実施形態で使用するコントラストの計測パターン１０００を、従来のコントラスト計測パターンと、３点間コントラストの計測パターンとの比較で示した図。
【図１１】本実施形態の領域特徴取得部２０８の実行する処理のフローチャート。
【図１２】本実施形態の領域特徴取得部２０８が実行する処理を画像に対応付けて説明した図。
【図１３】本実施形態の画像検索方法のフローチャート。
【図１４】本実施形態の検索システム１００による検索結果１４００を、クエリー画像（図１２（ａ））、および検索結果画像（図１４（ｂ））およびそれぞれの色特徴を、ＨＳＶ表示に変換して示した図。
【図１５】右手側に示したクエリー画像を使用して画像検索を行った結果を示した図。
【図１６】図１５と同一のクエリー画像を使用して検索された別の検索結果画像を示した図。
【図１７】図１６の検索結果画像を、ＨＳＶのＶ（明度）ヒストグラムとして類似性を示した図。
【図１８】図１５〜図１７に示したクエリー画像による検索結果から排除された画像を、比較例として示した図。
【発明を実施するための形態】
【００２２】
以下、本発明を図面に示した実施形態を以て説明するが本発明は、後述する実施形態に限定されるものではない。図１は、本実施形態の画像解析装置１０２を含む検索システム１００の機能ブロック図である。図1に示す検索システム１００は、インターネットやＬＡＮといったネットワーク１２０に接続された画像解析装置１０２と、画像解析装置１０２に対して検索キーを送付し、画像解析装置１０２が検索した結果である画像を受領するクライアント装置１３０とを含んで構成されている。
【００２３】
画像解析装置１０２は、パーソナル・コンピュータ、ワークステーション、サーバ専用機として実装することができ、ＰＥＮＴＩＵＭ（登録商標）シリーズ、ＣＯＲＥ（登録商標）シリーズ、ＤＵＡＬＣＯＲＥ（登録商標）シリーズといったＣＰＵ、ＸＥＯＮ（登録商標）シリーズ、またはＰＯＷＥＲＰＣ（登録商標）といったＲＩＳＣタイプのＣＰＵ、ＲＡＭ、ＲＯＭなどを搭載することができる。また、画像解析装置１０２は、Ｗｉｎｄｏｗｓ（登録商標）、ＭａｃＯＳ（登録商標）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのオペレーティング・システム（ＯＳ）を動作させて、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａｓｃｒｉｐｔ（登録商標）、Ｐｅｒｌ、Ｒｕｂｙ、ＰＨＰなどで作成されたサーバ・プログラムを実行する。画像解析装置１０２をサーバとして実装する場合には、例えばＡｐａｃｈｅ、ＩＩＳといったサーバ・アプリケーションを実装し、ＣＧＩ(Common Gateway Interface)などを使用してＨＴＴＰプロトコルを使用したクライアント装置１３０からのリクエストを処理する。
【００２４】
クライアント装置１３０は、デスクトップ・コンピュータ、ノート型コンピュータ、タブレット型コンピュータ、ＰＤＡ(Personal Data Assistant)、スマートフォンなどとして実装することができ、ＰＥＮＴＩＵＭ（登録商標）、ＣＥＬＥＲＯＮ（登録商標）、ＡＴＯＭ（登録商標）、ＣＯＲＥ（登録商標）シリーズ、ＤＵＡＬＣＯＲＥ（登録商標）シリーズなどのＣＰＵ、ＲＡＭ、ＲＯＭなどを実装し、Ｗｉｎｄｏｗｓ（登録商標）シリーズなどのＯＳの制御下で、Internet
Explorer（登録商標）、Mozilla(（登録商標）／FireFox（登録商標）、Opera（登録商標）などのブラウザ・プログラムを動作させて、画像解析装置１０２に対して各種のリクエストを送付し、また検索結果の画像をダウンロードし、閲覧可能としている。
【００２５】
画像解析装置１０２は、キーボード１０６、マウス１０８などのインタフェースからオペレータによる操作を受領し、サービスの開始、画像データの蓄積などの処理を実行し、画像から当該画像を特徴付ける特徴量を取得し、画像を、ネットワーク１２０に接続されたサーバ１１０が管理するデータベース１０４に登録する。データベース１０４に登録された画像は、画像解析装置１０２自体での画像特徴付け処理の要求、またはクライアント装置１３０からサーバ１１０への検索リクエストに応じて検索され、検索された画像を、画像解析装置１０２またはクライアント装置１３０に送付される。
【００２６】
なお、データベース１０４は、例えばＤＢ２（登録商標）、Ｃａｃｈｅ（登録商標）、ＸＭＬＤＢなど、これまで知られたいかなるリレーショナル・データベースやオブジェクト指向データベース（ＯＯＤＢ）を利用して実装することができる。また、図１では便宜上、画像解析装置１０２と、サーバ１１０とを機能的に説明する目的で異なる情報処理装置として説明した。しかしながら、画像解析装置１０２とサーバ１１０とが一体として構成されていても良いし、データベース１０４だけをＳＡＮ(Storage Area Network)として画像解析装置１０２およびサーバ１１０から機能分離させることもでき、このためのアーキテクチャは、これまで知られたいかなるものでも用いることができる。
【００２７】
ここで、用語「送付」とは、クライアント装置１３０が画像ファイルを直接ダウンロードする形態の他、画像解析装置１０２の画像を管理するＵＲＩ(Uniform Resource Identifier)をクライアント装置１３０に提示し、ブラウザ・プログラムによりデスクトップ画面上に表示させる形態を意味する。また、本明細書において、用語「画像」とは、カラー画像、モノクロ画像を問わず、輝度、明度、彩度を有し、例えば、ＢＭＰ、ＧＩＦ、ＪＰＥＧ、ＪＰＥＧ２０００、ＴＩＦＦ、ＰＮＧなどの拡張子で規定されるデジタル画像データを意味し、圧縮の有無を問わない。
【００２８】
図２は、本実施形態の画像解析装置１０２の機能ブロック２００を示す図である。画像解析装置１０２は、その機能ブロックとして、インタフェース部２０２を備えている。インタフェース部２０２は、説明する図では、ネットワーク・インタフェース、ＡＴＡ、ＳＡＴＡ、ＳＡＴＡＩＩ、ＳＣＳＩといったストレージ・インタフェース、ＵＳＢおよびＶＧＡなど、画像解析装置１０２に対する入出力を制御するための各種インタフェースを総合した機能として示している。
【００２９】
画像解析装置１０２は、配色分類部２０４と、テクスチャ・マッピング部２０６と、領域特徴取得部２０８とを含んで構成されている。配色分類部２０４は、処理対象の画像が視者に与える心理的印象を、画像の場合にはＲＧＢヒストグラム解析で、色自体についてはＲＧＢ値に基づくＣＩＥ１９７６Ｌ＊ａ＊ｂ＊を計算し、イメージ語で記述される配色のカテゴリーを数値的に分類し、配色特徴量ＤＢ２２２に初期カテゴリーを生成し、当該初期カテゴリーにボランティアが分類した教示データを初期データとして格納する。
【００３０】
テクスチャ・マッピング部２０６は、処理対象の画像に存在する物体や模様の２次元的分布を特徴付ける値を画像から計算し、画像の情報としてマイニングする機能を有しており、画像のテクスチャをマッピング情報として画像識別値に対応付けて登録する。
【００３１】
また、領域特徴取得部２０８は、処理対象の画像を適切な単位の領域に分割し、領域に特有の配色特徴量およびテクスチャ特徴量を計算し、画像識別値、領域識別値に対応付けて領域特徴量ＤＢ２２６に登録する。色調、テクスチャとして数値化する機能を有する。抽出する機能を備えている。各処理部の詳細な機能については後述する。
【００３２】
さらに、画像解析装置１０２は、補充画像検索部２１０を備えている。補充画像検索部２１０は、配色分類部２０４が初期カテゴリーの作成が終了した後に配色分類部２０４から呼び出され、配色分類部２０４がイメージ語に初期分類した画像に類似する画像を画像ＤＢ２２０から検索し、その結果を配色分類部２０４、テクスチャ・マッピング部２０６、領域特徴取得部２０８にそれぞれ渡す。配色分類部２０４は、配色特徴量ＤＢ２２２の該当するカテゴリーに処理対象の画像を登録させ、テクスチャ・マッピング部２０６は、テクスチャ特徴量ＤＢ２２４に処理対象の画像のテクスチャ・マッピングとして用いられるテクスチャ特徴量を登録し、領域特徴取得部２０８は、領域特徴量ＤＢ２２６に領域識別値、テクスチャ特徴量を登録して行く。
【００３３】
すなわち、本実施形態では、少数の教示データを使用し、視者が画像に対して抱く印象を特徴付けるイメージ語に対応付けられるカテゴリーに教示データを分類し、当該分類に画像ＤＢ２２０から抽出した画像を補充して行くことにより、少数の教示データから配色特徴量を効率的に分類・統合し、色情報属性として登録すると共に、画像の設定されたメッシュごとにテクスチャ情報を計算し、これをマッピングしたマッピング情報を登録するものである。
【００３４】
配色パターンまたは画像の補充が終了した後、配色分類部２０４は、色差および心理的メトリック尺度の値を使用して、配色特徴量ＤＢ２２２内の画像を再クラスター化することによって、画像を配色特徴量に従った細分化されたクラスターに再分類する。
【００３５】
図３は、本実施形態のサーバ１１０の機能ブロック３００を示す。サーバ１１０は、本実施形態では、いわゆるＷｅｂサーバとして構成することができ、クライアント装置１３０や画像解析装置１０２からの画像アクセス要求を受領して、要求された画像を検索し、要求元に画像または画像へのリンク情報を含む構造化文書を送付している。
【００３６】
図３に示すサーバ１１０は、画像特徴抽出部３０４と、画像検索部３０６と、検索結果作成部３０８とを含んで構成されている。画像特徴抽出部３０４は、外部からネットワーク１２０を介してクライアント装置１３０が送付する検索キーとして機能する画像を受領し、受領した画像から、検索に使用するための画像特徴を抽出し、各画像特徴を検索キーとしてクエリーベクトルに設定する。
【００３７】
画像検索部３０６は、説明している実施形態では、２つの機能を有する。第１の機能は、画像解析装置１０２からの画像特徴量が送付されると、データベース１０４に格納した画像を検索し、データ・マイニングのため、画像に対して画像の特徴量を索引付けし、データベース１０４に登録する機能である。他の１つの機能は、クライアント装置１３０から送付されたクエリー画像から画像特徴抽出部３０４が計算したクエリーベクトルを受け取り、データベース１０４の検索を実行する機能である。
【００３８】
画像検索部３０６は、画像の検索が終了すると、検索結果作成部３０８を呼出し、検索された画像を画像解析装置１０２またはクライアント装置１３０に提示するために、例えば、類似度順に画像または画像のＵＲＩをソートし、検索結果リストなどを作成し、ＨＴＭＬといった構造化文書を作成して、ＨＴＴＰプロトコル・ベースで、検索結果の送信を可能とさせる。
【００３９】
以上の機能手段は、サーバ１１０のアプリケーション・プログラム処理機能、例えばＰｅｒｌ、Ｒｕｂｙ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＨＰなどのプログラム機能部が主な機能を提供している。
【００４０】
さらに、サーバ１１０は、検索結果送信部３１０を含んでおり、検索結果送信部３１０は、作成された構造化文書をリクエストの送信元に返すと共にクライアント装置１３０や画像解析装置１０２からのダウンロード要求や閲覧要求を処理する機能を有しており、例えば、Ａｐａｃｈｅといったサーバ・プログラムが検索結果送信部３１０の実装構成の主体とされる。
【００４１】
図４は、図２で説明した本実施形態の配色分類部２０４の機能ブロック４００を示す。配色分類部２０４は、配色パターン生成部４０２と、色イメージ設定部４０４と、補充画像検索部呼出部４０６とを含んで構成されている。配色パターン生成部４０２は、教示データを生成する処理を実行し、ボランティアなどにより提示するべき教示データを抽出し、デスクトップ画面上などに、教示のためのイメージ語と共にリスト表示するためのデータを作成する処理部である。なお、提示する画像は、カラーデザインなどの分野に適用する場合、カラーパッチとすることができるし、画像検索などのためにデータベースを実装する場合、写真、イラストその他のコンテンツ画像などとすることができる。
【００４２】
本実施形態で、配色パターンを生成する場合、カラーパッチおよびコンテンツ画像は、配色パターンの設定を効率化する目的および教示データの印象をボランティアなどに強く印象づけるためであり、配色パターンのペアは、後述する色イメージを与えると考えられる範囲で、色差および心理的メトリッククロマの大きなものをペアとすることで効率的な教示が可能となる。なお、色差および心理的メトリッククロマについては、例えば、「新編 画像解析ハンドブック」、高木・下田監修、東京大学出版会発行２００４年９月１０日（初版）などを参照されたい。
【００４３】
色イメージ設定部４０４は、本実施形態で教示データとして使用する配色パターンが与える印象を簡単な語句に置き換えたリストを管理する。色イメージ設定部４０４は、色教示のために使用する配色パターンの印象を、例えば「Ｃｏｏｌ」、「Ｈｏｔ」、「インテリジェンス」、「赤を基調とした配色」、「青を基調とした配色」、「快活」、「沈みがち」など、色教示を行うボランティアに提示する印象語にボランティアが分類した配色パターンを印象語に対応付けて管理する。色イメージ設定部４０４は、色教示が終了した段階で分類された配色パターンを構成する色情報についてＲＧＢデータからＬ＊ａ＊ｂ＊色空間データに変換し、Ｌ＊ａ＊ｂ＊の値を生成し、補充画像検索部呼出部４０６に分類されたＬ＊ａ＊ｂ＊の値を渡す。
【００４４】
なお、カラーパッチから配色パターンを生成する場合ではなく、コンテンツ画像を教示データとする場合には、コンテンツ画像を構成するＲＧＢデータをＬ＊ａ＊ｂ＊色空間の値に射影し、カラー・ヒストグラムの平均値を使用して、コンテンツ画像の配色パターンとすることができる。また、コンテンツ画像は、それ自体が配色パターンを有しているということもできるが、同様の心理的な印象を与えると考えられるコンテンツ画像のペアとして教示データとすることもできる。
【００４５】
補充画像検索部呼出部４０６は、補充画像検索部２１０を呼び出し、画像ＤＢ２２０の検索を実行させ、色イメージ設定部４０４が分類した初期グループ毎に、当該グループが含む画像の色情報に関し、画像ＤＢ２２０から画像を取得し、取得した画像のＬ＊ａ＊ｂ＊色空間の色差および心理的メトリッククロマの値が設定したしきい値範囲の画像を選択し、配色パターン補充部４０８に当該画像または当該画像を参照させるための情報を渡し、現在処理している初期グループの配色パターンとして、例えば色イメージ設定部４０４が管理するリストに追加し、色パターンまたは画像を補充する。
【００４６】
配色パターン分類部４１０は、補充が完了した後、配色パターンまたは画像を、Ｋ−平均法を使用して詳細グループ分けを行い、最終的な教示色パターンを生成させ、その結果を配色特徴量ＤＢ２２２に格納する。本実施形態で使用するＫ平均法（Ｋ−ｍｅａｎｓ）は、データ集合｛χｉ｝に対して設定した数のクラスターＶｊを定義し、このクラスターＶｊに対してランダムにデータχｉを割り当て、各クラスターＶｊの重心を、クラスターＶｊに分類されているデータχｉの要素の平均（または重み付け平均）として計算する。
【００４７】
その後、データχｉと、クラスターＶｊの各重心との間のノルムを計算し、χｉについてノルムが最も近いクラスターＶｊにχｉの帰属を変更する。これを、データ数ｉについて反復し、各クラスターＶｊに帰属したデータχｉのノルムの合計の変化量が設定した微少量以下になった段階で、クラスターを確定するものである。
【００４８】
なお、本実施形態では、クラスターＶｊの数は、統計的に最もクラスターが生成されるように、下記式（１）で示される相関比を最大化させる数として動的に設定した。
【００４９】
【数１】
【００５０】
図４に示したデータ構造４２０は、配色パターン分類部４１０がクラスター分類を完了した後のクラスター化された配色パターンの実施形態である、初期グループは、配色パターンの補充の後、配色パターン分類部４１０によりクラスターＣ１〜Ｃｎに分類され、各クラスター４３０には、配色パターンimage_A〜image_imが分類されている。同様のデータ構造としてクラスターＣ２〜Ｃｎが生成される。これらのデータ構造は、初期グループが類似の印象を与える配色または画像から形成され、当該初期グループに対して配色または画像を補充し、当該結果をＫ平均法により再分類することから、配色パターンを心理的な印象が近いグループに分類することを可能とする。
【００５１】
図５は、本実施形態のテクスチャ・マッピング部２０６の機能ブロック５００を示す。テクスチャ・マッピング部２０６は、メッシュ割当部５０２と、輝度計算部５０４と、テクスチャ・パターン決定部５０６と、３点間コントラスト計算部５０８とを含んでいる。メッシュ割当部５０２は、処理対象とする画像にメッシュを割当て、さらにメッシュを、９ブロックのサブメッシュに割り当て、サブメッシュ単位でのコントラストおよびメッシュについての３点間コントラストの計算を可能とさせている。
【００５２】
輝度計算部５０４は、メッシュが含むサブメッシュの輝度（Ｌ＊値）を計算し、適切なメモリに記憶させており、３点間コントラスト計算部５０８による３点間コントラスト計算を可能とさせている。なお、３点間コントラストとは、メッシュの中心にあるサブメッシュを取り囲む８のサブブメッシュのコントラスト・パターンをテンプレートとし、３点間コントラストの画像上での分布をマッピングすることで、画像全体にわたるテクスチャ（以下、全体テクスチャとして参照する。）として、画像上のコントラスト・パターンを識別させることを可能とする。
【００５３】
テクスチャ・パターン決定部５０６は、本実施形態では、メッシュについての２８種類のコントラスト・パターンをテンプレートとして登録しており、画像のメッシュの３点間コントラストを計算するためテンプレートと照合を行う。テンプレートには、３点間コントラストを計算するサブメッシュの位置が登録されており、３点間コントラスト計算部５０８による３点間コントラストの計算を効率化させている。
【００５４】
またテクスチャ・パターン決定部５０６は、３点間コントラスト計算部５０８が計算した３点間コントラストのうち、最も高いコントラストを与えたテンプレートのパターンＩＤを、当該メッシュのテクスチャ情報としてマッピングする。この結果、テクスチャ・マッピング部２０６は、パターンＩＤ分布から、画像が全体として直線パターンが支配的な画像であるか、それとも曲線が支配的な画像であるか、または特に特徴付けられる形状がないかの判断をマッピング結果を使用して判断することを可能とする。なお、３点間コントラスト計算の詳細については後述する。
【００５５】
また、図５において、生成された全体テクスチャを含むテクスチャ特徴量ＤＢ２２４のデータ構造５１０の実施形態も示す。クラスタＣｉには、image_Aからimage_imが登録されている。また、image_A〜image_imは、３点間コントラストがマッピングされた全体テクスチャ情報が対応付けられており、このデータがテクスチャ特徴量ＤＢ２２４が格納する実質的なデータ構造である。
【００５６】
図６は、本実施形態の領域特徴取得部２０８の詳細な機能ブロック６００を示す。領域特徴取得部２０８は、処理対象の画像の特定の領域のテクスチャや色情報を抽出し、画像の特定領域の情報を取得する機能を有する。領域特徴取得部２０８は、画像全体のうち特徴的な情報を検索に使用する場合や、画像の特定領域毎に画像特徴を判断し、画像の類似判断を行う場合に利用される。
【００５７】
領域割当部６０２と、ベースカラー抽出部６０４と、アクセントカラー抽出部６０６と、領域特徴量決定部６０８とを含んで構成されている。領域割当部６０２は、画像上に指定されたサイズの領域をマッピングし、例えば領域の４隅の位置座標を画像上の物理的な座標に対応付けすることによって、領域と画像上の領域とを対応付けする。そして、領域特徴量決定部６０８は、割当てられた領域を、領域が包含する画素野のカラー・ヒストグラムの分布の平均値で置換し、周囲色と特定の領域の色彩の差の判断を可能とする。
【００５８】
ベースカラー抽出部６０４は、領域に特徴的な色、すなわち画像全体に比較した時に領域が特徴的な色情報を有しているか否かを判断するために、画像において最も広い面積を占める色情報を、カラー・ヒストグラムおよび画素分布から取得し、ベースカラーとして領域特徴量決定部６０８に送付する。
【００５９】
また、アクセントカラー抽出部６０６は、注目している領域が、ベースカラーに対して特徴的、すなわち色差および心理的メトリッククロマがしきい値を超えているか否かの判断を行う。アクセントカラー抽出部６０６は、当該領域の色情報が、画像上で質的に全体とは異なる特性を有していると判断した場合には、判断結果を領域特徴量決定部６０８に送付し、ベースカラー抽出部６０４が取得したベースカラー情報と共に領域を特徴付ける情報として管理させる。
【００６０】
以上の処理によって、領域特徴量決定部６０８は、画像の特定の領域に関し、ベースカラー、アクセントカラーの有無、テクスチャの相違を取得し、領域特徴量ＤＢ２２６に格納する。図６には、本実施形態の画像解析装置１０２が画像についての処理を完了した段階で、画像ＤＢ２２０に構成される画像をマイニングするために利用可能なデータ構造６１０を示す。データ構造３３０は、配色特徴量ＤＢ２２２に格納されるデータ構造であり、データ構造４２０は、テクスチャ特徴量ＤＢ２２４に格納されるデータ構造であり、データ構造６２０は、領域特徴量ＤＢ２２６に格納されるデータ構造である。
【００６１】
なお、データ構造６２０のＴ１〜Ｔ４は、例えば画像image_Aの領域１〜領域４についての、ベースカラー情報、アクセントカラー情報および領域テクスチャ情報を含む情報を示す。
【００６２】
図７は、本実施形態の配色分類部２０４が実行する処理のフローチャートである。図７の処理は、ステップＳ７００から開始し、ステップＳ７０１で配色パターンを生成する。配色パターンは、色が視者に与える心理的な印象が共通すると考えられるカラーパッチをペアにすることによって生成される。また、処理対象の画像が、コンテンツ画像である場合、それ自体が配色パターンであるということができるので、コンテンツ画像の場合は、それ自体またはコンテンツ画像に関して共通する印象を与えるコンテンツ画像のペアとして配色パターンを生成し、適切な画像ＤＢ２２０などの適切な領域に格納する。
【００６３】
ステップＳ７０２では、当該配色パターンに対し、教示データとして使用する目的で、配色に対する視者が抱く印象を示すイメージ語を割当て、イメージ語に対して、配色パターンを登録するためのリストを作成する。ステップＳ７０３では、ボランティアといった視者に対して配色パターンを提示し、配色パターンに対して抱く心証を、デスクトップ画面上にブラウザ・ソフトウェアにより提示されるイメージ語テーブルの、該当するイメージ語のフィールドに、配色パターンをドラッグドロップするなどにより、視者の印象に対応して配色パターンを初期分類してゆく。なお、初期分類のためのグラフィカル・ユーザ・インタフェース（ＧＵＩ）としては、配色パターンの表示毎にプルダウン・リストを割り当てておき、配色パターン毎に視者がプルダウン・リストに表示されるイメージ語から該当するイメージ語を選択する態様を用いることができる。
【００６４】
視者の選択結果は、例えばフォームとして、画像解析装置１０２に送付されて、ステップＳ７０４で該当するイメージ語に対して視者が抱く印象が蓄積される。画像解析装置１０２は、特定のイメージ語に割当てられた配色パターンを解析し、例えばサーバ１１０のデータベース１０４から配色パターンを抽出して取得し、教示データとして使用される配色パターンと抽出した配色パターンとの間のＬ＊ａ＊ｂ＊色空間における色差および心理的メトリッククロマの差を計算する。なお、色差ΔＥ＊ａｂおよび心理的メトリッククロマは、下記式（２）（３）でそれぞれ与えられる。
【００６５】
【数２】
【００６６】
【数３】
【００６７】
ステップＳ７０７では、色差および心理的メトリッククロマの各値について設定したしきい値ＴＥおよびＴＰと色差の差および心理的メトリッククロマの差とをそれぞれ比較し、それぞれが選択したしきい値以下であるか否かを判断する。色差の差および心理的メトリッククロマの差のいずれかが、各しきい値よりも大きい場合（Ｎｏ）、処理をステップＳ７０５に戻し、別の配色パターンを抽出し、ステップＳ７０６、Ｓ７０７の処理および判断を繰り返す。
【００６８】
一方、色差の差および心理的メトリッククロマの差のいずれもがしきい値よりも小さい場合（Ｙｅｓ）、ステップＳ７０８で現在処理を行っているイメージ語に分類するべきとして、リストの該当イメージ語の配色パターンを登録するフィールドに配色パターン自体または配色パターンを固有に指定するＵＲＩなどを登録することによって配色パターンを補充して行く。ステップＳ７１０では、データベース１０４などに予め登録した配色パターンの全パターンについて判断を終了したか否かを判断し、終了していない場合（Ｎｏ）ステップＳ７０９で次のパターンを選択しステップＳ７０５に処理を戻し、全パターンの判断が終了するまで処理を反復する。
【００６９】
ステップＳ７１０の判断で、全パターンについて判断が終了したと判断した場合（Ｙｅｓ）、ステップＳ７１１で、配色特徴量ＤＢ２２２にリストを登録する。ステップＳ７１２では、配色特徴量ＤＢに登録したリストを参照し、Ｋ平均法により補充された配色パターンを詳細カテゴリーにカテゴリー化し、処理をステップＳ７１３で終了させる。なお、図７の説明は、Ｋ平均法を画像解析装置１０２において実行するものとして説明したが、画像解析装置１０２の実行するプログラムを、ＰＨＰ、Ｐｅｒｌ、Ｒｕｂｙなどのプログラミング言語で記述したＣＧＩプログラムなどとして実装することで、画像解析装置１０２の処理をサーバ１１０に依頼して実行することができる。
【００７０】
なお、詳細カテゴリーに分類された配色パターンには、新たに該当するイメージ語が付されても良いし、具体的な用途において必要ではない場合には、特に特定のイメージ語を割り当てずとも良い。なお、イメージ語を付する場合とは、画像テキスト検索を行う場合などであり、画像にイメージ語などをメタデータとして追加する場合である。また、画像自体を使用して検索する場合には、イメージ語は特に付されずとも良い。
【００７１】
図８は、配色分類部２０４の処理によって生成される配色パターンおよび配色パターンの補充の実施形態を示す。図８（ａ）は、画像解析装置１０２が生成した配色パターンのセットであり、ボランティアは、図８（ａ）で示す配色パターンのセットをデスクトップ画面上で見ながら、それぞれのイメージ語を割り当てるか、またはイメージ語が表示されたリストに図８（ａ）の配色パターンをドラック・ドロップするなどして登録してゆく。
【００７２】
この結果、視者が受けた印象ごとに、分類した図８（ｂ）、（ｃ）に示す初期教示パターンが生成される。初期教示パターンは、説明の目的で、４パターンに分類されている。図８（ｃ）に示した初期教示パターンについて、画像解析装置１０２は、例えばサーバ１１０に依頼し、配色パターンの補充を実行する。その結果、色差および心理メトリッククロマが類似する配色パターンが自動的に補充される。この処理により、ボランティアといった視者に対して膨大な教示データ・セットを提示することなく、ボランティアの負担を軽減し、また膨大な教示データの準備を行う必要がなく、効率的に視者に一定の心理的印象を与える教示データを生成することができる。
【００７３】
図９は、本実施形態のテクスチャ・マッピング部２０６が実行する処理のフローチャートである。なお、説明の便宜上、テクスチャ・マッピング部２０６は、画像解析装置１０２が実行する処理として説明するが、テクスチャ・マッピング部２０６の処理は、適切なＣＧＩプログラムなどを実装し、サーバ１１０に委任し、画像解析装置１０２はその結果を受領するだけの機能として実装することができる。
【００７４】
図９の処理は、ステップＳ９００から開始し、ステップＳ９０１で処理対象の画像を画像ＤＢ２２０から取得する。ステップＳ９０２で、画像にメッシュを割当てる。メッシュを割当てる処理は、画像上の画素の物理的位置座標を、メモリ上に定義した二次元の矩形面に割当てる処理を意味する。さらに、ステップＳ９０３では、当該メッシュを、９つのサブメッシュに分割し、中央のサブメッシュを基準メッシュとし、基準メッシュを取り囲む８のサブメッシュをサンプリング・メッシュとする。
【００７５】
ステップＳ９０４では、メッシュについてテンプレートを参照し、３点間コントラストを計算する。３点間コントラストは、下記式（４）で計算できる。
【００７６】
【数４】
【００７７】
サブメッシュの輝度は、サブメッシュが含む画素のＲＧＢ値を平均し、平均のＲＧＢ値から計算したＬ＊の値を使用することができる。上記式（４）で定義した３点間コントラストは、注目する３点の合計輝度に対して、基準サブメッシュから変位ベクトルａ１、ａ２だけ変位した位置の合計輝度と基準サブメッシュの輝度との差という物理的意義を有する。すなわち、上記式（４）で与えられる３点間コントラストは、基準サブメッシュを境としてコントラストが変化していることを示す指標とすることができ、この結果、特定の計測パターンに帰属される基準サブメッシュの画像上での分布を検査することにより、画像のテクスチャをマッピングすることが可能となる。
【００７８】
ステップＳ９０４では、メッシュについてテンプレートを参照し３点間コントラストを計算し、最もコントラスト値を与えたテンプレートのパターンＩＤを決定する。ステップＳ９０５では、当該メッシュについて決定されたパターンＩＤを登録し、画像のメッシュの位置にパターンＩＤを登録する。その後、ステップＳ９０６で画像のテクスチャ特徴量ＤＢに当該画像のメッシュのテクスチャ情報としてパターンＩＤを登録し、ステップＳ９０７で全画像のメッシュについてパターンＩＤを割当てたか否かを判断する。
【００７９】
ステップＳ９０７で割当てていないと判断された場合（Ｎｏ）、処理をステップＳ９０４に戻し、次のメッシュを取得し、当該メッシュについてパターンＩＤの決定処理を反復させる。ステップＳ９０７で当該画像全体についてテクスチャ・マッピングが終了したと判断された場合（Ｙｅｓ）処理をステップＳ９０８で終了させる。
【００８０】
図９の処理が終了した時点で、画像上のメッシュで最も大きな３点間コントラストを与えるパターンが画像全体にわたってマッピングでき、この結果、画像が含む物体または模様といった大局的なテクスチャのマイニングが可能となる。
【００８１】
図１０には、本実施形態で使用するコントラストの計測パターン１０００を、従来のコントラスト計測パターンと、３点間コントラストの計測パターンとの比較で示す。図１０に示すコントラスト計測パターン１０１０は、従来のコントラスト計測パターンであり、メッシュの中央の基準サブメッシュに対して１点だけの輝度を使用して２点間のコントラストを計測する。一方、３点間コントラストの計測パターン１０２０は、８つのサブメッシュから２つのサブメッシュを抽出し、３点間でコントラストを計算する。この結果、例えば基準サブメッシュを中心としたコントラスト分布の情報を得ることができ、画像上のテクスチャをマイニングするための指標として使用することができる。
【００８２】
本実施形態では、テクスチャ・マッピング部２０６は、画像上に適切なサイズのメッシュを割当て、当該メッシュにサブメッシュを割り当てて画像全体に対して３点間コントラストを計算し、画像を３点間コントラストの計測パターンＩＤでマッピングすることで、例えば、直線が主要のテクスチャであるのか、曲線が主要なテクスチャであるのか、または特に特徴的なテクスチャがないのかに関連して画像のマイニングを可能とする。
【００８３】
図１１は、本実施形態の領域特徴取得部２０８の実行する処理のフローチャートである。領域特徴取得部２０８は、画像の部分領域の特徴量を使用した画像をマイニングするために利用でき、例えば、特徴的な形状・色の配置を使用して画像を検索したり提示したりする際に機能する。図１１の処理は、ステップＳ１１００から開始し、ステップＳ１１０１で、処理対象の画像を取得する。この段階では画像は、配色分類され、さらにテクスチャ・マッピングがなされている。ステップＳ１１０２では、画像全体の画素について画像の３次元ＲＧＢヒストグラムを作成し、画像中で、最も広い面積を占める色を決定し、当該色を、Ｌ＊ａ＊ｂ＊色空間の値に変換して、画像のベースカラーとして特定する。
【００８４】
ステップＳ１１０３では、画像を領域分割し、ステップＳ１１０４で領域内のＲＧＢヒストグラムを作成し、領域中で最も使用されている色のＬ＊ａ＊ｂ＊値を計算し、当該Ｌ＊ａ＊ｂ＊値で当該領域を平均化する。ステップＳ１１０５では、全領域の処理を終了したか否かを判断し、終了していなければ（Ｎｏ）、処理をステップＳ１１０４に戻して処理を反復させる。一方、ステップＳ１１０５で、全領域について終了したと判断した場合（Ｙｅｓ）、ステップＳ１１０６で、領域のＬ＊ａ＊ｂ＊値と、ベースカラーのＬ＊ａ＊ｂ＊値との色差を計算する。ステップＳ１１０７では、計算した色差がしきい値を超えるか否かを判断し、しきい値を超えない場合（Ｎｏ）、処理をステップＳ１１０９に分岐させて、処理を終了する。
【００８５】
一方、ステップＳ１１０７の判断でしきい値を超えると判断された場合（Ｙｅｓ）、ステップＳ１１０８で、最大色差の領域についてのＬ＊ａ＊ｂ＊値をベースカラーのＬ＊ａ＊ｂ＊と共にデータベース１０４に格納し処理を終了する。
【００８６】
図１２は、本実施形態の領域特徴取得部２０８が実行する処理を画像に対応付けて説明した図である。図１２（ａ）は、処理対象の画像であり図１２（ｂ）には、画像について割り当てた領域についてそのＲＧＢを平均化した後のデータを画像として示したものである。図１２（ｂ）から、画像全体のイメージを代表するベースカラーを抽出する。ベースカラーの抽出後、各メッシュと、ベースカラーとの色差を計算して行き、最も色差の大きな領域のＬ＊ａ＊ｂ＊値をアクセントカラーとして決定し、図１２（ｄ）として処理対象画像の属性情報としてデータベース１０４に格納する。
【００８７】
図１３は、本実施形態の画像検索方法のフローチャートを示す。本実施形態の画像検索方法は、ステップＳ１３００から開始し、ステップＳ１３０１でクライアント装置から検索クエリーとするクエリー画像を受領し、ステップＳ１３０２でクエリー画像をメッシュ分割し、画像全体および各メッシュについて配色特徴量、テクスチャ特徴量、領域特徴量を計算し、クエリーベクトルを作成する。
【００８８】
ステップＳ１３０３では、各画像について登録された特徴量を読み出して、特徴量ベクトルとし、特徴量ベクトルと、クエリーベクトルとの間の平行度を計算する。平行度の計算に際しては、数値ベクトルの場合には、内積であり、例えば計測パターンの場合には、対応するメッシュの計測パターン同士が一致すれば、０、不一致の場合には、非ゼロ値とする論理演算を実行することにより、特徴量ベクトルの平行性を評価する。ステップＳ１３０４では、平行度が高い画像のうち、上位設定数画像を抽出し、平行度の順にソーティングし、検索結果としてバッファメモリにリストまたはテーブルとして登録する。
【００８９】
ステップＳ１３０５では、検索結果を構造化文書として出力し、クライアント装置にレスポンスとして送付する。ステップＳ１３０６では、クライアント装置からの画像閲覧要求を受領したか否かを判断し、受領しなければ（Ｎｏ）、タイムアウトなどを待ってステップＳ１３０８で処理を終了する。一方、ステップＳ１３０６で画像閲覧要求を受領した場合（Ｙｅｓ）、ステップＳ１３０７で画像をクライアント装置に送付した後、処理をステップＳ１３０６に戻し、さらに要求を待機する。
【００９０】
以上のように、本実施形態の画像検索方法では、画像に対して特にテキストなどのメタデータを追加することなく、画像検索を実行することができる。なお、他の実施形態では、画像の特徴量検索と共にイメージ語などをメタデータとした検索も併用することができる。
【００９１】
以下、図１４〜図１８を使用して、本実施形態の検索システム１００について説明する。図１４は、本実施形態の検索システム１００による検索結果１４００を、クエリー画像（図１２（ａ））、および検索結果画像（図１４（ｂ））およびそれぞれの色特徴を、ＨＳＶ表示に変換して示した図である。図１４（ａ）に示すクエリー画像は、青空／草原のコンテンツ画像であり、クエリー画像として、３つ送付され、検索システム１００は、これらの画像に類似する画像を検索する。検索システム１００のサーバ１１０は、クエリー画像からＬ＊ａ＊ｂ＊の値を計算し平均して、配色分類特徴値、テクスチャ・マッピングおよび領域特徴量を計算する。なお、テクスチャ・マッピングおよび領域特徴量は、平均化できないので、それぞれクエリー・ベクトルの別個の要素値として追加する。
【００９２】
図１４（ａ）の左手側には、クエリー画像の色値の平均をＨＳＶのＨヒストグラムとして示したものを示す。図１４（ａ）のＨヒストグラムは、左手側から、Ｒ、Ｇ、Ｂの順に並んだカラー・ヒストグラムとされている。また図１４（ｂ）は検索結果画像であり、図１４（ｂ）の左手側の画像では、青空／草原のコンテンツ画像が検索されている。また、検索結果画像の左手側に示したＨヒストグラムを見ても、クエリー画像の微量のＲ成分が検索結果画像に見られないことを除き、ヒストグラム・パターンは、良好に一致していることが示されている。
【００９３】
図１５〜図１７は、さらに他のコンテンツ画像をクエリー画像として画像検索を行った結果を示す。図１５は、図１５（ａ）の右手側に示したクエリー画像を使用して画像検索を行った結果であり、図１５（ｂ）が検索された画像である。図１５（ａ）、（ｂ）の左手側にはそれぞれＨヒストグラムが示されており、クエリー画像では、Ｇ、Ｂが主要な成分を有していることが示されており、図１５（ｂ）のＨヒストグラムでも、Ｇ成分にやや不一致が見られるが、Ｇ−Ｂ領域の主成分はほぼ一致していることが分かる。また、テクスチャ・マッピングによって、クエリー画像は、先生分が主要な画像テクスチャであると解析されるので、図１５（ｂ）の検索結果画像も直線的なテクスチャが主体の画像が検索されている。
【００９４】
図１６は、図１５と同一のクエリー画像を使用して検索された別の検索結果画像の実施形態である。図１６では、Ｈヒストグラムではなく、ＨＳＶのＳ（彩度）ヒストグラムを使用して検索結果の一致性を説明するものである。図１６のＳヒストグラムは、左手側が彩度０であり、右手側に向かって高彩度となる尺度が用いられている。
【００９５】
図１５でも説明したように、図１６においても検索結果画像は、建造物と空というパターンを有するコンテンツ画像が抽出されている。一方、図１６（ａ）、（ｂ）の左手側のＳヒストグラムに示すように、彩度のパターンは、高彩度側の最大領域付近に僅かに相違はみられるもののＳヒストグラムの主要部はほぼ一致している。
【００９６】
また、図１７は、図１６の検索結果画像を、ＨＳＶのＶ（明度）ヒストグラムとして類似性を示したものである。図１７に示されるように、明度についても、低明度側端では不一致はみられるものの、低明度側端は、画像上で視者に与える印象も低いことから、視者の心理的印象に最も強く作用する明度領域の範囲で、充分にヒストグラム分布が一致しているものと判断された。すなわち、本実施形態では、画像を単にＲＧＢの強度や分布だけで検索するのではなく、画像が与える心理的印象を教示することで、画像属性を生成し、当該属性を使用して画像マイニングを行うことにより、ＲＧＢの相違によらず、クエリー画像に類似する画像の類似検索を効率良く行うことができるものと結論できる。
【００９７】
図１８は、図１５〜図１７に示したクエリー画像による検索結果から排除された画像を、比較例として示した図である。図１８の右手側には、画像が示され、左手側には、ＨＳＶヒストグラム（上から順に、Ｈヒストグラム、Ｓヒストグラム、Ｖヒストグラム）を示す。図１８に示すように、検索結果から排除された画像は、明らかにＨＳＶ特性が異なり、また画像から受ける印象や、テクスチャ特徴が異なり、さらにまったく別の心理的印象が与えられることが示される。
【００９８】
以上の通り、本発明によれば、教示データの数を削減しても高精度に画像の色や配色などの決定を可能とし、また類似する特徴を有する配色パターンやコンテンツ画像の識別を可能とする、画像解析装置、画像解析方法およびプログラム、および当該画像解析方法を利用した画像検索システムを提供することができ、インターネットを介して共有されるコンテンツ画像の効率的な検索に適用することができる。
【００９９】
これまで本発明を図面に示した実施の形態および具体的な実施例に基づいて説明してきたが、本発明は、説明した実施形態に限定されるものではなく、追加、変更、別実施例など当業者により想到される画像解析、方法、検索システムは、本発明の効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【０１００】
１００ 検索システム
１０２ 画像解析装置
１０４ データベース
１０６ キーボード
１０８ マウス
１１０ サーバ
１２０ ネットワーク
１３０ クライアント装置
２００ 機能ブロック
２０２ インタフェース部
２０４ 配色分類部
２０６ テクスチャ・マッピング部
２０８ 領域特徴取得部
２１０ 補充画像検索部
２２０ 画像ＤＢ
２２２ 配色特徴量ＤＢ
２２４ テクスチャ特徴量ＤＢ
２２６ 領域特徴量ＤＢ
３００ 機能ブロック
３０４ 画像特徴抽出部
３０６ 画像検索部
３０８ 検索結果作成部
３１０ 検索結果送信部
３３０ データ構造
４００ 機能ブロック
４０２ 配色パターン生成部
４０４ 色イメージ設定部
４０６ 補充画像検索部呼出部
４０８ 配色パターン補充部
４１０ 配色パターン分類部
４２０ データ構造
４３０ クラスター
【特許請求の範囲】
【請求項１】
画像の心理的類似性を解析するための画像解析装置であって、前記画像解析装置は、
データベースに格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、前記画像を前記印象の類似するカテゴリーに分類する配色分類部と、
前記画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、前記サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンで前記画像をマッピングするテクスチャ・マッピング部と、
前記データベースから前記イメージ語に分類された画像の前記配色パターンに色空間上の尺度で類似する画像を検索し、前記検索した画像を前記配色分類部に渡して前記配色パターンを前記色が与える印象ごとの補充を可能とする補充画像検索部と
を含む画像解析装置。
【請求項２】
前記配色分類部は、さらに、
前記印象ごとの分類対象である配色パターンを生成する配色パターン生成部と、
前記印象を代表するイメージ語を設定する色イメージ設定部と、
前記補充画像検索部が検索した画像を前記イメージ語に対応付けて登録する配色パターン補充部と、
補充された配色パターンをさらに詳細分類する、配色パターン分類部と
を含む、請求項１に記載の画像解析装置。
【請求項３】
前記テクスチャ・マッピング部は、
３点の輝度を計算する位置を指定するテンプレートに指定された３点の輝度を計算する輝度計算部と、
前記３点の輝度から３点間コントラストを計算する３点間コントラスト計算部と、
前記メッシュを特徴付ける３点間コントラストを与えたテンプレートのパターンを前記メッシュのテクスチャ情報として登録するテクスチャ・パターン決定部と
を含む
請求項１または２に記載の画像解析装置。
【請求項４】
前記画像解析装置は、前記画像の一部の領域についての特徴量を決定する領域特徴量決定部を含み、前記領域特徴量決定部は、前記画像に領域を割当て、割当てた前記領域のＲＧＢヒストグラムを平均することにより、前記画像全体を特徴付けるベースカラーと、前記画像の中で特徴的な色属性を有するアクセントカラーとを決定する、請求項１〜３のいずれか１項に記載の画像解析装置。
【請求項５】
画像の心理的類似性を解析するための画像解析方法であって、前記画像解析方法は、情報処理装置が
データベースに格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、前記画像を前記印象の類似するカテゴリーに分類するステップと、
前記画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、前記サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンで前記画像をマッピングするステップと、
前記データベースから前記イメージ語に分類された画像の前記配色パターンに色空間上の尺度で類似する画像を検索し、前記検索した画像で前記配色パターンを前記色が与える印象ごとの補充するステップと
を実行する画像解析方法。
【請求項６】
前記カテゴリーに分類するステップは、さらに、
前記印象ごとの分類対象である配色パターンを生成するステップと、
前記印象を代表するイメージ語を設定するステップと、
前記検索した画像を前記イメージ語に対応付けて登録するステップと、
補充された配色パターンをさらに詳細分類するステップと
を含む、請求項５に記載の画像解析方法。
【請求項７】
前記画像をマッピングするステップは、
３点の輝度を計算する位置を指定するテンプレートに指定された３点の輝度を計算するステップと、
前記３点の輝度から３点間コントラストを計算する３点間コントラストを計算するステップと、
前記メッシュを特徴付ける３点間コントラストを与えたテンプレートのパターンを前記メッシュのテクスチャ情報として登録するステップと を含む
請求項６または７に記載の画像解析方法。
【請求項８】
さらに、前記画像の一部の領域についての特徴量を決定する領域特徴量を決定するステップを含み、前記領域特徴量を決定するステップは、前記画像に領域を割当てるステップと、割当てた前記領域のＲＧＢヒストグラムを平均することにより、前記画像全体を特徴付けるベースカラーと、前記画像の中で特徴的な色属性を有するアクセントカラーとを決定するステップを含む、請求項５〜７のいずれか１項に記載の画像解析方法。
【請求項９】
ネットワークに接続され、クライアント装置からの画像検索要求を受領して画像検索要求が含むクエリー画像に心理的類似性を有する画像を検索するサーバとを含む画像検索システムであって、前記画像検索システムは、
前記サーバは、前記クライアント装置から受領したクエリー画像の色情報およびテクスチャ情報を抽出する画像特徴抽出部と、
データベースに格納された配色パターンおよび前記画像のテクスチャを特徴付けるマッピング情報を属性として伴う画像を、前記クエリー画像から抽出した色情報およびテクスチャを検索キーとして使用して検索する画像検索部と、
検索された画像を前記クライアント装置に利用させるための検索結果を作成する検索結果作成部と、
作成した前記検索結果を前記クライアント装置に送付する検索結果送信部と
を含み、
前記データベースは、画像を、色が与える心理的印象を代表するイメージ語に基づいてカテゴリーに分類された前記色情報および
前記画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、前記サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンで前記画像をマッピングして生成された前記テクスチャのマッピング情報と対応付けて格納する、画像検索システム。
【請求項１０】
前記色情報は、前記心理的印象ごとの分類対象である配色パターンを生成し、前記印象を代表するイメージ語を設定して、画像を前記イメージ語に対応付けて補充し、補充された配色パターンをさらに詳細分類することにより前記心理的印象で前記配色パターンを分類して生成される、請求項９に記載の画像検索システム。
【請求項１１】
前記テクスチャ情報は、
３点の輝度を計算する位置を指定するテンプレートに指定された３点の輝度を計算し、前記３点の輝度から３点間コントラストを計算して前記メッシュを特徴付ける３点間コントラストを与えたテンプレートのパターンを前記メッシュのテクスチャ情報として登録することにより生成される、請求項９または１０に記載の画像検索システム。
【請求項１２】
前記サーバは、さらに前記画像の一部の領域についての特徴量を決定する領域特徴量決定部を含み、前記領域特徴量決定部は、前記画像に領域を割当て、割当てた前記領域のＲＧＢヒストグラムを平均することにより、前記画像全体を特徴付けるベースカラーと、前記画像の中で特徴的な色属性を有するアクセントカラーとを決定し、前記ベースカラーおよび前記アクセントカラーを属性情報として前記データベースに登録する、請求項９〜１１のいずれか１項に記載の画像検索システム。
【請求項１３】
情報処理装置を、画像の心理的類似性を解析するための画像解析装置として機能させるための装置実行可能なプログラムであって、前記プログラムは、前記情報処理装置を、
データベースに格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、前記画像を前記印象の類似するカテゴリーに分類する配色分類部、
前記画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、前記サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンで前記画像をマッピングするテクスチャ・マッピング部、
前記データベースから前記イメージ語に分類された画像の前記配色パターンに色空間上の尺度で類似する画像を検索し、前記検索した画像を前記配色分類部に渡して前記配色パターンを前記色が与える印象ごとの補充を可能とする補充画像検索部
として機能させる、装置実行可能なプログラム。
【請求項１４】
前記配色分類部は、さらに、
前記印象ごとの分類対象である配色パターンを生成する配色パターン生成部と、
前記印象を代表するイメージ語を設定する色イメージ設定部と、
前記補充画像検索部が検索した画像を前記イメージ語に対応付けて登録する配色パターン補充部と、
補充された配色パターンをさらに詳細分類する、配色パターン分類部と
を含み、
前記テクスチャ・マッピング部は、
３点の輝度を計算する位置を指定するテンプレートに指定された３点の輝度を計算する輝度計算部と、
前記３点の輝度から３点間コントラストを計算する３点間コントラスト計算部と、
前記メッシュを特徴付ける３点間コントラストを与えたテンプレートのパターンを前記メッシュのテクスチャ情報として登録するテクスチャ・パターン決定部と
を含む
請求項１３に記載のプログラム。
【請求項１５】
前記プログラムは、前記情報処理装置を、前記画像の一部の領域についての特徴量を決定する領域特徴量決定部として機能させ、前記領域特徴量決定部は、前記画像に領域を割当て、割当てた前記領域のＲＧＢヒストグラムを平均することにより、前記画像全体を特徴付けるベースカラーと、前記画像の中で特徴的な色属性を有するアクセントカラーとを決定する、請求項１３または１４に記載のプログラム。
【請求項１】
画像の心理的類似性を解析するための画像解析装置であって、前記画像解析装置は、
データベースに格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、前記画像を前記印象の類似するカテゴリーに分類する配色分類部と、
前記画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、前記サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンで前記画像をマッピングするテクスチャ・マッピング部と、
前記データベースから前記イメージ語に分類された画像の前記配色パターンに色空間上の尺度で類似する画像を検索し、前記検索した画像を前記配色分類部に渡して前記配色パターンを前記色が与える印象ごとの補充を可能とする補充画像検索部と
を含む画像解析装置。
【請求項２】
前記配色分類部は、さらに、
前記印象ごとの分類対象である配色パターンを生成する配色パターン生成部と、
前記印象を代表するイメージ語を設定する色イメージ設定部と、
前記補充画像検索部が検索した画像を前記イメージ語に対応付けて登録する配色パターン補充部と、
補充された配色パターンをさらに詳細分類する、配色パターン分類部と
を含む、請求項１に記載の画像解析装置。
【請求項３】
前記テクスチャ・マッピング部は、
３点の輝度を計算する位置を指定するテンプレートに指定された３点の輝度を計算する輝度計算部と、
前記３点の輝度から３点間コントラストを計算する３点間コントラスト計算部と、
前記メッシュを特徴付ける３点間コントラストを与えたテンプレートのパターンを前記メッシュのテクスチャ情報として登録するテクスチャ・パターン決定部と
を含む
請求項１または２に記載の画像解析装置。
【請求項４】
前記画像解析装置は、前記画像の一部の領域についての特徴量を決定する領域特徴量決定部を含み、前記領域特徴量決定部は、前記画像に領域を割当て、割当てた前記領域のＲＧＢヒストグラムを平均することにより、前記画像全体を特徴付けるベースカラーと、前記画像の中で特徴的な色属性を有するアクセントカラーとを決定する、請求項１〜３のいずれか１項に記載の画像解析装置。
【請求項５】
画像の心理的類似性を解析するための画像解析方法であって、前記画像解析方法は、情報処理装置が
データベースに格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、前記画像を前記印象の類似するカテゴリーに分類するステップと、
前記画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、前記サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンで前記画像をマッピングするステップと、
前記データベースから前記イメージ語に分類された画像の前記配色パターンに色空間上の尺度で類似する画像を検索し、前記検索した画像で前記配色パターンを前記色が与える印象ごとの補充するステップと
を実行する画像解析方法。
【請求項６】
前記カテゴリーに分類するステップは、さらに、
前記印象ごとの分類対象である配色パターンを生成するステップと、
前記印象を代表するイメージ語を設定するステップと、
前記検索した画像を前記イメージ語に対応付けて登録するステップと、
補充された配色パターンをさらに詳細分類するステップと
を含む、請求項５に記載の画像解析方法。
【請求項７】
前記画像をマッピングするステップは、
３点の輝度を計算する位置を指定するテンプレートに指定された３点の輝度を計算するステップと、
前記３点の輝度から３点間コントラストを計算する３点間コントラストを計算するステップと、
前記メッシュを特徴付ける３点間コントラストを与えたテンプレートのパターンを前記メッシュのテクスチャ情報として登録するステップと を含む
請求項６または７に記載の画像解析方法。
【請求項８】
さらに、前記画像の一部の領域についての特徴量を決定する領域特徴量を決定するステップを含み、前記領域特徴量を決定するステップは、前記画像に領域を割当てるステップと、割当てた前記領域のＲＧＢヒストグラムを平均することにより、前記画像全体を特徴付けるベースカラーと、前記画像の中で特徴的な色属性を有するアクセントカラーとを決定するステップを含む、請求項５〜７のいずれか１項に記載の画像解析方法。
【請求項９】
ネットワークに接続され、クライアント装置からの画像検索要求を受領して画像検索要求が含むクエリー画像に心理的類似性を有する画像を検索するサーバとを含む画像検索システムであって、前記画像検索システムは、
前記サーバは、前記クライアント装置から受領したクエリー画像の色情報およびテクスチャ情報を抽出する画像特徴抽出部と、
データベースに格納された配色パターンおよび前記画像のテクスチャを特徴付けるマッピング情報を属性として伴う画像を、前記クエリー画像から抽出した色情報およびテクスチャを検索キーとして使用して検索する画像検索部と、
検索された画像を前記クライアント装置に利用させるための検索結果を作成する検索結果作成部と、
作成した前記検索結果を前記クライアント装置に送付する検索結果送信部と
を含み、
前記データベースは、画像を、色が与える心理的印象を代表するイメージ語に基づいてカテゴリーに分類された前記色情報および
前記画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、前記サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンで前記画像をマッピングして生成された前記テクスチャのマッピング情報と対応付けて格納する、画像検索システム。
【請求項１０】
前記色情報は、前記心理的印象ごとの分類対象である配色パターンを生成し、前記印象を代表するイメージ語を設定して、画像を前記イメージ語に対応付けて補充し、補充された配色パターンをさらに詳細分類することにより前記心理的印象で前記配色パターンを分類して生成される、請求項９に記載の画像検索システム。
【請求項１１】
前記テクスチャ情報は、
３点の輝度を計算する位置を指定するテンプレートに指定された３点の輝度を計算し、前記３点の輝度から３点間コントラストを計算して前記メッシュを特徴付ける３点間コントラストを与えたテンプレートのパターンを前記メッシュのテクスチャ情報として登録することにより生成される、請求項９または１０に記載の画像検索システム。
【請求項１２】
前記サーバは、さらに前記画像の一部の領域についての特徴量を決定する領域特徴量決定部を含み、前記領域特徴量決定部は、前記画像に領域を割当て、割当てた前記領域のＲＧＢヒストグラムを平均することにより、前記画像全体を特徴付けるベースカラーと、前記画像の中で特徴的な色属性を有するアクセントカラーとを決定し、前記ベースカラーおよび前記アクセントカラーを属性情報として前記データベースに登録する、請求項９〜１１のいずれか１項に記載の画像検索システム。
【請求項１３】
情報処理装置を、画像の心理的類似性を解析するための画像解析装置として機能させるための装置実行可能なプログラムであって、前記プログラムは、前記情報処理装置を、
データベースに格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、前記画像を前記印象の類似するカテゴリーに分類する配色分類部、
前記画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、前記サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンで前記画像をマッピングするテクスチャ・マッピング部、
前記データベースから前記イメージ語に分類された画像の前記配色パターンに色空間上の尺度で類似する画像を検索し、前記検索した画像を前記配色分類部に渡して前記配色パターンを前記色が与える印象ごとの補充を可能とする補充画像検索部
として機能させる、装置実行可能なプログラム。
【請求項１４】
前記配色分類部は、さらに、
前記印象ごとの分類対象である配色パターンを生成する配色パターン生成部と、
前記印象を代表するイメージ語を設定する色イメージ設定部と、
前記補充画像検索部が検索した画像を前記イメージ語に対応付けて登録する配色パターン補充部と、
補充された配色パターンをさらに詳細分類する、配色パターン分類部と
を含み、
前記テクスチャ・マッピング部は、
３点の輝度を計算する位置を指定するテンプレートに指定された３点の輝度を計算する輝度計算部と、
前記３点の輝度から３点間コントラストを計算する３点間コントラスト計算部と、
前記メッシュを特徴付ける３点間コントラストを与えたテンプレートのパターンを前記メッシュのテクスチャ情報として登録するテクスチャ・パターン決定部と
を含む
請求項１３に記載のプログラム。
【請求項１５】
前記プログラムは、前記情報処理装置を、前記画像の一部の領域についての特徴量を決定する領域特徴量決定部として機能させ、前記領域特徴量決定部は、前記画像に領域を割当て、割当てた前記領域のＲＧＢヒストグラムを平均することにより、前記画像全体を特徴付けるベースカラーと、前記画像の中で特徴的な色属性を有するアクセントカラーとを決定する、請求項１３または１４に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−５０８５７（Ｐ２０１３−５０８５７Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８８５４８（Ｐ２０１１−１８８５４８）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（５９９０１１６８７）学校法人 中央大学 (110)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（５９９０１１６８７）学校法人 中央大学 (110)
【Ｆターム（参考）】
[ Back to top ]