キーワード付与装置、プログラム及び情報記憶媒体
【課題】 キーワードの分類頻度に応じて、入力画像に付与するキーワードの階層を変更することで、ユーザーの嗜好等を反映したキーワード付与を行うキーワード付与装置、プログラム及び情報記憶媒体等を提供すること。
【解決手段】 キーワード付与装置はキーワードが第１〜第Ｎの階層からなる複数のクラスに分類されている場合に、対応クラスを特定するクラス特定部１６と、各クラスに対して分類頻度の計測を行う分類頻度計測部１９と、参照対象階層を決定する参照対象階層決定部２０と、最終的な参照対象階層における対応クラスのキーワードを、表示キーワードとするキーワード決定部２３とを含み、参照対象階層決定部２０は、第ｊの階層における分類頻度の値に基づいて、上位の階層である第ｋの階層への参照が必要であると判定された場合には、第ｋの階層を次の参照対象階層とする。
【解決手段】 キーワード付与装置はキーワードが第１〜第Ｎの階層からなる複数のクラスに分類されている場合に、対応クラスを特定するクラス特定部１６と、各クラスに対して分類頻度の計測を行う分類頻度計測部１９と、参照対象階層を決定する参照対象階層決定部２０と、最終的な参照対象階層における対応クラスのキーワードを、表示キーワードとするキーワード決定部２３とを含み、参照対象階層決定部２０は、第ｊの階層における分類頻度の値に基づいて、上位の階層である第ｋの階層への参照が必要であると判定された場合には、第ｋの階層を次の参照対象階層とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キーワード付与装置、プログラム及び情報記憶媒体等に関する。
【背景技術】
【０００２】
近年、メモリ等の記録媒体の大容量化に伴い、デジタルカメラで撮影した画像がデジタルカメラ内に大量に蓄積されるようになってきている。また、そのような撮影した画像は、パソコン等の外部機器に転送して蓄積され、更にインターネット等を介して収集した画像も蓄積されることとなっている。
【０００３】
そこで、各画像にキーワードを付与しておき、キーワード検索を行うことによって大量に蓄積されている画像の中から、ユーザーが所望の画像を容易に検索できるようにすることが行われている。
【０００４】
しかし、ユーザーが撮影または収集した画像に手動でキーワードを付与することは、手間や時間がかかりユーザーにとって負担となってしまう。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−０６３１７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１は、キーワード付与の対象となる画像に類似する類似画像を検索し、抽出された類似画像に付与されているキーワードを対象画像に付与する。
【０００７】
しかし、ユーザーの趣味や嗜好はある特定の分野に偏る事が多い為、その分野に関するキーワードが付与された画像ばかりが膨大な量になり、キーワードによって画像を区別する事は容易ではない。その結果、画像の検索や整理が困難になるという課題が上げられる。
【０００８】
本発明の幾つかの態様によれば、キーワードの分類頻度に応じて、入力画像に付与するキーワードの階層を変更することで、ユーザーの嗜好等を反映したキーワード付与を行うキーワード付与装置、プログラム及び情報記憶媒体等を提供することができる。
【０００９】
また、本発明の幾つかの態様によれば、ユーザーの興味が高いと思われるカテゴリにはより詳細なキーワードを付与し、興味が低いと思われるカテゴリにはより概略的なキーワードを付与することで、ユーザーの趣味や撮影被写体の傾向に応じたキーワード付与を行うことができるキーワード付与装置、プログラム及び情報記憶媒体等を提供することができる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、複数のキーワードが第１〜第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するクラス特定部と、前記複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測部と、前記分類頻度の参照を行う階層である参照対象階層を決定する参照対象階層決定部と、前記参照対象階層決定部により最終的に参照された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定するキーワード決定部と、を含み、前記参照対象階層決定部は、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層が現在の前記参照対象階層であるときに、第ｊの階層における前記対応クラスの前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定するキーワード付与装置に関係する。
【００１１】
本発明の一態様では、階層的なクラス分類がされている場合に、参照対象階層を決定し、参照対象階層における分類頻度の値に基づいて、より上位の階層を参照するか否かを決定することができる。これにより、最初の参照対象階層からより上位の階層へと連鎖的に参照を重ねて行くこと等が可能となる。
【００１２】
また、本発明の一態様では、前記参照対象階層決定部は、前記第ｊの階層における前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層への参照が必要ないと判定された場合には、前記第ｊの階層を最終的な前記参照対象階層として決定し、前記キーワード決定部は、前記第ｊの階層における、前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定してもよい。
【００１３】
これにより、上位階層への参照を途中で終了すること等が可能になる。
【００１４】
また、本発明の一態様では、前記参照対象階層決定部は、最も下の階層である第Ｎの階層を、最初の前記参照対象階層として決定するとともに、第Ｎの階層における前記分類頻度の値に基づいて、第Ｎの階層よりも上位の階層への参照が必要か否かの判定を行い、前記第Ｎの階層よりも上位の階層への参照が必要な場合には、前記参照対象階層決定部は、前記上位の階層を次の前記参照対象階層として決定し、前記第Ｎの階層よりも上位の階層への参照が必要でない場合には、前記参照対象階層決定部は、前記第Ｎの階層を最終的な前記参照対象階層として決定し、前記キーワード決定部は、前記第Ｎの階層における、前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定してもよい。
【００１５】
これにより、最も下の階層を参照処理の開始階層として決定することが可能になるため、任意の階層に属する対応クラスのキーワードを表示キーワードとして入力画像に付与すること等が可能になる。
【００１６】
また、本発明の一態様では、前記第ｊの階層における、前記対応クラスの分類頻度の値が所与の閾値よりも小さい場合には、前記参照対象階層決定部は、前記第ｊの階層よりも上位の階層である前記第ｋの階層を次の前記参照対象階層として決定し、前記第ｊの階層における、前記対応クラスの分類頻度の値が所与の閾値よりも大きい場合には、前記参照対象階層決定部は、上位の階層への参照を終了し、前記第ｊの階層を最終的な前記参照対象階層として決定してもよい。
【００１７】
これにより、閾値との比較により、上位の階層への参照が必要か否かの判定を行うこと等が可能になる。
【００１８】
また、本発明の一態様では、前記クラス特定部において、複数の前記入力画像の各入力画像に対して、１又は複数の対応クラスが特定され、前記参照対象階層に属する複数のクラスのクラス特定回数の総和をｍとし、分類頻度参照対象クラスのクラス特定回数をｎとした場合に、前記分類頻度計測部は、前記分類頻度を、ｎ／ｍに基づいて求めてもよい。
【００１９】
これにより、簡単な処理で分類頻度を求めることが可能になる。
【００２０】
また、本発明の一態様では、前記キーワード決定部で決定したキーワードを表示するキーワード表示部を含んでもよい。
【００２１】
これにより、入力画像に対して付与したキーワードを表示すること等が可能になる。
【００２２】
また、本発明の一態様では、前記キーワード表示部は、前記参照対象階層決定部で参照された階層以外の階層における対応クラスのキーワードも候補として提示してもよい。
【００２３】
これにより、参照した階層以外の階層のキーワードを表示することができるため、柔軟なキーワード表示等が可能になる。
【００２４】
また、本発明の一態様では、前記第ｊの階層に属するクラスのキーワードは、前記第ｊの階層よりも上位の階層である前記第ｋの階層に属するクラスのキーワードに比べて、詳細なキーワードであってもよい。
【００２５】
これにより、詳細なキーワードから荒いキーワードへと参照を行っていくこと等が可能になる。
【００２６】
本発明の他の態様は、複数のキーワードが第１〜第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するクラス特定手順と、前記複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測手順と、前記分類頻度の参照を行う階層である参照対象階層を決定する参照対象階層決定手順と、前記参照対象階層決定手順で最終的に参照された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定するキーワード決定手順と、をコンピュータに実行させるためのプログラムであって、前記参照対象階層決定手順では、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層における前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定するプログラムに関係する。また、本発明は、上記プログラムを記憶する情報記憶媒体に関係する。
【図面の簡単な説明】
【００２７】
【図１】本実施形態のシステム構成例。
【図２】本実施形態のキーワード付与処理を説明するためのフローチャート。
【図３】上位の階層への参照処理を説明するためのフローチャート。
【図４】特徴空間とクラス分類の例。
【図５】分類木を用いてクラス分類を説明した例。
【図６】入力画像の例。
【図７】クラス分類結果を特徴空間で示した図。
【図８】第３階層における分類頻度と閾値の例。
【図９】第２階層における分類頻度と閾値の例。
【図１０】第３階層の対応クラスと付与するキーワードとの対応を説明する図。
【図１１】対応クラスから表示キーワードを決定する手法を説明する図。
【図１２】検索の際に表示するキーワードの決定処理を説明するためのフローチャート。
【図１３】１つの下位階層に対して複数の上位階層が対応する例。
【発明を実施するための形態】
【００２８】
１．本実施形態の手法
【００２９】
まず、本実施形態の手法について説明する。近年、メモリの大容量化、低価格化に伴い、デジタルカメラ等の撮像装置において大量の写真データが取得、蓄積されるようになっている。そのため、撮像装置内で所望の画像データを探し出すことが非常に困難である。また、ＰＣ等にデータを写すことを考えれば、インターネットからダウンロードされた画像データ等も混在することになり、画像データの検索はより困難になる。
【００３０】
上述の問題に対応するために、画像データに対してメタデータとしてキーワードを付与することが考えられる。例えば、後述する図６のような画像データに対しては、“犬”“猫”“風景”等のキーワードを付与する。そして、画像検索の際には、キーワードによる分類やフィルタリング等を行うことで、目的の画像データを検索しやすくする。
【００３１】
しかし、単純なキーワード付与には、ユーザーの嗜好を反映しないという問題が残る。つまり、猫を撮影することが好きなユーザーの所有する画像データは、猫の画像が大半を占めることが考えられる。その際、“猫”というキーワードを付与しても検索にはあまり有用ではない。つまり、全画像データの８０％が猫を写していたとしたら、“猫”というキーワードでフィルタリングを行ったとしても、不要データは２０パーセントしか取り除けない。そのため、結局大量の画像データの中から所望の画像データを探すことになってしまい、キーワードを付与するメリットは少なくなってしまう。
【００３２】
そこで本出願人は、ユーザーの嗜好を反映したキーワード付与の手法を提案する。具体的には、ユーザーの興味のある分野においては、より細かいキーワードを付与し、あまり興味のない分野においては、荒いキーワードを付与する。つまり、上述の猫が好きなユーザーの場合であれば、猫の画像データに対して付与するキーワードは、“日本猫”“ペルシャ”“アビシニアン”といったように、より細かいものにする。それに対して、ユーザーの関心が薄い鳥の画像に対しては“鳥”といった荒いキーワードの付与を行う。このようにすることで、特定のキーワードに画像が集中することを抑止することができる。よって、キーワード付与の効果を高めることが可能になり、画像検索の効率を向上させることができる。
【００３３】
具体的な手法については後述する。以下、構成例及び処理の詳細を説明し、次にクラス分類について説明する。そして、上位階層への参照手法とその具体例について述べた後、検索に応用する例について触れ、最後に変形例を説明する。
【００３４】
なお、以下の例においては、後述する図５のクラス分類を用いて説明する。つまり、第１の階層〜第３の階層の３層構造の例を用いるが、これに限定されないことは言うまでもない。つまり、広義には第１〜第Ｎ（Ｎは２以上の整数）の階層からなるクラス構造に対しても、本実施形態の手法は適用可能である。
【００３５】
２．構成例及び処理の詳細
【００３６】
図１は本実施形態の処理系を示し、図２はその全体の処理の流れを示したフローチャートである。以下、図１のような構成における動作を、図２のフローチャートに沿って説明する。
【００３７】
画像取得部１４は、メモリ１２からキーワード付与の対象となる画像を読み出し、読み出した対象画像（入力画像）を、特徴量抽出部１５へ入力する（Ｓ２０１）。
【００３８】
次に、特徴量抽出部１５に入力された画像から特徴量（ベクトル）を抽出し、その抽出した特徴量を、クラス特定部１６へ入力する（Ｓ２０２）。
【００３９】
次に、クラス特定部１６において、抽出した特徴量（ベクトル）の特徴空間でのクラス分類を行い、入力画像に対応するクラスである対応クラスを特定する。そして、対応クラスの特定結果を、画像枚数測定部１８及びメモリ１２へ入力する（Ｓ２０３）。なお、１枚の画像に複数の対象が含まれる場合、抽出される特徴量（ベクトル）は１つとは限らず、複数の特徴量（ベクトル）が抽出されることもある。複数の特徴量（ベクトル）が抽出された場合は、１枚の画像から同一階層において複数の対応クラスが特定されることになる。
【００４０】
ここで、対応クラスとは例えば、第１〜第３階層（広義には第１〜第Ｎ階層）の全てから選択されるものとする。例えば、入力画像に日本猫が含まれていた場合には、第３階層において、「日本猫」クラスが特定される。それと同時に、「日本猫」の上位クラスである第２階層の「猫」及び第１階層の「動物」も対応クラスとして特定される。そして、後述するように下位階層の対応クラスに対して参照必要性が判定され、参照が必要な場合は、上位階層の対応クラスを参照し処理が行われることになる。ただし、本実施形態においては、「下位階層の対応クラス」と「前記下位階層の対応クラスとツリー構造で結ばれている上位階層のクラス」との関連づけができれば十分であり、それは学習により取得した図５のようなツリー構造データを保持しておけば足りる。よって、対応クラスは最も下のクラスから選択され、上位階層のクラスからは選択されないものとしてもよい。
【００４１】
画像枚数測定部１８は、クラス特定部１６から入力される信号より、何枚の入力画像が処理されたかを測定している。この画像枚数測定部１８の測定結果により、所定数枚、ここでは１００の倍数枚の対象画像を処理したかどうか判別する（Ｓ２０４）。まだ１００の倍数枚の対象画像を処理していない場合には、下記Ｓ２０８へ進み、第３階層のクラスに対応するキーワードを表示キーワードとして選択する。
【００４２】
次に、最初の参照対象階層を第３階層に決定し（Ｓ２０５）、分類頻度計測部１９で、メモリ１２に蓄積されているクラス特定済みの画像から、各クラスの分類頻度Ｚを計測する（Ｓ２０６）。分類頻度計測部１９では、既にクラス特定済みの全画像における全体の特徴量の数をｍとし、クラス内の特徴量の数をｎとし、下式（１）により、クラス毎に分類頻度Ｚ［％］を計測する（Ｓ２０６）。
【００４３】
Ｚ＝１００×ｎ／ｍ ・・・・・（１）
【００４４】
具体的には、１００枚の画像において各クラスが特定された回数の総和がｍに対応し、分類頻度計測対象クラスが特定された回数がｎになる。さらに具体的には例えば、１００枚の画像において、３００回クラスが特定された（のべ３００個の特徴量が抽出された）場合にｍ＝３００となる。また、その中で、分類頻度計測対象クラスが特定された回数がｎとなる。そのため、例えば「日本猫」が特定された回数が６０回だった（６０回「日本猫」に対応する特徴量が抽出された）場合には、ｎ＝６０となり、「日本猫」の分類頻度はＺ＝１００×ｎ／ｍ＝１００×６０／３００＝２０［％］となる。
【００４５】
なお、分類頻度の計測は階層ごとに行われる。図５の例で言えば、まず、第３階層において各クラスの分類頻度が計測される。そして、第２階層は第２階層で分類頻度が計測される。第２階層における分類頻度の計測は、第３階層の計測結果を用いることが可能である。つまり例えば、「チワワ」「ダルメシアン」「柴犬」のクラス特定回数の総和を「犬」のクラス特定回数として用いればよい。もっと簡単に、「チワワ」「ダルメシアン」「柴犬」の分類頻度の和を「犬」の分類頻度としてもよい。ただし、このような処理は、下位階層のクラスにより、上位階層のクラスが網羅されている必要があることに注意が必要である。つまり、「犬」に属しつつ「チワワ」にも「ダルメシアン」にも「柴犬」にも属さないような特徴量が抽出され、かつ、そのような特徴量を「チワワ」「ダルメシアン」「柴犬」のいずれかに強制的に割り振るよう設定されていなければ、下位階層のクラスのクラス特定回数の和と上位階層のクラスのクラス特定回数が一致しなくなる可能性がある。
【００４６】
こうして計測された各クラスの分類頻度は、参照する階層を決定し、他階層の参照が必要であるか否かを判断する参照対象階層決定部２０へ入力される。
【００４７】
次に、参照対象階層決定部２０で、現在参照している階層における分類頻度に基づいて、上位階層の参照が必要であるか否かを判定する（Ｓ２０７）。上位階層の参照が必要であるか否かは、クラス毎に分類頻度がある所定の値α未満であるか否かを計測することによって判定される。このαの値は、全クラスの分類頻度の平均値よりも大きい値が好適である。
【００４８】
分類頻度がα未満であるクラスが存在する場合は、上位の階層の参照を行う。具体的には、上位の階層を次の参照対象階層として決定する。そして、上位の階層における分類頻度と閾値α（上述のαとは別の値であってもよい）との比較を行い、さらに上位の階層の参照が必要であるか否かを判断する。
【００４９】
また上位の階層の参照が必要でないと判断されたクラスは、キーワード決定部２３において、現在参照している階層のクラスに対応するキーワードを表示キーワードとして決定する（Ｓ２１０）。
【００５０】
キーワード決定部２３で決定されたキーワード情報はキーワード表示部２４へ入力され、メモリ１２から入力された入力画像と併せて表示される（Ｓ２１１）。
【００５１】
ここで、分類頻度計測部１９では、全てのクラスに対して処理が行われ、その結果がメモリ１２に記憶される。つまり、日本猫の画像が入力され、「日本猫」クラスについて処理が行われるような場合にも、分類頻度の計測は「日本猫」のみに限定する必要はない。同時に「チワワ」「ダルメシアン」他、全てのクラス（上位階層のクラスを含む）について分類頻度の計測を行っておけば、他の入力画像が入力された場合にも、再度分類頻度の計測処理を行うことなく、キーワードを付与することができる。
【００５２】
また、参照対象階層決定部２０での処理も、全てのクラスに対して行われてもよい。各クラスの分類頻度が計測されれば、閾値αは設定により定められるため、現在の入力画像とは無関係に全てのクラスの参照関係を決定することができる。つまり、「日本猫」については分類頻度が高いので“日本猫”をキーワードとして付与する。「ダルメシアン」は第２階層まで参照して“犬”をキーワードとして付与する。「田舎町」は第２階層の参照でも足りず、第１階層を参照して“風景”がキーワードとして付与される等の対応付けを決定することが可能である。このようにしておけば、入力画像が入力された際に、改めて参照必要性の判定を行う必要がない。例えば、「ダルメシアン」「日本猫」「田舎町」が第３階層の対応クラスとして特定されるような入力画像に対しては、参照必要性を再度判定することなく、“犬”“日本猫”“風景”といったキーワードを付与することができる。
【００５３】
３．クラス分類について
【００５４】
ここで、クラス分類について、詳細に説明する。クラス特定部１６は、予め設定されたクラス分類を学習している。その学習過程では、先ず、予め人間によって正しいキーワードを付与された画像（学習データ）を用意し、これらの画像から特徴量（ベクトル）を抽出して、クラス特定部１６に入力する。ここで、特徴量は、色相、彩度、輝度、形状、大きさ、位置、など画像自体に含まれる様々の特徴量や、Ｅｘｉｆ情報に含まれるＩＳＯ感度等の撮影情報のような画像に付加されている様々の特徴量の中から、学習データの分類に適した如何なる特徴量を用いても良い。なお、上記特徴量抽出部１５は、この学習過程で採用した特徴量を抽出するものとなっている。
【００５５】
そして、クラス特定部１６では、入力された画像（学習データ）の特徴量（ベクトル）を、図４に示すように特徴空間に配置し、同じキーワードを付与された画像が特徴空間で同じクラスに分類されるよう、分類境界を形成する。このクラス分類には如何なる手法を用いても良いが、例えばｋ−近傍法を用いる。なお、図４の特徴空間は、簡略化のために２次元空間として示しているだけであり、実際にはＮ次元空間である。ここでＮは任意の自然数を表している。
【００５６】
図４において、黒い丸で示された印が入力画像のデータに対応し、閉領域が各キーワードに対応するクラスの分類境界を表す。実線で描かれた閉領域がクラス分類で用いられ、点線で描かれた閉領域は後述の図５に示す分類木との対応をわかりやすくするために示したものである。
【００５７】
また、人間が画像に付与するキーワードは、例えば図５に示すような階層構造を持っており、上位の階層のキーワードは特徴空間においてより大きな領域を占め、下位の階層のキーワードの領域を包含する。なお、図５に示す分類木は一例に過ぎず、キーワードや階層数はこれに限定されない。
【００５８】
４．上位階層の参照
【００５９】
ここで、図２のフローチャートのＳ２０９の上位階層の参照について、詳細に説明する。またクラスが図５に示すような３階層の階層構造を持つ場合について、キーワード参照の詳細な流れを図３に示す。
【００６０】
第３階層および第２階層のクラスの分類頻度をそれぞれＺ３、Ｚ２とし、第３階層および第２階層での閾値をα３、α２とする。
【００６１】
参照対象階層決定部２０（Ｓ２０７）で第３階層のクラスの分類頻度Ｚ３が閾値α３未満であり、キーワードの参照が必要と判断された場合、さらに第２階層のクラスの分類頻度Ｚ２が閾値α２未満であるかどうかを判定する（Ｓ２０９１）。この際、第２階層のクラスの分類頻度Ｚ２は、第２階層に包含される第３階層の全てのクラスの特徴量の数を総和した数を用いる。ある第２階層に包含される第３階層の各クラスの特徴量の数がそれぞれａ１、ａ２、…ａｎであったとすると、この第２階層のクラスの特徴量の数ｎ２[個]は、下式（２）のようになる。
【数１】
【００６２】
よって、第２階層全体の特徴量の数をｍ２[個]とすると、分類頻度Ｚ２は、下式（３）のようになる。
【００６３】
Ｚ２＝１００×ｎ２／ｍ２ ・・・・・（３）
【００６４】
第２階層の分類頻度Ｚ２が閾値α２未満でない場合は、第２階層のキーワードが参照され（Ｓ２０９２）、第２階層の分類頻度Ｚ２が閾値α２未満である場合は、第１階層のキーワードが参照される（Ｓ２０９３）。なお、閾値α３、α２は、大小関係が必ずしもα３＞α２となるとは限らない。
【００６５】
５．上位階層の参照の具体例
【００６６】
画像が入力されて、キーワードが表示されるまでの流れの具体例を説明する。図６のような画像が入力されたとし、クラス分類結果を特徴空間で示したものが図７、キーワードを分類木で示したものが図５とする。
【００６７】
まず、入力画像から特徴量が抽出され、図４に示すクラス構造に基づいて対応クラスが特定される。図７にクラス特定の結果を特徴空間で示したものを示す。
【００６８】
クラス特定の結果、入力画像から抽出された特徴量に対応する対応クラスは、「ダルメシアン」、「日本猫」、「海」、「山」、「空」、「田舎町」の各クラスであると特定される。
【００６９】
次に、蓄積された画像の枚数ｘが１００の倍数であるとすると、各クラスの分類頻度Ｚ３がそれぞれ計測される。計測結果のグラフを図８に示す。○で囲まれたクラスが、対応クラスである。また、閾値α３をα３=４０とし、グラフ上に点線で示した。
【００７０】
図８より、○で囲まれたクラスのうちＺ３＜α３を満たさないのは、「日本猫」のクラスである。よって、「日本猫」のクラスは現在の参照対象階層の対応クラスのキーワードである“日本猫”が表示キーワードとして決定される。
【００７１】
また、○で囲まれた対応クラスのうち、Ｚ３＜α３を満たすクラスは「ダルメシアン」、「海」、「山」、「空」、「田舎町」である。これらの５つの対応クラスについてはこの時点では表示キーワードは決定されず、上位の階層である第２階層の参照が行われる。
【００７２】
次に、第２階層のクラスの出現頻度Ｚ２が計測される。計測結果のグラフを図９に示す。○で囲まれたクラスが、第２階層における対応クラスである。第２階層の閾値α２をα２=３０とし、グラフ上に点線で示した。
【００７３】
「ダルメシアン」の第２階層のクラスは図５より「犬」であり、図９より「犬」はＺ２＜α２を満たすため、ここでも表示キーワードは決定されず、さらに上位階層である第１階層の対応クラス「動物」が参照される。
【００７４】
「海」、「山」、「空」の第２階層のクラスは「自然」であり、図９より「自然」はＺ２＜α２を満たさないため、第２階層のクラスのキーワード“自然”が表示キーワードとして決定される。
【００７５】
「田舎町」の第２階層の対応クラスは「街」であり、図９より「街」はＺ２＜α２を満たすため、ここでも表示キーワードは決定されず、さらに上位階層である第１階層の対応クラス「風景」が参照される。
【００７６】
これらより、結果として図１０に示したように、対応クラス「ダルメシアン」、「日本猫」、「海」、「山」、「空」、「田舎町」から、“動物”、“日本猫”、“自然”、“風景”が表示キーワードとして決定され、入力画像と併せて画面に表示される。なお、以上の処理における図８、図９をより詳細に説明した図が図１１である。
【００７７】
また、この状態は次の分類頻度計測処理が行われるまでメモリに記憶される。蓄積された画像の枚数が１００の倍数でない場合、分類頻度計測処理は行われず、クラス分類の結果より第３階層の対応クラスに基づいて、メモリに記憶されている参照処理に基づいて表示キーワードが決定される。
【００７８】
６．検索に応用した場合の具体例
【００７９】
ユーザーがキーワードを入力または選択をして所望の画像を検索する場合も、キーワード付与時と同様に、蓄積された撮影画像の分類頻度に応じて検索キーワードは異なる。蓄積された撮影画像から、ユーザーの興味が高いと思われるカテゴリほどより詳細なキーワードが検索キーワードとして表示される。
【００８０】
検索に用いるキーワードは図５に示すような階層構造で、第１階層のクラスのキーワードからユーザーが選択するとし、ユーザーが検索キーワードを入力してから画像が表示されるまでの処理の流れを図１２に示す。
【００８１】
まず、ユーザーにより選択された第１階層のクラスのキーワードが入力される（Ｓ１０１）。次に、入力されたキーワードの第３階層のクラスを選択する（Ｓ１０２）。この際、入力されたキーワードの第３階層全てのクラスに対して処理を行う。
【００８２】
次に、キーワード付与時に第３階層の対応クラスのキーワードが付与されたか否かを判断する（Ｓ１０３）。第３階層の対応クラスのキーワードが付与された場合は第３階層を指定し（Ｓ１０４）、第２階層および第１階層のキーワードが付与された場合は第２階層を指定する（Ｓ１０５）。
【００８３】
こうして指定された階層全てのキーワードを検索候補キーワードとし（Ｓ１０６）、表示する（Ｓ１０７）。
【００８４】
さらにユーザーにより表示されたキーワードの中から検索キーワードが選択され（Ｓ１０８）、選択された検索キーワードを用いて画像検索処理が実施される（Ｓ１０９）。
【００８５】
例えば、ユーザーが「動物」というキーワードを選択した場合、図５よりまず第３階層の「チワワ」、「ダルメシアン」、「柴犬」、「ペルシャ」、「アビシニアン」、「日本猫」、「インコ」、「鳩」のクラスが選択される。この全てのクラスに対して、どの階層のキーワードが付与されたかを判断する。「日本猫」のみが第３階層を参照されたとすると、「日本猫」のみ第３階層が指定され、その他のクラスは第２階層が指定されるため、“犬”、“猫”、“日本猫”、“鳥”というキーワードが検索キーワードとして表示される。
【００８６】
また、第３階層の「ペルシャ」と「アビシニアン」をまとめて“その他の猫”として検索キーワードに追加してもよい。“日本猫”が検索キーワードとして用いられている以上、日本猫の画像は多数あることが想定される。そのため、“日本猫”の上位概念である“猫”をキーワードとして検索しても、多数の日本猫画像を含む大量の猫画像がヒットしてしまい、目的の画像を見つけることが困難である。つまり、下位概念の“日本猫”と上位概念の“猫”が同時に現れた場合には、上位概念の“猫”は“日本猫”以外の下位概念に起因するキーワードであると判断することができる。よってこの場合、「ペルシャ」「アビシニアン」に対応するキーワードとして“その他の猫”を検索キーワードに表示することで、“日本猫”を検索対象から除外することができるため、より効率的な検索が可能となる。
【００８７】
７．変形例
【００８８】
クラス（キーワード）の階層構造は、ある１つのクラスに対して上位階層のクラスが複数候補ある場合もある。各階層は独立しており、分類頻度により上位階層クラスのキーワードを参照する場合は、全ての階層のクラスのキーワードを参照する。
【００８９】
例えば、図１３は「動物」の階層とは別に「色」の階層がある場合を示し、「日本猫」のクラスを例にすると、上位階層が参照された場合、“猫”と“白”が参照される。
【００９０】
以上の本実施形態では、図１に示したように、キーワード付与装置は、複数のキーワードが第１〜第Ｎの階層からなるクラスに分類（例えば図５のような分類）されている場合に入力画像の特徴量に基づいて対応クラスを特定するクラス特定部１６と、複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測部１９と、参照対象階層を決定する参照対象階層決定部２０と、参照対象階層決定部２０により最終的に参照された参照対象階層における対応クラスのキーワードを表示キーワードとして決定するキーワード決定部２３と、を含む。そして、参照対象階層決定部２０は、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層における分類頻度の値に基づいて、第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、第ｋの階層を次の参照対象階層として決定する。
【００９１】
ここで、対応クラスとは、入力画像に対応するクラスのことである。例えば、図６のような入力画像が得られ、クラス分類が図５であるような場合には、「ダルメシアン」、「日本猫」、「海」、「山」、「空」、「田舎町」が第３階層の対応クラスとなる。なお、本実施形態では上位階層である第２階層の「犬」、「猫」、「自然」、「街」及び第１階層の「動物」、「風景」も対応クラスとして取り扱う。また、参照対象階層とは、分類頻度の参照を行う階層のことである。上述したように、所定枚数（例えば１００枚）の画像が取得された時点で、全てのクラスに対して分類頻度が計測される。分類頻度は階層ごとに計測されるものであり、参照対象階層とは、どの階層における分類頻度を処理に用いるかを表すものである。
【００９２】
これにより、各クラスで分類頻度を計測し、その中で特定の階層を参照対象階層として、参照対象階層について、計測した分類頻度を用いて処理を行うことができる。具体的には参照対象階層における分類頻度に基づいて、さらに上位の階層を参照する必要があるかどうかの判定を行い、参照の必要がある場合には上位の階層を次の参照対象階層として参照する。よって、分類頻度に基づいて、必要に応じて、下の階層から上の階層へ参照を行って行くことが可能になる。最終的に参照した階層におけるキーワードが表示キーワードとして決定されることに鑑みれば、下位の階層におけるキーワードを優先しつつ、かつ、上位の階層におけるキーワードも必要に応じて付与することが可能なキーワード付与装置を実現することができる。
【００９３】
また、参照対象階層決定部２０は、第ｊの階層における分類頻度に基づいて、第ｊの階層よりも上位の階層への参照が必要ないと判定された場合には、第ｊの階層を最終的な参照対象階層として決定する。そして、キーワード決定部２３は、第ｊの階層における対応クラスのキーワードを入力画像の付与する表示キーワードとして決定する。
【００９４】
これにより、上位の階層の参照が必要ないと判定された場合には、上位の階層への参照処理を終了して、そのときの参照対象階層を最終的な参照対象階層として決定することができる。つまり、下位の階層からスタートして、より上位の階層へと移行して行く参照処理を途中で止めることができるため、任意の階層におけるキーワードを表示キーワードとして決定することが可能になる。
【００９５】
また、参照対象階層決定部２０は、最も下の階層である第Ｎの階層を最初の参照対象階層として決定するとともに、第Ｎの階層における分類頻度に基づいて、第Ｎの階層よりも上位の階層への参照が必要か否かの判定を行う。図５の例であれば、第３階層を最初の参照対象階層として決定する。そして、上位階層の参照が必要な場合は、上位の階層を次の参照対象階層として決定する。参照が必要でない場合は、第Ｎの階層を最終的な参照対象階層として決定し、第Ｎの階層における対応クラスのキーワードを、入力画像に付与する表示キーワードとして決定する。
【００９６】
これにより、最も下の階層を参照処理のスタートとして用いることが可能になる。参照処理は専ら下から上への方向で行われるため、開始を中位の階層にしたのでは、それより下の階層への参照はできなくなってしまう。そのため、最も下の階層から処理を開始することは任意の階層の参照を可能にするという観点から非常に重要である。
【００９７】
また、第ｊの階層における、対応クラスの分類頻度の値が所与の閾値よりも小さい場合には、参照対象階層決定部２０は上位の階層である第ｋの階層を次の参照対象階層として決定してもよい。また、第ｊの階層における、対応クラスの分類頻度の値が所与の閾値よりも大きい場合には、参照対象階層決定部２０は上位の階層への参照を終了して、第ｊの階層を最終的な参照対象階層として決定してもよい。
【００９８】
これにより、上位の階層への参照が必要か否かを閾値との比較処理により行うことが可能になる。閾値よりも小さい場合に上位階層の参照を行い、閾値よりも大きい場合に参照を行わないようにすることで、頻度の高いものについては下位階層のキーワードが付与され、頻度の低いものについては上位階層のキーワードが付与されることになる。この際、第ｊの階層における閾値と、第ｋの階層における閾値とを異ならせることにより、さらに柔軟な処理が可能になる。
【００９９】
また、クラス特定部１６において、複数の入力画像の各入力画像に対して、１又は複数の対応クラスが特定された場合に、分類頻度は以下のようにして求められる。すなわち、所与の階層に属する全てのクラスのクラス特定回数の総和をｍとし、分類頻度参照対象クラスのクラス特定回数をｎとしたときに、分類頻度はｎ／ｍに基づいて求められる。
【０１００】
ここで、クラス特定回数とは、各クラスがクラス特定部１６において特定された回数のことである。図６の画像が入力された場合には、「ダルメシアン」、「日本猫」、「海」、「山」、「空」、「田舎町」が対応クラスとして特定されるため、この６つのクラスのクラス特定回数が１増えることになる。
【０１０１】
これにより、簡単な式により分類頻度を求めることが可能になるため、処理を容易にすることができる。入力画像が入力された際には、キーワード付与のために対応クラスを特定する処理は必ず必要である。よって、分類頻度計測のために特有の処理を行う必要がなく、キーワード付与処理の中で自然に分類頻度を求めることができる。
【０１０２】
また、キーワード付与装置は、図１に示したように、キーワード決定部２３で決定したキーワードを表示するキーワード表示部２４を含んでもよい。そして、キーワード表示部２４は、参照対象階層決定部２０で参照された階層以外の対応クラスのキーワードを候補として提示してもよい。
【０１０３】
これにより、キーワードを表示することが可能になる。また、本実施形態の手法では、下位概念となるキーワードと、その下位概念を包含する上位概念となるキーワードが同時に付与されるようなケースが考えられる。そのため、上位概念のキーワードを表示する有効性に乏しい可能性がある。上述した例では図６の画像に対して“日本猫”と“動物”というキーワードが付与されるが、“動物”というキーワードは検索に用いたとしてもあまり有用ではない（たくさんの日本猫の画像も“動物”に該当してしまうため）。よって、この“動物”は「ダルメシアン」に起因することを考えれば、あえて“動物”の下位概念である“犬”をキーワードとして表示した方が、検索をスムーズにすることができる。
【０１０４】
また、第１〜第Ｎの階層からなるクラスは、下位の階層に行くに従い、より詳細なキーワードに対応してもよい。
【０１０５】
これにより、下位の階層が下位概念であり、上位の階層が上位概念となるクラス分類を構成することができる。よって、上述したように、頻度が高ければ下位の階層のキーワードを付与し、頻度が低ければ上位の階層のキーワードを付与するキーワード付与装置においては、頻度が高ければ詳細なキーワードが付与され、頻度が低ければ荒いキーワードが付与されることになる。そのため、ユーザーの嗜好等を反映したキーワード付与が可能になる。
【０１０６】
また、本実施形態の手法は、複数のキーワードが第１〜第Ｎの階層からなるクラスに分類（例えば図５のような分類）されている場合に入力画像の特徴量に基づいて対応クラスを特定するクラス特定手順と、複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測手順と、参照対象階層を決定する参照対象階層決定手順と、参照対象階層決定部２０により最終的に参照された参照対象階層における対応クラスのキーワードを表示キーワードとして決定するキーワード決定手順と、をコンピュータに実行させるためのプログラムにも適用できる。そして、参照対象階層決定手順では、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層における分類頻度の値に基づいて、第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、第ｋの階層を次の参照対象階層として決定する。
【０１０７】
これにより、本実施形態は、撮像装置のように、画像を取得し、システム内でキーワード付与処理を行うものに限定されず、例えば、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うものにも適用することが可能になる。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリやＲＡＭ等のメモリなど、光学式検出システムによって読み取り可能な種々の記録媒体を想定できる。
【０１０８】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またキーワード付与装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１０９】
１２ メモリ、１４ 画像取得部、１５ 特徴量抽出部、１６ クラス特定部、
１８ 画像枚数測定部、１９ 分類頻度計測部、２０ 参照対象階層決定部、
２３ キーワード決定部、２４ キーワード表示部
【技術分野】
【０００１】
本発明は、キーワード付与装置、プログラム及び情報記憶媒体等に関する。
【背景技術】
【０００２】
近年、メモリ等の記録媒体の大容量化に伴い、デジタルカメラで撮影した画像がデジタルカメラ内に大量に蓄積されるようになってきている。また、そのような撮影した画像は、パソコン等の外部機器に転送して蓄積され、更にインターネット等を介して収集した画像も蓄積されることとなっている。
【０００３】
そこで、各画像にキーワードを付与しておき、キーワード検索を行うことによって大量に蓄積されている画像の中から、ユーザーが所望の画像を容易に検索できるようにすることが行われている。
【０００４】
しかし、ユーザーが撮影または収集した画像に手動でキーワードを付与することは、手間や時間がかかりユーザーにとって負担となってしまう。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−０６３１７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１は、キーワード付与の対象となる画像に類似する類似画像を検索し、抽出された類似画像に付与されているキーワードを対象画像に付与する。
【０００７】
しかし、ユーザーの趣味や嗜好はある特定の分野に偏る事が多い為、その分野に関するキーワードが付与された画像ばかりが膨大な量になり、キーワードによって画像を区別する事は容易ではない。その結果、画像の検索や整理が困難になるという課題が上げられる。
【０００８】
本発明の幾つかの態様によれば、キーワードの分類頻度に応じて、入力画像に付与するキーワードの階層を変更することで、ユーザーの嗜好等を反映したキーワード付与を行うキーワード付与装置、プログラム及び情報記憶媒体等を提供することができる。
【０００９】
また、本発明の幾つかの態様によれば、ユーザーの興味が高いと思われるカテゴリにはより詳細なキーワードを付与し、興味が低いと思われるカテゴリにはより概略的なキーワードを付与することで、ユーザーの趣味や撮影被写体の傾向に応じたキーワード付与を行うことができるキーワード付与装置、プログラム及び情報記憶媒体等を提供することができる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、複数のキーワードが第１〜第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するクラス特定部と、前記複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測部と、前記分類頻度の参照を行う階層である参照対象階層を決定する参照対象階層決定部と、前記参照対象階層決定部により最終的に参照された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定するキーワード決定部と、を含み、前記参照対象階層決定部は、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層が現在の前記参照対象階層であるときに、第ｊの階層における前記対応クラスの前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定するキーワード付与装置に関係する。
【００１１】
本発明の一態様では、階層的なクラス分類がされている場合に、参照対象階層を決定し、参照対象階層における分類頻度の値に基づいて、より上位の階層を参照するか否かを決定することができる。これにより、最初の参照対象階層からより上位の階層へと連鎖的に参照を重ねて行くこと等が可能となる。
【００１２】
また、本発明の一態様では、前記参照対象階層決定部は、前記第ｊの階層における前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層への参照が必要ないと判定された場合には、前記第ｊの階層を最終的な前記参照対象階層として決定し、前記キーワード決定部は、前記第ｊの階層における、前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定してもよい。
【００１３】
これにより、上位階層への参照を途中で終了すること等が可能になる。
【００１４】
また、本発明の一態様では、前記参照対象階層決定部は、最も下の階層である第Ｎの階層を、最初の前記参照対象階層として決定するとともに、第Ｎの階層における前記分類頻度の値に基づいて、第Ｎの階層よりも上位の階層への参照が必要か否かの判定を行い、前記第Ｎの階層よりも上位の階層への参照が必要な場合には、前記参照対象階層決定部は、前記上位の階層を次の前記参照対象階層として決定し、前記第Ｎの階層よりも上位の階層への参照が必要でない場合には、前記参照対象階層決定部は、前記第Ｎの階層を最終的な前記参照対象階層として決定し、前記キーワード決定部は、前記第Ｎの階層における、前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定してもよい。
【００１５】
これにより、最も下の階層を参照処理の開始階層として決定することが可能になるため、任意の階層に属する対応クラスのキーワードを表示キーワードとして入力画像に付与すること等が可能になる。
【００１６】
また、本発明の一態様では、前記第ｊの階層における、前記対応クラスの分類頻度の値が所与の閾値よりも小さい場合には、前記参照対象階層決定部は、前記第ｊの階層よりも上位の階層である前記第ｋの階層を次の前記参照対象階層として決定し、前記第ｊの階層における、前記対応クラスの分類頻度の値が所与の閾値よりも大きい場合には、前記参照対象階層決定部は、上位の階層への参照を終了し、前記第ｊの階層を最終的な前記参照対象階層として決定してもよい。
【００１７】
これにより、閾値との比較により、上位の階層への参照が必要か否かの判定を行うこと等が可能になる。
【００１８】
また、本発明の一態様では、前記クラス特定部において、複数の前記入力画像の各入力画像に対して、１又は複数の対応クラスが特定され、前記参照対象階層に属する複数のクラスのクラス特定回数の総和をｍとし、分類頻度参照対象クラスのクラス特定回数をｎとした場合に、前記分類頻度計測部は、前記分類頻度を、ｎ／ｍに基づいて求めてもよい。
【００１９】
これにより、簡単な処理で分類頻度を求めることが可能になる。
【００２０】
また、本発明の一態様では、前記キーワード決定部で決定したキーワードを表示するキーワード表示部を含んでもよい。
【００２１】
これにより、入力画像に対して付与したキーワードを表示すること等が可能になる。
【００２２】
また、本発明の一態様では、前記キーワード表示部は、前記参照対象階層決定部で参照された階層以外の階層における対応クラスのキーワードも候補として提示してもよい。
【００２３】
これにより、参照した階層以外の階層のキーワードを表示することができるため、柔軟なキーワード表示等が可能になる。
【００２４】
また、本発明の一態様では、前記第ｊの階層に属するクラスのキーワードは、前記第ｊの階層よりも上位の階層である前記第ｋの階層に属するクラスのキーワードに比べて、詳細なキーワードであってもよい。
【００２５】
これにより、詳細なキーワードから荒いキーワードへと参照を行っていくこと等が可能になる。
【００２６】
本発明の他の態様は、複数のキーワードが第１〜第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するクラス特定手順と、前記複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測手順と、前記分類頻度の参照を行う階層である参照対象階層を決定する参照対象階層決定手順と、前記参照対象階層決定手順で最終的に参照された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定するキーワード決定手順と、をコンピュータに実行させるためのプログラムであって、前記参照対象階層決定手順では、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層における前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定するプログラムに関係する。また、本発明は、上記プログラムを記憶する情報記憶媒体に関係する。
【図面の簡単な説明】
【００２７】
【図１】本実施形態のシステム構成例。
【図２】本実施形態のキーワード付与処理を説明するためのフローチャート。
【図３】上位の階層への参照処理を説明するためのフローチャート。
【図４】特徴空間とクラス分類の例。
【図５】分類木を用いてクラス分類を説明した例。
【図６】入力画像の例。
【図７】クラス分類結果を特徴空間で示した図。
【図８】第３階層における分類頻度と閾値の例。
【図９】第２階層における分類頻度と閾値の例。
【図１０】第３階層の対応クラスと付与するキーワードとの対応を説明する図。
【図１１】対応クラスから表示キーワードを決定する手法を説明する図。
【図１２】検索の際に表示するキーワードの決定処理を説明するためのフローチャート。
【図１３】１つの下位階層に対して複数の上位階層が対応する例。
【発明を実施するための形態】
【００２８】
１．本実施形態の手法
【００２９】
まず、本実施形態の手法について説明する。近年、メモリの大容量化、低価格化に伴い、デジタルカメラ等の撮像装置において大量の写真データが取得、蓄積されるようになっている。そのため、撮像装置内で所望の画像データを探し出すことが非常に困難である。また、ＰＣ等にデータを写すことを考えれば、インターネットからダウンロードされた画像データ等も混在することになり、画像データの検索はより困難になる。
【００３０】
上述の問題に対応するために、画像データに対してメタデータとしてキーワードを付与することが考えられる。例えば、後述する図６のような画像データに対しては、“犬”“猫”“風景”等のキーワードを付与する。そして、画像検索の際には、キーワードによる分類やフィルタリング等を行うことで、目的の画像データを検索しやすくする。
【００３１】
しかし、単純なキーワード付与には、ユーザーの嗜好を反映しないという問題が残る。つまり、猫を撮影することが好きなユーザーの所有する画像データは、猫の画像が大半を占めることが考えられる。その際、“猫”というキーワードを付与しても検索にはあまり有用ではない。つまり、全画像データの８０％が猫を写していたとしたら、“猫”というキーワードでフィルタリングを行ったとしても、不要データは２０パーセントしか取り除けない。そのため、結局大量の画像データの中から所望の画像データを探すことになってしまい、キーワードを付与するメリットは少なくなってしまう。
【００３２】
そこで本出願人は、ユーザーの嗜好を反映したキーワード付与の手法を提案する。具体的には、ユーザーの興味のある分野においては、より細かいキーワードを付与し、あまり興味のない分野においては、荒いキーワードを付与する。つまり、上述の猫が好きなユーザーの場合であれば、猫の画像データに対して付与するキーワードは、“日本猫”“ペルシャ”“アビシニアン”といったように、より細かいものにする。それに対して、ユーザーの関心が薄い鳥の画像に対しては“鳥”といった荒いキーワードの付与を行う。このようにすることで、特定のキーワードに画像が集中することを抑止することができる。よって、キーワード付与の効果を高めることが可能になり、画像検索の効率を向上させることができる。
【００３３】
具体的な手法については後述する。以下、構成例及び処理の詳細を説明し、次にクラス分類について説明する。そして、上位階層への参照手法とその具体例について述べた後、検索に応用する例について触れ、最後に変形例を説明する。
【００３４】
なお、以下の例においては、後述する図５のクラス分類を用いて説明する。つまり、第１の階層〜第３の階層の３層構造の例を用いるが、これに限定されないことは言うまでもない。つまり、広義には第１〜第Ｎ（Ｎは２以上の整数）の階層からなるクラス構造に対しても、本実施形態の手法は適用可能である。
【００３５】
２．構成例及び処理の詳細
【００３６】
図１は本実施形態の処理系を示し、図２はその全体の処理の流れを示したフローチャートである。以下、図１のような構成における動作を、図２のフローチャートに沿って説明する。
【００３７】
画像取得部１４は、メモリ１２からキーワード付与の対象となる画像を読み出し、読み出した対象画像（入力画像）を、特徴量抽出部１５へ入力する（Ｓ２０１）。
【００３８】
次に、特徴量抽出部１５に入力された画像から特徴量（ベクトル）を抽出し、その抽出した特徴量を、クラス特定部１６へ入力する（Ｓ２０２）。
【００３９】
次に、クラス特定部１６において、抽出した特徴量（ベクトル）の特徴空間でのクラス分類を行い、入力画像に対応するクラスである対応クラスを特定する。そして、対応クラスの特定結果を、画像枚数測定部１８及びメモリ１２へ入力する（Ｓ２０３）。なお、１枚の画像に複数の対象が含まれる場合、抽出される特徴量（ベクトル）は１つとは限らず、複数の特徴量（ベクトル）が抽出されることもある。複数の特徴量（ベクトル）が抽出された場合は、１枚の画像から同一階層において複数の対応クラスが特定されることになる。
【００４０】
ここで、対応クラスとは例えば、第１〜第３階層（広義には第１〜第Ｎ階層）の全てから選択されるものとする。例えば、入力画像に日本猫が含まれていた場合には、第３階層において、「日本猫」クラスが特定される。それと同時に、「日本猫」の上位クラスである第２階層の「猫」及び第１階層の「動物」も対応クラスとして特定される。そして、後述するように下位階層の対応クラスに対して参照必要性が判定され、参照が必要な場合は、上位階層の対応クラスを参照し処理が行われることになる。ただし、本実施形態においては、「下位階層の対応クラス」と「前記下位階層の対応クラスとツリー構造で結ばれている上位階層のクラス」との関連づけができれば十分であり、それは学習により取得した図５のようなツリー構造データを保持しておけば足りる。よって、対応クラスは最も下のクラスから選択され、上位階層のクラスからは選択されないものとしてもよい。
【００４１】
画像枚数測定部１８は、クラス特定部１６から入力される信号より、何枚の入力画像が処理されたかを測定している。この画像枚数測定部１８の測定結果により、所定数枚、ここでは１００の倍数枚の対象画像を処理したかどうか判別する（Ｓ２０４）。まだ１００の倍数枚の対象画像を処理していない場合には、下記Ｓ２０８へ進み、第３階層のクラスに対応するキーワードを表示キーワードとして選択する。
【００４２】
次に、最初の参照対象階層を第３階層に決定し（Ｓ２０５）、分類頻度計測部１９で、メモリ１２に蓄積されているクラス特定済みの画像から、各クラスの分類頻度Ｚを計測する（Ｓ２０６）。分類頻度計測部１９では、既にクラス特定済みの全画像における全体の特徴量の数をｍとし、クラス内の特徴量の数をｎとし、下式（１）により、クラス毎に分類頻度Ｚ［％］を計測する（Ｓ２０６）。
【００４３】
Ｚ＝１００×ｎ／ｍ ・・・・・（１）
【００４４】
具体的には、１００枚の画像において各クラスが特定された回数の総和がｍに対応し、分類頻度計測対象クラスが特定された回数がｎになる。さらに具体的には例えば、１００枚の画像において、３００回クラスが特定された（のべ３００個の特徴量が抽出された）場合にｍ＝３００となる。また、その中で、分類頻度計測対象クラスが特定された回数がｎとなる。そのため、例えば「日本猫」が特定された回数が６０回だった（６０回「日本猫」に対応する特徴量が抽出された）場合には、ｎ＝６０となり、「日本猫」の分類頻度はＺ＝１００×ｎ／ｍ＝１００×６０／３００＝２０［％］となる。
【００４５】
なお、分類頻度の計測は階層ごとに行われる。図５の例で言えば、まず、第３階層において各クラスの分類頻度が計測される。そして、第２階層は第２階層で分類頻度が計測される。第２階層における分類頻度の計測は、第３階層の計測結果を用いることが可能である。つまり例えば、「チワワ」「ダルメシアン」「柴犬」のクラス特定回数の総和を「犬」のクラス特定回数として用いればよい。もっと簡単に、「チワワ」「ダルメシアン」「柴犬」の分類頻度の和を「犬」の分類頻度としてもよい。ただし、このような処理は、下位階層のクラスにより、上位階層のクラスが網羅されている必要があることに注意が必要である。つまり、「犬」に属しつつ「チワワ」にも「ダルメシアン」にも「柴犬」にも属さないような特徴量が抽出され、かつ、そのような特徴量を「チワワ」「ダルメシアン」「柴犬」のいずれかに強制的に割り振るよう設定されていなければ、下位階層のクラスのクラス特定回数の和と上位階層のクラスのクラス特定回数が一致しなくなる可能性がある。
【００４６】
こうして計測された各クラスの分類頻度は、参照する階層を決定し、他階層の参照が必要であるか否かを判断する参照対象階層決定部２０へ入力される。
【００４７】
次に、参照対象階層決定部２０で、現在参照している階層における分類頻度に基づいて、上位階層の参照が必要であるか否かを判定する（Ｓ２０７）。上位階層の参照が必要であるか否かは、クラス毎に分類頻度がある所定の値α未満であるか否かを計測することによって判定される。このαの値は、全クラスの分類頻度の平均値よりも大きい値が好適である。
【００４８】
分類頻度がα未満であるクラスが存在する場合は、上位の階層の参照を行う。具体的には、上位の階層を次の参照対象階層として決定する。そして、上位の階層における分類頻度と閾値α（上述のαとは別の値であってもよい）との比較を行い、さらに上位の階層の参照が必要であるか否かを判断する。
【００４９】
また上位の階層の参照が必要でないと判断されたクラスは、キーワード決定部２３において、現在参照している階層のクラスに対応するキーワードを表示キーワードとして決定する（Ｓ２１０）。
【００５０】
キーワード決定部２３で決定されたキーワード情報はキーワード表示部２４へ入力され、メモリ１２から入力された入力画像と併せて表示される（Ｓ２１１）。
【００５１】
ここで、分類頻度計測部１９では、全てのクラスに対して処理が行われ、その結果がメモリ１２に記憶される。つまり、日本猫の画像が入力され、「日本猫」クラスについて処理が行われるような場合にも、分類頻度の計測は「日本猫」のみに限定する必要はない。同時に「チワワ」「ダルメシアン」他、全てのクラス（上位階層のクラスを含む）について分類頻度の計測を行っておけば、他の入力画像が入力された場合にも、再度分類頻度の計測処理を行うことなく、キーワードを付与することができる。
【００５２】
また、参照対象階層決定部２０での処理も、全てのクラスに対して行われてもよい。各クラスの分類頻度が計測されれば、閾値αは設定により定められるため、現在の入力画像とは無関係に全てのクラスの参照関係を決定することができる。つまり、「日本猫」については分類頻度が高いので“日本猫”をキーワードとして付与する。「ダルメシアン」は第２階層まで参照して“犬”をキーワードとして付与する。「田舎町」は第２階層の参照でも足りず、第１階層を参照して“風景”がキーワードとして付与される等の対応付けを決定することが可能である。このようにしておけば、入力画像が入力された際に、改めて参照必要性の判定を行う必要がない。例えば、「ダルメシアン」「日本猫」「田舎町」が第３階層の対応クラスとして特定されるような入力画像に対しては、参照必要性を再度判定することなく、“犬”“日本猫”“風景”といったキーワードを付与することができる。
【００５３】
３．クラス分類について
【００５４】
ここで、クラス分類について、詳細に説明する。クラス特定部１６は、予め設定されたクラス分類を学習している。その学習過程では、先ず、予め人間によって正しいキーワードを付与された画像（学習データ）を用意し、これらの画像から特徴量（ベクトル）を抽出して、クラス特定部１６に入力する。ここで、特徴量は、色相、彩度、輝度、形状、大きさ、位置、など画像自体に含まれる様々の特徴量や、Ｅｘｉｆ情報に含まれるＩＳＯ感度等の撮影情報のような画像に付加されている様々の特徴量の中から、学習データの分類に適した如何なる特徴量を用いても良い。なお、上記特徴量抽出部１５は、この学習過程で採用した特徴量を抽出するものとなっている。
【００５５】
そして、クラス特定部１６では、入力された画像（学習データ）の特徴量（ベクトル）を、図４に示すように特徴空間に配置し、同じキーワードを付与された画像が特徴空間で同じクラスに分類されるよう、分類境界を形成する。このクラス分類には如何なる手法を用いても良いが、例えばｋ−近傍法を用いる。なお、図４の特徴空間は、簡略化のために２次元空間として示しているだけであり、実際にはＮ次元空間である。ここでＮは任意の自然数を表している。
【００５６】
図４において、黒い丸で示された印が入力画像のデータに対応し、閉領域が各キーワードに対応するクラスの分類境界を表す。実線で描かれた閉領域がクラス分類で用いられ、点線で描かれた閉領域は後述の図５に示す分類木との対応をわかりやすくするために示したものである。
【００５７】
また、人間が画像に付与するキーワードは、例えば図５に示すような階層構造を持っており、上位の階層のキーワードは特徴空間においてより大きな領域を占め、下位の階層のキーワードの領域を包含する。なお、図５に示す分類木は一例に過ぎず、キーワードや階層数はこれに限定されない。
【００５８】
４．上位階層の参照
【００５９】
ここで、図２のフローチャートのＳ２０９の上位階層の参照について、詳細に説明する。またクラスが図５に示すような３階層の階層構造を持つ場合について、キーワード参照の詳細な流れを図３に示す。
【００６０】
第３階層および第２階層のクラスの分類頻度をそれぞれＺ３、Ｚ２とし、第３階層および第２階層での閾値をα３、α２とする。
【００６１】
参照対象階層決定部２０（Ｓ２０７）で第３階層のクラスの分類頻度Ｚ３が閾値α３未満であり、キーワードの参照が必要と判断された場合、さらに第２階層のクラスの分類頻度Ｚ２が閾値α２未満であるかどうかを判定する（Ｓ２０９１）。この際、第２階層のクラスの分類頻度Ｚ２は、第２階層に包含される第３階層の全てのクラスの特徴量の数を総和した数を用いる。ある第２階層に包含される第３階層の各クラスの特徴量の数がそれぞれａ１、ａ２、…ａｎであったとすると、この第２階層のクラスの特徴量の数ｎ２[個]は、下式（２）のようになる。
【数１】
【００６２】
よって、第２階層全体の特徴量の数をｍ２[個]とすると、分類頻度Ｚ２は、下式（３）のようになる。
【００６３】
Ｚ２＝１００×ｎ２／ｍ２ ・・・・・（３）
【００６４】
第２階層の分類頻度Ｚ２が閾値α２未満でない場合は、第２階層のキーワードが参照され（Ｓ２０９２）、第２階層の分類頻度Ｚ２が閾値α２未満である場合は、第１階層のキーワードが参照される（Ｓ２０９３）。なお、閾値α３、α２は、大小関係が必ずしもα３＞α２となるとは限らない。
【００６５】
５．上位階層の参照の具体例
【００６６】
画像が入力されて、キーワードが表示されるまでの流れの具体例を説明する。図６のような画像が入力されたとし、クラス分類結果を特徴空間で示したものが図７、キーワードを分類木で示したものが図５とする。
【００６７】
まず、入力画像から特徴量が抽出され、図４に示すクラス構造に基づいて対応クラスが特定される。図７にクラス特定の結果を特徴空間で示したものを示す。
【００６８】
クラス特定の結果、入力画像から抽出された特徴量に対応する対応クラスは、「ダルメシアン」、「日本猫」、「海」、「山」、「空」、「田舎町」の各クラスであると特定される。
【００６９】
次に、蓄積された画像の枚数ｘが１００の倍数であるとすると、各クラスの分類頻度Ｚ３がそれぞれ計測される。計測結果のグラフを図８に示す。○で囲まれたクラスが、対応クラスである。また、閾値α３をα３=４０とし、グラフ上に点線で示した。
【００７０】
図８より、○で囲まれたクラスのうちＺ３＜α３を満たさないのは、「日本猫」のクラスである。よって、「日本猫」のクラスは現在の参照対象階層の対応クラスのキーワードである“日本猫”が表示キーワードとして決定される。
【００７１】
また、○で囲まれた対応クラスのうち、Ｚ３＜α３を満たすクラスは「ダルメシアン」、「海」、「山」、「空」、「田舎町」である。これらの５つの対応クラスについてはこの時点では表示キーワードは決定されず、上位の階層である第２階層の参照が行われる。
【００７２】
次に、第２階層のクラスの出現頻度Ｚ２が計測される。計測結果のグラフを図９に示す。○で囲まれたクラスが、第２階層における対応クラスである。第２階層の閾値α２をα２=３０とし、グラフ上に点線で示した。
【００７３】
「ダルメシアン」の第２階層のクラスは図５より「犬」であり、図９より「犬」はＺ２＜α２を満たすため、ここでも表示キーワードは決定されず、さらに上位階層である第１階層の対応クラス「動物」が参照される。
【００７４】
「海」、「山」、「空」の第２階層のクラスは「自然」であり、図９より「自然」はＺ２＜α２を満たさないため、第２階層のクラスのキーワード“自然”が表示キーワードとして決定される。
【００７５】
「田舎町」の第２階層の対応クラスは「街」であり、図９より「街」はＺ２＜α２を満たすため、ここでも表示キーワードは決定されず、さらに上位階層である第１階層の対応クラス「風景」が参照される。
【００７６】
これらより、結果として図１０に示したように、対応クラス「ダルメシアン」、「日本猫」、「海」、「山」、「空」、「田舎町」から、“動物”、“日本猫”、“自然”、“風景”が表示キーワードとして決定され、入力画像と併せて画面に表示される。なお、以上の処理における図８、図９をより詳細に説明した図が図１１である。
【００７７】
また、この状態は次の分類頻度計測処理が行われるまでメモリに記憶される。蓄積された画像の枚数が１００の倍数でない場合、分類頻度計測処理は行われず、クラス分類の結果より第３階層の対応クラスに基づいて、メモリに記憶されている参照処理に基づいて表示キーワードが決定される。
【００７８】
６．検索に応用した場合の具体例
【００７９】
ユーザーがキーワードを入力または選択をして所望の画像を検索する場合も、キーワード付与時と同様に、蓄積された撮影画像の分類頻度に応じて検索キーワードは異なる。蓄積された撮影画像から、ユーザーの興味が高いと思われるカテゴリほどより詳細なキーワードが検索キーワードとして表示される。
【００８０】
検索に用いるキーワードは図５に示すような階層構造で、第１階層のクラスのキーワードからユーザーが選択するとし、ユーザーが検索キーワードを入力してから画像が表示されるまでの処理の流れを図１２に示す。
【００８１】
まず、ユーザーにより選択された第１階層のクラスのキーワードが入力される（Ｓ１０１）。次に、入力されたキーワードの第３階層のクラスを選択する（Ｓ１０２）。この際、入力されたキーワードの第３階層全てのクラスに対して処理を行う。
【００８２】
次に、キーワード付与時に第３階層の対応クラスのキーワードが付与されたか否かを判断する（Ｓ１０３）。第３階層の対応クラスのキーワードが付与された場合は第３階層を指定し（Ｓ１０４）、第２階層および第１階層のキーワードが付与された場合は第２階層を指定する（Ｓ１０５）。
【００８３】
こうして指定された階層全てのキーワードを検索候補キーワードとし（Ｓ１０６）、表示する（Ｓ１０７）。
【００８４】
さらにユーザーにより表示されたキーワードの中から検索キーワードが選択され（Ｓ１０８）、選択された検索キーワードを用いて画像検索処理が実施される（Ｓ１０９）。
【００８５】
例えば、ユーザーが「動物」というキーワードを選択した場合、図５よりまず第３階層の「チワワ」、「ダルメシアン」、「柴犬」、「ペルシャ」、「アビシニアン」、「日本猫」、「インコ」、「鳩」のクラスが選択される。この全てのクラスに対して、どの階層のキーワードが付与されたかを判断する。「日本猫」のみが第３階層を参照されたとすると、「日本猫」のみ第３階層が指定され、その他のクラスは第２階層が指定されるため、“犬”、“猫”、“日本猫”、“鳥”というキーワードが検索キーワードとして表示される。
【００８６】
また、第３階層の「ペルシャ」と「アビシニアン」をまとめて“その他の猫”として検索キーワードに追加してもよい。“日本猫”が検索キーワードとして用いられている以上、日本猫の画像は多数あることが想定される。そのため、“日本猫”の上位概念である“猫”をキーワードとして検索しても、多数の日本猫画像を含む大量の猫画像がヒットしてしまい、目的の画像を見つけることが困難である。つまり、下位概念の“日本猫”と上位概念の“猫”が同時に現れた場合には、上位概念の“猫”は“日本猫”以外の下位概念に起因するキーワードであると判断することができる。よってこの場合、「ペルシャ」「アビシニアン」に対応するキーワードとして“その他の猫”を検索キーワードに表示することで、“日本猫”を検索対象から除外することができるため、より効率的な検索が可能となる。
【００８７】
７．変形例
【００８８】
クラス（キーワード）の階層構造は、ある１つのクラスに対して上位階層のクラスが複数候補ある場合もある。各階層は独立しており、分類頻度により上位階層クラスのキーワードを参照する場合は、全ての階層のクラスのキーワードを参照する。
【００８９】
例えば、図１３は「動物」の階層とは別に「色」の階層がある場合を示し、「日本猫」のクラスを例にすると、上位階層が参照された場合、“猫”と“白”が参照される。
【００９０】
以上の本実施形態では、図１に示したように、キーワード付与装置は、複数のキーワードが第１〜第Ｎの階層からなるクラスに分類（例えば図５のような分類）されている場合に入力画像の特徴量に基づいて対応クラスを特定するクラス特定部１６と、複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測部１９と、参照対象階層を決定する参照対象階層決定部２０と、参照対象階層決定部２０により最終的に参照された参照対象階層における対応クラスのキーワードを表示キーワードとして決定するキーワード決定部２３と、を含む。そして、参照対象階層決定部２０は、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層における分類頻度の値に基づいて、第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、第ｋの階層を次の参照対象階層として決定する。
【００９１】
ここで、対応クラスとは、入力画像に対応するクラスのことである。例えば、図６のような入力画像が得られ、クラス分類が図５であるような場合には、「ダルメシアン」、「日本猫」、「海」、「山」、「空」、「田舎町」が第３階層の対応クラスとなる。なお、本実施形態では上位階層である第２階層の「犬」、「猫」、「自然」、「街」及び第１階層の「動物」、「風景」も対応クラスとして取り扱う。また、参照対象階層とは、分類頻度の参照を行う階層のことである。上述したように、所定枚数（例えば１００枚）の画像が取得された時点で、全てのクラスに対して分類頻度が計測される。分類頻度は階層ごとに計測されるものであり、参照対象階層とは、どの階層における分類頻度を処理に用いるかを表すものである。
【００９２】
これにより、各クラスで分類頻度を計測し、その中で特定の階層を参照対象階層として、参照対象階層について、計測した分類頻度を用いて処理を行うことができる。具体的には参照対象階層における分類頻度に基づいて、さらに上位の階層を参照する必要があるかどうかの判定を行い、参照の必要がある場合には上位の階層を次の参照対象階層として参照する。よって、分類頻度に基づいて、必要に応じて、下の階層から上の階層へ参照を行って行くことが可能になる。最終的に参照した階層におけるキーワードが表示キーワードとして決定されることに鑑みれば、下位の階層におけるキーワードを優先しつつ、かつ、上位の階層におけるキーワードも必要に応じて付与することが可能なキーワード付与装置を実現することができる。
【００９３】
また、参照対象階層決定部２０は、第ｊの階層における分類頻度に基づいて、第ｊの階層よりも上位の階層への参照が必要ないと判定された場合には、第ｊの階層を最終的な参照対象階層として決定する。そして、キーワード決定部２３は、第ｊの階層における対応クラスのキーワードを入力画像の付与する表示キーワードとして決定する。
【００９４】
これにより、上位の階層の参照が必要ないと判定された場合には、上位の階層への参照処理を終了して、そのときの参照対象階層を最終的な参照対象階層として決定することができる。つまり、下位の階層からスタートして、より上位の階層へと移行して行く参照処理を途中で止めることができるため、任意の階層におけるキーワードを表示キーワードとして決定することが可能になる。
【００９５】
また、参照対象階層決定部２０は、最も下の階層である第Ｎの階層を最初の参照対象階層として決定するとともに、第Ｎの階層における分類頻度に基づいて、第Ｎの階層よりも上位の階層への参照が必要か否かの判定を行う。図５の例であれば、第３階層を最初の参照対象階層として決定する。そして、上位階層の参照が必要な場合は、上位の階層を次の参照対象階層として決定する。参照が必要でない場合は、第Ｎの階層を最終的な参照対象階層として決定し、第Ｎの階層における対応クラスのキーワードを、入力画像に付与する表示キーワードとして決定する。
【００９６】
これにより、最も下の階層を参照処理のスタートとして用いることが可能になる。参照処理は専ら下から上への方向で行われるため、開始を中位の階層にしたのでは、それより下の階層への参照はできなくなってしまう。そのため、最も下の階層から処理を開始することは任意の階層の参照を可能にするという観点から非常に重要である。
【００９７】
また、第ｊの階層における、対応クラスの分類頻度の値が所与の閾値よりも小さい場合には、参照対象階層決定部２０は上位の階層である第ｋの階層を次の参照対象階層として決定してもよい。また、第ｊの階層における、対応クラスの分類頻度の値が所与の閾値よりも大きい場合には、参照対象階層決定部２０は上位の階層への参照を終了して、第ｊの階層を最終的な参照対象階層として決定してもよい。
【００９８】
これにより、上位の階層への参照が必要か否かを閾値との比較処理により行うことが可能になる。閾値よりも小さい場合に上位階層の参照を行い、閾値よりも大きい場合に参照を行わないようにすることで、頻度の高いものについては下位階層のキーワードが付与され、頻度の低いものについては上位階層のキーワードが付与されることになる。この際、第ｊの階層における閾値と、第ｋの階層における閾値とを異ならせることにより、さらに柔軟な処理が可能になる。
【００９９】
また、クラス特定部１６において、複数の入力画像の各入力画像に対して、１又は複数の対応クラスが特定された場合に、分類頻度は以下のようにして求められる。すなわち、所与の階層に属する全てのクラスのクラス特定回数の総和をｍとし、分類頻度参照対象クラスのクラス特定回数をｎとしたときに、分類頻度はｎ／ｍに基づいて求められる。
【０１００】
ここで、クラス特定回数とは、各クラスがクラス特定部１６において特定された回数のことである。図６の画像が入力された場合には、「ダルメシアン」、「日本猫」、「海」、「山」、「空」、「田舎町」が対応クラスとして特定されるため、この６つのクラスのクラス特定回数が１増えることになる。
【０１０１】
これにより、簡単な式により分類頻度を求めることが可能になるため、処理を容易にすることができる。入力画像が入力された際には、キーワード付与のために対応クラスを特定する処理は必ず必要である。よって、分類頻度計測のために特有の処理を行う必要がなく、キーワード付与処理の中で自然に分類頻度を求めることができる。
【０１０２】
また、キーワード付与装置は、図１に示したように、キーワード決定部２３で決定したキーワードを表示するキーワード表示部２４を含んでもよい。そして、キーワード表示部２４は、参照対象階層決定部２０で参照された階層以外の対応クラスのキーワードを候補として提示してもよい。
【０１０３】
これにより、キーワードを表示することが可能になる。また、本実施形態の手法では、下位概念となるキーワードと、その下位概念を包含する上位概念となるキーワードが同時に付与されるようなケースが考えられる。そのため、上位概念のキーワードを表示する有効性に乏しい可能性がある。上述した例では図６の画像に対して“日本猫”と“動物”というキーワードが付与されるが、“動物”というキーワードは検索に用いたとしてもあまり有用ではない（たくさんの日本猫の画像も“動物”に該当してしまうため）。よって、この“動物”は「ダルメシアン」に起因することを考えれば、あえて“動物”の下位概念である“犬”をキーワードとして表示した方が、検索をスムーズにすることができる。
【０１０４】
また、第１〜第Ｎの階層からなるクラスは、下位の階層に行くに従い、より詳細なキーワードに対応してもよい。
【０１０５】
これにより、下位の階層が下位概念であり、上位の階層が上位概念となるクラス分類を構成することができる。よって、上述したように、頻度が高ければ下位の階層のキーワードを付与し、頻度が低ければ上位の階層のキーワードを付与するキーワード付与装置においては、頻度が高ければ詳細なキーワードが付与され、頻度が低ければ荒いキーワードが付与されることになる。そのため、ユーザーの嗜好等を反映したキーワード付与が可能になる。
【０１０６】
また、本実施形態の手法は、複数のキーワードが第１〜第Ｎの階層からなるクラスに分類（例えば図５のような分類）されている場合に入力画像の特徴量に基づいて対応クラスを特定するクラス特定手順と、複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測手順と、参照対象階層を決定する参照対象階層決定手順と、参照対象階層決定部２０により最終的に参照された参照対象階層における対応クラスのキーワードを表示キーワードとして決定するキーワード決定手順と、をコンピュータに実行させるためのプログラムにも適用できる。そして、参照対象階層決定手順では、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層における分類頻度の値に基づいて、第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、第ｋの階層を次の参照対象階層として決定する。
【０１０７】
これにより、本実施形態は、撮像装置のように、画像を取得し、システム内でキーワード付与処理を行うものに限定されず、例えば、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うものにも適用することが可能になる。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリやＲＡＭ等のメモリなど、光学式検出システムによって読み取り可能な種々の記録媒体を想定できる。
【０１０８】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またキーワード付与装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１０９】
１２ メモリ、１４ 画像取得部、１５ 特徴量抽出部、１６ クラス特定部、
１８ 画像枚数測定部、１９ 分類頻度計測部、２０ 参照対象階層決定部、
２３ キーワード決定部、２４ キーワード表示部
【特許請求の範囲】
【請求項１】
複数のキーワードが第１〜第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するクラス特定部と、
前記複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測部と、
前記分類頻度の参照を行う階層である参照対象階層を決定する参照対象階層決定部と、
前記参照対象階層決定部により最終的に参照された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定するキーワード決定部と、
を含み、
前記参照対象階層決定部は、
第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層が現在の前記参照対象階層であるときに、第ｊの階層における前記対応クラスの前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定することを特徴とするキーワード付与装置。
【請求項２】
請求項１において、
前記参照対象階層決定部は、
前記第ｊの階層における前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層への参照が必要ないと判定された場合には、前記第ｊの階層を最終的な前記参照対象階層として決定し、
前記キーワード決定部は、
前記第ｊの階層における、前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定することを特徴とするキーワード付与装置。
【請求項３】
請求項２において、
前記参照対象階層決定部は、
最も下の階層である第Ｎの階層を、最初の前記参照対象階層として決定するとともに、
第Ｎの階層における前記分類頻度の値に基づいて、第Ｎの階層よりも上位の階層への参照が必要か否かの判定を行い、
前記第Ｎの階層よりも上位の階層への参照が必要な場合には、
前記参照対象階層決定部は、
前記上位の階層を次の前記参照対象階層として決定し、
前記第Ｎの階層よりも上位の階層への参照が必要でない場合には、
前記参照対象階層決定部は、
前記第Ｎの階層を最終的な前記参照対象階層として決定し、
前記キーワード決定部は、
前記第Ｎの階層における、前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定することを特徴とするキーワード付与装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記第ｊの階層における、前記対応クラスの分類頻度の値が所与の閾値よりも小さい場合には、
前記参照対象階層決定部は、
前記第ｊの階層よりも上位の階層である前記第ｋの階層を次の前記参照対象階層として決定し、
前記第ｊの階層における、前記対応クラスの分類頻度の値が所与の閾値よりも大きい場合には、
前記参照対象階層決定部は、
上位の階層への参照を終了し、前記第ｊの階層を最終的な前記参照対象階層として決定することを特徴とするキーワード付与装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記クラス特定部において、複数の前記入力画像の各入力画像に対して、１又は複数の対応クラスが特定され、前記参照対象階層に属する複数のクラスのクラス特定回数の総和をｍとし、分類頻度参照対象クラスのクラス特定回数をｎとした場合に、
前記分類頻度計測部は、
前記分類頻度を、ｎ／ｍに基づいて求めることを特徴とするキーワード付与装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記キーワード決定部で決定したキーワードを表示するキーワード表示部を含むことを特徴とするキーワード付与装置。
【請求項７】
請求項６において、
前記キーワード表示部は、
前記参照対象階層決定部で参照された階層以外の階層における対応クラスのキーワードも候補として提示することを特徴とするキーワード付与装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記第ｊの階層に属するクラスのキーワードは、
前記第ｊの階層よりも上位の階層である前記第ｋの階層に属するクラスのキーワードに比べて、詳細なキーワードであることを特徴とするキーワード付与装置。
【請求項９】
複数のキーワードが第１〜第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するクラス特定手順と、
前記複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測手順と、
前記分類頻度の参照を行う階層である参照対象階層を決定する参照対象階層決定手順と、
前記参照対象階層決定手順で最終的に参照された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定するキーワード決定手順と、
をコンピュータに実行させるためのプログラムであって、
前記参照対象階層決定手順では、
第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層における前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定することを特徴とするプログラム。
【請求項１０】
コンピュータ読み取り可能な情報記憶媒体であって、請求項９に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１】
複数のキーワードが第１〜第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するクラス特定部と、
前記複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測部と、
前記分類頻度の参照を行う階層である参照対象階層を決定する参照対象階層決定部と、
前記参照対象階層決定部により最終的に参照された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定するキーワード決定部と、
を含み、
前記参照対象階層決定部は、
第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層が現在の前記参照対象階層であるときに、第ｊの階層における前記対応クラスの前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定することを特徴とするキーワード付与装置。
【請求項２】
請求項１において、
前記参照対象階層決定部は、
前記第ｊの階層における前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層への参照が必要ないと判定された場合には、前記第ｊの階層を最終的な前記参照対象階層として決定し、
前記キーワード決定部は、
前記第ｊの階層における、前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定することを特徴とするキーワード付与装置。
【請求項３】
請求項２において、
前記参照対象階層決定部は、
最も下の階層である第Ｎの階層を、最初の前記参照対象階層として決定するとともに、
第Ｎの階層における前記分類頻度の値に基づいて、第Ｎの階層よりも上位の階層への参照が必要か否かの判定を行い、
前記第Ｎの階層よりも上位の階層への参照が必要な場合には、
前記参照対象階層決定部は、
前記上位の階層を次の前記参照対象階層として決定し、
前記第Ｎの階層よりも上位の階層への参照が必要でない場合には、
前記参照対象階層決定部は、
前記第Ｎの階層を最終的な前記参照対象階層として決定し、
前記キーワード決定部は、
前記第Ｎの階層における、前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定することを特徴とするキーワード付与装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記第ｊの階層における、前記対応クラスの分類頻度の値が所与の閾値よりも小さい場合には、
前記参照対象階層決定部は、
前記第ｊの階層よりも上位の階層である前記第ｋの階層を次の前記参照対象階層として決定し、
前記第ｊの階層における、前記対応クラスの分類頻度の値が所与の閾値よりも大きい場合には、
前記参照対象階層決定部は、
上位の階層への参照を終了し、前記第ｊの階層を最終的な前記参照対象階層として決定することを特徴とするキーワード付与装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記クラス特定部において、複数の前記入力画像の各入力画像に対して、１又は複数の対応クラスが特定され、前記参照対象階層に属する複数のクラスのクラス特定回数の総和をｍとし、分類頻度参照対象クラスのクラス特定回数をｎとした場合に、
前記分類頻度計測部は、
前記分類頻度を、ｎ／ｍに基づいて求めることを特徴とするキーワード付与装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記キーワード決定部で決定したキーワードを表示するキーワード表示部を含むことを特徴とするキーワード付与装置。
【請求項７】
請求項６において、
前記キーワード表示部は、
前記参照対象階層決定部で参照された階層以外の階層における対応クラスのキーワードも候補として提示することを特徴とするキーワード付与装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記第ｊの階層に属するクラスのキーワードは、
前記第ｊの階層よりも上位の階層である前記第ｋの階層に属するクラスのキーワードに比べて、詳細なキーワードであることを特徴とするキーワード付与装置。
【請求項９】
複数のキーワードが第１〜第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するクラス特定手順と、
前記複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測手順と、
前記分類頻度の参照を行う階層である参照対象階層を決定する参照対象階層決定手順と、
前記参照対象階層決定手順で最終的に参照された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定するキーワード決定手順と、
をコンピュータに実行させるためのプログラムであって、
前記参照対象階層決定手順では、
第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層における前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定することを特徴とするプログラム。
【請求項１０】
コンピュータ読み取り可能な情報記憶媒体であって、請求項９に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図６】
【公開番号】特開２０１２−１５５５２４（Ｐ２０１２−１５５５２４Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１３９６７（Ｐ２０１１−１３９６７）
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]