キーワード付与装置及びプログラム
【課題】ユーザの趣味や趣向に沿って、類似した画像に対して分類し易いキーワードを各画像に付与できるようにすること。
【解決手段】特徴量抽出回路１５は、入力画像から特徴量を抽出し、クラス分類処理回路１６は、上記特徴量抽出回路１５で抽出した特徴量に対してクラス分類を行い、分類頻度計測回路１８は、上記クラス分類処理回路１６で分類したクラス分類の頻度を計測し、キーワード付与回路１９は、上記クラス分類処理回路１６で分類したクラス分類と、上記分類頻度計測回路１８で計測した頻度と、に基づいて上記入力画像にキーワードを付与する。
【解決手段】特徴量抽出回路１５は、入力画像から特徴量を抽出し、クラス分類処理回路１６は、上記特徴量抽出回路１５で抽出した特徴量に対してクラス分類を行い、分類頻度計測回路１８は、上記クラス分類処理回路１６で分類したクラス分類の頻度を計測し、キーワード付与回路１９は、上記クラス分類処理回路１６で分類したクラス分類と、上記分類頻度計測回路１８で計測した頻度と、に基づいて上記入力画像にキーワードを付与する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の特徴量を抽出し、特徴量によって画像を識別しキーワードを自動的に付与するキーワード付与装置、及び、コンピュータをそのようなキーワード付与装置として機能させるためのプログラムに関する。
【背景技術】
【０００２】
近年、メモリ等の記録媒体の大容量化及び低価格化に伴い、デジタルカメラで撮影した画像がデジタルカメラ内に、大量に蓄積されるようになってきている。また、そのような撮影した画像は、パーソナルコンピュータ等の外部機器に転送して蓄積され、更には、該外部機器内には、そのようなユーザがデジタルカメラで撮影した画像だけでなく、インターネット等を介して収集した画像も蓄積されることとなっている。
【０００３】
そこで、各画像にキーワードを付しておき、キーワード検索を行うことによって、デジタルカメラ内或いは外部機器内に大量に蓄積されている画像の中から、ユーザが所望の画像を容易に検索できるようにすることが行われている。このキーワードは、ユーザが画像を撮影又は収集する毎に付与するのであれば、それほど手間はかからないが、既に撮影又は収集されて蓄積されている大量の画像に対して、逐一キーワードを付与していくという操作は非常に煩雑であり、時間がかかってしまうものであった。
【０００４】
そこで、例えば、特許文献１は、キーワード付与の対象となる画像に類似する類似画像を検索抽出し、その抽出された類似画像に付与されているキーワードを対象画像にも付与することで、自動的にキーワードを付与することができる手法を提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３６８３４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ユーザが撮影や収集する画像は、ユーザの趣味や趣向に強く依存し、偏る傾向があるため、特定のキーワードが偏って付与される可能性が高い。この場合、同じキーワードが付与された画像ばかりが膨大な量になり、キーワードを用いて画像の検索や整理を行うことは困難になってしまう。
【０００７】
本発明は、上記の点に鑑みてなされたもので、ユーザの趣味や趣向に沿って、類似した画像に対して分類し易いキーワードを各画像に付与することが可能なキーワード付与装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のキーワード付与装置の一態様は、
入力画像から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量に対してクラス分類を行うクラス分類手段と、
前記クラス分類手段で分類したクラス分類の頻度を計測する分類頻度計測手段と、
前記クラス分類手段で分類したクラス分類と、前記分類頻度計測手段で計測した頻度と、に基づいて前記入力画像にキーワードを付与するキーワード付与手段と、
を具備することを特徴とする。
また、本発明のプログラムの一態様は、コンピュータを、
入力画像から特徴量を抽出する特徴量抽出手段、
前記特徴量抽出手段で抽出した特徴量に対してクラス分類を行うクラス分類手段、
前記クラス分類手段で分類したクラス分類の頻度を計測する分類頻度計測手段、
前記クラス分類手段で分類したクラス分類と、前記分類頻度計測手段で計測した頻度と、に基づいて前記入力画像にキーワードを付与するキーワード付与手段、
として機能させるためのプログラムであることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、クラス分類結果と頻度とを考慮してキーワードを付与するので、頻度が高い類似画像には別のキーワードを付与することができるようになり、ユーザの趣味や趣向に沿って、類似した画像に対して分類し易いキーワードを各画像に付与することが可能なキーワード付与装置及びプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の第１実施形態に係るキーワード付与装置が適用されたデジタルカメラの構成を示す図である。
【図２】図２は、第１実施形態に係るキーワード付与装置が適用されたデジタルカメラの動作を説明するためのフローチャートを示す図である。
【図３】図３は、特徴空間における学習データの分布の例を示す図である。
【図４Ａ】図４Ａは、図３のクラス分類に対応する分類木の例を表わした図である。
【図４Ｂ】図４Ｂは、図３のクラス分類に対応する分類木の別の例を表わした図である。
【図５】図５は、ユーザが撮影した画像に対するクラス分類結果の例を示す図である。
【図６】図６は、図５の例における分類頻度を示す図である。
【図７】図７は、動物好きのユーザが撮影した画像に対するクラス分類結果の例を示す図である。
【図８】図８は、図７の例における分類頻度を示す図である。
【図９】図９は、図７の例のクラス分類結果に対しクラス分類修正を行った結果を示す図である。
【図１０】図１０は、図９のクラス分類修正結果における分類頻度を示す図である。
【図１１】図１１は、図９の例のクラス分類修正結果に対し更にクラス分類修正を行った結果を示す図である。
【図１２】図１２は、図１１のクラス分類修正結果における分類頻度を示す図である。
【図１３】図１３は、表示出力例を示す図である。
【図１４】図１４は、本発明の第１実施形態の変形例に係るキーワード付与装置が適用されたデジタルカメラの構成を示す図である。
【図１５】図１５は、本発明の第２実施形態に係るキーワード付与装置が適用されたデジタルカメラの構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態を図面を参照して説明する。
［第１実施形態］
図１に示すように、本発明の第１実施形態に係るキーワード付与装置が適用されたデジタルカメラ１０は、当該デジタルカメラ１０全体を制御するＣＰＵ１１と、撮影した画像を記録しておくメモリ１２と、該メモリ１２に記録された画像や所謂スルー画を表示するための液晶モニタ等の出力部１３と、を備える。なお、画像撮影のための構成については、周知であるので、その説明及び図示は省略する。
【００１２】
デジタルカメラ１０は、更に、画像入力部１４、特徴量抽出回路１５、クラス分類処理回路１６、画像枚数測定回路１７、分類頻度計測回路１８、キーワード付与回路１９、及び出力制御回路２０を備える。ここで、キーワード付与回路１９は、クラス分類修正回路１９Ａを有している。
【００１３】
画像入力部１４は、ＣＰＵ１１、メモリ１２及び特徴量抽出回路１５に接続されている。特徴量抽出回路１５は、ＣＰＵ１１及びクラス分類処理回路１６に接続されている。クラス分類処理回路１６は、ＣＰＵ１１、メモリ１２及び画像枚数測定回路１７に接続されている。画像枚数測定回路１７は、ＣＰＵ１１に接続されている。分類頻度計測回路１８は、ＣＰＵ１１、メモリ１２及びキーワード付与回路１９のクラス分類修正回路１９Ａに接続されている。キーワード付与回路１９のクラス分類修正回路１９Ａは、ＣＰＵ１１及びメモリ１２に接続されている。出力制御回路２０は、ＣＰＵ１１、メモリ１２及び出力部１３に接続されている。
【００１４】
以下、このような構成における動作を、図２のフローチャートに沿って説明する。
【００１５】
ＣＰＵ１１は、画像入力部１４に、メモリ１２からキーワード付与の対象となる画像を読み出させ、その読み出した対象画像を、例えば特徴量抽出手段として機能する特徴量抽出回路１５へ入力させる（ステップＳ１１）。次に、ＣＰＵ１１は、特徴量抽出回路１５に、入力された画像から特徴量（ベクトル）を抽出させ、その抽出した特徴量を、例えばクラス分類手段として機能するクラス分類処理回路１６へ入力させる（ステップＳ１２）。
【００１６】
次に、ＣＰＵ１１は、クラス分類処理回路１６に、抽出した特徴量（ベクトル）の特徴空間でのクラス分類を行わせ、そのクラス分類結果をメモリ１２の当該対象画像に付加させると共に、画像枚数測定回路１７へ終了信号を入力させる（ステップＳ１３）。ここで、対象画像へのクラス分類結果の付加は、テーブルに記録することで対象画像に関連付けるものであっても良いが、パーソナルコンピュータ等の外部機器への対象画像の移動等を考慮して、対象画像のファイルヘッダ（例えばＥｘｉｆ情報）に追記するような形式で、画像と一体的に移動・削除されるように付加することが望ましい。
【００１７】
ここで、クラス分類について、詳細に説明する。
クラス分類処理回路１６は、予め設定されたクラス分類を学習している。その学習過程では、先ず、予め人間によって正しいキーワードを付与された画像（学習データ）を用意し、これらの画像から特徴量（ベクトル）を抽出して、クラス分類処理回路１６に入力する。ここで、特徴量は、色相、彩度、輝度、形状、大きさ、位置、など画像自体に含まれる様々の特徴量や、Ｅｘｉｆ情報に含まれるＩＳＯ感度等の撮影情報のような画像に付加されている様々の特徴量の中から、学習データの分類に適した如何なる特徴量を用いても良い。なお、上記特徴量抽出回路１５は、この学習過程で採用した特徴量を抽出するものとなっている。そして、クラス分類処理回路１６では、入力された画像（学習データ）の特徴量（ベクトル）を、図３に示すように特徴空間に配置し、同じキーワードを付与された画像が特徴空間で同じクラスに分類されるよう、分類境界を形成する。このクラス分類には如何なる手法を用いても良いが、例えばｋ−近傍法を用いる。図３において×印が各学習データに対応し、閉領域が各キーワードに対応するクラスの分類境界を表す。なお、図３の特徴空間は、簡略化のために２次元空間として示しているだけであり、実際にはＮ次元空間である。ここでＮは任意の自然数を表している。
【００１８】
また、人間が画像に付与するキーワードは、例えば、図４Ａ或いは図４Ｂに示すような階層構造を持っており、上位の階層のキーワードは特徴空間においてより大きな領域を占め、下位の階層のキーワードの領域を包含する。なお、これら図４Ａ或いは図４Ｂに示す分類木は一例に過ぎず、キーワードや階層数はこれに限定されないことは勿論である。
【００１９】
クラス分類処理回路１６は、ＣＰＵ１１の制御の下、上記特徴量抽出回路１５から入力されたキーワード付与の対象画像の特徴量（ベクトル）を、このようにして学習したクラスの分類境界によりクラス分類を行う。すなわち、対象画像の特徴量（ベクトル）が特徴空間において何れかの閉領域に含まれる場合、その画像を閉領域に対応するクラスに分類する。なお、初期状態では、最上位層（第一階層）のクラスでの分類を行う。クラス分類処理回路１６は、１枚のキーワード付与の対象画像の処理が終了すると、終了信号を画像枚数測定回路１７に入力する。
【００２０】
画像枚数測定回路１７は、クラス分類処理回路１６から入力される終了信号により、何枚のキーワード付与の対象画像が処理されたかを測定している。ＣＰＵ１１は、この画像枚数測定回路１７の測定結果により、所定数枚、ここでは１００の倍数枚の対象画像を処理したかどうか判別する（ステップＳ１４）。まだ１００の倍数枚の対象画像を処理していない場合には、上記ステップＳ１１に戻り、次の対象画像に対する処理を実施する。
【００２１】
このようにして、ユーザが撮影した複数枚の対象画像がクラス分類されていく。その結果、図５に示すように、ユーザが撮影した画像に対するクラス分類結果が得られることとなる。
【００２２】
なお、１枚の画像から抽出される特徴量（ベクトル）は１つとは限らず、複数の特徴量（ベクトル）が抽出されることもある。そして、抽出された複数の特徴量（ベクトル）は、同一のクラスに分類される場合もあれば、複数のクラスに分類される場合もある。なお、後者の場合は、１枚の画像に複数のキーワードが同時に付与されることになる。
【００２３】
そして、上記ステップＳ１４において、１００の倍数枚の対象画像を処理したと判別した場合には、ＣＰＵ１１は、例えば分類頻度計測手段として機能する分類頻度計測回路１８に、メモリ１２に蓄積されているクラス分類済みの画像から、各クラスの分類頻度Ｚを計測させる（ステップＳ１５）。例えば、分類頻度計測回路１８では、既にクラス分類済みの全画像における全体の特徴量の数をｍ［個］、クラス内の特徴量の数をｎ［個］とし、
Ｚ ＝ １００ × ｎ ／ ｍ
により、クラス毎に分類頻度Ｚ［％］を計測する。図５のクラス分類頻度をグラフに表わしたものを図６に示す。こうして計測された各クラスの分類頻度は、例えばキーワード付与手段として機能するキーワード付与回路１９の例えばクラス分類修正手段として機能するクラス分類修正回路１９Ａに入力される。
【００２４】
次に、ＣＰＵ１１は、キーワード付与回路１９のクラス分類修正回路１９Ａに、クラス毎に分類頻度がある所定の値α以上であるか否かを判定させる（ステップＳ１６）。このαの値は、全クラスの分類頻度の平均値よりも大きい値が好適である。分類頻度がα以上であるクラスが存在する場合は、ＣＰＵ１１は、クラス分類修正回路１９Ａに、そのクラスに対してクラス分類修正処理を実施させる（ステップＳ１７）。分類頻度がα以上でないクラスには、このステップＳ１７の処理はスキップされ、ＣＰＵ１１は、クラス分類修正回路１９Ａに、各クラスに対応するキーワードを付与させる（ステップＳ１８）。
【００２５】
図６の例では、クラスによる撮影枚数の偏りが無く、上記ある所定の値α＝４０とすると、分類頻度Ｚがα以上となるクラスは存在しないため、クラス分類修正は行われない。従って、図４Ａ又は図４Ｂにおける第一階層のクラスに分類されたままとなり、メモリ１２に蓄積されているクラス分類済みの各画像に対して、その分類されたクラスに対応して「動物」、「風景」又は「人」のキーワードが付与される。この対象画像へのキーワードの付与も、上記クラス分類結果の付加と同様に、対象画像のファイルヘッダ（例えばＥｘｉｆ情報）に追記するような形式で、画像と一体的に移動・削除されるように付加することが望ましい。また、ここでは、判り易く説明するために、クラス分類結果とキーワードは同一の用語を用いて説明しているものであり、分類結果は「０００１」、「０００２」等、互いに区別できるものであれば何でも良い。
【００２６】
これにより、ＣＰＵ１１は、図示しない指示入力部のユーザ操作によって任意の画像の表示指示又はキーワード検索による画像の表示指示がなされると、例えば表示制御手段として機能する出力制御回路２０に、該当する画像及び当該画像に付与されているキーワードをメモリ１２より読み出させて、出力部１３に例えば表示出力させることが可能となる（ステップＳ１９）。
【００２７】
一方、例えば動物好きのユーザでは、デジタルカメラ１０で撮影する画像も動物を撮影したものが多くなるというように、ユーザの趣味や趣向によって画像が偏る。
【００２８】
図７は、動物の撮影枚数が多い場合のクラス分類結果の例を示しており、図８は、この図７のクラス分類結果における分類頻度をグラフに表わした図である。この場合には、図８より、「動物」のクラス分類頻度Ｚがα＝４０以上となる。従って、上記ステップＳ１６にて分類頻度がα以上であるクラスが存在すると判別されるので、ＣＰＵ１１は、上記ステップＳ１７にて、クラス分類修正回路１９Ａに、そのクラスに対してクラス分類修正処理を実施させる。
【００２９】
クラス分類修正回路１９Ａも、クラス分類処理回路１６と同様に、例えば図３に示したような学習データにより、予め設定されたクラス分類を学習している。そして、この予め学習した結果に基づいて、図９に示すように、「動物」のクラス内に、「犬」、「猫」、「鳥」の分類境界を加え、メモリ１２内の「動物」にクラス分類されている全ての画像のそれぞれを対象画像として、再度クラス分類を行うクラス分類修正を実施し、そのクラス分類修正結果を当該対象画像に付加する。このクラス分類修正結果の付加は、既に対象画像に付加されている第一階層のクラス分類を第二階層のクラス分類に更新するよりは、当該対象画像を様々なキーワードによって検索できるようになるので、第一階層のクラス分類に第二階層のクラス分類を追記する方式とすることが好ましい。
【００３０】
図１０は、この図９のクラス分類修正結果における分類頻度をグラフにした図である。この場合、図１０より、「犬」のクラス分類頻度Ｚがα＝４０以上であるため、更にこのクラスに対してクラス分類修正処理が施されることなる。すなわち、クラス分類修正回路１９Ａは、予め学習した結果（図３）に基づいて、図１１に示すように、「犬」のクラス内に、「チワワ」、「ブルドッグ」、「柴犬」の分類境界を加え、メモリ１２内の「犬」にクラス分類された画像それぞれを対象画像として、再度クラス分類を行うクラス分類修正を実施し、そのクラス分類修正結果を当該対象画像に付加する。このクラス分類修正結果の付加も、既に対象画像に付加されている第一及び第二階層のクラス分類に該第三階層のクラス分類を追記する方式とすることが好ましい。
【００３１】
図１２は、この図１１のクラス分類修正結果における分類頻度をグラフにした図である。なおこの場合、図１２より、「チワワ」のクラス分類頻度Ｚがα＝４０以上であるが、本実施形態では、三階層分しか階層化して学習していないため、それ以上のクラス分類修正は行わない。勿論、更に下位の階層のクラス分類を、図示しない指示入力部によってユーザが設定したり、図示しない通信部によりインターネット上からダウンロードして設定したりすることで、更なるクラス分類修正を行えるように構成しても良い。
【００３２】
このようにしてクラス分類の修正が行われたならば、ＣＰＵ１１は、上記ステップＳ１８にて、クラス分類修正回路１９Ａに、各クラスに対応するキーワードを付与させることとなる。例えば、図１１の例では、「チワワ」にクラス分類された画像には「動物」「犬」「チワワ」の３つのキーワードが付与される。また、「チワワ」、「ブルドッグ」、「柴犬」の何れにもクラス分類されなかった「犬」にクラス分類された画像には、「動物」「犬」の２つのキーワードが付与される。
【００３３】
以上のように、クラス分類頻度Ｚがα未満である場合のクラス分類は、第一階層のクラスに分類され、クラス分類頻度Ｚがα以上である場合は、下位に存在する階層が解放され、順にクラス分類の修正が行われる。そして、各画像に、その分類されたクラスに対応するキーワードが付与される。
【００３４】
なお、上記ステップＳ１９での画像とキーワードの出力部１３への表示出力は、例えば図１３に示すようにして行われる。すなわち、出力部１３は、例えば画像表示部１３Ａとキーワード表示部１３Ｂとから構成される。
【００３５】
ここで、キーワード表示部１３Ｂには、分類された最下位層のクラスに相当するキーワードのみが表示される。例えば、図１１の例では、画像がチワワを撮影したものであれば、キーワードとしては「動物」「犬」「チワワ」が付加されているが、出力制御回路２０は、その内の「チワワ」を読み出して、キーワード表示部１３Ｂに表示させる。また、画像がキリンを撮影したものであれば、キーワードとしては「動物」のみが付加されており、これが最下位層のクラスに相当するキーワードであるので、出力制御回路２０は、その「動物」を読み出して、キーワード表示部１３Ｂに表示させる。
【００３６】
また、キーワード表示部１３Ｂには、そのような最下位層からｎ階層分のクラスに相当するｎ個のキーワード（例えばｎ＝２で「犬」「チワワ」）を表示させるよいにしても良いし、分類さたれた全階層分のクラスに相当する全てのキーワード（例えば「動物」「犬」「チワワ」）を表示させるようにしても良い。
【００３７】
あるいは、それら３種類のキーワード表示形態の中から、ユーザが図示しない指示入力部より選択できるようにしても良い。
【００３８】
また、画像が複数のクラスに分類されている場合には、出力制御回路２０は、それぞれのクラスに相当するキーワードを読み出して、キーワード表示部１３Ｂに表示させる。例えば、子供とチワワを撮影した画像の場合、最下位層から２階層分のクラスに相当する２個のキーワードを表示する表示形態が選択されていれば、図１３の例のように、キーワード表示部１３Ｂには、「人」、「犬」、「チワワ」が表示されることとなる。
【００３９】
なお、出力部１３は、一つの液晶ディスプレイ上に画像表示部１３Ａとキーワード表示部１３Ｂとをウィンドウとして表示しても構わない。
【００４０】
あるいは、独立した表示部又はウィンドウとして画像とキーワードを並べて表示するのではなく、画像とキーワードを切り替え表示するような表示形態としても良い。
【００４１】
以上のように、本第１実施形態によれば、画像から抽出された特徴量に対して付与されたクラス分類の頻度解析を行い、さらに、頻度の高い分類を付与された画像にはより詳細な分類となるようにクラス分類を修正することで、ユーザの趣味や撮影被写体の収集傾向に応じたキーワード付与を行うことが可能となる。
【００４２】
［変形例］
本変形例においては、図１４に示すように、クラス分類処理回路１６は、ＣＰＵ１１及び画像枚数測定回路１７に接続されている。画像枚数測定回路１７は、ＣＰＵ１１及び分類頻度計測回路１８に接続されている。分類頻度計測回路１８は、ＣＰＵ１１及びキーワード付与回路１９のクラス分類修正回路１９Ａに接続されている。その他の構成は、上記第１実施形態と同様である。
【００４３】
但し、上記第１実施形態では、メモリ１２に蓄積されている画像に対して、クラス分類処理回路１６よりクラス分類結果の付加、クラス分類修正回路１９Ａよりクラス分類修正を実施するようにしていたが、本変形例は、画像入力部１４で読み出した対象画像を順次後段の回路へ入力していくことで、クラス分類結果付加、クラス分類修正等の処理を該画像に対して実施するようにするものである。そのため、本変形例では、画像枚数測定回路１７、分類頻度計測回路１８及びクラス分類修正回路１９Ａは、それぞれ、ある程度の容量（例えば、画像１００枚分以上）を持った内部メモリを備えている。
【００４４】
すなわち、上記ステップＳ１２において、ＣＰＵ１１は、特徴量抽出回路１５に、入力された対象画像から特徴量（ベクトル）を抽出させ、その抽出した特徴量と対象画像とをクラス分類処理回路１６へ入力させる。
【００４５】
次に、上記ステップＳ１３において、ＣＰＵ１１は、クラス分類処理回路１６に、抽出した特徴量（ベクトル）の特徴空間でのクラス分類を行わせ、そのクラス分類結果を、特徴量抽出回路１５から入力された対象画像に付加させて、該クラス分類結果が付加された対象画像を画像枚数測定回路１７へ入力させる。
【００４６】
画像枚数測定回路１７は、この入力されたクラス分類結果が付加された対象画像を内部メモリに蓄積していくと共に、その蓄積された対象画像の枚数を計数する機能を備える。而して、上記ステップＳ１４において、ＣＰＵ１１は、この画像枚数測定回路１７の計数結果により、所定数枚、ここでは１００の倍数枚の対象画像を処理したかどうか判別する。まだ１００の倍数枚の対象画像を処理していない場合には、上記ステップＳ１１に戻り、次の対象画像に対する処理を実施する。
【００４７】
そして、上記ステップＳ１４にて１００の倍数枚の対象画像を処理したと判別した場合には、上記ステップＳ１５において、ＣＰＵ１１は、画像枚数測定回路１７の内部メモリに蓄積されているクラス分類結果が付加された画像を、分類頻度計測回路１８の内部メモリに転送させ、該分類頻度計測回路１８に、それらの画像から各クラスの分類頻度Ｚを計測させる。
【００４８】
次に、上記ステップＳ１６において、ＣＰＵ１１は、分類頻度計測回路１８の内部メモリ蓄積されているクラス分類結果が付加された画像を、クラス分類修正回路１９Ａの内部メモリに転送させ、該クラス分類修正回路１９Ａに、クラス毎に分類頻度がある所定の値α以上であるか否かを判定させる。そして、分類頻度がα以上であるクラスが存在する場合は、ＣＰＵ１１は、クラス分類修正回路１９Ａに、そのクラスに対してクラス分類修正処理を実施させる（ステップＳ１７）。分類頻度がα以上でないクラスには、このステップＳ１７の処理はスキップされ、ＣＰＵ１１は、クラス分類修正回路１９Ａに、各クラスに対応するキーワードを付与させ、キーワードを付与した画像を、メモリ１２に記憶されている対応画像と置換して蓄積する（ステップＳ１８）。
【００４９】
図６の例では、クラスによる撮影枚数の偏りが無く、上記ある所定の値α＝４０とすると、分類頻度Ｚがα以上となるクラスは存在しないため、クラス分類修正は行われない。従って、図４Ａ又は図４Ｂにおける第一階層のクラスに分類されたままとなり、クラス分類修正回路１９Ａの内部メモリに蓄積されているクラス分類済みの各画像に対して、その分類されたクラスに対応して「動物」、「風景」又は「人」のキーワードが付与される。この対象画像へのキーワードの付与は、上記第１実施形態のように、クラス分類結果の付加と同様に、対象画像のファイルヘッダ（例えばＥｘｉｆ情報）に追記するような形式で、画像と一体的に移動・削除されるように付加するようにしても良いが、上記クラス分類結果をこのキーワードに置換するようにしても良い。
【００５０】
また、図８の例では、「動物」のクラス分類頻度Ｚがα＝４０以上となるため、クラス分類修正回路１９Ａにて、上記第１実施形態で説明したように、そのクラスに対してクラス分類修正処理が実施され、そのクラス分類の修正が行われた各画像に対して、その修正された分類されたクラスに対応して、例えば、図１１の例では、「チワワ」にクラス分類された画像には「動物」「犬」「チワワ」の３つのキーワードが付与され、また、「チワワ」、「ブルドッグ」、「柴犬」の何れにもクラス分類されなかった「犬」にクラス分類された画像には、「動物」「犬」の２つのキーワードが付与される。
【００５１】
こうして、クラス分類修正回路１９Ａは、その内部メモリに記憶した各画像に対してキーワードを付与し、それらキーワードを付与した画像を、メモリ１２に記憶されている対応画像と置換することで、メモリ１２に蓄積する。
【００５２】
以上のように、本変形例によっても、上記第１実施形態と同様に、画像から抽出された特徴量に対して付与されたクラス分類の頻度解析を行い、さらに、頻度の高い分類を付与された画像にはより詳細な分類となるようにクラス分類を修正することで、ユーザの趣味や撮影被写体の収集傾向に応じたキーワード付与を行うことが可能となる。
【００５３】
［第２実施形態］
図１５に示すように、本発明の第２実施形態に係るキーワード付与装置が適用されたデジタルカメラ１０は、キーワード付与回路１９が、上記第１実施形態におけるクラス分類修正回路１９Ａに代えて、クラス分類選択回路１９Ｂを備えている。
【００５４】
また、上記第１実施形態では、クラス分類処理回路１６は第一階層のクラス分類を行うのみであり、頻度が高くなるとキーワード付与回路１９のクラス分類修正回路１９Ａでクラス分類を修正するものとしていた。これに対して、本実施形態では、クラス分類処理回路１６は、キーワード付与対象画像について、上記第１実施形態のようにして予め学習した階層の全てのクラス分類を行ってしまい、キーワード付与回路１９の例えばクラス分類選択手段として機能するクラス分類選択回路１９Ｂが、頻度に応じた階層のクラス分類を選択して、キーワードを付与するようにしている。
【００５５】
従って、クラス分類処理回路１６は、キーワード付与対象画像が、例えばチワワを撮影した画像であれば、「動物」「犬」「チワワ」のクラス分類結果を付与し、０歳の赤ちゃんを撮影した画像であれば、「人」「赤ちゃん」「０歳」のクラス分類結果を付与することとなる。
【００５６】
そして、キーワード付与回路１９のクラス分類選択回路１９Ｂは、分類頻度計測回路１８で計測されたクラス毎の分類頻度Ｚに従って、それぞれの画像について、クラス分類の内の何れを最下位層とするかを選択し、その選択結果に従ったキーワードを当該画像に付加する。従って、例えば上記チワワを撮影した画像では、「チワワ」のクラス分類が最下位層として選択されるので、「動物」「犬」「チワワ」のキーワードが付与されることとなり、上記０歳の赤ちゃんを撮影した画像であれば、「人」「赤ちゃん」「０歳」のクラス分類結果が付与されるが、第一階層の「人」のクラス分類頻度Ｚがα＝４０以上ではないので、第一階層が最下位層であるとして選択され、「人」のキーワードのみが付与されることとなる。
【００５７】
以上のように、本第２実施形態によれば、画像から抽出された特徴量に対して複数階層のクラス分類を行って分類を付与し、その付与されたクラス分類の頻度解析を行い、さらに、頻度の高い分類が付与された画像ほどより詳細な分類となるようにクラス分類を選択することで、ユーザの趣味や撮影被写体の収集傾向に応じたキーワード付与を行うことが可能となる。
【００５８】
なお、本第２実施形態においても、メモリ１２に蓄積された画像に対してクラス分類を付加し、該クラス分類が付加されたメモリ１２の蓄積画像に対してキーワードを付与するのではなく、上記第１実施形態の変形例として説明したように、メモリ１２から読み出した処理途中の対象画像にクラス分類を付与し、結果としてのキーワードが付与された画像をメモリ１２に置換保存するというような変形が可能なことは言うまでもない。
【００５９】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６０】
例えば、クラス分類頻度は、既にクラス分類済みの全画像における特徴量の個数に対する各クラスの特徴量の個数の割合としたが、単純に、各クラスの特徴量の個数（画像枚数）としても良い。この場合のある所定の値αは、全体の撮影画像枚数に関わらず一定の値としても良いし、ユーザが設定しても良い。
【００６１】
また、第１実施形態におけるクラス分類修正回路１９Ａ又は第２実施形態におけるクラス分類処理回路１６は、第一階層から最下位層（図４Ａ及び図４Ｂの例では第三階層）まで、全てのクラスを予め学習設定するものとしたが、例えば第一階層のみを予め学習設定しておき、第二階層以下はユーザが設定またはインターネット上からダウンロードして設定するように構成しても良い。
【００６２】
さらに、予め人間によって正しいキーワードを付与された画像（学習データ）を用いてラス分類を学習する例を説明したが、予め学習データから作成した判別式を学習する等、学習の手法は限定しない。
【００６３】
また、所定枚数（例えば１００枚）のキーワード付与対象画像をクラス分類する毎に分類頻度を計測するものとしたが、予め決められた枚数以上、対象画像をクラス分類したならば、それ以降の対象画像をクラス分類する毎に分類頻度を計測するようにしても良い。後者の場合、上記ステップＳ１４の判断を、撮影枚数が予め決められた枚数以上か否かを判別するように修正すれば良い。
【００６４】
また、デジタルカメラ１０に適用した場合を例に説明したが、画像入力部１４乃至キーワード付与回路１９の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、コンピュータの記録媒体上に蓄積した画像に対してキーワード付与を行う機能をコンピュータに実行させることも可能である。
【符号の説明】
【００６５】
１０…デジタルカメラ、 １１…ＣＰＵ、 １２…メモリ、 １３…出力部、 １３Ａ…画像表示部、 １３Ｂ…キーワード表示部、 １４…画像入力部、 １５…特徴量抽出回路、 １６…クラス分類処理回路、 １７…画像枚数測定回路、 １８…分類頻度計測回路、 １９…キーワード付与回路、 １９Ａ…クラス分類修正回路、 １９Ｂ…クラス分類選択回路、 ２０…出力制御回路。
【技術分野】
【０００１】
本発明は、画像の特徴量を抽出し、特徴量によって画像を識別しキーワードを自動的に付与するキーワード付与装置、及び、コンピュータをそのようなキーワード付与装置として機能させるためのプログラムに関する。
【背景技術】
【０００２】
近年、メモリ等の記録媒体の大容量化及び低価格化に伴い、デジタルカメラで撮影した画像がデジタルカメラ内に、大量に蓄積されるようになってきている。また、そのような撮影した画像は、パーソナルコンピュータ等の外部機器に転送して蓄積され、更には、該外部機器内には、そのようなユーザがデジタルカメラで撮影した画像だけでなく、インターネット等を介して収集した画像も蓄積されることとなっている。
【０００３】
そこで、各画像にキーワードを付しておき、キーワード検索を行うことによって、デジタルカメラ内或いは外部機器内に大量に蓄積されている画像の中から、ユーザが所望の画像を容易に検索できるようにすることが行われている。このキーワードは、ユーザが画像を撮影又は収集する毎に付与するのであれば、それほど手間はかからないが、既に撮影又は収集されて蓄積されている大量の画像に対して、逐一キーワードを付与していくという操作は非常に煩雑であり、時間がかかってしまうものであった。
【０００４】
そこで、例えば、特許文献１は、キーワード付与の対象となる画像に類似する類似画像を検索抽出し、その抽出された類似画像に付与されているキーワードを対象画像にも付与することで、自動的にキーワードを付与することができる手法を提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３６８３４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ユーザが撮影や収集する画像は、ユーザの趣味や趣向に強く依存し、偏る傾向があるため、特定のキーワードが偏って付与される可能性が高い。この場合、同じキーワードが付与された画像ばかりが膨大な量になり、キーワードを用いて画像の検索や整理を行うことは困難になってしまう。
【０００７】
本発明は、上記の点に鑑みてなされたもので、ユーザの趣味や趣向に沿って、類似した画像に対して分類し易いキーワードを各画像に付与することが可能なキーワード付与装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のキーワード付与装置の一態様は、
入力画像から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量に対してクラス分類を行うクラス分類手段と、
前記クラス分類手段で分類したクラス分類の頻度を計測する分類頻度計測手段と、
前記クラス分類手段で分類したクラス分類と、前記分類頻度計測手段で計測した頻度と、に基づいて前記入力画像にキーワードを付与するキーワード付与手段と、
を具備することを特徴とする。
また、本発明のプログラムの一態様は、コンピュータを、
入力画像から特徴量を抽出する特徴量抽出手段、
前記特徴量抽出手段で抽出した特徴量に対してクラス分類を行うクラス分類手段、
前記クラス分類手段で分類したクラス分類の頻度を計測する分類頻度計測手段、
前記クラス分類手段で分類したクラス分類と、前記分類頻度計測手段で計測した頻度と、に基づいて前記入力画像にキーワードを付与するキーワード付与手段、
として機能させるためのプログラムであることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、クラス分類結果と頻度とを考慮してキーワードを付与するので、頻度が高い類似画像には別のキーワードを付与することができるようになり、ユーザの趣味や趣向に沿って、類似した画像に対して分類し易いキーワードを各画像に付与することが可能なキーワード付与装置及びプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の第１実施形態に係るキーワード付与装置が適用されたデジタルカメラの構成を示す図である。
【図２】図２は、第１実施形態に係るキーワード付与装置が適用されたデジタルカメラの動作を説明するためのフローチャートを示す図である。
【図３】図３は、特徴空間における学習データの分布の例を示す図である。
【図４Ａ】図４Ａは、図３のクラス分類に対応する分類木の例を表わした図である。
【図４Ｂ】図４Ｂは、図３のクラス分類に対応する分類木の別の例を表わした図である。
【図５】図５は、ユーザが撮影した画像に対するクラス分類結果の例を示す図である。
【図６】図６は、図５の例における分類頻度を示す図である。
【図７】図７は、動物好きのユーザが撮影した画像に対するクラス分類結果の例を示す図である。
【図８】図８は、図７の例における分類頻度を示す図である。
【図９】図９は、図７の例のクラス分類結果に対しクラス分類修正を行った結果を示す図である。
【図１０】図１０は、図９のクラス分類修正結果における分類頻度を示す図である。
【図１１】図１１は、図９の例のクラス分類修正結果に対し更にクラス分類修正を行った結果を示す図である。
【図１２】図１２は、図１１のクラス分類修正結果における分類頻度を示す図である。
【図１３】図１３は、表示出力例を示す図である。
【図１４】図１４は、本発明の第１実施形態の変形例に係るキーワード付与装置が適用されたデジタルカメラの構成を示す図である。
【図１５】図１５は、本発明の第２実施形態に係るキーワード付与装置が適用されたデジタルカメラの構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態を図面を参照して説明する。
［第１実施形態］
図１に示すように、本発明の第１実施形態に係るキーワード付与装置が適用されたデジタルカメラ１０は、当該デジタルカメラ１０全体を制御するＣＰＵ１１と、撮影した画像を記録しておくメモリ１２と、該メモリ１２に記録された画像や所謂スルー画を表示するための液晶モニタ等の出力部１３と、を備える。なお、画像撮影のための構成については、周知であるので、その説明及び図示は省略する。
【００１２】
デジタルカメラ１０は、更に、画像入力部１４、特徴量抽出回路１５、クラス分類処理回路１６、画像枚数測定回路１７、分類頻度計測回路１８、キーワード付与回路１９、及び出力制御回路２０を備える。ここで、キーワード付与回路１９は、クラス分類修正回路１９Ａを有している。
【００１３】
画像入力部１４は、ＣＰＵ１１、メモリ１２及び特徴量抽出回路１５に接続されている。特徴量抽出回路１５は、ＣＰＵ１１及びクラス分類処理回路１６に接続されている。クラス分類処理回路１６は、ＣＰＵ１１、メモリ１２及び画像枚数測定回路１７に接続されている。画像枚数測定回路１７は、ＣＰＵ１１に接続されている。分類頻度計測回路１８は、ＣＰＵ１１、メモリ１２及びキーワード付与回路１９のクラス分類修正回路１９Ａに接続されている。キーワード付与回路１９のクラス分類修正回路１９Ａは、ＣＰＵ１１及びメモリ１２に接続されている。出力制御回路２０は、ＣＰＵ１１、メモリ１２及び出力部１３に接続されている。
【００１４】
以下、このような構成における動作を、図２のフローチャートに沿って説明する。
【００１５】
ＣＰＵ１１は、画像入力部１４に、メモリ１２からキーワード付与の対象となる画像を読み出させ、その読み出した対象画像を、例えば特徴量抽出手段として機能する特徴量抽出回路１５へ入力させる（ステップＳ１１）。次に、ＣＰＵ１１は、特徴量抽出回路１５に、入力された画像から特徴量（ベクトル）を抽出させ、その抽出した特徴量を、例えばクラス分類手段として機能するクラス分類処理回路１６へ入力させる（ステップＳ１２）。
【００１６】
次に、ＣＰＵ１１は、クラス分類処理回路１６に、抽出した特徴量（ベクトル）の特徴空間でのクラス分類を行わせ、そのクラス分類結果をメモリ１２の当該対象画像に付加させると共に、画像枚数測定回路１７へ終了信号を入力させる（ステップＳ１３）。ここで、対象画像へのクラス分類結果の付加は、テーブルに記録することで対象画像に関連付けるものであっても良いが、パーソナルコンピュータ等の外部機器への対象画像の移動等を考慮して、対象画像のファイルヘッダ（例えばＥｘｉｆ情報）に追記するような形式で、画像と一体的に移動・削除されるように付加することが望ましい。
【００１７】
ここで、クラス分類について、詳細に説明する。
クラス分類処理回路１６は、予め設定されたクラス分類を学習している。その学習過程では、先ず、予め人間によって正しいキーワードを付与された画像（学習データ）を用意し、これらの画像から特徴量（ベクトル）を抽出して、クラス分類処理回路１６に入力する。ここで、特徴量は、色相、彩度、輝度、形状、大きさ、位置、など画像自体に含まれる様々の特徴量や、Ｅｘｉｆ情報に含まれるＩＳＯ感度等の撮影情報のような画像に付加されている様々の特徴量の中から、学習データの分類に適した如何なる特徴量を用いても良い。なお、上記特徴量抽出回路１５は、この学習過程で採用した特徴量を抽出するものとなっている。そして、クラス分類処理回路１６では、入力された画像（学習データ）の特徴量（ベクトル）を、図３に示すように特徴空間に配置し、同じキーワードを付与された画像が特徴空間で同じクラスに分類されるよう、分類境界を形成する。このクラス分類には如何なる手法を用いても良いが、例えばｋ−近傍法を用いる。図３において×印が各学習データに対応し、閉領域が各キーワードに対応するクラスの分類境界を表す。なお、図３の特徴空間は、簡略化のために２次元空間として示しているだけであり、実際にはＮ次元空間である。ここでＮは任意の自然数を表している。
【００１８】
また、人間が画像に付与するキーワードは、例えば、図４Ａ或いは図４Ｂに示すような階層構造を持っており、上位の階層のキーワードは特徴空間においてより大きな領域を占め、下位の階層のキーワードの領域を包含する。なお、これら図４Ａ或いは図４Ｂに示す分類木は一例に過ぎず、キーワードや階層数はこれに限定されないことは勿論である。
【００１９】
クラス分類処理回路１６は、ＣＰＵ１１の制御の下、上記特徴量抽出回路１５から入力されたキーワード付与の対象画像の特徴量（ベクトル）を、このようにして学習したクラスの分類境界によりクラス分類を行う。すなわち、対象画像の特徴量（ベクトル）が特徴空間において何れかの閉領域に含まれる場合、その画像を閉領域に対応するクラスに分類する。なお、初期状態では、最上位層（第一階層）のクラスでの分類を行う。クラス分類処理回路１６は、１枚のキーワード付与の対象画像の処理が終了すると、終了信号を画像枚数測定回路１７に入力する。
【００２０】
画像枚数測定回路１７は、クラス分類処理回路１６から入力される終了信号により、何枚のキーワード付与の対象画像が処理されたかを測定している。ＣＰＵ１１は、この画像枚数測定回路１７の測定結果により、所定数枚、ここでは１００の倍数枚の対象画像を処理したかどうか判別する（ステップＳ１４）。まだ１００の倍数枚の対象画像を処理していない場合には、上記ステップＳ１１に戻り、次の対象画像に対する処理を実施する。
【００２１】
このようにして、ユーザが撮影した複数枚の対象画像がクラス分類されていく。その結果、図５に示すように、ユーザが撮影した画像に対するクラス分類結果が得られることとなる。
【００２２】
なお、１枚の画像から抽出される特徴量（ベクトル）は１つとは限らず、複数の特徴量（ベクトル）が抽出されることもある。そして、抽出された複数の特徴量（ベクトル）は、同一のクラスに分類される場合もあれば、複数のクラスに分類される場合もある。なお、後者の場合は、１枚の画像に複数のキーワードが同時に付与されることになる。
【００２３】
そして、上記ステップＳ１４において、１００の倍数枚の対象画像を処理したと判別した場合には、ＣＰＵ１１は、例えば分類頻度計測手段として機能する分類頻度計測回路１８に、メモリ１２に蓄積されているクラス分類済みの画像から、各クラスの分類頻度Ｚを計測させる（ステップＳ１５）。例えば、分類頻度計測回路１８では、既にクラス分類済みの全画像における全体の特徴量の数をｍ［個］、クラス内の特徴量の数をｎ［個］とし、
Ｚ ＝ １００ × ｎ ／ ｍ
により、クラス毎に分類頻度Ｚ［％］を計測する。図５のクラス分類頻度をグラフに表わしたものを図６に示す。こうして計測された各クラスの分類頻度は、例えばキーワード付与手段として機能するキーワード付与回路１９の例えばクラス分類修正手段として機能するクラス分類修正回路１９Ａに入力される。
【００２４】
次に、ＣＰＵ１１は、キーワード付与回路１９のクラス分類修正回路１９Ａに、クラス毎に分類頻度がある所定の値α以上であるか否かを判定させる（ステップＳ１６）。このαの値は、全クラスの分類頻度の平均値よりも大きい値が好適である。分類頻度がα以上であるクラスが存在する場合は、ＣＰＵ１１は、クラス分類修正回路１９Ａに、そのクラスに対してクラス分類修正処理を実施させる（ステップＳ１７）。分類頻度がα以上でないクラスには、このステップＳ１７の処理はスキップされ、ＣＰＵ１１は、クラス分類修正回路１９Ａに、各クラスに対応するキーワードを付与させる（ステップＳ１８）。
【００２５】
図６の例では、クラスによる撮影枚数の偏りが無く、上記ある所定の値α＝４０とすると、分類頻度Ｚがα以上となるクラスは存在しないため、クラス分類修正は行われない。従って、図４Ａ又は図４Ｂにおける第一階層のクラスに分類されたままとなり、メモリ１２に蓄積されているクラス分類済みの各画像に対して、その分類されたクラスに対応して「動物」、「風景」又は「人」のキーワードが付与される。この対象画像へのキーワードの付与も、上記クラス分類結果の付加と同様に、対象画像のファイルヘッダ（例えばＥｘｉｆ情報）に追記するような形式で、画像と一体的に移動・削除されるように付加することが望ましい。また、ここでは、判り易く説明するために、クラス分類結果とキーワードは同一の用語を用いて説明しているものであり、分類結果は「０００１」、「０００２」等、互いに区別できるものであれば何でも良い。
【００２６】
これにより、ＣＰＵ１１は、図示しない指示入力部のユーザ操作によって任意の画像の表示指示又はキーワード検索による画像の表示指示がなされると、例えば表示制御手段として機能する出力制御回路２０に、該当する画像及び当該画像に付与されているキーワードをメモリ１２より読み出させて、出力部１３に例えば表示出力させることが可能となる（ステップＳ１９）。
【００２７】
一方、例えば動物好きのユーザでは、デジタルカメラ１０で撮影する画像も動物を撮影したものが多くなるというように、ユーザの趣味や趣向によって画像が偏る。
【００２８】
図７は、動物の撮影枚数が多い場合のクラス分類結果の例を示しており、図８は、この図７のクラス分類結果における分類頻度をグラフに表わした図である。この場合には、図８より、「動物」のクラス分類頻度Ｚがα＝４０以上となる。従って、上記ステップＳ１６にて分類頻度がα以上であるクラスが存在すると判別されるので、ＣＰＵ１１は、上記ステップＳ１７にて、クラス分類修正回路１９Ａに、そのクラスに対してクラス分類修正処理を実施させる。
【００２９】
クラス分類修正回路１９Ａも、クラス分類処理回路１６と同様に、例えば図３に示したような学習データにより、予め設定されたクラス分類を学習している。そして、この予め学習した結果に基づいて、図９に示すように、「動物」のクラス内に、「犬」、「猫」、「鳥」の分類境界を加え、メモリ１２内の「動物」にクラス分類されている全ての画像のそれぞれを対象画像として、再度クラス分類を行うクラス分類修正を実施し、そのクラス分類修正結果を当該対象画像に付加する。このクラス分類修正結果の付加は、既に対象画像に付加されている第一階層のクラス分類を第二階層のクラス分類に更新するよりは、当該対象画像を様々なキーワードによって検索できるようになるので、第一階層のクラス分類に第二階層のクラス分類を追記する方式とすることが好ましい。
【００３０】
図１０は、この図９のクラス分類修正結果における分類頻度をグラフにした図である。この場合、図１０より、「犬」のクラス分類頻度Ｚがα＝４０以上であるため、更にこのクラスに対してクラス分類修正処理が施されることなる。すなわち、クラス分類修正回路１９Ａは、予め学習した結果（図３）に基づいて、図１１に示すように、「犬」のクラス内に、「チワワ」、「ブルドッグ」、「柴犬」の分類境界を加え、メモリ１２内の「犬」にクラス分類された画像それぞれを対象画像として、再度クラス分類を行うクラス分類修正を実施し、そのクラス分類修正結果を当該対象画像に付加する。このクラス分類修正結果の付加も、既に対象画像に付加されている第一及び第二階層のクラス分類に該第三階層のクラス分類を追記する方式とすることが好ましい。
【００３１】
図１２は、この図１１のクラス分類修正結果における分類頻度をグラフにした図である。なおこの場合、図１２より、「チワワ」のクラス分類頻度Ｚがα＝４０以上であるが、本実施形態では、三階層分しか階層化して学習していないため、それ以上のクラス分類修正は行わない。勿論、更に下位の階層のクラス分類を、図示しない指示入力部によってユーザが設定したり、図示しない通信部によりインターネット上からダウンロードして設定したりすることで、更なるクラス分類修正を行えるように構成しても良い。
【００３２】
このようにしてクラス分類の修正が行われたならば、ＣＰＵ１１は、上記ステップＳ１８にて、クラス分類修正回路１９Ａに、各クラスに対応するキーワードを付与させることとなる。例えば、図１１の例では、「チワワ」にクラス分類された画像には「動物」「犬」「チワワ」の３つのキーワードが付与される。また、「チワワ」、「ブルドッグ」、「柴犬」の何れにもクラス分類されなかった「犬」にクラス分類された画像には、「動物」「犬」の２つのキーワードが付与される。
【００３３】
以上のように、クラス分類頻度Ｚがα未満である場合のクラス分類は、第一階層のクラスに分類され、クラス分類頻度Ｚがα以上である場合は、下位に存在する階層が解放され、順にクラス分類の修正が行われる。そして、各画像に、その分類されたクラスに対応するキーワードが付与される。
【００３４】
なお、上記ステップＳ１９での画像とキーワードの出力部１３への表示出力は、例えば図１３に示すようにして行われる。すなわち、出力部１３は、例えば画像表示部１３Ａとキーワード表示部１３Ｂとから構成される。
【００３５】
ここで、キーワード表示部１３Ｂには、分類された最下位層のクラスに相当するキーワードのみが表示される。例えば、図１１の例では、画像がチワワを撮影したものであれば、キーワードとしては「動物」「犬」「チワワ」が付加されているが、出力制御回路２０は、その内の「チワワ」を読み出して、キーワード表示部１３Ｂに表示させる。また、画像がキリンを撮影したものであれば、キーワードとしては「動物」のみが付加されており、これが最下位層のクラスに相当するキーワードであるので、出力制御回路２０は、その「動物」を読み出して、キーワード表示部１３Ｂに表示させる。
【００３６】
また、キーワード表示部１３Ｂには、そのような最下位層からｎ階層分のクラスに相当するｎ個のキーワード（例えばｎ＝２で「犬」「チワワ」）を表示させるよいにしても良いし、分類さたれた全階層分のクラスに相当する全てのキーワード（例えば「動物」「犬」「チワワ」）を表示させるようにしても良い。
【００３７】
あるいは、それら３種類のキーワード表示形態の中から、ユーザが図示しない指示入力部より選択できるようにしても良い。
【００３８】
また、画像が複数のクラスに分類されている場合には、出力制御回路２０は、それぞれのクラスに相当するキーワードを読み出して、キーワード表示部１３Ｂに表示させる。例えば、子供とチワワを撮影した画像の場合、最下位層から２階層分のクラスに相当する２個のキーワードを表示する表示形態が選択されていれば、図１３の例のように、キーワード表示部１３Ｂには、「人」、「犬」、「チワワ」が表示されることとなる。
【００３９】
なお、出力部１３は、一つの液晶ディスプレイ上に画像表示部１３Ａとキーワード表示部１３Ｂとをウィンドウとして表示しても構わない。
【００４０】
あるいは、独立した表示部又はウィンドウとして画像とキーワードを並べて表示するのではなく、画像とキーワードを切り替え表示するような表示形態としても良い。
【００４１】
以上のように、本第１実施形態によれば、画像から抽出された特徴量に対して付与されたクラス分類の頻度解析を行い、さらに、頻度の高い分類を付与された画像にはより詳細な分類となるようにクラス分類を修正することで、ユーザの趣味や撮影被写体の収集傾向に応じたキーワード付与を行うことが可能となる。
【００４２】
［変形例］
本変形例においては、図１４に示すように、クラス分類処理回路１６は、ＣＰＵ１１及び画像枚数測定回路１７に接続されている。画像枚数測定回路１７は、ＣＰＵ１１及び分類頻度計測回路１８に接続されている。分類頻度計測回路１８は、ＣＰＵ１１及びキーワード付与回路１９のクラス分類修正回路１９Ａに接続されている。その他の構成は、上記第１実施形態と同様である。
【００４３】
但し、上記第１実施形態では、メモリ１２に蓄積されている画像に対して、クラス分類処理回路１６よりクラス分類結果の付加、クラス分類修正回路１９Ａよりクラス分類修正を実施するようにしていたが、本変形例は、画像入力部１４で読み出した対象画像を順次後段の回路へ入力していくことで、クラス分類結果付加、クラス分類修正等の処理を該画像に対して実施するようにするものである。そのため、本変形例では、画像枚数測定回路１７、分類頻度計測回路１８及びクラス分類修正回路１９Ａは、それぞれ、ある程度の容量（例えば、画像１００枚分以上）を持った内部メモリを備えている。
【００４４】
すなわち、上記ステップＳ１２において、ＣＰＵ１１は、特徴量抽出回路１５に、入力された対象画像から特徴量（ベクトル）を抽出させ、その抽出した特徴量と対象画像とをクラス分類処理回路１６へ入力させる。
【００４５】
次に、上記ステップＳ１３において、ＣＰＵ１１は、クラス分類処理回路１６に、抽出した特徴量（ベクトル）の特徴空間でのクラス分類を行わせ、そのクラス分類結果を、特徴量抽出回路１５から入力された対象画像に付加させて、該クラス分類結果が付加された対象画像を画像枚数測定回路１７へ入力させる。
【００４６】
画像枚数測定回路１７は、この入力されたクラス分類結果が付加された対象画像を内部メモリに蓄積していくと共に、その蓄積された対象画像の枚数を計数する機能を備える。而して、上記ステップＳ１４において、ＣＰＵ１１は、この画像枚数測定回路１７の計数結果により、所定数枚、ここでは１００の倍数枚の対象画像を処理したかどうか判別する。まだ１００の倍数枚の対象画像を処理していない場合には、上記ステップＳ１１に戻り、次の対象画像に対する処理を実施する。
【００４７】
そして、上記ステップＳ１４にて１００の倍数枚の対象画像を処理したと判別した場合には、上記ステップＳ１５において、ＣＰＵ１１は、画像枚数測定回路１７の内部メモリに蓄積されているクラス分類結果が付加された画像を、分類頻度計測回路１８の内部メモリに転送させ、該分類頻度計測回路１８に、それらの画像から各クラスの分類頻度Ｚを計測させる。
【００４８】
次に、上記ステップＳ１６において、ＣＰＵ１１は、分類頻度計測回路１８の内部メモリ蓄積されているクラス分類結果が付加された画像を、クラス分類修正回路１９Ａの内部メモリに転送させ、該クラス分類修正回路１９Ａに、クラス毎に分類頻度がある所定の値α以上であるか否かを判定させる。そして、分類頻度がα以上であるクラスが存在する場合は、ＣＰＵ１１は、クラス分類修正回路１９Ａに、そのクラスに対してクラス分類修正処理を実施させる（ステップＳ１７）。分類頻度がα以上でないクラスには、このステップＳ１７の処理はスキップされ、ＣＰＵ１１は、クラス分類修正回路１９Ａに、各クラスに対応するキーワードを付与させ、キーワードを付与した画像を、メモリ１２に記憶されている対応画像と置換して蓄積する（ステップＳ１８）。
【００４９】
図６の例では、クラスによる撮影枚数の偏りが無く、上記ある所定の値α＝４０とすると、分類頻度Ｚがα以上となるクラスは存在しないため、クラス分類修正は行われない。従って、図４Ａ又は図４Ｂにおける第一階層のクラスに分類されたままとなり、クラス分類修正回路１９Ａの内部メモリに蓄積されているクラス分類済みの各画像に対して、その分類されたクラスに対応して「動物」、「風景」又は「人」のキーワードが付与される。この対象画像へのキーワードの付与は、上記第１実施形態のように、クラス分類結果の付加と同様に、対象画像のファイルヘッダ（例えばＥｘｉｆ情報）に追記するような形式で、画像と一体的に移動・削除されるように付加するようにしても良いが、上記クラス分類結果をこのキーワードに置換するようにしても良い。
【００５０】
また、図８の例では、「動物」のクラス分類頻度Ｚがα＝４０以上となるため、クラス分類修正回路１９Ａにて、上記第１実施形態で説明したように、そのクラスに対してクラス分類修正処理が実施され、そのクラス分類の修正が行われた各画像に対して、その修正された分類されたクラスに対応して、例えば、図１１の例では、「チワワ」にクラス分類された画像には「動物」「犬」「チワワ」の３つのキーワードが付与され、また、「チワワ」、「ブルドッグ」、「柴犬」の何れにもクラス分類されなかった「犬」にクラス分類された画像には、「動物」「犬」の２つのキーワードが付与される。
【００５１】
こうして、クラス分類修正回路１９Ａは、その内部メモリに記憶した各画像に対してキーワードを付与し、それらキーワードを付与した画像を、メモリ１２に記憶されている対応画像と置換することで、メモリ１２に蓄積する。
【００５２】
以上のように、本変形例によっても、上記第１実施形態と同様に、画像から抽出された特徴量に対して付与されたクラス分類の頻度解析を行い、さらに、頻度の高い分類を付与された画像にはより詳細な分類となるようにクラス分類を修正することで、ユーザの趣味や撮影被写体の収集傾向に応じたキーワード付与を行うことが可能となる。
【００５３】
［第２実施形態］
図１５に示すように、本発明の第２実施形態に係るキーワード付与装置が適用されたデジタルカメラ１０は、キーワード付与回路１９が、上記第１実施形態におけるクラス分類修正回路１９Ａに代えて、クラス分類選択回路１９Ｂを備えている。
【００５４】
また、上記第１実施形態では、クラス分類処理回路１６は第一階層のクラス分類を行うのみであり、頻度が高くなるとキーワード付与回路１９のクラス分類修正回路１９Ａでクラス分類を修正するものとしていた。これに対して、本実施形態では、クラス分類処理回路１６は、キーワード付与対象画像について、上記第１実施形態のようにして予め学習した階層の全てのクラス分類を行ってしまい、キーワード付与回路１９の例えばクラス分類選択手段として機能するクラス分類選択回路１９Ｂが、頻度に応じた階層のクラス分類を選択して、キーワードを付与するようにしている。
【００５５】
従って、クラス分類処理回路１６は、キーワード付与対象画像が、例えばチワワを撮影した画像であれば、「動物」「犬」「チワワ」のクラス分類結果を付与し、０歳の赤ちゃんを撮影した画像であれば、「人」「赤ちゃん」「０歳」のクラス分類結果を付与することとなる。
【００５６】
そして、キーワード付与回路１９のクラス分類選択回路１９Ｂは、分類頻度計測回路１８で計測されたクラス毎の分類頻度Ｚに従って、それぞれの画像について、クラス分類の内の何れを最下位層とするかを選択し、その選択結果に従ったキーワードを当該画像に付加する。従って、例えば上記チワワを撮影した画像では、「チワワ」のクラス分類が最下位層として選択されるので、「動物」「犬」「チワワ」のキーワードが付与されることとなり、上記０歳の赤ちゃんを撮影した画像であれば、「人」「赤ちゃん」「０歳」のクラス分類結果が付与されるが、第一階層の「人」のクラス分類頻度Ｚがα＝４０以上ではないので、第一階層が最下位層であるとして選択され、「人」のキーワードのみが付与されることとなる。
【００５７】
以上のように、本第２実施形態によれば、画像から抽出された特徴量に対して複数階層のクラス分類を行って分類を付与し、その付与されたクラス分類の頻度解析を行い、さらに、頻度の高い分類が付与された画像ほどより詳細な分類となるようにクラス分類を選択することで、ユーザの趣味や撮影被写体の収集傾向に応じたキーワード付与を行うことが可能となる。
【００５８】
なお、本第２実施形態においても、メモリ１２に蓄積された画像に対してクラス分類を付加し、該クラス分類が付加されたメモリ１２の蓄積画像に対してキーワードを付与するのではなく、上記第１実施形態の変形例として説明したように、メモリ１２から読み出した処理途中の対象画像にクラス分類を付与し、結果としてのキーワードが付与された画像をメモリ１２に置換保存するというような変形が可能なことは言うまでもない。
【００５９】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６０】
例えば、クラス分類頻度は、既にクラス分類済みの全画像における特徴量の個数に対する各クラスの特徴量の個数の割合としたが、単純に、各クラスの特徴量の個数（画像枚数）としても良い。この場合のある所定の値αは、全体の撮影画像枚数に関わらず一定の値としても良いし、ユーザが設定しても良い。
【００６１】
また、第１実施形態におけるクラス分類修正回路１９Ａ又は第２実施形態におけるクラス分類処理回路１６は、第一階層から最下位層（図４Ａ及び図４Ｂの例では第三階層）まで、全てのクラスを予め学習設定するものとしたが、例えば第一階層のみを予め学習設定しておき、第二階層以下はユーザが設定またはインターネット上からダウンロードして設定するように構成しても良い。
【００６２】
さらに、予め人間によって正しいキーワードを付与された画像（学習データ）を用いてラス分類を学習する例を説明したが、予め学習データから作成した判別式を学習する等、学習の手法は限定しない。
【００６３】
また、所定枚数（例えば１００枚）のキーワード付与対象画像をクラス分類する毎に分類頻度を計測するものとしたが、予め決められた枚数以上、対象画像をクラス分類したならば、それ以降の対象画像をクラス分類する毎に分類頻度を計測するようにしても良い。後者の場合、上記ステップＳ１４の判断を、撮影枚数が予め決められた枚数以上か否かを判別するように修正すれば良い。
【００６４】
また、デジタルカメラ１０に適用した場合を例に説明したが、画像入力部１４乃至キーワード付与回路１９の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、コンピュータの記録媒体上に蓄積した画像に対してキーワード付与を行う機能をコンピュータに実行させることも可能である。
【符号の説明】
【００６５】
１０…デジタルカメラ、 １１…ＣＰＵ、 １２…メモリ、 １３…出力部、 １３Ａ…画像表示部、 １３Ｂ…キーワード表示部、 １４…画像入力部、 １５…特徴量抽出回路、 １６…クラス分類処理回路、 １７…画像枚数測定回路、 １８…分類頻度計測回路、 １９…キーワード付与回路、 １９Ａ…クラス分類修正回路、 １９Ｂ…クラス分類選択回路、 ２０…出力制御回路。
【特許請求の範囲】
【請求項１】
入力画像から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量に対してクラス分類を行うクラス分類手段と、
前記クラス分類手段で分類したクラス分類の頻度を計測する分類頻度計測手段と、
前記クラス分類手段で分類したクラス分類と、前記分類頻度計測手段で計測した頻度と、に基づいて前記入力画像にキーワードを付与するキーワード付与手段と、
を具備することを特徴とするキーワード付与装置。
【請求項２】
前記キーワード付与手段は、前記分類頻度計測手段で計測した頻度に応じて、前記クラス分類手段で分類したクラス分類を修正するクラス分類修正手段を含む請求項１に記載のキーワード付与装置。
【請求項３】
前記クラス分類は、階層化されており、
前記クラス分類修正手段は、前記分類頻度計測手段で計測した頻度が所定の値よりも高いクラスに対して、前記クラス分類手段で分類したクラス分類よりも細かい分類のクラス分類を含む階層でクラス分類を行うことを特徴とする請求項２に記載のキーワード付与装置。
【請求項４】
前記キーワード付与手段は、前記分類頻度計測手段で計測した頻度が前記所定の値よりも高いクラスが存在しない場合は、前記クラス分類手段で分類したクラス分類に対応するキーワードを前記入力画像に付与することを特徴とする請求項３に記載のキーワード付与装置。
【請求項５】
前記キーワード付与手段は、前記クラス分類修正手段でクラス分類が修正された場合、既にクラス分類済みの前記入力画像以外の画像に対しても、クラス分類を修正し、キーワードを更新することを特徴とする請求項２乃至４の何れかに記載のキーワード付与装置。
【請求項６】
前記クラス分類は、階層化されており、
前記クラス分類手段は、前記特徴量抽出手段で抽出した特徴量に対して各階層についてのクラス分類を行い、
前記キーワード付与手段は、前記分類頻度計測手段で計測した頻度に応じて、前記クラス分類手段で分類したクラス分類の内の何れの階層のクラス分類を使用するかを選択するクラス分類選択手段を含むことを特徴とする請求項１に記載のキーワード付与装置。
【請求項７】
前記頻度は、前記クラス分類手段で分類したクラス分類に属する特徴量の個数、又は、既にクラス分類済みの全画像における特徴量の個数に対する前記クラス分類手段で分類したクラス分類に属する特徴量の個数の割合、の何れかであることを特徴とする請求項１乃至６の何れかに記載のキーワード付与装置。
【請求項８】
前記入力画像を、前記キーワード付与手段で付与されたキーワードと共に表示させる表示制御手段を更に具備することを特徴とする請求項１乃至７の何れかに記載のキーワード付与装置。
【請求項９】
コンピュータを、
入力画像から特徴量を抽出する特徴量抽出手段、
前記特徴量抽出手段で抽出した特徴量に対してクラス分類を行うクラス分類手段、
前記クラス分類手段で分類したクラス分類の頻度を計測する分類頻度計測手段、
前記クラス分類手段で分類したクラス分類と、前記分類頻度計測手段で計測した頻度と、に基づいて前記入力画像にキーワードを付与するキーワード付与手段、
として機能させるためのプログラム。
【請求項１】
入力画像から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量に対してクラス分類を行うクラス分類手段と、
前記クラス分類手段で分類したクラス分類の頻度を計測する分類頻度計測手段と、
前記クラス分類手段で分類したクラス分類と、前記分類頻度計測手段で計測した頻度と、に基づいて前記入力画像にキーワードを付与するキーワード付与手段と、
を具備することを特徴とするキーワード付与装置。
【請求項２】
前記キーワード付与手段は、前記分類頻度計測手段で計測した頻度に応じて、前記クラス分類手段で分類したクラス分類を修正するクラス分類修正手段を含む請求項１に記載のキーワード付与装置。
【請求項３】
前記クラス分類は、階層化されており、
前記クラス分類修正手段は、前記分類頻度計測手段で計測した頻度が所定の値よりも高いクラスに対して、前記クラス分類手段で分類したクラス分類よりも細かい分類のクラス分類を含む階層でクラス分類を行うことを特徴とする請求項２に記載のキーワード付与装置。
【請求項４】
前記キーワード付与手段は、前記分類頻度計測手段で計測した頻度が前記所定の値よりも高いクラスが存在しない場合は、前記クラス分類手段で分類したクラス分類に対応するキーワードを前記入力画像に付与することを特徴とする請求項３に記載のキーワード付与装置。
【請求項５】
前記キーワード付与手段は、前記クラス分類修正手段でクラス分類が修正された場合、既にクラス分類済みの前記入力画像以外の画像に対しても、クラス分類を修正し、キーワードを更新することを特徴とする請求項２乃至４の何れかに記載のキーワード付与装置。
【請求項６】
前記クラス分類は、階層化されており、
前記クラス分類手段は、前記特徴量抽出手段で抽出した特徴量に対して各階層についてのクラス分類を行い、
前記キーワード付与手段は、前記分類頻度計測手段で計測した頻度に応じて、前記クラス分類手段で分類したクラス分類の内の何れの階層のクラス分類を使用するかを選択するクラス分類選択手段を含むことを特徴とする請求項１に記載のキーワード付与装置。
【請求項７】
前記頻度は、前記クラス分類手段で分類したクラス分類に属する特徴量の個数、又は、既にクラス分類済みの全画像における特徴量の個数に対する前記クラス分類手段で分類したクラス分類に属する特徴量の個数の割合、の何れかであることを特徴とする請求項１乃至６の何れかに記載のキーワード付与装置。
【請求項８】
前記入力画像を、前記キーワード付与手段で付与されたキーワードと共に表示させる表示制御手段を更に具備することを特徴とする請求項１乃至７の何れかに記載のキーワード付与装置。
【請求項９】
コンピュータを、
入力画像から特徴量を抽出する特徴量抽出手段、
前記特徴量抽出手段で抽出した特徴量に対してクラス分類を行うクラス分類手段、
前記クラス分類手段で分類したクラス分類の頻度を計測する分類頻度計測手段、
前記クラス分類手段で分類したクラス分類と、前記分類頻度計測手段で計測した頻度と、に基づいて前記入力画像にキーワードを付与するキーワード付与手段、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−５８９２６（Ｐ２０１２−５８９２６Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２００２４７（Ｐ２０１０−２００２４７）
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]