画像処理装置、撮像装置、及びプログラム
【課題】画像をラベリングするための演算処理の負荷を軽減できる画像処理装置、撮像装置、及びプログラムを提供することを目的としている。
【解決手段】撮像された画像データを取得する画像取得部と、取得された画像データからシーンを判別するシーン判別部と、取得された画像データから色情報の頻度分布に基づき主要色を抽出する主要色抽出部と、シーン毎に色情報と第１ラベルとが関連付けられて予め記憶されている記憶部と、記憶部から抽出された主要色と判別されたシーンとに関連付けて予め記憶されている第１ラベルを読み出し、読み出した第１ラベルを取得された画像データのラベルとして生成する第１ラベル生成部と、を備える。
【解決手段】撮像された画像データを取得する画像取得部と、取得された画像データからシーンを判別するシーン判別部と、取得された画像データから色情報の頻度分布に基づき主要色を抽出する主要色抽出部と、シーン毎に色情報と第１ラベルとが関連付けられて予め記憶されている記憶部と、記憶部から抽出された主要色と判別されたシーンとに関連付けて予め記憶されている第１ラベルを読み出し、読み出した第１ラベルを取得された画像データのラベルとして生成する第１ラベル生成部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、及びプログラムに関する。
【背景技術】
【０００２】
画像を分類する従来技術の画像処理装置では、画像を予め定められているパターンの領域に分割し、各領域の色に関する分布のヒストグラムを作成する。そして、従来技術の画像処理装置では、特定のしきい値を超える最頻出色をその領域の代表領域色として決定する。さらに、従来技術の画像処理装置では、その領域の特徴量を抽出し、決定した領域の特徴量と代表色に基づき、特徴量を抽出した画像を定義して、画像辞書を構築していた。
従来技術の画像処理装置では、例えば、画像上部の大きな領域の代表色を抽出して、抽出した代表色に基づいて、「青空」、「曇り空」、「夜空」などを定義して画像辞書を構成していた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１６００５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の従来技術では、予め定められた領域毎に抽出した特徴量と、最頻出色である代表色により分類していたため、画像を分類する（ラベリングする）ための演算処理の負担が大きかった。
【０００５】
本発明は、上記の問題点に鑑みてなされたものであって、画像をラベリングするための演算処理の負荷を軽減できる画像処理装置、撮像装置、及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る画像処理装置は、撮像された画像データを取得する画像取得部と、前記取得された画像データからシーンを判別するシーン判別部と、前記取得された画像データから色情報の頻度分布に基づき主要色を抽出する主要色抽出部と、シーン毎に色情報と第１ラベルとが関連付けられて予め記憶されている記憶部と、前記記憶部から、前記抽出された主要色と前記判別されたシーンとに関連付けて予め記憶されている前記第１ラベルを読み出し、前記読み出した第１ラベルを前記取得された画像データのラベルとして生成する第１ラベル生成部と、を備えることを特徴としている。
【０００７】
また、本発明に係る撮像装置は、上記に記載の画像処理装置を備えることを特徴としている。
【０００８】
また、本発明は、撮像部を有する画像処理装置の画像処理をコンピュータに実行させるためのプログラムであり、撮像した画像データを取得する画像取得手順と、前記取得された画像データからシーンを判別するシーン判別手順と、前記取得された画像データから色情報の頻度分布に基づき主要色を抽出する主要色抽出手順と、前記抽出された主要色と、シーン毎に色情報と第１ラベルとが関連付けられて予め記憶されている記憶部から前記第１ラベルを読み出し、前記読み出した第１ラベルを前記取得された画像データのラベルとして生成する第１ラベル生成手順と、をコンピュータに実行させることを特徴としている。
【０００９】
また、本発明の一態様の画像処理装置は、人物撮影シーンであるか否かを判別するシーン判別部と、前記シーン判別部により人物撮影シーンではないと判別されたとき、前記画像データから色情報を抽出する色抽出部と、色情報と所定の意味を有する文字とが関連付けられて予め記憶されている記憶部と、前記シーン判別部により人物撮影シーンではないと判別されたとき、前記色抽出部に抽出された前記色情報に対応する前記所定の意味を有する文字を前記記憶部から読み出す読み出し部とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明の画像処理装置によれば、好適な画像のラベリングを実現し得る。また、本発明によれば、この画像処理装置を備えた撮像装置及びプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る撮像システム１の構成を示す概略ブロック図である。
【図２】同実施形態に係る画像処理部４のブロック図である。
【図３】同実施形態に係る記憶媒体２００に画像データに関連付けられて記憶されている画像識別情報の一例を説明する図である。
【図４】同実施形態に係るテーブル記憶部４５に記憶されている主要色の組み合わせと第１ラベルの一例を説明する図である。
【図５】同実施形態に係る画像データの主要色の一例を説明する図である。
【図６】図５で抽出された主要色のラベリングの一例を説明する図である。
【図７】同実施形態に係るスポーツの画像データと色ベクトルの図である。
【図８】同実施形態に係るポートレートの画像データと色ベクトルの図である。
【図９】同実施形態に係る風景の画像データと色ベクトルの図である。
【図１０】同実施形態に係るシーン毎の主要色の組み合わせの第１ラベルの一例を説明する図である。
【図１１】同実施形態に係る時刻、季節と色ベクトルによる第１ラベルの例を説明する図である。
【図１２】同実施形態に係る撮像装置１００が行うラベル生成のフローチャートである。
【図１３】第２実施形態に係る画像処理部４ａのブロック図である。
【図１４】第３実施形態に係る画像処理部４ｂのブロック図である。
【図１５】同実施形態に係る撮像装置１００が行うラベル生成のフローチャートである。
【図１６】第４実施形態に係る画像データから、複数の色ベクトルを抽出する一例を説明する図である。
【図１７】撮像画像の特徴量を抽出するプロセスの一例を模式的に示す図である。
【図１８】撮像画像の特徴量を抽出するプロセスの別の一例を模式的に示す図である。
【図１９】笑顔レベルの判定方法を模式的に示すフローチャートである。
【図２０Ａ】画像処理装置からの出力画像の一例を示す図である。
【図２０Ｂ】画像処理装置からの出力画像の別の例を示す図である。
【図２１】撮像装置の画像処理部の内部構成を表す概略ブロック図である。
【図２２】代表色の決定の流れを示すフローチャートである。
【図２３】画像処理部における処理の一例を示す概念図である。
【図２４】画像処理部における処理の一例を示す概念図である。
【図２５】図２４に示す主要領域に対して実施されたクラスタリングの結果を示す概念図である。
【図２６】文章付加部によって文章を付加された画像の一例である。
【図２７】文章付加部によって文章を付加された画像の別の一例である。
【図２８】色と単語との対応テーブルの一例を示す図である。
【図２９】遠景画像（第２シーン画像）用の対応テーブルの一例を示す図である。
【図３０】その他の画像（第３シーン画像）用の対応テーブルの一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を用いて、本発明の実施形態について説明する。
【００１３】
［第１実施形態］
図１は、本実施形態に係る撮像システム１の構成を示す概略ブロック図である。
図１に示す撮像装置１００は、撮像部２、カメラ制御部３、画像処理部４、記憶部５、バッファメモリ部６、表示部７、操作部１１、通信部１２、電源部１３、及びバス１５を備えている。
【００１４】
撮像部２は、レンズ部２１、撮像素子２２、及びＡＤ変換部２３を備えており、被写体を撮像して画像データを生成する。この撮像部２は、設定された撮像条件（例えば絞り値、露出等）に基づいてカメラ制御部３により制御され、レンズ部２１を介して入力された被写体の光学像を、撮像素子２２の撮像面上に結像させる。また、撮像部２は、撮像素子２２から出力されたアナログ信号をＡＤ変換部２３においてデジタル信号に変換し、画像データを生成する。
なお、上述したレンズ部２１は、撮像装置１００に取り付けられて一体とされていてもよいし、撮像装置１００に着脱可能に取り付けられてもよい。
【００１５】
撮像素子２２は、撮像面に結像された光学像を光電変換したアナログ信号を、ＡＤ変換部２３に出力する。ＡＤ変換部２３は、撮像素子２２から入力されたアナログ信号をデジタル信号に変換し、この変換したデジタル信号である画像データを出力する。
【００１６】
例えば、撮像部２は、操作部１１における静止画撮影操作に応じて、撮像した静止画の画像データを出力する。また、撮像部２は、操作部１１における動画撮影操作に応じて、所定の間隔で連続的に撮像した動画の画像データを出力する。そして、撮像部２によって撮像された静止画の画像データ及び動画の画像データは、カメラ制御部３の制御により、バッファメモリ部６や画像処理部４を介して記憶媒体２００に記録される。また、撮像部２は、操作部１１における撮影操作がされていない撮影待機状態の場合、所定の間隔で連続的に得られる画像データをスルー画像データ(スルー画）として出力する。そして、撮像部２によって得られたスルー画像データは、カメラ制御部３の制御により、バッファメモリ部６や画像処理部４を介して表示部７に表示される。
【００１７】
画像処理部４は、記憶部５に記憶されている画像処理条件に基づいて、バッファメモリ部６に記憶されている画像データに対して画像処理を実行する。ここで、バッファメモリ部６または記憶媒体２００に記憶されている画像データとは、例えば、撮像部２によって撮像された静止画の画像データ、スルー画像データ、もしくは動画の画像データ、または記憶媒体２００から読み出された画像データである。
【００１８】
記憶部５には、撮像装置１００を制御するための、予め定められた撮影条件、画像処理条件、再生制御条件、表示制御条件、記録制御条件、及び出力制御条件などが記憶されている。例えば、記憶部５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。
なお、記憶部５には、撮像された動画の画像データ及び静止画の画像データが記録されてもよい。この場合、例えば、記憶部５は、フラッシュメモリ等であってもよい。
【００１９】
バッファメモリ部６は、カメラ制御部３が撮像装置１００を制御する際の作業領域として利用される。撮像部２によって撮像された静止画の画像データ、スルー画像データ、もしくは動画の画像データ、または記憶媒体２００から読み出された画像データは、カメラ制御部３の制御による画像処理の過程においてバッファメモリ部６に一時的に記憶される。バッファメモリ部６は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
【００２０】
表示部７は、例えば、液晶ディスプレイであり、撮像部２によって撮像された画像データに基づく画像、もしくは記憶媒体２００から読み出された画像データに基づく画像、またはメニュー画面、もしくは撮像装置１００の動作状態や設定に関する情報等を表示する。
【００２１】
操作部１１は、撮像装置１００に対して操作者が操作入力するための操作スイッチを備えている。例えば、操作部１１は、電源スイッチ、レリーズスイッチ、モードスイッチ、メニュースイッチ、上下左右選択スイッチ、確定スイッチ、取消スイッチ、及びその他の操作スイッチを備えている。操作部１１が備えている上述のそれぞれのスイッチは、操作されることに応じて、それぞれの操作に対応した操作信号をカメラ制御部３に出力する。
【００２２】
通信部１２には、カードメモリ等の着脱可能な記憶媒体２００が挿入される。
通信部１２を介して、この記憶媒体２００に画像データの書込み、読み出し、または消去が実行される。
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であり、例えば、撮像部２で撮像されて生成された画像データが記録される。なお、本実施形態において、記憶媒体２００に記録される画像データは、例えば、イグジフ（Ｅｘｉｆ；Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式のファイルである。
【００２３】
電源部１３は、撮像装置１００が備えている各部に電力を供給する。電源部１３は、例えばバッテリーを備えており、当該バッテリーから供給される電力の電圧を、上述の各部における動作電圧に変換する。そして、電源部１３は、変換した動作電圧の電力を、撮像装置１００の動作モード（例えば、撮影動作モード、またはスリープモード）に基づいて、カメラ制御部３の制御により上述の各部に供給する。
【００２４】
バス１５は、撮像部２、カメラ制御部３、画像処理部４、記憶部５、バッファメモリ部６、表示部７、操作部１１、及び通信部１２と接続され、各部から出力された画像データや制御信号等を転送する。
【００２５】
カメラ制御部３は、撮像装置１００が備えている各部を制御する。
【００２６】
図２は、本実施形態に係る画像処理部４のブロック図である。
図２に示すように、画像処理部４は、画像取得部４１、画像識別情報取得部４２（シーン判別部）、色空間ベクトル生成部４３、主要色抽出部４４、テーブル記憶部４５、第１ラベル生成部４６、第２ラベル生成部４７、ラベル出力部４８を備えている。
【００２７】
画像取得部４１は、バス１５を介して、撮像部２が撮像した画像データと、画像データと関連付けられて記憶されている画像識別情報とを記憶媒体２００から読み出す。画像取得部４１が読み出す画像データは、撮像システム１の使用者が操作部１１の操作により選択した画像データである。画像取得部４１は、取得した画像データを、色空間ベクトル生成部４３に出力する。画像取得部４１は、取得した画像識別情報を画像識別情報取得部４２に出力する。
【００２８】
図３は、本実施形態に係る記憶媒体２００に画像データに関連付けられて記憶されている画像識別情報の一例を説明する図である。
図３において、左の列は項目例であり、右の列は情報の例である。図３に示すように、画像データと関連付けられて記憶されている項目は、撮像日時、画像全体の解像度、シャッタースピード、絞り値（Ｆ値）、ＩＳＯ感度、測光モード、フラッシュ使用の有無、シーンモード、静止画・動画等である。これらの画像識別情報は、撮影者が撮像時に撮像システム１の操作部１１で設定した情報と、撮像装置１００が自動的に設定した情報である。また、これらの画像識別情報は、画像データと関連付けられて記憶されているＥｘｉｆ規格の情報を用いるようにしてもよい。
項目において「シーン」（撮影モードともいう）とは、撮像装置１００に予め設定されているシャッタースピード、Ｆ値、ＩＳＯ感度、及び焦点距離などの組み合わせパターンである。これらの組み合わせパターンは、撮像する対象に合わせて予め設定され、記憶媒体２００に記憶され、使用者が操作部１１から手動で選択される。シーンは、例えば、ポートレート、風景、スポーツ、夜景ポートレート、パーティー、ビーチ、雪、夕焼け、夜景、クローズアップ、料理、美術館、花火、逆光、子供、ペットなどである。
【００２９】
図２に戻って、画像識別情報取得部４２は、画像取得部４１が出力する画像識別情報から、撮像された画像データに設定されている撮影情報を抽出し、抽出した撮影情報を第１ラベル生成部４６に出力する。なお、撮影情報とは、第１ラベル生成部４６が第１ラベルを生成するために必要な情報であり、例えばシーン、撮影日時等である。
【００３０】
色空間ベクトル生成部４３は、画像取得部４１が出力する画像データを、予め定められている色空間のベクトルに変換する。予め定められている色空間は、例えばＨＳＶ（Ｈｕｅ（色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｂｒｉｇｈｔｎｅｓｓ（明度））である。
色空間ベクトル生成部４３は、画像データの全画素を色ベクトル毎に分類し、色ベクトル毎の頻度を検出し、色ベクトルの頻度分布を生成する。色空間ベクトル生成部４３は、生成した色ベクトルの頻度分布を示す情報を主要色抽出部４４に出力する。
なお、画像データがＨＳＶの場合、色ベクトルは、次式（１）のように表される。
【００３１】
【数１】
【００３２】
なお、式（１）において、ｉ、ｊ、ｋは、色相を０〜１００％に正規化した場合、各々０から１００の自然数である。
【００３３】
主要色抽出部４４は、色空間ベクトル生成部４３が出力する色ベクトルの頻度分布を示す情報から頻度の高い順に３色を主要色として抽出し、抽出した主要色を示す情報を第１ラベル生成部４６に出力する。なお、頻度が高い色は、同じ色ベクトルの画素数が多い色である。また、主要色を示す情報とは、式（１）の色ベクトルと、この色ベクトル毎の頻度（画素数）である。
なお、本実施形態において、主要色抽出部４４は、色空間ベクトル生成部４３と主要色抽出部４４とにより構成するようにしてもよい。
【００３４】
テーブル記憶部４５（記憶部）には、シーン毎と主要色の組み合わせ毎に、第１ラベルが予め関連付けられて記憶されている。
【００３５】
図４は、本実施形態に係るテーブル記憶部４５に記憶されている主要色の組み合わせと第１ラベルの一例を説明する図である。
図４に示すように、画像データから抽出された主要色の中で、頻度が１番高い第１色、第１色の次に頻度が高い第２色、第２色の次に頻度が高い第３色の３色の組み合わせ毎と、シーン毎に第１ラベルが予め定義され、テーブル記憶部４５に記憶されている。例えば、第１色が色１、第２色が色２、第３色が色３の組み合わせにおいて、シーン１の第１ラベルはラベル（１，１）であり、シーンｎのラベルはラベル（１，ｎ）である。同様に、第１色が色ｍ、第２色が色ｍ、第３色が色ｍの組み合わせにおいて、シーン１の第１ラベルはラベル（ｍ，１）であり、シーンｎのラベルはラベル（ｍ，ｎ）である。
このように、シーン毎と主要な３色の組み合わせ毎のラベルを、予め実験やアンケートなどにより定義しておき、テーブル記憶部４５に記憶させておく。なお、第１色と第２色と第３色との頻度の比率は、１：１：１である。
【００３６】
図２に戻って、第１ラベル生成部４６は、画像識別情報取得部４２が出力する撮影情報と主要色抽出部４４が出力する主要色を示す情報とに関連付けられて記憶されている第１ラベルを、テーブル記憶部４５から読み出す。第１ラベル生成部４６は、読み出した第１ラベルを示す情報と、主要色抽出部４４が出力する主要色を示す情報とを第２ラベル生成部４７に出力する。また、第１ラベル生成部４６は、例えば、撮影情報であるＥｘｉｆに含まれる情報等を用いてシーン判別する。
【００３７】
第２ラベル生成部４７は、主要色抽出部４４が出力する主要色を示す情報から色ベクトル毎の頻度を抽出し、抽出した頻度を用いて３つの色ベクトルの頻度を正規化し、３つの主要色の比率を算出する。第２ラベル生成部４７は、算出した３つの主要色の比率に基づき第１ラベルを修飾する修飾ラベル（第３ラベル）を生成し、生成した修飾ラベルを第１ラベル生成部４６が出力する第１ラベルに修飾させることで第１ラベルを修正して、画像データに対する第２ラベルを生成する。第２ラベル生成部４７は、生成した第２ラベルを示す情報をラベル出力部４８に出力する。
【００３８】
ラベル出力部４８は、第２ラベル生成部４７が出力する第２ラベルを示す情報を画像データと関連付けてテーブル記憶部４５に記憶する。または、ラベル出力部４８は、第２ラベル生成部４７が出力するラベルを示す情報を画像データと関連付けて記憶媒体２００に記憶する。
【００３９】
図５は、本実施形態に係る画像データの主要色の一例を説明する図である。
図５において、横軸は色ベクトルであり、縦軸は色ベクトル（色情報）の頻度である。
図５の例は、色空間ベクトル生成部４３が、画像データをＨＳＶに分解した色ベクトル（ＨＳＶ＝（ｉｍ，ｊｍ，ｋｍ）；ｍは０から１００の自然数）の頻度分布のグラフである。また、図５は、左端にＨ（色相）＝０、Ｓ（彩度）＝０、Ｖ（明度）＝０、右端にＨ＝１００、Ｓ＝１００、Ｖ＝１００を模式的に順番に並べたものである。そして、色ベクトル毎に頻度を算出した結果を、模式的に表したものである。図５の例では、頻度が１番高い第１色ｃ１が、ベクトルＨＳＶ＝（ｉ１，ｊ６９，ｋ１００）、ばら色（ローズ）である。また、頻度が第１色の次に高い第２色ｃ２が、ベクトルＨＳＶ＝（ｉ１３，ｊ５２，ｋ１００）、淡黄色（サルファー）である。さらに、頻度が第２色の次に高い第３色ｃ３が、ベクトルＨＳＶ＝（ｉ４０，ｊ６５，ｋ８０）、冴青磁色（エメラルド）である。
【００４０】
図６は、図５で抽出された主要色のラベリングの一例を説明する図である。なお、図５及び図６の色ベクトルは、例えば、シーンモードがポートレートの画像データであるとして説明する。
図６（ａ）は、図５で抽出された第１色、第２色、第３色の例である。図６（ａ）に示すように、模式的に左から図５で示した色ベクトルの順番に並べて表してある。第１ラベル生成部４６は、主要色抽出部４４が抽出した第１色、第２色、第３色の組み合わせと関連付けられて記憶されている第１ラベルをテーブル記憶部４５から読み出す。この場合、第１色、第２色、第３色の組み合わせの第１ラベルは、「愉快な」として記憶されている。また、図６（ａ）に示すように、正規化前の第１色、第２色、第３色の各幅は、Ｌ１、Ｌ２及びＬ３であり、幅Ｌ１、Ｌ２及びＬ３の長さは等しい。また、長さＬ１０は、各幅Ｌ１、Ｌ２及びＬ３の合計である。
【００４１】
図６（ｂ）は、抽出された第１色、第２色、第３色を、頻度で正規化して、第１色、第２色、第３色の各幅をＬ１’、Ｌ２’、Ｌ３’のように補正した後の図である。幅の合計Ｌ１０は、図６（ａ）と同じである。図６（ｂ）の例では、第１色の頻度が他の第２色と第３色の頻度より高いため、第２ラベル生成部４７は、第１ラベル生成部４６が読み出した第１ラベル「愉快な」に対して、予め定められているルールに基づき、第１ラベル「愉快な」を修飾する修飾ラベル「とても」を生成する。予め定められているルールとは、第１色が、他の第２色と第３色より、予め定められているしきい値より頻度が多い場合、第２ラベル生成部４７は、修飾ラベル「とても」を生成して、生成した修飾ラベルを第１ラベル「愉快な」に修飾させることで第１ラベルを修正して、第２ラベル「とても愉快な」を生成する。なお、修飾ラベルは、例えば、第１ラベルを強調する単語である。
【００４２】
次に、修飾ラベルの例について説明する。
図６（ａ）に示すように、正規化前は、主要色抽出部４４が抽出した３つの色の幅または面積は、１：１：１である。そして、色ベクトルの頻度に基づき正規化した後、３つの色の幅または面積は、図６（ｂ）のように補正される。例えば、第１色の比率が、全体Ｌ１０の約６７％より大きい場合、第２ラベル生成部４７は、修飾ラベルとして「とても」を第１ラベルに修飾させることで第１ラベルを修正して第２ラベルとする。また、第１色の比率が、全体Ｌ１０の約５０％より大きく６７％より小さい場合、第２ラベル生成部４７は、修飾ラベルなしとする。すなわち、第２ラベル生成部４７は、第１ラベルを修正せずに第２ラベルとする。また、第１色の比率が、全体Ｌ１０の約３３％の場合、第２ラベル生成部４７は、修飾ラベルとして「ちょっと」を第１ラベルに修飾させることで第１ラベルを修正して第２ラベルとする。
このように、第２ラベル生成部４７は、第１ラベルに応じて、修飾する修飾ラベルを生成する。例えば、第１ラベル毎に、修飾可能な修飾ラベルを予めテーブル記憶部４５に関連付けて記憶させておいてもよい。
【００４３】
次に、シーン毎の主要色の例について、図７〜図９を用いて説明する。
図７は、本実施形態に係るスポーツの画像データと色ベクトルの図である。図７（ａ）は、スポーツの画像データであり、図７（ｂ）は、スポーツの色ベクトルのグラフである。図８は、本実施形態に係るポートレートの画像データと色ベクトルの図である。図８（ａ）は、ポートレートの画像データであり、図８（ｂ）は、ポートレートの色ベクトルのグラフである。図９は、本実施形態に係る風景の画像データと色ベクトルの図である。図９（ａ）は、風景の画像データであり、図９（ｂ）は、風景の色ベクトルのグラフである。図７（ｂ）、図８（ｂ）、図９（ｂ）において、横軸は色ベクトル、縦軸は頻度（画素数）である。
【００４４】
図７（ａ）と図７（ｂ）に示すように、図７（ａ）の画像データを画素毎に色ベクトルに分解し、各色ベクトルの頻度（画素数）をグラフ化すると図７（ｂ）のようになる。主要色抽出部４４は、このような色ベクトルの情報から、例えば、画素数の多い３つの色ｃ１１、ｃ１２、ｃ１３を抽出する。
【００４５】
図８（ａ）と図８（ｂ）に示すように、図８（ａ）の画像データを画素毎に色ベクトルに分解し、各色ベクトルの頻度（画素数）をグラフ化すると図８（ｂ）のようになる。主要色抽出部４４は、このような色ベクトルの情報から、例えば、画素数の多い３つの色ｃ２１、ｃ２２、ｃ２３を抽出する。
図９（ａ）と図９（ｂ）に示すように、図９（ａ）の画像データを画素毎に色ベクトルに分解し、各色ベクトルの頻度（画素数）をグラフ化すると図９（ｂ）のようになる。主要色抽出部４４は、このような色ベクトルの情報から、例えば、画素数の多い３つの色ｃ３１、ｃ３２、ｃ３３を抽出する。
【００４６】
図１０は、本実施形態に係るシーン毎の主要色の組み合わせの第１ラベルの一例を説明する図である。図１０において、行はシーン、列は色ベクトルを表している。
図１０において、画像データがＨＳＶの場合、色の組み合わせ（色１、色２、色３）のＨＳＶの各色相、彩度及び強度は、例えば、色１が（９４、１００、２５）（栗色、マルーン）、色２が（８、１００、４７）（たばこ色、コーヒー・ブラウン）、色３が（８１、１００、２８）（深紫色、ダスキー・バイオレット）である。
また、色ベクトル（色４、色５、色６）のＨＳＶの各色相、彩度及び強度は、例えば、色４が（１、６９、１００）（ばら色、ローズ）、色５が（１３、２５、１００）（象牙色、アイボリー）、色６が（５２、３６、９１）（水色、アクア・ブルー）である。
また、色ベクトル（色７、色８、色９）のＨＳＶの各色相、彩度及び強度は、例えば、色７が（４０、６５、８０）（冴青磁色、エメラルド）、色８が（０、０、１００）（白色、ホワイト）、色９が（５９、３８、８７）（サルビア色、サルビア・ブルー）である。
【００４７】
図１０に示すように、例えば、色の組み合わせが（色１、色２、色３）の場合、シーンがポートレートの第１ラベルは、「ダンディな」とテーブル記憶部４５に記憶されている。同じ色の組み合わせ（色１、色２、色３）でもシーンが風景の第１ラベルは、「趣深い」であるとテーブル記憶部４５に記憶されている。また、同じ色の組み合わせ（色１、色２、色３）でもシーンがスポーツの第１ラベルは、「（ラグビー風）男っぽい」であるとテーブル記憶部４５に記憶されている。
また、図１０に示すように、例えば、色の組み合わせが（色４、色５、色６）の場合、シーンがポートレートの第１ラベルは、「子供らしい」であるとテーブル記憶部４５に記憶されている。同じ色の組み合わせ（色４、色５、色６）でもシーンが風景の第１ラベルは、「やわらかい」であるとテーブル記憶部４５に記憶されている。また、同じ色の組み合わせ（色４、色５、色６）でもシーンがスポーツの第１ラベルは、「（テニス風）生き生きした」であるとテーブル記憶部４５に記憶されている。
また、図１０に示すように、例えば、色の組み合わせが（色７、色８、色９）の場合、シーンがポートレートの第１ラベルは、「若々しい」であるとテーブル記憶部４５に記憶されている。同じ色の組み合わせ（色７、色８、色９）でもシーンが風景の第１ラベルは、「（新緑のイメージ）すがすがしい」であるとテーブル記憶部４５に記憶されている。
また、同じ色の組み合わせ（色７、色８、色９）でもシーンがスポーツの第１ラベルは、「（海上スポーツ風）さわやかな」であるとテーブル記憶部４５に記憶されている。
また、図１０に示したように、テーブル記憶部４５に記憶される情報は、色の組み合わせと形容詞や副詞の第１ラベルのみではなく、イメージを表す単語も関連付けて記憶させておくようにしてもよい。なお、イメージを表す単語とは、例えば、ラグビー風、新緑のイメージなどである。
【００４８】
図１１は、本実施形態に係る時刻、季節と色ベクトルによる第１ラベルの例を説明する図である。図１１において、色ベクトルは、画像データがＨＳＶであり、図１０で説明した色の組み合わせ（色７、色８、色９）である。図１１において、列は、時刻と季節を表し、行は、色の組み合わせ（色７、色８、色９）に対する各時刻と季節のラベルである。
図１１に示すように、色の組み合わせ（色７、色８、色９）の第１ラベルは、時刻が朝の場合、「すがすがしい」、時刻が昼の場合、「雨っぽい」、時刻が夜の場合、「夜明けが近い」であるとテーブル記憶部４５に記憶されている。
図１１に示すように、色の組み合わせ（色７、色８、色９）の第１ラベルは、季節が春の場合、「肌寒い」、季節が夏の場合、「涼しい」、季節が秋の場合、「肌寒い」、季節が冬の場合、「寒い」であるとテーブル記憶部４５に記憶されている。
このような時刻、季節に関する情報は、画像識別情報取得部４２が取得した画像識別情報に含まれる撮影日時に基づき、第１ラベル生成部４６が第１ラベルをテーブル記憶部４５から読み出す。
また、図１１に示すように、同じ色の組み合わせ（色７、色８、色９）に対して、春と秋で第１ラベルが同じでもよい。
【００４９】
次に、撮像装置１００が行うラベル生成処理について、図１２を用いて説明する。図１２は、本実施形態に係る撮像装置１００が行うラベル生成のフローチャートである。
【００５０】
（ステップＳ１）撮像装置１００の撮像部２は、カメラ制御部３の制御に基づき画像を撮像する。次に、撮像部２は、撮像した画像データをＡＤ変換部２３によりデジタルデータに変換し、変換した画像データを記憶媒体２００に記憶する。
次に、カメラ制御部３は、撮像時に操作部１１により使用者により設定または選択された撮影条件、及び撮像時に撮像装置１００が自動的に設定または取得した情報等を含む画像識別情報を、撮像された画像データと関連付けて記憶媒体２００に記憶する。ステップＳ１終了後、ステップＳ２に進む。
【００５１】
（ステップＳ２）次に、画像処理部４の画像取得部４１は、バス１５を介して、撮像部２が撮像した画像データと、画像データと関連付けられて記憶されている画像識別情報とを記憶媒体２００から読み出す。なお、画像取得部４１が読み出す画像データは、撮像システム１の使用者が操作部１１の操作により選択した画像データである。
次に、画像取得部４１は、取得した画像データを、色空間ベクトル生成部４３に出力する。次に、画像取得部４１は、取得した画像識別情報を画像識別情報取得部４２に出力する。ステップＳ２終了後、ステップＳ３に進む。
【００５２】
（ステップＳ３）次に、画像識別情報取得部４２は、画像取得部４１が出力する画像識別情報から撮像された画像データに設定されている撮影情報を抽出し、抽出した撮影情報を第１ラベル生成部４６に出力する。ステップＳ３終了後、ステップＳ４に進む。
【００５３】
（ステップＳ４）次に、色空間ベクトル生成部４３は、画像取得部４１が出力する画像データを予め定められている色空間のベクトルに変換する。予め定められている色空間は、例えばＨＳＶである。次に、色空間ベクトル生成部４３は、生成した色ベクトル毎に画像データの全画素を分類し、色ベクトル毎の頻度を検出し、色ベクトルの頻度分布を生成する。次に、色空間ベクトル生成部４３は、生成した色ベクトルの頻度分布を示す情報を主要色抽出部４４に出力する。ステップＳ４終了後、ステップＳ５に進む。
【００５４】
（ステップＳ５）次に、主要色抽出部４４は、色空間ベクトル生成部４３が出力する色ベクトルの頻度分布を示す情報から頻度の高い順に３色を主要色として抽出し、抽出した主要色を示す情報を第１ラベル生成部４６に出力する。ステップＳ５終了後、ステップＳ６に進む。
【００５５】
（ステップＳ６）次に、第１ラベル生成部４６は、画像識別情報取得部４２が出力する撮影情報と主要色抽出部４４が出力する主要色を示す情報とに関連付けられて記憶されている第１ラベルを、テーブル記憶部４５から読み出す。次に、第１ラベル生成部４６は、読み出した第１ラベルを示す情報と、主要色抽出部４４が出力する主要色を示す情報とを第２ラベル生成部４７に出力する。
なお、第１ラベル生成部４６は、テーブル記憶部４５に、画像識別情報取得部４２が出力する撮影情報と主要色抽出部４４が出力する主要色を示す情報とに関連付けられて記憶されている第１ラベルが記憶されていない場合、例えば、同じ主要色について別のシーンの第１ラベルが記録されているか否かを判別する。同じ主要色について別のシーンの第１ラベルが記録されていると判別した場合、第１ラベル生成部４６は、同じ主要色について別のシーンの第１ラベルをテーブル記憶部４５から読み出すようにしてもよい。一方、同じ主要色について別のシーンの第１ラベルが記録されていないと判別した場合、第１ラベル生成部４６は、主要色と最も色ベクトルの距離が近く且つシーンが同一の色ベクトルと関連付けられて記憶されているラベルをテーブル記憶部４５から読み出すようにしてもよい。
ステップＳ６終了後、ステップＳ７に進む。
【００５６】
（ステップＳ７）次に、第２ラベル生成部４７は、主要色抽出部４４が出力する主要色を示す情報から各色ベクトルの頻度を正規化し、３つの主要色の比率を算出する。ステップＳ７終了後、ステップＳ８に進む。
【００５７】
（ステップＳ８）次に、第２ラベル生成部４７は、算出した３つの主要色の比率に基づき、第１ラベル生成部４６が出力する第１ラベルを修飾する修飾ラベルを生成し、生成した修飾ラベルで第１ラベルを修飾させることで第１ラベルを修正して第２ラベルを生成する。次に、第２ラベル生成部４７は、生成した第２ラベルを示す情報をラベル出力部４８に出力する。ステップＳ８終了後、ステップＳ９に進む。
【００５８】
（ステップＳ９）次に、ラベル出力部４８は、第２ラベル生成部４７が出力する第２ラベルを示す情報を画像データと関連付けてテーブル記憶部４５に記憶する。
なお、ステップＳ６において、テーブル記憶部４５に、シーンを示す情報と主要色を示す情報とに関連付けられて記憶されている第１ラベルが記憶されていない場合、ラベル出力部４８は、ステップＳ６で読み出した第１ラベルと抽出された主要色とを関連付けて、テーブル記憶部４５に新たに記憶させるようにしてもよい。
以上で、画像処理部４が行うラベル生成処理を終了する。
【００５９】
以上のように、本実施形態の撮像装置１００は、従来技術と比較して、少ない演算量で画像データの特徴量である主要色を抽出することができる。さらに、本実施形態の撮像装置１００は、Ｅｘｉｆに含まれる情報等を用いてシーン判別して、判別結果に基づいてテーブル記憶部４５に記憶されているシーン毎のテーブルを選択するようにしたため少ない演算量でシーンを判別できる。この結果、本実施形態の撮像装置１００は、従来技術と比較して、画像データに対して少ない演算処理と少ない選択肢で、多くのラベル生成を行うことができる。
すなわち、画像処理部４は、画像データを色空間に変換した色ベクトルの中から、頻度の多い３つの主要色を抽出し、抽出した主要色に予め対応付けて記憶されている第１ラベルを抽出する。図１０と図１１に示したように、主要色に対して、シーン毎、時刻や季節毎に第１ラベルを予め対応付けて記憶させてあるため、画像処理部４は、画像データから抽出された主要色が同じであっても、シーン毎、時刻や季節毎に異なる第１ラベルを生成することができるので、シーン毎に画像データに最適なラベルを生成することができる。
さらに、画像処理部４は、３つの主要色の頻度を正規化して、最も頻度の多い第１色の割合に応じて、生成された第１ラベルを修飾する修飾ラベルを生成し、生成した修飾ラベルで第１ラベルを修飾させることで第１ラベルを修正して第２ラベルを生成する。
この結果、画像処理部４は、画像データの主要色の配色の割合に基づき、第１ラベルを修飾ラベルで修飾して修正することで第２ラベルを生成するようにしたので、画像データから主要色を抽出してラベルを生成する場合と比較して、シーン毎に画像データにさらに最適なラベルを生成することができる。
【００６０】
なお、本実施形態では、色空間ベクトル生成部４３が、画像データをＨＳＶの色空間において色ベクトルを生成する例を説明したが、ＲＧＢ（赤、緑、青）、輝度信号と2つの色差信号によるＹＣｒＣｂまたはＹＰｂＰｒ、色相と彩度及び明度によるＨＬＳ、補色空間の一種であるＬａｂ、日本色研配色体系（ＰＣＣＳ；Ｐｒａｃｔｉｃａｌ Ｃｏｌｏｒ Ｃｏ−ｏｒｄｉｎａｔｅ Ｓｙｓｔｅｍ）に基づく色空間などを用いてもよい。
また、本実施形態では、色空間ベクトル生成部４３が、色ベクトルの頻度分布を生成して、生成した色ベクトルの頻度分布を示す情報を主要色抽出部４４に出力する例を説明したが、色空間ベクトル生成部４３は、色ベクトル毎の頻度を検出して、検出した色ベクトル毎の頻度を示す情報を主要色抽出部４４に出力するようにしてもよい。この場合においても、例えば、テーブル記憶部４５に記憶させるＲＧＢの各値は、１毎、１０毎等の間隔の中からテーブル作成者が選択した色であってもよい。
【００６１】
また、本実施形態では、ラベル出力部４８が、ラベルを示す情報を画像データと関連付けてテーブル記憶部４５に記憶する例を説明したが、第２ラベル生成部４７が出力するラベルを文字情報（テキスト）によるデータとして、使用者により選択された画像データに重ねて表示部７に表示するようにしてもよい。
また、本実施形態では、第１ラベルと第２ラベルは、形容詞または副詞の例を説明したが、第１ラベルと第２ラベルは、例えば名詞であってもよい。この場合、第１ラベルは、例えば、「爽快」、「若返り」、「ダンディ」などである。
【００６２】
また、本実施形態では、画像データから主要色を算出する例を説明したが、主要色抽出部４４は、隣り合う色ベクトルが予め定められている距離だけ離れている３つの色を抽出するようにしてもよい。隣り合う色ベクトルとは、図７（ｂ）において、例えば、画像データがＨＳＶの場合、色ベクトル（５０、５０、５０）と（５０、５０、５１）とである。隣り合う色の距離は、ヒトの視覚的な色を識別できる公知の閾値に基づき設定するようにしてもよい。例えば、ＷＥＢで使用が推奨されているＷＥＢ２５６色と、白黒で表現できるモノトーン２５６色などを用いるようにしてもよい。
【００６３】
また、主要色抽出部４４は、主要色の算出の前に、色空間ベクトル生成部４３が生成した色ベクトルの頻度分布に対して、公知の手法を用いて、平滑化処理を行うようにしてもよい。または、色空間ベクトル生成部４３が色空間ベクトルを生成する前に、公知の手法を用いて、減色処理を行うようにしてもよい。例えば、色空間ベクトル生成部４３は、画像データをＷＥＢカラーに減色するようにしてもよい。
また、本実施形態では、主要色抽出部４４が、画像データから頻度の高い３つの色を主要色として抽出する例を説明したが、抽出する色の数は３色に限られず、２色以上であればよい。
【００６４】
また、本実施形態では、色ベクトルとしてＨＳＶを用いる例を説明した。テーブル記憶部４５には、図４に示したように３つの色の組み合わせを記憶させる場合、ＨＳＶの各値を１毎に設定されたＨＳＶ＝（０，０，０）、（１，０，０）、（１，１，０）・・・（１００、１００、９９）、（１００、１００、１００）の中からテーブル作成者が選択するようにしてもよい。または、ＨＳＶの各値を１０毎に設定されたＨＳＶ＝（０，０，０）、（１０，０，０）、（１０，１０，０）・・・（１００、１００、９０）、（１００、１００、１００）の中からテーブル作成者が選択するようにしてもよい。このように、色ベクトルにおける各値の間隔を１０等、予め定めた値にすることで、テーブル記憶部４５に記憶させる容量を少なくすることができ、さらに演算量も削減することができる。
【００６５】
［第２実施形態］
第１実施形態では、使用者により選択された画像データのシーンを、画像データと関連付けて記憶媒体２００に記憶されている画像識別情報に基づき判別する例を説明した。本実施形態では、選択された画像データから、シーンを画像処理装置が判別して、判別した結果に基づきラベルを生成する例について説明する。
【００６６】
図１３は、本実施形態に係る画像処理部４ａのブロック図である。
図１３に示すように、画像処理部４ａは、画像取得部４１ａ、画像識別情報取得部４２、色空間ベクトル生成部４３、主要色抽出部４４、テーブル記憶部４５、第１ラベル生成部４６ａ、第２ラベル生成部４７、ラベル出力部４８、特徴量抽出部２４１、シーン判別部２４２を備えている。なお、第１実施形態と同じ機能を有する機能部は、同じ符号を用いて説明は省略する。
【００６７】
画像取得部４１ａは、バス１５を介して、撮像部２が撮像した画像データと、画像データと関連付けられて記憶されている画像識別情報とを記憶媒体２００から読み出す。画像取得部４１ａは、取得した画像データを、色空間ベクトル生成部４３、特徴量抽出部２４１に出力する。画像取得部４１ａは、取得した画像識別情報を画像識別情報取得部４２に出力する。
【００６８】
特徴量抽出部２４１は、画像取得部４１ａが出力する画像データから、公知の手法により特徴量を抽出する。公知の手法は、例えば、画像の２値化、平滑化、エッジ検出、輪郭検出などの手法を用いる。特徴量抽出部２４１は、抽出した特徴量を示す情報をシーン判別部２４２に出力する。
【００６９】
シーン判別部２４２は、特徴量抽出部２４１が出力する特徴量を示す情報に基づき、画像取得部４１ａが取得した画像データのシーンを公知の手法を用いて判別する。なお、シーン判別に用いる公知の手法とは、例えば、特許文献１に記載の従来技術のように、シーン判別部２４２が、画像データを予め定められている複数の領域に分割し、その領域毎の特徴量に基づき、画像データに人物が写っているのか、空が映っているのか等を判別する。そして、判別結果に基づき、シーン判別部２４２は、画像データのシーンを判別する。
シーン判別部２４２は、判別したシーンを示す情報を第１ラベル生成部４６ａに出力する。
なお、本実施形態において、シーン判別部２４２は、特徴量抽出部２４１とシーン判別部２４２とにより構成するようにしてもよい。
【００７０】
第１ラベル生成部４６ａは、シーン判別部２４２が出力するシーンを示す情報と主要色抽出部４４が出力する主要色を示す情報とに関連付けられて記憶されている第１ラベルを、テーブル記憶部４５から読み出す。第１ラベル生成部４６ａは、読み出した第１ラベルを示す情報と、主要色抽出部４４が出力する主要色を示す情報とを第２ラベル生成部４７に出力する。
【００７１】
次に、撮像装置１００の画像処理部４ａが行うラベル生成処理について、図１２を用いて説明する。撮像装置１００は、ステップＳ１とステップＳ２を第１実施形態と同様に行う。
【００７２】
（ステップＳ３）次に、特徴量抽出部２４１は、画像取得部４１ａが出力する画像データから、公知の手法により特徴量を抽出し、抽出した特徴量を示す情報をシーン判別部２４２に出力する。
次に、シーン判別部２４２は、特徴量抽出部２４１が出力する特徴量を示す情報に基づき、画像取得部４１ａが取得した画像データの撮影情報であるシーンを公知の手法を用いて抽出して取得し、取得したシーンを示す情報を第１ラベル生成部４６ａに出力する。ステップＳ３終了後、ステップＳ４に進む。
【００７３】
画像処理部４ａは、ステップＳ４とステップＳ５を第１実施形態と同様に行う。ステップＳ５終了後、ステップＳ６に進む。
【００７４】
（ステップＳ６）次に、第１ラベル生成部４６ａは、シーン判別部２４２が出力するシーンを示す情報と主要色抽出部４４が出力する主要色を示す情報とに関連付けられて記憶されている第１ラベルを、テーブル記憶部４５から読み出す。次に、第１ラベル生成部４６ａは、読み出した第１ラベルを示す情報と、主要色抽出部４４が出力する主要色を示す情報とを第２ラベル生成部４７に出力する。ステップＳ６終了後、画像処理部４ａは、ステップＳ７〜Ｓ９を第１実施形態と同様に行う。
【００７５】
以上のように、画像処理部４ａは、撮像された画像データを、予め定められている手法でシーン判別し、判別したシーンと、画像データから抽出された３つの主要色に基づき、第１実施形態と同様にラベルを生成するようにした。この結果、画像処理部４ａは、画像識別情報が画像データと関連付けて記憶媒体２００に記憶されていない場合であっても、画像データに最適なラベルを生成することができる。
【００７６】
なお、本実施形態において、画像処理部４ａは、画像データから判別したシーンと、抽出した主要色とに基づき、ラベルを生成する例を説明したが、第１実施形態と同様に、撮影情報も用いてシーン判別するようにしてもよい。画像処理部４ａは、例えば、画像識別情報から撮像された日時を示す情報を抽出し、抽出された撮像日時と画像データから判別されたシーンに基づき、ラベルを生成するようにしてもよい。より具体的には、シーンが「風景」であり、撮像日時が「秋」の場合、シーン「風景」と「秋」と主要色と関連付けて記憶されている第１ラベルを読み出し、この読み出した２つの第１ラベルに基づきラベルを生成するようにしてもよい。
あるいは、テーブル記憶部４５に、シーンを「秋の風景」として、主要色と第１ラベルを記憶させておくようにしてもよい。
【００７７】
［第３実施形態］
第１実施形態と第２実施形態では、使用者により選択された画像データ全体から抽出した主要色に基づきラベルを生成する例を説明した。本実施形態では、選択された画像データからシーンを判別し、判別したシーンに基づき予め定められている画像データの領域において主要色を抽出し、抽出した主要色からラベルを生成する例について説明する。
【００７８】
図１４は、本実施形態に係る実施形態に係る画像処理部４ｂのブロック図である。
図１４に示すように、画像処理部４ｂは、画像取得部４１ｂ、画像識別情報取得部４２ｂ、色空間ベクトル生成部４３ｂ、主要色抽出部４４、テーブル記憶部４５、第１ラベル生成部４６、第２ラベル生成部４７、ラベル出力部４８、領域抽出部３４１を備えている。なお、第１実施形態と同じ機能を有する機能部は、同じ符号を用いて説明は省略する。
【００７９】
画像取得部４１ｂは、バス１５を介して、撮像部２が撮像した画像データと、画像データと関連付けられて記憶されている画像識別情報とを記憶媒体２００から読み出す。画像取得部４１ｂは、取得した画像データを、領域抽出部３４１と色空間ベクトル生成部４３ｂとに出力する。画像取得部４１ｂは、取得した画像識別情報を画像識別情報取得部４２ｂに出力する。
【００８０】
画像識別情報取得部４２ｂは、画像取得部４１ｂが出力する画像識別情報から撮像された画像データに設定されている撮影情報を抽出し、抽出した撮影情報を第１ラベル生成部４６と領域抽出部３４１とに出力する。
【００８１】
領域抽出部３４１は、画像識別情報取得部４２ｂが出力する撮影情報に基づき、画像識別情報取得部４２ｂが出力する画像データから、予め定められている手法で主要色を抽出する領域を抽出する。領域抽出部３４１は、画像識別情報取得部４２ｂが出力する画像データから、抽出した主要色を抽出する領域の画像データを抽出し、抽出した領域の画像データを色空間ベクトル生成部４３ｂに出力する。
なお、予め定められている主要色を抽出する領域を抽出する手法とは、例えば、シーン毎に画像全体から抽出する領域を予め設定しておくようにしてもよい。例えば、シーンが「風景」の場合、画像データの上から３分の２の領域、シーンが「ポートレート」の場合、画像データの中心部に予め定められている大きさの領域などである。
あるいは、第２実施形態と組み合わせて、画像データから抽出した特徴量に基づき、特徴量が抽出された領域を、主要色を抽出する領域として抽出するようにしてもよい。この場合、画像データから抽出する領域は複数でもよい。例えば、撮像された画像データのシーンがポートレートであると判別された場合、図１３のシーン判別部２４２は、特徴量抽出等の手法を用いて顔検出を行う。そして、シーン判別部２４２は、検出された顔の領域が複数ある場合、シーン判別部２４２は、この検出された複数の領域から各々主要色を検出する。そして、第１ラベル生成部４６と第２ラベル生成部４７は、検出された主要色毎の複数のラベルを生成するようにしてもよい。あるいは、シーン判別部２４２は、検出された全ての顔領域を含む領域を、主要色を抽出する領域として用いるように主要色抽出部４４に、判別結果を出力するようにしてもよい。
【００８２】
図１４に戻って、色空間ベクトル生成部４３ｂは、領域抽出部３４１が出力する画像データを予め定められている色空間のベクトルに変換する。予め定められている色空間は、例えばＨＳＶである。色空間ベクトル生成部４３ｂは、生成した色ベクトル毎に画像データの全画素を分類し、色ベクトル毎の頻度を検出し、色ベクトルの頻度分布を生成する。
色空間ベクトル生成部４３ｂは、生成した色ベクトルの頻度分布を示す情報を主要色抽出部４４に出力する。
【００８３】
次に、撮像装置１００の画像処理部４ｂが行うラベル生成処理について、図１５を用いて説明する。図１５は、本実施形態に係る撮像装置１００が行うラベル生成のフローチャートである。撮像装置１００は、ステップＳ１を第１実施形態と同様に行う。ステップＳ１終了後、ステップＳ１０１に進む。
【００８４】
（ステップＳ１０１）次に、画像処理部４ｂの画像取得部４１ｂは、バス１５を介して、撮像部２が撮像した画像データと、画像データと関連付けられて記憶されている画像識別情報とを記憶媒体２００から読み出す。
次に、画像取得部４１ｂは、取得した画像データを、領域抽出部３４１と色空間ベクトル生成部４３ｂに出力する。次に、画像取得部４１ｂは、取得した画像識別情報を画像識別情報取得部４２ｂに出力する。ステップＳ１０１終了後、ステップＳ３に進む。
【００８５】
（ステップＳ３）画像処理部４ｂは、ステップＳ３を第１実施形態と同様に行う。ステップＳ３終了後、ステップＳ１０２に進む。
【００８６】
（ステップＳ１０２）次に、領域抽出部３４１は、画像識別情報取得部４２ｂが出力する撮影情報に基づき、画像識別情報取得部４２ｂが出力する画像データから、予め定められている手法で主要色を抽出する領域を抽出する。
次に、領域抽出部３４１は、画像識別情報取得部４２ｂが出力する画像データから、抽出した主要色を抽出する領域の画像データを抽出し、抽出した領域の画像データを色空間ベクトル生成部４３ｂに出力する。ステップＳ１０２終了後、ステップＳ１０３に進む。
【００８７】
（ステップＳ１０３）次に、色空間ベクトル生成部４３ｂは、領域抽出部３４１が出力する領域の画像データを予め定められている色空間のベクトルに変換する。次に、色空間ベクトル生成部４３ｂは、生成した色ベクトル毎に画像データの全画素を分類し、色ベクトル毎の頻度を検出し、色ベクトルの頻度分布を生成する。次に、色空間ベクトル生成部４３ｂは、生成した色ベクトルの頻度分布を示す情報を主要色抽出部４４に出力する。ステップＳ１０３終了後、ステップＳ５に進む。
【００８８】
以下、画像処理部４ｂは、ステップＳ５〜Ｓ９を第１実施形態と同様に行う。
【００８９】
以上のように、画像処理部４ｂは、撮像された画像データからシーン等の撮影情報に基づき、主要色を抽出する領域を抽出する。そして、画像処理部４ｂは、主要色を抽出する領域の画像データから抽出された３つの主要色に基づき、第１実施形態と同様にラベルを生成するようにした。この結果、画像処理部４ｂは、シーンに応じた領域の画像データから主要色を抽出し、抽出した領域の主要色に基づきラベルを生成するようにしたので、第１実施形態と第２実施形態と比べて、さらにシーンに適合する画像データに最適なラベルを生成することができる。
【００９０】
［第４実施形態］
第１実施形態〜第３実施形態では、使用者により選択された画像データから３つの色を主要色として選択する例を説明した。本実施形態では、選択された画像データから、３つ以上の色を選択する例について説明する。なお、画像処理部４の構成は、第１実施形態（図２）と同様の場合について説明する。
【００９１】
図１６は、本実施形態に係る画像データから、複数の色ベクトルを抽出する一例を説明する図である。図１６において、横軸は色ベクトル、縦軸は頻度を表している。
図１６において、主要色抽出部４４は、図８（ｂ）と同様に第１色の色ベクトルｃ２１、第２色の色ベクトルｃ２２、第３色の色ベクトルｃ２３を抽出したとして説明する。
図１６において、色ベクトルｃ２４、ｃ２５、ｃ２６の頻度が、予め定められている範囲内の場合、主要色抽出部４４は、第４の主要色として色ベクトルｃ２４、ｃ２５、ｃ２６を抽出する。この場合、テーブル記憶部４５には、図４で説明した第１色〜第３色以外に第４色等まで含めたシーン毎のラベルを記憶させておく。
そして、第４色が抽出された場合、主要色抽出部４４は、テーブル記憶部４５に記憶されている第１色〜第４色の組み合わせの第１ラベルを読み出し、記憶されている第１ラベルを抽出する。第１色〜第４色の組み合わせの第１ラベルが複数、記憶されていた場合、主要色抽出部４４は、例えば、一番先にテーブル記憶部４５から読み出した第１ラベルを選択するようにしてもよく、あるいは、ランダムに選択するようにしてもよい。
【００９２】
また、主要色抽出部４４は、抽出した４つの色の中から、３つの色を主要色として選択するようにしてもよい。この場合、主要色抽出部４４は、抽出された４つの色の近似度を算出し、近似度の低い３つの色を、主要色をして算出するようにしてもよい。色の近似度は、例えば、図１６において、仮に、色ベクトルｃ２２〜ｃ２５の４つの色ベクトルが、第１色〜第４色として抽出されたとして説明する。主要色抽出部４４は、抽出した４つの色を、８ビットのカラー空間から、例えば７ビットカラー空間に減色する。減色した後、例えば、色ベクトルｃ２４とｃ２５とが同一の色と判別された場合、主要色抽出部４４は、色ベクトルｃ２４とｃ２５とを近似色であると判別する。そして、主要色抽出部４４は、第３の主要色として、色ベクトルｃ２４またはｃ２５のどちらか一方を選択する。この場合、図１６の頻度分布において、主要色抽出部４４は、第１色の色ベクトルｃ２２と第２色の色ベクトルｃ２３と横軸方向で離れている距離が大きい方の色ベクトルを選択するようにしてもよく、ランダムに選択してもよい。
また、７ビットのカラー空間に減色しても４つの色ベクトルが分離したままの場合、色空間ベクトル生成部４３は、４つの色ベクトルが３つの色ベクトルに統合されるまで減色を行う。
【００９３】
以上のように、撮影情報であるシーン毎に４つ以上の主要色と第１ラベルとがテーブル記憶部４５に予め記憶されているようにし、画像データから主要色を４色以上抽出して、抽出した主要色とシーンに基づいてラベルを生成するようにしたので、第１実施形態〜第３実施形態と比較して、さらに画像データに最適なラベルを生成することができる。
すなわち、本実施形態において画像処理部４は、画像データを色空間に変換した色ベクトルの中から、頻度の多い４つの色を抽出し、抽出した４つの色に予め対応付けて記憶されている第１ラベルを抽出する。抽出した４つの主要色ベクトルに対して、撮影情報毎、例えばシーン毎、時刻や季節毎に第１ラベルを予め対応付けて記憶させてあるため、画像処理部４は、画像データから抽出された主要色が同じであっても、シーン毎、時刻や季節毎に異なる第１ラベルを生成することができる。さらに、画像処理部４は、４つの主要色の頻度を正規化して、最も頻度の多い第１色の割合に応じて、生成された第１ラベルに、第１ラベルを強調する第２ラベルを付加してラベルを生成する。この結果、画像処理部４は、４つの主要色に基づき、第１実施形態〜第３実施形態と比較して、さらに画像データに最適なラベルを生成することができる。
また、画像処理部４は、抽出した４つの主要色の中から、３つの主要色を減色等により抽出し、抽出した３つの主要色に対して、第１実施形態と同様にラベル生成処理を行う。この結果、画像処理部４は、色ベクトルの頻度に差が少ないような画像データであっても、画像データに最適なラベルを生成することができる。
【００９４】
また、本実施形態では、画像データから、４つの主要色を抽出する例を説明したが、抽出する主要色は４色に限られず、それ以上であってもよい。この場合、抽出した主要色の色数に応じた第１ラベルをテーブル記憶部４５に記憶させておくようにしてもよい。また、例えば、主要色を５色、抽出する場合、上述したように主要色抽出部４４は、減色を行って近似色に統合して、抽出した複数の主要色の中から３つの主要色を再度、抽出するようにしてもよい。また例えば、主要色を６色、抽出する場合、主要色抽出部４４は、まず、頻度の多い順に第１色〜第３色の第１グループと、残りの第４色〜第６色との第２グループに分離する。なお、第４色は、第３色より画素数が少なく第５色より画素数が多く、第５色は、第４色より画素数が少ない。
そして、第１ラベル生成部４６は、第１グループに対応する第ラベルと、第２グループに対応する第１ラベルを抽出する。そして、第１ラベル生成部４６は、このように抽出された２つの第１ラベルについて、第１実施形態と同様に第１色、または第４色の頻度に応じて修飾ラベルで第１ラベルを修飾することで修正して複数のラベルを生成するようにしてもよい。あるいは、第２ラベル生成部４７は、このように生成した複数のラベルを統合して１つのラベルを生成するようにしてもよい。具体的には、第１グループによるラベルが「とてもすがすがしい」、第２グループによるラベルが「少し子供っぽい」であった場合、第２ラベル生成部４７は、「とてもすがすがしく、少し子供っぽい」というラベルを生成するようにしてもよい。このような、２つのラベルを生成する場合、第２ラベル生成部４７は、第２ラベル生成部４７内に、２つのラベルのどちらを先に配置した方が、適切なラベルを生成できるかを確認するため、非図示の言語解析処理を行う処理機能部を備えるようにしてもよい。
【００９５】
また、第１実施形態〜第４実施形態では、１つの画像データに１つのラベルを生成する例を説明したが、生成するラベルは、２つ以上であってもよい。この場合、色空間ベクトル生成部４３（含む４３ｂ）は、例えば、図９の画像データにおいて、上半分と下半分に分割し分割した領域毎に色ベクトルの頻度分布を生成する。主要色抽出部４４は、分割された領域毎の色ベクトルの頻度分布から、各々の主要色を、３色ずつ抽出する。そして、第１ラベル生成部４６は、領域毎のラベルをテーブル記憶部４５から抽出するようにしてもよい。そして、ラベル出力部４８は、このように生成された複数のラベルを画像データと関連付けて記憶媒体２００に記憶させるようにしてもよい。
【００９６】
なお、第１実施形態〜第３実施形態では、シーン毎に３色の主要色と第１ラベルとを関連付けてテーブル記憶部４５に記憶させておく例を説明したが、例えば、シーン毎に単色と第１ラベルを関連付けてテーブル記憶部４５に記憶させておくようにしてもよい。この場合、第１実施形態で説明したように、テーブル記憶部４５には、シーン毎に３色の主要色と第１ラベルとを関連付けて記憶させ、さらに、シーン毎に単色と第１ラベルを関連付けて記憶させておくようにしてもよい。
このような処理により、画像データがモノトーンで、主要色が１色しか抽出できないような画像データに対しても適切なラベルを生成することができる。この場合、例えば、画像処理部４（４ａ，４ｂ）は、第４実施形態のように４色を主要色として検出し、第１色〜第３色の第１グループ、残りの第４色のみ単色としてラベルをテーブル記憶部４５から読み出すようにしてもよい。
また、画像データの色調が単調であり、主要色が２色しか抽出できなかった場合、例えば、第１ラベル生成部４６は、抽出された２つの主要色（第１色と第２色）の各第１ラベルを読み出す。次に、第２ラベル生成部４７は、抽出された２つの主要色の頻度に基づき、２つの主要色を正規化し、第１色の割合に基づき第１色のラベルに対して修飾ラベルを生成し、生成した修飾ラベルで第１色の第１ラベルを修飾して修正することで、第１色の第２ラベルを生成するようにしてもよい。あるいは、第２ラベル生成部４７は、このように生成された第１色の第１ラベルと、第２色の第１ラベルの２つのラベルを生成するか、あるいは、第１色の第１ラベルと第２色の第１ラベルを統合して１つのラベルを生成するようにしてもよい。
【００９７】
また、第１実施形態〜第４実施形態では、使用者により選択された画像データを記憶媒体２００から読み出す例を説明したが、ラベル生成処理に用いる画像データは、記憶媒体２００にロー（ＲＡＷ）データとＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）データが記録されている場合、ＲＡＷデータかＪＰＥＧデータのどちらを用いてもよい。また、記憶媒体２００に表示部７への表示用の縮小されたサムネイル（ｔｈｕｍｂｎａｉｌ）画像データが記憶されている場合、このサムネイル画像データを用いてラベルを生成するようにしてもよい。また、サムネイル画像データが記憶媒体に記憶されていなくても、色空間ベクトル生成部４３（含む４３ｂ）が、画像取得部４１（含む４１ａ、４１ｂ）が出力する画像データの解像度を、予め定めた解像度に縮小した画像データを生成し、この縮小された画像データから色ベクトルの頻度や主要色を抽出するようにしてもよい。
【００９８】
なお、実施形態の図２の画像処理部４、図１３の画像処理部４ａ、または図１４の画像処理部４ｂの各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ等の可搬媒体、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ） Ｉ／Ｆ（インタフェース）を介して接続されるＵＳＢメモリー、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、サーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００９９】
図１７は、画像上に配置される文章を決定するために用いられる撮像画像の特徴量を抽出するプロセスの一例を模式的に示す図である。図１７の例において、画像処理装置の判定部は、撮像画像のシーンを人物画像又は風景画像に分類する。次に、画像処理装置は、そのシーンに応じて、撮像画像の特徴量を抽出する。特徴量は、人物画像の場合には、顔の数（被写体の人数）及び平均色（配色パターン）とすることができ、風景画像の場合には、平均色（配色パターン）とすることができる。これらの特徴量を基に、人物画像用テンプレート又は風景画像用テンプレートに挿入される単語（形容詞等）が決定される。
【０１００】
ここで、図１７の例では、配色パターンは、撮像画像を構成する代表的な複数の色の組み合わせで構成されている。したがって、配色パターンは、撮像画像の平均的な色（平均色）を表すことができる。一例において、配色パターンとして、「第１色」、「第２色」、「第３色」を規定し、これら３種類の色の組み合わせ、すなわち３種類の平均的な色に基づいて、人物画像用、又は風景画像用の文章テンプレートに挿入される単語（形容詞）を決定することができる。
【０１０１】
図１７の例において、撮像画像のシーンは２種類（人物画像及び風景画像）に分類される。他の例において、撮像画像のシーンは、３種類以上（３、４、５、６、７、８、９、又は１０種類以上）に分類することができる。
【０１０２】
図１８は、画像上に配置される文章を決定するために用いられる撮像画像の特徴量を抽出するプロセスの別の一例を模式的に示す図である。図１８の例において、撮像画像のシーンを３種類以上に分類することができる。
【０１０３】
図１８の例において、画像処理装置の判定部は、撮像画像が人物画像（第１モード画像）、遠景画像（第２モード画像）、又はその他の画像（第３モード画像）いずれであるかを判定する。まず、判定部は、図１７の例と同様に、撮像画像が人物画像であるか、人物画像とは異なる画像であるかを判定する。
【０１０４】
次に、撮像画像が人物画像とは異なる画像である場合、判定部は、撮像画像が遠景画像（第２モード画像）又はその他の画像（第３モード画像）のうちいずれであるか、を判定する。この判定は、例えば、撮像画像に付与された画像識別情報の一部を用いて行うことができる。
【０１０５】
具体的には、撮像画像が遠景画像かどうかを判定するために、画像識別情報の一部である焦点距離を用いることができる。判定部は、焦点距離が、あらかじめ設定された基準距離以上である場合、撮像画像を遠景画像と判定し、焦点距離が基準距離未満である場合、撮像画像をその他の画像と判定する。以上により、撮像画像が、人物画像（第１モード画像）、遠景画像（第２モード画像）、又はその他の画像（第３モード画像）の３種類にシーン分類される。なお、遠景画像（第２モード画像）の例は、海や山などの風景画像等を含み、その他の画像（第３モード画像）の例は、花及びペット等を含む。
【０１０６】
図１８の例においても、撮像画像のシーンが分類された後、画像処理装置は、そのシーンに応じて、撮像画像の特徴量を抽出する。
【０１０７】
図１８の例において、撮像画像が人物画像（第１シーン画像）の場合、画像上に配置される文章を決定するために用いられる撮像画像の特徴量として、顔の数（被写体の人数）及び／又は笑顔レベルを用いることができる。すなわち、撮像画像が人物画像の場合、顔の数（被写体の人数）の判定結果に加え、又は代えて笑顔レベルの判定結果に基づいて、人物画像用テンプレートに挿入される単語を決定することができる。以下、笑顔レベルの判定方法の一例について、図１９を用いて説明する。
【０１０８】
図１９の例において、画像処理装置の判定部は、人物画像に対して、顔認識などの方法により顔領域を検出する（ステップＳ５００１）。一例において、口角部分の上り具合を数値化することにより、人物画像の笑顔度が算出される。なお、笑顔度の算出には例えば、顔認識にかかる公知の様々な技術を用いることができる。
【０１０９】
次に、判定部は、あらかじめ設定された第１の笑顔閾値αと、笑顔度を比較する（ステップＳ５００２）。笑顔度がα以上と判定された場合、判定部は、この人物画像の笑顔レベルは、「笑顔：大」であると判定する。
【０１１０】
一方、笑顔度がα未満と判定された場合、判定部は、あらかじめ設定された第２の笑顔閾値βと笑顔度を比較する（ステップＳ５００３）。笑顔度がβ以上と判定された場合、判定部は、この人物画像の笑顔レベルは、「笑顔：中」であると判定する。さらに、笑顔度がβ未満と判定された場合、判定部は、この人物画像の笑顔レベルは、「笑顔：小」であると判定する。
【０１１１】
人物画像の笑顔レベルの判定結果に基づき、人物画像用テンプレートに挿入される単語が決定される。ここで、「笑顔：大」の笑顔レベルに対応する単語の例としては、「喜びいっぱいの」、「とてもいい」等が挙げられる。「笑顔：中」の笑顔レベルに対応する単語の例としては、「嬉しそうな」、「いい穏やかな」等が挙げられる。「笑顔：小」の笑顔レベルに対応する単語の例としては、「真剣そうな」、「クールな」等が挙げられる。
【０１１２】
なお、上記では、人物画像用テンプレートに挿入される単語が、連体形である場合について説明したが、これに限ることはなく、例えば終止形であってもよい。この場合、「笑顔：大」の笑顔レベルに対応する単語の例としては、「笑顔が素敵」、「すごくいい笑顔だね」等が挙げられる。「笑顔：中」の笑顔レベルに対応する単語の例としては、「にこやかだね」、「いい表情」等が挙げられる。「笑顔：小」の笑顔レベルに対応する単語の例としては、「真剣そうです」、「真面目そうです」等が挙げられる。
【０１１３】
図２０Ａは、画像処理装置の動作結果を示す出力画像の一例であり、この出力画像は、図１７の例に基づいて決定された文章を有する。図２０Ａの例において、撮像画像は人物画像であると判定され、特徴量としては被写体の人数、及び配色パターン（平均色）が抽出されている。また、配色パターンに応じて、人物画像用テンプレートに挿入される単語が、「重厚な」と決定されている。その結果、図２０Ａに示す出力結果が得られている。すなわち、図２０Ａの例では、撮像画像の平均色に基づいて、「重厚な」の単語（形容詞、連体形）が決定されている。
【０１１４】
図２０Ｂは、画像処理装置の動作結果を示す出力画像の別一例であり、この出力画像は、図１８の例に基づいて決定された文章を有する。図２０Ｂの例において、撮像画像は人物画像であると判定され、特徴量としては被写体の人数、及び笑顔レベルが抽出されている。また、笑顔レベルに応じて、人物画像用テンプレートに挿入される単語が、「いい表情」と決定されている。その結果、図２０Ｂに示す出力結果が得られている。すなわち、図２０Ｂの例では、撮像画像における人物の笑顔レベルに基づいて、「いい表情」の単語（終止形）が決定されている。図２０Ｂの出力結果のように、人物画像に対して笑顔レベルを用いた単語出力を用いることで、画像から受ける印象に比較的近い文字情報を添付することができる。
【０１１５】
図１８に戻り、撮像画像が風景画像（第２シーン画像）又はその他の画像（第３シーン画像）の場合、画像上に配置される文章を決定するために用いられる撮像画像の特徴量として、平均色に代えて、代表色を用いることができる。代表色としては、配色パターンにおける「第１色」、すなわち撮像画像において最も頻度の多い色を用いることができる。あるいは、代表色は、以下に説明するように、クラスタリングを用いて決定することができる。
【０１１６】
図２１は、撮像装置に含まれる画像処理部の内部構成を表す概略ブロック図である。図２１の例において、画像処理装置の画像処理部５０４０は、画像データ入力部５０４２と、解析部５０４４と、文章作成部５０５２と、文章付加部５０５４とを有する。画像処理部５０４０は、撮像部等で生成された画像データについて、各種の解析処理を行うことにより、画像データの内容に関する各種の情報を取得し、画像データの内容と整合性の高いテキストを作成し、画像データにテキストを付加することができる。
【０１１７】
解析部５０４４は、色情報抽出部５０４６、領域抽出部５０４８、クラスタリング部５０５０を有しており、画像データに対して解析処理を行う。色情報抽出部５０４６は、画像データから、画像データに含まれる各画素の色情報に関する第１情報を抽出する。典型的には、第１情報は、画像データに含まれる全ての画素のＨＳＶ値を、集計したものである。ただし、第１情報は、類似性が関連づけられた（例えば所定の色空間に関連付けされた）所定の色について、この所定の色が画像中に表れる頻度（画素単位での頻度、面積割合等）を示す情報であればよく、色の解像度や、色空間の種類は限定されない。
【０１１８】
例えば、第１情報は、ＨＳＶ空間ベクトル（ＨＳＶ値）やＲＧＢ値で表されるそれぞれの色について、それぞれの色の画素が、画像データに幾つずつ含まれるか、を表す情報であっても良い。ただし、第１情報における色解像度は、演算処理の負担等を考慮して適宜変更すれば良く、また、色空間の種類もＨＳＶやＲＧＢに限られず、ＣＭＹ、ＣＭＹＫ等であっても良い。
【０１１９】
図２２は、解析部５０４４において行われる代表色の決定の流れを表すフローチャートである。図２２のステップＳ５１０１では、画像処理装置が、具体的な画像データ５０６０（撮像画像、図２３参照）の代表色の算出を開始する。
【０１２０】
ステップＳ５１０２では、画像処理装置の画像データ入力部５０４２が、画像データを解析部５０４４に出力する。次に、解析部５０４４の色情報抽出部５０４６は、画像データに含まれる各画素の色情報に関する第１情報５０６２を算出する（図２３参照）。
【０１２１】
図２３は、ステップＳ５１０２において色情報抽出部５０４６が実施する第１情報５０６２の算出処理を表す概念図である。色情報抽出部５０４６は、画像データ５０６０に含まれる色情報を、各色毎（例えば２５６階調の各階調毎）に集計し、第１情報５０６２を得る。図２３の下図に示すヒストグラムは、色情報抽出部５０４６によって算出された第１情報５０６２のイメージを表している。図２３のヒストグラムの横軸は色であり、縦軸は、画像データ５０６０中に、所定の色の画素がいくつ含まれるかを表している。
【０１２２】
図２２のステップＳ５１０３では、解析部５０４４の領域抽出部５０４８が、画像データ５０６０における主要領域を抽出する。例えば、領域抽出部５０４８は、図２３に示す画像データ５０６０の中からピントが合っている領域を抽出し、画像データ５０６０の中央部分を主要領域であると認定する（図２４における主要領域５０６４参照）。
【０１２３】
図２２のステップＳ５１０４では、解析部５０４４の領域抽出部５０４８が、ステップＳ５１０５で実施されるクラスタリングの対象領域を決定する。例えば、領域抽出部５０４８は、図２４の上部に示すように、ステップＳ５１０３において画像データ５０６０の一部を主要領域５０６４であると認識し、主要領域５０６４を抽出した場合、クラスタリングの対象を、主要領域５０６４に対応する第１情報５０６２（主要第１情報５０６６）とする。図２４の下図に示すヒストグラムは、主要第１情報５０６６のイメージを表している。
【０１２４】
一方、領域抽出部５０４８が、ステップS５１０３において画像データ５０６０における主要領域５０６４を抽出しなかった場合、領域抽出部５０４８は、図２３に示すように、画像データ５０６０の全領域に対応する第１情報５０６２を、クラスタリングの対象に決定する。なお、クラスタリングの対象領域が異なることを除き、主要領域５０６４が抽出された場合と抽出されなかった場合とで、その後の処理に違いはないため、以下では、主要領域が抽出された場合を例に説明を行う。
【０１２５】
図２２のステップＳ５１０５では、解析部５０４４のクラスタリング部５０５０が、ステップＳ５１０４で決定された領域の第１情報５０６２である主要第１情報５０６６に対して、クラスタリングを実施する。図２５は、図２４に示す主要領域５０６４の主要第１情報５０６６について、クラスタリング部５０５０が実施したクラスタリングの結果を表す概念図である。
【０１２６】
クラスタリング部５０５０は、例えば、２５６階調の主要第１情報５０６６（図２４参照）を、ｋ−ｍｅａｎｓ法によって複数のクラスタに分類する。なお、クラスタリングは、ｋ−ｍｅａｎｓ法（ｋ平均法）に限定されない。他の例において、最短距離法等の他の方法を用いることができる。
【０１２７】
図２５の上部は、各画素がどのクラスタに分類されたかを表しており、図２５の下部に示すヒストグラムは、各クラスタに属する画素の数を示したものである。クラスタリング部５０５０によるクラスタリングによって、２５６階調の主要第１情報５０６６（図２４）は、２５６より少ない（図２５に示す例では３つの）クラスタに分類されている。クラスタリングの結果は、各クラスタの大きさに関する情報と、各クラスタの色（クラスタの色空間上の位置）に関する情報とを含むことができる。
【０１２８】
ステップＳ５１０６は、解析部５０４４のクラスタリング部５０５０が、クラスタリングの結果に基づき、画像データ５０６０の代表色を決定する。一例において、クラスタリング部５０５０は、図２５に示すようなクラスタリング結果を得た場合、算出された複数のクラスタのうち最も多くの画素を含む最大クラスタ５０７４に属する色を、画像データ５０６０の代表色とする。
【０１２９】
代表色の算出が終了すると、文章作成部５０５２は、代表色に関する情報を用いてテキストを作成し、画像データ５０６０に付与する。
【０１３０】
文章作成部５０５２は、例えば風景画像用の文章テンプレートを読み出し、文章テンプレートの｛日時｝に、画像データ５０６０の生成日時に対応する単語（例えば「２０１２／０３／１０」）を適用する。この場合、解析部５０４４は、画像データ５０６０の生成日時に関する情報を記憶媒体等から検索し、文章作成部５０５２に出力することができる。
【０１３１】
また、文章作成部５０５２は、文章テンプレートの｛形容詞｝に、画像データ５０６０の代表色に対応する単語を適用する。文章作成部５０５２は、記憶部５０２８から対応情報を読み出して、文章テンプレートに適用する。一例において、記憶部５０２８には、シーン毎に色と単語とが関連付けられたテーブルが保存されている。文章作成部５０５２は、そのテーブルから読み出した単語を用いて文章（例えば「とてもきれいなものを見つけた」）を作成することができる。
【０１３２】
図２６は、上述した一連の処理によってテキストを付与された画像データ５０８０を表示したものである。
【０１３３】
図２７は、シーンが遠景画像の場合に、上述と同様の一連の処理によってテキストを付与された画像データの例を示したものである。この場合、シーンが遠景画像に分類され、かつ代表色は青と判定されている。例えば、シーン毎に色と単語とが関連付けられたテーブルにおいて、代表色の「青」に対して単語「爽やかな」等が対応付けられている。
【０１３４】
図２８は、色と単語との対応情報を有するテーブルの一例を示す図である。図２８のテーブルにおいて、人物画像（第１シーン画像）、遠景画像（第２シーン画像）、及びその他の画像（第３シーン画像）、のシーンごとに、色と単語とが関連付けられている。一例において、画像データの代表色が「青」であり、シーンがその他の画像（第３シーン画像）であるとき、文章作成部５０５２は、テーブルの対応情報から、代表色に対応する単語（例えば「上品な」）を選択し、文章テンプレートの｛形容詞｝に適用する。
【０１３５】
色と単語との対応テーブルは、例えば、ＰＣＣＳ表色系、ＣＩＣＣ表色系、又はＮＣＳ表色系などのカラーチャートに基づき設定することができる。
【０１３６】
図２９は、ＣＣＩＣ表示系のカラーチャートを用いた、遠景画像（第２シーン画像）用の対応テーブルの一例を示す。図３０は、ＣＣＩＣ表示系のカラーチャートを用いた、その他の画像（第３シーン画像）用の対応テーブルの一例を示す。
【０１３７】
図２９において、横軸は、代表色の色相に、縦軸は代表色のトーンに対応している。単語の決定に図２９のテーブルを用いることにより、代表色の色相の情報だけでなく、代表色のトーンの情報も併せて単語を決定し、人間が生じる感性に比較的近いテキストを付与することが可能となる。以下、図２９のテーブルを用いた、遠景画像（第２シーン画像）の場合の具体的なテキストの設定例を説明する。なお、その他の画像（第３シーン画像）の場合、図３０のテーブルを用いて同様に設定することができる。
【０１３８】
図２９において、代表色が領域Ａ５００１と判定された場合、その代表色の呼称（赤、橙、黄、青など）がそのままテキスト中の単語に適用される。例えば、代表色の色相が「赤（Ｒ）」、トーンが「ビビッド・トーン（Ｖ）」の場合、その色を表す形容詞「真っ赤な」等が選択される。
【０１３９】
また、代表色が領域Ａ５００２、Ａ５００３、Ａ５００４又はＡ５００５の色と判定された場合、その色から連想する形容詞が、テキスト中の単語に適用される。例えば、代表色が領域Ａ５００３の色（緑）と判定された場合、緑から連想する形容詞である「心地良い」、「さわやかな」等が適用される。
【０１４０】
なお、代表色が領域Ａ５００１〜Ａ５００５の色と判定され、且つそのトーンがビビッド・トーン（Ｖ）、ストロング・トーン（Ｓ）、ブライト・トーン（Ｂ）、又はペール・トーン（ＬＴ）の場合には、形容詞の前に程度を表す副詞（例：とても、かなり等）が適用される。
【０１４１】
代表色が領域Ａ５００６、すなわち「ホワイト・トーン（白）」と判定された場合、白から連想される単語である「清らかな」、「澄んだ」等が選択される。また、代表色が領域Ａ５００７、すなわちグレー系の色（ライト・グレイ・トーン：ｌｔＧＹ、ミディアム・グレイ・トーン：ｍＧＹ、又はダーク・グレイ・トーン：ｄｋＧＹ）と判定された場合、無難な形容詞である「きれいな」、「すてきな」等が選択される。白、又はグレー系の色、すなわち無彩色が代表色となる画像においては、さまざまな色が画像全体に含まれる場合が多い。したがって、色とは関連性の少ない単語を用いることで、的外れな意味のテキストが付与されるのを防止し、画像から受けるイメージに比較的近いテキストを付与することができる。
【０１４２】
また、代表色が領域Ａ５００１〜Ａ５００７のいずれの領域にも属さない場合、すなわち代表色が低トーン（ダーク・グレイッシュ・トーン）、又は黒（ブラック・トーン）である場合、所定の意味を有する文字（単語、又は文章）をテキストとして選択することができる。所定の意味を有する文字は、例えば、「ここはどこ」、「あっ」等を含む。これらの単語や文章は、「つぶやき辞書」として画像処理装置の記憶部に保存しておくことができる。
【０１４３】
すなわち、代表色が低トーン、又は黒と判定されたとき、画像全体の色相の判定が困難なことがあるが、このような場合においても上記のように色とは関連性の少ない文字を用いることで、的外れな意味のテキストが付与されるのを防止し、画像から受けるイメージに近いテキストを付与することができる。
【０１４４】
また、上記の例では、シーンと代表色に応じて文章と単語が一義的に決定される場合について説明したが、これに限らず、文章と単語の選択において、時々、例外処理を行うこともできる。例えば、複数回に１回（例えば１０回に１回）は、上記の「つぶやき辞書」からテキストを抽出してもよい。これにより、テキストの表示内容が必ずしもパターン化されることがないので、ユーザが表示内容に飽きるのを防止することができる。
【０１４５】
なお、上記の例において、文章付加部は、文章作成部によって生成されたテキストを画像の上部、又は下部に配置する場合について説明したが、これに限らず、例えばテキストを画像の外（枠外）に配置することもできる。
【０１４６】
また、上記の例において、テキストの位置が画像内で固定されている場合について説明したが、これに限らず、例えば画像処理装置の表示部において、テキストを流れるように表示させることができる。これにより、入力画像がテキストにより影響を受けにくい、又はテキストの視認性が向上される。
【０１４７】
なお、上記の例において、テキストが画像に必ず貼り付けられる場合について説明したが、これに限らず、例えば人物画像の場合には、テキストは貼り付けず、遠景画像又はその他の画像の場合にはテキストを貼り付けるようにしてもよい。
【０１４８】
また、上記の例において、文章付加部は、文章作成部によって生成されたテキストの表示方法（フォント、色、表示位置など）を所定の方法で決定する場合について説明したが、これに限らず、テキストの表示方法は、多種多様に決定することができる。以下、これらの方法について、いくつかの例を示す。
【０１４９】
一例においては、ユーザが画像処理装置の操作部を介して、テキストの表示方法（フォント、色、表示位置）を修正することができる。或いは、ユーザは、テキストの内容（単語）を変更、又は削除することができる。また、ユーザは、テキスト全体を表示させないように設定する、すなわちテキストの表示／非表示を選択することができる。
【０１５０】
また、一例においては、入力画像のシーンに応じてテキストの大きさを変更することができる。例えば、入力画像のシーンが人物画像の場合、テキストを小さくし、入力画像のシーンが遠景画像又はその他の画像の場合、テキストを大きくすることができる。
【０１５１】
また、一例においては、テキストを強調表示して画像データに合成することもできる。例えば、入力画像が人物画像の場合、人物に吹き出しを付与し、その吹き出し中にテキストを配置することができる。
【０１５２】
また、一例においては、テキストの表示色は、入力画像の代表色を基準として設定することできる。具体的には、入力画像の代表色と色相は同じであり、且つトーンが異なる色を、テキストの表示色として用いることができる。これにより、テキストが過度に主張されることなく、入力画像とほどよく調和したテキストを付与することができる。
【０１５３】
また、特に、入力画像の代表色が白の場合、テキストの表示色の決定において、例外処理を行ってもよい。ここで、例外処理では例えば、テキストの色を白とし、そのテキストの周辺部を黒に設定することができる。
【符号の説明】
【０１５４】
１００・・・撮像装置、１・・・撮像システム、２・・・撮像部、３・・・カメラ制御部、４、４ａ、４ｂ・・・画像処理部、５・・・記憶部、６・・・バッファメモリ部、７・・・表示部、１１・・・操作部、１２・・・通信部、１３・・・電源部、１５・・・バス、２１・・・レンズ部、２２・・・撮像素子、２３・・・ＡＤ変換部、４１、４１ｂ・・・画像取得部、４２、４２ｂ・・・画像識別情報取得部、４３、４３ｂ・・・色空間ベクトル生成部、４４・・・主要色抽出部、４５・・・テーブル記憶部、４６、４６ａ・・・第１ラベル生成部、４７・・・第２ラベル生成部、４８・・・ラベル出力部、２４１・・・特徴量抽出部、２４２・・・シーン判別部
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、及びプログラムに関する。
【背景技術】
【０００２】
画像を分類する従来技術の画像処理装置では、画像を予め定められているパターンの領域に分割し、各領域の色に関する分布のヒストグラムを作成する。そして、従来技術の画像処理装置では、特定のしきい値を超える最頻出色をその領域の代表領域色として決定する。さらに、従来技術の画像処理装置では、その領域の特徴量を抽出し、決定した領域の特徴量と代表色に基づき、特徴量を抽出した画像を定義して、画像辞書を構築していた。
従来技術の画像処理装置では、例えば、画像上部の大きな領域の代表色を抽出して、抽出した代表色に基づいて、「青空」、「曇り空」、「夜空」などを定義して画像辞書を構成していた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１６００５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の従来技術では、予め定められた領域毎に抽出した特徴量と、最頻出色である代表色により分類していたため、画像を分類する（ラベリングする）ための演算処理の負担が大きかった。
【０００５】
本発明は、上記の問題点に鑑みてなされたものであって、画像をラベリングするための演算処理の負荷を軽減できる画像処理装置、撮像装置、及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る画像処理装置は、撮像された画像データを取得する画像取得部と、前記取得された画像データからシーンを判別するシーン判別部と、前記取得された画像データから色情報の頻度分布に基づき主要色を抽出する主要色抽出部と、シーン毎に色情報と第１ラベルとが関連付けられて予め記憶されている記憶部と、前記記憶部から、前記抽出された主要色と前記判別されたシーンとに関連付けて予め記憶されている前記第１ラベルを読み出し、前記読み出した第１ラベルを前記取得された画像データのラベルとして生成する第１ラベル生成部と、を備えることを特徴としている。
【０００７】
また、本発明に係る撮像装置は、上記に記載の画像処理装置を備えることを特徴としている。
【０００８】
また、本発明は、撮像部を有する画像処理装置の画像処理をコンピュータに実行させるためのプログラムであり、撮像した画像データを取得する画像取得手順と、前記取得された画像データからシーンを判別するシーン判別手順と、前記取得された画像データから色情報の頻度分布に基づき主要色を抽出する主要色抽出手順と、前記抽出された主要色と、シーン毎に色情報と第１ラベルとが関連付けられて予め記憶されている記憶部から前記第１ラベルを読み出し、前記読み出した第１ラベルを前記取得された画像データのラベルとして生成する第１ラベル生成手順と、をコンピュータに実行させることを特徴としている。
【０００９】
また、本発明の一態様の画像処理装置は、人物撮影シーンであるか否かを判別するシーン判別部と、前記シーン判別部により人物撮影シーンではないと判別されたとき、前記画像データから色情報を抽出する色抽出部と、色情報と所定の意味を有する文字とが関連付けられて予め記憶されている記憶部と、前記シーン判別部により人物撮影シーンではないと判別されたとき、前記色抽出部に抽出された前記色情報に対応する前記所定の意味を有する文字を前記記憶部から読み出す読み出し部とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明の画像処理装置によれば、好適な画像のラベリングを実現し得る。また、本発明によれば、この画像処理装置を備えた撮像装置及びプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る撮像システム１の構成を示す概略ブロック図である。
【図２】同実施形態に係る画像処理部４のブロック図である。
【図３】同実施形態に係る記憶媒体２００に画像データに関連付けられて記憶されている画像識別情報の一例を説明する図である。
【図４】同実施形態に係るテーブル記憶部４５に記憶されている主要色の組み合わせと第１ラベルの一例を説明する図である。
【図５】同実施形態に係る画像データの主要色の一例を説明する図である。
【図６】図５で抽出された主要色のラベリングの一例を説明する図である。
【図７】同実施形態に係るスポーツの画像データと色ベクトルの図である。
【図８】同実施形態に係るポートレートの画像データと色ベクトルの図である。
【図９】同実施形態に係る風景の画像データと色ベクトルの図である。
【図１０】同実施形態に係るシーン毎の主要色の組み合わせの第１ラベルの一例を説明する図である。
【図１１】同実施形態に係る時刻、季節と色ベクトルによる第１ラベルの例を説明する図である。
【図１２】同実施形態に係る撮像装置１００が行うラベル生成のフローチャートである。
【図１３】第２実施形態に係る画像処理部４ａのブロック図である。
【図１４】第３実施形態に係る画像処理部４ｂのブロック図である。
【図１５】同実施形態に係る撮像装置１００が行うラベル生成のフローチャートである。
【図１６】第４実施形態に係る画像データから、複数の色ベクトルを抽出する一例を説明する図である。
【図１７】撮像画像の特徴量を抽出するプロセスの一例を模式的に示す図である。
【図１８】撮像画像の特徴量を抽出するプロセスの別の一例を模式的に示す図である。
【図１９】笑顔レベルの判定方法を模式的に示すフローチャートである。
【図２０Ａ】画像処理装置からの出力画像の一例を示す図である。
【図２０Ｂ】画像処理装置からの出力画像の別の例を示す図である。
【図２１】撮像装置の画像処理部の内部構成を表す概略ブロック図である。
【図２２】代表色の決定の流れを示すフローチャートである。
【図２３】画像処理部における処理の一例を示す概念図である。
【図２４】画像処理部における処理の一例を示す概念図である。
【図２５】図２４に示す主要領域に対して実施されたクラスタリングの結果を示す概念図である。
【図２６】文章付加部によって文章を付加された画像の一例である。
【図２７】文章付加部によって文章を付加された画像の別の一例である。
【図２８】色と単語との対応テーブルの一例を示す図である。
【図２９】遠景画像（第２シーン画像）用の対応テーブルの一例を示す図である。
【図３０】その他の画像（第３シーン画像）用の対応テーブルの一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を用いて、本発明の実施形態について説明する。
【００１３】
［第１実施形態］
図１は、本実施形態に係る撮像システム１の構成を示す概略ブロック図である。
図１に示す撮像装置１００は、撮像部２、カメラ制御部３、画像処理部４、記憶部５、バッファメモリ部６、表示部７、操作部１１、通信部１２、電源部１３、及びバス１５を備えている。
【００１４】
撮像部２は、レンズ部２１、撮像素子２２、及びＡＤ変換部２３を備えており、被写体を撮像して画像データを生成する。この撮像部２は、設定された撮像条件（例えば絞り値、露出等）に基づいてカメラ制御部３により制御され、レンズ部２１を介して入力された被写体の光学像を、撮像素子２２の撮像面上に結像させる。また、撮像部２は、撮像素子２２から出力されたアナログ信号をＡＤ変換部２３においてデジタル信号に変換し、画像データを生成する。
なお、上述したレンズ部２１は、撮像装置１００に取り付けられて一体とされていてもよいし、撮像装置１００に着脱可能に取り付けられてもよい。
【００１５】
撮像素子２２は、撮像面に結像された光学像を光電変換したアナログ信号を、ＡＤ変換部２３に出力する。ＡＤ変換部２３は、撮像素子２２から入力されたアナログ信号をデジタル信号に変換し、この変換したデジタル信号である画像データを出力する。
【００１６】
例えば、撮像部２は、操作部１１における静止画撮影操作に応じて、撮像した静止画の画像データを出力する。また、撮像部２は、操作部１１における動画撮影操作に応じて、所定の間隔で連続的に撮像した動画の画像データを出力する。そして、撮像部２によって撮像された静止画の画像データ及び動画の画像データは、カメラ制御部３の制御により、バッファメモリ部６や画像処理部４を介して記憶媒体２００に記録される。また、撮像部２は、操作部１１における撮影操作がされていない撮影待機状態の場合、所定の間隔で連続的に得られる画像データをスルー画像データ(スルー画）として出力する。そして、撮像部２によって得られたスルー画像データは、カメラ制御部３の制御により、バッファメモリ部６や画像処理部４を介して表示部７に表示される。
【００１７】
画像処理部４は、記憶部５に記憶されている画像処理条件に基づいて、バッファメモリ部６に記憶されている画像データに対して画像処理を実行する。ここで、バッファメモリ部６または記憶媒体２００に記憶されている画像データとは、例えば、撮像部２によって撮像された静止画の画像データ、スルー画像データ、もしくは動画の画像データ、または記憶媒体２００から読み出された画像データである。
【００１８】
記憶部５には、撮像装置１００を制御するための、予め定められた撮影条件、画像処理条件、再生制御条件、表示制御条件、記録制御条件、及び出力制御条件などが記憶されている。例えば、記憶部５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。
なお、記憶部５には、撮像された動画の画像データ及び静止画の画像データが記録されてもよい。この場合、例えば、記憶部５は、フラッシュメモリ等であってもよい。
【００１９】
バッファメモリ部６は、カメラ制御部３が撮像装置１００を制御する際の作業領域として利用される。撮像部２によって撮像された静止画の画像データ、スルー画像データ、もしくは動画の画像データ、または記憶媒体２００から読み出された画像データは、カメラ制御部３の制御による画像処理の過程においてバッファメモリ部６に一時的に記憶される。バッファメモリ部６は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
【００２０】
表示部７は、例えば、液晶ディスプレイであり、撮像部２によって撮像された画像データに基づく画像、もしくは記憶媒体２００から読み出された画像データに基づく画像、またはメニュー画面、もしくは撮像装置１００の動作状態や設定に関する情報等を表示する。
【００２１】
操作部１１は、撮像装置１００に対して操作者が操作入力するための操作スイッチを備えている。例えば、操作部１１は、電源スイッチ、レリーズスイッチ、モードスイッチ、メニュースイッチ、上下左右選択スイッチ、確定スイッチ、取消スイッチ、及びその他の操作スイッチを備えている。操作部１１が備えている上述のそれぞれのスイッチは、操作されることに応じて、それぞれの操作に対応した操作信号をカメラ制御部３に出力する。
【００２２】
通信部１２には、カードメモリ等の着脱可能な記憶媒体２００が挿入される。
通信部１２を介して、この記憶媒体２００に画像データの書込み、読み出し、または消去が実行される。
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であり、例えば、撮像部２で撮像されて生成された画像データが記録される。なお、本実施形態において、記憶媒体２００に記録される画像データは、例えば、イグジフ（Ｅｘｉｆ；Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式のファイルである。
【００２３】
電源部１３は、撮像装置１００が備えている各部に電力を供給する。電源部１３は、例えばバッテリーを備えており、当該バッテリーから供給される電力の電圧を、上述の各部における動作電圧に変換する。そして、電源部１３は、変換した動作電圧の電力を、撮像装置１００の動作モード（例えば、撮影動作モード、またはスリープモード）に基づいて、カメラ制御部３の制御により上述の各部に供給する。
【００２４】
バス１５は、撮像部２、カメラ制御部３、画像処理部４、記憶部５、バッファメモリ部６、表示部７、操作部１１、及び通信部１２と接続され、各部から出力された画像データや制御信号等を転送する。
【００２５】
カメラ制御部３は、撮像装置１００が備えている各部を制御する。
【００２６】
図２は、本実施形態に係る画像処理部４のブロック図である。
図２に示すように、画像処理部４は、画像取得部４１、画像識別情報取得部４２（シーン判別部）、色空間ベクトル生成部４３、主要色抽出部４４、テーブル記憶部４５、第１ラベル生成部４６、第２ラベル生成部４７、ラベル出力部４８を備えている。
【００２７】
画像取得部４１は、バス１５を介して、撮像部２が撮像した画像データと、画像データと関連付けられて記憶されている画像識別情報とを記憶媒体２００から読み出す。画像取得部４１が読み出す画像データは、撮像システム１の使用者が操作部１１の操作により選択した画像データである。画像取得部４１は、取得した画像データを、色空間ベクトル生成部４３に出力する。画像取得部４１は、取得した画像識別情報を画像識別情報取得部４２に出力する。
【００２８】
図３は、本実施形態に係る記憶媒体２００に画像データに関連付けられて記憶されている画像識別情報の一例を説明する図である。
図３において、左の列は項目例であり、右の列は情報の例である。図３に示すように、画像データと関連付けられて記憶されている項目は、撮像日時、画像全体の解像度、シャッタースピード、絞り値（Ｆ値）、ＩＳＯ感度、測光モード、フラッシュ使用の有無、シーンモード、静止画・動画等である。これらの画像識別情報は、撮影者が撮像時に撮像システム１の操作部１１で設定した情報と、撮像装置１００が自動的に設定した情報である。また、これらの画像識別情報は、画像データと関連付けられて記憶されているＥｘｉｆ規格の情報を用いるようにしてもよい。
項目において「シーン」（撮影モードともいう）とは、撮像装置１００に予め設定されているシャッタースピード、Ｆ値、ＩＳＯ感度、及び焦点距離などの組み合わせパターンである。これらの組み合わせパターンは、撮像する対象に合わせて予め設定され、記憶媒体２００に記憶され、使用者が操作部１１から手動で選択される。シーンは、例えば、ポートレート、風景、スポーツ、夜景ポートレート、パーティー、ビーチ、雪、夕焼け、夜景、クローズアップ、料理、美術館、花火、逆光、子供、ペットなどである。
【００２９】
図２に戻って、画像識別情報取得部４２は、画像取得部４１が出力する画像識別情報から、撮像された画像データに設定されている撮影情報を抽出し、抽出した撮影情報を第１ラベル生成部４６に出力する。なお、撮影情報とは、第１ラベル生成部４６が第１ラベルを生成するために必要な情報であり、例えばシーン、撮影日時等である。
【００３０】
色空間ベクトル生成部４３は、画像取得部４１が出力する画像データを、予め定められている色空間のベクトルに変換する。予め定められている色空間は、例えばＨＳＶ（Ｈｕｅ（色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｂｒｉｇｈｔｎｅｓｓ（明度））である。
色空間ベクトル生成部４３は、画像データの全画素を色ベクトル毎に分類し、色ベクトル毎の頻度を検出し、色ベクトルの頻度分布を生成する。色空間ベクトル生成部４３は、生成した色ベクトルの頻度分布を示す情報を主要色抽出部４４に出力する。
なお、画像データがＨＳＶの場合、色ベクトルは、次式（１）のように表される。
【００３１】
【数１】
【００３２】
なお、式（１）において、ｉ、ｊ、ｋは、色相を０〜１００％に正規化した場合、各々０から１００の自然数である。
【００３３】
主要色抽出部４４は、色空間ベクトル生成部４３が出力する色ベクトルの頻度分布を示す情報から頻度の高い順に３色を主要色として抽出し、抽出した主要色を示す情報を第１ラベル生成部４６に出力する。なお、頻度が高い色は、同じ色ベクトルの画素数が多い色である。また、主要色を示す情報とは、式（１）の色ベクトルと、この色ベクトル毎の頻度（画素数）である。
なお、本実施形態において、主要色抽出部４４は、色空間ベクトル生成部４３と主要色抽出部４４とにより構成するようにしてもよい。
【００３４】
テーブル記憶部４５（記憶部）には、シーン毎と主要色の組み合わせ毎に、第１ラベルが予め関連付けられて記憶されている。
【００３５】
図４は、本実施形態に係るテーブル記憶部４５に記憶されている主要色の組み合わせと第１ラベルの一例を説明する図である。
図４に示すように、画像データから抽出された主要色の中で、頻度が１番高い第１色、第１色の次に頻度が高い第２色、第２色の次に頻度が高い第３色の３色の組み合わせ毎と、シーン毎に第１ラベルが予め定義され、テーブル記憶部４５に記憶されている。例えば、第１色が色１、第２色が色２、第３色が色３の組み合わせにおいて、シーン１の第１ラベルはラベル（１，１）であり、シーンｎのラベルはラベル（１，ｎ）である。同様に、第１色が色ｍ、第２色が色ｍ、第３色が色ｍの組み合わせにおいて、シーン１の第１ラベルはラベル（ｍ，１）であり、シーンｎのラベルはラベル（ｍ，ｎ）である。
このように、シーン毎と主要な３色の組み合わせ毎のラベルを、予め実験やアンケートなどにより定義しておき、テーブル記憶部４５に記憶させておく。なお、第１色と第２色と第３色との頻度の比率は、１：１：１である。
【００３６】
図２に戻って、第１ラベル生成部４６は、画像識別情報取得部４２が出力する撮影情報と主要色抽出部４４が出力する主要色を示す情報とに関連付けられて記憶されている第１ラベルを、テーブル記憶部４５から読み出す。第１ラベル生成部４６は、読み出した第１ラベルを示す情報と、主要色抽出部４４が出力する主要色を示す情報とを第２ラベル生成部４７に出力する。また、第１ラベル生成部４６は、例えば、撮影情報であるＥｘｉｆに含まれる情報等を用いてシーン判別する。
【００３７】
第２ラベル生成部４７は、主要色抽出部４４が出力する主要色を示す情報から色ベクトル毎の頻度を抽出し、抽出した頻度を用いて３つの色ベクトルの頻度を正規化し、３つの主要色の比率を算出する。第２ラベル生成部４７は、算出した３つの主要色の比率に基づき第１ラベルを修飾する修飾ラベル（第３ラベル）を生成し、生成した修飾ラベルを第１ラベル生成部４６が出力する第１ラベルに修飾させることで第１ラベルを修正して、画像データに対する第２ラベルを生成する。第２ラベル生成部４７は、生成した第２ラベルを示す情報をラベル出力部４８に出力する。
【００３８】
ラベル出力部４８は、第２ラベル生成部４７が出力する第２ラベルを示す情報を画像データと関連付けてテーブル記憶部４５に記憶する。または、ラベル出力部４８は、第２ラベル生成部４７が出力するラベルを示す情報を画像データと関連付けて記憶媒体２００に記憶する。
【００３９】
図５は、本実施形態に係る画像データの主要色の一例を説明する図である。
図５において、横軸は色ベクトルであり、縦軸は色ベクトル（色情報）の頻度である。
図５の例は、色空間ベクトル生成部４３が、画像データをＨＳＶに分解した色ベクトル（ＨＳＶ＝（ｉｍ，ｊｍ，ｋｍ）；ｍは０から１００の自然数）の頻度分布のグラフである。また、図５は、左端にＨ（色相）＝０、Ｓ（彩度）＝０、Ｖ（明度）＝０、右端にＨ＝１００、Ｓ＝１００、Ｖ＝１００を模式的に順番に並べたものである。そして、色ベクトル毎に頻度を算出した結果を、模式的に表したものである。図５の例では、頻度が１番高い第１色ｃ１が、ベクトルＨＳＶ＝（ｉ１，ｊ６９，ｋ１００）、ばら色（ローズ）である。また、頻度が第１色の次に高い第２色ｃ２が、ベクトルＨＳＶ＝（ｉ１３，ｊ５２，ｋ１００）、淡黄色（サルファー）である。さらに、頻度が第２色の次に高い第３色ｃ３が、ベクトルＨＳＶ＝（ｉ４０，ｊ６５，ｋ８０）、冴青磁色（エメラルド）である。
【００４０】
図６は、図５で抽出された主要色のラベリングの一例を説明する図である。なお、図５及び図６の色ベクトルは、例えば、シーンモードがポートレートの画像データであるとして説明する。
図６（ａ）は、図５で抽出された第１色、第２色、第３色の例である。図６（ａ）に示すように、模式的に左から図５で示した色ベクトルの順番に並べて表してある。第１ラベル生成部４６は、主要色抽出部４４が抽出した第１色、第２色、第３色の組み合わせと関連付けられて記憶されている第１ラベルをテーブル記憶部４５から読み出す。この場合、第１色、第２色、第３色の組み合わせの第１ラベルは、「愉快な」として記憶されている。また、図６（ａ）に示すように、正規化前の第１色、第２色、第３色の各幅は、Ｌ１、Ｌ２及びＬ３であり、幅Ｌ１、Ｌ２及びＬ３の長さは等しい。また、長さＬ１０は、各幅Ｌ１、Ｌ２及びＬ３の合計である。
【００４１】
図６（ｂ）は、抽出された第１色、第２色、第３色を、頻度で正規化して、第１色、第２色、第３色の各幅をＬ１’、Ｌ２’、Ｌ３’のように補正した後の図である。幅の合計Ｌ１０は、図６（ａ）と同じである。図６（ｂ）の例では、第１色の頻度が他の第２色と第３色の頻度より高いため、第２ラベル生成部４７は、第１ラベル生成部４６が読み出した第１ラベル「愉快な」に対して、予め定められているルールに基づき、第１ラベル「愉快な」を修飾する修飾ラベル「とても」を生成する。予め定められているルールとは、第１色が、他の第２色と第３色より、予め定められているしきい値より頻度が多い場合、第２ラベル生成部４７は、修飾ラベル「とても」を生成して、生成した修飾ラベルを第１ラベル「愉快な」に修飾させることで第１ラベルを修正して、第２ラベル「とても愉快な」を生成する。なお、修飾ラベルは、例えば、第１ラベルを強調する単語である。
【００４２】
次に、修飾ラベルの例について説明する。
図６（ａ）に示すように、正規化前は、主要色抽出部４４が抽出した３つの色の幅または面積は、１：１：１である。そして、色ベクトルの頻度に基づき正規化した後、３つの色の幅または面積は、図６（ｂ）のように補正される。例えば、第１色の比率が、全体Ｌ１０の約６７％より大きい場合、第２ラベル生成部４７は、修飾ラベルとして「とても」を第１ラベルに修飾させることで第１ラベルを修正して第２ラベルとする。また、第１色の比率が、全体Ｌ１０の約５０％より大きく６７％より小さい場合、第２ラベル生成部４７は、修飾ラベルなしとする。すなわち、第２ラベル生成部４７は、第１ラベルを修正せずに第２ラベルとする。また、第１色の比率が、全体Ｌ１０の約３３％の場合、第２ラベル生成部４７は、修飾ラベルとして「ちょっと」を第１ラベルに修飾させることで第１ラベルを修正して第２ラベルとする。
このように、第２ラベル生成部４７は、第１ラベルに応じて、修飾する修飾ラベルを生成する。例えば、第１ラベル毎に、修飾可能な修飾ラベルを予めテーブル記憶部４５に関連付けて記憶させておいてもよい。
【００４３】
次に、シーン毎の主要色の例について、図７〜図９を用いて説明する。
図７は、本実施形態に係るスポーツの画像データと色ベクトルの図である。図７（ａ）は、スポーツの画像データであり、図７（ｂ）は、スポーツの色ベクトルのグラフである。図８は、本実施形態に係るポートレートの画像データと色ベクトルの図である。図８（ａ）は、ポートレートの画像データであり、図８（ｂ）は、ポートレートの色ベクトルのグラフである。図９は、本実施形態に係る風景の画像データと色ベクトルの図である。図９（ａ）は、風景の画像データであり、図９（ｂ）は、風景の色ベクトルのグラフである。図７（ｂ）、図８（ｂ）、図９（ｂ）において、横軸は色ベクトル、縦軸は頻度（画素数）である。
【００４４】
図７（ａ）と図７（ｂ）に示すように、図７（ａ）の画像データを画素毎に色ベクトルに分解し、各色ベクトルの頻度（画素数）をグラフ化すると図７（ｂ）のようになる。主要色抽出部４４は、このような色ベクトルの情報から、例えば、画素数の多い３つの色ｃ１１、ｃ１２、ｃ１３を抽出する。
【００４５】
図８（ａ）と図８（ｂ）に示すように、図８（ａ）の画像データを画素毎に色ベクトルに分解し、各色ベクトルの頻度（画素数）をグラフ化すると図８（ｂ）のようになる。主要色抽出部４４は、このような色ベクトルの情報から、例えば、画素数の多い３つの色ｃ２１、ｃ２２、ｃ２３を抽出する。
図９（ａ）と図９（ｂ）に示すように、図９（ａ）の画像データを画素毎に色ベクトルに分解し、各色ベクトルの頻度（画素数）をグラフ化すると図９（ｂ）のようになる。主要色抽出部４４は、このような色ベクトルの情報から、例えば、画素数の多い３つの色ｃ３１、ｃ３２、ｃ３３を抽出する。
【００４６】
図１０は、本実施形態に係るシーン毎の主要色の組み合わせの第１ラベルの一例を説明する図である。図１０において、行はシーン、列は色ベクトルを表している。
図１０において、画像データがＨＳＶの場合、色の組み合わせ（色１、色２、色３）のＨＳＶの各色相、彩度及び強度は、例えば、色１が（９４、１００、２５）（栗色、マルーン）、色２が（８、１００、４７）（たばこ色、コーヒー・ブラウン）、色３が（８１、１００、２８）（深紫色、ダスキー・バイオレット）である。
また、色ベクトル（色４、色５、色６）のＨＳＶの各色相、彩度及び強度は、例えば、色４が（１、６９、１００）（ばら色、ローズ）、色５が（１３、２５、１００）（象牙色、アイボリー）、色６が（５２、３６、９１）（水色、アクア・ブルー）である。
また、色ベクトル（色７、色８、色９）のＨＳＶの各色相、彩度及び強度は、例えば、色７が（４０、６５、８０）（冴青磁色、エメラルド）、色８が（０、０、１００）（白色、ホワイト）、色９が（５９、３８、８７）（サルビア色、サルビア・ブルー）である。
【００４７】
図１０に示すように、例えば、色の組み合わせが（色１、色２、色３）の場合、シーンがポートレートの第１ラベルは、「ダンディな」とテーブル記憶部４５に記憶されている。同じ色の組み合わせ（色１、色２、色３）でもシーンが風景の第１ラベルは、「趣深い」であるとテーブル記憶部４５に記憶されている。また、同じ色の組み合わせ（色１、色２、色３）でもシーンがスポーツの第１ラベルは、「（ラグビー風）男っぽい」であるとテーブル記憶部４５に記憶されている。
また、図１０に示すように、例えば、色の組み合わせが（色４、色５、色６）の場合、シーンがポートレートの第１ラベルは、「子供らしい」であるとテーブル記憶部４５に記憶されている。同じ色の組み合わせ（色４、色５、色６）でもシーンが風景の第１ラベルは、「やわらかい」であるとテーブル記憶部４５に記憶されている。また、同じ色の組み合わせ（色４、色５、色６）でもシーンがスポーツの第１ラベルは、「（テニス風）生き生きした」であるとテーブル記憶部４５に記憶されている。
また、図１０に示すように、例えば、色の組み合わせが（色７、色８、色９）の場合、シーンがポートレートの第１ラベルは、「若々しい」であるとテーブル記憶部４５に記憶されている。同じ色の組み合わせ（色７、色８、色９）でもシーンが風景の第１ラベルは、「（新緑のイメージ）すがすがしい」であるとテーブル記憶部４５に記憶されている。
また、同じ色の組み合わせ（色７、色８、色９）でもシーンがスポーツの第１ラベルは、「（海上スポーツ風）さわやかな」であるとテーブル記憶部４５に記憶されている。
また、図１０に示したように、テーブル記憶部４５に記憶される情報は、色の組み合わせと形容詞や副詞の第１ラベルのみではなく、イメージを表す単語も関連付けて記憶させておくようにしてもよい。なお、イメージを表す単語とは、例えば、ラグビー風、新緑のイメージなどである。
【００４８】
図１１は、本実施形態に係る時刻、季節と色ベクトルによる第１ラベルの例を説明する図である。図１１において、色ベクトルは、画像データがＨＳＶであり、図１０で説明した色の組み合わせ（色７、色８、色９）である。図１１において、列は、時刻と季節を表し、行は、色の組み合わせ（色７、色８、色９）に対する各時刻と季節のラベルである。
図１１に示すように、色の組み合わせ（色７、色８、色９）の第１ラベルは、時刻が朝の場合、「すがすがしい」、時刻が昼の場合、「雨っぽい」、時刻が夜の場合、「夜明けが近い」であるとテーブル記憶部４５に記憶されている。
図１１に示すように、色の組み合わせ（色７、色８、色９）の第１ラベルは、季節が春の場合、「肌寒い」、季節が夏の場合、「涼しい」、季節が秋の場合、「肌寒い」、季節が冬の場合、「寒い」であるとテーブル記憶部４５に記憶されている。
このような時刻、季節に関する情報は、画像識別情報取得部４２が取得した画像識別情報に含まれる撮影日時に基づき、第１ラベル生成部４６が第１ラベルをテーブル記憶部４５から読み出す。
また、図１１に示すように、同じ色の組み合わせ（色７、色８、色９）に対して、春と秋で第１ラベルが同じでもよい。
【００４９】
次に、撮像装置１００が行うラベル生成処理について、図１２を用いて説明する。図１２は、本実施形態に係る撮像装置１００が行うラベル生成のフローチャートである。
【００５０】
（ステップＳ１）撮像装置１００の撮像部２は、カメラ制御部３の制御に基づき画像を撮像する。次に、撮像部２は、撮像した画像データをＡＤ変換部２３によりデジタルデータに変換し、変換した画像データを記憶媒体２００に記憶する。
次に、カメラ制御部３は、撮像時に操作部１１により使用者により設定または選択された撮影条件、及び撮像時に撮像装置１００が自動的に設定または取得した情報等を含む画像識別情報を、撮像された画像データと関連付けて記憶媒体２００に記憶する。ステップＳ１終了後、ステップＳ２に進む。
【００５１】
（ステップＳ２）次に、画像処理部４の画像取得部４１は、バス１５を介して、撮像部２が撮像した画像データと、画像データと関連付けられて記憶されている画像識別情報とを記憶媒体２００から読み出す。なお、画像取得部４１が読み出す画像データは、撮像システム１の使用者が操作部１１の操作により選択した画像データである。
次に、画像取得部４１は、取得した画像データを、色空間ベクトル生成部４３に出力する。次に、画像取得部４１は、取得した画像識別情報を画像識別情報取得部４２に出力する。ステップＳ２終了後、ステップＳ３に進む。
【００５２】
（ステップＳ３）次に、画像識別情報取得部４２は、画像取得部４１が出力する画像識別情報から撮像された画像データに設定されている撮影情報を抽出し、抽出した撮影情報を第１ラベル生成部４６に出力する。ステップＳ３終了後、ステップＳ４に進む。
【００５３】
（ステップＳ４）次に、色空間ベクトル生成部４３は、画像取得部４１が出力する画像データを予め定められている色空間のベクトルに変換する。予め定められている色空間は、例えばＨＳＶである。次に、色空間ベクトル生成部４３は、生成した色ベクトル毎に画像データの全画素を分類し、色ベクトル毎の頻度を検出し、色ベクトルの頻度分布を生成する。次に、色空間ベクトル生成部４３は、生成した色ベクトルの頻度分布を示す情報を主要色抽出部４４に出力する。ステップＳ４終了後、ステップＳ５に進む。
【００５４】
（ステップＳ５）次に、主要色抽出部４４は、色空間ベクトル生成部４３が出力する色ベクトルの頻度分布を示す情報から頻度の高い順に３色を主要色として抽出し、抽出した主要色を示す情報を第１ラベル生成部４６に出力する。ステップＳ５終了後、ステップＳ６に進む。
【００５５】
（ステップＳ６）次に、第１ラベル生成部４６は、画像識別情報取得部４２が出力する撮影情報と主要色抽出部４４が出力する主要色を示す情報とに関連付けられて記憶されている第１ラベルを、テーブル記憶部４５から読み出す。次に、第１ラベル生成部４６は、読み出した第１ラベルを示す情報と、主要色抽出部４４が出力する主要色を示す情報とを第２ラベル生成部４７に出力する。
なお、第１ラベル生成部４６は、テーブル記憶部４５に、画像識別情報取得部４２が出力する撮影情報と主要色抽出部４４が出力する主要色を示す情報とに関連付けられて記憶されている第１ラベルが記憶されていない場合、例えば、同じ主要色について別のシーンの第１ラベルが記録されているか否かを判別する。同じ主要色について別のシーンの第１ラベルが記録されていると判別した場合、第１ラベル生成部４６は、同じ主要色について別のシーンの第１ラベルをテーブル記憶部４５から読み出すようにしてもよい。一方、同じ主要色について別のシーンの第１ラベルが記録されていないと判別した場合、第１ラベル生成部４６は、主要色と最も色ベクトルの距離が近く且つシーンが同一の色ベクトルと関連付けられて記憶されているラベルをテーブル記憶部４５から読み出すようにしてもよい。
ステップＳ６終了後、ステップＳ７に進む。
【００５６】
（ステップＳ７）次に、第２ラベル生成部４７は、主要色抽出部４４が出力する主要色を示す情報から各色ベクトルの頻度を正規化し、３つの主要色の比率を算出する。ステップＳ７終了後、ステップＳ８に進む。
【００５７】
（ステップＳ８）次に、第２ラベル生成部４７は、算出した３つの主要色の比率に基づき、第１ラベル生成部４６が出力する第１ラベルを修飾する修飾ラベルを生成し、生成した修飾ラベルで第１ラベルを修飾させることで第１ラベルを修正して第２ラベルを生成する。次に、第２ラベル生成部４７は、生成した第２ラベルを示す情報をラベル出力部４８に出力する。ステップＳ８終了後、ステップＳ９に進む。
【００５８】
（ステップＳ９）次に、ラベル出力部４８は、第２ラベル生成部４７が出力する第２ラベルを示す情報を画像データと関連付けてテーブル記憶部４５に記憶する。
なお、ステップＳ６において、テーブル記憶部４５に、シーンを示す情報と主要色を示す情報とに関連付けられて記憶されている第１ラベルが記憶されていない場合、ラベル出力部４８は、ステップＳ６で読み出した第１ラベルと抽出された主要色とを関連付けて、テーブル記憶部４５に新たに記憶させるようにしてもよい。
以上で、画像処理部４が行うラベル生成処理を終了する。
【００５９】
以上のように、本実施形態の撮像装置１００は、従来技術と比較して、少ない演算量で画像データの特徴量である主要色を抽出することができる。さらに、本実施形態の撮像装置１００は、Ｅｘｉｆに含まれる情報等を用いてシーン判別して、判別結果に基づいてテーブル記憶部４５に記憶されているシーン毎のテーブルを選択するようにしたため少ない演算量でシーンを判別できる。この結果、本実施形態の撮像装置１００は、従来技術と比較して、画像データに対して少ない演算処理と少ない選択肢で、多くのラベル生成を行うことができる。
すなわち、画像処理部４は、画像データを色空間に変換した色ベクトルの中から、頻度の多い３つの主要色を抽出し、抽出した主要色に予め対応付けて記憶されている第１ラベルを抽出する。図１０と図１１に示したように、主要色に対して、シーン毎、時刻や季節毎に第１ラベルを予め対応付けて記憶させてあるため、画像処理部４は、画像データから抽出された主要色が同じであっても、シーン毎、時刻や季節毎に異なる第１ラベルを生成することができるので、シーン毎に画像データに最適なラベルを生成することができる。
さらに、画像処理部４は、３つの主要色の頻度を正規化して、最も頻度の多い第１色の割合に応じて、生成された第１ラベルを修飾する修飾ラベルを生成し、生成した修飾ラベルで第１ラベルを修飾させることで第１ラベルを修正して第２ラベルを生成する。
この結果、画像処理部４は、画像データの主要色の配色の割合に基づき、第１ラベルを修飾ラベルで修飾して修正することで第２ラベルを生成するようにしたので、画像データから主要色を抽出してラベルを生成する場合と比較して、シーン毎に画像データにさらに最適なラベルを生成することができる。
【００６０】
なお、本実施形態では、色空間ベクトル生成部４３が、画像データをＨＳＶの色空間において色ベクトルを生成する例を説明したが、ＲＧＢ（赤、緑、青）、輝度信号と2つの色差信号によるＹＣｒＣｂまたはＹＰｂＰｒ、色相と彩度及び明度によるＨＬＳ、補色空間の一種であるＬａｂ、日本色研配色体系（ＰＣＣＳ；Ｐｒａｃｔｉｃａｌ Ｃｏｌｏｒ Ｃｏ−ｏｒｄｉｎａｔｅ Ｓｙｓｔｅｍ）に基づく色空間などを用いてもよい。
また、本実施形態では、色空間ベクトル生成部４３が、色ベクトルの頻度分布を生成して、生成した色ベクトルの頻度分布を示す情報を主要色抽出部４４に出力する例を説明したが、色空間ベクトル生成部４３は、色ベクトル毎の頻度を検出して、検出した色ベクトル毎の頻度を示す情報を主要色抽出部４４に出力するようにしてもよい。この場合においても、例えば、テーブル記憶部４５に記憶させるＲＧＢの各値は、１毎、１０毎等の間隔の中からテーブル作成者が選択した色であってもよい。
【００６１】
また、本実施形態では、ラベル出力部４８が、ラベルを示す情報を画像データと関連付けてテーブル記憶部４５に記憶する例を説明したが、第２ラベル生成部４７が出力するラベルを文字情報（テキスト）によるデータとして、使用者により選択された画像データに重ねて表示部７に表示するようにしてもよい。
また、本実施形態では、第１ラベルと第２ラベルは、形容詞または副詞の例を説明したが、第１ラベルと第２ラベルは、例えば名詞であってもよい。この場合、第１ラベルは、例えば、「爽快」、「若返り」、「ダンディ」などである。
【００６２】
また、本実施形態では、画像データから主要色を算出する例を説明したが、主要色抽出部４４は、隣り合う色ベクトルが予め定められている距離だけ離れている３つの色を抽出するようにしてもよい。隣り合う色ベクトルとは、図７（ｂ）において、例えば、画像データがＨＳＶの場合、色ベクトル（５０、５０、５０）と（５０、５０、５１）とである。隣り合う色の距離は、ヒトの視覚的な色を識別できる公知の閾値に基づき設定するようにしてもよい。例えば、ＷＥＢで使用が推奨されているＷＥＢ２５６色と、白黒で表現できるモノトーン２５６色などを用いるようにしてもよい。
【００６３】
また、主要色抽出部４４は、主要色の算出の前に、色空間ベクトル生成部４３が生成した色ベクトルの頻度分布に対して、公知の手法を用いて、平滑化処理を行うようにしてもよい。または、色空間ベクトル生成部４３が色空間ベクトルを生成する前に、公知の手法を用いて、減色処理を行うようにしてもよい。例えば、色空間ベクトル生成部４３は、画像データをＷＥＢカラーに減色するようにしてもよい。
また、本実施形態では、主要色抽出部４４が、画像データから頻度の高い３つの色を主要色として抽出する例を説明したが、抽出する色の数は３色に限られず、２色以上であればよい。
【００６４】
また、本実施形態では、色ベクトルとしてＨＳＶを用いる例を説明した。テーブル記憶部４５には、図４に示したように３つの色の組み合わせを記憶させる場合、ＨＳＶの各値を１毎に設定されたＨＳＶ＝（０，０，０）、（１，０，０）、（１，１，０）・・・（１００、１００、９９）、（１００、１００、１００）の中からテーブル作成者が選択するようにしてもよい。または、ＨＳＶの各値を１０毎に設定されたＨＳＶ＝（０，０，０）、（１０，０，０）、（１０，１０，０）・・・（１００、１００、９０）、（１００、１００、１００）の中からテーブル作成者が選択するようにしてもよい。このように、色ベクトルにおける各値の間隔を１０等、予め定めた値にすることで、テーブル記憶部４５に記憶させる容量を少なくすることができ、さらに演算量も削減することができる。
【００６５】
［第２実施形態］
第１実施形態では、使用者により選択された画像データのシーンを、画像データと関連付けて記憶媒体２００に記憶されている画像識別情報に基づき判別する例を説明した。本実施形態では、選択された画像データから、シーンを画像処理装置が判別して、判別した結果に基づきラベルを生成する例について説明する。
【００６６】
図１３は、本実施形態に係る画像処理部４ａのブロック図である。
図１３に示すように、画像処理部４ａは、画像取得部４１ａ、画像識別情報取得部４２、色空間ベクトル生成部４３、主要色抽出部４４、テーブル記憶部４５、第１ラベル生成部４６ａ、第２ラベル生成部４７、ラベル出力部４８、特徴量抽出部２４１、シーン判別部２４２を備えている。なお、第１実施形態と同じ機能を有する機能部は、同じ符号を用いて説明は省略する。
【００６７】
画像取得部４１ａは、バス１５を介して、撮像部２が撮像した画像データと、画像データと関連付けられて記憶されている画像識別情報とを記憶媒体２００から読み出す。画像取得部４１ａは、取得した画像データを、色空間ベクトル生成部４３、特徴量抽出部２４１に出力する。画像取得部４１ａは、取得した画像識別情報を画像識別情報取得部４２に出力する。
【００６８】
特徴量抽出部２４１は、画像取得部４１ａが出力する画像データから、公知の手法により特徴量を抽出する。公知の手法は、例えば、画像の２値化、平滑化、エッジ検出、輪郭検出などの手法を用いる。特徴量抽出部２４１は、抽出した特徴量を示す情報をシーン判別部２４２に出力する。
【００６９】
シーン判別部２４２は、特徴量抽出部２４１が出力する特徴量を示す情報に基づき、画像取得部４１ａが取得した画像データのシーンを公知の手法を用いて判別する。なお、シーン判別に用いる公知の手法とは、例えば、特許文献１に記載の従来技術のように、シーン判別部２４２が、画像データを予め定められている複数の領域に分割し、その領域毎の特徴量に基づき、画像データに人物が写っているのか、空が映っているのか等を判別する。そして、判別結果に基づき、シーン判別部２４２は、画像データのシーンを判別する。
シーン判別部２４２は、判別したシーンを示す情報を第１ラベル生成部４６ａに出力する。
なお、本実施形態において、シーン判別部２４２は、特徴量抽出部２４１とシーン判別部２４２とにより構成するようにしてもよい。
【００７０】
第１ラベル生成部４６ａは、シーン判別部２４２が出力するシーンを示す情報と主要色抽出部４４が出力する主要色を示す情報とに関連付けられて記憶されている第１ラベルを、テーブル記憶部４５から読み出す。第１ラベル生成部４６ａは、読み出した第１ラベルを示す情報と、主要色抽出部４４が出力する主要色を示す情報とを第２ラベル生成部４７に出力する。
【００７１】
次に、撮像装置１００の画像処理部４ａが行うラベル生成処理について、図１２を用いて説明する。撮像装置１００は、ステップＳ１とステップＳ２を第１実施形態と同様に行う。
【００７２】
（ステップＳ３）次に、特徴量抽出部２４１は、画像取得部４１ａが出力する画像データから、公知の手法により特徴量を抽出し、抽出した特徴量を示す情報をシーン判別部２４２に出力する。
次に、シーン判別部２４２は、特徴量抽出部２４１が出力する特徴量を示す情報に基づき、画像取得部４１ａが取得した画像データの撮影情報であるシーンを公知の手法を用いて抽出して取得し、取得したシーンを示す情報を第１ラベル生成部４６ａに出力する。ステップＳ３終了後、ステップＳ４に進む。
【００７３】
画像処理部４ａは、ステップＳ４とステップＳ５を第１実施形態と同様に行う。ステップＳ５終了後、ステップＳ６に進む。
【００７４】
（ステップＳ６）次に、第１ラベル生成部４６ａは、シーン判別部２４２が出力するシーンを示す情報と主要色抽出部４４が出力する主要色を示す情報とに関連付けられて記憶されている第１ラベルを、テーブル記憶部４５から読み出す。次に、第１ラベル生成部４６ａは、読み出した第１ラベルを示す情報と、主要色抽出部４４が出力する主要色を示す情報とを第２ラベル生成部４７に出力する。ステップＳ６終了後、画像処理部４ａは、ステップＳ７〜Ｓ９を第１実施形態と同様に行う。
【００７５】
以上のように、画像処理部４ａは、撮像された画像データを、予め定められている手法でシーン判別し、判別したシーンと、画像データから抽出された３つの主要色に基づき、第１実施形態と同様にラベルを生成するようにした。この結果、画像処理部４ａは、画像識別情報が画像データと関連付けて記憶媒体２００に記憶されていない場合であっても、画像データに最適なラベルを生成することができる。
【００７６】
なお、本実施形態において、画像処理部４ａは、画像データから判別したシーンと、抽出した主要色とに基づき、ラベルを生成する例を説明したが、第１実施形態と同様に、撮影情報も用いてシーン判別するようにしてもよい。画像処理部４ａは、例えば、画像識別情報から撮像された日時を示す情報を抽出し、抽出された撮像日時と画像データから判別されたシーンに基づき、ラベルを生成するようにしてもよい。より具体的には、シーンが「風景」であり、撮像日時が「秋」の場合、シーン「風景」と「秋」と主要色と関連付けて記憶されている第１ラベルを読み出し、この読み出した２つの第１ラベルに基づきラベルを生成するようにしてもよい。
あるいは、テーブル記憶部４５に、シーンを「秋の風景」として、主要色と第１ラベルを記憶させておくようにしてもよい。
【００７７】
［第３実施形態］
第１実施形態と第２実施形態では、使用者により選択された画像データ全体から抽出した主要色に基づきラベルを生成する例を説明した。本実施形態では、選択された画像データからシーンを判別し、判別したシーンに基づき予め定められている画像データの領域において主要色を抽出し、抽出した主要色からラベルを生成する例について説明する。
【００７８】
図１４は、本実施形態に係る実施形態に係る画像処理部４ｂのブロック図である。
図１４に示すように、画像処理部４ｂは、画像取得部４１ｂ、画像識別情報取得部４２ｂ、色空間ベクトル生成部４３ｂ、主要色抽出部４４、テーブル記憶部４５、第１ラベル生成部４６、第２ラベル生成部４７、ラベル出力部４８、領域抽出部３４１を備えている。なお、第１実施形態と同じ機能を有する機能部は、同じ符号を用いて説明は省略する。
【００７９】
画像取得部４１ｂは、バス１５を介して、撮像部２が撮像した画像データと、画像データと関連付けられて記憶されている画像識別情報とを記憶媒体２００から読み出す。画像取得部４１ｂは、取得した画像データを、領域抽出部３４１と色空間ベクトル生成部４３ｂとに出力する。画像取得部４１ｂは、取得した画像識別情報を画像識別情報取得部４２ｂに出力する。
【００８０】
画像識別情報取得部４２ｂは、画像取得部４１ｂが出力する画像識別情報から撮像された画像データに設定されている撮影情報を抽出し、抽出した撮影情報を第１ラベル生成部４６と領域抽出部３４１とに出力する。
【００８１】
領域抽出部３４１は、画像識別情報取得部４２ｂが出力する撮影情報に基づき、画像識別情報取得部４２ｂが出力する画像データから、予め定められている手法で主要色を抽出する領域を抽出する。領域抽出部３４１は、画像識別情報取得部４２ｂが出力する画像データから、抽出した主要色を抽出する領域の画像データを抽出し、抽出した領域の画像データを色空間ベクトル生成部４３ｂに出力する。
なお、予め定められている主要色を抽出する領域を抽出する手法とは、例えば、シーン毎に画像全体から抽出する領域を予め設定しておくようにしてもよい。例えば、シーンが「風景」の場合、画像データの上から３分の２の領域、シーンが「ポートレート」の場合、画像データの中心部に予め定められている大きさの領域などである。
あるいは、第２実施形態と組み合わせて、画像データから抽出した特徴量に基づき、特徴量が抽出された領域を、主要色を抽出する領域として抽出するようにしてもよい。この場合、画像データから抽出する領域は複数でもよい。例えば、撮像された画像データのシーンがポートレートであると判別された場合、図１３のシーン判別部２４２は、特徴量抽出等の手法を用いて顔検出を行う。そして、シーン判別部２４２は、検出された顔の領域が複数ある場合、シーン判別部２４２は、この検出された複数の領域から各々主要色を検出する。そして、第１ラベル生成部４６と第２ラベル生成部４７は、検出された主要色毎の複数のラベルを生成するようにしてもよい。あるいは、シーン判別部２４２は、検出された全ての顔領域を含む領域を、主要色を抽出する領域として用いるように主要色抽出部４４に、判別結果を出力するようにしてもよい。
【００８２】
図１４に戻って、色空間ベクトル生成部４３ｂは、領域抽出部３４１が出力する画像データを予め定められている色空間のベクトルに変換する。予め定められている色空間は、例えばＨＳＶである。色空間ベクトル生成部４３ｂは、生成した色ベクトル毎に画像データの全画素を分類し、色ベクトル毎の頻度を検出し、色ベクトルの頻度分布を生成する。
色空間ベクトル生成部４３ｂは、生成した色ベクトルの頻度分布を示す情報を主要色抽出部４４に出力する。
【００８３】
次に、撮像装置１００の画像処理部４ｂが行うラベル生成処理について、図１５を用いて説明する。図１５は、本実施形態に係る撮像装置１００が行うラベル生成のフローチャートである。撮像装置１００は、ステップＳ１を第１実施形態と同様に行う。ステップＳ１終了後、ステップＳ１０１に進む。
【００８４】
（ステップＳ１０１）次に、画像処理部４ｂの画像取得部４１ｂは、バス１５を介して、撮像部２が撮像した画像データと、画像データと関連付けられて記憶されている画像識別情報とを記憶媒体２００から読み出す。
次に、画像取得部４１ｂは、取得した画像データを、領域抽出部３４１と色空間ベクトル生成部４３ｂに出力する。次に、画像取得部４１ｂは、取得した画像識別情報を画像識別情報取得部４２ｂに出力する。ステップＳ１０１終了後、ステップＳ３に進む。
【００８５】
（ステップＳ３）画像処理部４ｂは、ステップＳ３を第１実施形態と同様に行う。ステップＳ３終了後、ステップＳ１０２に進む。
【００８６】
（ステップＳ１０２）次に、領域抽出部３４１は、画像識別情報取得部４２ｂが出力する撮影情報に基づき、画像識別情報取得部４２ｂが出力する画像データから、予め定められている手法で主要色を抽出する領域を抽出する。
次に、領域抽出部３４１は、画像識別情報取得部４２ｂが出力する画像データから、抽出した主要色を抽出する領域の画像データを抽出し、抽出した領域の画像データを色空間ベクトル生成部４３ｂに出力する。ステップＳ１０２終了後、ステップＳ１０３に進む。
【００８７】
（ステップＳ１０３）次に、色空間ベクトル生成部４３ｂは、領域抽出部３４１が出力する領域の画像データを予め定められている色空間のベクトルに変換する。次に、色空間ベクトル生成部４３ｂは、生成した色ベクトル毎に画像データの全画素を分類し、色ベクトル毎の頻度を検出し、色ベクトルの頻度分布を生成する。次に、色空間ベクトル生成部４３ｂは、生成した色ベクトルの頻度分布を示す情報を主要色抽出部４４に出力する。ステップＳ１０３終了後、ステップＳ５に進む。
【００８８】
以下、画像処理部４ｂは、ステップＳ５〜Ｓ９を第１実施形態と同様に行う。
【００８９】
以上のように、画像処理部４ｂは、撮像された画像データからシーン等の撮影情報に基づき、主要色を抽出する領域を抽出する。そして、画像処理部４ｂは、主要色を抽出する領域の画像データから抽出された３つの主要色に基づき、第１実施形態と同様にラベルを生成するようにした。この結果、画像処理部４ｂは、シーンに応じた領域の画像データから主要色を抽出し、抽出した領域の主要色に基づきラベルを生成するようにしたので、第１実施形態と第２実施形態と比べて、さらにシーンに適合する画像データに最適なラベルを生成することができる。
【００９０】
［第４実施形態］
第１実施形態〜第３実施形態では、使用者により選択された画像データから３つの色を主要色として選択する例を説明した。本実施形態では、選択された画像データから、３つ以上の色を選択する例について説明する。なお、画像処理部４の構成は、第１実施形態（図２）と同様の場合について説明する。
【００９１】
図１６は、本実施形態に係る画像データから、複数の色ベクトルを抽出する一例を説明する図である。図１６において、横軸は色ベクトル、縦軸は頻度を表している。
図１６において、主要色抽出部４４は、図８（ｂ）と同様に第１色の色ベクトルｃ２１、第２色の色ベクトルｃ２２、第３色の色ベクトルｃ２３を抽出したとして説明する。
図１６において、色ベクトルｃ２４、ｃ２５、ｃ２６の頻度が、予め定められている範囲内の場合、主要色抽出部４４は、第４の主要色として色ベクトルｃ２４、ｃ２５、ｃ２６を抽出する。この場合、テーブル記憶部４５には、図４で説明した第１色〜第３色以外に第４色等まで含めたシーン毎のラベルを記憶させておく。
そして、第４色が抽出された場合、主要色抽出部４４は、テーブル記憶部４５に記憶されている第１色〜第４色の組み合わせの第１ラベルを読み出し、記憶されている第１ラベルを抽出する。第１色〜第４色の組み合わせの第１ラベルが複数、記憶されていた場合、主要色抽出部４４は、例えば、一番先にテーブル記憶部４５から読み出した第１ラベルを選択するようにしてもよく、あるいは、ランダムに選択するようにしてもよい。
【００９２】
また、主要色抽出部４４は、抽出した４つの色の中から、３つの色を主要色として選択するようにしてもよい。この場合、主要色抽出部４４は、抽出された４つの色の近似度を算出し、近似度の低い３つの色を、主要色をして算出するようにしてもよい。色の近似度は、例えば、図１６において、仮に、色ベクトルｃ２２〜ｃ２５の４つの色ベクトルが、第１色〜第４色として抽出されたとして説明する。主要色抽出部４４は、抽出した４つの色を、８ビットのカラー空間から、例えば７ビットカラー空間に減色する。減色した後、例えば、色ベクトルｃ２４とｃ２５とが同一の色と判別された場合、主要色抽出部４４は、色ベクトルｃ２４とｃ２５とを近似色であると判別する。そして、主要色抽出部４４は、第３の主要色として、色ベクトルｃ２４またはｃ２５のどちらか一方を選択する。この場合、図１６の頻度分布において、主要色抽出部４４は、第１色の色ベクトルｃ２２と第２色の色ベクトルｃ２３と横軸方向で離れている距離が大きい方の色ベクトルを選択するようにしてもよく、ランダムに選択してもよい。
また、７ビットのカラー空間に減色しても４つの色ベクトルが分離したままの場合、色空間ベクトル生成部４３は、４つの色ベクトルが３つの色ベクトルに統合されるまで減色を行う。
【００９３】
以上のように、撮影情報であるシーン毎に４つ以上の主要色と第１ラベルとがテーブル記憶部４５に予め記憶されているようにし、画像データから主要色を４色以上抽出して、抽出した主要色とシーンに基づいてラベルを生成するようにしたので、第１実施形態〜第３実施形態と比較して、さらに画像データに最適なラベルを生成することができる。
すなわち、本実施形態において画像処理部４は、画像データを色空間に変換した色ベクトルの中から、頻度の多い４つの色を抽出し、抽出した４つの色に予め対応付けて記憶されている第１ラベルを抽出する。抽出した４つの主要色ベクトルに対して、撮影情報毎、例えばシーン毎、時刻や季節毎に第１ラベルを予め対応付けて記憶させてあるため、画像処理部４は、画像データから抽出された主要色が同じであっても、シーン毎、時刻や季節毎に異なる第１ラベルを生成することができる。さらに、画像処理部４は、４つの主要色の頻度を正規化して、最も頻度の多い第１色の割合に応じて、生成された第１ラベルに、第１ラベルを強調する第２ラベルを付加してラベルを生成する。この結果、画像処理部４は、４つの主要色に基づき、第１実施形態〜第３実施形態と比較して、さらに画像データに最適なラベルを生成することができる。
また、画像処理部４は、抽出した４つの主要色の中から、３つの主要色を減色等により抽出し、抽出した３つの主要色に対して、第１実施形態と同様にラベル生成処理を行う。この結果、画像処理部４は、色ベクトルの頻度に差が少ないような画像データであっても、画像データに最適なラベルを生成することができる。
【００９４】
また、本実施形態では、画像データから、４つの主要色を抽出する例を説明したが、抽出する主要色は４色に限られず、それ以上であってもよい。この場合、抽出した主要色の色数に応じた第１ラベルをテーブル記憶部４５に記憶させておくようにしてもよい。また、例えば、主要色を５色、抽出する場合、上述したように主要色抽出部４４は、減色を行って近似色に統合して、抽出した複数の主要色の中から３つの主要色を再度、抽出するようにしてもよい。また例えば、主要色を６色、抽出する場合、主要色抽出部４４は、まず、頻度の多い順に第１色〜第３色の第１グループと、残りの第４色〜第６色との第２グループに分離する。なお、第４色は、第３色より画素数が少なく第５色より画素数が多く、第５色は、第４色より画素数が少ない。
そして、第１ラベル生成部４６は、第１グループに対応する第ラベルと、第２グループに対応する第１ラベルを抽出する。そして、第１ラベル生成部４６は、このように抽出された２つの第１ラベルについて、第１実施形態と同様に第１色、または第４色の頻度に応じて修飾ラベルで第１ラベルを修飾することで修正して複数のラベルを生成するようにしてもよい。あるいは、第２ラベル生成部４７は、このように生成した複数のラベルを統合して１つのラベルを生成するようにしてもよい。具体的には、第１グループによるラベルが「とてもすがすがしい」、第２グループによるラベルが「少し子供っぽい」であった場合、第２ラベル生成部４７は、「とてもすがすがしく、少し子供っぽい」というラベルを生成するようにしてもよい。このような、２つのラベルを生成する場合、第２ラベル生成部４７は、第２ラベル生成部４７内に、２つのラベルのどちらを先に配置した方が、適切なラベルを生成できるかを確認するため、非図示の言語解析処理を行う処理機能部を備えるようにしてもよい。
【００９５】
また、第１実施形態〜第４実施形態では、１つの画像データに１つのラベルを生成する例を説明したが、生成するラベルは、２つ以上であってもよい。この場合、色空間ベクトル生成部４３（含む４３ｂ）は、例えば、図９の画像データにおいて、上半分と下半分に分割し分割した領域毎に色ベクトルの頻度分布を生成する。主要色抽出部４４は、分割された領域毎の色ベクトルの頻度分布から、各々の主要色を、３色ずつ抽出する。そして、第１ラベル生成部４６は、領域毎のラベルをテーブル記憶部４５から抽出するようにしてもよい。そして、ラベル出力部４８は、このように生成された複数のラベルを画像データと関連付けて記憶媒体２００に記憶させるようにしてもよい。
【００９６】
なお、第１実施形態〜第３実施形態では、シーン毎に３色の主要色と第１ラベルとを関連付けてテーブル記憶部４５に記憶させておく例を説明したが、例えば、シーン毎に単色と第１ラベルを関連付けてテーブル記憶部４５に記憶させておくようにしてもよい。この場合、第１実施形態で説明したように、テーブル記憶部４５には、シーン毎に３色の主要色と第１ラベルとを関連付けて記憶させ、さらに、シーン毎に単色と第１ラベルを関連付けて記憶させておくようにしてもよい。
このような処理により、画像データがモノトーンで、主要色が１色しか抽出できないような画像データに対しても適切なラベルを生成することができる。この場合、例えば、画像処理部４（４ａ，４ｂ）は、第４実施形態のように４色を主要色として検出し、第１色〜第３色の第１グループ、残りの第４色のみ単色としてラベルをテーブル記憶部４５から読み出すようにしてもよい。
また、画像データの色調が単調であり、主要色が２色しか抽出できなかった場合、例えば、第１ラベル生成部４６は、抽出された２つの主要色（第１色と第２色）の各第１ラベルを読み出す。次に、第２ラベル生成部４７は、抽出された２つの主要色の頻度に基づき、２つの主要色を正規化し、第１色の割合に基づき第１色のラベルに対して修飾ラベルを生成し、生成した修飾ラベルで第１色の第１ラベルを修飾して修正することで、第１色の第２ラベルを生成するようにしてもよい。あるいは、第２ラベル生成部４７は、このように生成された第１色の第１ラベルと、第２色の第１ラベルの２つのラベルを生成するか、あるいは、第１色の第１ラベルと第２色の第１ラベルを統合して１つのラベルを生成するようにしてもよい。
【００９７】
また、第１実施形態〜第４実施形態では、使用者により選択された画像データを記憶媒体２００から読み出す例を説明したが、ラベル生成処理に用いる画像データは、記憶媒体２００にロー（ＲＡＷ）データとＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）データが記録されている場合、ＲＡＷデータかＪＰＥＧデータのどちらを用いてもよい。また、記憶媒体２００に表示部７への表示用の縮小されたサムネイル（ｔｈｕｍｂｎａｉｌ）画像データが記憶されている場合、このサムネイル画像データを用いてラベルを生成するようにしてもよい。また、サムネイル画像データが記憶媒体に記憶されていなくても、色空間ベクトル生成部４３（含む４３ｂ）が、画像取得部４１（含む４１ａ、４１ｂ）が出力する画像データの解像度を、予め定めた解像度に縮小した画像データを生成し、この縮小された画像データから色ベクトルの頻度や主要色を抽出するようにしてもよい。
【００９８】
なお、実施形態の図２の画像処理部４、図１３の画像処理部４ａ、または図１４の画像処理部４ｂの各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ等の可搬媒体、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ） Ｉ／Ｆ（インタフェース）を介して接続されるＵＳＢメモリー、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、サーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００９９】
図１７は、画像上に配置される文章を決定するために用いられる撮像画像の特徴量を抽出するプロセスの一例を模式的に示す図である。図１７の例において、画像処理装置の判定部は、撮像画像のシーンを人物画像又は風景画像に分類する。次に、画像処理装置は、そのシーンに応じて、撮像画像の特徴量を抽出する。特徴量は、人物画像の場合には、顔の数（被写体の人数）及び平均色（配色パターン）とすることができ、風景画像の場合には、平均色（配色パターン）とすることができる。これらの特徴量を基に、人物画像用テンプレート又は風景画像用テンプレートに挿入される単語（形容詞等）が決定される。
【０１００】
ここで、図１７の例では、配色パターンは、撮像画像を構成する代表的な複数の色の組み合わせで構成されている。したがって、配色パターンは、撮像画像の平均的な色（平均色）を表すことができる。一例において、配色パターンとして、「第１色」、「第２色」、「第３色」を規定し、これら３種類の色の組み合わせ、すなわち３種類の平均的な色に基づいて、人物画像用、又は風景画像用の文章テンプレートに挿入される単語（形容詞）を決定することができる。
【０１０１】
図１７の例において、撮像画像のシーンは２種類（人物画像及び風景画像）に分類される。他の例において、撮像画像のシーンは、３種類以上（３、４、５、６、７、８、９、又は１０種類以上）に分類することができる。
【０１０２】
図１８は、画像上に配置される文章を決定するために用いられる撮像画像の特徴量を抽出するプロセスの別の一例を模式的に示す図である。図１８の例において、撮像画像のシーンを３種類以上に分類することができる。
【０１０３】
図１８の例において、画像処理装置の判定部は、撮像画像が人物画像（第１モード画像）、遠景画像（第２モード画像）、又はその他の画像（第３モード画像）いずれであるかを判定する。まず、判定部は、図１７の例と同様に、撮像画像が人物画像であるか、人物画像とは異なる画像であるかを判定する。
【０１０４】
次に、撮像画像が人物画像とは異なる画像である場合、判定部は、撮像画像が遠景画像（第２モード画像）又はその他の画像（第３モード画像）のうちいずれであるか、を判定する。この判定は、例えば、撮像画像に付与された画像識別情報の一部を用いて行うことができる。
【０１０５】
具体的には、撮像画像が遠景画像かどうかを判定するために、画像識別情報の一部である焦点距離を用いることができる。判定部は、焦点距離が、あらかじめ設定された基準距離以上である場合、撮像画像を遠景画像と判定し、焦点距離が基準距離未満である場合、撮像画像をその他の画像と判定する。以上により、撮像画像が、人物画像（第１モード画像）、遠景画像（第２モード画像）、又はその他の画像（第３モード画像）の３種類にシーン分類される。なお、遠景画像（第２モード画像）の例は、海や山などの風景画像等を含み、その他の画像（第３モード画像）の例は、花及びペット等を含む。
【０１０６】
図１８の例においても、撮像画像のシーンが分類された後、画像処理装置は、そのシーンに応じて、撮像画像の特徴量を抽出する。
【０１０７】
図１８の例において、撮像画像が人物画像（第１シーン画像）の場合、画像上に配置される文章を決定するために用いられる撮像画像の特徴量として、顔の数（被写体の人数）及び／又は笑顔レベルを用いることができる。すなわち、撮像画像が人物画像の場合、顔の数（被写体の人数）の判定結果に加え、又は代えて笑顔レベルの判定結果に基づいて、人物画像用テンプレートに挿入される単語を決定することができる。以下、笑顔レベルの判定方法の一例について、図１９を用いて説明する。
【０１０８】
図１９の例において、画像処理装置の判定部は、人物画像に対して、顔認識などの方法により顔領域を検出する（ステップＳ５００１）。一例において、口角部分の上り具合を数値化することにより、人物画像の笑顔度が算出される。なお、笑顔度の算出には例えば、顔認識にかかる公知の様々な技術を用いることができる。
【０１０９】
次に、判定部は、あらかじめ設定された第１の笑顔閾値αと、笑顔度を比較する（ステップＳ５００２）。笑顔度がα以上と判定された場合、判定部は、この人物画像の笑顔レベルは、「笑顔：大」であると判定する。
【０１１０】
一方、笑顔度がα未満と判定された場合、判定部は、あらかじめ設定された第２の笑顔閾値βと笑顔度を比較する（ステップＳ５００３）。笑顔度がβ以上と判定された場合、判定部は、この人物画像の笑顔レベルは、「笑顔：中」であると判定する。さらに、笑顔度がβ未満と判定された場合、判定部は、この人物画像の笑顔レベルは、「笑顔：小」であると判定する。
【０１１１】
人物画像の笑顔レベルの判定結果に基づき、人物画像用テンプレートに挿入される単語が決定される。ここで、「笑顔：大」の笑顔レベルに対応する単語の例としては、「喜びいっぱいの」、「とてもいい」等が挙げられる。「笑顔：中」の笑顔レベルに対応する単語の例としては、「嬉しそうな」、「いい穏やかな」等が挙げられる。「笑顔：小」の笑顔レベルに対応する単語の例としては、「真剣そうな」、「クールな」等が挙げられる。
【０１１２】
なお、上記では、人物画像用テンプレートに挿入される単語が、連体形である場合について説明したが、これに限ることはなく、例えば終止形であってもよい。この場合、「笑顔：大」の笑顔レベルに対応する単語の例としては、「笑顔が素敵」、「すごくいい笑顔だね」等が挙げられる。「笑顔：中」の笑顔レベルに対応する単語の例としては、「にこやかだね」、「いい表情」等が挙げられる。「笑顔：小」の笑顔レベルに対応する単語の例としては、「真剣そうです」、「真面目そうです」等が挙げられる。
【０１１３】
図２０Ａは、画像処理装置の動作結果を示す出力画像の一例であり、この出力画像は、図１７の例に基づいて決定された文章を有する。図２０Ａの例において、撮像画像は人物画像であると判定され、特徴量としては被写体の人数、及び配色パターン（平均色）が抽出されている。また、配色パターンに応じて、人物画像用テンプレートに挿入される単語が、「重厚な」と決定されている。その結果、図２０Ａに示す出力結果が得られている。すなわち、図２０Ａの例では、撮像画像の平均色に基づいて、「重厚な」の単語（形容詞、連体形）が決定されている。
【０１１４】
図２０Ｂは、画像処理装置の動作結果を示す出力画像の別一例であり、この出力画像は、図１８の例に基づいて決定された文章を有する。図２０Ｂの例において、撮像画像は人物画像であると判定され、特徴量としては被写体の人数、及び笑顔レベルが抽出されている。また、笑顔レベルに応じて、人物画像用テンプレートに挿入される単語が、「いい表情」と決定されている。その結果、図２０Ｂに示す出力結果が得られている。すなわち、図２０Ｂの例では、撮像画像における人物の笑顔レベルに基づいて、「いい表情」の単語（終止形）が決定されている。図２０Ｂの出力結果のように、人物画像に対して笑顔レベルを用いた単語出力を用いることで、画像から受ける印象に比較的近い文字情報を添付することができる。
【０１１５】
図１８に戻り、撮像画像が風景画像（第２シーン画像）又はその他の画像（第３シーン画像）の場合、画像上に配置される文章を決定するために用いられる撮像画像の特徴量として、平均色に代えて、代表色を用いることができる。代表色としては、配色パターンにおける「第１色」、すなわち撮像画像において最も頻度の多い色を用いることができる。あるいは、代表色は、以下に説明するように、クラスタリングを用いて決定することができる。
【０１１６】
図２１は、撮像装置に含まれる画像処理部の内部構成を表す概略ブロック図である。図２１の例において、画像処理装置の画像処理部５０４０は、画像データ入力部５０４２と、解析部５０４４と、文章作成部５０５２と、文章付加部５０５４とを有する。画像処理部５０４０は、撮像部等で生成された画像データについて、各種の解析処理を行うことにより、画像データの内容に関する各種の情報を取得し、画像データの内容と整合性の高いテキストを作成し、画像データにテキストを付加することができる。
【０１１７】
解析部５０４４は、色情報抽出部５０４６、領域抽出部５０４８、クラスタリング部５０５０を有しており、画像データに対して解析処理を行う。色情報抽出部５０４６は、画像データから、画像データに含まれる各画素の色情報に関する第１情報を抽出する。典型的には、第１情報は、画像データに含まれる全ての画素のＨＳＶ値を、集計したものである。ただし、第１情報は、類似性が関連づけられた（例えば所定の色空間に関連付けされた）所定の色について、この所定の色が画像中に表れる頻度（画素単位での頻度、面積割合等）を示す情報であればよく、色の解像度や、色空間の種類は限定されない。
【０１１８】
例えば、第１情報は、ＨＳＶ空間ベクトル（ＨＳＶ値）やＲＧＢ値で表されるそれぞれの色について、それぞれの色の画素が、画像データに幾つずつ含まれるか、を表す情報であっても良い。ただし、第１情報における色解像度は、演算処理の負担等を考慮して適宜変更すれば良く、また、色空間の種類もＨＳＶやＲＧＢに限られず、ＣＭＹ、ＣＭＹＫ等であっても良い。
【０１１９】
図２２は、解析部５０４４において行われる代表色の決定の流れを表すフローチャートである。図２２のステップＳ５１０１では、画像処理装置が、具体的な画像データ５０６０（撮像画像、図２３参照）の代表色の算出を開始する。
【０１２０】
ステップＳ５１０２では、画像処理装置の画像データ入力部５０４２が、画像データを解析部５０４４に出力する。次に、解析部５０４４の色情報抽出部５０４６は、画像データに含まれる各画素の色情報に関する第１情報５０６２を算出する（図２３参照）。
【０１２１】
図２３は、ステップＳ５１０２において色情報抽出部５０４６が実施する第１情報５０６２の算出処理を表す概念図である。色情報抽出部５０４６は、画像データ５０６０に含まれる色情報を、各色毎（例えば２５６階調の各階調毎）に集計し、第１情報５０６２を得る。図２３の下図に示すヒストグラムは、色情報抽出部５０４６によって算出された第１情報５０６２のイメージを表している。図２３のヒストグラムの横軸は色であり、縦軸は、画像データ５０６０中に、所定の色の画素がいくつ含まれるかを表している。
【０１２２】
図２２のステップＳ５１０３では、解析部５０４４の領域抽出部５０４８が、画像データ５０６０における主要領域を抽出する。例えば、領域抽出部５０４８は、図２３に示す画像データ５０６０の中からピントが合っている領域を抽出し、画像データ５０６０の中央部分を主要領域であると認定する（図２４における主要領域５０６４参照）。
【０１２３】
図２２のステップＳ５１０４では、解析部５０４４の領域抽出部５０４８が、ステップＳ５１０５で実施されるクラスタリングの対象領域を決定する。例えば、領域抽出部５０４８は、図２４の上部に示すように、ステップＳ５１０３において画像データ５０６０の一部を主要領域５０６４であると認識し、主要領域５０６４を抽出した場合、クラスタリングの対象を、主要領域５０６４に対応する第１情報５０６２（主要第１情報５０６６）とする。図２４の下図に示すヒストグラムは、主要第１情報５０６６のイメージを表している。
【０１２４】
一方、領域抽出部５０４８が、ステップS５１０３において画像データ５０６０における主要領域５０６４を抽出しなかった場合、領域抽出部５０４８は、図２３に示すように、画像データ５０６０の全領域に対応する第１情報５０６２を、クラスタリングの対象に決定する。なお、クラスタリングの対象領域が異なることを除き、主要領域５０６４が抽出された場合と抽出されなかった場合とで、その後の処理に違いはないため、以下では、主要領域が抽出された場合を例に説明を行う。
【０１２５】
図２２のステップＳ５１０５では、解析部５０４４のクラスタリング部５０５０が、ステップＳ５１０４で決定された領域の第１情報５０６２である主要第１情報５０６６に対して、クラスタリングを実施する。図２５は、図２４に示す主要領域５０６４の主要第１情報５０６６について、クラスタリング部５０５０が実施したクラスタリングの結果を表す概念図である。
【０１２６】
クラスタリング部５０５０は、例えば、２５６階調の主要第１情報５０６６（図２４参照）を、ｋ−ｍｅａｎｓ法によって複数のクラスタに分類する。なお、クラスタリングは、ｋ−ｍｅａｎｓ法（ｋ平均法）に限定されない。他の例において、最短距離法等の他の方法を用いることができる。
【０１２７】
図２５の上部は、各画素がどのクラスタに分類されたかを表しており、図２５の下部に示すヒストグラムは、各クラスタに属する画素の数を示したものである。クラスタリング部５０５０によるクラスタリングによって、２５６階調の主要第１情報５０６６（図２４）は、２５６より少ない（図２５に示す例では３つの）クラスタに分類されている。クラスタリングの結果は、各クラスタの大きさに関する情報と、各クラスタの色（クラスタの色空間上の位置）に関する情報とを含むことができる。
【０１２８】
ステップＳ５１０６は、解析部５０４４のクラスタリング部５０５０が、クラスタリングの結果に基づき、画像データ５０６０の代表色を決定する。一例において、クラスタリング部５０５０は、図２５に示すようなクラスタリング結果を得た場合、算出された複数のクラスタのうち最も多くの画素を含む最大クラスタ５０７４に属する色を、画像データ５０６０の代表色とする。
【０１２９】
代表色の算出が終了すると、文章作成部５０５２は、代表色に関する情報を用いてテキストを作成し、画像データ５０６０に付与する。
【０１３０】
文章作成部５０５２は、例えば風景画像用の文章テンプレートを読み出し、文章テンプレートの｛日時｝に、画像データ５０６０の生成日時に対応する単語（例えば「２０１２／０３／１０」）を適用する。この場合、解析部５０４４は、画像データ５０６０の生成日時に関する情報を記憶媒体等から検索し、文章作成部５０５２に出力することができる。
【０１３１】
また、文章作成部５０５２は、文章テンプレートの｛形容詞｝に、画像データ５０６０の代表色に対応する単語を適用する。文章作成部５０５２は、記憶部５０２８から対応情報を読み出して、文章テンプレートに適用する。一例において、記憶部５０２８には、シーン毎に色と単語とが関連付けられたテーブルが保存されている。文章作成部５０５２は、そのテーブルから読み出した単語を用いて文章（例えば「とてもきれいなものを見つけた」）を作成することができる。
【０１３２】
図２６は、上述した一連の処理によってテキストを付与された画像データ５０８０を表示したものである。
【０１３３】
図２７は、シーンが遠景画像の場合に、上述と同様の一連の処理によってテキストを付与された画像データの例を示したものである。この場合、シーンが遠景画像に分類され、かつ代表色は青と判定されている。例えば、シーン毎に色と単語とが関連付けられたテーブルにおいて、代表色の「青」に対して単語「爽やかな」等が対応付けられている。
【０１３４】
図２８は、色と単語との対応情報を有するテーブルの一例を示す図である。図２８のテーブルにおいて、人物画像（第１シーン画像）、遠景画像（第２シーン画像）、及びその他の画像（第３シーン画像）、のシーンごとに、色と単語とが関連付けられている。一例において、画像データの代表色が「青」であり、シーンがその他の画像（第３シーン画像）であるとき、文章作成部５０５２は、テーブルの対応情報から、代表色に対応する単語（例えば「上品な」）を選択し、文章テンプレートの｛形容詞｝に適用する。
【０１３５】
色と単語との対応テーブルは、例えば、ＰＣＣＳ表色系、ＣＩＣＣ表色系、又はＮＣＳ表色系などのカラーチャートに基づき設定することができる。
【０１３６】
図２９は、ＣＣＩＣ表示系のカラーチャートを用いた、遠景画像（第２シーン画像）用の対応テーブルの一例を示す。図３０は、ＣＣＩＣ表示系のカラーチャートを用いた、その他の画像（第３シーン画像）用の対応テーブルの一例を示す。
【０１３７】
図２９において、横軸は、代表色の色相に、縦軸は代表色のトーンに対応している。単語の決定に図２９のテーブルを用いることにより、代表色の色相の情報だけでなく、代表色のトーンの情報も併せて単語を決定し、人間が生じる感性に比較的近いテキストを付与することが可能となる。以下、図２９のテーブルを用いた、遠景画像（第２シーン画像）の場合の具体的なテキストの設定例を説明する。なお、その他の画像（第３シーン画像）の場合、図３０のテーブルを用いて同様に設定することができる。
【０１３８】
図２９において、代表色が領域Ａ５００１と判定された場合、その代表色の呼称（赤、橙、黄、青など）がそのままテキスト中の単語に適用される。例えば、代表色の色相が「赤（Ｒ）」、トーンが「ビビッド・トーン（Ｖ）」の場合、その色を表す形容詞「真っ赤な」等が選択される。
【０１３９】
また、代表色が領域Ａ５００２、Ａ５００３、Ａ５００４又はＡ５００５の色と判定された場合、その色から連想する形容詞が、テキスト中の単語に適用される。例えば、代表色が領域Ａ５００３の色（緑）と判定された場合、緑から連想する形容詞である「心地良い」、「さわやかな」等が適用される。
【０１４０】
なお、代表色が領域Ａ５００１〜Ａ５００５の色と判定され、且つそのトーンがビビッド・トーン（Ｖ）、ストロング・トーン（Ｓ）、ブライト・トーン（Ｂ）、又はペール・トーン（ＬＴ）の場合には、形容詞の前に程度を表す副詞（例：とても、かなり等）が適用される。
【０１４１】
代表色が領域Ａ５００６、すなわち「ホワイト・トーン（白）」と判定された場合、白から連想される単語である「清らかな」、「澄んだ」等が選択される。また、代表色が領域Ａ５００７、すなわちグレー系の色（ライト・グレイ・トーン：ｌｔＧＹ、ミディアム・グレイ・トーン：ｍＧＹ、又はダーク・グレイ・トーン：ｄｋＧＹ）と判定された場合、無難な形容詞である「きれいな」、「すてきな」等が選択される。白、又はグレー系の色、すなわち無彩色が代表色となる画像においては、さまざまな色が画像全体に含まれる場合が多い。したがって、色とは関連性の少ない単語を用いることで、的外れな意味のテキストが付与されるのを防止し、画像から受けるイメージに比較的近いテキストを付与することができる。
【０１４２】
また、代表色が領域Ａ５００１〜Ａ５００７のいずれの領域にも属さない場合、すなわち代表色が低トーン（ダーク・グレイッシュ・トーン）、又は黒（ブラック・トーン）である場合、所定の意味を有する文字（単語、又は文章）をテキストとして選択することができる。所定の意味を有する文字は、例えば、「ここはどこ」、「あっ」等を含む。これらの単語や文章は、「つぶやき辞書」として画像処理装置の記憶部に保存しておくことができる。
【０１４３】
すなわち、代表色が低トーン、又は黒と判定されたとき、画像全体の色相の判定が困難なことがあるが、このような場合においても上記のように色とは関連性の少ない文字を用いることで、的外れな意味のテキストが付与されるのを防止し、画像から受けるイメージに近いテキストを付与することができる。
【０１４４】
また、上記の例では、シーンと代表色に応じて文章と単語が一義的に決定される場合について説明したが、これに限らず、文章と単語の選択において、時々、例外処理を行うこともできる。例えば、複数回に１回（例えば１０回に１回）は、上記の「つぶやき辞書」からテキストを抽出してもよい。これにより、テキストの表示内容が必ずしもパターン化されることがないので、ユーザが表示内容に飽きるのを防止することができる。
【０１４５】
なお、上記の例において、文章付加部は、文章作成部によって生成されたテキストを画像の上部、又は下部に配置する場合について説明したが、これに限らず、例えばテキストを画像の外（枠外）に配置することもできる。
【０１４６】
また、上記の例において、テキストの位置が画像内で固定されている場合について説明したが、これに限らず、例えば画像処理装置の表示部において、テキストを流れるように表示させることができる。これにより、入力画像がテキストにより影響を受けにくい、又はテキストの視認性が向上される。
【０１４７】
なお、上記の例において、テキストが画像に必ず貼り付けられる場合について説明したが、これに限らず、例えば人物画像の場合には、テキストは貼り付けず、遠景画像又はその他の画像の場合にはテキストを貼り付けるようにしてもよい。
【０１４８】
また、上記の例において、文章付加部は、文章作成部によって生成されたテキストの表示方法（フォント、色、表示位置など）を所定の方法で決定する場合について説明したが、これに限らず、テキストの表示方法は、多種多様に決定することができる。以下、これらの方法について、いくつかの例を示す。
【０１４９】
一例においては、ユーザが画像処理装置の操作部を介して、テキストの表示方法（フォント、色、表示位置）を修正することができる。或いは、ユーザは、テキストの内容（単語）を変更、又は削除することができる。また、ユーザは、テキスト全体を表示させないように設定する、すなわちテキストの表示／非表示を選択することができる。
【０１５０】
また、一例においては、入力画像のシーンに応じてテキストの大きさを変更することができる。例えば、入力画像のシーンが人物画像の場合、テキストを小さくし、入力画像のシーンが遠景画像又はその他の画像の場合、テキストを大きくすることができる。
【０１５１】
また、一例においては、テキストを強調表示して画像データに合成することもできる。例えば、入力画像が人物画像の場合、人物に吹き出しを付与し、その吹き出し中にテキストを配置することができる。
【０１５２】
また、一例においては、テキストの表示色は、入力画像の代表色を基準として設定することできる。具体的には、入力画像の代表色と色相は同じであり、且つトーンが異なる色を、テキストの表示色として用いることができる。これにより、テキストが過度に主張されることなく、入力画像とほどよく調和したテキストを付与することができる。
【０１５３】
また、特に、入力画像の代表色が白の場合、テキストの表示色の決定において、例外処理を行ってもよい。ここで、例外処理では例えば、テキストの色を白とし、そのテキストの周辺部を黒に設定することができる。
【符号の説明】
【０１５４】
１００・・・撮像装置、１・・・撮像システム、２・・・撮像部、３・・・カメラ制御部、４、４ａ、４ｂ・・・画像処理部、５・・・記憶部、６・・・バッファメモリ部、７・・・表示部、１１・・・操作部、１２・・・通信部、１３・・・電源部、１５・・・バス、２１・・・レンズ部、２２・・・撮像素子、２３・・・ＡＤ変換部、４１、４１ｂ・・・画像取得部、４２、４２ｂ・・・画像識別情報取得部、４３、４３ｂ・・・色空間ベクトル生成部、４４・・・主要色抽出部、４５・・・テーブル記憶部、４６、４６ａ・・・第１ラベル生成部、４７・・・第２ラベル生成部、４８・・・ラベル出力部、２４１・・・特徴量抽出部、２４２・・・シーン判別部
【特許請求の範囲】
【請求項１】
撮像された画像データを取得する画像取得部と、
前記取得された画像データからシーンを判別するシーン判別部と、
前記取得された画像データから色情報の頻度分布に基づき主要色を抽出する主要色抽出部と、
シーン毎に色情報と第１ラベルとが関連付けられて予め記憶されている記憶部と、
前記記憶部から、前記抽出された主要色と前記判別されたシーンとに関連付けて予め記憶されている前記第１ラベルを読み出し、前記読み出した第１ラベルを前記取得された画像データのラベルとして生成する第１ラベル生成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記抽出された主要色の頻度に基づき前記主要色の割合を正規化し、前記正規化した主要色の割合に基づき、前記第１ラベルを修正することで第２ラベルを生成する第２ラベル生成部
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記憶部には、
前記判別されたシーン毎に複数の色情報の組み合わせ情報とラベルとが関連付けられている
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記シーン判別部は、
前記取得された画像データから画像識別情報を取得し、前記取得した画像識別情報から前記シーンを示す情報を抽出し、前記抽出したシーンを示す情報に基づき前記画像データの前記シーンを判別する
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記シーン判別部は、
前記取得された画像データから特徴量を抽出し、前記抽出した特徴量に基づき、前記画像データの前記シーンを判別する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記判別されたシーンに基づき、前記主要色を抽出する領域を前記取得された画像データから抽出する領域抽出部
を備え、
前記主要色抽出部は、
前記主要色を抽出する領域の画像データから前記主要色を抽出する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１ラベルおよび前記第１ラベルを修正することで生成された第２ラベル、あるいは、前記第１ラベルまたは前記第２ラベルに基づく情報を、前記取得された画像データと関連付けて前記記憶部に記憶させる
ことを特徴とする請求項２から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項９】
撮像部を有する画像処理装置の画像処理をコンピュータに実行させるためのプログラムであり、
撮像した画像データを取得する画像取得手順と、
前記取得された画像データからシーンを判別するシーン判別手順と、
前記取得された画像データから色情報の頻度分布に基づき主要色を抽出する主要色抽出手順と、
前記抽出された主要色と、シーン毎に色情報と第１ラベルとが関連付けられて予め記憶されている記憶部から前記第１ラベルを読み出し、前記読み出した第１ラベルを前記取得された画像データのラベルとして生成する第１ラベル生成手順と、
をコンピュータに実行させるためのプログラム。
【請求項１０】
人物撮影シーンであるか否かを判別するシーン判別部と、
前記シーン判別部により人物撮影シーンではないと判別されたとき、前記画像データから色情報を抽出する色抽出部と、
色情報と所定の意味を有する文字とが関連付けられて予め記憶されている記憶部と、
前記シーン判別部により人物撮影シーンではないと判別されたとき、前記色抽出部に抽出された前記色情報に対応する前記所定の意味を有する文字を前記記憶部から読み出す読み出し部とを備えることを特徴とする画像処理装置。
【請求項１】
撮像された画像データを取得する画像取得部と、
前記取得された画像データからシーンを判別するシーン判別部と、
前記取得された画像データから色情報の頻度分布に基づき主要色を抽出する主要色抽出部と、
シーン毎に色情報と第１ラベルとが関連付けられて予め記憶されている記憶部と、
前記記憶部から、前記抽出された主要色と前記判別されたシーンとに関連付けて予め記憶されている前記第１ラベルを読み出し、前記読み出した第１ラベルを前記取得された画像データのラベルとして生成する第１ラベル生成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記抽出された主要色の頻度に基づき前記主要色の割合を正規化し、前記正規化した主要色の割合に基づき、前記第１ラベルを修正することで第２ラベルを生成する第２ラベル生成部
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記憶部には、
前記判別されたシーン毎に複数の色情報の組み合わせ情報とラベルとが関連付けられている
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記シーン判別部は、
前記取得された画像データから画像識別情報を取得し、前記取得した画像識別情報から前記シーンを示す情報を抽出し、前記抽出したシーンを示す情報に基づき前記画像データの前記シーンを判別する
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記シーン判別部は、
前記取得された画像データから特徴量を抽出し、前記抽出した特徴量に基づき、前記画像データの前記シーンを判別する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記判別されたシーンに基づき、前記主要色を抽出する領域を前記取得された画像データから抽出する領域抽出部
を備え、
前記主要色抽出部は、
前記主要色を抽出する領域の画像データから前記主要色を抽出する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１ラベルおよび前記第１ラベルを修正することで生成された第２ラベル、あるいは、前記第１ラベルまたは前記第２ラベルに基づく情報を、前記取得された画像データと関連付けて前記記憶部に記憶させる
ことを特徴とする請求項２から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項９】
撮像部を有する画像処理装置の画像処理をコンピュータに実行させるためのプログラムであり、
撮像した画像データを取得する画像取得手順と、
前記取得された画像データからシーンを判別するシーン判別手順と、
前記取得された画像データから色情報の頻度分布に基づき主要色を抽出する主要色抽出手順と、
前記抽出された主要色と、シーン毎に色情報と第１ラベルとが関連付けられて予め記憶されている記憶部から前記第１ラベルを読み出し、前記読み出した第１ラベルを前記取得された画像データのラベルとして生成する第１ラベル生成手順と、
をコンピュータに実行させるためのプログラム。
【請求項１０】
人物撮影シーンであるか否かを判別するシーン判別部と、
前記シーン判別部により人物撮影シーンではないと判別されたとき、前記画像データから色情報を抽出する色抽出部と、
色情報と所定の意味を有する文字とが関連付けられて予め記憶されている記憶部と、
前記シーン判別部により人物撮影シーンではないと判別されたとき、前記色抽出部に抽出された前記色情報に対応する前記所定の意味を有する文字を前記記憶部から読み出す読み出し部とを備えることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０Ａ】
【図２０Ｂ】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０Ａ】
【図２０Ｂ】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１３−８０４６４（Ｐ２０１３−８０４６４Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１２−２０６２９７（Ｐ２０１２−２０６２９７）
【出願日】平成２４年９月１９日（２０１２．９．１９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２４年９月１９日（２０１２．９．１９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]