画像識別方法、画像識別装置及びプログラム
【課題】シーンの識別処理の速度を向上させる。
【解決手段】
画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理の結果に応じて、まだ行われていない前記識別処理が省略され、前記識別処理の結果に基づいて前記画像の属するシーンを識別する画像識別方法において、前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更する。
【解決手段】
画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理の結果に応じて、まだ行われていない前記識別処理が省略され、前記識別処理の結果に基づいて前記画像の属するシーンを識別する画像識別方法において、前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像識別方法、画像識別装置及びプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラには撮影モードを設定するモード設定ダイヤルを持つものがある。ユーザがダイヤルで撮影モードを設定すると、デジタルスチルカメラは、撮影モードに応じた撮影条件（露光時間等）を決定し、撮影を行う。撮影が行われると、デジタルスチルカメラは、画像ファイルを生成する。この画像ファイルには、撮影した画像の画像データに撮影時の撮影条件等の付加データが付加されている。
【０００３】
この付加データを用いて、画像データに画像処理することが行われている。例えば、プリンタが画像ファイルに基づいて印刷を行うとき、付加データの示す撮影条件（例えばシーンの情報：以下シーン情報ともいう）に応じて画像データを補正し、補正した画像データに従って印刷することが行われている（特許文献１参照）。しかし、付加データが常に正しいとは限らない。例えば、ユーザが撮影時にモード設定ダイヤルを誤って設定したり、モード設定ダイヤルの設定を忘れて以前の撮影条件のまま撮影したりすることがある。
【０００４】
そこで、画像データを解析することによって、画像データの示す画像のシーンを識別することも行われている（特許文献２、３参照）。
【特許文献１】特開２００１−２３８１７７号公報
【特許文献２】特開平１０−３０２０６７号公報
【特許文献３】特開２００６−５１１０００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、予め定められた順序でシーン毎に行うことによって、画像の属するシーンを識別する画像識別方法がある。このように、複数の識別処理を順に行う場合、画像の属するシーンが特定された段階で処理を終了して、まだ行われていない識別処理を省略すれば、全体の識別処理の速度が向上すると考えられる。
【０００６】
但し、複数の識別処理の順序を常に同じにすると、処理速度が低下するおそれがある。例えば、識別処理の順序が風景のシーン→夕景のシーン→夜景のシーンの順で固定である場合に、付加データに夜景を示すシーン情報が含まれた画像データの識別処理を行うとする。この場合、画像データの示す画像は夜景のシーンである可能性が高いにもかかわらず、夜景のシーンの識別処理は、風景のシーン及び夕景のシーンの識別処理の後に行われることになる。このように、従来の画像識別方法では識別処理の速度を向上させることが困難であるという問題点があった。
【０００７】
本発明は、上記のような課題に鑑みてなされたものであり、その目的は、従来よりもシーンの識別処理の速度を向上させることにある。
【課題を解決するための手段】
【０００８】
前記目的を達成するための主たる発明は、画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理の結果に応じて、まだ行われていない前記識別処理が省略され、前記識別処理の結果に基づいて前記画像の属するシーンを識別する画像識別方法において、前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更することを特徴とする。
【０００９】
本発明の他の特徴は、本明細書、及び添付図面の記載により、明らかにする。
【発明を実施するための最良の形態】
【００１０】
＝＝＝開示の概要＝＝＝
本明細書及び添付図面の記載により、少なくとも以下の事項が明らかとなる。
【００１１】
すなわち、画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理の結果に応じて、まだ行われていない前記識別処理が省略され、前記識別処理の結果に基づいて前記画像の属するシーンを識別する画像識別方法において、前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更することを特徴とする画像識別方法が明らかとなる。
このような画像識別方法によれば、画像はシーン情報の示すシーンに属している確率が高いので、シーン情報に応じて識別処理路の順序を変更することによって、シーンの識別処理の速度を向上させることができる。
【００１２】
かかる画像識別方法であって、前記シーン情報の示すシーンに基づいて、ある前記シーンに対応する前記識別処理の順番を先にすることが好ましい。
このような画像識別方法によれば、画像のシーンが特定される可能性の高いシーンの識別処理を優先的に実行することができる。よって識別処理の速度を向上させることができる。
【００１３】
かかる画像識別方法であって、前記シーン情報の示すシーンに対応する前記識別処理を、複数の前記識別処理のうちの最初に行うように変更することが好ましい。
このような画像識別方法によれば、最初の識別処理で画像の属するシーンが特定されて、それより後段の識別処理を省略できる確率が高くなる。よって、識別処理の速度をより向上させることができる。
【００１４】
かかる画像識別方法であって、前記シーン情報の示すシーンに基づいて、ある前記シーンに対応する前記識別処理の順番を後にすることが好ましい。
このような画像識別方法によれば、画像のシーンが特定される可能性の低い識別処理を後回しにすることができる。よって、識別処理の速度を向上させることができる。
【００１５】
かかる画像識別方法であって、ある前記識別処理において、その識別処理の対応する特定のシーンに前記画像が属することが識別されたとき、まだ行われていない前記識別処理が省略されることが好ましい。また、ある前記識別処理において、その識別処理とは別の識別処理に対応する特定のシーンに前記画像が属さないことが識別されたとき、前記別の識別処理が省略されることが好ましい。
このような画像識別方法によれば、識別処理の実行回数を減らすことができるので、識別処理の速度を向上させることができる。
【００１６】
かかる画像識別方法であって、前記画像の全体の特徴を示す全体特徴量に基づいて、前記画像が特定のシーンに属するか否かの識別処理を複数の前記シーン毎に順に行う全体識別処理と、前記全体識別処理において前記画像データの示す画像のシーンを識別できない場合に、前記画像の一部の特徴を示す部分特徴量に基づいて、前記画像が特定のシーンに属するか否かの識別処理を複数の前記シーン毎に順に行う部分識別処理と、を有し、前記シーン情報に応じて、前記全体識別処理及び前記部分識別処理の少なくとも一方の前記識別処理の順序を変更する、ことが好ましい。
このような画像識別方法によれば、全体識別処理は部分識別処理に比べて識別処理の種類が多く、また、部分識別処理は全体識別処理に比べて各識別処理に要する処理時間が長くなりがちであるので、全体識別処理と部分識別処理の少なくとも一方の順序を変更することによって識別処理の速度を向上させることができる。
【００１７】
また、画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理の結果に応じて、まだ行われていない前記識別処理を省略し、前記識別処理の結果に基づいて前記画像の属するシーンを識別するコントローラを備えた画像識別装置であって、前記コントローラは、画像データに付加されている付加データから前記画像データのシーンを示す前記シーン情報を取得し、前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更する、ことを特徴とする画像識別装置が明らかとなる。
【００１８】
また、画像識別装置に、画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行わせ、ある前記識別処理の結果に応じて、まだ行われていない前記識別処理を省略させ、前記識別処理の結果に基づいて前記画像の属するシーンを識別させる、プログラムにおいて、画像データに付加されている付加データから前記画像データのシーンを示すシーン情報を取得させ、前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更させる、ことを特徴とするプログラムが明らかとなる。
【００１９】
＝＝＝全体構成＝＝＝
図１は、画像処理システムの説明図である。この画像処理システムは、デジタルスチルカメラ２と、プリンタ４とを備える。
デジタルスチルカメラ２は、被写体をデジタルデバイス（ＣＣＤなど）に結像させることによりデジタル画像を取得するカメラである。デジタルスチルカメラ２には、モード設定ダイヤル２Ａが設けられている。ユーザは、ダイヤル２Ａによって、撮影条件に応じた撮影モードを設定することができる。例えば、ダイヤル２Ａによって、「夜景」モードが設定されると、デジタルスチルカメラ２は、シャッター速度を遅くしたり、ＩＳＯ感度を高くしたりして、夜景撮影に適した撮影条件にて撮影を行う。
【００２０】
デジタルスチルカメラ２は、ファイルフォーマット規格に準拠して、撮影により生成した画像ファイルをメモリカード６に保存する。画像ファイルには、撮影した画像のデジタルデータ（画像データ）だけでなく、撮影時の撮影条件（撮影データ）等の付加データも保存される。画像ファイルの構成については後述する。
プリンタ４は、画像データの示す画像を紙に印刷する印刷装置である。プリンタ４には、メモリカード６を挿入するスロット２１が設けられている。ユーザは、デジタルスチルカメラ２で撮影した後、デジタルスチルカメラ２からメモリカード６を取り出し、スロット２１にメモリカード６を挿入することができる。
【００２１】
図２はプリンタ４の構成の説明図である。プリンタ４は、印刷機構１０と、この印刷機構１０を制御するプリンタ側コントローラ２０とを備える。印刷機構１０は、インクを吐出するヘッド１１と、ヘッド１１を制御するヘッド制御部１２と、紙を搬送するため等のモータ１３と、センサ１４とを有する。プリンタ側コントローラ２０は、メモリカード６からデータを送受信するためのメモリ用スロット２１と、ＣＰＵ２２と、メモリ２３と、モータ１３を制御する制御ユニット２４と、駆動信号（駆動波形）を生成する駆動信号生成部２５とを有する。
【００２２】
メモリカード６がスロット２１に挿入されると、プリンタ側コントローラ２０は、メモリカード６に保存されている画像ファイルを読み出してメモリ２３に記憶する。そして、プリンタ側コントローラ２０は、画像ファイルの画像データを印刷機構１０で印刷するための印刷データに変換し、印刷データに基づいて印刷機構１０を制御し、紙に画像を印刷する。この一連の動作は、「ダイレクトプリント」と呼ばれている。
【００２３】
なお、「ダイレクトプリント」は、メモリカード６をスロット２１に挿入することによって行われるだけでなく、デジタルスチルカメラ２とプリンタ４とをケーブル（不図示）で接続することによっても可能である。
【００２４】
＝＝＝画像ファイルの構造＝＝＝
メモリカード６に記憶される画像ファイルは、画像データと、付加データを有している。画像データは、複数の画素データから構成されている。画素データは、画素の色情報（階調値）を示すデータである。画素がマトリクス状に配置されることによって、画像が構成される。このため、画像データは、画像を示すデータである。付加データには、画像データの特性を示すデータや、撮影データや、サムネイル画像データ等が含まれる。
【００２５】
以下、画像ファイルの具体的な構造について説明する。
図３は、画像ファイルの構造の説明図である。図中の左側には画像ファイルの全体構成が示されており、右側にはＡＰＰ１領域の構成が示されている。
画像ファイルは、ＳＯＩ（Start of Image）を示すマーカで始まり、ＥＯＩ（End of Image）を示すマーカで終わる。ＳＯＩを示すマーカの後に、ＡＰＰ１のデータ領域の開始を示すＡＰＰ１マーカがある。ＡＰＰ１マーカの後ろのＡＰＰ１データ領域には、撮影データやサムネイル画像等の付加データが含まれている。また、ＳＯＳ（Start of Stream）を示すマーカの後には、画像データが含まれている。
ＡＰＰ１マーカの後、ＡＰＰ１のデータ領域のサイズを示す情報があり、ＥＸＩＦヘッダとＴＩＦＦヘッダが続き、ＩＤＦ領域となる。
【００２６】
各ＩＤＦ領域は、複数のディレクトリエントリと、次のＩＦＤ領域の位置を示すリンクと、データエリアとを有する。例えば、最初のＩＦＤ０（IFD of main image）では次のＩＦＤ１（IFD of thumbnail image）の位置がリンクされる。但し、ここでは、ＩＦＤ１の次のＩＦＤが存在しないので、ＩＦＤ１では他のＩＦＤへのリンクは行われない。各ディレクトリエントリには、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＩＦＤ０データエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、ＩＦＤ０には、ＥｘｉｆＳｕｂＩＦＤの格納場所を意味するタグ（Exif IFD Pointer）と、ＥｘｉｆＳｕｂＩＦＤの格納場所を示すポインタ（オフセット値）とが格納されているディレクトリエントリがある。
【００２７】
ＥｘｉｆＳｕｂＩＦＤ領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合には、データ部に実際のデータが格納され、データ量が多い場合には、実際のデータはＥｘｉｆＳｕｂＩＦＤデータエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、ＥｘｉｆＳｕｂＩＦＤの中には、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を意味するタグと、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を示すポインタとが格納されている。
【００２８】
ＭａｋｅｒｎｏｔｅＩＦＤ領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＭａｋｅｒｎｏｔｅＩＦＤデータエリアにデータが格納されて、データ部にはデータの格納場所を示すポインタが格納される。但し、ＭａｋｅｒｎｏｔｅＩＦＤ領域ではデータの格納形式を自由に定義できるので、必ずしもこの形式でデータを格納しなくても良い。以下の説明では、ＭａｋｅｒｎｏｔｅＩＦＤ領域に格納されるデータのことを「Ｍａｋｅｒｎｏｔｅデータ」と呼ぶ。
【００２９】
図４Ａは、ＩＦＤ０で使われるタグの説明図である。図に示す通り、ＩＦＤ０には一般的なデータ（画像データの特性を示すデータ）が格納され、詳細な撮影データは格納されていない。
【００３０】
図４Ｂは、ＥｘｉｆＳｕｂＩＦＤで使われるタグの説明図である。図に示す通り、ＥｘｉｆＳｕｂＩＦＤには詳細な撮影データが格納されている。なお、シーン識別処理の際に抽出される撮影データの大部分は、ＥｘｉｆＳｕｂＩＦＤに格納されている撮影データである。なお、撮影シーンタイプタグ（Scene Captuer Type）は、撮影シーンのタイプを示すタグである。また、Ｍａｋｅｒｎｏｔｅタグは、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を意味するタグである。
【００３１】
ＥｘｉｆＳｕｂＩＦＤ領域の撮影シーンタイプタグに対するデータ部（撮影シーンタイプデータ）が「ゼロ」ならば「標準」を意味し、「１」ならば「風景」を意味し、「２」ならば「人物」を意味し、「３」ならば「夜景」を意味する。なお、ＥｘｉｆＳｕｂＩＦＤに格納されたデータは規格化されているため、この撮影シーンタイプデータの内容を誰でも知ることが可能である。
【００３２】
本実施形態では、Ｍａｋｅｒｎｏｔｅデータの一つに、撮影モードデータが含まれている。この撮影モードデータでは、モード設定ダイヤル２Ａで設定されたモード毎に異なる値を示す。但し、Ｍａｋｅｒｎｏｔｅデータはメーカ毎に形式が異なるため、Ｍａｋｅｒｎｏｔｅデータの形式が分からなければ、撮影モードデータの内容を知ることはできない。
【００３３】
図５は、モード設定ダイヤル２Ａの設定とデータとの対応表である。ＥｘｉｆＳｕｂＩＦＤで使われる撮影シーンタイプタグは、ファイルフォーマット規格に準拠しているため、特定できるシーンが限定されており、「夕景」等のシーンを特定するデータをデータ部に格納することはできない。一方、Ｍａｋｅｒｎｏｔｅデータは自由に定義できるので、Ｍａｋｅｒｎｏｔｅデータの一つである撮影モードタグにより、モード設定ダイヤル２Ａの撮影モードを特定するデータをデータ部に格納できる。
【００３４】
前述のデジタルスチルカメラ２は、モード設定ダイヤル２Ａの設定に応じた撮影条件にて撮影を行った後、上記の画像ファイルを作成し、メモリカード６に保存する。この画像ファイルには、モード設定ダイヤル２Ａに応じた撮影シーンタイプデータ及び撮影モードデータが、画像データに付加されるシーン情報として、それぞれＥｘｉｆＳｕｂＩＦＤ領域及びＭａｋｅｒｎｏｔｅＩＦＤ領域に格納される。
【００３５】
＝＝＝自動補正機能の概要＝＝＝
「人物」の写真を印刷するときには、肌色をきれいにしたいという要求がある。また、「風景」の写真を印刷するときには、空の青色を強調し、木や草の緑色を強調したいという要求がある。そこで、本実施形態のプリンタ４は、画像ファイルを分析して自動的に適した補正処理を行う自動補正機能を備えている。
【００３６】
図６は、プリンタ４の自動補正機能の説明図である。図中のプリンタ側コントローラ２０の各要素は、ソフトウェアとハードウェアによって実現される。
【００３７】
記憶部３１は、メモリ２３の一部の領域及びＣＰＵ２２によって実現される。メモリカード６から読み出された画像ファイルの画像データは、記憶部３１の画像記憶部３１Ａに展開され、画像ファイルの付加データは、記憶部３１の付加情報記憶部３１Ａ´に格納される。また、プリンタ側コントローラ２０の各要素の演算結果は、記憶部３１の結果記憶部３１Ｂに格納される。
【００３８】
顔識別部３２は、ＣＰＵ２２と、メモリ２３に記憶された顔識別プログラムとによって実現される。顔識別部３２は、画像記憶部３１Ａに記憶された画像データを分析し、顔の有無を確認する。顔識別部３２によって顔が有ると識別された場合、識別対象となる画像が「人物」のシーンに属すると識別される。この場合、シーン識別部３３によるシーン識別処理は行われない。顔識別部３２による顔識別処理は、既に広く行われている処理と同様なので、詳細な説明は省略する。
【００３９】
シーン識別部３３は、ＣＰＵ２２と、メモリ２３に記憶されたシーン識別プログラムとによって実現される。シーン識別部３３は、画像記憶部３１Ａに記憶された画像ファイルを分析し、画像データの示す画像のシーンを識別する。シーン識別部３３によるシーン識別処理は、顔識別部３２によって顔がない（「人物」のシーンでない）と識別された場合に行われる。後述するように、シーン識別部３３は、識別対象となる画像が「風景」、「夕景」、「夜景」、「花」、「紅葉」、「その他」のいずれの画像であるかを識別する。
【００４０】
図７は、画像のシーンと補正内容との関係の説明図である。
画像補正部３４は、ＣＰＵ２２と、メモリ２３に記憶された画像補正プログラムとによって実現される。画像補正部３４は、記憶部３１の結果記憶部３１Ｂ（後述）に記憶されている識別結果（顔識別部３２やシーン識別部３３の識別結果）に基づいて、画像記憶部３１Ａの画像データを補正する。例えば、シーン識別部３３の識別結果が「風景」である場合には、青色を強調し、緑色を強調するような補正が行われる。なお、画像補正部３４は、シーンの識別結果だけでなく、画像ファイルの撮影データの内容も反映して、画像データを補正しても良い。例えば、露出補正がマイナスの場合、暗い雰囲気の画像を明るくしないように画像データを補正してもよい。
【００４１】
プリンタ制御部３５は、ＣＰＵ２２、駆動信号生成部２５、制御ユニット２４及びメモリ２３に記憶されたプリンタ制御プログラムによって、実現される。プリンタ制御部３５は、補正後の画像データを印刷データに変換し、印刷機構１０に画像を印刷させる。
【００４２】
＝＝＝シーン識別処理＝＝＝
図８は、シーン識別部３３によるシーン識別処理のフロー図である。図９は、シーン識別部３３の機能の説明図である。図中のシーン識別部３３の各要素は、ソフトウェアとハードウェアによって実現される。シーン識別部３３は、図９に示す特徴量取得部４０と、全体識別器５０と、部分識別器６０と、統合識別器７０とを備えている。
【００４３】
最初に、特徴量取得部４０が、記憶部３１の画像記憶部３１Ａに展開された画像データを分析し、部分特徴量を取得する（Ｓ１０１）。具体的には、特徴量取得部４０は、画像データを８×８の６４ブロックに分割し、各ブロックの色平均と分散を算出し、この色平均と分散を部分特徴量として取得する。なお、ここでは各画素はＹＣＣ色空間における階調値のデータをもっており、各ブロックごとに、Ｙの平均値、Ｃｂの平均値及びＣｒの平均値がそれぞれ算出され、Ｙの分散、Ｃｂの分散及びＣｒの分散がそれぞれ算出される。つまり、各ブロックごとに３つの色平均と、３つの分散が部分特徴量として算出される。これらの色平均や分散は、各ブロックにおける部分画像の特徴を示すものである。なお、ＲＧＢ色空間における平均値や分散を算出してもよい。
【００４４】
ブロックごとに色平均と分散が算出されるので、特徴量取得部４０は、画像記憶部３１Ａには画像データのすべてを展開せずに、ブロック分の画像データをブロック順に展開する。このため、画像記憶部３１Ａは、必ずしも画像ファイルの全てを展開できるだけの容量を備えていなくとも良い。
【００４５】
次に、特徴量取得部４０が、全体特徴量を取得する（Ｓ１０２）。具体的には、特徴量取得部４０は、画像データの全体の色平均、分散、重心及び撮影情報を全体特徴量として取得する。なお、これらの色平均や分散は、画像の全体の特徴を示すものである。画像データ全体の色平均、分散及び重心は、先に算出した部分特徴量を用いて算出される。このため、全体特徴量を算出する際に画像データを展開する必要がないので、全体特徴量の算出速度が速くなる、全体識別処理（後述）は、部分識別処理（後述）よりも先に行われるにも関わらず、全体特徴量が部分特徴量よりも後に求められるのは、このように算出速度を速めるためである。なお、撮影情報は、画像ファイルの撮影データから抽出される。具体的には、絞り値、シャッター速度、フラッシュ発光の有無などの情報が全体特徴量として用いられる。但し、画像ファイルの撮影データの全てが全体特徴量として用いられるわけではない。
【００４６】
次に、全体識別器５０が、全体識別処理を行う（Ｓ１０３）。全体識別処理とは、全体特徴量に基づいて、画像データの示す画像のシーンを識別（推定）する処理である。全体識別処理の詳細については、後述する。
【００４７】
全体識別処理によってシーンの識別が出来る場合（Ｓ１０４でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これによりシーン識別処理の速度が速くなる。
全体識別処理によってシーンの識別ができない場合、（Ｓ１０４でＮＯ）、次に部分識別器６０が、部分識別処理を行う（Ｓ１０５）。部分識別処理とは、部分特徴量に基づいて、画像データの示す画像全体のシーンを識別する処理である。部分識別処理の詳細については後述する。
【００４８】
部分識別処理によってシーンの識別ができる場合（Ｓ１０６でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
部分識別処理によってシーンの識別ができない場合（Ｓ１０６でＮＯ）、次に統合識別器７０が、統合識別処理を行う（Ｓ１０７）。統合識別処理の詳細については後述する。
【００４９】
統合識別処理によってシーンの識別ができる場合（Ｓ１０８でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。一方、統合識別処理によってシーンの識別ができない場合（Ｓ１０８でＮＯ）、画像データの示す画像が「その他」のシーン（「風景」、「夕景」、「夜景」、「花」又は「紅葉」以外のシーン）である旨の識別結果を結果記憶部３１Ｂに記憶する（Ｓ１１０）。
【００５０】
＝＝＝全体識別処理＝＝＝
図１０は、全体識別処理のフロー図である。ここでは、図９も参照しながら全体識別処理について説明する。
【００５１】
まず、全体識別器５０は、複数のサブ識別器５１の中から１つのサブ識別器５１を選択する（Ｓ２０１）。全体識別器５０には、識別対象となる画像（識別対象画像）が特定のシーンに属するか否かを識別するサブ識別器５１が５つ設けられている。５つのサブ識別器５１は、それぞれ風景、夕景、夜景、花、紅葉のシーンを識別する。ここでは、全体識別器５０は、風景→夕景→夜景→花→紅葉の順に、サブ識別器５１を選択する（なお、サブ識別器５１の選択順序については、後述する）。このため、最初には、識別対象画像が風景のシーンに属するか否かを識別するサブ識別器５１（風景識別器５１Ｌ）が選択される。
【００５２】
次に、全体識別器５０は、識別対象テーブルを参照し、選択したサブ識別器５１を用いてシーンを識別すべきか否かを判断する（Ｓ２０２）。
図１１は、識別対象テーブルの説明図である。この識別対象テーブルは、記憶部３１の結果記憶部３１Ｂに記憶される。識別対象テーブルは、最初の段階では全ての欄がゼロに設定される。Ｓ２０２の処理では、「否定」欄が参照され、ゼロであればＹＥＳと判断され、１であればＮＯと判断される。ここでは、全体識別器５０は、識別対象テーブルにおける「風景」欄の「否定」欄を参照し、ゼロであるのでＹＥＳ（Ｓ２０２でＹＥＳ）と判断する。
【００５３】
次に、サブ識別器５１は、全体特徴量に基づいて、識別対象画像が特定のシーンに属する確率（確信度）を算出する（Ｓ２０３）。本実施形態のサブ識別器５１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。なお、サポートベクタマシンについては、後述する。識別対象画像が特定のシーンに属する場合、サブ識別器５１の判別式は、プラスの値になりやすい。識別対象画像が特定のシーンに属しない場合、サブ識別器５１の判別式は、マイナスの値になりやすい。また、判別式は、識別対象画像が特定のシーンに属する確信度が高いほど、大きな値になる。このため、判別式の値が大きければ、識別対象画像が特定のシーンに属する確率（確信度）が高くなり、判別式の値が小さければ、識別対象画像が特定のシーンに属する確率が低くなる。
【００５４】
次に、サブ識別器５１は、判別式の値が肯定閾値より大きいか否かを判断する（Ｓ２０４）。判別式の値が肯定閾値よりも大きければ、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断することになる。
図１２は、全体識別処理の肯定閾値の説明図である。同図において、横軸は肯定閾値を示し、縦軸はRecall又はPrecisionの確率を示す。図１３は、RecallとPrecisionの説明図である。判別式の値が肯定閾値以上の場合には識別結果はPositiveであり、判別式の値が肯定閾値以上でない場合には識別結果はNegativeである。
【００５５】
Recallは、再現率や検出率を示すものである。Recallは、特定のシーンの画像の総数に対する、特定のシーンに属すると識別された画像の割合である。言い換えると、Recallは、特定のシーンの画像をサブ識別器５１に識別させたときに、サブ識別器５１がPositiveと識別する確率（特定のシーンの画像が特定のシーンに属すると識別される確率）を示すものである。例えば、風景画像を風景識別器５１Ｌに識別させたときに、風景のシーンに属すると風景識別器５１Ｌが識別する確率を示すものである。
【００５６】
Precisionは、正答率や正解率を示すものである。Precisionは、Positiveと識別された画像の総数に対する、特定のシーンの画像の数の割合である。言い換えると、Precisionは、特定のシーンを識別するサブ識別器５１がPositiveと判断したときに、識別対象の画像が特定のシーンである確率を示すものである。例えば、風景識別器５１Ｌが風景のシーンに属すると識別したときに、その識別した画像が本当に風景画像である確率を示すものである。
【００５７】
図１２から分かる通り、肯定閾値を大きくするほど、Precisionが大きくなる。このため、肯定閾値を大きくするほど、例えば風景のシーンに属すると識別された画像が風景画像である確率が高くなる。つまり、肯定閾値を大きくするほど、誤識別の確率が低くなる。
【００５８】
一方、肯定閾値を大きくするほど、Recallは小さくなる。この結果、例えば、風景画像を風景識別器５１Ｌで識別した場合であっても、風景のシーンに属すると正しく識別しにくくなる。ところで、識別対象画像が風景のシーンに属すると識別できれば（Ｓ２０４でＹＥＳ）、残りの別のシーン（夕景など）の識別を行わないようにして全体識別処理の速度を速めている。このため、肯定閾値を大きくするほど、全体識別処理の速度は低下することになる。また、全体識別処理によってシーンが識別できれば部分識別処理を行わないようにしてシーン識別処理の速度を速めているため（Ｓ１０４）、肯定閾値を大きくするほど、シーン識別処理の速度は低下することになる。
【００５９】
つまり、肯定閾値が小さすぎると誤識別の確率が高くなり、大きすぎると処理速度が低下することになる。本実施形態では、正答率（Precision）を９７．５％に設定するため、風景の肯定閾値は１．２７に設定されている。
【００６０】
判別式の値が肯定閾値より大きければ（Ｓ２０４でＹＥＳ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ２０５）。「肯定フラグを立てる」とは、図１１の「肯定」欄を１にすることである。この場合、全体識別器５０は、次のサブ識別器５１による識別を行わずに全体識別処理を終了する。例えば、風景画像であると識別できれば、夕景などの識別を行わずに、全体識別処理を終了する。この場合、次のサブ識別器５１による識別を省略しているので、全体識別処理の速度を速めることができる。
判別式の値が肯定閾値より大きくなければ（Ｓ２０４でＮＯ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ２０６の処理を行う。
【００６１】
次にサブ識別器５１は、判別式の値と否定閾値とを比較する（Ｓ２０６）。これにより、サブ識別器５１は、識別対象画像が所定のシーンに属しないかを判断する。このような判断としては、２種類ある。第１に、ある特定のシーンのサブ識別器５１の判別式の値が第１否定閾値よりも小さければ、その特定のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第１否定閾値よりも小さければ、識別対象画像が風景のシーンに属しないと判断されることになる。第２に、ある特定のシーンのサブ識別器５１の判別式の値が第２否定閾値よりも大きければ、その特定のシーンとは別のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第２否定閾値よりも大きければ、識別対象画像が夜景のシーンに属しないと判断されることになる。
【００６２】
図１４は、第１否定閾値の説明図である。同図において、横軸は第１否定閾値を示し、縦軸は確率を示す。グラフの太線は、True Negative Recallのグラフであり、風景画像以外の画像を風景画像ではないと正しく識別する確率を示している。グラフの細線は、False Negative Recallのグラフであり、風景画像なのに風景画像ではないと誤って識別する確率を示している。
【００６３】
図１４から分かる通り、第１否定閾値を小さくするほど、False Negative Recallが小さくなる。このため、第１否定閾値を小さくするほど、例えば風景のシーンに属しないと識別された画像が風景画像である確率が低くなる。つまり、誤識別の確率が低くなる。
【００６４】
一方、第１否定閾値を小さくするほど、True Negative Recallも小さくなる。この結果、風景画像以外の画像を風景画像ではないと識別しにくくなる。その一方、識別対象画像が特定のシーンでないことを識別できれば、部分識別処理の際に、その特定のシーンのサブ部分識別器６１による処理を省略してシーン識別処理速度を速めている（後述、図１７のＳ３０２）。このため、第１否定閾値を小さくするほど、シーン識別処理速度は低下する。
【００６５】
つまり、第１否定閾値が大きすぎると誤識別の確率が高くなり、小さすぎると処理速度が低下することになる。本実施形態では、False Negative Recallを２．５％に設定するため、第１否定閾値は−１．１０に設定されている。
【００６６】
ところで、ある画像が風景のシーンに属する確率が高ければ、必然的にその画像が夜景のシーンに属する確率は低くなる。このため、風景識別器５１Ｌの判別式の値が大きい場合には、夜景ではないと識別できる場合がある。このような識別を行うために、第２否定閾値が設けられている。
【００６７】
図１５は、第２否定閾値の説明図である。同図において、横軸は風景の判別式の値を示し、縦軸は確率を示す。同図には、図１２のRecallとPrecisionのグラフとともに、夜景のRecallのグラフが点線で描かれている。この点線のグラフに注目すると、風景の判別式の値が−０．４５よりも大きければ、その画像が夜景画像である確率は２．５％である。言い換えると、風景の判別式の値が−０．４５よりも大きい場合にその画像が夜景画像でないと識別しても、誤識別の確率は２．５％にすぎない。そこで、本実施形態では、第２否定閾値が−０．４５に設定されている。
【００６８】
そして、判別式の値が第１否定閾値より小さい場合、又は、判別式の値が第２否定閾値より大きい場合（Ｓ２０６でＹＥＳ）、サブ識別器５１は、識別対象画像が所定のシーンに属しないと判断し、否定フラグを立てる（Ｓ２０７）。「否定フラグを立てる」とは、図１１の「否定」欄を１にすることである。例えば、第１否定閾値に基づいて識別対象画像が風景のシーンに属しないと判断された場合、「風景」欄の「否定」欄が１になる。また、第２否定閾値に基づいて識別対象画像が夜景のシーンに属しないと判断された場合、「夜景」欄の「否定」欄が１になる。
【００６９】
図１６Ａは、閾値テーブルの説明図である。この閾値テーブルは、記憶部３１に記憶されていても良いし、全体識別処理を実行させるプログラムの一部に組み込まれていても良い。閾値テーブルには、前述の肯定閾値や否定閾値に関するデータが格納されている。
【００７０】
図１６Ｂは、上記で説明した風景識別器５１Ｌにおける閾値の説明図である。風景識別器５１Ｌには、肯定閾値及び否定閾値が予め設定されている。肯定閾値として１．２７が設定されている。否定閾値には第１否定閾値と第２否定閾値とがある。第１否定閾値として−１．１０が設定されている。また、第２否定閾値として、風景以外の各シーンにそれぞれ値が設定されている。
【００７１】
図１６Ｃは、上記で説明した風景識別器５１Ｌの処理の概要の説明図である。ここでは、説明の簡略化のため、第２否定閾値については夜景についてのみ説明する。風景識別器５１Ｌは、判別式の値が１．２７よりも大きければ（Ｓ２０４でＹＥＳ）、識別対象画像が風景のシーンに属すると判断する。また、判別式の値が１．２７以下であり（Ｓ２０４でＮＯ）、−０．４５よりも大きければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が夜景のシーンに属しないと判断する。また、判別式の値が−１．１０よりも小さければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が風景のシーンに属しないと判断する。なお、風景識別器５１Ｌは、夕景や花や紅葉についても、第２否定閾値に基づいて、識別対象画像がそのシーンに属しないかを判断する。但し、これらの第２否定閾値は肯定閾値よりも大きいため、識別対象画像がこれらのシーンに属しないことを風景識別器５１Ｌが判断することはない。
【００７２】
Ｓ２０２においてＮＯの場合、Ｓ２０６でＮＯの場合、又はＳ２０７の処理を終えた場合、全体識別器５０は、次のサブ識別器５１の有無を判断する（Ｓ２０８）。ここでは風景識別器５１Ｌによる処理を終えた後なので、全体識別器５０は、Ｓ２０８において、次のサブ識別器５１（夕景識別器５１Ｓ）があると判断する。
【００７３】
そして、Ｓ２０５の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ２０８において次のサブ識別器５１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、全体識別器５０は、全体識別処理を終了する。
【００７４】
なお、既に説明した通り、全体識別処理が終了すると、シーン識別部３３は、全体識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０４）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これによりシーン識別処理の速度が速くなる。
【００７５】
ところで、上記の説明には無いが、全体識別器５０は、サブ識別器５１によって判別式の値を算出したときには、判別式の値に対応するPrecisionを、確信度に関する情報として結果記憶部３１Ｂに記憶する。もちろん、判別式の値そのものを確信度に関する情報として記憶しても良い。
【００７６】
＝＝＝部分識別処理＝＝＝
図１７は、部分識別処理のフロー図である。部分識別処理は、全体識別処理によってシーンの識別ができなかった場合（図８のＳ１０４でＮＯ）に行われる。以下に説明するように、部分識別処理は、分割された部分画像のシーンをそれぞれ識別することによって、画像全体のシーンを識別する処理である。ここでは、図９も参照しながら部分識別処理について説明する。
【００７７】
まず、部分識別器６０は、複数のサブ部分識別器６１の中から１つのサブ部分識別器６１を選択する（Ｓ３０１）。部分識別器６０には、サブ部分識別器６１が３つ設けられている。各サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像がそれぞれ特定のシーンに属するか否かを識別する。ここでの３つのサブ部分識別器６１は、それぞれ、夕景、花、紅葉のシーンを識別する。ここでは、部分識別器６０は、夕景→花→紅葉の順に、サブ部分識別器６１を選択する（なお、サブ部分識別器６１の選択順序については、後述する）。このため、最初には、部分画像が夕景のシーンに属するか否かを識別するサブ部分識別器６１（夕景部分識別器６１Ｓ）が選択される。
【００７８】
次に、部分識別器６０は、識別対象テーブル（図１１）を参照し、選択したサブ部分識別器６１を用いてシーンを識別すべきか否かを判断する（Ｓ３０２）。ここでは、部分識別器６０は、識別対象テーブルにおける「夕景」欄の「否定」欄を参照し、ゼロであればＹＥＳと判断し、１であればＮＯと判断する。なお、全体識別処理の際に、夕景識別器５１Ｓが第１否定閾値により否定フラグを立てたとき、又は、他のサブ識別器５１が第２否定閾値により否定フラグを立てたとき、このＳ３０２でＮＯと判断される。仮にＮＯと判断されると夕景の部分識別処理は省略されることになるので、部分識別処理の速度が速くなる。但し、ここでは説明の都合上、ＹＥＳと判断されるものとする。
【００７９】
次に、サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像の中から、1つの部分画像を選択する（Ｓ３０３）。
図１８は、夕景部分識別器６１Ｓが選択する部分画像の順番の説明図である。部分画像から画像全体のシーンを特定するような場合、識別に用いられる部分画像は被写体が存在する部分であることが望ましい。そこで、本実施形態では、数千枚のサンプルの夕景画像を用意し、各夕景画像を８×８の６４ブロックに分割し、夕景部分画像（夕景の太陽と空の部分画像）を含むブロックを抽出し、抽出されたブロックの位置に基づいて各ブロックにおける夕景部分画像の存在確率を算出した。そして、本実施形態では、存在確率の高いブロックから順番に、部分画像が選択される。なお、図に示す選択順序の情報は、プログラムの一部としてメモリ２３に格納されている。
【００８０】
なお、夕景画像の場合、画像の中央付近から上半分に夕景の空が広がっていることが多いため、中央付近から上半分のブロックにおいて存在確率が高くなる。また、夕景画像の場合、画像の下１／３では逆光で陰になり、部分画像単体では夕景か夜景か区別がつかないことが多いため、下１／３のブロックにおいて存在確率が低くなる。花画像の場合、花を中央に配置させる構図にすることが多いため、中央付近における花部分画像の存在確率が高くなる。
【００８１】
次に、サブ部分識別器６１は、選択された部分画像の部分特徴量に基づいて、その部分画像が特定のシーンに属するか否かを判断する（Ｓ３０４）。サブ部分識別器６１には、全体識別器５０のサブ識別器５１と同様に、サポートベクタマシン（ＳＶＭ）による判別手法が用いられている。なお、サポートベクタマシンについては、後述する。判別式の値が正の値であれば、部分画像が特定のシーンに属すると判断し、サブ部分識別器６１は正カウント値をインクリメントする。また、判別式の値が負の値であれば、部分画像が特定のシーンに属しないと判断し、サブ部分識別器６１は負カウント値をインクリメントする。
【００８２】
次に、サブ部分識別器６１は、正カウント値が肯定閾値よりも大きいか否かを判断する（Ｓ３０５）。なお、正カウント値は、特定のシーンに属すると判断された部分画像の数を示すものである。正カウント値が肯定閾値よりも大きければ（Ｓ３０５でＹＥＳ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ３０６）。この場合、部分識別器６０は、次のサブ部分識別器６１による識別を行わずに部分識別処理を終了する。この場合、次のサブ部分識別器６１による識別を省略しているので、部分識別処理の速度を速めることができる。
正カウント値が肯定閾値より大きくなければ（Ｓ３０５でＮＯ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ３０７の処理を行う。
【００８３】
サブ部分識別器６１は、正カウント値と残りの部分画像数との和が肯定閾値よりも小さければ（Ｓ３０７でＹＥＳ）、Ｓ３０９の処理へ進む。正カウント値と残りの部分画像数との和が肯定閾値よりも小さい場合、残り全ての部分画像によって正カウント値がインクリメントされても、正カウント値が肯定閾値よりも大きくなることがないので、Ｓ３０９に処理を進めることによって、残りの部分画像についてサポートベクタマシンによる識別を省略する。これにより識別処理の速度を速めることができる。
【００８４】
サブ部分識別器６１がＳ３０７でＮＯと判断した場合、サブ部分識別器６１は、次の部分画像の有無を判断する（Ｓ３０８）。なお、本実施形態では、６４個に分割された部分画像の全てを順に選択していない。図１８において、太枠で示された上位１０番目までの１０個の部分画像だけを順に選択している。このため、１０番目の部分画像の識別を終えれば、サブ部分識別器６１は、Ｓ３０８において次の部分画像はないと判断する（この点を考慮して、Ｓ３０７の「残り部分画像数」も決定される。）。
【００８５】
図１９は、６４個に分割された部分画像のうち、上位１０番目までの１０個の部分画像だけで夕景画像を識別したときのRecall及びPrecisionのグラフである。図に示すような肯定閾値を設定すれば、正答率（Precision）を８０％程度に設定でき、再現率（Recall）を９０％程度に設定でき、精度の高い識別が可能である。
【００８６】
本実施形態では、１０個の部分画像だけで夕景画像の識別を行っている。このため、本実施形態では、６４個の全ての部分画像を用いて夕景画像の識別を行うよりも、部分識別処理の速度を速めることができる。
【００８７】
また、本実施形態では、夕景部分画像の存在確率の高い上位１０番目の部分画像を用いて夕景画像の識別を行っている。このため、本実施形態では、存在確率を無視して抽出された１０個の部分画像を用いて夕景画像の識別を行うよりも、RecallやPrecisionをともに高く設定することが可能になる。
【００８８】
また、本実施形態では、夕景部分画像の存在確率の高い順に部分画像を選択している。この結果、早い段階でＳ３０５の判断がＹＥＳになりやすくなる。このため、本実施形態では、存在確率の高低を無視した順で部分画像を選択したときよりも、部分識別処理の速度を速めることができる。
【００８９】
Ｓ３０７においてＹＥＳと判断された場合、又は、Ｓ３０８において次の部分画像がないと判断された場合、サブ部分識別器６１は、負カウント値が否定閾値よりも大きいか否かを判断する（Ｓ３０９）。この否定閾値は、前述の全体識別処理における否定閾値（図１０のＳ２０６）とほぼ同様の機能を果たすものなので、詳しい説明は省略する。Ｓ３０９でＹＥＳと判断された場合、図１０のＳ２０７と同様に否定フラグを立てる。
【００９０】
Ｓ３０２においてＮＯの場合、Ｓ３０９でＮＯの場合、又はＳ３１０の処理を終えた場合、部分識別器６０は、次のサブ部分識別器６１の有無を判断する（Ｓ３１１）。夕景部分識別器６１Ｓによる処理を終えた後の場合、サブ部分識別器６１として花部分識別器６１Ｆや紅葉部分識別器６１Ｒがまだあるので、部分識別器６０は、Ｓ３１１において、次のサブ部分識別器６１があると判断する。
【００９１】
そして、Ｓ３０６の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ３１１において次のサブ部分識別器６１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、部分識別器６０は、部分識別処理を終了する。
【００９２】
なお、既に説明した通り、部分識別処理が終了すると、シーン識別部３３は、部分識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０６）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
【００９３】
ところで、上記の説明では、夕景部分識別器６１Ｓは、１０個の部分画像を用いて夕景画像の識別を行っているが、識別に用いられる部分画像の数は１０個に限られるものではない。また、他のサブ部分識別器６１が、夕景部分識別器６１Ｓとは異なる数の部分画像を用いて画像を識別しても良い。本実施形態では、花部分識別器６１Ｆは２０個の部分画像を用いて花画像を識別し、また、紅葉部分識別器６１Ｒは、１５個の部分画像を用いて紅葉画像を識別するものとする。
【００９４】
＝＝＝サポートベクタマシン＝＝＝
統合識別処理について説明する前に、全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１において用いられているサポートベクタマシン（ＳＶＭ）について説明する。
【００９５】
図２０Ａは、線形サポートベクタマシンによる判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。学習用サンプルは２つのクラスＡ、Ｂに分けられている。図中では、クラスＡに属するサンプルは丸で示されており、クラスＢに属するサンプルは四角で示されている。
【００９６】
学習用サンプルを用いた学習によって、２次元空間を２つに分ける境界が定義される。境界は、＜ｗ・ｘ＞＋ｂ＝０で定義される（なお、ｘ＝（ｘ１，ｘ２）であり、ｗは重みベクトルであり、＜ｗ・ｘ＞はｗとｘの内積である）。但し、境界は、マージンが最大になるように、学習用サンプルを用いた学習によって定義される。つまり、図の場合、境界は、太点線ではなく、太実線のようになる。
【００９７】
判別は、ｆ（ｘ）＝＜ｗ・ｘ＞＋ｂを用いて行われる。ある入力ｘ（この入力ｘは、学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。
ここでは２次元空間を用いて説明しているが、これには限定されない（つまり特徴量は２以上でも良い）。この場合、境界は超平面で定義される。
【００９８】
ところで、２つのクラスに線形関数で分離できないことがある。このような場合に線形サポートベクタマシンによる判別を行うと、判別結果の精度が低下する。そこで、入力空間の特徴量を非線形変換すれば、すなわち入力空間からある特徴空間へ非線形写像すれば、特徴空間において線形関数で分離することができるようになる。非線形サポートベクタマシンでは、これを利用している。
【００９９】
図２０Ｂは、カーネル関数を用いた判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。図２０Ｂの入力空間からの非線形写像が図２０Ａのような特徴空間になれば、線形関数で２つのクラスに分離することが可能になる。この特徴空間においてマージンが最大になるように境界が定義されれば、特徴空間における境界の逆写像が、図２０Ｂに示す境界になる。この結果、図２０Ｂに示すように、境界は非線形になる。
【０１００】
本実施形態では、ガウスカーネルを利用することにより、判別式ｆ（ｘ）は次式のようになる（なお、Ｍは特徴量の数であり、Ｎは学習用サンプルの数（若しくは境界に寄与する学習用サンプルの数）であり、ｗｉは重み係数であり、ｙｉは学習用サンプルの特徴量であり、ｘｉは入力ｘの特徴量である）。
【数１】
【０１０１】
ある入力ｘ（この入力ｘは学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。また、ｆ（ｘ）の値が大きい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が高くなる。逆に、判別式ｆ（ｘ）の値が小さい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が低くなる。前述の全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１では、上記のサポートベクタマシンの判別式ｆ（ｘ）の値を用いている。サポートベクタマシンによる判別式ｆ（ｘ）の値の算出には、学習用サンプルの数（本実施形態では数万個）が多くなると時間がかかる。このため、判別式ｆ（ｘ）の値を複数回算出する必要があるサブ部分識別器６１は、判別式ｆ（ｘ）の値を１回算出すれば済むサブ識別器５１よりも処理時間がかかる。
【０１０２】
なお、学習用サンプルとは別に評価用サンプルが用意されている。前述のRecallやPrecisionのグラフは、評価用サンプルに対する識別結果（判別式ｆ（ｘ）の値）に基づくものである。
【０１０３】
＝＝＝統合識別処理＝＝＝
前述の全体識別処理や部分識別処理では、サブ識別器５１やサブ部分識別器６１における肯定閾値を比較的高めに設定し、Precision（正解率）を高めに設定している。なぜならば、例えば全体識別器５１の風景識別器５１Ｌの正解率が低く設定されると、風景識別器５１が紅葉画像を風景画像であると誤識別してしまい、紅葉識別器５１Ｒによる識別を行う前に全体識別処理を終えてしまう事態が発生してしまうからである。本実施形態では、Precision（正解率）が高めに設定されることにより、特定のシーンに属する画像が特定のシーンのサブ識別器５１（又はサブ部分識別器６１）に識別されるようになる（例えば、紅葉画像が紅葉識別器５１Ｒ（又は紅葉部分識別器６１Ｒ）によって識別されるようになる）。
【０１０４】
但し、全体識別処理や部分識別処理のPrecision（正解率）を高めに設定すると、全体識別処理や部分識別処理ではシーンの識別ができなくなる可能性が高くなる。そこで、本実施形態では、全体識別処理及び部分識別処理によってシーンの識別ができなかった場合、以下に説明する統合識別処理が行われる。
【０１０５】
図２１は、統合識別処理のフロー図である。以下に説明するように、統合識別処理は、全体識別処理の各サブ識別器５１の判別式の値に基づいて、最も確信度の高いシーンを選択する処理である。
【０１０６】
まず、統合識別器７０は、５つのサブ識別器５１の判別式の値に基づいて、正となるシーンを抽出する（Ｓ４０１）。このとき、全体識別処理の際に各サブ識別器５１が算出した判別式の値が用いられる。
【０１０７】
次に、統合識別器７０は、判別式の値が正のシーンが存在するか否かを判断する（Ｓ４０２）。判別式の値が正のシーンが存在する場合（Ｓ４０２でＹＥＳ）、最大値のシーンの欄に肯定フラグを立てて（Ｓ４０３）、統合識別処理を終了する。これにより、最大値のシーンに識別対象画像が属すると判断される。
【０１０８】
一方、判別式の値が正であるシーンが存在しない場合（Ｓ４０２でＮＯ）、肯定フラグを立てずに、統合識別処理を終了する。これにより、図１１の識別対象テーブルの肯定欄において、１のシーンが無いままの状態になる。つまり、識別対象画像が、どのシーンに属するか識別できなかったことになる。
【０１０９】
なお、既に説明した通り、統合識別処理が終了すると、シーン識別部３３は、統合識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０８）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。Ｓ４０２でＮＯとの判断の場合、Ｓ１０８の判断もＮＯになる。
【０１１０】
＝＝＝第１実施形態＝＝＝
＜概要＞
既に説明した通り、プリンタ側コントローラ２０の要素である全体識別器５０は５つのサブ識別器５１（風景識別器５１Ｌ、夕景識別器５１Ｓ、夜景識別器５１Ｎ、花識別器５１Ｆ、紅葉識別器５１Ｒ）を有しており、全体識別処理の際に、サブ識別器５１を順に選択していく。サブ識別器５１を選択する順序として、前述したように風景→夕景→夜景→花→紅葉の順序がデフォルトとして、例えばシーン識別プログラムに予め設定されている。そして、あるサブ識別器による識別処理で画像の属するシーンが特定された場合、まだ行われていない識別処理が省略される。このようにして、識別処理の処理速度を速めるようにしている。
【０１１１】
しかし、サブ識別器５１の選択の順序が常に固定であると、識別処理の速度が低下するおそれがある。例えば、識別処理の順序が上述した順序（デフォルト）である場合に、付加データに「夜景」を示すシーン情報が含まれた画像データの識別処理を行うとする。この場合、画像データの示す画像は「夜景」のシーンに属している可能性が高いにもかかわらず、「夜景」のシーンの識別処理は、「風景」のシーンの識別処理、及び「夕景」のシーンの識別処理の後に行われる。言い換えれば、「夜景」のシーンに属している確率が高い画像の識別処理を行う際に、「夜景」のシーンの識別処理よりも先に「風景」の識別処理及び「夕景」の識別処理を行わなければならないことになる。
【０１１２】
そこで、本実施形態では、全体識別器５０は、画像データに付加される付加データのシーン情報に応じて、各シーンのサブ識別器の選択順序をデフォルトから変更する。すなわち、各シーンの識別処理の順序を変更する。これにより、識別処理の速度の向上を図ることができる。第１実施形態では、付加データのＥｘｉｆＳｕｂＩＦＤ領域に格納された撮影シーンタイプデータ（図５参照）に応じて、識別処理の順序を変更する。
【０１１３】
＜撮影シーンタイプデータについて＞
前述したように、ＥｘｉｆＳｕｂＩＦＤ領域の撮影シーンタイプデータとしては、「標準」を意味する「ゼロ」、「人物」を意味する「２」、「風景」を意味する「１」、「夜景」を意味する「３」の４種類がある。
【０１１４】
図５に示すように、デジタルスチルカメラ２による撮影時にモード設定ダイヤル２Ａが「オート」、「花」、「スポーツ」、「夕景」の何れかに設定された場合には、ＥｘｉｆＳｕｂＩＦＤ領域に格納される撮影シーンタイプデータは「標準」を意味する「ゼロ」となる。よって、撮影シーンタイプデータが「ゼロ」の場合、識別対象画像がどのシーンに属する確率が高いかを判断することができない。従って、この場合、サブ識別器５１の選択の順序はデフォルトのままとする。
【０１１５】
撮影シーンタイプデータが「１」の場合は、識別対象画像が「風景」のシーンである確率が高い。しかし、前述したように、デフォルトの選択順序において、風景のサブ識別器５１が最初に選択されるようになっている。よって、この場合、サブ識別器５１の選択の順序を変更する必要が無いので、この場合もサブ識別器５１の選択の順序はデフォルトのままとする。
【０１１６】
また、撮影シーンタイプデータが「２」の場合は、識別対象画像が「人物」のシーンである確率が高い。しかし、全体識別器５０のサブ識別器５１には「人物」のシーンに対応するサブ識別器が設けられていない。よって、この場合もサブ識別器５１の選択の順序はデフォルトのままとする。なお、撮影シーンタイプデータが「２」の場合は、顔識別部３２によって、識別対象画像が「人物」のシーンであると識別される可能性が高い。そして、顔識別部３２によって識別対象画像が「人物」のシーンである特定された場合には、シーン識別部３３による識別処理は行われないことになる。
【０１１７】
撮影シーンタイプデータが「３」の場合は、撮影時にモード設定ダイヤル２Ａが「夜景」に設定されていることになり、識別対象画像が「夜景」のシーンに属している確率が高い。この場合に、「夜景」のシーンの識別処理の順番を先にするようにすれば、識別の速度の高速化が図れる。
【０１１８】
従って、第１実施形態において識別処理の順序を変更する対象となるのは、撮影シーンタイプデータが「３」の場合である。そして、この場合に、「夜景」のシーンの識別処理の順番を先にするようにサブ識別器５１の識別処理の順序を変更する。以下、その処理について説明する。
【０１１９】
＜サブ識別器の選択順序について＞
図２２は、選択順序決定処理のフロー図である。また、図２３は、選択順序を変更する一例について示した図である。
まず、全体識別器５０は、識別処理を行う際に、画像データと対応して付加情報記憶部３１Ａ´に格納された付加データを読み出す。そして、付加データからＥｘｉｆＳｕｂＩＦＤ領域の撮影シーンタイプデータ（シーン情報に相当する）を取得する（Ｓ５０１）。そして、全体識別器５０は、取得した撮影シーンタイプデータが特定のシーンを示すものであるか否かを判断する（Ｓ５０２）。本実施形態の場合、「夜景」を意味する「３」であるか否かを判断する。
【０１２０】
全体識別器５０は、取得した撮影シーンタイプデータが「３」でないと判断した場合（Ｓ５０２でＮＯ）、つまり撮影シーンタイプデータが「ゼロ」、「１」、「２」の何れかであると判断した場合には、サブ識別器５１の選択順序の変更を行わない。よって、この場合、図２３のデフォルトの順序（風景→夕景→夜景→花→紅葉）によってサブ識別器５１を選択する（Ｓ５０３）。
【０１２１】
一方、全体識別器５０は、取得した撮影シーンタイプデータが「３」であると判断した場合（Ｓ５０２でＹＥＳ）、「夜景」のシーンに対応する識別処理の順番を先にする（Ｓ５０４）。例えば、「夜景」のシーンに対応する夜景識別器５１Ｎの識別処理を複数の識別処理のうちの最初に行うように識別処理の順序を変更する。つまり、図２３のように、サブ識別器５１の選択順序を風景→夕景→夜景→花→紅葉（デフォルト）から、夜景→風景→夕景→花→紅葉の順に変更する。撮影シーンタイプデータが「３」の場合、画像が「夜景」のシーンに属している確率が高いので、夜景識別器５１Ｎの識別処理によって識別対象画像が「夜景」のシーンであると特定される確率が高い。つまり、このように撮影シーンタイプデータに応じて識別処理の順序を変更することで、最初の識別処理で画像の属するシーンが特定されて、後段の識別処理を省略できる確率が高くなる。よって識別処理の速度の向上を図ることができる。
【０１２２】
なお、撮影シーンタイプデータに対応するシーンの識別処理の順番を、所定数（例えば１つ）先にするようにしてもよい。例えば、撮影シーンタイプデータが「３」の場合、「夜景」のシーンに対応する夜景識別器５１Ｎの識別処理を、前段の「夕景」のシーンに対応する夕景識別器５１Ｓの識別処理よりも先に行うように順序を変更してもよい。この場合においても、順序を変更しない場合に比べて、識別処理の速度の向上を図ることが可能である。
【０１２３】
ところで、全体識別器５０の「夜景」のシーンの識別処理において、図１６Ａの閾値テーブルに示すように肯定閾値として１．１４が設けられている。この肯定閾値は、前述したように、高めに設定されている。このため、「夜景」のシーンの画像であっても、夜景識別器５１Ｎのサポートベクタマシンで算出された判別式の値が１．１４以下となって、「夜景」のシーンに属すると判断されない場合があると考えられる。しかし、「夜景」のシーンの画像であれば、算出された判別式が肯定閾値を超えないとしても、肯定閾値に近い値となる確率が高い。このことにより、この判別式によって、識別対象画像が夜景のシーン以外のシーンに属さないことを識別して、後段の識別処理を省略することができる。例えば、図１６Ａの閾値テーブルに示すように、夜景識別器５１Ｎにおける風景の第２否定閾値として−０．７３、夕景の第２否定閾値として１．３０、花の第２否定閾値として−０．５７、紅葉の第２否定閾値として−０．６４がそれぞれ設定されている。よって、夜景識別器５１Ｎの識別処理で算出された判別式の値が、−０．５７以上（例えば正の値）であると、識別対象画像が「風景」、「花」、「紅葉」のシーンには属さないと判断できる。よって、この場合、「風景」、「花」、「紅葉」のシーンの識別処理を省略することができる。このように撮影シーンタイプデータに対応するシーンの識別処理を最初に行うことによって、そのシーンとは別のシーンに対する識別処理を省略できる可能性が高くなる。これにより、シーンの識別処理の速度を向上させることができる。
【０１２４】
＝＝＝第２実施形態＝＝＝
前述の第１実施形態では、撮影シーンタイプデータの示すシーンに対応する識別処理の順番を先にするように選択順序を変更することとしたが、撮影シーンタイプデータの示すシーンに応じて、そのシーン以外のシーンの識別処理の順番を変更するようにしてもよい。例えば、第１実施形態において撮影シーンタイプデータが「３」の場合、「夜景」のシーンに特徴の近いシーン（例えば「夕景」のシーン）の順番を先にするようにしてもよい。つまり、第１実施形態では選択順序を夜景→風景→夕景→花→紅葉に変更したが、さらに「夕景」のシーンの順番を（例えば１つ）先にするようにしてもよい。その場合、選択順序は、夜景→夕景→風景→花→紅葉の順になる。つまり「夜景」のシーンと特徴の近い「夕景」のシーンの識別処理が、「夜景」のシーンと特徴の異なる「風景」のシーンの識別処理よりも先に行われる。これにより、画像の属するシーンの特定される可能性の高い識別処理を先に行うことができ、後段の識別処理を省略できる確率が高くなる。よって識別処理の速度の向上を図ることができる。
【０１２５】
また、逆に、撮影シーンタイプデータの示すシーンに応じて、そのシーンとは特徴の異なるシーンの識別処理の順番を後にするようにしてもよい。例えば、前述した撮影シーンタイプデータが「３」の場合、「夜景」のシーンと特徴の異なるシーン（例えば「花」のシーン）の順番を後にするようにしてもよい。これにより、画像の属するシーンが特定される可能性の低い識別処理を後回しにすることができるので識別処理の速度の向上を図ることができる。
【０１２６】
第１実施形態では撮影シーンタイプデータが「３」の場合のみサブ識別器５１の選択順序を変更することとしたが、この第２実施形態の場合、撮影シーンタイプデータが「１」及び「２」の場合でも選択順序を変更することができる。すなわち、撮影シーンタイプデータが「１」である場合には、全体識別器５０の識別対象となるシーンのうち、「風景」のシーンに特徴が近いシーンの順番を先にするようにすればよい。あるいは「風景」のシーンと特徴が異なるシーンの順番を後にするようにしてもよい。撮影シーンタイプデータが「２」の場合も同様である。なお、撮影シーンタイプデータのシーンに応じて、順番を変更する識別処理については、各シーンの特徴に基づいて、例えばシーン識別プログラムに設定しておけばよい。
【０１２７】
＝＝＝第３実施形態＝＝＝
＜概要＞
前述した実施形態では、画像データに付加される付加データのうちの撮影シーンタイプデータを用いていた。この、撮影シーンタイプデータは、規格化されたデータであるため、対応するシーンが「人物」、「風景」及び「夜景」のみと限定的であった。そのため、部分識別器６０には対応するシーンが無く、全体識別器５０のみの識別順序を変更していた。
【０１２８】
そこで、第３実施形態では、ＭａｋｅｒｎｏｔｅＩＦＤ領域に格納される撮影モードデータ（図５参照）を用いることにする。撮影モードデータは、メーカがデータの種類を自由に定義できるので、対応するシーンの種類を多くすることができる。但し、撮影モードデータは、メーカ毎に形式が異なるＭａｋｅｒｎｏｔｅデータであるため、プリンタ側コントローラ２０には、ＭａｋｅｒｎｏｔｅＩＦＤ領域のデータの格納形式を解析するための解析プログラムが必要となる。
【０１２９】
＜サブ識別器の選択順序について＞
本実施形態では、図５に示すように、デジタルスチルカメラ２のモード設定ダイヤル２Ａの各設定と、各撮影モードデータとが対応している。すなわち、撮影モードデータの「１」は「人物」のシーン、「２」は「風景」のシーン、「３」は「花」のシーン、「４」は「スポーツ」のシーン、「５」は「夕景」のシーン、「６」は「夜景」のシーンとそれぞれ対応している。例えば、撮影モードデータが「３」の場合、モード設定ダイヤル２Ａの設定が「花」で撮影された画像であり、識別対象画像が「花」のシーンを示す画像である確率が高いことになる。
【０１３０】
なお、撮影モードデータが「０」の場合は、モード設定ダイヤル２Ａの設定が「オート」で撮影された画像であるので、このデータからは識別対象画像がどのシーンを示すものであるかを判断することができない。また、図５では、撮影モードデータに「紅葉」を意味するデータは設定されていない。また、シーン識別部３３には、撮影モードデータが「１」と「４」、すなわち「人物」と「スポーツ」のシーンに対応するサブ識別器（サブ識別器５１、サブ部分識別器６１）は設けられていない。
【０１３１】
従って、図５の撮影モードデータのうち、シーン識別部３３における識別の対象となるのは、撮影モードデータが「風景」を意味する「２」、「花」を意味する「３」、「夕景」を意味する「５」、夜景を意味する「６」の各場合である。以下、シーン識別部３３における識別処理の順序を変更する場合の一例として、撮影モードデータが「花」を意味する「３」である場合について説明する。なお、シーン識別部３３において、全体識別器５０は「花」のシーンの識別を行うサブ識別器５１（花識別器５１Ｆ）を有しており、部分識別器６０は「花」のシーンの識別を行うサブ部分識別器６１（花部分識別器６１Ｆ）を有している。そして、全体識別器５０では、識別処理の順序として、風景→夕景→夜景→花→紅葉の順序がデフォルトとして設定されている。この全体識別器５０によって画像の属するシーンが特定できなない場合、部分識別器６０による部分識別処理が行われる。部分識別器６０では、識別処理の順序として、夕景→花→紅葉の順序がデフォルトとして設定されている。
【０１３２】
(全体識別器)
まず、全体識別器５０は、識別処理を行う際に、画像データと対応して付加情報記憶部３１Ａ´に格納された付加データを読み出す。そして、付加データからＭａｋｅｒｎｏｔｅＩＦＤ領域に格納された撮影モードデータ（シーン情報に相当する）を取得し、その内容を解析する。そして、全体識別器５０は、解析した撮影モードデータが特定のシーンを示すものであるか否かを判断する。本実施形態の場合、撮影モードデータが前述した「２」、「３」、「５」、「６」の何れかであるか否かを判断する。なお、全体識別器５０において、「風景」のシーンの識別処理はデフォルトで最初に行われるようになっているので、「２」の撮影モードデータは対象外にするようにしてもよい。
【０１３３】
全体識別器５０は、得られた撮影モードデータが上述した値でないと判断した場合、つまり、撮影モードデータが「ゼロ」、「１」、「４」の何れかであると判断した場合には、サブ識別器５１の選択順序の変更は行わない。よって、この場合、全体識別器５０は、デフォルトの順序（風景→夕景→夜景→花→紅葉）でサブ識別器５１を選択することになる。
【０１３４】
一方、全体識別器５０は、得られた撮影モードデータが「２」、「３」、「５」、「６」の何れかであると判断した場合、そのシーンに対応する識別処理を最初に行うように順序を変更する。本実施形態では、前述したように撮影モードデータが「３」であるので、全体識別器５０は、花識別器５１Ｆの識別処理を最初に行うように識別処理の順序を変更する。つまり、サブ識別器５１の選択順序を、デフォルトの風景→夕景→夜景→花→紅葉から、花→風景→夕景→夜景→紅葉の順に変更する。撮影モードデータが「３」の場合、その画像は「花」のシーンに属している確率が高いので、花識別器５１Ｆの識別処理によって識別対象画像が「花」のシーンであると特定される確率が高い。そして、花識別器５１Ｆによって識別対象画像が「花」のシーンに属すると判断されれば以下の識別処理は省略される。よって、識別処理の速度の向上を図ることができる。
【０１３５】
なお、第２実施形態と同様にして、花のシーンに特徴の近いシーンの順番を先にするようにしてもよい。
【０１３６】
(部分識別器)
全体識別器５０によって識別対象画像の属するシーンが識別されなかった場合には、部分識別器６０による識別処理が行われる（図８、図９参照）。部分識別器６０では、識別処理の順序として、夕景→花→紅葉がデフォルトとして設定されている。
【０１３７】
部分識別器６０は、取得した撮影モードデータが特定のシーンを示すものであるか否かを判断する。本実施形態の場合、部分識別器６０では「夕景」の識別処理がデフォルトで最初に行われることになっており、また「紅葉」の識別処理に対応する撮影シータイプデータが設定されていない。よって、部分識別器６０は、撮影モードデータが「花」を意味する「３」であるか否かを判断する。そして、部分識別器６０は、撮影シーンタイプデータが「３」でないと判断した場合には、デフォルトの順序（夕景→花→紅葉）で識別処理を行う。
【０１３８】
本実施形態の場合、撮影モードデータが「３」であるので、部分識別部６０は、撮影モードデータが「３」であると判断し、「花」の識別処理を最初に行うように識別処理の順序を変更する。つまり、サブ部分識別器６１の選択順序をデフォルトの夕景→花→紅葉から花→夕景→紅葉の順に変更する。これにより、部分識別器６０において、画像が属している可能性の高い「花」のシーンの識別処理から識別を行うことになるので、他の識別処理を省略できる可能性が高くなる。なお、部分識別器６０による部分識別処理は、部分画像毎に識別を行うので、全体識別器５０による全体識別処理と比べて、各シーンの識別処理の処理時間が長くなりがちである。よって、このように部分識別処理の選択順序を変更することで、識別処理の速度をより向上させることができる。
【０１３９】
＝＝＝その他の実施の形態＝＝＝
一実施形態としてのプリンタ等を説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。
【０１４０】
＜プリンタについて＞
前述の実施形態ではプリンタ４がシーン識別処理をしていたが、デジタルスチルカメラ２がシーン識別処理をしても良い。また、上記のシーン識別処理を行う画像識別装置は、プリンタ４やデジタルスチルカメラ２に限られるものではない。例えば、大量の画像ファイルを保存するフォトストレージのような画像識別装置が、上記のシーン識別処理を行っても良い。もちろん、パーソナルコンピュータやインターネット上に設置されたサーバーが、上記のシーン識別処理を行っても良い。
【０１４１】
＜サポートベクタマシンについて＞
前述のサブ識別器５１やサブ部分識別器６１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。しかし、識別対象画像が特定シーンに属するか否かの識別手法は、サポートベクタマシンを用いるものに限られるものではない。例えば、ニューラルネットワーク等のパターン認識を採用しても良い。
【０１４２】
＜シーン情報について＞
前述の実施形態ではシーン情報として、撮影シーンタイプデータと撮影モードデータの場合について説明したが、シーン情報はこれに限定されず、画像の属するシーンを示す情報が含まれていればよい。
【０１４３】
＜識別処理について＞
第３実施形態では、シーン情報に基づいて、全体識別処理と部分識別処理の順序を変更することとしたが、これに限定されない。例えば、シーン情報に基づいて、全体識別処理のみの順序を変更してもよいし、部分識別処理のみの順序を変更してもよい。何れの場合でも、順序を変更しない場合に比べて、識別処理の速度の向上を図ることができる。
【図面の簡単な説明】
【０１４４】
【図１】画像処理システムの説明図である。
【図２】プリンタの構成の説明図である。
【図３】画像ファイルの構造の説明図である。
【図４】図４Ａは、ＩＦＤ０で使われるタグの説明図である。図４Ｂは、ＥｘｉｆＳｕｂＩＦＤで使われるタグの説明図である。
【図５】モード設定ダイヤルの設定とデータとの対応表である。
【図６】プリンタの自動補正機能の説明図である。
【図７】画像のシーンと補正内容との関係の説明図である。
【図８】シーン識別部によるシーン識別処理のフロー図である。
【図９】シーン識別部の機能の説明図である。
【図１０】全体識別処理のフロー図である。
【図１１】識別対象テーブルの説明図である。
【図１２】全体識別処理の肯定閾値の説明図である。
【図１３】RecallとPrecisionの説明図である。
【図１４】第１否定閾値の説明図である。
【図１５】第２否定閾値の説明図である。
【図１６】図１６Ａは、閾値テーブルの説明図である。図１６Ｂは、風景識別器における閾値の説明図である。図１６Ｃは、風景識別器の処理の概要の説明図である。
【図１７】部分識別処理のフロー図である。
【図１８】夕景部分識別器が選択する部分画像の順番の説明図である。
【図１９】上位１０番目までの１０個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。
【図２０】図２０Ａは、線形サポートベクタマシンによる判別の説明図である。図２０Ｂは、カーネル関数を用いた判別の説明図である。
【図２１】統合識別処理のフロー図である。
【図２２】第１実施形態における選択順序の決定フローの説明図である。
【図２３】選択順序を変更する一例について示した図である。
【符号の説明】
【０１４５】
２ デジタルスチルカメラ、２Ａ モード設定ダイヤル、
４ プリンタ、６ メモリカード、１０ 印刷機構、
１１ ヘッド、１２ ヘッド制御部、１３ モータ、１４ センサ
２３ メモリ、２４ 制御ユニット、２５ 駆動信号生成部、
３１ 記憶部、３１Ａ 画像記憶部、３１Ａ´ 付加情報記憶部、３１Ｂ 結果記憶部、
３２ 顔識別部、３３ シーン識別部、３４ 画像補正部、３５ プリンタ制御部、
４０ 特徴量取得部、５０ 全体識別器、５１ サブ識別器、５１Ｌ 風景識別器、
５１Ｓ 夕景識別器、５１Ｎ 夜景識別器、５１Ｆ 花識別器、５１Ｒ 紅葉識別器、
６０ 部分識別器、６１ サブ部分識別器、６１Ｓ 夕景部分識別器、
６１Ｆ 花部分識別器、６１Ｒ 紅葉部分識別器、７０ 統合識別器
【技術分野】
【０００１】
本発明は、画像識別方法、画像識別装置及びプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラには撮影モードを設定するモード設定ダイヤルを持つものがある。ユーザがダイヤルで撮影モードを設定すると、デジタルスチルカメラは、撮影モードに応じた撮影条件（露光時間等）を決定し、撮影を行う。撮影が行われると、デジタルスチルカメラは、画像ファイルを生成する。この画像ファイルには、撮影した画像の画像データに撮影時の撮影条件等の付加データが付加されている。
【０００３】
この付加データを用いて、画像データに画像処理することが行われている。例えば、プリンタが画像ファイルに基づいて印刷を行うとき、付加データの示す撮影条件（例えばシーンの情報：以下シーン情報ともいう）に応じて画像データを補正し、補正した画像データに従って印刷することが行われている（特許文献１参照）。しかし、付加データが常に正しいとは限らない。例えば、ユーザが撮影時にモード設定ダイヤルを誤って設定したり、モード設定ダイヤルの設定を忘れて以前の撮影条件のまま撮影したりすることがある。
【０００４】
そこで、画像データを解析することによって、画像データの示す画像のシーンを識別することも行われている（特許文献２、３参照）。
【特許文献１】特開２００１−２３８１７７号公報
【特許文献２】特開平１０−３０２０６７号公報
【特許文献３】特開２００６−５１１０００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、予め定められた順序でシーン毎に行うことによって、画像の属するシーンを識別する画像識別方法がある。このように、複数の識別処理を順に行う場合、画像の属するシーンが特定された段階で処理を終了して、まだ行われていない識別処理を省略すれば、全体の識別処理の速度が向上すると考えられる。
【０００６】
但し、複数の識別処理の順序を常に同じにすると、処理速度が低下するおそれがある。例えば、識別処理の順序が風景のシーン→夕景のシーン→夜景のシーンの順で固定である場合に、付加データに夜景を示すシーン情報が含まれた画像データの識別処理を行うとする。この場合、画像データの示す画像は夜景のシーンである可能性が高いにもかかわらず、夜景のシーンの識別処理は、風景のシーン及び夕景のシーンの識別処理の後に行われることになる。このように、従来の画像識別方法では識別処理の速度を向上させることが困難であるという問題点があった。
【０００７】
本発明は、上記のような課題に鑑みてなされたものであり、その目的は、従来よりもシーンの識別処理の速度を向上させることにある。
【課題を解決するための手段】
【０００８】
前記目的を達成するための主たる発明は、画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理の結果に応じて、まだ行われていない前記識別処理が省略され、前記識別処理の結果に基づいて前記画像の属するシーンを識別する画像識別方法において、前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更することを特徴とする。
【０００９】
本発明の他の特徴は、本明細書、及び添付図面の記載により、明らかにする。
【発明を実施するための最良の形態】
【００１０】
＝＝＝開示の概要＝＝＝
本明細書及び添付図面の記載により、少なくとも以下の事項が明らかとなる。
【００１１】
すなわち、画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理の結果に応じて、まだ行われていない前記識別処理が省略され、前記識別処理の結果に基づいて前記画像の属するシーンを識別する画像識別方法において、前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更することを特徴とする画像識別方法が明らかとなる。
このような画像識別方法によれば、画像はシーン情報の示すシーンに属している確率が高いので、シーン情報に応じて識別処理路の順序を変更することによって、シーンの識別処理の速度を向上させることができる。
【００１２】
かかる画像識別方法であって、前記シーン情報の示すシーンに基づいて、ある前記シーンに対応する前記識別処理の順番を先にすることが好ましい。
このような画像識別方法によれば、画像のシーンが特定される可能性の高いシーンの識別処理を優先的に実行することができる。よって識別処理の速度を向上させることができる。
【００１３】
かかる画像識別方法であって、前記シーン情報の示すシーンに対応する前記識別処理を、複数の前記識別処理のうちの最初に行うように変更することが好ましい。
このような画像識別方法によれば、最初の識別処理で画像の属するシーンが特定されて、それより後段の識別処理を省略できる確率が高くなる。よって、識別処理の速度をより向上させることができる。
【００１４】
かかる画像識別方法であって、前記シーン情報の示すシーンに基づいて、ある前記シーンに対応する前記識別処理の順番を後にすることが好ましい。
このような画像識別方法によれば、画像のシーンが特定される可能性の低い識別処理を後回しにすることができる。よって、識別処理の速度を向上させることができる。
【００１５】
かかる画像識別方法であって、ある前記識別処理において、その識別処理の対応する特定のシーンに前記画像が属することが識別されたとき、まだ行われていない前記識別処理が省略されることが好ましい。また、ある前記識別処理において、その識別処理とは別の識別処理に対応する特定のシーンに前記画像が属さないことが識別されたとき、前記別の識別処理が省略されることが好ましい。
このような画像識別方法によれば、識別処理の実行回数を減らすことができるので、識別処理の速度を向上させることができる。
【００１６】
かかる画像識別方法であって、前記画像の全体の特徴を示す全体特徴量に基づいて、前記画像が特定のシーンに属するか否かの識別処理を複数の前記シーン毎に順に行う全体識別処理と、前記全体識別処理において前記画像データの示す画像のシーンを識別できない場合に、前記画像の一部の特徴を示す部分特徴量に基づいて、前記画像が特定のシーンに属するか否かの識別処理を複数の前記シーン毎に順に行う部分識別処理と、を有し、前記シーン情報に応じて、前記全体識別処理及び前記部分識別処理の少なくとも一方の前記識別処理の順序を変更する、ことが好ましい。
このような画像識別方法によれば、全体識別処理は部分識別処理に比べて識別処理の種類が多く、また、部分識別処理は全体識別処理に比べて各識別処理に要する処理時間が長くなりがちであるので、全体識別処理と部分識別処理の少なくとも一方の順序を変更することによって識別処理の速度を向上させることができる。
【００１７】
また、画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理の結果に応じて、まだ行われていない前記識別処理を省略し、前記識別処理の結果に基づいて前記画像の属するシーンを識別するコントローラを備えた画像識別装置であって、前記コントローラは、画像データに付加されている付加データから前記画像データのシーンを示す前記シーン情報を取得し、前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更する、ことを特徴とする画像識別装置が明らかとなる。
【００１８】
また、画像識別装置に、画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行わせ、ある前記識別処理の結果に応じて、まだ行われていない前記識別処理を省略させ、前記識別処理の結果に基づいて前記画像の属するシーンを識別させる、プログラムにおいて、画像データに付加されている付加データから前記画像データのシーンを示すシーン情報を取得させ、前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更させる、ことを特徴とするプログラムが明らかとなる。
【００１９】
＝＝＝全体構成＝＝＝
図１は、画像処理システムの説明図である。この画像処理システムは、デジタルスチルカメラ２と、プリンタ４とを備える。
デジタルスチルカメラ２は、被写体をデジタルデバイス（ＣＣＤなど）に結像させることによりデジタル画像を取得するカメラである。デジタルスチルカメラ２には、モード設定ダイヤル２Ａが設けられている。ユーザは、ダイヤル２Ａによって、撮影条件に応じた撮影モードを設定することができる。例えば、ダイヤル２Ａによって、「夜景」モードが設定されると、デジタルスチルカメラ２は、シャッター速度を遅くしたり、ＩＳＯ感度を高くしたりして、夜景撮影に適した撮影条件にて撮影を行う。
【００２０】
デジタルスチルカメラ２は、ファイルフォーマット規格に準拠して、撮影により生成した画像ファイルをメモリカード６に保存する。画像ファイルには、撮影した画像のデジタルデータ（画像データ）だけでなく、撮影時の撮影条件（撮影データ）等の付加データも保存される。画像ファイルの構成については後述する。
プリンタ４は、画像データの示す画像を紙に印刷する印刷装置である。プリンタ４には、メモリカード６を挿入するスロット２１が設けられている。ユーザは、デジタルスチルカメラ２で撮影した後、デジタルスチルカメラ２からメモリカード６を取り出し、スロット２１にメモリカード６を挿入することができる。
【００２１】
図２はプリンタ４の構成の説明図である。プリンタ４は、印刷機構１０と、この印刷機構１０を制御するプリンタ側コントローラ２０とを備える。印刷機構１０は、インクを吐出するヘッド１１と、ヘッド１１を制御するヘッド制御部１２と、紙を搬送するため等のモータ１３と、センサ１４とを有する。プリンタ側コントローラ２０は、メモリカード６からデータを送受信するためのメモリ用スロット２１と、ＣＰＵ２２と、メモリ２３と、モータ１３を制御する制御ユニット２４と、駆動信号（駆動波形）を生成する駆動信号生成部２５とを有する。
【００２２】
メモリカード６がスロット２１に挿入されると、プリンタ側コントローラ２０は、メモリカード６に保存されている画像ファイルを読み出してメモリ２３に記憶する。そして、プリンタ側コントローラ２０は、画像ファイルの画像データを印刷機構１０で印刷するための印刷データに変換し、印刷データに基づいて印刷機構１０を制御し、紙に画像を印刷する。この一連の動作は、「ダイレクトプリント」と呼ばれている。
【００２３】
なお、「ダイレクトプリント」は、メモリカード６をスロット２１に挿入することによって行われるだけでなく、デジタルスチルカメラ２とプリンタ４とをケーブル（不図示）で接続することによっても可能である。
【００２４】
＝＝＝画像ファイルの構造＝＝＝
メモリカード６に記憶される画像ファイルは、画像データと、付加データを有している。画像データは、複数の画素データから構成されている。画素データは、画素の色情報（階調値）を示すデータである。画素がマトリクス状に配置されることによって、画像が構成される。このため、画像データは、画像を示すデータである。付加データには、画像データの特性を示すデータや、撮影データや、サムネイル画像データ等が含まれる。
【００２５】
以下、画像ファイルの具体的な構造について説明する。
図３は、画像ファイルの構造の説明図である。図中の左側には画像ファイルの全体構成が示されており、右側にはＡＰＰ１領域の構成が示されている。
画像ファイルは、ＳＯＩ（Start of Image）を示すマーカで始まり、ＥＯＩ（End of Image）を示すマーカで終わる。ＳＯＩを示すマーカの後に、ＡＰＰ１のデータ領域の開始を示すＡＰＰ１マーカがある。ＡＰＰ１マーカの後ろのＡＰＰ１データ領域には、撮影データやサムネイル画像等の付加データが含まれている。また、ＳＯＳ（Start of Stream）を示すマーカの後には、画像データが含まれている。
ＡＰＰ１マーカの後、ＡＰＰ１のデータ領域のサイズを示す情報があり、ＥＸＩＦヘッダとＴＩＦＦヘッダが続き、ＩＤＦ領域となる。
【００２６】
各ＩＤＦ領域は、複数のディレクトリエントリと、次のＩＦＤ領域の位置を示すリンクと、データエリアとを有する。例えば、最初のＩＦＤ０（IFD of main image）では次のＩＦＤ１（IFD of thumbnail image）の位置がリンクされる。但し、ここでは、ＩＦＤ１の次のＩＦＤが存在しないので、ＩＦＤ１では他のＩＦＤへのリンクは行われない。各ディレクトリエントリには、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＩＦＤ０データエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、ＩＦＤ０には、ＥｘｉｆＳｕｂＩＦＤの格納場所を意味するタグ（Exif IFD Pointer）と、ＥｘｉｆＳｕｂＩＦＤの格納場所を示すポインタ（オフセット値）とが格納されているディレクトリエントリがある。
【００２７】
ＥｘｉｆＳｕｂＩＦＤ領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合には、データ部に実際のデータが格納され、データ量が多い場合には、実際のデータはＥｘｉｆＳｕｂＩＦＤデータエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、ＥｘｉｆＳｕｂＩＦＤの中には、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を意味するタグと、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を示すポインタとが格納されている。
【００２８】
ＭａｋｅｒｎｏｔｅＩＦＤ領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＭａｋｅｒｎｏｔｅＩＦＤデータエリアにデータが格納されて、データ部にはデータの格納場所を示すポインタが格納される。但し、ＭａｋｅｒｎｏｔｅＩＦＤ領域ではデータの格納形式を自由に定義できるので、必ずしもこの形式でデータを格納しなくても良い。以下の説明では、ＭａｋｅｒｎｏｔｅＩＦＤ領域に格納されるデータのことを「Ｍａｋｅｒｎｏｔｅデータ」と呼ぶ。
【００２９】
図４Ａは、ＩＦＤ０で使われるタグの説明図である。図に示す通り、ＩＦＤ０には一般的なデータ（画像データの特性を示すデータ）が格納され、詳細な撮影データは格納されていない。
【００３０】
図４Ｂは、ＥｘｉｆＳｕｂＩＦＤで使われるタグの説明図である。図に示す通り、ＥｘｉｆＳｕｂＩＦＤには詳細な撮影データが格納されている。なお、シーン識別処理の際に抽出される撮影データの大部分は、ＥｘｉｆＳｕｂＩＦＤに格納されている撮影データである。なお、撮影シーンタイプタグ（Scene Captuer Type）は、撮影シーンのタイプを示すタグである。また、Ｍａｋｅｒｎｏｔｅタグは、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を意味するタグである。
【００３１】
ＥｘｉｆＳｕｂＩＦＤ領域の撮影シーンタイプタグに対するデータ部（撮影シーンタイプデータ）が「ゼロ」ならば「標準」を意味し、「１」ならば「風景」を意味し、「２」ならば「人物」を意味し、「３」ならば「夜景」を意味する。なお、ＥｘｉｆＳｕｂＩＦＤに格納されたデータは規格化されているため、この撮影シーンタイプデータの内容を誰でも知ることが可能である。
【００３２】
本実施形態では、Ｍａｋｅｒｎｏｔｅデータの一つに、撮影モードデータが含まれている。この撮影モードデータでは、モード設定ダイヤル２Ａで設定されたモード毎に異なる値を示す。但し、Ｍａｋｅｒｎｏｔｅデータはメーカ毎に形式が異なるため、Ｍａｋｅｒｎｏｔｅデータの形式が分からなければ、撮影モードデータの内容を知ることはできない。
【００３３】
図５は、モード設定ダイヤル２Ａの設定とデータとの対応表である。ＥｘｉｆＳｕｂＩＦＤで使われる撮影シーンタイプタグは、ファイルフォーマット規格に準拠しているため、特定できるシーンが限定されており、「夕景」等のシーンを特定するデータをデータ部に格納することはできない。一方、Ｍａｋｅｒｎｏｔｅデータは自由に定義できるので、Ｍａｋｅｒｎｏｔｅデータの一つである撮影モードタグにより、モード設定ダイヤル２Ａの撮影モードを特定するデータをデータ部に格納できる。
【００３４】
前述のデジタルスチルカメラ２は、モード設定ダイヤル２Ａの設定に応じた撮影条件にて撮影を行った後、上記の画像ファイルを作成し、メモリカード６に保存する。この画像ファイルには、モード設定ダイヤル２Ａに応じた撮影シーンタイプデータ及び撮影モードデータが、画像データに付加されるシーン情報として、それぞれＥｘｉｆＳｕｂＩＦＤ領域及びＭａｋｅｒｎｏｔｅＩＦＤ領域に格納される。
【００３５】
＝＝＝自動補正機能の概要＝＝＝
「人物」の写真を印刷するときには、肌色をきれいにしたいという要求がある。また、「風景」の写真を印刷するときには、空の青色を強調し、木や草の緑色を強調したいという要求がある。そこで、本実施形態のプリンタ４は、画像ファイルを分析して自動的に適した補正処理を行う自動補正機能を備えている。
【００３６】
図６は、プリンタ４の自動補正機能の説明図である。図中のプリンタ側コントローラ２０の各要素は、ソフトウェアとハードウェアによって実現される。
【００３７】
記憶部３１は、メモリ２３の一部の領域及びＣＰＵ２２によって実現される。メモリカード６から読み出された画像ファイルの画像データは、記憶部３１の画像記憶部３１Ａに展開され、画像ファイルの付加データは、記憶部３１の付加情報記憶部３１Ａ´に格納される。また、プリンタ側コントローラ２０の各要素の演算結果は、記憶部３１の結果記憶部３１Ｂに格納される。
【００３８】
顔識別部３２は、ＣＰＵ２２と、メモリ２３に記憶された顔識別プログラムとによって実現される。顔識別部３２は、画像記憶部３１Ａに記憶された画像データを分析し、顔の有無を確認する。顔識別部３２によって顔が有ると識別された場合、識別対象となる画像が「人物」のシーンに属すると識別される。この場合、シーン識別部３３によるシーン識別処理は行われない。顔識別部３２による顔識別処理は、既に広く行われている処理と同様なので、詳細な説明は省略する。
【００３９】
シーン識別部３３は、ＣＰＵ２２と、メモリ２３に記憶されたシーン識別プログラムとによって実現される。シーン識別部３３は、画像記憶部３１Ａに記憶された画像ファイルを分析し、画像データの示す画像のシーンを識別する。シーン識別部３３によるシーン識別処理は、顔識別部３２によって顔がない（「人物」のシーンでない）と識別された場合に行われる。後述するように、シーン識別部３３は、識別対象となる画像が「風景」、「夕景」、「夜景」、「花」、「紅葉」、「その他」のいずれの画像であるかを識別する。
【００４０】
図７は、画像のシーンと補正内容との関係の説明図である。
画像補正部３４は、ＣＰＵ２２と、メモリ２３に記憶された画像補正プログラムとによって実現される。画像補正部３４は、記憶部３１の結果記憶部３１Ｂ（後述）に記憶されている識別結果（顔識別部３２やシーン識別部３３の識別結果）に基づいて、画像記憶部３１Ａの画像データを補正する。例えば、シーン識別部３３の識別結果が「風景」である場合には、青色を強調し、緑色を強調するような補正が行われる。なお、画像補正部３４は、シーンの識別結果だけでなく、画像ファイルの撮影データの内容も反映して、画像データを補正しても良い。例えば、露出補正がマイナスの場合、暗い雰囲気の画像を明るくしないように画像データを補正してもよい。
【００４１】
プリンタ制御部３５は、ＣＰＵ２２、駆動信号生成部２５、制御ユニット２４及びメモリ２３に記憶されたプリンタ制御プログラムによって、実現される。プリンタ制御部３５は、補正後の画像データを印刷データに変換し、印刷機構１０に画像を印刷させる。
【００４２】
＝＝＝シーン識別処理＝＝＝
図８は、シーン識別部３３によるシーン識別処理のフロー図である。図９は、シーン識別部３３の機能の説明図である。図中のシーン識別部３３の各要素は、ソフトウェアとハードウェアによって実現される。シーン識別部３３は、図９に示す特徴量取得部４０と、全体識別器５０と、部分識別器６０と、統合識別器７０とを備えている。
【００４３】
最初に、特徴量取得部４０が、記憶部３１の画像記憶部３１Ａに展開された画像データを分析し、部分特徴量を取得する（Ｓ１０１）。具体的には、特徴量取得部４０は、画像データを８×８の６４ブロックに分割し、各ブロックの色平均と分散を算出し、この色平均と分散を部分特徴量として取得する。なお、ここでは各画素はＹＣＣ色空間における階調値のデータをもっており、各ブロックごとに、Ｙの平均値、Ｃｂの平均値及びＣｒの平均値がそれぞれ算出され、Ｙの分散、Ｃｂの分散及びＣｒの分散がそれぞれ算出される。つまり、各ブロックごとに３つの色平均と、３つの分散が部分特徴量として算出される。これらの色平均や分散は、各ブロックにおける部分画像の特徴を示すものである。なお、ＲＧＢ色空間における平均値や分散を算出してもよい。
【００４４】
ブロックごとに色平均と分散が算出されるので、特徴量取得部４０は、画像記憶部３１Ａには画像データのすべてを展開せずに、ブロック分の画像データをブロック順に展開する。このため、画像記憶部３１Ａは、必ずしも画像ファイルの全てを展開できるだけの容量を備えていなくとも良い。
【００４５】
次に、特徴量取得部４０が、全体特徴量を取得する（Ｓ１０２）。具体的には、特徴量取得部４０は、画像データの全体の色平均、分散、重心及び撮影情報を全体特徴量として取得する。なお、これらの色平均や分散は、画像の全体の特徴を示すものである。画像データ全体の色平均、分散及び重心は、先に算出した部分特徴量を用いて算出される。このため、全体特徴量を算出する際に画像データを展開する必要がないので、全体特徴量の算出速度が速くなる、全体識別処理（後述）は、部分識別処理（後述）よりも先に行われるにも関わらず、全体特徴量が部分特徴量よりも後に求められるのは、このように算出速度を速めるためである。なお、撮影情報は、画像ファイルの撮影データから抽出される。具体的には、絞り値、シャッター速度、フラッシュ発光の有無などの情報が全体特徴量として用いられる。但し、画像ファイルの撮影データの全てが全体特徴量として用いられるわけではない。
【００４６】
次に、全体識別器５０が、全体識別処理を行う（Ｓ１０３）。全体識別処理とは、全体特徴量に基づいて、画像データの示す画像のシーンを識別（推定）する処理である。全体識別処理の詳細については、後述する。
【００４７】
全体識別処理によってシーンの識別が出来る場合（Ｓ１０４でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これによりシーン識別処理の速度が速くなる。
全体識別処理によってシーンの識別ができない場合、（Ｓ１０４でＮＯ）、次に部分識別器６０が、部分識別処理を行う（Ｓ１０５）。部分識別処理とは、部分特徴量に基づいて、画像データの示す画像全体のシーンを識別する処理である。部分識別処理の詳細については後述する。
【００４８】
部分識別処理によってシーンの識別ができる場合（Ｓ１０６でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
部分識別処理によってシーンの識別ができない場合（Ｓ１０６でＮＯ）、次に統合識別器７０が、統合識別処理を行う（Ｓ１０７）。統合識別処理の詳細については後述する。
【００４９】
統合識別処理によってシーンの識別ができる場合（Ｓ１０８でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。一方、統合識別処理によってシーンの識別ができない場合（Ｓ１０８でＮＯ）、画像データの示す画像が「その他」のシーン（「風景」、「夕景」、「夜景」、「花」又は「紅葉」以外のシーン）である旨の識別結果を結果記憶部３１Ｂに記憶する（Ｓ１１０）。
【００５０】
＝＝＝全体識別処理＝＝＝
図１０は、全体識別処理のフロー図である。ここでは、図９も参照しながら全体識別処理について説明する。
【００５１】
まず、全体識別器５０は、複数のサブ識別器５１の中から１つのサブ識別器５１を選択する（Ｓ２０１）。全体識別器５０には、識別対象となる画像（識別対象画像）が特定のシーンに属するか否かを識別するサブ識別器５１が５つ設けられている。５つのサブ識別器５１は、それぞれ風景、夕景、夜景、花、紅葉のシーンを識別する。ここでは、全体識別器５０は、風景→夕景→夜景→花→紅葉の順に、サブ識別器５１を選択する（なお、サブ識別器５１の選択順序については、後述する）。このため、最初には、識別対象画像が風景のシーンに属するか否かを識別するサブ識別器５１（風景識別器５１Ｌ）が選択される。
【００５２】
次に、全体識別器５０は、識別対象テーブルを参照し、選択したサブ識別器５１を用いてシーンを識別すべきか否かを判断する（Ｓ２０２）。
図１１は、識別対象テーブルの説明図である。この識別対象テーブルは、記憶部３１の結果記憶部３１Ｂに記憶される。識別対象テーブルは、最初の段階では全ての欄がゼロに設定される。Ｓ２０２の処理では、「否定」欄が参照され、ゼロであればＹＥＳと判断され、１であればＮＯと判断される。ここでは、全体識別器５０は、識別対象テーブルにおける「風景」欄の「否定」欄を参照し、ゼロであるのでＹＥＳ（Ｓ２０２でＹＥＳ）と判断する。
【００５３】
次に、サブ識別器５１は、全体特徴量に基づいて、識別対象画像が特定のシーンに属する確率（確信度）を算出する（Ｓ２０３）。本実施形態のサブ識別器５１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。なお、サポートベクタマシンについては、後述する。識別対象画像が特定のシーンに属する場合、サブ識別器５１の判別式は、プラスの値になりやすい。識別対象画像が特定のシーンに属しない場合、サブ識別器５１の判別式は、マイナスの値になりやすい。また、判別式は、識別対象画像が特定のシーンに属する確信度が高いほど、大きな値になる。このため、判別式の値が大きければ、識別対象画像が特定のシーンに属する確率（確信度）が高くなり、判別式の値が小さければ、識別対象画像が特定のシーンに属する確率が低くなる。
【００５４】
次に、サブ識別器５１は、判別式の値が肯定閾値より大きいか否かを判断する（Ｓ２０４）。判別式の値が肯定閾値よりも大きければ、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断することになる。
図１２は、全体識別処理の肯定閾値の説明図である。同図において、横軸は肯定閾値を示し、縦軸はRecall又はPrecisionの確率を示す。図１３は、RecallとPrecisionの説明図である。判別式の値が肯定閾値以上の場合には識別結果はPositiveであり、判別式の値が肯定閾値以上でない場合には識別結果はNegativeである。
【００５５】
Recallは、再現率や検出率を示すものである。Recallは、特定のシーンの画像の総数に対する、特定のシーンに属すると識別された画像の割合である。言い換えると、Recallは、特定のシーンの画像をサブ識別器５１に識別させたときに、サブ識別器５１がPositiveと識別する確率（特定のシーンの画像が特定のシーンに属すると識別される確率）を示すものである。例えば、風景画像を風景識別器５１Ｌに識別させたときに、風景のシーンに属すると風景識別器５１Ｌが識別する確率を示すものである。
【００５６】
Precisionは、正答率や正解率を示すものである。Precisionは、Positiveと識別された画像の総数に対する、特定のシーンの画像の数の割合である。言い換えると、Precisionは、特定のシーンを識別するサブ識別器５１がPositiveと判断したときに、識別対象の画像が特定のシーンである確率を示すものである。例えば、風景識別器５１Ｌが風景のシーンに属すると識別したときに、その識別した画像が本当に風景画像である確率を示すものである。
【００５７】
図１２から分かる通り、肯定閾値を大きくするほど、Precisionが大きくなる。このため、肯定閾値を大きくするほど、例えば風景のシーンに属すると識別された画像が風景画像である確率が高くなる。つまり、肯定閾値を大きくするほど、誤識別の確率が低くなる。
【００５８】
一方、肯定閾値を大きくするほど、Recallは小さくなる。この結果、例えば、風景画像を風景識別器５１Ｌで識別した場合であっても、風景のシーンに属すると正しく識別しにくくなる。ところで、識別対象画像が風景のシーンに属すると識別できれば（Ｓ２０４でＹＥＳ）、残りの別のシーン（夕景など）の識別を行わないようにして全体識別処理の速度を速めている。このため、肯定閾値を大きくするほど、全体識別処理の速度は低下することになる。また、全体識別処理によってシーンが識別できれば部分識別処理を行わないようにしてシーン識別処理の速度を速めているため（Ｓ１０４）、肯定閾値を大きくするほど、シーン識別処理の速度は低下することになる。
【００５９】
つまり、肯定閾値が小さすぎると誤識別の確率が高くなり、大きすぎると処理速度が低下することになる。本実施形態では、正答率（Precision）を９７．５％に設定するため、風景の肯定閾値は１．２７に設定されている。
【００６０】
判別式の値が肯定閾値より大きければ（Ｓ２０４でＹＥＳ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ２０５）。「肯定フラグを立てる」とは、図１１の「肯定」欄を１にすることである。この場合、全体識別器５０は、次のサブ識別器５１による識別を行わずに全体識別処理を終了する。例えば、風景画像であると識別できれば、夕景などの識別を行わずに、全体識別処理を終了する。この場合、次のサブ識別器５１による識別を省略しているので、全体識別処理の速度を速めることができる。
判別式の値が肯定閾値より大きくなければ（Ｓ２０４でＮＯ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ２０６の処理を行う。
【００６１】
次にサブ識別器５１は、判別式の値と否定閾値とを比較する（Ｓ２０６）。これにより、サブ識別器５１は、識別対象画像が所定のシーンに属しないかを判断する。このような判断としては、２種類ある。第１に、ある特定のシーンのサブ識別器５１の判別式の値が第１否定閾値よりも小さければ、その特定のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第１否定閾値よりも小さければ、識別対象画像が風景のシーンに属しないと判断されることになる。第２に、ある特定のシーンのサブ識別器５１の判別式の値が第２否定閾値よりも大きければ、その特定のシーンとは別のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第２否定閾値よりも大きければ、識別対象画像が夜景のシーンに属しないと判断されることになる。
【００６２】
図１４は、第１否定閾値の説明図である。同図において、横軸は第１否定閾値を示し、縦軸は確率を示す。グラフの太線は、True Negative Recallのグラフであり、風景画像以外の画像を風景画像ではないと正しく識別する確率を示している。グラフの細線は、False Negative Recallのグラフであり、風景画像なのに風景画像ではないと誤って識別する確率を示している。
【００６３】
図１４から分かる通り、第１否定閾値を小さくするほど、False Negative Recallが小さくなる。このため、第１否定閾値を小さくするほど、例えば風景のシーンに属しないと識別された画像が風景画像である確率が低くなる。つまり、誤識別の確率が低くなる。
【００６４】
一方、第１否定閾値を小さくするほど、True Negative Recallも小さくなる。この結果、風景画像以外の画像を風景画像ではないと識別しにくくなる。その一方、識別対象画像が特定のシーンでないことを識別できれば、部分識別処理の際に、その特定のシーンのサブ部分識別器６１による処理を省略してシーン識別処理速度を速めている（後述、図１７のＳ３０２）。このため、第１否定閾値を小さくするほど、シーン識別処理速度は低下する。
【００６５】
つまり、第１否定閾値が大きすぎると誤識別の確率が高くなり、小さすぎると処理速度が低下することになる。本実施形態では、False Negative Recallを２．５％に設定するため、第１否定閾値は−１．１０に設定されている。
【００６６】
ところで、ある画像が風景のシーンに属する確率が高ければ、必然的にその画像が夜景のシーンに属する確率は低くなる。このため、風景識別器５１Ｌの判別式の値が大きい場合には、夜景ではないと識別できる場合がある。このような識別を行うために、第２否定閾値が設けられている。
【００６７】
図１５は、第２否定閾値の説明図である。同図において、横軸は風景の判別式の値を示し、縦軸は確率を示す。同図には、図１２のRecallとPrecisionのグラフとともに、夜景のRecallのグラフが点線で描かれている。この点線のグラフに注目すると、風景の判別式の値が−０．４５よりも大きければ、その画像が夜景画像である確率は２．５％である。言い換えると、風景の判別式の値が−０．４５よりも大きい場合にその画像が夜景画像でないと識別しても、誤識別の確率は２．５％にすぎない。そこで、本実施形態では、第２否定閾値が−０．４５に設定されている。
【００６８】
そして、判別式の値が第１否定閾値より小さい場合、又は、判別式の値が第２否定閾値より大きい場合（Ｓ２０６でＹＥＳ）、サブ識別器５１は、識別対象画像が所定のシーンに属しないと判断し、否定フラグを立てる（Ｓ２０７）。「否定フラグを立てる」とは、図１１の「否定」欄を１にすることである。例えば、第１否定閾値に基づいて識別対象画像が風景のシーンに属しないと判断された場合、「風景」欄の「否定」欄が１になる。また、第２否定閾値に基づいて識別対象画像が夜景のシーンに属しないと判断された場合、「夜景」欄の「否定」欄が１になる。
【００６９】
図１６Ａは、閾値テーブルの説明図である。この閾値テーブルは、記憶部３１に記憶されていても良いし、全体識別処理を実行させるプログラムの一部に組み込まれていても良い。閾値テーブルには、前述の肯定閾値や否定閾値に関するデータが格納されている。
【００７０】
図１６Ｂは、上記で説明した風景識別器５１Ｌにおける閾値の説明図である。風景識別器５１Ｌには、肯定閾値及び否定閾値が予め設定されている。肯定閾値として１．２７が設定されている。否定閾値には第１否定閾値と第２否定閾値とがある。第１否定閾値として−１．１０が設定されている。また、第２否定閾値として、風景以外の各シーンにそれぞれ値が設定されている。
【００７１】
図１６Ｃは、上記で説明した風景識別器５１Ｌの処理の概要の説明図である。ここでは、説明の簡略化のため、第２否定閾値については夜景についてのみ説明する。風景識別器５１Ｌは、判別式の値が１．２７よりも大きければ（Ｓ２０４でＹＥＳ）、識別対象画像が風景のシーンに属すると判断する。また、判別式の値が１．２７以下であり（Ｓ２０４でＮＯ）、−０．４５よりも大きければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が夜景のシーンに属しないと判断する。また、判別式の値が−１．１０よりも小さければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が風景のシーンに属しないと判断する。なお、風景識別器５１Ｌは、夕景や花や紅葉についても、第２否定閾値に基づいて、識別対象画像がそのシーンに属しないかを判断する。但し、これらの第２否定閾値は肯定閾値よりも大きいため、識別対象画像がこれらのシーンに属しないことを風景識別器５１Ｌが判断することはない。
【００７２】
Ｓ２０２においてＮＯの場合、Ｓ２０６でＮＯの場合、又はＳ２０７の処理を終えた場合、全体識別器５０は、次のサブ識別器５１の有無を判断する（Ｓ２０８）。ここでは風景識別器５１Ｌによる処理を終えた後なので、全体識別器５０は、Ｓ２０８において、次のサブ識別器５１（夕景識別器５１Ｓ）があると判断する。
【００７３】
そして、Ｓ２０５の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ２０８において次のサブ識別器５１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、全体識別器５０は、全体識別処理を終了する。
【００７４】
なお、既に説明した通り、全体識別処理が終了すると、シーン識別部３３は、全体識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０４）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これによりシーン識別処理の速度が速くなる。
【００７５】
ところで、上記の説明には無いが、全体識別器５０は、サブ識別器５１によって判別式の値を算出したときには、判別式の値に対応するPrecisionを、確信度に関する情報として結果記憶部３１Ｂに記憶する。もちろん、判別式の値そのものを確信度に関する情報として記憶しても良い。
【００７６】
＝＝＝部分識別処理＝＝＝
図１７は、部分識別処理のフロー図である。部分識別処理は、全体識別処理によってシーンの識別ができなかった場合（図８のＳ１０４でＮＯ）に行われる。以下に説明するように、部分識別処理は、分割された部分画像のシーンをそれぞれ識別することによって、画像全体のシーンを識別する処理である。ここでは、図９も参照しながら部分識別処理について説明する。
【００７７】
まず、部分識別器６０は、複数のサブ部分識別器６１の中から１つのサブ部分識別器６１を選択する（Ｓ３０１）。部分識別器６０には、サブ部分識別器６１が３つ設けられている。各サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像がそれぞれ特定のシーンに属するか否かを識別する。ここでの３つのサブ部分識別器６１は、それぞれ、夕景、花、紅葉のシーンを識別する。ここでは、部分識別器６０は、夕景→花→紅葉の順に、サブ部分識別器６１を選択する（なお、サブ部分識別器６１の選択順序については、後述する）。このため、最初には、部分画像が夕景のシーンに属するか否かを識別するサブ部分識別器６１（夕景部分識別器６１Ｓ）が選択される。
【００７８】
次に、部分識別器６０は、識別対象テーブル（図１１）を参照し、選択したサブ部分識別器６１を用いてシーンを識別すべきか否かを判断する（Ｓ３０２）。ここでは、部分識別器６０は、識別対象テーブルにおける「夕景」欄の「否定」欄を参照し、ゼロであればＹＥＳと判断し、１であればＮＯと判断する。なお、全体識別処理の際に、夕景識別器５１Ｓが第１否定閾値により否定フラグを立てたとき、又は、他のサブ識別器５１が第２否定閾値により否定フラグを立てたとき、このＳ３０２でＮＯと判断される。仮にＮＯと判断されると夕景の部分識別処理は省略されることになるので、部分識別処理の速度が速くなる。但し、ここでは説明の都合上、ＹＥＳと判断されるものとする。
【００７９】
次に、サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像の中から、1つの部分画像を選択する（Ｓ３０３）。
図１８は、夕景部分識別器６１Ｓが選択する部分画像の順番の説明図である。部分画像から画像全体のシーンを特定するような場合、識別に用いられる部分画像は被写体が存在する部分であることが望ましい。そこで、本実施形態では、数千枚のサンプルの夕景画像を用意し、各夕景画像を８×８の６４ブロックに分割し、夕景部分画像（夕景の太陽と空の部分画像）を含むブロックを抽出し、抽出されたブロックの位置に基づいて各ブロックにおける夕景部分画像の存在確率を算出した。そして、本実施形態では、存在確率の高いブロックから順番に、部分画像が選択される。なお、図に示す選択順序の情報は、プログラムの一部としてメモリ２３に格納されている。
【００８０】
なお、夕景画像の場合、画像の中央付近から上半分に夕景の空が広がっていることが多いため、中央付近から上半分のブロックにおいて存在確率が高くなる。また、夕景画像の場合、画像の下１／３では逆光で陰になり、部分画像単体では夕景か夜景か区別がつかないことが多いため、下１／３のブロックにおいて存在確率が低くなる。花画像の場合、花を中央に配置させる構図にすることが多いため、中央付近における花部分画像の存在確率が高くなる。
【００８１】
次に、サブ部分識別器６１は、選択された部分画像の部分特徴量に基づいて、その部分画像が特定のシーンに属するか否かを判断する（Ｓ３０４）。サブ部分識別器６１には、全体識別器５０のサブ識別器５１と同様に、サポートベクタマシン（ＳＶＭ）による判別手法が用いられている。なお、サポートベクタマシンについては、後述する。判別式の値が正の値であれば、部分画像が特定のシーンに属すると判断し、サブ部分識別器６１は正カウント値をインクリメントする。また、判別式の値が負の値であれば、部分画像が特定のシーンに属しないと判断し、サブ部分識別器６１は負カウント値をインクリメントする。
【００８２】
次に、サブ部分識別器６１は、正カウント値が肯定閾値よりも大きいか否かを判断する（Ｓ３０５）。なお、正カウント値は、特定のシーンに属すると判断された部分画像の数を示すものである。正カウント値が肯定閾値よりも大きければ（Ｓ３０５でＹＥＳ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ３０６）。この場合、部分識別器６０は、次のサブ部分識別器６１による識別を行わずに部分識別処理を終了する。この場合、次のサブ部分識別器６１による識別を省略しているので、部分識別処理の速度を速めることができる。
正カウント値が肯定閾値より大きくなければ（Ｓ３０５でＮＯ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ３０７の処理を行う。
【００８３】
サブ部分識別器６１は、正カウント値と残りの部分画像数との和が肯定閾値よりも小さければ（Ｓ３０７でＹＥＳ）、Ｓ３０９の処理へ進む。正カウント値と残りの部分画像数との和が肯定閾値よりも小さい場合、残り全ての部分画像によって正カウント値がインクリメントされても、正カウント値が肯定閾値よりも大きくなることがないので、Ｓ３０９に処理を進めることによって、残りの部分画像についてサポートベクタマシンによる識別を省略する。これにより識別処理の速度を速めることができる。
【００８４】
サブ部分識別器６１がＳ３０７でＮＯと判断した場合、サブ部分識別器６１は、次の部分画像の有無を判断する（Ｓ３０８）。なお、本実施形態では、６４個に分割された部分画像の全てを順に選択していない。図１８において、太枠で示された上位１０番目までの１０個の部分画像だけを順に選択している。このため、１０番目の部分画像の識別を終えれば、サブ部分識別器６１は、Ｓ３０８において次の部分画像はないと判断する（この点を考慮して、Ｓ３０７の「残り部分画像数」も決定される。）。
【００８５】
図１９は、６４個に分割された部分画像のうち、上位１０番目までの１０個の部分画像だけで夕景画像を識別したときのRecall及びPrecisionのグラフである。図に示すような肯定閾値を設定すれば、正答率（Precision）を８０％程度に設定でき、再現率（Recall）を９０％程度に設定でき、精度の高い識別が可能である。
【００８６】
本実施形態では、１０個の部分画像だけで夕景画像の識別を行っている。このため、本実施形態では、６４個の全ての部分画像を用いて夕景画像の識別を行うよりも、部分識別処理の速度を速めることができる。
【００８７】
また、本実施形態では、夕景部分画像の存在確率の高い上位１０番目の部分画像を用いて夕景画像の識別を行っている。このため、本実施形態では、存在確率を無視して抽出された１０個の部分画像を用いて夕景画像の識別を行うよりも、RecallやPrecisionをともに高く設定することが可能になる。
【００８８】
また、本実施形態では、夕景部分画像の存在確率の高い順に部分画像を選択している。この結果、早い段階でＳ３０５の判断がＹＥＳになりやすくなる。このため、本実施形態では、存在確率の高低を無視した順で部分画像を選択したときよりも、部分識別処理の速度を速めることができる。
【００８９】
Ｓ３０７においてＹＥＳと判断された場合、又は、Ｓ３０８において次の部分画像がないと判断された場合、サブ部分識別器６１は、負カウント値が否定閾値よりも大きいか否かを判断する（Ｓ３０９）。この否定閾値は、前述の全体識別処理における否定閾値（図１０のＳ２０６）とほぼ同様の機能を果たすものなので、詳しい説明は省略する。Ｓ３０９でＹＥＳと判断された場合、図１０のＳ２０７と同様に否定フラグを立てる。
【００９０】
Ｓ３０２においてＮＯの場合、Ｓ３０９でＮＯの場合、又はＳ３１０の処理を終えた場合、部分識別器６０は、次のサブ部分識別器６１の有無を判断する（Ｓ３１１）。夕景部分識別器６１Ｓによる処理を終えた後の場合、サブ部分識別器６１として花部分識別器６１Ｆや紅葉部分識別器６１Ｒがまだあるので、部分識別器６０は、Ｓ３１１において、次のサブ部分識別器６１があると判断する。
【００９１】
そして、Ｓ３０６の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ３１１において次のサブ部分識別器６１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、部分識別器６０は、部分識別処理を終了する。
【００９２】
なお、既に説明した通り、部分識別処理が終了すると、シーン識別部３３は、部分識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０６）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
【００９３】
ところで、上記の説明では、夕景部分識別器６１Ｓは、１０個の部分画像を用いて夕景画像の識別を行っているが、識別に用いられる部分画像の数は１０個に限られるものではない。また、他のサブ部分識別器６１が、夕景部分識別器６１Ｓとは異なる数の部分画像を用いて画像を識別しても良い。本実施形態では、花部分識別器６１Ｆは２０個の部分画像を用いて花画像を識別し、また、紅葉部分識別器６１Ｒは、１５個の部分画像を用いて紅葉画像を識別するものとする。
【００９４】
＝＝＝サポートベクタマシン＝＝＝
統合識別処理について説明する前に、全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１において用いられているサポートベクタマシン（ＳＶＭ）について説明する。
【００９５】
図２０Ａは、線形サポートベクタマシンによる判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。学習用サンプルは２つのクラスＡ、Ｂに分けられている。図中では、クラスＡに属するサンプルは丸で示されており、クラスＢに属するサンプルは四角で示されている。
【００９６】
学習用サンプルを用いた学習によって、２次元空間を２つに分ける境界が定義される。境界は、＜ｗ・ｘ＞＋ｂ＝０で定義される（なお、ｘ＝（ｘ１，ｘ２）であり、ｗは重みベクトルであり、＜ｗ・ｘ＞はｗとｘの内積である）。但し、境界は、マージンが最大になるように、学習用サンプルを用いた学習によって定義される。つまり、図の場合、境界は、太点線ではなく、太実線のようになる。
【００９７】
判別は、ｆ（ｘ）＝＜ｗ・ｘ＞＋ｂを用いて行われる。ある入力ｘ（この入力ｘは、学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。
ここでは２次元空間を用いて説明しているが、これには限定されない（つまり特徴量は２以上でも良い）。この場合、境界は超平面で定義される。
【００９８】
ところで、２つのクラスに線形関数で分離できないことがある。このような場合に線形サポートベクタマシンによる判別を行うと、判別結果の精度が低下する。そこで、入力空間の特徴量を非線形変換すれば、すなわち入力空間からある特徴空間へ非線形写像すれば、特徴空間において線形関数で分離することができるようになる。非線形サポートベクタマシンでは、これを利用している。
【００９９】
図２０Ｂは、カーネル関数を用いた判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。図２０Ｂの入力空間からの非線形写像が図２０Ａのような特徴空間になれば、線形関数で２つのクラスに分離することが可能になる。この特徴空間においてマージンが最大になるように境界が定義されれば、特徴空間における境界の逆写像が、図２０Ｂに示す境界になる。この結果、図２０Ｂに示すように、境界は非線形になる。
【０１００】
本実施形態では、ガウスカーネルを利用することにより、判別式ｆ（ｘ）は次式のようになる（なお、Ｍは特徴量の数であり、Ｎは学習用サンプルの数（若しくは境界に寄与する学習用サンプルの数）であり、ｗｉは重み係数であり、ｙｉは学習用サンプルの特徴量であり、ｘｉは入力ｘの特徴量である）。
【数１】
【０１０１】
ある入力ｘ（この入力ｘは学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。また、ｆ（ｘ）の値が大きい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が高くなる。逆に、判別式ｆ（ｘ）の値が小さい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が低くなる。前述の全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１では、上記のサポートベクタマシンの判別式ｆ（ｘ）の値を用いている。サポートベクタマシンによる判別式ｆ（ｘ）の値の算出には、学習用サンプルの数（本実施形態では数万個）が多くなると時間がかかる。このため、判別式ｆ（ｘ）の値を複数回算出する必要があるサブ部分識別器６１は、判別式ｆ（ｘ）の値を１回算出すれば済むサブ識別器５１よりも処理時間がかかる。
【０１０２】
なお、学習用サンプルとは別に評価用サンプルが用意されている。前述のRecallやPrecisionのグラフは、評価用サンプルに対する識別結果（判別式ｆ（ｘ）の値）に基づくものである。
【０１０３】
＝＝＝統合識別処理＝＝＝
前述の全体識別処理や部分識別処理では、サブ識別器５１やサブ部分識別器６１における肯定閾値を比較的高めに設定し、Precision（正解率）を高めに設定している。なぜならば、例えば全体識別器５１の風景識別器５１Ｌの正解率が低く設定されると、風景識別器５１が紅葉画像を風景画像であると誤識別してしまい、紅葉識別器５１Ｒによる識別を行う前に全体識別処理を終えてしまう事態が発生してしまうからである。本実施形態では、Precision（正解率）が高めに設定されることにより、特定のシーンに属する画像が特定のシーンのサブ識別器５１（又はサブ部分識別器６１）に識別されるようになる（例えば、紅葉画像が紅葉識別器５１Ｒ（又は紅葉部分識別器６１Ｒ）によって識別されるようになる）。
【０１０４】
但し、全体識別処理や部分識別処理のPrecision（正解率）を高めに設定すると、全体識別処理や部分識別処理ではシーンの識別ができなくなる可能性が高くなる。そこで、本実施形態では、全体識別処理及び部分識別処理によってシーンの識別ができなかった場合、以下に説明する統合識別処理が行われる。
【０１０５】
図２１は、統合識別処理のフロー図である。以下に説明するように、統合識別処理は、全体識別処理の各サブ識別器５１の判別式の値に基づいて、最も確信度の高いシーンを選択する処理である。
【０１０６】
まず、統合識別器７０は、５つのサブ識別器５１の判別式の値に基づいて、正となるシーンを抽出する（Ｓ４０１）。このとき、全体識別処理の際に各サブ識別器５１が算出した判別式の値が用いられる。
【０１０７】
次に、統合識別器７０は、判別式の値が正のシーンが存在するか否かを判断する（Ｓ４０２）。判別式の値が正のシーンが存在する場合（Ｓ４０２でＹＥＳ）、最大値のシーンの欄に肯定フラグを立てて（Ｓ４０３）、統合識別処理を終了する。これにより、最大値のシーンに識別対象画像が属すると判断される。
【０１０８】
一方、判別式の値が正であるシーンが存在しない場合（Ｓ４０２でＮＯ）、肯定フラグを立てずに、統合識別処理を終了する。これにより、図１１の識別対象テーブルの肯定欄において、１のシーンが無いままの状態になる。つまり、識別対象画像が、どのシーンに属するか識別できなかったことになる。
【０１０９】
なお、既に説明した通り、統合識別処理が終了すると、シーン識別部３３は、統合識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０８）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。Ｓ４０２でＮＯとの判断の場合、Ｓ１０８の判断もＮＯになる。
【０１１０】
＝＝＝第１実施形態＝＝＝
＜概要＞
既に説明した通り、プリンタ側コントローラ２０の要素である全体識別器５０は５つのサブ識別器５１（風景識別器５１Ｌ、夕景識別器５１Ｓ、夜景識別器５１Ｎ、花識別器５１Ｆ、紅葉識別器５１Ｒ）を有しており、全体識別処理の際に、サブ識別器５１を順に選択していく。サブ識別器５１を選択する順序として、前述したように風景→夕景→夜景→花→紅葉の順序がデフォルトとして、例えばシーン識別プログラムに予め設定されている。そして、あるサブ識別器による識別処理で画像の属するシーンが特定された場合、まだ行われていない識別処理が省略される。このようにして、識別処理の処理速度を速めるようにしている。
【０１１１】
しかし、サブ識別器５１の選択の順序が常に固定であると、識別処理の速度が低下するおそれがある。例えば、識別処理の順序が上述した順序（デフォルト）である場合に、付加データに「夜景」を示すシーン情報が含まれた画像データの識別処理を行うとする。この場合、画像データの示す画像は「夜景」のシーンに属している可能性が高いにもかかわらず、「夜景」のシーンの識別処理は、「風景」のシーンの識別処理、及び「夕景」のシーンの識別処理の後に行われる。言い換えれば、「夜景」のシーンに属している確率が高い画像の識別処理を行う際に、「夜景」のシーンの識別処理よりも先に「風景」の識別処理及び「夕景」の識別処理を行わなければならないことになる。
【０１１２】
そこで、本実施形態では、全体識別器５０は、画像データに付加される付加データのシーン情報に応じて、各シーンのサブ識別器の選択順序をデフォルトから変更する。すなわち、各シーンの識別処理の順序を変更する。これにより、識別処理の速度の向上を図ることができる。第１実施形態では、付加データのＥｘｉｆＳｕｂＩＦＤ領域に格納された撮影シーンタイプデータ（図５参照）に応じて、識別処理の順序を変更する。
【０１１３】
＜撮影シーンタイプデータについて＞
前述したように、ＥｘｉｆＳｕｂＩＦＤ領域の撮影シーンタイプデータとしては、「標準」を意味する「ゼロ」、「人物」を意味する「２」、「風景」を意味する「１」、「夜景」を意味する「３」の４種類がある。
【０１１４】
図５に示すように、デジタルスチルカメラ２による撮影時にモード設定ダイヤル２Ａが「オート」、「花」、「スポーツ」、「夕景」の何れかに設定された場合には、ＥｘｉｆＳｕｂＩＦＤ領域に格納される撮影シーンタイプデータは「標準」を意味する「ゼロ」となる。よって、撮影シーンタイプデータが「ゼロ」の場合、識別対象画像がどのシーンに属する確率が高いかを判断することができない。従って、この場合、サブ識別器５１の選択の順序はデフォルトのままとする。
【０１１５】
撮影シーンタイプデータが「１」の場合は、識別対象画像が「風景」のシーンである確率が高い。しかし、前述したように、デフォルトの選択順序において、風景のサブ識別器５１が最初に選択されるようになっている。よって、この場合、サブ識別器５１の選択の順序を変更する必要が無いので、この場合もサブ識別器５１の選択の順序はデフォルトのままとする。
【０１１６】
また、撮影シーンタイプデータが「２」の場合は、識別対象画像が「人物」のシーンである確率が高い。しかし、全体識別器５０のサブ識別器５１には「人物」のシーンに対応するサブ識別器が設けられていない。よって、この場合もサブ識別器５１の選択の順序はデフォルトのままとする。なお、撮影シーンタイプデータが「２」の場合は、顔識別部３２によって、識別対象画像が「人物」のシーンであると識別される可能性が高い。そして、顔識別部３２によって識別対象画像が「人物」のシーンである特定された場合には、シーン識別部３３による識別処理は行われないことになる。
【０１１７】
撮影シーンタイプデータが「３」の場合は、撮影時にモード設定ダイヤル２Ａが「夜景」に設定されていることになり、識別対象画像が「夜景」のシーンに属している確率が高い。この場合に、「夜景」のシーンの識別処理の順番を先にするようにすれば、識別の速度の高速化が図れる。
【０１１８】
従って、第１実施形態において識別処理の順序を変更する対象となるのは、撮影シーンタイプデータが「３」の場合である。そして、この場合に、「夜景」のシーンの識別処理の順番を先にするようにサブ識別器５１の識別処理の順序を変更する。以下、その処理について説明する。
【０１１９】
＜サブ識別器の選択順序について＞
図２２は、選択順序決定処理のフロー図である。また、図２３は、選択順序を変更する一例について示した図である。
まず、全体識別器５０は、識別処理を行う際に、画像データと対応して付加情報記憶部３１Ａ´に格納された付加データを読み出す。そして、付加データからＥｘｉｆＳｕｂＩＦＤ領域の撮影シーンタイプデータ（シーン情報に相当する）を取得する（Ｓ５０１）。そして、全体識別器５０は、取得した撮影シーンタイプデータが特定のシーンを示すものであるか否かを判断する（Ｓ５０２）。本実施形態の場合、「夜景」を意味する「３」であるか否かを判断する。
【０１２０】
全体識別器５０は、取得した撮影シーンタイプデータが「３」でないと判断した場合（Ｓ５０２でＮＯ）、つまり撮影シーンタイプデータが「ゼロ」、「１」、「２」の何れかであると判断した場合には、サブ識別器５１の選択順序の変更を行わない。よって、この場合、図２３のデフォルトの順序（風景→夕景→夜景→花→紅葉）によってサブ識別器５１を選択する（Ｓ５０３）。
【０１２１】
一方、全体識別器５０は、取得した撮影シーンタイプデータが「３」であると判断した場合（Ｓ５０２でＹＥＳ）、「夜景」のシーンに対応する識別処理の順番を先にする（Ｓ５０４）。例えば、「夜景」のシーンに対応する夜景識別器５１Ｎの識別処理を複数の識別処理のうちの最初に行うように識別処理の順序を変更する。つまり、図２３のように、サブ識別器５１の選択順序を風景→夕景→夜景→花→紅葉（デフォルト）から、夜景→風景→夕景→花→紅葉の順に変更する。撮影シーンタイプデータが「３」の場合、画像が「夜景」のシーンに属している確率が高いので、夜景識別器５１Ｎの識別処理によって識別対象画像が「夜景」のシーンであると特定される確率が高い。つまり、このように撮影シーンタイプデータに応じて識別処理の順序を変更することで、最初の識別処理で画像の属するシーンが特定されて、後段の識別処理を省略できる確率が高くなる。よって識別処理の速度の向上を図ることができる。
【０１２２】
なお、撮影シーンタイプデータに対応するシーンの識別処理の順番を、所定数（例えば１つ）先にするようにしてもよい。例えば、撮影シーンタイプデータが「３」の場合、「夜景」のシーンに対応する夜景識別器５１Ｎの識別処理を、前段の「夕景」のシーンに対応する夕景識別器５１Ｓの識別処理よりも先に行うように順序を変更してもよい。この場合においても、順序を変更しない場合に比べて、識別処理の速度の向上を図ることが可能である。
【０１２３】
ところで、全体識別器５０の「夜景」のシーンの識別処理において、図１６Ａの閾値テーブルに示すように肯定閾値として１．１４が設けられている。この肯定閾値は、前述したように、高めに設定されている。このため、「夜景」のシーンの画像であっても、夜景識別器５１Ｎのサポートベクタマシンで算出された判別式の値が１．１４以下となって、「夜景」のシーンに属すると判断されない場合があると考えられる。しかし、「夜景」のシーンの画像であれば、算出された判別式が肯定閾値を超えないとしても、肯定閾値に近い値となる確率が高い。このことにより、この判別式によって、識別対象画像が夜景のシーン以外のシーンに属さないことを識別して、後段の識別処理を省略することができる。例えば、図１６Ａの閾値テーブルに示すように、夜景識別器５１Ｎにおける風景の第２否定閾値として−０．７３、夕景の第２否定閾値として１．３０、花の第２否定閾値として−０．５７、紅葉の第２否定閾値として−０．６４がそれぞれ設定されている。よって、夜景識別器５１Ｎの識別処理で算出された判別式の値が、−０．５７以上（例えば正の値）であると、識別対象画像が「風景」、「花」、「紅葉」のシーンには属さないと判断できる。よって、この場合、「風景」、「花」、「紅葉」のシーンの識別処理を省略することができる。このように撮影シーンタイプデータに対応するシーンの識別処理を最初に行うことによって、そのシーンとは別のシーンに対する識別処理を省略できる可能性が高くなる。これにより、シーンの識別処理の速度を向上させることができる。
【０１２４】
＝＝＝第２実施形態＝＝＝
前述の第１実施形態では、撮影シーンタイプデータの示すシーンに対応する識別処理の順番を先にするように選択順序を変更することとしたが、撮影シーンタイプデータの示すシーンに応じて、そのシーン以外のシーンの識別処理の順番を変更するようにしてもよい。例えば、第１実施形態において撮影シーンタイプデータが「３」の場合、「夜景」のシーンに特徴の近いシーン（例えば「夕景」のシーン）の順番を先にするようにしてもよい。つまり、第１実施形態では選択順序を夜景→風景→夕景→花→紅葉に変更したが、さらに「夕景」のシーンの順番を（例えば１つ）先にするようにしてもよい。その場合、選択順序は、夜景→夕景→風景→花→紅葉の順になる。つまり「夜景」のシーンと特徴の近い「夕景」のシーンの識別処理が、「夜景」のシーンと特徴の異なる「風景」のシーンの識別処理よりも先に行われる。これにより、画像の属するシーンの特定される可能性の高い識別処理を先に行うことができ、後段の識別処理を省略できる確率が高くなる。よって識別処理の速度の向上を図ることができる。
【０１２５】
また、逆に、撮影シーンタイプデータの示すシーンに応じて、そのシーンとは特徴の異なるシーンの識別処理の順番を後にするようにしてもよい。例えば、前述した撮影シーンタイプデータが「３」の場合、「夜景」のシーンと特徴の異なるシーン（例えば「花」のシーン）の順番を後にするようにしてもよい。これにより、画像の属するシーンが特定される可能性の低い識別処理を後回しにすることができるので識別処理の速度の向上を図ることができる。
【０１２６】
第１実施形態では撮影シーンタイプデータが「３」の場合のみサブ識別器５１の選択順序を変更することとしたが、この第２実施形態の場合、撮影シーンタイプデータが「１」及び「２」の場合でも選択順序を変更することができる。すなわち、撮影シーンタイプデータが「１」である場合には、全体識別器５０の識別対象となるシーンのうち、「風景」のシーンに特徴が近いシーンの順番を先にするようにすればよい。あるいは「風景」のシーンと特徴が異なるシーンの順番を後にするようにしてもよい。撮影シーンタイプデータが「２」の場合も同様である。なお、撮影シーンタイプデータのシーンに応じて、順番を変更する識別処理については、各シーンの特徴に基づいて、例えばシーン識別プログラムに設定しておけばよい。
【０１２７】
＝＝＝第３実施形態＝＝＝
＜概要＞
前述した実施形態では、画像データに付加される付加データのうちの撮影シーンタイプデータを用いていた。この、撮影シーンタイプデータは、規格化されたデータであるため、対応するシーンが「人物」、「風景」及び「夜景」のみと限定的であった。そのため、部分識別器６０には対応するシーンが無く、全体識別器５０のみの識別順序を変更していた。
【０１２８】
そこで、第３実施形態では、ＭａｋｅｒｎｏｔｅＩＦＤ領域に格納される撮影モードデータ（図５参照）を用いることにする。撮影モードデータは、メーカがデータの種類を自由に定義できるので、対応するシーンの種類を多くすることができる。但し、撮影モードデータは、メーカ毎に形式が異なるＭａｋｅｒｎｏｔｅデータであるため、プリンタ側コントローラ２０には、ＭａｋｅｒｎｏｔｅＩＦＤ領域のデータの格納形式を解析するための解析プログラムが必要となる。
【０１２９】
＜サブ識別器の選択順序について＞
本実施形態では、図５に示すように、デジタルスチルカメラ２のモード設定ダイヤル２Ａの各設定と、各撮影モードデータとが対応している。すなわち、撮影モードデータの「１」は「人物」のシーン、「２」は「風景」のシーン、「３」は「花」のシーン、「４」は「スポーツ」のシーン、「５」は「夕景」のシーン、「６」は「夜景」のシーンとそれぞれ対応している。例えば、撮影モードデータが「３」の場合、モード設定ダイヤル２Ａの設定が「花」で撮影された画像であり、識別対象画像が「花」のシーンを示す画像である確率が高いことになる。
【０１３０】
なお、撮影モードデータが「０」の場合は、モード設定ダイヤル２Ａの設定が「オート」で撮影された画像であるので、このデータからは識別対象画像がどのシーンを示すものであるかを判断することができない。また、図５では、撮影モードデータに「紅葉」を意味するデータは設定されていない。また、シーン識別部３３には、撮影モードデータが「１」と「４」、すなわち「人物」と「スポーツ」のシーンに対応するサブ識別器（サブ識別器５１、サブ部分識別器６１）は設けられていない。
【０１３１】
従って、図５の撮影モードデータのうち、シーン識別部３３における識別の対象となるのは、撮影モードデータが「風景」を意味する「２」、「花」を意味する「３」、「夕景」を意味する「５」、夜景を意味する「６」の各場合である。以下、シーン識別部３３における識別処理の順序を変更する場合の一例として、撮影モードデータが「花」を意味する「３」である場合について説明する。なお、シーン識別部３３において、全体識別器５０は「花」のシーンの識別を行うサブ識別器５１（花識別器５１Ｆ）を有しており、部分識別器６０は「花」のシーンの識別を行うサブ部分識別器６１（花部分識別器６１Ｆ）を有している。そして、全体識別器５０では、識別処理の順序として、風景→夕景→夜景→花→紅葉の順序がデフォルトとして設定されている。この全体識別器５０によって画像の属するシーンが特定できなない場合、部分識別器６０による部分識別処理が行われる。部分識別器６０では、識別処理の順序として、夕景→花→紅葉の順序がデフォルトとして設定されている。
【０１３２】
(全体識別器)
まず、全体識別器５０は、識別処理を行う際に、画像データと対応して付加情報記憶部３１Ａ´に格納された付加データを読み出す。そして、付加データからＭａｋｅｒｎｏｔｅＩＦＤ領域に格納された撮影モードデータ（シーン情報に相当する）を取得し、その内容を解析する。そして、全体識別器５０は、解析した撮影モードデータが特定のシーンを示すものであるか否かを判断する。本実施形態の場合、撮影モードデータが前述した「２」、「３」、「５」、「６」の何れかであるか否かを判断する。なお、全体識別器５０において、「風景」のシーンの識別処理はデフォルトで最初に行われるようになっているので、「２」の撮影モードデータは対象外にするようにしてもよい。
【０１３３】
全体識別器５０は、得られた撮影モードデータが上述した値でないと判断した場合、つまり、撮影モードデータが「ゼロ」、「１」、「４」の何れかであると判断した場合には、サブ識別器５１の選択順序の変更は行わない。よって、この場合、全体識別器５０は、デフォルトの順序（風景→夕景→夜景→花→紅葉）でサブ識別器５１を選択することになる。
【０１３４】
一方、全体識別器５０は、得られた撮影モードデータが「２」、「３」、「５」、「６」の何れかであると判断した場合、そのシーンに対応する識別処理を最初に行うように順序を変更する。本実施形態では、前述したように撮影モードデータが「３」であるので、全体識別器５０は、花識別器５１Ｆの識別処理を最初に行うように識別処理の順序を変更する。つまり、サブ識別器５１の選択順序を、デフォルトの風景→夕景→夜景→花→紅葉から、花→風景→夕景→夜景→紅葉の順に変更する。撮影モードデータが「３」の場合、その画像は「花」のシーンに属している確率が高いので、花識別器５１Ｆの識別処理によって識別対象画像が「花」のシーンであると特定される確率が高い。そして、花識別器５１Ｆによって識別対象画像が「花」のシーンに属すると判断されれば以下の識別処理は省略される。よって、識別処理の速度の向上を図ることができる。
【０１３５】
なお、第２実施形態と同様にして、花のシーンに特徴の近いシーンの順番を先にするようにしてもよい。
【０１３６】
(部分識別器)
全体識別器５０によって識別対象画像の属するシーンが識別されなかった場合には、部分識別器６０による識別処理が行われる（図８、図９参照）。部分識別器６０では、識別処理の順序として、夕景→花→紅葉がデフォルトとして設定されている。
【０１３７】
部分識別器６０は、取得した撮影モードデータが特定のシーンを示すものであるか否かを判断する。本実施形態の場合、部分識別器６０では「夕景」の識別処理がデフォルトで最初に行われることになっており、また「紅葉」の識別処理に対応する撮影シータイプデータが設定されていない。よって、部分識別器６０は、撮影モードデータが「花」を意味する「３」であるか否かを判断する。そして、部分識別器６０は、撮影シーンタイプデータが「３」でないと判断した場合には、デフォルトの順序（夕景→花→紅葉）で識別処理を行う。
【０１３８】
本実施形態の場合、撮影モードデータが「３」であるので、部分識別部６０は、撮影モードデータが「３」であると判断し、「花」の識別処理を最初に行うように識別処理の順序を変更する。つまり、サブ部分識別器６１の選択順序をデフォルトの夕景→花→紅葉から花→夕景→紅葉の順に変更する。これにより、部分識別器６０において、画像が属している可能性の高い「花」のシーンの識別処理から識別を行うことになるので、他の識別処理を省略できる可能性が高くなる。なお、部分識別器６０による部分識別処理は、部分画像毎に識別を行うので、全体識別器５０による全体識別処理と比べて、各シーンの識別処理の処理時間が長くなりがちである。よって、このように部分識別処理の選択順序を変更することで、識別処理の速度をより向上させることができる。
【０１３９】
＝＝＝その他の実施の形態＝＝＝
一実施形態としてのプリンタ等を説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。
【０１４０】
＜プリンタについて＞
前述の実施形態ではプリンタ４がシーン識別処理をしていたが、デジタルスチルカメラ２がシーン識別処理をしても良い。また、上記のシーン識別処理を行う画像識別装置は、プリンタ４やデジタルスチルカメラ２に限られるものではない。例えば、大量の画像ファイルを保存するフォトストレージのような画像識別装置が、上記のシーン識別処理を行っても良い。もちろん、パーソナルコンピュータやインターネット上に設置されたサーバーが、上記のシーン識別処理を行っても良い。
【０１４１】
＜サポートベクタマシンについて＞
前述のサブ識別器５１やサブ部分識別器６１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。しかし、識別対象画像が特定シーンに属するか否かの識別手法は、サポートベクタマシンを用いるものに限られるものではない。例えば、ニューラルネットワーク等のパターン認識を採用しても良い。
【０１４２】
＜シーン情報について＞
前述の実施形態ではシーン情報として、撮影シーンタイプデータと撮影モードデータの場合について説明したが、シーン情報はこれに限定されず、画像の属するシーンを示す情報が含まれていればよい。
【０１４３】
＜識別処理について＞
第３実施形態では、シーン情報に基づいて、全体識別処理と部分識別処理の順序を変更することとしたが、これに限定されない。例えば、シーン情報に基づいて、全体識別処理のみの順序を変更してもよいし、部分識別処理のみの順序を変更してもよい。何れの場合でも、順序を変更しない場合に比べて、識別処理の速度の向上を図ることができる。
【図面の簡単な説明】
【０１４４】
【図１】画像処理システムの説明図である。
【図２】プリンタの構成の説明図である。
【図３】画像ファイルの構造の説明図である。
【図４】図４Ａは、ＩＦＤ０で使われるタグの説明図である。図４Ｂは、ＥｘｉｆＳｕｂＩＦＤで使われるタグの説明図である。
【図５】モード設定ダイヤルの設定とデータとの対応表である。
【図６】プリンタの自動補正機能の説明図である。
【図７】画像のシーンと補正内容との関係の説明図である。
【図８】シーン識別部によるシーン識別処理のフロー図である。
【図９】シーン識別部の機能の説明図である。
【図１０】全体識別処理のフロー図である。
【図１１】識別対象テーブルの説明図である。
【図１２】全体識別処理の肯定閾値の説明図である。
【図１３】RecallとPrecisionの説明図である。
【図１４】第１否定閾値の説明図である。
【図１５】第２否定閾値の説明図である。
【図１６】図１６Ａは、閾値テーブルの説明図である。図１６Ｂは、風景識別器における閾値の説明図である。図１６Ｃは、風景識別器の処理の概要の説明図である。
【図１７】部分識別処理のフロー図である。
【図１８】夕景部分識別器が選択する部分画像の順番の説明図である。
【図１９】上位１０番目までの１０個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。
【図２０】図２０Ａは、線形サポートベクタマシンによる判別の説明図である。図２０Ｂは、カーネル関数を用いた判別の説明図である。
【図２１】統合識別処理のフロー図である。
【図２２】第１実施形態における選択順序の決定フローの説明図である。
【図２３】選択順序を変更する一例について示した図である。
【符号の説明】
【０１４５】
２ デジタルスチルカメラ、２Ａ モード設定ダイヤル、
４ プリンタ、６ メモリカード、１０ 印刷機構、
１１ ヘッド、１２ ヘッド制御部、１３ モータ、１４ センサ
２３ メモリ、２４ 制御ユニット、２５ 駆動信号生成部、
３１ 記憶部、３１Ａ 画像記憶部、３１Ａ´ 付加情報記憶部、３１Ｂ 結果記憶部、
３２ 顔識別部、３３ シーン識別部、３４ 画像補正部、３５ プリンタ制御部、
４０ 特徴量取得部、５０ 全体識別器、５１ サブ識別器、５１Ｌ 風景識別器、
５１Ｓ 夕景識別器、５１Ｎ 夜景識別器、５１Ｆ 花識別器、５１Ｒ 紅葉識別器、
６０ 部分識別器、６１ サブ部分識別器、６１Ｓ 夕景部分識別器、
６１Ｆ 花部分識別器、６１Ｒ 紅葉部分識別器、７０ 統合識別器
【特許請求の範囲】
【請求項１】
画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行い、
ある前記識別処理の結果に応じて、まだ行われていない前記識別処理が省略され、
前記識別処理の結果に基づいて前記画像の属するシーンを識別する
画像識別方法において、
前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、
前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更する、
ことを特徴とする画像識別方法。
【請求項２】
請求項１に記載の画像識別方法であって、
前記シーン情報の示すシーンに基づいて、ある前記シーンに対応する前記識別処理の順番を先にすることを特徴とする画像識別方法。
【請求項３】
請求項２に記載の画像識別方法であって、
前記シーン情報の示すシーンに対応する前記識別処理を、複数の前記識別処理のうちの最初に行うように変更することを特徴とする画像識別方法。
【請求項４】
請求項１〜３の何れかに記載の画像識別方法であって、
前記シーン情報の示すシーンに基づいて、ある前記シーンに対応する前記識別処理の順番を後にすることを特徴とする画像識別方法。
【請求項５】
請求項１〜４の何れかに記載の画像識別方法であって、
ある前記識別処理において、その識別処理の対応する特定のシーンに前記画像が属することが識別されたとき、まだ行われていない前記識別処理が省略される
ことを特徴とする画像識別方法。
【請求項６】
請求項１〜５の何れかに記載の画像識別方法であって、
ある前記識別処理において、その識別処理とは別の識別処理に対応する特定のシーンに前記画像が属さないことが識別されたとき、前記別の識別処理が省略される
ことを特徴とする画像識別方法。
【請求項７】
請求項１〜６の何れかに記載の画像識別方法であって、
前記画像の全体の特徴を示す全体特徴量に基づいて、前記画像が特定のシーンに属するか否かの識別処理を複数の前記シーン毎に順に行う全体識別処理と、
前記全体識別処理において前記画像データの示す画像のシーンを識別できない場合に、前記画像の一部の特徴を示す部分特徴量に基づいて、前記画像が特定のシーンに属するか否かの識別処理を複数の前記シーン毎に順に行う部分識別処理と、
を有し、
前記シーン情報に応じて、前記全体識別処理及び前記部分識別処理の少なくとも一方の前記識別処理の順序を変更する、ことを特徴とする画像識別方法。
【請求項８】
画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理の結果に応じて、まだ行われていない前記識別処理を省略し、前記識別処理の結果に基づいて前記画像の属するシーンを識別するコントローラを備えた画像識別装置であって、
前記コントローラは、
画像データに付加されている付加データから前記画像データのシーンを示す前記シーン情報を取得し、
前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更する、
ことを特徴とする画像識別装置。
【請求項９】
画像識別装置に、
画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行わせ、
ある前記識別処理の結果に応じて、まだ行われていない前記識別処理を省略させ、
前記識別処理の結果に基づいて前記画像の属するシーンを識別させる、
プログラムにおいて、
画像データに付加されている付加データから前記画像データのシーンを示すシーン情報を取得させ、
前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更させる、
ことを特徴とするプログラム。
【請求項１】
画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行い、
ある前記識別処理の結果に応じて、まだ行われていない前記識別処理が省略され、
前記識別処理の結果に基づいて前記画像の属するシーンを識別する
画像識別方法において、
前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、
前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更する、
ことを特徴とする画像識別方法。
【請求項２】
請求項１に記載の画像識別方法であって、
前記シーン情報の示すシーンに基づいて、ある前記シーンに対応する前記識別処理の順番を先にすることを特徴とする画像識別方法。
【請求項３】
請求項２に記載の画像識別方法であって、
前記シーン情報の示すシーンに対応する前記識別処理を、複数の前記識別処理のうちの最初に行うように変更することを特徴とする画像識別方法。
【請求項４】
請求項１〜３の何れかに記載の画像識別方法であって、
前記シーン情報の示すシーンに基づいて、ある前記シーンに対応する前記識別処理の順番を後にすることを特徴とする画像識別方法。
【請求項５】
請求項１〜４の何れかに記載の画像識別方法であって、
ある前記識別処理において、その識別処理の対応する特定のシーンに前記画像が属することが識別されたとき、まだ行われていない前記識別処理が省略される
ことを特徴とする画像識別方法。
【請求項６】
請求項１〜５の何れかに記載の画像識別方法であって、
ある前記識別処理において、その識別処理とは別の識別処理に対応する特定のシーンに前記画像が属さないことが識別されたとき、前記別の識別処理が省略される
ことを特徴とする画像識別方法。
【請求項７】
請求項１〜６の何れかに記載の画像識別方法であって、
前記画像の全体の特徴を示す全体特徴量に基づいて、前記画像が特定のシーンに属するか否かの識別処理を複数の前記シーン毎に順に行う全体識別処理と、
前記全体識別処理において前記画像データの示す画像のシーンを識別できない場合に、前記画像の一部の特徴を示す部分特徴量に基づいて、前記画像が特定のシーンに属するか否かの識別処理を複数の前記シーン毎に順に行う部分識別処理と、
を有し、
前記シーン情報に応じて、前記全体識別処理及び前記部分識別処理の少なくとも一方の前記識別処理の順序を変更する、ことを特徴とする画像識別方法。
【請求項８】
画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理の結果に応じて、まだ行われていない前記識別処理を省略し、前記識別処理の結果に基づいて前記画像の属するシーンを識別するコントローラを備えた画像識別装置であって、
前記コントローラは、
画像データに付加されている付加データから前記画像データのシーンを示す前記シーン情報を取得し、
前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更する、
ことを特徴とする画像識別装置。
【請求項９】
画像識別装置に、
画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、複数の前記シーン毎に順に行わせ、
ある前記識別処理の結果に応じて、まだ行われていない前記識別処理を省略させ、
前記識別処理の結果に基づいて前記画像の属するシーンを識別させる、
プログラムにおいて、
画像データに付加されている付加データから前記画像データのシーンを示すシーン情報を取得させ、
前記シーン情報に応じて、複数の前記シーンに対する前記識別処理の順序を変更させる、
ことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２００９−３３４５９（Ｐ２００９−３３４５９Ａ）
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願番号】特願２００７−１９５００４（Ｐ２００７−１９５００４）
【出願日】平成１９年７月２６日（２００７．７．２６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願日】平成１９年７月２６日（２００７．７．２６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]