情報処理方法、情報処理装置及びプログラム
【課題】ユーザの煩わしさを軽減する。
【解決手段】本発明の情報処理方法は、画像データに付加されている付加データから、画像データのシーン情報を取得する取得ステップと、前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別ステップと、前記シーン情報の示すシーンと識別したシーンとを比較する比較ステップと、を有する情報処理方法であって、前記比較ステップにおいて前記シーン情報の示すシーンと識別したシーンとが不一致のとき、ユーザに確認を促すための確認画面を表示する場合と、表示しない場合とがあることを特徴とする。
【解決手段】本発明の情報処理方法は、画像データに付加されている付加データから、画像データのシーン情報を取得する取得ステップと、前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別ステップと、前記シーン情報の示すシーンと識別したシーンとを比較する比較ステップと、を有する情報処理方法であって、前記比較ステップにおいて前記シーン情報の示すシーンと識別したシーンとが不一致のとき、ユーザに確認を促すための確認画面を表示する場合と、表示しない場合とがあることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理方法、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラには撮影モードを設定するモード設定ダイヤルを持つものがある。ユーザがダイヤルで撮影モードを設定すると、デジタルスチルカメラは撮影モードに応じた撮影条件（露光時間等）を決定し、撮影を行う。撮影が行われると、デジタルスチルカメラは、画像ファイルを生成する。この画像ファイルには、撮影した画像の画像データに、撮影時の撮影条件等の付加データが付加されている。
【０００３】
一方、付加データに応じて画像データに画像処理することも行われている。例えば、プリンタが画像ファイルに基づいて印刷を行うとき、付加データの示す撮影条件に応じて画像データを補正し、補正した画像データに従って印刷することが行われている。
【特許文献１】特開２００１−２３８１７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
デジタルスチルカメラが画像ファイルを生成するとき、付加データに、ダイヤル設定に応じたシーン情報が記憶されることがある。一方、ユーザが撮影モードを設定し忘れると、画像データの内容と不一致なシーン情報が付加データに記憶されてしまう。このため、付加データのシーン情報を用いずに、画像データを解析して画像データのシーンを識別することがある。
【０００５】
ところで、付加データの示すシーンと、識別結果のシーンとが不一致のときに、常にユーザへの確認画面を表示することにすると、ユーザに不便なことがある。
【０００６】
本発明は、ユーザの煩わしさを軽減させることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための主たる発明は、画像データに付加されている付加データから、画像データのシーン情報を取得する取得ステップと、前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別ステップと、前記シーン情報の示すシーンと識別したシーンとを比較する比較ステップと、を有する情報処理方法であって、前記比較ステップにおいて前記シーン情報の示すシーンと識別したシーンとが不一致のとき、ユーザに確認を促すための確認画面を表示する場合と、表示しない場合とがあることを特徴とする情報処理方法である。
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
【発明を実施するための最良の形態】
【０００８】
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。
【０００９】
画像データに付加されている付加データから、画像データのシーン情報を取得する取得ステップと、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別ステップと、
前記シーン情報の示すシーンと識別したシーンとを比較する比較ステップと、
を有する情報処理方法であって、
前記比較ステップにおいて前記シーン情報の示すシーンと識別したシーンとが不一致のとき、ユーザに確認を促すための確認画面を表示する場合と、表示しない場合とがある
ことを特徴とする情報処理方法が明らかになる。
このような情報処理方法によれば、ユーザの煩わしさを軽減させることができる。
【００１０】
また、前記識別ステップにおいて、前記画像が特定のシーンに属する確率に応じた確信度を算出し、前記確信度に応じて前記画像が前記特定のシーンに属するか否かを識別し、前記不一致のとき、前記確信度に応じて、前記確認画面を表示するか否かが決定されることが望ましい。これにより、ユーザの確認を得る必要がないときに確認画面を表示しなくて済む。
【００１１】
また、ユーザにシーンを設定させて、ユーザの設定したシーンである設定シーンを記憶し、前記不一致のとき、前記シーン情報の示すシーン及び識別したシーンの少なくとも一方のシーンと、前記設定シーンとに基づいて、前記確認画面を表示するか否かが決定されることが望ましい。これにより、ユーザの想定範囲内の状況下で２つのシーンが不一致のときに、確認画面を表示しなくて済む。
【００１２】
また、第１のインターフェイスを介して前記画像データを取得した場合、前記不一致のときに前記確認画面を表示し、前記第１のインターフェイスとは別の第２のインターフェイスを介して前記画像データを取得した場合、前記不一致のときに前記確認画面を表示しないことが望ましい。これにより、使用状況に応じて確認画面を表示しないようにできる。
【００１３】
また、前記確認画面には、前記シーン情報の示すシーンに基づいて補正された画像と、識別したシーンに基づいて補正された画像とが表示されることが望ましい。これにより、ユーザは比較を容易に行えるようになる。
【００１４】
また、前記確認画面に、前記画像データの示す画像を表示するとともに、前記画像データの示す画像の所定の位置に境界を設定し、前記境界から見て一方の側を、前記シーン情報の示すシーンに基づいて補正された画像とし、前記境界から見て他方の側を、識別したシーンに基づいて補正された画像とすることが望ましい。これにより、境界において、２つの画像を容易に比較できるようになる。
【００１５】
また、識別したシーンが、前記画像に人物の顔があることを示すシーンである場合、前記境界は、前記顔の部分を通るように、設定されることが望ましい。これにより、ユーザが画像補正効果を確認しやすくなる。
【００１６】
コントローラを備える情報処理装置であって、
前記コントローラは、
画像データに付加されている付加データから、画像データのシーン情報を取得し、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別し、
前記シーン情報の示すシーンと識別したシーンとを比較する、
情報処理装置であって、
前記シーン情報の示すシーンと識別したシーンとを比較した結果が不一致のとき、ユーザに確認を促すための確認画面を表示する場合と、表示しない場合とがある
ことを特徴とする情報処理装置が明らかになる。
このような情報処理装置によれば、ユーザの煩わしさを軽減させることができる。
【００１７】
情報処理装置に、
画像データに付加されている付加データから、画像データのシーン情報を取得させ、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別させ、
前記シーン情報の示すシーンと識別したシーンとを比較させる、
プログラムであって、
前記シーン情報の示すシーンと識別したシーンとを比較した結果が不一致のとき、前記情報処理装置に、ユーザに確認を促すための確認画面を表示させる場合と、表示させない場合とがある
ことを特徴とするプログラムが明らかになる。
このようなプログラムによれば、ユーザの煩わしさを軽減させることができる。
【００１８】
＝＝＝全体構成＝＝＝
図１は、画像処理システムの説明図である。この画像処理システムは、デジタルスチルカメラ２と、プリンタ４とを備える。
【００１９】
デジタルスチルカメラ２は、被写体をデジタルデバイス（ＣＣＤなど）に結像させることによりデジタル画像を取得するカメラである。デジタルスチルカメラ２には、モード設定ダイヤル２Ａが設けられている。ユーザは、ダイヤル２Ａによって、撮影条件に応じた撮影モードを設定することができる。例えば、ダイヤル２Ａによって「夜景」モードが設定されると、デジタルスチルカメラ２は、シャッター速度を遅くしたり、ＩＳＯ感度を高くしたりして、夜景撮影に適した撮影条件にて撮影を行う。
【００２０】
デジタルスチルカメラ２は、ファイルフォーマット規格に準拠して、撮影により生成した画像ファイルをメモリカード６に保存する。画像ファイルには、撮影した画像のデジタルデータ（画像データ）だけでなく、撮影時の撮影条件（撮影データ）等の付加データも保存される。
【００２１】
プリンタ４は、画像データの示す画像を紙に印刷する印刷装置である。プリンタ４には、メモリカード６を挿入するスロット２１が設けられている。ユーザは、デジタルスチルカメラ２で撮影した後、デジタルスチルカメラ２からメモリカード６を取り出し、スロット２１にメモリカード６を挿入することができる。
【００２２】
パネル部１５は、表示部１６と、各種のボタンを有する入力部１７とを備える。表示部１６は、液晶ディスプレイにより構成される。表示部１６がタッチパネルであれば、表示部１６は入力部１７としても機能する。表示部１６には、プリンタ４の設定を行うための設定画面や、メモリカードから読み取った画像データの画像や、ユーザへの確認や警告のための画面などが表示される。なお、表示部１６が表示する各種の画面については、後述する。
【００２３】
図２は、プリンタ４の構成の説明図である。プリンタ４は、印刷機構１０と、この印刷機構１０を制御するプリンタ側コントローラ２０とを備える。印刷機構１０は、インクを吐出するヘッド１１と、ヘッド１１を制御するヘッド制御部１２と、紙を搬送するため等のモータ１３と、センサ１４とを有する。プリンタ側コントローラ２０は、メモリカード６からデータを送受信するためのメモリ用スロット２１と、ＣＰＵ２２と、メモリ２３と、モータ１３を制御する制御ユニット２４と、駆動信号（駆動波形）を生成する駆動信号生成部２５とを有する。また、プリンタ側コントローラ２０は、パネル部１５を制御するパネル制御部２６も備えている。
【００２４】
メモリカード６がスロット２１に挿入されると、プリンタ側コントローラ２０は、メモリカード６に保存されている画像ファイルを読み出してメモリ２３に記憶する。そして、プリンタ側コントローラ２０は、画像ファイルの画像データを、印刷機構１０で印刷するための印刷データに変換し、印刷データに基づいて印刷機構１０を制御し、紙に画像を印刷する。この一連の動作は、「ダイレクトプリント」と呼ばれている。
【００２５】
なお、「ダイレクトプリント」は、メモリカード６をスロット２１に挿入することによって行われるだけでなく、デジタルスチルカメラ２とプリンタ４とをケーブル（不図示）で接続することによっても可能である。また、ダイレクトプリントの設定にパネル部１５が用いられる（後述）。また、ダイレクトプリント時の確認画面の表示や確認の入力にもパネル部１５が用いられる（後述）。
【００２６】
＝＝＝画像ファイルの構造＝＝＝
画像ファイルは、画像データと、付加データとから構成されている。画像データは、複数の画素データから構成されている。画素データは、画素の色情報（階調値）を示すデータである。画素がマトリクス状に配置されることによって、画像が構成される。このため、画像データは、画像を示すデータである。付加データには、画像データの特性を示すデータや、撮影データや、サムネイル画像データ等が含まれる。
【００２７】
以下、画像ファイルの具体的な構造について説明する。
図３は、画像ファイルの構造の説明図である。図中の左側には画像ファイルの全体構成が示されており、右側にはＡＰＰ１領域の構成が示されている。
【００２８】
画像ファイルは、ＳＯＩ（Start of image）を示すマーカで始まり、ＥＯＩ（End of Image）を示すマーカで終わる。ＳＯＩを示すマーカの後に、ＡＰＰ１のデータ領域の開始を示すＡＰＰ１マーカがある。ＡＰＰ１マーカの後のＡＰＰ１のデータ領域には、撮影データやサムネイル画像等の付加データが含まれている。また、ＳＯＳ（Start of Stream）を示すマーカの後には、画像データが含まれている。
【００２９】
ＡＰＰ１マーカの後、ＡＰＰ１のデータ領域のサイズを示す情報があり、ＥＸＩＦヘッダとＴＩＦＦヘッダが続き、ＩＦＤ領域となる。
【００３０】
各ＩＦＤ領域は、複数のディレクトリエントリと、次のＩＦＤ領域の位置を示すリンクと、データエリアとを有する。例えば、最初のＩＦＤ０（IFD of main image）では次のＩＦＤ１（IFD of thumbnail image）の位置がリンクされる。但し、ここではＩＦＤ１の次のＩＦＤが存在しないのでＩＦＤ１では他のＩＦＤへのリンクは行われない。各ディレクトリエントリには、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＩＦＤ０データエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、ＩＦＤ０には、ＥｘｉｆＳｕｂＩＦＤの格納場所を意味するタグ（Exif IFD Pointer）と、ＥｘｉｆＳｕｂＩＦＤの格納場所を示すポインタ（オフセット値）とが格納されているディレクトリエントリがある。
【００３１】
ＥｘｉｆＳｕｂＩＦＤ領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＥｘｉｆＳｕｂＩＦＤデータエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、ＥｘｉｆＳｕｂＩＦＤの中には、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を意味するタグと、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を示すポインタとが格納されている。
【００３２】
ＭａｋｅｒｎｏｔｅＩＦＤ領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＭａｋｅｒｎｏｔｅＩＦＤデータエリアにデータが格納されて、データ部にはデータの格納場所を示すポインタが格納される。但し、ＭａｋｅｒｎｏｔｅＩＦＤ領域ではデータの格納形式を自由に定義できるので、必ずしもこの形式でデータを格納しなくても良い。以下の説明では、ＭａｋｅｒｎｏｔｅＩＦＤ領域に格納されるデータのことを「ＭａｋｅｒＮｏｔｅデータ」と呼ぶ。
【００３３】
図４Ａは、ＩＦＤ０で使われるタグの説明図である。図に示す通り、ＩＦＤ０には一般的なデータ（画像データの特性を示すデータ）が格納され、詳細な撮影データは格納されていない。
【００３４】
図４Ｂは、ＥｘｉｆＳｕｂＩＦＤで使われるタグの説明図である。図に示す通り、ＥｘｉｆＳｕｂＩＦＤには詳細な撮影データが格納されている。なお、シーン識別処理の際に抽出される撮影データの大部分は、ＥｘｉｆＳｕｂＩＦＤに格納されている撮影データである。なお、撮影シーンタイプタグ（Scene Capture Type）は、撮影シーンのタイプを示すタグである。また、Ｍａｋｅｒｎｏｔｅタグは、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を意味するタグである。
【００３５】
ＥｘｉｆＳｕｂＩＦＤ領域の撮影シーンタイプタグに対するデータ部（撮影シーンタイプデータ）が、「ゼロ」ならば「標準」を意味し、「１」ならば「風景」を意味し、「２」ならば「人物」を意味し、「３」ならば「夜景」を意味する。なお、ＥｘｉｆＳｕｂＩＦＤに格納されたデータは規格化されているため、この撮影シーンタイプデータの内容を誰でも知ることが可能である。
【００３６】
本実施形態では、Ｍａｋｅｒｎｏｔｅデータの一つに、撮影モードデータが含まれている。この撮影モードデータでは、モード設定ダイヤル２Ａで設定されたモード毎に異なる値を示す。但し、ＭａｋｅｒＮｏｔｅデータは、メーカ毎に形式が異なるため、ＭａｋｅｒＮｏｔｅデータの形式が分からなければ、撮影モードデータの内容を知ることはできない。
【００３７】
図５は、モード設定ダイヤル２Ａの設定とデータとの対応表である。ＥｘｉｆＳｕｂＩＦＤで使われる撮影シーンタイプタグは、ファイルフォーマット規格に準拠しているため、特定できるシーンが限定されており、「夕景」等のシーンを特定するデータをデータ部に格納することはできない。一方、ＭａｋｅｒＮｏｔｅデータは自由に定義できるので、ＭａｋｅｒＮｏｔｅデータの一つである撮影モードタグにより、モード設定ダイヤル２Ａの撮影モードを特定するデータをデータ部に格納できる。
【００３８】
前述のデジタルスチルカメラ２は、モード設定ダイヤル２Ａの設定に応じた撮影条件にて撮影を行った後、上記の画像ファイルを作成し、メモリカード６に保存する。この画像ファイルには、モード設定ダイヤル２Ａに応じた撮影シーンタイプデータ及び撮影モードデータが、画像データに付加されるシーン情報として、それぞれＥｘｉｆＳｕｂＩＦＤ領域及びＭａｋｅｒｎｏｔｅＩＦＤ領域に格納される。
【００３９】
＝＝＝自動補正機能の概要＝＝＝
「人物」の写真を印刷するときには、肌色をきれいにしたいという要求がある。また、「風景」の写真を印刷するときには、空の青色を強調し、木や草の緑色を強調したいという要求がある。そこで、本実施形態のプリンタ４は、画像ファイルを分析して自動的に適した補正処理を行う自動補正機能を備えている。
【００４０】
図６は、プリンタ４の自動補正機能の説明図である。図中のプリンタ側コントローラ２０の各要素は、ソフトウェアとハードウェアによって実現される。
【００４１】
記憶部３１は、メモリ２３の一部の領域及びＣＰＵ２２によって実現される。メモリカード６から読み出された画像ファイルの全部又は一部は、記憶部３１の画像記憶部３１Ａに展開される。また、プリンタ側コントローラ２０の各要素の演算結果は、記憶部３１の結果記憶部３１Ｂに格納される。
【００４２】
顔識別部３２は、ＣＰＵ２２と、メモリ２３に記憶された顔識別プログラムとによって実現される。顔識別部３２は、画像記憶部３１Ａに記憶された画像データを分析し、顔の有無を識別する。顔識別部３２によって顔が有ると識別された場合、識別対象となる画像が「人物」のシーンに属すると識別される。顔識別部３２による顔識別処理は、既に広く行われている処理と同様なので、詳細な説明は省略する。
【００４３】
なお、顔識別部３２は、識別対象となる画像が「人物」のシーンに属する確率（確信度）も算出する。この確信度は、画像に占める肌色の画素の割合、肌色の画像の形状、画素データの示す色と肌色の記憶色との近接度合い、などから算出される。顔識別部３２の識別結果は、結果記憶部３１Ｂに記憶される。
【００４４】
シーン識別部３３は、ＣＰＵ２２と、メモリ２３に記憶されたシーン識別プログラムとによって実現される。シーン識別部３３は、画像記憶部３１Ａに記憶された画像ファイルを分析し、画像データの示す画像のシーンを識別する。顔識別部３２による顔識別処理の後に、シーン識別部３３によるシーン識別処理が行われる。後述するように、シーン識別部３３は、識別対象となる画像が「風景」、「夕景」、「夜景」、「花」、「紅葉」のいずれの画像であるかを識別する。なお、シーン識別部３３の識別結果や確信度の情報も、結果記憶部３１Ｂに記憶される。
【００４５】
図７は、画像のシーンと補正内容との関係の説明図である。
画像補正部３４は、ＣＰＵ２２と、メモリ２３に記憶された画像補正プログラムとによって実現される。画像補正部３４は、記憶部３１の結果記憶部３１Ｂ（後述）に記憶されている識別結果（顔識別部３２やシーン識別部３３の識別結果）に基づいて、画像記憶部３１Ａの画像データを補正する。例えば、シーン識別部３３の識別結果が「風景」である場合には、青色を強調し、緑色を強調するような補正が行われる。但し、画像ファイルの付加データの示すシーンと、識別結果の示すシーンとが不一致の場合、画像補正部３４は、後述する所定の確認処理をした後、確認結果に応じて画像データを補正する。
【００４６】
プリンタ制御部３５は、ＣＰＵ２２、駆動信号生成部２５、制御ユニット２４及びメモリ２３に記憶されたプリンタ制御プログラムによって、実現される。プリンタ制御部３５は、補正後の画像データを印刷データに変換し、印刷機構１０に画像を印刷させる。
【００４７】
＝＝＝シーン識別処理＝＝＝
図８は、シーン識別部３３によるシーン識別処理のフロー図である。図９は、シーン識別部３３の機能の説明図である。図中のシーン識別部３３の各要素は、ソフトウェアとハードウェアによって実現される。シーン識別部３３は、図９に示す特徴量取得部４０と、全体識別器５０と、部分識別器６０と、統合識別器７０とを備えている。
【００４８】
最初に、特徴量取得部４０が、記憶部３１の画像記憶部３１Ａに展開された画像データを分析し、部分特徴量を取得する（Ｓ１０１）。具体的には、特徴量取得部４０は、画像データを８×８の６４ブロックに分割し、各ブロックの色平均と分散を算出し、この色平均と分散を部分特徴量として取得する。なお、ここでは各画素はＹＣＣ色空間における階調値のデータをもっており、各ブロックごとに、Ｙの平均値、Ｃｂの平均値及びＣｒの平均値がそれぞれ算出され、Ｙの分散、Ｃｂの分散及びＣｒの分散がそれぞれ算出される。つまり、各ブロックごとに３つの色平均と３つの分散が部分特徴量として算出される。これらの色平均や分散は、各ブロックにおける部分画像の特徴を示すものである。なお、ＲＧＢ色空間における平均値や分散を算出しても良い。
ブロックごとに色平均と分散が算出されるので、特徴量取得部４０は、画像記憶部３１Ａには画像データの全てを展開せずに、ブロック分の画像データをブロック順に展開する。このため、画像記憶部３１Ａは、必ずしも画像ファイルの全てを展開できるだけの容量を備えていなくても良い。
【００４９】
次に、特徴量取得部４０が、全体特徴量を取得する（Ｓ１０２）。具体的には、特徴量取得部４０は、画像データの全体の色平均、分散、重心及び撮影情報を、全体特徴量として取得する。なお、これらの色平均や分散は、画像の全体の特徴を示すものである。画像データ全体の色平均、分散及び重心は、先に算出した部分特徴量を用いて算出される。このため、全体特徴量を算出する際に、画像データを再度展開する必要がないので、全体特徴量の算出速度が速くなる。全体識別処理（後述）は部分識別処理（後述）よりも先に行われるにも関わらず、全体特徴量が部分特徴量よりも後に求められるのは、このように算出速度を速めるためである。なお、撮影情報は、画像ファイルの撮影データから抽出される。具体的には、絞り値、シャッター速度、フラッシュ発光の有無などの情報が全体特徴量として用いられる。但し、画像ファイルの撮影データの全てが全体特徴量として用いられるわけではない。
【００５０】
次に、全体識別器５０が、全体識別処理を行う（Ｓ１０３）。全体識別処理とは、全体特徴量に基づいて、画像データの示す画像のシーンを識別（推定）する処理である。全体識別処理の詳細については、後述する。
【００５１】
全体識別処理によってシーンの識別ができる場合（Ｓ１０４でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
【００５２】
全体識別処理によってシーンの識別ができない場合（Ｓ１０４でＮＯ）、次に部分識別器６０が、部分識別処理を行う（Ｓ１０５）。部分識別処理とは、部分特徴量に基づいて、画像データの示す画像全体のシーンを識別する処理である。部分識別処理の詳細については、後述する。
【００５３】
部分識別処理によってシーンの識別ができる場合（Ｓ１０６でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
【００５４】
部分識別処理によってシーンの識別ができない場合（Ｓ１０６でＮＯ）、次に統合識別器７０が、統合識別処理を行う（Ｓ１０７）。統合識別処理の詳細については、後述する。
【００５５】
統合識別処理によってシーンの識別ができる場合（Ｓ１０８でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。一方、統合識別処理によってシーンの識別ができない場合（Ｓ１０８でＮＯ）、シーン識別部３３は、候補となるシーン（シーン候補）の全てを、結果記憶部３１Ｂに記憶する（Ｓ１１０）。このとき、シーン候補とともに、確信度も結果記憶部３１Ｂに記憶される。
【００５６】
シーン識別処理（全体識別処理・部分識別処理・統合識別処理）の結果、図８のＳ１０４、Ｓ１０６及びＳ１０８においていずれかＹＥＳの場合、プリンタ側コントローラ２０は、確信度の比較的高い１つのシーンを識別できる。また、Ｓ１０８においてＮＯの場合、プリンタ側コントローラ２０は、確信度の比較的低い少なくとも１つのシーン（シーン候補）を識別できる。なお、Ｓ１０８においてＮＯの場合、シーン候補は１つの場合もあれば、２以上の場合もある。
【００５７】
＝＝＝全体識別処理＝＝＝
図１０は、全体識別処理のフロー図である。ここでは図９も参照しながら全体識別処理について説明する。
【００５８】
まず、全体識別器５０は、複数のサブ識別器５１の中から１つのサブ識別器５１を選択する（Ｓ２０１）。全体識別器５０には、識別対象となる画像（識別対象画像）が特定のシーンに属するか否かを識別するサブ識別器５１が５つ設けられている。５つのサブ識別器５１は、それぞれ風景、夕景、夜景、花、紅葉のシーンを識別する。ここでは、全体識別器５０は、風景→夕景→夜景→花→紅葉の順に、サブ識別器５１を選択する。このため、最初には、識別対象画像が風景のシーンに属するか否かを識別するサブ識別器５１（風景識別器５１Ｌ）が選択される。
【００５９】
次に、全体識別器５０は、識別対象テーブルを参照し、選択したサブ識別器５１を用いてシーンを識別すべきか否かを判断する（Ｓ２０２）。
【００６０】
図１１は、識別対象テーブルの説明図である。この識別対象テーブルは、記憶部３１の結果記憶部３１Ｂに記憶される。識別対象テーブルは、最初の段階では全ての欄がゼロに設定される。Ｓ２０２の処理では、「否定」欄が参照され、ゼロであればＹＥＳと判断され、１であればＮＯと判断される。ここでは、全体識別器５０は、識別対象テーブルにおける「風景」欄の「否定」欄を参照し、ゼロであるのでＹＥＳと判断する。
【００６１】
次に、サブ識別器５１は、全体特徴量に基づいて、判別式の値を算出する（Ｓ２０３）。この判別式の値は、識別対象画像が特定のシーンに属する確率（確信度）と関係している（後述）。本実施形態のサブ識別器５１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。なお、サポートベクタマシンについては、後述する。識別対象画像が特定のシーンに属する場合、サブ識別器５１の判別式は、プラスの値になりやすい。識別対象画像が特定のシーンに属しない場合、サブ識別器５１の判別式は、マイナスの値になりやすい。また、判別式は、識別対象画像が特定のシーンに属する確信度が高いほど、大きい値になる。このため、判別式の値が大きければ、識別対象画像が特定のシーンに属する確率（確信度）が高くなり、判別式の値が小さければ、識別対象画像が特定のシーンに属する確率が低くなる。
【００６２】
次に、サブ識別器５１は、判別式の値が肯定閾値より大きいか否かを判断する（Ｓ２０４）。判別式の値が肯定閾値より大きければ、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断することになる。
【００６３】
図１２は、全体識別処理の肯定閾値の説明図である。同図において、横軸は肯定閾値を示し、縦軸はRecall又はPrecisionの確率を示す。図１３は、RecallとPrecisionの説明図である。判別式の値が肯定閾値以上の場合には識別結果はPositiveであり、判別式の値が肯定閾値以上でない場合には識別結果はNegativeである。
【００６４】
Recallは、再現率や検出率を示すものである。Recallは、特定のシーンの画像の総数に対する、特定のシーンに属すると識別された画像の数の割合である。言い換えると、Recallは、特定のシーンの画像をサブ識別器５１に識別させたときに、サブ識別器５１がPositiveと識別する確率（特定のシーンの画像が特定のシーンに属すると識別される確率）を示すものである。例えば、風景画像を風景識別器５１Ｌに識別させたときに、風景のシーンに属すると風景識別器５１Ｌが識別する確率を示すものである。
【００６５】
Precisionは、正答率や正解率を示すものである。Precisionは、Positiveと識別された画像の総数に対する、特定のシーンの画像の数の割合である。言い換えると、Precisionは、特定のシーンを識別するサブ識別器５１がPositiveと識別したときに、識別対象の画像が特定のシーンである確率を示すものである。例えば、風景識別器５１Ｌが風景のシーンに属すると識別したときに、その識別した画像が本当に風景画像である確率を示すものである。
【００６６】
図１２から分かる通り、肯定閾値を大きくするほど、Precisionが大きくなる。このため、肯定閾値を大きくするほど、例えば風景のシーンに属すると識別された画像が風景画像である確率が高くなる。つまり、肯定閾値を大きくするほど、誤識別の確率が低くなる。
一方、肯定閾値を大きくするほど、Recallは小さくなる。この結果、例えば、風景画像を風景識別器５１Ｌで識別した場合であっても、風景のシーンに属すると正しく識別しにくくなる。ところで、識別対象画像が風景のシーンに属すると識別できれば（Ｓ２０４でＹＥＳ）、残りの別のシーン（夕景など）の識別を行わないようにして全体識別処理の速度を速めている。このため、肯定閾値を大きくするほど、全体識別処理の速度は低下することになる。また、全体識別処理によってシーンが識別できれば部分識別処理を行わないようにしてシーン識別処理の速度を速めているため（Ｓ１０４）、肯定閾値を大きくするほど、シーン識別処理の速度は低下することになる。
つまり、肯定閾値が小さすぎると誤識別の確率が高くなり、大きすぎると処理速度が低下することになる。本実施形態では、正答率（Precision）を９７．５％に設定するため、風景の肯定閾値は１．７２に設定されている。
【００６７】
判別式の値が肯定閾値より大きければ（Ｓ２０４でＹＥＳ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ２０５）。「肯定フラグを立てる」とは、図１１の「肯定」欄を１にすることである。この場合、全体識別器５０は、次のサブ識別器５１による識別を行わずに、全体識別処理を終了する。例えば、風景画像であると識別できれば、夕景などの識別を行わずに、全体識別処理を終了する。この場合、次のサブ識別器５１による識別を省略しているので、全体識別処理の速度を速めることができる。
【００６８】
判別式の値が肯定閾値より大きくなければ（Ｓ２０４でＮＯ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ２０６の処理を行う。
【００６９】
次に、サブ識別器５１は、判別式の値と否定閾値とを比較する（Ｓ２０６）。これにより、サブ識別器５１は、識別対象画像が所定のシーンに属しないかを判断する。このような判断としては、２種類ある。第１に、ある特定のシーンのサブ識別器５１の判別式の値が第１否定閾値より小さければ、その特定のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第１否定閾値より小さければ、識別対象画像が風景のシーンに属しないと判断されることになる。第２に、ある特定のシーンのサブ識別器５１の判別式の値が第２否定閾値より大きければ、その特定のシーンとは別のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第２否定閾値より大きければ、識別対象画像が夜景のシーンに属しないと判断されることになる。
【００７０】
図１４は、第１否定閾値の説明図である。同図において、横軸は第１否定閾値を示し、縦軸は確率を示す。グラフの太線は、True Negative Recallのグラフであり、風景画像以外の画像を風景画像ではないと正しく識別する確率を示している。グラフの細線は、False Negative Recallのグラフであり、風景画像なのに風景画像ではないと誤って識別する確率を示している。
【００７１】
図１４から分かる通り、第１否定閾値を小さくするほど、False Negative Recallが小さくなる。このため、第１否定閾値を小さくするほど、例えば風景のシーンに属しないと識別された画像が風景画像である確率が低くなる。つまり、誤識別の確率が低くなる。
一方、第１否定閾値を小さくするほど、True Negative Recallも小さくなる。この結果、風景画像以外の画像を風景画像ではないと識別しにくくなる。その一方、識別対象画像が特定シーンでないことを識別できれば、部分識別処理の際に、その特定シーンのサブ部分識別器６１による処理を省略してシーン識別処理速度を速めている（後述、図１７のＳ３０２）。このため、第１否定閾値を小さくするほど、シーン識別処理速度は低下する。
つまり、第１否定閾値が大きすぎると誤識別の確率が高くなり、小さすぎると処理速度が低下することになる。本実施形態では、False Negative Recallを２．５％に設定するため、第１否定閾値は−１．０１に設定されている。
【００７２】
ところで、ある画像が風景のシーンに属する確率が高ければ、必然的にその画像が夜景のシーンに属する確率は低くなる。このため、風景識別器５１Ｌの判別式の値が大きい場合には、夜景ではないと識別できる場合がある。このような識別を行うために、第２否定閾値が設けられる。
【００７３】
図１５は、第２否定閾値の説明図である。同図において、横軸は風景の判別式の値を示し、縦軸は確率を示す。同図には、図１２のRecallとPrecisionのグラフとともに、夜景のRecallのグラフが点線で描かれている。この点線のグラフに注目すると、風景の判別式の値が−０．４４よりも大きければ、その画像が夜景画像である確率は２．５％である。言い換えると、風景の判別式の値が−０．４４より大きい場合にその画像が夜景画像でないと識別しても、誤識別の確率は２．５％にすぎない。そこで、本実施形態では、第２否定閾値が−０．４４に設定されている。
【００７４】
そして、判別式の値が第１否定閾値より小さい場合、又は、判別式の値が第２否定閾値より大きい場合（Ｓ２０６でＹＥＳ）、サブ識別器５１は、識別対象画像が所定のシーンに属しないと判断し、否定フラグを立てる（Ｓ２０７）。「否定フラグを立てる」とは、図１１の「否定」欄を１にすることである。例えば、第１否定閾値に基づいて識別対象画像が風景のシーンに属しないと判断された場合、「風景」欄の「否定」欄が１になる。また、第２否定閾値に基づいて識別対象画像が夜景のシーンに属しないと判断された場合、「夜景」欄の「否定」欄が１になる。
【００７５】
図１６Ａは、上記で説明した風景識別器５１Ｌにおける閾値の説明図である。風景識別器５１Ｌには、肯定閾値及び否定閾値が予め設定されている。肯定閾値として１．７２が設定されている。否定閾値には第１否定閾値と第２否定閾値とがある。第１否定閾値として−１．０１が設定されている。また、第２否定閾値として、風景以外の各シーンにそれぞれ値が設定されている。
【００７６】
図１６Ｂは、上記で説明した風景識別器５１Ｌの処理の概要の説明図である。ここでは、説明の簡略化のため、第２否定閾値については夜景についてのみ説明する。風景識別器５１Ｌは、判別式の値が１．７２より大きければ（Ｓ２０４でＹＥＳ）、識別対象画像が風景のシーンに属すると判断する。また、判別式の値が１．７２以下であり（Ｓ２０４でＮＯ）、−０．４４より大きければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が夜景のシーンに属しないと判断する。また、判別式の値が−１．０１より小さければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が風景のシーンに属しないと判断する。なお、風景識別器５１Ｌは、夕景や紅葉についても、第２否定閾値に基づいて、識別対象画像がそのシーンに属しないかを判断する。但し、花の第２否定閾値は肯定閾値よりも大きいため、識別対象画像が花のシーンに属しないことを風景識別器５１Ｌが判断することはない。
【００７７】
Ｓ２０２においてＮＯの場合、Ｓ２０６でＮＯの場合、又はＳ２０７の処理を終えた場合、全体識別器５０は、次のサブ識別器５１の有無を判断する（Ｓ２０８）。ここでは風景識別器５１Ｌによる処理を終えた後なので、全体識別器５０は、Ｓ２０８において、次のサブ識別器５１（夕景識別器５１Ｓ）があると判断する。
【００７８】
そして、Ｓ２０５の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ２０８において次のサブ識別器５１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、全体識別器５０は、全体識別処理を終了する。
【００７９】
なお、既に説明した通り、全体識別処理が終了すると、シーン識別部３３は、全体識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０４）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
【００８０】
全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
【００８１】
＝＝＝部分識別処理＝＝＝
図１７は、部分識別処理のフロー図である。部分識別処理は、全体識別処理によってシーンの識別ができなかった場合（図８のＳ１０４でＮＯ）に行われる。以下に説明するように、部分識別処理は、分割された分割画像のシーンをそれぞれ識別することによって、画像全体のシーンを識別する処理である。ここでは図９も参照しながら部分識別処理について説明する。
【００８２】
まず、部分識別器６０は、複数のサブ部分識別器６１の中から１つのサブ部分識別器６１を選択する（Ｓ３０１）。部分識別器６０には、サブ部分識別器６１が３つ設けられている。各サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像がそれぞれ特定のシーンに属するか否かを識別する。ここでの３つのサブ部分識別器６１は、それぞれ夕景、花、紅葉のシーンを識別する。部分識別器６０は、夕景→花→紅葉の順に、サブ部分識別器６１を選択する。このため、最初には、部分画像が夕景のシーンに属するか否かを識別するサブ部分識別器６１（夕景部分識別器６１Ｓ）が選択される。
【００８３】
次に、部分識別器６０は、識別対象テーブル（図１１）を参照し、選択したサブ部分識別器６１を用いてシーンを識別すべきか否かを判断する（Ｓ３０２）。ここでは、部分識別器６０は、識別対象テーブルにおける「夕景」欄の「否定」欄を参照し、ゼロであればＹＥＳと判断し、１であればＮＯと判断する。なお、全体識別処理の際に、夕景識別器５１Ｓが第１否定閾値により否定フラグを立てたとき、又は、他のサブ識別器５１が第２否定閾値により否定フラグを立てたとき、このＳ３０２でＮＯと判断される。仮にＮＯと判断されると夕景の部分識別処理は省略されることになるので、部分識別処理の速度が速くなる。但し、ここでは説明の都合上、ＹＥＳと判断されるものとする。
【００８４】
次に、サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像の中から、１つの部分画像を選択する（Ｓ３０３）。
図１８は、夕景部分識別器６１Ｓが選択する部分画像の順番の説明図である。部分画像から画像全体のシーンを識別するような場合、識別に用いられる部分画像は、被写体が存在する部分であることが望ましい。そこで、本実施形態では、数千枚のサンプルの夕景画像を用意し、各夕景画像を８×８の６４ブロックに分割し、夕景部分画像（夕景の太陽と空の部分画像）を含むブロックを抽出し、抽出されたブロックの位置に基づいて各ブロックにおける夕景部分画像の存在確率を算出した。そして、本実施形態では、存在確率の高いブロックから順番に、部分画像が選択される。なお、図に示す選択順序の情報は、プログラムの一部としてメモリ２３に格納されている。
【００８５】
なお、夕景画像の場合、画像の中央付近から上半分に夕景の空が広がっていることが多いため、中央付近から上半分のブロックにおいて存在確率が高くなる。また、夕景画像の場合、画像の下１／３では逆光で陰になり、部分画像単体では夕景か夜景か区別がつかないことが多いため、下１／３のブロックにおいて存在確率が低くなる。花画像の場合、花を中央付近に配置させる構図にすることが多いため、中央付近における花部分画像の存在確率が高くなる。
【００８６】
次に、サブ部分識別器６１は、選択された部分画像の部分特徴量に基づいて、その部分画像が特定のシーンに属するか否かを判断する（Ｓ３０４）。サブ部分識別器６１には、全体識別器５０のサブ識別器５１と同様に、サポートベクタマシン（ＳＶＭ）による判別手法が用いられている。なお、サポートベクタマシンについては、後述する。判別式の値が正の値であれば、部分画像が特定のシーンに属すると判断し、サブ部分識別器６１は正カウント値をインクリメントする。また、判別式の値が負の値であれば、部分画像が特定のシーンに属しないと判断し、サブ部分識別器６１は負カウント値をインクリメントする。
【００８７】
次に、サブ部分識別器６１は、正カウント値が肯定閾値よりも大きい否かを判断する（Ｓ３０５）。なお、正カウント値は、特定のシーンに属すると判断された部分画像の数を示すものである。正カウント値が肯定閾値より大きければ（Ｓ３０５でＹＥＳ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ３０６）。この場合、部分識別器６０は、次のサブ部分識別器６１による識別を行わずに、部分識別処理を終了する。例えば、夕景画像であると識別できれば、花や紅葉の識別を行わずに、部分識別処理を終了する。この場合、次のサブ部分識別器６１による識別を省略しているので、部分識別処理の速度を速めることができる。
【００８８】
正カウント値が肯定閾値より大きくなければ（Ｓ３０５でＮＯ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ３０７の処理を行う。
【００８９】
サブ部分識別器６１は、正カウント値と残りの部分画像数との和が肯定閾値よりも小さければ（Ｓ３０７でＹＥＳ）、Ｓ３０９の処理へ進む。正カウント値と残りの部分画像数との和が肯定閾値よりも小さい場合、残り全ての部分画像によって正カウント値がインクリメントされても正カウント値が肯定閾値より大きくなることがないので、Ｓ３０９に処理を進めることによって、残りの部分画像についてサポートベクタマシンによる識別を省略する。これにより、部分識別処理の速度を速めることができる。
【００９０】
サブ部分識別器６１がＳ３０７でＮＯと判断した場合、サブ部分識別器６１は、次の部分画像の有無を判断する（Ｓ３０８）。なお、本実施形態では、６４個に分割された部分画像の全てを順に選択していない。図１８において太枠で示された上位１０番目までの１０個の部分画像だけを順に選択している。このため、１０番目の部分画像の識別を終えれば、サブ部分識別器６１は、Ｓ３０８において次の部分画像はないと判断する。（この点を考慮して、Ｓ３０７の「残りの部分画像数」も決定される。）
図１９は、上位１０番目までの１０個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。図に示すような肯定閾値を設定すれば、正答率（Precision）を８０％程度に設定でき、再現率（Recall）を９０％程度に設定でき、精度の高い識別が可能である。
【００９１】
本実施形態では、１０個の部分画像だけで夕景画像の識別を行っている。このため、本実施形態では、６４個の全ての部分画像を用いて夕景画像の識別を行うよりも、部分識別処理の速度を速めることができる。
また、本実施形態では、夕景部分画像の存在確率の高い上位１０番目の部分画像を用いて夕景画像の識別を行っている。このため、本実施形態では、存在確率を無視して抽出された１０個の部分画像を用いて夕景画像の識別を行うよりも、Recall及びPrecisionをともに高く設定することが可能になる。
また、本実施形態では、夕景部分画像の存在確率の高い順に部分画像を選択している。この結果、早い段階でＳ３０５の判断がＹＥＳになりやすくなる。このため、本実施形態では、存在確率の高低を無視した順で部分画像を選択したときよりも、部分識別処理の速度を速めることができる。
【００９２】
Ｓ３０７においてＹＥＳと判断された場合、又は、Ｓ３０８において次の部分画像がないと判断された場合、サブ部分識別器６１は、負カウント値が否定閾値よりも大きいか否かを判断する（Ｓ３０９）。この否定閾値は、前述の全体識別処理における否定閾値（図１０のＳ２０６）とほぼ同様の機能を果たすものなので、詳しい説明は省略する。Ｓ３０９でＹＥＳと判断された場合、図１０のＳ２０７と同様に、否定フラグを立てる。
【００９３】
Ｓ３０２においてＮＯの場合、Ｓ３０９でＮＯの場合、又はＳ３１０の処理を終えた場合、部分識別器６０は、次のサブ部分識別器６１の有無を判断する（Ｓ３１１）。夕景部分識別器６１Ｓによる処理を終えた後の場合、サブ部分識別器６１として花部分識別器６１Ｆや紅葉部分識別器６１Ｒがまだあるので、部分識別器６０は、Ｓ３１１において、次のサブ部分識別器６１があると判断する。
【００９４】
そして、Ｓ３０６の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ３１１において次のサブ部分識別器６１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、部分識別器６０は、部分識別処理を終了する。
【００９５】
なお、既に説明した通り、部分識別処理が終了すると、シーン識別部３３は、部分識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０６）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
【００９６】
部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
【００９７】
＝＝＝サポートベクタマシン＝＝＝
統合識別処理について説明する前に、全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１において用いられているサポートベクタマシン（ＳＶＭ）について説明する。
【００９８】
図２０Ａは、線形サポートベクタマシンによる判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。学習用サンプルは２つのクラスＡ、Ｂに分けられている。図中では、クラスＡに属するサンプルは丸で示されており、クラスＢに属するサンプルは四角で示されている。
学習用サンプルを用いた学習によって、２次元空間を２つに分ける境界が定義される。境界は、＜ｗ・ｘ＞＋ｂ＝０で定義される（なお、ｘ＝（ｘ１，ｘ２）であり、ｗは重みベクトルであり、＜ｗ・ｘ＞はｗとｘの内積である）。但し、境界は、マージンが最大になるように、学習用サンプルを用いた学習によって定義される。つまり、図の場合、境界は、太点線ではなく、太実線のようになる。
判別は、判別式ｆ（ｘ）＝＜ｗ・ｘ＞＋ｂを用いて行われる。ある入力ｘ（この入力ｘは学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。
【００９９】
ここでは２次元空間を用いて説明しているが、これに限られない（つまり、特徴量は２以上でも良い）。この場合、境界は超平面で定義される。
【０１００】
ところで、２つのクラスに線形関数で分離できないことがある。このような場合に線形サポートベクタマシンによる判別を行うと、判別結果の精度が低下する。そこで、入力空間の特徴量を非線形変換すれば、すなわち入力空間からある特徴空間へ非線形写像すれば、特徴空間において線形関数で分離することができるようになる。非線形サポートベクタマシンでは、これを利用している。
【０１０１】
図２０Ｂは、カーネル関数を用いた判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。図２０Ｂの入力空間からの非線形写像が図２０Ａのような特徴空間になれば、線形関数で２つのクラスに分離することが可能になる。この特徴空間においてマージンが最大になるように境界が定義されれば、特徴空間における境界の逆写像が、図２０Ｂに示す境界になる。この結果、図２０Ｂに示すように、境界は非線形になる。
【０１０２】
本実施形態ではガウスカーネルを利用することにより、判別式ｆ（ｘ）は次式のようになる（なお、Ｍは特徴量の数であり、Ｎは学習用サンプルの数（若しくは境界に寄与する学習用サンプルの数）であり、ｗｉは重み係数であり、ｙｊは学習用サンプルの特徴量であり、ｘｊは入力ｘの特徴量である）。
【数１】
【０１０３】
ある入力ｘ（この入力ｘは学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。また、判別式ｆ（ｘ）の値が大きい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が高くなる。逆に、判別式ｆ（ｘ）の値が小さい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が低くなる。前述の全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１では、上記のサポートベクタマシンの判別式ｆ（ｘ）の値を用いている。
【０１０４】
なお、学習用サンプルとは別に評価用サンプルが用意されている。前述のRecallやPrecisionのグラフは、評価用サンプルに対する識別結果に基づくものである。
【０１０５】
＝＝＝統合識別処理＝＝＝
前述の全体識別処理や部分識別処理では、サブ識別器５１やサブ部分識別器６１における肯定閾値を比較的高めに設定し、Precision（正解率）を高めに設定している。なぜならば、例えば全体識別部の風景識別器５１Ｌの正解率が低く設定されると、風景識別器５１Ｌが紅葉画像を風景画像であると誤識別してしまい、紅葉識別器５１Ｒによる識別を行う前に全体識別処理を終えてしまう事態が発生してしまうからである。本実施形態では、Precision（正解率）が高めに設定されることにより、特定のシーンに属する画像が特定のシーンのサブ識別器５１（又はサブ部分識別器６１）に識別されるようになる（例えば紅葉画像が紅葉識別器５１Ｒ（又は紅葉部分識別器６１Ｒ）によって識別されるようになる）。
【０１０６】
但し、全体識別処理や部分識別処理のPrecision（正解率）を高めに設定すると、全体識別処理や部分識別処理ではシーンの識別ができなくなる可能性が高くなる。そこで、本実施形態では、全体識別処理及び部分識別処理によってシーンの識別ができなかった場合、以下に説明する統合識別処理が行われる。
【０１０７】
図２１は、統合識別処理のフロー図である。以下に説明するように、統合識別処理は、全体識別処理の各サブ識別器５１の判別式の値に基づいて、確信度が所定値以上（例えば９０％以上）であって、最も確信度の高いシーンを選択する処理である。
【０１０８】
まず、統合識別器７０は、５つのサブ識別器５１の判別式の値に基づいて、正となるシーンを抽出する（Ｓ４０１）。このとき、全体識別処理の際に各サブ識別器５１が算出した判別式の値が用いられる。
【０１０９】
次に、統合識別器７０は、確信度が所定値以上のシーンが存在するか否かを判断する（Ｓ４０２）。ここで、確信度は、識別対象画像が特定シーンに属する確率を示すものであり、判別式の値から求められる。具体的にいうと、統合識別器７０には、判別式の値とPrecisionとの関係を示すテーブルが用意されており、このテーブルに基づいて判別式の値に対応するPrecisionを導き出し、このPrecisionの値を確信度としている。なお、所定値は、例えば９０％に設定され、全体識別器や部分識別器の肯定閾値によって設定されるPrecision（９７．５％）よりも低い値に設定される。但し、確信度はPrecisionでなくてもよく、判別式の値を確信度としても良い。
【０１１０】
確信度が所定値以上のシーンが存在する場合（Ｓ４０２でＹＥＳ）、そのシーンの欄に肯定フラグを立てて（Ｓ４０３）、統合識別処理を終了する。なお、確信度が９０％以上のシーンを抽出したときに、複数のシーンが抽出されることはない。あるシーンの確信度が高ければ、必然的に他のシーンの確信度が低くなるからである。
【０１１１】
一方、確信度が所定値以上のシーンが存在しない場合（Ｓ４０２でＮＯ）、肯定フラグを立てずに、統合識別処理を終了する。これにより、図１１の識別対象テーブルの肯定欄において、１のシーンが無いままの状態になる。つまり、識別対象画像が、どのシーンに属するか識別できなかったことになる。
【０１１２】
なお、既に説明した通り、統合識別処理が終了すると、シーン識別部３３は、統合識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０８）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。Ｓ４０２でＹＥＳとの判断の場合、Ｓ１０８の判断もＹＥＳになる。一方、Ｓ４０２でＮＯとの判断の場合、Ｓ１０８の判断もＮＯになる。
【０１１３】
本実施形態では、図８のＳ１０８でＮＯの場合、すなわち図２１のＳ４０２でＮＯの場合、Ｓ４０１で抽出されたシーンが、シーン候補として、全て結果記憶部３１Ｂに記憶される。
【０１１４】
＝＝＝表示部における表示＝＝＝
＜概要＞
前述したように、ユーザは、モード設定ダイヤル２Ａによって、撮影モードを設定することができる。そして、デジタルスチルカメラ２は、設定された撮影モードや撮影時の測光結果等に基づいて、撮影条件（露光時間、ＩＳＯ感度等）を決定し、決定した撮影条件にて被写体を撮影する。撮影後、デジタルスチルカメラ２は、撮影時の撮影条件を示す撮影データを、画像データとともに、画像ファイルとしてメモリカード６に保存する。
【０１１５】
ところで、ユーザが撮影モードを設定し忘れたために、撮影条件に不適切な撮影モードが設定されたまま、撮影が行われることがある。例えば、夜景モードが設定されたまま、日中の風景が撮影されることがある。この場合、画像ファイルの画像データは日中の風景の画像であるにも関わらず、撮影データには夜景モードを示すデータが記憶されることになる（例えば図５の撮影シーンタイプデータが「３」になる）。このような場合、不適切な撮影シーンタイプデータに基づいて画像データが補正されてしまうと、ユーザにとって望ましくない画質の印刷が行われてしまう。
一方、識別処理（顔識別処理及びシーン識別処理）の結果に基づいて画像データを補正しても、ユーザの望む画質の印刷が得られないこともある。例えば、識別処理において誤識別が生じる場合、ユーザの望む画質の印刷が得られないこともある。また、ユーザが特殊な効果を狙って設定した撮影モードを否定して、プリンタによる識別結果に基づいて画像データを補正した場合にも、ユーザの意図通りの印刷を行えなくなる。
そこで、本実施形態では、ユーザの確認を促すための確認画面を表示することにしている。具体的には、後述するように、識別処理結果と、画像ファイルの付加データのシーン情報（撮影シーンタイプデータや撮影モードデータ）の示すシーンとが不一致の場合、パネル部１５の表示部１６に確認画面が表示される。
【０１１６】
但し、識別処理結果と、画像ファイルの付加データの示すシーンとが不一致のたびに、常に確認画面を表示することにすると、ユーザにとって煩わしい場合がある。例えば、多数の画像を印刷するときに、各画像について不一致のたびにユーザの確認を求めるとすると、印刷が終了するまでユーザはプリンタから離れることができず、ユーザにとって不便である。
【０１１７】
そこで、本実施形態では、不一致の場合であっても、確認画面を表示しないことがあるようにした。
【０１１８】
＜第１実施例＞
第１実施例では、識別処理結果の確信度に応じて、確認画面を表示又は非表示にする。
図２２は、第１実施例におけるダイレクトプリントの処理の流れを示すフロー図である。各処理は、メモリ２３に記憶されたプログラムに基づいてプリンタ側コントローラ２０によって実現される。
【０１１９】
まず、プリンタ側コントローラ２０は、顔識別部３２による顔識別処理、及び、シーン識別部３３によるシーン識別処理を行う（Ｓ５０１）。これらの処理については既に説明したので、説明を省略する。
【０１２０】
次に、プリンタ側コントローラ２０は、付加データの示すシーンと、識別処理結果の示すシーンとを比較可能かどうか判断する（Ｓ５０２）。識別処理結果に複数のシーン候補が含まれる場合には、確信度の最も高いシーン候補を用いて判断する。
【０１２１】
なお、次のＳ５０３において不一致の判断に撮影シーンタイプデータを用いる場合と、ＭａｋｅｒＮｏｔｅデータである撮影モードデータを用いる場合とで、Ｓ５０２の判断方法は異なる。
Ｓ５０３において撮影シーンタイプデータを用いる場合、撮影シーンタイプデータが「人物」「風景」及び「夜景」のいずれでもないとき、例えば撮影シーンタイプデータが「０」のとき（図５参照）、Ｓ５０３において識別処理結果との比較ができないので、Ｓ５０２の判断はＮＯとなる。また、識別処理結果が「人物」「風景」及び「夜景」のいずれでもないとき、Ｓ５０３において撮影シーンタイプデータとの比較ができないので、Ｓ５０２の判断はＮＯとなる。例えば識別処理結果が「夕景」のとき、Ｓ５０２の判断はＮＯとなる。
Ｓ５０３において撮影モードデータを用いる場合、撮影モードデータが「人物」「風景」「夕景」及び「夜景」のいずれでもないとき、例えば撮影モードデータが「３（接写）」のとき（図５参照）、識別処理結果との比較ができないので、Ｓ５０２の判断はＮＯとなる。また、識別処理結果が「人物」「風景」「夕景」及び「夜景」のいずれでもないとき、撮影モードデータとの比較ができないので、Ｓ５０２の判断はＮＯとなる。
【０１２２】
Ｓ５０２においてＹＥＳの場合、プリンタ側コントローラ２０は、付加データ（撮影シーンタイプデータ、撮影モードデータ）の示すシーンと、識別処理結果の示すシーンとが不一致か否かを判断する（Ｓ５０３）。識別処理結果に複数のシーン候補が含まれる場合には、確信度の最も高いシーン候補を用いて判断する。
【０１２３】
不一致の場合（Ｓ５０３でＹＥＳ）、プリンタ側コントローラ２０は、識別処理結果の確信度が所定値以下か否かを判断する（Ｓ５０４）。識別処理結果に複数のシーン候補が含まれる場合には、確信度の最も高いシーン候補を用いて判断する。ここで、「所定値」は例えば「７５％」に予め設定されている。例えば全体識別器５０によってシーンを識別できた場合（Ｓ１０４でＹＥＳ）、確信度が９７．５％以上になるので、ここでの判断はＹＥＳになる。一方、例えば統合識別器７０によってもシーンを識別できなかった場合には（Ｓ１０８でＮＯ）、シーン候補の確信度は低いことが多く、ここでの判断はＮＯになりやすい。
【０１２４】
確信度が所定値以下であれば（Ｓ５０４でＹＥＳ）、プリンタ側コントローラ２０は、表示部１６に確認画面を表示する（Ｓ５０５）。この確認画面は、付加データ（撮影シーンタイプデータ、撮影モードデータ）の示すシーンと、識別処理結果の示すシーンとが不一致である場合に、いずれのシーンに基づいて画像データを補正するかをユーザに確認させる画面である。
【０１２５】
図２３Ａは、確認画面の一例の説明図である。この確認画面１６１には、画像データの示す画像が２つ並べて表示されている。左側の画像１６１Ａは、付加データの示すシーンに基づいて補正された画像であり、ここでは「風景」モードによる補正が施されている（図７参照）。一方、右側の画像１６１Ｂは、識別処理結果のシーンに基づいて補正された画像であり、ここでは「人物」モードによる補正が施されている（図７参照）。また、右側の画像の下には、識別処理結果の確信度も示される。表示部１６に表示される画像は大きくないので、確信度を画像と一緒に表示することによって、ユーザの判断材料を補っている。プリンタ側コントローラ２０は、ユーザの入力部１７への操作に応じて、ユーザの選択した画像の縁を太線で強調表示する。初期設定では、右側の画像１６１Ｂが選択される。ユーザによりＯＫボタン１６１Ｃが選択されると（Ｓ５０６でＹＥＳ）、プリンタ側コントローラ２０は、ユーザの選択に応じた補正モードにて画像データを補正する（Ｓ５０７）。仮に、図２３Ａの状態でＯＫボタン１６１Ｃが押されると、識別処理結果である「人物」モードにて画像データが補正処理されることになる。
【０１２６】
図２３Ｂは、確認画面の他の例の説明図である。この確認画面１６２には、画像データの示す画像が一つ表示されている。但し、境界１６２Ｃにおいて、左右の画質が異なっている。境界より左側には、付加データの示すシーンに基づいて補正された画像１６２Ａが表示される。また、境界より右側には、識別処理結果のシーンに基づいて補正された画像１６２Ｂが表示される。このように表示することにより、ユーザは、境界において左右の画質を比較できるので、図２３Ａのように離れた２つの画像を比較するよりも、２つの画像（１６２Ａ、１６２Ｂ）を比較しやすくなる。通常、プリンタ側コントローラ２０は境界１６２Ｃを画面の中央に設定するが、識別処理結果が「人物」の場合、プリンタ側コントローラ２０は、図に示すように、識別できた人物の中心に境界を設定する。「人物」モードにて画像が補正される場合には肌色がきれいになるように補正されるので（図７参照）、人物の中心に境界が設定されることによって、ユーザは、「人物」モードによる画像の補正が適切か否かを容易に判断できる。この確認画面上には、付加データの示すシーンを表示するボタン１６２Ｄと、識別処理結果のシーンを表示するボタン１６２Ｅが表示される。ユーザにより２つのボタン（１６２Ｄ、１６２Ｅ）のいずれかが選択されると（Ｓ５０６でＹＥＳ）、プリンタ側コントローラ２０は、ユーザの選択に応じた補正モードにて画像データを補正する（Ｓ５０７）。
【０１２７】
確認画面は、ユーザによる確認の入力があるまで表示される（Ｓ５０６でＮＯ）。ユーザによる確認の入力があれば（Ｓ５０６でＹＥＳ）、プリンタ側コントローラ２０は、ユーザの選択に応じた補正モードにて画像データを補正する（Ｓ５０７）。但し、ユーザによる入力がない場合であっても、確認画面が表示されてから所定時間（例えば２０秒）が経過したら、初期設定で選択されたシーン（ここでは識別処理結果のシーン）に応じた補正モードにて、画像データが補正されても良い。これにより、ユーザがプリンタから離れていても、処理を進めることができる。初期設定で選択されるシーンは、識別処理結果の確信度に応じて変わっても良いし、確信度に関わらず常に識別処理結果のシーンを選択するように予め決まっていても良い。
【０１２８】
なお、Ｓ５０２においてＮＯの場合には、Ｓ５０３において比較ができないので、Ｓ５０７へ処理が進む。また、Ｓ５０３においてＮＯの場合、ユーザへの確認が不要なので、Ｓ５０７へ処理が進む。
【０１２９】
本実施形態では、Ｓ５０４において、識別処理結果の確信度が所定値よりも大きい場合（Ｓ５０４でＮＯ）、確認画面を表示せずに、Ｓ５０７へ処理が進む。これは、識別処理結果が十分に信頼できるのであれば、ユーザに確認をしなくても、識別処理結果の示すシーンに基づいて画像データを補正すれば、適切な補正が施されるためである。また、識別処理結果が十分に信頼できるにも関わらず、仮にユーザに確認をすることにすると、印刷時間が遅くなってしまうとともに、ユーザに煩わしさを与えてしまうためである。
【０１３０】
Ｓ５０７において、プリンタ側コントローラ２０は、所定の補正モードにて画像データを補正する。Ｓ５０６においてユーザの確認があった場合、プリンタ側コントローラ２０は、ユーザの選択したシーンに基づいて、画像データを補正する。また、Ｓ５０２〜Ｓ５０４のいずれかにおいてＮＯの場合、プリンタ側コントローラ２０は、識別処理結果のシーンに基づいて、画像データを補正する。
【０１３１】
そして、画像補正処理後、プリンタ側コントローラ２０は、補正された画像データに基づいて、画像を印刷する（Ｓ５０８）。これにより、適切な画質の印刷画像が得られる。
【０１３２】
＜第２実施例＞
ユーザが特殊な効果を狙って撮影モードを設定して複数回撮影を行い、多数の画像ファイルをダイレクトプリントする場合、識別処理結果のシーンと付加データのシーンとが不一致になることが頻繁に発生する。第１実施例のままでは、このような場合に頻繁に確認画面が表示されてしまい、ユーザにとって不便である。
一方、ユーザが特殊な効果を狙って撮影モードを設定して複数回撮影を行った場合、複数の画像ファイルの付加データは、いずれも同じシーンを示していると考えられる。また、撮影された画像も、同じようなシーンであることが多い。このため、このような状況下で２つのシーンが不一致になる場合には、付加データのシーンや識別処理結果のシーンをユーザが予め把握していると考えられる。そして、２つのシーンが不一致であることがユーザの想定の範囲内であれば、２つのシーンが不一致であっても、確認画面を表示しないことが望ましい。
【０１３３】
そこで、第２実施例では、確認画面を非表示にする条件を設定できるようにしている。
【０１３４】
図２４Ａ及び図２４Ｂは、自動補正処理を設定する設定画面の一例の説明図である。
【０１３５】
この設定画面１６３には、３つのプルダウンメニューが用意されている。第１プルダウンメニュー１６３Ａでは、「Ｅｘｉｆデータ」又は「識別処理結果」を選択できる。第２プルダウンメニュー１６３Ｂでは、「人物」、「風景」、「夕景」、「夜景」、「花」、「紅葉」のいずれか一つのシーンを識別できる。第３プルダウンメニュー１６３Ｃでは、「Ｅｘｉｆデータ」又は「識別処理結果」を選択できる。図２４Ａでは、「Ｅｘｉｆデータのシーンが風景の場合、Ｅｘｉｆデータのシーンに基づいて画像を自動補正する。」と設定されている。
【０１３６】
ユーザは、入力部１７を操作することによって、３つのプルダウンメニューをそれぞれ設定することにより、自動補正処理を設定することができる。ユーザは、ダイレクトプリントを行う前に、設定画面上にて設定を行う。このときの設定内容は、メモリ２３に記憶される。
【０１３７】
以下の説明では、第１プルダウンメニュー１６３Ａの設定内容を「第１設定データ」と呼ぶ。また、第２プルダウンメニュー１６３Ｂの設定内容を「設定シーン」と呼ぶ。また、第３プルダウンメニュー１６３Ｃの設定内容を「第２設定データ」と呼ぶ。
【０１３８】
図２５は、第２実施例におけるダイレクトプリントの処理の流れを示すフロー図である。前述の第１実施例のＳ５０４の判断処理の代わりに、本実施形態ではＳ５１４の判断処理を行う。これ以外の処理は、第１実施例と第２実施例は同じなので、ここでは説明を省略する。
【０１３９】
付加データのシーンと識別処理結果のシーンとが不一致の場合（Ｓ５０３でＹＥＳ）、プリンタ側コントローラ２０は、確認画面を表示すべきか否かを判断する（Ｓ５１４）。この判断の際に、プリンタ側コントローラ２０は、メモリ２３に記憶された設定内容（第１設定データ、設定シーン、第２設定データ）を読み出す。
【０１４０】
第１設定データ及び設定シーンによる条件が満たされた場合、プリンタ側コントローラ２０は、Ｓ５１４においてＮＯと判断する。すなわち、画像を自動補正する条件が満たされた場合、プリンタ側コントローラ２０は、確認画面を表示せずに、画像データを補正する（このとき、プリンタ側コントローラ２０は、第２設定データの示すシーンに基づいて、画像データを補正することになる）。第２実施例では、ユーザの設定した条件に応じて、確認画面を非表示にすることができるので、頻繁に確認画面を表示させないようにすることが可能になる。
【０１４１】
例えば、図２４Ａのような非表示条件が設定された場合について説明する。プリンタ側コントローラ２０は、画像ファイルの付加データを参照し、付加データのシーンが風景か否かを判断する。付加データのシーンが風景であれば、プリンタ側コントローラ２０はＳ５１４でＮＯと判断し、確認画面は表示されない（このとき、プリンタ側コントローラ２０は、識別処理結果の「人物」ではなく付加データの示す「風景」に基づいて、画像データを補正することになる）。一方、付加データのシーンが例えば夜景であれば、プリンタ側コントローラ２０はＳ５１４でＹＥＳと判断し、確認画面が表示される（Ｓ５０５）。
【０１４２】
なお、人物を撮影するときにユーザが撮影モードをあえて「風景」に設定した場合、デジタルスチルカメラは、メモリカード６に、付加データにおいて「風景」のシーンを示す画像ファイルを保存する。このような画像ファイルを大量にダイレクトプリントするような場合、図２４Ａのようにユーザが予め設定をしていれば、頻繁に確認画面を表示させずに印刷処理が行われるので、ユーザにとって便利である。
【０１４３】
第２実施例では、自動補正処理の設定に基づいて、確認画面を非表示にする条件が設定されている。但し、自動補正処理の設定画面とは別に、確認画面を表示・非表示する条件を設定するための設定画面を用意しても良い。
【０１４４】
＜第３実施例＞
既に説明した通り、ダイレクトプリントは、メモリカード６をプリンタ４のスロット２１に挿入することによって行われるだけでなく、デジタルスチルカメラ２とプリンタ４とを例えばＵＳＢケーブルで接続することによっても可能である。但し、このダイレクトプリントの場合、デジタルスチルカメラ２とプリンタ４とのデータ送受信のプロトコルが定められているため、ダイレクトプリント中にデジタルスチルカメラ２に確認画面を表示させることはできない。
【０１４５】
このため、図２５のＳ５１４において、プリンタ側コントローラ２０は、どのインターフェイスから画像ファイルを取得したかを判断し、スロット２１から画像ファイルを取得したのであれば確認画面を表示すると判断（ＹＥＳと判断）し、ＵＳＢケーブルから画像ファイルを取得したのであれば確認画面を表示しないと判断（ＮＯと判断）する。
【０１４６】
＝＝＝付加データにシーン情報を追加＝＝＝
確認画面においてユーザがシーンを選択すれば、ユーザの望んでいるシーンが確定できる。そこで、本実施形態では、ユーザが確認画面において選択をしたとき、ユーザの選択したシーンを画像ファイルの付加データに記憶している。ここでは、識別処理結果のシーンに基づく補正を行った画像をユーザが確認画面上で選択した場合について説明する。
【０１４７】
図２６は、付加データに識別結果を追加したときのＡＰＰ１領域の構成の説明図である。図２６では、図３の画像ファイルと比較して異なる部分を太線で示している。
【０１４８】
図３の画像ファイルと比較すると、図２６の画像ファイルにはＭａｋｅｒｎｏｔｅＩＦＤが追加されている。この２つ目のＭａｋｅｒｎｏｔｅＩＦＤに、識別処理結果の情報が格納される。
また、ＥｘｉｆＳｕｂＩＦＤに新たなディレクトリエントリも追加される。追加されたディレクトリエントリは、２つ目のＭａｋｅｒｎｏｔｅＩＦＤを示すタグと、２つ目のＭａｋｅｒｎｏｔｅＩＦＤの格納場所を示すポインタとから構成されている。
【０１４９】
また、ＥｘｉｆＳｕｂＩＦＤに新たなディレクトリエントリを追加したため、ＥｘｉｆＳｕｂＩＦＤデータエリアの格納場所がずれるので、ＥｘｉｆＳｕｂＩＦＤデータエリアの格納場所を示すポインタが変更される。
【０１５０】
また、２つ目のＭａｋｅｒｎｏｔｅＩＦＤを追加したため、ＩＦＤ１領域がずれるので、ＩＦＤ０においてＩＦＤ１の位置を示すリンクも変更される。また、２つ目のＭａｋｅｒｎｏｔｅＩＦＤを追加したため、ＡＰＰ１のデータ領域のサイズが変更されたので、ＡＰＰ１のデータ領域のサイズも変更する。
【０１５１】
このようにユーザの選択したシーン（この場合、識別処理結果のシーン）を画像ファイルの付加データに保存することにより、再度、この画像ファイルの画像を印刷するときに識別処理や確認画面の表示が不要になる。また、ユーザが本実施形態のプリンタ４からメモリカード６を取り出し、他のプリンタにメモリカード６を挿入したときに、このプリンタがシーン識別処理機能を備えないが自動補正処理を行うプリンタであっても、適切に画像データが補正できるようになる。
【０１５２】
＝＝＝その他の実施の形態＝＝＝
一実施形態としてのプリンタ等を説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。
【０１５３】
＜プリンタについて＞
前述の実施形態ではプリンタ４がシーン識別処理や確認画面表示等をしていたが、デジタルスチルカメラ２がシーン識別処理や確認画面表示等をしても良い。また、上記のシーン識別処理や確認画面表示を行う情報処理装置は、プリンタ４やデジタルスチルカメラ２に限られるものではない。例えば、大量の画像ファイルを保存するフォトストレージのような情報処理装置が、上記のシーン識別処理や確認画面表示を行っても良い。もちろん、パーソナルコンピュータやインターネット上に設置されたサーバーが、上記のシーン識別処理や確認画面表示を行っても良い。
【０１５４】
＜画像ファイルについて＞
前述の画像ファイルはＥｘｉｆ形式であったが、画像ファイルフォーマットはこれに限られるものではない。また、前述の画像ファイルは静止画であるが、動画であっても良い。要するに、画像ファイルが画像データと付加データとを備えていれば、前述のようなシーン識別処理等を行うことが可能である。
【０１５５】
＜サポートベクタマシンについて＞
前述のサブ識別器５１やサブ部分識別器６１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。しかし、識別対象画像が特定シーンに属するか否かの識別手法は、サポートベクタマシンを用いるものに限られるものではない。例えば、ニューラルネットワーク等のパターン認識を採用しても良い。
【０１５６】
＜シーン候補の抽出方法について＞
前述の実施形態では、全体識別処理・部分識別処理・統合識別処理のいずれでもシーンを識別できなかった場合に限り、確信度が所定値以上のシーンをシーン候補として抽出している。但し、シーン候補の抽出方法は、これに限られるものではない。
図２７は、別の処理フローの説明図である。この処理は、前述のシーン識別処理の代わりに行われる。
まず、前述の実施形態と同様に、プリンタ側コントローラ２０が、画像ファイルの情報に基づいて、全体特徴量を算出する（Ｓ６０１）。次に、風景識別器５１Ｌが、前述の識別処理と同様に、判別式の値又はその値に対応するPrecisionを確信度として算出する（Ｓ６０２）。なお、前述の実施形態の風景識別器５１Ｌは、識別対象画像が風景のシーンに属するか否かをも識別していたが、ここでの風景識別器５１Ｌは、判別式に基づいて確信度を算出するだけである。同様に、他のサブ識別器５１も、確信度を算出する（Ｓ６０３〜Ｓ６０６）。そして、プリンタ側コントローラ２０は、確信度が所定値以上のシーンをシーン候補として抽出し（Ｓ６０７）、シーン候補（及び確信度）を記憶する（Ｓ６０８）。
このようにしても、画像データの示す画像のシーンを識別することが可能である。そして、このように識別したシーンと、付加データのシーンとを比較して、不一致のときに確認画面を表示・非表示することも可能である。
【０１５７】
＝＝＝まとめ＝＝＝
（１）前述の実施形態では、プリンタ側コントローラ２０は、画像データに付加されている付加データから、シーン情報である撮影シーンタイプデータや撮影モードデータを取得する。また、プリンタ側コントローラ２０は、シーン識別処理（図８参照）による識別結果を取得する。
撮影シーンタイプデータや撮影モードデータの示すシーンと、シーン識別処理の識別結果のシーンとが不一致になる場合がある。このような場合、シーン識別処理機能を備えないが画像データの自動補正処理を行うプリンタによってダイレクトプリントが行われると、誤った撮影データに基づいて画像データが補正されてしまうことになる。
そこで、前述の実施形態では、２つのシーンが不一致の場合、ユーザの確認を促すための確認画面を表示することにしている（図２３Ａ及び図２３Ｂ参照）。但し、２つのシーンが不一致のたびに常に確認画面を表示することにすると、ユーザにとって煩わしい場合がある。
そこで、前述の実施形態では、不一致の場合であっても、確認画面を表示しないことがあるようにした。
【０１５８】
（２）前述の第１実施例では、識別処理結果の確信度に応じて、確認画面を表示するか否かが決定されている。識別処理結果が十分に信頼できるのであれば、わざわざユーザに確認しなくても良いからである。
【０１５９】
（３）前述の第２実施例では、確認画面を非表示にする条件を設定できるようにしている。具体的には、図２４Ａにおいて、第１プルダウンメニューにおいて付加データを意味する「Ｅｘｉｆデータ」又は「識別処理結果」を選択し、第２プルダウンメニューにおいて設定シーンを選択することによって、確認画面を非表示にする条件が設定されている。
これにより、ユーザの想定範囲内の不一致のときに、確認画面を非表示にすることができる。
【０１６０】
（４）ＵＳＢケーブルを介してデジタルスチルカメラ２からダイレクトプリントをする場合、デジタルスチルカメラ２とプリンタ４とのデータ送受信のプロトコルが定められているため、ダイレクトプリント中にデジタルスチルカメラ２に確認画面を表示させることはできない。
【０１６１】
そこで、前述の第３実施例では、図２５のＳ５１４において、プリンタ側コントローラ２０は、どのインターフェイスから画像ファイルを取得したかを判断し、スロット２１から画像ファイルを取得したのであれば確認画面を表示すると判断（ＹＥＳと判断）し、ＵＳＢケーブルから画像ファイルを取得したのであれば確認画面を表示しないと判断（ＮＯと判断）している。
【０１６２】
（５）前述の図２３Ａ及び図２３Ｂの確認画面では、付加データの示すシーンに基づいて補正された画像と、識別処理結果のシーンに基づいて補正された画像とが表示されている。このように、実際に補正された画像を確認画面に表示することにより、ユーザの比較作業が容易になる。
【０１６３】
（６）前述の図２３Ｂの確認画面では、画像データの示す画像が１つ表示される。その際に、プリンタ側コントローラ２０は、画像の所定の位置に境界を設定し、境界より左側には付加データのシーンに基づいて補正された画像を表示し、境界より右側には識別処理結果のシーンに基づいて補正された画像を表示する。このように表示することにより、ユーザは、境界において左右の画質を比較できるので、図２３Ａのように離れた２つの画像を比較するよりも、２つの画像を比較しやすくなる。
【０１６４】
（７）識別処理結果が「人物」の場合、識別対象画像に人物の顔があることになる。一方、「人物」モードにて画像が補正される場合、肌色がきれいになるように補正されるので（図７参照）、人物の顔の部分で補正の効果が現れやすい。そこで、識別処理結果が「人物」の場合、前述の図２３Ｂの確認画面のように、プリンタ側コントローラ２０は、顔の部分を中心に境界を設定している。これにより、補正が適切か否かを容易に判断できる。
【０１６５】
なお、このように被写体の位置に応じて境界の位置を設定することは、必ずしも識別処理結果が「人物」の場合に限られない。例えば、識別処理結果が「風景」の場合、識別対象画像の青色や緑色の部分（風景モードの記憶色の部分）を通るように境界の位置を設定すれば、風景モードで画像データを補正したときの補正の効果を確認しやすくなる。
【０１６６】
（８）前述のプリンタ４（情報処理装置に相当）は、プリンタ側コントローラ２０を備えている（図２参照）。そして、このプリンタ側コントローラ２０は、画像データに付加されている付加データから、シーン情報である撮影シーンタイプデータや撮影モードデータを取得する。また、プリンタ側コントローラ２０は、シーン識別処理（図８参照）による識別結果を取得する。撮影シーンタイプデータや撮影モードデータの示すシーンと、シーン識別処理の識別結果のシーンとが不一致になるとき、プリンタ側コントローラ２０は、所定の条件に応じて、確認画面を表示・非表示している。これにより、ユーザの煩わしさを軽減させることができる。
【０１６７】
（９）前述のメモリ２３には、図８、図２２、図２５などの処理をプリンタ４に実行させるプログラムが記憶されている。すなわち、このプログラムは、画像データに付加されている付加データから、画像データのシーン情報を取得するコードと、前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別するコードと、前記シーン情報の示すシーンと識別したシーンとを比較するコードとを備える。また、このプログラムでは、前記シーン情報の示すシーンと識別したシーンとを比較した結果が不一致のとき、前記情報処理装置に、ユーザに確認を促すための確認画面を表示させる場合と、表示させない場合とがある。
【図面の簡単な説明】
【０１６８】
【図１】画像処理システムの説明図である。
【図２】プリンタの構成の説明図である。
【図３】画像ファイルの構造の説明図である。
【図４】図４Ａは、ＩＦＤ０で使われるタグの説明図である。図４Ｂは、ＥｘｉｆＳｕｂＩＦＤで使われるタグの説明図である。
【図５】モード設定ダイヤルの設定とデータとの対応表である。
【図６】プリンタの自動補正機能の説明図である。
【図７】画像のシーンと補正内容との関係の説明図である。
【図８】シーン識別部によるシーン識別処理のフロー図である。
【図９】シーン識別部の機能の説明図である。
【図１０】全体識別処理のフロー図である。
【図１１】識別対象テーブルの説明図である。
【図１２】全体識別処理の肯定閾値の説明図である。
【図１３】RecallとPrecisionの説明図である。
【図１４】第１否定閾値の説明図である。
【図１５】第２否定閾値の説明図である。
【図１６】図１６Ａは、風景識別器における閾値の説明図である。図１６Ｂは、風景識別器の処理の概要の説明図である。
【図１７】部分識別処理のフロー図である。
【図１８】夕景部分識別器が選択する部分画像の順番の説明図である。
【図１９】上位１０番目までの１０個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。
【図２０】図２０Ａは、線形サポートベクタマシンによる判別の説明図である。図２０Ｂは、カーネル関数を用いた判別の説明図である。
【図２１】統合識別処理のフロー図である。
【図２２】第１実施例におけるダイレクトプリントの処理の流れを示すフロー図である。
【図２３】図２３Ａは、確認画面の一例の説明図である。図２３Ｂは、確認画面の他の例の説明図である。
【図２４】図２４Ａ及び図２４Ｂは、自動補正処理を設定する設定画面の一例の説明図である。
【図２５】第２実施例におけるダイレクトプリントの処理の流れを示すフロー図である。
【図２６】付加データに識別結果を追加したときのＡＰＰ１領域の構成の説明図である。
【図２７】別の処理フローの説明図である。
【符号の説明】
【０１６９】
２ デジタルスチルカメラ、２Ａ モード設定ダイヤル、
４ プリンタ、６ メモリカード、
１０ 印刷機構、１１ ヘッド、１２ ヘッド制御部、１３ モータ、１４ センサ、１５ パネル部、１６ 表示部、１７ 入力部、
２０ プリンタ側コントローラ、２１ スロット、２２ ＣＰＵ、２３ メモリ、
２４ 制御ユニット、２５ 駆動信号生成部、
３１ 記憶部、３１Ａ 画像記憶部、３１Ｂ 結果記憶部、
３２ 顔識別部、３３ シーン識別部、３４ 画像補正部、３５ プリンタ制御部、
４０ 特徴量取得部、５０ 全体識別器、５１ サブ識別器、５１Ｌ 風景識別器、
５１Ｓ 夕景識別器、５１Ｎ 夜景識別器、５１Ｆ 花識別器、５１Ｒ 紅葉識別器、
６０ 部分識別器、６１ サブ部分識別器、６１Ｓ 夕景部分識別器、
６１Ｆ 花部分識別器、６１Ｒ 紅葉部分識別器、
７０ 統合識別器、
１６１・１６２ 確認画面、１６２Ｃ 境界、１６３ 設定画面
【技術分野】
【０００１】
本発明は、情報処理方法、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラには撮影モードを設定するモード設定ダイヤルを持つものがある。ユーザがダイヤルで撮影モードを設定すると、デジタルスチルカメラは撮影モードに応じた撮影条件（露光時間等）を決定し、撮影を行う。撮影が行われると、デジタルスチルカメラは、画像ファイルを生成する。この画像ファイルには、撮影した画像の画像データに、撮影時の撮影条件等の付加データが付加されている。
【０００３】
一方、付加データに応じて画像データに画像処理することも行われている。例えば、プリンタが画像ファイルに基づいて印刷を行うとき、付加データの示す撮影条件に応じて画像データを補正し、補正した画像データに従って印刷することが行われている。
【特許文献１】特開２００１−２３８１７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
デジタルスチルカメラが画像ファイルを生成するとき、付加データに、ダイヤル設定に応じたシーン情報が記憶されることがある。一方、ユーザが撮影モードを設定し忘れると、画像データの内容と不一致なシーン情報が付加データに記憶されてしまう。このため、付加データのシーン情報を用いずに、画像データを解析して画像データのシーンを識別することがある。
【０００５】
ところで、付加データの示すシーンと、識別結果のシーンとが不一致のときに、常にユーザへの確認画面を表示することにすると、ユーザに不便なことがある。
【０００６】
本発明は、ユーザの煩わしさを軽減させることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための主たる発明は、画像データに付加されている付加データから、画像データのシーン情報を取得する取得ステップと、前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別ステップと、前記シーン情報の示すシーンと識別したシーンとを比較する比較ステップと、を有する情報処理方法であって、前記比較ステップにおいて前記シーン情報の示すシーンと識別したシーンとが不一致のとき、ユーザに確認を促すための確認画面を表示する場合と、表示しない場合とがあることを特徴とする情報処理方法である。
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
【発明を実施するための最良の形態】
【０００８】
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。
【０００９】
画像データに付加されている付加データから、画像データのシーン情報を取得する取得ステップと、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別ステップと、
前記シーン情報の示すシーンと識別したシーンとを比較する比較ステップと、
を有する情報処理方法であって、
前記比較ステップにおいて前記シーン情報の示すシーンと識別したシーンとが不一致のとき、ユーザに確認を促すための確認画面を表示する場合と、表示しない場合とがある
ことを特徴とする情報処理方法が明らかになる。
このような情報処理方法によれば、ユーザの煩わしさを軽減させることができる。
【００１０】
また、前記識別ステップにおいて、前記画像が特定のシーンに属する確率に応じた確信度を算出し、前記確信度に応じて前記画像が前記特定のシーンに属するか否かを識別し、前記不一致のとき、前記確信度に応じて、前記確認画面を表示するか否かが決定されることが望ましい。これにより、ユーザの確認を得る必要がないときに確認画面を表示しなくて済む。
【００１１】
また、ユーザにシーンを設定させて、ユーザの設定したシーンである設定シーンを記憶し、前記不一致のとき、前記シーン情報の示すシーン及び識別したシーンの少なくとも一方のシーンと、前記設定シーンとに基づいて、前記確認画面を表示するか否かが決定されることが望ましい。これにより、ユーザの想定範囲内の状況下で２つのシーンが不一致のときに、確認画面を表示しなくて済む。
【００１２】
また、第１のインターフェイスを介して前記画像データを取得した場合、前記不一致のときに前記確認画面を表示し、前記第１のインターフェイスとは別の第２のインターフェイスを介して前記画像データを取得した場合、前記不一致のときに前記確認画面を表示しないことが望ましい。これにより、使用状況に応じて確認画面を表示しないようにできる。
【００１３】
また、前記確認画面には、前記シーン情報の示すシーンに基づいて補正された画像と、識別したシーンに基づいて補正された画像とが表示されることが望ましい。これにより、ユーザは比較を容易に行えるようになる。
【００１４】
また、前記確認画面に、前記画像データの示す画像を表示するとともに、前記画像データの示す画像の所定の位置に境界を設定し、前記境界から見て一方の側を、前記シーン情報の示すシーンに基づいて補正された画像とし、前記境界から見て他方の側を、識別したシーンに基づいて補正された画像とすることが望ましい。これにより、境界において、２つの画像を容易に比較できるようになる。
【００１５】
また、識別したシーンが、前記画像に人物の顔があることを示すシーンである場合、前記境界は、前記顔の部分を通るように、設定されることが望ましい。これにより、ユーザが画像補正効果を確認しやすくなる。
【００１６】
コントローラを備える情報処理装置であって、
前記コントローラは、
画像データに付加されている付加データから、画像データのシーン情報を取得し、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別し、
前記シーン情報の示すシーンと識別したシーンとを比較する、
情報処理装置であって、
前記シーン情報の示すシーンと識別したシーンとを比較した結果が不一致のとき、ユーザに確認を促すための確認画面を表示する場合と、表示しない場合とがある
ことを特徴とする情報処理装置が明らかになる。
このような情報処理装置によれば、ユーザの煩わしさを軽減させることができる。
【００１７】
情報処理装置に、
画像データに付加されている付加データから、画像データのシーン情報を取得させ、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別させ、
前記シーン情報の示すシーンと識別したシーンとを比較させる、
プログラムであって、
前記シーン情報の示すシーンと識別したシーンとを比較した結果が不一致のとき、前記情報処理装置に、ユーザに確認を促すための確認画面を表示させる場合と、表示させない場合とがある
ことを特徴とするプログラムが明らかになる。
このようなプログラムによれば、ユーザの煩わしさを軽減させることができる。
【００１８】
＝＝＝全体構成＝＝＝
図１は、画像処理システムの説明図である。この画像処理システムは、デジタルスチルカメラ２と、プリンタ４とを備える。
【００１９】
デジタルスチルカメラ２は、被写体をデジタルデバイス（ＣＣＤなど）に結像させることによりデジタル画像を取得するカメラである。デジタルスチルカメラ２には、モード設定ダイヤル２Ａが設けられている。ユーザは、ダイヤル２Ａによって、撮影条件に応じた撮影モードを設定することができる。例えば、ダイヤル２Ａによって「夜景」モードが設定されると、デジタルスチルカメラ２は、シャッター速度を遅くしたり、ＩＳＯ感度を高くしたりして、夜景撮影に適した撮影条件にて撮影を行う。
【００２０】
デジタルスチルカメラ２は、ファイルフォーマット規格に準拠して、撮影により生成した画像ファイルをメモリカード６に保存する。画像ファイルには、撮影した画像のデジタルデータ（画像データ）だけでなく、撮影時の撮影条件（撮影データ）等の付加データも保存される。
【００２１】
プリンタ４は、画像データの示す画像を紙に印刷する印刷装置である。プリンタ４には、メモリカード６を挿入するスロット２１が設けられている。ユーザは、デジタルスチルカメラ２で撮影した後、デジタルスチルカメラ２からメモリカード６を取り出し、スロット２１にメモリカード６を挿入することができる。
【００２２】
パネル部１５は、表示部１６と、各種のボタンを有する入力部１７とを備える。表示部１６は、液晶ディスプレイにより構成される。表示部１６がタッチパネルであれば、表示部１６は入力部１７としても機能する。表示部１６には、プリンタ４の設定を行うための設定画面や、メモリカードから読み取った画像データの画像や、ユーザへの確認や警告のための画面などが表示される。なお、表示部１６が表示する各種の画面については、後述する。
【００２３】
図２は、プリンタ４の構成の説明図である。プリンタ４は、印刷機構１０と、この印刷機構１０を制御するプリンタ側コントローラ２０とを備える。印刷機構１０は、インクを吐出するヘッド１１と、ヘッド１１を制御するヘッド制御部１２と、紙を搬送するため等のモータ１３と、センサ１４とを有する。プリンタ側コントローラ２０は、メモリカード６からデータを送受信するためのメモリ用スロット２１と、ＣＰＵ２２と、メモリ２３と、モータ１３を制御する制御ユニット２４と、駆動信号（駆動波形）を生成する駆動信号生成部２５とを有する。また、プリンタ側コントローラ２０は、パネル部１５を制御するパネル制御部２６も備えている。
【００２４】
メモリカード６がスロット２１に挿入されると、プリンタ側コントローラ２０は、メモリカード６に保存されている画像ファイルを読み出してメモリ２３に記憶する。そして、プリンタ側コントローラ２０は、画像ファイルの画像データを、印刷機構１０で印刷するための印刷データに変換し、印刷データに基づいて印刷機構１０を制御し、紙に画像を印刷する。この一連の動作は、「ダイレクトプリント」と呼ばれている。
【００２５】
なお、「ダイレクトプリント」は、メモリカード６をスロット２１に挿入することによって行われるだけでなく、デジタルスチルカメラ２とプリンタ４とをケーブル（不図示）で接続することによっても可能である。また、ダイレクトプリントの設定にパネル部１５が用いられる（後述）。また、ダイレクトプリント時の確認画面の表示や確認の入力にもパネル部１５が用いられる（後述）。
【００２６】
＝＝＝画像ファイルの構造＝＝＝
画像ファイルは、画像データと、付加データとから構成されている。画像データは、複数の画素データから構成されている。画素データは、画素の色情報（階調値）を示すデータである。画素がマトリクス状に配置されることによって、画像が構成される。このため、画像データは、画像を示すデータである。付加データには、画像データの特性を示すデータや、撮影データや、サムネイル画像データ等が含まれる。
【００２７】
以下、画像ファイルの具体的な構造について説明する。
図３は、画像ファイルの構造の説明図である。図中の左側には画像ファイルの全体構成が示されており、右側にはＡＰＰ１領域の構成が示されている。
【００２８】
画像ファイルは、ＳＯＩ（Start of image）を示すマーカで始まり、ＥＯＩ（End of Image）を示すマーカで終わる。ＳＯＩを示すマーカの後に、ＡＰＰ１のデータ領域の開始を示すＡＰＰ１マーカがある。ＡＰＰ１マーカの後のＡＰＰ１のデータ領域には、撮影データやサムネイル画像等の付加データが含まれている。また、ＳＯＳ（Start of Stream）を示すマーカの後には、画像データが含まれている。
【００２９】
ＡＰＰ１マーカの後、ＡＰＰ１のデータ領域のサイズを示す情報があり、ＥＸＩＦヘッダとＴＩＦＦヘッダが続き、ＩＦＤ領域となる。
【００３０】
各ＩＦＤ領域は、複数のディレクトリエントリと、次のＩＦＤ領域の位置を示すリンクと、データエリアとを有する。例えば、最初のＩＦＤ０（IFD of main image）では次のＩＦＤ１（IFD of thumbnail image）の位置がリンクされる。但し、ここではＩＦＤ１の次のＩＦＤが存在しないのでＩＦＤ１では他のＩＦＤへのリンクは行われない。各ディレクトリエントリには、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＩＦＤ０データエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、ＩＦＤ０には、ＥｘｉｆＳｕｂＩＦＤの格納場所を意味するタグ（Exif IFD Pointer）と、ＥｘｉｆＳｕｂＩＦＤの格納場所を示すポインタ（オフセット値）とが格納されているディレクトリエントリがある。
【００３１】
ＥｘｉｆＳｕｂＩＦＤ領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＥｘｉｆＳｕｂＩＦＤデータエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、ＥｘｉｆＳｕｂＩＦＤの中には、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を意味するタグと、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を示すポインタとが格納されている。
【００３２】
ＭａｋｅｒｎｏｔｅＩＦＤ領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＭａｋｅｒｎｏｔｅＩＦＤデータエリアにデータが格納されて、データ部にはデータの格納場所を示すポインタが格納される。但し、ＭａｋｅｒｎｏｔｅＩＦＤ領域ではデータの格納形式を自由に定義できるので、必ずしもこの形式でデータを格納しなくても良い。以下の説明では、ＭａｋｅｒｎｏｔｅＩＦＤ領域に格納されるデータのことを「ＭａｋｅｒＮｏｔｅデータ」と呼ぶ。
【００３３】
図４Ａは、ＩＦＤ０で使われるタグの説明図である。図に示す通り、ＩＦＤ０には一般的なデータ（画像データの特性を示すデータ）が格納され、詳細な撮影データは格納されていない。
【００３４】
図４Ｂは、ＥｘｉｆＳｕｂＩＦＤで使われるタグの説明図である。図に示す通り、ＥｘｉｆＳｕｂＩＦＤには詳細な撮影データが格納されている。なお、シーン識別処理の際に抽出される撮影データの大部分は、ＥｘｉｆＳｕｂＩＦＤに格納されている撮影データである。なお、撮影シーンタイプタグ（Scene Capture Type）は、撮影シーンのタイプを示すタグである。また、Ｍａｋｅｒｎｏｔｅタグは、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を意味するタグである。
【００３５】
ＥｘｉｆＳｕｂＩＦＤ領域の撮影シーンタイプタグに対するデータ部（撮影シーンタイプデータ）が、「ゼロ」ならば「標準」を意味し、「１」ならば「風景」を意味し、「２」ならば「人物」を意味し、「３」ならば「夜景」を意味する。なお、ＥｘｉｆＳｕｂＩＦＤに格納されたデータは規格化されているため、この撮影シーンタイプデータの内容を誰でも知ることが可能である。
【００３６】
本実施形態では、Ｍａｋｅｒｎｏｔｅデータの一つに、撮影モードデータが含まれている。この撮影モードデータでは、モード設定ダイヤル２Ａで設定されたモード毎に異なる値を示す。但し、ＭａｋｅｒＮｏｔｅデータは、メーカ毎に形式が異なるため、ＭａｋｅｒＮｏｔｅデータの形式が分からなければ、撮影モードデータの内容を知ることはできない。
【００３７】
図５は、モード設定ダイヤル２Ａの設定とデータとの対応表である。ＥｘｉｆＳｕｂＩＦＤで使われる撮影シーンタイプタグは、ファイルフォーマット規格に準拠しているため、特定できるシーンが限定されており、「夕景」等のシーンを特定するデータをデータ部に格納することはできない。一方、ＭａｋｅｒＮｏｔｅデータは自由に定義できるので、ＭａｋｅｒＮｏｔｅデータの一つである撮影モードタグにより、モード設定ダイヤル２Ａの撮影モードを特定するデータをデータ部に格納できる。
【００３８】
前述のデジタルスチルカメラ２は、モード設定ダイヤル２Ａの設定に応じた撮影条件にて撮影を行った後、上記の画像ファイルを作成し、メモリカード６に保存する。この画像ファイルには、モード設定ダイヤル２Ａに応じた撮影シーンタイプデータ及び撮影モードデータが、画像データに付加されるシーン情報として、それぞれＥｘｉｆＳｕｂＩＦＤ領域及びＭａｋｅｒｎｏｔｅＩＦＤ領域に格納される。
【００３９】
＝＝＝自動補正機能の概要＝＝＝
「人物」の写真を印刷するときには、肌色をきれいにしたいという要求がある。また、「風景」の写真を印刷するときには、空の青色を強調し、木や草の緑色を強調したいという要求がある。そこで、本実施形態のプリンタ４は、画像ファイルを分析して自動的に適した補正処理を行う自動補正機能を備えている。
【００４０】
図６は、プリンタ４の自動補正機能の説明図である。図中のプリンタ側コントローラ２０の各要素は、ソフトウェアとハードウェアによって実現される。
【００４１】
記憶部３１は、メモリ２３の一部の領域及びＣＰＵ２２によって実現される。メモリカード６から読み出された画像ファイルの全部又は一部は、記憶部３１の画像記憶部３１Ａに展開される。また、プリンタ側コントローラ２０の各要素の演算結果は、記憶部３１の結果記憶部３１Ｂに格納される。
【００４２】
顔識別部３２は、ＣＰＵ２２と、メモリ２３に記憶された顔識別プログラムとによって実現される。顔識別部３２は、画像記憶部３１Ａに記憶された画像データを分析し、顔の有無を識別する。顔識別部３２によって顔が有ると識別された場合、識別対象となる画像が「人物」のシーンに属すると識別される。顔識別部３２による顔識別処理は、既に広く行われている処理と同様なので、詳細な説明は省略する。
【００４３】
なお、顔識別部３２は、識別対象となる画像が「人物」のシーンに属する確率（確信度）も算出する。この確信度は、画像に占める肌色の画素の割合、肌色の画像の形状、画素データの示す色と肌色の記憶色との近接度合い、などから算出される。顔識別部３２の識別結果は、結果記憶部３１Ｂに記憶される。
【００４４】
シーン識別部３３は、ＣＰＵ２２と、メモリ２３に記憶されたシーン識別プログラムとによって実現される。シーン識別部３３は、画像記憶部３１Ａに記憶された画像ファイルを分析し、画像データの示す画像のシーンを識別する。顔識別部３２による顔識別処理の後に、シーン識別部３３によるシーン識別処理が行われる。後述するように、シーン識別部３３は、識別対象となる画像が「風景」、「夕景」、「夜景」、「花」、「紅葉」のいずれの画像であるかを識別する。なお、シーン識別部３３の識別結果や確信度の情報も、結果記憶部３１Ｂに記憶される。
【００４５】
図７は、画像のシーンと補正内容との関係の説明図である。
画像補正部３４は、ＣＰＵ２２と、メモリ２３に記憶された画像補正プログラムとによって実現される。画像補正部３４は、記憶部３１の結果記憶部３１Ｂ（後述）に記憶されている識別結果（顔識別部３２やシーン識別部３３の識別結果）に基づいて、画像記憶部３１Ａの画像データを補正する。例えば、シーン識別部３３の識別結果が「風景」である場合には、青色を強調し、緑色を強調するような補正が行われる。但し、画像ファイルの付加データの示すシーンと、識別結果の示すシーンとが不一致の場合、画像補正部３４は、後述する所定の確認処理をした後、確認結果に応じて画像データを補正する。
【００４６】
プリンタ制御部３５は、ＣＰＵ２２、駆動信号生成部２５、制御ユニット２４及びメモリ２３に記憶されたプリンタ制御プログラムによって、実現される。プリンタ制御部３５は、補正後の画像データを印刷データに変換し、印刷機構１０に画像を印刷させる。
【００４７】
＝＝＝シーン識別処理＝＝＝
図８は、シーン識別部３３によるシーン識別処理のフロー図である。図９は、シーン識別部３３の機能の説明図である。図中のシーン識別部３３の各要素は、ソフトウェアとハードウェアによって実現される。シーン識別部３３は、図９に示す特徴量取得部４０と、全体識別器５０と、部分識別器６０と、統合識別器７０とを備えている。
【００４８】
最初に、特徴量取得部４０が、記憶部３１の画像記憶部３１Ａに展開された画像データを分析し、部分特徴量を取得する（Ｓ１０１）。具体的には、特徴量取得部４０は、画像データを８×８の６４ブロックに分割し、各ブロックの色平均と分散を算出し、この色平均と分散を部分特徴量として取得する。なお、ここでは各画素はＹＣＣ色空間における階調値のデータをもっており、各ブロックごとに、Ｙの平均値、Ｃｂの平均値及びＣｒの平均値がそれぞれ算出され、Ｙの分散、Ｃｂの分散及びＣｒの分散がそれぞれ算出される。つまり、各ブロックごとに３つの色平均と３つの分散が部分特徴量として算出される。これらの色平均や分散は、各ブロックにおける部分画像の特徴を示すものである。なお、ＲＧＢ色空間における平均値や分散を算出しても良い。
ブロックごとに色平均と分散が算出されるので、特徴量取得部４０は、画像記憶部３１Ａには画像データの全てを展開せずに、ブロック分の画像データをブロック順に展開する。このため、画像記憶部３１Ａは、必ずしも画像ファイルの全てを展開できるだけの容量を備えていなくても良い。
【００４９】
次に、特徴量取得部４０が、全体特徴量を取得する（Ｓ１０２）。具体的には、特徴量取得部４０は、画像データの全体の色平均、分散、重心及び撮影情報を、全体特徴量として取得する。なお、これらの色平均や分散は、画像の全体の特徴を示すものである。画像データ全体の色平均、分散及び重心は、先に算出した部分特徴量を用いて算出される。このため、全体特徴量を算出する際に、画像データを再度展開する必要がないので、全体特徴量の算出速度が速くなる。全体識別処理（後述）は部分識別処理（後述）よりも先に行われるにも関わらず、全体特徴量が部分特徴量よりも後に求められるのは、このように算出速度を速めるためである。なお、撮影情報は、画像ファイルの撮影データから抽出される。具体的には、絞り値、シャッター速度、フラッシュ発光の有無などの情報が全体特徴量として用いられる。但し、画像ファイルの撮影データの全てが全体特徴量として用いられるわけではない。
【００５０】
次に、全体識別器５０が、全体識別処理を行う（Ｓ１０３）。全体識別処理とは、全体特徴量に基づいて、画像データの示す画像のシーンを識別（推定）する処理である。全体識別処理の詳細については、後述する。
【００５１】
全体識別処理によってシーンの識別ができる場合（Ｓ１０４でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
【００５２】
全体識別処理によってシーンの識別ができない場合（Ｓ１０４でＮＯ）、次に部分識別器６０が、部分識別処理を行う（Ｓ１０５）。部分識別処理とは、部分特徴量に基づいて、画像データの示す画像全体のシーンを識別する処理である。部分識別処理の詳細については、後述する。
【００５３】
部分識別処理によってシーンの識別ができる場合（Ｓ１０６でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
【００５４】
部分識別処理によってシーンの識別ができない場合（Ｓ１０６でＮＯ）、次に統合識別器７０が、統合識別処理を行う（Ｓ１０７）。統合識別処理の詳細については、後述する。
【００５５】
統合識別処理によってシーンの識別ができる場合（Ｓ１０８でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。一方、統合識別処理によってシーンの識別ができない場合（Ｓ１０８でＮＯ）、シーン識別部３３は、候補となるシーン（シーン候補）の全てを、結果記憶部３１Ｂに記憶する（Ｓ１１０）。このとき、シーン候補とともに、確信度も結果記憶部３１Ｂに記憶される。
【００５６】
シーン識別処理（全体識別処理・部分識別処理・統合識別処理）の結果、図８のＳ１０４、Ｓ１０６及びＳ１０８においていずれかＹＥＳの場合、プリンタ側コントローラ２０は、確信度の比較的高い１つのシーンを識別できる。また、Ｓ１０８においてＮＯの場合、プリンタ側コントローラ２０は、確信度の比較的低い少なくとも１つのシーン（シーン候補）を識別できる。なお、Ｓ１０８においてＮＯの場合、シーン候補は１つの場合もあれば、２以上の場合もある。
【００５７】
＝＝＝全体識別処理＝＝＝
図１０は、全体識別処理のフロー図である。ここでは図９も参照しながら全体識別処理について説明する。
【００５８】
まず、全体識別器５０は、複数のサブ識別器５１の中から１つのサブ識別器５１を選択する（Ｓ２０１）。全体識別器５０には、識別対象となる画像（識別対象画像）が特定のシーンに属するか否かを識別するサブ識別器５１が５つ設けられている。５つのサブ識別器５１は、それぞれ風景、夕景、夜景、花、紅葉のシーンを識別する。ここでは、全体識別器５０は、風景→夕景→夜景→花→紅葉の順に、サブ識別器５１を選択する。このため、最初には、識別対象画像が風景のシーンに属するか否かを識別するサブ識別器５１（風景識別器５１Ｌ）が選択される。
【００５９】
次に、全体識別器５０は、識別対象テーブルを参照し、選択したサブ識別器５１を用いてシーンを識別すべきか否かを判断する（Ｓ２０２）。
【００６０】
図１１は、識別対象テーブルの説明図である。この識別対象テーブルは、記憶部３１の結果記憶部３１Ｂに記憶される。識別対象テーブルは、最初の段階では全ての欄がゼロに設定される。Ｓ２０２の処理では、「否定」欄が参照され、ゼロであればＹＥＳと判断され、１であればＮＯと判断される。ここでは、全体識別器５０は、識別対象テーブルにおける「風景」欄の「否定」欄を参照し、ゼロであるのでＹＥＳと判断する。
【００６１】
次に、サブ識別器５１は、全体特徴量に基づいて、判別式の値を算出する（Ｓ２０３）。この判別式の値は、識別対象画像が特定のシーンに属する確率（確信度）と関係している（後述）。本実施形態のサブ識別器５１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。なお、サポートベクタマシンについては、後述する。識別対象画像が特定のシーンに属する場合、サブ識別器５１の判別式は、プラスの値になりやすい。識別対象画像が特定のシーンに属しない場合、サブ識別器５１の判別式は、マイナスの値になりやすい。また、判別式は、識別対象画像が特定のシーンに属する確信度が高いほど、大きい値になる。このため、判別式の値が大きければ、識別対象画像が特定のシーンに属する確率（確信度）が高くなり、判別式の値が小さければ、識別対象画像が特定のシーンに属する確率が低くなる。
【００６２】
次に、サブ識別器５１は、判別式の値が肯定閾値より大きいか否かを判断する（Ｓ２０４）。判別式の値が肯定閾値より大きければ、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断することになる。
【００６３】
図１２は、全体識別処理の肯定閾値の説明図である。同図において、横軸は肯定閾値を示し、縦軸はRecall又はPrecisionの確率を示す。図１３は、RecallとPrecisionの説明図である。判別式の値が肯定閾値以上の場合には識別結果はPositiveであり、判別式の値が肯定閾値以上でない場合には識別結果はNegativeである。
【００６４】
Recallは、再現率や検出率を示すものである。Recallは、特定のシーンの画像の総数に対する、特定のシーンに属すると識別された画像の数の割合である。言い換えると、Recallは、特定のシーンの画像をサブ識別器５１に識別させたときに、サブ識別器５１がPositiveと識別する確率（特定のシーンの画像が特定のシーンに属すると識別される確率）を示すものである。例えば、風景画像を風景識別器５１Ｌに識別させたときに、風景のシーンに属すると風景識別器５１Ｌが識別する確率を示すものである。
【００６５】
Precisionは、正答率や正解率を示すものである。Precisionは、Positiveと識別された画像の総数に対する、特定のシーンの画像の数の割合である。言い換えると、Precisionは、特定のシーンを識別するサブ識別器５１がPositiveと識別したときに、識別対象の画像が特定のシーンである確率を示すものである。例えば、風景識別器５１Ｌが風景のシーンに属すると識別したときに、その識別した画像が本当に風景画像である確率を示すものである。
【００６６】
図１２から分かる通り、肯定閾値を大きくするほど、Precisionが大きくなる。このため、肯定閾値を大きくするほど、例えば風景のシーンに属すると識別された画像が風景画像である確率が高くなる。つまり、肯定閾値を大きくするほど、誤識別の確率が低くなる。
一方、肯定閾値を大きくするほど、Recallは小さくなる。この結果、例えば、風景画像を風景識別器５１Ｌで識別した場合であっても、風景のシーンに属すると正しく識別しにくくなる。ところで、識別対象画像が風景のシーンに属すると識別できれば（Ｓ２０４でＹＥＳ）、残りの別のシーン（夕景など）の識別を行わないようにして全体識別処理の速度を速めている。このため、肯定閾値を大きくするほど、全体識別処理の速度は低下することになる。また、全体識別処理によってシーンが識別できれば部分識別処理を行わないようにしてシーン識別処理の速度を速めているため（Ｓ１０４）、肯定閾値を大きくするほど、シーン識別処理の速度は低下することになる。
つまり、肯定閾値が小さすぎると誤識別の確率が高くなり、大きすぎると処理速度が低下することになる。本実施形態では、正答率（Precision）を９７．５％に設定するため、風景の肯定閾値は１．７２に設定されている。
【００６７】
判別式の値が肯定閾値より大きければ（Ｓ２０４でＹＥＳ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ２０５）。「肯定フラグを立てる」とは、図１１の「肯定」欄を１にすることである。この場合、全体識別器５０は、次のサブ識別器５１による識別を行わずに、全体識別処理を終了する。例えば、風景画像であると識別できれば、夕景などの識別を行わずに、全体識別処理を終了する。この場合、次のサブ識別器５１による識別を省略しているので、全体識別処理の速度を速めることができる。
【００６８】
判別式の値が肯定閾値より大きくなければ（Ｓ２０４でＮＯ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ２０６の処理を行う。
【００６９】
次に、サブ識別器５１は、判別式の値と否定閾値とを比較する（Ｓ２０６）。これにより、サブ識別器５１は、識別対象画像が所定のシーンに属しないかを判断する。このような判断としては、２種類ある。第１に、ある特定のシーンのサブ識別器５１の判別式の値が第１否定閾値より小さければ、その特定のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第１否定閾値より小さければ、識別対象画像が風景のシーンに属しないと判断されることになる。第２に、ある特定のシーンのサブ識別器５１の判別式の値が第２否定閾値より大きければ、その特定のシーンとは別のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第２否定閾値より大きければ、識別対象画像が夜景のシーンに属しないと判断されることになる。
【００７０】
図１４は、第１否定閾値の説明図である。同図において、横軸は第１否定閾値を示し、縦軸は確率を示す。グラフの太線は、True Negative Recallのグラフであり、風景画像以外の画像を風景画像ではないと正しく識別する確率を示している。グラフの細線は、False Negative Recallのグラフであり、風景画像なのに風景画像ではないと誤って識別する確率を示している。
【００７１】
図１４から分かる通り、第１否定閾値を小さくするほど、False Negative Recallが小さくなる。このため、第１否定閾値を小さくするほど、例えば風景のシーンに属しないと識別された画像が風景画像である確率が低くなる。つまり、誤識別の確率が低くなる。
一方、第１否定閾値を小さくするほど、True Negative Recallも小さくなる。この結果、風景画像以外の画像を風景画像ではないと識別しにくくなる。その一方、識別対象画像が特定シーンでないことを識別できれば、部分識別処理の際に、その特定シーンのサブ部分識別器６１による処理を省略してシーン識別処理速度を速めている（後述、図１７のＳ３０２）。このため、第１否定閾値を小さくするほど、シーン識別処理速度は低下する。
つまり、第１否定閾値が大きすぎると誤識別の確率が高くなり、小さすぎると処理速度が低下することになる。本実施形態では、False Negative Recallを２．５％に設定するため、第１否定閾値は−１．０１に設定されている。
【００７２】
ところで、ある画像が風景のシーンに属する確率が高ければ、必然的にその画像が夜景のシーンに属する確率は低くなる。このため、風景識別器５１Ｌの判別式の値が大きい場合には、夜景ではないと識別できる場合がある。このような識別を行うために、第２否定閾値が設けられる。
【００７３】
図１５は、第２否定閾値の説明図である。同図において、横軸は風景の判別式の値を示し、縦軸は確率を示す。同図には、図１２のRecallとPrecisionのグラフとともに、夜景のRecallのグラフが点線で描かれている。この点線のグラフに注目すると、風景の判別式の値が−０．４４よりも大きければ、その画像が夜景画像である確率は２．５％である。言い換えると、風景の判別式の値が−０．４４より大きい場合にその画像が夜景画像でないと識別しても、誤識別の確率は２．５％にすぎない。そこで、本実施形態では、第２否定閾値が−０．４４に設定されている。
【００７４】
そして、判別式の値が第１否定閾値より小さい場合、又は、判別式の値が第２否定閾値より大きい場合（Ｓ２０６でＹＥＳ）、サブ識別器５１は、識別対象画像が所定のシーンに属しないと判断し、否定フラグを立てる（Ｓ２０７）。「否定フラグを立てる」とは、図１１の「否定」欄を１にすることである。例えば、第１否定閾値に基づいて識別対象画像が風景のシーンに属しないと判断された場合、「風景」欄の「否定」欄が１になる。また、第２否定閾値に基づいて識別対象画像が夜景のシーンに属しないと判断された場合、「夜景」欄の「否定」欄が１になる。
【００７５】
図１６Ａは、上記で説明した風景識別器５１Ｌにおける閾値の説明図である。風景識別器５１Ｌには、肯定閾値及び否定閾値が予め設定されている。肯定閾値として１．７２が設定されている。否定閾値には第１否定閾値と第２否定閾値とがある。第１否定閾値として−１．０１が設定されている。また、第２否定閾値として、風景以外の各シーンにそれぞれ値が設定されている。
【００７６】
図１６Ｂは、上記で説明した風景識別器５１Ｌの処理の概要の説明図である。ここでは、説明の簡略化のため、第２否定閾値については夜景についてのみ説明する。風景識別器５１Ｌは、判別式の値が１．７２より大きければ（Ｓ２０４でＹＥＳ）、識別対象画像が風景のシーンに属すると判断する。また、判別式の値が１．７２以下であり（Ｓ２０４でＮＯ）、−０．４４より大きければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が夜景のシーンに属しないと判断する。また、判別式の値が−１．０１より小さければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が風景のシーンに属しないと判断する。なお、風景識別器５１Ｌは、夕景や紅葉についても、第２否定閾値に基づいて、識別対象画像がそのシーンに属しないかを判断する。但し、花の第２否定閾値は肯定閾値よりも大きいため、識別対象画像が花のシーンに属しないことを風景識別器５１Ｌが判断することはない。
【００７７】
Ｓ２０２においてＮＯの場合、Ｓ２０６でＮＯの場合、又はＳ２０７の処理を終えた場合、全体識別器５０は、次のサブ識別器５１の有無を判断する（Ｓ２０８）。ここでは風景識別器５１Ｌによる処理を終えた後なので、全体識別器５０は、Ｓ２０８において、次のサブ識別器５１（夕景識別器５１Ｓ）があると判断する。
【００７８】
そして、Ｓ２０５の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ２０８において次のサブ識別器５１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、全体識別器５０は、全体識別処理を終了する。
【００７９】
なお、既に説明した通り、全体識別処理が終了すると、シーン識別部３３は、全体識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０４）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
【００８０】
全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
【００８１】
＝＝＝部分識別処理＝＝＝
図１７は、部分識別処理のフロー図である。部分識別処理は、全体識別処理によってシーンの識別ができなかった場合（図８のＳ１０４でＮＯ）に行われる。以下に説明するように、部分識別処理は、分割された分割画像のシーンをそれぞれ識別することによって、画像全体のシーンを識別する処理である。ここでは図９も参照しながら部分識別処理について説明する。
【００８２】
まず、部分識別器６０は、複数のサブ部分識別器６１の中から１つのサブ部分識別器６１を選択する（Ｓ３０１）。部分識別器６０には、サブ部分識別器６１が３つ設けられている。各サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像がそれぞれ特定のシーンに属するか否かを識別する。ここでの３つのサブ部分識別器６１は、それぞれ夕景、花、紅葉のシーンを識別する。部分識別器６０は、夕景→花→紅葉の順に、サブ部分識別器６１を選択する。このため、最初には、部分画像が夕景のシーンに属するか否かを識別するサブ部分識別器６１（夕景部分識別器６１Ｓ）が選択される。
【００８３】
次に、部分識別器６０は、識別対象テーブル（図１１）を参照し、選択したサブ部分識別器６１を用いてシーンを識別すべきか否かを判断する（Ｓ３０２）。ここでは、部分識別器６０は、識別対象テーブルにおける「夕景」欄の「否定」欄を参照し、ゼロであればＹＥＳと判断し、１であればＮＯと判断する。なお、全体識別処理の際に、夕景識別器５１Ｓが第１否定閾値により否定フラグを立てたとき、又は、他のサブ識別器５１が第２否定閾値により否定フラグを立てたとき、このＳ３０２でＮＯと判断される。仮にＮＯと判断されると夕景の部分識別処理は省略されることになるので、部分識別処理の速度が速くなる。但し、ここでは説明の都合上、ＹＥＳと判断されるものとする。
【００８４】
次に、サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像の中から、１つの部分画像を選択する（Ｓ３０３）。
図１８は、夕景部分識別器６１Ｓが選択する部分画像の順番の説明図である。部分画像から画像全体のシーンを識別するような場合、識別に用いられる部分画像は、被写体が存在する部分であることが望ましい。そこで、本実施形態では、数千枚のサンプルの夕景画像を用意し、各夕景画像を８×８の６４ブロックに分割し、夕景部分画像（夕景の太陽と空の部分画像）を含むブロックを抽出し、抽出されたブロックの位置に基づいて各ブロックにおける夕景部分画像の存在確率を算出した。そして、本実施形態では、存在確率の高いブロックから順番に、部分画像が選択される。なお、図に示す選択順序の情報は、プログラムの一部としてメモリ２３に格納されている。
【００８５】
なお、夕景画像の場合、画像の中央付近から上半分に夕景の空が広がっていることが多いため、中央付近から上半分のブロックにおいて存在確率が高くなる。また、夕景画像の場合、画像の下１／３では逆光で陰になり、部分画像単体では夕景か夜景か区別がつかないことが多いため、下１／３のブロックにおいて存在確率が低くなる。花画像の場合、花を中央付近に配置させる構図にすることが多いため、中央付近における花部分画像の存在確率が高くなる。
【００８６】
次に、サブ部分識別器６１は、選択された部分画像の部分特徴量に基づいて、その部分画像が特定のシーンに属するか否かを判断する（Ｓ３０４）。サブ部分識別器６１には、全体識別器５０のサブ識別器５１と同様に、サポートベクタマシン（ＳＶＭ）による判別手法が用いられている。なお、サポートベクタマシンについては、後述する。判別式の値が正の値であれば、部分画像が特定のシーンに属すると判断し、サブ部分識別器６１は正カウント値をインクリメントする。また、判別式の値が負の値であれば、部分画像が特定のシーンに属しないと判断し、サブ部分識別器６１は負カウント値をインクリメントする。
【００８７】
次に、サブ部分識別器６１は、正カウント値が肯定閾値よりも大きい否かを判断する（Ｓ３０５）。なお、正カウント値は、特定のシーンに属すると判断された部分画像の数を示すものである。正カウント値が肯定閾値より大きければ（Ｓ３０５でＹＥＳ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ３０６）。この場合、部分識別器６０は、次のサブ部分識別器６１による識別を行わずに、部分識別処理を終了する。例えば、夕景画像であると識別できれば、花や紅葉の識別を行わずに、部分識別処理を終了する。この場合、次のサブ部分識別器６１による識別を省略しているので、部分識別処理の速度を速めることができる。
【００８８】
正カウント値が肯定閾値より大きくなければ（Ｓ３０５でＮＯ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ３０７の処理を行う。
【００８９】
サブ部分識別器６１は、正カウント値と残りの部分画像数との和が肯定閾値よりも小さければ（Ｓ３０７でＹＥＳ）、Ｓ３０９の処理へ進む。正カウント値と残りの部分画像数との和が肯定閾値よりも小さい場合、残り全ての部分画像によって正カウント値がインクリメントされても正カウント値が肯定閾値より大きくなることがないので、Ｓ３０９に処理を進めることによって、残りの部分画像についてサポートベクタマシンによる識別を省略する。これにより、部分識別処理の速度を速めることができる。
【００９０】
サブ部分識別器６１がＳ３０７でＮＯと判断した場合、サブ部分識別器６１は、次の部分画像の有無を判断する（Ｓ３０８）。なお、本実施形態では、６４個に分割された部分画像の全てを順に選択していない。図１８において太枠で示された上位１０番目までの１０個の部分画像だけを順に選択している。このため、１０番目の部分画像の識別を終えれば、サブ部分識別器６１は、Ｓ３０８において次の部分画像はないと判断する。（この点を考慮して、Ｓ３０７の「残りの部分画像数」も決定される。）
図１９は、上位１０番目までの１０個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。図に示すような肯定閾値を設定すれば、正答率（Precision）を８０％程度に設定でき、再現率（Recall）を９０％程度に設定でき、精度の高い識別が可能である。
【００９１】
本実施形態では、１０個の部分画像だけで夕景画像の識別を行っている。このため、本実施形態では、６４個の全ての部分画像を用いて夕景画像の識別を行うよりも、部分識別処理の速度を速めることができる。
また、本実施形態では、夕景部分画像の存在確率の高い上位１０番目の部分画像を用いて夕景画像の識別を行っている。このため、本実施形態では、存在確率を無視して抽出された１０個の部分画像を用いて夕景画像の識別を行うよりも、Recall及びPrecisionをともに高く設定することが可能になる。
また、本実施形態では、夕景部分画像の存在確率の高い順に部分画像を選択している。この結果、早い段階でＳ３０５の判断がＹＥＳになりやすくなる。このため、本実施形態では、存在確率の高低を無視した順で部分画像を選択したときよりも、部分識別処理の速度を速めることができる。
【００９２】
Ｓ３０７においてＹＥＳと判断された場合、又は、Ｓ３０８において次の部分画像がないと判断された場合、サブ部分識別器６１は、負カウント値が否定閾値よりも大きいか否かを判断する（Ｓ３０９）。この否定閾値は、前述の全体識別処理における否定閾値（図１０のＳ２０６）とほぼ同様の機能を果たすものなので、詳しい説明は省略する。Ｓ３０９でＹＥＳと判断された場合、図１０のＳ２０７と同様に、否定フラグを立てる。
【００９３】
Ｓ３０２においてＮＯの場合、Ｓ３０９でＮＯの場合、又はＳ３１０の処理を終えた場合、部分識別器６０は、次のサブ部分識別器６１の有無を判断する（Ｓ３１１）。夕景部分識別器６１Ｓによる処理を終えた後の場合、サブ部分識別器６１として花部分識別器６１Ｆや紅葉部分識別器６１Ｒがまだあるので、部分識別器６０は、Ｓ３１１において、次のサブ部分識別器６１があると判断する。
【００９４】
そして、Ｓ３０６の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ３１１において次のサブ部分識別器６１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、部分識別器６０は、部分識別処理を終了する。
【００９５】
なお、既に説明した通り、部分識別処理が終了すると、シーン識別部３３は、部分識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０６）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
【００９６】
部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
【００９７】
＝＝＝サポートベクタマシン＝＝＝
統合識別処理について説明する前に、全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１において用いられているサポートベクタマシン（ＳＶＭ）について説明する。
【００９８】
図２０Ａは、線形サポートベクタマシンによる判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。学習用サンプルは２つのクラスＡ、Ｂに分けられている。図中では、クラスＡに属するサンプルは丸で示されており、クラスＢに属するサンプルは四角で示されている。
学習用サンプルを用いた学習によって、２次元空間を２つに分ける境界が定義される。境界は、＜ｗ・ｘ＞＋ｂ＝０で定義される（なお、ｘ＝（ｘ１，ｘ２）であり、ｗは重みベクトルであり、＜ｗ・ｘ＞はｗとｘの内積である）。但し、境界は、マージンが最大になるように、学習用サンプルを用いた学習によって定義される。つまり、図の場合、境界は、太点線ではなく、太実線のようになる。
判別は、判別式ｆ（ｘ）＝＜ｗ・ｘ＞＋ｂを用いて行われる。ある入力ｘ（この入力ｘは学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。
【００９９】
ここでは２次元空間を用いて説明しているが、これに限られない（つまり、特徴量は２以上でも良い）。この場合、境界は超平面で定義される。
【０１００】
ところで、２つのクラスに線形関数で分離できないことがある。このような場合に線形サポートベクタマシンによる判別を行うと、判別結果の精度が低下する。そこで、入力空間の特徴量を非線形変換すれば、すなわち入力空間からある特徴空間へ非線形写像すれば、特徴空間において線形関数で分離することができるようになる。非線形サポートベクタマシンでは、これを利用している。
【０１０１】
図２０Ｂは、カーネル関数を用いた判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。図２０Ｂの入力空間からの非線形写像が図２０Ａのような特徴空間になれば、線形関数で２つのクラスに分離することが可能になる。この特徴空間においてマージンが最大になるように境界が定義されれば、特徴空間における境界の逆写像が、図２０Ｂに示す境界になる。この結果、図２０Ｂに示すように、境界は非線形になる。
【０１０２】
本実施形態ではガウスカーネルを利用することにより、判別式ｆ（ｘ）は次式のようになる（なお、Ｍは特徴量の数であり、Ｎは学習用サンプルの数（若しくは境界に寄与する学習用サンプルの数）であり、ｗｉは重み係数であり、ｙｊは学習用サンプルの特徴量であり、ｘｊは入力ｘの特徴量である）。
【数１】
【０１０３】
ある入力ｘ（この入力ｘは学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。また、判別式ｆ（ｘ）の値が大きい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が高くなる。逆に、判別式ｆ（ｘ）の値が小さい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が低くなる。前述の全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１では、上記のサポートベクタマシンの判別式ｆ（ｘ）の値を用いている。
【０１０４】
なお、学習用サンプルとは別に評価用サンプルが用意されている。前述のRecallやPrecisionのグラフは、評価用サンプルに対する識別結果に基づくものである。
【０１０５】
＝＝＝統合識別処理＝＝＝
前述の全体識別処理や部分識別処理では、サブ識別器５１やサブ部分識別器６１における肯定閾値を比較的高めに設定し、Precision（正解率）を高めに設定している。なぜならば、例えば全体識別部の風景識別器５１Ｌの正解率が低く設定されると、風景識別器５１Ｌが紅葉画像を風景画像であると誤識別してしまい、紅葉識別器５１Ｒによる識別を行う前に全体識別処理を終えてしまう事態が発生してしまうからである。本実施形態では、Precision（正解率）が高めに設定されることにより、特定のシーンに属する画像が特定のシーンのサブ識別器５１（又はサブ部分識別器６１）に識別されるようになる（例えば紅葉画像が紅葉識別器５１Ｒ（又は紅葉部分識別器６１Ｒ）によって識別されるようになる）。
【０１０６】
但し、全体識別処理や部分識別処理のPrecision（正解率）を高めに設定すると、全体識別処理や部分識別処理ではシーンの識別ができなくなる可能性が高くなる。そこで、本実施形態では、全体識別処理及び部分識別処理によってシーンの識別ができなかった場合、以下に説明する統合識別処理が行われる。
【０１０７】
図２１は、統合識別処理のフロー図である。以下に説明するように、統合識別処理は、全体識別処理の各サブ識別器５１の判別式の値に基づいて、確信度が所定値以上（例えば９０％以上）であって、最も確信度の高いシーンを選択する処理である。
【０１０８】
まず、統合識別器７０は、５つのサブ識別器５１の判別式の値に基づいて、正となるシーンを抽出する（Ｓ４０１）。このとき、全体識別処理の際に各サブ識別器５１が算出した判別式の値が用いられる。
【０１０９】
次に、統合識別器７０は、確信度が所定値以上のシーンが存在するか否かを判断する（Ｓ４０２）。ここで、確信度は、識別対象画像が特定シーンに属する確率を示すものであり、判別式の値から求められる。具体的にいうと、統合識別器７０には、判別式の値とPrecisionとの関係を示すテーブルが用意されており、このテーブルに基づいて判別式の値に対応するPrecisionを導き出し、このPrecisionの値を確信度としている。なお、所定値は、例えば９０％に設定され、全体識別器や部分識別器の肯定閾値によって設定されるPrecision（９７．５％）よりも低い値に設定される。但し、確信度はPrecisionでなくてもよく、判別式の値を確信度としても良い。
【０１１０】
確信度が所定値以上のシーンが存在する場合（Ｓ４０２でＹＥＳ）、そのシーンの欄に肯定フラグを立てて（Ｓ４０３）、統合識別処理を終了する。なお、確信度が９０％以上のシーンを抽出したときに、複数のシーンが抽出されることはない。あるシーンの確信度が高ければ、必然的に他のシーンの確信度が低くなるからである。
【０１１１】
一方、確信度が所定値以上のシーンが存在しない場合（Ｓ４０２でＮＯ）、肯定フラグを立てずに、統合識別処理を終了する。これにより、図１１の識別対象テーブルの肯定欄において、１のシーンが無いままの状態になる。つまり、識別対象画像が、どのシーンに属するか識別できなかったことになる。
【０１１２】
なお、既に説明した通り、統合識別処理が終了すると、シーン識別部３３は、統合識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０８）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。Ｓ４０２でＹＥＳとの判断の場合、Ｓ１０８の判断もＹＥＳになる。一方、Ｓ４０２でＮＯとの判断の場合、Ｓ１０８の判断もＮＯになる。
【０１１３】
本実施形態では、図８のＳ１０８でＮＯの場合、すなわち図２１のＳ４０２でＮＯの場合、Ｓ４０１で抽出されたシーンが、シーン候補として、全て結果記憶部３１Ｂに記憶される。
【０１１４】
＝＝＝表示部における表示＝＝＝
＜概要＞
前述したように、ユーザは、モード設定ダイヤル２Ａによって、撮影モードを設定することができる。そして、デジタルスチルカメラ２は、設定された撮影モードや撮影時の測光結果等に基づいて、撮影条件（露光時間、ＩＳＯ感度等）を決定し、決定した撮影条件にて被写体を撮影する。撮影後、デジタルスチルカメラ２は、撮影時の撮影条件を示す撮影データを、画像データとともに、画像ファイルとしてメモリカード６に保存する。
【０１１５】
ところで、ユーザが撮影モードを設定し忘れたために、撮影条件に不適切な撮影モードが設定されたまま、撮影が行われることがある。例えば、夜景モードが設定されたまま、日中の風景が撮影されることがある。この場合、画像ファイルの画像データは日中の風景の画像であるにも関わらず、撮影データには夜景モードを示すデータが記憶されることになる（例えば図５の撮影シーンタイプデータが「３」になる）。このような場合、不適切な撮影シーンタイプデータに基づいて画像データが補正されてしまうと、ユーザにとって望ましくない画質の印刷が行われてしまう。
一方、識別処理（顔識別処理及びシーン識別処理）の結果に基づいて画像データを補正しても、ユーザの望む画質の印刷が得られないこともある。例えば、識別処理において誤識別が生じる場合、ユーザの望む画質の印刷が得られないこともある。また、ユーザが特殊な効果を狙って設定した撮影モードを否定して、プリンタによる識別結果に基づいて画像データを補正した場合にも、ユーザの意図通りの印刷を行えなくなる。
そこで、本実施形態では、ユーザの確認を促すための確認画面を表示することにしている。具体的には、後述するように、識別処理結果と、画像ファイルの付加データのシーン情報（撮影シーンタイプデータや撮影モードデータ）の示すシーンとが不一致の場合、パネル部１５の表示部１６に確認画面が表示される。
【０１１６】
但し、識別処理結果と、画像ファイルの付加データの示すシーンとが不一致のたびに、常に確認画面を表示することにすると、ユーザにとって煩わしい場合がある。例えば、多数の画像を印刷するときに、各画像について不一致のたびにユーザの確認を求めるとすると、印刷が終了するまでユーザはプリンタから離れることができず、ユーザにとって不便である。
【０１１７】
そこで、本実施形態では、不一致の場合であっても、確認画面を表示しないことがあるようにした。
【０１１８】
＜第１実施例＞
第１実施例では、識別処理結果の確信度に応じて、確認画面を表示又は非表示にする。
図２２は、第１実施例におけるダイレクトプリントの処理の流れを示すフロー図である。各処理は、メモリ２３に記憶されたプログラムに基づいてプリンタ側コントローラ２０によって実現される。
【０１１９】
まず、プリンタ側コントローラ２０は、顔識別部３２による顔識別処理、及び、シーン識別部３３によるシーン識別処理を行う（Ｓ５０１）。これらの処理については既に説明したので、説明を省略する。
【０１２０】
次に、プリンタ側コントローラ２０は、付加データの示すシーンと、識別処理結果の示すシーンとを比較可能かどうか判断する（Ｓ５０２）。識別処理結果に複数のシーン候補が含まれる場合には、確信度の最も高いシーン候補を用いて判断する。
【０１２１】
なお、次のＳ５０３において不一致の判断に撮影シーンタイプデータを用いる場合と、ＭａｋｅｒＮｏｔｅデータである撮影モードデータを用いる場合とで、Ｓ５０２の判断方法は異なる。
Ｓ５０３において撮影シーンタイプデータを用いる場合、撮影シーンタイプデータが「人物」「風景」及び「夜景」のいずれでもないとき、例えば撮影シーンタイプデータが「０」のとき（図５参照）、Ｓ５０３において識別処理結果との比較ができないので、Ｓ５０２の判断はＮＯとなる。また、識別処理結果が「人物」「風景」及び「夜景」のいずれでもないとき、Ｓ５０３において撮影シーンタイプデータとの比較ができないので、Ｓ５０２の判断はＮＯとなる。例えば識別処理結果が「夕景」のとき、Ｓ５０２の判断はＮＯとなる。
Ｓ５０３において撮影モードデータを用いる場合、撮影モードデータが「人物」「風景」「夕景」及び「夜景」のいずれでもないとき、例えば撮影モードデータが「３（接写）」のとき（図５参照）、識別処理結果との比較ができないので、Ｓ５０２の判断はＮＯとなる。また、識別処理結果が「人物」「風景」「夕景」及び「夜景」のいずれでもないとき、撮影モードデータとの比較ができないので、Ｓ５０２の判断はＮＯとなる。
【０１２２】
Ｓ５０２においてＹＥＳの場合、プリンタ側コントローラ２０は、付加データ（撮影シーンタイプデータ、撮影モードデータ）の示すシーンと、識別処理結果の示すシーンとが不一致か否かを判断する（Ｓ５０３）。識別処理結果に複数のシーン候補が含まれる場合には、確信度の最も高いシーン候補を用いて判断する。
【０１２３】
不一致の場合（Ｓ５０３でＹＥＳ）、プリンタ側コントローラ２０は、識別処理結果の確信度が所定値以下か否かを判断する（Ｓ５０４）。識別処理結果に複数のシーン候補が含まれる場合には、確信度の最も高いシーン候補を用いて判断する。ここで、「所定値」は例えば「７５％」に予め設定されている。例えば全体識別器５０によってシーンを識別できた場合（Ｓ１０４でＹＥＳ）、確信度が９７．５％以上になるので、ここでの判断はＹＥＳになる。一方、例えば統合識別器７０によってもシーンを識別できなかった場合には（Ｓ１０８でＮＯ）、シーン候補の確信度は低いことが多く、ここでの判断はＮＯになりやすい。
【０１２４】
確信度が所定値以下であれば（Ｓ５０４でＹＥＳ）、プリンタ側コントローラ２０は、表示部１６に確認画面を表示する（Ｓ５０５）。この確認画面は、付加データ（撮影シーンタイプデータ、撮影モードデータ）の示すシーンと、識別処理結果の示すシーンとが不一致である場合に、いずれのシーンに基づいて画像データを補正するかをユーザに確認させる画面である。
【０１２５】
図２３Ａは、確認画面の一例の説明図である。この確認画面１６１には、画像データの示す画像が２つ並べて表示されている。左側の画像１６１Ａは、付加データの示すシーンに基づいて補正された画像であり、ここでは「風景」モードによる補正が施されている（図７参照）。一方、右側の画像１６１Ｂは、識別処理結果のシーンに基づいて補正された画像であり、ここでは「人物」モードによる補正が施されている（図７参照）。また、右側の画像の下には、識別処理結果の確信度も示される。表示部１６に表示される画像は大きくないので、確信度を画像と一緒に表示することによって、ユーザの判断材料を補っている。プリンタ側コントローラ２０は、ユーザの入力部１７への操作に応じて、ユーザの選択した画像の縁を太線で強調表示する。初期設定では、右側の画像１６１Ｂが選択される。ユーザによりＯＫボタン１６１Ｃが選択されると（Ｓ５０６でＹＥＳ）、プリンタ側コントローラ２０は、ユーザの選択に応じた補正モードにて画像データを補正する（Ｓ５０７）。仮に、図２３Ａの状態でＯＫボタン１６１Ｃが押されると、識別処理結果である「人物」モードにて画像データが補正処理されることになる。
【０１２６】
図２３Ｂは、確認画面の他の例の説明図である。この確認画面１６２には、画像データの示す画像が一つ表示されている。但し、境界１６２Ｃにおいて、左右の画質が異なっている。境界より左側には、付加データの示すシーンに基づいて補正された画像１６２Ａが表示される。また、境界より右側には、識別処理結果のシーンに基づいて補正された画像１６２Ｂが表示される。このように表示することにより、ユーザは、境界において左右の画質を比較できるので、図２３Ａのように離れた２つの画像を比較するよりも、２つの画像（１６２Ａ、１６２Ｂ）を比較しやすくなる。通常、プリンタ側コントローラ２０は境界１６２Ｃを画面の中央に設定するが、識別処理結果が「人物」の場合、プリンタ側コントローラ２０は、図に示すように、識別できた人物の中心に境界を設定する。「人物」モードにて画像が補正される場合には肌色がきれいになるように補正されるので（図７参照）、人物の中心に境界が設定されることによって、ユーザは、「人物」モードによる画像の補正が適切か否かを容易に判断できる。この確認画面上には、付加データの示すシーンを表示するボタン１６２Ｄと、識別処理結果のシーンを表示するボタン１６２Ｅが表示される。ユーザにより２つのボタン（１６２Ｄ、１６２Ｅ）のいずれかが選択されると（Ｓ５０６でＹＥＳ）、プリンタ側コントローラ２０は、ユーザの選択に応じた補正モードにて画像データを補正する（Ｓ５０７）。
【０１２７】
確認画面は、ユーザによる確認の入力があるまで表示される（Ｓ５０６でＮＯ）。ユーザによる確認の入力があれば（Ｓ５０６でＹＥＳ）、プリンタ側コントローラ２０は、ユーザの選択に応じた補正モードにて画像データを補正する（Ｓ５０７）。但し、ユーザによる入力がない場合であっても、確認画面が表示されてから所定時間（例えば２０秒）が経過したら、初期設定で選択されたシーン（ここでは識別処理結果のシーン）に応じた補正モードにて、画像データが補正されても良い。これにより、ユーザがプリンタから離れていても、処理を進めることができる。初期設定で選択されるシーンは、識別処理結果の確信度に応じて変わっても良いし、確信度に関わらず常に識別処理結果のシーンを選択するように予め決まっていても良い。
【０１２８】
なお、Ｓ５０２においてＮＯの場合には、Ｓ５０３において比較ができないので、Ｓ５０７へ処理が進む。また、Ｓ５０３においてＮＯの場合、ユーザへの確認が不要なので、Ｓ５０７へ処理が進む。
【０１２９】
本実施形態では、Ｓ５０４において、識別処理結果の確信度が所定値よりも大きい場合（Ｓ５０４でＮＯ）、確認画面を表示せずに、Ｓ５０７へ処理が進む。これは、識別処理結果が十分に信頼できるのであれば、ユーザに確認をしなくても、識別処理結果の示すシーンに基づいて画像データを補正すれば、適切な補正が施されるためである。また、識別処理結果が十分に信頼できるにも関わらず、仮にユーザに確認をすることにすると、印刷時間が遅くなってしまうとともに、ユーザに煩わしさを与えてしまうためである。
【０１３０】
Ｓ５０７において、プリンタ側コントローラ２０は、所定の補正モードにて画像データを補正する。Ｓ５０６においてユーザの確認があった場合、プリンタ側コントローラ２０は、ユーザの選択したシーンに基づいて、画像データを補正する。また、Ｓ５０２〜Ｓ５０４のいずれかにおいてＮＯの場合、プリンタ側コントローラ２０は、識別処理結果のシーンに基づいて、画像データを補正する。
【０１３１】
そして、画像補正処理後、プリンタ側コントローラ２０は、補正された画像データに基づいて、画像を印刷する（Ｓ５０８）。これにより、適切な画質の印刷画像が得られる。
【０１３２】
＜第２実施例＞
ユーザが特殊な効果を狙って撮影モードを設定して複数回撮影を行い、多数の画像ファイルをダイレクトプリントする場合、識別処理結果のシーンと付加データのシーンとが不一致になることが頻繁に発生する。第１実施例のままでは、このような場合に頻繁に確認画面が表示されてしまい、ユーザにとって不便である。
一方、ユーザが特殊な効果を狙って撮影モードを設定して複数回撮影を行った場合、複数の画像ファイルの付加データは、いずれも同じシーンを示していると考えられる。また、撮影された画像も、同じようなシーンであることが多い。このため、このような状況下で２つのシーンが不一致になる場合には、付加データのシーンや識別処理結果のシーンをユーザが予め把握していると考えられる。そして、２つのシーンが不一致であることがユーザの想定の範囲内であれば、２つのシーンが不一致であっても、確認画面を表示しないことが望ましい。
【０１３３】
そこで、第２実施例では、確認画面を非表示にする条件を設定できるようにしている。
【０１３４】
図２４Ａ及び図２４Ｂは、自動補正処理を設定する設定画面の一例の説明図である。
【０１３５】
この設定画面１６３には、３つのプルダウンメニューが用意されている。第１プルダウンメニュー１６３Ａでは、「Ｅｘｉｆデータ」又は「識別処理結果」を選択できる。第２プルダウンメニュー１６３Ｂでは、「人物」、「風景」、「夕景」、「夜景」、「花」、「紅葉」のいずれか一つのシーンを識別できる。第３プルダウンメニュー１６３Ｃでは、「Ｅｘｉｆデータ」又は「識別処理結果」を選択できる。図２４Ａでは、「Ｅｘｉｆデータのシーンが風景の場合、Ｅｘｉｆデータのシーンに基づいて画像を自動補正する。」と設定されている。
【０１３６】
ユーザは、入力部１７を操作することによって、３つのプルダウンメニューをそれぞれ設定することにより、自動補正処理を設定することができる。ユーザは、ダイレクトプリントを行う前に、設定画面上にて設定を行う。このときの設定内容は、メモリ２３に記憶される。
【０１３７】
以下の説明では、第１プルダウンメニュー１６３Ａの設定内容を「第１設定データ」と呼ぶ。また、第２プルダウンメニュー１６３Ｂの設定内容を「設定シーン」と呼ぶ。また、第３プルダウンメニュー１６３Ｃの設定内容を「第２設定データ」と呼ぶ。
【０１３８】
図２５は、第２実施例におけるダイレクトプリントの処理の流れを示すフロー図である。前述の第１実施例のＳ５０４の判断処理の代わりに、本実施形態ではＳ５１４の判断処理を行う。これ以外の処理は、第１実施例と第２実施例は同じなので、ここでは説明を省略する。
【０１３９】
付加データのシーンと識別処理結果のシーンとが不一致の場合（Ｓ５０３でＹＥＳ）、プリンタ側コントローラ２０は、確認画面を表示すべきか否かを判断する（Ｓ５１４）。この判断の際に、プリンタ側コントローラ２０は、メモリ２３に記憶された設定内容（第１設定データ、設定シーン、第２設定データ）を読み出す。
【０１４０】
第１設定データ及び設定シーンによる条件が満たされた場合、プリンタ側コントローラ２０は、Ｓ５１４においてＮＯと判断する。すなわち、画像を自動補正する条件が満たされた場合、プリンタ側コントローラ２０は、確認画面を表示せずに、画像データを補正する（このとき、プリンタ側コントローラ２０は、第２設定データの示すシーンに基づいて、画像データを補正することになる）。第２実施例では、ユーザの設定した条件に応じて、確認画面を非表示にすることができるので、頻繁に確認画面を表示させないようにすることが可能になる。
【０１４１】
例えば、図２４Ａのような非表示条件が設定された場合について説明する。プリンタ側コントローラ２０は、画像ファイルの付加データを参照し、付加データのシーンが風景か否かを判断する。付加データのシーンが風景であれば、プリンタ側コントローラ２０はＳ５１４でＮＯと判断し、確認画面は表示されない（このとき、プリンタ側コントローラ２０は、識別処理結果の「人物」ではなく付加データの示す「風景」に基づいて、画像データを補正することになる）。一方、付加データのシーンが例えば夜景であれば、プリンタ側コントローラ２０はＳ５１４でＹＥＳと判断し、確認画面が表示される（Ｓ５０５）。
【０１４２】
なお、人物を撮影するときにユーザが撮影モードをあえて「風景」に設定した場合、デジタルスチルカメラは、メモリカード６に、付加データにおいて「風景」のシーンを示す画像ファイルを保存する。このような画像ファイルを大量にダイレクトプリントするような場合、図２４Ａのようにユーザが予め設定をしていれば、頻繁に確認画面を表示させずに印刷処理が行われるので、ユーザにとって便利である。
【０１４３】
第２実施例では、自動補正処理の設定に基づいて、確認画面を非表示にする条件が設定されている。但し、自動補正処理の設定画面とは別に、確認画面を表示・非表示する条件を設定するための設定画面を用意しても良い。
【０１４４】
＜第３実施例＞
既に説明した通り、ダイレクトプリントは、メモリカード６をプリンタ４のスロット２１に挿入することによって行われるだけでなく、デジタルスチルカメラ２とプリンタ４とを例えばＵＳＢケーブルで接続することによっても可能である。但し、このダイレクトプリントの場合、デジタルスチルカメラ２とプリンタ４とのデータ送受信のプロトコルが定められているため、ダイレクトプリント中にデジタルスチルカメラ２に確認画面を表示させることはできない。
【０１４５】
このため、図２５のＳ５１４において、プリンタ側コントローラ２０は、どのインターフェイスから画像ファイルを取得したかを判断し、スロット２１から画像ファイルを取得したのであれば確認画面を表示すると判断（ＹＥＳと判断）し、ＵＳＢケーブルから画像ファイルを取得したのであれば確認画面を表示しないと判断（ＮＯと判断）する。
【０１４６】
＝＝＝付加データにシーン情報を追加＝＝＝
確認画面においてユーザがシーンを選択すれば、ユーザの望んでいるシーンが確定できる。そこで、本実施形態では、ユーザが確認画面において選択をしたとき、ユーザの選択したシーンを画像ファイルの付加データに記憶している。ここでは、識別処理結果のシーンに基づく補正を行った画像をユーザが確認画面上で選択した場合について説明する。
【０１４７】
図２６は、付加データに識別結果を追加したときのＡＰＰ１領域の構成の説明図である。図２６では、図３の画像ファイルと比較して異なる部分を太線で示している。
【０１４８】
図３の画像ファイルと比較すると、図２６の画像ファイルにはＭａｋｅｒｎｏｔｅＩＦＤが追加されている。この２つ目のＭａｋｅｒｎｏｔｅＩＦＤに、識別処理結果の情報が格納される。
また、ＥｘｉｆＳｕｂＩＦＤに新たなディレクトリエントリも追加される。追加されたディレクトリエントリは、２つ目のＭａｋｅｒｎｏｔｅＩＦＤを示すタグと、２つ目のＭａｋｅｒｎｏｔｅＩＦＤの格納場所を示すポインタとから構成されている。
【０１４９】
また、ＥｘｉｆＳｕｂＩＦＤに新たなディレクトリエントリを追加したため、ＥｘｉｆＳｕｂＩＦＤデータエリアの格納場所がずれるので、ＥｘｉｆＳｕｂＩＦＤデータエリアの格納場所を示すポインタが変更される。
【０１５０】
また、２つ目のＭａｋｅｒｎｏｔｅＩＦＤを追加したため、ＩＦＤ１領域がずれるので、ＩＦＤ０においてＩＦＤ１の位置を示すリンクも変更される。また、２つ目のＭａｋｅｒｎｏｔｅＩＦＤを追加したため、ＡＰＰ１のデータ領域のサイズが変更されたので、ＡＰＰ１のデータ領域のサイズも変更する。
【０１５１】
このようにユーザの選択したシーン（この場合、識別処理結果のシーン）を画像ファイルの付加データに保存することにより、再度、この画像ファイルの画像を印刷するときに識別処理や確認画面の表示が不要になる。また、ユーザが本実施形態のプリンタ４からメモリカード６を取り出し、他のプリンタにメモリカード６を挿入したときに、このプリンタがシーン識別処理機能を備えないが自動補正処理を行うプリンタであっても、適切に画像データが補正できるようになる。
【０１５２】
＝＝＝その他の実施の形態＝＝＝
一実施形態としてのプリンタ等を説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。
【０１５３】
＜プリンタについて＞
前述の実施形態ではプリンタ４がシーン識別処理や確認画面表示等をしていたが、デジタルスチルカメラ２がシーン識別処理や確認画面表示等をしても良い。また、上記のシーン識別処理や確認画面表示を行う情報処理装置は、プリンタ４やデジタルスチルカメラ２に限られるものではない。例えば、大量の画像ファイルを保存するフォトストレージのような情報処理装置が、上記のシーン識別処理や確認画面表示を行っても良い。もちろん、パーソナルコンピュータやインターネット上に設置されたサーバーが、上記のシーン識別処理や確認画面表示を行っても良い。
【０１５４】
＜画像ファイルについて＞
前述の画像ファイルはＥｘｉｆ形式であったが、画像ファイルフォーマットはこれに限られるものではない。また、前述の画像ファイルは静止画であるが、動画であっても良い。要するに、画像ファイルが画像データと付加データとを備えていれば、前述のようなシーン識別処理等を行うことが可能である。
【０１５５】
＜サポートベクタマシンについて＞
前述のサブ識別器５１やサブ部分識別器６１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。しかし、識別対象画像が特定シーンに属するか否かの識別手法は、サポートベクタマシンを用いるものに限られるものではない。例えば、ニューラルネットワーク等のパターン認識を採用しても良い。
【０１５６】
＜シーン候補の抽出方法について＞
前述の実施形態では、全体識別処理・部分識別処理・統合識別処理のいずれでもシーンを識別できなかった場合に限り、確信度が所定値以上のシーンをシーン候補として抽出している。但し、シーン候補の抽出方法は、これに限られるものではない。
図２７は、別の処理フローの説明図である。この処理は、前述のシーン識別処理の代わりに行われる。
まず、前述の実施形態と同様に、プリンタ側コントローラ２０が、画像ファイルの情報に基づいて、全体特徴量を算出する（Ｓ６０１）。次に、風景識別器５１Ｌが、前述の識別処理と同様に、判別式の値又はその値に対応するPrecisionを確信度として算出する（Ｓ６０２）。なお、前述の実施形態の風景識別器５１Ｌは、識別対象画像が風景のシーンに属するか否かをも識別していたが、ここでの風景識別器５１Ｌは、判別式に基づいて確信度を算出するだけである。同様に、他のサブ識別器５１も、確信度を算出する（Ｓ６０３〜Ｓ６０６）。そして、プリンタ側コントローラ２０は、確信度が所定値以上のシーンをシーン候補として抽出し（Ｓ６０７）、シーン候補（及び確信度）を記憶する（Ｓ６０８）。
このようにしても、画像データの示す画像のシーンを識別することが可能である。そして、このように識別したシーンと、付加データのシーンとを比較して、不一致のときに確認画面を表示・非表示することも可能である。
【０１５７】
＝＝＝まとめ＝＝＝
（１）前述の実施形態では、プリンタ側コントローラ２０は、画像データに付加されている付加データから、シーン情報である撮影シーンタイプデータや撮影モードデータを取得する。また、プリンタ側コントローラ２０は、シーン識別処理（図８参照）による識別結果を取得する。
撮影シーンタイプデータや撮影モードデータの示すシーンと、シーン識別処理の識別結果のシーンとが不一致になる場合がある。このような場合、シーン識別処理機能を備えないが画像データの自動補正処理を行うプリンタによってダイレクトプリントが行われると、誤った撮影データに基づいて画像データが補正されてしまうことになる。
そこで、前述の実施形態では、２つのシーンが不一致の場合、ユーザの確認を促すための確認画面を表示することにしている（図２３Ａ及び図２３Ｂ参照）。但し、２つのシーンが不一致のたびに常に確認画面を表示することにすると、ユーザにとって煩わしい場合がある。
そこで、前述の実施形態では、不一致の場合であっても、確認画面を表示しないことがあるようにした。
【０１５８】
（２）前述の第１実施例では、識別処理結果の確信度に応じて、確認画面を表示するか否かが決定されている。識別処理結果が十分に信頼できるのであれば、わざわざユーザに確認しなくても良いからである。
【０１５９】
（３）前述の第２実施例では、確認画面を非表示にする条件を設定できるようにしている。具体的には、図２４Ａにおいて、第１プルダウンメニューにおいて付加データを意味する「Ｅｘｉｆデータ」又は「識別処理結果」を選択し、第２プルダウンメニューにおいて設定シーンを選択することによって、確認画面を非表示にする条件が設定されている。
これにより、ユーザの想定範囲内の不一致のときに、確認画面を非表示にすることができる。
【０１６０】
（４）ＵＳＢケーブルを介してデジタルスチルカメラ２からダイレクトプリントをする場合、デジタルスチルカメラ２とプリンタ４とのデータ送受信のプロトコルが定められているため、ダイレクトプリント中にデジタルスチルカメラ２に確認画面を表示させることはできない。
【０１６１】
そこで、前述の第３実施例では、図２５のＳ５１４において、プリンタ側コントローラ２０は、どのインターフェイスから画像ファイルを取得したかを判断し、スロット２１から画像ファイルを取得したのであれば確認画面を表示すると判断（ＹＥＳと判断）し、ＵＳＢケーブルから画像ファイルを取得したのであれば確認画面を表示しないと判断（ＮＯと判断）している。
【０１６２】
（５）前述の図２３Ａ及び図２３Ｂの確認画面では、付加データの示すシーンに基づいて補正された画像と、識別処理結果のシーンに基づいて補正された画像とが表示されている。このように、実際に補正された画像を確認画面に表示することにより、ユーザの比較作業が容易になる。
【０１６３】
（６）前述の図２３Ｂの確認画面では、画像データの示す画像が１つ表示される。その際に、プリンタ側コントローラ２０は、画像の所定の位置に境界を設定し、境界より左側には付加データのシーンに基づいて補正された画像を表示し、境界より右側には識別処理結果のシーンに基づいて補正された画像を表示する。このように表示することにより、ユーザは、境界において左右の画質を比較できるので、図２３Ａのように離れた２つの画像を比較するよりも、２つの画像を比較しやすくなる。
【０１６４】
（７）識別処理結果が「人物」の場合、識別対象画像に人物の顔があることになる。一方、「人物」モードにて画像が補正される場合、肌色がきれいになるように補正されるので（図７参照）、人物の顔の部分で補正の効果が現れやすい。そこで、識別処理結果が「人物」の場合、前述の図２３Ｂの確認画面のように、プリンタ側コントローラ２０は、顔の部分を中心に境界を設定している。これにより、補正が適切か否かを容易に判断できる。
【０１６５】
なお、このように被写体の位置に応じて境界の位置を設定することは、必ずしも識別処理結果が「人物」の場合に限られない。例えば、識別処理結果が「風景」の場合、識別対象画像の青色や緑色の部分（風景モードの記憶色の部分）を通るように境界の位置を設定すれば、風景モードで画像データを補正したときの補正の効果を確認しやすくなる。
【０１６６】
（８）前述のプリンタ４（情報処理装置に相当）は、プリンタ側コントローラ２０を備えている（図２参照）。そして、このプリンタ側コントローラ２０は、画像データに付加されている付加データから、シーン情報である撮影シーンタイプデータや撮影モードデータを取得する。また、プリンタ側コントローラ２０は、シーン識別処理（図８参照）による識別結果を取得する。撮影シーンタイプデータや撮影モードデータの示すシーンと、シーン識別処理の識別結果のシーンとが不一致になるとき、プリンタ側コントローラ２０は、所定の条件に応じて、確認画面を表示・非表示している。これにより、ユーザの煩わしさを軽減させることができる。
【０１６７】
（９）前述のメモリ２３には、図８、図２２、図２５などの処理をプリンタ４に実行させるプログラムが記憶されている。すなわち、このプログラムは、画像データに付加されている付加データから、画像データのシーン情報を取得するコードと、前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別するコードと、前記シーン情報の示すシーンと識別したシーンとを比較するコードとを備える。また、このプログラムでは、前記シーン情報の示すシーンと識別したシーンとを比較した結果が不一致のとき、前記情報処理装置に、ユーザに確認を促すための確認画面を表示させる場合と、表示させない場合とがある。
【図面の簡単な説明】
【０１６８】
【図１】画像処理システムの説明図である。
【図２】プリンタの構成の説明図である。
【図３】画像ファイルの構造の説明図である。
【図４】図４Ａは、ＩＦＤ０で使われるタグの説明図である。図４Ｂは、ＥｘｉｆＳｕｂＩＦＤで使われるタグの説明図である。
【図５】モード設定ダイヤルの設定とデータとの対応表である。
【図６】プリンタの自動補正機能の説明図である。
【図７】画像のシーンと補正内容との関係の説明図である。
【図８】シーン識別部によるシーン識別処理のフロー図である。
【図９】シーン識別部の機能の説明図である。
【図１０】全体識別処理のフロー図である。
【図１１】識別対象テーブルの説明図である。
【図１２】全体識別処理の肯定閾値の説明図である。
【図１３】RecallとPrecisionの説明図である。
【図１４】第１否定閾値の説明図である。
【図１５】第２否定閾値の説明図である。
【図１６】図１６Ａは、風景識別器における閾値の説明図である。図１６Ｂは、風景識別器の処理の概要の説明図である。
【図１７】部分識別処理のフロー図である。
【図１８】夕景部分識別器が選択する部分画像の順番の説明図である。
【図１９】上位１０番目までの１０個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。
【図２０】図２０Ａは、線形サポートベクタマシンによる判別の説明図である。図２０Ｂは、カーネル関数を用いた判別の説明図である。
【図２１】統合識別処理のフロー図である。
【図２２】第１実施例におけるダイレクトプリントの処理の流れを示すフロー図である。
【図２３】図２３Ａは、確認画面の一例の説明図である。図２３Ｂは、確認画面の他の例の説明図である。
【図２４】図２４Ａ及び図２４Ｂは、自動補正処理を設定する設定画面の一例の説明図である。
【図２５】第２実施例におけるダイレクトプリントの処理の流れを示すフロー図である。
【図２６】付加データに識別結果を追加したときのＡＰＰ１領域の構成の説明図である。
【図２７】別の処理フローの説明図である。
【符号の説明】
【０１６９】
２ デジタルスチルカメラ、２Ａ モード設定ダイヤル、
４ プリンタ、６ メモリカード、
１０ 印刷機構、１１ ヘッド、１２ ヘッド制御部、１３ モータ、１４ センサ、１５ パネル部、１６ 表示部、１７ 入力部、
２０ プリンタ側コントローラ、２１ スロット、２２ ＣＰＵ、２３ メモリ、
２４ 制御ユニット、２５ 駆動信号生成部、
３１ 記憶部、３１Ａ 画像記憶部、３１Ｂ 結果記憶部、
３２ 顔識別部、３３ シーン識別部、３４ 画像補正部、３５ プリンタ制御部、
４０ 特徴量取得部、５０ 全体識別器、５１ サブ識別器、５１Ｌ 風景識別器、
５１Ｓ 夕景識別器、５１Ｎ 夜景識別器、５１Ｆ 花識別器、５１Ｒ 紅葉識別器、
６０ 部分識別器、６１ サブ部分識別器、６１Ｓ 夕景部分識別器、
６１Ｆ 花部分識別器、６１Ｒ 紅葉部分識別器、
７０ 統合識別器、
１６１・１６２ 確認画面、１６２Ｃ 境界、１６３ 設定画面
【特許請求の範囲】
【請求項１】
画像データに付加されている付加データから、画像データのシーン情報を取得する取得ステップと、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別ステップと、
前記シーン情報の示すシーンと識別したシーンとを比較する比較ステップと、
を有する情報処理方法であって、
前記比較ステップにおいて前記シーン情報の示すシーンと識別したシーンとが不一致のとき、ユーザに確認を促すための確認画面を表示する場合と、表示しない場合とがある
ことを特徴とする情報処理方法。
【請求項２】
請求項１に記載の情報処理方法であって、
前記識別ステップにおいて、
前記画像が特定のシーンに属する確率に応じた確信度を算出し、
前記確信度に応じて前記画像が前記特定のシーンに属するか否かを識別し、
前記不一致のとき、前記確信度に応じて、前記確認画面を表示するか否かが決定される
ことを特徴とする情報処理方法。
【請求項３】
請求項１に記載の情報処理方法であって、
ユーザにシーンを設定させて、ユーザの設定したシーンである設定シーンを記憶し、
前記不一致のとき、前記シーン情報の示すシーン及び識別したシーンの少なくとも一方のシーンと、前記設定シーンとに基づいて、前記確認画面を表示するか否かが決定される
ことを特徴とする情報処理方法。
【請求項４】
請求項１に記載の情報処理方法であって、
第１のインターフェイスを介して前記画像データを取得した場合、前記不一致のときに前記確認画面を表示し、
前記第１のインターフェイスとは別の第２のインターフェイスを介して前記画像データを取得した場合、前記不一致のときに前記確認画面を表示しない
ことを特徴とする情報処理方法。
【請求項５】
請求項１〜４のいずれかに記載の情報処理方法であって、
前記確認画面には、前記シーン情報の示すシーンに基づいて補正された画像と、識別したシーンに基づいて補正された画像とが表示されることを特徴とする情報処理方法。
【請求項６】
請求項５に記載の情報処理方法であって、
前記確認画面に、前記画像データの示す画像を表示するとともに、
前記画像データの示す画像の所定の位置に境界を設定し、
前記境界から見て一方の側を、前記シーン情報の示すシーンに基づいて補正された画像とし、
前記境界から見て他方の側を、識別したシーンに基づいて補正された画像とする
ことを特徴とする情報処理方法。
【請求項７】
請求項６に記載の情報処理方法であって、
識別したシーンが、前記画像に人物の顔があることを示すシーンである場合、
前記境界は、前記顔の部分を通るように、設定される
ことを特徴とする情報処理方法。
【請求項８】
コントローラを備える情報処理装置であって、
前記コントローラは、
画像データに付加されている付加データから、画像データのシーン情報を取得し、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別し、
前記シーン情報の示すシーンと識別したシーンとを比較する、
情報処理装置であって、
前記シーン情報の示すシーンと識別したシーンとを比較した結果が不一致のとき、ユーザに確認を促すための確認画面を表示する場合と、表示しない場合とがある
ことを特徴とする情報処理装置。
【請求項９】
情報処理装置に、
画像データに付加されている付加データから、画像データのシーン情報を取得させ、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別させ、
前記シーン情報の示すシーンと識別したシーンとを比較させる、
プログラムであって、
前記シーン情報の示すシーンと識別したシーンとを比較した結果が不一致のとき、前記情報処理装置に、ユーザに確認を促すための確認画面を表示させる場合と、表示させない場合とがある
ことを特徴とするプログラム。
【請求項１】
画像データに付加されている付加データから、画像データのシーン情報を取得する取得ステップと、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別ステップと、
前記シーン情報の示すシーンと識別したシーンとを比較する比較ステップと、
を有する情報処理方法であって、
前記比較ステップにおいて前記シーン情報の示すシーンと識別したシーンとが不一致のとき、ユーザに確認を促すための確認画面を表示する場合と、表示しない場合とがある
ことを特徴とする情報処理方法。
【請求項２】
請求項１に記載の情報処理方法であって、
前記識別ステップにおいて、
前記画像が特定のシーンに属する確率に応じた確信度を算出し、
前記確信度に応じて前記画像が前記特定のシーンに属するか否かを識別し、
前記不一致のとき、前記確信度に応じて、前記確認画面を表示するか否かが決定される
ことを特徴とする情報処理方法。
【請求項３】
請求項１に記載の情報処理方法であって、
ユーザにシーンを設定させて、ユーザの設定したシーンである設定シーンを記憶し、
前記不一致のとき、前記シーン情報の示すシーン及び識別したシーンの少なくとも一方のシーンと、前記設定シーンとに基づいて、前記確認画面を表示するか否かが決定される
ことを特徴とする情報処理方法。
【請求項４】
請求項１に記載の情報処理方法であって、
第１のインターフェイスを介して前記画像データを取得した場合、前記不一致のときに前記確認画面を表示し、
前記第１のインターフェイスとは別の第２のインターフェイスを介して前記画像データを取得した場合、前記不一致のときに前記確認画面を表示しない
ことを特徴とする情報処理方法。
【請求項５】
請求項１〜４のいずれかに記載の情報処理方法であって、
前記確認画面には、前記シーン情報の示すシーンに基づいて補正された画像と、識別したシーンに基づいて補正された画像とが表示されることを特徴とする情報処理方法。
【請求項６】
請求項５に記載の情報処理方法であって、
前記確認画面に、前記画像データの示す画像を表示するとともに、
前記画像データの示す画像の所定の位置に境界を設定し、
前記境界から見て一方の側を、前記シーン情報の示すシーンに基づいて補正された画像とし、
前記境界から見て他方の側を、識別したシーンに基づいて補正された画像とする
ことを特徴とする情報処理方法。
【請求項７】
請求項６に記載の情報処理方法であって、
識別したシーンが、前記画像に人物の顔があることを示すシーンである場合、
前記境界は、前記顔の部分を通るように、設定される
ことを特徴とする情報処理方法。
【請求項８】
コントローラを備える情報処理装置であって、
前記コントローラは、
画像データに付加されている付加データから、画像データのシーン情報を取得し、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別し、
前記シーン情報の示すシーンと識別したシーンとを比較する、
情報処理装置であって、
前記シーン情報の示すシーンと識別したシーンとを比較した結果が不一致のとき、ユーザに確認を促すための確認画面を表示する場合と、表示しない場合とがある
ことを特徴とする情報処理装置。
【請求項９】
情報処理装置に、
画像データに付加されている付加データから、画像データのシーン情報を取得させ、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別させ、
前記シーン情報の示すシーンと識別したシーンとを比較させる、
プログラムであって、
前記シーン情報の示すシーンと識別したシーンとを比較した結果が不一致のとき、前記情報処理装置に、ユーザに確認を促すための確認画面を表示させる場合と、表示させない場合とがある
ことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【図２６】
【図２７】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【図２６】
【図２７】
【図２３】
【公開番号】特開２００８−２５７３４４（Ｐ２００８−２５７３４４Ａ）
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００７−９６６０１（Ｐ２００７−９６６０１）
【出願日】平成１９年４月２日（２００７．４．２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願日】平成１９年４月２日（２００７．４．２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]