画像処理装置および画像処理方法
【課題】データ生成装置で実行された補正を画像処理装置および画像処理方法において重複して実行するのを防止する。
【解決手段】デジタルカメラの機種を特定する情報として画像データに付加される機種情報を取得し、その機種情報に基づき、デジタルカメラが人物の顔情報に基づき補正を行って画像データを生成する機能を有するか否かを判別する。そして、デジタルカメラが上記機能を有すると判別するとき、デジタルカメラにより生成された画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに当該顔情報に基づき画像データを補正する処理については、実行しない。
【解決手段】デジタルカメラの機種を特定する情報として画像データに付加される機種情報を取得し、その機種情報に基づき、デジタルカメラが人物の顔情報に基づき補正を行って画像データを生成する機能を有するか否かを判別する。そして、デジタルカメラが上記機能を有すると判別するとき、デジタルカメラにより生成された画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに当該顔情報に基づき画像データを補正する処理については、実行しない。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デジタルカメラなどのデータ生成装置により生成された画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに前記顔情報に基づき前記画像データを補正する機能を有する画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
上記した機能を有するプリンターなどの印刷装置が近年数多く提供されている。また、デジタルカメラなどのデータ生成装置においても、上記機能と同種の機能を備えたものが数多く提供されている。例えば特許文献１に記載のプリントシステムでは、デジタルカメラが顔認識処理を実行して顔オブジェクトの位置情報や色情報などを顔オブジェクト情報として検出し、さらに原撮影画像データに添付し、または埋め込んで顔オブジェクト情報付き撮影画像データを生成する。一方、プリンターなどの印刷装置は、撮影画像に付加される顔オブジェクト情報に基づいて画像データに対して色補正を実行し、色補正済の画像を印刷する。このように、デジタルカメラによる顔認識結果を利用して印刷装置側で独自に補正をかける技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１３４５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、顔認識により得られた顔情報に基づく補正処理に関しては、デジタルカメラ側とプリンター側のどちらで行ってもよいが、両方で行った場合は同種の補正処理を重複して行うこととなり、二度手間となるのみならず、意図しない補正がプリンター側で実行されてしまう可能性があった。さらに、顔認識処理には時間がかかり、かつ印刷開始前に行う必要があることから、プリンター側で顔認識に基づく補正処理を行った場合には印刷ボタン押下から印刷開始までの待ち時間が増えるという問題もあった。したがって、重複した補正処理を合理的に排除することが望まれている。
【０００５】
この発明にかかるいくつかの態様は、データ生成装置で実行された補正を画像処理装置および画像処理方法において重複して実行するのを防止することを目的とする。
【課題を解決するための手段】
【０００６】
この発明の一態様は、データ生成装置により生成された画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに顔情報に基づき画像データを補正する補正部と、データ生成装置の機種を特定する情報として画像データに付加される機種情報を取得する機種情報取得部と、データ生成装置が人物の顔情報に基づき補正を行って画像データを生成する機能を有するか否かを、機種情報取得部により取得された機種情報に基づき判別する機能判別部とを備え、データ生成装置が機能を有すると機能判別部が判別するとき、補正部は顔情報の取得および補正を行わないことを特徴としている。
【０００７】
また、この発明の他の態様は、データ生成装置により生成された画像データを取得する第１工程と、画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに顔情報に基づき画像データを補正する第２工程と、データ生成装置の機種を特定する情報として画像データに付加される機種情報を取得する第３工程と、データ生成装置が人物の顔情報に基づき補正を行って画像データを生成する機能を有するか否かを、第３工程で取得された機種情報に基づき判別する第４工程とを備え、データ生成装置が機能を有すると第４工程で判別された場合には第２工程を行わないことを特徴としている。
【０００８】
このように構成された発明（画像処理装置および画像処理方法）では、データ生成装置により生成された画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに顔情報に基づき画像データを補正する機能を有しているが、これと同様の補正処理を実行する機構をデータ生成装置が有することがある。そして、データ生成装置が上記機能を有する場合、データ生成装置による補正が実行されて同補正が画像データに反映されている可能性が高い。そこで、本発明においては、画像データに付加される機種情報を取得し、その機種情報に基づいてデータ生成装置が機能を有すると判別したときには、顔情報の取得および補正を行わないように構成し、重複した処理が発生するのを防止している。
【０００９】
ここで、機能を有するデータ生成装置の機種を記憶する記憶部を設け、機種情報取得部により取得された機種情報が記憶部に記憶された機種に含まれるか否かに基づいてデータ生成装置が機能を有するか否かを判別してもよい。これにより、当該判別を効率的、かつ確実に行うことができる。
【００１０】
また、データ生成装置の新機種は次々と提供されるため、記憶部の記憶内容に基づき上記判別を精度良く行う上で、記憶部の記憶内容を更新することが非常に重要である。したがって、次のようにして新たなデータ生成装置の機種情報を記憶部に追加して更新するように構成するのが望ましい。例えば、機種情報取得部により取得された機種情報が記憶部に記憶された機種に含まれないと判別したとき、機能を有するデータ生成装置の機種として当該機種情報を記憶部に書き込むように構成してもよい。
【００１１】
また、上記機能を有するデータ生成装置の機種を示す情報としてユーザーから入力される情報を受け付ける入力部を設け、入力部に入力された情報を記憶部に書き込むように構成してもよい。
【００１２】
また、上記機能を有するデータ生成装置の機種を示す情報を記憶する外部装置にアクセスして上記機能を有するデータ生成装置の機種を示す情報を外部装置から受信する通信部を設け、通信部により受信された情報を記憶部に書き込むように構成してもよい。
【００１３】
さらに、上記機能を有するデータ生成装置の機種を示す情報を記憶する記憶媒体にアクセスして上記機能を有するデータ生成装置の機種を示す情報を記憶媒体から読み出す情報読出部を設け、情報読出部により読み出された情報を記憶部に書き込むように構成してもよい。
【図面の簡単な説明】
【００１４】
【図１】本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図。
【図２】デジタルカメラで作成される画像ファイルの一例を示す図。
【図３】図１の印刷装置で実行される画像処理および印刷動作を示すフローチャート。
【発明を実施するための形態】
【００１５】
図１は、本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図である。この印刷システムは、デジタルカメラ２００の撮影により取得された画像データを、メモリカードＭ、ＵＳＢ(Universal Serial Bus)ケーブルや無線ＬＡＮ(Local Area Network)等によって印刷装置１００に転送し、印刷装置１００で印刷するものである。すなわち、ここではユーザーがデジタルカメラ２００で画像を撮影して画像データを生成し、その画像データをそのまま印刷装置１００で読み込んで印刷する、いわゆるダイレクト印刷を想定しているが、本発明を適用可能な印刷システムはこれに限定されるものではない。つまり、デジタルカメラ２００で生成した画像データをパーソナルコンピューターや携帯電話などに取り込み、パーソナルコンピューターから印刷装置１００に画像データを送信して印刷する印刷システムにも本発明を適用することは可能である。
【００１６】
デジタルカメラ２００では、同図に示すように、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、ＣＣＤ（Charge Coupled Device）２０４、ＧＰ（Graphic Processor）２０５およびＩ／Ｆ（Interface）２０６がバス２０７を介して相互に接続され、これらの間で情報の授受が可能となっている。そして、ＣＰＵ２０１はＲＯＭ２０２に格納されているプログラムに応じて各種演算処理を実行しながらデジタルカメラ２００の制御を行う。このとき一時的に必要となるデータはＲＡＭ２０３に格納される。また、ＣＣＤ２０４は、光学系２０８によって集光された被写体からの光学像を電気信号に変換して出力する。この光学系２０８は、複数のレンズおよびアクチュエータによって構成されており、アクチュエータによってフォーカス等を調整しながら被写体の光学像を複数のレンズによってＣＣＤ２０４の受光面に結像する。さらに、ＧＰ２０５は、ＣＰＵ２０１から供給される表示命令に基づいて表示用の画像処理を実行し、得られた表示用画像データをＬＣＤ（Liquid Crystal Display）２０９に供給して表示させる。なお、デジタルカメラ２００の機種によっては、上記演算処理のひとつとして顔認識処理を行うとともに顔認識処理により得られた顔情報に基づく補正処理を行う機能を有する場合がある。
【００１７】
Ｉ／Ｆ２０６はデジタルカメラ２００の入出力機能を提供するものであり、操作ボタン２１０、ジャイロセンサー２１１およびカードＩ／Ｆ回路２１２の間で情報を授受する際に、データの表現形式を適宜変換する装置である。Ｉ／Ｆ２０６に接続される操作ボタン２１０には、電源、モード切替え、シャッターなどのボタンや、各種機能を設定できる入力手段があり、これらによってユーザーはデジタルカメラ２００を任意に制御して動作させることが可能となっている。また、ジャイロセンサー２１１はデジタルカメラ２００によって被写体を撮影した際のカメラ本体の角度（水平面に対する角度）を示す信号を生成して出力する。デジタルカメラ２００は、上記したカメラ本体の角度を含め、撮影時における種々の情報（例えば、露光、被写体等に関する情報）を生成する。それらの情報の一つである撮影情報に後述する顔情報が含まれる。なお、本実施形態では、デジタルカメラ２００は、撮影情報をＥｘｉｆ（Exchangeable Image File Format）情報に記載し、画像データに付加した画像ファイルを生成することができる構造となっている。
【００１８】
また、カードＩ／Ｆ回路２１２はカードスロット２１３に挿入されたメモリカードＭとの間で情報を読み書きするためのインタフェースである。さらに、Ｉ／Ｆ２０６は図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線または無線にて印刷装置１００との間で画像ファイルの授受が可能となっている。なお、デジタルカメラ２００で作成され、印刷装置１００に与えられる画像ファイル（画像データ＋Ｅｘｉｆ情報）については、後で詳述する。
【００１９】
印刷装置１００はデジタルカメラ２００で撮像された画像を印刷する装置であり、次のように構成されている。印刷装置１００では、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１０４、ＧＰ１０５およびＩ／Ｆ１０６がバス１０７を介して相互に接続され、これらの間で情報の授受が可能となっている。ＣＰＵ１０１はＲＯＭ１０２およびＥＥＰＲＯＭ１０４に格納されているプログラムに応じて各種演算処理を実行するとともに印刷装置１００の各部を制御し、本発明の「補正部」、「機種情報取得部」および「機能判別部」として機能する。また、ＣＰＵ１０１が実行対象とするプログラムやデータについてはＲＡＭ１０３に一時的に格納される一方、印刷装置の電源が切断された後も保持しておくデータ、例えば後述する機能を有するデジタルカメラの機種をまとめたデータテーブル等については、本発明の「記憶部」に相当するＥＥＰＲＯＭ１０４に格納される。さらに、ＣＰＵ１０１は必要に応じてＧＰ１０５に対して表示命令を与え、この表示命令に応じてＧＰ１０５が表示用の画像処理を実行し、その処理結果をＬＣＤ１０８に供給して表示させる。
【００２０】
Ｉ／Ｆ１０６は、操作ボタン１０９、カードＩ／Ｆ回路１１０およびプリンターエンジンコントローラー１１１の間で情報を授受する際に、データの表現形式を適宜変換する装置である。印刷装置１００では、操作ボタン１０９は印刷装置１００のメニュー選択等を行う時に押されるように構成されている。また、カードＩ／Ｆ回路１１０は、カードスロット１１２と接続されており、このカードスロット１１２に挿入されたメモリカードＭからデジタルカメラ２００によって生成された画像ファイルを読み出す。なお、Ｉ／Ｆ１０６は、図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線通信または無線通信にてデジタルカメラ２００との間で画像ファイルの授受が可能となっている。
【００２１】
そして、印刷装置１００は、メモリカードＭを介して、あるいはデータ通信により画像データを受け取ると、ＣＰＵ１０１により種々の処理を行うとともにプリンターエンジンコントローラー１１１によりプリンターエンジン１１３を制御し、これによって画像データに対応する画像を印刷する。以下、図２ないし図４に基づき画像ファイルの構成を説明した上で、本実施形態における画像処理動作および印刷動作について詳述する。
【００２２】
図２は上記のように構成されたデジタルカメラで作成される画像ファイルの一例を示す図である。この実施形態では、デジタルカメラ２００はＣＣＤ２０４で撮像された画像データをＲＡＭ２０３に格納する。また、デジタルカメラ２００の機種によっては、被写体に人物が含まれているときに顔認識処理を行うとともに、顔認識処理により取得される人物の顔領域を特定する顔情報に基づいて顔色が最適となる様に原撮影画像データを補正して画像データを作成する機能を有するものがある。そして、デジタルカメラ２００の機種を特定するための機種情報として例えばモデル名を参照することでデジタルカメラ２００が上記機能を有するか否かを判別可能となっている。なお、顔認識方式および補正方式については従来より数多く提案されており、それらのうちいずれの方式を採用してもよい。
【００２３】
また、この実施形態では、上記のように画像データ、本発明の「機種情報」に相当するモデル名などをＲＡＭ２０３に格納しているが、その記録方式としてディジタルスチルカメラ用画像ファイルフォーマット規格Ｅｘｉｆ Ver.2.2.1を使用している。このＥｘｉｆ画像ファイルの構造は、基本的には通常のＪＰＥＧ（Joint Photographic Experts Group）画像形式そのものであり、その中にサムネイル画像や撮影関連データ等のデータをＪＰＥＧの規約に準拠した形で埋め込んだものである。
【００２４】
本実施形態で使用する画像ファイルは、図２の左側部分に示すように、最初にＳＯＩ(Start of image)３０１がある。その後に、ＡＰＰ１（アプリケーション・マーカーセグメント）３０２、ＤＱＴ(Define Quantization Table)３０３、ＤＨＴ(Define Huffman Table)３０４の順となっている。さらにその後に、ＳＯＦ(Start of Frame)３０５、ＳＯＳ(Start of Stream)マーカー３０６、圧縮データ(Compress Data)３０７の順となっている。最後にＥＯＩ(End of Image)３０８がある。これらのうちＡＰＰ１はアプリケーションプログラムで使用するためのデータ領域として図２の中央部分に示す構造を有している。ＡＰＰ１の構造は、先頭にＡＰＰ１ Ｍａｒｋｅｒ領域３０２ａがある。そして、その次にＬｅｎｇｔｈ領域３０２ｂがある。
【００２５】
Ｌｅｎｇｔｈ領域３０２ｂに続くデータの最初の６バイトの領域３０２ｃでは、識別子としてASCII文字の“Exif"が、その次に2バイトの0x00が続く。そこからＴｉｆｆ(Tagged Image File Format)形式でデータが格納されている。Ｔｉｆｆ形式の最初の８バイトはＴｉｆｆヘッダー(Header)領域３０２ｄである。
【００２６】
また、Ｔｉｆｆヘッダー領域３０２ｄの次の０ｔｈ ＩＦＤ(IFD of main image)領域３０２ｅに、同図の右側部分に示すように、画像幅、画像高さ、モデル名等の画像関連情報（あるは、単に画像情報とも呼ぶ）が格納される。これらのうちモデル名はデジタルカメラ２００の機種を特定する機種情報としてASCII文字で書き込まれる。そして、モデル名を参照することでデジタルカメラ２００が顔認識処理により取得された顔情報に基づいて画像データを補正する機能を有しているか否かを判別可能となっている。
【００２７】
そして、０ｔｈ ＩＦＤの次に０ｔｈ ＩＦＤ Ｖａｌｕｅ領域３０２ｆがある。さらに、その次にＥｘｉｆ ＩＦＤ領域３０２ｇが設けられ、露出時間、Ｆナンバー、撮影シーンタイプなどの撮影関連情報（あるいは、単に撮影情報とも呼ぶ）が格納される。また、Ｅｘｉｆ ＩＦＤ領域３０２ｇの次にＥｘｉｆ ＩＦＤ Ｖａｌｕｅ領域３０２ｈがある。
【００２８】
次に、上記のようなデータ構造（図２）を有する画像ファイルがメモリカードＭに保存されており、そのメモリカードＭから画像ファイルを読み出し、印刷装置１００により画像ファイルに含まれる各種情報に基づき所定の画像処理を実行して印刷する動作について、図３を参照しつつ説明する。
【００２９】
図３は図１の印刷装置で実行される画像処理および印刷動作を示すフローチャートである。ユーザーが印刷装置１００のカードスロット１１２にメモリカードＭを挿入し、操作ボタン１０９を操作して印刷指令を与えると、ＣＰＵ１０１がＲＯＭ１０２に格納されているプログラムにしたがって装置各部を制御して以下の画像処理および印刷動作を実行する。なお、本実施形態では、画像処理のひとつとして顔認識処理および補正処理を実行するか否かを判別するために、顔情報に基づいて顔色が最適となる様に原撮影画像データを補正して画像データを作成する機能を有するデジタルカメラのモデル名が予め印刷装置１００の工場出荷段階においてテーブル形式でＥＥＰＲＯＭ１０４に記憶されている。
【００３０】
まず、ＣＰＵ１０１は、印刷の対象となる画像ファイルをメモリカードＭから取得し、ハフマン解凍処理を実行し、量子化ＤＣＴ（Discrete Cosine Transform）係数を得る（ステップＳ１０）。より具体的には、ＣＰＵ１０１は、図２に示す画像ファイルからエントロピー符号化テーブルを取得し、圧縮データ３０７に含まれているＹ（輝度）成分、Ｃｒ（色差成分）、および、Ｃｂ（色差成分）のそれぞれのブロックのＤＣ係数と、ＡＣ係数とを復号する。なお、この際、最小符号化単位であるＭＣＵ（Minimum Coded Unit）単位で復号を行う。
【００３１】
また、ＣＰＵ１０１は、ステップＳ１０において得られた量子化ＤＣＴ係数を逆量子化する（ステップＳ１１）。具体的には、ＣＰＵ１０１は、図２に示す画像ファイルから量子化テーブルを取得し、ステップＳ１０において得られた量子化ＤＣＴ係数に乗じることにより（逆量子化することにより）、ＤＣＴ係数を得る。
【００３２】
次に、ＣＰＵ１０１は、画像を回転させるために必要な情報を、例えばＲＡＭ１０３にキャッシュする（ステップＳ１２）。具体的には、ＪＰＥＧ方式によって圧縮された画像を回転させる場合、ＭＣＵのＤＣ成分（直流成分）とＡＣ成分（交流成分）のそれぞれを一度ハフマン展開しなければならない。ここで、ＤＣ成分については隣接するＤＣ成分値の差分をハフマン符号化することから、隣接するＭＣＵとの相関関係が問題となる。また、ＡＣ成分ではハフマン符号化処理によりそのデータ長が各ＭＣＵで一定にならず、ＪＰＥＧデータのビットストリーム中のどのデータが求めるＭＣＵのＡＣ成分値であるかが不明となることが問題となる。そこで、ステップＳ１２では、各ＭＣＵのＤＣ成分値とＡＣ成分のアドレスを求めてキャッシュしておくことにより、ローテート処理を可能とする。
【００３３】
そして、ＣＰＵ１０１はステップＳ１１で得られたＤＣＴ係数に対して逆ＤＣＴ演算を施すことによりもとの画素値を得る（ステップＳ１３）。また、ＣＰＵ１０１は、ステップＳ１３の処理によって得られたＹＣＣ空間の画像をＲＧＢ（Red Green Blue）空間の画像と、ＨＳＢ（Hue Saturation Brightness）空間の画像に変換する（ステップＳ１４）。
【００３４】
そして、ＣＰＵ１０１はステップＳ１３およびステップＳ１４の処理において得られたＹＣＣ，ＲＧＢ，ＨＳＢのそれぞれの画像をＲＡＭ１０３に格納して保持する。なお、このとき、データ量を削減するために画素を所定の割合で間引きした後にＲＡＭ１０３に格納してもよい（ステップＳ１５）。
【００３５】
また、ＣＰＵ１０１は、ステップＳ１５においてＲＡＭ１０３に格納されたＹＣＣ，ＲＧＢ，ＨＳＢそれぞれの画像の成分について、ヒストグラムを計算する（ステップＳ１６）。具体的には、ＲＧＢ画像については、Ｒ，Ｇ，Ｂそれぞれの画像についてヒストグラムを計算する。その結果、画像を構成する各成分の分布を得る。
【００３６】
上記したように、本実施形態では、ステップＳ１０〜１６の処理はＭＣＵ単位で行われており、ＣＰＵ１０１は、全てのＭＣＵについての処理が終了したことを確認するまで、ステップＳ１０に戻って処理を繰り返して実行する。一方、全てのＭＣＵについての処理が終了した場合には、次のステップＳ１７に進む。
【００３７】
このステップＳ１７では、ＣＰＵ１０１は、Ｅｘｉｆタグからモデル名に関する情報を本発明の「機種情報」として読み込み、ＲＡＭ１０３に格納する（ステップＳ１７）。そして、ＣＰＵ１０１は、読み込んだ情報に上記画像ファイルを生成したデジタルカメラ２００のモデル名が含まれていない場合（ステップＳ１８で「ＮＯ」）には、顔認識機能および補正機能を有さないデジタルカメラ２００により画像ファイルが生成された、つまり画像データに対して顔認識処理および補正処理が施されていない可能性が非常に高いと判別し、印刷装置１００側で顔認識処理および補正処理を行う（ステップＳ１９〜Ｓ２３）。すなわち、ＣＰＵ１０１はステップＳ１０〜Ｓ１６を実行して得られた画像データに対して従来より多用されている顔認識処理、例えばテンプレートを適用した顔認識処理を行う（ステップＳ１９）。そして、顔認識処理により画像データ中に人物の顔が認識された場合（ステップＳ２０で「ＹＥＳ」）、ＣＰＵ１０１は顔認識処理により得られた全ての顔位置から顔の平均顔色を取得した（ステップＳ２１）後、顔色が最適になるようにエンハンスパラメータを計算する（ステップＳ２２）。なお、エンハンスパラメータ計算の詳細については省略するが、ＲＡＭ１０３に記憶したＲＧＢヒストグラムに基づきコントラスト、明度、彩度、シャープネスなどの各画質パラメータの特徴量を抽出し、抽出した特徴量が所定の画質パラメータの特徴量に近づくようエンハンスのパラメータを設定する。一方、顔認識処理により画像データ中に人物の顔が認識されなかった場合（ステップＳ２０で「ＮＯ」）、ＣＰＵ１０１は、画像全体が最適になるようにエンハンスパラメータを計算する（ステップＳ２３）。
【００３８】
一方、ＣＰＵ１０１は、ステップＳ１７で取得した機種情報にデジタルカメラ２００のモデル名が含まれている場合（ステップＳ１８で「ＹＥＳ」）には、当該モデル名がＥＥＰＲＯＭ１０４に記憶されたデータテーブルに登録されているものに一致するかを検索する（ステップＳ２４）。そして、一致するモデル名がデータテーブルに含まれていない場合（ステップＳ２５で「ＮＯ」）には、ＣＰＵ１０１はモデル名登録指定の有無に応じて印刷装置１００による顔認識処理および補正処理の実行を制御する。この「モデル名登録指定」とは、ＥＥＰＲＯＭ１０４に記憶された機種以外のモデル名を有するデジタルカメラ２００等のデータ生成装置で画像ファイルが生成された場合における、印刷装置１００での対応処理を指定するものである。これは、デジタルカメラ２００等の新機種が次々と発売されることに対応するためのものであり、本実施形態では新たなモデル名を取得した場合、当該モデルのデジタルカメラ２００は少なくとも印刷装置１００の工場出荷以降に発売された新機種であり、顔認識機能および補正機能を有している蓋然性が高いとして次のような処理を実行するように、「モデル名登録指定あり」に初期設定している。もちろん、印刷装置１００を使用するユーザーにより「モデル名登録指定なし」に設定することも可能である。
【００３９】
このように本実施形態では、新たなモデル名を取得した場合、ＣＰＵ１０１は「モデル名登録指定あり」に設定されているか否かを判別する（ステップＳ２６）。そして、「モデル名登録指定なし」と判別した場合（ステップＳ２６で「ＮＯ」）、デジタルカメラ２００のモデル名が含まれていない場合（ステップＳ１８で「ＮＯ」）と同様に、印刷装置１００側で顔認識処理および補正処理を行う（ステップＳ１９〜Ｓ２３）。一方、「モデル名登録指定あり」と判別した場合（ステップＳ２６で「ＹＥＳ」）、ＣＰＵ１０１は、当該モデル名をＥＥＰＲＯＭ１０４に書き込んでデータテーブルに追加登録し（ステップＳ２７）、補正処理の実行を規制するために「エンハンスなし」に設定する（ステップＳ２８）とともに、ステップＳ２９に進んで印刷装置１００での顔認識処理（ステップＳ１９）をスキップする。
【００４０】
また、ＣＰＵ１０１は、画像データに付加されたモデル名（機種情報）がＥＥＰＲＯＭ１０４に記憶されたデータテーブルに登録されているものに一致する場合（ステップＳ２５で「ＹＥＳ」）、補正処理の実行を規制するために「エンハンスなし」に設定する（ステップＳ２８）とともに、ステップＳ２９に進んで印刷装置１００での顔認識処理（ステップＳ１９）をスキップする。
【００４１】
このように、本実施形態では、画像データに付加されたモデル名に基づいてデジタルカメラ２００が顔認識により得られる顔情報に基づき補正する機能を有するか否かを判別し、同機能を有していないと判別した場合のみ印刷装置１００での顔認識処理および補正処理用のエンハンスパラメータ設定処理を行った上で、次のステップＳ２９を実行する。
【００４２】
このステップＳ２９では、ＣＰＵ１０１は、印刷対象となる画像ファイルにおいて、解凍処理の対象となる位置を示すファイルポインタをリセットし、処理位置を画像ファイルの先頭に復元する。そして、ＣＰＵ１０１は、以下のステップＳ３０〜Ｓ３８を繰り返して画像データに基づいて画像を印刷する。
【００４３】
ＣＰＵ１０１は、ＲＡＭ１０３にキャッシュされた１ＭＣＵライン分の画像データにハフマン解凍処理を施し、量子化ＤＣＴ係数を得る（ステップＳ３０）。ここで、１ＭＣＵラインとは、画像を回転させる場合には、画像を構成する列方向に１列のＭＣＵ群をいい、回転させない場合には、画像を構成する行方向に１列のＭＣＵ群をいう。そして、ＣＰＵ１０１は、ステップＳ２９の処理において得られた量子化ＤＣＴ係数を逆量子化し（ステップＳ３１）、さらにステップＳ３０で得られたＤＣＴ係数に対して逆ＤＣＴ演算を施すことによりもとのデータを得る（ステップＳ３２）。
【００４４】
こうして得られたＹＣＣ空間の画像を、ＣＰＵ１０１はＲＧＢ空間の画像に変換する（ステップＳ３３）。そして、ＣＰＵ１０１は、エンハンスの実行が設定されている場合のみ、つまりステップＳ３４で「ＹＥＳ」と判別した場合のみ、ＲＧＢ空間の画像を構成する各画素に対してステップＳ２２、Ｓ２３において算出したエンハンスパラメータを適用することにより、印刷される画像を最適な色合いに補正し（ステップＳ３５）、次のステップＳ３６に進む。
【００４５】
ＣＰＵ１０１は、こうして補正された画像データに対して、リサイズ、回転などのレイアウト処理を施し（ステップＳ３６）、プリンターエンジンコントローラー１１１の図示せぬバンドバッファに供給する。これを受けたプリンターエンジンコントローラー１１１は、プリンターエンジン１１３の各部を制御して画像データに対応する画像を印刷する（ステップＳ３７）。そして、印刷処理が完了すると、ＣＰＵ１０１はＲＡＭ１０３のキャッシュ状態を更新する（ステップＳ３８）。そして、全ＭＣＵライン分について上記ステップＳ３０〜Ｓ３８が完了すると、一連の処理を終了する。
【００４６】
以上のように、本実施形態によれば、デジタルカメラ２００が顔認識処理により得られる顔情報に基づいて原撮影画像データを補正して画像データを作成する機能を有する場合、デジタルカメラ２００による顔認識処理および補正処理が実行されて同補正が画像データに反映されている蓋然性が高いと判断し、デジタルカメラ２００と同種の顔認識処理および補正処理は実行されない。このため、デジタルカメラ２００等のデータ生成装置と重複する処理が印刷装置１００で発生するのを防止している。その結果、意図しない補正が印刷装置１００側で実行されるのを防止し、印刷ボタン押下から印刷開始までの待ち時間が増大するのを抑えることができる。
【００４７】
また、上記機能を有するデジタルカメラ２００等のデータ生成装置の機種をＥＥＰＲＯＭ１０４に予め登録し、画像データに付加されたモデル名（機種情報）が登録された機種と一致するか否かに基づいてデジタルカメラ２００等が上記機能を有するか否かを判別している。したがって、ユーザーがどのような機種のデジタルカメラ２００を用いて撮影したのかを問わず、上記判別を効率的、かつ確実に行うことができる。
【００４８】
さらに、新たなモデル名を検出する（ステップＳ２５で「ＮＯ」と判別する）毎に、当該モデル名をＥＥＰＲＯＭ１０４に追加登録して更新するように構成しているため、データ生成装置の新機種が印刷装置１００の工場出荷以降に次々と提供された場合でも、機種登録によってデータ生成装置の新たな機種で実行される処理と重複する処理が印刷装置１００で発生するのを防止することができる。
【００４９】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、新たなモデル名を取得すると、自動的にＥＥＰＲＯＭ１０４に追加登録しているが、ユーザーが操作ボタン１０９を介してデジタルカメラ２００などのデータ生成装置のモデル名を適宜追加登録することができるように構成してもよい。なお、この場合、操作ボタン１０９が本発明の「入力部」として機能する。
【００５０】
また、新たなモデル名の追加登録方法として、印刷装置１００やデジタルカメラ２００のメーカー、データ提供会社などが管理する外部装置（サーバー）にアクセスして最新情報を受信して登録してもよい。例えば、これらの外部装置において、顔認識処理により得られる顔情報に基づいて原撮影画像データを補正して画像データを作成する機能を有するデジタルカメラなどのデータ生成装置の機種を示す情報が更新されることがある。そこで、ネットワークを介して外部装置にアクセスして最新情報を受信する通信部を印刷装置１００に設け、ＣＰＵ１０１が外部装置から受信した情報をＥＥＰＲＯＭ１０４に書き込んで追加登録するように構成してもよい。
【００５１】
また、上記したデータ生成装置の機種に関する最新情報がメモリカードＭなどの記憶媒体により提供される場合には、カードＩ／Ｆ回路１１０およびカードスロット１１２を介して記憶媒体にアクセスして最新情報を記憶媒体から読み出し、当該情報をＥＥＰＲＯＭ１０４に書き込んで追加登録するように構成してもよい。この場合、カードＩ／Ｆ回路１１０およびカードスロット１１２が本発明の「情報読出部」として機能する。
【００５２】
また、上記実施形態では、画像データに顔情報およびシーン情報を付加した画像ファイルをメモリカードＭに記録し、当該メモリカードＭを介して印刷装置１００に供給して印刷しているが、有線または無線通信により画像ファイルが印刷装置１００に供給される場合も、本発明を適用することで上記した実施形態と同様の作用効果が得られる。
【００５３】
また、上記実施形態では、画像データに付加されたモデル名を本発明の「機種情報」として取得しているが、デジタルカメラ２００等のデータ生成装置の機種を特定可能な情報を本発明の「機種情報」とすることができ、モデル名に限定されないことは言うまでもない。
【００５４】
また、上記実施形態では、本発明にかかる画像処理装置および方法を印刷装置１００に適用しているが、複数の電子機器から構成される印刷システムにも、また印刷装置以外の１つの電子機器（例えば複合機、ファクシミリ装置など）にも適用可能である。
【００５５】
さらに、上記実施形態にかかる画像処理方法を実行するプログラムを、ＣＤ−ＲＯＭ、光ディスク、光磁気ディスク、不揮発性メモリカードなどの記憶媒体に記憶させ、この記憶媒体からプログラムをコードとして読み出し、コンピューターにおいて実行してもよい。つまり、上記プログラムを記憶した記憶媒体、コンピュータープログラム自体も本発明の一実施形態に含まれる。
【符号の説明】
【００５６】
１００…印刷装置、 １０１…ＣＰＵ（補正部、機種情報取得部、機能判別部）、 １０２…ＲＯＭ、 １０３…ＲＡＭ、 １０４…ＥＥＰＲＯＭ（記憶部）、 １０９…操作ボタン（入力部）、 １１０…カードＩ／Ｆ回路（情報読出部）、 １１２…カードスロット（情報読出部）、 ２００…デジタルカメラ（データ生成装置）、 ３０７…圧縮データ（画像データ）
【技術分野】
【０００１】
この発明は、デジタルカメラなどのデータ生成装置により生成された画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに前記顔情報に基づき前記画像データを補正する機能を有する画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
上記した機能を有するプリンターなどの印刷装置が近年数多く提供されている。また、デジタルカメラなどのデータ生成装置においても、上記機能と同種の機能を備えたものが数多く提供されている。例えば特許文献１に記載のプリントシステムでは、デジタルカメラが顔認識処理を実行して顔オブジェクトの位置情報や色情報などを顔オブジェクト情報として検出し、さらに原撮影画像データに添付し、または埋め込んで顔オブジェクト情報付き撮影画像データを生成する。一方、プリンターなどの印刷装置は、撮影画像に付加される顔オブジェクト情報に基づいて画像データに対して色補正を実行し、色補正済の画像を印刷する。このように、デジタルカメラによる顔認識結果を利用して印刷装置側で独自に補正をかける技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１３４５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、顔認識により得られた顔情報に基づく補正処理に関しては、デジタルカメラ側とプリンター側のどちらで行ってもよいが、両方で行った場合は同種の補正処理を重複して行うこととなり、二度手間となるのみならず、意図しない補正がプリンター側で実行されてしまう可能性があった。さらに、顔認識処理には時間がかかり、かつ印刷開始前に行う必要があることから、プリンター側で顔認識に基づく補正処理を行った場合には印刷ボタン押下から印刷開始までの待ち時間が増えるという問題もあった。したがって、重複した補正処理を合理的に排除することが望まれている。
【０００５】
この発明にかかるいくつかの態様は、データ生成装置で実行された補正を画像処理装置および画像処理方法において重複して実行するのを防止することを目的とする。
【課題を解決するための手段】
【０００６】
この発明の一態様は、データ生成装置により生成された画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに顔情報に基づき画像データを補正する補正部と、データ生成装置の機種を特定する情報として画像データに付加される機種情報を取得する機種情報取得部と、データ生成装置が人物の顔情報に基づき補正を行って画像データを生成する機能を有するか否かを、機種情報取得部により取得された機種情報に基づき判別する機能判別部とを備え、データ生成装置が機能を有すると機能判別部が判別するとき、補正部は顔情報の取得および補正を行わないことを特徴としている。
【０００７】
また、この発明の他の態様は、データ生成装置により生成された画像データを取得する第１工程と、画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに顔情報に基づき画像データを補正する第２工程と、データ生成装置の機種を特定する情報として画像データに付加される機種情報を取得する第３工程と、データ生成装置が人物の顔情報に基づき補正を行って画像データを生成する機能を有するか否かを、第３工程で取得された機種情報に基づき判別する第４工程とを備え、データ生成装置が機能を有すると第４工程で判別された場合には第２工程を行わないことを特徴としている。
【０００８】
このように構成された発明（画像処理装置および画像処理方法）では、データ生成装置により生成された画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに顔情報に基づき画像データを補正する機能を有しているが、これと同様の補正処理を実行する機構をデータ生成装置が有することがある。そして、データ生成装置が上記機能を有する場合、データ生成装置による補正が実行されて同補正が画像データに反映されている可能性が高い。そこで、本発明においては、画像データに付加される機種情報を取得し、その機種情報に基づいてデータ生成装置が機能を有すると判別したときには、顔情報の取得および補正を行わないように構成し、重複した処理が発生するのを防止している。
【０００９】
ここで、機能を有するデータ生成装置の機種を記憶する記憶部を設け、機種情報取得部により取得された機種情報が記憶部に記憶された機種に含まれるか否かに基づいてデータ生成装置が機能を有するか否かを判別してもよい。これにより、当該判別を効率的、かつ確実に行うことができる。
【００１０】
また、データ生成装置の新機種は次々と提供されるため、記憶部の記憶内容に基づき上記判別を精度良く行う上で、記憶部の記憶内容を更新することが非常に重要である。したがって、次のようにして新たなデータ生成装置の機種情報を記憶部に追加して更新するように構成するのが望ましい。例えば、機種情報取得部により取得された機種情報が記憶部に記憶された機種に含まれないと判別したとき、機能を有するデータ生成装置の機種として当該機種情報を記憶部に書き込むように構成してもよい。
【００１１】
また、上記機能を有するデータ生成装置の機種を示す情報としてユーザーから入力される情報を受け付ける入力部を設け、入力部に入力された情報を記憶部に書き込むように構成してもよい。
【００１２】
また、上記機能を有するデータ生成装置の機種を示す情報を記憶する外部装置にアクセスして上記機能を有するデータ生成装置の機種を示す情報を外部装置から受信する通信部を設け、通信部により受信された情報を記憶部に書き込むように構成してもよい。
【００１３】
さらに、上記機能を有するデータ生成装置の機種を示す情報を記憶する記憶媒体にアクセスして上記機能を有するデータ生成装置の機種を示す情報を記憶媒体から読み出す情報読出部を設け、情報読出部により読み出された情報を記憶部に書き込むように構成してもよい。
【図面の簡単な説明】
【００１４】
【図１】本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図。
【図２】デジタルカメラで作成される画像ファイルの一例を示す図。
【図３】図１の印刷装置で実行される画像処理および印刷動作を示すフローチャート。
【発明を実施するための形態】
【００１５】
図１は、本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図である。この印刷システムは、デジタルカメラ２００の撮影により取得された画像データを、メモリカードＭ、ＵＳＢ(Universal Serial Bus)ケーブルや無線ＬＡＮ(Local Area Network)等によって印刷装置１００に転送し、印刷装置１００で印刷するものである。すなわち、ここではユーザーがデジタルカメラ２００で画像を撮影して画像データを生成し、その画像データをそのまま印刷装置１００で読み込んで印刷する、いわゆるダイレクト印刷を想定しているが、本発明を適用可能な印刷システムはこれに限定されるものではない。つまり、デジタルカメラ２００で生成した画像データをパーソナルコンピューターや携帯電話などに取り込み、パーソナルコンピューターから印刷装置１００に画像データを送信して印刷する印刷システムにも本発明を適用することは可能である。
【００１６】
デジタルカメラ２００では、同図に示すように、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、ＣＣＤ（Charge Coupled Device）２０４、ＧＰ（Graphic Processor）２０５およびＩ／Ｆ（Interface）２０６がバス２０７を介して相互に接続され、これらの間で情報の授受が可能となっている。そして、ＣＰＵ２０１はＲＯＭ２０２に格納されているプログラムに応じて各種演算処理を実行しながらデジタルカメラ２００の制御を行う。このとき一時的に必要となるデータはＲＡＭ２０３に格納される。また、ＣＣＤ２０４は、光学系２０８によって集光された被写体からの光学像を電気信号に変換して出力する。この光学系２０８は、複数のレンズおよびアクチュエータによって構成されており、アクチュエータによってフォーカス等を調整しながら被写体の光学像を複数のレンズによってＣＣＤ２０４の受光面に結像する。さらに、ＧＰ２０５は、ＣＰＵ２０１から供給される表示命令に基づいて表示用の画像処理を実行し、得られた表示用画像データをＬＣＤ（Liquid Crystal Display）２０９に供給して表示させる。なお、デジタルカメラ２００の機種によっては、上記演算処理のひとつとして顔認識処理を行うとともに顔認識処理により得られた顔情報に基づく補正処理を行う機能を有する場合がある。
【００１７】
Ｉ／Ｆ２０６はデジタルカメラ２００の入出力機能を提供するものであり、操作ボタン２１０、ジャイロセンサー２１１およびカードＩ／Ｆ回路２１２の間で情報を授受する際に、データの表現形式を適宜変換する装置である。Ｉ／Ｆ２０６に接続される操作ボタン２１０には、電源、モード切替え、シャッターなどのボタンや、各種機能を設定できる入力手段があり、これらによってユーザーはデジタルカメラ２００を任意に制御して動作させることが可能となっている。また、ジャイロセンサー２１１はデジタルカメラ２００によって被写体を撮影した際のカメラ本体の角度（水平面に対する角度）を示す信号を生成して出力する。デジタルカメラ２００は、上記したカメラ本体の角度を含め、撮影時における種々の情報（例えば、露光、被写体等に関する情報）を生成する。それらの情報の一つである撮影情報に後述する顔情報が含まれる。なお、本実施形態では、デジタルカメラ２００は、撮影情報をＥｘｉｆ（Exchangeable Image File Format）情報に記載し、画像データに付加した画像ファイルを生成することができる構造となっている。
【００１８】
また、カードＩ／Ｆ回路２１２はカードスロット２１３に挿入されたメモリカードＭとの間で情報を読み書きするためのインタフェースである。さらに、Ｉ／Ｆ２０６は図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線または無線にて印刷装置１００との間で画像ファイルの授受が可能となっている。なお、デジタルカメラ２００で作成され、印刷装置１００に与えられる画像ファイル（画像データ＋Ｅｘｉｆ情報）については、後で詳述する。
【００１９】
印刷装置１００はデジタルカメラ２００で撮像された画像を印刷する装置であり、次のように構成されている。印刷装置１００では、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１０４、ＧＰ１０５およびＩ／Ｆ１０６がバス１０７を介して相互に接続され、これらの間で情報の授受が可能となっている。ＣＰＵ１０１はＲＯＭ１０２およびＥＥＰＲＯＭ１０４に格納されているプログラムに応じて各種演算処理を実行するとともに印刷装置１００の各部を制御し、本発明の「補正部」、「機種情報取得部」および「機能判別部」として機能する。また、ＣＰＵ１０１が実行対象とするプログラムやデータについてはＲＡＭ１０３に一時的に格納される一方、印刷装置の電源が切断された後も保持しておくデータ、例えば後述する機能を有するデジタルカメラの機種をまとめたデータテーブル等については、本発明の「記憶部」に相当するＥＥＰＲＯＭ１０４に格納される。さらに、ＣＰＵ１０１は必要に応じてＧＰ１０５に対して表示命令を与え、この表示命令に応じてＧＰ１０５が表示用の画像処理を実行し、その処理結果をＬＣＤ１０８に供給して表示させる。
【００２０】
Ｉ／Ｆ１０６は、操作ボタン１０９、カードＩ／Ｆ回路１１０およびプリンターエンジンコントローラー１１１の間で情報を授受する際に、データの表現形式を適宜変換する装置である。印刷装置１００では、操作ボタン１０９は印刷装置１００のメニュー選択等を行う時に押されるように構成されている。また、カードＩ／Ｆ回路１１０は、カードスロット１１２と接続されており、このカードスロット１１２に挿入されたメモリカードＭからデジタルカメラ２００によって生成された画像ファイルを読み出す。なお、Ｉ／Ｆ１０６は、図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線通信または無線通信にてデジタルカメラ２００との間で画像ファイルの授受が可能となっている。
【００２１】
そして、印刷装置１００は、メモリカードＭを介して、あるいはデータ通信により画像データを受け取ると、ＣＰＵ１０１により種々の処理を行うとともにプリンターエンジンコントローラー１１１によりプリンターエンジン１１３を制御し、これによって画像データに対応する画像を印刷する。以下、図２ないし図４に基づき画像ファイルの構成を説明した上で、本実施形態における画像処理動作および印刷動作について詳述する。
【００２２】
図２は上記のように構成されたデジタルカメラで作成される画像ファイルの一例を示す図である。この実施形態では、デジタルカメラ２００はＣＣＤ２０４で撮像された画像データをＲＡＭ２０３に格納する。また、デジタルカメラ２００の機種によっては、被写体に人物が含まれているときに顔認識処理を行うとともに、顔認識処理により取得される人物の顔領域を特定する顔情報に基づいて顔色が最適となる様に原撮影画像データを補正して画像データを作成する機能を有するものがある。そして、デジタルカメラ２００の機種を特定するための機種情報として例えばモデル名を参照することでデジタルカメラ２００が上記機能を有するか否かを判別可能となっている。なお、顔認識方式および補正方式については従来より数多く提案されており、それらのうちいずれの方式を採用してもよい。
【００２３】
また、この実施形態では、上記のように画像データ、本発明の「機種情報」に相当するモデル名などをＲＡＭ２０３に格納しているが、その記録方式としてディジタルスチルカメラ用画像ファイルフォーマット規格Ｅｘｉｆ Ver.2.2.1を使用している。このＥｘｉｆ画像ファイルの構造は、基本的には通常のＪＰＥＧ（Joint Photographic Experts Group）画像形式そのものであり、その中にサムネイル画像や撮影関連データ等のデータをＪＰＥＧの規約に準拠した形で埋め込んだものである。
【００２４】
本実施形態で使用する画像ファイルは、図２の左側部分に示すように、最初にＳＯＩ(Start of image)３０１がある。その後に、ＡＰＰ１（アプリケーション・マーカーセグメント）３０２、ＤＱＴ(Define Quantization Table)３０３、ＤＨＴ(Define Huffman Table)３０４の順となっている。さらにその後に、ＳＯＦ(Start of Frame)３０５、ＳＯＳ(Start of Stream)マーカー３０６、圧縮データ(Compress Data)３０７の順となっている。最後にＥＯＩ(End of Image)３０８がある。これらのうちＡＰＰ１はアプリケーションプログラムで使用するためのデータ領域として図２の中央部分に示す構造を有している。ＡＰＰ１の構造は、先頭にＡＰＰ１ Ｍａｒｋｅｒ領域３０２ａがある。そして、その次にＬｅｎｇｔｈ領域３０２ｂがある。
【００２５】
Ｌｅｎｇｔｈ領域３０２ｂに続くデータの最初の６バイトの領域３０２ｃでは、識別子としてASCII文字の“Exif"が、その次に2バイトの0x00が続く。そこからＴｉｆｆ(Tagged Image File Format)形式でデータが格納されている。Ｔｉｆｆ形式の最初の８バイトはＴｉｆｆヘッダー(Header)領域３０２ｄである。
【００２６】
また、Ｔｉｆｆヘッダー領域３０２ｄの次の０ｔｈ ＩＦＤ(IFD of main image)領域３０２ｅに、同図の右側部分に示すように、画像幅、画像高さ、モデル名等の画像関連情報（あるは、単に画像情報とも呼ぶ）が格納される。これらのうちモデル名はデジタルカメラ２００の機種を特定する機種情報としてASCII文字で書き込まれる。そして、モデル名を参照することでデジタルカメラ２００が顔認識処理により取得された顔情報に基づいて画像データを補正する機能を有しているか否かを判別可能となっている。
【００２７】
そして、０ｔｈ ＩＦＤの次に０ｔｈ ＩＦＤ Ｖａｌｕｅ領域３０２ｆがある。さらに、その次にＥｘｉｆ ＩＦＤ領域３０２ｇが設けられ、露出時間、Ｆナンバー、撮影シーンタイプなどの撮影関連情報（あるいは、単に撮影情報とも呼ぶ）が格納される。また、Ｅｘｉｆ ＩＦＤ領域３０２ｇの次にＥｘｉｆ ＩＦＤ Ｖａｌｕｅ領域３０２ｈがある。
【００２８】
次に、上記のようなデータ構造（図２）を有する画像ファイルがメモリカードＭに保存されており、そのメモリカードＭから画像ファイルを読み出し、印刷装置１００により画像ファイルに含まれる各種情報に基づき所定の画像処理を実行して印刷する動作について、図３を参照しつつ説明する。
【００２９】
図３は図１の印刷装置で実行される画像処理および印刷動作を示すフローチャートである。ユーザーが印刷装置１００のカードスロット１１２にメモリカードＭを挿入し、操作ボタン１０９を操作して印刷指令を与えると、ＣＰＵ１０１がＲＯＭ１０２に格納されているプログラムにしたがって装置各部を制御して以下の画像処理および印刷動作を実行する。なお、本実施形態では、画像処理のひとつとして顔認識処理および補正処理を実行するか否かを判別するために、顔情報に基づいて顔色が最適となる様に原撮影画像データを補正して画像データを作成する機能を有するデジタルカメラのモデル名が予め印刷装置１００の工場出荷段階においてテーブル形式でＥＥＰＲＯＭ１０４に記憶されている。
【００３０】
まず、ＣＰＵ１０１は、印刷の対象となる画像ファイルをメモリカードＭから取得し、ハフマン解凍処理を実行し、量子化ＤＣＴ（Discrete Cosine Transform）係数を得る（ステップＳ１０）。より具体的には、ＣＰＵ１０１は、図２に示す画像ファイルからエントロピー符号化テーブルを取得し、圧縮データ３０７に含まれているＹ（輝度）成分、Ｃｒ（色差成分）、および、Ｃｂ（色差成分）のそれぞれのブロックのＤＣ係数と、ＡＣ係数とを復号する。なお、この際、最小符号化単位であるＭＣＵ（Minimum Coded Unit）単位で復号を行う。
【００３１】
また、ＣＰＵ１０１は、ステップＳ１０において得られた量子化ＤＣＴ係数を逆量子化する（ステップＳ１１）。具体的には、ＣＰＵ１０１は、図２に示す画像ファイルから量子化テーブルを取得し、ステップＳ１０において得られた量子化ＤＣＴ係数に乗じることにより（逆量子化することにより）、ＤＣＴ係数を得る。
【００３２】
次に、ＣＰＵ１０１は、画像を回転させるために必要な情報を、例えばＲＡＭ１０３にキャッシュする（ステップＳ１２）。具体的には、ＪＰＥＧ方式によって圧縮された画像を回転させる場合、ＭＣＵのＤＣ成分（直流成分）とＡＣ成分（交流成分）のそれぞれを一度ハフマン展開しなければならない。ここで、ＤＣ成分については隣接するＤＣ成分値の差分をハフマン符号化することから、隣接するＭＣＵとの相関関係が問題となる。また、ＡＣ成分ではハフマン符号化処理によりそのデータ長が各ＭＣＵで一定にならず、ＪＰＥＧデータのビットストリーム中のどのデータが求めるＭＣＵのＡＣ成分値であるかが不明となることが問題となる。そこで、ステップＳ１２では、各ＭＣＵのＤＣ成分値とＡＣ成分のアドレスを求めてキャッシュしておくことにより、ローテート処理を可能とする。
【００３３】
そして、ＣＰＵ１０１はステップＳ１１で得られたＤＣＴ係数に対して逆ＤＣＴ演算を施すことによりもとの画素値を得る（ステップＳ１３）。また、ＣＰＵ１０１は、ステップＳ１３の処理によって得られたＹＣＣ空間の画像をＲＧＢ（Red Green Blue）空間の画像と、ＨＳＢ（Hue Saturation Brightness）空間の画像に変換する（ステップＳ１４）。
【００３４】
そして、ＣＰＵ１０１はステップＳ１３およびステップＳ１４の処理において得られたＹＣＣ，ＲＧＢ，ＨＳＢのそれぞれの画像をＲＡＭ１０３に格納して保持する。なお、このとき、データ量を削減するために画素を所定の割合で間引きした後にＲＡＭ１０３に格納してもよい（ステップＳ１５）。
【００３５】
また、ＣＰＵ１０１は、ステップＳ１５においてＲＡＭ１０３に格納されたＹＣＣ，ＲＧＢ，ＨＳＢそれぞれの画像の成分について、ヒストグラムを計算する（ステップＳ１６）。具体的には、ＲＧＢ画像については、Ｒ，Ｇ，Ｂそれぞれの画像についてヒストグラムを計算する。その結果、画像を構成する各成分の分布を得る。
【００３６】
上記したように、本実施形態では、ステップＳ１０〜１６の処理はＭＣＵ単位で行われており、ＣＰＵ１０１は、全てのＭＣＵについての処理が終了したことを確認するまで、ステップＳ１０に戻って処理を繰り返して実行する。一方、全てのＭＣＵについての処理が終了した場合には、次のステップＳ１７に進む。
【００３７】
このステップＳ１７では、ＣＰＵ１０１は、Ｅｘｉｆタグからモデル名に関する情報を本発明の「機種情報」として読み込み、ＲＡＭ１０３に格納する（ステップＳ１７）。そして、ＣＰＵ１０１は、読み込んだ情報に上記画像ファイルを生成したデジタルカメラ２００のモデル名が含まれていない場合（ステップＳ１８で「ＮＯ」）には、顔認識機能および補正機能を有さないデジタルカメラ２００により画像ファイルが生成された、つまり画像データに対して顔認識処理および補正処理が施されていない可能性が非常に高いと判別し、印刷装置１００側で顔認識処理および補正処理を行う（ステップＳ１９〜Ｓ２３）。すなわち、ＣＰＵ１０１はステップＳ１０〜Ｓ１６を実行して得られた画像データに対して従来より多用されている顔認識処理、例えばテンプレートを適用した顔認識処理を行う（ステップＳ１９）。そして、顔認識処理により画像データ中に人物の顔が認識された場合（ステップＳ２０で「ＹＥＳ」）、ＣＰＵ１０１は顔認識処理により得られた全ての顔位置から顔の平均顔色を取得した（ステップＳ２１）後、顔色が最適になるようにエンハンスパラメータを計算する（ステップＳ２２）。なお、エンハンスパラメータ計算の詳細については省略するが、ＲＡＭ１０３に記憶したＲＧＢヒストグラムに基づきコントラスト、明度、彩度、シャープネスなどの各画質パラメータの特徴量を抽出し、抽出した特徴量が所定の画質パラメータの特徴量に近づくようエンハンスのパラメータを設定する。一方、顔認識処理により画像データ中に人物の顔が認識されなかった場合（ステップＳ２０で「ＮＯ」）、ＣＰＵ１０１は、画像全体が最適になるようにエンハンスパラメータを計算する（ステップＳ２３）。
【００３８】
一方、ＣＰＵ１０１は、ステップＳ１７で取得した機種情報にデジタルカメラ２００のモデル名が含まれている場合（ステップＳ１８で「ＹＥＳ」）には、当該モデル名がＥＥＰＲＯＭ１０４に記憶されたデータテーブルに登録されているものに一致するかを検索する（ステップＳ２４）。そして、一致するモデル名がデータテーブルに含まれていない場合（ステップＳ２５で「ＮＯ」）には、ＣＰＵ１０１はモデル名登録指定の有無に応じて印刷装置１００による顔認識処理および補正処理の実行を制御する。この「モデル名登録指定」とは、ＥＥＰＲＯＭ１０４に記憶された機種以外のモデル名を有するデジタルカメラ２００等のデータ生成装置で画像ファイルが生成された場合における、印刷装置１００での対応処理を指定するものである。これは、デジタルカメラ２００等の新機種が次々と発売されることに対応するためのものであり、本実施形態では新たなモデル名を取得した場合、当該モデルのデジタルカメラ２００は少なくとも印刷装置１００の工場出荷以降に発売された新機種であり、顔認識機能および補正機能を有している蓋然性が高いとして次のような処理を実行するように、「モデル名登録指定あり」に初期設定している。もちろん、印刷装置１００を使用するユーザーにより「モデル名登録指定なし」に設定することも可能である。
【００３９】
このように本実施形態では、新たなモデル名を取得した場合、ＣＰＵ１０１は「モデル名登録指定あり」に設定されているか否かを判別する（ステップＳ２６）。そして、「モデル名登録指定なし」と判別した場合（ステップＳ２６で「ＮＯ」）、デジタルカメラ２００のモデル名が含まれていない場合（ステップＳ１８で「ＮＯ」）と同様に、印刷装置１００側で顔認識処理および補正処理を行う（ステップＳ１９〜Ｓ２３）。一方、「モデル名登録指定あり」と判別した場合（ステップＳ２６で「ＹＥＳ」）、ＣＰＵ１０１は、当該モデル名をＥＥＰＲＯＭ１０４に書き込んでデータテーブルに追加登録し（ステップＳ２７）、補正処理の実行を規制するために「エンハンスなし」に設定する（ステップＳ２８）とともに、ステップＳ２９に進んで印刷装置１００での顔認識処理（ステップＳ１９）をスキップする。
【００４０】
また、ＣＰＵ１０１は、画像データに付加されたモデル名（機種情報）がＥＥＰＲＯＭ１０４に記憶されたデータテーブルに登録されているものに一致する場合（ステップＳ２５で「ＹＥＳ」）、補正処理の実行を規制するために「エンハンスなし」に設定する（ステップＳ２８）とともに、ステップＳ２９に進んで印刷装置１００での顔認識処理（ステップＳ１９）をスキップする。
【００４１】
このように、本実施形態では、画像データに付加されたモデル名に基づいてデジタルカメラ２００が顔認識により得られる顔情報に基づき補正する機能を有するか否かを判別し、同機能を有していないと判別した場合のみ印刷装置１００での顔認識処理および補正処理用のエンハンスパラメータ設定処理を行った上で、次のステップＳ２９を実行する。
【００４２】
このステップＳ２９では、ＣＰＵ１０１は、印刷対象となる画像ファイルにおいて、解凍処理の対象となる位置を示すファイルポインタをリセットし、処理位置を画像ファイルの先頭に復元する。そして、ＣＰＵ１０１は、以下のステップＳ３０〜Ｓ３８を繰り返して画像データに基づいて画像を印刷する。
【００４３】
ＣＰＵ１０１は、ＲＡＭ１０３にキャッシュされた１ＭＣＵライン分の画像データにハフマン解凍処理を施し、量子化ＤＣＴ係数を得る（ステップＳ３０）。ここで、１ＭＣＵラインとは、画像を回転させる場合には、画像を構成する列方向に１列のＭＣＵ群をいい、回転させない場合には、画像を構成する行方向に１列のＭＣＵ群をいう。そして、ＣＰＵ１０１は、ステップＳ２９の処理において得られた量子化ＤＣＴ係数を逆量子化し（ステップＳ３１）、さらにステップＳ３０で得られたＤＣＴ係数に対して逆ＤＣＴ演算を施すことによりもとのデータを得る（ステップＳ３２）。
【００４４】
こうして得られたＹＣＣ空間の画像を、ＣＰＵ１０１はＲＧＢ空間の画像に変換する（ステップＳ３３）。そして、ＣＰＵ１０１は、エンハンスの実行が設定されている場合のみ、つまりステップＳ３４で「ＹＥＳ」と判別した場合のみ、ＲＧＢ空間の画像を構成する各画素に対してステップＳ２２、Ｓ２３において算出したエンハンスパラメータを適用することにより、印刷される画像を最適な色合いに補正し（ステップＳ３５）、次のステップＳ３６に進む。
【００４５】
ＣＰＵ１０１は、こうして補正された画像データに対して、リサイズ、回転などのレイアウト処理を施し（ステップＳ３６）、プリンターエンジンコントローラー１１１の図示せぬバンドバッファに供給する。これを受けたプリンターエンジンコントローラー１１１は、プリンターエンジン１１３の各部を制御して画像データに対応する画像を印刷する（ステップＳ３７）。そして、印刷処理が完了すると、ＣＰＵ１０１はＲＡＭ１０３のキャッシュ状態を更新する（ステップＳ３８）。そして、全ＭＣＵライン分について上記ステップＳ３０〜Ｓ３８が完了すると、一連の処理を終了する。
【００４６】
以上のように、本実施形態によれば、デジタルカメラ２００が顔認識処理により得られる顔情報に基づいて原撮影画像データを補正して画像データを作成する機能を有する場合、デジタルカメラ２００による顔認識処理および補正処理が実行されて同補正が画像データに反映されている蓋然性が高いと判断し、デジタルカメラ２００と同種の顔認識処理および補正処理は実行されない。このため、デジタルカメラ２００等のデータ生成装置と重複する処理が印刷装置１００で発生するのを防止している。その結果、意図しない補正が印刷装置１００側で実行されるのを防止し、印刷ボタン押下から印刷開始までの待ち時間が増大するのを抑えることができる。
【００４７】
また、上記機能を有するデジタルカメラ２００等のデータ生成装置の機種をＥＥＰＲＯＭ１０４に予め登録し、画像データに付加されたモデル名（機種情報）が登録された機種と一致するか否かに基づいてデジタルカメラ２００等が上記機能を有するか否かを判別している。したがって、ユーザーがどのような機種のデジタルカメラ２００を用いて撮影したのかを問わず、上記判別を効率的、かつ確実に行うことができる。
【００４８】
さらに、新たなモデル名を検出する（ステップＳ２５で「ＮＯ」と判別する）毎に、当該モデル名をＥＥＰＲＯＭ１０４に追加登録して更新するように構成しているため、データ生成装置の新機種が印刷装置１００の工場出荷以降に次々と提供された場合でも、機種登録によってデータ生成装置の新たな機種で実行される処理と重複する処理が印刷装置１００で発生するのを防止することができる。
【００４９】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、新たなモデル名を取得すると、自動的にＥＥＰＲＯＭ１０４に追加登録しているが、ユーザーが操作ボタン１０９を介してデジタルカメラ２００などのデータ生成装置のモデル名を適宜追加登録することができるように構成してもよい。なお、この場合、操作ボタン１０９が本発明の「入力部」として機能する。
【００５０】
また、新たなモデル名の追加登録方法として、印刷装置１００やデジタルカメラ２００のメーカー、データ提供会社などが管理する外部装置（サーバー）にアクセスして最新情報を受信して登録してもよい。例えば、これらの外部装置において、顔認識処理により得られる顔情報に基づいて原撮影画像データを補正して画像データを作成する機能を有するデジタルカメラなどのデータ生成装置の機種を示す情報が更新されることがある。そこで、ネットワークを介して外部装置にアクセスして最新情報を受信する通信部を印刷装置１００に設け、ＣＰＵ１０１が外部装置から受信した情報をＥＥＰＲＯＭ１０４に書き込んで追加登録するように構成してもよい。
【００５１】
また、上記したデータ生成装置の機種に関する最新情報がメモリカードＭなどの記憶媒体により提供される場合には、カードＩ／Ｆ回路１１０およびカードスロット１１２を介して記憶媒体にアクセスして最新情報を記憶媒体から読み出し、当該情報をＥＥＰＲＯＭ１０４に書き込んで追加登録するように構成してもよい。この場合、カードＩ／Ｆ回路１１０およびカードスロット１１２が本発明の「情報読出部」として機能する。
【００５２】
また、上記実施形態では、画像データに顔情報およびシーン情報を付加した画像ファイルをメモリカードＭに記録し、当該メモリカードＭを介して印刷装置１００に供給して印刷しているが、有線または無線通信により画像ファイルが印刷装置１００に供給される場合も、本発明を適用することで上記した実施形態と同様の作用効果が得られる。
【００５３】
また、上記実施形態では、画像データに付加されたモデル名を本発明の「機種情報」として取得しているが、デジタルカメラ２００等のデータ生成装置の機種を特定可能な情報を本発明の「機種情報」とすることができ、モデル名に限定されないことは言うまでもない。
【００５４】
また、上記実施形態では、本発明にかかる画像処理装置および方法を印刷装置１００に適用しているが、複数の電子機器から構成される印刷システムにも、また印刷装置以外の１つの電子機器（例えば複合機、ファクシミリ装置など）にも適用可能である。
【００５５】
さらに、上記実施形態にかかる画像処理方法を実行するプログラムを、ＣＤ−ＲＯＭ、光ディスク、光磁気ディスク、不揮発性メモリカードなどの記憶媒体に記憶させ、この記憶媒体からプログラムをコードとして読み出し、コンピューターにおいて実行してもよい。つまり、上記プログラムを記憶した記憶媒体、コンピュータープログラム自体も本発明の一実施形態に含まれる。
【符号の説明】
【００５６】
１００…印刷装置、 １０１…ＣＰＵ（補正部、機種情報取得部、機能判別部）、 １０２…ＲＯＭ、 １０３…ＲＡＭ、 １０４…ＥＥＰＲＯＭ（記憶部）、 １０９…操作ボタン（入力部）、 １１０…カードＩ／Ｆ回路（情報読出部）、 １１２…カードスロット（情報読出部）、 ２００…デジタルカメラ（データ生成装置）、 ３０７…圧縮データ（画像データ）
【特許請求の範囲】
【請求項１】
データ生成装置により生成された画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに前記顔情報に基づき前記画像データを補正する補正部と、
前記データ生成装置の機種を特定する情報として前記画像データに付加される機種情報を取得する機種情報取得部と、
前記データ生成装置が人物の顔情報に基づき補正を行って画像データを生成する機能を有するか否かを、前記機種情報取得部により取得された機種情報に基づき判別する機能判別部とを備え、
前記データ生成装置が前記機能を有すると前記機能判別部が判別するとき、前記補正部は顔情報の取得および補正を行わない
ことを特徴とする画像処理装置。
【請求項２】
前記機能を有するデータ生成装置の機種を記憶する記憶部を備え、
前記機能判別部は、前記機種情報取得部により取得された機種情報が前記記憶部に記憶された機種に含まれるか否かに基づいて前記データ生成装置が前記機能を有するか否かを判別する請求項１に記載の画像処理装置。
【請求項３】
前記機能判別部は、前記機種情報取得部により取得された機種情報が前記記憶部に記憶された機種に含まれないと判別したとき、前記機能を有するデータ生成装置の機種として当該機種情報を前記記憶部に書き込む請求項２に記載の画像処理装置。
【請求項４】
前記機能を有するデータ生成装置の機種としてユーザーから入力される情報を受け付ける入力部を備え、
前記機能判別部は、前記入力部に入力された情報を前記記憶部に書き込む請求項２に記載の画像処理装置。
【請求項５】
前記機能を有するデータ生成装置の機種を示す情報を記憶する外部装置にアクセスして前記機能を有するデータ生成装置の機種を示す情報を前記外部装置から受信する通信部を備え、
前記機能判別部は、前記通信部により受信された情報を前記記憶部に書き込む請求項２に記載の画像処理装置。
【請求項６】
前記機能を有するデータ生成装置の機種を示す情報を記憶する記憶媒体にアクセスして前記機能を有するデータ生成装置の機種を示す情報を前記記憶媒体から読み出す情報読出部を備え、
前記機能判別部は、前記情報読出部により読み出された情報を前記記憶部に書き込む請求項２に記載の画像処理装置。
【請求項７】
データ生成装置により生成された画像データを取得する第１工程と、
前記画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに前記顔情報に基づき前記画像データを補正する第２工程と、
前記データ生成装置の機種を特定する情報として前記画像データに付加される機種情報を取得する第３工程と、
前記データ生成装置が人物の顔情報に基づき補正を行って画像データを生成する機能を有するか否かを、前記第３工程で取得された機種情報に基づき判別する第４工程とを備え、
前記データ生成装置が前記機能を有すると前記第４工程で判別された場合には前記第２工程を行わないことを特徴とする画像処理方法。
【請求項１】
データ生成装置により生成された画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに前記顔情報に基づき前記画像データを補正する補正部と、
前記データ生成装置の機種を特定する情報として前記画像データに付加される機種情報を取得する機種情報取得部と、
前記データ生成装置が人物の顔情報に基づき補正を行って画像データを生成する機能を有するか否かを、前記機種情報取得部により取得された機種情報に基づき判別する機能判別部とを備え、
前記データ生成装置が前記機能を有すると前記機能判別部が判別するとき、前記補正部は顔情報の取得および補正を行わない
ことを特徴とする画像処理装置。
【請求項２】
前記機能を有するデータ生成装置の機種を記憶する記憶部を備え、
前記機能判別部は、前記機種情報取得部により取得された機種情報が前記記憶部に記憶された機種に含まれるか否かに基づいて前記データ生成装置が前記機能を有するか否かを判別する請求項１に記載の画像処理装置。
【請求項３】
前記機能判別部は、前記機種情報取得部により取得された機種情報が前記記憶部に記憶された機種に含まれないと判別したとき、前記機能を有するデータ生成装置の機種として当該機種情報を前記記憶部に書き込む請求項２に記載の画像処理装置。
【請求項４】
前記機能を有するデータ生成装置の機種としてユーザーから入力される情報を受け付ける入力部を備え、
前記機能判別部は、前記入力部に入力された情報を前記記憶部に書き込む請求項２に記載の画像処理装置。
【請求項５】
前記機能を有するデータ生成装置の機種を示す情報を記憶する外部装置にアクセスして前記機能を有するデータ生成装置の機種を示す情報を前記外部装置から受信する通信部を備え、
前記機能判別部は、前記通信部により受信された情報を前記記憶部に書き込む請求項２に記載の画像処理装置。
【請求項６】
前記機能を有するデータ生成装置の機種を示す情報を記憶する記憶媒体にアクセスして前記機能を有するデータ生成装置の機種を示す情報を前記記憶媒体から読み出す情報読出部を備え、
前記機能判別部は、前記情報読出部により読み出された情報を前記記憶部に書き込む請求項２に記載の画像処理装置。
【請求項７】
データ生成装置により生成された画像データを取得する第１工程と、
前記画像データに含まれる人物の顔領域を特定する顔情報を取得するとともに前記顔情報に基づき前記画像データを補正する第２工程と、
前記データ生成装置の機種を特定する情報として前記画像データに付加される機種情報を取得する第３工程と、
前記データ生成装置が人物の顔情報に基づき補正を行って画像データを生成する機能を有するか否かを、前記第３工程で取得された機種情報に基づき判別する第４工程とを備え、
前記データ生成装置が前記機能を有すると前記第４工程で判別された場合には前記第２工程を行わないことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−１７３９９４（Ｐ２０１２−１７３９９４Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３５４３４（Ｐ２０１１−３５４３４）
【出願日】平成２３年２月２２日（２０１１．２．２２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２２日（２０１１．２．２２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]