画像処理装置および画像処理方法
【課題】画像データに付加される顔情報が誤検出情報であるか否かを求めることができる画像処理装置および画像処理方法を提供する。
【解決手段】画像データに付加される撮影情報（被写体距離、レンズ焦点距離、画像高さの解像度およびデジタルズーム倍率）に基づいて画像データに人物の顔が含まれるときに人物の顔サイズとして取り得る値の範囲を示す有効顔サイズ範囲を求めた後、撮影情報とともに前記画像データに付加される顔情報で特定される顔サイズが、有効顔サイズ範囲の最大値Ｓmaxよりも大きい、または有効顔サイズ範囲の最小値Ｓminよりも小さい場合、顔領域ＦＲＳ、ＦＲLは誤検出されたものであると認定する。
【解決手段】画像データに付加される撮影情報（被写体距離、レンズ焦点距離、画像高さの解像度およびデジタルズーム倍率）に基づいて画像データに人物の顔が含まれるときに人物の顔サイズとして取り得る値の範囲を示す有効顔サイズ範囲を求めた後、撮影情報とともに前記画像データに付加される顔情報で特定される顔サイズが、有効顔サイズ範囲の最大値Ｓmaxよりも大きい、または有効顔サイズ範囲の最小値Ｓminよりも小さい場合、顔領域ＦＲＳ、ＦＲLは誤検出されたものであると認定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データに付加された顔情報の適否を判断する画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
画像データに顔情報を付加する技術については、例えば特許文献１に記載されている。この特許文献１に記載のプリントシステムでは、デジタルカメラが顔認識処理を実行して顔オブジェクトの位置情報や色情報などを顔オブジェクト情報として検出し、さらに原撮影画像データに添付し、または埋め込んで顔オブジェクト情報付き撮影画像データを生成する。一方、プリンターなどの印刷装置は、撮影画像に付加される顔オブジェクト情報に基づいて画像データに対して色補正を実行し、色補正済の画像を印刷する。このように、デジタルカメラによる顔認識結果を利用して印刷装置側で独自に補正をかける技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１３４５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、デジタルカメラの顔認識によって被写体に含まれる人物の顔の全部が完全かつ正確に検出される保証はなく、デジタルカメラ側で誤検出が発生する可能性があった。このため、顔情報が付加された画像データを受け取った装置側で、当該顔情報が正しく検出されたものであるか否かを判別することができる技術の提供が要望されている。
【０００５】
この発明にかかるいくつかの態様は、画像データに付加される顔情報が誤検出情報であるか否かを求めることができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様は、画像データに付加される顔情報および撮影情報を取得する情報取得部と、画像データに人物の顔が含まれるときに人物の顔サイズとして取り得る値の範囲である有効顔サイズ範囲を、撮影情報に基づいて求める範囲算出部と、情報取得部により取得した顔情報で特定される顔サイズが有効顔サイズ範囲から外れるときには顔情報を誤検出情報と認定する誤検出認定部とを備えることを特徴としている。
【０００７】
また、本発明の第２の態様は、画像データに付加される撮影情報に基づいて画像データに人物の顔が含まれるときに人物の顔サイズとして取り得る値の範囲を示す有効顔サイズ範囲を求めた後、撮影情報とともに画像データに付加される顔情報で特定される顔サイズが、有効顔サイズ範囲の最大値よりも大きい、または有効顔サイズ範囲の最小値よりも小さい場合、顔情報は誤検出されたものであると認定することを特徴としている。
【０００８】
人物を撮影して画像データを生成した場合、その画像データに撮影情報とともに顔情報が付加されることがある。ここで注目すべきは、人物が適正に撮影されたとき、画像データに含まれる人物の顔サイズは撮影情報に含まれる撮影条件（被写体距離やレンズ焦点距離など）に応じた有効顔サイズ範囲に収まることであり、顔情報で特定される顔サイズが有効顔サイズ範囲から外れる場合、その顔情報は誤検出されたものである蓋然性が高いという点である。そこで、本発明では、画像データに付加された撮影情報に基づき有効顔サイズ範囲が求められ、顔情報で特定される顔サイズが有効顔サイズ範囲から外れるとき、当該顔情報は誤検出情報と認定される。このため、画像データに付加される顔情報が誤検出情報であるか否かを求めることができる。
【０００９】
ここで、画像データに付加された顔情報が誤検出されたものである場合、画像データから人物の顔を認識して顔情報を新たに検出するのが望まれる。もちろん、画像データ全体から顔情報を検出してもよいが、誤検出情報と認定された顔情報により特定される顔領域以外の検索範囲で画像データから人物の顔を認識して顔情報を検出するのが好適である。このように人物の顔が含まれないことが判っている領域を省いて顔認識処理を実行することで同処理に要する時間を短縮することができる。
【００１０】
また、有効顔サイズ範囲内の検索サイズを有する検索領域を検索範囲内で移動させながら各検索領域に対応する画像データに基づき人物の顔を認識して顔情報を検出するように構成してもよい。また、検索領域の検索サイズを有効顔サイズ範囲の最大値に設定し、検索範囲から人物の顔を認識して顔情報を検出する第１顔認識処理を行うように構成してもよい。さらに、第１顔認識処理の後に、検索領域の検索サイズを有効顔サイズ範囲の最大値よりも小さい値に設定し、検索範囲から第１顔認識処理により検出された人物の顔領域を除いた範囲から人物の顔を認識して顔情報を検出する第２顔認識処理を行うように構成してもよい。このような顔認識処理を行うことで、顔認識処理に要する時間をさらに短縮することができる。
【００１１】
なお、上記のようにして画像データから顔情報を新たに検出したときには、当該顔情報に基づいて画像データを補正するのが望ましい。また、画像データに複数の顔情報が付加されていることがあり、その一部が誤検出情報と認定されることがある。この場合、誤検出情報以外の顔情報は適切に検出されたものであるため、これらの顔情報と、上記のように新たに検出した顔情報とに基づいて画像データを補正するのが好適である。
【図面の簡単な説明】
【００１２】
【図１】本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図。
【図２】デジタルカメラで作成される画像ファイルの一例を示す図。
【図３】図２の部分拡大図。
【図４】顔認識処理により認識された顔の一例を示す図。
【図５】顔領域のサイズと有効顔サイズとの関係を示す模式図。
【図６】画像上の画素数と実顔サイズとの関係を示す図。
【図７】誤検出顔領域、検索領域および検索範囲の関係を示す図。
【図８】図１の印刷装置で実行される画像処理および印刷動作を示すフローチャート。
【図９】図１の印刷装置で実行される画像処理および印刷動作を示すフローチャート。
【図１０】プリンター顔座標およびカメラ顔座標の座標リストへの登録例を示す図。
【発明を実施するための形態】
【００１３】
Ａ．印刷システムの構成
図１は、本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図である。この印刷システムは、デジタルカメラ２００の撮影により取得された画像データを、メモリカードＭ、ＵＳＢ(Universal Serial Bus)ケーブルや無線ＬＡＮ(Local Area Network)等によって印刷装置１００に転送し、印刷装置１００で印刷するものである。すなわち、ここではユーザーがデジタルカメラ２００で画像を撮影して画像データを生成し、その画像データをそのまま印刷装置１００で読み込んで印刷する、いわゆるダイレクト印刷を想定しているが、本発明を適用可能な印刷システムはこれに限定されるものではない。つまり、デジタルカメラ２００で生成した画像データをパーソナルコンピューターや携帯電話などに取り込み、パーソナルコンピューターから印刷装置１００に画像データを送信して印刷する印刷システムにも本発明を適用することは可能である。
【００１４】
デジタルカメラ２００では、同図に示すように、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、ＣＣＤ（Charge Coupled Device）２０４、ＧＰ（Graphic Processor）２０５およびＩ／Ｆ（Interface）２０６がバス２０７を介して相互に接続され、これらの間で情報の授受が可能となっている。そして、ＣＰＵ２０１はＲＯＭ２０２に格納されているプログラムに応じて各種演算処理を実行しながらデジタルカメラ２００の制御を行う。このとき一時的に必要となるデータはＲＡＭ２０３に格納される。また、ＣＣＤ２０４は、光学系２０８によって集光された被写体からの光学像を電気信号に変換して出力する。この光学系２０８は、複数のレンズおよびアクチュエータによって構成されており、アクチュエータによってフォーカス等を調整しながら被写体の光学像を複数のレンズによってＣＣＤ２０４の受光面に結像する。さらに、ＧＰ２０５は、ＣＰＵ２０１から供給される表示命令に基づいて表示用の画像処理を実行し、得られた表示用画像データをＬＣＤ（Liquid Crystal Display）２０９に供給して表示させる。
【００１５】
Ｉ／Ｆ２０６はデジタルカメラ２００の入出力機能を提供するものであり、操作ボタン２１０、ジャイロセンサー２１１およびカードＩ／Ｆ回路２１２の間で情報を授受する際に、データの表現形式を適宜変換する装置である。Ｉ／Ｆ２０６に接続される操作ボタン２１０には、電源、モード切替え、シャッターなどのボタンや、各種機能を設定できる入力手段があり、これらによってユーザーはデジタルカメラ２００を任意に制御して動作させることが可能となっている。また、ジャイロセンサー２１１はデジタルカメラ２００によって被写体を撮影した際のカメラ本体の角度（水平面に対する角度）を示す信号を生成して出力する。デジタルカメラ２００は、上記したカメラ本体の角度を含め、撮影時における種々の情報（例えば、露光、被写体等に関する情報）を生成する。それらの情報の一つである撮影情報に後述する顔情報やシーン情報などが含まれる。なお、本実施形態では、デジタルカメラ２００は、撮影情報をＥｘｉｆ（Exchangeable Image File Format）情報に記載し、画像データに付加した画像ファイルを生成することができる構造となっている。
【００１６】
また、カードＩ／Ｆ回路２１２はカードスロット２１３に挿入されたメモリカードＭとの間で情報を読み書きするためのインタフェースである。さらに、Ｉ／Ｆ２０６は図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線または無線にて印刷装置１００との間で画像ファイルの授受が可能となっている。なお、デジタルカメラ２００で作成され、印刷装置１００に与えられる画像ファイル（画像データ＋Ｅｘｉｆ情報）については、後で詳述する。
【００１７】
印刷装置１００はデジタルカメラ２００で撮像された画像を印刷する装置であり、次のように構成されている。印刷装置１００では、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１０４、ＧＰ１０５およびＩ／Ｆ１０６がバス１０７を介して相互に接続され、これらの間で情報の授受が可能となっている。ＣＰＵ１０１はＲＯＭ１０２およびＥＥＰＲＯＭ１０４に格納されているプログラムに応じて各種演算処理を実行するとともに印刷装置１００の各部を制御し、本発明の「情報取得部」、「範囲算出部」、「誤検出認定部」。「顔情報検出部」および「補正部」として機能する。また、ＣＰＵ１０１が実行対象とするプログラムやデータについてはＲＡＭ１０３に一時的に格納される一方、印刷装置の電源が切断された後も保持しておくデータ等についてはＥＥＰＲＯＭ１０４に格納される。さらに、ＣＰＵ１０１は必要に応じてＧＰ１０５に対して表示命令を与え、この表示命令に応じてＧＰ１０５が表示用の画像処理を実行し、その処理結果をＬＣＤ１０８に供給して表示させる。
【００１８】
Ｉ／Ｆ１０６は、操作ボタン１０９、カードＩ／Ｆ回路１１０およびプリンターエンジンコントローラー１１１の間で情報を授受する際に、データの表現形式を適宜変換する装置である。印刷装置１００では、操作ボタン１０９は印刷装置１００のメニュー選択等を行う時に押されるように構成されている。また、カードＩ／Ｆ回路１１０は、カードスロット１１２と接続されており、このカードスロット１１２に挿入されたメモリカードＭからデジタルカメラ２００によって生成された画像ファイルを読み出す。なお、Ｉ／Ｆ１０６は、図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線通信または無線通信にてデジタルカメラ２００との間で画像ファイルの授受が可能となっている。
【００１９】
そして、印刷装置１００は、メモリカードＭを介して、あるいはデータ通信により画像データを受け取ると、ＣＰＵ１０１により種々の処理を行うとともにプリンターエンジンコントローラー１１１によりプリンターエンジン１１３を制御し、これによって画像データに対応する画像を印刷する。以下、図２ないし図４に基づき画像ファイルの構成を説明した上で、本実施形態における画像処理動作および印刷動作について図４ないし図１０を参照しつつ詳述する。
【００２０】
図２は上記のように構成されたデジタルカメラで作成される画像ファイルの一例を示す図である。また、図３は図２の部分拡大図である。この実施形態では、デジタルカメラ２００はＣＣＤ２０４で撮像された画像を示す画像データをＲＡＭ２０３に格納する。また、デジタルカメラ２００は、被写体に人物が含まれているときには顔認識処理を行う（顔認識方式については従来より数多く提案されており、それらのうちいずれの方式を採用してもよい）。なお、本実施形態では、顔認識処理により検出される顔認識結果は、図４（ａ）に示すような座標情報が顔情報として表現される。すなわち、同図（ａ）に示すように、画像データは所定の画像幅(Width)と画像高さ(Height)の画素で構成されており、Ｘが横軸、Ｙが縦軸を表しており、左上が原点（０，０）である。そして、画像データから顔が検出されると、両目端が入る間隔（顔サイズ）を１辺とする正方形の顔領域（または顔矩形という）ＦＲを左上（ＬＴ）、左下（ＬＢ）、右上（ＲＴ）、右下（ＲＢ）の４点の座標で囲まれる領域で表し、顔領域ＦＲを示す座標、つまり顔座標を、認識した顔の個数（つまりカメラ顔個数）ＮｃとともにＲＡＭ２０３に格納する。なお、本明細書では、後で説明するように、印刷装置１００においてもデジタルカメラ２００での顔認識と同様に顔認識を行って顔座標を求めることがあるため、両者を識別するために、デジタルカメラ２００での顔認識により検出される顔座標を「カメラ顔座標」と称する一方、後述するように印刷装置１００の顔認識処理により検出される顔座標については「プリンター顔座標」と称する。
【００２１】
また、この実施形態では、上記のように画像データ、顔個数および顔座標などをＲＡＭ２０３に格納しているが、その記録方式としてディジタルスチルカメラ用画像ファイルフォーマット規格Ｅｘｉｆ Ver.2.2.1を使用している。このＥｘｉｆ画像ファイルの構造は、基本的には通常のＪＰＥＧ（Joint Photographic Experts Group）画像形式そのものであり、その中にサムネイル画像や撮影関連データ等のデータをＪＰＥＧの規約に準拠した形で埋め込んだものである。
【００２２】
本実施形態で使用する画像ファイルは、図２の左側部分に示すように、最初にＳＯＩ(Start of image)３０１がある。その後に、ＡＰＰ１（アプリケーション・マーカーセグメント）３０２、ＤＱＴ(Define Quantization Table)３０３、ＤＨＴ(Define Huffman Table)３０４の順となっている。さらにその後に、ＳＯＦ(Start of Ｆrame)３０５、ＳＯＳ(Start of Stream)マーカー３０６、圧縮データ(Compress Data)３０７の順となっている。最後にＥＯＩ(End of Image)３０８がある。これらのうちＡＰＰ１はアプリケーションプログラムで使用するためのデータ領域として図２の中央部分に示す構造を有している。ＡＰＰ１の構造では、先頭にＡＰＰ１ Ｍａｒｋｅｒ領域３０２ａがある。そして、その次にＬｅｎｇｔｈ領域３０２ｂがある。
【００２３】
Ｌｅｎｇｔｈ領域３０２ｂに続くデータの最初の６バイトの領域３０２ｃでは、識別子としてASCII文字の“Exif"が、その次に2バイトの0x00が続く。そこからＴｉｆｆ(Tagged Image File Format)形式でデータが格納されている。Ｔｉｆｆ形式の最初の８バイトはＴｉｆｆヘッダー(Header)領域３０２ｄである。
【００２４】
また、Ｔｉｆｆヘッダー領域３０２ｄの次の０ｔｈ ＩＦＤ(IFD of main image)領域３０２ｅに、同図の右側部分に示すように、画像幅、画像高さ等の画像関連情報が格納される。そして、０ｔｈ ＩＦＤの次に０ｔｈ ＩＦＤ Ｖａｌｕｅ領域３０２ｆがある。さらに、その次にＥｘｉｆ ＩＦＤ領域３０２ｇが設けられ、露出時間、Ｆナンバー、被写体距離、レンズ焦点距離などの撮影関連情報が格納される。また、Ｅｘｉｆ ＩＦＤ領域３０２ｇにＥｘｉｆ ＩＦＤ Ｖａｌｕｅ領域３０２ｈがある。なお、現在のところ、顔認識処理により検出される顔個数ＮｃとＮｃ個の顔座標をＥｘｉｆタグに書き込む規格は規定されていないが、本実施形態では顔個数ＮｃがＥｘｉｆ ＩＦＤ領域３０２ｇに書き込まれ、Ｎｃ個の顔座標がＥｘｉｆ ＩＦＤ Ｖａｌｕｅ領域３０２ｈに書き込まれるとともに該書込位置をポイントする情報がＥｘｉｆ ＩＦＤ領域３０２ｇに書き込まれると仮定して説明を続ける。もちろん、これらの情報をメーカーに依存する領域に書き込むように構成してもよい。このように、本実施形態では、顔位置（顔座標）の情報である顔情報はＥｘｉｆ情報に記載され、画像データに添付されている。したがって、Ｅｘｉｆ情報に顔情報が含まれる場合には、顔個数Ｎｃやシーン情報などとともに画像データの補正に利用される。一方、Ｅｘｉｆ情報に顔情報が含まれていない場合、顔情報がないと判断される。
【００２５】
このようにデジタルカメラ２００側で顔認識処理が実行されるが、被写体に含まれる人物の顔の全部が完全かつ正確に検出される保証はなく、デジタルカメラ２００側で誤検出が発生することがある。例えば過剰に小さい顔（例えば、人形の顔）や、過剰に大きい顔（例えば、ポスターに写る顔）を検出し、それらの顔座標をＥｘｉｆタグに書き込んでしまうことがあった。そこで、本実施形態では、有効顔サイズ範囲に基づく誤検出認定処理、有効顔サイズ範囲を利用した顔認識処理を実行している。以下においては、それらの処理概要を説明した上で、印刷装置１００による画像処理および印刷動作について詳述する。
【００２６】
Ｂ．有効顔サイズ範囲に基づく誤検出認定処理
図５は顔領域のサイズと有効顔サイズとの関係を示す模式図である。デジタルカメラ２００により顔認識処理を行った場合、例えば図５に示すように、人形の顔を人物の顔と認識して過剰に小さい顔領域ＦＲＳが検出されたり、ポスターに写る顔を人物の顔と認識して過剰に大きい顔領域ＦＲLが検出されることがある。そこで、本実施形態では、画像データに人物の顔が含まれるときに人物の顔サイズとして取り得る値の範囲、つまり有効顔サイズ範囲を画像データに付加されている撮影情報に基づいて求め、デジタルカメラ２００により検出された顔領域のうち有効顔サイズ範囲内にあるものを適正な顔領域ＦＲＡと認定する一方、有効顔サイズ範囲から外れた顔領域ＦＲＳ、ＦＲLを誤検出領域と認定している。
【００２７】
図６は画像上の画素数と実顔サイズとの関係を示す図である。図中には、被写体ＳＢと、光学系２０８と、ＣＣＤ２０４との位置関係を示す側面図が示されている。光学系２０８は複数のレンズを有しているが、ここでは、簡略化のために、１つのレンズが光学系２０８を示している。さらに、図中には、以下の要素が示されている。すなわち、被写体の実顔サイズＳＸ（実際の長さ：単位ｃｍ）と、被写体距離ＬＡ（単位ｍ）と、レンズ焦点距離ＬＢ（単位ｍｍ）と、ＣＣＤ２０４の受光面（結像面）上に形成された被写体ＯＢを表す結像ＰＩと、デジタルズーム倍率ＤＺＲとである。なお、被写体ＯＢの実顔サイズＳＸは、高さ方向（ＣＣＤ２０４の高さ方向、画像高さの方向に相当する）に沿った長さを示している。また、Ｅｘｉｆタグ（0x9206）から取得した被写体距離ＬＡは、光学系２０８の光学中心（主点ＰＰ）と被写体ＯＢとの間の距離とほぼ同じである。また、Ｅｘｉｆタグ（0x920A）から取得したレンズ焦点距離ＬＢは、光学系２０８の光学中心（主点ＰＰ）とＣＣＤ２０４上の結像面との間の距離を示している。なお、デジタルズーム倍率ＤＺＲは、Ｅｘｉｆタグ（0xA404）から取得されるとともに、図示されていないが画像高さの解像度Ｃ（ｄｐｉ）がＥｘｉｆタグ（0x11B）から取得される。
【００２８】
従来より周知のように、主点ＰＰと被写体ＯＢとで決まる三角形と、主点ＰＰと結像ＰＩとで決まる三角形とは、相似である。なお、実際には、被写体ＯＢ側からみた光学系２０８の主点が、結像ＰＩ側から見た光学系２０８の主点と、異なる場合もあるが、図６に示す関係においてはその差違は十分に小さいので、実質的には、その差違を省略することができる。また、被写体の画像上のサイズ、つまり顔サイズＳは結像ＰＩのサイズにデジタルズーム倍率ＤＺＲを乗じて得られる値と同じである。そこで、顔サイズＳを画素数（ピクセル）で示すと、次式で表される。
Ｓ＝（ＬＢ＊ＤＺＲ＊（ＳＸ＊Ｃ／２４．５））／（ＬＡ＊１００）…式１
そして、人物の標準的な実顔サイズＳＸを例えば２０ｃｍとし、それより１０ｃｍ短い実顔サイズを最小値とする一方、それより１０ｃｍ大きい実顔サイズを最大値とし、上記式に基づき顔サイズＳの最小値、つまり有効最小顔サイズＳminおよび最大値、有効最大顔サイズＳmaxが求まる。これら有効最小顔サイズＳminおよび有効最大顔サイズＳmaxの間が顔サイズＳの取り得る範囲、つまり有効顔サイズ範囲であり、上記した被写体距離ＬＡ、レンズ焦点距離ＬＢ、画像高さの解像度Ｃおよびデジタルズーム倍率ＤＺＲを画像データに付加された撮影情報から取得することで有効顔サイズ範囲を算出することが可能となっている。
【００２９】
そして、画像データに付加される各顔座標により特定される顔領域の顔サイズＳが有効顔サイズ範囲内に入っているか否かを判別することができ、有効顔サイズ範囲内に含まれる顔領域ＦＲＡを「適正な顔領域」と認定し、範囲外の顔領域ＦＲＳ、ＦＲLを「誤検出領域」と認定することができる。
【００３０】
なお、本実施形態では、後述するようにデジタルカメラ２００で撮像された画像をＱＶＧＡ（Quarter Video Graphics Array）サイズに規格化することから、Ｅｘｉｆタグ（0x100）から画像幅Ｗを取得するとともにＥｘｉｆタグ（0x101）から画像高さＨを取得し、上記式により得られる顔サイズＳを次式にしたがってＱＶＧＡサイズに規格化する。
Ｗ／Ｈ≧３２０／２４０のとき（ＱＶＧＡより横に長いとき）、
Ｓ′＝Ｓ＊２４０／Ｈ
Ｓ′max＝Ｓmax＊２４０／Ｈ
Ｓ′min＝Ｓmin＊２４０／Ｈ
Ｗ／Ｈ＜３２０／２４０のとき（ＱＶＧＡより縦に長いとき）、
Ｓ′＝Ｓ＊３２０／Ｗ
Ｓ′max＝Ｓmax＊３２０／Ｗ
Ｓ′min＝Ｓmin＊３２０／Ｗ
なお、後述する印刷装置１００の画像処理においては、こうして求めたＳ′maxおよびＳ′minをそれぞれ有効最大顔サイズＳmaxおよび有効最小顔サイズＳminとして有効顔サイズ範囲を規定するとともに、これらの値を用いて次に説明する顔認識処理を行う。
【００３１】
Ｃ．有効顔サイズ範囲を利用した顔認識処理
図７は、誤検出顔領域、検索領域および検索範囲の関係を示す図である。同図（ａ）では、画像データで示される画像領域（３２０×２４０）に過剰に大きい顔領域ＦＲLが含まれている。この場合、上記した誤検出認定処理により顔領域ＦＲLは誤検出領域であると認定されることから、この顔領域ＦＲLについて顔認識を行うことは無意味である。したがって、画像データから人物の顔を検出する検索範囲を、画像領域全体に設定するのではなく、同図（ｂ）に示すように誤検出領域（顔領域ＦＲL）を除いた範囲に設定するのが合理的であり、これにより印刷装置１００における顔認識処理に要する時間を短縮することができる。
【００３２】
また、誤検出認定処理により有効顔サイズ範囲が既に求められているため、この範囲から外れた顔サイズのテンプレート（検索領域）ＴＰを用いて顔認識を行うことも意味がなく、有効顔サイズ範囲に入る顔サイズのテンプレートＴＰのみを用いて顔認識を行うことで印刷装置１００における顔認識処理に要する時間をさらに短縮することができる。なお、テンプレートＴＰを用いて顔認識を行う技術は既に周知であるため、この明細書での詳しい説明は省略する。
【００３３】
Ｄ．印刷装置１００による画像処理および印刷動作
本実施形態では、有効顔サイズ範囲に基づく誤検出認定処理と、有効顔サイズ範囲を利用した顔認識処理とを組み合わせて画像データに付加される顔情報が誤検出情報であるか否かを求め、さらに誤検出情報が含まれる際には短時間で顔認識処理を行って新たな顔情報を検出している。また、人物の顔を新たに検出すると、そのプリンター顔座標を考慮して画像データを補正した上で印刷装置１００により印刷される。以下に、この印刷装置１００における一連の動作について説明する。
【００３４】
図８および図９は図１の印刷装置で実行される画像処理および印刷動作を示すフローチャートである。ここでは、図２に示すデータ構造を有する画像ファイルがメモリカードＭに保存されており、そのメモリカードＭから画像ファイルを読み出し、印刷装置１００により画像ファイルに含まれる各種情報に基づき所定の画像処理を実行して印刷する動作について説明する。
【００３５】
ユーザーが印刷装置１００のカードスロット１１２にメモリカードＭを挿入し、操作ボタン１０９を操作して印刷指令を与えると、ＣＰＵ１０１がＲＯＭ１０２に格納されているプログラムにしたがって装置各部を制御して以下の画像処理および印刷動作を実行する。
【００３６】
まず、ＣＰＵ１０１は、印刷の対象となる画像ファイルをメモリカードＭから取得し、ハフマン解凍処理を実行し、量子化ＤＣＴ（Discrete Cosine Transform）係数を得る（ステップＳ１０）。より具体的には、ＣＰＵ１０１は、図２に示す画像ファイルからエントロピー符号化テーブルを取得し、圧縮データ３０７に含まれているＹ（輝度）成分、Ｃｒ（色差成分）、および、Ｃｂ（色差成分）のそれぞれのブロックのＤＣ係数と、ＡＣ係数とを復号する。なお、この際、最小符号化単位であるＭＣＵ（Minimum Coded Unit）単位で復号を行う。
【００３７】
また、ＣＰＵ１０１は、ステップＳ１０において得られた量子化ＤＣＴ係数を逆量子化する（ステップＳ１１）。具体的には、ＣＰＵ１０１は、図２に示す画像ファイルから量子化テーブルを取得し、ステップＳ１０において得られた量子化ＤＣＴ係数に乗じることにより（逆量子化することにより）、ＤＣＴ係数を得る。
【００３８】
次に、ＣＰＵ１０１は、画像を回転させるために必要な情報を、例えばＲＡＭ１０３にキャッシュする（ステップＳ１２）。具体的には、ＪＰＥＧ方式によって圧縮された画像を回転させる場合、ＭＣＵのＤＣ成分（直流成分）とＡＣ成分（交流成分）のそれぞれを一度ハフマン展開しなければならない。ここで、ＤＣ成分については隣接するＤＣ成分値の差分をハフマン符号化することから、隣接するＭＣＵとの相関関係が問題となる。また、ＡＣ成分ではハフマン符号化処理によりそのデータ長が各ＭＣＵで一定にならず、ＪＰＥＧデータのビットストリーム中のどのデータが求めるＭＣＵのＡＣ成分値であるかが不明となることが問題となる。そこで、ステップＳ１２では、各ＭＣＵのＤＣ成分値とＡＣ成分のアドレスを求めてキャッシュしておくことにより、ローテート処理を可能とする。
【００３９】
そして、ＣＰＵ１０１はステップＳ１１で得られたＤＣＴ係数に対して逆ＤＣＴ演算を施すことによりもとの画素値を得る（ステップＳ１３）。また、ＣＰＵ１０１は、ステップＳ１３の処理によって得られたＹＣＣ空間の画像をＲＧＢ（Red Green Blue）空間の画像と、ＨＳＢ（Hue Saturation Brightness）空間の画像に変換する（ステップＳ１４）。
【００４０】
次に、ＣＰＵ１０１はステップＳ１３およびステップＳ１４の処理において得られたＹＣＣ，ＲＧＢ，ＨＳＢのそれぞれの画像をＲＡＭ１０３に格納して保持する。なお、このとき、データ量を削減するために画素を所定の割合で間引きした後にＲＡＭ１０３に格納してもよい（ステップＳ１５）。
【００４１】
また、ＣＰＵ１０１は、ステップＳ１５においてＲＡＭ１０３に格納されたＹＣＣ，ＲＧＢ，ＨＳＢそれぞれの画像の成分について、ヒストグラムを計算する（ステップＳ１６）。具体的には、ＲＧＢ画像については、Ｒ，Ｇ，Ｂそれぞれの画像についてヒストグラムを計算する。その結果、画像を構成する各成分の分布を得る。
【００４２】
上記したように、本実施形態では、ステップＳ１０〜１６の処理はＭＣＵ単位で行われており、ＣＰＵ１０１は、全てのＭＣＵについての処理が終了したことを確認するまで、ステップＳ１０に戻って処理を繰り返して実行する。一方、全てのＭＣＵについての処理が終了した場合には、次に有効顔サイズ範囲を求める（ステップＳ１７〜Ｓ２１）。
【００４３】
ステップＳ１７で、ＣＰＵ１０１は画像データに付加された撮影情報を読み込む。そして、有効顔サイズ範囲を算出するのに必要な撮影情報、つまり被写体距離ＬＡ、レンズ焦点距離ＬＢ、画像高さの解像度Ｃおよびデジタルズーム倍率ＤＺＲを取得することができたとき（ステップＳ１８で「ＹＥＳ」）、ＣＰＵ１０１は、実顔サイズＳＸの最小値および最大値をそれぞれ１０ｃｍ、３０ｃｍとし、式１に基づいて有効最小顔サイズＳminおよび有効最大顔サイズＳmaxを算出する（ステップＳ１９）。一方、必要な撮影情報が得られなかったとき（ステップＳ１８で「ＮＯ」）、ＣＰＵ１０１は有効最小顔サイズＳminおよび有効最大顔サイズＳmaxをそれぞれ２０（ピクセル）、２４０（ピクセル）に設定する（ステップＳ２０）。
【００４４】
次のステップＳ２１で、ＣＰＵ１０１は、Ｅｘｉｆタグから画像データに付加されたカメラ顔座標を取得し、ＲＡＭ１０３のカメラ顔座標用のメモリ空間に記憶するとともにカメラ顔個数Ｎｃを記憶する。すなわち、ＣＰＵ１０１は、図２の画像ファイル中のＥｘｉｆタグから顔個数Ｎｃおよびカメラ顔座標を読み込み、さらにカメラ顔座標についてはＱＶＧＡサイズに規格化し、それらをＲＡＭ１０３に格納する。この実施形態では、例えば図１０（ａ）に示すように、１０個のカメラ顔座標を記憶するためのメモリ空間が予めＲＡＭ１０３に準備されており、このメモリ空間にカメラ顔座標が登録顔情報Ｎｏ．１、２、…の順序で記憶される。例えばデジタルカメラ２００での顔認識処理によって２つの顔領域が検出され、各顔領域を示すカメラ顔座標（ＬＴ１ｃ，ＬＢ１ｃ，ＲＴ１ｃ，ＲＢ１ｃ）、（ＬＴ２ｃ，ＬＢ２ｃ，ＲＴ２ｃ，ＲＢ２ｃ）が検出されて画像データに付加されているときには、印刷装置１００において２つのカメラ顔座標は図１０（ａ）に示すようにそれぞれ登録顔情報Ｎｏ．１、２として登録される。なお、該当するカメラ顔座標がない登録顔情報Ｎｏ．３以降のアドレスにはゼロを登録する。また、ＣＰＵ１０１は、読み込んだ顔の個数、つまりカメラ顔個数Ｎｃを設定する（上記した具体例では、Ｎｃ＝２と設定する）。
【００４５】
こうして有効顔サイズ範囲が決定されると、ＣＰＵ１０１は有効顔サイズ範囲に基づく誤検出認定処理（Ｓ２２〜Ｓ２５）を実行する。すなわち、ＣＰＵ１０１は、ステップＳ２２でカメラ顔個数Ｎｃがゼロより大きい値である間（ステップＳ２２で「ＹＥＳ」）、Ｎｃ番目のカメラ顔座標により特定される顔領域の顔サイズが有効顔サイズ範囲内であるか否かを判別する（ステップＳ２３）。なお、本明細書では、Ｎｃ番目のカメラ顔座標により特定される顔領域を「Ｎｃ番目の顔領域」と称し、Ｎｃ番目の顔領域の顔サイズを「Ｎｃ番目の顔サイズ」と称する。
【００４６】
上記ステップＳ２３で「ＹＥＳ」のとき、つまりＮｃ番目の顔領域を「適正な顔領域」と認定すると、ＣＰＵ１０１はＮｃ番目のカメラ顔座標を座標リストに登録する（ステップＳ２４）。この座標リストは、例えば図１０（ｂ）に示すように予め１０個の顔座標を記憶するためのＲＡＭ１０３に設定されたメモリ空間であり、上記カメラ顔座標用とは別個に設けられたものである。そして、座標リストへの登録が完了すると、ＣＰＵ１０１は、ステップＳ２５に進んでカメラ顔個数Ｎｃを「１」だけデクリメントし、ステップＳ２２に戻る。なお、上記ステップＳ２３で「ＮＯ」のとき、つまりＮｃ番目の顔領域を「誤検出顔領域」と認定すると、ＣＰＵ１０１はそのままステップＳ２５に進む。このように、本実施形態では、誤検出顔領域と認定された顔領域を示すカメラ顔座標を誤検出顔座標として座標リストに登録しないことで、当該カメラ顔座標を実質的に印刷装置１００から削除している。例えば、図１０に示すように、デジタルカメラ２００により検出された２つのカメラ顔座標のうち登録顔情報Ｎｏ．２が誤検出顔座標と認定されると、座標リストに登録されず、人物の顔と認識されず、事実上、削除されている。
【００４７】
こうして画像データに付加された、つまりデジタルカメラ２００での顔認識処理により検出された顔領域の全てについて、「適正な顔領域」または「誤検出顔領域」の認定が完了すると、ＣＰＵ１０１は、画像データに付加されたカメラ顔個数Ｎｃと、座標リストへのカメラ顔座標の登録個数とが一致し、しかも、それらがゼロよりも大きいかを判別する（ステップＳ２６）。すなわち、デジタルカメラ２００で人物の顔と認定された顔領域の全てが「適正な顔領域」と判別されたか否かを判別する。そして、全て適正な顔領域である場合には、改めて画像データを補正する必要がないため、ステップＳ２７で「エンハンスなし」を設定し、印刷処理に進む。これに対し、デジタルカメラ２００で人物の顔と認定された顔領域のうち少なくとも１つでも「誤検出顔領域」と認定されるとき、あるいはデジタルカメラ２００側で人物の顔が検出されていないとき、次に説明するように印刷処理に先立って有効顔サイズ範囲を利用した顔認識処理を実行する（ステップＳ２８〜Ｓ４２）。
【００４８】
この実施形態では、ＣＰＵ１０１は、顔認識に用いるテンプレートＴＰの顔サイズＳを有効最大顔サイズＳmaxに設定し（ステップＳ２８）、そのテンプレートＴＰを原点（０，０）に位置させる（ステップＳ２９，Ｓ３０）。そして、ＣＰＵ１０１は、図７に示すようにテンプレートＴＰをΔＸ（この実施形態では、ΔＸ＝Ｓ／２）単位でＸ方向にステップ移動させながら原点位置および各移動位置でステップＳ３１〜Ｓ３６の処理を実行する。すなわち、ＣＰＵ１０１は、テンプレートＴＰが位置する検索領域に未登録のカメラ顔座標が含まれるか否か、つまり誤検出領域ＦＲL（あるいはＦＲＳ）が重なっているか否かを判別する（ステップＳ３１）。これは、「Ｃ．有効顔サイズ範囲を利用した顔認識処理」の項で説明したように、画像データから人物の顔を検出する検索範囲を、図７（ｂ）に示すように誤検出領域を除いた範囲に絞り込むためであり、ＣＰＵ１０１はステップＳ３１で「ＹＥＳ」と判別したときには、判別処理（ステップＳ３２）および顔認識処理（Ｓ３３〜Ｓ３６）をパスする。
【００４９】
ステップＳ３２では、ＣＰＵ１０１は、印刷装置１００による顔認識が行われてプリンター顔座標が既に登録されているか否かを判別する。そして、既にプリンター顔座標が検出されて座標リストに登録されている場合（ステップＳ３２で「ＹＥＳ」）、ＣＰＵ１０１は顔認識処理（Ｓ３３〜Ｓ３６）をパスする。このように、無駄となる顔認識処理を実行しないことで印刷装置１００での顔認識に要する時間の短縮を図っている。
【００５０】
一方、テンプレートＴＰが位置する検索領域に未登録カメラ顔座標もプリンター顔座標も存在しない場合（ステップＳ３１で「ＮＯ」、ステップＳ３２で「ＮＯ」）、ＣＰＵ１０１はステップＳ１５で保持した画像データに対してテンプレートＴＰを適用して顔認識処理を行い（ステップＳ３３）、顔を検出した場合には、例えば図１０（ｂ）に示すように、その顔領域の位置を示すプリンター顔座標を座標リストに追加する。
【００５１】
また、ＣＰＵ１０１は、保持した画像データを９０゜、１８０゜および２７０゜回転させて顔認識処理を行い（ステップＳ３４〜Ｓ３６）、顔を検出した場合には、その顔領域の位置を示すプリンター顔座標を座標リストに追加する。なお、本実施形態では画像データを回転させて顔認識を行っているが、テンプレートＴＰを回転させて顔認識を行ってもよい。
【００５２】
また、Ｘ方向の１ラインの顔認識が完了する（ステップＳ３８で「ＹＥＳ」）と、ＣＰＵ１０１はテンプレートＴＰをＹ方向にΔＹ（この実施形態では、ΔＹ＝Ｓ／２）だけ移動させる（ステップＳ３９）。そして、テンプレートＴＰがＹ方向の端部まで位置するまでの間（ステップＳ４０で「ＮＯ」の間）、上記したステップＳ３０〜Ｓ３９を繰り返して行う。これにより、図７（ｂ）に示すように誤検出領域を除いた検索範囲内で顔サイズＳのテンプレートＴＰを用いた顔認識処理が実行される。
【００５３】
なお、ＣＰＵ１０１は、上記した一連の顔認識処理（ステップＳ２９〜Ｓ４０）が完了する毎にテンプレートＴＰの顔サイズＳをΔＳ（この実施形態では１０ピクセルに設定）だけ小さくし（ステップＳ４１）、顔サイズＳが有効最小顔サイズＳminを下回るまでステップＳ２９に戻って上記した一連の顔認識処理（ステップＳ２９〜Ｓ４０）を繰り返して行う。
【００５４】
こうして、印刷装置１００による顔認識処理が行われると、次のステップＳ４３で、ＣＰＵ１０１は座標リストにカメラ顔座標および／またはプリンター顔座標が登録されている否かを判別する。そして、カメラ顔座標かプリンター顔座標かを問わず、顔座標が登録されている場合（ステップＳ４３で「ＹＥＳ」）には、ＣＰＵ１０１は、座標リストに登録された顔座標に基づいて全ての顔位置を計算し、さらに顔の平均顔色を取得した（ステップＳ４４）後、顔色が最適になるようにエンハンスパラメータを計算する（ステップＳ４５）。なお、エンハンスパラメータ計算の詳細については省略するが、ＲＡＭ１０３に記憶したＲＧＢヒストグラムに基づきコントラスト、明度、彩度、シャープネスなどの各画質パラメータの特徴量を抽出し、抽出した特徴量が所定の画質パラメータの特徴量に近づくようエンハンスのパラメータを設定する。
【００５５】
一方、座標リストにカメラ顔座標もプリンター顔座標も登録されていない場合（ステップＳ４３で「ＮＯ」）、ＣＰＵ１０１は、画像全体が最適になるようにエンハンスパラメータを計算する（ステップＳ４６）。
【００５６】
このように、本実施形態では印刷装置１００により顔認識処理を実行した際にはエンハンスパラメータの設定を行った後、ステップＳ４７に進む。なお、上記したようにデジタルカメラ２００で人物の顔と認定された顔領域の全てが「適正な顔領域」と判別された場合（ステップＳ２６で「ＹＥＳ」）、「エンハンスなし」が設定された状態で、ステップＳ４７に進む。
【００５７】
このステップＳ４７では、ＣＰＵ１０１は、印刷対象となる画像ファイルにおいて、解凍処理の対象となる位置を示すファイルポインタをリセットし、処理位置を画像ファイルの先頭に復元する。そして、ＣＰＵ１０１は、以下のステップＳ４８〜Ｓ５６を繰り返して画像データに基づいて画像を印刷する。
【００５８】
ＣＰＵ１０１は、ＲＡＭ１０３にキャッシュされた１ＭＣＵライン分の画像データにハフマン解凍処理を施し、量子化ＤＣＴ係数を得る（ステップＳ４８）。ここで、１ＭＣＵラインとは、画像を回転させる場合には、画像を構成する列方向に１列のＭＣＵ群をいい、回転させない場合には、画像を構成する行方向に１列のＭＣＵ群をいう。そして、ＣＰＵ１０１は、ステップＳ２９の処理において得られた量子化ＤＣＴ係数を逆量子化し（ステップＳ４９）、さらにステップＳ４８で得られたＤＣＴ係数に対して逆ＤＣＴ演算を施すことによりもとのデータを得る（ステップＳ５０）。
【００５９】
こうして得られたＹＣＣ空間の画像を、ＣＰＵ１０１はＲＧＢ空間の画像に変換する（ステップＳ５１）。そして、ＣＰＵ１０１は、エンハンスの実行が設定されている場合のみ、つまりステップＳ５２で「ＹＥＳ」と判別した場合のみ、ＲＧＢ空間の画像を構成する各画素に対してステップＳ４５、Ｓ４６において算出したエンハンスパラメータを適用することにより、印刷される画像を最適な色合いに補正し（ステップＳ５３）、次のステップＳ５４に進む。
【００６０】
ＣＰＵ１０１は、こうして補正された画像データに対して、リサイズ、回転などのレイアウト処理を施し（ステップＳ５４）、プリンターエンジンコントローラー１１１の図示せぬバンドバッファに供給する。これを受けたプリンターエンジンコントローラー１１１は、プリンターエンジン１１３の各部を制御して画像データに対応する画像を印刷する（ステップＳ５５）。そして、印刷処理が完了すると、ＣＰＵ１０１はＲＡＭ１０３のキャッシュ状態を更新する（ステップＳ５６）。そして、全ＭＣＵライン分について上記ステップＳ４８〜Ｓ５６が完了すると、一連の処理を終了する。
【００６１】
以上のように、本実施形態によれば、画像データに付加された撮影情報（被写体距離ＬＡ、レンズ焦点距離ＬＢ、画像高さの解像度Ｃおよびデジタルズーム倍率ＤＺＲ）に基づき有効顔サイズ範囲（Ｓmin〜Ｓmax）を求め、これに基づいて画像データに付加されるカメラ顔情報が誤検出情報であるか否かを認定している。より具体的には、カメラ顔座標で特定される顔サイズが有効顔サイズ範囲から外れるとき、当該カメラ顔情報を誤検出情報と認定しており、誤検出情報を高い蓋然性を求めることができる。
【００６２】
また、こうして誤検出情報を求めた場合に、画像データから人物の顔を認識してプリンター顔座標を新たに検出しているので、デジタルカメラ側での顔認識の補佐を行うことができる。そして、プリンター顔座標に基づいて画像データを補正することで良好な色合い等で画像を印刷することができる。
【００６３】
また、上記のように印刷装置１００で顔認識する際、画像データ全体から顔情報を検出してもよいが、誤検出領域と認定された顔領域ＦＲＳ、ＦＲLを除いた検索範囲（図７（ｂ）の梨地部分）で画像データから人物の顔を認識して顔座標を検出している。つまり、人物の顔が含まれないことが判っている領域を省いて顔認識処理を実行しているので、画像データ全体から顔情報を検出する従来技術に比べて顔認識処理に要する時間を大幅に短縮することができる。
【００６４】
また、印刷装置１００での顔認識処理において、テンプレート（検索領域）ＴＰの顔サイズを有効顔サイズ範囲内に設定して顔認識処理を行っているため、印刷装置１００での顔認識処理に要する時間を短縮することができる。
【００６５】
Ｅ．その他
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、画像データに顔座標などを付加した画像ファイルをメモリカードＭに記録し、当該メモリカードＭを介して印刷装置１００に供給して印刷しているが、有線または無線通信により画像ファイルが印刷装置１００に供給される場合も、本発明を適用することで上記した実施形態と同様の作用効果が得られる。
【００６６】
また、上記実施形態では、顔領域ＦＲＡ、ＦＲL、ＦＲＳを４点の座標で示しているが、顔領域の表現方式はこれに限定されるものではなく、例えば中心座標に大きさを組み合わせたもの、中心座標に幅および高さを組み合わせたもの等を用いることができる。
【００６７】
また、上記実施形態では、本発明にかかる画像処理装置および方法を印刷装置１００に適用しているが、複数の電子機器から構成される印刷システムにも、また印刷装置以外の１つの電子機器（例えば複合機、ファクシミリ装置など）にも適用可能である。
【００６８】
また、上記実施形態にかかる画像処理方法を実行するプログラムを、ＣＤ−ＲＯＭ、光ディスク、光磁気ディスク、不揮発性メモリカードなどの記憶媒体に記憶させ、この記憶媒体からプログラムをコードとして読み出し、コンピューターにおいて実行してもよい。つまり、上記プログラムを記憶した記憶媒体、コンピュータープログラム自体も本発明の一実施形態に含まれる。
【符号の説明】
【００６９】
１００…印刷装置、 １０１…ＣＰＵ（情報取得部、範囲算出部、誤検出認定部、顔情報検出部、補正部）、 １０２…ＲＯＭ、 １０３…ＲＡＭ、 １０４…ＥＥＰＲＯＭ、 ２００…デジタルカメラ、 ３０７…圧縮データ（画像データ）、 ＦＲＡ…（適正な）顔領域、 ＦＲＳ、ＦＲL…誤検出顔領域、 ＴＰ…テンプレート（検索領域）
【技術分野】
【０００１】
この発明は、画像データに付加された顔情報の適否を判断する画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
画像データに顔情報を付加する技術については、例えば特許文献１に記載されている。この特許文献１に記載のプリントシステムでは、デジタルカメラが顔認識処理を実行して顔オブジェクトの位置情報や色情報などを顔オブジェクト情報として検出し、さらに原撮影画像データに添付し、または埋め込んで顔オブジェクト情報付き撮影画像データを生成する。一方、プリンターなどの印刷装置は、撮影画像に付加される顔オブジェクト情報に基づいて画像データに対して色補正を実行し、色補正済の画像を印刷する。このように、デジタルカメラによる顔認識結果を利用して印刷装置側で独自に補正をかける技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１３４５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、デジタルカメラの顔認識によって被写体に含まれる人物の顔の全部が完全かつ正確に検出される保証はなく、デジタルカメラ側で誤検出が発生する可能性があった。このため、顔情報が付加された画像データを受け取った装置側で、当該顔情報が正しく検出されたものであるか否かを判別することができる技術の提供が要望されている。
【０００５】
この発明にかかるいくつかの態様は、画像データに付加される顔情報が誤検出情報であるか否かを求めることができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様は、画像データに付加される顔情報および撮影情報を取得する情報取得部と、画像データに人物の顔が含まれるときに人物の顔サイズとして取り得る値の範囲である有効顔サイズ範囲を、撮影情報に基づいて求める範囲算出部と、情報取得部により取得した顔情報で特定される顔サイズが有効顔サイズ範囲から外れるときには顔情報を誤検出情報と認定する誤検出認定部とを備えることを特徴としている。
【０００７】
また、本発明の第２の態様は、画像データに付加される撮影情報に基づいて画像データに人物の顔が含まれるときに人物の顔サイズとして取り得る値の範囲を示す有効顔サイズ範囲を求めた後、撮影情報とともに画像データに付加される顔情報で特定される顔サイズが、有効顔サイズ範囲の最大値よりも大きい、または有効顔サイズ範囲の最小値よりも小さい場合、顔情報は誤検出されたものであると認定することを特徴としている。
【０００８】
人物を撮影して画像データを生成した場合、その画像データに撮影情報とともに顔情報が付加されることがある。ここで注目すべきは、人物が適正に撮影されたとき、画像データに含まれる人物の顔サイズは撮影情報に含まれる撮影条件（被写体距離やレンズ焦点距離など）に応じた有効顔サイズ範囲に収まることであり、顔情報で特定される顔サイズが有効顔サイズ範囲から外れる場合、その顔情報は誤検出されたものである蓋然性が高いという点である。そこで、本発明では、画像データに付加された撮影情報に基づき有効顔サイズ範囲が求められ、顔情報で特定される顔サイズが有効顔サイズ範囲から外れるとき、当該顔情報は誤検出情報と認定される。このため、画像データに付加される顔情報が誤検出情報であるか否かを求めることができる。
【０００９】
ここで、画像データに付加された顔情報が誤検出されたものである場合、画像データから人物の顔を認識して顔情報を新たに検出するのが望まれる。もちろん、画像データ全体から顔情報を検出してもよいが、誤検出情報と認定された顔情報により特定される顔領域以外の検索範囲で画像データから人物の顔を認識して顔情報を検出するのが好適である。このように人物の顔が含まれないことが判っている領域を省いて顔認識処理を実行することで同処理に要する時間を短縮することができる。
【００１０】
また、有効顔サイズ範囲内の検索サイズを有する検索領域を検索範囲内で移動させながら各検索領域に対応する画像データに基づき人物の顔を認識して顔情報を検出するように構成してもよい。また、検索領域の検索サイズを有効顔サイズ範囲の最大値に設定し、検索範囲から人物の顔を認識して顔情報を検出する第１顔認識処理を行うように構成してもよい。さらに、第１顔認識処理の後に、検索領域の検索サイズを有効顔サイズ範囲の最大値よりも小さい値に設定し、検索範囲から第１顔認識処理により検出された人物の顔領域を除いた範囲から人物の顔を認識して顔情報を検出する第２顔認識処理を行うように構成してもよい。このような顔認識処理を行うことで、顔認識処理に要する時間をさらに短縮することができる。
【００１１】
なお、上記のようにして画像データから顔情報を新たに検出したときには、当該顔情報に基づいて画像データを補正するのが望ましい。また、画像データに複数の顔情報が付加されていることがあり、その一部が誤検出情報と認定されることがある。この場合、誤検出情報以外の顔情報は適切に検出されたものであるため、これらの顔情報と、上記のように新たに検出した顔情報とに基づいて画像データを補正するのが好適である。
【図面の簡単な説明】
【００１２】
【図１】本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図。
【図２】デジタルカメラで作成される画像ファイルの一例を示す図。
【図３】図２の部分拡大図。
【図４】顔認識処理により認識された顔の一例を示す図。
【図５】顔領域のサイズと有効顔サイズとの関係を示す模式図。
【図６】画像上の画素数と実顔サイズとの関係を示す図。
【図７】誤検出顔領域、検索領域および検索範囲の関係を示す図。
【図８】図１の印刷装置で実行される画像処理および印刷動作を示すフローチャート。
【図９】図１の印刷装置で実行される画像処理および印刷動作を示すフローチャート。
【図１０】プリンター顔座標およびカメラ顔座標の座標リストへの登録例を示す図。
【発明を実施するための形態】
【００１３】
Ａ．印刷システムの構成
図１は、本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図である。この印刷システムは、デジタルカメラ２００の撮影により取得された画像データを、メモリカードＭ、ＵＳＢ(Universal Serial Bus)ケーブルや無線ＬＡＮ(Local Area Network)等によって印刷装置１００に転送し、印刷装置１００で印刷するものである。すなわち、ここではユーザーがデジタルカメラ２００で画像を撮影して画像データを生成し、その画像データをそのまま印刷装置１００で読み込んで印刷する、いわゆるダイレクト印刷を想定しているが、本発明を適用可能な印刷システムはこれに限定されるものではない。つまり、デジタルカメラ２００で生成した画像データをパーソナルコンピューターや携帯電話などに取り込み、パーソナルコンピューターから印刷装置１００に画像データを送信して印刷する印刷システムにも本発明を適用することは可能である。
【００１４】
デジタルカメラ２００では、同図に示すように、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、ＣＣＤ（Charge Coupled Device）２０４、ＧＰ（Graphic Processor）２０５およびＩ／Ｆ（Interface）２０６がバス２０７を介して相互に接続され、これらの間で情報の授受が可能となっている。そして、ＣＰＵ２０１はＲＯＭ２０２に格納されているプログラムに応じて各種演算処理を実行しながらデジタルカメラ２００の制御を行う。このとき一時的に必要となるデータはＲＡＭ２０３に格納される。また、ＣＣＤ２０４は、光学系２０８によって集光された被写体からの光学像を電気信号に変換して出力する。この光学系２０８は、複数のレンズおよびアクチュエータによって構成されており、アクチュエータによってフォーカス等を調整しながら被写体の光学像を複数のレンズによってＣＣＤ２０４の受光面に結像する。さらに、ＧＰ２０５は、ＣＰＵ２０１から供給される表示命令に基づいて表示用の画像処理を実行し、得られた表示用画像データをＬＣＤ（Liquid Crystal Display）２０９に供給して表示させる。
【００１５】
Ｉ／Ｆ２０６はデジタルカメラ２００の入出力機能を提供するものであり、操作ボタン２１０、ジャイロセンサー２１１およびカードＩ／Ｆ回路２１２の間で情報を授受する際に、データの表現形式を適宜変換する装置である。Ｉ／Ｆ２０６に接続される操作ボタン２１０には、電源、モード切替え、シャッターなどのボタンや、各種機能を設定できる入力手段があり、これらによってユーザーはデジタルカメラ２００を任意に制御して動作させることが可能となっている。また、ジャイロセンサー２１１はデジタルカメラ２００によって被写体を撮影した際のカメラ本体の角度（水平面に対する角度）を示す信号を生成して出力する。デジタルカメラ２００は、上記したカメラ本体の角度を含め、撮影時における種々の情報（例えば、露光、被写体等に関する情報）を生成する。それらの情報の一つである撮影情報に後述する顔情報やシーン情報などが含まれる。なお、本実施形態では、デジタルカメラ２００は、撮影情報をＥｘｉｆ（Exchangeable Image File Format）情報に記載し、画像データに付加した画像ファイルを生成することができる構造となっている。
【００１６】
また、カードＩ／Ｆ回路２１２はカードスロット２１３に挿入されたメモリカードＭとの間で情報を読み書きするためのインタフェースである。さらに、Ｉ／Ｆ２０６は図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線または無線にて印刷装置１００との間で画像ファイルの授受が可能となっている。なお、デジタルカメラ２００で作成され、印刷装置１００に与えられる画像ファイル（画像データ＋Ｅｘｉｆ情報）については、後で詳述する。
【００１７】
印刷装置１００はデジタルカメラ２００で撮像された画像を印刷する装置であり、次のように構成されている。印刷装置１００では、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１０４、ＧＰ１０５およびＩ／Ｆ１０６がバス１０７を介して相互に接続され、これらの間で情報の授受が可能となっている。ＣＰＵ１０１はＲＯＭ１０２およびＥＥＰＲＯＭ１０４に格納されているプログラムに応じて各種演算処理を実行するとともに印刷装置１００の各部を制御し、本発明の「情報取得部」、「範囲算出部」、「誤検出認定部」。「顔情報検出部」および「補正部」として機能する。また、ＣＰＵ１０１が実行対象とするプログラムやデータについてはＲＡＭ１０３に一時的に格納される一方、印刷装置の電源が切断された後も保持しておくデータ等についてはＥＥＰＲＯＭ１０４に格納される。さらに、ＣＰＵ１０１は必要に応じてＧＰ１０５に対して表示命令を与え、この表示命令に応じてＧＰ１０５が表示用の画像処理を実行し、その処理結果をＬＣＤ１０８に供給して表示させる。
【００１８】
Ｉ／Ｆ１０６は、操作ボタン１０９、カードＩ／Ｆ回路１１０およびプリンターエンジンコントローラー１１１の間で情報を授受する際に、データの表現形式を適宜変換する装置である。印刷装置１００では、操作ボタン１０９は印刷装置１００のメニュー選択等を行う時に押されるように構成されている。また、カードＩ／Ｆ回路１１０は、カードスロット１１２と接続されており、このカードスロット１１２に挿入されたメモリカードＭからデジタルカメラ２００によって生成された画像ファイルを読み出す。なお、Ｉ／Ｆ１０６は、図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線通信または無線通信にてデジタルカメラ２００との間で画像ファイルの授受が可能となっている。
【００１９】
そして、印刷装置１００は、メモリカードＭを介して、あるいはデータ通信により画像データを受け取ると、ＣＰＵ１０１により種々の処理を行うとともにプリンターエンジンコントローラー１１１によりプリンターエンジン１１３を制御し、これによって画像データに対応する画像を印刷する。以下、図２ないし図４に基づき画像ファイルの構成を説明した上で、本実施形態における画像処理動作および印刷動作について図４ないし図１０を参照しつつ詳述する。
【００２０】
図２は上記のように構成されたデジタルカメラで作成される画像ファイルの一例を示す図である。また、図３は図２の部分拡大図である。この実施形態では、デジタルカメラ２００はＣＣＤ２０４で撮像された画像を示す画像データをＲＡＭ２０３に格納する。また、デジタルカメラ２００は、被写体に人物が含まれているときには顔認識処理を行う（顔認識方式については従来より数多く提案されており、それらのうちいずれの方式を採用してもよい）。なお、本実施形態では、顔認識処理により検出される顔認識結果は、図４（ａ）に示すような座標情報が顔情報として表現される。すなわち、同図（ａ）に示すように、画像データは所定の画像幅(Width)と画像高さ(Height)の画素で構成されており、Ｘが横軸、Ｙが縦軸を表しており、左上が原点（０，０）である。そして、画像データから顔が検出されると、両目端が入る間隔（顔サイズ）を１辺とする正方形の顔領域（または顔矩形という）ＦＲを左上（ＬＴ）、左下（ＬＢ）、右上（ＲＴ）、右下（ＲＢ）の４点の座標で囲まれる領域で表し、顔領域ＦＲを示す座標、つまり顔座標を、認識した顔の個数（つまりカメラ顔個数）ＮｃとともにＲＡＭ２０３に格納する。なお、本明細書では、後で説明するように、印刷装置１００においてもデジタルカメラ２００での顔認識と同様に顔認識を行って顔座標を求めることがあるため、両者を識別するために、デジタルカメラ２００での顔認識により検出される顔座標を「カメラ顔座標」と称する一方、後述するように印刷装置１００の顔認識処理により検出される顔座標については「プリンター顔座標」と称する。
【００２１】
また、この実施形態では、上記のように画像データ、顔個数および顔座標などをＲＡＭ２０３に格納しているが、その記録方式としてディジタルスチルカメラ用画像ファイルフォーマット規格Ｅｘｉｆ Ver.2.2.1を使用している。このＥｘｉｆ画像ファイルの構造は、基本的には通常のＪＰＥＧ（Joint Photographic Experts Group）画像形式そのものであり、その中にサムネイル画像や撮影関連データ等のデータをＪＰＥＧの規約に準拠した形で埋め込んだものである。
【００２２】
本実施形態で使用する画像ファイルは、図２の左側部分に示すように、最初にＳＯＩ(Start of image)３０１がある。その後に、ＡＰＰ１（アプリケーション・マーカーセグメント）３０２、ＤＱＴ(Define Quantization Table)３０３、ＤＨＴ(Define Huffman Table)３０４の順となっている。さらにその後に、ＳＯＦ(Start of Ｆrame)３０５、ＳＯＳ(Start of Stream)マーカー３０６、圧縮データ(Compress Data)３０７の順となっている。最後にＥＯＩ(End of Image)３０８がある。これらのうちＡＰＰ１はアプリケーションプログラムで使用するためのデータ領域として図２の中央部分に示す構造を有している。ＡＰＰ１の構造では、先頭にＡＰＰ１ Ｍａｒｋｅｒ領域３０２ａがある。そして、その次にＬｅｎｇｔｈ領域３０２ｂがある。
【００２３】
Ｌｅｎｇｔｈ領域３０２ｂに続くデータの最初の６バイトの領域３０２ｃでは、識別子としてASCII文字の“Exif"が、その次に2バイトの0x00が続く。そこからＴｉｆｆ(Tagged Image File Format)形式でデータが格納されている。Ｔｉｆｆ形式の最初の８バイトはＴｉｆｆヘッダー(Header)領域３０２ｄである。
【００２４】
また、Ｔｉｆｆヘッダー領域３０２ｄの次の０ｔｈ ＩＦＤ(IFD of main image)領域３０２ｅに、同図の右側部分に示すように、画像幅、画像高さ等の画像関連情報が格納される。そして、０ｔｈ ＩＦＤの次に０ｔｈ ＩＦＤ Ｖａｌｕｅ領域３０２ｆがある。さらに、その次にＥｘｉｆ ＩＦＤ領域３０２ｇが設けられ、露出時間、Ｆナンバー、被写体距離、レンズ焦点距離などの撮影関連情報が格納される。また、Ｅｘｉｆ ＩＦＤ領域３０２ｇにＥｘｉｆ ＩＦＤ Ｖａｌｕｅ領域３０２ｈがある。なお、現在のところ、顔認識処理により検出される顔個数ＮｃとＮｃ個の顔座標をＥｘｉｆタグに書き込む規格は規定されていないが、本実施形態では顔個数ＮｃがＥｘｉｆ ＩＦＤ領域３０２ｇに書き込まれ、Ｎｃ個の顔座標がＥｘｉｆ ＩＦＤ Ｖａｌｕｅ領域３０２ｈに書き込まれるとともに該書込位置をポイントする情報がＥｘｉｆ ＩＦＤ領域３０２ｇに書き込まれると仮定して説明を続ける。もちろん、これらの情報をメーカーに依存する領域に書き込むように構成してもよい。このように、本実施形態では、顔位置（顔座標）の情報である顔情報はＥｘｉｆ情報に記載され、画像データに添付されている。したがって、Ｅｘｉｆ情報に顔情報が含まれる場合には、顔個数Ｎｃやシーン情報などとともに画像データの補正に利用される。一方、Ｅｘｉｆ情報に顔情報が含まれていない場合、顔情報がないと判断される。
【００２５】
このようにデジタルカメラ２００側で顔認識処理が実行されるが、被写体に含まれる人物の顔の全部が完全かつ正確に検出される保証はなく、デジタルカメラ２００側で誤検出が発生することがある。例えば過剰に小さい顔（例えば、人形の顔）や、過剰に大きい顔（例えば、ポスターに写る顔）を検出し、それらの顔座標をＥｘｉｆタグに書き込んでしまうことがあった。そこで、本実施形態では、有効顔サイズ範囲に基づく誤検出認定処理、有効顔サイズ範囲を利用した顔認識処理を実行している。以下においては、それらの処理概要を説明した上で、印刷装置１００による画像処理および印刷動作について詳述する。
【００２６】
Ｂ．有効顔サイズ範囲に基づく誤検出認定処理
図５は顔領域のサイズと有効顔サイズとの関係を示す模式図である。デジタルカメラ２００により顔認識処理を行った場合、例えば図５に示すように、人形の顔を人物の顔と認識して過剰に小さい顔領域ＦＲＳが検出されたり、ポスターに写る顔を人物の顔と認識して過剰に大きい顔領域ＦＲLが検出されることがある。そこで、本実施形態では、画像データに人物の顔が含まれるときに人物の顔サイズとして取り得る値の範囲、つまり有効顔サイズ範囲を画像データに付加されている撮影情報に基づいて求め、デジタルカメラ２００により検出された顔領域のうち有効顔サイズ範囲内にあるものを適正な顔領域ＦＲＡと認定する一方、有効顔サイズ範囲から外れた顔領域ＦＲＳ、ＦＲLを誤検出領域と認定している。
【００２７】
図６は画像上の画素数と実顔サイズとの関係を示す図である。図中には、被写体ＳＢと、光学系２０８と、ＣＣＤ２０４との位置関係を示す側面図が示されている。光学系２０８は複数のレンズを有しているが、ここでは、簡略化のために、１つのレンズが光学系２０８を示している。さらに、図中には、以下の要素が示されている。すなわち、被写体の実顔サイズＳＸ（実際の長さ：単位ｃｍ）と、被写体距離ＬＡ（単位ｍ）と、レンズ焦点距離ＬＢ（単位ｍｍ）と、ＣＣＤ２０４の受光面（結像面）上に形成された被写体ＯＢを表す結像ＰＩと、デジタルズーム倍率ＤＺＲとである。なお、被写体ＯＢの実顔サイズＳＸは、高さ方向（ＣＣＤ２０４の高さ方向、画像高さの方向に相当する）に沿った長さを示している。また、Ｅｘｉｆタグ（0x9206）から取得した被写体距離ＬＡは、光学系２０８の光学中心（主点ＰＰ）と被写体ＯＢとの間の距離とほぼ同じである。また、Ｅｘｉｆタグ（0x920A）から取得したレンズ焦点距離ＬＢは、光学系２０８の光学中心（主点ＰＰ）とＣＣＤ２０４上の結像面との間の距離を示している。なお、デジタルズーム倍率ＤＺＲは、Ｅｘｉｆタグ（0xA404）から取得されるとともに、図示されていないが画像高さの解像度Ｃ（ｄｐｉ）がＥｘｉｆタグ（0x11B）から取得される。
【００２８】
従来より周知のように、主点ＰＰと被写体ＯＢとで決まる三角形と、主点ＰＰと結像ＰＩとで決まる三角形とは、相似である。なお、実際には、被写体ＯＢ側からみた光学系２０８の主点が、結像ＰＩ側から見た光学系２０８の主点と、異なる場合もあるが、図６に示す関係においてはその差違は十分に小さいので、実質的には、その差違を省略することができる。また、被写体の画像上のサイズ、つまり顔サイズＳは結像ＰＩのサイズにデジタルズーム倍率ＤＺＲを乗じて得られる値と同じである。そこで、顔サイズＳを画素数（ピクセル）で示すと、次式で表される。
Ｓ＝（ＬＢ＊ＤＺＲ＊（ＳＸ＊Ｃ／２４．５））／（ＬＡ＊１００）…式１
そして、人物の標準的な実顔サイズＳＸを例えば２０ｃｍとし、それより１０ｃｍ短い実顔サイズを最小値とする一方、それより１０ｃｍ大きい実顔サイズを最大値とし、上記式に基づき顔サイズＳの最小値、つまり有効最小顔サイズＳminおよび最大値、有効最大顔サイズＳmaxが求まる。これら有効最小顔サイズＳminおよび有効最大顔サイズＳmaxの間が顔サイズＳの取り得る範囲、つまり有効顔サイズ範囲であり、上記した被写体距離ＬＡ、レンズ焦点距離ＬＢ、画像高さの解像度Ｃおよびデジタルズーム倍率ＤＺＲを画像データに付加された撮影情報から取得することで有効顔サイズ範囲を算出することが可能となっている。
【００２９】
そして、画像データに付加される各顔座標により特定される顔領域の顔サイズＳが有効顔サイズ範囲内に入っているか否かを判別することができ、有効顔サイズ範囲内に含まれる顔領域ＦＲＡを「適正な顔領域」と認定し、範囲外の顔領域ＦＲＳ、ＦＲLを「誤検出領域」と認定することができる。
【００３０】
なお、本実施形態では、後述するようにデジタルカメラ２００で撮像された画像をＱＶＧＡ（Quarter Video Graphics Array）サイズに規格化することから、Ｅｘｉｆタグ（0x100）から画像幅Ｗを取得するとともにＥｘｉｆタグ（0x101）から画像高さＨを取得し、上記式により得られる顔サイズＳを次式にしたがってＱＶＧＡサイズに規格化する。
Ｗ／Ｈ≧３２０／２４０のとき（ＱＶＧＡより横に長いとき）、
Ｓ′＝Ｓ＊２４０／Ｈ
Ｓ′max＝Ｓmax＊２４０／Ｈ
Ｓ′min＝Ｓmin＊２４０／Ｈ
Ｗ／Ｈ＜３２０／２４０のとき（ＱＶＧＡより縦に長いとき）、
Ｓ′＝Ｓ＊３２０／Ｗ
Ｓ′max＝Ｓmax＊３２０／Ｗ
Ｓ′min＝Ｓmin＊３２０／Ｗ
なお、後述する印刷装置１００の画像処理においては、こうして求めたＳ′maxおよびＳ′minをそれぞれ有効最大顔サイズＳmaxおよび有効最小顔サイズＳminとして有効顔サイズ範囲を規定するとともに、これらの値を用いて次に説明する顔認識処理を行う。
【００３１】
Ｃ．有効顔サイズ範囲を利用した顔認識処理
図７は、誤検出顔領域、検索領域および検索範囲の関係を示す図である。同図（ａ）では、画像データで示される画像領域（３２０×２４０）に過剰に大きい顔領域ＦＲLが含まれている。この場合、上記した誤検出認定処理により顔領域ＦＲLは誤検出領域であると認定されることから、この顔領域ＦＲLについて顔認識を行うことは無意味である。したがって、画像データから人物の顔を検出する検索範囲を、画像領域全体に設定するのではなく、同図（ｂ）に示すように誤検出領域（顔領域ＦＲL）を除いた範囲に設定するのが合理的であり、これにより印刷装置１００における顔認識処理に要する時間を短縮することができる。
【００３２】
また、誤検出認定処理により有効顔サイズ範囲が既に求められているため、この範囲から外れた顔サイズのテンプレート（検索領域）ＴＰを用いて顔認識を行うことも意味がなく、有効顔サイズ範囲に入る顔サイズのテンプレートＴＰのみを用いて顔認識を行うことで印刷装置１００における顔認識処理に要する時間をさらに短縮することができる。なお、テンプレートＴＰを用いて顔認識を行う技術は既に周知であるため、この明細書での詳しい説明は省略する。
【００３３】
Ｄ．印刷装置１００による画像処理および印刷動作
本実施形態では、有効顔サイズ範囲に基づく誤検出認定処理と、有効顔サイズ範囲を利用した顔認識処理とを組み合わせて画像データに付加される顔情報が誤検出情報であるか否かを求め、さらに誤検出情報が含まれる際には短時間で顔認識処理を行って新たな顔情報を検出している。また、人物の顔を新たに検出すると、そのプリンター顔座標を考慮して画像データを補正した上で印刷装置１００により印刷される。以下に、この印刷装置１００における一連の動作について説明する。
【００３４】
図８および図９は図１の印刷装置で実行される画像処理および印刷動作を示すフローチャートである。ここでは、図２に示すデータ構造を有する画像ファイルがメモリカードＭに保存されており、そのメモリカードＭから画像ファイルを読み出し、印刷装置１００により画像ファイルに含まれる各種情報に基づき所定の画像処理を実行して印刷する動作について説明する。
【００３５】
ユーザーが印刷装置１００のカードスロット１１２にメモリカードＭを挿入し、操作ボタン１０９を操作して印刷指令を与えると、ＣＰＵ１０１がＲＯＭ１０２に格納されているプログラムにしたがって装置各部を制御して以下の画像処理および印刷動作を実行する。
【００３６】
まず、ＣＰＵ１０１は、印刷の対象となる画像ファイルをメモリカードＭから取得し、ハフマン解凍処理を実行し、量子化ＤＣＴ（Discrete Cosine Transform）係数を得る（ステップＳ１０）。より具体的には、ＣＰＵ１０１は、図２に示す画像ファイルからエントロピー符号化テーブルを取得し、圧縮データ３０７に含まれているＹ（輝度）成分、Ｃｒ（色差成分）、および、Ｃｂ（色差成分）のそれぞれのブロックのＤＣ係数と、ＡＣ係数とを復号する。なお、この際、最小符号化単位であるＭＣＵ（Minimum Coded Unit）単位で復号を行う。
【００３７】
また、ＣＰＵ１０１は、ステップＳ１０において得られた量子化ＤＣＴ係数を逆量子化する（ステップＳ１１）。具体的には、ＣＰＵ１０１は、図２に示す画像ファイルから量子化テーブルを取得し、ステップＳ１０において得られた量子化ＤＣＴ係数に乗じることにより（逆量子化することにより）、ＤＣＴ係数を得る。
【００３８】
次に、ＣＰＵ１０１は、画像を回転させるために必要な情報を、例えばＲＡＭ１０３にキャッシュする（ステップＳ１２）。具体的には、ＪＰＥＧ方式によって圧縮された画像を回転させる場合、ＭＣＵのＤＣ成分（直流成分）とＡＣ成分（交流成分）のそれぞれを一度ハフマン展開しなければならない。ここで、ＤＣ成分については隣接するＤＣ成分値の差分をハフマン符号化することから、隣接するＭＣＵとの相関関係が問題となる。また、ＡＣ成分ではハフマン符号化処理によりそのデータ長が各ＭＣＵで一定にならず、ＪＰＥＧデータのビットストリーム中のどのデータが求めるＭＣＵのＡＣ成分値であるかが不明となることが問題となる。そこで、ステップＳ１２では、各ＭＣＵのＤＣ成分値とＡＣ成分のアドレスを求めてキャッシュしておくことにより、ローテート処理を可能とする。
【００３９】
そして、ＣＰＵ１０１はステップＳ１１で得られたＤＣＴ係数に対して逆ＤＣＴ演算を施すことによりもとの画素値を得る（ステップＳ１３）。また、ＣＰＵ１０１は、ステップＳ１３の処理によって得られたＹＣＣ空間の画像をＲＧＢ（Red Green Blue）空間の画像と、ＨＳＢ（Hue Saturation Brightness）空間の画像に変換する（ステップＳ１４）。
【００４０】
次に、ＣＰＵ１０１はステップＳ１３およびステップＳ１４の処理において得られたＹＣＣ，ＲＧＢ，ＨＳＢのそれぞれの画像をＲＡＭ１０３に格納して保持する。なお、このとき、データ量を削減するために画素を所定の割合で間引きした後にＲＡＭ１０３に格納してもよい（ステップＳ１５）。
【００４１】
また、ＣＰＵ１０１は、ステップＳ１５においてＲＡＭ１０３に格納されたＹＣＣ，ＲＧＢ，ＨＳＢそれぞれの画像の成分について、ヒストグラムを計算する（ステップＳ１６）。具体的には、ＲＧＢ画像については、Ｒ，Ｇ，Ｂそれぞれの画像についてヒストグラムを計算する。その結果、画像を構成する各成分の分布を得る。
【００４２】
上記したように、本実施形態では、ステップＳ１０〜１６の処理はＭＣＵ単位で行われており、ＣＰＵ１０１は、全てのＭＣＵについての処理が終了したことを確認するまで、ステップＳ１０に戻って処理を繰り返して実行する。一方、全てのＭＣＵについての処理が終了した場合には、次に有効顔サイズ範囲を求める（ステップＳ１７〜Ｓ２１）。
【００４３】
ステップＳ１７で、ＣＰＵ１０１は画像データに付加された撮影情報を読み込む。そして、有効顔サイズ範囲を算出するのに必要な撮影情報、つまり被写体距離ＬＡ、レンズ焦点距離ＬＢ、画像高さの解像度Ｃおよびデジタルズーム倍率ＤＺＲを取得することができたとき（ステップＳ１８で「ＹＥＳ」）、ＣＰＵ１０１は、実顔サイズＳＸの最小値および最大値をそれぞれ１０ｃｍ、３０ｃｍとし、式１に基づいて有効最小顔サイズＳminおよび有効最大顔サイズＳmaxを算出する（ステップＳ１９）。一方、必要な撮影情報が得られなかったとき（ステップＳ１８で「ＮＯ」）、ＣＰＵ１０１は有効最小顔サイズＳminおよび有効最大顔サイズＳmaxをそれぞれ２０（ピクセル）、２４０（ピクセル）に設定する（ステップＳ２０）。
【００４４】
次のステップＳ２１で、ＣＰＵ１０１は、Ｅｘｉｆタグから画像データに付加されたカメラ顔座標を取得し、ＲＡＭ１０３のカメラ顔座標用のメモリ空間に記憶するとともにカメラ顔個数Ｎｃを記憶する。すなわち、ＣＰＵ１０１は、図２の画像ファイル中のＥｘｉｆタグから顔個数Ｎｃおよびカメラ顔座標を読み込み、さらにカメラ顔座標についてはＱＶＧＡサイズに規格化し、それらをＲＡＭ１０３に格納する。この実施形態では、例えば図１０（ａ）に示すように、１０個のカメラ顔座標を記憶するためのメモリ空間が予めＲＡＭ１０３に準備されており、このメモリ空間にカメラ顔座標が登録顔情報Ｎｏ．１、２、…の順序で記憶される。例えばデジタルカメラ２００での顔認識処理によって２つの顔領域が検出され、各顔領域を示すカメラ顔座標（ＬＴ１ｃ，ＬＢ１ｃ，ＲＴ１ｃ，ＲＢ１ｃ）、（ＬＴ２ｃ，ＬＢ２ｃ，ＲＴ２ｃ，ＲＢ２ｃ）が検出されて画像データに付加されているときには、印刷装置１００において２つのカメラ顔座標は図１０（ａ）に示すようにそれぞれ登録顔情報Ｎｏ．１、２として登録される。なお、該当するカメラ顔座標がない登録顔情報Ｎｏ．３以降のアドレスにはゼロを登録する。また、ＣＰＵ１０１は、読み込んだ顔の個数、つまりカメラ顔個数Ｎｃを設定する（上記した具体例では、Ｎｃ＝２と設定する）。
【００４５】
こうして有効顔サイズ範囲が決定されると、ＣＰＵ１０１は有効顔サイズ範囲に基づく誤検出認定処理（Ｓ２２〜Ｓ２５）を実行する。すなわち、ＣＰＵ１０１は、ステップＳ２２でカメラ顔個数Ｎｃがゼロより大きい値である間（ステップＳ２２で「ＹＥＳ」）、Ｎｃ番目のカメラ顔座標により特定される顔領域の顔サイズが有効顔サイズ範囲内であるか否かを判別する（ステップＳ２３）。なお、本明細書では、Ｎｃ番目のカメラ顔座標により特定される顔領域を「Ｎｃ番目の顔領域」と称し、Ｎｃ番目の顔領域の顔サイズを「Ｎｃ番目の顔サイズ」と称する。
【００４６】
上記ステップＳ２３で「ＹＥＳ」のとき、つまりＮｃ番目の顔領域を「適正な顔領域」と認定すると、ＣＰＵ１０１はＮｃ番目のカメラ顔座標を座標リストに登録する（ステップＳ２４）。この座標リストは、例えば図１０（ｂ）に示すように予め１０個の顔座標を記憶するためのＲＡＭ１０３に設定されたメモリ空間であり、上記カメラ顔座標用とは別個に設けられたものである。そして、座標リストへの登録が完了すると、ＣＰＵ１０１は、ステップＳ２５に進んでカメラ顔個数Ｎｃを「１」だけデクリメントし、ステップＳ２２に戻る。なお、上記ステップＳ２３で「ＮＯ」のとき、つまりＮｃ番目の顔領域を「誤検出顔領域」と認定すると、ＣＰＵ１０１はそのままステップＳ２５に進む。このように、本実施形態では、誤検出顔領域と認定された顔領域を示すカメラ顔座標を誤検出顔座標として座標リストに登録しないことで、当該カメラ顔座標を実質的に印刷装置１００から削除している。例えば、図１０に示すように、デジタルカメラ２００により検出された２つのカメラ顔座標のうち登録顔情報Ｎｏ．２が誤検出顔座標と認定されると、座標リストに登録されず、人物の顔と認識されず、事実上、削除されている。
【００４７】
こうして画像データに付加された、つまりデジタルカメラ２００での顔認識処理により検出された顔領域の全てについて、「適正な顔領域」または「誤検出顔領域」の認定が完了すると、ＣＰＵ１０１は、画像データに付加されたカメラ顔個数Ｎｃと、座標リストへのカメラ顔座標の登録個数とが一致し、しかも、それらがゼロよりも大きいかを判別する（ステップＳ２６）。すなわち、デジタルカメラ２００で人物の顔と認定された顔領域の全てが「適正な顔領域」と判別されたか否かを判別する。そして、全て適正な顔領域である場合には、改めて画像データを補正する必要がないため、ステップＳ２７で「エンハンスなし」を設定し、印刷処理に進む。これに対し、デジタルカメラ２００で人物の顔と認定された顔領域のうち少なくとも１つでも「誤検出顔領域」と認定されるとき、あるいはデジタルカメラ２００側で人物の顔が検出されていないとき、次に説明するように印刷処理に先立って有効顔サイズ範囲を利用した顔認識処理を実行する（ステップＳ２８〜Ｓ４２）。
【００４８】
この実施形態では、ＣＰＵ１０１は、顔認識に用いるテンプレートＴＰの顔サイズＳを有効最大顔サイズＳmaxに設定し（ステップＳ２８）、そのテンプレートＴＰを原点（０，０）に位置させる（ステップＳ２９，Ｓ３０）。そして、ＣＰＵ１０１は、図７に示すようにテンプレートＴＰをΔＸ（この実施形態では、ΔＸ＝Ｓ／２）単位でＸ方向にステップ移動させながら原点位置および各移動位置でステップＳ３１〜Ｓ３６の処理を実行する。すなわち、ＣＰＵ１０１は、テンプレートＴＰが位置する検索領域に未登録のカメラ顔座標が含まれるか否か、つまり誤検出領域ＦＲL（あるいはＦＲＳ）が重なっているか否かを判別する（ステップＳ３１）。これは、「Ｃ．有効顔サイズ範囲を利用した顔認識処理」の項で説明したように、画像データから人物の顔を検出する検索範囲を、図７（ｂ）に示すように誤検出領域を除いた範囲に絞り込むためであり、ＣＰＵ１０１はステップＳ３１で「ＹＥＳ」と判別したときには、判別処理（ステップＳ３２）および顔認識処理（Ｓ３３〜Ｓ３６）をパスする。
【００４９】
ステップＳ３２では、ＣＰＵ１０１は、印刷装置１００による顔認識が行われてプリンター顔座標が既に登録されているか否かを判別する。そして、既にプリンター顔座標が検出されて座標リストに登録されている場合（ステップＳ３２で「ＹＥＳ」）、ＣＰＵ１０１は顔認識処理（Ｓ３３〜Ｓ３６）をパスする。このように、無駄となる顔認識処理を実行しないことで印刷装置１００での顔認識に要する時間の短縮を図っている。
【００５０】
一方、テンプレートＴＰが位置する検索領域に未登録カメラ顔座標もプリンター顔座標も存在しない場合（ステップＳ３１で「ＮＯ」、ステップＳ３２で「ＮＯ」）、ＣＰＵ１０１はステップＳ１５で保持した画像データに対してテンプレートＴＰを適用して顔認識処理を行い（ステップＳ３３）、顔を検出した場合には、例えば図１０（ｂ）に示すように、その顔領域の位置を示すプリンター顔座標を座標リストに追加する。
【００５１】
また、ＣＰＵ１０１は、保持した画像データを９０゜、１８０゜および２７０゜回転させて顔認識処理を行い（ステップＳ３４〜Ｓ３６）、顔を検出した場合には、その顔領域の位置を示すプリンター顔座標を座標リストに追加する。なお、本実施形態では画像データを回転させて顔認識を行っているが、テンプレートＴＰを回転させて顔認識を行ってもよい。
【００５２】
また、Ｘ方向の１ラインの顔認識が完了する（ステップＳ３８で「ＹＥＳ」）と、ＣＰＵ１０１はテンプレートＴＰをＹ方向にΔＹ（この実施形態では、ΔＹ＝Ｓ／２）だけ移動させる（ステップＳ３９）。そして、テンプレートＴＰがＹ方向の端部まで位置するまでの間（ステップＳ４０で「ＮＯ」の間）、上記したステップＳ３０〜Ｓ３９を繰り返して行う。これにより、図７（ｂ）に示すように誤検出領域を除いた検索範囲内で顔サイズＳのテンプレートＴＰを用いた顔認識処理が実行される。
【００５３】
なお、ＣＰＵ１０１は、上記した一連の顔認識処理（ステップＳ２９〜Ｓ４０）が完了する毎にテンプレートＴＰの顔サイズＳをΔＳ（この実施形態では１０ピクセルに設定）だけ小さくし（ステップＳ４１）、顔サイズＳが有効最小顔サイズＳminを下回るまでステップＳ２９に戻って上記した一連の顔認識処理（ステップＳ２９〜Ｓ４０）を繰り返して行う。
【００５４】
こうして、印刷装置１００による顔認識処理が行われると、次のステップＳ４３で、ＣＰＵ１０１は座標リストにカメラ顔座標および／またはプリンター顔座標が登録されている否かを判別する。そして、カメラ顔座標かプリンター顔座標かを問わず、顔座標が登録されている場合（ステップＳ４３で「ＹＥＳ」）には、ＣＰＵ１０１は、座標リストに登録された顔座標に基づいて全ての顔位置を計算し、さらに顔の平均顔色を取得した（ステップＳ４４）後、顔色が最適になるようにエンハンスパラメータを計算する（ステップＳ４５）。なお、エンハンスパラメータ計算の詳細については省略するが、ＲＡＭ１０３に記憶したＲＧＢヒストグラムに基づきコントラスト、明度、彩度、シャープネスなどの各画質パラメータの特徴量を抽出し、抽出した特徴量が所定の画質パラメータの特徴量に近づくようエンハンスのパラメータを設定する。
【００５５】
一方、座標リストにカメラ顔座標もプリンター顔座標も登録されていない場合（ステップＳ４３で「ＮＯ」）、ＣＰＵ１０１は、画像全体が最適になるようにエンハンスパラメータを計算する（ステップＳ４６）。
【００５６】
このように、本実施形態では印刷装置１００により顔認識処理を実行した際にはエンハンスパラメータの設定を行った後、ステップＳ４７に進む。なお、上記したようにデジタルカメラ２００で人物の顔と認定された顔領域の全てが「適正な顔領域」と判別された場合（ステップＳ２６で「ＹＥＳ」）、「エンハンスなし」が設定された状態で、ステップＳ４７に進む。
【００５７】
このステップＳ４７では、ＣＰＵ１０１は、印刷対象となる画像ファイルにおいて、解凍処理の対象となる位置を示すファイルポインタをリセットし、処理位置を画像ファイルの先頭に復元する。そして、ＣＰＵ１０１は、以下のステップＳ４８〜Ｓ５６を繰り返して画像データに基づいて画像を印刷する。
【００５８】
ＣＰＵ１０１は、ＲＡＭ１０３にキャッシュされた１ＭＣＵライン分の画像データにハフマン解凍処理を施し、量子化ＤＣＴ係数を得る（ステップＳ４８）。ここで、１ＭＣＵラインとは、画像を回転させる場合には、画像を構成する列方向に１列のＭＣＵ群をいい、回転させない場合には、画像を構成する行方向に１列のＭＣＵ群をいう。そして、ＣＰＵ１０１は、ステップＳ２９の処理において得られた量子化ＤＣＴ係数を逆量子化し（ステップＳ４９）、さらにステップＳ４８で得られたＤＣＴ係数に対して逆ＤＣＴ演算を施すことによりもとのデータを得る（ステップＳ５０）。
【００５９】
こうして得られたＹＣＣ空間の画像を、ＣＰＵ１０１はＲＧＢ空間の画像に変換する（ステップＳ５１）。そして、ＣＰＵ１０１は、エンハンスの実行が設定されている場合のみ、つまりステップＳ５２で「ＹＥＳ」と判別した場合のみ、ＲＧＢ空間の画像を構成する各画素に対してステップＳ４５、Ｓ４６において算出したエンハンスパラメータを適用することにより、印刷される画像を最適な色合いに補正し（ステップＳ５３）、次のステップＳ５４に進む。
【００６０】
ＣＰＵ１０１は、こうして補正された画像データに対して、リサイズ、回転などのレイアウト処理を施し（ステップＳ５４）、プリンターエンジンコントローラー１１１の図示せぬバンドバッファに供給する。これを受けたプリンターエンジンコントローラー１１１は、プリンターエンジン１１３の各部を制御して画像データに対応する画像を印刷する（ステップＳ５５）。そして、印刷処理が完了すると、ＣＰＵ１０１はＲＡＭ１０３のキャッシュ状態を更新する（ステップＳ５６）。そして、全ＭＣＵライン分について上記ステップＳ４８〜Ｓ５６が完了すると、一連の処理を終了する。
【００６１】
以上のように、本実施形態によれば、画像データに付加された撮影情報（被写体距離ＬＡ、レンズ焦点距離ＬＢ、画像高さの解像度Ｃおよびデジタルズーム倍率ＤＺＲ）に基づき有効顔サイズ範囲（Ｓmin〜Ｓmax）を求め、これに基づいて画像データに付加されるカメラ顔情報が誤検出情報であるか否かを認定している。より具体的には、カメラ顔座標で特定される顔サイズが有効顔サイズ範囲から外れるとき、当該カメラ顔情報を誤検出情報と認定しており、誤検出情報を高い蓋然性を求めることができる。
【００６２】
また、こうして誤検出情報を求めた場合に、画像データから人物の顔を認識してプリンター顔座標を新たに検出しているので、デジタルカメラ側での顔認識の補佐を行うことができる。そして、プリンター顔座標に基づいて画像データを補正することで良好な色合い等で画像を印刷することができる。
【００６３】
また、上記のように印刷装置１００で顔認識する際、画像データ全体から顔情報を検出してもよいが、誤検出領域と認定された顔領域ＦＲＳ、ＦＲLを除いた検索範囲（図７（ｂ）の梨地部分）で画像データから人物の顔を認識して顔座標を検出している。つまり、人物の顔が含まれないことが判っている領域を省いて顔認識処理を実行しているので、画像データ全体から顔情報を検出する従来技術に比べて顔認識処理に要する時間を大幅に短縮することができる。
【００６４】
また、印刷装置１００での顔認識処理において、テンプレート（検索領域）ＴＰの顔サイズを有効顔サイズ範囲内に設定して顔認識処理を行っているため、印刷装置１００での顔認識処理に要する時間を短縮することができる。
【００６５】
Ｅ．その他
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、画像データに顔座標などを付加した画像ファイルをメモリカードＭに記録し、当該メモリカードＭを介して印刷装置１００に供給して印刷しているが、有線または無線通信により画像ファイルが印刷装置１００に供給される場合も、本発明を適用することで上記した実施形態と同様の作用効果が得られる。
【００６６】
また、上記実施形態では、顔領域ＦＲＡ、ＦＲL、ＦＲＳを４点の座標で示しているが、顔領域の表現方式はこれに限定されるものではなく、例えば中心座標に大きさを組み合わせたもの、中心座標に幅および高さを組み合わせたもの等を用いることができる。
【００６７】
また、上記実施形態では、本発明にかかる画像処理装置および方法を印刷装置１００に適用しているが、複数の電子機器から構成される印刷システムにも、また印刷装置以外の１つの電子機器（例えば複合機、ファクシミリ装置など）にも適用可能である。
【００６８】
また、上記実施形態にかかる画像処理方法を実行するプログラムを、ＣＤ−ＲＯＭ、光ディスク、光磁気ディスク、不揮発性メモリカードなどの記憶媒体に記憶させ、この記憶媒体からプログラムをコードとして読み出し、コンピューターにおいて実行してもよい。つまり、上記プログラムを記憶した記憶媒体、コンピュータープログラム自体も本発明の一実施形態に含まれる。
【符号の説明】
【００６９】
１００…印刷装置、 １０１…ＣＰＵ（情報取得部、範囲算出部、誤検出認定部、顔情報検出部、補正部）、 １０２…ＲＯＭ、 １０３…ＲＡＭ、 １０４…ＥＥＰＲＯＭ、 ２００…デジタルカメラ、 ３０７…圧縮データ（画像データ）、 ＦＲＡ…（適正な）顔領域、 ＦＲＳ、ＦＲL…誤検出顔領域、 ＴＰ…テンプレート（検索領域）
【特許請求の範囲】
【請求項１】
画像データに付加される顔情報および撮影情報を取得する情報取得部と、
前記画像データに人物の顔が含まれるときに前記人物の顔サイズとして取り得る値の範囲である有効顔サイズ範囲を、前記撮影情報に基づいて求める範囲算出部と、
前記情報取得部により取得した前記顔情報で特定される顔サイズが前記有効顔サイズ範囲から外れるときには前記顔情報を誤検出情報と認定する誤検出認定部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記誤検出認定部により誤検出情報と認定された前記顔情報により特定される顔領域以外の検索範囲で前記画像データから人物の顔を認識して顔情報を検出する顔情報検出部を備える請求項１に記載の画像処理装置。
【請求項３】
前記顔情報検出部は、前記有効顔サイズ範囲内の検索サイズを有する検索領域を前記検索範囲内で移動させながら各検索領域に対応する画像データに基づき人物の顔を認識して顔情報を検出する請求項２に記載の画像処理装置。
【請求項４】
前記顔情報検出部は、前記検索領域の検索サイズを前記有効顔サイズ範囲の最大値に設定し、前記検索範囲から人物の顔を認識して顔情報を検出する第１顔認識処理を行う請求項３に記載の画像処理装置。
【請求項５】
前記顔情報検出部は、前記第１顔認識処理の後に、前記検索領域の検索サイズを前記有効顔サイズ範囲の最大値よりも小さい値に設定し、前記検索範囲から前記第１顔認識処理により検出された人物の顔領域を除いた範囲から人物の顔を認識して顔情報を検出する第２顔認識処理を行う請求項４に記載の画像処理装置。
【請求項６】
前記顔情報検出部により顔情報が検出されたとき、当該顔情報と、前記情報取得部により取得した前記顔情報から前記誤検出情報を除いた顔情報とに基づいて前記画像データを補正する補正部を備える請求項３ないし５のいずれか一項に記載の画像処理装置。
【請求項７】
画像データに付加される撮影情報に基づいて前記画像データに人物の顔が含まれるときに前記人物の顔サイズとして取り得る値の範囲を示す有効顔サイズ範囲を求めた後、
前記撮影情報とともに前記画像データに付加される顔情報で特定される顔サイズが、前記有効顔サイズ範囲の最大値よりも大きい、または前記有効顔サイズ範囲の最小値よりも小さい場合、前記顔情報は誤検出されたものであると認定する
ことを特徴とする画像処理方法。
【請求項１】
画像データに付加される顔情報および撮影情報を取得する情報取得部と、
前記画像データに人物の顔が含まれるときに前記人物の顔サイズとして取り得る値の範囲である有効顔サイズ範囲を、前記撮影情報に基づいて求める範囲算出部と、
前記情報取得部により取得した前記顔情報で特定される顔サイズが前記有効顔サイズ範囲から外れるときには前記顔情報を誤検出情報と認定する誤検出認定部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記誤検出認定部により誤検出情報と認定された前記顔情報により特定される顔領域以外の検索範囲で前記画像データから人物の顔を認識して顔情報を検出する顔情報検出部を備える請求項１に記載の画像処理装置。
【請求項３】
前記顔情報検出部は、前記有効顔サイズ範囲内の検索サイズを有する検索領域を前記検索範囲内で移動させながら各検索領域に対応する画像データに基づき人物の顔を認識して顔情報を検出する請求項２に記載の画像処理装置。
【請求項４】
前記顔情報検出部は、前記検索領域の検索サイズを前記有効顔サイズ範囲の最大値に設定し、前記検索範囲から人物の顔を認識して顔情報を検出する第１顔認識処理を行う請求項３に記載の画像処理装置。
【請求項５】
前記顔情報検出部は、前記第１顔認識処理の後に、前記検索領域の検索サイズを前記有効顔サイズ範囲の最大値よりも小さい値に設定し、前記検索範囲から前記第１顔認識処理により検出された人物の顔領域を除いた範囲から人物の顔を認識して顔情報を検出する第２顔認識処理を行う請求項４に記載の画像処理装置。
【請求項６】
前記顔情報検出部により顔情報が検出されたとき、当該顔情報と、前記情報取得部により取得した前記顔情報から前記誤検出情報を除いた顔情報とに基づいて前記画像データを補正する補正部を備える請求項３ないし５のいずれか一項に記載の画像処理装置。
【請求項７】
画像データに付加される撮影情報に基づいて前記画像データに人物の顔が含まれるときに前記人物の顔サイズとして取り得る値の範囲を示す有効顔サイズ範囲を求めた後、
前記撮影情報とともに前記画像データに付加される顔情報で特定される顔サイズが、前記有効顔サイズ範囲の最大値よりも大きい、または前記有効顔サイズ範囲の最小値よりも小さい場合、前記顔情報は誤検出されたものであると認定する
ことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１００１８３（Ｐ２０１２−１００１８３Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４８０５３（Ｐ２０１０−２４８０５３）
【出願日】平成２２年１１月５日（２０１０．１１．５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１１月５日（２０１０．１１．５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]