画像処理装置および画像処理方法
【課題】ＤＣＴ演算を伴って圧縮された圧縮画像の画像処理に要する時間を短縮する。
【解決手段】圧縮画像から、ＤＣＴ係数のうちＡＣ係数を間引いてＤＣ係数のみとした１／８間引き画像を生成し（図（ａ），（ｂ））、赤目処理の候補となる赤目候補領域（値１の画素に相当する領域）を抽出して（図（ｃ））、別に行なわれる精査処理において、抽出された赤目候補領域を精査して赤目領域を設定する。これにより、赤目候補領域を設定する際にはＤＣＴ係数を間引いて圧縮画像を解凍するから、逆ＤＣＴ演算などの処理負担を軽減して赤目候補領域を速やかに抽出することができる。この結果、ＤＣＴ演算を伴って圧縮された圧縮画像を赤目補正処理する際の処理時間を短縮することができる。
【解決手段】圧縮画像から、ＤＣＴ係数のうちＡＣ係数を間引いてＤＣ係数のみとした１／８間引き画像を生成し（図（ａ），（ｂ））、赤目処理の候補となる赤目候補領域（値１の画素に相当する領域）を抽出して（図（ｃ））、別に行なわれる精査処理において、抽出された赤目候補領域を精査して赤目領域を設定する。これにより、赤目候補領域を設定する際にはＤＣＴ係数を間引いて圧縮画像を解凍するから、逆ＤＣＴ演算などの処理負担を軽減して赤目候補領域を速やかに抽出することができる。この結果、ＤＣＴ演算を伴って圧縮された圧縮画像を赤目補正処理する際の処理時間を短縮することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＤＣＴ演算を伴って圧縮された圧縮画像を解凍し、設定されている処理領域に画像処理を施す画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、この種の画像処理装置としては、デジタルカメラでフラッシュの発光を伴って撮影された人物の画像の中から赤目領域を検出し、検出した領域を赤目補正する装置が提案されている（例えば、特許文献１参照）。この装置では、赤目領域の検出は、まず、画素値が赤目の値を示す画素の集まりを赤目の候補領域として検出し、次に、検出した赤目の候補領域のうちその周囲に画素値が白目の値を示す画素の集まりが存在するものを赤目領域として検出することにより行なわれる。即ち、赤目の候補領域の検出と、候補領域からの赤目領域の検出という二段階の検出処理を経て、画像処理の対象となる処理領域を検出するものとしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３２６８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した画像処理装置において、処理対象の画像が圧縮されている場合、装置のメモリー容量によっては解凍後のデータを保持しつつ検出処理を行なうことができないため、検出処理の各段階で画像を毎回解凍する必要が生じ、処理領域の検出に時間を要するものとなる。特に、離散コサイン変換（ＤＣＴ演算）を伴うＪＰＥＧ方式などで画像が圧縮されている場合には、画像を解凍するために逆ＤＣＴ演算が毎回必要となってしまう。このため、処理領域を検出する際の処理負担が大きくなり、画像処理の遅延に繋がってしまう。
【０００５】
本発明の画像処理装置および画像処理方法は、ＤＣＴ演算を伴って圧縮された圧縮画像の画像処理に要する時間を短縮することを主目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置および画像処理方法は、上述の主目的を達成するために以下の手段を採った。
【０００７】
本発明の画像処理装置は、
ＤＣＴ演算を伴って圧縮された圧縮画像を解凍し、設定されている処理領域に画像処理を施す画像処理装置であって、
前記圧縮画像を、ＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域の候補となる候補領域を抽出する候補領域抽出手段と、
前記圧縮画像のうち前記抽出された候補領域を含む領域を、前記候補領域抽出手段による間引きよりも多くのＤＣＴ係数が残存している状態で逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域を設定する処理領域設定手段と、
を備えることを要旨とする。
【０００８】
この本発明の画像処理装置では、圧縮画像を、ＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍し、解凍後の画像から処理領域の候補となる候補領域を抽出し、圧縮画像のうち抽出された候補領域を含む領域を、候補領域を抽出する際の間引きよりも多くのＤＣＴ係数が残存している状態で逆ＤＣＴ演算を伴って解凍し、解凍後の画像から処理領域を設定する。これにより、候補領域を抽出する際の処理負担を軽減して候補領域を速やかに抽出することができるから、処理領域の設定に要する時間を短くすることができる。この結果、ＤＣＴ演算を伴って圧縮された圧縮画像の画像処理に要する時間を短縮することができる。
【０００９】
こうした本発明の画像処理装置において、前記処理領域設定手段は、前記圧縮画像のうち前記候補領域だけを逆ＤＣＴ演算を伴って解凍する手段であるものとすることもできる。こうすれば、処理領域を設定する際の処理負担も軽減して処理領域の設定に要する時間をより短くすることができるから、画像処理に要する時間をより短縮することができる。
【００１０】
また、本発明の画像処理装置において、前記候補領域抽出手段は、前記圧縮画像を、ＤＣ係数が残るようＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍する手段であるものとすることもできるし、前記候補領域抽出手段は、前記圧縮画像を、ＤＣ係数だけが残るようすべてのＡＣ係数を間引いてから逆ＤＣＴ演算を伴って解凍する手段であるものとすることもできる。ここで、候補領域の抽出処理は、処理領域を設定するための前段階の処理として候補領域を抽出できればよく、画像の精度は比較的低くてもよい。このため、ＤＣ係数だけが残るようすべてのＡＣ係数を間引くことにより、処理負担を大幅に軽減して処理の迅速化を図ることができる。
【００１１】
さらに、本発明の画像処理装置において、前記候補領域抽出手段は、前記解凍後の画像から前記候補領域を抽出し、該候補領域として抽出されない領域のうち該抽出された候補領域の周囲の領域を前記候補領域に拡大する手段であるものとすることもできる。こうすれば、ＤＣＴ係数を間引いて候補領域を抽出するものとしても、処理領域の設定の精度が大きく低下するのを防止することができる。
【００１２】
そして、本発明の画像処理装置において、画像中の赤目の領域を前記処理領域として赤目補正処理を施すものとすることもできる。
【００１３】
本発明の画像処理方法は、
ＤＣＴ演算を伴って圧縮された圧縮画像を解凍し、設定されている処理領域に画像処理を施す画像処理方法であって、
（ａ）前記圧縮画像を、ＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域の候補となる候補領域を抽出するステップと、
（ｂ）前記圧縮画像のうち前記抽出された候補領域を含む領域を、前記ステップ（ａ）による間引きよりも多くのＤＣＴ係数が残存している状態で逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域を設定するステップと、
を含むことを要旨とする。
【００１４】
この本発明の画像処理方法では、圧縮画像を、ＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍し、解凍後の画像から処理領域の候補となる候補領域を抽出し、圧縮画像のうち抽出された候補領域を含む領域を、候補領域を抽出する際の間引きよりも多くのＤＣＴ係数が残存している状態で逆ＤＣＴ演算を伴って解凍し、解凍後の画像から処理領域を設定する。これにより、候補領域を抽出する際の処理負担を軽減して候補領域を速やかに抽出することができるから、処理領域の設定に要する時間を短くすることができる。この結果、ＤＣＴ演算を伴って圧縮された圧縮画像の画像処理に要する処理時間を短縮することができる。なお、この画像処理方法において、上述した画像処理装置のいずれかの態様を実現するようなステップを追加するものとしてもよい。
【図面の簡単な説明】
【００１５】
【図１】プリンター２０の構成の概略を示す構成図。
【図２】赤目補正印刷処理ルーチンの一例を示すフローチャート。
【図３】赤目候補領域の抽出処理の一例を示すフローチャート。
【図４】赤目候補領域の抽出処理の様子を示す説明図。
【図５】赤目候補領域の拡大処理の一例を示すフローチャート。
【図６】赤目候補領域の拡大処理の様子を示す説明図。
【図７】赤目候補領域の精査処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１６】
次に、本発明の実施の形態を図面に基づいて説明する。図１は、本発明の画像処理装置の一実施形態であるプリンター２０の構成の概略を示す構成図である。本実施形態のプリンター２０は、図示するように、給紙トレイ２３から搬送された用紙に印刷用データに基づいてシアン（Ｃ），マゼンタ（Ｍ），イエロー（Ｙ），ブラック（Ｋ）のＣＭＹＫの各色のインクを印刷ヘッドから吐出することにより印刷を実行し排紙トレイ２４に排紙するインクジェット方式のプリンターユニット３０と、図示しないガラス台に載置された原稿に向かって発光した後の反射光をレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）のＲＧＢの各色に分解して画像データとするフラットベッド式のスキャナーユニット３５と、メモリーカードスロット４０ａに挿入されたメモリーカードＭＣとの間でデータを格納したファイルの読み書きを行なうカードコントローラー４０と、各種モードの設定画面や印刷の設定画面などを表示部５２に表示したり各種モードの設定や印刷の設定に関する指示などをユーザーによるボタン群５４の操作を介して入力したりする操作パネル５０と、装置全体の制御を司るメインコントローラー６０とを備える。このプリンター２０では、プリンターユニット３０やスキャナーユニット３５，カードコントローラー４０，メインコントローラー６０がバス６９を介して互いに各種制御信号やデータのやり取りをすることができるよう構成されている。
【００１７】
カードコントローラー４０は、メインコントローラー６０からの読み出し指令に基づいてメモリーカードＭＣからファイルを読み出してメインコントローラー６０に送信したり、メインコントローラー６０からの書き込み指令に基づいてメモリーカードＭＣにファイルを書き込んだりする。なお、メモリーカードＭＣには、デジタルカメラなどで撮影されてＪＰＥＧ方式により圧縮されたＪＰＥＧデータを格納したファイルなどが記憶されている。このＪＰＥＧ方式による圧縮では、詳細については省略するが、撮影された画像の各８ビットのＲＧＢ値を輝度成分と色差成分とを示すＹＣｂＣｒ値に変換し、８×８画素の６４画素のブロック（１ＭＣＵ（Minimum Coded Unit））に分割して、ブロック単位で離散コサイン変換（ＤＣＴ演算）して周波数成分の大きさを表す８×８成分のＤＣＴ係数に変換し、変換したＤＣＴ係数を量子化して、量子化後のＤＣＴ係数をランレングス符号化やハフマン符号化などによりエントロピー符号化することで、画像を圧縮している。
【００１８】
メインコントローラー６０は、ＣＰＵ６２を中心とするマイクロプロセッサーとして構成されており、各種処理プログラムや各種データ、各種テーブルなどを記憶したＲＯＭ６４と、一時的に各種データなどを記憶するＲＡＭ６６とを備える。このメインコントローラー６０は、プリンターユニット３０やスキャナーユニット３５，カードコントローラー４０からの各種動作信号や各種検出信号を入力したり、操作パネル５０のボタン群５４からの操作信号を入力したりする。また、メモリーカードＭＣからのファイルの読み出し指令をカードコントローラー４０に出力したり、印刷指令をプリンターユニット３０に出力したり、ボタン群５４からのスキャン指示に基づいて原稿の読み取り指令をスキャナーユニット３５に出力したり、表示部５２に画像データの表示指令を出力したりする。
【００１９】
また、メインコントローラー６０は、メモリーカードＭＣから入力したＪＰＥＧデータを表示部５２で表示するための表示用データに変換する際には、ＪＰＥＧデータを上述した圧縮と逆の順即ちエントロピー復号化，逆量子化，逆ＤＣＴの順に復号化（解凍）し、復号化により得られたＹＣｂＣｒ値をＲＧＢ各８ビットのデータに色変換し、ＲＧＢ各８ビットのデータを表示部５２で表示可能な所定のビット数に減らす処理などが行なわれる。また、ＪＰＥＧデータをプリンターユニット３０で印刷するための印刷用データに変換する際には、表示用データと同様にＪＰＥＧデータを復号化してＲＧＢ各８ビットのデータに色変換してから、さらに、ＣＭＹＫ各８ビットのデータに色変換し、ＣＭＹＫ各８ビットのデータをディザ法や誤差拡散法などにより各２ビットのデータ（２値化データ）に変換する処理などが行なわれる。なお、実施例のプリンター２０では、画像の色補正や画像の向きなどに関する各種設定が可能となっており、例えば、デジタルカメラでの画像撮影時のフラッシュ発光に伴って生じた赤目を補正する赤目補正や画像の向きを回転させて印刷する回転印刷などが設定可能となっている。ここで、赤目補正は、赤目として検出された領域の色を黒目の色に置換することなどにより行なわれる。
【００２０】
次に、こうして構成された本実施形態のプリンター２０の動作、特に、画像中の赤目を補正して画像を印刷する際の動作について説明する。図２は、ＣＰＵ３１により実行される赤目補正印刷処理ルーチンの一例を示すフローチャートである。このルーチンは、メモリーカードＭＣがメモリーカードスロット４０ａに挿入された状態で、表示部５２に表示される図示しない画像選択画面からボタン群５４の操作により印刷対象の画像が選択されると共に色補正の設定で赤目補正がオンとされて、印刷開始が指示されたときに実行される。
【００２１】
この赤目補正印刷処理ルーチンが実行されると、メインコントローラー６０のＣＰＵ６２は、まず、印刷対象の画像データを入力する（ステップＳ１００）。ここではＪＰＥＧデータを入力するものとした。次に、画像中の赤目の候補である赤目候補領域を抽出する赤目候補領域の抽出処理や（ステップＳ１１０）、抽出した赤目候補領域の周囲を赤目候補に拡大する赤目候補領域の拡大処理（ステップＳ１２０）、赤目候補領域が赤目の領域であるか否かを精査して赤目領域を確定する赤目候補領域の精査処理（ステップＳ１３０）を順に実行する。以下、赤目補正印刷処理ルーチンの説明を中断して、赤目候補領域の抽出処理や拡大処理，精査処理の詳細について、順に説明する。
【００２２】
まず、赤目候補領域の抽出処理について説明する。図３は、赤目候補領域の抽出処理の一例を示すフローチャートであり、図４は、赤目候補領域の抽出処理の様子を示す説明図である。この赤目候補領域の抽出処理では、まず、赤目補正印刷処理ルーチンのステップＳ１００で入力したＪＰＥＧデータをエントロピー復号化して（ステップＳ２００）、量子化後のＤＣＴ係数を８×８成分（６４成分）ずつ有するブロックが複数並んだフル画像を得る（図４（ａ）参照）。なお、図４（ａ）に示すように、各ブロックの左上隅の成分がブロック内で変化のないＤＣ係数（直流成分）であり、図示は省略するが残りの６３成分がブロック内の変化を表すＡＣ係数（交流成分）である。次に、各ブロックのＡＣ係数をすべて間引いてＤＣ係数のみを抽出して１／８間引き画像を生成する（ステップＳ２１０，図４（ｂ）参照）。この１／８間引き画像は、フル画像に比して、各ブロックの画素数（成分数）が縦横それぞれ１／８（ブロック全体では１／６４）となる。なお、図４（ａ），（ｂ）では、各ブロックで構成されるブロックラインのうち、１ライン目のＤＣ係数が１／８間引き画像の１ライン目の画素となる様子のみを図示したが、２ライン目以降も同様である。また、Ｙ，Ｃｂ，Ｃｒの成分毎に、１／８間引き画像がそれぞれ生成されるが、同様な処理であるため、個別の説明は省略する。
【００２３】
こうして１／８間引き画像を生成すると、１／８間引き画像の画素値（ＤＣ係数）を逆量子化し（ステップＳ２２０）、逆量子化した画素値を逆ＤＣＴ演算することにより１／８間引き画像を復号化し（ステップＳ２３０）、復号化により得られた各画素のＹＣｂＣｒ値をＲＧＢ値に色変換する（ステップＳ２４０）。こうして１／８間引き画像の各画素のＲＧＢ値が得られると、各画素の赤目候補値を値０に初期化してから（ステップＳ２５０）、処理対象画素の赤目判定を行なう（ステップＳ２６０）。ここで、赤目判定は、処理対象画素のＲＧＢの各階調値がＲＧＢ空間上において予め設定された赤目の階調値を中心とする領域内に属するか否かにより行なうものとした。また、処理対象画素は、先頭（最上段）のラインの左端の画素から右の画素へと順にシフトして設定し、右端の画素まで設定すると１つ下のラインの左端の画素にシフトして設定するものとした。
【００２４】
ステップＳ２６０の赤目判定の結果、処理対象画素が赤目であると判定すると（ステップＳ２７０）、処理対象画素の赤目候補値を値１にセットする（ステップＳ２８０）。次に、すべての画素の処理が完了したか否かを判定し（ステップＳ２９０）、すべての画素の処理が完了していないときには、処理対象画素をシフトして（ステップＳ３００）、ステップＳ２６０に戻り処理を繰り返す。そして、ステップＳ２９０ですべての画素の処理が完了したときには、本処理を終了する。この処理により、赤目と判定された画素の赤目候補値が値１となり、それ以外の画素の赤目候補値は値０となる（図４（ｃ）参照）。ここで、１／８間引き画像は、フル画像の各ブロックのＤＣ係数を抽出して復号化したものであるため、１／８間引き画像の各画素は、復号化されるＤＣ係数の抽出元となるブロック（以下、対応するブロックという）の代表値と考えることができる。このため、赤目候補値は、１／８間引き画像の画素が赤目候補であるか否かを示すと共にフル画像の対応するブロックが赤目候補であるか否かを示すものとなる。これらのことから、本処理により、赤目候補の領域（ブロック）が抽出されることになる。また、赤目候補領域の抽出処理では、１／８間引き画像を復号化するため、フル画像を復号化する場合に比して、特に逆ＤＣＴ演算における処理負担を軽減して、赤目候補領域を速やかに抽出することができる。さらに、赤目候補領域の抽出処理は、後の精査処理の前段階の処理として候補領域を抽出できればよく、精査処理時に比してそれほど高精細な画像は要求されていない。このため、１／８間引き画像を用いて候補領域を抽出することにより、処理負担を大幅に軽減して処理の迅速化を図ることができる。
【００２５】
次に、赤目候補領域の拡大処理について説明する。図５は、赤目候補領域の拡大処理の一例を示すフローチャートであり、図６は、赤目候補領域の拡大処理の様子を示す説明図である。なお、図６（ａ）は、拡大処理前の様子（図４（ｃ）と同じ状態）を示し、図６（ｂ）は、拡大処理後の様子を示す。この赤目候補領域の拡大処理では、まず、処理対象画素の赤目候補値を入力し（ステップＳ４００）、入力した処理対象画素の赤目候補値が値０であるか否かを判定する（ステップＳ４１０）。なお、処理対象画素は、先頭（最上段）のラインの左端の画素から右の画素へと順にシフトして設定し、右端の画素まで設定すると１つ下のラインの左端の画素にシフトして設定するものとした。赤目候補値が値０即ち赤目候補領域の抽出処理において処理対象画素が赤目候補と判定されていないときには、処理対象画素の周囲の画素の赤目候補値を入力する（ステップＳ４２０）。ここでは、周囲の画素として、処理対象画素を中心とする３×３画素（いわゆる８近傍画素）の赤目候補値を入力する。そして、入力した周囲の画素のいずれかの赤目候補値が値１であるか否かを判定し（ステップＳ４３０）、いずれかの赤目候補値が値１のときには処理対象画素を拡大対象に設定する（ステップＳ４４０）。
【００２６】
こうして処理対象画素を拡大対象に設定したときやステップＳ４１０で処理対象画素の赤目候補値が値０でないとき、ステップＳ４１０で処理対象画素の赤目候補値が値０で且つステップＳ４３０で周囲の画素のいずれの赤目候補値も値１でないときには、すべての画素の処理が完了したか否かを判定する（ステップＳ４５０）。すべての画素の処理が完了していないときには、処理対象画素をシフトして（ステップＳ４６０）、ステップＳ４００に戻り処理を繰り返す。そして、ステップＳ４５０ですべての画素の処理が完了したときには、ステップＳ４４０で拡大対象に設定された画素の赤目候補値を値０から値１に更新して（ステップＳ４７０）、本処理を終了する。これにより、図６（ｂ）に示すように、赤目候補値が値１とされる画素が元の画素（図６（ａ））よりも一回り大きく拡大されることがわかる。上述したように、各画素の赤目候補値は、対応するブロックの赤目候補値と考えることができるから、本処理により、赤目候補となる領域（ブロック）が拡大されることになる。このように、赤目候補領域の周囲の領域も赤目候補領域とした上で、後の精査処理が行なわれるから、ＤＣＴ係数を間引きして候補領域を抽出するものとしても、赤目領域の設定の精度が大きく低下するのを防止することができる。
【００２７】
続いて、赤目候補領域の精査処理について説明する。図７は、赤目候補領域の精査処理の一例を示すフローチャートである。この赤目候補領域の精査処理では、まず、処理対象ブロックをエントロピー復号化して（ステップＳ５００）、処理対象ブロックに対応する赤目候補値を入力する（ステップＳ５１０）。ここで、処理対象ブロックは、先頭（最上段）のブロックラインの左端のブロックから右のブロックへと順に設定し、右端のブロックまで設定すると１つ下のブロックラインの左端のブロックを設定するものとした。また、上述した赤目候補領域の拡大処理後の各画素の赤目候補値のうち、処理対象ブロックに対応する画素（処理対象ブロックのＤＣ係数の復号化により得られる画素）の赤目候補値を入力するものとした。次に、入力した処理対象ブロックの赤目候補値が値１であるか否かを判定し（ステップＳ５２０）、赤目候補値が値１のときには、エントロピー復号化した係数を逆量子化し（ステップＳ５３０）、逆量子化した係数を逆ＤＣＴ演算してＪＰＥＧデータを復号化（解凍）する（ステップＳ５４０）。そして、復号化により得られたＹＣｂＣｒ値をＲＧＢ値に色変換して（ステップＳ５５０）、色変換した処理対象ブロックの各画素のＲＧＢ値をＲＡＭ６６に設けられたブロックラインバッファーに格納する（ステップＳ５６０）。一方、処理対象ブロックの赤目候補値が値１でないときには、ダミーデータをブロックラインバッファーに格納する（ステップＳ５７０）。
【００２８】
こうしてＲＧＢ値かダミーデータをブロックラインバッファーに格納すると、処理中のブロックラインの右端のブロックまで処理が完了したか否かを判定し（ステップＳ５８０）、処理が完了していないときには、処理対象ブロックを右にシフトして（ステップＳ５９０）、ステップＳ５００に戻り処理を繰り返す。そして、ステップＳ５８０で右端のブロックまで処理が完了したときには、ブロックラインバッファーに格納されたデータを用いて赤目候補領域を精査する（ステップＳ６００）。この精査の詳細については省略するが、赤目候補のブロックのＲＧＢ値などから、赤目に相当する画素の周囲に瞳孔（黒目）に相当する画素や白目に相当する画素があるか否かを判定することなどにより行なわれる。そして、精査の結果、赤目と判定すると（ステップＳ６１０）、精査した赤目候補領域を赤目領域に設定しその位置を赤目領域情報としてＲＡＭ６６に記憶し（ステップＳ６２０）、すべてのブロックの処理が完了したか否かを判定する（ステップＳ６３０）。すべてのブロックの処理が完了していないときには、処理対象ブロックを１つ下のラインにシフトして（ステップＳ６４０）、ステップＳ５００に戻り処理を繰り返す。そして、ステップＳ６３０ですべてのブロックの処理が完了したときには、本処理を終了する。このように、本処理により、赤目の領域（ブロック）が確定されることになる。また、赤目候補領域の精査処理では、赤目候補値が値１のブロックだけを逆量子化や逆ＤＣＴ演算をして赤目候補値が値１ではないブロックは逆量子化や逆ＤＣＴ演算をしないから、精査処理を迅速に行なうことができる。
【００２９】
図２の印刷処理ルーチンに戻って、こうして赤目候補領域の抽出処理や拡大処理，精査処理を実行すると、ＪＰＥＧデータをエントロピー復号化，逆量子化，逆ＤＣＴにより復号化し（ステップＳ１４０）、復号化により得られたＹＣｂＣｒ値をＲＧＢ値に色変換して（ステップＳ１５０）、赤目候補領域の精査処理により記憶された赤目領域情報をＲＡＭ６６から読み出して赤目領域に対して赤目補正処理を実行する（ステップＳ１６０）。なお、赤目補正処理の詳細は省略するが、赤目の領域に属する画素のＲＧＢの各階調値をＲＧＢ空間上において予め設定された黒目の階調値に置換することなどにより行なわれる。そして、ＲＧＢ値をＣＭＹＫ値に色変換することなどにより印刷用データを生成し（ステップＳ１７０）、生成した印刷用データに基づいてプリンターユニット３０により印刷処理を実行して（ステップＳ１８０）、本ルーチンを終了する。
【００３０】
ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の図２の赤目補正印刷処理ルーチンのステップＳ１１０の赤目候補領域の抽出処理（図３の赤目候補領域の抽出処理）を実行するメインコントローラー６０が本発明の「候補領域抽出手段」に相当し、図２の赤目補正印刷処理ルーチンのステップＳ１３０の赤目候補領域の精査処理（図７の赤目候補領域の精査処理）を実行するメインコントローラー６０が「処理領域設定手段」に相当する。
【００３１】
以上説明した本実施形態のプリンター２０によれば、ＤＣＴ係数を間引いた１／８間引き画像を逆ＤＣＴ演算を伴って解凍して赤目処理の候補となる赤目候補領域を抽出する抽出処理を実行し、抽出した赤目候補領域を含む領域を逆ＤＣＴ演算を伴って解凍し赤目候補領域を精査して赤目領域を設定する精査処理を実行するから、赤目候補領域を抽出する際の逆ＤＣＴ演算などの処理負担を軽減して赤目候補領域を速やかに抽出することができ、赤目領域の設定に要する時間を短くすることができる。この結果、ＤＣＴ演算を伴って圧縮された圧縮画像を赤目補正処理する際の処理時間を短縮することができる。
【００３２】
また、赤目候補領域の精査処理では、赤目候補領域とされたブロックだけを逆ＤＣＴ演算を伴って復号化するから、精査処理を迅速に行なうことができる。さらに、赤目候補領域の抽出処理では、ＤＣ係数だけが残るようすべてのＡＣ係数を間引いた１／８間引き画像を生成し逆ＤＣＴ演算を伴って解凍するから、処理負担を大幅に軽減して処理の迅速化を図ることができる。そして、赤目候補領域の拡大処理では、赤目候補領域の周囲も赤目候補領域に拡大するから、ＤＣＴ係数を間引きして赤目候補領域を抽出するものとしても、赤目領域の設定の精度が大きく低下するのを防止することができる。
【００３３】
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
【００３４】
上述した実施形態では、赤目候補領域の抽出処理において各ブロックのすべてのＡＣ係数を間引いてＤＣ係数のみを抽出して１／８間引き画像を生成するものとしたが、これに限られず、各ブロックからＤＣ係数を含めて１６個のＤＣＴ係数を抽出して１／２間引き画像を生成するものとしてもよいし、各ブロックからＤＣ係数を含めて４個のＤＣＴ係数を抽出して１／４間引き画像を生成するものなどとしてもよい。なお、ＤＣ係数を含めることなくＡＣ係数を抽出して間引き画像を生成するものとしてもよいが、画像の特徴が大きく損なわれて検出の精度が低下するおそれがあるため、ＤＣ係数を含めるものが好ましい。
【００３５】
上述した実施形態では、赤目候補領域の拡大処理において赤目候補値が値１の画素の周囲の３×３画素のうちいわゆる８近傍の画素を赤目候補に拡大するものとしたが、これに限られず、赤目候補値が値１の画素の周囲の３×３画素のうち上下左右の画素（いわゆる４近傍の画素）を赤目候補に拡大するものとしてもよいし、赤目候補値が値１の画素の周囲の５×５画素の範囲に含まれる画素を赤目候補に拡大するものなどとしてもよい。あるいは、このような赤目候補領域の拡大処理を行なわないものとしてもよく、赤目候補領域の抽出処理により赤目候補として抽出される画素（領域）のみを赤目候補としてもよい。
【００３６】
上述した実施形態では、赤目候補領域の精査処理において、処理対象ブロックの係数を間引くことなく復号化するものとしたが、これに限られず、赤目候補領域の抽出処理よりもＤＣＴ係数が多く残存するように間引くものとしてもよい。例えば、本実施形態のように赤目候補領域の抽出処理において縦横それぞれ１／８に間引いて１個のＤＣＴ係数が残存する場合には、赤目候補領域の精査処理において縦横それぞれ１／２に間引いて１６個のＤＣＴ係数が残存するものとしたり縦横それぞれ１／４に間引いて４個のＤＣＴ係数が残存するものなどとすればよい。
【００３７】
上述した実施形態では、印刷処理を実行する際の赤目の領域の検出を例として説明したが、これに限られず、画像を表示する際の赤目の領域の検出に適用するものなどとしてもよい。また、赤目の領域を検出するものに限られず、人物の肌色を補正する肌色補正処理など他の色補正処理の対象となる領域を検出するものや部分的に明度や彩度を補正するなど各種画像処理の対象となる領域を検出するものであれば、如何なる領域を検出するものとしてもよい。
【００３８】
上述した実施形態では、圧縮画像をＪＰＥＧデータを例として説明したが、これに限られず、ＤＣＴ演算を伴う圧縮方式で圧縮された圧縮画像を解凍するものであればよく、例えばＭＰＥＧデータなどとしてもよい。
【００３９】
上述した実施形態では、本発明をプリンター機能（プリンターユニット３０）とスキャナー機能（スキャナーユニット３５）とを備えるプリンター２０に適用して説明したが、これに限られず、さらにＦＡＸ機能を備えるものとしてもよいし、あるいは、スキャナー機能を備えないプリンターとしてもよい。また、ＤＣＴ演算を伴う圧縮方式で圧縮された圧縮画像を解凍し設定されている処理領域に対して画像処理を施すことができる装置であれば、プリンターに限られず、パーソナルコンピューターやデジタルカメラ，ゲーム機器，携帯電話など如何なる装置に適用するものとしてもよい。
【符号の説明】
【００４０】
２０ プリンター、２３ 給紙トレイ、２４ 排紙トレイ、３０ プリンターユニット、３５ スキャナーユニット、４０ カードコントローラー、４０ａ メモリーカードスロット、５０ 操作パネル、５２ 表示部、５４ ボタン群、６０ メインコントローラー、６２ ＣＰＵ、６４ ＲＯＭ、６６ ＲＡＭ、６９ バス、ＭＣ メモリーカード。
【技術分野】
【０００１】
本発明は、ＤＣＴ演算を伴って圧縮された圧縮画像を解凍し、設定されている処理領域に画像処理を施す画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、この種の画像処理装置としては、デジタルカメラでフラッシュの発光を伴って撮影された人物の画像の中から赤目領域を検出し、検出した領域を赤目補正する装置が提案されている（例えば、特許文献１参照）。この装置では、赤目領域の検出は、まず、画素値が赤目の値を示す画素の集まりを赤目の候補領域として検出し、次に、検出した赤目の候補領域のうちその周囲に画素値が白目の値を示す画素の集まりが存在するものを赤目領域として検出することにより行なわれる。即ち、赤目の候補領域の検出と、候補領域からの赤目領域の検出という二段階の検出処理を経て、画像処理の対象となる処理領域を検出するものとしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３２６８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した画像処理装置において、処理対象の画像が圧縮されている場合、装置のメモリー容量によっては解凍後のデータを保持しつつ検出処理を行なうことができないため、検出処理の各段階で画像を毎回解凍する必要が生じ、処理領域の検出に時間を要するものとなる。特に、離散コサイン変換（ＤＣＴ演算）を伴うＪＰＥＧ方式などで画像が圧縮されている場合には、画像を解凍するために逆ＤＣＴ演算が毎回必要となってしまう。このため、処理領域を検出する際の処理負担が大きくなり、画像処理の遅延に繋がってしまう。
【０００５】
本発明の画像処理装置および画像処理方法は、ＤＣＴ演算を伴って圧縮された圧縮画像の画像処理に要する時間を短縮することを主目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置および画像処理方法は、上述の主目的を達成するために以下の手段を採った。
【０００７】
本発明の画像処理装置は、
ＤＣＴ演算を伴って圧縮された圧縮画像を解凍し、設定されている処理領域に画像処理を施す画像処理装置であって、
前記圧縮画像を、ＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域の候補となる候補領域を抽出する候補領域抽出手段と、
前記圧縮画像のうち前記抽出された候補領域を含む領域を、前記候補領域抽出手段による間引きよりも多くのＤＣＴ係数が残存している状態で逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域を設定する処理領域設定手段と、
を備えることを要旨とする。
【０００８】
この本発明の画像処理装置では、圧縮画像を、ＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍し、解凍後の画像から処理領域の候補となる候補領域を抽出し、圧縮画像のうち抽出された候補領域を含む領域を、候補領域を抽出する際の間引きよりも多くのＤＣＴ係数が残存している状態で逆ＤＣＴ演算を伴って解凍し、解凍後の画像から処理領域を設定する。これにより、候補領域を抽出する際の処理負担を軽減して候補領域を速やかに抽出することができるから、処理領域の設定に要する時間を短くすることができる。この結果、ＤＣＴ演算を伴って圧縮された圧縮画像の画像処理に要する時間を短縮することができる。
【０００９】
こうした本発明の画像処理装置において、前記処理領域設定手段は、前記圧縮画像のうち前記候補領域だけを逆ＤＣＴ演算を伴って解凍する手段であるものとすることもできる。こうすれば、処理領域を設定する際の処理負担も軽減して処理領域の設定に要する時間をより短くすることができるから、画像処理に要する時間をより短縮することができる。
【００１０】
また、本発明の画像処理装置において、前記候補領域抽出手段は、前記圧縮画像を、ＤＣ係数が残るようＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍する手段であるものとすることもできるし、前記候補領域抽出手段は、前記圧縮画像を、ＤＣ係数だけが残るようすべてのＡＣ係数を間引いてから逆ＤＣＴ演算を伴って解凍する手段であるものとすることもできる。ここで、候補領域の抽出処理は、処理領域を設定するための前段階の処理として候補領域を抽出できればよく、画像の精度は比較的低くてもよい。このため、ＤＣ係数だけが残るようすべてのＡＣ係数を間引くことにより、処理負担を大幅に軽減して処理の迅速化を図ることができる。
【００１１】
さらに、本発明の画像処理装置において、前記候補領域抽出手段は、前記解凍後の画像から前記候補領域を抽出し、該候補領域として抽出されない領域のうち該抽出された候補領域の周囲の領域を前記候補領域に拡大する手段であるものとすることもできる。こうすれば、ＤＣＴ係数を間引いて候補領域を抽出するものとしても、処理領域の設定の精度が大きく低下するのを防止することができる。
【００１２】
そして、本発明の画像処理装置において、画像中の赤目の領域を前記処理領域として赤目補正処理を施すものとすることもできる。
【００１３】
本発明の画像処理方法は、
ＤＣＴ演算を伴って圧縮された圧縮画像を解凍し、設定されている処理領域に画像処理を施す画像処理方法であって、
（ａ）前記圧縮画像を、ＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域の候補となる候補領域を抽出するステップと、
（ｂ）前記圧縮画像のうち前記抽出された候補領域を含む領域を、前記ステップ（ａ）による間引きよりも多くのＤＣＴ係数が残存している状態で逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域を設定するステップと、
を含むことを要旨とする。
【００１４】
この本発明の画像処理方法では、圧縮画像を、ＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍し、解凍後の画像から処理領域の候補となる候補領域を抽出し、圧縮画像のうち抽出された候補領域を含む領域を、候補領域を抽出する際の間引きよりも多くのＤＣＴ係数が残存している状態で逆ＤＣＴ演算を伴って解凍し、解凍後の画像から処理領域を設定する。これにより、候補領域を抽出する際の処理負担を軽減して候補領域を速やかに抽出することができるから、処理領域の設定に要する時間を短くすることができる。この結果、ＤＣＴ演算を伴って圧縮された圧縮画像の画像処理に要する処理時間を短縮することができる。なお、この画像処理方法において、上述した画像処理装置のいずれかの態様を実現するようなステップを追加するものとしてもよい。
【図面の簡単な説明】
【００１５】
【図１】プリンター２０の構成の概略を示す構成図。
【図２】赤目補正印刷処理ルーチンの一例を示すフローチャート。
【図３】赤目候補領域の抽出処理の一例を示すフローチャート。
【図４】赤目候補領域の抽出処理の様子を示す説明図。
【図５】赤目候補領域の拡大処理の一例を示すフローチャート。
【図６】赤目候補領域の拡大処理の様子を示す説明図。
【図７】赤目候補領域の精査処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１６】
次に、本発明の実施の形態を図面に基づいて説明する。図１は、本発明の画像処理装置の一実施形態であるプリンター２０の構成の概略を示す構成図である。本実施形態のプリンター２０は、図示するように、給紙トレイ２３から搬送された用紙に印刷用データに基づいてシアン（Ｃ），マゼンタ（Ｍ），イエロー（Ｙ），ブラック（Ｋ）のＣＭＹＫの各色のインクを印刷ヘッドから吐出することにより印刷を実行し排紙トレイ２４に排紙するインクジェット方式のプリンターユニット３０と、図示しないガラス台に載置された原稿に向かって発光した後の反射光をレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）のＲＧＢの各色に分解して画像データとするフラットベッド式のスキャナーユニット３５と、メモリーカードスロット４０ａに挿入されたメモリーカードＭＣとの間でデータを格納したファイルの読み書きを行なうカードコントローラー４０と、各種モードの設定画面や印刷の設定画面などを表示部５２に表示したり各種モードの設定や印刷の設定に関する指示などをユーザーによるボタン群５４の操作を介して入力したりする操作パネル５０と、装置全体の制御を司るメインコントローラー６０とを備える。このプリンター２０では、プリンターユニット３０やスキャナーユニット３５，カードコントローラー４０，メインコントローラー６０がバス６９を介して互いに各種制御信号やデータのやり取りをすることができるよう構成されている。
【００１７】
カードコントローラー４０は、メインコントローラー６０からの読み出し指令に基づいてメモリーカードＭＣからファイルを読み出してメインコントローラー６０に送信したり、メインコントローラー６０からの書き込み指令に基づいてメモリーカードＭＣにファイルを書き込んだりする。なお、メモリーカードＭＣには、デジタルカメラなどで撮影されてＪＰＥＧ方式により圧縮されたＪＰＥＧデータを格納したファイルなどが記憶されている。このＪＰＥＧ方式による圧縮では、詳細については省略するが、撮影された画像の各８ビットのＲＧＢ値を輝度成分と色差成分とを示すＹＣｂＣｒ値に変換し、８×８画素の６４画素のブロック（１ＭＣＵ（Minimum Coded Unit））に分割して、ブロック単位で離散コサイン変換（ＤＣＴ演算）して周波数成分の大きさを表す８×８成分のＤＣＴ係数に変換し、変換したＤＣＴ係数を量子化して、量子化後のＤＣＴ係数をランレングス符号化やハフマン符号化などによりエントロピー符号化することで、画像を圧縮している。
【００１８】
メインコントローラー６０は、ＣＰＵ６２を中心とするマイクロプロセッサーとして構成されており、各種処理プログラムや各種データ、各種テーブルなどを記憶したＲＯＭ６４と、一時的に各種データなどを記憶するＲＡＭ６６とを備える。このメインコントローラー６０は、プリンターユニット３０やスキャナーユニット３５，カードコントローラー４０からの各種動作信号や各種検出信号を入力したり、操作パネル５０のボタン群５４からの操作信号を入力したりする。また、メモリーカードＭＣからのファイルの読み出し指令をカードコントローラー４０に出力したり、印刷指令をプリンターユニット３０に出力したり、ボタン群５４からのスキャン指示に基づいて原稿の読み取り指令をスキャナーユニット３５に出力したり、表示部５２に画像データの表示指令を出力したりする。
【００１９】
また、メインコントローラー６０は、メモリーカードＭＣから入力したＪＰＥＧデータを表示部５２で表示するための表示用データに変換する際には、ＪＰＥＧデータを上述した圧縮と逆の順即ちエントロピー復号化，逆量子化，逆ＤＣＴの順に復号化（解凍）し、復号化により得られたＹＣｂＣｒ値をＲＧＢ各８ビットのデータに色変換し、ＲＧＢ各８ビットのデータを表示部５２で表示可能な所定のビット数に減らす処理などが行なわれる。また、ＪＰＥＧデータをプリンターユニット３０で印刷するための印刷用データに変換する際には、表示用データと同様にＪＰＥＧデータを復号化してＲＧＢ各８ビットのデータに色変換してから、さらに、ＣＭＹＫ各８ビットのデータに色変換し、ＣＭＹＫ各８ビットのデータをディザ法や誤差拡散法などにより各２ビットのデータ（２値化データ）に変換する処理などが行なわれる。なお、実施例のプリンター２０では、画像の色補正や画像の向きなどに関する各種設定が可能となっており、例えば、デジタルカメラでの画像撮影時のフラッシュ発光に伴って生じた赤目を補正する赤目補正や画像の向きを回転させて印刷する回転印刷などが設定可能となっている。ここで、赤目補正は、赤目として検出された領域の色を黒目の色に置換することなどにより行なわれる。
【００２０】
次に、こうして構成された本実施形態のプリンター２０の動作、特に、画像中の赤目を補正して画像を印刷する際の動作について説明する。図２は、ＣＰＵ３１により実行される赤目補正印刷処理ルーチンの一例を示すフローチャートである。このルーチンは、メモリーカードＭＣがメモリーカードスロット４０ａに挿入された状態で、表示部５２に表示される図示しない画像選択画面からボタン群５４の操作により印刷対象の画像が選択されると共に色補正の設定で赤目補正がオンとされて、印刷開始が指示されたときに実行される。
【００２１】
この赤目補正印刷処理ルーチンが実行されると、メインコントローラー６０のＣＰＵ６２は、まず、印刷対象の画像データを入力する（ステップＳ１００）。ここではＪＰＥＧデータを入力するものとした。次に、画像中の赤目の候補である赤目候補領域を抽出する赤目候補領域の抽出処理や（ステップＳ１１０）、抽出した赤目候補領域の周囲を赤目候補に拡大する赤目候補領域の拡大処理（ステップＳ１２０）、赤目候補領域が赤目の領域であるか否かを精査して赤目領域を確定する赤目候補領域の精査処理（ステップＳ１３０）を順に実行する。以下、赤目補正印刷処理ルーチンの説明を中断して、赤目候補領域の抽出処理や拡大処理，精査処理の詳細について、順に説明する。
【００２２】
まず、赤目候補領域の抽出処理について説明する。図３は、赤目候補領域の抽出処理の一例を示すフローチャートであり、図４は、赤目候補領域の抽出処理の様子を示す説明図である。この赤目候補領域の抽出処理では、まず、赤目補正印刷処理ルーチンのステップＳ１００で入力したＪＰＥＧデータをエントロピー復号化して（ステップＳ２００）、量子化後のＤＣＴ係数を８×８成分（６４成分）ずつ有するブロックが複数並んだフル画像を得る（図４（ａ）参照）。なお、図４（ａ）に示すように、各ブロックの左上隅の成分がブロック内で変化のないＤＣ係数（直流成分）であり、図示は省略するが残りの６３成分がブロック内の変化を表すＡＣ係数（交流成分）である。次に、各ブロックのＡＣ係数をすべて間引いてＤＣ係数のみを抽出して１／８間引き画像を生成する（ステップＳ２１０，図４（ｂ）参照）。この１／８間引き画像は、フル画像に比して、各ブロックの画素数（成分数）が縦横それぞれ１／８（ブロック全体では１／６４）となる。なお、図４（ａ），（ｂ）では、各ブロックで構成されるブロックラインのうち、１ライン目のＤＣ係数が１／８間引き画像の１ライン目の画素となる様子のみを図示したが、２ライン目以降も同様である。また、Ｙ，Ｃｂ，Ｃｒの成分毎に、１／８間引き画像がそれぞれ生成されるが、同様な処理であるため、個別の説明は省略する。
【００２３】
こうして１／８間引き画像を生成すると、１／８間引き画像の画素値（ＤＣ係数）を逆量子化し（ステップＳ２２０）、逆量子化した画素値を逆ＤＣＴ演算することにより１／８間引き画像を復号化し（ステップＳ２３０）、復号化により得られた各画素のＹＣｂＣｒ値をＲＧＢ値に色変換する（ステップＳ２４０）。こうして１／８間引き画像の各画素のＲＧＢ値が得られると、各画素の赤目候補値を値０に初期化してから（ステップＳ２５０）、処理対象画素の赤目判定を行なう（ステップＳ２６０）。ここで、赤目判定は、処理対象画素のＲＧＢの各階調値がＲＧＢ空間上において予め設定された赤目の階調値を中心とする領域内に属するか否かにより行なうものとした。また、処理対象画素は、先頭（最上段）のラインの左端の画素から右の画素へと順にシフトして設定し、右端の画素まで設定すると１つ下のラインの左端の画素にシフトして設定するものとした。
【００２４】
ステップＳ２６０の赤目判定の結果、処理対象画素が赤目であると判定すると（ステップＳ２７０）、処理対象画素の赤目候補値を値１にセットする（ステップＳ２８０）。次に、すべての画素の処理が完了したか否かを判定し（ステップＳ２９０）、すべての画素の処理が完了していないときには、処理対象画素をシフトして（ステップＳ３００）、ステップＳ２６０に戻り処理を繰り返す。そして、ステップＳ２９０ですべての画素の処理が完了したときには、本処理を終了する。この処理により、赤目と判定された画素の赤目候補値が値１となり、それ以外の画素の赤目候補値は値０となる（図４（ｃ）参照）。ここで、１／８間引き画像は、フル画像の各ブロックのＤＣ係数を抽出して復号化したものであるため、１／８間引き画像の各画素は、復号化されるＤＣ係数の抽出元となるブロック（以下、対応するブロックという）の代表値と考えることができる。このため、赤目候補値は、１／８間引き画像の画素が赤目候補であるか否かを示すと共にフル画像の対応するブロックが赤目候補であるか否かを示すものとなる。これらのことから、本処理により、赤目候補の領域（ブロック）が抽出されることになる。また、赤目候補領域の抽出処理では、１／８間引き画像を復号化するため、フル画像を復号化する場合に比して、特に逆ＤＣＴ演算における処理負担を軽減して、赤目候補領域を速やかに抽出することができる。さらに、赤目候補領域の抽出処理は、後の精査処理の前段階の処理として候補領域を抽出できればよく、精査処理時に比してそれほど高精細な画像は要求されていない。このため、１／８間引き画像を用いて候補領域を抽出することにより、処理負担を大幅に軽減して処理の迅速化を図ることができる。
【００２５】
次に、赤目候補領域の拡大処理について説明する。図５は、赤目候補領域の拡大処理の一例を示すフローチャートであり、図６は、赤目候補領域の拡大処理の様子を示す説明図である。なお、図６（ａ）は、拡大処理前の様子（図４（ｃ）と同じ状態）を示し、図６（ｂ）は、拡大処理後の様子を示す。この赤目候補領域の拡大処理では、まず、処理対象画素の赤目候補値を入力し（ステップＳ４００）、入力した処理対象画素の赤目候補値が値０であるか否かを判定する（ステップＳ４１０）。なお、処理対象画素は、先頭（最上段）のラインの左端の画素から右の画素へと順にシフトして設定し、右端の画素まで設定すると１つ下のラインの左端の画素にシフトして設定するものとした。赤目候補値が値０即ち赤目候補領域の抽出処理において処理対象画素が赤目候補と判定されていないときには、処理対象画素の周囲の画素の赤目候補値を入力する（ステップＳ４２０）。ここでは、周囲の画素として、処理対象画素を中心とする３×３画素（いわゆる８近傍画素）の赤目候補値を入力する。そして、入力した周囲の画素のいずれかの赤目候補値が値１であるか否かを判定し（ステップＳ４３０）、いずれかの赤目候補値が値１のときには処理対象画素を拡大対象に設定する（ステップＳ４４０）。
【００２６】
こうして処理対象画素を拡大対象に設定したときやステップＳ４１０で処理対象画素の赤目候補値が値０でないとき、ステップＳ４１０で処理対象画素の赤目候補値が値０で且つステップＳ４３０で周囲の画素のいずれの赤目候補値も値１でないときには、すべての画素の処理が完了したか否かを判定する（ステップＳ４５０）。すべての画素の処理が完了していないときには、処理対象画素をシフトして（ステップＳ４６０）、ステップＳ４００に戻り処理を繰り返す。そして、ステップＳ４５０ですべての画素の処理が完了したときには、ステップＳ４４０で拡大対象に設定された画素の赤目候補値を値０から値１に更新して（ステップＳ４７０）、本処理を終了する。これにより、図６（ｂ）に示すように、赤目候補値が値１とされる画素が元の画素（図６（ａ））よりも一回り大きく拡大されることがわかる。上述したように、各画素の赤目候補値は、対応するブロックの赤目候補値と考えることができるから、本処理により、赤目候補となる領域（ブロック）が拡大されることになる。このように、赤目候補領域の周囲の領域も赤目候補領域とした上で、後の精査処理が行なわれるから、ＤＣＴ係数を間引きして候補領域を抽出するものとしても、赤目領域の設定の精度が大きく低下するのを防止することができる。
【００２７】
続いて、赤目候補領域の精査処理について説明する。図７は、赤目候補領域の精査処理の一例を示すフローチャートである。この赤目候補領域の精査処理では、まず、処理対象ブロックをエントロピー復号化して（ステップＳ５００）、処理対象ブロックに対応する赤目候補値を入力する（ステップＳ５１０）。ここで、処理対象ブロックは、先頭（最上段）のブロックラインの左端のブロックから右のブロックへと順に設定し、右端のブロックまで設定すると１つ下のブロックラインの左端のブロックを設定するものとした。また、上述した赤目候補領域の拡大処理後の各画素の赤目候補値のうち、処理対象ブロックに対応する画素（処理対象ブロックのＤＣ係数の復号化により得られる画素）の赤目候補値を入力するものとした。次に、入力した処理対象ブロックの赤目候補値が値１であるか否かを判定し（ステップＳ５２０）、赤目候補値が値１のときには、エントロピー復号化した係数を逆量子化し（ステップＳ５３０）、逆量子化した係数を逆ＤＣＴ演算してＪＰＥＧデータを復号化（解凍）する（ステップＳ５４０）。そして、復号化により得られたＹＣｂＣｒ値をＲＧＢ値に色変換して（ステップＳ５５０）、色変換した処理対象ブロックの各画素のＲＧＢ値をＲＡＭ６６に設けられたブロックラインバッファーに格納する（ステップＳ５６０）。一方、処理対象ブロックの赤目候補値が値１でないときには、ダミーデータをブロックラインバッファーに格納する（ステップＳ５７０）。
【００２８】
こうしてＲＧＢ値かダミーデータをブロックラインバッファーに格納すると、処理中のブロックラインの右端のブロックまで処理が完了したか否かを判定し（ステップＳ５８０）、処理が完了していないときには、処理対象ブロックを右にシフトして（ステップＳ５９０）、ステップＳ５００に戻り処理を繰り返す。そして、ステップＳ５８０で右端のブロックまで処理が完了したときには、ブロックラインバッファーに格納されたデータを用いて赤目候補領域を精査する（ステップＳ６００）。この精査の詳細については省略するが、赤目候補のブロックのＲＧＢ値などから、赤目に相当する画素の周囲に瞳孔（黒目）に相当する画素や白目に相当する画素があるか否かを判定することなどにより行なわれる。そして、精査の結果、赤目と判定すると（ステップＳ６１０）、精査した赤目候補領域を赤目領域に設定しその位置を赤目領域情報としてＲＡＭ６６に記憶し（ステップＳ６２０）、すべてのブロックの処理が完了したか否かを判定する（ステップＳ６３０）。すべてのブロックの処理が完了していないときには、処理対象ブロックを１つ下のラインにシフトして（ステップＳ６４０）、ステップＳ５００に戻り処理を繰り返す。そして、ステップＳ６３０ですべてのブロックの処理が完了したときには、本処理を終了する。このように、本処理により、赤目の領域（ブロック）が確定されることになる。また、赤目候補領域の精査処理では、赤目候補値が値１のブロックだけを逆量子化や逆ＤＣＴ演算をして赤目候補値が値１ではないブロックは逆量子化や逆ＤＣＴ演算をしないから、精査処理を迅速に行なうことができる。
【００２９】
図２の印刷処理ルーチンに戻って、こうして赤目候補領域の抽出処理や拡大処理，精査処理を実行すると、ＪＰＥＧデータをエントロピー復号化，逆量子化，逆ＤＣＴにより復号化し（ステップＳ１４０）、復号化により得られたＹＣｂＣｒ値をＲＧＢ値に色変換して（ステップＳ１５０）、赤目候補領域の精査処理により記憶された赤目領域情報をＲＡＭ６６から読み出して赤目領域に対して赤目補正処理を実行する（ステップＳ１６０）。なお、赤目補正処理の詳細は省略するが、赤目の領域に属する画素のＲＧＢの各階調値をＲＧＢ空間上において予め設定された黒目の階調値に置換することなどにより行なわれる。そして、ＲＧＢ値をＣＭＹＫ値に色変換することなどにより印刷用データを生成し（ステップＳ１７０）、生成した印刷用データに基づいてプリンターユニット３０により印刷処理を実行して（ステップＳ１８０）、本ルーチンを終了する。
【００３０】
ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の図２の赤目補正印刷処理ルーチンのステップＳ１１０の赤目候補領域の抽出処理（図３の赤目候補領域の抽出処理）を実行するメインコントローラー６０が本発明の「候補領域抽出手段」に相当し、図２の赤目補正印刷処理ルーチンのステップＳ１３０の赤目候補領域の精査処理（図７の赤目候補領域の精査処理）を実行するメインコントローラー６０が「処理領域設定手段」に相当する。
【００３１】
以上説明した本実施形態のプリンター２０によれば、ＤＣＴ係数を間引いた１／８間引き画像を逆ＤＣＴ演算を伴って解凍して赤目処理の候補となる赤目候補領域を抽出する抽出処理を実行し、抽出した赤目候補領域を含む領域を逆ＤＣＴ演算を伴って解凍し赤目候補領域を精査して赤目領域を設定する精査処理を実行するから、赤目候補領域を抽出する際の逆ＤＣＴ演算などの処理負担を軽減して赤目候補領域を速やかに抽出することができ、赤目領域の設定に要する時間を短くすることができる。この結果、ＤＣＴ演算を伴って圧縮された圧縮画像を赤目補正処理する際の処理時間を短縮することができる。
【００３２】
また、赤目候補領域の精査処理では、赤目候補領域とされたブロックだけを逆ＤＣＴ演算を伴って復号化するから、精査処理を迅速に行なうことができる。さらに、赤目候補領域の抽出処理では、ＤＣ係数だけが残るようすべてのＡＣ係数を間引いた１／８間引き画像を生成し逆ＤＣＴ演算を伴って解凍するから、処理負担を大幅に軽減して処理の迅速化を図ることができる。そして、赤目候補領域の拡大処理では、赤目候補領域の周囲も赤目候補領域に拡大するから、ＤＣＴ係数を間引きして赤目候補領域を抽出するものとしても、赤目領域の設定の精度が大きく低下するのを防止することができる。
【００３３】
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
【００３４】
上述した実施形態では、赤目候補領域の抽出処理において各ブロックのすべてのＡＣ係数を間引いてＤＣ係数のみを抽出して１／８間引き画像を生成するものとしたが、これに限られず、各ブロックからＤＣ係数を含めて１６個のＤＣＴ係数を抽出して１／２間引き画像を生成するものとしてもよいし、各ブロックからＤＣ係数を含めて４個のＤＣＴ係数を抽出して１／４間引き画像を生成するものなどとしてもよい。なお、ＤＣ係数を含めることなくＡＣ係数を抽出して間引き画像を生成するものとしてもよいが、画像の特徴が大きく損なわれて検出の精度が低下するおそれがあるため、ＤＣ係数を含めるものが好ましい。
【００３５】
上述した実施形態では、赤目候補領域の拡大処理において赤目候補値が値１の画素の周囲の３×３画素のうちいわゆる８近傍の画素を赤目候補に拡大するものとしたが、これに限られず、赤目候補値が値１の画素の周囲の３×３画素のうち上下左右の画素（いわゆる４近傍の画素）を赤目候補に拡大するものとしてもよいし、赤目候補値が値１の画素の周囲の５×５画素の範囲に含まれる画素を赤目候補に拡大するものなどとしてもよい。あるいは、このような赤目候補領域の拡大処理を行なわないものとしてもよく、赤目候補領域の抽出処理により赤目候補として抽出される画素（領域）のみを赤目候補としてもよい。
【００３６】
上述した実施形態では、赤目候補領域の精査処理において、処理対象ブロックの係数を間引くことなく復号化するものとしたが、これに限られず、赤目候補領域の抽出処理よりもＤＣＴ係数が多く残存するように間引くものとしてもよい。例えば、本実施形態のように赤目候補領域の抽出処理において縦横それぞれ１／８に間引いて１個のＤＣＴ係数が残存する場合には、赤目候補領域の精査処理において縦横それぞれ１／２に間引いて１６個のＤＣＴ係数が残存するものとしたり縦横それぞれ１／４に間引いて４個のＤＣＴ係数が残存するものなどとすればよい。
【００３７】
上述した実施形態では、印刷処理を実行する際の赤目の領域の検出を例として説明したが、これに限られず、画像を表示する際の赤目の領域の検出に適用するものなどとしてもよい。また、赤目の領域を検出するものに限られず、人物の肌色を補正する肌色補正処理など他の色補正処理の対象となる領域を検出するものや部分的に明度や彩度を補正するなど各種画像処理の対象となる領域を検出するものであれば、如何なる領域を検出するものとしてもよい。
【００３８】
上述した実施形態では、圧縮画像をＪＰＥＧデータを例として説明したが、これに限られず、ＤＣＴ演算を伴う圧縮方式で圧縮された圧縮画像を解凍するものであればよく、例えばＭＰＥＧデータなどとしてもよい。
【００３９】
上述した実施形態では、本発明をプリンター機能（プリンターユニット３０）とスキャナー機能（スキャナーユニット３５）とを備えるプリンター２０に適用して説明したが、これに限られず、さらにＦＡＸ機能を備えるものとしてもよいし、あるいは、スキャナー機能を備えないプリンターとしてもよい。また、ＤＣＴ演算を伴う圧縮方式で圧縮された圧縮画像を解凍し設定されている処理領域に対して画像処理を施すことができる装置であれば、プリンターに限られず、パーソナルコンピューターやデジタルカメラ，ゲーム機器，携帯電話など如何なる装置に適用するものとしてもよい。
【符号の説明】
【００４０】
２０ プリンター、２３ 給紙トレイ、２４ 排紙トレイ、３０ プリンターユニット、３５ スキャナーユニット、４０ カードコントローラー、４０ａ メモリーカードスロット、５０ 操作パネル、５２ 表示部、５４ ボタン群、６０ メインコントローラー、６２ ＣＰＵ、６４ ＲＯＭ、６６ ＲＡＭ、６９ バス、ＭＣ メモリーカード。
【特許請求の範囲】
【請求項１】
ＤＣＴ演算を伴って圧縮された圧縮画像を解凍し、設定されている処理領域に画像処理を施す画像処理装置であって、
前記圧縮画像を、ＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域の候補となる候補領域を抽出する候補領域抽出手段と、
前記圧縮画像のうち前記抽出された候補領域を含む領域を、前記候補領域抽出手段による間引きよりも多くのＤＣＴ係数が残存している状態で逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域を設定する処理領域設定手段と、
を備える画像処理装置。
【請求項２】
前記処理領域設定手段は、前記圧縮画像のうち前記候補領域だけを逆ＤＣＴ演算を伴って解凍する手段である請求項１記載の画像処理装置。
【請求項３】
前記候補領域抽出手段は、前記圧縮画像を、ＤＣ係数が残るようＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍する手段である請求項１または２記載の画像処理装置。
【請求項４】
前記候補領域抽出手段は、前記圧縮画像を、ＤＣ係数だけが残るようすべてのＡＣ係数を間引いてから逆ＤＣＴ演算を伴って解凍する手段である請求項１または２記載の画像処理装置。
【請求項５】
前記候補領域抽出手段は、前記解凍後の画像から前記候補領域を抽出し、該候補領域として抽出されない領域のうち該抽出された候補領域の周囲の領域を前記候補領域に拡大する手段である請求項１ないし４いずれか１項に記載の画像処理装置。
【請求項６】
画像中の赤目の領域を前記処理領域として赤目補正処理を施す請求項１ないし５いずれか１項に記載の画像処理装置。
【請求項７】
ＤＣＴ演算を伴って圧縮された圧縮画像を解凍し、設定されている処理領域に画像処理を施す画像処理方法であって、
（ａ）前記圧縮画像を、ＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域の候補となる候補領域を抽出するステップと、
（ｂ）前記圧縮画像のうち前記抽出された候補領域を含む領域を、前記ステップ（ａ）による間引きよりも多くのＤＣＴ係数が残存している状態で逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域を設定するステップと、
を含む画像処理方法。
【請求項１】
ＤＣＴ演算を伴って圧縮された圧縮画像を解凍し、設定されている処理領域に画像処理を施す画像処理装置であって、
前記圧縮画像を、ＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域の候補となる候補領域を抽出する候補領域抽出手段と、
前記圧縮画像のうち前記抽出された候補領域を含む領域を、前記候補領域抽出手段による間引きよりも多くのＤＣＴ係数が残存している状態で逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域を設定する処理領域設定手段と、
を備える画像処理装置。
【請求項２】
前記処理領域設定手段は、前記圧縮画像のうち前記候補領域だけを逆ＤＣＴ演算を伴って解凍する手段である請求項１記載の画像処理装置。
【請求項３】
前記候補領域抽出手段は、前記圧縮画像を、ＤＣ係数が残るようＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍する手段である請求項１または２記載の画像処理装置。
【請求項４】
前記候補領域抽出手段は、前記圧縮画像を、ＤＣ係数だけが残るようすべてのＡＣ係数を間引いてから逆ＤＣＴ演算を伴って解凍する手段である請求項１または２記載の画像処理装置。
【請求項５】
前記候補領域抽出手段は、前記解凍後の画像から前記候補領域を抽出し、該候補領域として抽出されない領域のうち該抽出された候補領域の周囲の領域を前記候補領域に拡大する手段である請求項１ないし４いずれか１項に記載の画像処理装置。
【請求項６】
画像中の赤目の領域を前記処理領域として赤目補正処理を施す請求項１ないし５いずれか１項に記載の画像処理装置。
【請求項７】
ＤＣＴ演算を伴って圧縮された圧縮画像を解凍し、設定されている処理領域に画像処理を施す画像処理方法であって、
（ａ）前記圧縮画像を、ＤＣＴ係数を間引いてから逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域の候補となる候補領域を抽出するステップと、
（ｂ）前記圧縮画像のうち前記抽出された候補領域を含む領域を、前記ステップ（ａ）による間引きよりも多くのＤＣＴ係数が残存している状態で逆ＤＣＴ演算を伴って解凍し、該解凍後の画像から前記処理領域を設定するステップと、
を含む画像処理方法。
【図１】
【図２】
【図３】
【図５】
【図７】
【図４】
【図６】
【図２】
【図３】
【図５】
【図７】
【図４】
【図６】
【公開番号】特開２０１３−１０６１２３（Ｐ２０１３−１０６１２３Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４７１４９（Ｐ２０１１−２４７１４９）
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]