説明

画像処理装置、画像処理方法及びそのプログラム

【課題】複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。
【解決手段】プリンタは、画像データの顔領域を検出し(S100)、顔領域の数を出力枚数として設定し(S120)、この顔領域の状態としてピント度合いFCと逆光度合いALとを検出する(S160,S190)。そして、顔領域が複数あるときに、顔領域の状態に基づきこの顔領域を補正する方法としてピンぼけ補正と逆光補正とを選択し、選択した各々の補正のいずれかを画像全体に実行する処理を、印刷設定枚数Pの数の画像データに別々に実行し、この印刷設定枚数Pの補正後の画像を印刷出力する。このように、顔領域の数に基づいて出力枚数を設定するから、ユーザが印刷枚数を設定しなくてもよい。また、顔領域に基づき補正されるから、より適した印刷出力結果を得ることが可能である。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びそのプログラムに関する。
【背景技術】
【0002】
従来、画像処理装置としては、「ピンぼけ」「単一色」「手ぶれ」などにより印刷に適したものであるか否かを画像データを解析して判定し、その判定結果を画面上に表示させ、これを確認したユーザが印刷を実行するか否かを入力し、この入力に基づいて画像データの印刷処理又は印刷中止を行うことにより、印刷処理を実行すべきか否かを選別することができるものが提案されている(例えば、特許文献1参照)。
【特許文献1】特開2005−65266号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、この特許文献1に記載された画像処理装置では、画像全体での印刷に適したものであるかを判定するものであり、複数の人物が写っている画像データを印刷処理するような場合について、画像に含まれる複数の人物の各々の状態については考慮されていなかった。また、このような場合には、ユーザは、複数の被写体の人数に応じた複数の印刷物を必要とすることがあるが、印刷指示する際に印刷枚数を指定する必要があり、ユーザの手間がかかることがあった。
【0004】
本発明は、このような課題に鑑みなされたものであり、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した出力結果を得ることができる画像処理装置、画像処理方法及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明は、上述の目的を達成するために以下の手段を採った。
【0006】
本発明の画像処理装置は、
画像を出力可能な画像出力手段と、
画像データに含まれている顔領域を検出する領域検出手段と、
前記検出した顔領域の状態を検出する状態検出手段と、
前記検出した顔領域が複数あるときに、前記状態検出手段が検出した顔領域の状態に基づいて少なくとも該顔領域を補正する補正実行手段と、
前記領域検出手段が検出した顔領域の数を出力数として設定し、該設定した出力数の前記補正後の画像を出力するよう前記画像出力手段を制御する制御手段と、
を備えたものである。
【0007】
この画像処理装置では、画像データに含まれている顔領域を検出し、検出した顔領域の状態を検出する。そして、検出された顔領域が複数あるときに、顔領域の状態に基づいてこの顔領域を補正する補正方法を選択し、少なくともこの顔領域にこの選択した補正を実行し、検出した顔領域の数を出力数として設定し、この設定した出力数の補正後の画像を出力する。このように、検出した顔領域の数に基づいて出力数を設定するから、複数枚数の画像データを出力する際のユーザの手間をより低減することができる。また、顔領域の状態に応じた補正を少なくともこの顔領域に実行するから、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。このとき、前記補正実行手段は、前記検出した顔領域の状態に基づいて該顔領域を補正する補正方法を選択し少なくとも該顔領域に該選択した補正を実行するものとしてもよい。
【0008】
本発明の画像処理装置において、前記状態検出手段は、前記前記画像データに含まれている顔領域のピントが合っている度合いを示すピント度合いを検出する手段であり、前記補正実行手段は、前記状態検出手段が検出した顔領域のピント度合いに基づいて少なくとも該顔領域にピントぼけ補正を実行する手段であるものとしてもよい。こうすれば、ピントが合っていない顔領域に対してピントぼけ補正を実行することにより、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。このとき、前記ピント度合いに基づいて前記ピントぼけ補正を実行するに際して、前記検出したピント度合いが経験的に定められた画像に適した所定値以下であるときに前記ピントぼけ補正を前記顔領域に対して実行するものとしてもよい。
【0009】
本発明の画像処理装置において、前記状態検出手段は、前記前記画像データに含まれている顔領域が逆光状態であるか否かを検出する手段であり、前記補正実行手段は、前記状態検出手段が検出した顔領域の状態に基づいて少なくとも該顔領域に逆光補正を実行する手段であるものとしてもよい。こうすれば、逆光状態の顔領域に対して逆光補正を実行することにより、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。このとき、前記逆光状態に基づいて前記逆光補正を実行するに際して、前記検出した逆光度合いが経験的に定められた画像に適した所定値以上であるときに前記逆光補正を前記顔領域に対して実行するものとしてもよい。
【0010】
本発明の画像処理装置において、前記補正実行手段は、前記画像データに含まれる複数の顔領域の各々に基づいた補正のいずれかを前記画像全体に実行する処理を前記検出された顔領域の数の画像データに別々に実行する手段であるものとしてもよい。こうすれば、各々の顔領域に対して一層適した出力結果を得ることができる。このとき、前記制御手段は、前記画像出力手段が出力するいずれの画像がいずれの顔領域に対して補正が実行されているのかの情報を出力するよう前記画像出力手段を制御する手段であるものとしてもよい。こうすれば、ユーザの手間をより低減し、より適した出力結果を得るに際して、ユーザは出力された情報を利用して出力結果と顔領域との対応関係を認識することができる。
【0011】
あるいは、本発明の画像処理装置において、前記補正実行手段は、前記画像データに含まれる複数の顔領域の各々に基づいた補正のすべてを前記画像全体に実行する手段であり、前記制御手段は、前記設定した出力数の前記補正後の画像を出力するよう前記画像出力手段を制御する手段であるものとしてもよい。こうすれば、同じ補正を行った画像が設定された出力数、出力されるから、補正された顔領域と出力結果との対応関係を確認するユーザの手間を低減することができる。このとき、前記補正実行手段は、前記選択した補正のすべてを前記画像全体に実行するに際して、平均的な補正を前記画像全体に実行するものとしてもよい。
【0012】
本発明の画像処理装置は、画像データに含まれている顔領域の状態に基づいて補正を実行する自動補正モードを設定可能なモード設定手段、を備え、前記補正実行手段は、前記モード設定手段によって前記自動補正モードが設定された場合、前記状態検出手段が検出した顔領域の状態に基づいて少なくとも該顔領域に補正を実行する手段であるものとしてもよい。こうすれば、ユーザの望むときに、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。
【0013】
本発明の画像処理装置において、前記制御手段は、前記設定された出力数に関する情報を出力するよう前記画像出力手段を制御する手段であるものとしてもよい。こうすれば、ユーザの手間をより低減し、より適した出力結果を得るに際して、出力数の情報をユーザが認識することができる。
【0014】
本発明の画像処理装置において、前記画像出力手段は、印刷媒体に画像を印刷出力する印刷出力手段であるものとしてもよい。こうすれば、印刷媒体に印刷出力された画像をユーザが利用することができる。また、前記画像出力手段は、表示画面に画像を表示出力する表示出力手段であるものとしてもよい。こうすれば、表示画面に表示出力された画像をユーザは視認することができる。
【0015】
本発明の画像処理装置は、前記設定された画像の出力数を修正可能な出力数修正手段、を備え、前記制御手段は、前記出力数修正手段によって修正された出力数の画像を出力するよう前記画像出力手段を制御する手段であるものとしてもよい。こうすれば、ユーザの意向に沿った出力数の画像の出力を実行することができる。
【0016】
本発明の画像処理方法は、
コンピュータソフトウエアによる画像処理方法であって、
(a)画像データに含まれている顔領域を検出する領域検出手段と、
(b)前記ステップ(a)で検出した顔領域の状態を検出するステップと、
(c)前記ステップ(a)で検出された顔領域が複数あるときに、前記ステップ(b)で検出した顔領域の状態に基づいて少なくとも該顔領域に補正を実行するステップと、
(d)前記ステップ(a)で検出した顔領域の数を出力数として設定し、該設定した出力数の前記ステップ(c)での補正後の画像を出力するステップと、
を含むものである。
【0017】
この画像処理方法では、画像データに含まれている顔領域を検出し、検出した顔領域の状態を検出する。そして、検出された顔領域が複数あるときに、顔領域の状態に基づいてこの顔領域を補正する補正方法を選択し、少なくともこの顔領域にこの選択した補正を実行し、検出した顔領域の数を出力数として設定し、この設定した出力数の補正後の画像を出力する。このように、検出した顔領域の数に基づいて出力数を設定するから、複数枚数の画像データを出力する際のユーザの手間をより低減することができる。また、顔領域の状態に応じた補正を少なくともこの顔領域に実行するから、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。なお、この画像処理方法において、上述した画像処理装置の種々の態様を採用してもよいし、また、上述した画像処理装置の各機能を実現するようなステップを追加してもよい。
【0018】
本発明のプログラムは、上述した画像処理方法の各ステップを1又は複数のコンピュータに実現させるためのものである。このプログラムは、コンピュータが読み取り可能な記録媒体(例えばハードディスク、ROM、FD、CD、DVDなど)に記録されていてもよいし、伝送媒体(インターネットやLANなどの通信網)を介してあるコンピュータから別のコンピュータへ配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させれば、上述した画像処理方法の各ステップが実行されるため、この画像処理方法と同様の作用効果が得られる。
【発明を実施するための最良の形態】
【0019】
次に、本発明を実施するための最良の形態を図面を用いて説明する。図1は、本発明を具現化した一実施形態であるプリンタ20の構成の概略を示す構成図である。プリンタ20は、装置全体の制御を司るコントローラ21と、携帯用の記憶媒体であるメモリカード12をスロット25aに装着・取外し可能であるリーダライタ25と、記録紙Sへ画像を印刷処理する印刷機構26と、接続された外部機器との間で情報の入出力が可能なインタフェース(I/F)28と、ユーザへ情報を表示可能でありユーザの指示を入力可能である操作パネル30と、を備えている。コントローラ21やリーダライタ25、印刷機構26、I/F28、操作パネル30は、バス29によって電気的に接続されている。コントローラ21は、CPU22を中心とするマイクロプロセッサとして構成されており、情報を記憶消去可能であり各種処理プログラムを記憶したフラッシュROM23と、一時的にデータを記憶するRAM24とを備えている。印刷機構26は、図示しないが、各色のインクに圧力をかけ、この加圧されたインクを記録紙Sに吐出して印刷処理を実行するインクジェット方式の機構である。なお、インクへ圧力をかける機構は、圧電素子の変形によるものとしてもよいしヒータの熱による気泡の発生によるものとしてもよい。操作パネル30は、ユーザがプリンタ20に対して各種の指示を入力するためのデバイスであり、各種の指示に応じた文字や画像が表示されるカラー液晶パネルにより構成された表示部32や、各種操作を行う操作部34が設けられている。操作部34には、ユーザが処理や文字等を選択するカーソルなどを移動させるときに押下されるカーソルキー34aや処理選択などを決定するときに押下される決定キー34b、印刷枚数を変更する際に押下される枚数設定キー34cなどが配置されている。メモリカード12は、データの書き込み及び消去可能な不揮発性のメモリであり、デジタルカメラなどの撮影装置により撮影された複数の画像ファイルなどが保存されている。
【0020】
次に、こうして構成された本実施形態のプリンタ20の動作、まず、印刷モードなどを設定する動作について説明する。プリンタ20では、集合写真など1枚の画像に複数の人物が写っているときに、その人物の写っている状態の各々に応じて画像の補正を自動で実行する自動補正モードが設けられている。自動補正モードを実行するには、ユーザが予めセットアップ処理の一つとして自動補正モードの設定をオンしておく必要がある。まず、ユーザは、カーソルキー34aを操作して設定画面80を表示部32に表示させる。図2は、表示部32に表示される設定画面80の一例を表す説明図である。設定画面80には、自動補正モード入力欄82のほか、印刷用紙の種類を入力する用紙種類入力欄、縁無し印刷の有無を入力するレイアウト入力欄、印刷の品質を入力する品質入力欄、赤目補正の有無を入力する赤目補正入力欄などが含まれている。自動補正モードの設定を行う場合には、カーソルキー34aを上下方向に操作してフォーカスフレーム81を「複数人画像の自動補正」に合わせ、カーソルキー34aを左右方向に操作することにより「する」や「しない」を選択することにより行う。なお、設定画面80で設定された各種設定値は、フラッシュROM23の所定領域に格納される。
【0021】
次に、メモリカード12に記憶された画像を印刷する際の動作について説明する。まずユーザは、カーソルキー34aを操作して印刷する画像を表示部32へ表示させ、決定キー34bを押下する。図3は、コントローラ21のCPU22により実行される画像補正印刷処理ルーチンの一例を表すフローチャートである。このルーチンは、フラッシュROM23に記憶され、自動補正モードを実行するに設定されると共に決定キー34bの押下により印刷画像が選択されたあとCPU22により実行される。図4は、表示部32に表示される画像表示画面84の一例を表す説明図である。ここでは、説明の便宜のため、自動補正モードを実行すると設定されており、画像表示画面84の画像データを印刷対象の画像データとする場合について主に説明する。この画像表示画面84の画像には、被写体のメンバーのうち人物84aが逆光状態で写っており、被写体のメンバーのうち人物84bがピントが合っていない状態で写っているものとする。
【0022】
このルーチンを開始すると、CPU22は、まず、印刷指示された画像データに含まれる人物の顔領域を検出する処理を実行する(ステップS100)。ここでは、肌色に指定した色と近い色を持つ画像データに含まれる画素を肌色画素として抽出し、この抽出した肌色画素が、例えば顔に相当する形状で且つ所定の面積を占めている領域を求め、更に、求めた肌色画素の領域の中央やや上部に肌色画素の領域よりも輝度値の低い領域を目の領域として抽出し、抽出した両目の下側の範囲内で肌色画素の集合領域よりも輝度値の低い領域を口の領域として抽出し、目及び口の領域が抽出されたときにこの肌色領域を顔領域として検出するものとした。この肌色の抽出は、例えば、肌色を他の色と区別するための色空間上で、予め肌色の範囲を定めておき、各画素の色がこの定めた範囲に入っているか否かを判定することにより行ってもよい。また、予め肌色画素値に適切な範囲を設定しておき、画像データを色相、彩度及び輝度の色空間に変換し、カラー画像の所定の範囲毎に平均輝度を算出し、算出した平均輝度が上記肌色画素値の範囲に含まれるか否かに基づいて肌色画素の領域の抽出を行うものとしてもよい。このとき、ニューラルネットワークによる処理や、画像内の形状を利用した処理などの種々の処理によって抽出してもよい。なお、検出した顔領域の画像データにおける各々の位置は、RAM24の所定領域に記憶されるものとした。
【0023】
顔領域を検出すると、CPU22は、検出した顔領域の各々に値1から順に番号を付与すると共に、検出した顔領域の総数FNを取得する(ステップS110)。この顔領域への番号の付与は、左上の端部の画素をX=0、Y=0の注目画素とし、左側から右側、上側から下側へ向かって順番にこの注目画素を移動させ、この注目画素を含むことになった顔領域から順番に番号を付与するものとした。次に、CPU22は、検出した顔領域総数FNに基づいて印刷部数である印刷設定枚数Pを設定する(ステップS120)。
【0024】
続いて、CPU22は、顔領域総数FNが2以上あるか否かを判定する(ステップS130)。顔領域総数FNが2以上ない、即ち、被写体の人物が1人以下であるときには、CPU22は、印刷処理を実行し(ステップS140)、このルーチンを終了する。ここでは、顔領域総数FNが1以下のときには、印刷設定枚数Pに値1をセットし、顔領域総数FNが2以上のときには、印刷設定枚数Pに顔領域総数FNをセットする、即ち顔領域の数だけ印刷するものとした。印刷処理では、CPU22は、画像データをビットマップイメージへRAM24の印刷バッファ内で展開し、展開した展開データを記録紙Sに印刷するよう印刷機構26を制御する。例えば、CPU22は、駆動モータを駆動して供給ローラなどを回転させて記録紙Sをプラテン上の印刷可能領域へ搬送し、キャリッジモータを駆動しキャリッジをキャリッジ移動方向に移動させながら着色剤としてのインクを展開データに基づいて記録紙Sへ吐出する処理を行う。
【0025】
一方、顔領域総数FNが2以上ある、即ち、被写体の人物が2人以上であるときには、CPU22は、ターゲットとなる顔領域の番号である顔領域番号Nに値1をセットする(ステップS150)。次に、CPU22は、顔領域番号Nの顔領域のピント度合いFCを算出する処理を実行する(ステップS160)。ここで、ピント度合いFCの算出処理は、現在のターゲットの顔領域に高周波数成分を抽出するための画像処理であるハイパスフィルタ処理を行い、抽出された高周波成分の積算値をピント度合いFCとして求めることにより行う。一般に、ピントがより正確に合っているほど画像に含まれる高周波成分は増加することから、この高周波成分をピント度合いFCとして求めるのである。なお、ハイパスフィルタ処理は、周知の技術であるからこれ以上の説明を省略する。このように、ピント度合いFCを求めると、CPU22は、ピント度合いFCが所定の閾値FCrefを超えるか否かを判定する(ステップS170)。この閾値FCrefは、撮影された人物の顔のピントが合っている印刷結果が得られるような値に経験的に定められている。ピント度合いFCが所定の閾値FCrefを超えていないときには、CPU22は、現在の顔領域に対しては補正が必要であるものとみなし、この顔領域番号Nの顔領域にピンぼけ補正を対応付けてRAM24の所定領域に記憶させる(ステップS180)。なお、ここでは、人物84bがピンぼけしているため、ピンぼけ補正が必要であると記憶されるものとした(図4参照)。
【0026】
一方、ステップS180のあと、または、ステップS170でピント度合いFCが閾値FCrefを超えていたときには、CPU22は、顔領域番号Nの顔領域の逆光度合いALを算出する処理を実行する(ステップS190)。ここで、逆光度合いALの算出処理は、顔領域の輝度分布特性と、顔領域以外の所定領域の輝度分布特性とを求め、顔領域の輝度分布特性を更に各輝度領域(例えば0〜255の輝度のうち、0〜50の領域など)ごとに分け、逆光画像に基づいて予め経験的に求めた輝度分布特性に対する各輝度領域の類似度を逆光度合いALとして計算するものとした。一般に、逆光画像では、明るい領域と暗い被写体の領域とがあり、その輝度分布は、輝度の低い部分と輝度の高い部分とで2つのピークを有するという特徴を示す。この特徴を用いて、逆光度合いALを求めるものとした。なお、逆光画像の判定については、特開2005−49955に詳しく記載されているから、ここではその説明を省略する。逆光度合いALを算出すると、CPU22は、逆光度合いALが所定の閾値ALrefを下回っているか否かを判定する(ステップS200)。この閾値ALrefは、撮影された人物を印刷したときに暗い画像にならないような値に経験的に定められて、フラッシュROM23に記憶されている。逆光度合いALが所定の閾値ALrefを下回っていないとき(即ち、逆光画像に対して類似度が高いとき)には、現在の顔領域に対しては補正が必要であるものとみなし、CPU22は、この顔領域番号Nの顔領域に逆光補正を対応付けてRAM24の所定領域に記憶させる(ステップS210)。なお、ここでは、人物84aが逆光度合いALが高く逆光補正が必要であると記憶されるものとした(図4参照)。
【0027】
ステップS210のあと、または、ステップS200で逆光度合いALが所定の閾値ALrefを下回っているときには、CPU22は、顔領域番号Nが顔領域総数FNであるか否かを判定する(ステップS220)。顔領域番号Nが顔領域総数FNでないときには、上記処理を実行していない顔領域がまだあるから、CPU22は、顔領域番号Nを値1インクリメントし(ステップS230)、ステップS160以降の処理を繰り返し実行する。即ち、ピント度合いFCが閾値FCrefを超えていない顔領域に対してピンぼけ補正を実行し、逆光度合いALが閾値ALref以上である顔領域に対しては逆光補正を実行する旨の情報をRAM24に記憶させる処理を繰り返すのである。
【0028】
一方、ステップS220で顔領域番号Nが顔領域総数FNであるときには、CPU22は、表示部32へ、補正処理を実行しない顔領域と補正処理を実行する顔領域とを異なる態様で表示出力すると共に、印刷設定枚数Pを表示出力させ(ステップS240)、補正する印刷物の印刷順番を顔領域に対応づけて画像データと共に表示部32へ表示出力する(ステップS250)。図5は、表示部32へ表示する印刷確認画面86の一例の説明図である。この印刷確認画面86では、顔領域として検出された領域のうち、補正処理を実行しない顔領域を白色の楕円で囲む未補正表示部87aと共に、補正処理を実行する顔領域を未補正表示部87aと異なる色の楕円で囲む補正実行表示部87bとを画像表示画面84に重ね合わせて表示するものとした。また、この印刷確認画面86には、検出した顔領域の総数FNを表示する情報表示欄88が中央下部に設けられている。更に、印刷確認画面86では、いずれの顔領域に対して補正処理を行った印刷物が何番目の印刷物であるかを示すメッセージが印刷順番表示部86a〜86dに表示されている。このため、どの顔領域に補正が行われ、その補正された印刷物がどれであるのかをユーザが把握しやすい。なお、印刷順番表示部86a〜86d、未補正表示部87a及び補正実行表示部87bは、ステップS110でRAM24に記憶された顔領域の画像データにおける各々の位置を利用してCPU22が作成するものとした。
【0029】
続いて、CPU22は、顔領域番号Nの値1である顔領域から順に、RAM24に記憶されている顔領域の補正方法を実行して印刷データを作成する(ステップS260)。ここでは、顔領域に対応づけられてピンぼけ補正が記憶されているときには、画像データ全体に対してピンぼけ補正としてのシャープネス処理を実行するものとした。また、顔領域に対応づけられて逆光補正が記憶されているときには、画像データ全体に対して、入出力値のトーンカーブを用いて画像データの低輝度成分の明度(輝度)を増加させる補正と共に色調を鮮やかな傾向とする補正を行うものとした。そして、CPU22は、作成した印刷データをステップS140と同様の印刷処理を実行し(ステップS270)、印刷設定枚数Pの印刷が終了したか否かを判定し(ステップS280)、印刷設定枚数Pの印刷が終了していないときには、ステップS260以降の処理を実行する。ここでは、人物84bに対してピンぼけ補正を実行した画像を1枚目に作成して印刷し、補正を行わない画像を2,3枚目に印刷し、人物84aに対して逆光補正を実行した画像を4枚目に作成して印刷するものとした。そして、CPU22は、ステップS280で印刷設定枚数Pの印刷が終了したときには、このルーチンを終了する。このように、逆光状態で写っている人物84aにはその人に適した補正を画像全体に施して印刷を実行し、ピンぼけ状態で写っている人物84bには、その人に適した補正を画像全体に施して印刷を実行するのである。
【0030】
ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の印刷機構26及び表示部32が本発明の画像出力手段に相当し、このうち印刷機構26が印刷出力手段に相当し、コントローラ21が領域検出手段、状態検出手段、補正実行手段及び制御手段に相当し、操作パネル30及びコントローラ21がモード設定手段に相当する。なお、本実施形態では、プリンタ20の動作を説明することにより本発明の画像処理方法の一例も明らかにしている。
【0031】
以上詳述した本実施形態のプリンタ20によれば、画像データに含まれている顔領域を検出し、検出した顔領域の状態としてピント度合いFCと逆光度合いALとを検出する。そして、検出された顔領域が複数あるときに、顔領域の状態に基づいてこの顔領域を補正する補正方法としてピンぼけ補正と逆光補正とを選択し、検出した顔領域の数を印刷設定枚数Pとして設定し、選択した各々の補正のいずれかを画像全体に実行する処理を、印刷設定枚数Pの数の画像データに別々に実行し、この印刷設定枚数Pの補正後の画像を印刷出力する。このように、検出した顔領域の数に基づいて印刷設定枚数Pを設定するから、複数枚数の画像データを出力する際のユーザの印刷枚数設定の手間をより低減することができる。また、顔領域の状態に応じた補正、例えば、ピントが合っていない顔領域に対してピンぼけ補正を実行したり、逆光状態の顔領域に対して逆光補正を実行したりするため、画像データに含まれる顔領域に対してより適した印刷出力結果を得ることができる。また、記録紙Sに印刷出力された画像をユーザが利用することができる。更に、画像の補正を個別の印刷物に対して行うから、各々の顔領域に対して一層適した印刷出力結果を得ることができる。更に、いずれの印刷物がいずれの顔領域に対して補正が実行されているのかの情報として印刷順番表示部86aなどを表示出力するため、ユーザは表示出力された情報を利用して印刷出力結果と顔領域との対応関係を認識することができる。更にまた、自動補正モードが設定されたあと、顔領域の状態に基づいて顔領域を補正する補正方法を選択して実行するため、ユーザの望むときに、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。そして、印刷設定枚数Pを情報表示欄88により表示出力するため、出力数の情報をユーザが認識することができる。
【0032】
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
【0033】
例えば、上述した実施形態では、逆光度合いALが閾値ALref以上であるものに対して、それぞれピンぼけ補正と逆光補正とを行うものとしたが、これらのうちいずれか一方を省略してもよい。こうしても、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データの出力の無駄をより低減することはできる。また、これに加えて又はこれに代えて、その他の補正処理を実行するものとしてもよい。
【0034】
上述した実施形態では、各顔領域に対して選択した各々の補正のいずれかを画像全体に実行する処理を、印刷設定枚数Pの数の画像データに別々に実行し、この印刷設定枚数Pの補正後の画像を印刷出力するものとしたが、各顔領域に対して選択した補正のすべてを画像全体に実行し、設定した印刷設定枚数Pの補正後の画像を印刷出力するものとしてもよい。こうすれば、同じ補正を行った画像が印刷設定枚数Pだけ印刷出力されるから、補正された顔領域と印刷出力結果との対応関係を確認するユーザの手間を低減することができる。このとき、選択した補正のすべてを画像全体に実行するに際して、画像全体に平均的な補正を実行するものとしてもよい。こうしても、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。あるいは、各顔領域に対して選択した補正を各顔領域に対して実行した画像を生成し、この生成した画像を印刷設定枚数Pだけ印刷出力するものとしてもよい。このとき、顔領域の各々が他の領域と違和感を生じない程度に各補正を各顔領域に行うものとすることが好ましい。こうしても、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。
【0035】
上述した実施形態では、顔領域に含まれる高周波成分に基づいてピント度合いFCを計算するものとしたが、顔領域に含まれるエッジ量を所定のエッジフィルタをかけたり、注目画素とその周辺の画素との輝度の差分をとることなどにより検出し、検出したエッジ量をピント度合いFCとしてもよい。エッジ量が高ければ、顔領域の輪郭が明確であることから、このエッジ量をピント度合いとすることができる。こうしても、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した印刷出力結果を得ることができる。また、画像データがJPEGデータであるときには、顔領域に対応する部分のJPEG圧縮データのDCT係数を利用してピント度合いFCを算出するものとしてもよい。
【0036】
上述した実施形態では、表示部32へ、補正処理を実行しない顔領域と補正処理を実行する顔領域とを異なる態様で表示出力し、補正する印刷物の印刷順番を顔領域に対応づけて画像データと共に表示出力し、更に印刷設定枚数Pを表示出力するものとしたが、これらを印刷出力するものとしてもよい。即ち、図5に示した印刷確認画面86を印刷出力してもよい。こうしても、どの顔領域に補正が実行され、何枚目の印刷物がどの顔領域を補正したものであるかを認識することができる。また、補正処理を実行しない顔領域と補正を実行する顔領域とを異なる態様で表示出力するのを省略してもよいし、補正する印刷物の印刷順番を顔領域に対応づけて画像データと共に表示出力するのを省略してもよいし、印刷設定枚数Pを表示出力するのを省略してもよい。なお、補正処理を実行しない顔領域と補正処理を実行する顔領域とを異なる態様で表示出力するものであれば、未補正表示部87aや補正実行表示部87bの態様以外の態様としても構わない。
【0037】
上述した実施形態では、設定された印刷設定枚数Pの画像を印刷出力するものとしたが、設定された印刷設定枚数Pの画像を表示出力するものとしてもよいし、設定された印刷設定枚数Pの画像を送信出力するものとしてもよい。即ち、本発明の画像出力手段は、印刷機構26でもよいし、表示部32でもよいし、I/F28でもよい。
【0038】
上述した実施形態では、ステップS250で印刷確認画面86を表示させたあとそのまま印刷処理を実行するものとしたが、印刷確認画面86を表示させた状態で印刷を実行してよいかをユーザに問い合わせ、ユーザが枚数設定キー34cを操作して印刷設定枚数Pを修正可能とし、修正した印刷設定枚数の画像を印刷出力するものとしてもよい。こうすれば、ユーザの意向に沿った枚数の画像の印刷出力を実行することができる。
【0039】
上述した実施形態では、プリンタ20を本発明の画像処理装置として説明したが、複数の顔領域を含む画像データを出力処理するものであれば特に限定されず、例えば、プリンタなどの外部機器へI/F(画像出力手段)を介して顔領域に基づいて補正された複数の画像データを出力する、ピクチャービューワ、デジタルビデオ、カメラ付き携帯電話及びモバイルPCなどとしてもよい。このとき、「画像を出力」とは、印刷出力であってもよいし、表示出力であってもよいし、送信出力であってもよい。また、プリンタ20は、スキャナを備えたマルチファンクションプリンタやFAXなどとしてもよい。また、上述した実施形態では、印刷機構26は、加圧されたインクを記録紙Sに吐出して印刷処理を実行するインクジェット方式の機構であるとしたが、電子写真方式のカラーレーザプリンタや、熱転写方式のカラープリンタや、ドットインパクト方式のカラープリンタとしてもよいし、これらのモノクロプリンタとしてもよい。更に、プリンタ20の態様で説明したが、画像処理方法の態様としてもよいし、この方法のプログラムの態様としてもよい。なお、上述した実施形態では、人物の顔領域を検出するものとしたが、動物の顔領域を検出するものとしてもよい。
【図面の簡単な説明】
【0040】
【図1】プリンタ20の構成の概略を示す構成図である。
【図2】表示部32に表示される設定画面80の一例を表す説明図である。
【図3】画像補正印刷処理ルーチンの一例を表すフローチャートである。
【図4】表示部32に表示される画像表示画面84の一例を表す説明図である。
【図5】表示部32へ表示する印刷確認画面86の一例の説明図である。
【符号の説明】
【0041】
12 メモリカード、20 プリンタ、21 コントローラ、22 CPU、23 フラッシュROM、24 RAM、25 リーダライタ、25a スロット、26 印刷機構、28 インタフェース(I/F)、29 バス、30 操作パネル、32 表示部、34 操作部、34a カーソルキー、34b 決定キー、34c 枚数設定キー、80 設定画面、81 フォーカスフレーム、82 自動補正モード入力欄、84 画像表示画面、84a,84b 人物、86 印刷確認画面、86a〜86d 印刷順番表示部、87a 未補正表示部、87b 補正実行表示部、88 情報表示欄、S 記録紙。

【特許請求の範囲】
【請求項1】
画像を出力可能な画像出力手段と、
画像データに含まれている顔領域を検出する領域検出手段と、
前記検出した顔領域の状態を検出する状態検出手段と、
前記検出した顔領域が複数あるときに、前記状態検出手段が検出した顔領域の状態に基づいて少なくとも該顔領域を補正する補正実行手段と、
前記領域検出手段が検出した顔領域の数を出力数として設定し、該設定した出力数の前記補正後の画像を出力するよう前記画像出力手段を制御する制御手段と、
を備えた画像処理装置。
【請求項2】
前記状態検出手段は、前記前記画像データに含まれている顔領域のピントが合っている度合いを示すピント度合いを検出する手段であり、
前記補正実行手段は、前記状態検出手段が検出した顔領域のピント度合いに基づいて少なくとも該顔領域にピントぼけ補正を実行する手段である、請求項1に記載の画像処理装置。
【請求項3】
前記状態検出手段は、前記前記画像データに含まれている顔領域が逆光状態であるか否かを検出する手段であり、
前記補正実行手段は、前記状態検出手段が検出した顔領域の状態に基づいて少なくとも該顔領域に逆光補正を実行する手段である、請求項1又は2に記載の画像処理装置。
【請求項4】
前記補正実行手段は、前記画像データに含まれる複数の顔領域の各々に基づいた補正のいずれかを前記画像全体に実行する処理を前記検出された顔領域の数の画像データに別々に実行する手段である、請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項5】
前記制御手段は、前記画像出力手段が出力するいずれの画像がいずれの顔領域に対して補正が実行されているのかの情報を出力するよう前記画像出力手段を制御する手段である、請求項4に記載の画像処理装置。
【請求項6】
前記補正実行手段は、前記画像データに含まれる複数の顔領域の各々に基づいた補正のすべてを前記画像全体に実行する手段であり、
前記制御手段は、前記設定した出力数の前記補正後の画像を出力するよう前記画像出力手段を制御する手段である、請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項7】
請求項1〜6のいずれか1項に記載の画像処理装置であって、
画像データに含まれている顔領域の状態に基づいて補正を実行する自動補正モードを設定可能なモード設定手段、を備え、
前記補正実行手段は、前記モード設定手段によって前記自動補正モードが設定された場合、前記状態検出手段が検出した顔領域の状態に基づいて少なくとも該顔領域に補正を実行する手段である、画像処理装置。
【請求項8】
前記制御手段は、前記設定された出力数に関する情報を出力するよう前記画像出力手段を制御する手段である、請求項1〜7のいずれか1項に記載の画像処理装置。
【請求項9】
前記画像出力手段は、印刷媒体に画像を印刷出力する印刷出力手段である、請求項1〜8のいずれか1項に記載の画像処理装置。
【請求項10】
請求項1〜9のいずれか1項に記載の画像処理装置であって、
前記設定された画像の出力数を修正可能な出力数修正手段、を備え、
前記制御手段は、前記出力数修正手段によって修正された出力数の画像を出力するよう前記画像出力手段を制御する手段である、画像処理装置。
【請求項11】
コンピュータソフトウエアによる画像処理方法であって、
(a)画像データに含まれている顔領域を検出する領域検出手段と、
(b)前記ステップ(a)で検出した顔領域の状態を検出するステップと、
(c)前記ステップ(a)で検出された顔領域が複数あるときに、前記ステップ(b)で検出した顔領域の状態に基づいて少なくとも該顔領域に補正を実行するステップと、
(d)前記ステップ(a)で検出した顔領域の数を出力数として設定し、該設定した出力数の前記ステップ(c)での補正後の画像を出力するステップと、
を含む画像処理方法。
【請求項12】
請求項11に記載の画像処理方法の各ステップを1又は複数のコンピュータに実現させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2009−27425(P2009−27425A)
【公開日】平成21年2月5日(2009.2.5)
【国際特許分類】
【出願番号】特願2007−188131(P2007−188131)
【出願日】平成19年7月19日(2007.7.19)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】