画像処理装置及び方法
【課題】失敗目画像に対して最適な補正を行う。
【解決手段】画像から顔と目を検出し、この検出結果に基づいて閉じている目、半開きの目、赤目、目線がカメラを向いていない目などの失敗目であるか否かをテンプレートパターンマッチングにより判定し、失敗目であると判定された場合に、失敗目であると判定された領域に対する補正候補画像をあらかじめ作成された画像データベースから検索し、検索された候補画像のサイズ、角度、ぼかし、明るさ、色相を修正し、この修正された候補画像を合成する。
【解決手段】画像から顔と目を検出し、この検出結果に基づいて閉じている目、半開きの目、赤目、目線がカメラを向いていない目などの失敗目であるか否かをテンプレートパターンマッチングにより判定し、失敗目であると判定された場合に、失敗目であると判定された領域に対する補正候補画像をあらかじめ作成された画像データベースから検索し、検索された候補画像のサイズ、角度、ぼかし、明るさ、色相を修正し、この修正された候補画像を合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル写真画像を修正する画像処理装置及び方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及によって、写真画像のデジタル化が容易になっている。加えて印刷装置、特にインクジェット方式の高画質化が進み、ユーザが撮影したデジタル画像から写真調の印刷結果を得ることができるようになった。更に、パーソナルコンピュータ上で各種アプリケーションソフトウェアを使用して、撮影された画像データを編集、加工処理することも容易になっている。
【０００３】
このような背景から、更に簡単に撮影した画像をきれいに印刷できる環境の開発が進められている。
【０００４】
特に人物を撮影する場合に被写体である人物の目が閉じていたり半目の状態や、撮影された人物の目が赤目になることがよくある。これは、シャッタを切った瞬間に、被写体がこちらに注目していなかったり、フラッシュのプレ発光のため、逆に目を閉じてしまったり、フラッシュ光が、開いた瞳孔で反射されて目が赤く撮影されることによって起こる。
【０００５】
また、集合写真を撮影する場合には、撮影される人物全員の瞬きのタイミングを合わせることなどできないため、複数枚撮影して、極力全員の目が開いている状態の画像を得るようにしている。
【０００６】
目が閉じているか、または半目の状態になってしまった写真は、人物の印象が悪くとられることが多く、一般に失敗写真と判断される。
【０００７】
このような目が閉じている失敗写真を補正する方法としては、特許文献１及び２などに開示されている方法が知られている。
【０００８】
【特許文献１】特開２００１−１９７２９６号公報
【特許文献２】特開２００２−１９９２０２号公報
【特許文献３】特開２００２−１８３７３１号公報
【特許文献４】特開２００３−３０６６７号公報
【特許文献５】特開平８−６３５９７号公報
【特許文献６】特開２０００−１０５８２９号公報
【特許文献７】特開平８−７７３３４号公報
【特許文献８】特開２００１−２１６５１５号公報
【特許文献９】特開平５−１９７７９３号公報
【特許文献１０】特開平１１−５３５２５号公報
【特許文献１１】特開２０００−１３２６８８号公報
【特許文献１２】特開２０００−２３５６４８号公報
【特許文献１３】特開平１１−２５０２６７号公報
【特許文献１４】特登録２５４１６８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
一般的な画像処理ソフトを使用して、ユーザが手作業で、閉じている目や半目状態の目、赤目の領域に他の目を合成するという方法はあるが、簡単に満足のいく結果を得ることは困難であった。
【００１０】
特許文献１の発明では、目を閉じている画像の修正方法は開示されているが、半目や赤目などの目の画像が完全でない場合の画像に対する補正は記載されていない。
【００１１】
さらに、特許文献２に記載の発明によれば、連続した２枚の画像が必要となるため、撮影条件に制約があり、使いやすいものではないという問題がある。
【００１２】
そこで、本発明は、このような問題点を解決し、失敗目の撮影画像に最適な失敗目補正を実施することができる画像処理装置及び方法を提供することを第１の目的とする。
【００１３】
また、本発明は、このような問題点を解決し、失敗目領域のサイズ、印刷条件に応じて検索条件、補正の品位を変更することができる画像処理装置及び方法を提供することを第２の目的とする。
【課題を解決するための手段】
【００１４】
請求項１の発明は、画像から顔と目を検出する顔器官検出手段と、該顔器官検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、該失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、該候補画像修正手段によって修正された候補画像を合成する合成手段とを具備することを特徴とする。
【００１５】
請求項１の発明において、失敗目判定手段は、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することができる。
【００１６】
請求項１の発明において、失敗目判定手段は、目が閉じていることを判定することができる。
【００１７】
請求項１の発明において、失敗目判定手段は、目が半分閉じていることを判定することができる。
【００１８】
請求項１の発明において、失敗目判定手段は、目が赤目であることを判定することができる。
【００１９】
請求項６の発明は、画像から顔と目を検出する顔器官検出手段と、該顔検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、該失敗目判定手段により失敗目であると判定された失敗目領域に必要とされる品位が所定の基準以上か否かを評価する評価手段と、該評価手段により前記所定の基準以上でないと評価された場合に、前記失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、該候補画像修正手段によって修正された候補画像を合成する合成手段とを具備することを特徴とする。
【００２０】
請求項６の発明において、失敗目判定手段は、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することができる。
【００２１】
請求項６の発明において、評価手段は、失敗目であると判定された領域と画像の大きさの比を評価することができる。
【００２２】
請求項６の発明において、評価手段は、印刷条件によって評価することができる。
【００２３】
請求項９の発明において、印刷条件は、印刷メディアとすることができる。
【００２４】
請求項９の発明において、印刷条件は、印刷品位とすることができる。
【００２５】
請求項９の発明において、印刷条件は、印刷レイアウトから評価することができる。
【００２６】
請求項１３の発明は、画像から顔と目を検出する顔器官検出ステップと、該顔検出ステップによる目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定ステップと、該失敗目判定ステップにより失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索ステップと、該補正候補画像検索ステップによって検索された候補画像を修正する候補画像修正ステップと、該候補画像修正ステップによって修正された候補画像を合成する合成ステップとを具備することを特徴とする。
【００２７】
請求項１３の発明において、失敗目判定ステップは、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することができる。
【００２８】
請求項１３の発明において、失敗目判定ステップは、目が閉じていることを判定することができる。
【００２９】
請求項１３の発明において、失敗目判定ステップは、目が半分閉じていることを判定することができる。
【００３０】
請求項１３の発明において、失敗目判定ステップは、目が赤目であることを判定することができる。
【００３１】
請求項１８の発明は、画像から顔と目を検出する顔器官検出ステップと、該顔検出ステップによる目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定ステップと、該失敗目判定ステップにより失敗目であると判定された失敗目領域に必要とされる品位が所定の基準以上か否かを評価する評価ステップと、該評価ステップにより前記所定の基準以上でないと評価された場合に、前記失敗目判定ステップにより失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索ステップと、該補正候補画像検索ステップによって検索された候補画像を修正する候補画像修正ステップと、該候補画像修正ステップによって修正された候補画像を合成する合成ステップとを具備することを特徴とする。
【００３２】
請求項１８の発明において、失敗目判定ステップは、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することができる。
【００３３】
請求項１８の発明において、評価ステップは、失敗目であると判定された領域と前記画像の大きさの比を評価することができる。
【００３４】
請求項１８の発明において、評価手段は、印刷条件によって評価することができる。
【００３５】
請求項２１の発明において、印刷条件は、印刷メディアとすることができる。
【００３６】
請求項２１の発明において、印刷条件は、印刷品位とすることができる。
【００３７】
請求項２１の発明において、前記印刷条件は、印刷レイアウトから評価することができる。
【００３８】
請求項２５のプログラムは、コンピュータを、画像から顔と目を検出する顔器官検出手段と、該顔器官検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、該失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、該候補画像修正手段によって修正された候補画像を合成する合成手段として機能させる。
【００３９】
請求項２６のプログラムは、コンピュータを、画像から顔と目を検出する顔器官検出手段と、該顔検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、該失敗目判定手段により失敗目であると判定された失敗目領域に必要とされる品位が所定の基準以上か否かを評価する評価手段と、該評価手段により前記所定の基準以上でないと評価された場合に、前記失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、該候補画像修正手段によって修正された候補画像を合成する合成手段として機能させる。
【発明の効果】
【００４０】
本発明によれば、上記のように構成したので、失敗した目の撮影画像に最適な失敗目補正を実施することができる。
【００４１】
また、本発明によれば、上記のように構成したので、失敗目領域のサイズ、印刷条件に応じて、検索条件、補正の品位を変更することができる。
【発明を実施するための最良の形態】
【００４２】
以下、本発明の実施の形態を図面を参照して詳細に説明する。なお、本実施の形態は、本発明をプリンティングシステムに適用した例について説明するが、本発明はこの例に限定されるものではない。
【００４３】
＜第１の実施の形態＞
図１は本発明の第１の実施の形態を示す。これは画像処理装置の例である。
【００４４】
（画像処理装置）
図１において、画像処理装置１０１は、ＣＰＵ（central processing unit）１０２、ＲＯＭ（read only memory）１０３、ＲＡＭ（random access memory）１０４、２次記憶装置１０５、表示装置１０６、入力装置１０７、Ｉ／Ｆ（interface）制御部１０８で構成されている。
【００４５】
ＣＰＵ１０２は、ＲＯＭ１０３、ＲＡＭ１０４、２次記憶装置１０５に格納されているプログラムを適時動作させて周辺機器を制御する。
【００４６】
ＲＯＭ１０３にはＢＩＯＳ（basic input/output system）と呼ばれる周辺機器の入出力を制御するプログラムが格納されていて、電源投入時に実行され、ＲＡＭ１０４やその他の入出力装置の初期化を行う。ＲＡＭ１０４は作業用のメモリ空間を提供している。２次記憶装置１０５はＨＤＤ（hard disk drive）やＣＤ−ＲＯＭ（compact disk-ROM）に代表される大容量磁気記憶装置などで構成されており、ＯＳ（operating system）、アプリケーションや各種データが格納されている。
【００４７】
表示装置１０６はＣＲＴ（cathode ray tube）ディスプレイや液晶ディスプレイなどの表示装置である。表示装置１０６にはアプリケーションの処理結果や、メッセージなどが表示される。入力装置１０７はキーボード、マウスなどのユーザの指示を入力する機器であって、ユーザの指示を画像処理装置１０１に入力する機能を提供している。
【００４８】
Ｉ／Ｆ制御部１０８は外部周辺機器とのインタフェースを提供している。インタフェースとしては、パラレルポートとも呼ばれるＩＥＥＥ１２８４やＳＣＳＩ（small computer system interface）、更にはＵＳＢ（universal serial bus）、ＩＥＥＥ１３９４といったシリアルバスなどが使用できる。どのインタフェースを使用するかは画像処理装置１０１の構成、外部周辺機器の対応によって決まる。
【００４９】
外部周辺機器としてはデジタルスチルカメラ１０９、メモリカードリーダ／ライタ１１０、プリンタ１１１がある。
【００５０】
デジタルスチルカメラ１０９は、撮影装置であり、ユーザが撮影した撮影画像データが格納されている。撮影画像データはデジタルスチルカメラ１０９をＩ／Ｆ制御部１０８を介して画像処理装置１０１に接続するか、あるいは、デジタルスチルカメラに内蔵される記録メディアを取り出して、メモリカードリーダ／ライタ１１０に挿入して、撮影画像データを、２次記憶装置１０５に転送して格納することができる。更に、格納された撮影画像データはプリンタ１１１で印刷することが可能である。
【００５１】
（画像処理アプリケーション）
図２はユーザインタフェース（以下「ＵＩ」という。）の一例を示す。２０２〜２０５は、それぞれ、画像選択タブ、補正選択タブ、用紙選択タブ、レイアウト／印刷タブである。
【００５２】
画像選択タブ２０２を選択すると、図示はしていないが、これから補正や印刷を行うための画像を選択することができる。画像の選択には入力装置１０７（図１）を使用する。用紙選択タブ２０４を選択すると、図示はしていないが、これから印刷するときに使用する紙の種類や大きさ、印刷品位を選択することできる。レイアウト／印刷２０５を選択すると、図示しないが、印刷のレイアウト、例えば用紙全面に一枚の画像を印刷するか、または複数の画像が選択されている場合に用紙全面に４枚の画像を配置して印刷するなどのレイアウトが選択できる。
【００５３】
補正選択タブ２０３を選択すると、図２に示すようなＵＩが表示装置１０６に表示され、失敗目補正処理を選択するボタン２０６や、他の補正を選択するボタンがＵＩ上に選択できるようになっている。さらには補正対象となる画像２０７が表示されている。ユーザは画像２０７を見ながら補正強度の修正や補正パターンの変更が可能になっている。
【００５４】
（画像解析）
図３は画像処理手順の一例を示すフローチャートである。ここに、ユーザが、画像処理アプリケーションを実行して、図２のＵＩにおいて、補正対象画像２０７を選択して、補正対象画像２０７に失敗目補正処理２０６を選択して実行ボタン２１０を押して、補正開始の指示を行った、との仮定の下に、画像処理を説明する。
【００５５】
初めに、ユーザが失敗目補正処理を自動で実行するか、または手動で実行するかを、自動タブ２０８、手動タブ２０９を選択する。手動タブ２０９が選択された場合は、補正対象画像２０７中にある失敗目の領域を、入力装置１０７によって指定する。自動タブ２０８が選択され、かつ実行ボタン２１０が押されると、Ｓ３０１で、補正対象画像２０７に対して顔検出を行う。
【００５６】
この顔検出手法としては、すでに様々な手法が提案されている。特許文献３に記載の手法によれば、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。この顔候補領域に対して、画素毎の輝度勾配、及び輝度勾配の重みを算出し、これらの値が、あらかじめ設定されている理想的な顔基準画像の勾配、及び勾配の重みと比較したときに、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定される。
【００５７】
また、特許文献４に記載の手法によれば、まず画像中から肌色領域を検出し、同領域内において、人間の虹彩色画素を検出することにより、目の位置が検出される。
【００５８】
さらに、特許文献５に記載の手法によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算し、マッチング度が最も高いテンプレートを選択し、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とし、このテンプレートを用いることにより、目の位置が検出される。
【００５９】
さらに、特許文献６に記載の手法によれば、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置が鼻の位置として出力される。ついで、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が大きい画素の集合である目存在候補位置集合が求められる。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離が算出される。その距離が最も短くなるクラスタを、目が存在するクラスタと決定することにより、器官位置が検出される。
【００６０】
その他、顔及び器官位置を検出する方法としては、特許文献７乃至１４など、数多くの手法が提案されている。本実施の形態では特に手法を限定しない。
【００６１】
ここに、顔検出の結果、例えば図４に示すような画像４０１において、次のように仮定する。すなわち、顔領域４０２とは、ＬＴ（左上）及びＲＢ（右下）の２点で定義される矩形領域であるものとする。また、右目領域４０３は、ＲＥｙｅＴ（右目目頭）及びＲＥｙｅＢ（右目目尻）で定義される２点で検出され、左目領域４０４は、ＬＥｙｅＴ（左目目頭）及びＬＥｙｅＢ（左目目尻）で定義される２点で検出されるものとする。
【００６２】
Ｓ３０１で、顔と目が検出されると、Ｓ３０２で検出された目領域が失敗目であるか否かの判定を行う。ここで、失敗目とは例えば、人物の目が半開き（半目）や閉じた状態になっている目、目線がカメラを向いていない目、フラッシュの光により赤目になっている目、目の色が変色している目のことである。この失敗目であるか否かの判定には、目領域を、目領域の白目、虹彩、瞳孔部分に分割して、虹彩部分が円形に近い形をしているかの評価を行う。さらには、目のテンプレート（目が開いている画像）とのパターンマッチングを行い、所定の確度で、目が開いている、閉じている、変目の状態である、との評価を行う。また、瞳孔部分が赤いかの判定を行えば、赤目でないかの評価も実行できる。しかし、失敗目の評価項目はこれに限定されず、様々な評価量を定義することにより、失敗目の判定を行うことができる。
【００６３】
Ｓ３０３では、Ｓ３０２で算出した複数の評価量に基づいて、検出されたすべての目領域に対して失敗目の判定を行う。
【００６４】
Ｓ３０３で、失敗目が検出されなかった場合には、Ｓ３０４へ進み、ユーザに対して失敗目が検出されなかったことを通知して、次の指示を待つ。自動の失敗目検出の検出率を１００％にすることは不可能である。そのため、画像４０１の中に失敗目が撮影されていたとしても、検出できないことがある。検出できない場合には、Ｓ３０５で、ユーザは失敗目と思う目領域を指定して失敗目補正の実行を指示できる。もしユーザからの領域指定がなく、キャンセルボタン２１１が押されると、Ｓ３０６へ進み、ユーザに失敗目補正を継続するか、終了するかを問うメッセージを表示する。Ｓ３０６でユーザが失敗目補正の継続を望んだ場合には、再度Ｓ３０４へ進む。他方、失敗目補正の終了を望んだ場合は、処理を終了する。
【００６５】
Ｓ３０３で失敗目が検出された場合か、またはＳ３０６でユーザが失敗目領域を指定した場合には、Ｓ３０７へ進む。Ｓ３０７では、補正候補画像の検索を行う。修正候補画像データベース３１０は、あらかじめ作成された画像データベースである。この画像データベースには、縦横比、明るさ、虹彩の色、人種、年齢、などの目画像の特徴を分類する情報が付加された目画像が格納されている。なお、自動タブ２０８にあるチェックボックスを指定して検索条件を与えるようにしてもよい。さらには、ユーザ自身や家族の写真から成功した目の画像を修正候補画像ＤＢに追加できるようにしても良い。
【００６６】
Ｓ３０７では、検出された顔領域４０２の特徴量を判定して、修正候補画像ＤＢの中から最適な修正候補画像を選択する。検索結果は、ユーザに候補画像をして見せるようにしても良い。ユーザが、選ばれた候補画像を気に入らなかった場合、次の候補画像を見せることで補正結果の満足度をあげるようにしても良い。
【００６７】
Ｓ３０７で検出された複数の失敗目領域に対する補正候補画像を選択して、Ｓ３０８へ進む。Ｓ３０８では検出された目の領域の座標ＲＥｙｅＴとＲＥｙｅＢか、またはＬＥｙｅＴとＬＥｙｅＢの値にマッチングするように、修正候補画像を変換する。この変換により、目画像のサイズ調整、角度調整、周辺領域をぼかす調整、元画像の目領域付近の色の明るさ、色相などを加味して修正候補画像の色調整を行う。
【００６８】
Ｓ３０９で、Ｓ３０８で作成した修正候補画像を元画像に合成して、失敗目補正画像を得ることができる。
【００６９】
＜第２の実施の形態＞
第１の実施の形態では、画像全体に対する失敗目の大きさや、実際に印刷された場合の失敗目の大きさなどは、何も考慮されていなかった。しかし、撮影された画像において失敗目の大きさが小さい場合には、厳密な補正候補画像の検索や、補正候補画像の修正が必要でない場合もある。また、失敗目補正画像の使用方法において、プリンタで印刷する場合などは、その印刷サイズ、印刷品位によっては、補正を厳密に行う必要もないことがある。
【００７０】
そこで、第２の実施の形態では、失敗目の大きさや、印刷などの使用時の失敗目の大きさを考慮した。以下、これらの点を考慮した失敗目補正を説明する。図５に画像処理のフロー図を示す。図５において、Ｓ３０１からＳ３１０までのステップは、図３と同一ステップを示す。
【００７１】
Ｓ３０３で失敗目が検出されると、Ｓ５１１へ進み、Ｓ５１１において、失敗目の大きさと、どのように印刷されるかを調査する。
【００７２】
Ｓ５１２では、Ｓ５１１で得られた結果から、失敗目画像領域が必要とする品位を判定する。
【００７３】
図６は失敗目が撮影された画像の例を示す。図６において、６０１は画像全体であり、その縦、横は画素数で表すことができる。例えば２００万画素のデジタルカメラで撮影した画像は、縦×横が１６００画素×１２００画素程度である。目サイズ６０２は失敗目の大きさを示す。この目サイズ６０２はＸＥｙｅＴとＸＥｙｅＢ（ＸはＲまたはＬ）の距離で求めることができる。
【００７４】
画像６０１と失敗目の大きさとの比率は、画像６０１の縦と横のうちの小さい方の画素数と、目サイズ６０２との比で定義する。そして、この比率が所定の値以下である場合には、失敗目画像の品位は低いと評価する。例えば、画像に対して失敗目の大きさの比が１０％以下であれば品位が低いと判定する。
【００７５】
ついで、印刷条件から失敗目の品位を判定する。例えば画像６０１を、Ａ４サイズの用紙に印刷する場合と、図６（ｂ）に６０５で示すように、Ａ４サイズの用紙に４枚の画像を同時に印刷する場合では、失敗目のサイズは１／２になる。したがって、Ａ４サイズを基準として、失敗目が印刷されるメディアでどの程度の大きさになるのかを算出して失敗眼領域の品位の評価に使用できる。
【００７６】
また、印刷時には印刷品位が指定できる。印刷品位のパラメータとしては、メディアの種類、印刷画像の品位の指定を使うことができる。一般的に、光沢紙、写真用紙などの高品位メディアは品位が高く、普通紙などは品位が低いと判断できる。そこで、印刷メディアに普通紙が選択されている場合は、失敗目領域の品位の評価量を所定の割合で減じる。例えば普通紙では失敗目領域の品位を１／２にする。また、印刷画像の品位は、ドラフト印刷、標準印刷、高画質印刷などの印刷の画質によってそのレベルが規定されていることが多い。そこで、印刷画質の品位が低くても問題ないドラフト印刷では、失敗目領域の品位の評価量を、例えば１／２といった所定の割合で減じる。
【００７７】
印刷メディアの条件は、アプリケーション２０１の用紙選択タブ２０４、レイアウト／印刷タブ２０５で同じような設定になっているかを調べると良い。
【００７８】
Ｓ５１２で品位を評価した結果、失敗目領域の品位が所定の値よりも大きい場合には、第１の実施の形態と同様に、Ｓ３０７からＳ３０９までの処理を行う。他方、品位が所定の値よりも小さい場合には、Ｓ５１３へ進み、Ｓ５１３において、同一画像内に失敗目と判定されなかった画像があるか否かを調べ、Ｓ５１４で候補領域として使用できるかの判定を行う。Ｓ５１４の判定では、失敗目と失敗目でない領域とのサイズの所定の割合が、例えば０．５以上１．５以下である場合には、候補領域として採用できるものとする。また、複数の失敗目でない領域がある場合には、目領域のサイズ、色の一致度などの複数の評価量から一番似ているものを採用して、Ｓ３０８へ進む。
【００７９】
他方、Ｓ５１４で候補となる目領域がなかった場合には、標準候補画像データベース（Ｓ５１６）にあらかじめ格納されている標準目画像から候補画像を選択して、Ｓ３０８へ進む。Ｓ３０８以降は、第１の実施の形態と同じである。
【００８０】
（その他）
本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。
【００８１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は、本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００８３】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】ユーザインタフェースの一例を示す図である。
【図３】第１の実施の形態における画像処理手順の一例を示すフロー図である。
【図４】顔、目の検出例を説明するための説明図である。
【図５】第２の実施の形態にやける画像処理手順の一例を示すフロー図である。
【図６】失敗目画像の例と印刷例を示す図である。
【符号の説明】
【００８４】
１０１ 画像処理装置
１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ ２次記憶装置
１０６ 表示装置
１０７ 入力装置
１０８ Ｉ／Ｆ制御部
【技術分野】
【０００１】
本発明は、デジタル写真画像を修正する画像処理装置及び方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及によって、写真画像のデジタル化が容易になっている。加えて印刷装置、特にインクジェット方式の高画質化が進み、ユーザが撮影したデジタル画像から写真調の印刷結果を得ることができるようになった。更に、パーソナルコンピュータ上で各種アプリケーションソフトウェアを使用して、撮影された画像データを編集、加工処理することも容易になっている。
【０００３】
このような背景から、更に簡単に撮影した画像をきれいに印刷できる環境の開発が進められている。
【０００４】
特に人物を撮影する場合に被写体である人物の目が閉じていたり半目の状態や、撮影された人物の目が赤目になることがよくある。これは、シャッタを切った瞬間に、被写体がこちらに注目していなかったり、フラッシュのプレ発光のため、逆に目を閉じてしまったり、フラッシュ光が、開いた瞳孔で反射されて目が赤く撮影されることによって起こる。
【０００５】
また、集合写真を撮影する場合には、撮影される人物全員の瞬きのタイミングを合わせることなどできないため、複数枚撮影して、極力全員の目が開いている状態の画像を得るようにしている。
【０００６】
目が閉じているか、または半目の状態になってしまった写真は、人物の印象が悪くとられることが多く、一般に失敗写真と判断される。
【０００７】
このような目が閉じている失敗写真を補正する方法としては、特許文献１及び２などに開示されている方法が知られている。
【０００８】
【特許文献１】特開２００１−１９７２９６号公報
【特許文献２】特開２００２−１９９２０２号公報
【特許文献３】特開２００２−１８３７３１号公報
【特許文献４】特開２００３−３０６６７号公報
【特許文献５】特開平８−６３５９７号公報
【特許文献６】特開２０００−１０５８２９号公報
【特許文献７】特開平８−７７３３４号公報
【特許文献８】特開２００１−２１６５１５号公報
【特許文献９】特開平５−１９７７９３号公報
【特許文献１０】特開平１１−５３５２５号公報
【特許文献１１】特開２０００−１３２６８８号公報
【特許文献１２】特開２０００−２３５６４８号公報
【特許文献１３】特開平１１−２５０２６７号公報
【特許文献１４】特登録２５４１６８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
一般的な画像処理ソフトを使用して、ユーザが手作業で、閉じている目や半目状態の目、赤目の領域に他の目を合成するという方法はあるが、簡単に満足のいく結果を得ることは困難であった。
【００１０】
特許文献１の発明では、目を閉じている画像の修正方法は開示されているが、半目や赤目などの目の画像が完全でない場合の画像に対する補正は記載されていない。
【００１１】
さらに、特許文献２に記載の発明によれば、連続した２枚の画像が必要となるため、撮影条件に制約があり、使いやすいものではないという問題がある。
【００１２】
そこで、本発明は、このような問題点を解決し、失敗目の撮影画像に最適な失敗目補正を実施することができる画像処理装置及び方法を提供することを第１の目的とする。
【００１３】
また、本発明は、このような問題点を解決し、失敗目領域のサイズ、印刷条件に応じて検索条件、補正の品位を変更することができる画像処理装置及び方法を提供することを第２の目的とする。
【課題を解決するための手段】
【００１４】
請求項１の発明は、画像から顔と目を検出する顔器官検出手段と、該顔器官検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、該失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、該候補画像修正手段によって修正された候補画像を合成する合成手段とを具備することを特徴とする。
【００１５】
請求項１の発明において、失敗目判定手段は、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することができる。
【００１６】
請求項１の発明において、失敗目判定手段は、目が閉じていることを判定することができる。
【００１７】
請求項１の発明において、失敗目判定手段は、目が半分閉じていることを判定することができる。
【００１８】
請求項１の発明において、失敗目判定手段は、目が赤目であることを判定することができる。
【００１９】
請求項６の発明は、画像から顔と目を検出する顔器官検出手段と、該顔検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、該失敗目判定手段により失敗目であると判定された失敗目領域に必要とされる品位が所定の基準以上か否かを評価する評価手段と、該評価手段により前記所定の基準以上でないと評価された場合に、前記失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、該候補画像修正手段によって修正された候補画像を合成する合成手段とを具備することを特徴とする。
【００２０】
請求項６の発明において、失敗目判定手段は、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することができる。
【００２１】
請求項６の発明において、評価手段は、失敗目であると判定された領域と画像の大きさの比を評価することができる。
【００２２】
請求項６の発明において、評価手段は、印刷条件によって評価することができる。
【００２３】
請求項９の発明において、印刷条件は、印刷メディアとすることができる。
【００２４】
請求項９の発明において、印刷条件は、印刷品位とすることができる。
【００２５】
請求項９の発明において、印刷条件は、印刷レイアウトから評価することができる。
【００２６】
請求項１３の発明は、画像から顔と目を検出する顔器官検出ステップと、該顔検出ステップによる目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定ステップと、該失敗目判定ステップにより失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索ステップと、該補正候補画像検索ステップによって検索された候補画像を修正する候補画像修正ステップと、該候補画像修正ステップによって修正された候補画像を合成する合成ステップとを具備することを特徴とする。
【００２７】
請求項１３の発明において、失敗目判定ステップは、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することができる。
【００２８】
請求項１３の発明において、失敗目判定ステップは、目が閉じていることを判定することができる。
【００２９】
請求項１３の発明において、失敗目判定ステップは、目が半分閉じていることを判定することができる。
【００３０】
請求項１３の発明において、失敗目判定ステップは、目が赤目であることを判定することができる。
【００３１】
請求項１８の発明は、画像から顔と目を検出する顔器官検出ステップと、該顔検出ステップによる目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定ステップと、該失敗目判定ステップにより失敗目であると判定された失敗目領域に必要とされる品位が所定の基準以上か否かを評価する評価ステップと、該評価ステップにより前記所定の基準以上でないと評価された場合に、前記失敗目判定ステップにより失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索ステップと、該補正候補画像検索ステップによって検索された候補画像を修正する候補画像修正ステップと、該候補画像修正ステップによって修正された候補画像を合成する合成ステップとを具備することを特徴とする。
【００３２】
請求項１８の発明において、失敗目判定ステップは、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することができる。
【００３３】
請求項１８の発明において、評価ステップは、失敗目であると判定された領域と前記画像の大きさの比を評価することができる。
【００３４】
請求項１８の発明において、評価手段は、印刷条件によって評価することができる。
【００３５】
請求項２１の発明において、印刷条件は、印刷メディアとすることができる。
【００３６】
請求項２１の発明において、印刷条件は、印刷品位とすることができる。
【００３７】
請求項２１の発明において、前記印刷条件は、印刷レイアウトから評価することができる。
【００３８】
請求項２５のプログラムは、コンピュータを、画像から顔と目を検出する顔器官検出手段と、該顔器官検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、該失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、該候補画像修正手段によって修正された候補画像を合成する合成手段として機能させる。
【００３９】
請求項２６のプログラムは、コンピュータを、画像から顔と目を検出する顔器官検出手段と、該顔検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、該失敗目判定手段により失敗目であると判定された失敗目領域に必要とされる品位が所定の基準以上か否かを評価する評価手段と、該評価手段により前記所定の基準以上でないと評価された場合に、前記失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、該候補画像修正手段によって修正された候補画像を合成する合成手段として機能させる。
【発明の効果】
【００４０】
本発明によれば、上記のように構成したので、失敗した目の撮影画像に最適な失敗目補正を実施することができる。
【００４１】
また、本発明によれば、上記のように構成したので、失敗目領域のサイズ、印刷条件に応じて、検索条件、補正の品位を変更することができる。
【発明を実施するための最良の形態】
【００４２】
以下、本発明の実施の形態を図面を参照して詳細に説明する。なお、本実施の形態は、本発明をプリンティングシステムに適用した例について説明するが、本発明はこの例に限定されるものではない。
【００４３】
＜第１の実施の形態＞
図１は本発明の第１の実施の形態を示す。これは画像処理装置の例である。
【００４４】
（画像処理装置）
図１において、画像処理装置１０１は、ＣＰＵ（central processing unit）１０２、ＲＯＭ（read only memory）１０３、ＲＡＭ（random access memory）１０４、２次記憶装置１０５、表示装置１０６、入力装置１０７、Ｉ／Ｆ（interface）制御部１０８で構成されている。
【００４５】
ＣＰＵ１０２は、ＲＯＭ１０３、ＲＡＭ１０４、２次記憶装置１０５に格納されているプログラムを適時動作させて周辺機器を制御する。
【００４６】
ＲＯＭ１０３にはＢＩＯＳ（basic input/output system）と呼ばれる周辺機器の入出力を制御するプログラムが格納されていて、電源投入時に実行され、ＲＡＭ１０４やその他の入出力装置の初期化を行う。ＲＡＭ１０４は作業用のメモリ空間を提供している。２次記憶装置１０５はＨＤＤ（hard disk drive）やＣＤ−ＲＯＭ（compact disk-ROM）に代表される大容量磁気記憶装置などで構成されており、ＯＳ（operating system）、アプリケーションや各種データが格納されている。
【００４７】
表示装置１０６はＣＲＴ（cathode ray tube）ディスプレイや液晶ディスプレイなどの表示装置である。表示装置１０６にはアプリケーションの処理結果や、メッセージなどが表示される。入力装置１０７はキーボード、マウスなどのユーザの指示を入力する機器であって、ユーザの指示を画像処理装置１０１に入力する機能を提供している。
【００４８】
Ｉ／Ｆ制御部１０８は外部周辺機器とのインタフェースを提供している。インタフェースとしては、パラレルポートとも呼ばれるＩＥＥＥ１２８４やＳＣＳＩ（small computer system interface）、更にはＵＳＢ（universal serial bus）、ＩＥＥＥ１３９４といったシリアルバスなどが使用できる。どのインタフェースを使用するかは画像処理装置１０１の構成、外部周辺機器の対応によって決まる。
【００４９】
外部周辺機器としてはデジタルスチルカメラ１０９、メモリカードリーダ／ライタ１１０、プリンタ１１１がある。
【００５０】
デジタルスチルカメラ１０９は、撮影装置であり、ユーザが撮影した撮影画像データが格納されている。撮影画像データはデジタルスチルカメラ１０９をＩ／Ｆ制御部１０８を介して画像処理装置１０１に接続するか、あるいは、デジタルスチルカメラに内蔵される記録メディアを取り出して、メモリカードリーダ／ライタ１１０に挿入して、撮影画像データを、２次記憶装置１０５に転送して格納することができる。更に、格納された撮影画像データはプリンタ１１１で印刷することが可能である。
【００５１】
（画像処理アプリケーション）
図２はユーザインタフェース（以下「ＵＩ」という。）の一例を示す。２０２〜２０５は、それぞれ、画像選択タブ、補正選択タブ、用紙選択タブ、レイアウト／印刷タブである。
【００５２】
画像選択タブ２０２を選択すると、図示はしていないが、これから補正や印刷を行うための画像を選択することができる。画像の選択には入力装置１０７（図１）を使用する。用紙選択タブ２０４を選択すると、図示はしていないが、これから印刷するときに使用する紙の種類や大きさ、印刷品位を選択することできる。レイアウト／印刷２０５を選択すると、図示しないが、印刷のレイアウト、例えば用紙全面に一枚の画像を印刷するか、または複数の画像が選択されている場合に用紙全面に４枚の画像を配置して印刷するなどのレイアウトが選択できる。
【００５３】
補正選択タブ２０３を選択すると、図２に示すようなＵＩが表示装置１０６に表示され、失敗目補正処理を選択するボタン２０６や、他の補正を選択するボタンがＵＩ上に選択できるようになっている。さらには補正対象となる画像２０７が表示されている。ユーザは画像２０７を見ながら補正強度の修正や補正パターンの変更が可能になっている。
【００５４】
（画像解析）
図３は画像処理手順の一例を示すフローチャートである。ここに、ユーザが、画像処理アプリケーションを実行して、図２のＵＩにおいて、補正対象画像２０７を選択して、補正対象画像２０７に失敗目補正処理２０６を選択して実行ボタン２１０を押して、補正開始の指示を行った、との仮定の下に、画像処理を説明する。
【００５５】
初めに、ユーザが失敗目補正処理を自動で実行するか、または手動で実行するかを、自動タブ２０８、手動タブ２０９を選択する。手動タブ２０９が選択された場合は、補正対象画像２０７中にある失敗目の領域を、入力装置１０７によって指定する。自動タブ２０８が選択され、かつ実行ボタン２１０が押されると、Ｓ３０１で、補正対象画像２０７に対して顔検出を行う。
【００５６】
この顔検出手法としては、すでに様々な手法が提案されている。特許文献３に記載の手法によれば、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。この顔候補領域に対して、画素毎の輝度勾配、及び輝度勾配の重みを算出し、これらの値が、あらかじめ設定されている理想的な顔基準画像の勾配、及び勾配の重みと比較したときに、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定される。
【００５７】
また、特許文献４に記載の手法によれば、まず画像中から肌色領域を検出し、同領域内において、人間の虹彩色画素を検出することにより、目の位置が検出される。
【００５８】
さらに、特許文献５に記載の手法によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算し、マッチング度が最も高いテンプレートを選択し、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とし、このテンプレートを用いることにより、目の位置が検出される。
【００５９】
さらに、特許文献６に記載の手法によれば、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置が鼻の位置として出力される。ついで、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が大きい画素の集合である目存在候補位置集合が求められる。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離が算出される。その距離が最も短くなるクラスタを、目が存在するクラスタと決定することにより、器官位置が検出される。
【００６０】
その他、顔及び器官位置を検出する方法としては、特許文献７乃至１４など、数多くの手法が提案されている。本実施の形態では特に手法を限定しない。
【００６１】
ここに、顔検出の結果、例えば図４に示すような画像４０１において、次のように仮定する。すなわち、顔領域４０２とは、ＬＴ（左上）及びＲＢ（右下）の２点で定義される矩形領域であるものとする。また、右目領域４０３は、ＲＥｙｅＴ（右目目頭）及びＲＥｙｅＢ（右目目尻）で定義される２点で検出され、左目領域４０４は、ＬＥｙｅＴ（左目目頭）及びＬＥｙｅＢ（左目目尻）で定義される２点で検出されるものとする。
【００６２】
Ｓ３０１で、顔と目が検出されると、Ｓ３０２で検出された目領域が失敗目であるか否かの判定を行う。ここで、失敗目とは例えば、人物の目が半開き（半目）や閉じた状態になっている目、目線がカメラを向いていない目、フラッシュの光により赤目になっている目、目の色が変色している目のことである。この失敗目であるか否かの判定には、目領域を、目領域の白目、虹彩、瞳孔部分に分割して、虹彩部分が円形に近い形をしているかの評価を行う。さらには、目のテンプレート（目が開いている画像）とのパターンマッチングを行い、所定の確度で、目が開いている、閉じている、変目の状態である、との評価を行う。また、瞳孔部分が赤いかの判定を行えば、赤目でないかの評価も実行できる。しかし、失敗目の評価項目はこれに限定されず、様々な評価量を定義することにより、失敗目の判定を行うことができる。
【００６３】
Ｓ３０３では、Ｓ３０２で算出した複数の評価量に基づいて、検出されたすべての目領域に対して失敗目の判定を行う。
【００６４】
Ｓ３０３で、失敗目が検出されなかった場合には、Ｓ３０４へ進み、ユーザに対して失敗目が検出されなかったことを通知して、次の指示を待つ。自動の失敗目検出の検出率を１００％にすることは不可能である。そのため、画像４０１の中に失敗目が撮影されていたとしても、検出できないことがある。検出できない場合には、Ｓ３０５で、ユーザは失敗目と思う目領域を指定して失敗目補正の実行を指示できる。もしユーザからの領域指定がなく、キャンセルボタン２１１が押されると、Ｓ３０６へ進み、ユーザに失敗目補正を継続するか、終了するかを問うメッセージを表示する。Ｓ３０６でユーザが失敗目補正の継続を望んだ場合には、再度Ｓ３０４へ進む。他方、失敗目補正の終了を望んだ場合は、処理を終了する。
【００６５】
Ｓ３０３で失敗目が検出された場合か、またはＳ３０６でユーザが失敗目領域を指定した場合には、Ｓ３０７へ進む。Ｓ３０７では、補正候補画像の検索を行う。修正候補画像データベース３１０は、あらかじめ作成された画像データベースである。この画像データベースには、縦横比、明るさ、虹彩の色、人種、年齢、などの目画像の特徴を分類する情報が付加された目画像が格納されている。なお、自動タブ２０８にあるチェックボックスを指定して検索条件を与えるようにしてもよい。さらには、ユーザ自身や家族の写真から成功した目の画像を修正候補画像ＤＢに追加できるようにしても良い。
【００６６】
Ｓ３０７では、検出された顔領域４０２の特徴量を判定して、修正候補画像ＤＢの中から最適な修正候補画像を選択する。検索結果は、ユーザに候補画像をして見せるようにしても良い。ユーザが、選ばれた候補画像を気に入らなかった場合、次の候補画像を見せることで補正結果の満足度をあげるようにしても良い。
【００６７】
Ｓ３０７で検出された複数の失敗目領域に対する補正候補画像を選択して、Ｓ３０８へ進む。Ｓ３０８では検出された目の領域の座標ＲＥｙｅＴとＲＥｙｅＢか、またはＬＥｙｅＴとＬＥｙｅＢの値にマッチングするように、修正候補画像を変換する。この変換により、目画像のサイズ調整、角度調整、周辺領域をぼかす調整、元画像の目領域付近の色の明るさ、色相などを加味して修正候補画像の色調整を行う。
【００６８】
Ｓ３０９で、Ｓ３０８で作成した修正候補画像を元画像に合成して、失敗目補正画像を得ることができる。
【００６９】
＜第２の実施の形態＞
第１の実施の形態では、画像全体に対する失敗目の大きさや、実際に印刷された場合の失敗目の大きさなどは、何も考慮されていなかった。しかし、撮影された画像において失敗目の大きさが小さい場合には、厳密な補正候補画像の検索や、補正候補画像の修正が必要でない場合もある。また、失敗目補正画像の使用方法において、プリンタで印刷する場合などは、その印刷サイズ、印刷品位によっては、補正を厳密に行う必要もないことがある。
【００７０】
そこで、第２の実施の形態では、失敗目の大きさや、印刷などの使用時の失敗目の大きさを考慮した。以下、これらの点を考慮した失敗目補正を説明する。図５に画像処理のフロー図を示す。図５において、Ｓ３０１からＳ３１０までのステップは、図３と同一ステップを示す。
【００７１】
Ｓ３０３で失敗目が検出されると、Ｓ５１１へ進み、Ｓ５１１において、失敗目の大きさと、どのように印刷されるかを調査する。
【００７２】
Ｓ５１２では、Ｓ５１１で得られた結果から、失敗目画像領域が必要とする品位を判定する。
【００７３】
図６は失敗目が撮影された画像の例を示す。図６において、６０１は画像全体であり、その縦、横は画素数で表すことができる。例えば２００万画素のデジタルカメラで撮影した画像は、縦×横が１６００画素×１２００画素程度である。目サイズ６０２は失敗目の大きさを示す。この目サイズ６０２はＸＥｙｅＴとＸＥｙｅＢ（ＸはＲまたはＬ）の距離で求めることができる。
【００７４】
画像６０１と失敗目の大きさとの比率は、画像６０１の縦と横のうちの小さい方の画素数と、目サイズ６０２との比で定義する。そして、この比率が所定の値以下である場合には、失敗目画像の品位は低いと評価する。例えば、画像に対して失敗目の大きさの比が１０％以下であれば品位が低いと判定する。
【００７５】
ついで、印刷条件から失敗目の品位を判定する。例えば画像６０１を、Ａ４サイズの用紙に印刷する場合と、図６（ｂ）に６０５で示すように、Ａ４サイズの用紙に４枚の画像を同時に印刷する場合では、失敗目のサイズは１／２になる。したがって、Ａ４サイズを基準として、失敗目が印刷されるメディアでどの程度の大きさになるのかを算出して失敗眼領域の品位の評価に使用できる。
【００７６】
また、印刷時には印刷品位が指定できる。印刷品位のパラメータとしては、メディアの種類、印刷画像の品位の指定を使うことができる。一般的に、光沢紙、写真用紙などの高品位メディアは品位が高く、普通紙などは品位が低いと判断できる。そこで、印刷メディアに普通紙が選択されている場合は、失敗目領域の品位の評価量を所定の割合で減じる。例えば普通紙では失敗目領域の品位を１／２にする。また、印刷画像の品位は、ドラフト印刷、標準印刷、高画質印刷などの印刷の画質によってそのレベルが規定されていることが多い。そこで、印刷画質の品位が低くても問題ないドラフト印刷では、失敗目領域の品位の評価量を、例えば１／２といった所定の割合で減じる。
【００７７】
印刷メディアの条件は、アプリケーション２０１の用紙選択タブ２０４、レイアウト／印刷タブ２０５で同じような設定になっているかを調べると良い。
【００７８】
Ｓ５１２で品位を評価した結果、失敗目領域の品位が所定の値よりも大きい場合には、第１の実施の形態と同様に、Ｓ３０７からＳ３０９までの処理を行う。他方、品位が所定の値よりも小さい場合には、Ｓ５１３へ進み、Ｓ５１３において、同一画像内に失敗目と判定されなかった画像があるか否かを調べ、Ｓ５１４で候補領域として使用できるかの判定を行う。Ｓ５１４の判定では、失敗目と失敗目でない領域とのサイズの所定の割合が、例えば０．５以上１．５以下である場合には、候補領域として採用できるものとする。また、複数の失敗目でない領域がある場合には、目領域のサイズ、色の一致度などの複数の評価量から一番似ているものを採用して、Ｓ３０８へ進む。
【００７９】
他方、Ｓ５１４で候補となる目領域がなかった場合には、標準候補画像データベース（Ｓ５１６）にあらかじめ格納されている標準目画像から候補画像を選択して、Ｓ３０８へ進む。Ｓ３０８以降は、第１の実施の形態と同じである。
【００８０】
（その他）
本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。
【００８１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は、本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００８３】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】ユーザインタフェースの一例を示す図である。
【図３】第１の実施の形態における画像処理手順の一例を示すフロー図である。
【図４】顔、目の検出例を説明するための説明図である。
【図５】第２の実施の形態にやける画像処理手順の一例を示すフロー図である。
【図６】失敗目画像の例と印刷例を示す図である。
【符号の説明】
【００８４】
１０１ 画像処理装置
１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ ２次記憶装置
１０６ 表示装置
１０７ 入力装置
１０８ Ｉ／Ｆ制御部
【特許請求の範囲】
【請求項１】
画像から顔と目を検出する顔器官検出手段と、
該顔器官検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、
該失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、
該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、
該候補画像修正手段によって修正された候補画像を合成する合成手段と
を具備することを特徴とする画像処理装置。
【請求項２】
請求項１において、前記失敗目判定手段は、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することを特徴とする画像処理装置。
【請求項３】
請求項１において、前記失敗目判定手段は、目が閉じていることを判定することを特徴とする画像処理装置。
【請求項４】
請求項１において、前記失敗目判定手段は、目が半分閉じていることを判定することを特徴とする画像処理装置。
【請求項５】
請求項１において、前記失敗目判定手段は、目が赤目であることを判定する画像処理装置。
【請求項６】
画像から顔と目を検出する顔器官検出手段と、
該顔検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、
該失敗目判定手段により失敗目であると判定された失敗目領域に必要とされる品位が所定の基準以上か否かを評価する評価手段と、
該評価手段により前記所定の基準以上でないと評価された場合に、前記失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、
該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、
該候補画像修正手段によって修正された候補画像を合成する合成手段と
を具備することを特徴とする画像処理装置。
【請求項７】
請求項６において、前記失敗目判定手段は、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することを特徴とする画像処理装置。
【請求項８】
請求項６において、前記評価手段は、失敗目であると判定された領域と前記画像の大きさの比を評価することを特徴とする画像処理装置。
【請求項９】
請求項６において、前記評価手段は、印刷条件によって評価することを特徴とする画像処理装置。
【請求項１０】
請求項９において、前記印刷条件は、印刷メディアであることを特徴とする画像処理装置。
【請求項１１】
請求項９において、前記印刷条件は、印刷品位であることを特徴とする画像処理装置。
【請求項１２】
請求項９において、前記印刷条件は、印刷レイアウトから評価することを特徴とする画像処理装置。
【請求項１３】
画像から顔と目を検出する顔器官検出ステップと、
該顔検出ステップによる目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定ステップと、
該失敗目判定ステップにより失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索ステップと、
該補正候補画像検索ステップによって検索された候補画像を修正する候補画像修正ステップと、
該候補画像修正ステップによって修正された候補画像を合成する合成ステップと
を具備することを特徴とする画像処理方法。
【請求項１４】
請求項１３において、前記失敗目判定ステップは、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することを特徴とする画像処理方法。
【請求項１５】
請求項１３において、前記失敗目判定ステップは、目が閉じていることを判定することを特徴とする画像処理方法。
【請求項１６】
請求項１３において、前記失敗目判定ステップは、目が半分閉じていることを判定することを特徴とする画像処理方法。
【請求項１７】
請求項１３において、前記失敗目判定ステップは、目が赤目であることを判定することを特徴とする画像処理方法。
【請求項１８】
画像から顔と目を検出する顔器官検出ステップと、
該顔検出ステップによる目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定ステップと、
該失敗目判定ステップにより失敗目であると判定された失敗目領域に必要とされる品位が所定の基準以上か否かを評価する評価ステップと、
該評価ステップにより前記所定の基準以上でないと評価された場合に、前記失敗目判定ステップにより失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索ステップと、
該補正候補画像検索ステップによって検索された候補画像を修正する候補画像修正ステップと、
該候補画像修正ステップによって修正された候補画像を合成する合成ステップと
を具備することを特徴とする画像処理方法。
【請求項１９】
請求項１８において、前記失敗目判定ステップは、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することを特徴とする画像処理方法。
【請求項２０】
請求項１８において、前記評価ステップは、失敗目であると判定された領域と前記画像の大きさの比を評価することを特徴とする画像処理方法。
【請求項２１】
請求項１８において、前記評価手段は、印刷条件によって評価することを特徴とする画像処理方法。
【請求項２２】
請求項２１において、前記印刷条件は、印刷メディアであることを特徴とする画像処理方法。
【請求項２３】
請求項２１において、前記印刷条件は、印刷品位であることを特徴とする画像処理方法。
【請求項２４】
請求項２１において、前記印刷条件は、印刷レイアウトから評価することを特徴とする画像処理方法。
【請求項２５】
コンピュータを、
画像から顔と目を検出する顔器官検出手段と、
該顔器官検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、
該失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、
該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、
該候補画像修正手段によって修正された候補画像を合成する合成手段と
として機能させるためのプログラム。
【請求項２６】
コンピュータを、
画像から顔と目を検出する顔器官検出手段と、
該顔検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、
該失敗目判定手段により失敗目であると判定された失敗目領域に必要とされる品位が所定の基準以上か否かを評価する評価手段と、
該評価手段により前記所定の基準以上でないと評価された場合に、前記失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、
該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、
該候補画像修正手段によって修正された候補画像を合成する合成手段と
として機能させるためのプログラム。
【請求項１】
画像から顔と目を検出する顔器官検出手段と、
該顔器官検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、
該失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、
該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、
該候補画像修正手段によって修正された候補画像を合成する合成手段と
を具備することを特徴とする画像処理装置。
【請求項２】
請求項１において、前記失敗目判定手段は、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することを特徴とする画像処理装置。
【請求項３】
請求項１において、前記失敗目判定手段は、目が閉じていることを判定することを特徴とする画像処理装置。
【請求項４】
請求項１において、前記失敗目判定手段は、目が半分閉じていることを判定することを特徴とする画像処理装置。
【請求項５】
請求項１において、前記失敗目判定手段は、目が赤目であることを判定する画像処理装置。
【請求項６】
画像から顔と目を検出する顔器官検出手段と、
該顔検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、
該失敗目判定手段により失敗目であると判定された失敗目領域に必要とされる品位が所定の基準以上か否かを評価する評価手段と、
該評価手段により前記所定の基準以上でないと評価された場合に、前記失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、
該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、
該候補画像修正手段によって修正された候補画像を合成する合成手段と
を具備することを特徴とする画像処理装置。
【請求項７】
請求項６において、前記失敗目判定手段は、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することを特徴とする画像処理装置。
【請求項８】
請求項６において、前記評価手段は、失敗目であると判定された領域と前記画像の大きさの比を評価することを特徴とする画像処理装置。
【請求項９】
請求項６において、前記評価手段は、印刷条件によって評価することを特徴とする画像処理装置。
【請求項１０】
請求項９において、前記印刷条件は、印刷メディアであることを特徴とする画像処理装置。
【請求項１１】
請求項９において、前記印刷条件は、印刷品位であることを特徴とする画像処理装置。
【請求項１２】
請求項９において、前記印刷条件は、印刷レイアウトから評価することを特徴とする画像処理装置。
【請求項１３】
画像から顔と目を検出する顔器官検出ステップと、
該顔検出ステップによる目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定ステップと、
該失敗目判定ステップにより失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索ステップと、
該補正候補画像検索ステップによって検索された候補画像を修正する候補画像修正ステップと、
該候補画像修正ステップによって修正された候補画像を合成する合成ステップと
を具備することを特徴とする画像処理方法。
【請求項１４】
請求項１３において、前記失敗目判定ステップは、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することを特徴とする画像処理方法。
【請求項１５】
請求項１３において、前記失敗目判定ステップは、目が閉じていることを判定することを特徴とする画像処理方法。
【請求項１６】
請求項１３において、前記失敗目判定ステップは、目が半分閉じていることを判定することを特徴とする画像処理方法。
【請求項１７】
請求項１３において、前記失敗目判定ステップは、目が赤目であることを判定することを特徴とする画像処理方法。
【請求項１８】
画像から顔と目を検出する顔器官検出ステップと、
該顔検出ステップによる目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定ステップと、
該失敗目判定ステップにより失敗目であると判定された失敗目領域に必要とされる品位が所定の基準以上か否かを評価する評価ステップと、
該評価ステップにより前記所定の基準以上でないと評価された場合に、前記失敗目判定ステップにより失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索ステップと、
該補正候補画像検索ステップによって検索された候補画像を修正する候補画像修正ステップと、
該候補画像修正ステップによって修正された候補画像を合成する合成ステップと
を具備することを特徴とする画像処理方法。
【請求項１９】
請求項１８において、前記失敗目判定ステップは、目の領域のパターンが予め定めた開いた目のパターンとマッチングするか否かに基づき失敗目であるか否かを判定することを特徴とする画像処理方法。
【請求項２０】
請求項１８において、前記評価ステップは、失敗目であると判定された領域と前記画像の大きさの比を評価することを特徴とする画像処理方法。
【請求項２１】
請求項１８において、前記評価手段は、印刷条件によって評価することを特徴とする画像処理方法。
【請求項２２】
請求項２１において、前記印刷条件は、印刷メディアであることを特徴とする画像処理方法。
【請求項２３】
請求項２１において、前記印刷条件は、印刷品位であることを特徴とする画像処理方法。
【請求項２４】
請求項２１において、前記印刷条件は、印刷レイアウトから評価することを特徴とする画像処理方法。
【請求項２５】
コンピュータを、
画像から顔と目を検出する顔器官検出手段と、
該顔器官検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、
該失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、
該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、
該候補画像修正手段によって修正された候補画像を合成する合成手段と
として機能させるためのプログラム。
【請求項２６】
コンピュータを、
画像から顔と目を検出する顔器官検出手段と、
該顔検出手段による目の検出結果に基づいて失敗目であるか否かを判定する失敗目判定手段と、
該失敗目判定手段により失敗目であると判定された失敗目領域に必要とされる品位が所定の基準以上か否かを評価する評価手段と、
該評価手段により前記所定の基準以上でないと評価された場合に、前記失敗目判定手段により失敗目であると判定された領域に対する補正候補画像を検索する補正候補画像検索手段と、
該補正候補画像検索手段によって検索された候補画像を修正する候補画像修正手段と、
該候補画像修正手段によって修正された候補画像を合成する合成手段と
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−３４４１６６（Ｐ２００６−３４４１６６Ａ）
【公開日】平成１８年１２月２１日（２００６．１２．２１）
【国際特許分類】
【出願番号】特願２００５−１７１５２９（Ｐ２００５−１７１５２９）
【出願日】平成１７年６月１０日（２００５．６．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年１２月２１日（２００６．１２．２１）
【国際特許分類】
【出願日】平成１７年６月１０日（２００５．６．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]