画像処理装置、画像処理方法、プログラム及び記録媒体
【課題】 処理対象の画像データに光沢部分が有るか否かの判定を、従来の判定手段が有する精度よりも高精度に行う。
【解決手段】 識別部１３は、処理対象画像から光沢部分の特徴量として、“輝度と色”又は“輝度変化方向”を抽出し、抽出した当該特徴量を基に各々異なる識別手段を有する複数の弱識別器によって光沢部分を識別し、得られる各識別結果にパラメータを掛けて評価値を得、得られる評価値を総合して、所定の光沢部分であるか否かを判定する。検出処理部１５は、判定結果により例えば白黒で光沢画像を検出する。学習処理部１４は、正解が分かっている所定の光沢部分の訓練用画像を識別部１３に用いることにより、学習処理を行い、学習結果として、光沢部分であるか否かの判定を適正化する上記パラメータの値を求める。また、処理対象の印刷用画像データに対しては、学習処理を経て適正化されたパラメータを設定して光沢部分の判定を行う。
【解決手段】 識別部１３は、処理対象画像から光沢部分の特徴量として、“輝度と色”又は“輝度変化方向”を抽出し、抽出した当該特徴量を基に各々異なる識別手段を有する複数の弱識別器によって光沢部分を識別し、得られる各識別結果にパラメータを掛けて評価値を得、得られる評価値を総合して、所定の光沢部分であるか否かを判定する。検出処理部１５は、判定結果により例えば白黒で光沢画像を検出する。学習処理部１４は、正解が分かっている所定の光沢部分の訓練用画像を識別部１３に用いることにより、学習処理を行い、学習結果として、光沢部分であるか否かの判定を適正化する上記パラメータの値を求める。また、処理対象の印刷用画像データに対しては、学習処理を経て適正化されたパラメータを設定して光沢部分の判定を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プリント出力用の画像データを処理する画像処理装置に関し、より詳しくは、特殊効果として出力画像に付与する光沢の画像データを生成する処理を行う画像処理装置、画像処理方法及び該画像処理をコンピュータに行わせるためのプログラムに関する。
【背景技術】
【０００２】
従来からプリント出力において、特殊効果として出力画像に光沢を付与する技術が用いられている。例えば、プロダクションプリンティング（商用印刷市場や企業内印刷市場向け高速複写機による印刷）においては、特殊効果を与えるために、光沢度を変更するクリアトナーや金属色、蛍光色等の特色の版データを作成する手法が採用されている。
また、上記手法には、Adobe Systems社のフォトショップ（登録商標）等を用いて、そこに用意されている領域選択機能によって特殊効果を与える領域を指定する方法が適用されている。
【０００３】
また、光沢部分の領域の指定に関しては、特許文献１（特開２００２−５１２２６号公報）、特許文献２（特願２０１１−３０８１６号）が提案されている。
特許文献１の画像処理装置では、画像内の光沢領域を抽出する際に、光源の波長成分が偏っている場合にも適切な抽出を行なう目的で、光源色指定部において画像データにおける光源特性を設定し、設定された光源特性及び画像データにおける色相の変化に基づいて抽出した画像要素領域のうち、急明度変化域抽出部で抽出された急激な明度変化のある明度変化領域に含まれる領域を光沢領域とすることが記載されている。
特許文献２の印刷用データ作成装置では、輝度成分のヒストグラムの歪度を閾値と比較することで光沢部分が有るか否かを判定し、光沢部分があると判定した場合には、輝度の高い部分に特殊効果を与える領域のマーカーを、輝度の低い部分に特殊効果を与えない領域のマーカーを設定し、領域分割アルゴリズムを実行して特殊効果を与える部分を抽出する処理を行うことが記載されている。
【０００４】
従来技術として例示した特許文献１，２は、画像データにおける光沢部分の領域を判定し、判定結果により光沢の画像データを生成する手段を備えることで、光沢部分の領域を指定するユーザーの操作を不要としているが、これらの従来例の判定手段はいずれも、ユーザーに違和感を持たせないよう光沢領域が判定できる精度にまで判定精度を上げることが困難であり、出力画像に十分な光沢付与効果が得られない、という問題を有する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、処理対象の画像データに光沢部分が有るか否かの判定を、従来の判定手段が有する精度よりも高精度に行うようにすることである。
【課題を解決するための手段】
【０００６】
本発明は、処理対象画像から光沢部分を検出する処理を行う画像処理装置であって、処理対象画像から光沢部分の特徴量を抽出し、抽出した特徴量を基に各々異なる識別手段によって光沢部分を識別する複数の弱識別器を備え、前記複数の弱識別器により得られた識別結果からそれぞれ導かれる評価値を総合して、所定の光沢部分であるか否かを判定する光沢部分判定手段と、前記所定の光沢部分の訓練用画像と当該訓練用画像に対応する光沢部分の正解画像を用いて前記光沢部分判定手段に対する学習処理を行い、光沢部分の判定を適正化するための学習結果を得る学習処理手段と、前記学習処理手段により得られた学習結果を反映させた前記光沢部分判定手段によって処理対象画像における光沢部分を判定し、判定結果に従い光沢部分の画像を検出する光沢部分検出手段とを有する画像処理装置である。
また、本発明は、処理対象画像から光沢部分の特徴量を抽出し、抽出した特徴量を基に光沢部分を識別する、各々異なる識別手段を有する複数の弱識別器を用いて、処理対象画像から光沢部分を検出する処理を行う画像処理装置における画像処理方法であって、前記複数の弱識別器によって得られた識別結果からそれぞれ導かれる評価値を総合して、所定の光沢部分であるか否かを判定する光沢部分判定工程と、前記所定の光沢部分の訓練用画像と当該訓練用画像に対応する光沢部分の正解画像を用いて前記光沢部分判定工程を通して学習処理を行い、光沢部分の判定を適正化するための学習結果を得る学習処理工程と、前記学習処理工程で得られた学習結果が反映された前記光沢部分判定工程を通すことにより、処理対象画像における光沢部分を判定し、判定結果に従い光沢部分の画像を検出する光沢部分検出工程とを有する画像処理方法である。
【発明の効果】
【０００７】
本発明によると、処理対象の画像データに光沢部分が有るか否かの判定を、従来の判定手段が有する精度よりも高精度に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】画像処理装置（図１）において光沢判定を行う識別部の学習処理のフロー図である。
【図３】画像処理装置（図１）における、学習後の識別部の判定結果によって光沢部分の検出を行う光沢検出処理のフロー図である。
【図４】AdaBoostアルゴリズムによって得られる合成識別器を有する識別部を説明する図である。
【図５】画像処理装置（図１）の識別部による光沢判定の学習処理に用いる訓練用画像データの一例を表す図である。
【図６】図５に例示した画像データに対応する、識別部による光沢判定の学習処理に用いる訓練用正解データの一例を表す図である。
【図７】学習後の識別部による判定結果から検出された、図５に例示した訓練用画像データに対応する光沢画像データを表す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明に係る画像処理装置及び画像処理方法の実施形態を詳細に説明する。
本実施形態に係る画像処理装置は、被写体を撮影するデジタルカメラ等によって変換された撮影画像の入力を受け、入力された画像をもとにプリント出力等の画像出力に用いるデータを生成する際、入力画像における光沢部分の領域に光沢度を変更するクリアトナーや金属色、蛍光色等の特色による特殊効果を付与するための画像データを生成する処理を行う。
この光沢部分の領域に特殊効果を付与するための画像を生成する処理の手順として、処理対象の画像から光沢部分の特徴量を抽出し、抽出した特徴量から当該画像が光沢部分であるか否かを画素単位で判定する。なお、“光沢”は、光を正反射する属性であり、以下で“光沢度”という場合、正反射の程度を表す量を表す。
【００１０】
処理対象画像から抽出した光沢部分の特徴量に基づいて光沢部分を判定する従来技術は、必ずしも要求を満たす十分な判定精度が得られず、判定精度を上げることが発明の解決課題である。
上記発明の解決課題に対し、本実施形態では、後記で詳述する識別部を有する。この識別部は、処理対象画像から光沢部分の特徴量として、“輝度と色”又は“輝度変化方向”を抽出し、抽出した当該特徴量を基に各々異なる識別手段を有する複数の弱識別器によって光沢部分を識別する。また、複数の弱識別器により得られた識別結果からそれぞれ光沢部分を判定するために導かれる評価値として、弱識別器により得られた各識別結果にパラメータを掛けてこの評価値を得、得られる評価値を総合して、所定の光沢部分であるか否かを判定する光沢部分判定手段を有する。なお、本実施形態において、光沢部分判定手段は、複数の弱識別器からの評価値を総合した結果に対する閾値処理により２値の判定結果を得る手段である。
【００１１】
さらに、本実施形態では、前記光沢部分判定手段によって判定される所定の光沢部分の訓練用画像を上記識別部に用いることにより、学習処理を行い、学習結果として、光沢部分であるか否かの判定を誤りなく行う（以下「適正化」という）よう、上記パラメータの値を求める。また、処理対象の印刷用画像データに対しては、学習処理を経て適正化されたパラメータ（後記「学習結果パラメータ」）を設定した光沢部分判定手段により、処理対象の光沢部分を判定し、判定結果に従い特殊効果を付与するための版データに用いる光沢部分の画像データを検出する。
【００１２】
［画像処理装置の概略構成］
図１は、本実施形態に係る画像処理装置の概略構成を示すブロック図である。
図１に示すように、画像処理装置１は、データ入力部１１、データ出力部１８、データ保存部１７、メモリ部１２、識別部１３、学習処理部１４、検出処理部１５の各部を有する。
データ入力部１１は、光沢部分の画像データの検出処理の対象としての印刷用画像データやデフォルト設定等の外部から設定される識別部１３の学習結果パラメータ等をファイル等の形式でメモリ部１２に読み込む動作を行う。
データ出力部１８は、処理対象の印刷用画像データから検出された光沢部分の画像データ（光沢効果を与える版データ）を出力するものである。
【００１３】
データ保存部１７は、メモリ部１２に保持されたデータのうちの保存が必要なデータである、検出結果として得られた光沢部分の画像データや学習結果として得られたパラメータをファイル等の形式で保存する。
識別部１３は、処理対象の画像データから抽出した光沢部分の特徴量に基づいて弱識別器が光沢部分を識別し、得られる識別結果にパラメータをを掛けて評価値を計算し、求めた評価値への閾値処理により光沢部分があるか否かを判定する。本実施形態では、光沢部分を識別するために、“輝度と色”、“輝度変化方向”の各特徴量による２つの型の弱識別器を備え、弱識別器を複数の構成とする。また、２つの型の弱識別器各々において、光沢部分の識別に用いる閾値にバリエーションを付けることにより、弱識別器を複数の構成としてもよい。
【００１４】
学習処理部１４は、所定の光沢部分の訓練用画像データを処理対象に用いて識別部１３に光沢部分の判定処理を行わせ、訓練用正解データを目標に学習処理を行ない、学習結果パラメータを得る。この学習処理のアルゴリズムとしてブースティングを使用することができ、その具体例としては、例えばAdaBoostアルゴリズム等があり、本実施形態ではAdaBoostアルゴリズムを用いる（学習処理の詳細は後記で詳述）。
メモリ部１２は、データ入力部１１、データ出力部１８、データ保存部１７、識別部１３、学習処理部１４、検出処理部１５の各部で扱う画像データ、検出結果データ、訓練用画像データ、訓練用正解データ、学習結果パラメータ等の各種データを保持し、アクセス要求に応じ書込／読出を行う。
検出処理部１５は、処理対象の印刷画像データの各画素に対し、メモリ部１２に保持された学習結果パラメータと識別部１３を用いて光沢部分であるか否かが判定され、得られた結果を基に、光沢としての特殊効果を付与するための画像データを検出する処理を行う。
【００１５】
また、画像処理装置１のデータ処理系は、コンピュータをハードウェアとして構成することができる。
データ処理系を構成するコンピュータは、ソフトウェアプログラムの命令を実行するためのＣＰＵ（Central Processing Unit）と、ＣＰＵによって使用されるプログラム、制御データ等を格納するＲＯＭ（Read Only Memory）と、前記プログラムによって生成される各種データなどを一時的に保存するメモリ或いはソフトウェアプログラムの動作に必要なデータを保存するワークメモリとして利用するＲＡＭ（Random Access Memory）と、機器に依存する処理条件等の設定データなどを保存しておく不揮発性メモリであるＮＶ−ＲＡＭ（Non Volatile RAM）を構成要素として有する。
後述する光沢検出処理は、この処理を実行するための処理手順（図２、図３、参照）を記述したプログラムを上記コンピュータにより駆動することにより実施することができる。
【００１６】
［光沢検出処理手順］
次に、上記画像処理装置１が行う、処理対象画像の光沢部分の画像データを検出する処理の手順について、詳細に説明する。
以下に示す光沢検出処理手順は、処理対象の画像が入力されるたびに、識別部に対し学習処理を行い、その学習処理の結果を反映した設定で光沢の検出処理を行うことが基本動作である。
上記基本動作を処理対象の画像ごとに行うためには、学習処理に用いる訓練用画像データ及び訓練用正解データ（訓練用画像における光沢部分の正解画像）を処理対象の画像ごとに用意し、学習処理を実行する必要がある。このとき、用意する訓練用画像データ及び訓練用正解データは、処理対象画像を撮影したものと同じデジタルカメラ等の撮影手段で同様の条件下にある被写体を撮影するといった条件で求めたデータを用意すれば、検出精度を高めることができる。この場合、訓練用画像データ及び訓練用正解データは、処理対象画像と同時にデータ入力部１１を通して入力される。
【００１７】
ただ、実際には、上記訓練用画像データ及び訓練用正解データが準備できない場合もあり、こうした場合に対応可能とするように、同様の性能を有する撮影手段が所定の被写体を撮影したときの訓練用画像データ及び訓練用正解データを共通に用いること、即ち、以前に訓練用のこれらのデータを用いて求めた学習結果パラメータを再利用して実施する手法を採用することができる。なお、この手法は、同一の撮影手段で同様の条件下にある被写体を撮影した複数の画像よりなる印刷ジョブが処理対象になるときにも適応し得る。つまり、複数の画像よりなる印刷ジョブの場合、画像ごとに学習処理を行うことなく、最初の画像に対する学習処理によって求められた学習結果パラメータを、印刷ジョブ中にある残りの画像の光沢の検出処理に再利用する。
【００１８】
このような実施上の条件を考慮し、本実施形態における光沢検出処理手順は、学習処理手順と検出手順を一体の処理手順として行わずに、以下では、「識別部の学習処理」、「光沢検出処理」として、それぞれを別に行うようにして、印刷要求が異なる内容であるときにそれぞれに対応した処理を可能とする。つまり、学習結果として既に得られた学習結果パラメータを利用する場合には、学習処理を同時に行うことなく、「光沢検出処理」のみを行える手順とする。
【００１９】
「識別部の学習処理」
図２は、画像処理装置１（図１）において光沢判定を行う識別部１３の学習処理のフロー図である。
図２のフローは、画像処理装置１全体を制御する制御部（不図示）から訓練用画像データ及び訓練用正解データの入力とともに、行われる識別部１３の学習処理の指示を受け、起動される。
このフローの初めに、学習処理の対象となる識別部１３に備える、所定の閾値を設定した弱識別器を構成する（ステップＳ１０１）。
本実施形態では、光沢部分を識別するために、“輝度と色”、“輝度変化方向”の各特徴量による２つの型の弱識別器を構成する。また、２型式の各々において、弱識別器の識別処理に用いる閾値をそれぞれ変えることにより、閾値でバリエーションを付けた複数構成の弱識別器であってもよい。なお、閾値でバリエーションを付けた複数構成の弱識別器は、手動で閾値の調整をするといった手順を不要とする。
【００２０】
ここで、“輝度と色”、“輝度変化方向”の各特徴量による２つの型の弱識別器について、各々説明する。
〈“輝度と色”型の弱識別器〉
輝度と色を特徴量とした弱識別器では、ハイライト部分では輝度が高くなることと、ハイライト部分の鏡面反射光は光源の色になるという性質を組み合わせて、光沢部分を識別する。
具体的には、まず入力画像のＲＧＢ表色系のデータ（以下、単に「ＲＧＢ」という）を下記式（１）の一次変換でＸＹＺ表色系のデータ（以下、単に「ＸＹＺ」という）に変換する。
【数１】
【００２１】
上記式（１）の変換は、ＲＧＢの（０，０，０）をＸＹＺの（０，０，０）に、ＲＧＢの（２５５，２５５，２５５）をＸＹＺの（０，０，２）に変換する。即ち、ＲＧＢ表色系の座標（０，０，０）を固定して、同系における座標（２５５，２５５，２５５）をＺ軸上に来るように回転させて、高さが２になるように倍率を変更したＸＹＺ座標系の座標値に変換するものである。
【００２２】
次いで、上記式（１）により変換されたＸＹＺに基づいて光沢の特徴量として輝度と色を抽出し、抽出した特徴量に対する閾値処理で光沢部分であるか否かを識別する弱識別器を構成する。輝度については、ＸＹＺ座標系のＺ座標値が０から２の間で設定された閾値以上であるか否かを判定し、閾値以上を光沢部分と識別する。他方、色については、ＸＹＺ座標系のＺ軸からの距離が０から１の間で設定された閾値以下であるか否かを判定し、閾値以下を光沢部分と識別する。
また、輝度と色の各判定のＡＮＤ条件により光沢部分であるか否かの最終判定をする。即ち、輝度が閾値以上であり、且つ色がＸＹＺ座標系のＺ軸からの距離が閾値以下であれば、光沢部分であると識別される。なお、この判定方法は、ＨＬＳ（Hue：色相，Lightness/Luminance：輝度，Saturation：彩度）色空間での輝度と彩度による判定と類似のものになっている。
【００２３】
なお、輝度と色を特徴量とした光沢部分の識別方法は、下記参考文献１が参照できる。
参考文献１：
Detection of Specular Highlights in Color Images using a New Color Space Transformation , Jae Byung Park, Robotics and Biomimetics, 2004. ROBIO 2004. IEEE International Conference on Digital Object Identifier: 10.1109/ROBIO.2004.1521873, Publication Year: 2004 , Page(s): 737-741
【００２４】
〈“輝度変化方向”型の弱識別器〉
輝度変化方向を特徴量とした弱識別器の実施例の構成は以下のようになる。
輝度変化方向を特徴量とした弱識別器では、金属表面などで光沢面に背景の形が映り込むような場合、反射面の形状によって反射像に共通の形状歪が生じるので、反射像の形状歪をグラディエント（輝度変化）方向の特徴として捉えて、光沢部分を識別する。
具体的には、まず座標（ｘ，ｙ）の輝度がIである画像の各ピクセルに対してblockSize×blockSizeの近傍領域Ｓ（ｐ）を考え、下記式（２）の各近傍領域全体に対する導関数の共変動行列の固有ベクトルと固有値を求める。
【数２】
【００２５】
また、blockSizeとSobelオペレータのアパーチャサイズを変動させ、得られる固有値から輝度変化方向を求める。例えば、固有値（λ１、λ２）と信頼度Ｃの関係を表す、下記式（３）で求めた信頼度Ｃが大きいものをそのピクセルのグラディエント方向として、固有値が大きい方の固有ベクトルの方向をグラディエントマップに保存する。
【数３】
【００２６】
次に、光沢面のみを検出するために、上記の処理で得たグラディエントマップで方向性の塊が小さい部分はノイズとして取り除く。
具体的には、グラディエントマップのウェーブレット係数を求め、高周波成分の係数が大きい部分をノイズとして取り除く。この方法でノイズを取り除いた後に残った画素部分のグラディエント（輝度変化）方向を光沢の特徴量として得る。
また、ここでも、上記“輝度と色”型におけると同様に、抽出した特徴量に対する閾値処理で光沢部分であるか否かを識別する弱識別器を構成する。
【００２７】
なお、輝度変化方向を特徴量とした光沢部分の識別方法は、下記参考文献２が参照できる。
参考文献２：
Detecting Specular Surfaces on Natural Images, DelPozo, A.; Savarese, S., Computer Vision and Pattern Recognition, 2007. CVPR '07. IEEE Conference on Digital Object Identifier: 10.1109/CVPR.2007.383215, Publication Year: 2007 , Page(s): 1 - 8
【００２８】
図２の処理フローに戻ると、次に、ステップＳ１０１で構成した識別部１３に対する学習処理を学習処理部１４によって行うので、学習処理に用いる訓練用画像データと訓練用正解データを、データ保存部１７等に保存されたファイル等からメモリ部１２上に読み込む（ステップＳ１０２）。
図５は、識別部による光沢判定の学習処理に用いる訓練用画像データの一例を表す図である。この例では、被写体の腕時計をカメラ等の撮影手段で撮り、通常、画像を保存するとときに用いるＪＰＥＧのデータ形式に変換された画像データを訓練用のデータとしている。
また、図６は、識別部による光沢判定の学習処理に用いる訓練用正解データの一例を表す図で、図５に例示した画像データに対応する光沢部分の正解データを持つものである。この例では、８ビットの白黒画像データにおいて光沢部分を２５５、その他の部分を０とした訓練用正解データが用意されている。
【００２９】
次いで、学習処理部１４は、上記の訓練用画像データ及び訓練用正解データを識別部１３に用いて学習処理を行う（ステップＳ１０３）。
この学習処理は、学習処理アルゴリズムを用いて、識別部１３を学習させることによって、光沢部分であるか否かの判定を誤りなく行える値を保つ学習結果パラメータとして、処理対象の画像データから抽出した光沢の特徴量によって識別した識別結果から評価値を計算する際に適用するパラメータを適正化する処理である。
【００３０】
〈AdaBoostアルゴリズムによる学習処理〉
この実施形態では学習処理アルゴリズムとして、例えば、AdaBoostアルゴリズム（以下、単に「AdaBoost」という）を利用することができるので、AdaBoostによる学習処理を実施形態として次に説明する。
AdaBoostは、ブースティング学習アルゴリズムの一つであり、各識別器の弁別能が低くても全体として強力な識別器を構成できる、特徴の追加削除などが比較的簡易に行える、などの特長がある。
【００３１】
下記“AdaBoostアルゴリズム”は、AdaBoostの手順を示すものである。
【数４】
【００３２】
上記“AdaBoostアルゴリズム”において、h（x）は上記で説明した弱識別器であり、複数の弱識別器よりなる識別器hｔ（x）、即ちh１（x）、h２（x）、・・・、hＴ（x）、を構成する（後記図４に示す「合成識別器」、参照）。また、サンプル分布Dｔとは、訓練用画像データのことである。ここでは、複数の訓練用画像データを用いて学習をする例を示している（上記（Ｃ）、（Ｄ）参照）。
上記“AdaBoostアルゴリズム”の（Ａ）〜（Ｄ）の手続きを、識別器hｔ（x）を構成する複数の弱識別器それぞれについて行い、信頼度αｔを適正化された学習結果パラメータとして求める(上記式（５）、参照)。
【００３３】
なお、AdaBoostによる学習処理の方法は、下記参考文献３が参照できる。
参考文献３：
「コンピュータビジョン最先端ガイド１」第５章、出版社：アドコム・メディア(2008/12/3)、ISBN-10:4915851346、ISBN-13:978-4915851346
【００３４】
図２の処理フローに戻ると、次に、ステップＳ１０３の学習処理を行うことにより求めた学習結果パラメータは、この学習結果を反映させる処理対象画像の光沢検出処理（後記図３のフロー、参照）に適用するために、データ保存部１７を介してファイル等の形式でメモリ部１２に保存する（ステップＳ１０４）。
学習結果パラメータを保存した後、この処理フローを終了する。
【００３５】
「光沢検出処理」
図３は、画像処理装置１（図１）における、学習後の識別部１３の判定結果によって光沢部分の検出を行う光沢検出処理のフロー図である。
図３のフローは、画像処理装置１全体を制御する制御部（不図示）から印刷に用いる画像データの入力とともに、検出処理部１５に対して行われる光沢部分の検出処理の指示を受け、起動される。
【００３６】
このフローの初めに、光沢部分の判定処理を行う識別部１３に設定するパラメータをメモリ部１２から読み込む（ステップＳ２０１）。メモリ部１２から読み込むパラメータは、学習結果パラメータとして、上記学習処理（図２の処理フロー、参照）を行うことにより得られ、保存しておいた値を用いる。
本実施形態では、光沢部分を識別するために複数構成とした、即ち“輝度と色”、“輝度変化方向”の各特徴量による異なる型の合成識別器、或いは識別処理に用いる閾値にバリエーションを付けることで増やした複数構成の合成識別器を用いるので、これら複数構成の各弱識別器に対応して保存された学習結果パラメータを識別部１３に設定する。
【００３７】
次に、光沢部分の検出処理の対象となる画像データをデータ入力部１１もしくはメモリ部１２から読み込む（ステップＳ２０２）。
次いで、ステップＳ２０２で読み込んだ検出処理の対象となる画像データに対し、識別部１３による光沢部分の判定処理を行い、判定結果に従い光沢部分を検出する処理を行う（ステップＳ２０３）。
光沢部分の判定処理は、識別部１３に構成するAdaBoostによって得られる合成識別器によって識別結果を得、識別結果に基づいて判定処理を行う。
【００３８】
図４は、AdaBoostアルゴリズムによって得られる合成識別器を有する識別部を説明する図である。
図４に示す識別部１３に構成する合成識別器は、学習処理に用いた上記“AdaBoostアルゴリズム”に対応した構成を有する。
識別部１３は、同図中の式（８）の演算を行う手段を有する。即ち、入力画像ｘ（画素値）から光沢の特徴量“輝度と色”、“輝度変化方向”を抽出し、抽出した特徴量に対する閾値処理で光沢部分であるか否かを識別する弱識別器h１（x）１３h１、h２（x）１３h２、・・・、hＴ（x）１３hＴを並列に有し、各弱識別器の識別結果に各々のパラメータ（信頼度）α１、α２、・・・αＴを介して得た評価値の線形和をとる要素１３ａ、線形和をとる要素１３ａの出力に対し閾値処理を行う要素１３ｔを有する。
【００３９】
識別部１３における光沢部分の判定処理の流れは、処理の対象となる画像データの画素値ｘを入力し、弱識別器hｔ（x）（ｔ＝１，２，・・・，Ｔ、以下同様）を用いて光沢部分を識別し、得られた識別結果に上記“AdaBoostアルゴリズム”で学習したパラメータαｔを掛けて要素１３ａで線形和をとり、求まる線形和が０以上か否かを要素１３ｔの閾値処理により判定する。線形和が０以上であれば、光沢部分であり、線形和がマイナスであれば、光沢部分ではない、との最終的な検出結果を得る。なお、本実施例では、処理の対象となる画像の全ての画素について画素ごとに、この処理を行なうことにより、画像全体についての検出処理を行う。
【００４０】
図３の処理フローに戻ると、次に、ステップＳ２０３の検出処理を行うことにより得られた光沢部分の検出結果の出力を行う（ステップＳ２０４）。検出結果の出力処理は、データ出力部１８を介して、入力画像における光沢部分であると検出された画素を１、光沢部分以外の画素を０の２値として、例えば、印刷用のデータとして出力する場合、特殊効果を付与するための版データに用いる光沢部分の画像データを出力する。
検出結果の出力を行った後、この処理フローを終了する。
【００４１】
図７は、学習後の識別部（図４、参照）による判定結果から検出された、図５に例示した訓練用画像データに対応する光沢画像データを表す図である。この例では、８ビットの白黒画像データにおいて検出された光沢部分に２５５、その他の部分に０に設定している。
なお、この例では、説明の便宜上、訓練用データとして用いた画像データ（図５）を再利用しているが、通常は訓練用画像と検出処理の対象画像は別の画像データになる。
図７に示すように、学習後の識別部を用いて検出した光沢部分の画像は、入力画像と同一の訓練用正解データ（図６）に近いデータになっており、光沢部分を高い精度で判定できることを示している。
【００４２】
上記のように、“輝度と色”、“輝度変化方向”の各特徴量により異なる型の弱識別器、或いは識別処理に用いる閾値にバリエーションを付けることで増やした弱識別器を要素として合成識別器を構成し、複数の弱識別器の識別結果にブースティングにより適正化されたパラメータを掛けて、識別結果からそれぞれ導かれた評価値を得、これらを総合して光沢部分が有るか否かの判定を行うようにしたことにより、判定精度を向上し、特殊効果を与える部分をより高い精度で判定し、処理対象画像の光沢部分の画像データを検出することができる。
【符号の説明】
【００４３】
１・・画像処理装置、１１・・データ入力部、１２・・メモリ部、１３・・識別部、１４・・学習処理部、１５・・検出処理部、１７・・データ保存部、１８・・データ出力部。
【先行技術文献】
【特許文献】
【００４４】
【特許文献１】特開２００２−５１２２６号公報
【特許文献２】特願２０１１−３０８１６号
【技術分野】
【０００１】
本発明は、プリント出力用の画像データを処理する画像処理装置に関し、より詳しくは、特殊効果として出力画像に付与する光沢の画像データを生成する処理を行う画像処理装置、画像処理方法及び該画像処理をコンピュータに行わせるためのプログラムに関する。
【背景技術】
【０００２】
従来からプリント出力において、特殊効果として出力画像に光沢を付与する技術が用いられている。例えば、プロダクションプリンティング（商用印刷市場や企業内印刷市場向け高速複写機による印刷）においては、特殊効果を与えるために、光沢度を変更するクリアトナーや金属色、蛍光色等の特色の版データを作成する手法が採用されている。
また、上記手法には、Adobe Systems社のフォトショップ（登録商標）等を用いて、そこに用意されている領域選択機能によって特殊効果を与える領域を指定する方法が適用されている。
【０００３】
また、光沢部分の領域の指定に関しては、特許文献１（特開２００２−５１２２６号公報）、特許文献２（特願２０１１−３０８１６号）が提案されている。
特許文献１の画像処理装置では、画像内の光沢領域を抽出する際に、光源の波長成分が偏っている場合にも適切な抽出を行なう目的で、光源色指定部において画像データにおける光源特性を設定し、設定された光源特性及び画像データにおける色相の変化に基づいて抽出した画像要素領域のうち、急明度変化域抽出部で抽出された急激な明度変化のある明度変化領域に含まれる領域を光沢領域とすることが記載されている。
特許文献２の印刷用データ作成装置では、輝度成分のヒストグラムの歪度を閾値と比較することで光沢部分が有るか否かを判定し、光沢部分があると判定した場合には、輝度の高い部分に特殊効果を与える領域のマーカーを、輝度の低い部分に特殊効果を与えない領域のマーカーを設定し、領域分割アルゴリズムを実行して特殊効果を与える部分を抽出する処理を行うことが記載されている。
【０００４】
従来技術として例示した特許文献１，２は、画像データにおける光沢部分の領域を判定し、判定結果により光沢の画像データを生成する手段を備えることで、光沢部分の領域を指定するユーザーの操作を不要としているが、これらの従来例の判定手段はいずれも、ユーザーに違和感を持たせないよう光沢領域が判定できる精度にまで判定精度を上げることが困難であり、出力画像に十分な光沢付与効果が得られない、という問題を有する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、処理対象の画像データに光沢部分が有るか否かの判定を、従来の判定手段が有する精度よりも高精度に行うようにすることである。
【課題を解決するための手段】
【０００６】
本発明は、処理対象画像から光沢部分を検出する処理を行う画像処理装置であって、処理対象画像から光沢部分の特徴量を抽出し、抽出した特徴量を基に各々異なる識別手段によって光沢部分を識別する複数の弱識別器を備え、前記複数の弱識別器により得られた識別結果からそれぞれ導かれる評価値を総合して、所定の光沢部分であるか否かを判定する光沢部分判定手段と、前記所定の光沢部分の訓練用画像と当該訓練用画像に対応する光沢部分の正解画像を用いて前記光沢部分判定手段に対する学習処理を行い、光沢部分の判定を適正化するための学習結果を得る学習処理手段と、前記学習処理手段により得られた学習結果を反映させた前記光沢部分判定手段によって処理対象画像における光沢部分を判定し、判定結果に従い光沢部分の画像を検出する光沢部分検出手段とを有する画像処理装置である。
また、本発明は、処理対象画像から光沢部分の特徴量を抽出し、抽出した特徴量を基に光沢部分を識別する、各々異なる識別手段を有する複数の弱識別器を用いて、処理対象画像から光沢部分を検出する処理を行う画像処理装置における画像処理方法であって、前記複数の弱識別器によって得られた識別結果からそれぞれ導かれる評価値を総合して、所定の光沢部分であるか否かを判定する光沢部分判定工程と、前記所定の光沢部分の訓練用画像と当該訓練用画像に対応する光沢部分の正解画像を用いて前記光沢部分判定工程を通して学習処理を行い、光沢部分の判定を適正化するための学習結果を得る学習処理工程と、前記学習処理工程で得られた学習結果が反映された前記光沢部分判定工程を通すことにより、処理対象画像における光沢部分を判定し、判定結果に従い光沢部分の画像を検出する光沢部分検出工程とを有する画像処理方法である。
【発明の効果】
【０００７】
本発明によると、処理対象の画像データに光沢部分が有るか否かの判定を、従来の判定手段が有する精度よりも高精度に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】画像処理装置（図１）において光沢判定を行う識別部の学習処理のフロー図である。
【図３】画像処理装置（図１）における、学習後の識別部の判定結果によって光沢部分の検出を行う光沢検出処理のフロー図である。
【図４】AdaBoostアルゴリズムによって得られる合成識別器を有する識別部を説明する図である。
【図５】画像処理装置（図１）の識別部による光沢判定の学習処理に用いる訓練用画像データの一例を表す図である。
【図６】図５に例示した画像データに対応する、識別部による光沢判定の学習処理に用いる訓練用正解データの一例を表す図である。
【図７】学習後の識別部による判定結果から検出された、図５に例示した訓練用画像データに対応する光沢画像データを表す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明に係る画像処理装置及び画像処理方法の実施形態を詳細に説明する。
本実施形態に係る画像処理装置は、被写体を撮影するデジタルカメラ等によって変換された撮影画像の入力を受け、入力された画像をもとにプリント出力等の画像出力に用いるデータを生成する際、入力画像における光沢部分の領域に光沢度を変更するクリアトナーや金属色、蛍光色等の特色による特殊効果を付与するための画像データを生成する処理を行う。
この光沢部分の領域に特殊効果を付与するための画像を生成する処理の手順として、処理対象の画像から光沢部分の特徴量を抽出し、抽出した特徴量から当該画像が光沢部分であるか否かを画素単位で判定する。なお、“光沢”は、光を正反射する属性であり、以下で“光沢度”という場合、正反射の程度を表す量を表す。
【００１０】
処理対象画像から抽出した光沢部分の特徴量に基づいて光沢部分を判定する従来技術は、必ずしも要求を満たす十分な判定精度が得られず、判定精度を上げることが発明の解決課題である。
上記発明の解決課題に対し、本実施形態では、後記で詳述する識別部を有する。この識別部は、処理対象画像から光沢部分の特徴量として、“輝度と色”又は“輝度変化方向”を抽出し、抽出した当該特徴量を基に各々異なる識別手段を有する複数の弱識別器によって光沢部分を識別する。また、複数の弱識別器により得られた識別結果からそれぞれ光沢部分を判定するために導かれる評価値として、弱識別器により得られた各識別結果にパラメータを掛けてこの評価値を得、得られる評価値を総合して、所定の光沢部分であるか否かを判定する光沢部分判定手段を有する。なお、本実施形態において、光沢部分判定手段は、複数の弱識別器からの評価値を総合した結果に対する閾値処理により２値の判定結果を得る手段である。
【００１１】
さらに、本実施形態では、前記光沢部分判定手段によって判定される所定の光沢部分の訓練用画像を上記識別部に用いることにより、学習処理を行い、学習結果として、光沢部分であるか否かの判定を誤りなく行う（以下「適正化」という）よう、上記パラメータの値を求める。また、処理対象の印刷用画像データに対しては、学習処理を経て適正化されたパラメータ（後記「学習結果パラメータ」）を設定した光沢部分判定手段により、処理対象の光沢部分を判定し、判定結果に従い特殊効果を付与するための版データに用いる光沢部分の画像データを検出する。
【００１２】
［画像処理装置の概略構成］
図１は、本実施形態に係る画像処理装置の概略構成を示すブロック図である。
図１に示すように、画像処理装置１は、データ入力部１１、データ出力部１８、データ保存部１７、メモリ部１２、識別部１３、学習処理部１４、検出処理部１５の各部を有する。
データ入力部１１は、光沢部分の画像データの検出処理の対象としての印刷用画像データやデフォルト設定等の外部から設定される識別部１３の学習結果パラメータ等をファイル等の形式でメモリ部１２に読み込む動作を行う。
データ出力部１８は、処理対象の印刷用画像データから検出された光沢部分の画像データ（光沢効果を与える版データ）を出力するものである。
【００１３】
データ保存部１７は、メモリ部１２に保持されたデータのうちの保存が必要なデータである、検出結果として得られた光沢部分の画像データや学習結果として得られたパラメータをファイル等の形式で保存する。
識別部１３は、処理対象の画像データから抽出した光沢部分の特徴量に基づいて弱識別器が光沢部分を識別し、得られる識別結果にパラメータをを掛けて評価値を計算し、求めた評価値への閾値処理により光沢部分があるか否かを判定する。本実施形態では、光沢部分を識別するために、“輝度と色”、“輝度変化方向”の各特徴量による２つの型の弱識別器を備え、弱識別器を複数の構成とする。また、２つの型の弱識別器各々において、光沢部分の識別に用いる閾値にバリエーションを付けることにより、弱識別器を複数の構成としてもよい。
【００１４】
学習処理部１４は、所定の光沢部分の訓練用画像データを処理対象に用いて識別部１３に光沢部分の判定処理を行わせ、訓練用正解データを目標に学習処理を行ない、学習結果パラメータを得る。この学習処理のアルゴリズムとしてブースティングを使用することができ、その具体例としては、例えばAdaBoostアルゴリズム等があり、本実施形態ではAdaBoostアルゴリズムを用いる（学習処理の詳細は後記で詳述）。
メモリ部１２は、データ入力部１１、データ出力部１８、データ保存部１７、識別部１３、学習処理部１４、検出処理部１５の各部で扱う画像データ、検出結果データ、訓練用画像データ、訓練用正解データ、学習結果パラメータ等の各種データを保持し、アクセス要求に応じ書込／読出を行う。
検出処理部１５は、処理対象の印刷画像データの各画素に対し、メモリ部１２に保持された学習結果パラメータと識別部１３を用いて光沢部分であるか否かが判定され、得られた結果を基に、光沢としての特殊効果を付与するための画像データを検出する処理を行う。
【００１５】
また、画像処理装置１のデータ処理系は、コンピュータをハードウェアとして構成することができる。
データ処理系を構成するコンピュータは、ソフトウェアプログラムの命令を実行するためのＣＰＵ（Central Processing Unit）と、ＣＰＵによって使用されるプログラム、制御データ等を格納するＲＯＭ（Read Only Memory）と、前記プログラムによって生成される各種データなどを一時的に保存するメモリ或いはソフトウェアプログラムの動作に必要なデータを保存するワークメモリとして利用するＲＡＭ（Random Access Memory）と、機器に依存する処理条件等の設定データなどを保存しておく不揮発性メモリであるＮＶ−ＲＡＭ（Non Volatile RAM）を構成要素として有する。
後述する光沢検出処理は、この処理を実行するための処理手順（図２、図３、参照）を記述したプログラムを上記コンピュータにより駆動することにより実施することができる。
【００１６】
［光沢検出処理手順］
次に、上記画像処理装置１が行う、処理対象画像の光沢部分の画像データを検出する処理の手順について、詳細に説明する。
以下に示す光沢検出処理手順は、処理対象の画像が入力されるたびに、識別部に対し学習処理を行い、その学習処理の結果を反映した設定で光沢の検出処理を行うことが基本動作である。
上記基本動作を処理対象の画像ごとに行うためには、学習処理に用いる訓練用画像データ及び訓練用正解データ（訓練用画像における光沢部分の正解画像）を処理対象の画像ごとに用意し、学習処理を実行する必要がある。このとき、用意する訓練用画像データ及び訓練用正解データは、処理対象画像を撮影したものと同じデジタルカメラ等の撮影手段で同様の条件下にある被写体を撮影するといった条件で求めたデータを用意すれば、検出精度を高めることができる。この場合、訓練用画像データ及び訓練用正解データは、処理対象画像と同時にデータ入力部１１を通して入力される。
【００１７】
ただ、実際には、上記訓練用画像データ及び訓練用正解データが準備できない場合もあり、こうした場合に対応可能とするように、同様の性能を有する撮影手段が所定の被写体を撮影したときの訓練用画像データ及び訓練用正解データを共通に用いること、即ち、以前に訓練用のこれらのデータを用いて求めた学習結果パラメータを再利用して実施する手法を採用することができる。なお、この手法は、同一の撮影手段で同様の条件下にある被写体を撮影した複数の画像よりなる印刷ジョブが処理対象になるときにも適応し得る。つまり、複数の画像よりなる印刷ジョブの場合、画像ごとに学習処理を行うことなく、最初の画像に対する学習処理によって求められた学習結果パラメータを、印刷ジョブ中にある残りの画像の光沢の検出処理に再利用する。
【００１８】
このような実施上の条件を考慮し、本実施形態における光沢検出処理手順は、学習処理手順と検出手順を一体の処理手順として行わずに、以下では、「識別部の学習処理」、「光沢検出処理」として、それぞれを別に行うようにして、印刷要求が異なる内容であるときにそれぞれに対応した処理を可能とする。つまり、学習結果として既に得られた学習結果パラメータを利用する場合には、学習処理を同時に行うことなく、「光沢検出処理」のみを行える手順とする。
【００１９】
「識別部の学習処理」
図２は、画像処理装置１（図１）において光沢判定を行う識別部１３の学習処理のフロー図である。
図２のフローは、画像処理装置１全体を制御する制御部（不図示）から訓練用画像データ及び訓練用正解データの入力とともに、行われる識別部１３の学習処理の指示を受け、起動される。
このフローの初めに、学習処理の対象となる識別部１３に備える、所定の閾値を設定した弱識別器を構成する（ステップＳ１０１）。
本実施形態では、光沢部分を識別するために、“輝度と色”、“輝度変化方向”の各特徴量による２つの型の弱識別器を構成する。また、２型式の各々において、弱識別器の識別処理に用いる閾値をそれぞれ変えることにより、閾値でバリエーションを付けた複数構成の弱識別器であってもよい。なお、閾値でバリエーションを付けた複数構成の弱識別器は、手動で閾値の調整をするといった手順を不要とする。
【００２０】
ここで、“輝度と色”、“輝度変化方向”の各特徴量による２つの型の弱識別器について、各々説明する。
〈“輝度と色”型の弱識別器〉
輝度と色を特徴量とした弱識別器では、ハイライト部分では輝度が高くなることと、ハイライト部分の鏡面反射光は光源の色になるという性質を組み合わせて、光沢部分を識別する。
具体的には、まず入力画像のＲＧＢ表色系のデータ（以下、単に「ＲＧＢ」という）を下記式（１）の一次変換でＸＹＺ表色系のデータ（以下、単に「ＸＹＺ」という）に変換する。
【数１】
【００２１】
上記式（１）の変換は、ＲＧＢの（０，０，０）をＸＹＺの（０，０，０）に、ＲＧＢの（２５５，２５５，２５５）をＸＹＺの（０，０，２）に変換する。即ち、ＲＧＢ表色系の座標（０，０，０）を固定して、同系における座標（２５５，２５５，２５５）をＺ軸上に来るように回転させて、高さが２になるように倍率を変更したＸＹＺ座標系の座標値に変換するものである。
【００２２】
次いで、上記式（１）により変換されたＸＹＺに基づいて光沢の特徴量として輝度と色を抽出し、抽出した特徴量に対する閾値処理で光沢部分であるか否かを識別する弱識別器を構成する。輝度については、ＸＹＺ座標系のＺ座標値が０から２の間で設定された閾値以上であるか否かを判定し、閾値以上を光沢部分と識別する。他方、色については、ＸＹＺ座標系のＺ軸からの距離が０から１の間で設定された閾値以下であるか否かを判定し、閾値以下を光沢部分と識別する。
また、輝度と色の各判定のＡＮＤ条件により光沢部分であるか否かの最終判定をする。即ち、輝度が閾値以上であり、且つ色がＸＹＺ座標系のＺ軸からの距離が閾値以下であれば、光沢部分であると識別される。なお、この判定方法は、ＨＬＳ（Hue：色相，Lightness/Luminance：輝度，Saturation：彩度）色空間での輝度と彩度による判定と類似のものになっている。
【００２３】
なお、輝度と色を特徴量とした光沢部分の識別方法は、下記参考文献１が参照できる。
参考文献１：
Detection of Specular Highlights in Color Images using a New Color Space Transformation , Jae Byung Park, Robotics and Biomimetics, 2004. ROBIO 2004. IEEE International Conference on Digital Object Identifier: 10.1109/ROBIO.2004.1521873, Publication Year: 2004 , Page(s): 737-741
【００２４】
〈“輝度変化方向”型の弱識別器〉
輝度変化方向を特徴量とした弱識別器の実施例の構成は以下のようになる。
輝度変化方向を特徴量とした弱識別器では、金属表面などで光沢面に背景の形が映り込むような場合、反射面の形状によって反射像に共通の形状歪が生じるので、反射像の形状歪をグラディエント（輝度変化）方向の特徴として捉えて、光沢部分を識別する。
具体的には、まず座標（ｘ，ｙ）の輝度がIである画像の各ピクセルに対してblockSize×blockSizeの近傍領域Ｓ（ｐ）を考え、下記式（２）の各近傍領域全体に対する導関数の共変動行列の固有ベクトルと固有値を求める。
【数２】
【００２５】
また、blockSizeとSobelオペレータのアパーチャサイズを変動させ、得られる固有値から輝度変化方向を求める。例えば、固有値（λ１、λ２）と信頼度Ｃの関係を表す、下記式（３）で求めた信頼度Ｃが大きいものをそのピクセルのグラディエント方向として、固有値が大きい方の固有ベクトルの方向をグラディエントマップに保存する。
【数３】
【００２６】
次に、光沢面のみを検出するために、上記の処理で得たグラディエントマップで方向性の塊が小さい部分はノイズとして取り除く。
具体的には、グラディエントマップのウェーブレット係数を求め、高周波成分の係数が大きい部分をノイズとして取り除く。この方法でノイズを取り除いた後に残った画素部分のグラディエント（輝度変化）方向を光沢の特徴量として得る。
また、ここでも、上記“輝度と色”型におけると同様に、抽出した特徴量に対する閾値処理で光沢部分であるか否かを識別する弱識別器を構成する。
【００２７】
なお、輝度変化方向を特徴量とした光沢部分の識別方法は、下記参考文献２が参照できる。
参考文献２：
Detecting Specular Surfaces on Natural Images, DelPozo, A.; Savarese, S., Computer Vision and Pattern Recognition, 2007. CVPR '07. IEEE Conference on Digital Object Identifier: 10.1109/CVPR.2007.383215, Publication Year: 2007 , Page(s): 1 - 8
【００２８】
図２の処理フローに戻ると、次に、ステップＳ１０１で構成した識別部１３に対する学習処理を学習処理部１４によって行うので、学習処理に用いる訓練用画像データと訓練用正解データを、データ保存部１７等に保存されたファイル等からメモリ部１２上に読み込む（ステップＳ１０２）。
図５は、識別部による光沢判定の学習処理に用いる訓練用画像データの一例を表す図である。この例では、被写体の腕時計をカメラ等の撮影手段で撮り、通常、画像を保存するとときに用いるＪＰＥＧのデータ形式に変換された画像データを訓練用のデータとしている。
また、図６は、識別部による光沢判定の学習処理に用いる訓練用正解データの一例を表す図で、図５に例示した画像データに対応する光沢部分の正解データを持つものである。この例では、８ビットの白黒画像データにおいて光沢部分を２５５、その他の部分を０とした訓練用正解データが用意されている。
【００２９】
次いで、学習処理部１４は、上記の訓練用画像データ及び訓練用正解データを識別部１３に用いて学習処理を行う（ステップＳ１０３）。
この学習処理は、学習処理アルゴリズムを用いて、識別部１３を学習させることによって、光沢部分であるか否かの判定を誤りなく行える値を保つ学習結果パラメータとして、処理対象の画像データから抽出した光沢の特徴量によって識別した識別結果から評価値を計算する際に適用するパラメータを適正化する処理である。
【００３０】
〈AdaBoostアルゴリズムによる学習処理〉
この実施形態では学習処理アルゴリズムとして、例えば、AdaBoostアルゴリズム（以下、単に「AdaBoost」という）を利用することができるので、AdaBoostによる学習処理を実施形態として次に説明する。
AdaBoostは、ブースティング学習アルゴリズムの一つであり、各識別器の弁別能が低くても全体として強力な識別器を構成できる、特徴の追加削除などが比較的簡易に行える、などの特長がある。
【００３１】
下記“AdaBoostアルゴリズム”は、AdaBoostの手順を示すものである。
【数４】
【００３２】
上記“AdaBoostアルゴリズム”において、h（x）は上記で説明した弱識別器であり、複数の弱識別器よりなる識別器hｔ（x）、即ちh１（x）、h２（x）、・・・、hＴ（x）、を構成する（後記図４に示す「合成識別器」、参照）。また、サンプル分布Dｔとは、訓練用画像データのことである。ここでは、複数の訓練用画像データを用いて学習をする例を示している（上記（Ｃ）、（Ｄ）参照）。
上記“AdaBoostアルゴリズム”の（Ａ）〜（Ｄ）の手続きを、識別器hｔ（x）を構成する複数の弱識別器それぞれについて行い、信頼度αｔを適正化された学習結果パラメータとして求める(上記式（５）、参照)。
【００３３】
なお、AdaBoostによる学習処理の方法は、下記参考文献３が参照できる。
参考文献３：
「コンピュータビジョン最先端ガイド１」第５章、出版社：アドコム・メディア(2008/12/3)、ISBN-10:4915851346、ISBN-13:978-4915851346
【００３４】
図２の処理フローに戻ると、次に、ステップＳ１０３の学習処理を行うことにより求めた学習結果パラメータは、この学習結果を反映させる処理対象画像の光沢検出処理（後記図３のフロー、参照）に適用するために、データ保存部１７を介してファイル等の形式でメモリ部１２に保存する（ステップＳ１０４）。
学習結果パラメータを保存した後、この処理フローを終了する。
【００３５】
「光沢検出処理」
図３は、画像処理装置１（図１）における、学習後の識別部１３の判定結果によって光沢部分の検出を行う光沢検出処理のフロー図である。
図３のフローは、画像処理装置１全体を制御する制御部（不図示）から印刷に用いる画像データの入力とともに、検出処理部１５に対して行われる光沢部分の検出処理の指示を受け、起動される。
【００３６】
このフローの初めに、光沢部分の判定処理を行う識別部１３に設定するパラメータをメモリ部１２から読み込む（ステップＳ２０１）。メモリ部１２から読み込むパラメータは、学習結果パラメータとして、上記学習処理（図２の処理フロー、参照）を行うことにより得られ、保存しておいた値を用いる。
本実施形態では、光沢部分を識別するために複数構成とした、即ち“輝度と色”、“輝度変化方向”の各特徴量による異なる型の合成識別器、或いは識別処理に用いる閾値にバリエーションを付けることで増やした複数構成の合成識別器を用いるので、これら複数構成の各弱識別器に対応して保存された学習結果パラメータを識別部１３に設定する。
【００３７】
次に、光沢部分の検出処理の対象となる画像データをデータ入力部１１もしくはメモリ部１２から読み込む（ステップＳ２０２）。
次いで、ステップＳ２０２で読み込んだ検出処理の対象となる画像データに対し、識別部１３による光沢部分の判定処理を行い、判定結果に従い光沢部分を検出する処理を行う（ステップＳ２０３）。
光沢部分の判定処理は、識別部１３に構成するAdaBoostによって得られる合成識別器によって識別結果を得、識別結果に基づいて判定処理を行う。
【００３８】
図４は、AdaBoostアルゴリズムによって得られる合成識別器を有する識別部を説明する図である。
図４に示す識別部１３に構成する合成識別器は、学習処理に用いた上記“AdaBoostアルゴリズム”に対応した構成を有する。
識別部１３は、同図中の式（８）の演算を行う手段を有する。即ち、入力画像ｘ（画素値）から光沢の特徴量“輝度と色”、“輝度変化方向”を抽出し、抽出した特徴量に対する閾値処理で光沢部分であるか否かを識別する弱識別器h１（x）１３h１、h２（x）１３h２、・・・、hＴ（x）１３hＴを並列に有し、各弱識別器の識別結果に各々のパラメータ（信頼度）α１、α２、・・・αＴを介して得た評価値の線形和をとる要素１３ａ、線形和をとる要素１３ａの出力に対し閾値処理を行う要素１３ｔを有する。
【００３９】
識別部１３における光沢部分の判定処理の流れは、処理の対象となる画像データの画素値ｘを入力し、弱識別器hｔ（x）（ｔ＝１，２，・・・，Ｔ、以下同様）を用いて光沢部分を識別し、得られた識別結果に上記“AdaBoostアルゴリズム”で学習したパラメータαｔを掛けて要素１３ａで線形和をとり、求まる線形和が０以上か否かを要素１３ｔの閾値処理により判定する。線形和が０以上であれば、光沢部分であり、線形和がマイナスであれば、光沢部分ではない、との最終的な検出結果を得る。なお、本実施例では、処理の対象となる画像の全ての画素について画素ごとに、この処理を行なうことにより、画像全体についての検出処理を行う。
【００４０】
図３の処理フローに戻ると、次に、ステップＳ２０３の検出処理を行うことにより得られた光沢部分の検出結果の出力を行う（ステップＳ２０４）。検出結果の出力処理は、データ出力部１８を介して、入力画像における光沢部分であると検出された画素を１、光沢部分以外の画素を０の２値として、例えば、印刷用のデータとして出力する場合、特殊効果を付与するための版データに用いる光沢部分の画像データを出力する。
検出結果の出力を行った後、この処理フローを終了する。
【００４１】
図７は、学習後の識別部（図４、参照）による判定結果から検出された、図５に例示した訓練用画像データに対応する光沢画像データを表す図である。この例では、８ビットの白黒画像データにおいて検出された光沢部分に２５５、その他の部分に０に設定している。
なお、この例では、説明の便宜上、訓練用データとして用いた画像データ（図５）を再利用しているが、通常は訓練用画像と検出処理の対象画像は別の画像データになる。
図７に示すように、学習後の識別部を用いて検出した光沢部分の画像は、入力画像と同一の訓練用正解データ（図６）に近いデータになっており、光沢部分を高い精度で判定できることを示している。
【００４２】
上記のように、“輝度と色”、“輝度変化方向”の各特徴量により異なる型の弱識別器、或いは識別処理に用いる閾値にバリエーションを付けることで増やした弱識別器を要素として合成識別器を構成し、複数の弱識別器の識別結果にブースティングにより適正化されたパラメータを掛けて、識別結果からそれぞれ導かれた評価値を得、これらを総合して光沢部分が有るか否かの判定を行うようにしたことにより、判定精度を向上し、特殊効果を与える部分をより高い精度で判定し、処理対象画像の光沢部分の画像データを検出することができる。
【符号の説明】
【００４３】
１・・画像処理装置、１１・・データ入力部、１２・・メモリ部、１３・・識別部、１４・・学習処理部、１５・・検出処理部、１７・・データ保存部、１８・・データ出力部。
【先行技術文献】
【特許文献】
【００４４】
【特許文献１】特開２００２−５１２２６号公報
【特許文献２】特願２０１１−３０８１６号
【特許請求の範囲】
【請求項１】
処理対象画像から光沢部分を検出する処理を行う画像処理装置であって、
処理対象画像から光沢部分の特徴量を抽出し、抽出した特徴量を基に各々異なる識別手段によって光沢部分を識別する複数の弱識別器を備え、前記複数の弱識別器により得られた識別結果からそれぞれ導かれる評価値を総合して、所定の光沢部分であるか否かを判定する光沢部分判定手段と、
前記所定の光沢部分の訓練用画像と当該訓練用画像に対応する光沢部分の正解画像を用いて前記光沢部分判定手段に対する学習処理を行い、光沢部分の判定を適正化するための学習結果を得る学習処理手段と、
前記学習処理手段により得られた学習結果を反映させた前記光沢部分判定手段によって処理対象画像における光沢部分を判定し、判定結果に従い光沢部分の画像を検出する光沢部分検出手段と
を有する画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
前記弱識別器が有する識別手段は、輝度と色を前記特徴量として抽出し、抽出した特徴量を基に光沢部分を識別する画像処理装置。
【請求項３】
請求項１又は２に記載された画像処理装置において、
前記弱識別器が有する識別手段は、輝度変化方向を前記特徴量として抽出し、抽出した特徴量を基に光沢部分を識別する画像処理装置。
【請求項４】
請求項１乃至３のいずれかに記載された画像処理装置において、
前記弱識別器の各々異なる識別手段は、識別処理に用いる閾値でバリエーションを付ける画像処理装置。
【請求項５】
請求項１乃至４のいずれかに記載された画像処理装置において、
前記学習処理手段は、学習処理アルゴリズムとしてブースティングを使用する画像処理装置。
【請求項６】
コンピュータを請求項１乃至５のいずれかに記載された画像処理装置が有する前記光沢部分判定手段、前記学習処理手段、前記光沢部分検出手段の各手段として機能させるためのプログラム。
【請求項７】
請求項６に記載されたプログラムを記録したコンピュータ読取可能な記録媒体。
【請求項８】
処理対象画像から光沢部分の特徴量を抽出し、抽出した特徴量を基に光沢部分を識別する、各々異なる識別手段を有する複数の弱識別器を用いて、処理対象画像から光沢部分を検出する処理を行う画像処理装置における画像処理方法であって、
前記複数の弱識別器によって得られた識別結果からそれぞれ導かれる評価値を総合して、所定の光沢部分であるか否かを判定する光沢部分判定工程と、
前記所定の光沢部分の訓練用画像と当該訓練用画像に対応する光沢部分の正解画像を用いて前記光沢部分判定工程を通して学習処理を行い、光沢部分の判定を適正化するための学習結果を得る学習処理工程と、
前記学習処理工程で得られた学習結果が反映された前記光沢部分判定工程を通すことにより、処理対象画像における光沢部分を判定し、判定結果に従い光沢部分の画像を検出する光沢部分検出工程と
を有する画像処理方法。
【請求項１】
処理対象画像から光沢部分を検出する処理を行う画像処理装置であって、
処理対象画像から光沢部分の特徴量を抽出し、抽出した特徴量を基に各々異なる識別手段によって光沢部分を識別する複数の弱識別器を備え、前記複数の弱識別器により得られた識別結果からそれぞれ導かれる評価値を総合して、所定の光沢部分であるか否かを判定する光沢部分判定手段と、
前記所定の光沢部分の訓練用画像と当該訓練用画像に対応する光沢部分の正解画像を用いて前記光沢部分判定手段に対する学習処理を行い、光沢部分の判定を適正化するための学習結果を得る学習処理手段と、
前記学習処理手段により得られた学習結果を反映させた前記光沢部分判定手段によって処理対象画像における光沢部分を判定し、判定結果に従い光沢部分の画像を検出する光沢部分検出手段と
を有する画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
前記弱識別器が有する識別手段は、輝度と色を前記特徴量として抽出し、抽出した特徴量を基に光沢部分を識別する画像処理装置。
【請求項３】
請求項１又は２に記載された画像処理装置において、
前記弱識別器が有する識別手段は、輝度変化方向を前記特徴量として抽出し、抽出した特徴量を基に光沢部分を識別する画像処理装置。
【請求項４】
請求項１乃至３のいずれかに記載された画像処理装置において、
前記弱識別器の各々異なる識別手段は、識別処理に用いる閾値でバリエーションを付ける画像処理装置。
【請求項５】
請求項１乃至４のいずれかに記載された画像処理装置において、
前記学習処理手段は、学習処理アルゴリズムとしてブースティングを使用する画像処理装置。
【請求項６】
コンピュータを請求項１乃至５のいずれかに記載された画像処理装置が有する前記光沢部分判定手段、前記学習処理手段、前記光沢部分検出手段の各手段として機能させるためのプログラム。
【請求項７】
請求項６に記載されたプログラムを記録したコンピュータ読取可能な記録媒体。
【請求項８】
処理対象画像から光沢部分の特徴量を抽出し、抽出した特徴量を基に光沢部分を識別する、各々異なる識別手段を有する複数の弱識別器を用いて、処理対象画像から光沢部分を検出する処理を行う画像処理装置における画像処理方法であって、
前記複数の弱識別器によって得られた識別結果からそれぞれ導かれる評価値を総合して、所定の光沢部分であるか否かを判定する光沢部分判定工程と、
前記所定の光沢部分の訓練用画像と当該訓練用画像に対応する光沢部分の正解画像を用いて前記光沢部分判定工程を通して学習処理を行い、光沢部分の判定を適正化するための学習結果を得る学習処理工程と、
前記学習処理工程で得られた学習結果が反映された前記光沢部分判定工程を通すことにより、処理対象画像における光沢部分を判定し、判定結果に従い光沢部分の画像を検出する光沢部分検出工程と
を有する画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−６５２０４（Ｐ２０１３−６５２０４Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０３５００（Ｐ２０１１−２０３５００）
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]