被写体の白飛び判定方法、判定装置、及び判定プログラム、並びに、画像検索方法、画像検索装置、及び画像検索プログラム
【課題】画像検索において、白飛びの度合いに応じて画像データを抽出し、ユーザの要望に応じた画像データを抽出する場合に有効となる、白飛び判定方法及び装置、白飛び判定プログラムを提供する。
【解決手段】被写体が含まれた画像データを選択する画像データ選択工程と、選択された画像データにおいて少なくとも前記被写体の顔領域を検出する前処理工程と、選択された画像データにおける白飛びを抽出する白飛び抽出工程と、検出された顔領域における複数の着目領域を特定する着目領域特定工程と、抽出された白飛びの着目領域に占める割合から画像データの白飛び印象度を判定する、白飛び印象度判定工程とを備える、白飛び判定方法とし、当該方法を実行可能な装置、プログラムとする。
【解決手段】被写体が含まれた画像データを選択する画像データ選択工程と、選択された画像データにおいて少なくとも前記被写体の顔領域を検出する前処理工程と、選択された画像データにおける白飛びを抽出する白飛び抽出工程と、検出された顔領域における複数の着目領域を特定する着目領域特定工程と、抽出された白飛びの着目領域に占める割合から画像データの白飛び印象度を判定する、白飛び印象度判定工程とを備える、白飛び判定方法とし、当該方法を実行可能な装置、プログラムとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ（デジタル画像等）における被写体の白飛び判定方法、判定装置、及び白飛び判定プログラム、並びに、複数の画像データから任意の画像データを検索する画像検索方法、画像検索装置、及び画像検索プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の普及に伴い、手軽にスナップ写真を撮像することが可能となり、個人が所有する画像データ数は増加の傾向にある。このため、膨大な画像データの中から個人の要求に適した画像の検索を目的として、類似画像検索に関する検討が行われている。
【０００３】
画像データの検索における個人の要求の一つとして、画像データの利用価値が挙げられる。画像データの利用価値は、例えば、画像データ取得時の照明条件や撮影方法に起因して変化する。特に、イベントにおける主たる人物を室内でストロボを用いて撮影した場合、当該人物に「白飛び」が生じやすく、画像データの利用価値に与える影響が大きい。「白飛び」とは、撮影対象における高輝度部分の輝度値が、撮像装置の持つ階調表現可能な範囲を超えることに起因して生じ、領域の情報が飽和する状態を意味する。すなわち、「白飛び」の度合いが大きい画像データは、色の濃淡や凹凸による質感が失われているため利用価値が小さく、画像検索の際このような画像データを適切に評価しつつ別個に抽出或いは検索結果から排除することができれば、検索効率の向上に寄与するものと考えられる。
【０００４】
画像データの白飛びに関する従来技術としては、撮影時の白飛びを抑制するように制御する撮像装置や画像処理装置（特許文献１〜６）、撮影時、撮影対象に白飛びが生じている場合でも適切に顔検出を行うことができる画像処理装置（特許文献７）がある。これらは撮影時における画像処理に関するものであるものの、撮像後の画像データに係る画像検索にもある程度応用することができるものと考えられる。或いは、白飛び等の不具合が生じた画像データを有効に活用するため、当該不具合部分に絵や模様等を貼付する技術も開示されている（特許文献８）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２０６８０１号公報
【特許文献２】特開２００７−２０１９７９号公報
【特許文献３】特開２００７−２０１６５５号公報
【特許文献４】特開２００７−０８８６５０号公報
【特許文献５】特開２００６−１２９４４９号公報
【特許文献６】特開２００４−２９７２６９号公報
【特許文献７】特開２００８−２８３５７３号公報
【特許文献８】特開２０１０−０１１１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像データの利用価値は、白飛びが顔領域の一部のみに生じている場合、白飛びが顔領域全体に生じている場合等、白飛びの度合いによって細分化されて変化する。一方、上述した従来技術は、局所領域におけるヒストグラムを用いた手法や局所領域における最大値と最小値との差分を用いた手法等によって白飛びの制御や補正を行うものであるが、いずれにおいても顔領域全体を対象としており、白飛びの度合いや画像データがユーザに与える印象を細分化して判定することができない。すなわち、特許文献１〜８に係る技術を画像検索に応用したとしても、白飛びの度合いに応じて画像データを抽出することはできず、ユーザの要望に応じた画像検索を行うことができない場合があった。
【０００７】
本発明は、上記に鑑みてなされたものであり、画像検索において、白飛びの度合いに応じて画像データを抽出し、ユーザの要望に応じた画像データを抽出する場合に有効となる、白飛び判定方法、白飛び判定装置、及び白飛び判定プログラム、並びに、当該白飛びの判定結果を用いて効率的に画像検索を実行可能な画像検索方法、画像検索装置、及び画像検索プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明者らは、画像データにおける被写体の白飛び判定について研究を進めた結果、以下の知見を得た。
（１）被写体の白飛びの判定の際、着目領域として被写体の顔領域の他、顔領域における複数の領域、好ましくは鼻領域、額領域及び頬領域を用いることで、従来よりも適切な白飛び判定が可能となる。
（２）白飛びがユーザに与える印象の度合いを白飛び印象度として一意的且つ段階的に定義し、当該白飛び印象度によって画像データの白飛び判定を行うことで、適切且つ効率的な白飛び判定が可能となる。例えば、上記顔領域及び着目領域における白飛びの割合を算出し、各領域それぞれについて、算出した白飛びの割合が所定の閾値よりも大きいか否かを判定していくことで、画像データにおける白飛び情報を段階的に区分けすることができ、当該区分けの結果を段階的な白飛び印象度として設定することができる。
（３）白飛び箇所の閾値を決定し、さらに、閾値を用いて白飛び画素の抽出を行うことで、簡易的且つ適切な白飛び判定が可能となる。
（４）抽出した白飛び画素に係る情報と、上記各着目領域に係る情報とを組み合わせて、上記白飛び印象度の判定を行うことで、適切な白飛び判定が可能となる。
【０００９】
本発明は上記知見に基づいてなされたものである。すなわち、
第１の本発明は、被写体が含まれた画像データを選択する、画像データ選択工程と、選択された画像データにおいて、少なくとも被写体の顔領域を検出する、前処理工程と、検出された顔領域における白飛びを抽出する、白飛び抽出工程と、検出された顔領域における複数の着目領域を特定する、着目領域特定工程と、抽出された白飛びの着目領域に占める割合から、画像データの白飛び印象度を判定する、白飛び印象度判定工程と、を備える、画像データにおける被写体の白飛び判定方法である。
【００１０】
第１の本発明において、着目領域が、顔領域における鼻領域、額領域及び頬領域であることが好ましい。顔領域において白飛びはこれら特定の着目領域に生じやすく、着目領域をこれらに限定することで、白飛びの判定をより適切且つ効率的に行うことができる。
【００１１】
第１の本発明に係る白飛び抽出工程において、閾値設定により白飛びが抽出されることが好ましい。本発明において、「閾値設定により白飛びが抽出される」とは、例えば、画像データにおける輝度値について、所定値を閾値として設定すること、当該閾値よりも大きな輝度値に係る画素を白飛び画素として抽出できる。これにより、白飛びの抽出をより的確に行うことができ、白飛びの判定を簡易且つ適切に行うことができる。
【００１２】
第１の本発明に係る白飛び抽出工程において、画像データのＲＧＢ分離が行われることが好ましい。白飛びの抽出をより的確に行うことができ、白飛びの判定を簡易且つ適切に行うことができるためである。
【００１３】
第１の本発明に係る白飛び印象度判定工程において、複数の着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、白飛びの占める割合が特定されることが好ましい。着目領域における白飛びの度合いを適切に特定することができ、白飛び印象度を簡易且つ適切に判定することができるためである。
【００１４】
第１の本発明に係る白飛び印象度判定工程において、白飛び率Ｗ／Ｓが閾値以上か否かを判定することにより、画像データの白飛び印象度を判定することが好ましい。白飛び印象度を一意的且つ簡易的に判定することができるためである。
【００１５】
第２の本発明は、第１の本発明に係る白飛び判定方法による白飛び判定結果を用いて、画像データの検索処理を行う、画像検索方法である。
【００１６】
第３の本発明は、被写体が含まれた画像データを選択する、画像データ選択手段と、選択された画像データにおいて、少なくとも被写体の顔領域を検出する、前処理手段と、検出された顔領域における白飛びを抽出する、白飛び抽出手段と、検出された顔領域における複数の着目領域を特定する、着目領域特定手段と、抽出された白飛びの着目領域に占める割合から、画像データの白飛び印象度を判定する、白飛び印象度判定手段と、を備える、画像データにおける被写体の白飛び判定装置である。
【００１７】
第３の本発明において、着目領域が、顔領域における鼻領域、額領域及び頬領域であることが好ましい。顔領域において白飛びはこれら特定の着目領域に生じやすく、着目領域をこれらに限定することで、白飛びの判定をより適切且つ効率的に行うことができる。
【００１８】
第３の本発明において、白飛び抽出手段が、閾値設定により白飛びを抽出するものであることが好ましい。白飛びの抽出をより的確に行うことができ、白飛びの判定を簡易且つ適切に行うことができるためである。
【００１９】
第３の本発明において、白飛び抽出手段が、画像データのＲＧＢ分離を行うものであることが好ましい。白飛びの抽出をより的確に行うことができ、白飛びの判定を簡易且つ適切に行うことができるためである。
【００２０】
第３の本発明において、白飛び印象度判定手段が、複数の着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、白飛びの占める割合を特定するものであることが好ましい。着目領域における白飛びの度合いを適切に特定することができ、白飛び印象度を簡易且つ適切に判定することができるためである。
【００２１】
第３の本発明において、白飛び印象度判定手段が、白飛び率Ｗ／Ｓが閾値以上か否かを判定することにより、画像データの白飛び印象度を判定するものであることが好ましい。白飛び印象度を一意的且つ簡易的に判定することができるためである。
【００２２】
第４の本発明は、第３の本発明に係る白飛び判定装置と、該白飛び判定装置における白飛び判定結果を用いて画像データの検索処理を行う検索手段と、を備える、画像検索装置である。
【００２３】
第５の本発明は、第３の本発明に係る白飛び判定装置において、画像データ選択手段に、被写体が含まれた画像データを選択させ、前処理手段に、検出された顔領域における複数の着目領域を特定させ、白飛び抽出手段に、選択された画像データにおける被写体の少なくとも顔領域を検出させ、着目領域特定手段に、検出された顔領域における白飛びを抽出させ、白飛び印象度判定手段に、抽出された白飛びの着目領域に占める割合から、画像データの白飛び印象度を判定させる、画像データにおける被写体の白飛び判定プログラムである。
【００２４】
第５の本発明において、着目領域が、顔領域における鼻領域、額領域及び頬領域であることが好ましい。顔領域において白飛びはこれら特定の着目領域に生じやすく、着目領域をこれらに限定することで、白飛びの判定をより適切且つ効率的に行うことができる。
【００２５】
第５の本発明において、白飛び抽出手段に、閾値設定により白飛びを抽出させることが好ましい。白飛びの抽出をより的確に行わせることができ、白飛びの判定を簡易且つ適切に行わせることができるためである。
【００２６】
第５の本発明において、白飛び抽出手段に、画像データのＲＧＢ分離を行わせることが好ましい。白飛びの抽出をより的確に行わせることができ、白飛びの判定を簡易且つ適切に行わせることができるためである。
【００２７】
第５の本発明において、白飛び印象度判定手段に、複数の着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、白飛びの占める割合を特定させることが好ましい。着目領域における白飛びの度合いを適切に特定させることができ、白飛び印象度を簡易且つ適切に判定させることができるためである。
【００２８】
第５の本発明において、白飛び印象度判定手段に、白飛び率Ｗ／Ｓが閾値以上か否かを判定させることにより、画像データの白飛び印象度を判定させるものであることが好ましい。白飛び印象度を一意的且つ簡易的に判定させることができるためである。
【００２９】
第６の本発明は、第４の本発明に係る画像検索装置に、第５の本発明に係る白飛び判定プログラムにより被写体の白飛び判定を行わせるとともに、白飛び判定結果を用いて画像データの検索処理を行わせる、画像検索プログラムである。
【発明の効果】
【００３０】
本発明によれば、画像検索において、白飛びの度合いに応じて画像データを抽出し、ユーザの要望に応じた画像データを抽出する場合に有効となる、白飛び判定方法、白飛び判定装置、及び白飛び判定プログラム、並びに、当該白飛びの判定結果を用いて効率的に画像検索を実行可能な画像検索方法、画像検索装置、及び画像検索プログラムを提供することができる。
【図面の簡単な説明】
【００３１】
【図１】一実施形態に係る本発明の白飛び判定方法の流れを説明するためのフローチャートである。
【図２】前処理工程における画像データの状態を説明するための概略図である。
【図３】白飛びを抽出する工程の流れを説明するためのフローチャートである。
【図４】白飛びを抽出する工程の流れを説明するための概略図である。
【図５】白飛びを抽出する工程における処理を説明するための概略図である。
【図６】着目領域の特定例を説明するための概略図である。
【図７】白飛び印象度を判定する工程の流れを説明するためのフローチャートである。
【図８】画像データにおける肌領域の抽出、肌領域の補間について説明するための概略図である。
【図９】白飛び印象度の判定に係る流れを説明するためのフローチャートである。
【図１０】一実施形態に係る本発明の白飛び判定装置（或いは、画像検索装置）を示す概略図である。
【図１１】実施例に係る撮影条件を説明するための概略図である。
【図１２】閾値設定の詳細を説明するためのデータである。
【発明を実施するための形態】
【００３２】
１．白飛び判定方法
図１に本発明にかかる白飛び判定方法の一例を示す。図１に示すように、白飛び判定方法Ｓ１０は、白飛びの判定を行う一の画像データを選択する工程Ｓ１、前処理として画像データにおける少なくとも顔領域を検出する工程Ｓ２、画像データにおける白飛びを抽出する工程Ｓ３、顔領域における複数の着目領域を検出する工程Ｓ４、及び、抽出した白飛びの着目領域に占める割合に基づいて白飛び印象度を判定する工程Ｓ５を備えている。
【００３３】
１．１．画像データ選択工程Ｓ１
工程Ｓ１は、デジタルカメラ等により撮影され記憶装置等に取り込まれた画像データを選択する工程である。画像データを取り込む方法や記憶装置としては、従来公知のものを特に限定することなく用いることができる。選択の基準は特に限定されるものではなく、例えば、記憶装置内に記憶された複数の画像データについて、名前順や撮像日付順等、適当な順番にて本発明に係る白飛び判定方法Ｓ１０を順次行えばよい。尚、選択する画像データは、被写体（人物）を正面から撮影したものが好ましく、例えば、図２（Ａ）に示すように、被写体の顔領域が正面から撮影されてなる画像データ１（１ａ）のようなものが好ましい。
【００３４】
１．２．前処理工程Ｓ２
工程Ｓ２は、選択された画像データにおける被写体の少なくとも顔領域を検出する工程である。例えば、図２（Ｂ）の画像データ１（１ｆ）のように、画像データ１ａにおける顔領域に係る位置が矩形にて検出される。顔領域を検出する場合、公知の顔検出方法を用いることができる。本発明において適用される具体的な顔検出方法としては、Ｈａａｒ−ｌｉｋｅ特徴に着目した対象検出方法（Paul Viola and Michael Jones ： “Rapid Object Detection using a Boosted Cascade of Simple Features”， IEEE CVPR（2001）や、Rainer Lienhart and Jochen Maydt “An Extended Set of Haar‐like Features for Rapid Object Detection”, Proceedings of the 2002 IEEE International Conference on Image Processing， Vol．1， 900‐903等）を挙げることができる。具体的には、例えば、選択された画像データ１ａをグレースケール化し、Ｈａａｒ−ｌｉｋｅ特徴を用いたＢｏｏｓｔｉｎｇ学習を行い、対象画像と非対象画像とを分ける基準となる複数のＨａａｒ−ｌｉｋｅ特徴と、それらの特徴を数値化した値から算出される閾値を抽出する。そして、当該閾値に基づいて、検出すべき画像領域か否かが判断され、肯定判断がされれば顔画像を含む画像領域として検出される。但し、Ｈａａｒ−ｌｉｋｅ特徴に着目した顔検出方法のみでは、画像データ中の顔を精度よく検出できず、顔以外のオブジェクトを誤検出してしまう虞がある。そのため、本発明では、複数の顔検出方法を併用して顔画像を含む画像領域を検出することが好ましい。Ｈａａｒ−ｌｉｋｅ特徴に着目した顔検出方法と併用可能な顔検出方法としては、例えば、ホワイトバランスに対応した肌検出が可能な、口唇周辺領域の彩度情報を利用した顔検出方法（大瀧健太、白澤洋一、西田眞、“ホワイトバランスの変化にロバストな肌抽出法に関する検討”電子情報通信学会ソサエティ大会、Ａ−４−２１（２００７））や、色彩情報に着目して口唇形状の抽出処理を行うことができる方法（白澤洋一、西田眞、西健治、“色彩情報を用いたファジィ推論による口唇形状抽出に関する検討”電学論Ｃ、Ｖｏｌ．１２５、Ｎｏ．９、１４３０−１４３７（２００５））等の方法を用いることが好ましい。
【００３５】
また、工程Ｓ２においては、上記顔領域に加えて、顔領域における目領域や口唇領域を検出することが好ましい。例えば、図２（Ｃ）、（Ｄ）の画像データ１（１ｅ）、１（１ｍ）のように、画像データ１ａにおける目領域や口唇領域に係る位置が矩形にて検出される。これらの検出には、従来公知の手法を用いることができる。例えば、口唇領域の検出には、上記した色彩情報に着目して口唇形状の抽出処理を行うことができる方法等を用いることができる。目領域の検出には、エッジ情報及び色情報を用いた目検出処理方法（戸塚、景山、西田、白澤、大滝、“ディジタル画像を対象とする特定人物判別に関する検討”、映像情報メディア学会冬季大会、８−５（２００８））等を用いることができる。工程Ｓ２において目領域や口唇領域も併せて検出しておくことで、後述する着目領域の特定がより容易となる。
【００３６】
１．３．白飛び抽出工程Ｓ３
工程Ｓ３は、選択した画像データ１における白飛びを抽出する工程である。図３に工程Ｓ３の一例を、図４に、当該各工程における、画像データ１の状態の変遷を概略的に示した。図３に示すように、工程Ｓ３は、画像データ１ａのＲＧＢ分離を行う工程Ｓ３−１と、ＲＧＢ分離した画像データ１ｒ、１ｇ、１ｂそれぞれについて閾値処理を行う工程Ｓ３−２と、閾値処理を行った各画像データ１ｔｒ、１ｔｇ、１ｔｂを論理積により統合し、白飛び部分を抽出する工程Ｓ３−３とを備えている。
【００３７】
１．３．１．工程Ｓ３−１
工程Ｓ３−１は、白飛び判定対象である画像データをＲＧＢ分離する工程である。画像データのＲＧＢ分離については、公知の手法により実行可能である。例えば、Adobe Photoshop（登録商標）等の公知の画像処理ソフトウェアにより実行可能である。図４に示すように、工程Ｓ３−１を経て、画像データ１ａは、Ｒ画像データ１ｒ、Ｇ画像データ１ｇ、Ｂ画像データ１ｂに分離される。
【００３８】
１．３．２．工程Ｓ３−２
工程Ｓ３−２は、工程Ｓ３−１を経て分離・取得された画像データ１ｒ、１ｇ及び１ｂそれぞれについて、予め設定した閾値以下の階調レベル（輝度値）に係る画素について棄却する処理を行う工程である。すなわち、図４に示すように、画像データ１ｒ、１ｇ及び１ｂそれぞれについて、閾値よりも大きい輝度値部分を白飛び部分として一意的に特定し、それ以外の部分については棄却することにより、画像データ１ｒ、１ｇ及び１ｂをそれぞれ２値画像化する（画像データ１ｔｒ、１ｔｇ及び１ｔｂ）。画像データ１ｒ、１ｇ及び１ｂのそれぞれの輝度値に係る閾値ＴＲ、ＴＧ及びＴＢについては、画像データ１の状態に応じて適宜設定・変更可能であるが、例えば、次のようにして設定することができる。
【００３９】
まず、参照用の画像データを用意し、当該参照用の画像データについて、目視で白飛びと判断した領域を手動で抽出する。参照用の画像データをＲＧＢ分離し、Ｒ画像、Ｇ画像、Ｂ画像それぞれについて、上記手動で抽出した領域における階調レベル（輝度値）ｘと、当該階調レベルｘに対応する画素数との関係をヒストグラム関数ＨＲ（ｘ）、ＨＧ（ｘ）及びＨＢ（ｘ）として特定し、それぞれグラフ化する。例えば、Ｒ画像に係るヒストグラム関数ＨＲ（ｘ）は、図５のようにグラフ化される。図５に示すように、上記手動で抽出した領域においては、所定の階調レベル以下の画素数が残存し、所定の階調レベルよりも大きくなると急激に画素数が増大している。このことは、手動での白飛び抽出においては、実際は白飛びとはいえない低階調レベルに係る画素についても誤抽出してしまうことを意味している。すなわち、このような誤抽出を一意的に排除することで、所定の階調レベル以上を白飛びとみなすことが可能となる。本発明者らは参照用画像データを複数用意し、そのすべてについて上記手動による白飛び抽出と、上記ヒストグラム関数によるグラフ化を行った結果、得られたヒストグラム関数Ｈ（ｘ）を積分し、全画素数の５〜１５％、好ましくは１０％となる階調レベルｘを閾値Ｔとし、当該閾値Ｔ以下の画素については棄却することで、手動による抽出領域において白飛び画素のみをさらに抽出できることを知見した。このようにして参照画像データのＲ画像、Ｇ画像及びＢ画像それぞれにおける白飛びの閾値ＴＲ、ＴＧ及びＴＢを設定したところ、Ｒ画像については、輝度値２４９〜２５３、好ましくは輝度値２５２が閾値ＴＲとして適切であり、Ｇ画像については、輝度値２２９〜２４６、好ましくは輝度値２４１が閾値ＴＧとして適切であり、Ｂ画像については、輝度値２０５〜２３４、好ましくは輝度値２２６が閾値ＴＢとして適切であることを知見した。
【００４０】
工程Ｓ３−２では、上記のように、参照用画像データによって予め設定しておいた閾値ＴＲ、ＴＧ及びＴＢを用いて、画像データ１ｒ、１ｇ及び１ｂそれぞれについて、輝度値が閾値ＴＲ、ＴＧ又はＴＢ以下の画素を棄却する。これにより画像データ１ｒ、１ｇ及び１ｂはそれぞれ白飛び部分以外の画素が棄却され、白飛び画素とみなされた部分のみが抽出される（画像データ１ｔｒ、１ｔｇ、１ｔｂ）。
【００４１】
１．３．３．工程Ｓ３−３
工程Ｓ３−３は、工程Ｓ３−２にて白飛び画素のみを抽出した画像データ（画像データ１ｔｒ、１ｔｇ及び１ｔｂ）について、ＲＧＢ画像を統合し、論理積によりＲ画像、Ｇ画像及びＢ画像のすべてにおいて白飛び画素として特定された画素を、画像データ１ａにおける白飛び画素として抽出する工程である。論理積によるＲＧＢ画像の統合については、公知の手法を用いることができる。例えば、Adobe Photoshop（登録商標）等の公知の画像処理ソフトウェアを用いることができる。これにより、画像データ１ａを、白飛び画素が抽出された画像データ１ｗとすることができる。
【００４２】
このようにして工程Ｓ３において、画像データにおける白飛びを抽出する一方で、本発明に係る白飛び判定方法Ｓ１０では、工程Ｓ４において画像データの顔領域における着目領域を特定する。
【００４３】
１．４．着目領域特定工程Ｓ４
工程Ｓ４は、工程Ｓ２にて検出した顔領域における着目領域を特定する工程である。本発明は後述するように、顔領域に加えて顔領域における着目領域に生じた白飛びの割合に応じて白飛び印象度として判定することにより、被写体の白飛び判定を従来よりも適切に実行可能としたものである。顔領域における着目領域としては、白飛びの判定に有用となる領域であれば特に限定されるものではないが、白飛びが生じやすい領域とすることが好ましい。特に、鼻領域、額領域及び頬領域の少なくともいずれか、好ましくはすべて、を着目領域とすることが望ましい。着目領域は顔領域の特定によってある程度的確に特定することが可能である。一方、工程Ｓ２において、顔領域に加えて目領域や口唇領域も併せて検出しておくことで、着目領域の特定がより的確且つ容易となる。図６に、検出した顔領域によって鼻領域を、顔領域と目領域とによって額領域を、顔領域と目領域と口唇領域とによって頬領域を、それぞれ特定する方法を示す。
【００４４】
１．４．１．鼻領域の特定
被写体の顔を正面から撮影した画像データにおいては、鼻筋に白飛びが生じやすい。本発明では、このような白飛びが生じやすい領域を着目領域とし、顔領域とは別個に白飛びの判定基準とする。被写体の顔を正面から撮影した画像データにおいては、顔領域の中央に鼻が存在する。よって、工程Ｓ２において検出した顔領域の中央部分を鼻領域として特定することができる。具体的には、図６（Ａ）に示すように、顔領域１ｆを３×３分割し、分割した領域のうち中央部分の領域を鼻領域１ｎとして矩形状にて特定することができる。
【００４５】
１．４．２．額領域及び頬領域の特定
被写体の顔を正面から撮影した画像データにおいては、鼻に次いで、額や頬に白飛びが生じやすい。本発明では、このような白飛びが生じやすい領域を着目領域とし、顔領域とは別個に白飛びの判定基準とする。被写体の顔を正面から撮影した画像データにおいては、鼻領域に隣接して上側に額領域及び左右に頬領域が存在する。よって、工程Ｓ２において検出した顔領域と、上記のように特定した鼻領域とを用いて、当該鼻領域の上領域を額領域とし、左右領域を頬領域として特定することができる。このように、額領域及び頬領域は、顔領域の検出と鼻領域の特定とによって、的確に位置を特定することができる。一方で、工程Ｓ２において顔領域の他、目領域と口唇領域とを検出しておくことで、額領域及び頬領域をさらに的確に特定することができる。
【００４６】
例えば、図６（Ｂ）に示すように、顔領域１ｆと目領域１ｅＲ、１ｅＬとを用いることで、額領域１ｆｈを的確に特定することができる。具体的には、左右の目領域１ｅＲ、１ｅＬの上端のうち、下側となる部分（図６（Ｂ）では、目領域１ｅＲの上端）を額領域１ｆｈの下端とし、顔領域１ｆの上端を額領域１ｆｈの上端とする。そして、目領域１ｅＲ、１ｅＬにおける上下方向の垂直二等分線をそれぞれ額領域１ｆｈの左右端とする。このようにして、額領域１ｆｈを矩形上にて特定することができる。
【００４７】
一方、図６（Ｃ）に示すように、顔領域１ｆと目領域１ｅＲ、１ｅＬと口唇領域１ｍとを用いることで、頬領域１ｃＲ、１ｃＬを的確に特定することができる。例えば右頬領域１ｃＲを特定する場合、右目領域１ｅＲの下端を右頬領域１ｃＲの上端とし、口唇領域１ｍの上端を右頬領域１ｃＲの下端とする。そして、口唇領域１ｍの上下方向垂直二等分線Ｘ１と、右目領域１ｅＲの上下方向垂直二等分線Ｘ２との間を等分する上下方向垂直二等分線Ｘ３を右頬領域１ｃＲの左方向一端とする。一方、右目領域１ｅＲの右端と顔領域１ｆの右端との間を等分する上下方向垂直二等分線Ｙを右頬領域１ｃＲの右方向一端とする。このようにして右頬領域１ｃＲを矩形上にて特定することができる。左頬領域１ｃＬについても同様である。
【００４８】
このようにして、工程Ｓ４において、顔領域における各着目領域（特に、鼻領域、額領域及び頬領域）が特定される。
【００４９】
１．５．白飛び印象度判定工程Ｓ５
工程Ｓ５は、工程Ｓ２によって検出した顔領域、工程Ｓ３によって抽出した白飛び、及び工程Ｓ４によって特定した着目領域を用いて、白飛び印象度の判定を行う工程である。図７に、工程Ｓ５の一例を示す。図７に示すように、工程Ｓ５は、前処理として画像データにおける肌情報を抽出、任意に補間する工程Ｓ５−１と、画像データの白飛び印象度を判定する工程Ｓ５−２とを備えている。
【００５０】
１．５．１．工程Ｓ５−１
工程Ｓ５−１は、画像データの肌情報を抽出し、任意に補間する工程である。画像データからの肌情報の抽出については、例えば、「白澤、大滝：“色被りにロバストな肌領域抽出法〜「色温度に独立な特徴量」と「色温度に従属な特徴量」を併用した肌領域抽出〜”、画像ラボ、Vol．19、No．11、pp．36‐41（2008）」に記載された手法等、公知の手法を用いることができる。一方、本発明者らは、白飛びを有する人物画像について、肌情報を抽出した場合、白飛びに起因して肌情報の一部が欠落する傾向を認めた。そのため、画像データから単に肌情報を抽出するだけでなく、肌情報の補間を行うことで、画像データにおける肌情報を欠落なく特定することができ好ましい。図８に、肌情報の補間に係る一例を示した。図８に示すように、画像データ１ａについて公知の手法により肌情報を抽出して画像データ１ｓ’を取得した場合、白飛び部分の少なくとも一部が肌情報から欠落する。そのため取得した画像データ１ｓ’に対して、工程Ｓ３にて取得した閾値処理後のＲ画像１ｔｒを論理和により統合することによって、画像データ１ｓ’の肌情報を補間することができる（画像データ１ｓ）。
【００５１】
１．５．２．工程Ｓ５−２
工程Ｓ５−２は、工程Ｓ２によって検出した顔領域、工程Ｓ３によって抽出した白飛び、工程Ｓ４によって特定した着目領域、及び工程Ｓ５−１において取得した画像データにおける肌情報を用いて、画像データの白飛び印象度を判定する工程である。
【００５２】
画像データは、当該画像データに含まれる白飛びのサイズや位置によって異なる印象度合いを有する。当該印象度合いは、画像データの利用価値に影響を与える。すなわち、画像データにおける白飛びにより人物写真の利用価値は、下記のように大きく変化する。
（１）良好：利用価値の高い状態（白飛びがない、或いはほとんどない。）
（２）おおむね良好：ユーザの要求に適さない場合もある状態（ある程度の白飛びが存在する。）
（３）不適：ユーザの要求に適さない状態（かなりの割合で白飛びが存在する。）
【００５３】
本発明では、画像データ中の白飛びがユーザに与える印象の度合いを「白飛び印象度」として設定し、白飛びを判定する特徴量として用いる。白飛び印象度は、顔領域及び着目領域における白飛びの有無、度合いによって一意的に設定できる。ここで、顔領域及び着目領域における白飛びの有無、度合いは、白飛び率Ｗ／Ｓ（Ｗは領域における白飛び画素数、Ｓは領域における肌情報に係る画素数）を算出することにより特定可能である。そして、画像データにおいて、白飛び箇所がない場合（いずれの領域においてもＷ／Ｓ＝０）、白飛び印象度を「無」とする。このような画像データは、最も利用価値が高く「良好」な画像データといえる。一方、着目領域に白飛びが生じている場合（Ｗ／Ｓ＞０）、顔領域や着目領域における白飛びの度合いに応じて、白飛び印象度は「弱」「中」「強」とする。このような画像データにあっては、利用価値が「おおむね良好」であるか「不適」である。通常、顔領域に占める白飛びの割合が大きい場合、ユーザにとって当該画像データの利用価値は「不適」と判断される場合が多い。本発明では、顔領域における白飛びの度合いが大きい場合（Ｗ／Ｓが所定の閾値よりも大きい）、白飛び印象度を「強」とし、画像データの白飛び判定を「不適」とする。一方、顔領域における白飛びの度合いが小さい場合（Ｗ／Ｓが所定の閾値以下）においては、着目領域における白飛びの度合いに応じて白飛び印象度を「弱」又は「中」とし、画像データの白飛び判定を「良好」或いは「おおむね良好」とする。このように白飛び印象度を段階的に判定することで、画像データの白飛びを細分化して判定することができる。
【００５４】
特に、着目領域として鼻領域、額領域及び頬領域を用いた場合、簡易且つ適切に白飛び印象度を判定することができる。図９に、着目領域として鼻領域、額領域及び頬領域を用いた場合における工程Ｓ５−２の具体例を示す。図９に示すように、工程Ｓ５−２は、鼻領域内の白飛び率ＷＮ／ＳＮを算出する工程Ｓ５−２ａと、当該白飛び率ＷＮ／ＳＮが閾値Ｔｈ１よりも大きいか否かを判定する工程Ｓ５−２ｂと、顔領域内の白飛び率ＷＦ／ＳＦを算出する工程Ｓ５−２ｃと、当該白飛び率ＷＦ／ＳＦが閾値Ｔｈ２よりも大きいか否かを判定する工程Ｓ５−２ｄと、額及び頬領域内白飛び率ＷＦＣ／ＳＦＣを算出する工程Ｓ５−２ｅと、当該白飛び率ＷＦＣ／ＳＦＣが閾値Ｔｈ３よりも大きいか否かを判定する工程Ｓ５−２ｆと、を備えている。
【００５５】
人物を正面から撮影した画像データにおいては、顔領域の鼻筋に最も白飛びが生じやすい。そのため、工程Ｓ５では、まず、工程Ｓ５−２ａにおいて鼻領域における白飛びの有無を判定する。具体的には、鼻領域において肌を示す画素数ＳＮ、及び鼻領域において白飛びを示す画素数ＷＮとを用いて、白飛び率ＷＮ／ＳＮを算出する。そして、工程Ｓ５−２ｂにおいて、工程Ｓ５−２ａにて算出した白飛び率ＷＮ／ＳＮが閾値Ｔｈ１よりも大きいか否かを判定する。閾値Ｔｈ１の設定については、特に限定されるものではなく、適宜設定・変更可能であるが、白飛びの有無を判定する観点から、Ｔｈ１＝０とすることが好ましい。工程Ｓ５−２ｂにおいて、白飛び率ＷＮ／ＳＮがＴｈ１以下と判定された場合、画像データに係る白飛び印象度は「無」と判定される。一方、工程Ｓ５−２ｂにおいて、白飛び率ＷＮ／ＳＮがＴｈ１よりも大きいと判定された場合、画像データには白飛びが存在するため、当該白飛びの度合いをさらに細分化して判定するため、工程Ｓ５−２ｃに進む。
【００５６】
工程Ｓ５−２ｃでは、顔領域において肌を示す画素数ＳＦ、及び顔領域において白飛びを示す画素数ＷＦとを用いて、白飛び率ＷＦ／ＳＦを算出する。そして、工程Ｓ５−２ｄにおいて、工程Ｓ５−２ｃで算出した白飛び率ＷＦ／ＳＦが閾値Ｔｈ２よりも大きいか否かを判定する。閾値Ｔｈ２の設定については、特に限定されるものではないが、例えば、Ｔｈ２＝０．１００〜０．３００、好ましくは０．１２０〜０．１５０、最も好ましくは、０．１３５とすることにより、白飛び印象度「強」（白飛び判定に係る利用価値「不適」）のものと白飛び印象度「弱」又は「中」（白飛び判定に係る利用価値、「良好」又は「おおむね良好」）のものとを適切に分けることができる。すなわち、工程Ｓ５−２ｄにおいて、白飛び率ＷＦ／ＳＦがＴｈ２よりも大きいと判定された場合、画像データに係る白飛び印象度は「強」と判定される。一方、工程Ｓ５−２ｄにおいて、白飛び率ＷＦ／ＳＦがＴｈ２以下と判定された場合、画像データには白飛びが存在するものの、画像データの利用価値に与える悪影響はさほど大きくはない。よって、大まかな白飛び判定で十分である場合は、画像データの白飛び印象度の判定をこの時点で終了としてもよい。しかしながら、白飛び印象度の判定をさらに細分化し、さらに適切な白飛び判定を可能とする観点からは、図９に示すように、工程Ｓ５−２ｅに進むことが好ましい。
【００５７】
工程Ｓ５−２ｅでは、額領域おいて肌を示す画素数ＳＦＨ、及び額領域において白飛びを示す画素数ＷＦＨとを用いて、額領域における白飛び率ＷＦＨ／ＳＦＨを算出し、右頬領域において肌を示す画素数ＳＣＲ、及び右頬領域において白飛びを示す画素数ＷＣＲとを用いて、右頬領域における白飛び率ＷＣＲ／ＳＣＲを算出し、且つ、左頬領域において肌を示す画素数ＳＣＬ、及び左頬領域において白飛びを示す画素数ＷＣＬとを用いて、左頬領域における白飛び率ＷＣＬ／ＳＣＬを算出し、これら算出値のうち最大値となるものを額領域及び頬領域内白飛び率ＷＦＣ／ＳＦＣとする。そして、工程Ｓ５−２ｆにおいて、工程Ｓ５−２ｅで求めた白飛び率ＷＦＣ／ＳＦＣが閾値Ｔｈ３よりも大きいか否かを判定する。閾値Ｔｈ３の設定については、特に限定されるものではないが、例えば、Ｔｈ３＝０．００２〜０．０４０、好ましくは０．０１０〜０．０３０、最も好ましくは０．０２５とすることにより、白飛び印象度「中」（白飛び判定に係る利用価値「おおむね良好」）のものと白飛び印象度「弱」（白飛び判定に係る利用価値、「良好」）のものとを適切に分けることができる。すなわち、工程Ｓ５−２ｆにおいて、白飛び率ＷＦＣ／ＳＦＣがＴｈ３よりも大きいと判定された場合、画像データに係る白飛び印象度は「中」と判定される。一方、工程Ｓ５−２ｆにおいて、白飛び率ＷＦＣ／ＳＦＣがＴｈ３以下と判定された場合、画像データに係る白飛び印象度は「弱」と判定される。
【００５８】
本発明に係る白飛び判定方法Ｓ１０は、工程Ｓ１〜Ｓ５を経て、画像データに係る白飛び印象度を判定し、白飛び判定の特徴量として用いる。尚、上記説明では、白飛び印象度の判定結果をそのまま白飛び判定結果として用いているが、白飛び印象度に係る判定結果と、その他のパラメータ（画像データにおける被写体の大きさ等）とを組み合わせて、白飛び判定結果としてもよい。或いは、被写体が複数人の場合、複数の白飛び印象度を組み合わせて白飛び判定結果としてもよい。本発明に係る白飛び判定方法においては、画像データにおける顔領域のみならず、顔領域における着目領域をも用いて白飛び印象度を細分化して判定しているので、簡易的且つ適切に白飛び判定を行うことができる。そして、当該白飛びの判定結果は、画像検索において、白飛びの度合いに応じて画像データを抽出し、ユーザの要望に応じた利用価値の高い画像データを抽出する場合に有効となる。
【００５９】
２．白飛び判定装置及び白飛び判定プログラム
本発明に係る白飛び判定方法Ｓ１０を実行可能な白飛び判定装置について説明する。図１０に一実施形態に係る本発明の白飛び判定装置１０を概略的に示した。図１０に示すように、白飛び判定装置１０は、上記画像データ選択工程Ｓ１を行う画像データ選択手段、上記前処理工程Ｓ２を行う前処理手段、上記白飛び抽出工程Ｓ３を行う白飛び抽出手段、上記着目領域特定工程Ｓ４を行う着目領域特定手段、及び上記白飛び印象度判定工程Ｓ５を行う白飛び印象度判定手段、として機能するＣＰＵ１、並びに、ＣＰＵ１に対する記憶装置等を備えている。ＣＰＵ１は、マイクロプロセッサユニット及びその動作に必要な各種周辺回路を組み合わせて構成され、ＣＰＵ１に対する記憶装置は、例えば、上記工程Ｓ１〜Ｓ５の判断、実行に必要なプログラムや各種データ（例えば、判定対象となる複数の画像データ）を記憶するＲＯＭ２と、ＣＰＵ１の作業領域として機能するＲＡＭ３等を組み合わせて構成されている。当該構成に加えて、さらに、ＣＰＵ１が、ＲＯＭ２に記憶されたソフトウェアと組み合わされることにより、白飛び判定装置１０が機能する。
【００６０】
画像データの白飛び判定を行うユーザは、入力手段６（例えば、パソコンのキーボード等）を介して、白飛び判定装置１０へとデータを入力していく。入力手段６からの入力信号は、入力ポート４を介して、入力信号としてＣＰＵ１へと到達する。ＣＰＵ１は、入力手段６からの信号、及び、ＲＯＭ２に記憶されたプログラムに基づいて、上記工程Ｓ１〜Ｓ５を行い、出力ポート５を介して、判定結果に関する信号を出力手段（例えば、パソコンの画面等）へと出力し、出力手段７に白飛び判定結果が表示される。例えば、複数の画像データに対して白飛び判定を実行し、画像データのそれぞれの利用価値（上記「良好」、「おおむね良好」、「不適」）を特定し、当該特定結果が出力手段７に表示される形態の他、画像データのうち利用価値の高いもの（「良好」、「おおむね良好」）のみを表示したり、或いは、利用価値の高い順に複数の画像データが並び替えられて出力手段７に表示されるような形態とすることで、出力手段７に表示された結果により、ユーザは各画像データの利用価値を特定することができる。
【００６１】
具体的には、入力手段６を介して、白飛び判定方法Ｓ１０を実行するために必要となる信号や情報（画像データの選択信号、白飛び抽出の際の閾値ＴＲ、ＴＧ、ＴＢ、白飛び印象度判定の際の閾値Ｔｈ１、Ｔｈ２、Ｔｈ３等）が、白飛び判定装置１０へと入力される。一方、ＲＯＭ２には、本発明に係る白飛び判定方法Ｓ１０を実行可能な白飛び判定プログラムが記憶されており、当該プログラムを実行することによって、ＣＰＵ１にて白飛び判定方法Ｓ１０を行わせることができる。白飛び判定プログラムは、白飛び判定装置１０に白飛び判定方法Ｓ１０を行わせることができるものであれば特に限定されるものではないが、例えば、下記のようなものとすることができる。
【００６２】
すなわち、ユーザからの入力信号によって、画像データ選択手段（ＣＰＵ１）に、記憶手段（ＲＯＭ２やその他外付け媒体等）から、一の画像データを選択させ、処理手段（ＣＰＵ１）に、選択された画像データにおける被写体の少なくとも顔領域を検出させ、白飛び抽出手段（ＣＰＵ１）に、選択された画像データにおける白飛びを抽出させ、着目領域特定手段（ＣＰＵ１）に、検出された顔領域における複数の着目領域を特定させ、白飛び印象度判定手段（ＣＰＵ１）に、抽出された白飛びの着目領域に占める割合から、画像データの白飛び印象度を判定させる、白飛び判定プログラムによって、白飛び判定装置１０に白飛び判定方法Ｓ１０を実行させることができる。
【００６３】
ここで、着目領域として、顔領域における鼻領域、額領域及び頬領域を特定させることが好ましい。上述の通り、顔領域において白飛びはこれら特定の着目領域に生じやすく、着目領域をこれらに限定することで、白飛びの判定をより適切且つ効率的に行うことができる。
【００６４】
また、白飛び抽出手段（ＣＰＵ１）に、閾値設定により白飛びを抽出させることによって、白飛びの抽出をより的確に行わせることができ、白飛びの判定を簡易且つ適切に行わせることができる。
【００６５】
さらに、白飛び抽出手段（ＣＰＵ１）に、画像データのＲＧＢ分離を行わせることによって、白飛びの抽出をより的確に行わせることができ、白飛びの判定を簡易且つ適切に行わせることができる。
【００６６】
一方、白飛び印象度判定手段（ＣＰＵ１）に、複数の着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、白飛びの占める割合を特定させることによって、着目領域における白飛びの度合いを適切に特定させることができ、白飛び印象度を簡易且つ適切に判定させることができる。
【００６７】
加えて、白飛び印象度判定手段（ＣＰＵ１）に、白飛び率Ｗ／Ｓが閾値以上か否かを判定させて、画像データの白飛び印象度を判定させることによって、白飛び印象度を一意的且つ簡易的に判定させることができる。
【００６８】
このような白飛び判定プログラムをＲＯＭ２に記憶させ、ＣＰＵ１にて実行することにより、ＣＰＵ１にて適切に白飛び判定方法Ｓ１０を実行することが可能となる。
【００６９】
以上のように、白飛び判定装置１０には、被写体が含まれた画像データを選択する、画像データ選択手段（ＣＰＵ１）と、選択された画像データにおいて、少なくとも被写体の顔領域を検出する、前処理手段（ＣＰＵ１）と、選択された画像データにおける白飛びを抽出する、白飛び抽出手段と（ＣＰＵ１）、検出された顔領域における複数の着目領域を特定する、着目領域特定手段（ＣＰＵ１）と、抽出された白飛びの着目領域に占める割合から、画像データの白飛び印象度を判定する、白飛び印象度判定手段（ＣＰＵ１）と、が備えられており、且つ、上記した白飛び判定プログラムによって、白飛び判定方法Ｓ１０を実行可能とされている。すなわち、当該白飛び判定装置１０によれば、画像検索において、白飛びの度合いに応じて画像データを抽出し、ユーザの要望に応じた画像データを抽出する場合に有効となる、白飛びの判定を適切に実行することができる。
【００７０】
３．画像検索方法
本発明に係る白飛び判定方法の判定結果は、画像検索において有効な絞り込み条件となる。画像検索方法については、白飛び判定結果を用いることができるものであれば、特に限定されるものではない。例えば、上記した白飛び判定方法による白飛び判定結果を用いて、複数の画像データから利用価値の高いもののみを検索・抽出するもの、或いは、複数の画像データについて利用価値の高い順に並び替えるもの等を例示することができる。
【００７１】
４．画像検索装置及び画像検索プログラム
既に説明した白飛び判定装置１０において、さらに画像検索を実行可能とすることもできる。すなわち、白飛び判定装置１０のＣＰＵ１が、画像検索手段としての機能も担うことで、白飛び判定装置１０を画像検索装置とすることができる。このためには、ＲＯＭ２に上記白飛び判定プログラムに加えて、画像検索プログラムも記憶させておく必要がある。画像検索プログラムとしては、上記した白飛び判定プログラムによる白飛び判定結果を用いて、画像検索手段（ＣＰＵ１）に、入力手段６からの信号により、複数の画像データから、利用価値の高い画像データ（例えば、白飛び判定方法により、利用価値が「良好」、「おおむね良好」として特定された画像データ）のみを検索・抽出させるものや、複数の画像データのうち利用価値の高いものから、ユーザの閾値設定等により、所定の画像データを検索・抽出を行わせるもの（利用価値の高いものについて、さらに検索絞り込みを行わせるもの）、複数の画像データについて利用価値の高い順に並び替えさせるもの等を例示することができる。
【００７２】
以上のように、複数の画像データそれぞれに対して、白飛び判定装置１０に本発明に係る白飛び判定方法を実行させ、画像データの白飛び判定結果（白飛びに起因した利用価値）を取得し、当該白飛び判定結果を用いて、画像検索手段に画像検索を行わせることにより、複数の画像データから利用価値の高いもののみを検索・抽出、或いは、並び替えを行うことができ、ユーザの要望に応じた画像検索・抽出が可能となり、検索効率を向上させることできる。
【実施例】
【００７３】
図１１に示すように、室内で顔を正面に向けている人物一人を対象とし、デジタルカメラを用いてストロボ撮影を行った。検討用データ１６１枚、実験用データ２７５枚、合計４３６枚の人物写真を取得した。検討用データの被験者数は７名、実験用データの被験者数は８名とした。さらにストロボ光（全２２種）、ストロボ角度（２種：仰角６０°、７５°）、室内照明光（３種：蛍光灯５箇所、３箇所、１箇所）を変化させ、使用画像データ取得時における照明の設定を行った。照明の設定条件を下記表１に示す。尚、実施例においては、照明の変化に応じた白飛びの変化を使用画像データに反映させるため、撮像装置の設定を固定した（絞り：ｆ５．６、シャッター速度：１／１２５ｓ、ＩＳＯ感度：１６００）。
【００７４】
【表１】
【００７５】
本発明に係る白飛び判定方法の有用性を検討するため、複数の被験者が目視により利用に適すると判定した結果（以下、目視判定結果という。）と、本発明に係る白飛び判定方法により得られる白飛び印象度とを用いて利用に適すると判定した結果（以下、白飛び判定結果という。）との比較を行った。
【００７６】
（目視判定）
被験者１１名に実験用データ２７５枚を提示し、人物写真における利用の適否（使用の可否判断）を評価した。尚、実験用データに対する評価は、以下に示す３項目について行った。
（１）白飛びが無い、又は白飛びが生じているが利用できる（良好）
（２）白飛びがあるため、利用できない（不適）
（３）上記（１）、（２）のどちらか判断しかねる（おおむね良好）
【００７７】
また、上記（１）、（２）及び（３）に対し、それぞれ「１」、「３」及び「２」と数値を割り当てた。当該数値を用いて、対象データに対する評価の平均値を算出し、これを目視判定結果とした。具体的には、平均値が（ｉ）１．５未満の場合「良好」、（ｉｉ）２．５以上の場合「不適」、（ｉｉｉ）それ以外を「おおむね良好」に設定した。
【００７８】
（白飛び判定及び閾値の設定）
下記表２に示すように、白飛び印象度を「無」及び「弱」（利用価値「良好」、白飛び箇所：無又は鼻）、「中」（利用価値「おおむね良好」、白飛び箇所：鼻と額、鼻と頬、或いは、鼻と額と頬）、「強」（利用価値「不適」、白飛び箇所：顔の広範囲（全体））の３段階に分類し、上記白飛び判定方法Ｓ１０を行った。ここで、閾値ＴＲ＝２５２、ＴＧ＝２４１、ＴＢ＝２２６、Ｔｈ１＝０とした。また、閾値Ｔｈ２、Ｔｈ３は下記のように設定した。
【００７９】
【表２】
【００８０】
顔領域内白飛び率ＷＦ／ＳＦとＴｈ２とを用いて白飛び印象度を「強」と「中・弱・無」との２組に分類する性能（以下、Ｔｈ２分類性能という。）をＳ２、額領域内白飛び率ＷＦＣ／ＳＦＣとＴｈ３とを用いて白飛び印象度を「強・中」と「弱・無」との２組に分類する性能（以下、Ｔｈ３分類性能という。）をＳ３と定義した。具体的には、Ｓ２及びＳ３は、「正しく分類を行った件数／顔検出が成功した画像数」である。また、Ｔｈ２分類性能、Ｔｈ３分類性能が大きいほど、正しい分類が行われたことを意味するため、Ｓ２及びＳ３を最大にするＴｈ２及びＴｈ３を白飛び解析における閾値として設定した。
【００８１】
実験用データを対象として、閾値Ｔｈ２及びＴｈ３と分類性能Ｓ２及びＳ３の関連を取得したところ、図１２のようになった。図１２から、閾値Ｔｈ２を０．１３５、閾値Ｔｈ３を０．０２５とすることが最適であることがわかった。
【００８２】
（結果）
目視判定結果と白飛び判定結果の比較結果を下記表３、表４に示す。目視判定結果に対する白飛び判定結果の一致率は、約８８．４％と高い値を得ている。また、表４に示すように目視判定結果と大きく異なる評価を行った白飛び判定結果例は１例のみであった。すなわち、本発明に係る白飛び判定方法で得られた結果は、白飛びの特徴を適切に捉えており、大きな誤判定は生じ難いことが示唆された。
【００８３】
【表３】
【００８４】
【表４】
【００８５】
以上より、白飛びがユーザに与える印象の度合いを「白飛び印象度」として一意的に設定し、これを白飛び判定の特徴量として用いることで、白飛び判定を適切に実行できることがわかった。また、白飛びの色情報に着目して、閾値設定により白飛び画素の抽出を行うことで、白飛びを適切に抽出でき、白飛び印象度を適切に判定可能であることがわかった。さらに、白飛び印象度の判定の際においても閾値を設定することにより、白飛び印象度を簡易且つ適切に分類でき、白飛び判定をさらに適切に実行可能であることがわかった。
【００８６】
以上、現時点において、最も実践的であり、且つ、好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う被写体の白飛び判定方法、判定装置及び判定プログラム、並びに、画像検索方法、検索装置及び検索プログラムもまた本発明の技術範囲に包含されるものとして理解されなければならない。
【００８７】
例えば、上記説明においては、着目領域として、鼻領域、額領域及び頬領域を例示したが、本発明はこの形態に限定されるものではない。例えば、口唇領域や目領域に着目してもよい。ただし、顔領域において最も白飛びが生じ易く、白飛びの判定をより適切に行うことが可能な観点からは、鼻領域、額領域又は頬領域のいずれか、好ましくはすべてを着目領域とすることが望ましい。
【００８８】
また、上記説明においては、白飛び印象度判定の際、白飛び率Ｗ／Ｓを算出するものとして説明したが、本発明はこの形態に限定されるものではない。例えば、白飛び画素数をそのまま白飛び印象度の判定に直結させてもよい。ただし、白飛び印象度の判定、ひいては白飛びの判定をより適切に行うことが可能な観点からは、各領域における白飛び率Ｗ／Ｓを算出し、算出値を基準に、閾値処理によって白飛び印象度の判定を行うことが好ましい。
【産業上の利用可能性】
【００８９】
本発明によれば、複数の画像データについて検索を行い、目的とする画像データを抽出する際、効率的な検索が可能とされ、検索・抽出時間を短縮化でき、且つ、精度のよい適切な検索が可能とされ、目的とする画像データを効率的に取得することができる。従って、膨大な量の画像データを検索により絞り込み、目的の画像データを早期に得たい場合に、特に有用である。
【技術分野】
【０００１】
本発明は、画像データ（デジタル画像等）における被写体の白飛び判定方法、判定装置、及び白飛び判定プログラム、並びに、複数の画像データから任意の画像データを検索する画像検索方法、画像検索装置、及び画像検索プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の普及に伴い、手軽にスナップ写真を撮像することが可能となり、個人が所有する画像データ数は増加の傾向にある。このため、膨大な画像データの中から個人の要求に適した画像の検索を目的として、類似画像検索に関する検討が行われている。
【０００３】
画像データの検索における個人の要求の一つとして、画像データの利用価値が挙げられる。画像データの利用価値は、例えば、画像データ取得時の照明条件や撮影方法に起因して変化する。特に、イベントにおける主たる人物を室内でストロボを用いて撮影した場合、当該人物に「白飛び」が生じやすく、画像データの利用価値に与える影響が大きい。「白飛び」とは、撮影対象における高輝度部分の輝度値が、撮像装置の持つ階調表現可能な範囲を超えることに起因して生じ、領域の情報が飽和する状態を意味する。すなわち、「白飛び」の度合いが大きい画像データは、色の濃淡や凹凸による質感が失われているため利用価値が小さく、画像検索の際このような画像データを適切に評価しつつ別個に抽出或いは検索結果から排除することができれば、検索効率の向上に寄与するものと考えられる。
【０００４】
画像データの白飛びに関する従来技術としては、撮影時の白飛びを抑制するように制御する撮像装置や画像処理装置（特許文献１〜６）、撮影時、撮影対象に白飛びが生じている場合でも適切に顔検出を行うことができる画像処理装置（特許文献７）がある。これらは撮影時における画像処理に関するものであるものの、撮像後の画像データに係る画像検索にもある程度応用することができるものと考えられる。或いは、白飛び等の不具合が生じた画像データを有効に活用するため、当該不具合部分に絵や模様等を貼付する技術も開示されている（特許文献８）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２０６８０１号公報
【特許文献２】特開２００７−２０１９７９号公報
【特許文献３】特開２００７−２０１６５５号公報
【特許文献４】特開２００７−０８８６５０号公報
【特許文献５】特開２００６−１２９４４９号公報
【特許文献６】特開２００４−２９７２６９号公報
【特許文献７】特開２００８−２８３５７３号公報
【特許文献８】特開２０１０−０１１１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像データの利用価値は、白飛びが顔領域の一部のみに生じている場合、白飛びが顔領域全体に生じている場合等、白飛びの度合いによって細分化されて変化する。一方、上述した従来技術は、局所領域におけるヒストグラムを用いた手法や局所領域における最大値と最小値との差分を用いた手法等によって白飛びの制御や補正を行うものであるが、いずれにおいても顔領域全体を対象としており、白飛びの度合いや画像データがユーザに与える印象を細分化して判定することができない。すなわち、特許文献１〜８に係る技術を画像検索に応用したとしても、白飛びの度合いに応じて画像データを抽出することはできず、ユーザの要望に応じた画像検索を行うことができない場合があった。
【０００７】
本発明は、上記に鑑みてなされたものであり、画像検索において、白飛びの度合いに応じて画像データを抽出し、ユーザの要望に応じた画像データを抽出する場合に有効となる、白飛び判定方法、白飛び判定装置、及び白飛び判定プログラム、並びに、当該白飛びの判定結果を用いて効率的に画像検索を実行可能な画像検索方法、画像検索装置、及び画像検索プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明者らは、画像データにおける被写体の白飛び判定について研究を進めた結果、以下の知見を得た。
（１）被写体の白飛びの判定の際、着目領域として被写体の顔領域の他、顔領域における複数の領域、好ましくは鼻領域、額領域及び頬領域を用いることで、従来よりも適切な白飛び判定が可能となる。
（２）白飛びがユーザに与える印象の度合いを白飛び印象度として一意的且つ段階的に定義し、当該白飛び印象度によって画像データの白飛び判定を行うことで、適切且つ効率的な白飛び判定が可能となる。例えば、上記顔領域及び着目領域における白飛びの割合を算出し、各領域それぞれについて、算出した白飛びの割合が所定の閾値よりも大きいか否かを判定していくことで、画像データにおける白飛び情報を段階的に区分けすることができ、当該区分けの結果を段階的な白飛び印象度として設定することができる。
（３）白飛び箇所の閾値を決定し、さらに、閾値を用いて白飛び画素の抽出を行うことで、簡易的且つ適切な白飛び判定が可能となる。
（４）抽出した白飛び画素に係る情報と、上記各着目領域に係る情報とを組み合わせて、上記白飛び印象度の判定を行うことで、適切な白飛び判定が可能となる。
【０００９】
本発明は上記知見に基づいてなされたものである。すなわち、
第１の本発明は、被写体が含まれた画像データを選択する、画像データ選択工程と、選択された画像データにおいて、少なくとも被写体の顔領域を検出する、前処理工程と、検出された顔領域における白飛びを抽出する、白飛び抽出工程と、検出された顔領域における複数の着目領域を特定する、着目領域特定工程と、抽出された白飛びの着目領域に占める割合から、画像データの白飛び印象度を判定する、白飛び印象度判定工程と、を備える、画像データにおける被写体の白飛び判定方法である。
【００１０】
第１の本発明において、着目領域が、顔領域における鼻領域、額領域及び頬領域であることが好ましい。顔領域において白飛びはこれら特定の着目領域に生じやすく、着目領域をこれらに限定することで、白飛びの判定をより適切且つ効率的に行うことができる。
【００１１】
第１の本発明に係る白飛び抽出工程において、閾値設定により白飛びが抽出されることが好ましい。本発明において、「閾値設定により白飛びが抽出される」とは、例えば、画像データにおける輝度値について、所定値を閾値として設定すること、当該閾値よりも大きな輝度値に係る画素を白飛び画素として抽出できる。これにより、白飛びの抽出をより的確に行うことができ、白飛びの判定を簡易且つ適切に行うことができる。
【００１２】
第１の本発明に係る白飛び抽出工程において、画像データのＲＧＢ分離が行われることが好ましい。白飛びの抽出をより的確に行うことができ、白飛びの判定を簡易且つ適切に行うことができるためである。
【００１３】
第１の本発明に係る白飛び印象度判定工程において、複数の着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、白飛びの占める割合が特定されることが好ましい。着目領域における白飛びの度合いを適切に特定することができ、白飛び印象度を簡易且つ適切に判定することができるためである。
【００１４】
第１の本発明に係る白飛び印象度判定工程において、白飛び率Ｗ／Ｓが閾値以上か否かを判定することにより、画像データの白飛び印象度を判定することが好ましい。白飛び印象度を一意的且つ簡易的に判定することができるためである。
【００１５】
第２の本発明は、第１の本発明に係る白飛び判定方法による白飛び判定結果を用いて、画像データの検索処理を行う、画像検索方法である。
【００１６】
第３の本発明は、被写体が含まれた画像データを選択する、画像データ選択手段と、選択された画像データにおいて、少なくとも被写体の顔領域を検出する、前処理手段と、検出された顔領域における白飛びを抽出する、白飛び抽出手段と、検出された顔領域における複数の着目領域を特定する、着目領域特定手段と、抽出された白飛びの着目領域に占める割合から、画像データの白飛び印象度を判定する、白飛び印象度判定手段と、を備える、画像データにおける被写体の白飛び判定装置である。
【００１７】
第３の本発明において、着目領域が、顔領域における鼻領域、額領域及び頬領域であることが好ましい。顔領域において白飛びはこれら特定の着目領域に生じやすく、着目領域をこれらに限定することで、白飛びの判定をより適切且つ効率的に行うことができる。
【００１８】
第３の本発明において、白飛び抽出手段が、閾値設定により白飛びを抽出するものであることが好ましい。白飛びの抽出をより的確に行うことができ、白飛びの判定を簡易且つ適切に行うことができるためである。
【００１９】
第３の本発明において、白飛び抽出手段が、画像データのＲＧＢ分離を行うものであることが好ましい。白飛びの抽出をより的確に行うことができ、白飛びの判定を簡易且つ適切に行うことができるためである。
【００２０】
第３の本発明において、白飛び印象度判定手段が、複数の着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、白飛びの占める割合を特定するものであることが好ましい。着目領域における白飛びの度合いを適切に特定することができ、白飛び印象度を簡易且つ適切に判定することができるためである。
【００２１】
第３の本発明において、白飛び印象度判定手段が、白飛び率Ｗ／Ｓが閾値以上か否かを判定することにより、画像データの白飛び印象度を判定するものであることが好ましい。白飛び印象度を一意的且つ簡易的に判定することができるためである。
【００２２】
第４の本発明は、第３の本発明に係る白飛び判定装置と、該白飛び判定装置における白飛び判定結果を用いて画像データの検索処理を行う検索手段と、を備える、画像検索装置である。
【００２３】
第５の本発明は、第３の本発明に係る白飛び判定装置において、画像データ選択手段に、被写体が含まれた画像データを選択させ、前処理手段に、検出された顔領域における複数の着目領域を特定させ、白飛び抽出手段に、選択された画像データにおける被写体の少なくとも顔領域を検出させ、着目領域特定手段に、検出された顔領域における白飛びを抽出させ、白飛び印象度判定手段に、抽出された白飛びの着目領域に占める割合から、画像データの白飛び印象度を判定させる、画像データにおける被写体の白飛び判定プログラムである。
【００２４】
第５の本発明において、着目領域が、顔領域における鼻領域、額領域及び頬領域であることが好ましい。顔領域において白飛びはこれら特定の着目領域に生じやすく、着目領域をこれらに限定することで、白飛びの判定をより適切且つ効率的に行うことができる。
【００２５】
第５の本発明において、白飛び抽出手段に、閾値設定により白飛びを抽出させることが好ましい。白飛びの抽出をより的確に行わせることができ、白飛びの判定を簡易且つ適切に行わせることができるためである。
【００２６】
第５の本発明において、白飛び抽出手段に、画像データのＲＧＢ分離を行わせることが好ましい。白飛びの抽出をより的確に行わせることができ、白飛びの判定を簡易且つ適切に行わせることができるためである。
【００２７】
第５の本発明において、白飛び印象度判定手段に、複数の着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、白飛びの占める割合を特定させることが好ましい。着目領域における白飛びの度合いを適切に特定させることができ、白飛び印象度を簡易且つ適切に判定させることができるためである。
【００２８】
第５の本発明において、白飛び印象度判定手段に、白飛び率Ｗ／Ｓが閾値以上か否かを判定させることにより、画像データの白飛び印象度を判定させるものであることが好ましい。白飛び印象度を一意的且つ簡易的に判定させることができるためである。
【００２９】
第６の本発明は、第４の本発明に係る画像検索装置に、第５の本発明に係る白飛び判定プログラムにより被写体の白飛び判定を行わせるとともに、白飛び判定結果を用いて画像データの検索処理を行わせる、画像検索プログラムである。
【発明の効果】
【００３０】
本発明によれば、画像検索において、白飛びの度合いに応じて画像データを抽出し、ユーザの要望に応じた画像データを抽出する場合に有効となる、白飛び判定方法、白飛び判定装置、及び白飛び判定プログラム、並びに、当該白飛びの判定結果を用いて効率的に画像検索を実行可能な画像検索方法、画像検索装置、及び画像検索プログラムを提供することができる。
【図面の簡単な説明】
【００３１】
【図１】一実施形態に係る本発明の白飛び判定方法の流れを説明するためのフローチャートである。
【図２】前処理工程における画像データの状態を説明するための概略図である。
【図３】白飛びを抽出する工程の流れを説明するためのフローチャートである。
【図４】白飛びを抽出する工程の流れを説明するための概略図である。
【図５】白飛びを抽出する工程における処理を説明するための概略図である。
【図６】着目領域の特定例を説明するための概略図である。
【図７】白飛び印象度を判定する工程の流れを説明するためのフローチャートである。
【図８】画像データにおける肌領域の抽出、肌領域の補間について説明するための概略図である。
【図９】白飛び印象度の判定に係る流れを説明するためのフローチャートである。
【図１０】一実施形態に係る本発明の白飛び判定装置（或いは、画像検索装置）を示す概略図である。
【図１１】実施例に係る撮影条件を説明するための概略図である。
【図１２】閾値設定の詳細を説明するためのデータである。
【発明を実施するための形態】
【００３２】
１．白飛び判定方法
図１に本発明にかかる白飛び判定方法の一例を示す。図１に示すように、白飛び判定方法Ｓ１０は、白飛びの判定を行う一の画像データを選択する工程Ｓ１、前処理として画像データにおける少なくとも顔領域を検出する工程Ｓ２、画像データにおける白飛びを抽出する工程Ｓ３、顔領域における複数の着目領域を検出する工程Ｓ４、及び、抽出した白飛びの着目領域に占める割合に基づいて白飛び印象度を判定する工程Ｓ５を備えている。
【００３３】
１．１．画像データ選択工程Ｓ１
工程Ｓ１は、デジタルカメラ等により撮影され記憶装置等に取り込まれた画像データを選択する工程である。画像データを取り込む方法や記憶装置としては、従来公知のものを特に限定することなく用いることができる。選択の基準は特に限定されるものではなく、例えば、記憶装置内に記憶された複数の画像データについて、名前順や撮像日付順等、適当な順番にて本発明に係る白飛び判定方法Ｓ１０を順次行えばよい。尚、選択する画像データは、被写体（人物）を正面から撮影したものが好ましく、例えば、図２（Ａ）に示すように、被写体の顔領域が正面から撮影されてなる画像データ１（１ａ）のようなものが好ましい。
【００３４】
１．２．前処理工程Ｓ２
工程Ｓ２は、選択された画像データにおける被写体の少なくとも顔領域を検出する工程である。例えば、図２（Ｂ）の画像データ１（１ｆ）のように、画像データ１ａにおける顔領域に係る位置が矩形にて検出される。顔領域を検出する場合、公知の顔検出方法を用いることができる。本発明において適用される具体的な顔検出方法としては、Ｈａａｒ−ｌｉｋｅ特徴に着目した対象検出方法（Paul Viola and Michael Jones ： “Rapid Object Detection using a Boosted Cascade of Simple Features”， IEEE CVPR（2001）や、Rainer Lienhart and Jochen Maydt “An Extended Set of Haar‐like Features for Rapid Object Detection”, Proceedings of the 2002 IEEE International Conference on Image Processing， Vol．1， 900‐903等）を挙げることができる。具体的には、例えば、選択された画像データ１ａをグレースケール化し、Ｈａａｒ−ｌｉｋｅ特徴を用いたＢｏｏｓｔｉｎｇ学習を行い、対象画像と非対象画像とを分ける基準となる複数のＨａａｒ−ｌｉｋｅ特徴と、それらの特徴を数値化した値から算出される閾値を抽出する。そして、当該閾値に基づいて、検出すべき画像領域か否かが判断され、肯定判断がされれば顔画像を含む画像領域として検出される。但し、Ｈａａｒ−ｌｉｋｅ特徴に着目した顔検出方法のみでは、画像データ中の顔を精度よく検出できず、顔以外のオブジェクトを誤検出してしまう虞がある。そのため、本発明では、複数の顔検出方法を併用して顔画像を含む画像領域を検出することが好ましい。Ｈａａｒ−ｌｉｋｅ特徴に着目した顔検出方法と併用可能な顔検出方法としては、例えば、ホワイトバランスに対応した肌検出が可能な、口唇周辺領域の彩度情報を利用した顔検出方法（大瀧健太、白澤洋一、西田眞、“ホワイトバランスの変化にロバストな肌抽出法に関する検討”電子情報通信学会ソサエティ大会、Ａ−４−２１（２００７））や、色彩情報に着目して口唇形状の抽出処理を行うことができる方法（白澤洋一、西田眞、西健治、“色彩情報を用いたファジィ推論による口唇形状抽出に関する検討”電学論Ｃ、Ｖｏｌ．１２５、Ｎｏ．９、１４３０−１４３７（２００５））等の方法を用いることが好ましい。
【００３５】
また、工程Ｓ２においては、上記顔領域に加えて、顔領域における目領域や口唇領域を検出することが好ましい。例えば、図２（Ｃ）、（Ｄ）の画像データ１（１ｅ）、１（１ｍ）のように、画像データ１ａにおける目領域や口唇領域に係る位置が矩形にて検出される。これらの検出には、従来公知の手法を用いることができる。例えば、口唇領域の検出には、上記した色彩情報に着目して口唇形状の抽出処理を行うことができる方法等を用いることができる。目領域の検出には、エッジ情報及び色情報を用いた目検出処理方法（戸塚、景山、西田、白澤、大滝、“ディジタル画像を対象とする特定人物判別に関する検討”、映像情報メディア学会冬季大会、８−５（２００８））等を用いることができる。工程Ｓ２において目領域や口唇領域も併せて検出しておくことで、後述する着目領域の特定がより容易となる。
【００３６】
１．３．白飛び抽出工程Ｓ３
工程Ｓ３は、選択した画像データ１における白飛びを抽出する工程である。図３に工程Ｓ３の一例を、図４に、当該各工程における、画像データ１の状態の変遷を概略的に示した。図３に示すように、工程Ｓ３は、画像データ１ａのＲＧＢ分離を行う工程Ｓ３−１と、ＲＧＢ分離した画像データ１ｒ、１ｇ、１ｂそれぞれについて閾値処理を行う工程Ｓ３−２と、閾値処理を行った各画像データ１ｔｒ、１ｔｇ、１ｔｂを論理積により統合し、白飛び部分を抽出する工程Ｓ３−３とを備えている。
【００３７】
１．３．１．工程Ｓ３−１
工程Ｓ３−１は、白飛び判定対象である画像データをＲＧＢ分離する工程である。画像データのＲＧＢ分離については、公知の手法により実行可能である。例えば、Adobe Photoshop（登録商標）等の公知の画像処理ソフトウェアにより実行可能である。図４に示すように、工程Ｓ３−１を経て、画像データ１ａは、Ｒ画像データ１ｒ、Ｇ画像データ１ｇ、Ｂ画像データ１ｂに分離される。
【００３８】
１．３．２．工程Ｓ３−２
工程Ｓ３−２は、工程Ｓ３−１を経て分離・取得された画像データ１ｒ、１ｇ及び１ｂそれぞれについて、予め設定した閾値以下の階調レベル（輝度値）に係る画素について棄却する処理を行う工程である。すなわち、図４に示すように、画像データ１ｒ、１ｇ及び１ｂそれぞれについて、閾値よりも大きい輝度値部分を白飛び部分として一意的に特定し、それ以外の部分については棄却することにより、画像データ１ｒ、１ｇ及び１ｂをそれぞれ２値画像化する（画像データ１ｔｒ、１ｔｇ及び１ｔｂ）。画像データ１ｒ、１ｇ及び１ｂのそれぞれの輝度値に係る閾値ＴＲ、ＴＧ及びＴＢについては、画像データ１の状態に応じて適宜設定・変更可能であるが、例えば、次のようにして設定することができる。
【００３９】
まず、参照用の画像データを用意し、当該参照用の画像データについて、目視で白飛びと判断した領域を手動で抽出する。参照用の画像データをＲＧＢ分離し、Ｒ画像、Ｇ画像、Ｂ画像それぞれについて、上記手動で抽出した領域における階調レベル（輝度値）ｘと、当該階調レベルｘに対応する画素数との関係をヒストグラム関数ＨＲ（ｘ）、ＨＧ（ｘ）及びＨＢ（ｘ）として特定し、それぞれグラフ化する。例えば、Ｒ画像に係るヒストグラム関数ＨＲ（ｘ）は、図５のようにグラフ化される。図５に示すように、上記手動で抽出した領域においては、所定の階調レベル以下の画素数が残存し、所定の階調レベルよりも大きくなると急激に画素数が増大している。このことは、手動での白飛び抽出においては、実際は白飛びとはいえない低階調レベルに係る画素についても誤抽出してしまうことを意味している。すなわち、このような誤抽出を一意的に排除することで、所定の階調レベル以上を白飛びとみなすことが可能となる。本発明者らは参照用画像データを複数用意し、そのすべてについて上記手動による白飛び抽出と、上記ヒストグラム関数によるグラフ化を行った結果、得られたヒストグラム関数Ｈ（ｘ）を積分し、全画素数の５〜１５％、好ましくは１０％となる階調レベルｘを閾値Ｔとし、当該閾値Ｔ以下の画素については棄却することで、手動による抽出領域において白飛び画素のみをさらに抽出できることを知見した。このようにして参照画像データのＲ画像、Ｇ画像及びＢ画像それぞれにおける白飛びの閾値ＴＲ、ＴＧ及びＴＢを設定したところ、Ｒ画像については、輝度値２４９〜２５３、好ましくは輝度値２５２が閾値ＴＲとして適切であり、Ｇ画像については、輝度値２２９〜２４６、好ましくは輝度値２４１が閾値ＴＧとして適切であり、Ｂ画像については、輝度値２０５〜２３４、好ましくは輝度値２２６が閾値ＴＢとして適切であることを知見した。
【００４０】
工程Ｓ３−２では、上記のように、参照用画像データによって予め設定しておいた閾値ＴＲ、ＴＧ及びＴＢを用いて、画像データ１ｒ、１ｇ及び１ｂそれぞれについて、輝度値が閾値ＴＲ、ＴＧ又はＴＢ以下の画素を棄却する。これにより画像データ１ｒ、１ｇ及び１ｂはそれぞれ白飛び部分以外の画素が棄却され、白飛び画素とみなされた部分のみが抽出される（画像データ１ｔｒ、１ｔｇ、１ｔｂ）。
【００４１】
１．３．３．工程Ｓ３−３
工程Ｓ３−３は、工程Ｓ３−２にて白飛び画素のみを抽出した画像データ（画像データ１ｔｒ、１ｔｇ及び１ｔｂ）について、ＲＧＢ画像を統合し、論理積によりＲ画像、Ｇ画像及びＢ画像のすべてにおいて白飛び画素として特定された画素を、画像データ１ａにおける白飛び画素として抽出する工程である。論理積によるＲＧＢ画像の統合については、公知の手法を用いることができる。例えば、Adobe Photoshop（登録商標）等の公知の画像処理ソフトウェアを用いることができる。これにより、画像データ１ａを、白飛び画素が抽出された画像データ１ｗとすることができる。
【００４２】
このようにして工程Ｓ３において、画像データにおける白飛びを抽出する一方で、本発明に係る白飛び判定方法Ｓ１０では、工程Ｓ４において画像データの顔領域における着目領域を特定する。
【００４３】
１．４．着目領域特定工程Ｓ４
工程Ｓ４は、工程Ｓ２にて検出した顔領域における着目領域を特定する工程である。本発明は後述するように、顔領域に加えて顔領域における着目領域に生じた白飛びの割合に応じて白飛び印象度として判定することにより、被写体の白飛び判定を従来よりも適切に実行可能としたものである。顔領域における着目領域としては、白飛びの判定に有用となる領域であれば特に限定されるものではないが、白飛びが生じやすい領域とすることが好ましい。特に、鼻領域、額領域及び頬領域の少なくともいずれか、好ましくはすべて、を着目領域とすることが望ましい。着目領域は顔領域の特定によってある程度的確に特定することが可能である。一方、工程Ｓ２において、顔領域に加えて目領域や口唇領域も併せて検出しておくことで、着目領域の特定がより的確且つ容易となる。図６に、検出した顔領域によって鼻領域を、顔領域と目領域とによって額領域を、顔領域と目領域と口唇領域とによって頬領域を、それぞれ特定する方法を示す。
【００４４】
１．４．１．鼻領域の特定
被写体の顔を正面から撮影した画像データにおいては、鼻筋に白飛びが生じやすい。本発明では、このような白飛びが生じやすい領域を着目領域とし、顔領域とは別個に白飛びの判定基準とする。被写体の顔を正面から撮影した画像データにおいては、顔領域の中央に鼻が存在する。よって、工程Ｓ２において検出した顔領域の中央部分を鼻領域として特定することができる。具体的には、図６（Ａ）に示すように、顔領域１ｆを３×３分割し、分割した領域のうち中央部分の領域を鼻領域１ｎとして矩形状にて特定することができる。
【００４５】
１．４．２．額領域及び頬領域の特定
被写体の顔を正面から撮影した画像データにおいては、鼻に次いで、額や頬に白飛びが生じやすい。本発明では、このような白飛びが生じやすい領域を着目領域とし、顔領域とは別個に白飛びの判定基準とする。被写体の顔を正面から撮影した画像データにおいては、鼻領域に隣接して上側に額領域及び左右に頬領域が存在する。よって、工程Ｓ２において検出した顔領域と、上記のように特定した鼻領域とを用いて、当該鼻領域の上領域を額領域とし、左右領域を頬領域として特定することができる。このように、額領域及び頬領域は、顔領域の検出と鼻領域の特定とによって、的確に位置を特定することができる。一方で、工程Ｓ２において顔領域の他、目領域と口唇領域とを検出しておくことで、額領域及び頬領域をさらに的確に特定することができる。
【００４６】
例えば、図６（Ｂ）に示すように、顔領域１ｆと目領域１ｅＲ、１ｅＬとを用いることで、額領域１ｆｈを的確に特定することができる。具体的には、左右の目領域１ｅＲ、１ｅＬの上端のうち、下側となる部分（図６（Ｂ）では、目領域１ｅＲの上端）を額領域１ｆｈの下端とし、顔領域１ｆの上端を額領域１ｆｈの上端とする。そして、目領域１ｅＲ、１ｅＬにおける上下方向の垂直二等分線をそれぞれ額領域１ｆｈの左右端とする。このようにして、額領域１ｆｈを矩形上にて特定することができる。
【００４７】
一方、図６（Ｃ）に示すように、顔領域１ｆと目領域１ｅＲ、１ｅＬと口唇領域１ｍとを用いることで、頬領域１ｃＲ、１ｃＬを的確に特定することができる。例えば右頬領域１ｃＲを特定する場合、右目領域１ｅＲの下端を右頬領域１ｃＲの上端とし、口唇領域１ｍの上端を右頬領域１ｃＲの下端とする。そして、口唇領域１ｍの上下方向垂直二等分線Ｘ１と、右目領域１ｅＲの上下方向垂直二等分線Ｘ２との間を等分する上下方向垂直二等分線Ｘ３を右頬領域１ｃＲの左方向一端とする。一方、右目領域１ｅＲの右端と顔領域１ｆの右端との間を等分する上下方向垂直二等分線Ｙを右頬領域１ｃＲの右方向一端とする。このようにして右頬領域１ｃＲを矩形上にて特定することができる。左頬領域１ｃＬについても同様である。
【００４８】
このようにして、工程Ｓ４において、顔領域における各着目領域（特に、鼻領域、額領域及び頬領域）が特定される。
【００４９】
１．５．白飛び印象度判定工程Ｓ５
工程Ｓ５は、工程Ｓ２によって検出した顔領域、工程Ｓ３によって抽出した白飛び、及び工程Ｓ４によって特定した着目領域を用いて、白飛び印象度の判定を行う工程である。図７に、工程Ｓ５の一例を示す。図７に示すように、工程Ｓ５は、前処理として画像データにおける肌情報を抽出、任意に補間する工程Ｓ５−１と、画像データの白飛び印象度を判定する工程Ｓ５−２とを備えている。
【００５０】
１．５．１．工程Ｓ５−１
工程Ｓ５−１は、画像データの肌情報を抽出し、任意に補間する工程である。画像データからの肌情報の抽出については、例えば、「白澤、大滝：“色被りにロバストな肌領域抽出法〜「色温度に独立な特徴量」と「色温度に従属な特徴量」を併用した肌領域抽出〜”、画像ラボ、Vol．19、No．11、pp．36‐41（2008）」に記載された手法等、公知の手法を用いることができる。一方、本発明者らは、白飛びを有する人物画像について、肌情報を抽出した場合、白飛びに起因して肌情報の一部が欠落する傾向を認めた。そのため、画像データから単に肌情報を抽出するだけでなく、肌情報の補間を行うことで、画像データにおける肌情報を欠落なく特定することができ好ましい。図８に、肌情報の補間に係る一例を示した。図８に示すように、画像データ１ａについて公知の手法により肌情報を抽出して画像データ１ｓ’を取得した場合、白飛び部分の少なくとも一部が肌情報から欠落する。そのため取得した画像データ１ｓ’に対して、工程Ｓ３にて取得した閾値処理後のＲ画像１ｔｒを論理和により統合することによって、画像データ１ｓ’の肌情報を補間することができる（画像データ１ｓ）。
【００５１】
１．５．２．工程Ｓ５−２
工程Ｓ５−２は、工程Ｓ２によって検出した顔領域、工程Ｓ３によって抽出した白飛び、工程Ｓ４によって特定した着目領域、及び工程Ｓ５−１において取得した画像データにおける肌情報を用いて、画像データの白飛び印象度を判定する工程である。
【００５２】
画像データは、当該画像データに含まれる白飛びのサイズや位置によって異なる印象度合いを有する。当該印象度合いは、画像データの利用価値に影響を与える。すなわち、画像データにおける白飛びにより人物写真の利用価値は、下記のように大きく変化する。
（１）良好：利用価値の高い状態（白飛びがない、或いはほとんどない。）
（２）おおむね良好：ユーザの要求に適さない場合もある状態（ある程度の白飛びが存在する。）
（３）不適：ユーザの要求に適さない状態（かなりの割合で白飛びが存在する。）
【００５３】
本発明では、画像データ中の白飛びがユーザに与える印象の度合いを「白飛び印象度」として設定し、白飛びを判定する特徴量として用いる。白飛び印象度は、顔領域及び着目領域における白飛びの有無、度合いによって一意的に設定できる。ここで、顔領域及び着目領域における白飛びの有無、度合いは、白飛び率Ｗ／Ｓ（Ｗは領域における白飛び画素数、Ｓは領域における肌情報に係る画素数）を算出することにより特定可能である。そして、画像データにおいて、白飛び箇所がない場合（いずれの領域においてもＷ／Ｓ＝０）、白飛び印象度を「無」とする。このような画像データは、最も利用価値が高く「良好」な画像データといえる。一方、着目領域に白飛びが生じている場合（Ｗ／Ｓ＞０）、顔領域や着目領域における白飛びの度合いに応じて、白飛び印象度は「弱」「中」「強」とする。このような画像データにあっては、利用価値が「おおむね良好」であるか「不適」である。通常、顔領域に占める白飛びの割合が大きい場合、ユーザにとって当該画像データの利用価値は「不適」と判断される場合が多い。本発明では、顔領域における白飛びの度合いが大きい場合（Ｗ／Ｓが所定の閾値よりも大きい）、白飛び印象度を「強」とし、画像データの白飛び判定を「不適」とする。一方、顔領域における白飛びの度合いが小さい場合（Ｗ／Ｓが所定の閾値以下）においては、着目領域における白飛びの度合いに応じて白飛び印象度を「弱」又は「中」とし、画像データの白飛び判定を「良好」或いは「おおむね良好」とする。このように白飛び印象度を段階的に判定することで、画像データの白飛びを細分化して判定することができる。
【００５４】
特に、着目領域として鼻領域、額領域及び頬領域を用いた場合、簡易且つ適切に白飛び印象度を判定することができる。図９に、着目領域として鼻領域、額領域及び頬領域を用いた場合における工程Ｓ５−２の具体例を示す。図９に示すように、工程Ｓ５−２は、鼻領域内の白飛び率ＷＮ／ＳＮを算出する工程Ｓ５−２ａと、当該白飛び率ＷＮ／ＳＮが閾値Ｔｈ１よりも大きいか否かを判定する工程Ｓ５−２ｂと、顔領域内の白飛び率ＷＦ／ＳＦを算出する工程Ｓ５−２ｃと、当該白飛び率ＷＦ／ＳＦが閾値Ｔｈ２よりも大きいか否かを判定する工程Ｓ５−２ｄと、額及び頬領域内白飛び率ＷＦＣ／ＳＦＣを算出する工程Ｓ５−２ｅと、当該白飛び率ＷＦＣ／ＳＦＣが閾値Ｔｈ３よりも大きいか否かを判定する工程Ｓ５−２ｆと、を備えている。
【００５５】
人物を正面から撮影した画像データにおいては、顔領域の鼻筋に最も白飛びが生じやすい。そのため、工程Ｓ５では、まず、工程Ｓ５−２ａにおいて鼻領域における白飛びの有無を判定する。具体的には、鼻領域において肌を示す画素数ＳＮ、及び鼻領域において白飛びを示す画素数ＷＮとを用いて、白飛び率ＷＮ／ＳＮを算出する。そして、工程Ｓ５−２ｂにおいて、工程Ｓ５−２ａにて算出した白飛び率ＷＮ／ＳＮが閾値Ｔｈ１よりも大きいか否かを判定する。閾値Ｔｈ１の設定については、特に限定されるものではなく、適宜設定・変更可能であるが、白飛びの有無を判定する観点から、Ｔｈ１＝０とすることが好ましい。工程Ｓ５−２ｂにおいて、白飛び率ＷＮ／ＳＮがＴｈ１以下と判定された場合、画像データに係る白飛び印象度は「無」と判定される。一方、工程Ｓ５−２ｂにおいて、白飛び率ＷＮ／ＳＮがＴｈ１よりも大きいと判定された場合、画像データには白飛びが存在するため、当該白飛びの度合いをさらに細分化して判定するため、工程Ｓ５−２ｃに進む。
【００５６】
工程Ｓ５−２ｃでは、顔領域において肌を示す画素数ＳＦ、及び顔領域において白飛びを示す画素数ＷＦとを用いて、白飛び率ＷＦ／ＳＦを算出する。そして、工程Ｓ５−２ｄにおいて、工程Ｓ５−２ｃで算出した白飛び率ＷＦ／ＳＦが閾値Ｔｈ２よりも大きいか否かを判定する。閾値Ｔｈ２の設定については、特に限定されるものではないが、例えば、Ｔｈ２＝０．１００〜０．３００、好ましくは０．１２０〜０．１５０、最も好ましくは、０．１３５とすることにより、白飛び印象度「強」（白飛び判定に係る利用価値「不適」）のものと白飛び印象度「弱」又は「中」（白飛び判定に係る利用価値、「良好」又は「おおむね良好」）のものとを適切に分けることができる。すなわち、工程Ｓ５−２ｄにおいて、白飛び率ＷＦ／ＳＦがＴｈ２よりも大きいと判定された場合、画像データに係る白飛び印象度は「強」と判定される。一方、工程Ｓ５−２ｄにおいて、白飛び率ＷＦ／ＳＦがＴｈ２以下と判定された場合、画像データには白飛びが存在するものの、画像データの利用価値に与える悪影響はさほど大きくはない。よって、大まかな白飛び判定で十分である場合は、画像データの白飛び印象度の判定をこの時点で終了としてもよい。しかしながら、白飛び印象度の判定をさらに細分化し、さらに適切な白飛び判定を可能とする観点からは、図９に示すように、工程Ｓ５−２ｅに進むことが好ましい。
【００５７】
工程Ｓ５−２ｅでは、額領域おいて肌を示す画素数ＳＦＨ、及び額領域において白飛びを示す画素数ＷＦＨとを用いて、額領域における白飛び率ＷＦＨ／ＳＦＨを算出し、右頬領域において肌を示す画素数ＳＣＲ、及び右頬領域において白飛びを示す画素数ＷＣＲとを用いて、右頬領域における白飛び率ＷＣＲ／ＳＣＲを算出し、且つ、左頬領域において肌を示す画素数ＳＣＬ、及び左頬領域において白飛びを示す画素数ＷＣＬとを用いて、左頬領域における白飛び率ＷＣＬ／ＳＣＬを算出し、これら算出値のうち最大値となるものを額領域及び頬領域内白飛び率ＷＦＣ／ＳＦＣとする。そして、工程Ｓ５−２ｆにおいて、工程Ｓ５−２ｅで求めた白飛び率ＷＦＣ／ＳＦＣが閾値Ｔｈ３よりも大きいか否かを判定する。閾値Ｔｈ３の設定については、特に限定されるものではないが、例えば、Ｔｈ３＝０．００２〜０．０４０、好ましくは０．０１０〜０．０３０、最も好ましくは０．０２５とすることにより、白飛び印象度「中」（白飛び判定に係る利用価値「おおむね良好」）のものと白飛び印象度「弱」（白飛び判定に係る利用価値、「良好」）のものとを適切に分けることができる。すなわち、工程Ｓ５−２ｆにおいて、白飛び率ＷＦＣ／ＳＦＣがＴｈ３よりも大きいと判定された場合、画像データに係る白飛び印象度は「中」と判定される。一方、工程Ｓ５−２ｆにおいて、白飛び率ＷＦＣ／ＳＦＣがＴｈ３以下と判定された場合、画像データに係る白飛び印象度は「弱」と判定される。
【００５８】
本発明に係る白飛び判定方法Ｓ１０は、工程Ｓ１〜Ｓ５を経て、画像データに係る白飛び印象度を判定し、白飛び判定の特徴量として用いる。尚、上記説明では、白飛び印象度の判定結果をそのまま白飛び判定結果として用いているが、白飛び印象度に係る判定結果と、その他のパラメータ（画像データにおける被写体の大きさ等）とを組み合わせて、白飛び判定結果としてもよい。或いは、被写体が複数人の場合、複数の白飛び印象度を組み合わせて白飛び判定結果としてもよい。本発明に係る白飛び判定方法においては、画像データにおける顔領域のみならず、顔領域における着目領域をも用いて白飛び印象度を細分化して判定しているので、簡易的且つ適切に白飛び判定を行うことができる。そして、当該白飛びの判定結果は、画像検索において、白飛びの度合いに応じて画像データを抽出し、ユーザの要望に応じた利用価値の高い画像データを抽出する場合に有効となる。
【００５９】
２．白飛び判定装置及び白飛び判定プログラム
本発明に係る白飛び判定方法Ｓ１０を実行可能な白飛び判定装置について説明する。図１０に一実施形態に係る本発明の白飛び判定装置１０を概略的に示した。図１０に示すように、白飛び判定装置１０は、上記画像データ選択工程Ｓ１を行う画像データ選択手段、上記前処理工程Ｓ２を行う前処理手段、上記白飛び抽出工程Ｓ３を行う白飛び抽出手段、上記着目領域特定工程Ｓ４を行う着目領域特定手段、及び上記白飛び印象度判定工程Ｓ５を行う白飛び印象度判定手段、として機能するＣＰＵ１、並びに、ＣＰＵ１に対する記憶装置等を備えている。ＣＰＵ１は、マイクロプロセッサユニット及びその動作に必要な各種周辺回路を組み合わせて構成され、ＣＰＵ１に対する記憶装置は、例えば、上記工程Ｓ１〜Ｓ５の判断、実行に必要なプログラムや各種データ（例えば、判定対象となる複数の画像データ）を記憶するＲＯＭ２と、ＣＰＵ１の作業領域として機能するＲＡＭ３等を組み合わせて構成されている。当該構成に加えて、さらに、ＣＰＵ１が、ＲＯＭ２に記憶されたソフトウェアと組み合わされることにより、白飛び判定装置１０が機能する。
【００６０】
画像データの白飛び判定を行うユーザは、入力手段６（例えば、パソコンのキーボード等）を介して、白飛び判定装置１０へとデータを入力していく。入力手段６からの入力信号は、入力ポート４を介して、入力信号としてＣＰＵ１へと到達する。ＣＰＵ１は、入力手段６からの信号、及び、ＲＯＭ２に記憶されたプログラムに基づいて、上記工程Ｓ１〜Ｓ５を行い、出力ポート５を介して、判定結果に関する信号を出力手段（例えば、パソコンの画面等）へと出力し、出力手段７に白飛び判定結果が表示される。例えば、複数の画像データに対して白飛び判定を実行し、画像データのそれぞれの利用価値（上記「良好」、「おおむね良好」、「不適」）を特定し、当該特定結果が出力手段７に表示される形態の他、画像データのうち利用価値の高いもの（「良好」、「おおむね良好」）のみを表示したり、或いは、利用価値の高い順に複数の画像データが並び替えられて出力手段７に表示されるような形態とすることで、出力手段７に表示された結果により、ユーザは各画像データの利用価値を特定することができる。
【００６１】
具体的には、入力手段６を介して、白飛び判定方法Ｓ１０を実行するために必要となる信号や情報（画像データの選択信号、白飛び抽出の際の閾値ＴＲ、ＴＧ、ＴＢ、白飛び印象度判定の際の閾値Ｔｈ１、Ｔｈ２、Ｔｈ３等）が、白飛び判定装置１０へと入力される。一方、ＲＯＭ２には、本発明に係る白飛び判定方法Ｓ１０を実行可能な白飛び判定プログラムが記憶されており、当該プログラムを実行することによって、ＣＰＵ１にて白飛び判定方法Ｓ１０を行わせることができる。白飛び判定プログラムは、白飛び判定装置１０に白飛び判定方法Ｓ１０を行わせることができるものであれば特に限定されるものではないが、例えば、下記のようなものとすることができる。
【００６２】
すなわち、ユーザからの入力信号によって、画像データ選択手段（ＣＰＵ１）に、記憶手段（ＲＯＭ２やその他外付け媒体等）から、一の画像データを選択させ、処理手段（ＣＰＵ１）に、選択された画像データにおける被写体の少なくとも顔領域を検出させ、白飛び抽出手段（ＣＰＵ１）に、選択された画像データにおける白飛びを抽出させ、着目領域特定手段（ＣＰＵ１）に、検出された顔領域における複数の着目領域を特定させ、白飛び印象度判定手段（ＣＰＵ１）に、抽出された白飛びの着目領域に占める割合から、画像データの白飛び印象度を判定させる、白飛び判定プログラムによって、白飛び判定装置１０に白飛び判定方法Ｓ１０を実行させることができる。
【００６３】
ここで、着目領域として、顔領域における鼻領域、額領域及び頬領域を特定させることが好ましい。上述の通り、顔領域において白飛びはこれら特定の着目領域に生じやすく、着目領域をこれらに限定することで、白飛びの判定をより適切且つ効率的に行うことができる。
【００６４】
また、白飛び抽出手段（ＣＰＵ１）に、閾値設定により白飛びを抽出させることによって、白飛びの抽出をより的確に行わせることができ、白飛びの判定を簡易且つ適切に行わせることができる。
【００６５】
さらに、白飛び抽出手段（ＣＰＵ１）に、画像データのＲＧＢ分離を行わせることによって、白飛びの抽出をより的確に行わせることができ、白飛びの判定を簡易且つ適切に行わせることができる。
【００６６】
一方、白飛び印象度判定手段（ＣＰＵ１）に、複数の着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、白飛びの占める割合を特定させることによって、着目領域における白飛びの度合いを適切に特定させることができ、白飛び印象度を簡易且つ適切に判定させることができる。
【００６７】
加えて、白飛び印象度判定手段（ＣＰＵ１）に、白飛び率Ｗ／Ｓが閾値以上か否かを判定させて、画像データの白飛び印象度を判定させることによって、白飛び印象度を一意的且つ簡易的に判定させることができる。
【００６８】
このような白飛び判定プログラムをＲＯＭ２に記憶させ、ＣＰＵ１にて実行することにより、ＣＰＵ１にて適切に白飛び判定方法Ｓ１０を実行することが可能となる。
【００６９】
以上のように、白飛び判定装置１０には、被写体が含まれた画像データを選択する、画像データ選択手段（ＣＰＵ１）と、選択された画像データにおいて、少なくとも被写体の顔領域を検出する、前処理手段（ＣＰＵ１）と、選択された画像データにおける白飛びを抽出する、白飛び抽出手段と（ＣＰＵ１）、検出された顔領域における複数の着目領域を特定する、着目領域特定手段（ＣＰＵ１）と、抽出された白飛びの着目領域に占める割合から、画像データの白飛び印象度を判定する、白飛び印象度判定手段（ＣＰＵ１）と、が備えられており、且つ、上記した白飛び判定プログラムによって、白飛び判定方法Ｓ１０を実行可能とされている。すなわち、当該白飛び判定装置１０によれば、画像検索において、白飛びの度合いに応じて画像データを抽出し、ユーザの要望に応じた画像データを抽出する場合に有効となる、白飛びの判定を適切に実行することができる。
【００７０】
３．画像検索方法
本発明に係る白飛び判定方法の判定結果は、画像検索において有効な絞り込み条件となる。画像検索方法については、白飛び判定結果を用いることができるものであれば、特に限定されるものではない。例えば、上記した白飛び判定方法による白飛び判定結果を用いて、複数の画像データから利用価値の高いもののみを検索・抽出するもの、或いは、複数の画像データについて利用価値の高い順に並び替えるもの等を例示することができる。
【００７１】
４．画像検索装置及び画像検索プログラム
既に説明した白飛び判定装置１０において、さらに画像検索を実行可能とすることもできる。すなわち、白飛び判定装置１０のＣＰＵ１が、画像検索手段としての機能も担うことで、白飛び判定装置１０を画像検索装置とすることができる。このためには、ＲＯＭ２に上記白飛び判定プログラムに加えて、画像検索プログラムも記憶させておく必要がある。画像検索プログラムとしては、上記した白飛び判定プログラムによる白飛び判定結果を用いて、画像検索手段（ＣＰＵ１）に、入力手段６からの信号により、複数の画像データから、利用価値の高い画像データ（例えば、白飛び判定方法により、利用価値が「良好」、「おおむね良好」として特定された画像データ）のみを検索・抽出させるものや、複数の画像データのうち利用価値の高いものから、ユーザの閾値設定等により、所定の画像データを検索・抽出を行わせるもの（利用価値の高いものについて、さらに検索絞り込みを行わせるもの）、複数の画像データについて利用価値の高い順に並び替えさせるもの等を例示することができる。
【００７２】
以上のように、複数の画像データそれぞれに対して、白飛び判定装置１０に本発明に係る白飛び判定方法を実行させ、画像データの白飛び判定結果（白飛びに起因した利用価値）を取得し、当該白飛び判定結果を用いて、画像検索手段に画像検索を行わせることにより、複数の画像データから利用価値の高いもののみを検索・抽出、或いは、並び替えを行うことができ、ユーザの要望に応じた画像検索・抽出が可能となり、検索効率を向上させることできる。
【実施例】
【００７３】
図１１に示すように、室内で顔を正面に向けている人物一人を対象とし、デジタルカメラを用いてストロボ撮影を行った。検討用データ１６１枚、実験用データ２７５枚、合計４３６枚の人物写真を取得した。検討用データの被験者数は７名、実験用データの被験者数は８名とした。さらにストロボ光（全２２種）、ストロボ角度（２種：仰角６０°、７５°）、室内照明光（３種：蛍光灯５箇所、３箇所、１箇所）を変化させ、使用画像データ取得時における照明の設定を行った。照明の設定条件を下記表１に示す。尚、実施例においては、照明の変化に応じた白飛びの変化を使用画像データに反映させるため、撮像装置の設定を固定した（絞り：ｆ５．６、シャッター速度：１／１２５ｓ、ＩＳＯ感度：１６００）。
【００７４】
【表１】
【００７５】
本発明に係る白飛び判定方法の有用性を検討するため、複数の被験者が目視により利用に適すると判定した結果（以下、目視判定結果という。）と、本発明に係る白飛び判定方法により得られる白飛び印象度とを用いて利用に適すると判定した結果（以下、白飛び判定結果という。）との比較を行った。
【００７６】
（目視判定）
被験者１１名に実験用データ２７５枚を提示し、人物写真における利用の適否（使用の可否判断）を評価した。尚、実験用データに対する評価は、以下に示す３項目について行った。
（１）白飛びが無い、又は白飛びが生じているが利用できる（良好）
（２）白飛びがあるため、利用できない（不適）
（３）上記（１）、（２）のどちらか判断しかねる（おおむね良好）
【００７７】
また、上記（１）、（２）及び（３）に対し、それぞれ「１」、「３」及び「２」と数値を割り当てた。当該数値を用いて、対象データに対する評価の平均値を算出し、これを目視判定結果とした。具体的には、平均値が（ｉ）１．５未満の場合「良好」、（ｉｉ）２．５以上の場合「不適」、（ｉｉｉ）それ以外を「おおむね良好」に設定した。
【００７８】
（白飛び判定及び閾値の設定）
下記表２に示すように、白飛び印象度を「無」及び「弱」（利用価値「良好」、白飛び箇所：無又は鼻）、「中」（利用価値「おおむね良好」、白飛び箇所：鼻と額、鼻と頬、或いは、鼻と額と頬）、「強」（利用価値「不適」、白飛び箇所：顔の広範囲（全体））の３段階に分類し、上記白飛び判定方法Ｓ１０を行った。ここで、閾値ＴＲ＝２５２、ＴＧ＝２４１、ＴＢ＝２２６、Ｔｈ１＝０とした。また、閾値Ｔｈ２、Ｔｈ３は下記のように設定した。
【００７９】
【表２】
【００８０】
顔領域内白飛び率ＷＦ／ＳＦとＴｈ２とを用いて白飛び印象度を「強」と「中・弱・無」との２組に分類する性能（以下、Ｔｈ２分類性能という。）をＳ２、額領域内白飛び率ＷＦＣ／ＳＦＣとＴｈ３とを用いて白飛び印象度を「強・中」と「弱・無」との２組に分類する性能（以下、Ｔｈ３分類性能という。）をＳ３と定義した。具体的には、Ｓ２及びＳ３は、「正しく分類を行った件数／顔検出が成功した画像数」である。また、Ｔｈ２分類性能、Ｔｈ３分類性能が大きいほど、正しい分類が行われたことを意味するため、Ｓ２及びＳ３を最大にするＴｈ２及びＴｈ３を白飛び解析における閾値として設定した。
【００８１】
実験用データを対象として、閾値Ｔｈ２及びＴｈ３と分類性能Ｓ２及びＳ３の関連を取得したところ、図１２のようになった。図１２から、閾値Ｔｈ２を０．１３５、閾値Ｔｈ３を０．０２５とすることが最適であることがわかった。
【００８２】
（結果）
目視判定結果と白飛び判定結果の比較結果を下記表３、表４に示す。目視判定結果に対する白飛び判定結果の一致率は、約８８．４％と高い値を得ている。また、表４に示すように目視判定結果と大きく異なる評価を行った白飛び判定結果例は１例のみであった。すなわち、本発明に係る白飛び判定方法で得られた結果は、白飛びの特徴を適切に捉えており、大きな誤判定は生じ難いことが示唆された。
【００８３】
【表３】
【００８４】
【表４】
【００８５】
以上より、白飛びがユーザに与える印象の度合いを「白飛び印象度」として一意的に設定し、これを白飛び判定の特徴量として用いることで、白飛び判定を適切に実行できることがわかった。また、白飛びの色情報に着目して、閾値設定により白飛び画素の抽出を行うことで、白飛びを適切に抽出でき、白飛び印象度を適切に判定可能であることがわかった。さらに、白飛び印象度の判定の際においても閾値を設定することにより、白飛び印象度を簡易且つ適切に分類でき、白飛び判定をさらに適切に実行可能であることがわかった。
【００８６】
以上、現時点において、最も実践的であり、且つ、好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う被写体の白飛び判定方法、判定装置及び判定プログラム、並びに、画像検索方法、検索装置及び検索プログラムもまた本発明の技術範囲に包含されるものとして理解されなければならない。
【００８７】
例えば、上記説明においては、着目領域として、鼻領域、額領域及び頬領域を例示したが、本発明はこの形態に限定されるものではない。例えば、口唇領域や目領域に着目してもよい。ただし、顔領域において最も白飛びが生じ易く、白飛びの判定をより適切に行うことが可能な観点からは、鼻領域、額領域又は頬領域のいずれか、好ましくはすべてを着目領域とすることが望ましい。
【００８８】
また、上記説明においては、白飛び印象度判定の際、白飛び率Ｗ／Ｓを算出するものとして説明したが、本発明はこの形態に限定されるものではない。例えば、白飛び画素数をそのまま白飛び印象度の判定に直結させてもよい。ただし、白飛び印象度の判定、ひいては白飛びの判定をより適切に行うことが可能な観点からは、各領域における白飛び率Ｗ／Ｓを算出し、算出値を基準に、閾値処理によって白飛び印象度の判定を行うことが好ましい。
【産業上の利用可能性】
【００８９】
本発明によれば、複数の画像データについて検索を行い、目的とする画像データを抽出する際、効率的な検索が可能とされ、検索・抽出時間を短縮化でき、且つ、精度のよい適切な検索が可能とされ、目的とする画像データを効率的に取得することができる。従って、膨大な量の画像データを検索により絞り込み、目的の画像データを早期に得たい場合に、特に有用である。
【特許請求の範囲】
【請求項１】
被写体が含まれた画像データを選択する、画像データ選択工程と、
選択された前記画像データにおいて、少なくとも前記被写体の顔領域を検出する、前処理工程と、
選択された前記画像データにおける白飛びを抽出する、白飛び抽出工程と、
検出された前記顔領域における複数の着目領域を特定する、着目領域特定工程と、
抽出された白飛びの前記着目領域に占める割合から、前記画像データの白飛び印象度を判定する、白飛び印象度判定工程と、
を備える、画像データにおける被写体の白飛び判定方法。
【請求項２】
前記着目領域が、前記顔領域における鼻領域、額領域及び頬領域である、請求項１に記載の白飛び判定方法。
【請求項３】
前記白飛び抽出工程において、閾値設定により白飛びが抽出される、請求項１又は２に記載の白飛び判定方法。
【請求項４】
前記白飛び抽出工程において、前記画像データのＲＧＢ分離が行われる、請求項１〜３のいずれかに記載の白飛び判定方法。
【請求項５】
前記白飛び印象度判定工程において、複数の前記着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、前記白飛びの占める割合が特定される、請求項１〜４のいずれかに記載の白飛び判定方法。
【請求項６】
前記白飛び印象度判定工程において、前記白飛び率Ｗ／Ｓが閾値以上か否かを判定することにより、前記画像データの白飛び印象度を判定する、請求項５に記載の白飛び判定方法。
【請求項７】
請求項１〜６のいずれかに記載の白飛び判定方法による白飛び判定結果を用いて、画像データの検索処理を行う、画像検索方法。
【請求項８】
被写体が含まれた画像データを選択する、画像データ選択手段と、
選択された前記画像データにおいて、少なくとも前記被写体の顔領域を検出する、前処理手段と、
選択された前記画像データにおける白飛びを抽出する、白飛び抽出手段と、
検出された前記顔領域における複数の着目領域を特定する、着目領域特定手段と、
抽出された白飛びの前記着目領域に占める割合から、前記画像データの白飛び印象度を判定する、白飛び印象度判定手段と、
を備える、画像データにおける被写体の白飛び判定装置。
【請求項９】
前記着目領域が、前記顔領域における鼻領域、額領域及び頬領域である、請求項８に記載の白飛び判定装置。
【請求項１０】
前記白飛び抽出手段が、閾値設定により白飛びを抽出するものである、請求項８又は９に記載の白飛び判定装置。
【請求項１１】
前記白飛び抽出手段が、前記画像データのＲＧＢ分離を行うものである、請求項８〜１０のいずれかに記載の白飛び判定装置。
【請求項１２】
前記白飛び印象度判定手段が、複数の前記着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、前記白飛びの占める割合を特定するものである、請求項８〜１１のいずれかに記載の白飛び判定装置。
【請求項１３】
前記白飛び印象度判定手段が、前記白飛び率Ｗ／Ｓが閾値以上か否かを判定することにより、前記画像データの白飛び印象度を判定するものである、請求項１２に記載の白飛び判定装置。
【請求項１４】
請求項８〜１３のいずれかに記載の白飛び判定装置と、該白飛び判定装置における白飛び判定結果を用いて画像データの検索処理を行う検索手段と、を備える、画像検索装置。
【請求項１５】
請求項８に記載の白飛び判定装置において、
画像データ選択手段に、被写体が含まれた画像データを選択させ、
前処理手段に、選択された前記画像データにおける前記被写体の少なくとも顔領域を検出させ、
白飛び抽出手段に、選択された前記画像データにおける白飛びを抽出させ、
着目領域特定手段に、検出された前記顔領域における複数の着目領域を特定させ、
白飛び印象度判定手段に、抽出された白飛びの前記着目領域に占める割合から、前記画像データの白飛び印象度を判定させる、
画像データにおける被写体の白飛び判定プログラム。
【請求項１６】
前記着目領域が、前記顔領域における鼻領域、額領域及び頬領域である、請求項１５に記載の白飛び判定プログラム。
【請求項１７】
前記白飛び抽出手段に、閾値設定により白飛びを抽出させる、請求項１５又は１６に記載の白飛び判定プログラム。
【請求項１８】
前記白飛び抽出手段に、前記画像データのＲＧＢ分離を行わせる、請求項１５〜１７のいずれかに記載の白飛び判定プログラム。
【請求項１９】
前記白飛び印象度判定手段に、複数の前記着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、前記白飛びの占める割合を特定させる、請求項１５〜１８のいずれかに記載の白飛び判定プログラム。
【請求項２０】
前記白飛び印象度判定手段に、前記白飛び率Ｗ／Ｓが閾値以上か否かを判定させることにより、前記画像データの白飛び印象度を判定させるものである、請求項１９に記載の白飛び判定プログラム。
【請求項２１】
請求項１４に記載の画像検索装置に、請求項１５〜２０のいずれかに記載の白飛び判定プログラムにより被写体の白飛び判定を行わせるとともに、判定結果を用いて画像データの検索処理を行わせる、画像検索プログラム。
【請求項１】
被写体が含まれた画像データを選択する、画像データ選択工程と、
選択された前記画像データにおいて、少なくとも前記被写体の顔領域を検出する、前処理工程と、
選択された前記画像データにおける白飛びを抽出する、白飛び抽出工程と、
検出された前記顔領域における複数の着目領域を特定する、着目領域特定工程と、
抽出された白飛びの前記着目領域に占める割合から、前記画像データの白飛び印象度を判定する、白飛び印象度判定工程と、
を備える、画像データにおける被写体の白飛び判定方法。
【請求項２】
前記着目領域が、前記顔領域における鼻領域、額領域及び頬領域である、請求項１に記載の白飛び判定方法。
【請求項３】
前記白飛び抽出工程において、閾値設定により白飛びが抽出される、請求項１又は２に記載の白飛び判定方法。
【請求項４】
前記白飛び抽出工程において、前記画像データのＲＧＢ分離が行われる、請求項１〜３のいずれかに記載の白飛び判定方法。
【請求項５】
前記白飛び印象度判定工程において、複数の前記着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、前記白飛びの占める割合が特定される、請求項１〜４のいずれかに記載の白飛び判定方法。
【請求項６】
前記白飛び印象度判定工程において、前記白飛び率Ｗ／Ｓが閾値以上か否かを判定することにより、前記画像データの白飛び印象度を判定する、請求項５に記載の白飛び判定方法。
【請求項７】
請求項１〜６のいずれかに記載の白飛び判定方法による白飛び判定結果を用いて、画像データの検索処理を行う、画像検索方法。
【請求項８】
被写体が含まれた画像データを選択する、画像データ選択手段と、
選択された前記画像データにおいて、少なくとも前記被写体の顔領域を検出する、前処理手段と、
選択された前記画像データにおける白飛びを抽出する、白飛び抽出手段と、
検出された前記顔領域における複数の着目領域を特定する、着目領域特定手段と、
抽出された白飛びの前記着目領域に占める割合から、前記画像データの白飛び印象度を判定する、白飛び印象度判定手段と、
を備える、画像データにおける被写体の白飛び判定装置。
【請求項９】
前記着目領域が、前記顔領域における鼻領域、額領域及び頬領域である、請求項８に記載の白飛び判定装置。
【請求項１０】
前記白飛び抽出手段が、閾値設定により白飛びを抽出するものである、請求項８又は９に記載の白飛び判定装置。
【請求項１１】
前記白飛び抽出手段が、前記画像データのＲＧＢ分離を行うものである、請求項８〜１０のいずれかに記載の白飛び判定装置。
【請求項１２】
前記白飛び印象度判定手段が、複数の前記着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、前記白飛びの占める割合を特定するものである、請求項８〜１１のいずれかに記載の白飛び判定装置。
【請求項１３】
前記白飛び印象度判定手段が、前記白飛び率Ｗ／Ｓが閾値以上か否かを判定することにより、前記画像データの白飛び印象度を判定するものである、請求項１２に記載の白飛び判定装置。
【請求項１４】
請求項８〜１３のいずれかに記載の白飛び判定装置と、該白飛び判定装置における白飛び判定結果を用いて画像データの検索処理を行う検索手段と、を備える、画像検索装置。
【請求項１５】
請求項８に記載の白飛び判定装置において、
画像データ選択手段に、被写体が含まれた画像データを選択させ、
前処理手段に、選択された前記画像データにおける前記被写体の少なくとも顔領域を検出させ、
白飛び抽出手段に、選択された前記画像データにおける白飛びを抽出させ、
着目領域特定手段に、検出された前記顔領域における複数の着目領域を特定させ、
白飛び印象度判定手段に、抽出された白飛びの前記着目領域に占める割合から、前記画像データの白飛び印象度を判定させる、
画像データにおける被写体の白飛び判定プログラム。
【請求項１６】
前記着目領域が、前記顔領域における鼻領域、額領域及び頬領域である、請求項１５に記載の白飛び判定プログラム。
【請求項１７】
前記白飛び抽出手段に、閾値設定により白飛びを抽出させる、請求項１５又は１６に記載の白飛び判定プログラム。
【請求項１８】
前記白飛び抽出手段に、前記画像データのＲＧＢ分離を行わせる、請求項１５〜１７のいずれかに記載の白飛び判定プログラム。
【請求項１９】
前記白飛び印象度判定手段に、複数の前記着目領域のそれぞれにおける白飛び率Ｗ／Ｓ（Ｗ：領域内における白飛び画素数、Ｓ：領域内における肌を示す画素数）を用いて、前記白飛びの占める割合を特定させる、請求項１５〜１８のいずれかに記載の白飛び判定プログラム。
【請求項２０】
前記白飛び印象度判定手段に、前記白飛び率Ｗ／Ｓが閾値以上か否かを判定させることにより、前記画像データの白飛び印象度を判定させるものである、請求項１９に記載の白飛び判定プログラム。
【請求項２１】
請求項１４に記載の画像検索装置に、請求項１５〜２０のいずれかに記載の白飛び判定プログラムにより被写体の白飛び判定を行わせるとともに、判定結果を用いて画像データの検索処理を行わせる、画像検索プログラム。
【図１】
【図３】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図４】
【図８】
【図３】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図４】
【図８】
【公開番号】特開２０１１−１９１９０８（Ｐ２０１１−１９１９０８Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−５６２２９（Ｐ２０１０−５６２２９）
【出願日】平成２２年３月１２日（２０１０．３．１２）
【出願人】（５０４４０９５４３）国立大学法人秋田大学 (210)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１２日（２０１０．３．１２）
【出願人】（５０４４０９５４３）国立大学法人秋田大学 (210)
【Ｆターム（参考）】
[ Back to top ]