画像処理装置及び画像処理方法
【課題】容量が小さなスタックメモリを備える場合であってもオーバーフローの発生を回避し、画像から短時間で確実に特定オブジェクトを抽出することができるラベリング処理が可能な画像処理装置を提供する。
【解決手段】原画像に含まれる特定オブジェクトの想定画素サイズに対応して決定される縮小率で、原画像を縮小した縮小画像を生成する縮小処理部２０と、前記縮小画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記縮小画像に含まれる特定オブジェクトの領域を抽出する縮小画像ラベリング処理部２４と、前記縮小画像ラベリング処理部２４で抽出された特定オブジェクトの領域を前記原画像のサイズに拡大処理して、前記原画像に含まれる特定オブジェクトとして同定するオブジェクト同定処理部２６を備えている。
【解決手段】原画像に含まれる特定オブジェクトの想定画素サイズに対応して決定される縮小率で、原画像を縮小した縮小画像を生成する縮小処理部２０と、前記縮小画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記縮小画像に含まれる特定オブジェクトの領域を抽出する縮小画像ラベリング処理部２４と、前記縮小画像ラベリング処理部２４で抽出された特定オブジェクトの領域を前記原画像のサイズに拡大処理して、前記原画像に含まれる特定オブジェクトとして同定するオブジェクト同定処理部２６を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、画像に含まれる特定オブジェクトの領域を抽出するラベリング処理部を備えた画像処理装置または画像処理方法に関し、特に、撮像装置で撮影された人の顔画像情報に基づいて、染み、毛穴、皺等、顔の肌の変色部位の特性情報を抽出するための画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
美容外科やエステティックサロン等では、染み、毛穴の汚れ、皺等、顔の肌の状態を改善する美容施術の前後に、肌の状態がどの程度改善されたかを客観的に判断するため、撮像装置で人の顔画像を撮影し、撮影した顔画像に対して所定の画像処理を行なって、染み、毛穴の汚れ、皺等の状態を評価する必要がある。
【０００３】
そのため、特許文献１では、デジタルカメラで撮影した顔全体の撮影画像データに少なくとも１個の処理領域を設定して処理領域の画像データを切り出し、切り出した処理領域の画像データを処理して皮膚のパラメータを演算するデジタルズーム肌診断装置において、撮像素子の画素数が多いデジタルカメラで出力データサイズの大きな顔全体の高解像度画像を撮影し、画像上で任意に配置を設定可能な解析線を重ねた処理領域の拡大画像と並べて、この解析線に沿った濃度分布のグラフをモニタ画面に表示し、このグラフ上で設定したしきい値に基づいて濃度分布の凹凸をカウントすることにより皮膚のパラメータを求めることを特徴とするデジタルズーム肌診断装置が提案されている。
【０００４】
上述の装置では、撮影画像データから切り取った拡大画像を処理領域として、処理領域のＲ画像データからＸＹ二次元の濃度分布を作成し、閾値を変化させて二値化して染みを抽出し、抽出した染みの大きさと数から染みのパラメータを演算するものであった。
【０００５】
染みの大きさを演算する場合には、画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、画像に含まれるオブジェクトの領域、ここでは染みの領域を抽出するラベリング処理が一般的に用いられる。
【特許文献１】特許第３５３０５２３号特許公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、手続きの中で再び当該手続き自身を呼び出す再帰呼び出し処理を伴なうラベリング処理を実行すると、処理時間が極めて長くなるという問題や、オブジェクトの画素サイズが大きくなるほど再帰呼び出し処理の数が増加するため、大容量のスタックメモリを準備していないと、オーバーフローが生じて処理が中断され、システムの安定性を損なうという問題があった。
【０００７】
そこで、再帰呼び出し処理の数を制限すると、容量の限られたスタックメモリであっても、オーバーフローの発生を回避することができるが、特定オブジェクトの領域の大きさが正確に検出できなくなるという問題が生じる。
【０００８】
また、オブジェクトの探索範囲を制限すると、その範囲を超えるオブジェクトが検出できず、同一のオブジェクトであっても複数のオブジェクトとしてカウントされるという問題も生じる。
【０００９】
このような問題は、顔画像から染み等の領域サイズを検出する場合のみならず、写真撮影されたコマ画像からある特定のオブジェクトをラベリング処理により抽出する場合等、様々な局面で現れる。
【００１０】
本発明は、上述した従来の問題点に鑑みてなされたものであり、容量が小さなスタックメモリを備える場合であってもオーバーフローの発生を回避し、画像から短時間で確実に特定オブジェクトを抽出することができるラベリング処理が可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述の目的を達成するため、本発明による画像処理装置の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、原画像に含まれる特定オブジェクトの想定画素サイズに対応して決定される縮小率で、前記原画像を縮小した縮小画像を生成する縮小処理部と、前記縮小画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記縮小画像に含まれる特定オブジェクトの領域を抽出する縮小画像ラベリング処理部と、前記縮小画像ラベリング処理部で抽出された特定オブジェクトの領域を前記原画像のサイズに拡大処理して、前記原画像に含まれる特定オブジェクトとして同定するオブジェクト同定処理部を備えている点にある。
【００１２】
上述の構成によれば、原画像に含まれる特定オブジェクトが大きな領域であっても、縮小処理部によって特定オブジェクトの想定画素サイズに対応して決定される縮小率で生成された縮小画像に対して、縮小画像ラベリング処理部によってラベリング処理が実行されるため、ラベリング処理の対象画素数が減少する。その結果、縮小画像ラベリング処理部ではスタックメモリのオーバーフローの発生を招くことなく、高速にラベリング処理が実行できるようになる。そして、縮小画像ラベリング処理部により縮小画像から抽出された特定オブジェクトが、オブジェクト同定処理部により拡大処理されて、原画像に含まれる特定オブジェクトとして同定される。
【００１３】
同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、前記縮小画像ラベリング処理部は、前記縮小処理部で生成された縮小率の大きな縮小画像から縮小率の小さな縮小画像の順にラベリング処理を実行し、縮小率の小さな縮小画像に対するラベリング処理時に、縮小率の大きな縮小画像で抽出された特定オブジェクト及びその周辺領域を除いてラベリング処理を実行する点にある。
【００１４】
縮小処理部では、原画像に含まれる特定オブジェクトの想定画素サイズに対応した縮小率が決定されるが、当該特定オブジェクトの実際の画素サイズは様々であり、縮小率が大きすぎると縮小画像ラベリング処理部によって当該特定オブジェクトが抽出できない虞もある。
【００１５】
そこで、縮小画像ラベリング処理部によって縮小率の異なる複数の縮小画像に対してラベリング処理を実行する必要が生じる場合がある。そのような場合に、縮小率の大きな縮小画像から縮小率の小さな縮小画像の順にラベリング処理を実行し、縮小率の大きな縮小画像で抽出された特定オブジェクト及びその周辺領域を除いて、縮小率の小さな縮小画像に対するラベリング処理を実行すれば、同一の特定オブジェクトに対する重複したラベリング処理が省略されるようになり、確実に特定オブジェクトが抽出でき、しかも、高速にラベリング処理を実行することが可能になる。
【００１６】
同第三の特徴構成は、同請求項３に記載した通り、上述の第一または第二特徴構成に加えて、前記オブジェクト同定処理部で同定された特定オブジェクトの輪郭領域に対して、前記特定オブジェクトと同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する輪郭領域ラベリング処理部を備えている点にある。
【００１７】
縮小画像に対するラベリング処理で抽出された特定オブジェクトを拡大処理すると、縮小時の欠落画素の影響で原画像に存在する特定オブジェクトの輪郭が正確に抽出できない場合がある。そのような場合に、オブジェクト同定処理部で同定された特定オブジェクトの輪郭領域に対して輪郭領域ラベリング処理部がラベリング処理すれば、原画像の特定オブジェクトの輪郭が正確に抽出できるようになる。この場合、輪郭領域ラベリング処理部のラベリング処理対象画素はオブジェクト同定処理部で同定された特定オブジェクトの輪郭領域に限定されるため、輪郭領域ラベリング処理部ではスタックメモリのオーバーフローの発生を招くことなく、高速にラベリング処理が実行できるようになる。
【００１８】
同第四の特徴構成は、同請求項４に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、前記原画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記原画像に含まれる特定オブジェクトの領域を抽出する原画像ラベリング処理部を備え、前記原画像に含まれる特定オブジェクトの想定画素サイズに基づいて、前記縮小処理部と前記縮小画像ラベリング処理部と前記オブジェクト同定処理部を作動させるか、前記原画像ラベリング処理部を作動させるかを切り替える切替処理部を備えている点にある。
【００１９】
縮小画像に対してラベリング処理を行なう必要があるのは、原画像に含まれる特定オブジェクトの画素数が多く、スタックメモリのオーバーフロー等の不都合を招く虞のある場合である。従って、そのような不都合が発生する虞の無い場合には、切替処理部により原画像ラベリング処理部を作動させることにより、原画像から正確に特定オブジェクトを抽出できるようになり、そのような不都合が発生する虞の有る場合には、切替処理部により縮小処理部と縮小画像ラベリング処理部とオブジェクト同定処理部を作動させることにより、安定且つ高速に特定オブジェクトを抽出できるようになる。
【００２０】
同第五の特徴構成は、同請求項５に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、前記特定オブジェクトが、人の顔画像に含まれる染み、毛穴、皺等の肌の変色領域である点にある。
【００２１】
人の顔画像に含まれる染み、毛穴、皺等の肌の変色領域を特定オブジェクトとする場合に、第一から第三の何れかの特徴構成を備えた画像処理装置が好適に機能する。
【００２２】
同第六の特徴構成は、同請求項６に記載した通り、上述の第四特徴構成に加えて、前記特定オブジェクトが、人の顔画像に含まれる染み、毛穴、皺等の肌の変色領域であり、前記切替処理部は、毛穴を特定オブジェクトとするときに原画像ラベリング処理部を作動させ、染みを特定オブジェクトとするときに前記縮小処理部と前記縮小画像ラベリング処理部と前記オブジェクト同定処理部を作動させるように切り替える点にある。
【００２３】
本発明による画像処理方法の第一の特徴構成は、同請求項７に記載した通り、原画像に含まれる特定オブジェクトの想定画素サイズに対応して決定される縮小率で、前記原画像を縮小した縮小画像を生成する縮小処理ステップと、前記縮小画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記縮小画像に含まれる特定オブジェクトの領域を抽出する縮小画像ラベリング処理ステップと、前記縮小画像ラベリング処理ステップで抽出された特定オブジェクトの領域を前記原画像のサイズに拡大処理して、前記原画像に含まれる特定オブジェクトを同定するオブジェクト同定処理ステップを備えている点にある。
【００２４】
同第二の特徴構成は、同請求項８に記載した通り、上述の第一特徴構成に加えて、前記縮小画像ラベリング処理ステップは、前記縮小処理ステップで生成された縮小率の大きな縮小画像から縮小率の小さな縮小画像の順にラベリング処理を実行し、縮小率の小さな縮小画像に対するラベリング処理時に、縮小率の大きな縮小画像で抽出された特定オブジェクト及びその周辺領域を除いてラベリング処理を実行する点にある。
【００２５】
同第三の特徴構成は、同請求項９に記載した通り、上述の第一または第二特徴構成に加えて、前記オブジェクト同定処理ステップで同定された特定オブジェクトの輪郭領域に対して、前記特定オブジェクトと同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する輪郭領域ラベリング処理ステップを備えている点にある。
【発明の効果】
【００２６】
以上説明した通り、本発明によれば、容量が小さなスタックメモリを備える場合であってもオーバーフローの発生を回避し、画像から短時間で確実に特定オブジェクトを抽出することができるラベリング処理が可能な画像処理装置及び画像処理方法を提供することができるようになった。
【発明を実施するための最良の形態】
【００２７】
以下に本発明による画像処理装置が組み込まれた画像診断システムの実施の形態を説明する。
【００２８】
図１に示すように、画像診断システムは、依頼人の顔画像を撮影する撮像装置１と、撮像装置１で撮影され、電子データに変換された依頼人の顔画像を格納するハードディスク等で構成されたメモリ２と、液晶画面を備えた表示部３と、パーソナルコンピュータに本発明を具現化するアプリケーションプログラムがインストールされた画像処理装置４を備えて構成されている。
【００２９】
撮像装置１は、依頼人の顔を一定姿勢に保つ顎ガイドと頭部ガイドを備えた顔保持部１ａと、顔保持部１ａで保持された依頼人の顔を照明する照明装置１ｂと、照明装置１ｂで照明された依頼人の顔を撮影する撮像部１ｃを備えている。
【００３０】
画像処理装置４は、依頼人の顔画像領域に解析対象要素つまり解析対象領域を画定する解析対象領域生成部４ａと、顔画像全体を構成する画素群または解析対象領域生成部４ａで生成された解析対象要素を構成する画素群の画素値に基づいて、染み、毛穴の汚れ、皺等、肌の変色部位である特性情報を抽出する肌特性抽出処理部４ｂと、肌特性抽出処理部４ｂで抽出された肌の特性情報に基づいて肌状態を診断する診断処理部４ｃを備えている。
【００３１】
撮像装置１で撮影された依頼人の顔画像は原画像としてメモリ２に格納され、画像処理装置４によってメモリ２から読み出されて表示部３に表示される。解析対象領域生成部４ａにより、表示部３に表示された依頼人の顔画像の肌に、図２に示すような解析対象要素Ｒつまり解析対象領域が画定される。解析対象要素Ｒとして、具体的には、額領域Ｒ１、頬領域Ｒ２、鼻領域Ｒ３、顎領域Ｒ４が画定されるのであるが、これに限るものではなく、目尻の周辺領域等、適宜設定することができる。
【００３２】
肌特性抽出処理部４ｂは、顔画像領域に画定された解析対象要素の構成画素データから所定範囲の肌色領域を特定し、肌色領域を構成する複数の画素の青色成分値が所定の閾値より大であるか小であるかを、ラベリング法を用いて判別し、図３（ｂ）に示すような顔の染みｄ１、毛穴の汚れｄ２、皺ｄ３等の発生領域を抽出する。
【００３３】
後に詳述するが、ラベリング処理は、図７（ａ）から（ｃ）に示すように、染み、毛穴の汚れ、皺等の抽出対象オブジェクトの夫々に対して適切に設定された閾値で解析対象要素Ｒ内の画素を二値化処理した後に、解析対象要素Ｒを抽出対象オブジェクトの最大サイズより大きな複数領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄに分割し、分割領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄ内で閾値より下回る画素値（ここでは、二値化処理で１に設定され、図中、灰色で示されている）を有する任意の画素に特定のラベルＴｎ（ｎは正整数で同一領域では同一の値となる）を付し、さらに、ラベルＴｎを付した画素と隣接する画素であって、同様に閾値より下回る隣接画素に同一ラベルＴｎを付す処理を、閾値より下回る隣接画素が無くなるまで繰り返す再帰呼び出し処理で、解析対象要素Ｒ内の全ての画素に対してラベリング処理を行なうことにより、染み、毛穴の汚れ、皺に対応した単一または複数の領域が抽出される。
【００３４】
その結果、図７に示す例では、領域ＲａにラベルＴ１で示されるオブジェクトが抽出され、領域ＲｂにラベルＴ２で示されるオブジェクトが抽出され、領域ＲｃにラベルＴ３で示されるオブジェクトが抽出され、領域ＲｄにラベルＴ４で示されるオブジェクトが抽出される。領域間に跨る領域(ラベルＴ３，Ｔ４で示される領域)は、その後、分割領域の境界部に存在するオブジェクトの連続性が、二値化された画素値に基づいて連続性が判断され、連続する場合には同一領域として統合される。
【００３５】
ラベリング処理の過程で、対象画素毎に特定のラベルを付すか否かを判断するアルゴリズムが繰り返し実行されるため、現在実行中のアルゴリズムが対象とする画素の座標データ等、処理を実行するために必要な複数のパラメータが、パーソナルコンピュータのメモリ領域に画定されたスタック領域にスタックされながら処理が実行される。
【００３６】
診断処理部４ｃは、肌特性抽出処理部４ｂで抽出された領域の面積（画素数）、形状、画素値等に基づいて、染み、毛穴の汚れ、皺の何れであるかを判別し、解析対象要素内における夫々の位置、面積、解析対象要素Ｒに対する面積比、画素値等でなる特性情報を生成する。
【００３７】
このとき、表示部３に表示された顔画像のうち、肌特性抽出処理部４ｂにより抽出された変色部位の表示色を、周辺の肌領域と識別可能な色に変えて表示することにより視覚的に容易に認識できるようになる。
【００３８】
例えば、８００万画素の顔画像では、３×３画素から７×７画素程度の面積が毛穴に相当するため、それより画素数が大きな領域は染みまたは皺と判別でき、領域の直交方向の連続画素値のうち、小さい方の連続画素値が数画素から十数画素で、且つ、小さい方の連続画素値と大きい方の連続画素値が所定値以上であれば皺であると判別できる。
【００３９】
一般に、上述した肌の特性を抽出する場合、画素を構成する赤、緑、青の各色成分のうち、青成分の値を採用することが好適である。皮膚の深層部の状況が青成分に現れるからである。従って、照明装置１ｂの光源に青色の透過フィルタや紫外線ランプを用いることが好ましい。
【００４０】
解析対象領域生成部４ａにより画定された解析対象要素Ｒ、肌特性抽出処理部４ｂで抽出された肌の特性情報、及び、診断処理部４ｃで診断された診断情報は、依頼人を特定するＩＤデータ、診断日、施術内容等と関連付けられてメモリ２に格納される。
【００４１】
診断処理部４ｃは、メモリ２に格納された依頼人の過去の肌の特性情報と今回の特性情報に基づいて肌の状態が改善されているか否かの診断情報を生成する。医師、エスティシャン、美容カウンセラーは、当該診断情報に基づいてどのような施術または処方が好ましいか、どのような化粧品が好ましいか等を判断して、適切に対応する。
【００４２】
解析対象領域生成部４ａは、図１（ｂ）に示すように、複数のサンプル顔画像を統計処理することにより得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像Ａ（図３（ａ）参照）と、撮像装置で撮影された解析対象顔画像Ｂ（図３（ｂ）参照）を、表示部３に重ね合わせて表示する（図３（ｃ）参照）顔画像表示処理部１０と、表示部３に表示された解析対象顔画像Ｂの特定顔要素Ｅの表示位置に、対応する特定標準顔要素ｅを移動させる標準顔要素移動処理部１２と、標準顔要素移動処理部１２で移動された標準解析対象要素ｒを、解析対象顔画像Ｂに対する解析対象要素Ｒとして解析対象顔画像Ｂと関連付けて記憶部２に記憶する解析対象要素生成処理部１８を備えている。
【００４３】
さらに、標準顔要素移動処理部１２に、特定標準顔要素ｅを中心とする所定範囲Ｓに位置する他の標準顔要素ｅ´及び標準解析対象要素ｒを抽出する移動要素抽出処理部１４と、移動要素抽出処理部１４で抽出された他の標準顔要素ｅ´及び標準解析対象要素ｒを、特定標準顔要素ｅの移動に伴って、所定の移動関数Ｆに基づいて算出された移動方向及び移動距離だけ移動させる要素移動処理部１６を備えている。
【００４４】
標準顔要素ｅ及び標準解析対象要素ｒの配置情報は、複数の基準点ｐと各基準点ｐを接続する接続線ｑで定義され、移動関数Ｆは、特定標準顔要素ｅの移動前の基準点ｐ１と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐとを結ぶ要素間距離Ｌ１及び特定標準顔要素ｅの基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素ｅ´の基準点ｐの移動距離Ｌが、ΔＬ／Ｌ１を変数として導出され、特定標準顔要素ｅの移動後の基準点ｐ２と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点とを結ぶ直線上で、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐから離隔するときに接近させ、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐに接近するときに離隔させる関数として定義されている。
【００４５】
図３（ａ）に示す標準顔画像Ａは、予め収集した多数のサンプル顔画像に対して、顔を構成する輪郭、髪の生え際、眉、目、耳、鼻、口といった顔要素の大きさや相対距離を計測し、その結果を統計処理して標準的な顔要素の大きさ、位置を算出して、算出した値に基づいて標準顔要素を配置した標準顔画像を生成し、生成した標準顔画像に対して、オペレータがマウス等のポインティングデバイスを手動操作して、肌の変色等の特性の状態を探る解析対象要素ｒ、つまり解析対象領域を画定して得られた画像で、標準的な輪郭、髪の生え際、眉、目、耳、鼻、口といった顔要素、つまり標準顔要素ｅの配置情報及び標準解析対象要素ｒの配置情報で規定された画像である。
【００４６】
ここで、配置情報は、所定のＸ，Ｙ二次元座標系で基準点ｐが位置する座標と、接続線ｑの属性情報で構成され、属性情報には接続線ｑの両端の基準点ｐを特定する基準点特定情報と、接続線が直線か曲線か特定する線種情報、曲線の場合にはその曲率等の情報が含まれる。
【００４７】
顔画像表示処理部１０により、予めメモリ２に格納された標準顔画像Ａと解析対象顔画像Ｂが読み出されて、図３（ｃ）に示すように表示部３に重ね合わせて表示されるのである。
【００４８】
このような標準顔要素ｅ及び標準解析対象要素ｒの配置情報は、図４（ａ）に示すように、複数の基準点ｐと各基準点ｐを接続する接続線ｑで定義されている。標準顔要素移動処理部１２は、オペレータにより基準点ｐまたは接続線ｑがマウスでドラッグ操作された状態で移動され、ドロップ操作されると、基準点ｐまたは接続線ｑをその位置まで移動処理する。
【００４９】
図４（ｂ）に示すように、基準点ｐが移動操作されると、当該基準点ｐのみを移動し、移動操作されなかった基準点ｐと移動操作された基準点ｐを結ぶように接続線ｑを変更し、図４（ｃ）に示すように、接続線ｑが移動操作されると、接続線ｑと当該接続線ｑにより接続された全ての基準点ｐを位置関係を保った状態で移動する。
【００５０】
このとき、移動要素抽出処理部１４は、図４（ｄ）に示すように、特定標準顔要素ｅを中心とする所定範囲Ｓに位置する他の標準顔要素ｅ´及び標準解析対象要素ｒを、特定標準顔要素ｅの移動に伴なって同時に移動処理する対象として抽出する。所定範囲Ｓは、特定標準顔要素ｅの移動距離、つまり、一つの基準点のみが移動されるときには当該基準点Ｐの移動距離ΔＬ、接続線ｑが移動されるときには当該接続線の移動距離ΔＬの関数で定めることができ、例えば、移動前の基準点の位置または接続線ｑの中心位置を中心として半径がＮ×ΔＬの範囲に含まれる円領域に設定される。
【００５１】
また、移動前の基準点Ｐの位置または接続線ｑの中心位置を中心として一辺の長さがＮ×ΔＬの矩形領域に設定されるものであってもよい。ここに、Ｎは自然数であり、標準的には２〜３が選択されるが、対象画像の画素数により適宜変更設定するものであってもよい。
【００５２】
つまり、上述した所定範囲Ｓが、特定標準顔要素ｅの移動距離ΔＬに基づいて可変に設定されるのである。従って、特定標準顔要素ｅの移動距離ΔＬが長ければそれだけ影響を受ける他の標準顔要素ｅ´及び標準解析対象要素ｒが多くなり、特定標準顔要素ｅの移動距離ΔＬが短ければそれだけ影響を受ける他の標準顔要素ｅ´及び標準解析対象要素ｒが少なくなる。尚、簡易的には、上述した所定範囲Ｓを固定範囲とすることも可能である。
【００５３】
要素移動処理部１６は、移動要素抽出処理部１４で抽出された他の標準顔要素ｅ´及び標準解析対象要素ｒを、特定標準顔要素ｅの移動に伴って、上述の移動関数Ｆに基づいて算出された移動方向及び移動距離だけ移動させる。
【００５４】
図５は、標準顔要素の眉、目（閉じた状態）、標準解析対象要素の鼻領域に対して、移動関数Ｆの特性を説明する図である。図５（ａ）に示すように、移動関数Ｆは、特定標準顔要素ｅの移動前の基準点ｐ１と他の標準顔要素ｅ´の基準点Ｐ（または接続線の中心位置）、または、特定標準顔要素ｅの移動前の基準点ｐ１と標準解析対象要素ｒの基準点ｐ（または接続線の中心位置）とを結ぶ要素間距離Ｌ１及び特定標準顔要素ｅの基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐの移動距離Ｌを、Ｌ＝ａ×（ΔＬ／Ｌ１）＋ｂ（ａ，ｂは定数）の数式に基づいて導出し、特定標準顔要素ｅの移動後の基準点ｐ２と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐとを結ぶ直線上で、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐから離隔するときに接近させ、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐに接近するときに離隔させる関数として定義されている。尚、本実施形態では、ａ＝１，ｂ＝０に設定しているが、解析対象画像の画素数に基づいて適宜設定すればよい。また、基準点ｐの移動距離ＬはＸ，Ｙ二次元座標系でＸ成分及びＹ成分毎に演算される。
【００５５】
さらに、移動関数Ｆは、ΔＬ＞Ｌ１のときに当該他の標準顔要素ｅ´の基準点ｐの移動距離ＬをΔＬに設定し、特定標準顔要素ｅの移動後の基準点ｐ２と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点とを結ぶ直線上で、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐから離隔するときに接近させ、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐに接近するときに離隔させる関数として定義されている。つまり、図５（ｂ）に示すように、要素移動処理部１６は、ΔＬ＞Ｌ１のときには、特定標準顔要素ｅの移動前の基準点ｐ１と他の標準顔要素ｅ´の基準点ｐの離間距離を保った状態で移動させる。
【００５６】
ここで、ΔＬ≦Ｌ１のときに、基準点ｐまたは接続線ｑの移動操作量ΔＬが微小な値のときには、当該基準点ｐまたは接続線ｑのみを移動させ、他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐの位置はそのまま元の位置を維持するように移動関数Ｆを定義してもよい。
【００５７】
例えば、顔画像の全画素数に対して予め正整数Ｋが設定され、移動操作された基準点ｐまたは接続線ｑの直近に位置する他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐに対する要素間距離Ｌと移動距離ΔＬにＬ１／ΔＬ≧Ｋ（Ｋは正整数）の関係があるときに、他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐの位置を移動させることなく、そのまま元の位置を維持するように移動関数を定義するのである。
【００５８】
図６に示すように、標準顔要素移動処理部１２によって、標準顔画像Ａの夫々の標準顔要素ｅが解析対象顔画像Ｂの対応する顔要素Ｅの位置に移動処理されることにより、標準顔要素ｅの移動処理に伴なって移動処理された標準解析対象要素ｒが、解析対象顔画像Ｂの解析対象要素Ｒつまり解析対象領域として画定される。
【００５９】
尚、上述した解析対象顔画像Ｂに対する解析対象領域の画定処理以外に、解析対象領域生成部４ａに描画処理部を設けて、オペレータがマウスを用いて入力した複数点を、描画処理部により接続線で接続することにより解析対象領域を画定するように構成するものであってもよい。
【００６０】
このようにして、解析対象顔画像Ｂに画定された適切な解析対象要素Ｒが、当該依頼人を特定するＩＤデータ、診断日、施術内容等と関連付けられてメモリ２に格納される。
【００６１】
そして、それ以降に新たに当該依頼人の顔を撮影した場合には、メモリ２に格納された解析対象要素Ｒが読み出され、当該依頼人の新たな顔画像に当該解析対象要素Ｒが画定される。尚、顔画像の画素数、倍率、基準座標は、当該解析対象要素Ｒの倍率、基準座標と整合される必要があることはいうまでもない。
【００６２】
以下、本発明による画像処理装置または画像処理方法が採用される肌特性抽出処理部４ｂの構成及び動作について詳述する。
【００６３】
図１（ｂ）に示すように、肌特性抽出処理部４ｂは、原画像に含まれる特定オブジェクトの想定画素サイズに対応して決定される縮小率で、原画像を縮小した縮小画像を生成する縮小処理部２０と、縮小画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、縮小画像に含まれる特定オブジェクトの領域を抽出する縮小画像ラベリング処理部２２と、縮小画像ラベリング処理部２２で抽出された特定オブジェクトの領域を原画像のサイズに拡大処理して、原画像に含まれる特定オブジェクトとして同定するオブジェクト同定処理部２４と、オブジェクト同定処理部２４で同定された特定オブジェクトの輪郭領域に対して、特定オブジェクトと同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する輪郭領域ラベリング処理部２６を備えている。
【００６４】
さらに、肌特性抽出処理部４ｂは、原画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する原画像ラベリング処理部２８を備え、原画像に含まれる特定オブジェクトの想定画素サイズに基づいて、縮小処理部２０と縮小画像ラベリング処理部２２とオブジェクト同定処理部２４と輪郭領域ラベリング処理部２６を順に作動させるか、原画像ラベリング処理部２８を作動させるかを切り替える切替処理部２９を備えている。
【００６５】
切替処理部２９は、具体的には、画素数が少ない毛穴や皺等を特定オブジェクトとするときに原画像ラベリング処理部２８を作動させ、画素数が多い染み等を特定オブジェクトとするときに縮小処理部２０と縮小画像ラベリング処理部２２とオブジェクト同定処理部２４と輪郭領域ラベリング処理部２６を順に作動させるように切り替える。
【００６６】
原画像ラベリング処理部２８は、毛穴を特定オブジェクトとするとき、解析対象顔画像Ｂとしての原画像Ｂ１の肌領域を毛穴を抽出するための青成分の閾値を下回る画素値を有する画素を１に、閾値以上の画素値を有する画素を０に設定する二値化処理を施した後に、例えば、図８（ａ）に示すように、１０×１０画素程度の画素サイズに分割して、各分割画素群に対してラベリング処理を実行する。その結果、３×３画素から７×７画素程度の毛穴領域ｄ２が抽出される。
【００６７】
しかし、図８（ｂ）に示すように、数百画素×数百画素に及ぶ可能性がある染み領域ｄ１を特定オブジェクトとするとき、図２に示すような、解析対象顔画像Ｂとしての原画像Ｂ１全体または各解析対象要素Ｒ内の肌領域を、染みを抽出するための青成分の閾値に基づいて二値化処理を施した後に、数百画素×数百画素の画素サイズに分割して、各分割画素群に対してラベリング処理を実行する場合には、スタックがオーバーフローして処理が中断される虞がある。
【００６８】
そこで、切替処理部２９により縮小処理部２０が起動される。解析対象顔画像Ｂとしての原画像Ｂ１に含まれる染みを特定オブジェクトとする場合に、縮小処理部２０は、例えば、比較的大きな染みのサイズである１００００画素（１００×１００画素）を想定画素サイズとして、その１／１００である１００画素（１０×１０画素）に原画像Ｂ１全体または解析対象要素Ｒを縮小した縮小画像Ｂ２を生成する。つまり、縮小率を１／１０に設定するのである。このときの縮小処理アルゴリズムはニアレストネイバー法を用いれば十分であり高速に縮小処理ができる。尚、ニアレストネイバー法以外の縮小拡大アルゴリズムを採用するものであってもよい。
【００６９】
例えば、図９（ａ）に示すような約２３００×３５００画素で構成される８００万画素の原画像Ｂ１に対して、図９（ｂ）に示すような約２３０×３５０画素の縮小画像Ｂ２を生成する。
【００７０】
縮小画像ラベリング処理部２２は、縮小画像Ｂ２の画素を、染みを抽出するための青成分の閾値に基づいて二値化処理を施した後に、図１０（ａ）に示すように、１０×１０画素の画素サイズに分割して、各分割画素群に対して同一属性、つまり、二値化された画素が１の値を示す複数の連続画素に同一ラベルＴ２を付すことにより、縮小画像に含まれる特定オブジェクトの領域Ｕ２を抽出する。
【００７１】
つまり、ラベリング処理の対象となる分割領域の画素数を１／１００に減少させることにより、原画像Ｂ１であれば１００×１００画素単位でラベリング処理を実行する必要があるところを、縮小画像Ｂ２であれば１０×１０画素単位でラベリング処理を実行することができるようになり、メモリ容量を増加させることなくスタックのオーバーフローの発生が回避されるのである。また、ラベリング処理の対象画素数が減少することにより、高速にラベリング処理を実行することができるようにもなる。
【００７２】
オブジェクト同定処理部２４は、図１０（ｂ）に示すように、縮小画像ラベリング処理部２２により抽出された染み領域を、当該縮小率（１／１００）に基づいて、１００倍に拡大処理し、原画像Ｂ１における染み領域の座標に対応付けることにより、原画像Ｂ１に含まれる特定オブジェクトＵ１、つまり染みの領域として同定する。
【００７３】
尚、原画像における特定オブジェクトの想定画素サイズを１００００画素とする場合に１／１００の縮小率に設定すると、縮小画像では特定オブジェクトのサイズが１画素となり、より高速にラベリング処理できるがそれだけ誤差も増大する。縮小率を１／２に設定すると、縮小画像では特定オブジェクトのサイズが２５００画素となり、精度がそれ程低下することなくラベリング処理ができるが、スタックの容量が問題になる。従って、縮小率はラベリング処理の精度とスタックの容量との観点で決定される必要がある。
【００７４】
このようにして同定された原画像Ｂ１の特定オブジェクトＵ１は、縮小時の欠落画素の影響で原画像に存在する特定オブジェクトの輪郭が正確に抽出できない場合もあり、染みの正確な検出という点で不都合が生じる虞もある。
【００７５】
そこで、輪郭領域ラベリング処理部２６は、オブジェクト同定処理部２４で同定された特定オブジェクトＵ１の輪郭領域Ｖに対して、特定オブジェクトＵ１と同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する。
【００７６】
図１０（ｃ）に示すように、同定された特定オブジェクトＵ１のエッジ画素を中心として、例えば、左右上下に１０画素の範囲を輪郭領域Ｖとして設定する。輪郭領域Ｖを設定する画素数は縮小率に応じて決定される値で、本実施形態では１／１００の縮小率であるため、縦横に１０画素の丸め込み誤差が発生することを考慮するものである。
【００７７】
輪郭領域ラベリング処理部２６は、このような輪郭領域Ｖを、オブジェクト同定処理部２４で同定された特定オブジェクトＵ１の任意のエッジ画素が中心に位置するように２０×２０画素の複数の領域に分割して、分割領域毎にラベリング処理を実行する。このようにして、図１０（ｄ）に示すような正確な特定オブジェクトＵが検出される。尚、このとき、エッジ画素から特定オブジェクトＵ１側に最も離れた画素からラベリング処理を実行することにより、特定オブジェクトＵ１と連続する画素のみを正確且つ高速にラベリングできる。
【００７８】
尚、輪郭領域ラベリング処理は選択的処理として、オペレータによる選択操作に基づいて必要に応じて実行されるように構成してもよい。
【００７９】
以上説明した肌特性抽出処理部４ｂにより、染みを抽出する際の画像処理方法の一例を、図１１に示すフローチャートに基づいて概説する。
【００８０】
表示部３の画面に、図１２に示すように、解析対象要素Ｒが重畳された原画像の全体を間引き処理したモニタ画像Ｂ３の表示領域４０と、縮小画像Ｂ２の表示領域４１と、解析対象要素Ｒの一部を拡大した画像を表示する表示領域４２が設定され、その右横に診断レポートの表示領域３９が配置されている。
【００８１】
モニタ画像Ｂ３の表示領域４０の下方には、特定オブジェクトとして、染み、皺、毛穴の何れかを選択するキー３０，３１，３２が表示され、その右側に縮小倍率設定用のキー３３，３４，３５が配置されている。画面中央の下部には特定オブジェクト抽出処理を開始するスタートキー３６、直前に入力された操作を取り消す取消キー３７、画面の表示内容を印刷する印刷キー３８等が配置されている。
【００８２】
オペレータにより染みに対応するキー３０が操作されると、切替処理部２９により縮小処理部２０が起動されて、画面上部のメッセージ表示欄４３に、縮小倍率設定キーを操作してください、とのメッセージが表示され、縮小倍率の自動設定キー３３または手動設定キー３４がアクティブになる。自動設定キー３３が選択されると１／１０の縮小率に設定され、手動設定キー３４が選択されるとキーボードから入力された数値が縮小率として設定され、縮小率表示部３５に表示される。
【００８３】
オペレータにより、モニタ画像Ｂ３の表示領域４０に表示された解析対象要素Ｒ（Ｒ１からＲ４）が選択操作され、スタートキー３６が操作されると、縮小処理部２０は、原画像Ｂ１を設定された縮小率で縮小処理して、縮小画像Ｂ２を縮小画像表示領域４１に表示する縮小処理ステップを実行する（Ｓ１）。
【００８４】
縮小画像ラベリング処理部２２は、選択された解析対象要素Ｒに対応する縮小画像領域に対して上述のラベリング処理を行ない、縮小画像Ｂ２に含まれる染みの領域Ｕ２を抽出する縮小画像ラベリング処理ステップを実行する（Ｓ２）。その結果が、縮小画像表示領域４１に表示された縮小画像Ｂ２に反映され、該当する領域が他と異なる色で識別可能に表示される。
【００８５】
オブジェクト同定処理部２４は、縮小画像ラベリング処理ステップで抽出された染みの領域を原画像のサイズに拡大処理して、原画像に含まれる染みとして同定するオブジェクト同定処理ステップを実行し、原画像に同定された染みの領域を他と異なる色で識別可能に表示するとともに、拡大画像表示領域４２に抽出した染みおよびその周辺の拡大画像を表示する（Ｓ３）。
【００８６】
輪郭領域ラベリング処理部２６は、オブジェクト同定処理ステップで同定された染みの輪郭領域（図１０（ｃ）の符号Ｖ参照）に対して、当該染みと同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる染みの領域を抽出する輪郭領域ラベリング処理ステップを実行し、原画像に含まれる染みの領域を他と異なる色で識別可能に表示する（Ｓ４）。尚、このとき、輪郭領域Ｖを適宜複数の領域に分割して、各分割領域に対して輪郭領域ラベリング処理を行ない、その後、同一領域を統合してもよい。
【００８７】
その結果、抽出された染み領域に対して、診断処理部４ｃによりその状態が診断され、表示領域３９に診断レポートとして診断結果が表示される。
【００８８】
以下に別実施形態を説明する。上述の実施形態では、特定オブジェクトである染みのサイズが想定される場合を説明したが、染みのサイズが大小様々であるときには、縮小処理部２０で縮小率の異なる複数の縮小画像を生成し、縮小画像ラベリング処理部２２が、各縮小画像に対してラベリング処理を実行すればよい。
【００８９】
このとき、縮小画像ラベリング処理部２２が、縮小処理部２０で生成された縮小率の大きな縮小画像から縮小率の小さな縮小画像の順にラベリング処理を実行し、縮小率の小さな縮小画像に対するラベリング処理時に、縮小率の大きな縮小画像で抽出された特定オブジェクト及びその周辺領域を除いてラベリング処理を実行するように構成すれば、同一の特定オブジェクトに対する重複したラベリング処理が省略されるようになり、確実に特定オブジェクトが抽出でき、しかも、高速にラベリング処理を実行することが可能になる。
【００９０】
上述した実施形態では、縮小処理部２０が、原画像に含まれる特定オブジェクトである染みの想定画素サイズを１００００画素として、縮小率を１／１０に決定する例を説明したが、想定サイズ及び想定サイズに対応する縮小率はこのような値に限るものではなく、検出すべき染みのサイズに応じて適宜設定すればよい。さらに、染み以外の大きなサイズを有する特定オブジェクトを抽出する場合も同様である。
【００９１】
また、上述した実施形態では、特定オブジェクトである染みが、ほぼ円形状であることを想定して縮小率を決定したが、染みまたは他の特定オブジェクトが楕円形状等の他の形状である場合には、それを考慮して縮小率を決定すればよい。例えば、楕円形状の場合には短径に基づいて縮小率を決定すればよい。また、縦横の縮小率を異なる値に設定してもよい。
【００９２】
上述の場合には、ラベリング処理を実行する分割領域の縦横の画素数も異なる値に設定することにより、効率的に処理できる。
【００９３】
また、画像処理装置を構成するパーソナルコンピュータの入力部を介したオペレータの設定操作により、縮小倍率の自動設定キーが選択されたときに自動選択される縮小率を可変設定できるような入力処理部を備えることも可能である。
【００９４】
ラベリング処理の際の二値化閾値は、対象となる特定オブジェクトにより適宜設定される値であり、画像処理装置を構成するパーソナルコンピュータの入力部を介したオペレータの設定操作により可変設定できるような入力処理部を備えることも可能である。また、二値化閾値として上限値と下限値を設定し、上限値と下限値で規定される値を備えた画素を１、逸脱する値を備えた画素を０に設定するように構成してもよい。
【００９５】
尚、上述の実施形態では、画素を構成する赤、緑、青の色成分のうち、青成分に基づいて二値化するものを説明したが、特定オブジェクトの特性によっては、他の色成分に基づいて二値化するものであってもよいし、輝度値に基づいて二値化するものであってもよい。また、原画像を撮影する際に使用された光源の波長との関係で特定の色成分または輝度の何れを二値化すべきかを決定するものであってもよい。
【００９６】
上述した実施形態では、移動要素抽出処理部が特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素を抽出するように構成するものを説明したが、移動要素抽出処理部を、特定標準顔要素と関連付けられた標準解析対象要素のみを抽出するように構成するものであってもよい。この場合、特定標準顔要素を中心とする所定範囲に位置する標準解析対象要素を抽出するように構成することにより、より自然且つ適切に解析対象要素を配置することができる。
【００９７】
この場合には、各標準顔要素と標準解析対象要素が予め関連付けられている必要があり、例えば、標準顔要素の眉を額領域Ｒ１の標準解析対象要素と関連付け、標準顔要素の目を鼻領域Ｒ３及び頬領域Ｒ２の標準解析対象要素と関連付け、標準顔要素の口を顎領域Ｒ４の標準解析対象要素と関連付け、各標準顔要素及び標準解析対象要素が夫々の関連付け情報とともにメモリ２に格納しておけばよい。
【００９８】
尚、移動関数及び標準解析対象要素を抽出する所定領域は上述と同様に構成すればよい。
【００９９】
上述した実施形態では、特定オブジェクトが、人の顔画像に含まれる染み、毛穴、皺等の肌の変色領域である例を説明したが、本発明による画像処理装置が対象とする特定オブジェクトは、そのようなものに限定されるものではなく、任意の画像に含まれる任意のオブジェクトを抽出する場合にも適用可能である。例えば、写真画像中に存在する人物の顔を抽出する場合等にも適用できる。
【０１００】
上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各機能ブロックの具体的構成等を適宜変更設計できることは言うまでもない。
【図面の簡単な説明】
【０１０１】
【図１】（ａ）は画像診断システムの機能ブロック構成図、（ｂ）は画像処理装置のブロック構成図
【図２】顔画像の肌に画定される解析対象要素の説明図
【図３】（ａ）は表示部に表示された標準顔画像の説明図、（ｂ）は表示部に表示された解析対象顔画像の説明図、（ｃ）は表示部に重ね合わせて表示された標準顔画像と解析対象顔画像の説明図
【図４】（ａ）は標準顔要素及び標準解析対象要素の配置情報の説明図、（ｂ）はオペレータにより基準点が移動操作されるときの標準顔要素及び標準解析対象要素の移動態様の説明図、（ｃ）はオペレータにより接続線が移動操作されるときの標準顔要素及び標準解析対象要素の移動態様の説明図、（ｄ）は特定標準顔要素とともに移動する他の標準顔要素及び標準解析対象要素が抽出される所定範囲の説明図
【図５】（ａ）はΔＬ≦Ｌ１のときに他の標準顔要素の基準点の移動距離及び方向を示す説明図、（ｂ）はΔＬ＞Ｌ１のときに他の標準顔要素及び標準解析対象要素の基準点の移動距離及び方向を示す説明図
【図６】解析対象顔画像に画定された解析対象要素の説明図
【図７】ラベリング処理の説明図
【図８】（ａ）は特定オブジェクトが毛穴であるときのラベリング処理の対象画素ブロック（黒丸は毛穴の画素）の説明図、（ｂ）は特定オブジェクトが染みであるときのラベリング処理の対象画素ブロック（黒丸は毛穴の画素）の説明図
【図９】原画像と縮小画像の説明図
【図１０】（ａ）は縮小画像に対するラベリング処理で得られた染み領域の説明図、（ｂ）はオブジェクト同定処理で同定された染み領域の要部の説明図、（ｃ）は輪郭領域ラベリング処理で設定される輪郭領域の要部の説明図、（ｄ）は輪郭領域ラベリング処理の結果を示す要部の説明図
【図１１】肌特性抽出処理部の動作を説明するフローチャート
【図１２】表示部に表示される画面の説明図
【符号の説明】
【０１０２】
２：記憶部
３：表示部
４ｂ：肌特性抽出処理部
２０：縮小処理部
２２：縮小画像ラベリング処理部
２４：オブジェクト同定処理部
２６：輪郭領域ラベリング処理部
２８：原画像ラベリング処理部
２９：切替処理部
【技術分野】
【０００１】
本発明は、画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、画像に含まれる特定オブジェクトの領域を抽出するラベリング処理部を備えた画像処理装置または画像処理方法に関し、特に、撮像装置で撮影された人の顔画像情報に基づいて、染み、毛穴、皺等、顔の肌の変色部位の特性情報を抽出するための画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
美容外科やエステティックサロン等では、染み、毛穴の汚れ、皺等、顔の肌の状態を改善する美容施術の前後に、肌の状態がどの程度改善されたかを客観的に判断するため、撮像装置で人の顔画像を撮影し、撮影した顔画像に対して所定の画像処理を行なって、染み、毛穴の汚れ、皺等の状態を評価する必要がある。
【０００３】
そのため、特許文献１では、デジタルカメラで撮影した顔全体の撮影画像データに少なくとも１個の処理領域を設定して処理領域の画像データを切り出し、切り出した処理領域の画像データを処理して皮膚のパラメータを演算するデジタルズーム肌診断装置において、撮像素子の画素数が多いデジタルカメラで出力データサイズの大きな顔全体の高解像度画像を撮影し、画像上で任意に配置を設定可能な解析線を重ねた処理領域の拡大画像と並べて、この解析線に沿った濃度分布のグラフをモニタ画面に表示し、このグラフ上で設定したしきい値に基づいて濃度分布の凹凸をカウントすることにより皮膚のパラメータを求めることを特徴とするデジタルズーム肌診断装置が提案されている。
【０００４】
上述の装置では、撮影画像データから切り取った拡大画像を処理領域として、処理領域のＲ画像データからＸＹ二次元の濃度分布を作成し、閾値を変化させて二値化して染みを抽出し、抽出した染みの大きさと数から染みのパラメータを演算するものであった。
【０００５】
染みの大きさを演算する場合には、画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、画像に含まれるオブジェクトの領域、ここでは染みの領域を抽出するラベリング処理が一般的に用いられる。
【特許文献１】特許第３５３０５２３号特許公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、手続きの中で再び当該手続き自身を呼び出す再帰呼び出し処理を伴なうラベリング処理を実行すると、処理時間が極めて長くなるという問題や、オブジェクトの画素サイズが大きくなるほど再帰呼び出し処理の数が増加するため、大容量のスタックメモリを準備していないと、オーバーフローが生じて処理が中断され、システムの安定性を損なうという問題があった。
【０００７】
そこで、再帰呼び出し処理の数を制限すると、容量の限られたスタックメモリであっても、オーバーフローの発生を回避することができるが、特定オブジェクトの領域の大きさが正確に検出できなくなるという問題が生じる。
【０００８】
また、オブジェクトの探索範囲を制限すると、その範囲を超えるオブジェクトが検出できず、同一のオブジェクトであっても複数のオブジェクトとしてカウントされるという問題も生じる。
【０００９】
このような問題は、顔画像から染み等の領域サイズを検出する場合のみならず、写真撮影されたコマ画像からある特定のオブジェクトをラベリング処理により抽出する場合等、様々な局面で現れる。
【００１０】
本発明は、上述した従来の問題点に鑑みてなされたものであり、容量が小さなスタックメモリを備える場合であってもオーバーフローの発生を回避し、画像から短時間で確実に特定オブジェクトを抽出することができるラベリング処理が可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述の目的を達成するため、本発明による画像処理装置の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、原画像に含まれる特定オブジェクトの想定画素サイズに対応して決定される縮小率で、前記原画像を縮小した縮小画像を生成する縮小処理部と、前記縮小画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記縮小画像に含まれる特定オブジェクトの領域を抽出する縮小画像ラベリング処理部と、前記縮小画像ラベリング処理部で抽出された特定オブジェクトの領域を前記原画像のサイズに拡大処理して、前記原画像に含まれる特定オブジェクトとして同定するオブジェクト同定処理部を備えている点にある。
【００１２】
上述の構成によれば、原画像に含まれる特定オブジェクトが大きな領域であっても、縮小処理部によって特定オブジェクトの想定画素サイズに対応して決定される縮小率で生成された縮小画像に対して、縮小画像ラベリング処理部によってラベリング処理が実行されるため、ラベリング処理の対象画素数が減少する。その結果、縮小画像ラベリング処理部ではスタックメモリのオーバーフローの発生を招くことなく、高速にラベリング処理が実行できるようになる。そして、縮小画像ラベリング処理部により縮小画像から抽出された特定オブジェクトが、オブジェクト同定処理部により拡大処理されて、原画像に含まれる特定オブジェクトとして同定される。
【００１３】
同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、前記縮小画像ラベリング処理部は、前記縮小処理部で生成された縮小率の大きな縮小画像から縮小率の小さな縮小画像の順にラベリング処理を実行し、縮小率の小さな縮小画像に対するラベリング処理時に、縮小率の大きな縮小画像で抽出された特定オブジェクト及びその周辺領域を除いてラベリング処理を実行する点にある。
【００１４】
縮小処理部では、原画像に含まれる特定オブジェクトの想定画素サイズに対応した縮小率が決定されるが、当該特定オブジェクトの実際の画素サイズは様々であり、縮小率が大きすぎると縮小画像ラベリング処理部によって当該特定オブジェクトが抽出できない虞もある。
【００１５】
そこで、縮小画像ラベリング処理部によって縮小率の異なる複数の縮小画像に対してラベリング処理を実行する必要が生じる場合がある。そのような場合に、縮小率の大きな縮小画像から縮小率の小さな縮小画像の順にラベリング処理を実行し、縮小率の大きな縮小画像で抽出された特定オブジェクト及びその周辺領域を除いて、縮小率の小さな縮小画像に対するラベリング処理を実行すれば、同一の特定オブジェクトに対する重複したラベリング処理が省略されるようになり、確実に特定オブジェクトが抽出でき、しかも、高速にラベリング処理を実行することが可能になる。
【００１６】
同第三の特徴構成は、同請求項３に記載した通り、上述の第一または第二特徴構成に加えて、前記オブジェクト同定処理部で同定された特定オブジェクトの輪郭領域に対して、前記特定オブジェクトと同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する輪郭領域ラベリング処理部を備えている点にある。
【００１７】
縮小画像に対するラベリング処理で抽出された特定オブジェクトを拡大処理すると、縮小時の欠落画素の影響で原画像に存在する特定オブジェクトの輪郭が正確に抽出できない場合がある。そのような場合に、オブジェクト同定処理部で同定された特定オブジェクトの輪郭領域に対して輪郭領域ラベリング処理部がラベリング処理すれば、原画像の特定オブジェクトの輪郭が正確に抽出できるようになる。この場合、輪郭領域ラベリング処理部のラベリング処理対象画素はオブジェクト同定処理部で同定された特定オブジェクトの輪郭領域に限定されるため、輪郭領域ラベリング処理部ではスタックメモリのオーバーフローの発生を招くことなく、高速にラベリング処理が実行できるようになる。
【００１８】
同第四の特徴構成は、同請求項４に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、前記原画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記原画像に含まれる特定オブジェクトの領域を抽出する原画像ラベリング処理部を備え、前記原画像に含まれる特定オブジェクトの想定画素サイズに基づいて、前記縮小処理部と前記縮小画像ラベリング処理部と前記オブジェクト同定処理部を作動させるか、前記原画像ラベリング処理部を作動させるかを切り替える切替処理部を備えている点にある。
【００１９】
縮小画像に対してラベリング処理を行なう必要があるのは、原画像に含まれる特定オブジェクトの画素数が多く、スタックメモリのオーバーフロー等の不都合を招く虞のある場合である。従って、そのような不都合が発生する虞の無い場合には、切替処理部により原画像ラベリング処理部を作動させることにより、原画像から正確に特定オブジェクトを抽出できるようになり、そのような不都合が発生する虞の有る場合には、切替処理部により縮小処理部と縮小画像ラベリング処理部とオブジェクト同定処理部を作動させることにより、安定且つ高速に特定オブジェクトを抽出できるようになる。
【００２０】
同第五の特徴構成は、同請求項５に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、前記特定オブジェクトが、人の顔画像に含まれる染み、毛穴、皺等の肌の変色領域である点にある。
【００２１】
人の顔画像に含まれる染み、毛穴、皺等の肌の変色領域を特定オブジェクトとする場合に、第一から第三の何れかの特徴構成を備えた画像処理装置が好適に機能する。
【００２２】
同第六の特徴構成は、同請求項６に記載した通り、上述の第四特徴構成に加えて、前記特定オブジェクトが、人の顔画像に含まれる染み、毛穴、皺等の肌の変色領域であり、前記切替処理部は、毛穴を特定オブジェクトとするときに原画像ラベリング処理部を作動させ、染みを特定オブジェクトとするときに前記縮小処理部と前記縮小画像ラベリング処理部と前記オブジェクト同定処理部を作動させるように切り替える点にある。
【００２３】
本発明による画像処理方法の第一の特徴構成は、同請求項７に記載した通り、原画像に含まれる特定オブジェクトの想定画素サイズに対応して決定される縮小率で、前記原画像を縮小した縮小画像を生成する縮小処理ステップと、前記縮小画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記縮小画像に含まれる特定オブジェクトの領域を抽出する縮小画像ラベリング処理ステップと、前記縮小画像ラベリング処理ステップで抽出された特定オブジェクトの領域を前記原画像のサイズに拡大処理して、前記原画像に含まれる特定オブジェクトを同定するオブジェクト同定処理ステップを備えている点にある。
【００２４】
同第二の特徴構成は、同請求項８に記載した通り、上述の第一特徴構成に加えて、前記縮小画像ラベリング処理ステップは、前記縮小処理ステップで生成された縮小率の大きな縮小画像から縮小率の小さな縮小画像の順にラベリング処理を実行し、縮小率の小さな縮小画像に対するラベリング処理時に、縮小率の大きな縮小画像で抽出された特定オブジェクト及びその周辺領域を除いてラベリング処理を実行する点にある。
【００２５】
同第三の特徴構成は、同請求項９に記載した通り、上述の第一または第二特徴構成に加えて、前記オブジェクト同定処理ステップで同定された特定オブジェクトの輪郭領域に対して、前記特定オブジェクトと同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する輪郭領域ラベリング処理ステップを備えている点にある。
【発明の効果】
【００２６】
以上説明した通り、本発明によれば、容量が小さなスタックメモリを備える場合であってもオーバーフローの発生を回避し、画像から短時間で確実に特定オブジェクトを抽出することができるラベリング処理が可能な画像処理装置及び画像処理方法を提供することができるようになった。
【発明を実施するための最良の形態】
【００２７】
以下に本発明による画像処理装置が組み込まれた画像診断システムの実施の形態を説明する。
【００２８】
図１に示すように、画像診断システムは、依頼人の顔画像を撮影する撮像装置１と、撮像装置１で撮影され、電子データに変換された依頼人の顔画像を格納するハードディスク等で構成されたメモリ２と、液晶画面を備えた表示部３と、パーソナルコンピュータに本発明を具現化するアプリケーションプログラムがインストールされた画像処理装置４を備えて構成されている。
【００２９】
撮像装置１は、依頼人の顔を一定姿勢に保つ顎ガイドと頭部ガイドを備えた顔保持部１ａと、顔保持部１ａで保持された依頼人の顔を照明する照明装置１ｂと、照明装置１ｂで照明された依頼人の顔を撮影する撮像部１ｃを備えている。
【００３０】
画像処理装置４は、依頼人の顔画像領域に解析対象要素つまり解析対象領域を画定する解析対象領域生成部４ａと、顔画像全体を構成する画素群または解析対象領域生成部４ａで生成された解析対象要素を構成する画素群の画素値に基づいて、染み、毛穴の汚れ、皺等、肌の変色部位である特性情報を抽出する肌特性抽出処理部４ｂと、肌特性抽出処理部４ｂで抽出された肌の特性情報に基づいて肌状態を診断する診断処理部４ｃを備えている。
【００３１】
撮像装置１で撮影された依頼人の顔画像は原画像としてメモリ２に格納され、画像処理装置４によってメモリ２から読み出されて表示部３に表示される。解析対象領域生成部４ａにより、表示部３に表示された依頼人の顔画像の肌に、図２に示すような解析対象要素Ｒつまり解析対象領域が画定される。解析対象要素Ｒとして、具体的には、額領域Ｒ１、頬領域Ｒ２、鼻領域Ｒ３、顎領域Ｒ４が画定されるのであるが、これに限るものではなく、目尻の周辺領域等、適宜設定することができる。
【００３２】
肌特性抽出処理部４ｂは、顔画像領域に画定された解析対象要素の構成画素データから所定範囲の肌色領域を特定し、肌色領域を構成する複数の画素の青色成分値が所定の閾値より大であるか小であるかを、ラベリング法を用いて判別し、図３（ｂ）に示すような顔の染みｄ１、毛穴の汚れｄ２、皺ｄ３等の発生領域を抽出する。
【００３３】
後に詳述するが、ラベリング処理は、図７（ａ）から（ｃ）に示すように、染み、毛穴の汚れ、皺等の抽出対象オブジェクトの夫々に対して適切に設定された閾値で解析対象要素Ｒ内の画素を二値化処理した後に、解析対象要素Ｒを抽出対象オブジェクトの最大サイズより大きな複数領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄに分割し、分割領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄ内で閾値より下回る画素値（ここでは、二値化処理で１に設定され、図中、灰色で示されている）を有する任意の画素に特定のラベルＴｎ（ｎは正整数で同一領域では同一の値となる）を付し、さらに、ラベルＴｎを付した画素と隣接する画素であって、同様に閾値より下回る隣接画素に同一ラベルＴｎを付す処理を、閾値より下回る隣接画素が無くなるまで繰り返す再帰呼び出し処理で、解析対象要素Ｒ内の全ての画素に対してラベリング処理を行なうことにより、染み、毛穴の汚れ、皺に対応した単一または複数の領域が抽出される。
【００３４】
その結果、図７に示す例では、領域ＲａにラベルＴ１で示されるオブジェクトが抽出され、領域ＲｂにラベルＴ２で示されるオブジェクトが抽出され、領域ＲｃにラベルＴ３で示されるオブジェクトが抽出され、領域ＲｄにラベルＴ４で示されるオブジェクトが抽出される。領域間に跨る領域(ラベルＴ３，Ｔ４で示される領域)は、その後、分割領域の境界部に存在するオブジェクトの連続性が、二値化された画素値に基づいて連続性が判断され、連続する場合には同一領域として統合される。
【００３５】
ラベリング処理の過程で、対象画素毎に特定のラベルを付すか否かを判断するアルゴリズムが繰り返し実行されるため、現在実行中のアルゴリズムが対象とする画素の座標データ等、処理を実行するために必要な複数のパラメータが、パーソナルコンピュータのメモリ領域に画定されたスタック領域にスタックされながら処理が実行される。
【００３６】
診断処理部４ｃは、肌特性抽出処理部４ｂで抽出された領域の面積（画素数）、形状、画素値等に基づいて、染み、毛穴の汚れ、皺の何れであるかを判別し、解析対象要素内における夫々の位置、面積、解析対象要素Ｒに対する面積比、画素値等でなる特性情報を生成する。
【００３７】
このとき、表示部３に表示された顔画像のうち、肌特性抽出処理部４ｂにより抽出された変色部位の表示色を、周辺の肌領域と識別可能な色に変えて表示することにより視覚的に容易に認識できるようになる。
【００３８】
例えば、８００万画素の顔画像では、３×３画素から７×７画素程度の面積が毛穴に相当するため、それより画素数が大きな領域は染みまたは皺と判別でき、領域の直交方向の連続画素値のうち、小さい方の連続画素値が数画素から十数画素で、且つ、小さい方の連続画素値と大きい方の連続画素値が所定値以上であれば皺であると判別できる。
【００３９】
一般に、上述した肌の特性を抽出する場合、画素を構成する赤、緑、青の各色成分のうち、青成分の値を採用することが好適である。皮膚の深層部の状況が青成分に現れるからである。従って、照明装置１ｂの光源に青色の透過フィルタや紫外線ランプを用いることが好ましい。
【００４０】
解析対象領域生成部４ａにより画定された解析対象要素Ｒ、肌特性抽出処理部４ｂで抽出された肌の特性情報、及び、診断処理部４ｃで診断された診断情報は、依頼人を特定するＩＤデータ、診断日、施術内容等と関連付けられてメモリ２に格納される。
【００４１】
診断処理部４ｃは、メモリ２に格納された依頼人の過去の肌の特性情報と今回の特性情報に基づいて肌の状態が改善されているか否かの診断情報を生成する。医師、エスティシャン、美容カウンセラーは、当該診断情報に基づいてどのような施術または処方が好ましいか、どのような化粧品が好ましいか等を判断して、適切に対応する。
【００４２】
解析対象領域生成部４ａは、図１（ｂ）に示すように、複数のサンプル顔画像を統計処理することにより得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像Ａ（図３（ａ）参照）と、撮像装置で撮影された解析対象顔画像Ｂ（図３（ｂ）参照）を、表示部３に重ね合わせて表示する（図３（ｃ）参照）顔画像表示処理部１０と、表示部３に表示された解析対象顔画像Ｂの特定顔要素Ｅの表示位置に、対応する特定標準顔要素ｅを移動させる標準顔要素移動処理部１２と、標準顔要素移動処理部１２で移動された標準解析対象要素ｒを、解析対象顔画像Ｂに対する解析対象要素Ｒとして解析対象顔画像Ｂと関連付けて記憶部２に記憶する解析対象要素生成処理部１８を備えている。
【００４３】
さらに、標準顔要素移動処理部１２に、特定標準顔要素ｅを中心とする所定範囲Ｓに位置する他の標準顔要素ｅ´及び標準解析対象要素ｒを抽出する移動要素抽出処理部１４と、移動要素抽出処理部１４で抽出された他の標準顔要素ｅ´及び標準解析対象要素ｒを、特定標準顔要素ｅの移動に伴って、所定の移動関数Ｆに基づいて算出された移動方向及び移動距離だけ移動させる要素移動処理部１６を備えている。
【００４４】
標準顔要素ｅ及び標準解析対象要素ｒの配置情報は、複数の基準点ｐと各基準点ｐを接続する接続線ｑで定義され、移動関数Ｆは、特定標準顔要素ｅの移動前の基準点ｐ１と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐとを結ぶ要素間距離Ｌ１及び特定標準顔要素ｅの基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素ｅ´の基準点ｐの移動距離Ｌが、ΔＬ／Ｌ１を変数として導出され、特定標準顔要素ｅの移動後の基準点ｐ２と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点とを結ぶ直線上で、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐから離隔するときに接近させ、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐに接近するときに離隔させる関数として定義されている。
【００４５】
図３（ａ）に示す標準顔画像Ａは、予め収集した多数のサンプル顔画像に対して、顔を構成する輪郭、髪の生え際、眉、目、耳、鼻、口といった顔要素の大きさや相対距離を計測し、その結果を統計処理して標準的な顔要素の大きさ、位置を算出して、算出した値に基づいて標準顔要素を配置した標準顔画像を生成し、生成した標準顔画像に対して、オペレータがマウス等のポインティングデバイスを手動操作して、肌の変色等の特性の状態を探る解析対象要素ｒ、つまり解析対象領域を画定して得られた画像で、標準的な輪郭、髪の生え際、眉、目、耳、鼻、口といった顔要素、つまり標準顔要素ｅの配置情報及び標準解析対象要素ｒの配置情報で規定された画像である。
【００４６】
ここで、配置情報は、所定のＸ，Ｙ二次元座標系で基準点ｐが位置する座標と、接続線ｑの属性情報で構成され、属性情報には接続線ｑの両端の基準点ｐを特定する基準点特定情報と、接続線が直線か曲線か特定する線種情報、曲線の場合にはその曲率等の情報が含まれる。
【００４７】
顔画像表示処理部１０により、予めメモリ２に格納された標準顔画像Ａと解析対象顔画像Ｂが読み出されて、図３（ｃ）に示すように表示部３に重ね合わせて表示されるのである。
【００４８】
このような標準顔要素ｅ及び標準解析対象要素ｒの配置情報は、図４（ａ）に示すように、複数の基準点ｐと各基準点ｐを接続する接続線ｑで定義されている。標準顔要素移動処理部１２は、オペレータにより基準点ｐまたは接続線ｑがマウスでドラッグ操作された状態で移動され、ドロップ操作されると、基準点ｐまたは接続線ｑをその位置まで移動処理する。
【００４９】
図４（ｂ）に示すように、基準点ｐが移動操作されると、当該基準点ｐのみを移動し、移動操作されなかった基準点ｐと移動操作された基準点ｐを結ぶように接続線ｑを変更し、図４（ｃ）に示すように、接続線ｑが移動操作されると、接続線ｑと当該接続線ｑにより接続された全ての基準点ｐを位置関係を保った状態で移動する。
【００５０】
このとき、移動要素抽出処理部１４は、図４（ｄ）に示すように、特定標準顔要素ｅを中心とする所定範囲Ｓに位置する他の標準顔要素ｅ´及び標準解析対象要素ｒを、特定標準顔要素ｅの移動に伴なって同時に移動処理する対象として抽出する。所定範囲Ｓは、特定標準顔要素ｅの移動距離、つまり、一つの基準点のみが移動されるときには当該基準点Ｐの移動距離ΔＬ、接続線ｑが移動されるときには当該接続線の移動距離ΔＬの関数で定めることができ、例えば、移動前の基準点の位置または接続線ｑの中心位置を中心として半径がＮ×ΔＬの範囲に含まれる円領域に設定される。
【００５１】
また、移動前の基準点Ｐの位置または接続線ｑの中心位置を中心として一辺の長さがＮ×ΔＬの矩形領域に設定されるものであってもよい。ここに、Ｎは自然数であり、標準的には２〜３が選択されるが、対象画像の画素数により適宜変更設定するものであってもよい。
【００５２】
つまり、上述した所定範囲Ｓが、特定標準顔要素ｅの移動距離ΔＬに基づいて可変に設定されるのである。従って、特定標準顔要素ｅの移動距離ΔＬが長ければそれだけ影響を受ける他の標準顔要素ｅ´及び標準解析対象要素ｒが多くなり、特定標準顔要素ｅの移動距離ΔＬが短ければそれだけ影響を受ける他の標準顔要素ｅ´及び標準解析対象要素ｒが少なくなる。尚、簡易的には、上述した所定範囲Ｓを固定範囲とすることも可能である。
【００５３】
要素移動処理部１６は、移動要素抽出処理部１４で抽出された他の標準顔要素ｅ´及び標準解析対象要素ｒを、特定標準顔要素ｅの移動に伴って、上述の移動関数Ｆに基づいて算出された移動方向及び移動距離だけ移動させる。
【００５４】
図５は、標準顔要素の眉、目（閉じた状態）、標準解析対象要素の鼻領域に対して、移動関数Ｆの特性を説明する図である。図５（ａ）に示すように、移動関数Ｆは、特定標準顔要素ｅの移動前の基準点ｐ１と他の標準顔要素ｅ´の基準点Ｐ（または接続線の中心位置）、または、特定標準顔要素ｅの移動前の基準点ｐ１と標準解析対象要素ｒの基準点ｐ（または接続線の中心位置）とを結ぶ要素間距離Ｌ１及び特定標準顔要素ｅの基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐの移動距離Ｌを、Ｌ＝ａ×（ΔＬ／Ｌ１）＋ｂ（ａ，ｂは定数）の数式に基づいて導出し、特定標準顔要素ｅの移動後の基準点ｐ２と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐとを結ぶ直線上で、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐから離隔するときに接近させ、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐに接近するときに離隔させる関数として定義されている。尚、本実施形態では、ａ＝１，ｂ＝０に設定しているが、解析対象画像の画素数に基づいて適宜設定すればよい。また、基準点ｐの移動距離ＬはＸ，Ｙ二次元座標系でＸ成分及びＹ成分毎に演算される。
【００５５】
さらに、移動関数Ｆは、ΔＬ＞Ｌ１のときに当該他の標準顔要素ｅ´の基準点ｐの移動距離ＬをΔＬに設定し、特定標準顔要素ｅの移動後の基準点ｐ２と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点とを結ぶ直線上で、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐから離隔するときに接近させ、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐに接近するときに離隔させる関数として定義されている。つまり、図５（ｂ）に示すように、要素移動処理部１６は、ΔＬ＞Ｌ１のときには、特定標準顔要素ｅの移動前の基準点ｐ１と他の標準顔要素ｅ´の基準点ｐの離間距離を保った状態で移動させる。
【００５６】
ここで、ΔＬ≦Ｌ１のときに、基準点ｐまたは接続線ｑの移動操作量ΔＬが微小な値のときには、当該基準点ｐまたは接続線ｑのみを移動させ、他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐの位置はそのまま元の位置を維持するように移動関数Ｆを定義してもよい。
【００５７】
例えば、顔画像の全画素数に対して予め正整数Ｋが設定され、移動操作された基準点ｐまたは接続線ｑの直近に位置する他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐに対する要素間距離Ｌと移動距離ΔＬにＬ１／ΔＬ≧Ｋ（Ｋは正整数）の関係があるときに、他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐの位置を移動させることなく、そのまま元の位置を維持するように移動関数を定義するのである。
【００５８】
図６に示すように、標準顔要素移動処理部１２によって、標準顔画像Ａの夫々の標準顔要素ｅが解析対象顔画像Ｂの対応する顔要素Ｅの位置に移動処理されることにより、標準顔要素ｅの移動処理に伴なって移動処理された標準解析対象要素ｒが、解析対象顔画像Ｂの解析対象要素Ｒつまり解析対象領域として画定される。
【００５９】
尚、上述した解析対象顔画像Ｂに対する解析対象領域の画定処理以外に、解析対象領域生成部４ａに描画処理部を設けて、オペレータがマウスを用いて入力した複数点を、描画処理部により接続線で接続することにより解析対象領域を画定するように構成するものであってもよい。
【００６０】
このようにして、解析対象顔画像Ｂに画定された適切な解析対象要素Ｒが、当該依頼人を特定するＩＤデータ、診断日、施術内容等と関連付けられてメモリ２に格納される。
【００６１】
そして、それ以降に新たに当該依頼人の顔を撮影した場合には、メモリ２に格納された解析対象要素Ｒが読み出され、当該依頼人の新たな顔画像に当該解析対象要素Ｒが画定される。尚、顔画像の画素数、倍率、基準座標は、当該解析対象要素Ｒの倍率、基準座標と整合される必要があることはいうまでもない。
【００６２】
以下、本発明による画像処理装置または画像処理方法が採用される肌特性抽出処理部４ｂの構成及び動作について詳述する。
【００６３】
図１（ｂ）に示すように、肌特性抽出処理部４ｂは、原画像に含まれる特定オブジェクトの想定画素サイズに対応して決定される縮小率で、原画像を縮小した縮小画像を生成する縮小処理部２０と、縮小画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、縮小画像に含まれる特定オブジェクトの領域を抽出する縮小画像ラベリング処理部２２と、縮小画像ラベリング処理部２２で抽出された特定オブジェクトの領域を原画像のサイズに拡大処理して、原画像に含まれる特定オブジェクトとして同定するオブジェクト同定処理部２４と、オブジェクト同定処理部２４で同定された特定オブジェクトの輪郭領域に対して、特定オブジェクトと同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する輪郭領域ラベリング処理部２６を備えている。
【００６４】
さらに、肌特性抽出処理部４ｂは、原画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する原画像ラベリング処理部２８を備え、原画像に含まれる特定オブジェクトの想定画素サイズに基づいて、縮小処理部２０と縮小画像ラベリング処理部２２とオブジェクト同定処理部２４と輪郭領域ラベリング処理部２６を順に作動させるか、原画像ラベリング処理部２８を作動させるかを切り替える切替処理部２９を備えている。
【００６５】
切替処理部２９は、具体的には、画素数が少ない毛穴や皺等を特定オブジェクトとするときに原画像ラベリング処理部２８を作動させ、画素数が多い染み等を特定オブジェクトとするときに縮小処理部２０と縮小画像ラベリング処理部２２とオブジェクト同定処理部２４と輪郭領域ラベリング処理部２６を順に作動させるように切り替える。
【００６６】
原画像ラベリング処理部２８は、毛穴を特定オブジェクトとするとき、解析対象顔画像Ｂとしての原画像Ｂ１の肌領域を毛穴を抽出するための青成分の閾値を下回る画素値を有する画素を１に、閾値以上の画素値を有する画素を０に設定する二値化処理を施した後に、例えば、図８（ａ）に示すように、１０×１０画素程度の画素サイズに分割して、各分割画素群に対してラベリング処理を実行する。その結果、３×３画素から７×７画素程度の毛穴領域ｄ２が抽出される。
【００６７】
しかし、図８（ｂ）に示すように、数百画素×数百画素に及ぶ可能性がある染み領域ｄ１を特定オブジェクトとするとき、図２に示すような、解析対象顔画像Ｂとしての原画像Ｂ１全体または各解析対象要素Ｒ内の肌領域を、染みを抽出するための青成分の閾値に基づいて二値化処理を施した後に、数百画素×数百画素の画素サイズに分割して、各分割画素群に対してラベリング処理を実行する場合には、スタックがオーバーフローして処理が中断される虞がある。
【００６８】
そこで、切替処理部２９により縮小処理部２０が起動される。解析対象顔画像Ｂとしての原画像Ｂ１に含まれる染みを特定オブジェクトとする場合に、縮小処理部２０は、例えば、比較的大きな染みのサイズである１００００画素（１００×１００画素）を想定画素サイズとして、その１／１００である１００画素（１０×１０画素）に原画像Ｂ１全体または解析対象要素Ｒを縮小した縮小画像Ｂ２を生成する。つまり、縮小率を１／１０に設定するのである。このときの縮小処理アルゴリズムはニアレストネイバー法を用いれば十分であり高速に縮小処理ができる。尚、ニアレストネイバー法以外の縮小拡大アルゴリズムを採用するものであってもよい。
【００６９】
例えば、図９（ａ）に示すような約２３００×３５００画素で構成される８００万画素の原画像Ｂ１に対して、図９（ｂ）に示すような約２３０×３５０画素の縮小画像Ｂ２を生成する。
【００７０】
縮小画像ラベリング処理部２２は、縮小画像Ｂ２の画素を、染みを抽出するための青成分の閾値に基づいて二値化処理を施した後に、図１０（ａ）に示すように、１０×１０画素の画素サイズに分割して、各分割画素群に対して同一属性、つまり、二値化された画素が１の値を示す複数の連続画素に同一ラベルＴ２を付すことにより、縮小画像に含まれる特定オブジェクトの領域Ｕ２を抽出する。
【００７１】
つまり、ラベリング処理の対象となる分割領域の画素数を１／１００に減少させることにより、原画像Ｂ１であれば１００×１００画素単位でラベリング処理を実行する必要があるところを、縮小画像Ｂ２であれば１０×１０画素単位でラベリング処理を実行することができるようになり、メモリ容量を増加させることなくスタックのオーバーフローの発生が回避されるのである。また、ラベリング処理の対象画素数が減少することにより、高速にラベリング処理を実行することができるようにもなる。
【００７２】
オブジェクト同定処理部２４は、図１０（ｂ）に示すように、縮小画像ラベリング処理部２２により抽出された染み領域を、当該縮小率（１／１００）に基づいて、１００倍に拡大処理し、原画像Ｂ１における染み領域の座標に対応付けることにより、原画像Ｂ１に含まれる特定オブジェクトＵ１、つまり染みの領域として同定する。
【００７３】
尚、原画像における特定オブジェクトの想定画素サイズを１００００画素とする場合に１／１００の縮小率に設定すると、縮小画像では特定オブジェクトのサイズが１画素となり、より高速にラベリング処理できるがそれだけ誤差も増大する。縮小率を１／２に設定すると、縮小画像では特定オブジェクトのサイズが２５００画素となり、精度がそれ程低下することなくラベリング処理ができるが、スタックの容量が問題になる。従って、縮小率はラベリング処理の精度とスタックの容量との観点で決定される必要がある。
【００７４】
このようにして同定された原画像Ｂ１の特定オブジェクトＵ１は、縮小時の欠落画素の影響で原画像に存在する特定オブジェクトの輪郭が正確に抽出できない場合もあり、染みの正確な検出という点で不都合が生じる虞もある。
【００７５】
そこで、輪郭領域ラベリング処理部２６は、オブジェクト同定処理部２４で同定された特定オブジェクトＵ１の輪郭領域Ｖに対して、特定オブジェクトＵ１と同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する。
【００７６】
図１０（ｃ）に示すように、同定された特定オブジェクトＵ１のエッジ画素を中心として、例えば、左右上下に１０画素の範囲を輪郭領域Ｖとして設定する。輪郭領域Ｖを設定する画素数は縮小率に応じて決定される値で、本実施形態では１／１００の縮小率であるため、縦横に１０画素の丸め込み誤差が発生することを考慮するものである。
【００７７】
輪郭領域ラベリング処理部２６は、このような輪郭領域Ｖを、オブジェクト同定処理部２４で同定された特定オブジェクトＵ１の任意のエッジ画素が中心に位置するように２０×２０画素の複数の領域に分割して、分割領域毎にラベリング処理を実行する。このようにして、図１０（ｄ）に示すような正確な特定オブジェクトＵが検出される。尚、このとき、エッジ画素から特定オブジェクトＵ１側に最も離れた画素からラベリング処理を実行することにより、特定オブジェクトＵ１と連続する画素のみを正確且つ高速にラベリングできる。
【００７８】
尚、輪郭領域ラベリング処理は選択的処理として、オペレータによる選択操作に基づいて必要に応じて実行されるように構成してもよい。
【００７９】
以上説明した肌特性抽出処理部４ｂにより、染みを抽出する際の画像処理方法の一例を、図１１に示すフローチャートに基づいて概説する。
【００８０】
表示部３の画面に、図１２に示すように、解析対象要素Ｒが重畳された原画像の全体を間引き処理したモニタ画像Ｂ３の表示領域４０と、縮小画像Ｂ２の表示領域４１と、解析対象要素Ｒの一部を拡大した画像を表示する表示領域４２が設定され、その右横に診断レポートの表示領域３９が配置されている。
【００８１】
モニタ画像Ｂ３の表示領域４０の下方には、特定オブジェクトとして、染み、皺、毛穴の何れかを選択するキー３０，３１，３２が表示され、その右側に縮小倍率設定用のキー３３，３４，３５が配置されている。画面中央の下部には特定オブジェクト抽出処理を開始するスタートキー３６、直前に入力された操作を取り消す取消キー３７、画面の表示内容を印刷する印刷キー３８等が配置されている。
【００８２】
オペレータにより染みに対応するキー３０が操作されると、切替処理部２９により縮小処理部２０が起動されて、画面上部のメッセージ表示欄４３に、縮小倍率設定キーを操作してください、とのメッセージが表示され、縮小倍率の自動設定キー３３または手動設定キー３４がアクティブになる。自動設定キー３３が選択されると１／１０の縮小率に設定され、手動設定キー３４が選択されるとキーボードから入力された数値が縮小率として設定され、縮小率表示部３５に表示される。
【００８３】
オペレータにより、モニタ画像Ｂ３の表示領域４０に表示された解析対象要素Ｒ（Ｒ１からＲ４）が選択操作され、スタートキー３６が操作されると、縮小処理部２０は、原画像Ｂ１を設定された縮小率で縮小処理して、縮小画像Ｂ２を縮小画像表示領域４１に表示する縮小処理ステップを実行する（Ｓ１）。
【００８４】
縮小画像ラベリング処理部２２は、選択された解析対象要素Ｒに対応する縮小画像領域に対して上述のラベリング処理を行ない、縮小画像Ｂ２に含まれる染みの領域Ｕ２を抽出する縮小画像ラベリング処理ステップを実行する（Ｓ２）。その結果が、縮小画像表示領域４１に表示された縮小画像Ｂ２に反映され、該当する領域が他と異なる色で識別可能に表示される。
【００８５】
オブジェクト同定処理部２４は、縮小画像ラベリング処理ステップで抽出された染みの領域を原画像のサイズに拡大処理して、原画像に含まれる染みとして同定するオブジェクト同定処理ステップを実行し、原画像に同定された染みの領域を他と異なる色で識別可能に表示するとともに、拡大画像表示領域４２に抽出した染みおよびその周辺の拡大画像を表示する（Ｓ３）。
【００８６】
輪郭領域ラベリング処理部２６は、オブジェクト同定処理ステップで同定された染みの輪郭領域（図１０（ｃ）の符号Ｖ参照）に対して、当該染みと同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる染みの領域を抽出する輪郭領域ラベリング処理ステップを実行し、原画像に含まれる染みの領域を他と異なる色で識別可能に表示する（Ｓ４）。尚、このとき、輪郭領域Ｖを適宜複数の領域に分割して、各分割領域に対して輪郭領域ラベリング処理を行ない、その後、同一領域を統合してもよい。
【００８７】
その結果、抽出された染み領域に対して、診断処理部４ｃによりその状態が診断され、表示領域３９に診断レポートとして診断結果が表示される。
【００８８】
以下に別実施形態を説明する。上述の実施形態では、特定オブジェクトである染みのサイズが想定される場合を説明したが、染みのサイズが大小様々であるときには、縮小処理部２０で縮小率の異なる複数の縮小画像を生成し、縮小画像ラベリング処理部２２が、各縮小画像に対してラベリング処理を実行すればよい。
【００８９】
このとき、縮小画像ラベリング処理部２２が、縮小処理部２０で生成された縮小率の大きな縮小画像から縮小率の小さな縮小画像の順にラベリング処理を実行し、縮小率の小さな縮小画像に対するラベリング処理時に、縮小率の大きな縮小画像で抽出された特定オブジェクト及びその周辺領域を除いてラベリング処理を実行するように構成すれば、同一の特定オブジェクトに対する重複したラベリング処理が省略されるようになり、確実に特定オブジェクトが抽出でき、しかも、高速にラベリング処理を実行することが可能になる。
【００９０】
上述した実施形態では、縮小処理部２０が、原画像に含まれる特定オブジェクトである染みの想定画素サイズを１００００画素として、縮小率を１／１０に決定する例を説明したが、想定サイズ及び想定サイズに対応する縮小率はこのような値に限るものではなく、検出すべき染みのサイズに応じて適宜設定すればよい。さらに、染み以外の大きなサイズを有する特定オブジェクトを抽出する場合も同様である。
【００９１】
また、上述した実施形態では、特定オブジェクトである染みが、ほぼ円形状であることを想定して縮小率を決定したが、染みまたは他の特定オブジェクトが楕円形状等の他の形状である場合には、それを考慮して縮小率を決定すればよい。例えば、楕円形状の場合には短径に基づいて縮小率を決定すればよい。また、縦横の縮小率を異なる値に設定してもよい。
【００９２】
上述の場合には、ラベリング処理を実行する分割領域の縦横の画素数も異なる値に設定することにより、効率的に処理できる。
【００９３】
また、画像処理装置を構成するパーソナルコンピュータの入力部を介したオペレータの設定操作により、縮小倍率の自動設定キーが選択されたときに自動選択される縮小率を可変設定できるような入力処理部を備えることも可能である。
【００９４】
ラベリング処理の際の二値化閾値は、対象となる特定オブジェクトにより適宜設定される値であり、画像処理装置を構成するパーソナルコンピュータの入力部を介したオペレータの設定操作により可変設定できるような入力処理部を備えることも可能である。また、二値化閾値として上限値と下限値を設定し、上限値と下限値で規定される値を備えた画素を１、逸脱する値を備えた画素を０に設定するように構成してもよい。
【００９５】
尚、上述の実施形態では、画素を構成する赤、緑、青の色成分のうち、青成分に基づいて二値化するものを説明したが、特定オブジェクトの特性によっては、他の色成分に基づいて二値化するものであってもよいし、輝度値に基づいて二値化するものであってもよい。また、原画像を撮影する際に使用された光源の波長との関係で特定の色成分または輝度の何れを二値化すべきかを決定するものであってもよい。
【００９６】
上述した実施形態では、移動要素抽出処理部が特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素を抽出するように構成するものを説明したが、移動要素抽出処理部を、特定標準顔要素と関連付けられた標準解析対象要素のみを抽出するように構成するものであってもよい。この場合、特定標準顔要素を中心とする所定範囲に位置する標準解析対象要素を抽出するように構成することにより、より自然且つ適切に解析対象要素を配置することができる。
【００９７】
この場合には、各標準顔要素と標準解析対象要素が予め関連付けられている必要があり、例えば、標準顔要素の眉を額領域Ｒ１の標準解析対象要素と関連付け、標準顔要素の目を鼻領域Ｒ３及び頬領域Ｒ２の標準解析対象要素と関連付け、標準顔要素の口を顎領域Ｒ４の標準解析対象要素と関連付け、各標準顔要素及び標準解析対象要素が夫々の関連付け情報とともにメモリ２に格納しておけばよい。
【００９８】
尚、移動関数及び標準解析対象要素を抽出する所定領域は上述と同様に構成すればよい。
【００９９】
上述した実施形態では、特定オブジェクトが、人の顔画像に含まれる染み、毛穴、皺等の肌の変色領域である例を説明したが、本発明による画像処理装置が対象とする特定オブジェクトは、そのようなものに限定されるものではなく、任意の画像に含まれる任意のオブジェクトを抽出する場合にも適用可能である。例えば、写真画像中に存在する人物の顔を抽出する場合等にも適用できる。
【０１００】
上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各機能ブロックの具体的構成等を適宜変更設計できることは言うまでもない。
【図面の簡単な説明】
【０１０１】
【図１】（ａ）は画像診断システムの機能ブロック構成図、（ｂ）は画像処理装置のブロック構成図
【図２】顔画像の肌に画定される解析対象要素の説明図
【図３】（ａ）は表示部に表示された標準顔画像の説明図、（ｂ）は表示部に表示された解析対象顔画像の説明図、（ｃ）は表示部に重ね合わせて表示された標準顔画像と解析対象顔画像の説明図
【図４】（ａ）は標準顔要素及び標準解析対象要素の配置情報の説明図、（ｂ）はオペレータにより基準点が移動操作されるときの標準顔要素及び標準解析対象要素の移動態様の説明図、（ｃ）はオペレータにより接続線が移動操作されるときの標準顔要素及び標準解析対象要素の移動態様の説明図、（ｄ）は特定標準顔要素とともに移動する他の標準顔要素及び標準解析対象要素が抽出される所定範囲の説明図
【図５】（ａ）はΔＬ≦Ｌ１のときに他の標準顔要素の基準点の移動距離及び方向を示す説明図、（ｂ）はΔＬ＞Ｌ１のときに他の標準顔要素及び標準解析対象要素の基準点の移動距離及び方向を示す説明図
【図６】解析対象顔画像に画定された解析対象要素の説明図
【図７】ラベリング処理の説明図
【図８】（ａ）は特定オブジェクトが毛穴であるときのラベリング処理の対象画素ブロック（黒丸は毛穴の画素）の説明図、（ｂ）は特定オブジェクトが染みであるときのラベリング処理の対象画素ブロック（黒丸は毛穴の画素）の説明図
【図９】原画像と縮小画像の説明図
【図１０】（ａ）は縮小画像に対するラベリング処理で得られた染み領域の説明図、（ｂ）はオブジェクト同定処理で同定された染み領域の要部の説明図、（ｃ）は輪郭領域ラベリング処理で設定される輪郭領域の要部の説明図、（ｄ）は輪郭領域ラベリング処理の結果を示す要部の説明図
【図１１】肌特性抽出処理部の動作を説明するフローチャート
【図１２】表示部に表示される画面の説明図
【符号の説明】
【０１０２】
２：記憶部
３：表示部
４ｂ：肌特性抽出処理部
２０：縮小処理部
２２：縮小画像ラベリング処理部
２４：オブジェクト同定処理部
２６：輪郭領域ラベリング処理部
２８：原画像ラベリング処理部
２９：切替処理部
【特許請求の範囲】
【請求項１】
原画像に含まれる特定オブジェクトの想定画素サイズに対応して決定される縮小率で、前記原画像を縮小した縮小画像を生成する縮小処理部と、
前記縮小画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記縮小画像に含まれる特定オブジェクトの領域を抽出する縮小画像ラベリング処理部と、
前記縮小画像ラベリング処理部で抽出された特定オブジェクトの領域を前記原画像のサイズに拡大処理して、前記原画像に含まれる特定オブジェクトとして同定するオブジェクト同定処理部を備えている画像処理装置。
【請求項２】
前記縮小画像ラベリング処理部は、前記縮小処理部で生成された縮小率の大きな縮小画像から縮小率の小さな縮小画像の順にラベリング処理を実行し、縮小率の小さな縮小画像に対するラベリング処理時に、縮小率の大きな縮小画像で抽出された特定オブジェクト及びその周辺領域を除いてラベリング処理を実行する請求項１記載の画像処理装置。
【請求項３】
前記オブジェクト同定処理部で同定された特定オブジェクトの輪郭領域に対して、前記特定オブジェクトと同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する輪郭領域ラベリング処理部を備えている請求項１または２記載の画像処理装置。
【請求項４】
前記原画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記原画像に含まれる特定オブジェクトの領域を抽出する原画像ラベリング処理部を備え、
前記原画像に含まれる特定オブジェクトの想定画素サイズに基づいて、前記縮小処理部と前記縮小画像ラベリング処理部と前記オブジェクト同定処理部を作動させるか、前記原画像ラベリング処理部を作動させるかを切り替える切替処理部を備えている請求項１から３の何れかに記載の画像処理装置。
【請求項５】
前記特定オブジェクトが、人の顔画像に含まれる染み、毛穴、皺等の肌の変色領域である請求項１から３の何れかに記載の画像処理装置。
【請求項６】
前記特定オブジェクトが、人の顔画像に含まれる染み、毛穴、皺等の肌の変色領域であり、前記切替処理部は、毛穴を特定オブジェクトとするときに原画像ラベリング処理部を作動させ、染みを特定オブジェクトとするときに前記縮小処理部と前記縮小画像ラベリング処理部と前記オブジェクト同定処理部を作動させるように切り替える請求項４記載の画像処理装置。
【請求項７】
原画像に含まれる特定オブジェクトの想定画素サイズに対応して決定される縮小率で、前記原画像を縮小した縮小画像を生成する縮小処理ステップと、
前記縮小画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記縮小画像に含まれる特定オブジェクトの領域を抽出する縮小画像ラベリング処理ステップと、
前記縮小画像ラベリング処理ステップで抽出された特定オブジェクトの領域を前記原画像のサイズに拡大処理して、前記原画像に含まれる特定オブジェクトとして同定するオブジェクト同定処理ステップを備えている画像処理方法。
【請求項８】
前記縮小画像ラベリング処理ステップは、前記縮小処理ステップで生成された縮小率の大きな縮小画像から縮小率の小さな縮小画像の順にラベリング処理を実行し、縮小率の小さな縮小画像に対するラベリング処理時に、縮小率の大きな縮小画像で抽出された特定オブジェクト及びその周辺領域を除いてラベリング処理を実行する請求項７記載の画像処理方法。
【請求項９】
前記オブジェクト同定処理ステップで同定された特定オブジェクトの輪郭領域に対して、前記特定オブジェクトと同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する輪郭領域ラベリング処理ステップを備えている請求項７または８記載の画像処理方法。
【請求項１】
原画像に含まれる特定オブジェクトの想定画素サイズに対応して決定される縮小率で、前記原画像を縮小した縮小画像を生成する縮小処理部と、
前記縮小画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記縮小画像に含まれる特定オブジェクトの領域を抽出する縮小画像ラベリング処理部と、
前記縮小画像ラベリング処理部で抽出された特定オブジェクトの領域を前記原画像のサイズに拡大処理して、前記原画像に含まれる特定オブジェクトとして同定するオブジェクト同定処理部を備えている画像処理装置。
【請求項２】
前記縮小画像ラベリング処理部は、前記縮小処理部で生成された縮小率の大きな縮小画像から縮小率の小さな縮小画像の順にラベリング処理を実行し、縮小率の小さな縮小画像に対するラベリング処理時に、縮小率の大きな縮小画像で抽出された特定オブジェクト及びその周辺領域を除いてラベリング処理を実行する請求項１記載の画像処理装置。
【請求項３】
前記オブジェクト同定処理部で同定された特定オブジェクトの輪郭領域に対して、前記特定オブジェクトと同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する輪郭領域ラベリング処理部を備えている請求項１または２記載の画像処理装置。
【請求項４】
前記原画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記原画像に含まれる特定オブジェクトの領域を抽出する原画像ラベリング処理部を備え、
前記原画像に含まれる特定オブジェクトの想定画素サイズに基づいて、前記縮小処理部と前記縮小画像ラベリング処理部と前記オブジェクト同定処理部を作動させるか、前記原画像ラベリング処理部を作動させるかを切り替える切替処理部を備えている請求項１から３の何れかに記載の画像処理装置。
【請求項５】
前記特定オブジェクトが、人の顔画像に含まれる染み、毛穴、皺等の肌の変色領域である請求項１から３の何れかに記載の画像処理装置。
【請求項６】
前記特定オブジェクトが、人の顔画像に含まれる染み、毛穴、皺等の肌の変色領域であり、前記切替処理部は、毛穴を特定オブジェクトとするときに原画像ラベリング処理部を作動させ、染みを特定オブジェクトとするときに前記縮小処理部と前記縮小画像ラベリング処理部と前記オブジェクト同定処理部を作動させるように切り替える請求項４記載の画像処理装置。
【請求項７】
原画像に含まれる特定オブジェクトの想定画素サイズに対応して決定される縮小率で、前記原画像を縮小した縮小画像を生成する縮小処理ステップと、
前記縮小画像を構成する画素のうち同一属性を備えた複数の連続画素に同一ラベルを付すことにより、前記縮小画像に含まれる特定オブジェクトの領域を抽出する縮小画像ラベリング処理ステップと、
前記縮小画像ラベリング処理ステップで抽出された特定オブジェクトの領域を前記原画像のサイズに拡大処理して、前記原画像に含まれる特定オブジェクトとして同定するオブジェクト同定処理ステップを備えている画像処理方法。
【請求項８】
前記縮小画像ラベリング処理ステップは、前記縮小処理ステップで生成された縮小率の大きな縮小画像から縮小率の小さな縮小画像の順にラベリング処理を実行し、縮小率の小さな縮小画像に対するラベリング処理時に、縮小率の大きな縮小画像で抽出された特定オブジェクト及びその周辺領域を除いてラベリング処理を実行する請求項７記載の画像処理方法。
【請求項９】
前記オブジェクト同定処理ステップで同定された特定オブジェクトの輪郭領域に対して、前記特定オブジェクトと同一属性を備えた複数の連続画素に同一ラベルを付すことにより、原画像に含まれる特定オブジェクトの領域を抽出する輪郭領域ラベリング処理ステップを備えている請求項７または８記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−３８４２（Ｐ２００９−３８４２Ａ）
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願番号】特願２００７−１６６１０１（Ｐ２００７−１６６１０１）
【出願日】平成１９年６月２５日（２００７．６．２５）
【出願人】（０００１３５３１３）ノーリツ鋼機株式会社 (1,824)
【Ｆターム（参考）】
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願日】平成１９年６月２５日（２００７．６．２５）
【出願人】（０００１３５３１３）ノーリツ鋼機株式会社 (1,824)
【Ｆターム（参考）】
[ Back to top ]