領域設定方法

【目的】画像中の所望とする被写体のみに所定の画像処理を施すために、この所望被写体の領域を画像中に設定する方法において、画像処理を施すべき所定の被写体を含む領域を大まかに指定するのみで、この所望の被写体の部分のみを画像処理を施すべき領域として設定することができるようにする。
【構成】所望とする被写体を含む画像をＣＲＴ等に表示し、この表示された画像中に所望の被写体のみを選択的に含むとともに被写体近傍の部分を含む領域を指定する。次いで指定された領域内の画像について、被写体の輪郭線を認識する処理、肌色認識処理等の被写体認識処理を施し、これにより所望の被写体に相当する領域を画像処理を施すべき領域として画像中に設定する。

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、写真画像に画像処理等を施すための処理領域を設定する領域設定方法に関するものである。
【０００２】
【従来の技術】従来より、イメージスキャナー、ビデオカメラ等で読み込んだ原画像を表す画像信号に対して階調補正、色補正、輪郭強調等の画像処理を施し、所望の画像を得る方法が種々提案されているが、原画像に対する処理範囲を特定しないで画像全体に画一的に処理を行うと、適切な処理が施された部分と、適切な処理が施されない部分とが生じることになる。
【０００３】そこで、例えば、パソコン、ワークステーション上においてイメージスキャナー等で読み込まれ、ＣＲＴに表示された原画像に対してライトペン等を用いて処理領域を特定しその部分に対して所望とする画像処理を行う方法が提案されている。また、このように処理領域を特定する際に、領域の境界部分において画像に段差が生じてしまうことがあるため、この強化部分において不自然さが生じないようにすることができる領域設定のための方法が提案されている（特開平5-250462号等）。
【０００４】また、原稿を読み取ってこの原稿を処理して記録を行う装置の分野において、原稿のある領域のみを記録する場合、あるいは原稿２頁のそれぞれにおけるある領域を１頁の記録紙に記録する等トリミングやオーバレイを行いたい場合がある。このため、特定色により原稿に領域を設定し、原稿を読み取るときにこの領域を認識する方法や、原稿にループにより領域を設定し、読取りの際にこのループ内を処理を行うための領域として認識する方法が提案されている（実公平6-2363号、特開昭57-194670 号、同57-196660 号、同57-203372 号等）。
【０００５】一方、写真画像の分野においても、例えば、人物が映し込まれている写真画像のような場合、画像上に人物を含む領域を設定して、この領域内の画像について濃度や階調を変えたり消去あるいはトリミングを行う等してユーザーの希望に沿った写真画像を作成する場合がある。このような場合、ユーザーはプリントされたポジ画像を見て処理を行うべき被写体を指定し、画像処理システムを有するカメラ店のオペレータにこの領域を指示することにより領域の指定を行っていた。そしてオペレータはポジ画像を読取装置にかけてこの画像をＣＲＴに表示し、ＣＲＴ上でマウス等を用いてユーザの指示した通りの処理を施すべき所望の被写体のみを含む領域を設定し、この領域内の画像についてユーザの指示した処理（例えば、トリミング、濃度補正、階調補正、赤目補正等）を行うようにしていた。この領域を設定する方法としては例えばパソコン、ワークステーション上においてクロマキーとして知られているような色の差を利用して境界を自動的に描かせる方法、上述したマウスを用いて境界線をトレースする方法、大まかに境界部分を選んでおいてその中での色差、明度差を利用して境界線を作成していく方法等が採用されている。
【０００６】
【発明が解決しようとする課題】上述したように画像に種々の画像処理を施すために、画像中に領域を設定する必要があるが、この領域を設定する際に、処理を施すべき所望の被写体の輪郭を精密にトレースして領域を設定するのが好ましい。しかしながら、被写体の輪郭を精密にトレースして領域を設定するのは非常に熟練した技術を要し、また領域を設定するために長時間を要するのもとなっている。したがって、領域を設定する際には、処理を施すべき所望の被写体の近傍の被写体以外の部分を含む大まかな領域を設定する場合が多い。
【０００７】しかしながら、このように被写体以外の部分を含む大まかな領域を設定して前述したような画像処理を施すと、処理を施した領域と、それ以外の領域とに不自然な境界ができてしまい、画像が不自然なものとなる。
【０００８】本発明は上記事情に鑑み、画像処理を施すべき所定の被写体を含む領域を大まかに設定するのみで、この所定の被写体の部分のみを画像処理を施すべき領域として設定することができる領域設定方法を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】本発明による領域設定方法は、上述したような画像中の所望の被写体のみに所定の画像処理を施すために、該所望の被写体の領域を前記画像中に設定する方法において、所望の被写体のみを選択的に含むとともにこの被写体近傍の部分を含む領域を画像中に指定し、この指定された領域内の画像部分に被写体認識処理を施すことにより、所望の被写体に相当する領域を所望の被写体の領域として画像中に設定することを特徴とするものである。
【００１０】ここで、被写体認識処理としては、指定された領域内の画像について所望とする被写体の輪郭線を認識する処理、あるいは指定された領域内の画像について肌色認識を行う処理とすることが好ましい。この場合、輪郭線認識処理により認識された輪郭線に囲まれた領域、あるいは肌色認識により認識された肌色の領域を所望の被写体の領域とするものである。
【００１１】
【作用】本発明による領域設定方法は、画像処理を施すべき所望の被写体のみを選択的に含み、かつこの被写体近傍の領域を含む大まかな領域を画像中に指定するのみにより、この指定された領域に被写体認識処理を施して所望とする被写体に相当する領域を画像中に設定するようにしたものである。このため、画像上に領域を設定する際に被写体の輪郭を正確にトレースすることなく、短時間で処理を施すべき被写体に相当する領域のみを設定することができる。したがって、処理後の領域とそれ以外の領域との境界は所望とする被写体の輪郭部分に位置することとなるため、処理後の領域とそれ以外の領域との間の不自然な境界ができることが防止される。また、この領域内に画像処理を施す場合でも、所望とする被写体以外の部分に処理を施す必要がなくなる。
【００１２】なお、上述した被写体認識処理として肌色認識処理を行う場合は、所望とする被写体を人間としたときにこの所望とする被写体に対応する領域を良好に検出することができ、輪郭線を認識する処理とした場合は、例えば人間の顔等閉領域に囲まれた被写体を所望とする被写体としたときにこの所望被写体に対応する領域を良好に検出することができる。
【００１３】
【実施例】以下図面を参照して本発明の実施例について説明する。
【００１４】図１は本発明による領域設定方法を実施するための装置の概略を表す図である。
【００１５】図１に示すように本発明の実施例による領域設定装置１は、原画像が記録されたネガフイルム、このネガフイルムに基づいて感光材料等の記録媒体上に可視像として再生されたポジ画像等の媒体２からＲＧＢ切換フィルタ３を介して画像信号の読取りを行うＣＣＤカメラ４と、ＣＣＤカメラ４から出力された画像を表す画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段５と、ＣＰＵ６と、ＲＯＭ７と、処理条件記憶部８と、読み取られた画像信号を記憶しておくためのメモリ９と、設定された領域内の画像を記憶しておくための領域記憶部としてのメモリ10と、後述するような画像処理がなされた画像信号を記憶しておくための処理画像記憶部としてのメモリ11と、処理された画像信号を感光材料に可視像として記録するためのプリンタ12と、コンソール13とからなり、これら各構成要素はバス17を介して相互に接続されている。
【００１６】ＣＰＵ６は、装置１全体の制御を行い、ＲＯＭ７はＣＰＵ６における処理手順を規定するためのプログラムが記憶されている。また、処理条件記憶部８は、コンソール13により設定された、領域内の画像に対する処理条件を記憶する。メモリ９はＲＧＢフィルタ４によって分離され、ＣＣＤカメラ４により読み取られたＲ（レッド），Ｇ（グリーン），Ｂ（ブルー）各色の画像に対応する画像信号を記憶する。領域記憶部としてのメモリ10は原画像に対して所望の画像処理をすべく設定された領域を、後述するように作成された領域信号として記憶する。
【００１７】また、コンソール13はＣＲＴ14と、キーボード15と、マスク16とを備え、原画像あるいは領域内の処理画像に対して後述するような処理を施すための指示を入力するものである。
【００１８】まず、図２に示すように、感光材料等の記録媒体に再生された再生画像20をＣＣＤカメラ４によって読み取る。この再生画像20には図２に示すように３人の人物21Ａ，21Ｂ，21Ｃが映し込まれているものである。そして、ユーザーは人物21Ｂの顔の濃度を変化させる処理を希望しているものとする。
【００１９】この読取りは図３に示すフローチャートに基づいて行われる。すなわち、再生画像20をＲＧＢ切換フィルタ３をＲに設定した状態でＣＣＤカメラ４によって読み取る（ステップＳ１，Ｓ２）。読み取られた原画像はＡ／Ｄ変換器５によってデジタル信号に変換された後バス17を介してメモリ９に記憶される（ステップＳ３）。次いで、ＲＧＢ切換フィルタ３をＧおよびＢに設定した状態でステップＳ２からステップＳ３の動作を繰り返し、メモリ９にそれぞれの再生画像20を表す画像信号Ｓ₁を記憶させる（ステップＳ４）。
【００２０】このようにして得られた画像信号Ｓ₁に基づいて、以下説明するように所望とする被写体に対応する領域が設定される。
【００２１】図４は本発明の実施例による領域設定方法における領域設定のステップを表すフローチャートである。
【００２２】図４に示すように、まず画像信号Ｓ₁がコンソール13のＣＲＴ14に入力され、ここで可視像として表示される（ステップＳ11）。次いでオペレータはマウス16やキーボード15により所望とする被写体のみを選択的に含むとともに、この被写体近傍の部分を含む領域をＣＲＴ14上において指定する（ステップＳ12）。ここで、本実施例においては、後に画像処理を施すべき所望の被写体として、前述したように図２に示す３人の人物21Ａ，21Ｂ，21Ｃのうち人物21Ｂを選択するものである。したがって、このＣＲＴ14上には図５に示すように人物21Ｂのみ選択的に含むとともに、この人物21Ｂの近傍の部分22（図５において斜線で示す部分）を含む領域30が指定される。
【００２３】次いで、領域30内の画像についてのみ被写体認識処理が施される（ステップＳ13）。本実施例においては、領域30内の所望とする被写体は人物であるため、肌色認識処理を施すものとする。
【００２４】肌色認識の方法としては、まずＣＲＴ14に再生された領域30内の画像を表す画像信号Ｓ₁′について、この画像信号Ｓ₁′のＢ，Ｇ，Ｒの成分の濃度の組合せを軸とした３次元座標系を設定し、この座標系における肌色を表す領域を楕円または円断面を有する立体で定義する。そして、ＣＲＴ14に再生された領域30内の画素が担持する画像信号でのＢ，Ｇ，Ｒのそれぞれの成分の画像信号値がこの立体の中に含まれるときに、その画像信号を担持する画素の部分を肌色として認識する。この肌色認識の方法は、具体的には特開昭52-156624 号、同60-217353 号に開示されている。
【００２５】このようにして肌色認識がなされると、図６R>６に示すように領域30内の画像中、人物21Ｂの顔に対応する領域31が肌色として認識される。
【００２６】そして、このように肌色として認識された領域31がユーザーが希望する、画像処理を施す領域としてＣＲＴ14に表示された再生画像20中に設定される（ステップＳ14）。このようにして設定された領域31内に対応する画像を表す画像信号Ｓ₁″は、メモリ10に一旦記憶される。
【００２７】このように、本発明による領域設定方法は、ＣＲＴ14に再生された再生画像20に、処理を施したい所望の被写体21Ｂの顔を領域30を大まかに指定することにより、所望の被写体21Ｂの顔の部分に対応する領域31のみを再生画像20中に設定することができるものである。
【００２８】このようにして領域31が設定されることにより検出された領域31内の画像信号Ｓ₁″について、ユーザーの指定した処理、例えば、濃度の強調、階調を変化させる等の処理がコンソール13のマウス16、キーボード15から入力され、ＣＰＵ６はこれらの入力に従って処理条件記憶部８に記憶された処理条件に従って画像信号Ｓ₁″に対して画像処理を行う（ステップＳ15）。
【００２９】このようにして画像信号Ｓ₁″に対して画像処理がなされると、次いで画像処理がなされた画像信号Ｓ₁″と画像信号Ｓ₁により表される画像との合成がなさるれる。すなわち、図７に示すように、画像処理が施された画像信号Ｓ₁″により表される画像34と、それ以外の画像32との合成が行われる。
【００３０】そしてこのように合成された画像を表す画像信号Ｓ₂が一旦メモリ11に記憶され、その後画像信号Ｓ₂はプリンタ12に入力されこの画像信号Ｓ₂により表される画像が感光材料等の記録媒体に可視像として再生される。
【００３１】このように、本発明による領域設定方法を用いることにより、再生画像中に画像処理を施すべき所望とする被写体のみを含む領域を大まかに指定するのみで、所望とする被写体のみに画像処理を行うべき領域が設定されるため、ＣＲＴ14を見ながら所望とする被写体の輪郭を正確にトレースする必要がなくなり、短時間で所望とする被写体のみに画像処理を施すべき領域を設定することができる。また、画像処理後の領域とそれ以外の領域との境界は人物21とそれ以外の領域との境界に位置することとなるため、処理後の領域とそれ以外の領域との間に不自然な境界ができることが防止される。さらに、大まかに領域を指定しても所望とする被写体以外の余分な領域について画像処理を施す必要がなくなるため、画像処理のための演算時間を短縮することができる。
【００３２】なお、上述した実施例においては、図４に示す被写体認識処理のステップＳ13において肌色認識を行うようにしているが、これに限定されるものではなく、被写体の輪郭線を認識する処理を施すようにしてもよいものである。
【００３３】図８（ａ）に示すように領域30内の画像を表す画像信号を微分処理すると、その微分値例えば、I-I 線断面は図８（ｂ）に示すものとなる。したがって、このように微分値がピークを示し、かつこのピークが連続するような画像信号値となる画素を輪郭線とし、この輪郭線に囲まれる領域33を、画像処理を施すべき所望とする被写体に対応する領域として認識するようにしてもよいものである。
【００３４】さらに、上述した実施例においては、感光材料等の記録媒体に記録された再生画像をＣＣＤカメラ４により読み取って得られた画像に所望とする被写体のみを含む領域を設定するようにしているが、これに限定されるものではなく、例えば、ネガフイルムに記録された画像をＣＣＤカメラ４により読み取った画像信号をＣＲＴに表示して、これに対して領域設定をするようにしてもよく、またフォトＣＤのように画像を表す画像信号を直接ＣＲＴに表示してこれに領域設定をするようにしてもよい。さらに、感光材料等の記録媒体に記録された再生画像に、所望とする被写体を含む領域を直接書き込み、この領域とともにこの再生画像をＣＣＤカメラ４により読み取って、ＣＲＴ上で所望とする被写体を含む領域を指定することなく、即時に被写体認識処理を行うようにしてもよいものである。
【００３５】また、上述した被写体認識処理において、輪郭認識処理を行うものについては、所望とする被写体は人物に限られるものではなく、閉領域を含む被写体であればいかなる被写体をも画像処理を施すべき所望とする被写体として選択するようにしてもよいものである。
【００３６】
【発明の効果】以上詳細に説明したように、本発明による領域設定方法は、画像中に画像処理を施すべき所望とする被写体のみを含む領域を大まかに設定するのみで、この所望とする被写体のみを含む領域を画像中に設定することができるため、領域設定の際に画像中の所望とする被写体の輪郭を正確にトレースする必要がなくなり、短時間で画像処理を施すべき領域を設定することができる。また、処理後の領域とそれ以外の領域との境界は所望とする被写体の輪郭部分に位置することとなるため、処理後の領域とそれ以外の領域との間の不自然な境界ができることが防止される。さらに、大まかに領域を設定しても所望とする被写体以外の余分な領域について画像処理を施す必要がなくなるため、画像処理のための演算時間を短縮することができる。
【図面の簡単な説明】
【図１】本発明による領域設定方法を実施するための装置の概略を表す図
【図２】感光材料等の記録媒体に再生された所望とする被写体を含む再生画像を表す図
【図３】再生画像からの画像信号の読取りを説明するためのフローチャート
【図４】本発明による領域設定方法を説明するためのフローチャート
【図５】再生画像に所望とする被写体のみを選択的に含むとともにこの被写体の近傍の部分を含む領域を指定した状態を表す図
【図６】所望とする被写体のみに対応する領域が設定された状態を表す図
【図７】画像処理が施された所望とする領域に対応する画像とそれ以外の画像との合成を説明するための図
【図８】輪郭線の認識を説明するための図
【符号の説明】
１領域設定装置
２媒体
３ＲＧＢ切換フィルタ
４ＣＣＤカメラ
５Ａ／Ｄ変換手段
６ＣＰＵ
７ＲＯＭ
８処理条件記憶部
９，10，11 メモリ
12 プリンタ
13 コンソール
17 バス
20 再生画像
21Ａ，21Ｂ，21Ｃ人物
30 大まかな領域
31 画像処理を施すべき領域

【特許請求の範囲】
【請求項１】画像中の所望の被写体のみに所定の画像処理を施すために、該所望の被写体の領域を前記画像中に設定する方法において、前記所望の被写体のみを選択的に含むとともに該被写体近傍の部分を含む領域を前記画像中に指定し、該指定された領域内の画像部分に被写体認識処理を施すことにより、前記所望の被写体に相当する領域を前記所望の被写体の領域として前記画像中に設定することを特徴とする領域設定方法。
【請求項２】前記被写体認識処理が、前記指定された領域内の画像について前記被写体の輪郭線を認識する処理であり、該輪郭線に囲まれる領域を前記所望の被写体の領域とすることを特徴とする請求項１記載の領域設定方法。
【請求項３】前記被写体認識処理が、前記指定された領域内の画像について肌色認識を行う処理であり、該肌色認識により認識された肌色の領域を前記所望の被写体の領域とすることを特徴とする請求項１記載の領域設定方法。

【図１】