画像処理装置及び画像処理プログラム
【課題】 前景領域内に影などの暗部領域が生じる場合であっても、得られた画像を前景領域と背景領域とに適切に領域分割する。
【解決手段】 画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出手段と、複数の基準領域のうち、該当領域を除いた基準領域における隣接状態を特定する特定手段と、特定手段により特定された該当領域を除いた基準領域における隣接状態に基づいて、画像に含まれる構成要素毎に領域分割する領域分割手段と、を備えたことを特徴とする。
【解決手段】 画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出手段と、複数の基準領域のうち、該当領域を除いた基準領域における隣接状態を特定する特定手段と、特定手段により特定された該当領域を除いた基準領域における隣接状態に基づいて、画像に含まれる構成要素毎に領域分割する領域分割手段と、を備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像を処理する画像処理装置及び画像プログラムに関する。
【背景技術】
【０００２】
最近、デジタルカメラなどの撮像装置により取得される画像を、主要被写体などの前景となる領域（以下、前景領域）と背景の領域（以下、背景領域）とに領域分割する技術が提案されている。この領域分割は、例えば対象となる画像を複数の領域からなる画像とし、複数の領域間の関係を示した隣接グラフを生成した後、隣接グラフにおける各エッジを評価することで、隣接する基準領域を統合するか否かの判別を繰り返すことで実行される（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０５９０８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した撮像装置を用いて逆光条件下や暗い環境下で撮影を行うと、被写体の顔の部分に影が生じた画像が取得されることがある。このような画像に対して、上述した領域分割の手法を用いると、例えば隣接する領域の双方が肌となる領域であっても、そのいずれかの領域が影となる領域であれば、これら領域は統合されずに、分割されてしまう。つまり、被写体の顔の部分に影が生じた画像に対して領域分割を行うと、影に該当する領域が背景領域となり、その他の領域が前景領域として分割されてしまう。
【０００５】
本発明は、前景領域内に影などの暗部領域が生じる場合であっても、得られた画像を前景領域と背景領域とに適切に領域分割できるようにした画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の画像処理装置は、画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出手段と、前記複数の基準領域のうち、前記該当領域を除いた基準領域における隣接状態を特定する特定手段と、前記特定手段により特定された前記該当領域を除いた基準領域における隣接状態に基づいて、前記画像に含まれる構成要素毎に領域分割する領域分割手段と、を備えたことを特徴とする。
【０００７】
また、前記特定手段は、前記基準領域をノードに設定した各ノード間のエッジ接続及び前記該当領域をエッジの一部とした各ノード間のエッジ接続に基づいて第１の隣接グラフを生成することが好ましい。
【０００８】
また、前記検出手段は、前記画像全体又は対象となる基準領域近傍における色情報を用いて、前記対象となる基準領域の色情報を正規化し、該正規化後の基準領域の輝度値が予め設定された閾値以下となる場合に、該基準領域を前記該当領域として検出することが好ましい。
【０００９】
また、前記特定手段は、前記検出手段による前記該当領域の検出前に前記基準領域をノードに設定した各ノード間のエッジ接続による第２の隣接グラフを生成し、生成された前記第２の隣接グラフと前記検出手段による前記該当領域の検出結果に基づいて、前記第１の隣接グラフを生成することが好ましい。
【００１０】
また、前記画像を分割することで前記複数の基準領域を設定する領域設定手段をさらに備えていることが好ましい。
【００１１】
この場合、前記領域設定手段は、前記画像を構成する画素単位で前記複数の基準領域を設定することが好ましい。
【００１２】
また、本発明の画像処理プログラムは、画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出工程と、前記該当領域を除いた基準領域における隣接状態を特定する特定工程と、前記特定手段により特定された前記該当領域を除いた基準領域における隣接状態に基づいて、前記画像に含まれる構成要素毎に領域分割する領域分割工程と、を備えたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、前景領域内に影などの暗部領域が生じる場合であっても、得られた画像を前景領域と背景領域とに適切に領域分割できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の画像処理装置の構成を示す機能ブロック図である。
【図２】図２（ａ）は１０個の基準領域が設定された画像を示す図、図２（ｂ）は図２（ａ）の各基準領域に基づいて生成される隣接グラフを示す図、図２（ｃ）は図２（ａ）における基準領域のうち、基準領域Ｔ４が暗部領域となる場合の隣接グラフを示す図である。
【図３】画像データに対して施される領域分割の処理の流れを示すフローチャートである。
【図４】画像データに対して施される領域分割の処理の流れを示す説明図である。
【図５】デジタルカメラの電気的構成を示す機能ブロック図である。
【発明を実施するための形態】
【００１５】
図１に、本発明の画像処理装置の構成を示す。この画像処理装置１０は、領域設定部１５、パラメータ設定部１６、領域検出部１７、状態特定部１８、領域分割部１９及び画像処理部２０を備えている。以下、画像処理装置１０に入力される画像データとして、ＲＧＢ色空間で示される画像データを挙げて説明する。
【００１６】
領域設定部１５は、入力される画像データに基づく画像を複数の領域に分割することで、該画像を複数の領域からなる画像として設定する。なお、後述する状態特定部１８及び領域分割部１９における処理は、領域設定部１５にて設定された各領域のそれぞれを基本単位として実行されることから、以下では、領域設定部１５により設定される複数の領域をそれぞれ基準領域と称して説明する。
【００１７】
画像を複数の基準領域に分割する方法としては、例えば対象となる画素と、該画素に隣接する画素のうち、対象となる画素と同一の色情報又は近似する色情報を有する画素とを予め設定された画素数毎にまとめた画素群を、それぞれ基準領域として設定する方法が挙げられる他、“Efficient Graph-Based Image Segmentation”P.Felzenszwalb, D.Huttenlocher(2004)，International Journal of Computer Vision,59167-181の手法にて基準領域を設定する方法などが挙げられる。また、この他に、画像を構成する各画素をそれぞれ基準領域として設定することも可能である。
【００１８】
この領域設定部１５にて設定される基準領域の大きさは、パラメータ設定部１６から出力されるパラメータに基づいて設定される。また、基準領域の形状としては、三角形、矩形などの多角形が用いられる。設定された各基準領域のデータ（詳細には各基準領域に含まれる画素のアドレスデータ）は画像データとともに、領域検出部１７及び状態特定部１８に出力される。なお、各基準領域のデータは、画像データと別個のデータであってもよいし、画像データに付帯されるデータであってもよい。
【００１９】
パラメータ設定部１６は、領域設定部１５にて使用されるパラメータを設定する。このパラメータは、例えば基準領域を構成する画素数、或いは画素の上限数などが挙げられる。なお、このパラメータは予め設定されたパラメータ、入力される画像データに基づいて設定されるパラメータ、或いはユーザが図示を省略した操作部を操作することで設定されるパラメータである。なお、入力される画像データに基づいたパラメータを設定する場合、例えば画像データから得られる画像情報、言い換えれば、画像データの各画素の画素値、画像データが取得されたときの撮影条件、画像中の構成（被写体の大きさ、被写体の数、被写体と背景とのレイアウトなど）に基づいてパラメータを設定すればよい。
【００２０】
領域検出部１７は、設定された複数の基準領域から暗部となる基準領域を検出する。ここで、暗部となる基準領域とは、影となる基準領域や、被写体の色が黒となる基準領域など、輝度値が低い基準領域が挙げられる。以下、暗部となる基準領域を暗部領域と称して説明する。例えば画像処理装置１０に入力される画像データがＲＧＢ色空間で示される画像データの場合には、ＲＧＢ色空間で示される画像データから、ＹＣｒＣｂ色空間で示される画像データに変換する。この変換の後、領域検出部１７は、各基準領域のデータを用いて、対象となる基準領域に近接する複数の基準領域における平均輝度値を算出する。なお、入力される画像データがＹＣｒＣｂ色空間で示される画像データなど、輝度及び色差で示される画像データであれば、色空間を変換する処理は省略される。
【００２１】
領域検出部１７は、算出された平均輝度値を用いて対象となる基準領域を正規化（ノーマライズ）処理する。この正規化処理の後、領域検出部１７は、対象となる基準領域の輝度値の総和と予め設定された閾値を比較する。この比較で、対象となる基準領域の輝度値の総和が予め設定された閾値より低くなる場合に、該基準領域を暗部領域として検出する。なお、正規化処理においては、対象となる基準領域に近接する基準領域の平均輝度値を用いずに、画像全体の平均輝度値を用いてもよい。この領域検出部１７における検出結果を示すデータは、状態特定部１８に出力される。
【００２２】
状態特定部１８は、基準領域が設定された画像に基づく隣接グラフを生成することにより、各基準領域における隣接状態を特定する。上述したように、状態特定部１８には、画像データと、各基準領域のデータが入力される。状態特定部１８は、これらデータを用いて隣接グラフを生成する。周知のように、隣接グラフは、複数のノードと、ノード間を結ぶエッジとから構成される。本実施形態では、領域設定部１５にて設定された各基準領域をノードとし、各基準領域の辺をエッジとした隣接グラフを生成する。以下、三角形からなる基準領域が１０個設定される画像Ｐの場合について説明する。
【００２３】
図２（ａ）に示すように、基準領域Ｔ１は、基準領域Ｔ２及び基準領域Ｔ４にそれぞれ接している。また、基準領域Ｔ２は、基準領域Ｔ１の他に、基準領域Ｔ３に接している。また、基準領域Ｔ３は、基準領域Ｔ２の他に、基準領域Ｔ４及び基準領域Ｔ５に接している。また、基準領域Ｔ４は、基準領域Ｔ１、基準領域Ｔ３の他に、基準領域Ｔ６及び基準領域Ｔ７に接している。また、基準領域Ｔ５は、基準領域Ｔ３の他に、基準領域Ｔ７に接している。基準領域Ｔ６は、基準領域Ｔ４の他に、基準領域Ｔ８及び基準領域Ｔ９に接している。基準領域Ｔ７は、基準領域Ｔ４、基準領域Ｔ５の他に、基準領域Ｔ９及び基準領域Ｔ１０に接している。また、基準領域Ｔ８は基準領域Ｔ６に、基準領域Ｔ９は基準領域Ｔ６及び基準領域Ｔ７に、基準領域Ｔ１０は基準領域Ｔ７に、それぞれ接している。ここで、隣接グラフは、隣接する双方の基準領域に属する辺、言い換えればエッジにより、それぞれの基準領域に相当するノード間を結ぶことで生成される。なお、図２（ｂ）は、図２（ａ）に示す画像Ｐに基づいて生成された隣接グラフである。このように、画像に設定される各基準領域に基づく隣接グラフを生成することで、各基準領域の隣接状態を特定することができる。
【００２４】
上述したように、この状態特定部１８には、領域検出部１７から暗部領域の検出結果が入力される。状態特定部１８は、設定された基準領域に基づいて生成された隣接グラフを参照して、暗部領域の検出結果に基づいた隣接グラフを生成する。図２（ａ）に示すように、画像Ｐに設定される基準領域Ｔ１〜Ｔ１０のうち、基準領域Ｔ４が暗部領域となる場合、状態特定部１８は、基準領域Ｔ４を、該基準領域Ｔ４に接する基準領域（この場合、基準領域Ｔ１、基準領域Ｔ３、基準領域Ｔ６及び基準領域Ｔ７）に相当するノードのエッジの一部とし、隣接グラフを生成する。基準領域Ｔ４を暗部領域とした場合の隣接グラフが図２（ｃ）となる。この暗部領域を考慮して生成された隣接グラフを示すデータは、画像データ及び基準領域を示すデータとともに、領域分割部１９に出力される。
【００２５】
領域分割部１９は、状態特定部１８から出力された隣接グラフを示すデータに対して、例えばグラフカット法などの手法を用いた領域分割を行う。なお、このグラフカット法は、上述したエッジが接続しているノード間の輝度差、ノード間の色空間上の距離等を用いて各エッジに対する重み付けを行った後、予め定義されるエネルギー関数の最小化を行うことにより大域的最小化を求めることで、複数の基準領域を前景領域と背景領域とに領域分割する手法である。このグラフカット法を用いることで、画像に設定された複数の基準領域が前景領域と背景領域とに領域分割される。
【００２６】
画像処理部２０は、複数の基準領域が前景領域と背景領域とに領域分割された画像データに対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理、輝度補正処理、彩度強調処理などの画像処理を施す。なお、画像処理部２０における画像処理は、画像データの前景領域及び背景領域のそれぞれに対して個別に実行される。なお、この画像処理部２０により画像処理が終了した処理済みの画像データは、画像処理装置１０から出力される。なお、画像処理装置１０から出力されるとは、例えば画像処理装置１０に図示を省略した表示部を備えている場合には、上述した各部における処理が終了した画像データに基づく画像を表示部に表示する、記憶媒体が着脱可能な画像処理装置であれば、上記の画像データを画像処理装置に装着された記憶媒体に記録する、或いは、この画像処理装置が他の装置に接続されていれば、上記の画像データを接続された他の装置に出力することが挙げられる。
【００２７】
次に、入力された画像データに対して施される領域分割の処理の流れについて、図３に示すフローチャートを用いて説明する。なお、このフローチャートは、例えば画像データが画像処理装置１０に入力されたことを契機に実行される。
【００２８】
ステップＳ１０１は、パラメータを設定する処理である。このステップＳ１０１の処理が実行されると、パラメータ設定部１６は、上述した基準領域の設定時に用いるパラメータを設定する。なお、このパラメータは、ユーザの入力操作に基づいて実行されてもよいし、自動的に実行されてもよい。
【００２９】
ステップＳ１０２は、入力された画像データに対する基準領域を設定する処理である。領域設定部１５は、入力された画像データ及びステップＳ１０１により設定されたパラメータを用いて、入力された画像データに基づく画像を、複数の領域に分割する。そして、領域設定部１５は、分割した複数の領域を、それぞれ基準領域として設定する。
【００３０】
ステップＳ１０３は、隣接グラフを生成する処理である。ステップＳ１０２の処理を行うことで、画像データに基づいて複数の基準領域が設定される。状態特定部１８は、これら複数の基準領域をノード、各基準領域の辺をエッジとした隣接グラフを生成する。
【００３１】
ステップＳ１０４は、暗部領域を検出する処理である。領域検出部１７は、設定された複数の基準領域から暗部領域を検出する。入力される画像データがＲＧＢ色空間で示される画像データである場合には、領域検出部１７は、該画像データをＹＣｒＣｂ色空間で示される画像データに変換する。この変換の後、領域検出部１７は、各基準領域のデータを用いて、対象となる基準領域に近接する複数の基準領域における平均輝度値を算出する。なお、入力される画像データがＹＣｒＣｂ色空間で示される画像データなど、画像データが輝度及び色差で示される画像データであれば、この処理は省略される。
【００３２】
領域検出部１７は、算出された平均輝度値を用いて対象となる基準領域を正規化（ノーマライズ）処理する。この正規化処理の後、領域検出部１７は、対象となる基準領域の輝度値の総和と予め設定された閾値を比較する。この比較で、対象となる基準領域の輝度値の総和が予め設定された閾値より低くなる場合に、該基準領域を暗部領域として検出する。
【００３３】
ステップＳ１０５は、暗部領域を除く基準領域を用いた隣接グラフの生成を行う処理である。状態特定部１８は、ステップＳ１０４にて検出された暗部領域を隣接する基準領域のエッジとして設定した後、ステップＳ１０３にて生成された隣接グラフを参照しながら、新たに隣接グラフを生成する。
【００３４】
ステップＳ１０６は、複数の基準領域を前景領域及び背景領域に領域分割する処理である。領域分割部１９は、ステップＳ１０５にて生成された隣接グラフに対して周知のグラフカット法等を用いて、画像データに対する領域分割を行う。このステップＳ１０６の処理が実行されることで、複数の基準領域が前景領域及び背景領域に領域分割された画像データとなる。
【００３５】
ステップＳ１０７は、複数の基準領域が前景領域及び背景領域に領域分割された画像データに対する画像処理である。画像処理部２０は、ステップＳ１０６の処理が施された画像データに対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理、輝度補正処理、彩度強調処理などの画像処理を施す。なお、この画像処理部２０における画像処理は、前景領域及び背景領域のそれぞれの領域に対して個別に実行される。このステップＳ１０７の処理が終了すると、画像処理された画像データが画像処理装置１０から出力される。
【００３６】
以下、山などの景色を背景とした人物撮影を行うことで得られた画像Ｐ１に対して領域分割を行う場合について説明する。図４に示すように、上述したステップＳ１０２の処理を行うことによって、画像Ｐ１が、空の領域Ａ１、地面の領域Ａ２，Ａ３、山の領域Ａ４、木の葉の領域Ａ５、幹の領域Ａ６、被写体の髪の毛の領域Ａ７、顔の領域Ａ８，Ａ９，Ａ１０服の領域Ａ１１の計１１個の領域に分割され、それぞれが基準領域として設定される。このような画像Ｐ１に対してステップＳ１０３の処理を実行することで、隣接グラフＮＧ１が生成される。これにより、各基準領域Ａ１〜Ａ１１のそれぞれの領域における隣接状態が特定される。
【００３７】
この隣接グラフＮＧ１の生成の後、ステップＳ１０４の処理を行うことで、画像Ｐ１に対して設定される基準領域Ａ１〜Ａ１１から、暗部領域が検出される。上述したように、基準領域Ａ７は髪の毛の領域である。また、基準領域Ａ９は影となる領域である。つまり、これら基準領域Ａ７及び基準領域Ａ９は、輝度が低い領域であることから、これら基準領域Ａ７及び基準領域Ａ９が暗部領域として検出される。なお、図４においては、これら基準領域Ａ７及び基準領域Ａ９に対して便宜上ハッチングを付して説明している。
【００３８】
暗部領域の検出の後、ステップＳ１０５の処理の処理を行うことで、再度隣接グラフＮＧ２が生成される。なお、この隣接グラフＮＧ２は、生成された隣接グラフＮＧ１と検出された暗部領域とに基づいて生成される。この場合、暗部領域となる基準領域Ａ７及び基準領域Ａ９は、それぞれエッジと見なされることから、隣接グラフＮＧ２においては、これら基準領域は省略している。
【００３９】
この隣接グラフＮＧ２の生成の後、ステップＳ１０６の処理を行うことで、画像に設定される複数の基準領域が前景領域と背景領域とに領域分割される。例えば、グラフカット法を用いた場合には、ステップＳ１０５の処理により生成された隣接グラフＮＧ２の最小カットを求める。このとき、隣接グラフＮＧ２においては、基準領域Ａ８と基準領域Ａ１０とはエッジにより接していると判断されている。また、この基準領域Ａ８と基準領域Ａ１０とはそれぞれ肌の領域であることから、上述したグラフカット法を用いた場合には、これら基準領域Ａ８及び基準領域Ａ１０は同一の領域（前景領域）となる。つまり、基準領域Ａ１〜Ａ６は背景領域、基準領域Ａ７〜Ａ１１は前景領域として分割される。これによれば、前景領域中に暗部となる領域が存在している場合であっても、この暗部領域を背景領域として分類されることを防止でき、結果的に予め設定された複数の基準領域を前景領域及び背景領域に適切に領域分割することが可能となる。
【００４０】
なお、図４においては、被写体となる人物が一人の場合について説明しているが、これに限定される必要はなく、例えば複数の人物を被写体とした場合であっても、本発明を適用することができる。つまり、複数の主要被写体が含まれる画像の場合には、複数の主要被写体のそれぞれの領域と背景となる領域、言い換えれば画像中に含まれる構成要素毎に基準領域を画像分割することが可能となる。この場合、前景領域と背景領域との２つの領域に分割するのであれば、予め被写体毎の距離を求めておき、この被写体の距離に基づいて、それぞれの領域に領域分割することも可能である。
【００４１】
本実施形態では、画像処理装置１０に入力される画像データとしてＲＧＢ色空間で示されるカラー画像データを挙げているが、これに限定される必要はなく、ＹＣｒＣｂ色空間や他の色空間で示されるカラー画像データであってもよい。また、画像データとしては、カラー画像データの他に、ＲＡＷデータであっても、本発明を適用することが可能である。
【００４２】
本実施形態では、画像に設定される全ての基準領域をノードとして設定した上で隣接グラフを生成しているが、これに限定される必要はなく、画像を複数の領域に区画し、その区画された各領域のそれぞれで隣接グラフを生成する処理、領域分割する処理を実行することも可能である。
【００４３】
本実施形態では、暗部領域を所定の条件を満たす基準領域としている。しかしながら、所定の条件を満たす基準領域は、暗部領域に限定される必要はない。例えば、他の基準領域に対して極端に明るい基準領域がある場合に、その基準領域を所定の条件を満たす基準領域としてもよい。また、空のシーンに入り込む電線のように、周囲の領域に対して比較的暗めで細長くなる基準領域を所定の条件を満足する基準領域としてもよい。また、窓枠やブラインドのように、直線で細長く、周囲に対して比較的暗い領域で、且つその領域を挟む両端部の領域が類似した特徴を有する基準領域や、明らかに動体である認識される基準領域を、所定の条件を満足する基準領域としてもよい。
【００４４】
本実施形態では、複数の基準領域が前景領域及び背景領域に領域分割された画像データに対して画像処理を行う画像処理装置について説明しているが、これに限定される必要はなく、複数の基準領域が前景領域及び背景領域に領域分割された画像データに対して画像処理を行うか否かは適宜設定してよい。例えば領域分割を行った結果のみを必要とする場合には、画像処理部による画像処理を行わずに出力することも可能である。また、領域分割された前景領域をトリミングする機能や、トリミングされた前景領域を他の画像に合成する機能を備えた画像処理装置であってもよい。
【００４５】
本実施形態では、入力された画像データに対して設定された基準領域に基づいて隣接グラフに生成した後、暗部領域の検出処理を行い、生成された隣接グラフを参照しながら検出された暗部領域をエッジとした隣接グラフを生成しているが、これに限定される必要はなく、入力された画像データに対して設定された基準領域に基づいた隣接グラフを生成する処理を行わずに、画像データに対して設定された基準領域から暗部領域を検出し、検出された暗部領域をエッジとした隣接グラフを生成してもよい。
【００４６】
本実施形態では、画像処理装置を例に取り上げているが、本実施形態の画像処理装置をデジタルカメラなどの撮像装置に組み込むことも可能である。なお、図５は、デジタルカメラの電気的構成を示す機能ブロック図である。このデジタルカメラ３０は、撮像光学系３１、撮像素子３２、Ａ／Ｄ変換部３３、バッファメモリ３４、画像処理回路３５、記録用Ｉ／Ｆ３６、表示制御回路３７、ＬＣＤ３８、ＣＰＵ３９、内蔵メモリ４０、バス４１、レリーズボタン４２及び設定操作部４３を備えている。なお、この画像処理回路３５は、本実施形態で説明した画像処理装置１０における領域設定部１５、パラメータ設定部１６、領域検出部１７、状態特定部１８、領域分割部１９及び画像処理部２０の機能を有している。なお、この場合、領域分割が実施される画像データは、撮像素子３２から出力される画像データであってもよいし、記録用Ｉ／Ｆ３６に接続された記憶媒体４４に記憶された画像データであってもよい。
【００４７】
この場合も、本実施形態と同様に、複数の基準領域が前景領域及び背景領域に領域分割された画像データに対して画像処理を施した後、記録する。この場合も、複数の基準領域を前景領域及び背景領域に領域分割する処理のみを行うことができるようにしてもよいし、複数の基準領域が前景領域及び背景領域に領域分割された画像データのうち、前景領域に基づくデータのみを切り出す、また、切り出した前景領域に基づくデータと他の画像データとを合成するなどの処理を施すことも可能である。
【００４８】
本実施形態では、画像処理装置１０を例に取り上げて説明しているが、図１に示す画像処理装置１０の領域設定部１５、パラメータ設定部１６、領域検出部１７、状態特定部１８、領域分割部１９及び画像処理部２０の機能や、図３に示すフローチャートの処理をコンピュータにて実行させることが可能な画像処理プログラムであってもよい。なお、この画像プログラムは、例えばメモリカード、光学ディスク、磁気ディスクなどコンピュータにて読み取ることが可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００４９】
１０…画像処理装置、１５…領域設定部、１６…パラメータ設定部、１７…状態特定部、１８…領域検出部、１９…領域分割部、２０…画像処理部、３０…デジタルカメラ、３５…画像処理回路
【技術分野】
【０００１】
本発明は、デジタル画像を処理する画像処理装置及び画像プログラムに関する。
【背景技術】
【０００２】
最近、デジタルカメラなどの撮像装置により取得される画像を、主要被写体などの前景となる領域（以下、前景領域）と背景の領域（以下、背景領域）とに領域分割する技術が提案されている。この領域分割は、例えば対象となる画像を複数の領域からなる画像とし、複数の領域間の関係を示した隣接グラフを生成した後、隣接グラフにおける各エッジを評価することで、隣接する基準領域を統合するか否かの判別を繰り返すことで実行される（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０５９０８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した撮像装置を用いて逆光条件下や暗い環境下で撮影を行うと、被写体の顔の部分に影が生じた画像が取得されることがある。このような画像に対して、上述した領域分割の手法を用いると、例えば隣接する領域の双方が肌となる領域であっても、そのいずれかの領域が影となる領域であれば、これら領域は統合されずに、分割されてしまう。つまり、被写体の顔の部分に影が生じた画像に対して領域分割を行うと、影に該当する領域が背景領域となり、その他の領域が前景領域として分割されてしまう。
【０００５】
本発明は、前景領域内に影などの暗部領域が生じる場合であっても、得られた画像を前景領域と背景領域とに適切に領域分割できるようにした画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の画像処理装置は、画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出手段と、前記複数の基準領域のうち、前記該当領域を除いた基準領域における隣接状態を特定する特定手段と、前記特定手段により特定された前記該当領域を除いた基準領域における隣接状態に基づいて、前記画像に含まれる構成要素毎に領域分割する領域分割手段と、を備えたことを特徴とする。
【０００７】
また、前記特定手段は、前記基準領域をノードに設定した各ノード間のエッジ接続及び前記該当領域をエッジの一部とした各ノード間のエッジ接続に基づいて第１の隣接グラフを生成することが好ましい。
【０００８】
また、前記検出手段は、前記画像全体又は対象となる基準領域近傍における色情報を用いて、前記対象となる基準領域の色情報を正規化し、該正規化後の基準領域の輝度値が予め設定された閾値以下となる場合に、該基準領域を前記該当領域として検出することが好ましい。
【０００９】
また、前記特定手段は、前記検出手段による前記該当領域の検出前に前記基準領域をノードに設定した各ノード間のエッジ接続による第２の隣接グラフを生成し、生成された前記第２の隣接グラフと前記検出手段による前記該当領域の検出結果に基づいて、前記第１の隣接グラフを生成することが好ましい。
【００１０】
また、前記画像を分割することで前記複数の基準領域を設定する領域設定手段をさらに備えていることが好ましい。
【００１１】
この場合、前記領域設定手段は、前記画像を構成する画素単位で前記複数の基準領域を設定することが好ましい。
【００１２】
また、本発明の画像処理プログラムは、画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出工程と、前記該当領域を除いた基準領域における隣接状態を特定する特定工程と、前記特定手段により特定された前記該当領域を除いた基準領域における隣接状態に基づいて、前記画像に含まれる構成要素毎に領域分割する領域分割工程と、を備えたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、前景領域内に影などの暗部領域が生じる場合であっても、得られた画像を前景領域と背景領域とに適切に領域分割できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の画像処理装置の構成を示す機能ブロック図である。
【図２】図２（ａ）は１０個の基準領域が設定された画像を示す図、図２（ｂ）は図２（ａ）の各基準領域に基づいて生成される隣接グラフを示す図、図２（ｃ）は図２（ａ）における基準領域のうち、基準領域Ｔ４が暗部領域となる場合の隣接グラフを示す図である。
【図３】画像データに対して施される領域分割の処理の流れを示すフローチャートである。
【図４】画像データに対して施される領域分割の処理の流れを示す説明図である。
【図５】デジタルカメラの電気的構成を示す機能ブロック図である。
【発明を実施するための形態】
【００１５】
図１に、本発明の画像処理装置の構成を示す。この画像処理装置１０は、領域設定部１５、パラメータ設定部１６、領域検出部１７、状態特定部１８、領域分割部１９及び画像処理部２０を備えている。以下、画像処理装置１０に入力される画像データとして、ＲＧＢ色空間で示される画像データを挙げて説明する。
【００１６】
領域設定部１５は、入力される画像データに基づく画像を複数の領域に分割することで、該画像を複数の領域からなる画像として設定する。なお、後述する状態特定部１８及び領域分割部１９における処理は、領域設定部１５にて設定された各領域のそれぞれを基本単位として実行されることから、以下では、領域設定部１５により設定される複数の領域をそれぞれ基準領域と称して説明する。
【００１７】
画像を複数の基準領域に分割する方法としては、例えば対象となる画素と、該画素に隣接する画素のうち、対象となる画素と同一の色情報又は近似する色情報を有する画素とを予め設定された画素数毎にまとめた画素群を、それぞれ基準領域として設定する方法が挙げられる他、“Efficient Graph-Based Image Segmentation”P.Felzenszwalb, D.Huttenlocher(2004)，International Journal of Computer Vision,59167-181の手法にて基準領域を設定する方法などが挙げられる。また、この他に、画像を構成する各画素をそれぞれ基準領域として設定することも可能である。
【００１８】
この領域設定部１５にて設定される基準領域の大きさは、パラメータ設定部１６から出力されるパラメータに基づいて設定される。また、基準領域の形状としては、三角形、矩形などの多角形が用いられる。設定された各基準領域のデータ（詳細には各基準領域に含まれる画素のアドレスデータ）は画像データとともに、領域検出部１７及び状態特定部１８に出力される。なお、各基準領域のデータは、画像データと別個のデータであってもよいし、画像データに付帯されるデータであってもよい。
【００１９】
パラメータ設定部１６は、領域設定部１５にて使用されるパラメータを設定する。このパラメータは、例えば基準領域を構成する画素数、或いは画素の上限数などが挙げられる。なお、このパラメータは予め設定されたパラメータ、入力される画像データに基づいて設定されるパラメータ、或いはユーザが図示を省略した操作部を操作することで設定されるパラメータである。なお、入力される画像データに基づいたパラメータを設定する場合、例えば画像データから得られる画像情報、言い換えれば、画像データの各画素の画素値、画像データが取得されたときの撮影条件、画像中の構成（被写体の大きさ、被写体の数、被写体と背景とのレイアウトなど）に基づいてパラメータを設定すればよい。
【００２０】
領域検出部１７は、設定された複数の基準領域から暗部となる基準領域を検出する。ここで、暗部となる基準領域とは、影となる基準領域や、被写体の色が黒となる基準領域など、輝度値が低い基準領域が挙げられる。以下、暗部となる基準領域を暗部領域と称して説明する。例えば画像処理装置１０に入力される画像データがＲＧＢ色空間で示される画像データの場合には、ＲＧＢ色空間で示される画像データから、ＹＣｒＣｂ色空間で示される画像データに変換する。この変換の後、領域検出部１７は、各基準領域のデータを用いて、対象となる基準領域に近接する複数の基準領域における平均輝度値を算出する。なお、入力される画像データがＹＣｒＣｂ色空間で示される画像データなど、輝度及び色差で示される画像データであれば、色空間を変換する処理は省略される。
【００２１】
領域検出部１７は、算出された平均輝度値を用いて対象となる基準領域を正規化（ノーマライズ）処理する。この正規化処理の後、領域検出部１７は、対象となる基準領域の輝度値の総和と予め設定された閾値を比較する。この比較で、対象となる基準領域の輝度値の総和が予め設定された閾値より低くなる場合に、該基準領域を暗部領域として検出する。なお、正規化処理においては、対象となる基準領域に近接する基準領域の平均輝度値を用いずに、画像全体の平均輝度値を用いてもよい。この領域検出部１７における検出結果を示すデータは、状態特定部１８に出力される。
【００２２】
状態特定部１８は、基準領域が設定された画像に基づく隣接グラフを生成することにより、各基準領域における隣接状態を特定する。上述したように、状態特定部１８には、画像データと、各基準領域のデータが入力される。状態特定部１８は、これらデータを用いて隣接グラフを生成する。周知のように、隣接グラフは、複数のノードと、ノード間を結ぶエッジとから構成される。本実施形態では、領域設定部１５にて設定された各基準領域をノードとし、各基準領域の辺をエッジとした隣接グラフを生成する。以下、三角形からなる基準領域が１０個設定される画像Ｐの場合について説明する。
【００２３】
図２（ａ）に示すように、基準領域Ｔ１は、基準領域Ｔ２及び基準領域Ｔ４にそれぞれ接している。また、基準領域Ｔ２は、基準領域Ｔ１の他に、基準領域Ｔ３に接している。また、基準領域Ｔ３は、基準領域Ｔ２の他に、基準領域Ｔ４及び基準領域Ｔ５に接している。また、基準領域Ｔ４は、基準領域Ｔ１、基準領域Ｔ３の他に、基準領域Ｔ６及び基準領域Ｔ７に接している。また、基準領域Ｔ５は、基準領域Ｔ３の他に、基準領域Ｔ７に接している。基準領域Ｔ６は、基準領域Ｔ４の他に、基準領域Ｔ８及び基準領域Ｔ９に接している。基準領域Ｔ７は、基準領域Ｔ４、基準領域Ｔ５の他に、基準領域Ｔ９及び基準領域Ｔ１０に接している。また、基準領域Ｔ８は基準領域Ｔ６に、基準領域Ｔ９は基準領域Ｔ６及び基準領域Ｔ７に、基準領域Ｔ１０は基準領域Ｔ７に、それぞれ接している。ここで、隣接グラフは、隣接する双方の基準領域に属する辺、言い換えればエッジにより、それぞれの基準領域に相当するノード間を結ぶことで生成される。なお、図２（ｂ）は、図２（ａ）に示す画像Ｐに基づいて生成された隣接グラフである。このように、画像に設定される各基準領域に基づく隣接グラフを生成することで、各基準領域の隣接状態を特定することができる。
【００２４】
上述したように、この状態特定部１８には、領域検出部１７から暗部領域の検出結果が入力される。状態特定部１８は、設定された基準領域に基づいて生成された隣接グラフを参照して、暗部領域の検出結果に基づいた隣接グラフを生成する。図２（ａ）に示すように、画像Ｐに設定される基準領域Ｔ１〜Ｔ１０のうち、基準領域Ｔ４が暗部領域となる場合、状態特定部１８は、基準領域Ｔ４を、該基準領域Ｔ４に接する基準領域（この場合、基準領域Ｔ１、基準領域Ｔ３、基準領域Ｔ６及び基準領域Ｔ７）に相当するノードのエッジの一部とし、隣接グラフを生成する。基準領域Ｔ４を暗部領域とした場合の隣接グラフが図２（ｃ）となる。この暗部領域を考慮して生成された隣接グラフを示すデータは、画像データ及び基準領域を示すデータとともに、領域分割部１９に出力される。
【００２５】
領域分割部１９は、状態特定部１８から出力された隣接グラフを示すデータに対して、例えばグラフカット法などの手法を用いた領域分割を行う。なお、このグラフカット法は、上述したエッジが接続しているノード間の輝度差、ノード間の色空間上の距離等を用いて各エッジに対する重み付けを行った後、予め定義されるエネルギー関数の最小化を行うことにより大域的最小化を求めることで、複数の基準領域を前景領域と背景領域とに領域分割する手法である。このグラフカット法を用いることで、画像に設定された複数の基準領域が前景領域と背景領域とに領域分割される。
【００２６】
画像処理部２０は、複数の基準領域が前景領域と背景領域とに領域分割された画像データに対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理、輝度補正処理、彩度強調処理などの画像処理を施す。なお、画像処理部２０における画像処理は、画像データの前景領域及び背景領域のそれぞれに対して個別に実行される。なお、この画像処理部２０により画像処理が終了した処理済みの画像データは、画像処理装置１０から出力される。なお、画像処理装置１０から出力されるとは、例えば画像処理装置１０に図示を省略した表示部を備えている場合には、上述した各部における処理が終了した画像データに基づく画像を表示部に表示する、記憶媒体が着脱可能な画像処理装置であれば、上記の画像データを画像処理装置に装着された記憶媒体に記録する、或いは、この画像処理装置が他の装置に接続されていれば、上記の画像データを接続された他の装置に出力することが挙げられる。
【００２７】
次に、入力された画像データに対して施される領域分割の処理の流れについて、図３に示すフローチャートを用いて説明する。なお、このフローチャートは、例えば画像データが画像処理装置１０に入力されたことを契機に実行される。
【００２８】
ステップＳ１０１は、パラメータを設定する処理である。このステップＳ１０１の処理が実行されると、パラメータ設定部１６は、上述した基準領域の設定時に用いるパラメータを設定する。なお、このパラメータは、ユーザの入力操作に基づいて実行されてもよいし、自動的に実行されてもよい。
【００２９】
ステップＳ１０２は、入力された画像データに対する基準領域を設定する処理である。領域設定部１５は、入力された画像データ及びステップＳ１０１により設定されたパラメータを用いて、入力された画像データに基づく画像を、複数の領域に分割する。そして、領域設定部１５は、分割した複数の領域を、それぞれ基準領域として設定する。
【００３０】
ステップＳ１０３は、隣接グラフを生成する処理である。ステップＳ１０２の処理を行うことで、画像データに基づいて複数の基準領域が設定される。状態特定部１８は、これら複数の基準領域をノード、各基準領域の辺をエッジとした隣接グラフを生成する。
【００３１】
ステップＳ１０４は、暗部領域を検出する処理である。領域検出部１７は、設定された複数の基準領域から暗部領域を検出する。入力される画像データがＲＧＢ色空間で示される画像データである場合には、領域検出部１７は、該画像データをＹＣｒＣｂ色空間で示される画像データに変換する。この変換の後、領域検出部１７は、各基準領域のデータを用いて、対象となる基準領域に近接する複数の基準領域における平均輝度値を算出する。なお、入力される画像データがＹＣｒＣｂ色空間で示される画像データなど、画像データが輝度及び色差で示される画像データであれば、この処理は省略される。
【００３２】
領域検出部１７は、算出された平均輝度値を用いて対象となる基準領域を正規化（ノーマライズ）処理する。この正規化処理の後、領域検出部１７は、対象となる基準領域の輝度値の総和と予め設定された閾値を比較する。この比較で、対象となる基準領域の輝度値の総和が予め設定された閾値より低くなる場合に、該基準領域を暗部領域として検出する。
【００３３】
ステップＳ１０５は、暗部領域を除く基準領域を用いた隣接グラフの生成を行う処理である。状態特定部１８は、ステップＳ１０４にて検出された暗部領域を隣接する基準領域のエッジとして設定した後、ステップＳ１０３にて生成された隣接グラフを参照しながら、新たに隣接グラフを生成する。
【００３４】
ステップＳ１０６は、複数の基準領域を前景領域及び背景領域に領域分割する処理である。領域分割部１９は、ステップＳ１０５にて生成された隣接グラフに対して周知のグラフカット法等を用いて、画像データに対する領域分割を行う。このステップＳ１０６の処理が実行されることで、複数の基準領域が前景領域及び背景領域に領域分割された画像データとなる。
【００３５】
ステップＳ１０７は、複数の基準領域が前景領域及び背景領域に領域分割された画像データに対する画像処理である。画像処理部２０は、ステップＳ１０６の処理が施された画像データに対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理、輝度補正処理、彩度強調処理などの画像処理を施す。なお、この画像処理部２０における画像処理は、前景領域及び背景領域のそれぞれの領域に対して個別に実行される。このステップＳ１０７の処理が終了すると、画像処理された画像データが画像処理装置１０から出力される。
【００３６】
以下、山などの景色を背景とした人物撮影を行うことで得られた画像Ｐ１に対して領域分割を行う場合について説明する。図４に示すように、上述したステップＳ１０２の処理を行うことによって、画像Ｐ１が、空の領域Ａ１、地面の領域Ａ２，Ａ３、山の領域Ａ４、木の葉の領域Ａ５、幹の領域Ａ６、被写体の髪の毛の領域Ａ７、顔の領域Ａ８，Ａ９，Ａ１０服の領域Ａ１１の計１１個の領域に分割され、それぞれが基準領域として設定される。このような画像Ｐ１に対してステップＳ１０３の処理を実行することで、隣接グラフＮＧ１が生成される。これにより、各基準領域Ａ１〜Ａ１１のそれぞれの領域における隣接状態が特定される。
【００３７】
この隣接グラフＮＧ１の生成の後、ステップＳ１０４の処理を行うことで、画像Ｐ１に対して設定される基準領域Ａ１〜Ａ１１から、暗部領域が検出される。上述したように、基準領域Ａ７は髪の毛の領域である。また、基準領域Ａ９は影となる領域である。つまり、これら基準領域Ａ７及び基準領域Ａ９は、輝度が低い領域であることから、これら基準領域Ａ７及び基準領域Ａ９が暗部領域として検出される。なお、図４においては、これら基準領域Ａ７及び基準領域Ａ９に対して便宜上ハッチングを付して説明している。
【００３８】
暗部領域の検出の後、ステップＳ１０５の処理の処理を行うことで、再度隣接グラフＮＧ２が生成される。なお、この隣接グラフＮＧ２は、生成された隣接グラフＮＧ１と検出された暗部領域とに基づいて生成される。この場合、暗部領域となる基準領域Ａ７及び基準領域Ａ９は、それぞれエッジと見なされることから、隣接グラフＮＧ２においては、これら基準領域は省略している。
【００３９】
この隣接グラフＮＧ２の生成の後、ステップＳ１０６の処理を行うことで、画像に設定される複数の基準領域が前景領域と背景領域とに領域分割される。例えば、グラフカット法を用いた場合には、ステップＳ１０５の処理により生成された隣接グラフＮＧ２の最小カットを求める。このとき、隣接グラフＮＧ２においては、基準領域Ａ８と基準領域Ａ１０とはエッジにより接していると判断されている。また、この基準領域Ａ８と基準領域Ａ１０とはそれぞれ肌の領域であることから、上述したグラフカット法を用いた場合には、これら基準領域Ａ８及び基準領域Ａ１０は同一の領域（前景領域）となる。つまり、基準領域Ａ１〜Ａ６は背景領域、基準領域Ａ７〜Ａ１１は前景領域として分割される。これによれば、前景領域中に暗部となる領域が存在している場合であっても、この暗部領域を背景領域として分類されることを防止でき、結果的に予め設定された複数の基準領域を前景領域及び背景領域に適切に領域分割することが可能となる。
【００４０】
なお、図４においては、被写体となる人物が一人の場合について説明しているが、これに限定される必要はなく、例えば複数の人物を被写体とした場合であっても、本発明を適用することができる。つまり、複数の主要被写体が含まれる画像の場合には、複数の主要被写体のそれぞれの領域と背景となる領域、言い換えれば画像中に含まれる構成要素毎に基準領域を画像分割することが可能となる。この場合、前景領域と背景領域との２つの領域に分割するのであれば、予め被写体毎の距離を求めておき、この被写体の距離に基づいて、それぞれの領域に領域分割することも可能である。
【００４１】
本実施形態では、画像処理装置１０に入力される画像データとしてＲＧＢ色空間で示されるカラー画像データを挙げているが、これに限定される必要はなく、ＹＣｒＣｂ色空間や他の色空間で示されるカラー画像データであってもよい。また、画像データとしては、カラー画像データの他に、ＲＡＷデータであっても、本発明を適用することが可能である。
【００４２】
本実施形態では、画像に設定される全ての基準領域をノードとして設定した上で隣接グラフを生成しているが、これに限定される必要はなく、画像を複数の領域に区画し、その区画された各領域のそれぞれで隣接グラフを生成する処理、領域分割する処理を実行することも可能である。
【００４３】
本実施形態では、暗部領域を所定の条件を満たす基準領域としている。しかしながら、所定の条件を満たす基準領域は、暗部領域に限定される必要はない。例えば、他の基準領域に対して極端に明るい基準領域がある場合に、その基準領域を所定の条件を満たす基準領域としてもよい。また、空のシーンに入り込む電線のように、周囲の領域に対して比較的暗めで細長くなる基準領域を所定の条件を満足する基準領域としてもよい。また、窓枠やブラインドのように、直線で細長く、周囲に対して比較的暗い領域で、且つその領域を挟む両端部の領域が類似した特徴を有する基準領域や、明らかに動体である認識される基準領域を、所定の条件を満足する基準領域としてもよい。
【００４４】
本実施形態では、複数の基準領域が前景領域及び背景領域に領域分割された画像データに対して画像処理を行う画像処理装置について説明しているが、これに限定される必要はなく、複数の基準領域が前景領域及び背景領域に領域分割された画像データに対して画像処理を行うか否かは適宜設定してよい。例えば領域分割を行った結果のみを必要とする場合には、画像処理部による画像処理を行わずに出力することも可能である。また、領域分割された前景領域をトリミングする機能や、トリミングされた前景領域を他の画像に合成する機能を備えた画像処理装置であってもよい。
【００４５】
本実施形態では、入力された画像データに対して設定された基準領域に基づいて隣接グラフに生成した後、暗部領域の検出処理を行い、生成された隣接グラフを参照しながら検出された暗部領域をエッジとした隣接グラフを生成しているが、これに限定される必要はなく、入力された画像データに対して設定された基準領域に基づいた隣接グラフを生成する処理を行わずに、画像データに対して設定された基準領域から暗部領域を検出し、検出された暗部領域をエッジとした隣接グラフを生成してもよい。
【００４６】
本実施形態では、画像処理装置を例に取り上げているが、本実施形態の画像処理装置をデジタルカメラなどの撮像装置に組み込むことも可能である。なお、図５は、デジタルカメラの電気的構成を示す機能ブロック図である。このデジタルカメラ３０は、撮像光学系３１、撮像素子３２、Ａ／Ｄ変換部３３、バッファメモリ３４、画像処理回路３５、記録用Ｉ／Ｆ３６、表示制御回路３７、ＬＣＤ３８、ＣＰＵ３９、内蔵メモリ４０、バス４１、レリーズボタン４２及び設定操作部４３を備えている。なお、この画像処理回路３５は、本実施形態で説明した画像処理装置１０における領域設定部１５、パラメータ設定部１６、領域検出部１７、状態特定部１８、領域分割部１９及び画像処理部２０の機能を有している。なお、この場合、領域分割が実施される画像データは、撮像素子３２から出力される画像データであってもよいし、記録用Ｉ／Ｆ３６に接続された記憶媒体４４に記憶された画像データであってもよい。
【００４７】
この場合も、本実施形態と同様に、複数の基準領域が前景領域及び背景領域に領域分割された画像データに対して画像処理を施した後、記録する。この場合も、複数の基準領域を前景領域及び背景領域に領域分割する処理のみを行うことができるようにしてもよいし、複数の基準領域が前景領域及び背景領域に領域分割された画像データのうち、前景領域に基づくデータのみを切り出す、また、切り出した前景領域に基づくデータと他の画像データとを合成するなどの処理を施すことも可能である。
【００４８】
本実施形態では、画像処理装置１０を例に取り上げて説明しているが、図１に示す画像処理装置１０の領域設定部１５、パラメータ設定部１６、領域検出部１７、状態特定部１８、領域分割部１９及び画像処理部２０の機能や、図３に示すフローチャートの処理をコンピュータにて実行させることが可能な画像処理プログラムであってもよい。なお、この画像プログラムは、例えばメモリカード、光学ディスク、磁気ディスクなどコンピュータにて読み取ることが可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００４９】
１０…画像処理装置、１５…領域設定部、１６…パラメータ設定部、１７…状態特定部、１８…領域検出部、１９…領域分割部、２０…画像処理部、３０…デジタルカメラ、３５…画像処理回路
【特許請求の範囲】
【請求項１】
画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出手段と、
前記複数の基準領域のうち、前記該当領域を除いた基準領域における隣接状態を特定する特定手段と、
前記特定手段により特定された前記該当領域を除いた基準領域における隣接状態に基づいて、前記画像に含まれる構成要素毎に領域分割する領域分割手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記特定手段は、前記基準領域をノードに設定した各ノード間のエッジ接続及び前記該当領域をエッジの一部とした各ノード間のエッジ接続に基づいて第１の隣接グラフを生成することを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記検出手段は、前記画像全体又は対象となる基準領域近傍における色情報を用いて、前記対象となる基準領域の色情報を正規化し、該正規化後の基準領域の輝度値が予め設定された閾値以下となる場合に、該基準領域を前記該当領域として検出することを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３のいずれか1項に記載の画像処理装置において、
前記特定手段は、前記検出手段による前記該当領域の検出前に前記基準領域をノードに設定した各ノード間のエッジ接続による第２の隣接グラフを生成し、生成された前記第２の隣接グラフと前記検出手段による前記該当領域の検出結果に基づいて、前記第１の隣接グラフを生成することを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像処理装置において、
前記画像を分割することで前記複数の基準領域を設定する領域設定手段をさらに備えていることを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記領域設定手段は、前記画像を構成する画素単位で前記複数の基準領域を設定することを特徴とする画像処理装置。
【請求項７】
画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出工程と、
前記該当領域を除いた基準領域における隣接状態を特定する特定工程と、
前記特定手段により特定された前記該当領域を除いた基準領域における隣接状態に基づいて、前記画像に含まれる構成要素毎に領域分割する領域分割工程と、
を備えたことを特徴とする画像処理プログラム。
【請求項１】
画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出手段と、
前記複数の基準領域のうち、前記該当領域を除いた基準領域における隣接状態を特定する特定手段と、
前記特定手段により特定された前記該当領域を除いた基準領域における隣接状態に基づいて、前記画像に含まれる構成要素毎に領域分割する領域分割手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記特定手段は、前記基準領域をノードに設定した各ノード間のエッジ接続及び前記該当領域をエッジの一部とした各ノード間のエッジ接続に基づいて第１の隣接グラフを生成することを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記検出手段は、前記画像全体又は対象となる基準領域近傍における色情報を用いて、前記対象となる基準領域の色情報を正規化し、該正規化後の基準領域の輝度値が予め設定された閾値以下となる場合に、該基準領域を前記該当領域として検出することを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３のいずれか1項に記載の画像処理装置において、
前記特定手段は、前記検出手段による前記該当領域の検出前に前記基準領域をノードに設定した各ノード間のエッジ接続による第２の隣接グラフを生成し、生成された前記第２の隣接グラフと前記検出手段による前記該当領域の検出結果に基づいて、前記第１の隣接グラフを生成することを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像処理装置において、
前記画像を分割することで前記複数の基準領域を設定する領域設定手段をさらに備えていることを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記領域設定手段は、前記画像を構成する画素単位で前記複数の基準領域を設定することを特徴とする画像処理装置。
【請求項７】
画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出工程と、
前記該当領域を除いた基準領域における隣接状態を特定する特定工程と、
前記特定手段により特定された前記該当領域を除いた基準領域における隣接状態に基づいて、前記画像に含まれる構成要素毎に領域分割する領域分割工程と、
を備えたことを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−９４１２６（Ｐ２０１２−９４１２６Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１１−２０９０３２（Ｐ２０１１−２０９０３２）
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]