画像処理方法および画像処理装置
【課題】迅速かつ有効的に画像ピクセルの顕著性値を分析して、画像における重要物体領域を均一的に表現する。
【解決手段】本発明は、領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理方法と画像処理装置に関するものである。当該方法は、自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ステップと、前記複数の領域のうちの一つの領域とその他の領域との色、の差分の重み付き和を利用して、当該領域の顕著性値を算出する算出ステップとを含む。
【解決手段】本発明は、領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理方法と画像処理装置に関するものである。当該方法は、自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ステップと、前記複数の領域のうちの一つの領域とその他の領域との色、の差分の重み付き和を利用して、当該領域の顕著性値を算出する算出ステップとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理技術の分野に属し、画像の視覚的顕著性を検出する画像処理方法と画像処理装置に関し、より具体的には、領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理方法および画像処理装置に関する。
【背景技術】
【０００２】
視覚的注意は、人間の視覚システムがシーンを正確かつ有効的に識別するのを助ける一つの重要なメカニズムである。演算という手法によって画像における顕著性領域を取得することは、コンピュータビジョン分野の一つの重要な研究課題であり、画像処理システムが後続処理ステップにおいて演算リソースを合理的に割り当てるのを助ける。顕著性マップ（Saliency map）は多くのコンピュータビジョンアプリケーションに幅広く適用され、例えば、注目物体の分割（中国特許200910046276(CN101520894)、中国特許200910081069(CN101526955)を参照）、物体識別、適応的画像圧縮、内容に応じた画像のリサイジング（中国特許200910092756(CN101650824)を参照）、および、画像検索などに適用されている。
【０００３】
画像の視覚的顕著性の検出は従来から、研究者に多く注目されている課題の一つである。視覚的注意に関する理論研究では、視覚的注意を二種類に分類する。即ち、処理が迅速でタスクに依存しない、データ駆動に関する顕著性検出と、処理が遅くてタスクに依存する、目標駆動に関する顕著性検出とに分類する。本発明に関する方法はその前者に属する。生理学の研究からわかるように、人間の視覚細胞はセンシングフィールド内の高いコントラストの刺激に優先的に応答する。従来、データ駆動に関する視覚的顕著性の検出研究のほとんどは、諸形式の画像内容とシーンとのコントラストを算出することにより視覚的顕著性を算出するものである。ここで、説明を簡素化するため、さらにこのような研究を二つの下位の種類に分類する。即ち、局部コントラストに基づく方法と、全域コントラストに基づく方法とに分類する。
【０００４】
局部コントラストに基づく方法は、画像領域と、その相対的な小さい隣接領域との差分によって顕著性を算出するものである。Ittiらは1998年に「A model of saliency-based visual attention for rapid scene analysis」（IEEE TPAMI， 20（11）：1254-1259，1998）を提案した。該方法は、マルチスケール画像間において、中心の特徴と隣接領域の特徴との差分で画像顕著性を定義する。また、MaとZhangは2003年に「Contrast-based image attention analysis by using fuzzy growing」（In ACM Multimedia，pages 374-381, 2003）を提案した。該方法は、局部コントラストの分析により顕著性マップを得る。更に、Liuらは2007年に「Learning to detect a salient object」(IEEE TPAMI, 33(2):353-367, 2011)を提案した。該方法は、学習方式を用いて色空間分布や、マルチスケールコントラストや、中心隣接領域のヒストグラム差分など、顕著性検出方法の結果として重み付き値の最適な組み合わせを探す。また、Gofermanらは2010年のワークである「Context-aware saliency detection」( In CVPR, 2010)において、ローレベルの手がかり（clue）、全体の考慮、組織ルール、および、ハイレベルの特徴についてモデルを構築する。これらの局部的方法の結果、視覚的顕著性として物体全体を均一的に突出させるのではなく、通常は物体のエッジ付近でより高い顕著性値を生成した。
【０００５】
全域コントラストに基づく方法は画像領域と画像全体との差分を測定することでその顕著性を評価する。ZhaiとShahは2006年に「Visual attention detection in video sequences using spatiotemporal cues」(In ACM Multimedia, pages 815-824, 2006)を提案した。該方法は、一つのピクセルとそれ以外のすべての画像ピクセルとの輝度の差分により、当該ピクセルの顕著性値を算出する。該方法は、効率面が考慮され、画像の輝度情報のみを利用し、それ以外の色チャネルにおける区別性を無視した。Achantaなどは2009年に「Frequency-tuned salient region detection」(In CVPR, pages 1597-1604, 2009)を提案した。該方法はピクセルごとに、平均色との差分を算出することで顕著性値を取得する。しかし、このような簡単な方法では、複雑かつ変化が多い自然画像を有効的に分析するには不十分である。
【０００６】
当分野において、今までの関連中国特許として、学習に基づく映像における顕著物体シーケンスの自動検出方法（中国特許第200810150324号(CN101329767)）がある。該方法では、一つのフレームを処理するのに通常数秒間の時間がかかるので、多数のリアルタイム処理への応用ニーズを満すことが困難である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】中国特許第200910046276号(CN101520894)公報
【特許文献２】中国特許第200910081069号(CN101526955)公報
【特許文献３】中国特許第200910092756号(CN101650824)公報
【特許文献４】中国特許第200810150324号(CN101329767)公報
【非特許文献】
【０００８】
【非特許文献１】「A model of saliency-based visual attention for rapid scene analysis」（IEEE TPAMI， 20（11）：1254-1259，1998）
【非特許文献２】「Contrast-based image attention analysis by using fuzzy growing」（In ACM Multimedia，pages 374-381, 2003）
【非特許文献３】「Learning to detect a salient object」(IEEE TPAMI, 33(2):353-367, 2011)
【非特許文献４】「Context-aware saliency detection」( In CVPR, 2010)
【非特許文献５】「Visual attention detection in video sequences using spatiotemporal cues」(In ACM Multimedia, pages 815-824, 2006)
【非特許文献６】「Frequency-tuned salient region detection」(In CVPR, pages 1597-1604, 2009)
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は本分野の従来技術の不足に鑑みてされたものであり、その解決しようとする技術課題は、どのようにして迅速かつ有効的に画像ピクセルの顕著性値を分析して、画像における重要物体領域を均一的に表現するかにある。
【課題を解決するための手段】
【００１０】
上記技術課題を解決するため、本発明は、領域のコントラストに基づいて画像の視覚的顕著性を検出（算出）する画像処理方法と画像処理装置を提供する。得られた顕著性マップは一連のコンピュータビジョンへの応用に適用可能である。
【００１１】
本発明に係る技術的方案１の画像処理方法は、領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理方法であって、自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ステップと、前記複数の領域のうちの一つの領域とその他の領域との色の差分の重み付き和を利用して、当該領域の顕著性値を算出する算出ステップとを含むことを特徴とする。
【００１２】
技術的方案２．
技術的方案１の画像処理方法において、前記算出ステップは、前記複数の領域における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
【００１３】
【数１】
【００１４】
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、kは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ２は距離要素影響制御パラメーターである。
【００１５】
技術的方案３．
技術的方案２の画像処理方法において、画像ピクセルの空間座標を０〜１に正規化した場合、前記σＳ２は0.1以上1.0以下である。
【００１６】
技術的方案４．
技術的方案２の画像処理方法において、前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）とする。
【００１７】
技術的方案５．
技術的方案２の画像処理方法において、前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
【００１８】
【数２】
【００１９】
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離であり、ｋ＝｛１，２｝である。
【００２０】
技術的方案６．
技術的方案５の画像処理方法において、色チャネルごとに、８級以上１２８級以下のカラーで近似する。
【００２１】
技術的方案７．
技術的方案１乃至６のいずれかの画像処理方法において、算出された顕著性値を出力する出力ステップと、算出された顕著性値を表示する表示ステップと、算出された顕著性値を格納する格納ステップと、の少なくとも一つのステップをさらに含む。
【００２２】
技術的方案８．
領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理装置であって、自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ユニットと、前記複数の領域のうちの一つの領域とその他の領域との色の差分の重み付き和を利用して、当該領域の顕著性値を算出する算出ユニットとを含むことを特徴とする。
【００２３】
技術的方案９．
技術的方案８の画像処理装置において、前記複数の領域における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
【００２４】
【数１】
【００２５】
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、kは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ２は距離要素影響制御パラメーターである。
【００２６】
技術的方案１０．
技術的方案９の画像処理装置において、画像ピクセルの空間座標を０〜１に正規化した場合、前記σＳ２は0.1以上1.0以下である。
【００２７】
技術的方案１１．
技術的方案９の画像処理装置において、前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）とする。
【００２８】
技術的方案１２．
技術的方案９の画像処理装置において、前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
【００２９】
【数２】
【００３０】
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離であり、ｋ＝｛１，２｝である。
【００３１】
技術的方案１３．
技術的方案１２の画像処理装置において、色チャネルごとに、８級以上１２８級以下のカラーで近似する。
【００３２】
技術的方案１４．
技術的方案８乃至１３のいずれかの画像処理装置において、算出された顕著性値を出力する出力ユニットと、算出された顕著性値を表示する表示ユニットと、算出された顕著性値を格納する格納ユニットと、の少なくとも一つのユニットをさらに含む。
【発明の効果】
【００３３】
本発明の上記技術的方案によれば、本発明の、領域のコントラストに基づいて画像の視覚的顕著性を検出(算出)する画像処理方法と画像処理装置は、自動分割アルゴリズムにより分割された領域ごとに、当該領域とその他の領域との色の差分の重み付き和を利用して当該領域の顕著性値を算出することで、画像ピクセルの顕著性値を迅速かつ有効的に分析でき、画像における重要物体領域を均一的に表現することができる。国際的に最大規模である画像の視覚的顕著性の測定データセットでテストした結果、本方法は従来の方法より明らかに優れている。本方法によれば、複雑かつ変化が多い自然画像を有効的に分析することができると共に、多数のリアルタイム処理への応用ニーズを満すことができる。本発明は画像における視覚的顕著性領域を自動的に分析でき、その分析結果は、重要な目標物体の分割、物体識別、適応的画像圧縮、内容に応じた画像のリサイジング、および、画像検索などの応用分野に適用可能である。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態に係る画像処理方法を説明するフローチャートである。
【図２】本発明の他の実施の形態に係る画像処理方法を説明するフローチャートである。
【図３】本発明の実施の形態に係る画像処理装置を説明するブロック図である。
【図４】本発明の他の実施の形態に係る画像処理装置を説明するブロック図である。
【図５】本発明に係る入力画像を処理する一例を示す図である。
【発明を実施するための形態】
【００３５】
以下、図面と実施例を組み合わせて、本発明の具体的な実施形態について詳しく説明する。なお、以下の実施例は本発明を説明するためのものであり、本発明の範囲を限定するものではない。
【００３６】
本発明はある画像領域とその他の画像領域との色の差分の重み付き和を算出して当該画像領域の顕著性値を算出する画像処理方法と画像処理装置を公開した。当該方法と装置により検出された顕著性値は一連の画像処理への応用に対するサポートを提供可能である。それらの応用は重要な目標物体の分割、内容に応じた画像のリサイジング、および、画像検索などを含む。
【００３７】
図１は本発明の実施の形態に係る画像処理方法を説明するフローチャートである。
【００３８】
図１に示すように、分割ステップＳ１で、ユーザなどに入力された任意の一つの画像（例えば、図５の（a）に示す入力画像）に対して、任意の画像自動分割アルゴリズムによって入力画像を複数の領域ブロックに分割する。前記入力画像は有線あるいは無線手段で装置の外部から入力されてもよいし、撮像装置に撮像された画像がリアルタイムにあるいは後から入力されてもよいし、装置の内蔵あるいは外付けの格納ユニットから画像を読み取って入力画像としてもよい。入力画像を自動的に分割するための自動分割アルゴリズムとして、例えば、FelzenszwalbとHuttenlocherが2004年に提案された「Efficient graph-based image segmentation」(IJCV, 59(2):167-181)の方法を利用する。もちろん、その他の既存の画像自動分割アルゴリズムを利用してもよい。
【００３９】
算出ステップＳ２で、分割ステップＳ１で自動分割アルゴリズムによって複数の領域ブロックに分割された入力画像(例えば、図５の（ｂ）に示すもの)に関して、分割された領域ごとに、当該領域とその他の領域との色の差分の重み付き和を算出することで当該領域の顕著性値を算出(検出)する。すべての領域についてそれぞれの顕著性値を算出すると、図５の(ｃ)に示す画像の顕著性を得ることができる。
【００４０】
上記画像処理方法によれば、画像ピクセルの顕著性値を迅速かつ有効的に分析できる。複雑かつ変化が多い自然画像を有効的に分析することを可能とするとともに、多数のリアルタイム処理への応用ニーズを満足させることができる。
【００４１】
また、該画像処理方法において、分割された複数の領域（1，2，…k…m）における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
【００４２】
【数１】
【００４３】
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、k、ｍは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ２は距離要素影響制御パラメーターである。
【００４４】
また、該画像処理方法において、距離要素影響制御パラメーターσＳ２は大きいほど、距離要素の影響は小さくなる。一方、距離要素影響制御パラメーターσＳ２は小さいほど、距離要素の影響は大きくなる。画像ピクセルの空間座標を０〜１に正規化(線形ズーミング)した場合、前記距離要素影響制御パラメーターσＳ２は0.01以上10以下の値を取りうる。好ましくは、距離要素影響制御パラメーターσＳ２は0.1以上1.0以下である。σＳ２=0.4のとき、優れた画像顕著性検出(計算)効果を得ることができる。
【００４５】
また、該画像処理方法において、前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）としてもよい。
【００４６】
また、該画像処理方法において、前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
【００４７】
【数２】
【００４８】
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離(Euclidean distance)であり、ｋ＝｛１，２｝である。
【００４９】
また、該画像処理方法において、色チャネルごとに２級以上２５６級以下のカラーで計算する。採用されたカラーの級(レベル)が低いほど、計算の量が少なくなるが、精度が悪くなる。採用されたカラーの級(レベル)が高いほど、計算の量が多くなるが、精度がよくなる。計算を加速するため、色チャネルごとに２５６級のフルカラーとすることが必要なく、例えば、好ましくは色チャネルごとに８級以上１２８級以下のカラーで近似する。
【００５０】
本発明の顕著性検出方法によれば、色チャネルごとに１２級カラーで近似すると、優れた効果が得られることができる。したがって、検出された画像顕著性の精度を確保しながら、計算の量を大幅に低減することができる。
【００５１】
図２は本発明の他の実施の形態に係る画像処理方法を説明するフローチャートである。
【００５２】
図２に示すように、該画像処理方法において、分割ステップＳ１と算出ステップＳ２のほかに、算出された顕著性値を出力する出力ステップＳ３と、算出された顕著性値を表示する表示ステップＳ４と、算出された顕著性値を格納する格納ステップＳ５と、の少なくとも一つのステップをさらに含んでもよい。即ち、出力ステップと、表示ステップと、格納ステップとを任意的に組み合わせることで、得られた顕著性検出結果を希望のシーンに応用できる。出力ステップと、表示ステップと、格納ステップの順番について限定されるものではない。
【００５３】
図３は本発明の実施の形態に係る画像処理装置を説明するブロック図である。
【００５４】
図３に示すように、本実施形態に係る画像処理装置１は領域のコントラストに基づいて画像の視覚的顕著性を検出する。上記画像処理装置１は、自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ユニット１０と、前記複数の領域のうちの一つの領域とその他の領域との色の差分の重み付き和を当該一つの領域の顕著性値として算出する算出ユニット２０とを含む。
【００５５】
分割ユニット１０は、ユーザなどに入力された任意の一つの画像(例えば、図５の（a)に示す入力画像)に対して、任意の画像自動分割アルゴリズムによって入力画像を複数の領域ブロックに分割する。前記入力画像は有線あるいは無線手段で装置の外部から入力されてもよいし、撮像装置に撮像された画像がリアルタイムにあるいは後から入力されてもよいし、装置の内蔵あるいは外付けの格納ユニットから画像を読み取って入力画像としてもよい。入力画像を自動的に分割するための自動分割アルゴリズムとして、例えば、FelzenszwalbとHuttenlocherが2004年に提案された「Efficient graph-based image segmentation」(IJCV, 59(2):167-181)の方法を利用する。もちろん、その他の既存の画像自動分割アルゴリズムを利用してもよい。
【００５６】
算出ユニット２０は、分割ユニット１０で自動分割アルゴリズムによって複数の領域ブロックに分割された入力画像(例えば、図５の（ｂ）に示すもの)に関して、分割された領域ごとに、当該領域とその他の領域との色の差分の重み付き和を算出することで当該領域の顕著性値を算出(検出)する。すべての領域についてそれぞれの顕著性値を算出すると、図５の(ｃ)に示す画像の顕著性を得ることができる。
【００５７】
上記画像処理装置によれば、画像ピクセルの顕著性値を迅速かつ有効的に分析できる。本発明によれば、複雑かつ変化が多い自然画像を有効的に分析することを可能とするとともに、多数のリアルタイム処理への応用ニーズを満足させることができる。
【００５８】
また、該画像処理装置１において、分割された複数の領域（1，2，…k…m）における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
【００５９】
【数１】
【００６０】
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、k、ｍは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ２は距離要素影響制御パラメーターである。
【００６１】
また、該画像処理装置１において、距離要素影響制御パラメーターσＳ２は大きいほど、距離要素の影響は小さくなる。一方、距離要素影響制御パラメーターσＳ２は小さいほど、距離要素の影響は大きくなる。画像ピクセルの空間座標を０〜１に正規化(線形ズーミング)した場合、前記距離要素影響制御パラメーターσＳ２は0.01以上10以下の値を取りうる。好ましくは、距離要素影響制御パラメーターσＳ２は0.1以上1.0以下である。σＳ２=0.4のとき、優れた画像顕著性検出(計算)効果を得ることができる。
【００６２】
また、該画像処理装置１において、前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）としてもよい。
【００６３】
また、該画像処理装置１において、前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
【００６４】
【数２】
【００６５】
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離(Euclidean distance)であり、ｋ＝｛１，２｝である。
【００６６】
また、該画像処理装置１において、色チャネルごとに２級以上２５６級以下のカラーで計算する。採用されたカラーの級(レベル)が低いほど、計算の量が少なくなるが、精度が悪くなる。採用されたカラーの級(レベル)が高いほど、計算の量が多くなるが、精度がよくなる。計算を加速するため、色チャネルごとに２５６級のフルカラーとすることが必要なく、例えば、好ましくは色チャネルごとに８級以上１２８級以下のカラーで近似する。
【００６７】
本発明の顕著性検出方法によれば、色チャネルごとに１２級カラーで近似すると、優れた効果が得られることができる。したがって、検出された画像顕著性の精度を確保しながら、計算の量を大幅に低減することができる。複雑かつ変化が多い自然画像を有効的に分析することができながら多数のリアルタイム処理への応用ニーズに満足することができる。
【００６８】
図４は本発明の他の実施の形態に係る画像処理装置を説明するブロック図である。
【００６９】
図４に示すように、画像処理装置１において、分割ユニット１０と算出ユニット２０のほかに、算出された顕著性値を出力する出力ユニット３０と、算出された顕著性値を表示する表示ユニット４０と、算出された顕著性値を格納する格納ユニット５０と、の少なくとも一つのユニットをさらに含んでもよい。即ち、出力ユニット３０と、表示ユニット４０と、格納ユニット５０とを任意的に組み合わせることで、得られた顕著性検出結果を希望のシーンに応用できる。本発明によれば、検出された画像顕著性の精度を確保しながら、計算の量を大幅に低減することができる。複雑かつ変化が多い自然画像を有効的に分析することを可能とするとともに、多数のリアルタイム処理への応用ニーズを満足させることができる。
【００７０】
以上本発明は特定の実施例を参照しながら説明されてきたが、それらは単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例などを理解するであろう。発明の理解を促すため具体的な数値例を用いて説明がなされたが、特に断りのない限り、それらの数値は単なる一例に過ぎず、適切な如何なる値が使用されてもよい。実施例又は項目の区分けは本発明に本質的でなく、2以上の実施例又は項目に記載された事項が必要に応じて組み合わせて使用されてよい。説明の便宜上、本発明の実施例に係る装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウエアで、ソフトウエアで又はそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例などが本発明に包含される。
【符号の説明】
【００７１】
１０ 分割ユニット
２０ 算出ユニット
３０ 出力ユニット
４０ 表示ユニット
５０ 格納ユニット
【技術分野】
【０００１】
本発明は画像処理技術の分野に属し、画像の視覚的顕著性を検出する画像処理方法と画像処理装置に関し、より具体的には、領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理方法および画像処理装置に関する。
【背景技術】
【０００２】
視覚的注意は、人間の視覚システムがシーンを正確かつ有効的に識別するのを助ける一つの重要なメカニズムである。演算という手法によって画像における顕著性領域を取得することは、コンピュータビジョン分野の一つの重要な研究課題であり、画像処理システムが後続処理ステップにおいて演算リソースを合理的に割り当てるのを助ける。顕著性マップ（Saliency map）は多くのコンピュータビジョンアプリケーションに幅広く適用され、例えば、注目物体の分割（中国特許200910046276(CN101520894)、中国特許200910081069(CN101526955)を参照）、物体識別、適応的画像圧縮、内容に応じた画像のリサイジング（中国特許200910092756(CN101650824)を参照）、および、画像検索などに適用されている。
【０００３】
画像の視覚的顕著性の検出は従来から、研究者に多く注目されている課題の一つである。視覚的注意に関する理論研究では、視覚的注意を二種類に分類する。即ち、処理が迅速でタスクに依存しない、データ駆動に関する顕著性検出と、処理が遅くてタスクに依存する、目標駆動に関する顕著性検出とに分類する。本発明に関する方法はその前者に属する。生理学の研究からわかるように、人間の視覚細胞はセンシングフィールド内の高いコントラストの刺激に優先的に応答する。従来、データ駆動に関する視覚的顕著性の検出研究のほとんどは、諸形式の画像内容とシーンとのコントラストを算出することにより視覚的顕著性を算出するものである。ここで、説明を簡素化するため、さらにこのような研究を二つの下位の種類に分類する。即ち、局部コントラストに基づく方法と、全域コントラストに基づく方法とに分類する。
【０００４】
局部コントラストに基づく方法は、画像領域と、その相対的な小さい隣接領域との差分によって顕著性を算出するものである。Ittiらは1998年に「A model of saliency-based visual attention for rapid scene analysis」（IEEE TPAMI， 20（11）：1254-1259，1998）を提案した。該方法は、マルチスケール画像間において、中心の特徴と隣接領域の特徴との差分で画像顕著性を定義する。また、MaとZhangは2003年に「Contrast-based image attention analysis by using fuzzy growing」（In ACM Multimedia，pages 374-381, 2003）を提案した。該方法は、局部コントラストの分析により顕著性マップを得る。更に、Liuらは2007年に「Learning to detect a salient object」(IEEE TPAMI, 33(2):353-367, 2011)を提案した。該方法は、学習方式を用いて色空間分布や、マルチスケールコントラストや、中心隣接領域のヒストグラム差分など、顕著性検出方法の結果として重み付き値の最適な組み合わせを探す。また、Gofermanらは2010年のワークである「Context-aware saliency detection」( In CVPR, 2010)において、ローレベルの手がかり（clue）、全体の考慮、組織ルール、および、ハイレベルの特徴についてモデルを構築する。これらの局部的方法の結果、視覚的顕著性として物体全体を均一的に突出させるのではなく、通常は物体のエッジ付近でより高い顕著性値を生成した。
【０００５】
全域コントラストに基づく方法は画像領域と画像全体との差分を測定することでその顕著性を評価する。ZhaiとShahは2006年に「Visual attention detection in video sequences using spatiotemporal cues」(In ACM Multimedia, pages 815-824, 2006)を提案した。該方法は、一つのピクセルとそれ以外のすべての画像ピクセルとの輝度の差分により、当該ピクセルの顕著性値を算出する。該方法は、効率面が考慮され、画像の輝度情報のみを利用し、それ以外の色チャネルにおける区別性を無視した。Achantaなどは2009年に「Frequency-tuned salient region detection」(In CVPR, pages 1597-1604, 2009)を提案した。該方法はピクセルごとに、平均色との差分を算出することで顕著性値を取得する。しかし、このような簡単な方法では、複雑かつ変化が多い自然画像を有効的に分析するには不十分である。
【０００６】
当分野において、今までの関連中国特許として、学習に基づく映像における顕著物体シーケンスの自動検出方法（中国特許第200810150324号(CN101329767)）がある。該方法では、一つのフレームを処理するのに通常数秒間の時間がかかるので、多数のリアルタイム処理への応用ニーズを満すことが困難である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】中国特許第200910046276号(CN101520894)公報
【特許文献２】中国特許第200910081069号(CN101526955)公報
【特許文献３】中国特許第200910092756号(CN101650824)公報
【特許文献４】中国特許第200810150324号(CN101329767)公報
【非特許文献】
【０００８】
【非特許文献１】「A model of saliency-based visual attention for rapid scene analysis」（IEEE TPAMI， 20（11）：1254-1259，1998）
【非特許文献２】「Contrast-based image attention analysis by using fuzzy growing」（In ACM Multimedia，pages 374-381, 2003）
【非特許文献３】「Learning to detect a salient object」(IEEE TPAMI, 33(2):353-367, 2011)
【非特許文献４】「Context-aware saliency detection」( In CVPR, 2010)
【非特許文献５】「Visual attention detection in video sequences using spatiotemporal cues」(In ACM Multimedia, pages 815-824, 2006)
【非特許文献６】「Frequency-tuned salient region detection」(In CVPR, pages 1597-1604, 2009)
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は本分野の従来技術の不足に鑑みてされたものであり、その解決しようとする技術課題は、どのようにして迅速かつ有効的に画像ピクセルの顕著性値を分析して、画像における重要物体領域を均一的に表現するかにある。
【課題を解決するための手段】
【００１０】
上記技術課題を解決するため、本発明は、領域のコントラストに基づいて画像の視覚的顕著性を検出（算出）する画像処理方法と画像処理装置を提供する。得られた顕著性マップは一連のコンピュータビジョンへの応用に適用可能である。
【００１１】
本発明に係る技術的方案１の画像処理方法は、領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理方法であって、自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ステップと、前記複数の領域のうちの一つの領域とその他の領域との色の差分の重み付き和を利用して、当該領域の顕著性値を算出する算出ステップとを含むことを特徴とする。
【００１２】
技術的方案２．
技術的方案１の画像処理方法において、前記算出ステップは、前記複数の領域における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
【００１３】
【数１】
【００１４】
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、kは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ２は距離要素影響制御パラメーターである。
【００１５】
技術的方案３．
技術的方案２の画像処理方法において、画像ピクセルの空間座標を０〜１に正規化した場合、前記σＳ２は0.1以上1.0以下である。
【００１６】
技術的方案４．
技術的方案２の画像処理方法において、前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）とする。
【００１７】
技術的方案５．
技術的方案２の画像処理方法において、前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
【００１８】
【数２】
【００１９】
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離であり、ｋ＝｛１，２｝である。
【００２０】
技術的方案６．
技術的方案５の画像処理方法において、色チャネルごとに、８級以上１２８級以下のカラーで近似する。
【００２１】
技術的方案７．
技術的方案１乃至６のいずれかの画像処理方法において、算出された顕著性値を出力する出力ステップと、算出された顕著性値を表示する表示ステップと、算出された顕著性値を格納する格納ステップと、の少なくとも一つのステップをさらに含む。
【００２２】
技術的方案８．
領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理装置であって、自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ユニットと、前記複数の領域のうちの一つの領域とその他の領域との色の差分の重み付き和を利用して、当該領域の顕著性値を算出する算出ユニットとを含むことを特徴とする。
【００２３】
技術的方案９．
技術的方案８の画像処理装置において、前記複数の領域における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
【００２４】
【数１】
【００２５】
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、kは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ２は距離要素影響制御パラメーターである。
【００２６】
技術的方案１０．
技術的方案９の画像処理装置において、画像ピクセルの空間座標を０〜１に正規化した場合、前記σＳ２は0.1以上1.0以下である。
【００２７】
技術的方案１１．
技術的方案９の画像処理装置において、前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）とする。
【００２８】
技術的方案１２．
技術的方案９の画像処理装置において、前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
【００２９】
【数２】
【００３０】
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離であり、ｋ＝｛１，２｝である。
【００３１】
技術的方案１３．
技術的方案１２の画像処理装置において、色チャネルごとに、８級以上１２８級以下のカラーで近似する。
【００３２】
技術的方案１４．
技術的方案８乃至１３のいずれかの画像処理装置において、算出された顕著性値を出力する出力ユニットと、算出された顕著性値を表示する表示ユニットと、算出された顕著性値を格納する格納ユニットと、の少なくとも一つのユニットをさらに含む。
【発明の効果】
【００３３】
本発明の上記技術的方案によれば、本発明の、領域のコントラストに基づいて画像の視覚的顕著性を検出(算出)する画像処理方法と画像処理装置は、自動分割アルゴリズムにより分割された領域ごとに、当該領域とその他の領域との色の差分の重み付き和を利用して当該領域の顕著性値を算出することで、画像ピクセルの顕著性値を迅速かつ有効的に分析でき、画像における重要物体領域を均一的に表現することができる。国際的に最大規模である画像の視覚的顕著性の測定データセットでテストした結果、本方法は従来の方法より明らかに優れている。本方法によれば、複雑かつ変化が多い自然画像を有効的に分析することができると共に、多数のリアルタイム処理への応用ニーズを満すことができる。本発明は画像における視覚的顕著性領域を自動的に分析でき、その分析結果は、重要な目標物体の分割、物体識別、適応的画像圧縮、内容に応じた画像のリサイジング、および、画像検索などの応用分野に適用可能である。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態に係る画像処理方法を説明するフローチャートである。
【図２】本発明の他の実施の形態に係る画像処理方法を説明するフローチャートである。
【図３】本発明の実施の形態に係る画像処理装置を説明するブロック図である。
【図４】本発明の他の実施の形態に係る画像処理装置を説明するブロック図である。
【図５】本発明に係る入力画像を処理する一例を示す図である。
【発明を実施するための形態】
【００３５】
以下、図面と実施例を組み合わせて、本発明の具体的な実施形態について詳しく説明する。なお、以下の実施例は本発明を説明するためのものであり、本発明の範囲を限定するものではない。
【００３６】
本発明はある画像領域とその他の画像領域との色の差分の重み付き和を算出して当該画像領域の顕著性値を算出する画像処理方法と画像処理装置を公開した。当該方法と装置により検出された顕著性値は一連の画像処理への応用に対するサポートを提供可能である。それらの応用は重要な目標物体の分割、内容に応じた画像のリサイジング、および、画像検索などを含む。
【００３７】
図１は本発明の実施の形態に係る画像処理方法を説明するフローチャートである。
【００３８】
図１に示すように、分割ステップＳ１で、ユーザなどに入力された任意の一つの画像（例えば、図５の（a）に示す入力画像）に対して、任意の画像自動分割アルゴリズムによって入力画像を複数の領域ブロックに分割する。前記入力画像は有線あるいは無線手段で装置の外部から入力されてもよいし、撮像装置に撮像された画像がリアルタイムにあるいは後から入力されてもよいし、装置の内蔵あるいは外付けの格納ユニットから画像を読み取って入力画像としてもよい。入力画像を自動的に分割するための自動分割アルゴリズムとして、例えば、FelzenszwalbとHuttenlocherが2004年に提案された「Efficient graph-based image segmentation」(IJCV, 59(2):167-181)の方法を利用する。もちろん、その他の既存の画像自動分割アルゴリズムを利用してもよい。
【００３９】
算出ステップＳ２で、分割ステップＳ１で自動分割アルゴリズムによって複数の領域ブロックに分割された入力画像(例えば、図５の（ｂ）に示すもの)に関して、分割された領域ごとに、当該領域とその他の領域との色の差分の重み付き和を算出することで当該領域の顕著性値を算出(検出)する。すべての領域についてそれぞれの顕著性値を算出すると、図５の(ｃ)に示す画像の顕著性を得ることができる。
【００４０】
上記画像処理方法によれば、画像ピクセルの顕著性値を迅速かつ有効的に分析できる。複雑かつ変化が多い自然画像を有効的に分析することを可能とするとともに、多数のリアルタイム処理への応用ニーズを満足させることができる。
【００４１】
また、該画像処理方法において、分割された複数の領域（1，2，…k…m）における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
【００４２】
【数１】
【００４３】
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、k、ｍは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ２は距離要素影響制御パラメーターである。
【００４４】
また、該画像処理方法において、距離要素影響制御パラメーターσＳ２は大きいほど、距離要素の影響は小さくなる。一方、距離要素影響制御パラメーターσＳ２は小さいほど、距離要素の影響は大きくなる。画像ピクセルの空間座標を０〜１に正規化(線形ズーミング)した場合、前記距離要素影響制御パラメーターσＳ２は0.01以上10以下の値を取りうる。好ましくは、距離要素影響制御パラメーターσＳ２は0.1以上1.0以下である。σＳ２=0.4のとき、優れた画像顕著性検出(計算)効果を得ることができる。
【００４５】
また、該画像処理方法において、前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）としてもよい。
【００４６】
また、該画像処理方法において、前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
【００４７】
【数２】
【００４８】
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離(Euclidean distance)であり、ｋ＝｛１，２｝である。
【００４９】
また、該画像処理方法において、色チャネルごとに２級以上２５６級以下のカラーで計算する。採用されたカラーの級(レベル)が低いほど、計算の量が少なくなるが、精度が悪くなる。採用されたカラーの級(レベル)が高いほど、計算の量が多くなるが、精度がよくなる。計算を加速するため、色チャネルごとに２５６級のフルカラーとすることが必要なく、例えば、好ましくは色チャネルごとに８級以上１２８級以下のカラーで近似する。
【００５０】
本発明の顕著性検出方法によれば、色チャネルごとに１２級カラーで近似すると、優れた効果が得られることができる。したがって、検出された画像顕著性の精度を確保しながら、計算の量を大幅に低減することができる。
【００５１】
図２は本発明の他の実施の形態に係る画像処理方法を説明するフローチャートである。
【００５２】
図２に示すように、該画像処理方法において、分割ステップＳ１と算出ステップＳ２のほかに、算出された顕著性値を出力する出力ステップＳ３と、算出された顕著性値を表示する表示ステップＳ４と、算出された顕著性値を格納する格納ステップＳ５と、の少なくとも一つのステップをさらに含んでもよい。即ち、出力ステップと、表示ステップと、格納ステップとを任意的に組み合わせることで、得られた顕著性検出結果を希望のシーンに応用できる。出力ステップと、表示ステップと、格納ステップの順番について限定されるものではない。
【００５３】
図３は本発明の実施の形態に係る画像処理装置を説明するブロック図である。
【００５４】
図３に示すように、本実施形態に係る画像処理装置１は領域のコントラストに基づいて画像の視覚的顕著性を検出する。上記画像処理装置１は、自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ユニット１０と、前記複数の領域のうちの一つの領域とその他の領域との色の差分の重み付き和を当該一つの領域の顕著性値として算出する算出ユニット２０とを含む。
【００５５】
分割ユニット１０は、ユーザなどに入力された任意の一つの画像(例えば、図５の（a)に示す入力画像)に対して、任意の画像自動分割アルゴリズムによって入力画像を複数の領域ブロックに分割する。前記入力画像は有線あるいは無線手段で装置の外部から入力されてもよいし、撮像装置に撮像された画像がリアルタイムにあるいは後から入力されてもよいし、装置の内蔵あるいは外付けの格納ユニットから画像を読み取って入力画像としてもよい。入力画像を自動的に分割するための自動分割アルゴリズムとして、例えば、FelzenszwalbとHuttenlocherが2004年に提案された「Efficient graph-based image segmentation」(IJCV, 59(2):167-181)の方法を利用する。もちろん、その他の既存の画像自動分割アルゴリズムを利用してもよい。
【００５６】
算出ユニット２０は、分割ユニット１０で自動分割アルゴリズムによって複数の領域ブロックに分割された入力画像(例えば、図５の（ｂ）に示すもの)に関して、分割された領域ごとに、当該領域とその他の領域との色の差分の重み付き和を算出することで当該領域の顕著性値を算出(検出)する。すべての領域についてそれぞれの顕著性値を算出すると、図５の(ｃ)に示す画像の顕著性を得ることができる。
【００５７】
上記画像処理装置によれば、画像ピクセルの顕著性値を迅速かつ有効的に分析できる。本発明によれば、複雑かつ変化が多い自然画像を有効的に分析することを可能とするとともに、多数のリアルタイム処理への応用ニーズを満足させることができる。
【００５８】
また、該画像処理装置１において、分割された複数の領域（1，2，…k…m）における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
【００５９】
【数１】
【００６０】
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、k、ｍは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ２は距離要素影響制御パラメーターである。
【００６１】
また、該画像処理装置１において、距離要素影響制御パラメーターσＳ２は大きいほど、距離要素の影響は小さくなる。一方、距離要素影響制御パラメーターσＳ２は小さいほど、距離要素の影響は大きくなる。画像ピクセルの空間座標を０〜１に正規化(線形ズーミング)した場合、前記距離要素影響制御パラメーターσＳ２は0.01以上10以下の値を取りうる。好ましくは、距離要素影響制御パラメーターσＳ２は0.1以上1.0以下である。σＳ２=0.4のとき、優れた画像顕著性検出(計算)効果を得ることができる。
【００６２】
また、該画像処理装置１において、前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）としてもよい。
【００６３】
また、該画像処理装置１において、前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
【００６４】
【数２】
【００６５】
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離(Euclidean distance)であり、ｋ＝｛１，２｝である。
【００６６】
また、該画像処理装置１において、色チャネルごとに２級以上２５６級以下のカラーで計算する。採用されたカラーの級(レベル)が低いほど、計算の量が少なくなるが、精度が悪くなる。採用されたカラーの級(レベル)が高いほど、計算の量が多くなるが、精度がよくなる。計算を加速するため、色チャネルごとに２５６級のフルカラーとすることが必要なく、例えば、好ましくは色チャネルごとに８級以上１２８級以下のカラーで近似する。
【００６７】
本発明の顕著性検出方法によれば、色チャネルごとに１２級カラーで近似すると、優れた効果が得られることができる。したがって、検出された画像顕著性の精度を確保しながら、計算の量を大幅に低減することができる。複雑かつ変化が多い自然画像を有効的に分析することができながら多数のリアルタイム処理への応用ニーズに満足することができる。
【００６８】
図４は本発明の他の実施の形態に係る画像処理装置を説明するブロック図である。
【００６９】
図４に示すように、画像処理装置１において、分割ユニット１０と算出ユニット２０のほかに、算出された顕著性値を出力する出力ユニット３０と、算出された顕著性値を表示する表示ユニット４０と、算出された顕著性値を格納する格納ユニット５０と、の少なくとも一つのユニットをさらに含んでもよい。即ち、出力ユニット３０と、表示ユニット４０と、格納ユニット５０とを任意的に組み合わせることで、得られた顕著性検出結果を希望のシーンに応用できる。本発明によれば、検出された画像顕著性の精度を確保しながら、計算の量を大幅に低減することができる。複雑かつ変化が多い自然画像を有効的に分析することを可能とするとともに、多数のリアルタイム処理への応用ニーズを満足させることができる。
【００７０】
以上本発明は特定の実施例を参照しながら説明されてきたが、それらは単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例などを理解するであろう。発明の理解を促すため具体的な数値例を用いて説明がなされたが、特に断りのない限り、それらの数値は単なる一例に過ぎず、適切な如何なる値が使用されてもよい。実施例又は項目の区分けは本発明に本質的でなく、2以上の実施例又は項目に記載された事項が必要に応じて組み合わせて使用されてよい。説明の便宜上、本発明の実施例に係る装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウエアで、ソフトウエアで又はそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例などが本発明に包含される。
【符号の説明】
【００７１】
１０ 分割ユニット
２０ 算出ユニット
３０ 出力ユニット
４０ 表示ユニット
５０ 格納ユニット
【特許請求の範囲】
【請求項１】
領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理方法であって、
自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ステップと、
前記複数の領域のうちの一つの領域とその他の領域との色の差分の重み付き和を利用して、当該領域の顕著性値を算出する算出ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
前記算出ステップにおいて、前記複数の領域における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
【数１】
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、kは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ２は距離要素影響制御パラメーターであることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
画像ピクセルの空間座標を０〜１に正規化した場合、前記σＳ２は0.1以上1.0以下であることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）とすることを特徴とする請求項２に記載の画像処理方法。
【請求項５】
前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
【数２】
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離であり、ｋ＝｛１，２｝であることを特徴とする請求項２に記載の画像処理方法。
【請求項６】
色チャネルごとに８級以上１２８級以下のカラーで近似することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
算出された顕著性値を出力する出力ステップと、
算出された顕著性値を表示する表示ステップと、
算出された顕著性値を格納する格納ステップと、
の少なくとも一つのステップをさらに含むことを特徴とする請求項１乃至請求項６のいずれかの一項に記載の画像処理方法。
【請求項８】
領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理装置であって、
自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ユニットと、
前記複数の領域のうちの一つの領域とその他の領域との色の差分の重み付き和を利用して、当該領域の顕著性値を算出する算出ユニットと
を含むことを特徴とする画像処理装置。
【請求項９】
前記複数の領域における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
【数１】
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、kは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ２は距離要素影響制御パラメーターであることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
画像ピクセルの空間座標を０〜１に正規化した場合、前記σＳ２は0.1以上1.0以下であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）とすることを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
【数２】
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離であり、ｋ＝｛１，２｝であることを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
色チャネルごとに８級以上１２８級以下のカラーで近似することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
算出された顕著性値を出力する出力ユニットと、
算出された顕著性値を表示する表示ユニットと、
算出された顕著性値を格納する格納ユニットと、
の少なくとも一つのユニットをさらに含むことを特徴とする請求項８乃至１３のいずれかの一項に記載の画像処理装置。
【請求項１】
領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理方法であって、
自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ステップと、
前記複数の領域のうちの一つの領域とその他の領域との色の差分の重み付き和を利用して、当該領域の顕著性値を算出する算出ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
前記算出ステップにおいて、前記複数の領域における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
【数１】
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、kは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ２は距離要素影響制御パラメーターであることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
画像ピクセルの空間座標を０〜１に正規化した場合、前記σＳ２は0.1以上1.0以下であることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）とすることを特徴とする請求項２に記載の画像処理方法。
【請求項５】
前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
【数２】
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離であり、ｋ＝｛１，２｝であることを特徴とする請求項２に記載の画像処理方法。
【請求項６】
色チャネルごとに８級以上１２８級以下のカラーで近似することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
算出された顕著性値を出力する出力ステップと、
算出された顕著性値を表示する表示ステップと、
算出された顕著性値を格納する格納ステップと、
の少なくとも一つのステップをさらに含むことを特徴とする請求項１乃至請求項６のいずれかの一項に記載の画像処理方法。
【請求項８】
領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理装置であって、
自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ユニットと、
前記複数の領域のうちの一つの領域とその他の領域との色の差分の重み付き和を利用して、当該領域の顕著性値を算出する算出ユニットと
を含むことを特徴とする画像処理装置。
【請求項９】
前記複数の領域における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
【数１】
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、kは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ２は距離要素影響制御パラメーターであることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
画像ピクセルの空間座標を０〜１に正規化した場合、前記σＳ２は0.1以上1.0以下であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）とすることを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
【数２】
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離であり、ｋ＝｛１，２｝であることを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
色チャネルごとに８級以上１２８級以下のカラーで近似することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
算出された顕著性値を出力する出力ユニットと、
算出された顕著性値を表示する表示ユニットと、
算出された顕著性値を格納する格納ユニットと、
の少なくとも一つのユニットをさらに含むことを特徴とする請求項８乃至１３のいずれかの一項に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２４３３１３（Ｐ２０１２−２４３３１３Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１２−１０８０３１（Ｐ２０１２−１０８０３１）
【出願日】平成２４年５月９日（２０１２．５．９）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【出願人】（５９８０９８３３１）ツィンファ ユニバーシティ (534)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２４年５月９日（２０１２．５．９）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【出願人】（５９８０９８３３１）ツィンファ ユニバーシティ (534)
【Ｆターム（参考）】
[ Back to top ]