画像処理装置および方法、並びにプログラム
【課題】より細かなシーン判定を行う。
【解決手段】周波数情報抽出部３２は、入力画像の周波数情報を抽出し、色情報抽出部３４は、入力画像の色情報を抽出し、特徴量算出部３６は、周波数情報抽出部３２によって抽出された周波数情報と、色情報抽出部３４によって抽出された色情報とに基づいて、入力画像の特徴量を算出し、シーン判定部３７は、特徴量算出部３６によって算出された特徴量から、入力画像のシーンを判定する。本発明は、撮影シーンを判定する画像処理装置に適用することができる。
【解決手段】周波数情報抽出部３２は、入力画像の周波数情報を抽出し、色情報抽出部３４は、入力画像の色情報を抽出し、特徴量算出部３６は、周波数情報抽出部３２によって抽出された周波数情報と、色情報抽出部３４によって抽出された色情報とに基づいて、入力画像の特徴量を算出し、シーン判定部３７は、特徴量算出部３６によって算出された特徴量から、入力画像のシーンを判定する。本発明は、撮影シーンを判定する画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、より細かなシーン判定を行うことができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置によって撮影された画像データに対して、データ解析を行い、解析結果に基づいて、その撮影場面（撮影シーン）を判定する技術が知られている。
【０００３】
しかしながら、画像データの周波数情報（輝度信号）のみに基づいて撮影シーンを判定した場合、画像データにおける色までは判定することができなかった。
【０００４】
そこで、例えば、画像データを特徴付ける色相である特徴的色相を決定することで、撮影シーンを判定することが提案されている（例えば、特許文献１参照）。
【０００５】
【特許文献１】特開２００８−１５４２６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、撮影シーンが風景であった場合、その風景を特徴付ける色相は１つに限らない。特に、同じ風景であっても、異なる季節の風景の画像であれば、それぞれの画像を特徴付ける色相は多色にわたり、特許文献１の手法では、細かなシーン判定を行うことができない恐れがある。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、より細かなシーン判定を行うことができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の画像処理装置は、入力画像の周波数情報を抽出する周波数情報抽出手段と、前記入力画像の色情報を抽出する色情報抽出手段と、周波数情報抽出手段によって抽出された前記周波数情報と、前記色情報抽出手段によって抽出された前記色情報とに基づいて、前記入力画像の特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記特徴量から、前記入力画像のシーンを判定するシーン判定手段とを備える。
【０００９】
前記画像処理装置には、前記入力画像をブロックに分割する分割手段をさらに設け、前記周波数情報抽出手段には、前記ブロック毎に前記入力画像の周波数情報を抽出させ、前記色情報抽出手段には、前記ブロック毎に前記入力画像の色情報を抽出させることができる。
【００１０】
前記画像処理装置には、前記周波数情報抽出手段によって抽出された前記周波数情報の、前記ブロック毎の積算値が、所定の閾値以上である前記ブロックに対して、重みを設定する重み設定手段をさらに設け、前記特徴量算出手段には、前記周波数情報と、前記重み設定手段によって重みが設定された前記ブロックの前記色情報とに基づいて、前記入力画像の特徴量を算出させることができる。
【００１１】
前記画像処理装置には、前記ブロック毎の前記入力画像において、エッジ領域を検出するエッジ領域検出手段をさらに設け、前記重み設定手段には、前記エッジ領域を除いた前記ブロック毎の前記周波数情報の積算値が、所定の閾値以上である前記ブロックに対して、重みを設定させることができる。
【００１２】
前記画像処理装置には、前記入力画像の各画素の彩度を算出する彩度算出手段と、前記彩度算出手段によって抽出された前記彩度の、前記ブロック毎の積算値が、所定の閾値以上である前記ブロックに対して、重みを設定する重み設定手段をさらに設け、前記特徴量算出手段には、前記周波数情報と、前記重み設定手段によって重みが設定された前記ブロックの前記色情報とに基づいて、前記入力画像の特徴量を算出させることができる。
【００１３】
前記画像処理装置には、前記入力画像の前記色情報に基づいて、前記ブロック毎の最頻色を表す最頻色情報を設定する最頻色設定手段をさらに設け、前記特徴量算出手段には、前記周波数情報と、前記最頻色設定手段によって設定された前記ブロック毎の前記最頻色情報とに基づいて、前記入力画像の特徴量を算出させることができる。
【００１４】
本発明の一側面の画像処理方法は、入力画像の周波数情報を抽出する周波数情報抽出ステップと、前記入力画像の色情報を抽出する色情報抽出ステップと、周波数情報抽出ステップにおいて抽出された前記周波数情報と、前記色情報抽出ステップにおいて抽出された前記色情報とに基づいて、前記入力画像の特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップによって算出された前記特徴量から、前記入力画像のシーンを判定するシーン判定ステップとを含む。
【００１５】
本発明の一側面のプログラムは、入力画像の周波数情報を抽出する周波数情報抽出ステップと、前記入力画像の色情報を抽出する色情報抽出ステップと、周波数情報抽出ステップにおいて抽出された前記周波数情報と、前記色情報抽出ステップにおいて抽出された前記色情報とに基づいて、前記入力画像の特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップによって算出された前記特徴量から、前記入力画像のシーンを判定するシーン判定ステップとを含む処理をコンピュータに実行させる。
【００１６】
本発明の一側面においては、入力画像の周波数情報が抽出され、入力画像の色情報が抽出され、抽出された周波数情報と色情報とに基づいて、入力画像の特徴量が算出され、算出された特徴量から、入力画像のシーンが判定される。
【発明の効果】
【００１７】
本発明の一側面によれば、より細かなシーン判定を行うことが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
【００１９】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の機能構成例を示している。
【００２０】
図１の画像処理装置１１は、例えば、デジタルカメラ等の撮像装置から入力された入力画像の特徴量を算出し、その特徴量に基づいて、その入力画像のシーンを判定し、判定結果を、他の画像処理装置に出力する。他の画像処理装置は、その判定結果に基づいて、複数の画像の自動分類を行ったり、画質の自動調整を行ったりする。
【００２１】
画像処理装置１１は、分割部３１、周波数情報抽出部３２、エッジ領域検出部３３、色情報抽出部３４、色情報重要度設定部３５、特徴量算出部３６、およびシーン判定部３７から構成される。
【００２２】
分割部３１は、入力された入力画像を所定の大きさのブロックに分割し、周波数情報抽出部３２、エッジ領域検出部３３、および色情報抽出部３４に供給する。
【００２３】
周波数情報抽出部３２は、分割部３１から供給されたブロック毎に、所定のフィルタを用いて空間周波数の周波数成分を表す周波数情報を抽出し、色情報重要度設定部３５および特徴量算出部３６に供給する。
【００２４】
エッジ領域検出部３３は、分割部３１から供給されたブロック毎に、所定のフィルタを用いてエッジ領域を検出し、そのエッジ領域を表すエッジ領域情報を、色情報重要度設定部３５に供給する。
【００２５】
色情報抽出部３４は、分割部３１から供給されたブロック毎に、色情報を抽出し、特徴量算出部３６に供給する。より具体的には、色情報抽出部３４は、各ブロックを構成する各画素について、以下の式（１）に従ってRGB（Red Green Blue）色空間で表現される画素値をHSV（Hue，Saturation，Brightness）色空間で表現される画素値に変換して得られる色相Hueを抽出する。
【００２６】
【数１】
【００２７】
式（１）において、MAXは、Ｒ，Ｇ，Ｂ各値のうちの最大値であり、MINは、Ｒ，Ｇ，Ｂ各値のうちの最小値である。また、MAX-MIN＝０であるときは、Hue＝０とする。さらに、Hue＜０またはHue≧360であるときは、Hue mod 360（Hueを360で除算した結果得られる剰余）の値をHueとする。
【００２８】
色情報重要度設定部３５は、周波数情報抽出部３２からの周波数情報、および、エッジ領域検出部３３からのエッジ領域情報に基づいて、色情報抽出部３４において抽出されたブロック毎の色情報に対する色情報重要度（重み）を設定する。色情報重要度設定部３５は、設定したブロック毎の色情報重要度を、特徴量算出部３６に供給する。
【００２９】
色情報重要度設定部３５は、積算部３５ａ、閾値判定部３５ｂ、および設定部３５ｃを備えている。
【００３０】
積算部３５ａは、エッジ領域検出部３３からのエッジ領域情報で表されるエッジ領域を除いたブロックの領域について、周波数情報抽出部３２からの周波数情報に基づいて、周波数出力の振幅に対応する特性値を積算する。
【００３１】
閾値判定部３５ｂは、注目ブロック内の特性値の積算値が、所定の閾値以上であるか否かを判定する。
【００３２】
設定部３５ｃは、閾値判定部３５ｂの判定結果に応じて、色情報重要度を設定する。
【００３３】
特徴量算出部３６は、ブロック毎の、周波数情報抽出部３２からの周波数情報、色情報抽出部３４からの色情報、および、色情報重要度設定部３５からの色情報重要度に基づいて、入力画像の特徴量を算出し、シーン判定部３７に供給する。
【００３４】
シーン判定部３７は、特徴量算出部３６からの特徴量を基に、入力画像のシーンを判定し、その判定結果を、他の画像処理装置に出力する。
【００３５】
［画像処理装置のシーン判定処理］
次に、図２のフローチャートを参照して、図１の画像処理装置１１のシーン判定処理について説明する。
【００３６】
ステップＳ１１において、分割部３１は、入力された入力画像を所定の大きさのブロックに分割し、周波数情報抽出部３２、エッジ領域検出部３３、および色情報抽出部３４に供給する。例えば、分割部３１は、図３の左側に示される、平原を撮影した入力画像を、図３の右側に示されるような、１６個（＝４×４）のブロックに分割する。なお、図３においては、各ブロックは、互いに重なることなく、同一形状、同一画素数で分割されているが、これに限らず、ブロック同士が重なっていたり、各ブロックの形状や画素数が同一でなくてもよい。分割されるブロック数についても、１６個に限るものではなく、その他の数のブロック数に分割するようにしてもよい。
【００３７】
ステップＳ１２において、周波数情報抽出部３２は、分割部３１から供給されたブロック毎に、所定のフィルタを用いて空間周波数の周波数成分を表す周波数情報を抽出し、色情報重要度設定部３５および特徴量算出部３６に供給する。より具体的には、周波数情報抽出部３２は、ブロック毎の画素に対してフーリエ変換を用いて周波数領域に変換し、例えば、図４に示されるような周波数振幅特性を有するGaborフィルタを用いて周波数情報を抽出する。ここでは、図４に示されるフーリエ空間上で、８種類の方向と、４種類のスケール（周波数領域）を採用した３２個のガボアフィルタにより、３２次元の周波数情報が得られる。さらに、周波数情報抽出部３２は、周波数領域に変換されたブロック毎に、各周波数帯域についての周波数逆変換を施し、画素空間に変換する。なお、周波数情報の抽出においては、上述のGaborフィルタに限らず、例えば、BPF（Band Pass Filter）を用いるようにしてもよい。
【００３８】
ステップＳ１３において、エッジ領域検出部３３は、分割部３１から供給されたブロック毎に、Laplacianフィルタを用いてエッジ領域を検出し、そのエッジ領域を表すエッジ領域情報を、色情報重要度設定部３５に供給する。より具体的には、エッジ領域検出部３３は、Laplacianフィルタの出力に対して、各ブロックの画素毎に、その大きさと空間的な連続性を評価し、各画素が、エッジ領域の画素であるか否かを判定することで、エッジ領域を検出する。なお、エッジ領域の検出に用いられるフィルタは、Laplacianフィルタに限らず、例えば、SobelフィルタやPrewittフィルタを用いるようにしてもよい。
【００３９】
ステップＳ１４において、色情報抽出部３４は、分割部３１から供給されたブロック毎に、色情報を抽出し、特徴量算出部３６に供給する。より具体的には、色情報抽出部３４は、各ブロックを構成する各画素について、RGB色空間で表現される画素値をHSV色空間で表現される画素値に変換して得られる色相Hueを抽出する。なお、ここでは、色情報として、色相Hueを抽出しているが、これに限らず、RGB値をそのまま色情報として用いるようにしてもよい。
【００４０】
ステップＳ１５において、色情報重要度設定部３５は、周波数情報抽出部３２からの周波数情報、および、エッジ領域検出部３３からのエッジ領域情報に基づいて、ブロック毎の色情報に対する色情報重要度を設定する、色情報重要度設定処理を行う。
【００４１】
［色情報重要度設定部の色情報重要度設定処理］
ここで、図５のフローチャートを参照して、図２のフローチャートのステップＳ１５における色情報重要度設定処理について説明する。
【００４２】
ステップＳ３１において、色情報重要度設定部３５の積算部３５ａは、エッジ領域検出部３３からのエッジ領域情報で表されるエッジ領域を除いたブロック（以下、注目ブロックともいう）の領域について、周波数情報抽出部３２からの周波数情報に基づいて、周波数出力の振幅に対応する特性値を積算する。
【００４３】
ステップＳ３２において、閾値判定部３５ｂは、注目ブロック内の特性値の積算値が、所定の閾値TH_sum以上であるか否かを判定する。
【００４４】
ステップＳ３２において、特性値の積算値が、所定の閾値TH_sum以上であると判定された場合、ステップＳ３３において、設定部３５ｃは、図６に示されるように、注目ブロックの色情報重要度として１を設定し、処理は、ステップＳ３５に進む。
【００４５】
図６は、周波数出力の振幅の特性値の積算値（振幅積算値）に対する色情報重要度の値の変化を示している。
【００４６】
図６によれば、振幅積算値が、所定の閾値TH_sum以上であるとき、色情報重要度は１となり、所定の閾値TH_sum以上でないとき、色情報重要度は０となる。
【００４７】
一方、ステップＳ３３において、特性値の積算値（振幅積算値）が、所定の閾値TH_sum以上でないと判定された場合、ステップＳ３３において、設定部３５ｃは、図６に示されるように、注目ブロックの色情報重要度として０を設定し、処理は、ステップＳ３５に進む。
【００４８】
ステップＳ３５において、設定部３５ｃは、全てのブロックについて色情報重要度を設定したか否かを判定する。
【００４９】
ステップＳ３５において、全てのブロックについて色情報重要度を設定していないと判定された場合、処理は、ステップＳ３１に戻り、全てのブロックについて色情報重要度を設定するまで、ステップＳ３１乃至Ｓ３５の処理が繰り返される。
【００５０】
一方、ステップＳ３５において、全てのブロックについて色情報重要度を設定したと判定された場合、処理は、図２のフローチャートのステップＳ１５に戻る。
【００５１】
このようにして、１個のブロックに対して、１つの色情報重要度が設定される。
【００５２】
以上の処理によれば、エッジ領域を除いた、いわゆるテクスチャ領域の総量が、所定の値より多いブロックのみに対して、重みを設定することができる。
【００５３】
なお、以上においては、色情報重要度は、閾値TH_sumによる２値としたが、周波数情報に関する特性値の積算値に応じて、０乃至１の間の値を連続的にとる連続値であってもよい。
【００５４】
また、閾値処理において、周波数出力の振幅に対応する特性値に対してノイズ除去を行った後に算出した積算値を用いるようにしてもよいし、注目ブロックにおいて、最大となる特性値を用いるようにしてもよい。
【００５５】
図２のフローチャートに戻り、ステップＳ１６において、特徴量算出部３６は、ブロック毎の、周波数情報抽出部３２からの周波数情報、色情報抽出部３４からの色情報、および、色情報重要度設定部３５からの色情報重要度に基づいて、入力画像の特徴量を算出し、シーン判定部３７に供給する。
【００５６】
より具体的には、特徴量算出部３６は、周波数情報に基づいて、ブロック毎の周波数出力の振幅に対応する特性値を積算する。これにより、周波数情報についての特徴量として、１６（ブロック数）×８（周波数方向）×４（周波数領域）＝５１２次元のベクトルが得られる。
【００５７】
また、特徴量算出部３６は、色情報に基づいて、ブロック毎の色情報を積算し、その積算値と、ブロック毎に設定された色情報重要度とを乗算する。これにより、色情報についての特徴量として、１６（ブロック数）×１（色情報積算値）＝１６次元のベクトルが得られる。なお、色情報重要度が０であるブロックの色情報は０として扱われる。
【００５８】
このようにして、特徴量算出部３６は、周波数情報および色情報から、５１２（次元）＋１６（次元）＝５２８（次元）のベクトルを特徴量として算出する。
【００５９】
ステップＳ１７において、シーン判定部３７は、特徴量算出部３６からの特徴量（ベクトル）に応じて、入力画像のシーンを判定し、その判定結果を、他の画像処理装置に出力する。より具体的には、シーン判定部３７は、予め設定した学習用画像と、例えば、SVM（Support Vector Machines）等の機械学習とを用いてシーン判定を行う。
【００６０】
SVMにおいては、２クラス判定（１対１の判定）が行われ、例えば、「平原・夏」のクラスとそれ以外のクラス、「平原・冬」のクラスとそれ以外のクラス、・・・のように判定され、それぞれのスコアが比較され、最もスコアの高いクラスが、判定結果とされる。
【００６１】
なお、シーン判定部３７は、SVMを用いることとしたが、これに限らず、例えば、ニューラルネットワークを用いたパターン認識や、パターンマッチング等によるパターン認識を用いるようにしてもよい。
【００６２】
以上の処理によれば、周波数情報と、周波数出力の振幅の大きいブロックの色情報とに基づいた特徴量が算出される。すなわち、例えば、図７で示されるような、葉の生い茂った並木道や、図８に示されるような、一面に花が咲き誇った花畑等の、高周波数成分の領域（高周波領域）を含む風景の画像に対して、その高周波領域の色情報に重みを設定した特徴量を得ることができる。結果として、図７において高周波領域である並木の色が、緑色であるか黄色であるかを判定することができ、例えば、そのシーンが、単に「並木道」ではなく、「夏の並木道」であるか、または「秋の並木道」であるかを判定することができる。また、図８において高周波領域である花畑の色が、白色であるか黄色であるかを判定することができ、そのシーンが、単に「花畑」ではなく、「秋の花畑」であるか「夏の花畑」であるかを判定することができる。
【００６３】
このように、同じような風景に対して、色によって季節を判定することができるので、より細かなシーン判定を行うことが可能となる。
【００６４】
以上においては、入力画像において、高周波数成分の領域の色に対して重みを設定する構成について説明してきたが、入力画像において、高彩度の領域の色に対して重みを設定するようにしてもよい。
【００６５】
＜２．第２の実施の形態＞
［画像処理装置の構成例］
図９は、入力画像において、高彩度の領域の色に対して重みを設定するようにした画像処理装置の構成例を示している。なお、図９の画像処理装置１１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【００６６】
すなわち、図９の画像処理装置１１１において、図１の画像処理装置１１と異なるのは、エッジ領域検出部３３および色情報重要度設定部３５に代えて、彩度算出部１３１および色情報重要度設定部１３２を設けた点である。
【００６７】
なお、図９において、周波数情報抽出部３２は、分割部３１から供給されたブロック毎に、所定のフィルタを用いて空間周波数の周波数成分を表す周波数情報を抽出し、特徴量算出部３６のみに供給する。
【００６８】
彩度算出部１３１は、分割部３１から供給されたブロック毎に、彩度を算出し、色情報重要度設定部１３２に供給する。より具体的には、彩度算出部１３１は、各ブロックを構成する各画素について、以下の式（２）に従って得られる彩度Saturationを算出する。
【００６９】
【数２】
【００７０】
式（２）において、MAXは、Ｒ，Ｇ，Ｂ各値のうちの最大値であり、MINは、Ｒ，Ｇ，Ｂ各値のうちの最小値である。また、MAX＝０であるときは、Saturation＝０とする。
【００７１】
色情報重要度設定部１３２は、彩度算出部１３１からの彩度に基づいて、色情報抽出部３４において抽出されたブロック毎の色情報に対する色情報重要度（重み）を設定する。色情報重要度設定部１３２は、設定したブロック毎の色情報重要度を、特徴量算出部３６に供給する。
【００７２】
色情報重要度設定部１３２は、積算部１３２ａ、閾値判定部１３２ｂ、および設定部１３２ｃを備えている。
【００７３】
積算部１３２ａは、注目ブロック内の各画素について算出された彩度を積算する。
【００７４】
閾値判定部１３２ｂは、注目ブロック内の彩度の積算値が、所定の閾値以上であるか否かを判定する。
【００７５】
設定部１３２ｃは、閾値判定部１３２ｂの判定結果に応じて、色情報重要度を設定する。
【００７６】
［画像処理装置のシーン判定処理］
次に、図１０のフローチャートを参照して、図９の画像処理装置１１１のシーン判定処理について説明する。なお、図１０のフローチャートにおけるステップＳ１１１，Ｓ１１２，Ｓ１１４，Ｓ１１６，Ｓ１１７の処理は、図２のフローチャートを参照して説明したステップＳ１１，Ｓ１２，Ｓ１４，Ｓ１６，Ｓ１７の処理と同様であるので、その説明は省略するものとする。
【００７７】
すなわち、ステップＳ１１３において、彩度算出部１３１は、分割部３１から供給されたブロック毎に、彩度を算出し、色情報重要度設定部１３２に供給する。
【００７８】
ステップＳ１１５において、色情報重要度設定部１３２は、彩度算出部１３１からの彩度に基づいて、ブロック毎の色情報に対する色情報重要度を設定する、色情報重要度設定処理を行う。
【００７９】
［色情報重要度設定部の色情報重要度設定処理］
ここで、図１１のフローチャートを参照して、図１０のフローチャートのステップＳ１１５における色情報重要度設定処理について説明する。
【００８０】
ステップＳ１３１において、色情報重要度設定部１３２の積算部１３２ａは、注目ブロック内の各画素について算出された彩度を積算する。
【００８１】
ステップＳ１３２において、閾値判定部１３２ｂは、注目ブロック内の彩度の積算値が、所定の閾値TH_sat以上であるか否かを判定する。
【００８２】
ステップＳ１３２において、彩度の積算値が、所定の閾値TH_sat以上であると判定された場合、ステップＳ１３３において、設定部１３２ｃは、図１２に示されるように、注目ブロックの色情報重要度として１を設定し、処理は、ステップＳ１３５に進む。
【００８３】
図１２は、彩度の積算値（Saturation積算値）に対する色情報重要度の値の変化を示している。
【００８４】
図１２によれば、Saturation積算値が、所定の閾値TH_sat以上であるとき、色情報重要度は１となり、所定の閾値TH_sat以上でないとき、色情報重要度は０となる。
【００８５】
一方、ステップＳ１３３において、彩度の積算値（Saturation積算値）が、所定の閾値TH_sat以上でないと判定された場合、ステップＳ１３４において、設定部１３２ｃは、図１２に示されるように、注目ブロックの色情報重要度として０を設定し、処理は、ステップＳ１３５に進む。
【００８６】
ステップＳ１３５において、設定部１３２ｃは、全てのブロックについて色情報重要度を設定したか否かを判定する。
【００８７】
ステップＳ１３５において、全てのブロックについて色情報重要度を設定していないと判定された場合、処理は、ステップＳ１３１に戻り、全てのブロックについて色情報重要度を設定するまで、ステップＳ１３１乃至Ｓ１３５の処理が繰り返される。
【００８８】
一方、ステップＳ１３５において、全てのブロックについて色情報重要度を設定したと判定された場合、処理は、図１０のフローチャートのステップＳ１１５に戻る。
【００８９】
このようにして、１個のブロックに対して、１つの色情報重要度が設定される。
【００９０】
以上の処理によれば、彩度が平均的に高いブロックのみに対して、重みを設定することができる。
【００９１】
なお、以上においては、色情報重要度は、閾値TH_satによる２値としたが、彩度の積算値に応じて、０乃至１の間の値を連続的にとる連続値であってもよい。
【００９２】
また、閾値処理において、注目ブロックにおいて、最大となる彩度を用いるようにしてもよい。
【００９３】
以上の処理によれば、周波数情報と、彩度の高いブロックの色情報とに基づいた特徴量が算出される。すなわち、例えば、図１３で示されるような、マクロ撮影された花や、図１４に示されるような、野菜の一例としてのパプリカ等の、鮮やかな色を持つ被写体の画像に対して、彩度の高い領域の色情報に重みを設定した特徴量を得ることができる。結果として、図１３において花びらの色が、紫色であるか黄色であるかを判定することができ、例えば、そのシーン（被写体）が、単に「花」ではなく、「紫色の花」であるか、または「黄色の花」であるかを判定することができる。また、図１４においてパプリカの色が、赤色であるか黄色であるかを判定することができ、そのシーン（被写体）が、単に「野菜」ではなく、「赤色の野菜」であるか「黄色の野菜」であるかを判定することができる。
【００９４】
このように、同じような形状の物体（被写体）に対して、色を判定することができるので、より細かなシーン判定を行うことが可能となる。
【００９５】
以上においては、入力画像において、高彩度の領域の色に対して重みを設定して特徴量を算出する構成について説明してきたが、入力画像において、出現頻度の高い色に基づいて特徴量を算出するようにしてもよい。
【００９６】
＜３．第３の実施の形態＞
［画像処理装置の構成例］
図１５は、入力画像において、出現頻度の高い色に基づいて特徴量を算出するようにした画像処理装置の構成例を示している。なお、図１５の画像処理装置２１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【００９７】
すなわち、図１５の画像処理装置２１１において、図１の画像処理装置１１と異なるのは、エッジ領域検出部３３および色情報重要度設定部３５を削除し、頻度解析部２３１を新たに設け、特徴量抽出部３６に代えて、特徴量抽出部２３２を設けた点である。
【００９８】
頻度解析部２３１は、色情報抽出部３４からのブロック毎の色情報に対して、予め設定された階級に基づいてヒストグラム解析を行い、解析結果を基に、各ブロックにおける最頻色を表す最頻色情報を設定し、特徴量算出部２３２に供給する。
【００９９】
頻度解析部２３１は、解析部２３１ａおよび設定部２３１ｂを備えている。
【０１００】
解析部２３１ａは、注目ブロック内の各画素の色情報（色相）についてヒストグラム解析を行う。
【０１０１】
設定部２３１ｂは、解析部２３１ａによるヒストグラム解析の解析結果を基に、注目ブロックにおける最頻色を表す最頻色情報を設定する。
【０１０２】
特徴量抽出部２３２は、ブロック毎の、周波数情報抽出部３２からの周波数情報、および、頻度解析部２３１からの最頻色情報に基づいて、入力画像の特徴量を算出し、シーン判定部３７に供給する。
【０１０３】
［画像処理装置のシーン判定処理］
次に、図１６のフローチャートを参照して、図１５の画像処理装置２１１のシーン判定処理について説明する。なお、図１６のフローチャートにおけるステップＳ２１１乃至Ｓ２１３，Ｓ２１６の処理は、図２のフローチャートを参照して説明したステップＳ１１，Ｓ１２，Ｓ１４，Ｓ１７の処理と同様であるので、その説明は省略するものとする。
【０１０４】
すなわち、ステップＳ２１４において、頻度解析部２３１は、色情報抽出部３４からのブロック毎の色情報に対して、予め設定された階級に基づいてヒストグラム解析を行い、各ブロックにおける最頻色を表す最頻色情報を設定する、最頻色設定処理を行う。
【０１０５】
［頻度解析部の最頻色設定処理］
ここで、図１７のフローチャートを参照して、図１６のフローチャートのステップＳ２１４における最頻色設定処理について説明する。
【０１０６】
ステップＳ２３１において、頻度解析部２３１の解析部２３１ａは、注目ブロック内の各画素の色情報（色相）についてヒストグラム解析を行う。
【０１０７】
ステップＳ２３２において、設定部２３１ｂは、解析部２３１ａによるヒストグラム解析の解析結果を基に、注目ブロックにおける最頻色を表す最頻色情報を設定する。
【０１０８】
ステップＳ２３３において、設定部２３１ｂは、全てのブロックについて最頻色情報を設定したか否かを判定する。
【０１０９】
ステップＳ２３３において、全てのブロックについて最頻色情報を設定していないと判定された場合、処理は、ステップＳ２３１に戻り、全てのブロックについて最頻色情報を設定するまで、ステップＳ２３１乃至Ｓ２３３の処理が繰り返される。
【０１１０】
一方、ステップＳ２３３において、全てのブロックについて色情報重要度を設定したと判定された場合、処理は、図１６のフローチャートのステップＳ２１４に戻る。
【０１１１】
このようにして、１個のブロックに対して、１つの最頻色情報が設定される。
【０１１２】
図１６のフローチャートに戻り、ステップＳ２１５において、特徴量算出部２３２は、ブロック毎の、周波数情報抽出部３２からの周波数情報、および、頻度解析部２３１からの最頻色情報に基づいて、入力画像の特徴量を算出し、シーン判定部３７に供給する。
【０１１３】
すなわち、特徴量算出部２３２は、周波数情報についての特徴量として、５１２次元のベクトルを得る他、最頻色情報に基づいて、色情報についての特徴量として、１６（ブロック数）×１（最頻色情報）＝１６次元のベクトルを得る。
【０１１４】
このようにして、特徴量算出部３６は、周波数情報および色情報から、５１２（次元）＋１６（次元）＝５２８（次元）のベクトルを特徴量として算出する。
【０１１５】
以上の処理によれば、周波数情報と、ブロック毎の最頻色情報とに基づいた特徴量が算出される。すなわち、例えば、図１８で示されるような、浜辺の画像に対して、ブロック毎の最頻色情報に基づいて特徴量を得ることができる。結果として、図１８中、下方に示される砂浜の色が、灰色であるか白色であるかを判定することができ、例えば、そのシーンが、単に「浜辺」ではなく、「日本の浜辺」であるか、または「南国の浜辺」であるかを判定することができる。同様に、図示しないが、例えば、空の色が、朱色であるか青色であるかを判定することができ、そのシーンが、単に「空」ではなく、「夕焼け空」であるか「昼間の空」であるかを判定することができる。さらに、例えば、人間の肌の色が、肌色であるか、黒色であるか、または白色であるかを判定することができ、そのシーン（被写体）が、単に「人間」ではなく、「黄色人種」であるか、「黒人」であるか、または「白人」であるかを判定することができる。
【０１１６】
このように、同じような形状の物体に対して、色を判定することができるので、より細かなシーン判定を行うことが可能となる。
【０１１７】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１１８】
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１１９】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１２０】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１２１】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２２】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１２３】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１２４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２５】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１２６】
【図１】本発明を適用した画像処理装置の一実施の形態の機能構成例を示す図である。
【図２】図１の画像処理装置のシーン判定処理について説明するフローチャートである。
【図３】入力画像の分割について説明する図である。
【図４】周波数情報の抽出について説明する図である。
【図５】色情報重要度設定処理について説明するフローチャートである。
【図６】色情報重要度の設定について説明する図である。
【図７】シーン判定される画像の例を示す図である。
【図８】シーン判定される画像の例を示す図である。
【図９】画像処理装置の他の構成例を示すブロック図である。
【図１０】図９の画像処理装置のシーン判定処理について説明するフローチャートである。
【図１１】色情報重要度設定処理について説明するフローチャートである。
【図１２】色情報重要度の設定について説明する図である。
【図１３】シーン判定される画像の例を示す図である。
【図１４】シーン判定される画像の例を示す図である。
【図１５】画像処理装置のさらに他の構成例を示すブロック図である。
【図１６】図１５の画像処理装置のシーン判定処理について説明するフローチャートである。
【図１７】最頻色設定処理について説明するフローチャートである。
【図１８】シーン判定される画像の例を示す図である。
【図１９】コンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０１２７】
１１ 画像処理装置， ３１ 分割部， ３２ 周波数情報抽出部， ３３ エッジ領域検出部， ３４ 色情報抽出部， ３５ 色情報重要度設定部， ３６ 特徴量算出部， ３７ シーン判定部， １１１ 画像処理装置， １３１ 彩度算出部， １３２ 色情報重要度設定部， ２１１ 画像処理装置， ２３１ 頻度解析部， ２３２ 特徴量算出部
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、より細かなシーン判定を行うことができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置によって撮影された画像データに対して、データ解析を行い、解析結果に基づいて、その撮影場面（撮影シーン）を判定する技術が知られている。
【０００３】
しかしながら、画像データの周波数情報（輝度信号）のみに基づいて撮影シーンを判定した場合、画像データにおける色までは判定することができなかった。
【０００４】
そこで、例えば、画像データを特徴付ける色相である特徴的色相を決定することで、撮影シーンを判定することが提案されている（例えば、特許文献１参照）。
【０００５】
【特許文献１】特開２００８−１５４２６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、撮影シーンが風景であった場合、その風景を特徴付ける色相は１つに限らない。特に、同じ風景であっても、異なる季節の風景の画像であれば、それぞれの画像を特徴付ける色相は多色にわたり、特許文献１の手法では、細かなシーン判定を行うことができない恐れがある。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、より細かなシーン判定を行うことができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の画像処理装置は、入力画像の周波数情報を抽出する周波数情報抽出手段と、前記入力画像の色情報を抽出する色情報抽出手段と、周波数情報抽出手段によって抽出された前記周波数情報と、前記色情報抽出手段によって抽出された前記色情報とに基づいて、前記入力画像の特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記特徴量から、前記入力画像のシーンを判定するシーン判定手段とを備える。
【０００９】
前記画像処理装置には、前記入力画像をブロックに分割する分割手段をさらに設け、前記周波数情報抽出手段には、前記ブロック毎に前記入力画像の周波数情報を抽出させ、前記色情報抽出手段には、前記ブロック毎に前記入力画像の色情報を抽出させることができる。
【００１０】
前記画像処理装置には、前記周波数情報抽出手段によって抽出された前記周波数情報の、前記ブロック毎の積算値が、所定の閾値以上である前記ブロックに対して、重みを設定する重み設定手段をさらに設け、前記特徴量算出手段には、前記周波数情報と、前記重み設定手段によって重みが設定された前記ブロックの前記色情報とに基づいて、前記入力画像の特徴量を算出させることができる。
【００１１】
前記画像処理装置には、前記ブロック毎の前記入力画像において、エッジ領域を検出するエッジ領域検出手段をさらに設け、前記重み設定手段には、前記エッジ領域を除いた前記ブロック毎の前記周波数情報の積算値が、所定の閾値以上である前記ブロックに対して、重みを設定させることができる。
【００１２】
前記画像処理装置には、前記入力画像の各画素の彩度を算出する彩度算出手段と、前記彩度算出手段によって抽出された前記彩度の、前記ブロック毎の積算値が、所定の閾値以上である前記ブロックに対して、重みを設定する重み設定手段をさらに設け、前記特徴量算出手段には、前記周波数情報と、前記重み設定手段によって重みが設定された前記ブロックの前記色情報とに基づいて、前記入力画像の特徴量を算出させることができる。
【００１３】
前記画像処理装置には、前記入力画像の前記色情報に基づいて、前記ブロック毎の最頻色を表す最頻色情報を設定する最頻色設定手段をさらに設け、前記特徴量算出手段には、前記周波数情報と、前記最頻色設定手段によって設定された前記ブロック毎の前記最頻色情報とに基づいて、前記入力画像の特徴量を算出させることができる。
【００１４】
本発明の一側面の画像処理方法は、入力画像の周波数情報を抽出する周波数情報抽出ステップと、前記入力画像の色情報を抽出する色情報抽出ステップと、周波数情報抽出ステップにおいて抽出された前記周波数情報と、前記色情報抽出ステップにおいて抽出された前記色情報とに基づいて、前記入力画像の特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップによって算出された前記特徴量から、前記入力画像のシーンを判定するシーン判定ステップとを含む。
【００１５】
本発明の一側面のプログラムは、入力画像の周波数情報を抽出する周波数情報抽出ステップと、前記入力画像の色情報を抽出する色情報抽出ステップと、周波数情報抽出ステップにおいて抽出された前記周波数情報と、前記色情報抽出ステップにおいて抽出された前記色情報とに基づいて、前記入力画像の特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップによって算出された前記特徴量から、前記入力画像のシーンを判定するシーン判定ステップとを含む処理をコンピュータに実行させる。
【００１６】
本発明の一側面においては、入力画像の周波数情報が抽出され、入力画像の色情報が抽出され、抽出された周波数情報と色情報とに基づいて、入力画像の特徴量が算出され、算出された特徴量から、入力画像のシーンが判定される。
【発明の効果】
【００１７】
本発明の一側面によれば、より細かなシーン判定を行うことが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
【００１９】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の機能構成例を示している。
【００２０】
図１の画像処理装置１１は、例えば、デジタルカメラ等の撮像装置から入力された入力画像の特徴量を算出し、その特徴量に基づいて、その入力画像のシーンを判定し、判定結果を、他の画像処理装置に出力する。他の画像処理装置は、その判定結果に基づいて、複数の画像の自動分類を行ったり、画質の自動調整を行ったりする。
【００２１】
画像処理装置１１は、分割部３１、周波数情報抽出部３２、エッジ領域検出部３３、色情報抽出部３４、色情報重要度設定部３５、特徴量算出部３６、およびシーン判定部３７から構成される。
【００２２】
分割部３１は、入力された入力画像を所定の大きさのブロックに分割し、周波数情報抽出部３２、エッジ領域検出部３３、および色情報抽出部３４に供給する。
【００２３】
周波数情報抽出部３２は、分割部３１から供給されたブロック毎に、所定のフィルタを用いて空間周波数の周波数成分を表す周波数情報を抽出し、色情報重要度設定部３５および特徴量算出部３６に供給する。
【００２４】
エッジ領域検出部３３は、分割部３１から供給されたブロック毎に、所定のフィルタを用いてエッジ領域を検出し、そのエッジ領域を表すエッジ領域情報を、色情報重要度設定部３５に供給する。
【００２５】
色情報抽出部３４は、分割部３１から供給されたブロック毎に、色情報を抽出し、特徴量算出部３６に供給する。より具体的には、色情報抽出部３４は、各ブロックを構成する各画素について、以下の式（１）に従ってRGB（Red Green Blue）色空間で表現される画素値をHSV（Hue，Saturation，Brightness）色空間で表現される画素値に変換して得られる色相Hueを抽出する。
【００２６】
【数１】
【００２７】
式（１）において、MAXは、Ｒ，Ｇ，Ｂ各値のうちの最大値であり、MINは、Ｒ，Ｇ，Ｂ各値のうちの最小値である。また、MAX-MIN＝０であるときは、Hue＝０とする。さらに、Hue＜０またはHue≧360であるときは、Hue mod 360（Hueを360で除算した結果得られる剰余）の値をHueとする。
【００２８】
色情報重要度設定部３５は、周波数情報抽出部３２からの周波数情報、および、エッジ領域検出部３３からのエッジ領域情報に基づいて、色情報抽出部３４において抽出されたブロック毎の色情報に対する色情報重要度（重み）を設定する。色情報重要度設定部３５は、設定したブロック毎の色情報重要度を、特徴量算出部３６に供給する。
【００２９】
色情報重要度設定部３５は、積算部３５ａ、閾値判定部３５ｂ、および設定部３５ｃを備えている。
【００３０】
積算部３５ａは、エッジ領域検出部３３からのエッジ領域情報で表されるエッジ領域を除いたブロックの領域について、周波数情報抽出部３２からの周波数情報に基づいて、周波数出力の振幅に対応する特性値を積算する。
【００３１】
閾値判定部３５ｂは、注目ブロック内の特性値の積算値が、所定の閾値以上であるか否かを判定する。
【００３２】
設定部３５ｃは、閾値判定部３５ｂの判定結果に応じて、色情報重要度を設定する。
【００３３】
特徴量算出部３６は、ブロック毎の、周波数情報抽出部３２からの周波数情報、色情報抽出部３４からの色情報、および、色情報重要度設定部３５からの色情報重要度に基づいて、入力画像の特徴量を算出し、シーン判定部３７に供給する。
【００３４】
シーン判定部３７は、特徴量算出部３６からの特徴量を基に、入力画像のシーンを判定し、その判定結果を、他の画像処理装置に出力する。
【００３５】
［画像処理装置のシーン判定処理］
次に、図２のフローチャートを参照して、図１の画像処理装置１１のシーン判定処理について説明する。
【００３６】
ステップＳ１１において、分割部３１は、入力された入力画像を所定の大きさのブロックに分割し、周波数情報抽出部３２、エッジ領域検出部３３、および色情報抽出部３４に供給する。例えば、分割部３１は、図３の左側に示される、平原を撮影した入力画像を、図３の右側に示されるような、１６個（＝４×４）のブロックに分割する。なお、図３においては、各ブロックは、互いに重なることなく、同一形状、同一画素数で分割されているが、これに限らず、ブロック同士が重なっていたり、各ブロックの形状や画素数が同一でなくてもよい。分割されるブロック数についても、１６個に限るものではなく、その他の数のブロック数に分割するようにしてもよい。
【００３７】
ステップＳ１２において、周波数情報抽出部３２は、分割部３１から供給されたブロック毎に、所定のフィルタを用いて空間周波数の周波数成分を表す周波数情報を抽出し、色情報重要度設定部３５および特徴量算出部３６に供給する。より具体的には、周波数情報抽出部３２は、ブロック毎の画素に対してフーリエ変換を用いて周波数領域に変換し、例えば、図４に示されるような周波数振幅特性を有するGaborフィルタを用いて周波数情報を抽出する。ここでは、図４に示されるフーリエ空間上で、８種類の方向と、４種類のスケール（周波数領域）を採用した３２個のガボアフィルタにより、３２次元の周波数情報が得られる。さらに、周波数情報抽出部３２は、周波数領域に変換されたブロック毎に、各周波数帯域についての周波数逆変換を施し、画素空間に変換する。なお、周波数情報の抽出においては、上述のGaborフィルタに限らず、例えば、BPF（Band Pass Filter）を用いるようにしてもよい。
【００３８】
ステップＳ１３において、エッジ領域検出部３３は、分割部３１から供給されたブロック毎に、Laplacianフィルタを用いてエッジ領域を検出し、そのエッジ領域を表すエッジ領域情報を、色情報重要度設定部３５に供給する。より具体的には、エッジ領域検出部３３は、Laplacianフィルタの出力に対して、各ブロックの画素毎に、その大きさと空間的な連続性を評価し、各画素が、エッジ領域の画素であるか否かを判定することで、エッジ領域を検出する。なお、エッジ領域の検出に用いられるフィルタは、Laplacianフィルタに限らず、例えば、SobelフィルタやPrewittフィルタを用いるようにしてもよい。
【００３９】
ステップＳ１４において、色情報抽出部３４は、分割部３１から供給されたブロック毎に、色情報を抽出し、特徴量算出部３６に供給する。より具体的には、色情報抽出部３４は、各ブロックを構成する各画素について、RGB色空間で表現される画素値をHSV色空間で表現される画素値に変換して得られる色相Hueを抽出する。なお、ここでは、色情報として、色相Hueを抽出しているが、これに限らず、RGB値をそのまま色情報として用いるようにしてもよい。
【００４０】
ステップＳ１５において、色情報重要度設定部３５は、周波数情報抽出部３２からの周波数情報、および、エッジ領域検出部３３からのエッジ領域情報に基づいて、ブロック毎の色情報に対する色情報重要度を設定する、色情報重要度設定処理を行う。
【００４１】
［色情報重要度設定部の色情報重要度設定処理］
ここで、図５のフローチャートを参照して、図２のフローチャートのステップＳ１５における色情報重要度設定処理について説明する。
【００４２】
ステップＳ３１において、色情報重要度設定部３５の積算部３５ａは、エッジ領域検出部３３からのエッジ領域情報で表されるエッジ領域を除いたブロック（以下、注目ブロックともいう）の領域について、周波数情報抽出部３２からの周波数情報に基づいて、周波数出力の振幅に対応する特性値を積算する。
【００４３】
ステップＳ３２において、閾値判定部３５ｂは、注目ブロック内の特性値の積算値が、所定の閾値TH_sum以上であるか否かを判定する。
【００４４】
ステップＳ３２において、特性値の積算値が、所定の閾値TH_sum以上であると判定された場合、ステップＳ３３において、設定部３５ｃは、図６に示されるように、注目ブロックの色情報重要度として１を設定し、処理は、ステップＳ３５に進む。
【００４５】
図６は、周波数出力の振幅の特性値の積算値（振幅積算値）に対する色情報重要度の値の変化を示している。
【００４６】
図６によれば、振幅積算値が、所定の閾値TH_sum以上であるとき、色情報重要度は１となり、所定の閾値TH_sum以上でないとき、色情報重要度は０となる。
【００４７】
一方、ステップＳ３３において、特性値の積算値（振幅積算値）が、所定の閾値TH_sum以上でないと判定された場合、ステップＳ３３において、設定部３５ｃは、図６に示されるように、注目ブロックの色情報重要度として０を設定し、処理は、ステップＳ３５に進む。
【００４８】
ステップＳ３５において、設定部３５ｃは、全てのブロックについて色情報重要度を設定したか否かを判定する。
【００４９】
ステップＳ３５において、全てのブロックについて色情報重要度を設定していないと判定された場合、処理は、ステップＳ３１に戻り、全てのブロックについて色情報重要度を設定するまで、ステップＳ３１乃至Ｓ３５の処理が繰り返される。
【００５０】
一方、ステップＳ３５において、全てのブロックについて色情報重要度を設定したと判定された場合、処理は、図２のフローチャートのステップＳ１５に戻る。
【００５１】
このようにして、１個のブロックに対して、１つの色情報重要度が設定される。
【００５２】
以上の処理によれば、エッジ領域を除いた、いわゆるテクスチャ領域の総量が、所定の値より多いブロックのみに対して、重みを設定することができる。
【００５３】
なお、以上においては、色情報重要度は、閾値TH_sumによる２値としたが、周波数情報に関する特性値の積算値に応じて、０乃至１の間の値を連続的にとる連続値であってもよい。
【００５４】
また、閾値処理において、周波数出力の振幅に対応する特性値に対してノイズ除去を行った後に算出した積算値を用いるようにしてもよいし、注目ブロックにおいて、最大となる特性値を用いるようにしてもよい。
【００５５】
図２のフローチャートに戻り、ステップＳ１６において、特徴量算出部３６は、ブロック毎の、周波数情報抽出部３２からの周波数情報、色情報抽出部３４からの色情報、および、色情報重要度設定部３５からの色情報重要度に基づいて、入力画像の特徴量を算出し、シーン判定部３７に供給する。
【００５６】
より具体的には、特徴量算出部３６は、周波数情報に基づいて、ブロック毎の周波数出力の振幅に対応する特性値を積算する。これにより、周波数情報についての特徴量として、１６（ブロック数）×８（周波数方向）×４（周波数領域）＝５１２次元のベクトルが得られる。
【００５７】
また、特徴量算出部３６は、色情報に基づいて、ブロック毎の色情報を積算し、その積算値と、ブロック毎に設定された色情報重要度とを乗算する。これにより、色情報についての特徴量として、１６（ブロック数）×１（色情報積算値）＝１６次元のベクトルが得られる。なお、色情報重要度が０であるブロックの色情報は０として扱われる。
【００５８】
このようにして、特徴量算出部３６は、周波数情報および色情報から、５１２（次元）＋１６（次元）＝５２８（次元）のベクトルを特徴量として算出する。
【００５９】
ステップＳ１７において、シーン判定部３７は、特徴量算出部３６からの特徴量（ベクトル）に応じて、入力画像のシーンを判定し、その判定結果を、他の画像処理装置に出力する。より具体的には、シーン判定部３７は、予め設定した学習用画像と、例えば、SVM（Support Vector Machines）等の機械学習とを用いてシーン判定を行う。
【００６０】
SVMにおいては、２クラス判定（１対１の判定）が行われ、例えば、「平原・夏」のクラスとそれ以外のクラス、「平原・冬」のクラスとそれ以外のクラス、・・・のように判定され、それぞれのスコアが比較され、最もスコアの高いクラスが、判定結果とされる。
【００６１】
なお、シーン判定部３７は、SVMを用いることとしたが、これに限らず、例えば、ニューラルネットワークを用いたパターン認識や、パターンマッチング等によるパターン認識を用いるようにしてもよい。
【００６２】
以上の処理によれば、周波数情報と、周波数出力の振幅の大きいブロックの色情報とに基づいた特徴量が算出される。すなわち、例えば、図７で示されるような、葉の生い茂った並木道や、図８に示されるような、一面に花が咲き誇った花畑等の、高周波数成分の領域（高周波領域）を含む風景の画像に対して、その高周波領域の色情報に重みを設定した特徴量を得ることができる。結果として、図７において高周波領域である並木の色が、緑色であるか黄色であるかを判定することができ、例えば、そのシーンが、単に「並木道」ではなく、「夏の並木道」であるか、または「秋の並木道」であるかを判定することができる。また、図８において高周波領域である花畑の色が、白色であるか黄色であるかを判定することができ、そのシーンが、単に「花畑」ではなく、「秋の花畑」であるか「夏の花畑」であるかを判定することができる。
【００６３】
このように、同じような風景に対して、色によって季節を判定することができるので、より細かなシーン判定を行うことが可能となる。
【００６４】
以上においては、入力画像において、高周波数成分の領域の色に対して重みを設定する構成について説明してきたが、入力画像において、高彩度の領域の色に対して重みを設定するようにしてもよい。
【００６５】
＜２．第２の実施の形態＞
［画像処理装置の構成例］
図９は、入力画像において、高彩度の領域の色に対して重みを設定するようにした画像処理装置の構成例を示している。なお、図９の画像処理装置１１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【００６６】
すなわち、図９の画像処理装置１１１において、図１の画像処理装置１１と異なるのは、エッジ領域検出部３３および色情報重要度設定部３５に代えて、彩度算出部１３１および色情報重要度設定部１３２を設けた点である。
【００６７】
なお、図９において、周波数情報抽出部３２は、分割部３１から供給されたブロック毎に、所定のフィルタを用いて空間周波数の周波数成分を表す周波数情報を抽出し、特徴量算出部３６のみに供給する。
【００６８】
彩度算出部１３１は、分割部３１から供給されたブロック毎に、彩度を算出し、色情報重要度設定部１３２に供給する。より具体的には、彩度算出部１３１は、各ブロックを構成する各画素について、以下の式（２）に従って得られる彩度Saturationを算出する。
【００６９】
【数２】
【００７０】
式（２）において、MAXは、Ｒ，Ｇ，Ｂ各値のうちの最大値であり、MINは、Ｒ，Ｇ，Ｂ各値のうちの最小値である。また、MAX＝０であるときは、Saturation＝０とする。
【００７１】
色情報重要度設定部１３２は、彩度算出部１３１からの彩度に基づいて、色情報抽出部３４において抽出されたブロック毎の色情報に対する色情報重要度（重み）を設定する。色情報重要度設定部１３２は、設定したブロック毎の色情報重要度を、特徴量算出部３６に供給する。
【００７２】
色情報重要度設定部１３２は、積算部１３２ａ、閾値判定部１３２ｂ、および設定部１３２ｃを備えている。
【００７３】
積算部１３２ａは、注目ブロック内の各画素について算出された彩度を積算する。
【００７４】
閾値判定部１３２ｂは、注目ブロック内の彩度の積算値が、所定の閾値以上であるか否かを判定する。
【００７５】
設定部１３２ｃは、閾値判定部１３２ｂの判定結果に応じて、色情報重要度を設定する。
【００７６】
［画像処理装置のシーン判定処理］
次に、図１０のフローチャートを参照して、図９の画像処理装置１１１のシーン判定処理について説明する。なお、図１０のフローチャートにおけるステップＳ１１１，Ｓ１１２，Ｓ１１４，Ｓ１１６，Ｓ１１７の処理は、図２のフローチャートを参照して説明したステップＳ１１，Ｓ１２，Ｓ１４，Ｓ１６，Ｓ１７の処理と同様であるので、その説明は省略するものとする。
【００７７】
すなわち、ステップＳ１１３において、彩度算出部１３１は、分割部３１から供給されたブロック毎に、彩度を算出し、色情報重要度設定部１３２に供給する。
【００７８】
ステップＳ１１５において、色情報重要度設定部１３２は、彩度算出部１３１からの彩度に基づいて、ブロック毎の色情報に対する色情報重要度を設定する、色情報重要度設定処理を行う。
【００７９】
［色情報重要度設定部の色情報重要度設定処理］
ここで、図１１のフローチャートを参照して、図１０のフローチャートのステップＳ１１５における色情報重要度設定処理について説明する。
【００８０】
ステップＳ１３１において、色情報重要度設定部１３２の積算部１３２ａは、注目ブロック内の各画素について算出された彩度を積算する。
【００８１】
ステップＳ１３２において、閾値判定部１３２ｂは、注目ブロック内の彩度の積算値が、所定の閾値TH_sat以上であるか否かを判定する。
【００８２】
ステップＳ１３２において、彩度の積算値が、所定の閾値TH_sat以上であると判定された場合、ステップＳ１３３において、設定部１３２ｃは、図１２に示されるように、注目ブロックの色情報重要度として１を設定し、処理は、ステップＳ１３５に進む。
【００８３】
図１２は、彩度の積算値（Saturation積算値）に対する色情報重要度の値の変化を示している。
【００８４】
図１２によれば、Saturation積算値が、所定の閾値TH_sat以上であるとき、色情報重要度は１となり、所定の閾値TH_sat以上でないとき、色情報重要度は０となる。
【００８５】
一方、ステップＳ１３３において、彩度の積算値（Saturation積算値）が、所定の閾値TH_sat以上でないと判定された場合、ステップＳ１３４において、設定部１３２ｃは、図１２に示されるように、注目ブロックの色情報重要度として０を設定し、処理は、ステップＳ１３５に進む。
【００８６】
ステップＳ１３５において、設定部１３２ｃは、全てのブロックについて色情報重要度を設定したか否かを判定する。
【００８７】
ステップＳ１３５において、全てのブロックについて色情報重要度を設定していないと判定された場合、処理は、ステップＳ１３１に戻り、全てのブロックについて色情報重要度を設定するまで、ステップＳ１３１乃至Ｓ１３５の処理が繰り返される。
【００８８】
一方、ステップＳ１３５において、全てのブロックについて色情報重要度を設定したと判定された場合、処理は、図１０のフローチャートのステップＳ１１５に戻る。
【００８９】
このようにして、１個のブロックに対して、１つの色情報重要度が設定される。
【００９０】
以上の処理によれば、彩度が平均的に高いブロックのみに対して、重みを設定することができる。
【００９１】
なお、以上においては、色情報重要度は、閾値TH_satによる２値としたが、彩度の積算値に応じて、０乃至１の間の値を連続的にとる連続値であってもよい。
【００９２】
また、閾値処理において、注目ブロックにおいて、最大となる彩度を用いるようにしてもよい。
【００９３】
以上の処理によれば、周波数情報と、彩度の高いブロックの色情報とに基づいた特徴量が算出される。すなわち、例えば、図１３で示されるような、マクロ撮影された花や、図１４に示されるような、野菜の一例としてのパプリカ等の、鮮やかな色を持つ被写体の画像に対して、彩度の高い領域の色情報に重みを設定した特徴量を得ることができる。結果として、図１３において花びらの色が、紫色であるか黄色であるかを判定することができ、例えば、そのシーン（被写体）が、単に「花」ではなく、「紫色の花」であるか、または「黄色の花」であるかを判定することができる。また、図１４においてパプリカの色が、赤色であるか黄色であるかを判定することができ、そのシーン（被写体）が、単に「野菜」ではなく、「赤色の野菜」であるか「黄色の野菜」であるかを判定することができる。
【００９４】
このように、同じような形状の物体（被写体）に対して、色を判定することができるので、より細かなシーン判定を行うことが可能となる。
【００９５】
以上においては、入力画像において、高彩度の領域の色に対して重みを設定して特徴量を算出する構成について説明してきたが、入力画像において、出現頻度の高い色に基づいて特徴量を算出するようにしてもよい。
【００９６】
＜３．第３の実施の形態＞
［画像処理装置の構成例］
図１５は、入力画像において、出現頻度の高い色に基づいて特徴量を算出するようにした画像処理装置の構成例を示している。なお、図１５の画像処理装置２１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【００９７】
すなわち、図１５の画像処理装置２１１において、図１の画像処理装置１１と異なるのは、エッジ領域検出部３３および色情報重要度設定部３５を削除し、頻度解析部２３１を新たに設け、特徴量抽出部３６に代えて、特徴量抽出部２３２を設けた点である。
【００９８】
頻度解析部２３１は、色情報抽出部３４からのブロック毎の色情報に対して、予め設定された階級に基づいてヒストグラム解析を行い、解析結果を基に、各ブロックにおける最頻色を表す最頻色情報を設定し、特徴量算出部２３２に供給する。
【００９９】
頻度解析部２３１は、解析部２３１ａおよび設定部２３１ｂを備えている。
【０１００】
解析部２３１ａは、注目ブロック内の各画素の色情報（色相）についてヒストグラム解析を行う。
【０１０１】
設定部２３１ｂは、解析部２３１ａによるヒストグラム解析の解析結果を基に、注目ブロックにおける最頻色を表す最頻色情報を設定する。
【０１０２】
特徴量抽出部２３２は、ブロック毎の、周波数情報抽出部３２からの周波数情報、および、頻度解析部２３１からの最頻色情報に基づいて、入力画像の特徴量を算出し、シーン判定部３７に供給する。
【０１０３】
［画像処理装置のシーン判定処理］
次に、図１６のフローチャートを参照して、図１５の画像処理装置２１１のシーン判定処理について説明する。なお、図１６のフローチャートにおけるステップＳ２１１乃至Ｓ２１３，Ｓ２１６の処理は、図２のフローチャートを参照して説明したステップＳ１１，Ｓ１２，Ｓ１４，Ｓ１７の処理と同様であるので、その説明は省略するものとする。
【０１０４】
すなわち、ステップＳ２１４において、頻度解析部２３１は、色情報抽出部３４からのブロック毎の色情報に対して、予め設定された階級に基づいてヒストグラム解析を行い、各ブロックにおける最頻色を表す最頻色情報を設定する、最頻色設定処理を行う。
【０１０５】
［頻度解析部の最頻色設定処理］
ここで、図１７のフローチャートを参照して、図１６のフローチャートのステップＳ２１４における最頻色設定処理について説明する。
【０１０６】
ステップＳ２３１において、頻度解析部２３１の解析部２３１ａは、注目ブロック内の各画素の色情報（色相）についてヒストグラム解析を行う。
【０１０７】
ステップＳ２３２において、設定部２３１ｂは、解析部２３１ａによるヒストグラム解析の解析結果を基に、注目ブロックにおける最頻色を表す最頻色情報を設定する。
【０１０８】
ステップＳ２３３において、設定部２３１ｂは、全てのブロックについて最頻色情報を設定したか否かを判定する。
【０１０９】
ステップＳ２３３において、全てのブロックについて最頻色情報を設定していないと判定された場合、処理は、ステップＳ２３１に戻り、全てのブロックについて最頻色情報を設定するまで、ステップＳ２３１乃至Ｓ２３３の処理が繰り返される。
【０１１０】
一方、ステップＳ２３３において、全てのブロックについて色情報重要度を設定したと判定された場合、処理は、図１６のフローチャートのステップＳ２１４に戻る。
【０１１１】
このようにして、１個のブロックに対して、１つの最頻色情報が設定される。
【０１１２】
図１６のフローチャートに戻り、ステップＳ２１５において、特徴量算出部２３２は、ブロック毎の、周波数情報抽出部３２からの周波数情報、および、頻度解析部２３１からの最頻色情報に基づいて、入力画像の特徴量を算出し、シーン判定部３７に供給する。
【０１１３】
すなわち、特徴量算出部２３２は、周波数情報についての特徴量として、５１２次元のベクトルを得る他、最頻色情報に基づいて、色情報についての特徴量として、１６（ブロック数）×１（最頻色情報）＝１６次元のベクトルを得る。
【０１１４】
このようにして、特徴量算出部３６は、周波数情報および色情報から、５１２（次元）＋１６（次元）＝５２８（次元）のベクトルを特徴量として算出する。
【０１１５】
以上の処理によれば、周波数情報と、ブロック毎の最頻色情報とに基づいた特徴量が算出される。すなわち、例えば、図１８で示されるような、浜辺の画像に対して、ブロック毎の最頻色情報に基づいて特徴量を得ることができる。結果として、図１８中、下方に示される砂浜の色が、灰色であるか白色であるかを判定することができ、例えば、そのシーンが、単に「浜辺」ではなく、「日本の浜辺」であるか、または「南国の浜辺」であるかを判定することができる。同様に、図示しないが、例えば、空の色が、朱色であるか青色であるかを判定することができ、そのシーンが、単に「空」ではなく、「夕焼け空」であるか「昼間の空」であるかを判定することができる。さらに、例えば、人間の肌の色が、肌色であるか、黒色であるか、または白色であるかを判定することができ、そのシーン（被写体）が、単に「人間」ではなく、「黄色人種」であるか、「黒人」であるか、または「白人」であるかを判定することができる。
【０１１６】
このように、同じような形状の物体に対して、色を判定することができるので、より細かなシーン判定を行うことが可能となる。
【０１１７】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１１８】
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１１９】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１２０】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１２１】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２２】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１２３】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１２４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２５】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１２６】
【図１】本発明を適用した画像処理装置の一実施の形態の機能構成例を示す図である。
【図２】図１の画像処理装置のシーン判定処理について説明するフローチャートである。
【図３】入力画像の分割について説明する図である。
【図４】周波数情報の抽出について説明する図である。
【図５】色情報重要度設定処理について説明するフローチャートである。
【図６】色情報重要度の設定について説明する図である。
【図７】シーン判定される画像の例を示す図である。
【図８】シーン判定される画像の例を示す図である。
【図９】画像処理装置の他の構成例を示すブロック図である。
【図１０】図９の画像処理装置のシーン判定処理について説明するフローチャートである。
【図１１】色情報重要度設定処理について説明するフローチャートである。
【図１２】色情報重要度の設定について説明する図である。
【図１３】シーン判定される画像の例を示す図である。
【図１４】シーン判定される画像の例を示す図である。
【図１５】画像処理装置のさらに他の構成例を示すブロック図である。
【図１６】図１５の画像処理装置のシーン判定処理について説明するフローチャートである。
【図１７】最頻色設定処理について説明するフローチャートである。
【図１８】シーン判定される画像の例を示す図である。
【図１９】コンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０１２７】
１１ 画像処理装置， ３１ 分割部， ３２ 周波数情報抽出部， ３３ エッジ領域検出部， ３４ 色情報抽出部， ３５ 色情報重要度設定部， ３６ 特徴量算出部， ３７ シーン判定部， １１１ 画像処理装置， １３１ 彩度算出部， １３２ 色情報重要度設定部， ２１１ 画像処理装置， ２３１ 頻度解析部， ２３２ 特徴量算出部
【特許請求の範囲】
【請求項１】
入力画像の周波数情報を抽出する周波数情報抽出手段と、
前記入力画像の色情報を抽出する色情報抽出手段と、
周波数情報抽出手段によって抽出された前記周波数情報と、前記色情報抽出手段によって抽出された前記色情報とに基づいて、前記入力画像の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された前記特徴量から、前記入力画像のシーンを判定するシーン判定手段と
を備える画像処理装置。
【請求項２】
前記入力画像をブロックに分割する分割手段をさらに備え、
前記周波数情報抽出手段は、前記ブロック毎に前記入力画像の周波数情報を抽出し、
前記色情報抽出手段は、前記ブロック毎に前記入力画像の色情報を抽出する
請求項１に記載の画像処理装置。
【請求項３】
前記周波数情報抽出手段によって抽出された前記周波数情報の、前記ブロック毎の積算値が、所定の閾値以上である前記ブロックに対して、重みを設定する重み設定手段をさらに備え、
前記特徴量算出手段は、前記周波数情報と、前記重み設定手段によって重みが設定された前記ブロックの前記色情報とに基づいて、前記入力画像の特徴量を算出する
請求項２に記載の画像処理装置。
【請求項４】
前記ブロック毎の前記入力画像において、エッジ領域を検出するエッジ領域検出手段をさらに備え、
前記重み設定手段は、前記エッジ領域を除いた前記ブロック毎の前記周波数情報の積算値が、所定の閾値以上である前記ブロックに対して、重みを設定する
請求項３に記載の画像処理装置。
【請求項５】
前記入力画像の各画素の彩度を算出する彩度算出手段と、
前記彩度算出手段によって抽出された前記彩度の、前記ブロック毎の積算値が、所定の閾値以上である前記ブロックに対して、重みを設定する重み設定手段をさらに備え、
前記特徴量算出手段は、前記周波数情報と、前記重み設定手段によって重みが設定された前記ブロックの前記色情報とに基づいて、前記入力画像の特徴量を算出する
請求項２に記載の画像処理装置。
【請求項６】
前記入力画像の前記色情報に基づいて、前記ブロック毎の最頻色を表す最頻色情報を設定する最頻色設定手段をさらに備え、
前記特徴量算出手段は、前記周波数情報と、前記最頻色設定手段によって設定された前記ブロック毎の前記最頻色情報とに基づいて、前記入力画像の特徴量を算出する
請求項２に記載の画像処理装置。
【請求項７】
入力画像の周波数情報を抽出する周波数情報抽出ステップと、
前記入力画像の色情報を抽出する色情報抽出ステップと、
周波数情報抽出ステップにおいて抽出された前記周波数情報と、前記色情報抽出ステップにおいて抽出された前記色情報とに基づいて、前記入力画像の特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップによって算出された前記特徴量から、前記入力画像のシーンを判定するシーン判定ステップと
を含む画像処理方法。
【請求項８】
入力画像の周波数情報を抽出する周波数情報抽出ステップと、
前記入力画像の色情報を抽出する色情報抽出ステップと、
周波数情報抽出ステップにおいて抽出された前記周波数情報と、前記色情報抽出ステップにおいて抽出された前記色情報とに基づいて、前記入力画像の特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップによって算出された前記特徴量から、前記入力画像のシーンを判定するシーン判定ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１】
入力画像の周波数情報を抽出する周波数情報抽出手段と、
前記入力画像の色情報を抽出する色情報抽出手段と、
周波数情報抽出手段によって抽出された前記周波数情報と、前記色情報抽出手段によって抽出された前記色情報とに基づいて、前記入力画像の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された前記特徴量から、前記入力画像のシーンを判定するシーン判定手段と
を備える画像処理装置。
【請求項２】
前記入力画像をブロックに分割する分割手段をさらに備え、
前記周波数情報抽出手段は、前記ブロック毎に前記入力画像の周波数情報を抽出し、
前記色情報抽出手段は、前記ブロック毎に前記入力画像の色情報を抽出する
請求項１に記載の画像処理装置。
【請求項３】
前記周波数情報抽出手段によって抽出された前記周波数情報の、前記ブロック毎の積算値が、所定の閾値以上である前記ブロックに対して、重みを設定する重み設定手段をさらに備え、
前記特徴量算出手段は、前記周波数情報と、前記重み設定手段によって重みが設定された前記ブロックの前記色情報とに基づいて、前記入力画像の特徴量を算出する
請求項２に記載の画像処理装置。
【請求項４】
前記ブロック毎の前記入力画像において、エッジ領域を検出するエッジ領域検出手段をさらに備え、
前記重み設定手段は、前記エッジ領域を除いた前記ブロック毎の前記周波数情報の積算値が、所定の閾値以上である前記ブロックに対して、重みを設定する
請求項３に記載の画像処理装置。
【請求項５】
前記入力画像の各画素の彩度を算出する彩度算出手段と、
前記彩度算出手段によって抽出された前記彩度の、前記ブロック毎の積算値が、所定の閾値以上である前記ブロックに対して、重みを設定する重み設定手段をさらに備え、
前記特徴量算出手段は、前記周波数情報と、前記重み設定手段によって重みが設定された前記ブロックの前記色情報とに基づいて、前記入力画像の特徴量を算出する
請求項２に記載の画像処理装置。
【請求項６】
前記入力画像の前記色情報に基づいて、前記ブロック毎の最頻色を表す最頻色情報を設定する最頻色設定手段をさらに備え、
前記特徴量算出手段は、前記周波数情報と、前記最頻色設定手段によって設定された前記ブロック毎の前記最頻色情報とに基づいて、前記入力画像の特徴量を算出する
請求項２に記載の画像処理装置。
【請求項７】
入力画像の周波数情報を抽出する周波数情報抽出ステップと、
前記入力画像の色情報を抽出する色情報抽出ステップと、
周波数情報抽出ステップにおいて抽出された前記周波数情報と、前記色情報抽出ステップにおいて抽出された前記色情報とに基づいて、前記入力画像の特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップによって算出された前記特徴量から、前記入力画像のシーンを判定するシーン判定ステップと
を含む画像処理方法。
【請求項８】
入力画像の周波数情報を抽出する周波数情報抽出ステップと、
前記入力画像の色情報を抽出する色情報抽出ステップと、
周波数情報抽出ステップにおいて抽出された前記周波数情報と、前記色情報抽出ステップにおいて抽出された前記色情報とに基づいて、前記入力画像の特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップによって算出された前記特徴量から、前記入力画像のシーンを判定するシーン判定ステップと
を含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−６１５９９（Ｐ２０１０−６１５９９Ａ）
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願番号】特願２００８−２２９３１１（Ｐ２００８−２２９３１１）
【出願日】平成２０年９月８日（２００８．９．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願日】平成２０年９月８日（２００８．９．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]