画像処理装置および方法、並びにプログラム
【課題】よりコストの低い演算で、入力画像の構図を詳細な構図パターンに分類する。
【解決手段】対称度算出部３１は、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出し、分割線検出部３２は、入力画像における画素の画素情報の分布から、入力画像を分割する分割線を検出し、構図分類部３３は、対称度および分割線の少なくともいずれか一方に基づいて、入力画像の構図を、予め決められている構図パターンのいずれかに分類する。本発明は、デジタルカメラに適用することができる。
【解決手段】対称度算出部３１は、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出し、分割線検出部３２は、入力画像における画素の画素情報の分布から、入力画像を分割する分割線を検出し、構図分類部３３は、対称度および分割線の少なくともいずれか一方に基づいて、入力画像の構図を、予め決められている構図パターンのいずれかに分類する。本発明は、デジタルカメラに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、入力画像の構図を分類することができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置によって撮像された画像の構図パターンを識別する技術がある。
【０００３】
例えば、注目被写体を認識し、注目被写体の状態を認識し、認識された注目被写体の状態に基づいて、記録されている複数の構図パターンのうち、注目被写体を含む構図パターンを選択するようにした技術がある（例えば、特許文献１参照）。
【０００４】
また、入力画像を解析して特徴パターンを検出し、予め用意された複数の構図と、検出された特徴パターンとの間の関連度を評価値として算出し、その評価値に基づいて、入力画像の構図を決定する画像処理装置が提案されている（例えば、特許文献２参照）。
【０００５】
さらに、撮影画像における主要被写体の上端に対応するエッジや、撮影画像の対応する二辺の間に延びるエッジを抽出し、抽出されたエッジの位置や傾きを、予め定められた適正範囲と対比して、構図の良否を判定するカメラが提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−８１２４６号公報
【特許文献２】特開２００９−１５９０２３号公報
【特許文献３】特許第４０２９１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の手法においては、被写体を認識したり、被写体の状態を認識するのに、コストの高い演算が必要であった。
【０００８】
また、特許文献２の手法においては、予め用意された複数の構図と、入力画像を解析して検出された特徴パターンとの間についての評価値が、画素毎に算出されるため、やはり、コストの高い演算が必要であった。
【０００９】
さらに、特許文献３の手法においては、構図の良否の判定基準が、撮影画像における主要被写体の上端に対応するエッジか、撮影画像の対応する二辺の間に延びるエッジのみであるので、判定される構図の種類が限られていた。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、よりコストの低い演算で、入力画像の構図を詳細な構図パターンに分類することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の画像処理装置は、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出手段と、前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出手段と、前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類手段とを備える。
【００１２】
前記算出手段には、前記入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する、前記入力画像のエッジ情報および色情報の少なくともいずれか一方についての前記対称度を算出させることができる。
【００１３】
前記算出手段には、前記入力画像の中心点からの距離に応じた重み付けをして、前記対称度を算出させることができる。
【００１４】
前記検出手段には、前記入力画像において、所定の方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記分割線を検出させることができる。
【００１５】
前記検出手段には、前記入力画像の中心点からの距離に応じた重み付けをして、前記エッジ情報を積算させることができる。
【００１６】
前記検出手段には、前記入力画像において、水平方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記入力画像を水平方向に分割する前記分割線である水平分割線を検出させることができる。
【００１７】
前記検出手段には、前記入力画像において、垂直方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記入力画像を垂直方向に分割する前記分割線である垂直分割線を検出させることができる。
【００１８】
前記検出手段には、前記入力画像において、斜め方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記入力画像を斜め方向に分割する前記分割線である斜め分割線を検出させることができる。
【００１９】
前記検出手段には、前記入力画像の前記エッジ情報を２値化し、前記入力画像を、前記斜め方向に対応する角度だけ回転して、２値化された前記エッジ情報を積算させることができる。
【００２０】
本発明の一側面の画像処理方法は、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出手段と、前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出手段と、前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類手段とを備える画像処理装置の画像処理方法であって、前記算出手段が、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出ステップと、前記検出手段が、前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出ステップと、前記分類手段が、前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類ステップとを含む。
【００２１】
本発明の一側面のプログラムは、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出ステップと、前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出ステップと、前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類ステップとを含む処理をコンピュータに実行させる。
【００２２】
本発明の一側面においては、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度が算出され、入力画像における画素の画素情報の分布から、入力画像を分割する分割線が検出され、対称度および分割線の少なくともいずれか一方に基づいて、入力画像の構図が、予め決められている構図パターンのいずれかに分類される。
【発明の効果】
【００２３】
本発明の一側面によれば、より低コストな演算で、入力画像の構図を詳細な構図パターンに分類することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図２】対称度算出部の機能構成例を示すブロック図である。
【図３】エッジ対称度算出部の機能構成例を示すブロック図である。
【図４】色対称度算出部の機能構成例を示すブロック図である。
【図５】分割線検出部の機能構成例を示すブロック図である。
【図６】水平分割線検出部の機能構成例を示すブロック図である。
【図７】垂直分割線検出部の機能構成例を示すブロック図である。
【図８】斜め分割線検出部の機能構成例を示すブロック図である。
【図９】構図分類処理について説明するフローチャートである。
【図１０】写真撮影などにおいて一般的に推奨される構図パターンについて説明する図である。
【図１１】対称度算出処理について説明するフローチャートである。
【図１２】エッジ対称度算出処理について説明するフローチャートである。
【図１３】入力画像とエッジ画像について説明する図である。
【図１４】エッジ左右対称度の算出の例について説明する図である。
【図１５】エッジ上下対称度の算出の例について説明する図である。
【図１６】入力画像とエッジ画像について説明する図である。
【図１７】色対称度算出処理について説明するフローチャートである。
【図１８】色差に応じた重み係数について説明する図である。
【図１９】色差の総和の変換について説明する図である。
【図２０】分割線検出処理について説明するフローチャートである。
【図２１】入力画像とエッジ画像について説明する図である。
【図２２】水平分割線検出処理について説明するフローチャートである。
【図２３】エッジ情報の水平方向の積算値について説明する図である。
【図２４】水平分割線の検出結果の例について説明する図である。
【図２５】垂直分割線検出処理について説明するフローチャートである。
【図２６】エッジ情報の垂直方向の積算値について説明する図である。
【図２７】斜め分割線検出処理１について説明するフローチャートである。
【図２８】入力画像とエッジ画像、エッジ画像の２値化、およびエッジ画像の回転について説明する図である。
【図２９】斜め方向のライン毎のエッジ情報の積算値の正規化の例について説明する図である。
【図３０】斜め方向のライン毎のエッジ情報の積算値の正規化の例について説明する図である。
【図３１】エッジ情報の斜め方向の積算値について説明する図である。
【図３２】斜め分割線の検出結果の例について説明する図である。
【図３３】斜め方向のライン毎のエッジ情報の積算値の正規化の他の例について説明する図である。
【図３４】斜め方向のライン毎のエッジ情報の積算値の正規化の他の例について説明する図である。
【図３５】斜め方向のライン毎のエッジ情報の積算値の正規化の他の例について説明する図である。
【図３６】入力画像の構図が分類される構図パターンの例について説明する図である。
【図３７】水平分割線によって分類される構図パターンの例について説明する図である。
【図３８】垂直分割線によって分類される構図パターンの例について説明する図である。
【図３９】斜め分割線によって分類される構図パターンの例について説明する図である。
【図４０】斜め分割線によって分類される構図パターンの例について説明する図である。
【図４１】対称度と分割線との関係を示す図である。
【図４２】他の構図分類処理について説明するフローチャートである。
【図４３】撮像装置の機能構成例を示すブロック図である。
【図４４】構図の推奨の表示例について説明する図である。
【図４５】構図の推奨の表示例について説明する図である。
【図４６】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態について図を参照して説明する。
【００２６】
［画像処理装置の構成例について］
図１は、本発明を適用した画像処理装置の一実施の形態の機能構成例を示している。
【００２７】
図１の画像処理装置１１は、例えば、デジタルカメラ等の撮像装置や、他の画像処理装置から入力された入力画像の線対称性を示す対称度を算出するとともに、入力画像を所定の領域に分割する分割線を検出し、対称度および分割線の少なくともいずれか一方に基づいて、入力画像の構図を、所定の構図パターンに分類する。
【００２８】
画像処理装置１１は、対称度算出部３１、分割線検出部３２、および構図分類部３３から構成される。
【００２９】
画像処理装置１１に入力された入力画像は、対称度算出部３１および分割線検出部３２に供給される。
【００３０】
対称度算出部３１は、入力画像の左右方向および上下方向のそれぞれに対する、入力画像の画素毎の画素情報（画素値）についての線対称性を示す対称度を算出し、構図分類部３３に供給する。
【００３１】
［対称度算出部の機能構成例について］
図２は、対称度算出部３１の機能構成例を示している。
【００３２】
対称度算出部３１は、エッジ対称度算出部４１、色対称度算出部４２、および対称度決定部４３を備えている。
【００３３】
エッジ対称度算出部４１は、入力画像の画素毎の画素情報の１つであるエッジ情報についての対称度（以下、エッジ対称度という）を算出し、対称度決定部４３に供給する。
【００３４】
［エッジ対称度算出部の機能構成例について］
図３は、エッジ対称度算出部４１の機能構成例を示している。
【００３５】
エッジ対称度算出部４１は、エッジ画像生成部５１、左右対称度算出部５２、および上下対称度算出部５３を備えている。
【００３６】
エッジ画像生成部５１は、入力画像の各画素に基づいて、画素毎のエッジ情報からなるエッジ画像を生成し、左右対称度算出部５２および上下対称度算出部５３に供給する。
【００３７】
左右対称度算出部５２は、エッジ画像生成部５１からのエッジ画像の左右方向の中心線に対する、エッジ情報についての対称度であるエッジ左右対称度を算出し、出力する。
【００３８】
上下対称度算出部５３は、エッジ画像生成部５１からのエッジ画像の上下方向の中心線に対する、エッジ情報についての対称度であるエッジ上下対称度を算出し、出力する。
【００３９】
このようにして、エッジ対称度算出部４１は、エッジ左右対称度およびエッジ上下対称度を、エッジ対称度として、対称度決定部４３に供給する。
【００４０】
図２の説明に戻り、色対称度算出部４２は、入力画像の画素毎の画素情報の１つである色情報についての対称度（以下、色対称度という）を算出し、対称度決定部４３に供給する。
【００４１】
［色対称度算出部の機能構成例について］
図４は、色対称度算出部４２の機能構成例を示している。
【００４２】
色対称度算出部４２は、色空間変換部６１、左右対称度算出部６２、および上下対称度算出部６３を備えている。
【００４３】
色空間変換部６１は、入力画像の各画素の画素情報（色情報）が表現される色空間を、他の色空間に変換し、変換された色空間で表現される色情報からなる入力画像を、左右対称度算出部６２および上下対称度算出部６３に供給する。
【００４４】
左右対称度算出部６２は、色空間変換部６１からの入力画像の左右方向の中心線に対する、色情報についての対称度である色左右対称度を算出し、出力する。
【００４５】
上下対称度算出部６３は、色空間変換部６１からの入力画像の上下方向の中心線に対する、色情報についての対称度である色上下対称度を算出し、出力する。
【００４６】
このようにして、色対称度算出部４２は、色左右対称度および色上下対称度を、色対称度として、対称度決定部４３に供給する。
【００４７】
図２の説明に戻り、対称度決定部４３は、エッジ対称度算出部４１からのエッジ対称度、および、色対称度算出部４２からの色対称度に基づいて、入力画像の左右方向に対する線対称性を示す左右対称度、および、入力画像の上下方向に対する線対称性を示す上下対称度を決定する。具体的には、対称度決定部４３は、エッジ対称度算出部４１からエッジ対称度として供給されてくるエッジ左右対称度と、色対称度算出部４２から色対称度として供給されてくる色左右対称度のうちの、所定の条件を満たす方を左右対称度に決定する。また、対称度決定部４３は、エッジ対称度算出部４１からエッジ対称度として供給されてくるエッジ上下対称度と、色対称度算出部４２から色対称度として供給されてくる色上下対称度のうちの、所定の条件を満たす方を上下対称度に決定する。
【００４８】
このようにして、対称度算出部３１は、左右対称度および上下対称度を、対称度として構図分類部３３に供給する。
【００４９】
図１の説明に戻り、分割線検出部３２は、入力画像における画素情報の分布の変化から、入力画像を分割する分割線を検出し、検出した分割線を表す分割線情報を、構図分類部３３に供給する。
【００５０】
［分割線検出部の機能構成例について］
図５は、分割線検出部３２の機能構成例を示している。
【００５１】
分割線検出部３２は、エッジ画像生成部７１、水平分割線検出部７２、垂直分割線検出部７３、および斜め分割線検出部７４，７５を備えている。
【００５２】
エッジ画像生成部７１は、図３のエッジ画像生成部５１と同様に、入力画像の各画素に基づいて、画素毎のエッジ情報からなるエッジ画像を生成し、水平分割線検出部７２乃至斜め分割線検出部７５に供給する。
【００５３】
水平分割線検出部７２は、エッジ画像生成部７１からのエッジ画像において、水平方向にエッジ情報を積算し、その積算値の分布から、入力画像を水平方向に（すなわち、上下に）分割する水平分割線を検出する。水平分割線検出部７２は、検出した水平分割線を表す水平分割線情報を出力する。
【００５４】
垂直分割線検出部７３は、エッジ画像生成部７１からのエッジ画像において、垂直方向にエッジ情報を積算し、その積算値の分布から、入力画像を垂直方向に（すなわち、左右に）分割する垂直分割線を検出する。垂直分割線検出部７３は、検出した垂直分割線を表す垂直分割線情報を出力する。
【００５５】
斜め分割線検出部７４は、エッジ画像生成部７１からのエッジ画像において、右上斜め方向にエッジ情報を積算し、その積算値の分布から、入力画像を右上斜め方向に分割する右上斜め分割線を検出する。斜め分割線検出部７４は、検出した右上斜め分割線を表す第１の斜め分割線情報を出力する。
【００５６】
斜め分割線検出部７５は、エッジ画像生成部７１からのエッジ画像において、左上斜め方向にエッジ情報を積算し、その積算値の分布から、入力画像を左上斜め方向に分割する左上斜め分割線を検出する。斜め分割線検出部７５は、検出した左上斜め分割線を表す第２の斜め分割線情報を出力する。
【００５７】
このようにして、分割線検出部３２は、水平分割線情報、垂直分割線情報、第１の斜め分割線情報、および第２の斜め分割線情報を、分割線情報として構図分類部３３に供給する。
【００５８】
ここで、図６乃至８を参照して、水平分割線検出部７２乃至斜め分割線検出部７５の機能構成例を示している。
【００５９】
［水平分割線検出部の機能構成例について］
図６は、水平分割線検出部７２の機能構成例を示している。
【００６０】
水平分割線検出部７２は、水平方向積算部１１１、LPF（Low Pass Filter）１１２、ピーク値検出部１１３、および閾値処理部１１４を備えている。
【００６１】
水平方向積算部１１１は、エッジ画像生成部７１からのエッジ画像において、水平方向の画素のライン（以下、単にラインという）毎に、画素の画素情報（エッジ情報）を積算し、その積算結果をLPF１１２に供給する。ここで得られる積算結果は、エッジ画像（入力画像）の垂直方向の画素位置に対する、水平方向のエッジ情報の積算値となる。
【００６２】
LPF１１２は、水平方向積算部１１１からの積算結果、すなわち、エッジ画像の垂直方向の画素位置に対する水平方向のエッジ情報の積算値に対してフィルタリング処理を施すことにより、積算結果のノイズ除去を行い、ピーク値検出部１１３に供給する。
【００６３】
ピーク値検出部１１３は、LPF１１２によりノイズ除去された積算結果において、積算値のピーク値を検出し、検出したピーク値と、そのピーク値となる積算値が得られた水平方向のラインの垂直方向の画素位置とを、閾値処理部１１４に供給する。
【００６４】
閾値処理部１１４は、ピーク値検出部１１３からのピーク値と、所定の閾値とを比較し、ピーク値が所定の閾値より大きい場合、そのピーク値となる積算値が得られた水平方向のラインを水平分割線とし、エッジ画像におけるそのラインの垂直方向の画素位置を、水平分割線情報として出力する。
【００６５】
［垂直分割線検出部の機能構成例について］
図７は、垂直分割線検出部７３の機能構成例を示している。
【００６６】
垂直分割線検出部７３は、垂直方向積算部１２１、LPF１２２、ピーク値検出部１２３、および閾値処理部１２４を備えている。
【００６７】
垂直方向積算部１２１は、エッジ画像生成部７１からのエッジ画像において、垂直方向のライン毎にエッジ情報を積算し、その積算結果をLPF１２２に供給する。ここで得られる積算結果は、エッジ画像（入力画像）の水平方向の画素位置に対する、垂直方向のエッジ情報の積算値となる。
【００６８】
LPF１２２は、垂直方向積算部１２１からの積算結果、すなわち、エッジ画像の水平方向の画素位置に対する垂直方向のエッジ情報の積算値に対してフィルタリング処理を施すことにより、積算結果のノイズ除去を行い、ピーク値検出部１２３に供給する。
【００６９】
ピーク値検出部１２３は、LPF１２２によりノイズ除去された積算結果において、積算値のピーク値を検出し、検出したピーク値と、そのピーク値となる積算値が得られた垂直方向のラインの水平方向の画素位置とを、閾値処理部１２４に供給する。
【００７０】
閾値処理部１２４は、ピーク値検出部１２３からのピーク値と、所定の閾値とを比較し、ピーク値が所定の閾値より大きい場合、そのピーク値となる積算値が得られた水平方向のラインを垂直分割線とし、エッジ画像におけるそのラインの水平方向の画素位置を、垂直分割線情報として出力する。
【００７１】
［斜め分割線検出部の機能構成例について］
図８は、斜め分割線検出部７４の機能構成例を示している。
【００７２】
斜め分割線検出部７４は、斜め方向積算部１３１、LPF１３２、ピーク値検出部１３３、および閾値処理部１３４を備えている。
【００７３】
斜め方向積算部１３１は、エッジ画像生成部７１からのエッジ画像において、右上斜め方向のライン毎にエッジ情報を積算し、その積算結果をLPF１３２に供給する。ここで得られる積算結果は、エッジ画像（入力画像）の左上斜め方向の画素位置に対する、右上斜め方向のエッジ情報の積算値となる。
【００７４】
LPF１３２は、斜め方向積算部１３１からの積算結果、すなわち、エッジ画像の左上斜め方向の画素位置に対する右上斜め方向のエッジ情報の積算値に対してフィルタリング処理を施すことにより、積算結果のノイズ除去を行い、ピーク値検出部１３３に供給する。
【００７５】
ピーク値検出部１３３は、LPF１３２によりノイズ除去された積算結果において、積算値のピーク値を検出し、検出したピーク値と、そのピーク値となる積算値が得られた右上斜め方向のラインの左上斜め方向の画素位置とを、閾値処理部１３４に供給する。
【００７６】
閾値処理部１３４は、ピーク値検出部１３３からのピーク値と、所定の閾値とを比較し、ピーク値が所定の閾値より大きい場合、そのピーク値となる積算値が得られた右上斜め方向のラインを右上斜め分割線とし、エッジ画像におけるそのラインについての、左上斜め方向の画素位置を、第１の分割線情報として出力する。
【００７７】
なお、斜め分割線検出部７５の機能構成例は、図８の斜め分割線検出部７４の各部において、エッジ情報の右上斜め方向に対する処理が、左上斜め方向に対する処理に代わる以外は、基本的に同様であるので、その説明は省略する。
【００７８】
さて、図１の説明に戻り、構図分類部３３は、対称度算出部３１からの対称度、および、分割線検出部３２からの分割線情報に基づいて、入力画像の構図を、予め決められている構図パターンのいずれかに分類し、その構図パターンを、対称度および分割線情報とともに、図示せぬ情報処理装置や記憶装置等に出力する。
【００７９】
［画像処理装置の構図分類処理について］
次に、図９のフローチャートを参照して、図１の画像処理装置１１の構図分類処理について説明する。
【００８０】
図９のフローチャートで示される構図分類処理によって、画像処理装置１１に入力される入力画像の構図は、予め決められている構図パターンのいずれかに分類される。
【００８１】
ここで、図１０を参照して、写真撮影などにおいて一般的に推奨される構図パターンについて説明する。
【００８２】
図１０に示される構図パターンＣには、３分割構図と対角線構図の２つの代表的な構図パターンが含まれている。
【００８３】
３分割構図は、３分割線と呼ばれる、水平分割線H1，H2および垂直分割線V1，V2からなる構図であり、水平分割線H1，H2および垂直分割線V1，V2の少なくともいずれか１つの線上に、被写体や風景の境界を合わせたり、水平分割線H1，H2と垂直分割線V1，V2との４つの交点（３分割線交点）のいずれかに被写体を合わせることで、バランスのとれた画像が得られるようになる。
【００８４】
また、対角線構図は、対角線D1，D2からなる構図であり、対角線D1，D2の少なくともいずれか１つの線上に、被写体や風景の境界を合わせることで、バランスのとれた画像が得られるようになる。
【００８５】
以下において説明する構図分類処理においては、入力画像の構図が、左右方向または上下方向に対してどの程度の線対称性を有するか、または、上述した３分割構図や対角線構図のうちのいずれに近似しているかが判別される。
【００８６】
図９のフローチャートのステップＳ１１において、対称度算出部３１は、対称度算出処理を実行し、入力画像の左右方向および上下方向のそれぞれに対する、入力画像の画素毎の画素情報についての対称度を算出する。
【００８７】
［対称度算出部の対称度算出処理について］
ここで、図１１のフローチャートを参照して、図９のフローチャートのステップＳ１１における対称度算出処理について説明する。
【００８８】
ステップＳ３１において、対称度算出部３１のエッジ対称度算出部４１は、エッジ対称度算出処理を実行し、入力画像のエッジ対称度を算出する。
【００８９】
［エッジ対称度算出部のエッジ対称度算出処理について］
ここで、図１２のフローチャートを参照して、図１１のフローチャートのステップＳ３１におけるエッジ対称度算出処理について説明する。
【００９０】
ステップＳ４１において、エッジ対称度算出部４１のエッジ画像生成部５１は、入力画像から輝度画像を取得し、その輝度画像に対してSobelフィルタや、Gaborフィルタなどのエッジ抽出フィルタを適用することで得られるエッジ値（エッジ情報）からなるエッジ画像を生成する。
【００９１】
また、エッジ画像生成部５１は、入力画像からＲ，Ｇ，Ｂ等の色チャネル画像を取得し、色チャネル画像それぞれに対してエッジ抽出フィルタを適用することで得られるエッジ値をチャネル間で画素毎に比較し、それぞれの最大値からなるエッジ画像を生成するようにしてもよい。
【００９２】
さらに、エッジ画像生成部５１は、入力画像に対して、平均シフトアルゴリズム（Mean Shift法）等を用いた色の領域分割を行い、分割された領域の境界線上の画素に対して、エッジ値を与えることで、エッジ画像を生成するようにもできる。この場合、例えば、領域の境界線上の画素に対しては１のエッジ値を、それ以外の領域の画素には０のエッジ値を与える。
【００９３】
例えば、図１３に示されるように、被写体が山である風景画像が入力画像P1として入力された場合、エッジ画像生成部５１により、山を含む風景の輪郭形状を表すエッジ画像P1eが生成される。このようにして生成されたエッジ画像P1eは、左右対称度算出部５２および上下対称度算出部５３に供給される。
【００９４】
ステップＳ４２において、左右対称度算出部５２は、エッジ画像生成部５１からのエッジ画像に基づいて、エッジ画像の左右対称度であるエッジ左右対称度を算出する。
【００９５】
ここで、図１４を参照して、エッジ左右対称度の算出の例について説明する。図１４は、エッジ画像P1eを示している。
【００９６】
図１４に示されるように、エッジ画像P1eが、Ｈ×Ｗ画素から構成されるものとすると、エッジ画像P1eの左右方向の中心線は、画素位置W/2のラインとなる。
【００９７】
また、上下方向の画素位置ｉとなる水平方向のラインに注目し、左右方向の中心線上の画素（画素位置W/2の画素）から右側にｊ個目の画素の画素位置を＋ｊで表し、左側にｊ個目の画素の画素位置を−ｊで表すものとする。
【００９８】
このとき、エッジ画像P1eにおいて、左右方向の中心線（画素位置W/2）を挟んで対となる、画素位置(i,j)および(i,-j)（以下、単に画素位置(i,j)という）の画素同士のエッジ情報の差分の総和ｄ、左右方向の中心線を挟んで対となる画素のエッジ情報の総和（すなわち、全画素のエッジ情報の総和）ｓは、それぞれ以下の式（１），（２）で表される。
【００９９】
【数１】
【０１００】
【数２】
【０１０１】
式（１），（２）において、係数ｗは、エッジ画像の中心から注目画素の画素位置(i,j)が、入力画像の中心点から離れるほど重み付けが低くなる重み係数であり、入力画像の中心点から画素位置(i,j)までの距離をｒで表わすと、以下の式（３）で表わされる。
【０１０２】
【数３】
【０１０３】
なお、式（３）における定数σは、任意に設定される値とする。
【０１０４】
式（１）で表わされる「エッジ情報の差分の総和」ｄは、エッジ画像P1eが左右対称であるほど０に近い値をとり、エッジ画像P1eが左右非対称であるほど、「エッジ情報の総和」ｓに近づく値をとる。そこで、エッジ画像の左右対称度であるエッジ左右対称度sym_edg_LRは、以下の式（４）で表わされるようになる。
【０１０５】
【数４】
【０１０６】
すなわち、エッジ左右対称度sym_edg_LRは、０＜sym_edg_LR≦１の範囲の値をとり、エッジ画像P1eが左右対称であるほど１に近い値をとる。
【０１０７】
このようにして、エッジ左右対称度が算出される。
【０１０８】
図１２のフローチャートに戻り、ステップＳ４３において、上下対称度算出部５３は、エッジ画像生成部５１からのエッジ画像に基づいて、エッジ画像の上下対称度であるエッジ上下対称度を算出する。
【０１０９】
なお、エッジ上下対称度sym_edg_TBは、図１５に示されるように、エッジ画像P1eの上下方向の中心線を、画素位置H/2のラインとして、左右方向の画素位置ｊとなる垂直方向の画素のラインに注目し、上下方向の中心線上の画素（画素位置H/2の画素）から下側にｉ個目の画素の画素位置を＋ｉで表し、上側にｉ個目の画素の画素位置を−ｉで表すものとすると、式（１），（２）において値Ｈと値Ｗを入れ替えることにより、エッジ左右対称度sym_edg_LRと同様にして算出される。
【０１１０】
このようにして、エッジ上下対称度が算出される。
【０１１１】
ステップＳ４３の後、処理は、図１１のフローチャートのステップＳ３１に戻り、ステップＳ３２に進む。
【０１１２】
ところで、入力画像として、図１６の左側に示されるような、被写体として略同一の形状をした色の異なる野菜が左右に並んでいる入力画像P2が入力された場合、エッジ対称度算出処理においては、図１６の右側に示されるようなエッジ画像P2eが生成される
【０１１３】
図１６のエッジ画像P2eは、左右方向に対する線対称性が高いので、エッジ左右対称度として大きい値が得られるが、実際の入力画像P2においては、左右に並んだ被写体の色が異なるので、決して左右方向に対する線対称性が高いとは言えない。
【０１１４】
このように、エッジ対称度算出処理では、入力画像の色についての線対称性を求めることはできない。
【０１１５】
そこで、ステップＳ３２において、色対称度算出部４２は、色対称度算出処理を実行し、入力画像の色対称度を算出することで、入力画像の色についての線対称性を求める。
【０１１６】
［色対称度算出部の色対称度算出処理について］
ここで、図１７のフローチャートを参照して、図１１のフローチャートのステップＳ３１における色対称度算出処理について説明する。
【０１１７】
ステップＳ５１において、色空間変換部６１は、例えば、RGB空間で表現される入力画像の各画素を、L*a*b*空間で表現されるように、色空間を変換する。色空間変換部６１は、L*a*b*空間で表現される入力画像を、左右対称度算出部６２および上下対称度算出部６３に供給する。
【０１１８】
ステップＳ５２において、左右対称度算出部６２は、色空間変換部６１によって色空間が変換され、L*a*b*空間で表現される入力画像の左右対称度である色左右対称度を算出する。
【０１１９】
ここで、色左右対称度の算出の例について説明する。
【０１２０】
なお、L*a*b*空間で表現される入力画像は、図１４で説明したエッジ画像P1eと同様に表されるものとする。
【０１２１】
このとき、入力画像において、左右方向の中心線（画素位置W/2）を挟んで対となる画素位置(i,j)の画素同士の色差の総和Ｄは、以下の式（５）で表される。
【０１２２】
【数５】
【０１２３】
式（５）において、画素位置(i,j)の画素同士の色差dE、L*軸成分Ｌの差分dL、a*軸成分ａの差分da、および、b*軸成分ｂの差分dbは、それぞれ、以下の式（６）のように表される。
【０１２４】
【数６】
【０１２５】
また、式（５）における係数ｗは、画素位置(i,j)の画素同士の色差dEに係る重み係数であり、以下の式（７）で表わされる。
【０１２６】
【数７】
【０１２７】
式（７）において、重み係数wpは、画素位置(i,j)が、入力画像の中心点から離れるほど重み付けが低くなる重み係数であり、以下の式（８）で表わされる。
【０１２８】
【数８】
【０１２９】
なお、式（８）のおける定数βは、任意に設定される値とする。
【０１３０】
また、式（７）において、重み係数wEは、注目画素位置(i,j)の画素同士の色差dEが大きい領域ほど重み付けが高くなる重み係数であり、図１８のような特性を有する。具体的には、重み係数wEは、色差dEが値dE1より小さい場合には1.0をとり、値dE2より大きい場合にはwEMをとる。なお、色差dEが値dE1乃至dE2のときには、色差dEの増加に応じて、重み係数wEも増加する。
【０１３１】
すなわち、重み係数wEによれば、図１６の入力画像P2のように、左右で大きく色が異なる領域に対して、色差dEをより強調するように、色差dEに対して重み付けされる。
【０１３２】
したがって、式（５）で表わされる「色差の総和」Ｄは、入力画像の色が左右対称であるほど小さい値をとり、入力画像の色が左右非対称であるほど大きい値をとるが、扱いを簡便にするために、図１９に示されるように変換する。
【０１３３】
すなわち、図１９によれば、変換後の色差の総和Ｄ’は、色差の総和Ｄが、画素位置(i,j)の画素同士の色差dEの最小値dEminより小さい場合には０をとり、画素位置(i,j)の画素同士の色差dEの最大値dEmaxより大きい場合には１をとる。なお、色差の総和Ｄが、dEmin乃至dEmaxのときは、色差の総和Ｄの増加に応じて、変換後の色差の総和Ｄ’も増加する。
【０１３４】
そして、入力画像の色についての左右対称度である色左右対称度sym_col_LRは、以下の式（９）で表わされるようになる。
【０１３５】
【数９】
【０１３６】
すなわち、色左右対称度sym_col_LRは、０≦sym_col_LR≦１の範囲の値をとり、入力画像の色が左右対称であるほど１に近い値をとる。
【０１３７】
このようにして、色左右対称度が算出される。
【０１３８】
図１７のフローチャートに戻り、ステップＳ５３において、上下対称度算出部６３は、色空間変換部６１によって色空間が変換され、L*a*b*空間で表現される入力画像の上下対称度である色上下対称度を算出する。
【０１３９】
なお、色上下対称度sym_col_TBは、図１５で説明したエッジ画像P1eと同様にして、入力画像の上下方向の中心線を、画素位置H/2のラインとして、左右方向の画素位置ｊとなる垂直方向のラインに注目し、上下方向の中心線上の画素（画素位置H/2の画素）から下側にｉ個目の画素の画素位置を＋ｉで表し、上側にｉ個目の画素の画素位置を−ｉで表すものとすると、式（５），（６）において値Ｈと値Ｗを入れ替えることにより、色左右対称度sym_col_LRと同様にして算出される。
【０１４０】
このようにして、色上下対称度が算出される。
【０１４１】
ステップＳ５３の後、処理は、図１１のフローチャートのステップＳ３２に戻り、ステップＳ３３に進む。
【０１４２】
ステップＳ３３において、対称度決定部４３は、エッジ対称度算出部４１からのエッジ対称度、および、色対称度算出部４２からの色対称度に基づいて、入力画像の左右対称度および上下対称度を決定する。
【０１４３】
例えば、対称度決定部４３は、エッジ対称度算出部４１からのエッジ左右対称度と、色対称度算出部４２からの色左右対称度のうちの小さい方を左右対称度に決定する。同様に、対称度決定部４３は、エッジ対称度算出部４１からのエッジ上下対称度と、色対称度算出部４２からの色上下対称度のうちの小さい方を上下対称度に決定する。
【０１４４】
また、対称度決定部４３は、エッジ左右対称度と色左右対称度のうちの大きい方を左右対称度に決定し、エッジ上下対称度と色上下対称度のうちの大きい方を上下対称度に決定するようにしてもよい。
【０１４５】
対称度算出部３１は、このようにして決定した左右対称度および上下対称度を、対称度として構図分類部３３に供給し、処理は図９のステップＳ１１に戻る。
【０１４６】
ステップＳ１１の後、ステップＳ１２において、分割線検出部３２は、分割線検出処理を実行し、入力画像における画素情報の分布の変化から分割線を検出する。
【０１４７】
［分割線検出部の分割線検出処理について］
ここで、図２０のフローチャートを参照して、図９のフローチャートのステップＳ１２における分割線検出処理について説明する。
【０１４８】
ステップＳ７１において、分割線検出部３２のエッジ画像生成部７１は、図１２のフローチャートのステップＳ４１の処理と同様に、入力画像から輝度画像を取得し、その輝度画像に対してSobelフィルタや、Gaborフィルタなどのエッジ抽出フィルタを適用することで得られるエッジ値（エッジ情報）からなるエッジ画像を生成する。
【０１４９】
また、エッジ画像生成部７１は、入力画像からＲ，Ｇ，Ｂ等の色チャネル画像を取得し、色チャネル画像それぞれに対してエッジ抽出フィルタを適用することで得られるエッジ値をチャネル間で画素毎に比較し、それぞれの最大値からなるエッジ画像を生成するようにしてもよい。
【０１５０】
さらに、エッジ画像生成部７１は、入力画像に対して、平均シフトアルゴリズム（Mean Shift法）等を用いた色の領域分割を行い、分割された領域の境界線上の画素に対して、エッジ値を与えることで、エッジ画像を生成するようにもできる。この場合、例えば、領域の境界線上の画素に対しては１のエッジ値を、それ以外の領域の画素には０のエッジ値を与える。
【０１５１】
例えば、図２１に示されるように、地平線を含む風景画像が入力画像P3として入力された場合、エッジ画像生成部７１により、その風景の輪郭形状を表すエッジ画像P3eが生成される。このようにして生成されたエッジ画像P3eは、水平分割線検出部７２乃至斜め分割線検出部７５に供給される。
【０１５２】
ステップＳ７２において、水平分割線検出部７２は、水平分割線検出処理を実行し、エッジ画像生成部７１からのエッジ画像に基づいて、入力画像を水平方向に（すなわち、上下に）分割する水平分割線を検出する。
【０１５３】
［水平分割線検出部の水平分割線検出処理について］
ここで、図２２のフローチャートを参照して、図２０のフローチャートのステップＳ７２における水平分割線検出処理について説明する。
【０１５４】
ステップＳ８１において、水平分割線検出部７２の水平方向積算部１１１は、エッジ画像生成部７１からのエッジ画像において、水平方向のライン毎にエッジ情報を積算し、その積算結果をLPF１１２に供給する。
【０１５５】
なお、水平方向積算部１１１は、エッジ情報を積算する際に、各画素のエッジ情報に対して、上述の式（３）で示したような重み係数ｗにより重み付けした後に積算するようにしてもよい。これにより、エッジ画像の中心から離れた積算値ほど、その値が小さくなるようになる。
【０１５６】
ここで得られる積算結果は、エッジ画像（入力画像）の垂直方向の画素位置に対する、水平方向のエッジ情報の積算値となり、図２３に示されるグラフにおいて、黒塗りのひし形のプロットで表わされる。
【０１５７】
図２３は、水平分割線検出処理により求められる、エッジ情報の水平方向の積算値、およびその積算値に対して後述する演算を施した値の例を示している。
【０１５８】
図２３のグラフにおいて、横軸は、エッジ画像（入力画像）の垂直方向の画素位置を表している。
【０１５９】
さて、ステップＳ８２において、LPF１１２は、水平方向積算部１１１からのエッジ情報の積算値に対して、フィルタリング処理を施すことによりノイズ除去を行い、ピーク値検出部１１３に供給する。図２３において、ノイズ除去された積算結果は、白抜きの正方形のプロットで示される。
【０１６０】
ステップＳ８３において、ピーク値検出部１１３は、LPF１１２によりノイズ除去された積算結果において、積算値のピーク値を検出する。
【０１６１】
具体的には、ピーク値検出部１１３は、ノイズ除去された積算値の１次微分値（図２３中、白抜きの三角形のプロット）を求め、さらに、その絶対値である１次微分絶対値（図２３中、バツ印のプロット）を求める。ピーク値検出部１１３は、１次微分値が負の値をとり、かつ、極大値をとる１次微分絶対値（図２３中、破線の丸印で囲まれる点）に対応する積算値（図２３中、実線の丸印で囲まれる点）を、積算値のピーク値とする。これにより、積算値において、急峻に変化しているピーク値が検出されるようになる。
【０１６２】
ピーク値検出部１１３は、検出したピーク値と、そのピーク値となる積算値が得られた水平方向のラインの垂直方向の画素位置（図２３の例では、画素位置７）とを、閾値処理部１１４に供給する。
【０１６３】
ステップＳ８４において、閾値処理部１１４は、ピーク値検出部１１３からのピーク値と、所定の閾値とを比較し、ピーク値が所定の閾値より大きいか否かを判定する。
【０１６４】
ステップＳ８４において、ピーク値が所定の閾値より大きいと判定された場合、処理はステップＳ８５に進み、閾値処理部１１４は、そのピーク値となる積算値が得られた水平方向のライン（垂直方向の画素位置７のライン）を水平分割線とする。また、閾値処理部１１４は、エッジ画像におけるそのラインの垂直方向の画素位置を、水平分割線情報として出力して、水平分割線検出処理は終了する。その後、処理は、図２０のステップＳ７２に戻る。
【０１６５】
このようにして、図２１に示されたような入力画像P3が入力された場合、図２４に示されるように、入力画像P3における地平線部分における水平方向のラインが、水平分割線として検出される。
【０１６６】
一方、ステップＳ８４において、ピーク値が所定の閾値より大きくないと判定された場合、ステップＳ８５の処理はスキップされる。この場合、水平分割線は検出されずに、水平分割線検出処理は終了する。その後、処理は、図２０のステップＳ７２に戻る。
【０１６７】
ステップＳ７２の後、ステップＳ７３において、垂直分割線検出部７３は、垂直分割線検出処理を実行し、エッジ画像生成部７１からのエッジ画像に基づいて、入力画像を垂直方向に（すなわち、左右に）分割する垂直分割線を検出する。
【０１６８】
［垂直分割線検出部の垂直分割線検出処理について］
ここで、図２５のフローチャートを参照して、図２０のフローチャートのステップＳ７３における垂直分割線検出処理について説明する。
【０１６９】
ステップＳ９１において、垂直分割線検出部７３の垂直方向積算部１２１は、エッジ画像生成部７１からのエッジ画像において、垂直方向のライン毎にエッジ情報を積算し、その積算結果をLPF１２２に供給する。
【０１７０】
なお、垂直方向積算部１２１は、エッジ情報を積算する際に、各画素のエッジ情報に対して、上述の式（３）で示したような重み係数ｗにより重み付けした後に積算するようにしてもよい。これにより、エッジ画像の中心から離れた積算値ほど、その値が小さくなるようになる。
【０１７１】
ここで得られる積算結果は、エッジ画像（入力画像）の水平方向の画素位置に対する、垂直方向のエッジ情報の積算値となり、図２６に示されるグラフにおいて、黒塗りのひし形のプロットで表わされる。
【０１７２】
図２６は、垂直分割線検出処理により求められる、エッジ情報の垂直方向の積算値、およびその積算値に対して後述する演算を施した値の例を示している。
【０１７３】
図２６のグラフにおいて、横軸は、エッジ画像（入力画像）の水平方向の画素位置を表している。
【０１７４】
さて、ステップＳ９２において、LPF１２２は、垂直方向積算部１２１からのエッジ情報の積算値に対して、フィルタリング処理を施すことによりノイズ除去を行い、ピーク値検出部１２３に供給する。図２６において、ノイズ除去された積算結果は、白抜きの正方形のプロットで示される。
【０１７５】
ステップＳ９３において、ピーク値検出部１２３は、LPF１２２によりノイズ除去された積算結果において、積算値のピーク値を検出する。
【０１７６】
具体的には、ピーク値検出部１１３は、ノイズ除去された積算値の１次微分値（図２６中、白抜きの三角形のプロット）を求め、さらに、その絶対値である１次微分絶対値（図２６中、バツ印のプロット）を求める。ピーク値検出部１２３は、１次微分値が負の値をとり、かつ、極大値をとる１次微分絶対値に対応する積算値を、積算値のピーク値とする。図２６においては、図２３の例のように急峻に変化しているピーク値は見られないが、水平方向の画素位置１１において、ピーク値となる積算値が得られる。
【０１７７】
ピーク値検出部１２３は、検出したピーク値と、そのピーク値となる積算値が得られた垂直方向のラインの水平方向の画素位置（図２６の例では、画素位置１１）とを、閾値処理部１２４に供給する。
【０１７８】
ステップＳ９４において、閾値処理部１２４は、ピーク値検出部１２３からのピーク値と、所定の閾値とを比較し、ピーク値が所定の閾値より大きいか否かを判定する。
【０１７９】
ステップＳ９４において、ピーク値が所定の閾値より大きいと判定された場合、処理はステップＳ９５に進み、閾値処理部１２４は、そのピーク値となる積算値が得られた垂直方向のラインを垂直分割線とする。また、閾値処理部１２４は、エッジ画像におけるそのラインについての、水平方向の画素位置を、垂直分割線情報として出力して、垂直分割線検出処理は終了する。その後、処理は、図２０のステップＳ７３に戻る。
【０１８０】
一方、ステップＳ９４において、ピーク値が所定の閾値より大きくないと判定された場合、ステップＳ９５の処理はスキップされる。例えば、図２６におけるピーク値が所定の閾値より小さい場合、垂直分割線は検出されずに、垂直分割線検出処理は終了する。その後、処理は、図２０のステップＳ７３に戻る。
【０１８１】
ステップＳ７３の後、ステップＳ７４において、斜め分割線検出部７４は、斜め分割線検出処理１を実行し、エッジ画像生成部７１からのエッジ画像に基づいて、入力画像を右上斜め方向に分割する第１の斜め分割線を検出する。
【０１８２】
［斜め分割線検出部の斜め分割線検出処理について］
ここで、図２７のフローチャートを参照して、図２０のフローチャートのステップＳ７４における斜め分割線検出処理１について説明する。
【０１８３】
ここで、図２８の一番上に示されるように、右上から左下への山の斜面を含む風景画像が入力画像P4として入力されたとすると、エッジ画像生成部７１により、図２８の上から２番目に示される、その風景の輪郭形状を表すエッジ画像P4eが生成され、水平分割線検出部７２乃至斜め分割線検出部７５に供給される。
【０１８４】
ステップＳ１０１において、斜め分割線検出部７４の斜め方向積算部１３１は、エッジ画像生成部７１からのエッジ画像の各画素におけるエッジ情報を、所定の閾値に基づいて０または１のいずれかの値に２値化する。例えば、エッジ画像のエッジ情報が、０乃至２５５の値をもつ場合、斜め方向積算部１３１は、０から２５５までの間の値であるエッジ画像のエッジ情報に対して、例えば、閾値１２７より小さい値の画素値を０とし、１２７より大きい値の画素値を１とする。これにより、図２８の上から３番目に示されるような、２値化エッジ画像P4fが得られる。
【０１８５】
ステップＳ１０２において、斜め方向積算部１３１は、２値化エッジ画像P4fにおける右上斜めの対角線が、任意に設定される座標における横軸に対して垂直になるように、２値化エッジ画像P4fを反時計回りに回転させる。このときの回転角度は、２値化エッジ画像P4f（入力画像P4）のアスペクト比により求められる。これにより、図２８の上から４番目に示されるような、回転２値化エッジ画像P4rが得られる。
【０１８６】
このように、２値化された２値化エッジ画像P4fを回転させるようにしたので、２値化される前のエッジ画像P4eを回転させるより、回転処理の対象となる画素を少なくすることができるので、演算コストを低くすることができるようになる。
【０１８７】
ステップＳ１０３において、斜め方向積算部１３１は、回転２値化エッジ画像P4rにおいて、設定された座標における垂直方向のライン毎に、言い換えると、回転前の２値化エッジ画像P4fにおいて、右上斜めの対角線と平行な斜め方向のライン毎にエッジ情報を積算し、その積算結果をLPF１３２に供給する。
【０１８８】
なお、斜め方向にエッジ情報を積算する場合、積算されるラインによって含まれる画素数が異なるため、斜め方向積算部１３１は、ライン毎のエッジ情報の積算値を、積算した画素数で正規化する。
【０１８９】
ここで、図２９および図３０を参照して、斜め方向のライン毎のエッジ情報の積算値の正規化の例について説明する。
【０１９０】
図２９および図３０には、右上斜めの対角線D1が、設定された座標（Ｘ軸）に対して垂直になるように回転された回転２値化エッジ画像（以下、単に、エッジ画像ともいう）が示されている。なお、図２９および図３０に示されるように、回転前のエッジ画像の長辺の長さをａ、短辺の長さをｂとし、長辺と対角線D1のなす角度をθとする。なお、このエッジ画像は、例えば、図２８の上から３番目に示される状態から、反時計回りに90°−θだけ回転されることで、対角線D1がＸ軸に対して垂直になっている。また、Ｘ軸上の座標ｘは、斜め方向のラインの仮想的な画素位置を示すものとする。
【０１９１】
なお、図２９および図３０において、Ｘ軸上に投影されるエッジ画像の両端の、幅ｍで表わされる部分については、積算される画素数が少ないため、積算処理の対象から除外するものとする。
【０１９２】
まず、図２９に示されるように、エッジ情報が積算される斜め方向のラインが、対角線D1より左側に位置するとき、すなわち、座標ｘが、ｍ≦ｘ≦bcosθの範囲にあるとき、積算される画素数ｌは、以下の式（１０）で表わされる。
【０１９３】
【数１０】
【０１９４】
また、図３０に示されるように、エッジ情報が積算される斜め方向のラインが、対角線D1より右側に位置するとき、すなわち、座標ｘが、bcosθ＜ｘ≦asinθ+bcosθ-mの範囲にあるとき、積算される画素数ｌは、以下の式（１１）で表わされる。
【０１９５】
【数１１】
【０１９６】
このようにして、斜め方向積算部１３１は、積算されるラインに含まれる画素数を求め、ライン毎のエッジ情報の積算値を、積算した画素数で正規化する。
【０１９７】
ここで得られる正規化された積算結果は、図２９および図３０に示されるエッジ画像のＸ軸方向の画素位置に対する、垂直方向のエッジ情報の積算値となり、図３１に示されるグラフにおいて、黒塗りのひし形のプロットで表わされる。
【０１９８】
図３０は、斜め分割線検出処理１により求められる、エッジ情報の右上斜め方向の積算値、およびその積算値に対して後述する演算を施した値の例を示している。
【０１９９】
図３０のグラフにおいて、横軸は、図２９および図３０に示されるエッジ画像（入力画像）のＸ軸方向の画素位置を表している。
【０２００】
さて、ステップＳ１０４において、LPF１３２は、斜め方向積算部１３１からのエッジ情報の積算値に対して、フィルタリング処理を施すことによりノイズ除去を行い、ピーク値検出部１３３に供給する。図３０において、ノイズ除去された積算結果は、白抜きの正方形のプロットで示される。
【０２０１】
ステップＳ１０５において、ピーク値検出部１３３は、LPF１３２によりノイズ除去された積算結果において、積算値のピーク値を検出する。
【０２０２】
具体的には、ピーク値検出部１３３は、ノイズ除去された積算値の１次微分値（図３０中、白抜きの三角形のプロット）を求め、さらに、その絶対値である１次微分絶対値（図３０中、バツ印のプロット）を求める。ピーク値検出部１３３は、１次微分値が負の値をとり、かつ、極大値をとる１次微分絶対値（図３０中、破線の丸印で囲まれる点）に対応する積算値（図３０中、実線の丸印で囲まれる点）を、積算値のピーク値とする。これにより、積算値において、急峻に変化しているピーク値が検出されるようになる。
【０２０３】
ピーク値検出部１３３は、検出したピーク値と、そのピーク値となる積算値が得られた右上斜め方向のラインのＸ軸方向の画素位置（図３０の例では、画素位置２７）とを、閾値処理部１３４に供給する。
【０２０４】
ステップＳ１０６において、閾値処理部１３４は、ピーク値検出部１３３からのピーク値と、所定の閾値とを比較し、ピーク値が所定の閾値より大きいか否かを判定する。
【０２０５】
ステップＳ１０６において、ピーク値が所定の閾値より大きいと判定された場合、処理はステップＳ１０７に進み、閾値処理部１３４は、そのピーク値となる積算値が得られた右上斜め方向のライン（Ｘ軸方向の画素位置２７のライン）を右上斜め分割線とする。また、閾値処理部１３４は、エッジ画像におけるそのラインについての、Ｘ軸方向の画素位置および角度θを、第１の斜め分割線情報として出力して、斜め分割線検出処理１は終了する。その後、処理は、図２０のステップＳ７４に戻る。
【０２０６】
このようにして、図２８に示されたような入力画像P4が入力された場合、図３２に示されるように、入力画像P4における山の斜面部分における右上斜め方向のラインが、右上斜め分割線として検出される。
【０２０７】
一方、ステップＳ１０６において、ピーク値が所定の閾値より大きくないと判定された場合、ステップＳ１０７の処理はスキップされる。この場合、右上斜め分割線は検出されずに、斜め分割線検出処理１は終了する。その後、処理は、図２０のステップＳ７４に戻る。
【０２０８】
ステップＳ７４の後、ステップＳ７５において、斜め分割線検出部７５は、斜め分割線検出処理２を実行し、エッジ画像生成部７１からのエッジ画像に基づいて、入力画像を左上斜め方向に分割する第２の斜め分割線を検出する。
【０２０９】
なお、斜め分割線検出部７５による斜め分割線検出処理２は、エッジ画像の左上斜めの対角線をＸ軸に対して垂直になるようにエッジ画像を回転させる以外は、上述した斜め分割線検出処理１と基本的に同様であるので、その説明は省略する。
【０２１０】
ところで、以上においては、右上斜めの対角線D1および左上斜めの対角線D2がＸ軸に対して垂直になるように、エッジ画像を回転させることにより、右上斜め分割線および左上斜め分割線を検出するようにしたが、エッジ画像の任意の斜め方向のラインがＸ軸に対して垂直になるように、エッジ画像を回転させることにより、右上斜め分割線および左上斜め分割線を検出するようにしてもよい。
【０２１１】
なお、任意の斜め方向にエッジ情報を積算する場合でも、積算されるラインによって含まれる画素数が異なるため、ライン毎のエッジ情報の積算値を、積算した画素数で正規化する必要がある。
【０２１２】
ここで、図３３乃至図３５を参照して、任意の斜め方向のライン毎のエッジ情報の積算値の正規化の例について説明する。
【０２１３】
図３３乃至図３５には、エッジ画像に設定された、右上斜め線Dnが、Ｘ軸に対して垂直になるように回転された回転２値化エッジ画像（エッジ画像）が示されている。なお、図３３乃至図３５に示されるように、回転前のエッジ画像の長辺の長さをａ、短辺の長さをｂとし、長辺と右上斜め線Dnのなす角度をθとする。なお、このエッジ画像は、例えば、長辺がＸ軸に平行な状態から、反時計回りに90°−θだけ回転させることにより、右上斜め線DnがＸ軸に対して垂直になっている。また、Ｘ軸上の座標ｘは、斜め方向のラインの仮想的な画素位置を示すものとする。
【０２１４】
なお、図３３乃至図３５においても、Ｘ軸上に投影されるエッジ画像の両端の、幅ｍで表わされる部分については、エッジ情報が積算される画素数が少ないため、積算処理の対象から除外するものとする。
【０２１５】
まず、図３３に示されるように、座標ｘが、ｍ≦ｘ≦bcosθの範囲にあるとき、積算される画素数ｌは、以下の式（１２）で表わされる。
【０２１６】
【数１２】
【０２１７】
また、図３４に示されるように、座標ｘが、bcosθ＜ｘ≦asinθの範囲にあるとき、積算される画素数ｌは、以下の式（１３）で表わされる。
【０２１８】
【数１３】
【０２１９】
そして、図３５に示されるように、座標ｘが、asinθ＜ｘ≦asinθ+bcosθ-mの範囲にあるとき、積算される画素数ｌは、以下の式（１４）で表わされる。
【０２２０】
【数１４】
【０２２１】
このようにして、任意の斜め方向のライン毎にエッジ情報が積算される場合でも、積算されるラインが含まれる画素数が求められ、ライン毎のエッジ情報の積算値が、積算した画素数で正規化されるようになる。
【０２２２】
以上のように、分割線検出部３２は、水平分割線情報、垂直分割線情報、第１の斜め分割線情報、および第２の斜め分割線情報のうちの、分割線検出処理により検出された分割線を構図分類部３３に供給し、処理は、図９のステップＳ１２に戻る。
【０２２３】
ステップＳ１２の後、ステップＳ１３において、構図分類部３３は、対称度算出部３１からの対称度、および、分割線検出部３２からの分割線情報に基づいて、入力画像の構図を、予め決められている構図パターンのいずれかに分類する。
【０２２４】
ここで、図３６を参照して、入力画像の構図が分類される構図パターンの例について説明する。
【０２２５】
図３６に示される構図パターンによれば、入力画像は、まず、対称度（左右対称度および上下対称度）によって分類される。
【０２２６】
［左右対称度が閾値Th_LR以上であり、かつ、上下対称度が閾値Th_TB以上である場合］
この場合、入力画像の構図は、「上下左右対称」の構図パターンに分類される。
【０２２７】
［左右対称度が閾値Th_LR以上であり、かつ、上下対称度が閾値Th_TBより小さい場合］
この場合、入力画像の構図は、水平分割線情報によってさらに分類される。すなわち、水平分割線情報で表される水平分割線が、図１０で説明した３分割構図における水平分割線H2より上にあれば、「水平分割線上」の構図パターンに分類される。水平分割線情報で表される水平分割線が、図１０で説明した３分割構図における水平分割線H2と水平分割線H1の間にあれば、「水平分割線中」の構図パターンに分類される。そして、水平分割線情報で表される水平分割線が、図１０で説明した３分割構図における水平分割線H1より下にあれば、「水平分割線下」の構図パターンに分類される。
【０２２８】
例えば、図３７に示されるように、高さ（短辺の長さ）ｂの入力画像において、図１０の水平分割線H1，H2に対応するＹ軸上の座標位置は、それぞれb/3，2b/3となる。このとき、分割線検出処理によって、水平分割線Hpが検出され、画素位置（座標位置）y_Hを示す水平分割線情報が分割線検出部３２から供給された場合、構図分類部３３は、2b/3≦y_H≦ｂであると判断し、入力画像の構図を「水平分割線上」の構図パターンに分類する。また、構図分類部３３は、０≦y_H≦b/3であると判断した場合には、入力画像の構図を「水平分割線下」の構図パターンに分類し、b/3＜y_H≦2b/3であると判断した場合には、入力画像の構図を「水平分割線中」の構図パターンに分類する。
【０２２９】
また、分割線検出処理によって、水平分割線が検出されず、水平分割線情報が分割線検出部３２から供給されなかった場合、構図分類部３３は、入力画像の構図を「その他」の構図パターンに分類する。
【０２３０】
［左右対称度が閾値Th_LRより小さく、かつ、上下対称度が閾値Th_TB以上である場合］
この場合、入力画像の構図は、垂直分割線情報によってさらに分類される。すなわち、垂直分割線情報で表される垂直分割線が、図１０で説明した３分割構図における垂直分割線V1より左にあれば、「垂直分割線左」の構図パターンに分類される。垂直分割線情報で表される垂直分割線が、図１０で説明した３分割構図における垂直分割線V1と垂直分割線V2の間にあれば、「垂直分割線中」の構図パターンに分類される。そして、垂直分割線情報で表される垂直分割線が、図１０で説明した３分割構図における垂直分割線V2より右にあれば、「垂直分割線右」の構図パターンに分類される。
【０２３１】
例えば、図３８に示されるように、幅（長辺の長さ）ａの入力画像において、図１０の垂直分割線V1，V2に対応するＸ軸上の座標位置は、それぞれa/3，2a/3となる。このとき、分割線検出処理によって、垂直分割線Vgが検出され、画素位置（座標位置）x_Vを示す垂直分割線情報が分割線検出部３２から供給された場合、構図分類部３３は、a/3＜x_V≦2a/3であると判断し、入力画像の構図を「垂直分割線中」の構図パターンに分類する。また、構図分類部３３は、０≦x_V≦a/3であると判断した場合には、入力画像の構図を「垂直分割線左」の構図パターンに分類し、2a/3＜x_V≦ａであると判断した場合には、入力画像の構図を「垂直分割線右」の構図パターンに分類する。
【０２３２】
また、分割線検出処理によって、垂直分割線が検出されず、垂直分割線情報が分割線検出部３２から供給されなかった場合、構図分類部３３は、入力画像の構図を「その他」の構図パターンであると分類する。
【０２３３】
［左右対称度が閾値Th_LRより小さく、かつ、上下対称度が閾値Th_TBより小さい場合］
この場合、入力画像の構図は、第１または第２の斜め分割線情報によってさらに分類される。すなわち、第１の斜め分割線情報で表される斜め分割線の水平方向に対する角度が、図１０で説明した対角線構図における対角線D1の水平方向に対する角度から所定の角度範囲内に含まれる場合、入力画像の構図は「右上斜め分割線」の構図パターンに分類される。具体的には、図３９の左側に表されるように、対角線D1の水平方向に対する角度をθRとしたときに、第１の斜め分割線情報で示される斜め分割線の水平方向に対する角度θが、θR−δθ≦θ≦θR＋δθの範囲内に含まれる場合、入力画像の構図は「右上斜め分割線」の構図パターンに分類される。また、第２の斜め分割線情報で表される斜め分割線の水平方向に対する角度が、図１０で説明した対角線構図における対角線D2の水平方向に対する角度から所定の角度範囲内に含まれる場合、入力画像の構図は「左上斜め分割線」の構図パターンに分類される。具体的には、図３９の右側に示されるように、対角線D2の水平方向に対する角度をθLとしたときに、斜め分割線情報で表される斜め分割線の水平方向に対する角度θが、θL−δθ≦θ≦θL＋δθの範囲内に含まれる場合、入力画像の構図は「左上斜め分割線」の構図パターンに分類される。
【０２３４】
例えば、図４０に示される入力画像において、分割線検出処理によって、斜め分割線Dsが検出され、角度θを表す第１の斜め分割線情報が分割線検出部３２から供給された場合、構図分類部３３は、θR−δθ≦θ≦θR＋δθであると判断し、入力画像の構図を「右上斜め分割線」の構図パターンに分類する。また、構図分類部３３は、θL−δθ≦θ≦θL＋δθであると判断した場合には、入力画像の構図を「左上斜め分割線」の構図パターンに分類する。
【０２３５】
また、分割線検出処理によって、右上斜め分割線および左上斜め分割線のいずれもが検出されず、第１および第２の斜め分割線情報のいずれもが分割線検出部３２から供給されなかった場合、構図分類部３３は、入力画像の構図を「その他」の構図パターンに分類する。
【０２３６】
このようにして分類された構図パターンは、対称度および分割線情報とともに、図示せぬ情報処理装置や記憶装置等に出力する。
【０２３７】
以上の処理によれば、入力画像におけるエッジ情報および色情報の線対称性を示す対称度と、入力画像における画素情報（エッジ情報）の分布の変化を表す分割線とに基づいて、入力画像の構図が分類されるので、被写体や被写体の状態を認識したり、入力画像と予め用意された構図との間で画素毎に評価値を算出する必要なく、入力画像の構図を分類することができる。また、エッジ情報の線対称性だけを用いて構図を分類するのではなく、色情報の線対称性や分割線の位置をさらに用いて、入力画像の構図を分類することができる。したがって、よりコストの低い演算で、入力画像の構図を詳細な構図パターンに分類することが可能となる。
【０２３８】
なお、構図パターンとともに図示せぬ情報処理装置や記憶装置等に出力された対称度および分割線情報を、入力画像のメタデータとして付与するようにしてもよい。
【０２３９】
これにより、記録されている画像を、対称度や分割線情報（分割線の位置）によって検索したり、分類することができるようになる。
【０２４０】
さらに、入力画像の特徴量として、周波数分布や色分布とともに、対称度や分割線情報を用いることで、画像認識における認識精度を向上させることができるようになる。
【０２４１】
ところで、以上においては、図３６を参照して説明したように、入力画像の構図を分類する場合、まず対称度によって大まかに分類し、さらに分割線の位置によって細かく分類するようにした。ここで、図３６を参照して説明した対称度と分割線との関係を、図４１に示す。
【０２４２】
図４１において、横軸は左右対称度を、縦軸は上下対称度をそれぞれ示しており、それぞれによって与えられる２次元空間上に、構図パターンC1乃至C4が分布している。
【０２４３】
図４１に示される２次元空間において、左右対称度、上下対称度がともに大きい領域には、「上下左右対称」の構図パターンを示す構図パターンC1が位置している。また、左右対称度が大きく、上下対称度が小さい領域には、「水平分割線中」の構図パターンを示す構図パターンC2が位置しており、左右対称度が小さく、上下対称度が大きい領域には、「垂直分割線中」の構図パターンを示す構図パターンC3が位置している。そして、左右対称度、上下対称度がともに小さい領域には、「右上斜め分割線」の構図パターンを示す構図パターンC4が位置している。
【０２４４】
なお、左右対称度が大きく、上下対称度が小さい領域に、例えば「垂直分割線上」の構図パターンが位置したり、左右対称度が小さく、上下対称度が大きい領域に、例えば「す平分割線下」の構図パターンが位置することはない。
【０２４５】
このように、左右対称度および上下対称度の算出結果によって、検出されうる分割線や、分類されうる構図パターンは限られるので、分割線検出処理の一部または全てを省略するようにできる。
【０２４６】
すなわち、左右対称度、上下対称度がともに大きい場合には、入力画像の構図は、分割線の検出結果に関わらず「上下左右対称」の構図パターンに分類されるので、分割線検出処理を全て省略することができる。
【０２４７】
また、左右対称度が大きく、上下対称度が小さい場合には、入力画像の構図は、「水平分割線上」、「水平分割線中」、「水平分割線下」、または「その他」のいずれかの構図パターンに分類されるので、水平分割線検出処理が実行されればよく、垂直分割線検出処理、および斜め分割線検出処理１，２を省略することができる。
【０２４８】
同様に、左右対称度が小さく、上下対称度が大きい場合には、入力画像の構図は、「垂直分割線左」、「垂直分割線中」、「垂直分割線右」、または「その他」のいずれかの構図パターンに分類されるので、垂直分割線検出処理が実行されればよく、水平分割線検出処理、および斜め分割線検出処理１，２を省略することができる。
【０２４９】
さらに、左右対称度、上下対称度がともに小さい場合には、入力画像の構図は、「右上斜め分割線」、「左上斜め分割線」、または「その他」のいずれかの構図パターンに分類されるので、斜め分割線検出処理１および２が実行されればよく、水平分割線検出処理および垂直分割線検出処理を省略することができる。
【０２５０】
このようにして、対称度算出処理の後に、分割線検出処理を実行することで、対称度算出処理の算出結果に応じて、分割線検出処理の一部または全部を省略することができるので、さらにコストの低い演算で、入力画像の構図を分類することが可能となる。
【０２５１】
なお、以上においては、図９のフローチャートのように、対称度算出処理の後に、分割線検出処理を実行するようにしたが、逆に、図４２のフローチャートのように、分割線検出処理の後に、対称度算出処理を実行するようにしてもよい。
【０２５２】
図４２は、分割線検出処理の後に、対称度算出処理を実行するようにした構図分類処理について説明するフローチャートである。
【０２５３】
なお、図４２のフローチャートにおけるステップＳ２１１乃至Ｓ２１３の処理は、図９のフローチャートにおけるステップＳ１２の処理とステップＳ１１の処理とを入れ替えただけであるのでその詳細な説明は省略する。
【０２５４】
ただし、図４１で説明した対称度と分割線との関係から、分割線の検出結果によっても、算出されうる分割線や、分類されうる構図パターンは限られるので、対称度算出処理の一部を省略するようにできる。
【０２５５】
すなわち、分割線として、水平分割線のみが検出された場合には、左右対称度が大きく、上下対称度が小さくなる傾向があるので、エッジ対称度算出処理や色対称度算出処理における上下対称度の算出処理を省略するようにしてもよい。
【０２５６】
また、分割線として、垂直分割線のみが検出された場合には、左右対称度が小さく、上下対称度が大きくなる傾向があるので、エッジ対称度算出処理や色対称度算出処理における左右対称度の算出処理を省略するようにしてもよい。
【０２５７】
このようにして、分割線検出処理の後に、対称度算出処理を実行することで、分割線検出処理の検出結果に応じて、対称度算出処理の一部を省略することができるので、さらにコストの低い演算で、入力画像の構図を分類することが可能となる。
【０２５８】
以上においては、撮像装置等で撮像された画像を入力画像として、入力画像の構図を分類する画像処理装置について説明してきたが、撮像した撮像画像の構図をそのまま分類する構成を撮像装置に設けるようにしてもよい。
【０２５９】
［撮像装置の構成例について］
図４３は、撮像した撮像画像の構図を分類するようにした撮像装置の構成例を示している。なお、図４３の撮像装置３１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０２６０】
すなわち、図４３の撮像装置３１１において、図１の画像処理装置１１と異なるのは、撮像部３３１、画像処理部３３２、表示部３３３、および記憶部３３４を新たに設けた点である。
【０２６１】
なお、図４３の構図分類部は、構図パターンとともに、対称度および分割線情報を、表示部３３３または記憶部３３４に供給する。
【０２６２】
撮像部３３１は、光学レンズ、撮像素子、A/D(Analog/Digital)変換部（いずれも図示せず）を含むように構成される。撮像部３３１は、光学レンズに入射された光を、撮像素子が受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。撮像部３３１は、A/D変換の結果得られたデジタルの画像データ（撮像画像）を画像処理部３３２に供給する。
【０２６３】
画像処理部３３２は、撮像部３３１からの撮像画像に対し、ノイズ除去処理等の画像処理を施し、リアルタイムな入力画像（いわゆるスルー画）として、対称度算出部３１、分割線検出部３２、および表示部３３３に供給する。すなわち、対称度算出部３１および分割線検出部３２は、動画像としてのリアルタイムな入力画像に対して、それぞれ対称度算出処理および分割線検出処理を行う。
【０２６４】
また、画像処理部３３２は、撮像装置３１１を操作するユーザのシャッタ操作によって図示せぬシャッタボタン等が操作されると、その時の撮像画像に対し、ノイズ除去処理等の画像処理を施し、静止画像としての入力画像を、対称度算出部３１、分割線検出部３２、および記憶部３３４に供給する。この場合、対称度算出部３１および分割線検出部３２は、静止画像としての入力画像に対して、それぞれ対称度算出処理および分割線検出処理を行う。
【０２６５】
表示部３３３は、画像処理部３３２からの撮像画像（スルー画）とともに、構図分類部３３からの構図パターン、対称度、および分割線情報の少なくともいずれか１つに基づいた情報を表示する。例えば、表示部３３３は、スルー画とともに、そのスルー画の構図が分類される構図パターンの名称や、左右対称度および上下対称度を数値化したスコア、分割線情報で表される分割線を表示する。
【０２６６】
記憶部３３４は、画像処理部３３２からの撮像画像（静止画像）とともに、構図分類部３３からの構図パターン、対称度、および分割線情報を、撮像画像のメタデータとして記憶する。
【０２６７】
これにより、記憶部３３４に記憶された画像を、対称度や分割線情報（分割線の位置）によって検索したり、分類することができるようになる。
【０２６８】
このような構成により、撮像装置３１１は、撮像画像の構図を分類する構図分類処理を実行する。なお、撮像装置３１１の構図分類処理は、図９または図４２を参照して説明した、画像処理装置１１の構図分類処理と同様にして実行され、同様の効果を奏するので、その説明は省略する。
【０２６９】
さらに、撮像装置３１１は、構図分類処理により得られた構図パターン、対称度や分割線情報に基づいて、推奨される構図をユーザに提示するようにしてもよい。
【０２７０】
例えば、表示部３３３に表示されているスルー画が、左右対称度が大きく、「水平分割線中」の構図パターンに分類された場合、表示部３３３には、図４４の左側に示されるように、スルー画とともに、分割線検出処理により検出された水平分割線が表示される。このとき、例えば、ユーザにより、図示せぬ操作部が操作されることにより、図４４の右側に示されるように、３分割構図を表す３分割線（破線）が表示されるとともに、分割線検出処理により検出された水平分割線を、図１０で示された水平分割線H2に対応する３分割線に合わせるようにユーザに示唆する矢印が表示されるようにしてもよい。
【０２７１】
また、表示部３３３に表示されているスルー画が、図４５の左側に示される左右対称度が小さい状態から、図４５の右側に示される左右対称度が大きい状態になったときに、構図が左右対称になったことを示す線（破線）が表示されるようにしてもよい。
【０２７２】
さらに、撮像装置３１１において、撮像部３３１の光学レンズとして、標準的な画角のメインレンズと、メインレンズと比較して十分画角の広いサブレンズとを設けるようにして、表示部３３３に、メインレンズを介して撮像したメイン画像と、サブレンズを介して撮像したサブ画像とを合成した合成画像を表示させるようにした構成を考える。
【０２７３】
合成画像は、画角の広いサブ画像の一部に、画角の狭いメイン画像が、被写体の位置が一致するように合成された画像であり、ユーザは、合成画像を確認することで、メイン画像だけでは確認することができなかった広い範囲の構図（サブ画像に対応する構図）を確認することができるようになる。
【０２７４】
このような構成の撮像装置３１１において、メイン画像およびサブ画像のそれぞれに対して構図分類処理が行われることによって、メイン画像の対称度よりサブ画像の対称度の方が高い場合、または、サブ画像の分割線が３分割構図の３分割線にごく近い場合に、メイン画像の構図がサブ画像の構図と同様になるよう撮像装置３１１を操作するようにユーザに示唆する表示を行うようにしてもよい。
【０２７５】
以上のように、ユーザは、撮像している画像について、推奨される構図を知ることができるので、よりよい構図で撮影を行うことが可能となる。さらに、推奨される構図となったときには、撮像装置３１１が自動でシャッタ操作を行うようにしてもよい。
【０２７６】
なお、以上において説明した、対称度を算出するとともに分割線を検出し、対称度と分割線とに基づいて入力画像の構図を分類する処理は、動画像に対して実行されるようにしてももちろんよい。
【０２７７】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２７８】
図４６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２７９】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０２８０】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０２８１】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０２８２】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２８３】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０２８４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２８５】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２８６】
１１ 画像処理装置， ３１ 対称度算出部， ３２ 分割線検出部， ３３ 構図分類部， ４１ エッジ対称度算出部， ４２ 色対称度算出部， ７２ 水平分割線検出部， ７３ 垂直分割線検出部， ７４，７５ 斜め分割線検出部， ３１１ 撮像装置
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、入力画像の構図を分類することができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置によって撮像された画像の構図パターンを識別する技術がある。
【０００３】
例えば、注目被写体を認識し、注目被写体の状態を認識し、認識された注目被写体の状態に基づいて、記録されている複数の構図パターンのうち、注目被写体を含む構図パターンを選択するようにした技術がある（例えば、特許文献１参照）。
【０００４】
また、入力画像を解析して特徴パターンを検出し、予め用意された複数の構図と、検出された特徴パターンとの間の関連度を評価値として算出し、その評価値に基づいて、入力画像の構図を決定する画像処理装置が提案されている（例えば、特許文献２参照）。
【０００５】
さらに、撮影画像における主要被写体の上端に対応するエッジや、撮影画像の対応する二辺の間に延びるエッジを抽出し、抽出されたエッジの位置や傾きを、予め定められた適正範囲と対比して、構図の良否を判定するカメラが提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−８１２４６号公報
【特許文献２】特開２００９−１５９０２３号公報
【特許文献３】特許第４０２９１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の手法においては、被写体を認識したり、被写体の状態を認識するのに、コストの高い演算が必要であった。
【０００８】
また、特許文献２の手法においては、予め用意された複数の構図と、入力画像を解析して検出された特徴パターンとの間についての評価値が、画素毎に算出されるため、やはり、コストの高い演算が必要であった。
【０００９】
さらに、特許文献３の手法においては、構図の良否の判定基準が、撮影画像における主要被写体の上端に対応するエッジか、撮影画像の対応する二辺の間に延びるエッジのみであるので、判定される構図の種類が限られていた。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、よりコストの低い演算で、入力画像の構図を詳細な構図パターンに分類することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の画像処理装置は、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出手段と、前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出手段と、前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類手段とを備える。
【００１２】
前記算出手段には、前記入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する、前記入力画像のエッジ情報および色情報の少なくともいずれか一方についての前記対称度を算出させることができる。
【００１３】
前記算出手段には、前記入力画像の中心点からの距離に応じた重み付けをして、前記対称度を算出させることができる。
【００１４】
前記検出手段には、前記入力画像において、所定の方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記分割線を検出させることができる。
【００１５】
前記検出手段には、前記入力画像の中心点からの距離に応じた重み付けをして、前記エッジ情報を積算させることができる。
【００１６】
前記検出手段には、前記入力画像において、水平方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記入力画像を水平方向に分割する前記分割線である水平分割線を検出させることができる。
【００１７】
前記検出手段には、前記入力画像において、垂直方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記入力画像を垂直方向に分割する前記分割線である垂直分割線を検出させることができる。
【００１８】
前記検出手段には、前記入力画像において、斜め方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記入力画像を斜め方向に分割する前記分割線である斜め分割線を検出させることができる。
【００１９】
前記検出手段には、前記入力画像の前記エッジ情報を２値化し、前記入力画像を、前記斜め方向に対応する角度だけ回転して、２値化された前記エッジ情報を積算させることができる。
【００２０】
本発明の一側面の画像処理方法は、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出手段と、前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出手段と、前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類手段とを備える画像処理装置の画像処理方法であって、前記算出手段が、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出ステップと、前記検出手段が、前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出ステップと、前記分類手段が、前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類ステップとを含む。
【００２１】
本発明の一側面のプログラムは、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出ステップと、前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出ステップと、前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類ステップとを含む処理をコンピュータに実行させる。
【００２２】
本発明の一側面においては、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度が算出され、入力画像における画素の画素情報の分布から、入力画像を分割する分割線が検出され、対称度および分割線の少なくともいずれか一方に基づいて、入力画像の構図が、予め決められている構図パターンのいずれかに分類される。
【発明の効果】
【００２３】
本発明の一側面によれば、より低コストな演算で、入力画像の構図を詳細な構図パターンに分類することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図２】対称度算出部の機能構成例を示すブロック図である。
【図３】エッジ対称度算出部の機能構成例を示すブロック図である。
【図４】色対称度算出部の機能構成例を示すブロック図である。
【図５】分割線検出部の機能構成例を示すブロック図である。
【図６】水平分割線検出部の機能構成例を示すブロック図である。
【図７】垂直分割線検出部の機能構成例を示すブロック図である。
【図８】斜め分割線検出部の機能構成例を示すブロック図である。
【図９】構図分類処理について説明するフローチャートである。
【図１０】写真撮影などにおいて一般的に推奨される構図パターンについて説明する図である。
【図１１】対称度算出処理について説明するフローチャートである。
【図１２】エッジ対称度算出処理について説明するフローチャートである。
【図１３】入力画像とエッジ画像について説明する図である。
【図１４】エッジ左右対称度の算出の例について説明する図である。
【図１５】エッジ上下対称度の算出の例について説明する図である。
【図１６】入力画像とエッジ画像について説明する図である。
【図１７】色対称度算出処理について説明するフローチャートである。
【図１８】色差に応じた重み係数について説明する図である。
【図１９】色差の総和の変換について説明する図である。
【図２０】分割線検出処理について説明するフローチャートである。
【図２１】入力画像とエッジ画像について説明する図である。
【図２２】水平分割線検出処理について説明するフローチャートである。
【図２３】エッジ情報の水平方向の積算値について説明する図である。
【図２４】水平分割線の検出結果の例について説明する図である。
【図２５】垂直分割線検出処理について説明するフローチャートである。
【図２６】エッジ情報の垂直方向の積算値について説明する図である。
【図２７】斜め分割線検出処理１について説明するフローチャートである。
【図２８】入力画像とエッジ画像、エッジ画像の２値化、およびエッジ画像の回転について説明する図である。
【図２９】斜め方向のライン毎のエッジ情報の積算値の正規化の例について説明する図である。
【図３０】斜め方向のライン毎のエッジ情報の積算値の正規化の例について説明する図である。
【図３１】エッジ情報の斜め方向の積算値について説明する図である。
【図３２】斜め分割線の検出結果の例について説明する図である。
【図３３】斜め方向のライン毎のエッジ情報の積算値の正規化の他の例について説明する図である。
【図３４】斜め方向のライン毎のエッジ情報の積算値の正規化の他の例について説明する図である。
【図３５】斜め方向のライン毎のエッジ情報の積算値の正規化の他の例について説明する図である。
【図３６】入力画像の構図が分類される構図パターンの例について説明する図である。
【図３７】水平分割線によって分類される構図パターンの例について説明する図である。
【図３８】垂直分割線によって分類される構図パターンの例について説明する図である。
【図３９】斜め分割線によって分類される構図パターンの例について説明する図である。
【図４０】斜め分割線によって分類される構図パターンの例について説明する図である。
【図４１】対称度と分割線との関係を示す図である。
【図４２】他の構図分類処理について説明するフローチャートである。
【図４３】撮像装置の機能構成例を示すブロック図である。
【図４４】構図の推奨の表示例について説明する図である。
【図４５】構図の推奨の表示例について説明する図である。
【図４６】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態について図を参照して説明する。
【００２６】
［画像処理装置の構成例について］
図１は、本発明を適用した画像処理装置の一実施の形態の機能構成例を示している。
【００２７】
図１の画像処理装置１１は、例えば、デジタルカメラ等の撮像装置や、他の画像処理装置から入力された入力画像の線対称性を示す対称度を算出するとともに、入力画像を所定の領域に分割する分割線を検出し、対称度および分割線の少なくともいずれか一方に基づいて、入力画像の構図を、所定の構図パターンに分類する。
【００２８】
画像処理装置１１は、対称度算出部３１、分割線検出部３２、および構図分類部３３から構成される。
【００２９】
画像処理装置１１に入力された入力画像は、対称度算出部３１および分割線検出部３２に供給される。
【００３０】
対称度算出部３１は、入力画像の左右方向および上下方向のそれぞれに対する、入力画像の画素毎の画素情報（画素値）についての線対称性を示す対称度を算出し、構図分類部３３に供給する。
【００３１】
［対称度算出部の機能構成例について］
図２は、対称度算出部３１の機能構成例を示している。
【００３２】
対称度算出部３１は、エッジ対称度算出部４１、色対称度算出部４２、および対称度決定部４３を備えている。
【００３３】
エッジ対称度算出部４１は、入力画像の画素毎の画素情報の１つであるエッジ情報についての対称度（以下、エッジ対称度という）を算出し、対称度決定部４３に供給する。
【００３４】
［エッジ対称度算出部の機能構成例について］
図３は、エッジ対称度算出部４１の機能構成例を示している。
【００３５】
エッジ対称度算出部４１は、エッジ画像生成部５１、左右対称度算出部５２、および上下対称度算出部５３を備えている。
【００３６】
エッジ画像生成部５１は、入力画像の各画素に基づいて、画素毎のエッジ情報からなるエッジ画像を生成し、左右対称度算出部５２および上下対称度算出部５３に供給する。
【００３７】
左右対称度算出部５２は、エッジ画像生成部５１からのエッジ画像の左右方向の中心線に対する、エッジ情報についての対称度であるエッジ左右対称度を算出し、出力する。
【００３８】
上下対称度算出部５３は、エッジ画像生成部５１からのエッジ画像の上下方向の中心線に対する、エッジ情報についての対称度であるエッジ上下対称度を算出し、出力する。
【００３９】
このようにして、エッジ対称度算出部４１は、エッジ左右対称度およびエッジ上下対称度を、エッジ対称度として、対称度決定部４３に供給する。
【００４０】
図２の説明に戻り、色対称度算出部４２は、入力画像の画素毎の画素情報の１つである色情報についての対称度（以下、色対称度という）を算出し、対称度決定部４３に供給する。
【００４１】
［色対称度算出部の機能構成例について］
図４は、色対称度算出部４２の機能構成例を示している。
【００４２】
色対称度算出部４２は、色空間変換部６１、左右対称度算出部６２、および上下対称度算出部６３を備えている。
【００４３】
色空間変換部６１は、入力画像の各画素の画素情報（色情報）が表現される色空間を、他の色空間に変換し、変換された色空間で表現される色情報からなる入力画像を、左右対称度算出部６２および上下対称度算出部６３に供給する。
【００４４】
左右対称度算出部６２は、色空間変換部６１からの入力画像の左右方向の中心線に対する、色情報についての対称度である色左右対称度を算出し、出力する。
【００４５】
上下対称度算出部６３は、色空間変換部６１からの入力画像の上下方向の中心線に対する、色情報についての対称度である色上下対称度を算出し、出力する。
【００４６】
このようにして、色対称度算出部４２は、色左右対称度および色上下対称度を、色対称度として、対称度決定部４３に供給する。
【００４７】
図２の説明に戻り、対称度決定部４３は、エッジ対称度算出部４１からのエッジ対称度、および、色対称度算出部４２からの色対称度に基づいて、入力画像の左右方向に対する線対称性を示す左右対称度、および、入力画像の上下方向に対する線対称性を示す上下対称度を決定する。具体的には、対称度決定部４３は、エッジ対称度算出部４１からエッジ対称度として供給されてくるエッジ左右対称度と、色対称度算出部４２から色対称度として供給されてくる色左右対称度のうちの、所定の条件を満たす方を左右対称度に決定する。また、対称度決定部４３は、エッジ対称度算出部４１からエッジ対称度として供給されてくるエッジ上下対称度と、色対称度算出部４２から色対称度として供給されてくる色上下対称度のうちの、所定の条件を満たす方を上下対称度に決定する。
【００４８】
このようにして、対称度算出部３１は、左右対称度および上下対称度を、対称度として構図分類部３３に供給する。
【００４９】
図１の説明に戻り、分割線検出部３２は、入力画像における画素情報の分布の変化から、入力画像を分割する分割線を検出し、検出した分割線を表す分割線情報を、構図分類部３３に供給する。
【００５０】
［分割線検出部の機能構成例について］
図５は、分割線検出部３２の機能構成例を示している。
【００５１】
分割線検出部３２は、エッジ画像生成部７１、水平分割線検出部７２、垂直分割線検出部７３、および斜め分割線検出部７４，７５を備えている。
【００５２】
エッジ画像生成部７１は、図３のエッジ画像生成部５１と同様に、入力画像の各画素に基づいて、画素毎のエッジ情報からなるエッジ画像を生成し、水平分割線検出部７２乃至斜め分割線検出部７５に供給する。
【００５３】
水平分割線検出部７２は、エッジ画像生成部７１からのエッジ画像において、水平方向にエッジ情報を積算し、その積算値の分布から、入力画像を水平方向に（すなわち、上下に）分割する水平分割線を検出する。水平分割線検出部７２は、検出した水平分割線を表す水平分割線情報を出力する。
【００５４】
垂直分割線検出部７３は、エッジ画像生成部７１からのエッジ画像において、垂直方向にエッジ情報を積算し、その積算値の分布から、入力画像を垂直方向に（すなわち、左右に）分割する垂直分割線を検出する。垂直分割線検出部７３は、検出した垂直分割線を表す垂直分割線情報を出力する。
【００５５】
斜め分割線検出部７４は、エッジ画像生成部７１からのエッジ画像において、右上斜め方向にエッジ情報を積算し、その積算値の分布から、入力画像を右上斜め方向に分割する右上斜め分割線を検出する。斜め分割線検出部７４は、検出した右上斜め分割線を表す第１の斜め分割線情報を出力する。
【００５６】
斜め分割線検出部７５は、エッジ画像生成部７１からのエッジ画像において、左上斜め方向にエッジ情報を積算し、その積算値の分布から、入力画像を左上斜め方向に分割する左上斜め分割線を検出する。斜め分割線検出部７５は、検出した左上斜め分割線を表す第２の斜め分割線情報を出力する。
【００５７】
このようにして、分割線検出部３２は、水平分割線情報、垂直分割線情報、第１の斜め分割線情報、および第２の斜め分割線情報を、分割線情報として構図分類部３３に供給する。
【００５８】
ここで、図６乃至８を参照して、水平分割線検出部７２乃至斜め分割線検出部７５の機能構成例を示している。
【００５９】
［水平分割線検出部の機能構成例について］
図６は、水平分割線検出部７２の機能構成例を示している。
【００６０】
水平分割線検出部７２は、水平方向積算部１１１、LPF（Low Pass Filter）１１２、ピーク値検出部１１３、および閾値処理部１１４を備えている。
【００６１】
水平方向積算部１１１は、エッジ画像生成部７１からのエッジ画像において、水平方向の画素のライン（以下、単にラインという）毎に、画素の画素情報（エッジ情報）を積算し、その積算結果をLPF１１２に供給する。ここで得られる積算結果は、エッジ画像（入力画像）の垂直方向の画素位置に対する、水平方向のエッジ情報の積算値となる。
【００６２】
LPF１１２は、水平方向積算部１１１からの積算結果、すなわち、エッジ画像の垂直方向の画素位置に対する水平方向のエッジ情報の積算値に対してフィルタリング処理を施すことにより、積算結果のノイズ除去を行い、ピーク値検出部１１３に供給する。
【００６３】
ピーク値検出部１１３は、LPF１１２によりノイズ除去された積算結果において、積算値のピーク値を検出し、検出したピーク値と、そのピーク値となる積算値が得られた水平方向のラインの垂直方向の画素位置とを、閾値処理部１１４に供給する。
【００６４】
閾値処理部１１４は、ピーク値検出部１１３からのピーク値と、所定の閾値とを比較し、ピーク値が所定の閾値より大きい場合、そのピーク値となる積算値が得られた水平方向のラインを水平分割線とし、エッジ画像におけるそのラインの垂直方向の画素位置を、水平分割線情報として出力する。
【００６５】
［垂直分割線検出部の機能構成例について］
図７は、垂直分割線検出部７３の機能構成例を示している。
【００６６】
垂直分割線検出部７３は、垂直方向積算部１２１、LPF１２２、ピーク値検出部１２３、および閾値処理部１２４を備えている。
【００６７】
垂直方向積算部１２１は、エッジ画像生成部７１からのエッジ画像において、垂直方向のライン毎にエッジ情報を積算し、その積算結果をLPF１２２に供給する。ここで得られる積算結果は、エッジ画像（入力画像）の水平方向の画素位置に対する、垂直方向のエッジ情報の積算値となる。
【００６８】
LPF１２２は、垂直方向積算部１２１からの積算結果、すなわち、エッジ画像の水平方向の画素位置に対する垂直方向のエッジ情報の積算値に対してフィルタリング処理を施すことにより、積算結果のノイズ除去を行い、ピーク値検出部１２３に供給する。
【００６９】
ピーク値検出部１２３は、LPF１２２によりノイズ除去された積算結果において、積算値のピーク値を検出し、検出したピーク値と、そのピーク値となる積算値が得られた垂直方向のラインの水平方向の画素位置とを、閾値処理部１２４に供給する。
【００７０】
閾値処理部１２４は、ピーク値検出部１２３からのピーク値と、所定の閾値とを比較し、ピーク値が所定の閾値より大きい場合、そのピーク値となる積算値が得られた水平方向のラインを垂直分割線とし、エッジ画像におけるそのラインの水平方向の画素位置を、垂直分割線情報として出力する。
【００７１】
［斜め分割線検出部の機能構成例について］
図８は、斜め分割線検出部７４の機能構成例を示している。
【００７２】
斜め分割線検出部７４は、斜め方向積算部１３１、LPF１３２、ピーク値検出部１３３、および閾値処理部１３４を備えている。
【００７３】
斜め方向積算部１３１は、エッジ画像生成部７１からのエッジ画像において、右上斜め方向のライン毎にエッジ情報を積算し、その積算結果をLPF１３２に供給する。ここで得られる積算結果は、エッジ画像（入力画像）の左上斜め方向の画素位置に対する、右上斜め方向のエッジ情報の積算値となる。
【００７４】
LPF１３２は、斜め方向積算部１３１からの積算結果、すなわち、エッジ画像の左上斜め方向の画素位置に対する右上斜め方向のエッジ情報の積算値に対してフィルタリング処理を施すことにより、積算結果のノイズ除去を行い、ピーク値検出部１３３に供給する。
【００７５】
ピーク値検出部１３３は、LPF１３２によりノイズ除去された積算結果において、積算値のピーク値を検出し、検出したピーク値と、そのピーク値となる積算値が得られた右上斜め方向のラインの左上斜め方向の画素位置とを、閾値処理部１３４に供給する。
【００７６】
閾値処理部１３４は、ピーク値検出部１３３からのピーク値と、所定の閾値とを比較し、ピーク値が所定の閾値より大きい場合、そのピーク値となる積算値が得られた右上斜め方向のラインを右上斜め分割線とし、エッジ画像におけるそのラインについての、左上斜め方向の画素位置を、第１の分割線情報として出力する。
【００７７】
なお、斜め分割線検出部７５の機能構成例は、図８の斜め分割線検出部７４の各部において、エッジ情報の右上斜め方向に対する処理が、左上斜め方向に対する処理に代わる以外は、基本的に同様であるので、その説明は省略する。
【００７８】
さて、図１の説明に戻り、構図分類部３３は、対称度算出部３１からの対称度、および、分割線検出部３２からの分割線情報に基づいて、入力画像の構図を、予め決められている構図パターンのいずれかに分類し、その構図パターンを、対称度および分割線情報とともに、図示せぬ情報処理装置や記憶装置等に出力する。
【００７９】
［画像処理装置の構図分類処理について］
次に、図９のフローチャートを参照して、図１の画像処理装置１１の構図分類処理について説明する。
【００８０】
図９のフローチャートで示される構図分類処理によって、画像処理装置１１に入力される入力画像の構図は、予め決められている構図パターンのいずれかに分類される。
【００８１】
ここで、図１０を参照して、写真撮影などにおいて一般的に推奨される構図パターンについて説明する。
【００８２】
図１０に示される構図パターンＣには、３分割構図と対角線構図の２つの代表的な構図パターンが含まれている。
【００８３】
３分割構図は、３分割線と呼ばれる、水平分割線H1，H2および垂直分割線V1，V2からなる構図であり、水平分割線H1，H2および垂直分割線V1，V2の少なくともいずれか１つの線上に、被写体や風景の境界を合わせたり、水平分割線H1，H2と垂直分割線V1，V2との４つの交点（３分割線交点）のいずれかに被写体を合わせることで、バランスのとれた画像が得られるようになる。
【００８４】
また、対角線構図は、対角線D1，D2からなる構図であり、対角線D1，D2の少なくともいずれか１つの線上に、被写体や風景の境界を合わせることで、バランスのとれた画像が得られるようになる。
【００８５】
以下において説明する構図分類処理においては、入力画像の構図が、左右方向または上下方向に対してどの程度の線対称性を有するか、または、上述した３分割構図や対角線構図のうちのいずれに近似しているかが判別される。
【００８６】
図９のフローチャートのステップＳ１１において、対称度算出部３１は、対称度算出処理を実行し、入力画像の左右方向および上下方向のそれぞれに対する、入力画像の画素毎の画素情報についての対称度を算出する。
【００８７】
［対称度算出部の対称度算出処理について］
ここで、図１１のフローチャートを参照して、図９のフローチャートのステップＳ１１における対称度算出処理について説明する。
【００８８】
ステップＳ３１において、対称度算出部３１のエッジ対称度算出部４１は、エッジ対称度算出処理を実行し、入力画像のエッジ対称度を算出する。
【００８９】
［エッジ対称度算出部のエッジ対称度算出処理について］
ここで、図１２のフローチャートを参照して、図１１のフローチャートのステップＳ３１におけるエッジ対称度算出処理について説明する。
【００９０】
ステップＳ４１において、エッジ対称度算出部４１のエッジ画像生成部５１は、入力画像から輝度画像を取得し、その輝度画像に対してSobelフィルタや、Gaborフィルタなどのエッジ抽出フィルタを適用することで得られるエッジ値（エッジ情報）からなるエッジ画像を生成する。
【００９１】
また、エッジ画像生成部５１は、入力画像からＲ，Ｇ，Ｂ等の色チャネル画像を取得し、色チャネル画像それぞれに対してエッジ抽出フィルタを適用することで得られるエッジ値をチャネル間で画素毎に比較し、それぞれの最大値からなるエッジ画像を生成するようにしてもよい。
【００９２】
さらに、エッジ画像生成部５１は、入力画像に対して、平均シフトアルゴリズム（Mean Shift法）等を用いた色の領域分割を行い、分割された領域の境界線上の画素に対して、エッジ値を与えることで、エッジ画像を生成するようにもできる。この場合、例えば、領域の境界線上の画素に対しては１のエッジ値を、それ以外の領域の画素には０のエッジ値を与える。
【００９３】
例えば、図１３に示されるように、被写体が山である風景画像が入力画像P1として入力された場合、エッジ画像生成部５１により、山を含む風景の輪郭形状を表すエッジ画像P1eが生成される。このようにして生成されたエッジ画像P1eは、左右対称度算出部５２および上下対称度算出部５３に供給される。
【００９４】
ステップＳ４２において、左右対称度算出部５２は、エッジ画像生成部５１からのエッジ画像に基づいて、エッジ画像の左右対称度であるエッジ左右対称度を算出する。
【００９５】
ここで、図１４を参照して、エッジ左右対称度の算出の例について説明する。図１４は、エッジ画像P1eを示している。
【００９６】
図１４に示されるように、エッジ画像P1eが、Ｈ×Ｗ画素から構成されるものとすると、エッジ画像P1eの左右方向の中心線は、画素位置W/2のラインとなる。
【００９７】
また、上下方向の画素位置ｉとなる水平方向のラインに注目し、左右方向の中心線上の画素（画素位置W/2の画素）から右側にｊ個目の画素の画素位置を＋ｊで表し、左側にｊ個目の画素の画素位置を−ｊで表すものとする。
【００９８】
このとき、エッジ画像P1eにおいて、左右方向の中心線（画素位置W/2）を挟んで対となる、画素位置(i,j)および(i,-j)（以下、単に画素位置(i,j)という）の画素同士のエッジ情報の差分の総和ｄ、左右方向の中心線を挟んで対となる画素のエッジ情報の総和（すなわち、全画素のエッジ情報の総和）ｓは、それぞれ以下の式（１），（２）で表される。
【００９９】
【数１】
【０１００】
【数２】
【０１０１】
式（１），（２）において、係数ｗは、エッジ画像の中心から注目画素の画素位置(i,j)が、入力画像の中心点から離れるほど重み付けが低くなる重み係数であり、入力画像の中心点から画素位置(i,j)までの距離をｒで表わすと、以下の式（３）で表わされる。
【０１０２】
【数３】
【０１０３】
なお、式（３）における定数σは、任意に設定される値とする。
【０１０４】
式（１）で表わされる「エッジ情報の差分の総和」ｄは、エッジ画像P1eが左右対称であるほど０に近い値をとり、エッジ画像P1eが左右非対称であるほど、「エッジ情報の総和」ｓに近づく値をとる。そこで、エッジ画像の左右対称度であるエッジ左右対称度sym_edg_LRは、以下の式（４）で表わされるようになる。
【０１０５】
【数４】
【０１０６】
すなわち、エッジ左右対称度sym_edg_LRは、０＜sym_edg_LR≦１の範囲の値をとり、エッジ画像P1eが左右対称であるほど１に近い値をとる。
【０１０７】
このようにして、エッジ左右対称度が算出される。
【０１０８】
図１２のフローチャートに戻り、ステップＳ４３において、上下対称度算出部５３は、エッジ画像生成部５１からのエッジ画像に基づいて、エッジ画像の上下対称度であるエッジ上下対称度を算出する。
【０１０９】
なお、エッジ上下対称度sym_edg_TBは、図１５に示されるように、エッジ画像P1eの上下方向の中心線を、画素位置H/2のラインとして、左右方向の画素位置ｊとなる垂直方向の画素のラインに注目し、上下方向の中心線上の画素（画素位置H/2の画素）から下側にｉ個目の画素の画素位置を＋ｉで表し、上側にｉ個目の画素の画素位置を−ｉで表すものとすると、式（１），（２）において値Ｈと値Ｗを入れ替えることにより、エッジ左右対称度sym_edg_LRと同様にして算出される。
【０１１０】
このようにして、エッジ上下対称度が算出される。
【０１１１】
ステップＳ４３の後、処理は、図１１のフローチャートのステップＳ３１に戻り、ステップＳ３２に進む。
【０１１２】
ところで、入力画像として、図１６の左側に示されるような、被写体として略同一の形状をした色の異なる野菜が左右に並んでいる入力画像P2が入力された場合、エッジ対称度算出処理においては、図１６の右側に示されるようなエッジ画像P2eが生成される
【０１１３】
図１６のエッジ画像P2eは、左右方向に対する線対称性が高いので、エッジ左右対称度として大きい値が得られるが、実際の入力画像P2においては、左右に並んだ被写体の色が異なるので、決して左右方向に対する線対称性が高いとは言えない。
【０１１４】
このように、エッジ対称度算出処理では、入力画像の色についての線対称性を求めることはできない。
【０１１５】
そこで、ステップＳ３２において、色対称度算出部４２は、色対称度算出処理を実行し、入力画像の色対称度を算出することで、入力画像の色についての線対称性を求める。
【０１１６】
［色対称度算出部の色対称度算出処理について］
ここで、図１７のフローチャートを参照して、図１１のフローチャートのステップＳ３１における色対称度算出処理について説明する。
【０１１７】
ステップＳ５１において、色空間変換部６１は、例えば、RGB空間で表現される入力画像の各画素を、L*a*b*空間で表現されるように、色空間を変換する。色空間変換部６１は、L*a*b*空間で表現される入力画像を、左右対称度算出部６２および上下対称度算出部６３に供給する。
【０１１８】
ステップＳ５２において、左右対称度算出部６２は、色空間変換部６１によって色空間が変換され、L*a*b*空間で表現される入力画像の左右対称度である色左右対称度を算出する。
【０１１９】
ここで、色左右対称度の算出の例について説明する。
【０１２０】
なお、L*a*b*空間で表現される入力画像は、図１４で説明したエッジ画像P1eと同様に表されるものとする。
【０１２１】
このとき、入力画像において、左右方向の中心線（画素位置W/2）を挟んで対となる画素位置(i,j)の画素同士の色差の総和Ｄは、以下の式（５）で表される。
【０１２２】
【数５】
【０１２３】
式（５）において、画素位置(i,j)の画素同士の色差dE、L*軸成分Ｌの差分dL、a*軸成分ａの差分da、および、b*軸成分ｂの差分dbは、それぞれ、以下の式（６）のように表される。
【０１２４】
【数６】
【０１２５】
また、式（５）における係数ｗは、画素位置(i,j)の画素同士の色差dEに係る重み係数であり、以下の式（７）で表わされる。
【０１２６】
【数７】
【０１２７】
式（７）において、重み係数wpは、画素位置(i,j)が、入力画像の中心点から離れるほど重み付けが低くなる重み係数であり、以下の式（８）で表わされる。
【０１２８】
【数８】
【０１２９】
なお、式（８）のおける定数βは、任意に設定される値とする。
【０１３０】
また、式（７）において、重み係数wEは、注目画素位置(i,j)の画素同士の色差dEが大きい領域ほど重み付けが高くなる重み係数であり、図１８のような特性を有する。具体的には、重み係数wEは、色差dEが値dE1より小さい場合には1.0をとり、値dE2より大きい場合にはwEMをとる。なお、色差dEが値dE1乃至dE2のときには、色差dEの増加に応じて、重み係数wEも増加する。
【０１３１】
すなわち、重み係数wEによれば、図１６の入力画像P2のように、左右で大きく色が異なる領域に対して、色差dEをより強調するように、色差dEに対して重み付けされる。
【０１３２】
したがって、式（５）で表わされる「色差の総和」Ｄは、入力画像の色が左右対称であるほど小さい値をとり、入力画像の色が左右非対称であるほど大きい値をとるが、扱いを簡便にするために、図１９に示されるように変換する。
【０１３３】
すなわち、図１９によれば、変換後の色差の総和Ｄ’は、色差の総和Ｄが、画素位置(i,j)の画素同士の色差dEの最小値dEminより小さい場合には０をとり、画素位置(i,j)の画素同士の色差dEの最大値dEmaxより大きい場合には１をとる。なお、色差の総和Ｄが、dEmin乃至dEmaxのときは、色差の総和Ｄの増加に応じて、変換後の色差の総和Ｄ’も増加する。
【０１３４】
そして、入力画像の色についての左右対称度である色左右対称度sym_col_LRは、以下の式（９）で表わされるようになる。
【０１３５】
【数９】
【０１３６】
すなわち、色左右対称度sym_col_LRは、０≦sym_col_LR≦１の範囲の値をとり、入力画像の色が左右対称であるほど１に近い値をとる。
【０１３７】
このようにして、色左右対称度が算出される。
【０１３８】
図１７のフローチャートに戻り、ステップＳ５３において、上下対称度算出部６３は、色空間変換部６１によって色空間が変換され、L*a*b*空間で表現される入力画像の上下対称度である色上下対称度を算出する。
【０１３９】
なお、色上下対称度sym_col_TBは、図１５で説明したエッジ画像P1eと同様にして、入力画像の上下方向の中心線を、画素位置H/2のラインとして、左右方向の画素位置ｊとなる垂直方向のラインに注目し、上下方向の中心線上の画素（画素位置H/2の画素）から下側にｉ個目の画素の画素位置を＋ｉで表し、上側にｉ個目の画素の画素位置を−ｉで表すものとすると、式（５），（６）において値Ｈと値Ｗを入れ替えることにより、色左右対称度sym_col_LRと同様にして算出される。
【０１４０】
このようにして、色上下対称度が算出される。
【０１４１】
ステップＳ５３の後、処理は、図１１のフローチャートのステップＳ３２に戻り、ステップＳ３３に進む。
【０１４２】
ステップＳ３３において、対称度決定部４３は、エッジ対称度算出部４１からのエッジ対称度、および、色対称度算出部４２からの色対称度に基づいて、入力画像の左右対称度および上下対称度を決定する。
【０１４３】
例えば、対称度決定部４３は、エッジ対称度算出部４１からのエッジ左右対称度と、色対称度算出部４２からの色左右対称度のうちの小さい方を左右対称度に決定する。同様に、対称度決定部４３は、エッジ対称度算出部４１からのエッジ上下対称度と、色対称度算出部４２からの色上下対称度のうちの小さい方を上下対称度に決定する。
【０１４４】
また、対称度決定部４３は、エッジ左右対称度と色左右対称度のうちの大きい方を左右対称度に決定し、エッジ上下対称度と色上下対称度のうちの大きい方を上下対称度に決定するようにしてもよい。
【０１４５】
対称度算出部３１は、このようにして決定した左右対称度および上下対称度を、対称度として構図分類部３３に供給し、処理は図９のステップＳ１１に戻る。
【０１４６】
ステップＳ１１の後、ステップＳ１２において、分割線検出部３２は、分割線検出処理を実行し、入力画像における画素情報の分布の変化から分割線を検出する。
【０１４７】
［分割線検出部の分割線検出処理について］
ここで、図２０のフローチャートを参照して、図９のフローチャートのステップＳ１２における分割線検出処理について説明する。
【０１４８】
ステップＳ７１において、分割線検出部３２のエッジ画像生成部７１は、図１２のフローチャートのステップＳ４１の処理と同様に、入力画像から輝度画像を取得し、その輝度画像に対してSobelフィルタや、Gaborフィルタなどのエッジ抽出フィルタを適用することで得られるエッジ値（エッジ情報）からなるエッジ画像を生成する。
【０１４９】
また、エッジ画像生成部７１は、入力画像からＲ，Ｇ，Ｂ等の色チャネル画像を取得し、色チャネル画像それぞれに対してエッジ抽出フィルタを適用することで得られるエッジ値をチャネル間で画素毎に比較し、それぞれの最大値からなるエッジ画像を生成するようにしてもよい。
【０１５０】
さらに、エッジ画像生成部７１は、入力画像に対して、平均シフトアルゴリズム（Mean Shift法）等を用いた色の領域分割を行い、分割された領域の境界線上の画素に対して、エッジ値を与えることで、エッジ画像を生成するようにもできる。この場合、例えば、領域の境界線上の画素に対しては１のエッジ値を、それ以外の領域の画素には０のエッジ値を与える。
【０１５１】
例えば、図２１に示されるように、地平線を含む風景画像が入力画像P3として入力された場合、エッジ画像生成部７１により、その風景の輪郭形状を表すエッジ画像P3eが生成される。このようにして生成されたエッジ画像P3eは、水平分割線検出部７２乃至斜め分割線検出部７５に供給される。
【０１５２】
ステップＳ７２において、水平分割線検出部７２は、水平分割線検出処理を実行し、エッジ画像生成部７１からのエッジ画像に基づいて、入力画像を水平方向に（すなわち、上下に）分割する水平分割線を検出する。
【０１５３】
［水平分割線検出部の水平分割線検出処理について］
ここで、図２２のフローチャートを参照して、図２０のフローチャートのステップＳ７２における水平分割線検出処理について説明する。
【０１５４】
ステップＳ８１において、水平分割線検出部７２の水平方向積算部１１１は、エッジ画像生成部７１からのエッジ画像において、水平方向のライン毎にエッジ情報を積算し、その積算結果をLPF１１２に供給する。
【０１５５】
なお、水平方向積算部１１１は、エッジ情報を積算する際に、各画素のエッジ情報に対して、上述の式（３）で示したような重み係数ｗにより重み付けした後に積算するようにしてもよい。これにより、エッジ画像の中心から離れた積算値ほど、その値が小さくなるようになる。
【０１５６】
ここで得られる積算結果は、エッジ画像（入力画像）の垂直方向の画素位置に対する、水平方向のエッジ情報の積算値となり、図２３に示されるグラフにおいて、黒塗りのひし形のプロットで表わされる。
【０１５７】
図２３は、水平分割線検出処理により求められる、エッジ情報の水平方向の積算値、およびその積算値に対して後述する演算を施した値の例を示している。
【０１５８】
図２３のグラフにおいて、横軸は、エッジ画像（入力画像）の垂直方向の画素位置を表している。
【０１５９】
さて、ステップＳ８２において、LPF１１２は、水平方向積算部１１１からのエッジ情報の積算値に対して、フィルタリング処理を施すことによりノイズ除去を行い、ピーク値検出部１１３に供給する。図２３において、ノイズ除去された積算結果は、白抜きの正方形のプロットで示される。
【０１６０】
ステップＳ８３において、ピーク値検出部１１３は、LPF１１２によりノイズ除去された積算結果において、積算値のピーク値を検出する。
【０１６１】
具体的には、ピーク値検出部１１３は、ノイズ除去された積算値の１次微分値（図２３中、白抜きの三角形のプロット）を求め、さらに、その絶対値である１次微分絶対値（図２３中、バツ印のプロット）を求める。ピーク値検出部１１３は、１次微分値が負の値をとり、かつ、極大値をとる１次微分絶対値（図２３中、破線の丸印で囲まれる点）に対応する積算値（図２３中、実線の丸印で囲まれる点）を、積算値のピーク値とする。これにより、積算値において、急峻に変化しているピーク値が検出されるようになる。
【０１６２】
ピーク値検出部１１３は、検出したピーク値と、そのピーク値となる積算値が得られた水平方向のラインの垂直方向の画素位置（図２３の例では、画素位置７）とを、閾値処理部１１４に供給する。
【０１６３】
ステップＳ８４において、閾値処理部１１４は、ピーク値検出部１１３からのピーク値と、所定の閾値とを比較し、ピーク値が所定の閾値より大きいか否かを判定する。
【０１６４】
ステップＳ８４において、ピーク値が所定の閾値より大きいと判定された場合、処理はステップＳ８５に進み、閾値処理部１１４は、そのピーク値となる積算値が得られた水平方向のライン（垂直方向の画素位置７のライン）を水平分割線とする。また、閾値処理部１１４は、エッジ画像におけるそのラインの垂直方向の画素位置を、水平分割線情報として出力して、水平分割線検出処理は終了する。その後、処理は、図２０のステップＳ７２に戻る。
【０１６５】
このようにして、図２１に示されたような入力画像P3が入力された場合、図２４に示されるように、入力画像P3における地平線部分における水平方向のラインが、水平分割線として検出される。
【０１６６】
一方、ステップＳ８４において、ピーク値が所定の閾値より大きくないと判定された場合、ステップＳ８５の処理はスキップされる。この場合、水平分割線は検出されずに、水平分割線検出処理は終了する。その後、処理は、図２０のステップＳ７２に戻る。
【０１６７】
ステップＳ７２の後、ステップＳ７３において、垂直分割線検出部７３は、垂直分割線検出処理を実行し、エッジ画像生成部７１からのエッジ画像に基づいて、入力画像を垂直方向に（すなわち、左右に）分割する垂直分割線を検出する。
【０１６８】
［垂直分割線検出部の垂直分割線検出処理について］
ここで、図２５のフローチャートを参照して、図２０のフローチャートのステップＳ７３における垂直分割線検出処理について説明する。
【０１６９】
ステップＳ９１において、垂直分割線検出部７３の垂直方向積算部１２１は、エッジ画像生成部７１からのエッジ画像において、垂直方向のライン毎にエッジ情報を積算し、その積算結果をLPF１２２に供給する。
【０１７０】
なお、垂直方向積算部１２１は、エッジ情報を積算する際に、各画素のエッジ情報に対して、上述の式（３）で示したような重み係数ｗにより重み付けした後に積算するようにしてもよい。これにより、エッジ画像の中心から離れた積算値ほど、その値が小さくなるようになる。
【０１７１】
ここで得られる積算結果は、エッジ画像（入力画像）の水平方向の画素位置に対する、垂直方向のエッジ情報の積算値となり、図２６に示されるグラフにおいて、黒塗りのひし形のプロットで表わされる。
【０１７２】
図２６は、垂直分割線検出処理により求められる、エッジ情報の垂直方向の積算値、およびその積算値に対して後述する演算を施した値の例を示している。
【０１７３】
図２６のグラフにおいて、横軸は、エッジ画像（入力画像）の水平方向の画素位置を表している。
【０１７４】
さて、ステップＳ９２において、LPF１２２は、垂直方向積算部１２１からのエッジ情報の積算値に対して、フィルタリング処理を施すことによりノイズ除去を行い、ピーク値検出部１２３に供給する。図２６において、ノイズ除去された積算結果は、白抜きの正方形のプロットで示される。
【０１７５】
ステップＳ９３において、ピーク値検出部１２３は、LPF１２２によりノイズ除去された積算結果において、積算値のピーク値を検出する。
【０１７６】
具体的には、ピーク値検出部１１３は、ノイズ除去された積算値の１次微分値（図２６中、白抜きの三角形のプロット）を求め、さらに、その絶対値である１次微分絶対値（図２６中、バツ印のプロット）を求める。ピーク値検出部１２３は、１次微分値が負の値をとり、かつ、極大値をとる１次微分絶対値に対応する積算値を、積算値のピーク値とする。図２６においては、図２３の例のように急峻に変化しているピーク値は見られないが、水平方向の画素位置１１において、ピーク値となる積算値が得られる。
【０１７７】
ピーク値検出部１２３は、検出したピーク値と、そのピーク値となる積算値が得られた垂直方向のラインの水平方向の画素位置（図２６の例では、画素位置１１）とを、閾値処理部１２４に供給する。
【０１７８】
ステップＳ９４において、閾値処理部１２４は、ピーク値検出部１２３からのピーク値と、所定の閾値とを比較し、ピーク値が所定の閾値より大きいか否かを判定する。
【０１７９】
ステップＳ９４において、ピーク値が所定の閾値より大きいと判定された場合、処理はステップＳ９５に進み、閾値処理部１２４は、そのピーク値となる積算値が得られた垂直方向のラインを垂直分割線とする。また、閾値処理部１２４は、エッジ画像におけるそのラインについての、水平方向の画素位置を、垂直分割線情報として出力して、垂直分割線検出処理は終了する。その後、処理は、図２０のステップＳ７３に戻る。
【０１８０】
一方、ステップＳ９４において、ピーク値が所定の閾値より大きくないと判定された場合、ステップＳ９５の処理はスキップされる。例えば、図２６におけるピーク値が所定の閾値より小さい場合、垂直分割線は検出されずに、垂直分割線検出処理は終了する。その後、処理は、図２０のステップＳ７３に戻る。
【０１８１】
ステップＳ７３の後、ステップＳ７４において、斜め分割線検出部７４は、斜め分割線検出処理１を実行し、エッジ画像生成部７１からのエッジ画像に基づいて、入力画像を右上斜め方向に分割する第１の斜め分割線を検出する。
【０１８２】
［斜め分割線検出部の斜め分割線検出処理について］
ここで、図２７のフローチャートを参照して、図２０のフローチャートのステップＳ７４における斜め分割線検出処理１について説明する。
【０１８３】
ここで、図２８の一番上に示されるように、右上から左下への山の斜面を含む風景画像が入力画像P4として入力されたとすると、エッジ画像生成部７１により、図２８の上から２番目に示される、その風景の輪郭形状を表すエッジ画像P4eが生成され、水平分割線検出部７２乃至斜め分割線検出部７５に供給される。
【０１８４】
ステップＳ１０１において、斜め分割線検出部７４の斜め方向積算部１３１は、エッジ画像生成部７１からのエッジ画像の各画素におけるエッジ情報を、所定の閾値に基づいて０または１のいずれかの値に２値化する。例えば、エッジ画像のエッジ情報が、０乃至２５５の値をもつ場合、斜め方向積算部１３１は、０から２５５までの間の値であるエッジ画像のエッジ情報に対して、例えば、閾値１２７より小さい値の画素値を０とし、１２７より大きい値の画素値を１とする。これにより、図２８の上から３番目に示されるような、２値化エッジ画像P4fが得られる。
【０１８５】
ステップＳ１０２において、斜め方向積算部１３１は、２値化エッジ画像P4fにおける右上斜めの対角線が、任意に設定される座標における横軸に対して垂直になるように、２値化エッジ画像P4fを反時計回りに回転させる。このときの回転角度は、２値化エッジ画像P4f（入力画像P4）のアスペクト比により求められる。これにより、図２８の上から４番目に示されるような、回転２値化エッジ画像P4rが得られる。
【０１８６】
このように、２値化された２値化エッジ画像P4fを回転させるようにしたので、２値化される前のエッジ画像P4eを回転させるより、回転処理の対象となる画素を少なくすることができるので、演算コストを低くすることができるようになる。
【０１８７】
ステップＳ１０３において、斜め方向積算部１３１は、回転２値化エッジ画像P4rにおいて、設定された座標における垂直方向のライン毎に、言い換えると、回転前の２値化エッジ画像P4fにおいて、右上斜めの対角線と平行な斜め方向のライン毎にエッジ情報を積算し、その積算結果をLPF１３２に供給する。
【０１８８】
なお、斜め方向にエッジ情報を積算する場合、積算されるラインによって含まれる画素数が異なるため、斜め方向積算部１３１は、ライン毎のエッジ情報の積算値を、積算した画素数で正規化する。
【０１８９】
ここで、図２９および図３０を参照して、斜め方向のライン毎のエッジ情報の積算値の正規化の例について説明する。
【０１９０】
図２９および図３０には、右上斜めの対角線D1が、設定された座標（Ｘ軸）に対して垂直になるように回転された回転２値化エッジ画像（以下、単に、エッジ画像ともいう）が示されている。なお、図２９および図３０に示されるように、回転前のエッジ画像の長辺の長さをａ、短辺の長さをｂとし、長辺と対角線D1のなす角度をθとする。なお、このエッジ画像は、例えば、図２８の上から３番目に示される状態から、反時計回りに90°−θだけ回転されることで、対角線D1がＸ軸に対して垂直になっている。また、Ｘ軸上の座標ｘは、斜め方向のラインの仮想的な画素位置を示すものとする。
【０１９１】
なお、図２９および図３０において、Ｘ軸上に投影されるエッジ画像の両端の、幅ｍで表わされる部分については、積算される画素数が少ないため、積算処理の対象から除外するものとする。
【０１９２】
まず、図２９に示されるように、エッジ情報が積算される斜め方向のラインが、対角線D1より左側に位置するとき、すなわち、座標ｘが、ｍ≦ｘ≦bcosθの範囲にあるとき、積算される画素数ｌは、以下の式（１０）で表わされる。
【０１９３】
【数１０】
【０１９４】
また、図３０に示されるように、エッジ情報が積算される斜め方向のラインが、対角線D1より右側に位置するとき、すなわち、座標ｘが、bcosθ＜ｘ≦asinθ+bcosθ-mの範囲にあるとき、積算される画素数ｌは、以下の式（１１）で表わされる。
【０１９５】
【数１１】
【０１９６】
このようにして、斜め方向積算部１３１は、積算されるラインに含まれる画素数を求め、ライン毎のエッジ情報の積算値を、積算した画素数で正規化する。
【０１９７】
ここで得られる正規化された積算結果は、図２９および図３０に示されるエッジ画像のＸ軸方向の画素位置に対する、垂直方向のエッジ情報の積算値となり、図３１に示されるグラフにおいて、黒塗りのひし形のプロットで表わされる。
【０１９８】
図３０は、斜め分割線検出処理１により求められる、エッジ情報の右上斜め方向の積算値、およびその積算値に対して後述する演算を施した値の例を示している。
【０１９９】
図３０のグラフにおいて、横軸は、図２９および図３０に示されるエッジ画像（入力画像）のＸ軸方向の画素位置を表している。
【０２００】
さて、ステップＳ１０４において、LPF１３２は、斜め方向積算部１３１からのエッジ情報の積算値に対して、フィルタリング処理を施すことによりノイズ除去を行い、ピーク値検出部１３３に供給する。図３０において、ノイズ除去された積算結果は、白抜きの正方形のプロットで示される。
【０２０１】
ステップＳ１０５において、ピーク値検出部１３３は、LPF１３２によりノイズ除去された積算結果において、積算値のピーク値を検出する。
【０２０２】
具体的には、ピーク値検出部１３３は、ノイズ除去された積算値の１次微分値（図３０中、白抜きの三角形のプロット）を求め、さらに、その絶対値である１次微分絶対値（図３０中、バツ印のプロット）を求める。ピーク値検出部１３３は、１次微分値が負の値をとり、かつ、極大値をとる１次微分絶対値（図３０中、破線の丸印で囲まれる点）に対応する積算値（図３０中、実線の丸印で囲まれる点）を、積算値のピーク値とする。これにより、積算値において、急峻に変化しているピーク値が検出されるようになる。
【０２０３】
ピーク値検出部１３３は、検出したピーク値と、そのピーク値となる積算値が得られた右上斜め方向のラインのＸ軸方向の画素位置（図３０の例では、画素位置２７）とを、閾値処理部１３４に供給する。
【０２０４】
ステップＳ１０６において、閾値処理部１３４は、ピーク値検出部１３３からのピーク値と、所定の閾値とを比較し、ピーク値が所定の閾値より大きいか否かを判定する。
【０２０５】
ステップＳ１０６において、ピーク値が所定の閾値より大きいと判定された場合、処理はステップＳ１０７に進み、閾値処理部１３４は、そのピーク値となる積算値が得られた右上斜め方向のライン（Ｘ軸方向の画素位置２７のライン）を右上斜め分割線とする。また、閾値処理部１３４は、エッジ画像におけるそのラインについての、Ｘ軸方向の画素位置および角度θを、第１の斜め分割線情報として出力して、斜め分割線検出処理１は終了する。その後、処理は、図２０のステップＳ７４に戻る。
【０２０６】
このようにして、図２８に示されたような入力画像P4が入力された場合、図３２に示されるように、入力画像P4における山の斜面部分における右上斜め方向のラインが、右上斜め分割線として検出される。
【０２０７】
一方、ステップＳ１０６において、ピーク値が所定の閾値より大きくないと判定された場合、ステップＳ１０７の処理はスキップされる。この場合、右上斜め分割線は検出されずに、斜め分割線検出処理１は終了する。その後、処理は、図２０のステップＳ７４に戻る。
【０２０８】
ステップＳ７４の後、ステップＳ７５において、斜め分割線検出部７５は、斜め分割線検出処理２を実行し、エッジ画像生成部７１からのエッジ画像に基づいて、入力画像を左上斜め方向に分割する第２の斜め分割線を検出する。
【０２０９】
なお、斜め分割線検出部７５による斜め分割線検出処理２は、エッジ画像の左上斜めの対角線をＸ軸に対して垂直になるようにエッジ画像を回転させる以外は、上述した斜め分割線検出処理１と基本的に同様であるので、その説明は省略する。
【０２１０】
ところで、以上においては、右上斜めの対角線D1および左上斜めの対角線D2がＸ軸に対して垂直になるように、エッジ画像を回転させることにより、右上斜め分割線および左上斜め分割線を検出するようにしたが、エッジ画像の任意の斜め方向のラインがＸ軸に対して垂直になるように、エッジ画像を回転させることにより、右上斜め分割線および左上斜め分割線を検出するようにしてもよい。
【０２１１】
なお、任意の斜め方向にエッジ情報を積算する場合でも、積算されるラインによって含まれる画素数が異なるため、ライン毎のエッジ情報の積算値を、積算した画素数で正規化する必要がある。
【０２１２】
ここで、図３３乃至図３５を参照して、任意の斜め方向のライン毎のエッジ情報の積算値の正規化の例について説明する。
【０２１３】
図３３乃至図３５には、エッジ画像に設定された、右上斜め線Dnが、Ｘ軸に対して垂直になるように回転された回転２値化エッジ画像（エッジ画像）が示されている。なお、図３３乃至図３５に示されるように、回転前のエッジ画像の長辺の長さをａ、短辺の長さをｂとし、長辺と右上斜め線Dnのなす角度をθとする。なお、このエッジ画像は、例えば、長辺がＸ軸に平行な状態から、反時計回りに90°−θだけ回転させることにより、右上斜め線DnがＸ軸に対して垂直になっている。また、Ｘ軸上の座標ｘは、斜め方向のラインの仮想的な画素位置を示すものとする。
【０２１４】
なお、図３３乃至図３５においても、Ｘ軸上に投影されるエッジ画像の両端の、幅ｍで表わされる部分については、エッジ情報が積算される画素数が少ないため、積算処理の対象から除外するものとする。
【０２１５】
まず、図３３に示されるように、座標ｘが、ｍ≦ｘ≦bcosθの範囲にあるとき、積算される画素数ｌは、以下の式（１２）で表わされる。
【０２１６】
【数１２】
【０２１７】
また、図３４に示されるように、座標ｘが、bcosθ＜ｘ≦asinθの範囲にあるとき、積算される画素数ｌは、以下の式（１３）で表わされる。
【０２１８】
【数１３】
【０２１９】
そして、図３５に示されるように、座標ｘが、asinθ＜ｘ≦asinθ+bcosθ-mの範囲にあるとき、積算される画素数ｌは、以下の式（１４）で表わされる。
【０２２０】
【数１４】
【０２２１】
このようにして、任意の斜め方向のライン毎にエッジ情報が積算される場合でも、積算されるラインが含まれる画素数が求められ、ライン毎のエッジ情報の積算値が、積算した画素数で正規化されるようになる。
【０２２２】
以上のように、分割線検出部３２は、水平分割線情報、垂直分割線情報、第１の斜め分割線情報、および第２の斜め分割線情報のうちの、分割線検出処理により検出された分割線を構図分類部３３に供給し、処理は、図９のステップＳ１２に戻る。
【０２２３】
ステップＳ１２の後、ステップＳ１３において、構図分類部３３は、対称度算出部３１からの対称度、および、分割線検出部３２からの分割線情報に基づいて、入力画像の構図を、予め決められている構図パターンのいずれかに分類する。
【０２２４】
ここで、図３６を参照して、入力画像の構図が分類される構図パターンの例について説明する。
【０２２５】
図３６に示される構図パターンによれば、入力画像は、まず、対称度（左右対称度および上下対称度）によって分類される。
【０２２６】
［左右対称度が閾値Th_LR以上であり、かつ、上下対称度が閾値Th_TB以上である場合］
この場合、入力画像の構図は、「上下左右対称」の構図パターンに分類される。
【０２２７】
［左右対称度が閾値Th_LR以上であり、かつ、上下対称度が閾値Th_TBより小さい場合］
この場合、入力画像の構図は、水平分割線情報によってさらに分類される。すなわち、水平分割線情報で表される水平分割線が、図１０で説明した３分割構図における水平分割線H2より上にあれば、「水平分割線上」の構図パターンに分類される。水平分割線情報で表される水平分割線が、図１０で説明した３分割構図における水平分割線H2と水平分割線H1の間にあれば、「水平分割線中」の構図パターンに分類される。そして、水平分割線情報で表される水平分割線が、図１０で説明した３分割構図における水平分割線H1より下にあれば、「水平分割線下」の構図パターンに分類される。
【０２２８】
例えば、図３７に示されるように、高さ（短辺の長さ）ｂの入力画像において、図１０の水平分割線H1，H2に対応するＹ軸上の座標位置は、それぞれb/3，2b/3となる。このとき、分割線検出処理によって、水平分割線Hpが検出され、画素位置（座標位置）y_Hを示す水平分割線情報が分割線検出部３２から供給された場合、構図分類部３３は、2b/3≦y_H≦ｂであると判断し、入力画像の構図を「水平分割線上」の構図パターンに分類する。また、構図分類部３３は、０≦y_H≦b/3であると判断した場合には、入力画像の構図を「水平分割線下」の構図パターンに分類し、b/3＜y_H≦2b/3であると判断した場合には、入力画像の構図を「水平分割線中」の構図パターンに分類する。
【０２２９】
また、分割線検出処理によって、水平分割線が検出されず、水平分割線情報が分割線検出部３２から供給されなかった場合、構図分類部３３は、入力画像の構図を「その他」の構図パターンに分類する。
【０２３０】
［左右対称度が閾値Th_LRより小さく、かつ、上下対称度が閾値Th_TB以上である場合］
この場合、入力画像の構図は、垂直分割線情報によってさらに分類される。すなわち、垂直分割線情報で表される垂直分割線が、図１０で説明した３分割構図における垂直分割線V1より左にあれば、「垂直分割線左」の構図パターンに分類される。垂直分割線情報で表される垂直分割線が、図１０で説明した３分割構図における垂直分割線V1と垂直分割線V2の間にあれば、「垂直分割線中」の構図パターンに分類される。そして、垂直分割線情報で表される垂直分割線が、図１０で説明した３分割構図における垂直分割線V2より右にあれば、「垂直分割線右」の構図パターンに分類される。
【０２３１】
例えば、図３８に示されるように、幅（長辺の長さ）ａの入力画像において、図１０の垂直分割線V1，V2に対応するＸ軸上の座標位置は、それぞれa/3，2a/3となる。このとき、分割線検出処理によって、垂直分割線Vgが検出され、画素位置（座標位置）x_Vを示す垂直分割線情報が分割線検出部３２から供給された場合、構図分類部３３は、a/3＜x_V≦2a/3であると判断し、入力画像の構図を「垂直分割線中」の構図パターンに分類する。また、構図分類部３３は、０≦x_V≦a/3であると判断した場合には、入力画像の構図を「垂直分割線左」の構図パターンに分類し、2a/3＜x_V≦ａであると判断した場合には、入力画像の構図を「垂直分割線右」の構図パターンに分類する。
【０２３２】
また、分割線検出処理によって、垂直分割線が検出されず、垂直分割線情報が分割線検出部３２から供給されなかった場合、構図分類部３３は、入力画像の構図を「その他」の構図パターンであると分類する。
【０２３３】
［左右対称度が閾値Th_LRより小さく、かつ、上下対称度が閾値Th_TBより小さい場合］
この場合、入力画像の構図は、第１または第２の斜め分割線情報によってさらに分類される。すなわち、第１の斜め分割線情報で表される斜め分割線の水平方向に対する角度が、図１０で説明した対角線構図における対角線D1の水平方向に対する角度から所定の角度範囲内に含まれる場合、入力画像の構図は「右上斜め分割線」の構図パターンに分類される。具体的には、図３９の左側に表されるように、対角線D1の水平方向に対する角度をθRとしたときに、第１の斜め分割線情報で示される斜め分割線の水平方向に対する角度θが、θR−δθ≦θ≦θR＋δθの範囲内に含まれる場合、入力画像の構図は「右上斜め分割線」の構図パターンに分類される。また、第２の斜め分割線情報で表される斜め分割線の水平方向に対する角度が、図１０で説明した対角線構図における対角線D2の水平方向に対する角度から所定の角度範囲内に含まれる場合、入力画像の構図は「左上斜め分割線」の構図パターンに分類される。具体的には、図３９の右側に示されるように、対角線D2の水平方向に対する角度をθLとしたときに、斜め分割線情報で表される斜め分割線の水平方向に対する角度θが、θL−δθ≦θ≦θL＋δθの範囲内に含まれる場合、入力画像の構図は「左上斜め分割線」の構図パターンに分類される。
【０２３４】
例えば、図４０に示される入力画像において、分割線検出処理によって、斜め分割線Dsが検出され、角度θを表す第１の斜め分割線情報が分割線検出部３２から供給された場合、構図分類部３３は、θR−δθ≦θ≦θR＋δθであると判断し、入力画像の構図を「右上斜め分割線」の構図パターンに分類する。また、構図分類部３３は、θL−δθ≦θ≦θL＋δθであると判断した場合には、入力画像の構図を「左上斜め分割線」の構図パターンに分類する。
【０２３５】
また、分割線検出処理によって、右上斜め分割線および左上斜め分割線のいずれもが検出されず、第１および第２の斜め分割線情報のいずれもが分割線検出部３２から供給されなかった場合、構図分類部３３は、入力画像の構図を「その他」の構図パターンに分類する。
【０２３６】
このようにして分類された構図パターンは、対称度および分割線情報とともに、図示せぬ情報処理装置や記憶装置等に出力する。
【０２３７】
以上の処理によれば、入力画像におけるエッジ情報および色情報の線対称性を示す対称度と、入力画像における画素情報（エッジ情報）の分布の変化を表す分割線とに基づいて、入力画像の構図が分類されるので、被写体や被写体の状態を認識したり、入力画像と予め用意された構図との間で画素毎に評価値を算出する必要なく、入力画像の構図を分類することができる。また、エッジ情報の線対称性だけを用いて構図を分類するのではなく、色情報の線対称性や分割線の位置をさらに用いて、入力画像の構図を分類することができる。したがって、よりコストの低い演算で、入力画像の構図を詳細な構図パターンに分類することが可能となる。
【０２３８】
なお、構図パターンとともに図示せぬ情報処理装置や記憶装置等に出力された対称度および分割線情報を、入力画像のメタデータとして付与するようにしてもよい。
【０２３９】
これにより、記録されている画像を、対称度や分割線情報（分割線の位置）によって検索したり、分類することができるようになる。
【０２４０】
さらに、入力画像の特徴量として、周波数分布や色分布とともに、対称度や分割線情報を用いることで、画像認識における認識精度を向上させることができるようになる。
【０２４１】
ところで、以上においては、図３６を参照して説明したように、入力画像の構図を分類する場合、まず対称度によって大まかに分類し、さらに分割線の位置によって細かく分類するようにした。ここで、図３６を参照して説明した対称度と分割線との関係を、図４１に示す。
【０２４２】
図４１において、横軸は左右対称度を、縦軸は上下対称度をそれぞれ示しており、それぞれによって与えられる２次元空間上に、構図パターンC1乃至C4が分布している。
【０２４３】
図４１に示される２次元空間において、左右対称度、上下対称度がともに大きい領域には、「上下左右対称」の構図パターンを示す構図パターンC1が位置している。また、左右対称度が大きく、上下対称度が小さい領域には、「水平分割線中」の構図パターンを示す構図パターンC2が位置しており、左右対称度が小さく、上下対称度が大きい領域には、「垂直分割線中」の構図パターンを示す構図パターンC3が位置している。そして、左右対称度、上下対称度がともに小さい領域には、「右上斜め分割線」の構図パターンを示す構図パターンC4が位置している。
【０２４４】
なお、左右対称度が大きく、上下対称度が小さい領域に、例えば「垂直分割線上」の構図パターンが位置したり、左右対称度が小さく、上下対称度が大きい領域に、例えば「す平分割線下」の構図パターンが位置することはない。
【０２４５】
このように、左右対称度および上下対称度の算出結果によって、検出されうる分割線や、分類されうる構図パターンは限られるので、分割線検出処理の一部または全てを省略するようにできる。
【０２４６】
すなわち、左右対称度、上下対称度がともに大きい場合には、入力画像の構図は、分割線の検出結果に関わらず「上下左右対称」の構図パターンに分類されるので、分割線検出処理を全て省略することができる。
【０２４７】
また、左右対称度が大きく、上下対称度が小さい場合には、入力画像の構図は、「水平分割線上」、「水平分割線中」、「水平分割線下」、または「その他」のいずれかの構図パターンに分類されるので、水平分割線検出処理が実行されればよく、垂直分割線検出処理、および斜め分割線検出処理１，２を省略することができる。
【０２４８】
同様に、左右対称度が小さく、上下対称度が大きい場合には、入力画像の構図は、「垂直分割線左」、「垂直分割線中」、「垂直分割線右」、または「その他」のいずれかの構図パターンに分類されるので、垂直分割線検出処理が実行されればよく、水平分割線検出処理、および斜め分割線検出処理１，２を省略することができる。
【０２４９】
さらに、左右対称度、上下対称度がともに小さい場合には、入力画像の構図は、「右上斜め分割線」、「左上斜め分割線」、または「その他」のいずれかの構図パターンに分類されるので、斜め分割線検出処理１および２が実行されればよく、水平分割線検出処理および垂直分割線検出処理を省略することができる。
【０２５０】
このようにして、対称度算出処理の後に、分割線検出処理を実行することで、対称度算出処理の算出結果に応じて、分割線検出処理の一部または全部を省略することができるので、さらにコストの低い演算で、入力画像の構図を分類することが可能となる。
【０２５１】
なお、以上においては、図９のフローチャートのように、対称度算出処理の後に、分割線検出処理を実行するようにしたが、逆に、図４２のフローチャートのように、分割線検出処理の後に、対称度算出処理を実行するようにしてもよい。
【０２５２】
図４２は、分割線検出処理の後に、対称度算出処理を実行するようにした構図分類処理について説明するフローチャートである。
【０２５３】
なお、図４２のフローチャートにおけるステップＳ２１１乃至Ｓ２１３の処理は、図９のフローチャートにおけるステップＳ１２の処理とステップＳ１１の処理とを入れ替えただけであるのでその詳細な説明は省略する。
【０２５４】
ただし、図４１で説明した対称度と分割線との関係から、分割線の検出結果によっても、算出されうる分割線や、分類されうる構図パターンは限られるので、対称度算出処理の一部を省略するようにできる。
【０２５５】
すなわち、分割線として、水平分割線のみが検出された場合には、左右対称度が大きく、上下対称度が小さくなる傾向があるので、エッジ対称度算出処理や色対称度算出処理における上下対称度の算出処理を省略するようにしてもよい。
【０２５６】
また、分割線として、垂直分割線のみが検出された場合には、左右対称度が小さく、上下対称度が大きくなる傾向があるので、エッジ対称度算出処理や色対称度算出処理における左右対称度の算出処理を省略するようにしてもよい。
【０２５７】
このようにして、分割線検出処理の後に、対称度算出処理を実行することで、分割線検出処理の検出結果に応じて、対称度算出処理の一部を省略することができるので、さらにコストの低い演算で、入力画像の構図を分類することが可能となる。
【０２５８】
以上においては、撮像装置等で撮像された画像を入力画像として、入力画像の構図を分類する画像処理装置について説明してきたが、撮像した撮像画像の構図をそのまま分類する構成を撮像装置に設けるようにしてもよい。
【０２５９】
［撮像装置の構成例について］
図４３は、撮像した撮像画像の構図を分類するようにした撮像装置の構成例を示している。なお、図４３の撮像装置３１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０２６０】
すなわち、図４３の撮像装置３１１において、図１の画像処理装置１１と異なるのは、撮像部３３１、画像処理部３３２、表示部３３３、および記憶部３３４を新たに設けた点である。
【０２６１】
なお、図４３の構図分類部は、構図パターンとともに、対称度および分割線情報を、表示部３３３または記憶部３３４に供給する。
【０２６２】
撮像部３３１は、光学レンズ、撮像素子、A/D(Analog/Digital)変換部（いずれも図示せず）を含むように構成される。撮像部３３１は、光学レンズに入射された光を、撮像素子が受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。撮像部３３１は、A/D変換の結果得られたデジタルの画像データ（撮像画像）を画像処理部３３２に供給する。
【０２６３】
画像処理部３３２は、撮像部３３１からの撮像画像に対し、ノイズ除去処理等の画像処理を施し、リアルタイムな入力画像（いわゆるスルー画）として、対称度算出部３１、分割線検出部３２、および表示部３３３に供給する。すなわち、対称度算出部３１および分割線検出部３２は、動画像としてのリアルタイムな入力画像に対して、それぞれ対称度算出処理および分割線検出処理を行う。
【０２６４】
また、画像処理部３３２は、撮像装置３１１を操作するユーザのシャッタ操作によって図示せぬシャッタボタン等が操作されると、その時の撮像画像に対し、ノイズ除去処理等の画像処理を施し、静止画像としての入力画像を、対称度算出部３１、分割線検出部３２、および記憶部３３４に供給する。この場合、対称度算出部３１および分割線検出部３２は、静止画像としての入力画像に対して、それぞれ対称度算出処理および分割線検出処理を行う。
【０２６５】
表示部３３３は、画像処理部３３２からの撮像画像（スルー画）とともに、構図分類部３３からの構図パターン、対称度、および分割線情報の少なくともいずれか１つに基づいた情報を表示する。例えば、表示部３３３は、スルー画とともに、そのスルー画の構図が分類される構図パターンの名称や、左右対称度および上下対称度を数値化したスコア、分割線情報で表される分割線を表示する。
【０２６６】
記憶部３３４は、画像処理部３３２からの撮像画像（静止画像）とともに、構図分類部３３からの構図パターン、対称度、および分割線情報を、撮像画像のメタデータとして記憶する。
【０２６７】
これにより、記憶部３３４に記憶された画像を、対称度や分割線情報（分割線の位置）によって検索したり、分類することができるようになる。
【０２６８】
このような構成により、撮像装置３１１は、撮像画像の構図を分類する構図分類処理を実行する。なお、撮像装置３１１の構図分類処理は、図９または図４２を参照して説明した、画像処理装置１１の構図分類処理と同様にして実行され、同様の効果を奏するので、その説明は省略する。
【０２６９】
さらに、撮像装置３１１は、構図分類処理により得られた構図パターン、対称度や分割線情報に基づいて、推奨される構図をユーザに提示するようにしてもよい。
【０２７０】
例えば、表示部３３３に表示されているスルー画が、左右対称度が大きく、「水平分割線中」の構図パターンに分類された場合、表示部３３３には、図４４の左側に示されるように、スルー画とともに、分割線検出処理により検出された水平分割線が表示される。このとき、例えば、ユーザにより、図示せぬ操作部が操作されることにより、図４４の右側に示されるように、３分割構図を表す３分割線（破線）が表示されるとともに、分割線検出処理により検出された水平分割線を、図１０で示された水平分割線H2に対応する３分割線に合わせるようにユーザに示唆する矢印が表示されるようにしてもよい。
【０２７１】
また、表示部３３３に表示されているスルー画が、図４５の左側に示される左右対称度が小さい状態から、図４５の右側に示される左右対称度が大きい状態になったときに、構図が左右対称になったことを示す線（破線）が表示されるようにしてもよい。
【０２７２】
さらに、撮像装置３１１において、撮像部３３１の光学レンズとして、標準的な画角のメインレンズと、メインレンズと比較して十分画角の広いサブレンズとを設けるようにして、表示部３３３に、メインレンズを介して撮像したメイン画像と、サブレンズを介して撮像したサブ画像とを合成した合成画像を表示させるようにした構成を考える。
【０２７３】
合成画像は、画角の広いサブ画像の一部に、画角の狭いメイン画像が、被写体の位置が一致するように合成された画像であり、ユーザは、合成画像を確認することで、メイン画像だけでは確認することができなかった広い範囲の構図（サブ画像に対応する構図）を確認することができるようになる。
【０２７４】
このような構成の撮像装置３１１において、メイン画像およびサブ画像のそれぞれに対して構図分類処理が行われることによって、メイン画像の対称度よりサブ画像の対称度の方が高い場合、または、サブ画像の分割線が３分割構図の３分割線にごく近い場合に、メイン画像の構図がサブ画像の構図と同様になるよう撮像装置３１１を操作するようにユーザに示唆する表示を行うようにしてもよい。
【０２７５】
以上のように、ユーザは、撮像している画像について、推奨される構図を知ることができるので、よりよい構図で撮影を行うことが可能となる。さらに、推奨される構図となったときには、撮像装置３１１が自動でシャッタ操作を行うようにしてもよい。
【０２７６】
なお、以上において説明した、対称度を算出するとともに分割線を検出し、対称度と分割線とに基づいて入力画像の構図を分類する処理は、動画像に対して実行されるようにしてももちろんよい。
【０２７７】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２７８】
図４６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２７９】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０２８０】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０２８１】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０２８２】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２８３】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０２８４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２８５】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２８６】
１１ 画像処理装置， ３１ 対称度算出部， ３２ 分割線検出部， ３３ 構図分類部， ４１ エッジ対称度算出部， ４２ 色対称度算出部， ７２ 水平分割線検出部， ７３ 垂直分割線検出部， ７４，７５ 斜め分割線検出部， ３１１ 撮像装置
【特許請求の範囲】
【請求項１】
入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出手段と、
前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出手段と、
前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類手段と
を備える画像処理装置。
【請求項２】
前記算出手段は、前記入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する、前記入力画像のエッジ情報および色情報の少なくともいずれか一方についての前記対称度を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記算出手段は、前記入力画像の中心点からの距離に応じた重み付けをして、前記対称度を算出する
請求項２に記載の画像処理装置。
【請求項４】
前記検出手段は、前記入力画像において、所定の方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記分割線を検出する
請求項１に記載の画像処理装置。
【請求項５】
前記検出手段は、前記入力画像の中心点からの距離に応じた重み付けをして、前記エッジ情報を積算する
請求項４に記載の画像処理装置。
【請求項６】
前記検出手段は、前記入力画像において、水平方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記入力画像を水平方向に分割する前記分割線である水平分割線を検出する
請求項４に記載の画像処理装置。
【請求項７】
前記検出手段は、前記入力画像において、垂直方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記入力画像を垂直方向に分割する前記分割線である垂直分割線を検出する
請求項４に記載の画像処理装置。
【請求項８】
前記検出手段は、前記入力画像において、斜め方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記入力画像を斜め方向に分割する前記分割線である斜め分割線を検出する
請求項４に記載の画像処理装置。
【請求項９】
前記検出手段は、前記入力画像の前記エッジ情報を２値化し、前記入力画像を、前記斜め方向に対応する角度だけ回転して、２値化された前記エッジ情報を積算する
請求項８に記載の画像処理装置。
【請求項１０】
入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出手段と、
前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出手段と、
前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類手段とを備える画像処理装置の画像処理方法において、
前記算出手段が、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出ステップと、
前記検出手段が、前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出ステップと、
前記分類手段が、前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類ステップと
を含む画像処理方法。
【請求項１１】
入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出ステップと、
前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出ステップと、
前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１】
入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出手段と、
前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出手段と、
前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類手段と
を備える画像処理装置。
【請求項２】
前記算出手段は、前記入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する、前記入力画像のエッジ情報および色情報の少なくともいずれか一方についての前記対称度を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記算出手段は、前記入力画像の中心点からの距離に応じた重み付けをして、前記対称度を算出する
請求項２に記載の画像処理装置。
【請求項４】
前記検出手段は、前記入力画像において、所定の方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記分割線を検出する
請求項１に記載の画像処理装置。
【請求項５】
前記検出手段は、前記入力画像の中心点からの距離に応じた重み付けをして、前記エッジ情報を積算する
請求項４に記載の画像処理装置。
【請求項６】
前記検出手段は、前記入力画像において、水平方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記入力画像を水平方向に分割する前記分割線である水平分割線を検出する
請求項４に記載の画像処理装置。
【請求項７】
前記検出手段は、前記入力画像において、垂直方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記入力画像を垂直方向に分割する前記分割線である垂直分割線を検出する
請求項４に記載の画像処理装置。
【請求項８】
前記検出手段は、前記入力画像において、斜め方向に対してエッジ情報を積算し、前記エッジ情報の積算値の分布の変化から、前記入力画像を斜め方向に分割する前記分割線である斜め分割線を検出する
請求項４に記載の画像処理装置。
【請求項９】
前記検出手段は、前記入力画像の前記エッジ情報を２値化し、前記入力画像を、前記斜め方向に対応する角度だけ回転して、２値化された前記エッジ情報を積算する
請求項８に記載の画像処理装置。
【請求項１０】
入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出手段と、
前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出手段と、
前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類手段とを備える画像処理装置の画像処理方法において、
前記算出手段が、入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出ステップと、
前記検出手段が、前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出ステップと、
前記分類手段が、前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類ステップと
を含む画像処理方法。
【請求項１１】
入力画像の左右方向および上下方向の少なくともいずれか一方向の中心線に対する線対称性を示す対称度を算出する算出ステップと、
前記入力画像における画素の画素情報の分布から、前記入力画像を分割する分割線を検出する検出ステップと、
前記対称度および前記分割線の少なくともいずれか一方に基づいて、前記入力画像の構図を、予め決められている構図パターンのいずれかに分類する分類ステップと
を含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【公開番号】特開２０１２−４２７２０（Ｐ２０１２−４２７２０Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１０−１８３８７７（Ｐ２０１０−１８３８７７）
【出願日】平成２２年８月１９日（２０１０．８．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２２年８月１９日（２０１０．８．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]