注目領域抽出装置およびそれを用いた自動構図決定装置
【構成】 注目領域抽出装置およびそれを用いた自動構図決定装置１０は、画像生成装置１４を含み、画像生成装置１４はカメラ１２で撮影した映像からパノラマ画像の現画像を生成する。注目領域抽出装置２０は、画像生成装置１４から与えられる原画像から注目領域を抽出する。つまり、原画像の物理的特徴に従って人間の主観に合った評価をし、評価した結果に従って注目領域を抽出する。構図切り取り装置２２は、抽出した注目領域および隣接する画像領域を、メモリ２４に記憶された画家が描いた絵画や写真家が撮影した写真に関するデータを参照して、原画像から切り取る。つまり、絵画画像や写真画像と同じ構図で切り取ることができる。
【効果】 人間の主観に適合した注目領域を抽出することができる。また、バランスの良い構図を自動で決定することができる。
【効果】 人間の主観に適合した注目領域を抽出することができる。また、バランスの良い構図を自動で決定することができる。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は注目領域抽出装置およびそれを用いた自動構図決定装置に関し、特に例えば原画像から注目領域を抽出し、抽出した注目領域を画家や写真家などの専門家が制作した絵の構図に適合して収まるように原画像から切り取る、注目領域抽出装置およびそれを用いた自動構図決定装置に関する。
【０００２】ここで、注目領域とは、画像や映像において人が注目する領域をいう。
【０００３】
【従来の技術】この種の従来技術として、画像から観測者が注目領域を抽出する手法に関しては、種々の方法が提案されている。（１）Milanese,Itti およびKochらは、画像中の不連続部分を注目領域と仮定し、画像から得られる複数の物理的特徴に対応する特徴マップ（濃淡画像）を生成し、次に、各特徴マップの不連続部分を求め、それらを統合したものを注目領域として抽出している。
【０００４】（２）Milaneseらは、各特徴マップの不連続部分を大きさが固定された複数のDifference-of-ofiented-Gaussiansフィルタを用いて特徴マップをフィルタリングし、出力が最大となるフィルタリング結果を選択して求めた。Itti，Kochらは各特徴マップを各々の平均値との二乗誤差で正規化し、全ての特徴マップを線形結合により統合した。そして、Difference of Gaussianフィルタにより統合特徴マップを再帰的にフィルタリングし、最終的に得られるフィルタリング結果の局所的なピークを注目領域として抽出していた。
【０００５】このように、MilaneseやIttiらは、フィルタリングや弛緩法などの画素レベルの処理により注目領域を抽出していた。
【０００６】（３）Martinや竹内らは、画像から得られる輝度情報をシャノンの情報理論に基づいて評価し、その結果得られる情報量の高い部分を注目領域としていた。この方式では輝度値の分散が大きい領域つまり複雑に見える領域や明るい領域が主に抽出される。
【０００７】また、従来のカメラでは、人間が被写体および被写体の構図を手動で決定していた。
【０００８】
【発明が解決しようとする課題】しかし、（１）や（２）の手法では、画像によって注目領域の大きさが異なるため、大きさが固定されたフィルタを用いて注目領域を的確に抽出するのが困難であった。また、（３）の手法では、たとえば複雑な模様の壁の前に置かれた黒色の花瓶の絵のように、複雑に見える領域、あるいは明るい領域が必ずしも注目領域と一致するとは言えない絵の場合には、注目領域を的確に抽出するのが困難であった。さらに、このような提案では、観測者（人間）の主観と抽出結果との照合を行った例が少なく、実際に人間の主観に適合する注目領域を抽出できるかどうかが疑問であった。
【０００９】また、従来のカメラでは写真に対するセンスのない一般の人が構図を決定した場合、必ずしもバランスの良い写真を撮影できるとは限らない。
【００１０】それゆえに、この発明の主たる目的は、人間の主観に適合した注目領域を的確に抽出することができる、注目領域抽出装置を提供することである。
【００１１】また、この発明の他の目的は、バランスの良い構図を自動で決定することができる、自動構図決定装置を提供することである。
【００１２】
【課題を解決するための手段】第１の発明は、原画像から注目領域を抜き出す注目領域抽出装置であって、物理的特徴に基づいて誘目度（目立ち度）を評価する評価手段、および評価手段の評価結果に応じて注目領域を抽出する抽出手段を備える、注目領域抽出装置である。
【００１３】第２の発明は、第１の発明に記載の注目領域抽出装置を用いた自動構図決定装置であって、基準構図を有する基準画像に関するデータを保持する保持手段、および基準構図を参照して注目領域の画像を原画像から切り取る切取手段を備える、自動構図決定装置である。
【００１４】
【作用】第１の発明の注目領域抽出装置では、評価手段が原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。抽出手段は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、評価手段は物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
【００１５】たとえば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
【００１６】また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
【００１７】また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
【００１８】さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【００１９】また、撮影手段で所望の映像を撮影し、たとえば撮影した映像に対応する画像を合成し、原画像を生成することもできる。
【００２０】たとえば、撮影手段に含まれるカメラの位置および高さを固定し、３６０°回転して撮影できるようにしておけば、接合手段が１フレーム毎の画像を接合することにより、３６０°の範囲内でパノラマ画像の原画像を生成することができる。
【００２１】第２の発明の自動構図決定装置では、保持手段が、たとえば画家が描いた絵画や写真家が撮影した写真に対応する絵画画像および写真画像を基準画像とし、この基準画像に関するデータを保持する。切取手段は、この基準画像に関するデータを参照して注目領域の画像を原画像から切り取るので、バランスの良い構図を自動で決定することができる。
【００２２】また、複数の基準画像に関するデータを保持しておけば、選択手段が注目領域の画像に適した構図を選択できるので、あらゆる画像についてバランスの良い構図を決定することができる。
【００２３】上述のような基準画像に関するデータは、少なくとも基準画像に対応する画像データ、被写体の形状データおよび被写体の位置データを含むので、注目領域に適した構図を選択し、バランスの良い構図を自動で決定できる。つまり、あたかも被写体をその構図で撮影したかのような写真を生成することができる。
【００２４】
【発明の効果】この発明によれば、人間の主観に合った物理的特徴の評価結果に従って注目領域を抽出するので、人間の主観に適合した注目領域を抽出することができる。
【００２５】他の発明によれば、基準画像の基準構図を用いて注目領域を原画像から切り取るので、バランスの良い構図を自動で決定することができる。
【００２６】この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００２７】
【実施例】図１を参照して、この実施例の自動構図決定装置１０は、ビデオカメラ（以下、単に「カメラ」という。）１２を含む。カメラ１２は、たとえば三脚などを用いて撮影位置（位置および高さ）が固定され、３６０°回転して撮影できる。カメラ１２で撮影した映像が画像生成装置１４に入力され、撮影した映像から原画像としてのパノラマ画像が生成される。なお、カメラ１２は３６０°回転できるので、画像生成装置１４は３６０°の範囲内でパノラマ画像を生成できる。
【００２８】画像生成装置１４は、ビデオキャプチャ１６および画像接合装置１８を含み、図２に示すフロー図に従ってパノラマ画像を生成する。つまり、カメラ１２で撮影が開始されると、画像生成装置１４は処理を開始し、ステップＳ１で、ビデオキャプチャ１６を用いて最初のビデオフレーム（１フレーム目）をキャプチャし、その１フレーム目に対応する画像から合成画像を生成した後、画像接合装置１８を用いてその合成画像からグレースケール画像を生成する。
【００２９】続くステップＳ３では、次のフレームをキャプチャし、１フレーム目と同様にグレースケール画像を生成する。ステップＳ５では、現フレーム（対象フレーム）に対応する合成画像をどの位置から合成すればよいかを決定するため、図３に示すような対象フレームのグレースケール画像から探索テンプレートを切り出す。この探索テンプレートの幅は５０画素であり、その高さはフレーム画像と同じである。また、この探索プレートは、対象フレームの原点から切り出される。
【００３０】続いてステップＳ７では、合成画像のグレースケール画像から探索範囲を設定し、探索範囲から探索テンプレートと同じ大きさの画像を切り出す。つまり、探索範囲の幅は１００画素であり、その高さはフレーム画像と同じである。また、フレーム画像の左上を原点（（ｘ，ｙ）＝（１，１））としたとき、探索プレートのｘ座標はフレーム画像の幅から１００だけ引いた位置であり、そのｙ座標は１である。
【００３１】次に、ステップＳ９では、探索範囲から探索テンプレートと同じ大きさの画像を切り出し、切り出した画像および探索プレートに対応する互いの画素値の差の絶対値を算出する。続くステップＳ１１では、画素値の差が最小（０）であるかどうかを判断する。ステップＳ１１で“ＹＥＳ”であれば、切り出した画像が探索プレートと同じ大きさであると判断し、ステップＳ１３に進む。一方、ステップＳ１１で“ＮＯ”であれば、切り出した画像と探索プレートとの大きさが異なると判断し、ステップＳ１５で探索範囲をｘ軸の正の方向に１画素ずらしてから、ステップＳ５に戻る。このように、１画素ずつずらしながら、切り出した画像と探索テンプレートとが同じ大きさになるまで、処理が繰り返される。
【００３２】ステップＳ１３では、差の絶対値が最小（０）である時のＸ座標を算出する。続くステップＳ１７では、算出したＸ座標で合成画像と対象フレーム画像とを重ね合わせ、新たな合成画像を生成する。そして、ステップＳ１９では生成した合成画像からグレースケール画像を生成し、ステップＳ２１でパノラマ画像が生成されたかどうかを判断する。ステップＳ２１で“ＮＯ”であれば、つまりパノラマ画像が生成されてなければ、ステップＳ３に戻る。一方、ステップＳ２１で“ＹＥＳ”であれば、図４（Ａ）に示すようなパノラマ画像（原画像）が生成されたと判断し、ステップＳ２３で原画像を後段の注目領域抽出装置２０（図１）に出力し、処理を終了する。
【００３３】図１に戻って、注目領域抽出装置２０は、与えられた原画像から最も目立つ領域（注目領域）を抽出する。具体的には、注目領域抽出装置２０は、図５に示すフロー図に従って処理をする。つまり、原画像が画像生成装置１４から与えられると、注目領域抽出装置２０は処理を開始し、ステップＳ３１で原画像を領域分割する。具体的には、図４（Ｂ）に示すように、原画像を図領域と絵領域に分割する。この領域分割の方法には、１９９７ＩＥＥＥにおいてW.Y.MaやB.S.Manjunath らが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した“edge flow ”に基づく境界検出方法が適用される。簡単に説明すると、この方法は画像の各場所における色や模様の変化方向を求め、変化方向と変化の強さ（大小）からなるedge flow ベクトルを決定する。そして、反復処理によりedge flow ベクトルを各ベクトルの方向へ伝搬し、最終的ベクトル同士がぶつかり合う場所を各領域の境界線とする。
【００３４】したがって、ステップＳ３３では、図４（Ｃ）に示すような分割した図領域を抽出し、ステップＳ３５で図領域の誘目度を評価する。つまり、図領域の誘目度パラメータを求める。ここで、発明者が行った主観評価実験により、誘目度の評価に必要な物理的特徴は、色の異質度，テクスチャの異質度，形の異質度および面積の異質度，色，空間周波数および面積であることが分かった。また、一般に人間の主観評価結果と物理的特性との関係はＳ字曲線で表されることが多いため、誘目度の評価には数１に示すべ一夕関数が用いられる。
【００３５】
【数１】
【００３６】このベータ関数を用いて、数２に示すような誘目度の評価関数が定義される。
【００３７】
【数２】
【００３８】また、数２に示す各領域の上記４つの異質度に対する誘目度ＨＥＴは数３で定義される。
【００３９】
【数３】
【００４０】さらに、各物理的特徴の異質度Ｈは、特徴値と全領域の平均特徴値との差をｄ，差ｄの平均値をｄｍ，差ｄの標準偏差をｓｔｄとしたとき、数４に従って算出される。
【００４１】
【数４】
【００４２】つまり、各領域の色の異質度ＨＣは、ＣＩＥ Ｌ* ａ* ｂ* 知覚均等色空間における色差式を用いて領域の平均色と全領域の平均色との色差、色差平均、色差の標準偏差を算出し、算出した結果を数４に代入して求められる。なお、色差式は、１９９４「色彩科学ハンドブック」に詳細に記載されている。具体的には、画像の各画素の色情報（Ｒ，Ｇ，Ｂ）を均等知覚色空間Ｌ* ａ* ｂ* に変換し、その空間におけるユークリッド距離を色差としている。つまり、色差式は、数５のように示される。
【００４３】
【数５】
【００４４】次に、テクスチャの異質度ＨＴについて説明する。テクスチャは、１９９６ＩＥＥＥにおいてB.S.Manjunath や W.Y.Ma らが「Texture Features for Browsing and Retrieval of Image Data 」に記載したテクスチャ特徴ベクトルで表現され、またテクスチャ間の差はテクスチャ特徴ベクトル間のユークリッド距離によって表現される。
【００４５】ここで、テクスチャ特徴ベクトルは、大きさと方向の異なる複数のガボールフィルタで構成したガボールフィルタバンクにより画像をフィルタリングしたときの応答を要素とするベクトルで表現される。ただし、複数のガボールフィルタによりフィルタリングした場合は、各応答には直交性がないため、フィルタリングした結果には冗長な情報が含まれる可能性がある。そこで、ガボールフイルタバンク内の各フィルタのパラメータは、上述の１９９６ＩＥＥＥに記載されている手法によって決定される。具体的には、数６で示されるガボールフィルタのθ、ａ、σｕおよびσｖを数７で求める。なお、この手法は、図６に示すように、隣接するフィルタがHalf-Peak で接するようにフィルタのスケール（大きさ）および方位パラメータを定めるものであり、テクスチャ特徴を表現するために、２４個のフィルタ（４スケール、６方向）が用いられる。
【００４６】
【数６】
【００４７】
【数７】
【００４８】この数６によって、テクスチャ特徴ベクトルが表現される。したがって、各領域のテクスチャの異質度ＨＴは、全領域の平均ベクトルとの距離、距離の平均値、距離の標準偏差を数４に代入することにより算出される。
【００４９】さらに、各領域の面積の異質度ＨＳは、全領域の平均面積との差、差の平均値、差の標準偏差を数４に代入することにより算出される。
【００５０】さらにまた、各領域の形の異質度ＨＳｈは、領域の外形の異質度と、領域が包含する穴の異質度を数８に示すように統合して得られる。
【００５１】
【数８】
【００５２】ここで、形の違いについては、形状そのものの違いと、図形を回転することによる見え方の違いとの両方を考慮する必要がある。そこで、１９８４／３「電気通信学会論文誌」において上坂吉則が「開曲線にも適用できる新しいフーリエ記述子」に記載したＰ型フーリエ記述子を用いて、形状を記述することができる。この場合、Ｐ型フーリエ変換後の各周波数に対するパワーを検出すれば、２つの図形の形状が同じときには、パワーが一致する。また、フーリエ記述子を用いれば、形状と回転角が一致するときに限り、フーリエ記述子が一致する。したがって、フーリエ記述子と各周波数に対するパワーとによって、２つの図形の形状と外見とがどの程度一致するかを評価することができる。
【００５３】以上から、外形の特徴はフーリエ係数とパワーとからなるベクトルで表現でき、また外形の差は同特徴ベクトル間のユークリッド距離を用いて表現できる。したがって、各領域の外形の異質度ＨＳｈは、全領域の平均ベクトルとの距離、距離の平均値、距離の標準偏差を数４に代入して算出される。
【００５４】次に、穴の異質度Ｈｈｏに関して説明する。領域が包含する穴の特徴を表現するためには、穴の形状だけでなく、穴の数および穴の位置も考慮する必要がある。穴の位置の違いは、領域の一次モーメントを求めることで定義できる。なお、一次モーメントは、１９９２「画像解析ハンドブック」に記載されている。したがって、穴の特徴は、数９に示すようなベクトルで表現した。なお、穴の順番は、画像の原点に近い順にしてある。
【００５５】
【数９】
【００５６】したがって、各領域の穴の異質度Ｈｈｏは、全領域の平均ベクトルとの距離、距離の平均値、距離の標準偏差を数４に代入して算出される。
【００５７】また、数２に示す特徴誘目度ＦＰは、数１０に示すように定義できる。
【００５８】
【数１０】
【００５９】数１０において、まず色の誘目度ＰＣについて説明する。
【００６０】従来研究おいて、１）暖色の方が寒色よりも目立つ、２）彩度が高いほうが目立つ、３）明度が高いほうが目立つと報告されている。１）に関しては、神作らが行った実験によって、赤色は背景色に依存せず誘目度の高い色であると報告されている。この結果に基づき、この実施例では、赤色（Ｒ，Ｇ，Ｂ＝２５５，０，０）が最も誘目度の高い色相とし、色相が赤色に近いほど誘目度が高いと仮定する。ここで、色相を上述の１９９２「画像解析ハンドブック」に詳細に記載されたＨＳＩ双六角錐カラーモデルを用いて求めると、赤色（Ｒ，Ｇ，Ｂ＝２５５，０，０）の色相は０である。つまり、ＨＳＩ双六角錐カラーモデルは、ＢＫ（黒）を原点とし、それに対極する点がＷ（白）とされる。そして、ＢＫとＷとを結ぶ直線のほぼ中央であり、かつその直線に直交するようにＲ（赤），Ｍ（マゼンダ），Ｂ（青），Ｃ（シアン），Ｇ（緑）、Ｙ（イエロ）を頂点とする六角形が形成される。このように形成されたＨＳＩ双六角錐カラーモデルの色空間が用いられる。なお、色空間とは、知覚色を空間の一点として表示するために用いる直交三次元座標系の空間をいう。つまり、この実施例ではＨＳＩ双六角錐カラーモデルを用いて色相を求めるため、色相が０に近いほど色相の誘目度Ｈｅが大きくなる。このため、色相の誘目度Ｈｅは、数１１に示す式によって算出される。
【００６１】
【数１１】
【００６２】また、２）に関しては、彩度と誘目度の間には線形的な関係がある。したがって、この実施例では、彩度の誘目度は、ＨＳＩ双六角錐カラーモデルにおける彩度そのものを用いることとした。
【００６３】さらに、３）に関しては、人間の感覚量と明度との関係に関する研究において、Semmelrothは数１２で示す関係が成り立つことを示した。なお、数１２に示す関係は、１９９６「新編 感覚・知覚 心理学ハンドブック」において、大山，今井，和気らによって示される。
【００６４】
【数１２】
【００６５】また、数１２において、ｋ＝０．６５，ｍ＝０．４，ｎ＝０．２の場合に、人間の感覚量とよく合うことが示された。したがって、この実施例では、Semmelrothによって示された式を明度の誘目度とした。
【００６６】上述のような色の３要素（色相、彩度、明度）に対する誘目度を数１３を用いて線形結合し、色の誘目度ＰＣが定義される。
【００６７】
【数１３】
【００６８】次に、テクスチャ（空間周波数）の誘目度ＰＴについて説明する。
【００６９】人間の視覚系においては、特定の空間周波数で感度が最大となるような帯域通過器の性質を持つことが明らかにされている。これまで、久保田や西澤らは、視覚の空間周波数特性を数１４のように定式化している。なお、空間周波数特性の式は、１９８６／５「電気通信学会論文誌」において、久保田らによって「テレビジョン系の３次元雑音評価関数とその高品位テレビへの応用」に記載されている。なお、数１４では、空間周波数の単位をｃｐｄ（視覚１°あたりのサイクル数）に変換してある。
【００７０】
【数１４】
【００７１】この数１４に示す視覚反応Ｖによって、テクスチャ（空間周波数）の誘目度ＰＴが定義される。
【００７２】続いて、面積の誘目度ＰＳについて説明する。
【００７３】一般に画像が提示された直後は、画像の中心から近いオブジェクトの方が目立つと言われており、また、注視点が移動されると、移動した注視点に近いオブジェクトの方が誘目度が高くなると言われている。これを、場の誘目度と定義する。このように、ある点（注視点）を中心とし、その点から遠ざかる毎に各点の誘目度が徐々に小さくなることをモデル化するために、数１５に示す２次元ガウス関数が用いられる。ただし、注視点が移動した時間に応じてガウス関数の中心が変化すると仮定してある。
【００７４】
【数１５】
【００７５】ここで、ガウス関数の広がり係数σは視点から画像までの距離ｄに依存する。つまり、距離ｄが大きくなれば、一度に観測可能な範囲が広くなる。一般に、人間の可視視野は２０度〜３０度である。そこで、提示される画像の画面高をＨとし、視距離をｄ・Ｈとしたときの広がり係数σを数１６のように定義することができる。なお、Ｐｉｘは垂直方向の画素数であり、θは２０度〜３０度（０．１７６＜tan θ／２＜０．２６８）である。
【００７６】
【数１６】
【００７７】ここで、領域が画素の集合であることを考慮すれば、領域の面積の誘目度ＰＳは、領域の画素の場の誘目度の和で表現可能である。したがって、面積の誘目度ＰＳは数１７のように定義される。
【００７８】
【数１７】
【００７９】このように、定義した誘目度の評価関数により、ステップＳ３７で各図領域の誘目度を評価し、ステップＳ３９で誘目度が最大となる図領域を求める。つまり、最も目立つ領域を注目領域に決定する。したがって、図４（Ｄ）に示すような注目領域を抽出することができる。
【００８０】なお、この実施例では、誘目度の評価関数の各係数は、［ｗｈ１，ｗｈ２，ｗｈ３，ｗｈ４］＝［０．０３９，０．０１０，０．０２７，０．０２０］，［ｗｆ１，ｗｆ２，ｗｆ３］＝［０．１３２，０．００５，０．１００］，［ｍ，ｎ］＝［１．３５８，４．２５０］を用い、数１４のθを２０度とし、また視距離ｄを１ｍとし，Ｐ型フーリエ係数を第１０次までとした。
【００８１】また、この実施例では、上記８つの物理的特徴を用いて誘目度を評価するようにしたが、これはあらゆる特徴を有する複数の画像に適合させるためであり、全ての物理的特徴について必ずしも評価する必要はない。
【００８２】続いてステップＳ４１では、決定した注目領域に隣接する図領域を求め、注目領域と隣接図領域との色差およびテクスチャ特徴ベクトルのユークリッド距離を求め、色差が２．０以内であり、かつテクスチャ特徴ベクトルのユークリッド距離が０．３以内であるものを注目領域とともに抽出して、処理を終了する。なお、色差は、上述したように、数５に示すようなＣＩＥ Ｌ* ａ* ｂ* 知覚均等色空間における色差式により求められる。また、テクスチャ特徴ベクトルは、数６に従って求められる。
【００８３】図１に戻って、注目領域抽出装置２０で抽出された注目領域は、構図切り取り装置２２に与えられる。構図切り取り装置２２にはメモリ２４が接続され、メモリ２４には画家が描いた絵や写真家が撮影した写真に関する複数のデータが記憶されている。構図切り取り装置２２は、メモリ２４に記憶されたデータを参照して、画家や写真家の構図に合わせて原画像から注目領域を切り取る。具体的には、構図切り取り装置２２は、図７に示すフロー図に従って注目領域を切り取る。つまり、注目領域抽出装置２０で注目領域および隣接する図領域が抽出されると構図切り取り装置２２は処理を開始し、ステップＳ５１で、注目領域の外周画素を求める。つまり、抽出した注目領域の縁を求める。続くステップＳ５３では、上述の上坂が記載した論文の手法により、第１０次までのＰ型フーリエ係数を求め、注目領域を形状ベクトルにする。
【００８４】ここで、メモリ２４に記憶されたデータは、絵画画像や写真画像などの基準画像に対応する画像データ、その絵画画像や写真画像から被写体を抽出してＰ型フーリエ係数により被写体の外周形状を記述した形状ベクトルのデータ、および図８に示すような被写体の位置情報に対応する位置データである。つまり、被写体の位置データは、基準画像の基準構図のデータであり、被写体を囲む外接矩形の横の辺の長さをａ、縦の辺の長さをｂ、外接矩形の原点（画像左上の頂点に最も近い頂点）の位置を（ｗ１，ｈ１）、外接矩形の終点（画像右下の頂点に最も近い頂点）の位置（画像右下の頂点を基準とした位置）を（ｗ２，ｈ２）とした場合に、数１８のようなベクトルで表される。
【００８５】
【数１８】位置データ［ｋｘ１，ｋｙ１，ｋｘ２，ｋｙ２］＝［ｗ１／ａ，ｈ１／ｂ，ｗ２／ａ，ｈ２／ｂ］
続いて、ステップＳ５５でステップＳ５３で求めた形状ベクトルとメモリ２４に格納された絵画画像や写真画像の形状ベクトルとのユーグリッド距離を求め、つまり基準構図のデータとのマッチングを実行し、ステップＳ５７で領域の形状が最も類似したデータを取得する。言い換えると、最もユークリッド距離が小さい絵画画像の被写体の位置データを取得する。つまり、複数の画像データから注目領域および隣接する図領域に最適な画像データが選択される。そして、ステップＳ５９で、注目領域の外接矩形を求め、外接矩形の原点と終点から数１９に従って原画像の一部を切り取る。なお、数１９では、＊は乗算を意味する。
【００８６】
【数１９】Ｘ１＝ｘ１−Ｗ＊ｋｘ１Ｙ１＝ｙ１−Ｈ＊ｋｙ１Ｘ２＝ｘ２＋Ｗ＊ｋｘ２Ｙ２＝ｙ２＋Ｗ＊ｋｙ２ただし、注目領域の外接矩形の幅をＷ、高さをＨ、外接矩形の原点を（ｘ１，ｙ１）、終点を（ｘ２，ｙ２）とする。また、Ｘ１＜１のときＸ１＝１，Ｙ１＜１のときＹ１＝１，Ｘ２＞原画像の幅のときＸ２＝原画像の幅，Ｙ２＞原画像の高さのときＹ２＝原画像の高さとする。このとき、切り取る矩形（画像）の頂点座標は数２０のように示される。
【００８７】
【数２０】切り取る画像の頂点座標＝［（Ｘ１，Ｙ１），（Ｘ１，Ｙ２），（Ｘ２，Ｙ１），（Ｘ２，Ｙ２）］
続いて、ステップＳ６１で切り取った結果（画像）を出力して、処理を終了する。
【００８８】したがって、図９（Ａ）に示すような絵画画像の構図に合わせて、図９（Ｂ）に示すような注目領域および隣接する図領域を切り取ることができる。
【００８９】この実施例によれば、上述したような物理的特徴に従って原画像から最も目立つ領域（注目領域）を抽出するので、人間の主観に適合した注目領域を抽出することができる。
【００９０】また、抽出した注目領域を画家が描いた絵画や写真家が撮影した写真の構図に合わせて切り取るので、被写体をあたかもその構図で撮影したかのような写真を生成することができる。つまり、バランスのよい構図を自動で決定することができる。
【００９１】なお、この注目領域抽出装置は画像領域の誘目度を人間の主観に適合して求めることができるので、たとえば、ディジタル圧縮画像・映像の品質評価において、評価対象となる画像や映像の各領域の目立ち度（誘目度）に応じて、その領域に重みづけを行うような客観的な評価を実行するような装置に適用することができる。
【００９２】また、印刷分野では、品質管理の自動化において、印刷ずれ等の問題を軽視できる領域とそうでない領域とを誘目度に応じて自動で判断できる装置に適用することができる。
【００９３】さらに、デザイン分野、特に広告に使用するポスター制作等においては、企業が最も訴えたい部分が目立っているのか否かを客観的に評価する装置に適用することができる。
【００９４】また、ユーザが目立つ服装である場合には、注目領域抽出装置を用いてカメラの回転，チルトおよびズームを制御すれば、カメラが自動でユーザを追うことができる。したがって、たとえば所定のタイミングでシャッタを切るようにすれば、ユーザのスナップ写真を撮ることができる。さらに、撮影した画像（原画像）から構図決定装置を用いて自動で構図を決定することにより、バランスの良いユーザのスナップ写真を作成することができる。
【図面の簡単な説明】
【図１】この発明の一実施例を示す図解図である。
【図２】図１実施例に示す画像生成装置の処理の一部を示すフロー図である。
【図３】図１実施例の画像接合装置で原画像を合成する方法を示す図解図である。
【図４】図１実施例に示す注目領域抽出装置の処理の一部を示すフロー図である。
【図５】図４に示すフロー図に従って注目領域を抽出する方法を示す図解図である。
【図６】ガボールフィルタを示す図解図である。
【図７】図１実施例に示す構図切り取り装置の処理の一部を示すフロー図である。
【図８】図７に示すフロー図に従って画像を切り取る場合の位置情報を示す図解図である。
【図９】図７に示すフロー図に従って画像を切り取る場合に参照する画家の絵画画像および参照して切り取った画像を示す図解図である。
【符号の説明】
１０ …注目領域抽出装置を用いた自動構図決定装置
１２ …カメラ
１４ …画像生成装置
１６ …ビデオキャプチャ
１８ …画像接合装置
２０ …注目度抽出装置
２２ …構図切り取り装置
２４ …メモリ
【０００１】
【産業上の利用分野】この発明は注目領域抽出装置およびそれを用いた自動構図決定装置に関し、特に例えば原画像から注目領域を抽出し、抽出した注目領域を画家や写真家などの専門家が制作した絵の構図に適合して収まるように原画像から切り取る、注目領域抽出装置およびそれを用いた自動構図決定装置に関する。
【０００２】ここで、注目領域とは、画像や映像において人が注目する領域をいう。
【０００３】
【従来の技術】この種の従来技術として、画像から観測者が注目領域を抽出する手法に関しては、種々の方法が提案されている。（１）Milanese,Itti およびKochらは、画像中の不連続部分を注目領域と仮定し、画像から得られる複数の物理的特徴に対応する特徴マップ（濃淡画像）を生成し、次に、各特徴マップの不連続部分を求め、それらを統合したものを注目領域として抽出している。
【０００４】（２）Milaneseらは、各特徴マップの不連続部分を大きさが固定された複数のDifference-of-ofiented-Gaussiansフィルタを用いて特徴マップをフィルタリングし、出力が最大となるフィルタリング結果を選択して求めた。Itti，Kochらは各特徴マップを各々の平均値との二乗誤差で正規化し、全ての特徴マップを線形結合により統合した。そして、Difference of Gaussianフィルタにより統合特徴マップを再帰的にフィルタリングし、最終的に得られるフィルタリング結果の局所的なピークを注目領域として抽出していた。
【０００５】このように、MilaneseやIttiらは、フィルタリングや弛緩法などの画素レベルの処理により注目領域を抽出していた。
【０００６】（３）Martinや竹内らは、画像から得られる輝度情報をシャノンの情報理論に基づいて評価し、その結果得られる情報量の高い部分を注目領域としていた。この方式では輝度値の分散が大きい領域つまり複雑に見える領域や明るい領域が主に抽出される。
【０００７】また、従来のカメラでは、人間が被写体および被写体の構図を手動で決定していた。
【０００８】
【発明が解決しようとする課題】しかし、（１）や（２）の手法では、画像によって注目領域の大きさが異なるため、大きさが固定されたフィルタを用いて注目領域を的確に抽出するのが困難であった。また、（３）の手法では、たとえば複雑な模様の壁の前に置かれた黒色の花瓶の絵のように、複雑に見える領域、あるいは明るい領域が必ずしも注目領域と一致するとは言えない絵の場合には、注目領域を的確に抽出するのが困難であった。さらに、このような提案では、観測者（人間）の主観と抽出結果との照合を行った例が少なく、実際に人間の主観に適合する注目領域を抽出できるかどうかが疑問であった。
【０００９】また、従来のカメラでは写真に対するセンスのない一般の人が構図を決定した場合、必ずしもバランスの良い写真を撮影できるとは限らない。
【００１０】それゆえに、この発明の主たる目的は、人間の主観に適合した注目領域を的確に抽出することができる、注目領域抽出装置を提供することである。
【００１１】また、この発明の他の目的は、バランスの良い構図を自動で決定することができる、自動構図決定装置を提供することである。
【００１２】
【課題を解決するための手段】第１の発明は、原画像から注目領域を抜き出す注目領域抽出装置であって、物理的特徴に基づいて誘目度（目立ち度）を評価する評価手段、および評価手段の評価結果に応じて注目領域を抽出する抽出手段を備える、注目領域抽出装置である。
【００１３】第２の発明は、第１の発明に記載の注目領域抽出装置を用いた自動構図決定装置であって、基準構図を有する基準画像に関するデータを保持する保持手段、および基準構図を参照して注目領域の画像を原画像から切り取る切取手段を備える、自動構図決定装置である。
【００１４】
【作用】第１の発明の注目領域抽出装置では、評価手段が原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。抽出手段は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、評価手段は物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
【００１５】たとえば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
【００１６】また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
【００１７】また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
【００１８】さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【００１９】また、撮影手段で所望の映像を撮影し、たとえば撮影した映像に対応する画像を合成し、原画像を生成することもできる。
【００２０】たとえば、撮影手段に含まれるカメラの位置および高さを固定し、３６０°回転して撮影できるようにしておけば、接合手段が１フレーム毎の画像を接合することにより、３６０°の範囲内でパノラマ画像の原画像を生成することができる。
【００２１】第２の発明の自動構図決定装置では、保持手段が、たとえば画家が描いた絵画や写真家が撮影した写真に対応する絵画画像および写真画像を基準画像とし、この基準画像に関するデータを保持する。切取手段は、この基準画像に関するデータを参照して注目領域の画像を原画像から切り取るので、バランスの良い構図を自動で決定することができる。
【００２２】また、複数の基準画像に関するデータを保持しておけば、選択手段が注目領域の画像に適した構図を選択できるので、あらゆる画像についてバランスの良い構図を決定することができる。
【００２３】上述のような基準画像に関するデータは、少なくとも基準画像に対応する画像データ、被写体の形状データおよび被写体の位置データを含むので、注目領域に適した構図を選択し、バランスの良い構図を自動で決定できる。つまり、あたかも被写体をその構図で撮影したかのような写真を生成することができる。
【００２４】
【発明の効果】この発明によれば、人間の主観に合った物理的特徴の評価結果に従って注目領域を抽出するので、人間の主観に適合した注目領域を抽出することができる。
【００２５】他の発明によれば、基準画像の基準構図を用いて注目領域を原画像から切り取るので、バランスの良い構図を自動で決定することができる。
【００２６】この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００２７】
【実施例】図１を参照して、この実施例の自動構図決定装置１０は、ビデオカメラ（以下、単に「カメラ」という。）１２を含む。カメラ１２は、たとえば三脚などを用いて撮影位置（位置および高さ）が固定され、３６０°回転して撮影できる。カメラ１２で撮影した映像が画像生成装置１４に入力され、撮影した映像から原画像としてのパノラマ画像が生成される。なお、カメラ１２は３６０°回転できるので、画像生成装置１４は３６０°の範囲内でパノラマ画像を生成できる。
【００２８】画像生成装置１４は、ビデオキャプチャ１６および画像接合装置１８を含み、図２に示すフロー図に従ってパノラマ画像を生成する。つまり、カメラ１２で撮影が開始されると、画像生成装置１４は処理を開始し、ステップＳ１で、ビデオキャプチャ１６を用いて最初のビデオフレーム（１フレーム目）をキャプチャし、その１フレーム目に対応する画像から合成画像を生成した後、画像接合装置１８を用いてその合成画像からグレースケール画像を生成する。
【００２９】続くステップＳ３では、次のフレームをキャプチャし、１フレーム目と同様にグレースケール画像を生成する。ステップＳ５では、現フレーム（対象フレーム）に対応する合成画像をどの位置から合成すればよいかを決定するため、図３に示すような対象フレームのグレースケール画像から探索テンプレートを切り出す。この探索テンプレートの幅は５０画素であり、その高さはフレーム画像と同じである。また、この探索プレートは、対象フレームの原点から切り出される。
【００３０】続いてステップＳ７では、合成画像のグレースケール画像から探索範囲を設定し、探索範囲から探索テンプレートと同じ大きさの画像を切り出す。つまり、探索範囲の幅は１００画素であり、その高さはフレーム画像と同じである。また、フレーム画像の左上を原点（（ｘ，ｙ）＝（１，１））としたとき、探索プレートのｘ座標はフレーム画像の幅から１００だけ引いた位置であり、そのｙ座標は１である。
【００３１】次に、ステップＳ９では、探索範囲から探索テンプレートと同じ大きさの画像を切り出し、切り出した画像および探索プレートに対応する互いの画素値の差の絶対値を算出する。続くステップＳ１１では、画素値の差が最小（０）であるかどうかを判断する。ステップＳ１１で“ＹＥＳ”であれば、切り出した画像が探索プレートと同じ大きさであると判断し、ステップＳ１３に進む。一方、ステップＳ１１で“ＮＯ”であれば、切り出した画像と探索プレートとの大きさが異なると判断し、ステップＳ１５で探索範囲をｘ軸の正の方向に１画素ずらしてから、ステップＳ５に戻る。このように、１画素ずつずらしながら、切り出した画像と探索テンプレートとが同じ大きさになるまで、処理が繰り返される。
【００３２】ステップＳ１３では、差の絶対値が最小（０）である時のＸ座標を算出する。続くステップＳ１７では、算出したＸ座標で合成画像と対象フレーム画像とを重ね合わせ、新たな合成画像を生成する。そして、ステップＳ１９では生成した合成画像からグレースケール画像を生成し、ステップＳ２１でパノラマ画像が生成されたかどうかを判断する。ステップＳ２１で“ＮＯ”であれば、つまりパノラマ画像が生成されてなければ、ステップＳ３に戻る。一方、ステップＳ２１で“ＹＥＳ”であれば、図４（Ａ）に示すようなパノラマ画像（原画像）が生成されたと判断し、ステップＳ２３で原画像を後段の注目領域抽出装置２０（図１）に出力し、処理を終了する。
【００３３】図１に戻って、注目領域抽出装置２０は、与えられた原画像から最も目立つ領域（注目領域）を抽出する。具体的には、注目領域抽出装置２０は、図５に示すフロー図に従って処理をする。つまり、原画像が画像生成装置１４から与えられると、注目領域抽出装置２０は処理を開始し、ステップＳ３１で原画像を領域分割する。具体的には、図４（Ｂ）に示すように、原画像を図領域と絵領域に分割する。この領域分割の方法には、１９９７ＩＥＥＥにおいてW.Y.MaやB.S.Manjunath らが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した“edge flow ”に基づく境界検出方法が適用される。簡単に説明すると、この方法は画像の各場所における色や模様の変化方向を求め、変化方向と変化の強さ（大小）からなるedge flow ベクトルを決定する。そして、反復処理によりedge flow ベクトルを各ベクトルの方向へ伝搬し、最終的ベクトル同士がぶつかり合う場所を各領域の境界線とする。
【００３４】したがって、ステップＳ３３では、図４（Ｃ）に示すような分割した図領域を抽出し、ステップＳ３５で図領域の誘目度を評価する。つまり、図領域の誘目度パラメータを求める。ここで、発明者が行った主観評価実験により、誘目度の評価に必要な物理的特徴は、色の異質度，テクスチャの異質度，形の異質度および面積の異質度，色，空間周波数および面積であることが分かった。また、一般に人間の主観評価結果と物理的特性との関係はＳ字曲線で表されることが多いため、誘目度の評価には数１に示すべ一夕関数が用いられる。
【００３５】
【数１】
【００３６】このベータ関数を用いて、数２に示すような誘目度の評価関数が定義される。
【００３７】
【数２】
【００３８】また、数２に示す各領域の上記４つの異質度に対する誘目度ＨＥＴは数３で定義される。
【００３９】
【数３】
【００４０】さらに、各物理的特徴の異質度Ｈは、特徴値と全領域の平均特徴値との差をｄ，差ｄの平均値をｄｍ，差ｄの標準偏差をｓｔｄとしたとき、数４に従って算出される。
【００４１】
【数４】
【００４２】つまり、各領域の色の異質度ＨＣは、ＣＩＥ Ｌ* ａ* ｂ* 知覚均等色空間における色差式を用いて領域の平均色と全領域の平均色との色差、色差平均、色差の標準偏差を算出し、算出した結果を数４に代入して求められる。なお、色差式は、１９９４「色彩科学ハンドブック」に詳細に記載されている。具体的には、画像の各画素の色情報（Ｒ，Ｇ，Ｂ）を均等知覚色空間Ｌ* ａ* ｂ* に変換し、その空間におけるユークリッド距離を色差としている。つまり、色差式は、数５のように示される。
【００４３】
【数５】
【００４４】次に、テクスチャの異質度ＨＴについて説明する。テクスチャは、１９９６ＩＥＥＥにおいてB.S.Manjunath や W.Y.Ma らが「Texture Features for Browsing and Retrieval of Image Data 」に記載したテクスチャ特徴ベクトルで表現され、またテクスチャ間の差はテクスチャ特徴ベクトル間のユークリッド距離によって表現される。
【００４５】ここで、テクスチャ特徴ベクトルは、大きさと方向の異なる複数のガボールフィルタで構成したガボールフィルタバンクにより画像をフィルタリングしたときの応答を要素とするベクトルで表現される。ただし、複数のガボールフィルタによりフィルタリングした場合は、各応答には直交性がないため、フィルタリングした結果には冗長な情報が含まれる可能性がある。そこで、ガボールフイルタバンク内の各フィルタのパラメータは、上述の１９９６ＩＥＥＥに記載されている手法によって決定される。具体的には、数６で示されるガボールフィルタのθ、ａ、σｕおよびσｖを数７で求める。なお、この手法は、図６に示すように、隣接するフィルタがHalf-Peak で接するようにフィルタのスケール（大きさ）および方位パラメータを定めるものであり、テクスチャ特徴を表現するために、２４個のフィルタ（４スケール、６方向）が用いられる。
【００４６】
【数６】
【００４７】
【数７】
【００４８】この数６によって、テクスチャ特徴ベクトルが表現される。したがって、各領域のテクスチャの異質度ＨＴは、全領域の平均ベクトルとの距離、距離の平均値、距離の標準偏差を数４に代入することにより算出される。
【００４９】さらに、各領域の面積の異質度ＨＳは、全領域の平均面積との差、差の平均値、差の標準偏差を数４に代入することにより算出される。
【００５０】さらにまた、各領域の形の異質度ＨＳｈは、領域の外形の異質度と、領域が包含する穴の異質度を数８に示すように統合して得られる。
【００５１】
【数８】
【００５２】ここで、形の違いについては、形状そのものの違いと、図形を回転することによる見え方の違いとの両方を考慮する必要がある。そこで、１９８４／３「電気通信学会論文誌」において上坂吉則が「開曲線にも適用できる新しいフーリエ記述子」に記載したＰ型フーリエ記述子を用いて、形状を記述することができる。この場合、Ｐ型フーリエ変換後の各周波数に対するパワーを検出すれば、２つの図形の形状が同じときには、パワーが一致する。また、フーリエ記述子を用いれば、形状と回転角が一致するときに限り、フーリエ記述子が一致する。したがって、フーリエ記述子と各周波数に対するパワーとによって、２つの図形の形状と外見とがどの程度一致するかを評価することができる。
【００５３】以上から、外形の特徴はフーリエ係数とパワーとからなるベクトルで表現でき、また外形の差は同特徴ベクトル間のユークリッド距離を用いて表現できる。したがって、各領域の外形の異質度ＨＳｈは、全領域の平均ベクトルとの距離、距離の平均値、距離の標準偏差を数４に代入して算出される。
【００５４】次に、穴の異質度Ｈｈｏに関して説明する。領域が包含する穴の特徴を表現するためには、穴の形状だけでなく、穴の数および穴の位置も考慮する必要がある。穴の位置の違いは、領域の一次モーメントを求めることで定義できる。なお、一次モーメントは、１９９２「画像解析ハンドブック」に記載されている。したがって、穴の特徴は、数９に示すようなベクトルで表現した。なお、穴の順番は、画像の原点に近い順にしてある。
【００５５】
【数９】
【００５６】したがって、各領域の穴の異質度Ｈｈｏは、全領域の平均ベクトルとの距離、距離の平均値、距離の標準偏差を数４に代入して算出される。
【００５７】また、数２に示す特徴誘目度ＦＰは、数１０に示すように定義できる。
【００５８】
【数１０】
【００５９】数１０において、まず色の誘目度ＰＣについて説明する。
【００６０】従来研究おいて、１）暖色の方が寒色よりも目立つ、２）彩度が高いほうが目立つ、３）明度が高いほうが目立つと報告されている。１）に関しては、神作らが行った実験によって、赤色は背景色に依存せず誘目度の高い色であると報告されている。この結果に基づき、この実施例では、赤色（Ｒ，Ｇ，Ｂ＝２５５，０，０）が最も誘目度の高い色相とし、色相が赤色に近いほど誘目度が高いと仮定する。ここで、色相を上述の１９９２「画像解析ハンドブック」に詳細に記載されたＨＳＩ双六角錐カラーモデルを用いて求めると、赤色（Ｒ，Ｇ，Ｂ＝２５５，０，０）の色相は０である。つまり、ＨＳＩ双六角錐カラーモデルは、ＢＫ（黒）を原点とし、それに対極する点がＷ（白）とされる。そして、ＢＫとＷとを結ぶ直線のほぼ中央であり、かつその直線に直交するようにＲ（赤），Ｍ（マゼンダ），Ｂ（青），Ｃ（シアン），Ｇ（緑）、Ｙ（イエロ）を頂点とする六角形が形成される。このように形成されたＨＳＩ双六角錐カラーモデルの色空間が用いられる。なお、色空間とは、知覚色を空間の一点として表示するために用いる直交三次元座標系の空間をいう。つまり、この実施例ではＨＳＩ双六角錐カラーモデルを用いて色相を求めるため、色相が０に近いほど色相の誘目度Ｈｅが大きくなる。このため、色相の誘目度Ｈｅは、数１１に示す式によって算出される。
【００６１】
【数１１】
【００６２】また、２）に関しては、彩度と誘目度の間には線形的な関係がある。したがって、この実施例では、彩度の誘目度は、ＨＳＩ双六角錐カラーモデルにおける彩度そのものを用いることとした。
【００６３】さらに、３）に関しては、人間の感覚量と明度との関係に関する研究において、Semmelrothは数１２で示す関係が成り立つことを示した。なお、数１２に示す関係は、１９９６「新編 感覚・知覚 心理学ハンドブック」において、大山，今井，和気らによって示される。
【００６４】
【数１２】
【００６５】また、数１２において、ｋ＝０．６５，ｍ＝０．４，ｎ＝０．２の場合に、人間の感覚量とよく合うことが示された。したがって、この実施例では、Semmelrothによって示された式を明度の誘目度とした。
【００６６】上述のような色の３要素（色相、彩度、明度）に対する誘目度を数１３を用いて線形結合し、色の誘目度ＰＣが定義される。
【００６７】
【数１３】
【００６８】次に、テクスチャ（空間周波数）の誘目度ＰＴについて説明する。
【００６９】人間の視覚系においては、特定の空間周波数で感度が最大となるような帯域通過器の性質を持つことが明らかにされている。これまで、久保田や西澤らは、視覚の空間周波数特性を数１４のように定式化している。なお、空間周波数特性の式は、１９８６／５「電気通信学会論文誌」において、久保田らによって「テレビジョン系の３次元雑音評価関数とその高品位テレビへの応用」に記載されている。なお、数１４では、空間周波数の単位をｃｐｄ（視覚１°あたりのサイクル数）に変換してある。
【００７０】
【数１４】
【００７１】この数１４に示す視覚反応Ｖによって、テクスチャ（空間周波数）の誘目度ＰＴが定義される。
【００７２】続いて、面積の誘目度ＰＳについて説明する。
【００７３】一般に画像が提示された直後は、画像の中心から近いオブジェクトの方が目立つと言われており、また、注視点が移動されると、移動した注視点に近いオブジェクトの方が誘目度が高くなると言われている。これを、場の誘目度と定義する。このように、ある点（注視点）を中心とし、その点から遠ざかる毎に各点の誘目度が徐々に小さくなることをモデル化するために、数１５に示す２次元ガウス関数が用いられる。ただし、注視点が移動した時間に応じてガウス関数の中心が変化すると仮定してある。
【００７４】
【数１５】
【００７５】ここで、ガウス関数の広がり係数σは視点から画像までの距離ｄに依存する。つまり、距離ｄが大きくなれば、一度に観測可能な範囲が広くなる。一般に、人間の可視視野は２０度〜３０度である。そこで、提示される画像の画面高をＨとし、視距離をｄ・Ｈとしたときの広がり係数σを数１６のように定義することができる。なお、Ｐｉｘは垂直方向の画素数であり、θは２０度〜３０度（０．１７６＜tan θ／２＜０．２６８）である。
【００７６】
【数１６】
【００７７】ここで、領域が画素の集合であることを考慮すれば、領域の面積の誘目度ＰＳは、領域の画素の場の誘目度の和で表現可能である。したがって、面積の誘目度ＰＳは数１７のように定義される。
【００７８】
【数１７】
【００７９】このように、定義した誘目度の評価関数により、ステップＳ３７で各図領域の誘目度を評価し、ステップＳ３９で誘目度が最大となる図領域を求める。つまり、最も目立つ領域を注目領域に決定する。したがって、図４（Ｄ）に示すような注目領域を抽出することができる。
【００８０】なお、この実施例では、誘目度の評価関数の各係数は、［ｗｈ１，ｗｈ２，ｗｈ３，ｗｈ４］＝［０．０３９，０．０１０，０．０２７，０．０２０］，［ｗｆ１，ｗｆ２，ｗｆ３］＝［０．１３２，０．００５，０．１００］，［ｍ，ｎ］＝［１．３５８，４．２５０］を用い、数１４のθを２０度とし、また視距離ｄを１ｍとし，Ｐ型フーリエ係数を第１０次までとした。
【００８１】また、この実施例では、上記８つの物理的特徴を用いて誘目度を評価するようにしたが、これはあらゆる特徴を有する複数の画像に適合させるためであり、全ての物理的特徴について必ずしも評価する必要はない。
【００８２】続いてステップＳ４１では、決定した注目領域に隣接する図領域を求め、注目領域と隣接図領域との色差およびテクスチャ特徴ベクトルのユークリッド距離を求め、色差が２．０以内であり、かつテクスチャ特徴ベクトルのユークリッド距離が０．３以内であるものを注目領域とともに抽出して、処理を終了する。なお、色差は、上述したように、数５に示すようなＣＩＥ Ｌ* ａ* ｂ* 知覚均等色空間における色差式により求められる。また、テクスチャ特徴ベクトルは、数６に従って求められる。
【００８３】図１に戻って、注目領域抽出装置２０で抽出された注目領域は、構図切り取り装置２２に与えられる。構図切り取り装置２２にはメモリ２４が接続され、メモリ２４には画家が描いた絵や写真家が撮影した写真に関する複数のデータが記憶されている。構図切り取り装置２２は、メモリ２４に記憶されたデータを参照して、画家や写真家の構図に合わせて原画像から注目領域を切り取る。具体的には、構図切り取り装置２２は、図７に示すフロー図に従って注目領域を切り取る。つまり、注目領域抽出装置２０で注目領域および隣接する図領域が抽出されると構図切り取り装置２２は処理を開始し、ステップＳ５１で、注目領域の外周画素を求める。つまり、抽出した注目領域の縁を求める。続くステップＳ５３では、上述の上坂が記載した論文の手法により、第１０次までのＰ型フーリエ係数を求め、注目領域を形状ベクトルにする。
【００８４】ここで、メモリ２４に記憶されたデータは、絵画画像や写真画像などの基準画像に対応する画像データ、その絵画画像や写真画像から被写体を抽出してＰ型フーリエ係数により被写体の外周形状を記述した形状ベクトルのデータ、および図８に示すような被写体の位置情報に対応する位置データである。つまり、被写体の位置データは、基準画像の基準構図のデータであり、被写体を囲む外接矩形の横の辺の長さをａ、縦の辺の長さをｂ、外接矩形の原点（画像左上の頂点に最も近い頂点）の位置を（ｗ１，ｈ１）、外接矩形の終点（画像右下の頂点に最も近い頂点）の位置（画像右下の頂点を基準とした位置）を（ｗ２，ｈ２）とした場合に、数１８のようなベクトルで表される。
【００８５】
【数１８】位置データ［ｋｘ１，ｋｙ１，ｋｘ２，ｋｙ２］＝［ｗ１／ａ，ｈ１／ｂ，ｗ２／ａ，ｈ２／ｂ］
続いて、ステップＳ５５でステップＳ５３で求めた形状ベクトルとメモリ２４に格納された絵画画像や写真画像の形状ベクトルとのユーグリッド距離を求め、つまり基準構図のデータとのマッチングを実行し、ステップＳ５７で領域の形状が最も類似したデータを取得する。言い換えると、最もユークリッド距離が小さい絵画画像の被写体の位置データを取得する。つまり、複数の画像データから注目領域および隣接する図領域に最適な画像データが選択される。そして、ステップＳ５９で、注目領域の外接矩形を求め、外接矩形の原点と終点から数１９に従って原画像の一部を切り取る。なお、数１９では、＊は乗算を意味する。
【００８６】
【数１９】Ｘ１＝ｘ１−Ｗ＊ｋｘ１Ｙ１＝ｙ１−Ｈ＊ｋｙ１Ｘ２＝ｘ２＋Ｗ＊ｋｘ２Ｙ２＝ｙ２＋Ｗ＊ｋｙ２ただし、注目領域の外接矩形の幅をＷ、高さをＨ、外接矩形の原点を（ｘ１，ｙ１）、終点を（ｘ２，ｙ２）とする。また、Ｘ１＜１のときＸ１＝１，Ｙ１＜１のときＹ１＝１，Ｘ２＞原画像の幅のときＸ２＝原画像の幅，Ｙ２＞原画像の高さのときＹ２＝原画像の高さとする。このとき、切り取る矩形（画像）の頂点座標は数２０のように示される。
【００８７】
【数２０】切り取る画像の頂点座標＝［（Ｘ１，Ｙ１），（Ｘ１，Ｙ２），（Ｘ２，Ｙ１），（Ｘ２，Ｙ２）］
続いて、ステップＳ６１で切り取った結果（画像）を出力して、処理を終了する。
【００８８】したがって、図９（Ａ）に示すような絵画画像の構図に合わせて、図９（Ｂ）に示すような注目領域および隣接する図領域を切り取ることができる。
【００８９】この実施例によれば、上述したような物理的特徴に従って原画像から最も目立つ領域（注目領域）を抽出するので、人間の主観に適合した注目領域を抽出することができる。
【００９０】また、抽出した注目領域を画家が描いた絵画や写真家が撮影した写真の構図に合わせて切り取るので、被写体をあたかもその構図で撮影したかのような写真を生成することができる。つまり、バランスのよい構図を自動で決定することができる。
【００９１】なお、この注目領域抽出装置は画像領域の誘目度を人間の主観に適合して求めることができるので、たとえば、ディジタル圧縮画像・映像の品質評価において、評価対象となる画像や映像の各領域の目立ち度（誘目度）に応じて、その領域に重みづけを行うような客観的な評価を実行するような装置に適用することができる。
【００９２】また、印刷分野では、品質管理の自動化において、印刷ずれ等の問題を軽視できる領域とそうでない領域とを誘目度に応じて自動で判断できる装置に適用することができる。
【００９３】さらに、デザイン分野、特に広告に使用するポスター制作等においては、企業が最も訴えたい部分が目立っているのか否かを客観的に評価する装置に適用することができる。
【００９４】また、ユーザが目立つ服装である場合には、注目領域抽出装置を用いてカメラの回転，チルトおよびズームを制御すれば、カメラが自動でユーザを追うことができる。したがって、たとえば所定のタイミングでシャッタを切るようにすれば、ユーザのスナップ写真を撮ることができる。さらに、撮影した画像（原画像）から構図決定装置を用いて自動で構図を決定することにより、バランスの良いユーザのスナップ写真を作成することができる。
【図面の簡単な説明】
【図１】この発明の一実施例を示す図解図である。
【図２】図１実施例に示す画像生成装置の処理の一部を示すフロー図である。
【図３】図１実施例の画像接合装置で原画像を合成する方法を示す図解図である。
【図４】図１実施例に示す注目領域抽出装置の処理の一部を示すフロー図である。
【図５】図４に示すフロー図に従って注目領域を抽出する方法を示す図解図である。
【図６】ガボールフィルタを示す図解図である。
【図７】図１実施例に示す構図切り取り装置の処理の一部を示すフロー図である。
【図８】図７に示すフロー図に従って画像を切り取る場合の位置情報を示す図解図である。
【図９】図７に示すフロー図に従って画像を切り取る場合に参照する画家の絵画画像および参照して切り取った画像を示す図解図である。
【符号の説明】
１０ …注目領域抽出装置を用いた自動構図決定装置
１２ …カメラ
１４ …画像生成装置
１６ …ビデオキャプチャ
１８ …画像接合装置
２０ …注目度抽出装置
２２ …構図切り取り装置
２４ …メモリ
【特許請求の範囲】
【請求項１】原画像から注目領域を抜き出す注目領域抽出装置であって、物理的特徴に基づいて誘目度を評価する評価手段、および前記評価手段の評価結果に応じて前記注目領域を抽出する抽出手段を備える、注目領域抽出装置。
【請求項２】前記物理的特徴は色の異質度を含む、請求項１記載の注目領域抽出装置。
【請求項３】前記物理的特徴は形の異質度、面積の異質度およびテクスチャの異質度をさらに含み、前記評価手段は、４つの異質度のうち少なくとも１つの異質度に基づいて前記誘目度を評価する、請求項２記載の注目領域抽出装置。
【請求項４】前記物理的特徴は色をさらに含む、請求項１ないし３のいずれかに記載の注目領域抽出装置。
【請求項５】前記物理的特徴は前記原画像における領域の面積および空間周波数をさらに含む、請求項４記載の注目領域抽出装置。
【請求項６】所望の映像を撮影する撮影手段、および前記映像に基づいて前記原画像を生成する画像生成手段をさらに備える、請求項１ないし５のいずれかに記載の注目領域抽出装置。
【請求項７】前記撮影手段はカメラ、および前記カメラを回転駆動する駆動手段を含み、前記画像生成手段は前記カメラで撮影される前記映像を１フレーム毎に接合する接合手段を含む、請求項６記載の注目領域抽出装置。
【請求項８】請求項１ないし７のいずれかに記載の注目領域抽出装置を用いた自動構図決定装置であって、基準構図を有する基準画像に関するデータを保持する保持手段、および前記基準構図を参照して注目領域の画像を原画像から切り取る切取手段を備える、自動構図決定装置。
【請求項９】前記保持手段は複数の前記基準画像に関するデータを保持し、前記注目領域の画像に適合した前記データを選択する選択手段をさらに備える、請求項８記載の自動構図決定装置。
【請求項１０】前記データは、少なくとも前記基準画像に対応する画像データ、被写体の形状データおよび被写体の位置データを含む、請求項８または９記載の自動構図決定装置。
【請求項１】原画像から注目領域を抜き出す注目領域抽出装置であって、物理的特徴に基づいて誘目度を評価する評価手段、および前記評価手段の評価結果に応じて前記注目領域を抽出する抽出手段を備える、注目領域抽出装置。
【請求項２】前記物理的特徴は色の異質度を含む、請求項１記載の注目領域抽出装置。
【請求項３】前記物理的特徴は形の異質度、面積の異質度およびテクスチャの異質度をさらに含み、前記評価手段は、４つの異質度のうち少なくとも１つの異質度に基づいて前記誘目度を評価する、請求項２記載の注目領域抽出装置。
【請求項４】前記物理的特徴は色をさらに含む、請求項１ないし３のいずれかに記載の注目領域抽出装置。
【請求項５】前記物理的特徴は前記原画像における領域の面積および空間周波数をさらに含む、請求項４記載の注目領域抽出装置。
【請求項６】所望の映像を撮影する撮影手段、および前記映像に基づいて前記原画像を生成する画像生成手段をさらに備える、請求項１ないし５のいずれかに記載の注目領域抽出装置。
【請求項７】前記撮影手段はカメラ、および前記カメラを回転駆動する駆動手段を含み、前記画像生成手段は前記カメラで撮影される前記映像を１フレーム毎に接合する接合手段を含む、請求項６記載の注目領域抽出装置。
【請求項８】請求項１ないし７のいずれかに記載の注目領域抽出装置を用いた自動構図決定装置であって、基準構図を有する基準画像に関するデータを保持する保持手段、および前記基準構図を参照して注目領域の画像を原画像から切り取る切取手段を備える、自動構図決定装置。
【請求項９】前記保持手段は複数の前記基準画像に関するデータを保持し、前記注目領域の画像に適合した前記データを選択する選択手段をさらに備える、請求項８記載の自動構図決定装置。
【請求項１０】前記データは、少なくとも前記基準画像に対応する画像データ、被写体の形状データおよび被写体の位置データを含む、請求項８または９記載の自動構図決定装置。
【図１】
【図３】
【図４】
【図６】
【図８】
【図２】
【図９】
【図５】
【図７】
【図３】
【図４】
【図６】
【図８】
【図２】
【図９】
【図５】
【図７】
【公開番号】特開２００１−１２６０７０（Ｐ２００１−１２６０７０Ａ）
【公開日】平成１３年５月１１日（２００１．５．１１）
【国際特許分類】
【出願番号】特願平１１−３０６８８４
【出願日】平成１１年１０月２８日（１９９９．１０．２８）
【出願人】（５９５１４７７００）株式会社エイ・ティ・アール知能映像通信研究所 (3)
【Ｆターム（参考）】
【公開日】平成１３年５月１１日（２００１．５．１１）
【国際特許分類】
【出願日】平成１１年１０月２８日（１９９９．１０．２８）
【出願人】（５９５１４７７００）株式会社エイ・ティ・アール知能映像通信研究所 (3)
【Ｆターム（参考）】
[ Back to top ]