画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラム
【課題】より見た目に近い状態で、端末装置で撮像された画像の画質を評価する。
【解決手段】コンピュータ３は、一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する。フーリエ変換部５１は、画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得する。解析部５２は、フーリエ変換部５１により取得された２次元の空間周波数のスペクトル成分のうち、周期パターンに含まれる空間周波数のスペクトル成分に基づいて画像の解像感を解析し、それ以外のスペクトル成分に基づいて画像の劣化を解析する。
【解決手段】コンピュータ３は、一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する。フーリエ変換部５１は、画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得する。解析部５２は、フーリエ変換部５１により取得された２次元の空間周波数のスペクトル成分のうち、周期パターンに含まれる空間周波数のスペクトル成分に基づいて画像の解像感を解析し、それ以外のスペクトル成分に基づいて画像の劣化を解析する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラや携帯電話等の端末装置で撮像された画像の画質を評価する画質評価装置、画質評価装置を備える端末装置、画質評価装置又は端末装置を備える画質評価システム、デジタルカメラや携帯電話等の端末装置で撮像された画像の画質を評価する画質評価方法及びコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
動画を表示する表示装置の動画解像度を評価する動画解像度評価装置が開示されている（例えば、特許文献１参照）。この動画解像度評価装置は、Ｎ回の繰り返しパターンで構成された周期パターンを含むバーストパターンをカメラで撮像することにより得られた画像データをフーリエ変換し、周期パターンのピークのレベル及び位置や、周期パターンの位相を、もとの画像のそれらと比較することにより、動画解像度を評価する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−３８４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
携帯電話などの端末装置で表示される画像には、画像のぼやけを防ぐべく、エッジ強調等の信号処理により高周波成分が強調されたものがある。このような画像の中には、高周波成分が強調されることによる弊害であるジャギー（エッジ部などで発生するギザギザ）やノイズ等が発生したものも存在する。
【０００５】
上記特許文献１に記載された動画解像度評価装置では、ジャギーやノイズによって総合的な画質が低下していても、それを評価結果に反映するのは困難である。
【０００６】
本発明は、上記実情に鑑みてなされたものであり、より見た目に近い状態で、端末装置で撮像された画像の画質を評価することができる画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の第１の観点に係る画質評価装置は、
一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する画質評価装置であって、
前記画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得するフーリエ変換部と、
前記フーリエ変換部により取得された２次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数のスペクトル成分に基づいて前記画像の解像感を解析し、それ以外のスペクトル成分に基づいて前記画像の劣化を解析する解析部と、
を備える。
【０００８】
この場合、前記周期パターンは、矩形波状であり、
前記解析部は、
前記周期パターンが周期的に変動する方向に対応する第１の方向に関するスペクトル成分に基づいて、前記画像の解像感を解析し、
前記第１の方向に直交する第２の方向に関するスペクトル成分に基づいて、前記画像の劣化を解析する、
こととしてもよい。
【０００９】
また、前記画像は、
デジタルズームによる拡大画像であり、
前記解析部は、
前記画像の拡大倍率に対応する空間周波数のスペクトル成分に基づいて、ジャギーが発生したか否かを判定する、
こととしてもよい。
【００１０】
また、前記画像は、
原画像における各画素が周期的に間引きされた画像又は前記原画像における複数の画素が周期的に輝度加算された画像であり、
前記解析部は、
前記間引き又は前記輝度加算の周期に対応する空間周波数のスペクトル成分に基づいて、ジャギーが発生したか否かを判定する、
こととしてもよい。
【００１１】
この場合、前記画像は、カラー画像を構成するＲ、Ｇ、Ｂの画像であり、
前記フーリエ変換部は、
前記Ｒ、Ｇ、Ｂの画像各々に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得し、
前記解析部は、
前記Ｒ、Ｇ、Ｂの画像各々の２次元の空間周波数のスペクトル成分に基づいて前記画像の解像感及び前記画像の劣化を解析する、
こととしてもよい。
【００１２】
また、前記画像は、
所定の方式でのデジタル圧縮された画像であり、
前記解析部は、
前記デジタル圧縮の圧縮単位であるブロックに対応する空間周波数のスペクトル成分に基づいて、前記デジタル圧縮処理により前記画像が劣化しているか否かを判定する、
こととしてもよい。
【００１３】
また、前記解析部は、
全てのスペクトル成分のピーク、所定の閾値以上のスペクトル強度を有するピーク、前記スペクトル成分の全て又は一部のピークにおけるスペクトル強度の平均値、合計値、最大値のいずれかに基づいて、前記画像の解像感及び前記画像の劣化を解析する、
こととしてもよい。
【００１４】
本発明の第２の観点に係る端末装置は、
撮像装置と、
本発明の画質評価装置と、
を備える。
【００１５】
本発明の第３の観点に係る画質評価システムは、
本発明の画質評価装置と、
一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
を備える。
【００１６】
本発明の第４の観点に係る画質評価システムは、
本発明の端末装置と、
一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
を備える。
【００１７】
この場合、前記掲示装置は、
前記周期パターンに、動きのある背景を重ねたパターンを掲示する、
こととしてもよい。
【００１８】
本発明の第５の観点に係る画質評価方法は、
一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する画質評価方法であって、
前記画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得するフーリエ変換工程と、
前記フーリエ変換工程において取得された２次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数のスペクトル成分に基づいて前記画像の解像感を解析し、それ以外のスペクトル成分に基づいて前記画像の劣化を解析する解析工程と、
を含む。
【００１９】
本発明の第６の観点に係るプログラムは、
一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価するプログラムであって、
コンピュータを、
前記画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得するフーリエ変換手段と、
前記フーリエ変換手段により取得された２次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数のスペクトル成分に基づいて前記画像の解像感を解析し、それ以外のスペクトル成分に基づいて前記画像の劣化を解析する解析手段と、
として機能させる。
【発明の効果】
【００２０】
本発明によれば、画像の解像感と画像の劣化とを両方評価することができるので、より見た目に近い状態で、端末装置で撮像された画像の画質を評価することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態１に係る画質評価システムの全体構成を示す斜視図である。
【図２】図１の携帯電話の内部構成を示すブロック図である。
【図３】図３（Ａ）は、評価用パターンの一例を示す図である。図３（Ｂ）は、図３（Ａ）のＡ−Ａ’断面における評価用パターンＰの輝度の変動を示すグラフである。図３（Ｃ）は、図３（Ａ）のＢ−Ｂ’断面における評価用パターンＰの輝度の変動を示すグラフである。
【図４】コンピュータの機能的な構成を示すブロック図である。
【図５】図５（Ａ）は、図３（Ａ）の評価用パターンの中央部分の一例である。図５（Ｂ）は、光学ズームにより撮像された中央部分の画像データの一例である。図５（Ｃ）は、デジタルズームにより撮像された中央部分の画像データの一例である。
【図６】図６（Ａ）は、図５（Ｂ）の画像データの２次元周波数スペクトルを示すグラフである。図６（Ｂ）は、図５（Ｃ）の画像データの２次元周波数スペクトルを示すグラフである。
【図７】図７（Ａ）は、図６（Ａ）のα−α’断面に沿った空間周波数スペクトルである。図７（Ｂ）は、図６（Ａ）のβ−β’断面に沿った空間周波数スペクトルである。
【図８】図８（Ａ）は、ニアリストネイバー法を適用した場合の図６（Ｂ）のα−α’断面に沿った空間周波数スペクトルである。図８（Ｂ）は、バイリニア法を適用した場合の図６（Ｂ）のα−α’断面に沿った空間周波数スペクトルである。図８（Ｃ）は、図６（Ｂ）のβ−β’断面に沿った空間周波数スペクトルである。
【図９】コンピュータ３によって実行される画像解析評価処理のフローチャートである。
【図１０】本発明の実施形態２に係るセンサにおけるＲＧＢ画素配列を示す図である。
【図１１】図１１（Ａ）は、センサにおけるＧの画素加算読み出しの動作を模式的に示す図である。図１１（Ｂ）は、センサにおけるＲの画素加算読み出しの動作を模式的に示す図である。図１１（Ｃ）は、センサにおけるＢの画素加算読み出しの動作を模式的に示す図である。
【図１２】図１２（Ａ）は、センサから出力されるＧの画像データの一例である。図１２（Ｂ）は、センサから出力されるＲの画像データの一例である。
【図１３】図１３（Ａ）は、Ｇの画像の空間周波数スペクトルの一例である。図１３（Ｂ）は、Ｒの画像データの空間周波数スペクトルの一例である。
【図１４】図１４（Ａ）は、図１３（Ａ）のβ−β’断面に沿った空間周波数スペクトルの一例を示す図である。図１４（Ｂ）は、図１３（Ｂ）のβ−β’断面に沿った空間周波数スペクトルの一例を示す図である。
【図１５】本発明の実施形態３に係る画質評価システム１００の全体構成を示す斜視図である。
【図１６】図１６（Ａ）及び図１６（Ｂ）は、携帯電話によって撮像された画像データの一例を示す図である。
【図１７】背景の動きによって、ＭＰＥＧのデジタル圧縮による歪がオーバーレイされた画像の一例である。
【図１８】図１７の画像データに２次元フーリエ変換を行って得られる空間周波数スペクトルの一例である。
【図１９】図１９（Ａ）は、図１８のα−α’断面に沿った空間周波数スペクトルである。図１９（Ｂ）は、図１８のβ−β’断面に沿った空間周波数スペクトルである。
【発明を実施するための形態】
【００２２】
次に、本発明の実施形態について、図面を参照して詳細に説明する。
【００２３】
（実施形態１）
まず、本発明の実施形態１について説明する。本実施形態では、カメラ付き携帯電話で撮影された画像の画質を評価する画質評価システムについて説明する。
【００２４】
図１には、本実施形態に係る画質評価システム１００の全体構成が示されている。図１に示すように、画質評価システム１００は、携帯電話１、掲示装置２及びパーソナルコンピュータ（以下、「コンピュータ」と略述する）３を備える。
【００２５】
携帯電話１は、カメラ付きの携帯電話である。図２には、携帯電話１の内部構成が示されている。図２に示すように、携帯電話１は、通信アンテナ２１、無線回路２２、符号復号処理回路２３、マイク２４、レシーバ２５、キー２６、ＣＰＵ（Central Processing Unit）バス２７、メモリ２８、ＤＡＣ（Digital Analog Converter）２９、スピーカ３０、ビデオＩ／Ｆ３１、ＬＣＤ（Liquid Crystal Display）コントローラ３２、ビデオＩ／Ｆ３３、表示装置３４及びＣＰＵ３５を備える。
【００２６】
通信アンテナ２１は、空中を伝送されてきた電波を受信し、高周波電気信号に変換する。変換された高周波電気信号は、無線回路２２に供給される。また、通信アンテナ２１は、無線回路２２から供給された高周波電気信号を電波に変換して発信する。
【００２７】
無線回路２２は、通信アンテナ２１から供給された高周波電気信号を復調して、符号復号処理回路２３に入力する。また、無線回路２２は、符号復号処理回路２３の出力信号を変調して高周波電気信号に変換し、その高周波電気信号を通信アンテナ２１へ出力する。
【００２８】
符号復号処理回路２３は、無線回路２２の出力信号に対して復号処理を実行する。符号復号処理回路２３は、この復号処理の結果得られた通話用音声信号をレシーバ２５に出力する一方、同様にして得られた文字データや画像データ等をＣＰＵ３５へ出力する。
【００２９】
さらに、符号復号処理回路２３は、マイク２４からの音声信号や、キー２６の操作により入力されＣＰＵ３５から出力された文字データや、メモリ２８から読み取られＣＰＵ３５から出力された画像データ等に対して符号化処理を実行する。この符号化処理の結果得られた各種データは、出力信号として無線回路２２へ出力される。
【００３０】
マイク２４は、ユーザの音声等を集音して、音声信号に変換して、符号復号処理回路２３に出力する。レシーバ２５は、符号復号処理回路２３から出力された通話用音声信号に対応する音声を出力する。
【００３１】
キー２６は、ユーザによって操作される操作キーである。ＣＰＵバス２７は、メモリ２８及びＤＡＣ２９と、ＣＰＵ３５とを接続するデータバスである。
【００３２】
メモリ２８には、各種制御用のプログラムが格納されている。また、メモリ２８には、電話帳、アドレス帳などのデータ、着信メロディ、楽曲などの音声データ、動画や静止画などの画像データ等が格納されている。
【００３３】
ＤＡＣ２９は、ＣＰＵバス２７を介してＣＰＵ３５から出力される着信音や通話音声等のデジタル音声信号をアナログ信号に変換し、スピーカ３０へ供給する。スピーカ３０は、ＤＡＣ２９から供給されたアナログ信号に対応する着信音や通話音声等を音声出力する。
【００３４】
ビデオＩ／Ｆ３１は、ＣＰＵ３５とＬＣＤコントローラ３２との間のインターフェイスである。ビデオＩ／Ｆ３１としては、ＣＭＯＳのパラレルバスを採用可能であるが、信号線数の削減やノイズ面での配慮から差動シリアルバスを採用するのが主流となっている。
【００３５】
ＬＣＤコントローラ３２は、ＶＲＡＭ（Video RAM）３６を内蔵している。ＶＲＡＭ３６は、１画面分又は２画面分程度の画像を保持可能な容量を有する。ＬＣＤコントローラ３２は、ＶＲＡＭ３６を用いて、ＣＰＵ３５から、間欠的又は部分的に送られてきた画像データの片方又は両方を合成してフレーム画像を生成する。さらに、ＬＣＤコントローラ３２は、そのフレーム画像を、６０Ｈｚ程度の周波数で連続的に読み出して、ビデオＩ／Ｆ３３を介して表示装置３４へ出力する。
【００３６】
ビデオＩ／Ｆ３３は、ビデオＩ／Ｆ３１と同様に、差動シリアルバスであっても構わないが、本実施形態では、ビデオＩ／Ｆ３３として、ＣＭＯＳのパラレルバスが採用されている。
【００３７】
表示装置３４としては、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３ピクセルで１画素を構成するストライプ形式のものが採用されている。より具体的には、ＱＶＧＡ（３２０×２４０×ＲＧＢ）、ＶＧＡ（６４０×４８０×ＲＧＢ）、ワイドＶＧＡ（８００×４８０×ＲＧＢ）、フルワイドＶＧＡ（８５４×４８０×ＲＧＢ）など、多様な画素数のデバイスを表示装置３４として使用可能である。本実施形態では、ＶＧＡ（６４０×４８０×ＲＧＢ）を採用するものとする。また、本実施形態では、表示装置３４を、液晶ディスプレイであるものとする。
【００３８】
ＣＰＵ３５は、ＣＰＵバス２７を介してメモリ２８からプログラムを読み出し、そのプログラムを実行することにより、上述の各構成要素を統括制御する。
【００３９】
例えば、ＣＰＵ３５は、キー２６の操作内容の検出処理を行う。さらに、ＣＰＵ３５は、キー２６の操作内容を検出し、検出されたキー操作に従って、無線回路２２及び符号復号処理回路２３を制御して、発信処理、音声通話処理、音楽や画像の再生処理等を行う。
【００４０】
一方、ＣＰＵ３５は、符号復号処理回路２３、無線回路２２を制御して、着信待ちに係る処理を行う。ＣＰＵ３５は、着信時に、メモリ２８の電話帳から発信者の名前や着信メロディ、着信画像を読み出す。そして、ＣＰＵ３５は、音声データを、ＤＡＣ２９へ出力する一方、相手の電話番号や名前、画像データを、ビデオＩ／Ｆ３１、ＬＣＤコントローラ３２、ビデオＩ／Ｆ３３を介して表示装置３４に表示させる。キー操作により通話が選択されると、ＣＰＵ３５は、音声通話処理を行う。
【００４１】
以上の構成要素に加え、携帯電話１は、カメラモジュール４０、メモリカード４１及び外部インターフェイス（Ｉ／Ｆ）４２をさらに備える。カメラモジュール４０と、メモリカード４１及び外部Ｉ／Ｆ４２は、ＣＰＵ３５に接続されている。
【００４２】
カメラモジュール４０は、レンズ４３とセンサ４４とを備える。レンズ４３は、入射した光をセンサ４４に結像させる。センサ４４は光電変換により、入射した光を電気信号に変換する。センサ４４としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプやＣＣＤ（Charge Coupled Device）タイプのものが使用可能である。一般には、センサ４４の各画素には、Ｒ、Ｇ、Ｂのフィルタを設けたカラータイプのものが使用されるが、ここでは説明の簡略化のため、モノクロタイプのものが使用されるものとする。
【００４３】
センサ４４から出力される電気信号は、ＣＰＵ３５の一部であるＩＳＰ（Image Signal Processor）４５に入力される。ＩＳＰ４５は、センサ４４の出力にＡ／Ｄ（Analog to Digital）変換を施してデジタル信号に変換する。デジタル信号に変換された画像データには、ノイズ低減処理やガンマ補正、そして、所定の画素数へのリサイズ処理が施される。
【００４４】
ＣＰＵ３５は、ＩＳＰ４５の出力画像データに基づく画像を、ビデオＩ／Ｆ３１、ＬＣＤコントローラ３２、ビデオＩ／Ｆ３３を介して表示装置３４に表示させる。キー２６の操作によって撮影が開始されると、ＣＰＵ３５は、その画像データをデジタル圧縮して、メモリ２８又はメモリカード４１に記録する。このデジタル圧縮のアルゴリズムとしては、汎用的なものを採用することができる。例えば静止画であればＪＰＥＧ（Joint Photographic Experts Group）を採用し、動画であればＭＰＥＧ（Moving Picture Experts Group）を採用することができる。ＣＰＵ３５は、画像データを、デジタル圧縮する前のデータ形式やＲＧＢ形式のままで、メモリ２８またはメモリカード４１に記録するようにしてもよい。
【００４５】
外部Ｉ／Ｆ４２は、コンピュータ３と通信可能なものであればよいが、ここではＵＳＢ（Universal Serial Bus）が用いられる。外部Ｉ／Ｆ４２は、コンピュータ３と接続されている。
【００４６】
掲示装置２は、携帯電話１のカメラモジュール４０によって撮像される評価用パターンＰを掲示する。
【００４７】
図３（Ａ）には、評価用パターンＰの一例が示されている。掲示装置２は、この評価用パターンＰが印刷されたチャートを掲示する。図３（Ｂ）には、図３（Ａ）のＡ−Ａ’断面における評価用パターンＰの輝度の変動を示すグラフが示されている。また、図３（Ｃ）には、図３（Ａ）のＢ−Ｂ’断面における評価用パターンＰの輝度の変動を示すグラフが示されている。図３（Ａ）乃至図３（Ｃ）に総合的に示すように、評価用パターンＰは、Ｘ軸に対して斜め４５°のＡ−Ａ’方向（第１の方向）には矩形波状に輝度が変化し、第１の方向に直交するＢ−Ｂ’方向（第２の方向）には周期的な輝度の変動のないパターンである。
【００４８】
コンピュータ３は、携帯電話１により撮像された評価用パターンＰに対応する画像データを入力し、その画質を解析し、評価する。より具体的には、コンピュータ３は、携帯電話１による撮影により得られた画像データに２次元のフーリエ変換を施して、その画像データの周波数スペクトルを取得し、画像データの解析を行う。例えば、コンピュータ３は、画像データの解像感や、画像データにジャギーが発生しているか否かなどを解析する。
【００４９】
図４に示すように、コンピュータ３は、画像データ入力部５０、フーリエ変換部５１、解析部５２、評価部５３及び表示部５４を備える。
【００５０】
画像データ入力部５０は、携帯電話１で撮像された評価用パターンＰの画像を含む画像データを入力する。フーリエ変換部５１は、画像データ入力部５０に入力された画像データに対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得する。
【００５１】
解析部５２は、フーリエ変換部５１により取得された２次元の空間周波数のスペクトル成分のうち、評価用パターンＰに含まれるスペクトル成分に基づいて画像の解像感を解析し、それ以外のスペクトル成分に基づいて画像の劣化を解析する。
【００５２】
評価部５３は、解析部５２の解析結果に基づいて、携帯電話１で撮像された画像データの画質を総合的に評価する。表示部５４は、その評価結果を表示する。
【００５３】
次に、本実施形態に係る画質評価システム１００の動作について説明する。
【００５４】
本実施形態に係る画質評価システム１００の評価対象となるのは、ズームによって拡大して撮像された画像データである。ズームの方式には、主として、光学ズームと電子ズーム（デジタルズーム）とがある。
【００５５】
光学ズームは、光学系の焦点距離を制御することによりセンサ４４に入射する画角を変化させるため、図５（Ａ）に示すように、評価用パターンＰの中央部分Ｚを光学ズームにより拡大して撮像すると、図５（Ｂ）の画像データＰ１のように、画質を劣化させることなく中央部分Ｚを撮像することができる。
【００５６】
しかしながら、光学ズームは、光学系のコストが高く、レンズモジュールも大型になるため、携帯電話１のカメラモジュール４０では、デジタルズームが採用されている。デジタルズームは、小型、低コストで実現できるメリットがある一方、画像の拡大により画質が劣化するおそれがある。
【００５７】
そこで、本実施形態では、まず、携帯電話１のカメラモジュール４０等によってデジタルズームにより拡大して撮像された画像と、理想的なズーム（光学ズーム）によって撮影された撮影画像と比較しながら画質評価システム１００の動作について説明する。
【００５８】
例えば、デジタルズームにより、３倍で画像が撮像されるものとする。デジタルズームでは、画像を３倍に拡大しようとすると、元の画像の１画素に対してフィルタ演算により求めた２画素を付加することで画素数が３倍化される。このため、画像にぼやけやジャギーが発生することがある。
【００５９】
例えば、同じ画素の値をコピーすることで画素数を３倍化するニアリストネイバー法を使用する場合について考える。ニアリストネイバー法は、物理的に距離が一番近い画素の輝度値をそのまま使用する方法である。ニアリストネイバー法を用いたデジタルズームによる３倍拡大画像データは、３画素周期で斜め線が変化するようになるため、図５（Ｃ）の画像データＰ２のように、エッジに３画素周期のジャギーが発生した画像データとなる。この画像データは、メモリカード４１又は外部Ｉ／Ｆ４３を介してコンピュータ３に取り込まれる。コンピュータ３は、２次元フーリエ変換を施して周波数スペクトルに変換し、画像の画質を解析する。
【００６０】
コンピュータ３は、次式を用いて、画像データの２次元フーリエ変換を行う。
【数１】
図６（Ａ）及び図６（Ｂ）には、上述の式（１）で求められる画像データの周波数スペクトルを２次元平面（ｕｖ平面）にプロットしたグラフが示されている。このグラフでは図３（Ａ）の評価用パターンＰのＸＹ座標軸に対して、第１象限と第３象限と、第２象限と第４象限とが、それぞれ入れ換えられている。また、このグラフでは、原点（中心）が直流成分となっており、原点から離れれば離れるほど、すなわち周辺に行けば行くほど空間周波数が高くなっている。
【００６１】
図６（Ａ）には、図５（Ｂ）に示す光学ズームにより撮像された画像の周波数スペクトルが示されている。図６（Ａ）に示すように、光学ズームでは、２次元フーリエ変換による周波数スペクトルにおいて、０でないスペクトル成分は、評価用パターンＰ（図３（Ａ）参照）のＡ−Ａ’方向に対応するα−α’断面に表れている。α−α’断面の方向は、評価用パターンＰ（周期パターン）を波であると考えたときのその波の進む方向に等しい。周波数スペクトルが中心を原点とし、第２象限と第４象限に点対称で現れるのは、正と負の２つのフーリエ解が算出されるためである。コンピュータ３は、いずれの象限の周波数スペクトルのスペクトル成分を、画質の解析に用いるようにしてもよい。
【００６２】
図６（Ａ）のα−α’断面に沿った光学ズーム画像の周波数スペクトルが、図７（Ａ）に示されている。また、図６（Ａ）のβ−β’断面に沿った光学ズーム画像の周波数スペクトルが図７（Ｂ）に示されている。図７（Ａ）及び図７（Ｂ）では、縦軸はスペクトル強度、横軸は空間周波数である。
【００６３】
光学ズームの場合、拡大して撮像された画像のエッジに、ぼやけやジャギーが発生しないため、評価用パターンＰの矩形波の状態が維持されている（図５（Ｂ）の画像データＰ１参照）。したがって、評価用パターンＰにおける矩形波の空間周波数をｆｓとすると、その奇数次の高調波成分にあたる空間周波数３ｆｓ、５ｆｓにスペクトル成分のピークが現れる。
【００６４】
一方、画像データＰ１（図５（Ｂ）参照）には、Ｂ−Ｂ’の方向には周期的なパターンが存在しないため、β−β’断面には、空間周波数ｆｓの基本波及び空間周波数３ｆｓ、５ｆｓの高周波のスペクトル成分が存在しない。したがって、図７（Ｂ）に示すように、β−β’の方向には、スペクトル成分として、直流成分のみが観測される。
【００６５】
一方、図６（Ｂ）には、デジタルズームにより撮像された画像の周波数スペクトルが示されている。また、図６（Ｂ）のα−α’断面に沿ったデジタルズーム画像の周波数スペクトルの一例が図８（Ａ）及び図８（Ｂ）に示されている。図８（Ａ）には、ニアリストネイバー法を用いて画像を拡大した場合の周波数スペクトルが示されている。また、図８（Ｂ）には、バイリニア法を用いて画像を拡大した場合の周波数スペクトルが示されている。
【００６６】
ニアリストネイバー法を適用した場合には、画像のぼやけが少ないため、図８（Ａ）に示すように、図７（Ａ）と同様な周波数スペクトルを観測することができる。すなわち、ニアリストネイバー法を採用すると、図８（Ａ）と同等の解像感が得られる。
【００６７】
これに対し、一般的に使用されているバイリニア法を適用した場合には、図８（Ｂ）に示すように、画像がぼやけたことにより空間周波数３ｆｓ、５ｆｓの３次及び５次の高調波成分が小さくなる。
【００６８】
コンピュータ３は、このようにして、高調波のスペクトル成分のピークのレベルや位置（空間周波数）を比較することにより、画像の解像感を評価する。
【００６９】
図８（Ｃ）には、図６（Ｂ）のβ−β’断面に沿ったデジタルズーム画像の周波数スペクトルの一例が示されている。繰り返し発生しているジャギーのピークの繰り返し周波数が３画素であるため、図８（Ｃ）に示すように、空間周波数π／３において、ジャギーによるスペクトル成分のピークが現れている。このスペクトル成分は、理想的なズームの例である光学ズームのスペクトル（図７（Ｂ）参照）には見られないことから、画像の劣化成分であると言える。このように、コンピュータ３は、β−β’方向の周波数スペクトルのスペクトル成分を求めることにより、ジャギーによる画質劣化度を評価する。
【００７０】
図９には、コンピュータ３による画像解析評価処理のフローチャートが示されている。図９に示すように、まず、画像データ入力部５０は、メモリカード４１又は携帯電話１から送信された画像データを入力する（ステップＳ１）。続いて、フーリエ変換部５１は、入力した画像データに対して２次元フーリエ変換を行う（ステップＳ２）。
【００７１】
続いて、解析部５２は、２次元フーリエ変換により算出された２次元平面（ｕ，ｖ）のα−α’断面のスペクトル成分の解析を行う（ステップＳ３）。ここでは、解析部５２は、例えば、図７（Ａ）に示されるスペクトル成分と、２次元フーリエ変換により算出されたα−α’断面のスペクトル成分とを比較して、画像のぼやけが発生しているか否か、すなわち解像感について解析する。より具体的には、解析部５２は、３次及び５次の高調波成分が閾値以上に低下しているか否かを判定する。
【００７２】
続いて、解析部５２は、２次元フーリエ変換により算出された２次元平面（ｕ，ｖ）のβ−β’断面の空間周波数成分のスペクトル解析を行う（ステップＳ４）。ここでは、解析部５２は、例えば、２次元フーリエ変換により算出されたβ−β’方向の空間周波数成分に基づいて、画像の劣化について解析する。より具体的には、解析部５２は、β−β’断面のスペクトル成分に所定のレベル以上のピークがあるか否かにより、画像にシャギーやノイズが発生しているか否かを判定する。また、解析部５２は、そのピークの空間周波数が、π／３（又は−π／３）であるか否かを調べることにより、画像にシャギーが発生しているか否かを判定する。π／３で調べる理由は画像が３倍に拡大されているため、空間周波数は１／３になるためである。
【００７３】
続いて、評価部５３は、解析部５２の解析結果に基づいて、携帯電話１によって撮像された画像データの画質を総合評価する（ステップＳ５）。例えば、α−α’断面における空間周波数３ｆｓ、５ｆｓの高周波のスペクトル成分が小さくなっておらず、画像がぼやけていないものの、β−β’断面における空間周波数π／３に相当する部分で、所定レベルより大きいスペクトル成分のピークが無視できない場合には、評価部５３は、ジャギーが発生しているため、画像の画質を低く評価する。
【００７４】
続いて、表示部５４は、評価部５３の評価結果を表示する（ステップＳ６）。
【００７５】
以上詳細に説明したように、本実施形態によれば、画像の解像感と画像の劣化とを両方評価することができるので、より見た目に近い状態で、携帯電話１で撮像された画像の画質を評価することができる。
【００７６】
より具体的には、本実施形態によれば、解析部５２は、光学ズームによって拡大された図６（Ａ）のα−α’断面における評価用パターンＰの空間周波数スペクトルと、電子ズームによって拡大された図６（Ｂ）のα−α’断面における画像データの空間周波数スペクトルとを比較することにより、画像データにおける評価用パターンＰの成分が劣化しているか否かを解析する。この解析により、画像がぼやけているか否かを判定し、画像の解像感を評価することができる。
【００７７】
また、コンピュータ３は、β−β’断面方向においても周波数スペクトル成分に基づいて、画像中に評価用パターンＰに含まれていない成分（デジタルズームの拡大倍率に対応する成分）が含まれているか否かを解析する。この解析により、デジタルズームによりジャギーやノイズ等が発生しているか否かを判定し、すなわち画像が劣化を評価することができる。
【００７８】
このようにすれば、デジタルズームにより拡大して撮像された画像データに対してエッジ強調等の画質補正処理による解像感向上効果と、デジタルズームによるジャギーやノイズの増加による画質劣化との両面からの画質評価が可能となる。この結果、より見た目に近い状態で、携帯電話１で撮像された画像データの画質を評価することができる。
【００７９】
本実施形態では、周期的なスペクトル成分を本来有しないβ−β’断面のスペクトル成分を用いるので、ジャギーを高精度に検出することができる。
【００８０】
なお、本実施形態では、説明の簡略化のため、図６（Ｂ）に示すように、デジタルズームによるジャギーにより、第１象限及び第３象限において、周波数スペクトルのスペクトル成分のピークがそれぞれ１つずつ発生するものとした。しかしながら、実際には、第１象限及び第３象限において、スペクトル成分のピークが複数になる場合がある。さらに、第２象限及び第４象限にも、スペクトル成分のピークが発生する場合がある。
【００８１】
このような場合、コンピュータ３は、全てのスペクトル成分のピークを解析対象としてもよいし、スペクトル強度に閾値を設け、一定値以上のスペクトル強度を有するピークのみを解析対象としてもよい。
【００８２】
また、スペクトル成分の全て又は一部のピークにおけるスペクトル強度の合計値を用いて解析を行ってもよいし、ピーク値の平均値を用いて解析を行ってもよいし、光学ズームのスペクトルとの相関を解析してもよい。また、ピークの最大値（最大スペクトル強度）を代表値として解析を行ってもよい。また、光学ズーム画像であっても光学系の性能によって劣化を伴う場合があるため、電子的に作成した劣化の無い画像と比較してもよい。
【００８３】
（実施形態２）
次に、本発明の実施形態２について説明する。本実施形態に係る画質評価システム１００の構成及び動作は、図１及び図９に示すものと同じである。
【００８４】
しかしながら、本実施形態では、携帯電話１のセンサ４４の構成が異なる。上記実施形態１では、携帯電話１のセンサ４４にモノクロタイプのものが用いられたが、本実施形態では、センサ４４が、各画素にＲＧＢのカラーフィルタが設けられたカラーセンサを有する。
【００８５】
図１０には、センサ４４におけるＲＧＢ画素配列が示されている。図１０に示すように、この配列の１ライン目ではＧとＲが交互に配置されている。また、２ライン目では、ＢとＧが交互に配置されている。さらに、３ライン目では、ＧとＲが交互に配置されている。このような画素配列は、奇数ラインと偶数ラインでＧが千鳥状に配置されることから一般にベイヤー配列と呼ばれている。ベイヤー配列は、Ｇの画素数に対してＲ、Ｂの画素数の１／２になっている点がストライプ配列とは異なっている。
【００８６】
携帯電話１は、センサ４４を用いて静止画と動画の両方を撮影することができる。静止画を撮影する場合には、連写の場合を除いて、撮影の時間間隔が十分に長いので、センサ４４からの画像の読み出し時間は、さほど問題とはならない。このことから、静止画を撮影する場合には、センサ４４の全ての画素のデータを、時間をかけて読み出すことができる。
【００８７】
しかしながら、動画を撮影する場合には、通常、３０ｆｐｓ（Frames Per Second）のフレームレートを維持しなければならない。フレームレートを維持するためには、１／３０ｓの間に１フレーム分の画像データの読み出しを完了させる必要がある。そこで、センサ４４から画素を間引いて読み出したり、周辺の数画素の輝度値を加算して、その加算値を輝度値として有する１つの画素に合成して読み出したりすることが一般的となっている。以下、センサ４４から画素加算読み出しを行う場合を例にとって説明する。
【００８８】
図１１（Ａ）には、センサ４４におけるＧの画素加算読み出しの動作が模式的に示されている。図１１（Ａ）のＧは、センサ４４におけるＧの画素位置を示している。画素加算読み出し動作では、上下、左右に隣接したＧの４画素が加算され、太線で囲まれた位置の画素値として出力される。図１１（Ｂ）、図１１（Ｃ）にそれぞれ、ＲとＢの画素加算読み出しの動作が模式的に示されている。両者とも、上下、左右に隣接したＧの４画素が加算され、太線で囲まれた位置の画素値として出力される。
【００８９】
このような画素加算読み出しを用いて、評価用パターンＰ（図３（Ａ）参照）を撮影した場合の画像データの一例が、図１２（Ａ）、図１２（Ｂ）に示されている。図１２（Ａ）には、センサ４４から出力されるＧの画像データの一例が示されている。また、図１２（Ｂ）には、センサ４４から出力されるＲの画像データの一例が示されている。センサ４４から出力されるＢの画像データについては、Ｒとほぼ同じなので説明を省略する。
【００９０】
Ｇの画像データでは、画素加算により水平及び垂直の解像度が１／２になるため、その画像データは、図１２（Ａ）に示すように、２画素周期のジャギーが発生した画像となる。一方、Ｒの画像データの画素数は、もともとＧの画像データの１／４であるため、その画像データは、図１２（Ｂ）に示すように、４画素周期のジャギーが発生した画像となる。
【００９１】
コンピュータ３によって取得された２次元空間周波数のスペクトルの一例が、図１３（Ａ）、図１３（Ｂ）に示されている。
【００９２】
図１３（Ａ）には、Ｇの画像データ（図１２（Ａ）参照）の空間周波数スペクトルの一例が示されている。上記実施形態１と同様に、評価用パターンＰの線を矩形波と考えると、矩形波の進む方向、すなわち、α−α’断面に沿って、評価用パターンＰのスペクトル成分のピークが現れている。解析部５２は、上記実施形態１と同様に、α−α’断面のスペクトル成分を解析することにより、画像の解像感を評価する。
【００９３】
また、図１４（Ａ）には、図１３（Ａ）のβ−β’断面のスペクトル成分が示されている。解析部５２は、上記実施形態１と同様に、β−β’断面のスペクトル成分を解析することにより、画像の劣化を評価する。
【００９４】
上記実施形態１では、解析部５２は、デジタルズームにより発生するジャギーを検出したが、本実施形態では、Ｇの画像データの画素加算によるジャギーを検出する。Ｇの画像データの画素加算によるジャギーは、２画素周期で発生するため、解析部５２は、空間周波数π／２におけるスペクトル成分のピークを測定することにより、Ｇの画素加算によるジャギーの発生を検出する。
【００９５】
一方、図１３（Ｂ）には、Ｒの画像データ（図１２（Ｂ）参照）の空間周波数スペクトルの一例が示されている。図１３（Ｂ）に示すように、α−α’断面に、評価用パターンＰのスペクトル成分のピークが観測され、β−β’断面に、画素加算により発生するジャギーに対応するスペクトル成分が観測されている。
【００９６】
また、図１４（Ｂ）には、図１３（Ｂ）のβ−β’断面におけるスペクトル成分が示されている。
【００９７】
Ｒの画像データの画素加算によるジャギーは、４画素周期で発生するため、解析部５２は、空間周波数π／４におけるスペクトル成分のピークを測定することにより、Ｒの画素加算によるジャギーの発生を検出する。
【００９８】
以上詳細に説明したように、本実施形態によれば、評価用パターンＰを用いれば、スペクトル成分のピークが現れる空間周波数を予測することができるため、コンピュータ３は、画素加算と、それ以外の要因による空間周波数のスペクトル成分を個別に解析することができる。すなわち、画素加算とデジタルズームとを両方適用した場合にも、ジャギーによるスペクトル成分のピークを区別して解析することができる。
【００９９】
本実施形態に係る周波数スペクトルの解析は、ＹＵＶ変換前のＲ、Ｇ、Ｂの画像データでも可能であるが。例えば、ＩＳＰ４５又はＣＰＵ３５でＹＵＶ変換された画像であっても、コンピュータ３でＲ、Ｇ、Ｂの画像データに変換することでＲ、Ｇ、Ｂの色毎の解析が可能となる。また、ＩＳＰ４５又はＣＰＵ３５でＪＰＥＧやＭＰＥＧに圧縮した画像であっても、コンピュータ３で伸張した後にＲ、Ｇ、Ｂの画像データに変換することで、色毎の解析が可能となる。
【０１００】
（実施形態３）
次に、本発明の実施形態３について説明する。
【０１０１】
上記実施形態１では、デジタルズームによるジャギーに着目して画質を評価する場合について説明した。また、上記実施形態２では画素加算によるジャギーを評価する場合について説明した。これに対し、本実施形態では、デジタル圧縮により発生する歪（ブロックノイズ、モスキートノイズ）を評価する場合について説明する。
【０１０２】
ＭＰＥＧでは、水平１６画素、垂直１６画素から構成されるマクロブロックと呼ばれるブロック単位で画像データの圧縮処理が実施される。従って、この画像データでは、マクロブロック単位で歪が発生しやすい。このようなＭＰＥＧに起因する歪も、コンピュータ３の周波数スペクトル解析により評価することが可能である。
【０１０３】
図１５には、本発明の実施形態３に係る画質評価システム１００の全体構成が示されている。図１５に示すように、掲示装置２は、評価用パターンＲを掲示するが、評価用パターンＲは、斜め方向の矩形波状の周期パターンである評価用パターンＰに、動きのある背景を重ねたパターンである。
【０１０４】
この背景としては、例えば、人物が矢印ａの方向に移動する様子を採用することができる。これにより、人物が矢印ａの方向に移動する状態が、評価用パターンＰに重ねられた状態で、携帯電話１により動画で撮影される。このように、評価用パターンＰの背景画像に動きを与えるのは、画像における動き部分が多いほど、上記の歪が目立ち易くなるためである。なお、上述の各実施形態と同一の構成要素には同一符号を付し、重複する説明を省略する。
【０１０５】
図１６（Ａ）及び図１６（Ｂ）には、携帯電話１によって撮像された画像データＲ１の一例が示されている。背景の人物は、ある時刻ｔ１において図１６（Ａ）に示す位置にあるとする。その後、人物はａの方向（図１３参照）に動き、時刻ｔ２には図１６（Ｂ）に示すように、右側に移動する。一方、掲示装置２に掲示された評価用パターンＰは動かないため、画面の同じ位置に表示されたまま（画像Ｐ１）となる。評価用パターンＰは、掲示装置２の画面の中央付近に固定されているが、画面内のどの位置に固定されていてもよい。
【０１０６】
携帯電話１のＣＰＵ３５は、時刻ｔ１からｔ２までの間、３０ｆｐｓのフレームレートで撮影した画像データをＭＰＥＧで圧縮することにより、画像ファイルを作成し、メモリ２８またはメモリカード４１に保存する。この画像ファイルは、メモリカード４１又は外部Ｉ／Ｆ４２を介してコンピュータ３に取り込まれる。取り込まれた画像ファイルは、コンピュータ３で、圧縮画像を伸張され、任意の１フレームの画像データに対して２次元フーリエ変換を施し、周波数スペクトルを解析することにより、ＭＰＥＧによる画像圧縮歪を評価する。
【０１０７】
コンピュータ３で解析処理を行う画像Ｒ２の一例が図１７に示されている。図１７に示すように、画像Ｒ２は、背景の動きによって、評価用パターンＰにＭＰＥＧ圧縮による歪がオーバーレイされたような画像となる。この画像データに２次元フーリエ変換を施した結果が図１８に示されている。
【０１０８】
図１８のα−α’断面のスペクトル成分が図１９（Ａ）に示されている。上述の実施形態と同様の矩形波のスペクトル成分のピークに加え、１６画素単位の歪のため、空間周波数π／１６にもスペクトル成分のピークが現れる。このピークは、周波数軸上で評価用パターンＰによるピークと分離されているため、矩形波と分離して評価することができる。一方、β−β’断面のスペクトル成分についても、図１９（Ｂ）に示すように、π／１６に、ＭＰＥＧ圧縮による歪の成分が現れる。解析部５２は、これらのスペクトルのピークを測定することによってＭＰＥＧによる圧縮歪を評価する。
【０１０９】
なお、本実施形態では、デジタル圧縮方式としてＭＰＥＧを用いる場合について説明した。しかしながら、本発明は、これに限られるものでない。例えば、デジタル圧縮方式としてＨ．２６４を初めとするその他の方式を使用してもよい。また、静止画の場合には、ＪＰＥＧ等の静止画用のデジタル圧縮方式を採用すればよい。
【０１１０】
以上詳細に説明したように、本実施形態によれば、評価すべき歪の画素単位によって、周波数スペクトルのピークが発生する空間周波数を予測することができるため、目的の要因による歪だけを抽出して評価することが可能である。従って、画像の拡大や画素加算、ＭＰＥＧによる歪が混在した画像についても、拡大率、加算する画素数、マクロブロックの画素数が既知であれば、それぞれの要因毎に評価することが可能である。
【０１１１】
また、π／１６にピークを有するスペクトル成分が、中央の直流成分のスペクトルと重なって解析しにくい場合、直流成分の分布が小さくなるように、評価用パターンＰのサイズを小さくしたり、撮影距離を伸ばすことにより、画角中の面積を小さくしたりしてもよい。また、コンピュータ３でスペクトル解析を行う画像のエリアを限定するようにしてもよい。
【０１１２】
また、マクロブロックのサイズは、１６画素単位に限られるものでなく、圧縮アルゴリズムに応じて如何様なサイズに規定されていてもよい。この場合、周波数スペクトルが観測し易いように評価用パターンＰのサイズや撮影距離が調節されるようにするのが望ましい。
【０１１３】
なお、上記各実施形態では、評価用パターンＰの矩形波の方向は、４５°であったが、必ずしも４５°である必要はない。また、評価用パターンＰは、透過型であってもよいし、反射型であってもよい。
【０１１４】
また、上記各実施形態では、コンピュータ３により画像データの画質の評価を行ったが、携帯電話１で、画像でデータの画質の評価を行うようにしてもよい。
【０１１５】
また、上記各実施形態では、表示装置３４を、液晶ディスプレイとしたが、表示装置３４は、自発光型の有機ＥＬディスプレイであってもよい。
【０１１６】
なお、上記各実施形態では、端末装置を、携帯電話１としたが、本発明はこれには限られない。例えば、端末装置を、映像撮影が可能な端末装置全般、例えばＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）、コンピュータ、デジタルカメラ、デジタルムービー、映像記録装置等としてもよい。
【０１１７】
なお、上記実施の形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical Disk）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。
【０１１８】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。
【０１１９】
また、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。
【０１２０】
なお、本発明は、上記実施の形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で実施の形態及び図面に変更を加えることができるのはもちろんである。
【産業上の利用可能性】
【０１２１】
本発明は、画像の解析評価に好適である。
【符号の説明】
【０１２２】
１…携帯電話、２…掲示装置、３…パーソナルコンピュータ（コンピュータ）、２１…通信アンテナ、２２…無線回路、２３…符号復号処理回路、２４…マイク、２５…レシーバ、２６…キー、２７…ＣＰＵ、２８…メモリ、２９…ＤＡＣ、３０…スピーカ、３１…ビデオＩ／Ｆ、３２…ＬＣＤコントローラ、３３…ビデオＩ／Ｆ、３４…表示装置、３５…ＣＰＵ、３６…ＶＲＡＭ、４０…カメラモジュール、４１…メモリカード、４２…外部インターフェイス（Ｉ／Ｆ）、４３…レンズ、４４…センサ、４５…ＩＳＰ、５０…画像データ入力部、５１…フーリエ変換部、５２…解析部、５３…評価部、５４…表示部、１００…画質評価システム
【技術分野】
【０００１】
本発明は、デジタルカメラや携帯電話等の端末装置で撮像された画像の画質を評価する画質評価装置、画質評価装置を備える端末装置、画質評価装置又は端末装置を備える画質評価システム、デジタルカメラや携帯電話等の端末装置で撮像された画像の画質を評価する画質評価方法及びコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
動画を表示する表示装置の動画解像度を評価する動画解像度評価装置が開示されている（例えば、特許文献１参照）。この動画解像度評価装置は、Ｎ回の繰り返しパターンで構成された周期パターンを含むバーストパターンをカメラで撮像することにより得られた画像データをフーリエ変換し、周期パターンのピークのレベル及び位置や、周期パターンの位相を、もとの画像のそれらと比較することにより、動画解像度を評価する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−３８４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
携帯電話などの端末装置で表示される画像には、画像のぼやけを防ぐべく、エッジ強調等の信号処理により高周波成分が強調されたものがある。このような画像の中には、高周波成分が強調されることによる弊害であるジャギー（エッジ部などで発生するギザギザ）やノイズ等が発生したものも存在する。
【０００５】
上記特許文献１に記載された動画解像度評価装置では、ジャギーやノイズによって総合的な画質が低下していても、それを評価結果に反映するのは困難である。
【０００６】
本発明は、上記実情に鑑みてなされたものであり、より見た目に近い状態で、端末装置で撮像された画像の画質を評価することができる画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の第１の観点に係る画質評価装置は、
一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する画質評価装置であって、
前記画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得するフーリエ変換部と、
前記フーリエ変換部により取得された２次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数のスペクトル成分に基づいて前記画像の解像感を解析し、それ以外のスペクトル成分に基づいて前記画像の劣化を解析する解析部と、
を備える。
【０００８】
この場合、前記周期パターンは、矩形波状であり、
前記解析部は、
前記周期パターンが周期的に変動する方向に対応する第１の方向に関するスペクトル成分に基づいて、前記画像の解像感を解析し、
前記第１の方向に直交する第２の方向に関するスペクトル成分に基づいて、前記画像の劣化を解析する、
こととしてもよい。
【０００９】
また、前記画像は、
デジタルズームによる拡大画像であり、
前記解析部は、
前記画像の拡大倍率に対応する空間周波数のスペクトル成分に基づいて、ジャギーが発生したか否かを判定する、
こととしてもよい。
【００１０】
また、前記画像は、
原画像における各画素が周期的に間引きされた画像又は前記原画像における複数の画素が周期的に輝度加算された画像であり、
前記解析部は、
前記間引き又は前記輝度加算の周期に対応する空間周波数のスペクトル成分に基づいて、ジャギーが発生したか否かを判定する、
こととしてもよい。
【００１１】
この場合、前記画像は、カラー画像を構成するＲ、Ｇ、Ｂの画像であり、
前記フーリエ変換部は、
前記Ｒ、Ｇ、Ｂの画像各々に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得し、
前記解析部は、
前記Ｒ、Ｇ、Ｂの画像各々の２次元の空間周波数のスペクトル成分に基づいて前記画像の解像感及び前記画像の劣化を解析する、
こととしてもよい。
【００１２】
また、前記画像は、
所定の方式でのデジタル圧縮された画像であり、
前記解析部は、
前記デジタル圧縮の圧縮単位であるブロックに対応する空間周波数のスペクトル成分に基づいて、前記デジタル圧縮処理により前記画像が劣化しているか否かを判定する、
こととしてもよい。
【００１３】
また、前記解析部は、
全てのスペクトル成分のピーク、所定の閾値以上のスペクトル強度を有するピーク、前記スペクトル成分の全て又は一部のピークにおけるスペクトル強度の平均値、合計値、最大値のいずれかに基づいて、前記画像の解像感及び前記画像の劣化を解析する、
こととしてもよい。
【００１４】
本発明の第２の観点に係る端末装置は、
撮像装置と、
本発明の画質評価装置と、
を備える。
【００１５】
本発明の第３の観点に係る画質評価システムは、
本発明の画質評価装置と、
一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
を備える。
【００１６】
本発明の第４の観点に係る画質評価システムは、
本発明の端末装置と、
一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
を備える。
【００１７】
この場合、前記掲示装置は、
前記周期パターンに、動きのある背景を重ねたパターンを掲示する、
こととしてもよい。
【００１８】
本発明の第５の観点に係る画質評価方法は、
一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する画質評価方法であって、
前記画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得するフーリエ変換工程と、
前記フーリエ変換工程において取得された２次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数のスペクトル成分に基づいて前記画像の解像感を解析し、それ以外のスペクトル成分に基づいて前記画像の劣化を解析する解析工程と、
を含む。
【００１９】
本発明の第６の観点に係るプログラムは、
一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価するプログラムであって、
コンピュータを、
前記画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得するフーリエ変換手段と、
前記フーリエ変換手段により取得された２次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数のスペクトル成分に基づいて前記画像の解像感を解析し、それ以外のスペクトル成分に基づいて前記画像の劣化を解析する解析手段と、
として機能させる。
【発明の効果】
【００２０】
本発明によれば、画像の解像感と画像の劣化とを両方評価することができるので、より見た目に近い状態で、端末装置で撮像された画像の画質を評価することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態１に係る画質評価システムの全体構成を示す斜視図である。
【図２】図１の携帯電話の内部構成を示すブロック図である。
【図３】図３（Ａ）は、評価用パターンの一例を示す図である。図３（Ｂ）は、図３（Ａ）のＡ−Ａ’断面における評価用パターンＰの輝度の変動を示すグラフである。図３（Ｃ）は、図３（Ａ）のＢ−Ｂ’断面における評価用パターンＰの輝度の変動を示すグラフである。
【図４】コンピュータの機能的な構成を示すブロック図である。
【図５】図５（Ａ）は、図３（Ａ）の評価用パターンの中央部分の一例である。図５（Ｂ）は、光学ズームにより撮像された中央部分の画像データの一例である。図５（Ｃ）は、デジタルズームにより撮像された中央部分の画像データの一例である。
【図６】図６（Ａ）は、図５（Ｂ）の画像データの２次元周波数スペクトルを示すグラフである。図６（Ｂ）は、図５（Ｃ）の画像データの２次元周波数スペクトルを示すグラフである。
【図７】図７（Ａ）は、図６（Ａ）のα−α’断面に沿った空間周波数スペクトルである。図７（Ｂ）は、図６（Ａ）のβ−β’断面に沿った空間周波数スペクトルである。
【図８】図８（Ａ）は、ニアリストネイバー法を適用した場合の図６（Ｂ）のα−α’断面に沿った空間周波数スペクトルである。図８（Ｂ）は、バイリニア法を適用した場合の図６（Ｂ）のα−α’断面に沿った空間周波数スペクトルである。図８（Ｃ）は、図６（Ｂ）のβ−β’断面に沿った空間周波数スペクトルである。
【図９】コンピュータ３によって実行される画像解析評価処理のフローチャートである。
【図１０】本発明の実施形態２に係るセンサにおけるＲＧＢ画素配列を示す図である。
【図１１】図１１（Ａ）は、センサにおけるＧの画素加算読み出しの動作を模式的に示す図である。図１１（Ｂ）は、センサにおけるＲの画素加算読み出しの動作を模式的に示す図である。図１１（Ｃ）は、センサにおけるＢの画素加算読み出しの動作を模式的に示す図である。
【図１２】図１２（Ａ）は、センサから出力されるＧの画像データの一例である。図１２（Ｂ）は、センサから出力されるＲの画像データの一例である。
【図１３】図１３（Ａ）は、Ｇの画像の空間周波数スペクトルの一例である。図１３（Ｂ）は、Ｒの画像データの空間周波数スペクトルの一例である。
【図１４】図１４（Ａ）は、図１３（Ａ）のβ−β’断面に沿った空間周波数スペクトルの一例を示す図である。図１４（Ｂ）は、図１３（Ｂ）のβ−β’断面に沿った空間周波数スペクトルの一例を示す図である。
【図１５】本発明の実施形態３に係る画質評価システム１００の全体構成を示す斜視図である。
【図１６】図１６（Ａ）及び図１６（Ｂ）は、携帯電話によって撮像された画像データの一例を示す図である。
【図１７】背景の動きによって、ＭＰＥＧのデジタル圧縮による歪がオーバーレイされた画像の一例である。
【図１８】図１７の画像データに２次元フーリエ変換を行って得られる空間周波数スペクトルの一例である。
【図１９】図１９（Ａ）は、図１８のα−α’断面に沿った空間周波数スペクトルである。図１９（Ｂ）は、図１８のβ−β’断面に沿った空間周波数スペクトルである。
【発明を実施するための形態】
【００２２】
次に、本発明の実施形態について、図面を参照して詳細に説明する。
【００２３】
（実施形態１）
まず、本発明の実施形態１について説明する。本実施形態では、カメラ付き携帯電話で撮影された画像の画質を評価する画質評価システムについて説明する。
【００２４】
図１には、本実施形態に係る画質評価システム１００の全体構成が示されている。図１に示すように、画質評価システム１００は、携帯電話１、掲示装置２及びパーソナルコンピュータ（以下、「コンピュータ」と略述する）３を備える。
【００２５】
携帯電話１は、カメラ付きの携帯電話である。図２には、携帯電話１の内部構成が示されている。図２に示すように、携帯電話１は、通信アンテナ２１、無線回路２２、符号復号処理回路２３、マイク２４、レシーバ２５、キー２６、ＣＰＵ（Central Processing Unit）バス２７、メモリ２８、ＤＡＣ（Digital Analog Converter）２９、スピーカ３０、ビデオＩ／Ｆ３１、ＬＣＤ（Liquid Crystal Display）コントローラ３２、ビデオＩ／Ｆ３３、表示装置３４及びＣＰＵ３５を備える。
【００２６】
通信アンテナ２１は、空中を伝送されてきた電波を受信し、高周波電気信号に変換する。変換された高周波電気信号は、無線回路２２に供給される。また、通信アンテナ２１は、無線回路２２から供給された高周波電気信号を電波に変換して発信する。
【００２７】
無線回路２２は、通信アンテナ２１から供給された高周波電気信号を復調して、符号復号処理回路２３に入力する。また、無線回路２２は、符号復号処理回路２３の出力信号を変調して高周波電気信号に変換し、その高周波電気信号を通信アンテナ２１へ出力する。
【００２８】
符号復号処理回路２３は、無線回路２２の出力信号に対して復号処理を実行する。符号復号処理回路２３は、この復号処理の結果得られた通話用音声信号をレシーバ２５に出力する一方、同様にして得られた文字データや画像データ等をＣＰＵ３５へ出力する。
【００２９】
さらに、符号復号処理回路２３は、マイク２４からの音声信号や、キー２６の操作により入力されＣＰＵ３５から出力された文字データや、メモリ２８から読み取られＣＰＵ３５から出力された画像データ等に対して符号化処理を実行する。この符号化処理の結果得られた各種データは、出力信号として無線回路２２へ出力される。
【００３０】
マイク２４は、ユーザの音声等を集音して、音声信号に変換して、符号復号処理回路２３に出力する。レシーバ２５は、符号復号処理回路２３から出力された通話用音声信号に対応する音声を出力する。
【００３１】
キー２６は、ユーザによって操作される操作キーである。ＣＰＵバス２７は、メモリ２８及びＤＡＣ２９と、ＣＰＵ３５とを接続するデータバスである。
【００３２】
メモリ２８には、各種制御用のプログラムが格納されている。また、メモリ２８には、電話帳、アドレス帳などのデータ、着信メロディ、楽曲などの音声データ、動画や静止画などの画像データ等が格納されている。
【００３３】
ＤＡＣ２９は、ＣＰＵバス２７を介してＣＰＵ３５から出力される着信音や通話音声等のデジタル音声信号をアナログ信号に変換し、スピーカ３０へ供給する。スピーカ３０は、ＤＡＣ２９から供給されたアナログ信号に対応する着信音や通話音声等を音声出力する。
【００３４】
ビデオＩ／Ｆ３１は、ＣＰＵ３５とＬＣＤコントローラ３２との間のインターフェイスである。ビデオＩ／Ｆ３１としては、ＣＭＯＳのパラレルバスを採用可能であるが、信号線数の削減やノイズ面での配慮から差動シリアルバスを採用するのが主流となっている。
【００３５】
ＬＣＤコントローラ３２は、ＶＲＡＭ（Video RAM）３６を内蔵している。ＶＲＡＭ３６は、１画面分又は２画面分程度の画像を保持可能な容量を有する。ＬＣＤコントローラ３２は、ＶＲＡＭ３６を用いて、ＣＰＵ３５から、間欠的又は部分的に送られてきた画像データの片方又は両方を合成してフレーム画像を生成する。さらに、ＬＣＤコントローラ３２は、そのフレーム画像を、６０Ｈｚ程度の周波数で連続的に読み出して、ビデオＩ／Ｆ３３を介して表示装置３４へ出力する。
【００３６】
ビデオＩ／Ｆ３３は、ビデオＩ／Ｆ３１と同様に、差動シリアルバスであっても構わないが、本実施形態では、ビデオＩ／Ｆ３３として、ＣＭＯＳのパラレルバスが採用されている。
【００３７】
表示装置３４としては、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３ピクセルで１画素を構成するストライプ形式のものが採用されている。より具体的には、ＱＶＧＡ（３２０×２４０×ＲＧＢ）、ＶＧＡ（６４０×４８０×ＲＧＢ）、ワイドＶＧＡ（８００×４８０×ＲＧＢ）、フルワイドＶＧＡ（８５４×４８０×ＲＧＢ）など、多様な画素数のデバイスを表示装置３４として使用可能である。本実施形態では、ＶＧＡ（６４０×４８０×ＲＧＢ）を採用するものとする。また、本実施形態では、表示装置３４を、液晶ディスプレイであるものとする。
【００３８】
ＣＰＵ３５は、ＣＰＵバス２７を介してメモリ２８からプログラムを読み出し、そのプログラムを実行することにより、上述の各構成要素を統括制御する。
【００３９】
例えば、ＣＰＵ３５は、キー２６の操作内容の検出処理を行う。さらに、ＣＰＵ３５は、キー２６の操作内容を検出し、検出されたキー操作に従って、無線回路２２及び符号復号処理回路２３を制御して、発信処理、音声通話処理、音楽や画像の再生処理等を行う。
【００４０】
一方、ＣＰＵ３５は、符号復号処理回路２３、無線回路２２を制御して、着信待ちに係る処理を行う。ＣＰＵ３５は、着信時に、メモリ２８の電話帳から発信者の名前や着信メロディ、着信画像を読み出す。そして、ＣＰＵ３５は、音声データを、ＤＡＣ２９へ出力する一方、相手の電話番号や名前、画像データを、ビデオＩ／Ｆ３１、ＬＣＤコントローラ３２、ビデオＩ／Ｆ３３を介して表示装置３４に表示させる。キー操作により通話が選択されると、ＣＰＵ３５は、音声通話処理を行う。
【００４１】
以上の構成要素に加え、携帯電話１は、カメラモジュール４０、メモリカード４１及び外部インターフェイス（Ｉ／Ｆ）４２をさらに備える。カメラモジュール４０と、メモリカード４１及び外部Ｉ／Ｆ４２は、ＣＰＵ３５に接続されている。
【００４２】
カメラモジュール４０は、レンズ４３とセンサ４４とを備える。レンズ４３は、入射した光をセンサ４４に結像させる。センサ４４は光電変換により、入射した光を電気信号に変換する。センサ４４としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプやＣＣＤ（Charge Coupled Device）タイプのものが使用可能である。一般には、センサ４４の各画素には、Ｒ、Ｇ、Ｂのフィルタを設けたカラータイプのものが使用されるが、ここでは説明の簡略化のため、モノクロタイプのものが使用されるものとする。
【００４３】
センサ４４から出力される電気信号は、ＣＰＵ３５の一部であるＩＳＰ（Image Signal Processor）４５に入力される。ＩＳＰ４５は、センサ４４の出力にＡ／Ｄ（Analog to Digital）変換を施してデジタル信号に変換する。デジタル信号に変換された画像データには、ノイズ低減処理やガンマ補正、そして、所定の画素数へのリサイズ処理が施される。
【００４４】
ＣＰＵ３５は、ＩＳＰ４５の出力画像データに基づく画像を、ビデオＩ／Ｆ３１、ＬＣＤコントローラ３２、ビデオＩ／Ｆ３３を介して表示装置３４に表示させる。キー２６の操作によって撮影が開始されると、ＣＰＵ３５は、その画像データをデジタル圧縮して、メモリ２８又はメモリカード４１に記録する。このデジタル圧縮のアルゴリズムとしては、汎用的なものを採用することができる。例えば静止画であればＪＰＥＧ（Joint Photographic Experts Group）を採用し、動画であればＭＰＥＧ（Moving Picture Experts Group）を採用することができる。ＣＰＵ３５は、画像データを、デジタル圧縮する前のデータ形式やＲＧＢ形式のままで、メモリ２８またはメモリカード４１に記録するようにしてもよい。
【００４５】
外部Ｉ／Ｆ４２は、コンピュータ３と通信可能なものであればよいが、ここではＵＳＢ（Universal Serial Bus）が用いられる。外部Ｉ／Ｆ４２は、コンピュータ３と接続されている。
【００４６】
掲示装置２は、携帯電話１のカメラモジュール４０によって撮像される評価用パターンＰを掲示する。
【００４７】
図３（Ａ）には、評価用パターンＰの一例が示されている。掲示装置２は、この評価用パターンＰが印刷されたチャートを掲示する。図３（Ｂ）には、図３（Ａ）のＡ−Ａ’断面における評価用パターンＰの輝度の変動を示すグラフが示されている。また、図３（Ｃ）には、図３（Ａ）のＢ−Ｂ’断面における評価用パターンＰの輝度の変動を示すグラフが示されている。図３（Ａ）乃至図３（Ｃ）に総合的に示すように、評価用パターンＰは、Ｘ軸に対して斜め４５°のＡ−Ａ’方向（第１の方向）には矩形波状に輝度が変化し、第１の方向に直交するＢ−Ｂ’方向（第２の方向）には周期的な輝度の変動のないパターンである。
【００４８】
コンピュータ３は、携帯電話１により撮像された評価用パターンＰに対応する画像データを入力し、その画質を解析し、評価する。より具体的には、コンピュータ３は、携帯電話１による撮影により得られた画像データに２次元のフーリエ変換を施して、その画像データの周波数スペクトルを取得し、画像データの解析を行う。例えば、コンピュータ３は、画像データの解像感や、画像データにジャギーが発生しているか否かなどを解析する。
【００４９】
図４に示すように、コンピュータ３は、画像データ入力部５０、フーリエ変換部５１、解析部５２、評価部５３及び表示部５４を備える。
【００５０】
画像データ入力部５０は、携帯電話１で撮像された評価用パターンＰの画像を含む画像データを入力する。フーリエ変換部５１は、画像データ入力部５０に入力された画像データに対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得する。
【００５１】
解析部５２は、フーリエ変換部５１により取得された２次元の空間周波数のスペクトル成分のうち、評価用パターンＰに含まれるスペクトル成分に基づいて画像の解像感を解析し、それ以外のスペクトル成分に基づいて画像の劣化を解析する。
【００５２】
評価部５３は、解析部５２の解析結果に基づいて、携帯電話１で撮像された画像データの画質を総合的に評価する。表示部５４は、その評価結果を表示する。
【００５３】
次に、本実施形態に係る画質評価システム１００の動作について説明する。
【００５４】
本実施形態に係る画質評価システム１００の評価対象となるのは、ズームによって拡大して撮像された画像データである。ズームの方式には、主として、光学ズームと電子ズーム（デジタルズーム）とがある。
【００５５】
光学ズームは、光学系の焦点距離を制御することによりセンサ４４に入射する画角を変化させるため、図５（Ａ）に示すように、評価用パターンＰの中央部分Ｚを光学ズームにより拡大して撮像すると、図５（Ｂ）の画像データＰ１のように、画質を劣化させることなく中央部分Ｚを撮像することができる。
【００５６】
しかしながら、光学ズームは、光学系のコストが高く、レンズモジュールも大型になるため、携帯電話１のカメラモジュール４０では、デジタルズームが採用されている。デジタルズームは、小型、低コストで実現できるメリットがある一方、画像の拡大により画質が劣化するおそれがある。
【００５７】
そこで、本実施形態では、まず、携帯電話１のカメラモジュール４０等によってデジタルズームにより拡大して撮像された画像と、理想的なズーム（光学ズーム）によって撮影された撮影画像と比較しながら画質評価システム１００の動作について説明する。
【００５８】
例えば、デジタルズームにより、３倍で画像が撮像されるものとする。デジタルズームでは、画像を３倍に拡大しようとすると、元の画像の１画素に対してフィルタ演算により求めた２画素を付加することで画素数が３倍化される。このため、画像にぼやけやジャギーが発生することがある。
【００５９】
例えば、同じ画素の値をコピーすることで画素数を３倍化するニアリストネイバー法を使用する場合について考える。ニアリストネイバー法は、物理的に距離が一番近い画素の輝度値をそのまま使用する方法である。ニアリストネイバー法を用いたデジタルズームによる３倍拡大画像データは、３画素周期で斜め線が変化するようになるため、図５（Ｃ）の画像データＰ２のように、エッジに３画素周期のジャギーが発生した画像データとなる。この画像データは、メモリカード４１又は外部Ｉ／Ｆ４３を介してコンピュータ３に取り込まれる。コンピュータ３は、２次元フーリエ変換を施して周波数スペクトルに変換し、画像の画質を解析する。
【００６０】
コンピュータ３は、次式を用いて、画像データの２次元フーリエ変換を行う。
【数１】
図６（Ａ）及び図６（Ｂ）には、上述の式（１）で求められる画像データの周波数スペクトルを２次元平面（ｕｖ平面）にプロットしたグラフが示されている。このグラフでは図３（Ａ）の評価用パターンＰのＸＹ座標軸に対して、第１象限と第３象限と、第２象限と第４象限とが、それぞれ入れ換えられている。また、このグラフでは、原点（中心）が直流成分となっており、原点から離れれば離れるほど、すなわち周辺に行けば行くほど空間周波数が高くなっている。
【００６１】
図６（Ａ）には、図５（Ｂ）に示す光学ズームにより撮像された画像の周波数スペクトルが示されている。図６（Ａ）に示すように、光学ズームでは、２次元フーリエ変換による周波数スペクトルにおいて、０でないスペクトル成分は、評価用パターンＰ（図３（Ａ）参照）のＡ−Ａ’方向に対応するα−α’断面に表れている。α−α’断面の方向は、評価用パターンＰ（周期パターン）を波であると考えたときのその波の進む方向に等しい。周波数スペクトルが中心を原点とし、第２象限と第４象限に点対称で現れるのは、正と負の２つのフーリエ解が算出されるためである。コンピュータ３は、いずれの象限の周波数スペクトルのスペクトル成分を、画質の解析に用いるようにしてもよい。
【００６２】
図６（Ａ）のα−α’断面に沿った光学ズーム画像の周波数スペクトルが、図７（Ａ）に示されている。また、図６（Ａ）のβ−β’断面に沿った光学ズーム画像の周波数スペクトルが図７（Ｂ）に示されている。図７（Ａ）及び図７（Ｂ）では、縦軸はスペクトル強度、横軸は空間周波数である。
【００６３】
光学ズームの場合、拡大して撮像された画像のエッジに、ぼやけやジャギーが発生しないため、評価用パターンＰの矩形波の状態が維持されている（図５（Ｂ）の画像データＰ１参照）。したがって、評価用パターンＰにおける矩形波の空間周波数をｆｓとすると、その奇数次の高調波成分にあたる空間周波数３ｆｓ、５ｆｓにスペクトル成分のピークが現れる。
【００６４】
一方、画像データＰ１（図５（Ｂ）参照）には、Ｂ−Ｂ’の方向には周期的なパターンが存在しないため、β−β’断面には、空間周波数ｆｓの基本波及び空間周波数３ｆｓ、５ｆｓの高周波のスペクトル成分が存在しない。したがって、図７（Ｂ）に示すように、β−β’の方向には、スペクトル成分として、直流成分のみが観測される。
【００６５】
一方、図６（Ｂ）には、デジタルズームにより撮像された画像の周波数スペクトルが示されている。また、図６（Ｂ）のα−α’断面に沿ったデジタルズーム画像の周波数スペクトルの一例が図８（Ａ）及び図８（Ｂ）に示されている。図８（Ａ）には、ニアリストネイバー法を用いて画像を拡大した場合の周波数スペクトルが示されている。また、図８（Ｂ）には、バイリニア法を用いて画像を拡大した場合の周波数スペクトルが示されている。
【００６６】
ニアリストネイバー法を適用した場合には、画像のぼやけが少ないため、図８（Ａ）に示すように、図７（Ａ）と同様な周波数スペクトルを観測することができる。すなわち、ニアリストネイバー法を採用すると、図８（Ａ）と同等の解像感が得られる。
【００６７】
これに対し、一般的に使用されているバイリニア法を適用した場合には、図８（Ｂ）に示すように、画像がぼやけたことにより空間周波数３ｆｓ、５ｆｓの３次及び５次の高調波成分が小さくなる。
【００６８】
コンピュータ３は、このようにして、高調波のスペクトル成分のピークのレベルや位置（空間周波数）を比較することにより、画像の解像感を評価する。
【００６９】
図８（Ｃ）には、図６（Ｂ）のβ−β’断面に沿ったデジタルズーム画像の周波数スペクトルの一例が示されている。繰り返し発生しているジャギーのピークの繰り返し周波数が３画素であるため、図８（Ｃ）に示すように、空間周波数π／３において、ジャギーによるスペクトル成分のピークが現れている。このスペクトル成分は、理想的なズームの例である光学ズームのスペクトル（図７（Ｂ）参照）には見られないことから、画像の劣化成分であると言える。このように、コンピュータ３は、β−β’方向の周波数スペクトルのスペクトル成分を求めることにより、ジャギーによる画質劣化度を評価する。
【００７０】
図９には、コンピュータ３による画像解析評価処理のフローチャートが示されている。図９に示すように、まず、画像データ入力部５０は、メモリカード４１又は携帯電話１から送信された画像データを入力する（ステップＳ１）。続いて、フーリエ変換部５１は、入力した画像データに対して２次元フーリエ変換を行う（ステップＳ２）。
【００７１】
続いて、解析部５２は、２次元フーリエ変換により算出された２次元平面（ｕ，ｖ）のα−α’断面のスペクトル成分の解析を行う（ステップＳ３）。ここでは、解析部５２は、例えば、図７（Ａ）に示されるスペクトル成分と、２次元フーリエ変換により算出されたα−α’断面のスペクトル成分とを比較して、画像のぼやけが発生しているか否か、すなわち解像感について解析する。より具体的には、解析部５２は、３次及び５次の高調波成分が閾値以上に低下しているか否かを判定する。
【００７２】
続いて、解析部５２は、２次元フーリエ変換により算出された２次元平面（ｕ，ｖ）のβ−β’断面の空間周波数成分のスペクトル解析を行う（ステップＳ４）。ここでは、解析部５２は、例えば、２次元フーリエ変換により算出されたβ−β’方向の空間周波数成分に基づいて、画像の劣化について解析する。より具体的には、解析部５２は、β−β’断面のスペクトル成分に所定のレベル以上のピークがあるか否かにより、画像にシャギーやノイズが発生しているか否かを判定する。また、解析部５２は、そのピークの空間周波数が、π／３（又は−π／３）であるか否かを調べることにより、画像にシャギーが発生しているか否かを判定する。π／３で調べる理由は画像が３倍に拡大されているため、空間周波数は１／３になるためである。
【００７３】
続いて、評価部５３は、解析部５２の解析結果に基づいて、携帯電話１によって撮像された画像データの画質を総合評価する（ステップＳ５）。例えば、α−α’断面における空間周波数３ｆｓ、５ｆｓの高周波のスペクトル成分が小さくなっておらず、画像がぼやけていないものの、β−β’断面における空間周波数π／３に相当する部分で、所定レベルより大きいスペクトル成分のピークが無視できない場合には、評価部５３は、ジャギーが発生しているため、画像の画質を低く評価する。
【００７４】
続いて、表示部５４は、評価部５３の評価結果を表示する（ステップＳ６）。
【００７５】
以上詳細に説明したように、本実施形態によれば、画像の解像感と画像の劣化とを両方評価することができるので、より見た目に近い状態で、携帯電話１で撮像された画像の画質を評価することができる。
【００７６】
より具体的には、本実施形態によれば、解析部５２は、光学ズームによって拡大された図６（Ａ）のα−α’断面における評価用パターンＰの空間周波数スペクトルと、電子ズームによって拡大された図６（Ｂ）のα−α’断面における画像データの空間周波数スペクトルとを比較することにより、画像データにおける評価用パターンＰの成分が劣化しているか否かを解析する。この解析により、画像がぼやけているか否かを判定し、画像の解像感を評価することができる。
【００７７】
また、コンピュータ３は、β−β’断面方向においても周波数スペクトル成分に基づいて、画像中に評価用パターンＰに含まれていない成分（デジタルズームの拡大倍率に対応する成分）が含まれているか否かを解析する。この解析により、デジタルズームによりジャギーやノイズ等が発生しているか否かを判定し、すなわち画像が劣化を評価することができる。
【００７８】
このようにすれば、デジタルズームにより拡大して撮像された画像データに対してエッジ強調等の画質補正処理による解像感向上効果と、デジタルズームによるジャギーやノイズの増加による画質劣化との両面からの画質評価が可能となる。この結果、より見た目に近い状態で、携帯電話１で撮像された画像データの画質を評価することができる。
【００７９】
本実施形態では、周期的なスペクトル成分を本来有しないβ−β’断面のスペクトル成分を用いるので、ジャギーを高精度に検出することができる。
【００８０】
なお、本実施形態では、説明の簡略化のため、図６（Ｂ）に示すように、デジタルズームによるジャギーにより、第１象限及び第３象限において、周波数スペクトルのスペクトル成分のピークがそれぞれ１つずつ発生するものとした。しかしながら、実際には、第１象限及び第３象限において、スペクトル成分のピークが複数になる場合がある。さらに、第２象限及び第４象限にも、スペクトル成分のピークが発生する場合がある。
【００８１】
このような場合、コンピュータ３は、全てのスペクトル成分のピークを解析対象としてもよいし、スペクトル強度に閾値を設け、一定値以上のスペクトル強度を有するピークのみを解析対象としてもよい。
【００８２】
また、スペクトル成分の全て又は一部のピークにおけるスペクトル強度の合計値を用いて解析を行ってもよいし、ピーク値の平均値を用いて解析を行ってもよいし、光学ズームのスペクトルとの相関を解析してもよい。また、ピークの最大値（最大スペクトル強度）を代表値として解析を行ってもよい。また、光学ズーム画像であっても光学系の性能によって劣化を伴う場合があるため、電子的に作成した劣化の無い画像と比較してもよい。
【００８３】
（実施形態２）
次に、本発明の実施形態２について説明する。本実施形態に係る画質評価システム１００の構成及び動作は、図１及び図９に示すものと同じである。
【００８４】
しかしながら、本実施形態では、携帯電話１のセンサ４４の構成が異なる。上記実施形態１では、携帯電話１のセンサ４４にモノクロタイプのものが用いられたが、本実施形態では、センサ４４が、各画素にＲＧＢのカラーフィルタが設けられたカラーセンサを有する。
【００８５】
図１０には、センサ４４におけるＲＧＢ画素配列が示されている。図１０に示すように、この配列の１ライン目ではＧとＲが交互に配置されている。また、２ライン目では、ＢとＧが交互に配置されている。さらに、３ライン目では、ＧとＲが交互に配置されている。このような画素配列は、奇数ラインと偶数ラインでＧが千鳥状に配置されることから一般にベイヤー配列と呼ばれている。ベイヤー配列は、Ｇの画素数に対してＲ、Ｂの画素数の１／２になっている点がストライプ配列とは異なっている。
【００８６】
携帯電話１は、センサ４４を用いて静止画と動画の両方を撮影することができる。静止画を撮影する場合には、連写の場合を除いて、撮影の時間間隔が十分に長いので、センサ４４からの画像の読み出し時間は、さほど問題とはならない。このことから、静止画を撮影する場合には、センサ４４の全ての画素のデータを、時間をかけて読み出すことができる。
【００８７】
しかしながら、動画を撮影する場合には、通常、３０ｆｐｓ（Frames Per Second）のフレームレートを維持しなければならない。フレームレートを維持するためには、１／３０ｓの間に１フレーム分の画像データの読み出しを完了させる必要がある。そこで、センサ４４から画素を間引いて読み出したり、周辺の数画素の輝度値を加算して、その加算値を輝度値として有する１つの画素に合成して読み出したりすることが一般的となっている。以下、センサ４４から画素加算読み出しを行う場合を例にとって説明する。
【００８８】
図１１（Ａ）には、センサ４４におけるＧの画素加算読み出しの動作が模式的に示されている。図１１（Ａ）のＧは、センサ４４におけるＧの画素位置を示している。画素加算読み出し動作では、上下、左右に隣接したＧの４画素が加算され、太線で囲まれた位置の画素値として出力される。図１１（Ｂ）、図１１（Ｃ）にそれぞれ、ＲとＢの画素加算読み出しの動作が模式的に示されている。両者とも、上下、左右に隣接したＧの４画素が加算され、太線で囲まれた位置の画素値として出力される。
【００８９】
このような画素加算読み出しを用いて、評価用パターンＰ（図３（Ａ）参照）を撮影した場合の画像データの一例が、図１２（Ａ）、図１２（Ｂ）に示されている。図１２（Ａ）には、センサ４４から出力されるＧの画像データの一例が示されている。また、図１２（Ｂ）には、センサ４４から出力されるＲの画像データの一例が示されている。センサ４４から出力されるＢの画像データについては、Ｒとほぼ同じなので説明を省略する。
【００９０】
Ｇの画像データでは、画素加算により水平及び垂直の解像度が１／２になるため、その画像データは、図１２（Ａ）に示すように、２画素周期のジャギーが発生した画像となる。一方、Ｒの画像データの画素数は、もともとＧの画像データの１／４であるため、その画像データは、図１２（Ｂ）に示すように、４画素周期のジャギーが発生した画像となる。
【００９１】
コンピュータ３によって取得された２次元空間周波数のスペクトルの一例が、図１３（Ａ）、図１３（Ｂ）に示されている。
【００９２】
図１３（Ａ）には、Ｇの画像データ（図１２（Ａ）参照）の空間周波数スペクトルの一例が示されている。上記実施形態１と同様に、評価用パターンＰの線を矩形波と考えると、矩形波の進む方向、すなわち、α−α’断面に沿って、評価用パターンＰのスペクトル成分のピークが現れている。解析部５２は、上記実施形態１と同様に、α−α’断面のスペクトル成分を解析することにより、画像の解像感を評価する。
【００９３】
また、図１４（Ａ）には、図１３（Ａ）のβ−β’断面のスペクトル成分が示されている。解析部５２は、上記実施形態１と同様に、β−β’断面のスペクトル成分を解析することにより、画像の劣化を評価する。
【００９４】
上記実施形態１では、解析部５２は、デジタルズームにより発生するジャギーを検出したが、本実施形態では、Ｇの画像データの画素加算によるジャギーを検出する。Ｇの画像データの画素加算によるジャギーは、２画素周期で発生するため、解析部５２は、空間周波数π／２におけるスペクトル成分のピークを測定することにより、Ｇの画素加算によるジャギーの発生を検出する。
【００９５】
一方、図１３（Ｂ）には、Ｒの画像データ（図１２（Ｂ）参照）の空間周波数スペクトルの一例が示されている。図１３（Ｂ）に示すように、α−α’断面に、評価用パターンＰのスペクトル成分のピークが観測され、β−β’断面に、画素加算により発生するジャギーに対応するスペクトル成分が観測されている。
【００９６】
また、図１４（Ｂ）には、図１３（Ｂ）のβ−β’断面におけるスペクトル成分が示されている。
【００９７】
Ｒの画像データの画素加算によるジャギーは、４画素周期で発生するため、解析部５２は、空間周波数π／４におけるスペクトル成分のピークを測定することにより、Ｒの画素加算によるジャギーの発生を検出する。
【００９８】
以上詳細に説明したように、本実施形態によれば、評価用パターンＰを用いれば、スペクトル成分のピークが現れる空間周波数を予測することができるため、コンピュータ３は、画素加算と、それ以外の要因による空間周波数のスペクトル成分を個別に解析することができる。すなわち、画素加算とデジタルズームとを両方適用した場合にも、ジャギーによるスペクトル成分のピークを区別して解析することができる。
【００９９】
本実施形態に係る周波数スペクトルの解析は、ＹＵＶ変換前のＲ、Ｇ、Ｂの画像データでも可能であるが。例えば、ＩＳＰ４５又はＣＰＵ３５でＹＵＶ変換された画像であっても、コンピュータ３でＲ、Ｇ、Ｂの画像データに変換することでＲ、Ｇ、Ｂの色毎の解析が可能となる。また、ＩＳＰ４５又はＣＰＵ３５でＪＰＥＧやＭＰＥＧに圧縮した画像であっても、コンピュータ３で伸張した後にＲ、Ｇ、Ｂの画像データに変換することで、色毎の解析が可能となる。
【０１００】
（実施形態３）
次に、本発明の実施形態３について説明する。
【０１０１】
上記実施形態１では、デジタルズームによるジャギーに着目して画質を評価する場合について説明した。また、上記実施形態２では画素加算によるジャギーを評価する場合について説明した。これに対し、本実施形態では、デジタル圧縮により発生する歪（ブロックノイズ、モスキートノイズ）を評価する場合について説明する。
【０１０２】
ＭＰＥＧでは、水平１６画素、垂直１６画素から構成されるマクロブロックと呼ばれるブロック単位で画像データの圧縮処理が実施される。従って、この画像データでは、マクロブロック単位で歪が発生しやすい。このようなＭＰＥＧに起因する歪も、コンピュータ３の周波数スペクトル解析により評価することが可能である。
【０１０３】
図１５には、本発明の実施形態３に係る画質評価システム１００の全体構成が示されている。図１５に示すように、掲示装置２は、評価用パターンＲを掲示するが、評価用パターンＲは、斜め方向の矩形波状の周期パターンである評価用パターンＰに、動きのある背景を重ねたパターンである。
【０１０４】
この背景としては、例えば、人物が矢印ａの方向に移動する様子を採用することができる。これにより、人物が矢印ａの方向に移動する状態が、評価用パターンＰに重ねられた状態で、携帯電話１により動画で撮影される。このように、評価用パターンＰの背景画像に動きを与えるのは、画像における動き部分が多いほど、上記の歪が目立ち易くなるためである。なお、上述の各実施形態と同一の構成要素には同一符号を付し、重複する説明を省略する。
【０１０５】
図１６（Ａ）及び図１６（Ｂ）には、携帯電話１によって撮像された画像データＲ１の一例が示されている。背景の人物は、ある時刻ｔ１において図１６（Ａ）に示す位置にあるとする。その後、人物はａの方向（図１３参照）に動き、時刻ｔ２には図１６（Ｂ）に示すように、右側に移動する。一方、掲示装置２に掲示された評価用パターンＰは動かないため、画面の同じ位置に表示されたまま（画像Ｐ１）となる。評価用パターンＰは、掲示装置２の画面の中央付近に固定されているが、画面内のどの位置に固定されていてもよい。
【０１０６】
携帯電話１のＣＰＵ３５は、時刻ｔ１からｔ２までの間、３０ｆｐｓのフレームレートで撮影した画像データをＭＰＥＧで圧縮することにより、画像ファイルを作成し、メモリ２８またはメモリカード４１に保存する。この画像ファイルは、メモリカード４１又は外部Ｉ／Ｆ４２を介してコンピュータ３に取り込まれる。取り込まれた画像ファイルは、コンピュータ３で、圧縮画像を伸張され、任意の１フレームの画像データに対して２次元フーリエ変換を施し、周波数スペクトルを解析することにより、ＭＰＥＧによる画像圧縮歪を評価する。
【０１０７】
コンピュータ３で解析処理を行う画像Ｒ２の一例が図１７に示されている。図１７に示すように、画像Ｒ２は、背景の動きによって、評価用パターンＰにＭＰＥＧ圧縮による歪がオーバーレイされたような画像となる。この画像データに２次元フーリエ変換を施した結果が図１８に示されている。
【０１０８】
図１８のα−α’断面のスペクトル成分が図１９（Ａ）に示されている。上述の実施形態と同様の矩形波のスペクトル成分のピークに加え、１６画素単位の歪のため、空間周波数π／１６にもスペクトル成分のピークが現れる。このピークは、周波数軸上で評価用パターンＰによるピークと分離されているため、矩形波と分離して評価することができる。一方、β−β’断面のスペクトル成分についても、図１９（Ｂ）に示すように、π／１６に、ＭＰＥＧ圧縮による歪の成分が現れる。解析部５２は、これらのスペクトルのピークを測定することによってＭＰＥＧによる圧縮歪を評価する。
【０１０９】
なお、本実施形態では、デジタル圧縮方式としてＭＰＥＧを用いる場合について説明した。しかしながら、本発明は、これに限られるものでない。例えば、デジタル圧縮方式としてＨ．２６４を初めとするその他の方式を使用してもよい。また、静止画の場合には、ＪＰＥＧ等の静止画用のデジタル圧縮方式を採用すればよい。
【０１１０】
以上詳細に説明したように、本実施形態によれば、評価すべき歪の画素単位によって、周波数スペクトルのピークが発生する空間周波数を予測することができるため、目的の要因による歪だけを抽出して評価することが可能である。従って、画像の拡大や画素加算、ＭＰＥＧによる歪が混在した画像についても、拡大率、加算する画素数、マクロブロックの画素数が既知であれば、それぞれの要因毎に評価することが可能である。
【０１１１】
また、π／１６にピークを有するスペクトル成分が、中央の直流成分のスペクトルと重なって解析しにくい場合、直流成分の分布が小さくなるように、評価用パターンＰのサイズを小さくしたり、撮影距離を伸ばすことにより、画角中の面積を小さくしたりしてもよい。また、コンピュータ３でスペクトル解析を行う画像のエリアを限定するようにしてもよい。
【０１１２】
また、マクロブロックのサイズは、１６画素単位に限られるものでなく、圧縮アルゴリズムに応じて如何様なサイズに規定されていてもよい。この場合、周波数スペクトルが観測し易いように評価用パターンＰのサイズや撮影距離が調節されるようにするのが望ましい。
【０１１３】
なお、上記各実施形態では、評価用パターンＰの矩形波の方向は、４５°であったが、必ずしも４５°である必要はない。また、評価用パターンＰは、透過型であってもよいし、反射型であってもよい。
【０１１４】
また、上記各実施形態では、コンピュータ３により画像データの画質の評価を行ったが、携帯電話１で、画像でデータの画質の評価を行うようにしてもよい。
【０１１５】
また、上記各実施形態では、表示装置３４を、液晶ディスプレイとしたが、表示装置３４は、自発光型の有機ＥＬディスプレイであってもよい。
【０１１６】
なお、上記各実施形態では、端末装置を、携帯電話１としたが、本発明はこれには限られない。例えば、端末装置を、映像撮影が可能な端末装置全般、例えばＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）、コンピュータ、デジタルカメラ、デジタルムービー、映像記録装置等としてもよい。
【０１１７】
なお、上記実施の形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical Disk）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。
【０１１８】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。
【０１１９】
また、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。
【０１２０】
なお、本発明は、上記実施の形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で実施の形態及び図面に変更を加えることができるのはもちろんである。
【産業上の利用可能性】
【０１２１】
本発明は、画像の解析評価に好適である。
【符号の説明】
【０１２２】
１…携帯電話、２…掲示装置、３…パーソナルコンピュータ（コンピュータ）、２１…通信アンテナ、２２…無線回路、２３…符号復号処理回路、２４…マイク、２５…レシーバ、２６…キー、２７…ＣＰＵ、２８…メモリ、２９…ＤＡＣ、３０…スピーカ、３１…ビデオＩ／Ｆ、３２…ＬＣＤコントローラ、３３…ビデオＩ／Ｆ、３４…表示装置、３５…ＣＰＵ、３６…ＶＲＡＭ、４０…カメラモジュール、４１…メモリカード、４２…外部インターフェイス（Ｉ／Ｆ）、４３…レンズ、４４…センサ、４５…ＩＳＰ、５０…画像データ入力部、５１…フーリエ変換部、５２…解析部、５３…評価部、５４…表示部、１００…画質評価システム
【特許請求の範囲】
【請求項１】
一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する画質評価装置であって、
前記画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得するフーリエ変換部と、
前記フーリエ変換部により取得された２次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数のスペクトル成分に基づいて前記画像の解像感を解析し、それ以外のスペクトル成分に基づいて前記画像の劣化を解析する解析部と、
を備える画質評価装置。
【請求項２】
前記周期パターンは、矩形波状であり、
前記解析部は、
前記周期パターンが周期的に変動する方向に対応する第１の方向に関するスペクトル成分に基づいて、前記画像の解像感を解析し、
前記第１の方向に直交する第２の方向に関するスペクトル成分に基づいて、前記画像の劣化を解析する、
ことを特徴とする請求項１に記載の画質評価装置。
【請求項３】
前記画像は、
デジタルズームによる拡大画像であり、
前記解析部は、
前記画像の拡大倍率に対応する空間周波数のスペクトル成分に基づいて、ジャギーが発生したか否かを判定する、
ことを特徴とする請求項１又は２に記載の画質評価装置。
【請求項４】
前記画像は、
原画像における各画素が周期的に間引きされた画像又は前記原画像における複数の画素が周期的に輝度加算された画像であり、
前記解析部は、
前記間引き又は前記輝度加算の周期に対応する空間周波数のスペクトル成分に基づいて、ジャギーが発生したか否かを判定する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の画質評価装置。
【請求項５】
前記画像は、カラー画像を構成するＲ、Ｇ、Ｂの画像であり、
前記フーリエ変換部は、
前記Ｒ、Ｇ、Ｂの画像各々に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得し、
前記解析部は、
前記Ｒ、Ｇ、Ｂの画像各々の２次元の空間周波数のスペクトル成分に基づいて前記画像の解像感及び前記画像の劣化を解析する、
ことを特徴とする請求項４に記載の画質評価装置。
【請求項６】
前記画像は、
所定の方式でのデジタル圧縮された画像であり、
前記解析部は、
前記デジタル圧縮の圧縮単位であるブロックに対応する空間周波数のスペクトル成分に基づいて、前記デジタル圧縮処理により前記画像が劣化しているか否かを判定する、
ことを特徴とする請求項１乃至５のいずれか一項に記載の画質評価装置。
【請求項７】
前記解析部は、
全てのスペクトル成分のピーク、所定の閾値以上のスペクトル強度を有するピーク、前記スペクトル成分の全て又は一部のピーク値の平均値、合計値、最大値のいずれかに基づいて、前記画像の解像感及び前記画像の劣化を解析する、
ことを特徴とする請求項１乃至６のいずれか一項に記載の画質評価装置。
【請求項８】
撮像装置と、
請求項１乃至７のいずれか一項に記載の画質評価装置と、
を備える端末装置。
【請求項９】
請求項１乃至７のいずれか一項に記載の画質評価装置と、
一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
を備える画質評価システム。
【請求項１０】
請求項８に記載の端末装置と、
一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
を備える画質評価システム。
【請求項１１】
前記掲示装置は、
前記周期パターンに、動きのある背景を重ねたパターンを掲示する、
ことを特徴とする請求項９又は１０に記載の画質評価システム。
【請求項１２】
一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する画質評価方法であって、
前記画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得するフーリエ変換工程と、
前記フーリエ変換工程において取得された２次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数のスペクトル成分に基づいて前記画像の解像感を解析し、それ以外のスペクトル成分に基づいて前記画像の劣化を解析する解析工程と、
を含む画質評価方法。
【請求項１３】
一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価するプログラムであって、
コンピュータを、
前記画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得するフーリエ変換手段と、
前記フーリエ変換手段により取得された２次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数のスペクトル成分に基づいて前記画像の解像感を解析し、それ以外のスペクトル成分に基づいて前記画像の劣化を解析する解析手段と、
として機能させるプログラム。
【請求項１】
一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する画質評価装置であって、
前記画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得するフーリエ変換部と、
前記フーリエ変換部により取得された２次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数のスペクトル成分に基づいて前記画像の解像感を解析し、それ以外のスペクトル成分に基づいて前記画像の劣化を解析する解析部と、
を備える画質評価装置。
【請求項２】
前記周期パターンは、矩形波状であり、
前記解析部は、
前記周期パターンが周期的に変動する方向に対応する第１の方向に関するスペクトル成分に基づいて、前記画像の解像感を解析し、
前記第１の方向に直交する第２の方向に関するスペクトル成分に基づいて、前記画像の劣化を解析する、
ことを特徴とする請求項１に記載の画質評価装置。
【請求項３】
前記画像は、
デジタルズームによる拡大画像であり、
前記解析部は、
前記画像の拡大倍率に対応する空間周波数のスペクトル成分に基づいて、ジャギーが発生したか否かを判定する、
ことを特徴とする請求項１又は２に記載の画質評価装置。
【請求項４】
前記画像は、
原画像における各画素が周期的に間引きされた画像又は前記原画像における複数の画素が周期的に輝度加算された画像であり、
前記解析部は、
前記間引き又は前記輝度加算の周期に対応する空間周波数のスペクトル成分に基づいて、ジャギーが発生したか否かを判定する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の画質評価装置。
【請求項５】
前記画像は、カラー画像を構成するＲ、Ｇ、Ｂの画像であり、
前記フーリエ変換部は、
前記Ｒ、Ｇ、Ｂの画像各々に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得し、
前記解析部は、
前記Ｒ、Ｇ、Ｂの画像各々の２次元の空間周波数のスペクトル成分に基づいて前記画像の解像感及び前記画像の劣化を解析する、
ことを特徴とする請求項４に記載の画質評価装置。
【請求項６】
前記画像は、
所定の方式でのデジタル圧縮された画像であり、
前記解析部は、
前記デジタル圧縮の圧縮単位であるブロックに対応する空間周波数のスペクトル成分に基づいて、前記デジタル圧縮処理により前記画像が劣化しているか否かを判定する、
ことを特徴とする請求項１乃至５のいずれか一項に記載の画質評価装置。
【請求項７】
前記解析部は、
全てのスペクトル成分のピーク、所定の閾値以上のスペクトル強度を有するピーク、前記スペクトル成分の全て又は一部のピーク値の平均値、合計値、最大値のいずれかに基づいて、前記画像の解像感及び前記画像の劣化を解析する、
ことを特徴とする請求項１乃至６のいずれか一項に記載の画質評価装置。
【請求項８】
撮像装置と、
請求項１乃至７のいずれか一項に記載の画質評価装置と、
を備える端末装置。
【請求項９】
請求項１乃至７のいずれか一項に記載の画質評価装置と、
一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
を備える画質評価システム。
【請求項１０】
請求項８に記載の端末装置と、
一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
を備える画質評価システム。
【請求項１１】
前記掲示装置は、
前記周期パターンに、動きのある背景を重ねたパターンを掲示する、
ことを特徴とする請求項９又は１０に記載の画質評価システム。
【請求項１２】
一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する画質評価方法であって、
前記画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得するフーリエ変換工程と、
前記フーリエ変換工程において取得された２次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数のスペクトル成分に基づいて前記画像の解像感を解析し、それ以外のスペクトル成分に基づいて前記画像の劣化を解析する解析工程と、
を含む画質評価方法。
【請求項１３】
一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価するプログラムであって、
コンピュータを、
前記画像に対して２次元フーリエ変換を行って２次元の空間周波数のスペクトル成分を取得するフーリエ変換手段と、
前記フーリエ変換手段により取得された２次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数のスペクトル成分に基づいて前記画像の解像感を解析し、それ以外のスペクトル成分に基づいて前記画像の劣化を解析する解析手段と、
として機能させるプログラム。
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９】
【図１】
【図１５】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９】
【図１】
【図１５】
【公開番号】特開２０１１−１４６８０６（Ｐ２０１１−１４６８０６Ａ）
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１０−４２５６（Ｐ２０１０−４２５６）
【出願日】平成２２年１月１２日（２０１０．１．１２）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２２年１月１２日（２０１０．１．１２）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]