画像評価装置、および画像評価プログラム
【課題】画像処理に伴う画質の劣化状況を評価して表示すること。
【解決手段】画質評価部１０３ａは、原画像を画像処理して得た処理後画像の画質を評価するために、原画像と処理後画像とを、画質の劣化現象を表す特徴量を用いて比較して、画像処理に起因する処理後画像における画質の劣化を、画質の劣化現象を表す特徴量ごとに評価する。評価結果出力部１０３ｂは、原画像、処理後画像、および評価結果を表示する。
【解決手段】画質評価部１０３ａは、原画像を画像処理して得た処理後画像の画質を評価するために、原画像と処理後画像とを、画質の劣化現象を表す特徴量を用いて比較して、画像処理に起因する処理後画像における画質の劣化を、画質の劣化現象を表す特徴量ごとに評価する。評価結果出力部１０３ｂは、原画像、処理後画像、および評価結果を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の画質を評価するための画像評価装置、および画像評価プログラムに関する。
【背景技術】
【０００２】
次のようなデータ解析装置が知られている。このデータ解析装置は、画質の評価対象となる画像と、画質を評価するためのパラメータと、評価結果を示す図表またはグラフと、種々の制御ボタンとを同時に表示する（例えば、特許文献１）。
【０００３】
【特許文献１】特開２００５−１０７７６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のデータ解析装置を用いて、原画像を画像処理して得た処理後画像の画質を評価しようとした場合には、処理後画像の画質が原画像からどの程度劣化しているかを評価することはできなかった。
【課題を解決するための手段】
【０００５】
本発明は、原画像を画像処理して得た処理後画像の画質を評価するために、原画像と処理後画像とを、画質の劣化現象を表す複数の特徴量を用いて比較して、画像処理に起因する処理後画像における画質の劣化を、画質の劣化現象を表す特徴量ごとに評価し、原画像、処理後画像、および評価結果を表示することを特徴とする。
本発明では、原画像と、画質の劣化現象が異なる複数の処理後画像のそれぞれとを、画質の劣化現象を表す特徴量を用いて比較して評価を行い、原画像、複数の処理後画像、および各処理後画像ごとの評価結果を表示するようにしてもよい。
また、処理後画像に代えて、画質の劣化現象を表す特徴量を可視化した画像を表示するようにしてもよく、評価結果を、数値、または数値を模式化した図形により表示するようにしてもよい。
画質の劣化現象を表す特徴量は、ぼやけの度合いを表す特徴量、ブロック歪みの大きさを表す特徴量、ランダムノイズの大きさを表す特徴量、および各コマ間の明るさの変化度合いを表す特徴量の少なくともいずれかであることが好ましい。
【発明の効果】
【０００６】
本発明によれば、処理後画像の画質が原画像からどの程度劣化しているかを評価することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態における画像評価装置の一実施の形態の構成を示すブロック図である。画像評価装置１００は、例えばパソコン（パーソナルコンピュータ）であって、操作部材１０１と、接続ＩＦ（インターフェース）１０２と、制御装置１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、モニタ１０５とを備えている。
【０００８】
操作部材１０１は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続ＩＦ１０２は、デジタルカメラなどの外部装置を接続するためのインターフェースであって、例えばデジタルカメラと有線接続を行うためのＵＳＢインターフェースや、無線接続を行うための無線ＬＡＮモジュールなどが使用される。本実施の形態では、例えば、この接続ＩＦ１０２を介してデジタルカメラから画像データ（静止画データまたは動画データ）が取り込まれる。
【０００９】
ＨＤＤ１０４は、接続ＩＦ１０２を介して取り込まれた画像データや、制御装置１０３で実行される種々のプログラム等を記録するための記録装置である。本実施の形態では、ＨＤＤ１０４には画像データとして、複数フレームの画像で構成される動画データが記録されているものとする。例えば、動画撮影機能付きのデジタルカメラやデジタルビデオカメラで撮影され、所定のファイル形式、例えばＭＰＥＧ形式に圧縮された動画データ（処理後動画データ）、および圧縮を行う前の元動画データ（処理前動画データ）が、それぞれ記録されているものとする。
【００１０】
モニタ１０５は、例えば液晶モニタであって、制御装置１０３から出力される表示用データを表示する。
【００１１】
制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、画質評価部１０３ａと、評価結果出力部１０３ｂとを機能的に備えている。画質評価部１０３ａは、ＨＤＤ１０４に記録されている処理後画像データが、処理前画像データと比較してどの程度画質が劣化しているかを評価する。すなわち、動画データは、データサイズを小さくするために圧縮を行うことによって、一般的に画質が劣化する。画質劣化の要因としては、例えば、ぼやけ、ブロック歪み、ランダムノイズ、およびフリッカなどが考えられる。
【００１２】
なお、画質評価部１０３ａは、ぼやけ、ブロック歪み、ランダムノイズの各要因については、処理前動画データと処理後動画データの対応するフレーム間でどの程度の差があるかを数値化して判定することによって、処理後動画データにおける画質の劣化を評価する。また、フリッカについては、処理前動画データのちらつき、すなわち各コマ間の明るさの変化と、処理後動画データのちらつきとに、どの程度の差があるかを数値化して判定することによって、処理後動画データの画質の劣化を評価する。以下、画質劣化の各要因ごとに、画質評価部１０３ａによる画質評価処理の具体例について説明する。
【００１３】
（Ａ）ぼやけによる画質の劣化の評価
画質評価部１０３ａは、ぼやけの度合いを表す特徴量である空間情報特徴エラー率ＥＲ＿ＳＩを次式（１）により算出することによって、処理後動画データがぼやけによってどの程度劣化しているかを評価する。
【数１】
なお、式（１）において、ＳＩＯ（ｔ）は、処理前動画データを構成する任意の時間ｔにおける１フレーム画像から抽出した空間情報特徴であり、ＳＩＰ（ｔ）は、処理後動画データを構成する任意の時間ｔにおける１フレーム画像から抽出した空間情報特徴である。
【００１４】
ここで、画像における空間情報特徴ＳＩの算出方法について説明する。空間情報特徴ＳＩは、次のようにして算出することができる。まず、画像に対して図２（ａ）に示す水平方向Ｓｏｂｅｌフィルタをかけて、水平方向の成分を検出した画像Ｖ（ｉ，ｊ）を得る。また、画像に対して図２（ｂ）に示す垂直方向Ｓｏｂｅｌフィルタをかけて、垂直方向の成分を検出した画像Ｈ（ｉ，ｊ）を得る。そして、次式（２）により、この画像Ｖ（ｉ，ｊ）とＨ（ｉ，ｊ）とに基づいて、水平方向および垂直方向の微分画像を合成したエッジ画像Ｒ（ｉ，ｊ）を算出する。
【数２】
【００１５】
そして、このエッジ画像Ｒ（ｉ，ｊ）を用いて、次式（３）により空間情報特徴ＳＩを算出することができる。ここでは、画像サイズがＭ×Ｎ（ｐｉｘｅｌ）であるものとして次式（３）を定義する。
【数３】
なお、この空間情報特徴ＳＩは、エッジ画像Ｒ（ｉ，ｊ）の標準偏差であり、画像のエッジ度を表すエッジ特徴量とみなすことができる。
【００１６】
処理後動画データにぼやけによる画質の劣化が発生している場合には、処理前動画データに比べてエッジ度が低下することになるため、式（１）で算出した空間情報特徴エラー率ＥＲ＿ＳＩは負の値をとる。よって、画質評価部１０３ａは、空間情報特徴エラー率ＥＲ＿ＳＩが負の値であるときに、ぼやけによる画質の劣化があると判定する。そして、空間情報特徴エラー率ＥＲ＿ＳＩの絶対値をとって、これをぼやけによる画質の劣化度合いを表す値とする。
【００１７】
（Ｂ）ブロック歪みによる画質の劣化の評価
画質評価部１０３ａは、ブロック歪みを表すパラメータである水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶを次式（４）により算出することによって、処理後動画データが、ブロック歪みによってどの程度劣化しているかを評価する。
【数４】
なお、式（４）において、ａＯ（ｔ）は、処理前動画データを構成する任意の時間ｔにおける１フレーム画像から抽出した水平垂直・非水平垂直特徴であり、ａＰ（ｔ）は、処理後動画データを構成する任意の時間ｔにおける１フレーム画像から抽出した水平垂直・非水平垂直特徴である。
【００１８】
ここで、画像における水平垂直・非水平垂直特徴ａの算出方法について説明する。まず、上述した画像Ｖ（ｉ，ｊ）とＨ（ｉ，ｊ）とに基づいて、次式（５）によりエッジ角特徴θ（ｉ，ｊ）を算出する。
【数５】
【００１９】
そして、式（２）で算出したエッジ画像Ｒ（ｉ，ｊ）と、式（５）で算出したエッジ角特徴θ（ｉ，ｊ）とを用いて、水平垂直領域ＨＶ（ｉ，ｊ）と、非水平垂直領域ＨＶ＊（ｉ，ｊ）を次式（６）および（７）により定義する。
【数６】
【数７】
なお、式（６）で算出される水平垂直領域ＨＶ（ｉ，ｊ）は、図３（ａ）に示す領域３ａとなり、式（７）で算出される非水平垂直領域ＨＶ＊（ｉ，ｊ）は、図３（ｂ）に示す領域３ｂとなる。
【００２０】
水平垂直・非水平垂直特徴ａは、算出した水平垂直領域ＨＶ（ｉ，ｊ）と非水平垂直領域ＨＶ＊（ｉ，ｊ）との比で表され、次式（８）により算出される。なお、次式（８）も画像サイズがＭ×Ｎ（ｐｉｘｅｌ）であるものとして定義する。
【数８】
【００２１】
水平垂直方向の成分を含まない画像においては、水平垂直・非水平垂直特徴ａは、０に近い値が算出される。処理後動画データにブロック歪みによる画質の劣化が発生している場合には、処理前動画データに比べて垂直水平成分が多くなるため、式（４）で算出した水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶは正の値をとる。よって、画質評価部１０３ａは、水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶが正の値であるときに、ブロック歪みによる画質の劣化があると判定する。そして、水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶの値をブロック歪みによる画質の劣化度合いを表す値とする。
【００２２】
（Ｃ）ランダムノイズによる画質の劣化の評価
画質評価部１０３ａは、処理前動画データにおけるランダムノイズの量に対する処理後動画データにおけるランダムノイズの量Ｄを、処理前動画データのエッジ特徴量ＲＯ（ｉ，ｊ）、および処理後動画データのエッジ特徴量ＲＰ（ｉ，ｊ）に基づいて次式（９）および（１０）により算出することによって、処理後動画データが、ランダムノイズによってどの程度劣化しているかを評価する。なお、次式（１０）は、画像サイズがＭ×Ｎ（ｐｉｘｅｌ）であるものとして定義する。
【数９】
【数１０】
【００２３】
画質評価部１０３ａは、ランダムノイズの量Ｄが正の値をとるときに、ランダムノイズによる画質の劣化があると判定する。そして、ランダムノイズの量Ｄの値をランダムノイズによる画質の劣化度合いを表す値とする。
【００２４】
（Ｄ）フリッカによる画質の劣化の評価
画質評価部１０３ａは、フレーム単位にフリッカによる画質の劣化を評価するために、次式（１１）および（１２）によって、フレームごとのフリッカ用のエラー率ER_Fを算出する。
【数１１】
【数１２】
【００２５】
なお、式（１１）で算出されるＤｉｓｔ（ｔ）は、任意の時間ｔにおける１フレーム画像（ｔフレーム目）と任意の時間ｔ＋１における１フレーム画像（ｔ＋１フレーム目）との間の画像の明るさの変化量（距離）を表している。また、式（１２）におけるＤｉｓｔｏ（ｔ）は処理前動画データを構成する任意の時間ｔおよびｔ＋１における各フレーム画像に基づいて算出したＤｉｓｔ（ｔ）を表しており、ＤｉｓｔＰ（ｔ）は処理後動画データを構成する任意の時間ｔおよびｔ＋１における各フレーム画像に基づいて算出したＤｉｓｔ（ｔ）を表している。
【００２６】
画質評価部１０３ａは、フレーム毎のフリッカ用のエラー率ＥＲ＿Ｆが正の値をとるときに、フリッカによる画質の劣化があると判定する。そして、フレーム毎のフリッカ用のエラー率ＥＲ＿Ｆの値をフリッカによる画質の劣化度合いを表す値とする。
【００２７】
以上説明した処理によって、画質評価部１０３ａは、画質の劣化現象を表す特徴量を用いて処理前動画データと処理後動画データとを比較することによって、画像処理に起因する処理後動画データにおける画質の劣化を、画質の劣化現象を表す特徴量ごとに評価することができる。なお、ここで、画質の劣化現象を表す特徴量は、上述した画像のぼやけの度合いを表す特徴量である空間情報特徴エラー率ＥＲ＿ＳＩ、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶ、ランダムノイズの大きさを表す特徴量であるランダムノイズの量Ｄ、および各コマ間の明るさの変化度合いを表す特徴量であるフレーム毎のフリッカ用のエラー率ＥＲ＿Ｆをいう。
【００２８】
評価結果出力部１０３ｂは、画質評価部１０３ａによる画質の評価結果をモニタ１０５に出力して表示する。本実施の形態では、評価結果出力部１０３ｂは、使用者が、画質の劣化状況を上述した各要因ごとに把握できるように、それぞれの画質の劣化現象を表す特徴量を数値、または数値を模式化した図形により表示する。例えば、図４に示すように、処理前動画データ４ａ、処理後画像データ４ｂ、画質の劣化現象を表す特徴量の数値データ４ｃ、および画質の劣化現象を表す特徴量を模式的に表したインジケータ４ｃを一画面内に表示する。なお、評価結果出力部１０３ｂは、処理前動画データ４ａおよび処理後画像データ４ｂとともに、数値データ４ｃとインジケータ４ｃのいずれか一方のみを表示するようにしてもよい。
【００２９】
なお、インジケータ４ｃは、上述した処理で算出した４つの画質の劣化現象を表す特徴量のそれぞれごとに表示されている。すなわち、画像のぼやけの度合いを表す特徴量である空間情報特徴エラー率ＥＲ＿ＳＩに基づいて特定される画像劣化の度合いを表したインジケータ４ｃ−１、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶに基づいて特定される画像劣化の度合いを表したインジケータ４ｃ−２、ランダムノイズの大きさを表す特徴量であるランダムノイズの量Ｄに基づいて特定される画像劣化の度合いを表したインジケータ４ｃ−３、および各コマ間の明るさの変化度合いを表す特徴量であるフレーム毎のフリッカ用のエラー率ＥＲ＿Ｆに基づいて特定される画像劣化の度合いを表したインジケータ４ｃ−４が表示されている。
【００３０】
これによって、使用者は画面上で、処理前動画データ４ａと処理後動画データ４ｂとを見比べることができ、さらに、処理後動画データの画質の劣化状況を数値データ４ｃおよびインジケータ４ｄにより視覚的に把握することができる。
【００３１】
なお、上述したように、画質評価部１０３ａによる画質の評価は、処理後動画データの各フレームに対して行われる。このため、図4に示す画面上では、使用者によって動画の再生が指示されると、処理前動画データ４ａおよび処理後動画データ４ｂは同時に再生される。すなわち、画面上には、処理前動画データ４ａと処理後動画データ４ｂの対応するフレームが同時に表示され、所定のフレームレートでそれぞれのフレームが切り替えられる。
【００３２】
そして、画質評価部１０３ａは、再生中の各フレームごとに、上述した画質の評価処理を行い、その評価結果を逐次画面上に表示していく。すなわち、数値データ４ｃおよびインジケータ４ｄを逐次更新していく。これによって、図4に示す画面上では、処理前動画データ４ａおよび処理後動画データ４ｂの表示中のフレームに対する画質の評価結果が、数値データ４ｃおよびインジケータ４ｄに表示され、表示するコマの切り替わりとともに、数値データ４ｃおよびインジケータ４ｄの表示内容も更新されていくことになる。
【００３３】
図５は、本実施の形態における画像評価装置１００の処理を示すフローチャートである。図５に示す処理は、使用者によって処理後動画データの再生が指示されることにより、処理後動画データの再生が開始されると起動するプログラムとして制御装置１０３によって実行される。
【００３４】
ステップＳ１０において、画質評価部１０３ａは、処理前動画データおよび処理後動画データの１フレーム目を読み込んで、ステップＳ２０へ進む。ステップＳ２０では、画質評価部１０３ａは、読み込んだ処理前動画データのフレームと、処理後動画データのフレームとを比較することによって、上述した画質の劣化現象を表す特徴量を算出する。すなわち、画像のぼやけの度合いを表す特徴量である空間情報特徴エラー率ＥＲ＿ＳＩ、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶ、ランダムノイズの大きさを表す特徴量であるランダムノイズの量Ｄ、および各コマ間の明るさの変化度合いを表す特徴量であるフレーム毎のフリッカ用のエラー率ＥＲ＿Ｆをそれぞれ算出する。その後、ステップＳ３０へ進む。
【００３５】
ステップＳ３０では、評価結果出力部１０３ｂは、図４で上述したように、処理前動画データ４ａ、処理後画像データ４ｂ、画質の劣化現象を表す特徴量の数値データ４ｃ、および画質の劣化現象を表す特徴量を模式的に表したインジケータ４ｃを一画面内に表示する。その後、ステップＳ４０へ進み、画質評価部１０３ａは、画質評価を行ったフレームが、動画データの最終フレームであるか否かを判断する。否定判断した場合には、ステップＳ５０へ進んで、処理前動画データおよび処理後動画データの次フレームを読み込んで、ステップＳ２０へ戻る。これに対して、肯定判断した場合には、処理を終了する。
【００３６】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）画質評価部１０３ａは、処理前動画データと処理後動画データとを、画質の劣化現象を表す特徴量を用いて比較して、画像処理に起因する処理後動画データにおける画質の劣化を、画質の劣化現象を表す複数の特徴量ごとに評価した。そして、評価結果出力部１０３ｂは、処理前動画データ、処理後動画データ、および評価結果をモニタ１０５に表示するようにした。これによって、使用者は、処理後動画データの画質が処理前動画データの画質と比較してどの程度劣化しているかを把握することができる。
【００３７】
（２）評価結果出力部１０３ｂは、画質の評価結果を、数値、または数値を模式化した図形、すなわちインジケータにより表示するようにした。これによって、使用者は、画質の評価結果を視覚的に把握することができる。
【００３８】
（３）画質の劣化現象を表す特徴量は、ぼやけの度合いを表す特徴量、ブロック歪みの大きさを表す特徴量、ランダムノイズの大きさを表す特徴量、および各コマ間の明るさの変化度合いを表す特徴量とした。これによって、主な画質の劣化要因を対象として画質の評価を行うことができ、使用者は、処理後動画データの画質の劣化状況を的確に把握することができる。
【００３９】
―変形例―
なお、上述した実施の形態の画像評価装置は、以下のように変形することもできる。
（１）上述した実施の形態では、評価結果出力部１０３ｂは、図４に示したように、画質の劣化現象を表す特徴量をインジケータ４ｃで表示するようにし、表示中のフレームが切り替わるごとに、インジケータ４ｃの表示内容も表示中のフレームの特徴量を示すように更新する例について説明した。しかしながら、評価結果出力部１０３ｂは、各フレームごとにインジケータ４ｃを表示して画質の劣化現象を表す特徴量を模式的に表すだけでなく、動画全体の特徴量の変化状況を折れ線グラフ等により表すようにしてもよい。
【００４０】
（２）上述した実施の形態では、評価結果出力部１０３ｂは、図４に示したように、処理前動画データ４ａ、処理後画像データ４ｂ、画質の劣化現象を表す特徴量の数値データ４ｃ、および画質の劣化現象を表す特徴量を模式的に表したインジケータ４ｃを一画面内に表示する例について説明した。しかしながら、評価結果出力部１０３ｂは、処理後画像データ４ｂに代えて、画質の劣化現象を表す特徴量を可視化した画像を生成して表示するようにしてもよい。図６は、処理後画像データ４ｂに代えて、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶを可視化した画像６ａを表示した場合を示している。これによって、使用者は、処理後動画データ内で画質の劣化が発生している箇所を特定することができる。
【００４１】
（３）上述した実施の形態では、画質評価部１０３ａは、処理後動画データの画質の劣化状況を各特徴量ごとに評価する例について説明した。しかしながら、画質評価部１０３ａは、さらに、上述した処理で算出したそれぞれの画質の劣化現象を表す特徴量に基づいて、処理後動画データの画質を総合的に評価するようにしてもよい。
【００４２】
例えば、画質評価部１０３ａは、画像のぼやけの度合いを表す特徴量である空間情報特徴エラー率ＥＲ＿ＳＩ、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶ、ランダムノイズの大きさを表す特徴量であるランダムノイズの量Ｄ、および各コマ間の明るさの変化度合いを表す特徴量であるフレーム毎のフリッカ用のエラー率ＥＲ＿Ｆのそれぞれに対して重み付けを行った評価値Ｒを次式（１３）によって算出する。なお、次式（１３）において、ｗ１〜ｗ４は、各特徴量に付加する重み値であって、その値はあらかじめ設定されている。
Ｒ＝ｗ１・ＥＲ＿ＳＩ＋ｗ２・ＥＲ＿ＨＶ＋ｗ３・Ｄ＋ｗ４・ＥＲ＿Ｆ ・・・（１３）
【００４３】
そして、画質評価部１０３ａは、式（１３）で算出した評価値Ｒと、あらかじめ設定した閾値Ｔとを比較し、Ｒ＞Ｔならば画質評価は合格、Ｒ≦Ｔならば画質評価は不合格といったように、処理後動画データの各フレームについて画質の総合的な評価を行う。
【００４４】
あるいは、ＥＲ＿ＳＩに対する閾値をＴ１、ＥＲ＿ＨＶに対する閾値をＴ２、Ｄに対する閾値をＴ３、およびＥＲ＿Ｆに対する閾値をＴ４としてあらかじめ設定しておき、各特徴量とそれぞれに対応する閾値とを比較した結果、特徴量＞閾値、例えばＥＲ＿ＳＩ＞Ｔ１が成り立てば１を返し、成り立たない場合には０を返す関数ｆｕｎｃを定義しておく。この関数ｆｕｎｃは、例えば、ｆｕｎｃ（ＥＲ＿ＳＩ＞Ｔ１）のように表記し、ＥＲ＿ＳＩ＞Ｔ１が成り立つ場合には、ｆｕｎｃ（ＥＲ＿ＳＩ＞Ｔ１）＝１となり、成り立たない場合には、ｆｕｎｃ（ＥＲ＿ＳＩ＞Ｔ１）＝０となる。
【００４５】
画質評価部１０３ａは、この関数を用いた次式（１４）によって評価値Ｒ´を算出し、このＲ´とあらかじめ設定した閾値Ｔ´とを比較する。画質評価部１０３ａは、Ｒ´＞Ｔ´ならば画質評価は合格、Ｒ´≦Ｔ´ならば画質評価は不合格といったように、処理後動画データの各フレームについて画質の総合的な評価を行うようにしてもよい。
Ｒ´＝ｆｕｎｃ（ＥＲ＿ＳＩ＞Ｔ１）＋ｆｕｎｃ（ＥＲ＿ＨＶ＞Ｔ２）＋ｆｕｎｃ（Ｄ＞Ｔ３）＋ｆｕｎｃ（ＥＲ＿Ｆ＞Ｔ４） ・・・（１４）
【００４６】
評価結果出力部１０３ｂは、画質評価部１０３ａによるこの総合的な画質の評価結果をモニタ１０５へ出力して表示する。以上の処理により、画質評価部１０３ａは、処理後動画データの画質の劣化状況を各特徴量ごとに評価するとともに、処理後動画データの総合的な画質を評価することもできる。
【００４７】
（４）上述した実施の形態では、デジタルカメラ等で所定のファイル形式、例えばＭＰＥＧ形式に圧縮された動画データを処理後動画データとした。そして、画質評価部１０３ａは、当該処理後動画データと圧縮を行う前の元動画データである処理前動画データとを比較することによって、画質の劣化現象を表す特徴量ごとに処理後動画データを構成する各フレームの画質を評価する例について説明した。しかしながら、処理前動画データとして、使用者によって任意に画質が劣化された動画データを用いるようにしてもよい。これによって、使用者は、動画データの画質を任意に変化させ、それにより、処理前画像と比較してどの程度画質が劣化するかをシミュレーションすることができる。
【００４８】
なお、使用者は以下のようにして、処理前動画データの画質を劣化させた処理後動画データを作成することができる。ここでは、次の（ａ）〜（ｄ）に示すように、処理前動画データに対してぼかしを付加して画質を劣化させる場合、ブロック歪みを付加して画質を劣化させる場合、ランダムノイズを付加して画質を劣化させる場合、およびフリッカを付加して画質を劣化させる場合について説明する。
【００４９】
（ａ）処理前動画データに対してぼかしを付加して画質を劣化させる場合
処理前動画データを構成する各フレームをぼかす方法としては、各フレームの画像データに対して正規分布フィルタをかける方法がある。例えば、処理前動画データを構成する各フレーム（原画像）をｆ（ｘ，ｙ）とし、ぼかしを付加した画像（ぼかし画像）をＦ（ｘ，ｙ）とすると、ぼかし画像Ｆ（ｘ，ｙ）は、次式（１５）および（１６）によって表される。
【数１３】
【数１４】
使用者は、式（１５）における標準偏差σの値を任意に設定したり、式（１６）に示すフィルタｇ（ｉ，ｊ）の大きさ（３×３または５×５など）を任意に設定することによって、処理前動画データの各フレームを任意の強度でぼかすことができる。
【００５０】
（ｂ）処理前動画データに対してブロック歪みを付加して画質を劣化させる場合
ブロック歪みは、ＤＣＴのような直行変換を使って座標変換し、逆変換の際の誤差によって生じるものである。したがって、処理前動画データの各フレームに対してブロック歪みを付加するためには、実際にＤＣＴ変換を行い、誤差が入るように逆変換を行えばよい。例えば、原画像を８×８（ｐｉｘｅｌ）の小領域に分割し、その小領域をｆ（ｘ，ｙ）とし、その小領域に対応するＤＣＴ変換後のデータをＦ（ｕ，ｖ）とした場合には、ＤＣＴ変換および逆変換は、それぞれ次式（１７）および（１８）に示すようになる。
【数１５】
【数１６】
このとき、使用者は、逆変換を行う際に、式（１８）において、Ｍ（≦７）およびＮ（≦７）の値を任意に設定することによって、処理前動画データの各フレームに対して任意の強度でブロック歪みを付加することができる。
【００５１】
（ｃ）処理前動画データに対してランダムノイズを付加して画質を劣化させる場合
処理前動画データを構成する各フレームに付加するランラムノイズとしては、例えばガウスノイズが考えられる。例えば、（０，１）上の一様分布に従う乱数Ｘ＝（Ｘ１，Ｘ２）を次式（１９）および（２０）を用いて変換すると、μ＝０、σ＝１の正規分布関数になる。
【数１７】
【数１８】
【００５２】
ここでは、この乱数Ｘを用いて、処理前動画データを構成する各フレームにガウスノイズを付加する。具体的には、処理前動画データを構成する各フレーム（原画像）をｆ（ｘ，ｙ）とし、ガウスノイズを付加した後の画像をＦ（ｘ，ｙ）とした場合には、画像Ｆ（ｘ，ｙ）は、次式（２１）で表される。なお、次式（２１）において、ｒａｎｄは、一様分布に従う乱数Ｘ＝（Ｘ１，Ｘ２）を入力すると、正規分布となるＹ１およびＹ２を出力する。
【数１９】
使用者は、式（２１）において、標準偏差σの値を任意に設定することによって、処理前動画データの各フレームに対して任意の強度でランダムノイズを付加することができる。
【００５３】
（ｄ）処理前動画データに対してフリッカを付加して画質を劣化させる場合
フリッカは、フレームごとに画面全体の平均輝度が周期的に変化することによって、動画がちらついて見える現象をいうため、次式（２２）によって、各フレームの輝度値を周期的に変化させれば、処理前動画データに対してフリッカを付加することができる。
【数２０】
式（２２）において、Ｔは輝度値を変化させる周期であり、Ａはフレームの明るさを変化させるための倍率である。使用者は、この式（２２）において、ＴおよびＡの少なくともいずれか一方の値を任意に設定することによって、処理前動画データに対して、任意の周期および明るさ変化となるように、フリッカを付加することができる。
【００５４】
なお、このように、使用者が動画データの画質を任意に変化させて、画質の劣化状態をシミュレーションする場合には、複数のパターンで画質を劣化させ、各パターンについて処理前動画データとの比較を行うことが考えられる。このため、処理前動画データに対して、異なる画像劣化の要因が付加され、複数の処理後動画データが作成された場合には、画質評価部１０３ａは、それぞれの処理後動画データを対象として、上述した画質の評価を行う。そして、評価結果出力部１０３ｂは、複数の処理後動画データについての評価結果を同一画面上に表示するようにしてもよい。
【００５５】
例えば、使用者によって、処理前動画データに対して、（ａ）で上述した方法でぼかしが付加された第1の処理後動画データと、（ｂ）で上述した方法でブロック歪みが付加され、さらに（ｃ）で上述した方法でランダムノイズが付加された第２の処理後動画データとが作成されたとする。この場合には、画質評価部１０３ａは、第1の処理後動画データおよび第２の処理後動画データのそれぞれを対象として、画質の評価を行う。
【００５６】
そして、評価結果出力部１０３ｂは、例えば図７に示すように、処理前動画データ４ａ、画質の劣化現象を表す特徴量の数値データ４ｃ、第1の処理後動画データ７ａ、第1の処理後動画データの画質の劣化現象を表す特徴量を模式的に表したインジケータ７ｂ、第２の処理後動画データ７ｃ、および第２の処理後動画データの画質の劣化現象を表す特徴量を模式的に表したインジケータ７ｄを一画面上に表示する。また、原画像に基づいて画像の圧縮条件を変えて複数の処理後画像を作成し、作成した各処理後画像データの評価結果を同一画面上に表示するようにしてもよい。これによって、使用者は、複数の処理後画像データに対する評価結果を、一画面上で比較することができる。
【００５７】
（５）上述した実施の形態では、画質の評価対象を動画データとし、処理前動画データの各フレームと、処理後動画データの対応するフレーム間で画質を比較して評価する例について説明した。しかしながら、本発明は、静止画同士を比較して画質の劣化状況を評価する場合にも適用可能である。すなわち、原画像と画像処理が施された処理後画像とを対象として、処理後画像が原画像と比較してどの程度画質が劣化しているかを評価することもできる。このように、静止画同士を比較する場合には、画質の劣化要因としてフリッカは考慮する必要がない。なお、カメラの連写機能を用いて複数枚の静止画を連続して撮影した場合には、各コマ間で明るさが変化する場合があるため、フリッカを考慮するようにしてもよい。
【００５８】
（６）上述した実施の形態では、画像評価装置１００としてパソコンを用いる例について説明した。しかしながら、本発明における動画評価装置１００は、動画を再生して表示することができる他の機器に適用することもできる。例えば、動画再生機能を備えたデジタルカメラや携帯電話に適用することで、これらの機器上でも画質の評価を行うことができるようになる。
【００５９】
また、図５に示した画質評価部１０３ａおよび評価結果出力部１０３ｂによる処理を既述したプログラム（画質評価プログラム）を、使用者が画像を編集するための画像編集装置や、パソコン上で実行される画像編集アプリケーションに組み込むようにしてもよい。これによって、使用者は、画質評価プログラムを実行して得られる図４に示す画面を見て画質の劣化状況を把握した上で、その劣化を軽減するように画像の編集を行なうことができ、画像編集作業の効率を向上することができる。
【００６０】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【図面の簡単な説明】
【００６１】
【図１】画像評価装置の一実施の形態の構成を示すブロック図である。
【図２】水平方向Ｓｏｂｅｌフィルタおよび垂直方向Ｓｏｂｅｌフィルタの具体例を示す図である。
【図３】水平垂直領域ＨＶ（ｉ，ｊ）および非水平垂直領域ＨＶ＊（ｉ，ｊ）の具体例を示す図である。
【図４】画質の評価結果を表示する画面の具体例を示す第１の図である。
【図５】画像評価装置１００の処理を示すフローチャート図である。
【図６】画質の評価結果を表示する画面の具体例を示す第２の図である。
【図７】画質の評価結果を表示する画面の具体例を示す第３の図である。
【符号の説明】
【００６２】
１００ 画像評価装置、１０１ 操作部材、１０２ 接続ＩＦ、１０３ 制御装置、１０３ａ 画質評価部、１０３ｂ 評価結果出力部、１０４ ＨＤＤ、１０５ モニタ
【技術分野】
【０００１】
本発明は、画像の画質を評価するための画像評価装置、および画像評価プログラムに関する。
【背景技術】
【０００２】
次のようなデータ解析装置が知られている。このデータ解析装置は、画質の評価対象となる画像と、画質を評価するためのパラメータと、評価結果を示す図表またはグラフと、種々の制御ボタンとを同時に表示する（例えば、特許文献１）。
【０００３】
【特許文献１】特開２００５−１０７７６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のデータ解析装置を用いて、原画像を画像処理して得た処理後画像の画質を評価しようとした場合には、処理後画像の画質が原画像からどの程度劣化しているかを評価することはできなかった。
【課題を解決するための手段】
【０００５】
本発明は、原画像を画像処理して得た処理後画像の画質を評価するために、原画像と処理後画像とを、画質の劣化現象を表す複数の特徴量を用いて比較して、画像処理に起因する処理後画像における画質の劣化を、画質の劣化現象を表す特徴量ごとに評価し、原画像、処理後画像、および評価結果を表示することを特徴とする。
本発明では、原画像と、画質の劣化現象が異なる複数の処理後画像のそれぞれとを、画質の劣化現象を表す特徴量を用いて比較して評価を行い、原画像、複数の処理後画像、および各処理後画像ごとの評価結果を表示するようにしてもよい。
また、処理後画像に代えて、画質の劣化現象を表す特徴量を可視化した画像を表示するようにしてもよく、評価結果を、数値、または数値を模式化した図形により表示するようにしてもよい。
画質の劣化現象を表す特徴量は、ぼやけの度合いを表す特徴量、ブロック歪みの大きさを表す特徴量、ランダムノイズの大きさを表す特徴量、および各コマ間の明るさの変化度合いを表す特徴量の少なくともいずれかであることが好ましい。
【発明の効果】
【０００６】
本発明によれば、処理後画像の画質が原画像からどの程度劣化しているかを評価することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態における画像評価装置の一実施の形態の構成を示すブロック図である。画像評価装置１００は、例えばパソコン（パーソナルコンピュータ）であって、操作部材１０１と、接続ＩＦ（インターフェース）１０２と、制御装置１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、モニタ１０５とを備えている。
【０００８】
操作部材１０１は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続ＩＦ１０２は、デジタルカメラなどの外部装置を接続するためのインターフェースであって、例えばデジタルカメラと有線接続を行うためのＵＳＢインターフェースや、無線接続を行うための無線ＬＡＮモジュールなどが使用される。本実施の形態では、例えば、この接続ＩＦ１０２を介してデジタルカメラから画像データ（静止画データまたは動画データ）が取り込まれる。
【０００９】
ＨＤＤ１０４は、接続ＩＦ１０２を介して取り込まれた画像データや、制御装置１０３で実行される種々のプログラム等を記録するための記録装置である。本実施の形態では、ＨＤＤ１０４には画像データとして、複数フレームの画像で構成される動画データが記録されているものとする。例えば、動画撮影機能付きのデジタルカメラやデジタルビデオカメラで撮影され、所定のファイル形式、例えばＭＰＥＧ形式に圧縮された動画データ（処理後動画データ）、および圧縮を行う前の元動画データ（処理前動画データ）が、それぞれ記録されているものとする。
【００１０】
モニタ１０５は、例えば液晶モニタであって、制御装置１０３から出力される表示用データを表示する。
【００１１】
制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、画質評価部１０３ａと、評価結果出力部１０３ｂとを機能的に備えている。画質評価部１０３ａは、ＨＤＤ１０４に記録されている処理後画像データが、処理前画像データと比較してどの程度画質が劣化しているかを評価する。すなわち、動画データは、データサイズを小さくするために圧縮を行うことによって、一般的に画質が劣化する。画質劣化の要因としては、例えば、ぼやけ、ブロック歪み、ランダムノイズ、およびフリッカなどが考えられる。
【００１２】
なお、画質評価部１０３ａは、ぼやけ、ブロック歪み、ランダムノイズの各要因については、処理前動画データと処理後動画データの対応するフレーム間でどの程度の差があるかを数値化して判定することによって、処理後動画データにおける画質の劣化を評価する。また、フリッカについては、処理前動画データのちらつき、すなわち各コマ間の明るさの変化と、処理後動画データのちらつきとに、どの程度の差があるかを数値化して判定することによって、処理後動画データの画質の劣化を評価する。以下、画質劣化の各要因ごとに、画質評価部１０３ａによる画質評価処理の具体例について説明する。
【００１３】
（Ａ）ぼやけによる画質の劣化の評価
画質評価部１０３ａは、ぼやけの度合いを表す特徴量である空間情報特徴エラー率ＥＲ＿ＳＩを次式（１）により算出することによって、処理後動画データがぼやけによってどの程度劣化しているかを評価する。
【数１】
なお、式（１）において、ＳＩＯ（ｔ）は、処理前動画データを構成する任意の時間ｔにおける１フレーム画像から抽出した空間情報特徴であり、ＳＩＰ（ｔ）は、処理後動画データを構成する任意の時間ｔにおける１フレーム画像から抽出した空間情報特徴である。
【００１４】
ここで、画像における空間情報特徴ＳＩの算出方法について説明する。空間情報特徴ＳＩは、次のようにして算出することができる。まず、画像に対して図２（ａ）に示す水平方向Ｓｏｂｅｌフィルタをかけて、水平方向の成分を検出した画像Ｖ（ｉ，ｊ）を得る。また、画像に対して図２（ｂ）に示す垂直方向Ｓｏｂｅｌフィルタをかけて、垂直方向の成分を検出した画像Ｈ（ｉ，ｊ）を得る。そして、次式（２）により、この画像Ｖ（ｉ，ｊ）とＨ（ｉ，ｊ）とに基づいて、水平方向および垂直方向の微分画像を合成したエッジ画像Ｒ（ｉ，ｊ）を算出する。
【数２】
【００１５】
そして、このエッジ画像Ｒ（ｉ，ｊ）を用いて、次式（３）により空間情報特徴ＳＩを算出することができる。ここでは、画像サイズがＭ×Ｎ（ｐｉｘｅｌ）であるものとして次式（３）を定義する。
【数３】
なお、この空間情報特徴ＳＩは、エッジ画像Ｒ（ｉ，ｊ）の標準偏差であり、画像のエッジ度を表すエッジ特徴量とみなすことができる。
【００１６】
処理後動画データにぼやけによる画質の劣化が発生している場合には、処理前動画データに比べてエッジ度が低下することになるため、式（１）で算出した空間情報特徴エラー率ＥＲ＿ＳＩは負の値をとる。よって、画質評価部１０３ａは、空間情報特徴エラー率ＥＲ＿ＳＩが負の値であるときに、ぼやけによる画質の劣化があると判定する。そして、空間情報特徴エラー率ＥＲ＿ＳＩの絶対値をとって、これをぼやけによる画質の劣化度合いを表す値とする。
【００１７】
（Ｂ）ブロック歪みによる画質の劣化の評価
画質評価部１０３ａは、ブロック歪みを表すパラメータである水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶを次式（４）により算出することによって、処理後動画データが、ブロック歪みによってどの程度劣化しているかを評価する。
【数４】
なお、式（４）において、ａＯ（ｔ）は、処理前動画データを構成する任意の時間ｔにおける１フレーム画像から抽出した水平垂直・非水平垂直特徴であり、ａＰ（ｔ）は、処理後動画データを構成する任意の時間ｔにおける１フレーム画像から抽出した水平垂直・非水平垂直特徴である。
【００１８】
ここで、画像における水平垂直・非水平垂直特徴ａの算出方法について説明する。まず、上述した画像Ｖ（ｉ，ｊ）とＨ（ｉ，ｊ）とに基づいて、次式（５）によりエッジ角特徴θ（ｉ，ｊ）を算出する。
【数５】
【００１９】
そして、式（２）で算出したエッジ画像Ｒ（ｉ，ｊ）と、式（５）で算出したエッジ角特徴θ（ｉ，ｊ）とを用いて、水平垂直領域ＨＶ（ｉ，ｊ）と、非水平垂直領域ＨＶ＊（ｉ，ｊ）を次式（６）および（７）により定義する。
【数６】
【数７】
なお、式（６）で算出される水平垂直領域ＨＶ（ｉ，ｊ）は、図３（ａ）に示す領域３ａとなり、式（７）で算出される非水平垂直領域ＨＶ＊（ｉ，ｊ）は、図３（ｂ）に示す領域３ｂとなる。
【００２０】
水平垂直・非水平垂直特徴ａは、算出した水平垂直領域ＨＶ（ｉ，ｊ）と非水平垂直領域ＨＶ＊（ｉ，ｊ）との比で表され、次式（８）により算出される。なお、次式（８）も画像サイズがＭ×Ｎ（ｐｉｘｅｌ）であるものとして定義する。
【数８】
【００２１】
水平垂直方向の成分を含まない画像においては、水平垂直・非水平垂直特徴ａは、０に近い値が算出される。処理後動画データにブロック歪みによる画質の劣化が発生している場合には、処理前動画データに比べて垂直水平成分が多くなるため、式（４）で算出した水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶは正の値をとる。よって、画質評価部１０３ａは、水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶが正の値であるときに、ブロック歪みによる画質の劣化があると判定する。そして、水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶの値をブロック歪みによる画質の劣化度合いを表す値とする。
【００２２】
（Ｃ）ランダムノイズによる画質の劣化の評価
画質評価部１０３ａは、処理前動画データにおけるランダムノイズの量に対する処理後動画データにおけるランダムノイズの量Ｄを、処理前動画データのエッジ特徴量ＲＯ（ｉ，ｊ）、および処理後動画データのエッジ特徴量ＲＰ（ｉ，ｊ）に基づいて次式（９）および（１０）により算出することによって、処理後動画データが、ランダムノイズによってどの程度劣化しているかを評価する。なお、次式（１０）は、画像サイズがＭ×Ｎ（ｐｉｘｅｌ）であるものとして定義する。
【数９】
【数１０】
【００２３】
画質評価部１０３ａは、ランダムノイズの量Ｄが正の値をとるときに、ランダムノイズによる画質の劣化があると判定する。そして、ランダムノイズの量Ｄの値をランダムノイズによる画質の劣化度合いを表す値とする。
【００２４】
（Ｄ）フリッカによる画質の劣化の評価
画質評価部１０３ａは、フレーム単位にフリッカによる画質の劣化を評価するために、次式（１１）および（１２）によって、フレームごとのフリッカ用のエラー率ER_Fを算出する。
【数１１】
【数１２】
【００２５】
なお、式（１１）で算出されるＤｉｓｔ（ｔ）は、任意の時間ｔにおける１フレーム画像（ｔフレーム目）と任意の時間ｔ＋１における１フレーム画像（ｔ＋１フレーム目）との間の画像の明るさの変化量（距離）を表している。また、式（１２）におけるＤｉｓｔｏ（ｔ）は処理前動画データを構成する任意の時間ｔおよびｔ＋１における各フレーム画像に基づいて算出したＤｉｓｔ（ｔ）を表しており、ＤｉｓｔＰ（ｔ）は処理後動画データを構成する任意の時間ｔおよびｔ＋１における各フレーム画像に基づいて算出したＤｉｓｔ（ｔ）を表している。
【００２６】
画質評価部１０３ａは、フレーム毎のフリッカ用のエラー率ＥＲ＿Ｆが正の値をとるときに、フリッカによる画質の劣化があると判定する。そして、フレーム毎のフリッカ用のエラー率ＥＲ＿Ｆの値をフリッカによる画質の劣化度合いを表す値とする。
【００２７】
以上説明した処理によって、画質評価部１０３ａは、画質の劣化現象を表す特徴量を用いて処理前動画データと処理後動画データとを比較することによって、画像処理に起因する処理後動画データにおける画質の劣化を、画質の劣化現象を表す特徴量ごとに評価することができる。なお、ここで、画質の劣化現象を表す特徴量は、上述した画像のぼやけの度合いを表す特徴量である空間情報特徴エラー率ＥＲ＿ＳＩ、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶ、ランダムノイズの大きさを表す特徴量であるランダムノイズの量Ｄ、および各コマ間の明るさの変化度合いを表す特徴量であるフレーム毎のフリッカ用のエラー率ＥＲ＿Ｆをいう。
【００２８】
評価結果出力部１０３ｂは、画質評価部１０３ａによる画質の評価結果をモニタ１０５に出力して表示する。本実施の形態では、評価結果出力部１０３ｂは、使用者が、画質の劣化状況を上述した各要因ごとに把握できるように、それぞれの画質の劣化現象を表す特徴量を数値、または数値を模式化した図形により表示する。例えば、図４に示すように、処理前動画データ４ａ、処理後画像データ４ｂ、画質の劣化現象を表す特徴量の数値データ４ｃ、および画質の劣化現象を表す特徴量を模式的に表したインジケータ４ｃを一画面内に表示する。なお、評価結果出力部１０３ｂは、処理前動画データ４ａおよび処理後画像データ４ｂとともに、数値データ４ｃとインジケータ４ｃのいずれか一方のみを表示するようにしてもよい。
【００２９】
なお、インジケータ４ｃは、上述した処理で算出した４つの画質の劣化現象を表す特徴量のそれぞれごとに表示されている。すなわち、画像のぼやけの度合いを表す特徴量である空間情報特徴エラー率ＥＲ＿ＳＩに基づいて特定される画像劣化の度合いを表したインジケータ４ｃ−１、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶに基づいて特定される画像劣化の度合いを表したインジケータ４ｃ−２、ランダムノイズの大きさを表す特徴量であるランダムノイズの量Ｄに基づいて特定される画像劣化の度合いを表したインジケータ４ｃ−３、および各コマ間の明るさの変化度合いを表す特徴量であるフレーム毎のフリッカ用のエラー率ＥＲ＿Ｆに基づいて特定される画像劣化の度合いを表したインジケータ４ｃ−４が表示されている。
【００３０】
これによって、使用者は画面上で、処理前動画データ４ａと処理後動画データ４ｂとを見比べることができ、さらに、処理後動画データの画質の劣化状況を数値データ４ｃおよびインジケータ４ｄにより視覚的に把握することができる。
【００３１】
なお、上述したように、画質評価部１０３ａによる画質の評価は、処理後動画データの各フレームに対して行われる。このため、図4に示す画面上では、使用者によって動画の再生が指示されると、処理前動画データ４ａおよび処理後動画データ４ｂは同時に再生される。すなわち、画面上には、処理前動画データ４ａと処理後動画データ４ｂの対応するフレームが同時に表示され、所定のフレームレートでそれぞれのフレームが切り替えられる。
【００３２】
そして、画質評価部１０３ａは、再生中の各フレームごとに、上述した画質の評価処理を行い、その評価結果を逐次画面上に表示していく。すなわち、数値データ４ｃおよびインジケータ４ｄを逐次更新していく。これによって、図4に示す画面上では、処理前動画データ４ａおよび処理後動画データ４ｂの表示中のフレームに対する画質の評価結果が、数値データ４ｃおよびインジケータ４ｄに表示され、表示するコマの切り替わりとともに、数値データ４ｃおよびインジケータ４ｄの表示内容も更新されていくことになる。
【００３３】
図５は、本実施の形態における画像評価装置１００の処理を示すフローチャートである。図５に示す処理は、使用者によって処理後動画データの再生が指示されることにより、処理後動画データの再生が開始されると起動するプログラムとして制御装置１０３によって実行される。
【００３４】
ステップＳ１０において、画質評価部１０３ａは、処理前動画データおよび処理後動画データの１フレーム目を読み込んで、ステップＳ２０へ進む。ステップＳ２０では、画質評価部１０３ａは、読み込んだ処理前動画データのフレームと、処理後動画データのフレームとを比較することによって、上述した画質の劣化現象を表す特徴量を算出する。すなわち、画像のぼやけの度合いを表す特徴量である空間情報特徴エラー率ＥＲ＿ＳＩ、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶ、ランダムノイズの大きさを表す特徴量であるランダムノイズの量Ｄ、および各コマ間の明るさの変化度合いを表す特徴量であるフレーム毎のフリッカ用のエラー率ＥＲ＿Ｆをそれぞれ算出する。その後、ステップＳ３０へ進む。
【００３５】
ステップＳ３０では、評価結果出力部１０３ｂは、図４で上述したように、処理前動画データ４ａ、処理後画像データ４ｂ、画質の劣化現象を表す特徴量の数値データ４ｃ、および画質の劣化現象を表す特徴量を模式的に表したインジケータ４ｃを一画面内に表示する。その後、ステップＳ４０へ進み、画質評価部１０３ａは、画質評価を行ったフレームが、動画データの最終フレームであるか否かを判断する。否定判断した場合には、ステップＳ５０へ進んで、処理前動画データおよび処理後動画データの次フレームを読み込んで、ステップＳ２０へ戻る。これに対して、肯定判断した場合には、処理を終了する。
【００３６】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）画質評価部１０３ａは、処理前動画データと処理後動画データとを、画質の劣化現象を表す特徴量を用いて比較して、画像処理に起因する処理後動画データにおける画質の劣化を、画質の劣化現象を表す複数の特徴量ごとに評価した。そして、評価結果出力部１０３ｂは、処理前動画データ、処理後動画データ、および評価結果をモニタ１０５に表示するようにした。これによって、使用者は、処理後動画データの画質が処理前動画データの画質と比較してどの程度劣化しているかを把握することができる。
【００３７】
（２）評価結果出力部１０３ｂは、画質の評価結果を、数値、または数値を模式化した図形、すなわちインジケータにより表示するようにした。これによって、使用者は、画質の評価結果を視覚的に把握することができる。
【００３８】
（３）画質の劣化現象を表す特徴量は、ぼやけの度合いを表す特徴量、ブロック歪みの大きさを表す特徴量、ランダムノイズの大きさを表す特徴量、および各コマ間の明るさの変化度合いを表す特徴量とした。これによって、主な画質の劣化要因を対象として画質の評価を行うことができ、使用者は、処理後動画データの画質の劣化状況を的確に把握することができる。
【００３９】
―変形例―
なお、上述した実施の形態の画像評価装置は、以下のように変形することもできる。
（１）上述した実施の形態では、評価結果出力部１０３ｂは、図４に示したように、画質の劣化現象を表す特徴量をインジケータ４ｃで表示するようにし、表示中のフレームが切り替わるごとに、インジケータ４ｃの表示内容も表示中のフレームの特徴量を示すように更新する例について説明した。しかしながら、評価結果出力部１０３ｂは、各フレームごとにインジケータ４ｃを表示して画質の劣化現象を表す特徴量を模式的に表すだけでなく、動画全体の特徴量の変化状況を折れ線グラフ等により表すようにしてもよい。
【００４０】
（２）上述した実施の形態では、評価結果出力部１０３ｂは、図４に示したように、処理前動画データ４ａ、処理後画像データ４ｂ、画質の劣化現象を表す特徴量の数値データ４ｃ、および画質の劣化現象を表す特徴量を模式的に表したインジケータ４ｃを一画面内に表示する例について説明した。しかしながら、評価結果出力部１０３ｂは、処理後画像データ４ｂに代えて、画質の劣化現象を表す特徴量を可視化した画像を生成して表示するようにしてもよい。図６は、処理後画像データ４ｂに代えて、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶを可視化した画像６ａを表示した場合を示している。これによって、使用者は、処理後動画データ内で画質の劣化が発生している箇所を特定することができる。
【００４１】
（３）上述した実施の形態では、画質評価部１０３ａは、処理後動画データの画質の劣化状況を各特徴量ごとに評価する例について説明した。しかしながら、画質評価部１０３ａは、さらに、上述した処理で算出したそれぞれの画質の劣化現象を表す特徴量に基づいて、処理後動画データの画質を総合的に評価するようにしてもよい。
【００４２】
例えば、画質評価部１０３ａは、画像のぼやけの度合いを表す特徴量である空間情報特徴エラー率ＥＲ＿ＳＩ、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ＥＲ＿ＨＶ、ランダムノイズの大きさを表す特徴量であるランダムノイズの量Ｄ、および各コマ間の明るさの変化度合いを表す特徴量であるフレーム毎のフリッカ用のエラー率ＥＲ＿Ｆのそれぞれに対して重み付けを行った評価値Ｒを次式（１３）によって算出する。なお、次式（１３）において、ｗ１〜ｗ４は、各特徴量に付加する重み値であって、その値はあらかじめ設定されている。
Ｒ＝ｗ１・ＥＲ＿ＳＩ＋ｗ２・ＥＲ＿ＨＶ＋ｗ３・Ｄ＋ｗ４・ＥＲ＿Ｆ ・・・（１３）
【００４３】
そして、画質評価部１０３ａは、式（１３）で算出した評価値Ｒと、あらかじめ設定した閾値Ｔとを比較し、Ｒ＞Ｔならば画質評価は合格、Ｒ≦Ｔならば画質評価は不合格といったように、処理後動画データの各フレームについて画質の総合的な評価を行う。
【００４４】
あるいは、ＥＲ＿ＳＩに対する閾値をＴ１、ＥＲ＿ＨＶに対する閾値をＴ２、Ｄに対する閾値をＴ３、およびＥＲ＿Ｆに対する閾値をＴ４としてあらかじめ設定しておき、各特徴量とそれぞれに対応する閾値とを比較した結果、特徴量＞閾値、例えばＥＲ＿ＳＩ＞Ｔ１が成り立てば１を返し、成り立たない場合には０を返す関数ｆｕｎｃを定義しておく。この関数ｆｕｎｃは、例えば、ｆｕｎｃ（ＥＲ＿ＳＩ＞Ｔ１）のように表記し、ＥＲ＿ＳＩ＞Ｔ１が成り立つ場合には、ｆｕｎｃ（ＥＲ＿ＳＩ＞Ｔ１）＝１となり、成り立たない場合には、ｆｕｎｃ（ＥＲ＿ＳＩ＞Ｔ１）＝０となる。
【００４５】
画質評価部１０３ａは、この関数を用いた次式（１４）によって評価値Ｒ´を算出し、このＲ´とあらかじめ設定した閾値Ｔ´とを比較する。画質評価部１０３ａは、Ｒ´＞Ｔ´ならば画質評価は合格、Ｒ´≦Ｔ´ならば画質評価は不合格といったように、処理後動画データの各フレームについて画質の総合的な評価を行うようにしてもよい。
Ｒ´＝ｆｕｎｃ（ＥＲ＿ＳＩ＞Ｔ１）＋ｆｕｎｃ（ＥＲ＿ＨＶ＞Ｔ２）＋ｆｕｎｃ（Ｄ＞Ｔ３）＋ｆｕｎｃ（ＥＲ＿Ｆ＞Ｔ４） ・・・（１４）
【００４６】
評価結果出力部１０３ｂは、画質評価部１０３ａによるこの総合的な画質の評価結果をモニタ１０５へ出力して表示する。以上の処理により、画質評価部１０３ａは、処理後動画データの画質の劣化状況を各特徴量ごとに評価するとともに、処理後動画データの総合的な画質を評価することもできる。
【００４７】
（４）上述した実施の形態では、デジタルカメラ等で所定のファイル形式、例えばＭＰＥＧ形式に圧縮された動画データを処理後動画データとした。そして、画質評価部１０３ａは、当該処理後動画データと圧縮を行う前の元動画データである処理前動画データとを比較することによって、画質の劣化現象を表す特徴量ごとに処理後動画データを構成する各フレームの画質を評価する例について説明した。しかしながら、処理前動画データとして、使用者によって任意に画質が劣化された動画データを用いるようにしてもよい。これによって、使用者は、動画データの画質を任意に変化させ、それにより、処理前画像と比較してどの程度画質が劣化するかをシミュレーションすることができる。
【００４８】
なお、使用者は以下のようにして、処理前動画データの画質を劣化させた処理後動画データを作成することができる。ここでは、次の（ａ）〜（ｄ）に示すように、処理前動画データに対してぼかしを付加して画質を劣化させる場合、ブロック歪みを付加して画質を劣化させる場合、ランダムノイズを付加して画質を劣化させる場合、およびフリッカを付加して画質を劣化させる場合について説明する。
【００４９】
（ａ）処理前動画データに対してぼかしを付加して画質を劣化させる場合
処理前動画データを構成する各フレームをぼかす方法としては、各フレームの画像データに対して正規分布フィルタをかける方法がある。例えば、処理前動画データを構成する各フレーム（原画像）をｆ（ｘ，ｙ）とし、ぼかしを付加した画像（ぼかし画像）をＦ（ｘ，ｙ）とすると、ぼかし画像Ｆ（ｘ，ｙ）は、次式（１５）および（１６）によって表される。
【数１３】
【数１４】
使用者は、式（１５）における標準偏差σの値を任意に設定したり、式（１６）に示すフィルタｇ（ｉ，ｊ）の大きさ（３×３または５×５など）を任意に設定することによって、処理前動画データの各フレームを任意の強度でぼかすことができる。
【００５０】
（ｂ）処理前動画データに対してブロック歪みを付加して画質を劣化させる場合
ブロック歪みは、ＤＣＴのような直行変換を使って座標変換し、逆変換の際の誤差によって生じるものである。したがって、処理前動画データの各フレームに対してブロック歪みを付加するためには、実際にＤＣＴ変換を行い、誤差が入るように逆変換を行えばよい。例えば、原画像を８×８（ｐｉｘｅｌ）の小領域に分割し、その小領域をｆ（ｘ，ｙ）とし、その小領域に対応するＤＣＴ変換後のデータをＦ（ｕ，ｖ）とした場合には、ＤＣＴ変換および逆変換は、それぞれ次式（１７）および（１８）に示すようになる。
【数１５】
【数１６】
このとき、使用者は、逆変換を行う際に、式（１８）において、Ｍ（≦７）およびＮ（≦７）の値を任意に設定することによって、処理前動画データの各フレームに対して任意の強度でブロック歪みを付加することができる。
【００５１】
（ｃ）処理前動画データに対してランダムノイズを付加して画質を劣化させる場合
処理前動画データを構成する各フレームに付加するランラムノイズとしては、例えばガウスノイズが考えられる。例えば、（０，１）上の一様分布に従う乱数Ｘ＝（Ｘ１，Ｘ２）を次式（１９）および（２０）を用いて変換すると、μ＝０、σ＝１の正規分布関数になる。
【数１７】
【数１８】
【００５２】
ここでは、この乱数Ｘを用いて、処理前動画データを構成する各フレームにガウスノイズを付加する。具体的には、処理前動画データを構成する各フレーム（原画像）をｆ（ｘ，ｙ）とし、ガウスノイズを付加した後の画像をＦ（ｘ，ｙ）とした場合には、画像Ｆ（ｘ，ｙ）は、次式（２１）で表される。なお、次式（２１）において、ｒａｎｄは、一様分布に従う乱数Ｘ＝（Ｘ１，Ｘ２）を入力すると、正規分布となるＹ１およびＹ２を出力する。
【数１９】
使用者は、式（２１）において、標準偏差σの値を任意に設定することによって、処理前動画データの各フレームに対して任意の強度でランダムノイズを付加することができる。
【００５３】
（ｄ）処理前動画データに対してフリッカを付加して画質を劣化させる場合
フリッカは、フレームごとに画面全体の平均輝度が周期的に変化することによって、動画がちらついて見える現象をいうため、次式（２２）によって、各フレームの輝度値を周期的に変化させれば、処理前動画データに対してフリッカを付加することができる。
【数２０】
式（２２）において、Ｔは輝度値を変化させる周期であり、Ａはフレームの明るさを変化させるための倍率である。使用者は、この式（２２）において、ＴおよびＡの少なくともいずれか一方の値を任意に設定することによって、処理前動画データに対して、任意の周期および明るさ変化となるように、フリッカを付加することができる。
【００５４】
なお、このように、使用者が動画データの画質を任意に変化させて、画質の劣化状態をシミュレーションする場合には、複数のパターンで画質を劣化させ、各パターンについて処理前動画データとの比較を行うことが考えられる。このため、処理前動画データに対して、異なる画像劣化の要因が付加され、複数の処理後動画データが作成された場合には、画質評価部１０３ａは、それぞれの処理後動画データを対象として、上述した画質の評価を行う。そして、評価結果出力部１０３ｂは、複数の処理後動画データについての評価結果を同一画面上に表示するようにしてもよい。
【００５５】
例えば、使用者によって、処理前動画データに対して、（ａ）で上述した方法でぼかしが付加された第1の処理後動画データと、（ｂ）で上述した方法でブロック歪みが付加され、さらに（ｃ）で上述した方法でランダムノイズが付加された第２の処理後動画データとが作成されたとする。この場合には、画質評価部１０３ａは、第1の処理後動画データおよび第２の処理後動画データのそれぞれを対象として、画質の評価を行う。
【００５６】
そして、評価結果出力部１０３ｂは、例えば図７に示すように、処理前動画データ４ａ、画質の劣化現象を表す特徴量の数値データ４ｃ、第1の処理後動画データ７ａ、第1の処理後動画データの画質の劣化現象を表す特徴量を模式的に表したインジケータ７ｂ、第２の処理後動画データ７ｃ、および第２の処理後動画データの画質の劣化現象を表す特徴量を模式的に表したインジケータ７ｄを一画面上に表示する。また、原画像に基づいて画像の圧縮条件を変えて複数の処理後画像を作成し、作成した各処理後画像データの評価結果を同一画面上に表示するようにしてもよい。これによって、使用者は、複数の処理後画像データに対する評価結果を、一画面上で比較することができる。
【００５７】
（５）上述した実施の形態では、画質の評価対象を動画データとし、処理前動画データの各フレームと、処理後動画データの対応するフレーム間で画質を比較して評価する例について説明した。しかしながら、本発明は、静止画同士を比較して画質の劣化状況を評価する場合にも適用可能である。すなわち、原画像と画像処理が施された処理後画像とを対象として、処理後画像が原画像と比較してどの程度画質が劣化しているかを評価することもできる。このように、静止画同士を比較する場合には、画質の劣化要因としてフリッカは考慮する必要がない。なお、カメラの連写機能を用いて複数枚の静止画を連続して撮影した場合には、各コマ間で明るさが変化する場合があるため、フリッカを考慮するようにしてもよい。
【００５８】
（６）上述した実施の形態では、画像評価装置１００としてパソコンを用いる例について説明した。しかしながら、本発明における動画評価装置１００は、動画を再生して表示することができる他の機器に適用することもできる。例えば、動画再生機能を備えたデジタルカメラや携帯電話に適用することで、これらの機器上でも画質の評価を行うことができるようになる。
【００５９】
また、図５に示した画質評価部１０３ａおよび評価結果出力部１０３ｂによる処理を既述したプログラム（画質評価プログラム）を、使用者が画像を編集するための画像編集装置や、パソコン上で実行される画像編集アプリケーションに組み込むようにしてもよい。これによって、使用者は、画質評価プログラムを実行して得られる図４に示す画面を見て画質の劣化状況を把握した上で、その劣化を軽減するように画像の編集を行なうことができ、画像編集作業の効率を向上することができる。
【００６０】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【図面の簡単な説明】
【００６１】
【図１】画像評価装置の一実施の形態の構成を示すブロック図である。
【図２】水平方向Ｓｏｂｅｌフィルタおよび垂直方向Ｓｏｂｅｌフィルタの具体例を示す図である。
【図３】水平垂直領域ＨＶ（ｉ，ｊ）および非水平垂直領域ＨＶ＊（ｉ，ｊ）の具体例を示す図である。
【図４】画質の評価結果を表示する画面の具体例を示す第１の図である。
【図５】画像評価装置１００の処理を示すフローチャート図である。
【図６】画質の評価結果を表示する画面の具体例を示す第２の図である。
【図７】画質の評価結果を表示する画面の具体例を示す第３の図である。
【符号の説明】
【００６２】
１００ 画像評価装置、１０１ 操作部材、１０２ 接続ＩＦ、１０３ 制御装置、１０３ａ 画質評価部、１０３ｂ 評価結果出力部、１０４ ＨＤＤ、１０５ モニタ
【特許請求の範囲】
【請求項１】
原画像を画像処理して得た処理後画像の画質を評価するための画像評価装置であって、
前記原画像と前記処理後画像とを、画質の劣化現象を表す複数の特徴量を用いて比較して、前記画像処理に起因して生じた前記処理後画像における画質の劣化を、前記画質の劣化現象を表す特徴量ごとに評価する評価手段と、
前記原画像、前記処理後画像、および前記評価手段による評価結果を表示する表示制御手段とを備えることを特徴とする画像評価装置。
【請求項２】
請求項１に記載の画像評価装置において、
前記評価手段は、前記原画像と、あらかじめ作成された前記画質の劣化現象が異なる複数の処理後画像のそれぞれとを、前記画質の劣化現象を表す特徴量を用いて比較して前記評価を行い、
前記表示制御手段は、前記原画像、前記複数の処理後画像、および各処理後画像ごとの前記評価結果を表示することを特徴とする画像評価装置。
【請求項３】
請求項１または２に記載の画像評価装置において、
前記表示制御手段は、前記処理後画像に代えて、前記画質の劣化現象を表す特徴量を可視化した画像を表示することを特徴とする画像評価装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像評価装置において、
前記表示制御手段は、前記評価結果を、数値、または前記数値を模式化した図形により表示することを特徴とする画像評価装置。
【請求項５】
請求項１〜４のいずれか一項に記載の画像評価装置において、
前記画質の劣化現象を表す特徴量は、ぼやけの度合いを表す特徴量、ブロック歪みの大きさを表す特徴量、ランダムノイズの大きさを表す特徴量、および各コマ間の明るさの変化度合いを表す特徴量の少なくともいずれかであることを特徴とする画像評価装置。
【請求項６】
原画像を画像処理して得た処理後画像の画質を評価するための画像評価プログラムであって、
コンピュータに、
前記原画像と前記処理後画像とを、画質の劣化現象を表す複数の特徴量を用いて比較して、前記画像処理に起因する前記処理後画像における画質の劣化を、前記画質の劣化現象を表す特徴量ごとに評価する評価手順と、
前記原画像、前記処理後画像、および前記評価手順での評価結果を表示する表示制御手順とを実行させるための画像評価プログラム。
【請求項１】
原画像を画像処理して得た処理後画像の画質を評価するための画像評価装置であって、
前記原画像と前記処理後画像とを、画質の劣化現象を表す複数の特徴量を用いて比較して、前記画像処理に起因して生じた前記処理後画像における画質の劣化を、前記画質の劣化現象を表す特徴量ごとに評価する評価手段と、
前記原画像、前記処理後画像、および前記評価手段による評価結果を表示する表示制御手段とを備えることを特徴とする画像評価装置。
【請求項２】
請求項１に記載の画像評価装置において、
前記評価手段は、前記原画像と、あらかじめ作成された前記画質の劣化現象が異なる複数の処理後画像のそれぞれとを、前記画質の劣化現象を表す特徴量を用いて比較して前記評価を行い、
前記表示制御手段は、前記原画像、前記複数の処理後画像、および各処理後画像ごとの前記評価結果を表示することを特徴とする画像評価装置。
【請求項３】
請求項１または２に記載の画像評価装置において、
前記表示制御手段は、前記処理後画像に代えて、前記画質の劣化現象を表す特徴量を可視化した画像を表示することを特徴とする画像評価装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像評価装置において、
前記表示制御手段は、前記評価結果を、数値、または前記数値を模式化した図形により表示することを特徴とする画像評価装置。
【請求項５】
請求項１〜４のいずれか一項に記載の画像評価装置において、
前記画質の劣化現象を表す特徴量は、ぼやけの度合いを表す特徴量、ブロック歪みの大きさを表す特徴量、ランダムノイズの大きさを表す特徴量、および各コマ間の明るさの変化度合いを表す特徴量の少なくともいずれかであることを特徴とする画像評価装置。
【請求項６】
原画像を画像処理して得た処理後画像の画質を評価するための画像評価プログラムであって、
コンピュータに、
前記原画像と前記処理後画像とを、画質の劣化現象を表す複数の特徴量を用いて比較して、前記画像処理に起因する前記処理後画像における画質の劣化を、前記画質の劣化現象を表す特徴量ごとに評価する評価手順と、
前記原画像、前記処理後画像、および前記評価手順での評価結果を表示する表示制御手順とを実行させるための画像評価プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−２８７３２９（Ｐ２００８−２８７３２９Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００７−１２９１８８（Ｐ２００７−１２９１８８）
【出願日】平成１９年５月１５日（２００７．５．１５）
【出願人】（５９２２１７０９３）株式会社ニコンシステム (102)
【Ｆターム（参考）】
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１９年５月１５日（２００７．５．１５）
【出願人】（５９２２１７０９３）株式会社ニコンシステム (102)
【Ｆターム（参考）】
[ Back to top ]