情報処理装置、情報処理方法、及びプログラム
【課題】動画の質を評価する際に、フレーム画像間における画像の変化が考慮された、より高い精度の評価値を求める。
【解決手段】チャート画像を各フレーム画像に含む入力動画のデータを入力する。入力動画の各フレーム画像におけるチャート画像の位置を示す位置情報を取得する。入力動画の各フレーム画像から、チャート画像が映っている部分画像を位置情報に従って切り出し、切り出された部分画像をフレーム画像として有する変換動画を生成する。変換動画を少なくとも時間方向に周波数変換する。周波数成分値に従って評価値を算出する。
【解決手段】チャート画像を各フレーム画像に含む入力動画のデータを入力する。入力動画の各フレーム画像におけるチャート画像の位置を示す位置情報を取得する。入力動画の各フレーム画像から、チャート画像が映っている部分画像を位置情報に従って切り出し、切り出された部分画像をフレーム画像として有する変換動画を生成する。変換動画を少なくとも時間方向に周波数変換する。周波数成分値に従って評価値を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の質を評価する技術に関し、特に複数のフレーム画像により構成される映像の動きの滑らかさを評価する技術に関する。
【背景技術】
【０００２】
従来より、動画における動きの滑らかさを評価する様々な方法が公開されている。例えば、動きの不連続性（ジャダー、ジャーキネス）や、ボケなどにより、動きの滑らかさは劣化する。動きの滑らかさ劣化の一因として、映像ソースのフレームレート変換がある。特許文献１は、このようなフレームレート変換による動きの滑らかさ劣化を定量的に評価するための技術を提案している。具体的には特許文献１によれば、被写体の移動速度に応じた視覚の空間帯域幅に従って、画像内の空間周波数のパワーの総和をフレームごとに計算することにより、評価値が算出される。
【０００３】
また、デバイスの表示特性も動きの滑らかさに大きく影響する。特許文献２は、このようなデバイスの表示特性による動きの滑らかさ劣化を定量的に評価するための技術を提案している。特許文献２においては、画面上を移動するチャートを、カメラが追従しながら撮影する。そして、取得された静止画のボケ量からディスプレイの時間応答特性を求めることにより、評価値が算出される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０７２６６５号公報
【特許文献２】特開２００５−３３３５６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の方法は、フレームごとに画像内の空間周波数のパワーの総和が求められる。したがって特許文献１に記載の方法では、フレーム間で被写体の動きベクトルが大幅に変わる場合、評価精度が低下する可能性があった。また特許文献２に記載の方法によれば、チャートの動きは一枚の静止画に集約されるため、チャートの動きの時間的な変化が評価値に反映されない。動画の質を評価するために、より主観との相関が高い、高い精度の評価値を求めることが求められている。
【０００６】
本発明は、動画の質を評価する際に、フレーム画像間における画像の変化が考慮された、より高い精度の評価値を求めることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。すなわち、
動画像の品質を示す評価値を算出する情報処理装置であって、
チャート画像を各フレーム画像に含む入力動画のデータを入力する第１の入力手段と、
前記入力動画の各フレーム画像における前記チャート画像の位置を示す位置情報を取得する第２の入力手段と、
前記入力動画の各フレーム画像から、前記チャート画像が映っている部分画像を前記位置情報に従って切り出し、該切り出された部分画像をフレーム画像として有する変換動画を生成する切り出し手段と、
前記変換動画を少なくとも時間方向に周波数変換する変換手段と、
前記変換手段が得た周波数成分値に従って前記評価値を算出する算出手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
動画の質を評価する際に、フレーム画像間における画像の変化が考慮された、より高い精度の評価値を求めることができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１に係る映像評価システムの構成の一例を示すブロック図。
【図２】実施例１に係る映像評価装置の構成の一例を示すブロック図。
【図３】実施例１で情報設定部が用いるウィンドウを示す模式図。
【図４】実施例１におけるチャート映像Vorgの模式図。
【図５】実施例１におけるチャート映像作成部の動作を表すフローチャート。
【図６】視線情報の算出結果の例を示す図。
【図７】実施例１における座標変換部の動作を表すフローチャート。
【図８】撮影映像Vの模式図。
【図９】座標変換結果V'の模式図。
【図１０】実施例１における視覚特性反映部の動作を表すフローチャート。
【図１１】視覚特性の模式図。
【図１２】実施例１における時間妨害成分と空間妨害成分を表す模式図。
【図１３】実施例１における評価値算出部の動作を表すフローチャート。
【図１４】撮影映像Vに対応する動画質劣化のない映像の模式図。
【図１５】実施例２で情報設定部が用いるウィンドウを示す模式図。
【図１６】実施例２で情報設定部が用いるウィンドウを示す模式図。
【図１７】実施例３に係る映像評価装置の構成の一例を示すブロック図。
【図１８】実施例４で情報設定部が用いるウィンドウを示す模式図。
【図１９】実施例５に係る映像評価システムの構成の一例を示すブロック図。
【図２０】実施例５に係る映像評価装置の構成の一例を示すブロック図。
【図２１】実施例５で情報設定部が用いるウィンドウを示す模式図。
【図２２】実施例５における差分計算部の動作を表すフローチャート。
【図２３】実施例５における評価値算出部の動作を表すフローチャート。
【図２４】実施例６における座標変換部の動作を表すフローチャート。
【図２５】実施例６における座標変換部の動作を表すフローチャート。
【図２６】水平−時間画像生成処理を説明する模式図。
【図２７】実施例６における座標変換部の動作を表すフローチャート。
【図２８】水平−時間画像から視野相当部分を切り出す処理を説明する模式図。
【図２９】水平−時間画像から切り出された座標変換画像の模式図。
【図３０】視線移動速度に応じた空間視覚特性の変更を説明する模式図。
【図３１】実施例１及び実施例５に係る処理のフローチャート。
【図３２】実施例８における撮影モードを説明する図。
【図３３】実施例８に係る撮像パラメータ最適化システムの一例を示す模式図。
【図３４】実施例８に係るパラメータ最適化装置の構成の一例を示すブロック図。
【図３５】実施例８に係る映像評価装置の構成の一例を示すブロック図。
【図３６】実施例８における処理のフローチャート。
【図３７】実施例８においてユーザ入力を取得するために用いるＧＵＩ。
【図３８】実施例８で用いられるチャート画像の例。
【図３９】実施例８で用いられるパラメータ最適化範囲ファイルの例。
【図４０】実施例９に係るパラメータ最適化装置の構成の一例を示すブロック図。
【図４１】実施例９においてユーザ入力を取得するために用いるＧＵＩ。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例を図面に基づいて説明する。ただし、本発明の範囲は以下の実施例に限定されるものではない。
【実施例１】
【００１１】
実施例１に係る情報処理装置である映像評価装置101は、ディスプレイ102における動画表示の品質を示す評価値を算出する。より具体的には映像評価装置101は、ディスプレイに表示された動画の動きの滑らかさを示す評価値を算出する。本実施例によれば、ディスプレイの表示特性の動きの滑らかさへの影響を評価できる。実施例１によれば、フレーム間のつながりを考慮することで、高い精度で動画の質を評価することができる。具体的には、映像の各フレームから、観察者の視野内の画像を抽出する。そして、抽出された映像に対して少なくとも時間方向の周波数成分を算出することにより、動きの滑らかさの評価値を算出する。
【００１２】
図１を参照して、本実施例に係る映像評価装置101が行う処理について説明する。映像評価装置101はまず、チャート映像Vorgをディスプレイ102へと出力する。撮像装置103は、ディスプレイ102に表示されたチャート映像Vorgを撮影する。そして映像評価装置101は、撮像装置103が撮影した動画像を受け取り、この動画像について動きの滑らかさを示す評価値を算出する。本実施例において映像評価装置101は、チャート映像Vorgの出力と、評価値の算出との双方を行うものとする。しかしながら、チャート映像Vorgの出力と、評価値の算出とは、別々の装置によって行われてもよい。
【００１３】
ディスプレイ102は、上述のように映像評価装置101からチャート映像Vorgを受け取り、チャート映像Vorgをパネル上に表示する。撮像装置103は、垂直同期信号や制御信号を映像評価装置101から受け取ることができる。こうして撮像装置103は、ディスプレイ102の表示タイミングと同期をとって、映像を撮影することができる。撮像装置103は、撮影の結果得られる撮影映像Vを、映像評価装置101へと渡す。
【００１４】
次に、チャート映像Vorgについて説明する。上述のように、ディスプレイ102によるチャート映像Vorgの表示が、映像評価装置101によって評価される。本実施例におけるチャート映像Vorgは、所定のチャート画像が画面上を移動する動画像である。具体的には、所定のチャート画像が水平方向に移動する動画像が、本実施例におけるチャート映像Vorgとして用いられる。
【００１５】
＜映像評価装置101の構成＞
図２を参照して、映像評価装置101の構成について説明する。ＣＰＵ201は、映像評価装置101全体の動作を制御する。具体的にはＣＰＵ201は、ユーザからの指示をキーボード202又はマウス203のような入力装置を介して取得することができる。またＣＰＵ201は、動画の再生、撮影及び評価を制御することができる。映像評価装置101は撮像装置103と接続されている。ＣＰＵ201は、撮像装置103に対するデータファイルの伝送、及び撮像装置103の制御を行うことができる。また、ディスプレイ102も同様に映像評価装置101と接続されている。ＣＰＵ201は、評価値算出部214が算出した評価値をディスプレイ204に表示することができる。このようなＣＰＵ201の動作は、例えばＨＤＤ205のような記憶媒体に記録されたコンピュータプログラムを、例えばＲＡＭ230のようなメモリに読み出し、このプログラムに従ってＣＰＵ201が動作することにより、実現されうる。
【００１６】
次に、映像評価装置101が行う動作の概略を図３１（Ａ）のフローチャートを参照して説明しながら、映像評価装置101が備える各部について簡単に説明する。ステップS3110において情報設定部206は、チャート映像Vorgに含まれるチャート画像cを取得する（第３の入力手段）。具体的には情報設定部206は、キーボード202又はマウス203を介して、チャート画像cの指定をユーザから受け取る。例えばユーザは、チャート画像cが格納されているファイルパスを指定すればよい。これを受けてＣＰＵ201がチャート画像cをＨＤＤ205から読み込む。情報設定部206は、ＣＰＵ201からチャート画像cを受け取り、チャート映像作成部207に渡す。
【００１７】
ステップS3120においてチャート映像作成部207は、チャート画像cを含むチャート映像Vorgを作成する。ステップS3130において映像出力部208は、チャート映像Vorg（表示動画）をディスプレイ102に表示する。ディスプレイ102に表示されたチャート映像Vorgは、撮像装置103によって撮影される。このとき映像取得部209は、撮像装置103の動作を制御しうる。そして映像取得部209は、撮像装置103によって撮影された撮影映像V（入力動画）を、撮像装置103から受け取る（第１の入力手段）。
【００１８】
以上にように得られた撮影映像V及びチャート画像cを用いて、映像評価装置101は動画の動きの滑らかさを示す評価値を算出する。この処理は、視線算出部210、座標変換部211、周波数解析部212、視覚特性反映部213、評価値算出部214を含む各部によって行われる。
【００１９】
ステップS3140において視線算出部210は、撮影映像Vに対する視線情報eを得る（第２の入力手段）。ここで視線情報とは、チャート映像Vorgを人間が見る際の視線中心に関する情報であり。具体的には、撮影映像Vの各フレーム画像ごとに、視線中心の座標が記述されている。
【００２０】
ステップS3150において座標変換部211は、撮影映像V及び視線情報eを読み込み、視野に相当する部分を撮影映像Vの各フレーム画像から切り出す（切り出し手段）。この切り出し処理は、座標変換処理に相当する。人間が動くオブジェクトを見る場合には、オブジェクトを網膜の中心で捉えるように、追従視を行う。この座標変換処理により、座標変換部211は、人間の網膜上に結ばれる映像を再現できる。具体的には座標変換部211は、それぞれのフレーム画像について視線情報eが示す視線中心が所定の座標に位置するように、それぞれのフレーム画像に対して座標変換を行う。こうして座標変換部211は、撮影映像Vから座標変換結果V'（変換動画）を生成する。
【００２１】
ステップS3160において周波数解析部212は、座標変換部211で得られた座標変換結果V'に対して周波数解析処理（周波数変換処理）を施す（変換手段）。具体的には周波数解析部212は、座標変換結果V'に対して３次元フーリエ変換を行うことにより、周波数解析結果Fv(u,v,f)を得る。ここで、uは水平方向の空間周波数(単位はcycles/degree)、vは垂直方向の空間周波数(単位はcycles/degree)、fは時間周波数(単位はHz)である。本実施例において周波数解析部212は、３次元フーリエ変換を用いて、空間方向及び時間方向についての、座標変換結果V'の周波数を算出する。しかしながら周波数解析部212は、例えばウェーブレット変換などの他の周波数解析手法を用いて、周波数を算出してもよい。
【００２２】
ステップS3170において視覚特性反映部213は、周波数解析部212が算出した周波数解析結果Fvに対して、視覚特性を反映させる処理を行う。具体的には視覚特性反映部213は、Fv(u,v,f)に対して時間・空間視覚特性を乗算することにより、F1(u,v,f)を算出する。このようにして、視覚特性反映部213は、周波数解析結果Fvに対して、視覚特性関数を用いて、表示を観察する観察者の視覚特性に従って重み付けを行う。この処理によって、周波数解析結果Fvのうち、人間が知覚できる周波数成分を抽出することができる。別の実施例において視覚特性反映部213は、座標変換結果V'に対して時間・空間視覚特性を乗算する代わりに、座標変換結果V'に対して視覚特性を表すフィルタ係数を用いた畳みこみ演算を行ってもよい。
【００２３】
ステップS3180において評価値算出部214は、F1(u,v,f)とチャート画像cとを用いて評価値を算出する（算出手段）。具体的には評価値算出部214は、F1(u,v,f)のパワースペクトルからチャート画像cのパワースペクトルの差をとることにより妨害成分を抽出する。そして、妨害成分の周波数成分量をもとに、動きの滑らかさを示す評価値が算出される。
【００２４】
以下では、映像評価装置101が備える各処理部について、より詳しく説明する。
【００２５】
＜情報設定部206＞
情報設定部206は、チャート映像Vorgに含まれるチャート画像cを取得する。情報設定部206は以下のようにして、チャート画像cを示すユーザ入力を取得することができる。以下に、情報設定部206がチャート画像を取得する方法の一例を示すが、チャート画像の取得方法はこれに限られるわけではない。図３は、情報設定部206がチャート画像cを示すユーザ入力を取得するために用いるＧＵＩの一例である。情報設定部206は、アプリケーションウィンドウ301をディスプレイ204上に表示させる。するとユーザは、フォーム302に、ＨＤＤ205に保存されているチャート画像ファイルのファイルパスを入力する。情報設定部206は、フォーム302に入力されたファイルパスに従って、ＨＤＤ205からチャート画像cを含むチャート画像ファイルを取得する。
【００２６】
チャート画像cの一例を図４に示す。図４に示されるように、チャート画像cにはチャート401が含まれている。しかしながらチャートc画像に含まれるチャートは何でもよく、例えば自然画像であってもよい。またユーザは、ボタン303をマウス203でクリックすることにより、評価値の算出処理の開始を指示することができる。ユーザによって処理の開始が指示されると、チャート映像Vorgの撮影及び評価処理が開始する。算出された評価値は、フォーム304に表示される。
【００２７】
＜チャート映像作成部207＞
チャート映像作成部207は、チャート画像cを含むチャート映像Vorgを作成する。以下では、チャート映像作成部207の動作について図５のフローチャートを用いて説明する。ステップS501でチャート映像作成部207は、情報設定部206からチャート画像cを取得する。ステップS502でチャート映像作成部207は、処理フレーム番号を初期化する。具体的にはチャート映像作成部207は、処理フレーム番号として０を設定すればよい。
【００２８】
ステップS503でチャート映像作成部207は、チャート画像cに対して水平方向のシフト演算処理を行う。本実施例においては、チャート画像を左方向へとシフトするものとする。そしてチャート映像作成部207は、シフトされたチャート画像cを、処理フレーム番号で示されるフレームについてのフレーム画像として保存する。チャート映像Vorgにおける、チャート画像cの水平方向の移動速度をvx[pixels/frame]とする場合、第nフレームの水平方向のシフト量shift(n)=-vx・nとなる。すなわちステップS503においてチャート映像作成部207は、チャート画像cをvxピクセルだけ水平移動させればよい。
【００２９】
ステップS504でチャート映像作成部207は、処理フレーム番号を更新する。具体的には、処理フレーム番号に１を加えればよい。ステップS505でチャート映像作成部207は、処理フレーム番号が最終フレーム番号を超えているか否かを判定する。超えていなければ、処理はステップS503に戻る。超えていれば、処理は終了する。最終フレーム番号は、チャート映像Vorgのフレーム数を示し、予め設定されている。
【００３０】
以上の処理によって、水平方向にvs[pixels/frame]の速度でチャート画像cが移動する、チャート映像Vorgが作成される。チャート映像作成部207は、チャート映像Vorgに対して、フレームレートを示すフレームレート情報を追加してもよい。チャート映像Vorgのフレームレートは、ディスプレイ102の駆動周波数に対応する値に設定されうる。
【００３１】
＜映像出力部208及び映像取得部209＞
映像出力部208は、チャート映像Vorgをディスプレイ102に表示する。すなわち映像出力部208は、チャート映像作成部207が作成したチャート映像Vorgをディスプレイ102に転送する。こうして、ディスプレイ102に評価映像Vorgが再生され始める。このときディスプレイ102は、チャート映像Vorgのフレームレート情報に対応する駆動周波数で動作する。
【００３２】
また映像取得部209は、撮影の開始および終了に関する制御信号を撮像装置103に送る。撮影の開始を示す制御信号に従って、撮像装置103は撮影を開始する。さらに映像取得部209は、垂直同期信号を撮像装置103へ出力することができる。この垂直同期信号は、チャート映像Vorgのフレームレート情報に対応する周波数を持ちうる。撮像装置103は、この垂直同期信号に同期してシャッタータイミングを制御する。こうして撮像装置103は、１回の露光時間がディスプレイ102の表示フレーム間をまたがないように、撮像を行うことができる。すなわち撮像装置103は、ディスプレイ102に表示されるそれぞれのフレーム画像を別々に撮影することができる。
【００３３】
撮影の終了を示す制御信号に従って、撮像装置103は撮影を終了する。また映像出力部208は、チャート映像Vorgをディスプレイ102に転送するのをやめる。撮像装置103により撮影された映像Vは、映像取得部209へと入力される。
【００３４】
＜視線算出部210＞
視線算出部210は、撮影映像Vに対する視線情報eを取得する。上述のように視線情報eは、それぞれのフレームについての視線中心座標によって構成される。本実施例においては、人間の視線はチャート映像Vorgのそれぞれのフレームに含まれるチャート401の中心にあるものと仮定する。すなわち、チャート401の中心座標を、それぞれのフレームについての視線中心座標とする。具体的には本実施例において、フレーム番号tについての視線中心座標(ex(t),ey(t))は以下の式で表される。
ex(t) = Cx + vx・t
ey(t) = Cy
ここで、チャート画像cの水平方向の移動速度をvxとする。また、チャート画像Vorgの１番目のフレーム画像における、チャート画像cに含まれるチャート401の中心座標を(Cx, Cy)とする。
【００３５】
水平方向のチャート移動速度vxは、チャート映像作成処理で用いた値と同じものでありうる。また視線算出部210は、チャート画像cと撮影映像Vとから、移動速度vxを算出してもよい。具体的には、撮影映像Vの各フレームに対してチャート画像cを位置合わせすることにより、移動速度vxを算出してもよい。例えば、連続するフレーム間におけるチャート画像cのその位置ずれ量の平均を、移動速度vxとすることができる。このように、視線算出部210は、撮影映像Vの各フレーム画像におけるチャート401の位置を示す、視線情報e（位置情報）を取得する。
【００３６】
算出された視線情報の例を図６に示す。図６は、視線の中心座標がフレームごとに5pixelずつ左方向に移動する場合の、視線情報を示す。図６において、「フレーム番号」は撮影映像Vの開始フレームからのフレーム数を示す。また、「視線中心座標」はそれぞれのフレームにおける視線中心座標を表し、イコール記号の後に座標値が記述されている。視線中心座標は、撮影映像Vのフレーム画像の座標と対応しており、(w,h)の形式で記述されている。ここで、wは水平方向の座標、hは垂直方向の座標である。
【００３７】
＜座標変換部211＞
座標変換部211は、視野に相当する画像領域を撮影映像Vの各フレーム画像から切り出す。以下で、座標変換部211について、図７のフローチャートを参照して詳しく説明する。ステップS701で座標変換部211は、撮影映像Vの開始フレームを処理フレームとして取得する。また座標変換部211は、処理フレーム番号tを初期化する。具体的には座標変換部211は、処理フレーム番号として０を設定すればよい。
【００３８】
ステップS702で座標変換部211は、処理フレームを構成する各画素の画素値を、輝度値に変換する。例えば、あらかじめ撮像装置103における画素値と輝度値との対応関係が記録されている場合、この対応関係を用いて座標変換部211は画素値を輝度値へと変換することができる。この対応関係は例えば、ルックアップテーブルとして記録されうる。もっとも、画素値を輝度値に変換することは必須ではない。画素値がそのまま用いられてもよいし、明度値などの他の色値に変換されてもよい。ステップS703で座標変換部211は、視線算出部から受け取った視線情報eを参照して、処理フレーム番号tに対応する視線中心座標(ex(t),ey(t))を取得する。
【００３９】
ステップS704で座標変換部211は、視線中心座標(ex(t), ey(t))を中心とする、水平方向に2dx+1ピクセル、垂直方向に2dy+1ピクセルの領域内の画像を、ステップS702における変換後の処理フレームから抽出する。抽出された画像が、座標変換結果V'(x,y,t)である。dx及びdyは例えば、抽出された画像をディスプレイ102に表示した場合に、撮像装置103から見て表示された画像が水平方向と垂直方向とのそれぞれについて2度視野に対応するように、設定されうる。図８は、水平方向をx、垂直方向をy、処理フレームをtとした場合の撮影映像V(x,y,t)の模式図を示す。また図９は、V'(x,y,t)の模式図を示す。
【００４０】
本実施例においてV'(x, y, t)は、以下の式に従って抽出される。
V(x,y,t) = V'(x-ex(t),y-ey(t),t)
ここで、x,yの範囲は以下のように表される。
ex(t)-dx≦x≦ex(t)+dx
ey(t)-dy≦y≦ey(t)+dy
上述のように、本実施例において視線中心座標はチャート401の位置に対応するから、この処理によって、チャート401が映っている部分画像が、撮影映像Vから切り出される。
【００４１】
ステップS705で座標変換部211は、処理フレーム番号tを更新する。具体的には座標変換部211は、処理フレーム番号tに１を加えればよい。ステップS706では座標変換部211は、処理フレーム番号tが最終フレーム番号を超えているか否かを判定する。超えていない場合、処理はステップS702に戻る。超えている場合、図７の処理は終了する。
【００４２】
＜視覚特性反映部213＞
視覚特性反映部213は、周波数解析部212が算出した周波数解析結果Fvに対して、視覚特性を反映させる処理を行う。以下では、視覚特性反映部213の動作に関して、図１０のフローチャートを参照して詳細に説明する。ステップS1001で視覚特性反映部213は、視覚特性関数を取得する。この視覚特性関数は、予め作成され、例えばＨＤＤ205などの記憶部に格納されていてもよい。
【００４３】
以下に、本実施例において用いられうる視覚特性関数の一例について説明する。本実施例において用いられる視覚特性関数は、図１１の（Ａ）に示す空間周波数視覚特性と図１１の（Ｂ）に示す時間周波数視覚特性を乗算することにより得られる。すなわち、本実施例において用いられる時空間の視覚特性関数Vtf(u,v,f)は、以下の式で表される。
Vtf(u,v,f) = T(f)・S(u)・S(v)
ここで、Tは時間周波数[Hz]に対する視覚感度特性を表す関数であり、Sは空間周波数[cycles/degree]に対する視覚感度特性を表す関数である。
【００４４】
本実施例において、関数TとしてはKellyの時間VTFが、関数SとしてはDooleyの空間VTFが、それぞれ用いられる。具体的には、関数T及び関数Sは以下のように表される。
T(f) = 4.02*(1-0.85*exp(-0.1*f))*exp(-0.138*f)
S(u) = 5.05*(1-exp(-0.1*u))*exp(-0.138*u)
【００４５】
ステップS1002で視覚特性反映部213は、周波数解析結果Fvと視覚特性関数とを乗算する。具体的には、視覚特性が反映された周波数解析結果F1は、周波数解析結果Fv及び視覚特性関数Vtfを用いて、以下のように表される。
F1(u,v,f) = Fv(u,v,f) * Vtf(u,v,f)
【００４６】
＜評価値算出部214＞
評価値算出部214は、視覚特性が反映された周波数解析結果F1(u,v,f)とチャート画像cとを用いて評価値を算出する。この処理は、妨害成分抽出処理と評価値計算処理とを含む。評価値算出部214はまず、視覚特性が反映された時空間周波数パワースペクトルと、チャート画像のパワースペクトルとの差をとることにより、妨害成分を抽出する。パワースペクトルの差分をとることにより、チャート画像に含まれない周波数パワーが、妨害成分として抽出される。
【００４７】
評価値算出部214はそして、抽出された妨害成分のうち、時間周波数が０である周波数成分を空間妨害成分として、それ以外の領域の成分を時間妨害成分として、それぞれ算出する。そして評価値算出部214は、空間妨害成分と時間妨害成分との線形和をとることにより、定量的な評価値を算出する。空間妨害成分及び時間妨害成分の模式図を図１２に示す。
【００４８】
空間妨害成分は、図１２に示すように、時間周波数f=0であるu-v周波数平面上の周波数成分であり、時間周波数成分をもたない。これは、ボケや多重像などの静止画における画像劣化成分に相当する。一方で時間妨害成分は、図１２に示すように、f=0であるu-v周波数平面以外の空間の周波数成分であり、時間周波数成分をもつ。これは、動きの不連続性に伴うガタガタ感（ジャーキネス又はジャダー）及びフリッカなどの、時間方向の画像劣化に相当する。
【００４９】
評価値算出の具体的な手順について、図１３のフローチャートを参照して詳しく説明する。ステップS1301で評価値算出部214は、視覚特性反映部213が算出した周波数解析結果F1(u,v,f)の信号強度値|F1(u,v,f)|を算出する。
【００５０】
ステップS1302で評価値算出部214は、ディスプレイ102が画像劣化なく撮影映像Vを表示した場合についての、周波数解析結果Fref(u,v,f)を算出する。本実施例においては、画像劣化（動画像劣化）がない場合には撮影映像V内の各フレームについて同じ位置にチャート画像cが表示される。すなわち画像劣化がない場合、図１４に示すように、チャートの中心が常に視線中心と一致する。したがってこの場合、時間方向の周波数成分は存在しない。このため評価値算出部214は、以下のように、f=0の場合についての周波数解析結果F2(u,v)を算出する。
【００５１】
まず評価値算出部214は、チャート画像cを所定の位置に含み、撮影映像Vと同じサイズである比較画像を作成し、この比較画像に対してフーリエ変換を施す。この比較画像は、ディスプレイ102が画像劣化なく撮影映像Vを表示した場合の、人間の視野内の画像に相当する。本実施例においては視線の中心はチャート画像cに含まれるチャート401の中心にある。したがって、比較画像の中心座標とチャート401の中心とが一致するように、チャート画像cに対してシフト演算を行うことにより、比較画像が作成される。また、比較画像と撮影映像Vとの間で画像サイズ及び解像度が等しくなるように、比較画像に対して解像度変換処理を施してもよい。さらに評価値算出部214は、得られた比較画像に対して２次元フーリエ変換を施すことにより、フーリエ変換結果Fc(u,v)を得る。
【００５２】
さらに評価値算出部214は、得られたフーリエ変換結果Fc(u,v)に対して、視覚特性を乗算する。ここで用いられる視覚特性関数Vtf2は、以下の式で表される。
Vtf2(u,v) = T(0)・S(u)・S(v)
ここで、S(u)及びS(v)は、視覚特性反映部213が用いた関数と同じである。また、比較画像と撮影映像Vの画像の大きさは同じであるから、Fc(u,v)の単位は撮影映像Vのフーリエ変換結果Fv(u,v,f)と同じとなる。従って評価値算出部214は、以下の式に従ってFc(u,v)に対して視覚特性を乗算し、F2(u,v)を得る。
F2(u,v) = Fc(u,v) * Vtf2(u,v)
【００５３】
以上のように算出されたF2(u,v)を用いて、周波数解析結果Fref(u,v,f)は以下のように表される。
Fref(u,v,f) = F2(u,v) (f=0)
= 0 (f≠0)
【００５４】
本実施例において、評価値算出部214は以上のようにF2(u,v)を算出した。しかしながら本実施例において、F2(u,v)はチャート画像cに対して一意に定められる。したがってF2(u,v)は予め計算されていてもよく、評価値算出部214はこの予め計算された値を例えばＨＤＤ205のような記憶媒体から取得してもよい（第３の入力手段）。
【００５５】
ステップS1303以降で評価値算出部214は、妨害成分を抽出する。この処理は、撮影映像Vと、動画質劣化のない理想的な映像と、の間で周波数成分値の差分をとることを意味する。ステップS1303で評価値算出部214は、ステップS1302で得られたF2(u,v)の信号強度値|F2(u,v)|を算出する。
【００５６】
ステップS1304で評価値算出部214は、空間妨害成分Jspatialを算出する。空間妨害成分Jspatialは、時間周波数が0である平面上のパワースペクトルの総和であり、以下の式に従って計算できる。
【００５７】
【数１】
【００５８】
ステップS1305で評価値算出部214は、時間妨害成分Jtempを算出する。時間妨害成分Jtempは、時間周波数が0でない空間上のパワースペクトルの総和であり、以下の式に従って計算できる。
【００５９】
【数２】
【００６０】
ステップS1306で評価値算出部214は、空間妨害成分Jspatialと時間妨害成分Jtempとの線形和を計算する。具体的には、以下の式に従って計算することができる。
S = α×Jtemp + (1-α)×Jspatial
この式において、αは任意に決定することができる。通常は０≦α≦１であり、時間妨害成分を重視する場合にはより大きい値を持つαが採用されうる。また、空間妨害成分を重視する場合にはより小さい値を持つαが採用されうる。αの値は、例えばＨＤＤ205などの記憶媒体に格納されていてもよいし、例えばキーボード202及びアプリケーションウィンドウ301などを介してユーザによって入力されてもよい。
【００６１】
ステップS1307で評価値算出部214は、ステップS1306で算出された線形和Sに従って、評価値を算出して出力する。例えば評価値算出部214は、線形和Sを評価値としてそのまま出力してもよい。本実施例においては評価値を規格化するために、評価値算出部214は、ディスプレイ102が画像劣化なく撮影映像Vを表示した場合に得られる理想的な映像のパワースペクトルの総和で、線形和Sを除算する。この理想的な映像は、各フレームが上述の比較画像で構成されている映像に相当する。
【００６２】
本実施例において、映像評価装置101は、図２に示される構成を有する。しかしながら本実施例に係る映像評価装置の各部は、専用のハードウェアによって構成されていてもよいし、ソフトウェアによって実現されてもよい。例えば、例えばＨＤＤ205のような記憶媒体に記録されたプログラムを、例えばＲＡＭ230のようなメモリに読み出し、このプログラムに従ってＣＰＵ201が動作することにより、206〜214で示される各部の機能は実現されうる。このことは、以下の各実施例においても同様に当てはまる。
【００６３】
本実施例において評価値算出部214は、撮影映像Vと、動画質劣化のない理想的な映像と、の間で周波数成分値の差分をとることにより、妨害成分を抽出した。しかしながら、妨害成分の抽出方法はこれに限られない。例えば評価値算出部214は、座標変換結果V'の各フレーム画像の画素値から、比較画像の各画素値を減算してもよい（減算手段）。すなわち評価値算出部214は、座標変換結果V'の各フレーム画像と比較画像との差分画像をフレーム画像として有する、差分映像を生成してもよい。この減算処理後の差分映像に対して、上述のように周波数解析処理を行い、必要に応じて視覚特性を反映することにより、妨害成分を抽出することができる。
【００６４】
また本実施例においては、空間妨害成分Jspatialと時間妨害成分Jtempとの線形和に従って評価値を算出した。しかしながら、フレーム間での画像変動についての評価値を得たい場合には、時間妨害成分Jtempのみに従って評価値を算出してもよい。時間妨害成分Jtempは時間周波数成分に従って算出することができるから、この場合、周波数解析処理は時間方向について行われれば十分である。
【００６５】
［実施例１の変形例］
実施例１においては、チャート映像作成部207が作成したチャート映像Vorgをディスプレイ102に表示した。そして、表示された映像を撮像装置103が撮影することによって得られた撮影映像Vに対して評価値を算出した。こうして、表示された動画像の品質を評価することができる。別の例として、実施例１の構成を応用して、作成された動画像の品質を評価することもできる。
【００６６】
本変形例においては、チャート映像作成部207は実施例１と同様に、チャート画像cが移動するチャート映像Vorgを作成する。このときチャート映像作成部207は、チャート映像Vorgに対して画像処理を施すことができる。画像処理の例としては、例えばフレームレート変換処理が挙げられる。そして、映像取得部209は、撮像装置103が撮影した画像ではなく、チャート映像作成部207が作成したチャート映像Vorgを、撮影映像Vとして取得する。このように本変形例においては、チャート映像Vorgをディスプレイ102に表示する必要はない。その他の処理は、実施例１と同様に行われればよい。
【００６７】
本変形例によれば、作成されたチャート映像Vorgのデジタルデータそのものの評価値を算出することができる。より具体的には、フレームレート変換処理のような画像処理による画像品質の変化を定量的に測定することができる。
【実施例２】
【００６８】
実施例１では、チャート映像Vorgにおいてチャート画像cは水平方向に移動した。実施例２では、チャート映像Vorgにおいてチャート画像cは、垂直方向を含む任意の方向に、任意の速度で等速移動する。本実施例では、チャート映像Vorgにおけるチャート画像cの移動方向は、水平方向には限定されない。このようなチャート映像Vorgは予め作成されていてもよい。しかしながら本実施例において情報設定部206は、チャート画像cの垂直方向及び水平方向の移動速度を示すユーザ指定を、ダイアログを介して取得する。そしてチャート映像作成部207は、このユーザ指定に従ってチャート映像Vorgを作成する。このような構成により、任意の方向への動きについて、滑らかさの劣化を評価することが可能となる。以下では、実施例１との差分について説明する。
【００６９】
＜情報設定部206＞
以下では、本実施例に係る情報設定部206の動作について説明する。情報設定部206は、実施例１と同様に、チャート画像ファイルを示すユーザ指定を取得する。また本実施例において情報設定部206は、チャート画像cの移動速度を示すユーザ指定をさらに取得する。具体的にはまず情報設定部206は、アプリケーションウィンドウ1501をディスプレイ204上に表示する。図１５は、本実施例で用いられるアプリケーションウィンドウ1501の一例を示す。ユーザは実施例１と同様に、アプリケーションウィンドウ1501のフォーム1502に、チャート画像cのファイルパスをキーボード202を用いて入力する。
【００７０】
さらにユーザは、ボタン1503をクリックする。すると、撮影情報設定ダイアログ1601がディスプレイ102に表示される。図１６は、ダイアログ1601の一例を示す。ユーザは、チャート画像cにおけるチャート401の中心座標を、水平座標入力フォーム1602及び垂直座標入力フォーム1603に入力する。ユーザはさらに、水平方向のチャート移動速度をフォーム1604に、垂直方向のチャート移動速度をフォーム1605に、それぞれ入力する。こうして、チャートの移動速度と移動方向とが指定される。最後に、ユーザがボタン1606をクリックすることにより、ダイアログ1601の表示が終了し、アプリケーションウィンドウ1501が再び表示される。ユーザがボタン1504をマウス203でクリックすると、映像の撮影及び評価値の算出が行われる。算出された動きの滑らかさの評価値は、フォーム1505に表示される。
【００７１】
＜チャート映像作成部207＞
本実施例に係るチャート映像作成部207の動作は、実施例１と同様であるが、以下の点で異なる。すなわち、ステップS503におけるシフト演算処理が、水平方向だけでなく、垂直方向についても行われる。フォーム1604に指定された水平方向の移動速度をvx、フォーム1605に指定された垂直方向の移動速度をvyとすると、垂直及び水平方向のシフト量shiftx(n)、shifty(n)は、以下の式で示される。
shiftx(n) = vx・n
shifty(n) = vy・n
【００７２】
＜視線算出部210＞
本実施例に係る視線算出部210の動作は、実施例１と同様であるが、以下の点で異なる。すなわち視線算出部210は、フォーム1604及び1605に入力されたチャート移動速度を用いて、以下の式に従って視線情報を計算する。
ex(t) = Cx + vx・t
ey(t) = Cy + vy・t
上式において(ex(t),ey(t))は、フレーム番号tにおける視線中心座標を示す。また、水平方向のチャート移動速度をvx、垂直方向のチャート移動速度をvy、チャート画像cにおけるチャート401の中心座標を(Cx,Cy)とする。視線算出部210は、以上の式に従って得られる視線情報eを、座標変換部211へ渡す。
【００７３】
実施例１と同様に、チャート移動速度vx,vyは、チャート映像作成処理で用いた値と同じものでありうる。また視線算出部210は、チャート画像cと撮影映像Vとから、移動速度vx,vyを算出してもよい。
【実施例３】
【００７４】
実施例１では、ディスプレイ102が画像劣化なく撮影映像Vを表示した場合についての周波数解析結果Fref(u,v,f)を算出するために、チャート401を含むチャート画像cのデータを用いた。実施例３では、周波数解析結果Fref(u,v,f)を算出するために、チャート画像cのデータの代わりに、ディスプレイ102上に表示されたチャート画像cを撮像装置103により撮影することによって得られる静止画像を用いる。本実施例の構成によれば、妨害成分を抽出する際に、撮像装置103の撮像特性の影響を減らすことができる。このため、より高精度に動画像表示の品質を評価できる。以下では、実施例１との差分について説明する。
【００７５】
＜映像評価装置101の構成＞
図１７は、本実施例に係る映像評価装置101の構成を示す。実施例１と同様に、チャート画像cを用いて作成されたチャート映像Vorgを、ディスプレイ102は表示する。そして撮像装置103は、ディスプレイ102に表示されたチャート映像Vorgを撮影し、撮影映像Vとして記録する。さらに本実施例においてディスプレイ102は、チャート画像cを表示する。撮像装置103は、ディスプレイ102に表示されたチャート画像cを撮影し、チャート撮影画像c'として記録する。評価値算出部214は、視覚特性反映部213が算出したF1と、チャート撮影画像c'とを用いて、評価値を算出する。
【００７６】
＜映像出力部208及び映像取得部209＞
本実施例に係る映像出力部208の動作は、実施例１と同様であるが、以下の点で異なる。すなわち映像出力部208は、チャート映像Vorgをマルチプレクサ217へと出力する。また情報設定部206は、チャート画像cをマルチプレクサ217へと出力している。
【００７７】
さらに映像出力部208は、マルチプレクサ217に対して選択信号を送ることにより、マルチプレクサ217にチャート画像cとチャート映像Vorgのいずれかを選択させる。選択されたチャート画像c又はチャート映像Vorgは、ディスプレイ102に転送され、撮像装置103によって撮影される。
【００７８】
まず、チャート映像Vorgの撮影について説明する。チャート映像Vorgの撮影は、実施例１と同様に行われる。まずマルチプレクサ217は、チャート映像Vorgを選択し、ディスプレイ102に出力する。そして映像出力部208は、撮影の開始及び終了に関する制御信号を撮像装置103に送る。こうして、撮像装置103はディスプレイ102に表示されたチャート映像Vorgを撮影する。撮像装置103により撮影された映像Vは、デマルチプレクサ218に転送される。
【００７９】
次に、チャート画像cの撮影について説明する。まずマルチプレクサ217は、チャート画像cを選択し、ディスプレイ102に出力する。そして映像出力部208は、撮影の開始及び終了に関する制御信号を撮像装置103に送る。こうして、撮像装置103はディスプレイ102に表示されたチャート画像cを撮影する。ここで、チャート画像cを撮影する際のシャッタースピードは、チャート映像Vorgの各フレームを撮像する際のシャッタースピードと等しい値に設定されている。また、撮影フレーム数は１枚である。撮像装置103により撮影された画像は、チャート撮影画像c'としてデマルチプレクサ218に渡される。デマルチプレクサ218は、撮像装置103から受け取ったチャート撮影画像c'を評価値算出部214へと出力する。このチャート撮影画像c'が、評価値を算出するために、評価値算出部214によってチャート画像cの代わりに用いられる。すなわち、チャート撮影画像c'を含む評価画像が作成され、この評価画像に対してフーリエ変換が行われる。
【実施例４】
【００８０】
入力された映像のフレームレートを上げて表示するディスプレイが知られている。例えば、複数のフレームを含む映像に対して、各フレームを補間する補間フレームを形成し、それをフレーム間に挿入することで映像を高フレームレート化する、倍速駆動方式が知られている。実施例４では、撮像装置103による撮影のフレームレートを、ディスプレイ102の駆動周波数より高く設定することにより、このようなディスプレイの表示品質を評価する。また本実施例によれば、面順次表示に近いを動作を行うＰＤＰと、ライン順次表示に近い動作を行うＬＣＤとの間における、動きの滑らかさの差なども評価することが可能となる。以下では、実施例１との差分について説明する。
【００８１】
＜情報設定部206＞
本実施例において、情報設定部206は、実施例１と同様にチャート画像cを指定する情報を取得するのに加えて、撮影フレームレートを指定する情報を取得する。まず情報設定部206は、図１８に示すアプリケーションウィンドウ1801をディスプレイ204上に表示する。ユーザは実施例１と同様に、アプリケーションウィンドウ1801のフォーム1802に、ＨＤＤ205に保存されているチャート画像cのファイルパスを入力する。
【００８２】
さらにユーザは、撮像装置103の撮影フレームレートをフォーム1803に入力する。実施例１ではチャート映像Vorgのフレームレートに従って撮像装置103のフレームレートが制御された。本実施例においては、ディスプレイ102内部の画像処理回路で倍速駆動処理が行われうる。この場合、チャート映像Vorgのフレームレートと、ディスプレイ102の駆動周波数とは一致しないかもしれない。そこで本実施例においては、撮像装置103のフレームレートをユーザが指定する。このとき、撮影フレームレートはディスプレイ102の駆動周波数と同じ周波数であってもよい。また、撮影フレームレートを、ディスプレイ102の駆動周波数の整数倍に設定することにより、オーバーサンプリングを行ってもよい。
【００８３】
これらの情報を入力した後、ユーザがボタン1804をマウス203でクリックすることにより、映像撮影及び評価処理が実行される。算出された評価値は、フォーム1805に表示される。
【００８４】
＜映像取得部209＞
映像取得部209は、撮影の開始信号及び終了信号を撮像装置103に送る。本実施例では実施例１とは異なり、撮像装置103におけるシャッターの開閉は、映像取得部209から入力される垂直同期信号ではなく、撮像装置103内部で生成される内部同期信号により制御される。撮像装置103内部で生成される内部同期信号の周波数は、情報設定部206によって制御される。この内部同期信号の周波数は、図１８のフォーム1803を介してユーザにより指定された周波数である。こうして撮像装置103は、ディスプレイ102に表示されるチャート映像Vorgを、ユーザによって指定されたフレームレートで撮影する。こうして撮像装置103により撮影された映像Vは、映像取得部209へと入力される。
【００８５】
＜視線算出部210＞
本実施例において視線算出部210は、撮像装置103の撮影フレームレートを考慮して、視線情報を算出する。具体的には、視線算出部210は、フレーム番号tにおける視線中心座標(ex(t),ey(t))を、以下の式に従って算出する。
ex(t) = Cx + (Forg/Fv)・vx・t
ey(t) = Cy
上式において、評価対象映像VorgのフレームレートをForg、撮像装置103の撮影フレームレートをFv、水平方向のチャート移動速度をvx、チャート画像cにおけるチャート401の中心座標を(Cx, Cy)とする。
【実施例５】
【００８６】
上述の実施例では、チャート画像を含むチャート映像について、表示される動画像の質が評価された。実施例５では、例えば実写動画のような任意の映像について、表示される動画像の質が評価される。本実施例においては、観察者の視線中心座標を取得するために、アイトラッカーが用いられる。アイトラッカーは、観察者が実写動画を見る際の複雑な視線情報を取得することができる。以下、実施例１との差分について説明する。
【００８７】
図１９を参照して、本実施例に係る処理について説明する。映像評価装置101には、ディスプレイ102、撮像装置103及びアイトラッカー104が接続されている。映像評価装置101は、ユーザが指定した評価対象映像Vorgを、ディスプレイ102へと出力する。ディスプレイ102上に表示された評価対象映像Vorgは、撮像装置103によって撮影される。撮影された映像は、映像評価装置101に対して撮影映像Vとして入力される。さらに、アイトラッカー104は、ディスプレイ102上に表示される評価対象映像Vorgを見る際のユーザの視線情報を取得する。映像評価装置101は、この撮影映像Vと視線情報とに基づいて、評価値を算出する。
【００８８】
＜映像評価装置101の構成＞
図２０は、本実施例における映像評価装置101の構成を示す。以下に、本実施例における処理について、図３１（Ｂ）のフローチャートを参照して説明する。ステップS3210において情報設定部206は後述するように、評価対象映像Vorgを取得する（第３の入力手段）。ステップS3220において映像出力部208は、評価対象映像Vorgをディスプレイ102に出力する。本実施例においては評価対象映像VorgはＨＤＤ205などの記憶媒体に格納されている。実施例１のようにチャート画像cからチャート映像Vorgを生成する必要はないため、本実施例に係る映像評価装置101はチャート映像作成部207を有さなくてもよい。そして実施例１と同様に、撮像装置103はディスプレイ102に表示された評価対象映像Vorgを撮影する。映像取得部209は、撮像装置103が撮影した映像を、撮影映像Vとして取得する（第１の入力手段）。
【００８９】
ステップS3230において視線取得部220は、アイトラッカー104から視線情報を取得する（第２の入力手段）。ステップS3240において差分計算部219は、後述するように、評価対象映像Vorgと撮影映像Vの差分を、妨害映像Vsub（差分動画）として算出する（生成手段）。ステップS3250において座標変換部211は、視線情報に従って、妨害映像Vsubの各フレームについて、観察者の視野に相当する部分を切り出すことにより、座標変換結果V'を生成する（切り出し手段）。座標変換部211の処理は実施例１と同様に行うことができるが、本実施例において座標変換部211が用いる視線情報は、視線取得部220がアイトラッカー104から取得したものである。すなわち座標変換部211は、視線情報によって示される観察者の視線が向けられている画素を中心とする所定範囲の画素群を切り出す。そして座標変換部211は、切り出された画素群をフレーム画像として有する座標変換結果V'を生成する。
【００９０】
ステップS3260において周波数解析部212は、実施例１と同様に、座標変換結果V'について周波数解析処理を行うことにより、周波数解析結果Fvを算出する（変換手段）。ステップS3270において視覚特性反映部213は、実施例１と同様に、周波数解析結果に対して視覚特性を反映させることにより、周波数解析結果F1を算出する。ステップS3280において評価値算出部214は、この周波数解析結果F1に従って、後述するように評価値を算出する（算出手段）。以下では、情報設定部206、視線取得部220、差分計算部219、及び評価値算出部214が行う処理について詳しく説明する。
【００９１】
＜情報設定部206＞
まず、情報設定部206の動作について詳しく説明する。まず情報設定部206は、評価対象映像Vorgを指定するユーザ入力を取得する。図２１は、情報設定部206がユーザ入力を取得するために用いうるアプリケーションウィンドウ2101の一例である。
【００９２】
ユーザは、アプリケーションウィンドウ2101のフォーム2102に、ＨＤＤ205に保存されている評価対象映像Vorgのファイルパスを入力する。その後ユーザがボタン2103をマウス203でクリックすると、映像撮影及び評価処理が実行される。算出された評価値は、フォーム2104に表示される。
【００９３】
＜差分計算部219＞
次に、差分計算部219が行う処理について、図２２のフローチャートを参照して説明する。ステップS2201で差分計算部219は、評価対象映像Vorgを読み込む。ステップS2202で差分計算部219は、映像取得部209が取得した撮影映像Vを読み込む。ステップS2203で差分計算部219は、処理フレーム番号を初期化する。例えば差分計算部219は、処理フレーム番号に０を設定すればよい。
【００９４】
ステップS2204で差分計算部219は、処理フレーム番号で指定されるフレームについて、撮影映像Vと評価対象映像Vorgとの差分を算出する。具体的には、処理フレーム番号がnである場合、撮影映像Vの第nフレームと、評価対象映像の第nフレームとの差分を算出すればよい。差分計算部219はそして、得られた差分を妨害映像Vsubの第nフレームとして保存する。
【００９５】
ステップS2205で差分計算部219は、処理フレーム番号を更新する。具体的には差分計算部219は、処理フレーム番号に１を加えればよい。ステップS2206で差分計算部219は、処理フレーム番号が、評価対象映像Vorgの最終フレーム番号を超えているか否かを判定する。超えている場合、処理は終了する。超えていない場合、処理はステップS2204に戻る。以上の処理によって、差分計算部219は妨害映像Vsubを生成する。
【００９６】
＜視線取得部220＞
次に、視線取得部220の動作について説明する。本実施例では、アイトラッカー104を用いて、視線情報を計測する。具体的には、映像出力部208が評価対象映像Vorgをディスプレイ102に出力するのに合わせて、視線取得部220はアイトラッカー104に計測開始を指示する制御信号を送る。ディスプレイ102に正対したユーザがディスプレイ102を見ることで、ユーザがディスプレイ102のどの場所を見ているかが、アイトラッカー104により取得される。
【００９７】
アイトラッカー104は、評価対象映像Vorgのそれぞれのフレームについて、そのフレームが表示されている時のユーザの視線を取得しうる。すなわち、それぞれのフレーム画像についての視線中心座標を、アイトラッカー104は取得しうる。評価対象映像Vorgの表示が終わると、視線取得部220はアイトラッカー104に計測終了信号を送る。そして視線取得部220は、アイトラッカー104により計測された視線情報eを、座標変換部211に入力する。
【００９８】
本実施例においては、評価対象映像Vorgがディスプレイ102に表示されるごとに、視線情報がアイトラッカー104により計測される。しかしながら、複数の異なるディスプレイにおいて評価対象映像Vorgが表示される場合であっても、ユーザの視線は同じように移動することが考えられる。したがって、評価対象映像Vorgを見る際のユーザの視線情報が予め測定され、評価対象映像Vorgに関連付けてＨＤＤ205などの記憶媒体に記録されていてもよい。この場合、視線取得部220は記録されている視線情報を記憶媒体から読み出せばよい。
【００９９】
＜評価値算出部214＞
次に、評価値算出部214の動作について、図２３のフローチャートを参照して説明する。ステップS2301で評価値算出部214は、実施例１と同様に、視覚特性反映部213により算出された周波数解析結果F1(u,v,f)の信号強度値|F1(u,v,f)|を算出する。ステップS2302で評価値算出部214は、空間妨害成分Jspatialを算出する。具体的には評価値算出部214は、時間周波数が0である平面上のパワースペクトルの総和を、空間妨害成分Jspatialとすることができる。すなわち、空間妨害成分Jspatialは以下の式に従って計算できる。
【０１００】
【数３】
【０１０１】
ステップS2303で評価値算出部214は、時間妨害成分Jtempを算出する。具体的には評価値算出部214は、時間周波数が0でない空間上のパワースペクトルの総和を、時間妨害成分Jtempとすることができる。すなわち、時間妨害成分Jtempは以下の式に従って計算できる。
【０１０２】
【数４】
【０１０３】
ステップS2304で評価値算出部214は、実施例１のステップS1306と同様に、空間妨害成分と時間妨害成分の線形和を計算する。具体的には、下式に従って計算すればよい。下式において、αは実施例１と同様に定められうる。
S = α×Jtemp + (1-α)×Jspatial
【０１０４】
ステップS2305で評価値算出部214は、実施例１のステップS1307と同様に、ステップS2304で算出された線形和Sに従って、評価値を算出して出力する。
【０１０５】
本実施例においても、実施例１の変形例と同様に、動画像の表示品質ではなく、動画像そのものの品質を測定することができる。例えば、予め評価対象映像Vorgを見る際のユーザの視線情報を取得しておく。そして映像取得部209は、評価対象映像Vorgに対して画像処理を行って得られる映像を撮像画像Vの代わりに取得する。他の処理を上述のように行うことにより、評価対象映像Vorgに対して画像処理を行って得られる映像の品質を測定することができる。より具体的には、この画像処理による動画像の品質の変化を測定することができる。
【実施例６】
【０１０６】
実施例６では、撮影映像Vにおける水平方向の動きに着目して、実施例１よりも少ない演算量で評価値を算出する。具体的には、座標変換部211の処理及び評価値算出部214の演算量が削減される。これにより、評価値の算出時間の削減が可能となる。以下、実施例１との差分について説明する。
【０１０７】
＜座標変換部211＞
座標変換部211が行う処理について、図２４のフローチャートを参照して説明する。ステップS2401で座標変換部211は、撮影映像Vから、水平−時間画像f(x,t)を抽出する。本実施例で座標変換部211は、撮影映像Vの各フレーム画像から、横一列の画素群を切り出すことにより、水平−時間画像f(x,t)を生成する。本実施例で座標変換部211は、各フレーム画像の中央１ラインの画素を切り出すが、これには限定されない。本実施例においては垂直方向の画像移動を評価しないため、チャート401は垂直方向に一様な画素値を持つ画像であってもよい。
【０１０８】
本実施例では実施例１と同様、チャート映像Vorgにおいてチャート401は横方向に移動するものとする。この場合、本実施例のように撮影映像Vから抽出した横一列の画素群について算出された評価値は、動画像の動きの滑らかさをよく反映するものと考えられる。
【０１０９】
図２６は、ステップS2401で抽出された水平−時間画像の一例を示す。図２６（Ａ）に示されるそれぞれのフレーム画像から、水平方向の画素列を抽出することにより、図２６（Ｂ）に示される水平−時間画像が生成される。図２６（Ｂ）の水平−時間画像において、横方向は各フレーム画像の水平方向（ｘ軸）に対応し、縦方向はフレーム番号に対応する。
【０１１０】
以下で、ステップS2401における処理について、図２５のフローチャートを参照して詳しく説明する。ステップS2501で座標変換部211は、撮影映像Vの開始フレームを処理フレームとして取得する。また、座標変換部211は、処理フレーム番号を撮影映像Vの開始フレーム番号に設定する。
【０１１１】
ステップS2502で座標変換部211は、処理フレームのそれぞれの画素について、画素値を輝度値へと変換する。実施例１と同様に座標変換部211は、ルックアップテーブルを参照して、この変換を行うことができる。ステップS2503で座標変換部211は、処理フレームの中央水平1ラインを切り出し、水平−時間画像の一部として格納する。こうして得られる水平−時間画像f(x,t)は、以下の式で表される。
f(x,t) = v(x,h/2,t)
ここで、フレーム番号tのフレーム画像について、水平座標がx、垂直座標がyである画素の画素値を、v(x,y,t)とする。また、フレーム画像の垂直方向の画素数をhとする。ステップS2501とステップS2502とは、実際には逆の順序で行われてもよい。
【０１１２】
ステップS2504で座標変換部211は、処理フレームと処理フレーム番号とを更新する。具体的には座標変換部211は、処理フレーム番号に１を加え、処理フレーム番号で示されるフレーム画像を処理フレームとして取得すればよい。ステップS2505で座標変換部211は、処理フレーム番号が、最終フレームの番号を超えているか否かを判定する。超えている場合、ステップS2401の処理は終了する。超えていない場合、処理はステップS2502に戻る。
【０１１３】
次に、ステップS2402における処理について、図２７のフローチャートを参照して説明する。ステップS2701で座標変換部211は、処理フレーム番号を撮影映像Vの開始フレーム番号に設定する。ステップS2702で座標変換部211は、フレーム番号tに対応する視線中心のx座標ex(t)を取得する。ステップS2703で座標変換部211は、フレーム番号tについての視野相当部分を切り出す。具体的には座標変換部211は、以下の式に従って、水平−時間画像f(x,t)から座標変換結果V'(x,t)を抽出しうる。
f(x,t) = V'(x-ex(t),t)
ここで、xの範囲は以下のように表される。
ex(t)-dx≦x≦ex(t)+dx
【０１１４】
ステップS2704で座標変換部211は、処理フレーム番号を更新する。具体的には座標変換部211は、処理フレーム番号に１を加えればよい。ステップS2705で座標変換部211は、処理フレーム番号が最終フレーム番号を超えているか否かを判断する。超えている場合、ステップS2402の処理は終了する。超えていない場合、処理はステップS2702に戻る。
【０１１５】
以上の処理により、人間の網膜上に結ばれる映像とその時間変化とを示す座標変換結果V'(x,t)が得られる。図２８は、ステップS2401で得られた水平−時間画像の一例を示す。図２８には、ステップS2703で切り出される領域が示されている。また図２９は、図２８の水平−時間画像に対してステップS2402の処理を行うことによって得られる座標変換結果V'(x,t)の一例を示す。図２８においては、視線の中心座標に相当する画素は、時間とともに水平方向に移動する。図２９においては、視線の中心座標に相当する画素の水平方向の位置は固定されている。
【０１１６】
＜周波数解析部212、視覚特性反映部213、及び評価値算出部214＞
本実施例において周波数解析部212は、座標変換結果V'(x,t)に対して２次元の周波数解析処理を行うことにより、周波数解析結果Fv(u,f)を得る。例えば周波数解析部212は、２次元フーリエ変換を行ってもよい。視覚特性反映部213は、実施例１と同様に周波数解析結果Fv(u,f)に対して視覚特性Vtf(u,f)を反映させることにより、周波数解析結果F1(u,f)を算出する。このとき用いられる視覚特性Vtf(u,f)は、以下のように算出されうる。
Vtf(u,f) = T(f)・S(u)
ここで、Tは時間周波数[Hz]に対する視覚感度特性を表す関数であり、Sは空間周波数[cycles/degree]に対する視覚感度特性を表す関数である。
【０１１７】
評価値算出部214は、実施例１と同様に、周波数解析結果F1(u,f)から空間妨害成分Jspatialと時間妨害成分Jtempとを算出し、これらの線形和を求める。本実施例において空間妨害成分Jspatial及び時間妨害成分Jtempは、以下のように求められうる。
【０１１８】
【数５】
【０１１９】
画像劣化がない場合の周波数解析結果F2(u)は、実施例１及び座標変換部211と同様に、評価値算出部214が算出することができる。通常は、チャート画像cから水平方向の画素列が抽出され、抽出された画素列を用いて周波数解析結果F2(u)が算出される。この場合、チャート画像cから抽出される画素列が、ステップS2503で切り出される画素列に対応するように、評価値算出部214は画素列の抽出を行いうる。
【０１２０】
実施例１においては、３次元画像である座標変換結果V'(x,y,t)を用いて評価値が算出された。しかしながら本実施例においては、２次元画像である座標変換結果V'(x,y,t)を用いて評価値が算出される。このため、本実施例によれば演算量が削減されうる。
【実施例７】
【０１２１】
以上の各実施例では、視覚特性は常に一定であるものとした。しかしながら、視線移動速度が速くなるにつれて視覚の空間周波数感度は鈍くなることが知られている。このことを考慮することにより、さらに評価精度が向上することが期待される。具体的には、図３０に示すように、視線移動速度に応じて空間視覚特性を変更すればよい。具体的には、周波数解析結果Fvに対して乗算する視覚特性Vtfの値が、視線移動速度が速いほど、又はチャートの移動速度が速いほど、小さくなるようにすればよい。また上述の各実施例では、空間周波数特性関数と時間周波数特性関数を単純に積算することにより、時空間周波数特性が求められた。しかしながら、空間周波数特性関数と時間周波数特性関数とのそれぞれに重み付けをしながら積算してもよい。
【０１２２】
妨害成分を抽出する際に、上述の実施例では、画像劣化のない映像と、撮影映像とのパワースペクトルの差分が計算された。しかしながら、画像劣化のない映像に存在するパワー成分量が閾値以上となる領域をマスクすることにより、妨害成分を抽出してもよい。
【実施例８】
【０１２３】
実施例８では、実施例１〜７で説明した映像評価方法を用いて、カメラの撮影モードごとに撮像パラメータを最適化する。撮影シーンに応じて撮影モードを設定できるカメラが知られている。それぞれの撮影モードには撮像パラメータが関連付けられており、それぞれの撮影モードを用いた場合には関連付けられた撮像パラメータを用いて撮影が行われる。
【０１２４】
一般に、それぞれの撮影シーンに適したカメラの設定は異なることが知られている。したがって、撮影モードに応じて異なる撮像パラメータが用いられることが望ましい。時間方向のＮＲ（ノイズリダクション）を例にとり、撮影シーンに応じて異なる撮像パラメータを用いる例を以下に説明する。
【０１２５】
スポーツなどの動きの激しいシーンを撮影する場合には、時間方向ＮＲの効果を小さくすることにより、動きボケを抑えることができる。他方、風景など動きの少ないシーンを撮影する場合には、動きが少ないために、時間方向ＮＲによる動きボケは生じにくい。このため、動きの少ないシーンを撮影する場合には、時間方向ＮＲを強くすることができる。このような、それぞれの撮影シーンに適した撮像パラメータが、カメラに記憶される。撮影モードを選択することにより、適した撮像パラメータを用いて撮影を行うことができる。
【０１２６】
しかしながら、それぞれの撮影シーンに適した撮像パラメータを人手で設定するのには多大な労力を要するという問題があった。そのため、従来からパラメータの自動チューニング手法が提案されている。特開２００８−７２６６５号公報には、映像を様々なフレームレートで表示した場合の動きの滑らかさを評価することにより、最適なフレームレートを決定する方法が開示されている。しかしながらこの方法は、撮影シーンによって最適な撮像パラメータが異なりうるという課題を解決するものではない。
【０１２７】
実施例８では、撮影シーンに応じた被写体を用いて、動画の動きの滑らかさを示す評価値に基づいて、撮影モードごとに撮像パラメータを最適化する。より具体的には、各撮影シーンを被写体移動速度及び被写体周波数特性を用いて表現する。
【０１２８】
具体的にはまず、各撮影シーンごとに、撮影シーンをよく表現した被写体移動速度及び周波数特性が設定される。そして、この被写体移動速度及び周波数特性に従って評価対象映像が作成される。そして、作成された評価対象映像がディスプレイ102に表示される。カメラ103は設定された撮像パラメータを用いて表示された映像を撮影し、撮影された映像について評価値が算出される。カメラ103の撮像パラメータを変更しながら評価値の算出を繰り返すことにより、より高い評価値が得られる撮像パラメータが求められる。こうして、撮影シーン（撮影モード）ごとに、撮像パラメータを最適化することができる。
【０１２９】
以下では、撮影モードＡ、撮影モードＢ、撮影モードＣという３つの撮影モードを用意した場合を例として用いて、本実施例を具体的に説明する。撮影モードＡは、被写体の動きが速いシーンを撮影するための撮影モードである。撮影モードＡは、例えばスポーツを撮影するために用いられる。撮影モードＢは、被写体の動きが遅く、解像感の高い映像を撮影するための撮影モードである。撮影モードＢは、例えば風景などを撮影するために用いられる。撮影モードＣは、撮影モードＡと撮影モードＢの中間のモードであり、例えばポートレートなどを撮影するために用いられる。図３２は、横軸に被写体周波数成分、縦軸に被写体の動きの速さをとった場合の、モードＡ、モードＢ、及びモードＣの関係を示している。
【０１３０】
図３３を参照して、本実施例に係る処理について説明する。パラメータ最適化装置105は、映像評価装置101及び撮像装置103を制御することで、撮像装置103の撮像パラメータを最適化する。具体的にはパラメータ最適化装置105は、撮影モードごとに、適切なチャート移動速度とチャート周波数との指定を取得する。そしてパラメータ最適化装置105は、映像評価装置101を制御して、指定された移動速度と周波数とを有するチャート画像が含まれるチャート映像をディスプレイ102に表示させる。こうしてディスプレイ102には、チャート画像を各フレーム画像に含む、パラメータ最適化用のテスト動画が表示される。このテスト動画は撮影モードごとに異なるものであり、具体的には、撮影モードＡ用の第１のテスト動画と、撮影モードＢ用の第２のテスト動画と、撮影モードＣ用の第３のテスト動画とが表示される。これらのテスト動画は、チャート画像の移動速度とチャート画像の周波数特性との少なくとも一方が異なる。
【０１３１】
またパラメータ最適化装置105は、撮像装置103を制御して撮像パラメータを設定する。具体的にはパラメータ最適化装置105は、複数のパラメータを撮像装置103に順次設定する。映像評価装置101は、ディスプレイ102に表示され、撮像パラメータ設定後の撮像装置103によって撮影された映像について、評価値を算出する。パラメータ最適化装置105は、パラメータの設定と評価値の取得とを繰り返すことで、撮像装置103で撮影される映像の評価値が最良となるように、撮像装置103の撮像パラメータを各撮影モードごとに最適化する。すなわち、順次撮像装置103に設定された複数のパラメータのうち、より高い評価値が得られる撮像パラメータが、各撮影モードごとの撮像装置103の撮像パラメータとして選択される。撮影モードＡ〜Ｃ用のそれぞれの撮像パラメータ（第１の撮像パラメータ、第２の撮像パラメータ、及び第３の撮像パラメータ）は、第１〜第３のテスト動画のそれぞれを用いて得られた評価値に従って決定される。
【０１３２】
＜パラメータ最適化装置105の構成＞
図３４を参照して、パラメータ最適化装置105の構成について説明する。ＣＰＵ201は、パラメータ最適化装置105全体の動作を制御する。具体的にはＣＰＵ201は、ユーザからの指示をキーボード202又はマウス203のような入力装置を介して取得することができる。またＣＰＵ201は、ディスプレイ102、撮像装置103、及び映像評価装置101を制御することができる。さらにＣＰＵ201は、後述する情報取得部222、チャート周波数変更部223、パラメータ最適化部224、及び評価装置制御部225の動作を実現する。このようなＣＰＵ201の動作は、例えばＨＤＤ205のような記憶媒体に記録されたコンピュータプログラムを、例えばＲＡＭ230のようなメモリに読み出し、このプログラムに従ってＣＰＵ201が動作することにより、実現されうる。
【０１３３】
情報取得部222は、チャート移動速度やチャート画像、チャート基本周波数、パラメータ最適化の範囲といった情報を得る。情報取得部222は、キーボード202又はマウス203を介してこれらの情報を取得してもよいし、例えばＨＤＤ205などの記憶媒体からこれらの情報を取得してもよい。チャート周波数変更部223は、情報取得部222が取得した情報に従って、所定の周波数特性を有するチャート画像を作成する。パラメータ最適化部224は、撮像装置103を制御して撮像パラメータを設定する。またパラメータ最適化部224は、評価装置制御部225が取得した評価値に従って、撮像装置103に設定する撮像パラメータを更新する。評価装置制御部225は、情報取得部222が取得した情報に従って、映像評価装置101を制御し、ディスプレイ102への映像表示、撮像装置103による撮影、及び画質評価を行わせる。そして評価装置制御部225は、映像評価装置101から映像の評価値を取得する。
【０１３４】
＜映像評価装置101の構成＞
映像評価装置101の構成は、実施例１〜７で説明したものと同様のものでありうる。図３５は、一例として、本実施例に係る映像評価装置101の構成を示す。映像評価装置101は、ＬＡＮボード221を介してパラメータ最適化装置105と接続されており、パラメータ最適化装置105により制御されうる。映像評価装置101の情報設定部206は、パラメータ最適化装置105からチャート画像c及びチャート移動速度に関する情報を受け取る。そして映像評価装置101は、実施例１と同様にチャート画像cが指定されたチャート移動速度で移動するチャート映像Vorgを作成し、ディスプレイ102に表示する。そして撮像装置103は、ディスプレイ102に表示されたチャート映像Vorgを撮影し、撮影映像Vとして記録する。評価値算出部214は、視覚特性反映部213が算出したF1と、チャート撮影画像c'とを用いて、評価値を算出する。算出された評価値は、LANボード221を介してパラメータ最適化装置105へ出力される。
【０１３５】
＜パラメータ最適化装置105及び映像評価装置101の動作＞
次に、パラメータ最適化装置105及び映像評価装置101が行う動作の概略を図３６のフローチャートを参照して説明する。
【０１３６】
ステップS3601において情報設定部206は、チャート移動速度及びチャート周波数を取得する。また情報設定部206は、チャート画像ファイル及び撮像パラメータ最適化範囲ファイルのファイルパスを取得する。本実施例においては、それぞれの撮影モードについて、これらの情報が設定される。この際、チャート画像、チャート移動速度及びチャート周波数に関しては、各撮影モードにおいて、その撮影環境をもっともよく表すものが設定される。また、撮像パラメータの最適化範囲ファイルには、本実施例で設定される全パラメータの組み合わせが記述されている。情報設定部206の詳細については後述する。
【０１３７】
ステップS3602〜S3610においては、ステップS3601で設定された情報に従うチャート映像と、撮像パラメータ最適化範囲ファイルに記載された撮像パラメータとを用いて、評価値の算出が行われる。この処理は、複数の撮影モードから選択された１つの撮影モードについて行われる。
【０１３８】
ステップS3602でパラメータ最適化部224は、撮像装置103の撮像パラメータを設定する。具体的にはパラメータ最適化部224は、HDD205から撮像パラメータ最適化範囲ファイルを読み込む。上述のように、撮像パラメータ最適化範囲ファイルのファイルパスは情報設定部206によって取得されている。次にパラメータ最適化部224は、現在撮像装置103に設定されている撮像パラメータの次に、撮像パラメータ最適化範囲ファイルに記述されている撮像パラメータを、撮像装置103に設定する。パラメータ最適化部224の具体的な処理に関しては後述する。
【０１３９】
ステップS3603からステップS3609までの処理は、評価装置制御部225により制御された映像評価装置101によって実行される。ステップS3603でチャート映像作成部207は、ディスプレイ102に表示する、チャート画像cを含むチャート映像Vorgを作成する。チャート画像c及びチャート移動速度は、ＬＡＮボード221を介して、評価装置制御部225から取得される。上述のようにチャート画像c及びチャート移動速度は、ステップS3601において設定されている。
【０１４０】
ステップS3604からステップS3609までの処理は、ステップS3603により得られた評価映像Vorgを撮像装置103により撮影し、動画の動きの滑らかさを示す評価値を算出する処理である。これらの処理は、実施例１におけるステップS3130からステップS3180までの処理と同様であるため、ここでは省略する。
【０１４１】
ステップS3610でパラメータ最適化部224は、パラメータ最適化の処理が完了したか否かを判断する。撮像パラメータ最適化範囲ファイルに記述されている全パラメータを用いてステップS3602からステップS3609までの処理が行われている場合には、パラメータ最適化部224は、最も高い評価値が得られたパラメータを選択する。選択されたパラメータが、選択されている撮影モードについての最適なパラメータとして用いられる。そして、処理はステップS3611へ進む。まだ用いられていないパラメータがある場合、処理はステップS3602へ戻る。
【０１４２】
ステップS3611でパラメータ最適化部224は、全ての撮影モードについてパラメータ最適化が完了したか否かを判断する。全ての撮影モードについてパラメータ最適化が完了している場合は、図３６の処理を終了する。全ての撮影モードについてパラメータ最適化が完了していない場合、処理はステップS3602へ戻り、まだ選択されていない撮影モードを選択して、選択された撮影モードについてパラメータ最適化を行う。
【０１４３】
＜情報取得部222＞
以下で、情報取得部222の処理について詳しく説明する。情報取得部222は、チャート画像の移動速度及び周波数、並びにチャート画像ファイル及びパラメータ最適化範囲ファイルのファイルパスなど、後段の処理で必要な情報を取得する。以下に、情報取得部222がこれらの情報を取得する方法の一例を示すが、その取得方法はこれに限られるわけではない。
【０１４４】
図３７は、情報取得部222がユーザ入力を取得するために用いるＧＵＩの一例である。情報取得部222は、アプリケーションウィンドウ3701をディスプレイ204上に表示させる。ユーザは、プルダウンメニュー3702を用いて情報を設定しようとする撮影モードを選択する。ここで、ユーザはそれぞれの撮影モード（本実施例の場合は撮影モードＡ、撮影モードＢ、及び撮影モードＣの３種類）に対して、以下の操作を繰り返す。
【０１４５】
次に、ユーザはフォーム3703に、ＨＤＤ205に保存されているチャート画像ファイルのファイルパスを入力する。情報取得部222は、フォーム3703に入力されたファイルパスに従って、ＨＤＤ205からチャート画像corgを含むチャート画像ファイルを取得する。チャート画像corgはある特定の周波数を有するチャート画像であり、その一例が図38(A)に示されている。このチャート画像corgは、チャート周波数変更部223がチャート画像cを作成するために用いられる。
【０１４６】
同様にユーザは、フォーム3704に、ＨＤＤ205に保存されているパラメータ最適化範囲ファイルのファイルパスを入力する。パラメータ最適化範囲ファイルは、パラメータ最適化部224が撮像装置103の撮像パラメータを設定するために用いられる。さらにユーザは、フォーム3705にチャート移動速度を入力する（チャート移動速度指定部）。フォーム3705に入力された値は、チャート映像作成部207がチャート映像を作成する際に用いられる。またユーザは、フォーム3706にチャートの基本周波数を入力する（周波数特性指定部）。フォーム3706に入力された値に応じて、チャート周波数変更部223は、チャート画像corgの周波数を変更する。
【０１４７】
それぞれの撮影モードについて上述の情報を入力した後に、ユーザがボタン3707をマウス203でクリックすることにより、撮影及び評価値の算出処理が開始される。そして、各撮影モードごとに、評価値が最小となったパラメータの組み合わせが、フォーム3708に表示される。
【０１４８】
＜チャート周波数変更部223＞
チャート周波数変更部223は、フォーム3706に指定された値sを周波数として有するチャート画像cを作成する。具体的にはチャート周波数変更部223は、チャート画像corgの周波数を変更することにより、チャート画像cを作成する。本実施例においてチャート周波数変更部223は、チャート画像corgを拡大又は縮小することによりチャート画像cを生成するが、本発明はこれに限定されない。
【０１４９】
チャート画像corgの周波数を変更してチャート画像cを得る方法について以下に説明する。チャート画像corg（x,y）の基本周波数をpとすると、チャート画像cの各座標x',y'は
【数６】
と表わされる。ここで、チャート画像corgの基本周波数pは外部から与えられてもよい。例えば、基本周波数pはユーザによって入力されてもよい。また基本周波数pは、例えばチャート画像corgのヘッダ部に記録されていてもよい。さらに、チャート画像corgを解析することにより基本周波数pが算出されてもよい。例えば、チャート画像corgをフーリエ変換し、その交流成分のうち、最大のパワーを持つ周波数をpとしてもよい。
【０１５０】
チャート画像corgとして図３８（Ａ）に示される画像を用い、p/sが２である場合に得られるチャート画像cを、図３８（Ｂ）に示す。同様に、チャート画像corgとして図３８（Ａ）に示される画像を用い、p/sが１／２である場合に得られるチャート画像cを、図３８（Ｃ）に示す。
【０１５１】
本実施例において、チャート画像cはx方向の周波数を有する。しかしながら、チャート画像cがy方向の周波数を有してもよいし、x方向とy方向との双方の周波数を有してもよい。また、本実施例においてチャート画像cは矩形画像であるが、任意の自然画像であってもよい。例えば、撮影モードに応じて適した画像がチャート画像cとしてそれぞれ選択されてもよい。
【０１５２】
＜パラメータ最適化部224＞
パラメータ最適化部224は、撮像装置103の撮像パラメータを設定する。パラメータ最適化部224は、情報取得部222によって取得されたパラメータ最適化範囲ファイルのファイルパスに従って、ＨＤＤ205に格納されたパラメータ最適化範囲ファイルを読み込む。パラメータ最適化範囲ファイルの一例を図３９に示すが、パラメータ最適化範囲ファイルがこれに限定されるわけではない。
【０１５３】
パラメータ最適化範囲ファイルの各行には、１回の撮影において指定される撮像パラメータ値のセットが記述されている。つまり、パラメータ最適化範囲ファイルの行数は、１つの撮影モードについてパラメータ最適化を行うために用いられる撮影及び評価の回数と一致する。
【０１５４】
図３９において、FRは撮影フレームレート[fps]を表し、ssはシャッタースピード[1/sec]を表す。また、NR_prm1及びNR_prm2はノイズリダクション処理に用いるパラメータを表し、Shapr_prm1はシャープネス処理に用いるパラメータを表す。記述されるパラメータはこれらに限定されず、他のパラメータが記述されていてもよいし、記述されるパラメータはもっと少なくてもよい。
【０１５５】
本実施例においては、予めパラメータ最適化範囲ファイルに記述されたパラメータの組を用いて評価値が算出され、最も良い評価値を与えるパラメータの組み合わせが最適なパラメータとして決定された。しかしながら、動きの滑らかさ評価値を用いた最適化パラメータの最適化方法は、これに限らない。例えば、予めパラメータの範囲を定めるのではなく、逐次的にパラメータを更新し、評価値が収束した際に最適化を終了してもよい。
【実施例９】
【０１５６】
実施例８では、チャート画像corgを指定し、それを拡大又は縮小することによりチャート画像cを作成した。しかしながら、本発明はこの方法に限定されない。実施例９では、ユーザはチャートの周波数特性を入力し、入力された周波数特性に従ってパラメータ最適化装置105がチャート画像cの作成を行う。実施例９におけるパラメータ最適化装置105の構成を図４０に示す。以下では、実施例８との違いについてのみ説明する。
【０１５７】
＜情報取得部222＞
情報取得部222は、チャート画像の移動速度及びチャート画像の周波数、並びにパラメータ最適化範囲ファイルのファイルパスなど、後段の処理で必要な情報を取得する。以下に、情報取得部222がこれらの情報を取得する方法の一例を示すが、その取得方法はこれに限られるわけではない。
【０１５８】
図４１は、情報取得部222がユーザ入力を取得するために用いるＧＵＩの一例である。情報取得部222は、アプリケーションウィンドウ4101をディスプレイ204上に表示させる。アプリケーションウィンドウ4101は、パラメータ最適化範囲ファイルのファイルパスを入力するフォーム4103、チャート移動速度を入力するフォーム4104、及びチャート周波数を入力するフォーム4105を有する。これらは、アプリケーションウィンドウ3701が有するものと同様である。しかしながらアプリケーションウィンドウ4101は、チャート画像ファイルのファイルパスを入力するフォームを有さない。実施例９においては、フォーム4105に入力された値に応じて、チャート画像作成部226がチャート画像cを作成する。
【０１５９】
それぞれの撮影モードについて上述の情報を入力した後に、ユーザがボタン4106をマウス203でクリックすることにより、撮影及び評価値の算出処理が開始される。そして、各撮影モードごとに、評価値が最小となったパラメータの組み合わせが、フォーム4107に表示される。
【０１６０】
＜チャート画像作成部226＞
チャート画像作成部226は、情報取得部222が取得したチャートの周波数特性s[cycles/pixel]を有するチャート画像cを作成する。本実施例においてチャート画像作成部226は、以下の式に従ってチャート画像c(x,y)を作成する。
【数７】
ここで、sgnは符号関数を表し、sinは正弦関数（サイン波）を表す。また、xは画像の横座標を表し、yは画像の縦座標を表す。本実施例で得られるチャート画像cは矩形波であるが、チャート画像cの種類はこれに限定されず、例えばサイン波であってもよい。
【０１６１】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【０００１】
本発明は、動画の質を評価する技術に関し、特に複数のフレーム画像により構成される映像の動きの滑らかさを評価する技術に関する。
【背景技術】
【０００２】
従来より、動画における動きの滑らかさを評価する様々な方法が公開されている。例えば、動きの不連続性（ジャダー、ジャーキネス）や、ボケなどにより、動きの滑らかさは劣化する。動きの滑らかさ劣化の一因として、映像ソースのフレームレート変換がある。特許文献１は、このようなフレームレート変換による動きの滑らかさ劣化を定量的に評価するための技術を提案している。具体的には特許文献１によれば、被写体の移動速度に応じた視覚の空間帯域幅に従って、画像内の空間周波数のパワーの総和をフレームごとに計算することにより、評価値が算出される。
【０００３】
また、デバイスの表示特性も動きの滑らかさに大きく影響する。特許文献２は、このようなデバイスの表示特性による動きの滑らかさ劣化を定量的に評価するための技術を提案している。特許文献２においては、画面上を移動するチャートを、カメラが追従しながら撮影する。そして、取得された静止画のボケ量からディスプレイの時間応答特性を求めることにより、評価値が算出される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０７２６６５号公報
【特許文献２】特開２００５−３３３５６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の方法は、フレームごとに画像内の空間周波数のパワーの総和が求められる。したがって特許文献１に記載の方法では、フレーム間で被写体の動きベクトルが大幅に変わる場合、評価精度が低下する可能性があった。また特許文献２に記載の方法によれば、チャートの動きは一枚の静止画に集約されるため、チャートの動きの時間的な変化が評価値に反映されない。動画の質を評価するために、より主観との相関が高い、高い精度の評価値を求めることが求められている。
【０００６】
本発明は、動画の質を評価する際に、フレーム画像間における画像の変化が考慮された、より高い精度の評価値を求めることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。すなわち、
動画像の品質を示す評価値を算出する情報処理装置であって、
チャート画像を各フレーム画像に含む入力動画のデータを入力する第１の入力手段と、
前記入力動画の各フレーム画像における前記チャート画像の位置を示す位置情報を取得する第２の入力手段と、
前記入力動画の各フレーム画像から、前記チャート画像が映っている部分画像を前記位置情報に従って切り出し、該切り出された部分画像をフレーム画像として有する変換動画を生成する切り出し手段と、
前記変換動画を少なくとも時間方向に周波数変換する変換手段と、
前記変換手段が得た周波数成分値に従って前記評価値を算出する算出手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
動画の質を評価する際に、フレーム画像間における画像の変化が考慮された、より高い精度の評価値を求めることができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１に係る映像評価システムの構成の一例を示すブロック図。
【図２】実施例１に係る映像評価装置の構成の一例を示すブロック図。
【図３】実施例１で情報設定部が用いるウィンドウを示す模式図。
【図４】実施例１におけるチャート映像Vorgの模式図。
【図５】実施例１におけるチャート映像作成部の動作を表すフローチャート。
【図６】視線情報の算出結果の例を示す図。
【図７】実施例１における座標変換部の動作を表すフローチャート。
【図８】撮影映像Vの模式図。
【図９】座標変換結果V'の模式図。
【図１０】実施例１における視覚特性反映部の動作を表すフローチャート。
【図１１】視覚特性の模式図。
【図１２】実施例１における時間妨害成分と空間妨害成分を表す模式図。
【図１３】実施例１における評価値算出部の動作を表すフローチャート。
【図１４】撮影映像Vに対応する動画質劣化のない映像の模式図。
【図１５】実施例２で情報設定部が用いるウィンドウを示す模式図。
【図１６】実施例２で情報設定部が用いるウィンドウを示す模式図。
【図１７】実施例３に係る映像評価装置の構成の一例を示すブロック図。
【図１８】実施例４で情報設定部が用いるウィンドウを示す模式図。
【図１９】実施例５に係る映像評価システムの構成の一例を示すブロック図。
【図２０】実施例５に係る映像評価装置の構成の一例を示すブロック図。
【図２１】実施例５で情報設定部が用いるウィンドウを示す模式図。
【図２２】実施例５における差分計算部の動作を表すフローチャート。
【図２３】実施例５における評価値算出部の動作を表すフローチャート。
【図２４】実施例６における座標変換部の動作を表すフローチャート。
【図２５】実施例６における座標変換部の動作を表すフローチャート。
【図２６】水平−時間画像生成処理を説明する模式図。
【図２７】実施例６における座標変換部の動作を表すフローチャート。
【図２８】水平−時間画像から視野相当部分を切り出す処理を説明する模式図。
【図２９】水平−時間画像から切り出された座標変換画像の模式図。
【図３０】視線移動速度に応じた空間視覚特性の変更を説明する模式図。
【図３１】実施例１及び実施例５に係る処理のフローチャート。
【図３２】実施例８における撮影モードを説明する図。
【図３３】実施例８に係る撮像パラメータ最適化システムの一例を示す模式図。
【図３４】実施例８に係るパラメータ最適化装置の構成の一例を示すブロック図。
【図３５】実施例８に係る映像評価装置の構成の一例を示すブロック図。
【図３６】実施例８における処理のフローチャート。
【図３７】実施例８においてユーザ入力を取得するために用いるＧＵＩ。
【図３８】実施例８で用いられるチャート画像の例。
【図３９】実施例８で用いられるパラメータ最適化範囲ファイルの例。
【図４０】実施例９に係るパラメータ最適化装置の構成の一例を示すブロック図。
【図４１】実施例９においてユーザ入力を取得するために用いるＧＵＩ。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例を図面に基づいて説明する。ただし、本発明の範囲は以下の実施例に限定されるものではない。
【実施例１】
【００１１】
実施例１に係る情報処理装置である映像評価装置101は、ディスプレイ102における動画表示の品質を示す評価値を算出する。より具体的には映像評価装置101は、ディスプレイに表示された動画の動きの滑らかさを示す評価値を算出する。本実施例によれば、ディスプレイの表示特性の動きの滑らかさへの影響を評価できる。実施例１によれば、フレーム間のつながりを考慮することで、高い精度で動画の質を評価することができる。具体的には、映像の各フレームから、観察者の視野内の画像を抽出する。そして、抽出された映像に対して少なくとも時間方向の周波数成分を算出することにより、動きの滑らかさの評価値を算出する。
【００１２】
図１を参照して、本実施例に係る映像評価装置101が行う処理について説明する。映像評価装置101はまず、チャート映像Vorgをディスプレイ102へと出力する。撮像装置103は、ディスプレイ102に表示されたチャート映像Vorgを撮影する。そして映像評価装置101は、撮像装置103が撮影した動画像を受け取り、この動画像について動きの滑らかさを示す評価値を算出する。本実施例において映像評価装置101は、チャート映像Vorgの出力と、評価値の算出との双方を行うものとする。しかしながら、チャート映像Vorgの出力と、評価値の算出とは、別々の装置によって行われてもよい。
【００１３】
ディスプレイ102は、上述のように映像評価装置101からチャート映像Vorgを受け取り、チャート映像Vorgをパネル上に表示する。撮像装置103は、垂直同期信号や制御信号を映像評価装置101から受け取ることができる。こうして撮像装置103は、ディスプレイ102の表示タイミングと同期をとって、映像を撮影することができる。撮像装置103は、撮影の結果得られる撮影映像Vを、映像評価装置101へと渡す。
【００１４】
次に、チャート映像Vorgについて説明する。上述のように、ディスプレイ102によるチャート映像Vorgの表示が、映像評価装置101によって評価される。本実施例におけるチャート映像Vorgは、所定のチャート画像が画面上を移動する動画像である。具体的には、所定のチャート画像が水平方向に移動する動画像が、本実施例におけるチャート映像Vorgとして用いられる。
【００１５】
＜映像評価装置101の構成＞
図２を参照して、映像評価装置101の構成について説明する。ＣＰＵ201は、映像評価装置101全体の動作を制御する。具体的にはＣＰＵ201は、ユーザからの指示をキーボード202又はマウス203のような入力装置を介して取得することができる。またＣＰＵ201は、動画の再生、撮影及び評価を制御することができる。映像評価装置101は撮像装置103と接続されている。ＣＰＵ201は、撮像装置103に対するデータファイルの伝送、及び撮像装置103の制御を行うことができる。また、ディスプレイ102も同様に映像評価装置101と接続されている。ＣＰＵ201は、評価値算出部214が算出した評価値をディスプレイ204に表示することができる。このようなＣＰＵ201の動作は、例えばＨＤＤ205のような記憶媒体に記録されたコンピュータプログラムを、例えばＲＡＭ230のようなメモリに読み出し、このプログラムに従ってＣＰＵ201が動作することにより、実現されうる。
【００１６】
次に、映像評価装置101が行う動作の概略を図３１（Ａ）のフローチャートを参照して説明しながら、映像評価装置101が備える各部について簡単に説明する。ステップS3110において情報設定部206は、チャート映像Vorgに含まれるチャート画像cを取得する（第３の入力手段）。具体的には情報設定部206は、キーボード202又はマウス203を介して、チャート画像cの指定をユーザから受け取る。例えばユーザは、チャート画像cが格納されているファイルパスを指定すればよい。これを受けてＣＰＵ201がチャート画像cをＨＤＤ205から読み込む。情報設定部206は、ＣＰＵ201からチャート画像cを受け取り、チャート映像作成部207に渡す。
【００１７】
ステップS3120においてチャート映像作成部207は、チャート画像cを含むチャート映像Vorgを作成する。ステップS3130において映像出力部208は、チャート映像Vorg（表示動画）をディスプレイ102に表示する。ディスプレイ102に表示されたチャート映像Vorgは、撮像装置103によって撮影される。このとき映像取得部209は、撮像装置103の動作を制御しうる。そして映像取得部209は、撮像装置103によって撮影された撮影映像V（入力動画）を、撮像装置103から受け取る（第１の入力手段）。
【００１８】
以上にように得られた撮影映像V及びチャート画像cを用いて、映像評価装置101は動画の動きの滑らかさを示す評価値を算出する。この処理は、視線算出部210、座標変換部211、周波数解析部212、視覚特性反映部213、評価値算出部214を含む各部によって行われる。
【００１９】
ステップS3140において視線算出部210は、撮影映像Vに対する視線情報eを得る（第２の入力手段）。ここで視線情報とは、チャート映像Vorgを人間が見る際の視線中心に関する情報であり。具体的には、撮影映像Vの各フレーム画像ごとに、視線中心の座標が記述されている。
【００２０】
ステップS3150において座標変換部211は、撮影映像V及び視線情報eを読み込み、視野に相当する部分を撮影映像Vの各フレーム画像から切り出す（切り出し手段）。この切り出し処理は、座標変換処理に相当する。人間が動くオブジェクトを見る場合には、オブジェクトを網膜の中心で捉えるように、追従視を行う。この座標変換処理により、座標変換部211は、人間の網膜上に結ばれる映像を再現できる。具体的には座標変換部211は、それぞれのフレーム画像について視線情報eが示す視線中心が所定の座標に位置するように、それぞれのフレーム画像に対して座標変換を行う。こうして座標変換部211は、撮影映像Vから座標変換結果V'（変換動画）を生成する。
【００２１】
ステップS3160において周波数解析部212は、座標変換部211で得られた座標変換結果V'に対して周波数解析処理（周波数変換処理）を施す（変換手段）。具体的には周波数解析部212は、座標変換結果V'に対して３次元フーリエ変換を行うことにより、周波数解析結果Fv(u,v,f)を得る。ここで、uは水平方向の空間周波数(単位はcycles/degree)、vは垂直方向の空間周波数(単位はcycles/degree)、fは時間周波数(単位はHz)である。本実施例において周波数解析部212は、３次元フーリエ変換を用いて、空間方向及び時間方向についての、座標変換結果V'の周波数を算出する。しかしながら周波数解析部212は、例えばウェーブレット変換などの他の周波数解析手法を用いて、周波数を算出してもよい。
【００２２】
ステップS3170において視覚特性反映部213は、周波数解析部212が算出した周波数解析結果Fvに対して、視覚特性を反映させる処理を行う。具体的には視覚特性反映部213は、Fv(u,v,f)に対して時間・空間視覚特性を乗算することにより、F1(u,v,f)を算出する。このようにして、視覚特性反映部213は、周波数解析結果Fvに対して、視覚特性関数を用いて、表示を観察する観察者の視覚特性に従って重み付けを行う。この処理によって、周波数解析結果Fvのうち、人間が知覚できる周波数成分を抽出することができる。別の実施例において視覚特性反映部213は、座標変換結果V'に対して時間・空間視覚特性を乗算する代わりに、座標変換結果V'に対して視覚特性を表すフィルタ係数を用いた畳みこみ演算を行ってもよい。
【００２３】
ステップS3180において評価値算出部214は、F1(u,v,f)とチャート画像cとを用いて評価値を算出する（算出手段）。具体的には評価値算出部214は、F1(u,v,f)のパワースペクトルからチャート画像cのパワースペクトルの差をとることにより妨害成分を抽出する。そして、妨害成分の周波数成分量をもとに、動きの滑らかさを示す評価値が算出される。
【００２４】
以下では、映像評価装置101が備える各処理部について、より詳しく説明する。
【００２５】
＜情報設定部206＞
情報設定部206は、チャート映像Vorgに含まれるチャート画像cを取得する。情報設定部206は以下のようにして、チャート画像cを示すユーザ入力を取得することができる。以下に、情報設定部206がチャート画像を取得する方法の一例を示すが、チャート画像の取得方法はこれに限られるわけではない。図３は、情報設定部206がチャート画像cを示すユーザ入力を取得するために用いるＧＵＩの一例である。情報設定部206は、アプリケーションウィンドウ301をディスプレイ204上に表示させる。するとユーザは、フォーム302に、ＨＤＤ205に保存されているチャート画像ファイルのファイルパスを入力する。情報設定部206は、フォーム302に入力されたファイルパスに従って、ＨＤＤ205からチャート画像cを含むチャート画像ファイルを取得する。
【００２６】
チャート画像cの一例を図４に示す。図４に示されるように、チャート画像cにはチャート401が含まれている。しかしながらチャートc画像に含まれるチャートは何でもよく、例えば自然画像であってもよい。またユーザは、ボタン303をマウス203でクリックすることにより、評価値の算出処理の開始を指示することができる。ユーザによって処理の開始が指示されると、チャート映像Vorgの撮影及び評価処理が開始する。算出された評価値は、フォーム304に表示される。
【００２７】
＜チャート映像作成部207＞
チャート映像作成部207は、チャート画像cを含むチャート映像Vorgを作成する。以下では、チャート映像作成部207の動作について図５のフローチャートを用いて説明する。ステップS501でチャート映像作成部207は、情報設定部206からチャート画像cを取得する。ステップS502でチャート映像作成部207は、処理フレーム番号を初期化する。具体的にはチャート映像作成部207は、処理フレーム番号として０を設定すればよい。
【００２８】
ステップS503でチャート映像作成部207は、チャート画像cに対して水平方向のシフト演算処理を行う。本実施例においては、チャート画像を左方向へとシフトするものとする。そしてチャート映像作成部207は、シフトされたチャート画像cを、処理フレーム番号で示されるフレームについてのフレーム画像として保存する。チャート映像Vorgにおける、チャート画像cの水平方向の移動速度をvx[pixels/frame]とする場合、第nフレームの水平方向のシフト量shift(n)=-vx・nとなる。すなわちステップS503においてチャート映像作成部207は、チャート画像cをvxピクセルだけ水平移動させればよい。
【００２９】
ステップS504でチャート映像作成部207は、処理フレーム番号を更新する。具体的には、処理フレーム番号に１を加えればよい。ステップS505でチャート映像作成部207は、処理フレーム番号が最終フレーム番号を超えているか否かを判定する。超えていなければ、処理はステップS503に戻る。超えていれば、処理は終了する。最終フレーム番号は、チャート映像Vorgのフレーム数を示し、予め設定されている。
【００３０】
以上の処理によって、水平方向にvs[pixels/frame]の速度でチャート画像cが移動する、チャート映像Vorgが作成される。チャート映像作成部207は、チャート映像Vorgに対して、フレームレートを示すフレームレート情報を追加してもよい。チャート映像Vorgのフレームレートは、ディスプレイ102の駆動周波数に対応する値に設定されうる。
【００３１】
＜映像出力部208及び映像取得部209＞
映像出力部208は、チャート映像Vorgをディスプレイ102に表示する。すなわち映像出力部208は、チャート映像作成部207が作成したチャート映像Vorgをディスプレイ102に転送する。こうして、ディスプレイ102に評価映像Vorgが再生され始める。このときディスプレイ102は、チャート映像Vorgのフレームレート情報に対応する駆動周波数で動作する。
【００３２】
また映像取得部209は、撮影の開始および終了に関する制御信号を撮像装置103に送る。撮影の開始を示す制御信号に従って、撮像装置103は撮影を開始する。さらに映像取得部209は、垂直同期信号を撮像装置103へ出力することができる。この垂直同期信号は、チャート映像Vorgのフレームレート情報に対応する周波数を持ちうる。撮像装置103は、この垂直同期信号に同期してシャッタータイミングを制御する。こうして撮像装置103は、１回の露光時間がディスプレイ102の表示フレーム間をまたがないように、撮像を行うことができる。すなわち撮像装置103は、ディスプレイ102に表示されるそれぞれのフレーム画像を別々に撮影することができる。
【００３３】
撮影の終了を示す制御信号に従って、撮像装置103は撮影を終了する。また映像出力部208は、チャート映像Vorgをディスプレイ102に転送するのをやめる。撮像装置103により撮影された映像Vは、映像取得部209へと入力される。
【００３４】
＜視線算出部210＞
視線算出部210は、撮影映像Vに対する視線情報eを取得する。上述のように視線情報eは、それぞれのフレームについての視線中心座標によって構成される。本実施例においては、人間の視線はチャート映像Vorgのそれぞれのフレームに含まれるチャート401の中心にあるものと仮定する。すなわち、チャート401の中心座標を、それぞれのフレームについての視線中心座標とする。具体的には本実施例において、フレーム番号tについての視線中心座標(ex(t),ey(t))は以下の式で表される。
ex(t) = Cx + vx・t
ey(t) = Cy
ここで、チャート画像cの水平方向の移動速度をvxとする。また、チャート画像Vorgの１番目のフレーム画像における、チャート画像cに含まれるチャート401の中心座標を(Cx, Cy)とする。
【００３５】
水平方向のチャート移動速度vxは、チャート映像作成処理で用いた値と同じものでありうる。また視線算出部210は、チャート画像cと撮影映像Vとから、移動速度vxを算出してもよい。具体的には、撮影映像Vの各フレームに対してチャート画像cを位置合わせすることにより、移動速度vxを算出してもよい。例えば、連続するフレーム間におけるチャート画像cのその位置ずれ量の平均を、移動速度vxとすることができる。このように、視線算出部210は、撮影映像Vの各フレーム画像におけるチャート401の位置を示す、視線情報e（位置情報）を取得する。
【００３６】
算出された視線情報の例を図６に示す。図６は、視線の中心座標がフレームごとに5pixelずつ左方向に移動する場合の、視線情報を示す。図６において、「フレーム番号」は撮影映像Vの開始フレームからのフレーム数を示す。また、「視線中心座標」はそれぞれのフレームにおける視線中心座標を表し、イコール記号の後に座標値が記述されている。視線中心座標は、撮影映像Vのフレーム画像の座標と対応しており、(w,h)の形式で記述されている。ここで、wは水平方向の座標、hは垂直方向の座標である。
【００３７】
＜座標変換部211＞
座標変換部211は、視野に相当する画像領域を撮影映像Vの各フレーム画像から切り出す。以下で、座標変換部211について、図７のフローチャートを参照して詳しく説明する。ステップS701で座標変換部211は、撮影映像Vの開始フレームを処理フレームとして取得する。また座標変換部211は、処理フレーム番号tを初期化する。具体的には座標変換部211は、処理フレーム番号として０を設定すればよい。
【００３８】
ステップS702で座標変換部211は、処理フレームを構成する各画素の画素値を、輝度値に変換する。例えば、あらかじめ撮像装置103における画素値と輝度値との対応関係が記録されている場合、この対応関係を用いて座標変換部211は画素値を輝度値へと変換することができる。この対応関係は例えば、ルックアップテーブルとして記録されうる。もっとも、画素値を輝度値に変換することは必須ではない。画素値がそのまま用いられてもよいし、明度値などの他の色値に変換されてもよい。ステップS703で座標変換部211は、視線算出部から受け取った視線情報eを参照して、処理フレーム番号tに対応する視線中心座標(ex(t),ey(t))を取得する。
【００３９】
ステップS704で座標変換部211は、視線中心座標(ex(t), ey(t))を中心とする、水平方向に2dx+1ピクセル、垂直方向に2dy+1ピクセルの領域内の画像を、ステップS702における変換後の処理フレームから抽出する。抽出された画像が、座標変換結果V'(x,y,t)である。dx及びdyは例えば、抽出された画像をディスプレイ102に表示した場合に、撮像装置103から見て表示された画像が水平方向と垂直方向とのそれぞれについて2度視野に対応するように、設定されうる。図８は、水平方向をx、垂直方向をy、処理フレームをtとした場合の撮影映像V(x,y,t)の模式図を示す。また図９は、V'(x,y,t)の模式図を示す。
【００４０】
本実施例においてV'(x, y, t)は、以下の式に従って抽出される。
V(x,y,t) = V'(x-ex(t),y-ey(t),t)
ここで、x,yの範囲は以下のように表される。
ex(t)-dx≦x≦ex(t)+dx
ey(t)-dy≦y≦ey(t)+dy
上述のように、本実施例において視線中心座標はチャート401の位置に対応するから、この処理によって、チャート401が映っている部分画像が、撮影映像Vから切り出される。
【００４１】
ステップS705で座標変換部211は、処理フレーム番号tを更新する。具体的には座標変換部211は、処理フレーム番号tに１を加えればよい。ステップS706では座標変換部211は、処理フレーム番号tが最終フレーム番号を超えているか否かを判定する。超えていない場合、処理はステップS702に戻る。超えている場合、図７の処理は終了する。
【００４２】
＜視覚特性反映部213＞
視覚特性反映部213は、周波数解析部212が算出した周波数解析結果Fvに対して、視覚特性を反映させる処理を行う。以下では、視覚特性反映部213の動作に関して、図１０のフローチャートを参照して詳細に説明する。ステップS1001で視覚特性反映部213は、視覚特性関数を取得する。この視覚特性関数は、予め作成され、例えばＨＤＤ205などの記憶部に格納されていてもよい。
【００４３】
以下に、本実施例において用いられうる視覚特性関数の一例について説明する。本実施例において用いられる視覚特性関数は、図１１の（Ａ）に示す空間周波数視覚特性と図１１の（Ｂ）に示す時間周波数視覚特性を乗算することにより得られる。すなわち、本実施例において用いられる時空間の視覚特性関数Vtf(u,v,f)は、以下の式で表される。
Vtf(u,v,f) = T(f)・S(u)・S(v)
ここで、Tは時間周波数[Hz]に対する視覚感度特性を表す関数であり、Sは空間周波数[cycles/degree]に対する視覚感度特性を表す関数である。
【００４４】
本実施例において、関数TとしてはKellyの時間VTFが、関数SとしてはDooleyの空間VTFが、それぞれ用いられる。具体的には、関数T及び関数Sは以下のように表される。
T(f) = 4.02*(1-0.85*exp(-0.1*f))*exp(-0.138*f)
S(u) = 5.05*(1-exp(-0.1*u))*exp(-0.138*u)
【００４５】
ステップS1002で視覚特性反映部213は、周波数解析結果Fvと視覚特性関数とを乗算する。具体的には、視覚特性が反映された周波数解析結果F1は、周波数解析結果Fv及び視覚特性関数Vtfを用いて、以下のように表される。
F1(u,v,f) = Fv(u,v,f) * Vtf(u,v,f)
【００４６】
＜評価値算出部214＞
評価値算出部214は、視覚特性が反映された周波数解析結果F1(u,v,f)とチャート画像cとを用いて評価値を算出する。この処理は、妨害成分抽出処理と評価値計算処理とを含む。評価値算出部214はまず、視覚特性が反映された時空間周波数パワースペクトルと、チャート画像のパワースペクトルとの差をとることにより、妨害成分を抽出する。パワースペクトルの差分をとることにより、チャート画像に含まれない周波数パワーが、妨害成分として抽出される。
【００４７】
評価値算出部214はそして、抽出された妨害成分のうち、時間周波数が０である周波数成分を空間妨害成分として、それ以外の領域の成分を時間妨害成分として、それぞれ算出する。そして評価値算出部214は、空間妨害成分と時間妨害成分との線形和をとることにより、定量的な評価値を算出する。空間妨害成分及び時間妨害成分の模式図を図１２に示す。
【００４８】
空間妨害成分は、図１２に示すように、時間周波数f=0であるu-v周波数平面上の周波数成分であり、時間周波数成分をもたない。これは、ボケや多重像などの静止画における画像劣化成分に相当する。一方で時間妨害成分は、図１２に示すように、f=0であるu-v周波数平面以外の空間の周波数成分であり、時間周波数成分をもつ。これは、動きの不連続性に伴うガタガタ感（ジャーキネス又はジャダー）及びフリッカなどの、時間方向の画像劣化に相当する。
【００４９】
評価値算出の具体的な手順について、図１３のフローチャートを参照して詳しく説明する。ステップS1301で評価値算出部214は、視覚特性反映部213が算出した周波数解析結果F1(u,v,f)の信号強度値|F1(u,v,f)|を算出する。
【００５０】
ステップS1302で評価値算出部214は、ディスプレイ102が画像劣化なく撮影映像Vを表示した場合についての、周波数解析結果Fref(u,v,f)を算出する。本実施例においては、画像劣化（動画像劣化）がない場合には撮影映像V内の各フレームについて同じ位置にチャート画像cが表示される。すなわち画像劣化がない場合、図１４に示すように、チャートの中心が常に視線中心と一致する。したがってこの場合、時間方向の周波数成分は存在しない。このため評価値算出部214は、以下のように、f=0の場合についての周波数解析結果F2(u,v)を算出する。
【００５１】
まず評価値算出部214は、チャート画像cを所定の位置に含み、撮影映像Vと同じサイズである比較画像を作成し、この比較画像に対してフーリエ変換を施す。この比較画像は、ディスプレイ102が画像劣化なく撮影映像Vを表示した場合の、人間の視野内の画像に相当する。本実施例においては視線の中心はチャート画像cに含まれるチャート401の中心にある。したがって、比較画像の中心座標とチャート401の中心とが一致するように、チャート画像cに対してシフト演算を行うことにより、比較画像が作成される。また、比較画像と撮影映像Vとの間で画像サイズ及び解像度が等しくなるように、比較画像に対して解像度変換処理を施してもよい。さらに評価値算出部214は、得られた比較画像に対して２次元フーリエ変換を施すことにより、フーリエ変換結果Fc(u,v)を得る。
【００５２】
さらに評価値算出部214は、得られたフーリエ変換結果Fc(u,v)に対して、視覚特性を乗算する。ここで用いられる視覚特性関数Vtf2は、以下の式で表される。
Vtf2(u,v) = T(0)・S(u)・S(v)
ここで、S(u)及びS(v)は、視覚特性反映部213が用いた関数と同じである。また、比較画像と撮影映像Vの画像の大きさは同じであるから、Fc(u,v)の単位は撮影映像Vのフーリエ変換結果Fv(u,v,f)と同じとなる。従って評価値算出部214は、以下の式に従ってFc(u,v)に対して視覚特性を乗算し、F2(u,v)を得る。
F2(u,v) = Fc(u,v) * Vtf2(u,v)
【００５３】
以上のように算出されたF2(u,v)を用いて、周波数解析結果Fref(u,v,f)は以下のように表される。
Fref(u,v,f) = F2(u,v) (f=0)
= 0 (f≠0)
【００５４】
本実施例において、評価値算出部214は以上のようにF2(u,v)を算出した。しかしながら本実施例において、F2(u,v)はチャート画像cに対して一意に定められる。したがってF2(u,v)は予め計算されていてもよく、評価値算出部214はこの予め計算された値を例えばＨＤＤ205のような記憶媒体から取得してもよい（第３の入力手段）。
【００５５】
ステップS1303以降で評価値算出部214は、妨害成分を抽出する。この処理は、撮影映像Vと、動画質劣化のない理想的な映像と、の間で周波数成分値の差分をとることを意味する。ステップS1303で評価値算出部214は、ステップS1302で得られたF2(u,v)の信号強度値|F2(u,v)|を算出する。
【００５６】
ステップS1304で評価値算出部214は、空間妨害成分Jspatialを算出する。空間妨害成分Jspatialは、時間周波数が0である平面上のパワースペクトルの総和であり、以下の式に従って計算できる。
【００５７】
【数１】
【００５８】
ステップS1305で評価値算出部214は、時間妨害成分Jtempを算出する。時間妨害成分Jtempは、時間周波数が0でない空間上のパワースペクトルの総和であり、以下の式に従って計算できる。
【００５９】
【数２】
【００６０】
ステップS1306で評価値算出部214は、空間妨害成分Jspatialと時間妨害成分Jtempとの線形和を計算する。具体的には、以下の式に従って計算することができる。
S = α×Jtemp + (1-α)×Jspatial
この式において、αは任意に決定することができる。通常は０≦α≦１であり、時間妨害成分を重視する場合にはより大きい値を持つαが採用されうる。また、空間妨害成分を重視する場合にはより小さい値を持つαが採用されうる。αの値は、例えばＨＤＤ205などの記憶媒体に格納されていてもよいし、例えばキーボード202及びアプリケーションウィンドウ301などを介してユーザによって入力されてもよい。
【００６１】
ステップS1307で評価値算出部214は、ステップS1306で算出された線形和Sに従って、評価値を算出して出力する。例えば評価値算出部214は、線形和Sを評価値としてそのまま出力してもよい。本実施例においては評価値を規格化するために、評価値算出部214は、ディスプレイ102が画像劣化なく撮影映像Vを表示した場合に得られる理想的な映像のパワースペクトルの総和で、線形和Sを除算する。この理想的な映像は、各フレームが上述の比較画像で構成されている映像に相当する。
【００６２】
本実施例において、映像評価装置101は、図２に示される構成を有する。しかしながら本実施例に係る映像評価装置の各部は、専用のハードウェアによって構成されていてもよいし、ソフトウェアによって実現されてもよい。例えば、例えばＨＤＤ205のような記憶媒体に記録されたプログラムを、例えばＲＡＭ230のようなメモリに読み出し、このプログラムに従ってＣＰＵ201が動作することにより、206〜214で示される各部の機能は実現されうる。このことは、以下の各実施例においても同様に当てはまる。
【００６３】
本実施例において評価値算出部214は、撮影映像Vと、動画質劣化のない理想的な映像と、の間で周波数成分値の差分をとることにより、妨害成分を抽出した。しかしながら、妨害成分の抽出方法はこれに限られない。例えば評価値算出部214は、座標変換結果V'の各フレーム画像の画素値から、比較画像の各画素値を減算してもよい（減算手段）。すなわち評価値算出部214は、座標変換結果V'の各フレーム画像と比較画像との差分画像をフレーム画像として有する、差分映像を生成してもよい。この減算処理後の差分映像に対して、上述のように周波数解析処理を行い、必要に応じて視覚特性を反映することにより、妨害成分を抽出することができる。
【００６４】
また本実施例においては、空間妨害成分Jspatialと時間妨害成分Jtempとの線形和に従って評価値を算出した。しかしながら、フレーム間での画像変動についての評価値を得たい場合には、時間妨害成分Jtempのみに従って評価値を算出してもよい。時間妨害成分Jtempは時間周波数成分に従って算出することができるから、この場合、周波数解析処理は時間方向について行われれば十分である。
【００６５】
［実施例１の変形例］
実施例１においては、チャート映像作成部207が作成したチャート映像Vorgをディスプレイ102に表示した。そして、表示された映像を撮像装置103が撮影することによって得られた撮影映像Vに対して評価値を算出した。こうして、表示された動画像の品質を評価することができる。別の例として、実施例１の構成を応用して、作成された動画像の品質を評価することもできる。
【００６６】
本変形例においては、チャート映像作成部207は実施例１と同様に、チャート画像cが移動するチャート映像Vorgを作成する。このときチャート映像作成部207は、チャート映像Vorgに対して画像処理を施すことができる。画像処理の例としては、例えばフレームレート変換処理が挙げられる。そして、映像取得部209は、撮像装置103が撮影した画像ではなく、チャート映像作成部207が作成したチャート映像Vorgを、撮影映像Vとして取得する。このように本変形例においては、チャート映像Vorgをディスプレイ102に表示する必要はない。その他の処理は、実施例１と同様に行われればよい。
【００６７】
本変形例によれば、作成されたチャート映像Vorgのデジタルデータそのものの評価値を算出することができる。より具体的には、フレームレート変換処理のような画像処理による画像品質の変化を定量的に測定することができる。
【実施例２】
【００６８】
実施例１では、チャート映像Vorgにおいてチャート画像cは水平方向に移動した。実施例２では、チャート映像Vorgにおいてチャート画像cは、垂直方向を含む任意の方向に、任意の速度で等速移動する。本実施例では、チャート映像Vorgにおけるチャート画像cの移動方向は、水平方向には限定されない。このようなチャート映像Vorgは予め作成されていてもよい。しかしながら本実施例において情報設定部206は、チャート画像cの垂直方向及び水平方向の移動速度を示すユーザ指定を、ダイアログを介して取得する。そしてチャート映像作成部207は、このユーザ指定に従ってチャート映像Vorgを作成する。このような構成により、任意の方向への動きについて、滑らかさの劣化を評価することが可能となる。以下では、実施例１との差分について説明する。
【００６９】
＜情報設定部206＞
以下では、本実施例に係る情報設定部206の動作について説明する。情報設定部206は、実施例１と同様に、チャート画像ファイルを示すユーザ指定を取得する。また本実施例において情報設定部206は、チャート画像cの移動速度を示すユーザ指定をさらに取得する。具体的にはまず情報設定部206は、アプリケーションウィンドウ1501をディスプレイ204上に表示する。図１５は、本実施例で用いられるアプリケーションウィンドウ1501の一例を示す。ユーザは実施例１と同様に、アプリケーションウィンドウ1501のフォーム1502に、チャート画像cのファイルパスをキーボード202を用いて入力する。
【００７０】
さらにユーザは、ボタン1503をクリックする。すると、撮影情報設定ダイアログ1601がディスプレイ102に表示される。図１６は、ダイアログ1601の一例を示す。ユーザは、チャート画像cにおけるチャート401の中心座標を、水平座標入力フォーム1602及び垂直座標入力フォーム1603に入力する。ユーザはさらに、水平方向のチャート移動速度をフォーム1604に、垂直方向のチャート移動速度をフォーム1605に、それぞれ入力する。こうして、チャートの移動速度と移動方向とが指定される。最後に、ユーザがボタン1606をクリックすることにより、ダイアログ1601の表示が終了し、アプリケーションウィンドウ1501が再び表示される。ユーザがボタン1504をマウス203でクリックすると、映像の撮影及び評価値の算出が行われる。算出された動きの滑らかさの評価値は、フォーム1505に表示される。
【００７１】
＜チャート映像作成部207＞
本実施例に係るチャート映像作成部207の動作は、実施例１と同様であるが、以下の点で異なる。すなわち、ステップS503におけるシフト演算処理が、水平方向だけでなく、垂直方向についても行われる。フォーム1604に指定された水平方向の移動速度をvx、フォーム1605に指定された垂直方向の移動速度をvyとすると、垂直及び水平方向のシフト量shiftx(n)、shifty(n)は、以下の式で示される。
shiftx(n) = vx・n
shifty(n) = vy・n
【００７２】
＜視線算出部210＞
本実施例に係る視線算出部210の動作は、実施例１と同様であるが、以下の点で異なる。すなわち視線算出部210は、フォーム1604及び1605に入力されたチャート移動速度を用いて、以下の式に従って視線情報を計算する。
ex(t) = Cx + vx・t
ey(t) = Cy + vy・t
上式において(ex(t),ey(t))は、フレーム番号tにおける視線中心座標を示す。また、水平方向のチャート移動速度をvx、垂直方向のチャート移動速度をvy、チャート画像cにおけるチャート401の中心座標を(Cx,Cy)とする。視線算出部210は、以上の式に従って得られる視線情報eを、座標変換部211へ渡す。
【００７３】
実施例１と同様に、チャート移動速度vx,vyは、チャート映像作成処理で用いた値と同じものでありうる。また視線算出部210は、チャート画像cと撮影映像Vとから、移動速度vx,vyを算出してもよい。
【実施例３】
【００７４】
実施例１では、ディスプレイ102が画像劣化なく撮影映像Vを表示した場合についての周波数解析結果Fref(u,v,f)を算出するために、チャート401を含むチャート画像cのデータを用いた。実施例３では、周波数解析結果Fref(u,v,f)を算出するために、チャート画像cのデータの代わりに、ディスプレイ102上に表示されたチャート画像cを撮像装置103により撮影することによって得られる静止画像を用いる。本実施例の構成によれば、妨害成分を抽出する際に、撮像装置103の撮像特性の影響を減らすことができる。このため、より高精度に動画像表示の品質を評価できる。以下では、実施例１との差分について説明する。
【００７５】
＜映像評価装置101の構成＞
図１７は、本実施例に係る映像評価装置101の構成を示す。実施例１と同様に、チャート画像cを用いて作成されたチャート映像Vorgを、ディスプレイ102は表示する。そして撮像装置103は、ディスプレイ102に表示されたチャート映像Vorgを撮影し、撮影映像Vとして記録する。さらに本実施例においてディスプレイ102は、チャート画像cを表示する。撮像装置103は、ディスプレイ102に表示されたチャート画像cを撮影し、チャート撮影画像c'として記録する。評価値算出部214は、視覚特性反映部213が算出したF1と、チャート撮影画像c'とを用いて、評価値を算出する。
【００７６】
＜映像出力部208及び映像取得部209＞
本実施例に係る映像出力部208の動作は、実施例１と同様であるが、以下の点で異なる。すなわち映像出力部208は、チャート映像Vorgをマルチプレクサ217へと出力する。また情報設定部206は、チャート画像cをマルチプレクサ217へと出力している。
【００７７】
さらに映像出力部208は、マルチプレクサ217に対して選択信号を送ることにより、マルチプレクサ217にチャート画像cとチャート映像Vorgのいずれかを選択させる。選択されたチャート画像c又はチャート映像Vorgは、ディスプレイ102に転送され、撮像装置103によって撮影される。
【００７８】
まず、チャート映像Vorgの撮影について説明する。チャート映像Vorgの撮影は、実施例１と同様に行われる。まずマルチプレクサ217は、チャート映像Vorgを選択し、ディスプレイ102に出力する。そして映像出力部208は、撮影の開始及び終了に関する制御信号を撮像装置103に送る。こうして、撮像装置103はディスプレイ102に表示されたチャート映像Vorgを撮影する。撮像装置103により撮影された映像Vは、デマルチプレクサ218に転送される。
【００７９】
次に、チャート画像cの撮影について説明する。まずマルチプレクサ217は、チャート画像cを選択し、ディスプレイ102に出力する。そして映像出力部208は、撮影の開始及び終了に関する制御信号を撮像装置103に送る。こうして、撮像装置103はディスプレイ102に表示されたチャート画像cを撮影する。ここで、チャート画像cを撮影する際のシャッタースピードは、チャート映像Vorgの各フレームを撮像する際のシャッタースピードと等しい値に設定されている。また、撮影フレーム数は１枚である。撮像装置103により撮影された画像は、チャート撮影画像c'としてデマルチプレクサ218に渡される。デマルチプレクサ218は、撮像装置103から受け取ったチャート撮影画像c'を評価値算出部214へと出力する。このチャート撮影画像c'が、評価値を算出するために、評価値算出部214によってチャート画像cの代わりに用いられる。すなわち、チャート撮影画像c'を含む評価画像が作成され、この評価画像に対してフーリエ変換が行われる。
【実施例４】
【００８０】
入力された映像のフレームレートを上げて表示するディスプレイが知られている。例えば、複数のフレームを含む映像に対して、各フレームを補間する補間フレームを形成し、それをフレーム間に挿入することで映像を高フレームレート化する、倍速駆動方式が知られている。実施例４では、撮像装置103による撮影のフレームレートを、ディスプレイ102の駆動周波数より高く設定することにより、このようなディスプレイの表示品質を評価する。また本実施例によれば、面順次表示に近いを動作を行うＰＤＰと、ライン順次表示に近い動作を行うＬＣＤとの間における、動きの滑らかさの差なども評価することが可能となる。以下では、実施例１との差分について説明する。
【００８１】
＜情報設定部206＞
本実施例において、情報設定部206は、実施例１と同様にチャート画像cを指定する情報を取得するのに加えて、撮影フレームレートを指定する情報を取得する。まず情報設定部206は、図１８に示すアプリケーションウィンドウ1801をディスプレイ204上に表示する。ユーザは実施例１と同様に、アプリケーションウィンドウ1801のフォーム1802に、ＨＤＤ205に保存されているチャート画像cのファイルパスを入力する。
【００８２】
さらにユーザは、撮像装置103の撮影フレームレートをフォーム1803に入力する。実施例１ではチャート映像Vorgのフレームレートに従って撮像装置103のフレームレートが制御された。本実施例においては、ディスプレイ102内部の画像処理回路で倍速駆動処理が行われうる。この場合、チャート映像Vorgのフレームレートと、ディスプレイ102の駆動周波数とは一致しないかもしれない。そこで本実施例においては、撮像装置103のフレームレートをユーザが指定する。このとき、撮影フレームレートはディスプレイ102の駆動周波数と同じ周波数であってもよい。また、撮影フレームレートを、ディスプレイ102の駆動周波数の整数倍に設定することにより、オーバーサンプリングを行ってもよい。
【００８３】
これらの情報を入力した後、ユーザがボタン1804をマウス203でクリックすることにより、映像撮影及び評価処理が実行される。算出された評価値は、フォーム1805に表示される。
【００８４】
＜映像取得部209＞
映像取得部209は、撮影の開始信号及び終了信号を撮像装置103に送る。本実施例では実施例１とは異なり、撮像装置103におけるシャッターの開閉は、映像取得部209から入力される垂直同期信号ではなく、撮像装置103内部で生成される内部同期信号により制御される。撮像装置103内部で生成される内部同期信号の周波数は、情報設定部206によって制御される。この内部同期信号の周波数は、図１８のフォーム1803を介してユーザにより指定された周波数である。こうして撮像装置103は、ディスプレイ102に表示されるチャート映像Vorgを、ユーザによって指定されたフレームレートで撮影する。こうして撮像装置103により撮影された映像Vは、映像取得部209へと入力される。
【００８５】
＜視線算出部210＞
本実施例において視線算出部210は、撮像装置103の撮影フレームレートを考慮して、視線情報を算出する。具体的には、視線算出部210は、フレーム番号tにおける視線中心座標(ex(t),ey(t))を、以下の式に従って算出する。
ex(t) = Cx + (Forg/Fv)・vx・t
ey(t) = Cy
上式において、評価対象映像VorgのフレームレートをForg、撮像装置103の撮影フレームレートをFv、水平方向のチャート移動速度をvx、チャート画像cにおけるチャート401の中心座標を(Cx, Cy)とする。
【実施例５】
【００８６】
上述の実施例では、チャート画像を含むチャート映像について、表示される動画像の質が評価された。実施例５では、例えば実写動画のような任意の映像について、表示される動画像の質が評価される。本実施例においては、観察者の視線中心座標を取得するために、アイトラッカーが用いられる。アイトラッカーは、観察者が実写動画を見る際の複雑な視線情報を取得することができる。以下、実施例１との差分について説明する。
【００８７】
図１９を参照して、本実施例に係る処理について説明する。映像評価装置101には、ディスプレイ102、撮像装置103及びアイトラッカー104が接続されている。映像評価装置101は、ユーザが指定した評価対象映像Vorgを、ディスプレイ102へと出力する。ディスプレイ102上に表示された評価対象映像Vorgは、撮像装置103によって撮影される。撮影された映像は、映像評価装置101に対して撮影映像Vとして入力される。さらに、アイトラッカー104は、ディスプレイ102上に表示される評価対象映像Vorgを見る際のユーザの視線情報を取得する。映像評価装置101は、この撮影映像Vと視線情報とに基づいて、評価値を算出する。
【００８８】
＜映像評価装置101の構成＞
図２０は、本実施例における映像評価装置101の構成を示す。以下に、本実施例における処理について、図３１（Ｂ）のフローチャートを参照して説明する。ステップS3210において情報設定部206は後述するように、評価対象映像Vorgを取得する（第３の入力手段）。ステップS3220において映像出力部208は、評価対象映像Vorgをディスプレイ102に出力する。本実施例においては評価対象映像VorgはＨＤＤ205などの記憶媒体に格納されている。実施例１のようにチャート画像cからチャート映像Vorgを生成する必要はないため、本実施例に係る映像評価装置101はチャート映像作成部207を有さなくてもよい。そして実施例１と同様に、撮像装置103はディスプレイ102に表示された評価対象映像Vorgを撮影する。映像取得部209は、撮像装置103が撮影した映像を、撮影映像Vとして取得する（第１の入力手段）。
【００８９】
ステップS3230において視線取得部220は、アイトラッカー104から視線情報を取得する（第２の入力手段）。ステップS3240において差分計算部219は、後述するように、評価対象映像Vorgと撮影映像Vの差分を、妨害映像Vsub（差分動画）として算出する（生成手段）。ステップS3250において座標変換部211は、視線情報に従って、妨害映像Vsubの各フレームについて、観察者の視野に相当する部分を切り出すことにより、座標変換結果V'を生成する（切り出し手段）。座標変換部211の処理は実施例１と同様に行うことができるが、本実施例において座標変換部211が用いる視線情報は、視線取得部220がアイトラッカー104から取得したものである。すなわち座標変換部211は、視線情報によって示される観察者の視線が向けられている画素を中心とする所定範囲の画素群を切り出す。そして座標変換部211は、切り出された画素群をフレーム画像として有する座標変換結果V'を生成する。
【００９０】
ステップS3260において周波数解析部212は、実施例１と同様に、座標変換結果V'について周波数解析処理を行うことにより、周波数解析結果Fvを算出する（変換手段）。ステップS3270において視覚特性反映部213は、実施例１と同様に、周波数解析結果に対して視覚特性を反映させることにより、周波数解析結果F1を算出する。ステップS3280において評価値算出部214は、この周波数解析結果F1に従って、後述するように評価値を算出する（算出手段）。以下では、情報設定部206、視線取得部220、差分計算部219、及び評価値算出部214が行う処理について詳しく説明する。
【００９１】
＜情報設定部206＞
まず、情報設定部206の動作について詳しく説明する。まず情報設定部206は、評価対象映像Vorgを指定するユーザ入力を取得する。図２１は、情報設定部206がユーザ入力を取得するために用いうるアプリケーションウィンドウ2101の一例である。
【００９２】
ユーザは、アプリケーションウィンドウ2101のフォーム2102に、ＨＤＤ205に保存されている評価対象映像Vorgのファイルパスを入力する。その後ユーザがボタン2103をマウス203でクリックすると、映像撮影及び評価処理が実行される。算出された評価値は、フォーム2104に表示される。
【００９３】
＜差分計算部219＞
次に、差分計算部219が行う処理について、図２２のフローチャートを参照して説明する。ステップS2201で差分計算部219は、評価対象映像Vorgを読み込む。ステップS2202で差分計算部219は、映像取得部209が取得した撮影映像Vを読み込む。ステップS2203で差分計算部219は、処理フレーム番号を初期化する。例えば差分計算部219は、処理フレーム番号に０を設定すればよい。
【００９４】
ステップS2204で差分計算部219は、処理フレーム番号で指定されるフレームについて、撮影映像Vと評価対象映像Vorgとの差分を算出する。具体的には、処理フレーム番号がnである場合、撮影映像Vの第nフレームと、評価対象映像の第nフレームとの差分を算出すればよい。差分計算部219はそして、得られた差分を妨害映像Vsubの第nフレームとして保存する。
【００９５】
ステップS2205で差分計算部219は、処理フレーム番号を更新する。具体的には差分計算部219は、処理フレーム番号に１を加えればよい。ステップS2206で差分計算部219は、処理フレーム番号が、評価対象映像Vorgの最終フレーム番号を超えているか否かを判定する。超えている場合、処理は終了する。超えていない場合、処理はステップS2204に戻る。以上の処理によって、差分計算部219は妨害映像Vsubを生成する。
【００９６】
＜視線取得部220＞
次に、視線取得部220の動作について説明する。本実施例では、アイトラッカー104を用いて、視線情報を計測する。具体的には、映像出力部208が評価対象映像Vorgをディスプレイ102に出力するのに合わせて、視線取得部220はアイトラッカー104に計測開始を指示する制御信号を送る。ディスプレイ102に正対したユーザがディスプレイ102を見ることで、ユーザがディスプレイ102のどの場所を見ているかが、アイトラッカー104により取得される。
【００９７】
アイトラッカー104は、評価対象映像Vorgのそれぞれのフレームについて、そのフレームが表示されている時のユーザの視線を取得しうる。すなわち、それぞれのフレーム画像についての視線中心座標を、アイトラッカー104は取得しうる。評価対象映像Vorgの表示が終わると、視線取得部220はアイトラッカー104に計測終了信号を送る。そして視線取得部220は、アイトラッカー104により計測された視線情報eを、座標変換部211に入力する。
【００９８】
本実施例においては、評価対象映像Vorgがディスプレイ102に表示されるごとに、視線情報がアイトラッカー104により計測される。しかしながら、複数の異なるディスプレイにおいて評価対象映像Vorgが表示される場合であっても、ユーザの視線は同じように移動することが考えられる。したがって、評価対象映像Vorgを見る際のユーザの視線情報が予め測定され、評価対象映像Vorgに関連付けてＨＤＤ205などの記憶媒体に記録されていてもよい。この場合、視線取得部220は記録されている視線情報を記憶媒体から読み出せばよい。
【００９９】
＜評価値算出部214＞
次に、評価値算出部214の動作について、図２３のフローチャートを参照して説明する。ステップS2301で評価値算出部214は、実施例１と同様に、視覚特性反映部213により算出された周波数解析結果F1(u,v,f)の信号強度値|F1(u,v,f)|を算出する。ステップS2302で評価値算出部214は、空間妨害成分Jspatialを算出する。具体的には評価値算出部214は、時間周波数が0である平面上のパワースペクトルの総和を、空間妨害成分Jspatialとすることができる。すなわち、空間妨害成分Jspatialは以下の式に従って計算できる。
【０１００】
【数３】
【０１０１】
ステップS2303で評価値算出部214は、時間妨害成分Jtempを算出する。具体的には評価値算出部214は、時間周波数が0でない空間上のパワースペクトルの総和を、時間妨害成分Jtempとすることができる。すなわち、時間妨害成分Jtempは以下の式に従って計算できる。
【０１０２】
【数４】
【０１０３】
ステップS2304で評価値算出部214は、実施例１のステップS1306と同様に、空間妨害成分と時間妨害成分の線形和を計算する。具体的には、下式に従って計算すればよい。下式において、αは実施例１と同様に定められうる。
S = α×Jtemp + (1-α)×Jspatial
【０１０４】
ステップS2305で評価値算出部214は、実施例１のステップS1307と同様に、ステップS2304で算出された線形和Sに従って、評価値を算出して出力する。
【０１０５】
本実施例においても、実施例１の変形例と同様に、動画像の表示品質ではなく、動画像そのものの品質を測定することができる。例えば、予め評価対象映像Vorgを見る際のユーザの視線情報を取得しておく。そして映像取得部209は、評価対象映像Vorgに対して画像処理を行って得られる映像を撮像画像Vの代わりに取得する。他の処理を上述のように行うことにより、評価対象映像Vorgに対して画像処理を行って得られる映像の品質を測定することができる。より具体的には、この画像処理による動画像の品質の変化を測定することができる。
【実施例６】
【０１０６】
実施例６では、撮影映像Vにおける水平方向の動きに着目して、実施例１よりも少ない演算量で評価値を算出する。具体的には、座標変換部211の処理及び評価値算出部214の演算量が削減される。これにより、評価値の算出時間の削減が可能となる。以下、実施例１との差分について説明する。
【０１０７】
＜座標変換部211＞
座標変換部211が行う処理について、図２４のフローチャートを参照して説明する。ステップS2401で座標変換部211は、撮影映像Vから、水平−時間画像f(x,t)を抽出する。本実施例で座標変換部211は、撮影映像Vの各フレーム画像から、横一列の画素群を切り出すことにより、水平−時間画像f(x,t)を生成する。本実施例で座標変換部211は、各フレーム画像の中央１ラインの画素を切り出すが、これには限定されない。本実施例においては垂直方向の画像移動を評価しないため、チャート401は垂直方向に一様な画素値を持つ画像であってもよい。
【０１０８】
本実施例では実施例１と同様、チャート映像Vorgにおいてチャート401は横方向に移動するものとする。この場合、本実施例のように撮影映像Vから抽出した横一列の画素群について算出された評価値は、動画像の動きの滑らかさをよく反映するものと考えられる。
【０１０９】
図２６は、ステップS2401で抽出された水平−時間画像の一例を示す。図２６（Ａ）に示されるそれぞれのフレーム画像から、水平方向の画素列を抽出することにより、図２６（Ｂ）に示される水平−時間画像が生成される。図２６（Ｂ）の水平−時間画像において、横方向は各フレーム画像の水平方向（ｘ軸）に対応し、縦方向はフレーム番号に対応する。
【０１１０】
以下で、ステップS2401における処理について、図２５のフローチャートを参照して詳しく説明する。ステップS2501で座標変換部211は、撮影映像Vの開始フレームを処理フレームとして取得する。また、座標変換部211は、処理フレーム番号を撮影映像Vの開始フレーム番号に設定する。
【０１１１】
ステップS2502で座標変換部211は、処理フレームのそれぞれの画素について、画素値を輝度値へと変換する。実施例１と同様に座標変換部211は、ルックアップテーブルを参照して、この変換を行うことができる。ステップS2503で座標変換部211は、処理フレームの中央水平1ラインを切り出し、水平−時間画像の一部として格納する。こうして得られる水平−時間画像f(x,t)は、以下の式で表される。
f(x,t) = v(x,h/2,t)
ここで、フレーム番号tのフレーム画像について、水平座標がx、垂直座標がyである画素の画素値を、v(x,y,t)とする。また、フレーム画像の垂直方向の画素数をhとする。ステップS2501とステップS2502とは、実際には逆の順序で行われてもよい。
【０１１２】
ステップS2504で座標変換部211は、処理フレームと処理フレーム番号とを更新する。具体的には座標変換部211は、処理フレーム番号に１を加え、処理フレーム番号で示されるフレーム画像を処理フレームとして取得すればよい。ステップS2505で座標変換部211は、処理フレーム番号が、最終フレームの番号を超えているか否かを判定する。超えている場合、ステップS2401の処理は終了する。超えていない場合、処理はステップS2502に戻る。
【０１１３】
次に、ステップS2402における処理について、図２７のフローチャートを参照して説明する。ステップS2701で座標変換部211は、処理フレーム番号を撮影映像Vの開始フレーム番号に設定する。ステップS2702で座標変換部211は、フレーム番号tに対応する視線中心のx座標ex(t)を取得する。ステップS2703で座標変換部211は、フレーム番号tについての視野相当部分を切り出す。具体的には座標変換部211は、以下の式に従って、水平−時間画像f(x,t)から座標変換結果V'(x,t)を抽出しうる。
f(x,t) = V'(x-ex(t),t)
ここで、xの範囲は以下のように表される。
ex(t)-dx≦x≦ex(t)+dx
【０１１４】
ステップS2704で座標変換部211は、処理フレーム番号を更新する。具体的には座標変換部211は、処理フレーム番号に１を加えればよい。ステップS2705で座標変換部211は、処理フレーム番号が最終フレーム番号を超えているか否かを判断する。超えている場合、ステップS2402の処理は終了する。超えていない場合、処理はステップS2702に戻る。
【０１１５】
以上の処理により、人間の網膜上に結ばれる映像とその時間変化とを示す座標変換結果V'(x,t)が得られる。図２８は、ステップS2401で得られた水平−時間画像の一例を示す。図２８には、ステップS2703で切り出される領域が示されている。また図２９は、図２８の水平−時間画像に対してステップS2402の処理を行うことによって得られる座標変換結果V'(x,t)の一例を示す。図２８においては、視線の中心座標に相当する画素は、時間とともに水平方向に移動する。図２９においては、視線の中心座標に相当する画素の水平方向の位置は固定されている。
【０１１６】
＜周波数解析部212、視覚特性反映部213、及び評価値算出部214＞
本実施例において周波数解析部212は、座標変換結果V'(x,t)に対して２次元の周波数解析処理を行うことにより、周波数解析結果Fv(u,f)を得る。例えば周波数解析部212は、２次元フーリエ変換を行ってもよい。視覚特性反映部213は、実施例１と同様に周波数解析結果Fv(u,f)に対して視覚特性Vtf(u,f)を反映させることにより、周波数解析結果F1(u,f)を算出する。このとき用いられる視覚特性Vtf(u,f)は、以下のように算出されうる。
Vtf(u,f) = T(f)・S(u)
ここで、Tは時間周波数[Hz]に対する視覚感度特性を表す関数であり、Sは空間周波数[cycles/degree]に対する視覚感度特性を表す関数である。
【０１１７】
評価値算出部214は、実施例１と同様に、周波数解析結果F1(u,f)から空間妨害成分Jspatialと時間妨害成分Jtempとを算出し、これらの線形和を求める。本実施例において空間妨害成分Jspatial及び時間妨害成分Jtempは、以下のように求められうる。
【０１１８】
【数５】
【０１１９】
画像劣化がない場合の周波数解析結果F2(u)は、実施例１及び座標変換部211と同様に、評価値算出部214が算出することができる。通常は、チャート画像cから水平方向の画素列が抽出され、抽出された画素列を用いて周波数解析結果F2(u)が算出される。この場合、チャート画像cから抽出される画素列が、ステップS2503で切り出される画素列に対応するように、評価値算出部214は画素列の抽出を行いうる。
【０１２０】
実施例１においては、３次元画像である座標変換結果V'(x,y,t)を用いて評価値が算出された。しかしながら本実施例においては、２次元画像である座標変換結果V'(x,y,t)を用いて評価値が算出される。このため、本実施例によれば演算量が削減されうる。
【実施例７】
【０１２１】
以上の各実施例では、視覚特性は常に一定であるものとした。しかしながら、視線移動速度が速くなるにつれて視覚の空間周波数感度は鈍くなることが知られている。このことを考慮することにより、さらに評価精度が向上することが期待される。具体的には、図３０に示すように、視線移動速度に応じて空間視覚特性を変更すればよい。具体的には、周波数解析結果Fvに対して乗算する視覚特性Vtfの値が、視線移動速度が速いほど、又はチャートの移動速度が速いほど、小さくなるようにすればよい。また上述の各実施例では、空間周波数特性関数と時間周波数特性関数を単純に積算することにより、時空間周波数特性が求められた。しかしながら、空間周波数特性関数と時間周波数特性関数とのそれぞれに重み付けをしながら積算してもよい。
【０１２２】
妨害成分を抽出する際に、上述の実施例では、画像劣化のない映像と、撮影映像とのパワースペクトルの差分が計算された。しかしながら、画像劣化のない映像に存在するパワー成分量が閾値以上となる領域をマスクすることにより、妨害成分を抽出してもよい。
【実施例８】
【０１２３】
実施例８では、実施例１〜７で説明した映像評価方法を用いて、カメラの撮影モードごとに撮像パラメータを最適化する。撮影シーンに応じて撮影モードを設定できるカメラが知られている。それぞれの撮影モードには撮像パラメータが関連付けられており、それぞれの撮影モードを用いた場合には関連付けられた撮像パラメータを用いて撮影が行われる。
【０１２４】
一般に、それぞれの撮影シーンに適したカメラの設定は異なることが知られている。したがって、撮影モードに応じて異なる撮像パラメータが用いられることが望ましい。時間方向のＮＲ（ノイズリダクション）を例にとり、撮影シーンに応じて異なる撮像パラメータを用いる例を以下に説明する。
【０１２５】
スポーツなどの動きの激しいシーンを撮影する場合には、時間方向ＮＲの効果を小さくすることにより、動きボケを抑えることができる。他方、風景など動きの少ないシーンを撮影する場合には、動きが少ないために、時間方向ＮＲによる動きボケは生じにくい。このため、動きの少ないシーンを撮影する場合には、時間方向ＮＲを強くすることができる。このような、それぞれの撮影シーンに適した撮像パラメータが、カメラに記憶される。撮影モードを選択することにより、適した撮像パラメータを用いて撮影を行うことができる。
【０１２６】
しかしながら、それぞれの撮影シーンに適した撮像パラメータを人手で設定するのには多大な労力を要するという問題があった。そのため、従来からパラメータの自動チューニング手法が提案されている。特開２００８−７２６６５号公報には、映像を様々なフレームレートで表示した場合の動きの滑らかさを評価することにより、最適なフレームレートを決定する方法が開示されている。しかしながらこの方法は、撮影シーンによって最適な撮像パラメータが異なりうるという課題を解決するものではない。
【０１２７】
実施例８では、撮影シーンに応じた被写体を用いて、動画の動きの滑らかさを示す評価値に基づいて、撮影モードごとに撮像パラメータを最適化する。より具体的には、各撮影シーンを被写体移動速度及び被写体周波数特性を用いて表現する。
【０１２８】
具体的にはまず、各撮影シーンごとに、撮影シーンをよく表現した被写体移動速度及び周波数特性が設定される。そして、この被写体移動速度及び周波数特性に従って評価対象映像が作成される。そして、作成された評価対象映像がディスプレイ102に表示される。カメラ103は設定された撮像パラメータを用いて表示された映像を撮影し、撮影された映像について評価値が算出される。カメラ103の撮像パラメータを変更しながら評価値の算出を繰り返すことにより、より高い評価値が得られる撮像パラメータが求められる。こうして、撮影シーン（撮影モード）ごとに、撮像パラメータを最適化することができる。
【０１２９】
以下では、撮影モードＡ、撮影モードＢ、撮影モードＣという３つの撮影モードを用意した場合を例として用いて、本実施例を具体的に説明する。撮影モードＡは、被写体の動きが速いシーンを撮影するための撮影モードである。撮影モードＡは、例えばスポーツを撮影するために用いられる。撮影モードＢは、被写体の動きが遅く、解像感の高い映像を撮影するための撮影モードである。撮影モードＢは、例えば風景などを撮影するために用いられる。撮影モードＣは、撮影モードＡと撮影モードＢの中間のモードであり、例えばポートレートなどを撮影するために用いられる。図３２は、横軸に被写体周波数成分、縦軸に被写体の動きの速さをとった場合の、モードＡ、モードＢ、及びモードＣの関係を示している。
【０１３０】
図３３を参照して、本実施例に係る処理について説明する。パラメータ最適化装置105は、映像評価装置101及び撮像装置103を制御することで、撮像装置103の撮像パラメータを最適化する。具体的にはパラメータ最適化装置105は、撮影モードごとに、適切なチャート移動速度とチャート周波数との指定を取得する。そしてパラメータ最適化装置105は、映像評価装置101を制御して、指定された移動速度と周波数とを有するチャート画像が含まれるチャート映像をディスプレイ102に表示させる。こうしてディスプレイ102には、チャート画像を各フレーム画像に含む、パラメータ最適化用のテスト動画が表示される。このテスト動画は撮影モードごとに異なるものであり、具体的には、撮影モードＡ用の第１のテスト動画と、撮影モードＢ用の第２のテスト動画と、撮影モードＣ用の第３のテスト動画とが表示される。これらのテスト動画は、チャート画像の移動速度とチャート画像の周波数特性との少なくとも一方が異なる。
【０１３１】
またパラメータ最適化装置105は、撮像装置103を制御して撮像パラメータを設定する。具体的にはパラメータ最適化装置105は、複数のパラメータを撮像装置103に順次設定する。映像評価装置101は、ディスプレイ102に表示され、撮像パラメータ設定後の撮像装置103によって撮影された映像について、評価値を算出する。パラメータ最適化装置105は、パラメータの設定と評価値の取得とを繰り返すことで、撮像装置103で撮影される映像の評価値が最良となるように、撮像装置103の撮像パラメータを各撮影モードごとに最適化する。すなわち、順次撮像装置103に設定された複数のパラメータのうち、より高い評価値が得られる撮像パラメータが、各撮影モードごとの撮像装置103の撮像パラメータとして選択される。撮影モードＡ〜Ｃ用のそれぞれの撮像パラメータ（第１の撮像パラメータ、第２の撮像パラメータ、及び第３の撮像パラメータ）は、第１〜第３のテスト動画のそれぞれを用いて得られた評価値に従って決定される。
【０１３２】
＜パラメータ最適化装置105の構成＞
図３４を参照して、パラメータ最適化装置105の構成について説明する。ＣＰＵ201は、パラメータ最適化装置105全体の動作を制御する。具体的にはＣＰＵ201は、ユーザからの指示をキーボード202又はマウス203のような入力装置を介して取得することができる。またＣＰＵ201は、ディスプレイ102、撮像装置103、及び映像評価装置101を制御することができる。さらにＣＰＵ201は、後述する情報取得部222、チャート周波数変更部223、パラメータ最適化部224、及び評価装置制御部225の動作を実現する。このようなＣＰＵ201の動作は、例えばＨＤＤ205のような記憶媒体に記録されたコンピュータプログラムを、例えばＲＡＭ230のようなメモリに読み出し、このプログラムに従ってＣＰＵ201が動作することにより、実現されうる。
【０１３３】
情報取得部222は、チャート移動速度やチャート画像、チャート基本周波数、パラメータ最適化の範囲といった情報を得る。情報取得部222は、キーボード202又はマウス203を介してこれらの情報を取得してもよいし、例えばＨＤＤ205などの記憶媒体からこれらの情報を取得してもよい。チャート周波数変更部223は、情報取得部222が取得した情報に従って、所定の周波数特性を有するチャート画像を作成する。パラメータ最適化部224は、撮像装置103を制御して撮像パラメータを設定する。またパラメータ最適化部224は、評価装置制御部225が取得した評価値に従って、撮像装置103に設定する撮像パラメータを更新する。評価装置制御部225は、情報取得部222が取得した情報に従って、映像評価装置101を制御し、ディスプレイ102への映像表示、撮像装置103による撮影、及び画質評価を行わせる。そして評価装置制御部225は、映像評価装置101から映像の評価値を取得する。
【０１３４】
＜映像評価装置101の構成＞
映像評価装置101の構成は、実施例１〜７で説明したものと同様のものでありうる。図３５は、一例として、本実施例に係る映像評価装置101の構成を示す。映像評価装置101は、ＬＡＮボード221を介してパラメータ最適化装置105と接続されており、パラメータ最適化装置105により制御されうる。映像評価装置101の情報設定部206は、パラメータ最適化装置105からチャート画像c及びチャート移動速度に関する情報を受け取る。そして映像評価装置101は、実施例１と同様にチャート画像cが指定されたチャート移動速度で移動するチャート映像Vorgを作成し、ディスプレイ102に表示する。そして撮像装置103は、ディスプレイ102に表示されたチャート映像Vorgを撮影し、撮影映像Vとして記録する。評価値算出部214は、視覚特性反映部213が算出したF1と、チャート撮影画像c'とを用いて、評価値を算出する。算出された評価値は、LANボード221を介してパラメータ最適化装置105へ出力される。
【０１３５】
＜パラメータ最適化装置105及び映像評価装置101の動作＞
次に、パラメータ最適化装置105及び映像評価装置101が行う動作の概略を図３６のフローチャートを参照して説明する。
【０１３６】
ステップS3601において情報設定部206は、チャート移動速度及びチャート周波数を取得する。また情報設定部206は、チャート画像ファイル及び撮像パラメータ最適化範囲ファイルのファイルパスを取得する。本実施例においては、それぞれの撮影モードについて、これらの情報が設定される。この際、チャート画像、チャート移動速度及びチャート周波数に関しては、各撮影モードにおいて、その撮影環境をもっともよく表すものが設定される。また、撮像パラメータの最適化範囲ファイルには、本実施例で設定される全パラメータの組み合わせが記述されている。情報設定部206の詳細については後述する。
【０１３７】
ステップS3602〜S3610においては、ステップS3601で設定された情報に従うチャート映像と、撮像パラメータ最適化範囲ファイルに記載された撮像パラメータとを用いて、評価値の算出が行われる。この処理は、複数の撮影モードから選択された１つの撮影モードについて行われる。
【０１３８】
ステップS3602でパラメータ最適化部224は、撮像装置103の撮像パラメータを設定する。具体的にはパラメータ最適化部224は、HDD205から撮像パラメータ最適化範囲ファイルを読み込む。上述のように、撮像パラメータ最適化範囲ファイルのファイルパスは情報設定部206によって取得されている。次にパラメータ最適化部224は、現在撮像装置103に設定されている撮像パラメータの次に、撮像パラメータ最適化範囲ファイルに記述されている撮像パラメータを、撮像装置103に設定する。パラメータ最適化部224の具体的な処理に関しては後述する。
【０１３９】
ステップS3603からステップS3609までの処理は、評価装置制御部225により制御された映像評価装置101によって実行される。ステップS3603でチャート映像作成部207は、ディスプレイ102に表示する、チャート画像cを含むチャート映像Vorgを作成する。チャート画像c及びチャート移動速度は、ＬＡＮボード221を介して、評価装置制御部225から取得される。上述のようにチャート画像c及びチャート移動速度は、ステップS3601において設定されている。
【０１４０】
ステップS3604からステップS3609までの処理は、ステップS3603により得られた評価映像Vorgを撮像装置103により撮影し、動画の動きの滑らかさを示す評価値を算出する処理である。これらの処理は、実施例１におけるステップS3130からステップS3180までの処理と同様であるため、ここでは省略する。
【０１４１】
ステップS3610でパラメータ最適化部224は、パラメータ最適化の処理が完了したか否かを判断する。撮像パラメータ最適化範囲ファイルに記述されている全パラメータを用いてステップS3602からステップS3609までの処理が行われている場合には、パラメータ最適化部224は、最も高い評価値が得られたパラメータを選択する。選択されたパラメータが、選択されている撮影モードについての最適なパラメータとして用いられる。そして、処理はステップS3611へ進む。まだ用いられていないパラメータがある場合、処理はステップS3602へ戻る。
【０１４２】
ステップS3611でパラメータ最適化部224は、全ての撮影モードについてパラメータ最適化が完了したか否かを判断する。全ての撮影モードについてパラメータ最適化が完了している場合は、図３６の処理を終了する。全ての撮影モードについてパラメータ最適化が完了していない場合、処理はステップS3602へ戻り、まだ選択されていない撮影モードを選択して、選択された撮影モードについてパラメータ最適化を行う。
【０１４３】
＜情報取得部222＞
以下で、情報取得部222の処理について詳しく説明する。情報取得部222は、チャート画像の移動速度及び周波数、並びにチャート画像ファイル及びパラメータ最適化範囲ファイルのファイルパスなど、後段の処理で必要な情報を取得する。以下に、情報取得部222がこれらの情報を取得する方法の一例を示すが、その取得方法はこれに限られるわけではない。
【０１４４】
図３７は、情報取得部222がユーザ入力を取得するために用いるＧＵＩの一例である。情報取得部222は、アプリケーションウィンドウ3701をディスプレイ204上に表示させる。ユーザは、プルダウンメニュー3702を用いて情報を設定しようとする撮影モードを選択する。ここで、ユーザはそれぞれの撮影モード（本実施例の場合は撮影モードＡ、撮影モードＢ、及び撮影モードＣの３種類）に対して、以下の操作を繰り返す。
【０１４５】
次に、ユーザはフォーム3703に、ＨＤＤ205に保存されているチャート画像ファイルのファイルパスを入力する。情報取得部222は、フォーム3703に入力されたファイルパスに従って、ＨＤＤ205からチャート画像corgを含むチャート画像ファイルを取得する。チャート画像corgはある特定の周波数を有するチャート画像であり、その一例が図38(A)に示されている。このチャート画像corgは、チャート周波数変更部223がチャート画像cを作成するために用いられる。
【０１４６】
同様にユーザは、フォーム3704に、ＨＤＤ205に保存されているパラメータ最適化範囲ファイルのファイルパスを入力する。パラメータ最適化範囲ファイルは、パラメータ最適化部224が撮像装置103の撮像パラメータを設定するために用いられる。さらにユーザは、フォーム3705にチャート移動速度を入力する（チャート移動速度指定部）。フォーム3705に入力された値は、チャート映像作成部207がチャート映像を作成する際に用いられる。またユーザは、フォーム3706にチャートの基本周波数を入力する（周波数特性指定部）。フォーム3706に入力された値に応じて、チャート周波数変更部223は、チャート画像corgの周波数を変更する。
【０１４７】
それぞれの撮影モードについて上述の情報を入力した後に、ユーザがボタン3707をマウス203でクリックすることにより、撮影及び評価値の算出処理が開始される。そして、各撮影モードごとに、評価値が最小となったパラメータの組み合わせが、フォーム3708に表示される。
【０１４８】
＜チャート周波数変更部223＞
チャート周波数変更部223は、フォーム3706に指定された値sを周波数として有するチャート画像cを作成する。具体的にはチャート周波数変更部223は、チャート画像corgの周波数を変更することにより、チャート画像cを作成する。本実施例においてチャート周波数変更部223は、チャート画像corgを拡大又は縮小することによりチャート画像cを生成するが、本発明はこれに限定されない。
【０１４９】
チャート画像corgの周波数を変更してチャート画像cを得る方法について以下に説明する。チャート画像corg（x,y）の基本周波数をpとすると、チャート画像cの各座標x',y'は
【数６】
と表わされる。ここで、チャート画像corgの基本周波数pは外部から与えられてもよい。例えば、基本周波数pはユーザによって入力されてもよい。また基本周波数pは、例えばチャート画像corgのヘッダ部に記録されていてもよい。さらに、チャート画像corgを解析することにより基本周波数pが算出されてもよい。例えば、チャート画像corgをフーリエ変換し、その交流成分のうち、最大のパワーを持つ周波数をpとしてもよい。
【０１５０】
チャート画像corgとして図３８（Ａ）に示される画像を用い、p/sが２である場合に得られるチャート画像cを、図３８（Ｂ）に示す。同様に、チャート画像corgとして図３８（Ａ）に示される画像を用い、p/sが１／２である場合に得られるチャート画像cを、図３８（Ｃ）に示す。
【０１５１】
本実施例において、チャート画像cはx方向の周波数を有する。しかしながら、チャート画像cがy方向の周波数を有してもよいし、x方向とy方向との双方の周波数を有してもよい。また、本実施例においてチャート画像cは矩形画像であるが、任意の自然画像であってもよい。例えば、撮影モードに応じて適した画像がチャート画像cとしてそれぞれ選択されてもよい。
【０１５２】
＜パラメータ最適化部224＞
パラメータ最適化部224は、撮像装置103の撮像パラメータを設定する。パラメータ最適化部224は、情報取得部222によって取得されたパラメータ最適化範囲ファイルのファイルパスに従って、ＨＤＤ205に格納されたパラメータ最適化範囲ファイルを読み込む。パラメータ最適化範囲ファイルの一例を図３９に示すが、パラメータ最適化範囲ファイルがこれに限定されるわけではない。
【０１５３】
パラメータ最適化範囲ファイルの各行には、１回の撮影において指定される撮像パラメータ値のセットが記述されている。つまり、パラメータ最適化範囲ファイルの行数は、１つの撮影モードについてパラメータ最適化を行うために用いられる撮影及び評価の回数と一致する。
【０１５４】
図３９において、FRは撮影フレームレート[fps]を表し、ssはシャッタースピード[1/sec]を表す。また、NR_prm1及びNR_prm2はノイズリダクション処理に用いるパラメータを表し、Shapr_prm1はシャープネス処理に用いるパラメータを表す。記述されるパラメータはこれらに限定されず、他のパラメータが記述されていてもよいし、記述されるパラメータはもっと少なくてもよい。
【０１５５】
本実施例においては、予めパラメータ最適化範囲ファイルに記述されたパラメータの組を用いて評価値が算出され、最も良い評価値を与えるパラメータの組み合わせが最適なパラメータとして決定された。しかしながら、動きの滑らかさ評価値を用いた最適化パラメータの最適化方法は、これに限らない。例えば、予めパラメータの範囲を定めるのではなく、逐次的にパラメータを更新し、評価値が収束した際に最適化を終了してもよい。
【実施例９】
【０１５６】
実施例８では、チャート画像corgを指定し、それを拡大又は縮小することによりチャート画像cを作成した。しかしながら、本発明はこの方法に限定されない。実施例９では、ユーザはチャートの周波数特性を入力し、入力された周波数特性に従ってパラメータ最適化装置105がチャート画像cの作成を行う。実施例９におけるパラメータ最適化装置105の構成を図４０に示す。以下では、実施例８との違いについてのみ説明する。
【０１５７】
＜情報取得部222＞
情報取得部222は、チャート画像の移動速度及びチャート画像の周波数、並びにパラメータ最適化範囲ファイルのファイルパスなど、後段の処理で必要な情報を取得する。以下に、情報取得部222がこれらの情報を取得する方法の一例を示すが、その取得方法はこれに限られるわけではない。
【０１５８】
図４１は、情報取得部222がユーザ入力を取得するために用いるＧＵＩの一例である。情報取得部222は、アプリケーションウィンドウ4101をディスプレイ204上に表示させる。アプリケーションウィンドウ4101は、パラメータ最適化範囲ファイルのファイルパスを入力するフォーム4103、チャート移動速度を入力するフォーム4104、及びチャート周波数を入力するフォーム4105を有する。これらは、アプリケーションウィンドウ3701が有するものと同様である。しかしながらアプリケーションウィンドウ4101は、チャート画像ファイルのファイルパスを入力するフォームを有さない。実施例９においては、フォーム4105に入力された値に応じて、チャート画像作成部226がチャート画像cを作成する。
【０１５９】
それぞれの撮影モードについて上述の情報を入力した後に、ユーザがボタン4106をマウス203でクリックすることにより、撮影及び評価値の算出処理が開始される。そして、各撮影モードごとに、評価値が最小となったパラメータの組み合わせが、フォーム4107に表示される。
【０１６０】
＜チャート画像作成部226＞
チャート画像作成部226は、情報取得部222が取得したチャートの周波数特性s[cycles/pixel]を有するチャート画像cを作成する。本実施例においてチャート画像作成部226は、以下の式に従ってチャート画像c(x,y)を作成する。
【数７】
ここで、sgnは符号関数を表し、sinは正弦関数（サイン波）を表す。また、xは画像の横座標を表し、yは画像の縦座標を表す。本実施例で得られるチャート画像cは矩形波であるが、チャート画像cの種類はこれに限定されず、例えばサイン波であってもよい。
【０１６１】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項１】
動画像の品質を示す評価値を算出する情報処理装置であって、
チャート画像を各フレーム画像に含む入力動画のデータを入力する第１の入力手段と、
前記入力動画の各フレーム画像における前記チャート画像の位置を示す位置情報を取得する第２の入力手段と、
前記入力動画の各フレーム画像から、前記チャート画像が映っている部分画像を前記位置情報に従って切り出し、該切り出された部分画像をフレーム画像として有する変換動画を生成する切り出し手段と、
前記変換動画を少なくとも時間方向に周波数変換する変換手段と、
前記変換手段が得た周波数成分値に従って前記評価値を算出する算出手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記入力動画は、前記チャート画像を各フレーム画像に含む動画を表示装置が表示し、該表示された動画を撮像装置が撮像することにより得られたものであることを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記チャート画像を取得する第３の入力手段と、
前記変換動画の各フレーム画像の各画素値から、前記チャート画像の各画素値を減算する減算手段と、をさらに備え、
前記変換手段は、前記減算手段による処理後の前記変換動画を、時間方向及び空間方向に周波数変換することを特徴とする、請求項２に記載の情報処理装置。
【請求項４】
前記第３の入力手段は、前記チャート画像を含むフレーム画像を前記表示装置が表示し、該表示されたフレーム画像を前記撮像装置が撮像することにより得られた静止画像から、前記チャート画像を取得することを特徴とする、請求項３に記載の情報処理装置。
【請求項５】
前記チャート画像を空間方向に周波数変換することによって得られる周波数成分値を取得する第３の入力手段をさらに備え、
前記変換手段は、前記変換動画を時間方向及び空間方向に周波数変換し、
前記算出手段は、前記変換手段が得た空間方向の周波数成分値と前記第３の入力手段が得た周波数成分値との差分、並びに前記変換手段が得た時間方向の周波数成分値に従って、前記評価値を算出することを特徴とする、請求項１に記載の情報処理装置。
【請求項６】
前記変換手段は、周波数変換によって得られた周波数成分値に対し、動画像の観察者の視覚特性に従って重み付けを行うことを特徴とする、請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
撮像装置に複数の撮像パラメータのうちの１つを順次設定する設定手段と、
前記チャート画像を各フレーム画像に含むテスト動画を表示装置が表示し、該表示されたテスト動画を前記設定後の撮像装置が撮像することにより得られた前記入力動画について、請求項１乃至６の何れか１項に記載の情報処理装置が算出した前記評価値を取得する取得手段と、
前記複数の撮像パラメータから、より高い前記評価値が得られる撮像パラメータを選択する選択手段と、
を有することを特徴とする情報処理装置。
【請求項８】
前記表示装置は、第１のテスト動画と、当該第１のテスト動画とは前記チャート画像の移動速度と前記チャート画像の周波数特性との少なくとも一方が異なる第２のテスト動画を表示し、
前記選択手段は、前記第１のテスト動画を用いて得られた前記評価値に従って前記撮像装置が用いる第１の撮像パラメータを選択し、かつ前記第２のテスト動画を用いて得られた前記評価値に従って前記撮像装置が用いる第２の撮像パラメータを選択する
ことを特徴とする、請求項７に記載の情報処理装置。
【請求項９】
動画像の品質を示す評価値を算出する情報処理装置が行う情報処理方法であって、
前記情報処理装置の第１の入力手段が、チャート画像を各フレーム画像に含む入力動画のデータを入力する第１の入力工程と、
前記情報処理装置の第２の入力手段が、前記入力動画の各フレーム画像における前記チャート画像の位置を示す位置情報を取得する第２の入力工程と、
前記情報処理装置の切り出し手段が、前記入力動画の各フレーム画像から、前記チャート画像が映っている部分画像を前記位置情報に従って切り出し、該切り出された部分画像をフレーム画像として有する変換動画を生成する切り出し工程と、
前記情報処理装置の変換手段が、前記変換動画を少なくとも時間方向に周波数変換する変換工程と、
前記情報処理装置の算出手段が、前記変換工程で得た周波数成分値に従って前記評価値を算出する算出工程と、
を備えることを特徴とする情報処理方法。
【請求項１０】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の設定手段が、撮像装置に複数の撮像パラメータのうちの１つを順次設定する設定工程と、
前記情報処理装置の取得手段が、前記チャート画像を各フレーム画像に含むテスト動画を表示装置が表示し、該表示されたテスト動画を前記設定後の撮像装置が撮像することにより得られた前記入力動画について、請求項９に記載の情報処理方法を用いて算出した前記評価値を取得する取得工程と、
前記情報処理装置の選択手段が、前記複数の撮像パラメータから、より高い前記評価値が得られる撮像パラメータを選択する選択工程と、
を有することを特徴とする情報処理方法。
【請求項１１】
コンピュータを、請求項１乃至６の何れか１項に記載の情報処理装置の各手段として機能させるための、コンピュータプログラム。
【請求項１２】
コンピュータを、請求項７又は８に記載の情報処理装置の各手段として機能させるための、コンピュータプログラム。
【請求項１】
動画像の品質を示す評価値を算出する情報処理装置であって、
チャート画像を各フレーム画像に含む入力動画のデータを入力する第１の入力手段と、
前記入力動画の各フレーム画像における前記チャート画像の位置を示す位置情報を取得する第２の入力手段と、
前記入力動画の各フレーム画像から、前記チャート画像が映っている部分画像を前記位置情報に従って切り出し、該切り出された部分画像をフレーム画像として有する変換動画を生成する切り出し手段と、
前記変換動画を少なくとも時間方向に周波数変換する変換手段と、
前記変換手段が得た周波数成分値に従って前記評価値を算出する算出手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記入力動画は、前記チャート画像を各フレーム画像に含む動画を表示装置が表示し、該表示された動画を撮像装置が撮像することにより得られたものであることを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記チャート画像を取得する第３の入力手段と、
前記変換動画の各フレーム画像の各画素値から、前記チャート画像の各画素値を減算する減算手段と、をさらに備え、
前記変換手段は、前記減算手段による処理後の前記変換動画を、時間方向及び空間方向に周波数変換することを特徴とする、請求項２に記載の情報処理装置。
【請求項４】
前記第３の入力手段は、前記チャート画像を含むフレーム画像を前記表示装置が表示し、該表示されたフレーム画像を前記撮像装置が撮像することにより得られた静止画像から、前記チャート画像を取得することを特徴とする、請求項３に記載の情報処理装置。
【請求項５】
前記チャート画像を空間方向に周波数変換することによって得られる周波数成分値を取得する第３の入力手段をさらに備え、
前記変換手段は、前記変換動画を時間方向及び空間方向に周波数変換し、
前記算出手段は、前記変換手段が得た空間方向の周波数成分値と前記第３の入力手段が得た周波数成分値との差分、並びに前記変換手段が得た時間方向の周波数成分値に従って、前記評価値を算出することを特徴とする、請求項１に記載の情報処理装置。
【請求項６】
前記変換手段は、周波数変換によって得られた周波数成分値に対し、動画像の観察者の視覚特性に従って重み付けを行うことを特徴とする、請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
撮像装置に複数の撮像パラメータのうちの１つを順次設定する設定手段と、
前記チャート画像を各フレーム画像に含むテスト動画を表示装置が表示し、該表示されたテスト動画を前記設定後の撮像装置が撮像することにより得られた前記入力動画について、請求項１乃至６の何れか１項に記載の情報処理装置が算出した前記評価値を取得する取得手段と、
前記複数の撮像パラメータから、より高い前記評価値が得られる撮像パラメータを選択する選択手段と、
を有することを特徴とする情報処理装置。
【請求項８】
前記表示装置は、第１のテスト動画と、当該第１のテスト動画とは前記チャート画像の移動速度と前記チャート画像の周波数特性との少なくとも一方が異なる第２のテスト動画を表示し、
前記選択手段は、前記第１のテスト動画を用いて得られた前記評価値に従って前記撮像装置が用いる第１の撮像パラメータを選択し、かつ前記第２のテスト動画を用いて得られた前記評価値に従って前記撮像装置が用いる第２の撮像パラメータを選択する
ことを特徴とする、請求項７に記載の情報処理装置。
【請求項９】
動画像の品質を示す評価値を算出する情報処理装置が行う情報処理方法であって、
前記情報処理装置の第１の入力手段が、チャート画像を各フレーム画像に含む入力動画のデータを入力する第１の入力工程と、
前記情報処理装置の第２の入力手段が、前記入力動画の各フレーム画像における前記チャート画像の位置を示す位置情報を取得する第２の入力工程と、
前記情報処理装置の切り出し手段が、前記入力動画の各フレーム画像から、前記チャート画像が映っている部分画像を前記位置情報に従って切り出し、該切り出された部分画像をフレーム画像として有する変換動画を生成する切り出し工程と、
前記情報処理装置の変換手段が、前記変換動画を少なくとも時間方向に周波数変換する変換工程と、
前記情報処理装置の算出手段が、前記変換工程で得た周波数成分値に従って前記評価値を算出する算出工程と、
を備えることを特徴とする情報処理方法。
【請求項１０】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の設定手段が、撮像装置に複数の撮像パラメータのうちの１つを順次設定する設定工程と、
前記情報処理装置の取得手段が、前記チャート画像を各フレーム画像に含むテスト動画を表示装置が表示し、該表示されたテスト動画を前記設定後の撮像装置が撮像することにより得られた前記入力動画について、請求項９に記載の情報処理方法を用いて算出した前記評価値を取得する取得工程と、
前記情報処理装置の選択手段が、前記複数の撮像パラメータから、より高い前記評価値が得られる撮像パラメータを選択する選択工程と、
を有することを特徴とする情報処理方法。
【請求項１１】
コンピュータを、請求項１乃至６の何れか１項に記載の情報処理装置の各手段として機能させるための、コンピュータプログラム。
【請求項１２】
コンピュータを、請求項７又は８に記載の情報処理装置の各手段として機能させるための、コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【公開番号】特開２０１３−３１１５３（Ｐ２０１３−３１１５３Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１２−９４１８０（Ｐ２０１２−９４１８０）
【出願日】平成２４年４月１７日（２０１２．４．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２４年４月１７日（２０１２．４．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]