画像処理回路のシミュレーション装置、画像処理回路のシミュレーション方法、画像処理回路の設計方法、及び画像処理回路のシミュレーションプログラム
【課題】目視による動画像に対する画像処理結果の効果の定性的及び定量的な評価を容易化できる画像処理回路のシミュレーション装置等を提供する。
【解決手段】複数のフレーム画像により構成される動画像に対して画像処理を行う画像処理回路の動作をシミュレーションする画像処理回路のシミュレーション装置１は、画像処理回路に対応する機能を具備する画像処理モジュールと、画像処理モジュールを実行し、各フレーム画像に対して前記画像処理を行うモジュール実行手段６３と、モジュール実行手段６３で実行された画像処理モジュールによる画像処理が行われた画像データに対してグループ化を実行する結果グループ化実行手段６６と、当該フレームより前の１又は複数のフレームの各フレーム画像に対して画像処理が行われた過去フレーム処理後画像データに対する所与の演算結果を記憶する記憶手段とを含む。
【解決手段】複数のフレーム画像により構成される動画像に対して画像処理を行う画像処理回路の動作をシミュレーションする画像処理回路のシミュレーション装置１は、画像処理回路に対応する機能を具備する画像処理モジュールと、画像処理モジュールを実行し、各フレーム画像に対して前記画像処理を行うモジュール実行手段６３と、モジュール実行手段６３で実行された画像処理モジュールによる画像処理が行われた画像データに対してグループ化を実行する結果グループ化実行手段６６と、当該フレームより前の１又は複数のフレームの各フレーム画像に対して画像処理が行われた過去フレーム処理後画像データに対する所与の演算結果を記憶する記憶手段とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理回路のシミュレーション装置、画像処理回路のシミュレーション方法、画像処理回路の設計方法、及び画像処理回路シミュレーションプログラム等に関する。
【背景技術】
【０００２】
従来、複数の機能を実行できるソフトウェアシステムの機能評価、デバッグのために、種々の機能を実行させた結果をシミュレーションするプログラムが知られている。
例えば、特許文献１に記載のテストシーケンサーでは、管理モジュール及び実行モジュールを含んで構成され、テスト対象となるテストエグゼクティブに新たな機能を追加したり、機能の修正を行ったりしたときに、他の機能と干渉するかしないかを簡単にチェックできるものが提案されている。
【０００３】
また、特許文献２に記載のソフトウェアテスト装置では、検証対象となるソフトウェアへの入力及び出力にインターフェースして、動作手順、設定内容等に応じた出力群を受け取って評価するものが提案されている。
また、特許文献３に記載のソフトウェアコンポーネントシステムでは、ソフトウェアコンポーネントの実行において、他のソフトウェアコンポーネントを実行する前の状態を表す事前条件定義情報、後の状態を表す事後条件定義情報をデータベース上に格納しておき、ソフトウェアコンポーネントのテストを正確に行うものが提案されている。
【０００４】
さらに、特許文献４に記載の画質評価装置では、画像を取り込んで数値化した画像を微分し、ムラの輪郭部を顕在化して、階調値毎の面積を利用して求めた画質指数により、検査画面の画質を定量的に評価するものが提案されている。
さらに、特許文献５に記載の画質評価方法では、粒状性テストパターンを用いて、例えばコントラスト強度を判定して、装置間の画質の比較や経時的な画質の比較を行うものが提案されている。
さらに、特許文献６に記載の画質評価装置では、階調が連続的に変化するグラデーション画像を用いて、画像を定量的に評価するものが提案されている。
さらにまた、特許文献７に記載の画像処理装置では、対象物から検出した画像におけるベクトル成分のヒストグラムを計測することで、画像の統計的性質を評価するものが提案されている。
【０００５】
ところで、プロジェクタ、ＦＰＤ（Flat Panel Display）等の画像表示装置においては、入力画像データに対して画像処理を行って適切な表示画像の形成を行っているが、近年画像処理回路に要求される機能が拡大している。
そこで、色変換、解像度変換、ガンマ変換等の種々の画像処理を、画像処理単位でチップ化した部分画像処理回路を組み合わせ、多機能の画像処理を行うことのできる画像処理回路を形成することが行われている。
そして、従来は、このような画像処理回路を設計するに際しては、部分画像処理回路を試作し、実際に組み合わせて画像処理回路を形成してこれを評価するという手法を採用していた。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−５３９２４号公報
【特許文献２】特開２００６−４８３１０号公報
【特許文献３】特開２００６−９１９４４号公報
【特許文献４】特開２０００−２１５３１０号公報
【特許文献５】特開２０００−２７８７２２号公報
【特許文献６】特開２００３−１６４４３号公報
【特許文献７】特開２００３−１９６６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような部分画像処理回路の試作は、エラー検証に時間がかかるばかりでなく、試作コストが嵩むという問題がある。
また、実際に画像処理回路に組み込んで検証を行っても、機能拡大に伴い画像処理回路に組み込まれる部分画像処理回路も多数あり、画像処理におけるパラメーターの設定が効果的であるか否かを判断することが非常に困難であるという問題がある。
さらに、画像処理後毎のパラメーターを組み合わせたときに初めて露見するエラーもあり、これを検証することは非常に困難である。
また、一般に画像表示装置によって形成される動画像を構成する各フレームの表示画像は多数の画素から構成されているが、部分画像処理回路によって処理された結果を各画素について評価するのは難しく、前述した特許文献１乃至７を、画像処理装置による画像処理後の画像の画質の評価に適用することはできない。
さらに、特許文献１乃至７に開示された技術は、静止画に対する処理である。そのため、これらの技術をそのまま動画に適用したとしても静止画と同様の効果が得られるとは限らず、動画に適用した場合の効果が不明である。
【０００８】
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的の１つは、目視による動画像に対する画像処理結果の効果の定性的及び定量的な評価を容易化できる画像処理回路のシミュレーション装置、画像処理回路のシミュレーション方法、画像処理回路の設計方法、及び画像処理回路のシミュレーションプログラム等を提供することにある。
【課題を解決するための手段】
【０００９】
（１）本発明の一態様は、複数のフレーム画像により構成される動画像に対して画像処理を行う画像処理回路の動作をシミュレーションする画像処理回路のシミュレーション装置が、前記画像処理回路に対応する機能を具備する画像処理モジュールと、前記画像処理モジュールを実行し、各フレーム画像に対して前記画像処理を行うモジュール実行手段と、前記モジュール実行手段で実行された画像処理モジュールによる前記画像処理が行われた画像データに対してグループ化を実行する結果グループ化実行手段と、当該フレームより前の１又は複数のフレームの各フレーム画像に対して前記画像処理が行われた過去フレーム処理後画像データに対する所与の演算結果を記憶する記憶手段とを含み、前記結果グループ化実行手段は、前記当該フレームのフレーム画像に対して前記画像処理が行われた現フレーム処理後画像データに対する所与の演算結果と、前記記憶手段に記憶される前記過去フレーム処理後画像データに対する前記演算結果とを用いて、前記現フレーム処理後画像データに対してグループ化を実行する。
【００１０】
本態様によれば、複数のフレーム画像により構成される動画像に対する画像処理モジュールによる画像処理後の画像データをグループ化するようにしたので、画像処理の目視による効果の定性的及び定量的な評価が容易となり、結果画像の検証をより効率化できるようになる。さらに、本態様によれば、画像処理に適用されるパラメーターの変更による効果を、容易に把握できるという効果が得られる。
【００１１】
（２）本発明の他の態様に係るシミュレーション装置では、前記結果グループ化実行手段は、前記現フレーム処理後画像データを、前記記憶手段に記憶される前記過去フレーム処理後画像データが振り分けられたグループと異なるグループに振り分けるとき、前記記憶手段の少なくとも一部の記憶内容をクリアする。
【００１２】
本態様によれば、連続するフレーム画像に対する画像処理の効果が異なると判断されて別グループに振り分けられる場合であっても、過去フレームにおける効果を参照することができるので、目視による残像効果を考慮した評価が可能となる。
【００１３】
（３）本発明の他の態様に係るシミュレーション装置では、前記結果グループ化実行手段は、前記現フレーム処理後画像データを、前記記憶手段に記憶される前記過去フレーム処理後画像データが振り分けられたグループと異なるグループに振り分けるとき、前記現フレーム処理後画像データに対する前記演算結果と、前記記憶手段に記憶される少なくとも１フレーム分の前記過去フレーム処理後画像データに対する前記演算結果とを用いて、前記現フレーム処理後画像データに対してグループ化を実行する。
【００１４】
本態様によれば、現フレーム処理後画像データをグループ化する際に、少なくとも１フレーム分の過去フレーム処理後画像データに対する演算結果を参照するようにしたので、目視による動画像に対する画像処理結果の効果の定性的及び定量的な評価を容易化できるようになる。
【００１５】
（４）本発明の他の態様に係るシミュレーション装置では、前記結果グループ化実行手段は、入力フレーム画像データと該入力フレーム画像データに対して前記画像処理モジュールによる画像処理が行われた処理後画像データとの差分情報に基づいて前記グループ化を実行する。
【００１６】
本態様によれば、入力フレーム画像と画像処理後の結果フレーム画像との差分情報に基づいてグループ化するようにしたので、動画像に対する画像処理の目視の効果に対応したグループ化を、簡素な演算処理で実現できるようになる。
【００１７】
（５）本発明の他の態様に係るシミュレーション装置では、前記画像処理モジュールの画像処理結果のグループ化条件を設定する結果グループ化条件設定手段を含み、前記結果グループ化実行手段は、前記結果グループ化条件設定手段によって設定された前記グループ化条件に基づいて、入力フレーム画像の画像処理後の画像データ毎にグループ化を実行する。
【００１８】
本態様によれば、グループ化条件を設定できるようにしたので、所望の画像処理の目視による効果の定性的及び定量的な評価が容易となり、結果フレーム画像の検証をより効率化できるようになる。
【００１９】
（６）本発明の他の態様に係るシミュレーション装置では、前記記憶手段に記憶される前記過去フレーム処理後画像データに対する前記演算結果のフレーム数は、設定可能に構成されている。
【００２０】
本態様によれば、過去フレームを参照する度合いを可変に設定でき、動画に応じた最適な検証の効率化に寄与できるようになる。
【００２１】
（７）本発明の他の態様に係るシミュレーション装置では、前記画像処理回路を構成する複数の部分画像処理回路のそれぞれに対応する機能を具備する複数の画像処理モジュールと、前記複数の画像処理モジュールのうち、実行する画像処理モジュールを選択するモジュール選択手段とを含み、前記モジュール実行手段が、前記モジュール選択手段で選択された画像処理モジュールを順次実行し、入力されるフレーム画像の画像データの画像処理を行い、前記結果グループ化実行手段が、前記モジュール実行手段で実行された複数の画像処理モジュールによる画像処理が行われた画像データに対してグループ化を実行する。
【００２２】
本態様によれば、前述の効果に加えて、複数の画像処理が組み合わされる場合に、複数の画像処理モジュールによる画像処理が行われた画像データについてグループ化するようにしたので、定性的及び定量的な画像処理の目視の効果を解析でき、各画像処理に適用されるパラメーターの最適な組み合わせを容易に見つけ出すことができるようになる。
【００２３】
（８）本発明の他の態様に係るシミュレーション装置では、前記モジュール選択手段で選択された画像処理モジュールの実行手順を設定するモジュール実行手順設定手段を含み、前記モジュール実行手段が、前記モジュール実行手順設定手段で設定された実行手順に従って、前記モジュール選択手段で選択された画像処理モジュールを順次実行し、入力フレーム画像の画像データの画像処理を行う。
【００２４】
本態様によれば、画像処理の順序を簡単に変更して複数の画像処理を組み合わせて得られる画像処理後の画像データをグループ化するようにしたので、所望の画像処理結果が得られる画像処理モジュールの選択、及び実行手順を容易に見つけることができ、エラー検証時間を短縮化でき、画像処理回路の製造コストの削減が可能となる。また、本態様によれば、画像処理回路を構成する部分画像処理回路の種類が増えたとしても、それぞれの実行順序や最適なパラメーターの選択が、確実、かつ、容易に行うことができ、これらのパラメーターの組み合わせに依存して露見するエラーの検証も容易化できる。
【００２５】
（９）本発明の他の態様に係るシミュレーション装置では、前記複数の画像処理モジュールは、少なくとも、解像度変換モジュール、色変換モジュール、及びガンマ特性変換モジュールを含む。
【００２６】
本態様によれば、種々ある画像処理のうち、解像度変換、色変換、ガンマ特性変換は、色変換処理、シャープネス処理、コントラスト処理を、各画像処理を実行するモジュール中に含むため、これらの画像処理の順番によって画像処理後の結果フレーム画像の画質に差が出る場合でも、最適な結果フレーム画像を得ることのできる画像処理モジュールの組み合わせを見出すことができるようになる。
【００２７】
（１０）本発明の他の態様は、複数のフレーム画像により構成される動画像に対して画像処理を行う画像処理回路の動作をシミュレーションする画像処理回路のシミュレーション方法が、前記画像処理回路に対応する機能を具備する画像処理モジュールを実行し、各フレーム画像に対して前記画像処理を行うモジュール実行ステップと、前記モジュール実行ステップにおいて実行された画像処理モジュールによる前記画像処理が行われた各フレーム画像の画像データに対してグループ化を実行する結果グループ化実行ステップとを含み、前記結果グループ化実行ステップは、前記当該フレームのフレーム画像に対して前記画像処理が行われた現フレーム処理後画像データに対する所与の演算結果と、前記記憶手段に記憶される前記過去フレーム処理後画像データに対する前記演算結果とを用いて、前記現フレーム処理後画像データに対してグループ化を実行する。
【００２８】
本態様によれば、複数のフレーム画像により構成される動画像に対する画像処理モジュールによる画像処理後の画像データをグループ化するようにしたので、画像処理の目視による効果の定性的及び定量的な評価が容易となり、結果画像の検証をより効率化できるようになる。さらに、本態様によれば、画像処理に適用されるパラメーターの変更による効果を、容易に把握できるという効果が得られる。
【００２９】
（１１）本発明の他の態様は、画像処理回路の設計方法が、上記記載の画像処理回路のシミュレーション方法を実施して、画像処理モジュールの組み合わせを求めた後、前記画像処理回路における部分画像処理回路の組み合わせを決定する。
【００３０】
本態様によれば、画像処理の順序を簡単に変更して複数の画像処理を組み合わせて得られる画像処理の結果をグループ化するようにしたので、所望の画像処理結果が得られる画像処理モジュールの選択、及び実行手順を容易に見つけることができ、エラー検証時間を短縮化でき、画像処理回路の製造コストの削減が可能となる。また、本態様によれば、画像処理回路を構成する部分画像処理回路の種類が増えたとしても、それぞれの実行順序や最適なパラメーターの選択が、確実、かつ、容易に行うことができ、これらのパラメーターの組み合わせに依存して露見するエラーの検証も容易化できる。
【００３１】
（１２）本発明の他の態様は、画像処理回路のシミュレーションプログラムが、上記記載の画像処理回路のシミュレーション方法を、コンピューターに実行させる。
【００３２】
本態様によれば、目視による動画像に対する画像処理結果の効果の定性的及び定量的な評価を容易化できる画像処理回路のシミュレーションプログラムを提供できるようになる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の一形態に係るシミュレーション装置の構成例のブロック図。
【図２】図１のディスプレイ上に表示される画面の一例を示す図。
【図３】メモリー上に書き込まれる画像処理モジュールの選択及び実行手順の説明図。
【図４】ディスプレイ上に表示される結果グループ化条件設定画面の一例を示す図。
【図５】本実施形態におけるシミュレーション装置の処理例のフローチャート。
【図６】本実施形態における結果グループ化条件設定処理の処理例のフローチャート。
【図７】本実施形態における結果グループ化処理の処理例のフローチャート。
【図８】図８（Ａ）、図８（Ｂ）は結果グループ化実行手段により参照されるＦＩＦＯバッファーの説明図。
【図９】図９（Ａ）〜図９（Ｅ）はパラメーターファイルの一例を示す図。
【図１０】図１０（Ａ）〜図１０（Ｃ）は図９（Ａ）〜図９（Ｅ）のパラメーターの説明図。
【図１１】本実施形態の動作例の説明図。
【発明を実施するための形態】
【００３４】
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の課題を解決するのに必須の構成要件であるとは限らない。
【００３５】
図１に、本発明の実施の一形態に係るシミュレーション装置の構成例のブロック図を示す。
【００３６】
シミュレーション装置１は、演算処理装置２及びメモリー３を備えたコンピューターとして構成される。即ち、演算処理装置２が、メモリー３に蓄積されたプログラムを読み出してメモリー３に蓄積されたプログラム及びデータを用いて処理を実行することで、画像処理回路の動作のシミュレーションを実現する。或いは、演算処理装置２が、専用のハードウェア回路により、メモリー３に蓄積されたデータに対する演算処理を行うことで、画像処理回路の動作のシミュレーションを実現する。ここで、画像処理回路は、複数のフレーム画像により構成される動画像が入力され、各フレーム画像に対して画像処理を行う。このシミュレーション装置１は、複数の部分画像処理回路を組み合わせて構成される画像処理回路の動作をシミュレーションすることができる。
メモリー３内には、本実施形態に係る画像処理回路シミュレーションを実行するためのプログラム、及び、複数の画像処理モジュールが格納されている。各画像処理モジュールは、コンピューター上で実行可能なソフトウェア（プログラム）であり、各部分画像処理回路に対応する機能を具備している。
シミュレーション装置１の入力側には、図示を略したが、スキャナー、デジタルカメラ、ハードディスク装置等の画像データ出力装置が接続され、各機器から画像処理結果後の画像を評価するための評価用の入力フレーム画像データＶＩＤＥＯが入力されるようになっている。
【００３７】
一方、シミュレーション装置１の出力側には、記録媒体としてのハードディスク装置４及び画像表示装置としてのディスプレイ５が接続されている。
ハードディスク装置４には、シミュレーション装置１で選択した画像処理モジュールや、その実行手順、及び各画像処理モジュールで画像処理を行った結果データ（結果フレーム画像データ（処理後フレーム画像データ）等）が記憶される。
また、ディスプレイ５には、画像処理モジュールの画像処理を行って得られた結果フレーム画像データに基づいて、結果フレーム画像が表示画像として形成される。
【００３８】
演算処理装置２は、モジュール管理手段６、出力手段７、及び書込手段８を備えて構成され、これらの各機能的手段６〜８は、演算処理装置２のＯＳ（Operating System）上で実行されるプログラム群として構成されている。
【００３９】
図２に、図１のディスプレイ５上に表示される画面の一例を示す。
【００４０】
モジュール管理手段６、出力手段７、及び書込手段８は、メモリー３に格納されていて、シミュレーション装置１の起動中、ディスプレイ５上に表示された所定のアイコンを選択すると起動するようになっている。そして、図２に示されるような画面Ｇ１を表示させることにより、操作者に入力を促し、この操作者の入力に基づく選択結果により、画像処理モジュールの選択、画像処理モジュールに適用されるパラメーターの選択及び実行手順の設定を行う。
【００４１】
画面Ｇ１においてデフォルトで表示されるモジュール名は、メモリー３に予め格納された画像処理モジュールを読み出して表示している。新たな画像処理モジュールを読み出すには、画面Ｇ１上の右下の読出ボタンＧ８をクリックし、選択画面上で選択することにより、新たな画像処理モジュールを読み出すことができるようになっている。
なお、画像処理モジュールは、画像処理の対象となる画像表示装置で行う画像処理すべてを網羅することが望ましいが、特に、ＲＧＢ色空間からＹｕｖ色空間への変換処理、及び色空間変換処理の逆変換処理や、ガンマ特性変換、高解像度から低解像度の変換処理等が例示できる。
これらの画像処理は、モジュール内処理でシャープネス処理、コントラスト処理、色変換処理を行う点で共通しており、画像処理の順番によっては、画像処理の結果フレーム画像において、お互いの処理が干渉しあい、部分的な欠点や画像全体の色ムラが強調されるといった現象が生じることがある。
【００４２】
モジュール管理手段６は、画像処理モジュールの選択と、選択された画像処理モジュールの実行手順の設定、画像処理モジュールの実行、画像処理結果である画像処理モジュールによる画像処理が行われた後の画像データのグループ化の条件（グループ化条件、結果グループ化条件）の設定、及び画像処理結果のグループ化を行う部分であり、モジュール選択手段６１、モジュール実行手順設定手段６２、モジュール実行手段６３、パラメーター選択手段６４、結果グループ化条件設定手段６５、及び結果グループ化実行手段６６を備えて構成される。ここで、画像データ（画像処理結果）のグループ化とは、複数のグループのいずれかに当該画像処理結果を振り分ける動作をいう。
【００４３】
モジュール選択手段６１は、画像処理モジュールの選択を行う部分であり、図２に示されるように、ディスプレイ５上に操作者の選択を促す画面Ｇ１を表示させ、操作者が画面Ｇ１上で選択した画像処理モジュールを、実行する画像処理モジュールとして選択する。
【００４４】
まず、操作者によるキーボード等の入力デバイスを介して、テキストフィールドＢ１に入力動画ファイル名、テキストフィールドＢ２に出力動画ファイル名の入力が受け付けられる。図２では、入力動画ファイル名“ｉｎ．ａｖｉ”で指定された動画ファイルには、それぞれがフレーム番号により特定可能な複数のフレーム画像により構成された動画データ（複数のフレーム画像データ）が格納されている。そして、画像処理が行われたフレーム画像データが、出力動画ファイル名“ｏｕｔ．ａｖｉ”の出力ファイル又はこのファイル名にグループ化条件等を付加したファイル名の出力ファイルに格納される。
その後、操作者による画面Ｇ１での画像処理モジュールの選択が、画面Ｇ１の左側に表示されたチェックボックスＧ２を、キーボード、マウス等の入力デバイスでチェックすることにより行われる。
また、チェックボックスＧ２の右側のボックスＧ３は、結果フレーム画像データの出力、結果フレーム画像の表示出力の有無を設定するものであり、このボックスＧ３をマウスクリックすると、例えば、ボックスＧ３が白、青、赤等に変化し、白の場合（図２中白のボックス）には、結果フレーム画像及び結果フレーム画像データ（結果データ）を出力せず、青の場合（図２中右下がり斜線のボックス）には、結果フレーム画像をディスプレイ５に表示せず、結果フレーム画像データのみをハードディスク装置４に出力し、赤の場合（図２中左下がり斜線のボックス）には、結果フレーム画像をディスプレイ５上に表示し、かつ結果フレーム画像データをハードディスク装置４に出力するといった設定を行うことができるようになっている。
【００４５】
モジュール実行手順設定手段６２は、モジュール選択手段６１で選択された画像処理モジュールの実行手順を設定する部分である。このモジュール実行手順設定手段６２は、図２に示される画面Ｇ１上で操作対象となる画像処理モジュールを操作者に選択させる。操作者に選択された画像処理モジュールは、画面Ｇ１上では矩形Ｇ４に囲まれた状態で表示される。操作者は、画面Ｇ１の下部にある実行手順変更ボタンＧ５、Ｇ６をマウスクリックすることにより、選択された画像処理モジュールを上下させて画像処理モジュールの順序を変更することで実行手順を変更できるようになっている。そして、このようにして設定された画像処理モジュールの選択及び実行手順は、メモリー３上に書き込まれる。
【００４６】
図３に、メモリー３上に書き込まれる画像処理モジュールの選択及び実行手順の説明図を示す。
【００４７】
メモリー３上への書き込みは、例えば、図３に示されるように、テーブルＴ１として書き込まれる。このテーブルＴ１は、選択されたモジュール名、実行の有無、画像出力の有無、フレーム画像データ出力（データ出力）の有無が記録され、それに付随して各画像処理モジュールで用いるパラメーター名が記録される。
なお、パラメーターとは、各画像処理モジュールの実行時の動作パラメーター値であり、例えば、曲線ガンマ値変換モジュールであればγ＝２．２等の値が格納されている。このパラメーターは、モジュール管理手段６とともに、メモリー３に格納されている。
【００４８】
モジュール実行手段６３は、モジュール選択手段６１により選択された画像処理モジュールを、モジュール実行手順設定手段６２により設定された実行手順に基づいて順次実行していく部分であり、入力フレーム画像データＶＩＤＥＯを構成する各フレーム画像データに対して、それぞれ、選択された画像処理モジュールによる画像処理を順次実行する。
【００４９】
具体的には、モジュール実行手段６３は、前述した図３に示されるテーブルＴ１の上位から画像処理モジュールを実行していき、その際、テーブルＴ１中の実行の有無及びパラメーターを参照しながら、メモリー３中に格納された画像処理モジュールを検索し、検索された画像処理モジュールによる画像処理を行う。本実施形態では、画像処理モジュールの実行は、図２における実行ボタンＧ７をクリックすることにより行われ、操作者が実行ボタンＧ７を１回クリックする毎に、１つの画像処理モジュールが実行される。
このモジュール実行手段６３による画像処理後の結果フレーム画像データは、出力手段７に出力される。
【００５０】
パラメーター選択手段６４は、モジュール実行手段６３で実行される画像処理モジュールのパラメーターの選択を行う部分であり、図２に示されるように、ディスプレイ５上に操作者の選択を促す画面Ｇ１を表示させ、操作者が画面Ｇ１上で選択したパラメーターファイルを、選択した画像処理モジュールのパラメーターとして選択する。
【００５１】
結果グループ化条件設定手段６５は、モジュール実行手段６３により実行された一連の画像処理モジュールによる画像処理後の結果フレーム画像データ（処理後フレーム画像データ、画像処理結果）をグループ化するための条件を設定する部分であり、図２に示される画面Ｇ１において、操作者が、結果グループ化条件設定ボタンＧ９をマウスクリックすることにより、ディスプレイ５上に結果グループ化条件設定画面Ｇ２０が表示される。
【００５２】
本実施形態では、複数のフレーム画像により構成される動画像が入力され、各フレーム画像のフレーム画像データに対する一連の画像処理モジュールによる画像処理が行われた結果フレーム画像データを例えば過去の数フレーム数分だけ参照した指定演算結果をグループ化することで処理結果の解析処理を実現し、処理結果の目視による効果の定性的及び定量的な評価が容易となる上に、画像処理の検証を効率化できるようになる。本実施形態では、一連の画像処理モジュールの処理結果を解析するために、各フレーム画像について、元の入力フレーム画像と該入力フレーム画像に対する一連の画像処理モジュールの処理結果の結果フレーム画像データとの差分情報を求め、各フレームにおける差分情報を過去の数フレーム分を集計して、その結果に基づきグループ化する。そのため、本実施形態では、書込手段８がＦＩＦＯバッファー８２（広義には、記憶手段）を備え、過去の少なくとも１フレーム分の差分情報を保存することができるようになっている。このＦＩＦＯバッファー８２には、同じグループに属する連続する複数フレーム分の差分情報が保存され、異なるグループに属すると判断されたときに過去の一部又は全部のフレームにおける差分情報がクリアされる。
【００５３】
図４に、ディスプレイ５上に表示される結果グループ化条件設定画面Ｇ２０の一例を示す。
【００５４】
この結果グループ化条件設定画面Ｇ２０は、操作者に結果グループ化条件の設定を促し、結果グループ化条件設定手段６５は、この操作者の入力に基づく設定結果により、結果グループ化条件の設定を行う。
結果グループ化条件設定画面Ｇ２０での設定は、予め設けられた複数種類の演算方法からいずれか１つを指定するラジオボタンＧ２１、差分情報の演算対象となる画素を指定するラジオボタンＧ２２、差分情報の集計方法を指定するラジオボタンＧ２３をマウスクリックすることで行われ、テキストフィールドＧ２４で、集計結果をグループ化する範囲（グループ化する際の刻み情報）が指定される。このテキストフィールドＧ２４は、例えばコンボボックスで構成されていてもよい。また、テキストフィールドＧ２５には、各フレームの指定演算結果を保存しておく過去フレーム数が指定され、テキストフィールドＧ２６には、目視による残像効果を評価するため、ＦＩＦＯバッファー８２にクリアせずに差分指定演算結果を保存しておく過去フレーム数が指定される。
【００５５】
ラジオボタンＧ２１では、元の入力フレーム画像と画像処理後の結果フレーム画像との間のＣＩＥＬＵＶ色空間におけるＬ＊の差分ΔＬ、元の入力フレーム画像と画像処理後の結果フレーム画像との間のＣＩＥＬＵＶ色空間におけるｕ＊の差分Δｕ、元の入力フレーム画像と画像処理後の結果フレーム画像との間のＣＩＥＬＵＶ色空間におけるｖ＊の差分Δｖ、元の入力フレーム画像と画像処理後の結果フレーム画像との間のＣＩＥＬＵＶ色空間における色差ΔＥｕｖ、又は元の入力フレーム画像と画像処理後の結果フレーム画像との間のエッジ値の差分ΔＥｄｇｅのいずれかを指定できるようになっている。なお、ラジオボタンＧ２１では、ＣＩＥＬＵＶ色空間以外の色空間の差分情報を指定できるようになっていてもよい。
【００５６】
ラジオボタンＧ２２では、ラジオボタンＧ２１で指定された演算方法を、入力フレーム画像を構成する各画素とこれに対応する画像処理後の出力画像を構成する各画素との間で行うか、入力フレーム画像を構成する画素のうち所与のサンプリング画素とこれに対応する画像処理後の出力画像を構成するサンプリング画素との間で行うかを指定できるようになっている。なお、ラジオボタンＧ２２では、ラジオボタンＧ２１で指定された演算方法を、これら以外の画素間で演算するように指定できるようになっていてもよい。
【００５７】
ラジオボタンＧ２３では、ラジオボタンＧ２１、Ｇ２２で指定された各フレーム画像間及び過去フレーム数分の演算結果のうち最大値を取得するか、ラジオボタンＧ２１、Ｇ２２で指定された各フレーム画像間及び過去フレーム数分の演算結果の平均値を取得するかを指定できるようになっている。なお、ラジオボタンＧ２３では、ラジオボタンＧ２１、Ｇ２２で指定された各フレーム画像間及び過去フレーム数分の演算結果を別の方法で集計できるようにしてもよい。
【００５８】
テキストフィールドＧ２４では、ラジオボタンＧ２１、Ｇ２２で指定された演算結果をラジオボタンＧ２３で指定された集計方法で取得した値を、どのグループにグループ化するかを指定できるようになっている。例えば、テキストフィールドＧ２４に「１．０」が指定されると、取得した値に応じて、一連の画像処理モジュールにより処理結果が、「０．０」〜「１．０」、「１．０」〜「２．０」、「２．０」〜「３．０」、・・・のいずれかにグループ化される。例えば、テキストフィールドＧ２４に「１．０」が指定され、取得した値が「５．５」のとき、「５．０」〜「６．０」のグループにグループ化されることになる。
【００５９】
ＦＩＦＯバッファー８２に保存される過去フレーム数は、外部から設定可能に構成されている。そして、テキストフィールドＧ２５では、グループ化する際に参照する過去フレーム数が指定されると、ラジオボタンＧ２１、Ｇ２３で指定された演算方法により入力フレーム画像と画像処理後の結果フレーム画像の各画素間で求められた演算結果を、指定された過去フレーム数分の中で集計して、グループ化が行われる。例えば、ラジオボタンＧ２１で差分ΔＬが指定され、ラジオボタンＧ２３で集計方法として「最大」が指定され、テキストフィールドＧ２５で過去フレーム数が「１００」が指定されると、当該フレームのフレーム画像と画像処理後の結果フレーム画像との間で画素毎に求めた差分ΔＬの最大値を１フレーム分の演算結果として求め、これを過去の１００フレーム数分の中での最大値が抽出される。そして、この最大値に基づいてグループ化される。
上記のような集計を行うため、異なるグループ間で過去フレームの演算結果を参照しないように、過去フレームの演算結果がグリアされる。しかしながら、人間の目視による残像効果を反映させるため、敢えて過去の残像フレーム数分の演算結果を残しておき、これらを参照させて集計するようにしている。テキストフィールドＧ２６には、この残像フレーム数が指定される。
【００６０】
なお、図４の結果グループ化条件設定画面Ｇ２０において、ボタンＧ２７をマウスクリックすることで、ラジオボタンＧ２１〜Ｇ２３、テキストフィールドＧ２４〜Ｇ２６で指定された方法が結果グループ化条件として設定され、結果グループ化条件設定処理が終了する。一方、結果グループ化条件設定画面Ｇ２０において、ボタンＧ２８をマウスクリックすることで、ラジオボタンＧ２１〜Ｇ２３、テキストフィールドＧ２４〜Ｇ２６で指定された方法が結果グループ化条件として設定されることなく、結果グループ化条件設定処理が終了する。
【００６１】
図１において、出力手段７は、モジュール実行手段６３における画像処理モジュールによる入力フレーム画像データＶＩＤＥＯの画像処理の結果や、グループ化された結果を出力する部分であり、結果表示部７１及び結果書込部７２を備える。
結果表示部７１は、画像処理モジュールによる入力フレーム画像データＶＩＤＥＯの画像処理結果を、ディスプレイ５上に表示する部分であり、表示するかしないかは、図３におけるテーブルＴ１の画像出力の有無の欄に基づいて判断する。
結果書込部７２は、画像処理モジュールによる入力フレーム画像データＶＩＤＥＯの画像処理結果を、同一グループの連続する結果フレーム画像データを１つの動画ファイルとしてハードディスク装置４に書き込む部分であり、書き込むか否かは、図３におけるテーブルＴ１のデータ出力の有無の欄に基づいて判断する。また、結果書込部７２は、結果グループ化実行手段６６によりグループ化された処理結果を、ハードディスク装置４に書き込む部分でもある。
【００６２】
書込手段８は、モジュール管理手段６で設定された画像処理モジュールの実行手順や結果グループ化条件設定手段６５により設定された結果グループ化条件をハードディスク装置４に書き込む部分であり、結果グループ化条件書込手段８１を備える。書込手段８は、操作者が画面Ｇ１の右下の書込ボタンＧ１０をマウス等でクリックすることにより、図２に示される画面Ｇ１上で設定した画像処理モジュールの実行手順をテーブルＴ１としてハードディスク装置４に書き込む。或いは、書込手段８の結果グループ化条件書込手段８１は、操作者が画面Ｇ１の右下の書込ボタンＧ１０をマウス等でクリックすることにより、図３に示される結果グループ化条件設定画面Ｇ２０上で設定した結果グループ化条件をハードディスク装置４に書き込む。
また書込手段８は、上記のように記憶手段としてのＦＩＦＯバッファー８２を備え、過去の複数フレーム分の結果フレーム画像データに対する上記の演算結果とが蓄積され、結果グループ化実行手段６６等により適宜参照されるように構成される。
【００６３】
次に、本実施形態の作用について説明する。
図５に、本実施形態におけるシミュレーション装置１の処理例のフローチャートを示す。例えば演算処理装置２は、メモリー３に記憶された図４に示す処理例に対応したプログラムを読み込み該プログラムに対応した処理を実行することで、図４に示す処理を行うことができる。この場合、演算処理装置２を構成する各手段の機能は、メモリー３から読み込んだプログラムを実行する演算処理装置２により実現される。
【００６４】
モジュール管理手段６は、起動すると、図２に示される画面Ｇ１をディスプレイ５上に表示させ、操作者に画像処理モジュールの選択と、選択した画像処理モジュールが実行する画像処理に適用されるパラメーターの選択とを促す。
操作者がマウス等でチェックボックスＧ２をクリックして実行する画像処理モジュールを選択すると、モジュール選択手段６１は、テーブルＴ１の選択された画像処理モジュールの実行を「有」として、実行する画像処理モジュールの選択を行う（ステップＳ１）。
続いて、操作者がマウス等で読出ボタンＧ８をクリックして画像処理モジュール毎に画像処理に適用されるパラメーターが記録されているパラメーターファイルを選択すると、パラメーター選択手段６４は、画像処理モジュール毎に、対応するパラメーターファイルの選択を行う（ステップＳ２）。パラメーター選択手段６４は、画面Ｇ１において画像処理モジュール毎にパラメーターの選択を促し、パラメーターが設定されたパラメーターファイルを画像処理モジュール毎に操作者が選択すると、画像処理モジュール毎に選択したパラメーターを設定していく。
【００６５】
次に、モジュール実行手順設定手段６２は、矩形Ｇ４によって操作者が選択した画像処理モジュールについて実行手順変更ボタンＧ５、Ｇ６を押して変更した実行手順に従って、テーブルＴ１内の実行手順を変更し、選択した画像処理モジュールの実行手順を設定する（ステップＳ３）。
そして、モジュール実行手順設定手段６２は、図２の画面Ｇ１上で操作者がマウス等をクリックして設定したボックスＧ３の状態に基づいて、テーブルＴ１の結果フレーム画像の出力の有無、及び結果フレーム画像データの出力の有無を設定する（ステップＳ４）。
なお、本実施形態では、モジュール実行手順設定手段６２による実行手順の設定を先に、結果フレーム画像又は結果フレーム画像データの出力の有無の設定を後に行っていたが、これに限らず先に結果フレーム画像又は結果フレーム画像データの出力設定を先に行ってもよい。
【００６６】
以上のように画像処理モジュール及びこれに対応するパラメーターファイルの選択及び実行手順の設定が終了したら、書込手段８は、操作者が画面Ｇ１上の書込ボタンＧ１０をクリックするか否かを監視し（ステップＳ５）、クリックされた画面Ｇ１上で設定されたテーブルＴ１をハードディスク装置４に書き込み記録保存する（ステップＳ６）。
なお、操作者による実行手順の書き込みは、本実施形態ではこのタイミングで行っているが、実際には、モジュール実行手段６３によるすべての画像処理モジュールの実行処理後、又はモジュール実行手段６３の実行中のいずれのタイミングでも可能とすることができる。
【００６７】
次に、結果グループ化条件設定手段６５は、操作者が画面Ｇ１上の結果グループ化条件設定ボタンＧ９をクリックすることで開始される結果グループ化条件設定処理を行う（ステップＳ７）。
なお、操作者による結果グループ条件設定処理は、本実施形態ではこのタイミングで行っているが、実際には、モジュール実行手段６３によるすべての画像処理モジュールの実行処理前、又はモジュール実行手段６３の実行中のいずれのタイミングでも可能とすることができる。
【００６８】
図６に、本実施形態における結果グループ化条件設定処理の処理例のフローチャートを示す。例えば演算処理装置２は、メモリー３に記憶された図６に示す処理例に対応したプログラムを読み込み該プログラムに対応した処理を実行することで、図６に示す処理を行うことができる。図６の処理は、結果グループ化条件設定手段６５により実行される。
【００６９】
結果グループ化条件設定手段６５は、操作者が画面Ｇ１上の結果グループ化条件設定ボタンＧ９をクリックするか否かを監視し（ステップＳ２０）、クリックされるとディスプレイ５上に図４に示される結果グループ化条件設定画面Ｇ２０を表示させ、結果グループ化条件の設定を促す。
【００７０】
結果グループ化条件設定手段６５は、図４に示されるような結果グループ化条件設定画面Ｇ２０において、操作者がラジオボタンＧ２１〜Ｇ２３やテキストフィールドＧ２４〜Ｇ２６で選択し、ボタンＧ２７をクリックすることで、ラジオボタンＧ２１〜Ｇ２３及びテキストフィールドＧ２４〜Ｇ２６で設定した結果グループ化条件を設定する（ステップＳ２１）。
【００７１】
以上のように結果グループ化条件の設定が終了したら、結果グループ化条件書込手段８１は、操作者が画面Ｇ１上の書込ボタンＧ１０又は図示しない専用の書込ボタンをクリックするか否かを監視し（ステップＳ２２）、クリックされた結果グループ化条件設定画面Ｇ２０上で設定された結果グループ化条件に対応する結果グループ化条件設定情報をハードディスク装置４に書き込み記録保存する（ステップＳ２３）。
【００７２】
次に、図５に示すように、モジュール実行手段６３は、テーブルＴ１で設定された順番に従って選択された画像処理モジュールを実行する。
まず、モジュール実行手段６３は、テーブルＴ１の第１行目の記載に基づいて、入力フレーム画像データＶＩＤＥＯの読み込みを行う（ステップＳ８）。
続いて、モジュール実行手段６３は、テーブルＴ１の第３行目（第２行目は実行せず）に記載されたパラメーターファイル名に基づいて、パラメーターを読み出し（ステップＳ９）、同行の画像処理モジュール名に基づいて、メモリー３内を検索して該当する画像処理モジュールを取得する（ステップＳ１０）。
モジュール実行手段６３は、検索した画像処理モジュールを実行し、入力フレーム画像データＶＩＤＥＯに画像処理を施す（ステップＳ１１）。
【００７３】
画像処理モジュールによる画像処理が終了したら、出力手段７の結果表示部７１は、当該画像処理モジュールのテーブルＴ１の結果画像出力の有無を判定し（ステップＳ１２）、「有」が設定されていたら、ディスプレイ５上に画像処理の結果フレーム画像を表示する（ステップＳ１３）。
また、出力手段７の結果書込部７２は、同様に、テーブルＴ１のデータ出力の有無を判定し（ステップＳ１４）、「有」に設定されていたら、結果フレーム画像データをハードディスク装置４に書き込み、記憶保存する（ステップＳ１５）。
【００７４】
続いて、モジュール実行手段６３による画像処理モジュールの実行が終了すると、結果グループ化実行手段６６は、結果グループ化処理を行う（ステップＳ１６）。
なお、操作者による結果グループ化処理は、本実施形態ではこのタイミングで行っているが、実際には、各画像処理モジュールの実行後であれば、結果表示処理中又は結果保存処理中のいずれのタイミングでも可能とすることができる。
【００７５】
図７に、本実施形態における結果グループ化処理の処理例のフローチャートを示す。例えば演算処理装置２は、メモリー３に記憶された図７に示す処理例に対応したプログラムを読み込み、該プログラムに対応した処理を実行することで図７に示す処理を行うことができる。図７の処理は、結果グループ化実行手段６６により実行される。
図８（Ａ）、図８（Ｂ）に、結果グループ化実行手段６６により参照されるＦＩＦＯバッファー８２の説明図を示す。
【００７６】
結果グループ化実行手段６６は、モジュール実行手段６３による画像処理モジュールの実行状況を監視しており、モジュール実行手段６３による画像処理モジュールの実行が全画素について終了したか否かを判定する（ステップＳ３０）。
モジュール実行手段６３による画像処理モジュールの実行が全画素について終了していないとき（ステップＳ３０：Ｎ）、結果グループ化実行手段６６は、結果グループ化条件設定手段６５により設定された結果グループ化条件のうち演算方法とその演算対象の指定画素の情報に従って、入力フレーム画像の画素値と結果フレーム画像の画素値に対して指定された演算を行う（ステップＳ３１）。結果グループ化実行手段６６は、入力フレーム画像の画素値と結果フレーム画像の画素値とを用いて、図４の結果グループ化条件設定画面Ｇ２０上のラジオボタンＧ２１、Ｇ２２で指定されるように入力フレーム画像と結果フレーム画像との差分情報を公知の演算方法により求める。
【００７７】
次に、結果グループ化実行手段６６により求められた演算結果は、結果書込部７２によりハードディスク装置４に書き込まれて保存され（ステップＳ３２）、再び、結果グループ化実行手段６６が、モジュール実行手段６３による画像処理モジュールの実行状況の監視を継続する（ステップＳ３０）。
【００７８】
モジュール実行手段６３による画像処理モジュールの実行が全画素について終了したとき（ステップＳ３０：Ｙ）、結果グループ化実行手段６６は、１フレーム分の指定演算の演算結果を指定された集計方法で集計した結果を算出する（ステップＳ３３）。例えば、指定された集計方法が平均の場合には、各画素間での指定演算結果の合計値を１フレーム画像の全画素数で除算して求める。或いは、例えば、指定された集計方法が最大の場合には、各画素間での指定演算結果の最大値を抽出する。結果グループ化実行手段６６は、このように求められた集計結果は、ＦＩＦＯバッファー８２に追加保存する（ステップＳ３４）。
【００７９】
続いて、結果グループ化実行手段６６は、ＦＩＦＯバッファー８２に保存された過去の１又は複数フレーム数分の集計結果を、指定された集計方法で更に平均値又は最大値を求め、過去フレーム分集計値をして求める（ステップＳ３５）。例えば、当該フレームが第Ｍ（Ｍは自然数）のフレームとし、ＦＩＦＯバッファー８２がＬ（Ｌは２以上の整数）フレーム数分の集計結果を保存するものとすると、結果グループ化実行手段６６は、例えば第Ｍのフレーム〜第（Ｍ−（Ｌ−１））フレームの集計結果を参照して、これらの平均値又は最大値を過去フレーム分集計値として求める。そして、結果グループ化実行手段６６は、図４のテキストフィールドＧ２４で指定された集計結果範囲で、「０」を基準に、ステップＳ３５で求めた過去フレーム分集計値に基づいて当該フレームのグループ化を行う（ステップＳ３６）。
【００８０】
ステップＳ３６によるグループ化の結果、前フレームと同じグループであるとき（ステップＳ３７：Ｙ）、結果グループ化実行手段６６は、当該フレームの結果フレーム画像データを前のフレームと連結して動画ファイルとして追加保存して（ステップＳ４０）、ステップＳ３０に戻る。例えばシーンチェンジ後は、画像処理の結果が急変する可能性があり、別のグループに振り分けられる。或いは、突飛なノイズ等は、ＦＩＦＯバッファー８２を用いた集計により、考慮される同一グループに振り分けられるようにすることができる。なお、動画ファイルとして追加保存するのに加えて、グループ化の結果、振り分けられたグループ名と当該フレーム画像のフレーム番号等の識別情報を関連付けて保存することが望ましい。
【００８１】
ステップＳ３７において、ステップＳ３６によるグループ化の結果、前フレームと同じグループではないとき（ステップＳ３７：Ｎ）、結果グループ化実行手段６６は、新規に当該フレームの結果フレーム画像が振り分けられたグループの動画ファイルを作成し（ステップＳ３８）、ＦＩＦＯバッファー８２の記憶内容をクリアし（ステップＳ３９）、当該フレームの結果フレーム画像データを新規作成した動画ファイルに保存し（ステップＳ４０）、ステップＳ３０に戻る。なお、ステップＳ３８では、図４のテキストフィールドＧ２６で指定された直近の残像フレーム数分の記憶内容を残して、残りのフレームの集計結果をＦＩＦＯバッファー８２からクリアする。例えば、図８（Ｂ）に示すように、当該フレームが第Ｍのフレーム、残像フレーム数分として「３」が指定されているとすると、ステップＳ３８では、第（Ｍ−１）のフレーム〜第（Ｍ−３）のフレームの集計結果を残して、残りのフレームの集計結果がＦＩＦＯバッファー８２からクリアされる。
【００８２】
ところで、結果グループ化実行手段６６により実行される結果グループ化処理としては、一連の画像処理結果を、予め設けられた複数のグループのうちのいずれかに振り分けて保存させたりしてもよいし、単に、フレーム番号と振り分け先のグループとを関連付けて保存するようにしてもよい。
【００８３】
以降、図５に示すように、モジュール実行手段６３は、次に実行すべき画像処理モジュールがあるか否かをテーブルＴ１から判定し（ステップＳ１７）、あればステップＳ９からを繰り返し、モジュール実行手段６３は、次の入力フレーム画像があるか否かを判定し（ステップＳ１８）、あればステップＳ８からの処理を繰り返し、なければシミュレーションを終了する（エンド）。
【００８４】
以上のように、結果グループ化実行手段６６は、当該フレームのフレーム画像に対して画像処理が行われた現フレーム処理後画像データに対する所与の演算結果と、ＦＩＦＯバッファー８２に記憶される当該フレームより過去の１又は複数の過去フレーム画像に対する過去フレーム処理後画像データに対する所与の演算結果とを用いて、現フレーム処理後画像データに対してグループ化を実行することができる。
また、結果グループ化実行手段６６は、現フレーム処理後画像データを、ＦＩＦＯバッファー８２に記憶される過去フレーム処理後画像データが振り分けられたグループと異なるグループに振り分けるとき、ＦＩＦＯバッファー８２の少なくとも一部の記憶内容をクリアする。これにより、目の残像による影響を考慮したシミュレーションを可能となる。
【００８５】
ここで、本実施形態の動作例について説明する。
【００８６】
図９（Ａ）〜図９（Ｅ）に、パラメーターファイルの一例を示す。図９（Ａ）〜図９（Ｅ）は、画像処理モジュールが色変換処理（画像処理）を行う場合に、ＲＧＢのうちＲ成分の色変換処理に適用されるパラメーターファイルの一例を模式的に表す。
図１０（Ａ）〜図１０（Ｃ）に、図９（Ａ）〜図９（Ｅ）のパラメーターの説明図を示す。図１０（Ａ）は、図９（Ａ）のパラメーターの説明図を表し、図１０（Ｂ）は、図９（Ｄ）のパラメーターの説明図を表し、図１０（Ｃ）は、図９（Ｅ）のパラメーターの説明図を表す。
図１１に、本実施形態の動作例の説明図を示す。
【００８７】
図９（Ａ）〜図９（Ｅ）のそれぞれには、Ｒ成分の画素値ｘに対する補正量ｙが離散的に設定され、画像処理モジュールは、設定されない画素値に対しては、公知の補間処理によって補正量を求めることができるようになっている。従って、例えば図１０（Ａ）〜図１０（Ｃ）は、補正前後の画素値が等しくなる基準線Ｐ１〜Ｐ３を基準にすると、それぞれ異なる色変換処理を行う。
【００８８】
本実施形態では、例えば動画像を構成する複数のフレーム画像ＩＭＧｉｎ１〜ＩＭＧｉｎ６・・・の各フレーム画像毎に、前述の色変換処理を含む１又は複数の画像処理の実行順序を変更しながら、各画像処理のパラメーターを複数の種類設定することで、複数の結果フレーム画像が得られる。そして、図１１に示すように、結果フレーム画像毎に対応する入力フレーム画像との差分情報を演算して数値化し、演算結果をグループ化して、例えば画像処理結果が異なる結果フレーム画像ＩＭＧＯ１〜ＩＭＧＯ６・・・をそれぞれ別のグループにグループ化することで、目視による画像処理結果の効果の定性的及び定量的な評価を容易化できるようになる。
【００８９】
このようにして、それぞれが適用されるパラメーターを異ならせることが可能な画像処理モジュールの組み合わせを種々シミュレーションして、最適な画像処理結果となるような画像処理モジュールの選択、及び実行手順を求め、部分画像処理回路を実装する画像処理回路の設計を行う。
具体的には、画像処理モジュールの実行手順と同じような画像処理手順となるように、画像処理回路における部分画像処理回路に実装レイアウトを設計すればよい。
【００９０】
なお、画像処理による画質の劣化は、局所的に生じるものばかりではなく、フレーム画像の画面全体に生じる色ムラや、高解像度から低解像度への変換時に生じるジャギーやブロックノイズ、画面全体のぼやけとして現れることがあり、これらの画質劣化は、目視の比較により評価することができる。
【００９１】
また、画像処理モジュールの組み合わせを、画面Ｇ１上で操作者が自由に設定できるため、多数ある画像処理モジュールの選択と、画像処理の順番を簡単に変更してシミュレーションを行うことができるため、最適な画像処理モジュールの組み合わせを容易にかつ短時間で見出しやすくなる。
さらに、結果書込部７２がハードディスク装置４に結果画像データを書き込むことが可能となっているため、入力フレーム画像データＶＩＤＥＯとの比較評価を、コンピューター上で公知の評価ソフトウェアを実行することにより、行うことも可能である。比較評価の方法としては、例えば、各画素の輝度、色ムラ等を数値化して対比し、統計的処理を行って一定の閾値を超えるような変化をしていれば、画質劣化とみなし、それを超えなければ画質劣化はないと判定するような方法を採用することができる。
【００９２】
なお、本実施形態における画像処理モジュールが実行する画像処理として、例えばフレーム画像の画面全体に一律にガンマ曲線を異ならせる色変換処理を例に説明したが、本発明はこれに限定されるものではない。例えば、画像処理モジュールが実行する画像処理として、フレーム画像の画面を分割した領域毎にガンマ曲線を異ならせる色ムラ補正処理を採用し、光学系の色ムラを補正する目標画像を入力フレーム画像とし、結果フレーム画像のサンプリング画素間のΔＥｕｖの最大値が小さくなるようなパラメーターの組み合わせを求め、色ムラ補正の効果が得られる画像処理モジュールの組み合わせを見つけるようにしてもよい。
或いは、例えば、画像処理モジュールが実行する画像処理として、３次元ルックアップテーブル変換処理を採用し、グラデーション画像の入力フレーム画像に対して結果フレーム画像の各画素のエッジ値を求め、その最大値が小さくなるようなパラメーターの組み合わせを求め、コントラスト強調やエッジ強調の際に擬似輪郭の発生を低減できる画像処理モジュールの組み合わせを見つけるようにしてもよい。
【００９３】
なお、本実施形態では、結果グループ化条件の設定処理を、図４に示すように、元の入力フレーム画像データと該入力フレーム画像データに対して画像処理モジュールによる画像処理が行われた結果フレーム画像データとの差分情報を演算する演算方法、この差分情報の演算対象となる画素の指定方法、上記の差分情報の集計方法、及び上記の差分情報をグループ化する範囲の指定方法を例に説明したが、本発明はこれに限定されるものではない。例えば、元の入力フレーム画像データと結果フレーム画像データとの差分情報を演算する演算方法、この差分情報の演算対象となる画素の指定方法、上記の差分情報の集計方法、及び上記の差分情報をグループ化する範囲の指定方法うち、少なくとも１つを、結果グループ化条件の設定処理において設定するようにしてもよい。
【００９４】
また、本実施形態では、差分情報を演算する演算方法として、差分情報の演算対象となる画素間の明度の差分、画素間の彩度及び色相の差分、画素間の色差、及び入力フレーム画像データと画像処理後のフレーム画像データとに基づくエッジ値の差分を例に説明したが、本発明はこれに限定されるものではない。差分情報を演算する演算方法として、例えば差分情報の演算対象となる画素間の明度の差分、画素間の彩度及び色相の差分、画素間の色差、及び入力フレーム画像データと画像処理後のフレーム画像データとに基づくエッジ値の差分の少なくとも１つを含んでいればよい。
【００９５】
また、本実施形態では、現フレーム処理後画像データを、ＦＩＦＯバッファー８２に記憶される過去フレーム処理後画像データが振り分けられたグループと異なるグループに振り分けるとき、現フレーム処理後画像データに対する演算結果と、ＦＩＦＯバッファー８２に記憶される少なくとも１フレーム分の過去フレーム処理後画像データに対する演算結果とを用いて、現フレーム処理後画像データに対してグループ化を実行するようにしてもよい。
さらに、本実施形態では、ＦＩＦＯバッファー８２を書込手段８に内蔵させているモノとして説明したが、本発明はこれに限定されるものではなく、ＦＩＦＯバッファー８２が書込手段８の外部に設けられていてもよい。
さらにまた、本実施形態では、ＦＩＦＯバッファー８２を用いて複数の過去フレームの指定演算結果を参照して、当該フレームの指定演算結果に基づきグループ化を行っていたが、本発明はこれに限定されるものではない。例えば、直前のフレームの指定演算結果のみを参照して当該フレームの指定演算結果に基づきグループ化を行ってもよい。この場合、シーンチェンジを抽出できたり、意図しない画像処理後の画像変化を抽出できるようになる。なお、直前のフレームの指定演算結果のみを参照して当該フレームの指定演算結果に基づくグループ化は、上記のＦＩＦＯバッファー８２を用いて複数の過去フレームの指定演算結果を参照した当該フレームの指定演算結果に基づくグループ化に代えて、或いは上記のＦＩＦＯバッファー８２を用いて複数の過去フレームの指定演算結果を参照した当該フレームの指定演算結果に基づくグループ化と同時に行ってもよい。
【００９６】
以上説明したように、本実施形態によれば、画像処理の順序を簡単に変更して複数の画像処理の組み合わせを簡単にシミュレーションできるようにしたので、所望の画像処理結果が得られる画像処理モジュールの選択、及び実行手順を容易に見つけることができ、これに対応した画像処理回路の提供ができるようになる。その結果、エラー検証時間を短縮化でき、画像処理回路の製造コストの削減が可能となる。
また、画像処理回路を構成する部分画像処理回路の種類が増えたとしても、それぞれの実行順序や最適なパラメーターの選択が、確実、かつ、容易に行うことができ、これらのパラメーターの組み合わせに依存して露見するエラーの検証も容易化できる。なお、画素数が増大したとしても、画像処理の実行順序や最適なパラメーターの選択が、確実、かつ、容易にできることには変わりない。
【００９７】
さらに、一連の画像処理後の結果フレーム画像をグループ化することにより、目視による効果の定性的及び定量的な評価が容易となり、結果フレーム画像の検証をより効率化できるようになる。
また、一連の画像処理の追加及び削除、各画像処理に適用されるパラメーターの変更があったとしても上記の評価が容易となり、拡張性に富む画像処理の評価が可能となる。
さらに、多種多様なフレーム画像に対して画像処理を行い、その画像処理結果をグループ化することで、各画像処理に適用されるパラメーターの変更による効果を、容易に把握できるという効果が得られる。
さらに、映像によっては、ディスプレイの特性に合わせて、フレーム毎に画素を明滅させたり、色を変えたりする等、目では捉えきれない連続フレームゆえの効果のための処理をしている場合がある。本実施形態では、ＦＩＦＯバッファー８２を用いて過去のフレームの処理結果の集計値を参照するようにしたので、目に捉えられないフレーム毎の影響を抑えたり、残像等の目で捉えられる連続したフレーム効果をシミュレートしたりすることができる。
【符号の説明】
【００９８】
１…シミュレーション装置、 ２…演算処理装置、 ３…メモリー、
４…ハードディスク装置、 ５…ディスプレイ、 ６…モジュール管理手段、
７…出力手段、 ８…書込手段、 ６１…モジュール選択手段、
６２…モジュール実行手順設定手段、 ６３…モジュール実行手段、
６４…パラメーター選択手段、 ６５…結果グループ化条件設定手段、
６６…結果グループ化実行手段、 ７１…結果表示部、 ７２…結果書込部、
８１…結果グループ化条件書込手段、 ８２…ＦＩＦＯバッファー、
Ｂ１，Ｂ２，Ｇ２４〜Ｇ２６…テキストフィールド、 Ｇ１…画面、
Ｇ２…チェックボックス、 Ｇ３，Ｇ２７，Ｇ２８…ボタン、 Ｇ４…矩形、
Ｇ５，Ｇ６…実行手順変更ボタン、 Ｇ７…実行ボタン、 Ｇ８…読出ボタン、
Ｇ９…結果グループ化条件設定ボタン、 Ｇ１０…書込ボタン、
Ｇ２０…結果グループ化条件設定画面、 Ｇ２１，Ｇ２２，Ｇ２３…ラジオボタン、
Ｐ１〜Ｐ３…基準線、 Ｔ１…テーブル、 ＶＩＤＥＯ…入力フレーム画像データ
【技術分野】
【０００１】
本発明は、画像処理回路のシミュレーション装置、画像処理回路のシミュレーション方法、画像処理回路の設計方法、及び画像処理回路シミュレーションプログラム等に関する。
【背景技術】
【０００２】
従来、複数の機能を実行できるソフトウェアシステムの機能評価、デバッグのために、種々の機能を実行させた結果をシミュレーションするプログラムが知られている。
例えば、特許文献１に記載のテストシーケンサーでは、管理モジュール及び実行モジュールを含んで構成され、テスト対象となるテストエグゼクティブに新たな機能を追加したり、機能の修正を行ったりしたときに、他の機能と干渉するかしないかを簡単にチェックできるものが提案されている。
【０００３】
また、特許文献２に記載のソフトウェアテスト装置では、検証対象となるソフトウェアへの入力及び出力にインターフェースして、動作手順、設定内容等に応じた出力群を受け取って評価するものが提案されている。
また、特許文献３に記載のソフトウェアコンポーネントシステムでは、ソフトウェアコンポーネントの実行において、他のソフトウェアコンポーネントを実行する前の状態を表す事前条件定義情報、後の状態を表す事後条件定義情報をデータベース上に格納しておき、ソフトウェアコンポーネントのテストを正確に行うものが提案されている。
【０００４】
さらに、特許文献４に記載の画質評価装置では、画像を取り込んで数値化した画像を微分し、ムラの輪郭部を顕在化して、階調値毎の面積を利用して求めた画質指数により、検査画面の画質を定量的に評価するものが提案されている。
さらに、特許文献５に記載の画質評価方法では、粒状性テストパターンを用いて、例えばコントラスト強度を判定して、装置間の画質の比較や経時的な画質の比較を行うものが提案されている。
さらに、特許文献６に記載の画質評価装置では、階調が連続的に変化するグラデーション画像を用いて、画像を定量的に評価するものが提案されている。
さらにまた、特許文献７に記載の画像処理装置では、対象物から検出した画像におけるベクトル成分のヒストグラムを計測することで、画像の統計的性質を評価するものが提案されている。
【０００５】
ところで、プロジェクタ、ＦＰＤ（Flat Panel Display）等の画像表示装置においては、入力画像データに対して画像処理を行って適切な表示画像の形成を行っているが、近年画像処理回路に要求される機能が拡大している。
そこで、色変換、解像度変換、ガンマ変換等の種々の画像処理を、画像処理単位でチップ化した部分画像処理回路を組み合わせ、多機能の画像処理を行うことのできる画像処理回路を形成することが行われている。
そして、従来は、このような画像処理回路を設計するに際しては、部分画像処理回路を試作し、実際に組み合わせて画像処理回路を形成してこれを評価するという手法を採用していた。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−５３９２４号公報
【特許文献２】特開２００６−４８３１０号公報
【特許文献３】特開２００６−９１９４４号公報
【特許文献４】特開２０００−２１５３１０号公報
【特許文献５】特開２０００−２７８７２２号公報
【特許文献６】特開２００３−１６４４３号公報
【特許文献７】特開２００３−１９６６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような部分画像処理回路の試作は、エラー検証に時間がかかるばかりでなく、試作コストが嵩むという問題がある。
また、実際に画像処理回路に組み込んで検証を行っても、機能拡大に伴い画像処理回路に組み込まれる部分画像処理回路も多数あり、画像処理におけるパラメーターの設定が効果的であるか否かを判断することが非常に困難であるという問題がある。
さらに、画像処理後毎のパラメーターを組み合わせたときに初めて露見するエラーもあり、これを検証することは非常に困難である。
また、一般に画像表示装置によって形成される動画像を構成する各フレームの表示画像は多数の画素から構成されているが、部分画像処理回路によって処理された結果を各画素について評価するのは難しく、前述した特許文献１乃至７を、画像処理装置による画像処理後の画像の画質の評価に適用することはできない。
さらに、特許文献１乃至７に開示された技術は、静止画に対する処理である。そのため、これらの技術をそのまま動画に適用したとしても静止画と同様の効果が得られるとは限らず、動画に適用した場合の効果が不明である。
【０００８】
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的の１つは、目視による動画像に対する画像処理結果の効果の定性的及び定量的な評価を容易化できる画像処理回路のシミュレーション装置、画像処理回路のシミュレーション方法、画像処理回路の設計方法、及び画像処理回路のシミュレーションプログラム等を提供することにある。
【課題を解決するための手段】
【０００９】
（１）本発明の一態様は、複数のフレーム画像により構成される動画像に対して画像処理を行う画像処理回路の動作をシミュレーションする画像処理回路のシミュレーション装置が、前記画像処理回路に対応する機能を具備する画像処理モジュールと、前記画像処理モジュールを実行し、各フレーム画像に対して前記画像処理を行うモジュール実行手段と、前記モジュール実行手段で実行された画像処理モジュールによる前記画像処理が行われた画像データに対してグループ化を実行する結果グループ化実行手段と、当該フレームより前の１又は複数のフレームの各フレーム画像に対して前記画像処理が行われた過去フレーム処理後画像データに対する所与の演算結果を記憶する記憶手段とを含み、前記結果グループ化実行手段は、前記当該フレームのフレーム画像に対して前記画像処理が行われた現フレーム処理後画像データに対する所与の演算結果と、前記記憶手段に記憶される前記過去フレーム処理後画像データに対する前記演算結果とを用いて、前記現フレーム処理後画像データに対してグループ化を実行する。
【００１０】
本態様によれば、複数のフレーム画像により構成される動画像に対する画像処理モジュールによる画像処理後の画像データをグループ化するようにしたので、画像処理の目視による効果の定性的及び定量的な評価が容易となり、結果画像の検証をより効率化できるようになる。さらに、本態様によれば、画像処理に適用されるパラメーターの変更による効果を、容易に把握できるという効果が得られる。
【００１１】
（２）本発明の他の態様に係るシミュレーション装置では、前記結果グループ化実行手段は、前記現フレーム処理後画像データを、前記記憶手段に記憶される前記過去フレーム処理後画像データが振り分けられたグループと異なるグループに振り分けるとき、前記記憶手段の少なくとも一部の記憶内容をクリアする。
【００１２】
本態様によれば、連続するフレーム画像に対する画像処理の効果が異なると判断されて別グループに振り分けられる場合であっても、過去フレームにおける効果を参照することができるので、目視による残像効果を考慮した評価が可能となる。
【００１３】
（３）本発明の他の態様に係るシミュレーション装置では、前記結果グループ化実行手段は、前記現フレーム処理後画像データを、前記記憶手段に記憶される前記過去フレーム処理後画像データが振り分けられたグループと異なるグループに振り分けるとき、前記現フレーム処理後画像データに対する前記演算結果と、前記記憶手段に記憶される少なくとも１フレーム分の前記過去フレーム処理後画像データに対する前記演算結果とを用いて、前記現フレーム処理後画像データに対してグループ化を実行する。
【００１４】
本態様によれば、現フレーム処理後画像データをグループ化する際に、少なくとも１フレーム分の過去フレーム処理後画像データに対する演算結果を参照するようにしたので、目視による動画像に対する画像処理結果の効果の定性的及び定量的な評価を容易化できるようになる。
【００１５】
（４）本発明の他の態様に係るシミュレーション装置では、前記結果グループ化実行手段は、入力フレーム画像データと該入力フレーム画像データに対して前記画像処理モジュールによる画像処理が行われた処理後画像データとの差分情報に基づいて前記グループ化を実行する。
【００１６】
本態様によれば、入力フレーム画像と画像処理後の結果フレーム画像との差分情報に基づいてグループ化するようにしたので、動画像に対する画像処理の目視の効果に対応したグループ化を、簡素な演算処理で実現できるようになる。
【００１７】
（５）本発明の他の態様に係るシミュレーション装置では、前記画像処理モジュールの画像処理結果のグループ化条件を設定する結果グループ化条件設定手段を含み、前記結果グループ化実行手段は、前記結果グループ化条件設定手段によって設定された前記グループ化条件に基づいて、入力フレーム画像の画像処理後の画像データ毎にグループ化を実行する。
【００１８】
本態様によれば、グループ化条件を設定できるようにしたので、所望の画像処理の目視による効果の定性的及び定量的な評価が容易となり、結果フレーム画像の検証をより効率化できるようになる。
【００１９】
（６）本発明の他の態様に係るシミュレーション装置では、前記記憶手段に記憶される前記過去フレーム処理後画像データに対する前記演算結果のフレーム数は、設定可能に構成されている。
【００２０】
本態様によれば、過去フレームを参照する度合いを可変に設定でき、動画に応じた最適な検証の効率化に寄与できるようになる。
【００２１】
（７）本発明の他の態様に係るシミュレーション装置では、前記画像処理回路を構成する複数の部分画像処理回路のそれぞれに対応する機能を具備する複数の画像処理モジュールと、前記複数の画像処理モジュールのうち、実行する画像処理モジュールを選択するモジュール選択手段とを含み、前記モジュール実行手段が、前記モジュール選択手段で選択された画像処理モジュールを順次実行し、入力されるフレーム画像の画像データの画像処理を行い、前記結果グループ化実行手段が、前記モジュール実行手段で実行された複数の画像処理モジュールによる画像処理が行われた画像データに対してグループ化を実行する。
【００２２】
本態様によれば、前述の効果に加えて、複数の画像処理が組み合わされる場合に、複数の画像処理モジュールによる画像処理が行われた画像データについてグループ化するようにしたので、定性的及び定量的な画像処理の目視の効果を解析でき、各画像処理に適用されるパラメーターの最適な組み合わせを容易に見つけ出すことができるようになる。
【００２３】
（８）本発明の他の態様に係るシミュレーション装置では、前記モジュール選択手段で選択された画像処理モジュールの実行手順を設定するモジュール実行手順設定手段を含み、前記モジュール実行手段が、前記モジュール実行手順設定手段で設定された実行手順に従って、前記モジュール選択手段で選択された画像処理モジュールを順次実行し、入力フレーム画像の画像データの画像処理を行う。
【００２４】
本態様によれば、画像処理の順序を簡単に変更して複数の画像処理を組み合わせて得られる画像処理後の画像データをグループ化するようにしたので、所望の画像処理結果が得られる画像処理モジュールの選択、及び実行手順を容易に見つけることができ、エラー検証時間を短縮化でき、画像処理回路の製造コストの削減が可能となる。また、本態様によれば、画像処理回路を構成する部分画像処理回路の種類が増えたとしても、それぞれの実行順序や最適なパラメーターの選択が、確実、かつ、容易に行うことができ、これらのパラメーターの組み合わせに依存して露見するエラーの検証も容易化できる。
【００２５】
（９）本発明の他の態様に係るシミュレーション装置では、前記複数の画像処理モジュールは、少なくとも、解像度変換モジュール、色変換モジュール、及びガンマ特性変換モジュールを含む。
【００２６】
本態様によれば、種々ある画像処理のうち、解像度変換、色変換、ガンマ特性変換は、色変換処理、シャープネス処理、コントラスト処理を、各画像処理を実行するモジュール中に含むため、これらの画像処理の順番によって画像処理後の結果フレーム画像の画質に差が出る場合でも、最適な結果フレーム画像を得ることのできる画像処理モジュールの組み合わせを見出すことができるようになる。
【００２７】
（１０）本発明の他の態様は、複数のフレーム画像により構成される動画像に対して画像処理を行う画像処理回路の動作をシミュレーションする画像処理回路のシミュレーション方法が、前記画像処理回路に対応する機能を具備する画像処理モジュールを実行し、各フレーム画像に対して前記画像処理を行うモジュール実行ステップと、前記モジュール実行ステップにおいて実行された画像処理モジュールによる前記画像処理が行われた各フレーム画像の画像データに対してグループ化を実行する結果グループ化実行ステップとを含み、前記結果グループ化実行ステップは、前記当該フレームのフレーム画像に対して前記画像処理が行われた現フレーム処理後画像データに対する所与の演算結果と、前記記憶手段に記憶される前記過去フレーム処理後画像データに対する前記演算結果とを用いて、前記現フレーム処理後画像データに対してグループ化を実行する。
【００２８】
本態様によれば、複数のフレーム画像により構成される動画像に対する画像処理モジュールによる画像処理後の画像データをグループ化するようにしたので、画像処理の目視による効果の定性的及び定量的な評価が容易となり、結果画像の検証をより効率化できるようになる。さらに、本態様によれば、画像処理に適用されるパラメーターの変更による効果を、容易に把握できるという効果が得られる。
【００２９】
（１１）本発明の他の態様は、画像処理回路の設計方法が、上記記載の画像処理回路のシミュレーション方法を実施して、画像処理モジュールの組み合わせを求めた後、前記画像処理回路における部分画像処理回路の組み合わせを決定する。
【００３０】
本態様によれば、画像処理の順序を簡単に変更して複数の画像処理を組み合わせて得られる画像処理の結果をグループ化するようにしたので、所望の画像処理結果が得られる画像処理モジュールの選択、及び実行手順を容易に見つけることができ、エラー検証時間を短縮化でき、画像処理回路の製造コストの削減が可能となる。また、本態様によれば、画像処理回路を構成する部分画像処理回路の種類が増えたとしても、それぞれの実行順序や最適なパラメーターの選択が、確実、かつ、容易に行うことができ、これらのパラメーターの組み合わせに依存して露見するエラーの検証も容易化できる。
【００３１】
（１２）本発明の他の態様は、画像処理回路のシミュレーションプログラムが、上記記載の画像処理回路のシミュレーション方法を、コンピューターに実行させる。
【００３２】
本態様によれば、目視による動画像に対する画像処理結果の効果の定性的及び定量的な評価を容易化できる画像処理回路のシミュレーションプログラムを提供できるようになる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の一形態に係るシミュレーション装置の構成例のブロック図。
【図２】図１のディスプレイ上に表示される画面の一例を示す図。
【図３】メモリー上に書き込まれる画像処理モジュールの選択及び実行手順の説明図。
【図４】ディスプレイ上に表示される結果グループ化条件設定画面の一例を示す図。
【図５】本実施形態におけるシミュレーション装置の処理例のフローチャート。
【図６】本実施形態における結果グループ化条件設定処理の処理例のフローチャート。
【図７】本実施形態における結果グループ化処理の処理例のフローチャート。
【図８】図８（Ａ）、図８（Ｂ）は結果グループ化実行手段により参照されるＦＩＦＯバッファーの説明図。
【図９】図９（Ａ）〜図９（Ｅ）はパラメーターファイルの一例を示す図。
【図１０】図１０（Ａ）〜図１０（Ｃ）は図９（Ａ）〜図９（Ｅ）のパラメーターの説明図。
【図１１】本実施形態の動作例の説明図。
【発明を実施するための形態】
【００３４】
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の課題を解決するのに必須の構成要件であるとは限らない。
【００３５】
図１に、本発明の実施の一形態に係るシミュレーション装置の構成例のブロック図を示す。
【００３６】
シミュレーション装置１は、演算処理装置２及びメモリー３を備えたコンピューターとして構成される。即ち、演算処理装置２が、メモリー３に蓄積されたプログラムを読み出してメモリー３に蓄積されたプログラム及びデータを用いて処理を実行することで、画像処理回路の動作のシミュレーションを実現する。或いは、演算処理装置２が、専用のハードウェア回路により、メモリー３に蓄積されたデータに対する演算処理を行うことで、画像処理回路の動作のシミュレーションを実現する。ここで、画像処理回路は、複数のフレーム画像により構成される動画像が入力され、各フレーム画像に対して画像処理を行う。このシミュレーション装置１は、複数の部分画像処理回路を組み合わせて構成される画像処理回路の動作をシミュレーションすることができる。
メモリー３内には、本実施形態に係る画像処理回路シミュレーションを実行するためのプログラム、及び、複数の画像処理モジュールが格納されている。各画像処理モジュールは、コンピューター上で実行可能なソフトウェア（プログラム）であり、各部分画像処理回路に対応する機能を具備している。
シミュレーション装置１の入力側には、図示を略したが、スキャナー、デジタルカメラ、ハードディスク装置等の画像データ出力装置が接続され、各機器から画像処理結果後の画像を評価するための評価用の入力フレーム画像データＶＩＤＥＯが入力されるようになっている。
【００３７】
一方、シミュレーション装置１の出力側には、記録媒体としてのハードディスク装置４及び画像表示装置としてのディスプレイ５が接続されている。
ハードディスク装置４には、シミュレーション装置１で選択した画像処理モジュールや、その実行手順、及び各画像処理モジュールで画像処理を行った結果データ（結果フレーム画像データ（処理後フレーム画像データ）等）が記憶される。
また、ディスプレイ５には、画像処理モジュールの画像処理を行って得られた結果フレーム画像データに基づいて、結果フレーム画像が表示画像として形成される。
【００３８】
演算処理装置２は、モジュール管理手段６、出力手段７、及び書込手段８を備えて構成され、これらの各機能的手段６〜８は、演算処理装置２のＯＳ（Operating System）上で実行されるプログラム群として構成されている。
【００３９】
図２に、図１のディスプレイ５上に表示される画面の一例を示す。
【００４０】
モジュール管理手段６、出力手段７、及び書込手段８は、メモリー３に格納されていて、シミュレーション装置１の起動中、ディスプレイ５上に表示された所定のアイコンを選択すると起動するようになっている。そして、図２に示されるような画面Ｇ１を表示させることにより、操作者に入力を促し、この操作者の入力に基づく選択結果により、画像処理モジュールの選択、画像処理モジュールに適用されるパラメーターの選択及び実行手順の設定を行う。
【００４１】
画面Ｇ１においてデフォルトで表示されるモジュール名は、メモリー３に予め格納された画像処理モジュールを読み出して表示している。新たな画像処理モジュールを読み出すには、画面Ｇ１上の右下の読出ボタンＧ８をクリックし、選択画面上で選択することにより、新たな画像処理モジュールを読み出すことができるようになっている。
なお、画像処理モジュールは、画像処理の対象となる画像表示装置で行う画像処理すべてを網羅することが望ましいが、特に、ＲＧＢ色空間からＹｕｖ色空間への変換処理、及び色空間変換処理の逆変換処理や、ガンマ特性変換、高解像度から低解像度の変換処理等が例示できる。
これらの画像処理は、モジュール内処理でシャープネス処理、コントラスト処理、色変換処理を行う点で共通しており、画像処理の順番によっては、画像処理の結果フレーム画像において、お互いの処理が干渉しあい、部分的な欠点や画像全体の色ムラが強調されるといった現象が生じることがある。
【００４２】
モジュール管理手段６は、画像処理モジュールの選択と、選択された画像処理モジュールの実行手順の設定、画像処理モジュールの実行、画像処理結果である画像処理モジュールによる画像処理が行われた後の画像データのグループ化の条件（グループ化条件、結果グループ化条件）の設定、及び画像処理結果のグループ化を行う部分であり、モジュール選択手段６１、モジュール実行手順設定手段６２、モジュール実行手段６３、パラメーター選択手段６４、結果グループ化条件設定手段６５、及び結果グループ化実行手段６６を備えて構成される。ここで、画像データ（画像処理結果）のグループ化とは、複数のグループのいずれかに当該画像処理結果を振り分ける動作をいう。
【００４３】
モジュール選択手段６１は、画像処理モジュールの選択を行う部分であり、図２に示されるように、ディスプレイ５上に操作者の選択を促す画面Ｇ１を表示させ、操作者が画面Ｇ１上で選択した画像処理モジュールを、実行する画像処理モジュールとして選択する。
【００４４】
まず、操作者によるキーボード等の入力デバイスを介して、テキストフィールドＢ１に入力動画ファイル名、テキストフィールドＢ２に出力動画ファイル名の入力が受け付けられる。図２では、入力動画ファイル名“ｉｎ．ａｖｉ”で指定された動画ファイルには、それぞれがフレーム番号により特定可能な複数のフレーム画像により構成された動画データ（複数のフレーム画像データ）が格納されている。そして、画像処理が行われたフレーム画像データが、出力動画ファイル名“ｏｕｔ．ａｖｉ”の出力ファイル又はこのファイル名にグループ化条件等を付加したファイル名の出力ファイルに格納される。
その後、操作者による画面Ｇ１での画像処理モジュールの選択が、画面Ｇ１の左側に表示されたチェックボックスＧ２を、キーボード、マウス等の入力デバイスでチェックすることにより行われる。
また、チェックボックスＧ２の右側のボックスＧ３は、結果フレーム画像データの出力、結果フレーム画像の表示出力の有無を設定するものであり、このボックスＧ３をマウスクリックすると、例えば、ボックスＧ３が白、青、赤等に変化し、白の場合（図２中白のボックス）には、結果フレーム画像及び結果フレーム画像データ（結果データ）を出力せず、青の場合（図２中右下がり斜線のボックス）には、結果フレーム画像をディスプレイ５に表示せず、結果フレーム画像データのみをハードディスク装置４に出力し、赤の場合（図２中左下がり斜線のボックス）には、結果フレーム画像をディスプレイ５上に表示し、かつ結果フレーム画像データをハードディスク装置４に出力するといった設定を行うことができるようになっている。
【００４５】
モジュール実行手順設定手段６２は、モジュール選択手段６１で選択された画像処理モジュールの実行手順を設定する部分である。このモジュール実行手順設定手段６２は、図２に示される画面Ｇ１上で操作対象となる画像処理モジュールを操作者に選択させる。操作者に選択された画像処理モジュールは、画面Ｇ１上では矩形Ｇ４に囲まれた状態で表示される。操作者は、画面Ｇ１の下部にある実行手順変更ボタンＧ５、Ｇ６をマウスクリックすることにより、選択された画像処理モジュールを上下させて画像処理モジュールの順序を変更することで実行手順を変更できるようになっている。そして、このようにして設定された画像処理モジュールの選択及び実行手順は、メモリー３上に書き込まれる。
【００４６】
図３に、メモリー３上に書き込まれる画像処理モジュールの選択及び実行手順の説明図を示す。
【００４７】
メモリー３上への書き込みは、例えば、図３に示されるように、テーブルＴ１として書き込まれる。このテーブルＴ１は、選択されたモジュール名、実行の有無、画像出力の有無、フレーム画像データ出力（データ出力）の有無が記録され、それに付随して各画像処理モジュールで用いるパラメーター名が記録される。
なお、パラメーターとは、各画像処理モジュールの実行時の動作パラメーター値であり、例えば、曲線ガンマ値変換モジュールであればγ＝２．２等の値が格納されている。このパラメーターは、モジュール管理手段６とともに、メモリー３に格納されている。
【００４８】
モジュール実行手段６３は、モジュール選択手段６１により選択された画像処理モジュールを、モジュール実行手順設定手段６２により設定された実行手順に基づいて順次実行していく部分であり、入力フレーム画像データＶＩＤＥＯを構成する各フレーム画像データに対して、それぞれ、選択された画像処理モジュールによる画像処理を順次実行する。
【００４９】
具体的には、モジュール実行手段６３は、前述した図３に示されるテーブルＴ１の上位から画像処理モジュールを実行していき、その際、テーブルＴ１中の実行の有無及びパラメーターを参照しながら、メモリー３中に格納された画像処理モジュールを検索し、検索された画像処理モジュールによる画像処理を行う。本実施形態では、画像処理モジュールの実行は、図２における実行ボタンＧ７をクリックすることにより行われ、操作者が実行ボタンＧ７を１回クリックする毎に、１つの画像処理モジュールが実行される。
このモジュール実行手段６３による画像処理後の結果フレーム画像データは、出力手段７に出力される。
【００５０】
パラメーター選択手段６４は、モジュール実行手段６３で実行される画像処理モジュールのパラメーターの選択を行う部分であり、図２に示されるように、ディスプレイ５上に操作者の選択を促す画面Ｇ１を表示させ、操作者が画面Ｇ１上で選択したパラメーターファイルを、選択した画像処理モジュールのパラメーターとして選択する。
【００５１】
結果グループ化条件設定手段６５は、モジュール実行手段６３により実行された一連の画像処理モジュールによる画像処理後の結果フレーム画像データ（処理後フレーム画像データ、画像処理結果）をグループ化するための条件を設定する部分であり、図２に示される画面Ｇ１において、操作者が、結果グループ化条件設定ボタンＧ９をマウスクリックすることにより、ディスプレイ５上に結果グループ化条件設定画面Ｇ２０が表示される。
【００５２】
本実施形態では、複数のフレーム画像により構成される動画像が入力され、各フレーム画像のフレーム画像データに対する一連の画像処理モジュールによる画像処理が行われた結果フレーム画像データを例えば過去の数フレーム数分だけ参照した指定演算結果をグループ化することで処理結果の解析処理を実現し、処理結果の目視による効果の定性的及び定量的な評価が容易となる上に、画像処理の検証を効率化できるようになる。本実施形態では、一連の画像処理モジュールの処理結果を解析するために、各フレーム画像について、元の入力フレーム画像と該入力フレーム画像に対する一連の画像処理モジュールの処理結果の結果フレーム画像データとの差分情報を求め、各フレームにおける差分情報を過去の数フレーム分を集計して、その結果に基づきグループ化する。そのため、本実施形態では、書込手段８がＦＩＦＯバッファー８２（広義には、記憶手段）を備え、過去の少なくとも１フレーム分の差分情報を保存することができるようになっている。このＦＩＦＯバッファー８２には、同じグループに属する連続する複数フレーム分の差分情報が保存され、異なるグループに属すると判断されたときに過去の一部又は全部のフレームにおける差分情報がクリアされる。
【００５３】
図４に、ディスプレイ５上に表示される結果グループ化条件設定画面Ｇ２０の一例を示す。
【００５４】
この結果グループ化条件設定画面Ｇ２０は、操作者に結果グループ化条件の設定を促し、結果グループ化条件設定手段６５は、この操作者の入力に基づく設定結果により、結果グループ化条件の設定を行う。
結果グループ化条件設定画面Ｇ２０での設定は、予め設けられた複数種類の演算方法からいずれか１つを指定するラジオボタンＧ２１、差分情報の演算対象となる画素を指定するラジオボタンＧ２２、差分情報の集計方法を指定するラジオボタンＧ２３をマウスクリックすることで行われ、テキストフィールドＧ２４で、集計結果をグループ化する範囲（グループ化する際の刻み情報）が指定される。このテキストフィールドＧ２４は、例えばコンボボックスで構成されていてもよい。また、テキストフィールドＧ２５には、各フレームの指定演算結果を保存しておく過去フレーム数が指定され、テキストフィールドＧ２６には、目視による残像効果を評価するため、ＦＩＦＯバッファー８２にクリアせずに差分指定演算結果を保存しておく過去フレーム数が指定される。
【００５５】
ラジオボタンＧ２１では、元の入力フレーム画像と画像処理後の結果フレーム画像との間のＣＩＥＬＵＶ色空間におけるＬ＊の差分ΔＬ、元の入力フレーム画像と画像処理後の結果フレーム画像との間のＣＩＥＬＵＶ色空間におけるｕ＊の差分Δｕ、元の入力フレーム画像と画像処理後の結果フレーム画像との間のＣＩＥＬＵＶ色空間におけるｖ＊の差分Δｖ、元の入力フレーム画像と画像処理後の結果フレーム画像との間のＣＩＥＬＵＶ色空間における色差ΔＥｕｖ、又は元の入力フレーム画像と画像処理後の結果フレーム画像との間のエッジ値の差分ΔＥｄｇｅのいずれかを指定できるようになっている。なお、ラジオボタンＧ２１では、ＣＩＥＬＵＶ色空間以外の色空間の差分情報を指定できるようになっていてもよい。
【００５６】
ラジオボタンＧ２２では、ラジオボタンＧ２１で指定された演算方法を、入力フレーム画像を構成する各画素とこれに対応する画像処理後の出力画像を構成する各画素との間で行うか、入力フレーム画像を構成する画素のうち所与のサンプリング画素とこれに対応する画像処理後の出力画像を構成するサンプリング画素との間で行うかを指定できるようになっている。なお、ラジオボタンＧ２２では、ラジオボタンＧ２１で指定された演算方法を、これら以外の画素間で演算するように指定できるようになっていてもよい。
【００５７】
ラジオボタンＧ２３では、ラジオボタンＧ２１、Ｇ２２で指定された各フレーム画像間及び過去フレーム数分の演算結果のうち最大値を取得するか、ラジオボタンＧ２１、Ｇ２２で指定された各フレーム画像間及び過去フレーム数分の演算結果の平均値を取得するかを指定できるようになっている。なお、ラジオボタンＧ２３では、ラジオボタンＧ２１、Ｇ２２で指定された各フレーム画像間及び過去フレーム数分の演算結果を別の方法で集計できるようにしてもよい。
【００５８】
テキストフィールドＧ２４では、ラジオボタンＧ２１、Ｇ２２で指定された演算結果をラジオボタンＧ２３で指定された集計方法で取得した値を、どのグループにグループ化するかを指定できるようになっている。例えば、テキストフィールドＧ２４に「１．０」が指定されると、取得した値に応じて、一連の画像処理モジュールにより処理結果が、「０．０」〜「１．０」、「１．０」〜「２．０」、「２．０」〜「３．０」、・・・のいずれかにグループ化される。例えば、テキストフィールドＧ２４に「１．０」が指定され、取得した値が「５．５」のとき、「５．０」〜「６．０」のグループにグループ化されることになる。
【００５９】
ＦＩＦＯバッファー８２に保存される過去フレーム数は、外部から設定可能に構成されている。そして、テキストフィールドＧ２５では、グループ化する際に参照する過去フレーム数が指定されると、ラジオボタンＧ２１、Ｇ２３で指定された演算方法により入力フレーム画像と画像処理後の結果フレーム画像の各画素間で求められた演算結果を、指定された過去フレーム数分の中で集計して、グループ化が行われる。例えば、ラジオボタンＧ２１で差分ΔＬが指定され、ラジオボタンＧ２３で集計方法として「最大」が指定され、テキストフィールドＧ２５で過去フレーム数が「１００」が指定されると、当該フレームのフレーム画像と画像処理後の結果フレーム画像との間で画素毎に求めた差分ΔＬの最大値を１フレーム分の演算結果として求め、これを過去の１００フレーム数分の中での最大値が抽出される。そして、この最大値に基づいてグループ化される。
上記のような集計を行うため、異なるグループ間で過去フレームの演算結果を参照しないように、過去フレームの演算結果がグリアされる。しかしながら、人間の目視による残像効果を反映させるため、敢えて過去の残像フレーム数分の演算結果を残しておき、これらを参照させて集計するようにしている。テキストフィールドＧ２６には、この残像フレーム数が指定される。
【００６０】
なお、図４の結果グループ化条件設定画面Ｇ２０において、ボタンＧ２７をマウスクリックすることで、ラジオボタンＧ２１〜Ｇ２３、テキストフィールドＧ２４〜Ｇ２６で指定された方法が結果グループ化条件として設定され、結果グループ化条件設定処理が終了する。一方、結果グループ化条件設定画面Ｇ２０において、ボタンＧ２８をマウスクリックすることで、ラジオボタンＧ２１〜Ｇ２３、テキストフィールドＧ２４〜Ｇ２６で指定された方法が結果グループ化条件として設定されることなく、結果グループ化条件設定処理が終了する。
【００６１】
図１において、出力手段７は、モジュール実行手段６３における画像処理モジュールによる入力フレーム画像データＶＩＤＥＯの画像処理の結果や、グループ化された結果を出力する部分であり、結果表示部７１及び結果書込部７２を備える。
結果表示部７１は、画像処理モジュールによる入力フレーム画像データＶＩＤＥＯの画像処理結果を、ディスプレイ５上に表示する部分であり、表示するかしないかは、図３におけるテーブルＴ１の画像出力の有無の欄に基づいて判断する。
結果書込部７２は、画像処理モジュールによる入力フレーム画像データＶＩＤＥＯの画像処理結果を、同一グループの連続する結果フレーム画像データを１つの動画ファイルとしてハードディスク装置４に書き込む部分であり、書き込むか否かは、図３におけるテーブルＴ１のデータ出力の有無の欄に基づいて判断する。また、結果書込部７２は、結果グループ化実行手段６６によりグループ化された処理結果を、ハードディスク装置４に書き込む部分でもある。
【００６２】
書込手段８は、モジュール管理手段６で設定された画像処理モジュールの実行手順や結果グループ化条件設定手段６５により設定された結果グループ化条件をハードディスク装置４に書き込む部分であり、結果グループ化条件書込手段８１を備える。書込手段８は、操作者が画面Ｇ１の右下の書込ボタンＧ１０をマウス等でクリックすることにより、図２に示される画面Ｇ１上で設定した画像処理モジュールの実行手順をテーブルＴ１としてハードディスク装置４に書き込む。或いは、書込手段８の結果グループ化条件書込手段８１は、操作者が画面Ｇ１の右下の書込ボタンＧ１０をマウス等でクリックすることにより、図３に示される結果グループ化条件設定画面Ｇ２０上で設定した結果グループ化条件をハードディスク装置４に書き込む。
また書込手段８は、上記のように記憶手段としてのＦＩＦＯバッファー８２を備え、過去の複数フレーム分の結果フレーム画像データに対する上記の演算結果とが蓄積され、結果グループ化実行手段６６等により適宜参照されるように構成される。
【００６３】
次に、本実施形態の作用について説明する。
図５に、本実施形態におけるシミュレーション装置１の処理例のフローチャートを示す。例えば演算処理装置２は、メモリー３に記憶された図４に示す処理例に対応したプログラムを読み込み該プログラムに対応した処理を実行することで、図４に示す処理を行うことができる。この場合、演算処理装置２を構成する各手段の機能は、メモリー３から読み込んだプログラムを実行する演算処理装置２により実現される。
【００６４】
モジュール管理手段６は、起動すると、図２に示される画面Ｇ１をディスプレイ５上に表示させ、操作者に画像処理モジュールの選択と、選択した画像処理モジュールが実行する画像処理に適用されるパラメーターの選択とを促す。
操作者がマウス等でチェックボックスＧ２をクリックして実行する画像処理モジュールを選択すると、モジュール選択手段６１は、テーブルＴ１の選択された画像処理モジュールの実行を「有」として、実行する画像処理モジュールの選択を行う（ステップＳ１）。
続いて、操作者がマウス等で読出ボタンＧ８をクリックして画像処理モジュール毎に画像処理に適用されるパラメーターが記録されているパラメーターファイルを選択すると、パラメーター選択手段６４は、画像処理モジュール毎に、対応するパラメーターファイルの選択を行う（ステップＳ２）。パラメーター選択手段６４は、画面Ｇ１において画像処理モジュール毎にパラメーターの選択を促し、パラメーターが設定されたパラメーターファイルを画像処理モジュール毎に操作者が選択すると、画像処理モジュール毎に選択したパラメーターを設定していく。
【００６５】
次に、モジュール実行手順設定手段６２は、矩形Ｇ４によって操作者が選択した画像処理モジュールについて実行手順変更ボタンＧ５、Ｇ６を押して変更した実行手順に従って、テーブルＴ１内の実行手順を変更し、選択した画像処理モジュールの実行手順を設定する（ステップＳ３）。
そして、モジュール実行手順設定手段６２は、図２の画面Ｇ１上で操作者がマウス等をクリックして設定したボックスＧ３の状態に基づいて、テーブルＴ１の結果フレーム画像の出力の有無、及び結果フレーム画像データの出力の有無を設定する（ステップＳ４）。
なお、本実施形態では、モジュール実行手順設定手段６２による実行手順の設定を先に、結果フレーム画像又は結果フレーム画像データの出力の有無の設定を後に行っていたが、これに限らず先に結果フレーム画像又は結果フレーム画像データの出力設定を先に行ってもよい。
【００６６】
以上のように画像処理モジュール及びこれに対応するパラメーターファイルの選択及び実行手順の設定が終了したら、書込手段８は、操作者が画面Ｇ１上の書込ボタンＧ１０をクリックするか否かを監視し（ステップＳ５）、クリックされた画面Ｇ１上で設定されたテーブルＴ１をハードディスク装置４に書き込み記録保存する（ステップＳ６）。
なお、操作者による実行手順の書き込みは、本実施形態ではこのタイミングで行っているが、実際には、モジュール実行手段６３によるすべての画像処理モジュールの実行処理後、又はモジュール実行手段６３の実行中のいずれのタイミングでも可能とすることができる。
【００６７】
次に、結果グループ化条件設定手段６５は、操作者が画面Ｇ１上の結果グループ化条件設定ボタンＧ９をクリックすることで開始される結果グループ化条件設定処理を行う（ステップＳ７）。
なお、操作者による結果グループ条件設定処理は、本実施形態ではこのタイミングで行っているが、実際には、モジュール実行手段６３によるすべての画像処理モジュールの実行処理前、又はモジュール実行手段６３の実行中のいずれのタイミングでも可能とすることができる。
【００６８】
図６に、本実施形態における結果グループ化条件設定処理の処理例のフローチャートを示す。例えば演算処理装置２は、メモリー３に記憶された図６に示す処理例に対応したプログラムを読み込み該プログラムに対応した処理を実行することで、図６に示す処理を行うことができる。図６の処理は、結果グループ化条件設定手段６５により実行される。
【００６９】
結果グループ化条件設定手段６５は、操作者が画面Ｇ１上の結果グループ化条件設定ボタンＧ９をクリックするか否かを監視し（ステップＳ２０）、クリックされるとディスプレイ５上に図４に示される結果グループ化条件設定画面Ｇ２０を表示させ、結果グループ化条件の設定を促す。
【００７０】
結果グループ化条件設定手段６５は、図４に示されるような結果グループ化条件設定画面Ｇ２０において、操作者がラジオボタンＧ２１〜Ｇ２３やテキストフィールドＧ２４〜Ｇ２６で選択し、ボタンＧ２７をクリックすることで、ラジオボタンＧ２１〜Ｇ２３及びテキストフィールドＧ２４〜Ｇ２６で設定した結果グループ化条件を設定する（ステップＳ２１）。
【００７１】
以上のように結果グループ化条件の設定が終了したら、結果グループ化条件書込手段８１は、操作者が画面Ｇ１上の書込ボタンＧ１０又は図示しない専用の書込ボタンをクリックするか否かを監視し（ステップＳ２２）、クリックされた結果グループ化条件設定画面Ｇ２０上で設定された結果グループ化条件に対応する結果グループ化条件設定情報をハードディスク装置４に書き込み記録保存する（ステップＳ２３）。
【００７２】
次に、図５に示すように、モジュール実行手段６３は、テーブルＴ１で設定された順番に従って選択された画像処理モジュールを実行する。
まず、モジュール実行手段６３は、テーブルＴ１の第１行目の記載に基づいて、入力フレーム画像データＶＩＤＥＯの読み込みを行う（ステップＳ８）。
続いて、モジュール実行手段６３は、テーブルＴ１の第３行目（第２行目は実行せず）に記載されたパラメーターファイル名に基づいて、パラメーターを読み出し（ステップＳ９）、同行の画像処理モジュール名に基づいて、メモリー３内を検索して該当する画像処理モジュールを取得する（ステップＳ１０）。
モジュール実行手段６３は、検索した画像処理モジュールを実行し、入力フレーム画像データＶＩＤＥＯに画像処理を施す（ステップＳ１１）。
【００７３】
画像処理モジュールによる画像処理が終了したら、出力手段７の結果表示部７１は、当該画像処理モジュールのテーブルＴ１の結果画像出力の有無を判定し（ステップＳ１２）、「有」が設定されていたら、ディスプレイ５上に画像処理の結果フレーム画像を表示する（ステップＳ１３）。
また、出力手段７の結果書込部７２は、同様に、テーブルＴ１のデータ出力の有無を判定し（ステップＳ１４）、「有」に設定されていたら、結果フレーム画像データをハードディスク装置４に書き込み、記憶保存する（ステップＳ１５）。
【００７４】
続いて、モジュール実行手段６３による画像処理モジュールの実行が終了すると、結果グループ化実行手段６６は、結果グループ化処理を行う（ステップＳ１６）。
なお、操作者による結果グループ化処理は、本実施形態ではこのタイミングで行っているが、実際には、各画像処理モジュールの実行後であれば、結果表示処理中又は結果保存処理中のいずれのタイミングでも可能とすることができる。
【００７５】
図７に、本実施形態における結果グループ化処理の処理例のフローチャートを示す。例えば演算処理装置２は、メモリー３に記憶された図７に示す処理例に対応したプログラムを読み込み、該プログラムに対応した処理を実行することで図７に示す処理を行うことができる。図７の処理は、結果グループ化実行手段６６により実行される。
図８（Ａ）、図８（Ｂ）に、結果グループ化実行手段６６により参照されるＦＩＦＯバッファー８２の説明図を示す。
【００７６】
結果グループ化実行手段６６は、モジュール実行手段６３による画像処理モジュールの実行状況を監視しており、モジュール実行手段６３による画像処理モジュールの実行が全画素について終了したか否かを判定する（ステップＳ３０）。
モジュール実行手段６３による画像処理モジュールの実行が全画素について終了していないとき（ステップＳ３０：Ｎ）、結果グループ化実行手段６６は、結果グループ化条件設定手段６５により設定された結果グループ化条件のうち演算方法とその演算対象の指定画素の情報に従って、入力フレーム画像の画素値と結果フレーム画像の画素値に対して指定された演算を行う（ステップＳ３１）。結果グループ化実行手段６６は、入力フレーム画像の画素値と結果フレーム画像の画素値とを用いて、図４の結果グループ化条件設定画面Ｇ２０上のラジオボタンＧ２１、Ｇ２２で指定されるように入力フレーム画像と結果フレーム画像との差分情報を公知の演算方法により求める。
【００７７】
次に、結果グループ化実行手段６６により求められた演算結果は、結果書込部７２によりハードディスク装置４に書き込まれて保存され（ステップＳ３２）、再び、結果グループ化実行手段６６が、モジュール実行手段６３による画像処理モジュールの実行状況の監視を継続する（ステップＳ３０）。
【００７８】
モジュール実行手段６３による画像処理モジュールの実行が全画素について終了したとき（ステップＳ３０：Ｙ）、結果グループ化実行手段６６は、１フレーム分の指定演算の演算結果を指定された集計方法で集計した結果を算出する（ステップＳ３３）。例えば、指定された集計方法が平均の場合には、各画素間での指定演算結果の合計値を１フレーム画像の全画素数で除算して求める。或いは、例えば、指定された集計方法が最大の場合には、各画素間での指定演算結果の最大値を抽出する。結果グループ化実行手段６６は、このように求められた集計結果は、ＦＩＦＯバッファー８２に追加保存する（ステップＳ３４）。
【００７９】
続いて、結果グループ化実行手段６６は、ＦＩＦＯバッファー８２に保存された過去の１又は複数フレーム数分の集計結果を、指定された集計方法で更に平均値又は最大値を求め、過去フレーム分集計値をして求める（ステップＳ３５）。例えば、当該フレームが第Ｍ（Ｍは自然数）のフレームとし、ＦＩＦＯバッファー８２がＬ（Ｌは２以上の整数）フレーム数分の集計結果を保存するものとすると、結果グループ化実行手段６６は、例えば第Ｍのフレーム〜第（Ｍ−（Ｌ−１））フレームの集計結果を参照して、これらの平均値又は最大値を過去フレーム分集計値として求める。そして、結果グループ化実行手段６６は、図４のテキストフィールドＧ２４で指定された集計結果範囲で、「０」を基準に、ステップＳ３５で求めた過去フレーム分集計値に基づいて当該フレームのグループ化を行う（ステップＳ３６）。
【００８０】
ステップＳ３６によるグループ化の結果、前フレームと同じグループであるとき（ステップＳ３７：Ｙ）、結果グループ化実行手段６６は、当該フレームの結果フレーム画像データを前のフレームと連結して動画ファイルとして追加保存して（ステップＳ４０）、ステップＳ３０に戻る。例えばシーンチェンジ後は、画像処理の結果が急変する可能性があり、別のグループに振り分けられる。或いは、突飛なノイズ等は、ＦＩＦＯバッファー８２を用いた集計により、考慮される同一グループに振り分けられるようにすることができる。なお、動画ファイルとして追加保存するのに加えて、グループ化の結果、振り分けられたグループ名と当該フレーム画像のフレーム番号等の識別情報を関連付けて保存することが望ましい。
【００８１】
ステップＳ３７において、ステップＳ３６によるグループ化の結果、前フレームと同じグループではないとき（ステップＳ３７：Ｎ）、結果グループ化実行手段６６は、新規に当該フレームの結果フレーム画像が振り分けられたグループの動画ファイルを作成し（ステップＳ３８）、ＦＩＦＯバッファー８２の記憶内容をクリアし（ステップＳ３９）、当該フレームの結果フレーム画像データを新規作成した動画ファイルに保存し（ステップＳ４０）、ステップＳ３０に戻る。なお、ステップＳ３８では、図４のテキストフィールドＧ２６で指定された直近の残像フレーム数分の記憶内容を残して、残りのフレームの集計結果をＦＩＦＯバッファー８２からクリアする。例えば、図８（Ｂ）に示すように、当該フレームが第Ｍのフレーム、残像フレーム数分として「３」が指定されているとすると、ステップＳ３８では、第（Ｍ−１）のフレーム〜第（Ｍ−３）のフレームの集計結果を残して、残りのフレームの集計結果がＦＩＦＯバッファー８２からクリアされる。
【００８２】
ところで、結果グループ化実行手段６６により実行される結果グループ化処理としては、一連の画像処理結果を、予め設けられた複数のグループのうちのいずれかに振り分けて保存させたりしてもよいし、単に、フレーム番号と振り分け先のグループとを関連付けて保存するようにしてもよい。
【００８３】
以降、図５に示すように、モジュール実行手段６３は、次に実行すべき画像処理モジュールがあるか否かをテーブルＴ１から判定し（ステップＳ１７）、あればステップＳ９からを繰り返し、モジュール実行手段６３は、次の入力フレーム画像があるか否かを判定し（ステップＳ１８）、あればステップＳ８からの処理を繰り返し、なければシミュレーションを終了する（エンド）。
【００８４】
以上のように、結果グループ化実行手段６６は、当該フレームのフレーム画像に対して画像処理が行われた現フレーム処理後画像データに対する所与の演算結果と、ＦＩＦＯバッファー８２に記憶される当該フレームより過去の１又は複数の過去フレーム画像に対する過去フレーム処理後画像データに対する所与の演算結果とを用いて、現フレーム処理後画像データに対してグループ化を実行することができる。
また、結果グループ化実行手段６６は、現フレーム処理後画像データを、ＦＩＦＯバッファー８２に記憶される過去フレーム処理後画像データが振り分けられたグループと異なるグループに振り分けるとき、ＦＩＦＯバッファー８２の少なくとも一部の記憶内容をクリアする。これにより、目の残像による影響を考慮したシミュレーションを可能となる。
【００８５】
ここで、本実施形態の動作例について説明する。
【００８６】
図９（Ａ）〜図９（Ｅ）に、パラメーターファイルの一例を示す。図９（Ａ）〜図９（Ｅ）は、画像処理モジュールが色変換処理（画像処理）を行う場合に、ＲＧＢのうちＲ成分の色変換処理に適用されるパラメーターファイルの一例を模式的に表す。
図１０（Ａ）〜図１０（Ｃ）に、図９（Ａ）〜図９（Ｅ）のパラメーターの説明図を示す。図１０（Ａ）は、図９（Ａ）のパラメーターの説明図を表し、図１０（Ｂ）は、図９（Ｄ）のパラメーターの説明図を表し、図１０（Ｃ）は、図９（Ｅ）のパラメーターの説明図を表す。
図１１に、本実施形態の動作例の説明図を示す。
【００８７】
図９（Ａ）〜図９（Ｅ）のそれぞれには、Ｒ成分の画素値ｘに対する補正量ｙが離散的に設定され、画像処理モジュールは、設定されない画素値に対しては、公知の補間処理によって補正量を求めることができるようになっている。従って、例えば図１０（Ａ）〜図１０（Ｃ）は、補正前後の画素値が等しくなる基準線Ｐ１〜Ｐ３を基準にすると、それぞれ異なる色変換処理を行う。
【００８８】
本実施形態では、例えば動画像を構成する複数のフレーム画像ＩＭＧｉｎ１〜ＩＭＧｉｎ６・・・の各フレーム画像毎に、前述の色変換処理を含む１又は複数の画像処理の実行順序を変更しながら、各画像処理のパラメーターを複数の種類設定することで、複数の結果フレーム画像が得られる。そして、図１１に示すように、結果フレーム画像毎に対応する入力フレーム画像との差分情報を演算して数値化し、演算結果をグループ化して、例えば画像処理結果が異なる結果フレーム画像ＩＭＧＯ１〜ＩＭＧＯ６・・・をそれぞれ別のグループにグループ化することで、目視による画像処理結果の効果の定性的及び定量的な評価を容易化できるようになる。
【００８９】
このようにして、それぞれが適用されるパラメーターを異ならせることが可能な画像処理モジュールの組み合わせを種々シミュレーションして、最適な画像処理結果となるような画像処理モジュールの選択、及び実行手順を求め、部分画像処理回路を実装する画像処理回路の設計を行う。
具体的には、画像処理モジュールの実行手順と同じような画像処理手順となるように、画像処理回路における部分画像処理回路に実装レイアウトを設計すればよい。
【００９０】
なお、画像処理による画質の劣化は、局所的に生じるものばかりではなく、フレーム画像の画面全体に生じる色ムラや、高解像度から低解像度への変換時に生じるジャギーやブロックノイズ、画面全体のぼやけとして現れることがあり、これらの画質劣化は、目視の比較により評価することができる。
【００９１】
また、画像処理モジュールの組み合わせを、画面Ｇ１上で操作者が自由に設定できるため、多数ある画像処理モジュールの選択と、画像処理の順番を簡単に変更してシミュレーションを行うことができるため、最適な画像処理モジュールの組み合わせを容易にかつ短時間で見出しやすくなる。
さらに、結果書込部７２がハードディスク装置４に結果画像データを書き込むことが可能となっているため、入力フレーム画像データＶＩＤＥＯとの比較評価を、コンピューター上で公知の評価ソフトウェアを実行することにより、行うことも可能である。比較評価の方法としては、例えば、各画素の輝度、色ムラ等を数値化して対比し、統計的処理を行って一定の閾値を超えるような変化をしていれば、画質劣化とみなし、それを超えなければ画質劣化はないと判定するような方法を採用することができる。
【００９２】
なお、本実施形態における画像処理モジュールが実行する画像処理として、例えばフレーム画像の画面全体に一律にガンマ曲線を異ならせる色変換処理を例に説明したが、本発明はこれに限定されるものではない。例えば、画像処理モジュールが実行する画像処理として、フレーム画像の画面を分割した領域毎にガンマ曲線を異ならせる色ムラ補正処理を採用し、光学系の色ムラを補正する目標画像を入力フレーム画像とし、結果フレーム画像のサンプリング画素間のΔＥｕｖの最大値が小さくなるようなパラメーターの組み合わせを求め、色ムラ補正の効果が得られる画像処理モジュールの組み合わせを見つけるようにしてもよい。
或いは、例えば、画像処理モジュールが実行する画像処理として、３次元ルックアップテーブル変換処理を採用し、グラデーション画像の入力フレーム画像に対して結果フレーム画像の各画素のエッジ値を求め、その最大値が小さくなるようなパラメーターの組み合わせを求め、コントラスト強調やエッジ強調の際に擬似輪郭の発生を低減できる画像処理モジュールの組み合わせを見つけるようにしてもよい。
【００９３】
なお、本実施形態では、結果グループ化条件の設定処理を、図４に示すように、元の入力フレーム画像データと該入力フレーム画像データに対して画像処理モジュールによる画像処理が行われた結果フレーム画像データとの差分情報を演算する演算方法、この差分情報の演算対象となる画素の指定方法、上記の差分情報の集計方法、及び上記の差分情報をグループ化する範囲の指定方法を例に説明したが、本発明はこれに限定されるものではない。例えば、元の入力フレーム画像データと結果フレーム画像データとの差分情報を演算する演算方法、この差分情報の演算対象となる画素の指定方法、上記の差分情報の集計方法、及び上記の差分情報をグループ化する範囲の指定方法うち、少なくとも１つを、結果グループ化条件の設定処理において設定するようにしてもよい。
【００９４】
また、本実施形態では、差分情報を演算する演算方法として、差分情報の演算対象となる画素間の明度の差分、画素間の彩度及び色相の差分、画素間の色差、及び入力フレーム画像データと画像処理後のフレーム画像データとに基づくエッジ値の差分を例に説明したが、本発明はこれに限定されるものではない。差分情報を演算する演算方法として、例えば差分情報の演算対象となる画素間の明度の差分、画素間の彩度及び色相の差分、画素間の色差、及び入力フレーム画像データと画像処理後のフレーム画像データとに基づくエッジ値の差分の少なくとも１つを含んでいればよい。
【００９５】
また、本実施形態では、現フレーム処理後画像データを、ＦＩＦＯバッファー８２に記憶される過去フレーム処理後画像データが振り分けられたグループと異なるグループに振り分けるとき、現フレーム処理後画像データに対する演算結果と、ＦＩＦＯバッファー８２に記憶される少なくとも１フレーム分の過去フレーム処理後画像データに対する演算結果とを用いて、現フレーム処理後画像データに対してグループ化を実行するようにしてもよい。
さらに、本実施形態では、ＦＩＦＯバッファー８２を書込手段８に内蔵させているモノとして説明したが、本発明はこれに限定されるものではなく、ＦＩＦＯバッファー８２が書込手段８の外部に設けられていてもよい。
さらにまた、本実施形態では、ＦＩＦＯバッファー８２を用いて複数の過去フレームの指定演算結果を参照して、当該フレームの指定演算結果に基づきグループ化を行っていたが、本発明はこれに限定されるものではない。例えば、直前のフレームの指定演算結果のみを参照して当該フレームの指定演算結果に基づきグループ化を行ってもよい。この場合、シーンチェンジを抽出できたり、意図しない画像処理後の画像変化を抽出できるようになる。なお、直前のフレームの指定演算結果のみを参照して当該フレームの指定演算結果に基づくグループ化は、上記のＦＩＦＯバッファー８２を用いて複数の過去フレームの指定演算結果を参照した当該フレームの指定演算結果に基づくグループ化に代えて、或いは上記のＦＩＦＯバッファー８２を用いて複数の過去フレームの指定演算結果を参照した当該フレームの指定演算結果に基づくグループ化と同時に行ってもよい。
【００９６】
以上説明したように、本実施形態によれば、画像処理の順序を簡単に変更して複数の画像処理の組み合わせを簡単にシミュレーションできるようにしたので、所望の画像処理結果が得られる画像処理モジュールの選択、及び実行手順を容易に見つけることができ、これに対応した画像処理回路の提供ができるようになる。その結果、エラー検証時間を短縮化でき、画像処理回路の製造コストの削減が可能となる。
また、画像処理回路を構成する部分画像処理回路の種類が増えたとしても、それぞれの実行順序や最適なパラメーターの選択が、確実、かつ、容易に行うことができ、これらのパラメーターの組み合わせに依存して露見するエラーの検証も容易化できる。なお、画素数が増大したとしても、画像処理の実行順序や最適なパラメーターの選択が、確実、かつ、容易にできることには変わりない。
【００９７】
さらに、一連の画像処理後の結果フレーム画像をグループ化することにより、目視による効果の定性的及び定量的な評価が容易となり、結果フレーム画像の検証をより効率化できるようになる。
また、一連の画像処理の追加及び削除、各画像処理に適用されるパラメーターの変更があったとしても上記の評価が容易となり、拡張性に富む画像処理の評価が可能となる。
さらに、多種多様なフレーム画像に対して画像処理を行い、その画像処理結果をグループ化することで、各画像処理に適用されるパラメーターの変更による効果を、容易に把握できるという効果が得られる。
さらに、映像によっては、ディスプレイの特性に合わせて、フレーム毎に画素を明滅させたり、色を変えたりする等、目では捉えきれない連続フレームゆえの効果のための処理をしている場合がある。本実施形態では、ＦＩＦＯバッファー８２を用いて過去のフレームの処理結果の集計値を参照するようにしたので、目に捉えられないフレーム毎の影響を抑えたり、残像等の目で捉えられる連続したフレーム効果をシミュレートしたりすることができる。
【符号の説明】
【００９８】
１…シミュレーション装置、 ２…演算処理装置、 ３…メモリー、
４…ハードディスク装置、 ５…ディスプレイ、 ６…モジュール管理手段、
７…出力手段、 ８…書込手段、 ６１…モジュール選択手段、
６２…モジュール実行手順設定手段、 ６３…モジュール実行手段、
６４…パラメーター選択手段、 ６５…結果グループ化条件設定手段、
６６…結果グループ化実行手段、 ７１…結果表示部、 ７２…結果書込部、
８１…結果グループ化条件書込手段、 ８２…ＦＩＦＯバッファー、
Ｂ１，Ｂ２，Ｇ２４〜Ｇ２６…テキストフィールド、 Ｇ１…画面、
Ｇ２…チェックボックス、 Ｇ３，Ｇ２７，Ｇ２８…ボタン、 Ｇ４…矩形、
Ｇ５，Ｇ６…実行手順変更ボタン、 Ｇ７…実行ボタン、 Ｇ８…読出ボタン、
Ｇ９…結果グループ化条件設定ボタン、 Ｇ１０…書込ボタン、
Ｇ２０…結果グループ化条件設定画面、 Ｇ２１，Ｇ２２，Ｇ２３…ラジオボタン、
Ｐ１〜Ｐ３…基準線、 Ｔ１…テーブル、 ＶＩＤＥＯ…入力フレーム画像データ
【特許請求の範囲】
【請求項１】
複数のフレーム画像により構成される動画像に対して画像処理を行う画像処理回路の動作をシミュレーションする画像処理回路のシミュレーション装置であって、
前記画像処理回路に対応する機能を具備する画像処理モジュールと、
前記画像処理モジュールを実行し、各フレーム画像に対して前記画像処理を行うモジュール実行手段と、
前記モジュール実行手段で実行された画像処理モジュールによる前記画像処理が行われた画像データに対してグループ化を実行する結果グループ化実行手段と、
当該フレームより前の１又は複数のフレームの各フレーム画像に対して前記画像処理が行われた過去フレーム処理後画像データに対する所与の演算結果を記憶する記憶手段とを含み、
前記結果グループ化実行手段は、
前記当該フレームのフレーム画像に対して前記画像処理が行われた現フレーム処理後画像データに対する所与の演算結果と、前記記憶手段に記憶される前記過去フレーム処理後画像データに対する前記演算結果とを用いて、前記現フレーム処理後画像データに対してグループ化を実行することを特徴とする画像処理回路のシミュレーション装置。
【請求項２】
請求項１において、
前記結果グループ化実行手段は、
前記現フレーム処理後画像データを、前記記憶手段に記憶される前記過去フレーム処理後画像データが振り分けられたグループと異なるグループに振り分けるとき、前記記憶手段の少なくとも一部の記憶内容をクリアすることを特徴とする画像処理回路のシミュレーション装置。
【請求項３】
請求項１において、
前記結果グループ化実行手段は、
前記現フレーム処理後画像データを、前記記憶手段に記憶される前記過去フレーム処理後画像データが振り分けられたグループと異なるグループに振り分けるとき、前記現フレーム処理後画像データに対する前記演算結果と、前記記憶手段に記憶される少なくとも１フレーム分の前記過去フレーム処理後画像データに対する前記演算結果とを用いて、前記現フレーム処理後画像データに対してグループ化を実行することを特徴とする画像処理回路のシミュレーション装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記結果グループ化実行手段は、
入力フレーム画像データと該入力フレーム画像データに対して前記画像処理モジュールによる画像処理が行われた処理後画像データとの差分情報に基づいて前記グループ化を実行することを特徴とする画像処理回路のシミュレーション装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記画像処理モジュールの画像処理結果のグループ化条件を設定する結果グループ化条件設定手段を含み、
前記結果グループ化実行手段は、
前記結果グループ化条件設定手段によって設定された前記グループ化条件に基づいて、入力フレーム画像の画像処理後の画像データ毎にグループ化を実行することを特徴とする画像処理回路のシミュレーション装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記記憶手段に記憶される前記過去フレーム処理後画像データに対する前記演算結果のフレーム数は、設定可能に構成されていることを特徴とする画像処理回路のシミュレーション装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記画像処理回路を構成する複数の部分画像処理回路のそれぞれに対応する機能を具備する複数の画像処理モジュールと、
前記複数の画像処理モジュールのうち、実行する画像処理モジュールを選択するモジュール選択手段とを含み、
前記モジュール実行手段が、
前記モジュール選択手段で選択された画像処理モジュールを順次実行し、入力されるフレーム画像の画像データの画像処理を行い、
前記結果グループ化実行手段が、
前記モジュール実行手段で実行された複数の画像処理モジュールによる画像処理が行われた画像データに対してグループ化を実行することを特徴とする画像処理回路のシミュレーション装置。
【請求項８】
請求項７において、
前記モジュール選択手段で選択された画像処理モジュールの実行手順を設定するモジュール実行手順設定手段を含み、
前記モジュール実行手段が、
前記モジュール実行手順設定手段で設定された実行手順に従って、前記モジュール選択手段で選択された画像処理モジュールを順次実行し、入力フレーム画像の画像データの画像処理を行うことを特徴とする画像処理回路のシミュレーション装置。
【請求項９】
請求項７又は８において、
前記複数の画像処理モジュールは、少なくとも、解像度変換モジュール、色変換モジュール、及びガンマ特性変換モジュールを含むことを特徴とする画像処理回路のシミュレーション装置。
【請求項１０】
複数のフレーム画像により構成される動画像に対して画像処理を行う画像処理回路の動作をシミュレーションする画像処理回路のシミュレーション方法であって、
前記画像処理回路に対応する機能を具備する画像処理モジュールを実行し、各フレーム画像に対して前記画像処理を行うモジュール実行ステップと、
前記モジュール実行ステップにおいて実行された画像処理モジュールによる前記画像処理が行われた各フレーム画像の画像データに対してグループ化を実行する結果グループ化実行ステップとを含み、
前記結果グループ化実行ステップは、
前記当該フレームのフレーム画像に対して前記画像処理が行われた現フレーム処理後画像データに対する所与の演算結果と、前記記憶手段に記憶される前記過去フレーム処理後画像データに対する前記演算結果とを用いて、前記現フレーム処理後画像データに対してグループ化を実行することを特徴とする画像処理回路のシミュレーション方法。
【請求項１１】
画像処理回路の設計方法であって、
請求項１０記載の画像処理回路のシミュレーション方法を実施して、画像処理モジュールの組み合わせを求めた後、
前記画像処理回路における部分画像処理回路の組み合わせを決定することを特徴とする画像処理回路の設計方法。
【請求項１２】
請求項１０記載の画像処理回路のシミュレーション方法を、コンピューターに実行させることを特徴とする画像処理回路のシミュレーションプログラム。
【請求項１】
複数のフレーム画像により構成される動画像に対して画像処理を行う画像処理回路の動作をシミュレーションする画像処理回路のシミュレーション装置であって、
前記画像処理回路に対応する機能を具備する画像処理モジュールと、
前記画像処理モジュールを実行し、各フレーム画像に対して前記画像処理を行うモジュール実行手段と、
前記モジュール実行手段で実行された画像処理モジュールによる前記画像処理が行われた画像データに対してグループ化を実行する結果グループ化実行手段と、
当該フレームより前の１又は複数のフレームの各フレーム画像に対して前記画像処理が行われた過去フレーム処理後画像データに対する所与の演算結果を記憶する記憶手段とを含み、
前記結果グループ化実行手段は、
前記当該フレームのフレーム画像に対して前記画像処理が行われた現フレーム処理後画像データに対する所与の演算結果と、前記記憶手段に記憶される前記過去フレーム処理後画像データに対する前記演算結果とを用いて、前記現フレーム処理後画像データに対してグループ化を実行することを特徴とする画像処理回路のシミュレーション装置。
【請求項２】
請求項１において、
前記結果グループ化実行手段は、
前記現フレーム処理後画像データを、前記記憶手段に記憶される前記過去フレーム処理後画像データが振り分けられたグループと異なるグループに振り分けるとき、前記記憶手段の少なくとも一部の記憶内容をクリアすることを特徴とする画像処理回路のシミュレーション装置。
【請求項３】
請求項１において、
前記結果グループ化実行手段は、
前記現フレーム処理後画像データを、前記記憶手段に記憶される前記過去フレーム処理後画像データが振り分けられたグループと異なるグループに振り分けるとき、前記現フレーム処理後画像データに対する前記演算結果と、前記記憶手段に記憶される少なくとも１フレーム分の前記過去フレーム処理後画像データに対する前記演算結果とを用いて、前記現フレーム処理後画像データに対してグループ化を実行することを特徴とする画像処理回路のシミュレーション装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記結果グループ化実行手段は、
入力フレーム画像データと該入力フレーム画像データに対して前記画像処理モジュールによる画像処理が行われた処理後画像データとの差分情報に基づいて前記グループ化を実行することを特徴とする画像処理回路のシミュレーション装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記画像処理モジュールの画像処理結果のグループ化条件を設定する結果グループ化条件設定手段を含み、
前記結果グループ化実行手段は、
前記結果グループ化条件設定手段によって設定された前記グループ化条件に基づいて、入力フレーム画像の画像処理後の画像データ毎にグループ化を実行することを特徴とする画像処理回路のシミュレーション装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記記憶手段に記憶される前記過去フレーム処理後画像データに対する前記演算結果のフレーム数は、設定可能に構成されていることを特徴とする画像処理回路のシミュレーション装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記画像処理回路を構成する複数の部分画像処理回路のそれぞれに対応する機能を具備する複数の画像処理モジュールと、
前記複数の画像処理モジュールのうち、実行する画像処理モジュールを選択するモジュール選択手段とを含み、
前記モジュール実行手段が、
前記モジュール選択手段で選択された画像処理モジュールを順次実行し、入力されるフレーム画像の画像データの画像処理を行い、
前記結果グループ化実行手段が、
前記モジュール実行手段で実行された複数の画像処理モジュールによる画像処理が行われた画像データに対してグループ化を実行することを特徴とする画像処理回路のシミュレーション装置。
【請求項８】
請求項７において、
前記モジュール選択手段で選択された画像処理モジュールの実行手順を設定するモジュール実行手順設定手段を含み、
前記モジュール実行手段が、
前記モジュール実行手順設定手段で設定された実行手順に従って、前記モジュール選択手段で選択された画像処理モジュールを順次実行し、入力フレーム画像の画像データの画像処理を行うことを特徴とする画像処理回路のシミュレーション装置。
【請求項９】
請求項７又は８において、
前記複数の画像処理モジュールは、少なくとも、解像度変換モジュール、色変換モジュール、及びガンマ特性変換モジュールを含むことを特徴とする画像処理回路のシミュレーション装置。
【請求項１０】
複数のフレーム画像により構成される動画像に対して画像処理を行う画像処理回路の動作をシミュレーションする画像処理回路のシミュレーション方法であって、
前記画像処理回路に対応する機能を具備する画像処理モジュールを実行し、各フレーム画像に対して前記画像処理を行うモジュール実行ステップと、
前記モジュール実行ステップにおいて実行された画像処理モジュールによる前記画像処理が行われた各フレーム画像の画像データに対してグループ化を実行する結果グループ化実行ステップとを含み、
前記結果グループ化実行ステップは、
前記当該フレームのフレーム画像に対して前記画像処理が行われた現フレーム処理後画像データに対する所与の演算結果と、前記記憶手段に記憶される前記過去フレーム処理後画像データに対する前記演算結果とを用いて、前記現フレーム処理後画像データに対してグループ化を実行することを特徴とする画像処理回路のシミュレーション方法。
【請求項１１】
画像処理回路の設計方法であって、
請求項１０記載の画像処理回路のシミュレーション方法を実施して、画像処理モジュールの組み合わせを求めた後、
前記画像処理回路における部分画像処理回路の組み合わせを決定することを特徴とする画像処理回路の設計方法。
【請求項１２】
請求項１０記載の画像処理回路のシミュレーション方法を、コンピューターに実行させることを特徴とする画像処理回路のシミュレーションプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−３５８７３（Ｐ２０１１−３５８７３Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１８３１３７（Ｐ２００９−１８３１３７）
【出願日】平成２１年８月６日（２００９．８．６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年８月６日（２００９．８．６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]