画像処理装置および画像処理方法
【課題】一般の動画像においては、フレーム画像内に複数のオブジェクトが存在するが、、再生時にはフレーム画像全体に対して一様に時間的視覚特性が考慮されるため、特に注目オブジェクトを考慮した再生等はできなかった。
【解決手段】時分割された複数のフレーム画像からなる動画像を再生する際に、まず、複数のフレーム画像内の注目フレーム画像において、オブジェクト画像ごとのオブジェクト順応時間を取得する（Ｓ６０９）。そしてオブジェクト画像ごとに、取得したオブジェクト順応時間に基づいて順応重みを算出し、該順応重みを反映したローパス画像を作成する（Ｓ６１０）。該ローパス画像を用いた色順応変換を行うことにより、注目フレーム画像に対し、オブジェクト画像ごとに順応時間に基づく色変換を行うことが可能となり、特に、注目オブジェクト画像を考慮した色変換を行うことが可能となる。
【解決手段】時分割された複数のフレーム画像からなる動画像を再生する際に、まず、複数のフレーム画像内の注目フレーム画像において、オブジェクト画像ごとのオブジェクト順応時間を取得する（Ｓ６０９）。そしてオブジェクト画像ごとに、取得したオブジェクト順応時間に基づいて順応重みを算出し、該順応重みを反映したローパス画像を作成する（Ｓ６１０）。該ローパス画像を用いた色順応変換を行うことにより、注目フレーム画像に対し、オブジェクト画像ごとに順応時間に基づく色変換を行うことが可能となり、特に、注目オブジェクト画像を考慮した色変換を行うことが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法に関し、特に、時分割された複数のフレーム画像からなる動画像を再生する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
一般に人間の色知覚モデルは、人間の色の見えが正しく予測できるように設計されていおり、その代表的なものとしてカラーアピアランスモデルがある。このカラーアピアランスモデルは観察条件の変化に対応しており、観察条件パラメータとして、輝度、白色点、周囲相対輝度などの観察情報を設定できるため、観察条件が変わっても色の見えを適切に再現することができる。
【０００３】
更に、カラーアピアランスモデルを拡張したモデルとして、人間の空間的視覚特性および時間的視覚特性が反映されたイメージアピアランスモデルが存在し、その代表的なものとしてiCAMが知られている。イメージアピアランスモデルにおいては、特に動画像の見えを予測する場合には、明順応や色順応の時間的視覚特性が反映される必要がある。
【０００４】
例えば、動画像に対しイメージアピアランスモデル（iCAM）を適用する技術が、例えば非特許文献１に記載されている。この文献には、以下のような技術が記載されている。まず、10秒前のフレーム画像から注目フレーム画像までのフレームに対するローパス画像、及びＹローパス画像（絶対輝度画像）に対し、以下に示す(1)式によって算出した順応の重みを掛け合わせる。なお、(1)式においてＡＷは算出された重みを示し、ｆはフレーム番号を示す。すなわち、例えば１秒間に30フレームであれば、ｆ＝0で現在のフレーム番号、ｆ＝-300で10秒前のフレーム番号を示す。
【０００５】
【０００６】
次に、それら複数の重み付けられたローパス画像及びＹローパス画像をそれぞれ合成することによって、注目フレームのローパス画像及びＹローパス画像を生成する。そして、これらをｉＣＡＭのフレームワークで利用する事により、空間的かつ時間的な視覚特性を反映させた動画再生を行っている。
【非特許文献１】M.D. Fairchild and G.M. Johnson, “Image appearance modeling,”。 SPIE/IS&T Electronic Imaging Conference, SPIE Vol. 5007, Santa Clara, 149-160 (2003)。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
一般的な動画像において、被写体オブジェクトが複数存在することは当然であり、それぞれのオブジェクトは異なる特徴を有し、例えばそれぞれの描画時間は異なる。また、再生された動画像を鑑賞する際には通常、注目されるオブジェクト（注目オブジェクト）が存在する。
【０００８】
上記非特許文献１に記載された技術によれば、フレーム画像全体に対して一様なアピアランス処理を行っていた。したがって、フレーム画像全体に対して一様に時間的視覚特性等が反映されるため、注目オブジェクトごとに時間的視覚特性を適用することができなかった。
【０００９】
この例を図１２を用いて説明する。図１２において、観察者が車Ａを注目オブジェクトとして、ｉＣＡＭが適用される１０秒より前の開始０秒より車Ａを見続けているとする。この場合、１２０秒後のフレーム画像に対する車Ａは完全順応に近い状態であり、車Ａに対する順応の重みは１に近い高い値になっているはずである。しかしながら、上記非特許文献１に記載された方法によればこの場合、フレーム画像全体に時間的視覚特性が反映され、車Ａの位置は移動していくため、順応の重みは低い値となってしまう。更に、図１２において車Ｂを注目オブジェクトとした場合、上記従来の方法によれば、実際の車Ｂの観察時間よりも長い順応時間が適用され、車Ｂに対する順応の重みは高い値になってしまう。
【００１０】
本発明は上述した問題を解決するためになされたものであり、以下の機能を有する画像処理装置および画像処理方法を提供することを目的とする。すなわち、フレーム画像内のオブジェクト画像ごとに適切な時間的視覚特性を適用した色変換を行う。
【課題を解決するための手段】
【００１１】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【００１２】
すなわち、人間の空間的視覚特性及び時間的視覚特性を反映させるように、時分割された複数のフレーム画像からなる動画像を再生する画像処理装置であって、前記複数のフレーム画像内の注目フレーム画像からオブジェクト画像を抽出するオブジェクト抽出手段と、前記注目フレームまでの予め定められた処理期間内において、前記抽出したオブジェクト画像ごとのオブジェクト順応時間を取得するオブジェクト順応時間取得手段と、前記オブジェクト画像ごとに、前記オブジェクト順応時間に基づいてオブジェクト順応特徴量を算出するオブジェクト順応特徴量の算出手段と、前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト順応特徴量に基づく色変換を行う色変換手段と、を有することを特徴とする。
【発明の効果】
【００１３】
以上の構成からなる本発明によれば、フレーム画像内のオブジェクト画像ごとに適切な時間的視覚特性を適用した色変換を行うことが可能となる
【発明を実施するための最良の形態】
【００１４】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１５】
＜第１実施形態＞
●装置構成
図１は、本実施形態に係る画像処理装置のブロック構成例を示す図である。同図において、ＣＰＵ７０１は、ＲＯＭ７０２及びハードディスク等の外部記憶装置７０５、等に格納されたプログラムに従い、ＲＡＭ７０３をワークメモリに利用して、装置全体の動作を司る。ＣＰＵ７０１はさらに、本実施形態におけるカラーマッチングに関連する処理をはじめとする各種の画像処理を実行する。
【００１６】
入力部７０４は、キーボードやマウスなどの入力デバイス及びその入力インターフェイスを示し、操作者からの入力指示を受け取る。表示部７０６は、モニタなどの表示デバイス及びビデオインターフェイスを示し、動画像の表示、本実施形態に関わるユーザインターフェィスの画面を表示する。出力部７０７は、プリンタなどの出力デバイス及び出力デバイスインターフェイスを示す。
【００１７】
動画像入力部７０８は、ビデオカメラやデジタルカメラ、ビデオプレーヤーなどの動画像データを扱うデバイスより、動画像データを入力して加工する処理部である。例えば、一般に動画像データは画像及び音声から構成されるが、まずこれを画像信号及び音声信号に分離する。そして、画像信号をアナログ信号として受け取った場合に、これをアナログからデジタルに変換する画像Ａ／Ｄ処理部や、音声信号をアナログ信号として受け取った場合、アナログからデジタルに変換する音声Ａ／Ｄ処理部、等を有する。更に、処理されたデジタル画像信号及びデジタル音声信号を圧縮して合成する合成処理部を有する。また、動画像データがＭＰＥＧ４などのオブジェクト符号化方式で送られた場合、オブジェクト符号をオブジェクト画像に復号する復号処理部も、動画像入力部７０８に含まれる。動画像入力部７０８で取得された画像データは、ＪＰＥＧやＴＩＦＦ画像などの画像フォーマットに変換されたることによって、カラーマッチングを行うための画像データが得られる。
【００１８】
●動画像再生処理概要
図２は、本実施形態に係る画像処理装置における動画像再生処理の概要を示すフローチャートであり、夫々の処理の詳細については後述する。
【００１９】
図１に示す動画像入力部７０８より入力された動画像データは、まずステップＳ２０１において、所定の時間間隔にて静止画像に分割される。分割された静止画像を以降、「フレーム画像」と称する。また、本実施形態におけるカラーマッチング処理対象となるフレーム画像を「注目フレーム画像」と称する。ステップＳ２０１ではすなわち、動画像データを時分割して注目フレーム画像を生成する。
【００２０】
次にステップＳ２０２において、注目フレーム画像に対するフレーム画像情報を作成し、さらにステップＳ２０３において、注目フレーム画像に対し、本実施形態の特徴でもあるオブジェクトの切り出しを行う。次にステップＳ２０４において、切り出されたオブジェクトに対して、本実施形態の特徴である、人間の空間的視覚特性および時間的視覚特性を反映させたカラーマッチング処理に必要となる、オブジェクト情報を生成する。そしてステップＳ２０５において、これらのオブジェクト情報により、注目フレーム画像に対するローパス画像を生成する。そしてステップＳ２０６において、該生成したローパス画像を利用して、注目フレーム画像に対するカラーマッチング処理を行うことにより、再生する動画像データを作成する。
【００２１】
以下、図２に示した各ステップの処理について、詳細に説明する。
【００２２】
●注目フレーム画像分割処理（Ｓ２０１）
動画像入力部７０８より入力された動画像データは、特定もしくは任意の時間間隔で時分割される。分割されたフレーム画像は、ＲＯＭ７０２やＲＡＭ７０３、または外部記憶装置７０５に保持する。このとき、後述する図３に示すフレーム画像情報テーブルに対し、フレーム画像データアドレス情報４０３にフレーム画像の格納先を示すアドレスを格納し、さらにフレーム画像サイズ情報４０４にフレーム画像のデータサイズを格納する。
【００２３】
●フレーム画像情報作成処理（Ｓ２０２）
時分割された１フレーム画像に関する情報を、図３に示すようなフレーム画像情報テーブルとして、ＲＯＭ７０２やＲＡＭ７０３、または外部記憶装置７０５に保持する。
【００２４】
図３に示すように、本実施形態のフレーム画像情報テーブルは、フレーム画像の情報を識別するための番号情報を示すフレーム画像情報識別情報として、フレーム連番４０１を有する。さらに、フレーム間の時間間隔、すなわちフレーム画像が描画されるインターバルを示す時間情報４０２、を有する。さらに、記憶装置に格納されているフレーム画像データへのアドレスを示すフレーム画像データアドレス情報４０３、及びフレーム画像データのデータ長を示すフレーム画像サイズ情報４０４、を有する。そしてさらに、後述するステップＳ２０５で生成される、フレーム画像に対するローパス画像データのアドレスを示すフレームローパス画像アドレス情報４０５を有する。そしてさらに、フレーム画像内に含まれるオブジェクトの情報を格納しているオブジェクト情報テーブルのアドレスを示すオブジェクト情報テーブルアドレス情報４０６、及び該テーブルのデータ長を示すオブジェクト情報サイズ情報４０７、を有する。
【００２５】
本実施形態において、フレーム連番４０１はフレーム画像を再生する順番を示し、フレーム画像が切り出される度にインクリメントされて格納される。また、時間情報４０２は、フレーム画像が特定の時間間隔で分割されている場合、その分割時間を格納する。これが任意の時間間隔である場合は、注目フレーム画像の前フレーム画像が表示開始された時間から、該注目フレーム画像が表示されるまでの時間を、装置が標準的に備えている時間処理装置（内部クロック）により取得する。
【００２６】
●被写体オブジェクト抽出処理（Ｓ２０３）
ここでは、注目フレーム画像内に含まれる被写体オブジェクトを抽出してオブジェクト画像データを得る。この被写体オブジェクトを抽出する方法としては、周知の方法を適用することが可能であり、以下のような技術が適用される。
【００２７】
例えば、特開２００４−２４８３１２号公報に記載された技術によれば、連続する複数のフレーム画像により構成される動画像に含まれる被写体の動きを検出するためにブロックマッチング方法の技術を使用している。このブロックマッチング方法とは、フレーム画像をブロック（領域）に分割し、ブロック単位で前画像との類似位置をパターンマッチングにより探索して、一連の画像に含まれる被写体を検出する。検出されたオブジェクトは、オブジェクトと背景の境界を示す領域境界情報により表現される。この領域境界情報より、オブジェクト画像データを生成することができる。
【００２８】
また、動画像において背景、人物などの複数のオブジェクトを分離し、該オブジェクト毎に符号化を行うオブジェクト符号化方式も知られている。このオブジェクト符号化方式は、動画像符号化方式の国際標準（ＩＳＯ／ＩＥＣ ＭＰＥＧ４）等でサポートされている。このようなオブジェクト符号化方式の場合、オブジェクトごとに分離されているオブジェクト符号を受け取り、これを復号してオブジェクト画像データを作成することが可能である。
【００２９】
本実施形態では、注目フレーム画像から何らかの方法によって抽出されたオブジェクトごとに、図４に示すオブジェクト情報テーブルに新規オブジェクト情報として登録する。また、このオブジェクト情報を示すアドレスは、図３に示すフレーム画像情報テーブルのオブジェクト情報テーブルアドレス情報４０６に格納され、また、オブジェクト情報のサイズが、オブジェクト情報サイズ情報４０７に格納される。
【００３０】
図４に示すように、本実施形態のオブジェクト情報テーブルには以下に説明する項目が格納される。まず、オブジェクト情報の識別番号を示すオブジェクト番号５０１、オブジェクトの分類を示すオブジェクト分類情報テーブルへのアドレスを示すオブジェクト分類情報アドレス情報５０２を有する。ここでオブジェクト分類情報とは、フレーム画像内に存在するオブジェクトの要素を表すものであり、例えば、後述する図９に示す「車Ａ」などが１つの分類となる。このオブジェクト分類情報の詳細については後述する。
【００３１】
さらに、被写体オブジェクトとして抽出されたオブジェクトの座標情報が格納されるオブジェクト画像位置情報５０３を有する。このオブジェクト画像位置情報５０３は、フレーム画像の左上を（０，０）とし、オブジェクト画像の左上端を（０，０）としたときの画素の相対位置を示し、オブジェクトの領域境界の座標情報を示す。この座標は、オブジェクトのローパス画像生成の際に利用される。
【００３２】
さらに、このオブジェクト画像が操作者によって注目されているか否かを示す注目フラグ５０４を有する。この注目フラグ５０４は、操作者の視線入力を利用した周知技術に基づき、操作者がどのオブジェクトを注目しているのかを判別する事によって、true（注目している）とfalse（注目していない）を切り替えれば良い。仮に、注目オブジェクトの判別を行わず、全てのオブジェクトに対して同一の処理を行う場合であれば、注目フラグを常にtrueにするか、フラグ自体を使わなければ良い。
【００３３】
この被写体オブジェクト抽出処理ではすなわち、図４に示すオブジェクト情報テーブルに対し、オブジェクト番号５０１およびオブジェクト画像位置情報５０３を格納する。
【００３４】
●オブジェクト情報生成処理（Ｓ２０４）
図５は、ステップＳ２０４におけるオブジェクト情報生成処理の流れを示すフローチャートである。まず、ステップＳ２０３の被写体オブジェクト抽出処理において抽出されたオブジェクト画像データが、注目フレーム以前のフレーム画像において、後述するオブジェクト分類情報テーブルに既に登録されているか否かを判定する（Ｓ３０１）。この判定は、例えば以下のように行うことができる。まず、フレーム情報テーブルのフレーム連番４０１を参照して、注目フレーム画像の連番よりも１つ小さいフレーム連番を持つフレーム情報を取得する。そして、該取得したフレーム情報に対するオブジェクト情報テーブルを参照し、そのオブジェクト画像位置情報５０３に基づいてオブジェクト画像を抽出する。そして、該抽出したオブジェクト画像が、ステップＳ２０３の被写体オブジェクト抽出処理で切り出されたオブジェクト画像と一致するか否かを判定し、一致していれば、既に登録済みであると判定できる。
【００３５】
なお、オブジェクト画像の一致判定の方法としては例えば、オブジェクト画像を構成する全ての画素が一致するか否かを調べることはもちろん、さらにオブジェクト画像に対して拡大，縮小及び回転等を施してパターンマッチングを行うことも有効である。また、オブジェクト画像の一致したサイズと、該オブジェクト画像のオリジナルサイズと、の割合に基づいて、該オブジェクト画像が登録済みであるか否かを判定してもよい。また、オブジェクト符号化を用いた動画像については、オブジェクトを識別するためのオブジェクト信号が取得されるため、オブジェクトの一致の判断は容易である。
【００３６】
ステップＳ３０１において、抽出されたオブジェクトがオブジェクト分類情報テーブルに登録されていないと判断された場合、ステップＳ３０２において、該オブジェクトの情報を、オブジェクト分類情報テーブルに新規オブジェクト分類情報として登録する。
【００３７】
ここで図６に、オブジェクト分類情報テーブルの構成例を示す。同図に示すように本実施形態のオブジェクト分類情報テーブルは、オブジェクト分類を識別するためのオブジェクト分類番号９０１を有する。そしてさらに、オブジェクトが描画開始されたフレーム番号を示す描画開始フレーム番号９０２、およびオブジェクトが描画終了したフレーム番号を示す描画終了フレーム番号９０３、を有する。
【００３８】
オブジェクト分類情報テーブルに対してオブジェクト分類情報を新規登録する場合、オブジェクト分類番号９０１の最大値に１を加えて、新たなオブジェクト分類番号９０１を登録する。そして、描画開始フレーム番号９０２、及び描画終了フレーム番号９０３の両方に対して、注目フレーム番号を登録する。そして、登録したオブジェクト分類情報を示すアドレスを、図４に示すオブジェクト情報テーブルのオブジェクト分類情報アドレス情報５０２に格納する。
【００３９】
一方、ステップＳ３０１においてオブジェクト分類情報が登録済みと判断された場合にはステップＳ３０３に進み、登録されていたオブジェクト分類情報を更新する。すなわち、そのオブジェクト分類情報の描画終了フレーム番号９０３に１を加える。そしてさらに、既に登録されていたオブジェクト分類情報のアドレスを、図４に示すオブジェクト情報テーブルのオブジェクト分類情報アドレス情報５０２に格納する。
【００４０】
ステップＳ３０２における新規登録処理、またはステップＳ３０３における更新処理を終了した後、ステップＳ３０４において、フレーム内の全てのオブジェクト画像に対し、オブジェクト情報を生成したか否かを判定する。全ての作成が終了している場合は、オブジェクト情報生成処理を終了するが、作成していない場合は、ステップＳ３０１に戻って次のオブジェクト情報を生成する。
【００４１】
ステップＳ２０４のオブジェクト情報生成処理ではすなわち、図４に示すオブジェクト情報テーブルに対し、オブジェクト分類情報アドレス情報５０２を格納する。
【００４２】
●注目フレームローパス画像生成処理（Ｓ２０５）
図７は、ステップＳ２０５における注目フレームローパス画像生成処理の流れを示すフローチャートである。まず、注目フレーム画像に対するフレームローパス画像Ａを生成、保存する（Ｓ６０１）。このフレームローパス画像Ａは、上記非特許文献１に記載された技術と同様に、ＸＹＺ画像として扱われるため、ここでは注目フレーム画像をＸＹＺ画像に変換し、注目フレーム画像にガウシアンフィルタ等のローパスフィルタを適用して生成される。作成されたフレームローパス画像Ａは、ＲＯＭ７０２やＲＡＭ７０３、または外部記憶装置７０５に格納され、そのアドレスが、図３に示すフレーム画像情報テーブルのフレームローパス画像アドレス情報４０５に格納される。
【００４３】
次に、後述するフレームローパス画像の生成対象となる開始フレーム・終了フレームのフレーム連番を取得する（Ｓ６０２）。本実施形態では、上記非特許文献１に記載された技術と同様に、注目フレームとその１０秒前のフレームまでの処理期間内に存在するフレーム画像に対してフレームローパス画像を生成する。したがって、ローパス画像生成対象の開始フレーム連番に、注目フレームから−１０ｓｅｃにあたるフレームのフレーム連番を設定する。また、ローパス画像生成対象の終了フレーム連番に、注目フレームのフレーム連番を設定する。ここで、−１０ｓｅｃの時間情報は、図４に示すフレーム画像情報テーブルの時間情報４０２に基づいて算出する。このとき、−１０ｓｅｃちょうどに相当するフレームがない場合は、−１０ｓｅｃに最も近いフレームを代わりに用いれば良い。
【００４４】
そして、ローパス画像生成カウンタｉに、ステップＳ６０２で設定したローパス画像生成対象の開始フレーム連番を設定する（Ｓ６０３）。
【００４５】
そしてステップＳ６０４〜Ｓ６１１において、１フレーム画像に対するフレームローパス画像の生成を行う。以下、この１フレーム画像に対する処理について説明する。
【００４６】
まず、図３に示すフレーム画像情報テーブルに基づいて、注目フレーム画像のフレームローパス画像Ａを取得する（Ｓ６０４）。次に、ｉフレーム画像の順応時間（フレーム順応時間）を取得する（Ｓ６０５）。具体的には、注目フレーム画像からｉフレーム画像までの各フレームにおける時間情報を加算することにより、ｉフレーム画像の順応時間を取得することができる。
【００４７】
以上のようにステップＳ６０５におけるフレーム順応時間取得処理が終了すると、次にステップＳ６０６において、フレーム順応時間を適用したフレームローパス画像Ｂを作成する。すなわち、ステップＳ６０４で作成したフレームローパス画像Ａに対し、フレーム順応特徴量である順応の重みＡＷを乗じる。このＡＷは、上記(1)式に対してステップＳ６０５で取得したフレーム順応時間を適用することによって算出できる。これにより、フレーム順応時間適用後のフレームローパス画像Ｂが作成される。
【００４８】
次に、ステップＳ６０７〜Ｓ６１１において、フレーム画像内のオブジェクトに対し、オブジェクトごとの時間的特徴量を反映したオブジェクトローパス画像の生成を行う。
【００４９】
まず、図４に示すオブジェクト情報テーブルから、１フレーム画像内の１オブジェクト情報を取得する（Ｓ６０７）。そして、対応する注目フラグ５０４を判定し（Ｓ６０８）、該フラグがfalseの場合、オブジェクトローパス画像を生成せずに、次のオブジェクト情報へ移行するか否かの判定処理（Ｓ６１２）に移行する。
【００５０】
一方、注目フラグがtrueの場合は、フレームローパス画像生成対象フレーム画像について、当該オブジェクト画像の描画開始フレームから対象フレームすなわちｉフレームまでの期間における、オブジェクトの順応時間を求める（Ｓ６０９）。すなわち、図６に示すオブジェクト分類情報テーブルを参照して、当該オブジェクト画像の描画開始フレーム番号９０２および描画終了フレーム番号９０３に基づき、時間情報の加算対象となるフレームを制限する。これにより、当該オブジェクトが描画されている期間のみを正しく反映することができる。
【００５１】
以上のようにステップＳ６０９におけるオブジェクト順応時間取得処理が終了すると、次にステップＳ６１０において、オブジェクト順応時間を適用したオブジェクトローパス画像生成処理を行う。すなわち、ステップＳ６０６で作成したフレームローパス画像Ｂにおいて、オブジェクト画像位置情報５０３から求められるオブジェクト領域に対し、オブジェクト順応特徴量である順応の重みＡＷを乗じる。このＡＷは、上記(1)式に対してステップＳ６０９で取得したオブジェクト順応時間を適用することによって算出できる。これにより、オブジェクト順応時間適用後のオブジェクトローパス画像が作成される。このオブジェクトローパス画像はすなわち、フレームローパス画像Ｂに対してオブジェクト画像領域が更新されたものである。
【００５２】
そして、フレーム内の全てのオブジェクトに対し、それぞれのオブジェクト順応時間を適用しオブジェクトローパス画像を生成したか否か、すなわち、フレームローパス画像Ｂに対し、全てのオブジェクト画像領域が更新されたか否かを判定する（Ｓ６１１）。全てのオブジェクトに対する処理が終了した場合にはステップＳ６１２に移行するが、未終了であればステップＳ６０７に戻る。
【００５３】
１フレーム画像に対するフレームローパス画像の生成が終了すると、ステップＳ６１２において、注目フレーム画像のフレームローパス画像を生成するための対象フレームの全てについて、フレームローパス画像Ｂを生成したか否か判断する。すなわち、注目フレーム画像の１０秒前からの全てのフレーム画像について、フレームローパス画像Ｂが生成されたか否かを判断する。具体的には、カウンタｉがローパス画像生成対象の終了フレーム（すなわち注目フレーム）連番にあたるか否かを判定すれば良い。全ての対象フレームについての処理が終了していた場合はステップＳ６１４に移行してローパス画像合成処理を行う。すなわち、作成した全てのフレームローパス画像Ｂを合成することによって、注目フレーム画像に対して実際に適用される適用ローパス画像を生成する。一方、ローパス画像の作成が終了していない対象フレームがある場合は、ステップＳ６１３でｉに１を加算した後、ステップＳ６０４に戻る。
【００５４】
●再生画像生成処理（Ｓ２０６）
図８は、ステップＳ２０６における再生画像生成処理の流れを示すフローチャートである。ここでは、上記非特許文献１と同様にｉＣＡＭのフレームワークを利用する例を示す。
【００５５】
まず、注目フレーム画像（ＸＹＺ画像）及びステップＳ２０５で生成したフレームローパス画像に対し、以下の(2)，(3)式に基づいて色順応変換処理を行う（Ｓ１００１）。
【００５６】
【００５７】
(2)式により変換された注目フレーム画像の各画素をＲ，Ｇ，Ｂとし、同じく(2)式により変換されたローパス画像の各画素をＲｗ，Ｇｗ，Ｂｗとすると、色順応後のＲＧＢ値（Ｒｃ，Ｇｃ，Ｂｃ）は、以下の(4)〜(6)式から算出される。
【００５８】
【００５９】
ここで、Ｄはデバイス白色への順応度合いを表すパラメータであり、０（順応なし）〜１（完全順応）の値をとる。
【００６０】
次に、観察条件係数ＦＬを画素ごとに算出する（Ｓ１００２）。ここで観察条件ＦＬは、フレームローパス画像のＹ値（ＹＡ）から作成されるＹローパス画像（絶対輝度画像）に基づき、以下の(7)式により算出される。
【００６１】
【００６２】
次に、ステップＳ１００１で変換された順応後のＲＧＢ値（Ｒｃ，Ｇｃ，Ｂｃ）をＩＰＴ空間に変換する（Ｓ１００３）。ここでＩＰＴ空間とは、Ｉが明暗の度合い、Ｐが赤−緑の色合い、Ｔが黄−青の色合い、をそれぞれ表す直方色空間である。以下、このＩＰＴ空間への変換処理について具体的に説明する。
【００６３】
まず、順応後のＲｃ，Ｇｃ，Ｂｃを、以下に示す(8)〜(10)式にしたがって、錐体応答空間ＬＭＳに変換する。
【００６４】
【００６５】
そして次に、以下に示す(11)〜(13)式に従って錐体応答の非線形圧縮を適用するが、その際に、(7)式で算出したＦＬ値を利用する。
【００６６】
【００６７】
その後、下記の(14)，(15)式を利用して、ＩＰＴ空間への変換を行う。
【００６８】
【００６９】
以上のようにＩＰＴ空間への変換が終了すると、次に、ＩＰＴ空間上の色を動画像を表示するモニタのＲＧＢ空間に逆変換する（Ｓ１００４）。ＩＰＴからモニタＲＧＢへの変換は、まずＩＰＴ値から順応ＲＧＢ値への逆変換を行い、それをモニタの観察環境に応じたＸＹＺ値に変換し、さらにモニタの特性に基づいてモニタＲＧＢ値に変換することによって、行われる。
【００７０】
●注目オブジェクトを考慮した画像再生
ここで図９に、本実施形態において注目オブジェクトに対する時間的視覚特性が反映されて再生される様子を示す。上述した従来例を示した図１２においては、全てのフレーム画像に対して一様にローパス画像が生成され、すなわち一様な時間的視覚特性が反映されていた。しかしながら図９によれば、フレーム内の注目オブジェクトである車Ａと車Ｂのオブジェクトに対し、フレーム時間に応じたローパスフィルタ処理を行ってフレームごとのローパス画像を作成する。そして、(1)式の重み付けに基づいて複数フレームのローパス画像を合成することで、注目フレームに対するローパス画像が生成されている。図９によればすなわち、注目オブジェクトに対して背景オブジェクトとは異なる時間的視覚特性が反映されており、注目オブジェクトを考慮した再生が可能となることが分かる。
【００７１】
以上説明した様に本実施形態によれば、被写体オブジェクトごとに時間的視覚特性を適用することが可能となる。したがって、特に注目すべきオブジェクトに対して適切な時間的視覚特性を適用して再生を行うことが可能になり、観察者にとって違和感のない見えをが実現される。
【００７２】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態では、フレーム画像そのものを記憶手段に保持しておき、フレーム画像内におけるオブジェクト画像を取得するために、図４に示すオブジェクト画像位置情報５０３を利用する例を示した。第２実施形態では、フレーム画像とは別に、オブジェクト画像を保持することを特徴とする。
【００７３】
図１０に、第２実施形態におけるフレーム画像情報テーブルの例を示す。上述した第１実施形態で図３に示したフレーム画像情報テーブルとの違いは、フレームローパス画像（図３ではフレームローパス画像アドレス情報４０５）を保持しない点である。
【００７４】
また図１１に、第２実施形態におけるオブジェクト情報テーブルの例を示す。第２実施形態においては、背景画像を含めた全てのオブジェクトについて、図１１に示すオブジェクト情報テーブルに、オブジェクト画像及びオブジェクトローパス画像の情報を保持していることを特徴とする。
【００７５】
第２実施形態における動画像再生処理は、基本的に上述した第１実施形態とほぼ同様であり、オブジェクト画像およびそのローパス画像へのアクセス方法が異なる。そのために、例えば被写体オブジェクト抽出処理において、抽出されたオブジェクト画像をＲＯＭ７０２、ＲＡＭ７０３または外部記憶装置７０５に保持し、該オブジェクト画像のアドレスをオブジェクト画像データアドレス情報１２０３に格納する。そしてさらに、該オブジェクト画像のサイズをオブジェクト画像データサイズ情報１２０４に格納する。
【００７６】
また、第２実施形態ではさらに、オブジェクトごとにオブジェクトローパス画像を保持する。したがって、オブジェクトに対して作成されたオブジェクトローパス画像を、ＲＯＭ７０２、ＲＡＭ７０３または外部記憶装置７０５に保持し、該ローパス画像のアドレスをオブジェクトローパス画像アドレス情報１２０７に格納する。そして、該ローパス画像のサイズをオブジェクトローパス画像サイズ情報１２０８に格納する。
【００７７】
なお、図１１に示すオブジェクト情報テーブルにおけるオブジェクト画像位置情報１２０５には、当該オブジェクトの全領域における画素の座標を保持する必要はなく、例えば左上の開始座標のみを保持すればよい。
【００７８】
以上説明した様に第２実施形態によれば、第２実施形態では、オブジェクト画像をフレーム画像とは独立して保持しておくことによっても、上述した第１実施形態と同様に、オブジェクトごとに時間的視覚特性を適用することが可能となる。また、オブジェクトデータへのアクセスが容易となるため、全体としての処理速度が向上する。
【００７９】
＜他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００８０】
尚本発明は、前述した実施形態の機能を実現するソフトウェアプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図に示したフローチャートに対応したプログラムである。
【００８１】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００８２】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【００８３】
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などである。
【００８４】
プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【００８５】
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。
【００８６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００８７】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。
【図面の簡単な説明】
【００８８】
【図１】本発明に係る一実施形態に係る画像処理装置のブロック構成例を示す図である。
【図２】本実施形態における動画像再生処理を示すフローチャートである。
【図３】本実施形態におけるフレーム画像情報テーブルの構成例を示す図である。
【図４】本実施形態におけるオブジェクト情報テーブルの構成例を示す図である。
【図５】本実施形態におけるオブジェクト情報生成処理を示すフローチャートである。
【図６】本実施形態におけるオブジェクト分類情報テーブルの構成例を示す図である。
【図７】本実施形態における注目フレームローパス画像生成処理を示すフローチャートである。
【図８】本実施形態における再生画像生成処理を示すフローチャートである。
【図９】本実施形態のアピアランス処理において注目オブジェクトに対する時間的視覚特性が考慮される様子を示す模式図である。
【図１０】第２実施形態におけるフレーム画像情報テーブルの構成例を示す図である。
【図１１】第２実施形態におけるオブジェクト情報テーブルの構成例を示す図である。
【図１２】従来のアピアランス処理において時間的視覚特性が一様に考慮される様子を示す模式図である。
【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法に関し、特に、時分割された複数のフレーム画像からなる動画像を再生する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
一般に人間の色知覚モデルは、人間の色の見えが正しく予測できるように設計されていおり、その代表的なものとしてカラーアピアランスモデルがある。このカラーアピアランスモデルは観察条件の変化に対応しており、観察条件パラメータとして、輝度、白色点、周囲相対輝度などの観察情報を設定できるため、観察条件が変わっても色の見えを適切に再現することができる。
【０００３】
更に、カラーアピアランスモデルを拡張したモデルとして、人間の空間的視覚特性および時間的視覚特性が反映されたイメージアピアランスモデルが存在し、その代表的なものとしてiCAMが知られている。イメージアピアランスモデルにおいては、特に動画像の見えを予測する場合には、明順応や色順応の時間的視覚特性が反映される必要がある。
【０００４】
例えば、動画像に対しイメージアピアランスモデル（iCAM）を適用する技術が、例えば非特許文献１に記載されている。この文献には、以下のような技術が記載されている。まず、10秒前のフレーム画像から注目フレーム画像までのフレームに対するローパス画像、及びＹローパス画像（絶対輝度画像）に対し、以下に示す(1)式によって算出した順応の重みを掛け合わせる。なお、(1)式においてＡＷは算出された重みを示し、ｆはフレーム番号を示す。すなわち、例えば１秒間に30フレームであれば、ｆ＝0で現在のフレーム番号、ｆ＝-300で10秒前のフレーム番号を示す。
【０００５】
【０００６】
次に、それら複数の重み付けられたローパス画像及びＹローパス画像をそれぞれ合成することによって、注目フレームのローパス画像及びＹローパス画像を生成する。そして、これらをｉＣＡＭのフレームワークで利用する事により、空間的かつ時間的な視覚特性を反映させた動画再生を行っている。
【非特許文献１】M.D. Fairchild and G.M. Johnson, “Image appearance modeling,”。 SPIE/IS&T Electronic Imaging Conference, SPIE Vol. 5007, Santa Clara, 149-160 (2003)。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
一般的な動画像において、被写体オブジェクトが複数存在することは当然であり、それぞれのオブジェクトは異なる特徴を有し、例えばそれぞれの描画時間は異なる。また、再生された動画像を鑑賞する際には通常、注目されるオブジェクト（注目オブジェクト）が存在する。
【０００８】
上記非特許文献１に記載された技術によれば、フレーム画像全体に対して一様なアピアランス処理を行っていた。したがって、フレーム画像全体に対して一様に時間的視覚特性等が反映されるため、注目オブジェクトごとに時間的視覚特性を適用することができなかった。
【０００９】
この例を図１２を用いて説明する。図１２において、観察者が車Ａを注目オブジェクトとして、ｉＣＡＭが適用される１０秒より前の開始０秒より車Ａを見続けているとする。この場合、１２０秒後のフレーム画像に対する車Ａは完全順応に近い状態であり、車Ａに対する順応の重みは１に近い高い値になっているはずである。しかしながら、上記非特許文献１に記載された方法によればこの場合、フレーム画像全体に時間的視覚特性が反映され、車Ａの位置は移動していくため、順応の重みは低い値となってしまう。更に、図１２において車Ｂを注目オブジェクトとした場合、上記従来の方法によれば、実際の車Ｂの観察時間よりも長い順応時間が適用され、車Ｂに対する順応の重みは高い値になってしまう。
【００１０】
本発明は上述した問題を解決するためになされたものであり、以下の機能を有する画像処理装置および画像処理方法を提供することを目的とする。すなわち、フレーム画像内のオブジェクト画像ごとに適切な時間的視覚特性を適用した色変換を行う。
【課題を解決するための手段】
【００１１】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【００１２】
すなわち、人間の空間的視覚特性及び時間的視覚特性を反映させるように、時分割された複数のフレーム画像からなる動画像を再生する画像処理装置であって、前記複数のフレーム画像内の注目フレーム画像からオブジェクト画像を抽出するオブジェクト抽出手段と、前記注目フレームまでの予め定められた処理期間内において、前記抽出したオブジェクト画像ごとのオブジェクト順応時間を取得するオブジェクト順応時間取得手段と、前記オブジェクト画像ごとに、前記オブジェクト順応時間に基づいてオブジェクト順応特徴量を算出するオブジェクト順応特徴量の算出手段と、前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト順応特徴量に基づく色変換を行う色変換手段と、を有することを特徴とする。
【発明の効果】
【００１３】
以上の構成からなる本発明によれば、フレーム画像内のオブジェクト画像ごとに適切な時間的視覚特性を適用した色変換を行うことが可能となる
【発明を実施するための最良の形態】
【００１４】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１５】
＜第１実施形態＞
●装置構成
図１は、本実施形態に係る画像処理装置のブロック構成例を示す図である。同図において、ＣＰＵ７０１は、ＲＯＭ７０２及びハードディスク等の外部記憶装置７０５、等に格納されたプログラムに従い、ＲＡＭ７０３をワークメモリに利用して、装置全体の動作を司る。ＣＰＵ７０１はさらに、本実施形態におけるカラーマッチングに関連する処理をはじめとする各種の画像処理を実行する。
【００１６】
入力部７０４は、キーボードやマウスなどの入力デバイス及びその入力インターフェイスを示し、操作者からの入力指示を受け取る。表示部７０６は、モニタなどの表示デバイス及びビデオインターフェイスを示し、動画像の表示、本実施形態に関わるユーザインターフェィスの画面を表示する。出力部７０７は、プリンタなどの出力デバイス及び出力デバイスインターフェイスを示す。
【００１７】
動画像入力部７０８は、ビデオカメラやデジタルカメラ、ビデオプレーヤーなどの動画像データを扱うデバイスより、動画像データを入力して加工する処理部である。例えば、一般に動画像データは画像及び音声から構成されるが、まずこれを画像信号及び音声信号に分離する。そして、画像信号をアナログ信号として受け取った場合に、これをアナログからデジタルに変換する画像Ａ／Ｄ処理部や、音声信号をアナログ信号として受け取った場合、アナログからデジタルに変換する音声Ａ／Ｄ処理部、等を有する。更に、処理されたデジタル画像信号及びデジタル音声信号を圧縮して合成する合成処理部を有する。また、動画像データがＭＰＥＧ４などのオブジェクト符号化方式で送られた場合、オブジェクト符号をオブジェクト画像に復号する復号処理部も、動画像入力部７０８に含まれる。動画像入力部７０８で取得された画像データは、ＪＰＥＧやＴＩＦＦ画像などの画像フォーマットに変換されたることによって、カラーマッチングを行うための画像データが得られる。
【００１８】
●動画像再生処理概要
図２は、本実施形態に係る画像処理装置における動画像再生処理の概要を示すフローチャートであり、夫々の処理の詳細については後述する。
【００１９】
図１に示す動画像入力部７０８より入力された動画像データは、まずステップＳ２０１において、所定の時間間隔にて静止画像に分割される。分割された静止画像を以降、「フレーム画像」と称する。また、本実施形態におけるカラーマッチング処理対象となるフレーム画像を「注目フレーム画像」と称する。ステップＳ２０１ではすなわち、動画像データを時分割して注目フレーム画像を生成する。
【００２０】
次にステップＳ２０２において、注目フレーム画像に対するフレーム画像情報を作成し、さらにステップＳ２０３において、注目フレーム画像に対し、本実施形態の特徴でもあるオブジェクトの切り出しを行う。次にステップＳ２０４において、切り出されたオブジェクトに対して、本実施形態の特徴である、人間の空間的視覚特性および時間的視覚特性を反映させたカラーマッチング処理に必要となる、オブジェクト情報を生成する。そしてステップＳ２０５において、これらのオブジェクト情報により、注目フレーム画像に対するローパス画像を生成する。そしてステップＳ２０６において、該生成したローパス画像を利用して、注目フレーム画像に対するカラーマッチング処理を行うことにより、再生する動画像データを作成する。
【００２１】
以下、図２に示した各ステップの処理について、詳細に説明する。
【００２２】
●注目フレーム画像分割処理（Ｓ２０１）
動画像入力部７０８より入力された動画像データは、特定もしくは任意の時間間隔で時分割される。分割されたフレーム画像は、ＲＯＭ７０２やＲＡＭ７０３、または外部記憶装置７０５に保持する。このとき、後述する図３に示すフレーム画像情報テーブルに対し、フレーム画像データアドレス情報４０３にフレーム画像の格納先を示すアドレスを格納し、さらにフレーム画像サイズ情報４０４にフレーム画像のデータサイズを格納する。
【００２３】
●フレーム画像情報作成処理（Ｓ２０２）
時分割された１フレーム画像に関する情報を、図３に示すようなフレーム画像情報テーブルとして、ＲＯＭ７０２やＲＡＭ７０３、または外部記憶装置７０５に保持する。
【００２４】
図３に示すように、本実施形態のフレーム画像情報テーブルは、フレーム画像の情報を識別するための番号情報を示すフレーム画像情報識別情報として、フレーム連番４０１を有する。さらに、フレーム間の時間間隔、すなわちフレーム画像が描画されるインターバルを示す時間情報４０２、を有する。さらに、記憶装置に格納されているフレーム画像データへのアドレスを示すフレーム画像データアドレス情報４０３、及びフレーム画像データのデータ長を示すフレーム画像サイズ情報４０４、を有する。そしてさらに、後述するステップＳ２０５で生成される、フレーム画像に対するローパス画像データのアドレスを示すフレームローパス画像アドレス情報４０５を有する。そしてさらに、フレーム画像内に含まれるオブジェクトの情報を格納しているオブジェクト情報テーブルのアドレスを示すオブジェクト情報テーブルアドレス情報４０６、及び該テーブルのデータ長を示すオブジェクト情報サイズ情報４０７、を有する。
【００２５】
本実施形態において、フレーム連番４０１はフレーム画像を再生する順番を示し、フレーム画像が切り出される度にインクリメントされて格納される。また、時間情報４０２は、フレーム画像が特定の時間間隔で分割されている場合、その分割時間を格納する。これが任意の時間間隔である場合は、注目フレーム画像の前フレーム画像が表示開始された時間から、該注目フレーム画像が表示されるまでの時間を、装置が標準的に備えている時間処理装置（内部クロック）により取得する。
【００２６】
●被写体オブジェクト抽出処理（Ｓ２０３）
ここでは、注目フレーム画像内に含まれる被写体オブジェクトを抽出してオブジェクト画像データを得る。この被写体オブジェクトを抽出する方法としては、周知の方法を適用することが可能であり、以下のような技術が適用される。
【００２７】
例えば、特開２００４−２４８３１２号公報に記載された技術によれば、連続する複数のフレーム画像により構成される動画像に含まれる被写体の動きを検出するためにブロックマッチング方法の技術を使用している。このブロックマッチング方法とは、フレーム画像をブロック（領域）に分割し、ブロック単位で前画像との類似位置をパターンマッチングにより探索して、一連の画像に含まれる被写体を検出する。検出されたオブジェクトは、オブジェクトと背景の境界を示す領域境界情報により表現される。この領域境界情報より、オブジェクト画像データを生成することができる。
【００２８】
また、動画像において背景、人物などの複数のオブジェクトを分離し、該オブジェクト毎に符号化を行うオブジェクト符号化方式も知られている。このオブジェクト符号化方式は、動画像符号化方式の国際標準（ＩＳＯ／ＩＥＣ ＭＰＥＧ４）等でサポートされている。このようなオブジェクト符号化方式の場合、オブジェクトごとに分離されているオブジェクト符号を受け取り、これを復号してオブジェクト画像データを作成することが可能である。
【００２９】
本実施形態では、注目フレーム画像から何らかの方法によって抽出されたオブジェクトごとに、図４に示すオブジェクト情報テーブルに新規オブジェクト情報として登録する。また、このオブジェクト情報を示すアドレスは、図３に示すフレーム画像情報テーブルのオブジェクト情報テーブルアドレス情報４０６に格納され、また、オブジェクト情報のサイズが、オブジェクト情報サイズ情報４０７に格納される。
【００３０】
図４に示すように、本実施形態のオブジェクト情報テーブルには以下に説明する項目が格納される。まず、オブジェクト情報の識別番号を示すオブジェクト番号５０１、オブジェクトの分類を示すオブジェクト分類情報テーブルへのアドレスを示すオブジェクト分類情報アドレス情報５０２を有する。ここでオブジェクト分類情報とは、フレーム画像内に存在するオブジェクトの要素を表すものであり、例えば、後述する図９に示す「車Ａ」などが１つの分類となる。このオブジェクト分類情報の詳細については後述する。
【００３１】
さらに、被写体オブジェクトとして抽出されたオブジェクトの座標情報が格納されるオブジェクト画像位置情報５０３を有する。このオブジェクト画像位置情報５０３は、フレーム画像の左上を（０，０）とし、オブジェクト画像の左上端を（０，０）としたときの画素の相対位置を示し、オブジェクトの領域境界の座標情報を示す。この座標は、オブジェクトのローパス画像生成の際に利用される。
【００３２】
さらに、このオブジェクト画像が操作者によって注目されているか否かを示す注目フラグ５０４を有する。この注目フラグ５０４は、操作者の視線入力を利用した周知技術に基づき、操作者がどのオブジェクトを注目しているのかを判別する事によって、true（注目している）とfalse（注目していない）を切り替えれば良い。仮に、注目オブジェクトの判別を行わず、全てのオブジェクトに対して同一の処理を行う場合であれば、注目フラグを常にtrueにするか、フラグ自体を使わなければ良い。
【００３３】
この被写体オブジェクト抽出処理ではすなわち、図４に示すオブジェクト情報テーブルに対し、オブジェクト番号５０１およびオブジェクト画像位置情報５０３を格納する。
【００３４】
●オブジェクト情報生成処理（Ｓ２０４）
図５は、ステップＳ２０４におけるオブジェクト情報生成処理の流れを示すフローチャートである。まず、ステップＳ２０３の被写体オブジェクト抽出処理において抽出されたオブジェクト画像データが、注目フレーム以前のフレーム画像において、後述するオブジェクト分類情報テーブルに既に登録されているか否かを判定する（Ｓ３０１）。この判定は、例えば以下のように行うことができる。まず、フレーム情報テーブルのフレーム連番４０１を参照して、注目フレーム画像の連番よりも１つ小さいフレーム連番を持つフレーム情報を取得する。そして、該取得したフレーム情報に対するオブジェクト情報テーブルを参照し、そのオブジェクト画像位置情報５０３に基づいてオブジェクト画像を抽出する。そして、該抽出したオブジェクト画像が、ステップＳ２０３の被写体オブジェクト抽出処理で切り出されたオブジェクト画像と一致するか否かを判定し、一致していれば、既に登録済みであると判定できる。
【００３５】
なお、オブジェクト画像の一致判定の方法としては例えば、オブジェクト画像を構成する全ての画素が一致するか否かを調べることはもちろん、さらにオブジェクト画像に対して拡大，縮小及び回転等を施してパターンマッチングを行うことも有効である。また、オブジェクト画像の一致したサイズと、該オブジェクト画像のオリジナルサイズと、の割合に基づいて、該オブジェクト画像が登録済みであるか否かを判定してもよい。また、オブジェクト符号化を用いた動画像については、オブジェクトを識別するためのオブジェクト信号が取得されるため、オブジェクトの一致の判断は容易である。
【００３６】
ステップＳ３０１において、抽出されたオブジェクトがオブジェクト分類情報テーブルに登録されていないと判断された場合、ステップＳ３０２において、該オブジェクトの情報を、オブジェクト分類情報テーブルに新規オブジェクト分類情報として登録する。
【００３７】
ここで図６に、オブジェクト分類情報テーブルの構成例を示す。同図に示すように本実施形態のオブジェクト分類情報テーブルは、オブジェクト分類を識別するためのオブジェクト分類番号９０１を有する。そしてさらに、オブジェクトが描画開始されたフレーム番号を示す描画開始フレーム番号９０２、およびオブジェクトが描画終了したフレーム番号を示す描画終了フレーム番号９０３、を有する。
【００３８】
オブジェクト分類情報テーブルに対してオブジェクト分類情報を新規登録する場合、オブジェクト分類番号９０１の最大値に１を加えて、新たなオブジェクト分類番号９０１を登録する。そして、描画開始フレーム番号９０２、及び描画終了フレーム番号９０３の両方に対して、注目フレーム番号を登録する。そして、登録したオブジェクト分類情報を示すアドレスを、図４に示すオブジェクト情報テーブルのオブジェクト分類情報アドレス情報５０２に格納する。
【００３９】
一方、ステップＳ３０１においてオブジェクト分類情報が登録済みと判断された場合にはステップＳ３０３に進み、登録されていたオブジェクト分類情報を更新する。すなわち、そのオブジェクト分類情報の描画終了フレーム番号９０３に１を加える。そしてさらに、既に登録されていたオブジェクト分類情報のアドレスを、図４に示すオブジェクト情報テーブルのオブジェクト分類情報アドレス情報５０２に格納する。
【００４０】
ステップＳ３０２における新規登録処理、またはステップＳ３０３における更新処理を終了した後、ステップＳ３０４において、フレーム内の全てのオブジェクト画像に対し、オブジェクト情報を生成したか否かを判定する。全ての作成が終了している場合は、オブジェクト情報生成処理を終了するが、作成していない場合は、ステップＳ３０１に戻って次のオブジェクト情報を生成する。
【００４１】
ステップＳ２０４のオブジェクト情報生成処理ではすなわち、図４に示すオブジェクト情報テーブルに対し、オブジェクト分類情報アドレス情報５０２を格納する。
【００４２】
●注目フレームローパス画像生成処理（Ｓ２０５）
図７は、ステップＳ２０５における注目フレームローパス画像生成処理の流れを示すフローチャートである。まず、注目フレーム画像に対するフレームローパス画像Ａを生成、保存する（Ｓ６０１）。このフレームローパス画像Ａは、上記非特許文献１に記載された技術と同様に、ＸＹＺ画像として扱われるため、ここでは注目フレーム画像をＸＹＺ画像に変換し、注目フレーム画像にガウシアンフィルタ等のローパスフィルタを適用して生成される。作成されたフレームローパス画像Ａは、ＲＯＭ７０２やＲＡＭ７０３、または外部記憶装置７０５に格納され、そのアドレスが、図３に示すフレーム画像情報テーブルのフレームローパス画像アドレス情報４０５に格納される。
【００４３】
次に、後述するフレームローパス画像の生成対象となる開始フレーム・終了フレームのフレーム連番を取得する（Ｓ６０２）。本実施形態では、上記非特許文献１に記載された技術と同様に、注目フレームとその１０秒前のフレームまでの処理期間内に存在するフレーム画像に対してフレームローパス画像を生成する。したがって、ローパス画像生成対象の開始フレーム連番に、注目フレームから−１０ｓｅｃにあたるフレームのフレーム連番を設定する。また、ローパス画像生成対象の終了フレーム連番に、注目フレームのフレーム連番を設定する。ここで、−１０ｓｅｃの時間情報は、図４に示すフレーム画像情報テーブルの時間情報４０２に基づいて算出する。このとき、−１０ｓｅｃちょうどに相当するフレームがない場合は、−１０ｓｅｃに最も近いフレームを代わりに用いれば良い。
【００４４】
そして、ローパス画像生成カウンタｉに、ステップＳ６０２で設定したローパス画像生成対象の開始フレーム連番を設定する（Ｓ６０３）。
【００４５】
そしてステップＳ６０４〜Ｓ６１１において、１フレーム画像に対するフレームローパス画像の生成を行う。以下、この１フレーム画像に対する処理について説明する。
【００４６】
まず、図３に示すフレーム画像情報テーブルに基づいて、注目フレーム画像のフレームローパス画像Ａを取得する（Ｓ６０４）。次に、ｉフレーム画像の順応時間（フレーム順応時間）を取得する（Ｓ６０５）。具体的には、注目フレーム画像からｉフレーム画像までの各フレームにおける時間情報を加算することにより、ｉフレーム画像の順応時間を取得することができる。
【００４７】
以上のようにステップＳ６０５におけるフレーム順応時間取得処理が終了すると、次にステップＳ６０６において、フレーム順応時間を適用したフレームローパス画像Ｂを作成する。すなわち、ステップＳ６０４で作成したフレームローパス画像Ａに対し、フレーム順応特徴量である順応の重みＡＷを乗じる。このＡＷは、上記(1)式に対してステップＳ６０５で取得したフレーム順応時間を適用することによって算出できる。これにより、フレーム順応時間適用後のフレームローパス画像Ｂが作成される。
【００４８】
次に、ステップＳ６０７〜Ｓ６１１において、フレーム画像内のオブジェクトに対し、オブジェクトごとの時間的特徴量を反映したオブジェクトローパス画像の生成を行う。
【００４９】
まず、図４に示すオブジェクト情報テーブルから、１フレーム画像内の１オブジェクト情報を取得する（Ｓ６０７）。そして、対応する注目フラグ５０４を判定し（Ｓ６０８）、該フラグがfalseの場合、オブジェクトローパス画像を生成せずに、次のオブジェクト情報へ移行するか否かの判定処理（Ｓ６１２）に移行する。
【００５０】
一方、注目フラグがtrueの場合は、フレームローパス画像生成対象フレーム画像について、当該オブジェクト画像の描画開始フレームから対象フレームすなわちｉフレームまでの期間における、オブジェクトの順応時間を求める（Ｓ６０９）。すなわち、図６に示すオブジェクト分類情報テーブルを参照して、当該オブジェクト画像の描画開始フレーム番号９０２および描画終了フレーム番号９０３に基づき、時間情報の加算対象となるフレームを制限する。これにより、当該オブジェクトが描画されている期間のみを正しく反映することができる。
【００５１】
以上のようにステップＳ６０９におけるオブジェクト順応時間取得処理が終了すると、次にステップＳ６１０において、オブジェクト順応時間を適用したオブジェクトローパス画像生成処理を行う。すなわち、ステップＳ６０６で作成したフレームローパス画像Ｂにおいて、オブジェクト画像位置情報５０３から求められるオブジェクト領域に対し、オブジェクト順応特徴量である順応の重みＡＷを乗じる。このＡＷは、上記(1)式に対してステップＳ６０９で取得したオブジェクト順応時間を適用することによって算出できる。これにより、オブジェクト順応時間適用後のオブジェクトローパス画像が作成される。このオブジェクトローパス画像はすなわち、フレームローパス画像Ｂに対してオブジェクト画像領域が更新されたものである。
【００５２】
そして、フレーム内の全てのオブジェクトに対し、それぞれのオブジェクト順応時間を適用しオブジェクトローパス画像を生成したか否か、すなわち、フレームローパス画像Ｂに対し、全てのオブジェクト画像領域が更新されたか否かを判定する（Ｓ６１１）。全てのオブジェクトに対する処理が終了した場合にはステップＳ６１２に移行するが、未終了であればステップＳ６０７に戻る。
【００５３】
１フレーム画像に対するフレームローパス画像の生成が終了すると、ステップＳ６１２において、注目フレーム画像のフレームローパス画像を生成するための対象フレームの全てについて、フレームローパス画像Ｂを生成したか否か判断する。すなわち、注目フレーム画像の１０秒前からの全てのフレーム画像について、フレームローパス画像Ｂが生成されたか否かを判断する。具体的には、カウンタｉがローパス画像生成対象の終了フレーム（すなわち注目フレーム）連番にあたるか否かを判定すれば良い。全ての対象フレームについての処理が終了していた場合はステップＳ６１４に移行してローパス画像合成処理を行う。すなわち、作成した全てのフレームローパス画像Ｂを合成することによって、注目フレーム画像に対して実際に適用される適用ローパス画像を生成する。一方、ローパス画像の作成が終了していない対象フレームがある場合は、ステップＳ６１３でｉに１を加算した後、ステップＳ６０４に戻る。
【００５４】
●再生画像生成処理（Ｓ２０６）
図８は、ステップＳ２０６における再生画像生成処理の流れを示すフローチャートである。ここでは、上記非特許文献１と同様にｉＣＡＭのフレームワークを利用する例を示す。
【００５５】
まず、注目フレーム画像（ＸＹＺ画像）及びステップＳ２０５で生成したフレームローパス画像に対し、以下の(2)，(3)式に基づいて色順応変換処理を行う（Ｓ１００１）。
【００５６】
【００５７】
(2)式により変換された注目フレーム画像の各画素をＲ，Ｇ，Ｂとし、同じく(2)式により変換されたローパス画像の各画素をＲｗ，Ｇｗ，Ｂｗとすると、色順応後のＲＧＢ値（Ｒｃ，Ｇｃ，Ｂｃ）は、以下の(4)〜(6)式から算出される。
【００５８】
【００５９】
ここで、Ｄはデバイス白色への順応度合いを表すパラメータであり、０（順応なし）〜１（完全順応）の値をとる。
【００６０】
次に、観察条件係数ＦＬを画素ごとに算出する（Ｓ１００２）。ここで観察条件ＦＬは、フレームローパス画像のＹ値（ＹＡ）から作成されるＹローパス画像（絶対輝度画像）に基づき、以下の(7)式により算出される。
【００６１】
【００６２】
次に、ステップＳ１００１で変換された順応後のＲＧＢ値（Ｒｃ，Ｇｃ，Ｂｃ）をＩＰＴ空間に変換する（Ｓ１００３）。ここでＩＰＴ空間とは、Ｉが明暗の度合い、Ｐが赤−緑の色合い、Ｔが黄−青の色合い、をそれぞれ表す直方色空間である。以下、このＩＰＴ空間への変換処理について具体的に説明する。
【００６３】
まず、順応後のＲｃ，Ｇｃ，Ｂｃを、以下に示す(8)〜(10)式にしたがって、錐体応答空間ＬＭＳに変換する。
【００６４】
【００６５】
そして次に、以下に示す(11)〜(13)式に従って錐体応答の非線形圧縮を適用するが、その際に、(7)式で算出したＦＬ値を利用する。
【００６６】
【００６７】
その後、下記の(14)，(15)式を利用して、ＩＰＴ空間への変換を行う。
【００６８】
【００６９】
以上のようにＩＰＴ空間への変換が終了すると、次に、ＩＰＴ空間上の色を動画像を表示するモニタのＲＧＢ空間に逆変換する（Ｓ１００４）。ＩＰＴからモニタＲＧＢへの変換は、まずＩＰＴ値から順応ＲＧＢ値への逆変換を行い、それをモニタの観察環境に応じたＸＹＺ値に変換し、さらにモニタの特性に基づいてモニタＲＧＢ値に変換することによって、行われる。
【００７０】
●注目オブジェクトを考慮した画像再生
ここで図９に、本実施形態において注目オブジェクトに対する時間的視覚特性が反映されて再生される様子を示す。上述した従来例を示した図１２においては、全てのフレーム画像に対して一様にローパス画像が生成され、すなわち一様な時間的視覚特性が反映されていた。しかしながら図９によれば、フレーム内の注目オブジェクトである車Ａと車Ｂのオブジェクトに対し、フレーム時間に応じたローパスフィルタ処理を行ってフレームごとのローパス画像を作成する。そして、(1)式の重み付けに基づいて複数フレームのローパス画像を合成することで、注目フレームに対するローパス画像が生成されている。図９によればすなわち、注目オブジェクトに対して背景オブジェクトとは異なる時間的視覚特性が反映されており、注目オブジェクトを考慮した再生が可能となることが分かる。
【００７１】
以上説明した様に本実施形態によれば、被写体オブジェクトごとに時間的視覚特性を適用することが可能となる。したがって、特に注目すべきオブジェクトに対して適切な時間的視覚特性を適用して再生を行うことが可能になり、観察者にとって違和感のない見えをが実現される。
【００７２】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態では、フレーム画像そのものを記憶手段に保持しておき、フレーム画像内におけるオブジェクト画像を取得するために、図４に示すオブジェクト画像位置情報５０３を利用する例を示した。第２実施形態では、フレーム画像とは別に、オブジェクト画像を保持することを特徴とする。
【００７３】
図１０に、第２実施形態におけるフレーム画像情報テーブルの例を示す。上述した第１実施形態で図３に示したフレーム画像情報テーブルとの違いは、フレームローパス画像（図３ではフレームローパス画像アドレス情報４０５）を保持しない点である。
【００７４】
また図１１に、第２実施形態におけるオブジェクト情報テーブルの例を示す。第２実施形態においては、背景画像を含めた全てのオブジェクトについて、図１１に示すオブジェクト情報テーブルに、オブジェクト画像及びオブジェクトローパス画像の情報を保持していることを特徴とする。
【００７５】
第２実施形態における動画像再生処理は、基本的に上述した第１実施形態とほぼ同様であり、オブジェクト画像およびそのローパス画像へのアクセス方法が異なる。そのために、例えば被写体オブジェクト抽出処理において、抽出されたオブジェクト画像をＲＯＭ７０２、ＲＡＭ７０３または外部記憶装置７０５に保持し、該オブジェクト画像のアドレスをオブジェクト画像データアドレス情報１２０３に格納する。そしてさらに、該オブジェクト画像のサイズをオブジェクト画像データサイズ情報１２０４に格納する。
【００７６】
また、第２実施形態ではさらに、オブジェクトごとにオブジェクトローパス画像を保持する。したがって、オブジェクトに対して作成されたオブジェクトローパス画像を、ＲＯＭ７０２、ＲＡＭ７０３または外部記憶装置７０５に保持し、該ローパス画像のアドレスをオブジェクトローパス画像アドレス情報１２０７に格納する。そして、該ローパス画像のサイズをオブジェクトローパス画像サイズ情報１２０８に格納する。
【００７７】
なお、図１１に示すオブジェクト情報テーブルにおけるオブジェクト画像位置情報１２０５には、当該オブジェクトの全領域における画素の座標を保持する必要はなく、例えば左上の開始座標のみを保持すればよい。
【００７８】
以上説明した様に第２実施形態によれば、第２実施形態では、オブジェクト画像をフレーム画像とは独立して保持しておくことによっても、上述した第１実施形態と同様に、オブジェクトごとに時間的視覚特性を適用することが可能となる。また、オブジェクトデータへのアクセスが容易となるため、全体としての処理速度が向上する。
【００７９】
＜他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００８０】
尚本発明は、前述した実施形態の機能を実現するソフトウェアプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図に示したフローチャートに対応したプログラムである。
【００８１】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００８２】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【００８３】
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などである。
【００８４】
プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【００８５】
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。
【００８６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００８７】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。
【図面の簡単な説明】
【００８８】
【図１】本発明に係る一実施形態に係る画像処理装置のブロック構成例を示す図である。
【図２】本実施形態における動画像再生処理を示すフローチャートである。
【図３】本実施形態におけるフレーム画像情報テーブルの構成例を示す図である。
【図４】本実施形態におけるオブジェクト情報テーブルの構成例を示す図である。
【図５】本実施形態におけるオブジェクト情報生成処理を示すフローチャートである。
【図６】本実施形態におけるオブジェクト分類情報テーブルの構成例を示す図である。
【図７】本実施形態における注目フレームローパス画像生成処理を示すフローチャートである。
【図８】本実施形態における再生画像生成処理を示すフローチャートである。
【図９】本実施形態のアピアランス処理において注目オブジェクトに対する時間的視覚特性が考慮される様子を示す模式図である。
【図１０】第２実施形態におけるフレーム画像情報テーブルの構成例を示す図である。
【図１１】第２実施形態におけるオブジェクト情報テーブルの構成例を示す図である。
【図１２】従来のアピアランス処理において時間的視覚特性が一様に考慮される様子を示す模式図である。
【特許請求の範囲】
【請求項１】
人間の空間的視覚特性及び時間的視覚特性を反映させるように、時分割された複数のフレーム画像からなる動画像を再生する画像処理装置であって、
前記複数のフレーム画像内の注目フレーム画像からオブジェクト画像を抽出するオブジェクト抽出手段と、
前記注目フレームまでの予め定められた処理期間内において、前記抽出したオブジェクト画像ごとのオブジェクト順応時間を取得するオブジェクト順応時間取得手段と、
前記オブジェクト画像ごとに、前記オブジェクト順応時間に基づいてオブジェクト順応特徴量を算出するオブジェクト順応特徴量の算出手段と、
前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト順応特徴量に基づく色変換を行う色変換手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記注目フレーム画像に対し、前記処理期間内におけるフレーム順応時間を取得するフレーム順応時間取得手段と、
前記注目フレーム画像に対し、前記フレーム順応時間に基づいてフレーム順応特徴量を算出するフレーム順応特徴量の算出手段と、をさらに有し、
前記色変換手段は、前記注目フレーム画像に対し、前記フレーム順応特徴量と、前記オブジェクト画像ごとの前記オブジェクト順応特徴量と、に基づく色変換を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記注目フレーム画像に対し、前記フレーム順応特徴量に基づいてフレームローパス画像を生成するフレームローパス画像生成手段と、
前記注目フレームにおける前記オブジェクト画像ごとに、前記オブジェクト順応特徴量に基づいてオブジェクトローパス画像を生成して前記フレームローパス画像に合成するオブジェクトローパス画像生成手段と、をさらに有し、
前記色変換手段は、前記オブジェクトローパス画像が合成されたフレームローパス画像に基づいて、カラーアピアランスモデルによる色順応変換を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記処理期間内における複数のフレーム画像についての、前記オブジェクトローパス画像が合成されたフレームローパス画像を合成して適用ローパス画像を生成するローパス画像合成手段と、をさらに有し、
前記色変換手段は、前記適用ローパス画像に基づいて、カラーアピアランスモデルによる色順応変換を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記オブジェクトローパス画像生成手段は、前記注目フレームにおける前記オブジェクト画像のうち、前記オブジェクトローパス画像の生成を指示するフラグが設定されているオブジェクト画像について、前記オブジェクトローパス画像を生成することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記オブジェクト順応特徴量および前記フレーム順応特徴量は、人間の時間的視覚特性を反映した順応の重みを示すことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記オブジェクト順応時間取得手段は、前記処理期間内における複数のフレーム間における時間間隔の情報に基づいて、前記オブジェクト順応時間を取得することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
人間の空間的視覚特性及び時間的視覚特性を反映させるように、時分割された複数のフレーム画像からなる動画像を再生する画像処理方法であって、
オブジェクト抽出手段が、前記複数のフレーム画像内の注目フレーム画像からオブジェクト画像を抽出するオブジェクト抽出ステップと、
オブジェクト順応時間取得手段が、前記注目フレームまでの予め定められた処理期間内において、前記抽出したオブジェクト画像ごとのオブジェクト順応時間を取得するオブジェクト順応時間取得ステップと、
オブジェクト順応特徴量の算出手段が、前記オブジェクト画像ごとに、前記オブジェクト順応時間に基づいてオブジェクト順応特徴量を算出するオブジェクト順応特徴量の算出ステップと、
色変換手段が、前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト順応特徴量に基づく色変換を行う色変換ステップと、
を有することを特徴とする画像処理方法。
【請求項９】
コンピュータで実行されることにより、該コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
【請求項１】
人間の空間的視覚特性及び時間的視覚特性を反映させるように、時分割された複数のフレーム画像からなる動画像を再生する画像処理装置であって、
前記複数のフレーム画像内の注目フレーム画像からオブジェクト画像を抽出するオブジェクト抽出手段と、
前記注目フレームまでの予め定められた処理期間内において、前記抽出したオブジェクト画像ごとのオブジェクト順応時間を取得するオブジェクト順応時間取得手段と、
前記オブジェクト画像ごとに、前記オブジェクト順応時間に基づいてオブジェクト順応特徴量を算出するオブジェクト順応特徴量の算出手段と、
前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト順応特徴量に基づく色変換を行う色変換手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記注目フレーム画像に対し、前記処理期間内におけるフレーム順応時間を取得するフレーム順応時間取得手段と、
前記注目フレーム画像に対し、前記フレーム順応時間に基づいてフレーム順応特徴量を算出するフレーム順応特徴量の算出手段と、をさらに有し、
前記色変換手段は、前記注目フレーム画像に対し、前記フレーム順応特徴量と、前記オブジェクト画像ごとの前記オブジェクト順応特徴量と、に基づく色変換を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記注目フレーム画像に対し、前記フレーム順応特徴量に基づいてフレームローパス画像を生成するフレームローパス画像生成手段と、
前記注目フレームにおける前記オブジェクト画像ごとに、前記オブジェクト順応特徴量に基づいてオブジェクトローパス画像を生成して前記フレームローパス画像に合成するオブジェクトローパス画像生成手段と、をさらに有し、
前記色変換手段は、前記オブジェクトローパス画像が合成されたフレームローパス画像に基づいて、カラーアピアランスモデルによる色順応変換を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記処理期間内における複数のフレーム画像についての、前記オブジェクトローパス画像が合成されたフレームローパス画像を合成して適用ローパス画像を生成するローパス画像合成手段と、をさらに有し、
前記色変換手段は、前記適用ローパス画像に基づいて、カラーアピアランスモデルによる色順応変換を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記オブジェクトローパス画像生成手段は、前記注目フレームにおける前記オブジェクト画像のうち、前記オブジェクトローパス画像の生成を指示するフラグが設定されているオブジェクト画像について、前記オブジェクトローパス画像を生成することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記オブジェクト順応特徴量および前記フレーム順応特徴量は、人間の時間的視覚特性を反映した順応の重みを示すことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記オブジェクト順応時間取得手段は、前記処理期間内における複数のフレーム間における時間間隔の情報に基づいて、前記オブジェクト順応時間を取得することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
人間の空間的視覚特性及び時間的視覚特性を反映させるように、時分割された複数のフレーム画像からなる動画像を再生する画像処理方法であって、
オブジェクト抽出手段が、前記複数のフレーム画像内の注目フレーム画像からオブジェクト画像を抽出するオブジェクト抽出ステップと、
オブジェクト順応時間取得手段が、前記注目フレームまでの予め定められた処理期間内において、前記抽出したオブジェクト画像ごとのオブジェクト順応時間を取得するオブジェクト順応時間取得ステップと、
オブジェクト順応特徴量の算出手段が、前記オブジェクト画像ごとに、前記オブジェクト順応時間に基づいてオブジェクト順応特徴量を算出するオブジェクト順応特徴量の算出ステップと、
色変換手段が、前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト順応特徴量に基づく色変換を行う色変換ステップと、
を有することを特徴とする画像処理方法。
【請求項９】
コンピュータで実行されることにより、該コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１３５６０１（Ｐ２００９−１３５６０１Ａ）
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願番号】特願２００７−３０７８９２（Ｐ２００７−３０７８９２）
【出願日】平成１９年１１月２８日（２００７．１１．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願日】平成１９年１１月２８日（２００７．１１．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]