画像処理装置およびその方法
【課題】動画像データのフレーム画像を色調整する際の処理負荷を軽減する。
【解決手段】他のフレームを参照しない色調整フレームの場合、色調整フレーム画像全体から輝度成分を抽出して輝度成分画像および低周波輝度成分画像を作成し、輝度成分画像および低周波輝度成分画像を用いて色調整フレーム画像を色調整する。一方、他のフレームを参照する場合、色調整フレーム画像の変化領域を検出し、変化領域の輝度成分を色調整フレーム画像から抽出し、参照フレーム画像の輝度成分と合成して色調整フレームの輝度成分画像を生成し、更新画像領域の低周波輝度成分を輝度成分画像から抽出し、参照フレーム画像の低周波輝度成分と合成して色調整フレームの低周波輝度成分画像を生成し、色調整フレーム画像を色調整する。
【解決手段】他のフレームを参照しない色調整フレームの場合、色調整フレーム画像全体から輝度成分を抽出して輝度成分画像および低周波輝度成分画像を作成し、輝度成分画像および低周波輝度成分画像を用いて色調整フレーム画像を色調整する。一方、他のフレームを参照する場合、色調整フレーム画像の変化領域を検出し、変化領域の輝度成分を色調整フレーム画像から抽出し、参照フレーム画像の輝度成分と合成して色調整フレームの輝度成分画像を生成し、更新画像領域の低周波輝度成分を輝度成分画像から抽出し、参照フレーム画像の低周波輝度成分と合成して色調整フレームの低周波輝度成分画像を生成し、色調整フレーム画像を色調整する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置およびその方法に関し、例えば、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理に関する。
【背景技術】
【０００２】
適正な明るさの写真を撮影する方法として、撮影するシーンの平均的な輝度を測定し、カメラのシャッタ速度、絞り値などを制御する方式が知られている。また、シーンを所定の領域に分割して領域ごとに測定した輝度に重み付けし、平均的な輝度を求めて適正露出を得ようとするいわゆる評価測光方式による露出制御方式が知られている。
【０００３】
しかし、背景に比べて被写体が著しく暗い、いわゆる逆光シーンにおいて撮影した画像は、どうしても被写体が暗くなる。このような逆光シーンにおいて適切な明るさの写真を撮影するには、撮影前に、明るめに撮影するようにカメラの露出を設定（露出補正）しておく必要がある。しかし、露出補正は、操作が煩わしいばかりではなく熟練を要する。また、被写体に対して適切に露出を設定したとしても、逆に、背景が明るくなりすぎてしまうこともある。
【０００４】
適切に画像の明るさを決定するのが困難な逆光シーンなどにおいて、適切な明るさの画像を得るアナログ写真技術として、暗室内で行う、いわゆる覆い焼きがある。覆い焼きを行うことで適切な明るさの写真を得ることができる。
【０００５】
覆い焼きをディジタル画像処理において実現する方法として、例えば、IEEE TRANSACTIONS IMAGE PROCESSING, VOL. 6, NO. 7, JULY 1997に「A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes」と題するJobsonらの報告がある。これは、ディジタル画像を対数変換した成分と、その対数変換成分の低周波成分の差分処理を行うことによって、ディジタル画像の低周波領域における明るい成分を暗く、低周波領域における暗い成分を明るく処理することで、画像の改善を行おうとするものである。
【０００６】
また、acm Transactions on Graphics, JULY 2002, Vol. 21, No. 3における「Photographic Tone Reproduction for Digital Images」と題するReinhardらの報告においても、ディジタル画像の輝度成分と、その低周波成分を用いることで、ディジタル画像処理において覆い焼きのような効果を得る方法が提案されている。
【０００７】
勿論、露出補正は、静止画に限るものではなく、動画撮影においても同様に要求される。動画像は、時間軸方向に連続した一連の静止画像の集合とみなすことができるので、上記のような画像補正を動画像にも容易に適用することができる。
【０００８】
しかし、一般に、ディジタル動画像データの再生処理は処理コストが高く、再生装置に高い処理能力を要求する。加えて、覆い焼きのような効果が得られる画像処理を実現するには、低周波成分の抽出処理処理などを動画像の再生処理に追加する必要があり、より高い処理コスト、より高い処理能力が要求される。勿論、これらの要求は装置の高価格化にもつながる。
【０００９】
近年、パーソナルコンピュータ(PC)上で稼働するアプリケーションソフトウェアにより、ディジタル動画像データを再生することが可能であるが、PCのCPU (Central Processing Unit)またはGPU (Graphical Processing Unit)には高い処理能力が要求される。処理能力が不足する場合は、処理が間に合わず、動画像の再生時に未再生のフレームが発生する、いわゆるコマ落ちが発生する。
【００１０】
このような画像処理に関する公知の技術として、特許第03233114号公報に記載された装置があるが、同装置は動画像に対して上記のような処理を適用するものであって、ディジタル動画像データの処理負荷を軽減するものではない。
【００１１】
また、ディジタル動画像データの処理負荷を軽減という観点では、特開2002-77723号公報に記載された、符号化の際の差分画像に基づきシーンチェンジを検出し、シーンチェンジの際に予測画像を用いて補正方法を決定し、決定した補正方法を次のシーンチェンジまで適用する技術がある。しかし、この技術は、覆い焼きのような効果を得る画像処理には適用することができない。
【００１２】
【非特許文献１】Jobson他「A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes」IEEE TRANSACTIONS IMAGE PROCESSING, VOL. 6, NO. 7, JULY 1997
【非特許文献２】Reinhard他「Photographic Tone Reproduction for Digital Images」acm Transactions on Graphics, JULY 2002, Vol. 21, No. 3
【特許文献１】特許第03233114号公報
【特許文献２】特開2002-77723号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は、動画像データのフレーム画像を色調整する際の処理負荷を軽減することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１５】
本発明にかかる画像処理方法は、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理方法であって、フレーム画像の輝度成分を抽出する第一の抽出ステップと、前記輝度成分から低周波輝度成分を抽出する第二の抽出ステップと、前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出ステップと、前記検出ステップで検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定ステップと、前記検出ステップで検出した変化領域の輝度成分を、前記対象フレームの画像から抽出し、前記第一の抽出ステップで抽出した、前記参照フレームの画像の輝度成分と合成して前記対象フレームの輝度成分画像を生成する第一の生成ステップと、前記決定ステップで決定した更新画像領域の低周波輝度成分を、前記第一の生成ステップで生成した輝度成分画像から抽出し、前記第二の抽出ステップで抽出した、前記参照フレームの画像の低周波輝度成分と合成して前記対象フレームの低周波輝度成分画像を生成する第二の生成ステップと、前記対象フレームが他のフレームを参照するか否かを判定する判定ステップと、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出ステップで抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像に前記色調整を施す第一の調整ステップと、前記対象フレームが他のフレームを参照する場合は、前記第一および第二の生成ステップで生成した輝度成分画像および低周波輝度成分画像を用いて、前記対象フレームの画像に前記色調整を施す第二の調整ステップとを有することを特徴とする。
【００１６】
また、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理方法であって、フレーム画像の輝度成分を抽出する第一の抽出ステップと、前記輝度成分から低周波輝度成分を抽出する第二の抽出ステップと、前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出ステップと、前記検出ステップで検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定ステップと、前記検出ステップで検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出ステップと、前記決定ステップで決定した更新画像領域の低周波輝度成分を、前記第三の抽出ステップで抽出した輝度成分から抽出する第四の抽出ステップと、前記対象フレームが他のフレームを参照するか否かを判定する判定ステップと、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出ステップで抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像を色調整する第一の調整ステップと、前記対象フレームが他のフレームを参照する場合は、前記対象フレームの画像の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出ステップで抽出した輝度成分および低周波輝度成分を用いて色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出ステップで抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて色調整後の画素値を計算して、前記対象フレームの画像を色調整する第二の調整ステップとを有することを特徴とする。
【００１７】
また、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理方法であって、フレーム画像の輝度成分を抽出する第一の抽出ステップと、前記輝度成分から低周波輝度成分を抽出する第二の抽出ステップと、前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出ステップと、前記検出ステップで検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定ステップと、前記検出ステップで検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出ステップと、前記決定ステップで決定した更新画像領域の低周波輝度成分を、前記第三の抽出ステップで抽出した輝度成分から抽出する第四の抽出ステップと、前記対象フレームが他のフレームを参照するか否かを判定する判定ステップと、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出ステップで抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像に前記色調整を施す第一の調整ステップと、前記対象フレームが他のフレームを参照する場合は、前記対象フレームの前記更新画像領域の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出ステップで抽出した輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出ステップで抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算する第二の調整ステップと、前記対象フレームが他のフレームを参照する場合は、前記第二の調整ステップで得られる前記更新画像領域の色調整後の画像を、メモリに格納した前記参照フレームの色調整後の画像に合成して、前記対象フレームの色調整後の画像を生成する生成ステップとを有することを特徴とする。
【００１８】
本発明にかかる画像処理装置は、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理装置であって、フレーム画像の輝度成分を抽出する第一の抽出手段と、前記輝度成分から低周波輝度成分を抽出する第二の抽出手段と、前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出手段と、前記検出手段により検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定手段と、前記検出手段により検出した変化領域の輝度成分を、前記対象フレームの画像から抽出し、前記第一の抽出手段により抽出した、前記参照フレームの画像の輝度成分と合成して前記対象フレームの輝度成分画像を生成する第一の生成手段と、前記決定手段により決定した更新画像領域の低周波輝度成分を、前記第一の生成手段により生成した輝度成分画像から抽出し、前記第二の抽出手段により抽出した、前記参照フレームの画像の低周波輝度成分と合成して前記対象フレームの低周波輝度成分画像を生成する第二の生成手段と、前記対象フレームが他のフレームを参照するか否かを判定する判定手段と、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像に前記色調整を施す第一の調整手段と、前記対象フレームが他のフレームを参照する場合は、前記第一および第二の生成手段により生成した輝度成分画像および低周波輝度成分画像を用いて、前記対象フレームの画像に前記色調整を施す第二の調整手段とを有することを特徴とする。
【００１９】
また、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理装置であって、フレーム画像の輝度成分を抽出する第一の抽出手段と、前記輝度成分から低周波輝度成分を抽出する第二の抽出手段と、前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出手段と、前記検出手段により検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定手段と、前記検出手段により検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出手段と、前記決定手段で決定した更新画像領域の低周波輝度成分を、前記第三の抽出手段により抽出した輝度成分から抽出する第四の抽出手段と、前記対象フレームが他のフレームを参照するか否かを判定する判定手段と、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記色調整の対象フレームの画像に前記色調整を施す第一の調整手段と、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像を色調整する第一の調整手段と、前記対象フレームが他のフレームを参照する場合は、前記対象フレームの画像の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出手段により抽出した輝度成分および低周波輝度成分を用いて色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出手段により抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて色調整後の画素値を計算して、前記対象フレームの画像を色調整する第二の調整手段とを有することを特徴とする。
【００２０】
また、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理装置であって、フレーム画像の輝度成分を抽出する第一の抽出手段と、前記輝度成分から低周波輝度成分を抽出する第二の抽出手段と、前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出手段と、前記検出手段により検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定手段と、前記検出手段により検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出手段と、前記決定手段で決定した更新画像領域の低周波輝度成分を、前記第三の抽出手段により抽出した輝度成分から抽出する第四の抽出手段と、前記対象フレームが他のフレームを参照するか否かを判定する判定手段と、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記色調整の対象フレームの画像に前記色調整を施す第一の調整手段と、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像を色調整する第一の調整手段と、前記対象フレームが他のフレームを参照する場合は、前記対象フレームの前記更新画像領域の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出手段により抽出した輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出抽出手段により抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算する第二の調整手段と、前記対象フレームが他のフレームを参照する場合は、前記第二の調整手段により得られる前記更新画像領域の色調整後の画像を、メモリに格納した前記参照フレームの色調整後の画像に合成して、前記対象フレームの色調整後の画像を生成する生成手段とを有することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、動画像データのフレーム画像を色調整する際の処理負荷を軽減することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。
【実施例１】
【００２３】
［装置の構成］
図1は画像処理装置の構成例を示すブロック図である。
【００２４】
CPU 104は、RAM 106をワークメモリとしてROM 105に格納されたプログラムを実行し、システムバス108を介して後述する各構成を制御して、後述する画像処理などを実現する。また、後述する画像処理などに必要なプログラムおよびデータは、データ保存部102またはROM 105に格納されているが、それらは一旦、RAM 106に読み込まれ実行される。
【００２５】
入力部101は、キーボードやポインティングデバイスを操作するユーザから指示やデータを入力する。ポインティングデバイスとしては、マウス、トラックボール、トラックパッド、タブレットなどが挙げられる。また、本実施例をディジタルカメラに適用した場合は、ディジタルカメラの操作部に備わるボタンやモードダイヤルなどが入力部101に相当する。勿論、ソフトウェアにより後述する表示部103にキーボード（いわゆるソフトウェアキーボード）を表示し、ボタンやモードダイヤル、あるいは、先に挙げたポインティングデバイスを操作して文字を入力するものでもよい。
【００２６】
データ保存部102は、動画像データなどを保持するメモリで、通常はハードディスク、CD-ROM、CD-R、DVD、メモリカード、USBメモリなどのリムーバブルな記憶メディアが好ましい。データ保存部102には、画像データのほかに、プログラムやその他のデータを保存することも可能である。
【００２７】
通信部107は、機器間の通信を行うためのインタフェイスで、例えば、有線または無線ネットワークインタフェイス、USB (Universal Serial Bus)やIEEE1394などのシリアルバスインタフェイス、赤外線通信(IrDA)インタフェイスなどである。勿論、電話回線などを利用する通信でもよく、その場合はMODEMを備える。
【００２８】
表示部103は、画像処理前後の動画像を表示したり、ユーザインタフェイスなどの画像を表示し、一般にCRTや液晶ディスプレイなどを用いる。勿論、表示部103にビデオインタフェイスを備え、ケーブルを介して外部のディスプレイに動画像やユーザインタフェイスを表示してもよい。
【００２９】
なお、図1には入力部101、データ保存部102、表示部103がすべて一つの装置内に含まれる構成例を示したが、これらが公知の通信方式による通信路で接続されており、全体として図1に示す構成になればよい。
【００３０】
また、実施例1の画像処理装置は、フレーム間変化情報をもつ所定の形式に従う動画像データがデータ保存部102に格納されている場合に好適に動作する。しかし、通信部107を介して外部から動画像データを受信し、受信した動画像データをデータ保存部102またはRAM 106に保存して後述する画像処理を行うこともできる。その際、動画像データをすべて受信してから処理を行ってもよいし、動画像データの受信に並行して受信済みの動画像データを処理を行ってもよい。さらに、後述する中間的な画像（輝度成分画像）などを格納するのに充分な記憶容量をRAM 106に確保することができれば、データ保存部102を省略することができる。
【００３１】
あるいは、フレーム間変異検知処理のプログラムをCPU 104に実行させ、フレーム間の変化情報を生成すれば、CCDなどを有する画像入力装置から受信した動画像データを画像処理することができる。フレーム間変異検知処理には、例えば公知の動きベクトル生成処理を用いればよい。
【００３２】
［色調整処理］
まず、CPU 104が実行する、静止画または動画のフレームに施す色調整処理を説明し、動画像の色調整処理については後述する。
【００３３】
図2は色調整処理を説明するフローチャートで、この色調整処理の概要は次のとおりである。例えばデータ保存部102から画像を入力し(S201)、入力画像の輝度分布を調べて輝度画像を生成し(S202)、輝度画像に二次元的なフィルタ処理を施して低周波成分を抽出し、低周波成分の輝度画像（以下、低周波輝度画像と呼ぶ）を生成する(S203)。輝度画像および低周波輝度画像の生成は複数の解像度で行い、複数の解像度における輝度画像および低周波輝度画像を参照して、原画像を色調整し(S204)、色調整後の画像を出力する(S205)。
【００３４】
入力画像の輝度成分の抽出(S202)は、例えば、入力画像がIEC61966-2-1に記載されているsRGB色空間で表現されている場合、IEC61966-2-1に記載されている方法に従い、ガンマ変換と3×3のマトリクス演算により、CIE1931 XYZ色空間の画像に変換する。位置(x, y)の画素値R(x, y)、 G(x, y)、 B(x, y)を変換した場合のデータをX(x, y)、Y(x, y)、Z(x, y)とすると、Y(x, y)が抽出する輝度成分、X(x, y)およびZ(x, y)は色成分である。この輝度抽出をハードウェアで構成する場合は、例えば、ルックアップテーブルを用いるテーブル参照回路（ガンマ変換部）およびマトリクス演算回路によって構成する。
【００３５】
輝度成分の抽出方法としては、前述の処理を簡略化し、ガンマ変換を省略してマトリクス演算のみで抽出するようにしてもよい。また、CIE1931 XYZの代りに下記の色空間を用いて、対応する色空間変換を用いてもよい。
───┬────┬──────
色空間│輝度成分│ 色成分
───┼────┼──────
YCbCr │ Y値 │CbおよびCr値
L*a*b*│ L*値 │a*およびb*値
HSV │ V値 │ HおよびS値
HSL │ L値 │ HおよびS値
───┴────┴──────
【００３６】
色空間変換は規格などで規定されたものを用いるのが好ましいが、近似計算を用いてもよい。一例をあげると、RGBからYCbCr色空間のY値への規定された変換は式(1)の変換式で表される。
Y = 0.299R + 0.587G + 0.114B …(1)
【００３７】
これに対して、式(2)に示す近似式を用いてもよい。
Y = (3R + 6G + B)/10 …(2)
【００３８】
さらには、輝度成分の近似値としてRGB信号値のG値を用いたり、RGB各成分の平均値や最大値を輝度値として用いてもよい。
【００３９】
また、実施例1では、入力画像がsRGB色空間で表されるとして説明するが、sRGB以外のRGB色空間（例えばAdobeRGB、RIMM/ROMM RGB色空間など）でも、各色空間の定義に応じてCIE1931 XYZ（あるいは先に挙げた他の色空間）へ変換すればよい。
【００４０】
また、色空間の変換は、各色空間の定義や変換式に従い変換してもよいし、ICCプロファイルなどを用いて変換してもよい。これは、入力画像が機器に依存するRGB値（デバイスRGB値）で単純な変換式で変換できない場合に、特に有効である。
【００４１】
また、入力画像はRGBではなく例えばsYCCで表現されている場合も、sYCCからCIE1931 XYZ（あるいは先に挙げた他の色空間）への変換式、もしくは、ICCプロファイルなどによる変換を行えばよい。ただし、原画像がsYCCで表現され、輝度成分としてYCbCrのYを用いる、というように、元々の色空間と輝度成分の色空間が一致する場合は、単に、原画像のY値を取り出せばよく、色空間の変換処理は不要である。
【００４２】
次に、低周波輝度成分の抽出処理(S203)は、公知のローパスフィルタ処理を用いることにより実現する。
【００４３】
色調整処理(S204)の一例である前述した非特許文献1に基づく方法によれば、輝度成分とスケール変換した輝度成分の分布それぞれを対数変換し、その差分を出力する。さらに、異なる尺度（異なる解像度）での差分出力の重み付き平均を、改善された輝度成分とする。しかし、この方法は、画像に応じて改善の度合いを調整できないので、スケール変換した輝度成分の対数変換出力に係数を乗ずるようにする。この係数が改善の度合いを調整するパラメータである。
【００４４】
以上説明した処理に基づく、改善された輝度成分は式(3)に示すようになる。
Y'(x, y) = ΣnWn{γ0・logY(x, y) - γ1log[Fn(x, y)*Y(x, y)]} …(3)
ここで、Y'(x, y)は座標値が(x, y)の改善された輝度成分
Fn(x, y)は座標 (x, y)におけるガウシアン関数
Wnは尺度間の重み
nは尺度を表すパラメータ
γ0は改善の度合いを表すパラメータ0
γ1は改善の度合いを表すパラメータ1
*は積和演算
【００４５】
なお、尺度間の重みWnは、尺度の標準偏差を調整することで省略可能（単純な平均に置き換わる）であること、また、式(3)のように対数変換された値を出力するよりも逆変換（exp演算）により元の輝度単位に戻した方が、改善された画像データの画質として好ましいことが分かっている。従って、式(4)に示す出力を改善された輝度成分にすることが、より好ましい。
Y'(x, y) = exp{γ0・logY(x, y) - γ1・Ave[log(Fn(x, y)*Y(x, y))]} …(4)
ここで、Avgは平均値演算
【００４６】
また、式(4)の代わりに式(5)を利用してもよい。
Y'(x, y) = Y(x, y)γ0/{Ave[Fn(x, y)*Y(x, y)]}γ1 …(5)
【００４７】
なお、複数尺度でのスケール変換出力の平均値演算を低周波輝度成分の抽出処理(S203)で行い、複数尺度でのスケール変換出力の平均値をスケール変換された輝度成分の分布としてもよい。
【００４８】
あるいは、式(4)や(5)に類似した効果を得るものとして、式(6)を用いてもよい。
Y'(x, y) = Avg[Y(x, y)γ0/{Fn(x, y)*Y(x, y)}γ1] …(6)
【００４９】
この改善された輝度成分への変換をハードウェアで実現する場合は、例えば、平均値演算回路、ルックアップテーブルを作成する回路、テーブル記憶部、テーブル参照回路（ガンマ変換部）、除算回路によって構成する。なお、平均値演算回路は低周波輝度成分の抽出を実現する部分に設けてもよい。
【００５０】
さらに、色調整処理(S204)において、処理後の画像データの色ができるだけ変化しないように、改善された輝度成分への変換に従い色成分を修正する。好ましくは、例えば色成分X(x, y)、Z(x, y)それぞれに輝度成分の変換前後の比Y'(x, y)/Y(x, y)（以下、調整比率と呼ぶ）を乗算するが、式(5)もしくは(6)によりY(x, y)のみY'(x, y)に変換し、色成分X(x, y)、Z(x, y)に対して変換を行わないような、処理の簡略化は容易である。
【００５１】
そして、変換後のXYZデータの色空間を変換してsRGBデータを求める。この処理はステップS202における色空間変換の逆変換である。従って、3×3のマトリクス演算および逆ガンマ変換を行い、sRGB各8ビットの画像を出力する(S205)。この画像データの再構成をハードウェアで実現する場合は、例えば、乗算および除算回路、マトリクス演算回路、ルックアップテーブルによるテーブル参照回路（逆ガンマ変換部）によって構成する。
【００５２】
あるいは、上記の方法により調整比率Y'(x, y)/Y(x, y)を算出し、それを入力画像のsRGBそれぞれに乗算してもよい。
【００５３】
図3は色調整処理と各データの関係を概念的に示す図である。
【００５４】
sRGBの入力画像401から輝度成分画像402を抽出し、さらに、ローパスフィルタ処理により低周波輝度成分画像403に変換する。そして、入力画像401の画素411に対応する、低周波輝度成分画像403の画素のY値と色調整パラメータ405（γ0、γ1などに相当する）から改善された輝度値Y'を計算する。さらに、入力画像401の画素411に対応する、輝度成分画像402の画素412の輝度値Yとの比である調整比率Y'/Yを計算し、調整比率Y'/Yを画素411のsRGB値それぞれに乗算するなどして、sRGBの出力画像404の画素414の画素値を求める。なお、画素412は式(4)〜(6)におけるY(x,y)に対応し、画素413は式(4)〜(6)におけるFn(x, y)*Y(x,y)に対応する。
【００５５】
また、色調整パラメータ405は、画像処理システムに応じた予め定めておき、それを適用すればよい。あるいは、色調整パラメータを何通りか用意しておき、それらパラメータをユーザが選択的に設定すればよい。その場合、色調整パラメータの違いをユーザが認識し易い形態、例えば「強」「中」「弱」などとして表示部103に表示することが好ましい。勿論、表示部103にリストボックス、テキストボックス、スライダ、ボタンなどのGUIを表示して、ユーザが入力部101を操作して値を選択または入力してもよい。
【００５６】
また、図3には入力画像401、輝度成分画像402、低周波輝度成分画像403が同じ大きさであるように示すが、これら画像間で大きさが一致しなくてもよい。つまり、輝度成分の抽出および/または低周波輝度成分の抽出においてサンプリングを行ってもよく、その場合、輝度成分画像402、低周波輝度成分画像403を公知の変倍処理により入力画像401と同じ大きさに変倍し、上記の処理を行えばよい。また、輝度成分画像402は、輝度低周波成分画像403を生成するための中間的な画像データとし、色調整時には、あらためて入力画像401から輝度成分を抽出するようにしてもよい。
【００５７】
［動画像］
図4は変位情報をもつ動画像の一例として、MPEG動画像圧縮方式を説明する図である。
【００５８】
MPEG符号化において符号化される各フレームは、図4に示すように、Iピクチャ、Pピクチャ、Bピクチャと呼ばれる三種類のピクチャタイプに分類される。
【００５９】
Iピクチャフレームはフレーム内符号化を行い、他のフレームの情報を参照せずに単独で符号化/復号することができるが、符号量は大きくなる。Pピクチャフレームは、一または複数フレーム分、時間的に前のIピクチャフレームまたはPピクチャフレームとの、動き補償予測した差分を符号化する、いわゆるフレーム間予測符号化を行うフレームで、Iピクチャに比べて符号量が小さい。Bピクチャフレームは、時間的に前だけでなく、時間的に後のIピクチャフレームまたはPピクチャフレームからも予測を行う、双方向フレーム間予測符号化を行うフレームで、Pピクチャよりもさらに符号量が小さくなる。
【００６０】
符号化効率を高めるにはPおよびBピクチャを多用すればよいが、サーチなどの特殊再生や編集、エラー時の復帰を考慮して、例えば図6に示すように、適当な間隔でIピクチャを挿入して符号化する。なお、図4に示すように、Iピクチャを含む複数フレームの単位をGOP (Group of Picture)と呼ぶ。また、図4に示す矢印はフレームの参照関係を示す。
【００６１】
MPEGの復号における参照すべきPおよびIピクチャフレームは、現在復号中のBピクチャに対して、時間的に前のIまたはPピクチャが1フレーム、時間的に後のIまたはPピクチャが1フレームあればよいことがわかる。つまり、時間的に前のIまたはPピクチャ、時間的に後のIまたはPピクチャの復号結果のフレーム画像をそれぞれFrame(T0)、Frame(T1)と呼ぶと下記の関係が得られる。
・現在の復号対象がIピクチャフレーム
Frame(T1)を破棄し、現在のフレームの復号結果を新たなFrame(T1)にする、
また、Frame(T0)は廃棄可能
・現在の復号対象がPピクチャフレーム
Frame(T0)を破棄し、現在のFrame(T1)を新たなFrame(T0)にする、
さらに、現在のフレームの復号結果を新たなFrame(T1)にする
【００６２】
実施例1では、動画像の再生において、フレーム画像を復号するとともに、フレーム画像の色調整処理を行うために、各フレーム画像の輝度成分画像、低周波輝度成分画像を生成するが、その生成および破棄は、以上説明したフレーム画像の復号（生成）および破棄と同時に行う。つまり、動画像データの符号化方式に応じて、フレーム画像の復号（生成）処理を行った後もしくは並行して輝度成分画像を生成し、低周波輝度成分画像を生成して、フレーム画像の破棄に続いてもしくは並行して対応する輝度成分画像および低周波輝度成分画像を破棄する。
【００６３】
なお、符号化されていない動画像データの場合は、そのフレーム画像の格納形態に応じて、フレーム画像を取り出した後もしくは並行して輝度成分画像を生成し、低周波輝度成分画像を生成して、フレーム画像の破棄に続いてもしくは並行して対応する輝度成分画像および低周波輝度成分画像を破棄することになる。また、外部から通信部107を介して動画像データを受信する場合、上記の復号（生成）または取り出しには、必要に応じて、フレーム画像の要求や受信が含まれる。
【００６４】
［更新処理］
図5はフレーム画像間に参照関係がある場合の、輝度成分画像および低周波輝度成分画像の更新処理を説明する図で、フレーム画像と色調整処理が用いる画像データの関係を示している。
【００６５】
参照フレーム画像501は、色調整対象のフレーム画像（以下、色調整フレーム画像と呼ぶ）511が参照するフレーム画像で、MPEG方式の場合はIピクチャフレームもしくはPピクチャフレームの画像である。色調整フレーム画像511は、現在色調整の対象のフレーム画像で、PピクチャフレームもしくはBピクチャフレームを復号した画像である。
【００６６】
参照フレームの輝度成分画像502は、参照フレーム画像501から輝度成分を抽出した画像である。参照フレームの低周波輝度成分画像503は、参照フレームの輝度成分画像502をローパスフィルタ処理して得たものである。また、色調整フレームの輝度成分画像512は、色調整フレーム画像511から輝度成分を抽出した画像である。色調整フレームの低周波輝度成分画像513は、色調整フレームの輝度成分画像512をローパスフィルタ処理して得たものである。
【００６７】
今、色調整フレーム画像511内のある画像領域532が、参照フレーム画像501内の画像領域531を参照しているとする。なお、説明の簡単のために、色調整フレーム画像511の、画像領域532以外の部分については、参照フレーム画像501の同位置の画素と同じで、位置的な変化、画素値の変化はないものとする。
【００６８】
また、参照フレームの輝度成分画像502内の画像領域534、色調整フレームの輝度成分画像512内の画像領域536は、画像領域532と位置的に対応し、参照フレームの輝度成分画像502内の画像領域533は、画像領域531と位置的に対応する。また、色調整フレームの低周波輝度成分画像513内の画像領域541は、画像領域536と位置的に対応し、参照フレームの低周波輝度成分画像503内の画像領域539は、画像領域534と位置的に対応する。
【００６９】
一方、色調整フレームの低周波輝度成分画像513内の画像領域540は、低周波輝度成分の抽出において、画像領域536の画素の輝度値の影響を受ける領域であり、参照フレームの低周波輝度成分画像503内の画像領域538は、画像領域540と位置的に対応する。また、色調整フレームの輝度成分画像512内の画像領域537は、画像領域540の低周波成分の抽出の際に参照される領域であり、参照フレームの輝度成分画像502内の画像領域535は、画像領域537と位置的に対応する。
【００７０】
図6は、図5に示す画像領域をより詳細に説明するための図で、同図の最も小さな四角形の並びは画素を表す。
【００７１】
今、画像に対して3×3のフィルタ処理を行うとすると、画素711の処理は、画像領域702の画素を参照して行われる。この時、画像領域701の中の画素としては、画素712が参照される。言い換えれば、画素711のフィルタ処理結果は画素712に依存する。同様にして、画像領域701の周囲で、フィルタ処理の結果が画像領域701内の画素に依存するのは画像領域703であることがわかる。言い換えれば、画像領域701内の画素の値が変化した場合、画像領域703内の画素の値を更新しなければならない。また、フィルタの形状が決まり、画像領域701の形状が決まれば、画像領域703も一意に決定する。
【００７２】
さらに、画像領域704は、画像領域703内の画素のフィルタ処理の際に参照される画像領域を示し、画像領域703と同様に、フィルタの形状が決まり、画像領域703の形状が決定した時点で一意に決定する。
【００７３】
なお、フィルタの形状は3×3の矩形に限らず、他の形状・サイズで構わない。例えば、フィルタの形状が縦横で同じ大きさでなければならない理由はないし、また、縦もしくは横の大きさが奇数でなければならない理由もない。勿論、フィルタが矩形でなければならない理由もなく、任意の形状・サイズで構わない。
【００７４】
図5の説明に戻ると、画像領域532が画像領域531を参照し、色調整フレーム画像511のうち画像領域532以外の部分については、参照フレーム画像501の同位置の画素と同じで、位置的な変化、画素値の変化がない場合、色調整フレームの輝度画像512のうち画像領域536以外の部分については参照フレームの輝度画像502の同位置の画素値を参照（または複写）し、画像領域536については画像領域532から輝度成分を抽出すればよい。
【００７５】
また、色調整フレームの低周波輝度成分画像513については、画像領域540以外の部分については、参照フレームの低周波輝度成分画像503の同位置の画素値を参照（または複写）し、画像領域540については、更新後の色調整フレームの輝度画像512の画像領域537から低周波輝度成分を抽出すればよい。
【００７６】
なお、以上では、色調整フレーム画像が参照するフレーム画像が一つの場合を説明したが、MPEGのBピクチャフレームのように複数のフレーム画像を参照する場合も、上記の更新処理を適用可能である。
【００７７】
［動画像の色調整処理］
図2を参照して、CPU 104が実行する動画像の色調整処理の概要を説明する。以下では、入力画像および色調整後の出力画像はsRGB色空間で規定され、輝度と色味についてはsRGBを変換したsYCC色空間で規定するとして説明を行う。また、色調整に用いる低周波輝度成分画像は一種類であるとして説明を行う。
【００７８】
色調整の対象になる動画像はRAM 106やデータ保存部102に格納されている。CPU 104は、RAM 106および/またはデータ保存部102に格納されている動画像の一覧を表示部103に表示し、ユーザは入力部101を操作して色調整する動画像を指定する。あるいは、通信部107を介して外部の装置と通信し、動画像を受け取るようにしてもよい。この場合、動画像の受信をトリガとして以下の処理を実行するようにすればよい。
【００７９】
まず、指定された動画像または受信した動画像を、そのフォーマットに従い、RAM 106またはデータ保存部102に読み込む(S201)。その際、CPU 104は、JPEGやMPEGのような符号化が施されている場合、それを復号する。
【００８０】
次に、動画像の各画素の輝度成分を抽出し、輝度成分画像を生成する(S202)。実施例1の場合、画像の画素値はsRGB色空間で規定され、輝度についてはsYCC色空間で規定するので、式(1)を用いて輝度成分を算出する。ここで作成した輝度成分画像は、RAM 106やデータ保存部102に格納する。なお、前述したように、入力画像と輝度成分画像の大きさが一致する必要はないので、輝度成分の抽出処理において、サンプリング処理、最近傍法などの縮小処理を施してもよい。
【００８１】
次に、輝度成分画像にローパスフィルタ処理を施して低周波輝度成分を抽出し、低周波輝度成分画像を生成する(S203)。
【００８２】
次に、入力画像の画素値、輝度成分画像、低周波輝度成分画像を用いて、式(4)〜(6)の何れかの演算を行い改善された輝度値Y'および調整比率Y'/Yを求め、色調整を行う(S204)。その際に必要になる色調整パラメータ（γ00、γ1）は予め定めておく。勿論、ステップS201〜S204の処理の途中に、ユーザが色調整パラメータを指定または入力するステップを設けてもよい。あるいは、画像データの特徴量から色調整パラメータを決定してもよい。
【００８３】
次に、色調整を行った結果生成される動画像を出力する(S205)。動画像の出力は、色調整結果の動画像をRAM 106やデータ保存部102に所定の動画像フォーマットで格納する、表示部103に表示する、または、通信部107を介して外部の装置に送信する、など様々な形態がある。
【００８４】
図7はCPU 104が実行する動画像の色調整処理の詳細を示すフローチャートである。図7において、図2と同様の処理には同一符号を付して、その詳細説明を省略する場合がある。以下では、フレーム間の変化情報をもつ動画像データとしてMPEGデータを説明する。
【００８５】
以下に説明する処理に先行して、ステップS201でMPEGデータを復号する処理が行われ、色調整フレーム画像（PもしくはBピクチャフレーム）と、参照フレーム画像（IもしくはPピクチャフレーム）がある場合にはその参照フレーム画像がそれぞれ復号され、RAM 106またはデータ保存部102に格納される。
【００８６】
なお、以下では、色調整フレームの輝度成分画像、色調整フレームの低周波輝度成分画像、参照フレームの輝度成分画像、参照フレームの低周波輝度成分画像の生成を説明し、これらの画像の廃棄についてはとくに説明しない。これらの画像は、前述したように、対応するフレーム画像の廃棄とともに廃棄される。
【００８７】
まず、他のフレームを参照する色調整フレームか否かを判定する(S301)。MPEGデータの場合は、色調整フレームのピクチャタイプを判定し、Iピクチャであれば他のフレームを参照しない、PもしくはBピクチャであれば他のフレームを参照すると判定すればよい。なお、ピクチャタイプの判定は、MPEG規格に従いMPEGデータを調べればよいが、好ましくは、色調整処理に先行する復号処理時の判定結果をフレーム単位にRAM 106に格納し、RAM 106に格納した判定結果を参照する。
【００８８】
他のフレームを参照しない色調整フレームの場合は、ステップS202と同様に、色調整フレーム画像全体から輝度成分を抽出し、色調整フレームの輝度成分画像を作成して、RAM 106またはデータ保存部102に保持する(S307)。続いて、ステップS203と同様に、色調整フレームの輝度成分画像から低周波輝度成分を抽出し、色調整フレームの低周波輝度成分画像を作成して、RAM 106またはデータ保存部102に保持する(S308)。続いて、ステップS204と同様に、色調整フレームの輝度成分画像および低周波輝度成分画像を用いて、色調整フレーム画像を色調整する(S306)。
【００８９】
一方、他のフレームを参照する色調整フレームの場合は、色調整フレーム画像と参照フレーム画像の間の変化情報を参照して、色調整フレーム画像の変化がある画像領域（以下、変化領域と呼ぶ）を検出する(S302)。MPEGデータの場合は、変化情報として動きベクトルを参照して変化領域を検出すればよい。つまり、MPEGデータの場合は、色調整フレーム画像はブロック状に分割され、各ブロックに対して動きベクトルが付与されているので、この動きベクトルを調べ、参照フレーム画像の当該ブロックに対して位置、画素値ともに全く変化がないブロックは動きなしと判定し、そうでなければ動きありと判定する。あるいは、動きベクトルの位置、画素値の変化分に許容量を示す閾値を定め、変化分が閾値以下の場合は動きなし、閾値より大きい場合は動きありと判定してもよい。なお、各ブロックの動きベクトルやその変化情報は、MPEG規格に従いMPEGデータを調べればよいが、好ましくは、復号処理時にこれらの情報をフレーム単位にRAM 106に格納し、RAM 106に格納した情報を参照して、動きを判定する。
【００９０】
次に、更新が必要な画像領域（以下、更新画像領域と呼ぶ）を決定する(S303)。これは、図5における画像領域541から低周波輝度成分画像513の更新すべき画像領域540を決定する処理である。これら領域の決定方式については図6を用いて説明したので、詳細は省略するが、ステップS302で検出した変化があるブロックごとに更新画像領域を決定する。
【００９１】
次に、変化領域の輝度成分を抽出する(S304)。これは、図5における画像領域536の輝度値を算出する処理である。画像領域536の輝度成分は、RAM 106またはデータ保存部102に保存されている色調整フレーム画像511の画像領域532を参照して算出する。なお、ステップS304の処理は、図2に示すステップS202の処理と、入力が変化領域（部分画像）である点のみが異なり、画像領域532を入力としてステップS202と同様の処理を行い、画像領域536の輝度画像（部分輝度画像）を得る。この処理において、RAM 106またはデータ保存部102に色調整フレームの輝度成分画像を格納する領域を確保する。また、色調整フレームの輝度成分画像の変化がない画像領域、すなわち図5に示す輝度成分画像512のうち、変化領域536以外の画像領域は、参照フレームの輝度成分画像502の対応する輝度画素値を複写し、変化領域536はステップS304で作成した輝度成分の画素値を記録して保持する。
【００９２】
次に、ステップS303で決定した更新画像領域の低周波輝度成分を抽出する(S305)。これは、図5における画像領域540の低周波輝度成分の画素値を算出する処理である。画像領域540の低周波輝度成分は、RAM 106またはデータ保存部102に保存されているステップS304で作成した色調整フレーム画像512の画像領域537を参照して算出する。なお、ステップS305の処理は、図2に示すステップS203の処理と、入力が色調整フレーム画像の輝度成分画像の部分画像である点のみが異なり、画像領域537を入力としてステップS203と同様の処理を行い、画像領域540の低周波輝度成分画像を得る。この処理において、RAM 106またはデータ保存部102に色調整フレームの低周波輝度成分画像を格納する領域を確保する。また、色調整フレームの低周波輝度成分画像の更新が不要な画像領域、すなわち図5に示す低周波輝度成分画像513のうち、更新画像領域540以外の画像領域は、参照フレームの低周波輝度成分画像503の対応する低周波輝度画素値を複写し、更新画像領域540はステップS305で作成した低周波輝度成分の画素値を記録して保持する。
【００９３】
つまり、ステップS304では、変化領域の輝度成分を色調整フレーム画像から抽出し、参照フレーム画像の輝度成分と合成して色調整フレームの輝度成分画像を生成する。そして、ステップS305では、更新画像領域の低周波輝度成分をステップS304で生成した輝度成分画像から抽出し、参照フレーム画像の低周波輝度成分と合成して色調整フレームの低周波輝度成分画像を生成する。このようにして得られた色調整フレームの輝度成分画像および低周波輝度成分画像を用いて、ステップS204と同様に、色調整フレーム画像を色調整する(S306)。
【００９４】
このように、輝度成分と低周波輝度成分を用いて動画像を色調整する際、更新が必要な部分（変化領域および更新画像領域）についてのみ輝度成分と低周波輝度成分を抽出して、色調整の処理負荷を軽減することができる。とくに、監視カメラの動画像など、比較的の変化が少ない動画像を色調整する場合に、効果的に処理負荷を軽減することができる。
【実施例２】
【００９５】
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００９６】
実施例1においては、他フレームを参照する色調整フレームか否かのみを判定し、処理を第一の処理(S307-S308)と、第二の処理(S302-S305)に振り分ける例を説明したが、フレーム間の変化が多い場合などは、色調整フレーム画像全体を処理する第一の処理に比べて、変化領域のみを処理する第二の処理の処理負荷の方が大きくなる場合がある。そこで、他フレームを参照する色調整フレームの場合は、さらに判定処理を追加して、その判定結果に応じて第一の処理または第二の処理に振り分ける実施例2を説明する。
【００９７】
図8は実施例2の動画像の色調整処理を示すフローチャートである。図8において、図2、図7と同様の処理には同一符号を付して、その詳細説明を省略する。以下では、フレーム間の変化情報をもつ動画像データとしてMPEGデータを説明する。
【００９８】
図8に示すように、ステップS302の変化領域の検出に続いて、変化領域が少ないか否かを判定し(S310)、変化領域が少ない場合は第二の処理を行い、変化領域が多い場合は第一の処理を行う。
【００９９】
MPEGデータの場合、変化領域が少ないか否かは、変化情報である動きベクトルが固定サイズの画像ブロック単位であるから、変化があるブロックの数を調べ所定の閾値と比較する。あるいは、変化がある画素数を取得して、変化がある画素が所定数未満のブロックを変化がないブロックとしてもよい。
【０１００】
そして、各ブロックの動きベクトルを調べ、位置や向きが変化しているか、あるいは、位置的な変化がなくてもブロック差分情報に変化があるか否かを判定してブロックの変化を検知し、変化を検知したブロックの数を計数する。各ブロックの動きベクトルやその変化情報は、MPEG規格に従いMPEGデータを調べればよいが、好ましくは、復号処理時に、これらの情報をRAM 106に格納し、RAM 106に格納した情報を参照する。
【０１０１】
なお、上記に閾値は、実験的に決定しROM 105やデータ保存部102に保存しておけばよいが、ユーザが当該閾値を指定することもできる。その場合、図8に示す処理に先行して、例えば表示部103にリストボックス、テキストボックス、スライダ、ボタンなどのGUIを表示し、ユーザが入力部101を操作して閾値を選択または入力するようにする。勿論、図8に示す処理とは非同期に、ユーザの閾値指定を受け付けるようにし、ステップS801の判定の際にRAM 106などからユーザの指定値を読み込んでもよい。
【０１０２】
ステップS801の判定は、部分画像を処理する簡易さ、つまり第二の処理の後段(S303-S306)の処理負荷が大きいか否かを判定する処理で、処理負荷が小さいと判定した場合のみ第二の処理の後段を行う。従って、上記の判定方法に限らず、第二の処理の後段の処理負荷を見積もり、判定するのであれば、他の方法でも構わない。
【０１０３】
このように、他のフレームを参照する色調整フレームか否かの判定に加え、変化領域が多いか少ないかを判定して、色調整フレーム画像を第一の処理と第二の処理に振り分けるので、実施例1に比べて、さらに効率的に処理負荷を軽減することができる。
【実施例３】
【０１０４】
以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１０５】
図9は実施例3の動画像の色調整処理を示すフローチャートである。図9において、図2、図7、図8と同様の処理には同一符号を付して、その詳細説明を省略する。以下では、フレーム間の変化情報をもつ動画像データとしてMPEGデータを説明する。
【０１０６】
他のフレームを参照しない色調整フレームの場合は、ステップS204と同様に、色調整フレームの輝度成分画像および低周波輝度成分画像を用いて、色調整フレーム画像を色調整する(S320)。これを第一の色調整処理と呼ぶ。
【０１０７】
一方、他のフレームを参照する色調整フレームの場合は、参照フレームの輝度成分画像および低周波輝度成分画像、または、ステップS303で作成した部分輝度成分画像およびステップS304で作成した部分低周波輝度成分画像を参照して、色調整フレーム画像を色調整する(S321)。これを第二の色調整処理と呼ぶ。
【０１０８】
図10は第二の色調整処理を説明するフローチャートである。
【０１０９】
まず、画像の先頭の画素を色調整する画素（以下、注目画素と呼ぶ）に初期化し(S901)、注目画素がステップS302で検出した変化領域の内か外かを判定する(S902)。これは、図5に示す画像領域535または537の中か外かを判定することに相当し、注目画素の座標と、ステップS302で検出した変化領域を示す座標値を比較すればよい。
【０１１０】
注目画素が変化領域内にある場合は、部分輝度成分画像から注目画素の位置に対応する輝度成分の画素値を読み出す(S903)。一方、注目画素が変化領域外にある場合は、参照フレームの輝度成分画像から注目画素の位置に対応する輝度成分の画素値を読み出す(S904)。
【０１１１】
次に、注目画素がステップS303で決定した更新が必要な領域の内か外かを判定する(S905)。これは、図5に示す画像領域538または540の中か外かを判定することに相当し、注目画素の座標と、ステップS303で決定した更新が必要な領域を示す座標値を比較すればよい。
【０１１２】
注目画素が更新が必要な領域内にある場合は、部分低周波輝度成分画像から注目画素の位置に対応する低周波輝度成分の画素値を読み出す(S906)。一方、注目画素が更新が必要な領域外にある場合は、参照フレームの低周波輝度成分画像から注目画素の位置に対応する低周波輝度成分の画素値を読み出す(S907)。
【０１１３】
そして、輝度成分の画素値および低周波輝度成分の画素値を用いて、式(4)〜(6)の何れかにより、注目画素の画素値を色調整し(S908)、すべての画素の処理が終了した否かを判定する(S909)。未了の画素がある場合は、注目画素を次の画素に移動し(S910)、処理をステップS902に戻して、すべての画素の処理が終了するまでステップS902〜S910を繰り返す。
【０１１４】
上記では、領域の座標値と注目画素の座標からステップS902、S905の内外判定を行う例を説明したが、図11に示す領域判定マップ1001をステップS302、S303の処理と並行して作成し、領域判定マップ1001を参照して判定してもよい。
【０１１５】
図11に示す領域判定マップ1001に符号1002で示すのは更新が必要な領域、符号1003で示すのは変化領域に対応し、例えば、変化領域1003の各画素には値「2」を、更新が必要な領域1002のうち変化領域1003を除外した領域の各画素には値「1」を、その他の各画素には値「0」を記録し、ステップS902では注目画素の位置に対応する、領域判定マップ1001の画素値が「2」であれば変化領域内、そうでなければ変化領域外と判定する。また、ステップS905では注目画素の位置に対応する、領域判定マップ1001の画素値が「0」であれば更新が必要な領域外、そうでなければ更新が必要な領域内と判定する。勿論、変化領域に関する領域マップと更新が必要な領域に関する領域マップを別々に作成してもよい。
【０１１６】
このように、輝度成分と低周波輝度成分を用いて動画像を色調整する際、更新が必要な部分（変化領域および更新画像領域）についてのみ輝度成分と低周波輝度成分を抽出して、色調整の処理負荷を軽減することができる。
【０１１７】
また、図12に示すように、図10に示す処理に実施例2（図8）の変化領域が多いか少ないかの判定を加えて、色調整フレーム画像を第一の処理と第二の処理に振り分ければ、図10に示す処理に比べて、さらに効率的に処理負荷を軽減することができる。
【実施例４】
【０１１８】
以下、本発明にかかる実施例4の画像処理を説明する。なお、実施例4において、実施例1-3と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１１９】
図13は実施例4の動画像の色調整処理を示すフローチャートである。図13において、図2、図7、図9と同様の処理には同一符号を付して、その詳細説明を省略する。以下では、フレーム間の変化情報をもつ動画像データとしてMPEGデータを説明する。
【０１２０】
他のフレームを参照しない色調整フレームの場合は、ステップS204と同様に、色調整フレームの輝度成分画像および低周波輝度成分画像を用いて、色調整フレーム画像に第一の色調整処理を施す(S320)。
【０１２１】
一方、他のフレームを参照する色調整フレームの場合は、参照フレームの輝度成分画像および低周波輝度成分画像、または、ステップS303で作成した部分輝度成分画像およびステップS304で作成した部分低周波輝度成分画像を参照して、色調整フレーム画像の更新が必要な領域に第二の色調整処理を施し、色調整済みの部分画像を得る(S330)。そして、色調整済みの部分画像と、参照フレームの色調済みの画像を合成して、色調整フレーム画像の色調整結果にする(S331)。このため、色調整済みのフレーム画像を保存する領域をRAM 106またはデータ保存部102に確保し、参照フレームの色調整済み画像に、更新が必要な領域の色調整済み部分画像を上書きする。
【０１２２】
このように、輝度成分と低周波輝度成分を用いて動画像を色調整する際、更新が必要な部分（変化領域および更新画像領域）についてのみ輝度成分と低周波輝度成分を抽出して、色調整の処理負荷を軽減することができる。
【０１２３】
上記の実施例4では、参照フレームの色調整済み画像を保持しておき、これと第二の色調整処理によって得た色調整済みの部分画像を合成する例を説明したが、参照フレーム画像もしくは色調整フレーム画像の何れかと、参照フレームの輝度成分画像および低周波輝度成分画像を用いて色調整を行い、この色調整結果の画像と、第二の色調整処理によって得られる部分画像を合成するようにしてもよい。こうすれば、参照される可能性があるフレームの色調整済み画像をRAM 106やデータ保存部102に保持する必要がなくなる。つまり、上記の実施例4の処理に比べて、色調整処理を追加する分、処理負荷は増加するが、参照される可能性があるフレームの色調整済み画像を保持する必要がなくなるので、その分、メモリの容量を削減できる利得がある。
【０１２４】
また、図14に示すように、図13に示す処理に実施例2（図8）の変化領域が多いか少ないかの判定を加えて、色調整フレーム画像を第一の処理と第二の処理に振り分ければ、図13に示す処理に比べて、さらに効率的に処理負荷を軽減することができる。
【０１２５】
［変形例］
上記の各実施例では、変化情報をもつ動画像データの一例としてMPEG方式により符号化された動画像データを説明したが、上記の画像処理はフレーム間の変化情報をもつ動画像データであれば他の形式の動画像データにも容易に適用することができる。
【０１２６】
また、上記では、変化領域の輝度画像を得るのに色調整フレーム画像を参照すると説明したが、色調整フレームが参照する参照フレームを参照することもできる。MPEGデータの場合、ブロックの回転や差分の情報をもつので、参照フレーム画像の参照ブロックに回転や差分を施してから参照する。
【０１２７】
また、YCbCrのようにRGBに対して線形変換で得られる色空間の場合は、参照フレームの輝度画像の参照ブロックを用いることも可能である。この場合、輝度画像のブロックの変分は、色空間が線形変換であることから容易に予測可能である。
【０１２８】
［他の実施例］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１２９】
また、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【０１３１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１３２】
【図１】画像処理装置の構成例を示すブロック図
【図２】色調整処理を説明するフローチャート、
【図３】色調整処理と各データの関係を概念的に示す図、
【図４】変位情報をもつ動画像の一例として、MPEG動画像圧縮方式を説明する図、
【図５】フレーム画像間に参照関係がある場合の、輝度成分画像および低周波輝度成分画像の更新処理を説明する図、
【図６】図5に示す画像領域をより詳細に説明するための図、
【図７】動画像の色調整処理の詳細を示すフローチャート、
【図８】実施例2の動画像の色調整処理を示すフローチャート、
【図９】実施例3の動画像の色調整処理を示すフローチャート、
【図１０】図9に示す第二の色調整処理を説明するフローチャート、
【図１１】領域判定マップの一例を示す図、
【図１２】実施例3の動画像の色調整処理の変形例を示すフローチャート、
【図１３】実施例4の動画像の色調整処理を示すフローチャート、
【図１４】実施例4の動画像の色調整処理の変形例を示すフローチャートである。
【技術分野】
【０００１】
本発明は画像処理装置およびその方法に関し、例えば、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理に関する。
【背景技術】
【０００２】
適正な明るさの写真を撮影する方法として、撮影するシーンの平均的な輝度を測定し、カメラのシャッタ速度、絞り値などを制御する方式が知られている。また、シーンを所定の領域に分割して領域ごとに測定した輝度に重み付けし、平均的な輝度を求めて適正露出を得ようとするいわゆる評価測光方式による露出制御方式が知られている。
【０００３】
しかし、背景に比べて被写体が著しく暗い、いわゆる逆光シーンにおいて撮影した画像は、どうしても被写体が暗くなる。このような逆光シーンにおいて適切な明るさの写真を撮影するには、撮影前に、明るめに撮影するようにカメラの露出を設定（露出補正）しておく必要がある。しかし、露出補正は、操作が煩わしいばかりではなく熟練を要する。また、被写体に対して適切に露出を設定したとしても、逆に、背景が明るくなりすぎてしまうこともある。
【０００４】
適切に画像の明るさを決定するのが困難な逆光シーンなどにおいて、適切な明るさの画像を得るアナログ写真技術として、暗室内で行う、いわゆる覆い焼きがある。覆い焼きを行うことで適切な明るさの写真を得ることができる。
【０００５】
覆い焼きをディジタル画像処理において実現する方法として、例えば、IEEE TRANSACTIONS IMAGE PROCESSING, VOL. 6, NO. 7, JULY 1997に「A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes」と題するJobsonらの報告がある。これは、ディジタル画像を対数変換した成分と、その対数変換成分の低周波成分の差分処理を行うことによって、ディジタル画像の低周波領域における明るい成分を暗く、低周波領域における暗い成分を明るく処理することで、画像の改善を行おうとするものである。
【０００６】
また、acm Transactions on Graphics, JULY 2002, Vol. 21, No. 3における「Photographic Tone Reproduction for Digital Images」と題するReinhardらの報告においても、ディジタル画像の輝度成分と、その低周波成分を用いることで、ディジタル画像処理において覆い焼きのような効果を得る方法が提案されている。
【０００７】
勿論、露出補正は、静止画に限るものではなく、動画撮影においても同様に要求される。動画像は、時間軸方向に連続した一連の静止画像の集合とみなすことができるので、上記のような画像補正を動画像にも容易に適用することができる。
【０００８】
しかし、一般に、ディジタル動画像データの再生処理は処理コストが高く、再生装置に高い処理能力を要求する。加えて、覆い焼きのような効果が得られる画像処理を実現するには、低周波成分の抽出処理処理などを動画像の再生処理に追加する必要があり、より高い処理コスト、より高い処理能力が要求される。勿論、これらの要求は装置の高価格化にもつながる。
【０００９】
近年、パーソナルコンピュータ(PC)上で稼働するアプリケーションソフトウェアにより、ディジタル動画像データを再生することが可能であるが、PCのCPU (Central Processing Unit)またはGPU (Graphical Processing Unit)には高い処理能力が要求される。処理能力が不足する場合は、処理が間に合わず、動画像の再生時に未再生のフレームが発生する、いわゆるコマ落ちが発生する。
【００１０】
このような画像処理に関する公知の技術として、特許第03233114号公報に記載された装置があるが、同装置は動画像に対して上記のような処理を適用するものであって、ディジタル動画像データの処理負荷を軽減するものではない。
【００１１】
また、ディジタル動画像データの処理負荷を軽減という観点では、特開2002-77723号公報に記載された、符号化の際の差分画像に基づきシーンチェンジを検出し、シーンチェンジの際に予測画像を用いて補正方法を決定し、決定した補正方法を次のシーンチェンジまで適用する技術がある。しかし、この技術は、覆い焼きのような効果を得る画像処理には適用することができない。
【００１２】
【非特許文献１】Jobson他「A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes」IEEE TRANSACTIONS IMAGE PROCESSING, VOL. 6, NO. 7, JULY 1997
【非特許文献２】Reinhard他「Photographic Tone Reproduction for Digital Images」acm Transactions on Graphics, JULY 2002, Vol. 21, No. 3
【特許文献１】特許第03233114号公報
【特許文献２】特開2002-77723号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は、動画像データのフレーム画像を色調整する際の処理負荷を軽減することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１５】
本発明にかかる画像処理方法は、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理方法であって、フレーム画像の輝度成分を抽出する第一の抽出ステップと、前記輝度成分から低周波輝度成分を抽出する第二の抽出ステップと、前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出ステップと、前記検出ステップで検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定ステップと、前記検出ステップで検出した変化領域の輝度成分を、前記対象フレームの画像から抽出し、前記第一の抽出ステップで抽出した、前記参照フレームの画像の輝度成分と合成して前記対象フレームの輝度成分画像を生成する第一の生成ステップと、前記決定ステップで決定した更新画像領域の低周波輝度成分を、前記第一の生成ステップで生成した輝度成分画像から抽出し、前記第二の抽出ステップで抽出した、前記参照フレームの画像の低周波輝度成分と合成して前記対象フレームの低周波輝度成分画像を生成する第二の生成ステップと、前記対象フレームが他のフレームを参照するか否かを判定する判定ステップと、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出ステップで抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像に前記色調整を施す第一の調整ステップと、前記対象フレームが他のフレームを参照する場合は、前記第一および第二の生成ステップで生成した輝度成分画像および低周波輝度成分画像を用いて、前記対象フレームの画像に前記色調整を施す第二の調整ステップとを有することを特徴とする。
【００１６】
また、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理方法であって、フレーム画像の輝度成分を抽出する第一の抽出ステップと、前記輝度成分から低周波輝度成分を抽出する第二の抽出ステップと、前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出ステップと、前記検出ステップで検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定ステップと、前記検出ステップで検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出ステップと、前記決定ステップで決定した更新画像領域の低周波輝度成分を、前記第三の抽出ステップで抽出した輝度成分から抽出する第四の抽出ステップと、前記対象フレームが他のフレームを参照するか否かを判定する判定ステップと、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出ステップで抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像を色調整する第一の調整ステップと、前記対象フレームが他のフレームを参照する場合は、前記対象フレームの画像の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出ステップで抽出した輝度成分および低周波輝度成分を用いて色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出ステップで抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて色調整後の画素値を計算して、前記対象フレームの画像を色調整する第二の調整ステップとを有することを特徴とする。
【００１７】
また、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理方法であって、フレーム画像の輝度成分を抽出する第一の抽出ステップと、前記輝度成分から低周波輝度成分を抽出する第二の抽出ステップと、前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出ステップと、前記検出ステップで検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定ステップと、前記検出ステップで検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出ステップと、前記決定ステップで決定した更新画像領域の低周波輝度成分を、前記第三の抽出ステップで抽出した輝度成分から抽出する第四の抽出ステップと、前記対象フレームが他のフレームを参照するか否かを判定する判定ステップと、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出ステップで抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像に前記色調整を施す第一の調整ステップと、前記対象フレームが他のフレームを参照する場合は、前記対象フレームの前記更新画像領域の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出ステップで抽出した輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出ステップで抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算する第二の調整ステップと、前記対象フレームが他のフレームを参照する場合は、前記第二の調整ステップで得られる前記更新画像領域の色調整後の画像を、メモリに格納した前記参照フレームの色調整後の画像に合成して、前記対象フレームの色調整後の画像を生成する生成ステップとを有することを特徴とする。
【００１８】
本発明にかかる画像処理装置は、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理装置であって、フレーム画像の輝度成分を抽出する第一の抽出手段と、前記輝度成分から低周波輝度成分を抽出する第二の抽出手段と、前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出手段と、前記検出手段により検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定手段と、前記検出手段により検出した変化領域の輝度成分を、前記対象フレームの画像から抽出し、前記第一の抽出手段により抽出した、前記参照フレームの画像の輝度成分と合成して前記対象フレームの輝度成分画像を生成する第一の生成手段と、前記決定手段により決定した更新画像領域の低周波輝度成分を、前記第一の生成手段により生成した輝度成分画像から抽出し、前記第二の抽出手段により抽出した、前記参照フレームの画像の低周波輝度成分と合成して前記対象フレームの低周波輝度成分画像を生成する第二の生成手段と、前記対象フレームが他のフレームを参照するか否かを判定する判定手段と、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像に前記色調整を施す第一の調整手段と、前記対象フレームが他のフレームを参照する場合は、前記第一および第二の生成手段により生成した輝度成分画像および低周波輝度成分画像を用いて、前記対象フレームの画像に前記色調整を施す第二の調整手段とを有することを特徴とする。
【００１９】
また、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理装置であって、フレーム画像の輝度成分を抽出する第一の抽出手段と、前記輝度成分から低周波輝度成分を抽出する第二の抽出手段と、前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出手段と、前記検出手段により検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定手段と、前記検出手段により検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出手段と、前記決定手段で決定した更新画像領域の低周波輝度成分を、前記第三の抽出手段により抽出した輝度成分から抽出する第四の抽出手段と、前記対象フレームが他のフレームを参照するか否かを判定する判定手段と、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記色調整の対象フレームの画像に前記色調整を施す第一の調整手段と、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像を色調整する第一の調整手段と、前記対象フレームが他のフレームを参照する場合は、前記対象フレームの画像の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出手段により抽出した輝度成分および低周波輝度成分を用いて色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出手段により抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて色調整後の画素値を計算して、前記対象フレームの画像を色調整する第二の調整手段とを有することを特徴とする。
【００２０】
また、フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理装置であって、フレーム画像の輝度成分を抽出する第一の抽出手段と、前記輝度成分から低周波輝度成分を抽出する第二の抽出手段と、前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出手段と、前記検出手段により検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定手段と、前記検出手段により検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出手段と、前記決定手段で決定した更新画像領域の低周波輝度成分を、前記第三の抽出手段により抽出した輝度成分から抽出する第四の抽出手段と、前記対象フレームが他のフレームを参照するか否かを判定する判定手段と、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記色調整の対象フレームの画像に前記色調整を施す第一の調整手段と、前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像を色調整する第一の調整手段と、前記対象フレームが他のフレームを参照する場合は、前記対象フレームの前記更新画像領域の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出手段により抽出した輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出抽出手段により抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算する第二の調整手段と、前記対象フレームが他のフレームを参照する場合は、前記第二の調整手段により得られる前記更新画像領域の色調整後の画像を、メモリに格納した前記参照フレームの色調整後の画像に合成して、前記対象フレームの色調整後の画像を生成する生成手段とを有することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、動画像データのフレーム画像を色調整する際の処理負荷を軽減することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。
【実施例１】
【００２３】
［装置の構成］
図1は画像処理装置の構成例を示すブロック図である。
【００２４】
CPU 104は、RAM 106をワークメモリとしてROM 105に格納されたプログラムを実行し、システムバス108を介して後述する各構成を制御して、後述する画像処理などを実現する。また、後述する画像処理などに必要なプログラムおよびデータは、データ保存部102またはROM 105に格納されているが、それらは一旦、RAM 106に読み込まれ実行される。
【００２５】
入力部101は、キーボードやポインティングデバイスを操作するユーザから指示やデータを入力する。ポインティングデバイスとしては、マウス、トラックボール、トラックパッド、タブレットなどが挙げられる。また、本実施例をディジタルカメラに適用した場合は、ディジタルカメラの操作部に備わるボタンやモードダイヤルなどが入力部101に相当する。勿論、ソフトウェアにより後述する表示部103にキーボード（いわゆるソフトウェアキーボード）を表示し、ボタンやモードダイヤル、あるいは、先に挙げたポインティングデバイスを操作して文字を入力するものでもよい。
【００２６】
データ保存部102は、動画像データなどを保持するメモリで、通常はハードディスク、CD-ROM、CD-R、DVD、メモリカード、USBメモリなどのリムーバブルな記憶メディアが好ましい。データ保存部102には、画像データのほかに、プログラムやその他のデータを保存することも可能である。
【００２７】
通信部107は、機器間の通信を行うためのインタフェイスで、例えば、有線または無線ネットワークインタフェイス、USB (Universal Serial Bus)やIEEE1394などのシリアルバスインタフェイス、赤外線通信(IrDA)インタフェイスなどである。勿論、電話回線などを利用する通信でもよく、その場合はMODEMを備える。
【００２８】
表示部103は、画像処理前後の動画像を表示したり、ユーザインタフェイスなどの画像を表示し、一般にCRTや液晶ディスプレイなどを用いる。勿論、表示部103にビデオインタフェイスを備え、ケーブルを介して外部のディスプレイに動画像やユーザインタフェイスを表示してもよい。
【００２９】
なお、図1には入力部101、データ保存部102、表示部103がすべて一つの装置内に含まれる構成例を示したが、これらが公知の通信方式による通信路で接続されており、全体として図1に示す構成になればよい。
【００３０】
また、実施例1の画像処理装置は、フレーム間変化情報をもつ所定の形式に従う動画像データがデータ保存部102に格納されている場合に好適に動作する。しかし、通信部107を介して外部から動画像データを受信し、受信した動画像データをデータ保存部102またはRAM 106に保存して後述する画像処理を行うこともできる。その際、動画像データをすべて受信してから処理を行ってもよいし、動画像データの受信に並行して受信済みの動画像データを処理を行ってもよい。さらに、後述する中間的な画像（輝度成分画像）などを格納するのに充分な記憶容量をRAM 106に確保することができれば、データ保存部102を省略することができる。
【００３１】
あるいは、フレーム間変異検知処理のプログラムをCPU 104に実行させ、フレーム間の変化情報を生成すれば、CCDなどを有する画像入力装置から受信した動画像データを画像処理することができる。フレーム間変異検知処理には、例えば公知の動きベクトル生成処理を用いればよい。
【００３２】
［色調整処理］
まず、CPU 104が実行する、静止画または動画のフレームに施す色調整処理を説明し、動画像の色調整処理については後述する。
【００３３】
図2は色調整処理を説明するフローチャートで、この色調整処理の概要は次のとおりである。例えばデータ保存部102から画像を入力し(S201)、入力画像の輝度分布を調べて輝度画像を生成し(S202)、輝度画像に二次元的なフィルタ処理を施して低周波成分を抽出し、低周波成分の輝度画像（以下、低周波輝度画像と呼ぶ）を生成する(S203)。輝度画像および低周波輝度画像の生成は複数の解像度で行い、複数の解像度における輝度画像および低周波輝度画像を参照して、原画像を色調整し(S204)、色調整後の画像を出力する(S205)。
【００３４】
入力画像の輝度成分の抽出(S202)は、例えば、入力画像がIEC61966-2-1に記載されているsRGB色空間で表現されている場合、IEC61966-2-1に記載されている方法に従い、ガンマ変換と3×3のマトリクス演算により、CIE1931 XYZ色空間の画像に変換する。位置(x, y)の画素値R(x, y)、 G(x, y)、 B(x, y)を変換した場合のデータをX(x, y)、Y(x, y)、Z(x, y)とすると、Y(x, y)が抽出する輝度成分、X(x, y)およびZ(x, y)は色成分である。この輝度抽出をハードウェアで構成する場合は、例えば、ルックアップテーブルを用いるテーブル参照回路（ガンマ変換部）およびマトリクス演算回路によって構成する。
【００３５】
輝度成分の抽出方法としては、前述の処理を簡略化し、ガンマ変換を省略してマトリクス演算のみで抽出するようにしてもよい。また、CIE1931 XYZの代りに下記の色空間を用いて、対応する色空間変換を用いてもよい。
───┬────┬──────
色空間│輝度成分│ 色成分
───┼────┼──────
YCbCr │ Y値 │CbおよびCr値
L*a*b*│ L*値 │a*およびb*値
HSV │ V値 │ HおよびS値
HSL │ L値 │ HおよびS値
───┴────┴──────
【００３６】
色空間変換は規格などで規定されたものを用いるのが好ましいが、近似計算を用いてもよい。一例をあげると、RGBからYCbCr色空間のY値への規定された変換は式(1)の変換式で表される。
Y = 0.299R + 0.587G + 0.114B …(1)
【００３７】
これに対して、式(2)に示す近似式を用いてもよい。
Y = (3R + 6G + B)/10 …(2)
【００３８】
さらには、輝度成分の近似値としてRGB信号値のG値を用いたり、RGB各成分の平均値や最大値を輝度値として用いてもよい。
【００３９】
また、実施例1では、入力画像がsRGB色空間で表されるとして説明するが、sRGB以外のRGB色空間（例えばAdobeRGB、RIMM/ROMM RGB色空間など）でも、各色空間の定義に応じてCIE1931 XYZ（あるいは先に挙げた他の色空間）へ変換すればよい。
【００４０】
また、色空間の変換は、各色空間の定義や変換式に従い変換してもよいし、ICCプロファイルなどを用いて変換してもよい。これは、入力画像が機器に依存するRGB値（デバイスRGB値）で単純な変換式で変換できない場合に、特に有効である。
【００４１】
また、入力画像はRGBではなく例えばsYCCで表現されている場合も、sYCCからCIE1931 XYZ（あるいは先に挙げた他の色空間）への変換式、もしくは、ICCプロファイルなどによる変換を行えばよい。ただし、原画像がsYCCで表現され、輝度成分としてYCbCrのYを用いる、というように、元々の色空間と輝度成分の色空間が一致する場合は、単に、原画像のY値を取り出せばよく、色空間の変換処理は不要である。
【００４２】
次に、低周波輝度成分の抽出処理(S203)は、公知のローパスフィルタ処理を用いることにより実現する。
【００４３】
色調整処理(S204)の一例である前述した非特許文献1に基づく方法によれば、輝度成分とスケール変換した輝度成分の分布それぞれを対数変換し、その差分を出力する。さらに、異なる尺度（異なる解像度）での差分出力の重み付き平均を、改善された輝度成分とする。しかし、この方法は、画像に応じて改善の度合いを調整できないので、スケール変換した輝度成分の対数変換出力に係数を乗ずるようにする。この係数が改善の度合いを調整するパラメータである。
【００４４】
以上説明した処理に基づく、改善された輝度成分は式(3)に示すようになる。
Y'(x, y) = ΣnWn{γ0・logY(x, y) - γ1log[Fn(x, y)*Y(x, y)]} …(3)
ここで、Y'(x, y)は座標値が(x, y)の改善された輝度成分
Fn(x, y)は座標 (x, y)におけるガウシアン関数
Wnは尺度間の重み
nは尺度を表すパラメータ
γ0は改善の度合いを表すパラメータ0
γ1は改善の度合いを表すパラメータ1
*は積和演算
【００４５】
なお、尺度間の重みWnは、尺度の標準偏差を調整することで省略可能（単純な平均に置き換わる）であること、また、式(3)のように対数変換された値を出力するよりも逆変換（exp演算）により元の輝度単位に戻した方が、改善された画像データの画質として好ましいことが分かっている。従って、式(4)に示す出力を改善された輝度成分にすることが、より好ましい。
Y'(x, y) = exp{γ0・logY(x, y) - γ1・Ave[log(Fn(x, y)*Y(x, y))]} …(4)
ここで、Avgは平均値演算
【００４６】
また、式(4)の代わりに式(5)を利用してもよい。
Y'(x, y) = Y(x, y)γ0/{Ave[Fn(x, y)*Y(x, y)]}γ1 …(5)
【００４７】
なお、複数尺度でのスケール変換出力の平均値演算を低周波輝度成分の抽出処理(S203)で行い、複数尺度でのスケール変換出力の平均値をスケール変換された輝度成分の分布としてもよい。
【００４８】
あるいは、式(4)や(5)に類似した効果を得るものとして、式(6)を用いてもよい。
Y'(x, y) = Avg[Y(x, y)γ0/{Fn(x, y)*Y(x, y)}γ1] …(6)
【００４９】
この改善された輝度成分への変換をハードウェアで実現する場合は、例えば、平均値演算回路、ルックアップテーブルを作成する回路、テーブル記憶部、テーブル参照回路（ガンマ変換部）、除算回路によって構成する。なお、平均値演算回路は低周波輝度成分の抽出を実現する部分に設けてもよい。
【００５０】
さらに、色調整処理(S204)において、処理後の画像データの色ができるだけ変化しないように、改善された輝度成分への変換に従い色成分を修正する。好ましくは、例えば色成分X(x, y)、Z(x, y)それぞれに輝度成分の変換前後の比Y'(x, y)/Y(x, y)（以下、調整比率と呼ぶ）を乗算するが、式(5)もしくは(6)によりY(x, y)のみY'(x, y)に変換し、色成分X(x, y)、Z(x, y)に対して変換を行わないような、処理の簡略化は容易である。
【００５１】
そして、変換後のXYZデータの色空間を変換してsRGBデータを求める。この処理はステップS202における色空間変換の逆変換である。従って、3×3のマトリクス演算および逆ガンマ変換を行い、sRGB各8ビットの画像を出力する(S205)。この画像データの再構成をハードウェアで実現する場合は、例えば、乗算および除算回路、マトリクス演算回路、ルックアップテーブルによるテーブル参照回路（逆ガンマ変換部）によって構成する。
【００５２】
あるいは、上記の方法により調整比率Y'(x, y)/Y(x, y)を算出し、それを入力画像のsRGBそれぞれに乗算してもよい。
【００５３】
図3は色調整処理と各データの関係を概念的に示す図である。
【００５４】
sRGBの入力画像401から輝度成分画像402を抽出し、さらに、ローパスフィルタ処理により低周波輝度成分画像403に変換する。そして、入力画像401の画素411に対応する、低周波輝度成分画像403の画素のY値と色調整パラメータ405（γ0、γ1などに相当する）から改善された輝度値Y'を計算する。さらに、入力画像401の画素411に対応する、輝度成分画像402の画素412の輝度値Yとの比である調整比率Y'/Yを計算し、調整比率Y'/Yを画素411のsRGB値それぞれに乗算するなどして、sRGBの出力画像404の画素414の画素値を求める。なお、画素412は式(4)〜(6)におけるY(x,y)に対応し、画素413は式(4)〜(6)におけるFn(x, y)*Y(x,y)に対応する。
【００５５】
また、色調整パラメータ405は、画像処理システムに応じた予め定めておき、それを適用すればよい。あるいは、色調整パラメータを何通りか用意しておき、それらパラメータをユーザが選択的に設定すればよい。その場合、色調整パラメータの違いをユーザが認識し易い形態、例えば「強」「中」「弱」などとして表示部103に表示することが好ましい。勿論、表示部103にリストボックス、テキストボックス、スライダ、ボタンなどのGUIを表示して、ユーザが入力部101を操作して値を選択または入力してもよい。
【００５６】
また、図3には入力画像401、輝度成分画像402、低周波輝度成分画像403が同じ大きさであるように示すが、これら画像間で大きさが一致しなくてもよい。つまり、輝度成分の抽出および/または低周波輝度成分の抽出においてサンプリングを行ってもよく、その場合、輝度成分画像402、低周波輝度成分画像403を公知の変倍処理により入力画像401と同じ大きさに変倍し、上記の処理を行えばよい。また、輝度成分画像402は、輝度低周波成分画像403を生成するための中間的な画像データとし、色調整時には、あらためて入力画像401から輝度成分を抽出するようにしてもよい。
【００５７】
［動画像］
図4は変位情報をもつ動画像の一例として、MPEG動画像圧縮方式を説明する図である。
【００５８】
MPEG符号化において符号化される各フレームは、図4に示すように、Iピクチャ、Pピクチャ、Bピクチャと呼ばれる三種類のピクチャタイプに分類される。
【００５９】
Iピクチャフレームはフレーム内符号化を行い、他のフレームの情報を参照せずに単独で符号化/復号することができるが、符号量は大きくなる。Pピクチャフレームは、一または複数フレーム分、時間的に前のIピクチャフレームまたはPピクチャフレームとの、動き補償予測した差分を符号化する、いわゆるフレーム間予測符号化を行うフレームで、Iピクチャに比べて符号量が小さい。Bピクチャフレームは、時間的に前だけでなく、時間的に後のIピクチャフレームまたはPピクチャフレームからも予測を行う、双方向フレーム間予測符号化を行うフレームで、Pピクチャよりもさらに符号量が小さくなる。
【００６０】
符号化効率を高めるにはPおよびBピクチャを多用すればよいが、サーチなどの特殊再生や編集、エラー時の復帰を考慮して、例えば図6に示すように、適当な間隔でIピクチャを挿入して符号化する。なお、図4に示すように、Iピクチャを含む複数フレームの単位をGOP (Group of Picture)と呼ぶ。また、図4に示す矢印はフレームの参照関係を示す。
【００６１】
MPEGの復号における参照すべきPおよびIピクチャフレームは、現在復号中のBピクチャに対して、時間的に前のIまたはPピクチャが1フレーム、時間的に後のIまたはPピクチャが1フレームあればよいことがわかる。つまり、時間的に前のIまたはPピクチャ、時間的に後のIまたはPピクチャの復号結果のフレーム画像をそれぞれFrame(T0)、Frame(T1)と呼ぶと下記の関係が得られる。
・現在の復号対象がIピクチャフレーム
Frame(T1)を破棄し、現在のフレームの復号結果を新たなFrame(T1)にする、
また、Frame(T0)は廃棄可能
・現在の復号対象がPピクチャフレーム
Frame(T0)を破棄し、現在のFrame(T1)を新たなFrame(T0)にする、
さらに、現在のフレームの復号結果を新たなFrame(T1)にする
【００６２】
実施例1では、動画像の再生において、フレーム画像を復号するとともに、フレーム画像の色調整処理を行うために、各フレーム画像の輝度成分画像、低周波輝度成分画像を生成するが、その生成および破棄は、以上説明したフレーム画像の復号（生成）および破棄と同時に行う。つまり、動画像データの符号化方式に応じて、フレーム画像の復号（生成）処理を行った後もしくは並行して輝度成分画像を生成し、低周波輝度成分画像を生成して、フレーム画像の破棄に続いてもしくは並行して対応する輝度成分画像および低周波輝度成分画像を破棄する。
【００６３】
なお、符号化されていない動画像データの場合は、そのフレーム画像の格納形態に応じて、フレーム画像を取り出した後もしくは並行して輝度成分画像を生成し、低周波輝度成分画像を生成して、フレーム画像の破棄に続いてもしくは並行して対応する輝度成分画像および低周波輝度成分画像を破棄することになる。また、外部から通信部107を介して動画像データを受信する場合、上記の復号（生成）または取り出しには、必要に応じて、フレーム画像の要求や受信が含まれる。
【００６４】
［更新処理］
図5はフレーム画像間に参照関係がある場合の、輝度成分画像および低周波輝度成分画像の更新処理を説明する図で、フレーム画像と色調整処理が用いる画像データの関係を示している。
【００６５】
参照フレーム画像501は、色調整対象のフレーム画像（以下、色調整フレーム画像と呼ぶ）511が参照するフレーム画像で、MPEG方式の場合はIピクチャフレームもしくはPピクチャフレームの画像である。色調整フレーム画像511は、現在色調整の対象のフレーム画像で、PピクチャフレームもしくはBピクチャフレームを復号した画像である。
【００６６】
参照フレームの輝度成分画像502は、参照フレーム画像501から輝度成分を抽出した画像である。参照フレームの低周波輝度成分画像503は、参照フレームの輝度成分画像502をローパスフィルタ処理して得たものである。また、色調整フレームの輝度成分画像512は、色調整フレーム画像511から輝度成分を抽出した画像である。色調整フレームの低周波輝度成分画像513は、色調整フレームの輝度成分画像512をローパスフィルタ処理して得たものである。
【００６７】
今、色調整フレーム画像511内のある画像領域532が、参照フレーム画像501内の画像領域531を参照しているとする。なお、説明の簡単のために、色調整フレーム画像511の、画像領域532以外の部分については、参照フレーム画像501の同位置の画素と同じで、位置的な変化、画素値の変化はないものとする。
【００６８】
また、参照フレームの輝度成分画像502内の画像領域534、色調整フレームの輝度成分画像512内の画像領域536は、画像領域532と位置的に対応し、参照フレームの輝度成分画像502内の画像領域533は、画像領域531と位置的に対応する。また、色調整フレームの低周波輝度成分画像513内の画像領域541は、画像領域536と位置的に対応し、参照フレームの低周波輝度成分画像503内の画像領域539は、画像領域534と位置的に対応する。
【００６９】
一方、色調整フレームの低周波輝度成分画像513内の画像領域540は、低周波輝度成分の抽出において、画像領域536の画素の輝度値の影響を受ける領域であり、参照フレームの低周波輝度成分画像503内の画像領域538は、画像領域540と位置的に対応する。また、色調整フレームの輝度成分画像512内の画像領域537は、画像領域540の低周波成分の抽出の際に参照される領域であり、参照フレームの輝度成分画像502内の画像領域535は、画像領域537と位置的に対応する。
【００７０】
図6は、図5に示す画像領域をより詳細に説明するための図で、同図の最も小さな四角形の並びは画素を表す。
【００７１】
今、画像に対して3×3のフィルタ処理を行うとすると、画素711の処理は、画像領域702の画素を参照して行われる。この時、画像領域701の中の画素としては、画素712が参照される。言い換えれば、画素711のフィルタ処理結果は画素712に依存する。同様にして、画像領域701の周囲で、フィルタ処理の結果が画像領域701内の画素に依存するのは画像領域703であることがわかる。言い換えれば、画像領域701内の画素の値が変化した場合、画像領域703内の画素の値を更新しなければならない。また、フィルタの形状が決まり、画像領域701の形状が決まれば、画像領域703も一意に決定する。
【００７２】
さらに、画像領域704は、画像領域703内の画素のフィルタ処理の際に参照される画像領域を示し、画像領域703と同様に、フィルタの形状が決まり、画像領域703の形状が決定した時点で一意に決定する。
【００７３】
なお、フィルタの形状は3×3の矩形に限らず、他の形状・サイズで構わない。例えば、フィルタの形状が縦横で同じ大きさでなければならない理由はないし、また、縦もしくは横の大きさが奇数でなければならない理由もない。勿論、フィルタが矩形でなければならない理由もなく、任意の形状・サイズで構わない。
【００７４】
図5の説明に戻ると、画像領域532が画像領域531を参照し、色調整フレーム画像511のうち画像領域532以外の部分については、参照フレーム画像501の同位置の画素と同じで、位置的な変化、画素値の変化がない場合、色調整フレームの輝度画像512のうち画像領域536以外の部分については参照フレームの輝度画像502の同位置の画素値を参照（または複写）し、画像領域536については画像領域532から輝度成分を抽出すればよい。
【００７５】
また、色調整フレームの低周波輝度成分画像513については、画像領域540以外の部分については、参照フレームの低周波輝度成分画像503の同位置の画素値を参照（または複写）し、画像領域540については、更新後の色調整フレームの輝度画像512の画像領域537から低周波輝度成分を抽出すればよい。
【００７６】
なお、以上では、色調整フレーム画像が参照するフレーム画像が一つの場合を説明したが、MPEGのBピクチャフレームのように複数のフレーム画像を参照する場合も、上記の更新処理を適用可能である。
【００７７】
［動画像の色調整処理］
図2を参照して、CPU 104が実行する動画像の色調整処理の概要を説明する。以下では、入力画像および色調整後の出力画像はsRGB色空間で規定され、輝度と色味についてはsRGBを変換したsYCC色空間で規定するとして説明を行う。また、色調整に用いる低周波輝度成分画像は一種類であるとして説明を行う。
【００７８】
色調整の対象になる動画像はRAM 106やデータ保存部102に格納されている。CPU 104は、RAM 106および/またはデータ保存部102に格納されている動画像の一覧を表示部103に表示し、ユーザは入力部101を操作して色調整する動画像を指定する。あるいは、通信部107を介して外部の装置と通信し、動画像を受け取るようにしてもよい。この場合、動画像の受信をトリガとして以下の処理を実行するようにすればよい。
【００７９】
まず、指定された動画像または受信した動画像を、そのフォーマットに従い、RAM 106またはデータ保存部102に読み込む(S201)。その際、CPU 104は、JPEGやMPEGのような符号化が施されている場合、それを復号する。
【００８０】
次に、動画像の各画素の輝度成分を抽出し、輝度成分画像を生成する(S202)。実施例1の場合、画像の画素値はsRGB色空間で規定され、輝度についてはsYCC色空間で規定するので、式(1)を用いて輝度成分を算出する。ここで作成した輝度成分画像は、RAM 106やデータ保存部102に格納する。なお、前述したように、入力画像と輝度成分画像の大きさが一致する必要はないので、輝度成分の抽出処理において、サンプリング処理、最近傍法などの縮小処理を施してもよい。
【００８１】
次に、輝度成分画像にローパスフィルタ処理を施して低周波輝度成分を抽出し、低周波輝度成分画像を生成する(S203)。
【００８２】
次に、入力画像の画素値、輝度成分画像、低周波輝度成分画像を用いて、式(4)〜(6)の何れかの演算を行い改善された輝度値Y'および調整比率Y'/Yを求め、色調整を行う(S204)。その際に必要になる色調整パラメータ（γ00、γ1）は予め定めておく。勿論、ステップS201〜S204の処理の途中に、ユーザが色調整パラメータを指定または入力するステップを設けてもよい。あるいは、画像データの特徴量から色調整パラメータを決定してもよい。
【００８３】
次に、色調整を行った結果生成される動画像を出力する(S205)。動画像の出力は、色調整結果の動画像をRAM 106やデータ保存部102に所定の動画像フォーマットで格納する、表示部103に表示する、または、通信部107を介して外部の装置に送信する、など様々な形態がある。
【００８４】
図7はCPU 104が実行する動画像の色調整処理の詳細を示すフローチャートである。図7において、図2と同様の処理には同一符号を付して、その詳細説明を省略する場合がある。以下では、フレーム間の変化情報をもつ動画像データとしてMPEGデータを説明する。
【００８５】
以下に説明する処理に先行して、ステップS201でMPEGデータを復号する処理が行われ、色調整フレーム画像（PもしくはBピクチャフレーム）と、参照フレーム画像（IもしくはPピクチャフレーム）がある場合にはその参照フレーム画像がそれぞれ復号され、RAM 106またはデータ保存部102に格納される。
【００８６】
なお、以下では、色調整フレームの輝度成分画像、色調整フレームの低周波輝度成分画像、参照フレームの輝度成分画像、参照フレームの低周波輝度成分画像の生成を説明し、これらの画像の廃棄についてはとくに説明しない。これらの画像は、前述したように、対応するフレーム画像の廃棄とともに廃棄される。
【００８７】
まず、他のフレームを参照する色調整フレームか否かを判定する(S301)。MPEGデータの場合は、色調整フレームのピクチャタイプを判定し、Iピクチャであれば他のフレームを参照しない、PもしくはBピクチャであれば他のフレームを参照すると判定すればよい。なお、ピクチャタイプの判定は、MPEG規格に従いMPEGデータを調べればよいが、好ましくは、色調整処理に先行する復号処理時の判定結果をフレーム単位にRAM 106に格納し、RAM 106に格納した判定結果を参照する。
【００８８】
他のフレームを参照しない色調整フレームの場合は、ステップS202と同様に、色調整フレーム画像全体から輝度成分を抽出し、色調整フレームの輝度成分画像を作成して、RAM 106またはデータ保存部102に保持する(S307)。続いて、ステップS203と同様に、色調整フレームの輝度成分画像から低周波輝度成分を抽出し、色調整フレームの低周波輝度成分画像を作成して、RAM 106またはデータ保存部102に保持する(S308)。続いて、ステップS204と同様に、色調整フレームの輝度成分画像および低周波輝度成分画像を用いて、色調整フレーム画像を色調整する(S306)。
【００８９】
一方、他のフレームを参照する色調整フレームの場合は、色調整フレーム画像と参照フレーム画像の間の変化情報を参照して、色調整フレーム画像の変化がある画像領域（以下、変化領域と呼ぶ）を検出する(S302)。MPEGデータの場合は、変化情報として動きベクトルを参照して変化領域を検出すればよい。つまり、MPEGデータの場合は、色調整フレーム画像はブロック状に分割され、各ブロックに対して動きベクトルが付与されているので、この動きベクトルを調べ、参照フレーム画像の当該ブロックに対して位置、画素値ともに全く変化がないブロックは動きなしと判定し、そうでなければ動きありと判定する。あるいは、動きベクトルの位置、画素値の変化分に許容量を示す閾値を定め、変化分が閾値以下の場合は動きなし、閾値より大きい場合は動きありと判定してもよい。なお、各ブロックの動きベクトルやその変化情報は、MPEG規格に従いMPEGデータを調べればよいが、好ましくは、復号処理時にこれらの情報をフレーム単位にRAM 106に格納し、RAM 106に格納した情報を参照して、動きを判定する。
【００９０】
次に、更新が必要な画像領域（以下、更新画像領域と呼ぶ）を決定する(S303)。これは、図5における画像領域541から低周波輝度成分画像513の更新すべき画像領域540を決定する処理である。これら領域の決定方式については図6を用いて説明したので、詳細は省略するが、ステップS302で検出した変化があるブロックごとに更新画像領域を決定する。
【００９１】
次に、変化領域の輝度成分を抽出する(S304)。これは、図5における画像領域536の輝度値を算出する処理である。画像領域536の輝度成分は、RAM 106またはデータ保存部102に保存されている色調整フレーム画像511の画像領域532を参照して算出する。なお、ステップS304の処理は、図2に示すステップS202の処理と、入力が変化領域（部分画像）である点のみが異なり、画像領域532を入力としてステップS202と同様の処理を行い、画像領域536の輝度画像（部分輝度画像）を得る。この処理において、RAM 106またはデータ保存部102に色調整フレームの輝度成分画像を格納する領域を確保する。また、色調整フレームの輝度成分画像の変化がない画像領域、すなわち図5に示す輝度成分画像512のうち、変化領域536以外の画像領域は、参照フレームの輝度成分画像502の対応する輝度画素値を複写し、変化領域536はステップS304で作成した輝度成分の画素値を記録して保持する。
【００９２】
次に、ステップS303で決定した更新画像領域の低周波輝度成分を抽出する(S305)。これは、図5における画像領域540の低周波輝度成分の画素値を算出する処理である。画像領域540の低周波輝度成分は、RAM 106またはデータ保存部102に保存されているステップS304で作成した色調整フレーム画像512の画像領域537を参照して算出する。なお、ステップS305の処理は、図2に示すステップS203の処理と、入力が色調整フレーム画像の輝度成分画像の部分画像である点のみが異なり、画像領域537を入力としてステップS203と同様の処理を行い、画像領域540の低周波輝度成分画像を得る。この処理において、RAM 106またはデータ保存部102に色調整フレームの低周波輝度成分画像を格納する領域を確保する。また、色調整フレームの低周波輝度成分画像の更新が不要な画像領域、すなわち図5に示す低周波輝度成分画像513のうち、更新画像領域540以外の画像領域は、参照フレームの低周波輝度成分画像503の対応する低周波輝度画素値を複写し、更新画像領域540はステップS305で作成した低周波輝度成分の画素値を記録して保持する。
【００９３】
つまり、ステップS304では、変化領域の輝度成分を色調整フレーム画像から抽出し、参照フレーム画像の輝度成分と合成して色調整フレームの輝度成分画像を生成する。そして、ステップS305では、更新画像領域の低周波輝度成分をステップS304で生成した輝度成分画像から抽出し、参照フレーム画像の低周波輝度成分と合成して色調整フレームの低周波輝度成分画像を生成する。このようにして得られた色調整フレームの輝度成分画像および低周波輝度成分画像を用いて、ステップS204と同様に、色調整フレーム画像を色調整する(S306)。
【００９４】
このように、輝度成分と低周波輝度成分を用いて動画像を色調整する際、更新が必要な部分（変化領域および更新画像領域）についてのみ輝度成分と低周波輝度成分を抽出して、色調整の処理負荷を軽減することができる。とくに、監視カメラの動画像など、比較的の変化が少ない動画像を色調整する場合に、効果的に処理負荷を軽減することができる。
【実施例２】
【００９５】
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００９６】
実施例1においては、他フレームを参照する色調整フレームか否かのみを判定し、処理を第一の処理(S307-S308)と、第二の処理(S302-S305)に振り分ける例を説明したが、フレーム間の変化が多い場合などは、色調整フレーム画像全体を処理する第一の処理に比べて、変化領域のみを処理する第二の処理の処理負荷の方が大きくなる場合がある。そこで、他フレームを参照する色調整フレームの場合は、さらに判定処理を追加して、その判定結果に応じて第一の処理または第二の処理に振り分ける実施例2を説明する。
【００９７】
図8は実施例2の動画像の色調整処理を示すフローチャートである。図8において、図2、図7と同様の処理には同一符号を付して、その詳細説明を省略する。以下では、フレーム間の変化情報をもつ動画像データとしてMPEGデータを説明する。
【００９８】
図8に示すように、ステップS302の変化領域の検出に続いて、変化領域が少ないか否かを判定し(S310)、変化領域が少ない場合は第二の処理を行い、変化領域が多い場合は第一の処理を行う。
【００９９】
MPEGデータの場合、変化領域が少ないか否かは、変化情報である動きベクトルが固定サイズの画像ブロック単位であるから、変化があるブロックの数を調べ所定の閾値と比較する。あるいは、変化がある画素数を取得して、変化がある画素が所定数未満のブロックを変化がないブロックとしてもよい。
【０１００】
そして、各ブロックの動きベクトルを調べ、位置や向きが変化しているか、あるいは、位置的な変化がなくてもブロック差分情報に変化があるか否かを判定してブロックの変化を検知し、変化を検知したブロックの数を計数する。各ブロックの動きベクトルやその変化情報は、MPEG規格に従いMPEGデータを調べればよいが、好ましくは、復号処理時に、これらの情報をRAM 106に格納し、RAM 106に格納した情報を参照する。
【０１０１】
なお、上記に閾値は、実験的に決定しROM 105やデータ保存部102に保存しておけばよいが、ユーザが当該閾値を指定することもできる。その場合、図8に示す処理に先行して、例えば表示部103にリストボックス、テキストボックス、スライダ、ボタンなどのGUIを表示し、ユーザが入力部101を操作して閾値を選択または入力するようにする。勿論、図8に示す処理とは非同期に、ユーザの閾値指定を受け付けるようにし、ステップS801の判定の際にRAM 106などからユーザの指定値を読み込んでもよい。
【０１０２】
ステップS801の判定は、部分画像を処理する簡易さ、つまり第二の処理の後段(S303-S306)の処理負荷が大きいか否かを判定する処理で、処理負荷が小さいと判定した場合のみ第二の処理の後段を行う。従って、上記の判定方法に限らず、第二の処理の後段の処理負荷を見積もり、判定するのであれば、他の方法でも構わない。
【０１０３】
このように、他のフレームを参照する色調整フレームか否かの判定に加え、変化領域が多いか少ないかを判定して、色調整フレーム画像を第一の処理と第二の処理に振り分けるので、実施例1に比べて、さらに効率的に処理負荷を軽減することができる。
【実施例３】
【０１０４】
以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１０５】
図9は実施例3の動画像の色調整処理を示すフローチャートである。図9において、図2、図7、図8と同様の処理には同一符号を付して、その詳細説明を省略する。以下では、フレーム間の変化情報をもつ動画像データとしてMPEGデータを説明する。
【０１０６】
他のフレームを参照しない色調整フレームの場合は、ステップS204と同様に、色調整フレームの輝度成分画像および低周波輝度成分画像を用いて、色調整フレーム画像を色調整する(S320)。これを第一の色調整処理と呼ぶ。
【０１０７】
一方、他のフレームを参照する色調整フレームの場合は、参照フレームの輝度成分画像および低周波輝度成分画像、または、ステップS303で作成した部分輝度成分画像およびステップS304で作成した部分低周波輝度成分画像を参照して、色調整フレーム画像を色調整する(S321)。これを第二の色調整処理と呼ぶ。
【０１０８】
図10は第二の色調整処理を説明するフローチャートである。
【０１０９】
まず、画像の先頭の画素を色調整する画素（以下、注目画素と呼ぶ）に初期化し(S901)、注目画素がステップS302で検出した変化領域の内か外かを判定する(S902)。これは、図5に示す画像領域535または537の中か外かを判定することに相当し、注目画素の座標と、ステップS302で検出した変化領域を示す座標値を比較すればよい。
【０１１０】
注目画素が変化領域内にある場合は、部分輝度成分画像から注目画素の位置に対応する輝度成分の画素値を読み出す(S903)。一方、注目画素が変化領域外にある場合は、参照フレームの輝度成分画像から注目画素の位置に対応する輝度成分の画素値を読み出す(S904)。
【０１１１】
次に、注目画素がステップS303で決定した更新が必要な領域の内か外かを判定する(S905)。これは、図5に示す画像領域538または540の中か外かを判定することに相当し、注目画素の座標と、ステップS303で決定した更新が必要な領域を示す座標値を比較すればよい。
【０１１２】
注目画素が更新が必要な領域内にある場合は、部分低周波輝度成分画像から注目画素の位置に対応する低周波輝度成分の画素値を読み出す(S906)。一方、注目画素が更新が必要な領域外にある場合は、参照フレームの低周波輝度成分画像から注目画素の位置に対応する低周波輝度成分の画素値を読み出す(S907)。
【０１１３】
そして、輝度成分の画素値および低周波輝度成分の画素値を用いて、式(4)〜(6)の何れかにより、注目画素の画素値を色調整し(S908)、すべての画素の処理が終了した否かを判定する(S909)。未了の画素がある場合は、注目画素を次の画素に移動し(S910)、処理をステップS902に戻して、すべての画素の処理が終了するまでステップS902〜S910を繰り返す。
【０１１４】
上記では、領域の座標値と注目画素の座標からステップS902、S905の内外判定を行う例を説明したが、図11に示す領域判定マップ1001をステップS302、S303の処理と並行して作成し、領域判定マップ1001を参照して判定してもよい。
【０１１５】
図11に示す領域判定マップ1001に符号1002で示すのは更新が必要な領域、符号1003で示すのは変化領域に対応し、例えば、変化領域1003の各画素には値「2」を、更新が必要な領域1002のうち変化領域1003を除外した領域の各画素には値「1」を、その他の各画素には値「0」を記録し、ステップS902では注目画素の位置に対応する、領域判定マップ1001の画素値が「2」であれば変化領域内、そうでなければ変化領域外と判定する。また、ステップS905では注目画素の位置に対応する、領域判定マップ1001の画素値が「0」であれば更新が必要な領域外、そうでなければ更新が必要な領域内と判定する。勿論、変化領域に関する領域マップと更新が必要な領域に関する領域マップを別々に作成してもよい。
【０１１６】
このように、輝度成分と低周波輝度成分を用いて動画像を色調整する際、更新が必要な部分（変化領域および更新画像領域）についてのみ輝度成分と低周波輝度成分を抽出して、色調整の処理負荷を軽減することができる。
【０１１７】
また、図12に示すように、図10に示す処理に実施例2（図8）の変化領域が多いか少ないかの判定を加えて、色調整フレーム画像を第一の処理と第二の処理に振り分ければ、図10に示す処理に比べて、さらに効率的に処理負荷を軽減することができる。
【実施例４】
【０１１８】
以下、本発明にかかる実施例4の画像処理を説明する。なお、実施例4において、実施例1-3と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１１９】
図13は実施例4の動画像の色調整処理を示すフローチャートである。図13において、図2、図7、図9と同様の処理には同一符号を付して、その詳細説明を省略する。以下では、フレーム間の変化情報をもつ動画像データとしてMPEGデータを説明する。
【０１２０】
他のフレームを参照しない色調整フレームの場合は、ステップS204と同様に、色調整フレームの輝度成分画像および低周波輝度成分画像を用いて、色調整フレーム画像に第一の色調整処理を施す(S320)。
【０１２１】
一方、他のフレームを参照する色調整フレームの場合は、参照フレームの輝度成分画像および低周波輝度成分画像、または、ステップS303で作成した部分輝度成分画像およびステップS304で作成した部分低周波輝度成分画像を参照して、色調整フレーム画像の更新が必要な領域に第二の色調整処理を施し、色調整済みの部分画像を得る(S330)。そして、色調整済みの部分画像と、参照フレームの色調済みの画像を合成して、色調整フレーム画像の色調整結果にする(S331)。このため、色調整済みのフレーム画像を保存する領域をRAM 106またはデータ保存部102に確保し、参照フレームの色調整済み画像に、更新が必要な領域の色調整済み部分画像を上書きする。
【０１２２】
このように、輝度成分と低周波輝度成分を用いて動画像を色調整する際、更新が必要な部分（変化領域および更新画像領域）についてのみ輝度成分と低周波輝度成分を抽出して、色調整の処理負荷を軽減することができる。
【０１２３】
上記の実施例4では、参照フレームの色調整済み画像を保持しておき、これと第二の色調整処理によって得た色調整済みの部分画像を合成する例を説明したが、参照フレーム画像もしくは色調整フレーム画像の何れかと、参照フレームの輝度成分画像および低周波輝度成分画像を用いて色調整を行い、この色調整結果の画像と、第二の色調整処理によって得られる部分画像を合成するようにしてもよい。こうすれば、参照される可能性があるフレームの色調整済み画像をRAM 106やデータ保存部102に保持する必要がなくなる。つまり、上記の実施例4の処理に比べて、色調整処理を追加する分、処理負荷は増加するが、参照される可能性があるフレームの色調整済み画像を保持する必要がなくなるので、その分、メモリの容量を削減できる利得がある。
【０１２４】
また、図14に示すように、図13に示す処理に実施例2（図8）の変化領域が多いか少ないかの判定を加えて、色調整フレーム画像を第一の処理と第二の処理に振り分ければ、図13に示す処理に比べて、さらに効率的に処理負荷を軽減することができる。
【０１２５】
［変形例］
上記の各実施例では、変化情報をもつ動画像データの一例としてMPEG方式により符号化された動画像データを説明したが、上記の画像処理はフレーム間の変化情報をもつ動画像データであれば他の形式の動画像データにも容易に適用することができる。
【０１２６】
また、上記では、変化領域の輝度画像を得るのに色調整フレーム画像を参照すると説明したが、色調整フレームが参照する参照フレームを参照することもできる。MPEGデータの場合、ブロックの回転や差分の情報をもつので、参照フレーム画像の参照ブロックに回転や差分を施してから参照する。
【０１２７】
また、YCbCrのようにRGBに対して線形変換で得られる色空間の場合は、参照フレームの輝度画像の参照ブロックを用いることも可能である。この場合、輝度画像のブロックの変分は、色空間が線形変換であることから容易に予測可能である。
【０１２８】
［他の実施例］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１２９】
また、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【０１３１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１３２】
【図１】画像処理装置の構成例を示すブロック図
【図２】色調整処理を説明するフローチャート、
【図３】色調整処理と各データの関係を概念的に示す図、
【図４】変位情報をもつ動画像の一例として、MPEG動画像圧縮方式を説明する図、
【図５】フレーム画像間に参照関係がある場合の、輝度成分画像および低周波輝度成分画像の更新処理を説明する図、
【図６】図5に示す画像領域をより詳細に説明するための図、
【図７】動画像の色調整処理の詳細を示すフローチャート、
【図８】実施例2の動画像の色調整処理を示すフローチャート、
【図９】実施例3の動画像の色調整処理を示すフローチャート、
【図１０】図9に示す第二の色調整処理を説明するフローチャート、
【図１１】領域判定マップの一例を示す図、
【図１２】実施例3の動画像の色調整処理の変形例を示すフローチャート、
【図１３】実施例4の動画像の色調整処理を示すフローチャート、
【図１４】実施例4の動画像の色調整処理の変形例を示すフローチャートである。
【特許請求の範囲】
【請求項１】
フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理方法であって、
フレーム画像の輝度成分を抽出する第一の抽出ステップと、
前記輝度成分から低周波輝度成分を抽出する第二の抽出ステップと、
前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出ステップと、
前記検出ステップで検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定ステップと、
前記検出ステップで検出した変化領域の輝度成分を、前記対象フレームの画像から抽出し、前記第一の抽出ステップで抽出した、前記参照フレームの画像の輝度成分と合成して前記対象フレームの輝度成分画像を生成する第一の生成ステップと、
前記決定ステップで決定した更新画像領域の低周波輝度成分を、前記第一の生成ステップで生成した輝度成分画像から抽出し、前記第二の抽出ステップで抽出した、前記参照フレームの画像の低周波輝度成分と合成して前記対象フレームの低周波輝度成分画像を生成する第二の生成ステップと、
前記対象フレームが他のフレームを参照するか否かを判定する判定ステップと、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出ステップで抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像に前記色調整を施す第一の調整ステップと、
前記対象フレームが他のフレームを参照する場合は、前記第一および第二の生成ステップで生成した輝度成分画像および低周波輝度成分画像を用いて、前記対象フレームの画像に前記色調整を施す第二の調整ステップとを有することを特徴とする画像処理方法。
【請求項２】
フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理方法であって、
フレーム画像の輝度成分を抽出する第一の抽出ステップと、
前記輝度成分から低周波輝度成分を抽出する第二の抽出ステップと、
前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出ステップと、
前記検出ステップで検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定ステップと、
前記検出ステップで検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出ステップと、
前記決定ステップで決定した更新画像領域の低周波輝度成分を、前記第三の抽出ステップで抽出した輝度成分から抽出する第四の抽出ステップと、
前記対象フレームが他のフレームを参照するか否かを判定する判定ステップと、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出ステップで抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像を色調整する第一の調整ステップと、
前記対象フレームが他のフレームを参照する場合は、前記対象フレームの画像の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出ステップで抽出した輝度成分および低周波輝度成分を用いて色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出ステップで抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて色調整後の画素値を計算して、前記対象フレームの画像を色調整する第二の調整ステップとを有することを特徴とする画像処理方法。
【請求項３】
フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理方法であって、
フレーム画像の輝度成分を抽出する第一の抽出ステップと、
前記輝度成分から低周波輝度成分を抽出する第二の抽出ステップと、
前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出ステップと、
前記検出ステップで検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定ステップと、
前記検出ステップで検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出ステップと、
前記決定ステップで決定した更新画像領域の低周波輝度成分を、前記第三の抽出ステップで抽出した輝度成分から抽出する第四の抽出ステップと、
前記対象フレームが他のフレームを参照するか否かを判定する判定ステップと、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出ステップで抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像に前記色調整を施す第一の調整ステップと、
前記対象フレームが他のフレームを参照する場合は、前記対象フレームの前記更新画像領域の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出ステップで抽出した輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出ステップで抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算する第二の調整ステップと、
前記対象フレームが他のフレームを参照する場合は、前記第二の調整ステップで得られる前記更新画像領域の色調整後の画像を、メモリに格納した前記参照フレームの色調整後の画像に合成して、前記対象フレームの色調整後の画像を生成する生成ステップとを有することを特徴とする画像処理方法。
【請求項４】
さらに、前記対象フレームが他のフレームを参照し、かつ、前記検出ステップで検出した変化領域の数が所定の閾値を超える場合、前記第一の調整ステップにより前記対象フレームの画像を色調整する制御ステップを有することを特徴とする請求項1から請求項3の何れかに記載された画像処理方法。
【請求項５】
前記フレーム間の変化情報をもつ動画像データはMPEGデータであることを特徴とする請求項1から請求項4の何れかに記載された画像処理方法。
【請求項６】
画像処理装置を制御して、請求項1から請求項5の何れかに記載された画像処理を実現することを特徴とするプログラム。
【請求項７】
請求項6に記載されたプログラムが記録されたことを特徴とする記録媒体。
【請求項８】
フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理装置であって、
フレーム画像の輝度成分を抽出する第一の抽出手段と、
前記輝度成分から低周波輝度成分を抽出する第二の抽出手段と、
前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出手段と、
前記検出手段により検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定手段と、
前記検出手段により検出した変化領域の輝度成分を、前記対象フレームの画像から抽出し、前記第一の抽出手段により抽出した、前記参照フレームの画像の輝度成分と合成して前記対象フレームの輝度成分画像を生成する第一の生成手段と、
前記決定手段により決定した更新画像領域の低周波輝度成分を、前記第一の生成手段により生成した輝度成分画像から抽出し、前記第二の抽出手段により抽出した、前記参照フレームの画像の低周波輝度成分と合成して前記対象フレームの低周波輝度成分画像を生成する第二の生成手段と、
前記対象フレームが他のフレームを参照するか否かを判定する判定手段と、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像に前記色調整を施す第一の調整手段と、
前記対象フレームが他のフレームを参照する場合は、前記第一および第二の生成手段により生成した輝度成分画像および低周波輝度成分画像を用いて、前記対象フレームの画像に前記色調整を施す第二の調整手段とを有することを特徴とする画像処理装置。
【請求項９】
フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理装置であって、
フレーム画像の輝度成分を抽出する第一の抽出手段と、
前記輝度成分から低周波輝度成分を抽出する第二の抽出手段と、
前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出手段と、
前記検出手段により検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定手段と、
前記検出手段により検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出手段と、
前記決定手段で決定した更新画像領域の低周波輝度成分を、前記第三の抽出手段により抽出した輝度成分から抽出する第四の抽出手段と、
前記対象フレームが他のフレームを参照するか否かを判定する判定手段と、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記色調整の対象フレームの画像に前記色調整を施す第一の調整手段と、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像を色調整する第一の調整手段と、
前記対象フレームが他のフレームを参照する場合は、前記対象フレームの画像の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出手段により抽出した輝度成分および低周波輝度成分を用いて色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出手段により抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて色調整後の画素値を計算して、前記対象フレームの画像を色調整する第二の調整手段とを有することを特徴とする画像処理装置。
【請求項１０】
フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理装置であって、
フレーム画像の輝度成分を抽出する第一の抽出手段と、
前記輝度成分から低周波輝度成分を抽出する第二の抽出手段と、
前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出手段と、
前記検出手段により検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定手段と、
前記検出手段により検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出手段と、
前記決定手段で決定した更新画像領域の低周波輝度成分を、前記第三の抽出手段により抽出した輝度成分から抽出する第四の抽出手段と、
前記対象フレームが他のフレームを参照するか否かを判定する判定手段と、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記色調整の対象フレームの画像に前記色調整を施す第一の調整手段と、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像を色調整する第一の調整手段と、
前記対象フレームが他のフレームを参照する場合は、前記対象フレームの前記更新画像領域の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出手段により抽出した輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出抽出手段により抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算する第二の調整手段と、
前記対象フレームが他のフレームを参照する場合は、前記第二の調整手段により得られる前記更新画像領域の色調整後の画像を、メモリに格納した前記参照フレームの色調整後の画像に合成して、前記対象フレームの色調整後の画像を生成する生成手段とを有することを特徴とする画像処理装置。
【請求項１】
フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理方法であって、
フレーム画像の輝度成分を抽出する第一の抽出ステップと、
前記輝度成分から低周波輝度成分を抽出する第二の抽出ステップと、
前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出ステップと、
前記検出ステップで検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定ステップと、
前記検出ステップで検出した変化領域の輝度成分を、前記対象フレームの画像から抽出し、前記第一の抽出ステップで抽出した、前記参照フレームの画像の輝度成分と合成して前記対象フレームの輝度成分画像を生成する第一の生成ステップと、
前記決定ステップで決定した更新画像領域の低周波輝度成分を、前記第一の生成ステップで生成した輝度成分画像から抽出し、前記第二の抽出ステップで抽出した、前記参照フレームの画像の低周波輝度成分と合成して前記対象フレームの低周波輝度成分画像を生成する第二の生成ステップと、
前記対象フレームが他のフレームを参照するか否かを判定する判定ステップと、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出ステップで抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像に前記色調整を施す第一の調整ステップと、
前記対象フレームが他のフレームを参照する場合は、前記第一および第二の生成ステップで生成した輝度成分画像および低周波輝度成分画像を用いて、前記対象フレームの画像に前記色調整を施す第二の調整ステップとを有することを特徴とする画像処理方法。
【請求項２】
フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理方法であって、
フレーム画像の輝度成分を抽出する第一の抽出ステップと、
前記輝度成分から低周波輝度成分を抽出する第二の抽出ステップと、
前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出ステップと、
前記検出ステップで検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定ステップと、
前記検出ステップで検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出ステップと、
前記決定ステップで決定した更新画像領域の低周波輝度成分を、前記第三の抽出ステップで抽出した輝度成分から抽出する第四の抽出ステップと、
前記対象フレームが他のフレームを参照するか否かを判定する判定ステップと、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出ステップで抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像を色調整する第一の調整ステップと、
前記対象フレームが他のフレームを参照する場合は、前記対象フレームの画像の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出ステップで抽出した輝度成分および低周波輝度成分を用いて色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出ステップで抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて色調整後の画素値を計算して、前記対象フレームの画像を色調整する第二の調整ステップとを有することを特徴とする画像処理方法。
【請求項３】
フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理方法であって、
フレーム画像の輝度成分を抽出する第一の抽出ステップと、
前記輝度成分から低周波輝度成分を抽出する第二の抽出ステップと、
前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出ステップと、
前記検出ステップで検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定ステップと、
前記検出ステップで検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出ステップと、
前記決定ステップで決定した更新画像領域の低周波輝度成分を、前記第三の抽出ステップで抽出した輝度成分から抽出する第四の抽出ステップと、
前記対象フレームが他のフレームを参照するか否かを判定する判定ステップと、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出ステップで抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像に前記色調整を施す第一の調整ステップと、
前記対象フレームが他のフレームを参照する場合は、前記対象フレームの前記更新画像領域の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出ステップで抽出した輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出ステップで抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算する第二の調整ステップと、
前記対象フレームが他のフレームを参照する場合は、前記第二の調整ステップで得られる前記更新画像領域の色調整後の画像を、メモリに格納した前記参照フレームの色調整後の画像に合成して、前記対象フレームの色調整後の画像を生成する生成ステップとを有することを特徴とする画像処理方法。
【請求項４】
さらに、前記対象フレームが他のフレームを参照し、かつ、前記検出ステップで検出した変化領域の数が所定の閾値を超える場合、前記第一の調整ステップにより前記対象フレームの画像を色調整する制御ステップを有することを特徴とする請求項1から請求項3の何れかに記載された画像処理方法。
【請求項５】
前記フレーム間の変化情報をもつ動画像データはMPEGデータであることを特徴とする請求項1から請求項4の何れかに記載された画像処理方法。
【請求項６】
画像処理装置を制御して、請求項1から請求項5の何れかに記載された画像処理を実現することを特徴とするプログラム。
【請求項７】
請求項6に記載されたプログラムが記録されたことを特徴とする記録媒体。
【請求項８】
フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理装置であって、
フレーム画像の輝度成分を抽出する第一の抽出手段と、
前記輝度成分から低周波輝度成分を抽出する第二の抽出手段と、
前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出手段と、
前記検出手段により検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定手段と、
前記検出手段により検出した変化領域の輝度成分を、前記対象フレームの画像から抽出し、前記第一の抽出手段により抽出した、前記参照フレームの画像の輝度成分と合成して前記対象フレームの輝度成分画像を生成する第一の生成手段と、
前記決定手段により決定した更新画像領域の低周波輝度成分を、前記第一の生成手段により生成した輝度成分画像から抽出し、前記第二の抽出手段により抽出した、前記参照フレームの画像の低周波輝度成分と合成して前記対象フレームの低周波輝度成分画像を生成する第二の生成手段と、
前記対象フレームが他のフレームを参照するか否かを判定する判定手段と、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像に前記色調整を施す第一の調整手段と、
前記対象フレームが他のフレームを参照する場合は、前記第一および第二の生成手段により生成した輝度成分画像および低周波輝度成分画像を用いて、前記対象フレームの画像に前記色調整を施す第二の調整手段とを有することを特徴とする画像処理装置。
【請求項９】
フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理装置であって、
フレーム画像の輝度成分を抽出する第一の抽出手段と、
前記輝度成分から低周波輝度成分を抽出する第二の抽出手段と、
前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出手段と、
前記検出手段により検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定手段と、
前記検出手段により検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出手段と、
前記決定手段で決定した更新画像領域の低周波輝度成分を、前記第三の抽出手段により抽出した輝度成分から抽出する第四の抽出手段と、
前記対象フレームが他のフレームを参照するか否かを判定する判定手段と、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記色調整の対象フレームの画像に前記色調整を施す第一の調整手段と、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像を色調整する第一の調整手段と、
前記対象フレームが他のフレームを参照する場合は、前記対象フレームの画像の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出手段により抽出した輝度成分および低周波輝度成分を用いて色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出手段により抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて色調整後の画素値を計算して、前記対象フレームの画像を色調整する第二の調整手段とを有することを特徴とする画像処理装置。
【請求項１０】
フレーム間の変化情報をもつ動画像データのフレーム画像を色調整する画像処理装置であって、
フレーム画像の輝度成分を抽出する第一の抽出手段と、
前記輝度成分から低周波輝度成分を抽出する第二の抽出手段と、
前記色調整の対象フレームと、前記対象フレームが参照するフレーム間で画像が変化する変化領域を検出する検出手段と、
前記検出手段により検出した変化領域に応じて、低周波輝度成分を更新する画像領域を決定する決定手段と、
前記検出手段により検出した変化領域の輝度成分を、前記対象フレームの画像から抽出する第三の抽出手段と、
前記決定手段で決定した更新画像領域の低周波輝度成分を、前記第三の抽出手段により抽出した輝度成分から抽出する第四の抽出手段と、
前記対象フレームが他のフレームを参照するか否かを判定する判定手段と、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記色調整の対象フレームの画像に前記色調整を施す第一の調整手段と、
前記対象フレームが他のフレームを参照しない場合は、前記第一および第二の抽出手段により抽出した、前記対象フレームの画像の輝度成分および低周波輝度成分を用いて、前記対象フレームの画像を色調整する第一の調整手段と、
前記対象フレームが他のフレームを参照する場合は、前記対象フレームの前記更新画像領域の注目画素が前記変化領域内にあれば、前記注目画素の位置に対応する、前記第三および第四の抽出手段により抽出した輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算し、また、前記注目画素が前記変化領域外にあれば、前記注目画素の位置に対応する、前記第一および第二の抽出抽出手段により抽出した、前記参照フレームの輝度成分および低周波輝度成分を用いて、前記更新画像領域の色調整後の画素値を計算する第二の調整手段と、
前記対象フレームが他のフレームを参照する場合は、前記第二の調整手段により得られる前記更新画像領域の色調整後の画像を、メモリに格納した前記参照フレームの色調整後の画像に合成して、前記対象フレームの色調整後の画像を生成する生成手段とを有することを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００６−２１１２４７（Ｐ２００６−２１１２４７Ａ）
【公開日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願番号】特願２００５−２００１８（Ｐ２００５−２００１８）
【出願日】平成１７年１月２７日（２００５．１．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願日】平成１７年１月２７日（２００５．１．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]