画像処理装置及び画像処理方法
【課題】 ユーザの希望する画質を得るための符号化品質の設定が容易な画像処理装置及び画像処理方法を提供する。
【解決手段】 符号化前の画像データに対する符号化後の画像データの劣化度合いを算出する。そして、算出した劣化度合いを表す情報を、符号化前の画像データ又は符号化後の画像データとともに表示する。画質調整指示など、符号化設定に変更があった場合には、変更後の設定に応じた劣化度合いを算出し、表示に反映する。
【解決手段】 符号化前の画像データに対する符号化後の画像データの劣化度合いを算出する。そして、算出した劣化度合いを表す情報を、符号化前の画像データ又は符号化後の画像データとともに表示する。画質調整指示など、符号化設定に変更があった場合には、変更後の設定に応じた劣化度合いを算出し、表示に反映する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特には、画像を符号化する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、被写体を撮影し、それにより得られた動画像を圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。近年は、記録媒体が従来の磁気テープから、ランダムアクセス性などの利便性を有するディスク媒体や半導体メモリなどに移り変わってきている。しかし、一般にディスク媒体や半導体メモリは磁気テープよりも記憶容量が少ないため、従来と同等の記録時間を実現するには圧縮符号化の効率を一層高める必要がある。
【０００３】
また、近年では、より情報量の多い高精細（ＨＤ）映像を扱うデジタルビデオカメラの開発が行われている。このような観点からも、より高能率な圧縮符号化の実現が望まれている。現在、様々な圧縮符号化方式が用いられているが、高能率な圧縮符号化方式としてＭＰＥＧ方式が標準的に用いられている。
【０００４】
また、圧縮符号化を行なうビデオカメラにおいては、ユーザが記録画質を設定することが可能となっているのが一般的である（例えば、特許文献１参照）。
ＭＰＥＧ方式のような高能率符号化方式は、一般に不可逆圧縮方式であり、符号化後の画像は原画像に対して劣化し、また、劣化の度合いは再生してみるまで分からない。そのため、重要なシーンを撮影する場合などは、前もって撮影を行なって画像の劣化度合いを確認し、本撮影時の記録画質（例えばビットレートや圧縮率）を設定していた。
【０００５】
【特許文献１】特開２００１−２１１４１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、一般に、ビデオカメラの表示部はＴＶモニタに比べて画面サイズ及び解像度が低く、細部の画質劣化の度合いまで確認することができない。そのため、最適な記録画質を設定しづらく、撮影後にＴＶモニタで鑑賞した際に、意図しない画質で撮影してしまったことが判明する場合があった。
【０００７】
本発明はこのような従来技術の問題点に鑑みなされたものであり、ユーザが希望する画質を得るための符号化品質の設定を容易にする画像処理装置及び画像処理方法の提供を目的とする。
【課題を解決するための手段】
【０００８】
上述の目的は、画像データを入力する入力手段と、入力手段により入力された画像データを不可逆符号化する符号化手段と、符号化された画像データの、入力された画像データに対する劣化度合いを検出する劣化検出手段と、入力された画像データもしくは符号化された画像データと、劣化検出手段により検出された劣化度合いを示す情報とを、表示装置に表示する表示手段とを備える本発明の画像処理装置によって達成される。
【０００９】
また、上述の目的は、画像データを入力する入力ステップと、入力手段により入力された画像データを不可逆符号化する符号化ステップと、符号化された画像データの、入力された画像データに対する劣化度合いを検出する劣化検出ステップと、入力された画像データもしくは符号化された画像データと、劣化検出手段により検出された劣化度合いを示す情報とを、表示装置に表示する表示ステップとを備える本発明の画像処理方法によっても達成される。
【発明の効果】
【００１０】
このような構成により、本発明によれば、符号化による画質劣化の程度を客観的な指標により確認することが可能となるため、ユーザが望む画質を得るための符号化品質を容易に設定することが可能になる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の一例としての動画像記録装置の構成を示すブロック図である。
【００１２】
図１において、撮像部１０１は、レンズやその駆動回路、撮像素子等を含み、被写体像をディジタルデータとして出力する。動画像記録装置はまた、動き補償予測回路１０２、減算器１０３、ＤＣＴ（直交変換）回路１０４、量子化回路１０５、可変長符号化回路１０６、記録部１０７、記録媒体１０９、符号量制御回路１１０を備える。さらに、逆量子化回路１１１、ＩＤＣＴ（逆直交変換）回路１１２、加算器１１３、劣化検出回路１１５、表示画像生成回路１１６、表示部１１７、フレームメモリ１１８、パラメータ設定部１１９、に加えて、スイッチ１０８および１１４を備える。そして、スイッチ１０８、１１４や、符号量制御回路１１０をはじめとする各構成部の動作は、システムコントローラ１２０によって制御される。システムコントローラ１２０は、例えばマイクロコンピュータであり、制御プログラムを実行することにより装置全体の動作制御を司る。さらに、システムコントローラ１２０は、操作部１２２を介して必要に応じてユーザから与えられる指示によっても、装置全体の動作制御を行う。
【００１３】
撮像部１０１にて撮像して得られた動画像データは、第１フレーム、第２フレーム、第３フレーム、・・・の順で、順次フレームメモリ１１８に格納されていく。フレームメモリからは、例えば、第３フレーム、第１フレーム、第２フレーム、・・・など、符号化方式に応じて定まる順序で画像データを取り出していく。本実施形態ではＭＰＥＧ符号化方式を用いる。ＭＰＥＧ方式では、複数の符号化方法を用いて符号化を行なう。具体的には、同一フレーム内の画像データのみを用いて符号化する“イントラ符号化”と、他のフレームとの相関を利用して予測符号化する“インター符号化”を用いる。さらに、インター符号化は、フレーム間予測に用いる他のフレームとして、時間的に過去のフレームのみを利用可能な前方予測符号化と、時間的に未来のフレームも利用可能な双方向予測符号化がある。そして、イントラ符号化されるフレームをＩピクチャ、前方予測符号化されるフレームをＰピクチャ、双方向予測符号化されるフレームをＢピクチャと呼ぶ。そして、双予測符号化を実現するため、入力順とは異なる順番で符号化が行なわれる。
【００１４】
以下、ピクチャ種別ごとに符号化の動作を説明する。
Ｉピクチャの場合、フレームメモリ１１８から、符号化単位であるマクロブロック（以下「ＭＢ」）を構成する水平１６画素、垂直１６画素のデータが読み出され、ＤＣＴ回路１０４へ入力される。Ｉピクチャの場合は、動き補償予測を行わないため、動き補償予測回路１０２から零が出力される。そのため、フレームメモリ１１８から読み出されたＭＢデータは、加算器１０３において値が変化することなく、そのままＤＣＴ回路１０４へ入力される。
【００１５】
ＤＣＴ回路１０４にて直交変換された後のＭＢデータは、量子化回路１０５により、符号量制御回路１１０が出力する量子化係数で量子化される。量子化後のＭＢデータは、逆量子化回路１１１および可変長符号化回路１０６へそれぞれ入力される。可変長符号化回路１０６は量子化されたＭＢデータを可変長符号化して出力すると同時に、発生した符号量を符号量制御回路１１０へ通知する。符号量制御回路１１０は可変長符号化回路１０６から受信した発生符号量を受けて、次のＭＢに適用する量子化係数を決定し、量子化回路１０５へ出力する。
【００１６】
逆量子化回路１１１は、量子化回路１０５の出力する画像データを逆量子化して、量子化前の画像データ（直交変換後の画像データ）を復元し、ＩＤＣＴ回路１１２へ供給する。ＩＤＣＴ回路１１２は逆量子化回路１１１からの画像データを逆直交変換して、直交変換前の画像データ（フレームメモリ１１８から読み出された画像データ）を復元する。この復元された画像データは、後で行なう予測符号化の参照画像となる画像データで、局部復号画像もしくはローカルデコード画像という。
【００１７】
上述したように、Ｉピクチャの符号化時には、動き補償予測回路１０２の出力は零である。そのため、加算器１１３の出力は、ＩＤＣＴ回路１１２が出力する、ローカルデコード画像データと同一である。また、このとき、スイッチ１１４はオンの状態に制御されていて、ローカルデコード画像はフレームメモリ１１８に格納される。
【００１８】
Ｐピクチャの場合、動き補償予測回路１０２に、符号化対象ＭＢのデータがフレームメモリ１１８から入力される。動き補償予測回路１０２は、フレームメモリ１１８に既に格納されている参照画像を読み出しながら、符号化対象ＭＢとの差分が小さくなるブロック（参照ブロック）を検出し、検出したブロックの画像データを出力する。減算器１０３は、フレームメモリ１１８から供給される符号化対象ＭＢの画像データから、動き補償予測回路１０２が出力する、検出された参照ブロックの画像データを減算し、減算結果をＤＣＴ回路１０４へ供給する。
【００１９】
ＤＣＴ回路１０４は減算結果を直交変換し、量子化回路１０５へ供給する。量子化回路１０５は、ＤＣＴ回路１０４が出力する直交変換後の差分データを量子化し、逆量子化回路１１１、および、可変長符号化回路１０６へそれぞれ出力する。
【００２０】
逆量子化回路１１１は、量子化後の差分データを逆量子化して、量子化前の差分データ（直交変換後の差分データ）を復元し、ＩＤＣＴ回路１１２へ供給する。ＩＤＣＴ回路１１２は逆量子化回路１１１からの差分データを逆直交変換して、直交変換前の差分データを復元する。この復元された差分データは、加算器１１３によって参照ブロックの画像データと加算されて、ローカルデコード画像が生成される。このときスイッチ１１４はオンの状態に制御されていて、ローカルデコード画像はフレームメモリ１１８に格納される。
【００２１】
Ｂピクチャの場合、上記のＰピクチャの場合と同様に符号化されるが、Ｂピクチャは予測のための参照画像とはならないため、スイッチ１１４はオフの状態に制御されて、ローカルデコード画像データはフレームメモリ１１８には格納されない。そのため、ローカルデコード画像を生成する必要はなく、本来は逆量子化以降の処理は不要であるが、本実施形態では後述の劣化検出のために、Ｂピクチャであっても逆量子化以降の復号処理（ローカルデコード処理）も行っている。
【００２２】
ピクチャ種別によらず、加算器１１３の出力は、再生時に出力される画像データと同一である。劣化検出回路１１５には、フレームメモリ１１８から減算器１０３へ供給されるＭＢデータ（符号化前画像）と、加算器１１３からフレームメモリ１１８へ供給されるＭＢデータ（再生画像）が入力される。そして、劣化検出回路１１５は、符号化前画像に対する再生画像の劣化度合いを算出する。劣化度合いとして例えば以下の式１に示す、ＰＳＮＲ(Peak Signal-to-Noise Ratio)を用いることができる。
【００２３】
【数１】
式１において、ＮはＭＢデータのデータ数であり、輝度信号の場合Ｎ＝２５６である。Ｃｉは符号化前画像の各画素値、Ｄｉは再生画像の各画素値を示す。ＰＳＮＲ[db]は符号化前画像と符号化後画像の平均二乗誤差の逆数であり、画像の相違（劣化）が大きいほど小さい値を示す。
【００２４】
ユーザが操作部１２２を操作し、動画像記録装置が記録モードに設定されると、システムコントローラ１２０が検知し、スイッチ１０８をオフの状態に制御する。そして、記録開始の指示がなされなくても、上述の符号化処理を実行する。すなわち、通常の記録動作時と同様に符号化処理を行なうが、記録媒体１０９への記録は行わない状態となる。
【００２５】
上述のように、劣化検出回路１１５はＭＢごとにＰＳＮＲを算出しており、算出したＰＳＮＲの値は劣化検出回路１１５内の図示しないバッファに一時記憶される。表示画像生成回路１１６は、ＬＣＤなどの表示部１１７へ表示するための表示画像を生成する。撮像部１０１にて撮像された画像信号は、上述の通り符号化が実行されるまでフレームメモリ１１８に保持されているが、ＰＳＮＲ値のオーバーレイ表示を行うため、符号化実施後も表示が行なわれるまで保持される。
【００２６】
表示画像の全ＭＢに対するＰＳＮＲ値が算出されると、表示画像生成回路１１６は、表示する画像信号をフレームメモリ１１８から読み出す。また、劣化検出回路１１５から表示画像に対応するＰＳＮＲ値を読み出し、ＭＢごとに、表示画像とＰＳＮＲ値に応じたパターンなどとを合成した合成画像を生成し、表示部１１７へ表示する。パターンはハッチングや網掛けなど、どのようなものであっても良いが、表示画像が全く見えなくなるようなものは避けることが好ましい。
【００２７】
図３は、画像信号が入力されてから符号化されて表示部へモニター出力されるまでの、フレームメモリ１１８と、劣化検出回路１１５内のＰＳＮＲバッファのフレーム管理動作を説明するための図である。
【００２８】
図３のにおいて、Ｆ０，Ｆ１，・・・は画像フレームであり、入力画像フレームの上に記載された”Ｉ”，”Ｐ”，”Ｂ”は入力画像フレームが符号化される際のピクチャタイプを示し、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャを表している。フレームメモリ１１８は複数の画像フレームを格納可能であり、太枠で囲まれた画像フレームは符号化フレームを表している。また、Ｆ２’など、ダッシュの付与されたフレームは、ダッシュのないフレームに対応するローカルデコード画像を表している。図３はフレーム管理動作の１例であるが、このようなフレーム管理によって、入力画像とＰＳＮＲ値のオーバーレイ表示が可能である。
【００２９】
劣化検出回路１１５は、画像フレームのＭＢごとのＰＳＮＲ値を計算するとともに、フレーム全体におけるＰＳＮＲ値の合計も計算する。そして、表示画像生成回路１１６は、ＰＳＮＲ値のフレーム全体での合計値に応じて、例えばキャラクタジェネレータなどを用い、画質を表す数値を表示画像に合成する。
【００３０】
表示部１１７に表示される合成画像２０２の例を図２に示す。合成画像２０２は、通常のモニタ表示（表示部１１７を電子ビューファインダとして機能させている際の表示）に重ねて、ＭＢ毎に、ＰＳＮＲ値に応じたパターンを重畳表示している。例えば、ハッチングの濃度が高い程ＰＳＮＲが低く、画質劣化が大きい部分を示している。さらに、フレーム全体のＰＳＮＲ値の合計をキャラクタ表示２０４している。
【００３１】
ユーザは、この合成画像２０２を見ながら、操作部１２２に含まれる画質設定ボタンなどを操作することで、画質、すなわち符号化パラメータを調整することができる。すなわち、システムコントローラ１２０が画質調整の指示入力を検出し、入力された内容をパラメータ設定部１１９へ与える。パラメータ設定部１１９は、与えられた調整内容に応じ、予め定められた符号化パラメータを変更し、変更されるパラメータを使用する各部へ出力される。
【００３２】
符号化パラメータとしては様々なものがあるが、ここでは、例えば、符号化後のデータのビットレートとする。例えば、ユーザから画質を上げるように指示された場合、パラメータ設定部１１９は、符号量制御回路１１０に対し、ビットレートを予め定めた量だけ上昇させるように指示したり、予め定めた値となるように指示する。
【００３３】
符号量制御回路１１０は、指示に応じて例えば量子化回路１０５が用いる量子化テーブルを切り替えることにより、ビットレートを制御する。ビットレートを上げる場合には、より小さい量子化幅にて量子化処理を行なうための量子化テーブルを用いることで、画質を向上させる。
【００３４】
ユーザの操作によって記録開始が指示されると、システムコントローラ１２０がスイッチ１０８をオンの状態に制御し、符号化された画像データは記録回路１０７を介して記録媒体１０９へ記録される。
【００３５】
このように、本実施形態においては、ユーザによる符号化パラメータ変更の結果は、表示部１１７に表示される合成画像２０２に即座に反映される。そのため、ユーザは符号化パラメータ変更の画質に対する影響を確認しながら符号化パラメータ設定をおこなうことができる。
特に、ＭＢごとの劣化度合いを示す情報を、表示画面における被写体の位置に対応づけて表示するので、ユーザは、目的の被写体の画質劣化が所望の度合いになるよう、画質を細かく調整することが可能となる。
【００３６】
また、合成画像２０２において、画像の劣化の度合いをパターンや数値といった客観的な情報により提示するので、表示部１１７の表示面積が小さくても、画質劣化の度合いを正しく把握することが可能である。
【００３７】
なお、本実施形態では、入力画像を用いて合成画像２０２を生成していたが、符号化後の画像を用いて合成画像２０２を生成することにより、より直接的に画質の劣化を把握可能としても良い。その場合は、Ｂピクチャの符号化の場合でもローカルデコード画像をフレームメモリ１１８へ格納するために、Ｂピクチャの符号化時にもスイッチ１１４はオンの状態とし、フレームの管理は、図４のように行えばよい。
【００３８】
また、本実施形態では、ＰＳＮＲ値を劣化検出回路１１５のバッファに記憶するものとしたが、フレームメモリ１１８の一部を使ってＰＳＮＲ値を記憶し、表示画像生成回路１１６は必要なＰＳＮＲ値をフレームメモリ１１８から読み出すようにしてもよい。
【００３９】
さらに、本実施形態では、マクロブロックごとの画質劣化度合いを表示画像に重畳表示したが、例えば表示部１１７が非常に小さい場合など、重畳表示することにより劣化度合いの表示の視認性が低下する場合には、劣化度合いを表す表示のみを行なっても良い。あるいは、表示画像と、劣化度合いを表す表示とを切り替えて表示可能に構成することも可能である。また、劣化度合いが所定の度合いを超えるＭＢについてのみ、重畳表示を行なうようにしてもよい。
【００４０】
（第２の実施形態）
図５は、本発明の第２の実施形態に係る画像処理装置の一例としての動画像記録装置の構成を示すブロック図である。図１に示した動画像記録装置に対して、残量算出回路５０１を追加した構成であり、他の構成は共通であるため重複する説明は省略する。
【００４１】
本実施形態において、残量算出回路５０１へは、記録回路１０７から記録媒体１０９の残り記録可能容量の出力が、符号量制御回路１１０からはビットレートの予測値の出力がそれぞれ供給される。これにより、残量算出回路５０１は、現在の記録画質により、記録媒体に記録可能な残り時間を推定することができる。残り時間は表示画像生成回路１１６へ出力され、キャラクタジェネレータなどによって残り時間を表示画面に合成する。図６に、本実施形態における合成画像２０２の表示例を示す。図２の合成画像に対し、残り時間６０１の表示が加わっていることが分かる。
【００４２】
ユーザが画質調整を行ない、パラメータ設定回路１１９による符号化パラメータ変更が行なわれると、それに応じて符号量制御回路１１０の出力するビットレートが変化する。従って、推定残り時間も直ちに変更され、即座に表示画面に反映される。
その他の動作は、第１の実施形態の動画像記録装置と同様であるため、説明を省略する。
【００４３】
このように、本実施形態によれば、現在設定されている画質で記録可能な時間がリアルタイムに表示される。そのため、第１の実施形態の効果に加え、ユーザは、記録可能残量を考慮しながら、最適な画質を設定することが可能になる。
【００４４】
（第３の実施形態）
図７は、本発明の第３の実施形態に係る画像処理装置の一例としての動画像記録装置の構成を示すブロック図である。劣化検出回路１１５の出力が符号量制御回路１１０へ入力されている点を除き、第２の実施形態に係る動画像記録装置と同一の構成を有するため、共通部分の説明は省略する。
【００４５】
上述の通り、劣化検出回路１１５はＭＢごとにＰＳＮＲ値を算出する。本実施形態では、このＭＢ毎のＰＳＮＲ値を、符号量制御回路１１０へ与える。
【００４６】
上述のように、符号量制御回路１１０は、可変長符号化回路１０６が出力する発生符号量と、ユーザによる画質調整指示の内容に応じてパラメータ設定回路１１９が決定した目標ビットレートに基づいて量子化回路が用いる量子化テーブルを切り替える。
【００４７】
その際、ユーザによる画質調整指示に応じ、より小さい量子化幅にて量子化するＭＢを決定するＰＳＮＲ値の閾値を変化させる。例えば、画質を上げる指示に対しては、ＰＳＮＲ値の閾値を下げることで、より多くのＭＢに対してより小さい量子化幅にて量子化するように制御する。画質を下げる指示に対しては、逆に閾値を上げることで、小さい量子化幅にて量子化するＭＢを少なくさせる。
その他の動作は、第２の実施形態に記載の動画像記録装置の場合と同様であるため、説明を省略する。
【００４８】
このように、本実施形態によれば、すでに十分な画質が得られている部分に対しては符号量の増加率を抑え、画質の劣化が大きなＭＢについてはより小さい量子化幅にて量子化を行うことができるため、符号量の増加を抑制しながら効率的な画質改善を行なうことができる。
【００４９】
（他の実施形態）
なお、上述の実施形態においては、符号化による画質劣化の度合いを表す客観的な指標として、ＰＳＮＲ値を用いた例を説明した。しかし、符号化による画質劣化の度合いを表すことが可能であれば、他の指標を用いることが可能であることは言うまでもない。
例えば、単に符号化前の画像データと復号後の画像データの差分を用いることも可能である。
【００５０】
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
【００５１】
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００５２】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００５３】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００５４】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【００５５】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００５６】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体をユーザに配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを可能とすることも可能である。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【００５７】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
【００５８】
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施形態に係る画像処理装置の一例としての動画像記録装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る動画像記録装置で表示する合成画像の一例を示す図である。
【図３】本発明の第１の実施形態に係る動画像記録装置におけるフレームメモリの管理の例を説明するための図である。
【図４】本発明の第１の実施形態に係る動画像記録装置におけるフレームメモリの管理の別の例を説明するための図である。
【図５】本発明の第２の実施形態に係る画像処理装置の一例としての動画像記録装置の構成例を示すブロック図である。
【図６】本発明の第２の実施形態に係る動画像記録装置が表示する合成画像の一例を示す図である。
【図７】本発明の第３の実施形態に係る画像処理装置の一例としての動画像記録装置の構成例を示すブロック図である。
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特には、画像を符号化する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、被写体を撮影し、それにより得られた動画像を圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。近年は、記録媒体が従来の磁気テープから、ランダムアクセス性などの利便性を有するディスク媒体や半導体メモリなどに移り変わってきている。しかし、一般にディスク媒体や半導体メモリは磁気テープよりも記憶容量が少ないため、従来と同等の記録時間を実現するには圧縮符号化の効率を一層高める必要がある。
【０００３】
また、近年では、より情報量の多い高精細（ＨＤ）映像を扱うデジタルビデオカメラの開発が行われている。このような観点からも、より高能率な圧縮符号化の実現が望まれている。現在、様々な圧縮符号化方式が用いられているが、高能率な圧縮符号化方式としてＭＰＥＧ方式が標準的に用いられている。
【０００４】
また、圧縮符号化を行なうビデオカメラにおいては、ユーザが記録画質を設定することが可能となっているのが一般的である（例えば、特許文献１参照）。
ＭＰＥＧ方式のような高能率符号化方式は、一般に不可逆圧縮方式であり、符号化後の画像は原画像に対して劣化し、また、劣化の度合いは再生してみるまで分からない。そのため、重要なシーンを撮影する場合などは、前もって撮影を行なって画像の劣化度合いを確認し、本撮影時の記録画質（例えばビットレートや圧縮率）を設定していた。
【０００５】
【特許文献１】特開２００１−２１１４１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、一般に、ビデオカメラの表示部はＴＶモニタに比べて画面サイズ及び解像度が低く、細部の画質劣化の度合いまで確認することができない。そのため、最適な記録画質を設定しづらく、撮影後にＴＶモニタで鑑賞した際に、意図しない画質で撮影してしまったことが判明する場合があった。
【０００７】
本発明はこのような従来技術の問題点に鑑みなされたものであり、ユーザが希望する画質を得るための符号化品質の設定を容易にする画像処理装置及び画像処理方法の提供を目的とする。
【課題を解決するための手段】
【０００８】
上述の目的は、画像データを入力する入力手段と、入力手段により入力された画像データを不可逆符号化する符号化手段と、符号化された画像データの、入力された画像データに対する劣化度合いを検出する劣化検出手段と、入力された画像データもしくは符号化された画像データと、劣化検出手段により検出された劣化度合いを示す情報とを、表示装置に表示する表示手段とを備える本発明の画像処理装置によって達成される。
【０００９】
また、上述の目的は、画像データを入力する入力ステップと、入力手段により入力された画像データを不可逆符号化する符号化ステップと、符号化された画像データの、入力された画像データに対する劣化度合いを検出する劣化検出ステップと、入力された画像データもしくは符号化された画像データと、劣化検出手段により検出された劣化度合いを示す情報とを、表示装置に表示する表示ステップとを備える本発明の画像処理方法によっても達成される。
【発明の効果】
【００１０】
このような構成により、本発明によれば、符号化による画質劣化の程度を客観的な指標により確認することが可能となるため、ユーザが望む画質を得るための符号化品質を容易に設定することが可能になる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の一例としての動画像記録装置の構成を示すブロック図である。
【００１２】
図１において、撮像部１０１は、レンズやその駆動回路、撮像素子等を含み、被写体像をディジタルデータとして出力する。動画像記録装置はまた、動き補償予測回路１０２、減算器１０３、ＤＣＴ（直交変換）回路１０４、量子化回路１０５、可変長符号化回路１０６、記録部１０７、記録媒体１０９、符号量制御回路１１０を備える。さらに、逆量子化回路１１１、ＩＤＣＴ（逆直交変換）回路１１２、加算器１１３、劣化検出回路１１５、表示画像生成回路１１６、表示部１１７、フレームメモリ１１８、パラメータ設定部１１９、に加えて、スイッチ１０８および１１４を備える。そして、スイッチ１０８、１１４や、符号量制御回路１１０をはじめとする各構成部の動作は、システムコントローラ１２０によって制御される。システムコントローラ１２０は、例えばマイクロコンピュータであり、制御プログラムを実行することにより装置全体の動作制御を司る。さらに、システムコントローラ１２０は、操作部１２２を介して必要に応じてユーザから与えられる指示によっても、装置全体の動作制御を行う。
【００１３】
撮像部１０１にて撮像して得られた動画像データは、第１フレーム、第２フレーム、第３フレーム、・・・の順で、順次フレームメモリ１１８に格納されていく。フレームメモリからは、例えば、第３フレーム、第１フレーム、第２フレーム、・・・など、符号化方式に応じて定まる順序で画像データを取り出していく。本実施形態ではＭＰＥＧ符号化方式を用いる。ＭＰＥＧ方式では、複数の符号化方法を用いて符号化を行なう。具体的には、同一フレーム内の画像データのみを用いて符号化する“イントラ符号化”と、他のフレームとの相関を利用して予測符号化する“インター符号化”を用いる。さらに、インター符号化は、フレーム間予測に用いる他のフレームとして、時間的に過去のフレームのみを利用可能な前方予測符号化と、時間的に未来のフレームも利用可能な双方向予測符号化がある。そして、イントラ符号化されるフレームをＩピクチャ、前方予測符号化されるフレームをＰピクチャ、双方向予測符号化されるフレームをＢピクチャと呼ぶ。そして、双予測符号化を実現するため、入力順とは異なる順番で符号化が行なわれる。
【００１４】
以下、ピクチャ種別ごとに符号化の動作を説明する。
Ｉピクチャの場合、フレームメモリ１１８から、符号化単位であるマクロブロック（以下「ＭＢ」）を構成する水平１６画素、垂直１６画素のデータが読み出され、ＤＣＴ回路１０４へ入力される。Ｉピクチャの場合は、動き補償予測を行わないため、動き補償予測回路１０２から零が出力される。そのため、フレームメモリ１１８から読み出されたＭＢデータは、加算器１０３において値が変化することなく、そのままＤＣＴ回路１０４へ入力される。
【００１５】
ＤＣＴ回路１０４にて直交変換された後のＭＢデータは、量子化回路１０５により、符号量制御回路１１０が出力する量子化係数で量子化される。量子化後のＭＢデータは、逆量子化回路１１１および可変長符号化回路１０６へそれぞれ入力される。可変長符号化回路１０６は量子化されたＭＢデータを可変長符号化して出力すると同時に、発生した符号量を符号量制御回路１１０へ通知する。符号量制御回路１１０は可変長符号化回路１０６から受信した発生符号量を受けて、次のＭＢに適用する量子化係数を決定し、量子化回路１０５へ出力する。
【００１６】
逆量子化回路１１１は、量子化回路１０５の出力する画像データを逆量子化して、量子化前の画像データ（直交変換後の画像データ）を復元し、ＩＤＣＴ回路１１２へ供給する。ＩＤＣＴ回路１１２は逆量子化回路１１１からの画像データを逆直交変換して、直交変換前の画像データ（フレームメモリ１１８から読み出された画像データ）を復元する。この復元された画像データは、後で行なう予測符号化の参照画像となる画像データで、局部復号画像もしくはローカルデコード画像という。
【００１７】
上述したように、Ｉピクチャの符号化時には、動き補償予測回路１０２の出力は零である。そのため、加算器１１３の出力は、ＩＤＣＴ回路１１２が出力する、ローカルデコード画像データと同一である。また、このとき、スイッチ１１４はオンの状態に制御されていて、ローカルデコード画像はフレームメモリ１１８に格納される。
【００１８】
Ｐピクチャの場合、動き補償予測回路１０２に、符号化対象ＭＢのデータがフレームメモリ１１８から入力される。動き補償予測回路１０２は、フレームメモリ１１８に既に格納されている参照画像を読み出しながら、符号化対象ＭＢとの差分が小さくなるブロック（参照ブロック）を検出し、検出したブロックの画像データを出力する。減算器１０３は、フレームメモリ１１８から供給される符号化対象ＭＢの画像データから、動き補償予測回路１０２が出力する、検出された参照ブロックの画像データを減算し、減算結果をＤＣＴ回路１０４へ供給する。
【００１９】
ＤＣＴ回路１０４は減算結果を直交変換し、量子化回路１０５へ供給する。量子化回路１０５は、ＤＣＴ回路１０４が出力する直交変換後の差分データを量子化し、逆量子化回路１１１、および、可変長符号化回路１０６へそれぞれ出力する。
【００２０】
逆量子化回路１１１は、量子化後の差分データを逆量子化して、量子化前の差分データ（直交変換後の差分データ）を復元し、ＩＤＣＴ回路１１２へ供給する。ＩＤＣＴ回路１１２は逆量子化回路１１１からの差分データを逆直交変換して、直交変換前の差分データを復元する。この復元された差分データは、加算器１１３によって参照ブロックの画像データと加算されて、ローカルデコード画像が生成される。このときスイッチ１１４はオンの状態に制御されていて、ローカルデコード画像はフレームメモリ１１８に格納される。
【００２１】
Ｂピクチャの場合、上記のＰピクチャの場合と同様に符号化されるが、Ｂピクチャは予測のための参照画像とはならないため、スイッチ１１４はオフの状態に制御されて、ローカルデコード画像データはフレームメモリ１１８には格納されない。そのため、ローカルデコード画像を生成する必要はなく、本来は逆量子化以降の処理は不要であるが、本実施形態では後述の劣化検出のために、Ｂピクチャであっても逆量子化以降の復号処理（ローカルデコード処理）も行っている。
【００２２】
ピクチャ種別によらず、加算器１１３の出力は、再生時に出力される画像データと同一である。劣化検出回路１１５には、フレームメモリ１１８から減算器１０３へ供給されるＭＢデータ（符号化前画像）と、加算器１１３からフレームメモリ１１８へ供給されるＭＢデータ（再生画像）が入力される。そして、劣化検出回路１１５は、符号化前画像に対する再生画像の劣化度合いを算出する。劣化度合いとして例えば以下の式１に示す、ＰＳＮＲ(Peak Signal-to-Noise Ratio)を用いることができる。
【００２３】
【数１】
式１において、ＮはＭＢデータのデータ数であり、輝度信号の場合Ｎ＝２５６である。Ｃｉは符号化前画像の各画素値、Ｄｉは再生画像の各画素値を示す。ＰＳＮＲ[db]は符号化前画像と符号化後画像の平均二乗誤差の逆数であり、画像の相違（劣化）が大きいほど小さい値を示す。
【００２４】
ユーザが操作部１２２を操作し、動画像記録装置が記録モードに設定されると、システムコントローラ１２０が検知し、スイッチ１０８をオフの状態に制御する。そして、記録開始の指示がなされなくても、上述の符号化処理を実行する。すなわち、通常の記録動作時と同様に符号化処理を行なうが、記録媒体１０９への記録は行わない状態となる。
【００２５】
上述のように、劣化検出回路１１５はＭＢごとにＰＳＮＲを算出しており、算出したＰＳＮＲの値は劣化検出回路１１５内の図示しないバッファに一時記憶される。表示画像生成回路１１６は、ＬＣＤなどの表示部１１７へ表示するための表示画像を生成する。撮像部１０１にて撮像された画像信号は、上述の通り符号化が実行されるまでフレームメモリ１１８に保持されているが、ＰＳＮＲ値のオーバーレイ表示を行うため、符号化実施後も表示が行なわれるまで保持される。
【００２６】
表示画像の全ＭＢに対するＰＳＮＲ値が算出されると、表示画像生成回路１１６は、表示する画像信号をフレームメモリ１１８から読み出す。また、劣化検出回路１１５から表示画像に対応するＰＳＮＲ値を読み出し、ＭＢごとに、表示画像とＰＳＮＲ値に応じたパターンなどとを合成した合成画像を生成し、表示部１１７へ表示する。パターンはハッチングや網掛けなど、どのようなものであっても良いが、表示画像が全く見えなくなるようなものは避けることが好ましい。
【００２７】
図３は、画像信号が入力されてから符号化されて表示部へモニター出力されるまでの、フレームメモリ１１８と、劣化検出回路１１５内のＰＳＮＲバッファのフレーム管理動作を説明するための図である。
【００２８】
図３のにおいて、Ｆ０，Ｆ１，・・・は画像フレームであり、入力画像フレームの上に記載された”Ｉ”，”Ｐ”，”Ｂ”は入力画像フレームが符号化される際のピクチャタイプを示し、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャを表している。フレームメモリ１１８は複数の画像フレームを格納可能であり、太枠で囲まれた画像フレームは符号化フレームを表している。また、Ｆ２’など、ダッシュの付与されたフレームは、ダッシュのないフレームに対応するローカルデコード画像を表している。図３はフレーム管理動作の１例であるが、このようなフレーム管理によって、入力画像とＰＳＮＲ値のオーバーレイ表示が可能である。
【００２９】
劣化検出回路１１５は、画像フレームのＭＢごとのＰＳＮＲ値を計算するとともに、フレーム全体におけるＰＳＮＲ値の合計も計算する。そして、表示画像生成回路１１６は、ＰＳＮＲ値のフレーム全体での合計値に応じて、例えばキャラクタジェネレータなどを用い、画質を表す数値を表示画像に合成する。
【００３０】
表示部１１７に表示される合成画像２０２の例を図２に示す。合成画像２０２は、通常のモニタ表示（表示部１１７を電子ビューファインダとして機能させている際の表示）に重ねて、ＭＢ毎に、ＰＳＮＲ値に応じたパターンを重畳表示している。例えば、ハッチングの濃度が高い程ＰＳＮＲが低く、画質劣化が大きい部分を示している。さらに、フレーム全体のＰＳＮＲ値の合計をキャラクタ表示２０４している。
【００３１】
ユーザは、この合成画像２０２を見ながら、操作部１２２に含まれる画質設定ボタンなどを操作することで、画質、すなわち符号化パラメータを調整することができる。すなわち、システムコントローラ１２０が画質調整の指示入力を検出し、入力された内容をパラメータ設定部１１９へ与える。パラメータ設定部１１９は、与えられた調整内容に応じ、予め定められた符号化パラメータを変更し、変更されるパラメータを使用する各部へ出力される。
【００３２】
符号化パラメータとしては様々なものがあるが、ここでは、例えば、符号化後のデータのビットレートとする。例えば、ユーザから画質を上げるように指示された場合、パラメータ設定部１１９は、符号量制御回路１１０に対し、ビットレートを予め定めた量だけ上昇させるように指示したり、予め定めた値となるように指示する。
【００３３】
符号量制御回路１１０は、指示に応じて例えば量子化回路１０５が用いる量子化テーブルを切り替えることにより、ビットレートを制御する。ビットレートを上げる場合には、より小さい量子化幅にて量子化処理を行なうための量子化テーブルを用いることで、画質を向上させる。
【００３４】
ユーザの操作によって記録開始が指示されると、システムコントローラ１２０がスイッチ１０８をオンの状態に制御し、符号化された画像データは記録回路１０７を介して記録媒体１０９へ記録される。
【００３５】
このように、本実施形態においては、ユーザによる符号化パラメータ変更の結果は、表示部１１７に表示される合成画像２０２に即座に反映される。そのため、ユーザは符号化パラメータ変更の画質に対する影響を確認しながら符号化パラメータ設定をおこなうことができる。
特に、ＭＢごとの劣化度合いを示す情報を、表示画面における被写体の位置に対応づけて表示するので、ユーザは、目的の被写体の画質劣化が所望の度合いになるよう、画質を細かく調整することが可能となる。
【００３６】
また、合成画像２０２において、画像の劣化の度合いをパターンや数値といった客観的な情報により提示するので、表示部１１７の表示面積が小さくても、画質劣化の度合いを正しく把握することが可能である。
【００３７】
なお、本実施形態では、入力画像を用いて合成画像２０２を生成していたが、符号化後の画像を用いて合成画像２０２を生成することにより、より直接的に画質の劣化を把握可能としても良い。その場合は、Ｂピクチャの符号化の場合でもローカルデコード画像をフレームメモリ１１８へ格納するために、Ｂピクチャの符号化時にもスイッチ１１４はオンの状態とし、フレームの管理は、図４のように行えばよい。
【００３８】
また、本実施形態では、ＰＳＮＲ値を劣化検出回路１１５のバッファに記憶するものとしたが、フレームメモリ１１８の一部を使ってＰＳＮＲ値を記憶し、表示画像生成回路１１６は必要なＰＳＮＲ値をフレームメモリ１１８から読み出すようにしてもよい。
【００３９】
さらに、本実施形態では、マクロブロックごとの画質劣化度合いを表示画像に重畳表示したが、例えば表示部１１７が非常に小さい場合など、重畳表示することにより劣化度合いの表示の視認性が低下する場合には、劣化度合いを表す表示のみを行なっても良い。あるいは、表示画像と、劣化度合いを表す表示とを切り替えて表示可能に構成することも可能である。また、劣化度合いが所定の度合いを超えるＭＢについてのみ、重畳表示を行なうようにしてもよい。
【００４０】
（第２の実施形態）
図５は、本発明の第２の実施形態に係る画像処理装置の一例としての動画像記録装置の構成を示すブロック図である。図１に示した動画像記録装置に対して、残量算出回路５０１を追加した構成であり、他の構成は共通であるため重複する説明は省略する。
【００４１】
本実施形態において、残量算出回路５０１へは、記録回路１０７から記録媒体１０９の残り記録可能容量の出力が、符号量制御回路１１０からはビットレートの予測値の出力がそれぞれ供給される。これにより、残量算出回路５０１は、現在の記録画質により、記録媒体に記録可能な残り時間を推定することができる。残り時間は表示画像生成回路１１６へ出力され、キャラクタジェネレータなどによって残り時間を表示画面に合成する。図６に、本実施形態における合成画像２０２の表示例を示す。図２の合成画像に対し、残り時間６０１の表示が加わっていることが分かる。
【００４２】
ユーザが画質調整を行ない、パラメータ設定回路１１９による符号化パラメータ変更が行なわれると、それに応じて符号量制御回路１１０の出力するビットレートが変化する。従って、推定残り時間も直ちに変更され、即座に表示画面に反映される。
その他の動作は、第１の実施形態の動画像記録装置と同様であるため、説明を省略する。
【００４３】
このように、本実施形態によれば、現在設定されている画質で記録可能な時間がリアルタイムに表示される。そのため、第１の実施形態の効果に加え、ユーザは、記録可能残量を考慮しながら、最適な画質を設定することが可能になる。
【００４４】
（第３の実施形態）
図７は、本発明の第３の実施形態に係る画像処理装置の一例としての動画像記録装置の構成を示すブロック図である。劣化検出回路１１５の出力が符号量制御回路１１０へ入力されている点を除き、第２の実施形態に係る動画像記録装置と同一の構成を有するため、共通部分の説明は省略する。
【００４５】
上述の通り、劣化検出回路１１５はＭＢごとにＰＳＮＲ値を算出する。本実施形態では、このＭＢ毎のＰＳＮＲ値を、符号量制御回路１１０へ与える。
【００４６】
上述のように、符号量制御回路１１０は、可変長符号化回路１０６が出力する発生符号量と、ユーザによる画質調整指示の内容に応じてパラメータ設定回路１１９が決定した目標ビットレートに基づいて量子化回路が用いる量子化テーブルを切り替える。
【００４７】
その際、ユーザによる画質調整指示に応じ、より小さい量子化幅にて量子化するＭＢを決定するＰＳＮＲ値の閾値を変化させる。例えば、画質を上げる指示に対しては、ＰＳＮＲ値の閾値を下げることで、より多くのＭＢに対してより小さい量子化幅にて量子化するように制御する。画質を下げる指示に対しては、逆に閾値を上げることで、小さい量子化幅にて量子化するＭＢを少なくさせる。
その他の動作は、第２の実施形態に記載の動画像記録装置の場合と同様であるため、説明を省略する。
【００４８】
このように、本実施形態によれば、すでに十分な画質が得られている部分に対しては符号量の増加率を抑え、画質の劣化が大きなＭＢについてはより小さい量子化幅にて量子化を行うことができるため、符号量の増加を抑制しながら効率的な画質改善を行なうことができる。
【００４９】
（他の実施形態）
なお、上述の実施形態においては、符号化による画質劣化の度合いを表す客観的な指標として、ＰＳＮＲ値を用いた例を説明した。しかし、符号化による画質劣化の度合いを表すことが可能であれば、他の指標を用いることが可能であることは言うまでもない。
例えば、単に符号化前の画像データと復号後の画像データの差分を用いることも可能である。
【００５０】
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
【００５１】
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００５２】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００５３】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００５４】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【００５５】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００５６】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体をユーザに配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを可能とすることも可能である。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【００５７】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
【００５８】
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施形態に係る画像処理装置の一例としての動画像記録装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る動画像記録装置で表示する合成画像の一例を示す図である。
【図３】本発明の第１の実施形態に係る動画像記録装置におけるフレームメモリの管理の例を説明するための図である。
【図４】本発明の第１の実施形態に係る動画像記録装置におけるフレームメモリの管理の別の例を説明するための図である。
【図５】本発明の第２の実施形態に係る画像処理装置の一例としての動画像記録装置の構成例を示すブロック図である。
【図６】本発明の第２の実施形態に係る動画像記録装置が表示する合成画像の一例を示す図である。
【図７】本発明の第３の実施形態に係る画像処理装置の一例としての動画像記録装置の構成例を示すブロック図である。
【特許請求の範囲】
【請求項１】
画像データを入力する入力手段と、
前記入力手段により入力された画像データを不可逆符号化する符号化手段と、
前記符号化された画像データの、前記入力された画像データに対する劣化度合いを検出する劣化検出手段と、
前記入力された画像データもしくは前記符号化された画像データと、前記劣化検出手段により検出された劣化度合いを示す情報とを、表示装置に表示する表示手段とを備える画像処理装置。
【請求項２】
前記表示手段が、前記劣化度合いを示す情報を、前記入力された画像データもしくは前記符号化された画像データを復号した画像データと重畳表示することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記劣化検出手段は、前記入力された画像データまたは符号化された画像データを複数の領域に分割し、前記複数の領域毎に前記劣化度合いを検出すると共に、前記表示手段は前記入力された画像データまたは前記符号化された画像データを復号した画像データにおける各領域に対応した位置に前記各領域の劣化度合いの情報を重畳して表示することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記劣化検出手段は、前記符号化手段により符号化された画像データを局部復号する復号手段を有し、前記局部復号された画像データと符号化前の前記画像データとの差分に基づいて前記劣化の度合いを検出することを特徴とする請求項１記載の画像処理装置。
【請求項５】
さらに、前記符号化された画像データを記録媒体に記録する記録手段と、
前記記録媒体に記録可能な残り時間を推定する推定手段とを有し、
前記表示手段が、前記入力された画像データもしくは前記符号化された画像データを復号した画像データと、前記劣化検出手段により検出された劣化度合いを示す情報に加え、前記推定手段が推定した残り時間を表示することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
ユーザによる画質調整指示に応答して、前記符号化手段が出力するデータ量を制御する符号量制御手段をさらに有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記符号量制御手段が、前記劣化検出手段から前記劣化度合いを取得し、前記画質調整指示に応じた劣化度合いであるか否かに応じて前記データ量を制御することを特徴とする請求項６記載の画像処理装置。
【請求項８】
画像データを入力する入力ステップと、
前記入力手段により入力された画像データを不可逆符号化する符号化ステップと、
前記符号化された画像データの、前記入力された画像データに対する劣化度合いを検出する劣化検出ステップと、
前記入力された画像データもしくは前記符号化された画像データと、前記劣化検出手段により検出された劣化度合いを示す情報とを、表示装置に表示する表示ステップとを備える画像処理方法。
【請求項１】
画像データを入力する入力手段と、
前記入力手段により入力された画像データを不可逆符号化する符号化手段と、
前記符号化された画像データの、前記入力された画像データに対する劣化度合いを検出する劣化検出手段と、
前記入力された画像データもしくは前記符号化された画像データと、前記劣化検出手段により検出された劣化度合いを示す情報とを、表示装置に表示する表示手段とを備える画像処理装置。
【請求項２】
前記表示手段が、前記劣化度合いを示す情報を、前記入力された画像データもしくは前記符号化された画像データを復号した画像データと重畳表示することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記劣化検出手段は、前記入力された画像データまたは符号化された画像データを複数の領域に分割し、前記複数の領域毎に前記劣化度合いを検出すると共に、前記表示手段は前記入力された画像データまたは前記符号化された画像データを復号した画像データにおける各領域に対応した位置に前記各領域の劣化度合いの情報を重畳して表示することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記劣化検出手段は、前記符号化手段により符号化された画像データを局部復号する復号手段を有し、前記局部復号された画像データと符号化前の前記画像データとの差分に基づいて前記劣化の度合いを検出することを特徴とする請求項１記載の画像処理装置。
【請求項５】
さらに、前記符号化された画像データを記録媒体に記録する記録手段と、
前記記録媒体に記録可能な残り時間を推定する推定手段とを有し、
前記表示手段が、前記入力された画像データもしくは前記符号化された画像データを復号した画像データと、前記劣化検出手段により検出された劣化度合いを示す情報に加え、前記推定手段が推定した残り時間を表示することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
ユーザによる画質調整指示に応答して、前記符号化手段が出力するデータ量を制御する符号量制御手段をさらに有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記符号量制御手段が、前記劣化検出手段から前記劣化度合いを取得し、前記画質調整指示に応じた劣化度合いであるか否かに応じて前記データ量を制御することを特徴とする請求項６記載の画像処理装置。
【請求項８】
画像データを入力する入力ステップと、
前記入力手段により入力された画像データを不可逆符号化する符号化ステップと、
前記符号化された画像データの、前記入力された画像データに対する劣化度合いを検出する劣化検出ステップと、
前記入力された画像データもしくは前記符号化された画像データと、前記劣化検出手段により検出された劣化度合いを示す情報とを、表示装置に表示する表示ステップとを備える画像処理方法。
【図１】
【図３】
【図４】
【図５】
【図７】
【図２】
【図６】
【図３】
【図４】
【図５】
【図７】
【図２】
【図６】
【公開番号】特開２００７−３１８２５９（Ｐ２００７−３１８２５９Ａ）
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願番号】特願２００６−１４３３８３（Ｐ２００６−１４３３８３）
【出願日】平成１８年５月２３日（２００６．５．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願日】平成１８年５月２３日（２００６．５．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]