画像処理装置及び画像処理方法
【課題】複数の録画モードを有するビデオカメラなどの画像処理装置における録画ミスを回避する。
【解決手段】録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下となった場合にユーザへ通知することで、ユーザは録画モードの設定を見直すことができる。これによって、如何なる録画モードで動作中であっても録画画質の劣化を検出し、録画ミスを回避可能とする。
【解決手段】録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下となった場合にユーザへ通知することで、ユーザは録画モードの設定を見直すことができる。これによって、如何なる録画モードで動作中であっても録画画質の劣化を検出し、録画ミスを回避可能とする。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ビデオカメラのような入力画像を符号化並びに録画する画像処理装置に関するもので、特に符号化時の符号化レートを切り換えるために複数用意された録画モードの中からユーザが所望の録画モードを選択、指定して録画する画像処理装置に関するものである。
【背景技術】
【０００２】
背景技術に関する説明に入る前に、本発明において使用する語句について幾つか説明する。
【０００３】
まず、”画質”や”画質レベル”について、本発明では、対象とする画像データの品質を指すものであり、主観的若しくは客観的な指標を含んでよい。本発明では客観的な指標の一つとして、基となる画像データ（符号化前の画像データ）と画質（若しくは画質レベル）を評価する対象の画像（符号化及び復号化後の画像データ）とのＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）を挙げている。ＳＮＲが高い場合が、画質（若しくは画質レベル）が高い（若しくは高レベル）、ＳＮＲが低い場合が、画質（若しくは画質レベル）が低い（若しくは低レベル）としている。
【０００４】
次に”符号化レート”について、本発明では、画像データを符号化する際に扱うデータ量を指すものであり、符号化後のデータである符号化画像データのデータ量を示すビットレート、単位時間当たりに符号化するフレーム数を示すフレームレート、符号化前のデータである画像データの画素数などが挙げられる。本発明では符号化レートとして、中でもビットレートを挙げている。
【０００５】
近年、ビデオカメラのような入力画像を符号化並びに記憶媒体に録画する画像処理装置の分野では、録画する画像が標準（ＳＤ：ＳｔａｎｄａｒｄＤｅｆｉｎｉｔｉｏｎ）画質から高精細（ＨＤ：ＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）画質へと、また記憶媒体も磁気テープから光ディスクやハードディスクドライブ、メモリカードなどへ変化し、高画質化並びに機能の多様化が進んでいる。
【０００６】
またそれらの画像処理装置では、画像を符号化する際の符号化レートを切り換えるための複数の録画モードが用意されているケースが多い。
【０００７】
従来は録画モードとして、標準的な画質で録画する標準モードと、標準モードに対して符号化レートを下げることで全体的な録画画質は下がるが長時間録画できる長時間モードといった２種類程度が用意され、ユーザはそのどちらかを選択するといったシンプルな構成だった。
【０００８】
一方近年は録画モードとして、符号化レートは最も高く最高画質で録画するが録画可能な時間は短い最高画質モード、最高画質モードから順に符号化レートを下げていき全体的な録画画質と録画可能な時間のバランスをとった複数の中間的な録画モード、そして符号化レートが最も低く全体的な録画画質も最も低いが最も長時間録画できる長時間モードといった多様な録画モードが用意され、また最高画質モードでの全体的な録画画質と長時間モードでの同画質間の画質差が大きくなっている状態で、ユーザはその中から最も適した録画モードを選択しなければならなくなっている。
【０００９】
上記のように多様な録画モードが用意される状況では、ユーザが録画モードの設定ミスによる録画ミス（本当は最高画質モードで録画したかったのに、間違って長時間モードで録画してしまった等）が十分起こり得る。また上記の通り最高画質モードでの全体的な録画画質と長時間モードでの同画質間の画質差が大きくなっているため、上記録画ミスによる損害も大きい。
【００１０】
上記のような録画ミスを回避するための従来技術として、特許文献１に開示された動画記録装置、動画記録方法がある。
【００１１】
図２０は特許文献１に開示されたデジタルビデオカメラのブロック図である。
【００１２】
図２０に示すデジタルビデオカメラ２００１は、記録媒体２００２、レンズ２００３、ホストコントローラ２００４、撮像部２００５、エンコーダ２００６、記録再生部２００７、表示制御部２００８、表示部２００９から構成されている。
【００１３】
またエンコーダ２００６は、ビットレート計算部２００６Ａ、制御部２００６Ｂ、エンコード部２００６Ｃから、表示制御部２００８は、ビットレートグラフィック出力部２００８Ａ、録画モードメータ上限切替部２００８Ｂから構成されている。
【００１４】
ここでデジタルビデオカメラ２００１では、レンズ２００３がホストコントローラ２００４の制御によりズーム等を可変して入射光を集光し、続く撮像部２００５へ被写体の光学像を形成する。
【００１５】
そして撮像部２００５は、形成された光学像を光電変換処理して動画による撮像結果をビデオ信号Ｓ１により出力する。
【００１６】
エンコーダ２００６では、ホストコントローラ２００４により提示される記録モード（本発明での録画モードと同意）によりビデオ信号Ｓ１を符号化処理することにより、ビデオ信号Ｓ１をデータ圧縮して符号化データＤＦを出力する。
【００１７】
またエンコーダ２００６での符号化処理は、ビットレート計算部２００６Ａ及び制御部２００６Ｂにおける前記記録モードに応じた上限ビットレートＲＡＴＥ ＬＩＭＩＴにより上限値が制限された可変ビットレート（ＶＢＲ）制御と共に、エンコード部２００６Ｃで実行される。
【００１８】
ここでビットレート計算部２００６Ａ及び制御部２００６Ｂは、符号化処理による発生符号量を監視すると共に、この監視結果によりエンコード部２００６Ｃを制御することで発生符号量を調整する。
【００１９】
またビットレート計算部２００６Ａでは、前記監視結果を基に所定時間単位の平均ビットレートであるＧＯＰ＿ＲＡＴＥを算出し、制御部２００６Ｂ及び表示制御部２００８へ通知する。
【００２０】
制御部２００６Ｂは、通知された平均ビットレートＧＯＰ＿ＲＡＴＥを、前記記録モードに応じた上限ビットレートＲＡＴＥ＿ＬＩＭＩＴと比較判定し、ＧＯＰ＿ＲＡＴＥがＲＡＴＥ＿ＬＩＭＩＴを上回っている状態、すなわち記録モード相当の画質を維持出来なくなった状態を録画画質が低下していると判断する。
【００２１】
表示制御部２００８は、表示部２００９を駆動する駆動回路であり、撮像部２００５から出力されるビデオ信号Ｓ１を表示部９で表示する。
【００２２】
また表示制御部２００８は、ビットレートグラフィック出力部２００８Ａにより表示部２００９上に画質の状態を示す平均ビットレートＧＯＰ＿ＲＡＴＥの情報を表示し、記録モードメータ上限切替部２００８Ｂにより画質劣化の基準とする前記記録モードに応じた上限ビットレートＲＡＴＥ＿ＬＩＭＩＴに対応するマークを表示する。
【００２３】
ここで上記平均ビットレートＧＯＰ＿ＲＡＴＥ表示が、前記記録モードに応じた上限ビットレートＲＡＴＥ＿ＬＩＭＩＴに対応するマークを超えるかどうかで、ユーザへ記録モードに対する録画画質の劣化度合いを通知し、ユーザはそれを見て記録モードを変更するなどの対応を取る事で劣化した画質での録画を続けるという録画ミスを回避する。
【特許文献１】特開２００７―１４２８０５号公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
しかしながら上述した従来の技術による動画記録装置、動画記録方法は、録画画質の劣化度合いを判定する基準が記録モードに依存したパラメータ（ここでは記録モードに応じて決定された上限ビットレート）となっており、記録モード相当の画質を維持出来ている間（例えば長時間モードで録画中に長時間モード相当の画質を維持出来ている間）は録画画質が劣化したと判断しない。その場合、（本当は最高画質モードで録画したかったのに、録画モード設定ミスにより長時間モードで録画してしまったという）録画ミスが発生しても、ユーザにそれを通知出来ない可能性があるという課題を有していた。
【００２５】
本発明は、上記従来の課題を解決するもので、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても録画画質の劣化を検出し、録画ミスを回避可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００２６】
上記従来の課題を解決するために、本発明の画像処理装置は、
入力する画像データ及び後述する符号化部より出力される符号化画像データ並びに前記符号化画像データを復号化した復号化画像データを記憶するメモリと、
前記メモリに記憶された画像データ並びに前フレームの復号化画像データ、後述する録画モード記憶部に記憶された符号化用録画モードを入力し、前記符号化用録画モードに対応する符号化レートで前記画像データを符号化した符号化画像データ並びに前記符号化画像データを復号化した復号化画像データを前記メモリに出力、また前記復号化画像データの画質を示す符号化情報を後述する符号化情報記憶部に出力する符号化部と、
前記符号化部より入力する前記符号化情報を所定期間分記憶する符号化情報記憶部と、
前記復号化画像データの画質を判定するための基準とする前記符号化用録画モードに依存しない第１の基準画質レベル及び第２の基準画質レベルの何れか又は両方を記憶する画質レベル記憶部と、
前記符号化情報記憶部に記憶された符号化情報を入力し、前記復号化画像データの画質レベル決定、記憶する画質検出部と、
複数用意された録画モード並びにその中で前記符号化部での符号化における符号化レートを指定するためにユーザが指定した符号化用録画モードを記憶する録画モード記憶部と、
前記録画モード記憶部に記憶された複数用意された録画モード並びに符号化用録画モード、及び前記画質レベル記憶部に記憶された第１並びに第２の基準画質レベル、及び前記画質検出部に記憶された画質レベルを入力し、前記画質レベルが前記第１の基準画質レベルより低レベルである場合は前記符号化用録画モードをより符号化レートの高い録画モードに変更するように、また前記画質レベルが前記第２の基準画質レベルより高レベルである場合は前記符号化用録画モードをより符号化レートの低い録画モードに変更するように、後述する表示部へメッセージを出力しユーザへ通知する録画モード制御部と、
前記メモリに記憶された画像データ並びに前記録画モード制御部より出力されるメッセージを表示する表示部とを備える。
【００２７】
本構成によって、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても録画モードに依存しない録画画質の劣化を検出し、録画ミスを回避可能となる。
【発明の効果】
【００２８】
本発明によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても録画モードに依存しない録画画質の劣化を検出し、録画ミスを回避可能な画像処理装置及び画像処理方法を提供できる。
【発明を実施するための最良の形態】
【００２９】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００３０】
（実施の形態１）
図１は、本発明の実施の形態１における画像処理装置１００のブロック図である。
【００３１】
図１に示すように画像処理装置１００は、メモリ１０１、符号化部１０２、符号化情報記憶部１０３、画質レベル記憶部１０４、画質検出部１０５、録画モード記憶部１０６、録画モード制御部１０７、表示部１０８を備える。
【００３２】
メモリ１０１は、外部より入力される画像データ１０９、符号化部１０２から出力され外部へ出力される符号化画像データ１１０、そして符号化部１０２から出力される復号化画像データ１１４を記憶する。
【００３３】
符号化部１０２は、メモリ１０１に記憶された画像データ１０９並びに前フレームの復号化画像データ１１３、録画モード記憶部１０６に記憶された符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４をメモリ１０１に出力、また復号化画像データ１１４の画質を示す符号化情報１１６を取得し符号化情報記憶部１０３へ出力する。
【００３４】
符号化情報記憶部１０３は、符号化部１０２より出力される符号化情報１１６を所定期間分記憶する。
【００３５】
画質レベル記憶部１０４は、符号化部１０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【００３６】
画質検出部１０５は、符号化情報記憶部１０３に記憶される所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【００３７】
録画モード記憶部１０６は、複数用意された録画モード１１９並びにその中で符号化部１０２での符号化における符号化レートを指定するために図示しない操作部を介してユーザが指定した録画モード１１２を符号化用録画モード１１５として記憶する。
【００３８】
録画モード制御部１０７は、録画モード記憶部１０６に記憶された複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶部１０４に記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出部１０５に記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように、表示部１０８へメッセージ１２３を出力しユーザへ通知する。
【００３９】
表示部１０８は、通常はメモリ１０１に記憶された画像データ１０９を表示し、録画モード制御部１０７よりメッセージ１２３の出力があった場合にはその内容を画像データ１０９に重畳して表示する。
【００４０】
以下、各処理部毎に詳細に説明する。
【００４１】
まずユーザにより指定された録画モード１１２を、録画モード記憶部１０６に符号化用録画モード１１５として記憶する。
【００４２】
図２に録画モード記憶部１０６に記憶された複数の録画モード１１９を示す。
【００４３】
図２に示すように本実施の形態では、最高画質での録画が可能なモード番号１のＸＰモードから、順に全体的な録画画質は低くなるが長時間の録画が可能となるモード番号２のＳＰモード、モード番号３のＬＰモード、そして最も全体的な録画画質は低いが最も長時間録画可能となるモード番号４のＥＰモード、全部で４種類の録画モードが用意されており、ユーザはこの中から所望のモードを録画モード１１２として指定する。
【００４４】
ここではユーザによりモード番号４のＥＰモードが指定され、符号化用録画モード１１５として記憶されているものとする。
【００４５】
図１を用いた説明に戻る。
【００４６】
以降、画像データ１０９がフレーム単位で入力され、それを起点に各処理が実行される。
【００４７】
まず画像データ１０９が入力され、メモリ１０１に記憶される。
【００４８】
図３（ａ）に画像データ１０９（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【００４９】
図３（ａ）に示すように本実施の形態では、画像データ１０９として水平１６画素×垂直１６画素の計２５６画素であり、各画素は符号無し８ビット整数（取り得る値は０〜２５５）で表現されるものとする。
【００５０】
図１を用いた説明に戻る。
【００５１】
次に符号化部１０２は、メモリ１０１に記憶された画像データ１０９並びに前フレームの復号化画像データ１１３（最初のフレームに対する符号化の場合は使用しない）、録画モード記憶部１０６に記憶された符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４をメモリ１０１に出力、また復号化画像データ１１４の画質を示す符号化情報１１６を取得し符号化情報記憶部１０３へ出力する。
【００５２】
図４に符号化部１０２のブロック図を示す。
【００５３】
図４に示すように符号化部１０２は、動き検出処理部４０１、動き補償処理部４０２、差分器４０３、ＤＣＴ処理部４０４、量子化処理部４０５、逆量子化処理部４０６、逆ＤＣＴ処理部４０７、再構成処理部４０８、可変長符号化処理部４０９、スイッチ４１０、レート制御部４１１、符号化情報取得部４１２を備える。
【００５４】
レート制御部４１１は、録画モード記憶部１０６に記憶されている符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定、また可変長符号化処理部４０９から入力する符号化画像データサイズ４１５を基に可変長符号化処理部４０９から出力される符号化画像データ１１０のデータ量が符号化レートに近づくように、量子化処理部４０５並びに逆量子化処理部４０６で使用される量子化ステップ４１４を制御する。
【００５５】
動き検出処理部４０１は、メモリ１０１に記憶されている画像データ１０９と前フレームの復号画像データ１１３とを用いて動きベクトル４２３を検出する。
【００５６】
動き補償処理部４０２は、動き検出処理部４０１が検出した動きベクトル４２３とメモリ１０１に記憶されている前フレームの復号化画像データ１１３とを用いて、予測画像データ４２２を生成する。
【００５７】
ＤＣＴ処理部４０４への入力４１３は、スイッチ４１０によって画像データ１０９又は画像データ１０９と予測画像データ４２２の差分の何れかに切り換えられる。ここでスイッチ４１０は、一方が選択された場合は出力として全て０を出力し、他方が選択された場合は出力として予測画像データ４２２が出力され、最初のフレームに対する符号化の場合は前者（出力として全て０）、それ以外の場合は後者（出力として予測画像データ４２２）が選択されるように制御されるものとする。
【００５８】
ＤＣＴ処理部４０４は、入力４１３をＤＣＴ処理して、ＤＣＴ係数４１７を出力する。
【００５９】
量子化処理部４０５は、ＤＣＴ係数４１７を量子化ステップ４１４を用いて量子化して、量子化ＤＣＴ係数４１６を出力する。
【００６０】
逆量子化処理部４０６は、量子化ＤＣＴ係数４１６を量子化ステップ４１４を用いて逆量子化して、逆量子化ＤＣＴ係数４２０を出力する。
【００６１】
逆ＤＣＴ処理部４０７は、逆量子化ＤＣＴ係数４２０を逆ＤＣＴ処理して、逆ＤＣＴ係数４２１を出力する。
【００６２】
再構成処理部４０８への入力４２４は、スイッチ４１０によって全て０又は予測画像データ４２２の何れかに切り換えられる。
【００６３】
再構成処理部４０８は、入力４２４と逆ＤＣＴ係数４２１を加算して、復号化画像データ１１４を生成しメモリ１０１に出力する。
【００６４】
可変長符号化処理部４０９は、量子化処理部４０５が出力した量子化ＤＣＴ係数４１６と動き検出処理部４０１が検出した動きベクトル４２３とを可変長符号化して、符号化画像データ１１０をメモリ１０１に出力し、また符号化画像データ１１０のデータ量を示す符号化画像データサイズ４１５をレート制御部４１１に出力する。
【００６５】
符号化情報取得部４１２は、復号化画像データ１１４の画質を示す符号化情報１１６を取得して、符号化情報記憶部１０３へ出力する。
【００６６】
以下、符号化部１０２における具体的な動作説明を行う。
【００６７】
なお本発明の主張するところに関わる符号化用録画モード１１５並びに復号化画像データ１１４の画質を示す符号化情報１１６を取得する符号化情報取得部４１２以外の符号化処理については、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の国際標準規格である画像符号化方式や様々なレート制御方式など、公知の技術による実施で何ら問題ないため、その詳細な説明は省略する。
【００６８】
まずレート制御部４１１は、録画モード記憶部１０６に記憶されている符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定する。
【００６９】
図５にレート制御部４１１に記憶された複数の録画モード１１９に対応する符号化レート５００を示す。
【００７０】
図５に示すように本実施の形態では、録画モード１１９に対応する符号化レート５００として、目標とする単位時間（１秒）当たりの符号化画像データ１１０の出力データ量（ｂｉｔ数）である目標ビットレート（単位はｂｉｔ／ｓｅｃｏｎｄ）及び最初のフレームに対する符号化での量子化ステップ４１４として適用する初期量子化ステップが記憶され、モード番号１〜４の各録画モードに対する（目標ビットレート、初期量子化ステップ）はそれぞれ、モード番号１＝（１６，０００ｂｉｔ／ｓｅｃｏｎｄ、２）、モード番号２＝（８，０００ｂｉｔ／ｓｅｃｏｎｄ、４）、モード番号３＝（４，０００ｂｉｔ／ｓｅｃｏｎｄ、８）、モード番号４＝（２，０００ｂｉｔ／ｓｅｃｏｎｄ、１６）であるものとする。
【００７１】
レート制御部４１１では、録画モード記憶部１０６に記憶されている符号化用録画モード１１５に対応する（目標ビットレート、初期量子化ステップ）を符号化レート５００の中から取得し、使用する。
【００７２】
図４を用いた説明に戻る。
【００７３】
本実施の形態では、符号化用録画モード１１５としてモード番号４のＥＰモードが記憶されているため、符号化レート（目標ビットレート、初期量子化ステップ）として（２，０００ｂｉｔ／ｓｅｃｏｎｄ、１６）を決定し、以降レート制御部４１１では、前記符号化レートを用いて所定のレート制御方式により、量子化ステップ４１４を制御する。
【００７４】
次に動き検出処理部４０１は、メモリ１０１に記憶されている画像データ１０９と前フレームの復号画像データ１１３とを用いて動きベクトル４２３を検出する。
【００７５】
次に動き補償処理部４０２は、動き検出処理部４０１が検出した動きベクトル４２３とメモリ１０１に記憶されている前フレームの復号化画像データ１１３とを用いて、予測画像データ４２２を生成する。
【００７６】
次にＤＣＴ処理部４０４は、スイッチ４１０によって切り換えられた入力４１３（最初のフレームに対する符号化の場合画像データ１０９、それ以外の場合画像データ１０９と予測画像４２２の差分）をＤＣＴ処理して、ＤＣＴ係数４１７を出力する。
【００７７】
次に量子化処理部４０５は、ＤＣＴ係数４１７を、量子化ステップ４１４を用いて量子化して、量子化ＤＣＴ係数４１６を出力する。
【００７８】
次に逆量子化処理部４０６は、量子化ＤＣＴ係数４１６を、量子化ステップ４１４を用いて逆量子化して、逆量子化ＤＣＴ係数４２０を出力する。
【００７９】
次に逆ＤＣＴ処理部４０７は、逆量子化ＤＣＴ係数４２０を逆ＤＣＴ処理して、逆ＤＣＴ係数４２１を出力する。
【００８０】
次に再構成処理部４０８は、スイッチ４１０によって切り換えられた入力４２４（最初のフレームに対する符号化の場合全て０、それ以外の場合予測画像データ４２２）と逆ＤＣＴ係数４２１を加算して、復号化画像データ１１４を生成しメモリ１０１に出力する。
【００８１】
図３（ｂ）に復号化画像データ１１４（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【００８２】
次に可変長符号化処理部４０９は、量子化処理部４０５が出力した量子化ＤＣＴ係数４１６と動き検出処理部４０１が検出した動きベクトル４２３とを可変長符号化して、符号化画像データ１１０をメモリ１０１に出力し、また符号化画像データ１１０のデータ量を示す符号化画像データサイズ４１５をレート制御部４１１に出力する。
【００８３】
次に符号化情報取得部４１２は、画像データ１０９及び復号画像データ１１４を入力し、復号化画像データ１１４の画質を示す符号化情報１１６として、画像データ１０９と復号画像データ１１４のＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）（単位はｄＢ）を算出し、符号化情報１１６として符号化情報記憶部１０３へ出力する。
【００８４】
（数１）にＳＮＲ算出式を示し、ｉは画像データ１０９及び復号画像データ１１４の左端画素を０とし右側へ１画素ずれることに１増加する水平方向の画素単位位置（画像データ１０９及び復号画像データ１１４は水平１６画素であるためｉは０〜１５を取り得る）、ｊは画像データ１０９及び復号画像データ１１４の上端画素を０とし下側へ１画素ずれるごとに１増加する垂直方向の画素単位位置（画像データ１０９及び復号画像データ１１４は垂直１６画素であるためｊは０〜１５を取り得る）、ｙ（ｉ，ｊ）は画像データ１０９におけるｉ及びｊで表される位置の画素値、ｙ’（ｉ，ｊ）は復号画像データ１１４におけるｉ及びｊで表される位置の画素値を示す。
【００８５】
【数１】
【００８６】
ここで数１に示す算出式を用いて図３（ａ）及び図３（ｂ）に示す画像データ１０９と復号画像データ１１４のＳＮＲを算出すると、６ｄＢ（小数点以下は四捨五入）となる。
【００８７】
図１を用いた説明に戻る。
【００８８】
符号化情報記憶部１０３は、符号化部１０２より出力される符号化情報１１６を所定期間分記憶する。
【００８９】
図６に符号化情報記憶部１０３に記憶される所定期間の符号化情報１１７を示す。
【００９０】
ここで図６（ａ）は符号化部１０２より出力される符号化情報１１６の時間経過による遷移を示し、また図６（ｂ）に図６（ａ）に示した符号化情報１１６の時間経過による遷移中の４つのポイントＡ、Ｂ、Ｃ、Ｄでの符号化情報記憶部１０３に記憶される所定期間の符号化情報１１７の状態を示す。
【００９１】
図６（ｂ）に示すように本実施の形態では、所定期間の符号化情報１１７として、ある時刻から過去に遡って最新の５つ（最も過去の符号化情報を符号化情報Ｎ−４、最新の符号化情報まで順にＮ−３、Ｎ−２、Ｎ−１、Ｎ）の符号化情報１１６（画像データ１０９と復号画像データ１１４のＳＮＲ）を常に記憶する。新しい符号化情報１１６が入力された場合、既に記憶されている符号化情報を一つずつずらし（符号化情報Ｎ−４に符号化情報Ｎ−３を格納、符号化情報Ｎ−３に符号化情報Ｎ−２を格納、符号化情報Ｎ−２に符号化情報Ｎ−１を格納、符号化情報Ｎ−１に符号化情報Ｎを格納）、新しい符号化情報１１６を符号化情報Ｎに格納する。なお符号化開始当初など、５つ分の符号化情報１１６が入力されていない場合には、初期値として取り得る最大値（ここではＭＡＸ（３１）とする）を記憶しておくようにする。
【００９２】
ポイントＡでは、符号化開始当初の状態を示し、最新の４つの符号化情報１１６（６，６，７，８）が符号化情報Ｎ−３〜Ｎに記憶されており、符号化情報Ｎ−４には初期値ＭＡＸ（３１）が記憶されている。
【００９３】
またポイントＢでは、最新の５つの符号化情報１１６（５，５，５，４，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【００９４】
またポイントＣでは、最新の５つの符号化情報１１６（５，４，４，３，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【００９５】
またポイントＤでは、最新の５つの符号化情報１１６（１０，１２，１２，１３，１３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【００９６】
図１を用いた説明に戻る。
【００９７】
画質レベル記憶部１０４は、符号化部１０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【００９８】
本実施の形態では、第１の基準画質レベル１２１並びに第２の基準画質レベル１２２として画像データ１０９と復号画像データ１１４のＳＮＲを記憶しており、それぞれの値は４ｄＢ、１２ｄＢであるものとする。
【００９９】
画質検出部１０５は、符号化情報記憶部１０３に記憶される所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【０１００】
上記の通り、符号化情報記憶部１０３には所定期間分の符号化情報１１７として最新の５つの符号化情報１１６（画像データ１０９と復号画像データ１１４のＳＮＲ）を記憶しており、画質検出部１０５ではそれらを入力して画質レベル１１８を決定する。
【０１０１】
本実施の形態では、画質レベル１１８は入力される最新の５つの符号化情報１１６（画像データ１０９と復号画像データ１１４のＳＮＲ）の平均値であるものとする。
【０１０２】
そうすると図６（ｂ）に示した４つのポイントＡ〜Ｄそれぞれにおける画質レベル１１８は、ポイントＡでは１１．６（＝（３１＋６＋６＋７＋８）／５、小数点第２以下は四捨五入、以下同様）（単位はｄＢ、以下同様）、ポイントＢでは４．４（＝（５＋５＋５＋４＋３）／５）、ポイントＣでは３．８（＝（５＋４＋４＋３＋３）／５）、ポイントＤでは１２．０（＝（１０＋１２＋１２＋１３＋１３）／５）となる。
【０１０３】
録画モード制御部１０７は、録画モード記憶部１０６に記憶された複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶部１０４に記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出部１０５に記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように、表示部１０８へメッセージ１２３を出力しユーザへ通知する。
【０１０４】
図７に録画モード制御部１０７での処理フロー図を示す。
【０１０５】
図７に示すように録画モード制御部１０７での処理は、画質レベル１１８が第１の基準画質レベル１２１以下であるかを判定する画質レベル判定ステップ７０１、画質レベル１１８が第２の基準画質レベル１２２以上であるかを判定する画質レベル判定ステップ７０２、画質レベル判定ステップ７０１での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が１のＸＰモード（最高画質での録画が可能なモード）であるかを判定する符号化用録画モード判定ステップ７０３、符号化用録画モード判定ステップ７０３での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの高い録画モード（現在のモード番号−１の録画モード）に変更するように表示部１０８へメッセージ１２３を出力するメッセージ出力ステップ７０４、画質レベル判定ステップ７０２での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が４のＥＰモード（最も全体的な録画画質は低いが最も長時間録画可能なモード）であるかを判定する符号化用録画モード判定ステップ７０５、符号化用録画モード判定ステップ７０５での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの低い録画モード（現在のモード番号＋１の録画モード）に変更するように表示部１０８へメッセージ１２３を出力するメッセージ出力ステップ７０６を備える。
【０１０６】
以下、図６（ｂ）に示した４つのポイントＡ〜Ｄそれぞれにおける処理の流れについて説明する。
【０１０７】
ポイントＡでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１１．６ｄＢとなっている。
【０１０８】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１１．６ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０１０９】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１１．６ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０１１０】
ポイントＢでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は４．４ｄＢとなっている。
【０１１１】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が４．４ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０１１２】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が４．４ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０１１３】
ポイントＣでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は３．８ｄＢとなっている。
【０１１４】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が３．８ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は肯定的となり、符号化用録画モード判定ステップ７０３へ遷移する。
【０１１５】
次に符号化用録画モード判定ステップ７０３での判定は、符号化用録画モード１１５がモード番号４のＥＰモードであることから判定結果は否定的となり、メッセージ出力ステップ７０４へ遷移する。
【０１１６】
次にメッセージ出力ステップ７０４では、符号化用録画モード１１５がモード番号４のＥＰモードであることから、モード番号３のＬＰモードへ変更するように表示部１０８へメッセージ１２３を出力し、処理を終了する。
【０１１７】
ポイントＤでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１２．０ｄＢとなっている。
【０１１８】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１２．０ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０１１９】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１２．０ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は肯定的となり符号化用録画モード判定ステップ７０５へ遷移する。
【０１２０】
次に符号化用録画モード判定ステップ７０５での判定は、符号化用録画モード１１５がモード番号４のＥＰモードであることから判定結果は肯定的となり処理を終了する。
【０１２１】
図１を用いた説明に戻る。
【０１２２】
表示部１０８は、通常はメモリ１０１に記憶された画像データ１０９を表示し、録画モード制御部１０７よりメッセージ１２３の出力があった場合にはその内容を画像データ１０９に重畳して表示する。
【０１２３】
図８（ａ）、（ｂ）に表示部１０８で表示する表示画面例（録画モード制御部１０７からのメッセージ１２３出力がない場合（図６（ｂ）でのポイントＡ、Ｂ、Ｄ）、メッセージ１２３出力がある場合（図６（ｂ）でのポイントＣ））を示す。
【０１２４】
図８（ｂ）に示すように、録画モード制御部１０７からのメッセージ１２３出力がある場合には、表示画面の上部に録画モード変更を促す表示がなされる。
【０１２５】
ユーザは本表示を見て、録画画質の確認並びに必要に応じて録画モード１１２での指示により符号化用録画モード１１５をより符号化レートの高い録画モードに変更する。
【０１２６】
なお本実施の形態では、復号化画像データ１１４の画質レベル１１８を計る指標である符号化情報１１６としてＳＮＲを用いたが、それ以外の画質レベルを計る指標を用いても同様の効果が得られる。
【０１２７】
また本実施の形態では、録画モードに対応する符号化レート５００として目標ビットレート及び初期量子化ステップを定義したが、それ以外のフレームレートや画像データ１０９の画素数などの符号化時の条件を定義し、録画モード変更に応じてそれらの条件が変化するようにしてもよい。
【０１２８】
また本実施の形態では、復号化画像データ１１４の画質レベル１１８の基準として使用する第１の基準画質レベル１２１並びに第２の基準画質レベル１２２として固定的な値を使用したが、符号化用録画モード１１５や画質レベル１１８若しくはそれ以外の符号化時に得られる情報などに合わせて動的に変化する値を用いてもよい。
【０１２９】
また本実施の形態では、符号化用録画モード１１５を変更するようにメッセージを出力する際に現在の符号化用録画モード１１５に隣接する録画モード（モード番号の変化の絶対値が１となる録画モード）にのみ実施しているが、符号化用録画モード１１５や画質レベル１１８などに合わせてそれ以上のモード変更をするようにしてもよい。
【０１３０】
また本実施の形態では、画質レベル１１８を決定する際に使用する所定期間の符号化情報１１７としてある時刻から過去に遡って最新の５つの符号化情報１１６の平均値としているが、期間を変更（動的な変更含む）や重み付きの平均値（重み付けの変更含む）とするなど、別の画質レベルの遷移を計る指標としてもよい。
【０１３１】
また本実施の形態では、符号化開始当初など（図６に示すポイントＡ）符号化部１０２より出力される符号化情報１１６が所定期間分（５つ）記憶されていない場合に初期値を用いた計算を行っているが、別の値を使用したり符号化情報１１６は所定期間分記憶されていない場合は、本発明に示す処理をスキップするとしてもよい。
【０１３２】
以上のように本実施の形態によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても録画画質の劣化を検出し、録画ミスを回避可能となる。
【０１３３】
（実施の形態２）
本発明の実施の形態２における画像処理装置は実施の形態１で示した図１と同一に構成され、共通な点については一部説明を省略する。
【０１３４】
以下、各処理部毎に詳細に説明する。
【０１３５】
まずユーザにより指定された録画モード１１２を、録画モード記憶部１０６に符号化用録画モード１１５として記憶する。
【０１３６】
本実施の形態における録画モード記憶部１０６に記憶された複数の録画モード１１９は実施の形態１で示した図２と同一に構成される。
【０１３７】
ここではユーザによりモード番号２のＳＰモードが指定され、符号化用録画モード１１５として記憶されているものとする。
【０１３８】
以降、画像データ１０９がフレーム単位で入力され、それを起点に各処理が実行される。
【０１３９】
まず画像データ１０９が入力され、メモリ１０１に記憶される。
【０１４０】
画像データ１０９（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成は実施の形態１で示した図３（ａ）と同一に構成される。
【０１４１】
次に符号化部１０２は、メモリ１０１に記憶された画像データ１０９並びに前フレームの復号化画像データ１１３（最初のフレームに対する符号化の場合は使用しない）、録画モード記憶部１０６に記憶された符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４をメモリ１０１に出力、また復号化画像データ１１４の画質を示す符号化情報１１６を取得し符号化情報記憶部１０３へ出力する。
【０１４２】
符号化部１０２は実施の形態１で示した図４と同一に構成される。
【０１４３】
以下、符号化部１０２における具体的な動作説明を行う。
【０１４４】
まずレート制御部４１１は、録画モード記憶部１０６に記憶されている符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定する。
【０１４５】
レート制御部４１１に記憶された複数の録画モード１１９に対応する符号化レート５００は実施の形態１で示した図５と同一に構成される。
【０１４６】
レート制御部４１１では、録画モード記憶部１０６に記憶されている符号化用録画モード１１５に対応する（目標ビットレート、初期量子化ステップ）を符号化レート５００の中から取得し、使用する。
【０１４７】
本実施の形態では、符号化用録画モード１１５としてモード番号２のＳＰモードが記憶されているため、符号化レート（目標ビットレート、初期量子化ステップ）として（８，０００ｂｉｔ／ｓｅｃｏｎｄ、４）を決定し、以降レート制御部４１１では、前記符号化レートを用いて所定のレート制御方式により、量子化ステップ４１４を制御する。
【０１４８】
次に動き検出処理部４０１は、メモリ１０１に記憶されている画像データ１０９と前フレームの復号画像データ１１３とを用いて動きベクトル４２３を検出する。
【０１４９】
次に動き補償処理部４０２は、動き検出処理部４０１が検出した動きベクトル４２３とメモリ１０１に記憶されている前フレームの復号化画像データ１１３とを用いて、予測画像データ４２２を生成する。
【０１５０】
次にＤＣＴ処理部４０４は、スイッチ４１０によって切り換えられた入力４１３（最初のフレームに対する符号化の場合画像データ１０９、それ以外の場合画像データ１０９と予測画像４２２の差分）をＤＣＴ処理して、ＤＣＴ係数４１７を出力する。
【０１５１】
図９（ａ）にＤＣＴ係数４１７（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【０１５２】
次に量子化処理部４０５は、ＤＣＴ係数４１７を量子化ステップ４１４を用いて量子化して、量子化ＤＣＴ係数４１６を出力する。
【０１５３】
次に逆量子化処理部４０６は、量子化ＤＣＴ係数４１６を量子化ステップ４１４を用いて逆量子化して、逆量子化ＤＣＴ係数４２０を出力する。
【０１５４】
図９（ｂ）に逆量子化ＤＣＴ係数４２０（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【０１５５】
次に逆ＤＣＴ処理部４０７は、逆量子化ＤＣＴ係数４２０を逆ＤＣＴ処理して、逆ＤＣＴ係数４２１を出力する。
【０１５６】
次に再構成処理部４０８は、スイッチ４１０によって切り換えられた入力４２４（最初のフレームに対する符号化の場合全て０、それ以外の場合予測画像データ４２２）と逆ＤＣＴ係数４２１を加算して、復号化画像データ１１４を生成しメモリ１０１に出力する。
【０１５７】
次に可変長符号化処理部４０９は、量子化処理部４０５が出力した量子化ＤＣＴ係数４１６と動き検出処理部４０１が検出した動きベクトル４２３とを可変長符号化して、符号化画像データ１１０をメモリ１０１に出力し、また符号化画像データ１１０のデータ量を示す符号化画像データサイズ４１５をレート制御部４１１に出力する。
【０１５８】
次に符号化情報取得部４１２は、ＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０を入力し、復号化画像データ１１４の画質を示す符号化情報１１６として、ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）（単位はｄＢ）を算出し、符号化情報１１６として符号化情報記憶部１０３へ出力する。
【０１５９】
数１にＳＮＲ算出式を示し、ｉはＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０の左端係数を０とし右側へ１係数ずれることに１増加する水平方向の係数単位位置（ＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０は水平１６係数であるためｉは０〜１５を取り得る）、ｊはＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０の上端係数を０とし下側へ１係数ずれるごとに１増加する垂直方向の係数単位位置（ＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０は垂直１６係数であるためｊは０〜１５を取り得る）、ｙ（ｉ，ｊ）はＤＣＴ係数４１７におけるｉ及びｊで表される位置の係数値、ｙ’（ｉ，ｊ）は逆量子化ＤＣＴ係数４２０におけるｉ及びｊで表される位置の係数値を示す。
【０１６０】
ここで数１に示す算出式を用いて図９（ａ）及び図９（ｂ）に示すＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲを算出すると、１４ｄＢ（小数点以下は四捨五入）となる。
【０１６１】
図１を用いた説明に戻る。
【０１６２】
符号化情報記憶部１０３は、符号化部１０２より出力される符号化情報１１６を所定期間分記憶する。
【０１６３】
図１０に符号化情報記憶部１０３に記憶される所定期間の符号化情報１１７を示す。
【０１６４】
ここで図１０（ａ）は符号化部１０２より出力される符号化情報１１６の時間経過による遷移を示し、また図１０（ｂ）に図１０（ａ）に示した符号化情報１１６の時間経過による遷移中の３つのポイントＡ、Ｂ、Ｃでの符号化情報記憶部１０３に記憶される所定期間の符号化情報１１７の状態を示す。
【０１６５】
図１０（ｂ）に示すように本実施の形態では、所定期間の符号化情報１１７として、ある時刻から過去に遡って最新の５つ（最も過去の符号化情報を符号化情報Ｎ−４、最新の符号化情報まで順にＮ−３、Ｎ−２、Ｎ−１、Ｎ）の符号化情報１１６（ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ）を常に記憶する。新しい符号化情報１１６が入力された場合、既に記憶されている符号化情報を一つずつずらし（符号化情報Ｎ−４に符号化情報Ｎ−３を格納、符号化情報Ｎ−３に符号化情報Ｎ−２を格納、符号化情報Ｎ−２に符号化情報Ｎ−１を格納、符号化情報Ｎ−１に符号化情報Ｎを格納）、新しい符号化情報１１６を符号化情報Ｎに格納する。なお符号化開始当初など、５つ分の符号化情報１１６が入力されていない場合には、初期値として取り得る最小値（ここではＭＩＮ（１）とする）を記憶しておくようにする。
【０１６６】
ポイントＡでは、符号化開始当初の状態を示し、最新の４つの符号化情報１１６（１４，１２，１２，１０）が符号化情報Ｎ−３〜Ｎに記憶されており、符号化情報Ｎ−４には初期値ＭＩＮ（１）が記憶されている。
【０１６７】
またポイントＢでは、最新の５つの符号化情報１１６（１０，１１，１１，１１，１２）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０１６８】
またポイントＣでは、最新の５つの符号化情報１１６（１１，１２，１２，１２，１３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０１６９】
図１を用いた説明に戻る。
【０１７０】
画質レベル記憶部１０４は、符号化部１０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【０１７１】
本実施の形態では、第１の基準画質レベル１２１並びに第２の基準画質レベル１２２としてＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲを記憶しており、それぞれの値は４ｄＢ、１２ｄＢであるものとする。
【０１７２】
画質検出部１０５は、符号化情報記憶部１０３に記憶される所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【０１７３】
上記の通り、符号化情報記憶部１０３には所定期間分の符号化情報１１７として最新の５つの符号化情報１１６（ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ）を記憶しており、画質検出部１０５ではそれらを入力して画質レベル１１８を決定する。
【０１７４】
本実施の形態では、画質レベル１１８は入力される最新の５つの符号化情報１１６（ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ）の平均値であるものとする。
【０１７５】
そうすると図１０（ｂ）に示した３つのポイントＡ〜Ｃそれぞれにおける画質レベル１１８は、ポイントＡでは９．８（＝（１＋１４＋１２＋１２＋１０）／５、小数点第２以下は四捨五入、以下同様）（単位はｄＢ、以下同様）、ポイントＢでは１１．０（＝（１０＋１１＋１１＋１１＋１２）／５）、ポイントＣでは１２．０（＝（１１＋１２＋１２＋１２＋１３）／５）となる。
【０１７６】
録画モード制御部１０７は、録画モード記憶部１０６に記憶された複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶部１０４に記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出部１０５に記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように、表示部１０８へメッセージ１２３を出力しユーザへ通知する。
【０１７７】
録画モード制御部１０７での処理フローは実施の形態１で示した図７と同一に構成される。
【０１７８】
以下、図１０（ｂ）に示した３つのポイントＡ〜Ｃそれぞれにおける処理の流れについて説明する。
【０１７９】
ポイントＡでは、符号化用録画モード１１５はモード番号２のＳＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は９．８ｄＢとなっている。
【０１８０】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が９．８ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０１８１】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が９．８ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０１８２】
ポイントＢでは、符号化用録画モード１１５はモード番号２のＳＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１１．０ｄＢとなっている。
【０１８３】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１１．０ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０１８４】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１１．０ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０１８５】
ポイントＣでは、符号化用録画モード１１５はモード番号２のＳＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１２．０ｄＢとなっている。
【０１８６】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１２．０ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０１８７】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１２．０ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は肯定的となり、符号化用録画モード判定ステップ７０５へ遷移する。
【０１８８】
次に符号化用録画モード判定ステップ７０５での判定は、符号化用録画モード１１５がモード番号２のＳＰモードであることから判定結果は否定的となり、メッセージ出力ステップ７０６へ遷移する。
【０１８９】
次にメッセージ出力ステップ７０６では、符号化用録画モード１１５がモード番号２のＳＰモードであることから、モード番号３のＬＰモードへ変更するように表示部１０８へメッセージ１２３を出力し、処理を終了する。
【０１９０】
図１を用いた説明に戻る。
【０１９１】
表示部１０８は、通常はメモリ１０１に記憶された画像データ１０９を表示し、録画モード制御部１０７よりメッセージ１２３の出力があった場合にはその内容を画像データ１０９に重畳して表示する。
【０１９２】
図１１（ａ）、（ｂ）に表示部１０８で表示する表示画面例（録画モード制御部１０７からのメッセージ１２３出力がない場合（図１０（ｂ）でのポイントＡ、Ｂ）、メッセージ１２３出力がある場合（図１０（ｂ）でのポイントＣ））を示す。
【０１９３】
図１１（ｂ）に示すように、録画モード制御部１０７からのメッセージ１２３出力がある場合には、表示画面の上部に録画モード変更を促す表示がなされる。
【０１９４】
ユーザは本表示を見て、録画画質の確認並びに必要に応じて録画モード１１２での指示により符号化用録画モード１１５をより符号化レートの低い録画モードに変更する。
【０１９５】
以上のように本実施の形態によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以上となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても不必要な高い符号化レートによる録画を検出し、録画ミスを回避可能となる。
【０１９６】
（実施の形態３）
図１２は、本発明の実施の形態３における画像処理装置のブロック図である。
【０１９７】
図１２に示すように画像処理装置１２００は、メモリ１０１、符号化部１０２、符号化情報記憶部１０３、画質レベル記憶部１０４、画質検出部１０５、録画モード記憶部１０６、録画モード制御部１２０７、表示部１０８、録画モード変更部１２２４を備える。
【０１９８】
なお図１２の中で、図１と同じ符号を割り当てているブロックについては、実施の形態１で示した構成と同一であり、共通な点については一部説明を省略する。
【０１９９】
メモリ１０１、符号化部１０２、符号化情報記憶部１０３、画質レベル記憶部１０４、画質検出部１０５、録画モード記憶部１０６、表示部１０８は実施の形態１で示した構成と同一である。
【０２００】
録画モード制御部１０７は、録画モード記憶部１０６に記憶された複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶部１０４に記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出部１０５に記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように制御信号１２２５により録画モード変更部１２２４を制御し、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように制御信号１２２５により録画モード変更部１２２４を制御し、符号化用録画モード１１５を変更したことを表示部１０８へメッセージ１２３を出力しユーザへ通知する。
【０２０１】
録画モード変更部１２２４は、録画モード制御部１０７からの制御信号１２２５に応じて、録画モード記憶部１０６に記憶されている符号化用録画モード１１５を変更する。
【０２０２】
以下、各処理部毎に詳細に説明する。
【０２０３】
まずユーザにより指定された録画モード１１２を、録画モード記憶部１０６に符号化用録画モード１１５として記憶する。
【０２０４】
本実施の形態における録画モード記憶部１０６に記憶された複数の録画モード１１９は実施の形態１で示した図２と同一に構成される。
【０２０５】
ここではユーザによりモード番号３のＬＰモードが指定され、符号化用録画モード１１５として記憶されているものとする。
【０２０６】
以降、画像データ１０９がフレーム単位で入力され、それを起点に各処理が実行される。
【０２０７】
まず画像データ１０９が入力され、メモリ１０１に記憶される。
【０２０８】
画像データ１０９（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成は実施の形態１で示した図３（ａ）と同一に構成される。
【０２０９】
次に符号化部１０２は、メモリ１０１に記憶された画像データ１０９並びに前フレームの復号化画像データ１１３（最初のフレームに対する符号化の場合は使用しない）、録画モード記憶部１０６に記憶された符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４をメモリ１０１に出力、また復号化画像データ１１４の画質を示す符号化情報１１６を取得し符号化情報記憶部１０３へ出力する。
【０２１０】
符号化部１０２は実施の形態１で示した図４と同一に構成される。
【０２１１】
以下、符号化部１０２における具体的な動作説明を行う。
【０２１２】
まずレート制御部４１１は、録画モード記憶部１０６に記憶されている符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定する。
【０２１３】
レート制御部４１１に記憶された複数の録画モード１１９に対応する符号化レート５００は実施の形態１で示した図５と同一に構成される。
【０２１４】
レート制御部４１１では、録画モード記憶部１０６に記憶されている符号化用録画モード１１５に対応する（目標ビットレート、初期量子化ステップ）を符号化レート５００の中から取得し、使用する。
【０２１５】
本実施の形態では、符号化用録画モード１１５としてモード番号３のＬＰモードが記憶されているため、符号化レート（目標ビットレート、初期量子化ステップ）として（４，０００ｂｉｔ／ｓｅｃｏｎｄ、８）を決定し、以降レート制御部４１１では、前記符号化レートを用いて所定のレート制御方式により、量子化ステップ４１４を制御する。
【０２１６】
動き検出処理部４０１、動き補償処理部４０２、ＤＣＴ処理部４０４、量子化処理部４０５、逆量子化処理部４０６、逆ＤＣＴ処理部４０７、再構成処理部４０８、可変長符号化処理部４０９は実施の形態１で示した動作と同一である。
【０２１７】
次に符号化情報取得部４１２は、量子化ステップ４１４を入力し、復号化画像データ１１４の画質を示す符号化情報１１６として符号化情報記憶部１０３へ出力する。
【０２１８】
符号化情報記憶部１０３は、符号化部１０２より出力される符号化情報１１６を所定期間分記憶する。
【０２１９】
図１３に符号化情報記憶部１０３に記憶される所定期間の符号化情報１１７を示す。
【０２２０】
ここで図１３（ａ）は符号化部１０２より出力される符号化情報１１６の時間経過による遷移を示し、また図１３（ｂ）に図１３（ａ）に示した符号化情報１１６の時間経過による遷移中の４つのポイントＡ、Ｂ、Ｃ、Ｄでの符号化情報記憶部１０３に記憶される所定期間の符号化情報１１７の状態を示す。
【０２２１】
図１３（ｂ）に示すように本実施の形態では、所定期間の符号化情報１１７として、ある時刻から過去に遡って最新の５つ（最も過去の符号化情報を符号化情報Ｎ−４、最新の符号化情報まで順にＮ−３、Ｎ−２、Ｎ−１、Ｎ）の符号化情報１１６（量子化ステップ４１４）を常に記憶する。新しい符号化情報１１６が入力された場合、既に記憶されている符号化情報を一つずつずらし（符号化情報Ｎ−４に符号化情報Ｎ−３を格納、符号化情報Ｎ−３に符号化情報Ｎ−２を格納、符号化情報Ｎ−２に符号化情報Ｎ−１を格納、符号化情報Ｎ−１に符号化情報Ｎを格納）、新しい符号化情報１１６を符号化情報Ｎに格納する。なお符号化開始当初など、５つ分の符号化情報１１６が入力されていない場合には、初期値として取り得る最大値（ここではＭＡＸ（３１）とする）を記憶しておくようにする。
【０２２２】
ポイントＡでは、符号化開始当初の状態を示し、最新の４つの符号化情報１１６（６，６，７，８）が符号化情報Ｎ−３〜Ｎに記憶されており、符号化情報Ｎ−４には初期値ＭＡＸ（３１）が記憶されている。
【０２２３】
またポイントＢでは、最新の５つの符号化情報１１６（５，５，５，４，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０２２４】
またポイントＣでは、最新の５つの符号化情報１１６（５，４，４，３，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０２２５】
またポイントＤでは、最新の５つの符号化情報１１６（１０，１２，１２，１３，１３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０２２６】
図１を用いた説明に戻る。
【０２２７】
画質レベル記憶部１０４は、符号化部１０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【０２２８】
本実施の形態では、第１の基準画質レベル１２１並びに第２の基準画質レベル１２２として量子化ステップを記憶しており、それぞれの値は４、１２であるものとする。
【０２２９】
画質検出部１０５は、符号化情報記憶部１０３に記憶される所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【０２３０】
上記の通り、符号化情報記憶部１０３には所定期間分の符号化情報１１７として最新の５つの符号化情報１１６（量子化ステップ４１４）を記憶しており、画質検出部１０５ではそれらを入力して画質レベル１１８を決定する。
【０２３１】
本実施の形態では、画質レベル１１８は入力される最新の５つの符号化情報１１６（量子化ステップ４１４）の平均値であるものとする。
【０２３２】
そうすると図１３（ｂ）に示した４つのポイントＡ〜Ｄそれぞれにおける画質レベル１１８は、ポイントＡでは１１．６（＝（３１＋６＋６＋７＋８）／５、小数点第２以下は四捨五入、以下同様）、ポイントＢでは４．４（＝（５＋５＋５＋４＋３）／５）、ポイントＣでは３．８（＝（５＋４＋４＋３＋３）／５）、ポイントＤでは１２．０（＝（１０＋１２＋１２＋１３＋１３）／５）となる。
【０２３３】
録画モード制御部１０７は、録画モード記憶部１０６に記憶された複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶部１０４に記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出部１０５に記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように制御信号１２２５により録画モード変更部１２２４を制御し、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように制御信号１２２５により録画モード変更部１２２４を制御し、符号化用録画モード１１５を変更したことを表示部１０８へメッセージ１２３を出力しユーザへ通知する。
【０２３４】
図１４に録画モード制御部１０７での処理フロー図を示す。
【０２３５】
図１４に示すように録画モード制御部１０７での処理は、画質レベル１１８が第１の基準画質レベル１２１以下であるかを判定する画質レベル判定ステップ１４０１、画質レベル１１８が第２の基準画質レベル１２２以上であるかを判定する画質レベル判定ステップ１４０２、画質レベル判定ステップ１４０１での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が１のＸＰモード（最高画質での録画が可能なモード）であるかを判定する符号化用録画モード判定ステップ１４０３、符号化用録画モード判定ステップ１４０３での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの高い録画モード（現在のモード番号−１の録画モード）に変更するように録画モード変更部１２２４を制御する録画モード変更ステップ１４０４、符号化用録画モード１１５を変更したことを表示部１０８へメッセージ１２３を出力するメッセージ出力ステップ１４０５、画質レベル判定ステップ１４０２での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が４のＥＰモード（最も全体的な録画画質は低いが最も長時間録画可能なモード）であるかを判定する符号化用録画モード判定ステップ１４０６、符号化用録画モード判定ステップ１４０６での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの低い録画モード（現在のモード番号＋１の録画モード）に変更するように録画モード変更部１２２４を制御する録画モード変更ステップ１４０７、符号化用録画モード１１５を変更したことを表示部１０８へメッセージ１２３を出力するメッセージ出力ステップ１４０８を備える。
【０２３６】
ポイントＡでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は１１．６となっている。
【０２３７】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が１１．６、第１の基準画質レベルが４であることから判定結果は否定的となり、画質レベル判定ステップ１４０２へ遷移する。
【０２３８】
次に画質レベル判定ステップ１４０２での判定は、画質レベル１１８が１１．６、第２の基準画質レベルが１２であることから判定結果は否定的となり処理を終了する。
【０２３９】
ポイントＢでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は４．４となっている。
【０２４０】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が４．４、第１の基準画質レベルが４であることから判定結果は否定的となり、画質レベル判定ステップ１４０２へ遷移する。
【０２４１】
次に画質レベル判定ステップ１４０２での判定は、画質レベル１１８が４．４、第２の基準画質レベルが１２であることから判定結果は否定的となり処理を終了する。
【０２４２】
ポイントＣでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は３．８となっている。
【０２４３】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が３．８、第１の基準画質レベルが４であることから判定結果は肯定的となり、符号化用録画モード判定ステップ１４０３へ遷移する。
【０２４４】
次に符号化用録画モード判定ステップ１４０３での判定は、符号化用録画モード１１５がモード番号３のＬＰモードであることから判定結果は否定的となり、録画モード変更ステップ１４０４へ遷移する。
【０２４５】
次に、録画モード変更ステップ１４０４では、符号化用録画モード１１５がモード番号３のＬＰモードであることから、録画モード変更部１２２４を制御し、符号化用録画モード１１５をモード番号２のＳＰモードへ変更する。
【０２４６】
次にメッセージ出力ステップ１４０５では、符号化用録画モード１１５をモード番号３のＬＰモードから、モード番号２のＳＰモードへ変更したことを表示部１０８へメッセージ１２３を出力し、処理を終了する。
【０２４７】
ポイントＤでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は１２．０となっている。
【０２４８】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が１２．０、第１の基準画質レベルが４であることから判定結果は否定的となり、画質レベル判定ステップ１４０２へ遷移する。
【０２４９】
次に画質レベル判定ステップ１４０２での判定は、画質レベル１１８が１２．０、第２の基準画質レベルが１２であることから判定結果は肯定的となり符号化用録画モード判定ステップ１４０６へ遷移する。
【０２５０】
次に符号化用録画モード判定ステップ１４０６での判定は、符号化用録画モード１１５がモード番号３のＬＰモードであることから判定結果は否定的となり、録画モード変更ステップ１４０７へ遷移する。
【０２５１】
次に、録画モード変更ステップ１４０７では、符号化用録画モード１１５がモード番号３のＬＰモードであることから、録画モード変更部１２２４を制御し、符号化用録画モード１１５をモード番号４のＥＰモードへ変更する。
【０２５２】
次にメッセージ出力ステップ１４０８では、符号化用録画モード１１５をモード番号３のＬＰモードから、モード番号４のＬＰモードへ変更したことを表示部１０８へメッセージ１２３を出力し、処理を終了する。
【０２５３】
図１を用いた説明に戻る。
【０２５４】
表示部１０８は、通常はメモリ１０１に記憶された画像データ１０９を表示し、録画モード制御部１０７よりメッセージ１２３の出力があった場合にはその内容を画像データ１０９に重畳して表示する。
【０２５５】
図１５（ａ）、（ｂ）、（ｃ）に表示部１０８で表示する表示画面例（録画モード制御部１０７からのメッセージ１２３出力がない場合（図１３（ｂ）でのポイントＡ、Ｂ）、より符号化レートの高い録画モードへの変更（モード３のＬＰモードからモード２のＳＰモード）メッセージ１２３出力がある場合（図１３（ｂ）でのポイントＣ）、より符号化レートの低い録画モードへの変更（モード３のＬＰモードからモード４のＥＰモード）メッセージ１２３出力がある場合（図１３（ｂ）でのポイントＤ））を示す。
【０２５６】
図１５（ｂ）、（ｃ）に示すように、録画モード制御部１０７からのメッセージ１２３出力がある場合には、表示画面の上部に録画モード変更を実施したという表示がなされる。
【０２５７】
ユーザは本表示を見て、録画画質に合わせて符号化用録画モード１１５が変更されたことを認識する。
【０２５８】
以上のように本実施の形態によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下若しくは以上となった場合に、より画質に合わせた録画モードへ変更し、ユーザへ通知することで、如何なる録画モードで動作中であっても録画画質の劣化若しくは不必要な高い符号化レートによる録画を検出し、録画ミスを回避可能となる。
【０２５９】
（実施の形態４）
図１６は、本発明の実施の形態４における画像処理方法１６０８を示す処理フロー図である。
【０２６０】
図１６に示すように本実施の形態における画像処理方法１６０８は、ユーザが指定した録画モードを符号化用録画モードとして記憶する録画モード記憶ステップ１６０１と、画像データ並びに前フレームの復号化画像データ、前記符号化用録画モードを入力し、前記符号化用録画モードに対応する符号化レートで前記画像データを符号化した符号化画像データ並びに前記符号化画像データを復号化した復号化画像データ、及び前記復号化画像データの画質を示す符号化情報を出力する符号化ステップ１６０２と、前記符号化ステップより出力される符号化情報を所定期間分記憶する符号化情報記憶ステップ１６０３と、前記復号化画像データの画質を判定するための基準とする前記符号化用録画モードに依存しない第１の基準画質レベル及び第２の基準画質レベルの何れか又は両方を記憶する画質レベル記憶ステップ１６０４と、前記符号化情報記憶ステップで記憶された符号化情報を入力し、前記復号化画像データの画質レベルを決定する画質検出ステップ１６０５と、前記録画モード記憶ステップで記憶された符号化用録画モード、及び前記画質レベル記憶ステップで記憶された第１並びに第２の基準画質レベル、及び前記画質検出ステップで決定された画質レベルを入力し、前記画質レベルが前記第１の基準画質レベルより低レベルである場合は前記符号化用録画モードをより符号化レートの高い録画モードに変更するように、また前記画質レベルが前記第２の基準画質レベルより高レベルである場合は前記符号化用録画モードをより符号化レートの低い録画モードに変更するように、メッセージを出力しユーザへ通知する録画モード変更通知ステップ１６０６を備える。
【０２６１】
図１７は、本発明の実施の形態４における画像処理方法１６０８を具現化する処理装置１７００を示すブロック図である。
【０２６２】
図１７に示すように画像処理方法１６０８を具現化する処理装置１７００は、
ＣＰＵ１７０１と、メモリ１７０２を備え、画像処理方法１６０８の各ステップ（１６０１〜１６０６）における処理をＣＰＵ上で動作するプログラムとして実行し、画像処理方法１６０８の各ステップ（１６０１〜１６０６）で入力、保持、参照、出力する各種データを格納する領域（画像データ１０９、符号化画像データ１１０、表示画像データ１１１、前フレームの復号化画像データ１７０３、復号化画像データ１１４、符号化用録画モード１１５、複数の録画モード１１９、符号化情報１７０６、所定期間の符号化情報１１７、第１の基準画質レベル１２１、第２の基準画質レベル１２２、画質レベル１１８、符号化レート１７１１、量子化ステップ４１４、動きベクトル１７１３、予測画像データ１７１４、ＤＣＴ係数４１７、量子化ＤＣＴ係数１７１６、逆量子化ＤＣＴ係数４２０、逆ＤＣＴ係数１７１８、符号化画像データサイズ１７１９）をメモリ１７０２上に配置している。
【０２６３】
以下、画像処理方法１６０８における各ステップ（１６０１〜１６０６）について詳細に説明する。
【０２６４】
まず録画モード記憶ステップ１６０１において、ユーザが指定した録画モード１１２を符号化用録画モード１１５として記憶する。
【０２６５】
図２にメモリ１７０２に記憶された複数の録画モード１１９を示す。
【０２６６】
図２に示すように本実施の形態では、最高画質での録画が可能なモード番号１のＸＰモードから、順に全体的な録画画質は低くなるが長時間の録画が可能となるモード番号２のＳＰモード、モード番号３のＬＰモード、そして最も全体的な録画画質は低いが最も長時間録画可能となるモード番号４のＥＰモード、全部で４種類の録画モードが用意されており、ユーザはこの中から所望のモードを録画モード１１２として指定する。
【０２６７】
ここではユーザによりモード番号４のＥＰモードが指定され、符号化用録画モード１１５として記憶されているものとする。
【０２６８】
次に符号化ステップ１６０２において、画像データ１０９並びに前フレームの復号化画像データ１７０３（最初のフレームに対する符号化の場合は使用しない）、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４、及び復号化画像データ１１４の画質を示す符号化情報１７０６を出力する。
【０２６９】
図３（ａ）に画像データ１０９（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【０２７０】
図３（ａ）に示すように本実施の形態では、画像データ１０９として水平１６画素×垂直１６画素の計２５６画素であり、各画素は符号無し８ビット整数（取り得る値は０〜２５５）で表現されるものとする。
【０２７１】
図１８に符号化ステップ１６０２の処理フロー図を示す。
【０２７２】
図１８に示すように符号化ステップ１６０２は、レート制御ステップ１８０１、動き検出処理ステップ１８０２、動き補償処理ステップ１８０３、ＤＣＴ処理ステップ１８０４、量子化処理ステップ１８０５、逆量子化処理ステップ１８０６、逆ＤＣＴ処理ステップ１８０７、再構成処理ステップ１８０８、可変長符号化処理ステップ１８０９、符号化情報取得ステップ１８１０を備える。
【０２７３】
レート制御ステップ１８０１は、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定、また可変長符号化処理ステップ１８０９から入力する符号化画像データサイズ１７１９を基に可変長符号化処理ステップ１８０９から出力される符号化画像データ１１０のデータ量が符号化レートに近づくように、量子化処理ステップ１８０５並びに逆量子化処理ステップ１８０６で使用される量子化ステップ４１４を制御する。
【０２７４】
動き検出処理ステップ１８０２は、画像データ１０９と前フレームの復号画像データ１７０３とを用いて動きベクトル１７１３を検出する。
【０２７５】
動き補償処理ステップ１８０３は、動き検出処理ステップ１８０２が検出した動きベクトル１７１３と前フレームの復号化画像データ１７０３とを用いて、予測画像データ１７１４を生成する。
【０２７６】
ＤＣＴ処理ステップ１８０４への入力は、画像データ１０９又は画像データ１０９と予測画像データ１７１４の差分の何れかに切り換えられる。
【０２７７】
ＤＣＴ処理ステップ１８０４は、前記入力をＤＣＴ処理して、ＤＣＴ係数４１７を出力する。
【０２７８】
量子化処理ステップ１８０５は、ＤＣＴ係数４１７を量子化ステップ４１４を用いて量子化して、量子化ＤＣＴ係数１７１６を出力する。
【０２７９】
逆量子化処理ステップ１８０６は、量子化ＤＣＴ係数１７１６を量子化ステップ４１４を用いて逆量子化して、逆量子化ＤＣＴ係数４２０を出力する。
【０２８０】
逆ＤＣＴ処理ステップ１８０７は、逆量子化ＤＣＴ係数４２０を逆ＤＣＴ処理して、逆ＤＣＴ係数１７１８を出力する。
【０２８１】
再構成処理ステップ１８０８への入力は、全て０又は予測画像データ１７１４の何れかに切り換えられる。
【０２８２】
再構成処理ステップ１８０８は、前記入力と逆ＤＣＴ係数１７１８を加算して、復号化画像データ１１４を生成する。
【０２８３】
可変長符号化処理ステップ１８０９は、量子化処理ステップ１８０５が出力した量子化ＤＣＴ係数１７１６と動き検出処理ステップ１８０２が検出した動きベクトル１７１３とを可変長符号化して、符号化画像データ１１０を出力し、また符号化画像データ１１０のデータ量を示す符号化画像データサイズ１７１９をレート制御ステップ１８０１に出力する。
【０２８４】
符号化情報取得ステップ１８１０は、復号化画像データ１１４の画質を示す符号化情報１７０６を取得、出力する。
【０２８５】
以下、符号化ステップ１６０２における具体的な動作説明を行う。
【０２８６】
なお本発明の主張するところに関わる符号化用録画モード１１５並びに復号化画像データ１１４の画質を示す符号化情報１７０６を取得する符号化情報取得ステップ１８１０以外の符号化処理については、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の国際標準規格である画像符号化方式や様々なレート制御方式など、公知の技術による実施で何ら問題ないため、その詳細な説明は省略する。
【０２８７】
まずレート制御ステップ１８０１は、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定する。
【０２８８】
図５に複数の録画モード１１９に対応する符号化レート５００を示す。
【０２８９】
図５に示すように本実施の形態では、録画モード１１９に対応する符号化レート５００として、目標とする単位時間（１秒）当たりの符号化画像データ１１０の出力データ量（ｂｉｔ数）である目標ビットレート（単位はｂｉｔ／ｓｅｃｏｎｄ）及び最初のフレームに対する符号化での量子化ステップ４１４として適用する初期量子化ステップが記憶され、モード番号１〜４の各録画モードに対する（目標ビットレート、初期量子化ステップ）はそれぞれ、モード番号１＝（１６，０００ｂｉｔ／ｓｅｃｏｎｄ、２）、モード番号２＝（８，０００ｂｉｔ／ｓｅｃｏｎｄ、４）、モード番号３＝（４，０００ｂｉｔ／ｓｅｃｏｎｄ、８）、モード番号４＝（２，０００ｂｉｔ／ｓｅｃｏｎｄ、１６）であるものとする。
【０２９０】
レート制御ステップ１８０１では、符号化用録画モード１１５に対応する（目標ビットレート、初期量子化ステップ）を符号化レート５００の中から取得し、使用する。
【０２９１】
本実施の形態では、符号化用録画モード１１５としてモード番号４のＥＰモードが記憶されているため、符号化レート（目標ビットレート、初期量子化ステップ）として（２，０００ｂｉｔ／ｓｅｃｏｎｄ、１６）を決定し、以降レート制御ステップ１８０１では、前記符号化レートを用いて所定のレート制御方式により、量子化ステップ４１４を制御する。
【０２９２】
次に動き検出処理ステップ１８０２は、画像データ１０９と前フレームの復号画像データ１７０３とを用いて動きベクトル１７１３を検出する。
【０２９３】
次に動き補償処理ステップ１８０３は、動き検出処理ステップ１８０２が検出した動きベクトル１７１３と前フレームの復号化画像データ１７０３とを用いて、予測画像データ１７１４を生成する。
【０２９４】
次にＤＣＴ処理ステップ１８０４は、入力（最初のフレームに対する符号化の場合画像データ１０９、それ以外の場合画像データ１０９と予測画像１７１４の差分）をＤＣＴ処理して、ＤＣＴ係数４１７を出力する。
【０２９５】
次に量子化処理ステップ１８０５は、ＤＣＴ係数４１７を量子化ステップ４１４を用いて量子化して、量子化ＤＣＴ係数１７１６を出力する。
【０２９６】
次に逆量子化処理ステップ１８０６は、量子化ＤＣＴ係数１７１６を量子化ステップ４１４を用いて逆量子化して、逆量子化ＤＣＴ係数４２０を出力する。
【０２９７】
次に逆ＤＣＴ処理ステップ１８０７は、逆量子化ＤＣＴ係数４２０を逆ＤＣＴ処理して、逆ＤＣＴ係数１７１８を出力する。
【０２９８】
次に再構成処理ステップ１８０８は、入力（最初のフレームに対する符号化の場合全て０、それ以外の場合予測画像データ１７１４）と逆ＤＣＴ係数１７１８を加算して、復号化画像データ１１４を出力する。
【０２９９】
図３（ｂ）に復号化画像データ１１４（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【０３００】
次に可変長符号化処理ステップ１８０９は、量子化処理ステップ１８０５が出力した量子化ＤＣＴ係数１７１６と動き検出処理ステップ１８０２が検出した動きベクトル１７１３とを可変長符号化して、符号化画像データ１１０を出力し、また符号化画像データ１１０のデータ量を示す符号化画像データサイズ１７１９を出力する。
【０３０１】
次に符号化情報取得ステップ１８１０は、画像データ１０９及び復号画像データ１１４を入力し、復号化画像データ１１４の画質を示す符号化情報１７０６として、画像データ１０９と復号画像データ１１４のＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）（単位はｄＢ）を算出し、符号化情報１７０６として出力する。
【０３０２】
数１にＳＮＲ算出式を示し、ｉは画像データ１０９及び復号画像データ１１４の左端画素を０とし右側へ１画素ずれることに１増加する水平方向の画素単位位置（画像データ１０９及び復号画像データ１１４は水平１６画素であるためｉは０〜１５を取り得る）、ｊは画像データ１０９及び復号画像データ１１４の上端画素を０とし下側へ１画素ずれるごとに１増加する垂直方向の画素単位位置（画像データ１０９及び復号画像データ１１４は垂直１６画素であるためｊは０〜１５を取り得る）、ｙ（ｉ，ｊ）は画像データ１０９におけるｉ及びｊで表される位置の画素値、ｙ’（ｉ，ｊ）は復号画像データ１１４におけるｉ及びｊで表される位置の画素値を示す。
【０３０３】
ここで数１に示す算出式を用いて図３（ａ）及び図３（ｂ）に示す画像データ１０９と復号画像データ１１４のＳＮＲを算出すると、６ｄＢ（小数点以下は四捨五入）となる。
【０３０４】
図１６を用いた説明に戻る。
【０３０５】
符号化情報記憶ステップ１６０３は、符号化ステップ１６０２より出力される符号化情報１１６を所定期間分記憶する。
【０３０６】
図６に符号化情報記憶ステップ１６０３で記憶される所定期間の符号化情報１１７を示す。
【０３０７】
ここで図６（ａ）は符号化ステップ１６０２より出力される符号化情報１１６の時間経過による遷移を示し、また図６（ｂ）に図６（ａ）に示した符号化情報１１６の時間経過による遷移中の４つのポイントＡ、Ｂ、Ｃ、Ｄでの所定期間の符号化情報１１７の状態を示す。
【０３０８】
図６（ｂ）に示すように本実施の形態では、所定期間の符号化情報１１７として、ある時刻から過去に遡って最新の５つ（最も過去の符号化情報を符号化情報Ｎ−４、最新の符号化情報まで順にＮ−３、Ｎ−２、Ｎ−１、Ｎ）の符号化情報１１６（画像データ１０９と復号画像データ１１４のＳＮＲ）を常に記憶する。新しい符号化情報１１６が入力された場合、既に記憶されている符号化情報を一つずつずらし（符号化情報Ｎ−４に符号化情報Ｎ−３を格納、符号化情報Ｎ−３に符号化情報Ｎ−２を格納、符号化情報Ｎ−２に符号化情報Ｎ−１を格納、符号化情報Ｎ−１に符号化情報Ｎを格納）、新しい符号化情報１１６を符号化情報Ｎに格納する。なお符号化開始当初など、５つ分の符号化情報１１６が入力されていない場合には、初期値として取り得る最大値（ここではＭＡＸ（３１）とする）を記憶しておくようにする。
【０３０９】
ポイントＡでは、符号化開始当初の状態を示し、最新の４つの符号化情報１１６（６，６，７，８）が符号化情報Ｎ−３〜Ｎに記憶されており、符号化情報Ｎ−４には初期値ＭＡＸ（３１）が記憶されている。
【０３１０】
またポイントＢでは、最新の５つの符号化情報１１６（５，５，５，４，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０３１１】
またポイントＣでは、最新の５つの符号化情報１１６（５，４，４，３，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０３１２】
またポイントＤでは、最新の５つの符号化情報１１６（１０，１２，１２，１３，１３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０３１３】
図１６を用いた説明に戻る。
【０３１４】
画質レベル記憶ステップ１６０４は、符号化ステップ１６０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【０３１５】
本実施の形態では、第１の基準画質レベル１２１並びに第２の基準画質レベル１２２として画像データ１０９と復号画像データ１１４のＳＮＲを記憶しており、それぞれの値は４ｄＢ、１２ｄＢであるものとする。
【０３１６】
画質検出ステップ１６０５は、所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【０３１７】
上記の通り、所定期間分の符号化情報１１７として最新の５つの符号化情報１１６（画像データ１０９と復号画像データ１１４のＳＮＲ）を記憶しており、画質検出ステップ１６０５ではそれらを入力して画質レベル１１８を決定する。
【０３１８】
本実施の形態では、画質レベル１１８は入力される最新の５つの符号化情報１１６（画像データ１０９と復号画像データ１１４のＳＮＲ）の平均値であるものとする。
【０３１９】
そうすると図６（ｂ）に示した４つのポイントＡ〜Ｄそれぞれにおける画質レベル１１８は、ポイントＡでは１１．６（＝（３１＋６＋６＋７＋８）／５、小数点第２以下は四捨五入、以下同様）（単位はｄＢ、以下同様）、ポイントＢでは４．４（＝（５＋５＋５＋４＋３）／５）、ポイントＣでは３．８（＝（５＋４＋４＋３＋３）／５）、ポイントＤでは１２．０（＝（１０＋１２＋１２＋１３＋１３）／５）となる。
【０３２０】
録画モード変更通知ステップ１６０６は、複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶ステップ１６０４で記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出ステップ１６０５で記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように、メッセージを出力しユーザへ通知する。
【０３２１】
図７に録画モード変更通知ステップ１６０６の処理フロー図を示す。
【０３２２】
図７に示すように録画モード変更通知ステップ１６０６での処理は、画質レベル１１８が第１の基準画質レベル１２１以下であるかを判定する画質レベル判定ステップ７０１、画質レベル１１８が第２の基準画質レベル１２２以上であるかを判定する画質レベル判定ステップ７０２、画質レベル判定ステップ７０１での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が１のＸＰモード（最高画質での録画が可能なモード）であるかを判定する符号化用録画モード判定ステップ７０３、符号化用録画モード判定ステップ７０３での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの高い録画モード（現在のモード番号−１の録画モード）に変更するようにメッセージを出力するメッセージ出力ステップ７０４、画質レベル判定ステップ７０２での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が４のＥＰモード（最も全体的な録画画質は低いが最も長時間録画可能なモード）であるかを判定する符号化用録画モード判定ステップ７０５、符号化用録画モード判定ステップ７０５での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの低い録画モード（現在のモード番号＋１の録画モード）に変更するようにへメッセージを出力するメッセージ出力ステップ７０６を備える。
【０３２３】
以下、図６（ｂ）に示した４つのポイントＡ〜Ｄそれぞれにおける処理の流れについて説明する。
【０３２４】
ポイントＡでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１１．６ｄＢとなっている。
【０３２５】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１１．６ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０３２６】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１１．６ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０３２７】
ポイントＢでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は４．４ｄＢとなっている。
【０３２８】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が４．４ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０３２９】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が４．４ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０３３０】
ポイントＣでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は３．８ｄＢとなっている。
【０３３１】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が３．８ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は肯定的となり、符号化用録画モード判定ステップ７０３へ遷移する。
【０３３２】
次に符号化用録画モード判定ステップ７０３での判定は、符号化用録画モード１１５がモード番号４のＥＰモードであることから判定結果は否定的となり、メッセージ出力ステップ７０４へ遷移する。
【０３３３】
次にメッセージ出力ステップ７０４では、符号化用録画モード１１５がモード番号４のＥＰモードであることから、モード番号３のＬＰモードへ変更するようにメッセージを出力し、処理を終了する。
【０３３４】
ポイントＤでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１２．０ｄＢとなっている。
【０３３５】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１２．０ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０３３６】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１２．０ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は肯定的となり符号化用録画モード判定ステップ７０５へ遷移する。
【０３３７】
次に符号化用録画モード判定ステップ７０５での判定は、符号化用録画モード１１５がモード番号４のＥＰモードであることから判定結果は肯定的となり処理を終了する。
【０３３８】
図８（ａ）、（ｂ）に本実施の形態で表示する表示画面例（録画モード変更通知ステップ１６０６からのメッセージ出力がない場合（図６（ｂ）でのポイントＡ、Ｂ、Ｄ）、メッセージ出力がある場合（図６（ｂ）でのポイントＣ））を示す。
【０３３９】
図８（ｂ）に示すように、録画モード変更通知ステップ１６０６からのメッセージ出力がある場合には、表示画面の上部に録画モード変更を促す表示がなされる。
【０３４０】
ユーザは本表示を見て、録画画質の確認並びに必要に応じて録画モード１１２での指示により符号化用録画モード１１５をより符号化レートの高い録画モードに変更する。
【０３４１】
以上のように本実施の形態によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても録画画質の劣化を検出し、録画ミスを回避可能となる。
【０３４２】
（実施の形態５）
本発明の実施の形態５における画像処理方法は実施の形態４で示した図１６と同一に構成され、共通な点については一部説明を省略する。
【０３４３】
また本発明の実施の形態５における画像処理方法を具現化する処理装置を示すブロック図は実施の形態４で示した図１７と同一に構成される。
【０３４４】
以下、画像処理方法１６０８における各ステップ（１６０１〜１６０６）について詳細に説明する。
【０３４５】
まず録画モード記憶ステップ１６０１において、ユーザが指定した録画モード１１２を符号化用録画モード１１５として記憶する。
【０３４６】
本実施の形態における複数の録画モード１１９は実施の形態４で示した図２と同一に構成される。
【０３４７】
ここではユーザによりモード番号２のＳＰモードが指定され、符号化用録画モード１１５として記憶されているものとする。
【０３４８】
次に符号化ステップ１６０２において、画像データ１０９並びに前フレームの復号化画像データ１７０３（最初のフレームに対する符号化の場合は使用しない）、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４、及び復号化画像データ１１４の画質を示す符号化情報１７０６を出力する。
【０３４９】
画像データ１０９（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成は実施の形態４で示した図３（ａ）と同一に構成される。
【０３５０】
符号化ステップ１６０２は実施の形態４で示した図１８と同一に構成される。
【０３５１】
以下、符号化ステップ１６０２における具体的な動作説明を行う。
【０３５２】
まずレート制御ステップ１８０１は、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定する。
【０３５３】
複数の録画モード１１９に対応する符号化レート５００は実施の形態４で示した図５と同一に構成される。
【０３５４】
レート制御ステップ１８０１では、符号化用録画モード１１５に対応する（目標ビットレート、初期量子化ステップ）を符号化レート５００の中から取得し、使用する。
【０３５５】
本実施の形態では、符号化用録画モード１１５としてモード番号２のＳＰモードが記憶されているため、符号化レート（目標ビットレート、初期量子化ステップ）として（８，０００ｂｉｔ／ｓｅｃｏｎｄ、４）を決定し、以降レート制御ステップ１８０１では、前記符号化レートを用いて所定のレート制御方式により、量子化ステップ４１４を制御する。
【０３５６】
次に動き検出処理ステップ１８０２は、画像データ１０９と前フレームの復号画像データ１７０３とを用いて動きベクトル１７１３を検出する。
【０３５７】
次に動き補償処理ステップ１８０３は、動き検出処理ステップ１８０２が検出した動きベクトル１７１３と前フレームの復号化画像データ１７０３とを用いて、予測画像データ１７１４を生成する。
【０３５８】
次にＤＣＴ処理ステップ１８０４は、入力（最初のフレームに対する符号化の場合画像データ１０９、それ以外の場合画像データ１０９と予測画像１７１４の差分）をＤＣＴ処理して、ＤＣＴ係数４１７を出力する。
【０３５９】
図９（ａ）にＤＣＴ係数４１７（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【０３６０】
次に量子化処理ステップ１８０５は、ＤＣＴ係数１７１５を量子化ステップ４１４を用いて量子化して、量子化ＤＣＴ係数１７１６を出力する。
【０３６１】
次に逆量子化処理ステップ１８０６は、量子化ＤＣＴ係数１７１６を量子化ステップ４１４を用いて逆量子化して、逆量子化ＤＣＴ係数４２０を出力する。
【０３６２】
図９（ｂ）に逆量子化ＤＣＴ係数４２０（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【０３６３】
次に逆ＤＣＴ処理ステップ１８０７は、逆量子化ＤＣＴ係数１７１７を逆ＤＣＴ処理して、逆ＤＣＴ係数１７１８を出力する。
【０３６４】
次に再構成処理ステップ１８０８は、入力（最初のフレームに対する符号化の場合全て０、それ以外の場合予測画像データ１７１４）と逆ＤＣＴ係数１７１８を加算して、復号化画像データ１１４を出力する。
【０３６５】
次に可変長符号化処理ステップ１８０９は、量子化処理ステップ１８０５が出力した量子化ＤＣＴ係数１７１６と動き検出処理ステップ１８０２が検出した動きベクトル１７１３とを可変長符号化して、符号化画像データ１１０を出力し、また符号化画像データ１１０のデータ量を示す符号化画像データサイズ１７１９を出力する。
【０３６６】
次に符号化情報取得ステップ１８１０は、ＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０を入力し、復号化画像データ１１４の画質を示す符号化情報１１６として、ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）（単位はｄＢ）を算出し、符号化情報１１６として出力する。
【０３６７】
数１にＳＮＲ算出式を示し、ｉはＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０の左端係数を０とし右側へ１係数ずれることに１増加する水平方向の係数単位位置（ＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０は水平１６係数であるためｉは０〜１５を取り得る）、ｊはＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０の上端係数を０とし下側へ１係数ずれるごとに１増加する垂直方向の係数単位位置（ＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０は垂直１６係数であるためｊは０〜１５を取り得る）、ｙ（ｉ，ｊ）はＤＣＴ係数４１７におけるｉ及びｊで表される位置の係数値、ｙ’（ｉ，ｊ）は逆量子化ＤＣＴ係数４２０におけるｉ及びｊで表される位置の係数値を示す。
【０３６８】
ここで数１に示す算出式を用いて図９（ａ）及び図９（ｂ）に示すＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲを算出すると、１４ｄＢ（小数点以下は四捨五入）となる。
【０３６９】
図１６を用いた説明に戻る。
【０３７０】
符号化情報記憶ステップ１６０３は、符号化ステップ１６０２より出力される符号化情報１１６を所定期間分記憶する。
【０３７１】
図１０に符号化情報記憶ステップ１６０３で記憶される所定期間の符号化情報１１７を示す。
【０３７２】
ここで図１０（ａ）は符号化ステップ１６０２より出力される符号化情報１１６の時間経過による遷移を示し、また図１０（ｂ）に図１０（ａ）に示した符号化情報１１６の時間経過による遷移中の３つのポイントＡ、Ｂ、Ｃでの所定期間の符号化情報１１７の状態を示す。
【０３７３】
図１０（ｂ）に示すように本実施の形態では、所定期間の符号化情報１１７として、ある時刻から過去に遡って最新の５つ（最も過去の符号化情報を符号化情報Ｎ−４、最新の符号化情報まで順にＮ−３、Ｎ−２、Ｎ−１、Ｎ）の符号化情報１１６（ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ）を常に記憶する。新しい符号化情報１１６が入力された場合、既に記憶されている符号化情報を一つずつずらし（符号化情報Ｎ−４に符号化情報Ｎ−３を格納、符号化情報Ｎ−３に符号化情報Ｎ−２を格納、符号化情報Ｎ−２に符号化情報Ｎ−１を格納、符号化情報Ｎ−１に符号化情報Ｎを格納）、新しい符号化情報１１６を符号化情報Ｎに格納する。なお符号化開始当初など、５つ分の符号化情報１１６が入力されていない場合には、初期値として取り得る最小値（ここではＭＩＮ（１）とする）を記憶しておくようにする。
【０３７４】
ポイントＡでは、符号化開始当初の状態を示し、最新の４つの符号化情報１１６（１４，１２，１２，１０）が符号化情報Ｎ−３〜Ｎに記憶されており、符号化情報Ｎ−４には初期値ＭＩＮ（１）が記憶されている。
【０３７５】
またポイントＢでは、最新の５つの符号化情報１１６（１０，１１，１１，１１，１２）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０３７６】
またポイントＣでは、最新の５つの符号化情報１１６（１１，１２，１２，１２，１３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０３７７】
図１６を用いた説明に戻る。
【０３７８】
画質レベル記憶ステップ１６０４は、符号化ステップ１６０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【０３７９】
本実施の形態では、第１の基準画質レベル１２１並びに第２の基準画質レベル１２２としてＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲを記憶しており、それぞれの値は４ｄＢ、１２ｄＢであるものとする。
【０３８０】
画質検出ステップ１６０５は、所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【０３８１】
上記の通り、所定期間分の符号化情報１１７として最新の５つの符号化情報１１６（ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ）を記憶しており、画質検出ステップ１６０５ではそれらを入力して画質レベル１１８を決定する。
【０３８２】
本実施の形態では、画質レベル１１８は入力される最新の５つの符号化情報１１６（ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ）の平均値であるものとする。
【０３８３】
そうすると図１０（ｂ）に示した３つのポイントＡ〜Ｃそれぞれにおける画質レベル１１８は、ポイントＡでは９．８（＝（１＋１４＋１２＋１２＋１０）／５、小数点第２以下は四捨五入、以下同様）（単位はｄＢ、以下同様）、ポイントＢでは１１．０（＝（１０＋１１＋１１＋１１＋１２）／５）、ポイントＣでは１２．０（＝（１１＋１２＋１２＋１２＋１３）／５）となる。
【０３８４】
録画モード変更通知ステップ１６０６は、複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶ステップ１６０４で記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出ステップ１６０５で記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように、メッセージを出力しユーザへ通知する。
【０３８５】
録画モード変更通知ステップ１６０６の処理フローは実施の形態４で示した図７と同一に構成される。
【０３８６】
以下、図１０（ｂ）に示した３つのポイントＡ〜Ｃそれぞれにおける処理の流れについて説明する。
【０３８７】
ポイントＡでは、符号化用録画モード１１５はモード番号２のＳＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は９．８ｄＢとなっている。
【０３８８】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が９．８ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０３８９】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が９．８ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０３９０】
ポイントＢでは、符号化用録画モード１１５はモード番号２のＳＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１１．０ｄＢとなっている。
【０３９１】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１１．０ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０３９２】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１１．０ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０３９３】
ポイントＣでは、符号化用録画モード１１５はモード番号２のＳＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１２．０ｄＢとなっている。
【０３９４】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１２．０ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０３９５】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１２．０ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は肯定的となり、符号化用録画モード判定ステップ７０５へ遷移する。
【０３９６】
次に符号化用録画モード判定ステップ７０５での判定は、符号化用録画モード１１５がモード番号２のＳＰモードであることから判定結果は否定的となり、メッセージ出力ステップ７０６へ遷移する。
【０３９７】
次にメッセージ出力ステップ７０６では、符号化用録画モード１１５がモード番号２のＳＰモードであることから、モード番号３のＬＰモードへ変更するようにメッセージ出力し、処理を終了する。
【０３９８】
図１１（ａ）、（ｂ）に本実施の形態で表示する表示画面例（録画モード変更通知ステップ１６０６からのメッセージ出力がない場合（図１０（ｂ）でのポイントＡ、Ｂ）、メッセージ出力がある場合（図１０（ｂ）でのポイントＣ））を示す。
【０３９９】
図１１（ｂ）に示すように、録画モード変更通知ステップ１６０６からのメッセージ出力がある場合には、表示画面の上部に録画モード変更を促す表示がなされる。
【０４００】
ユーザは本表示を見て、録画画質の確認並びに必要に応じて録画モード１１２での指示により符号化用録画モード１１５をより符号化レートの低い録画モードに変更する。
【０４０１】
以上のように本実施の形態によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以上となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても不必要な高い符号化レートによる録画を検出し、録画ミスを回避可能となる。
【０４０２】
（実施の形態６）
図１９は、本発明の実施の形態６における画像処理方法１９０８を示す処理フロー図である。
【０４０３】
図１９に示すように本実施の形態における画像処理方法１９０８は、
ユーザが指定した録画モードを符号化用録画モードとして記憶する録画モード記憶ステップ１６０１と、
画像データ並びに前フレームの復号化画像データ、前記符号化用録画モードを入力し、前記符号化用録画モードに対応する符号化レートで前記画像データを符号化した符号化画像データ並びに前記符号化画像データを復号化した復号化画像データ、及び前記復号化画像データの画質を示す符号化情報を出力する符号化ステップ１６０２と、
前記符号化ステップより出力される符号化情報を所定期間分記憶する符号化情報記憶ステップ１６０３と、
前記復号化画像データの画質を判定するための基準とする前記符号化用録画モードに依存しない第１の基準画質レベル及び第２の基準画質レベルの何れか又は両方を記憶する画質レベル記憶ステップ１６０４と、
前記符号化情報記憶ステップで記憶された符号化情報を入力し、前記復号化画像データの画質レベルを決定する画質検出ステップ１６０５と、
前記録画モード記憶ステップで記憶された符号化用録画モード、及び前記画質レベル記憶ステップで記憶された第１並びに第２の基準画質レベル、及び前記画質検出ステップで決定された画質レベルを入力し、前記画質レベルが前記第１の基準画質レベルより低レベルである場合は前記符号化用録画モードをより符号化レートの高い録画モードに変更し、また前記画質レベルが前記第２の基準画質レベルより高レベルである場合は前記符号化用録画モードをより符号化レートの低い録画モードに変更し、前記符号化用録画モードを変更したことをメッセージ出力しユーザへ通知する録画モード変更ステップ１９０６を備える。
【０４０４】
なお本実施の形態における画像処理方法を具現化する処理装置を示すブロック図は実施の形態４で示した図１７と同一に構成される。
【０４０５】
以下、画像処理方法１９０８における各ステップ（１６０１〜１９０６）について詳細に説明する。
【０４０６】
まず録画モード記憶ステップ１６０１において、ユーザが指定した録画モード１１２を符号化用録画モード１１５として記憶する。
【０４０７】
本実施の形態における複数の録画モード１１９は実施の形態４で示した図２と同一に構成される。
【０４０８】
ここではユーザによりモード番号３のＬＰモードが指定され、符号化用録画モード１１５として記憶されているものとする。
【０４０９】
次に符号化ステップ１６０２において、画像データ１０９並びに前フレームの復号化画像データ１７０３（最初のフレームに対する符号化の場合は使用しない）、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４、及び復号化画像データ１１４の画質を示す符号化情報１７０６を出力する。
【０４１０】
画像データ１０９（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成は実施の形態４で示した図３（ａ）と同一に構成される。
【０４１１】
符号化ステップ１６０２は実施の形態４で示した図１８と同一に構成される。
【０４１２】
以下、符号化ステップ１６０２における具体的な動作説明を行う。
【０４１３】
まずレート制御ステップ１８０１は、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定する。
【０４１４】
複数の録画モード１１９に対応する符号化レート５００は実施の形態４で示した図５と同一に構成される。
【０４１５】
レート制御ステップ１８０１では、符号化用録画モード１１５に対応する（目標ビットレート、初期量子化ステップ）を符号化レート５００の中から取得し、使用する。
【０４１６】
本実施の形態では、符号化用録画モード１１５としてモード番号３のＬＰモードが記憶されているため、符号化レート（目標ビットレート、初期量子化ステップ）として（４，０００ｂｉｔ／ｓｅｃｏｎｄ、８）を決定し、以降レート制御ステップ１８０１では、前記符号化レートを用いて所定のレート制御方式により、量子化ステップ４１４を制御する。
【０４１７】
動き検出処理ステップ１８０２、動き補償処理ステップ１８０３、ＤＣＴ処理ステップ１８０４、量子化処理ステップ１８０５、逆量子化処理ステップ１８０６、逆ＤＣＴ処理ステップ１８０７、再構成処理ステップ１８０８、可変長符号化処理ステップ１８０９は実施の形態４で示した動作と同一である。
【０４１８】
次に符号化情報取得ステップ１８１０は、量子化ステップ４１４を入力し、復号化画像データ１１４の画質を示す符号化情報１１６として出力する。
【０４１９】
図１９を用いた説明に戻る。
【０４２０】
符号化情報記憶ステップ１６０３は、符号化ステップ１６０２より出力される符号化情報１１６を所定期間分記憶する。
【０４２１】
図１３に符号化情報記憶ステップ１６０３に記憶される所定期間の符号化情報１１７を示す。
【０４２２】
ここで図１３（ａ）は符号化ステップ１６０２より出力される符号化情報１１６の時間経過による遷移を示し、また図１３（ｂ）に図１３（ａ）に示した符号化情報１１６の時間経過による遷移中の４つのポイントＡ、Ｂ、Ｃ、Ｄでの所定期間の符号化情報１１７の状態を示す。
【０４２３】
図１３（ｂ）に示すように本実施の形態では、所定期間の符号化情報１１７として、ある時刻から過去に遡って最新の５つ（最も過去の符号化情報を符号化情報Ｎ−４、最新の符号化情報まで順にＮ−３、Ｎ−２、Ｎ−１、Ｎ）の符号化情報１１６（量子化ステップ４１４）を常に記憶する。新しい符号化情報１１６が入力された場合、既に記憶されている符号化情報を一つずつずらし（符号化情報Ｎ−４に符号化情報Ｎ−３を格納、符号化情報Ｎ−３に符号化情報Ｎ−２を格納、符号化情報Ｎ−２に符号化情報Ｎ−１を格納、符号化情報Ｎ−１に符号化情報Ｎを格納）、新しい符号化情報１１６を符号化情報Ｎに格納する。なお符号化開始当初など、５つ分の符号化情報１１６が入力されていない場合には、初期値として取り得る最大値（ここではＭＡＸ（３１）とする）を記憶しておくようにする。
【０４２４】
ポイントＡでは、符号化開始当初の状態を示し、最新の４つの符号化情報１１６（６，６，７，８）が符号化情報Ｎ−３〜Ｎに記憶されており、符号化情報Ｎ−４には初期値ＭＡＸ（３１）が記憶されている。
【０４２５】
またポイントＢでは、最新の５つの符号化情報１１６（５，５，５，４，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０４２６】
またポイントＣでは、最新の５つの符号化情報１１６（５，４，４，３，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０４２７】
またポイントＤでは、最新の５つの符号化情報１１６（１０，１２，１２，１３，１３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０４２８】
図１９を用いた説明に戻る。
【０４２９】
画質レベル記憶ステップ１６０４は、符号化ステップ１６０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【０４３０】
本実施の形態では、第１の基準画質レベル１２１並びに第２の基準画質レベル１２２として量子化ステップを記憶しており、それぞれの値は４、１２であるものとする。
【０４３１】
画質検出ステップ１６０５は、所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【０４３２】
上記の通り、所定期間分の符号化情報１１７として最新の５つの符号化情報１１６（量子化ステップ４１４）を記憶しており、画質検出ステップ１６０５ではそれらを入力して画質レベル１１８を決定する。
【０４３３】
本実施の形態では、画質レベル１１８は入力される最新の５つの符号化情報１１６（量子化ステップ４１４）の平均値であるものとする。
【０４３４】
そうすると図１３（ｂ）に示した４つのポイントＡ〜Ｄそれぞれにおける画質レベル１１８は、ポイントＡでは１１．６（＝（３１＋６＋６＋７＋８）／５、小数点第２以下は四捨五入、以下同様）、ポイントＢでは４．４（＝（５＋５＋５＋４＋３）／５）、ポイントＣでは３．８（＝（５＋４＋４＋３＋３）／５）、ポイントＤでは１２．０（＝（１０＋１２＋１２＋１３＋１３）／５）となる。
【０４３５】
録画モード変更通知ステップ１９０６は、複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶ステップ１６０４で記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出ステップ１６０５で記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更し、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更し、符号化用録画モード１１５を変更したことをメッセージ出力しユーザへ通知する。
【０４３６】
図１４に録画モード変更通知ステップ１９０６の処理フロー図を示す。
【０４３７】
図１４に示すように 録画モード変更通知ステップ１９０６の処理は、
画質レベル１１８が第１の基準画質レベル１２１以下であるかを判定する画質レベル判定ステップ１４０１、
画質レベル１１８が第２の基準画質レベル１２２以上であるかを判定する画質レベル判定ステップ１４０２、
画質レベル判定ステップ１４０１での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が１のＸＰモード（最高画質での録画が可能なモード）であるかを判定する符号化用録画モード判定ステップ１４０３、
符号化用録画モード判定ステップ１４０３での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの高い録画モード（現在のモード番号−１の録画モード）に変更する録画モード変更ステップ１４０４、
符号化用録画モード１１５を変更したことをメッセージ出力するメッセージ出力ステップ１４０５、
画質レベル判定ステップ１４０２での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が４のＥＰモード（最も全体的な録画画質は低いが最も長時間録画可能なモード）であるかを判定する符号化用録画モード判定ステップ１４０６、
符号化用録画モード判定ステップ１４０６での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの低い録画モード（現在のモード番号＋１の録画モード）に変更する録画モード変更ステップ１４０７、
符号化用録画モード１１５を変更したことをメッセージ出力するメッセージ出力ステップ１４０８を備える。
【０４３８】
ポイントＡでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は１１．６となっている。
【０４３９】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が１１．６、第１の基準画質レベルが４であることから判定結果は否定的となり、画質レベル判定ステップ１４０２へ遷移する。
【０４４０】
次に画質レベル判定ステップ１４０２での判定は、画質レベル１１８が１１．６、第２の基準画質レベルが１２であることから判定結果は否定的となり処理を終了する。
【０４４１】
ポイントＢでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は４．４となっている。
【０４４２】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が４．４、第１の基準画質レベルが４であることから判定結果は否定的となり、画質レベル判定ステップ１４０２へ遷移する。
【０４４３】
次に画質レベル判定ステップ１４０２での判定は、画質レベル１１８が４．４、第２の基準画質レベルが１２であることから判定結果は否定的となり処理を終了する。
【０４４４】
ポイントＣでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は３．８となっている。
【０４４５】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が３．８、第１の基準画質レベルが４であることから判定結果は肯定的となり、符号化用録画モード判定ステップ１４０３へ遷移する。
【０４４６】
次に符号化用録画モード判定ステップ１４０３での判定は、符号化用録画モード１１５がモード番号３のＬＰモードであることから判定結果は否定的となり、録画モード変更ステップ１４０４へ遷移する。
【０４４７】
次に、録画モード変更ステップ１４０４では、符号化用録画モード１１５がモード番号３のＬＰモードであることから、符号化用録画モード１１５をモード番号２のＳＰモードへ変更する。
【０４４８】
次にメッセージ出力ステップ１４０５では、符号化用録画モード１１５をモード番号３のＬＰモードから、モード番号２のＳＰモードへ変更したことをメッセージ出力し、処理を終了する。
【０４４９】
ポイントＤでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は１２．０となっている。
【０４５０】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が１２．０、第１の基準画質レベルが４であることから判定結果は否定的となり、画質レベル判定ステップ１４０２へ遷移する。
【０４５１】
次に画質レベル判定ステップ１４０２での判定は、画質レベル１１８が１２．０、第２の基準画質レベルが１２であることから判定結果は肯定的となり符号化用録画モード判定ステップ１４０６へ遷移する。
【０４５２】
次に符号化用録画モード判定ステップ１４０６での判定は、符号化用録画モード１１５がモード番号３のＬＰモードであることから判定結果は否定的となり、録画モード変更ステップ１４０７へ遷移する。
【０４５３】
次に、録画モード変更ステップ１４０７では、符号化用録画モード１１５がモード番号３のＬＰモードであることから、符号化用録画モード１１５をモード番号４のＥＰモードへ変更する。
【０４５４】
次にメッセージ出力ステップ１４０８では、符号化用録画モード１１５をモード番号３のＬＰモードから、モード番号４のＬＰモードへ変更したことをメッセージ出力し、処理を終了する。
【０４５５】
図１５（ａ）、（ｂ）、（ｃ）に本実施の形態で表示する表示画面例（録画モード変更通知ステップ１９０６からのメッセージ出力がない場合（図１３（ｂ）でのポイントＡ、Ｂ）、より符号化レートの高い録画モードへの変更（モード３のＬＰモードからモード２のＳＰモード）メッセージ出力がある場合（図１３（ｂ）でのポイントＣ）、より符号化レートの低い録画モードへの変更（モード３のＬＰモードからモード４のＥＰモード）メッセージ出力がある場合（図１３（ｂ）でのポイントＤ））を示す。
【０４５６】
図１５（ｂ）、（ｃ）に示すように、録画モード変更通知ステップ１９０６からのメッセージ出力がある場合には、表示画面の上部に録画モード変更を実施したという表示がなされる。
【０４５７】
ユーザは本表示を見て、録画画質に合わせて符号化用録画モード１１５が変更されたことを認識する。
【０４５８】
以上のように本実施の形態によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下若しくは以上となった場合に、より画質に合わせた録画モードへ変更し、ユーザへ通知することで、如何なる録画モードで動作中であっても録画画質の劣化若しくは不必要な高い符号化レートによる録画を検出し、録画ミスを回避可能となる。
【産業上の利用可能性】
【０４５９】
本発明に関わる画像処理装置及び画像処理方法は、ビデオカメラのような入力画像を符号化並びに録画する機器、特に符号化時の符号化レートを切り換えるために複数用意された録画モードの中からユーザが所望の録画モードを選択、指定して録画する機器及びその応用分野において利用できる。
【図面の簡単な説明】
【０４６０】
【図１】本発明の実施の形態１における画像処理装置のブロック図
【図２】本発明の実施の形態１における録画モードを示す図
【図３】（ａ）本発明の実施の形態１における画像データの１フレーム分の構成図（ｂ）本発明の実施の形態１における復号画像データの１フレーム分の構成図
【図４】本発明の実施の形態１における符号化部のブロック図
【図５】本発明の実施の形態１における符号化レートを示す図
【図６】本発明の実施の形態１における所定期間の符号化情報を示す図
【図７】本発明の実施の形態１における録画モード制御部での処理フロー図
【図８】本発明の実施の形態１における表示画面例を示す図
【図９】（ａ）本発明の実施の形態１におけるＤＣＴ係数の１フレーム分の構成図（ｂ）本発明の実施の形態１における逆量子化ＤＣＴ係数の１フレーム分の構成図
【図１０】本発明の実施の形態２における所定期間の符号化情報を示す図
【図１１】本発明の実施の形態２における表示画面例を示す図
【図１２】本発明の実施の形態３における画像処理装置のブロック図
【図１３】本発明の実施の形態３における所定期間の符号化情報を示す図
【図１４】本発明の実施の形態３における録画モード制御部での処理フロー図
【図１５】本発明の実施の形態３における表示画面例を示す図
【図１６】本発明の実施の形態４における画像処理方法の処理フロー図
【図１７】本発明の実施の形態４における画像処理方法を具現化する処理装置を示すブロック図
【図１８】本発明の実施の形態４における符号化ステップの処理フロー図
【図１９】本発明の実施の形態６における画像処理方法の処理フロー図
【図２０】従来のデジタルビデオカメラのブロック図
【符号の説明】
【０４６１】
１００，１２００ 画像処理装置
１０１ メモリ
１０２ 符号化部
１０３ 符号化情報記憶部
１０４ 画質レベル記憶部
１０５ 画質検出部
１０６ 録画モード記憶部
１０７，１２０７ 録画モード制御部
１０８ 表示部
１０９ 画像データ
１１０ 符号化画像データ
１１１ 表示画像データ
１１２ 録画モード
１１３，１７０３ 前フレームの復号化画像データ
１１４ 復号化画像データ
１１５ 符号化用録画モード
１１６，１７０６ 符号化情報
１１７ 所定期間分の符号化情報
１１８ 画質レベル
１１９ 複数用意された録画モード
１２１ 第１の基準画質レベル
１２２ 第２の基準画質レベル
１２３ メッセージ
４０１ 動き検出処理部
４０２ 動き補償処理部
４０３ 差分器
４０４ ＤＣＴ処理部
４０５ 量子化処理部
４０６ 逆量子化処理部
４０７ 逆ＤＣＴ処理部
４０８ 再構成処理部
４０９ 可変長符号化処理部
４１０ スイッチ
４１１ レート制御部
４１２ 符号化情報取得部
４１３ ＤＣＴ処理部への入力
４１４ 量子化ステップ
４１５，１７１９ 符号化画像データサイズ
４１６，１７１６ 量子化ＤＣＴ係数
４１７ ＤＣＴ係数
４２０ 逆量子化ＤＣＴ係数
４２１，１７１８ 逆ＤＣＴ係数
４２２，１７１４ 予測画像データ
４２３，１７１３ 動きベクトル
４２４ 再構成処理部への入力
５００，１７１１ 符号化レート
７０１，１４０１ 画質レベル判定ステップ
７０２，１４０２ 画質レベル判定ステップ
７０３，１４０３ 符号化用録画モード判定ステップ
７０４，１４０５，７０６，１４０８ メッセージ出力ステップ
７０５，１４０６ 符号化用録画モード判定ステップ
１２２４ 録画モード変更部
１２２５ 制御信号
１４０４，１４０７ 録画モード変更ステップ
１６０８ 画像処理方法
１６０１ 録画モード記憶ステップ
１６０２ 符号化ステップ
１６０３ 符号化情報記憶ステップ
１６０４ 画質レベル記憶ステップ
１６０５ 画質検出ステップ
１６０６ 録画モード変更通知ステップ
１７００ 処理装置
１７０１ ＣＰＵ
１７０２ メモリ
１８０１ レート制御ステップ
１８０２ 動き検出処理ステップ
１８０３ 動き補償処理ステップ
１８０４ ＤＣＴ処理ステップ
１８０５ 量子化処理ステップ
１８０６ 逆量子化処理ステップ
１８０７ 逆ＤＣＴ処理ステップ
１８０８ 再構成処理ステップ
１８０９ 可変長符号化処理ステップ
１８１０ 符号化情報取得ステップ
１９０８ 画像処理方法
１９０６ 録画モード変更ステップ
２００１ デジタルビデオカメラ
２００２ 記録媒体
２００３ レンズ
２００４ ホストコントローラ
２００５ 撮像部
２００６ エンコーダ
２００６Ａ ビットレート計算部
２００６Ｂ 制御部
２００６Ｃ エンコード部
２００７ 記録再生部
２００８ 表示制御部
２００８Ａ ビットレートグラフィック出力部
２００８Ｂ 録画モードメータ上限切替部
２００９ 表示部
【技術分野】
【０００１】
この発明は、ビデオカメラのような入力画像を符号化並びに録画する画像処理装置に関するもので、特に符号化時の符号化レートを切り換えるために複数用意された録画モードの中からユーザが所望の録画モードを選択、指定して録画する画像処理装置に関するものである。
【背景技術】
【０００２】
背景技術に関する説明に入る前に、本発明において使用する語句について幾つか説明する。
【０００３】
まず、”画質”や”画質レベル”について、本発明では、対象とする画像データの品質を指すものであり、主観的若しくは客観的な指標を含んでよい。本発明では客観的な指標の一つとして、基となる画像データ（符号化前の画像データ）と画質（若しくは画質レベル）を評価する対象の画像（符号化及び復号化後の画像データ）とのＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）を挙げている。ＳＮＲが高い場合が、画質（若しくは画質レベル）が高い（若しくは高レベル）、ＳＮＲが低い場合が、画質（若しくは画質レベル）が低い（若しくは低レベル）としている。
【０００４】
次に”符号化レート”について、本発明では、画像データを符号化する際に扱うデータ量を指すものであり、符号化後のデータである符号化画像データのデータ量を示すビットレート、単位時間当たりに符号化するフレーム数を示すフレームレート、符号化前のデータである画像データの画素数などが挙げられる。本発明では符号化レートとして、中でもビットレートを挙げている。
【０００５】
近年、ビデオカメラのような入力画像を符号化並びに記憶媒体に録画する画像処理装置の分野では、録画する画像が標準（ＳＤ：ＳｔａｎｄａｒｄＤｅｆｉｎｉｔｉｏｎ）画質から高精細（ＨＤ：ＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）画質へと、また記憶媒体も磁気テープから光ディスクやハードディスクドライブ、メモリカードなどへ変化し、高画質化並びに機能の多様化が進んでいる。
【０００６】
またそれらの画像処理装置では、画像を符号化する際の符号化レートを切り換えるための複数の録画モードが用意されているケースが多い。
【０００７】
従来は録画モードとして、標準的な画質で録画する標準モードと、標準モードに対して符号化レートを下げることで全体的な録画画質は下がるが長時間録画できる長時間モードといった２種類程度が用意され、ユーザはそのどちらかを選択するといったシンプルな構成だった。
【０００８】
一方近年は録画モードとして、符号化レートは最も高く最高画質で録画するが録画可能な時間は短い最高画質モード、最高画質モードから順に符号化レートを下げていき全体的な録画画質と録画可能な時間のバランスをとった複数の中間的な録画モード、そして符号化レートが最も低く全体的な録画画質も最も低いが最も長時間録画できる長時間モードといった多様な録画モードが用意され、また最高画質モードでの全体的な録画画質と長時間モードでの同画質間の画質差が大きくなっている状態で、ユーザはその中から最も適した録画モードを選択しなければならなくなっている。
【０００９】
上記のように多様な録画モードが用意される状況では、ユーザが録画モードの設定ミスによる録画ミス（本当は最高画質モードで録画したかったのに、間違って長時間モードで録画してしまった等）が十分起こり得る。また上記の通り最高画質モードでの全体的な録画画質と長時間モードでの同画質間の画質差が大きくなっているため、上記録画ミスによる損害も大きい。
【００１０】
上記のような録画ミスを回避するための従来技術として、特許文献１に開示された動画記録装置、動画記録方法がある。
【００１１】
図２０は特許文献１に開示されたデジタルビデオカメラのブロック図である。
【００１２】
図２０に示すデジタルビデオカメラ２００１は、記録媒体２００２、レンズ２００３、ホストコントローラ２００４、撮像部２００５、エンコーダ２００６、記録再生部２００７、表示制御部２００８、表示部２００９から構成されている。
【００１３】
またエンコーダ２００６は、ビットレート計算部２００６Ａ、制御部２００６Ｂ、エンコード部２００６Ｃから、表示制御部２００８は、ビットレートグラフィック出力部２００８Ａ、録画モードメータ上限切替部２００８Ｂから構成されている。
【００１４】
ここでデジタルビデオカメラ２００１では、レンズ２００３がホストコントローラ２００４の制御によりズーム等を可変して入射光を集光し、続く撮像部２００５へ被写体の光学像を形成する。
【００１５】
そして撮像部２００５は、形成された光学像を光電変換処理して動画による撮像結果をビデオ信号Ｓ１により出力する。
【００１６】
エンコーダ２００６では、ホストコントローラ２００４により提示される記録モード（本発明での録画モードと同意）によりビデオ信号Ｓ１を符号化処理することにより、ビデオ信号Ｓ１をデータ圧縮して符号化データＤＦを出力する。
【００１７】
またエンコーダ２００６での符号化処理は、ビットレート計算部２００６Ａ及び制御部２００６Ｂにおける前記記録モードに応じた上限ビットレートＲＡＴＥ ＬＩＭＩＴにより上限値が制限された可変ビットレート（ＶＢＲ）制御と共に、エンコード部２００６Ｃで実行される。
【００１８】
ここでビットレート計算部２００６Ａ及び制御部２００６Ｂは、符号化処理による発生符号量を監視すると共に、この監視結果によりエンコード部２００６Ｃを制御することで発生符号量を調整する。
【００１９】
またビットレート計算部２００６Ａでは、前記監視結果を基に所定時間単位の平均ビットレートであるＧＯＰ＿ＲＡＴＥを算出し、制御部２００６Ｂ及び表示制御部２００８へ通知する。
【００２０】
制御部２００６Ｂは、通知された平均ビットレートＧＯＰ＿ＲＡＴＥを、前記記録モードに応じた上限ビットレートＲＡＴＥ＿ＬＩＭＩＴと比較判定し、ＧＯＰ＿ＲＡＴＥがＲＡＴＥ＿ＬＩＭＩＴを上回っている状態、すなわち記録モード相当の画質を維持出来なくなった状態を録画画質が低下していると判断する。
【００２１】
表示制御部２００８は、表示部２００９を駆動する駆動回路であり、撮像部２００５から出力されるビデオ信号Ｓ１を表示部９で表示する。
【００２２】
また表示制御部２００８は、ビットレートグラフィック出力部２００８Ａにより表示部２００９上に画質の状態を示す平均ビットレートＧＯＰ＿ＲＡＴＥの情報を表示し、記録モードメータ上限切替部２００８Ｂにより画質劣化の基準とする前記記録モードに応じた上限ビットレートＲＡＴＥ＿ＬＩＭＩＴに対応するマークを表示する。
【００２３】
ここで上記平均ビットレートＧＯＰ＿ＲＡＴＥ表示が、前記記録モードに応じた上限ビットレートＲＡＴＥ＿ＬＩＭＩＴに対応するマークを超えるかどうかで、ユーザへ記録モードに対する録画画質の劣化度合いを通知し、ユーザはそれを見て記録モードを変更するなどの対応を取る事で劣化した画質での録画を続けるという録画ミスを回避する。
【特許文献１】特開２００７―１４２８０５号公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
しかしながら上述した従来の技術による動画記録装置、動画記録方法は、録画画質の劣化度合いを判定する基準が記録モードに依存したパラメータ（ここでは記録モードに応じて決定された上限ビットレート）となっており、記録モード相当の画質を維持出来ている間（例えば長時間モードで録画中に長時間モード相当の画質を維持出来ている間）は録画画質が劣化したと判断しない。その場合、（本当は最高画質モードで録画したかったのに、録画モード設定ミスにより長時間モードで録画してしまったという）録画ミスが発生しても、ユーザにそれを通知出来ない可能性があるという課題を有していた。
【００２５】
本発明は、上記従来の課題を解決するもので、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても録画画質の劣化を検出し、録画ミスを回避可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００２６】
上記従来の課題を解決するために、本発明の画像処理装置は、
入力する画像データ及び後述する符号化部より出力される符号化画像データ並びに前記符号化画像データを復号化した復号化画像データを記憶するメモリと、
前記メモリに記憶された画像データ並びに前フレームの復号化画像データ、後述する録画モード記憶部に記憶された符号化用録画モードを入力し、前記符号化用録画モードに対応する符号化レートで前記画像データを符号化した符号化画像データ並びに前記符号化画像データを復号化した復号化画像データを前記メモリに出力、また前記復号化画像データの画質を示す符号化情報を後述する符号化情報記憶部に出力する符号化部と、
前記符号化部より入力する前記符号化情報を所定期間分記憶する符号化情報記憶部と、
前記復号化画像データの画質を判定するための基準とする前記符号化用録画モードに依存しない第１の基準画質レベル及び第２の基準画質レベルの何れか又は両方を記憶する画質レベル記憶部と、
前記符号化情報記憶部に記憶された符号化情報を入力し、前記復号化画像データの画質レベル決定、記憶する画質検出部と、
複数用意された録画モード並びにその中で前記符号化部での符号化における符号化レートを指定するためにユーザが指定した符号化用録画モードを記憶する録画モード記憶部と、
前記録画モード記憶部に記憶された複数用意された録画モード並びに符号化用録画モード、及び前記画質レベル記憶部に記憶された第１並びに第２の基準画質レベル、及び前記画質検出部に記憶された画質レベルを入力し、前記画質レベルが前記第１の基準画質レベルより低レベルである場合は前記符号化用録画モードをより符号化レートの高い録画モードに変更するように、また前記画質レベルが前記第２の基準画質レベルより高レベルである場合は前記符号化用録画モードをより符号化レートの低い録画モードに変更するように、後述する表示部へメッセージを出力しユーザへ通知する録画モード制御部と、
前記メモリに記憶された画像データ並びに前記録画モード制御部より出力されるメッセージを表示する表示部とを備える。
【００２７】
本構成によって、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても録画モードに依存しない録画画質の劣化を検出し、録画ミスを回避可能となる。
【発明の効果】
【００２８】
本発明によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても録画モードに依存しない録画画質の劣化を検出し、録画ミスを回避可能な画像処理装置及び画像処理方法を提供できる。
【発明を実施するための最良の形態】
【００２９】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００３０】
（実施の形態１）
図１は、本発明の実施の形態１における画像処理装置１００のブロック図である。
【００３１】
図１に示すように画像処理装置１００は、メモリ１０１、符号化部１０２、符号化情報記憶部１０３、画質レベル記憶部１０４、画質検出部１０５、録画モード記憶部１０６、録画モード制御部１０７、表示部１０８を備える。
【００３２】
メモリ１０１は、外部より入力される画像データ１０９、符号化部１０２から出力され外部へ出力される符号化画像データ１１０、そして符号化部１０２から出力される復号化画像データ１１４を記憶する。
【００３３】
符号化部１０２は、メモリ１０１に記憶された画像データ１０９並びに前フレームの復号化画像データ１１３、録画モード記憶部１０６に記憶された符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４をメモリ１０１に出力、また復号化画像データ１１４の画質を示す符号化情報１１６を取得し符号化情報記憶部１０３へ出力する。
【００３４】
符号化情報記憶部１０３は、符号化部１０２より出力される符号化情報１１６を所定期間分記憶する。
【００３５】
画質レベル記憶部１０４は、符号化部１０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【００３６】
画質検出部１０５は、符号化情報記憶部１０３に記憶される所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【００３７】
録画モード記憶部１０６は、複数用意された録画モード１１９並びにその中で符号化部１０２での符号化における符号化レートを指定するために図示しない操作部を介してユーザが指定した録画モード１１２を符号化用録画モード１１５として記憶する。
【００３８】
録画モード制御部１０７は、録画モード記憶部１０６に記憶された複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶部１０４に記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出部１０５に記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように、表示部１０８へメッセージ１２３を出力しユーザへ通知する。
【００３９】
表示部１０８は、通常はメモリ１０１に記憶された画像データ１０９を表示し、録画モード制御部１０７よりメッセージ１２３の出力があった場合にはその内容を画像データ１０９に重畳して表示する。
【００４０】
以下、各処理部毎に詳細に説明する。
【００４１】
まずユーザにより指定された録画モード１１２を、録画モード記憶部１０６に符号化用録画モード１１５として記憶する。
【００４２】
図２に録画モード記憶部１０６に記憶された複数の録画モード１１９を示す。
【００４３】
図２に示すように本実施の形態では、最高画質での録画が可能なモード番号１のＸＰモードから、順に全体的な録画画質は低くなるが長時間の録画が可能となるモード番号２のＳＰモード、モード番号３のＬＰモード、そして最も全体的な録画画質は低いが最も長時間録画可能となるモード番号４のＥＰモード、全部で４種類の録画モードが用意されており、ユーザはこの中から所望のモードを録画モード１１２として指定する。
【００４４】
ここではユーザによりモード番号４のＥＰモードが指定され、符号化用録画モード１１５として記憶されているものとする。
【００４５】
図１を用いた説明に戻る。
【００４６】
以降、画像データ１０９がフレーム単位で入力され、それを起点に各処理が実行される。
【００４７】
まず画像データ１０９が入力され、メモリ１０１に記憶される。
【００４８】
図３（ａ）に画像データ１０９（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【００４９】
図３（ａ）に示すように本実施の形態では、画像データ１０９として水平１６画素×垂直１６画素の計２５６画素であり、各画素は符号無し８ビット整数（取り得る値は０〜２５５）で表現されるものとする。
【００５０】
図１を用いた説明に戻る。
【００５１】
次に符号化部１０２は、メモリ１０１に記憶された画像データ１０９並びに前フレームの復号化画像データ１１３（最初のフレームに対する符号化の場合は使用しない）、録画モード記憶部１０６に記憶された符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４をメモリ１０１に出力、また復号化画像データ１１４の画質を示す符号化情報１１６を取得し符号化情報記憶部１０３へ出力する。
【００５２】
図４に符号化部１０２のブロック図を示す。
【００５３】
図４に示すように符号化部１０２は、動き検出処理部４０１、動き補償処理部４０２、差分器４０３、ＤＣＴ処理部４０４、量子化処理部４０５、逆量子化処理部４０６、逆ＤＣＴ処理部４０７、再構成処理部４０８、可変長符号化処理部４０９、スイッチ４１０、レート制御部４１１、符号化情報取得部４１２を備える。
【００５４】
レート制御部４１１は、録画モード記憶部１０６に記憶されている符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定、また可変長符号化処理部４０９から入力する符号化画像データサイズ４１５を基に可変長符号化処理部４０９から出力される符号化画像データ１１０のデータ量が符号化レートに近づくように、量子化処理部４０５並びに逆量子化処理部４０６で使用される量子化ステップ４１４を制御する。
【００５５】
動き検出処理部４０１は、メモリ１０１に記憶されている画像データ１０９と前フレームの復号画像データ１１３とを用いて動きベクトル４２３を検出する。
【００５６】
動き補償処理部４０２は、動き検出処理部４０１が検出した動きベクトル４２３とメモリ１０１に記憶されている前フレームの復号化画像データ１１３とを用いて、予測画像データ４２２を生成する。
【００５７】
ＤＣＴ処理部４０４への入力４１３は、スイッチ４１０によって画像データ１０９又は画像データ１０９と予測画像データ４２２の差分の何れかに切り換えられる。ここでスイッチ４１０は、一方が選択された場合は出力として全て０を出力し、他方が選択された場合は出力として予測画像データ４２２が出力され、最初のフレームに対する符号化の場合は前者（出力として全て０）、それ以外の場合は後者（出力として予測画像データ４２２）が選択されるように制御されるものとする。
【００５８】
ＤＣＴ処理部４０４は、入力４１３をＤＣＴ処理して、ＤＣＴ係数４１７を出力する。
【００５９】
量子化処理部４０５は、ＤＣＴ係数４１７を量子化ステップ４１４を用いて量子化して、量子化ＤＣＴ係数４１６を出力する。
【００６０】
逆量子化処理部４０６は、量子化ＤＣＴ係数４１６を量子化ステップ４１４を用いて逆量子化して、逆量子化ＤＣＴ係数４２０を出力する。
【００６１】
逆ＤＣＴ処理部４０７は、逆量子化ＤＣＴ係数４２０を逆ＤＣＴ処理して、逆ＤＣＴ係数４２１を出力する。
【００６２】
再構成処理部４０８への入力４２４は、スイッチ４１０によって全て０又は予測画像データ４２２の何れかに切り換えられる。
【００６３】
再構成処理部４０８は、入力４２４と逆ＤＣＴ係数４２１を加算して、復号化画像データ１１４を生成しメモリ１０１に出力する。
【００６４】
可変長符号化処理部４０９は、量子化処理部４０５が出力した量子化ＤＣＴ係数４１６と動き検出処理部４０１が検出した動きベクトル４２３とを可変長符号化して、符号化画像データ１１０をメモリ１０１に出力し、また符号化画像データ１１０のデータ量を示す符号化画像データサイズ４１５をレート制御部４１１に出力する。
【００６５】
符号化情報取得部４１２は、復号化画像データ１１４の画質を示す符号化情報１１６を取得して、符号化情報記憶部１０３へ出力する。
【００６６】
以下、符号化部１０２における具体的な動作説明を行う。
【００６７】
なお本発明の主張するところに関わる符号化用録画モード１１５並びに復号化画像データ１１４の画質を示す符号化情報１１６を取得する符号化情報取得部４１２以外の符号化処理については、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の国際標準規格である画像符号化方式や様々なレート制御方式など、公知の技術による実施で何ら問題ないため、その詳細な説明は省略する。
【００６８】
まずレート制御部４１１は、録画モード記憶部１０６に記憶されている符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定する。
【００６９】
図５にレート制御部４１１に記憶された複数の録画モード１１９に対応する符号化レート５００を示す。
【００７０】
図５に示すように本実施の形態では、録画モード１１９に対応する符号化レート５００として、目標とする単位時間（１秒）当たりの符号化画像データ１１０の出力データ量（ｂｉｔ数）である目標ビットレート（単位はｂｉｔ／ｓｅｃｏｎｄ）及び最初のフレームに対する符号化での量子化ステップ４１４として適用する初期量子化ステップが記憶され、モード番号１〜４の各録画モードに対する（目標ビットレート、初期量子化ステップ）はそれぞれ、モード番号１＝（１６，０００ｂｉｔ／ｓｅｃｏｎｄ、２）、モード番号２＝（８，０００ｂｉｔ／ｓｅｃｏｎｄ、４）、モード番号３＝（４，０００ｂｉｔ／ｓｅｃｏｎｄ、８）、モード番号４＝（２，０００ｂｉｔ／ｓｅｃｏｎｄ、１６）であるものとする。
【００７１】
レート制御部４１１では、録画モード記憶部１０６に記憶されている符号化用録画モード１１５に対応する（目標ビットレート、初期量子化ステップ）を符号化レート５００の中から取得し、使用する。
【００７２】
図４を用いた説明に戻る。
【００７３】
本実施の形態では、符号化用録画モード１１５としてモード番号４のＥＰモードが記憶されているため、符号化レート（目標ビットレート、初期量子化ステップ）として（２，０００ｂｉｔ／ｓｅｃｏｎｄ、１６）を決定し、以降レート制御部４１１では、前記符号化レートを用いて所定のレート制御方式により、量子化ステップ４１４を制御する。
【００７４】
次に動き検出処理部４０１は、メモリ１０１に記憶されている画像データ１０９と前フレームの復号画像データ１１３とを用いて動きベクトル４２３を検出する。
【００７５】
次に動き補償処理部４０２は、動き検出処理部４０１が検出した動きベクトル４２３とメモリ１０１に記憶されている前フレームの復号化画像データ１１３とを用いて、予測画像データ４２２を生成する。
【００７６】
次にＤＣＴ処理部４０４は、スイッチ４１０によって切り換えられた入力４１３（最初のフレームに対する符号化の場合画像データ１０９、それ以外の場合画像データ１０９と予測画像４２２の差分）をＤＣＴ処理して、ＤＣＴ係数４１７を出力する。
【００７７】
次に量子化処理部４０５は、ＤＣＴ係数４１７を、量子化ステップ４１４を用いて量子化して、量子化ＤＣＴ係数４１６を出力する。
【００７８】
次に逆量子化処理部４０６は、量子化ＤＣＴ係数４１６を、量子化ステップ４１４を用いて逆量子化して、逆量子化ＤＣＴ係数４２０を出力する。
【００７９】
次に逆ＤＣＴ処理部４０７は、逆量子化ＤＣＴ係数４２０を逆ＤＣＴ処理して、逆ＤＣＴ係数４２１を出力する。
【００８０】
次に再構成処理部４０８は、スイッチ４１０によって切り換えられた入力４２４（最初のフレームに対する符号化の場合全て０、それ以外の場合予測画像データ４２２）と逆ＤＣＴ係数４２１を加算して、復号化画像データ１１４を生成しメモリ１０１に出力する。
【００８１】
図３（ｂ）に復号化画像データ１１４（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【００８２】
次に可変長符号化処理部４０９は、量子化処理部４０５が出力した量子化ＤＣＴ係数４１６と動き検出処理部４０１が検出した動きベクトル４２３とを可変長符号化して、符号化画像データ１１０をメモリ１０１に出力し、また符号化画像データ１１０のデータ量を示す符号化画像データサイズ４１５をレート制御部４１１に出力する。
【００８３】
次に符号化情報取得部４１２は、画像データ１０９及び復号画像データ１１４を入力し、復号化画像データ１１４の画質を示す符号化情報１１６として、画像データ１０９と復号画像データ１１４のＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）（単位はｄＢ）を算出し、符号化情報１１６として符号化情報記憶部１０３へ出力する。
【００８４】
（数１）にＳＮＲ算出式を示し、ｉは画像データ１０９及び復号画像データ１１４の左端画素を０とし右側へ１画素ずれることに１増加する水平方向の画素単位位置（画像データ１０９及び復号画像データ１１４は水平１６画素であるためｉは０〜１５を取り得る）、ｊは画像データ１０９及び復号画像データ１１４の上端画素を０とし下側へ１画素ずれるごとに１増加する垂直方向の画素単位位置（画像データ１０９及び復号画像データ１１４は垂直１６画素であるためｊは０〜１５を取り得る）、ｙ（ｉ，ｊ）は画像データ１０９におけるｉ及びｊで表される位置の画素値、ｙ’（ｉ，ｊ）は復号画像データ１１４におけるｉ及びｊで表される位置の画素値を示す。
【００８５】
【数１】
【００８６】
ここで数１に示す算出式を用いて図３（ａ）及び図３（ｂ）に示す画像データ１０９と復号画像データ１１４のＳＮＲを算出すると、６ｄＢ（小数点以下は四捨五入）となる。
【００８７】
図１を用いた説明に戻る。
【００８８】
符号化情報記憶部１０３は、符号化部１０２より出力される符号化情報１１６を所定期間分記憶する。
【００８９】
図６に符号化情報記憶部１０３に記憶される所定期間の符号化情報１１７を示す。
【００９０】
ここで図６（ａ）は符号化部１０２より出力される符号化情報１１６の時間経過による遷移を示し、また図６（ｂ）に図６（ａ）に示した符号化情報１１６の時間経過による遷移中の４つのポイントＡ、Ｂ、Ｃ、Ｄでの符号化情報記憶部１０３に記憶される所定期間の符号化情報１１７の状態を示す。
【００９１】
図６（ｂ）に示すように本実施の形態では、所定期間の符号化情報１１７として、ある時刻から過去に遡って最新の５つ（最も過去の符号化情報を符号化情報Ｎ−４、最新の符号化情報まで順にＮ−３、Ｎ−２、Ｎ−１、Ｎ）の符号化情報１１６（画像データ１０９と復号画像データ１１４のＳＮＲ）を常に記憶する。新しい符号化情報１１６が入力された場合、既に記憶されている符号化情報を一つずつずらし（符号化情報Ｎ−４に符号化情報Ｎ−３を格納、符号化情報Ｎ−３に符号化情報Ｎ−２を格納、符号化情報Ｎ−２に符号化情報Ｎ−１を格納、符号化情報Ｎ−１に符号化情報Ｎを格納）、新しい符号化情報１１６を符号化情報Ｎに格納する。なお符号化開始当初など、５つ分の符号化情報１１６が入力されていない場合には、初期値として取り得る最大値（ここではＭＡＸ（３１）とする）を記憶しておくようにする。
【００９２】
ポイントＡでは、符号化開始当初の状態を示し、最新の４つの符号化情報１１６（６，６，７，８）が符号化情報Ｎ−３〜Ｎに記憶されており、符号化情報Ｎ−４には初期値ＭＡＸ（３１）が記憶されている。
【００９３】
またポイントＢでは、最新の５つの符号化情報１１６（５，５，５，４，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【００９４】
またポイントＣでは、最新の５つの符号化情報１１６（５，４，４，３，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【００９５】
またポイントＤでは、最新の５つの符号化情報１１６（１０，１２，１２，１３，１３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【００９６】
図１を用いた説明に戻る。
【００９７】
画質レベル記憶部１０４は、符号化部１０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【００９８】
本実施の形態では、第１の基準画質レベル１２１並びに第２の基準画質レベル１２２として画像データ１０９と復号画像データ１１４のＳＮＲを記憶しており、それぞれの値は４ｄＢ、１２ｄＢであるものとする。
【００９９】
画質検出部１０５は、符号化情報記憶部１０３に記憶される所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【０１００】
上記の通り、符号化情報記憶部１０３には所定期間分の符号化情報１１７として最新の５つの符号化情報１１６（画像データ１０９と復号画像データ１１４のＳＮＲ）を記憶しており、画質検出部１０５ではそれらを入力して画質レベル１１８を決定する。
【０１０１】
本実施の形態では、画質レベル１１８は入力される最新の５つの符号化情報１１６（画像データ１０９と復号画像データ１１４のＳＮＲ）の平均値であるものとする。
【０１０２】
そうすると図６（ｂ）に示した４つのポイントＡ〜Ｄそれぞれにおける画質レベル１１８は、ポイントＡでは１１．６（＝（３１＋６＋６＋７＋８）／５、小数点第２以下は四捨五入、以下同様）（単位はｄＢ、以下同様）、ポイントＢでは４．４（＝（５＋５＋５＋４＋３）／５）、ポイントＣでは３．８（＝（５＋４＋４＋３＋３）／５）、ポイントＤでは１２．０（＝（１０＋１２＋１２＋１３＋１３）／５）となる。
【０１０３】
録画モード制御部１０７は、録画モード記憶部１０６に記憶された複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶部１０４に記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出部１０５に記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように、表示部１０８へメッセージ１２３を出力しユーザへ通知する。
【０１０４】
図７に録画モード制御部１０７での処理フロー図を示す。
【０１０５】
図７に示すように録画モード制御部１０７での処理は、画質レベル１１８が第１の基準画質レベル１２１以下であるかを判定する画質レベル判定ステップ７０１、画質レベル１１８が第２の基準画質レベル１２２以上であるかを判定する画質レベル判定ステップ７０２、画質レベル判定ステップ７０１での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が１のＸＰモード（最高画質での録画が可能なモード）であるかを判定する符号化用録画モード判定ステップ７０３、符号化用録画モード判定ステップ７０３での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの高い録画モード（現在のモード番号−１の録画モード）に変更するように表示部１０８へメッセージ１２３を出力するメッセージ出力ステップ７０４、画質レベル判定ステップ７０２での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が４のＥＰモード（最も全体的な録画画質は低いが最も長時間録画可能なモード）であるかを判定する符号化用録画モード判定ステップ７０５、符号化用録画モード判定ステップ７０５での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの低い録画モード（現在のモード番号＋１の録画モード）に変更するように表示部１０８へメッセージ１２３を出力するメッセージ出力ステップ７０６を備える。
【０１０６】
以下、図６（ｂ）に示した４つのポイントＡ〜Ｄそれぞれにおける処理の流れについて説明する。
【０１０７】
ポイントＡでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１１．６ｄＢとなっている。
【０１０８】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１１．６ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０１０９】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１１．６ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０１１０】
ポイントＢでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は４．４ｄＢとなっている。
【０１１１】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が４．４ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０１１２】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が４．４ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０１１３】
ポイントＣでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は３．８ｄＢとなっている。
【０１１４】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が３．８ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は肯定的となり、符号化用録画モード判定ステップ７０３へ遷移する。
【０１１５】
次に符号化用録画モード判定ステップ７０３での判定は、符号化用録画モード１１５がモード番号４のＥＰモードであることから判定結果は否定的となり、メッセージ出力ステップ７０４へ遷移する。
【０１１６】
次にメッセージ出力ステップ７０４では、符号化用録画モード１１５がモード番号４のＥＰモードであることから、モード番号３のＬＰモードへ変更するように表示部１０８へメッセージ１２３を出力し、処理を終了する。
【０１１７】
ポイントＤでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１２．０ｄＢとなっている。
【０１１８】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１２．０ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０１１９】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１２．０ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は肯定的となり符号化用録画モード判定ステップ７０５へ遷移する。
【０１２０】
次に符号化用録画モード判定ステップ７０５での判定は、符号化用録画モード１１５がモード番号４のＥＰモードであることから判定結果は肯定的となり処理を終了する。
【０１２１】
図１を用いた説明に戻る。
【０１２２】
表示部１０８は、通常はメモリ１０１に記憶された画像データ１０９を表示し、録画モード制御部１０７よりメッセージ１２３の出力があった場合にはその内容を画像データ１０９に重畳して表示する。
【０１２３】
図８（ａ）、（ｂ）に表示部１０８で表示する表示画面例（録画モード制御部１０７からのメッセージ１２３出力がない場合（図６（ｂ）でのポイントＡ、Ｂ、Ｄ）、メッセージ１２３出力がある場合（図６（ｂ）でのポイントＣ））を示す。
【０１２４】
図８（ｂ）に示すように、録画モード制御部１０７からのメッセージ１２３出力がある場合には、表示画面の上部に録画モード変更を促す表示がなされる。
【０１２５】
ユーザは本表示を見て、録画画質の確認並びに必要に応じて録画モード１１２での指示により符号化用録画モード１１５をより符号化レートの高い録画モードに変更する。
【０１２６】
なお本実施の形態では、復号化画像データ１１４の画質レベル１１８を計る指標である符号化情報１１６としてＳＮＲを用いたが、それ以外の画質レベルを計る指標を用いても同様の効果が得られる。
【０１２７】
また本実施の形態では、録画モードに対応する符号化レート５００として目標ビットレート及び初期量子化ステップを定義したが、それ以外のフレームレートや画像データ１０９の画素数などの符号化時の条件を定義し、録画モード変更に応じてそれらの条件が変化するようにしてもよい。
【０１２８】
また本実施の形態では、復号化画像データ１１４の画質レベル１１８の基準として使用する第１の基準画質レベル１２１並びに第２の基準画質レベル１２２として固定的な値を使用したが、符号化用録画モード１１５や画質レベル１１８若しくはそれ以外の符号化時に得られる情報などに合わせて動的に変化する値を用いてもよい。
【０１２９】
また本実施の形態では、符号化用録画モード１１５を変更するようにメッセージを出力する際に現在の符号化用録画モード１１５に隣接する録画モード（モード番号の変化の絶対値が１となる録画モード）にのみ実施しているが、符号化用録画モード１１５や画質レベル１１８などに合わせてそれ以上のモード変更をするようにしてもよい。
【０１３０】
また本実施の形態では、画質レベル１１８を決定する際に使用する所定期間の符号化情報１１７としてある時刻から過去に遡って最新の５つの符号化情報１１６の平均値としているが、期間を変更（動的な変更含む）や重み付きの平均値（重み付けの変更含む）とするなど、別の画質レベルの遷移を計る指標としてもよい。
【０１３１】
また本実施の形態では、符号化開始当初など（図６に示すポイントＡ）符号化部１０２より出力される符号化情報１１６が所定期間分（５つ）記憶されていない場合に初期値を用いた計算を行っているが、別の値を使用したり符号化情報１１６は所定期間分記憶されていない場合は、本発明に示す処理をスキップするとしてもよい。
【０１３２】
以上のように本実施の形態によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても録画画質の劣化を検出し、録画ミスを回避可能となる。
【０１３３】
（実施の形態２）
本発明の実施の形態２における画像処理装置は実施の形態１で示した図１と同一に構成され、共通な点については一部説明を省略する。
【０１３４】
以下、各処理部毎に詳細に説明する。
【０１３５】
まずユーザにより指定された録画モード１１２を、録画モード記憶部１０６に符号化用録画モード１１５として記憶する。
【０１３６】
本実施の形態における録画モード記憶部１０６に記憶された複数の録画モード１１９は実施の形態１で示した図２と同一に構成される。
【０１３７】
ここではユーザによりモード番号２のＳＰモードが指定され、符号化用録画モード１１５として記憶されているものとする。
【０１３８】
以降、画像データ１０９がフレーム単位で入力され、それを起点に各処理が実行される。
【０１３９】
まず画像データ１０９が入力され、メモリ１０１に記憶される。
【０１４０】
画像データ１０９（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成は実施の形態１で示した図３（ａ）と同一に構成される。
【０１４１】
次に符号化部１０２は、メモリ１０１に記憶された画像データ１０９並びに前フレームの復号化画像データ１１３（最初のフレームに対する符号化の場合は使用しない）、録画モード記憶部１０６に記憶された符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４をメモリ１０１に出力、また復号化画像データ１１４の画質を示す符号化情報１１６を取得し符号化情報記憶部１０３へ出力する。
【０１４２】
符号化部１０２は実施の形態１で示した図４と同一に構成される。
【０１４３】
以下、符号化部１０２における具体的な動作説明を行う。
【０１４４】
まずレート制御部４１１は、録画モード記憶部１０６に記憶されている符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定する。
【０１４５】
レート制御部４１１に記憶された複数の録画モード１１９に対応する符号化レート５００は実施の形態１で示した図５と同一に構成される。
【０１４６】
レート制御部４１１では、録画モード記憶部１０６に記憶されている符号化用録画モード１１５に対応する（目標ビットレート、初期量子化ステップ）を符号化レート５００の中から取得し、使用する。
【０１４７】
本実施の形態では、符号化用録画モード１１５としてモード番号２のＳＰモードが記憶されているため、符号化レート（目標ビットレート、初期量子化ステップ）として（８，０００ｂｉｔ／ｓｅｃｏｎｄ、４）を決定し、以降レート制御部４１１では、前記符号化レートを用いて所定のレート制御方式により、量子化ステップ４１４を制御する。
【０１４８】
次に動き検出処理部４０１は、メモリ１０１に記憶されている画像データ１０９と前フレームの復号画像データ１１３とを用いて動きベクトル４２３を検出する。
【０１４９】
次に動き補償処理部４０２は、動き検出処理部４０１が検出した動きベクトル４２３とメモリ１０１に記憶されている前フレームの復号化画像データ１１３とを用いて、予測画像データ４２２を生成する。
【０１５０】
次にＤＣＴ処理部４０４は、スイッチ４１０によって切り換えられた入力４１３（最初のフレームに対する符号化の場合画像データ１０９、それ以外の場合画像データ１０９と予測画像４２２の差分）をＤＣＴ処理して、ＤＣＴ係数４１７を出力する。
【０１５１】
図９（ａ）にＤＣＴ係数４１７（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【０１５２】
次に量子化処理部４０５は、ＤＣＴ係数４１７を量子化ステップ４１４を用いて量子化して、量子化ＤＣＴ係数４１６を出力する。
【０１５３】
次に逆量子化処理部４０６は、量子化ＤＣＴ係数４１６を量子化ステップ４１４を用いて逆量子化して、逆量子化ＤＣＴ係数４２０を出力する。
【０１５４】
図９（ｂ）に逆量子化ＤＣＴ係数４２０（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【０１５５】
次に逆ＤＣＴ処理部４０７は、逆量子化ＤＣＴ係数４２０を逆ＤＣＴ処理して、逆ＤＣＴ係数４２１を出力する。
【０１５６】
次に再構成処理部４０８は、スイッチ４１０によって切り換えられた入力４２４（最初のフレームに対する符号化の場合全て０、それ以外の場合予測画像データ４２２）と逆ＤＣＴ係数４２１を加算して、復号化画像データ１１４を生成しメモリ１０１に出力する。
【０１５７】
次に可変長符号化処理部４０９は、量子化処理部４０５が出力した量子化ＤＣＴ係数４１６と動き検出処理部４０１が検出した動きベクトル４２３とを可変長符号化して、符号化画像データ１１０をメモリ１０１に出力し、また符号化画像データ１１０のデータ量を示す符号化画像データサイズ４１５をレート制御部４１１に出力する。
【０１５８】
次に符号化情報取得部４１２は、ＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０を入力し、復号化画像データ１１４の画質を示す符号化情報１１６として、ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）（単位はｄＢ）を算出し、符号化情報１１６として符号化情報記憶部１０３へ出力する。
【０１５９】
数１にＳＮＲ算出式を示し、ｉはＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０の左端係数を０とし右側へ１係数ずれることに１増加する水平方向の係数単位位置（ＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０は水平１６係数であるためｉは０〜１５を取り得る）、ｊはＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０の上端係数を０とし下側へ１係数ずれるごとに１増加する垂直方向の係数単位位置（ＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０は垂直１６係数であるためｊは０〜１５を取り得る）、ｙ（ｉ，ｊ）はＤＣＴ係数４１７におけるｉ及びｊで表される位置の係数値、ｙ’（ｉ，ｊ）は逆量子化ＤＣＴ係数４２０におけるｉ及びｊで表される位置の係数値を示す。
【０１６０】
ここで数１に示す算出式を用いて図９（ａ）及び図９（ｂ）に示すＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲを算出すると、１４ｄＢ（小数点以下は四捨五入）となる。
【０１６１】
図１を用いた説明に戻る。
【０１６２】
符号化情報記憶部１０３は、符号化部１０２より出力される符号化情報１１６を所定期間分記憶する。
【０１６３】
図１０に符号化情報記憶部１０３に記憶される所定期間の符号化情報１１７を示す。
【０１６４】
ここで図１０（ａ）は符号化部１０２より出力される符号化情報１１６の時間経過による遷移を示し、また図１０（ｂ）に図１０（ａ）に示した符号化情報１１６の時間経過による遷移中の３つのポイントＡ、Ｂ、Ｃでの符号化情報記憶部１０３に記憶される所定期間の符号化情報１１７の状態を示す。
【０１６５】
図１０（ｂ）に示すように本実施の形態では、所定期間の符号化情報１１７として、ある時刻から過去に遡って最新の５つ（最も過去の符号化情報を符号化情報Ｎ−４、最新の符号化情報まで順にＮ−３、Ｎ−２、Ｎ−１、Ｎ）の符号化情報１１６（ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ）を常に記憶する。新しい符号化情報１１６が入力された場合、既に記憶されている符号化情報を一つずつずらし（符号化情報Ｎ−４に符号化情報Ｎ−３を格納、符号化情報Ｎ−３に符号化情報Ｎ−２を格納、符号化情報Ｎ−２に符号化情報Ｎ−１を格納、符号化情報Ｎ−１に符号化情報Ｎを格納）、新しい符号化情報１１６を符号化情報Ｎに格納する。なお符号化開始当初など、５つ分の符号化情報１１６が入力されていない場合には、初期値として取り得る最小値（ここではＭＩＮ（１）とする）を記憶しておくようにする。
【０１６６】
ポイントＡでは、符号化開始当初の状態を示し、最新の４つの符号化情報１１６（１４，１２，１２，１０）が符号化情報Ｎ−３〜Ｎに記憶されており、符号化情報Ｎ−４には初期値ＭＩＮ（１）が記憶されている。
【０１６７】
またポイントＢでは、最新の５つの符号化情報１１６（１０，１１，１１，１１，１２）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０１６８】
またポイントＣでは、最新の５つの符号化情報１１６（１１，１２，１２，１２，１３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０１６９】
図１を用いた説明に戻る。
【０１７０】
画質レベル記憶部１０４は、符号化部１０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【０１７１】
本実施の形態では、第１の基準画質レベル１２１並びに第２の基準画質レベル１２２としてＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲを記憶しており、それぞれの値は４ｄＢ、１２ｄＢであるものとする。
【０１７２】
画質検出部１０５は、符号化情報記憶部１０３に記憶される所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【０１７３】
上記の通り、符号化情報記憶部１０３には所定期間分の符号化情報１１７として最新の５つの符号化情報１１６（ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ）を記憶しており、画質検出部１０５ではそれらを入力して画質レベル１１８を決定する。
【０１７４】
本実施の形態では、画質レベル１１８は入力される最新の５つの符号化情報１１６（ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ）の平均値であるものとする。
【０１７５】
そうすると図１０（ｂ）に示した３つのポイントＡ〜Ｃそれぞれにおける画質レベル１１８は、ポイントＡでは９．８（＝（１＋１４＋１２＋１２＋１０）／５、小数点第２以下は四捨五入、以下同様）（単位はｄＢ、以下同様）、ポイントＢでは１１．０（＝（１０＋１１＋１１＋１１＋１２）／５）、ポイントＣでは１２．０（＝（１１＋１２＋１２＋１２＋１３）／５）となる。
【０１７６】
録画モード制御部１０７は、録画モード記憶部１０６に記憶された複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶部１０４に記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出部１０５に記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように、表示部１０８へメッセージ１２３を出力しユーザへ通知する。
【０１７７】
録画モード制御部１０７での処理フローは実施の形態１で示した図７と同一に構成される。
【０１７８】
以下、図１０（ｂ）に示した３つのポイントＡ〜Ｃそれぞれにおける処理の流れについて説明する。
【０１７９】
ポイントＡでは、符号化用録画モード１１５はモード番号２のＳＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は９．８ｄＢとなっている。
【０１８０】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が９．８ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０１８１】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が９．８ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０１８２】
ポイントＢでは、符号化用録画モード１１５はモード番号２のＳＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１１．０ｄＢとなっている。
【０１８３】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１１．０ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０１８４】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１１．０ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０１８５】
ポイントＣでは、符号化用録画モード１１５はモード番号２のＳＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１２．０ｄＢとなっている。
【０１８６】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１２．０ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０１８７】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１２．０ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は肯定的となり、符号化用録画モード判定ステップ７０５へ遷移する。
【０１８８】
次に符号化用録画モード判定ステップ７０５での判定は、符号化用録画モード１１５がモード番号２のＳＰモードであることから判定結果は否定的となり、メッセージ出力ステップ７０６へ遷移する。
【０１８９】
次にメッセージ出力ステップ７０６では、符号化用録画モード１１５がモード番号２のＳＰモードであることから、モード番号３のＬＰモードへ変更するように表示部１０８へメッセージ１２３を出力し、処理を終了する。
【０１９０】
図１を用いた説明に戻る。
【０１９１】
表示部１０８は、通常はメモリ１０１に記憶された画像データ１０９を表示し、録画モード制御部１０７よりメッセージ１２３の出力があった場合にはその内容を画像データ１０９に重畳して表示する。
【０１９２】
図１１（ａ）、（ｂ）に表示部１０８で表示する表示画面例（録画モード制御部１０７からのメッセージ１２３出力がない場合（図１０（ｂ）でのポイントＡ、Ｂ）、メッセージ１２３出力がある場合（図１０（ｂ）でのポイントＣ））を示す。
【０１９３】
図１１（ｂ）に示すように、録画モード制御部１０７からのメッセージ１２３出力がある場合には、表示画面の上部に録画モード変更を促す表示がなされる。
【０１９４】
ユーザは本表示を見て、録画画質の確認並びに必要に応じて録画モード１１２での指示により符号化用録画モード１１５をより符号化レートの低い録画モードに変更する。
【０１９５】
以上のように本実施の形態によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以上となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても不必要な高い符号化レートによる録画を検出し、録画ミスを回避可能となる。
【０１９６】
（実施の形態３）
図１２は、本発明の実施の形態３における画像処理装置のブロック図である。
【０１９７】
図１２に示すように画像処理装置１２００は、メモリ１０１、符号化部１０２、符号化情報記憶部１０３、画質レベル記憶部１０４、画質検出部１０５、録画モード記憶部１０６、録画モード制御部１２０７、表示部１０８、録画モード変更部１２２４を備える。
【０１９８】
なお図１２の中で、図１と同じ符号を割り当てているブロックについては、実施の形態１で示した構成と同一であり、共通な点については一部説明を省略する。
【０１９９】
メモリ１０１、符号化部１０２、符号化情報記憶部１０３、画質レベル記憶部１０４、画質検出部１０５、録画モード記憶部１０６、表示部１０８は実施の形態１で示した構成と同一である。
【０２００】
録画モード制御部１０７は、録画モード記憶部１０６に記憶された複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶部１０４に記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出部１０５に記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように制御信号１２２５により録画モード変更部１２２４を制御し、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように制御信号１２２５により録画モード変更部１２２４を制御し、符号化用録画モード１１５を変更したことを表示部１０８へメッセージ１２３を出力しユーザへ通知する。
【０２０１】
録画モード変更部１２２４は、録画モード制御部１０７からの制御信号１２２５に応じて、録画モード記憶部１０６に記憶されている符号化用録画モード１１５を変更する。
【０２０２】
以下、各処理部毎に詳細に説明する。
【０２０３】
まずユーザにより指定された録画モード１１２を、録画モード記憶部１０６に符号化用録画モード１１５として記憶する。
【０２０４】
本実施の形態における録画モード記憶部１０６に記憶された複数の録画モード１１９は実施の形態１で示した図２と同一に構成される。
【０２０５】
ここではユーザによりモード番号３のＬＰモードが指定され、符号化用録画モード１１５として記憶されているものとする。
【０２０６】
以降、画像データ１０９がフレーム単位で入力され、それを起点に各処理が実行される。
【０２０７】
まず画像データ１０９が入力され、メモリ１０１に記憶される。
【０２０８】
画像データ１０９（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成は実施の形態１で示した図３（ａ）と同一に構成される。
【０２０９】
次に符号化部１０２は、メモリ１０１に記憶された画像データ１０９並びに前フレームの復号化画像データ１１３（最初のフレームに対する符号化の場合は使用しない）、録画モード記憶部１０６に記憶された符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４をメモリ１０１に出力、また復号化画像データ１１４の画質を示す符号化情報１１６を取得し符号化情報記憶部１０３へ出力する。
【０２１０】
符号化部１０２は実施の形態１で示した図４と同一に構成される。
【０２１１】
以下、符号化部１０２における具体的な動作説明を行う。
【０２１２】
まずレート制御部４１１は、録画モード記憶部１０６に記憶されている符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定する。
【０２１３】
レート制御部４１１に記憶された複数の録画モード１１９に対応する符号化レート５００は実施の形態１で示した図５と同一に構成される。
【０２１４】
レート制御部４１１では、録画モード記憶部１０６に記憶されている符号化用録画モード１１５に対応する（目標ビットレート、初期量子化ステップ）を符号化レート５００の中から取得し、使用する。
【０２１５】
本実施の形態では、符号化用録画モード１１５としてモード番号３のＬＰモードが記憶されているため、符号化レート（目標ビットレート、初期量子化ステップ）として（４，０００ｂｉｔ／ｓｅｃｏｎｄ、８）を決定し、以降レート制御部４１１では、前記符号化レートを用いて所定のレート制御方式により、量子化ステップ４１４を制御する。
【０２１６】
動き検出処理部４０１、動き補償処理部４０２、ＤＣＴ処理部４０４、量子化処理部４０５、逆量子化処理部４０６、逆ＤＣＴ処理部４０７、再構成処理部４０８、可変長符号化処理部４０９は実施の形態１で示した動作と同一である。
【０２１７】
次に符号化情報取得部４１２は、量子化ステップ４１４を入力し、復号化画像データ１１４の画質を示す符号化情報１１６として符号化情報記憶部１０３へ出力する。
【０２１８】
符号化情報記憶部１０３は、符号化部１０２より出力される符号化情報１１６を所定期間分記憶する。
【０２１９】
図１３に符号化情報記憶部１０３に記憶される所定期間の符号化情報１１７を示す。
【０２２０】
ここで図１３（ａ）は符号化部１０２より出力される符号化情報１１６の時間経過による遷移を示し、また図１３（ｂ）に図１３（ａ）に示した符号化情報１１６の時間経過による遷移中の４つのポイントＡ、Ｂ、Ｃ、Ｄでの符号化情報記憶部１０３に記憶される所定期間の符号化情報１１７の状態を示す。
【０２２１】
図１３（ｂ）に示すように本実施の形態では、所定期間の符号化情報１１７として、ある時刻から過去に遡って最新の５つ（最も過去の符号化情報を符号化情報Ｎ−４、最新の符号化情報まで順にＮ−３、Ｎ−２、Ｎ−１、Ｎ）の符号化情報１１６（量子化ステップ４１４）を常に記憶する。新しい符号化情報１１６が入力された場合、既に記憶されている符号化情報を一つずつずらし（符号化情報Ｎ−４に符号化情報Ｎ−３を格納、符号化情報Ｎ−３に符号化情報Ｎ−２を格納、符号化情報Ｎ−２に符号化情報Ｎ−１を格納、符号化情報Ｎ−１に符号化情報Ｎを格納）、新しい符号化情報１１６を符号化情報Ｎに格納する。なお符号化開始当初など、５つ分の符号化情報１１６が入力されていない場合には、初期値として取り得る最大値（ここではＭＡＸ（３１）とする）を記憶しておくようにする。
【０２２２】
ポイントＡでは、符号化開始当初の状態を示し、最新の４つの符号化情報１１６（６，６，７，８）が符号化情報Ｎ−３〜Ｎに記憶されており、符号化情報Ｎ−４には初期値ＭＡＸ（３１）が記憶されている。
【０２２３】
またポイントＢでは、最新の５つの符号化情報１１６（５，５，５，４，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０２２４】
またポイントＣでは、最新の５つの符号化情報１１６（５，４，４，３，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０２２５】
またポイントＤでは、最新の５つの符号化情報１１６（１０，１２，１２，１３，１３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０２２６】
図１を用いた説明に戻る。
【０２２７】
画質レベル記憶部１０４は、符号化部１０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【０２２８】
本実施の形態では、第１の基準画質レベル１２１並びに第２の基準画質レベル１２２として量子化ステップを記憶しており、それぞれの値は４、１２であるものとする。
【０２２９】
画質検出部１０５は、符号化情報記憶部１０３に記憶される所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【０２３０】
上記の通り、符号化情報記憶部１０３には所定期間分の符号化情報１１７として最新の５つの符号化情報１１６（量子化ステップ４１４）を記憶しており、画質検出部１０５ではそれらを入力して画質レベル１１８を決定する。
【０２３１】
本実施の形態では、画質レベル１１８は入力される最新の５つの符号化情報１１６（量子化ステップ４１４）の平均値であるものとする。
【０２３２】
そうすると図１３（ｂ）に示した４つのポイントＡ〜Ｄそれぞれにおける画質レベル１１８は、ポイントＡでは１１．６（＝（３１＋６＋６＋７＋８）／５、小数点第２以下は四捨五入、以下同様）、ポイントＢでは４．４（＝（５＋５＋５＋４＋３）／５）、ポイントＣでは３．８（＝（５＋４＋４＋３＋３）／５）、ポイントＤでは１２．０（＝（１０＋１２＋１２＋１３＋１３）／５）となる。
【０２３３】
録画モード制御部１０７は、録画モード記憶部１０６に記憶された複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶部１０４に記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出部１０５に記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように制御信号１２２５により録画モード変更部１２２４を制御し、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように制御信号１２２５により録画モード変更部１２２４を制御し、符号化用録画モード１１５を変更したことを表示部１０８へメッセージ１２３を出力しユーザへ通知する。
【０２３４】
図１４に録画モード制御部１０７での処理フロー図を示す。
【０２３５】
図１４に示すように録画モード制御部１０７での処理は、画質レベル１１８が第１の基準画質レベル１２１以下であるかを判定する画質レベル判定ステップ１４０１、画質レベル１１８が第２の基準画質レベル１２２以上であるかを判定する画質レベル判定ステップ１４０２、画質レベル判定ステップ１４０１での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が１のＸＰモード（最高画質での録画が可能なモード）であるかを判定する符号化用録画モード判定ステップ１４０３、符号化用録画モード判定ステップ１４０３での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの高い録画モード（現在のモード番号−１の録画モード）に変更するように録画モード変更部１２２４を制御する録画モード変更ステップ１４０４、符号化用録画モード１１５を変更したことを表示部１０８へメッセージ１２３を出力するメッセージ出力ステップ１４０５、画質レベル判定ステップ１４０２での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が４のＥＰモード（最も全体的な録画画質は低いが最も長時間録画可能なモード）であるかを判定する符号化用録画モード判定ステップ１４０６、符号化用録画モード判定ステップ１４０６での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの低い録画モード（現在のモード番号＋１の録画モード）に変更するように録画モード変更部１２２４を制御する録画モード変更ステップ１４０７、符号化用録画モード１１５を変更したことを表示部１０８へメッセージ１２３を出力するメッセージ出力ステップ１４０８を備える。
【０２３６】
ポイントＡでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は１１．６となっている。
【０２３７】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が１１．６、第１の基準画質レベルが４であることから判定結果は否定的となり、画質レベル判定ステップ１４０２へ遷移する。
【０２３８】
次に画質レベル判定ステップ１４０２での判定は、画質レベル１１８が１１．６、第２の基準画質レベルが１２であることから判定結果は否定的となり処理を終了する。
【０２３９】
ポイントＢでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は４．４となっている。
【０２４０】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が４．４、第１の基準画質レベルが４であることから判定結果は否定的となり、画質レベル判定ステップ１４０２へ遷移する。
【０２４１】
次に画質レベル判定ステップ１４０２での判定は、画質レベル１１８が４．４、第２の基準画質レベルが１２であることから判定結果は否定的となり処理を終了する。
【０２４２】
ポイントＣでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は３．８となっている。
【０２４３】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が３．８、第１の基準画質レベルが４であることから判定結果は肯定的となり、符号化用録画モード判定ステップ１４０３へ遷移する。
【０２４４】
次に符号化用録画モード判定ステップ１４０３での判定は、符号化用録画モード１１５がモード番号３のＬＰモードであることから判定結果は否定的となり、録画モード変更ステップ１４０４へ遷移する。
【０２４５】
次に、録画モード変更ステップ１４０４では、符号化用録画モード１１５がモード番号３のＬＰモードであることから、録画モード変更部１２２４を制御し、符号化用録画モード１１５をモード番号２のＳＰモードへ変更する。
【０２４６】
次にメッセージ出力ステップ１４０５では、符号化用録画モード１１５をモード番号３のＬＰモードから、モード番号２のＳＰモードへ変更したことを表示部１０８へメッセージ１２３を出力し、処理を終了する。
【０２４７】
ポイントＤでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は１２．０となっている。
【０２４８】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が１２．０、第１の基準画質レベルが４であることから判定結果は否定的となり、画質レベル判定ステップ１４０２へ遷移する。
【０２４９】
次に画質レベル判定ステップ１４０２での判定は、画質レベル１１８が１２．０、第２の基準画質レベルが１２であることから判定結果は肯定的となり符号化用録画モード判定ステップ１４０６へ遷移する。
【０２５０】
次に符号化用録画モード判定ステップ１４０６での判定は、符号化用録画モード１１５がモード番号３のＬＰモードであることから判定結果は否定的となり、録画モード変更ステップ１４０７へ遷移する。
【０２５１】
次に、録画モード変更ステップ１４０７では、符号化用録画モード１１５がモード番号３のＬＰモードであることから、録画モード変更部１２２４を制御し、符号化用録画モード１１５をモード番号４のＥＰモードへ変更する。
【０２５２】
次にメッセージ出力ステップ１４０８では、符号化用録画モード１１５をモード番号３のＬＰモードから、モード番号４のＬＰモードへ変更したことを表示部１０８へメッセージ１２３を出力し、処理を終了する。
【０２５３】
図１を用いた説明に戻る。
【０２５４】
表示部１０８は、通常はメモリ１０１に記憶された画像データ１０９を表示し、録画モード制御部１０７よりメッセージ１２３の出力があった場合にはその内容を画像データ１０９に重畳して表示する。
【０２５５】
図１５（ａ）、（ｂ）、（ｃ）に表示部１０８で表示する表示画面例（録画モード制御部１０７からのメッセージ１２３出力がない場合（図１３（ｂ）でのポイントＡ、Ｂ）、より符号化レートの高い録画モードへの変更（モード３のＬＰモードからモード２のＳＰモード）メッセージ１２３出力がある場合（図１３（ｂ）でのポイントＣ）、より符号化レートの低い録画モードへの変更（モード３のＬＰモードからモード４のＥＰモード）メッセージ１２３出力がある場合（図１３（ｂ）でのポイントＤ））を示す。
【０２５６】
図１５（ｂ）、（ｃ）に示すように、録画モード制御部１０７からのメッセージ１２３出力がある場合には、表示画面の上部に録画モード変更を実施したという表示がなされる。
【０２５７】
ユーザは本表示を見て、録画画質に合わせて符号化用録画モード１１５が変更されたことを認識する。
【０２５８】
以上のように本実施の形態によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下若しくは以上となった場合に、より画質に合わせた録画モードへ変更し、ユーザへ通知することで、如何なる録画モードで動作中であっても録画画質の劣化若しくは不必要な高い符号化レートによる録画を検出し、録画ミスを回避可能となる。
【０２５９】
（実施の形態４）
図１６は、本発明の実施の形態４における画像処理方法１６０８を示す処理フロー図である。
【０２６０】
図１６に示すように本実施の形態における画像処理方法１６０８は、ユーザが指定した録画モードを符号化用録画モードとして記憶する録画モード記憶ステップ１６０１と、画像データ並びに前フレームの復号化画像データ、前記符号化用録画モードを入力し、前記符号化用録画モードに対応する符号化レートで前記画像データを符号化した符号化画像データ並びに前記符号化画像データを復号化した復号化画像データ、及び前記復号化画像データの画質を示す符号化情報を出力する符号化ステップ１６０２と、前記符号化ステップより出力される符号化情報を所定期間分記憶する符号化情報記憶ステップ１６０３と、前記復号化画像データの画質を判定するための基準とする前記符号化用録画モードに依存しない第１の基準画質レベル及び第２の基準画質レベルの何れか又は両方を記憶する画質レベル記憶ステップ１６０４と、前記符号化情報記憶ステップで記憶された符号化情報を入力し、前記復号化画像データの画質レベルを決定する画質検出ステップ１６０５と、前記録画モード記憶ステップで記憶された符号化用録画モード、及び前記画質レベル記憶ステップで記憶された第１並びに第２の基準画質レベル、及び前記画質検出ステップで決定された画質レベルを入力し、前記画質レベルが前記第１の基準画質レベルより低レベルである場合は前記符号化用録画モードをより符号化レートの高い録画モードに変更するように、また前記画質レベルが前記第２の基準画質レベルより高レベルである場合は前記符号化用録画モードをより符号化レートの低い録画モードに変更するように、メッセージを出力しユーザへ通知する録画モード変更通知ステップ１６０６を備える。
【０２６１】
図１７は、本発明の実施の形態４における画像処理方法１６０８を具現化する処理装置１７００を示すブロック図である。
【０２６２】
図１７に示すように画像処理方法１６０８を具現化する処理装置１７００は、
ＣＰＵ１７０１と、メモリ１７０２を備え、画像処理方法１６０８の各ステップ（１６０１〜１６０６）における処理をＣＰＵ上で動作するプログラムとして実行し、画像処理方法１６０８の各ステップ（１６０１〜１６０６）で入力、保持、参照、出力する各種データを格納する領域（画像データ１０９、符号化画像データ１１０、表示画像データ１１１、前フレームの復号化画像データ１７０３、復号化画像データ１１４、符号化用録画モード１１５、複数の録画モード１１９、符号化情報１７０６、所定期間の符号化情報１１７、第１の基準画質レベル１２１、第２の基準画質レベル１２２、画質レベル１１８、符号化レート１７１１、量子化ステップ４１４、動きベクトル１７１３、予測画像データ１７１４、ＤＣＴ係数４１７、量子化ＤＣＴ係数１７１６、逆量子化ＤＣＴ係数４２０、逆ＤＣＴ係数１７１８、符号化画像データサイズ１７１９）をメモリ１７０２上に配置している。
【０２６３】
以下、画像処理方法１６０８における各ステップ（１６０１〜１６０６）について詳細に説明する。
【０２６４】
まず録画モード記憶ステップ１６０１において、ユーザが指定した録画モード１１２を符号化用録画モード１１５として記憶する。
【０２６５】
図２にメモリ１７０２に記憶された複数の録画モード１１９を示す。
【０２６６】
図２に示すように本実施の形態では、最高画質での録画が可能なモード番号１のＸＰモードから、順に全体的な録画画質は低くなるが長時間の録画が可能となるモード番号２のＳＰモード、モード番号３のＬＰモード、そして最も全体的な録画画質は低いが最も長時間録画可能となるモード番号４のＥＰモード、全部で４種類の録画モードが用意されており、ユーザはこの中から所望のモードを録画モード１１２として指定する。
【０２６７】
ここではユーザによりモード番号４のＥＰモードが指定され、符号化用録画モード１１５として記憶されているものとする。
【０２６８】
次に符号化ステップ１６０２において、画像データ１０９並びに前フレームの復号化画像データ１７０３（最初のフレームに対する符号化の場合は使用しない）、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４、及び復号化画像データ１１４の画質を示す符号化情報１７０６を出力する。
【０２６９】
図３（ａ）に画像データ１０９（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【０２７０】
図３（ａ）に示すように本実施の形態では、画像データ１０９として水平１６画素×垂直１６画素の計２５６画素であり、各画素は符号無し８ビット整数（取り得る値は０〜２５５）で表現されるものとする。
【０２７１】
図１８に符号化ステップ１６０２の処理フロー図を示す。
【０２７２】
図１８に示すように符号化ステップ１６０２は、レート制御ステップ１８０１、動き検出処理ステップ１８０２、動き補償処理ステップ１８０３、ＤＣＴ処理ステップ１８０４、量子化処理ステップ１８０５、逆量子化処理ステップ１８０６、逆ＤＣＴ処理ステップ１８０７、再構成処理ステップ１８０８、可変長符号化処理ステップ１８０９、符号化情報取得ステップ１８１０を備える。
【０２７３】
レート制御ステップ１８０１は、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定、また可変長符号化処理ステップ１８０９から入力する符号化画像データサイズ１７１９を基に可変長符号化処理ステップ１８０９から出力される符号化画像データ１１０のデータ量が符号化レートに近づくように、量子化処理ステップ１８０５並びに逆量子化処理ステップ１８０６で使用される量子化ステップ４１４を制御する。
【０２７４】
動き検出処理ステップ１８０２は、画像データ１０９と前フレームの復号画像データ１７０３とを用いて動きベクトル１７１３を検出する。
【０２７５】
動き補償処理ステップ１８０３は、動き検出処理ステップ１８０２が検出した動きベクトル１７１３と前フレームの復号化画像データ１７０３とを用いて、予測画像データ１７１４を生成する。
【０２７６】
ＤＣＴ処理ステップ１８０４への入力は、画像データ１０９又は画像データ１０９と予測画像データ１７１４の差分の何れかに切り換えられる。
【０２７７】
ＤＣＴ処理ステップ１８０４は、前記入力をＤＣＴ処理して、ＤＣＴ係数４１７を出力する。
【０２７８】
量子化処理ステップ１８０５は、ＤＣＴ係数４１７を量子化ステップ４１４を用いて量子化して、量子化ＤＣＴ係数１７１６を出力する。
【０２７９】
逆量子化処理ステップ１８０６は、量子化ＤＣＴ係数１７１６を量子化ステップ４１４を用いて逆量子化して、逆量子化ＤＣＴ係数４２０を出力する。
【０２８０】
逆ＤＣＴ処理ステップ１８０７は、逆量子化ＤＣＴ係数４２０を逆ＤＣＴ処理して、逆ＤＣＴ係数１７１８を出力する。
【０２８１】
再構成処理ステップ１８０８への入力は、全て０又は予測画像データ１７１４の何れかに切り換えられる。
【０２８２】
再構成処理ステップ１８０８は、前記入力と逆ＤＣＴ係数１７１８を加算して、復号化画像データ１１４を生成する。
【０２８３】
可変長符号化処理ステップ１８０９は、量子化処理ステップ１８０５が出力した量子化ＤＣＴ係数１７１６と動き検出処理ステップ１８０２が検出した動きベクトル１７１３とを可変長符号化して、符号化画像データ１１０を出力し、また符号化画像データ１１０のデータ量を示す符号化画像データサイズ１７１９をレート制御ステップ１８０１に出力する。
【０２８４】
符号化情報取得ステップ１８１０は、復号化画像データ１１４の画質を示す符号化情報１７０６を取得、出力する。
【０２８５】
以下、符号化ステップ１６０２における具体的な動作説明を行う。
【０２８６】
なお本発明の主張するところに関わる符号化用録画モード１１５並びに復号化画像データ１１４の画質を示す符号化情報１７０６を取得する符号化情報取得ステップ１８１０以外の符号化処理については、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の国際標準規格である画像符号化方式や様々なレート制御方式など、公知の技術による実施で何ら問題ないため、その詳細な説明は省略する。
【０２８７】
まずレート制御ステップ１８０１は、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定する。
【０２８８】
図５に複数の録画モード１１９に対応する符号化レート５００を示す。
【０２８９】
図５に示すように本実施の形態では、録画モード１１９に対応する符号化レート５００として、目標とする単位時間（１秒）当たりの符号化画像データ１１０の出力データ量（ｂｉｔ数）である目標ビットレート（単位はｂｉｔ／ｓｅｃｏｎｄ）及び最初のフレームに対する符号化での量子化ステップ４１４として適用する初期量子化ステップが記憶され、モード番号１〜４の各録画モードに対する（目標ビットレート、初期量子化ステップ）はそれぞれ、モード番号１＝（１６，０００ｂｉｔ／ｓｅｃｏｎｄ、２）、モード番号２＝（８，０００ｂｉｔ／ｓｅｃｏｎｄ、４）、モード番号３＝（４，０００ｂｉｔ／ｓｅｃｏｎｄ、８）、モード番号４＝（２，０００ｂｉｔ／ｓｅｃｏｎｄ、１６）であるものとする。
【０２９０】
レート制御ステップ１８０１では、符号化用録画モード１１５に対応する（目標ビットレート、初期量子化ステップ）を符号化レート５００の中から取得し、使用する。
【０２９１】
本実施の形態では、符号化用録画モード１１５としてモード番号４のＥＰモードが記憶されているため、符号化レート（目標ビットレート、初期量子化ステップ）として（２，０００ｂｉｔ／ｓｅｃｏｎｄ、１６）を決定し、以降レート制御ステップ１８０１では、前記符号化レートを用いて所定のレート制御方式により、量子化ステップ４１４を制御する。
【０２９２】
次に動き検出処理ステップ１８０２は、画像データ１０９と前フレームの復号画像データ１７０３とを用いて動きベクトル１７１３を検出する。
【０２９３】
次に動き補償処理ステップ１８０３は、動き検出処理ステップ１８０２が検出した動きベクトル１７１３と前フレームの復号化画像データ１７０３とを用いて、予測画像データ１７１４を生成する。
【０２９４】
次にＤＣＴ処理ステップ１８０４は、入力（最初のフレームに対する符号化の場合画像データ１０９、それ以外の場合画像データ１０９と予測画像１７１４の差分）をＤＣＴ処理して、ＤＣＴ係数４１７を出力する。
【０２９５】
次に量子化処理ステップ１８０５は、ＤＣＴ係数４１７を量子化ステップ４１４を用いて量子化して、量子化ＤＣＴ係数１７１６を出力する。
【０２９６】
次に逆量子化処理ステップ１８０６は、量子化ＤＣＴ係数１７１６を量子化ステップ４１４を用いて逆量子化して、逆量子化ＤＣＴ係数４２０を出力する。
【０２９７】
次に逆ＤＣＴ処理ステップ１８０７は、逆量子化ＤＣＴ係数４２０を逆ＤＣＴ処理して、逆ＤＣＴ係数１７１８を出力する。
【０２９８】
次に再構成処理ステップ１８０８は、入力（最初のフレームに対する符号化の場合全て０、それ以外の場合予測画像データ１７１４）と逆ＤＣＴ係数１７１８を加算して、復号化画像データ１１４を出力する。
【０２９９】
図３（ｂ）に復号化画像データ１１４（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【０３００】
次に可変長符号化処理ステップ１８０９は、量子化処理ステップ１８０５が出力した量子化ＤＣＴ係数１７１６と動き検出処理ステップ１８０２が検出した動きベクトル１７１３とを可変長符号化して、符号化画像データ１１０を出力し、また符号化画像データ１１０のデータ量を示す符号化画像データサイズ１７１９を出力する。
【０３０１】
次に符号化情報取得ステップ１８１０は、画像データ１０９及び復号画像データ１１４を入力し、復号化画像データ１１４の画質を示す符号化情報１７０６として、画像データ１０９と復号画像データ１１４のＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）（単位はｄＢ）を算出し、符号化情報１７０６として出力する。
【０３０２】
数１にＳＮＲ算出式を示し、ｉは画像データ１０９及び復号画像データ１１４の左端画素を０とし右側へ１画素ずれることに１増加する水平方向の画素単位位置（画像データ１０９及び復号画像データ１１４は水平１６画素であるためｉは０〜１５を取り得る）、ｊは画像データ１０９及び復号画像データ１１４の上端画素を０とし下側へ１画素ずれるごとに１増加する垂直方向の画素単位位置（画像データ１０９及び復号画像データ１１４は垂直１６画素であるためｊは０〜１５を取り得る）、ｙ（ｉ，ｊ）は画像データ１０９におけるｉ及びｊで表される位置の画素値、ｙ’（ｉ，ｊ）は復号画像データ１１４におけるｉ及びｊで表される位置の画素値を示す。
【０３０３】
ここで数１に示す算出式を用いて図３（ａ）及び図３（ｂ）に示す画像データ１０９と復号画像データ１１４のＳＮＲを算出すると、６ｄＢ（小数点以下は四捨五入）となる。
【０３０４】
図１６を用いた説明に戻る。
【０３０５】
符号化情報記憶ステップ１６０３は、符号化ステップ１６０２より出力される符号化情報１１６を所定期間分記憶する。
【０３０６】
図６に符号化情報記憶ステップ１６０３で記憶される所定期間の符号化情報１１７を示す。
【０３０７】
ここで図６（ａ）は符号化ステップ１６０２より出力される符号化情報１１６の時間経過による遷移を示し、また図６（ｂ）に図６（ａ）に示した符号化情報１１６の時間経過による遷移中の４つのポイントＡ、Ｂ、Ｃ、Ｄでの所定期間の符号化情報１１７の状態を示す。
【０３０８】
図６（ｂ）に示すように本実施の形態では、所定期間の符号化情報１１７として、ある時刻から過去に遡って最新の５つ（最も過去の符号化情報を符号化情報Ｎ−４、最新の符号化情報まで順にＮ−３、Ｎ−２、Ｎ−１、Ｎ）の符号化情報１１６（画像データ１０９と復号画像データ１１４のＳＮＲ）を常に記憶する。新しい符号化情報１１６が入力された場合、既に記憶されている符号化情報を一つずつずらし（符号化情報Ｎ−４に符号化情報Ｎ−３を格納、符号化情報Ｎ−３に符号化情報Ｎ−２を格納、符号化情報Ｎ−２に符号化情報Ｎ−１を格納、符号化情報Ｎ−１に符号化情報Ｎを格納）、新しい符号化情報１１６を符号化情報Ｎに格納する。なお符号化開始当初など、５つ分の符号化情報１１６が入力されていない場合には、初期値として取り得る最大値（ここではＭＡＸ（３１）とする）を記憶しておくようにする。
【０３０９】
ポイントＡでは、符号化開始当初の状態を示し、最新の４つの符号化情報１１６（６，６，７，８）が符号化情報Ｎ−３〜Ｎに記憶されており、符号化情報Ｎ−４には初期値ＭＡＸ（３１）が記憶されている。
【０３１０】
またポイントＢでは、最新の５つの符号化情報１１６（５，５，５，４，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０３１１】
またポイントＣでは、最新の５つの符号化情報１１６（５，４，４，３，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０３１２】
またポイントＤでは、最新の５つの符号化情報１１６（１０，１２，１２，１３，１３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０３１３】
図１６を用いた説明に戻る。
【０３１４】
画質レベル記憶ステップ１６０４は、符号化ステップ１６０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【０３１５】
本実施の形態では、第１の基準画質レベル１２１並びに第２の基準画質レベル１２２として画像データ１０９と復号画像データ１１４のＳＮＲを記憶しており、それぞれの値は４ｄＢ、１２ｄＢであるものとする。
【０３１６】
画質検出ステップ１６０５は、所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【０３１７】
上記の通り、所定期間分の符号化情報１１７として最新の５つの符号化情報１１６（画像データ１０９と復号画像データ１１４のＳＮＲ）を記憶しており、画質検出ステップ１６０５ではそれらを入力して画質レベル１１８を決定する。
【０３１８】
本実施の形態では、画質レベル１１８は入力される最新の５つの符号化情報１１６（画像データ１０９と復号画像データ１１４のＳＮＲ）の平均値であるものとする。
【０３１９】
そうすると図６（ｂ）に示した４つのポイントＡ〜Ｄそれぞれにおける画質レベル１１８は、ポイントＡでは１１．６（＝（３１＋６＋６＋７＋８）／５、小数点第２以下は四捨五入、以下同様）（単位はｄＢ、以下同様）、ポイントＢでは４．４（＝（５＋５＋５＋４＋３）／５）、ポイントＣでは３．８（＝（５＋４＋４＋３＋３）／５）、ポイントＤでは１２．０（＝（１０＋１２＋１２＋１３＋１３）／５）となる。
【０３２０】
録画モード変更通知ステップ１６０６は、複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶ステップ１６０４で記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出ステップ１６０５で記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように、メッセージを出力しユーザへ通知する。
【０３２１】
図７に録画モード変更通知ステップ１６０６の処理フロー図を示す。
【０３２２】
図７に示すように録画モード変更通知ステップ１６０６での処理は、画質レベル１１８が第１の基準画質レベル１２１以下であるかを判定する画質レベル判定ステップ７０１、画質レベル１１８が第２の基準画質レベル１２２以上であるかを判定する画質レベル判定ステップ７０２、画質レベル判定ステップ７０１での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が１のＸＰモード（最高画質での録画が可能なモード）であるかを判定する符号化用録画モード判定ステップ７０３、符号化用録画モード判定ステップ７０３での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの高い録画モード（現在のモード番号−１の録画モード）に変更するようにメッセージを出力するメッセージ出力ステップ７０４、画質レベル判定ステップ７０２での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が４のＥＰモード（最も全体的な録画画質は低いが最も長時間録画可能なモード）であるかを判定する符号化用録画モード判定ステップ７０５、符号化用録画モード判定ステップ７０５での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの低い録画モード（現在のモード番号＋１の録画モード）に変更するようにへメッセージを出力するメッセージ出力ステップ７０６を備える。
【０３２３】
以下、図６（ｂ）に示した４つのポイントＡ〜Ｄそれぞれにおける処理の流れについて説明する。
【０３２４】
ポイントＡでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１１．６ｄＢとなっている。
【０３２５】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１１．６ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０３２６】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１１．６ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０３２７】
ポイントＢでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は４．４ｄＢとなっている。
【０３２８】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が４．４ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０３２９】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が４．４ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０３３０】
ポイントＣでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は３．８ｄＢとなっている。
【０３３１】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が３．８ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は肯定的となり、符号化用録画モード判定ステップ７０３へ遷移する。
【０３３２】
次に符号化用録画モード判定ステップ７０３での判定は、符号化用録画モード１１５がモード番号４のＥＰモードであることから判定結果は否定的となり、メッセージ出力ステップ７０４へ遷移する。
【０３３３】
次にメッセージ出力ステップ７０４では、符号化用録画モード１１５がモード番号４のＥＰモードであることから、モード番号３のＬＰモードへ変更するようにメッセージを出力し、処理を終了する。
【０３３４】
ポイントＤでは、符号化用録画モード１１５はモード番号４のＥＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１２．０ｄＢとなっている。
【０３３５】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１２．０ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０３３６】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１２．０ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は肯定的となり符号化用録画モード判定ステップ７０５へ遷移する。
【０３３７】
次に符号化用録画モード判定ステップ７０５での判定は、符号化用録画モード１１５がモード番号４のＥＰモードであることから判定結果は肯定的となり処理を終了する。
【０３３８】
図８（ａ）、（ｂ）に本実施の形態で表示する表示画面例（録画モード変更通知ステップ１６０６からのメッセージ出力がない場合（図６（ｂ）でのポイントＡ、Ｂ、Ｄ）、メッセージ出力がある場合（図６（ｂ）でのポイントＣ））を示す。
【０３３９】
図８（ｂ）に示すように、録画モード変更通知ステップ１６０６からのメッセージ出力がある場合には、表示画面の上部に録画モード変更を促す表示がなされる。
【０３４０】
ユーザは本表示を見て、録画画質の確認並びに必要に応じて録画モード１１２での指示により符号化用録画モード１１５をより符号化レートの高い録画モードに変更する。
【０３４１】
以上のように本実施の形態によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても録画画質の劣化を検出し、録画ミスを回避可能となる。
【０３４２】
（実施の形態５）
本発明の実施の形態５における画像処理方法は実施の形態４で示した図１６と同一に構成され、共通な点については一部説明を省略する。
【０３４３】
また本発明の実施の形態５における画像処理方法を具現化する処理装置を示すブロック図は実施の形態４で示した図１７と同一に構成される。
【０３４４】
以下、画像処理方法１６０８における各ステップ（１６０１〜１６０６）について詳細に説明する。
【０３４５】
まず録画モード記憶ステップ１６０１において、ユーザが指定した録画モード１１２を符号化用録画モード１１５として記憶する。
【０３４６】
本実施の形態における複数の録画モード１１９は実施の形態４で示した図２と同一に構成される。
【０３４７】
ここではユーザによりモード番号２のＳＰモードが指定され、符号化用録画モード１１５として記憶されているものとする。
【０３４８】
次に符号化ステップ１６０２において、画像データ１０９並びに前フレームの復号化画像データ１７０３（最初のフレームに対する符号化の場合は使用しない）、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４、及び復号化画像データ１１４の画質を示す符号化情報１７０６を出力する。
【０３４９】
画像データ１０９（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成は実施の形態４で示した図３（ａ）と同一に構成される。
【０３５０】
符号化ステップ１６０２は実施の形態４で示した図１８と同一に構成される。
【０３５１】
以下、符号化ステップ１６０２における具体的な動作説明を行う。
【０３５２】
まずレート制御ステップ１８０１は、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定する。
【０３５３】
複数の録画モード１１９に対応する符号化レート５００は実施の形態４で示した図５と同一に構成される。
【０３５４】
レート制御ステップ１８０１では、符号化用録画モード１１５に対応する（目標ビットレート、初期量子化ステップ）を符号化レート５００の中から取得し、使用する。
【０３５５】
本実施の形態では、符号化用録画モード１１５としてモード番号２のＳＰモードが記憶されているため、符号化レート（目標ビットレート、初期量子化ステップ）として（８，０００ｂｉｔ／ｓｅｃｏｎｄ、４）を決定し、以降レート制御ステップ１８０１では、前記符号化レートを用いて所定のレート制御方式により、量子化ステップ４１４を制御する。
【０３５６】
次に動き検出処理ステップ１８０２は、画像データ１０９と前フレームの復号画像データ１７０３とを用いて動きベクトル１７１３を検出する。
【０３５７】
次に動き補償処理ステップ１８０３は、動き検出処理ステップ１８０２が検出した動きベクトル１７１３と前フレームの復号化画像データ１７０３とを用いて、予測画像データ１７１４を生成する。
【０３５８】
次にＤＣＴ処理ステップ１８０４は、入力（最初のフレームに対する符号化の場合画像データ１０９、それ以外の場合画像データ１０９と予測画像１７１４の差分）をＤＣＴ処理して、ＤＣＴ係数４１７を出力する。
【０３５９】
図９（ａ）にＤＣＴ係数４１７（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【０３６０】
次に量子化処理ステップ１８０５は、ＤＣＴ係数１７１５を量子化ステップ４１４を用いて量子化して、量子化ＤＣＴ係数１７１６を出力する。
【０３６１】
次に逆量子化処理ステップ１８０６は、量子化ＤＣＴ係数１７１６を量子化ステップ４１４を用いて逆量子化して、逆量子化ＤＣＴ係数４２０を出力する。
【０３６２】
図９（ｂ）に逆量子化ＤＣＴ係数４２０（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成例を示す。
【０３６３】
次に逆ＤＣＴ処理ステップ１８０７は、逆量子化ＤＣＴ係数１７１７を逆ＤＣＴ処理して、逆ＤＣＴ係数１７１８を出力する。
【０３６４】
次に再構成処理ステップ１８０８は、入力（最初のフレームに対する符号化の場合全て０、それ以外の場合予測画像データ１７１４）と逆ＤＣＴ係数１７１８を加算して、復号化画像データ１１４を出力する。
【０３６５】
次に可変長符号化処理ステップ１８０９は、量子化処理ステップ１８０５が出力した量子化ＤＣＴ係数１７１６と動き検出処理ステップ１８０２が検出した動きベクトル１７１３とを可変長符号化して、符号化画像データ１１０を出力し、また符号化画像データ１１０のデータ量を示す符号化画像データサイズ１７１９を出力する。
【０３６６】
次に符号化情報取得ステップ１８１０は、ＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０を入力し、復号化画像データ１１４の画質を示す符号化情報１１６として、ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）（単位はｄＢ）を算出し、符号化情報１１６として出力する。
【０３６７】
数１にＳＮＲ算出式を示し、ｉはＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０の左端係数を０とし右側へ１係数ずれることに１増加する水平方向の係数単位位置（ＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０は水平１６係数であるためｉは０〜１５を取り得る）、ｊはＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０の上端係数を０とし下側へ１係数ずれるごとに１増加する垂直方向の係数単位位置（ＤＣＴ係数４１７及び逆量子化ＤＣＴ係数４２０は垂直１６係数であるためｊは０〜１５を取り得る）、ｙ（ｉ，ｊ）はＤＣＴ係数４１７におけるｉ及びｊで表される位置の係数値、ｙ’（ｉ，ｊ）は逆量子化ＤＣＴ係数４２０におけるｉ及びｊで表される位置の係数値を示す。
【０３６８】
ここで数１に示す算出式を用いて図９（ａ）及び図９（ｂ）に示すＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲを算出すると、１４ｄＢ（小数点以下は四捨五入）となる。
【０３６９】
図１６を用いた説明に戻る。
【０３７０】
符号化情報記憶ステップ１６０３は、符号化ステップ１６０２より出力される符号化情報１１６を所定期間分記憶する。
【０３７１】
図１０に符号化情報記憶ステップ１６０３で記憶される所定期間の符号化情報１１７を示す。
【０３７２】
ここで図１０（ａ）は符号化ステップ１６０２より出力される符号化情報１１６の時間経過による遷移を示し、また図１０（ｂ）に図１０（ａ）に示した符号化情報１１６の時間経過による遷移中の３つのポイントＡ、Ｂ、Ｃでの所定期間の符号化情報１１７の状態を示す。
【０３７３】
図１０（ｂ）に示すように本実施の形態では、所定期間の符号化情報１１７として、ある時刻から過去に遡って最新の５つ（最も過去の符号化情報を符号化情報Ｎ−４、最新の符号化情報まで順にＮ−３、Ｎ−２、Ｎ−１、Ｎ）の符号化情報１１６（ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ）を常に記憶する。新しい符号化情報１１６が入力された場合、既に記憶されている符号化情報を一つずつずらし（符号化情報Ｎ−４に符号化情報Ｎ−３を格納、符号化情報Ｎ−３に符号化情報Ｎ−２を格納、符号化情報Ｎ−２に符号化情報Ｎ−１を格納、符号化情報Ｎ−１に符号化情報Ｎを格納）、新しい符号化情報１１６を符号化情報Ｎに格納する。なお符号化開始当初など、５つ分の符号化情報１１６が入力されていない場合には、初期値として取り得る最小値（ここではＭＩＮ（１）とする）を記憶しておくようにする。
【０３７４】
ポイントＡでは、符号化開始当初の状態を示し、最新の４つの符号化情報１１６（１４，１２，１２，１０）が符号化情報Ｎ−３〜Ｎに記憶されており、符号化情報Ｎ−４には初期値ＭＩＮ（１）が記憶されている。
【０３７５】
またポイントＢでは、最新の５つの符号化情報１１６（１０，１１，１１，１１，１２）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０３７６】
またポイントＣでは、最新の５つの符号化情報１１６（１１，１２，１２，１２，１３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０３７７】
図１６を用いた説明に戻る。
【０３７８】
画質レベル記憶ステップ１６０４は、符号化ステップ１６０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【０３７９】
本実施の形態では、第１の基準画質レベル１２１並びに第２の基準画質レベル１２２としてＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲを記憶しており、それぞれの値は４ｄＢ、１２ｄＢであるものとする。
【０３８０】
画質検出ステップ１６０５は、所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【０３８１】
上記の通り、所定期間分の符号化情報１１７として最新の５つの符号化情報１１６（ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ）を記憶しており、画質検出ステップ１６０５ではそれらを入力して画質レベル１１８を決定する。
【０３８２】
本実施の形態では、画質レベル１１８は入力される最新の５つの符号化情報１１６（ＤＣＴ係数４１７と逆量子化ＤＣＴ係数４２０のＳＮＲ）の平均値であるものとする。
【０３８３】
そうすると図１０（ｂ）に示した３つのポイントＡ〜Ｃそれぞれにおける画質レベル１１８は、ポイントＡでは９．８（＝（１＋１４＋１２＋１２＋１０）／５、小数点第２以下は四捨五入、以下同様）（単位はｄＢ、以下同様）、ポイントＢでは１１．０（＝（１０＋１１＋１１＋１１＋１２）／５）、ポイントＣでは１２．０（＝（１１＋１２＋１２＋１２＋１３）／５）となる。
【０３８４】
録画モード変更通知ステップ１６０６は、複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶ステップ１６０４で記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出ステップ１６０５で記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更するように、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更するように、メッセージを出力しユーザへ通知する。
【０３８５】
録画モード変更通知ステップ１６０６の処理フローは実施の形態４で示した図７と同一に構成される。
【０３８６】
以下、図１０（ｂ）に示した３つのポイントＡ〜Ｃそれぞれにおける処理の流れについて説明する。
【０３８７】
ポイントＡでは、符号化用録画モード１１５はモード番号２のＳＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は９．８ｄＢとなっている。
【０３８８】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が９．８ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０３８９】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が９．８ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０３９０】
ポイントＢでは、符号化用録画モード１１５はモード番号２のＳＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１１．０ｄＢとなっている。
【０３９１】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１１．０ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０３９２】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１１．０ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は否定的となり処理を終了する。
【０３９３】
ポイントＣでは、符号化用録画モード１１５はモード番号２のＳＰモード、第１の基準画質レベルは４ｄＢ、第２の基準画質レベルは１２ｄＢ、画質レベル１１８は１２．０ｄＢとなっている。
【０３９４】
まず画質レベル判定ステップ７０１での判定は、画質レベル１１８が１２．０ｄＢ、第１の基準画質レベルが４ｄＢであることから判定結果は否定的となり、画質レベル判定ステップ７０２へ遷移する。
【０３９５】
次に画質レベル判定ステップ７０２での判定は、画質レベル１１８が１２．０ｄＢ、第２の基準画質レベルが１２ｄＢであることから判定結果は肯定的となり、符号化用録画モード判定ステップ７０５へ遷移する。
【０３９６】
次に符号化用録画モード判定ステップ７０５での判定は、符号化用録画モード１１５がモード番号２のＳＰモードであることから判定結果は否定的となり、メッセージ出力ステップ７０６へ遷移する。
【０３９７】
次にメッセージ出力ステップ７０６では、符号化用録画モード１１５がモード番号２のＳＰモードであることから、モード番号３のＬＰモードへ変更するようにメッセージ出力し、処理を終了する。
【０３９８】
図１１（ａ）、（ｂ）に本実施の形態で表示する表示画面例（録画モード変更通知ステップ１６０６からのメッセージ出力がない場合（図１０（ｂ）でのポイントＡ、Ｂ）、メッセージ出力がある場合（図１０（ｂ）でのポイントＣ））を示す。
【０３９９】
図１１（ｂ）に示すように、録画モード変更通知ステップ１６０６からのメッセージ出力がある場合には、表示画面の上部に録画モード変更を促す表示がなされる。
【０４００】
ユーザは本表示を見て、録画画質の確認並びに必要に応じて録画モード１１２での指示により符号化用録画モード１１５をより符号化レートの低い録画モードに変更する。
【０４０１】
以上のように本実施の形態によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以上となった場合にユーザへ通知することで、如何なる録画モードで動作中であっても不必要な高い符号化レートによる録画を検出し、録画ミスを回避可能となる。
【０４０２】
（実施の形態６）
図１９は、本発明の実施の形態６における画像処理方法１９０８を示す処理フロー図である。
【０４０３】
図１９に示すように本実施の形態における画像処理方法１９０８は、
ユーザが指定した録画モードを符号化用録画モードとして記憶する録画モード記憶ステップ１６０１と、
画像データ並びに前フレームの復号化画像データ、前記符号化用録画モードを入力し、前記符号化用録画モードに対応する符号化レートで前記画像データを符号化した符号化画像データ並びに前記符号化画像データを復号化した復号化画像データ、及び前記復号化画像データの画質を示す符号化情報を出力する符号化ステップ１６０２と、
前記符号化ステップより出力される符号化情報を所定期間分記憶する符号化情報記憶ステップ１６０３と、
前記復号化画像データの画質を判定するための基準とする前記符号化用録画モードに依存しない第１の基準画質レベル及び第２の基準画質レベルの何れか又は両方を記憶する画質レベル記憶ステップ１６０４と、
前記符号化情報記憶ステップで記憶された符号化情報を入力し、前記復号化画像データの画質レベルを決定する画質検出ステップ１６０５と、
前記録画モード記憶ステップで記憶された符号化用録画モード、及び前記画質レベル記憶ステップで記憶された第１並びに第２の基準画質レベル、及び前記画質検出ステップで決定された画質レベルを入力し、前記画質レベルが前記第１の基準画質レベルより低レベルである場合は前記符号化用録画モードをより符号化レートの高い録画モードに変更し、また前記画質レベルが前記第２の基準画質レベルより高レベルである場合は前記符号化用録画モードをより符号化レートの低い録画モードに変更し、前記符号化用録画モードを変更したことをメッセージ出力しユーザへ通知する録画モード変更ステップ１９０６を備える。
【０４０４】
なお本実施の形態における画像処理方法を具現化する処理装置を示すブロック図は実施の形態４で示した図１７と同一に構成される。
【０４０５】
以下、画像処理方法１９０８における各ステップ（１６０１〜１９０６）について詳細に説明する。
【０４０６】
まず録画モード記憶ステップ１６０１において、ユーザが指定した録画モード１１２を符号化用録画モード１１５として記憶する。
【０４０７】
本実施の形態における複数の録画モード１１９は実施の形態４で示した図２と同一に構成される。
【０４０８】
ここではユーザによりモード番号３のＬＰモードが指定され、符号化用録画モード１１５として記憶されているものとする。
【０４０９】
次に符号化ステップ１６０２において、画像データ１０９並びに前フレームの復号化画像データ１７０３（最初のフレームに対する符号化の場合は使用しない）、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートで画像データ１０９を符号化した符号化画像データ１１０並びに符号化画像データ１１０を復号化した復号化画像データ１１４、及び復号化画像データ１１４の画質を示す符号化情報１７０６を出力する。
【０４１０】
画像データ１０９（フレームＮ、Ｎは自然数でフレーム番号を示す）の構成は実施の形態４で示した図３（ａ）と同一に構成される。
【０４１１】
符号化ステップ１６０２は実施の形態４で示した図１８と同一に構成される。
【０４１２】
以下、符号化ステップ１６０２における具体的な動作説明を行う。
【０４１３】
まずレート制御ステップ１８０１は、符号化用録画モード１１５を入力し、符号化用録画モード１１５に対応する符号化レートを決定する。
【０４１４】
複数の録画モード１１９に対応する符号化レート５００は実施の形態４で示した図５と同一に構成される。
【０４１５】
レート制御ステップ１８０１では、符号化用録画モード１１５に対応する（目標ビットレート、初期量子化ステップ）を符号化レート５００の中から取得し、使用する。
【０４１６】
本実施の形態では、符号化用録画モード１１５としてモード番号３のＬＰモードが記憶されているため、符号化レート（目標ビットレート、初期量子化ステップ）として（４，０００ｂｉｔ／ｓｅｃｏｎｄ、８）を決定し、以降レート制御ステップ１８０１では、前記符号化レートを用いて所定のレート制御方式により、量子化ステップ４１４を制御する。
【０４１７】
動き検出処理ステップ１８０２、動き補償処理ステップ１８０３、ＤＣＴ処理ステップ１８０４、量子化処理ステップ１８０５、逆量子化処理ステップ１８０６、逆ＤＣＴ処理ステップ１８０７、再構成処理ステップ１８０８、可変長符号化処理ステップ１８０９は実施の形態４で示した動作と同一である。
【０４１８】
次に符号化情報取得ステップ１８１０は、量子化ステップ４１４を入力し、復号化画像データ１１４の画質を示す符号化情報１１６として出力する。
【０４１９】
図１９を用いた説明に戻る。
【０４２０】
符号化情報記憶ステップ１６０３は、符号化ステップ１６０２より出力される符号化情報１１６を所定期間分記憶する。
【０４２１】
図１３に符号化情報記憶ステップ１６０３に記憶される所定期間の符号化情報１１７を示す。
【０４２２】
ここで図１３（ａ）は符号化ステップ１６０２より出力される符号化情報１１６の時間経過による遷移を示し、また図１３（ｂ）に図１３（ａ）に示した符号化情報１１６の時間経過による遷移中の４つのポイントＡ、Ｂ、Ｃ、Ｄでの所定期間の符号化情報１１７の状態を示す。
【０４２３】
図１３（ｂ）に示すように本実施の形態では、所定期間の符号化情報１１７として、ある時刻から過去に遡って最新の５つ（最も過去の符号化情報を符号化情報Ｎ−４、最新の符号化情報まで順にＮ−３、Ｎ−２、Ｎ−１、Ｎ）の符号化情報１１６（量子化ステップ４１４）を常に記憶する。新しい符号化情報１１６が入力された場合、既に記憶されている符号化情報を一つずつずらし（符号化情報Ｎ−４に符号化情報Ｎ−３を格納、符号化情報Ｎ−３に符号化情報Ｎ−２を格納、符号化情報Ｎ−２に符号化情報Ｎ−１を格納、符号化情報Ｎ−１に符号化情報Ｎを格納）、新しい符号化情報１１６を符号化情報Ｎに格納する。なお符号化開始当初など、５つ分の符号化情報１１６が入力されていない場合には、初期値として取り得る最大値（ここではＭＡＸ（３１）とする）を記憶しておくようにする。
【０４２４】
ポイントＡでは、符号化開始当初の状態を示し、最新の４つの符号化情報１１６（６，６，７，８）が符号化情報Ｎ−３〜Ｎに記憶されており、符号化情報Ｎ−４には初期値ＭＡＸ（３１）が記憶されている。
【０４２５】
またポイントＢでは、最新の５つの符号化情報１１６（５，５，５，４，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０４２６】
またポイントＣでは、最新の５つの符号化情報１１６（５，４，４，３，３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０４２７】
またポイントＤでは、最新の５つの符号化情報１１６（１０，１２，１２，１３，１３）が符号化情報Ｎ−４〜Ｎに記憶されている。
【０４２８】
図１９を用いた説明に戻る。
【０４２９】
画質レベル記憶ステップ１６０４は、符号化ステップ１６０２から出力される復号化画像データ１１４の画質を判定するための基準とする符号化用録画モード１１５に依存しない第１の基準画質レベル１２１並びに第２の基準画質レベル１２２を記憶する。
【０４３０】
本実施の形態では、第１の基準画質レベル１２１並びに第２の基準画質レベル１２２として量子化ステップを記憶しており、それぞれの値は４、１２であるものとする。
【０４３１】
画質検出ステップ１６０５は、所定期間分の符号化情報１１７を入力し、復号化画像データ１１４の画質レベル１１８を決定し、記憶する。
【０４３２】
上記の通り、所定期間分の符号化情報１１７として最新の５つの符号化情報１１６（量子化ステップ４１４）を記憶しており、画質検出ステップ１６０５ではそれらを入力して画質レベル１１８を決定する。
【０４３３】
本実施の形態では、画質レベル１１８は入力される最新の５つの符号化情報１１６（量子化ステップ４１４）の平均値であるものとする。
【０４３４】
そうすると図１３（ｂ）に示した４つのポイントＡ〜Ｄそれぞれにおける画質レベル１１８は、ポイントＡでは１１．６（＝（３１＋６＋６＋７＋８）／５、小数点第２以下は四捨五入、以下同様）、ポイントＢでは４．４（＝（５＋５＋５＋４＋３）／５）、ポイントＣでは３．８（＝（５＋４＋４＋３＋３）／５）、ポイントＤでは１２．０（＝（１０＋１２＋１２＋１３＋１３）／５）となる。
【０４３５】
録画モード変更通知ステップ１９０６は、複数用意された録画モード１１９並びに符号化用録画モード１１５、及び画質レベル記憶ステップ１６０４で記憶された第１の基準画質レベル１２１並びに第２の基準画質レベル１２２、及び画質検出ステップ１６０５で記憶された画質レベル１１８を入力し、画質レベル１１８が第１の基準画質レベル１２１より低レベルである場合は符号化用録画モード１１５をより符号化レートの高い録画モードに変更し、また画質レベル１１８が第２の基準画質レベル１２２より高レベルである場合は符号化用録画モード１１５をより符号化レートの低い録画モードに変更し、符号化用録画モード１１５を変更したことをメッセージ出力しユーザへ通知する。
【０４３６】
図１４に録画モード変更通知ステップ１９０６の処理フロー図を示す。
【０４３７】
図１４に示すように 録画モード変更通知ステップ１９０６の処理は、
画質レベル１１８が第１の基準画質レベル１２１以下であるかを判定する画質レベル判定ステップ１４０１、
画質レベル１１８が第２の基準画質レベル１２２以上であるかを判定する画質レベル判定ステップ１４０２、
画質レベル判定ステップ１４０１での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が１のＸＰモード（最高画質での録画が可能なモード）であるかを判定する符号化用録画モード判定ステップ１４０３、
符号化用録画モード判定ステップ１４０３での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの高い録画モード（現在のモード番号−１の録画モード）に変更する録画モード変更ステップ１４０４、
符号化用録画モード１１５を変更したことをメッセージ出力するメッセージ出力ステップ１４０５、
画質レベル判定ステップ１４０２での判定結果が肯定的な場合に現在の符号化用録画モード１１５がモード番号が４のＥＰモード（最も全体的な録画画質は低いが最も長時間録画可能なモード）であるかを判定する符号化用録画モード判定ステップ１４０６、
符号化用録画モード判定ステップ１４０６での判定結果が否定的な場合に符号化用録画モード１１５をより符号化レートの低い録画モード（現在のモード番号＋１の録画モード）に変更する録画モード変更ステップ１４０７、
符号化用録画モード１１５を変更したことをメッセージ出力するメッセージ出力ステップ１４０８を備える。
【０４３８】
ポイントＡでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は１１．６となっている。
【０４３９】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が１１．６、第１の基準画質レベルが４であることから判定結果は否定的となり、画質レベル判定ステップ１４０２へ遷移する。
【０４４０】
次に画質レベル判定ステップ１４０２での判定は、画質レベル１１８が１１．６、第２の基準画質レベルが１２であることから判定結果は否定的となり処理を終了する。
【０４４１】
ポイントＢでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は４．４となっている。
【０４４２】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が４．４、第１の基準画質レベルが４であることから判定結果は否定的となり、画質レベル判定ステップ１４０２へ遷移する。
【０４４３】
次に画質レベル判定ステップ１４０２での判定は、画質レベル１１８が４．４、第２の基準画質レベルが１２であることから判定結果は否定的となり処理を終了する。
【０４４４】
ポイントＣでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は３．８となっている。
【０４４５】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が３．８、第１の基準画質レベルが４であることから判定結果は肯定的となり、符号化用録画モード判定ステップ１４０３へ遷移する。
【０４４６】
次に符号化用録画モード判定ステップ１４０３での判定は、符号化用録画モード１１５がモード番号３のＬＰモードであることから判定結果は否定的となり、録画モード変更ステップ１４０４へ遷移する。
【０４４７】
次に、録画モード変更ステップ１４０４では、符号化用録画モード１１５がモード番号３のＬＰモードであることから、符号化用録画モード１１５をモード番号２のＳＰモードへ変更する。
【０４４８】
次にメッセージ出力ステップ１４０５では、符号化用録画モード１１５をモード番号３のＬＰモードから、モード番号２のＳＰモードへ変更したことをメッセージ出力し、処理を終了する。
【０４４９】
ポイントＤでは、符号化用録画モード１１５はモード番号３のＬＰモード、第１の基準画質レベルは４、第２の基準画質レベルは１２、画質レベル１１８は１２．０となっている。
【０４５０】
まず画質レベル判定ステップ１４０１での判定は、画質レベル１１８が１２．０、第１の基準画質レベルが４であることから判定結果は否定的となり、画質レベル判定ステップ１４０２へ遷移する。
【０４５１】
次に画質レベル判定ステップ１４０２での判定は、画質レベル１１８が１２．０、第２の基準画質レベルが１２であることから判定結果は肯定的となり符号化用録画モード判定ステップ１４０６へ遷移する。
【０４５２】
次に符号化用録画モード判定ステップ１４０６での判定は、符号化用録画モード１１５がモード番号３のＬＰモードであることから判定結果は否定的となり、録画モード変更ステップ１４０７へ遷移する。
【０４５３】
次に、録画モード変更ステップ１４０７では、符号化用録画モード１１５がモード番号３のＬＰモードであることから、符号化用録画モード１１５をモード番号４のＥＰモードへ変更する。
【０４５４】
次にメッセージ出力ステップ１４０８では、符号化用録画モード１１５をモード番号３のＬＰモードから、モード番号４のＬＰモードへ変更したことをメッセージ出力し、処理を終了する。
【０４５５】
図１５（ａ）、（ｂ）、（ｃ）に本実施の形態で表示する表示画面例（録画モード変更通知ステップ１９０６からのメッセージ出力がない場合（図１３（ｂ）でのポイントＡ、Ｂ）、より符号化レートの高い録画モードへの変更（モード３のＬＰモードからモード２のＳＰモード）メッセージ出力がある場合（図１３（ｂ）でのポイントＣ）、より符号化レートの低い録画モードへの変更（モード３のＬＰモードからモード４のＥＰモード）メッセージ出力がある場合（図１３（ｂ）でのポイントＤ））を示す。
【０４５６】
図１５（ｂ）、（ｃ）に示すように、録画モード変更通知ステップ１９０６からのメッセージ出力がある場合には、表示画面の上部に録画モード変更を実施したという表示がなされる。
【０４５７】
ユーザは本表示を見て、録画画質に合わせて符号化用録画モード１１５が変更されたことを認識する。
【０４５８】
以上のように本実施の形態によれば、録画モードに依存しない所定の画質レベルを用いた録画画質の判定を行い、判定の結果、録画画質が所定の画質レベル以下若しくは以上となった場合に、より画質に合わせた録画モードへ変更し、ユーザへ通知することで、如何なる録画モードで動作中であっても録画画質の劣化若しくは不必要な高い符号化レートによる録画を検出し、録画ミスを回避可能となる。
【産業上の利用可能性】
【０４５９】
本発明に関わる画像処理装置及び画像処理方法は、ビデオカメラのような入力画像を符号化並びに録画する機器、特に符号化時の符号化レートを切り換えるために複数用意された録画モードの中からユーザが所望の録画モードを選択、指定して録画する機器及びその応用分野において利用できる。
【図面の簡単な説明】
【０４６０】
【図１】本発明の実施の形態１における画像処理装置のブロック図
【図２】本発明の実施の形態１における録画モードを示す図
【図３】（ａ）本発明の実施の形態１における画像データの１フレーム分の構成図（ｂ）本発明の実施の形態１における復号画像データの１フレーム分の構成図
【図４】本発明の実施の形態１における符号化部のブロック図
【図５】本発明の実施の形態１における符号化レートを示す図
【図６】本発明の実施の形態１における所定期間の符号化情報を示す図
【図７】本発明の実施の形態１における録画モード制御部での処理フロー図
【図８】本発明の実施の形態１における表示画面例を示す図
【図９】（ａ）本発明の実施の形態１におけるＤＣＴ係数の１フレーム分の構成図（ｂ）本発明の実施の形態１における逆量子化ＤＣＴ係数の１フレーム分の構成図
【図１０】本発明の実施の形態２における所定期間の符号化情報を示す図
【図１１】本発明の実施の形態２における表示画面例を示す図
【図１２】本発明の実施の形態３における画像処理装置のブロック図
【図１３】本発明の実施の形態３における所定期間の符号化情報を示す図
【図１４】本発明の実施の形態３における録画モード制御部での処理フロー図
【図１５】本発明の実施の形態３における表示画面例を示す図
【図１６】本発明の実施の形態４における画像処理方法の処理フロー図
【図１７】本発明の実施の形態４における画像処理方法を具現化する処理装置を示すブロック図
【図１８】本発明の実施の形態４における符号化ステップの処理フロー図
【図１９】本発明の実施の形態６における画像処理方法の処理フロー図
【図２０】従来のデジタルビデオカメラのブロック図
【符号の説明】
【０４６１】
１００，１２００ 画像処理装置
１０１ メモリ
１０２ 符号化部
１０３ 符号化情報記憶部
１０４ 画質レベル記憶部
１０５ 画質検出部
１０６ 録画モード記憶部
１０７，１２０７ 録画モード制御部
１０８ 表示部
１０９ 画像データ
１１０ 符号化画像データ
１１１ 表示画像データ
１１２ 録画モード
１１３，１７０３ 前フレームの復号化画像データ
１１４ 復号化画像データ
１１５ 符号化用録画モード
１１６，１７０６ 符号化情報
１１７ 所定期間分の符号化情報
１１８ 画質レベル
１１９ 複数用意された録画モード
１２１ 第１の基準画質レベル
１２２ 第２の基準画質レベル
１２３ メッセージ
４０１ 動き検出処理部
４０２ 動き補償処理部
４０３ 差分器
４０４ ＤＣＴ処理部
４０５ 量子化処理部
４０６ 逆量子化処理部
４０７ 逆ＤＣＴ処理部
４０８ 再構成処理部
４０９ 可変長符号化処理部
４１０ スイッチ
４１１ レート制御部
４１２ 符号化情報取得部
４１３ ＤＣＴ処理部への入力
４１４ 量子化ステップ
４１５，１７１９ 符号化画像データサイズ
４１６，１７１６ 量子化ＤＣＴ係数
４１７ ＤＣＴ係数
４２０ 逆量子化ＤＣＴ係数
４２１，１７１８ 逆ＤＣＴ係数
４２２，１７１４ 予測画像データ
４２３，１７１３ 動きベクトル
４２４ 再構成処理部への入力
５００，１７１１ 符号化レート
７０１，１４０１ 画質レベル判定ステップ
７０２，１４０２ 画質レベル判定ステップ
７０３，１４０３ 符号化用録画モード判定ステップ
７０４，１４０５，７０６，１４０８ メッセージ出力ステップ
７０５，１４０６ 符号化用録画モード判定ステップ
１２２４ 録画モード変更部
１２２５ 制御信号
１４０４，１４０７ 録画モード変更ステップ
１６０８ 画像処理方法
１６０１ 録画モード記憶ステップ
１６０２ 符号化ステップ
１６０３ 符号化情報記憶ステップ
１６０４ 画質レベル記憶ステップ
１６０５ 画質検出ステップ
１６０６ 録画モード変更通知ステップ
１７００ 処理装置
１７０１ ＣＰＵ
１７０２ メモリ
１８０１ レート制御ステップ
１８０２ 動き検出処理ステップ
１８０３ 動き補償処理ステップ
１８０４ ＤＣＴ処理ステップ
１８０５ 量子化処理ステップ
１８０６ 逆量子化処理ステップ
１８０７ 逆ＤＣＴ処理ステップ
１８０８ 再構成処理ステップ
１８０９ 可変長符号化処理ステップ
１８１０ 符号化情報取得ステップ
１９０８ 画像処理方法
１９０６ 録画モード変更ステップ
２００１ デジタルビデオカメラ
２００２ 記録媒体
２００３ レンズ
２００４ ホストコントローラ
２００５ 撮像部
２００６ エンコーダ
２００６Ａ ビットレート計算部
２００６Ｂ 制御部
２００６Ｃ エンコード部
２００７ 記録再生部
２００８ 表示制御部
２００８Ａ ビットレートグラフィック出力部
２００８Ｂ 録画モードメータ上限切替部
２００９ 表示部
【特許請求の範囲】
【請求項１】
入力する画像データ及び後述する符号化部より出力される符号化画像データ並びに前記符号化画像データを復号化した復号化画像データを記憶するメモリと、
前記メモリに記憶された画像データ並びに前フレームの復号化画像データ、後述する録画モード記憶部に記憶された符号化用録画モードを入力し、前記符号化用録画モードに対応する符号化レートで前記画像データを符号化した符号化画像データ並びに前記符号化画像データを復号化した復号化画像データを前記メモリに出力、また前記復号化画像データの画質を示す符号化情報を後述する符号化情報記憶部に出力する符号化部と、
前記符号化部より入力する前記符号化情報を所定期間分記憶する符号化情報記憶部と、
前記復号化画像データの画質を判定するための基準とする前記符号化用録画モードに依存しない第１の基準画質レベル及び第２の基準画質レベルの何れか又は両方を記憶する画質レベル記憶部と、
前記符号化情報記憶部に記憶された符号化情報を入力し、前記復号化画像データの画質レベル決定、記憶する画質検出部と、
複数用意された録画モード並びにその中で前記符号化部での符号化における符号化レートを指定するためにユーザが指定した符号化用録画モードを記憶する録画モード記憶部と、
前記録画モード記憶部に記憶された複数用意された録画モード並びに符号化用録画モード、及び前記画質レベル記憶部に記憶された第１並びに第２の基準画質レベル、及び前記画質検出部に記憶された画質レベルを入力し、録画モードに関する制御を行うとともに、後述する表示部へメッセージを出力しユーザへ通知する録画モード制御部と、
前記メモリに記憶された画像データ並びに前記録画モード制御部より出力されるメッセージを表示する表示部と、
を備える画像処理装置。
【請求項２】
前記録画モード制御部は、
前記画質レベルが前記第１の基準画質レベルより低レベルである場合は前記符号化用録画モードをより符号化レートの高い録画モードに変更するように、また前記画質レベルが前記第２の基準画質レベルより高レベルである場合は前記符号化用録画モードをより符号化レートの低い録画モードに変更するように、前記表示部へメッセージを出力しユーザへ通知する請求項１記載の画像処理装置。
【請求項３】
前記録画モード制御部は、
前記画質レベルが前記第１の基準画質レベルより低レベルである場合は前記符号化用録画モードをより符号化レートの高い録画モードに変更するように後述する録画モード変更部を制御し、また前記画質レベルが前記第２の基準画質レベルより高レベルである場合は前記符号化用録画モードをより符号化レートの低い録画モードに変更するように後述する録画モード変更部を制御し、前記符号化用録画モードを変更したことを前記表示部へメッセージを出力しユーザへ通知し、
更に、前記録画モード制御部による制御により前記録画モード記憶部に記憶された符号化用録画モードを変更する録画モード変更部を備える請求項１記載の画像処理装置。
【請求項４】
前記第１の基準画質レベルは前記第２の基準画質レベルよりも低レベルである、
請求項１、２または３記載の画像処理装置。
【請求項５】
前記符号化情報及び前記第１並びに第２の基準画質レベルは前記画像データと前記復号化画像データ間の誤差の割合、また前記画質レベルは前記符号化情報より決定される前記誤差の割合の所定期間内平均値を示す情報であり、
前記誤差の割合が小さい場合に高レベル、前記誤差の割合が大きい場合に低レベルであるものとする請求項１〜４の何れかに記載の画像処理装置。
【請求項６】
前記符号化部は、
前記録画モード記憶部に記憶されている符号化用録画モードより前記符号化用録画モードに対応する符号化レートを決定し、後述する可変長符号化処理部から入力する符号化画像データサイズを基に、後述する可変長符号化処理部から出力される符号化画像データのデータ量が前記符号化レートに近づくように、後述する量子化処理部並びに逆量子化処理部で使用される量子化ステップを制御するレート制御部と、
前記メモリに記憶されている前記画像データと前フレームの復号化画像データとを用いて動きベクトルを検出する動き検出処理部と、
前記動き検出処理部が検出した前記動きベクトルと前記メモリに記憶されている前フレームの復号化画像データとを用いて、予測画像データを生成する動き補償処理部と、
前記画像データ又は前記動き補償処理部が生成した前記予測画像データと前記画像データとの差分をＤＣＴ処理して、ＤＣＴ係数を出力するＤＣＴ処理部と、
前記ＤＣＴ処理部が出力した前記ＤＣＴ係数を量子化ステップを用いて量子化して、量子化ＤＣＴ係数を出力する量子化処理部と、
前記量子化処理部が出力した前記量子化ＤＣＴ係数を前記量子化ステップを用いて逆量子化して、逆量子化ＤＣＴ係数を出力する逆量子化処理部と、
前記逆量子化処理部が出力した前記逆量子化ＤＣＴ係数を逆ＤＣＴ処理して、逆ＤＣＴ係数を出力する逆ＤＣＴ処理部と、
前記動き補償処理部が生成した前記予測画像データと前記逆ＤＣＴ処理部が出力した逆ＤＣＴ係数の加算値、又は前記逆ＤＣＴ処理部が出力した逆ＤＣＴ係数を復号化画像データとして生成し前記メモリに出力する再構成処理部と、
前記量子化処理部が出力した前記量子化ＤＣＴ係数と前記動き検出処理部が検出した前記動きベクトルとを可変長符号化して、符号化画像データを前記メモリに出力し、また前記符号化画像データのデータ量を示す符号化画像データサイズを前記レート制御部に出力する可変長符号化処理部と、
前記復号化画像データの画質を示す符号化情報を取得して、前記符号化情報記憶部へ出力する符号化情報取得部と、
を備える請求項１〜４の何れかに記載の画像処理装置。
【請求項７】
前記符号化情報及び前記第１並びに第２の基準画質レベルは前記ＤＣＴ係数と前記逆量子化ＤＣＴ係数間の誤差の割合、また前記画質レベルは前記符号化情報より決定される前記誤差の割合の所定期間内平均値を示す情報であり、
前記誤差の割合が小さい場合に高レベル、前記誤差の割合が大きい場合に低レベルであるものとする請求項６記載の画像処理装置。
【請求項８】
前記符号化情報及び前記第１並びに第２の基準画質レベルは前記量子化処理部並びに逆量子化処理部で使用する量子化パラメータ、また前記画質レベルは前記符号化情報より決定される前記量子化パラメータの所定期間内平均値を示す情報であり、
前記量子化パラメータが小さい場合に高レベル、前記量子化パラメータが大きい場合に低レベルであるものとする請求項６記載の画像処理装置。
【請求項９】
ユーザが指定した録画モードを符号化用録画モードとして記憶する録画モード記憶ステップと、
画像データ並びに前フレームの復号化画像データ、前記符号化用録画モードを入力し、前記符号化用録画モードに対応する符号化レートで前記画像データを符号化した符号化画像データ並びに前記符号化画像データを復号化した復号化画像データ、及び前記復号化画像データの画質を示す符号化情報を出力する符号化ステップと、
前記符号化ステップより出力される符号化情報を所定期間分記憶する符号化情報記憶ステップと、
前記復号化画像データの画質を判定するための基準とする前記符号化用録画モードに依存しない第１の基準画質レベル及び第２の基準画質レベルの何れか又は両方を記憶する画質レベル記憶ステップと、
前記符号化情報記憶ステップで記憶された符号化情報を入力し、前記復号化画像データの画質レベルを決定する画質検出ステップと、
前記録画モード記憶ステップで記憶された符号化用録画モード、及び前記画質レベル記憶ステップで記憶された第１並びに第２の基準画質レベル、及び前記画質検出ステップで決定された画質レベルを入力し、録画モードに関する制御を行うとともに、メッセージを出力しユーザへ通知する録画モード制御ステップと、
を備える画像処理方法。
【請求項１】
入力する画像データ及び後述する符号化部より出力される符号化画像データ並びに前記符号化画像データを復号化した復号化画像データを記憶するメモリと、
前記メモリに記憶された画像データ並びに前フレームの復号化画像データ、後述する録画モード記憶部に記憶された符号化用録画モードを入力し、前記符号化用録画モードに対応する符号化レートで前記画像データを符号化した符号化画像データ並びに前記符号化画像データを復号化した復号化画像データを前記メモリに出力、また前記復号化画像データの画質を示す符号化情報を後述する符号化情報記憶部に出力する符号化部と、
前記符号化部より入力する前記符号化情報を所定期間分記憶する符号化情報記憶部と、
前記復号化画像データの画質を判定するための基準とする前記符号化用録画モードに依存しない第１の基準画質レベル及び第２の基準画質レベルの何れか又は両方を記憶する画質レベル記憶部と、
前記符号化情報記憶部に記憶された符号化情報を入力し、前記復号化画像データの画質レベル決定、記憶する画質検出部と、
複数用意された録画モード並びにその中で前記符号化部での符号化における符号化レートを指定するためにユーザが指定した符号化用録画モードを記憶する録画モード記憶部と、
前記録画モード記憶部に記憶された複数用意された録画モード並びに符号化用録画モード、及び前記画質レベル記憶部に記憶された第１並びに第２の基準画質レベル、及び前記画質検出部に記憶された画質レベルを入力し、録画モードに関する制御を行うとともに、後述する表示部へメッセージを出力しユーザへ通知する録画モード制御部と、
前記メモリに記憶された画像データ並びに前記録画モード制御部より出力されるメッセージを表示する表示部と、
を備える画像処理装置。
【請求項２】
前記録画モード制御部は、
前記画質レベルが前記第１の基準画質レベルより低レベルである場合は前記符号化用録画モードをより符号化レートの高い録画モードに変更するように、また前記画質レベルが前記第２の基準画質レベルより高レベルである場合は前記符号化用録画モードをより符号化レートの低い録画モードに変更するように、前記表示部へメッセージを出力しユーザへ通知する請求項１記載の画像処理装置。
【請求項３】
前記録画モード制御部は、
前記画質レベルが前記第１の基準画質レベルより低レベルである場合は前記符号化用録画モードをより符号化レートの高い録画モードに変更するように後述する録画モード変更部を制御し、また前記画質レベルが前記第２の基準画質レベルより高レベルである場合は前記符号化用録画モードをより符号化レートの低い録画モードに変更するように後述する録画モード変更部を制御し、前記符号化用録画モードを変更したことを前記表示部へメッセージを出力しユーザへ通知し、
更に、前記録画モード制御部による制御により前記録画モード記憶部に記憶された符号化用録画モードを変更する録画モード変更部を備える請求項１記載の画像処理装置。
【請求項４】
前記第１の基準画質レベルは前記第２の基準画質レベルよりも低レベルである、
請求項１、２または３記載の画像処理装置。
【請求項５】
前記符号化情報及び前記第１並びに第２の基準画質レベルは前記画像データと前記復号化画像データ間の誤差の割合、また前記画質レベルは前記符号化情報より決定される前記誤差の割合の所定期間内平均値を示す情報であり、
前記誤差の割合が小さい場合に高レベル、前記誤差の割合が大きい場合に低レベルであるものとする請求項１〜４の何れかに記載の画像処理装置。
【請求項６】
前記符号化部は、
前記録画モード記憶部に記憶されている符号化用録画モードより前記符号化用録画モードに対応する符号化レートを決定し、後述する可変長符号化処理部から入力する符号化画像データサイズを基に、後述する可変長符号化処理部から出力される符号化画像データのデータ量が前記符号化レートに近づくように、後述する量子化処理部並びに逆量子化処理部で使用される量子化ステップを制御するレート制御部と、
前記メモリに記憶されている前記画像データと前フレームの復号化画像データとを用いて動きベクトルを検出する動き検出処理部と、
前記動き検出処理部が検出した前記動きベクトルと前記メモリに記憶されている前フレームの復号化画像データとを用いて、予測画像データを生成する動き補償処理部と、
前記画像データ又は前記動き補償処理部が生成した前記予測画像データと前記画像データとの差分をＤＣＴ処理して、ＤＣＴ係数を出力するＤＣＴ処理部と、
前記ＤＣＴ処理部が出力した前記ＤＣＴ係数を量子化ステップを用いて量子化して、量子化ＤＣＴ係数を出力する量子化処理部と、
前記量子化処理部が出力した前記量子化ＤＣＴ係数を前記量子化ステップを用いて逆量子化して、逆量子化ＤＣＴ係数を出力する逆量子化処理部と、
前記逆量子化処理部が出力した前記逆量子化ＤＣＴ係数を逆ＤＣＴ処理して、逆ＤＣＴ係数を出力する逆ＤＣＴ処理部と、
前記動き補償処理部が生成した前記予測画像データと前記逆ＤＣＴ処理部が出力した逆ＤＣＴ係数の加算値、又は前記逆ＤＣＴ処理部が出力した逆ＤＣＴ係数を復号化画像データとして生成し前記メモリに出力する再構成処理部と、
前記量子化処理部が出力した前記量子化ＤＣＴ係数と前記動き検出処理部が検出した前記動きベクトルとを可変長符号化して、符号化画像データを前記メモリに出力し、また前記符号化画像データのデータ量を示す符号化画像データサイズを前記レート制御部に出力する可変長符号化処理部と、
前記復号化画像データの画質を示す符号化情報を取得して、前記符号化情報記憶部へ出力する符号化情報取得部と、
を備える請求項１〜４の何れかに記載の画像処理装置。
【請求項７】
前記符号化情報及び前記第１並びに第２の基準画質レベルは前記ＤＣＴ係数と前記逆量子化ＤＣＴ係数間の誤差の割合、また前記画質レベルは前記符号化情報より決定される前記誤差の割合の所定期間内平均値を示す情報であり、
前記誤差の割合が小さい場合に高レベル、前記誤差の割合が大きい場合に低レベルであるものとする請求項６記載の画像処理装置。
【請求項８】
前記符号化情報及び前記第１並びに第２の基準画質レベルは前記量子化処理部並びに逆量子化処理部で使用する量子化パラメータ、また前記画質レベルは前記符号化情報より決定される前記量子化パラメータの所定期間内平均値を示す情報であり、
前記量子化パラメータが小さい場合に高レベル、前記量子化パラメータが大きい場合に低レベルであるものとする請求項６記載の画像処理装置。
【請求項９】
ユーザが指定した録画モードを符号化用録画モードとして記憶する録画モード記憶ステップと、
画像データ並びに前フレームの復号化画像データ、前記符号化用録画モードを入力し、前記符号化用録画モードに対応する符号化レートで前記画像データを符号化した符号化画像データ並びに前記符号化画像データを復号化した復号化画像データ、及び前記復号化画像データの画質を示す符号化情報を出力する符号化ステップと、
前記符号化ステップより出力される符号化情報を所定期間分記憶する符号化情報記憶ステップと、
前記復号化画像データの画質を判定するための基準とする前記符号化用録画モードに依存しない第１の基準画質レベル及び第２の基準画質レベルの何れか又は両方を記憶する画質レベル記憶ステップと、
前記符号化情報記憶ステップで記憶された符号化情報を入力し、前記復号化画像データの画質レベルを決定する画質検出ステップと、
前記録画モード記憶ステップで記憶された符号化用録画モード、及び前記画質レベル記憶ステップで記憶された第１並びに第２の基準画質レベル、及び前記画質検出ステップで決定された画質レベルを入力し、録画モードに関する制御を行うとともに、メッセージを出力しユーザへ通知する録画モード制御ステップと、
を備える画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００９−２１２６５０（Ｐ２００９−２１２６５０Ａ）
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願番号】特願２００８−５１７７４（Ｐ２００８−５１７７４）
【出願日】平成２０年３月３日（２００８．３．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願日】平成２０年３月３日（２００８．３．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]