画像符号化装置、画像符号化装置の制御方法、プログラム、及び記憶媒体
【課題】ユーザが所望する高画質あるいは高圧縮の設定に対して、最適な符号化モードと色変換方式を対応させて選択する。
【解決手段】色変換方式を設定する色変換方式設定手段と、画像データを設定された色変換方式で処理する色変換処理手段と、符号化モードを設定する符号化モード設定手段と、色変換処理手段で処理された画像データを、設定された前記符号化モードで符号化する圧縮符号化手段と、を備える画像符号化装置において、設定される色変換方式と符号化モードは、互いに対応させて設定される画像符号化装置。
【解決手段】色変換方式を設定する色変換方式設定手段と、画像データを設定された色変換方式で処理する色変換処理手段と、符号化モードを設定する符号化モード設定手段と、色変換処理手段で処理された画像データを、設定された前記符号化モードで符号化する圧縮符号化手段と、を備える画像符号化装置において、設定される色変換方式と符号化モードは、互いに対応させて設定される画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力信号である画像データを圧縮符号化する画像符号化装置、画像符号化装置の制御方法、プログラム、及び記憶媒体に関するものである。
【背景技術】
【０００２】
近年の映像情報に対する高画質化のニーズの高まりと、モニタの表示技術の革新により、より表現力の高い技術が確立されつつある。
【０００３】
解像度に関しては、従来の７２０×４８０画素のＳＤ（標準画質）方式から、１９２０×１０８０画素のＨＤ（高画質）方式へ移行し、色表現の能力に関しても、広帯域な色信号が表現可能になりつつある状況になっている。
【０００４】
色表現の能力の広帯域化に関し、具体的に図４を参照して説明する。図４は、表現可能な色域空間をｘｙ色度図で示したものである。
【０００５】
図４において、２３０で示す三角形で囲まれた色域空間は、ＢＴ．７０９で規格化された色変換方式で表現可能な色域空間であり、従来の高画質動画のテレビ信号（ＨＤＴＶ）における表現が可能な色域空間となっている。
【０００６】
又、３００で示す三角形で囲まれた色域空間は、ｘｖＹＣＣ方式という新しい色変換方式で表現可能な色域空間である。図に示すように、ｘｖＹＣＣ方式による色域空間３００は、ＢＴ．７０９方式の色域空間２３０より広い拡張色域空間を有する。また、ｘｖＹＣＣ方式による色変換処理は、ＢＴ．７０９方式の色変換処理を包含するように規格化されており、ＢＴ．７０９方式に対して上位互換の規格となっている。すでにｘｖＹＣＣ方式による色域空間を表現が可能なモニタは存在し、今後、この新しい規格に準拠した忠実な色再現を実現するその他の装置が、市場に広がることは期待されている。
【０００７】
さらに、馬蹄形で囲まれた色域空間４００は、人間の目の可視領域の色域空間を示している。つまり、ｘｖＹＣＣ方式の規格では、従来の色表現を大幅に拡張し、人間の目の可視領域に近い色表現が可能となっている。
【０００８】
以上のような複数の色変換方式に着目して、最適な色変換方式を選択して符号化処理を行うという技術が、特許文献１と特許文献２に開示されている。
【０００９】
特許文献１に開示された発明は、入力信号の各画素データから色域空間領域を自動認識し、全体画像として最適な色変換方式を選択するものである。つまり、選択された色変換方式にしたがって符号化処理前の色変換処理を行い、処理した色変換方式情報も重畳して、最終的な符号化処理を行うものである。
【００１０】
一方、特許文献２に開示された発明は、入力信号の各画素データから色域空間領域を自動認識し、認識した色域空間に基づく色変換方式情報を重畳して符号化処理する。広い色域空間領域をもつ符号化データは、多ビットデータとして復号処理する必要がある。しかしながら、符号化データに重畳された色変換方式情報により、復号する前に必要な処理ビット幅が判明するので、冗長なビット幅の復号処理を回避することができるというものである。
【００１１】
以上の特許文献１や特許文献２に開示された発明では、入力信号である画像データに最適な色変換方式を選択するという観点で同じ技術が開示されており、その選択された情報を使用して、符号化処理や復号処理の効率化を図っているものである。
【特許文献１】特開２００４−２００９０２号公報
【特許文献２】特開２００４−２３６１５９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、入力される画像データによって色変換方式を一意的に決定してしまう従来技術では、広い色域空間の画像データが入力された場合、同じ符号化歪を維持して符号化処理を行うと、結果として発生する符号の符号量が増加してしまう。
【００１３】
画像データの発生する符号量という観点からみれば、ｘｖＹＣＣ方式による色域空間の方が、ＢＴ．７０９方式の色域空間よりも、画像データの符号量が多いので、符号化後に発生する符号量も多くなる。
【００１４】
一方、テレビ信号を符号化処理して記録媒体に記録する映像記録装置では、発生する符号量を小さく抑えて長時間記録できるような長時間記録モード（ＬＰモード）と、符号化歪を小さく抑えて高画質記録できるような高画質記録モード（ＸＰモード）がある。
【００１５】
高画質記録モード（ＸＰモード）では、符号化歪を小さく抑えるために、符号化効率を下げているので、その分だけ発生する符号量は大きくなる。つまり、記録の画質は高画質であるが、長時間記録ができないことになる。
【００１６】
一方、長時間記録モード（ＬＰモード）では、符号化効率を上げて発生する符号量を小さく抑えるために、その分だけ符号化歪は大きくなる。つまり、長時間記録が可能ではあるが、記録の画質は、高画質が維持できないことになる。
【００１７】
さらに、映像記録装置では、高画質モードと長時間モードの中間となる標準記録モード（ＳＰモード）が設定されていることが多い。
【００１８】
このような映像記録装置においては、入力される画像データだけで色変換方式を選択してしまう従来技術だけでは、入力される画像データがｘｖＹＣＣ方式に最適である判断されても、ＬＰモードで記録してしまえば、符号化歪が大きくなってしまう。つまり、本来のｘｖＹＣＣ方式による広い色域空間が表現できるはずの画像データが、選択された符号化手段による大きな符号化歪の発生で、高画質の再現ができなくなる可能性が高くなる。
【００１９】
逆に、ＸＰモードを選択して記録しているにもかかわらず、狭い色域空間しか表現できないＢＴ．７０９方式で入力される画像データを扱ってしまうことは、高画質の記録における符号化歪を小さく抑えたことが、色再現性に効果を発揮できないことになる。
【００２０】
本発明は、上記の問題点を鑑みてなされたものであり、ユーザが所望する高画質あるいは高圧縮の設定に対して、最適な符号化モードと色変換方式を対応させて設定することが可能な画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００２１】
上記の目的を達成するため、本発明の実施形態に係る画像符号化装置は、
複数の色変換方式から１つの色変換方式を設定する色変換方式設定手段と、
画像データを前記色変換方式設定手段で設定された前記色変換方式で処理する色変換処理手段と、
複数の符号化モードから１つの符号化モードを設定する符号化モード設定手段と、
前記色変換処理手段で処理された画像データを、前記符号化モード設定手段で設定された前記符号化モードで符号化する圧縮符号化手段と、を備える画像符号化装置において、
前記色変換方式設定手段で設定される前記色変換方式と、前記符号化モード設定手段で設定される前記符号化モードとを、互いに対応させて設定する、ことを特徴とする。
【００２２】
上記の目的を達成するため、本発明の他の実施形態に係る画像符号化装置の制御方法は、
複数の色変換方式から１つの色変換方式を設定する色変換方式設定工程と、
画像データを前記色変換方式設定工程で設定された前記色変換方式で処理する色変換処理工程と、
複数の符号化モードから１つの符号化モードを設定する符号化モード設定工程と、
前記色変換処理工程で処理された画像データを、前記符号化モード設定工程で設定された前記符号化モードで符号化する圧縮符号化工程と、を備える画像符号化装置の制御方法において、
前記色変換方式設定工程で設定される前記色変換方式と、前記符号化モード設定工程で設定される前記符号化モードとを、互いに対応させて設定する、ことを特徴とする。
【発明の効果】
【００２３】
本発明の符号化装置によれば、ユーザが所望する高画質あるいは高圧縮の設定に対して、最適な符号化モードと色変換方式を対応させて設定することが可能となる。
【発明を実施するための最良の形態】
【００２４】
＜実施形態１＞
本発明の実施形態１に係る画像符号化装置が組み込まれた撮像装置に関し、図１を参照して概略のブロック構成図を説明する。１は撮像部で、撮像レンズ、ＣＣＤ等の撮像素子を備える。さらに、撮像素子からの出力信号のゲインを調整するゲイン調整回路、ゲイン調整後の撮像素子の出力信号をデジタル信号に変換するＡ／Ｄ変換回路、変換したデジタル信号を一時記憶するメモリ等により構成される。
【００２５】
上記各部により処理され、メモリに記憶した画像データを、撮像部１は、撮像した画像のデジタルの画像データとして後段の画素補間部２に出力する。画素補間部２は、撮像部１から出力された画像データの白バランスの調整を行いながら、画像データの各画素の画素値を撮像素子の色フィルタ配列に応じて補間し、画像データを出力する。
【００２６】
３は色補正部で、画素補間部２から出力された画像データに対して、色再現特性が所望の特性になるように色補正を行う。４は色変換処理部で、後述する色変換方式設定部８で設定された色変換方式に従って、色補正部３の出力である画像データにマトリクス演算処理を行い、更にガンマ補正処理を行う。
【００２７】
５は圧縮符号化部で、色変換処理部４の出力である画像データに、例えばＭＰＥＧ方式等の圧縮符号化処理を行う。さらに、色変換処理部４での色変換方式識別情報を、圧縮された画像データの付帯情報として画像データに多重化し、所定の形式（ＭＰＥＧ方式等）に従った符号化データを生成する。
【００２８】
６は記録部で、圧縮符号化部５で符号化された符号化データを、記録媒体７に記録する。８は色変換方式設定部で、前述の色補正部３で実行される色変換処理の色変換方式を設定する。色変換方式設定部８での設定方法は、後述する符号化モード設定部９や操作部１０からの出力値に応じて設定する。
【００２９】
９は符号化モード設定部で、前述の圧縮符号化部５の処理により、たとえば、単位時間あたりに発生する平均の符号量の目標値を符号化条件として設定する。符号化モード設定部９での符号化条件の設定方法は、前述の色変換方式設定部８や後述する操作部１０からの出力値に対応させて設定する。１０は、撮像装置に組み込まれた、本発明の実施形態１の係る画像符号化装置による符号化処理に対して、ユーザが各種の設定を指示する操作部である。
【００３０】
以上説明するように、本実施形態では、色変換処理部４で実行した色変換処理に関する色変換方式識別情報を、圧縮符号化部５で圧縮された画像データの付帯情報として画像データに多重化し、所定の形式（ＭＰＥＧ方式等）に従った符号化データを生成する。
【００３１】
この圧縮された画像データに多重化された色変換方式識別情報は、再生時（復号時）の復号処理後の画像データに色変換処理を施す場合に使用される。すなわち、再生時、色変換方式識別情報に応じて色変換処理を行えば、より忠実で正確な色再現を実現することが可能となる。特に、後述する高画質モードの時に扱う拡張された色域空間をもつ色変換処理を行った場合、再生時の拡張された色域空間における色再現性を実現することが可能となる。
【００３２】
次に、本発明の実施形態に係る画像符号化装置が組み込まれた撮像装置の動作に関し、最も特徴となる符号化モードと色変換方式とを対応させた設定の手順について、図２を参照して説明する。
【００３３】
本実施形態１は、ユーザが所望する符号化モードを操作部１０で設定した場合に、色変換方式を対応させて設定する手順について説明する。ユーザが設定できる符号化モードは、画像データを忠実に再現できる高画質モード（ＸＰモード）と、画像データを長時間にわたり記録することができる長時間モード（ＬＰモード）と、その他の標準モード（ＳＰモード）がある。
【００３４】
標準モード（ＳＰモード）は、高画質モード（ＸＰモード）における画像データの再現性ほど画質は維持されないが、長時間モード（ＬＰモード）における画像データの再現性ほど画質を劣化させないモードとなる。また、記録時間に関して言えば、標準モード（ＳＰモード）は、長時間モード（ＬＰモード）の記録時間ほど長くは記録できないが、高画質モード（ＸＰモード）の記録時間ほど短い記録時間にはならないモードとなる。つまり、標準モード（ＳＰモード）は、高画質モード（ＸＰモード）と長時間モード（ＬＰモード）の中間的なモードとなる。
【００３５】
まず、ユーザは、前述した３つの符号化モードの中からひとつを選択して、操作部１０から入力する。符号化モード設定部９は、操作部１０から出力される符号化モードの情報に従って、圧縮符号化部５に対して選択された符号化条件である符号化モードの設定を行う。さらに色変換方式設定部８においては、図２のフローチャートに従い、符号化モードに対応させて色変換方式が設定される。
【００３６】
図２のフローチャートにおいて、ステップＳ２０で色変換方式の設定の処理が開始されると、まずステップＳ２１に進み、色変換方式設定部８は、符号化モード設定部９より符号化条件である符号化モードの情報を取得する。
【００３７】
次にステップＳ２２に進み、取得された符号化モードが、高画質モード（ＸＰモード）であるかどうかを判断する。そして、もし高画質モード（ＸＰモード）ならば、ステップＳ２３に進み、高画質モード（ＸＰモード）に対応させてｘｖＹＣＣ方式の色変換方式を色変換処理部４に設定する。ここで、高画質モード（ＸＰモード）の場合は符号化歪が小さい（符号化歪の発生量が少ない）ので、符号化による画質の劣化を小さく抑えることができる。また、ｘｖＹＣＣ方式を選択することにより、より広い色域空間を再現することができるので、ユーザが所望する画質重視のモードを、より高品位なレベルで実現することができる。
【００３８】
次に、ステップＳ２２の判断で、取得された符号化モードが、高画質モード（ＸＰモード）でないならばステップＳ２４に進み、長時間モード（ＬＰモード）であるかどうかを判断する。そして取得された符号化モードが長時間モード（ＬＰモード）ならば、ステップＳ２５に進み、長時間モード（ＬＰモード）に対応させて色クリップ処理を備えたＢＴ．７０９方式を色変換処理部４に設定する。
【００３９】
ＢＴ．７０９方式の色変換方式は、標準的な色域空間を再現する色変換方式である。さらに、色クリップ処理とは、ＢＴ．７０９方式で再現できない色域空間の色情報を、ＢＴ．７０９方式で再現できる色域空間の色情報に置き換えることである。
【００４０】
色クリップ処理について、図４に示すｘｙ色度図を参照して説明する。図４においては、ＢＴ．７０９方式で再現できる色域空間２３０の外にある色情報３１０を、ＢＴ．７０９方式で再現できる色域空間の境界近傍にある色情報２１０に、色クリップ処理をする様子を示している。具体的には、変換された色域空間での色情報を、所定の最大値及び最小値でクリップすることで実現する。
【００４１】
長時間モード（ＬＰモード）では、符号化効率を上げて圧縮率を高めるので、符号化歪が大きくなる。すなわち、長時間モードの場合、同じ画像を符号化したとすると、符号化歪の発生量が高画質モードや標準モードに比べて多くなる。つまり、細かな画質表現があったとしても、符号化歪によって再現できなくなる。従って、色変換方式によって、比較的に目につきやすい色域空間に色信号を制限したとしても、制限された情報は、符号化歪による劣化で無視できるものとなる。
【００４２】
次にステップＳ２４の判断で、取得された符号化モードが、高画質モード（ＸＰモード）でもなくて、長時間モード（ＬＰモード）でもない場合は、ステップＳ２６に進み、標準モード（ＳＰモード）と対応させてＢＴ．７０９方式を色変換処理部４に設定する。標準モード（ＳＰモード）であるＢＴ．７０９方式の色変換方式は、標準的な色域空間を再現する色変換方式である。この標準モード（ＳＰモード）では、上記のような色クリップ処理は行わない。
【００４３】
標準モード（ＳＰモード）では、長時間モード（ＬＰモード）ほど発生する符号量を抑えなくてすむので、符号化歪の発生量をある程度少なく抑えることができる。従って、ＢＴ．７０９方式の色変換方式で再現できる色域空間以外の色情報も、符号化歪が小さくなったので、ある程度は復元することができることになる。
【００４４】
また、ｘｖＹＣＣ方式による色再現のための色変換処理を施していないので、圧縮符号化部５が扱う色情報はそれほど大きくならなくすむ。さらには、ｘｖＹＣＣ方式の扱う色域空間とＢＴ．７０９方式の扱う色域空間の差にある色域空間は、撮像系のランダムノイズが発生しやすい色域空間でもある。この色域空間の色再現性を確保するために、ｘｖＹＣＣ方式で色情報に重みをつけることは、撮像系のランダムノイズに対しても重みをつけることになる。
【００４５】
高画質モード（ＸＰモード）ほどの大きな発生する符号量を許容されていない標準モード（ＳＰモード）では、このランダムノイズによる符号化効率の悪化が、画質劣化を招く恐れがある。従って標準モード（ＳＰモード）では、ＢＴ．７０９方式が扱わない色情報も符号化処理するが、再現性を確保するための重み付けをするｘｖＹＣＣ方式を採用しないことにより、所定の画質と符号化効率を確保している。
【００４６】
以上のようにして、色変換処理部４に色変換方式を設定してステップＳ２７に進み、色変換方式設定部８での符号化モードに対応させた最適な色変換方式の設定が終了する。
【００４７】
以上が、本発明を実施した実施形態１における符号化モードと対応させた色変換方式の設定の手順の説明となる。
【００４８】
このように、記録するための符号化モードの設定により、符号化処理の前段にある色変換処理の変換方式を適応的に対応させて設定することにより、より効果的な画質と符号化効率の効能をユーザに提供することができる。
【００４９】
本実施形態１の説明では、複数の色変換方式として、ＢＴ．７０９方式とｘｖＹＣＣ方式を例に説明したが、それ以外の複数の色変換方式に対しても適応することが可能である。
【００５０】
さらに、本実施形態１では、広い色域空間から狭い色域空間への制限方法として、単純に最大値及び最小値で色クリップ処理する例をあげたが、別な制限方法として、最大値及び最小値付近に、非線形に色情報を割当てることも可能である。また、単純に特殊な領域の情報圧縮に、テーブルを用いて効果的に情報を圧縮してもよい。これらの実施形態も、本発明の他の実施形態となる。
【００５１】
＜実施形態２＞
次に、本発明の実施形態２に係る画像符号化装置が組み込まれた撮像装置に関し、図３を参照して説明する。先に説明した実施形態１においては、符号化モードの選択に対応させて色変換方式を設定する場合を述べた。本実施形態２では、反対に、色変換方式の選択に対応させて符号化モードを設定する場合を述べる。尚、実施形態２に係る画像符号化装置が組み込まれた撮像装置のブロック図は、実施形態１と同じ図１であるので、説明を省く。
【００５２】
本実施形態２における、ユーザが所望する色変換方式を操作部１０で設定した場合に、選択された色変換方式に対応させて、符号化モードを画像符号化装置に設定する設定の手順を説明する。ここで、ユーザが選択できる色変換処理のモードは、画像データを広い色域空間で再現できる高精彩モード（ｘｖＹＣＣ方式モード）と、画像データを狭い色域空間に限定して再現できる限定モード（色クリップ処理を備えたＢＴ．７０９方式モード）がある。さらに、その他の通常（標準）モード（ＢＴ．７０９方式モード）も設定することが可能である。
【００５３】
限定モード（色クリップ処理付ＢＴ．７０９方式モード）は、実施形態１で説明した色クリップ処理により、画像データをＢＴ．７０９方式で扱う色域空間に限定する処理も含まれている。この場合、画像データを狭い色域空間に限定しているので、符号化する画像データの符号量は最も少ない符号化モードとなっている。
【００５４】
通常モード（ＢＴ．７０９方式モード）は、高精彩モード（ｘｖＹＣＣ方式モード）における画像データの広い色再現性は確保されない。しかし、限定モード（色クリップ付ＢＴ．７０９方式モード）における画像データを狭い色再現性に限定させない符号化モードとなる。つまり、通常モード（ＢＴ．７０９方式モード）は、高精彩モード（ｘｖＹＣＣ方式モード）と限定モード（色クリップ付ＢＴ．７０９方式モード）の中間的な符号化モードとなる。
【００５５】
まず、ユーザは、前述した色変換方式の中からひとつを選択して、操作部１０に入力する。色変換方式設定部８は、操作部１０から出力される色変換方式の情報に従って、色変換処理部４に色変換方式の設定を行う。また、符号化モード設定部９においては、図３のフローチャートに従って、設定された色変換方式に対応させて符号化条件である符号化モードが設定される。
【００５６】
図３において、ステップＳ３０で最適な符号化モードの設定が開始されると、まずステップＳ３１に進み、符号化モード設定部９は、色変換方式設定部８より選択された色変換方式の情報を取得する。
【００５７】
次にステップＳ３２に進み、取得された色変換方式が高精彩モード（ｘｖＹＣＣモード）であるかどうかを判断する。そしてもし、高精彩モード（ｘｖＹＣＣモード）ならばステップＳ３３に進み、高精彩モード（ｘｖＹＣＣモード）に対応させて高画質モード（ＸＰモード）の符号化モードを圧縮符号化部５に設定する。
【００５８】
ここで、ｘｖＹＣＣ色変換方式の場合、扱う色域空間が広く、画像データの符号量が多いので、符号化時に大きく発生する符号量を許容する高画質モード（ＸＰモード）が最適な符号化モードとして選択される。従って、この場合には、高精彩な色情報を符号化歪で劣化させないで再現することが可能となる。
【００５９】
次に、取得された色変換方式が高精彩モード（ｘｖＹＣＣモード）でないならばステップＳ３４に進み、限定モード（色クリップ付ＢＴ．７０９方式モード）であるかどうかを判断する。
【００６０】
取得された色変換方式が限定モード（色クリップ付ＢＴ．７０９方式モード）ならばステップＳ３５に進み、限定モードに対応させて長時間モード（ＬＰモード）の符号化モードを圧縮符号化部５に設定する。
【００６１】
ここで、取得された色変換方式が限定モード（色クリップ付ＢＴ．７０９方式モード）の場合、符号化処理前の段階で、長時間モード（ＬＰモード）での符号化処理で発生する歪の大きさに見合う色情報の冗長性を圧縮している。従って、色変換された画像データは長時間モード（ＬＰモード）に適した画像となっているので、さらなる長時間記録が実現できる。
【００６２】
さらに、取得された色変換方式が、高精彩モード（ｘｖＹＣＣモード）でもなく、限定モード（色クリップ付ＢＴ．７０９方式モード）でもない場合は、ステップＳ３６に進み、標準モード（ＳＰモード）の符号化モードを圧縮符号化部５に設定する。
【００６３】
この場合は、限定モード（色クリップ付ＢＴ．７０９方式モード）ほど色情報を圧縮していないので、ある程度の符号量は発生するが、高精彩モード（ｘｖＹＣＣモード）で再現可能な色以外の色情報をある程度残すことができる。また、高精彩モード（ｘｖＹＣＣモード）の色情報があるわけではないので、発生する符号量をある程度抑えることができる。
【００６４】
以上のようにして選択した色変換方式に対応させて、符号化モードに対応した符号化条件を圧縮符号化部５に設定したら、ステップＳ３７に進み、符号化モード設定部９での符号化条件である最適な符号化モードの設定が終了する。
【００６５】
以上が、本発明の実施形態２における符号化条件である符号化モードと色変換方式の設定手順の説明となる。
【００６６】
このように、入力された画像データの色変換方式の設定により、色変換処理の後段にある符号化処理の符号化モードを対応させて設定することにより、より効果的な画質と符号化効率の効能の互い色再現性をユーザに提供することができる。
【００６７】
本実施形態２の説明では、複数の色変換方式として、ＢＴ．７０９方式とｘｖＹＣＣ方式を例に説明したが、それ以外の複数の色変換方式に対しても、適応することが可能で、本発明の他の実施形態となる。
【００６８】
さらに、本実施形態では、広い色域空間から広さの異なる狭い色域空間への制限方法として、単純に最大値、最小値で色クリップ処理をする例をあげたが、別な方法として、最大値、最小値付近に非線形に色情報を割当ることも可能である。また、単純に特殊な領域の情報圧縮に、テーブルを用いて効果的に情報を圧縮してもよい。これらの実施形態も、本発明の他の実施形態となる。
【００６９】
また、本実施形態では、色変換方式をユーザの選択により実現していたが、従来例のように入力される画像データの情報から自動的に判別して、色変換方式を設定し、その結果に対応させて符号化モードを決定しても、本発明の他の実施形態となる。
【００７０】
さらに上述したように、符号化モードの設定に応じて色変換方式を選択する場合と、色変換方式の設定に応じて符号化モードを設定する場合の二つのやり方を、別々に本発明の実施形態としてあげた。しかし、その両方を採用する実施形態もまた、本発明の実施形態となる。
【００７１】
具体的には、実施形態１では、ユーザが高画質モード／長時間モード／標準モードを選択し、システムが高精彩モード／限定モード／通常モードを選択している。実施形態２では、ユーザが高精彩モード／限定モード／通常モードを選択し、システムが高画質モード／長時間モード／標準モードを選択している。それ以外に、第３の実施形態として、ユーザが高精彩モード／長時間モード／通常モードを選択し、システムが高画質モード／限定モード／標準モードを選択する。第４の実施形態として、ユーザが高画質モード／限定モード／標準モードを選択し、システムが高精彩モード／長時間モード／通常モードを選択する。以上の実施形態の組み合わせもまた、本発明の実施形態となる。
【００７２】
以上説明した本発明においても、高画質モードではより高画質化が図られ、高圧縮モードではより高能率の符号化圧縮をユーザに提供することが可能となる。また、高圧縮モードでも広い色域空間データを、広さの異なる狭い色域空間に再配置する処理もするので、色再現性をある程度確保しているので、不自然な画像歪をユーザに与えることなく、さらなる高能率符号化を実現することが可能となる。
【００７３】
本発明は、複数の色変換方式と符号化モードを選択可能な撮像装置に関する技術として説明した。しかしそれ以外に、撮像部のないビデオレコーダやパーソナルコンピュータのビデオキャプチャシステムに関しても、入力画像の色域変換処理と符号化処理を対応付ければ、同様に適応可能な技術となる。
【００７４】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給することによっても実施可能である。すなわち本発明の目的は、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００７５】
また、コンピュータが読出したプログラムコードを実行することで、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行うこともありうる。それにより、本発明は、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００７６】
さらに本発明においては、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれて実施することも可能である。したがって、書込まれプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施形態１、２に係る画像処理装置が組み込まれた撮像装置の概略的なブロック図である。
【図２】本発明の実施形態１に係る画像処理装置の動作を説明するフローチャートである。
【図３】本発明の実施形態２に係る画像処理装置の動作を説明するフローチャートである。
【図４】本発明の実施形態１、２に係る画像処理装置の動作を説明するｘｙ色度図である。
【符号の説明】
【００７８】
１ 撮像部
２ 画素補間部
３ 色補正部
４ 色変換処理部
５ 圧縮符号化部
６ 記録部
７ 記録媒体
８ 色変換方式設定部
９ 符号化モード設定部
１０ 操作部
【技術分野】
【０００１】
本発明は、入力信号である画像データを圧縮符号化する画像符号化装置、画像符号化装置の制御方法、プログラム、及び記憶媒体に関するものである。
【背景技術】
【０００２】
近年の映像情報に対する高画質化のニーズの高まりと、モニタの表示技術の革新により、より表現力の高い技術が確立されつつある。
【０００３】
解像度に関しては、従来の７２０×４８０画素のＳＤ（標準画質）方式から、１９２０×１０８０画素のＨＤ（高画質）方式へ移行し、色表現の能力に関しても、広帯域な色信号が表現可能になりつつある状況になっている。
【０００４】
色表現の能力の広帯域化に関し、具体的に図４を参照して説明する。図４は、表現可能な色域空間をｘｙ色度図で示したものである。
【０００５】
図４において、２３０で示す三角形で囲まれた色域空間は、ＢＴ．７０９で規格化された色変換方式で表現可能な色域空間であり、従来の高画質動画のテレビ信号（ＨＤＴＶ）における表現が可能な色域空間となっている。
【０００６】
又、３００で示す三角形で囲まれた色域空間は、ｘｖＹＣＣ方式という新しい色変換方式で表現可能な色域空間である。図に示すように、ｘｖＹＣＣ方式による色域空間３００は、ＢＴ．７０９方式の色域空間２３０より広い拡張色域空間を有する。また、ｘｖＹＣＣ方式による色変換処理は、ＢＴ．７０９方式の色変換処理を包含するように規格化されており、ＢＴ．７０９方式に対して上位互換の規格となっている。すでにｘｖＹＣＣ方式による色域空間を表現が可能なモニタは存在し、今後、この新しい規格に準拠した忠実な色再現を実現するその他の装置が、市場に広がることは期待されている。
【０００７】
さらに、馬蹄形で囲まれた色域空間４００は、人間の目の可視領域の色域空間を示している。つまり、ｘｖＹＣＣ方式の規格では、従来の色表現を大幅に拡張し、人間の目の可視領域に近い色表現が可能となっている。
【０００８】
以上のような複数の色変換方式に着目して、最適な色変換方式を選択して符号化処理を行うという技術が、特許文献１と特許文献２に開示されている。
【０００９】
特許文献１に開示された発明は、入力信号の各画素データから色域空間領域を自動認識し、全体画像として最適な色変換方式を選択するものである。つまり、選択された色変換方式にしたがって符号化処理前の色変換処理を行い、処理した色変換方式情報も重畳して、最終的な符号化処理を行うものである。
【００１０】
一方、特許文献２に開示された発明は、入力信号の各画素データから色域空間領域を自動認識し、認識した色域空間に基づく色変換方式情報を重畳して符号化処理する。広い色域空間領域をもつ符号化データは、多ビットデータとして復号処理する必要がある。しかしながら、符号化データに重畳された色変換方式情報により、復号する前に必要な処理ビット幅が判明するので、冗長なビット幅の復号処理を回避することができるというものである。
【００１１】
以上の特許文献１や特許文献２に開示された発明では、入力信号である画像データに最適な色変換方式を選択するという観点で同じ技術が開示されており、その選択された情報を使用して、符号化処理や復号処理の効率化を図っているものである。
【特許文献１】特開２００４−２００９０２号公報
【特許文献２】特開２００４−２３６１５９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、入力される画像データによって色変換方式を一意的に決定してしまう従来技術では、広い色域空間の画像データが入力された場合、同じ符号化歪を維持して符号化処理を行うと、結果として発生する符号の符号量が増加してしまう。
【００１３】
画像データの発生する符号量という観点からみれば、ｘｖＹＣＣ方式による色域空間の方が、ＢＴ．７０９方式の色域空間よりも、画像データの符号量が多いので、符号化後に発生する符号量も多くなる。
【００１４】
一方、テレビ信号を符号化処理して記録媒体に記録する映像記録装置では、発生する符号量を小さく抑えて長時間記録できるような長時間記録モード（ＬＰモード）と、符号化歪を小さく抑えて高画質記録できるような高画質記録モード（ＸＰモード）がある。
【００１５】
高画質記録モード（ＸＰモード）では、符号化歪を小さく抑えるために、符号化効率を下げているので、その分だけ発生する符号量は大きくなる。つまり、記録の画質は高画質であるが、長時間記録ができないことになる。
【００１６】
一方、長時間記録モード（ＬＰモード）では、符号化効率を上げて発生する符号量を小さく抑えるために、その分だけ符号化歪は大きくなる。つまり、長時間記録が可能ではあるが、記録の画質は、高画質が維持できないことになる。
【００１７】
さらに、映像記録装置では、高画質モードと長時間モードの中間となる標準記録モード（ＳＰモード）が設定されていることが多い。
【００１８】
このような映像記録装置においては、入力される画像データだけで色変換方式を選択してしまう従来技術だけでは、入力される画像データがｘｖＹＣＣ方式に最適である判断されても、ＬＰモードで記録してしまえば、符号化歪が大きくなってしまう。つまり、本来のｘｖＹＣＣ方式による広い色域空間が表現できるはずの画像データが、選択された符号化手段による大きな符号化歪の発生で、高画質の再現ができなくなる可能性が高くなる。
【００１９】
逆に、ＸＰモードを選択して記録しているにもかかわらず、狭い色域空間しか表現できないＢＴ．７０９方式で入力される画像データを扱ってしまうことは、高画質の記録における符号化歪を小さく抑えたことが、色再現性に効果を発揮できないことになる。
【００２０】
本発明は、上記の問題点を鑑みてなされたものであり、ユーザが所望する高画質あるいは高圧縮の設定に対して、最適な符号化モードと色変換方式を対応させて設定することが可能な画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００２１】
上記の目的を達成するため、本発明の実施形態に係る画像符号化装置は、
複数の色変換方式から１つの色変換方式を設定する色変換方式設定手段と、
画像データを前記色変換方式設定手段で設定された前記色変換方式で処理する色変換処理手段と、
複数の符号化モードから１つの符号化モードを設定する符号化モード設定手段と、
前記色変換処理手段で処理された画像データを、前記符号化モード設定手段で設定された前記符号化モードで符号化する圧縮符号化手段と、を備える画像符号化装置において、
前記色変換方式設定手段で設定される前記色変換方式と、前記符号化モード設定手段で設定される前記符号化モードとを、互いに対応させて設定する、ことを特徴とする。
【００２２】
上記の目的を達成するため、本発明の他の実施形態に係る画像符号化装置の制御方法は、
複数の色変換方式から１つの色変換方式を設定する色変換方式設定工程と、
画像データを前記色変換方式設定工程で設定された前記色変換方式で処理する色変換処理工程と、
複数の符号化モードから１つの符号化モードを設定する符号化モード設定工程と、
前記色変換処理工程で処理された画像データを、前記符号化モード設定工程で設定された前記符号化モードで符号化する圧縮符号化工程と、を備える画像符号化装置の制御方法において、
前記色変換方式設定工程で設定される前記色変換方式と、前記符号化モード設定工程で設定される前記符号化モードとを、互いに対応させて設定する、ことを特徴とする。
【発明の効果】
【００２３】
本発明の符号化装置によれば、ユーザが所望する高画質あるいは高圧縮の設定に対して、最適な符号化モードと色変換方式を対応させて設定することが可能となる。
【発明を実施するための最良の形態】
【００２４】
＜実施形態１＞
本発明の実施形態１に係る画像符号化装置が組み込まれた撮像装置に関し、図１を参照して概略のブロック構成図を説明する。１は撮像部で、撮像レンズ、ＣＣＤ等の撮像素子を備える。さらに、撮像素子からの出力信号のゲインを調整するゲイン調整回路、ゲイン調整後の撮像素子の出力信号をデジタル信号に変換するＡ／Ｄ変換回路、変換したデジタル信号を一時記憶するメモリ等により構成される。
【００２５】
上記各部により処理され、メモリに記憶した画像データを、撮像部１は、撮像した画像のデジタルの画像データとして後段の画素補間部２に出力する。画素補間部２は、撮像部１から出力された画像データの白バランスの調整を行いながら、画像データの各画素の画素値を撮像素子の色フィルタ配列に応じて補間し、画像データを出力する。
【００２６】
３は色補正部で、画素補間部２から出力された画像データに対して、色再現特性が所望の特性になるように色補正を行う。４は色変換処理部で、後述する色変換方式設定部８で設定された色変換方式に従って、色補正部３の出力である画像データにマトリクス演算処理を行い、更にガンマ補正処理を行う。
【００２７】
５は圧縮符号化部で、色変換処理部４の出力である画像データに、例えばＭＰＥＧ方式等の圧縮符号化処理を行う。さらに、色変換処理部４での色変換方式識別情報を、圧縮された画像データの付帯情報として画像データに多重化し、所定の形式（ＭＰＥＧ方式等）に従った符号化データを生成する。
【００２８】
６は記録部で、圧縮符号化部５で符号化された符号化データを、記録媒体７に記録する。８は色変換方式設定部で、前述の色補正部３で実行される色変換処理の色変換方式を設定する。色変換方式設定部８での設定方法は、後述する符号化モード設定部９や操作部１０からの出力値に応じて設定する。
【００２９】
９は符号化モード設定部で、前述の圧縮符号化部５の処理により、たとえば、単位時間あたりに発生する平均の符号量の目標値を符号化条件として設定する。符号化モード設定部９での符号化条件の設定方法は、前述の色変換方式設定部８や後述する操作部１０からの出力値に対応させて設定する。１０は、撮像装置に組み込まれた、本発明の実施形態１の係る画像符号化装置による符号化処理に対して、ユーザが各種の設定を指示する操作部である。
【００３０】
以上説明するように、本実施形態では、色変換処理部４で実行した色変換処理に関する色変換方式識別情報を、圧縮符号化部５で圧縮された画像データの付帯情報として画像データに多重化し、所定の形式（ＭＰＥＧ方式等）に従った符号化データを生成する。
【００３１】
この圧縮された画像データに多重化された色変換方式識別情報は、再生時（復号時）の復号処理後の画像データに色変換処理を施す場合に使用される。すなわち、再生時、色変換方式識別情報に応じて色変換処理を行えば、より忠実で正確な色再現を実現することが可能となる。特に、後述する高画質モードの時に扱う拡張された色域空間をもつ色変換処理を行った場合、再生時の拡張された色域空間における色再現性を実現することが可能となる。
【００３２】
次に、本発明の実施形態に係る画像符号化装置が組み込まれた撮像装置の動作に関し、最も特徴となる符号化モードと色変換方式とを対応させた設定の手順について、図２を参照して説明する。
【００３３】
本実施形態１は、ユーザが所望する符号化モードを操作部１０で設定した場合に、色変換方式を対応させて設定する手順について説明する。ユーザが設定できる符号化モードは、画像データを忠実に再現できる高画質モード（ＸＰモード）と、画像データを長時間にわたり記録することができる長時間モード（ＬＰモード）と、その他の標準モード（ＳＰモード）がある。
【００３４】
標準モード（ＳＰモード）は、高画質モード（ＸＰモード）における画像データの再現性ほど画質は維持されないが、長時間モード（ＬＰモード）における画像データの再現性ほど画質を劣化させないモードとなる。また、記録時間に関して言えば、標準モード（ＳＰモード）は、長時間モード（ＬＰモード）の記録時間ほど長くは記録できないが、高画質モード（ＸＰモード）の記録時間ほど短い記録時間にはならないモードとなる。つまり、標準モード（ＳＰモード）は、高画質モード（ＸＰモード）と長時間モード（ＬＰモード）の中間的なモードとなる。
【００３５】
まず、ユーザは、前述した３つの符号化モードの中からひとつを選択して、操作部１０から入力する。符号化モード設定部９は、操作部１０から出力される符号化モードの情報に従って、圧縮符号化部５に対して選択された符号化条件である符号化モードの設定を行う。さらに色変換方式設定部８においては、図２のフローチャートに従い、符号化モードに対応させて色変換方式が設定される。
【００３６】
図２のフローチャートにおいて、ステップＳ２０で色変換方式の設定の処理が開始されると、まずステップＳ２１に進み、色変換方式設定部８は、符号化モード設定部９より符号化条件である符号化モードの情報を取得する。
【００３７】
次にステップＳ２２に進み、取得された符号化モードが、高画質モード（ＸＰモード）であるかどうかを判断する。そして、もし高画質モード（ＸＰモード）ならば、ステップＳ２３に進み、高画質モード（ＸＰモード）に対応させてｘｖＹＣＣ方式の色変換方式を色変換処理部４に設定する。ここで、高画質モード（ＸＰモード）の場合は符号化歪が小さい（符号化歪の発生量が少ない）ので、符号化による画質の劣化を小さく抑えることができる。また、ｘｖＹＣＣ方式を選択することにより、より広い色域空間を再現することができるので、ユーザが所望する画質重視のモードを、より高品位なレベルで実現することができる。
【００３８】
次に、ステップＳ２２の判断で、取得された符号化モードが、高画質モード（ＸＰモード）でないならばステップＳ２４に進み、長時間モード（ＬＰモード）であるかどうかを判断する。そして取得された符号化モードが長時間モード（ＬＰモード）ならば、ステップＳ２５に進み、長時間モード（ＬＰモード）に対応させて色クリップ処理を備えたＢＴ．７０９方式を色変換処理部４に設定する。
【００３９】
ＢＴ．７０９方式の色変換方式は、標準的な色域空間を再現する色変換方式である。さらに、色クリップ処理とは、ＢＴ．７０９方式で再現できない色域空間の色情報を、ＢＴ．７０９方式で再現できる色域空間の色情報に置き換えることである。
【００４０】
色クリップ処理について、図４に示すｘｙ色度図を参照して説明する。図４においては、ＢＴ．７０９方式で再現できる色域空間２３０の外にある色情報３１０を、ＢＴ．７０９方式で再現できる色域空間の境界近傍にある色情報２１０に、色クリップ処理をする様子を示している。具体的には、変換された色域空間での色情報を、所定の最大値及び最小値でクリップすることで実現する。
【００４１】
長時間モード（ＬＰモード）では、符号化効率を上げて圧縮率を高めるので、符号化歪が大きくなる。すなわち、長時間モードの場合、同じ画像を符号化したとすると、符号化歪の発生量が高画質モードや標準モードに比べて多くなる。つまり、細かな画質表現があったとしても、符号化歪によって再現できなくなる。従って、色変換方式によって、比較的に目につきやすい色域空間に色信号を制限したとしても、制限された情報は、符号化歪による劣化で無視できるものとなる。
【００４２】
次にステップＳ２４の判断で、取得された符号化モードが、高画質モード（ＸＰモード）でもなくて、長時間モード（ＬＰモード）でもない場合は、ステップＳ２６に進み、標準モード（ＳＰモード）と対応させてＢＴ．７０９方式を色変換処理部４に設定する。標準モード（ＳＰモード）であるＢＴ．７０９方式の色変換方式は、標準的な色域空間を再現する色変換方式である。この標準モード（ＳＰモード）では、上記のような色クリップ処理は行わない。
【００４３】
標準モード（ＳＰモード）では、長時間モード（ＬＰモード）ほど発生する符号量を抑えなくてすむので、符号化歪の発生量をある程度少なく抑えることができる。従って、ＢＴ．７０９方式の色変換方式で再現できる色域空間以外の色情報も、符号化歪が小さくなったので、ある程度は復元することができることになる。
【００４４】
また、ｘｖＹＣＣ方式による色再現のための色変換処理を施していないので、圧縮符号化部５が扱う色情報はそれほど大きくならなくすむ。さらには、ｘｖＹＣＣ方式の扱う色域空間とＢＴ．７０９方式の扱う色域空間の差にある色域空間は、撮像系のランダムノイズが発生しやすい色域空間でもある。この色域空間の色再現性を確保するために、ｘｖＹＣＣ方式で色情報に重みをつけることは、撮像系のランダムノイズに対しても重みをつけることになる。
【００４５】
高画質モード（ＸＰモード）ほどの大きな発生する符号量を許容されていない標準モード（ＳＰモード）では、このランダムノイズによる符号化効率の悪化が、画質劣化を招く恐れがある。従って標準モード（ＳＰモード）では、ＢＴ．７０９方式が扱わない色情報も符号化処理するが、再現性を確保するための重み付けをするｘｖＹＣＣ方式を採用しないことにより、所定の画質と符号化効率を確保している。
【００４６】
以上のようにして、色変換処理部４に色変換方式を設定してステップＳ２７に進み、色変換方式設定部８での符号化モードに対応させた最適な色変換方式の設定が終了する。
【００４７】
以上が、本発明を実施した実施形態１における符号化モードと対応させた色変換方式の設定の手順の説明となる。
【００４８】
このように、記録するための符号化モードの設定により、符号化処理の前段にある色変換処理の変換方式を適応的に対応させて設定することにより、より効果的な画質と符号化効率の効能をユーザに提供することができる。
【００４９】
本実施形態１の説明では、複数の色変換方式として、ＢＴ．７０９方式とｘｖＹＣＣ方式を例に説明したが、それ以外の複数の色変換方式に対しても適応することが可能である。
【００５０】
さらに、本実施形態１では、広い色域空間から狭い色域空間への制限方法として、単純に最大値及び最小値で色クリップ処理する例をあげたが、別な制限方法として、最大値及び最小値付近に、非線形に色情報を割当てることも可能である。また、単純に特殊な領域の情報圧縮に、テーブルを用いて効果的に情報を圧縮してもよい。これらの実施形態も、本発明の他の実施形態となる。
【００５１】
＜実施形態２＞
次に、本発明の実施形態２に係る画像符号化装置が組み込まれた撮像装置に関し、図３を参照して説明する。先に説明した実施形態１においては、符号化モードの選択に対応させて色変換方式を設定する場合を述べた。本実施形態２では、反対に、色変換方式の選択に対応させて符号化モードを設定する場合を述べる。尚、実施形態２に係る画像符号化装置が組み込まれた撮像装置のブロック図は、実施形態１と同じ図１であるので、説明を省く。
【００５２】
本実施形態２における、ユーザが所望する色変換方式を操作部１０で設定した場合に、選択された色変換方式に対応させて、符号化モードを画像符号化装置に設定する設定の手順を説明する。ここで、ユーザが選択できる色変換処理のモードは、画像データを広い色域空間で再現できる高精彩モード（ｘｖＹＣＣ方式モード）と、画像データを狭い色域空間に限定して再現できる限定モード（色クリップ処理を備えたＢＴ．７０９方式モード）がある。さらに、その他の通常（標準）モード（ＢＴ．７０９方式モード）も設定することが可能である。
【００５３】
限定モード（色クリップ処理付ＢＴ．７０９方式モード）は、実施形態１で説明した色クリップ処理により、画像データをＢＴ．７０９方式で扱う色域空間に限定する処理も含まれている。この場合、画像データを狭い色域空間に限定しているので、符号化する画像データの符号量は最も少ない符号化モードとなっている。
【００５４】
通常モード（ＢＴ．７０９方式モード）は、高精彩モード（ｘｖＹＣＣ方式モード）における画像データの広い色再現性は確保されない。しかし、限定モード（色クリップ付ＢＴ．７０９方式モード）における画像データを狭い色再現性に限定させない符号化モードとなる。つまり、通常モード（ＢＴ．７０９方式モード）は、高精彩モード（ｘｖＹＣＣ方式モード）と限定モード（色クリップ付ＢＴ．７０９方式モード）の中間的な符号化モードとなる。
【００５５】
まず、ユーザは、前述した色変換方式の中からひとつを選択して、操作部１０に入力する。色変換方式設定部８は、操作部１０から出力される色変換方式の情報に従って、色変換処理部４に色変換方式の設定を行う。また、符号化モード設定部９においては、図３のフローチャートに従って、設定された色変換方式に対応させて符号化条件である符号化モードが設定される。
【００５６】
図３において、ステップＳ３０で最適な符号化モードの設定が開始されると、まずステップＳ３１に進み、符号化モード設定部９は、色変換方式設定部８より選択された色変換方式の情報を取得する。
【００５７】
次にステップＳ３２に進み、取得された色変換方式が高精彩モード（ｘｖＹＣＣモード）であるかどうかを判断する。そしてもし、高精彩モード（ｘｖＹＣＣモード）ならばステップＳ３３に進み、高精彩モード（ｘｖＹＣＣモード）に対応させて高画質モード（ＸＰモード）の符号化モードを圧縮符号化部５に設定する。
【００５８】
ここで、ｘｖＹＣＣ色変換方式の場合、扱う色域空間が広く、画像データの符号量が多いので、符号化時に大きく発生する符号量を許容する高画質モード（ＸＰモード）が最適な符号化モードとして選択される。従って、この場合には、高精彩な色情報を符号化歪で劣化させないで再現することが可能となる。
【００５９】
次に、取得された色変換方式が高精彩モード（ｘｖＹＣＣモード）でないならばステップＳ３４に進み、限定モード（色クリップ付ＢＴ．７０９方式モード）であるかどうかを判断する。
【００６０】
取得された色変換方式が限定モード（色クリップ付ＢＴ．７０９方式モード）ならばステップＳ３５に進み、限定モードに対応させて長時間モード（ＬＰモード）の符号化モードを圧縮符号化部５に設定する。
【００６１】
ここで、取得された色変換方式が限定モード（色クリップ付ＢＴ．７０９方式モード）の場合、符号化処理前の段階で、長時間モード（ＬＰモード）での符号化処理で発生する歪の大きさに見合う色情報の冗長性を圧縮している。従って、色変換された画像データは長時間モード（ＬＰモード）に適した画像となっているので、さらなる長時間記録が実現できる。
【００６２】
さらに、取得された色変換方式が、高精彩モード（ｘｖＹＣＣモード）でもなく、限定モード（色クリップ付ＢＴ．７０９方式モード）でもない場合は、ステップＳ３６に進み、標準モード（ＳＰモード）の符号化モードを圧縮符号化部５に設定する。
【００６３】
この場合は、限定モード（色クリップ付ＢＴ．７０９方式モード）ほど色情報を圧縮していないので、ある程度の符号量は発生するが、高精彩モード（ｘｖＹＣＣモード）で再現可能な色以外の色情報をある程度残すことができる。また、高精彩モード（ｘｖＹＣＣモード）の色情報があるわけではないので、発生する符号量をある程度抑えることができる。
【００６４】
以上のようにして選択した色変換方式に対応させて、符号化モードに対応した符号化条件を圧縮符号化部５に設定したら、ステップＳ３７に進み、符号化モード設定部９での符号化条件である最適な符号化モードの設定が終了する。
【００６５】
以上が、本発明の実施形態２における符号化条件である符号化モードと色変換方式の設定手順の説明となる。
【００６６】
このように、入力された画像データの色変換方式の設定により、色変換処理の後段にある符号化処理の符号化モードを対応させて設定することにより、より効果的な画質と符号化効率の効能の互い色再現性をユーザに提供することができる。
【００６７】
本実施形態２の説明では、複数の色変換方式として、ＢＴ．７０９方式とｘｖＹＣＣ方式を例に説明したが、それ以外の複数の色変換方式に対しても、適応することが可能で、本発明の他の実施形態となる。
【００６８】
さらに、本実施形態では、広い色域空間から広さの異なる狭い色域空間への制限方法として、単純に最大値、最小値で色クリップ処理をする例をあげたが、別な方法として、最大値、最小値付近に非線形に色情報を割当ることも可能である。また、単純に特殊な領域の情報圧縮に、テーブルを用いて効果的に情報を圧縮してもよい。これらの実施形態も、本発明の他の実施形態となる。
【００６９】
また、本実施形態では、色変換方式をユーザの選択により実現していたが、従来例のように入力される画像データの情報から自動的に判別して、色変換方式を設定し、その結果に対応させて符号化モードを決定しても、本発明の他の実施形態となる。
【００７０】
さらに上述したように、符号化モードの設定に応じて色変換方式を選択する場合と、色変換方式の設定に応じて符号化モードを設定する場合の二つのやり方を、別々に本発明の実施形態としてあげた。しかし、その両方を採用する実施形態もまた、本発明の実施形態となる。
【００７１】
具体的には、実施形態１では、ユーザが高画質モード／長時間モード／標準モードを選択し、システムが高精彩モード／限定モード／通常モードを選択している。実施形態２では、ユーザが高精彩モード／限定モード／通常モードを選択し、システムが高画質モード／長時間モード／標準モードを選択している。それ以外に、第３の実施形態として、ユーザが高精彩モード／長時間モード／通常モードを選択し、システムが高画質モード／限定モード／標準モードを選択する。第４の実施形態として、ユーザが高画質モード／限定モード／標準モードを選択し、システムが高精彩モード／長時間モード／通常モードを選択する。以上の実施形態の組み合わせもまた、本発明の実施形態となる。
【００７２】
以上説明した本発明においても、高画質モードではより高画質化が図られ、高圧縮モードではより高能率の符号化圧縮をユーザに提供することが可能となる。また、高圧縮モードでも広い色域空間データを、広さの異なる狭い色域空間に再配置する処理もするので、色再現性をある程度確保しているので、不自然な画像歪をユーザに与えることなく、さらなる高能率符号化を実現することが可能となる。
【００７３】
本発明は、複数の色変換方式と符号化モードを選択可能な撮像装置に関する技術として説明した。しかしそれ以外に、撮像部のないビデオレコーダやパーソナルコンピュータのビデオキャプチャシステムに関しても、入力画像の色域変換処理と符号化処理を対応付ければ、同様に適応可能な技術となる。
【００７４】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給することによっても実施可能である。すなわち本発明の目的は、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００７５】
また、コンピュータが読出したプログラムコードを実行することで、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行うこともありうる。それにより、本発明は、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００７６】
さらに本発明においては、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれて実施することも可能である。したがって、書込まれプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施形態１、２に係る画像処理装置が組み込まれた撮像装置の概略的なブロック図である。
【図２】本発明の実施形態１に係る画像処理装置の動作を説明するフローチャートである。
【図３】本発明の実施形態２に係る画像処理装置の動作を説明するフローチャートである。
【図４】本発明の実施形態１、２に係る画像処理装置の動作を説明するｘｙ色度図である。
【符号の説明】
【００７８】
１ 撮像部
２ 画素補間部
３ 色補正部
４ 色変換処理部
５ 圧縮符号化部
６ 記録部
７ 記録媒体
８ 色変換方式設定部
９ 符号化モード設定部
１０ 操作部
【特許請求の範囲】
【請求項１】
複数の色変換方式から１つの色変換方式を設定する色変換方式設定手段と、
画像データを前記色変換方式設定手段で設定された前記色変換方式で処理する色変換処理手段と、
複数の符号化モードから１つの符号化モードを設定する符号化モード設定手段と、
前記色変換処理手段で処理された画像データを、前記符号化モード設定手段で設定された前記符号化モードで符号化する圧縮符号化手段と、を備える画像符号化装置において、
前記色変換方式設定手段で設定される前記色変換方式と、前記符号化モード設定手段で設定される前記符号化モードとを、互いに対応させて設定する、ことを特徴とする画像符号化装置。
【請求項２】
前記複数の符号化モードは、それぞれ前記圧縮符号化手段により生成される画像データにおける符号化歪の発生量が異なる、ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記複数の符号化モードは、それぞれ前記圧縮符号化手段により生成される画像データの単位時間あたりの平均の符号量が異なる、ことを特徴とする請求項１または２に記載の画像符号化装置。
【請求項４】
前記複数の色変換方式は、それぞれ色情報を再現する色域空間の広さが異なる、ことを特徴とする請求項１に記載の画像符号化装置。
【請求項５】
前記複数の色変換方式のうち広い色域空間を有する色変換方式が、前記符号化モード設定手段で設定される、画像データの符号化歪を小さくする符号化モードに対応することを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記複数の色変換方式は、ＢＴ．７０９方式と、ｘｖＹＣＣ方式を含む、ことを特徴とする請求項４または５に記載の画像符号化装置。
【請求項７】
前記符号化モード設定手段は、前記色変換方式設定手段で設定された前記色変換方式に対応する前記符号化モードに設定する、ことを特徴とする請求項１乃至６のいずれか１項に記載の画像符号化装置。
【請求項８】
前記色変換方式設定手段は、前記符号化モード設定手段で設定された前記符号化モードに対応する前記色変換方式に設定する、ことを特徴とする請求項１乃至６のいずれか１項に記載の画像符号化装置。
【請求項９】
前記複数の色変換方式は、前記設定された色変換方式の色域空間より外れる色情報を前記設定された色変換方式の色域空間に再配置する処理で実現される色変換方式を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像符号化装置。
【請求項１０】
前記設定された色変換方式の色域空間より外れる色情報を前記設定された色変換方式の色域空間に再配置する処理は、前記色域空間より外れる色情報の色クリップ処理であることを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
前記設定された色変換方式の色域空間より外れる色情報を前記設定された色変換方式の色域空間に再配置する処理は、前記色域空間より外れる色情報に非線形に色情報を割当てる処理であることを特徴とする請求項９に記載の画像符号化装置。
【請求項１２】
複数の色変換方式から１つの色変換方式を設定する色変換方式設定工程と、
画像データを前記色変換方式設定工程で設定された前記色変換方式で処理する色変換処理工程と、
複数の符号化モードから１つの符号化モードを設定する符号化モード設定工程と、
前記色変換処理工程で処理された画像データを、前記符号化モード設定工程で設定された前記符号化モードで符号化する圧縮符号化工程と、を備える画像符号化装置の制御方法において、
前記色変換方式設定工程で設定される前記色変換方式と、前記符号化モード設定工程で設定される前記符号化モードとを、互いに対応させて設定する、ことを特徴とする画像符号化装置の制御方法。
【請求項１３】
請求項１２に記載の画像符号化装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１２に記載の画像符号化装置の制御方法の各工程をコンピュータに実行させるためのプログラムが記憶されたコンピュータで読み取り可能な記憶媒体。
【請求項１】
複数の色変換方式から１つの色変換方式を設定する色変換方式設定手段と、
画像データを前記色変換方式設定手段で設定された前記色変換方式で処理する色変換処理手段と、
複数の符号化モードから１つの符号化モードを設定する符号化モード設定手段と、
前記色変換処理手段で処理された画像データを、前記符号化モード設定手段で設定された前記符号化モードで符号化する圧縮符号化手段と、を備える画像符号化装置において、
前記色変換方式設定手段で設定される前記色変換方式と、前記符号化モード設定手段で設定される前記符号化モードとを、互いに対応させて設定する、ことを特徴とする画像符号化装置。
【請求項２】
前記複数の符号化モードは、それぞれ前記圧縮符号化手段により生成される画像データにおける符号化歪の発生量が異なる、ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記複数の符号化モードは、それぞれ前記圧縮符号化手段により生成される画像データの単位時間あたりの平均の符号量が異なる、ことを特徴とする請求項１または２に記載の画像符号化装置。
【請求項４】
前記複数の色変換方式は、それぞれ色情報を再現する色域空間の広さが異なる、ことを特徴とする請求項１に記載の画像符号化装置。
【請求項５】
前記複数の色変換方式のうち広い色域空間を有する色変換方式が、前記符号化モード設定手段で設定される、画像データの符号化歪を小さくする符号化モードに対応することを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記複数の色変換方式は、ＢＴ．７０９方式と、ｘｖＹＣＣ方式を含む、ことを特徴とする請求項４または５に記載の画像符号化装置。
【請求項７】
前記符号化モード設定手段は、前記色変換方式設定手段で設定された前記色変換方式に対応する前記符号化モードに設定する、ことを特徴とする請求項１乃至６のいずれか１項に記載の画像符号化装置。
【請求項８】
前記色変換方式設定手段は、前記符号化モード設定手段で設定された前記符号化モードに対応する前記色変換方式に設定する、ことを特徴とする請求項１乃至６のいずれか１項に記載の画像符号化装置。
【請求項９】
前記複数の色変換方式は、前記設定された色変換方式の色域空間より外れる色情報を前記設定された色変換方式の色域空間に再配置する処理で実現される色変換方式を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像符号化装置。
【請求項１０】
前記設定された色変換方式の色域空間より外れる色情報を前記設定された色変換方式の色域空間に再配置する処理は、前記色域空間より外れる色情報の色クリップ処理であることを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
前記設定された色変換方式の色域空間より外れる色情報を前記設定された色変換方式の色域空間に再配置する処理は、前記色域空間より外れる色情報に非線形に色情報を割当てる処理であることを特徴とする請求項９に記載の画像符号化装置。
【請求項１２】
複数の色変換方式から１つの色変換方式を設定する色変換方式設定工程と、
画像データを前記色変換方式設定工程で設定された前記色変換方式で処理する色変換処理工程と、
複数の符号化モードから１つの符号化モードを設定する符号化モード設定工程と、
前記色変換処理工程で処理された画像データを、前記符号化モード設定工程で設定された前記符号化モードで符号化する圧縮符号化工程と、を備える画像符号化装置の制御方法において、
前記色変換方式設定工程で設定される前記色変換方式と、前記符号化モード設定工程で設定される前記符号化モードとを、互いに対応させて設定する、ことを特徴とする画像符号化装置の制御方法。
【請求項１３】
請求項１２に記載の画像符号化装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１２に記載の画像符号化装置の制御方法の各工程をコンピュータに実行させるためのプログラムが記憶されたコンピュータで読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００８−２７１４１１（Ｐ２００８−２７１４１１Ａ）
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願番号】特願２００７−１１４５００（Ｐ２００７−１１４５００）
【出願日】平成１９年４月２４日（２００７．４．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願日】平成１９年４月２４日（２００７．４．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]