動画像処理装置およびカメラシステム
【課題】動画像の処理中に静止画像を生成する機能を有する動画像処理装置において、静止画像の生成に関する処理負荷を抑制する。
【解決手段】動画像処理装置では、Ｉピクチャ２０２を含む複数のフレームを生成中において、シャッター押下による撮影指示があると、撮影指示の直前のＩピクチャ２０２の符号量とＱＰ値とに基づいて静止画の圧縮符号化のための圧縮パラメータを決定する（Ｓ２０５：「符号量見積り」）。そして動画像処理装置は、決定した圧縮パラメータに基づいて静止画の圧縮符号化を行う（Ｓ２０６：「静止画圧縮」）
【解決手段】動画像処理装置では、Ｉピクチャ２０２を含む複数のフレームを生成中において、シャッター押下による撮影指示があると、撮影指示の直前のＩピクチャ２０２の符号量とＱＰ値とに基づいて静止画の圧縮符号化のための圧縮パラメータを決定する（Ｓ２０５：「符号量見積り」）。そして動画像処理装置は、決定した圧縮パラメータに基づいて静止画の圧縮符号化を行う（Ｓ２０６：「静止画圧縮」）
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の処理中に静止画像を生成する技術に関する。
【背景技術】
【０００２】
従来から、画像を撮影してメモリカードなどの記録媒体に記録するビデオカメラが知られている。係るビデオカメラにおいては、近年、撮像素子の多画素化が進み、動画に加えて高精細な静止画を撮影することが可能となっている。
【０００３】
特許文献１では、ＭＰＥＧ方式を用いて動画を符号化して記録するビデオカメラにおいて、動画の記録中にシャッターボタンの押下があると、押下時のフレーム画像を強制的にＩ（Intra-coded）ピクチャとして作成し、作成したＩピクチャを静止画像として記録する。
【０００４】
Ｐ（Predicted）ピクチャやＢ（Bi-directional Predicted）ピクチャではなくＩピクチャとすることで、Ｉピクチャ単独でそのフレームの画像信号のみから静止画像を作成でき、作成した静止画像の画質についても最低レベルは保証できるとしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−２８４０５８号公報
【特許文献２】特開２００９−２６０９４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、シャッターボタンの押下時に、強制的にＩピクチャの挿入というイレギュラーな処理を行う。このため動画の画質を劣化させることがある。
また、動画の撮影中に静止画像を生成するに際しては、動画に関する処理に悪影響を及ぼさないためにも、静止画像に関する処理負荷はなるたけ軽くすることが望ましい。
【０００７】
本発明は、このような背景の元になされたものであって、動画像の処理中に静止画像を生成する機能を有する動画像処理装置であって、静止画像の生成に関する処理負荷を抑制できる動画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る動画像処理装置は、動画像の生成中に静止画像を生成する機能を有する動画像処理装置であって、被写体像を撮像した映像信号を入力する入力部と、映像信号に対して、選定した符号化パラメータを用いて動画像の圧縮符号化を行うことにより、複数のフレームから構成される動画像を生成する圧縮処理部と、前記圧縮処理部による動画像の生成中に、静止画像の撮影指示を受け付ける受付部とを備え、前記圧縮処理部は、前記受付部が前記撮影指示を受け付けると、映像信号に対して、当該撮影指示の前後に生成された１フレームの生成時に選定した符号化パラメータに従って静止画像の圧縮符号化を行うことを特徴としている。
【発明の効果】
【０００９】
本発明に係る動画像処理装置によれば、圧縮処理部は前記受付部が前記撮影指示を受け付けると、映像信号に対して、当該撮影指示の前後に生成された１フレームの生成時に選定した符号化パラメータに従って静止画像の圧縮符号化を行う。このため、動画像の圧縮符号化において既に選定した符号化パラメータを、静止画像の圧縮符号化において流用することができ、静止画像の圧縮符号化の処理負荷を抑制することに貢献する。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１におけるカメラシステムの構成図
【図２】動画の撮像中に静止画の撮像を行う場合の処理の流れを示す図
【図３】符号量見積りの流れを示すイメージ図
【図４】実施の形態２におけるカメラシステムの構成図
【図５】動画の撮像中に静止画の撮像を行う場合の処理の流れを示す図
【図６】Ｉピクチャの決定処理の詳細を示すフロチャートその１
【図７】Ｉピクチャの決定処理の詳細を示すフロチャートその２
【図８】Ｉピクチャの決定処理の詳細を示すフロチャートその３
【図９】Ｉピクチャの決定処理の詳細を示すフロチャートその４
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、実施の形態１におけるカメラシステム１００の構成図である。
【００１２】
カメラシステム１００は、撮像装置１０１と、撮像制御装置１０２と、動画像処理装置１０３と、記憶装置１０４と、表示装置１０５とを備えている。カメラシステム１００は、例えば、ネットワークカメラ、車載カメラ、デジタルビデオカメラ、デジタルスチルカメラなどのハードウェアとして実現される。
【００１３】
撮像装置１０１は、レンズや光電変換素子により構成されており、被写体を光電変換して電気信号を出力する。
撮像制御装置１０２は、撮像装置１０１の撮像素子により得られた電気信号の取り込みタイミング、撮像装置１０１の撮像素子への映像光の照射時間を制御するとともに、上記電気信号に対してアナログ／デジタル変換を行って映像信号（ビデオ信号）として出力する。
【００１４】
動画像処理装置１０３は、画像入力部１０６と、動画／静止画圧縮処理部１０７と、静止画像圧縮制御部１０８と、表示ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０９を備えている。
画像入力部１０６は、撮像制御装置１０２により出力された映像信号を、ＲＧＢ成分を輝度（Ｙ）および色差（Ｃ）の成分へと変換する。そして、両成分を分離して、輝度データおよび色差データを生成する（ＹＣ処理）。
【００１５】
このＹＣ処理は一般的な処理であり、ＡＥ（Automatic Exposure：自動露光）処理、ＷＢ（White Balance：色調補正）処理、アパーチャ処理、ＹＣ（輝度・色差データ）変換処理およびノイズ除去処理などの処理を伴うこともある。
【００１６】
動画／静止画圧縮処理部１０７は、画像入力部１０６により生成された輝度データ及び色差データに対して圧縮符号化を行って、符号化された動画像および静止画像を生成する。
【００１７】
動画／静止画圧縮処理部１０７が行う動画像の符号化ならびに静止画像の圧縮符号化について説明をする。
（動画像の圧縮符号化）
動画像の圧縮符号化はＭＰＥＧに準拠した方式で行う。大まかな流れは次の通りである。
【００１８】
（Ａ）動き推定・・・マクロブロック単位で、入力画像の動きベクトルを算出する。動きベクトルの予測では、Ｉピクチャ、ＰピクチャおよびＢピクチャの３種類のピクチャ（フレーム）を用いる。
【００１９】
（Ｂ）ＤＣＴ（離散コサイン変換）・・・８×８画像のブロックサイズにて２次元離散コサイン変換する。
（Ｃ）量子化（Quantization）・・・ＤＣＴ変換係数を、ＱＰ値（Quantization Parameter，量子化パラメータ）を用いて量子化する。
【００２０】
（Ｄ）符号化・・・量子化で得られた値を符号化する。
これらの一連の処理により、ＱＰ値および符号量（ビットレート）および求められることとなる。
【００２１】
なお、上記（Ａ）〜（Ｄ）の流れはＭＰＥＧ方式の一般的な流れを示したものであり、ＭＰＥＧの方式（MPEG1，MPEG2，H.261，H.264/MPEG-4 AVCなど）によっては処理の内容が異なる場合もある。
【００２２】
（静止画像の圧縮符号化）
静止画像の圧縮符号化は、ＪＰＥＧに準拠した方式で行う。その処理の流れは次の（ａ）〜（ｄ）の通りである。
【００２３】
（ａ）分割・・画像を８×８の画像ブロックに分割して、ブロック毎の画素値を求める。
（ｂ）ＤＣＴ・・・ＤＣＴ演算を行う。
【００２４】
（ｃ）量子化（Quantization）・・・ＤＣＴ係数を、量子化パラメータを用いて量子化する。
（ｄ）符号化・・・量子化で得られた値を符号化（例えばハフマン符号化）する。
【００２５】
以上が動画／静止画圧縮処理部１０７が行う処理の説明である。
静止画像圧縮制御部１０８（圧縮率決定部１１０を含む。）は、動画／静止画圧縮処理部１０７にて選定された符号化パラメータ（例えば、符号量およびＱＰ値）に基づいて、静止画像の圧縮符号化のために必要な圧縮パラメータ（量子化パラメータを含む。）を求める。
【００２６】
記憶装置１０４は、画像入力部１０６から出力されたデータや、動画／静止画圧縮処理部１０７が取り扱うデータを一時的に格納する。記憶装置１０４のハードウェアとしては例えばＲＡＭから構成される。
【００２７】
表示ＩＦ１０９は、表示装置１０５の表示に関するインターフェイスを制御するものであり、記憶装置１０４から輝度データ及び色差データを取りだして、表示に適した形式に変換（例えば、ＲＧＢ変換）した後で、表示装置１０５へと出力する。
【００２８】
表示装置１０５は、表示ＩＦ１０９から出力された情報に基づいて表示を行う。
次に、図２を参照して動画の撮像中に静止画の撮像を行う場合の処理の流れを説明する。
【００２９】
動画撮像中にシャッターボタンの押下による撮影指示があると、
・撮像装置１０１および撮像素子制御装置１０２による静止画撮像のため露光処理（Ｓ２０３）
・画像入力部１０６によるＹＣ処理（Ｓ２０４）
・動画／静止画圧縮処理部１０７による圧縮パラメータに基づいた静止画像圧縮処理（Ｓ２０６）
の処理が動画の撮像と並行して行われる。
【００３０】
この静止画像圧縮処理（Ｓ２０６）に先立って、静止画像圧縮制御部１０８の圧縮率判定部１１０は、撮影指示直前のＩピクチャの生成に用いた符号量及びＱＰ値を取得し、取得した符号量及びＱＰ値に基づいて圧縮パラメータを求める（Ｓ２０５：「符号量見積り」）。
【００３１】
図３は、符号量見積りの流れを示すイメージ図である。
図３のＤＣＴ係数３０１は、撮影指示時点に対応するフレーム画像の８画素×８画素のブロックを対象に、ＤＣＴ演算を行うことにより得られたものである。
【００３２】
また、量子化テーブル３０２と量子化スケールファクタ３０３の組は、量子化パラメータを構成するものである。
このＤＣＴ係数３０１を、量子化テーブル３０２と量子化スケールファクタ３０３の積により除することにより量子化データ３０４が求められる。
【００３３】
ここで、静止画像圧縮制御部１０８は、動画／静止画圧縮処理部１０７にて求められたＩピクチャ２０２の符号量およびＱＰ値に基づいて、量子化テーブル３０２および量子化スケールファクタ３０３を生成する。つまり、撮影指示前に処理を行ったＩピクチャの符号量とＱＰ値より対象静止画像の複雑さの度合いを判断し、量子化テーブル３０２および量子化スケールファクタ３０３を生成する。
【００３４】
このようにして静止画像の圧縮符号化に必要な圧縮パラメータを、動画像の圧縮符号化で既に求められた符号量およびＱＰ値を利用して求めることができる。
これにより、通常の静止画処理と同じように静止画像用の圧縮パラメータを最初から求めるのと比べて処理負荷を抑えることができる。
【００３５】
（実施の形態２）
実施の形態１では撮影指示の直前のＩピクチャを符号量見積りに利用するとしたが、実施の形態２では、撮影指示の直前のＩピクチャか直後のＩピクチャのいずれを符号量見積りに利用するかを決定する処理を行う点が実施の形態１とは異なる。
【００３６】
図４は、実施の形態２におけるカメラシステム４００の構成図である。
この実施の形態２におけるカメラシステム１００は、撮像装置１０１と、撮像制御装置１０２と、動画像処理装置４０３と、記憶装置１０４と、表示装置１０５を備えている。
【００３７】
また、図４のカメラシステム４００は、図１のカメラシステム１００と大まかには同じであるが、画像入力部１０６が周波数検出部４０６ａを含む点、静止画像圧縮制御部４０８がシーン決定部４０１を含む点、受付部１１１の描画を省略している点などが異なっている。
【００３８】
周波数検出部４０６ａは、撮像素子制御装置１０２から入力される映像信号により示される画像の周波数成分を検出する。この検出は、任意に画像から選ばれた複数の周波数検出範囲に基づいて行われる。
【００３９】
シーン判定部４０１は、周波数検出部４０６ａより求められた周波数情報と、動画／静止画圧縮処理部１０７より求められた動きベクトル情報を元に符合量を見積もる対象のフレーム画像を決定する。本実施の形態では、フレーム画像を決定する対象は、撮影指示の直前または直後のＩピクチャである。
【００４０】
次に、図５を参照して動画の撮像中に静止画の撮像を行う場合の処理の流れを説明する。
動画撮像中にシャッターボタンの押下による撮影指示があると、
・撮像装置１０１および撮像素子制御装置１０２による静止画撮像のため露光処理（Ｓ２０３）
・画像入力部１０６によるＹＣ処理（Ｓ２０４）
の処理が動画の撮像と並行して行われる。
【００４１】
そして、撮影指示の直後のＩピクチャ５０２が作成されると、シーン判定部４０１は、直前のＩピクチャ５０１か直後のＩピクチャ５０２かのどちらを符号量見積りに用いるかを決定する処理を行う（Ｓ５０５：「符号量見積りに用いるＩピクチャの決定」）。
【００４２】
その後、圧縮率決定部１１０は、決定されたＩピクチャの生成に用いた符号量及びＱＰ値を取得し、取得した符号量及びＱＰ値に基づいて圧縮パラメータを求める（Ｓ２０５：「符号量見積り」）。
【００４３】
続いて、動画／静止画圧縮処理部１０７により、求められた圧縮パラメータに基づいた静止画像圧縮処理（Ｓ２０６）が行われる。
なお、ＹＣ処理（Ｓ２０４）により生成された画像データは、静止画圧縮（Ｓ２０６）が開始されるまで一時的に記憶装置１０４に記憶される。
【００４４】
さて、シーン判定部４０１によるＩピクチャ５０１かＩピクチャ５０２かのいずれか一方を決定する処理のやり方としては、図６〜図９にそれぞれ示す４種類の手法がある。以下、この４種類の手法１〜手法４を順に説明する。
【００４５】
（手法１）
手法１は、Ｉピクチャの動きベクトルの総和の大小に基づいて決定する方法である。
図６に示すように、シーン判定部４０１は、Ｉピクチャ５０１とＩピクチャ５０２とについて、それぞれの動きベクトルの総和を求め、求めた総和を比較する（Ｓ６０１）。
【００４６】
なお、このＩピクチャの動きベクトルの総和の算出方法は一般的なやり方を採用することができる。
例えば、Ｉピクチャの前後の１または複数の参照ピクチャ（Ｐピクチャ、Ｂピクチャ）を参照して、ブロック毎に動きベクトルを求め、求めた動きベクトルを足すことでＩピクチャ全体の動きベクトルの総和を求めることができる。
【００４７】
ステップＳ６０１において、Ｉピクチャ５０１の動きベクトルの総和の方が、Ｉピクチャ５０２の動きベクトルの総和より小さければ（Ｓ６０１：Ｙｅｓ）、シーン判定部４０１はＩピクチャ５０１を符号量見積りに用いるＩピクチャに決定する（Ｓ６０２）。
【００４８】
反対に、Ｉピクチャ５０１の動きベクトルの総和の方が、Ｉピクチャ５０２の動きベクトルの総和より小さく無ければ（Ｓ６０１：Ｎｏ）、シーン判定部４０１はＩピクチャ５０１を符号量見積りに用いるＩピクチャに決定する（Ｓ６０３）。
【００４９】
動きベクトルの総和がより小さい方のＩピクチャの方が、撮影指示時点のフレーム画像と比べて画像の性格が近いと考えられるため、手法１によれば、符合量見積もり処理（Ｓ２０５）の誤差を軽減することができる。
【００５０】
（手法２）
手法２は、Ｉピクチャの動きベクトルが閾値を超過した数の大小に基づいて決定する方法である。
【００５１】
図７に示すように、シーン判定部４０１は、Ｉピクチャ５０１とＩピクチャ５０２とについて、それぞれの動きベクトルを求め、各Ｉピクチャの動きベクトルの大きさが閾値を超過した数（閾値判定数）をカウントとする。
【００５２】
そして、Ｉピクチャ５０１の閾値判定数の方が、Ｉピクチャ５０２の閾値判定数より大きければ（Ｓ７０１：Ｙｅｓ）、シーン判定部４０１はＩピクチャ５０１を符号量見積りに用いるＩピクチャに決定する（Ｓ７０２）。
【００５３】
反対に、Ｉピクチャ５０１の閾値判定数の方が、Ｉピクチャ５０２の閾値判定数より大きく無ければ（Ｓ７０１：Ｎｏ）、シーン判定部４０１はＩピクチャ５０１を符号量見積りに用いるＩピクチャに決定する（Ｓ７０３）
この手法２によれば、手法１と同様、符合量見積もり処理（Ｓ２０５）の誤差を軽減することができる。
【００５４】
（手法３）
手法３は、Ｉピクチャの周波数ヒストグラムに基づいて決定する方法である。
図８に示すように、シーン判定部４０１は、Ｉピクチャ５０１の周波数ヒストグラムおよびＩピクチャ５０２の周波数ヒストグラムを解析する。そして、解析の結果、どちらが所定値に近いかを判定する（Ｓ８０１）。
【００５５】
シーン判定部４０１は、判定の結果、所定値に近い方のＩピクチャに決定する（Ｓ８０２，Ｓ８０３）。
ここで、所定値は、例えば撮影指示時点のフレームの画像に基づいて決定することができる。
【００５６】
（手法４）
手法４は、手法１〜３を組み合わせたものである。
Ｉピクチャ５０１とＩピクチャ５０２について、シーン判定部４０１は、
・判定Ａ：動きベクトル総和の大きさ判定（Ｓ６０１）
・判定Ｂ：閾値判定数の多さ判定（Ｓ７０１）
・判定Ｃ：周波数情報の近さ判定（Ｓ８０１）
の３種類の判定を行い（Ｓ９０１）、判定結果に基づいて総合的な判定を行う（Ｓ９０２）。
【００５７】
総合判定のやり方としては、判定Ａ〜判定Ｃの判定結果と総合判定との対応関係を示すテーブル９１０を用いることができる。
あるいは、判定種類毎の重み値を規定したテーブル９１１に従って、判定Ａ〜判定Ｃ毎に重み係数を乗算し、それぞれの総和を比較することで、Ｉピクチャ５０１かＩピクチャ５０２かを決定するとしてもよい。なお、重み値テーブル９１１で、一つの判定種類を削除したい場合はその重み系数を０とすることで実現できる。
【００５８】
＜補足１＞
以上、本実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
(１)撮影指示のトリガ
実施の形態では、ユーザによるシャッターボタンの押下を撮影指示のトリガの例として説明したが、これに限らず、例えば、タイマー制御などを利用して一定時間おきに自動的に撮影指示を受け付けるものとしても構わない。
（２）圧縮パラメータ
実施の形態では、静止画像の圧縮パラメータの一例として、量子化に用いる量子化パラメータを例に挙げて説明したが、これに限られない。
【００５９】
また、量子化パラメータは、量子化テーブル３０２（図３参照）および量子化スケールファクタ３０３から構成されるとしたが、これら量子化テーブル３０２および量子化スケールファクタ３０３どちらか一方のみを用いて構成してもよい。
【００６０】
また、量子化テーブル３０２や量子化スケールファクタ３０３の生成に際しては、ユーザにより予め設定された静止画像の画質モード（高画質モード、標準画質モードなど）に対応して生成の態様を異ならせてもよい。
（３）動画、静止画の符号化について
実施の形態は、前方後方フレームを参照するピクチャ間予測符号化を行うＭＰＥＧ動画符号化方式で動画を記録し、離散コサイン変換を行うＪＰＥＧ静止画符号化方式で静止画を記録する組み合わせに最適であるが、これらの組み合わせに限られるわけではない。動画像の圧縮符号化に用いたパラメータを、静止画像の圧縮符号化に用いるパラメータとして流用できる組み合わせであれば足りる。
（４）Ｉピクチャについて
実施の形態では、撮影指示の直前のＩピクチャ２０２，５０１か直後のＩピクチャ５０２のいずれかを符号量見積りに用いるとして説明したが、直前や直後でなくとも２個前のＩピクチャや２個後ろのＩピクチャを用いるとしてもよい。特にＩピクチャどうしの間隔が狭いＧＯＰ（Group Of Pictures）であれば、必ずしも直前や直後でなくとも、撮影指示の前後のＩピクチャであれば静止画像の品質への悪影響は出にくいと考えられる。
【００６１】
また、Ｉピクチャは、ＢピクチャやＰピクチャと異なり、ＪＰＥＧの処理によく似ているので用いることが好適である。
（５）集積回路
実施の形態の動画像処理装置は、典型的には集積回路であるＬＳＩ(Large Scale Integration)として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ(Integrated Circuit)、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（FieldProgrammable Gate Array）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００６２】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
（６）記録媒体、プログラム
実施の形態で示した処理をコンピュータ等の各種機器のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
【００６３】
このような記録媒体には、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc)等がある。
【００６４】
流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
＜補足２＞
本実施の形態は、以下の態様を含むものである。
（１）実施の形態に係る動画像処理装置は、動画像の生成中に静止画像を生成する機能を有する動画像処理装置であって、被写体像を撮像した映像信号を入力する入力部と、映像信号に対して、選定した符号化パラメータを用いて動画像の圧縮符号化を行うことにより、複数のフレームから構成される動画像を生成する圧縮処理部と、前記圧縮処理部による動画像の生成中に、静止画像の撮影指示を受け付ける受付部とを備え、前記圧縮処理部は、前記受付部が前記撮影指示を受け付けると、映像信号に対して、当該撮影指示の前後に生成された１フレームの生成時に選定した符号化パラメータに従って静止画像の圧縮符号化を行うことを特徴とする。
（２）さらに、前記撮影指示の前後に生成された２以上のフレームの中から、前記１フレームを決定する決定部を備え、前記決定部は、前記２以上のフレームの中で、Ｉ（Intra-coded）フレームを決定の対象とするが、Ｐ（Predicted）フレームまたはＢ（Bi-directional Predicted）フレームは決定の対象とはしないとしても構わない。
【００６５】
この構成によれば、Ｉフレーム（Ｉピクチャ）の処理は、静止画像の圧縮符号化（例えばＪＰＥＧ方式）に似ているため、静止画像の圧縮符号化に用いるパラメータをより正確に導出することが可能となる。
（３）前記決定部は、前記撮影指示の直前のＩフレーム、または、前記撮影指示の直後のＩフレームのいずれかひとつに決定するとしても構わない。
【００６６】
この構成によれば、静止画像の符号量見積もりの適切な実施に資する。
（４）前記決定部は、前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームについて、それぞれのフレーム画像における動きベクトルの総和を比較し、比較の結果、動きベクトルの総和が小さい方のＩフレームに決定するとしても構わない。
【００６７】
この構成によれば、例えば動画／静止画像圧縮回路だけで、静止画像の符号量見積もりを実施でき、より低負荷にすることができる。
（５）前記決定部は、前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームについて、それぞれのフレーム画像における動きベクトルの動き量が閾値を超えた数を比較し、比較の結果、超えた数が大きい方のＩフレームに決定するとしても構わない。
【００６８】
この構成によれば、例えば動画／静止画像圧縮回路だけで、静止画像の符号量見積もりを実施でき、より低負荷にすることができる。
（６）前記決定部は、前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームについて、それぞれのフレーム画像の周波数ヒストグラムの解析結果に基づいて、いずれかのＩフレームに決定するとしても構わない。
【００６９】
この構成によれば、例えば動画／静止画像圧縮回路だけで、静止画像の符号量見積もりを実施でき、より低負荷にすることができる。
（７）前記決定部は、前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームのそれぞれについて、各フレーム画像における動きベクトルの総和、各フレーム画像における動きベクトルの動き量が閾値を超えた数、および、各フレーム画像の周波数ヒストグラムの解析結果を総合的に評価することにより、いずれかのＩフレームに決定するとしても構わない。
【００７０】
この構成によれば、静止画像の符号量見積もりの適切な実施に資する。
（８）前記圧縮処理部は、前記符号化パラメータに従って量子化テーブルを決定し、決定された量子化テーブルに基づいて前記静止画像の圧縮符号化を行うとしても構わない。
【００７１】
この構成によれば、静止画像の圧縮符号化（例えばＪＰＥＧ方式）の調整パラメータ毎に最適な量子化を実施することが可能となる。
（９）前記符号化パラメータは、符号量とＱＰ（Quantization Parameter）値とを含むとしても構わない。
（１０）前記量子化パラメータは、量子化テーブル若しくは量子化スケールファクタのいずれか、または量子化テーブルおよび量子化スケールファクタの両方を含むとしても構わない。
（１１）実施の形態に係るカメラシステムは、被写体を光電変換して電気信号を出力する撮像装置と、前記撮像装置から出力される電気信号をデジタル変換し、変換により得られた映像信号を出力する撮像素子制御装置と、出力された映像信号に基づいて動画像および静止画像を生成する動画像処理装置と、前記動画像処理装置が取り扱うデータを一時的に格納する記憶装置と、前記動画像処理装置から出力される動画像および静止画像を表示する表示装置と、を備え、前記動画像処理装置は、上記（１）〜（１０）のいずれかの動画像処理装置であるとする。
【００７２】
この構成によれば、動画撮像処理における静止画像処理の負荷を軽減したカメラシステムの提供が可能となる。
【産業上の利用可能性】
【００７３】
本発明は、動画像と静止画像を符号化する画像符号化装置及び当該画像符号化装置を備えたカメラシステムとして有用である。
【符号の説明】
【００７４】
１００ カメラシステム
１０１ 撮像装置
１０２ 撮像素子制御装置
１０３ 動画像処理装置
１０４ 記憶装置
１０５ 表示装置
１０６ 画像入力部
１０７ 動画／静止画圧縮処理部
１０８ 静止画像圧縮制御部
１０９ 表示ＩＦ
１１０ 圧縮率決定部
２０２ 撮影指示直前に処理を行ったＩピクチャ（Ｉフレーム）
３０１ ＤＣＴ系数
３０２ 量子化テーブル（量子化パラメータの一種）
３０３ 量子化スケールファクタ（量子化パラメータの一種）
４０１ シーン判定部
４０６ａ 周波数検出部
５０１ 撮影指示直前に処理を行ったＩピクチャ（Ｉフレーム）
５０２ 撮影指示直後に処理を行うＩピクチャ（Ｉフレーム）
【技術分野】
【０００１】
本発明は、動画像の処理中に静止画像を生成する技術に関する。
【背景技術】
【０００２】
従来から、画像を撮影してメモリカードなどの記録媒体に記録するビデオカメラが知られている。係るビデオカメラにおいては、近年、撮像素子の多画素化が進み、動画に加えて高精細な静止画を撮影することが可能となっている。
【０００３】
特許文献１では、ＭＰＥＧ方式を用いて動画を符号化して記録するビデオカメラにおいて、動画の記録中にシャッターボタンの押下があると、押下時のフレーム画像を強制的にＩ（Intra-coded）ピクチャとして作成し、作成したＩピクチャを静止画像として記録する。
【０００４】
Ｐ（Predicted）ピクチャやＢ（Bi-directional Predicted）ピクチャではなくＩピクチャとすることで、Ｉピクチャ単独でそのフレームの画像信号のみから静止画像を作成でき、作成した静止画像の画質についても最低レベルは保証できるとしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−２８４０５８号公報
【特許文献２】特開２００９−２６０９４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、シャッターボタンの押下時に、強制的にＩピクチャの挿入というイレギュラーな処理を行う。このため動画の画質を劣化させることがある。
また、動画の撮影中に静止画像を生成するに際しては、動画に関する処理に悪影響を及ぼさないためにも、静止画像に関する処理負荷はなるたけ軽くすることが望ましい。
【０００７】
本発明は、このような背景の元になされたものであって、動画像の処理中に静止画像を生成する機能を有する動画像処理装置であって、静止画像の生成に関する処理負荷を抑制できる動画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る動画像処理装置は、動画像の生成中に静止画像を生成する機能を有する動画像処理装置であって、被写体像を撮像した映像信号を入力する入力部と、映像信号に対して、選定した符号化パラメータを用いて動画像の圧縮符号化を行うことにより、複数のフレームから構成される動画像を生成する圧縮処理部と、前記圧縮処理部による動画像の生成中に、静止画像の撮影指示を受け付ける受付部とを備え、前記圧縮処理部は、前記受付部が前記撮影指示を受け付けると、映像信号に対して、当該撮影指示の前後に生成された１フレームの生成時に選定した符号化パラメータに従って静止画像の圧縮符号化を行うことを特徴としている。
【発明の効果】
【０００９】
本発明に係る動画像処理装置によれば、圧縮処理部は前記受付部が前記撮影指示を受け付けると、映像信号に対して、当該撮影指示の前後に生成された１フレームの生成時に選定した符号化パラメータに従って静止画像の圧縮符号化を行う。このため、動画像の圧縮符号化において既に選定した符号化パラメータを、静止画像の圧縮符号化において流用することができ、静止画像の圧縮符号化の処理負荷を抑制することに貢献する。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１におけるカメラシステムの構成図
【図２】動画の撮像中に静止画の撮像を行う場合の処理の流れを示す図
【図３】符号量見積りの流れを示すイメージ図
【図４】実施の形態２におけるカメラシステムの構成図
【図５】動画の撮像中に静止画の撮像を行う場合の処理の流れを示す図
【図６】Ｉピクチャの決定処理の詳細を示すフロチャートその１
【図７】Ｉピクチャの決定処理の詳細を示すフロチャートその２
【図８】Ｉピクチャの決定処理の詳細を示すフロチャートその３
【図９】Ｉピクチャの決定処理の詳細を示すフロチャートその４
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、実施の形態１におけるカメラシステム１００の構成図である。
【００１２】
カメラシステム１００は、撮像装置１０１と、撮像制御装置１０２と、動画像処理装置１０３と、記憶装置１０４と、表示装置１０５とを備えている。カメラシステム１００は、例えば、ネットワークカメラ、車載カメラ、デジタルビデオカメラ、デジタルスチルカメラなどのハードウェアとして実現される。
【００１３】
撮像装置１０１は、レンズや光電変換素子により構成されており、被写体を光電変換して電気信号を出力する。
撮像制御装置１０２は、撮像装置１０１の撮像素子により得られた電気信号の取り込みタイミング、撮像装置１０１の撮像素子への映像光の照射時間を制御するとともに、上記電気信号に対してアナログ／デジタル変換を行って映像信号（ビデオ信号）として出力する。
【００１４】
動画像処理装置１０３は、画像入力部１０６と、動画／静止画圧縮処理部１０７と、静止画像圧縮制御部１０８と、表示ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０９を備えている。
画像入力部１０６は、撮像制御装置１０２により出力された映像信号を、ＲＧＢ成分を輝度（Ｙ）および色差（Ｃ）の成分へと変換する。そして、両成分を分離して、輝度データおよび色差データを生成する（ＹＣ処理）。
【００１５】
このＹＣ処理は一般的な処理であり、ＡＥ（Automatic Exposure：自動露光）処理、ＷＢ（White Balance：色調補正）処理、アパーチャ処理、ＹＣ（輝度・色差データ）変換処理およびノイズ除去処理などの処理を伴うこともある。
【００１６】
動画／静止画圧縮処理部１０７は、画像入力部１０６により生成された輝度データ及び色差データに対して圧縮符号化を行って、符号化された動画像および静止画像を生成する。
【００１７】
動画／静止画圧縮処理部１０７が行う動画像の符号化ならびに静止画像の圧縮符号化について説明をする。
（動画像の圧縮符号化）
動画像の圧縮符号化はＭＰＥＧに準拠した方式で行う。大まかな流れは次の通りである。
【００１８】
（Ａ）動き推定・・・マクロブロック単位で、入力画像の動きベクトルを算出する。動きベクトルの予測では、Ｉピクチャ、ＰピクチャおよびＢピクチャの３種類のピクチャ（フレーム）を用いる。
【００１９】
（Ｂ）ＤＣＴ（離散コサイン変換）・・・８×８画像のブロックサイズにて２次元離散コサイン変換する。
（Ｃ）量子化（Quantization）・・・ＤＣＴ変換係数を、ＱＰ値（Quantization Parameter，量子化パラメータ）を用いて量子化する。
【００２０】
（Ｄ）符号化・・・量子化で得られた値を符号化する。
これらの一連の処理により、ＱＰ値および符号量（ビットレート）および求められることとなる。
【００２１】
なお、上記（Ａ）〜（Ｄ）の流れはＭＰＥＧ方式の一般的な流れを示したものであり、ＭＰＥＧの方式（MPEG1，MPEG2，H.261，H.264/MPEG-4 AVCなど）によっては処理の内容が異なる場合もある。
【００２２】
（静止画像の圧縮符号化）
静止画像の圧縮符号化は、ＪＰＥＧに準拠した方式で行う。その処理の流れは次の（ａ）〜（ｄ）の通りである。
【００２３】
（ａ）分割・・画像を８×８の画像ブロックに分割して、ブロック毎の画素値を求める。
（ｂ）ＤＣＴ・・・ＤＣＴ演算を行う。
【００２４】
（ｃ）量子化（Quantization）・・・ＤＣＴ係数を、量子化パラメータを用いて量子化する。
（ｄ）符号化・・・量子化で得られた値を符号化（例えばハフマン符号化）する。
【００２５】
以上が動画／静止画圧縮処理部１０７が行う処理の説明である。
静止画像圧縮制御部１０８（圧縮率決定部１１０を含む。）は、動画／静止画圧縮処理部１０７にて選定された符号化パラメータ（例えば、符号量およびＱＰ値）に基づいて、静止画像の圧縮符号化のために必要な圧縮パラメータ（量子化パラメータを含む。）を求める。
【００２６】
記憶装置１０４は、画像入力部１０６から出力されたデータや、動画／静止画圧縮処理部１０７が取り扱うデータを一時的に格納する。記憶装置１０４のハードウェアとしては例えばＲＡＭから構成される。
【００２７】
表示ＩＦ１０９は、表示装置１０５の表示に関するインターフェイスを制御するものであり、記憶装置１０４から輝度データ及び色差データを取りだして、表示に適した形式に変換（例えば、ＲＧＢ変換）した後で、表示装置１０５へと出力する。
【００２８】
表示装置１０５は、表示ＩＦ１０９から出力された情報に基づいて表示を行う。
次に、図２を参照して動画の撮像中に静止画の撮像を行う場合の処理の流れを説明する。
【００２９】
動画撮像中にシャッターボタンの押下による撮影指示があると、
・撮像装置１０１および撮像素子制御装置１０２による静止画撮像のため露光処理（Ｓ２０３）
・画像入力部１０６によるＹＣ処理（Ｓ２０４）
・動画／静止画圧縮処理部１０７による圧縮パラメータに基づいた静止画像圧縮処理（Ｓ２０６）
の処理が動画の撮像と並行して行われる。
【００３０】
この静止画像圧縮処理（Ｓ２０６）に先立って、静止画像圧縮制御部１０８の圧縮率判定部１１０は、撮影指示直前のＩピクチャの生成に用いた符号量及びＱＰ値を取得し、取得した符号量及びＱＰ値に基づいて圧縮パラメータを求める（Ｓ２０５：「符号量見積り」）。
【００３１】
図３は、符号量見積りの流れを示すイメージ図である。
図３のＤＣＴ係数３０１は、撮影指示時点に対応するフレーム画像の８画素×８画素のブロックを対象に、ＤＣＴ演算を行うことにより得られたものである。
【００３２】
また、量子化テーブル３０２と量子化スケールファクタ３０３の組は、量子化パラメータを構成するものである。
このＤＣＴ係数３０１を、量子化テーブル３０２と量子化スケールファクタ３０３の積により除することにより量子化データ３０４が求められる。
【００３３】
ここで、静止画像圧縮制御部１０８は、動画／静止画圧縮処理部１０７にて求められたＩピクチャ２０２の符号量およびＱＰ値に基づいて、量子化テーブル３０２および量子化スケールファクタ３０３を生成する。つまり、撮影指示前に処理を行ったＩピクチャの符号量とＱＰ値より対象静止画像の複雑さの度合いを判断し、量子化テーブル３０２および量子化スケールファクタ３０３を生成する。
【００３４】
このようにして静止画像の圧縮符号化に必要な圧縮パラメータを、動画像の圧縮符号化で既に求められた符号量およびＱＰ値を利用して求めることができる。
これにより、通常の静止画処理と同じように静止画像用の圧縮パラメータを最初から求めるのと比べて処理負荷を抑えることができる。
【００３５】
（実施の形態２）
実施の形態１では撮影指示の直前のＩピクチャを符号量見積りに利用するとしたが、実施の形態２では、撮影指示の直前のＩピクチャか直後のＩピクチャのいずれを符号量見積りに利用するかを決定する処理を行う点が実施の形態１とは異なる。
【００３６】
図４は、実施の形態２におけるカメラシステム４００の構成図である。
この実施の形態２におけるカメラシステム１００は、撮像装置１０１と、撮像制御装置１０２と、動画像処理装置４０３と、記憶装置１０４と、表示装置１０５を備えている。
【００３７】
また、図４のカメラシステム４００は、図１のカメラシステム１００と大まかには同じであるが、画像入力部１０６が周波数検出部４０６ａを含む点、静止画像圧縮制御部４０８がシーン決定部４０１を含む点、受付部１１１の描画を省略している点などが異なっている。
【００３８】
周波数検出部４０６ａは、撮像素子制御装置１０２から入力される映像信号により示される画像の周波数成分を検出する。この検出は、任意に画像から選ばれた複数の周波数検出範囲に基づいて行われる。
【００３９】
シーン判定部４０１は、周波数検出部４０６ａより求められた周波数情報と、動画／静止画圧縮処理部１０７より求められた動きベクトル情報を元に符合量を見積もる対象のフレーム画像を決定する。本実施の形態では、フレーム画像を決定する対象は、撮影指示の直前または直後のＩピクチャである。
【００４０】
次に、図５を参照して動画の撮像中に静止画の撮像を行う場合の処理の流れを説明する。
動画撮像中にシャッターボタンの押下による撮影指示があると、
・撮像装置１０１および撮像素子制御装置１０２による静止画撮像のため露光処理（Ｓ２０３）
・画像入力部１０６によるＹＣ処理（Ｓ２０４）
の処理が動画の撮像と並行して行われる。
【００４１】
そして、撮影指示の直後のＩピクチャ５０２が作成されると、シーン判定部４０１は、直前のＩピクチャ５０１か直後のＩピクチャ５０２かのどちらを符号量見積りに用いるかを決定する処理を行う（Ｓ５０５：「符号量見積りに用いるＩピクチャの決定」）。
【００４２】
その後、圧縮率決定部１１０は、決定されたＩピクチャの生成に用いた符号量及びＱＰ値を取得し、取得した符号量及びＱＰ値に基づいて圧縮パラメータを求める（Ｓ２０５：「符号量見積り」）。
【００４３】
続いて、動画／静止画圧縮処理部１０７により、求められた圧縮パラメータに基づいた静止画像圧縮処理（Ｓ２０６）が行われる。
なお、ＹＣ処理（Ｓ２０４）により生成された画像データは、静止画圧縮（Ｓ２０６）が開始されるまで一時的に記憶装置１０４に記憶される。
【００４４】
さて、シーン判定部４０１によるＩピクチャ５０１かＩピクチャ５０２かのいずれか一方を決定する処理のやり方としては、図６〜図９にそれぞれ示す４種類の手法がある。以下、この４種類の手法１〜手法４を順に説明する。
【００４５】
（手法１）
手法１は、Ｉピクチャの動きベクトルの総和の大小に基づいて決定する方法である。
図６に示すように、シーン判定部４０１は、Ｉピクチャ５０１とＩピクチャ５０２とについて、それぞれの動きベクトルの総和を求め、求めた総和を比較する（Ｓ６０１）。
【００４６】
なお、このＩピクチャの動きベクトルの総和の算出方法は一般的なやり方を採用することができる。
例えば、Ｉピクチャの前後の１または複数の参照ピクチャ（Ｐピクチャ、Ｂピクチャ）を参照して、ブロック毎に動きベクトルを求め、求めた動きベクトルを足すことでＩピクチャ全体の動きベクトルの総和を求めることができる。
【００４７】
ステップＳ６０１において、Ｉピクチャ５０１の動きベクトルの総和の方が、Ｉピクチャ５０２の動きベクトルの総和より小さければ（Ｓ６０１：Ｙｅｓ）、シーン判定部４０１はＩピクチャ５０１を符号量見積りに用いるＩピクチャに決定する（Ｓ６０２）。
【００４８】
反対に、Ｉピクチャ５０１の動きベクトルの総和の方が、Ｉピクチャ５０２の動きベクトルの総和より小さく無ければ（Ｓ６０１：Ｎｏ）、シーン判定部４０１はＩピクチャ５０１を符号量見積りに用いるＩピクチャに決定する（Ｓ６０３）。
【００４９】
動きベクトルの総和がより小さい方のＩピクチャの方が、撮影指示時点のフレーム画像と比べて画像の性格が近いと考えられるため、手法１によれば、符合量見積もり処理（Ｓ２０５）の誤差を軽減することができる。
【００５０】
（手法２）
手法２は、Ｉピクチャの動きベクトルが閾値を超過した数の大小に基づいて決定する方法である。
【００５１】
図７に示すように、シーン判定部４０１は、Ｉピクチャ５０１とＩピクチャ５０２とについて、それぞれの動きベクトルを求め、各Ｉピクチャの動きベクトルの大きさが閾値を超過した数（閾値判定数）をカウントとする。
【００５２】
そして、Ｉピクチャ５０１の閾値判定数の方が、Ｉピクチャ５０２の閾値判定数より大きければ（Ｓ７０１：Ｙｅｓ）、シーン判定部４０１はＩピクチャ５０１を符号量見積りに用いるＩピクチャに決定する（Ｓ７０２）。
【００５３】
反対に、Ｉピクチャ５０１の閾値判定数の方が、Ｉピクチャ５０２の閾値判定数より大きく無ければ（Ｓ７０１：Ｎｏ）、シーン判定部４０１はＩピクチャ５０１を符号量見積りに用いるＩピクチャに決定する（Ｓ７０３）
この手法２によれば、手法１と同様、符合量見積もり処理（Ｓ２０５）の誤差を軽減することができる。
【００５４】
（手法３）
手法３は、Ｉピクチャの周波数ヒストグラムに基づいて決定する方法である。
図８に示すように、シーン判定部４０１は、Ｉピクチャ５０１の周波数ヒストグラムおよびＩピクチャ５０２の周波数ヒストグラムを解析する。そして、解析の結果、どちらが所定値に近いかを判定する（Ｓ８０１）。
【００５５】
シーン判定部４０１は、判定の結果、所定値に近い方のＩピクチャに決定する（Ｓ８０２，Ｓ８０３）。
ここで、所定値は、例えば撮影指示時点のフレームの画像に基づいて決定することができる。
【００５６】
（手法４）
手法４は、手法１〜３を組み合わせたものである。
Ｉピクチャ５０１とＩピクチャ５０２について、シーン判定部４０１は、
・判定Ａ：動きベクトル総和の大きさ判定（Ｓ６０１）
・判定Ｂ：閾値判定数の多さ判定（Ｓ７０１）
・判定Ｃ：周波数情報の近さ判定（Ｓ８０１）
の３種類の判定を行い（Ｓ９０１）、判定結果に基づいて総合的な判定を行う（Ｓ９０２）。
【００５７】
総合判定のやり方としては、判定Ａ〜判定Ｃの判定結果と総合判定との対応関係を示すテーブル９１０を用いることができる。
あるいは、判定種類毎の重み値を規定したテーブル９１１に従って、判定Ａ〜判定Ｃ毎に重み係数を乗算し、それぞれの総和を比較することで、Ｉピクチャ５０１かＩピクチャ５０２かを決定するとしてもよい。なお、重み値テーブル９１１で、一つの判定種類を削除したい場合はその重み系数を０とすることで実現できる。
【００５８】
＜補足１＞
以上、本実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
(１)撮影指示のトリガ
実施の形態では、ユーザによるシャッターボタンの押下を撮影指示のトリガの例として説明したが、これに限らず、例えば、タイマー制御などを利用して一定時間おきに自動的に撮影指示を受け付けるものとしても構わない。
（２）圧縮パラメータ
実施の形態では、静止画像の圧縮パラメータの一例として、量子化に用いる量子化パラメータを例に挙げて説明したが、これに限られない。
【００５９】
また、量子化パラメータは、量子化テーブル３０２（図３参照）および量子化スケールファクタ３０３から構成されるとしたが、これら量子化テーブル３０２および量子化スケールファクタ３０３どちらか一方のみを用いて構成してもよい。
【００６０】
また、量子化テーブル３０２や量子化スケールファクタ３０３の生成に際しては、ユーザにより予め設定された静止画像の画質モード（高画質モード、標準画質モードなど）に対応して生成の態様を異ならせてもよい。
（３）動画、静止画の符号化について
実施の形態は、前方後方フレームを参照するピクチャ間予測符号化を行うＭＰＥＧ動画符号化方式で動画を記録し、離散コサイン変換を行うＪＰＥＧ静止画符号化方式で静止画を記録する組み合わせに最適であるが、これらの組み合わせに限られるわけではない。動画像の圧縮符号化に用いたパラメータを、静止画像の圧縮符号化に用いるパラメータとして流用できる組み合わせであれば足りる。
（４）Ｉピクチャについて
実施の形態では、撮影指示の直前のＩピクチャ２０２，５０１か直後のＩピクチャ５０２のいずれかを符号量見積りに用いるとして説明したが、直前や直後でなくとも２個前のＩピクチャや２個後ろのＩピクチャを用いるとしてもよい。特にＩピクチャどうしの間隔が狭いＧＯＰ（Group Of Pictures）であれば、必ずしも直前や直後でなくとも、撮影指示の前後のＩピクチャであれば静止画像の品質への悪影響は出にくいと考えられる。
【００６１】
また、Ｉピクチャは、ＢピクチャやＰピクチャと異なり、ＪＰＥＧの処理によく似ているので用いることが好適である。
（５）集積回路
実施の形態の動画像処理装置は、典型的には集積回路であるＬＳＩ(Large Scale Integration)として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ(Integrated Circuit)、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（FieldProgrammable Gate Array）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００６２】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
（６）記録媒体、プログラム
実施の形態で示した処理をコンピュータ等の各種機器のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
【００６３】
このような記録媒体には、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc)等がある。
【００６４】
流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
＜補足２＞
本実施の形態は、以下の態様を含むものである。
（１）実施の形態に係る動画像処理装置は、動画像の生成中に静止画像を生成する機能を有する動画像処理装置であって、被写体像を撮像した映像信号を入力する入力部と、映像信号に対して、選定した符号化パラメータを用いて動画像の圧縮符号化を行うことにより、複数のフレームから構成される動画像を生成する圧縮処理部と、前記圧縮処理部による動画像の生成中に、静止画像の撮影指示を受け付ける受付部とを備え、前記圧縮処理部は、前記受付部が前記撮影指示を受け付けると、映像信号に対して、当該撮影指示の前後に生成された１フレームの生成時に選定した符号化パラメータに従って静止画像の圧縮符号化を行うことを特徴とする。
（２）さらに、前記撮影指示の前後に生成された２以上のフレームの中から、前記１フレームを決定する決定部を備え、前記決定部は、前記２以上のフレームの中で、Ｉ（Intra-coded）フレームを決定の対象とするが、Ｐ（Predicted）フレームまたはＢ（Bi-directional Predicted）フレームは決定の対象とはしないとしても構わない。
【００６５】
この構成によれば、Ｉフレーム（Ｉピクチャ）の処理は、静止画像の圧縮符号化（例えばＪＰＥＧ方式）に似ているため、静止画像の圧縮符号化に用いるパラメータをより正確に導出することが可能となる。
（３）前記決定部は、前記撮影指示の直前のＩフレーム、または、前記撮影指示の直後のＩフレームのいずれかひとつに決定するとしても構わない。
【００６６】
この構成によれば、静止画像の符号量見積もりの適切な実施に資する。
（４）前記決定部は、前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームについて、それぞれのフレーム画像における動きベクトルの総和を比較し、比較の結果、動きベクトルの総和が小さい方のＩフレームに決定するとしても構わない。
【００６７】
この構成によれば、例えば動画／静止画像圧縮回路だけで、静止画像の符号量見積もりを実施でき、より低負荷にすることができる。
（５）前記決定部は、前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームについて、それぞれのフレーム画像における動きベクトルの動き量が閾値を超えた数を比較し、比較の結果、超えた数が大きい方のＩフレームに決定するとしても構わない。
【００６８】
この構成によれば、例えば動画／静止画像圧縮回路だけで、静止画像の符号量見積もりを実施でき、より低負荷にすることができる。
（６）前記決定部は、前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームについて、それぞれのフレーム画像の周波数ヒストグラムの解析結果に基づいて、いずれかのＩフレームに決定するとしても構わない。
【００６９】
この構成によれば、例えば動画／静止画像圧縮回路だけで、静止画像の符号量見積もりを実施でき、より低負荷にすることができる。
（７）前記決定部は、前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームのそれぞれについて、各フレーム画像における動きベクトルの総和、各フレーム画像における動きベクトルの動き量が閾値を超えた数、および、各フレーム画像の周波数ヒストグラムの解析結果を総合的に評価することにより、いずれかのＩフレームに決定するとしても構わない。
【００７０】
この構成によれば、静止画像の符号量見積もりの適切な実施に資する。
（８）前記圧縮処理部は、前記符号化パラメータに従って量子化テーブルを決定し、決定された量子化テーブルに基づいて前記静止画像の圧縮符号化を行うとしても構わない。
【００７１】
この構成によれば、静止画像の圧縮符号化（例えばＪＰＥＧ方式）の調整パラメータ毎に最適な量子化を実施することが可能となる。
（９）前記符号化パラメータは、符号量とＱＰ（Quantization Parameter）値とを含むとしても構わない。
（１０）前記量子化パラメータは、量子化テーブル若しくは量子化スケールファクタのいずれか、または量子化テーブルおよび量子化スケールファクタの両方を含むとしても構わない。
（１１）実施の形態に係るカメラシステムは、被写体を光電変換して電気信号を出力する撮像装置と、前記撮像装置から出力される電気信号をデジタル変換し、変換により得られた映像信号を出力する撮像素子制御装置と、出力された映像信号に基づいて動画像および静止画像を生成する動画像処理装置と、前記動画像処理装置が取り扱うデータを一時的に格納する記憶装置と、前記動画像処理装置から出力される動画像および静止画像を表示する表示装置と、を備え、前記動画像処理装置は、上記（１）〜（１０）のいずれかの動画像処理装置であるとする。
【００７２】
この構成によれば、動画撮像処理における静止画像処理の負荷を軽減したカメラシステムの提供が可能となる。
【産業上の利用可能性】
【００７３】
本発明は、動画像と静止画像を符号化する画像符号化装置及び当該画像符号化装置を備えたカメラシステムとして有用である。
【符号の説明】
【００７４】
１００ カメラシステム
１０１ 撮像装置
１０２ 撮像素子制御装置
１０３ 動画像処理装置
１０４ 記憶装置
１０５ 表示装置
１０６ 画像入力部
１０７ 動画／静止画圧縮処理部
１０８ 静止画像圧縮制御部
１０９ 表示ＩＦ
１１０ 圧縮率決定部
２０２ 撮影指示直前に処理を行ったＩピクチャ（Ｉフレーム）
３０１ ＤＣＴ系数
３０２ 量子化テーブル（量子化パラメータの一種）
３０３ 量子化スケールファクタ（量子化パラメータの一種）
４０１ シーン判定部
４０６ａ 周波数検出部
５０１ 撮影指示直前に処理を行ったＩピクチャ（Ｉフレーム）
５０２ 撮影指示直後に処理を行うＩピクチャ（Ｉフレーム）
【特許請求の範囲】
【請求項１】
動画像の生成中に静止画像を生成する機能を有する動画像処理装置であって、
被写体像を撮像した映像信号を入力する入力部と、
映像信号に対して、選定した符号化パラメータを用いて動画像の圧縮符号化を行うことにより、複数のフレームから構成される動画像を生成する圧縮処理部と、
前記圧縮処理部による動画像の生成中に、静止画像の撮影指示を受け付ける受付部とを備え、
前記圧縮処理部は、前記受付部が前記撮影指示を受け付けると、映像信号に対して、当該撮影指示の前後に生成された１フレームの生成時に選定した符号化パラメータに従って静止画像の圧縮符号化を行う
ことを特徴とする動画像処理装置。
【請求項２】
さらに、前記撮影指示の前後に生成された２以上のフレームの中から、前記１フレームを決定する決定部を備え、
前記決定部は、
前記２以上のフレームの中で、Ｉ（Intra-coded）フレームを決定の対象とするが、Ｐ（Predicted）フレームまたはＢ（Bi-directional Predicted）フレームは決定の対象とはしない
ことを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
前記決定部は、
前記撮影指示の直前のＩフレーム、または、前記撮影指示の直後のＩフレームのいずれかひとつに決定する
ことを特徴とする請求項２に記載の動画像処理装置。
【請求項４】
前記決定部は、
前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームについて、それぞれのフレーム画像における動きベクトルの総和を比較し、
比較の結果、動きベクトルの総和が小さい方のＩフレームに決定する
ことを特徴とする請求項３に記載の動画像処理装置。
【請求項５】
前記決定部は、
前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームについて、それぞれのフレーム画像における動きベクトルの動き量が閾値を超えた数を比較し、
比較の結果、超えた数が大きい方のＩフレームに決定する
ことを特徴とする請求項３に記載の動画像処理装置。
【請求項６】
前記決定部は、
前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームについて、それぞれのフレーム画像の周波数ヒストグラムの解析結果に基づいて、いずれかのＩフレームに決定する
ことを特徴とする請求項３に記載の動画像処理装置。
【請求項７】
前記決定部は、
前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームのそれぞれについて、
各フレーム画像における動きベクトルの総和、各フレーム画像における動きベクトルの動き量が閾値を超えた数、および、各フレーム画像の周波数ヒストグラムの解析結果を総合的に評価することにより、いずれかのＩフレームに決定する
ことを特徴とする請求項３に記載の動画像処理装置。
【請求項８】
前記圧縮処理部は、前記符号化パラメータに従って量子化パラメータを決定し、決定された量子化パラメータに基づいて前記静止画像の圧縮符号化を行う
ことを特徴とする請求項１に記載の動画像処理装置。
【請求項９】
前記符号化パラメータは、符号量とＱＰ（Quantization Parameter）値とを含む
ことを特徴とする請求項８に記載の動画像処理装置。
【請求項１０】
前記量子化パラメータは、量子化テーブル若しくは量子化スケールファクタのいずれか、または量子化テーブルおよび量子化スケールファクタの両方を含む
ことを特徴とする請求項８に記載の動画像処理装置。
【請求項１１】
被写体を光電変換して電気信号を出力する撮像装置と、
前記撮像装置から出力される電気信号をデジタル変換し、変換により得られた映像信号を出力する撮像素子制御装置と、
出力された映像信号に基づいて動画像および静止画像を生成する動画像処理装置と、
前記動画像処理装置が取り扱うデータを一時的に格納する記憶装置と、
前記動画像処理装置から出力される動画像および静止画像を表示する表示装置と、を備え、
前記動画像処理装置は、請求項１〜１０のいずれか１項に記載の動画像処理装置である
ことを特徴とするカメラシステム。
【請求項１】
動画像の生成中に静止画像を生成する機能を有する動画像処理装置であって、
被写体像を撮像した映像信号を入力する入力部と、
映像信号に対して、選定した符号化パラメータを用いて動画像の圧縮符号化を行うことにより、複数のフレームから構成される動画像を生成する圧縮処理部と、
前記圧縮処理部による動画像の生成中に、静止画像の撮影指示を受け付ける受付部とを備え、
前記圧縮処理部は、前記受付部が前記撮影指示を受け付けると、映像信号に対して、当該撮影指示の前後に生成された１フレームの生成時に選定した符号化パラメータに従って静止画像の圧縮符号化を行う
ことを特徴とする動画像処理装置。
【請求項２】
さらに、前記撮影指示の前後に生成された２以上のフレームの中から、前記１フレームを決定する決定部を備え、
前記決定部は、
前記２以上のフレームの中で、Ｉ（Intra-coded）フレームを決定の対象とするが、Ｐ（Predicted）フレームまたはＢ（Bi-directional Predicted）フレームは決定の対象とはしない
ことを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
前記決定部は、
前記撮影指示の直前のＩフレーム、または、前記撮影指示の直後のＩフレームのいずれかひとつに決定する
ことを特徴とする請求項２に記載の動画像処理装置。
【請求項４】
前記決定部は、
前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームについて、それぞれのフレーム画像における動きベクトルの総和を比較し、
比較の結果、動きベクトルの総和が小さい方のＩフレームに決定する
ことを特徴とする請求項３に記載の動画像処理装置。
【請求項５】
前記決定部は、
前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームについて、それぞれのフレーム画像における動きベクトルの動き量が閾値を超えた数を比較し、
比較の結果、超えた数が大きい方のＩフレームに決定する
ことを特徴とする請求項３に記載の動画像処理装置。
【請求項６】
前記決定部は、
前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームについて、それぞれのフレーム画像の周波数ヒストグラムの解析結果に基づいて、いずれかのＩフレームに決定する
ことを特徴とする請求項３に記載の動画像処理装置。
【請求項７】
前記決定部は、
前記撮影指示の直前のＩフレームおよび前記撮影指示の直後のＩフレームのそれぞれについて、
各フレーム画像における動きベクトルの総和、各フレーム画像における動きベクトルの動き量が閾値を超えた数、および、各フレーム画像の周波数ヒストグラムの解析結果を総合的に評価することにより、いずれかのＩフレームに決定する
ことを特徴とする請求項３に記載の動画像処理装置。
【請求項８】
前記圧縮処理部は、前記符号化パラメータに従って量子化パラメータを決定し、決定された量子化パラメータに基づいて前記静止画像の圧縮符号化を行う
ことを特徴とする請求項１に記載の動画像処理装置。
【請求項９】
前記符号化パラメータは、符号量とＱＰ（Quantization Parameter）値とを含む
ことを特徴とする請求項８に記載の動画像処理装置。
【請求項１０】
前記量子化パラメータは、量子化テーブル若しくは量子化スケールファクタのいずれか、または量子化テーブルおよび量子化スケールファクタの両方を含む
ことを特徴とする請求項８に記載の動画像処理装置。
【請求項１１】
被写体を光電変換して電気信号を出力する撮像装置と、
前記撮像装置から出力される電気信号をデジタル変換し、変換により得られた映像信号を出力する撮像素子制御装置と、
出力された映像信号に基づいて動画像および静止画像を生成する動画像処理装置と、
前記動画像処理装置が取り扱うデータを一時的に格納する記憶装置と、
前記動画像処理装置から出力される動画像および静止画像を表示する表示装置と、を備え、
前記動画像処理装置は、請求項１〜１０のいずれか１項に記載の動画像処理装置である
ことを特徴とするカメラシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１９５８４９（Ｐ２０１２−１９５８４９Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−５９６４８（Ｐ２０１１−５９６４８）
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]