説明

動画像記録装置及び電子カメラ装置、動画像記録方法、プログラム

【課題】動画の撮影が終了するまで均一な画質で動画像を記録することが可能となる動画記録装置及び電子カメラ装置、動画像記録方法を提供する。
【解決手段】動画像の記録動作中に、記録媒体に対するフレーム毎の画像データの書込み処理時間が、そのとき許容されている時間を超えた範囲外であるときのフレームレート、ビットレートを記憶しておく。処理時間が範囲外であった場合には、次回の動画像の記録時におけるフレームレート、ビットレートを所定の割合だけ低下させる。例えば、処理時間が範囲外であったときの書込み処理時間における、許容されている時間に対する超過割合に応じた割合だけ下げる。それにより、記録途中に画質を変化させることなく、継続して動画像が記録できるようにする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画をストリーム記録する機能を備えた動画像記録装置及び電子カメラ装置と、動画像記録方法、プログラムに関する。
【背景技術】
【0002】
従来、動画撮影機能を備えたデジタルカメラ、携帯電話などにおいて動画像を記録するときのデータ形式は、Motion JPEG(Joint Photographic coding Experts Group)やMPEG(Moving Picture coding Experts Group)などが多く用いられている。これらは、一定時間間隔毎に圧縮符号化された画像データを記録する形式である。動画像を記録する媒体としては、SDメモリカード(Serure Digital memory card)などが多く用いられている。
【0003】
動画像を記録する場合、規定時間内での動画撮影については、一定時間間隔毎に圧縮符号化された画像データを内部メモリに一時蓄積して、撮影後に動画データを記録媒体に書き込むため、データ書き込み処理には時間的な制約がない。一方、記録媒体の容量一杯までの撮影が可能な動画撮影(以下、ストリーム録画という)については、撮影し圧縮符号化した動画データを逐次記録媒体に書き込まなければならないため、データ書き込み処理に時間的な制約がある。
【0004】
一方、メモリカードにおけるデータの書き込み性能は、メモリカードそれぞれにより異なり、書き込みが速いカード、遅いカードが存在する。そのため、書き込みが遅いカードを使用すると、書き込み時間がかかり過ぎることにより、一枚の画像を処理するために許された一定時間内に一連の処理が終了しないという状況が発生することがある。その場合には、撮影を中止するか、フレームレートを落とす(録画する画像の間隔を長くする)、またはビットレートを落とす(録画する画像の圧縮率を上げる)など、画質を低下させることにより、メモリカードに対するデータの書き込み量を減らすことにより撮影を継続させるなどの対応が一般に行われている。
【0005】
また、例えば下記の特許文献1には、デジタルカメラにおいて、予め内部メモリに複数フレーム分のバッファ領域を確保しておき、動画像をストリーム録画する際には、撮影し圧縮符号化した動画データの内部メモリへの書込み動作と並行して、先に記憶された画像データを読み出してメモリカード等に随時記録し、かつ記録が終了した動画データを内部メモリから消去する、つまり内部メモリをリングバッファとして使用し、このリングバッファが撮影時間の経過に伴いメモリカードに記録されていない動画データで一杯になった時点で動画撮影を中止する動画記録方法が記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2000−232619号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記従来の方法の場合、書き込み速度が遅いメモリカードあるいは書き込み速度が遅くなってしまったメモリカードを使用して何回も動画撮影を行うと、動画撮影を行う毎に撮影途中で撮影が強制的に中止されてしまうか、撮影途中で画質が変化してしまい、動画の撮影開始から撮影終了するまで均一な画質の動画像を得ることができなくなってしまうといった問題が発生する。
【0008】
本発明は、かかる従来の課題に鑑みてなされたものであり、動画の撮影が終了するまで均一な画質で動画像を記録することが可能となる動画記録装置及び電子カメラ装置、動画像記録方法と、それらの実現に使用されるプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
前記課題を解決するため請求項1の発明にあっては、動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録手段と、この動画像記録手段による前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する判断手段と、この判断手段により前記遅れが生じたと判断された場合に、その旨を示す情報を記憶する情報記憶手段と、この情報記憶手段に記憶されている前記情報に基づいて、前記動画像記録手段による次回の記録動作で記録される動画像の画質を設定する画質設定手段とを備えた動画像記録装置とした。
【0010】
かかる構成においては、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、その旨を示す情報が記憶され、その情報に基づいて、次回の記録動作で記録する動画像の画質が自動的に設定される。したがって、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、次回以降の記録動作で記録する動画像の画質を、遅れが生じたときの画質よりも低い画質とすることが可能となる。
【0011】
また、請求項2の発明にあっては、前記情報記憶手段は、前記判断手段により遅れが生じたと判断されたときに前記動画像記録手段により記録媒体に順次記録されている動画像の画質を示す画質情報を記憶し、前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記情報記憶手段に記憶されている画質情報により示される画質よりも所定の割合だけ低い画質に設定するものとした。
【0012】
かかる構成においては、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、次回以降の記録動作で記録する動画像の画質を、遅れが生じたときの画質よりも所定の割合だけ低い画質とすることが可能となる。
【0013】
また、請求項3の発明にあっては、前記情報記憶手段は、前記判断手段により遅れが生じたと判断された場合に、前記動画像記録手段による次回の記録動作で記録される動画像の画質を示す画質情報を記憶し、前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記情報記憶手段に記憶されている画質情報により示される画質に設定するものとした。
【0014】
かかる構成においては、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、次回以降の記録動作で記録する動画像の画質を、遅れが生じたとき記憶されていた画質情報により示される、遅れが生じたときの画質よりも低い画質とすることが可能となる。
【0015】
また、請求項4の発明にあっては、前記動画像記録手段により画像処理後の画像データが前記記録媒体へ記録されるときの所要時間を計測する計測手段を備え、前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記判断手段により前記遅れが生じたと判断されたときの動画像の記録途中において前記計測手段により計測された所要時間における、前記画像処理後の画像データの記録に許容されていた時間に対する超過割合に応じた割合だけ低下した画質に設定するものとした。
【0016】
かかる構成においては、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた後の記録動作で記録する動画像の画質の下げ幅を必要最小限に止めることができる。
【0017】
また、請求項5の発明にあっては、前記記録媒体に記録する複数フレーム分の画像処理後の画像データを一時記憶するバッファメモリを備え、前記判断手段は、前記バッファメモリにおける画像データの書き込み位置と読み出し位置とが所定の関係となったとき前記遅れが生じたと判断し、前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記判断手段により前記遅れが生じたと判断された時点で前記バッファメモリに記録されている前記記録媒体に未記録の画像データの合計サイズと、前記記録媒体に記録済みの画像データの合計サイズとの比率に応じた割合だけ低下した画質に設定するものとした。
【0018】
かかる構成においても、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた後の記録動作で記録する動画像の画質の下げ幅を必要最小限に止めることができる。
【0019】
また、請求項6の発明にあっては、前記動画像記録手段により画像処理後の画像データが前記記録媒体へ記録されるときの所要時間を計測する計測手段と、前記動画像記録手段による動画像の記録途中に前記計測手段により計測された所要時間の合計、及び前記記録媒体に記録された全画像データの合計サイズから、前記記録媒体へのデータの平均書込み速度を算出する速度算出手段と、前記動画像記録手段により新たな動画像が前記記録媒体へ記録される毎に前記算出手段により算出された平均書込み速度を履歴情報として記憶する速度履歴記憶手段と、この速度履歴記憶手段に記憶されている履歴情報に基づき、所定期間における前記平均書込み速度の劣化度合を取得する取得手段と、この取得手段により取得された劣化度合が決められた劣化度合を超えた旨を報知する報知手段とを備えたものとした。
【0020】
かかる構成においては、使用期間の経過に伴い記録する画像データの断片化によって記録媒体におけるデータの書き込み性能が一定以上劣化した場合には、それをユーザーに認識させることができる。
【0021】
また、請求項7の発明にあっては、動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録方法において、前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する工程と、前記遅れが生じたと判断された場合に、その旨を示す情報を記憶する工程と、記憶した前記情報に基づいて、次回の動画像の記録動作に先立ち、記録する動画像の画質を設定する工程とを含む方法とした。
【0022】
したがって、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、次回以降の記録動作で記録する動画像の画質を、遅れが生じたときの画質よりも低い画質とすることが可能となる。
【0023】
また、請求項8の発明にあっては、動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録装置が有するコンピュータを、動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録手段と、この動画像記録手段による前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する判断手段と、この判断手段により前記遅れが生じたと判断された場合に、その旨を示す情報を情報記憶手段に記憶させる制御手段と、前記情報記憶手段に記憶されている前記情報に基づいて、前記動画像記録手段による次回の記録動作で記録される動画像の画質を設定する画質設定手段として機能させるためのプログラムとした。
【0024】
また、請求項9の発明にあっては、撮像手段により所定のフレーム周期で撮像された、動画像を構成する画像データを前記所定のフレーム周期で圧縮しながら着脱自在な記録媒体に順次記録する動画撮影機能を備えた電子カメラ装置において、動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録手段と、この動画像記録手段による前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する判断手段と、この判断手段により前記遅れが生じたと判断された場合に、その旨を示す情報を情報記憶手段に記憶させる制御手段と、前記情報記憶手段に記憶されている前記情報に基づいて、前記動画像記録手段による次回の記録動作で記録される動画像の画質を設定する画質設定手段とを備えた電子カメラ装置とした。
【0025】
かかる構成においては、撮像された画像からなる動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、その旨を示す情報が記憶され、その情報に基づいて、次回の記録動作で記録する動画像の画質が自動的に設定される。したがって、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、次回以降の記録動作で記録する動画像の画質を、遅れが生じたときの画質よりも低い画質とすることが可能となる。
【発明の効果】
【0026】
本発明の装置及び方法においては、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、次回以降の記録動作で記録する動画像の画質を、遅れが生じたときの画質よりも低い(例えば所定の割合だけ低い)画質とすることが可能となるようにした。よって、動画像を記録する記録媒体として例えば同一の記録媒体を用いる場合、動画像の記録中に画像データの書込み処理に遅れが生じたとしても、次回以降の動画像の記録に際しては、その途中に画質を変更することなく正常な記録動作を継続させることができ、動画の撮影が終了するまで均一な画質で動画像を記録することが可能となる。
【0027】
これに加え、請求項4,5の発明においては、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた後の記録動作で記録する動画像の画質の下げ幅を必要最小限に止めることができるようにした。よって、より高品質の動画像を記録することができる。
【0028】
さらに、請求項6の発明においては、使用期間の経過に伴い、記録する画像データの断片化によって記録媒体におけるデータの書き込み性能が一定以上劣化した場合には、それをユーザーに認識させることができるようにした。よって、記録媒体の初期化を実行させることにより、記録可能な動画像の品質を、できるだけ記録媒体が有する本来のデータの書き込み性能に応じた画質に維持することが可能となる。
【図面の簡単な説明】
【0029】
【図1】本発明の各実施の形態に共通するデジタルカメラのブロック図である。
【図2】内蔵メモリのメモリ空間を示す模式図である。
【図3】同実施の形態における動画撮影処理の内容を示すフローチャートである。
【図4】図3に続くフローチャートである。
【図5】事前処理の内容を示すフローチャートである。
【図6】書込み時間履歴データを示す模式図である。
【図7】録画情報の内容を示す模式図である。
【図8】第2の実施の形態における内蔵メモリのメモリ空間を示す模式図である。
【図9】同実施の形態における動画撮影処理の内容を示すフローチャートである。
【図10】事前処理の内容を示すフローチャートである。
【図11】録画情報の内容を示す模式図である。
【発明を実施するための形態】
【0030】
以下、本発明の一実施の形態を図にしたがって説明する。
(実施形態1)
図1は、本発明の各実施の形態に共通するデジタルカメラのブロック図である。このデジタルカメラは動画撮影機能を備えたものであり、以下の構成を備えている。
【0031】
デジタルカメラは、カメラ本体1と、カメラ本体1に着脱可能な記録メディア20から構成されており、カメラ本体1には複数枚のレンズからなる光学系2、及び光学系2を介して自己の受光面に被写体の光像が結像される撮像手段であるベイヤ配列等の色フィルタが装着されたCCD3が配置されている。CCD3はタイミングジェネレータ7から送られる駆動信号により駆動され、被写体の光像を光電変換し撮像信号として出力する。CCD3からの出力信号はCDS回路4で相関二重サンプリング及びゲイン調整が行われ、A/D変換回路5でデジタル信号に変換される。A/D変換されたベイヤデータはDSP部6に入力され、ペデスタルクランプ等の処理が施された後、ブロック内の輝度・色差マトリックス回路で輝度(Y)信号及び色差(UV)信号に変換される。なお、DSP部6では、オートアイリス、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のための処理も行われる。
【0032】
DSP部6から出力されたYUVデータは解像度変換ブロック8で予め設定された画像サイズに変換された後、1フレーム分のデータが順次内蔵メモリ14(例えばSDRAM)に確保される画像データ用作業領域14a(図2参照)に格納される。内蔵メモリ14に格納された1フレーム分のYUVデータは表示コントローラ11へ送られ、そこでビデオ信号に変換された後、LCD(液晶表示器)12によりスルー画像として表示される。なお、LCD12は、後述する動画撮影時においては本発明の報知手段としても機能する。
【0033】
また、動画撮影時に内蔵メモリ14に格納されたYUVデータは順次データ圧縮伸長ブロック9へ送られ、所定の動画記録方式(例えばMotion−JPEGやMPEG)のコーデックによりデータ圧縮した後コード化され、内蔵メモリ14に一時的に記憶された後、メディアコントローラ10を介してフレームデータ(ビデオデータ)として記録メディア20に順次書き込まれる。係る一連の動作はフレーム毎に繰り返し実行される。つまりストリーム記録される。なお、動画撮影のフレームレートはタイミングジェネレータ7で作成されるタイミング信号によって決まり、コード化されるデータの圧縮率はデータ圧縮伸長ブロック9内の量子化テーブル値によって決定される。なお、静止画撮影時に内蔵メモリ14に格納された1フレーム分のYUVデータは、前記データ圧縮伸長ブロック9でJPEG方式等でデータ圧縮した後コード化され、内蔵メモリ14内でファイル化された後、メディアコントローラ10を介して記録メディア20に静止画データ(静止画ファイル)として記録される。また、データ圧縮伸長ブロック9は、静止画又は動画の再生時には記録メディア20から読み出された静止画や動画のデータを伸張し、静止画データやフレームデータとして内蔵メモリ14の画像データ用作業領域14aに展開する。
【0034】
音声処理ブロック15は、音声付の動画撮影時においてカメラ本体1に内蔵されたマイク16に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとして内蔵メモリ14へ送る。内蔵メモリ14に送られたオーディオデータはフレームデータと共に一連のストリームデータとして記録メディア20に順次書き込まれる。また、音声処理ブロック15は、音声付動画の再生時には、内蔵メモリ14から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体1に内蔵された内蔵スピーカ17から音声出力させる。
【0035】
キー入力ブロック18は、シャッターボタン、電源キー、MENUキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をCPU13に出力する。なお、シャッターボタンは動画撮影時に録画開始/終了ボタンとしても機能する。
【0036】
上述した各ブロックはCPU13により制御されており、CPU13が各ブロックの制御に必要とされるプログラムやデータはプログラムメモリ19に記憶されている。そして、CPU13は上記プログラム及びキー入力信号に基づき動作することにより本発明の動画像記録手段、判断手段、画質設定手段、計測手段、速度算出手段、制御手段、取得手段として機能する。
【0037】
また、プログラムメモリ19はEEPROMやフラッシュメモリ等の書き換え可能な不揮発性メモリからなり、上記プログラムやデータ以外にも、ユーザーにより設定されたシステムや各機能に関する設定データ、例えば動画撮影時に記録する動画像の品質を決める画像サイズ、フレームレート、圧縮率等の録画パラメータが随時記憶される。また、動画撮影時において、前記内蔵メモリ14には、図2に示したように、後述する書込情報100(図6参照)等の作業用データを記憶するバッファとして使用する汎用作業領域14bが、前記画像データ用作業領域14aとは別に確保される。
【0038】
次に、以上の構成からなるデジタルカメラにおける本発明に係る動作を説明する。図3は、動画撮影モードにおいて、シャッターボタンによる撮影開始操作に応じCPU13が実行する動画撮影処理の内容を示すフローチャートである。なお、ここでは、記録メディア20の使用開始後、または初期化後において初めて動画撮影モードが設定されたものとする。
【0039】
CPU13は、撮影開始操作があると直ちに図5に示した事前処理に移行し(ステップSA1)、後述する録画情報200(図7参照)が記録メディア20に記録されているか否かを確認する(ステップSA101)。ここでは、記録メディア20に一度も動画記録が行われておらず録画情報200は存在しないため(ステップSA101でNO)、そのまま図3の処理に戻り、そのときユーザーにより設定されているフレームレート、画像サイズ、圧縮率に応じた動画記録処理(ストリーム録画)を開始する。撮影開始直後の撮像タイミングでは前回の画像データ(フレームデータ)が存在しないため(ステップSA2,SA3が共にYES)、直ちにCCD3による撮像処理を実施する(ステップSA4)。引き続き、撮像した1フレーム目の画像データを圧縮符号化した後(ステップSA5)、圧縮符号化した画像データの記録メディア20への書き込みを開始するとともに、タイマ機能による画像データの書き込み時間の計測を開始する(ステップSA6)。
【0040】
その後、画像データの書き込みが終了したら(ステップSA7でYES)、書き込み時間の計測を終了し(ステップSA8)、その計測結果と、書き込んだデータサイズを内蔵メモリ14の汎用作業領域14bに記憶する(ステップSA9)。そして、撮影終了操作又は記録メディア20のフル状態の検出があるまでの間は(ステップSA10でNO)、新たな撮影タイミングが到来する毎に撮像処理、圧縮符号化、記録メディア20へのデータ書き込みを繰り返し(ステップSA4〜SA9)、その間に前記汎用作業領域14bにフレーム毎のフレーム数分の書き込み時間(T1,T2,T3,・・・)と書き込んだ画像データのサイズ(D1,D2,D3,・・・)からなる図6に示した書込み情報100を蓄積する。
【0041】
また、上記処理を繰り返す間に、いずれかの撮影タイミングが到来したとき、前のフレームの画像データについて記録メディア20への書き込み処理(保存処理)が終了していなかったときには(ステップSA3でNO)、処理時間情報として「範囲外」を前記汎用作業領域14bに暫定的に記憶する(ステップSA11)。なお、前記汎用作業領域14bには、処理時間情報の初期値として「範囲内」が予め記憶されているものとする。さらに、今回のフレームの画像データに代えて前回のフレームの画像データを使用するための処理を実施することにより、記録メディア20へ対するデータの書込みデータ量を減らし(ステップSA12)、ステップSA2へ戻る。
【0042】
やがて、ユーザーによる撮影終了操作又は記録メディア20のフル状態の検出があったら(ステップSA10でYES)、引き続き図4に示した処理に進み、バッファメモリに記憶されている処理時間情報が「範囲外」でなければ(ステップSA13でNO)、バッファメモリに記憶されている書込み情報100に基づき、書き込んだ画像データの合計サイズと書込み時間の合計時間から平均書込み速度を算出し(ステップSA14)、その算出結果と、前記処理時間情報(この場合は「範囲内」)、撮影時の設定フレームレート及び設定ビットレートを、図7に示したような録画情報200として記録メディア20の所定領域に記録し(ステップSA15)、そのまま動画撮影処理を終了する。なお、設定ビットレートは、ユーザにより設定されたフレームレート、画像サイズ、及び圧縮率により一義的に決まる値である。
【0043】
また、バッファメモリに記憶されている処理時間情報が「範囲外」であったときには(ステップSA13でYES)、上記と同様に平均書込み速度を算出した後(ステップSA16)、さらに前記汎用作業領域14bに書込み情報100として記憶されている中の最大の書込み時間、つまり撮像タイミングの到来時に記録メディア20に書き込み中であった画像データの書込みに要した時間の中で最も長かった時間について、撮影時のフレームレートで画像データの書込み可能な時間(撮像処理間隔)を超えた分の、書込み許容時間に対する割合(超過割合)を算出する(ステップSA17)。そして、その算出結果と、前記処理時間情報(この場合は「範囲外」)、撮影時の設定フレームレート及び設定ビットレート、平均書込み速度を録画情報200として記録メディア20の所定領域に記録する(ステップSA18)。
【0044】
次に、記録メディア20に規定回数(以下の説明では、100回とする。)以上の録画情報200が記録されているか否かを確認する(ステップSA19)。ここでは、記録メディア20を初期化した後等における初めての動画撮影であり、録画情報200が1回分しか記録されていないため(ステップSA19でNO)、そのまま動画撮影処理を終了する。なお、規定回数以上の録画情報が記録されていた場合の処理については後述する。
【0045】
一方、2回目以後の動画撮影が開始されたときには、前述した図5の事前処理において、記録メディア20には前回の録画情報200が記録されているため(ステップSA101でYES)、まず記録メディア20から前回の録画情報200を読み込み(ステップSA102)、前回の処理時間情報が「範囲外」であるか否か、つまり前回の動画撮影時に記録メディア20ヘの画像データの書き込みに遅れが生じたか否かを確認する(ステップSA103)。このとき処理時間情報が「範囲内」であって、遅れが生じていなければ(ステップSA103でNO)、直ちに事前処理を終了し、図3の前述したステップSA2以降の処理によって新たな動画像を記録する。
【0046】
また、前回の処理時間情報が「範囲外」であったときには、今回の動画記録時の録画パラメータにおけるフレームレート、ビットレートの値を、処理時間情報と対応して記録されている前回設定されていたフレームレート、ビットレートを、対応して記録されている超過割合に応じた分だけ下げた値に設定する、つまり動画像の画質(フレームレート、画像サイズ、圧縮率等)を記録メディア20におけるデータの書き込み性能に応じて低下させる設定を行う(ステップSA104)。例えば、図7に示したように、前回(1回目)の超過割合が20%であって、フレームレートが15fps、ビットレートが100Kバイトであったときには、下げる割合を80%として、フレームレートを12fps、ビットレートを80Kバイトに設定する。しかる後、事前処理を終了し、図3の前述したステップSA2以降の処理を実行する。これにより、2回目の動画撮影時においては、記録メディア20ヘの画像データの書き込みに遅れを生じさせることなく、つまりいずれかのフレームで前回の画像データを使用する処理(ステップSA12の処理)を行うことによる部分的な画質低下を生じさせることなく、撮影が終了するまで均一な画質で動画像を記録(ストリーム録画)することができる。
【0047】
他方、以上の処理より動画撮影が複数回行われると、記録メディア20内の所定領域には、図7に示したように撮影回数分の録画情報200が蓄積される。そして、いずれかの動画撮影の終了時において、前記汎用作業領域14bに記憶されている処理時間情報が「範囲外」であり(ステップSA13でYES)、しかも記録メディア20の所定領域に記録されている録画情報200の数が、その回の分を含めて規定回数(100回)以上に記録されているときには(ステップSA19でYES)、録画情報200に基づき平均書込み速度の劣化度合、つまり記録メディア20におけるデータの書き込み性能の劣化度合を算出する(ステップSA20)。具体的には、今回よりも100回以上前に保存されている、処理時間情報が「範囲外」である最も古い平均書込み速度に対する、ステップSA16において算出した今回の平均書込み速度の割合(パーセント)を劣化度合として、
劣化度合 = 最も古い平均書込み速度 ÷ 今回の平均書込み速度 ×100
により求める。
【0048】
そして、算出した劣化度合が規定以上でなければ(ステップSA21でNO)、そのまま動画撮影処理を終了し、劣化度合が規定以上であったときには(ステップSA21でYES)、記録メディアの初期化を促すメッセージをLCD12に表示した後(ステップSA22)、動画撮影処理を終了する。例えば、記録メディア20に記録されている録画情報が図7に示した内容で、かつ上記規定の劣化度合が80パーセントであるとき、103回目である今回は、処理時間情報が「範囲外」であり、かつ平均書込み速度が63Kバイト/sであり、1回目の83Kバイト/sに対する劣化度合は75パーセントであるため、記録メディア20の初期化を促すメッセージをLCD12に表示させることとなる。
【0049】
これにより、記録メディア20としてフラッシュメモリ等のディバイスを用いる場合に、使用期間の経過に伴い記録する画像データの断片化によってデータの書き込み性能が一定以上劣化した場合には、それをユーザーに認識させることができる。したがって、記録メディア20の初期化を実行させることにより、記録可能な動画像の品質を、できるだけ記録メディア20が有する本来のデータの書き込み性能に応じた画質に維持することが可能となる。
【0050】
なお、本実施の形態では、動画撮影時に、記録メディア20に対する画像データの書込み処理に遅れが生じたときには、今回のフレームの画像データに代えて前回のフレームの画像データを使用することにより、記録メディア20へ対するデータの書込み量を減らすようにしたが(ステップSA12)、その時点で動画撮影を中止させるようにしてもよい。その場合であっても、次回の動画撮影時には、撮影が終了するまで均一な画質で動画像を記録(ストリーム録画)することができる。但し、動画撮影処理を終了する前に前述したステップSA14〜SA18における録画情報200の記録処理を実施する必要がある。
【0051】
また、動画撮影時に、記録メディア20に対する画像データの書込み処理に遅れが生じ、次回の動画撮影におけるフレームレートとビットレートを下げる際、それらを、遅れが生じたときの書込み時間の、書込み許容時間に対する超過割合に応じた分だけ下げるようにしたが、フレームレートとビットレートとを超過割合に関係なく、予め決めておいた規定の割合だけ下げるようにしてもよい。但し、本実施の形態のようにした方が、フレームレートとビットレートの下げ幅を必要最小限に止めることができ、次回の動画撮影時に、より高品質の動画像を記録することができる。
【0052】
また、本実施の形態では、記録メディア20を本発明の情報記憶手段、速度履歴記録手段として機能させ、動画撮影を行う毎に取得した複数の録画情報200を履歴情報として記録メディア20に保存しておくようにしたが、上記のように次回の動画撮影におけるフレームレートとビットレートを予め決めておいた規定の割合だけ下げるものとし、またユーザーに記録メディア20の初期化を促すための処理を行わない場合には、前回の動画撮影時における録画情報200だけを記録メディア20に保存するだけでもよい。
【0053】
また、録画情報200は記録メディア20ではなくカメラ本体側(例えばプログラムメモリ19)に記録するようにしてもよい。その場合には、録画情報200を、記録メディア20を識別するための識別情報と共に、互いに対応づけて記憶しておき、使用する記録メディア20(識別情報)に対応する録画情報を読み出して使用する必要がある。
【0054】
(実施形態2)
次に、本発明の第2の実施の形態について説明する。本実施の形態は、第1の実施の形態で図1に示したものと同様の構成を備えたデジタルカメラにおいて、前記内蔵メモリ14に、図8に示したように画像データ用作業領域14aおよび汎用作業領域14bとは別に、先に説明したリングバッファとして使用されるリングバッファ領域(例えば60秒分程度の動画データが記録可能なサイズ領域)14cが割り当てられており、内蔵メモリ14が本発明のバッファメモリとして機能するとともに、前記プログラムメモリ19には、CPU13に後述する動画撮影処理を行わせることにより、CPU13を本発明の動画像記録手段、判断手段、画質設定手段、制御手段として機能させるためのプログラムが記録されているものである。
【0055】
以下、本実施の形態の本発明に係る動作を説明する。図9は、動画撮影モードにおいて、シャッターボタンによる撮影開始操作に応じCPU13が実行する動画撮影処理の内容を示すフローチャートである。なお、ここでも、記録メディア20の使用開始後、または初期化後において初めて動画撮影モードが設定されたものとする。
【0056】
CPU13は、撮影開始操作があると直ちに図10に示した事前処理に移行し(ステップSB1)、記録メディア20に後述する録画情報が記録されているか否かを確認する(ステップSB101)。ここでは、記録メディア20に一度も動画記録が行われておらず録画情報は存在しないため(ステップSB101でNO)、そのまま図9の処理に戻り、そのときユーザーにより設定されているフレームレート、画像サイズ、圧縮率に応じた動画記録処理(ストリーム録画)を開始する。撮影開始直後の撮像タイミングでは、内蔵メモリ14のリングバッファ領域14cには空きが有るため(ステップSB2,SB3が共にYES)、直ちにCCD3による撮像処理を実施する(ステップSB4)。引き続き、撮像した1フレーム目の画像データを圧縮符号化した後(ステップSB5)、圧縮符号化した画像データをリングバッファ領域14cに記憶する(ステップSB6)。
【0057】
その後、撮影終了操作があるまでの間は(ステップSB7でNO)、新たな撮影タイミングが到来する毎に撮像処理、圧縮符号化、前記リングバッファ領域14cへのデータ記憶を繰り返す(ステップSB4〜SB6)。なお、その間には、リングバッファ領域14cに記憶した画像データを、記憶順に読み出して記録メディア20に随時記録し、かつ記録が終了した動画データをリングバッファ領域14cから消去する処理(上書きを許可する処理)を並行して行う(図示せず)。
【0058】
また、上記処理を繰り返す間に、いずれかの撮影タイミングが到来したとき、リングバッファ領域14cに次の画像データを記憶するのに十分な空きがなかった場合には(ステップSB3でNO)、リングバッファ状態として「一杯」を、またその時点で記録メディア20に書込み済みのデータ量をそれぞれバッファ(汎用作業領域14b)に暫定的に記憶する(ステップSB8)。なお、前記汎用作業領域14bには、予めリングバッファ状態として「空き有り」が記憶されているものとする。さらに、今回のフレームの画像データに代えて前回のフレームの画像データを使用するための処理を実施することにより、記録メディア20に対するデータの書込み量を減らし(ステップSB9)、ステップSB2へ戻る。
【0059】
やがて、ユーザーによる撮影終了操作又は記録メディア20のフル状態の検出があったら(ステップSB7でYES)、バッファメモリに記憶されているリングバッファ状態、及び書込み済みデータ量と、撮影時のフレームレート及びビットレートとからなる録画情報300(図11参照)として記録メディア20の所定領域に記録した後(ステップSB10)、動画撮影処理を終了する。
【0060】
一方、2回目以後の動画撮影が開始されたときには、前述した図10の事前処理において、記録メディア20に録画情報が記録されているため(ステップSB101でYES)、まず記録メディア20から録画情報を読み込み(ステップSB102)、リングバッファ状態が「一杯」であるか否かを確認する(ステップSB103)。このときリングバッファ状態が「空き有り」であれば(ステップSB103でNO)、直ちに事前処理を終了し、図9の前述したステップSB2以降の処理によって新たな動画像を記録する。
【0061】
逆に、録画情報300が図11に示したような内容であって、リングバッファ状態が「一杯」であったときには、今回の動画記録時の録画パラメータにおけるフレームレート、ビットレートの値として、リングバッファ状態と共に記録されている書込み済みデータ量とリングバッファの容量の比率に合わせて、前回設定されていたフレームレート、ビットレートを下げた値に設定する、つまり動画像の画質を記録メディア20におけるデータの書き込み性能に応じて低下させる設定を行う(ステップSB104)。
【0062】
例えば、図示した例では、前回設定されていたフレームレートが15fps、ビットレートが100Kバイト、書込み済みデータ量が48000Kバイトであるため、仮にリングバッファの容量が6000Kバイトであれば(比率が8:1)、下げる割合を80%として、フレームレートを12fps、ビットレート(画像サイズ、圧縮率)を80Kバイトに設定する。しかる後、事前処理を終了し、図9の前述したステップSB2以降の処理を実行する。これにより、2回目の動画撮影時においては、動画撮影途中にリングバッファに溢れが生じることなく、つまりいずれかのフレームで前回の画像データを使用する処理(ステップSB9の処理)を行うことによる部分的な画質低下を生じさせることなく、撮影が終了するまで均一な画質で動画像を記録(ストリーム録画)することができる。
【0063】
なお、本実施の形態では、動画撮影時に、リングバッファが一杯となったときには、今回のフレームの画像データに代えて前回のフレームの画像データを使用することにより、記録メディア20に対するデータの書込み量を減らすようにしたが(ステップSB9)、その時点で動画撮影を中止させるようにしてもよい。その場合であっても、次回の動画撮影時には、撮影が終了するまで均一な画質(フレームレート、画像サイズ、圧縮率)で動画像を記録(ストリーム録画)することができる。但し、動画撮影処理を終了する前に前述したステップSB10における録画情報300の記録処理を実施する必要がある。
【0064】
また、動画撮影途中にリングバッファが一杯となり、次回の動画撮影におけるフレームレートとビットレートを下げる際、それらを、リングバッファ領域14cの容量と、リングバッファが一杯となった時の書込み済みデータ量との比率に合わせて下げるようにしたが、フレームレートとビットレートとを上記比率に関係なく、予め決めておいた規定の割合だけ下げるようにしてもよい。その場合、前述した書込み済みデータ量の記録は当然不要となる。但し、本実施の形態のようにした方が、フレームレートとビットレートの下げ幅を必要最小限に止めることができ、次回の動画撮影時に、より高品質の動画像を記録することができる。
【0065】
また、本実施の形態においても、記録メディア20を本発明の情報記憶手段として機能させ、録画情報300を記録メディア20に記録するようにしたが、記録メディア20ではなくカメラ本体側(例えばプログラムメモリ19)に記録するようにしてもよい。その場合には、録画情報を、記録メディア20を特定する識別情報と共に、互いに対応づけて記憶しておき、使用する記録メディア20(識別情報)に対応する録画情報を読み出して使用する必要がある。
【0066】
また、本実施の形態においては、記録メディア20におけるデータの書き込み性能が一定以上劣化した場合に、記録メディアの初期化を促すメッセージを表示するといった動作は行わないようにしたが、本実施の形態においても、第1の実施の形態のようにそれを実施するようにしてもよい。但し、その場合には、第1の実施の形態と同様に、動画像の記録を行っている間に画像データの書込み時間を計測するとともに、撮影毎に平均書込み速度を履歴情報として記憶しておき、それに基づき記録メディア20におけるデータの書き込み性能が一定以上劣化したか否かを判断する処理が別途必要となる。
【0067】
また、本実施の形態においては、記録メディア20へ書込む以前にリングバッファ領域14cに一時的に記憶しておく画像データを、圧縮符号化した後の画像データとしたが、圧縮前のYUVデータ又はベイヤデータをリングバッファ領域14cに記憶するようにしてもよい。
【0068】
また、前述したステップSB3においては、リングバッファ領域14cに次の画像データを記憶するのに十分な空きがなかった場合にリングバッファ状態が「一杯」であると判断するようにしたが、例えばリングバッファ領域14cの空き容量が所定量よりも低下していたとき、バッファメモリが一杯になったと判断するようにしてもよい。つまり、バッファメモリが一杯になったか否かの判断は、リングバッファ領域14cにおける画像データの書き込み位置と読み出し位置とが所定の関係になったか否かによって行えばよい。
【0069】
また、前回設定されていたフレームレート、ビットレートを下げる割合についても、リングバッファ領域14cにおける画像データの書き込み位置と読み出し位置とが所定の関係になった時点において、記録メディア20に未だ書込まれずにリングバッファ領域14cに残存する画像データの合計サイズと、記録メディア20に書込みが完了している画像データの合計サイズとの比率に応じた割合とすればよい。
【0070】
また、第1の実施の形態では、いずれかの撮像タイミングが到来した時点で記録メディア20に対する前のフレームの画像データの書込み処理が終了していない場合に、次回の動画撮影において記録する動画像の画質を下げるように、次回使用される録画パラメータ(フレームレート、画像サイズ、圧縮率)の値を下げ、また第2の実施の形態では、いずれかの撮像タイミングが到来した時点でリングバッファ状態が「一杯」であった場合に、次回使用される録画パラメータの値を下げるようにしたが、以下のようにしてもよい。
【0071】
例えば、録画情報として、次回の動画撮影において使用される録画パラメータ(フレームレート、画像サイズ、圧縮率)を記録メディア20等へ記録しておき、次回の動画撮影時には、予め記録されている録画パラメータを使用した動画撮影を行うようにしてもよい。
【0072】
また、単純に録画情報として、動画撮影中に、いずれかの撮像タイミングが到来した時点で記録メディア20に対する前のフレームの画像データの書込み処理が終了していない状況や、リングバッファ状態が「一杯」となる状況が発生したことを示すフラグ情報を記録しておき、係るフラグ情報から上記状況が発生したか否かを判断し、それが発生した場合に、次回使用される録画パラメータ(フレームレート、画像サイズ、圧縮率)の値を下げるための処理を行わせるようにしてもよい。
【0073】
また、以上の説明においては、本発明を、動画撮影機能を備えたデジタルカメラに採用した場合について説明したが、これに限らず本発明は、録画時に動画をストリーム記録する構成を備えたものであれば、例えばデジタルビデオカメラ、カメラ付き携帯電話機、カメラ付きPDA、カメラ付きパソコン等の種々の電子カメラ装置にも採用することができる。その場合においても、前述した効果を得ることができる。
【0074】
さらに、任意の形式で圧縮して記録する動画像は撮影されたものでなくとも、例えばアナログのテレビ放送の放送画像やビデオ入力端子から入力された動画像であってもよく、また、その場合を含め、動画を記録する記録媒体は半導体メモリに限らずハードディスク等であってもかまわない。
【符号の説明】
【0075】
1 カメラ本体
2 光学系
3 CCD
12 LCD
13 CPU
14 内蔵メモリ
14a 画像データ用作業領域
14b 汎用作業領域
14c リングバッファ領域
17 内蔵スピーカ
18 キー入力ブロック
19 プログラムメモリ
20 記録メディア
200 録画情報
300 録画情報

【特許請求の範囲】
【請求項1】
動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録手段と、
この動画像記録手段による前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する判断手段と、
この判断手段により前記遅れが生じたと判断された場合に、その旨を示す情報を記憶する情報記憶手段と、
この情報記憶手段に記憶されている前記情報に基づいて、前記動画像記録手段による次回の記録動作で記録される動画像の画質を設定する画質設定手段と
を備えたことを特徴とする動画像記録装置。
【請求項2】
前記情報記憶手段は、前記判断手段により遅れが生じたと判断されたときに前記動画像記録手段により記録媒体に順次記録されている動画像の画質を示す画質情報を記憶し、
前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記情報記憶手段に記憶されている画質情報により示される画質よりも所定の割合だけ低い画質に設定することを特徴とする請求項1記載の動画像記録装置。
【請求項3】
前記情報記憶手段は、前記判断手段により遅れが生じたと判断された場合に、前記動画像記録手段による次回の記録動作で記録される動画像の画質を示す画質情報を記憶し、
前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記情報記憶手段に記憶されている画質情報により示される画質に設定することを特徴とする請求項1記載の動画像記録装置。
【請求項4】
前記動画像記録手段により画像処理後の画像データが前記記録媒体へ記録されるときの所要時間を計測する計測手段を備え、
前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記判断手段により前記遅れが生じたと判断されたときの動画像の記録途中において前記計測手段により計測された所要時間における、前記画像処理後の画像データの記録に許容されていた時間に対する超過割合に応じた割合だけ低下した画質に設定することを特徴とする請求項2記載の動画像記録装置。
【請求項5】
前記記録媒体に記録する複数フレーム分の画像処理後の画像データを一時記憶するバッファメモリを備え、
前記判断手段は、前記バッファメモリにおける画像データの書き込み位置と読み出し位置とが所定の関係となったとき前記遅れが生じたと判断し、
前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記判断手段により前記遅れが生じたと判断された時点で前記バッファメモリに記録されている前記記録媒体に未記録の画像データの合計サイズと、前記記録媒体に記録済みの画像データの合計サイズとの比率に応じた割合だけ低下した画質に設定することを特徴とする請求項1記載の動画像記録装置。
【請求項6】
前記動画像記録手段により画像処理後の画像データが前記記録媒体へ記録されるときの所要時間を計測する計測手段と、
前記動画像記録手段による動画像の記録途中に前記計測手段により計測された所要時間の合計、及び前記記録媒体に記録された全画像データの合計サイズから、前記記録媒体へのデータの平均書込み速度を算出する速度算出手段と、
前記動画像記録手段により新たな動画像が前記記録媒体へ記録される毎に前記算出手段により算出された平均書込み速度を履歴情報として記憶する速度履歴記憶手段と、
この速度履歴記憶手段に記憶されている履歴情報に基づき、所定期間における前記平均書込み速度の劣化度合を取得する取得手段と、
この取得手段により取得された劣化度合が決められた劣化度合を超えた旨を報知する報知手段と
を備えたことを特徴とする請求項1,2,3,5いずれかに記載の動画像記録装置。
【請求項7】
動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録方法において、
前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する工程と、
前記遅れが生じたと判断された場合に、その旨を示す情報を記憶する工程と、
記憶した前記情報に基づいて、次回の動画像の記録動作に先立ち、記録する動画像の画質を設定する工程と
を含むことを特徴とする動画像記録方法。
【請求項8】
動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録装置が有するコンピュータを、
動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録手段と、
この動画像記録手段による前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する判断手段と、
この判断手段により前記遅れが生じたと判断された場合に、その旨を示す情報を情報記憶手段に記憶させる制御手段と、
前記情報記憶手段に記憶されている前記情報に基づいて、前記動画像記録手段による次回の記録動作で記録される動画像の画質を設定する画質設定手段と
して機能させるためのプログラム。
【請求項9】
撮像手段により所定のフレーム周期で撮像された、動画像を構成する画像データを前記所定のフレーム周期で圧縮しながら着脱自在な記録媒体に順次記録する動画撮影機能を備えた電子カメラ装置において、
動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録手段と、
この動画像記録手段による前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する判断手段と、
この判断手段により前記遅れが生じたと判断された場合に、その旨を示す情報を情報記憶手段に記憶させる制御手段と、
前記情報記憶手段に記憶されている前記情報に基づいて、前記動画像記録手段による次回の記録動作で記録される動画像の画質を設定する画質設定手段と
を備えたことを特徴とする電子カメラ装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2009−165158(P2009−165158A)
【公開日】平成21年7月23日(2009.7.23)
【国際特許分類】
【出願番号】特願2009−55338(P2009−55338)
【出願日】平成21年3月9日(2009.3.9)
【分割の表示】特願2004−112615(P2004−112615)の分割
【原出願日】平成16年4月7日(2004.4.7)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.EEPROM
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】