撮像方法および撮像装置
【課題】 撮影データを事後に他のメディアに対してダビングする時の発生データ量を撮影時に高精度に推定する。
【解決手段】 撮影を開始してＳ２において、エンコーダ５のビットレートＢＲ１としきい値Ｔｈとが比較される。ＢＲ１≧Ｔｈであれば、Ｓ３において、エンコーダ９で符号化した場合のデータ量が実測される。ＢＲ１＜Ｔｈと判定されると、エンコーダ９がデータ量予測動作を停止する。停止期間については、Ｓ５において、エンコーダ９で符号化した場合のデータ量がビットレートが固定値として見積られる。撮影が終了すると、撮影期間の容量見積データが求められ、撮影データがメディア７に記録され、容量見積データがダビングする際に利用できるように、撮影データと関連付けて記録される。
【解決手段】 撮影を開始してＳ２において、エンコーダ５のビットレートＢＲ１としきい値Ｔｈとが比較される。ＢＲ１≧Ｔｈであれば、Ｓ３において、エンコーダ９で符号化した場合のデータ量が実測される。ＢＲ１＜Ｔｈと判定されると、エンコーダ９がデータ量予測動作を停止する。停止期間については、Ｓ５において、エンコーダ９で符号化した場合のデータ量がビットレートが固定値として見積られる。撮影が終了すると、撮影期間の容量見積データが求められ、撮影データがメディア７に記録され、容量見積データがダビングする際に利用できるように、撮影データと関連付けて記録される。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、静止画、動画等を撮影する撮像方法および撮像装置に関する。
【背景技術】
【０００２】
ビデオカメラとレコーダが一体構成とされたカメラ・レコーダが普及している。最近では、記録媒体（以下、単にメディアと称する）としてカセットテープ、光ディスク、ハードディスク、メモリカード等の種々のものが使用されつつある。画像データの情報量が比較的多いので、メディアの容量を有効に活用するために、高能率符号化（以下、圧縮符号化と適宜称する）を施して情報量が圧縮されたデータをメディアに記録するのが普通である。圧縮符号化の方法としては、メディアに適した方法が使用される。
【０００３】
カメラ・レコーダによる撮影時には、装置に内蔵のメディアに撮影データが記録され、また、記録された撮影データを再生して表示することができる。しかしながら、カメラ・レコーダを持たない者が撮影データを再生することを考慮して、撮影データを他のメディアにコピーする（以下、ダビングと適宜称する）ことが行われる。カメラ・レコーダに付属のメディアがリムーバブルなものであっても、その再生にパーソナルコンピュータ、専用のリーダーを必要とする場合には、ＤＶＤ(Digital Versatile Disc)のような多くの者が持っているプレーヤーによって再生可能なメディアに対してダビングすることがなされる。
【０００４】
図１２は、ダビング処理を説明するための概略的ブロック図である。カメラ部１０１からの撮影データが圧縮符号化のエンコーダ１０２によって圧縮され、カメラ・レコーダに内蔵のメディア１０３に対して記録される。メディア１０３は、例えばメモリカードである。カメラ・レコーダが手元にない他の人が撮影データを再生して表示することを可能とするために、他のメディア１１３例えばＤＶＤに対して撮影データがダビングされる。
【０００５】
カメラ・レコーダに対してメディアドライブを接続し、メディア１０３からの撮影データをデコーダ１１１で復号し、復号データをエンコーダ１１２で符号化し、メディア１１３に対して符号化データを記録するようになされる。デコーダ１１１は、エンコーダ１０２と対応し、デコーダ１１１によって撮影データが復号される。エンコーダ１１２は、カメラ・レコーダが採用する圧縮符号化と異なる圧縮符号化のエンコーダである。例えばカメラ・レコーダが採用する圧縮符号化がMPEG-4 AVC(またはH.264)符号化であり、メディ
ア１１３に記録するための圧縮符号化がMPEG 2(Moving Picture Experts Group Phase 2)である。
【０００６】
カメラ・レコーダにおいて、MPEG 2による記録と同時に、無線などで撮影データを伝送するために圧縮率の高いMPEG-4 AVC(またはH.264)符号化で撮影データを符号化して記録
することが下記の特許文献１に記載されている。異なる圧縮符号化がなされた二つのデータは異なるメディアに記録される。
【０００７】
【特許文献１】特開２００４−２７４４４９号公報
【０００８】
特許文献１に記載のものでは、同時記録しているコンテンツのそれぞれの記録ビデオレートの表示、同時記録している二つのメディアのそれぞれの記録量と記録媒体の残量の表示等を行うことが記載されている。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載のように、二つのメディアに対して同時記録することは、装置の大型化、消費電力の増大等を招くので、他のメディアに対して撮影データを記録する場合には、図１２を参照して説明したように、カメラ・レコーダに内蔵のメディア１０３に対して撮影データを蓄積し、後でメディア１１３に対してダビングすることが好ましい。しかしながら、圧縮符号化方式が異なるために、メディア１１３に対してダビングする場合に、一つのメディアに記録できる容量を撮影データが超える可能性があり、例えば１枚のＤＶＤに対して撮影データを記録できない事態が生じる。
【００１０】
したがって、この発明の目的は、撮影と並行してダビングする場合に発生するデータ量を見積り、後でダビングする場合に、一つのメディア内に記録可能か否かを撮影中に容易に判断することが可能な撮影方法および撮影装置を提供することにある。
【課題を解決するための手段】
【００１１】
上述した課題を解決するために、この発明は、静止画および動画の一方または双方を撮影し、撮影データを記録媒体に記録する撮像方法において、
撮影データを第１の圧縮符号化方式で符号化する第１の符号化ステップと、
第１の符号化ステップで生成された符号化撮影データをメディアに記録する記録ステップと、
撮影データを第２の圧縮符号化方式で符号化した場合の発生データ量の予測に必要なデータを生成する第２の符号化ステップと、
第２の符号化ステップで生成されたデータから撮影期間の発生データ量を推定するステップと
からなる撮影方法である。
【００１２】
また、この発明は、静止画および動画の一方または双方を撮影し、撮影データを記録媒体に記録する撮像装置において、
撮影データを第１の圧縮符号化方式で符号化する第１のエンコーダと、
第１のエンコーダで生成された符号化撮影データをメディアに記録する記録部と、
撮影データを第２の圧縮符号化方式で符号化した場合の発生データ量の予測に必要なデータを生成する第２のエンコーダと、
第２のエンコーダで生成されたデータから撮影期間の発生データ量を推定する処理部と
からなる撮影装置である。
【発明の効果】
【００１３】
この発明によれば、撮影データの符号化と並行して撮影時と異なる圧縮符号化方式で撮影データを符号化した場合のデータ量を高精度に予測することができ、事後にダビングする時に記録媒体の容量を有効に活用することが可能となる。また、データ量の予測のための符号化を間欠的に行うことによって、消費電力を低減することができる。
【発明を実施するための最良の形態】
【００１４】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態によるカメラ・レコーダの構成を示す。参照符号１がレンズ部を示し、レンズ部１を通った被写体光がＣＣＤ（Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子２に入射される。撮像素子２に対しては、例えばBayer配列の三原色カラーフィルタが設けられており、撮像素子２の出力として三原色信号が得られる。この三原色信号がＡ／Ｄコンバータ３によってディジタル信号へ変換される。
【００１５】
カメラ部１から取り出された撮像信号がフロントエンド３に供給される。フロントエンド３は、撮像素子２からの色信号に対して、ノイズ成分を除去する相関二重サンプリング処理（ＣＤＳ）、ゲインコントロール処理（ＡＧＣ）、ディジタル変換処理（ＡＤＣ）等の処理を施す。フロントエンド３からの撮像データがＬＳＩ(Large Scale Integrated Circuit：大規模集積回路)の構成とされたカメラ信号処理部４に対して供給される。
【００１６】
カメラ信号処理部４では、ホワイトバランス補正処理、マトリクス演算処理、ガンマ補正処理、輝度信号（Ｙ）生成処理、色差信号（Ｃｒ，Ｃｂ）生成処理等を行う。カメラ信号処理部４によって生成された画像信号がディスプレイ８に供給され、撮像画像が表示される。ディスプレイ８は、撮影中に見ることができ、例えばＬＣＤ（Liquid Crystal Display)パネルである。
【００１７】
ホワイトバランス補正処理は、被写体の色温度環境の違い、カラーフィルタによる感度の違いによる各色間のアンバランスが補正する。補間処理は、存在していない色信号を補間する処理である。マトリクス演算処理は、撮像信号をｓＲＧＢへ変換する処理である。ガンマ補正処理によって、表示装置が有する非線形特性の逆補正を予め行うことで、最終的にリニアな特性が実現される。
【００１８】
輝度信号生成処理は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって輝度信号を生成する。色差信号生成処理ブロックは、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって色差信号を生成する。生成された色差信号が帯域制限の処理を受け、色差信号ＣｂおよびＣｒが生成される。
【００１９】
カメラ信号処理部４の出力画像データが撮影用の圧縮符号化のエンコーダ５（図においては、ＥＮＣ１と表記する）および記録部６を介してカメラ・レコーダに内蔵または外付けのメディア７に記憶される。例えば内蔵のメディアは、リムーバブルな記録メディアであるメモリカードである。エンコーダ５は、例えばMPEG-4 AVC(またはH.264)符号化のエ
ンコーダである。記録部６は、圧縮符号化データからメディア７の記録フォーマットに適した記録データを生成する。
【００２０】
メディア７から読み出されたデータが再生部１１を介して圧縮符号化のデコーダ１２に供給される。デコーダ１２は、エンコーダ５による圧縮を伸張するもので、例えばMPEG-4 AVC(またはH.264)符号化のデコーダである。デコーダ１２の出力端子１３にメディア７
の再生データが得られる。この再生データが図示しないが、アナログコンポジットビデオ信号等の出力形態に変換されて出力される。なお、メディア７に記録される撮影データは、動画および静止画の一方または双方である。
【００２１】
上述した構成は、既存のカメラ・レコーダと同様のものである。一実施形態では、エンコーダ５と同一の入力データがダビング時に使用される他の圧縮符号化例えばMPEG 2のエンコーダ９（図においては、ＥＮＣ２と表記する）に供給される。エンコーダ５およびエンコーダ９は、可変ビットレートの圧縮符号化を行っている。可変ビットレートは、絵柄が細かいような画像に対しては、より多くのデータ量を割り当て、平坦な画像に対しては、より少ないデータ量を割り当てることによって、平均的なビットレートは、所定のものであっても復号画像の画質を良好とできる符号化方法である。可変ビットレートを実現する方法としては、種々の方法を採用できる。
【００２２】
エンコーダ９は、ダビング時に発生するデータ量を見積もるために設けられており、実際に圧縮符号化データを出力する必要がなく、データ量の見積りに必要なデータ例えば圧縮符号化データのビットレートをシステムコントローラ１０に対して出力する。システムコントローラ１０は、エンコーダ９を間欠的に動作させるための制御信号をエンコーダ９に対して供給する。さらに、全ての撮影データに対してエンコーダ９を動作させるのではなく、ユーザが選択した撮影データに対してのみエンコーダ９を動作させるための制御がシステムコントローラ１０によってなされる。
【００２３】
後述するように、エンコーダ９の間欠動作は、所定の時間間隔でなされるものと、エンコーダ５のビットレートをしきい値と比較することによって、エンコーダ５のビットレートがしきい値以上の場合にのみ、エンコーダ５を動作させるものとがある。エンコーダ５のビットレートを監視する場合には、エンコーダ５からシステムコントローラ１０に対してビットレートの情報が供給される。システムコントローラ１０は、データ見積の結果のデータを記録部６に供給し、撮影データと関連付けてメディア７に記録する。
【００２４】
システムコントローラ１０は、カメラ信号処理部４、ディスプレイ８、カメラの動作等の装置全体を制御するために設けられている。システムコントローラ１０は、ＣＰＵ(Central Processing Unit)を有している。図示しないが、システムコントローラ１０に対し
てユーザが操作するスイッチ、ＧＵＩ(Graphical User Interface)等で生成されたキーの出力が入力される。さらに、システムコントローラ１０は、プログラム等が格納されているＲＯＭおよびＣＰＵの作業用のメモリとしてのＲＡＭを有している。なお、メディア７から読み出された圧縮画像データをデコードしてディスプレイ８に表示するための構成については省略されている。
【００２５】
上述したこの発明の一実施形態において、撮影時に、ユーザーが撮影開始のボタンを押すと、カメラが撮影を開始する。撮影を開始する信号が送られてくると、このカメラを制御しているシステムコントローラ１０は、撮影用の第１のエンコーダ５とエンコーダ５とは別の圧縮符号化方式で符号化するエンコーダ９を起動する。次に、カメラ信号処理部４からの撮影データが撮影用のエンコーダ５と、エンコーダ９の２つのエンコーダに入力される。
【００２６】
カメラ撮影の開始後、撮影用のエンコーダ５は、入力された撮影データを撮影データ記録形式の圧縮符号化によって符号化する。符号化後、符号化データを記録部６に出力する。記録部６は、撮影用エンコーダ５から出力されるデータをメディア７に記録する。
【００２７】
エンコーダ９は、エンコーダ５が連続的に撮影データを符号化する動作と異なり、カメラ信号処理部４から出力されてくるすべての画像データを符号化せずに、間欠的に符号化動作を行う。この符号化動作は、ダビング時に生じる発生データ量予測のためであるので、データ量予測動作と称する。これは、エンコーダ９を連続的に動作させることによる電力消費の問題を解決するためである。
【００２８】
図２Ａは、エンコーダ９の間欠動作の第１の例を示す。撮影時間の所定の停止期間Ａ例えば２０秒ごとに所定の動作期間Ｂ例えば１０秒の間のみデータ量予測動作を行う。但し、ダビングデータ記録時の圧縮符号化形式へとエンコードを行った撮影データについては、撮影時に記録が必要なデータではないので、記録部６に出力しない。その代わり、エンコーダ９によって得られた符号化データから、ダビングデータの発生データ量を推定し、この結果をシステムコントローラ１０に出力する。
【００２９】
このように、エンコーダ９は、撮影時には撮影データを記録するために使用するのではなく、撮影中の撮影データをダビング時の圧縮符号化形式へ変換した場合に必要となるデータ容量を計算および推定するために間欠的に動作する。その結果得られたエンコーダ９でエンコードした場合のデータ量実測値がシステムコントローラ１０に出力される。システムコントローラ１０は、エンコーダ９が動作していない期間については、下記に示す計算式を用いて計算を行い、ダビング時の容量見積値を求める。
【００３０】
Ａ＝（エンコーダ５が動作した時間）／（エンコーダ９が動作した時間）
ダビング時の容量見積値＝Ａ×エンコーダ９により得られたデータ量実測値
【００３１】
図２の例では、Ａ＝１２０秒／４０秒＝３
【００３２】
このように、エンコーダ９が連続的に動作しないので、連続動作と比較して、消費電力が抑えられ、且つ撮影データを別の形式で記録しなおした場合の記録容量を推定することができる。
【００３３】
図２Ａは、間欠的な容量見積方法の第１の例を示すものである。可変ビットレートの符号化を行っている場合では、エンコーダ９が停止期間中のデータ量を精度良く推定することによって、比較的高い精度でダビング時の容量見積値を求めることができる。エンコーダ９の動作が停止している停止期間における容量見積の第１の方法について、図２Ｂを参照して説明する。第１の方法では、エンコーダ９が動作している期間については、エンコーダ９が出力する実測値例えばビットレートＢＲ２を用いる。ビットレートＢＲ２と動作期間の長さからデータ量を実測することができる。エンコーダ９が動作していない期間については、その直前のエンコーダ９によるデータ量予測をおこなっていた動作期間の終端近傍例えば最後の瞬間のビットレートが停止期間の固定のビットレートとされて、撮影期間のデータ量が見積られる。
【００３４】
図３は、停止期間のデータ量推定方法の第２の方法を示す。エンコーダ９が動作している期間については、エンコーダ９が出力するビットレートＢＲ２を用いる。エンコーダ９が動作していない期間については、その直前のエンコーダ９の動作期間の平均のビットレートが停止期間の固定のビットレートとされて、撮影期間のデータ量が推定される。直前の動作期間が存在しない場合には、適当なビットレートが選択される。
【００３５】
図４は、間欠的な容量見積方法の第２の例を示す。上述した間欠的容量見積方法の第１の例は、エンコーダ９の動作期間と停止期間とがそれぞれ所定の長さに設定されている。これに対して、図４に示す第２の例では、システムコントローラ１０が撮影用のエンコーダ５からビットレートＢＲ１を受け取り、ビットレートＢＲ１がしきい値Ｔｈより高くなる期間でのみエンコーダ９を動作させるものである。
【００３６】
図４に示す間欠的動作における容量見積方法の第２の例における容量見積の第３の方法を図５に示す。撮影記録データのビットレートＢＲ１がしきい値Ｔｈ以上となることをトリガーとしてダビング用のエンコーダ９が動作する。動作期間では、エンコーダ９によるビットレートＢＲ２の実測値が用いられる。エンコーダ９の停止期間については、一定のビットレートであると仮定してデータ量が見積られる。この結果、ダビング時にビットレートが多く必要になる画像、すなわち、記憶容量が多く必要な画像を精度よく予測できることにより、データ全体を通しても高精度の容量見積が可能となる。
【００３７】
図６は、上述した図５に示される容量見積の第３の方法をシステムコントローラ１０の制御によって実現する場合の動作を示すフローチャートである。最初のステップＳ１においてユーザが例えば記録ボタンを押すことによって撮影が開始し、撮影の開始によって処理が開始する。撮影開始時点では、一例としてエンコーダ５のみ符号化作業を開始し、エンコーダ９は、データ量予測動作を開始しない。
【００３８】
ステップＳ２において、エンコーダ５のビットレートＢＲ１としきい値Ｔｈとが比較される。ＢＲ１≧Ｔｈであれば、ステップＳ３において、エンコーダ９で符号化した場合のデータ量が実測される。
【００３９】
そして、ステップＳ４において、撮影終了か否かが判定される。例えばユーザが記録ボタンを押すのを止めると、撮影および記録が終了する。撮影終了でなければ、処理がステップＳ２（ビットレートＢＲ１としきい値Ｔｈとの比較）に戻る。撮影終了であれば、ステップＳ７に処理が移行する。ステップＳ７は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００４０】
得られた容量見積データについては、システムコントローラ１０から記録部６に対して送られ、メディア７に記録された撮影データを別の圧縮符号化形式でダビングする際に利用できるように、記録される。例えばダビングする時に使用される記録側のメディアの必要量（例えば記録可能なＤＶＤの必要枚数）が表示される。
【００４１】
容量見積データは、別データとして撮影データと関連付けて同じメディア７内の同じフォルダ、または見積データ用に作られた別フォルダに撮影データと関連付ける情報が付与されて保存される。同じメディアである必要はなく、撮影データとは異なる記録媒体に、撮影データと関連付ける情報が付与されて保存される。また、このように別データとして撮影データと関連付けて保存する方法以外にも、撮影データ自体に追加情報として容量見積データを埋め込むといった方法も可能である。
【００４２】
図６のフローチャートのステップＳ２において、ＢＲ１＜Ｔｈと判定されると、ダビング用エンコーダ９がデータ量予測動作を停止する。停止期間については、ステップＳ５において、エンコーダ９で符号化した場合のデータ量がビットレートが固定値として見積られる。すなわち、撮影用のエンコーダ５のビットレートＢＲ１をエンコーダ９を動作させるしきい値Ｔｈとして用いているため、エンコーダ９の停止期間については、ダビング時に動画データをエンコードする際にも、ビットレートがある一定以下であると推定し、ビットレートを予め定めておき、その値を用いてエンコーダ９が動作していない期間のビットレートを推定する。
【００４３】
ステップＳ６において、撮影が終了したか否かが判定される。撮影が終了していなければ、ステップＳ２の処理（ビットレートＢＲ１としきい値Ｔｈとの比較）に戻る。撮影終了であれば、ステップＳ７に処理が移行する。ステップＳ７は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００４４】
図５に示す第３の方法では、エンコーダ９の停止期間のビットレートＢＲ９をある一種類の値を決めてすべての場合において、この値を適用してデータ量を見積もっている。しかしながら、このエンコーダ９が動作していない停止期間のビットレートの定め方については、他の方法が可能である。
【００４５】
図７は、容量見積方法の第４の方法を示す。エンコーダ５のビットレートＢＲ１がしきい値Ｔｈ以上でエンコーダ９が動作し、ＢＲ１がしきい値Ｔｈより小でエンコーダ９が停止する。停止期間のデータ量推定方法として、その直前のエンコーダ９が動作している期間のビットレートの変化量（傾き）に応じたビットレートを使用する。例えば、変化量が大きい場合には、より低いビットレート、変化量がほとんどない場合には、高めのビットレートが選択される。予め、変化量にあわせて数種類のビットレートが設定され、その中から最適な固定値が選択される。直前の動作期間が存在しない場合には、適当なビットレートが選択される。直前の動作期間が存在しない場合には、適当なビットレートが選択される。
【００４６】
図８は、エンコーダ９の動作期間をエンコーダ５のビットレートＢＲ１がしきい値Ｔｈ以上となってから一定期間例えば１０秒とするようにした間欠動作の第３の例を示す。この場合には、しきい値ＴｈをビットレートＢＲ１が超えた瞬間から１０秒間ダビング用エンコーダ９が動作する。そして、エンコーダ９の動作開始から１０秒後に、ビットレートＢＲ１がしきい値Ｔｈより小であれば、次にビットレートＢＲ１がしきい値Ｔｈを超えるまで、動作を停止する。また、動作開始から１０秒後にビットレートＢＲ１がしきい値Ｔｈ以上であった場合には、再度１０秒間動作する。
【００４７】
ダビング用エンコーダ９の停止期間については、データ量を推定し、撮影用のエンコーダ５により記録される撮影データのビットレートＢＲ１がしきい値Ｔｈ以上の期間でのみエンコーダ９による実測値を用いる。この結果、ダビング時にビットレートが多く必要になる場面を精度よく予測することができるので、データ全体を通しても高精度の容量見積が可能となる。
【００４８】
エンコーダ９の停止期間におけるデータ量の推定方法としては、上述した方法を使用できる。すなわち、直前の動作期間の最後の瞬間のビットレートを使用する第１の方法、直前の動作期間の平均的ビットレートを使用する第２の方法、予め決めた固定のビットレートを使用する第３の方法、直前の動作期間のビットレートの変化量に応じて選択された値を使用する第４の方法の何れを使用しても良い。
【００４９】
間欠動作の第２および第３の方法においては、エンコーダ５のビットレートＢＲ１としきい値Ｔｈを比較している。これは、撮影データを符号化する際にビットレートが多く必要な場合について、エンコーダ９を動作させて推定することにより、より精度よく容量を推定できるためである。
【００５０】
上述したように、システムコントローラ１０によって得られた容量見積値のデータは、撮影データと関連付けて記録されると共に、撮影中にディスプレイ８にＯＳＤによって表示される。表示の態様の一例を図９に示す。図９において、参照符号８ａがディスプレイ８の表示画面である。表示画面中には、記録中であることを示すマークと現在記録中のデータの記録時間の表示２１と、ダビングで記録されるメディアの残り容量の表示２２とがなされる。この表示２２を見てユーザは、適切な撮影時間を設定することができる。
【００５１】
なお、画像データ以外のヘッダ等の付加情報が存在するために、残り容量を表示する場合、見積もられた容量を１０％程度割ります処理を行うようにしても良い。また、ダビングで記録されるメディアとして、１種類に限定せず、複数種類のメディアの一つを選択可能とし、選択されたメディアについての残り容量を表示するようにしても良い。
【００５２】
一般的に、ビットレートが高くなる画像とは、シーンチェンジが激しい画像である。家庭用のカメラ・レコーダのような、ユーザーの操作によって、目の前の被写体を撮影・記録する機器の場合、例えばズーム動作やカメラの撮影向き（レンズ方向）が急に変化した場合など、ユーザが何らかの操作をすると、シーンチェンジの多い画像が発生すると考えることができる。
【００５３】
この点に着目してエンコーダ９を間欠動作させる方法の第４の例について説明する。第４の例では、ユーザがカメラ・レコーダを用いて撮影をおこなっている時に、ズーム機能を使うためにズームボタンの操作を行った場合、またはカメラが物理的に動かされた場合にエンコーダ９を動作させる。カメラの動きの変化を検知するために、カメラ内に加速度センサー等のカメラの動きを検知するセンサーを新たに追加する。但し、手振れ防止等の他の目的で、既に備えられている加速度センサー等の動きを感知できる機能を利用することもできる。
【００５４】
図１０に示すフローチャートは、第４の例を説明するものである。ステップＳ１１で撮影が開始されると、ステップＳ１２において、カメラの物理的な動きの有無が判定される。撮影開始時点では、一例としてエンコーダ５のみ符号化作業を開始し、エンコーダ９は、データ量予測動作を開始しない。カメラの動きが有りと判定されると、エンコーダ９がデータ量予測動作を行い、ステップＳ１３において、エンコーダ９が符号化した場合のデータ量が実測される。動作期間の長さは、カメラの動きが検出されてから所定の期間またはカメラが動いている期間に設定される。
【００５５】
そして、ステップＳ１４において、撮影終了か否かが判定される。例えばユーザが記録ボタンを押すのを止めると、撮影および記録が終了する。撮影終了でなければ、処理がステップＳ１２（カメラの動き検出）に戻る。撮影終了であれば、ステップＳ１８に処理が移行する。ステップＳ１８は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００５６】
図１０のフローチャートのステップＳ１２において、カメラの動きが無いと判定されると、ステップＳ１５において、ズームボタンが押されているか否かが判定される。ズームボタンが押されていると判定されると、エンコーダ９がズームボタンが押されている間、またはズームボタンが押されたことを検知してからある一定時間、データ量予測動作を行い、ステップＳ１３の処理（データ量の実測）がなされる。
【００５７】
ズームボタンが押されていないと判定されると、カメラの動きが無く、且つズームボタンも押されていないので、ダビング用エンコーダ９がデータ量予測動作を開始しないかまたは動作を停止する。エンコーダ９の停止期間におけるデータ量の推定方法としては、上述した第１乃至第４の方法の内の何れかの方法を使用できる。図１０のステップＳ１６では、ビットレートを予め設定された固定値としてデータ量が見積られる。
【００５８】
ステップＳ１７において、撮影が終了したか否かが判定される。撮影が終了していなければ、ステップＳ１２の処理（カメラの物理的動きの有無の検出）に戻る。撮影終了であれば、ステップＳ１８に処理が移行する。ステップＳ１８は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００５９】
図１０に示される間欠動作の第４の例は、カメラで撮影される画像が大幅に変化する期間にのみ、データ量を推定するためのエンコーダ９を動作させることができ、その結果、エンコーダ９を動作させることによる消費電力を抑えつつ、現在撮影時に用いている記録形式と異なる記録形式に撮影データをを変換する場合、撮影データの容量を精度よく見積もることができる
【００６０】
上述したように、エンコーダ９を間欠動作させる方法としては、第１の例から第４の例まである。これらは、単独で使用しても良いし、第１の例乃至第３の例の何れかと、第４の例とを組み合わせて使用しても良い。
【００６１】
図１１に示すフローチャートは、第２の例と第４の例とを組合せた場合の処理を示すものである。第２の例としては、図６のフローチャートで示す処理を使用している。最初のステップＳ２１においてユーザが例えば記録ボタンを押すことによって撮影が開始し、撮影の開始によって処理が開始する。撮影開始時点では、一例としてエンコーダ５のみ符号化作業を開始し、エンコーダ９は、データ量予測動作を開始しない。
【００６２】
ステップＳ２２において、エンコーダ５のビットレートＢＲ１としきい値Ｔｈとが比較される。ＢＲ１≧Ｔｈであれば、ステップＳ２３において、エンコーダ９で符号化した場合のデータ量が実測される。
【００６３】
そして、ステップＳ２４において、撮影終了か否かが判定される。例えばユーザが記録ボタンを押すのを止めると、撮影および記録が終了する。撮影終了でなければ、処理がステップＳ２２（ビットレートＢＲ１としきい値Ｔｈとの比較）に戻る。撮影終了であれば、ステップＳ２９に処理が移行する。ステップＳ２９は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００６４】
得られた容量見積データについては、システムコントローラ１０から記録部６に対して送られ、メディア７に記録された撮影データを別の圧縮符号化形式でダビングする際に利用できるように、記録される。
【００６５】
ステップＳ２２において、ＢＲ１＜Ｔｈと判定されると、ステップＳ２５において、カメラの物理的な動きの有無が判定される。カメラの動きが有りと判定されると、エンコーダ９がデータ量予測動作を行い、ステップＳ２３において、エンコーダ９が符号化した場合のデータ量が実測される。動作期間の長さは、カメラの動きが検出されてから所定の期間またはカメラが動いている期間に設定される。
【００６６】
そして、ステップＳ２４において、撮影終了か否かが判定される。例えばユーザが記録ボタンを押すのを止めると、撮影および記録が終了する。撮影終了でなければ、処理がステップＳ２２（ビットレートＢＲ１としきい値Ｔｈとの比較）に戻る。撮影終了であれば、ステップＳ２９に処理が移行する。ステップＳ２９は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００６７】
ステップＳ２５において、カメラの動きが無いと判定されると、ステップＳ２６において、ズームボタンが押されているか否かが判定される。ズームボタンが押されていると判定されると、エンコーダ９がズームボタンが押されている間、またはズームボタンが押されたことを検知してからある一定時間、データ量予測動作を行い、ステップＳ２３の処理（データ量の実測）がなされる。
【００６８】
ズームボタンが押されていないと判定されると、エンコーダ５のビットレートＢＲ１がしきい値Ｔｈより小であり、カメラの動きが無く、ズームボタンも押されていないので、ダビング用エンコーダ９がデータ量予測動作を開始しないかまたは動作を停止する。エンコーダ９の停止期間におけるデータ量の推定方法としては、上述した第１乃至第４の方法の内の何れかの方法を使用できる。図１１中のステップＳ２７では、ビットレートを予め設定された固定値としてデータ量が見積られる。
【００６９】
ステップＳ２８において、撮影が終了したか否かが判定される。撮影が終了していなければ、ステップＳ２２の処理（ビットレートＢＲ１としきい値Ｔｈとの比較）に戻る。撮影終了であれば、ステップＳ２９に処理が移行する。ステップＳ２９は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００７０】
図１１に示す容量見積方法は、エンコーダ５のビットレートを監視しておき、さらに、カメラの物理的な動きも監視するので、例えば動きの激しい物体を撮影する場合のように、物理的な動きがない場合にエンコーダ９のビットレートが大きく変化する場合にも対応でき、且つ物理的な変化を監視することで、物理的な動きによりエンコーダ９のビットレートが増加するタイミングをすばやく検知することができ、より高精度に容量見積が可能になる。
【００７１】
この発明は、上述したこの発明の実施形態に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、この発明は、圧縮符号化としては、MPEG 2、MPEG-4 AVC(またはH.264)符号化以外の符号化を使用しても良い。ま
た、この発明において符号化処理は、ハードウェアによる処理に限らず、ソフトウェアによる処理によって実現するようにしても良い。さらに、消費電力の低減を特に必要としない場合には、データ量を推定するためのエンコーダを連続的に動作させても良い。よりさらに、発生データ量の予測のためのエンコーダが符号化データを出力するようにして良い。
【００７２】
さらに、ダビング時に必要とされるエンコーダを備えても良い。その場合、ダビング用のエンコーダを符号化データを出力するように、処理を切り換え、実際のダビング時使用しても良い。さらに、この発明は、ビデオデータと共にオーディオデータに関してもデータ量予測処理を行い、ビデオデータおよびオーディオデータ全体のデータ量の見積を行うようにしても良い。
【図面の簡単な説明】
【００７３】
【図１】この発明の一実施形態による撮像装置の構成を示すブロック図である。
【図２】この発明による撮影方法の間欠動作の第１の例と停止期間の発生データ量の推定の第１の方法とを示すタイミングチャートである。
【図３】この発明による撮影方法の停止期間の発生データ量の推定の第２の方法を示すタイミングチャートである。
【図４】この発明による撮影方法の間欠動作の第２の例を示すタイミングチャートである。
【図５】この発明による撮影方法の停止期間の発生データ量の推定の第３の方法を示すタイミングチャートである。
【図６】図５に示す処理を実現するための処理方法を説明するためのフローチャートである。
【図７】この発明による撮影方法の停止期間の発生データ量の推定の第４の方法を示すタイミングチャートである。
【図８】この発明による撮影方法の間欠動作の第３の例を示すタイミングチャートである。
【図９】容量見積データの表示の一例を示す略線図である。
【図１０】この発明による撮影方法の間欠動作の第４の例を説明するためのフローチャートである。
【図１１】図６のフローチャートに示される処理と図１０のフローチャートに示される処理とを組み合わせた処理を説明するためのフローチャートである。
【図１２】この発明の適用例を説明するための概略的なブロック図である。
【符号の説明】
【００７４】
２・・・イメージャ
４・・・カメラ信号処理部
５・・・エンコーダ
６・・・記録部
７・・・メディア
８・・・ディスプレイ
９・・・エンコーダ
１０・・・システムコントローラ
【技術分野】
【０００１】
この発明は、静止画、動画等を撮影する撮像方法および撮像装置に関する。
【背景技術】
【０００２】
ビデオカメラとレコーダが一体構成とされたカメラ・レコーダが普及している。最近では、記録媒体（以下、単にメディアと称する）としてカセットテープ、光ディスク、ハードディスク、メモリカード等の種々のものが使用されつつある。画像データの情報量が比較的多いので、メディアの容量を有効に活用するために、高能率符号化（以下、圧縮符号化と適宜称する）を施して情報量が圧縮されたデータをメディアに記録するのが普通である。圧縮符号化の方法としては、メディアに適した方法が使用される。
【０００３】
カメラ・レコーダによる撮影時には、装置に内蔵のメディアに撮影データが記録され、また、記録された撮影データを再生して表示することができる。しかしながら、カメラ・レコーダを持たない者が撮影データを再生することを考慮して、撮影データを他のメディアにコピーする（以下、ダビングと適宜称する）ことが行われる。カメラ・レコーダに付属のメディアがリムーバブルなものであっても、その再生にパーソナルコンピュータ、専用のリーダーを必要とする場合には、ＤＶＤ(Digital Versatile Disc)のような多くの者が持っているプレーヤーによって再生可能なメディアに対してダビングすることがなされる。
【０００４】
図１２は、ダビング処理を説明するための概略的ブロック図である。カメラ部１０１からの撮影データが圧縮符号化のエンコーダ１０２によって圧縮され、カメラ・レコーダに内蔵のメディア１０３に対して記録される。メディア１０３は、例えばメモリカードである。カメラ・レコーダが手元にない他の人が撮影データを再生して表示することを可能とするために、他のメディア１１３例えばＤＶＤに対して撮影データがダビングされる。
【０００５】
カメラ・レコーダに対してメディアドライブを接続し、メディア１０３からの撮影データをデコーダ１１１で復号し、復号データをエンコーダ１１２で符号化し、メディア１１３に対して符号化データを記録するようになされる。デコーダ１１１は、エンコーダ１０２と対応し、デコーダ１１１によって撮影データが復号される。エンコーダ１１２は、カメラ・レコーダが採用する圧縮符号化と異なる圧縮符号化のエンコーダである。例えばカメラ・レコーダが採用する圧縮符号化がMPEG-4 AVC(またはH.264)符号化であり、メディ
ア１１３に記録するための圧縮符号化がMPEG 2(Moving Picture Experts Group Phase 2)である。
【０００６】
カメラ・レコーダにおいて、MPEG 2による記録と同時に、無線などで撮影データを伝送するために圧縮率の高いMPEG-4 AVC(またはH.264)符号化で撮影データを符号化して記録
することが下記の特許文献１に記載されている。異なる圧縮符号化がなされた二つのデータは異なるメディアに記録される。
【０００７】
【特許文献１】特開２００４−２７４４４９号公報
【０００８】
特許文献１に記載のものでは、同時記録しているコンテンツのそれぞれの記録ビデオレートの表示、同時記録している二つのメディアのそれぞれの記録量と記録媒体の残量の表示等を行うことが記載されている。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載のように、二つのメディアに対して同時記録することは、装置の大型化、消費電力の増大等を招くので、他のメディアに対して撮影データを記録する場合には、図１２を参照して説明したように、カメラ・レコーダに内蔵のメディア１０３に対して撮影データを蓄積し、後でメディア１１３に対してダビングすることが好ましい。しかしながら、圧縮符号化方式が異なるために、メディア１１３に対してダビングする場合に、一つのメディアに記録できる容量を撮影データが超える可能性があり、例えば１枚のＤＶＤに対して撮影データを記録できない事態が生じる。
【００１０】
したがって、この発明の目的は、撮影と並行してダビングする場合に発生するデータ量を見積り、後でダビングする場合に、一つのメディア内に記録可能か否かを撮影中に容易に判断することが可能な撮影方法および撮影装置を提供することにある。
【課題を解決するための手段】
【００１１】
上述した課題を解決するために、この発明は、静止画および動画の一方または双方を撮影し、撮影データを記録媒体に記録する撮像方法において、
撮影データを第１の圧縮符号化方式で符号化する第１の符号化ステップと、
第１の符号化ステップで生成された符号化撮影データをメディアに記録する記録ステップと、
撮影データを第２の圧縮符号化方式で符号化した場合の発生データ量の予測に必要なデータを生成する第２の符号化ステップと、
第２の符号化ステップで生成されたデータから撮影期間の発生データ量を推定するステップと
からなる撮影方法である。
【００１２】
また、この発明は、静止画および動画の一方または双方を撮影し、撮影データを記録媒体に記録する撮像装置において、
撮影データを第１の圧縮符号化方式で符号化する第１のエンコーダと、
第１のエンコーダで生成された符号化撮影データをメディアに記録する記録部と、
撮影データを第２の圧縮符号化方式で符号化した場合の発生データ量の予測に必要なデータを生成する第２のエンコーダと、
第２のエンコーダで生成されたデータから撮影期間の発生データ量を推定する処理部と
からなる撮影装置である。
【発明の効果】
【００１３】
この発明によれば、撮影データの符号化と並行して撮影時と異なる圧縮符号化方式で撮影データを符号化した場合のデータ量を高精度に予測することができ、事後にダビングする時に記録媒体の容量を有効に活用することが可能となる。また、データ量の予測のための符号化を間欠的に行うことによって、消費電力を低減することができる。
【発明を実施するための最良の形態】
【００１４】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態によるカメラ・レコーダの構成を示す。参照符号１がレンズ部を示し、レンズ部１を通った被写体光がＣＣＤ（Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子２に入射される。撮像素子２に対しては、例えばBayer配列の三原色カラーフィルタが設けられており、撮像素子２の出力として三原色信号が得られる。この三原色信号がＡ／Ｄコンバータ３によってディジタル信号へ変換される。
【００１５】
カメラ部１から取り出された撮像信号がフロントエンド３に供給される。フロントエンド３は、撮像素子２からの色信号に対して、ノイズ成分を除去する相関二重サンプリング処理（ＣＤＳ）、ゲインコントロール処理（ＡＧＣ）、ディジタル変換処理（ＡＤＣ）等の処理を施す。フロントエンド３からの撮像データがＬＳＩ(Large Scale Integrated Circuit：大規模集積回路)の構成とされたカメラ信号処理部４に対して供給される。
【００１６】
カメラ信号処理部４では、ホワイトバランス補正処理、マトリクス演算処理、ガンマ補正処理、輝度信号（Ｙ）生成処理、色差信号（Ｃｒ，Ｃｂ）生成処理等を行う。カメラ信号処理部４によって生成された画像信号がディスプレイ８に供給され、撮像画像が表示される。ディスプレイ８は、撮影中に見ることができ、例えばＬＣＤ（Liquid Crystal Display)パネルである。
【００１７】
ホワイトバランス補正処理は、被写体の色温度環境の違い、カラーフィルタによる感度の違いによる各色間のアンバランスが補正する。補間処理は、存在していない色信号を補間する処理である。マトリクス演算処理は、撮像信号をｓＲＧＢへ変換する処理である。ガンマ補正処理によって、表示装置が有する非線形特性の逆補正を予め行うことで、最終的にリニアな特性が実現される。
【００１８】
輝度信号生成処理は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって輝度信号を生成する。色差信号生成処理ブロックは、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって色差信号を生成する。生成された色差信号が帯域制限の処理を受け、色差信号ＣｂおよびＣｒが生成される。
【００１９】
カメラ信号処理部４の出力画像データが撮影用の圧縮符号化のエンコーダ５（図においては、ＥＮＣ１と表記する）および記録部６を介してカメラ・レコーダに内蔵または外付けのメディア７に記憶される。例えば内蔵のメディアは、リムーバブルな記録メディアであるメモリカードである。エンコーダ５は、例えばMPEG-4 AVC(またはH.264)符号化のエ
ンコーダである。記録部６は、圧縮符号化データからメディア７の記録フォーマットに適した記録データを生成する。
【００２０】
メディア７から読み出されたデータが再生部１１を介して圧縮符号化のデコーダ１２に供給される。デコーダ１２は、エンコーダ５による圧縮を伸張するもので、例えばMPEG-4 AVC(またはH.264)符号化のデコーダである。デコーダ１２の出力端子１３にメディア７
の再生データが得られる。この再生データが図示しないが、アナログコンポジットビデオ信号等の出力形態に変換されて出力される。なお、メディア７に記録される撮影データは、動画および静止画の一方または双方である。
【００２１】
上述した構成は、既存のカメラ・レコーダと同様のものである。一実施形態では、エンコーダ５と同一の入力データがダビング時に使用される他の圧縮符号化例えばMPEG 2のエンコーダ９（図においては、ＥＮＣ２と表記する）に供給される。エンコーダ５およびエンコーダ９は、可変ビットレートの圧縮符号化を行っている。可変ビットレートは、絵柄が細かいような画像に対しては、より多くのデータ量を割り当て、平坦な画像に対しては、より少ないデータ量を割り当てることによって、平均的なビットレートは、所定のものであっても復号画像の画質を良好とできる符号化方法である。可変ビットレートを実現する方法としては、種々の方法を採用できる。
【００２２】
エンコーダ９は、ダビング時に発生するデータ量を見積もるために設けられており、実際に圧縮符号化データを出力する必要がなく、データ量の見積りに必要なデータ例えば圧縮符号化データのビットレートをシステムコントローラ１０に対して出力する。システムコントローラ１０は、エンコーダ９を間欠的に動作させるための制御信号をエンコーダ９に対して供給する。さらに、全ての撮影データに対してエンコーダ９を動作させるのではなく、ユーザが選択した撮影データに対してのみエンコーダ９を動作させるための制御がシステムコントローラ１０によってなされる。
【００２３】
後述するように、エンコーダ９の間欠動作は、所定の時間間隔でなされるものと、エンコーダ５のビットレートをしきい値と比較することによって、エンコーダ５のビットレートがしきい値以上の場合にのみ、エンコーダ５を動作させるものとがある。エンコーダ５のビットレートを監視する場合には、エンコーダ５からシステムコントローラ１０に対してビットレートの情報が供給される。システムコントローラ１０は、データ見積の結果のデータを記録部６に供給し、撮影データと関連付けてメディア７に記録する。
【００２４】
システムコントローラ１０は、カメラ信号処理部４、ディスプレイ８、カメラの動作等の装置全体を制御するために設けられている。システムコントローラ１０は、ＣＰＵ(Central Processing Unit)を有している。図示しないが、システムコントローラ１０に対し
てユーザが操作するスイッチ、ＧＵＩ(Graphical User Interface)等で生成されたキーの出力が入力される。さらに、システムコントローラ１０は、プログラム等が格納されているＲＯＭおよびＣＰＵの作業用のメモリとしてのＲＡＭを有している。なお、メディア７から読み出された圧縮画像データをデコードしてディスプレイ８に表示するための構成については省略されている。
【００２５】
上述したこの発明の一実施形態において、撮影時に、ユーザーが撮影開始のボタンを押すと、カメラが撮影を開始する。撮影を開始する信号が送られてくると、このカメラを制御しているシステムコントローラ１０は、撮影用の第１のエンコーダ５とエンコーダ５とは別の圧縮符号化方式で符号化するエンコーダ９を起動する。次に、カメラ信号処理部４からの撮影データが撮影用のエンコーダ５と、エンコーダ９の２つのエンコーダに入力される。
【００２６】
カメラ撮影の開始後、撮影用のエンコーダ５は、入力された撮影データを撮影データ記録形式の圧縮符号化によって符号化する。符号化後、符号化データを記録部６に出力する。記録部６は、撮影用エンコーダ５から出力されるデータをメディア７に記録する。
【００２７】
エンコーダ９は、エンコーダ５が連続的に撮影データを符号化する動作と異なり、カメラ信号処理部４から出力されてくるすべての画像データを符号化せずに、間欠的に符号化動作を行う。この符号化動作は、ダビング時に生じる発生データ量予測のためであるので、データ量予測動作と称する。これは、エンコーダ９を連続的に動作させることによる電力消費の問題を解決するためである。
【００２８】
図２Ａは、エンコーダ９の間欠動作の第１の例を示す。撮影時間の所定の停止期間Ａ例えば２０秒ごとに所定の動作期間Ｂ例えば１０秒の間のみデータ量予測動作を行う。但し、ダビングデータ記録時の圧縮符号化形式へとエンコードを行った撮影データについては、撮影時に記録が必要なデータではないので、記録部６に出力しない。その代わり、エンコーダ９によって得られた符号化データから、ダビングデータの発生データ量を推定し、この結果をシステムコントローラ１０に出力する。
【００２９】
このように、エンコーダ９は、撮影時には撮影データを記録するために使用するのではなく、撮影中の撮影データをダビング時の圧縮符号化形式へ変換した場合に必要となるデータ容量を計算および推定するために間欠的に動作する。その結果得られたエンコーダ９でエンコードした場合のデータ量実測値がシステムコントローラ１０に出力される。システムコントローラ１０は、エンコーダ９が動作していない期間については、下記に示す計算式を用いて計算を行い、ダビング時の容量見積値を求める。
【００３０】
Ａ＝（エンコーダ５が動作した時間）／（エンコーダ９が動作した時間）
ダビング時の容量見積値＝Ａ×エンコーダ９により得られたデータ量実測値
【００３１】
図２の例では、Ａ＝１２０秒／４０秒＝３
【００３２】
このように、エンコーダ９が連続的に動作しないので、連続動作と比較して、消費電力が抑えられ、且つ撮影データを別の形式で記録しなおした場合の記録容量を推定することができる。
【００３３】
図２Ａは、間欠的な容量見積方法の第１の例を示すものである。可変ビットレートの符号化を行っている場合では、エンコーダ９が停止期間中のデータ量を精度良く推定することによって、比較的高い精度でダビング時の容量見積値を求めることができる。エンコーダ９の動作が停止している停止期間における容量見積の第１の方法について、図２Ｂを参照して説明する。第１の方法では、エンコーダ９が動作している期間については、エンコーダ９が出力する実測値例えばビットレートＢＲ２を用いる。ビットレートＢＲ２と動作期間の長さからデータ量を実測することができる。エンコーダ９が動作していない期間については、その直前のエンコーダ９によるデータ量予測をおこなっていた動作期間の終端近傍例えば最後の瞬間のビットレートが停止期間の固定のビットレートとされて、撮影期間のデータ量が見積られる。
【００３４】
図３は、停止期間のデータ量推定方法の第２の方法を示す。エンコーダ９が動作している期間については、エンコーダ９が出力するビットレートＢＲ２を用いる。エンコーダ９が動作していない期間については、その直前のエンコーダ９の動作期間の平均のビットレートが停止期間の固定のビットレートとされて、撮影期間のデータ量が推定される。直前の動作期間が存在しない場合には、適当なビットレートが選択される。
【００３５】
図４は、間欠的な容量見積方法の第２の例を示す。上述した間欠的容量見積方法の第１の例は、エンコーダ９の動作期間と停止期間とがそれぞれ所定の長さに設定されている。これに対して、図４に示す第２の例では、システムコントローラ１０が撮影用のエンコーダ５からビットレートＢＲ１を受け取り、ビットレートＢＲ１がしきい値Ｔｈより高くなる期間でのみエンコーダ９を動作させるものである。
【００３６】
図４に示す間欠的動作における容量見積方法の第２の例における容量見積の第３の方法を図５に示す。撮影記録データのビットレートＢＲ１がしきい値Ｔｈ以上となることをトリガーとしてダビング用のエンコーダ９が動作する。動作期間では、エンコーダ９によるビットレートＢＲ２の実測値が用いられる。エンコーダ９の停止期間については、一定のビットレートであると仮定してデータ量が見積られる。この結果、ダビング時にビットレートが多く必要になる画像、すなわち、記憶容量が多く必要な画像を精度よく予測できることにより、データ全体を通しても高精度の容量見積が可能となる。
【００３７】
図６は、上述した図５に示される容量見積の第３の方法をシステムコントローラ１０の制御によって実現する場合の動作を示すフローチャートである。最初のステップＳ１においてユーザが例えば記録ボタンを押すことによって撮影が開始し、撮影の開始によって処理が開始する。撮影開始時点では、一例としてエンコーダ５のみ符号化作業を開始し、エンコーダ９は、データ量予測動作を開始しない。
【００３８】
ステップＳ２において、エンコーダ５のビットレートＢＲ１としきい値Ｔｈとが比較される。ＢＲ１≧Ｔｈであれば、ステップＳ３において、エンコーダ９で符号化した場合のデータ量が実測される。
【００３９】
そして、ステップＳ４において、撮影終了か否かが判定される。例えばユーザが記録ボタンを押すのを止めると、撮影および記録が終了する。撮影終了でなければ、処理がステップＳ２（ビットレートＢＲ１としきい値Ｔｈとの比較）に戻る。撮影終了であれば、ステップＳ７に処理が移行する。ステップＳ７は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００４０】
得られた容量見積データについては、システムコントローラ１０から記録部６に対して送られ、メディア７に記録された撮影データを別の圧縮符号化形式でダビングする際に利用できるように、記録される。例えばダビングする時に使用される記録側のメディアの必要量（例えば記録可能なＤＶＤの必要枚数）が表示される。
【００４１】
容量見積データは、別データとして撮影データと関連付けて同じメディア７内の同じフォルダ、または見積データ用に作られた別フォルダに撮影データと関連付ける情報が付与されて保存される。同じメディアである必要はなく、撮影データとは異なる記録媒体に、撮影データと関連付ける情報が付与されて保存される。また、このように別データとして撮影データと関連付けて保存する方法以外にも、撮影データ自体に追加情報として容量見積データを埋め込むといった方法も可能である。
【００４２】
図６のフローチャートのステップＳ２において、ＢＲ１＜Ｔｈと判定されると、ダビング用エンコーダ９がデータ量予測動作を停止する。停止期間については、ステップＳ５において、エンコーダ９で符号化した場合のデータ量がビットレートが固定値として見積られる。すなわち、撮影用のエンコーダ５のビットレートＢＲ１をエンコーダ９を動作させるしきい値Ｔｈとして用いているため、エンコーダ９の停止期間については、ダビング時に動画データをエンコードする際にも、ビットレートがある一定以下であると推定し、ビットレートを予め定めておき、その値を用いてエンコーダ９が動作していない期間のビットレートを推定する。
【００４３】
ステップＳ６において、撮影が終了したか否かが判定される。撮影が終了していなければ、ステップＳ２の処理（ビットレートＢＲ１としきい値Ｔｈとの比較）に戻る。撮影終了であれば、ステップＳ７に処理が移行する。ステップＳ７は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００４４】
図５に示す第３の方法では、エンコーダ９の停止期間のビットレートＢＲ９をある一種類の値を決めてすべての場合において、この値を適用してデータ量を見積もっている。しかしながら、このエンコーダ９が動作していない停止期間のビットレートの定め方については、他の方法が可能である。
【００４５】
図７は、容量見積方法の第４の方法を示す。エンコーダ５のビットレートＢＲ１がしきい値Ｔｈ以上でエンコーダ９が動作し、ＢＲ１がしきい値Ｔｈより小でエンコーダ９が停止する。停止期間のデータ量推定方法として、その直前のエンコーダ９が動作している期間のビットレートの変化量（傾き）に応じたビットレートを使用する。例えば、変化量が大きい場合には、より低いビットレート、変化量がほとんどない場合には、高めのビットレートが選択される。予め、変化量にあわせて数種類のビットレートが設定され、その中から最適な固定値が選択される。直前の動作期間が存在しない場合には、適当なビットレートが選択される。直前の動作期間が存在しない場合には、適当なビットレートが選択される。
【００４６】
図８は、エンコーダ９の動作期間をエンコーダ５のビットレートＢＲ１がしきい値Ｔｈ以上となってから一定期間例えば１０秒とするようにした間欠動作の第３の例を示す。この場合には、しきい値ＴｈをビットレートＢＲ１が超えた瞬間から１０秒間ダビング用エンコーダ９が動作する。そして、エンコーダ９の動作開始から１０秒後に、ビットレートＢＲ１がしきい値Ｔｈより小であれば、次にビットレートＢＲ１がしきい値Ｔｈを超えるまで、動作を停止する。また、動作開始から１０秒後にビットレートＢＲ１がしきい値Ｔｈ以上であった場合には、再度１０秒間動作する。
【００４７】
ダビング用エンコーダ９の停止期間については、データ量を推定し、撮影用のエンコーダ５により記録される撮影データのビットレートＢＲ１がしきい値Ｔｈ以上の期間でのみエンコーダ９による実測値を用いる。この結果、ダビング時にビットレートが多く必要になる場面を精度よく予測することができるので、データ全体を通しても高精度の容量見積が可能となる。
【００４８】
エンコーダ９の停止期間におけるデータ量の推定方法としては、上述した方法を使用できる。すなわち、直前の動作期間の最後の瞬間のビットレートを使用する第１の方法、直前の動作期間の平均的ビットレートを使用する第２の方法、予め決めた固定のビットレートを使用する第３の方法、直前の動作期間のビットレートの変化量に応じて選択された値を使用する第４の方法の何れを使用しても良い。
【００４９】
間欠動作の第２および第３の方法においては、エンコーダ５のビットレートＢＲ１としきい値Ｔｈを比較している。これは、撮影データを符号化する際にビットレートが多く必要な場合について、エンコーダ９を動作させて推定することにより、より精度よく容量を推定できるためである。
【００５０】
上述したように、システムコントローラ１０によって得られた容量見積値のデータは、撮影データと関連付けて記録されると共に、撮影中にディスプレイ８にＯＳＤによって表示される。表示の態様の一例を図９に示す。図９において、参照符号８ａがディスプレイ８の表示画面である。表示画面中には、記録中であることを示すマークと現在記録中のデータの記録時間の表示２１と、ダビングで記録されるメディアの残り容量の表示２２とがなされる。この表示２２を見てユーザは、適切な撮影時間を設定することができる。
【００５１】
なお、画像データ以外のヘッダ等の付加情報が存在するために、残り容量を表示する場合、見積もられた容量を１０％程度割ります処理を行うようにしても良い。また、ダビングで記録されるメディアとして、１種類に限定せず、複数種類のメディアの一つを選択可能とし、選択されたメディアについての残り容量を表示するようにしても良い。
【００５２】
一般的に、ビットレートが高くなる画像とは、シーンチェンジが激しい画像である。家庭用のカメラ・レコーダのような、ユーザーの操作によって、目の前の被写体を撮影・記録する機器の場合、例えばズーム動作やカメラの撮影向き（レンズ方向）が急に変化した場合など、ユーザが何らかの操作をすると、シーンチェンジの多い画像が発生すると考えることができる。
【００５３】
この点に着目してエンコーダ９を間欠動作させる方法の第４の例について説明する。第４の例では、ユーザがカメラ・レコーダを用いて撮影をおこなっている時に、ズーム機能を使うためにズームボタンの操作を行った場合、またはカメラが物理的に動かされた場合にエンコーダ９を動作させる。カメラの動きの変化を検知するために、カメラ内に加速度センサー等のカメラの動きを検知するセンサーを新たに追加する。但し、手振れ防止等の他の目的で、既に備えられている加速度センサー等の動きを感知できる機能を利用することもできる。
【００５４】
図１０に示すフローチャートは、第４の例を説明するものである。ステップＳ１１で撮影が開始されると、ステップＳ１２において、カメラの物理的な動きの有無が判定される。撮影開始時点では、一例としてエンコーダ５のみ符号化作業を開始し、エンコーダ９は、データ量予測動作を開始しない。カメラの動きが有りと判定されると、エンコーダ９がデータ量予測動作を行い、ステップＳ１３において、エンコーダ９が符号化した場合のデータ量が実測される。動作期間の長さは、カメラの動きが検出されてから所定の期間またはカメラが動いている期間に設定される。
【００５５】
そして、ステップＳ１４において、撮影終了か否かが判定される。例えばユーザが記録ボタンを押すのを止めると、撮影および記録が終了する。撮影終了でなければ、処理がステップＳ１２（カメラの動き検出）に戻る。撮影終了であれば、ステップＳ１８に処理が移行する。ステップＳ１８は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００５６】
図１０のフローチャートのステップＳ１２において、カメラの動きが無いと判定されると、ステップＳ１５において、ズームボタンが押されているか否かが判定される。ズームボタンが押されていると判定されると、エンコーダ９がズームボタンが押されている間、またはズームボタンが押されたことを検知してからある一定時間、データ量予測動作を行い、ステップＳ１３の処理（データ量の実測）がなされる。
【００５７】
ズームボタンが押されていないと判定されると、カメラの動きが無く、且つズームボタンも押されていないので、ダビング用エンコーダ９がデータ量予測動作を開始しないかまたは動作を停止する。エンコーダ９の停止期間におけるデータ量の推定方法としては、上述した第１乃至第４の方法の内の何れかの方法を使用できる。図１０のステップＳ１６では、ビットレートを予め設定された固定値としてデータ量が見積られる。
【００５８】
ステップＳ１７において、撮影が終了したか否かが判定される。撮影が終了していなければ、ステップＳ１２の処理（カメラの物理的動きの有無の検出）に戻る。撮影終了であれば、ステップＳ１８に処理が移行する。ステップＳ１８は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００５９】
図１０に示される間欠動作の第４の例は、カメラで撮影される画像が大幅に変化する期間にのみ、データ量を推定するためのエンコーダ９を動作させることができ、その結果、エンコーダ９を動作させることによる消費電力を抑えつつ、現在撮影時に用いている記録形式と異なる記録形式に撮影データをを変換する場合、撮影データの容量を精度よく見積もることができる
【００６０】
上述したように、エンコーダ９を間欠動作させる方法としては、第１の例から第４の例まである。これらは、単独で使用しても良いし、第１の例乃至第３の例の何れかと、第４の例とを組み合わせて使用しても良い。
【００６１】
図１１に示すフローチャートは、第２の例と第４の例とを組合せた場合の処理を示すものである。第２の例としては、図６のフローチャートで示す処理を使用している。最初のステップＳ２１においてユーザが例えば記録ボタンを押すことによって撮影が開始し、撮影の開始によって処理が開始する。撮影開始時点では、一例としてエンコーダ５のみ符号化作業を開始し、エンコーダ９は、データ量予測動作を開始しない。
【００６２】
ステップＳ２２において、エンコーダ５のビットレートＢＲ１としきい値Ｔｈとが比較される。ＢＲ１≧Ｔｈであれば、ステップＳ２３において、エンコーダ９で符号化した場合のデータ量が実測される。
【００６３】
そして、ステップＳ２４において、撮影終了か否かが判定される。例えばユーザが記録ボタンを押すのを止めると、撮影および記録が終了する。撮影終了でなければ、処理がステップＳ２２（ビットレートＢＲ１としきい値Ｔｈとの比較）に戻る。撮影終了であれば、ステップＳ２９に処理が移行する。ステップＳ２９は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００６４】
得られた容量見積データについては、システムコントローラ１０から記録部６に対して送られ、メディア７に記録された撮影データを別の圧縮符号化形式でダビングする際に利用できるように、記録される。
【００６５】
ステップＳ２２において、ＢＲ１＜Ｔｈと判定されると、ステップＳ２５において、カメラの物理的な動きの有無が判定される。カメラの動きが有りと判定されると、エンコーダ９がデータ量予測動作を行い、ステップＳ２３において、エンコーダ９が符号化した場合のデータ量が実測される。動作期間の長さは、カメラの動きが検出されてから所定の期間またはカメラが動いている期間に設定される。
【００６６】
そして、ステップＳ２４において、撮影終了か否かが判定される。例えばユーザが記録ボタンを押すのを止めると、撮影および記録が終了する。撮影終了でなければ、処理がステップＳ２２（ビットレートＢＲ１としきい値Ｔｈとの比較）に戻る。撮影終了であれば、ステップＳ２９に処理が移行する。ステップＳ２９は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００６７】
ステップＳ２５において、カメラの動きが無いと判定されると、ステップＳ２６において、ズームボタンが押されているか否かが判定される。ズームボタンが押されていると判定されると、エンコーダ９がズームボタンが押されている間、またはズームボタンが押されたことを検知してからある一定時間、データ量予測動作を行い、ステップＳ２３の処理（データ量の実測）がなされる。
【００６８】
ズームボタンが押されていないと判定されると、エンコーダ５のビットレートＢＲ１がしきい値Ｔｈより小であり、カメラの動きが無く、ズームボタンも押されていないので、ダビング用エンコーダ９がデータ量予測動作を開始しないかまたは動作を停止する。エンコーダ９の停止期間におけるデータ量の推定方法としては、上述した第１乃至第４の方法の内の何れかの方法を使用できる。図１１中のステップＳ２７では、ビットレートを予め設定された固定値としてデータ量が見積られる。
【００６９】
ステップＳ２８において、撮影が終了したか否かが判定される。撮影が終了していなければ、ステップＳ２２の処理（ビットレートＢＲ１としきい値Ｔｈとの比較）に戻る。撮影終了であれば、ステップＳ２９に処理が移行する。ステップＳ２９は、撮影データをメディア７に記録し、求められた容量見積データを記録する処理である。
【００７０】
図１１に示す容量見積方法は、エンコーダ５のビットレートを監視しておき、さらに、カメラの物理的な動きも監視するので、例えば動きの激しい物体を撮影する場合のように、物理的な動きがない場合にエンコーダ９のビットレートが大きく変化する場合にも対応でき、且つ物理的な変化を監視することで、物理的な動きによりエンコーダ９のビットレートが増加するタイミングをすばやく検知することができ、より高精度に容量見積が可能になる。
【００７１】
この発明は、上述したこの発明の実施形態に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、この発明は、圧縮符号化としては、MPEG 2、MPEG-4 AVC(またはH.264)符号化以外の符号化を使用しても良い。ま
た、この発明において符号化処理は、ハードウェアによる処理に限らず、ソフトウェアによる処理によって実現するようにしても良い。さらに、消費電力の低減を特に必要としない場合には、データ量を推定するためのエンコーダを連続的に動作させても良い。よりさらに、発生データ量の予測のためのエンコーダが符号化データを出力するようにして良い。
【００７２】
さらに、ダビング時に必要とされるエンコーダを備えても良い。その場合、ダビング用のエンコーダを符号化データを出力するように、処理を切り換え、実際のダビング時使用しても良い。さらに、この発明は、ビデオデータと共にオーディオデータに関してもデータ量予測処理を行い、ビデオデータおよびオーディオデータ全体のデータ量の見積を行うようにしても良い。
【図面の簡単な説明】
【００７３】
【図１】この発明の一実施形態による撮像装置の構成を示すブロック図である。
【図２】この発明による撮影方法の間欠動作の第１の例と停止期間の発生データ量の推定の第１の方法とを示すタイミングチャートである。
【図３】この発明による撮影方法の停止期間の発生データ量の推定の第２の方法を示すタイミングチャートである。
【図４】この発明による撮影方法の間欠動作の第２の例を示すタイミングチャートである。
【図５】この発明による撮影方法の停止期間の発生データ量の推定の第３の方法を示すタイミングチャートである。
【図６】図５に示す処理を実現するための処理方法を説明するためのフローチャートである。
【図７】この発明による撮影方法の停止期間の発生データ量の推定の第４の方法を示すタイミングチャートである。
【図８】この発明による撮影方法の間欠動作の第３の例を示すタイミングチャートである。
【図９】容量見積データの表示の一例を示す略線図である。
【図１０】この発明による撮影方法の間欠動作の第４の例を説明するためのフローチャートである。
【図１１】図６のフローチャートに示される処理と図１０のフローチャートに示される処理とを組み合わせた処理を説明するためのフローチャートである。
【図１２】この発明の適用例を説明するための概略的なブロック図である。
【符号の説明】
【００７４】
２・・・イメージャ
４・・・カメラ信号処理部
５・・・エンコーダ
６・・・記録部
７・・・メディア
８・・・ディスプレイ
９・・・エンコーダ
１０・・・システムコントローラ
【特許請求の範囲】
【請求項１】
静止画および動画の一方または双方を撮影し、撮影データを記録媒体に記録する撮像方法において、
撮影データを第１の圧縮符号化方式で符号化する第１の符号化ステップと、
上記第１の符号化ステップで生成された符号化撮影データをメディアに記録する記録ステップと、
上記撮影データを第２の圧縮符号化方式で符号化した場合の発生データ量の予測に必要なデータを生成する第２の符号化ステップと、
上記第２の符号化ステップで生成されたデータから撮影期間の発生データ量を推定するステップと
からなる撮影方法。
【請求項２】
請求項１において、
上記第２の符号化ステップは、動作期間と停止期間とが混在する間欠的な処理である撮影方法。
【請求項３】
請求項２において、
上記動作期間と上記停止期間とがそれぞれ予め設定された長さとされる撮影方法。
【請求項４】
請求項２において、
上記第１の符号化ステップで出力される符号化データのビットレートがしきい値以上の場合にのみ、上記第２の符号化ステップが動作する撮影方法。
【請求項５】
請求項４において、
上記第１の符号化ステップで出力される符号化データのビットレートがしきい値以上となってから所定の長さの期間のみ、上記第２の符号化ステップが動作する撮影方法。
【請求項６】
請求項２において、
上記撮影データにシーンチェンジを生じさせる動きを検出した時に、上記第２の符号化ステップが動作する撮影方法。
【請求項７】
請求項２において、
上記停止期間における発生データ量を固定値として推定する撮影方法。
【請求項８】
請求項７において、
上記固定値は、直前の動作期間の終端近傍の発生データ量である撮影方法。
【請求項９】
請求項７において、
上記固定値は、直前の動作期間の発生データ量の平均値である撮影方法。
【請求項１０】
請求項７において、
上記固定値は、直前の動作期間の発生データ量の変化量に応じたデータ量である撮影方法。
【請求項１１】
静止画および動画の一方または双方を撮影し、撮影データを記録媒体に記録する撮像装置において、
撮影データを第１の圧縮符号化方式で符号化する第１のエンコーダと、
上記第１のエンコーダで生成された符号化撮影データをメディアに記録する記録部と、
上記撮影データを第２の圧縮符号化方式で符号化した場合の発生データ量の予測に必要なデータを生成する第２のエンコーダと、
上記第２のエンコーダで生成されたデータから撮影期間の発生データ量を推定する処理部と
からなる撮影装置。
【請求項１】
静止画および動画の一方または双方を撮影し、撮影データを記録媒体に記録する撮像方法において、
撮影データを第１の圧縮符号化方式で符号化する第１の符号化ステップと、
上記第１の符号化ステップで生成された符号化撮影データをメディアに記録する記録ステップと、
上記撮影データを第２の圧縮符号化方式で符号化した場合の発生データ量の予測に必要なデータを生成する第２の符号化ステップと、
上記第２の符号化ステップで生成されたデータから撮影期間の発生データ量を推定するステップと
からなる撮影方法。
【請求項２】
請求項１において、
上記第２の符号化ステップは、動作期間と停止期間とが混在する間欠的な処理である撮影方法。
【請求項３】
請求項２において、
上記動作期間と上記停止期間とがそれぞれ予め設定された長さとされる撮影方法。
【請求項４】
請求項２において、
上記第１の符号化ステップで出力される符号化データのビットレートがしきい値以上の場合にのみ、上記第２の符号化ステップが動作する撮影方法。
【請求項５】
請求項４において、
上記第１の符号化ステップで出力される符号化データのビットレートがしきい値以上となってから所定の長さの期間のみ、上記第２の符号化ステップが動作する撮影方法。
【請求項６】
請求項２において、
上記撮影データにシーンチェンジを生じさせる動きを検出した時に、上記第２の符号化ステップが動作する撮影方法。
【請求項７】
請求項２において、
上記停止期間における発生データ量を固定値として推定する撮影方法。
【請求項８】
請求項７において、
上記固定値は、直前の動作期間の終端近傍の発生データ量である撮影方法。
【請求項９】
請求項７において、
上記固定値は、直前の動作期間の発生データ量の平均値である撮影方法。
【請求項１０】
請求項７において、
上記固定値は、直前の動作期間の発生データ量の変化量に応じたデータ量である撮影方法。
【請求項１１】
静止画および動画の一方または双方を撮影し、撮影データを記録媒体に記録する撮像装置において、
撮影データを第１の圧縮符号化方式で符号化する第１のエンコーダと、
上記第１のエンコーダで生成された符号化撮影データをメディアに記録する記録部と、
上記撮影データを第２の圧縮符号化方式で符号化した場合の発生データ量の予測に必要なデータを生成する第２のエンコーダと、
上記第２のエンコーダで生成されたデータから撮影期間の発生データ量を推定する処理部と
からなる撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−３１１１９５（Ｐ２００６−３１１１９５Ａ）
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願番号】特願２００５−１３１１１５（Ｐ２００５−１３１１１５）
【出願日】平成１７年４月２８日（２００５．４．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願日】平成１７年４月２８日（２００５．４．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]