記録装置、記録方法、撮像装置
【課題】撮像装置により撮像記録するときに撮像画像とともに同時的に記録される付加情報（撮像時関連付随情報）について、この撮像装置以外の機器で再生したときにも、付加情報の表示が行われるようにして、付加情報表示の汎用性を高める。
【解決手段】ＤＶＤ−Ｖｉｄｅｏフォーマットに対応する撮像装置にあって、撮像画像は通常の動画像のビデオデータとしてエンコードする。付加情報については、その内容が示されるサブピクチャとして作成する。そして、これらのビデオデータとサブピクチャとを多重化してＤＶＤに記録する。再生時においては、ビデオデータの動画像に対して、サブピクチャの画像が重畳表示されることで、撮像画像に付加情報の内容を示す画像が重畳表示されることになる。
【解決手段】ＤＶＤ−Ｖｉｄｅｏフォーマットに対応する撮像装置にあって、撮像画像は通常の動画像のビデオデータとしてエンコードする。付加情報については、その内容が示されるサブピクチャとして作成する。そして、これらのビデオデータとサブピクチャとを多重化してＤＶＤに記録する。再生時においては、ビデオデータの動画像に対して、サブピクチャの画像が重畳表示されることで、撮像画像に付加情報の内容を示す画像が重畳表示されることになる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを記録する記録装置と、その方法に関する。また、画像データとして撮像により取得した画像を記録する撮像装置に関する。
【背景技術】
【０００２】
例えば、民生用における可搬型のビデオカメラなどの撮像装置では、ユーザへの便宜として、撮像記録時において、そのときの日時や、露出などをはじめとした撮像装置における各種設定情報などの撮像に関しての付随情報を、撮像画像データとともに記録できるようにしたものが広く普及している。
また、近年では、ＤＶＤ(Digital Versatile Disc)を記録媒体とするビデオカメラなどの撮像装置も知られ、また、普及してきている。
【０００３】
上記のようにしてＤＶＤを記録媒体として撮像画像（及び収音音声）を記録するのにあたっては、周知のようにして、メディアフォーマットとしてＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＶＲ(Video Recording)などの、いわゆるＤＶＤフォーマットが採用される、また、これらのＤＶＤフォーマットにあっては、ビデオ、オーディオデータの記録にあたり、ＭＰＥＧ−ＰＳ(Program Stream)といわれるシステムフォーマットが採用される。ＭＰＥＧ−ＰＳは、ＭＰＥＧ(Motion Picture Experts Group)方式による圧縮符号化の規格として、画像データ、オーディオデータなどを同期させて多重化した符号化ストリームを生成し、この符号化ストリームとしてのデータを記録媒体に記録させるようにしたものである。
例えば、このようなＭＰＥＧ−ＰＳを採用するＤＶＤフォーマットでは、上記したような撮像に関しての付随情報をストリーム上においてどのようにして多重化するのかについての定義は存在していない。撮像に関する付随情報についての記録再生機能はユーザの便宜を考慮すれば必要なものである。従って、ＤＶＤフォーマットの下にあっても、付随情報の記録再生が行われるようにすることが必要となる。
【０００４】
そこで、特許文献１には、ＤＶＤフォーマット（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＶＲ）を前提として、１つのＶＯＢＵにおける特定の１つのパックを、付随情報（付加情報）の格納に使用することで、撮像画像データとともに付随情報を記録可能とする構成が提案されている。
このようにして記録が行われた後の再生時においては、文字、シンボル（絵柄）などによりユーザが認識可能な態様とされた付随情報の内容を、撮像画像に合成させるようにして、表示のための出力を行うことができる。このようにして付随情報が表示されることで、ユーザは、撮影の日時や、撮影時における各種の設定状態を確認できることになる。また、特許文献1に開示される技術構成は、付随情報を、ＤＶＤフォーマットにおいて規定されるパックに対して格納することとしており、この点で、ＤＶＤフォーマットが破綻しないようにも配慮されている。
【０００５】
【特許文献１】特開２００４−３１２６６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば上記特許文献１をはじめ、これまでに知られている撮像装置における付随情報についての記録再生の技術は、標準のＤＶＤフォーマットから拡張した機能となっている。換言すれば、撮像装置における付随情報の記録再生機能は、撮像装置の機種や撮像装置のベンダーごとに異なるアルゴリズムを採用しているものであり、必ずしも統一、標準化された規格のものではない、ベンダー固有などといわれる規格である。このために、或る撮像装置により撮像した画像を記録したＤＶＤなどの記録媒体を、他の機種の撮像装置や一般のＤＶＤ再生装置などにより再生した場合には、これらの装置が、ＤＶＤに記録されたデータから付随情報を再生するアルゴリズムを実装していないことで、付随情報を再生出力できないという不都合が生じる。
このような付随情報は、ユーザにとって重要な情報となる場合も多いことから、できるだけ高い汎用性をもって付随情報が再生されるようにすることが好ましい。
【課題を解決するための手段】
【０００７】
そこで本発明は上記した課題を考慮して、記録装置として次のように構成する。
つまり、主画像データをリアルタイムに取得する主画像データ取得手段と、記録媒体に画像データを記録するための所定のフォーマットにより、主画像データとともに所定規則に基づいて記録媒体に記録することが可能とされ、また、主画像データを再生して表示される画像に重畳されるようにして表示可能なことが規定される画像データである副画像データを生成する副画像データ生成手段と、主画像データ取得手段が上記主画像データを取得しているときにおいて、所定内容の情報を有する付随情報を取得する付随情報取得手段と、この付随情報取得手段により取得した付随情報の内容が所定の態様によって表示されるようにした副画像データが生成されるようにして、副画像データ生成手段を制御する副画像データ生成制御手段と、フォーマットに従って、主画像データ取得手段により取得された主画像データと、副画像データ生成手段により生成された副画像データとを上記記録媒体に記録する記録手段とを備えることとした。
【０００８】
また、撮像装置として次のように構成する。
つまり、撮像を行って得られた撮像画像の情報を、主画像データとして取得する主画像データ取得手段と、記録媒体にデータを記録するための所定のフォーマットにより、上記主画像データとともに所定規則に基づいて上記記録媒体に記録することが可能とされ、また、上記主画像データを再生して表示される画像に重畳されるようにして表示可能なことが規定される画像データである副画像データを生成する副画像データ生成手段と、主画像データ取得手段が上記主画像データを取得しているときにおいて、所定内容の情報を有する付随情報を取得する付随情報取得手段と、この付随情報取得手段により取得した付随情報の内容が所定の態様によって表示されるようにした副画像データが生成されるようにして、副画像データ生成手段を制御する副画像データ生成制御手段と、フォーマットに従って、主画像データ取得手段により取得された主画像データと、副画像データ生成手段により生成された副画像データとを記録媒体に記録する記録手段とを備えることとした。
【０００９】
上記各構成によれば、本願発明が対応するフォーマット（記録媒体に対するデータ記録再生方式の仕様）としては、主画像データと、この主画像データを再生して表示される画像に重畳されるようにして表示されるべきことが規定される副画像データとを、所定の論理構造により記録媒体に記録することが定められている。
そのうえで、本願発明においては、リアルタイムに主画像データを取得するとともに、このようにして主画像データを取得しているときに対応して取得した付随情報の内容をその画像内容とする副画像データを生成するようにされている。この結果、本願発明の記録装置によっては、主画像データとともに、付随情報の内容を表示する副画像データを格納したデータが記録媒体に記録されることになる。
フォーマットにより、副画像データは、主画像データに重畳されるようにして表示可能であることが規定されている。従って、本願に対応するフォーマットに準拠して記録媒体の再生が可能な再生装置により、本願発明の記録装置によって記録された記録媒体を再生したとすれば、主画像データの画像に重畳させて副画像データの画像を再生出力する機能により、自ずと付随情報の表示出力が実現されることになる。
【発明の効果】
【００１０】
このようにして本願発明によっては、本願に対応するフォーマットに準拠して記録媒体を再生可能な再生装置であれば、撮像時に対応した付随情報が表示されるようにして再生出力することが可能となる。つまり、付随情報の再生出力について汎用性が与えられることになる。これにより、例えばユーザにとっては、撮像画像を記録した記録媒体をどのような環境で再生させても、付随情報を表示出力させて撮影時のことを確認できることとなり、利便性などが高まることになる。
【発明を実施するための最良の形態】
【００１１】
図１は、本願発明の実施の形態としての撮像装置の構成例を示している。
この図に示す撮像装置１において、カメラユニット１１は、光学ブロック１１ａ、撮像素子１１ｂ及びカメラ制御部１１ｃを備えて成る。
光学ブロック１１ａは、レンズ光学系、フォーカス機構、シャッター機構、絞り（アイリス）機構などを備えて成り、入射された光を撮像光として撮像素子１１ｂの受光面に結像させる。また、光学ブロック１１aにおけるフォーカス制御、シャッター制御、絞り値の可変制御などは、この場合には、カメラ制御部１１ｃから出力される駆動信号によって行われるものとしている。つまり、カメラ制御部１１ｃは、制御部１８の制御に応じて、フォーカス機構、シャッター機構、及び絞り機構などを駆動するための駆動信号を生成して出力する。この駆動信号に応じて、フォーカス機構、シャッター機構、及び絞り機構が動作することで、フォーカス状態、シャッター動作、シャッター速度、及び絞り値などが適切な状態に制御される。
【００１２】
撮像部１１ｂは、例えばＣＣＤ、ＣＭＯＳセンサなどの光電変換素子を備えて成り、上記のようにして受光面にて受光した撮像光について光電変換を行う。そして、受光面にて受光された撮像光に応じて蓄積された信号電荷を、しかるべきタイミングで順次出力することで、撮像光に対応した電気信号を出力する。カメラ制御部１１ｃでは、制御部１８の制御に応じて必要とされるタイミング信号を生成して、撮像部１１ｃに対して駆動信号を出力する。撮像部１１ｃは、この駆動信号に応じたタイミングで、上記信号電荷の出力を実行する。
また、撮像部１１ｃでは、上記のようにして光電変換素子の部位から出力させた電気信号について、例えばＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Automatic Gain Control）処理などを実行し、Ａ／Ｄ（Analog/Digital）コンバータ１２に出力する。
Ａ／Ｄコンバータ１２では、入力されたアナログの電気信号についてデジタル信号に変換する。
【００１３】
Ａ／Ｄコンバータ１２から出力された、撮像光に対応したデジタル信号は、画像信号処理部１３に供給される。画像信号処理部１３は、画像信号処理に対応するＤＳＰ(Digital Signal Processor)として構成され、入力されたデジタル信号から撮像画像に対応するデジタル画像信号を得ることをはじめとして、所要のデジタル信号処理を実行する。この図では、画像信号処理部１３が実行するデジタル信号機能のうちで主要となる、カメラ制御対応処理部１３ａとして示し、後述するＤＶＤの記録再生フォーマットに対応した記録再生のための信号処理を担う部位を、フォーマット対応処理部１３ｂとして示している。
【００１４】
カメラ制御対応処理部１３ａは、主としては、撮像に関連して設定されたカメラユニット１１に対する制御のための各種パラメータに応じた所要の信号処理を実行する。このカメラ制御対応処理部１３ａが対応する撮像のパラメータには、ＡＦ(Auto Focus：自動焦点調整)制御、露出制御、ホワイトバランス処理、手ぶれ補正などを挙げることができる。
例えばＡＦ制御であれば、カメラ制御対応処理部１３ａは、次のような信号処理を実行する。ＡＦ制御とは、手動のフォーカスレンズ操作に依らず、自動的に合焦状態が得られるように制御することをいう。ここでのＡＦ制御は、コントラスト方式であることとする。コントラスト方式では、撮像画像から得られる画像信号の輝度信号についての高周波成分に基づいて生成した評価値が最も高くなるようにしてフォーカスレンズを駆動するように制御する。カメラ制御対応処理部１３ａのＡＦ制御に対応した処理としては、画像信号処理部１３に入力されるデジタル信号に基づいて生成されたデジタルビデオ信号から輝度信号成分を抽出し、この輝度信号から評価値を発生するための信号処理を実行する。そして、制御部１８は、この評価値に基づいて合焦状態が得られるようにしてフォーカスレンズを駆動する。
【００１５】
また、露出制御として、自動露出制御を行う場合には、例えば撮像画像を元とする画像信号における輝度信号レベル（明るさを示す）に基づいて、制御部１８が露光条件（シャッター速度及び絞り値）を設定する。そして、この露光条件による撮像が行われるようにして、カメラユニット１１に対する制御を行う。カメラ制御対応処理部１３ａは、例えば自動露出制御のときには、上記した露光条件設定のための輝度信号レベルの情報を、撮像画像から得られる画像信号に基づいて生成して出力するようにされる。
また、ホワイトバランスについては、自動制御モードと、太陽光、蛍光灯、電球などの周囲の環境に応じたモード設定などの間での切り換えが行われるようになっている。カメラ制御対応処理部１３ａでは、設定されたホワイトバランスのモードに応じて、撮像画像から得られるデジタル画像信号についてホワイトバランスに対応した所要の処理を実行する。
また、手ぶれ補正として撮像画像信号を利用する処理の場合には、カメラ制御対応処理部１３ａの処理として、撮像画像に基づいて得られたデジタル画像信号を対象として動き検出処理を実行し、その検出結果を制御部１８に出力するようにされる。制御部１８は、動き検出結果に応じて、手ぶれによる撮像画像の移動がキャンセルされるようにして撮像画像に基づいて得られたデジタル画像信号の水平方向と素直方向の移動制御を実行する。
【００１６】
また、フォーマット対応処理部１３ｂは、本実施の形態における記録媒体となる、ＤＶＤに対応して動画像データを記録再生するためのフォーマットに対応したデジタル信号処理を実行する。本実施の形態の撮像装置１が対応するＤＶＤとしては、例えば追記型、もしくは書き換え可能型によりデータ記録が可能なＤＶＤとなる。もちろん、再生専用のＤＶＤであっても、本実施の形態の撮像装置１が対応するＤＶＤフォーマットであれば、撮像装置１が備える再生機能により再生することができる。また、本実施の形態の撮像装置１が対応するＤＶＤフォーマットとしてはＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＶＲなどとする。なお、以降においては、便宜上、ＤＶＤ−Ｖｉｄｅｏであることを前提として説明する。
【００１７】
ＤＶＤフォーマットでは、メインの画像データ（動画像データ）とオーディオデータはＭＰＥＧ方式による圧縮符号化が行われる。
例えばフォーマット対応処理部１３ｂは、Ａ／Ｄコンバータ１２から画像信号処理部１３に入力されてくるデジタル信号について、ＭＰＥＧ方式による圧縮符号化を行う。また、ＤＶＤ−Ｖｉｄｅｏのフォーマットでは、メインの画像データとともに、サブピクチャといわれる画像データ（副画像データ）をＤＶＤに対して記録させることが可能とされている。サブピクチャは、メインの動画像データに対して補助的な表示を付加することを本来の目的として設けられるもので、例えば、映画としての動画像に対して、字幕を付加表示させるときなどに使用される。このようなサブピクチャとしての画像データの生成、符号化も、フォーマット対応処理部１３ｂが実行する。
そして、フォーマット対応処理部１３ｂでは、上記のようにして圧縮符号化したメインの画像データ及びサブピクチャを利用して、例えばＭＰＥＧ−ＰＳといわれるストリームデータの形式にフォーマット変換することができる。そして、このようにして生成したストリームデータをＤＶＤドライブ１５に出力する。
【００１８】
ＤＶＤドライブ１５では、上記のようにして画像信号処理部１３のフォーマット対応処理部１３ａから出力されたストリームデータを入力して、必要に応じて記録符号化などの処理を実行したうえで、装填されているＤＶＤに対してデータの書き込みを実行する。これにより、ＤＶＤには、撮像により得られた画像データが記録されることになる。
【００１９】
また、ＤＶＤに記録された画像データを再生するときには、ＤＶＤドライブ１５に対する制御部１８の制御によりＤＶＤからの読み出しを行って、この読み出したデータを画像信号処理部１３ａに入力する。
画像信号処理部１３ａにおいては、入力されたデータについて、フォーマット対応処理部１３ｂとしての機能部位により、圧縮符号化に対応する復号処理などを実行して、表示用のデジタル画像信号を得るようにされる。そして、このデジタル画像信号は、表示ドライバ１６に対して出力することができる。表示ドライバ１６では、入力される表示用のデジタル画像信号に応じて、表示部１７に対する表示のための駆動を行う。これにより、表示部１７には、ＤＶＤから再生した撮像画像が表示されることになる。なお、ここでは図示していないが、外部に対して所定形式の表示用デジタル画像信号を出力して外部の表示装置などにより画像が表示されるようにしてもよい。
また、画像信号処理部１３では、撮像時におけるモニタ画像を表示部１７に対して表示させるための信号処理も実行可能とされる。この場合には、例えばＡ／Ｄコンバータ１２から入力されてくるデジタル信号に基づいて得られたデジタル画像信号を、表示ドライバ１６に対して出力するようにされる。
なお、表示部１７として実際に採用される表示デバイスとしては、ＬＣＤ(Liquid Crystal Display)をはじめとして、各種考えることができる。
【００２０】
画像信号処理部１３は、上記のようにして各種の信号処理を実行するのにあたって、例えばＳＤＲＡＭなどにより構成されるメモリ１４を作業領域として使用する。ＳＤＲＡＭ３に対するデータの書き込み／読み出し制御は、画像信号処理部１３内に備えられるＳＤＲＡＭ１４対応のメモリコントローラが実行する。
【００２１】
制御部１８は、撮像装置１における各部を制御するもので、ＣＰＵ（Central Processing Unit）１８ａ、ＲＡＭ（Random Access Memory）１８ｂ、ＲＯＭ（Read Only Memory）１８ｃ、時計部１８ｄを備えるマイクロコンピュータとして構成される。
ＲＡＭ１８ｂは、ＣＰＵ１８ａの演算結果を一時記憶するなど、主としてＣＰＵ５１の作業領域として用いられる。また、ＲＯＭ１８ｃは、ＣＰＵ５１が実行すべきプログラムや、各種処理に必要とされる設定データなどが記憶される。このプログラムは、例えば撮像装置１の製造時において、ＲＯＭ１８ｃに書き込むことで記憶させることができる。あるいは、例えばリムーバブルの記録媒体にプログラムを記憶させておき、このリムーバブルの記憶媒体からＲＯＭ１８ｃに対してプログラムのデータをインストールするようにして記憶させることも考えられる。また、ＲＯＭ１８ｃについては、ＥＥＰＲＯＭやフラッシュメモリなどの書き換え可能な不揮発性の半導体メモリ素子を採用してもよい。
時計部１８ｄは、計時を行うことで、現在年月日、現在曜日、現在時刻などの情報を出力可能とされる。
【００２２】
この場合の操作部１９は、撮像装置１の筐体の所要位置に備えられる各種操作子、タッチパネル、などの入力操作手段を一括して示している。操作部１９では、操作結果に応じた操作情報信号を制御部１８に出力する。制御部１８内のＣＰＵ１８ｄは、入力された操作情報信号に応じて所要の制御、処理を実行する。
【００２３】
なお、一般の撮像装置としては、例えば撮影時において同時にマイクロフォンなどにより収音した音声を、撮像画像データとともに、オーディオデータとして記録可能とされている。このようなオーディオデータは、撮像画像データとの時間的同期が図られるようにして記録再生される。本実施の形態の撮像装置１の実際としても、再生時間が同期されるようにして、撮像画像データと収音音声データとをストリームデータに多重化して記録するようにされる。しかしながら、図１においては、説明を簡単なものとすることの便宜上、音声情報の記録再生系については省略している。本実施の形態の撮像装置１における実際の音声情報の記録再生系の構成については、ＤＶＤ−Ｖｉｄｅｏのフォーマットに対応する周知の技術が適用されればよい。
【００２４】
図２は、ＤＶＤ−Ｖｉｄｅｏフォーマットに対応した、ＤＶＤにおけるデータの論理構造を示している。
先ず、図２（ａ）に示すようにして、ＤＶＤの記録領域は、最内周側から外周側にかけて、順に、リードインエリア(Lead in)、データゾーンエリア、リードアウト(Lead out)エリアに大別して区分けされる。そして、データゾーンエリアにおいて管理情報および画像データ等のデータが記録される。データゾーンエリアは物理的には、30000h（hは16進法表記であることを示す）で示されるアドレスから開始されることとなっている。
【００２５】
データゾーンエリアは、リードインエリア側から順に、ＵＤＦ（Ｕｎｉｖｅｒｓａｌ Ｄｉｓｃ Ｆｏｒｍａｔ）エリア、ＶＭＧ（Ｖｉｄｅｏ ＭａｎａＧｅｒ）エリアと、以降のユーザデータが記録されるデータエリアに区分される。
ＵＤＦエリアは、ＵＤＦ規格とＩＳＯ９６６０規格をサポートすることで、コンピュータ装置によってもＤＶＤに対するアクセスを可能とするために設けられる領域である。このようなファイルシステムの技術は、ＵＤＦブリッジといわれる。ＶＭＧエリアは、ディスク全体に対応する管理情報が記録される領域で、ディスク上に存在する全タイトルを特定する目次を構成する。ＶＭＧは、図２（ｂ）に示すように、ＶＭＧＩ、ＶＭＧＭ_ＶＯＢＳ、ＶＭＧＩ_ＢＵＰが順次配列されて成る。
【００２６】
データエリアは、上記もしているようにユーザデータを記録するためのエリアであり、図２（ａ）においてＶＴＳ１〜ＶＴＳｎとして示すように、ＶＴＳ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ）といわれる1タイトルに対応する単位でデータが記録される。
１つのＶＴＳは、図２（ｂ）に示すように、ＶＴＳＩ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ Ｉｎｆｏｒｍａｔｉｏｎ）、ＶＴＳＭ＿ＶＯＢＳ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｓｅｔ Ｆｏｒ ｔｈｅ ＶＴＳＭ）、ＶＴＳＴＴ＿ＶＯＢＳ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｓｅｔ Ｆｏｒ Ｔｉｔｌｅｓ ｉｎ ａ ＶＴＳ）、ＶＴＳＩ＿ＢＵＰ（Ｂａｃｋｕｐ ｏｆ ＶＴＳＩ）から成る。なお、各ＶＯＢＳのサイズは１ＧＢ（ギガバイト）未満であるべきこととされている。
【００２７】
ＶＴＳＩには、画像データ等の記録位置情報等の管理情報を格納する。また、ＶＴＳＭ＿ＶＯＢＳには、画像データ等のルートメニューを格納する。このＶＴＳＭ＿ＶＯＢＳはオプションである。
ＶＴＳＴＴ＿ＶＯＢＳは、タイトルとしての実データが格納される領域となる。
ＶＴＳＩ＿ＢＵＰには、ＶＴＳＩのバックアップデータを格納する。
【００２８】
1タイトル分の実データが格納されるＶＴＳＴＴ＿ＶＯＢＳは、図２（ｃ）においてＶＯＢ１〜ＶＯＢｎとして示すように、ＶＯＢといわれる単位の連結により形成される。１ＶＴＳＴＴ＿ＶＯＢＳ内におけるＶＯＢの数は、65535以内とされている。また、ＶＯＢは、ＭＰＥＧ−ＰＳ(Program Stream)といわれる、ＭＰＥＧ２方式に対応して圧縮符号化されたビデオデータとオーディオデータ、サブピクチャの画像データ（ビットマップ）、及びナビゲーション（ＮＶ）データを格納する。
また、１つのＶＯＢは、図２（ｄ）に示すようにして、1以上のＣｅｌｌといわれる単位から成る。このＣｅｌｌが再生の基本単位となる。１ＶＯＢ内のＣｅｌｌの数は、２５５以内とされている。さらに、Ｃｅｌｌは、図２（ｅ）に示すようにして、１以上のＶＯＢＵ（Ｖｉｄｅｏ ＯｂｊｅＷｃｔ Ｕｎｉｔ）から成る。
【００２９】
ＶＯＢＵは、ＤＶＤ−Ｖｉｄｅｏに対応する再生システムがアクセスするための最小単位となるもので、0.4〜1.0secの再生時間を基準として生成される。ただし、最後のＶＯＢＵについては1.2secの再生時間を基準とする。
そして、ＶＯＢＵは、図２（ｆ）に示すようにして、ＮＶ_ＰＣＫ（ナビゲーションパック）、Ｖ_ＰＣＫ（ビデオパック）、Ａ_ＰＣＫ（オーディオパック）、Ｓ_ＰＣＫ（サブピクチャパック）の4種類のパックのシーケンスから成る。1パックは、２０４８バイト（1セクタに対応する）とされており、ここでは1パケットが相当する。
【００３０】
ＤＶＤ−Ｖｉｄｅｏに対応する再生システムでは、可変ビットレートやシームレス再生に対応するが、このことは、ＤＶＤにピックアップがアクセスして読み出しを行っている信号と、復号処理されているビデオデータ、オーディオデータとの間に時間的なシフト量が存在することを意味する。そこで、このような再生時間のずれを解決して正常に再生するための制御情報が必要となるが、これがナビゲーションデータとなる。ナビゲーションデータには、ＰＣＩ(Program Control Information)といわれるリアルタイム制御のための制御情報と、ＤＳＩ(Data Search Information)といわれるアクセスに関する制御情報とがあるものとして規定されている。ＮＶ_ＰＣＫは、これらのナビゲーションデータを格納するパックであり、図２（ｇ）に示すようにして、例えば１ＮＶ_ＰＣＫは、上記ＰＣＩを格納するパケットと、ＤＳＩを格納するパケットから成る。
【００３１】
Ｖ_ＰＣＫは、ＭＰＥＧ２方式により圧縮符号化されたビデオ（画像）データを格納する。なお、１つのＶＯＢＵ内におけるＶ_ＰＣＫに格納されるデータの連結により形成される画像データとしては、少なくとも１つのＧＯＰを含むべきこととしている。
Ａ_ＰＣＫは、ＭＰＥＧ２方式に対応して圧縮符号化されたオーディオ（音声）データを格納する。１ＶＯＢＵ内におけるＡ_ＰＣＫに格納されるデータの連結により形成されるオーディオデータは、そのＶＯＢＵ内においてＶ_ＰＣＫにより格納されるビデオデータに対応したものとなる。
【００３２】
ＤＶＤ−Ｖｉｄｅｏのフォーマットでは、ＭＰＥＧ２方式により圧縮符号化されるビデオデータの画像を主画像として扱うこととしたうえで、この主画像に対して副画像となる関係のサブピクチャを定義している。
ここでいう主画像としてのビデオデータは、上記Ｖ_ＰＣＫに格納される圧縮符号化ビデオデータが対応するもので、通常は動画像のデータとなる。
一方、サブピクチャとしての画像データは例えばビットマップ（bitmap）形式とされ、再生時においては、主画像であるビデオデータによる動画像に対してサブピクチャの画像を重畳（合成）するようにして表示された状態で出力可能とされている。つまり、サブピクチャは、主画像に対して付加的、補助的な表示を行うための画像として扱われる。
Ｓ_ＰＣＫは、このサブピクチャのデータを格納する。１ＶＯＢＵ内におけるＳ_ＰＣＫに格納されるデータの連結により形成されるサブピクチャのデータとしても、そのＶＯＢＵ内においてＶ_ＰＣＫにより格納されるビデオデータに対応したものとなる。また、サブピクチャの画像内容の変更（更新）は、１ＧＯＰを最小単位として更新できるものとされている。従って、例えばサブピクチャの画像内容を、再生時間の進行に対応させて更新させていくこととした場合における最短の更新タイミングとしても、1ＧＯＰの時間に対応するものとなる。
【００３３】
なお、サブピクチャは、周知のようにして、映画などのＤＶＤパッケージメディアなどでは、字幕を表示させる機能のために使用されている。つまり、このようなＤＶＤパッケージメディアでは、ＤＶＤ−Ｖｉｄｅｏフォーマットの下で、映画そのものの画像については主画像データとして扱い、Ｖ_ＰＣＫに格納した圧縮符号化ビデオデータとして記録する。これとともに字幕を表示させるための画像内容を有するビットマップ形式の画像データを作成して、この字幕表示のためのサブピクチャをＳ_ＰＣＫに格納したサブピクチャのデータとして記録する。
そして、ＤＶＤ-Ｖｉｄｅｏフォーマットに対応する再生システムが、上記のようにして記録されたＤＶＤを再生するときには、Ｖ_ＰＣＫから抽出したビデオデータを復号して得た映画そのものの画像データに対して、Ｓ_ＰＣＫから抽出して得たサブピクチャの画像データを合成するようにして再生表示用の画像データを生成するビデオ信号処理を実行する。サブピクチャの更新は、１ＧＯＰ単位に対応しているので、１つのＧＯＰを処理するごとに1枚分のサブピクチャの画像データを、主画像の画像データに合成するようにして再生信号処理を行えばよく、これによって、主画像の画像データの再生時間に対する同期がとられる。この結果、再生出力される画像としては、映画の画像に重畳されるようにして字幕が表示され、映画の画像の時間進行に従って、字幕の内容も変化（更新）していくことになる。
また、このような映画などのＤＶＤのソフトでは、周知のようにして、例えば字幕を異なる言語間で切り換えるようにして再生できるようになっている。このことは、ＤＶＤフォーマットにおいて、例えばサブピクチャについては、機能ごとに対応して複数を用意することが許されていることを意味している。再生時においては、これらの複数機能に対応するサブピクチャのうちから、主画像に重畳表示させるべきものを選択して再生することになる。
【００３４】
ところで、先に説明したように、撮像装置としては、従来から、撮像日時や撮像時における各種パラメータなどのように、撮像を行っていたそのときに関連した付随情報（撮像時関連付随情報）を撮像画像とともに記録媒体に記録し、再生時においては例えば撮像画像とともに表示出力させる仕組みを与えるようにされているものがほとんどである。しかしながら、前述もしたように、従来にあっては、上記した撮像時関連付随情報の記録は、メディアの記録フォーマットの拡張として行っていたものであったため、標準の記録フォーマットに対応する再生のアルゴリズムでは、撮像時関連付随情報を再生出力することができない。このために、撮像時関連付随情報の再生について、他のメーカの撮像装置や、撮像装置以外の再生機器などの他の機種との互換性を保つことが困難であった。
【００３５】
そこで、本実施の形態の撮像装置１としては、上記した問題の解決を図りながら、撮像時関連付随情報が記録媒体（ＤＶＤ）に記録されるようにすることを目的とする。つまり、ＤＶＤフォーマットに対応する再生機器でさえあれば、本実施の形態の撮像装置１により撮像画像を記録したＤＶＤを再生したときには、撮像画像とともに撮像時関連付随情報が表示されるようにして、撮像時関連付随情報の表示出力について汎用性を与えるようというものである。
【００３６】
そこで、本実施の形態としてはサブピクチャに着目する。サブピクチャは、図２により説明したように、ＤＶＤ−Ｖｉｄｅｏのデータ構造においてＮ＿ＰＣＫとして標準的に含めることができるものとなっている。従って、ＤＶＤ−Ｖｉｄｅｏに記録するデータにサブピクチャのデータを含めれば、ＤＶＤ−Ｖｉｄｅｏフォーマットに対応するどの再生機器によっても、ＤＶＤからサブピクチャのデータを再生して、ビデオデータの画像（主画像）に重畳（合成）させて出力することができる。このことに基づいて、本実施の形態としては、撮像時関連付随情報の記録のために、サブピクチャを利用する。この点について、図３により説明する。
【００３７】
本実施の形態の撮像装置１において主画像となるのは、図３（ａ）に示されるようにして、撮像により得られた撮像画像である。この主画像としての撮像画像に対応するデータは、前述のように、ＭＰＥＧ2による圧縮符号化が施されてＶ＿ＰＣＫを最小単位としてＤＶＤに記録されるビデオデータである。
【００３８】
一方、図３（ｂ）には、上記図３（ａ）に示す主画像が表示出力されているときに対応して、この主画像に対して重畳表示されるべきサブピクチャの表示内容を示している。この場合のサブピクチャの表示内容としては、図示するようにして、画面右下の領域において、日時エリアＡｒ１が示されている。この日時エリアＡｒ１においては、図３（ａ）に示す主画像としての撮像画像を実際に撮影していたとされるときの日時（年、月、日、時間、分、秒）が示されている。このような日時の情報は、撮像したときの日時を提示するものであることから撮像時に関連する情報であるといえる。つまり、本実施の形態でいうところの撮像時関連付随情報である。そして、図３（ｂ）のサブピクチャの画像においては、この日時としての撮像時関連付随情報を、ユーザによる認識が可能なように、数字主体の画像内容により示している。
このようにして本実施の形態では、撮像時関連付随情報をサブピクチャの画像内容として作成してＤＶＤに記録するようにされる。
【００３９】
これまでの説明によると、本実施の形態の撮像装置１により撮像画像をＤＶＤに記録するときには、撮像画像をビデオデータとして記録し、撮像時関連付随情報をサブピクチャのデータとして記録することになる。そして、このようにして記録が行われたＤＶＤを、通常に再生して表示出力すると、図３（ｃ）に示すようにして、撮像画像である主画像に対して、サブピクチャの画像内容である日時エリアＡｒ１が合成された状態で表示されることになる。そして、このような再生出力の表示態様は、ＤＶＤ−Ｖｉｄｅｏフォーマットに対応して再生が可能であれば、どの再生装置によっても再現されることになる。このようにして本実施の形態では、撮像装置１により記録媒体に記録した撮像時関連付随情報の再生について、他の機器との互換が与えられることになる。
【００４０】
撮像時関連付随情報の画像内容を有するサブピクチャのバリエーションを、図４（ａ）（ｂ）に示す。
図４（ａ）は、撮像画像を動画として記録していた場合における各種のパラメータ設定の内容を、撮像時関連付随情報として提示するサブピクチャの表示態様例を示す。
この図では、手ぶれ補正オン／オフエリアＡｒ１１、明るさ調整モードエリアＡｒ１２、ホワイトバランスモードエリアＡｒ１３、ゲインエリアＡｒ１４、シャッタースピードエリアＡｒ１５、絞り値エリアＡｒ１６が、サブピクチャ内に表示されている。
手ぶれ補正オン／オフエリアＡｒ１１は、パラメータ設定として、共に再生される主画像の撮像時における手ぶれ補正モードについてのオン／オフが何れに設定されているのかを示す表示エリアである。明るさ調整モードエリアＡｒ１２は、その撮像時における明るさ調整のモードの設定状態を示す表示エリアであり、この場合には、自動調整（AUTO）のモードが設定されていることを示している。ホワイトバランスモードエリアＡｒ１３は、その撮像時におけるホワイトバランスの調整モードを示す表示エリアであり、ゲインエリアＡｒ１４は、その撮像時において設定されていた撮像画像信号に対するゲイン値を示す。シャッタースピードエリアＡｒ１５は、その撮像時において設定されていたシャッター速度を示し、絞り値エリアＡｒ１６は、その撮像時において設定されていた絞り値を示す表示エリアである。
【００４１】
また、図４（ｂ）には、撮像画像を動画として記録した場合における各種のパラメータ設定の内容を、撮像時関連付随情報として提示するサブピクチャの表示態様例を示している。この場合には、露出モードエリアＡｒ２１、シャッタースピードエリアＡｒ１５、絞り値エリアＡｒ１６がサブピクチャ内に示される。露出モードエリアＡｒ２１は、その撮像時において設定されていた露出制御のモードを示す。この図では、自動（ＯＥＶ）が設定されていることを示している。シャッタースピードエリアＡｒ１５、絞り値エリアＡｒ１６については、図４（ａ）と同様である。
【００４２】
以降、撮像装置１において実行される、撮像画像をＤＶＤに記録するための処理手順について、図５〜図８のフローチャートを参照して説明する。なお、これらの図に示す処理手順は、図１に示す制御部１８におけるＣＰＵ１８ａが、例えばＲＯＭ１８ｃに記憶されるプログラムを実行して各部を制御し、また、この制御に応じて図1に示される所定の機能ブロックが動作を実行することで実現される。
【００４３】
先ず、撮像装置１において撮像画像を記録データとして取り込むための撮像モードにあるとされる状態では、撮像装置１は、ステップＳ１０１から始まる図５の処理ルーチンを実行している。
ステップＳ１０１においては、記録用データを生成するための処理を実行する。この記録用データとは、ＤＶＤドライブ１５に装填されるＤＶＤに記録すべきデータであり、本実施の形態にあっては、少なくともカメラユニット１１により撮像された画像の信号を元とするビデオデータ（主画像データ）と、後述するようにして作成される撮像時関連付随情報を示す画像内容を有するサブピクチャのデータとを、それぞれＶ＿ＰＣＫ、Ｎ＿ＰＣＫとして含むＭＰＥＧ２−ＰＳである。つまり、ステップＳ１０１においては、記録用データとして、図２に示した論理構造に対応した、例えば1タイトル分に相当するストリームデータを生成していく。
なお、実際には、記録用データは、撮像により得られた画像と共に、マイクロフォンなどにより収音して得られた音声を基とするオーディオデータもＡ＿ＰＣＫとして含むことになる。しかしながら、ここでは説明の便宜上、オーディオデータについての記載は省略する。本実施の形態の実際として、オーディオデータについては、ＤＶＤ−Ｖｉｄｅｏフォーマットに従った通常の処理により記録再生が行われる。
【００４４】
ステップＳ１０２では、現在においてＤＶＤへの記録実行が指示されているか否かについて判別している。ここで、例えば、現在においてはＤＶＤへの記録実行の操作が解除されている状態であるとして否定の判別結果が得られた場合には、ステップＳ１０１の処理を継続して実行するような状態となる。つまり、撮像モードとしてＤＶＤへの記録を実行していない状態では、ステップＳ１０１としての記録用データを生成する処理を継続的に実行するようにされる。ただし、生成した記録用データをＤＶＤに対して記録するための処理は実行することなく、生成したデータは逐次破棄していくようにされる。
【００４５】
このようにして、記録用データの生成処理そのものについては、ＤＶＤへの記録が実行される以前の段階から継続的に実行するようにしている。これは、ＤＶＤへの記録実行を開始するための操作が行われるのに応答したタイミングで、実際のＤＶＤへの記録が実行開始されるようにすることを考慮しているためである。例えば、ＤＶＤへの記録実行開始の操作に応じて記録用データの生成処理を開始したのでは、例えば信号処理動作の起動に時間がかかったり、また、カメラユニット１１により撮像して得られた画像の信号が記録用データとして生成されるまでの時間が要したりすることなどが原因で、記録実行開始操作よりも相当に後のタイミングで撮像された画像から、ＤＶＤへの記録が開始されてしまう。
【００４６】
そして、例えば、現在においてはＤＶＤへの記録実行開始操作が解除されていない状態にあるとして、ステップＳ１０２において肯定の判別結果が得られた場合には、ステップＳ１０３の手順に進む。
【００４７】
ステップＳ１０３によっては、例えば制御部１８の制御により、ステップＳ１０１の手順によって生成した記録用データをＤＶＤドライブ１５に転送（出力）して、ＤＶＤへの記録を指示する。これに応じて、ＤＶＤドライブ１５では、記録用データについてＤＶＤ記録に適合した記録符号化などの処理を実行して、ＤＶＤに対してデータ記録を行う。そして、ＤＶＤへの記録実行開始操作が解除されていない状態では、ステップ１０２にて肯定の判別結果が得られることで、ステップＳ１０１による記録用データの生成と、ステップＳ１０３による記録用データのＤＶＤへの記録とを継続して実行するようにされる。
【００４８】
図６のフローチャートは、上記図５のステップＳ１０１としての処理である記録用データの生成処理の手順を示している。
前述もしたように、１つのサブピクチャの画像内容の更新は、1ＧＯＰごとの単位で行うことができる。この場合、1ＧＯＰに対応する時間は一定（例えば０．５秒程度）であることとする。そこで、図６におけるステップＳ２０１の処理としては、この1ＧＯＰに対応する時間を計時するタイマーを起動させる。なお、2回目以降のステップＳ１０１の処理となるのに対応して、2回目以降のステップＳ２０１を実行するときには、タイマーをリセットして、計時を再開させることになる。また、タイマーの動作は、例えばＣＰＵ１８ａが時計部１８ｄを使用してタイマーとしての計時を実行することで実現できる。
【００４９】
ステップＳ２０２では、現在の撮像により得られる画像の信号についての各種状態などに応じて、適正な画像が撮像できるようにするためのカメラユニット１１により撮像される画像に関連した各種の制御（カメラ制御）を実行する。ここでの制御項目としては、例えばオートフォーカス制御、露出（シャッタースピード、絞り）制御、ホワイトバランス、手ぶれ補正制御などを挙げることができる。この場合においては、前述したように、画像信号処理部１３におけるカメラ制御対応処理部１３ａが必要な信号処理を実行する。
上記したカメラ制御は、制御のために設定された各種のパラメータ値（制御設定値）を設定したうえで実行されるものであり、例えば制御部１８ｂにおいては、このような制御値を生成してレジスタなどに保持している。そこで、本実施の形態としては、ステップＳ２０３の処理として示すように、このような制御設定値の集合として成る情報（制御設定情報）を、撮像時関連付随情報として利用できるようにするために保持しておくようにされる。
【００５０】
次のステップＳ２０４では、撮像画像を信号として取り込むための処理を実行する。なお、実際においては、上記ステップＳ２０２−Ｓ２０３による手順と、このステップＳ２２０４としての手順は、同時並行的なタイミングで実行されるものであるが、ここでは、フローチャートによる手順の説明としている都合上、ステップＳ２０２〜Ｓ２０４の手順を順次的に示している。
【００５１】
ここで、上記ステップＳ２０４による、撮像画像を信号として取り込むための処理手順を、図７のフローチャートに示す。
図１にて説明したように、カメラユニット１１からは撮像部１１ｃにより撮像画像に対応した電気信号（撮像信号）が生成される。ステップＳ３０１では、カメラユニット１１から、この撮像信号を取り込む。そして、次のステップＳ３０２により、取り込みを行った撮像信号をＡ／Ｄコンバータ１２に入力させてデジタル信号に変換する。
ステップＳ３０３では、上記ステップＳ３０２によりデジタル信号に変換された撮像信号を画像信号処理部１３に入力させる。そして、画像信号処理部１３のフォーマット対応処理部１３ｂにより、入力されたデジタル信号について信号処理を行い、主画像に対応するビデオデータ（主画像ビデオデータ）を生成する。なお、この段階で生成されるビデオデータは、ＭＰＥＧ２方式により圧縮符号化される前の段階の、デジタル映像信号としてのデータ形式である。そして、ステップＳ３０４により、この主画像ビデオデータをメモリ１４に保持させておくようにされる。
【００５２】
説明を図６に戻す。
ステップＳ２０４による撮像信号の取り込みとビデオデータへの変換、保持が終了したとされると、次のステップＳ２０５により、ステップＳ２０１にて起動、リセットしたタイマーの時間が、予め定められた設定時間を経過したか否かについて判別する。ここで、否定の判別結果が得られたのであれば、ステップＳ２０２→Ｓ２０３→Ｓ２０４による手順を繰り返す。これに対して、ステップＳ２０５にてタイマーの設定時間を経過したとして肯定の判別結果が得られたとされると、ステップＳ２０６以降の処理に進む。
【００５３】
なお、実際において、ステップＳ２０２→Ｓ２０３→Ｓ２０４による処理手順は、撮像モード時においては継続して定常的に実行される処理であるが、ここでも、フローチャートにより手順を示していることの都合上、ステップＳ２０２→Ｓ２０３→Ｓ２０４までの処理と、ステップＳ２０６以降の処理を順次的に示すこととしている。
【００５４】
ステップＳ２０６においては、これまでにおいてメモリ１４に蓄積されている主画像（撮像画像）のデジタルビデオデータを取り込んで、ＭＰＥＧ２方式に従った圧縮符号化処理を実行する。
【００５５】
また、続くステップＳ２０７により、サブピクチャを生成する。このサブピクチャの生成にあたっては、画像信号処理部１３のフォーマット対応処理部１３ｂにおける、サブピクチャ対応の信号処理機能を用いる。なお、本実施の形態の実際としては、サブピクチャとして、撮像時関連付随情報を示す以外の機能を与えるサブピクチャを生成することも可能であるが、ここでのステップＳ２０７の処理手順では、撮像時関連付随情報に対応するサブピクチャのみを生成することとして説明する。
【００５６】
ステップＳ２０７としてのサブピクチャ生成のための処理手順を、図８のフローチャートに示す。
図８においては、先ず、ステップＳ４０１としての手順により、撮像時関連付随情報を取得する。この場合の撮像時関連付随情報のサブピクチャが、図３（ｂ）に示したような撮像日時の情報のみを提示するようなものである場合には、ステップＳ４０１では、例えばＣＰＵ１８ａが、時計部１８ｄにおいて計時されている現在日時の情報を取り込むようにされる。
また、撮像時関連付随情報のサブピクチャが、図４（ａ）（ｂ）などに示したように、主としてカメラ制御に関する設定を提示するようなものである場合には、最後のステップＳ２０３の処理によってＲＡＭ１８ｂに保持させているものとされる制御設定情報を、撮像時関連付随情報として読み込んで取得するようにされる。
また、サブピクチャにより提示する撮像時関連付随情報として、上記撮像日時と、カメラ制御に関する設定との両者を必要とする場合には、上記した時計部１８ｄからの現在日時の情報と、ＲＡＭ１８ｂからの制御設定情報の読み込みとを実行する。
【００５７】
ステップＳ４０２では、上記ステップＳ４０１により取得した撮像時関連付随情報の内容を示す画像データ部分を生成するための処理を実行する。この手順は、例えば制御部１８と画像信号処理部１３とが連携することで実現される。例えば、取得した撮像時関連付随情報の内容を、ユーザが認識可能な画像として提示するためには、文字（数字を含む）や絵柄などとする必要がある。このために、制御部１８では、取得した撮像時関連付随情報を、文字や絵柄を指定する文字コード情報に変換し、この文字コードに対応した画像部分がビットマップ形式により生成されるようにして画像信号処理部１３を制御する。
続いて、ステップＳ４０３により、上記ステップＳ４０２にて生成した撮像時関連付随情報を利用して、サブピクチャとしての画像データを生成する。なお、このときには、ビットマップ形式のサブピクチャとしての画像データについて、所定の方式によるランレングス符号化を施しておくようにされる。
【００５８】
説明を図６に戻す。
上記ステップＳ２０７としての処理手順によりサブピクチャの画像データを生成した後は、ステップＳ２０８に進んで、記録用データを生成する。つまり、ステップＳ２０６にて得られたＭＰＥＧ２方式により符号化された撮像画像（主画像）のビデオデータと、ステップＳ２０７により生成されたサブピクチャの画像データを利用してパケット分割、多重化などの処理を実行することで、先に説明したように、ＤＶＤ−Ｖｉｄｅｏフォーマットに適合した記録データである、ＭＰＥＧ２−ＰＳとしてのストリームデータを生成する。なお、このステップＳ２０８により生成されるストリームデータは、ステップＳ２０５において１ＧＯＰのタイミングが経過するごとに実行されるものであることから、例えば1ＧＯＰ分のものとなる。
【００５９】
ところで、これまでの図５〜図８のフローチャートの説明によると、図５におけるステップＳ１０１による記録用データの生成処理は、撮像モード時において継続的に実行されているものである。図６は、このステップＳ１０１の手順の流れを示す。従って、図６のステップＳ２０４として示される、撮像画像の信号をカメラユニットから取り込んで主画像としてのビデオデータをメモリ１４に保持するようにして取得する処理としても、撮像モード時において継続的に実行されているものである。このことから、撮像画像データを取得する処理は、時間経過に応じてリアルタイムに実行されものであるといえる。
また、撮像時関連付随情報の表示内容を有するサブピクチャの生成処理も、図６のステップＳ２０７として示されていることから、撮像モード時において継続的に実行されているものであるということになる。また、ステップＳ２０７の手順は、ステップＳ２０５において１ＧＯＰのタイミングに至ったことが判別されるごとに実行されるものであるので、サブピクチャの生成処理は、撮像モード時において、１ＧＯＰごとに実行されるようにして、継続的に行われているものとして捉えられる。
従って、例えば、ステップＳ２０７において作成されるサブピクチャとして、図３（ｂ）に示したようにして、日時を撮像時関連付随情報として反映させるときには、ステップＳ２０７の処理を実行するごとに、そのとき計時されている日時を取り込むことになる。この日時の取り込みは、１ＧＯＰのタイミングに対応するもので、例えば0.5秒程度の間隔となる。そして、このようにして取り込んだ日時が表示内容として反映されるように、サブピクチャを生成することになる。この結果、ステップＳ０７により作成されるサブピクチャに示される日時は、撮像時間の進行に従って進行していくようにして更新されるものとすることができる。
【００６０】
また、図６に示される記録用データの生成処理には、ステップＳ２０２−Ｓ２０３として示される、カメラ制御と、このカメラ制御に使用した制御値（制御設定情報）をＲＡＭに保持させるという手順を含んでいる。一般に、フォーカス制御や、ズーム制御、ホワイトバランス設定をはじめとするカメラ制御にかかわる処理は、撮像中においても定常的に実行されているものであり、撮像画像の状態やユーザ操作などにより制御パラメータは変化する。従って、撮像モード時において、図６のステップＳ２０２として実行する各種のカメラ制御について何らかの変化を生じれば、続くステップＳ２０３にて保持する制御設定情報も、これに応じて所定の項目が変化する。
従って、ステップＳ２０７により生成するサブピクチャにおける撮像時関連付随情報の表示内容に制御設定情報を含ませるものである場合、ステップＳ２０７にて撮像時関連付随情報の表示内容を作成するために取得する制御設定情報は、最後に実行されたステップＳ２０３の手順によりＲＡＭに保持されている、最新の制御設定情報となる。この結果、サブピクチャにおいて示される制御設定情報の内容としても、撮像時間の進行に従ってカメラ制御に変更があったのに応じて更新されていくものとなる。
このようにして本実施の形態では、撮像画像を取り込んでいたときの時間経過に対応して、サブピクチャとして示される撮像時関連付随情報の内容についても逐次更新させていくことが可能となっており、撮像時関連付随情報を記録再生する機能としての実用性を保っている。
【００６１】
なお、ステップＳ２０７によるサブピクチャ生成処理に利用すべき撮像時関連付随情報の内容について、前回のステップＳ２０７によりサブピクチャを生成したときに利用した撮像時関連付随情報の内容と同じで変化がない場合もある。この場合には、今回のステップＳ２０７においては、前回のステップＳ２０７により生成したサブピクチャのデータをそのまま取り込むようにすればよく、特に新規にサブピクチャを生成する必要はない。
【００６２】
また、実際において、ステップＳ２０７により作成するサブピクチャとしては、撮像時関連付随情報を表示内容として含むもの以外の、他の機能のためのサブピクチャも生成してかまわないものである。例えば撮像時における編集処理を可能とするリアルタイム編集機能などを撮像装置１が実装している場合において、ユーザが入力したコメントなどを表示するサブピクチャなどを作成することも考えられる。
【００６３】
また、これまでの説明では、主に動画としての撮像画像データを取り込んでビデオデータとして記録する場合を前提として説明しているが、本実施の形態の撮像装置１としては、撮像画像を静止画のデータとして記録することも可能に構成されてよい。そして、このようにして静止画としての主画像データを記録媒体に記録するときにも、この主画像データの取得時に対応して取得した撮像時関連付随情報の内容をサブピクチャとして生成して、主画像データとともに記録するように構成してよい。このようにして、静止画としての主画像データも、撮像画像を元として取得するのであるから、動画の撮像画像と同様にリアルタイムに取得されるものであり、対応するサブピクチャに示される撮像時関連付随情報としても、静止画の取り込み時に対応した内容を有しているものである。
【００６４】
また、リアルタイムに主画像データを取得することについて、実施の形態では、撮像画像を元として取得することとしているが、これ以外にも、例えば、インターネット、ＬＡＮ、ＷＡＮなどのネットワークや、ＩＥＥＥ１３９４、ＵＳＢなどのデータインターフェイス経由でデータを取得することによっても、リアルタイム的な主画像データの取得を実現できる。
【００６５】
また、上記実施の形態では、ＤＶＤフォーマットを前提として説明しているが、主画像としての画像データに対応させて副画像としてのデータを記録再生することが標準的に規定されているような画像記録再生フォーマットであれば、ＤＶＤ以外に対応する各種フォーマットの下でも本発明は適用できる。
また、本願に対応する記録装置、撮像装置としては、例えば可搬型ビデオカメラなどに限定されるものではなく、例えば携帯電話など、撮像機能を備える電子機器一般に適用できる。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施の形態としての撮像装置の構成例を示すブロック図である。
【図２】ＤＶＤ−Ｖｉｄｅｏフォーマットに従ったＤＶＤに記録されるデータの論理構造を示す図である。
【図３】実施の形態における、撮像画像に対して撮像時関連付随情報を合成表示させるための技術概念を示す図である。
【図４】実施の形態における、サブピクチャによる撮像時関連付随情報の表示態様例のバリエーションを示す図である。
【図５】実施の形態の撮像装置による撮像画像記録のための処理手順を示すフローチャートである。
【図６】記録用データ生成の処理手順を示すフローチャートである。
【図７】撮像画像取り込みの処理手順を示すフローチャートである。
【図８】サブピクチャ生成のための処理手順を示すフローチャートである。
【符号の説明】
【００６７】
１ 撮像装置、１１ カメラユニット、１１ａ 光学ブロック、１１ｂ 撮像部、１１ｃ カメラ制御部、１２ Ａ／Ｄコンバータ、１３ 画像信号処理部、１３ａ カメラ制御対応処理部、１３ｂ フォーマット対応処理部、１４ メモリ、１５ ＤＶＤドライブ、１６ 表示ドライバ、１７ 表示部、１８ 制御部、１８ａ ＣＰＵｌ１８ｂ ＲＡＭ、１８ｃ ＲＯＭ、１８ｄ 時計部、１９ 操作部
【技術分野】
【０００１】
本発明は、画像データを記録する記録装置と、その方法に関する。また、画像データとして撮像により取得した画像を記録する撮像装置に関する。
【背景技術】
【０００２】
例えば、民生用における可搬型のビデオカメラなどの撮像装置では、ユーザへの便宜として、撮像記録時において、そのときの日時や、露出などをはじめとした撮像装置における各種設定情報などの撮像に関しての付随情報を、撮像画像データとともに記録できるようにしたものが広く普及している。
また、近年では、ＤＶＤ(Digital Versatile Disc)を記録媒体とするビデオカメラなどの撮像装置も知られ、また、普及してきている。
【０００３】
上記のようにしてＤＶＤを記録媒体として撮像画像（及び収音音声）を記録するのにあたっては、周知のようにして、メディアフォーマットとしてＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＶＲ(Video Recording)などの、いわゆるＤＶＤフォーマットが採用される、また、これらのＤＶＤフォーマットにあっては、ビデオ、オーディオデータの記録にあたり、ＭＰＥＧ−ＰＳ(Program Stream)といわれるシステムフォーマットが採用される。ＭＰＥＧ−ＰＳは、ＭＰＥＧ(Motion Picture Experts Group)方式による圧縮符号化の規格として、画像データ、オーディオデータなどを同期させて多重化した符号化ストリームを生成し、この符号化ストリームとしてのデータを記録媒体に記録させるようにしたものである。
例えば、このようなＭＰＥＧ−ＰＳを採用するＤＶＤフォーマットでは、上記したような撮像に関しての付随情報をストリーム上においてどのようにして多重化するのかについての定義は存在していない。撮像に関する付随情報についての記録再生機能はユーザの便宜を考慮すれば必要なものである。従って、ＤＶＤフォーマットの下にあっても、付随情報の記録再生が行われるようにすることが必要となる。
【０００４】
そこで、特許文献１には、ＤＶＤフォーマット（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＶＲ）を前提として、１つのＶＯＢＵにおける特定の１つのパックを、付随情報（付加情報）の格納に使用することで、撮像画像データとともに付随情報を記録可能とする構成が提案されている。
このようにして記録が行われた後の再生時においては、文字、シンボル（絵柄）などによりユーザが認識可能な態様とされた付随情報の内容を、撮像画像に合成させるようにして、表示のための出力を行うことができる。このようにして付随情報が表示されることで、ユーザは、撮影の日時や、撮影時における各種の設定状態を確認できることになる。また、特許文献1に開示される技術構成は、付随情報を、ＤＶＤフォーマットにおいて規定されるパックに対して格納することとしており、この点で、ＤＶＤフォーマットが破綻しないようにも配慮されている。
【０００５】
【特許文献１】特開２００４−３１２６６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば上記特許文献１をはじめ、これまでに知られている撮像装置における付随情報についての記録再生の技術は、標準のＤＶＤフォーマットから拡張した機能となっている。換言すれば、撮像装置における付随情報の記録再生機能は、撮像装置の機種や撮像装置のベンダーごとに異なるアルゴリズムを採用しているものであり、必ずしも統一、標準化された規格のものではない、ベンダー固有などといわれる規格である。このために、或る撮像装置により撮像した画像を記録したＤＶＤなどの記録媒体を、他の機種の撮像装置や一般のＤＶＤ再生装置などにより再生した場合には、これらの装置が、ＤＶＤに記録されたデータから付随情報を再生するアルゴリズムを実装していないことで、付随情報を再生出力できないという不都合が生じる。
このような付随情報は、ユーザにとって重要な情報となる場合も多いことから、できるだけ高い汎用性をもって付随情報が再生されるようにすることが好ましい。
【課題を解決するための手段】
【０００７】
そこで本発明は上記した課題を考慮して、記録装置として次のように構成する。
つまり、主画像データをリアルタイムに取得する主画像データ取得手段と、記録媒体に画像データを記録するための所定のフォーマットにより、主画像データとともに所定規則に基づいて記録媒体に記録することが可能とされ、また、主画像データを再生して表示される画像に重畳されるようにして表示可能なことが規定される画像データである副画像データを生成する副画像データ生成手段と、主画像データ取得手段が上記主画像データを取得しているときにおいて、所定内容の情報を有する付随情報を取得する付随情報取得手段と、この付随情報取得手段により取得した付随情報の内容が所定の態様によって表示されるようにした副画像データが生成されるようにして、副画像データ生成手段を制御する副画像データ生成制御手段と、フォーマットに従って、主画像データ取得手段により取得された主画像データと、副画像データ生成手段により生成された副画像データとを上記記録媒体に記録する記録手段とを備えることとした。
【０００８】
また、撮像装置として次のように構成する。
つまり、撮像を行って得られた撮像画像の情報を、主画像データとして取得する主画像データ取得手段と、記録媒体にデータを記録するための所定のフォーマットにより、上記主画像データとともに所定規則に基づいて上記記録媒体に記録することが可能とされ、また、上記主画像データを再生して表示される画像に重畳されるようにして表示可能なことが規定される画像データである副画像データを生成する副画像データ生成手段と、主画像データ取得手段が上記主画像データを取得しているときにおいて、所定内容の情報を有する付随情報を取得する付随情報取得手段と、この付随情報取得手段により取得した付随情報の内容が所定の態様によって表示されるようにした副画像データが生成されるようにして、副画像データ生成手段を制御する副画像データ生成制御手段と、フォーマットに従って、主画像データ取得手段により取得された主画像データと、副画像データ生成手段により生成された副画像データとを記録媒体に記録する記録手段とを備えることとした。
【０００９】
上記各構成によれば、本願発明が対応するフォーマット（記録媒体に対するデータ記録再生方式の仕様）としては、主画像データと、この主画像データを再生して表示される画像に重畳されるようにして表示されるべきことが規定される副画像データとを、所定の論理構造により記録媒体に記録することが定められている。
そのうえで、本願発明においては、リアルタイムに主画像データを取得するとともに、このようにして主画像データを取得しているときに対応して取得した付随情報の内容をその画像内容とする副画像データを生成するようにされている。この結果、本願発明の記録装置によっては、主画像データとともに、付随情報の内容を表示する副画像データを格納したデータが記録媒体に記録されることになる。
フォーマットにより、副画像データは、主画像データに重畳されるようにして表示可能であることが規定されている。従って、本願に対応するフォーマットに準拠して記録媒体の再生が可能な再生装置により、本願発明の記録装置によって記録された記録媒体を再生したとすれば、主画像データの画像に重畳させて副画像データの画像を再生出力する機能により、自ずと付随情報の表示出力が実現されることになる。
【発明の効果】
【００１０】
このようにして本願発明によっては、本願に対応するフォーマットに準拠して記録媒体を再生可能な再生装置であれば、撮像時に対応した付随情報が表示されるようにして再生出力することが可能となる。つまり、付随情報の再生出力について汎用性が与えられることになる。これにより、例えばユーザにとっては、撮像画像を記録した記録媒体をどのような環境で再生させても、付随情報を表示出力させて撮影時のことを確認できることとなり、利便性などが高まることになる。
【発明を実施するための最良の形態】
【００１１】
図１は、本願発明の実施の形態としての撮像装置の構成例を示している。
この図に示す撮像装置１において、カメラユニット１１は、光学ブロック１１ａ、撮像素子１１ｂ及びカメラ制御部１１ｃを備えて成る。
光学ブロック１１ａは、レンズ光学系、フォーカス機構、シャッター機構、絞り（アイリス）機構などを備えて成り、入射された光を撮像光として撮像素子１１ｂの受光面に結像させる。また、光学ブロック１１aにおけるフォーカス制御、シャッター制御、絞り値の可変制御などは、この場合には、カメラ制御部１１ｃから出力される駆動信号によって行われるものとしている。つまり、カメラ制御部１１ｃは、制御部１８の制御に応じて、フォーカス機構、シャッター機構、及び絞り機構などを駆動するための駆動信号を生成して出力する。この駆動信号に応じて、フォーカス機構、シャッター機構、及び絞り機構が動作することで、フォーカス状態、シャッター動作、シャッター速度、及び絞り値などが適切な状態に制御される。
【００１２】
撮像部１１ｂは、例えばＣＣＤ、ＣＭＯＳセンサなどの光電変換素子を備えて成り、上記のようにして受光面にて受光した撮像光について光電変換を行う。そして、受光面にて受光された撮像光に応じて蓄積された信号電荷を、しかるべきタイミングで順次出力することで、撮像光に対応した電気信号を出力する。カメラ制御部１１ｃでは、制御部１８の制御に応じて必要とされるタイミング信号を生成して、撮像部１１ｃに対して駆動信号を出力する。撮像部１１ｃは、この駆動信号に応じたタイミングで、上記信号電荷の出力を実行する。
また、撮像部１１ｃでは、上記のようにして光電変換素子の部位から出力させた電気信号について、例えばＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Automatic Gain Control）処理などを実行し、Ａ／Ｄ（Analog/Digital）コンバータ１２に出力する。
Ａ／Ｄコンバータ１２では、入力されたアナログの電気信号についてデジタル信号に変換する。
【００１３】
Ａ／Ｄコンバータ１２から出力された、撮像光に対応したデジタル信号は、画像信号処理部１３に供給される。画像信号処理部１３は、画像信号処理に対応するＤＳＰ(Digital Signal Processor)として構成され、入力されたデジタル信号から撮像画像に対応するデジタル画像信号を得ることをはじめとして、所要のデジタル信号処理を実行する。この図では、画像信号処理部１３が実行するデジタル信号機能のうちで主要となる、カメラ制御対応処理部１３ａとして示し、後述するＤＶＤの記録再生フォーマットに対応した記録再生のための信号処理を担う部位を、フォーマット対応処理部１３ｂとして示している。
【００１４】
カメラ制御対応処理部１３ａは、主としては、撮像に関連して設定されたカメラユニット１１に対する制御のための各種パラメータに応じた所要の信号処理を実行する。このカメラ制御対応処理部１３ａが対応する撮像のパラメータには、ＡＦ(Auto Focus：自動焦点調整)制御、露出制御、ホワイトバランス処理、手ぶれ補正などを挙げることができる。
例えばＡＦ制御であれば、カメラ制御対応処理部１３ａは、次のような信号処理を実行する。ＡＦ制御とは、手動のフォーカスレンズ操作に依らず、自動的に合焦状態が得られるように制御することをいう。ここでのＡＦ制御は、コントラスト方式であることとする。コントラスト方式では、撮像画像から得られる画像信号の輝度信号についての高周波成分に基づいて生成した評価値が最も高くなるようにしてフォーカスレンズを駆動するように制御する。カメラ制御対応処理部１３ａのＡＦ制御に対応した処理としては、画像信号処理部１３に入力されるデジタル信号に基づいて生成されたデジタルビデオ信号から輝度信号成分を抽出し、この輝度信号から評価値を発生するための信号処理を実行する。そして、制御部１８は、この評価値に基づいて合焦状態が得られるようにしてフォーカスレンズを駆動する。
【００１５】
また、露出制御として、自動露出制御を行う場合には、例えば撮像画像を元とする画像信号における輝度信号レベル（明るさを示す）に基づいて、制御部１８が露光条件（シャッター速度及び絞り値）を設定する。そして、この露光条件による撮像が行われるようにして、カメラユニット１１に対する制御を行う。カメラ制御対応処理部１３ａは、例えば自動露出制御のときには、上記した露光条件設定のための輝度信号レベルの情報を、撮像画像から得られる画像信号に基づいて生成して出力するようにされる。
また、ホワイトバランスについては、自動制御モードと、太陽光、蛍光灯、電球などの周囲の環境に応じたモード設定などの間での切り換えが行われるようになっている。カメラ制御対応処理部１３ａでは、設定されたホワイトバランスのモードに応じて、撮像画像から得られるデジタル画像信号についてホワイトバランスに対応した所要の処理を実行する。
また、手ぶれ補正として撮像画像信号を利用する処理の場合には、カメラ制御対応処理部１３ａの処理として、撮像画像に基づいて得られたデジタル画像信号を対象として動き検出処理を実行し、その検出結果を制御部１８に出力するようにされる。制御部１８は、動き検出結果に応じて、手ぶれによる撮像画像の移動がキャンセルされるようにして撮像画像に基づいて得られたデジタル画像信号の水平方向と素直方向の移動制御を実行する。
【００１６】
また、フォーマット対応処理部１３ｂは、本実施の形態における記録媒体となる、ＤＶＤに対応して動画像データを記録再生するためのフォーマットに対応したデジタル信号処理を実行する。本実施の形態の撮像装置１が対応するＤＶＤとしては、例えば追記型、もしくは書き換え可能型によりデータ記録が可能なＤＶＤとなる。もちろん、再生専用のＤＶＤであっても、本実施の形態の撮像装置１が対応するＤＶＤフォーマットであれば、撮像装置１が備える再生機能により再生することができる。また、本実施の形態の撮像装置１が対応するＤＶＤフォーマットとしてはＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＶＲなどとする。なお、以降においては、便宜上、ＤＶＤ−Ｖｉｄｅｏであることを前提として説明する。
【００１７】
ＤＶＤフォーマットでは、メインの画像データ（動画像データ）とオーディオデータはＭＰＥＧ方式による圧縮符号化が行われる。
例えばフォーマット対応処理部１３ｂは、Ａ／Ｄコンバータ１２から画像信号処理部１３に入力されてくるデジタル信号について、ＭＰＥＧ方式による圧縮符号化を行う。また、ＤＶＤ−Ｖｉｄｅｏのフォーマットでは、メインの画像データとともに、サブピクチャといわれる画像データ（副画像データ）をＤＶＤに対して記録させることが可能とされている。サブピクチャは、メインの動画像データに対して補助的な表示を付加することを本来の目的として設けられるもので、例えば、映画としての動画像に対して、字幕を付加表示させるときなどに使用される。このようなサブピクチャとしての画像データの生成、符号化も、フォーマット対応処理部１３ｂが実行する。
そして、フォーマット対応処理部１３ｂでは、上記のようにして圧縮符号化したメインの画像データ及びサブピクチャを利用して、例えばＭＰＥＧ−ＰＳといわれるストリームデータの形式にフォーマット変換することができる。そして、このようにして生成したストリームデータをＤＶＤドライブ１５に出力する。
【００１８】
ＤＶＤドライブ１５では、上記のようにして画像信号処理部１３のフォーマット対応処理部１３ａから出力されたストリームデータを入力して、必要に応じて記録符号化などの処理を実行したうえで、装填されているＤＶＤに対してデータの書き込みを実行する。これにより、ＤＶＤには、撮像により得られた画像データが記録されることになる。
【００１９】
また、ＤＶＤに記録された画像データを再生するときには、ＤＶＤドライブ１５に対する制御部１８の制御によりＤＶＤからの読み出しを行って、この読み出したデータを画像信号処理部１３ａに入力する。
画像信号処理部１３ａにおいては、入力されたデータについて、フォーマット対応処理部１３ｂとしての機能部位により、圧縮符号化に対応する復号処理などを実行して、表示用のデジタル画像信号を得るようにされる。そして、このデジタル画像信号は、表示ドライバ１６に対して出力することができる。表示ドライバ１６では、入力される表示用のデジタル画像信号に応じて、表示部１７に対する表示のための駆動を行う。これにより、表示部１７には、ＤＶＤから再生した撮像画像が表示されることになる。なお、ここでは図示していないが、外部に対して所定形式の表示用デジタル画像信号を出力して外部の表示装置などにより画像が表示されるようにしてもよい。
また、画像信号処理部１３では、撮像時におけるモニタ画像を表示部１７に対して表示させるための信号処理も実行可能とされる。この場合には、例えばＡ／Ｄコンバータ１２から入力されてくるデジタル信号に基づいて得られたデジタル画像信号を、表示ドライバ１６に対して出力するようにされる。
なお、表示部１７として実際に採用される表示デバイスとしては、ＬＣＤ(Liquid Crystal Display)をはじめとして、各種考えることができる。
【００２０】
画像信号処理部１３は、上記のようにして各種の信号処理を実行するのにあたって、例えばＳＤＲＡＭなどにより構成されるメモリ１４を作業領域として使用する。ＳＤＲＡＭ３に対するデータの書き込み／読み出し制御は、画像信号処理部１３内に備えられるＳＤＲＡＭ１４対応のメモリコントローラが実行する。
【００２１】
制御部１８は、撮像装置１における各部を制御するもので、ＣＰＵ（Central Processing Unit）１８ａ、ＲＡＭ（Random Access Memory）１８ｂ、ＲＯＭ（Read Only Memory）１８ｃ、時計部１８ｄを備えるマイクロコンピュータとして構成される。
ＲＡＭ１８ｂは、ＣＰＵ１８ａの演算結果を一時記憶するなど、主としてＣＰＵ５１の作業領域として用いられる。また、ＲＯＭ１８ｃは、ＣＰＵ５１が実行すべきプログラムや、各種処理に必要とされる設定データなどが記憶される。このプログラムは、例えば撮像装置１の製造時において、ＲＯＭ１８ｃに書き込むことで記憶させることができる。あるいは、例えばリムーバブルの記録媒体にプログラムを記憶させておき、このリムーバブルの記憶媒体からＲＯＭ１８ｃに対してプログラムのデータをインストールするようにして記憶させることも考えられる。また、ＲＯＭ１８ｃについては、ＥＥＰＲＯＭやフラッシュメモリなどの書き換え可能な不揮発性の半導体メモリ素子を採用してもよい。
時計部１８ｄは、計時を行うことで、現在年月日、現在曜日、現在時刻などの情報を出力可能とされる。
【００２２】
この場合の操作部１９は、撮像装置１の筐体の所要位置に備えられる各種操作子、タッチパネル、などの入力操作手段を一括して示している。操作部１９では、操作結果に応じた操作情報信号を制御部１８に出力する。制御部１８内のＣＰＵ１８ｄは、入力された操作情報信号に応じて所要の制御、処理を実行する。
【００２３】
なお、一般の撮像装置としては、例えば撮影時において同時にマイクロフォンなどにより収音した音声を、撮像画像データとともに、オーディオデータとして記録可能とされている。このようなオーディオデータは、撮像画像データとの時間的同期が図られるようにして記録再生される。本実施の形態の撮像装置１の実際としても、再生時間が同期されるようにして、撮像画像データと収音音声データとをストリームデータに多重化して記録するようにされる。しかしながら、図１においては、説明を簡単なものとすることの便宜上、音声情報の記録再生系については省略している。本実施の形態の撮像装置１における実際の音声情報の記録再生系の構成については、ＤＶＤ−Ｖｉｄｅｏのフォーマットに対応する周知の技術が適用されればよい。
【００２４】
図２は、ＤＶＤ−Ｖｉｄｅｏフォーマットに対応した、ＤＶＤにおけるデータの論理構造を示している。
先ず、図２（ａ）に示すようにして、ＤＶＤの記録領域は、最内周側から外周側にかけて、順に、リードインエリア(Lead in)、データゾーンエリア、リードアウト(Lead out)エリアに大別して区分けされる。そして、データゾーンエリアにおいて管理情報および画像データ等のデータが記録される。データゾーンエリアは物理的には、30000h（hは16進法表記であることを示す）で示されるアドレスから開始されることとなっている。
【００２５】
データゾーンエリアは、リードインエリア側から順に、ＵＤＦ（Ｕｎｉｖｅｒｓａｌ Ｄｉｓｃ Ｆｏｒｍａｔ）エリア、ＶＭＧ（Ｖｉｄｅｏ ＭａｎａＧｅｒ）エリアと、以降のユーザデータが記録されるデータエリアに区分される。
ＵＤＦエリアは、ＵＤＦ規格とＩＳＯ９６６０規格をサポートすることで、コンピュータ装置によってもＤＶＤに対するアクセスを可能とするために設けられる領域である。このようなファイルシステムの技術は、ＵＤＦブリッジといわれる。ＶＭＧエリアは、ディスク全体に対応する管理情報が記録される領域で、ディスク上に存在する全タイトルを特定する目次を構成する。ＶＭＧは、図２（ｂ）に示すように、ＶＭＧＩ、ＶＭＧＭ_ＶＯＢＳ、ＶＭＧＩ_ＢＵＰが順次配列されて成る。
【００２６】
データエリアは、上記もしているようにユーザデータを記録するためのエリアであり、図２（ａ）においてＶＴＳ１〜ＶＴＳｎとして示すように、ＶＴＳ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ）といわれる1タイトルに対応する単位でデータが記録される。
１つのＶＴＳは、図２（ｂ）に示すように、ＶＴＳＩ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ Ｉｎｆｏｒｍａｔｉｏｎ）、ＶＴＳＭ＿ＶＯＢＳ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｓｅｔ Ｆｏｒ ｔｈｅ ＶＴＳＭ）、ＶＴＳＴＴ＿ＶＯＢＳ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｓｅｔ Ｆｏｒ Ｔｉｔｌｅｓ ｉｎ ａ ＶＴＳ）、ＶＴＳＩ＿ＢＵＰ（Ｂａｃｋｕｐ ｏｆ ＶＴＳＩ）から成る。なお、各ＶＯＢＳのサイズは１ＧＢ（ギガバイト）未満であるべきこととされている。
【００２７】
ＶＴＳＩには、画像データ等の記録位置情報等の管理情報を格納する。また、ＶＴＳＭ＿ＶＯＢＳには、画像データ等のルートメニューを格納する。このＶＴＳＭ＿ＶＯＢＳはオプションである。
ＶＴＳＴＴ＿ＶＯＢＳは、タイトルとしての実データが格納される領域となる。
ＶＴＳＩ＿ＢＵＰには、ＶＴＳＩのバックアップデータを格納する。
【００２８】
1タイトル分の実データが格納されるＶＴＳＴＴ＿ＶＯＢＳは、図２（ｃ）においてＶＯＢ１〜ＶＯＢｎとして示すように、ＶＯＢといわれる単位の連結により形成される。１ＶＴＳＴＴ＿ＶＯＢＳ内におけるＶＯＢの数は、65535以内とされている。また、ＶＯＢは、ＭＰＥＧ−ＰＳ(Program Stream)といわれる、ＭＰＥＧ２方式に対応して圧縮符号化されたビデオデータとオーディオデータ、サブピクチャの画像データ（ビットマップ）、及びナビゲーション（ＮＶ）データを格納する。
また、１つのＶＯＢは、図２（ｄ）に示すようにして、1以上のＣｅｌｌといわれる単位から成る。このＣｅｌｌが再生の基本単位となる。１ＶＯＢ内のＣｅｌｌの数は、２５５以内とされている。さらに、Ｃｅｌｌは、図２（ｅ）に示すようにして、１以上のＶＯＢＵ（Ｖｉｄｅｏ ＯｂｊｅＷｃｔ Ｕｎｉｔ）から成る。
【００２９】
ＶＯＢＵは、ＤＶＤ−Ｖｉｄｅｏに対応する再生システムがアクセスするための最小単位となるもので、0.4〜1.0secの再生時間を基準として生成される。ただし、最後のＶＯＢＵについては1.2secの再生時間を基準とする。
そして、ＶＯＢＵは、図２（ｆ）に示すようにして、ＮＶ_ＰＣＫ（ナビゲーションパック）、Ｖ_ＰＣＫ（ビデオパック）、Ａ_ＰＣＫ（オーディオパック）、Ｓ_ＰＣＫ（サブピクチャパック）の4種類のパックのシーケンスから成る。1パックは、２０４８バイト（1セクタに対応する）とされており、ここでは1パケットが相当する。
【００３０】
ＤＶＤ−Ｖｉｄｅｏに対応する再生システムでは、可変ビットレートやシームレス再生に対応するが、このことは、ＤＶＤにピックアップがアクセスして読み出しを行っている信号と、復号処理されているビデオデータ、オーディオデータとの間に時間的なシフト量が存在することを意味する。そこで、このような再生時間のずれを解決して正常に再生するための制御情報が必要となるが、これがナビゲーションデータとなる。ナビゲーションデータには、ＰＣＩ(Program Control Information)といわれるリアルタイム制御のための制御情報と、ＤＳＩ(Data Search Information)といわれるアクセスに関する制御情報とがあるものとして規定されている。ＮＶ_ＰＣＫは、これらのナビゲーションデータを格納するパックであり、図２（ｇ）に示すようにして、例えば１ＮＶ_ＰＣＫは、上記ＰＣＩを格納するパケットと、ＤＳＩを格納するパケットから成る。
【００３１】
Ｖ_ＰＣＫは、ＭＰＥＧ２方式により圧縮符号化されたビデオ（画像）データを格納する。なお、１つのＶＯＢＵ内におけるＶ_ＰＣＫに格納されるデータの連結により形成される画像データとしては、少なくとも１つのＧＯＰを含むべきこととしている。
Ａ_ＰＣＫは、ＭＰＥＧ２方式に対応して圧縮符号化されたオーディオ（音声）データを格納する。１ＶＯＢＵ内におけるＡ_ＰＣＫに格納されるデータの連結により形成されるオーディオデータは、そのＶＯＢＵ内においてＶ_ＰＣＫにより格納されるビデオデータに対応したものとなる。
【００３２】
ＤＶＤ−Ｖｉｄｅｏのフォーマットでは、ＭＰＥＧ２方式により圧縮符号化されるビデオデータの画像を主画像として扱うこととしたうえで、この主画像に対して副画像となる関係のサブピクチャを定義している。
ここでいう主画像としてのビデオデータは、上記Ｖ_ＰＣＫに格納される圧縮符号化ビデオデータが対応するもので、通常は動画像のデータとなる。
一方、サブピクチャとしての画像データは例えばビットマップ（bitmap）形式とされ、再生時においては、主画像であるビデオデータによる動画像に対してサブピクチャの画像を重畳（合成）するようにして表示された状態で出力可能とされている。つまり、サブピクチャは、主画像に対して付加的、補助的な表示を行うための画像として扱われる。
Ｓ_ＰＣＫは、このサブピクチャのデータを格納する。１ＶＯＢＵ内におけるＳ_ＰＣＫに格納されるデータの連結により形成されるサブピクチャのデータとしても、そのＶＯＢＵ内においてＶ_ＰＣＫにより格納されるビデオデータに対応したものとなる。また、サブピクチャの画像内容の変更（更新）は、１ＧＯＰを最小単位として更新できるものとされている。従って、例えばサブピクチャの画像内容を、再生時間の進行に対応させて更新させていくこととした場合における最短の更新タイミングとしても、1ＧＯＰの時間に対応するものとなる。
【００３３】
なお、サブピクチャは、周知のようにして、映画などのＤＶＤパッケージメディアなどでは、字幕を表示させる機能のために使用されている。つまり、このようなＤＶＤパッケージメディアでは、ＤＶＤ−Ｖｉｄｅｏフォーマットの下で、映画そのものの画像については主画像データとして扱い、Ｖ_ＰＣＫに格納した圧縮符号化ビデオデータとして記録する。これとともに字幕を表示させるための画像内容を有するビットマップ形式の画像データを作成して、この字幕表示のためのサブピクチャをＳ_ＰＣＫに格納したサブピクチャのデータとして記録する。
そして、ＤＶＤ-Ｖｉｄｅｏフォーマットに対応する再生システムが、上記のようにして記録されたＤＶＤを再生するときには、Ｖ_ＰＣＫから抽出したビデオデータを復号して得た映画そのものの画像データに対して、Ｓ_ＰＣＫから抽出して得たサブピクチャの画像データを合成するようにして再生表示用の画像データを生成するビデオ信号処理を実行する。サブピクチャの更新は、１ＧＯＰ単位に対応しているので、１つのＧＯＰを処理するごとに1枚分のサブピクチャの画像データを、主画像の画像データに合成するようにして再生信号処理を行えばよく、これによって、主画像の画像データの再生時間に対する同期がとられる。この結果、再生出力される画像としては、映画の画像に重畳されるようにして字幕が表示され、映画の画像の時間進行に従って、字幕の内容も変化（更新）していくことになる。
また、このような映画などのＤＶＤのソフトでは、周知のようにして、例えば字幕を異なる言語間で切り換えるようにして再生できるようになっている。このことは、ＤＶＤフォーマットにおいて、例えばサブピクチャについては、機能ごとに対応して複数を用意することが許されていることを意味している。再生時においては、これらの複数機能に対応するサブピクチャのうちから、主画像に重畳表示させるべきものを選択して再生することになる。
【００３４】
ところで、先に説明したように、撮像装置としては、従来から、撮像日時や撮像時における各種パラメータなどのように、撮像を行っていたそのときに関連した付随情報（撮像時関連付随情報）を撮像画像とともに記録媒体に記録し、再生時においては例えば撮像画像とともに表示出力させる仕組みを与えるようにされているものがほとんどである。しかしながら、前述もしたように、従来にあっては、上記した撮像時関連付随情報の記録は、メディアの記録フォーマットの拡張として行っていたものであったため、標準の記録フォーマットに対応する再生のアルゴリズムでは、撮像時関連付随情報を再生出力することができない。このために、撮像時関連付随情報の再生について、他のメーカの撮像装置や、撮像装置以外の再生機器などの他の機種との互換性を保つことが困難であった。
【００３５】
そこで、本実施の形態の撮像装置１としては、上記した問題の解決を図りながら、撮像時関連付随情報が記録媒体（ＤＶＤ）に記録されるようにすることを目的とする。つまり、ＤＶＤフォーマットに対応する再生機器でさえあれば、本実施の形態の撮像装置１により撮像画像を記録したＤＶＤを再生したときには、撮像画像とともに撮像時関連付随情報が表示されるようにして、撮像時関連付随情報の表示出力について汎用性を与えるようというものである。
【００３６】
そこで、本実施の形態としてはサブピクチャに着目する。サブピクチャは、図２により説明したように、ＤＶＤ−Ｖｉｄｅｏのデータ構造においてＮ＿ＰＣＫとして標準的に含めることができるものとなっている。従って、ＤＶＤ−Ｖｉｄｅｏに記録するデータにサブピクチャのデータを含めれば、ＤＶＤ−Ｖｉｄｅｏフォーマットに対応するどの再生機器によっても、ＤＶＤからサブピクチャのデータを再生して、ビデオデータの画像（主画像）に重畳（合成）させて出力することができる。このことに基づいて、本実施の形態としては、撮像時関連付随情報の記録のために、サブピクチャを利用する。この点について、図３により説明する。
【００３７】
本実施の形態の撮像装置１において主画像となるのは、図３（ａ）に示されるようにして、撮像により得られた撮像画像である。この主画像としての撮像画像に対応するデータは、前述のように、ＭＰＥＧ2による圧縮符号化が施されてＶ＿ＰＣＫを最小単位としてＤＶＤに記録されるビデオデータである。
【００３８】
一方、図３（ｂ）には、上記図３（ａ）に示す主画像が表示出力されているときに対応して、この主画像に対して重畳表示されるべきサブピクチャの表示内容を示している。この場合のサブピクチャの表示内容としては、図示するようにして、画面右下の領域において、日時エリアＡｒ１が示されている。この日時エリアＡｒ１においては、図３（ａ）に示す主画像としての撮像画像を実際に撮影していたとされるときの日時（年、月、日、時間、分、秒）が示されている。このような日時の情報は、撮像したときの日時を提示するものであることから撮像時に関連する情報であるといえる。つまり、本実施の形態でいうところの撮像時関連付随情報である。そして、図３（ｂ）のサブピクチャの画像においては、この日時としての撮像時関連付随情報を、ユーザによる認識が可能なように、数字主体の画像内容により示している。
このようにして本実施の形態では、撮像時関連付随情報をサブピクチャの画像内容として作成してＤＶＤに記録するようにされる。
【００３９】
これまでの説明によると、本実施の形態の撮像装置１により撮像画像をＤＶＤに記録するときには、撮像画像をビデオデータとして記録し、撮像時関連付随情報をサブピクチャのデータとして記録することになる。そして、このようにして記録が行われたＤＶＤを、通常に再生して表示出力すると、図３（ｃ）に示すようにして、撮像画像である主画像に対して、サブピクチャの画像内容である日時エリアＡｒ１が合成された状態で表示されることになる。そして、このような再生出力の表示態様は、ＤＶＤ−Ｖｉｄｅｏフォーマットに対応して再生が可能であれば、どの再生装置によっても再現されることになる。このようにして本実施の形態では、撮像装置１により記録媒体に記録した撮像時関連付随情報の再生について、他の機器との互換が与えられることになる。
【００４０】
撮像時関連付随情報の画像内容を有するサブピクチャのバリエーションを、図４（ａ）（ｂ）に示す。
図４（ａ）は、撮像画像を動画として記録していた場合における各種のパラメータ設定の内容を、撮像時関連付随情報として提示するサブピクチャの表示態様例を示す。
この図では、手ぶれ補正オン／オフエリアＡｒ１１、明るさ調整モードエリアＡｒ１２、ホワイトバランスモードエリアＡｒ１３、ゲインエリアＡｒ１４、シャッタースピードエリアＡｒ１５、絞り値エリアＡｒ１６が、サブピクチャ内に表示されている。
手ぶれ補正オン／オフエリアＡｒ１１は、パラメータ設定として、共に再生される主画像の撮像時における手ぶれ補正モードについてのオン／オフが何れに設定されているのかを示す表示エリアである。明るさ調整モードエリアＡｒ１２は、その撮像時における明るさ調整のモードの設定状態を示す表示エリアであり、この場合には、自動調整（AUTO）のモードが設定されていることを示している。ホワイトバランスモードエリアＡｒ１３は、その撮像時におけるホワイトバランスの調整モードを示す表示エリアであり、ゲインエリアＡｒ１４は、その撮像時において設定されていた撮像画像信号に対するゲイン値を示す。シャッタースピードエリアＡｒ１５は、その撮像時において設定されていたシャッター速度を示し、絞り値エリアＡｒ１６は、その撮像時において設定されていた絞り値を示す表示エリアである。
【００４１】
また、図４（ｂ）には、撮像画像を動画として記録した場合における各種のパラメータ設定の内容を、撮像時関連付随情報として提示するサブピクチャの表示態様例を示している。この場合には、露出モードエリアＡｒ２１、シャッタースピードエリアＡｒ１５、絞り値エリアＡｒ１６がサブピクチャ内に示される。露出モードエリアＡｒ２１は、その撮像時において設定されていた露出制御のモードを示す。この図では、自動（ＯＥＶ）が設定されていることを示している。シャッタースピードエリアＡｒ１５、絞り値エリアＡｒ１６については、図４（ａ）と同様である。
【００４２】
以降、撮像装置１において実行される、撮像画像をＤＶＤに記録するための処理手順について、図５〜図８のフローチャートを参照して説明する。なお、これらの図に示す処理手順は、図１に示す制御部１８におけるＣＰＵ１８ａが、例えばＲＯＭ１８ｃに記憶されるプログラムを実行して各部を制御し、また、この制御に応じて図1に示される所定の機能ブロックが動作を実行することで実現される。
【００４３】
先ず、撮像装置１において撮像画像を記録データとして取り込むための撮像モードにあるとされる状態では、撮像装置１は、ステップＳ１０１から始まる図５の処理ルーチンを実行している。
ステップＳ１０１においては、記録用データを生成するための処理を実行する。この記録用データとは、ＤＶＤドライブ１５に装填されるＤＶＤに記録すべきデータであり、本実施の形態にあっては、少なくともカメラユニット１１により撮像された画像の信号を元とするビデオデータ（主画像データ）と、後述するようにして作成される撮像時関連付随情報を示す画像内容を有するサブピクチャのデータとを、それぞれＶ＿ＰＣＫ、Ｎ＿ＰＣＫとして含むＭＰＥＧ２−ＰＳである。つまり、ステップＳ１０１においては、記録用データとして、図２に示した論理構造に対応した、例えば1タイトル分に相当するストリームデータを生成していく。
なお、実際には、記録用データは、撮像により得られた画像と共に、マイクロフォンなどにより収音して得られた音声を基とするオーディオデータもＡ＿ＰＣＫとして含むことになる。しかしながら、ここでは説明の便宜上、オーディオデータについての記載は省略する。本実施の形態の実際として、オーディオデータについては、ＤＶＤ−Ｖｉｄｅｏフォーマットに従った通常の処理により記録再生が行われる。
【００４４】
ステップＳ１０２では、現在においてＤＶＤへの記録実行が指示されているか否かについて判別している。ここで、例えば、現在においてはＤＶＤへの記録実行の操作が解除されている状態であるとして否定の判別結果が得られた場合には、ステップＳ１０１の処理を継続して実行するような状態となる。つまり、撮像モードとしてＤＶＤへの記録を実行していない状態では、ステップＳ１０１としての記録用データを生成する処理を継続的に実行するようにされる。ただし、生成した記録用データをＤＶＤに対して記録するための処理は実行することなく、生成したデータは逐次破棄していくようにされる。
【００４５】
このようにして、記録用データの生成処理そのものについては、ＤＶＤへの記録が実行される以前の段階から継続的に実行するようにしている。これは、ＤＶＤへの記録実行を開始するための操作が行われるのに応答したタイミングで、実際のＤＶＤへの記録が実行開始されるようにすることを考慮しているためである。例えば、ＤＶＤへの記録実行開始の操作に応じて記録用データの生成処理を開始したのでは、例えば信号処理動作の起動に時間がかかったり、また、カメラユニット１１により撮像して得られた画像の信号が記録用データとして生成されるまでの時間が要したりすることなどが原因で、記録実行開始操作よりも相当に後のタイミングで撮像された画像から、ＤＶＤへの記録が開始されてしまう。
【００４６】
そして、例えば、現在においてはＤＶＤへの記録実行開始操作が解除されていない状態にあるとして、ステップＳ１０２において肯定の判別結果が得られた場合には、ステップＳ１０３の手順に進む。
【００４７】
ステップＳ１０３によっては、例えば制御部１８の制御により、ステップＳ１０１の手順によって生成した記録用データをＤＶＤドライブ１５に転送（出力）して、ＤＶＤへの記録を指示する。これに応じて、ＤＶＤドライブ１５では、記録用データについてＤＶＤ記録に適合した記録符号化などの処理を実行して、ＤＶＤに対してデータ記録を行う。そして、ＤＶＤへの記録実行開始操作が解除されていない状態では、ステップ１０２にて肯定の判別結果が得られることで、ステップＳ１０１による記録用データの生成と、ステップＳ１０３による記録用データのＤＶＤへの記録とを継続して実行するようにされる。
【００４８】
図６のフローチャートは、上記図５のステップＳ１０１としての処理である記録用データの生成処理の手順を示している。
前述もしたように、１つのサブピクチャの画像内容の更新は、1ＧＯＰごとの単位で行うことができる。この場合、1ＧＯＰに対応する時間は一定（例えば０．５秒程度）であることとする。そこで、図６におけるステップＳ２０１の処理としては、この1ＧＯＰに対応する時間を計時するタイマーを起動させる。なお、2回目以降のステップＳ１０１の処理となるのに対応して、2回目以降のステップＳ２０１を実行するときには、タイマーをリセットして、計時を再開させることになる。また、タイマーの動作は、例えばＣＰＵ１８ａが時計部１８ｄを使用してタイマーとしての計時を実行することで実現できる。
【００４９】
ステップＳ２０２では、現在の撮像により得られる画像の信号についての各種状態などに応じて、適正な画像が撮像できるようにするためのカメラユニット１１により撮像される画像に関連した各種の制御（カメラ制御）を実行する。ここでの制御項目としては、例えばオートフォーカス制御、露出（シャッタースピード、絞り）制御、ホワイトバランス、手ぶれ補正制御などを挙げることができる。この場合においては、前述したように、画像信号処理部１３におけるカメラ制御対応処理部１３ａが必要な信号処理を実行する。
上記したカメラ制御は、制御のために設定された各種のパラメータ値（制御設定値）を設定したうえで実行されるものであり、例えば制御部１８ｂにおいては、このような制御値を生成してレジスタなどに保持している。そこで、本実施の形態としては、ステップＳ２０３の処理として示すように、このような制御設定値の集合として成る情報（制御設定情報）を、撮像時関連付随情報として利用できるようにするために保持しておくようにされる。
【００５０】
次のステップＳ２０４では、撮像画像を信号として取り込むための処理を実行する。なお、実際においては、上記ステップＳ２０２−Ｓ２０３による手順と、このステップＳ２２０４としての手順は、同時並行的なタイミングで実行されるものであるが、ここでは、フローチャートによる手順の説明としている都合上、ステップＳ２０２〜Ｓ２０４の手順を順次的に示している。
【００５１】
ここで、上記ステップＳ２０４による、撮像画像を信号として取り込むための処理手順を、図７のフローチャートに示す。
図１にて説明したように、カメラユニット１１からは撮像部１１ｃにより撮像画像に対応した電気信号（撮像信号）が生成される。ステップＳ３０１では、カメラユニット１１から、この撮像信号を取り込む。そして、次のステップＳ３０２により、取り込みを行った撮像信号をＡ／Ｄコンバータ１２に入力させてデジタル信号に変換する。
ステップＳ３０３では、上記ステップＳ３０２によりデジタル信号に変換された撮像信号を画像信号処理部１３に入力させる。そして、画像信号処理部１３のフォーマット対応処理部１３ｂにより、入力されたデジタル信号について信号処理を行い、主画像に対応するビデオデータ（主画像ビデオデータ）を生成する。なお、この段階で生成されるビデオデータは、ＭＰＥＧ２方式により圧縮符号化される前の段階の、デジタル映像信号としてのデータ形式である。そして、ステップＳ３０４により、この主画像ビデオデータをメモリ１４に保持させておくようにされる。
【００５２】
説明を図６に戻す。
ステップＳ２０４による撮像信号の取り込みとビデオデータへの変換、保持が終了したとされると、次のステップＳ２０５により、ステップＳ２０１にて起動、リセットしたタイマーの時間が、予め定められた設定時間を経過したか否かについて判別する。ここで、否定の判別結果が得られたのであれば、ステップＳ２０２→Ｓ２０３→Ｓ２０４による手順を繰り返す。これに対して、ステップＳ２０５にてタイマーの設定時間を経過したとして肯定の判別結果が得られたとされると、ステップＳ２０６以降の処理に進む。
【００５３】
なお、実際において、ステップＳ２０２→Ｓ２０３→Ｓ２０４による処理手順は、撮像モード時においては継続して定常的に実行される処理であるが、ここでも、フローチャートにより手順を示していることの都合上、ステップＳ２０２→Ｓ２０３→Ｓ２０４までの処理と、ステップＳ２０６以降の処理を順次的に示すこととしている。
【００５４】
ステップＳ２０６においては、これまでにおいてメモリ１４に蓄積されている主画像（撮像画像）のデジタルビデオデータを取り込んで、ＭＰＥＧ２方式に従った圧縮符号化処理を実行する。
【００５５】
また、続くステップＳ２０７により、サブピクチャを生成する。このサブピクチャの生成にあたっては、画像信号処理部１３のフォーマット対応処理部１３ｂにおける、サブピクチャ対応の信号処理機能を用いる。なお、本実施の形態の実際としては、サブピクチャとして、撮像時関連付随情報を示す以外の機能を与えるサブピクチャを生成することも可能であるが、ここでのステップＳ２０７の処理手順では、撮像時関連付随情報に対応するサブピクチャのみを生成することとして説明する。
【００５６】
ステップＳ２０７としてのサブピクチャ生成のための処理手順を、図８のフローチャートに示す。
図８においては、先ず、ステップＳ４０１としての手順により、撮像時関連付随情報を取得する。この場合の撮像時関連付随情報のサブピクチャが、図３（ｂ）に示したような撮像日時の情報のみを提示するようなものである場合には、ステップＳ４０１では、例えばＣＰＵ１８ａが、時計部１８ｄにおいて計時されている現在日時の情報を取り込むようにされる。
また、撮像時関連付随情報のサブピクチャが、図４（ａ）（ｂ）などに示したように、主としてカメラ制御に関する設定を提示するようなものである場合には、最後のステップＳ２０３の処理によってＲＡＭ１８ｂに保持させているものとされる制御設定情報を、撮像時関連付随情報として読み込んで取得するようにされる。
また、サブピクチャにより提示する撮像時関連付随情報として、上記撮像日時と、カメラ制御に関する設定との両者を必要とする場合には、上記した時計部１８ｄからの現在日時の情報と、ＲＡＭ１８ｂからの制御設定情報の読み込みとを実行する。
【００５７】
ステップＳ４０２では、上記ステップＳ４０１により取得した撮像時関連付随情報の内容を示す画像データ部分を生成するための処理を実行する。この手順は、例えば制御部１８と画像信号処理部１３とが連携することで実現される。例えば、取得した撮像時関連付随情報の内容を、ユーザが認識可能な画像として提示するためには、文字（数字を含む）や絵柄などとする必要がある。このために、制御部１８では、取得した撮像時関連付随情報を、文字や絵柄を指定する文字コード情報に変換し、この文字コードに対応した画像部分がビットマップ形式により生成されるようにして画像信号処理部１３を制御する。
続いて、ステップＳ４０３により、上記ステップＳ４０２にて生成した撮像時関連付随情報を利用して、サブピクチャとしての画像データを生成する。なお、このときには、ビットマップ形式のサブピクチャとしての画像データについて、所定の方式によるランレングス符号化を施しておくようにされる。
【００５８】
説明を図６に戻す。
上記ステップＳ２０７としての処理手順によりサブピクチャの画像データを生成した後は、ステップＳ２０８に進んで、記録用データを生成する。つまり、ステップＳ２０６にて得られたＭＰＥＧ２方式により符号化された撮像画像（主画像）のビデオデータと、ステップＳ２０７により生成されたサブピクチャの画像データを利用してパケット分割、多重化などの処理を実行することで、先に説明したように、ＤＶＤ−Ｖｉｄｅｏフォーマットに適合した記録データである、ＭＰＥＧ２−ＰＳとしてのストリームデータを生成する。なお、このステップＳ２０８により生成されるストリームデータは、ステップＳ２０５において１ＧＯＰのタイミングが経過するごとに実行されるものであることから、例えば1ＧＯＰ分のものとなる。
【００５９】
ところで、これまでの図５〜図８のフローチャートの説明によると、図５におけるステップＳ１０１による記録用データの生成処理は、撮像モード時において継続的に実行されているものである。図６は、このステップＳ１０１の手順の流れを示す。従って、図６のステップＳ２０４として示される、撮像画像の信号をカメラユニットから取り込んで主画像としてのビデオデータをメモリ１４に保持するようにして取得する処理としても、撮像モード時において継続的に実行されているものである。このことから、撮像画像データを取得する処理は、時間経過に応じてリアルタイムに実行されものであるといえる。
また、撮像時関連付随情報の表示内容を有するサブピクチャの生成処理も、図６のステップＳ２０７として示されていることから、撮像モード時において継続的に実行されているものであるということになる。また、ステップＳ２０７の手順は、ステップＳ２０５において１ＧＯＰのタイミングに至ったことが判別されるごとに実行されるものであるので、サブピクチャの生成処理は、撮像モード時において、１ＧＯＰごとに実行されるようにして、継続的に行われているものとして捉えられる。
従って、例えば、ステップＳ２０７において作成されるサブピクチャとして、図３（ｂ）に示したようにして、日時を撮像時関連付随情報として反映させるときには、ステップＳ２０７の処理を実行するごとに、そのとき計時されている日時を取り込むことになる。この日時の取り込みは、１ＧＯＰのタイミングに対応するもので、例えば0.5秒程度の間隔となる。そして、このようにして取り込んだ日時が表示内容として反映されるように、サブピクチャを生成することになる。この結果、ステップＳ０７により作成されるサブピクチャに示される日時は、撮像時間の進行に従って進行していくようにして更新されるものとすることができる。
【００６０】
また、図６に示される記録用データの生成処理には、ステップＳ２０２−Ｓ２０３として示される、カメラ制御と、このカメラ制御に使用した制御値（制御設定情報）をＲＡＭに保持させるという手順を含んでいる。一般に、フォーカス制御や、ズーム制御、ホワイトバランス設定をはじめとするカメラ制御にかかわる処理は、撮像中においても定常的に実行されているものであり、撮像画像の状態やユーザ操作などにより制御パラメータは変化する。従って、撮像モード時において、図６のステップＳ２０２として実行する各種のカメラ制御について何らかの変化を生じれば、続くステップＳ２０３にて保持する制御設定情報も、これに応じて所定の項目が変化する。
従って、ステップＳ２０７により生成するサブピクチャにおける撮像時関連付随情報の表示内容に制御設定情報を含ませるものである場合、ステップＳ２０７にて撮像時関連付随情報の表示内容を作成するために取得する制御設定情報は、最後に実行されたステップＳ２０３の手順によりＲＡＭに保持されている、最新の制御設定情報となる。この結果、サブピクチャにおいて示される制御設定情報の内容としても、撮像時間の進行に従ってカメラ制御に変更があったのに応じて更新されていくものとなる。
このようにして本実施の形態では、撮像画像を取り込んでいたときの時間経過に対応して、サブピクチャとして示される撮像時関連付随情報の内容についても逐次更新させていくことが可能となっており、撮像時関連付随情報を記録再生する機能としての実用性を保っている。
【００６１】
なお、ステップＳ２０７によるサブピクチャ生成処理に利用すべき撮像時関連付随情報の内容について、前回のステップＳ２０７によりサブピクチャを生成したときに利用した撮像時関連付随情報の内容と同じで変化がない場合もある。この場合には、今回のステップＳ２０７においては、前回のステップＳ２０７により生成したサブピクチャのデータをそのまま取り込むようにすればよく、特に新規にサブピクチャを生成する必要はない。
【００６２】
また、実際において、ステップＳ２０７により作成するサブピクチャとしては、撮像時関連付随情報を表示内容として含むもの以外の、他の機能のためのサブピクチャも生成してかまわないものである。例えば撮像時における編集処理を可能とするリアルタイム編集機能などを撮像装置１が実装している場合において、ユーザが入力したコメントなどを表示するサブピクチャなどを作成することも考えられる。
【００６３】
また、これまでの説明では、主に動画としての撮像画像データを取り込んでビデオデータとして記録する場合を前提として説明しているが、本実施の形態の撮像装置１としては、撮像画像を静止画のデータとして記録することも可能に構成されてよい。そして、このようにして静止画としての主画像データを記録媒体に記録するときにも、この主画像データの取得時に対応して取得した撮像時関連付随情報の内容をサブピクチャとして生成して、主画像データとともに記録するように構成してよい。このようにして、静止画としての主画像データも、撮像画像を元として取得するのであるから、動画の撮像画像と同様にリアルタイムに取得されるものであり、対応するサブピクチャに示される撮像時関連付随情報としても、静止画の取り込み時に対応した内容を有しているものである。
【００６４】
また、リアルタイムに主画像データを取得することについて、実施の形態では、撮像画像を元として取得することとしているが、これ以外にも、例えば、インターネット、ＬＡＮ、ＷＡＮなどのネットワークや、ＩＥＥＥ１３９４、ＵＳＢなどのデータインターフェイス経由でデータを取得することによっても、リアルタイム的な主画像データの取得を実現できる。
【００６５】
また、上記実施の形態では、ＤＶＤフォーマットを前提として説明しているが、主画像としての画像データに対応させて副画像としてのデータを記録再生することが標準的に規定されているような画像記録再生フォーマットであれば、ＤＶＤ以外に対応する各種フォーマットの下でも本発明は適用できる。
また、本願に対応する記録装置、撮像装置としては、例えば可搬型ビデオカメラなどに限定されるものではなく、例えば携帯電話など、撮像機能を備える電子機器一般に適用できる。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施の形態としての撮像装置の構成例を示すブロック図である。
【図２】ＤＶＤ−Ｖｉｄｅｏフォーマットに従ったＤＶＤに記録されるデータの論理構造を示す図である。
【図３】実施の形態における、撮像画像に対して撮像時関連付随情報を合成表示させるための技術概念を示す図である。
【図４】実施の形態における、サブピクチャによる撮像時関連付随情報の表示態様例のバリエーションを示す図である。
【図５】実施の形態の撮像装置による撮像画像記録のための処理手順を示すフローチャートである。
【図６】記録用データ生成の処理手順を示すフローチャートである。
【図７】撮像画像取り込みの処理手順を示すフローチャートである。
【図８】サブピクチャ生成のための処理手順を示すフローチャートである。
【符号の説明】
【００６７】
１ 撮像装置、１１ カメラユニット、１１ａ 光学ブロック、１１ｂ 撮像部、１１ｃ カメラ制御部、１２ Ａ／Ｄコンバータ、１３ 画像信号処理部、１３ａ カメラ制御対応処理部、１３ｂ フォーマット対応処理部、１４ メモリ、１５ ＤＶＤドライブ、１６ 表示ドライバ、１７ 表示部、１８ 制御部、１８ａ ＣＰＵｌ１８ｂ ＲＡＭ、１８ｃ ＲＯＭ、１８ｄ 時計部、１９ 操作部
【特許請求の範囲】
【請求項１】
主画像データをリアルタイムに取得する主画像データ取得手段と、
上記記録媒体に画像データを記録するための所定のフォーマットにより、上記主画像データとともに所定規則に基づいて上記記録媒体に記録することが可能とされ、また、上記主画像データを再生して表示される画像に重畳されるようにして表示可能なことが規定される画像データである副画像データを生成する副画像データ生成手段と、
上記主画像データ取得手段が上記主画像データを取得しているときにおいて、所定内容の情報を有する付随情報を取得する付随情報取得手段と、
上記付随情報取得手段により取得した付随情報の内容が所定の態様によって表示されるようにした上記副画像データが生成されるようにして、上記副画像データ生成手段を制御する副画像データ生成制御手段と、
上記フォーマットに従って、上記主画像データ取得手段により取得された主画像データと、上記副画像データ生成手段により生成された副画像データとを上記記録媒体に記録する記録手段と、
を備えることを特徴とする記録装置。
【請求項２】
上記主画像データは、ＤＶＤに対応するフォーマットにおいて規定される、圧縮符号化による記録が行われるビデオデータであり、
上記副画像データは、上記ＤＶＤに対応するフォーマットにおいて規定されるサブピクチャのデータである、
ことを特徴とする請求項１に記載の記録装置。
【請求項３】
主画像データをリアルタイムに取得する主画像データ取得手順と、
上記記録媒体にデータを記録するための所定のフォーマットにより、上記主画像データとともに所定規則に基づいて上記記録媒体に記録することが可能とされ、また、上記主画像データを再生して表示される画像に重畳されるようにして表示可能なことが規定される画像データである副画像データを生成する副画像データ生成手順と、
上記主画像データ取得手順により上記主画像データを取得しているときにおいて、所定内容の情報を有する付随情報を取得する付随情報取得手順と、
上記付随情報取得手順により取得した付随情報の内容が所定の態様によって表示されるようにした上記副画像データが生成されるようにして、上記副画像データ生成手段を制御する副画像データ生成制御手順と、
上記フォーマットに従って、上記主画像データ取得手順により取得された主画像データと、上記副画像データ生成手順により生成された副画像データとを上記記録媒体に記録する記録手順と、
を実行することを特徴とする記録方法。
【請求項４】
撮像を行って得られた撮像画像の情報を、主画像データとしてリアルタイムに取得する主画像データ取得手段と、
上記記録媒体にデータを記録するための所定のフォーマットにより、上記主画像データとともに所定規則に基づいて上記記録媒体に記録することが可能とされ、また、上記主画像データを再生して表示される画像に重畳されるようにして表示可能なことが規定される画像データである副画像データを生成する副画像データ生成手段と、
上記主画像データ取得手段が上記主画像データを取得しているときにおいて、所定内容の情報を有する付随情報を取得する付随情報取得手段と、
上記付随情報取得手段により取得した付随情報の内容が所定の態様によって表示されるようにした上記副画像データが生成されるようにして、上記副画像データ生成手段を制御する副画像データ生成制御手段と、
上記フォーマットに従って、上記主画像データ取得手段により取得された主画像データと、上記副画像データ生成手段により生成された副画像データとを上記記録媒体に記録する記録手段と、
を備えることを特徴とする撮像装置。
【請求項１】
主画像データをリアルタイムに取得する主画像データ取得手段と、
上記記録媒体に画像データを記録するための所定のフォーマットにより、上記主画像データとともに所定規則に基づいて上記記録媒体に記録することが可能とされ、また、上記主画像データを再生して表示される画像に重畳されるようにして表示可能なことが規定される画像データである副画像データを生成する副画像データ生成手段と、
上記主画像データ取得手段が上記主画像データを取得しているときにおいて、所定内容の情報を有する付随情報を取得する付随情報取得手段と、
上記付随情報取得手段により取得した付随情報の内容が所定の態様によって表示されるようにした上記副画像データが生成されるようにして、上記副画像データ生成手段を制御する副画像データ生成制御手段と、
上記フォーマットに従って、上記主画像データ取得手段により取得された主画像データと、上記副画像データ生成手段により生成された副画像データとを上記記録媒体に記録する記録手段と、
を備えることを特徴とする記録装置。
【請求項２】
上記主画像データは、ＤＶＤに対応するフォーマットにおいて規定される、圧縮符号化による記録が行われるビデオデータであり、
上記副画像データは、上記ＤＶＤに対応するフォーマットにおいて規定されるサブピクチャのデータである、
ことを特徴とする請求項１に記載の記録装置。
【請求項３】
主画像データをリアルタイムに取得する主画像データ取得手順と、
上記記録媒体にデータを記録するための所定のフォーマットにより、上記主画像データとともに所定規則に基づいて上記記録媒体に記録することが可能とされ、また、上記主画像データを再生して表示される画像に重畳されるようにして表示可能なことが規定される画像データである副画像データを生成する副画像データ生成手順と、
上記主画像データ取得手順により上記主画像データを取得しているときにおいて、所定内容の情報を有する付随情報を取得する付随情報取得手順と、
上記付随情報取得手順により取得した付随情報の内容が所定の態様によって表示されるようにした上記副画像データが生成されるようにして、上記副画像データ生成手段を制御する副画像データ生成制御手順と、
上記フォーマットに従って、上記主画像データ取得手順により取得された主画像データと、上記副画像データ生成手順により生成された副画像データとを上記記録媒体に記録する記録手順と、
を実行することを特徴とする記録方法。
【請求項４】
撮像を行って得られた撮像画像の情報を、主画像データとしてリアルタイムに取得する主画像データ取得手段と、
上記記録媒体にデータを記録するための所定のフォーマットにより、上記主画像データとともに所定規則に基づいて上記記録媒体に記録することが可能とされ、また、上記主画像データを再生して表示される画像に重畳されるようにして表示可能なことが規定される画像データである副画像データを生成する副画像データ生成手段と、
上記主画像データ取得手段が上記主画像データを取得しているときにおいて、所定内容の情報を有する付随情報を取得する付随情報取得手段と、
上記付随情報取得手段により取得した付随情報の内容が所定の態様によって表示されるようにした上記副画像データが生成されるようにして、上記副画像データ生成手段を制御する副画像データ生成制御手段と、
上記フォーマットに従って、上記主画像データ取得手段により取得された主画像データと、上記副画像データ生成手段により生成された副画像データとを上記記録媒体に記録する記録手段と、
を備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−３６６７３（Ｐ２００７−３６６７３Ａ）
【公開日】平成１９年２月８日（２００７．２．８）
【国際特許分類】
【出願番号】特願２００５−２１７１１７（Ｐ２００５−２１７１１７）
【出願日】平成１７年７月２７日（２００５．７．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年２月８日（２００７．２．８）
【国際特許分類】
【出願日】平成１７年７月２７日（２００５．７．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]