説明

撮像装置、撮影画像データの記録方法、撮影画像データ処理装置および撮影画像データ処理方法

【課題】再生時に解析処理をしなくても簡単に失敗画像をスキップして再生することができる撮像装置および撮像方法を提供する。
【解決手段】撮像素子からの撮影画像データをデータ圧縮して、記録媒体に記録する。撮像素子による撮影中に、画像の撮影が失敗であるか否かを判別するための失敗判別用情報を取得手段により取得する。取得手段により取得した失敗判別用情報を、対応する撮影画像データを圧縮手段で圧縮した圧縮画像データに関連させて記録媒体に記録する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、例えばいわゆるデジタルカメラなどの撮像装置、撮影画像データの記録方法、また、ハードディスク記録装置などの撮影画像データ処理装置および撮影画像データ処理方法に関する。
【背景技術】
【0002】
デジタルカメラやビデオカメラで被写体を撮影して記録する際には、記録に先立ち、ユーザは、ホワイトバランス、フォーカス、露出、ズーム倍率などの撮影条件を適正に調整を行なう。しかし、上記撮影条件の調整ミスや、撮影時の手ぶれなどにより、必ずしも適正な撮影条件下で画像情報の記録が行なわれる訳ではなく、撮影条件が不適正な状態での失敗撮影記録が多々生じる。
【0003】
従来の上述のようなカメラ装置では、画像再生の際に、失敗撮影記録のため、いわゆるピンぼけの画像であったり、また、明るすぎたり、暗すぎたりして何が写っているかが判らないような画像であっても、そのまま再生されるようになっているのが通常である。
【0004】
しかし、上述のような失敗撮影記録されたものは、ユーザにとっては再生不要であることが多く、そのまま再生されるのでは、ユーザに無駄な再生時間(失敗撮影された画像の再生時間)を強いている結果となる。
【0005】
この点を改善したビデオカメラも提供されている。この改善されたビデオカメラにおいては、画像記録の際に、撮影された画像が「OK」か「NG」かを、ユーザが選択操作入力し、それに対応するOK/NGの識別信号をデジタル信号として、画像データと共にテープに記録する。そして、編集記録の際に、ビデオカメラの制御部は、このOK/NGの識別信号に基づいて、不要の画像部分を飛ばして(スキップして)再生を行ない、編集記録を行なうようにするものである。
【0006】
このビデオカメラによれば、ユーザにより「NG」と指定されたものは、スキップされて編集記録後のデータには含まれないので、ユーザが「OK」とした必要な画像のみを再生できるようになる。
【0007】
しかし、このビデオカメラで採用されている方法においては、画像記録の際に、撮影された画像が「OK」か「NG」かを、ユーザが選択操作入力する必要があり、操作が面倒である。また、編集記録後のデータには、「NG」とされた画像のデータが含まれないため、後で「NG」とされた画像を再生したい場合が生じたとしても、それを再生することができないという問題がある。
【0008】
この問題点を解決したものとして、特許文献1(特開2003−78859公報)には、第1の実施形態として、撮影条件を記録撮影画像データと共に記録媒体に記録し、再生時に、撮影条件を解析して、失敗撮影記録部分は、スキップするようにすることが記載されている。また、特許文献1には、第2の実施形態として、記録撮影画像データを解析して、失敗撮影記録部分を判定し、失敗撮影記録部分は、スキップするようにすることが記載されている。
【0009】
上記の先行特許文献は、次の通りである。
【特許文献1】特開2003−78859号公報
【発明の開示】
【発明が解決しようとする課題】
【0010】
上記の特許文献1に記載の第1の実施形態のものは、再生時に、各画像の再生に先立ち、その画像の撮影条件のデータを再生して当該画像がスキップすべきものであるか否かを判定し、スキップすべきものであると判定したときにスキップするようにするものである。また、上記特許文献1に記載の第2の実施形態のものは、再生画像から判定された失敗撮影画像部分がスキップされる。
【0011】
したがって、特許文献1の場合には、再生時に、撮影条件情報を解析したり、再生画像自身を解析したりして、再生時にスキップをする再生画像を決定する必要があり、再生装置側での処理の負担が大きい。
【0012】
また、撮影条件情報の解析結果や再生画像情報の解析結果から、スキップする画像が決定されてしまうために、例えば、ユーザが、若干の失敗があっても画像の再生をしたい画像部分が存在しても、そのようなユーザの意思が反映されないという問題があった。
【0013】
以上の問題点にかんがみ、この発明の第1の目的は、再生時に解析処理をしなくても簡単に失敗画像をスキップして再生することができる装置および方法を提供することである。また、この発明の第2の目的は、失敗画像の決定にユーザの意思を反映することが可能な装置および方法を提供することである。
【課題を解決するための手段】
【0014】
上記の課題を解決するために、請求項1の発明による撮像装置は、
撮像素子と、
前記撮像素子からの撮影画像データをデータ圧縮する圧縮手段と、
前記撮像素子による撮影中に、画像の撮影が失敗であるか否かを判別するための失敗判別用情報を取得する取得手段と、
前記取得手段で取得した前記失敗判別用情報を、対応する前記撮影画像データを前記圧縮手段で圧縮した圧縮画像データに関連させて記録媒体に記録する記録手段と
を備えることを特徴とする。
【0015】
請求項1の発明の撮像装置によれば、失敗判別用情報が、圧縮された撮像画像データと共に記録されているので、当該失敗判別用情報を用いることにより、再生時に解析処理をしなくても簡単に失敗画像をスキップして再生することができる。
【0016】
また、請求項7の発明は、請求項1に記載の撮像装置において、
前記記録手段により前記失敗判別用情報が前記圧縮画像データに関連して記録された前記記録媒体から前記失敗判別用情報を読み出し、当該失敗判別用情報に基づいて、画像の撮影が失敗であると判別される画像以外の画像のみを再生するようにする画像再生範囲を示す情報を生成し、前記生成した画像再生範囲を示す情報を前記記録媒体に記録するようにする編集モードを備える
ことを特徴とする。
【0017】
この請求項7の発明の撮像装置によれば、編集モードにより画像再生範囲を示す情報が生成されて、記録媒体に気記録されるので、再生側では、この画像再生範囲を示す情報にしたがって再生をすることにより、失敗画像をスキップした再生をすることが容易にできる。
【0018】
また、請求項8の発明の撮像装置は、請求項7に記載の撮像装置において、
前記編集モードにおいては、前記記録媒体から読み出した前記失敗判別用情報に対応する画像を、前記記録媒体から読み出した前記圧縮画像データから再生して、ユーザに呈示して当該ユーザから当該画像を失敗画像とするかどうかの確認入力を受け付け、当該受け付けた確認結果をも用いて、前記画像再生範囲を示す情報を生成する
ことを特徴とする。
【0019】
この請求項8の発明によれば、失敗判別用情報から画像再生範囲を示す情報を生成する際に、ユーザの意思を反映させることができる。
【0020】
また、請求項9の発明は、請求項1に記載の撮像装置において、
前記記録手段により前記失敗判別用情報が前記圧縮画像データに関連して記録された前記記録媒体から前記失敗判別用情報を読み出し、当該失敗判別用情報に基づいて、前記記録媒体の記録画像データを、画像の撮影が失敗であると判別される画像部分を除去した画像データに書き直すようにする編集モードを備える
ことを特徴とする。
【0021】
この請求項9の発明によれば、画像の撮影が失敗であると判別される画像部分が除去された画像データが記録媒体に記録されるので、再生側では、当該画像データを再生するだけで、失敗の無い画像のみを再生させることができる。
【0022】
また、請求項10の発明は、請求項9に記載の撮像装置において、
前記編集モードにおいては、前記記録媒体から読み出した前記失敗判別用情報に対応する画像を、前記記録媒体から読み出した前記圧縮画像データから再生して、ユーザに呈示して当該ユーザから当該画像を失敗画像とするかどうかの確認入力を受け付け、当該受け付けた確認結果をも用いて、前記記録媒体の記録画像データを書き直すようにする
ことを特徴とする。
【0023】
この請求項10の発明によれば、失敗判別用情報に基づいて失敗の無い画像のみからなる画像データを記録媒体に記録する際に、失敗画像であるかどうかの決定にユーザの意思を反映させることができる。
【発明の効果】
【0024】
この発明によれば、再生時に解析処理をしなくても簡単に失敗画像をスキップして再生することができる装置および方法を提供することができる。そして、請求項8および請求項10の発明によれば、失敗画像の決定にユーザの意思を反映することができるという効果がある。
【発明を実施するための最良の形態】
【0025】
以下、この発明による撮像装置の実施の形態を、記録媒体として、ランダムアクセスの容易なディスク媒体を用いるデジタルカメラ装置の場合を例にとって、図を参照しながら説明する。なお、以下に説明する実施の形態の撮像装置は、撮像画像データ処理装置の実施の形態や撮像画像データ処理方法の実施の形態を含むものである。
【0026】
[第1の実施の形態]
図1は、この発明による撮像装置の第1の実施の形態としてのデジタルカメラ装置の構成例を示すブロック図である。この実施形態の撮像装置は、動画撮影時の周辺音声を収音し、その音声信号を圧縮して記録するようにするものであるが、図1では、音声信号記録処理系については、説明の簡単のために省略する。
【0027】
この実施の形態のデジタルカメラ装置は、カメラブロック1と、このカメラブロック1に制御信号を供給するカメラブロック制御回路2と、撮像信号処理回路3と、ディスプレイコントローラ4と、表示用メモリ5と、例えばLCD(Liquid Crystal Display)からなる表示部6と、手ぶれ検出部7とを備えると共に、操作入力部21と、記録媒体の例としてのディスク媒体23を読み書きするためのディスクドライブ22と、画像圧縮エンコード/デコード部24と、カメラ制御データ記録エンコード/デコード部25と、画像特徴解析部26と、全体を制御するマイクロコンピュータからなる制御装置10とを備えて構成されている。
【0028】
カメラブロック1は、図示を省略するが、レンズ部、フォーカス機構、ズーム機構、アイリス機構、シャッター、色フィルタ、撮像素子としてのCCD(Charge Coupled Device)などを備え、CCDからの撮像出力信号は、撮像信号処理回路3に供給される。
【0029】
カメラブロック制御回路2は、撮像信号処理回路3からの信号や、操作入力部21を通じた操作入力に基づいて制御装置10で生成されたカメラ制御信号を受けて、カメラブロック1のアイリス制御、シャッター制御、フォーカス制御、ズーム制御などを実行する。
【0030】
撮像信号処理回路3は、A/D変換回路、輝度信号処理回路、色信号処理回路、自動アイリス制御用信号形成回路、自動焦点制御用信号形成回路、ホワイトバランス調整回路などにより構成されており、その出力は制御装置20に供給されている。
【0031】
撮像信号処理回路3においては、CCDからの撮像出力信号をA/D変換回路によりデジタル信号に変換し、さらに輝度信号および色差信号からなるコンポーネント形式のデジタル画像信号に変換して制御装置10に供給する。そして、制御装置10は、このデジタル画像信号から表示用信号を生成し、ディスプレイコントローラ4および表示用メモリ5を介して、LCDからなる表示部6に供給して、その画面に表示するようにする。
【0032】
手ぶれ検出部7は、カメラブロック1内の撮像素子の、撮像画像の水平方向および/または垂直方向の、所定速度以上の比較的高速の位置的変化を手ぶれとして、その速度ベクトルを検出する。ここで、比較的高速の位置的変化としたのは、撮影者による撮像装置のパンニング操作(左右方向への移動)や、チルティング操作(上下方向の移動)を、手ぶれとして検出しないためである。
【0033】
この手ぶれ検出部7は、例えば撮像装置の筐体に取付けられた角速度センサを備えて構成される。この手ぶれ検出部7の検出出力は、手ぶれ速度ベクトルを1フレーム単位(または1フィールド単位;以下の説明では、フレーム単位とする)で時間積分することにより算出した手ぶれ量である。この手ぶれ検出部7は、角速度センサの代わりに加速度センサを用いて構成しても良い。加速度センサを用いる場合には、加速度センサ値(方向成分も含む)を積分することで、手ぶれ速度(手ぶれ速度ベクトル)を検出するようにする。
【0034】
制御装置10は、動画の撮影中に、この手ぶれ検出部7の検出出力を取り込んで、撮影中に手ぶれが発生したか否かを判断するようにする。この実施形態の場合、制御装置10は、1フレーム期間内において、複数回、手ぶれ検出出力を取り込んで(サンプリングして)、フレーム単位の画像について、手ぶれが発生したか否かを判定することができるようにしている。
【0035】
制御装置10は、また、撮像信号処理回路3からの自動焦点制御用信号に基づき、カメラブロック制御部2を制御して、自動焦点制御(オートフォーカス制御)を行なう。また、撮像信号処理回路3からの自動アイリス制御用信号に基づき、カメラブロック制御部2を制御して、アイリス制御を行ない、適切な明るさの画像が得られるように制御する。さらに、制御装置10は、ホワイトバランス調整信号を撮像信号処理回路3に供給し、ホワイトバランスを制御する。
【0036】
操作入力部21は、この実施の形態の場合の記録指示操作手段に相当する撮影スタート/ストップボタンK1、編集ボタンK2、メタデータ付加指示ボタンK3などを備えるとともに、ズームボタンK4や、再生ボタンその他の操作手段を備えている。
【0037】
この例の場合、撮影スタート/ストップボタンK1は動画の撮影開始、撮影停止を指示するためのボタンであり、このボタンK1を押す毎に、動画の撮影開始と、撮影終了とを交互に繰り返す。後述するように、この実施形態では、動画の撮影時には、撮影中のシーンが失敗画像であるかどうかを判別するための失敗判別用情報(メタデータ)が自動的に生成されて、撮像画像データと共に記録される。
【0038】
また、この実施形態では、編集ボタンK2が操作されると、撮像装置は、編集モードとなり、まず、表示部6に編集メニューが表示される。この例では、編集メニューとしては、プレイリストの作成と、失敗画像の消去編集とが用意されており、それぞれ、自動モードと、手動モードとがある。編集モードの詳細については、後述する。
【0039】
メタデータ付加指示ボタンK3は、失敗判別用情報をディスク媒体に記録されている撮像画像データに付加記録する際に押下される。すなわち、このメタデータ付加指示ボタンK3は、ディスク媒体がこの実施形態の撮像装置で記録再生可能であるが、当該ディスク媒体に記録されている撮像画像データが、この実施形態の撮像装置以外の撮像装置により記録されたものであるために、失敗判別用情報が当該ディスク媒体に記録されていないときに用いられる。
【0040】
そして、この実施形態では、このメタデータ付加指示ボタンK3が押下されると、後述するように、当該ディスク媒体に記録されている撮像画像データを解析し、その解析結果からメタデータを生成して、当該生成したメタデータを元のディスク媒体に撮像画像に対応して記録するようにする。このメタデータ付加指示ボタンK3が押下されたときの処理動作は、後で詳述する。
【0041】
ズームボタンK4は、例えば、シーソーボタンの構成とされており、一方の端部を押圧操作するとワイド(短焦点=広角)側に焦点距離が変更され、他方の端部を押圧操作するとテレ(長焦点=望遠)側に焦点距離が変更されるように構成されている。
【0042】
この実施の形態の場合のディスクドライブ22は、ディスク媒体23として、例えば直径が8cmのCD−R(Compact Disc−Recordable)やCD−RW(Compact Disc−ReWritable)、また、DVD(Digital Versatile Disc)が使用可能とされている。
【0043】
画像信号圧縮エンコード/デコード部24は、撮影記録時に画像データを圧縮し、再生時に画像データの圧縮を解凍デコードするための回路であって、この実施の形態では、圧縮方式としては、動画用として、例えばMPEG(Moving Picture Experts Group)方式が用いられる。
【0044】
そして、この第1の実施形態では、撮影記録時には、そのときの撮影条件のデータが記録されるが、その撮影条件のデータとして、この実施形態では、カメラ制御データが記録される。このカメラ制御データには、アイリス制御データ、シャッター速度データ、フォーカス制御データ、ズーム制御データ、ホワイトバランス調整データなどが含まれる。
【0045】
カメラ制御データ記録エンコード/デコード部25は、記録するカメラ制御データについて記録に適したエンコード処理を施し、また、再生時には、ディスク媒体23から読み出したエンコードされているカメラ制御データをデコード処理する。
【0046】
制御装置10は、前述したように、マイクロコンピュータからなり、CPU11に対してシステムバス12が接続され、このシステムバス12に対してプログラム用ROM13、ワークエリア用RAM14、操作入力部インターフェース、ディスクドライブインターフェースなどの種々のインターフェース15、データ入出力用のI/Oポート16が接続されている。
【0047】
画像特徴解析部26では、ディスク媒体23から読み出した画像データに対して特徴抽出を行ない、抽出した特徴を解析する。この場合に抽出する特徴の項目としては、ピントに対しては周波数分布とされ、画像の明るすぎ、暗すぎに対しては信号レベル分布とされる。
【0048】
制御装置10では、ユーザによりメタデータの付加指示があったときに、ディスク媒体23に記録されている撮像画像を読み出して、画像特徴解析部26で画像解析を行なわせるようにする。そして、制御装置10は、画像特徴解析部26からの解析結果に基づいて、撮像画像が失敗画像であるか否かを判別するためのメタデータを生成し、生成したメタデータをディスク媒体23に、読み出した撮像画像データに対応付けて記録するようにする。
【0049】
さらに、制御装置10は、機能的には、カメラ制御、撮影記録制御、再生制御、カメラ制御データ記録制御、編集制御、メタデータ付加処理制御などを、ROM13に記憶されているプログラムにしたがって実行する。
【0050】
次に、以上のように構成される撮像装置の第1の実施形態としてのデジタルカメラ装置の撮影記録制御処理の機能ブロック図を、図2に示す。
【0051】
図2において、カメラ信号出力部101は、カメラブロック1、カメラブロック制御部2および撮像信号処理回路3で構成され、撮像画像信号を出力する。このカメラ信号出力部101には、タイミング信号発生部110から、水平同期信号Hおよび垂直同期信号Vが供給される。
【0052】
カメラ信号出力部101からの撮像画像信号は、GOP単位前処理部102に供給される。このGOP単位前処理部102では、撮像画像信号をデジタル信号に変換すると共に、MPEG方式の画像データ圧縮の前処理として、撮像画像データを例えば15フレーム毎の群であるGOP(Group Of Picture)を生成する。このGOP内では、MPEG圧縮のために、撮像画像データは、フレーム単位(またはフィールド単位;以下の説明においては、フレーム単位とする)で、予め定められた順序となるように、並び換え処理がなされている。
【0053】
このGOP単位前処理部102からのGOP単位の撮像画像データは、MPEGエンコーダ103に供給され、MPEG圧縮エンコードとされる。そして、圧縮された撮像画像データのプログラムストリームは、PS(Program Stream)多重化部104に供給される。
【0054】
また、この実施形態では、この撮像画像データの処理と並行して、前述したメタデータが生成される。このメタデータの生成のために、この実施形態では、フレーム単位手ぶれ検出部106と、ホワイトバランス判定部107と、露出適正判定部108とが設けられる。これら、フレーム単位手ぶれ検出部106、ホワイトバランス判定部107、および露出適正判定部108には、タイミング信号発生部110から、サンプリング基準信号および転送タイミング信号として、水平同期信号Hおよび垂直同期信号Vが供給される。
【0055】
フレーム単位手ぶれ検出部106、ホワイトバランス判定部107、および露出適正判定部108のそれぞれにおいては、水平同期信号Hあるいは水平同期信号Hを分周したタイミングで、手ぶれ検出出力、ホワイトバランス調整値、露出値をそれぞれサンプリングし、それらを積分処理や平均化処理等をして、手ぶれが発生したか否かの判定、ホワイトバランスが適正か否かの判定、露出が適正であるか否かの判定をする。
【0056】
そして、フレーム単位手ぶれ検出部106、ホワイトバランス判定部107、および露出適正判定部108のそれぞれは、各判定出力を、垂直同期信号Vに同期して、メタデータ処理部109に供給する。
【0057】
メタデータは、全てのフレームについて、手ぶれ発生判定出力、ホワイトバランス適正判定出力、露出適正判定出力を、記録するようにすることも考えられるが、この例では、後述するように、各判定出力が変化したときに、その判定出力の値と、当該判定出力が変化した時点のフレーム番号とを、対応して記録することにより、記録データ量を削減するようにしている。
【0058】
そのため、メタデータ処理部109では、手ぶれ検出部106、ホワイトバランス判定部107、および露出適正判定部108のそれぞれからの判定出力を、フレーム単位で監視し、判定出力が前フレームに対して変化したフレームを検出すると共に、変化したフレームについての判定出力を記録メタデータとするようにする。
【0059】
このメタデータ処理部109からの記録メタデータは、PS多重化部104に供給される。PS多重化部104は、圧縮撮像画像データと、処理ブロックの図示は省略したがデータ圧縮した音声データと、メタデータとのそれぞれをパケット化し、それらのパケットを多重化するようにする。そして、PS多重化部104からの多重化出力データが、ディスク媒体に記録される。
【0060】
次に、以上のように構成される撮像装置の第1の実施形態としてのデジタルカメラ装置の撮影記録動作(メタデータ生成処理を含む)、メタデータ付加指示に対応した処理および編集動作について説明する。
【0061】
図3〜図6は、この第1の実施形態のデジタルカメラ装置の撮影記録動作、メタデータ付加指示に対応した処理および編集動作を説明するためのフローチャートである。この図3〜図6のフローチャートにおける各ステップの動作は、主として制御装置10のCPU11が、ROM13に格納されているプログラムに基づいて、RAM14をワークエリアとして利用しながら実行するものである。
【0062】
<撮像記録動作>
CPU11は、先ず、操作入力部21を通じたユーザ操作により撮像装置が撮像記録モードとなっているかどうか判別する(ステップS101)。撮像記録モードとなっていると判別したときには、操作入力部21を通じたユーザ操作として撮像記録開始指示を待ち(ステップS102)、撮像記録開始指示があったと判別したときには、前述したように、撮像画像および音声データをデータ圧縮し(ステップS103)、当該データ圧縮した撮像画像データおよび音声データをパケット化する(ステップS104)。
【0063】
また、撮像画像データおよび音声データの圧縮処理と並行して、メタデータの生成処理を行なう(ステップS105)と共に、生成したメタデータをパケット化する(ステップS106)。
【0064】
そして、圧縮した撮像画像データのパケット、圧縮した音声データのパケットおよびメタデータのパケットを多重化し(ステップS108)、ディスク媒体に記録する(ステップS108)。
【0065】
そして、操作入力部21を通じてユーザにより撮像記録ストップ指示がなされたか否か判別し(ステップS109)、撮像記録ストップ指示がなされていないと判別したときには、ステップS102およびステップS105の並列処理に戻って、撮像画像データ、音声データおよびメタデータの記録処理を繰り返す。
【0066】
また、ステップS109で撮像記録ストップ指示がなされたと判別したときには、CPU11は、他のモードへの変更指示がなされたか否か判別し(ステップS110)、他のモードへの変更指示がなされていないと判別したときには、ステップS102に戻って、次の撮像記録開始操作を判別してから、上述したステップS102以降の処理を繰り返す。
【0067】
そして、ステップS110で、他のモードへの変更指示がなされたと判別したときには、メタデータの付加指示がなされたか否か判別する(図4のステップS121)。ステップS101で、撮像記録モードではないと判別したときにも、このステップS121に進む。
【0068】
ステップS121で、メタデータの付加指示がなされてはいないと判別したときには、編集モードとされたか否か判別する(ステップS122)。そして、編集モードとされたと判別したときには、後述する編集モードを実行し(ステップS123)、編集モードとされてはいないと判別したときには、指示されたその他の処理を実行する(ステップS124)。
【0069】
<メタデータ付加指示に対応した処理動作>
ステップS121で、メタデータの付加指示がなされたと判別したときには、制御装置10は、メタデータを付加する対象の撮像画像データを、ディスク媒体23から読み出し、画像特徴解析部26に渡す。画像特徴解析部26は、受け取った画像データについて、前述した特徴項目を抽出して解析し、その解析結果を制御装置10に返す。
【0070】
そして、制御装置10は、受け取った解析結果に基づいて、写りの良い画像であるかどうかを判定し、写りが悪いと判定したときにはその画像はスキップするようにする。すなわち、まず、ステップS126では、受け取った解析結果のうちの周波数分布を参照して、低周波分が多いかどうか判別する。低周波分が多いということは、画像がピンぼけであることを意味している。
【0071】
ステップS126における、低周波分が多いかどうかについての割合のスレッショールド値は、予め定められた固定値であっても良いし、また、ユーザにより選択することができるようにしても良い。
【0072】
ステップS126で低周波分が多いと判別したときには、CPU11は、ステップS129に進み、当該対象画像のフレームあるいはシーンは失敗撮影であることを示すフラグを生成して保持する。次に、ディスク媒体23から、メタデータを付加する対象の画像データの全てを再生したか否か判別し(ステップS130)、未だ、対象の画像データの全ては再生していないと判別したときには、ステップS125に戻り、このステップS125以下の処理を繰り返す。
【0073】
ステップS126において、低周波分は多くなく、ピンぼけではないと判別したときには、ステップS127に進み、画像特徴解析部26から受け取った解析データの内の信号レベル分布を参照し、信号レベル分布は90%以上の明るい部分が、画像が明るすぎて、何が写っているかわからない程度に多いかどうか判別する。
【0074】
このステップS127における、90%以上の明るい部分の占める割合についてのスレッショールド値は、予め定められた固定値であっても良いし、また、ユーザにより選択することができるようにしても良い。
【0075】
そして、このステップS127において、信号レベル分布が、90%以上の明るい部分が多いと判別したときには、ステップS129に進み、当該対象画像のフレームあるいはシーンは失敗撮影であることを示すフラグを生成して保持する。次に、ディスク媒体23から、メタデータを付加する対象の画像データの全てを再生したか否か判別し(ステップS130)、未だ、対象の画像データの全ては再生していないと判別したときには、ステップS125に戻り、このステップS125以下の処理を繰り返す。
【0076】
ステップS127において、信号レベル分布が、90%以上の明るい部分が多くはないと判別したときには、ステップS128に進み、信号レベル分布は、10%以下の暗い部分が、画像が暗すぎて、何が写っているかわからない程度に多いかどうか判別する。このステップS128における、10%以下の暗い部分の占める割合についてのスレッショールド値は、予め定められた固定値であっても良いし、また、ユーザにより選択することができるようにしても良い。
【0077】
そして、このステップS128において、信号レベル分布が、10%以下の暗い部分が多いと判別したときには、ステップS129に進み、当該対象画像のフレームあるいはシーンは失敗撮影であることを示すフラグを生成して保持する。次に、ディスク媒体23から、メタデータを付加する対象の画像データの全てを再生したか否か判別し(ステップS130)、未だ、対象の画像データの全ては再生していないと判別したときには、ステップS125に戻り、このステップS125以下の処理を繰り返す。
【0078】
そして、ステップS128で信号レベル分布は10%以下の暗い部分は多くはないと判別したときには、すなわち、ピンぼけではなく、また、明るすぎるわけでもなく、さらに暗すぎるわけでもないと判別したときには、ステップS130に進み、ディスク媒体23から、メタデータを付加する対象の画像データの全てを再生したか否か判別し、未だ、対象の画像データの全ては再生していないと判別したときには、ステップS125に戻り、このステップS125以下の処理を繰り返す。
【0079】
そして、ステップS130でディスク媒体23から、メタデータを付加する対象の画像データの全てを再生したと判別したときには、ステップS129で生成し、保持していたフラグを、対象の撮像画像データに対応させて、ディスク媒体23に書き込むようにする。
【0080】
以上のようにして、ディスク媒体23に記録されている撮像画像データにメタデータが付加されていないときにも、撮像画像データの特徴解析を行ない、その解析結果に基づいて失敗撮影の画像であるかどうかのメタデータを生成して、当該撮像画像データに付加することができる。
【0081】
すなわち、記録された画像がピンぼけになっているものや、明るすぎたり、また暗すぎたりして、何が写っているかが判らないような撮影失敗シーンであるか否か判定する。そして、失敗撮影であると判定した時には、その撮影失敗シーンの画像に対応して失敗画像判別用フラグを付加記録する。したがって、後述するように、この失敗画像判別用フラグを用いて、再生時に、失敗撮影であると判定されたシーンは再生せずにスキップして、良好な撮像画像部分のみを再生を行なうようにする。つまり、失敗撮影ではない写りの良い画像のみを自動的に抽出して、迅速に再生することができるようになる。
【0082】
<メタデータの生成処理>
次に、図3のステップS105のメタデータの生成処理の詳細を、図5および図6のフローチャートを参照しながら説明する。この図5および図6の処理は、フレーム単位で、例えばフレームの終りの時点で実行される。この図5および図6の処理も、CPU11が、ROM13のプログラムにしたがって、RAM14をワークエリアとして用いて実行するものである。
【0083】
すなわち、CPU11は、手ぶれ検出部7の検出出力を前述したように取り込んで、フレーム単位の手ぶれ量(評価値に対応)に基づいて、失敗画像として検出されるような手ぶれが発生したかどうかチェックする(ステップS141)。この例では、チェック結果は、評価フラグ(手ぶれの場合には、手ぶれフラグ)とされ、手ぶれが発生した失敗画像のフレームに対する評価フラグは「NG」、手ぶれが発生していない失敗画像ではないフレームに対する評価フラグは「OK」とされる。
【0084】
次に、このステップS141でのチェック結果が前フレームのチェック結果と同一であるか否か判別する(ステップS142)。ステップS142で、前フレームとチェック結果が同一ではなく、変化したと判別したときには、CPU11は、変化後のチェック結果の評価フラグが「NG」であるか否か判別する(ステップS143)。
【0085】
ステップS143で、チェック結果の評価フラグが「NG」であると判別したときには、当該フレームの番号(以下、フレーム番号という)と対応させて、チェック項目「手ぶれ」についての評価フラグ「NG」を保持する(ステップS144)。この際に、手ぶれにより撮像画像が失敗画像となっているおそれがあることを、電子音を発生させたり、ファインダー内に特定のマークを表示させたりするなどしてユーザに報知するようにする。
【0086】
ステップS143で、チェック結果の評価フラグが「OK」であると判別したときには、そのフレーム番号と対応させて、チェック項目「手ぶれ」についての評価フラグ「OK」を保持する(ステップS145)。
【0087】
ステップS144およびステップS145で、フレーム番号と、チェック項目「手ぶれ」についての評価フラグを保持した後、または、ステップS142で、チェック結果が前フレームと同じであると判別したときには、ホワイトバランス調整が撮像条件として適切であるか否かのチェックを行なう(ステップS146)。
【0088】
すなわち、CPU11は、ユーザにより設定されたホワイトバランス調整値が適切であるか否かチェックする。この例では、チェック結果は、評価フラグ(ホワイトバランスの場合には、ホワイトバランスフラグ)とされ、ホワイトバランス調整値が適切ではない失敗画像のフレームに対する評価フラグは「NG」、ホワイトバランス調整値が適切である失敗画像ではないフレームに対する評価フラグは「OK」とされる。
【0089】
次に、このステップS146でのチェック結果が前フレームのチェック結果と同一であるか否か判別する(ステップS147)。ステップS147で、前フレームとチェック結果が同一ではなく、変化したと判別したときには、CPU11は、変化後のチェック結果の評価フラグが「NG」であるか否か判別する(ステップS148)。
【0090】
ステップS148で、チェック結果の評価フラグが「NG」であると判別したときには、当該フレームの番号(以下、フレーム番号という)と対応させて、チェック項目「ホワイトバランス」についての評価フラグ「NG」を保持する(ステップS149)。この際に、ホワイトバランス調整が不適切により撮像画像が失敗画像となっているおそれがあることを、電子音(手ぶれの場合と同じあるいは異なる電子音)を発生させたり、ファインダー内に特定のマーク(手ぶれの場合と同じあるいは異なるマーク)を表示させたりするなどしてユーザに報知するようにする。
【0091】
ステップS148で、チェック結果の評価フラグが「OK」であると判別したときには、そのフレーム番号と対応させて、チェック項目「ホワイトバランス」についての評価フラグ「OK」を保持する(ステップS150)。
【0092】
ステップS149およびステップS150で、フレーム番号と、チェック項目「ホワイトバランス」についての評価フラグを保持した後、または、ステップS147で、チェック結果が前フレームと同じであると判別したときには、露出値が撮像条件として適切であるか否かのチェックを行なう(ステップS151)。
【0093】
この例では、露出値のチェック結果は、評価フラグ(露出の場合には、露出フラグ)とされ、露出値が適切ではない失敗画像のフレームに対する評価フラグは「NG」、露出値が適切である失敗画像ではないフレームに対する評価フラグは「OK」とされる。
【0094】
次に、このステップS151での露出のチェック結果が前フレームのチェック結果と同一であるか否か判別する(ステップS161)。ステップS161で、前フレームとチェック結果が同一ではなく、変化したと判別したときには、CPU11は、変化後のチェック結果の評価フラグが「NG」であるか否か判別する(ステップS162)。
【0095】
ステップS162で、チェック結果の評価フラグが「NG」であると判別したときには、当該フレームの番号(以下、フレーム番号という)と対応させて、チェック項目「露出」についての評価フラグ「NG」を保持する(ステップS163)。この際に、露出が不適切により撮像画像が失敗画像となっているおそれがあることを、電子音(手ぶれやホワイトバランスの場合と同じあるいは異なる電子音)を発生させたり、ファインダー内に特定のマーク(手ぶれやホワイトバランスの場合と同じあるいは異なるマーク)を表示させたりするなどしてユーザに報知するようにする。
【0096】
ステップS162で、チェック結果の評価フラグが「OK」であると判別したときには、そのフレーム番号と対応させて、チェック項目「露出」についての評価フラグ「OK」を保持する(ステップS164)。
【0097】
ステップS163およびステップS164で、フレーム番号と、チェック項目「露出」についての評価フラグを保持した後、または、ステップS161で、チェック結果が前フレームと同じであると判別したときには、この例では全てのチェック項目についてのチェックが終了したとして、前フレームと異なったチェック項目があったか否か判別する(ステップS165)。
【0098】
ステップS165で、前フレームと異なったチェック項目があったと判別したときには、その異なった時点のフレーム番号と、当該フレームで前フレームと異なったチェック項目については、対応するステップS144,145,149,150,163,164において保持されている評価フラグを保持し、前フレームと同じチェック項目については、当該前フレームと同じ評価フラグを保持するようにする(ステップS166)。
【0099】
そして、このメタデータの生成処理のフローチャートを終了する。また、ステップS165で、前フレームと異なったチェック項目が無かったときには、そのフレームについては、前フレームと全く同じ状況であって、前述したように、メタデータを記録する必要はないので、そのままこのメタデータの生成処理のフローチャートを終了する。
【0100】
以上のようにして、生成されてステップS166で保持されたメタデータは、前述したようにしてパケット化され、例えば図7に示すように、対応する複数フレーム期間分の圧縮撮像画像データパケットおよび圧縮音声データパケットに対応付けられて多重化される。
【0101】
この例においては、図7の下側に示すように、メタデータは、前フレームに対して、いずれかのチェック項目について変化のあったフレームのフレーム番号と、当該フレームについてのすべてのチェック項目の評価フラグとからなっている。なお、図7の例では、チェック項目が、「手ぶれ」、「ホワイトバランス」、「露出」以外にもあることを想定して、N個のチェック項目が存在する場合を示している。
【0102】
なお、上述の実施形態では、チェック項目については評価フラグ「OK」または「NG」を記録するようにしたが、図8に示すように、各チェック項目についての評価値そのものをフレーム番号に対応して記録するようにしても良い。
【0103】
また、上述の実施形態では、失敗画像判別用情報として、失敗画像候補である各フレームについて、チェック項目のそれぞれについての評価フラグや評価値をメタデータとして生成し、記録するようにしたが、全てのフレームについて複数個のチェック項目のそれぞれについての評価フラグや評価値を保持した後、メタデータとして記録する際に、それら保持した複数個のチェック項目の評価フラグや評価値を用いて各フレームの総合評価を行ない、その総合評価結果のみをメタデータとしてディスク媒体に記録するようにしても良い。
【0104】
図9に、複数個のチェック項目についての総合評価結果のみをメタデータとして記録する場合のメタデータの例を示す。すなわち、この図9の例の場合には、評価が変化したフレームと、変化後の評価フラグとがメタデータとして記録される。すなわち、あるフレームの評価フラグが「OK」であるときには、その直前のフレームまで、評価フラグが「NG」であることを示しており、また、あるフレームの評価フラグが「NG」であるときには、その直前のフレームまで、評価フラグが「OK」であることを示している。
【0105】
この場合の総合評価においては、複数のチェック項目のいずれか一つでも評価フラグが「NG」であれば、総合評価の評価フラグを「NG」とする方法の他、予めユーザが、総合評価のためのチェック項目を選択指定することができるようにしておき、当該ユーザにより選択指定されたチェック項目のいずれか一つでも評価フラグが「NG」であれば、総合評価の評価フラグを「NG」とする方法を採用することができる。この場合の選択指定は、例えば「手ぶれ」のみなどのように、1つのチェック項目であってもよい。
【0106】
また、以上の説明では、メタデータは、パケット化して、プログラムストリームとして、圧縮画像データのパケット、圧縮音声データのパケットに多重化するようにしたが、GOP単位のデータに、メタデータを付加するようにしてもよい。
【0107】
図10は、この例の場合におけるGOP単位の撮像画像情報および音声情報についての圧縮データフォーマットの一例である。
【0108】
この圧縮データフォーマットは、データ圧縮方式がMPEG2の場合のものである。MPEG2のGOP単位の圧縮データフォーマットは、システムヘッダと、ビデオヘッダと、ビデオデータと、オーディオヘッダと、オーディオデータとからなる。ビデオデータには、例えば15フレーム分からなるGOP単位の圧縮撮像画像データが含まれる。また、オーディオデータには、対応する時間分の圧縮音声データが含まれる。
【0109】
そして、図10の例においては、このGOP単位の圧縮データフォーマットにおいて、GOP単位の撮像画像データについてのメタデータを付加して記録するようにする。このメタデータとしては、図10の下側に示すように、GOPを構成する15フレームの各フレームについて、フレーム番号と、当該フレーム番号のフレームにおける「手ぶれ」、「ホワイトバランス」、「露出」などの複数個のチェック項目についての評価フラグが記録される。評価フラグの代わりに、前述の例と同様に、評価値をそれぞれ各チェック項目ごとに記録するようにしてもよい。ここで、フレーム番号は、システムヘッダに含まれるタイムコードに含まれるものが用いられるものである。
【0110】
また、他の例として、GOPを構成する15フレームの各フレームについて、複数個のチェック項目の全ての評価フラグや評価値を記録するのではなく、前述の図9の例と同様に、それら複数個のチェック項目の総合評価を、例えば図11に示すように求め、当該求めた総合評価をGOP単位のメタデータとして記録するようにしてもよい。
【0111】
さらに、MPEG2のGOP単位の圧縮データフォーマットにおいて、メタデータを記録する他の例を、図12に示す。この例においては、ビデオヘッダ内に、メタデータを含めて記録するようにする。ここに含めるメタデータも、図10の下側に示したものや、図11の例のものを用いることができる。
【0112】
<編集モード>
次に、図4のステップS123における編集モードについて、図13および図14のフローチャートおよび図15〜図18の編集モードにおける編集結果を説明するための図を用いて説明する。図13および図14のフローチャートの各ステップの動作も、前述の場合と同様に、CPU11が、ROM13のプログラムにしたがって、RAM14をワークエリアとして用いて実行するものである。
【0113】
先ず、編集モードにおける編集項目の選択入力を受け付けたか否か判別する(ステップS171)。編集項目の選択入力を受け付けてはいないと判別したときには、編集モードを抜ける操作入力を受けたか否か判別する(ステップS172)。編集モードを抜ける操作入力を受け付けてはいないときには、ステップS171に戻り、また、編集モードを抜ける操作入力を受け付けたときには、この編集モードの処理を終了する。
【0114】
また、ステップS171で、編集項目の選択入力を受け付けたと判別したときには、選択されたのは、自動編集モードであるか、手動編集モードであるかを判別する(ステップS173)。
【0115】
ステップS173において、選択されたのは自動編集モードであると判別したときには、さらに、選択された編集項目は、プレイリスト生成か、NG消去かを判別する(ステップS174)。
【0116】
ここで、プレイリストとは、失敗撮像画像部分をスキップして良好な画像のみを再生するようにするため、良好な画像シーンの先頭と最後尾のフレームのフレーム番号の対を、ディスク媒体に記録されている撮像記録データ(圧縮撮像画像データと、圧縮音声データと、メタデータとを含む)について、前述したメタデータを用いてリストアップしたものである。
【0117】
また、NG消去とは、ディスク媒体に記録されている撮像記録データのうちの失敗撮像画像部分を消去して、良好な撮像画像部分のみからなる、新たな撮像記録データを生成し、生成した撮像記録データを、ディスク媒体に書き込むように編集する機能である。
【0118】
ステップS174で、プレイリスト生成が選択されたと判別したときには、CPU11は、ディスク媒体23に記録されている撮像記録データについてのメタデータを読み出し、そのメタデータをデコードして、失敗撮像画像部分以外の画像シーンの先頭と最後尾のフレーム番号の対からなるプレイリストを生成する(ステップS175)。
【0119】
この例の場合、ディスク媒体23に記録されている撮像記録データは、一回の撮像開始から終了(撮像ストップ)までを1つのファイルとして管理しており、プレイリストは、それぞれのファイル毎に生成される。
【0120】
プレイリストの生成ができたら、CPU11は、ディスク媒体23に、生成したプレイリストをファイル毎に記録するようにする(ステップS176)。そして、編集モードの処理ルーチンを終了する。
【0121】
このときのディスク媒体23に記録された新たな撮像記録データの例を図15に示す。すなわち、撮像記録データには、ファイル単位にプレイリストが追加されている。そして、各プレイリストのデータは、図15に示すように、失敗撮像画像部分を避けた良好な画像部分の先頭と最後尾のフレーム番号の対のデータ、例えばファイルNo.Aにおいては、FL.No.00001−FL.No.00350、FL.No.00415−FL.No.01055、・・・、FL.No.15001−FL.No.16013のように、ハイフンにより繋がれた2つのフレーム番号の1個または複数個からなるものとされる。
【0122】
図15のファイルNo.Aの撮像記録データを、良好な画像部分を「OK」、失敗画像部分を「NG」として、生成されたプレイリストに基づいて時間軸について展開すると、図16に示すようなものとなる。したがって、再生時には、プレイリストにしたがって、当該ファイルNo.Aの撮像記録データを再生すると、図16において、斜線を付して示す「NG」部分をスキップして、「OK」部分のみを再生することが可能になる。
【0123】
次に、NG消去編集について説明する。すなわち、ステップS174において、NG消去編集が選択されたと判別したときには、CPU11は、ディスク媒体23からファイル単位の撮像記録データを読み出す。この実施形態では、失敗撮像画像を含むオリジナルの撮像記録データは消去せずに、NG消去編集をした結果を、各ファイルに追加記録するようにするため、読み出した撮像記録データをオリジナルの撮像記録データとは別データ(コピーデータという)として扱い(ステップS177)、このコピーデータについてNG消去編集を行なう(ステップS178)。
【0124】
すなわち、ステップS178においては、例えば図16の例のファイルNo.Aの撮像記録データであれば、斜線を付して示す「NG」部分を全て消去する。そして、ステップS178で、「NG」部分を消去して「OK」部分のみからなるコピーデータを、編集撮像記録データとして、ディスク媒体23に対して、各ファイル毎に追加記録するようにする(ステップS179)。そして、この編集モードの処理ルーチンを終了する。
【0125】
このNG消去編集が行なわれたディスク媒体23の記録データの様子の例を図17に示す。すなわち、NG消去編集が行なわれると、ディスク媒体のファイルには、オリジナル撮像記録データに加えて、OK部分のみからなる編集撮像記録データが記録される。
【0126】
次に、ステップS173において、手動編集モードが選択されたと判別したときには、CPU11は、さらに、選択された編集項目は、プレイリスト生成か、NG消去かを判別する(図14のステップS181)。
【0127】
ステップS181で、プレイリスト生成が選択されたと判別したときには、CPU11は、ディスク媒体23に記録されている撮像記録データについてのメタデータを読み出し、そのメタデータをデコードして、失敗撮像画像部分を再生し、表示部6に表示してユーザに呈示し、一時停止して(ステップS182)、NGでよいか否かのユーザのチェック入力を待つ(ステップS183)。このとき、再生された失敗撮像画像部分の画像と共に、「この画像を失敗画像としてスキップしてよいですか?」などのメッセージを表示する。そして、そのメッセージに対応して、ユーザが実行するチェック結果の入力方法をも、画面表示するようにする。ユーザは、その画面表示を見ながら、チェック結果を入力するようにする。
【0128】
そして、ステップS183でユーザのチェック入力を受け付けたと判別したときには、入力されたチェック結果を判別し、NGではなく、OKに変更したいとする入力であるときには、メタデータを、その部分について修正する(ステップS184)。また、NGのままでよいとする入力であるときには、メタデータはそのままとする。なお、ここでメタデータを修正するとしたが、これは、ディスク媒体に記録されているメタデータを修正するのではなく、読み出してバッファに保持しているメタデータを修正するものである。
【0129】
次に、撮像記録データのNG部分を最後まで再生したかどうか判別し(ステップS185)、未だ最後までは再生してはいないと判別したときには、ステップS182に戻り、ステップS182以降の処理を繰り返す。
【0130】
そして、ステップS185で、NG部分を最後まで再生したと判別したときには、ステップS184で修正したメタデータを用いて、OK部分のみを再生するようにするためのプレイリストを作成する(ステップS186)。そして、作成したプレイリストを、前述した自動編集モードの場合と同様にして、ディスク媒体23においてファイル毎に記録するようにする(ステップS187)。そして、編集モードの処理ルーチンを終了する。
【0131】
次に、ステップS181において、NG消去が選択されたと判別したときには、CPU11は、ディスク媒体23に記録されている撮像記録データについてのメタデータを読み出し、そのメタデータをデコードして、失敗撮像画像部分を再生し、表示部6に表示してユーザに呈示し、一時停止して(ステップS188)、NGでよいか否かのユーザのチェック入力を待つ(ステップS189)。このとき、再生された失敗撮像画像部分の画像と共に、「この画像を失敗画像として消去してよいですか?」などのメッセージを表示する。そして、そのメッセージに対応して、ユーザが実行するチェック結果の入力方法をも、画面表示するようにする。ユーザは、その画面表示を見ながら、チェック結果を入力するようにする。
【0132】
そして、ステップS189でユーザのチェック入力を受け付けたと判別したときには、入力されたチェック結果を判別し、NGではなく、OKに変更したいとする入力であるときには、メタデータを、その部分について修正する(ステップS190)。また、NGのままでよいとする入力であるときには、メタデータはそのままとする。なお、ここでメタデータを修正するとしたが、これは、ディスク媒体に記録されているメタデータを修正するのではなく、読み出してバッファに保持しているメタデータを修正するものである。
【0133】
次に、撮像記録データのNG部分を最後まで再生したかどうか判別し(ステップS191)、未だ最後までは再生してはいないと判別したときには、ステップS188に戻り、ステップS188以降の処理を繰り返す。
【0134】
そして、ステップS191で、NG部分を最後まで再生したと判別したときには、ステップS190で修正したメタデータを用いて、前述した自動編集モードにおけるNG消去編集と同様にしてNG消去編集を実行する(ステップS192)。すなわち、修正されたメタデータにより示されるNG部分を全て消去して、OK部分のみからなる編集撮像記録データを生成し、前述した自動編集モードの場合と同様にして、ディスク媒体23においてファイル毎に記録するようにする(ステップS193)。そして、編集モードの処理ルーチンを終了する。
【0135】
この手動編集モードの場合には、撮像記録時に生成されたメタデータにより失敗撮像画像であると認識されたものであっても、ユーザが許容する画像は、スキップすることなく再生できるようにプレイリストを作成したり、NG消去することなく編集したりすることができる。すなわち、ユーザの意思を編集に反映させることができる。
【0136】
[第2の実施形態]
次に、上述の実施形態の撮像装置により撮像記録データが撮像記録された記録媒体から、当該撮像記録データを取り込んで、例えば大容量のデータ格納部に保存することができる撮像画像データ処理装置の実施形態について説明する。この実施形態の撮像画像データ処理装置は、記録媒体から撮像記録データを、前述した第1の実施形態の撮像装置が備える編集モードと同様の編集を実行して、その実行後のデータをデータ格納部に格納する機能を備えるものである。
【0137】
図18は、この撮像画像データ処理装置の実施形態としてのハードディスク記録再生装置の一例の構成ブロック図である。
【0138】
この例のハードディスク記録再生装置は、CPU31に対して、システムバス32を介してプログラムROM33、ワークエリアRAM34が接続されると共に、システムバス32に対して、ハードディスク装置35、操作入力部37が接続されている操作入力インターフェース36、ディスクドライブ38、カード型メモリドライブ39、格納データエンコード/デコード部40、画像データ表示出力インターフェース41、放送受信部43とが接続されて構成されている。
【0139】
ハードディスク装置35は、大容量のデータ格納部を構成するもので、後述するように、受信した放送信号や、ディスク媒体51やカード型メモリ52から取り込んだ撮像画像データを格納する。
【0140】
画像データ表示出力インターフェース41からの表示用画像データは、画像信号出力端子42を通じてディスプレイ53に供給されて、画像表示される。
【0141】
ディスクドライブ38には、ディスク媒体51が装填される。そして、ディスク媒体51がディスクドライブ38に装填されているときに、操作入力部37を通じて撮像記録データの取り込み指示があると、CPU31は、ディスクドライブ38にディスク媒体51から撮像記録データを読み出し、後述するような編集を加えて、あるいは編集することなく、格納データエンコード/デコード部40を通じてハードディスク装置35に格納するようにする。
【0142】
また、取り込み指示ではなく、撮像記録データの再生指示であるときには、CPU31は、ディスクドライブ38にディスク媒体51から撮像記録データを読み出し、当該読み出した撮像記録データを画像データ表示出力インターフェース41を通じてディスプレイ53に供給して、撮像画像を再生するようにする。
【0143】
また、カード型メモリドライブ39には、カード型メモリ52が装填される。この例では、カード型メモリ52にも、前述したディスク媒体23と同様の形式の撮像記録データが記録されているものである。そして、カード型メモリ52がカード型メモリドライブ39に装填されているときに、操作入力部37を通じて撮像記録データの取り込み指示があると、CPU31は、カード型メモリドライブ39にカード型メモリ52から撮像記録データを読み出し、後述するような編集を加えて、あるいは編集することなく、格納データエンコード/デコード部40を通じてハードディスク装置35に格納するようにする。
【0144】
格納データエンコード/デコード部40は、ハードディスクに格納するためのデータフォーマットに変換(エンコード)すると共に、ハードディスクから読み出されたデータの前記データフォーマットをデコードする処理を行なう。
【0145】
放送受信部43は、アンテナ端子44を通じて放送受信アンテナ54に接続されており、当該放送受信アンテナ54で受信された方送信号は、画像データ表示出力インターフェース41を通じてディスプレイ53に供給されて、画像が再生される。
【0146】
また、放送受信部43で受信された放送信号は、格納データエンコード/デコード部40によりハードディスクに記録するためのデータフォーマットにエンコードされて、ハードディスク装置35に供給されて、ハードディスクに書き込まれる。
【0147】
次に、この実施形態のハードディスク記録再生装置における撮像記録データの取り込み時の処理動作を、図19および図20のフローチャートを参照しながら説明する。なお、この図19および図20の各ステップの処理は、CPU31が、ROM33のプログラムにしたがって、RAM34をワークエリアとして使用することにより実行されるものである。
【0148】
すなわち、図19に示すように、CPU31は、先ず、撮像記録データの取り込みが指定されたか否か判別し(ステップS201)、撮像記録データの取り込みが指定されていなければ、指示されたその他の処理を実行する(ステップS202)。
【0149】
ステップS201で、撮像記録データの取り込みが指定されたと判別したときには、編集付きの取り込みが指定されたか否か判別し(ステップS203)、編集付ではないと判別したときには、ディスク媒体51やカード型メモリ52から撮像記録データを読み出し、格納データエンコード/デコード部40によりハードディスクに記録するためのデータフォーマットにエンコードして、ハードディスク装置35においてハードディスクに書き込むようにする(ステップS204)。
【0150】
ステップS203で、編集付きの取り込みであると判別したときには、選択されたのは、自動編集モードであるか、手動編集モードであるかを判別する(ステップS205)。
【0151】
ステップS205において、選択されたのは自動編集モードであると判別したときには、さらに、選択された編集項目は、プレイリスト生成か、NG消去かを判別する(ステップS206)。
【0152】
ステップS206で、プレイリスト生成が選択されたと判別したときには、CPU31は、ディスク媒体51やカード型メモリ52に記録されている撮像記録データについてのメタデータを読み出し、そのメタデータをデコードして、前述の第1の実施形態で説明したのと同様にして、失敗撮像画像部分以外の画像シーンの先頭と最後尾のフレーム番号の対からなるプレイリストをファイル毎に生成する(ステップS207)。
【0153】
プレイリストの生成ができたら、CPU31は、ディスク媒体51やカード型メモリ52から読み出した撮像記録データに、生成したプレイリストをファイル毎に追加したものを、格納データエンコード/デコード部40を介してハードディスク装置35に格納するようにする(ステップS208)。そして、この撮像記録データの取り込み処理ルーチンを終了する。
【0154】
次に、ステップS206において、NG消去編集が選択されたと判別したときには、CPU31は、ディスク媒体51あるいはカード型メモリ52からファイル単位の撮像記録データを読み出す。この実施形態では、失敗撮像画像を含むオリジナルの撮像記録データは消去せずに、NG消去編集をした結果を、各ファイルに追加記録するようにするため、読み出した撮像記録データをオリジナルの撮像記録データとして、ハードディスク装置35に格納するようにする(ステップS209)。
【0155】
そして、オリジナルの撮像記録データとは別に、これと同一の撮像記録データをコピーデータとしてバッファに取り込み、このコピーデータについて前述の第1の実施形態で説明したのと同様にしてNG消去編集を行ない、そのNG消去編集結果を、ハードディスク装置35のファイル毎のオリジナルの撮像記録データに追加する形で記録するようにする(ステップS210)。そして、この編集付き撮像記録データの取り込みの処理ルーチンを終了する。
【0156】
次に、ステップS205において、手動編集モードが選択されたと判別したときには、CPU11は、さらに、選択された編集項目は、プレイリスト生成か、NG消去かを判別する(図20のステップS221)。
【0157】
ステップS221で、プレイリスト生成が選択されたと判別したときには、CPU31は、ディスク媒体51あるいはカード型メモリ52に記録されている撮像記録データについてのメタデータを読み出し、そのメタデータをデコードして、失敗撮像画像部分を再生し、表示部6に表示してユーザに呈示し、一時停止して(ステップS222)、NGでよいか否かのユーザのチェック入力を待つ(ステップS223)。このとき、再生された失敗撮像画像部分の画像と共に、「この画像を失敗画像としてスキップしてよいですか?」などのメッセージを表示する。そして、そのメッセージに対応して、ユーザが実行するチェック結果の入力方法をも、画面表示するようにする。ユーザは、その画面表示を見ながら、チェック結果を入力するようにする。
【0158】
そして、ステップS223でユーザのチェック入力を受け付けたと判別したときには、入力されたチェック結果を判別し、NGではなく、OKに変更したいとする入力であるときには、メタデータを、その部分について修正する(ステップS224)。また、NGのままでよいとする入力であるときには、メタデータはそのままとする。なお、ここでメタデータを修正するとしたが、これは、ディスク媒体に記録されているメタデータを修正するのではなく、読み出してバッファに保持しているメタデータを修正するものである。
【0159】
次に、撮像記録データのNG部分を最後まで再生したかどうか判別し(ステップS225)、未だ最後までは再生してはいないと判別したときには、ステップS222に戻り、ステップS222以降の処理を繰り返す。
【0160】
そして、ステップS225で、NG部分を最後まで再生したと判別したときには、ステップS224で修正したメタデータを用いて、OK部分のみを再生するようにするためのプレイリストを作成する(ステップS226)。そして、作成したプレイリストと、ディスク媒体51あるいはカード型メモリ52から読み出した撮像記録データとを対応させて、ハードディスク装置35にファイル毎に記録するようにする(ステップS227)。そして、編集付き撮像記録データの取り込みの処理ルーチンを終了する。
【0161】
次に、ステップS221において、NG消去が選択されたと判別したときには、CPU31は、ディスク媒体51あるいはカード型メモリ52に記録されている撮像記録データについてのメタデータを読み出し、そのメタデータをデコードして、失敗撮像画像部分を再生し、表示部6に表示してユーザに呈示し、一時停止して(ステップS228)、NGでよいか否かのユーザのチェック入力を待つ(ステップS229)。このとき、再生された失敗撮像画像部分の画像と共に、「この画像を失敗画像として消去してよいですか?」などのメッセージを表示する。そして、そのメッセージに対応して、ユーザが実行するチェック結果の入力方法をも、画面表示するようにする。ユーザは、その画面表示を見ながら、チェック結果を入力するようにする。
【0162】
そして、ステップS229でユーザのチェック入力を受け付けたと判別したときには、入力されたチェック結果を判別し、NGではなく、OKに変更したいとする入力であるときには、メタデータを、その部分について修正する(ステップS230)。また、NGのままでよいとする入力であるときには、メタデータはそのままとする。なお、ここでメタデータを修正するとしたが、これは、ディスク媒体に記録されているメタデータを修正するのではなく、読み出してバッファに保持しているメタデータを修正するものである。
【0163】
次に、撮像記録データのNG部分を最後まで再生したかどうか判別し(ステップS231)、未だ最後までは再生してはいないと判別したときには、ステップS228に戻り、ステップS228以降の処理を繰り返す。
【0164】
そして、ステップS231で、NG部分を最後まで再生したと判別したときには、ステップS230で修正したメタデータを用いて、前述した自動編集モードにおけるNG消去編集と同様にしてNG消去編集を実行する(ステップS232)。すなわち、修正されたメタデータにより示されるNG部分を全て消去して、OK部分のみからなる編集撮像記録データを生成し、前述した自動編集モードの場合と同様にして、ハードディスク装置35に、オリジナルの撮像記録データと編集撮像記録データとをファイル毎に記録するようにする(ステップS233)。そして、編集付き撮像記録データの取り込みの処理ルーチンを終了する。
【0165】
そして、このハードディスク記録再生装置においては、再生モードとして、取り込んだオリジナルの撮像記録データを全て再生するモード、プレイリストを用いたプレイリスト再生モード、NG消去編集された編集撮像記録データの再生モード、などが用意され、そのうちのいずれかの再生モードがユーザの選択に応じて実行される。
【0166】
プレイリスト再生モードにおいては、プレイリストに示された先頭フレームから最後尾フレームまでのフレーム区間のみが再生される。これにより、失敗撮像画像部分はスキップされて再生されなくなる。この場合に、再生装置側としては、単にプレイリストのみに基づいて再生するだけで、失敗撮像画像部分をスキップした再生をすることができるようになり、冒頭で述べた従来の技術のように、再生しながら画像を解析したりする必要がなくなるものである。
【0167】
また、編集撮像記録データの再生モードでは、失敗撮像画像部分が存在しない編集撮像記録データを再生するものである。したがって、再生装置側では、何らの付加的な処理をすることなく、失敗撮像画像部分の無い画像データを再生することができるものである。
【0168】
なお、以上の説明では、画像フレーム単位で画像の評価値を取得する例について説明したが、画像フィールド単位で評価値を取得するようにしても良いことは言うまでもない。
【図面の簡単な説明】
【0169】
【図1】この発明による撮像装置の一実施形態のブロック図である。
【図2】図1の実施形態における撮像記録機能の機能ブロック図である。
【図3】図1の実施形態における撮像記録処理動作を説明するためのフローチャートの一部である。
【図4】図1の実施形態における撮像記録処理動作を説明するためのフローチャートの一部である。
【図5】図3の一部のステップの詳細な処理内容の一例のフローチャートの一部である。
【図6】図3の一部のステップの詳細な処理内容の一例のフローチャートの一部である。
【図7】図1の実施形態におけるメタデータの多重化フォーマットの一例を示す図である。
【図8】実施形態におけるメタデータの他の例を示す図である。
【図9】実施形態におけるメタデータの他の例を示す図である。
【図10】図1の実施形態におけるメタデータの多重化フォーマットの他の例を示す図である。
【図11】図10の例のメタデータの構成の他の例を示す図である。
【図12】図1の実施形態におけるメタデータの多重化フォーマットの、さらに他の例を示す図である。
【図13】図1の実施形態における編集モードにおける処理動作を説明するためのフローチャートの一部である。
【図14】図1の実施形態における編集モードにおける処理動作を説明するためのフローチャートの一部である。
【図15】実施形態における編集モードを説明するために用いる図である。
【図16】実施形態における編集モードを説明するために用いる図である。
【図17】実施形態における編集モードを説明するために用いる図である。
【図18】この発明による撮像画像データの処理装置の実施形態の構成例を示す図である。
【図19】図18の実施形態における処理動作を説明するためのフローチャートの一部である。
【図20】図18の実施形態における処理動作を説明するためのフローチャートの一部である。
【符号の説明】
【0170】
1…カメラブロック、3…撮像信号処理回路、6…表示部、7…手ぶれ検出部、10…制御装置、21…操作入力部、22…ディスクドライブ、23…ディスク、26…画像特徴解析部

【特許請求の範囲】
【請求項1】
撮像素子と、
前記撮像素子からの撮影画像データをデータ圧縮する圧縮手段と、
前記撮像素子による撮影中に、画像の撮影が失敗であるか否かを判別するための失敗判別用情報を取得する取得手段と、
前記取得手段で取得した前記失敗判別用情報を、対応する前記撮影画像データを前記圧縮手段で圧縮した圧縮画像データに関連させて記録媒体に記録する記録手段と
を備えることを特徴とする撮像装置。
【請求項2】
請求項1に記載の撮像装置において、
前記失敗判別用情報として、画像の撮影が失敗であるか否かを判別するための条件についての評価値を、画像フレームまたは画像フィールド単位で取得して、記録する
ことを特徴とする撮像装置。
【請求項3】
請求項1に記載の撮像装置において、
前記失敗判別用情報として、前記撮影画像の撮影が失敗であるか否かを判別するための条件についての評価値が変化した画像フレームまたは画像フィールドと、前記評価値とを取得して記録する
ことを特徴とする撮像装置。
【請求項4】
請求項1に記載の撮像装置において、
前記圧縮手段は、複数フレームまたは複数フィールドを一群として、当該一群単位でエンコード/デコード処理可能な圧縮画像データを生成するものであり、
前記失敗判別用情報は、前記一群単位の前記圧縮画像データ毎に付加される
ことを特徴とする撮像装置。
【請求項5】
請求項4に記載の撮像装置において、
前記失敗判別用情報は、前記一群内の各フレームまたは各フィールドについての画像の撮影が失敗であるか否かを判別するための評価値を含む
ことを特徴とする撮像装置。
【請求項6】
請求項4に記載の撮像装置において、
前記失敗判別用情報は、前記一群単位の画像の撮影が失敗であるか否かを判別するための評価値を含む
ことを特徴とする撮像装置。
【請求項7】
請求項1に記載の撮像装置において、
前記記録手段により前記失敗判別用情報が前記圧縮画像データに関連して記録された前記記録媒体から前記失敗判別用情報を読み出し、当該失敗判別用情報に基づいて、画像の撮影が失敗であると判別される画像以外の画像のみを再生するようにする画像再生範囲を示す情報を生成し、前記生成した画像再生範囲を示す情報を前記記録媒体に記録するようにする編集モードを備える
ことを特徴とする撮像装置。
【請求項8】
請求項7に記載の撮像装置において、
前記編集モードにおいては、前記記録媒体から読み出した前記失敗判別用情報に対応する画像を、前記記録媒体から読み出した前記圧縮画像データから再生して、ユーザに呈示して当該ユーザから当該画像を失敗画像とするかどうかの確認入力を受け付け、当該受け付けた確認結果をも用いて、前記画像再生範囲を示す情報を生成し、生成した画像再生範囲を示す情報を前記記録媒体に記録するようにする
ことを特徴とする撮像装置。
【請求項9】
請求項1に記載の撮像装置において、
前記記録手段により前記失敗判別用情報が前記圧縮画像データに関連して記録された前記記録媒体から前記失敗判別用情報を読み出し、当該失敗判別用情報に基づいて、前記記録媒体の記録画像データを、画像の撮影が失敗であると判別される画像部分を除去した画像データに書き直すようにする編集モードを備える
ことを特徴とする撮像装置。
【請求項10】
請求項9に記載の撮像装置において、
前記編集モードにおいては、前記記録媒体から読み出した前記失敗判別用情報に対応する画像を、前記記録媒体から読み出した前記圧縮画像データから再生して、ユーザに呈示して当該ユーザから当該画像を失敗画像とするかどうかの確認入力を受け付け、当該受け付けた確認結果をも用いて、前記記録媒体の記録画像データを書き直すようにする
ことを特徴とする撮像装置。
【請求項11】
記録媒体に記録されている撮影画像データを読み出して再生する再生手段と、
前記再生手段で再生された前記撮影画像データから、画像の撮影が失敗であるか否かを判別するための失敗判別用情報を取得する取得手段と、
前記取得手段で取得した前記失敗判別用情報を、前記記録媒体から読み出した対応する前記撮影画像データに関連させて前記記録媒体とは別の記録媒体に記録する記録手段と
を備えることを特徴とする撮影画像データ処理装置。
【請求項12】
撮影画像データを圧縮した圧縮画像データと、画像の撮影が失敗であるか否かを判別するための失敗判別用情報とが互いに関連して記録された記録媒体から前記圧縮画像データを読み出して、データ格納部に格納するようにする撮影画像データ処理装置であって、
前記データ格納部への前記圧縮画像データの格納に際して、前記記録媒体から前記失敗判別用情報を読み出し、当該失敗判別用情報に基づいて、画像の撮影が失敗であると判別される画像以外の画像のみを再生するようにする画像再生範囲を示す情報を生成し、当該生成した前記画像再生範囲を示す情報を、前記圧縮画像データに関連して前記データ格納部に格納する編集手段を備える
ことを特徴とする撮影画像データ処理装置。
【請求項13】
請求項12に記載の撮影画像データ処理装置において、
前記編集手段は、前記データ格納部への前記圧縮画像データの格納に際して、少なくとも、前記記録媒体から読み出した前記失敗判別用情報に対応する画像を、前記記録媒体から読み出した前記圧縮画像データから再生して、ユーザに呈示して当該ユーザから当該画像を失敗画像とするかどうかの確認入力を受け付け、当該受け付けた確認結果をも用いて、前記画像再生範囲を示す情報を生成する
ことを特徴とする撮像画像データ処理装置。
【請求項14】
撮影画像データを圧縮した圧縮画像データと、画像の撮影が失敗であるか否かを判別するための失敗判別用情報とが互いに関連して記録された記録媒体から前記圧縮画像データを読み出して、データ格納部に格納するようにする撮影画像データ処理装置であって、
前記データ格納部への前記圧縮画像データの格納に際して、前記記録媒体から前記失敗判別用情報を読み出し、当該失敗判別用情報に基づいて画像の撮影が失敗であると判別される画像部分を前記圧縮画像データから除去して前記データ格納部に格納する編集手段を備える
ことを特徴とする撮影画像データ処理装置。
【請求項15】
請求項14に記載の撮影画像データ処理装置において、
前記編集手段は、前記撮影画像データ取り込み手段においては、少なくとも、前記記録媒体から読み出した前記失敗判別用情報に対応する画像を、前記記録媒体から読み出した前記圧縮画像データから再生して、ユーザに呈示して当該ユーザから当該画像を失敗画像とするかどうかの確認入力を受け付け、当該受け付けた確認結果をも用いて、画像の撮影が失敗であると判別される画像部分を前記圧縮画像データから除去して前記データ格納部に格納する
ことを特徴とする撮影画像データ処理装置。
【請求項16】
撮像素子からの撮影画像データをデータ圧縮する圧縮ステップと、
前記撮像素子による撮影中に、画像の撮影が失敗であるか否かを判別するための失敗判別用情報を取得する取得ステップと、
前記取得ステップで取得した前記失敗判別用情報を、対応する前記撮影画像データの圧縮画像データに関連させて記録媒体に記録する記録ステップと
を備えることを特徴とする撮影画像データの記録方法。
【請求項17】
記録媒体に記録されている撮影画像データを読み出して再生し、当該再生された前記撮影画像データから、画像の撮影が失敗であるか否かを判別するための失敗判別用情報を取得する取得ステップと、
前記取得ステップで取得した前記失敗判別用情報を、前記記録媒体から読み出した対応する前記撮影画像データに関連させて前記記録媒体とは別の記録媒体に記録する記録ステップと
を備えることを特徴とする撮影画像データ処理方法。
【請求項18】
撮影画像データを圧縮した圧縮画像データと、画像の撮影が失敗であるか否かを判別するための失敗判別用情報とが互いに関連して記録された記録媒体から前記圧縮画像データを読み出して、データ格納部に格納するようにする撮影画像データ処理方法であって、
前記データ格納部への前記圧縮画像データの格納に際して、前記記録媒体から前記失敗判別用情報を読み出し、当該失敗判別用情報に基づいて、画像の撮影が失敗であると判別される画像以外の画像のみを再生するようにする画像再生範囲を示す情報を生成し、当該生成した前記画像再生範囲を示す情報を、前記圧縮画像データに関連して前記データ格納部に格納する編集ステップを備える
ことを特徴とする撮影画像データ処理方法。
【請求項19】
撮影画像データを圧縮した圧縮画像データと、画像の撮影が失敗であるか否かを判別するための失敗判別用情報とが互いに関連して記録された記録媒体から前記圧縮画像データを読み出して、データ格納部に格納するようにする撮影画像データ処理方法であって、
前記データ格納部への前記圧縮画像データの格納に際して、前記記録媒体から前記失敗判別用情報を読み出し、当該失敗判別用情報に基づいて画像の撮影が失敗であると判別される画像部分を前記圧縮画像データから除去して前記データ格納部に格納する編集ステップを備える
ことを特徴とする撮影画像データ処理方法。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate


【公開番号】特開2006−197428(P2006−197428A)
【公開日】平成18年7月27日(2006.7.27)
【国際特許分類】
【出願番号】特願2005−8557(P2005−8557)
【出願日】平成17年1月17日(2005.1.17)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】