電子機器、出力方法及びプログラム
【課題】コンテンツにエラーが発生してもデータの途切れや乱れを発生させることなく、エラーが発生していない状態に極力近い自然なデータを出力させること。
【解決手段】カムコーダ１００のデータ選択部１９は、メイン映像データにエラーが発生していると判断した場合、当該エラーが発生したフレームに対応する時刻情報を有するサブ映像データのフレームにエラーが発生しているか否かを確認し、サブ映像データにエラーが発生していない場合には、当該サブ映像データを選択する。出力制御部２０は、当該選択されたサブ映像データを、メイン映像データに置換して表示させる。
【解決手段】カムコーダ１００のデータ選択部１９は、メイン映像データにエラーが発生していると判断した場合、当該エラーが発生したフレームに対応する時刻情報を有するサブ映像データのフレームにエラーが発生しているか否かを確認し、サブ映像データにエラーが発生していない場合には、当該サブ映像データを選択する。出力制御部２０は、当該選択されたサブ映像データを、メイン映像データに置換して表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データや音声データ等のコンテンツを出力することが可能な電子機器、当該電子機器における出力方法及びそのプログラムに関する。
【背景技術】
【０００２】
記録媒体上に記録されたコンテンツや、伝送路を介して電子機器へ送信されるコンテンツを再生する際には、記録媒体の読み出しの際にエラーが発生したり、伝送路上でエラーが混入したりする場合がある。そこで、従来から、コンテンツにエラー訂正用のパリティデータを付加し、エラーが発生した場合には当該パリティデータを用いてエラーを訂正することが行われている。
【０００３】
しかし、このようなエラー訂正処理を行っても、全てのエラーを除去することができない場合もある。この除去できないエラーは、コンテンツを再生する電子機器において、映像の途切れや、映像の乱れを引き起こす。
【０００４】
このようなエラーの発生への対処方法として、下記特許文献１には、駒落しされた（エラーが発生した）複数のフレームのうち、最初のフレームの１つ前のフレームと、最後のフレームの１つ後のフレームとから、フレームを補間する技術が記載されている。
【特許文献１】特開平６−２３７４４４号公報（図２等）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術を用いてエラーが発生したフレームを補間する場合、エラーが長時間分のフレームについて発生した場合には、補間された類似の画像を長時間表示することになり、表示画像が不自然になってしまい、ユーザに違和感や不快感を与えてしまうことになる。
【０００６】
以上のような事情に鑑み、本発明の目的は、コンテンツにエラーが発生しても、データの途切れや乱れを発生させることなく、エラーが発生していない状態に極力近い自然なデータを出力させることが可能な電子機器、当該電子機器における出力方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、本発明の主たる観点に係る電子機器は、出力すべき時刻を示す時刻情報を有する第１のコンテンツと、前記時刻情報を有し前記第１のコンテンツに関連する第２のコンテンツとを入力する入力手段と、前記入力された第１のコンテンツにエラーが発生しているか否かを判断する判断手段と、前記第１のコンテンツに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記エラーが発生している第１のデータが有する第１の時刻情報に対応する第２の時刻情報を有する第２のデータを抽出する抽出手段と、前記第１のデータを前記抽出された第２のデータに置換して前記第１のコンテンツを出力する出力手段とを具備する。
【０００８】
ここで電子機器とは、例えばカムコーダ、ＨＤＤ（Hard Disk Drive）／ＤＶＤ（Digital Versatile Disk）／ＢＤ（Blu-ray Disc）レコーダ、ＤＶＤ／ＢＤプレーヤ、テレビジョン装置、オーディオプレーヤ、ＰＣ（Personal Computer）、ゲーム機器、携帯電話機、ＰＤＡ（Personal Digital Assistants）、カーナビゲーション装置等である。また第１のコンテンツとは、例えばユーザが自ら撮影または作成したり、インターネット上からダウンロードしたり、放送番組として受信したりした映像コンテンツまたは音声コンテンツである。また第２のコンテンツとは、例えば、第１のコンテンツとしての映像コンテンツから作成されたサーチ再生用（変速再生用）の映像データや、第１のコンテンツとしての映像コンテンツを別の角度から撮影したマルチアングル用の映像データ等、通常再生とは異なる特殊再生用のデータや、１２セグメントの通常のテレビ放送用データに対する１セグメント放送用データ等、第１のコンテンツの補助的な役割を果たすコンテンツである。また、第２のコンテンツは、第１のコンテンツのデータをコピーしたものであっても構わない。上記時刻情報とは、例えばＭＰＥＧ（Moving Picture Experts Group）形式のコンテンツに付加されるＰＴＳ（Presentation Time Stamp）である。
【０００９】
上記入力手段は、記録媒体に記憶された第１及び第２のコンテンツを読み出す場合や、放送波やネットワークを介して第１及び第２のコンテンツを受信する場合を含む概念である。また上記出力手段は、上記電子機器が内蔵するディスプレイやスピーカから第１のコンテンツを出力する場合のほか、電子機器に外部接続されたディスプレイやスピーカへ第１のコンテンツを出力する場合も含む概念である。
【００１０】
この構成により、第１のコンテンツにエラーが発生しても、第１のコンテンツを出力する際、エラーが発生したデータについては第２のコンテンツに切り替えて出力することができるため、出力されるデータが途切れたり、乱れたりすることを防ぎ、エラーが発生していない状態に極力近い自然な状態で出力することができる。
【００１１】
上記電子機器において、前記判断手段は、前記第２のコンテンツの前記第２のデータに前記エラーが発生しているか否かを判断し、当該電子機器は、前記第２のデータに前記エラーが発生していると判断された場合に、前記第１のコンテンツのうち、前記第１のデータが有する前記第１の時刻情報の前後で連続する各時刻情報を有する各データを基に第３のデータを生成する手段を更に具備し、前記出力手段は、前記第１のデータを前記生成された第３のデータに置換して前記第１のコンテンツを出力するようにしてもよい。
【００１２】
また、上記電子機器において、前記判断手段は、前記第２のコンテンツの前記第２のデータに前記エラーが発生しているか否かを判断し、当該電子機器は、前記第２のデータに前記エラーが発生していると判断された場合に、前記第２のコンテンツのうち、前記第２のデータが有する前記第２の時刻情報の前後で連続する各時刻情報を有する各データを基に第３のデータを生成する手段を更に具備し、前記出力手段は、前記第１のデータを前記生成された第３のデータに置換して前記第１のコンテンツを出力するようにしてもよい。
【００１３】
これにより、第２のコンテンツにエラーが発生している場合でも、第１のコンテンツのエラーデータの前後のデータや、第２のコンテンツのエラーデータの前後のデータから第３のデータを生成して出力することで、第１のコンテンツの途切れや乱れを防ぐことができる。
【００１４】
上記電子機器において、前記抽出手段は、前記第２のコンテンツから、前記第１のデータが有する前記第１の時刻情報の前または後で連続する第３の時刻情報に対応する第４の時刻情報を有する第３のデータを抽出し、前記出力手段は、前記第１のコンテンツのうち、前記第３の時刻情報を有するデータを前記第３のデータに置換して、前記第２のデータと連続させて出力するようにしても構わない。
【００１５】
これにより、第１のコンテンツ中のエラーが発生したデータを第２のデータに置換するのみならず、当該エラーが発生したデータに連続する前または後のデータも第３のデータに置換することで、第１のコンテンツから第２のコンテンツへの変わり目を違和感なく自然な感じで出力することができる。なお、第３のデータは、例えば第１及び第２のコンテンツが映像コンテンツの場合、第１のデータを構成するフレームと連続した前後各２フレームや４フレーム等の所定フレームのデータである。
【００１６】
上記電子機器において、前記第１及び第２のコンテンツは、それぞれ複数のフレームから構成される映像コンテンツであり、前記判断手段は、前記エラーが発生しているか否かを、前記各フレームが所定の複数のフレーム毎に区分されたフレーム区間毎に判断し、前記抽出手段は、前記各フレーム区間のうち第１のフレーム区間を構成する各フレームのうち少なくとも１つのフレームに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記第１のフレーム区間が有する第３の時刻情報に対応する第４の時刻情報を有する第２のフレーム区間の各フレームを抽出し、前記出力手段は、前記第１のフレーム区間の各フレームを前記第２のフレーム区間の各フレームに置換して前記第１のコンテンツを出力するようにしてもよい。
【００１７】
これにより、エラーの発生を、各フレーム区間の複数のフレームについてまとめて判断して、そのフレーム区間内のフレームに１つでもエラーが発生した場合にはクレーム区間毎第２のコンテンツに置換することで、１つのフレーム毎に判断して置換する場合に比べて処理が容易になり、負荷を軽減することができる。また、１つのフレーム区間でエラーがランダムに発生した場合でも、そのフレーム区間をまとめて置換することで、１のコンテンツと第２のコンテンツとが頻繁に切り替わって表示される映像が不自然になるのを防ぐことができる。
【００１８】
更に、上記第１及び第２のコンテンツがＭＰＥＧ形式の映像データである場合には、上記フレーム区間をＧＯＰ（Group of Picture）とすることもできる。ＭＰＥＧ形式では、映像データを表示すべき時刻を示す上記ＰＴＳと、映像データをデコードすべき時刻を示すＤＴＳ（Decoding Time Stamp）とが定められており、１つのＧＯＰ内でデコード順と表示順とが異なっている。したがって、上記第１のフレーム区間でエラーが連続して発生しても、上記置換した第２のフレーム区間の各フレームを表示する場合には、並び替えが生じて各フレームの表示順が不連続になる場合がある。しかし、１つのＧＯＰを第１のコンテンツと第２のコンテンツとの置換単位とすることで、上記各フレームの並び替えの影響を受けるのを防ぎ、第１のコンテンツと第２のコンテンツとを違和感なく切り替えることができる。
【００１９】
この場合、上記電子機器は、前記第１のコンテンツの第１のフレームレートと、前記第２のコンテンツの第２のフレームレートとをそれぞれ検出する検出手段と、前記検出された第１のフレームレートと第２のフレームレートとが異なる場合に、前記抽出された第２のフレーム区間の前記第２のフレームレートが前記第１のフレームレートとなるよう前記第２のデータにフレームを補間する補間手段とを更に具備していてもよい。
【００２０】
これにより、第１のコンテンツのフレームレートに合わせて第２のコンテンツを加工することで、第２のフレーム区間の各フレームを、より第１のコンテンツに近い状態で出力することができる。
【００２１】
上記電子機器において、前記第１のコンテンツは、ピクチャタイプが異なる複数のフレームから構成されるＭＰＥＧデータであり、前記抽出手段は、前記エラーが発生していると判断された第１のフレームの前記ピクチャタイプに応じて、前記第１のフレームと、当該第１のフレームを参照して生成された第２のフレームとにそれぞれ前記時刻情報が対応する第３のフレーム及び第４のフレームとを前記第２のコンテンツから抽出し、前記出力手段は、前記第１のフレームを前記第３のフレームに置換し、前記第２のフレームを前記第４のフレームに置換して前記第１のコンテンツを出力するようにしても構わない。
【００２２】
これにより、エラーが発生しているフレームのピクチャタイプに応じて、エラーが発生しているフレームのみならず、例えばＰピクチャやＢピクチャ等、当該エラーが発生しているフレームを参照しているフレームも第２のコンテンツに置換することで、第１のコンテンツに発生したエラーから間接的に発生する映像データの途切れや乱れも防ぐことができる。
【００２３】
上記電子機器において、前記第１及び第２のコンテンツは映像コンテンツであり、当該電子機器は、前記第１のコンテンツの第１の解像度と、前記第２のコンテンツの第２の解像度とをそれぞれ検出する検出手段と、前記検出された第１の解像度と第２の解像度とが異なる場合に、前記抽出された第２のデータの前記第２の解像度を前記第１の解像度へ変換する変換手段とを更に具備してもよい。
【００２４】
これにより、第１のコンテンツの解像度に合わせて第２のデータを加工することで、当該第２のデータを、より第１のコンテンツに近い状態で出力することができる。
【００２５】
上記電子機器は、複数の異なる前記第２のコンテンツを、前記第１のコンテンツとの類似度に応じた優先度を示す優先度情報とそれぞれ対応付けて記憶する記憶手段を更に具備し、前記入力手段は、前記優先度情報を基に、前記各第２のコンテンツから１つの第２のコンテンツを入力し、前記判断手段は、前記第２のコンテンツの前記第２のデータに前記エラーが発生しているか否かを判断し、前記出力手段は、前記第１のデータを、前記エラーが発生していないと判断された前記第２のコンテンツのうち、前記優先度が最も高い前記第２のコンテンツの前記第２のデータに置換して前記第１のコンテンツを出力するようにしてもよい。
【００２６】
これにより、複数の第２のコンテンツから、第１のコンテンツとの類似度が最も高く、かつ、置換対象となる第２のデータにエラーが発生していない１つの第２のコンテンツを選択することで、エラーが発生したデータについて、第１のコンテンツから第２のコンテンツへ、より違和感無く切り替えることができる。例えば、複数の第２のコンテンツとして、サーチ再生用の映像データと、第１のコンテンツを別の角度から撮影したマルチアングル用の映像データとが記憶されている場合、第１のコンテンツとの類似度はサーチ再生用の映像データの方が高いため、優先度もサーチ再生用の映像データの方が高くなる。
【００２７】
上記電子機器は、前記第１のコンテンツを基に前記第２のコンテンツを生成する生成手段を更に具備しても構わない。
【００２８】
これにより、元々第２のコンテンツが存在しない場合であっても、第１のコンテンツを基に第２のコンテンツを生成することで、第１のコンテンツにエラーが発生した場合に備えることができる。例えば、第１のコンテンツがＭＰＥＧ形式の映像データである場合には、生成手段は、第１のコンテンツ中のＩピクチャから、ＤＣＴ（Discrete Cosine Transform）係数のうちＤＣ（Direct Current）成分を抽出することで、サーチ再生用の映像データを第２のコンテンツとして生成することができる。また、例えば第１のコンテンツが放送番組の場合、当該放送番組を受信したときに、当該放送番組を例えばH.264規格等、比較的情報量の少ない圧縮符号化形式で再エンコードして第２のコンテンツを生成することもできる。
【００２９】
上記電子機器は、前記第１のコンテンツを第１の領域に記憶し、前記第２のコンテンツを前記第１の領域とは異なる第２の領域に記憶する記憶手段を更に具備してもよい。
【００３０】
これにより、第１のコンテンツと第２のコンテンツとが別個に読み出されることになるため、読み出し時のエラーを極力防ぐことができる。
【００３１】
上記電子機器は、前記第１のコンテンツに前記エラーを訂正するための第１のエラー訂正符号を付加して当該第１のコンテンツを記憶し、前記第２のコンテンツに前記第１のエラー訂正符号とは異なる第２のエラー訂正符号を付加して当該第２のコンテンツを記憶する記憶手段を更に具備し、前記判断手段は、前記第１及び第２のエラー訂正符号によって訂正できないエラーが前記第１のコンテンツ及び前記第２のデータに発生しているか否かをそれぞれ判断するようにしても構わない。
【００３２】
これにより、第１のコンテンツと第２のコンテンツとに別個に独立してエラー訂正符号を付加することで、第１のコンテンツと第２のコンテンツの両方にエラーが発生してしまうことを防ぎ、第１のコンテンツの第１のデータが第２のコンテンツのデータに置換できない事態を極力防ぐことができる。
【００３３】
上記電子機器において、前記入力手段は、前記第２のコンテンツを前記第１のコンテンツよりも先に入力するようにしても構わない。
【００３４】
これにより、第１のコンテンツよりも第２のコンテンツが先に入力されることで、第１のコンテンツ中のエラーが発生したデータの前または後で連続する上記第３のデータにより第１のコンテンツを抽出して置換する際に、当該第３のデータがまだ入力されておらず抽出できないという事態を防ぐことができる。すなわち、当該第３のデータを即座に抽出して、出力までの処理速度を向上させることができる。
【００３５】
本発明の他の観点に係る出力方法は、出力すべき時刻を示す時刻情報を有する第１のコンテンツと、前記時刻情報を有し前記第１のコンテンツに関連する第２のコンテンツとを入力し、前記入力された第１のコンテンツにエラーが発生しているか否かを判断し、前記第１のコンテンツに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記エラーが発生している第１のデータが有する第１の時刻情報に対応する第２の時刻情報を有する第２のデータを抽出し、前記第１のデータを前記抽出された第２のデータに置換して前記第１のコンテンツを出力するものである。
【００３６】
本発明のまた別の観点に係るプログラムは、電子機器に、出力すべき時刻を示す時刻情報を有する第１のコンテンツと、前記時刻情報を有し前記第１のコンテンツに関連する第２のコンテンツとを入力するステップと、前記入力された第１のコンテンツにエラーが発生しているか否かを判断するステップと、前記第１のコンテンツに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記エラーが発生している第１のデータが有する第１の時刻情報に対応する第２の時刻情報を有する第２のデータを抽出するステップと、前記第１のデータを前記抽出された第２のデータに置換して前記第１のコンテンツを出力するステップとを実行させるためのものである。
【発明の効果】
【００３７】
以上のように、本発明によれば、コンテンツにエラーが発生しても、データの途切れや乱れを発生させることなく、エラーが発生していない状態に極力近い自然なデータを出力させることができる。
【発明を実施するための最良の形態】
【００３８】
以下、本発明の実施の形態を図面に基づき説明する。
【００３９】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
図１は、本発明の一実施形態に係るカムコーダの構成を示したブロック図である。
同図に示すように、本実施形態に係るカムコーダ１００は、レンズ１、ＣＣＤ（Charge Coupled Device）２、Ａ／Ｄ（Analog/Digital）コンバータ３、ＭＰＥＧエンコーダ４、サブ映像生成部５、データ多重部６、ＥＣＣ（Error Correcting Code）付加部７、テープドライブ８、ＣＰＵ（Central Processing Unit）１０、操作入力部１１、エラー訂正部１２、データ分離部１３、ＭＰＥＧデコーダ１４、メイン映像補間部１５、サブ映像補間部１６、メイン映像バッファ１７、サブ映像バッファ１８、データ選択部１９及び出力制御部２０を有する。
【００４０】
ＣＰＵ１０は、カムコーダ１００の各ブロックと信号をやり取りして各種演算処理を行い、各ブロックを統括的に制御する。
【００４１】
レンズ１は、被写体に反射した光を集め、被写体の像の光をＣＣＤ２の受光部に結像させる。また、レンズ１は、ＣＰＵ１０により駆動される。ＣＣＤは、ＣＣＤセンサから構成され、レンズ１により結像された光を光電変換することにより、光をアナログの電気信号に変換し、Ａ／Ｄコンバータ３に供給する。なお、ＣＣＤ２に換えて、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の他の撮像素子を用いても構わない。
【００４２】
Ａ／Ｄコンバータ３は、ＣＰＵ１０の制御の下、ＣＣＤ２から供給されるアナログの画像信号を、デジタルの画像データに変換し、ＭＰＥＧエンコーダ４に供給する。ＭＰＥＧエンコーダ４は、Ａ／Ｄコンバータ３から供給された画像データを、例えばＭＰＥＧ−２等のＭＰＥＧ方式でエンコードする。このエンコードされた画像データが、本実施形態におけるメイン映像データとなる。このとき、メイン映像データを構成する各フレームには、デコードすべき時刻を示すデコード時刻情報（ＤＴＳ）と、表示すべき時刻を示す表示時刻情報（ＰＴＳ）とが付加される。
【００４３】
サブ映像生成部５は、ＭＰＥＧエンコーダ４によりエンコードされたメイン映像データを入力し、当該メイン映像データを基にサブ映像データを生成する。ここで、サブ映像データとしては、例えば、早送りや巻き戻し等のサーチ再生用の映像データや、スロー再生用の映像データ等、変速再生用の映像データが生成される。このうち、サーチ再生用の映像データは、例えば、メイン映像データのうち、ＭＰＥＧにおけるＩピクチャから、ＤＣＴ係数のうちＤＣ成分を抽出することで生成される。
【００４４】
データ多重部６は、上記メイン映像データと、サブ映像データとを多重化する。また、図示しないが、メイン映像データの撮影時に入力された音声データも、上記Ａ／Ｄコンバータ３及びＭＰＥＧエンコーダ４を介してデータ多重部６で上記メイン映像データ及びサブ映像データと多重化される。
【００４５】
ＥＣＣ付加部７は、上記多重化されたメイン映像データ及びサブ映像データに、エラー訂正符号（ＥＣＣ）としてのパリティデータを付加する。このとき、パリティデータは、メイン映像データとサブ映像データとに別個に独立して付加されるのが好ましい。これにより、再生時にメイン映像データとサブ映像データとに同時にエラーが発生してしまうのを防ぎ、エラー訂正能力を高めることができる。なお、パリティデータに替わり、ハミング符号やリードソロモン符号等の他のエラー訂正符号が用いられても構わない。
【００４６】
テープドライブ８は、例えば図示しない磁気ヘッド、回転ドラム、ドラムモータ及びキャプシタンモータ等により構成される。テープドライブ８は、上記多重化されパリティデータを付加された映像データを、ＣＰＵ１０の制御の下、回転ドラムに巻き付けられた磁気テープ９に記録する。この磁気テープは、例えばＤＶＣ（Digital Video Cassette）であり、テープドライブ８は、上記映像データを、このＤＶＣに例えばＨＤＶフォーマットで記録する。
【００４７】
また、テープドライブ８は、磁気テープ９に記録された映像データの再生時に、ＣＰＵ１０の制御の下、当該映像データを磁気テープ９から読み出し、エラー訂正部１２へ出力する。
【００４８】
なお、テープドライブ８は、磁気テープ９において、メイン映像データとサブ映像データとを極力離れた別個のトラックに記録するのが好ましい。これにより、映像データの読み出し時に、メイン映像データとサブ映像データとが同時にエラーとなってしまうのを防ぐことができる。
【００４９】
エラー訂正部１２は、上記磁気テープ９から読み出された映像データを入力し、当該映像データにエラーが発生しているか否かを、パリティ計算を行って確認する。そして、エラー訂正部１２は、映像データにエラーが発生している場合には、当該映像データに付加されたパリティデータを用いてエラーを訂正する。エラー訂正部１２は、エラー訂正を行った結果として、エラーの有無、すなわち、エラーを完全に訂正できたか、それとも完全には訂正しきれなかったかを示すフラグを、ＥＣＣ単位の各映像データに付加する。
【００５０】
データ分離部１３は、エラー訂正部１２から入力された映像データを、メイン映像データとサブ映像データとに分離する。分離された映像データのうち、メイン映像データはＭＰＥＧデコーダ１４へ出力され、サブ映像データはサブ映像補間部１６へ出力される。
【００５１】
ＭＰＥＧデコーダ１４は、上記分離されたメイン映像データをＭＰＥＧ方式に従ってデコードし、メイン映像補間部１５へ出力する。
【００５２】
メイン映像補間部１５は、メイン映像データ中に、上記エラー訂正部１２によって訂正しきれなかったエラーが存在するか否かを上記フラグによって判断する。そして、メイン映像補間部１５は、メイン映像データ中に訂正しきれなかったエラーが存在する場合には、そのエラーとなったフレームの前後の時刻情報（ＰＴＳ）を有する各フレームを基に、当該エラーとなったフレームに相当するフレームを補間する補間データ（以下、メイン映像補間データと称する）を生成し、上記メイン映像データと共にメイン映像バッファ１７へ出力する。
【００５３】
サブ映像補間部１６は、上記メイン映像データ中でエラーとなったフレームと同一の時刻情報（ＰＴＳ）を有するフレームがサブ映像データ中に存在するか否かを判断する。そして、サブ映像補間部は、上記エラーとなったフレームと同一の時刻情報を有するフレームがサブ映像データ中に存在しない場合には、エラー該当時刻の前後の時刻情報を有する各フレームを基に、エラー該当時刻のフレームを補間する補間データ（以下、サブ映像補間データと称する）を生成し、上記サブ映像データと共にサブ映像バッファ１８へ出力する。すなわち、サブ映像補間部１６は、サブ映像データのフレームレートがメイン映像データのフレームレートと異なる場合に、サブ映像データのフレームレートがメイン映像データのフレームレートと合致するようにフレームを補間する。
【００５４】
メイン映像バッファ１７は、上記メイン映像補間部１５から入力したメイン映像データ及びメイン映像補間データとを一時的に格納し、必要に応じてデータ選択部１９へ出力する。サブ映像バッファ１８は、上記サブ映像補間部１６から入力したサブ映像データ及びサブ映像補間データを一時的に格納し、必要に応じてデータ選択部１９へ出力する。
【００５５】
データ選択部１９は、メイン映像データの再生時に、上記メイン映像データ及びサブ映像データを上記時刻情報（ＰＴＳ）に従って順次入力し、入力されたメイン映像データ及びサブ映像データにエラーが存在するか否かを上記フラグを基に判断する。そして、データ選択部１９は、そのエラー状況に応じてメイン映像データ、サブ映像データ、メイン映像補間データ及びサブ映像補間データのいずれを出力すべきかを選択し、選択されたデータを出力制御部２０へ出力する。
【００５６】
出力制御部２０は、上記データ選択部１９から入力した各データを、その出力タイミングを上記ＰＴＳにより調整しながら、例えばカムコーダ１００に搭載された液晶ディスプレイ（図示せず）や、カムコーダ１００に接続されたテレビジョン装置またはディスプレイ装置等の外部表示機器へ出力する。
【００５７】
操作入力部１１は、例えばタッチパネルや操作ボタン等で構成され、カムコーダの各種機能を実行するための各種操作命令をユーザから入力して、ＣＰＵ１０へ出力する。
【００５８】
次に、以上のように構成されたカムコーダ１００の動作について説明する。
【００５９】
図２は、本実施形態において、メイン映像データの再生命令が入力された場合におけるカムコーダ１００の動作の流れを示したフローチャートである。なお、同図においては、磁気テープ９から読み出された映像データが、エラー訂正部１２、データ分離部１３、ＭＰＥＧデコーダ１４、メイン映像補間部１５及びサブ映像補間部１６を経て、メイン映像バッファ１７及びサブ映像バッファ１８に格納されているものとして説明する。
【００６０】
同図に示すように、まず、カムコーダ１００のデータ選択部１９は、上記メイン映像バッファ１７に格納されているメイン映像データを順次入力し、当該メイン映像データにエラーが発生しているか否か、すなわち上記エラー訂正部１２により訂正しきれなかったエラーが存在するか否かを、例えばフレーム毎に判断する（ステップ２１）。
【００６１】
エラーが存在しないと判断された場合（Ｎｏ）、データ選択部１９は、そのままメイン映像データを選択する（ステップ２７）。
【００６２】
エラーが存在すると判断された場合（Ｙｅｓ）、データ選択部１９は、上記メイン映像データ中のエラーデータが有する時刻情報に対応する時刻情報を有するサブ映像データが、上記サブ映像バッファ１８に存在するか否かを判断する（ステップ２２）。該当する時刻情報を有するサブ映像データが存在する場合（Ｙｅｓ）には、データ選択部１９は、そのサブ映像データを選択する（ステップ２３）。
【００６３】
また、上記ステップ２２において、該当する時刻情報を有するサブ映像データが存在しないと判断された場合（Ｎｏ）には、データ選択部１９は、上記サブ映像補間部１６において、該当時刻の前後の時刻情報を有するサブ映像データ（フレーム）から生成された上記サブ映像補間データをサブ映像データとして選択する（ステップ２４）。
【００６４】
続いて、データ選択部１９は、選択されたサブ映像データにエラーが存在するか否か、すなわち上記エラー訂正部１２により訂正しきれなかったエラーが存在するか否かを判断する（ステップ２５）。
【００６５】
選択されたサブ映像データにエラーが存在すると判断された場合（Ｙｅｓ）、データ選択部１９は、上記メイン映像補間部１５において、該当時刻の前後の時刻情報を有するメイン映像データ（フレーム）から生成された上記メイン映像補間データを選択する（ステップ２６）。
【００６６】
そして、出力制御部２０は、上記データ選択部１９により選択されたデータを抽出して、カムコーダ１００のディスプレイまたはカムコーダ１００に外部接続されたディスプレイ装置に出力し、表示させる（ステップ２８）。
【００６７】
図３は、本実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。なお、同図において、サブ映像データは、メイン映像データとフレームレートが対応していない場合には、対応するように上記サブ映像補間部１６によりフレームを補間されているものとする。
同図に示すように、上記メイン映像バッファ１７に格納されたメイン映像データのうち、時刻ｔ２〜ｔ３までの各時刻情報を有するフレームＭ１〜Ｍ７にエラーが発生している。また、上記サブ映像バッファ１８に格納されたサブ映像データにも、時刻ｔ５〜ｔ６までの各時刻情報を有する各フレームにエラーが発生している。
【００６８】
このような場合、カムコーダ１００は、上述したデータ選択部１９の処理により、メイン映像データ中のエラーが発生している上記フレームＭ１〜Ｍ７を、サブ映像データ中の、対応する時刻情報を有するエラーが発生していないフレームＳ１〜Ｓ７に置換して表示させる。
【００６９】
すなわち、カムコーダ１００は、メイン映像データにエラーが存在しない時刻ｔ１までは、そのままメイン映像データを選択して表示させ、メイン映像データにエラーが存在する時刻ｔ２〜ｔ３までは、メイン映像データをサブ映像データに切り替えて表示させ、メイン映像データエラーが存在しない時刻ｔ４以降は、サブ映像データを再びメイン映像データへ切り替えて表示させる。
【００７０】
このように、カムコーダ１００は、メイン映像データにエラーが発生しているか否かに応じてメイン映像データとサブ映像データとを切り替えて表示できるため、上記エラー訂正部１２によりメイン映像データのエラーを訂正しきれなかった場合でも、メイン映像データの表示が途切れてブラックアウトしたり、乱れたりするのを防ぎ、メイン映像データに極力近い状態で映像データを表示することができる。
【００７１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、本実施形態において、上記第１の実施形態と同様の構成及び機能となる箇所については説明を省略し、第１の実施形態と異なる点を中心に説明する。
【００７２】
上記第１の実施形態においては、メイン映像データにエラーが発生した場合に、エラーが発生したデータのみをサブ映像データに切り替えて表示していた。しかし、本実施形態においては、メイン映像データにエラーが発生したフレームの数フレーム前からサブ映像データに切り替え、またエラーが存在しなくなったフレームの数フレーム後からサブ映像データをメイン映像データに切り替えて表示することとしている。以下、この場合の動作の詳細について説明する。
【００７３】
図４は、本実施形態において、メイン映像データの再生命令が入力された場合におけるカムコーダ１００の動作の流れを示したフローチャートである。なお、同図においても、上記図２の場合と同様に、磁気テープ９から読み出された映像データが、メイン映像バッファ１７及びサブ映像バッファ１８に格納されているものとして説明する。
【００７４】
同図に示すように、まず、カムコーダ１００のデータ選択部１９は、上記メイン映像バッファ１７に格納されているメイン映像データの、現在の時刻情報（データ選択部１９へ入力されたフレームが有する時刻情報）を有するフレームの２フレーム後のメイン映像データ、または、現在の時刻情報を有するフレームの３フレーム前のメイン映像データにエラーが発生しているか否かをフレーム毎に判断する（ステップ４１）。
【００７５】
エラーが存在しないと判断された場合（Ｎｏ）、データ選択部１９は、上記第１実施形態における図２のステップ２７の処理と同様、そのままメイン映像データを選択する（ステップ４７）。
【００７６】
エラーが存在すると判断された場合（Ｙｅｓ）、データ選択部１９は、現在の時刻情報に対応する時刻情報を有するサブ映像データが、上記サブ映像バッファ１８に存在するか否かを判断する（ステップ４２）。該当する時刻情報を有するサブ映像データが存在する場合（Ｙｅｓ）には、データ選択部１９はそのサブ映像データを選択する（ステップ４３）。
【００７７】
また、上記ステップ４２において、該当する時刻情報を有するサブ映像データが存在しないと判断された場合（Ｎｏ）には、データ選択部１９は、上記図２のステップ２４の処理と同様、上記サブ映像補間部１６において、該当時刻の前後の時刻情報を有するサブ映像データから生成された上記サブ映像補間データをサブ映像データとして選択する（ステップ４４）。
【００７８】
その後は、上記第１の実施形態における図２のステップ２５以降の処理と同様に、データ選択部１９が、選択されたサブ映像データにエラーが存在するか否かを判断し（ステップ２５）、エラーが存在する場合にはメイン映像補間データを選択し（ステップ２６）、出力制御部２０が、データ選択部１９により選択された各データを出力する（ステップ２８）。カムコーダ１００は、以上の処理を、データ選択部１９に入力されるフレーム毎に順次行うことで、エラーが発生しているメイン映像データのみならず、その前の２フレーム分及び後の３フレーム分のデータもサブ映像データに置換することができる。
【００７９】
図５は、本実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
同図に示すように、上記メイン映像バッファ１７に格納されたメイン映像データのうち、時刻ｔ３〜ｔ４までの各時刻情報を有するフレームＭ３〜Ｍ９にエラーが発生している。また、上記サブ映像バッファ１８に格納されたサブ映像データにも、時刻ｔ７〜ｔ８までの各時刻情報を有する各フレームにエラーが発生している。
【００８０】
このような場合、カムコーダ１００は、上述したデータ選択部１９の処理により、メイン映像データ中のエラーが発生した上記フレームＭ３〜Ｍ７のみならず、エラーが発生した最初のフレームであるフレームＭ３の前の連続する２つのフレームＭ１、Ｍ２と、エラーが発生した最後のフレームであるフレームＭ７の後の連続する３つのフレームＭ１０〜Ｍ１２も含めて、フレームＭ１〜Ｍ１２全体をサブ映像データのフレームＳ１〜Ｓ１２に置換して表示させる。
【００８１】
すなわち、カムコーダ１００は、メイン映像データにエラーが発生する時刻ｔ３の３フレーム前の時刻ｔ１まではメイン映像データを選択して表示させ、時刻ｔ３の２フレーム前の時刻ｔ２から、エラーが発生した最後の時刻ｔ４の３フレーム後の時刻ｔ５までは、メイン映像データをサブ映像データに切り替えて表示させ、時刻ｔ４の４フレーム後の時刻ｔ６以降は、再びサブ映像データを再びメイン映像データへ切り替えて表示させる。
【００８２】
このように、カムコーダ１００は、メイン映像データ中のエラーが発生したデータのみならず、その前後のデータも加えてサブ映像データに置換することで、メイン映像データにランダムにエラーが発生した場合に、メイン映像データとサブ映像データとが頻繁に切り替わることで、表示される映像に対してユーザが違和感を覚えるのを防ぐことができる。すなわち、カムコーダ１００は、メイン映像データからサブ映像データに表示を切り替える場合には、サブ映像データにある程度の長さを持たせることで、メイン映像データとサブ映像データの変わり目を目立たなくし、より自然な映像を表示させることができる。
【００８３】
なお、エラーが発生したメイン映像データに対応するサブ映像データの前後に付け加えて切り替えるフレームの数は、上記２フレーム及び３フレームに限られるものではなく、適宜変更可能である。
【００８４】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。なお、本実施形態においても、上記第１及び第２の実施形態と同様の構成及び機能となる箇所については説明を省略し、上記各実施形態と異なる点を中心に説明する。
【００８５】
本実施形態においては、カムコーダ１００は、ＭＰＥＧ符号化形式の特徴をより考慮してメイン映像データとサブ映像データとを切り替えることとしている。
【００８６】
まず、ここで、ＭＰＥＧによる符号化方式について説明する。
図６は、ＭＰＥＧ映像データにおけるＧＯＰ及びピクチャタイプについて示した図である。同図における矢印は、各フレームの参照元のフレームを示している。また図７は、ＭＰＥＧ映像データのエンコード処理、デコード処理及び再生処理における映像データの処理順序を示した図である。
【００８７】
図６に示すように、ＭＰＥＧ符号化方式では、所定枚数のフレームにより１つのＧＯＰが形成される。同図においては、９枚のフレームで１つのＧＯＰが形成されているが、１つのＧＯＰ内のフレーム数はこれに限られず、１５枚、１８枚等、他の枚数であっても構わない。
【００８８】
また、ＧＯＰは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの最大３種類のピクチャタイプのフレームにより構成される。１つのＧＯＰには、フレーム内符号化画像であるＩピクチャが少なくとも１枚含まれている。このＩピクチャは、ＤＣＴにより１フレームの画素データのみによって符号化されたものであり、時間方向の予測は行われない。このＩピクチャから所定のａフレーム毎（同図ではａ＝３）の画像データは、第１及び第２の前方予測符号化画像としてのＰピクチャ（Ｐ１及びＰ２）に変換される。この場合、第２の前方予測符号化画像Ｐ２は、第１の前方予測符号化画像Ｐ１から変換される。更に、Ｉピクチャまたは各Ｐピクチャの間の各フレームの画像データは、その前方及び後方の画像データを用いた両方向予測符号化画像であるＢピクチャに変換される。
【００８９】
図６及び図７に示すように、エンコード処理においては、原画像から、まずＩピクチャが符号化され、続いて、Ｐピクチャが符号化され、更に、ＩピクチャまたはＰピクチャの後にＢピクチャが符号化される。各フレームの画像はこの符号化順序で記録媒体上に記録され、上述したＤＴＳ及びＰＴＳにより、デコード時に並び替えられて原画像の順序に戻される。
【００９０】
上述のように、Ｉピクチャはフレーム内の情報のみによって符号化されているため、単独の符号化データのみによって復号可能である。一方、Ｐピクチャ及びＢピクチャは、他の画像データとの相関を基に符号化されているため、単独の符号化データのみでは復号することができない。
【００９１】
このように、ＭＰＥＧ符号化形式では、ＰピクチャまたはＢピクチャは、他のＩピクチャまたはＰピクチャを参照することで生成されているため、ＩピクチャまたはＰピクチャにエラーが発生すると、そのＩピクチャまたはＰピクチャを参照して生成されたＰピクチャまたはＢピクチャも復号できなくなる。
【００９２】
また、上述したように、ＭＰＥＧ符号化方式では、各フレームにＤＴＳとＰＴＳの２種類の時刻情報が付加されており、デコード時と表示時とで処理されるフレームの順序が異なっている。そうすると、上記第１の実施形態において、カムコーダ１００がＤＴＳを基にメイン映像データとサブ映像データとを選択した場合には、表示時に並び替えが生じる。したがって、メイン映像データ中の連続したフレームにエラーが発生した場合に、カムコーダ１００が、当該連続したフレームをサブ映像データの連続したフレームに置換した場合でも、実際にその置換したフレームが表示される場合には、上記並び替えにより、メイン映像データとサブ映像データとの間でランダムな切り替えが生じ、映像として非常に見づらいものとなる場合が考えられる。
【００９３】
そこで、本実施形態においては、メイン映像データ中の１つのＧＯＰ内で少なくとも１つのフレームにエラーが発生した場合には、そのＧＯＰ内の全てのフレームをまとめてサブ映像データに置換することで、上記各フレーム間の相関やフレームの並び替えの影響を防ぐこととしている。
【００９４】
図８は、本実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
同図においては、説明を簡単にするために、メイン映像データは１つのＧＯＰが３枚のフレームからなるＭＰＥＧデータであり、サブ映像データは、１つのＧＯＰ内の最初のフレーム（例えばＩピクチャ）から生成されるものとする。すなわち、メイン映像データ中の１つのＧＯＰ内の最初のフレームが、それに対応するサブ映像データと同一の時刻情報を有しているものとする。例えば、サブ映像データ中のフレームＳ１は、メイン映像データのＧＯＰ１に属するフレームＭ１から生成され、両者は同一の時刻情報（ｔ１）を有している。また、各ＧＯＰには、それぞれＥＣＣ単位が対応しており、上記エラー訂正部１２は、このＥＣＣ単位に基づいてエラー検出及び訂正を行う。
【００９５】
本実施形態においては、上記データ選択部１９は、メイン映像データ及びサブ映像データの各フレーム単位ではなく、ＧＯＰ単位でエラーの有無を判断する。この判断の結果、同図においては、各ＥＣＣ単位のうち、ＥＣＣ１に対応するＧＯＰ１及びＧＯＰ２においてエラーが訂正しきれずに残っている。具体的には、例えば、ＧＯＰ１内のフレームＭ１及びＭ２と、ＧＯＰ２内のフレームＭ４にエラーが発生している。この場合、上記図６で示したＧＯＰ構造により、上記フレームＭ１、Ｍ２及びＭ４のみならず、ＧＯＰ１及びＧＯＰ２に属する他のフレームについても正しく再生できない可能性がある。
【００９６】
そこで、上記データ選択部１９は、メイン映像データのＧＯＰ１内の先頭のフレームの表示時刻ｔ１においては、この時刻ｔ１に相当する表示時刻情報を有するサブ映像データ中のフレームＳ１を選択し、上記出力制御部２０は、上記表示時刻情報を基に表示を切り替える。また、メイン映像データが１つのＧＯＰに３枚存在するのに対して、サブ映像データは１枚しか存在しないため、上記サブ映像補間部１６が、ＧＯＰ１内のフレームＭ２及びＭ３に対応するフレームとして、上記フレームＳ１を２枚コピーし、データ選択部１９が選択したそれら３枚のフレームを、出力制御部２０がそれらの表示時刻を制御しながら、時刻ｔ１〜ｔ２までの間、繰り返して表示させる。
【００９７】
データ選択部１９は、ＧＯＰ２についても同様に、表示時刻ｔ２からｔ３までの間、ＧＯＰ２内のフレームＭ４〜Ｍ６に替えて、サブ映像データのフレームＳ２及びそのコピーを選択し、出力制御部２０がそれらのフレームを表示させる。
【００９８】
その後、メイン映像データのＧＯＰ３から（時刻ｔ３以降）は、メイン映像データにエラーが存在していないため、データ選択部１９は、サブ映像データからメイン映像データに再び選択を切り替えて、出力制御部２０がそのメイン映像データを表示させる。
【００９９】
以上の処理により、カムコーダ１００は、メイン映像データにエラーが存在するか否かをＧＯＰ単位で判断し、エラーが発生した場合には、ＧＯＰ単位で複数のフレームをまとめてサブ映像データに切り替えることで、ＭＰＥＧ符号化方式における各フレーム間の相関により、エラーが発生したフレームから派生して発生するエラーの影響や、ＰＴＳとＤＴＳの相違により生じる並び替えの影響を防ぐことができる。また、カムコーダ１００は、エラーの判断を複数のフレームについてまとめて行い、まとめて切り替えることで、処理が簡素化され、処理負荷を軽減することができる。
【０１００】
なお、サブ映像データにエラーが発生した場合には、サブ映像補間部１６が、そのエラーが発生したフレームの前後の表示時刻情報を有する各フレームから該当時刻のフレームを補間するようにすればよい。
【０１０１】
また、上記サブ映像補間部１６は、上記ＧＯＰ１のフレームＭ２及びＭ３に対応するフレームを、サブ映像データのフレームＳ１をコピーすることで生成するのではなく、フレームＳ１及びＳ２を基に予測されるフレームを補間するようにしても構わない。これにより、サブ映像データをより滑らかに表示することができる。
【０１０２】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。なお、本実施形態においても、上記第１乃至第３の実施形態と同様の構成及び機能となる箇所については説明を省略し、上記各実施形態と異なる点を中心に説明する。
【０１０３】
上記第３の実施形態においては、カムコーダ１００は、メイン映像データのエラーをＧＯＰ単位で判断し、ＧＯＰ単位で複数のフレームをまとめてサブ映像データに切り替えるようにしていた。しかし、本実施形態においては、各ＧＯＰ内のフレーム毎にエラーを判断し、エラーが発生したフレームのピクチャタイプに応じて、サブ映像データへの切り替え手法を変更することとしている。
【０１０４】
図９は、本実施形態において、メイン映像データの再生命令が入力された場合におけるカムコーダ１００の動作の流れを示したフローチャートである。なお、同図においても、上記図２及び図４の場合と同様に、磁気テープ９から読み出された映像データが、メイン映像バッファ１７及びサブ映像バッファ１８に格納されているものとして説明する。
【０１０５】
同図に示すように、まず、カムコーダ１００のデータ選択部１９は、上記メイン映像バッファ１７に格納されているメイン映像データを順次入力し、当該メイン映像データにエラーが発生しているか否かをフレーム毎に判断する（ステップ１０１）。
【０１０６】
エラーが存在しないと判断された場合（Ｎｏ）、データ選択部１９は、そのままメイン映像データを選択する（ステップ１０２）。
【０１０７】
エラーが存在すると判断された場合（Ｙｅｓ）には、データ選択部１９は、エラーが発生したフレームがＩピクチャか否かを判断する（ステップ１０３）。そして、データ選択部１９は、エラーが発生したフレームがＩピクチャであると判断された場合（Ｙｅｓ）には、そのＩピクチャと、そのＩピクチャを参照して生成されたＰピクチャと、そのＩピクチャ及びＰピクチャを参照して生成されたＢピクチャにそれぞれ対応する時刻情報を有するサブ映像データの各フレームを選択する（ステップ１０４）。
【０１０８】
上記ステップ１０３において、エラーが発生したフレームがＩピクチャでないと判断された場合（Ｎｏ）には、データ選択部１９は、エラーが発生したフレームがＰピクチャであるか否かを判断する（ステップ１０５）。そして、データ選択部１９は、エラーが発生したフレームがＰピクチャであると判断された場合（Ｙｅｓ）には、そのＰピクチャと、そのＰピクチャを参照して生成されたＢピクチャにそれぞれ対応する時刻情報を有するサブ映像データの各フレームを選択する（ステップ１０６）。
【０１０９】
上記ステップ１０５において、エラーが発生したフレームがＰピクチャでないと判断された場合（Ｎｏ）、すなわち、エラーが発生したフレームがＢピクチャであると判断された場合には、データ選択部１９は、そのＢピクチャに対応する時刻情報を有するサブ映像データのフレームを選択する（ステップ１０７）。
【０１１０】
続いて、データ選択部１９は、上記各ステップで選択されたデータにエラーが存在するか否かを判断し（ステップ１０８）、エラーが存在する場合（Ｙｅｓ）には、上記メイン映像補間部１５において、エラー発生時刻の前後の時刻情報を有するメイン映像データの各フレームから生成された上記メイン映像補間データを選択する（ステップ１０９）。
【０１１１】
そして、出力制御部２０は、データ選択部１９で選択されたフレームを、ＰＴＳに基づいてその出力時刻を制御しながら表示させる（ステップ１１０）。
【０１１２】
図１０は、本実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。同図における矢印は、各フレームの参照元のフレームを示す。また、説明を簡単にするため、各ＧＯＰ内のフレームは、Ｉピクチャ１枚、Ｐピクチャ１枚、Ｂピクチャ２枚の計４枚としているが、もちろん４枚以上存在していても構わない。また、同図においては、サブ映像データの各フレームは、メイン映像データの各フレームと１対１で対応しているが、そうでない場合には、上記サブ映像補間部１６により、メイン映像データのフレームレートに合わせてサブ映像データにフレームを補間すればよい。
【０１１３】
同図に示すように、メイン映像データのＧＯＰ２では、ＰピクチャであるフレームＰ５にエラーが発生している。この場合、カムコーダ１００は、データ選択部１９及び出力制御部２０により、フレームＰ５をサブ映像データの対応する時刻情報を有するフレームＳ２に切り替えて表示させる。また、フレームＰ２は、Ｂピクチャである前後のフレームＢ４及びＢ６に参照されているため、カムコーダ１００は、上記図９のステップ１０６で示したように、各フレームＢ４及びＢ６もそれぞれサブ映像データのフレームＳ１及びＳ３と切り替えて表示させる。
【０１１４】
ＧＯＰ３では、ＢピクチャであるフレームＢ１０にエラーが発生している。この場合、カムコーダ１００は、上記図９のステップ１０７で示したように、このフレームＢ１０をサブ映像データのフレームＳ４に切り替えて表示させる。フレームＢ１０は、ＧＯＰ３内においてどのフレームからも参照されていないため、その他のフレームをサブ映像データに切り替える必要はない。
【０１１５】
ＧＯＰ４では、ＩピクチャであるフレームＩ１１にエラーが発生している。この場合、カムコーダ１００は、フレームＩ１１をサブ映像データのフレームＳ５に切り替えて表示させる。また、フレームＩ１１は、ＰピクチャであるフレームＰ１３と、ＢピクチャであるフレームＢ１２に参照され、またフレームＰ１３はＢピクチャであるフレームＢ１４に参照されているため、カムコーダ１００は、上記図９のステップ１０４で示したように、各フレームＢ１２、Ｐ１３及びＢ１４もそれぞれサブ映像データのフレームＳ６、Ｓ７及びＳ８に切り替えて表示させる。
【０１１６】
以上の処理により、カムコーダ１００は、メイン映像データの各ＧＯＰを形成する各フレームのピクチャタイプに応じて、エラーとなったフレームのみならず、そのフレームを参照して生成されているフレームについてもサブ映像データへ切り替えることで、１つのフレームに発生したデータから派生するエラーの影響を確実に防ぐことができる。また、上記第３の実施形態のようにＧＯＰ単位でまとめて切り替える場合に比べて、例えばＢピクチャのみにエラーが発生した場合等に、切り替えるフレーム数が大幅に少なくなるため、処理速度を向上させることができる。
【０１１７】
なお、同図においては、カムコーダ１００は、各フレーム間の相関をＧＯＰ毎に判断していたが、複数のＧＯＰに跨って判断しても構わない。すなわち、例えば同図のＧＯＰ２のＩピクチャであるフレームＩ３にエラーが発生した場合には、フレームＩ３、Ｂ４、Ｐ５及びＢ６をサブ映像データに切り替えるのみならず、フレームＩ３を参照して生成されるＧＯＰ１のフレームＢ２もサブ映像データに切り替えるようにしても構わない。これより、表示映像の途切れや乱れを更に確実に防ぐことができる。
【０１１８】
（第５の実施形態）
次に、本発明の第５の実施形態について説明する。なお、本実施形態においても、上記第１乃至第４の実施形態と同様の構成及び機能となる箇所については説明を省略し、上記各実施形態と異なる点を中心に説明する。
【０１１９】
上記各実施形態においては、サブ映像データが１つのみ存在する場合を例に説明したが、本実施形態においては、サブ映像データが複数存在する場合の映像データの切り替え手法について説明する。
【０１２０】
本実施形態においては、サブ映像データは、メイン映像データを基に例えば２つ生成される。各サブ映像データには、メイン映像データとの類似度に応じて優先度が設けられ、それぞれ上記サブ映像バッファ１８に格納される。ここでは、この２つのサブ映像データを、類似度の高い順に、第１のサブ映像データ、第２のサブ映像データと称する。また、第１のサブ映像データ及び第２のサブ映像データには、上記各実施形態と同様に第１のサブ映像補間データ及び第２のサブ映像補間データが生成されサブ映像バッファ１８に格納される。
【０１２１】
第１のサブ映像データとしては、例えば、８倍速サーチ再生用の映像データが生成され、第２のサブ映像データとしては、例えば２４倍速サーチ再生用の映像データが生成される。８倍速サーチ再生用の映像データは、上述したように、例えばメイン映像データのＩピクチャのＤＣ成分を抽出することで生成され、２４倍速サーチ再生用の映像データは、例えば８倍速サーチ再生用の映像データの解像度を１／４に変換することで生成される。２４倍速サーチ再生用の映像データは、解像度が低い分、８倍速サーチ再生用データに比べてメイン映像データとの類似度が低いため、上記優先度も低くなる。
【０１２２】
図１１は、本実施形態におけるメイン映像データの再生命令が入力された場合におけるカムコーダ１００の動作の流れを示したフローチャートである。
同図に示すように、まず、カムコーダ１００のデータ選択部１９は、上記メイン映像バッファ１７に格納されているメイン映像データにエラーが発生しているか否かを判断する（ステップ１１１）。
【０１２３】
エラーが存在しないと判断された場合（Ｎｏ）、データ選択部１９は、そのままメイン映像データを選択する（ステップ１１２）。
【０１２４】
エラーが存在すると判断された場合（Ｙｅｓ）には、データ選択部１９は、サブ映像バッファ１８から、第１のサブ映像データを入力する（ステップ１１３）。続いて、データ選択部１９は、上記エラーデータに対応する時刻情報を有する第１のサブ映像データが存在するか否かを判断し（ステップ１１３）、存在しないと判断された場合（Ｎｏ）には、上記各実施形態における場合と同様に、第１のサブ映像補間データを選択する（ステップ１１５）。
【０１２５】
続いて、データ選択部１９は、選択された第１のサブ映像データにエラーが存在するか否かを判断し（ステップ１１６）、エラーが存在すると判断された場合（Ｙｅｓ）には、第２のサブ映像データを入力する（ステップ１１７）。
【０１２６】
そして、データ選択部１９は、上記第１のサブ映像データについての上記ステップ１１３〜１１６に対応する処理を第２のサブ映像データについて行い（ステップ１１８〜１２１）、第２のサブ映像データにエラーが存在すると判断された場合（ステップ１２１のＹｅｓ）には、メイン映像補間データを選択する（ステップ１２２）。
【０１２７】
そして、出力制御部２０は、上記データ選択部１９により選択された各映像データを出力する（ステップ１２４）。
【０１２８】
図１２は、本実施形態におけるメイン映像データ、第１のサブ映像データ及び第２のサブ映像データの表示方法について示した図である。
同図に示すように、メイン映像データのフレームＭ１〜Ｍ７にエラーが発生しており、このフレームＭ１〜Ｍ７に対応する時刻情報を有する第１のサブ映像データのフレームＳ１〜Ｓ７にはエラーが発生していないため、カムコーダ１００は、当該フレームＭ１〜Ｍ７をフレームＳ１〜Ｓ７に置換して表示させる。
【０１２９】
また、メイン映像データのフレームＭ８〜Ｍ１２にもエラーが発生しており、このフレームＭ８〜Ｍ１２に対応する時刻情報を有する第１のサブ映像データのフレームＳ８〜Ｓ１２にもエラーが発生している。一方、上記フレームＭ８〜Ｍ１２に対応する時刻情報を有する第２のサブ映像データのフレームＳａ〜Ｓｅにはエラーが発生していない。よって、カムコーダ１００は、フレームＭ８〜Ｍ１２をフレームＳａ〜Ｓｅに置換して表示させる。
【０１３０】
以上の処理により、カムコーダ１００は、サブ映像データが複数存在する場合には、メイン映像データに対する各サブ映像データの類似度に応じて各サブ映像データに優先度を設けて、当該優先度に応じて、エラーが発生したメイン映像データを、エラーが発生していないサブ映像データに切り替えることで、常に最適なサブ映像データをメイン映像データから切り替えて表示することができる。
【０１３１】
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【０１３２】
上述の各実施形態において、サブ映像データの解像度がメイン映像データの解像度と異なる場合、上記サブ映像補間部１６は、サブ映像データを、メイン映像データの解像度に合わせて変換するようにしても構わない。これにより、サブ映像データを、メイン映像データにより近い状態で出力することができる。
【０１３３】
上述の第２の実施形態においては、カムコーダ１００は、サブ映像データをメイン映像データよりも先に入力するのが好ましい。例えば、上記図１において、メイン映像データがＭＰＥＧデコーダ１４によりデコードする必要があるのに対して、サブ映像データはデコードする必要がないように生成するのが好ましい。また、メイン映像バッファ１７の容量を、サブ映像バッファ１８の容量に比べて大きくするのが好ましい。このようにすることで、メイン映像データは、デコード処理の時間分と、メイン映像バッファ１７への格納処理及びメイン映像バッファ１７からデータ選択部１９への入力処理の時間分だけ、サブ映像データよりもデータ選択部１９に後に入力されることとなる。すなわち、メイン映像データよりもサブ映像データの方がデータ選択部１９に先に入力されることになる。
【０１３４】
これにより、メイン映像データに発生したエラーデータに対応する時刻の前後の時刻情報を有するサブ映像データも含めて表示を切り替える際に、サブ映像データがデータ選択部１９にまだ入力されておらず、出力制御部２０から出力できないという事態を防ぐことができる。すなわち、切り替えるべきサブ映像データを即座に抽出して、出力までの処理速度を向上させることができる。
【０１３５】
上述の実施形態においては、電子機器としてカムコーダを例に挙げて説明した。しかし、電子機器としては、他にも、例えばＨＤＤ／ＤＶＤ／ＢＤレコーダや、ＤＶＤ／ＢＤプレーヤ、テレビジョン装置、オーディオプレーヤ、ＰＣ、ゲーム機器、携帯電話機やＰＤＡ等のモバイル端末、カーナビゲーション装置等、あらゆる機器を適用することができる。上記メイン映像データ及びサブ映像データの記録媒体としても、ＨＤＤ、ＤＶＤ、ＢＤ、フラッシュメモリ等、あらゆる媒体を適用することができる。映像データの符号化形式としても、ＭＰＥＧ以外に、例えばH.263、Motion JPEG、On2VP3、Theora、RealVideo（登録商標）等の他の符号化形式を用いても構わない。
【０１３６】
また、上述の実施形態においては、カムコーダ１００は、サブ映像データとして、サーチ再生用の映像データを用いていた。しかし、カムコーダ１００は、例えばスロー再生用の映像データ等、他の変速再生用の映像データや、メイン映像データと同じ表示時刻を有する映像を別の角度から撮影した、マルチアングル用の映像データを用いることもできる。更に、カムコーダ１００は、メイン映像データをコピーしたデータをサブ映像データとして用いても構わない。また、上記第５の実施形態において、これらの複数の映像データに優先度を設けて切り替えるようにしてもよい。
【０１３７】
また、電子機器として、ＨＤＤ／ＤＶＤ／ＢＤレコーダやテレビジョン装置等、放送を受信し記録する機能を有する機器を適用した場合には、メイン映像データとして、通常の１２セグメントの放送データを用い、サブ映像データとして、モバイル端末用の１セグメントの放送データを用いることもできる。また、１セグメントの放送データをメイン映像データとして受信するようなモバイル端末においては、１２セグメントの放送データをサブ映像データとして用いることもできる。
【０１３８】
また、上記放送を受信して記録する機能を有する機器においては、例えば、メイン映像データとして、受信した放送データを用い、サブ映像データとして、受信した放送データの解像度をダウンコンバートして再エンコードすることにより生成した簡易映像データを、サブ映像データとして用いても構わない。
【０１３９】
上記各実施形態で説明した構成は、相互に組み合わせることも勿論可能である。例えば、カムコーダ１００は、上記第２乃至第４の実施形態で説明した構成は、上記第５の実施形態のようにサブ映像データが複数存在する場合にも実施することができる。
【０１４０】
上述の実施形態においては、コンテンツとして映像データを用いた場合を説明したが、コンテンツとして音声データを用いても構わない。例えば、オーディオプレーヤにおいて、フラッシュメモリやＨＤＤ等に楽曲等のメイン音声データをＭＰＥＧ形式でエンコードして記録する際に、サンプリング周波数、量子化ビット数等のパラメータを変更してサブ音声データを生成し、メイン音声データにエラーが発生した場合には、時刻情報を基にサブ音声データに切り替えるようにすればよい。また、音声データの符号化形式としては、ＭＰＥＧ以外にも例えばＡＴＲＡＣ（登録商標）、ＡＣ−３（ドルビーデジタル）、ｄｔｓ（登録商標、Digital Theater Systems）等の他の形式を用いてもよく、また記録媒体として、ＣＤ（Compact Disc）やＭＤ（Mini Disc）等を用いても構わない。
【図面の簡単な説明】
【０１４１】
【図１】本発明の第１の実施形態に係るカムコーダの構成を示したブロック図である。
【図２】本発明の第１の実施形態に係るカムコーダの、映像データ再生時における動作の流れを示したフローチャートである。
【図３】本発明の第１の実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
【図４】本発明の第２の実施形態に係るカムコーダの、映像データ再生時における動作の流れを示したフローチャートである。
【図５】本発明の第２の実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
【図６】ＭＰＥＧ映像データにおけるＧＯＰ及びピクチャタイプについて示した図である。
【図７】ＭＰＥＧ映像データのエンコード処理、デコード処理及び再生処理における映像データの処理順序を示した図である。
【図８】本発明の第３の実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
【図９】本発明の第４の実施形態に係るカムコーダの、映像データ再生時における動作の流れを示したフローチャートである。
【図１０】本発明の第４の実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
【図１１】本発明の第５の実施形態におけるカムコーダの、映像データ再生時における動作の流れを示したフローチャートである。
【図１２】本発明の第５の実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
【符号の説明】
【０１４２】
４…ＭＰＥＧエンコーダ
５…サブ映像生成部
６…データ多重部
７…ＥＣＣ付加部
８…テープドライブ
９…磁気テープ
１０…ＣＰＵ
１２…エラー訂正部
１３…データ分離部
１４…ＭＰＥＧデコーダ
１５…メイン映像補間部
１６…サブ映像補間部
１７…メイン映像バッファ
１８…サブ映像バッファ
１９…データ選択部
２０…出力制御部
１００…カムコーダ
【技術分野】
【０００１】
本発明は、映像データや音声データ等のコンテンツを出力することが可能な電子機器、当該電子機器における出力方法及びそのプログラムに関する。
【背景技術】
【０００２】
記録媒体上に記録されたコンテンツや、伝送路を介して電子機器へ送信されるコンテンツを再生する際には、記録媒体の読み出しの際にエラーが発生したり、伝送路上でエラーが混入したりする場合がある。そこで、従来から、コンテンツにエラー訂正用のパリティデータを付加し、エラーが発生した場合には当該パリティデータを用いてエラーを訂正することが行われている。
【０００３】
しかし、このようなエラー訂正処理を行っても、全てのエラーを除去することができない場合もある。この除去できないエラーは、コンテンツを再生する電子機器において、映像の途切れや、映像の乱れを引き起こす。
【０００４】
このようなエラーの発生への対処方法として、下記特許文献１には、駒落しされた（エラーが発生した）複数のフレームのうち、最初のフレームの１つ前のフレームと、最後のフレームの１つ後のフレームとから、フレームを補間する技術が記載されている。
【特許文献１】特開平６−２３７４４４号公報（図２等）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術を用いてエラーが発生したフレームを補間する場合、エラーが長時間分のフレームについて発生した場合には、補間された類似の画像を長時間表示することになり、表示画像が不自然になってしまい、ユーザに違和感や不快感を与えてしまうことになる。
【０００６】
以上のような事情に鑑み、本発明の目的は、コンテンツにエラーが発生しても、データの途切れや乱れを発生させることなく、エラーが発生していない状態に極力近い自然なデータを出力させることが可能な電子機器、当該電子機器における出力方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、本発明の主たる観点に係る電子機器は、出力すべき時刻を示す時刻情報を有する第１のコンテンツと、前記時刻情報を有し前記第１のコンテンツに関連する第２のコンテンツとを入力する入力手段と、前記入力された第１のコンテンツにエラーが発生しているか否かを判断する判断手段と、前記第１のコンテンツに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記エラーが発生している第１のデータが有する第１の時刻情報に対応する第２の時刻情報を有する第２のデータを抽出する抽出手段と、前記第１のデータを前記抽出された第２のデータに置換して前記第１のコンテンツを出力する出力手段とを具備する。
【０００８】
ここで電子機器とは、例えばカムコーダ、ＨＤＤ（Hard Disk Drive）／ＤＶＤ（Digital Versatile Disk）／ＢＤ（Blu-ray Disc）レコーダ、ＤＶＤ／ＢＤプレーヤ、テレビジョン装置、オーディオプレーヤ、ＰＣ（Personal Computer）、ゲーム機器、携帯電話機、ＰＤＡ（Personal Digital Assistants）、カーナビゲーション装置等である。また第１のコンテンツとは、例えばユーザが自ら撮影または作成したり、インターネット上からダウンロードしたり、放送番組として受信したりした映像コンテンツまたは音声コンテンツである。また第２のコンテンツとは、例えば、第１のコンテンツとしての映像コンテンツから作成されたサーチ再生用（変速再生用）の映像データや、第１のコンテンツとしての映像コンテンツを別の角度から撮影したマルチアングル用の映像データ等、通常再生とは異なる特殊再生用のデータや、１２セグメントの通常のテレビ放送用データに対する１セグメント放送用データ等、第１のコンテンツの補助的な役割を果たすコンテンツである。また、第２のコンテンツは、第１のコンテンツのデータをコピーしたものであっても構わない。上記時刻情報とは、例えばＭＰＥＧ（Moving Picture Experts Group）形式のコンテンツに付加されるＰＴＳ（Presentation Time Stamp）である。
【０００９】
上記入力手段は、記録媒体に記憶された第１及び第２のコンテンツを読み出す場合や、放送波やネットワークを介して第１及び第２のコンテンツを受信する場合を含む概念である。また上記出力手段は、上記電子機器が内蔵するディスプレイやスピーカから第１のコンテンツを出力する場合のほか、電子機器に外部接続されたディスプレイやスピーカへ第１のコンテンツを出力する場合も含む概念である。
【００１０】
この構成により、第１のコンテンツにエラーが発生しても、第１のコンテンツを出力する際、エラーが発生したデータについては第２のコンテンツに切り替えて出力することができるため、出力されるデータが途切れたり、乱れたりすることを防ぎ、エラーが発生していない状態に極力近い自然な状態で出力することができる。
【００１１】
上記電子機器において、前記判断手段は、前記第２のコンテンツの前記第２のデータに前記エラーが発生しているか否かを判断し、当該電子機器は、前記第２のデータに前記エラーが発生していると判断された場合に、前記第１のコンテンツのうち、前記第１のデータが有する前記第１の時刻情報の前後で連続する各時刻情報を有する各データを基に第３のデータを生成する手段を更に具備し、前記出力手段は、前記第１のデータを前記生成された第３のデータに置換して前記第１のコンテンツを出力するようにしてもよい。
【００１２】
また、上記電子機器において、前記判断手段は、前記第２のコンテンツの前記第２のデータに前記エラーが発生しているか否かを判断し、当該電子機器は、前記第２のデータに前記エラーが発生していると判断された場合に、前記第２のコンテンツのうち、前記第２のデータが有する前記第２の時刻情報の前後で連続する各時刻情報を有する各データを基に第３のデータを生成する手段を更に具備し、前記出力手段は、前記第１のデータを前記生成された第３のデータに置換して前記第１のコンテンツを出力するようにしてもよい。
【００１３】
これにより、第２のコンテンツにエラーが発生している場合でも、第１のコンテンツのエラーデータの前後のデータや、第２のコンテンツのエラーデータの前後のデータから第３のデータを生成して出力することで、第１のコンテンツの途切れや乱れを防ぐことができる。
【００１４】
上記電子機器において、前記抽出手段は、前記第２のコンテンツから、前記第１のデータが有する前記第１の時刻情報の前または後で連続する第３の時刻情報に対応する第４の時刻情報を有する第３のデータを抽出し、前記出力手段は、前記第１のコンテンツのうち、前記第３の時刻情報を有するデータを前記第３のデータに置換して、前記第２のデータと連続させて出力するようにしても構わない。
【００１５】
これにより、第１のコンテンツ中のエラーが発生したデータを第２のデータに置換するのみならず、当該エラーが発生したデータに連続する前または後のデータも第３のデータに置換することで、第１のコンテンツから第２のコンテンツへの変わり目を違和感なく自然な感じで出力することができる。なお、第３のデータは、例えば第１及び第２のコンテンツが映像コンテンツの場合、第１のデータを構成するフレームと連続した前後各２フレームや４フレーム等の所定フレームのデータである。
【００１６】
上記電子機器において、前記第１及び第２のコンテンツは、それぞれ複数のフレームから構成される映像コンテンツであり、前記判断手段は、前記エラーが発生しているか否かを、前記各フレームが所定の複数のフレーム毎に区分されたフレーム区間毎に判断し、前記抽出手段は、前記各フレーム区間のうち第１のフレーム区間を構成する各フレームのうち少なくとも１つのフレームに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記第１のフレーム区間が有する第３の時刻情報に対応する第４の時刻情報を有する第２のフレーム区間の各フレームを抽出し、前記出力手段は、前記第１のフレーム区間の各フレームを前記第２のフレーム区間の各フレームに置換して前記第１のコンテンツを出力するようにしてもよい。
【００１７】
これにより、エラーの発生を、各フレーム区間の複数のフレームについてまとめて判断して、そのフレーム区間内のフレームに１つでもエラーが発生した場合にはクレーム区間毎第２のコンテンツに置換することで、１つのフレーム毎に判断して置換する場合に比べて処理が容易になり、負荷を軽減することができる。また、１つのフレーム区間でエラーがランダムに発生した場合でも、そのフレーム区間をまとめて置換することで、１のコンテンツと第２のコンテンツとが頻繁に切り替わって表示される映像が不自然になるのを防ぐことができる。
【００１８】
更に、上記第１及び第２のコンテンツがＭＰＥＧ形式の映像データである場合には、上記フレーム区間をＧＯＰ（Group of Picture）とすることもできる。ＭＰＥＧ形式では、映像データを表示すべき時刻を示す上記ＰＴＳと、映像データをデコードすべき時刻を示すＤＴＳ（Decoding Time Stamp）とが定められており、１つのＧＯＰ内でデコード順と表示順とが異なっている。したがって、上記第１のフレーム区間でエラーが連続して発生しても、上記置換した第２のフレーム区間の各フレームを表示する場合には、並び替えが生じて各フレームの表示順が不連続になる場合がある。しかし、１つのＧＯＰを第１のコンテンツと第２のコンテンツとの置換単位とすることで、上記各フレームの並び替えの影響を受けるのを防ぎ、第１のコンテンツと第２のコンテンツとを違和感なく切り替えることができる。
【００１９】
この場合、上記電子機器は、前記第１のコンテンツの第１のフレームレートと、前記第２のコンテンツの第２のフレームレートとをそれぞれ検出する検出手段と、前記検出された第１のフレームレートと第２のフレームレートとが異なる場合に、前記抽出された第２のフレーム区間の前記第２のフレームレートが前記第１のフレームレートとなるよう前記第２のデータにフレームを補間する補間手段とを更に具備していてもよい。
【００２０】
これにより、第１のコンテンツのフレームレートに合わせて第２のコンテンツを加工することで、第２のフレーム区間の各フレームを、より第１のコンテンツに近い状態で出力することができる。
【００２１】
上記電子機器において、前記第１のコンテンツは、ピクチャタイプが異なる複数のフレームから構成されるＭＰＥＧデータであり、前記抽出手段は、前記エラーが発生していると判断された第１のフレームの前記ピクチャタイプに応じて、前記第１のフレームと、当該第１のフレームを参照して生成された第２のフレームとにそれぞれ前記時刻情報が対応する第３のフレーム及び第４のフレームとを前記第２のコンテンツから抽出し、前記出力手段は、前記第１のフレームを前記第３のフレームに置換し、前記第２のフレームを前記第４のフレームに置換して前記第１のコンテンツを出力するようにしても構わない。
【００２２】
これにより、エラーが発生しているフレームのピクチャタイプに応じて、エラーが発生しているフレームのみならず、例えばＰピクチャやＢピクチャ等、当該エラーが発生しているフレームを参照しているフレームも第２のコンテンツに置換することで、第１のコンテンツに発生したエラーから間接的に発生する映像データの途切れや乱れも防ぐことができる。
【００２３】
上記電子機器において、前記第１及び第２のコンテンツは映像コンテンツであり、当該電子機器は、前記第１のコンテンツの第１の解像度と、前記第２のコンテンツの第２の解像度とをそれぞれ検出する検出手段と、前記検出された第１の解像度と第２の解像度とが異なる場合に、前記抽出された第２のデータの前記第２の解像度を前記第１の解像度へ変換する変換手段とを更に具備してもよい。
【００２４】
これにより、第１のコンテンツの解像度に合わせて第２のデータを加工することで、当該第２のデータを、より第１のコンテンツに近い状態で出力することができる。
【００２５】
上記電子機器は、複数の異なる前記第２のコンテンツを、前記第１のコンテンツとの類似度に応じた優先度を示す優先度情報とそれぞれ対応付けて記憶する記憶手段を更に具備し、前記入力手段は、前記優先度情報を基に、前記各第２のコンテンツから１つの第２のコンテンツを入力し、前記判断手段は、前記第２のコンテンツの前記第２のデータに前記エラーが発生しているか否かを判断し、前記出力手段は、前記第１のデータを、前記エラーが発生していないと判断された前記第２のコンテンツのうち、前記優先度が最も高い前記第２のコンテンツの前記第２のデータに置換して前記第１のコンテンツを出力するようにしてもよい。
【００２６】
これにより、複数の第２のコンテンツから、第１のコンテンツとの類似度が最も高く、かつ、置換対象となる第２のデータにエラーが発生していない１つの第２のコンテンツを選択することで、エラーが発生したデータについて、第１のコンテンツから第２のコンテンツへ、より違和感無く切り替えることができる。例えば、複数の第２のコンテンツとして、サーチ再生用の映像データと、第１のコンテンツを別の角度から撮影したマルチアングル用の映像データとが記憶されている場合、第１のコンテンツとの類似度はサーチ再生用の映像データの方が高いため、優先度もサーチ再生用の映像データの方が高くなる。
【００２７】
上記電子機器は、前記第１のコンテンツを基に前記第２のコンテンツを生成する生成手段を更に具備しても構わない。
【００２８】
これにより、元々第２のコンテンツが存在しない場合であっても、第１のコンテンツを基に第２のコンテンツを生成することで、第１のコンテンツにエラーが発生した場合に備えることができる。例えば、第１のコンテンツがＭＰＥＧ形式の映像データである場合には、生成手段は、第１のコンテンツ中のＩピクチャから、ＤＣＴ（Discrete Cosine Transform）係数のうちＤＣ（Direct Current）成分を抽出することで、サーチ再生用の映像データを第２のコンテンツとして生成することができる。また、例えば第１のコンテンツが放送番組の場合、当該放送番組を受信したときに、当該放送番組を例えばH.264規格等、比較的情報量の少ない圧縮符号化形式で再エンコードして第２のコンテンツを生成することもできる。
【００２９】
上記電子機器は、前記第１のコンテンツを第１の領域に記憶し、前記第２のコンテンツを前記第１の領域とは異なる第２の領域に記憶する記憶手段を更に具備してもよい。
【００３０】
これにより、第１のコンテンツと第２のコンテンツとが別個に読み出されることになるため、読み出し時のエラーを極力防ぐことができる。
【００３１】
上記電子機器は、前記第１のコンテンツに前記エラーを訂正するための第１のエラー訂正符号を付加して当該第１のコンテンツを記憶し、前記第２のコンテンツに前記第１のエラー訂正符号とは異なる第２のエラー訂正符号を付加して当該第２のコンテンツを記憶する記憶手段を更に具備し、前記判断手段は、前記第１及び第２のエラー訂正符号によって訂正できないエラーが前記第１のコンテンツ及び前記第２のデータに発生しているか否かをそれぞれ判断するようにしても構わない。
【００３２】
これにより、第１のコンテンツと第２のコンテンツとに別個に独立してエラー訂正符号を付加することで、第１のコンテンツと第２のコンテンツの両方にエラーが発生してしまうことを防ぎ、第１のコンテンツの第１のデータが第２のコンテンツのデータに置換できない事態を極力防ぐことができる。
【００３３】
上記電子機器において、前記入力手段は、前記第２のコンテンツを前記第１のコンテンツよりも先に入力するようにしても構わない。
【００３４】
これにより、第１のコンテンツよりも第２のコンテンツが先に入力されることで、第１のコンテンツ中のエラーが発生したデータの前または後で連続する上記第３のデータにより第１のコンテンツを抽出して置換する際に、当該第３のデータがまだ入力されておらず抽出できないという事態を防ぐことができる。すなわち、当該第３のデータを即座に抽出して、出力までの処理速度を向上させることができる。
【００３５】
本発明の他の観点に係る出力方法は、出力すべき時刻を示す時刻情報を有する第１のコンテンツと、前記時刻情報を有し前記第１のコンテンツに関連する第２のコンテンツとを入力し、前記入力された第１のコンテンツにエラーが発生しているか否かを判断し、前記第１のコンテンツに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記エラーが発生している第１のデータが有する第１の時刻情報に対応する第２の時刻情報を有する第２のデータを抽出し、前記第１のデータを前記抽出された第２のデータに置換して前記第１のコンテンツを出力するものである。
【００３６】
本発明のまた別の観点に係るプログラムは、電子機器に、出力すべき時刻を示す時刻情報を有する第１のコンテンツと、前記時刻情報を有し前記第１のコンテンツに関連する第２のコンテンツとを入力するステップと、前記入力された第１のコンテンツにエラーが発生しているか否かを判断するステップと、前記第１のコンテンツに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記エラーが発生している第１のデータが有する第１の時刻情報に対応する第２の時刻情報を有する第２のデータを抽出するステップと、前記第１のデータを前記抽出された第２のデータに置換して前記第１のコンテンツを出力するステップとを実行させるためのものである。
【発明の効果】
【００３７】
以上のように、本発明によれば、コンテンツにエラーが発生しても、データの途切れや乱れを発生させることなく、エラーが発生していない状態に極力近い自然なデータを出力させることができる。
【発明を実施するための最良の形態】
【００３８】
以下、本発明の実施の形態を図面に基づき説明する。
【００３９】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
図１は、本発明の一実施形態に係るカムコーダの構成を示したブロック図である。
同図に示すように、本実施形態に係るカムコーダ１００は、レンズ１、ＣＣＤ（Charge Coupled Device）２、Ａ／Ｄ（Analog/Digital）コンバータ３、ＭＰＥＧエンコーダ４、サブ映像生成部５、データ多重部６、ＥＣＣ（Error Correcting Code）付加部７、テープドライブ８、ＣＰＵ（Central Processing Unit）１０、操作入力部１１、エラー訂正部１２、データ分離部１３、ＭＰＥＧデコーダ１４、メイン映像補間部１５、サブ映像補間部１６、メイン映像バッファ１７、サブ映像バッファ１８、データ選択部１９及び出力制御部２０を有する。
【００４０】
ＣＰＵ１０は、カムコーダ１００の各ブロックと信号をやり取りして各種演算処理を行い、各ブロックを統括的に制御する。
【００４１】
レンズ１は、被写体に反射した光を集め、被写体の像の光をＣＣＤ２の受光部に結像させる。また、レンズ１は、ＣＰＵ１０により駆動される。ＣＣＤは、ＣＣＤセンサから構成され、レンズ１により結像された光を光電変換することにより、光をアナログの電気信号に変換し、Ａ／Ｄコンバータ３に供給する。なお、ＣＣＤ２に換えて、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の他の撮像素子を用いても構わない。
【００４２】
Ａ／Ｄコンバータ３は、ＣＰＵ１０の制御の下、ＣＣＤ２から供給されるアナログの画像信号を、デジタルの画像データに変換し、ＭＰＥＧエンコーダ４に供給する。ＭＰＥＧエンコーダ４は、Ａ／Ｄコンバータ３から供給された画像データを、例えばＭＰＥＧ−２等のＭＰＥＧ方式でエンコードする。このエンコードされた画像データが、本実施形態におけるメイン映像データとなる。このとき、メイン映像データを構成する各フレームには、デコードすべき時刻を示すデコード時刻情報（ＤＴＳ）と、表示すべき時刻を示す表示時刻情報（ＰＴＳ）とが付加される。
【００４３】
サブ映像生成部５は、ＭＰＥＧエンコーダ４によりエンコードされたメイン映像データを入力し、当該メイン映像データを基にサブ映像データを生成する。ここで、サブ映像データとしては、例えば、早送りや巻き戻し等のサーチ再生用の映像データや、スロー再生用の映像データ等、変速再生用の映像データが生成される。このうち、サーチ再生用の映像データは、例えば、メイン映像データのうち、ＭＰＥＧにおけるＩピクチャから、ＤＣＴ係数のうちＤＣ成分を抽出することで生成される。
【００４４】
データ多重部６は、上記メイン映像データと、サブ映像データとを多重化する。また、図示しないが、メイン映像データの撮影時に入力された音声データも、上記Ａ／Ｄコンバータ３及びＭＰＥＧエンコーダ４を介してデータ多重部６で上記メイン映像データ及びサブ映像データと多重化される。
【００４５】
ＥＣＣ付加部７は、上記多重化されたメイン映像データ及びサブ映像データに、エラー訂正符号（ＥＣＣ）としてのパリティデータを付加する。このとき、パリティデータは、メイン映像データとサブ映像データとに別個に独立して付加されるのが好ましい。これにより、再生時にメイン映像データとサブ映像データとに同時にエラーが発生してしまうのを防ぎ、エラー訂正能力を高めることができる。なお、パリティデータに替わり、ハミング符号やリードソロモン符号等の他のエラー訂正符号が用いられても構わない。
【００４６】
テープドライブ８は、例えば図示しない磁気ヘッド、回転ドラム、ドラムモータ及びキャプシタンモータ等により構成される。テープドライブ８は、上記多重化されパリティデータを付加された映像データを、ＣＰＵ１０の制御の下、回転ドラムに巻き付けられた磁気テープ９に記録する。この磁気テープは、例えばＤＶＣ（Digital Video Cassette）であり、テープドライブ８は、上記映像データを、このＤＶＣに例えばＨＤＶフォーマットで記録する。
【００４７】
また、テープドライブ８は、磁気テープ９に記録された映像データの再生時に、ＣＰＵ１０の制御の下、当該映像データを磁気テープ９から読み出し、エラー訂正部１２へ出力する。
【００４８】
なお、テープドライブ８は、磁気テープ９において、メイン映像データとサブ映像データとを極力離れた別個のトラックに記録するのが好ましい。これにより、映像データの読み出し時に、メイン映像データとサブ映像データとが同時にエラーとなってしまうのを防ぐことができる。
【００４９】
エラー訂正部１２は、上記磁気テープ９から読み出された映像データを入力し、当該映像データにエラーが発生しているか否かを、パリティ計算を行って確認する。そして、エラー訂正部１２は、映像データにエラーが発生している場合には、当該映像データに付加されたパリティデータを用いてエラーを訂正する。エラー訂正部１２は、エラー訂正を行った結果として、エラーの有無、すなわち、エラーを完全に訂正できたか、それとも完全には訂正しきれなかったかを示すフラグを、ＥＣＣ単位の各映像データに付加する。
【００５０】
データ分離部１３は、エラー訂正部１２から入力された映像データを、メイン映像データとサブ映像データとに分離する。分離された映像データのうち、メイン映像データはＭＰＥＧデコーダ１４へ出力され、サブ映像データはサブ映像補間部１６へ出力される。
【００５１】
ＭＰＥＧデコーダ１４は、上記分離されたメイン映像データをＭＰＥＧ方式に従ってデコードし、メイン映像補間部１５へ出力する。
【００５２】
メイン映像補間部１５は、メイン映像データ中に、上記エラー訂正部１２によって訂正しきれなかったエラーが存在するか否かを上記フラグによって判断する。そして、メイン映像補間部１５は、メイン映像データ中に訂正しきれなかったエラーが存在する場合には、そのエラーとなったフレームの前後の時刻情報（ＰＴＳ）を有する各フレームを基に、当該エラーとなったフレームに相当するフレームを補間する補間データ（以下、メイン映像補間データと称する）を生成し、上記メイン映像データと共にメイン映像バッファ１７へ出力する。
【００５３】
サブ映像補間部１６は、上記メイン映像データ中でエラーとなったフレームと同一の時刻情報（ＰＴＳ）を有するフレームがサブ映像データ中に存在するか否かを判断する。そして、サブ映像補間部は、上記エラーとなったフレームと同一の時刻情報を有するフレームがサブ映像データ中に存在しない場合には、エラー該当時刻の前後の時刻情報を有する各フレームを基に、エラー該当時刻のフレームを補間する補間データ（以下、サブ映像補間データと称する）を生成し、上記サブ映像データと共にサブ映像バッファ１８へ出力する。すなわち、サブ映像補間部１６は、サブ映像データのフレームレートがメイン映像データのフレームレートと異なる場合に、サブ映像データのフレームレートがメイン映像データのフレームレートと合致するようにフレームを補間する。
【００５４】
メイン映像バッファ１７は、上記メイン映像補間部１５から入力したメイン映像データ及びメイン映像補間データとを一時的に格納し、必要に応じてデータ選択部１９へ出力する。サブ映像バッファ１８は、上記サブ映像補間部１６から入力したサブ映像データ及びサブ映像補間データを一時的に格納し、必要に応じてデータ選択部１９へ出力する。
【００５５】
データ選択部１９は、メイン映像データの再生時に、上記メイン映像データ及びサブ映像データを上記時刻情報（ＰＴＳ）に従って順次入力し、入力されたメイン映像データ及びサブ映像データにエラーが存在するか否かを上記フラグを基に判断する。そして、データ選択部１９は、そのエラー状況に応じてメイン映像データ、サブ映像データ、メイン映像補間データ及びサブ映像補間データのいずれを出力すべきかを選択し、選択されたデータを出力制御部２０へ出力する。
【００５６】
出力制御部２０は、上記データ選択部１９から入力した各データを、その出力タイミングを上記ＰＴＳにより調整しながら、例えばカムコーダ１００に搭載された液晶ディスプレイ（図示せず）や、カムコーダ１００に接続されたテレビジョン装置またはディスプレイ装置等の外部表示機器へ出力する。
【００５７】
操作入力部１１は、例えばタッチパネルや操作ボタン等で構成され、カムコーダの各種機能を実行するための各種操作命令をユーザから入力して、ＣＰＵ１０へ出力する。
【００５８】
次に、以上のように構成されたカムコーダ１００の動作について説明する。
【００５９】
図２は、本実施形態において、メイン映像データの再生命令が入力された場合におけるカムコーダ１００の動作の流れを示したフローチャートである。なお、同図においては、磁気テープ９から読み出された映像データが、エラー訂正部１２、データ分離部１３、ＭＰＥＧデコーダ１４、メイン映像補間部１５及びサブ映像補間部１６を経て、メイン映像バッファ１７及びサブ映像バッファ１８に格納されているものとして説明する。
【００６０】
同図に示すように、まず、カムコーダ１００のデータ選択部１９は、上記メイン映像バッファ１７に格納されているメイン映像データを順次入力し、当該メイン映像データにエラーが発生しているか否か、すなわち上記エラー訂正部１２により訂正しきれなかったエラーが存在するか否かを、例えばフレーム毎に判断する（ステップ２１）。
【００６１】
エラーが存在しないと判断された場合（Ｎｏ）、データ選択部１９は、そのままメイン映像データを選択する（ステップ２７）。
【００６２】
エラーが存在すると判断された場合（Ｙｅｓ）、データ選択部１９は、上記メイン映像データ中のエラーデータが有する時刻情報に対応する時刻情報を有するサブ映像データが、上記サブ映像バッファ１８に存在するか否かを判断する（ステップ２２）。該当する時刻情報を有するサブ映像データが存在する場合（Ｙｅｓ）には、データ選択部１９は、そのサブ映像データを選択する（ステップ２３）。
【００６３】
また、上記ステップ２２において、該当する時刻情報を有するサブ映像データが存在しないと判断された場合（Ｎｏ）には、データ選択部１９は、上記サブ映像補間部１６において、該当時刻の前後の時刻情報を有するサブ映像データ（フレーム）から生成された上記サブ映像補間データをサブ映像データとして選択する（ステップ２４）。
【００６４】
続いて、データ選択部１９は、選択されたサブ映像データにエラーが存在するか否か、すなわち上記エラー訂正部１２により訂正しきれなかったエラーが存在するか否かを判断する（ステップ２５）。
【００６５】
選択されたサブ映像データにエラーが存在すると判断された場合（Ｙｅｓ）、データ選択部１９は、上記メイン映像補間部１５において、該当時刻の前後の時刻情報を有するメイン映像データ（フレーム）から生成された上記メイン映像補間データを選択する（ステップ２６）。
【００６６】
そして、出力制御部２０は、上記データ選択部１９により選択されたデータを抽出して、カムコーダ１００のディスプレイまたはカムコーダ１００に外部接続されたディスプレイ装置に出力し、表示させる（ステップ２８）。
【００６７】
図３は、本実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。なお、同図において、サブ映像データは、メイン映像データとフレームレートが対応していない場合には、対応するように上記サブ映像補間部１６によりフレームを補間されているものとする。
同図に示すように、上記メイン映像バッファ１７に格納されたメイン映像データのうち、時刻ｔ２〜ｔ３までの各時刻情報を有するフレームＭ１〜Ｍ７にエラーが発生している。また、上記サブ映像バッファ１８に格納されたサブ映像データにも、時刻ｔ５〜ｔ６までの各時刻情報を有する各フレームにエラーが発生している。
【００６８】
このような場合、カムコーダ１００は、上述したデータ選択部１９の処理により、メイン映像データ中のエラーが発生している上記フレームＭ１〜Ｍ７を、サブ映像データ中の、対応する時刻情報を有するエラーが発生していないフレームＳ１〜Ｓ７に置換して表示させる。
【００６９】
すなわち、カムコーダ１００は、メイン映像データにエラーが存在しない時刻ｔ１までは、そのままメイン映像データを選択して表示させ、メイン映像データにエラーが存在する時刻ｔ２〜ｔ３までは、メイン映像データをサブ映像データに切り替えて表示させ、メイン映像データエラーが存在しない時刻ｔ４以降は、サブ映像データを再びメイン映像データへ切り替えて表示させる。
【００７０】
このように、カムコーダ１００は、メイン映像データにエラーが発生しているか否かに応じてメイン映像データとサブ映像データとを切り替えて表示できるため、上記エラー訂正部１２によりメイン映像データのエラーを訂正しきれなかった場合でも、メイン映像データの表示が途切れてブラックアウトしたり、乱れたりするのを防ぎ、メイン映像データに極力近い状態で映像データを表示することができる。
【００７１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、本実施形態において、上記第１の実施形態と同様の構成及び機能となる箇所については説明を省略し、第１の実施形態と異なる点を中心に説明する。
【００７２】
上記第１の実施形態においては、メイン映像データにエラーが発生した場合に、エラーが発生したデータのみをサブ映像データに切り替えて表示していた。しかし、本実施形態においては、メイン映像データにエラーが発生したフレームの数フレーム前からサブ映像データに切り替え、またエラーが存在しなくなったフレームの数フレーム後からサブ映像データをメイン映像データに切り替えて表示することとしている。以下、この場合の動作の詳細について説明する。
【００７３】
図４は、本実施形態において、メイン映像データの再生命令が入力された場合におけるカムコーダ１００の動作の流れを示したフローチャートである。なお、同図においても、上記図２の場合と同様に、磁気テープ９から読み出された映像データが、メイン映像バッファ１７及びサブ映像バッファ１８に格納されているものとして説明する。
【００７４】
同図に示すように、まず、カムコーダ１００のデータ選択部１９は、上記メイン映像バッファ１７に格納されているメイン映像データの、現在の時刻情報（データ選択部１９へ入力されたフレームが有する時刻情報）を有するフレームの２フレーム後のメイン映像データ、または、現在の時刻情報を有するフレームの３フレーム前のメイン映像データにエラーが発生しているか否かをフレーム毎に判断する（ステップ４１）。
【００７５】
エラーが存在しないと判断された場合（Ｎｏ）、データ選択部１９は、上記第１実施形態における図２のステップ２７の処理と同様、そのままメイン映像データを選択する（ステップ４７）。
【００７６】
エラーが存在すると判断された場合（Ｙｅｓ）、データ選択部１９は、現在の時刻情報に対応する時刻情報を有するサブ映像データが、上記サブ映像バッファ１８に存在するか否かを判断する（ステップ４２）。該当する時刻情報を有するサブ映像データが存在する場合（Ｙｅｓ）には、データ選択部１９はそのサブ映像データを選択する（ステップ４３）。
【００７７】
また、上記ステップ４２において、該当する時刻情報を有するサブ映像データが存在しないと判断された場合（Ｎｏ）には、データ選択部１９は、上記図２のステップ２４の処理と同様、上記サブ映像補間部１６において、該当時刻の前後の時刻情報を有するサブ映像データから生成された上記サブ映像補間データをサブ映像データとして選択する（ステップ４４）。
【００７８】
その後は、上記第１の実施形態における図２のステップ２５以降の処理と同様に、データ選択部１９が、選択されたサブ映像データにエラーが存在するか否かを判断し（ステップ２５）、エラーが存在する場合にはメイン映像補間データを選択し（ステップ２６）、出力制御部２０が、データ選択部１９により選択された各データを出力する（ステップ２８）。カムコーダ１００は、以上の処理を、データ選択部１９に入力されるフレーム毎に順次行うことで、エラーが発生しているメイン映像データのみならず、その前の２フレーム分及び後の３フレーム分のデータもサブ映像データに置換することができる。
【００７９】
図５は、本実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
同図に示すように、上記メイン映像バッファ１７に格納されたメイン映像データのうち、時刻ｔ３〜ｔ４までの各時刻情報を有するフレームＭ３〜Ｍ９にエラーが発生している。また、上記サブ映像バッファ１８に格納されたサブ映像データにも、時刻ｔ７〜ｔ８までの各時刻情報を有する各フレームにエラーが発生している。
【００８０】
このような場合、カムコーダ１００は、上述したデータ選択部１９の処理により、メイン映像データ中のエラーが発生した上記フレームＭ３〜Ｍ７のみならず、エラーが発生した最初のフレームであるフレームＭ３の前の連続する２つのフレームＭ１、Ｍ２と、エラーが発生した最後のフレームであるフレームＭ７の後の連続する３つのフレームＭ１０〜Ｍ１２も含めて、フレームＭ１〜Ｍ１２全体をサブ映像データのフレームＳ１〜Ｓ１２に置換して表示させる。
【００８１】
すなわち、カムコーダ１００は、メイン映像データにエラーが発生する時刻ｔ３の３フレーム前の時刻ｔ１まではメイン映像データを選択して表示させ、時刻ｔ３の２フレーム前の時刻ｔ２から、エラーが発生した最後の時刻ｔ４の３フレーム後の時刻ｔ５までは、メイン映像データをサブ映像データに切り替えて表示させ、時刻ｔ４の４フレーム後の時刻ｔ６以降は、再びサブ映像データを再びメイン映像データへ切り替えて表示させる。
【００８２】
このように、カムコーダ１００は、メイン映像データ中のエラーが発生したデータのみならず、その前後のデータも加えてサブ映像データに置換することで、メイン映像データにランダムにエラーが発生した場合に、メイン映像データとサブ映像データとが頻繁に切り替わることで、表示される映像に対してユーザが違和感を覚えるのを防ぐことができる。すなわち、カムコーダ１００は、メイン映像データからサブ映像データに表示を切り替える場合には、サブ映像データにある程度の長さを持たせることで、メイン映像データとサブ映像データの変わり目を目立たなくし、より自然な映像を表示させることができる。
【００８３】
なお、エラーが発生したメイン映像データに対応するサブ映像データの前後に付け加えて切り替えるフレームの数は、上記２フレーム及び３フレームに限られるものではなく、適宜変更可能である。
【００８４】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。なお、本実施形態においても、上記第１及び第２の実施形態と同様の構成及び機能となる箇所については説明を省略し、上記各実施形態と異なる点を中心に説明する。
【００８５】
本実施形態においては、カムコーダ１００は、ＭＰＥＧ符号化形式の特徴をより考慮してメイン映像データとサブ映像データとを切り替えることとしている。
【００８６】
まず、ここで、ＭＰＥＧによる符号化方式について説明する。
図６は、ＭＰＥＧ映像データにおけるＧＯＰ及びピクチャタイプについて示した図である。同図における矢印は、各フレームの参照元のフレームを示している。また図７は、ＭＰＥＧ映像データのエンコード処理、デコード処理及び再生処理における映像データの処理順序を示した図である。
【００８７】
図６に示すように、ＭＰＥＧ符号化方式では、所定枚数のフレームにより１つのＧＯＰが形成される。同図においては、９枚のフレームで１つのＧＯＰが形成されているが、１つのＧＯＰ内のフレーム数はこれに限られず、１５枚、１８枚等、他の枚数であっても構わない。
【００８８】
また、ＧＯＰは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの最大３種類のピクチャタイプのフレームにより構成される。１つのＧＯＰには、フレーム内符号化画像であるＩピクチャが少なくとも１枚含まれている。このＩピクチャは、ＤＣＴにより１フレームの画素データのみによって符号化されたものであり、時間方向の予測は行われない。このＩピクチャから所定のａフレーム毎（同図ではａ＝３）の画像データは、第１及び第２の前方予測符号化画像としてのＰピクチャ（Ｐ１及びＰ２）に変換される。この場合、第２の前方予測符号化画像Ｐ２は、第１の前方予測符号化画像Ｐ１から変換される。更に、Ｉピクチャまたは各Ｐピクチャの間の各フレームの画像データは、その前方及び後方の画像データを用いた両方向予測符号化画像であるＢピクチャに変換される。
【００８９】
図６及び図７に示すように、エンコード処理においては、原画像から、まずＩピクチャが符号化され、続いて、Ｐピクチャが符号化され、更に、ＩピクチャまたはＰピクチャの後にＢピクチャが符号化される。各フレームの画像はこの符号化順序で記録媒体上に記録され、上述したＤＴＳ及びＰＴＳにより、デコード時に並び替えられて原画像の順序に戻される。
【００９０】
上述のように、Ｉピクチャはフレーム内の情報のみによって符号化されているため、単独の符号化データのみによって復号可能である。一方、Ｐピクチャ及びＢピクチャは、他の画像データとの相関を基に符号化されているため、単独の符号化データのみでは復号することができない。
【００９１】
このように、ＭＰＥＧ符号化形式では、ＰピクチャまたはＢピクチャは、他のＩピクチャまたはＰピクチャを参照することで生成されているため、ＩピクチャまたはＰピクチャにエラーが発生すると、そのＩピクチャまたはＰピクチャを参照して生成されたＰピクチャまたはＢピクチャも復号できなくなる。
【００９２】
また、上述したように、ＭＰＥＧ符号化方式では、各フレームにＤＴＳとＰＴＳの２種類の時刻情報が付加されており、デコード時と表示時とで処理されるフレームの順序が異なっている。そうすると、上記第１の実施形態において、カムコーダ１００がＤＴＳを基にメイン映像データとサブ映像データとを選択した場合には、表示時に並び替えが生じる。したがって、メイン映像データ中の連続したフレームにエラーが発生した場合に、カムコーダ１００が、当該連続したフレームをサブ映像データの連続したフレームに置換した場合でも、実際にその置換したフレームが表示される場合には、上記並び替えにより、メイン映像データとサブ映像データとの間でランダムな切り替えが生じ、映像として非常に見づらいものとなる場合が考えられる。
【００９３】
そこで、本実施形態においては、メイン映像データ中の１つのＧＯＰ内で少なくとも１つのフレームにエラーが発生した場合には、そのＧＯＰ内の全てのフレームをまとめてサブ映像データに置換することで、上記各フレーム間の相関やフレームの並び替えの影響を防ぐこととしている。
【００９４】
図８は、本実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
同図においては、説明を簡単にするために、メイン映像データは１つのＧＯＰが３枚のフレームからなるＭＰＥＧデータであり、サブ映像データは、１つのＧＯＰ内の最初のフレーム（例えばＩピクチャ）から生成されるものとする。すなわち、メイン映像データ中の１つのＧＯＰ内の最初のフレームが、それに対応するサブ映像データと同一の時刻情報を有しているものとする。例えば、サブ映像データ中のフレームＳ１は、メイン映像データのＧＯＰ１に属するフレームＭ１から生成され、両者は同一の時刻情報（ｔ１）を有している。また、各ＧＯＰには、それぞれＥＣＣ単位が対応しており、上記エラー訂正部１２は、このＥＣＣ単位に基づいてエラー検出及び訂正を行う。
【００９５】
本実施形態においては、上記データ選択部１９は、メイン映像データ及びサブ映像データの各フレーム単位ではなく、ＧＯＰ単位でエラーの有無を判断する。この判断の結果、同図においては、各ＥＣＣ単位のうち、ＥＣＣ１に対応するＧＯＰ１及びＧＯＰ２においてエラーが訂正しきれずに残っている。具体的には、例えば、ＧＯＰ１内のフレームＭ１及びＭ２と、ＧＯＰ２内のフレームＭ４にエラーが発生している。この場合、上記図６で示したＧＯＰ構造により、上記フレームＭ１、Ｍ２及びＭ４のみならず、ＧＯＰ１及びＧＯＰ２に属する他のフレームについても正しく再生できない可能性がある。
【００９６】
そこで、上記データ選択部１９は、メイン映像データのＧＯＰ１内の先頭のフレームの表示時刻ｔ１においては、この時刻ｔ１に相当する表示時刻情報を有するサブ映像データ中のフレームＳ１を選択し、上記出力制御部２０は、上記表示時刻情報を基に表示を切り替える。また、メイン映像データが１つのＧＯＰに３枚存在するのに対して、サブ映像データは１枚しか存在しないため、上記サブ映像補間部１６が、ＧＯＰ１内のフレームＭ２及びＭ３に対応するフレームとして、上記フレームＳ１を２枚コピーし、データ選択部１９が選択したそれら３枚のフレームを、出力制御部２０がそれらの表示時刻を制御しながら、時刻ｔ１〜ｔ２までの間、繰り返して表示させる。
【００９７】
データ選択部１９は、ＧＯＰ２についても同様に、表示時刻ｔ２からｔ３までの間、ＧＯＰ２内のフレームＭ４〜Ｍ６に替えて、サブ映像データのフレームＳ２及びそのコピーを選択し、出力制御部２０がそれらのフレームを表示させる。
【００９８】
その後、メイン映像データのＧＯＰ３から（時刻ｔ３以降）は、メイン映像データにエラーが存在していないため、データ選択部１９は、サブ映像データからメイン映像データに再び選択を切り替えて、出力制御部２０がそのメイン映像データを表示させる。
【００９９】
以上の処理により、カムコーダ１００は、メイン映像データにエラーが存在するか否かをＧＯＰ単位で判断し、エラーが発生した場合には、ＧＯＰ単位で複数のフレームをまとめてサブ映像データに切り替えることで、ＭＰＥＧ符号化方式における各フレーム間の相関により、エラーが発生したフレームから派生して発生するエラーの影響や、ＰＴＳとＤＴＳの相違により生じる並び替えの影響を防ぐことができる。また、カムコーダ１００は、エラーの判断を複数のフレームについてまとめて行い、まとめて切り替えることで、処理が簡素化され、処理負荷を軽減することができる。
【０１００】
なお、サブ映像データにエラーが発生した場合には、サブ映像補間部１６が、そのエラーが発生したフレームの前後の表示時刻情報を有する各フレームから該当時刻のフレームを補間するようにすればよい。
【０１０１】
また、上記サブ映像補間部１６は、上記ＧＯＰ１のフレームＭ２及びＭ３に対応するフレームを、サブ映像データのフレームＳ１をコピーすることで生成するのではなく、フレームＳ１及びＳ２を基に予測されるフレームを補間するようにしても構わない。これにより、サブ映像データをより滑らかに表示することができる。
【０１０２】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。なお、本実施形態においても、上記第１乃至第３の実施形態と同様の構成及び機能となる箇所については説明を省略し、上記各実施形態と異なる点を中心に説明する。
【０１０３】
上記第３の実施形態においては、カムコーダ１００は、メイン映像データのエラーをＧＯＰ単位で判断し、ＧＯＰ単位で複数のフレームをまとめてサブ映像データに切り替えるようにしていた。しかし、本実施形態においては、各ＧＯＰ内のフレーム毎にエラーを判断し、エラーが発生したフレームのピクチャタイプに応じて、サブ映像データへの切り替え手法を変更することとしている。
【０１０４】
図９は、本実施形態において、メイン映像データの再生命令が入力された場合におけるカムコーダ１００の動作の流れを示したフローチャートである。なお、同図においても、上記図２及び図４の場合と同様に、磁気テープ９から読み出された映像データが、メイン映像バッファ１７及びサブ映像バッファ１８に格納されているものとして説明する。
【０１０５】
同図に示すように、まず、カムコーダ１００のデータ選択部１９は、上記メイン映像バッファ１７に格納されているメイン映像データを順次入力し、当該メイン映像データにエラーが発生しているか否かをフレーム毎に判断する（ステップ１０１）。
【０１０６】
エラーが存在しないと判断された場合（Ｎｏ）、データ選択部１９は、そのままメイン映像データを選択する（ステップ１０２）。
【０１０７】
エラーが存在すると判断された場合（Ｙｅｓ）には、データ選択部１９は、エラーが発生したフレームがＩピクチャか否かを判断する（ステップ１０３）。そして、データ選択部１９は、エラーが発生したフレームがＩピクチャであると判断された場合（Ｙｅｓ）には、そのＩピクチャと、そのＩピクチャを参照して生成されたＰピクチャと、そのＩピクチャ及びＰピクチャを参照して生成されたＢピクチャにそれぞれ対応する時刻情報を有するサブ映像データの各フレームを選択する（ステップ１０４）。
【０１０８】
上記ステップ１０３において、エラーが発生したフレームがＩピクチャでないと判断された場合（Ｎｏ）には、データ選択部１９は、エラーが発生したフレームがＰピクチャであるか否かを判断する（ステップ１０５）。そして、データ選択部１９は、エラーが発生したフレームがＰピクチャであると判断された場合（Ｙｅｓ）には、そのＰピクチャと、そのＰピクチャを参照して生成されたＢピクチャにそれぞれ対応する時刻情報を有するサブ映像データの各フレームを選択する（ステップ１０６）。
【０１０９】
上記ステップ１０５において、エラーが発生したフレームがＰピクチャでないと判断された場合（Ｎｏ）、すなわち、エラーが発生したフレームがＢピクチャであると判断された場合には、データ選択部１９は、そのＢピクチャに対応する時刻情報を有するサブ映像データのフレームを選択する（ステップ１０７）。
【０１１０】
続いて、データ選択部１９は、上記各ステップで選択されたデータにエラーが存在するか否かを判断し（ステップ１０８）、エラーが存在する場合（Ｙｅｓ）には、上記メイン映像補間部１５において、エラー発生時刻の前後の時刻情報を有するメイン映像データの各フレームから生成された上記メイン映像補間データを選択する（ステップ１０９）。
【０１１１】
そして、出力制御部２０は、データ選択部１９で選択されたフレームを、ＰＴＳに基づいてその出力時刻を制御しながら表示させる（ステップ１１０）。
【０１１２】
図１０は、本実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。同図における矢印は、各フレームの参照元のフレームを示す。また、説明を簡単にするため、各ＧＯＰ内のフレームは、Ｉピクチャ１枚、Ｐピクチャ１枚、Ｂピクチャ２枚の計４枚としているが、もちろん４枚以上存在していても構わない。また、同図においては、サブ映像データの各フレームは、メイン映像データの各フレームと１対１で対応しているが、そうでない場合には、上記サブ映像補間部１６により、メイン映像データのフレームレートに合わせてサブ映像データにフレームを補間すればよい。
【０１１３】
同図に示すように、メイン映像データのＧＯＰ２では、ＰピクチャであるフレームＰ５にエラーが発生している。この場合、カムコーダ１００は、データ選択部１９及び出力制御部２０により、フレームＰ５をサブ映像データの対応する時刻情報を有するフレームＳ２に切り替えて表示させる。また、フレームＰ２は、Ｂピクチャである前後のフレームＢ４及びＢ６に参照されているため、カムコーダ１００は、上記図９のステップ１０６で示したように、各フレームＢ４及びＢ６もそれぞれサブ映像データのフレームＳ１及びＳ３と切り替えて表示させる。
【０１１４】
ＧＯＰ３では、ＢピクチャであるフレームＢ１０にエラーが発生している。この場合、カムコーダ１００は、上記図９のステップ１０７で示したように、このフレームＢ１０をサブ映像データのフレームＳ４に切り替えて表示させる。フレームＢ１０は、ＧＯＰ３内においてどのフレームからも参照されていないため、その他のフレームをサブ映像データに切り替える必要はない。
【０１１５】
ＧＯＰ４では、ＩピクチャであるフレームＩ１１にエラーが発生している。この場合、カムコーダ１００は、フレームＩ１１をサブ映像データのフレームＳ５に切り替えて表示させる。また、フレームＩ１１は、ＰピクチャであるフレームＰ１３と、ＢピクチャであるフレームＢ１２に参照され、またフレームＰ１３はＢピクチャであるフレームＢ１４に参照されているため、カムコーダ１００は、上記図９のステップ１０４で示したように、各フレームＢ１２、Ｐ１３及びＢ１４もそれぞれサブ映像データのフレームＳ６、Ｓ７及びＳ８に切り替えて表示させる。
【０１１６】
以上の処理により、カムコーダ１００は、メイン映像データの各ＧＯＰを形成する各フレームのピクチャタイプに応じて、エラーとなったフレームのみならず、そのフレームを参照して生成されているフレームについてもサブ映像データへ切り替えることで、１つのフレームに発生したデータから派生するエラーの影響を確実に防ぐことができる。また、上記第３の実施形態のようにＧＯＰ単位でまとめて切り替える場合に比べて、例えばＢピクチャのみにエラーが発生した場合等に、切り替えるフレーム数が大幅に少なくなるため、処理速度を向上させることができる。
【０１１７】
なお、同図においては、カムコーダ１００は、各フレーム間の相関をＧＯＰ毎に判断していたが、複数のＧＯＰに跨って判断しても構わない。すなわち、例えば同図のＧＯＰ２のＩピクチャであるフレームＩ３にエラーが発生した場合には、フレームＩ３、Ｂ４、Ｐ５及びＢ６をサブ映像データに切り替えるのみならず、フレームＩ３を参照して生成されるＧＯＰ１のフレームＢ２もサブ映像データに切り替えるようにしても構わない。これより、表示映像の途切れや乱れを更に確実に防ぐことができる。
【０１１８】
（第５の実施形態）
次に、本発明の第５の実施形態について説明する。なお、本実施形態においても、上記第１乃至第４の実施形態と同様の構成及び機能となる箇所については説明を省略し、上記各実施形態と異なる点を中心に説明する。
【０１１９】
上記各実施形態においては、サブ映像データが１つのみ存在する場合を例に説明したが、本実施形態においては、サブ映像データが複数存在する場合の映像データの切り替え手法について説明する。
【０１２０】
本実施形態においては、サブ映像データは、メイン映像データを基に例えば２つ生成される。各サブ映像データには、メイン映像データとの類似度に応じて優先度が設けられ、それぞれ上記サブ映像バッファ１８に格納される。ここでは、この２つのサブ映像データを、類似度の高い順に、第１のサブ映像データ、第２のサブ映像データと称する。また、第１のサブ映像データ及び第２のサブ映像データには、上記各実施形態と同様に第１のサブ映像補間データ及び第２のサブ映像補間データが生成されサブ映像バッファ１８に格納される。
【０１２１】
第１のサブ映像データとしては、例えば、８倍速サーチ再生用の映像データが生成され、第２のサブ映像データとしては、例えば２４倍速サーチ再生用の映像データが生成される。８倍速サーチ再生用の映像データは、上述したように、例えばメイン映像データのＩピクチャのＤＣ成分を抽出することで生成され、２４倍速サーチ再生用の映像データは、例えば８倍速サーチ再生用の映像データの解像度を１／４に変換することで生成される。２４倍速サーチ再生用の映像データは、解像度が低い分、８倍速サーチ再生用データに比べてメイン映像データとの類似度が低いため、上記優先度も低くなる。
【０１２２】
図１１は、本実施形態におけるメイン映像データの再生命令が入力された場合におけるカムコーダ１００の動作の流れを示したフローチャートである。
同図に示すように、まず、カムコーダ１００のデータ選択部１９は、上記メイン映像バッファ１７に格納されているメイン映像データにエラーが発生しているか否かを判断する（ステップ１１１）。
【０１２３】
エラーが存在しないと判断された場合（Ｎｏ）、データ選択部１９は、そのままメイン映像データを選択する（ステップ１１２）。
【０１２４】
エラーが存在すると判断された場合（Ｙｅｓ）には、データ選択部１９は、サブ映像バッファ１８から、第１のサブ映像データを入力する（ステップ１１３）。続いて、データ選択部１９は、上記エラーデータに対応する時刻情報を有する第１のサブ映像データが存在するか否かを判断し（ステップ１１３）、存在しないと判断された場合（Ｎｏ）には、上記各実施形態における場合と同様に、第１のサブ映像補間データを選択する（ステップ１１５）。
【０１２５】
続いて、データ選択部１９は、選択された第１のサブ映像データにエラーが存在するか否かを判断し（ステップ１１６）、エラーが存在すると判断された場合（Ｙｅｓ）には、第２のサブ映像データを入力する（ステップ１１７）。
【０１２６】
そして、データ選択部１９は、上記第１のサブ映像データについての上記ステップ１１３〜１１６に対応する処理を第２のサブ映像データについて行い（ステップ１１８〜１２１）、第２のサブ映像データにエラーが存在すると判断された場合（ステップ１２１のＹｅｓ）には、メイン映像補間データを選択する（ステップ１２２）。
【０１２７】
そして、出力制御部２０は、上記データ選択部１９により選択された各映像データを出力する（ステップ１２４）。
【０１２８】
図１２は、本実施形態におけるメイン映像データ、第１のサブ映像データ及び第２のサブ映像データの表示方法について示した図である。
同図に示すように、メイン映像データのフレームＭ１〜Ｍ７にエラーが発生しており、このフレームＭ１〜Ｍ７に対応する時刻情報を有する第１のサブ映像データのフレームＳ１〜Ｓ７にはエラーが発生していないため、カムコーダ１００は、当該フレームＭ１〜Ｍ７をフレームＳ１〜Ｓ７に置換して表示させる。
【０１２９】
また、メイン映像データのフレームＭ８〜Ｍ１２にもエラーが発生しており、このフレームＭ８〜Ｍ１２に対応する時刻情報を有する第１のサブ映像データのフレームＳ８〜Ｓ１２にもエラーが発生している。一方、上記フレームＭ８〜Ｍ１２に対応する時刻情報を有する第２のサブ映像データのフレームＳａ〜Ｓｅにはエラーが発生していない。よって、カムコーダ１００は、フレームＭ８〜Ｍ１２をフレームＳａ〜Ｓｅに置換して表示させる。
【０１３０】
以上の処理により、カムコーダ１００は、サブ映像データが複数存在する場合には、メイン映像データに対する各サブ映像データの類似度に応じて各サブ映像データに優先度を設けて、当該優先度に応じて、エラーが発生したメイン映像データを、エラーが発生していないサブ映像データに切り替えることで、常に最適なサブ映像データをメイン映像データから切り替えて表示することができる。
【０１３１】
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【０１３２】
上述の各実施形態において、サブ映像データの解像度がメイン映像データの解像度と異なる場合、上記サブ映像補間部１６は、サブ映像データを、メイン映像データの解像度に合わせて変換するようにしても構わない。これにより、サブ映像データを、メイン映像データにより近い状態で出力することができる。
【０１３３】
上述の第２の実施形態においては、カムコーダ１００は、サブ映像データをメイン映像データよりも先に入力するのが好ましい。例えば、上記図１において、メイン映像データがＭＰＥＧデコーダ１４によりデコードする必要があるのに対して、サブ映像データはデコードする必要がないように生成するのが好ましい。また、メイン映像バッファ１７の容量を、サブ映像バッファ１８の容量に比べて大きくするのが好ましい。このようにすることで、メイン映像データは、デコード処理の時間分と、メイン映像バッファ１７への格納処理及びメイン映像バッファ１７からデータ選択部１９への入力処理の時間分だけ、サブ映像データよりもデータ選択部１９に後に入力されることとなる。すなわち、メイン映像データよりもサブ映像データの方がデータ選択部１９に先に入力されることになる。
【０１３４】
これにより、メイン映像データに発生したエラーデータに対応する時刻の前後の時刻情報を有するサブ映像データも含めて表示を切り替える際に、サブ映像データがデータ選択部１９にまだ入力されておらず、出力制御部２０から出力できないという事態を防ぐことができる。すなわち、切り替えるべきサブ映像データを即座に抽出して、出力までの処理速度を向上させることができる。
【０１３５】
上述の実施形態においては、電子機器としてカムコーダを例に挙げて説明した。しかし、電子機器としては、他にも、例えばＨＤＤ／ＤＶＤ／ＢＤレコーダや、ＤＶＤ／ＢＤプレーヤ、テレビジョン装置、オーディオプレーヤ、ＰＣ、ゲーム機器、携帯電話機やＰＤＡ等のモバイル端末、カーナビゲーション装置等、あらゆる機器を適用することができる。上記メイン映像データ及びサブ映像データの記録媒体としても、ＨＤＤ、ＤＶＤ、ＢＤ、フラッシュメモリ等、あらゆる媒体を適用することができる。映像データの符号化形式としても、ＭＰＥＧ以外に、例えばH.263、Motion JPEG、On2VP3、Theora、RealVideo（登録商標）等の他の符号化形式を用いても構わない。
【０１３６】
また、上述の実施形態においては、カムコーダ１００は、サブ映像データとして、サーチ再生用の映像データを用いていた。しかし、カムコーダ１００は、例えばスロー再生用の映像データ等、他の変速再生用の映像データや、メイン映像データと同じ表示時刻を有する映像を別の角度から撮影した、マルチアングル用の映像データを用いることもできる。更に、カムコーダ１００は、メイン映像データをコピーしたデータをサブ映像データとして用いても構わない。また、上記第５の実施形態において、これらの複数の映像データに優先度を設けて切り替えるようにしてもよい。
【０１３７】
また、電子機器として、ＨＤＤ／ＤＶＤ／ＢＤレコーダやテレビジョン装置等、放送を受信し記録する機能を有する機器を適用した場合には、メイン映像データとして、通常の１２セグメントの放送データを用い、サブ映像データとして、モバイル端末用の１セグメントの放送データを用いることもできる。また、１セグメントの放送データをメイン映像データとして受信するようなモバイル端末においては、１２セグメントの放送データをサブ映像データとして用いることもできる。
【０１３８】
また、上記放送を受信して記録する機能を有する機器においては、例えば、メイン映像データとして、受信した放送データを用い、サブ映像データとして、受信した放送データの解像度をダウンコンバートして再エンコードすることにより生成した簡易映像データを、サブ映像データとして用いても構わない。
【０１３９】
上記各実施形態で説明した構成は、相互に組み合わせることも勿論可能である。例えば、カムコーダ１００は、上記第２乃至第４の実施形態で説明した構成は、上記第５の実施形態のようにサブ映像データが複数存在する場合にも実施することができる。
【０１４０】
上述の実施形態においては、コンテンツとして映像データを用いた場合を説明したが、コンテンツとして音声データを用いても構わない。例えば、オーディオプレーヤにおいて、フラッシュメモリやＨＤＤ等に楽曲等のメイン音声データをＭＰＥＧ形式でエンコードして記録する際に、サンプリング周波数、量子化ビット数等のパラメータを変更してサブ音声データを生成し、メイン音声データにエラーが発生した場合には、時刻情報を基にサブ音声データに切り替えるようにすればよい。また、音声データの符号化形式としては、ＭＰＥＧ以外にも例えばＡＴＲＡＣ（登録商標）、ＡＣ−３（ドルビーデジタル）、ｄｔｓ（登録商標、Digital Theater Systems）等の他の形式を用いてもよく、また記録媒体として、ＣＤ（Compact Disc）やＭＤ（Mini Disc）等を用いても構わない。
【図面の簡単な説明】
【０１４１】
【図１】本発明の第１の実施形態に係るカムコーダの構成を示したブロック図である。
【図２】本発明の第１の実施形態に係るカムコーダの、映像データ再生時における動作の流れを示したフローチャートである。
【図３】本発明の第１の実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
【図４】本発明の第２の実施形態に係るカムコーダの、映像データ再生時における動作の流れを示したフローチャートである。
【図５】本発明の第２の実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
【図６】ＭＰＥＧ映像データにおけるＧＯＰ及びピクチャタイプについて示した図である。
【図７】ＭＰＥＧ映像データのエンコード処理、デコード処理及び再生処理における映像データの処理順序を示した図である。
【図８】本発明の第３の実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
【図９】本発明の第４の実施形態に係るカムコーダの、映像データ再生時における動作の流れを示したフローチャートである。
【図１０】本発明の第４の実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
【図１１】本発明の第５の実施形態におけるカムコーダの、映像データ再生時における動作の流れを示したフローチャートである。
【図１２】本発明の第５の実施形態におけるメイン映像データ及びサブ映像データの表示方法について示した図である。
【符号の説明】
【０１４２】
４…ＭＰＥＧエンコーダ
５…サブ映像生成部
６…データ多重部
７…ＥＣＣ付加部
８…テープドライブ
９…磁気テープ
１０…ＣＰＵ
１２…エラー訂正部
１３…データ分離部
１４…ＭＰＥＧデコーダ
１５…メイン映像補間部
１６…サブ映像補間部
１７…メイン映像バッファ
１８…サブ映像バッファ
１９…データ選択部
２０…出力制御部
１００…カムコーダ
【特許請求の範囲】
【請求項１】
出力すべき時刻を示す時刻情報を有する第１のコンテンツと、前記時刻情報を有し前記第１のコンテンツに関連する第２のコンテンツとを入力する入力手段と、
前記入力された第１のコンテンツにエラーが発生しているか否かを判断する判断手段と、
前記第１のコンテンツに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記エラーが発生している第１のデータが有する第１の時刻情報に対応する第２の時刻情報を有する第２のデータを抽出する抽出手段と、
前記第１のデータを前記抽出された第２のデータに置換して前記第１のコンテンツを出力する出力手段と
を具備する電子機器。
【請求項２】
請求項１に記載の電子機器であって、
前記判断手段は、前記第２のコンテンツの前記第２のデータに前記エラーが発生しているか否かを判断し、
当該電子機器は、
前記第２のデータに前記エラーが発生していると判断された場合に、前記第１のコンテンツのうち、前記第１のデータが有する前記第１の時刻情報の前後で連続する各時刻情報を有する各データを基に第３のデータを生成する手段を更に具備し、
前記出力手段は、前記第１のデータを前記生成された第３のデータに置換して前記第１のコンテンツを出力する
ことを特徴とする電子機器。
【請求項３】
請求項１に記載の電子機器であって、
前記判断手段は、前記第２のコンテンツの前記第２のデータに前記エラーが発生しているか否かを判断し、
当該電子機器は、
前記第２のデータに前記エラーが発生していると判断された場合に、前記第２のコンテンツのうち、前記第２のデータが有する前記第２の時刻情報の前後で連続する各時刻情報を有する各データを基に第３のデータを生成する手段を更に具備し、
前記出力手段は、前記第１のデータを前記生成された第３のデータに置換して前記第１のコンテンツを出力する
ことを特徴とする電子機器。
【請求項４】
請求項１に記載の電子機器であって、
前記抽出手段は、前記第２のコンテンツから、前記第１のデータが有する前記第１の時刻情報の前または後で連続する第３の時刻情報に対応する第４の時刻情報を有する第３のデータを抽出し、
前記出力手段は、前記第１のコンテンツのうち、前記第３の時刻情報を有するデータを前記第３のデータに置換して、前記第２のデータと連続させて出力する
【請求項５】
請求項１に記載の電子機器であって、
前記第１及び第２のコンテンツは、それぞれ複数のフレームから構成される映像コンテンツであり、
前記判断手段は、前記エラーが発生しているか否かを、前記各フレームが所定の複数のフレーム毎に区分されたフレーム区間毎に判断し、
前記抽出手段は、前記各フレーム区間のうち第１のフレーム区間を構成する各フレームのうち少なくとも１つのフレームに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記第１のフレーム区間が有する第３の時刻情報に対応する第４の時刻情報を有する第２のフレーム区間の各フレームを抽出し、
前記出力手段は、前記第１のフレーム区間の各フレームを前記第２のフレーム区間の各フレームに置換して前記第１のコンテンツを出力する
ことを特徴とする電子機器。
【請求項６】
請求項５に記載の電子機器であって、
前記第１のコンテンツの第１のフレームレートと、前記第２のコンテンツの第２のフレームレートとをそれぞれ検出する検出手段と、
前記検出された第１のフレームレートと第２のフレームレートとが異なる場合に、前記抽出された第２のフレーム区間の前記第２のフレームレートが前記第１のフレームレートとなるよう前記第２のデータにフレームを補間する補間手段と
を更に具備することを特徴とする電子機器。
【請求項７】
請求項１に記載の電子機器であって、
前記第１のコンテンツは、ピクチャタイプが異なる複数のフレームから構成されるＭＰＥＧデータであり、
前記抽出手段は、前記エラーが発生していると判断された第１のフレームの前記ピクチャタイプに応じて、前記第１のフレームと、当該第１のフレームを参照して生成された第２のフレームとにそれぞれ前記時刻情報が対応する第３のフレーム及び第４のフレームとを前記第２のコンテンツから抽出し、
前記出力手段は、前記第１のフレームを前記第３のフレームに置換し、前記第２のフレームを前記第４のフレームに置換して前記第１のコンテンツを出力する
ことを特徴とする電子機器。
【請求項８】
請求項１に記載の電子機器であって、
前記第１及び第２のコンテンツは映像コンテンツであり、
当該電子機器は、
前記第１のコンテンツの第１の解像度と、前記第２のコンテンツの第２の解像度とをそれぞれ検出する検出手段と、
前記検出された第１の解像度と第２の解像度とが異なる場合に、前記抽出された第２のデータの前記第２の解像度を前記第１の解像度へ変換する変換手段と
を更に具備することを特徴とする電子機器。
【請求項９】
請求項１に記載の電子機器であって、
複数の異なる前記第２のコンテンツを、前記第１のコンテンツとの類似度に応じた優先度を示す優先度情報とそれぞれ対応付けて記憶する記憶手段を更に具備し、
前記入力手段は、前記優先度情報を基に、前記各第２のコンテンツから１つの第２のコンテンツを入力し、
前記判断手段は、前記第２のコンテンツの前記第２のデータに前記エラーが発生しているか否かを判断し、
前記出力手段は、前記第１のデータを、前記エラーが発生していないと判断された前記第２のコンテンツのうち、前記優先度が最も高い前記第２のコンテンツの前記第２のデータに置換して前記第１のコンテンツを出力する
ことを特徴とする電子機器。
【請求項１０】
請求項１に記載の電子機器であって、
前記第１のコンテンツを基に前記第２のコンテンツを生成する生成手段を更に具備する
ことを特徴とする電子機器。
【請求項１１】
請求項１に記載の電子機器であって、
前記第１のコンテンツを第１の領域に記憶し、前記第２のコンテンツを前記第１の領域とは異なる第２の領域に記憶する記憶手段
を更に具備することを特徴とする電子機器。
【請求項１２】
請求項２に記載の電子機器であって、
前記第１のコンテンツに前記エラーを訂正するための第１のエラー訂正符号を付加して当該第１のコンテンツを記憶し、前記第２のコンテンツに前記第１のエラー訂正符号とは異なる第２のエラー訂正符号を付加して当該第２のコンテンツを記憶する記憶手段
を更に具備し、
前記判断手段は、前記第１及び第２のエラー訂正符号によって訂正できないエラーが前記第１のコンテンツ及び前記第２のデータに発生しているか否かをそれぞれ判断する
ことを特徴とする電子機器。
【請求項１３】
請求項４に記載の電子機器であって、
前記入力手段は、前記第２のコンテンツを前記第１のコンテンツよりも先に入力する
ことを特徴とする電子機器。
【請求項１４】
出力すべき時刻を示す時刻情報を有する第１のコンテンツと、前記時刻情報を有し前記第１のコンテンツに関連する第２のコンテンツとを入力し、
前記入力された第１のコンテンツにエラーが発生しているか否かを判断し、
前記第１のコンテンツに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記エラーが発生している第１のデータが有する第１の時刻情報に対応する第２の時刻情報を有する第２のデータを抽出し、
前記第１のデータを前記抽出された第２のデータに置換して前記第１のコンテンツを出力する
コンテンツ出力方法。
【請求項１５】
電子機器に、
出力すべき時刻を示す時刻情報を有する第１のコンテンツと、前記時刻情報を有し前記第１のコンテンツに関連する第２のコンテンツとを入力するステップと、
前記入力された第１のコンテンツにエラーが発生しているか否かを判断するステップと、
前記第１のコンテンツに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記エラーが発生している第１のデータが有する第１の時刻情報に対応する第２の時刻情報を有する第２のデータを抽出するステップと、
前記第１のデータを前記抽出された第２のデータに置換して前記第１のコンテンツを出力するステップと
を実行させるためのプログラム。
【請求項１】
出力すべき時刻を示す時刻情報を有する第１のコンテンツと、前記時刻情報を有し前記第１のコンテンツに関連する第２のコンテンツとを入力する入力手段と、
前記入力された第１のコンテンツにエラーが発生しているか否かを判断する判断手段と、
前記第１のコンテンツに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記エラーが発生している第１のデータが有する第１の時刻情報に対応する第２の時刻情報を有する第２のデータを抽出する抽出手段と、
前記第１のデータを前記抽出された第２のデータに置換して前記第１のコンテンツを出力する出力手段と
を具備する電子機器。
【請求項２】
請求項１に記載の電子機器であって、
前記判断手段は、前記第２のコンテンツの前記第２のデータに前記エラーが発生しているか否かを判断し、
当該電子機器は、
前記第２のデータに前記エラーが発生していると判断された場合に、前記第１のコンテンツのうち、前記第１のデータが有する前記第１の時刻情報の前後で連続する各時刻情報を有する各データを基に第３のデータを生成する手段を更に具備し、
前記出力手段は、前記第１のデータを前記生成された第３のデータに置換して前記第１のコンテンツを出力する
ことを特徴とする電子機器。
【請求項３】
請求項１に記載の電子機器であって、
前記判断手段は、前記第２のコンテンツの前記第２のデータに前記エラーが発生しているか否かを判断し、
当該電子機器は、
前記第２のデータに前記エラーが発生していると判断された場合に、前記第２のコンテンツのうち、前記第２のデータが有する前記第２の時刻情報の前後で連続する各時刻情報を有する各データを基に第３のデータを生成する手段を更に具備し、
前記出力手段は、前記第１のデータを前記生成された第３のデータに置換して前記第１のコンテンツを出力する
ことを特徴とする電子機器。
【請求項４】
請求項１に記載の電子機器であって、
前記抽出手段は、前記第２のコンテンツから、前記第１のデータが有する前記第１の時刻情報の前または後で連続する第３の時刻情報に対応する第４の時刻情報を有する第３のデータを抽出し、
前記出力手段は、前記第１のコンテンツのうち、前記第３の時刻情報を有するデータを前記第３のデータに置換して、前記第２のデータと連続させて出力する
【請求項５】
請求項１に記載の電子機器であって、
前記第１及び第２のコンテンツは、それぞれ複数のフレームから構成される映像コンテンツであり、
前記判断手段は、前記エラーが発生しているか否かを、前記各フレームが所定の複数のフレーム毎に区分されたフレーム区間毎に判断し、
前記抽出手段は、前記各フレーム区間のうち第１のフレーム区間を構成する各フレームのうち少なくとも１つのフレームに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記第１のフレーム区間が有する第３の時刻情報に対応する第４の時刻情報を有する第２のフレーム区間の各フレームを抽出し、
前記出力手段は、前記第１のフレーム区間の各フレームを前記第２のフレーム区間の各フレームに置換して前記第１のコンテンツを出力する
ことを特徴とする電子機器。
【請求項６】
請求項５に記載の電子機器であって、
前記第１のコンテンツの第１のフレームレートと、前記第２のコンテンツの第２のフレームレートとをそれぞれ検出する検出手段と、
前記検出された第１のフレームレートと第２のフレームレートとが異なる場合に、前記抽出された第２のフレーム区間の前記第２のフレームレートが前記第１のフレームレートとなるよう前記第２のデータにフレームを補間する補間手段と
を更に具備することを特徴とする電子機器。
【請求項７】
請求項１に記載の電子機器であって、
前記第１のコンテンツは、ピクチャタイプが異なる複数のフレームから構成されるＭＰＥＧデータであり、
前記抽出手段は、前記エラーが発生していると判断された第１のフレームの前記ピクチャタイプに応じて、前記第１のフレームと、当該第１のフレームを参照して生成された第２のフレームとにそれぞれ前記時刻情報が対応する第３のフレーム及び第４のフレームとを前記第２のコンテンツから抽出し、
前記出力手段は、前記第１のフレームを前記第３のフレームに置換し、前記第２のフレームを前記第４のフレームに置換して前記第１のコンテンツを出力する
ことを特徴とする電子機器。
【請求項８】
請求項１に記載の電子機器であって、
前記第１及び第２のコンテンツは映像コンテンツであり、
当該電子機器は、
前記第１のコンテンツの第１の解像度と、前記第２のコンテンツの第２の解像度とをそれぞれ検出する検出手段と、
前記検出された第１の解像度と第２の解像度とが異なる場合に、前記抽出された第２のデータの前記第２の解像度を前記第１の解像度へ変換する変換手段と
を更に具備することを特徴とする電子機器。
【請求項９】
請求項１に記載の電子機器であって、
複数の異なる前記第２のコンテンツを、前記第１のコンテンツとの類似度に応じた優先度を示す優先度情報とそれぞれ対応付けて記憶する記憶手段を更に具備し、
前記入力手段は、前記優先度情報を基に、前記各第２のコンテンツから１つの第２のコンテンツを入力し、
前記判断手段は、前記第２のコンテンツの前記第２のデータに前記エラーが発生しているか否かを判断し、
前記出力手段は、前記第１のデータを、前記エラーが発生していないと判断された前記第２のコンテンツのうち、前記優先度が最も高い前記第２のコンテンツの前記第２のデータに置換して前記第１のコンテンツを出力する
ことを特徴とする電子機器。
【請求項１０】
請求項１に記載の電子機器であって、
前記第１のコンテンツを基に前記第２のコンテンツを生成する生成手段を更に具備する
ことを特徴とする電子機器。
【請求項１１】
請求項１に記載の電子機器であって、
前記第１のコンテンツを第１の領域に記憶し、前記第２のコンテンツを前記第１の領域とは異なる第２の領域に記憶する記憶手段
を更に具備することを特徴とする電子機器。
【請求項１２】
請求項２に記載の電子機器であって、
前記第１のコンテンツに前記エラーを訂正するための第１のエラー訂正符号を付加して当該第１のコンテンツを記憶し、前記第２のコンテンツに前記第１のエラー訂正符号とは異なる第２のエラー訂正符号を付加して当該第２のコンテンツを記憶する記憶手段
を更に具備し、
前記判断手段は、前記第１及び第２のエラー訂正符号によって訂正できないエラーが前記第１のコンテンツ及び前記第２のデータに発生しているか否かをそれぞれ判断する
ことを特徴とする電子機器。
【請求項１３】
請求項４に記載の電子機器であって、
前記入力手段は、前記第２のコンテンツを前記第１のコンテンツよりも先に入力する
ことを特徴とする電子機器。
【請求項１４】
出力すべき時刻を示す時刻情報を有する第１のコンテンツと、前記時刻情報を有し前記第１のコンテンツに関連する第２のコンテンツとを入力し、
前記入力された第１のコンテンツにエラーが発生しているか否かを判断し、
前記第１のコンテンツに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記エラーが発生している第１のデータが有する第１の時刻情報に対応する第２の時刻情報を有する第２のデータを抽出し、
前記第１のデータを前記抽出された第２のデータに置換して前記第１のコンテンツを出力する
コンテンツ出力方法。
【請求項１５】
電子機器に、
出力すべき時刻を示す時刻情報を有する第１のコンテンツと、前記時刻情報を有し前記第１のコンテンツに関連する第２のコンテンツとを入力するステップと、
前記入力された第１のコンテンツにエラーが発生しているか否かを判断するステップと、
前記第１のコンテンツに前記エラーが発生していると判断された場合に、前記第２のコンテンツから、前記エラーが発生している第１のデータが有する第１の時刻情報に対応する第２の時刻情報を有する第２のデータを抽出するステップと、
前記第１のデータを前記抽出された第２のデータに置換して前記第１のコンテンツを出力するステップと
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−６０５０２（Ｐ２００９−６０５０２Ａ）
【公開日】平成２１年３月１９日（２００９．３．１９）
【国際特許分類】
【出願番号】特願２００７−２２７６６７（Ｐ２００７−２２７６６７）
【出願日】平成１９年９月３日（２００７．９．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年３月１９日（２００９．３．１９）
【国際特許分類】
【出願日】平成１９年９月３日（２００７．９．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]