ストリーム生成器、ストリーム生成方法、及びビデオカメラ
【課題】複数の記録媒体に連続して記録された動画ファイルが、音声を欠落させることなく再生されるようにする。
【解決手段】ストリーム生成器であって、符号化音声データと符号化映像データとを多重化して、第１ストリームと第２ストリームとを生成するパケット多重化部と、分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定する分割タイミング生成部と、前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように前記パケット多重化部を制御する多重化制御部とを有する。
【解決手段】ストリーム生成器であって、符号化音声データと符号化映像データとを多重化して、第１ストリームと第２ストリームとを生成するパケット多重化部と、分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定する分割タイミング生成部と、前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように前記パケット多重化部を制御する多重化制御部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音声データと映像データとを多重化してストリームを生成する技術に関する。
【背景技術】
【０００２】
近年、ビデオカメラの記録媒体としてメモリカードが使用されるようになってきており、２枚のメモリカードを同時に挿入可能なビデオカメラも増えてきている。このようなビデオカメラは、撮影時に、まず１枚目のメモリカードにデータを記録し、１枚目のメモリカードの空き容量が足りなくなると、データの記録を停止せずに２枚目のメモリカードに記録を続けることができる。２枚目のメモリカードへの記録を終了後、２枚のメモリカードを再生機に挿入することにより、撮影された映像の再生を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３００５２７号公報
【特許文献２】特開平７−２５５０３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、１枚目のメモリカードに記録された映像データに対応する音声データが、２枚目のメモリカードに記録されることがある。２枚のメモリカードの動画ファイルは独立しており、再生機は、これらの動画ファイルが連続して記録されたファイルであると認識することができない。このため、１枚目のメモリカードのデータを再生するときに、音声データが不足し、音声が再生されない期間が生じることがある。
【０００５】
関連する技術が、例えば特許文献１及び２に記載されている。特許文献１には、１ＧＯＰ（group of pictures）のビデオパケットの次に、これらのビデオパケットに対応するオーディオパケットを記録する方法が記載されている。しかし、特許文献１によると、オーディオパケットの位置が決められているので、ビデオパケットの符号量を抑える必要がある。また、このような方法で記録されていることを示す管理情報を記録媒体に書き込んでおく必要があり、動画ファイルの読出し時にはこの管理情報をも読み出す必要がある。
【０００６】
特許文献２には、２つのＧＯＰに対応するオーディオフレームのデータを重複して記録媒体に記録する方法が記載されている。しかし、特許文献２によると、オーディオデータが重複して記録されていることを示す管理情報を、オーディオフレームが記録されるセクタのサブコード領域に書き込む必要があり、動画ファイルの読出し時には、セクタのサブコード領域を読み出す特殊な再生機が必要である。また、動画ファイルを他の記録媒体にコピーすると、管理情報はコピーされないので、特許文献２の方法で記録されていることが判別できなくなる。
【０００７】
本発明は、複数の記録媒体に連続して記録された動画ファイルが、音声を欠落させることなく再生されるように、記録のための複数のストリームを生成することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の実施形態によるストリーム生成器は、符号化音声データと符号化映像データとを多重化して、第１ストリームと、前記第１ストリームの符号化映像データより後に表示されるべき符号化映像データを有する第２ストリームとを生成するパケット多重化部と、分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定する分割タイミング生成部と、前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように前記パケット多重化部を制御する多重化制御部とを有する。
【０００９】
本発明の実施形態によるビデオカメラは、映像を撮影し、撮影された映像を映像データとして出力する撮像部と、前記映像データを符号化して符号化映像データを生成する映像データ符号化部と、音声を音声データに変換して出力するマイクロホンと、前記音声データを符号化して符号化音声データを生成する音声データ符号化部と、前記符号化映像データ及び前記符号化音声データから、第１ストリーム及び第２ストリームを生成するストリーム生成器と、前記第１ストリームを第１記録媒体に書き込み、前記第２ストリームを第２記録媒体に書き込むメモリカードライタと、前記第１記録媒体の空き容量を検出する空き容量監視部と、前記空き容量が所定値未満である場合に分割指示を出力する記録制御部とを有する。前記ストリーム生成器は、前記符号化音声データと前記符号化映像データとを多重化して、前記第１ストリームと、前記第１ストリームの符号化映像データより後に表示されるべき符号化映像データを有する前記第２ストリームとを生成するパケット多重化部と、分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定する分割タイミング生成部と、前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように前記パケット多重化部を制御する多重化制御部とを有する。
【００１０】
本発明の実施形態によるストリーム生成方法は、符号化音声データ及び符号化映像データから、第１ストリーム及び第２ストリームを生成するストリーム生成方法であって、分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定し、前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように、前記符号化音声データと前記符号化映像データとを多重化して、前記第１ストリームと、前記第１ストリームの符号化映像データより後に表示されるべき符号化映像データを有する前記第２ストリームとを生成する。
【発明の効果】
【００１１】
本発明の実施形態によれば、生成された複数のストリームを記録することにより、複数の記録媒体に連続して記録された動画ファイルが、音声を欠落させることなく再生される。記録媒体には、特別な管理情報を記録する必要がない。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係るビデオカメラの構成例を示すブロック図である。
【図２】ストリームを分割する必要がない場合に、図１のストリーム生成器から出力されるストリームの例を示す説明図である。
【図３】（ａ）は、図２のストリームが単純に２分割された場合の前半ストリームを示す説明図である。（ｂ）は、図２のストリームが単純に２分割された場合の後半ストリームを示す説明図である。
【図４】図４（ａ）は、図３（ａ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。図４（ｂ）は、図３（ｂ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。
【図５】（ａ）は、図１のストリーム生成器により得られた前半ストリームの例を示す説明図である。（ｂ）は、図１のストリーム生成器により得られた後半ストリームの例を示す説明図である。
【図６】図６（ａ）は、図５（ａ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。図６（ｂ）は、図５（ｂ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。
【図７】（ａ）は、図１のストリーム生成器により得られた前半ストリームの他の例を示す説明図である。（ｂ）は、図１のストリーム生成器により得られた後半ストリームの他の例を示す説明図である。
【図８】図８（ａ）は、図７（ａ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。図８（ｂ）は、図７（ｂ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。
【図９】本発明の実施形態に係るビデオカメラの他の構成例を示すブロック図である。
【図１０】本発明の実施形態に係るビデオカメラの更に他の構成例を示すブロック図である。
【図１１】図１のビデオカメラの変形例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照しながら説明する。図面において下２桁が同じ参照番号で示された構成要素は、互いに対応しており、同一の又は類似の構成要素である。
【００１４】
図１は、本発明の実施形態に係るビデオカメラの構成例を示すブロック図である。図１のビデオカメラ１００は、撮像部１１２と、映像符号化部１１４と、マイクロホン１１６と、音声符号化部１１８と、記録制御部１２２と、ストリームバッファ１２４と、メモリカードライタ１２６と、空き容量監視部１２８と、ストリーム生成器１４０とを有する。
【００１５】
ストリーム生成器１４０は、分割タイミング生成部１４２と、多重化制御部１４４と、音声データ複製部１４６と、パケット多重化部１４８と、ビデオバッファ１５２と、オーディオバッファ１５４とを有する。ストリーム生成器１４０は、例えば１つの半導体チップ上に形成される。ユーザは、入力部（図示せず）を操作して、記録の開始、記録の停止等を記録制御部１２２に指示する。特に図示はしていないが、記録制御部１２２は、ビデオカメラ１００の各構成要素の制御を行う。
【００１６】
撮像部１１２は、レンズ等の光学系及び撮像デバイスを有し、映像を撮影し、撮影された映像を映像データとして出力する。映像符号化部１１４は、撮像部１１２から出力された映像データを符号化して符号化映像データを生成し、出力する。マイクロホン１１６は、音声を音声データに変換して出力する。音声符号化部１１８は、マイクロホン１１６から出力された音声データを符号化して符号化音声データを生成し、出力する。
【００１７】
映像符号化部１１４は、例えば、ＭＰＥＧ−２（moving picture experts group-2）やＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（advanced video coding）に従って符号化を行う。音声符号化部１１８は、例えば、ＡＣ−３やＬＰＣＭ（linear pulse code modulation）に従って符号化を行う。映像符号化部１１４は、１ビデオフレームの映像データのエンコードを完了する毎に、パケット多重化部１４８にエンコード完了を通知する。音声符号化部１１８は、１オーディオフレームの音声データのエンコードを完了する毎に、パケット多重化部１４８にエンコード完了を通知する。
【００１８】
ストリーム生成器１４０は、符号化映像データ及び符号化音声データから、後述の前半ストリーム及び後半ストリームを生成する。ストリーム生成器１４０のビデオバッファ１５２は、映像符号化部１１４で生成された符号化映像データを格納する。オーディオバッファ１５４は、音声符号化部１１８で生成された符号化音声データを格納する。
【００１９】
パケット多重化部１４８は、映像符号化部１１４からのエンコード完了通知に従って、符号化映像データをビデオバッファ１５２から読み出して、符号化映像データを含むビデオパケットを生成し、音声符号化部１１８からのエンコード完了通知に従って、符号化音声データをオーディオバッファ１５４から読み出して、符号化音声データを含むオーディオパケットを生成する。ビデオパケット及びオーディオパケットは、例えばＭＰＥＧ２のトランスポートストリームパケットである。パケット多重化部１４８は、生成されたビデオパケットとオーディオパケットとを多重化して、トランスポートストリーム等のストリームを生成し、ストリームバッファ１２４に出力する。
【００２０】
ストリームバッファ１２４は、生成されたトランスポートストリームを格納する。メモリカードライタ１２６には、着脱可能な記録媒体としてのメモリカード２Ａ及び２Ｂが挿入される。メモリカード２Ａ及び２Ｂは、書き込み可能なメモリカードであって、例えば、ＳＤ（secure digital）メモリカード、又はＣＦ（CompactFlash）メモリカードである。
【００２１】
メモリカードライタ１２６は、ストリームバッファ１２４からストリームを読み出して、メモリカード２Ａ又は２Ｂに書き込む。メモリカード２Ａに書き込み中に空き容量が十分ではなくなると、記録制御部１２２の指示に基づいて、メモリカードライタ１２６は、メモリカード２Ａへの書き込みを終了し、メモリカード２Ｂへの書き込みを開始する。メモリカード２Ｂに書き込み中に空き容量が十分ではなくなると、記録制御部１２２の指示に基づいて、メモリカードライタ１２６は、メモリカード２Ｂへの書き込みを終了し、メモリカード２Ａへの書き込みを開始する。
【００２２】
図２は、ストリームを分割する必要がない場合に、図１のストリーム生成器から出力されるストリームの例を示す説明図である。パケット多重化部１４８は、生成されたビデオパケット（Ｖ）と生成されたオーディオパケット（Ａ）とを連結して、図２のストリームを生成する。１つのビデオフレームには１個以上のビデオパケットが含まれる。１つのオーディオフレームには１個以上のオーディオパケットが含まれる。
【００２３】
ビデオフレームＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，…は、所定の長さの時間のビデオパケットに対応し、オーディオフレームＡ，Ｂ，Ｃ，Ｄ，Ｅ，…は、所定の長さの時間のオーディオパケットに対応する。本明細書では、各ビデオフレームが長さ３３ｍｓの映像データに対応し、各オーディオフレームが長さ３２ｍｓの音声データに対応する場合について説明する。図２のストリーム内のビデオパケットが表示器に表示されるべき時刻（提示時刻）は、図２のストリーム内のビデオフレーム順であるとは限らない。図２のストリーム内のオーディオパケットがスピーカー等から出力されるべき時刻（提示時刻）は、図２のストリーム内のオーディオフレームの順であるとは限らない。
【００２４】
図３（ａ）は、図２のストリームが単純に２分割された場合の前半ストリームを示す説明図である。図３（ｂ）は、図２のストリームが単純に２分割された場合の後半ストリームを示す説明図である。図４（ａ）は、図３（ａ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。図４（ｂ）は、図３（ｂ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。各ビデオパケットの提示期間は、ビデオパケットに含まれるＰＴＳ（presentation time stamp）が示す提示時刻から１ビデオフレーム分の長さの期間であり、各オーディオパケットの提示期間は、オーディオパケットに含まれるＰＴＳが示す提示時刻から１オーディオフレーム分の長さの期間である。
【００２５】
図２のストリームを分割してメモリカード２Ａ及び２Ｂに格納する方法としては、図２のストリームを２分割し、分割点より前の図３（ａ）のストリームをメモリカード２Ａに格納させ、分割点より後の図３（ｂ）のストリームをメモリカード２Ｂに格納させる方法がある。この場合、図３（ａ）のストリームには、図４（ａ）に示されているように、提示期間が１３２ｍｓまでのビデオパケット及び提示期間が９６ｍｓまでのオーディオパケットが含まれる。図３（ｂ）のストリームには、図４（ｂ）に示されているように、提示期間が１３２ｍｓからのビデオパケット及び提示期間が９６ｍｓからのオーディオパケットが含まれる。
【００２６】
このようにしてメモリカード２Ａに格納された図３（ａ）のストリームを他の再生機で再生すると、オーディオパケットが不足しているので、提示期間９６ｍｓ〜１３２ｍｓにおいて、映像は再生されるが音声は再生されないという現象が生じてしまう。また、メモリカード２Ａとメモリカード２Ｂとを用いて他の再生機で再生する場合においても、メモリカード２Ａのストリームとメモリカード２Ｂのストリームとは異なるストリームであると認識されるので、同様に、音声が再生されないという現象が生じてしまう。
【００２７】
図１のビデオカメラ１００は、このような望ましくない現象を避けるために、以下のように動作を行う。空き容量監視部１２８は、書き込み中のメモリカード２Ａ又は２Ｂの空き容量を検出する。具体的には、空き容量監視部１２８は、空き容量を通知するようにメモリカードライタ１２６に要求する。メモリカードライタ１２６は、書き込み中のメモリカード２Ａ又は２Ｂの空き容量を出力し、空き容量監視部１２８は、空き容量を記録制御部１２２に通知する。
【００２８】
記録制御部１２２は、１ＧＯＰ（group of pictures）の時間長、１ビデオフレームの時間長、及び１オーディオフレームの時間長を分割タイミング生成部１４２に出力する。記録制御部１２２は、通知された空き容量が所定値未満である場合には、分割指示を示す信号を分割タイミング生成部１４２に出力する。
【００２９】
分割タイミング生成部１４２は、分割指示を受けると、分割後の前半ストリームの最終ビデオフレーム及び最終オーディオフレームを決定し、多重化制御部１４４に通知する。最終ビデオフレームは、前半ストリームの最後に表示されるべき符号化映像データに対応する。最終オーディオフレームは、その提示期間内に、最終ビデオフレームの提示期間の終了時刻を有するオーディオフレームである。分割タイミング生成部１４２は、例えば、書き込み中のＧＯＰの最後に表示されるべきビデオフレームを最終ビデオフレームとする。
【００３０】
多重化制御部１４４は、ビデオパケットとオーディオパケットとを多重化するように、パケット多重化部１４８に指示する。多重化制御部１４４は、最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前半ストリームに含まれるように、パケット多重化部１４８を制御する。パケット多重化部１４８は、１ビデオフレーム又は１オーディオフレームの多重化が終わる毎に、多重化制御部１４４に多重化完了通知を行う。最終ビデオフレームまでのビデオフレーム、及び最終オーディオフレームまでのオーディオフレームの多重化が完了すると、多重化制御部１４４は、パケット多重化部１４８に、前半ストリームの生成を終了し、分割後の後半ストリームの生成を開始するように指示する。多重化制御部１４４は、前半ストリームの生成が終了したことを記録制御部１２２に通知する。
【００３１】
この通知を受けると、記録制御部１２２は、前半ストリームが書き込まれたメモリカード２Ａ又は２Ｂへの書き込みを、前半ストリームの全体が書き込まれた時点で終了し、他方のメモリカード２Ｂ又は２Ａへの後半ストリームの書き込みを開始するように、メモリカードライタ１２６に指示を行う。パケット多重化部１４８は、前半ストリームの符号化映像データより後に表示されるべき符号化映像データを有する後半ストリームの生成を行い、ストリームバッファ１２４に出力する。以上の動作により、図２のストリームに基づいて次のようなストリームが得られる。
【００３２】
図５（ａ）は、図１のストリーム生成器１４０により得られた前半ストリームの例を示す説明図である。図５（ｂ）は、図１のストリーム生成器１４０により得られた後半ストリームの例を示す説明図である。図６（ａ）は、図５（ａ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。図６（ｂ）は、図５（ｂ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。
【００３３】
図５（ａ）のビデオフレームＤがＧＯＰの最後のフレームであるとすると、分割タイミング生成部１４２は、このビデオフレームＤを最終ビデオフレームとする。このビデオフレームの提示期間は９９ｍｓ〜１３２ｍｓである。このビデオフレームに対応するオーディオフレームのうち、提示時刻が最も遅いフレームはオーディオフレームＥである。分割タイミング生成部１４２は、このオーディオフレームＥを最終オーディオフレームとし、その提示期間は１２８ｍｓ〜１６０ｍｓである。この結果、前半ストリームには、ビデオフレームＡ〜Ｄ及びオーディオフレームＡ〜Ｅが含まれる。後半ストリームには、図５（ｂ）のように、これらのフレームより提示時刻が遅いビデオフレーム及びオーディオフレームが含まれる。
【００３４】
図６（ａ）に示されているように、ストリーム生成器１４０によると、前半ストリームに含まれるビデオフレームに対応する全てのオーディオフレームが前半ストリームに含まれる。このため、メモリカード２Ａ等に格納された図５（ａ）の前半ストリームを他の再生機で再生する場合であっても、オーディオパケットが不足することがなく、映像に対応する音声が再生される。
【００３５】
更に、図１のビデオカメラ１００は、以下のように動作を行ってもよい。前半ストリームの生成が終了すると、多重化制御部１４４は、音声データ複製部１４６に、オーディオパケットを複製するように指示する。音声データ複製部１４６は、前半ストリームの最終オーディオフレームのオーディオパケットを複製するように、パケット多重化部１４８及びオーディオバッファ１５４に指示する。オーディオバッファ１５４は、複製するように指示を受けると、最終オーディオフレームのオーディオパケットを複製し、パケット多重化部１４８に出力する。
【００３６】
パケット多重化部１４８は、複製されたオーディオパケットに、最終オーディオフレームと同じＰＴＳを付与する。パケット多重化部１４８は、複製されたパケットを後半ストリームの先頭のオーディオパケットとして用い、後半ストリームを生成する。以上の動作により、図２のストリームに基づいて次のようなストリームが得られる。
【００３７】
図７（ａ）は、図１のストリーム生成器１４０により得られた前半ストリームの他の例を示す説明図である。図７（ｂ）は、図１のストリーム生成器１４０により得られた後半ストリームの他の例を示す説明図である。図８（ａ）は、図７（ａ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。図８（ｂ）は、図７（ｂ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。
【００３８】
図７（ａ）のストリームは、図５（ａ）のストリームと同じである。図７（ｂ）のストリームは、図５（ｂ）のオーディオフレームに加えてオーディオフレームＥをも有している。このため、後半ストリームに含まれるビデオフレームに対応する全てのオーディオフレームが後半ストリームに含まれる。このため、メモリカード２Ｂ等に格納された図７（ｂ）の後半ストリームを他の再生機で再生する場合であっても、オーディオパケットが不足することがなく、映像に対応する音声が再生される。
【００３９】
また、各ストリームに含まれるＰＴＳによって提示時刻を制御することができるので、メモリカード２Ａとメモリカード２Ｂとを用いて他の再生機で再生する場合においても、前半ストリームと後半ストリームとが一連のストリームであることを示す特別な管理情報を記録しなくても、メモリカード２Ａのストリームとメモリカード２Ｂのストリームとを連続して再生することができる。図７（ａ）及び（ｂ）の場合、前半ストリーム及び後半ストリームにおいて１つのオーディオパケットが重複するのみであるので、データ量はほとんど増加しない。
【００４０】
図９は、本発明の実施形態に係るビデオカメラの他の構成例を示すブロック図である。図９のビデオカメラ２００は、ストリーム生成器１４０及び映像符号化部１１４に代えてストリーム生成器２４０及び映像符号化部２１４を有する点の他は、図１のビデオカメラ１００と同様に構成されている。ストリーム生成器２４０は、多重化制御部１４４に代えて多重化制御部２４４を有し、判定部２６２と、符号量制御部２６４とを更に有する点の他は、図１のストリーム生成器１４０と同様に構成されている。
【００４１】
図１のストリーム生成器１４０によると、図５（ａ）及び図７（ａ）のストリームのように、前半ストリームの最後にオーディオフレームが複数連続することがある。このため、ＳＴＣ（system time clock）が進行し、ＭＰＥＧ等で既定されたシステムターゲットデコーダ内の仮想的なビデオバッファがアンダーフローする可能性がある。そこで、前半ストリームの終端に向けて映像符号量を小さくする必要がある。
【００４２】
図９の多重化制御部２４４は、分割タイミング生成部１４２から通知された前半ストリームの最終ビデオフレーム及び最終オーディオフレームに基づいて、前半ストリームの最後部で連続するオーディオフレームの数と、システムターゲットデコーダ内のビデオバッファの空き容量とを求め、判定部２６２に出力する。
【００４３】
判定部２６２は、前半ストリームの最後部で連続するオーディオフレームの数と、このビデオバッファの空き容量とに基づいて、このビデオバッファがアンダーフローするか否かを判定する。アンダーフローすると判定した場合には、ビデオデータの符号量を抑制する必要があり、判定部２６２は、連続するオーディオフレームによって進行するＳＴＣの時間を求め、符号量制御部２６４に出力する。
【００４４】
符号量制御部２６４は、連続するオーディオフレームによって進行するＳＴＣの時間に基づいて、抑制すべき符号量を計算し、映像符号化部２１４に出力する。映像符号化部２１４は、前半ストリームに含まれるビデオフレームの符号量を、符号量制御部２６４から通知された抑制すべき符号量だけ小さくする。
【００４５】
図１０は、本発明の実施形態に係るビデオカメラの更に他の構成例を示すブロック図である。図１０のビデオカメラ３００は、ストリーム生成器１４０及び記録制御部１２２に代えてストリーム生成器３４０及び記録制御部３２２を有し、入力部３３２を更に有する点の他は、図１のビデオカメラ１００と同様に構成されている。ストリーム生成器３４０は、多重化制御部１４４に代えて多重化制御部３４４を有し、分割情報格納部３６６を更に有する点の他は、図１のストリーム生成器１４０と同様に構成されている。
【００４６】
ユーザは、入力部３３２を操作して、記録の開始、記録の停止の他に、記録の仮停止等を指示することができるようになっている。ストリームを記録中にユーザが仮停止を指示すると、記録制御部３２２は、図１のビデオカメラにおいて空き容量監視部１２８から通知された空き容量が所定値未満である場合と同様に、分割指示を示す信号を分割タイミング生成部１４２に出力する。
【００４７】
ストリーム生成器３４０の各構成要素の動作は、図１のストリーム生成器１４０とほぼ同様である。ただし、多重化制御部３４４は、ストリームの分割に関する分割情報を分割情報格納部３６６に格納させる。
【００４８】
メモリカードライタ１２６は、まず、メモリカード２Ａに前半ストリームの書き込みを行う。分割指示を示す信号が出力されると、メモリカードライタ１２６は、記録制御部３２２の指示に基づいて、前半ストリームの書き込みを終了し、メモリカード２Ａへの後半ストリームの書き込みを開始する。
【００４９】
分割情報には、前半ストリームの最後に提示されるべきビデオフレーム及びオーディオフレームのＰＴＳ、並びにメモリカードにおいて前半ストリームの書き込みが終了した位置（アドレス又はセクタ番号）の情報等が含まれる。多重化制御部３４４は、このような分割情報を、例えば記録制御部３２２を経由して受け取る。
【００５０】
後半ストリームの書き込み中に、ユーザが記録の停止を指示すると、記録制御部３２２は、分割情報格納部３６６から分割情報を読み出し、仮停止後の後半ストリームが必要か否かをユーザに尋ねるメッセージを表示器（図示せず）に表示する。ユーザは、入力部３３２を用いて回答する。記録制御部３２２は、後半ストリームの書き込みを終了するようにメモリカードライタ１２６に指示をする。後半ストリームが必要ではないとユーザが回答した場合には、記録制御部３２２は、分割情報を用いてメモリカードライタ１２６に後半ストリームを消去させる。後半ストリームが必要であるとユーザが回答した場合には、記録制御部３２２は、後半ストリームをそのまま残す。
【００５１】
このように、図１０のビデオカメラ３００によると、仮停止後の後半ストリームをメモリカード２Ａに保存するか否かを、記録の停止後に判断することができる。後半ストリームが必要ではないと回答すれば、後半ストリームは自動的に消去されるので、誤って必要なデータを削除することなく、不要なデータを削除することができる。
【００５２】
図１１は、図１のビデオカメラの変形例を示すブロック図である。図１１のビデオカメラ４００は、メモリカードライタ１２６に挿入されたメモリカード２Ａ及び２Ｂを構成要素として有している。このようにメモリカード２Ａ及び２Ｂがビデオカメラ４００に含まれていてもよい。また、ビデオカメラ４００が、メモリインタフェースと半導体メモリとを更に有し、この半導体メモリにメモリカード２Ａ又は２Ｂと同様に書き込みを行うようにしてもよい。
【００５３】
図１、図９、及び図１０を参照して、パケット多重化部１４８が前半ストリーム及び後半ストリームを生成する場合について説明したが、同様の処理を繰り返してもよい。これにより、記録済みのメモリカードを新たなメモリカードと入れ換えれば、ストリームの記録を更に続けることができる。
【００５４】
本明細書における各機能ブロックは、典型的にはハードウェアで実現され得る。例えば各機能ブロックは、ＩＣ（集積回路）の一部として半導体基板上に形成され得る。ここでＩＣは、ＬＳＩ（large-scale integrated circuit）、ＡＳＩＣ（application-specific integrated circuit）、ゲートアレイ、ＦＰＧＡ（field programmable gate array）等を含む。代替としては各機能ブロックの一部又は全ては、ソフトウェアで実現され得る。例えばそのような機能ブロックは、プロセッサ及びプロセッサ上で実行されるプログラムによって実現され得る。換言すれば、本明細書で説明される各機能ブロックは、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよいし、ハードウェアとソフトウェアとの任意の組合せで実現され得る。
【００５５】
本発明の多くの特徴及び優位性は、記載された説明から明らかであり、よって添付の特許請求の範囲によって、本発明のそのような特徴及び優位性の全てをカバーすることが意図される。更に、多くの変更及び改変が当業者には容易に可能であるので、本発明は、図示され記載されたものと全く同じ構成及び動作に限定されるべきではない。したがって、全ての適切な改変物及び等価物は本発明の範囲に入るものとされる。
【産業上の利用可能性】
【００５６】
以上説明したように、本発明の実施形態によれば、複数の記録媒体に連続して記録された動画ファイルを、音声を欠落させることなく再生できるようになるので、本発明は、ストリーム生成器及びビデオカメラ等について有用である。
【符号の説明】
【００５７】
２Ａ，２Ｂ メモリカード
１００，２００，３００，４００ ビデオカメラ
１１２ 撮像部
１１４，２１４ 映像符号化部
１１６ マイクロホン
１１８ 音声符号化部
１２２，３２２ 記録制御部
１２４ ストリームバッファ
１２６ メモリカードライタ
１２８ 空き容量監視部
１４０，２４０，３４０ ストリーム生成器
１４２ 分割タイミング生成部
１４４，２４４，３４４ 多重化制御部
１４６ 音声データ複製部
１４８ パケット多重化部
１５２ ビデオバッファ
１５４ オーディオバッファ
２６２ 判定部
２６４ 符号量制御部
３６６ 分割情報格納部
【技術分野】
【０００１】
本開示は、音声データと映像データとを多重化してストリームを生成する技術に関する。
【背景技術】
【０００２】
近年、ビデオカメラの記録媒体としてメモリカードが使用されるようになってきており、２枚のメモリカードを同時に挿入可能なビデオカメラも増えてきている。このようなビデオカメラは、撮影時に、まず１枚目のメモリカードにデータを記録し、１枚目のメモリカードの空き容量が足りなくなると、データの記録を停止せずに２枚目のメモリカードに記録を続けることができる。２枚目のメモリカードへの記録を終了後、２枚のメモリカードを再生機に挿入することにより、撮影された映像の再生を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３００５２７号公報
【特許文献２】特開平７−２５５０３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、１枚目のメモリカードに記録された映像データに対応する音声データが、２枚目のメモリカードに記録されることがある。２枚のメモリカードの動画ファイルは独立しており、再生機は、これらの動画ファイルが連続して記録されたファイルであると認識することができない。このため、１枚目のメモリカードのデータを再生するときに、音声データが不足し、音声が再生されない期間が生じることがある。
【０００５】
関連する技術が、例えば特許文献１及び２に記載されている。特許文献１には、１ＧＯＰ（group of pictures）のビデオパケットの次に、これらのビデオパケットに対応するオーディオパケットを記録する方法が記載されている。しかし、特許文献１によると、オーディオパケットの位置が決められているので、ビデオパケットの符号量を抑える必要がある。また、このような方法で記録されていることを示す管理情報を記録媒体に書き込んでおく必要があり、動画ファイルの読出し時にはこの管理情報をも読み出す必要がある。
【０００６】
特許文献２には、２つのＧＯＰに対応するオーディオフレームのデータを重複して記録媒体に記録する方法が記載されている。しかし、特許文献２によると、オーディオデータが重複して記録されていることを示す管理情報を、オーディオフレームが記録されるセクタのサブコード領域に書き込む必要があり、動画ファイルの読出し時には、セクタのサブコード領域を読み出す特殊な再生機が必要である。また、動画ファイルを他の記録媒体にコピーすると、管理情報はコピーされないので、特許文献２の方法で記録されていることが判別できなくなる。
【０００７】
本発明は、複数の記録媒体に連続して記録された動画ファイルが、音声を欠落させることなく再生されるように、記録のための複数のストリームを生成することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の実施形態によるストリーム生成器は、符号化音声データと符号化映像データとを多重化して、第１ストリームと、前記第１ストリームの符号化映像データより後に表示されるべき符号化映像データを有する第２ストリームとを生成するパケット多重化部と、分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定する分割タイミング生成部と、前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように前記パケット多重化部を制御する多重化制御部とを有する。
【０００９】
本発明の実施形態によるビデオカメラは、映像を撮影し、撮影された映像を映像データとして出力する撮像部と、前記映像データを符号化して符号化映像データを生成する映像データ符号化部と、音声を音声データに変換して出力するマイクロホンと、前記音声データを符号化して符号化音声データを生成する音声データ符号化部と、前記符号化映像データ及び前記符号化音声データから、第１ストリーム及び第２ストリームを生成するストリーム生成器と、前記第１ストリームを第１記録媒体に書き込み、前記第２ストリームを第２記録媒体に書き込むメモリカードライタと、前記第１記録媒体の空き容量を検出する空き容量監視部と、前記空き容量が所定値未満である場合に分割指示を出力する記録制御部とを有する。前記ストリーム生成器は、前記符号化音声データと前記符号化映像データとを多重化して、前記第１ストリームと、前記第１ストリームの符号化映像データより後に表示されるべき符号化映像データを有する前記第２ストリームとを生成するパケット多重化部と、分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定する分割タイミング生成部と、前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように前記パケット多重化部を制御する多重化制御部とを有する。
【００１０】
本発明の実施形態によるストリーム生成方法は、符号化音声データ及び符号化映像データから、第１ストリーム及び第２ストリームを生成するストリーム生成方法であって、分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定し、前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように、前記符号化音声データと前記符号化映像データとを多重化して、前記第１ストリームと、前記第１ストリームの符号化映像データより後に表示されるべき符号化映像データを有する前記第２ストリームとを生成する。
【発明の効果】
【００１１】
本発明の実施形態によれば、生成された複数のストリームを記録することにより、複数の記録媒体に連続して記録された動画ファイルが、音声を欠落させることなく再生される。記録媒体には、特別な管理情報を記録する必要がない。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係るビデオカメラの構成例を示すブロック図である。
【図２】ストリームを分割する必要がない場合に、図１のストリーム生成器から出力されるストリームの例を示す説明図である。
【図３】（ａ）は、図２のストリームが単純に２分割された場合の前半ストリームを示す説明図である。（ｂ）は、図２のストリームが単純に２分割された場合の後半ストリームを示す説明図である。
【図４】図４（ａ）は、図３（ａ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。図４（ｂ）は、図３（ｂ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。
【図５】（ａ）は、図１のストリーム生成器により得られた前半ストリームの例を示す説明図である。（ｂ）は、図１のストリーム生成器により得られた後半ストリームの例を示す説明図である。
【図６】図６（ａ）は、図５（ａ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。図６（ｂ）は、図５（ｂ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。
【図７】（ａ）は、図１のストリーム生成器により得られた前半ストリームの他の例を示す説明図である。（ｂ）は、図１のストリーム生成器により得られた後半ストリームの他の例を示す説明図である。
【図８】図８（ａ）は、図７（ａ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。図８（ｂ）は、図７（ｂ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。
【図９】本発明の実施形態に係るビデオカメラの他の構成例を示すブロック図である。
【図１０】本発明の実施形態に係るビデオカメラの更に他の構成例を示すブロック図である。
【図１１】図１のビデオカメラの変形例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照しながら説明する。図面において下２桁が同じ参照番号で示された構成要素は、互いに対応しており、同一の又は類似の構成要素である。
【００１４】
図１は、本発明の実施形態に係るビデオカメラの構成例を示すブロック図である。図１のビデオカメラ１００は、撮像部１１２と、映像符号化部１１４と、マイクロホン１１６と、音声符号化部１１８と、記録制御部１２２と、ストリームバッファ１２４と、メモリカードライタ１２６と、空き容量監視部１２８と、ストリーム生成器１４０とを有する。
【００１５】
ストリーム生成器１４０は、分割タイミング生成部１４２と、多重化制御部１４４と、音声データ複製部１４６と、パケット多重化部１４８と、ビデオバッファ１５２と、オーディオバッファ１５４とを有する。ストリーム生成器１４０は、例えば１つの半導体チップ上に形成される。ユーザは、入力部（図示せず）を操作して、記録の開始、記録の停止等を記録制御部１２２に指示する。特に図示はしていないが、記録制御部１２２は、ビデオカメラ１００の各構成要素の制御を行う。
【００１６】
撮像部１１２は、レンズ等の光学系及び撮像デバイスを有し、映像を撮影し、撮影された映像を映像データとして出力する。映像符号化部１１４は、撮像部１１２から出力された映像データを符号化して符号化映像データを生成し、出力する。マイクロホン１１６は、音声を音声データに変換して出力する。音声符号化部１１８は、マイクロホン１１６から出力された音声データを符号化して符号化音声データを生成し、出力する。
【００１７】
映像符号化部１１４は、例えば、ＭＰＥＧ−２（moving picture experts group-2）やＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（advanced video coding）に従って符号化を行う。音声符号化部１１８は、例えば、ＡＣ−３やＬＰＣＭ（linear pulse code modulation）に従って符号化を行う。映像符号化部１１４は、１ビデオフレームの映像データのエンコードを完了する毎に、パケット多重化部１４８にエンコード完了を通知する。音声符号化部１１８は、１オーディオフレームの音声データのエンコードを完了する毎に、パケット多重化部１４８にエンコード完了を通知する。
【００１８】
ストリーム生成器１４０は、符号化映像データ及び符号化音声データから、後述の前半ストリーム及び後半ストリームを生成する。ストリーム生成器１４０のビデオバッファ１５２は、映像符号化部１１４で生成された符号化映像データを格納する。オーディオバッファ１５４は、音声符号化部１１８で生成された符号化音声データを格納する。
【００１９】
パケット多重化部１４８は、映像符号化部１１４からのエンコード完了通知に従って、符号化映像データをビデオバッファ１５２から読み出して、符号化映像データを含むビデオパケットを生成し、音声符号化部１１８からのエンコード完了通知に従って、符号化音声データをオーディオバッファ１５４から読み出して、符号化音声データを含むオーディオパケットを生成する。ビデオパケット及びオーディオパケットは、例えばＭＰＥＧ２のトランスポートストリームパケットである。パケット多重化部１４８は、生成されたビデオパケットとオーディオパケットとを多重化して、トランスポートストリーム等のストリームを生成し、ストリームバッファ１２４に出力する。
【００２０】
ストリームバッファ１２４は、生成されたトランスポートストリームを格納する。メモリカードライタ１２６には、着脱可能な記録媒体としてのメモリカード２Ａ及び２Ｂが挿入される。メモリカード２Ａ及び２Ｂは、書き込み可能なメモリカードであって、例えば、ＳＤ（secure digital）メモリカード、又はＣＦ（CompactFlash）メモリカードである。
【００２１】
メモリカードライタ１２６は、ストリームバッファ１２４からストリームを読み出して、メモリカード２Ａ又は２Ｂに書き込む。メモリカード２Ａに書き込み中に空き容量が十分ではなくなると、記録制御部１２２の指示に基づいて、メモリカードライタ１２６は、メモリカード２Ａへの書き込みを終了し、メモリカード２Ｂへの書き込みを開始する。メモリカード２Ｂに書き込み中に空き容量が十分ではなくなると、記録制御部１２２の指示に基づいて、メモリカードライタ１２６は、メモリカード２Ｂへの書き込みを終了し、メモリカード２Ａへの書き込みを開始する。
【００２２】
図２は、ストリームを分割する必要がない場合に、図１のストリーム生成器から出力されるストリームの例を示す説明図である。パケット多重化部１４８は、生成されたビデオパケット（Ｖ）と生成されたオーディオパケット（Ａ）とを連結して、図２のストリームを生成する。１つのビデオフレームには１個以上のビデオパケットが含まれる。１つのオーディオフレームには１個以上のオーディオパケットが含まれる。
【００２３】
ビデオフレームＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，…は、所定の長さの時間のビデオパケットに対応し、オーディオフレームＡ，Ｂ，Ｃ，Ｄ，Ｅ，…は、所定の長さの時間のオーディオパケットに対応する。本明細書では、各ビデオフレームが長さ３３ｍｓの映像データに対応し、各オーディオフレームが長さ３２ｍｓの音声データに対応する場合について説明する。図２のストリーム内のビデオパケットが表示器に表示されるべき時刻（提示時刻）は、図２のストリーム内のビデオフレーム順であるとは限らない。図２のストリーム内のオーディオパケットがスピーカー等から出力されるべき時刻（提示時刻）は、図２のストリーム内のオーディオフレームの順であるとは限らない。
【００２４】
図３（ａ）は、図２のストリームが単純に２分割された場合の前半ストリームを示す説明図である。図３（ｂ）は、図２のストリームが単純に２分割された場合の後半ストリームを示す説明図である。図４（ａ）は、図３（ａ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。図４（ｂ）は、図３（ｂ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。各ビデオパケットの提示期間は、ビデオパケットに含まれるＰＴＳ（presentation time stamp）が示す提示時刻から１ビデオフレーム分の長さの期間であり、各オーディオパケットの提示期間は、オーディオパケットに含まれるＰＴＳが示す提示時刻から１オーディオフレーム分の長さの期間である。
【００２５】
図２のストリームを分割してメモリカード２Ａ及び２Ｂに格納する方法としては、図２のストリームを２分割し、分割点より前の図３（ａ）のストリームをメモリカード２Ａに格納させ、分割点より後の図３（ｂ）のストリームをメモリカード２Ｂに格納させる方法がある。この場合、図３（ａ）のストリームには、図４（ａ）に示されているように、提示期間が１３２ｍｓまでのビデオパケット及び提示期間が９６ｍｓまでのオーディオパケットが含まれる。図３（ｂ）のストリームには、図４（ｂ）に示されているように、提示期間が１３２ｍｓからのビデオパケット及び提示期間が９６ｍｓからのオーディオパケットが含まれる。
【００２６】
このようにしてメモリカード２Ａに格納された図３（ａ）のストリームを他の再生機で再生すると、オーディオパケットが不足しているので、提示期間９６ｍｓ〜１３２ｍｓにおいて、映像は再生されるが音声は再生されないという現象が生じてしまう。また、メモリカード２Ａとメモリカード２Ｂとを用いて他の再生機で再生する場合においても、メモリカード２Ａのストリームとメモリカード２Ｂのストリームとは異なるストリームであると認識されるので、同様に、音声が再生されないという現象が生じてしまう。
【００２７】
図１のビデオカメラ１００は、このような望ましくない現象を避けるために、以下のように動作を行う。空き容量監視部１２８は、書き込み中のメモリカード２Ａ又は２Ｂの空き容量を検出する。具体的には、空き容量監視部１２８は、空き容量を通知するようにメモリカードライタ１２６に要求する。メモリカードライタ１２６は、書き込み中のメモリカード２Ａ又は２Ｂの空き容量を出力し、空き容量監視部１２８は、空き容量を記録制御部１２２に通知する。
【００２８】
記録制御部１２２は、１ＧＯＰ（group of pictures）の時間長、１ビデオフレームの時間長、及び１オーディオフレームの時間長を分割タイミング生成部１４２に出力する。記録制御部１２２は、通知された空き容量が所定値未満である場合には、分割指示を示す信号を分割タイミング生成部１４２に出力する。
【００２９】
分割タイミング生成部１４２は、分割指示を受けると、分割後の前半ストリームの最終ビデオフレーム及び最終オーディオフレームを決定し、多重化制御部１４４に通知する。最終ビデオフレームは、前半ストリームの最後に表示されるべき符号化映像データに対応する。最終オーディオフレームは、その提示期間内に、最終ビデオフレームの提示期間の終了時刻を有するオーディオフレームである。分割タイミング生成部１４２は、例えば、書き込み中のＧＯＰの最後に表示されるべきビデオフレームを最終ビデオフレームとする。
【００３０】
多重化制御部１４４は、ビデオパケットとオーディオパケットとを多重化するように、パケット多重化部１４８に指示する。多重化制御部１４４は、最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前半ストリームに含まれるように、パケット多重化部１４８を制御する。パケット多重化部１４８は、１ビデオフレーム又は１オーディオフレームの多重化が終わる毎に、多重化制御部１４４に多重化完了通知を行う。最終ビデオフレームまでのビデオフレーム、及び最終オーディオフレームまでのオーディオフレームの多重化が完了すると、多重化制御部１４４は、パケット多重化部１４８に、前半ストリームの生成を終了し、分割後の後半ストリームの生成を開始するように指示する。多重化制御部１４４は、前半ストリームの生成が終了したことを記録制御部１２２に通知する。
【００３１】
この通知を受けると、記録制御部１２２は、前半ストリームが書き込まれたメモリカード２Ａ又は２Ｂへの書き込みを、前半ストリームの全体が書き込まれた時点で終了し、他方のメモリカード２Ｂ又は２Ａへの後半ストリームの書き込みを開始するように、メモリカードライタ１２６に指示を行う。パケット多重化部１４８は、前半ストリームの符号化映像データより後に表示されるべき符号化映像データを有する後半ストリームの生成を行い、ストリームバッファ１２４に出力する。以上の動作により、図２のストリームに基づいて次のようなストリームが得られる。
【００３２】
図５（ａ）は、図１のストリーム生成器１４０により得られた前半ストリームの例を示す説明図である。図５（ｂ）は、図１のストリーム生成器１４０により得られた後半ストリームの例を示す説明図である。図６（ａ）は、図５（ａ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。図６（ｂ）は、図５（ｂ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。
【００３３】
図５（ａ）のビデオフレームＤがＧＯＰの最後のフレームであるとすると、分割タイミング生成部１４２は、このビデオフレームＤを最終ビデオフレームとする。このビデオフレームの提示期間は９９ｍｓ〜１３２ｍｓである。このビデオフレームに対応するオーディオフレームのうち、提示時刻が最も遅いフレームはオーディオフレームＥである。分割タイミング生成部１４２は、このオーディオフレームＥを最終オーディオフレームとし、その提示期間は１２８ｍｓ〜１６０ｍｓである。この結果、前半ストリームには、ビデオフレームＡ〜Ｄ及びオーディオフレームＡ〜Ｅが含まれる。後半ストリームには、図５（ｂ）のように、これらのフレームより提示時刻が遅いビデオフレーム及びオーディオフレームが含まれる。
【００３４】
図６（ａ）に示されているように、ストリーム生成器１４０によると、前半ストリームに含まれるビデオフレームに対応する全てのオーディオフレームが前半ストリームに含まれる。このため、メモリカード２Ａ等に格納された図５（ａ）の前半ストリームを他の再生機で再生する場合であっても、オーディオパケットが不足することがなく、映像に対応する音声が再生される。
【００３５】
更に、図１のビデオカメラ１００は、以下のように動作を行ってもよい。前半ストリームの生成が終了すると、多重化制御部１４４は、音声データ複製部１４６に、オーディオパケットを複製するように指示する。音声データ複製部１４６は、前半ストリームの最終オーディオフレームのオーディオパケットを複製するように、パケット多重化部１４８及びオーディオバッファ１５４に指示する。オーディオバッファ１５４は、複製するように指示を受けると、最終オーディオフレームのオーディオパケットを複製し、パケット多重化部１４８に出力する。
【００３６】
パケット多重化部１４８は、複製されたオーディオパケットに、最終オーディオフレームと同じＰＴＳを付与する。パケット多重化部１４８は、複製されたパケットを後半ストリームの先頭のオーディオパケットとして用い、後半ストリームを生成する。以上の動作により、図２のストリームに基づいて次のようなストリームが得られる。
【００３７】
図７（ａ）は、図１のストリーム生成器１４０により得られた前半ストリームの他の例を示す説明図である。図７（ｂ）は、図１のストリーム生成器１４０により得られた後半ストリームの他の例を示す説明図である。図８（ａ）は、図７（ａ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。図８（ｂ）は、図７（ｂ）のストリームに含まれるビデオパケット及びオーディオパケットの提示期間を示す説明図である。
【００３８】
図７（ａ）のストリームは、図５（ａ）のストリームと同じである。図７（ｂ）のストリームは、図５（ｂ）のオーディオフレームに加えてオーディオフレームＥをも有している。このため、後半ストリームに含まれるビデオフレームに対応する全てのオーディオフレームが後半ストリームに含まれる。このため、メモリカード２Ｂ等に格納された図７（ｂ）の後半ストリームを他の再生機で再生する場合であっても、オーディオパケットが不足することがなく、映像に対応する音声が再生される。
【００３９】
また、各ストリームに含まれるＰＴＳによって提示時刻を制御することができるので、メモリカード２Ａとメモリカード２Ｂとを用いて他の再生機で再生する場合においても、前半ストリームと後半ストリームとが一連のストリームであることを示す特別な管理情報を記録しなくても、メモリカード２Ａのストリームとメモリカード２Ｂのストリームとを連続して再生することができる。図７（ａ）及び（ｂ）の場合、前半ストリーム及び後半ストリームにおいて１つのオーディオパケットが重複するのみであるので、データ量はほとんど増加しない。
【００４０】
図９は、本発明の実施形態に係るビデオカメラの他の構成例を示すブロック図である。図９のビデオカメラ２００は、ストリーム生成器１４０及び映像符号化部１１４に代えてストリーム生成器２４０及び映像符号化部２１４を有する点の他は、図１のビデオカメラ１００と同様に構成されている。ストリーム生成器２４０は、多重化制御部１４４に代えて多重化制御部２４４を有し、判定部２６２と、符号量制御部２６４とを更に有する点の他は、図１のストリーム生成器１４０と同様に構成されている。
【００４１】
図１のストリーム生成器１４０によると、図５（ａ）及び図７（ａ）のストリームのように、前半ストリームの最後にオーディオフレームが複数連続することがある。このため、ＳＴＣ（system time clock）が進行し、ＭＰＥＧ等で既定されたシステムターゲットデコーダ内の仮想的なビデオバッファがアンダーフローする可能性がある。そこで、前半ストリームの終端に向けて映像符号量を小さくする必要がある。
【００４２】
図９の多重化制御部２４４は、分割タイミング生成部１４２から通知された前半ストリームの最終ビデオフレーム及び最終オーディオフレームに基づいて、前半ストリームの最後部で連続するオーディオフレームの数と、システムターゲットデコーダ内のビデオバッファの空き容量とを求め、判定部２６２に出力する。
【００４３】
判定部２６２は、前半ストリームの最後部で連続するオーディオフレームの数と、このビデオバッファの空き容量とに基づいて、このビデオバッファがアンダーフローするか否かを判定する。アンダーフローすると判定した場合には、ビデオデータの符号量を抑制する必要があり、判定部２６２は、連続するオーディオフレームによって進行するＳＴＣの時間を求め、符号量制御部２６４に出力する。
【００４４】
符号量制御部２６４は、連続するオーディオフレームによって進行するＳＴＣの時間に基づいて、抑制すべき符号量を計算し、映像符号化部２１４に出力する。映像符号化部２１４は、前半ストリームに含まれるビデオフレームの符号量を、符号量制御部２６４から通知された抑制すべき符号量だけ小さくする。
【００４５】
図１０は、本発明の実施形態に係るビデオカメラの更に他の構成例を示すブロック図である。図１０のビデオカメラ３００は、ストリーム生成器１４０及び記録制御部１２２に代えてストリーム生成器３４０及び記録制御部３２２を有し、入力部３３２を更に有する点の他は、図１のビデオカメラ１００と同様に構成されている。ストリーム生成器３４０は、多重化制御部１４４に代えて多重化制御部３４４を有し、分割情報格納部３６６を更に有する点の他は、図１のストリーム生成器１４０と同様に構成されている。
【００４６】
ユーザは、入力部３３２を操作して、記録の開始、記録の停止の他に、記録の仮停止等を指示することができるようになっている。ストリームを記録中にユーザが仮停止を指示すると、記録制御部３２２は、図１のビデオカメラにおいて空き容量監視部１２８から通知された空き容量が所定値未満である場合と同様に、分割指示を示す信号を分割タイミング生成部１４２に出力する。
【００４７】
ストリーム生成器３４０の各構成要素の動作は、図１のストリーム生成器１４０とほぼ同様である。ただし、多重化制御部３４４は、ストリームの分割に関する分割情報を分割情報格納部３６６に格納させる。
【００４８】
メモリカードライタ１２６は、まず、メモリカード２Ａに前半ストリームの書き込みを行う。分割指示を示す信号が出力されると、メモリカードライタ１２６は、記録制御部３２２の指示に基づいて、前半ストリームの書き込みを終了し、メモリカード２Ａへの後半ストリームの書き込みを開始する。
【００４９】
分割情報には、前半ストリームの最後に提示されるべきビデオフレーム及びオーディオフレームのＰＴＳ、並びにメモリカードにおいて前半ストリームの書き込みが終了した位置（アドレス又はセクタ番号）の情報等が含まれる。多重化制御部３４４は、このような分割情報を、例えば記録制御部３２２を経由して受け取る。
【００５０】
後半ストリームの書き込み中に、ユーザが記録の停止を指示すると、記録制御部３２２は、分割情報格納部３６６から分割情報を読み出し、仮停止後の後半ストリームが必要か否かをユーザに尋ねるメッセージを表示器（図示せず）に表示する。ユーザは、入力部３３２を用いて回答する。記録制御部３２２は、後半ストリームの書き込みを終了するようにメモリカードライタ１２６に指示をする。後半ストリームが必要ではないとユーザが回答した場合には、記録制御部３２２は、分割情報を用いてメモリカードライタ１２６に後半ストリームを消去させる。後半ストリームが必要であるとユーザが回答した場合には、記録制御部３２２は、後半ストリームをそのまま残す。
【００５１】
このように、図１０のビデオカメラ３００によると、仮停止後の後半ストリームをメモリカード２Ａに保存するか否かを、記録の停止後に判断することができる。後半ストリームが必要ではないと回答すれば、後半ストリームは自動的に消去されるので、誤って必要なデータを削除することなく、不要なデータを削除することができる。
【００５２】
図１１は、図１のビデオカメラの変形例を示すブロック図である。図１１のビデオカメラ４００は、メモリカードライタ１２６に挿入されたメモリカード２Ａ及び２Ｂを構成要素として有している。このようにメモリカード２Ａ及び２Ｂがビデオカメラ４００に含まれていてもよい。また、ビデオカメラ４００が、メモリインタフェースと半導体メモリとを更に有し、この半導体メモリにメモリカード２Ａ又は２Ｂと同様に書き込みを行うようにしてもよい。
【００５３】
図１、図９、及び図１０を参照して、パケット多重化部１４８が前半ストリーム及び後半ストリームを生成する場合について説明したが、同様の処理を繰り返してもよい。これにより、記録済みのメモリカードを新たなメモリカードと入れ換えれば、ストリームの記録を更に続けることができる。
【００５４】
本明細書における各機能ブロックは、典型的にはハードウェアで実現され得る。例えば各機能ブロックは、ＩＣ（集積回路）の一部として半導体基板上に形成され得る。ここでＩＣは、ＬＳＩ（large-scale integrated circuit）、ＡＳＩＣ（application-specific integrated circuit）、ゲートアレイ、ＦＰＧＡ（field programmable gate array）等を含む。代替としては各機能ブロックの一部又は全ては、ソフトウェアで実現され得る。例えばそのような機能ブロックは、プロセッサ及びプロセッサ上で実行されるプログラムによって実現され得る。換言すれば、本明細書で説明される各機能ブロックは、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよいし、ハードウェアとソフトウェアとの任意の組合せで実現され得る。
【００５５】
本発明の多くの特徴及び優位性は、記載された説明から明らかであり、よって添付の特許請求の範囲によって、本発明のそのような特徴及び優位性の全てをカバーすることが意図される。更に、多くの変更及び改変が当業者には容易に可能であるので、本発明は、図示され記載されたものと全く同じ構成及び動作に限定されるべきではない。したがって、全ての適切な改変物及び等価物は本発明の範囲に入るものとされる。
【産業上の利用可能性】
【００５６】
以上説明したように、本発明の実施形態によれば、複数の記録媒体に連続して記録された動画ファイルを、音声を欠落させることなく再生できるようになるので、本発明は、ストリーム生成器及びビデオカメラ等について有用である。
【符号の説明】
【００５７】
２Ａ，２Ｂ メモリカード
１００，２００，３００，４００ ビデオカメラ
１１２ 撮像部
１１４，２１４ 映像符号化部
１１６ マイクロホン
１１８ 音声符号化部
１２２，３２２ 記録制御部
１２４ ストリームバッファ
１２６ メモリカードライタ
１２８ 空き容量監視部
１４０，２４０，３４０ ストリーム生成器
１４２ 分割タイミング生成部
１４４，２４４，３４４ 多重化制御部
１４６ 音声データ複製部
１４８ パケット多重化部
１５２ ビデオバッファ
１５４ オーディオバッファ
２６２ 判定部
２６４ 符号量制御部
３６６ 分割情報格納部
【特許請求の範囲】
【請求項１】
符号化音声データと符号化映像データとを多重化して、第１ストリームと、前記第１ストリームの符号化映像データより後に表示されるべき符号化映像データを有する第２ストリームとを生成するパケット多重化部と、
分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定する分割タイミング生成部と、
前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように前記パケット多重化部を制御する多重化制御部とを備える
ストリーム生成器。
【請求項２】
請求項１に記載のストリーム生成器において、
前記第１ストリームの最終オーディオフレームのオーディオパケットを複製するように指示する音声データ複製部を更に備える
ストリーム生成器。
【請求項３】
請求項２に記載のストリーム生成器において、
前記パケット多重化部は、複製されたパケットに前記第１ストリームの最終オーディオフレームと同じＰＴＳ（presentation time stamp）を付与し、前記複製されたパケットを前記第２ストリームの先頭のオーディオパケットとして用いる
ストリーム生成器。
【請求項４】
請求項１に記載のストリーム生成器において、
判定部と、
符号量制御部とを更に備え、
前記多重化制御部は、前記最終ビデオフレーム及び前記最終オーディオフレームに基づいて、前記第１ストリームの最後部で連続するオーディオフレームの数を求め、
前記判定部は、前記第１ストリームの最後部で連続するオーディオフレームによって進行するＳＴＣ（system time clock）の時間を求め、
前記符号量制御部は、前記進行するＳＴＣの時間に基づいて、抑制すべき符号量を計算して出力する
ストリーム生成器。
【請求項５】
請求項１に記載のストリーム生成器において、
分割情報格納部を更に備え、
前記多重化制御部は、前記第１ストリームの書き込みが終了した位置の情報を前記分割情報格納部に格納させる
ストリーム生成器。
【請求項６】
映像を撮影し、撮影された映像を映像データとして出力する撮像部と、
前記映像データを符号化して符号化映像データを生成する映像データ符号化部と、
音声を音声データに変換して出力するマイクロホンと、
前記音声データを符号化して符号化音声データを生成する音声データ符号化部と、
前記符号化映像データ及び前記符号化音声データから、第１ストリーム及び第２ストリームを生成するストリーム生成器と、
前記第１ストリームを第１記録媒体に書き込み、前記第２ストリームを第２記録媒体に書き込むメモリカードライタと、
前記第１記録媒体の空き容量を検出する空き容量監視部と、
前記空き容量が所定値未満である場合に分割指示を出力する記録制御部とを備え、
前記ストリーム生成器は、
前記符号化音声データと前記符号化映像データとを多重化して、前記第１ストリームと、前記第１ストリームの符号化映像データより後に表示されるべき符号化映像データを有する前記第２ストリームとを生成するパケット多重化部と、
分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定する分割タイミング生成部と、
前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように前記パケット多重化部を制御する多重化制御部とを有する
ビデオカメラ。
【請求項７】
請求項６に記載のビデオカメラにおいて、
前記第１ストリームの最終オーディオフレームのオーディオパケットを複製するように指示する音声データ複製部を更に備える
ビデオカメラ。
【請求項８】
請求項６に記載のビデオカメラにおいて、
ストリーム生成器は分割情報格納部を更に備え、
前記多重化制御部は、前記第１ストリームの書き込みが終了した位置の情報を含む分割情報を前記分割情報格納部に格納させ、
前記記録制御部は、前記分割情報格納部から前記分割情報を読み出し、前記分割情報を用いて前記メモリカードライタに前記第２ストリームを消去させる
ビデオカメラ。
【請求項９】
請求項６に記載のビデオカメラにおいて、
前記第１記録媒体と前記第２記録媒体とを更に備える
ビデオカメラ。
【請求項１０】
請求項９に記載のビデオカメラにおいて、
前記第１記録媒体及び前記第２記録媒体は、ＳＤ（secure digital）メモリカードである
ビデオカメラ。
【請求項１１】
符号化音声データ及び符号化映像データから、第１ストリーム及び第２ストリームを生成するストリーム生成方法であって、
分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定し、
前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように、前記符号化音声データと前記符号化映像データとを多重化して、前記第１ストリームと、前記第１ストリームの符号化映像データより後に表示されるべき符号化映像データを有する前記第２ストリームとを生成する
ストリーム生成方法。
【請求項１２】
請求項１１に記載のストリーム生成方法において、更に、
前記第１ストリームの最終オーディオフレームのオーディオパケットを複製するように指示する
ストリーム生成方法。
【請求項１】
符号化音声データと符号化映像データとを多重化して、第１ストリームと、前記第１ストリームの符号化映像データより後に表示されるべき符号化映像データを有する第２ストリームとを生成するパケット多重化部と、
分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定する分割タイミング生成部と、
前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように前記パケット多重化部を制御する多重化制御部とを備える
ストリーム生成器。
【請求項２】
請求項１に記載のストリーム生成器において、
前記第１ストリームの最終オーディオフレームのオーディオパケットを複製するように指示する音声データ複製部を更に備える
ストリーム生成器。
【請求項３】
請求項２に記載のストリーム生成器において、
前記パケット多重化部は、複製されたパケットに前記第１ストリームの最終オーディオフレームと同じＰＴＳ（presentation time stamp）を付与し、前記複製されたパケットを前記第２ストリームの先頭のオーディオパケットとして用いる
ストリーム生成器。
【請求項４】
請求項１に記載のストリーム生成器において、
判定部と、
符号量制御部とを更に備え、
前記多重化制御部は、前記最終ビデオフレーム及び前記最終オーディオフレームに基づいて、前記第１ストリームの最後部で連続するオーディオフレームの数を求め、
前記判定部は、前記第１ストリームの最後部で連続するオーディオフレームによって進行するＳＴＣ（system time clock）の時間を求め、
前記符号量制御部は、前記進行するＳＴＣの時間に基づいて、抑制すべき符号量を計算して出力する
ストリーム生成器。
【請求項５】
請求項１に記載のストリーム生成器において、
分割情報格納部を更に備え、
前記多重化制御部は、前記第１ストリームの書き込みが終了した位置の情報を前記分割情報格納部に格納させる
ストリーム生成器。
【請求項６】
映像を撮影し、撮影された映像を映像データとして出力する撮像部と、
前記映像データを符号化して符号化映像データを生成する映像データ符号化部と、
音声を音声データに変換して出力するマイクロホンと、
前記音声データを符号化して符号化音声データを生成する音声データ符号化部と、
前記符号化映像データ及び前記符号化音声データから、第１ストリーム及び第２ストリームを生成するストリーム生成器と、
前記第１ストリームを第１記録媒体に書き込み、前記第２ストリームを第２記録媒体に書き込むメモリカードライタと、
前記第１記録媒体の空き容量を検出する空き容量監視部と、
前記空き容量が所定値未満である場合に分割指示を出力する記録制御部とを備え、
前記ストリーム生成器は、
前記符号化音声データと前記符号化映像データとを多重化して、前記第１ストリームと、前記第１ストリームの符号化映像データより後に表示されるべき符号化映像データを有する前記第２ストリームとを生成するパケット多重化部と、
分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定する分割タイミング生成部と、
前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように前記パケット多重化部を制御する多重化制御部とを有する
ビデオカメラ。
【請求項７】
請求項６に記載のビデオカメラにおいて、
前記第１ストリームの最終オーディオフレームのオーディオパケットを複製するように指示する音声データ複製部を更に備える
ビデオカメラ。
【請求項８】
請求項６に記載のビデオカメラにおいて、
ストリーム生成器は分割情報格納部を更に備え、
前記多重化制御部は、前記第１ストリームの書き込みが終了した位置の情報を含む分割情報を前記分割情報格納部に格納させ、
前記記録制御部は、前記分割情報格納部から前記分割情報を読み出し、前記分割情報を用いて前記メモリカードライタに前記第２ストリームを消去させる
ビデオカメラ。
【請求項９】
請求項６に記載のビデオカメラにおいて、
前記第１記録媒体と前記第２記録媒体とを更に備える
ビデオカメラ。
【請求項１０】
請求項９に記載のビデオカメラにおいて、
前記第１記録媒体及び前記第２記録媒体は、ＳＤ（secure digital）メモリカードである
ビデオカメラ。
【請求項１１】
符号化音声データ及び符号化映像データから、第１ストリーム及び第２ストリームを生成するストリーム生成方法であって、
分割指示を受けると、前記第１ストリームの最後に表示されるべき前記符号化映像データに対応する最終ビデオフレームと、前記最終ビデオフレームの提示期間の終了時刻を提示期間内に有するオーディオフレームである最終オーディオフレームとを決定し、
前記最終ビデオフレームの提示時刻までの提示時刻を有するビデオフレーム及び前記最終オーディオフレームの提示時刻までの提示時刻を有するオーディオフレームが前記第１ストリームに含まれるように、前記符号化音声データと前記符号化映像データとを多重化して、前記第１ストリームと、前記第１ストリームの符号化映像データより後に表示されるべき符号化映像データを有する前記第２ストリームとを生成する
ストリーム生成方法。
【請求項１２】
請求項１１に記載のストリーム生成方法において、更に、
前記第１ストリームの最終オーディオフレームのオーディオパケットを複製するように指示する
ストリーム生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１２４７５７（Ｐ２０１２−１２４７５７Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７４６３３（Ｐ２０１０−２７４６３３）
【出願日】平成２２年１２月９日（２０１０．１２．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＣＯＭＰＡＣＴＦＬＡＳＨ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月９日（２０１０．１２．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＣＯＭＰＡＣＴＦＬＡＳＨ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]