映像記録装置及び再生装置
【課題】、動き量が所定の閾値未満の画像の符号化と復号化を間引くことにより、処理量を減らし、パフォーマンスの向上と消費電力の低下、生成される映像の容量削減を行う。
【解決手段】間引き判断器１６は、入力された右目用画像とひとつ前の右目用画像との動き量が所定の閾値未満である場合、入力された右目用画像は符号化せず間引くと判断すると共に、比較したひとつ前の画像を右用保持画像バッファ１４にコピーする。そして、画像符号化器１９は、間引き画像ヘッダー情報作成器１８により作成した専用のヘッダー情報を付加する。また、動き量が所定の閾値以上である場合、その画像は符号化すると判断し、画像符号化器１９により符号化させる。画像符号化器１９は、符号化した右目用画像にヘッダー情報作成器１７からのヘッダー情報を付加する。映像記録装置１０は、動きが所定の閾値未満の画像の符号化を間引くため、処理量を減らすことができる。
【解決手段】間引き判断器１６は、入力された右目用画像とひとつ前の右目用画像との動き量が所定の閾値未満である場合、入力された右目用画像は符号化せず間引くと判断すると共に、比較したひとつ前の画像を右用保持画像バッファ１４にコピーする。そして、画像符号化器１９は、間引き画像ヘッダー情報作成器１８により作成した専用のヘッダー情報を付加する。また、動き量が所定の閾値以上である場合、その画像は符号化すると判断し、画像符号化器１９により符号化させる。画像符号化器１９は、符号化した右目用画像にヘッダー情報作成器１７からのヘッダー情報を付加する。映像記録装置１０は、動きが所定の閾値未満の画像の符号化を間引くため、処理量を減らすことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像記録装置及び再生装置に係り、特に複眼カメラで撮影した映像を記録媒体に記録する映像記録装置、及びその記録媒体から複眼カメラで撮影した映像を再生する再生装置に関する。
【背景技術】
【０００２】
立体映像を符号化する技術は多数存在するが、今後主流となると考えられている技術がＭＶＣ(Multi-view Video Coding)である。これは現在の符号化方式の主流となっているＭＰＥＧ４ ＡＶＣ(Moving Picture Experts Group 4 Advanced Video Coding)(H.264)規格を多視点に拡張した技術である。
【０００３】
符号化の方法としては、例えば２視点の場合、２つのレンズから入力された画像をそれぞれ別の画像として符号化していく。この時、符号化効率を上げるために、ひとつのレンズから入力される画像の前後としか参照を行わないところを、もう一方のレンズから入力される画像とも参照を行うようにしている。このような符号化を行うことで作成される映像の大きさが２倍となってしまうところを、最高で１.５倍程度に抑えることを可能にしている。
【０００４】
上記のような符号化を行うことで、符号化された画像の大きさを抑えることが可能となった。しかし、すべての画像を符号化することに変わりはなく、符号化の処理量は減らすことができない。同様に、復号化の処理量も減らすことができない。その結果、立体映像を記録再生すると、通常の映像を記録再生するのと比べて処理量と消費電力が高くなってしまうという問題がある。
【０００５】
そこで、符号化と復号化を行わないという技術が開示されている（例えば、特許文献１参照）。この特許文献１記載の技術は、２つの画像の動き量を検出し、動きが一様な場合に符号化を間引くという技術である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第２９１９２１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１記載の技術は、時間的に前後で動きが一様な場合にしか使用することができず、また、動きがある場面で使用すると、再生した時に滑らかな動きにならないという問題がある。また、上記の技術では、再生する時は間引いた画像を作成するために、時間的に前後の画像から合成するという復号化の処理が入るため再生の処理量を減らすことができない。
【０００８】
本発明は以上の点に鑑みなされたもので、動き量が所定の閾値未満の画像の符号化と復号化を間引くことにより、処理量を減らすことができ、パフォーマンスの向上と消費電力の低下、生成される映像の容量削減ができる映像記録装置及び再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、第１の発明の映像記録装置は、立体映像を構成する左目用画像及び右目用画像のうち左目用画像を生成する左目用画像生成手段と、右目用画像を生成する右目用画像生成手段と、左目用画像を蓄える左用画像バッファと、右目用画像を蓄える右用画像バッファと、左目用画像及び右目用画像のうち予め定めた一方の画像を１枚蓄える保持画像バッファと、保持画像バッファに蓄積される一方の画像の入力時にその一方の画像とそれ以前に入力された一方の画像との動き量を検出する動き検出手段と、動き検出手段で検出された動き量を所定の閾値と比較して、動き量が閾値未満のとき間引き可と判断し、動き量が閾値以上のとき間引き否と判断する間引き判断手段と、間引き判断手段により間引き可と判断された画像に使用する第１のヘッダー情報を作成する第１のヘッダー情報作成手段と、間引き判断手段で間引き否と判断された画像に使用する第２のヘッダー情報を作成する第２のヘッダー情報作成手段と、間引き判断手段で間引き否と判断された画像を符号化し、かつ、第２のヘッダー情報を付加して、符号化された右目用画像と符号化された左目用画像とが交互に合成された画像ストリームを出力すると共に、符号化された画像のうち間引き判断手段で間引き可と判断された画像の符号化画像に代えて第１のヘッダー情報を画像ストリーム中に合成して出力する画像符号化手段と、画像符号化手段からの画像ストリームを記録媒体に記録する記録手段と、を備えることを特徴とする。
【００１０】
また、上記の目的を達成するため、第２の発明の映像記録装置は、立体映像を構成する左目用画像及び右目用画像のうち左目用画像を生成する左目用画像生成手段と、右目用画像を生成する右目用画像生成手段と、左目用画像を入力毎に蓄える左用画像バッファと、右目用画像を入力毎に蓄える右用画像バッファと、左目用画像を１枚蓄える左用保持画像バッファと、右目用画像を１枚蓄える右用保持画像バッファと、左目用画像及び右目用画像のうち入力された一方の画像の入力時にその一方の画像とそれ以前に入力された一方の画像との動き量を検出する動き検出手段と、左目用画像及び右目用画像のうち入力された一方の画像を符号化するときに、左用保持画像バッファ及び右用保持画像バッファのうち、入力された一方の画像の保持画像バッファに保持画像があるときには、その保持画像を削除すると共に一方の画像を符号化する画像とし、一方の画像の保持画像バッファに保持画像がなく、かつ、もう一方の画像の保持画像バッファに保持画像があるときは一方の画像又はもう一方の画像を符号化する画像とし、左用保持画像バッファ及び右用保持画像バッファの両方に保持画像が存在しないときは動き検出手段で検出された動き量を所定の閾値と比較して、動き量が閾値未満のとき間引き可と判断し、動き量が閾値以上のとき間引き否と判断する間引き判断手段と、間引き判断手段により間引き可と判断された画像に使用する第１のヘッダー情報を作成する第１のヘッダー情報作成手段と、間引き判断手段で間引き否と判断された画像に使用する第２のヘッダー情報を作成する第２のヘッダー情報作成手段と、間引き判断手段で符号化する画像と判断された画像及び間引き否と判断された画像を符号化し、かつ、第２のヘッダー情報を付加して、符号化された右目用画像と符号化された左目用画像とが交互に合成された画像ストリームを出力すると共に、間引き判断手段で間引き可と判断された画像に代えて第１のヘッダー情報を画像ストリーム中に合成して出力する画像符号化手段と、画像符号化手段からの画像ストリームを記録媒体に記録する記録手段と、を備えることを特徴とする。
【００１１】
また、上記の目的を達成するため、第３の発明の再生装置は、第１の発明の記録媒体から画像ストリームを再生する再生手段と、画像ストリーム中の間引き可と判断された画像に使用される第１のヘッダー情報及び間引き否と判断された画像に使用される第２のヘッダー情報を参照して、画像ストリーム中の画像が間引き画像であるか否かを判断する間引き判断手段と、間引き判断手段により間引き画像でないと判断された画像を復号化する画像復号化手段と、画像復号化手段により復号化された左目用画像と右目用画像とを別々に蓄える左用画像バッファ及び右用画像バッファと、間引き判断手段への第１のヘッダー情報の入力時に、その第１のヘッダー情報に記された出画順の画像がコピーされる保持画像バッファと、左用画像バッファ、右用画像バッファ及び保持用画像バッファから左目用画像及び右目用画像が１枚ずつ交互に入力される立体映像を表示部に表示させるる表示制御手段とを備えることを特徴とする。
【００１２】
また、上記の目的を達成するため、第４の発明の再生装置は、第２の発明の記録媒体から画像ストリームを再生する再生手段と、画像ストリームの間引き可と判断された画像に使用される第１のヘッダー情報及び間引き否と判断された画像に使用される第２のヘッダー情報を参照して、画像ストリーム中の画像が間引き画像であるか否かを判断する間引き判断手段と、間引き判断手段により間引き画像でないと判断された画像を復号化する画像復号化手段と、画像復号化手段により復号化された左目用画像と右目用画像とを別々に蓄える左用画像バッファ及び右用画像バッファと、間引き判断手段への第１のヘッダー情報の入力時に、その第１のヘッダー情報に記された出画順の左目用画像がコピーされる左用保持画像バッファと、間引き判断手段への第１のヘッダー情報の入力時に、その第１のヘッダー情報に記された出画順の右目用画像がコピーされる右用保持画像バッファと、左用画像バッファ、右用画像バッファ、左用保持画像バッファ及び右用保持用画像バッファのうち選択されたバッファから左目用画像及び右目用画像が１枚ずつ交互に入力される立体映像を表示部に表示させる表示制御手段とを備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、動き量が所定の閾値未満の画像の符号化と復号化を間引くことにより、処理量を減らすことができ、パフォーマンスの向上と消費電力の低下、生成される映像の容量削減ができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の映像記録装置の第１の実施の形態のブロック図である。
【図２】符号化される画像に付加されるヘッダー情報の一例を示す図である。
【図３】間引く画像の代わりに使用される専用ヘッダー情報の一例を示す図である。
【図４】図１の映像記録装置の間引き記録動作の一例を模式的に示す図である。
【図５】図１の映像記録装置の動作説明用フローチャートである。
【図６】図１の画像符号化器により生成される画像ストリームの一例を示す図である。
【図７】本発明の再生装置の第１の実施の形態のブロック図である。
【図８】図７の再生装置の間引き画像再生動作の一例を模式的に示す図である。
【図９】図７の再生装置の間引き画像再生動作説明用フローチャートである。
【図１０】本発明の映像記録装置の第２の実施の形態のブロック図である。
【図１１】図１０の映像記録装置の間引き記録動作の一例を模式的に示す図である。
【図１２】図１０の映像記録装置の動作説明用フローチャートである。
【図１３】図１０の画像符号化器により生成される画像ストリームの一例を示す図である。
【図１４】本発明の再生装置の第２の実施の形態のブロック図である。
【図１５】図１４の再生装置の間引き画像再生動作の一例を模式的に示す図である。
【図１６】図１４の再生装置の間引き画像再生動作説明用フローチャートである。
【発明を実施するための形態】
【００１５】
次に、本発明の各実施の形態について図面を参照して説明する。
【００１６】
立体映像表示を行う場合、左目用画像と右目用画像をモニタの奇数ラインと偶数ラインに出力する（例えば、左目用画像は奇数ライン、右目用画像は偶数ライン）。もしくはフレームレートを倍にして、左目用画像と右目用画像とを交互に出力する。このため、一方の画像をある一定の動きの範囲内において一時停止させたとしても、もう一方の画像が動いていることにより再生した時に滑らかな動きに見え、立体感も損なわれない。そこで、本発明はこのことに着目し、立体映像信号を記録する際、動きがある一定の範囲内の場合、片方の画像の符号化と復号化を間引くか、あるいは両方の画像の符号化と符号化を交互に間引くことで従来の課題を解決したものであり、以下、本発明の各実施の形態について説明する。
【００１７】
（第１の実施の形態）
図１は、本発明になる映像記録装置の第１の実施の形態のブロック図を示す。同図において、本実施の形態の映像記録装置１０は、左目の画像を入力する左用レンズ１１Ｌと、左用レンズ１１Ｌから入力された光情報を電子情報である左目用映像信号に変換する左用撮像素子１２Ｌと、左用撮像素子１２Ｌからの左目用映像信号を蓄える左用画像バッファ１３Ｌと、右目の画像を入力する右用レンズ１１Ｒと、右用レンズ１１Ｒから入力された光情報を電子情報である右目用映像信号に変換する右用撮像素子１２Ｒと、右用撮像素子１２Ｒからの右目用映像信号を蓄える右用画像バッファ１３Ｒと、右目用映像信号を１枚（１フレーム分）蓄える右用保持画像バッファ１４と、２枚の画像の動き量を検出する動き検出器１５と、動き検出器１５で検出された動き量に基づいて符号化の間引きの可否を判断する間引き判断器１６と、間引き判断器１６で間引き可と判断された画像に使用するヘッダー情報を作成するヘッダー情報作成器１７と、間引き判断器１６で間引き否と判断された画像に使用するヘッダー情報を作成する間引き画像ヘッダー作成器１８と、映像信号を符号化する画像符号化器１９と、音声を収音して音声信号に変換するマイク２０と、音声信号を符号化する音声符号化器２１と、符号化映像信号と符号化音声信号とを多重化する多重化器２２と、多重化器２２で多重化して得られた動画ストリームデータを記録媒体２３に記録する記録手段とで構成される。
【００１８】
立体映像を構成する左目用画像及び右目用画像のうち、左用レンズ１１Ｌと左用撮像素子１２Ｌは左目用画像を生成する本発明の左目用画像生成手段を構成し、右用レンズ１１Ｒと右用撮像素子１２Ｒは右目用画像を生成する本発明の右目用画像生成手段を構成している。また、マイク２０と音声符号化器２１とは、本発明の符号化音声信号生成手段を構成している。本実施の形態の映像記録装置１０は、２眼カメラで片方の画像を間引いて記録をする。なお、本実施の形態では２眼カメラの例について説明するが、本発明はこれに限らず、３眼以上のカメラでも利用できる。
【００１９】
次に、本実施の形態の映像記録装置１０の処理内容について説明する。
【００２０】
左用画像バッファ１３Ｌは、左用撮像素子１２Ｌで撮像された左目用映像信号（以下、左目用画像ともいう）を一時保存する。一方、右用画像バッファ１３Ｒは、右用撮像素子１２Ｒで撮像された右目用映像信号（以下、右目用画像ともいう）を一時保存する。左用画像バッファ１３Ｌ及び右用画像バッファ１３Ｒは、それぞれ複数枚の画像の映像信号を蓄えることができる。画像符号化器１９は、左目用映像信号に対しては通常の記録と同様にそのままヘッダー情報作成器１７からのヘッダー情報を付加して符号化する。ヘッダー情報は、図２に示すように、間引き画像であるかないかを示す間引き画像情報３１と、先頭からの通し番号３２と、出画順の番号３３と、復号化に必要な復号化情報３４とが記載されている。
【００２１】
一方、画像符号化器１９は、右目用映像信号に対しては間引き判断器１６を通って間引かない右目用画像はそのまま左用のヘッダー情報と同じものを付加して符号化し、間引く右目用画像は専用のヘッダー情報を付加して符号化しない。間引く右目用画像は復号化を行わないので、専用のヘッダー情報には復号化に関する情報はなくてよい。この専用のヘッダー情報は、図３に示すように間引き画像であるかないか示す間引き画像情報３１と、先頭からの通し番号３２と、出画順の番号３３と、出画する際に代わりに出画する画像の番号３６とが記載されている。多重化器２２は、画像符号化器１９により符号化された符号化映像信号を音声符号化器２１からの符号化音声信号と多重化して動画ストリームを生成し、それを記録媒体２３に記録する。
【００２２】
なお、本実施の形態では右目画像を間引くとしているが、左目画像を間引いてもよい。例えば、視力が右目の方が良い人が見る場合、左目画像を間引いた方がきれいな画像に見えることがある。また利き目による影響もあるのでこれを考慮してもよい。
【００２３】
次に、映像記録装置１０における間引き記録方法について、図４及び図５を図１と併せ参照して説明する。図４は、間引き記録動作を模式的に示し、図５は、記録動作説明用フローチャートを示す。
【００２４】
まず、画像が入力される（ステップＳ１）。続いて、右用保持画像バッファ１４に右目用画像があるか否かを調べる（ステップＳ２）。記録開始直後は右用保持画像バッファ１４に右目用画像は保存されていない（以下、このことを「保持画像がない」というものとする）。右用保持画像バッファ１４は、間引きが行われている際に動き量を比較する画像を保持するのに使用される。比較に用いる画像が消えないようにするためである。通常、画像バッファは古い画像から上書きされてしまうからである。仮に、指定した画像バッファの画像を上書きされないようにすれば、右用保持画像バッファ１４を用いなくともよい。
【００２５】
右用保持画像バッファ１４に保持画像がない場合、動き検出器１５は右用画像バッファ１３Ｒに保持されている時間的にひとつ前の右目用画像と、現在符号化しようとしている入力された右目用画像との動き量（すなわち、隣接する２枚の右目用画像の動き量）を所定の閾値と比較する（ステップＳ９）。間引き判断器１６は、その動き量が所定の閾値以上の場合、符号化しようとしている右目用画像は符号化すると判断して、画像符号化器１９により符号化させる（ステップＳ１３）。図４の画像１〜画像３はステップＳ１３により符号化されると判断された右目用画像である。続いて、画像符号化器１９は、符号化した右目用画像にヘッダー情報作成器１７により作成された図２に示したヘッダー情報を付加する（ステップＳ１４）。
【００２６】
一方、間引き判断器１６は、上記動き量が所定の閾値未満である場合、符号化しようとしている右目用画像は符号化せず間引くと判断する（ステップＳ１０）。続いて、間引き判断器１６は、比較に用いたひとつ前の右目用画像を右用保持画像バッファ１４にコピーする（ステップＳ１１）。続いて、画像符号化器１９は、間引いたと判断した画像に代えて間引き画像ヘッダー情報作成器１８により作成した図３に示した専用のヘッダー情報を付加する（ステップＳ１２）。図４の画像４はステップＳ１０で間引くと判断された右目用画像であり、このとき比較に用いたひとつ前の画像３が右用保持画像バッファ１４にコピーされる。
【００２７】
上記閾値の値は、記録する画質モードによって変更してもよい。例えば高画質モードでは値を小さくし、低画質モードでは値を大きくする。また、上記専用のヘッダー情報は、このヘッダー情報がある場合、間引きされていることを明示させるとともに、再生の際に代わりに出画する画像を指定するのに使われる。各画像のヘッダー情報に通し番号を記し、専用ヘッダー情報に出画する番号を示すことで代わりに出画する画像を指定できる。
【００２８】
一方、右用保持画像バッファ１４に右目用画像が保存されている（以下、このことを「保持画像がある」というものとする）場合、動き検出器１５は右用保持画像バッファ１４の保持画像と、符号化しようとしている入力画像との動き量を所定の閾値と比較する（ステップＳ３）。図４には、右用保持画像バッファ１４に保持されている画像３と、符号化しようとしている入力画像５との動き比較を行うことが示されている。
【００２９】
間引き判断器１６は、動き量が所定の閾値以上である場合、入力画像は符号化すると判断し、画像符号化器１９により符号化させる（ステップＳ６）。更に、間引き判断器１６は、右用保持画像バッファ１４に保持されている画像を削除する（ステップＳ７）。続いて、画像符号化器１９は、符号化した右目用画像にヘッダー情報作成器１７により作成された図２に示したヘッダー情報を付加する（ステップＳ８）。
【００３０】
一方、間引き判断器１６は動き量が所定の閾値未満の場合、その画像は符号化せず間引くと判断する（ステップＳ４）。続いて、画像符号化器１９は、間引いたと判断した画像を符号化する代わりに、間引き画像ヘッダー情報作成器１８により作成した図３に示した専用のヘッダー情報を付加する（ステップＳ５）。図４の画像５、画像６はステップＳ４で間引くと判断された画像であり、画像７はステップＳ６で符号化すると判断された画像であり、このとき保持画像３が削除されることを示す。また、図４の画像８はステップＳ１３で符号化すると判断された画像である。
【００３１】
図６は、画像符号化器１９により生成される画像ストリームの一例を示す。この例では左目用画像Ｒと右目用画像Ｌとが交互に多重化されている。この例では４番目、５番目、６番目の右目用画像が間引かれており、それらの右目用画像は専用のヘッダー情報のみの構成となり画像データはない。専用のヘッダー情報は、再生の際に３番目の右目用画像を使用することが記されている。
【００３２】
多重化器２２は、この画像ストリームを音声ストリームと多重化し（ステップＳ１５）、ＴＳパケットに分割して記録媒体２３に公知の記録手段により記録する（ステップＳ１６）。
【００３３】
このように、本実施の形態の映像記録装置１０によれば、立体映像信号の記録時に、動きが所定の閾値未満の画像の符号化を間引くため、処理量を減らすことができる。
【００３４】
次に、本発明の再生装置の第１の実施の形態について説明する。
【００３５】
図７は、本発明になる再生装置の第１の実施の形態のブロック図を示す。同図に示すように、本実施の形態の再生装置４０は、ストリームデータが記録されている記録媒体４１の再生手段と、ストリームデータを画像と音声に分ける分離器４２と、画像のヘッダー情報を参照し間引き画像かを判断する間引き判断器４３と、画像を復号化する画像復号化器４４と、復号化された左目用画像を蓄える左用画像バッファ４５Ｌと、復号された右目用画像を蓄える右用画像バッファ４５Ｒと、右目用画像を１枚蓄える右用保持画像バッファ４６と、立体映像をモニタ４８に表示させる表示制御部４７と、音声を復号化する音声復号化器４９１と、音声を出力するスピーカ４９２とで構成される。本実施の形態の再生装置４０は、２眼カメラで片方の画像を間引き記録をした映像を再生する。ここでは間引いた画像は右目用画像とする。なお、３眼以上のカメラで記録をした映像の再生装置も本実施の形態と同様に構成することができる。
【００３６】
記録媒体４１は、記録媒体２３と同様に図６に示したフォーマットの画像ストリームと音声ストリームとが多重化された動画ストリームが記録されている。分離器４２は、記録媒体４１から読みだされた動画ストリームから画像ストリームと音声ストリームとに分離する。
【００３７】
間引き判断器４３は、分離された画像ストリームの各画像中のヘッダー情報を解析し、符号化されている左目用画像は通常の再生と同様にそのまま画像復号化器４４に供給して復号化させると共に、符号化されている右目用画像はヘッダー情報から間引き画像か否かを判断し、間引き画像でなければ画像復号化器４４に供給して復号化させると共に右用画像バッファ４５Ｒに蓄え、間引き画像であれば復号化せず、右用画像バッファ４５Ｒに保持されている画像中の代わりに出画する画像を検索し、検索した画像を右用保持画像バッファ４６にコピーする。
【００３８】
右用保持画像バッファ４６は、間引きが行われている右目用画像の代わりの右目用画像を出画するのに使用される。出画に用いる右目用画像が消えないようにするためである。通常、画像バッファは古い画像から上書きされてしまうからである。仮に指定した画像バッファの画像を上書きされないようにすれば右用保持画像バッファ４６を用いなくともよい。
【００３９】
画像復号化器４４は入力された符号化画像を復号化し、復号化した左目用画像は左目用画像バッファ４５Ｌに蓄積し、復号化した右目用画像は右目用画像バッファ４５Ｒに蓄積する。表示制御部４７は、適切なタイミングで左用画像バッファ４５Ｌと右用画像バッファ４５Ｒとから左目用画像と右目用画像とを１枚ずつ交互に取り出して立体映像としてモニタ４８に表示させる。
【００４０】
次に、本実施の形態の再生装置４０の再生処理動作について、図８及び図９を図７と併せ参照して説明する。図８は、再生装置４０の間引き画像再生動作を模式的に示す図であり、図９は、再生装置４０の間引き画像再生動作を説明するフローチャートである。
【００４１】
まず、公知の再生手段により記録媒体４１から再生され、更に分離器４２により分離された再生画像ストリームが入力される（ステップＳ２１）。間引き判断器４３は、再生画像ストリーム中のヘッダー情報を解析し、符号化されている右目用画像は間引き画像か否かを判定する（ステップＳ２２）。
【００４２】
間引き判断器４３は、再生画像ストリーム中の入力された符号化されている右目用画像が間引き画像ではないと判定した場合、右用保持画像バッファ４６に画像があるか否かを調べる（ステップＳ２７）。右用保持画像バッファ４６に保持画像がない場合、入力された符号化右目用画像を画像復号化器４４に供給して復号化させる（ステップＳ３１）。そして、画像復号化器４４は、復号化した右目用画像を右用画像バッファ４５Ｒに蓄積する（ステップＳ３２）。右用画像バッファ４５Ｒは、蓄積した右目用画像をヘッダー情報が示す出画の順番がきたら表示制御部４７へ出力する（ステップＳ３３）。図８中の画像１、画像２、画像３は、間引き画像ではなく、かつ、右用保持画像バッファ４６に保持画像がないときの右目用画像を示す。
【００４３】
また、間引き判断器４３は、ステップＳ２７で右用保持画像バッファ４６に保持画像があると判定した場合、入力された符号化右目用画像を画像復号化器４４に供給して復号化させる（ステップＳ２８）。この場合、間引き判断器４３は、間引き画像が一旦終わったことになるので、右用保持画像バッファ４６にある保持画像を削除する（ステップＳ２９）。
【００４４】
そして、画像復号化器４４は、復号化した右目用画像を右用画像バッファ４５Ｒに蓄積する（ステップＳ３０）。右用画像バッファ４５Ｒは蓄積した右目用画像の出画の順番がきたら表示制御部４７に出力する（ステップＳ３３）。図８中の画像７は、右用保持画像バッファ４６に保持画像があるときに入力された、間引きされていない右目用画像を示す。
【００４５】
一方、間引き判断器４３は、ステップＳ２２で再生画像ストリーム中の入力された符号化されている右目用画像が間引き画像であると判定した場合、右用保持画像バッファ４６に保持画像があるか否かを調べる（ステップＳ２３）。右用保持画像バッファ４６に保持画像がない場合、間引き判断器４３は、入力された符号化されている右目用画像を復号化せず間引き（ステップＳ２５）、その代わりに出画する画像の番号を入力された間引き画像に付加されているヘッダー情報から求め、その出画する画像の番号を持つヘッダー情報の右目用画像を右用画像バッファ４５Ｒから右用保持画像バッファ４６にコピーする（ステップＳ２６）。右用保持画像バッファ４６は、コピーされた右目用画像を出画の順番がきたら表示制御部４７に出力する（ステップＳ３３）。
【００４６】
図８中の画像４は間引き画像であり、その入力時には右用保持画像バッファ４６には保持画像がない。また、間引き画像４のヘッダー情報に記述されている出画する画像の番号が画像３であるので、その番号をヘッダー情報に持つ画像３が右用保持画像バッファ４６にコピーされる。表示制御部４７には、間引き画像４の代わりに画像３が出力される。
【００４７】
また、間引き判断器４３は、ステップＳ２３で右用保持画像バッファ４６に保持画像があると判定した場合、入力された符号化されている右目用画像を復号化せず間引く（ステップＳ２４）。このときは、入力された間引き画像の代わりに、右用保持画像バッファ４６の保持画像が、出力の順番がきたら出力される（ステップＳ３３）。図８中の画像５及び画像６は、右用保持画像バッファ４６に画像３が保持されているときに入力された間引き画像であることを示しており、この画像５及び画像６に代えて画像３が出力される。
【００４８】
表示制御部４７は、入力される各画像をモニタ４８へ表示させる。
【００４９】
（第２の実施の形態）
図１０は、本発明になる映像記録装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図１０において、本実施の形態の映像記録装置５０は、左目の画像を入力する左用レンズ１１Ｌと、左用レンズ１１Ｌから入力された光情報を電子情報である左目用映像信号に変換する左用撮像素子１２Ｌと、左用撮像素子１２Ｌからの左目用映像信号を蓄える左用画像バッファ１３Ｌと、左目用映像信号を１枚（１フレーム分）蓄える左用保持画像バッファ５１と、右目の画像を入力する右用レンズ１１Ｒと、右用レンズ１１Ｒから入力された光情報を電子情報である右目用映像信号に変換する右用撮像素子１２Ｒと、右用撮像素子１２Ｒからの右目用映像信号を蓄える右用画像バッファ１３Ｒと、右目用映像信号を１枚（１フレーム分）蓄える右用保持画像バッファ１４と、時間的に異なる２枚の画像の動き量を検出する動き検出器５２と、動き検出器５２で検出された動き量に基づいて符号化の間引きの可否を判断する間引き判断器５３と、間引き判断器５３で間引き可と判断された画像に使用するヘッダー情報を作成するヘッダー情報作成器１７と、間引き判断器５３で間引き否と判断された画像に使用するヘッダー情報を作成する間引き画像ヘッダー作成器１８と、映像信号を符号化する画像符号化器５４と、音声を収音して音声信号に変換するマイク２０と、音声信号を符号化する音声符号化器２１と、符号化映像信号と符号化音声信号とを多重化する多重化器５５と、多重化器５５で多重化して得られた動画ストリームデータを記録媒体５６に記録する記録手段とで構成される。本実施の形態の映像記録装置５０は、２眼カメラで両方の画像を交互に間引いて記録をする。なお、本実施の形態では２眼カメラの例について説明するが、本発明はこれに限らず、３眼以上のカメラでも利用できる。
【００５０】
次に、映像記録装置５０における間引き記録方法について、図１１及び図１２を図１０と併せ参照して説明する。図１１は、間引き記録動作を模式的に示し、図１２は、記録動作説明用フローチャートを示す。
【００５１】
まず、画像が入力される（ステップＳ４１）。続いて、間引き判断器５３は、自分の保持画像バッファに保持画像があるか否かを調べる（ステップＳ４２）。自分の保持画像バッファとは、左目用画像を符号化するときには左用保持画像バッファ５１、右目用画像を符号化するときには右用保持画像バッファ１４である。記録開始直後は、右用保持画像バッファ１４と左用保持画像バッファ５１に保持画像はない。右用保持画像バッファ１４と左用保持画像バッファ５１は、間引きが行われている際に動き量を比較する画像を保持するのに使用される。比較に用いる画像が消えないようにするためである。通常、画像バッファは古い画像から上書きされてしまうからである。仮に、指定した画像バッファの画像を上書きされないようにすれば、右用保持画像バッファ１４と左用保持画像バッファ５１を用いなくともよい。
【００５２】
間引き判断器５３は、符号化する側の自分の保持画像バッファに保持画像がある場合、自分の保持画像バッファにある画像を削除し（ステップＳ４３）、今回入力された画像を画像符号化器５４に供給して符号化させる（ステップＳ４７）。図１１の左目用画像５が入力されたときは左用保持画像バッファ５１に左目用画像３が保持されているので、左目用画像３は削除され、今回入力された左目用画像５はステップＳ４３で符号化される。同様に、図１１の右目用画像６が入力されたときに右目用保持画像バッファ１４に右目用画像４が保持されているので、右目用画像４が削除され、今回入力された右目用画像６がステップＳ４３で符号化される。
【００５３】
また、間引き判断器５３は、ステップＳ４２で自分の保持画像バッファに保持画像がないと判定した場合、もう一方の保持画像バッファに保持画像があるか否かを調べる（ステップＳ４４）。もう一方の保持画像バッファとは、左目用画像を符号化するときには右用保持画像バッファ１４、右目用画像を符号化するときには左用保持画像バッファ５１である。
【００５４】
間引き判断器５３は、ステップＳ４４でもう一方の保持画像バッファには保持画像があると判定したときは、今回の入力画像が右目用画像であるか左目用画像であるかを判定する（ステップＳ４５）。間引き判断器５３は、ステップＳ４５で今回の入力画像が右目用画像である判定したときは、その右目用画像を画像符号化器５４に供給して符号化させる（ステップＳ４７）。図１１の右目用画像４が入力されたとき右用保持画像バッファ１４には保持画像はないとステップＳ４２で判定され、このとき左用保持画像バッファ５１に左目用画像３が保持されているとステップＳ４４で判定され、入力画像が右目用画像であるとステップＳ４５で判定され、右目用画像４はステップＳ４７で符号化される。なお、上記のステップＳ４７に続いて、画像符号化器５４は、符号化した画像にヘッダー情報作成器１７により作成された図２に示したヘッダー情報を付加する（ステップＳ４８）。
【００５５】
間引き判断器５３は、ステップＳ４４でもう一方の保持画像バッファにも保持画像がないと判定したとき、あるいはステップＳ４５で今回の入力画像が左目用画像であると判定したときは、動き検出器５２で検出された一つ前の画像と符号化しようとしている今回の入力画像との動き量を所定の閾値と比較する（ステップＳ４６）。間引き判断器５３は、動き量が閾値以上の場合は今回の入力画像を画像符号化器５４に供給して符号化させる（ステップＳ４７）。例えば、図１１の左目用画像３は一つ前の左目用画像２との動き量が閾値以上であるとステップＳ４６で判定された結果ステップＳ４７で符号化される。図１１の右目用画像３も同様に符号化される。
【００５６】
一方、間引き判断器５３は、ステップＳ４６で動き量が閾値未満であると判定した場合は、その時の入力画像は符号化しないと判断しその画像は符号化せず間引くと判断し、比較に用いた画像を保持画像バッファにコピーする（ステップＳ４９）。例えば、図１１の左目用画像４が入力されたときは２つの保持画像バッファ５１及び１４の両方に保持画像が存在しないため、入力された左目用画像４は一つ前の左目用画像３との動き量が閾値未満であるとステップＳ４６で判定されたときは、ステップＳ４９で間引かれ、比較に用いた左目用画像３がステップＳ４９で左用保持画像バッファ５１にコピーされる。図１１の右目用画像５も同様に間引かれ、右目用画像５と比較された右目用画像４が右用保持画像バッファ１４にコピーされる。そして、画像符号化器５４は、間引き判断器５３が間引いたと判断した画像を符号化せず、間引き画像ヘッダー情報作成器１８により作成した図３に示した専用のヘッダー情報を付加する（ステップＳ５０）。
【００５７】
ステップＳ４６で用いられる閾値の値は、記録する画質モードによって変更してもよい。例えば高画質モードでは値を小さくし、低画質モードでは値を大きくする。また、専用のヘッダー情報は、このヘッダー情報がある場合、間引きされていることを明示させるとともに、再生の際に代わりに出画する画質を指定するのに使われる。各画像のヘッダーに通し番号を記し、専用のヘッダー情報に代わりに出画する番号を示すことで代わりに出画する画像を指定できる。これらの作業を繰り返していく。
【００５８】
ステップＳ４８又はＳ５０の終了後、多重化器５５は、画像符号化器５４により得られた画像ストリームを音声符号化器２１により得られた音声ストリームと多重化し（ステップＳ５１）、ＴＳパケットに分割して記録媒体５６に公知の記録手段により記録する（ステップＳ５２）。
【００５９】
図１３は、画像符号化器５４により生成される画像ストリームの一例を示す。この例では左右の画像が交互に多重化されている。この例では左目用画像のＬ４，Ｌ６と右目用画像のＲ５，Ｒ７とが間引かれているとする。左目用画像のＬ４、Ｌ６と右目用画像のＲ５，Ｒ７とはヘッダー情報Ｈのみの構成となり、画像データＳはない。ヘッダー情報Ｈは専用のものとなっており、再生の際にそれぞれ一つ前の画像を使用することが記されている。
【００６０】
このように、本実施の形態の映像記録装置５０によれば、立体映像信号の記録時に、動きが所定の閾値未満の画像の符号化を間引くため、処理量を減らすことができる。
【００６１】
次に、本発明の再生装置の第２の実施の形態について説明する。
【００６２】
図１４は、本発明になる再生装置の第２の実施の形態のブロック図を示す。同図中、図７と同一構成部分には同一符号を付し、その説明を省略する。図１４に示すように、本実施の形態の再生装置６０は、記録媒体６１からストリームデータを再生する再生手段と、ストリームデータを画像と音声に分ける分離器４２と、画像のヘッダー情報を参照し間引き画像かを判断する間引き判断器６２と、画像を復号化する画像復号化器４４と、復号化された左目用画像を蓄える左用画像バッファ４５Ｌと、左目用画像を１枚蓄える左用保持画像バッファ６３と、復号された右目用画像を蓄える右用画像バッファ４５Ｒと、右目用画像を１枚蓄える右用保持画像バッファ４６と、立体映像をモニタ４８に表示させる表示制御部４７と、音声を復号化する音声復号化器４９１と、音声を出力するスピーカ４９２とで構成される。本実施の形態の再生装置６０は、２眼カメラで左右両方の画像を交互に間引いて記録媒体６１に記録をした映像を再生する。なお、３眼以上のカメラで記録をした映像の再生装置も本実施の形態と同様に構成することができる。
【００６３】
記録媒体６１は、記録媒体５６と同様に図１３に示したフォーマットの画像ストリームと音声ストリームとが多重化された動画ストリームが記録されている。分離器４２は、記録媒体６１から読みだされた動画ストリームから画像ストリームと音声ストリームとに分離する。間引き判断器６２は画像ストリームのヘッダー情報を解析して、間引き画像でなければ復号化しそれぞれの画像バッファ４５Ｌ又は４５Ｒに蓄える。間引き画像であれば復号化せず、代わりに出画する画像を検索し、画像バッファから対応する保持画像バッファ６３又は４６にコピーする。適切なタイミングで左右の画像バッファ４５Ｌ、４５Ｒ、４６又は６３から表示制御部４７に出力する。表示制御部４７は、左目用映像と右目用映像とが交互に１枚ずつ入力される立体映像をモニタ４８に表示させる。
【００６４】
次に、本実施の形態の再生装置６０の再生処理動作について、図１５及び図１６を図１４と併せ参照して説明する。図１５は、再生装置６０の間引き画像再生動作を模式的に示す図であり、図１６は、再生装置６０の間引き画像再生動作を説明するフローチャートである。なお、図１６中、図９と同一処理ステップには同一符号を付し、その説明を省略する。
【００６５】
まず、公知の再生手段により記録媒体６１から再生され、更に分離器４２により分離された再生画像ストリームが入力される（ステップＳ２１）。間引き判断器６２は、再生画像ストリーム中のヘッダー情報を解析し、符号化されている画像は間引き画像か否かを判定する（ステップＳ５０）。間引き判断器６２は、再生画像ストリーム中の入力された符号化されている画像が間引き画像ではないと判定した場合、その画像に対応した保持画像バッファ４６及び６３に画像があるか否かを調べる（ステップＳ５１）。保持画像バッファ４６及び６３は、間引きが行われている画像の代わりの画像を出画するのに使用される。出画に用いる画像が消えないようにするためである。通常、画像バッファは古い画像から上書きされてしまうからである。仮に、指定した画像バッファの画像を上書きされないようにすれば保持画像バッファ４６及び６３を用いなくてもよい。
【００６６】
保持画像バッファ４６及び６３に保持画像がない場合、入力された符号化画像を画像復号化器４４に供給して復号化させる（ステップＳ３１）。そして、画像復号化器４４は、復号化した画像を対応する右用画像バッファ４５Ｒ又は左用画像バッファ４５Ｌに蓄積する（ステップＳ５２）。
【００６７】
右用画像バッファ４５Ｒ及び左用画像バッファ４５Ｌは、蓄積した画像をヘッダー情報が示す出画の順番がきたら表示制御部４７へ出力する（ステップＳ５３）。図１５中の左目用画像１、左目用画像２、左目用画像３、右目用画像１、右目用画像２、右目用画像３は、間引き画像ではなく、かつ、右用保持画像バッファ４６及び左用保持画像バッファ６３に保持画像がないときの画像を示す。
【００６８】
また、間引き判断器６２は、ステップＳ５１で保持画像バッファ４６、６３に保持画像があると判定した場合、入力された符号化画像を画像復号化器４４に供給して復号化させる（ステップＳ２８）。この場合、間引き判断器６２は、間引き画像が一旦終わったことになるので、保持画像バッファ４６、６３にある保持画像を削除する（ステップＳ２９）。
【００６９】
そして、画像復号化器４４は、復号化した画像を対応する右用画像バッファ４５Ｒ又は左用画像バッファ４５Ｌに蓄積する（ステップＳ５４）。右用画像バッファ４５Ｒ及び左用画像バッファ４５Ｌは、蓄積した画像をヘッダー情報が示す出画の順番がきたら表示制御部４７へ出力する（ステップＳ５３）。図１５中の左目用画像５、左目用画像７は、左用保持画像バッファ６３に保持画像があるときに入力された、間引きされていない左目用画像を示し、右目用画像６、右目用画像８は、右用保持画像バッファ４６に保持画像があるときに入力された、間引きされていない右目用画像を示す。
【００７０】
一方、間引き判断器６２は、ステップＳ５０で再生画像ストリーム中の入力された符号化されている画像が間引き画像であると判定した場合、右用保持画像バッファ４６及び左用保持画像バッファ６３に保持画像があるか否かを調べる（ステップＳ５５）。保持画像バッファに保持画像がない場合、間引き判断器６２は、入力された符号化されている画像を復号化せず間引き（ステップＳ２５）、その代わりに出画する画像の番号を入力された間引き画像に付加されているヘッダー情報から求め、その出画する画像の番号を持つヘッダー情報の画像を画像バッファ４５Ｒ又は４５Ｌから右用保持画像バッファ４６又は左用保持画像バッファ６３にコピーする（ステップＳ５６）。右用保持画像バッファ４６及び左用保持画像バッファ６３は、コピーされた画像を出画の順番がきたら表示制御部４７に出力する（ステップＳ５３）。
【００７１】
図１５中の左目用画像４、左目用画像６、右目用画像５、右目用画像７は間引き画像であり、その入力時には保持画像バッファ４６、６３には保持画像がない。また、間引き画像のヘッダー情報に記述されている出画する画像の番号をヘッダー情報に持つ画像が右用保持画像バッファ４６、左用保持画像バッファ６３にコピーされる。表示制御部４７には、間引き画像の代わりに保持画像バッファ４６、６３にコピーされた画像が出力される。どの画像を使用するかは、間引いた画像に付加してあるヘッダー情報に代わりに出画する画像の番号が記載されているため、その番号をもつヘッダー情報の画像となる。
【００７２】
表示制御部４７は、入力される各画像をモニタ４８へ表示させる。
【００７３】
なお、本実施の形態では間引き画像で、かつ、保持画像がある場合は存在しない。
【符号の説明】
【００７４】
１０、５０ 映像記録装置
１１Ｌ 左用レンズ
１１Ｒ 右用レンズ
１２Ｌ 左用撮像素子
１２Ｒ 右用撮像素子
１３Ｌ、４５Ｌ 左用画像バッファ
１３Ｒ、４５Ｒ 右用画像バッファ
１４、４６ 右用保持画像バッファ
１５、５２ 動き検出器
１６、４３、５４、６２ 間引き判断器
１７ ヘッダー情報作成器
１８ 間引きヘッダー情報作成器
１９ 画像符号化器
２０ マイク
２１ 音声符号化器
２２、５５ 多重化器
２３、４１、５６、６１ 記録媒体
４０、６０ 再生装置
４２ 分離器
４４ 画像復号化器
４７ 表示制御部
４８ モニタ
５１、６３ 左用保持画像バッファ
【技術分野】
【０００１】
本発明は映像記録装置及び再生装置に係り、特に複眼カメラで撮影した映像を記録媒体に記録する映像記録装置、及びその記録媒体から複眼カメラで撮影した映像を再生する再生装置に関する。
【背景技術】
【０００２】
立体映像を符号化する技術は多数存在するが、今後主流となると考えられている技術がＭＶＣ(Multi-view Video Coding)である。これは現在の符号化方式の主流となっているＭＰＥＧ４ ＡＶＣ(Moving Picture Experts Group 4 Advanced Video Coding)(H.264)規格を多視点に拡張した技術である。
【０００３】
符号化の方法としては、例えば２視点の場合、２つのレンズから入力された画像をそれぞれ別の画像として符号化していく。この時、符号化効率を上げるために、ひとつのレンズから入力される画像の前後としか参照を行わないところを、もう一方のレンズから入力される画像とも参照を行うようにしている。このような符号化を行うことで作成される映像の大きさが２倍となってしまうところを、最高で１.５倍程度に抑えることを可能にしている。
【０００４】
上記のような符号化を行うことで、符号化された画像の大きさを抑えることが可能となった。しかし、すべての画像を符号化することに変わりはなく、符号化の処理量は減らすことができない。同様に、復号化の処理量も減らすことができない。その結果、立体映像を記録再生すると、通常の映像を記録再生するのと比べて処理量と消費電力が高くなってしまうという問題がある。
【０００５】
そこで、符号化と復号化を行わないという技術が開示されている（例えば、特許文献１参照）。この特許文献１記載の技術は、２つの画像の動き量を検出し、動きが一様な場合に符号化を間引くという技術である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第２９１９２１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１記載の技術は、時間的に前後で動きが一様な場合にしか使用することができず、また、動きがある場面で使用すると、再生した時に滑らかな動きにならないという問題がある。また、上記の技術では、再生する時は間引いた画像を作成するために、時間的に前後の画像から合成するという復号化の処理が入るため再生の処理量を減らすことができない。
【０００８】
本発明は以上の点に鑑みなされたもので、動き量が所定の閾値未満の画像の符号化と復号化を間引くことにより、処理量を減らすことができ、パフォーマンスの向上と消費電力の低下、生成される映像の容量削減ができる映像記録装置及び再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、第１の発明の映像記録装置は、立体映像を構成する左目用画像及び右目用画像のうち左目用画像を生成する左目用画像生成手段と、右目用画像を生成する右目用画像生成手段と、左目用画像を蓄える左用画像バッファと、右目用画像を蓄える右用画像バッファと、左目用画像及び右目用画像のうち予め定めた一方の画像を１枚蓄える保持画像バッファと、保持画像バッファに蓄積される一方の画像の入力時にその一方の画像とそれ以前に入力された一方の画像との動き量を検出する動き検出手段と、動き検出手段で検出された動き量を所定の閾値と比較して、動き量が閾値未満のとき間引き可と判断し、動き量が閾値以上のとき間引き否と判断する間引き判断手段と、間引き判断手段により間引き可と判断された画像に使用する第１のヘッダー情報を作成する第１のヘッダー情報作成手段と、間引き判断手段で間引き否と判断された画像に使用する第２のヘッダー情報を作成する第２のヘッダー情報作成手段と、間引き判断手段で間引き否と判断された画像を符号化し、かつ、第２のヘッダー情報を付加して、符号化された右目用画像と符号化された左目用画像とが交互に合成された画像ストリームを出力すると共に、符号化された画像のうち間引き判断手段で間引き可と判断された画像の符号化画像に代えて第１のヘッダー情報を画像ストリーム中に合成して出力する画像符号化手段と、画像符号化手段からの画像ストリームを記録媒体に記録する記録手段と、を備えることを特徴とする。
【００１０】
また、上記の目的を達成するため、第２の発明の映像記録装置は、立体映像を構成する左目用画像及び右目用画像のうち左目用画像を生成する左目用画像生成手段と、右目用画像を生成する右目用画像生成手段と、左目用画像を入力毎に蓄える左用画像バッファと、右目用画像を入力毎に蓄える右用画像バッファと、左目用画像を１枚蓄える左用保持画像バッファと、右目用画像を１枚蓄える右用保持画像バッファと、左目用画像及び右目用画像のうち入力された一方の画像の入力時にその一方の画像とそれ以前に入力された一方の画像との動き量を検出する動き検出手段と、左目用画像及び右目用画像のうち入力された一方の画像を符号化するときに、左用保持画像バッファ及び右用保持画像バッファのうち、入力された一方の画像の保持画像バッファに保持画像があるときには、その保持画像を削除すると共に一方の画像を符号化する画像とし、一方の画像の保持画像バッファに保持画像がなく、かつ、もう一方の画像の保持画像バッファに保持画像があるときは一方の画像又はもう一方の画像を符号化する画像とし、左用保持画像バッファ及び右用保持画像バッファの両方に保持画像が存在しないときは動き検出手段で検出された動き量を所定の閾値と比較して、動き量が閾値未満のとき間引き可と判断し、動き量が閾値以上のとき間引き否と判断する間引き判断手段と、間引き判断手段により間引き可と判断された画像に使用する第１のヘッダー情報を作成する第１のヘッダー情報作成手段と、間引き判断手段で間引き否と判断された画像に使用する第２のヘッダー情報を作成する第２のヘッダー情報作成手段と、間引き判断手段で符号化する画像と判断された画像及び間引き否と判断された画像を符号化し、かつ、第２のヘッダー情報を付加して、符号化された右目用画像と符号化された左目用画像とが交互に合成された画像ストリームを出力すると共に、間引き判断手段で間引き可と判断された画像に代えて第１のヘッダー情報を画像ストリーム中に合成して出力する画像符号化手段と、画像符号化手段からの画像ストリームを記録媒体に記録する記録手段と、を備えることを特徴とする。
【００１１】
また、上記の目的を達成するため、第３の発明の再生装置は、第１の発明の記録媒体から画像ストリームを再生する再生手段と、画像ストリーム中の間引き可と判断された画像に使用される第１のヘッダー情報及び間引き否と判断された画像に使用される第２のヘッダー情報を参照して、画像ストリーム中の画像が間引き画像であるか否かを判断する間引き判断手段と、間引き判断手段により間引き画像でないと判断された画像を復号化する画像復号化手段と、画像復号化手段により復号化された左目用画像と右目用画像とを別々に蓄える左用画像バッファ及び右用画像バッファと、間引き判断手段への第１のヘッダー情報の入力時に、その第１のヘッダー情報に記された出画順の画像がコピーされる保持画像バッファと、左用画像バッファ、右用画像バッファ及び保持用画像バッファから左目用画像及び右目用画像が１枚ずつ交互に入力される立体映像を表示部に表示させるる表示制御手段とを備えることを特徴とする。
【００１２】
また、上記の目的を達成するため、第４の発明の再生装置は、第２の発明の記録媒体から画像ストリームを再生する再生手段と、画像ストリームの間引き可と判断された画像に使用される第１のヘッダー情報及び間引き否と判断された画像に使用される第２のヘッダー情報を参照して、画像ストリーム中の画像が間引き画像であるか否かを判断する間引き判断手段と、間引き判断手段により間引き画像でないと判断された画像を復号化する画像復号化手段と、画像復号化手段により復号化された左目用画像と右目用画像とを別々に蓄える左用画像バッファ及び右用画像バッファと、間引き判断手段への第１のヘッダー情報の入力時に、その第１のヘッダー情報に記された出画順の左目用画像がコピーされる左用保持画像バッファと、間引き判断手段への第１のヘッダー情報の入力時に、その第１のヘッダー情報に記された出画順の右目用画像がコピーされる右用保持画像バッファと、左用画像バッファ、右用画像バッファ、左用保持画像バッファ及び右用保持用画像バッファのうち選択されたバッファから左目用画像及び右目用画像が１枚ずつ交互に入力される立体映像を表示部に表示させる表示制御手段とを備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、動き量が所定の閾値未満の画像の符号化と復号化を間引くことにより、処理量を減らすことができ、パフォーマンスの向上と消費電力の低下、生成される映像の容量削減ができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の映像記録装置の第１の実施の形態のブロック図である。
【図２】符号化される画像に付加されるヘッダー情報の一例を示す図である。
【図３】間引く画像の代わりに使用される専用ヘッダー情報の一例を示す図である。
【図４】図１の映像記録装置の間引き記録動作の一例を模式的に示す図である。
【図５】図１の映像記録装置の動作説明用フローチャートである。
【図６】図１の画像符号化器により生成される画像ストリームの一例を示す図である。
【図７】本発明の再生装置の第１の実施の形態のブロック図である。
【図８】図７の再生装置の間引き画像再生動作の一例を模式的に示す図である。
【図９】図７の再生装置の間引き画像再生動作説明用フローチャートである。
【図１０】本発明の映像記録装置の第２の実施の形態のブロック図である。
【図１１】図１０の映像記録装置の間引き記録動作の一例を模式的に示す図である。
【図１２】図１０の映像記録装置の動作説明用フローチャートである。
【図１３】図１０の画像符号化器により生成される画像ストリームの一例を示す図である。
【図１４】本発明の再生装置の第２の実施の形態のブロック図である。
【図１５】図１４の再生装置の間引き画像再生動作の一例を模式的に示す図である。
【図１６】図１４の再生装置の間引き画像再生動作説明用フローチャートである。
【発明を実施するための形態】
【００１５】
次に、本発明の各実施の形態について図面を参照して説明する。
【００１６】
立体映像表示を行う場合、左目用画像と右目用画像をモニタの奇数ラインと偶数ラインに出力する（例えば、左目用画像は奇数ライン、右目用画像は偶数ライン）。もしくはフレームレートを倍にして、左目用画像と右目用画像とを交互に出力する。このため、一方の画像をある一定の動きの範囲内において一時停止させたとしても、もう一方の画像が動いていることにより再生した時に滑らかな動きに見え、立体感も損なわれない。そこで、本発明はこのことに着目し、立体映像信号を記録する際、動きがある一定の範囲内の場合、片方の画像の符号化と復号化を間引くか、あるいは両方の画像の符号化と符号化を交互に間引くことで従来の課題を解決したものであり、以下、本発明の各実施の形態について説明する。
【００１７】
（第１の実施の形態）
図１は、本発明になる映像記録装置の第１の実施の形態のブロック図を示す。同図において、本実施の形態の映像記録装置１０は、左目の画像を入力する左用レンズ１１Ｌと、左用レンズ１１Ｌから入力された光情報を電子情報である左目用映像信号に変換する左用撮像素子１２Ｌと、左用撮像素子１２Ｌからの左目用映像信号を蓄える左用画像バッファ１３Ｌと、右目の画像を入力する右用レンズ１１Ｒと、右用レンズ１１Ｒから入力された光情報を電子情報である右目用映像信号に変換する右用撮像素子１２Ｒと、右用撮像素子１２Ｒからの右目用映像信号を蓄える右用画像バッファ１３Ｒと、右目用映像信号を１枚（１フレーム分）蓄える右用保持画像バッファ１４と、２枚の画像の動き量を検出する動き検出器１５と、動き検出器１５で検出された動き量に基づいて符号化の間引きの可否を判断する間引き判断器１６と、間引き判断器１６で間引き可と判断された画像に使用するヘッダー情報を作成するヘッダー情報作成器１７と、間引き判断器１６で間引き否と判断された画像に使用するヘッダー情報を作成する間引き画像ヘッダー作成器１８と、映像信号を符号化する画像符号化器１９と、音声を収音して音声信号に変換するマイク２０と、音声信号を符号化する音声符号化器２１と、符号化映像信号と符号化音声信号とを多重化する多重化器２２と、多重化器２２で多重化して得られた動画ストリームデータを記録媒体２３に記録する記録手段とで構成される。
【００１８】
立体映像を構成する左目用画像及び右目用画像のうち、左用レンズ１１Ｌと左用撮像素子１２Ｌは左目用画像を生成する本発明の左目用画像生成手段を構成し、右用レンズ１１Ｒと右用撮像素子１２Ｒは右目用画像を生成する本発明の右目用画像生成手段を構成している。また、マイク２０と音声符号化器２１とは、本発明の符号化音声信号生成手段を構成している。本実施の形態の映像記録装置１０は、２眼カメラで片方の画像を間引いて記録をする。なお、本実施の形態では２眼カメラの例について説明するが、本発明はこれに限らず、３眼以上のカメラでも利用できる。
【００１９】
次に、本実施の形態の映像記録装置１０の処理内容について説明する。
【００２０】
左用画像バッファ１３Ｌは、左用撮像素子１２Ｌで撮像された左目用映像信号（以下、左目用画像ともいう）を一時保存する。一方、右用画像バッファ１３Ｒは、右用撮像素子１２Ｒで撮像された右目用映像信号（以下、右目用画像ともいう）を一時保存する。左用画像バッファ１３Ｌ及び右用画像バッファ１３Ｒは、それぞれ複数枚の画像の映像信号を蓄えることができる。画像符号化器１９は、左目用映像信号に対しては通常の記録と同様にそのままヘッダー情報作成器１７からのヘッダー情報を付加して符号化する。ヘッダー情報は、図２に示すように、間引き画像であるかないかを示す間引き画像情報３１と、先頭からの通し番号３２と、出画順の番号３３と、復号化に必要な復号化情報３４とが記載されている。
【００２１】
一方、画像符号化器１９は、右目用映像信号に対しては間引き判断器１６を通って間引かない右目用画像はそのまま左用のヘッダー情報と同じものを付加して符号化し、間引く右目用画像は専用のヘッダー情報を付加して符号化しない。間引く右目用画像は復号化を行わないので、専用のヘッダー情報には復号化に関する情報はなくてよい。この専用のヘッダー情報は、図３に示すように間引き画像であるかないか示す間引き画像情報３１と、先頭からの通し番号３２と、出画順の番号３３と、出画する際に代わりに出画する画像の番号３６とが記載されている。多重化器２２は、画像符号化器１９により符号化された符号化映像信号を音声符号化器２１からの符号化音声信号と多重化して動画ストリームを生成し、それを記録媒体２３に記録する。
【００２２】
なお、本実施の形態では右目画像を間引くとしているが、左目画像を間引いてもよい。例えば、視力が右目の方が良い人が見る場合、左目画像を間引いた方がきれいな画像に見えることがある。また利き目による影響もあるのでこれを考慮してもよい。
【００２３】
次に、映像記録装置１０における間引き記録方法について、図４及び図５を図１と併せ参照して説明する。図４は、間引き記録動作を模式的に示し、図５は、記録動作説明用フローチャートを示す。
【００２４】
まず、画像が入力される（ステップＳ１）。続いて、右用保持画像バッファ１４に右目用画像があるか否かを調べる（ステップＳ２）。記録開始直後は右用保持画像バッファ１４に右目用画像は保存されていない（以下、このことを「保持画像がない」というものとする）。右用保持画像バッファ１４は、間引きが行われている際に動き量を比較する画像を保持するのに使用される。比較に用いる画像が消えないようにするためである。通常、画像バッファは古い画像から上書きされてしまうからである。仮に、指定した画像バッファの画像を上書きされないようにすれば、右用保持画像バッファ１４を用いなくともよい。
【００２５】
右用保持画像バッファ１４に保持画像がない場合、動き検出器１５は右用画像バッファ１３Ｒに保持されている時間的にひとつ前の右目用画像と、現在符号化しようとしている入力された右目用画像との動き量（すなわち、隣接する２枚の右目用画像の動き量）を所定の閾値と比較する（ステップＳ９）。間引き判断器１６は、その動き量が所定の閾値以上の場合、符号化しようとしている右目用画像は符号化すると判断して、画像符号化器１９により符号化させる（ステップＳ１３）。図４の画像１〜画像３はステップＳ１３により符号化されると判断された右目用画像である。続いて、画像符号化器１９は、符号化した右目用画像にヘッダー情報作成器１７により作成された図２に示したヘッダー情報を付加する（ステップＳ１４）。
【００２６】
一方、間引き判断器１６は、上記動き量が所定の閾値未満である場合、符号化しようとしている右目用画像は符号化せず間引くと判断する（ステップＳ１０）。続いて、間引き判断器１６は、比較に用いたひとつ前の右目用画像を右用保持画像バッファ１４にコピーする（ステップＳ１１）。続いて、画像符号化器１９は、間引いたと判断した画像に代えて間引き画像ヘッダー情報作成器１８により作成した図３に示した専用のヘッダー情報を付加する（ステップＳ１２）。図４の画像４はステップＳ１０で間引くと判断された右目用画像であり、このとき比較に用いたひとつ前の画像３が右用保持画像バッファ１４にコピーされる。
【００２７】
上記閾値の値は、記録する画質モードによって変更してもよい。例えば高画質モードでは値を小さくし、低画質モードでは値を大きくする。また、上記専用のヘッダー情報は、このヘッダー情報がある場合、間引きされていることを明示させるとともに、再生の際に代わりに出画する画像を指定するのに使われる。各画像のヘッダー情報に通し番号を記し、専用ヘッダー情報に出画する番号を示すことで代わりに出画する画像を指定できる。
【００２８】
一方、右用保持画像バッファ１４に右目用画像が保存されている（以下、このことを「保持画像がある」というものとする）場合、動き検出器１５は右用保持画像バッファ１４の保持画像と、符号化しようとしている入力画像との動き量を所定の閾値と比較する（ステップＳ３）。図４には、右用保持画像バッファ１４に保持されている画像３と、符号化しようとしている入力画像５との動き比較を行うことが示されている。
【００２９】
間引き判断器１６は、動き量が所定の閾値以上である場合、入力画像は符号化すると判断し、画像符号化器１９により符号化させる（ステップＳ６）。更に、間引き判断器１６は、右用保持画像バッファ１４に保持されている画像を削除する（ステップＳ７）。続いて、画像符号化器１９は、符号化した右目用画像にヘッダー情報作成器１７により作成された図２に示したヘッダー情報を付加する（ステップＳ８）。
【００３０】
一方、間引き判断器１６は動き量が所定の閾値未満の場合、その画像は符号化せず間引くと判断する（ステップＳ４）。続いて、画像符号化器１９は、間引いたと判断した画像を符号化する代わりに、間引き画像ヘッダー情報作成器１８により作成した図３に示した専用のヘッダー情報を付加する（ステップＳ５）。図４の画像５、画像６はステップＳ４で間引くと判断された画像であり、画像７はステップＳ６で符号化すると判断された画像であり、このとき保持画像３が削除されることを示す。また、図４の画像８はステップＳ１３で符号化すると判断された画像である。
【００３１】
図６は、画像符号化器１９により生成される画像ストリームの一例を示す。この例では左目用画像Ｒと右目用画像Ｌとが交互に多重化されている。この例では４番目、５番目、６番目の右目用画像が間引かれており、それらの右目用画像は専用のヘッダー情報のみの構成となり画像データはない。専用のヘッダー情報は、再生の際に３番目の右目用画像を使用することが記されている。
【００３２】
多重化器２２は、この画像ストリームを音声ストリームと多重化し（ステップＳ１５）、ＴＳパケットに分割して記録媒体２３に公知の記録手段により記録する（ステップＳ１６）。
【００３３】
このように、本実施の形態の映像記録装置１０によれば、立体映像信号の記録時に、動きが所定の閾値未満の画像の符号化を間引くため、処理量を減らすことができる。
【００３４】
次に、本発明の再生装置の第１の実施の形態について説明する。
【００３５】
図７は、本発明になる再生装置の第１の実施の形態のブロック図を示す。同図に示すように、本実施の形態の再生装置４０は、ストリームデータが記録されている記録媒体４１の再生手段と、ストリームデータを画像と音声に分ける分離器４２と、画像のヘッダー情報を参照し間引き画像かを判断する間引き判断器４３と、画像を復号化する画像復号化器４４と、復号化された左目用画像を蓄える左用画像バッファ４５Ｌと、復号された右目用画像を蓄える右用画像バッファ４５Ｒと、右目用画像を１枚蓄える右用保持画像バッファ４６と、立体映像をモニタ４８に表示させる表示制御部４７と、音声を復号化する音声復号化器４９１と、音声を出力するスピーカ４９２とで構成される。本実施の形態の再生装置４０は、２眼カメラで片方の画像を間引き記録をした映像を再生する。ここでは間引いた画像は右目用画像とする。なお、３眼以上のカメラで記録をした映像の再生装置も本実施の形態と同様に構成することができる。
【００３６】
記録媒体４１は、記録媒体２３と同様に図６に示したフォーマットの画像ストリームと音声ストリームとが多重化された動画ストリームが記録されている。分離器４２は、記録媒体４１から読みだされた動画ストリームから画像ストリームと音声ストリームとに分離する。
【００３７】
間引き判断器４３は、分離された画像ストリームの各画像中のヘッダー情報を解析し、符号化されている左目用画像は通常の再生と同様にそのまま画像復号化器４４に供給して復号化させると共に、符号化されている右目用画像はヘッダー情報から間引き画像か否かを判断し、間引き画像でなければ画像復号化器４４に供給して復号化させると共に右用画像バッファ４５Ｒに蓄え、間引き画像であれば復号化せず、右用画像バッファ４５Ｒに保持されている画像中の代わりに出画する画像を検索し、検索した画像を右用保持画像バッファ４６にコピーする。
【００３８】
右用保持画像バッファ４６は、間引きが行われている右目用画像の代わりの右目用画像を出画するのに使用される。出画に用いる右目用画像が消えないようにするためである。通常、画像バッファは古い画像から上書きされてしまうからである。仮に指定した画像バッファの画像を上書きされないようにすれば右用保持画像バッファ４６を用いなくともよい。
【００３９】
画像復号化器４４は入力された符号化画像を復号化し、復号化した左目用画像は左目用画像バッファ４５Ｌに蓄積し、復号化した右目用画像は右目用画像バッファ４５Ｒに蓄積する。表示制御部４７は、適切なタイミングで左用画像バッファ４５Ｌと右用画像バッファ４５Ｒとから左目用画像と右目用画像とを１枚ずつ交互に取り出して立体映像としてモニタ４８に表示させる。
【００４０】
次に、本実施の形態の再生装置４０の再生処理動作について、図８及び図９を図７と併せ参照して説明する。図８は、再生装置４０の間引き画像再生動作を模式的に示す図であり、図９は、再生装置４０の間引き画像再生動作を説明するフローチャートである。
【００４１】
まず、公知の再生手段により記録媒体４１から再生され、更に分離器４２により分離された再生画像ストリームが入力される（ステップＳ２１）。間引き判断器４３は、再生画像ストリーム中のヘッダー情報を解析し、符号化されている右目用画像は間引き画像か否かを判定する（ステップＳ２２）。
【００４２】
間引き判断器４３は、再生画像ストリーム中の入力された符号化されている右目用画像が間引き画像ではないと判定した場合、右用保持画像バッファ４６に画像があるか否かを調べる（ステップＳ２７）。右用保持画像バッファ４６に保持画像がない場合、入力された符号化右目用画像を画像復号化器４４に供給して復号化させる（ステップＳ３１）。そして、画像復号化器４４は、復号化した右目用画像を右用画像バッファ４５Ｒに蓄積する（ステップＳ３２）。右用画像バッファ４５Ｒは、蓄積した右目用画像をヘッダー情報が示す出画の順番がきたら表示制御部４７へ出力する（ステップＳ３３）。図８中の画像１、画像２、画像３は、間引き画像ではなく、かつ、右用保持画像バッファ４６に保持画像がないときの右目用画像を示す。
【００４３】
また、間引き判断器４３は、ステップＳ２７で右用保持画像バッファ４６に保持画像があると判定した場合、入力された符号化右目用画像を画像復号化器４４に供給して復号化させる（ステップＳ２８）。この場合、間引き判断器４３は、間引き画像が一旦終わったことになるので、右用保持画像バッファ４６にある保持画像を削除する（ステップＳ２９）。
【００４４】
そして、画像復号化器４４は、復号化した右目用画像を右用画像バッファ４５Ｒに蓄積する（ステップＳ３０）。右用画像バッファ４５Ｒは蓄積した右目用画像の出画の順番がきたら表示制御部４７に出力する（ステップＳ３３）。図８中の画像７は、右用保持画像バッファ４６に保持画像があるときに入力された、間引きされていない右目用画像を示す。
【００４５】
一方、間引き判断器４３は、ステップＳ２２で再生画像ストリーム中の入力された符号化されている右目用画像が間引き画像であると判定した場合、右用保持画像バッファ４６に保持画像があるか否かを調べる（ステップＳ２３）。右用保持画像バッファ４６に保持画像がない場合、間引き判断器４３は、入力された符号化されている右目用画像を復号化せず間引き（ステップＳ２５）、その代わりに出画する画像の番号を入力された間引き画像に付加されているヘッダー情報から求め、その出画する画像の番号を持つヘッダー情報の右目用画像を右用画像バッファ４５Ｒから右用保持画像バッファ４６にコピーする（ステップＳ２６）。右用保持画像バッファ４６は、コピーされた右目用画像を出画の順番がきたら表示制御部４７に出力する（ステップＳ３３）。
【００４６】
図８中の画像４は間引き画像であり、その入力時には右用保持画像バッファ４６には保持画像がない。また、間引き画像４のヘッダー情報に記述されている出画する画像の番号が画像３であるので、その番号をヘッダー情報に持つ画像３が右用保持画像バッファ４６にコピーされる。表示制御部４７には、間引き画像４の代わりに画像３が出力される。
【００４７】
また、間引き判断器４３は、ステップＳ２３で右用保持画像バッファ４６に保持画像があると判定した場合、入力された符号化されている右目用画像を復号化せず間引く（ステップＳ２４）。このときは、入力された間引き画像の代わりに、右用保持画像バッファ４６の保持画像が、出力の順番がきたら出力される（ステップＳ３３）。図８中の画像５及び画像６は、右用保持画像バッファ４６に画像３が保持されているときに入力された間引き画像であることを示しており、この画像５及び画像６に代えて画像３が出力される。
【００４８】
表示制御部４７は、入力される各画像をモニタ４８へ表示させる。
【００４９】
（第２の実施の形態）
図１０は、本発明になる映像記録装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図１０において、本実施の形態の映像記録装置５０は、左目の画像を入力する左用レンズ１１Ｌと、左用レンズ１１Ｌから入力された光情報を電子情報である左目用映像信号に変換する左用撮像素子１２Ｌと、左用撮像素子１２Ｌからの左目用映像信号を蓄える左用画像バッファ１３Ｌと、左目用映像信号を１枚（１フレーム分）蓄える左用保持画像バッファ５１と、右目の画像を入力する右用レンズ１１Ｒと、右用レンズ１１Ｒから入力された光情報を電子情報である右目用映像信号に変換する右用撮像素子１２Ｒと、右用撮像素子１２Ｒからの右目用映像信号を蓄える右用画像バッファ１３Ｒと、右目用映像信号を１枚（１フレーム分）蓄える右用保持画像バッファ１４と、時間的に異なる２枚の画像の動き量を検出する動き検出器５２と、動き検出器５２で検出された動き量に基づいて符号化の間引きの可否を判断する間引き判断器５３と、間引き判断器５３で間引き可と判断された画像に使用するヘッダー情報を作成するヘッダー情報作成器１７と、間引き判断器５３で間引き否と判断された画像に使用するヘッダー情報を作成する間引き画像ヘッダー作成器１８と、映像信号を符号化する画像符号化器５４と、音声を収音して音声信号に変換するマイク２０と、音声信号を符号化する音声符号化器２１と、符号化映像信号と符号化音声信号とを多重化する多重化器５５と、多重化器５５で多重化して得られた動画ストリームデータを記録媒体５６に記録する記録手段とで構成される。本実施の形態の映像記録装置５０は、２眼カメラで両方の画像を交互に間引いて記録をする。なお、本実施の形態では２眼カメラの例について説明するが、本発明はこれに限らず、３眼以上のカメラでも利用できる。
【００５０】
次に、映像記録装置５０における間引き記録方法について、図１１及び図１２を図１０と併せ参照して説明する。図１１は、間引き記録動作を模式的に示し、図１２は、記録動作説明用フローチャートを示す。
【００５１】
まず、画像が入力される（ステップＳ４１）。続いて、間引き判断器５３は、自分の保持画像バッファに保持画像があるか否かを調べる（ステップＳ４２）。自分の保持画像バッファとは、左目用画像を符号化するときには左用保持画像バッファ５１、右目用画像を符号化するときには右用保持画像バッファ１４である。記録開始直後は、右用保持画像バッファ１４と左用保持画像バッファ５１に保持画像はない。右用保持画像バッファ１４と左用保持画像バッファ５１は、間引きが行われている際に動き量を比較する画像を保持するのに使用される。比較に用いる画像が消えないようにするためである。通常、画像バッファは古い画像から上書きされてしまうからである。仮に、指定した画像バッファの画像を上書きされないようにすれば、右用保持画像バッファ１４と左用保持画像バッファ５１を用いなくともよい。
【００５２】
間引き判断器５３は、符号化する側の自分の保持画像バッファに保持画像がある場合、自分の保持画像バッファにある画像を削除し（ステップＳ４３）、今回入力された画像を画像符号化器５４に供給して符号化させる（ステップＳ４７）。図１１の左目用画像５が入力されたときは左用保持画像バッファ５１に左目用画像３が保持されているので、左目用画像３は削除され、今回入力された左目用画像５はステップＳ４３で符号化される。同様に、図１１の右目用画像６が入力されたときに右目用保持画像バッファ１４に右目用画像４が保持されているので、右目用画像４が削除され、今回入力された右目用画像６がステップＳ４３で符号化される。
【００５３】
また、間引き判断器５３は、ステップＳ４２で自分の保持画像バッファに保持画像がないと判定した場合、もう一方の保持画像バッファに保持画像があるか否かを調べる（ステップＳ４４）。もう一方の保持画像バッファとは、左目用画像を符号化するときには右用保持画像バッファ１４、右目用画像を符号化するときには左用保持画像バッファ５１である。
【００５４】
間引き判断器５３は、ステップＳ４４でもう一方の保持画像バッファには保持画像があると判定したときは、今回の入力画像が右目用画像であるか左目用画像であるかを判定する（ステップＳ４５）。間引き判断器５３は、ステップＳ４５で今回の入力画像が右目用画像である判定したときは、その右目用画像を画像符号化器５４に供給して符号化させる（ステップＳ４７）。図１１の右目用画像４が入力されたとき右用保持画像バッファ１４には保持画像はないとステップＳ４２で判定され、このとき左用保持画像バッファ５１に左目用画像３が保持されているとステップＳ４４で判定され、入力画像が右目用画像であるとステップＳ４５で判定され、右目用画像４はステップＳ４７で符号化される。なお、上記のステップＳ４７に続いて、画像符号化器５４は、符号化した画像にヘッダー情報作成器１７により作成された図２に示したヘッダー情報を付加する（ステップＳ４８）。
【００５５】
間引き判断器５３は、ステップＳ４４でもう一方の保持画像バッファにも保持画像がないと判定したとき、あるいはステップＳ４５で今回の入力画像が左目用画像であると判定したときは、動き検出器５２で検出された一つ前の画像と符号化しようとしている今回の入力画像との動き量を所定の閾値と比較する（ステップＳ４６）。間引き判断器５３は、動き量が閾値以上の場合は今回の入力画像を画像符号化器５４に供給して符号化させる（ステップＳ４７）。例えば、図１１の左目用画像３は一つ前の左目用画像２との動き量が閾値以上であるとステップＳ４６で判定された結果ステップＳ４７で符号化される。図１１の右目用画像３も同様に符号化される。
【００５６】
一方、間引き判断器５３は、ステップＳ４６で動き量が閾値未満であると判定した場合は、その時の入力画像は符号化しないと判断しその画像は符号化せず間引くと判断し、比較に用いた画像を保持画像バッファにコピーする（ステップＳ４９）。例えば、図１１の左目用画像４が入力されたときは２つの保持画像バッファ５１及び１４の両方に保持画像が存在しないため、入力された左目用画像４は一つ前の左目用画像３との動き量が閾値未満であるとステップＳ４６で判定されたときは、ステップＳ４９で間引かれ、比較に用いた左目用画像３がステップＳ４９で左用保持画像バッファ５１にコピーされる。図１１の右目用画像５も同様に間引かれ、右目用画像５と比較された右目用画像４が右用保持画像バッファ１４にコピーされる。そして、画像符号化器５４は、間引き判断器５３が間引いたと判断した画像を符号化せず、間引き画像ヘッダー情報作成器１８により作成した図３に示した専用のヘッダー情報を付加する（ステップＳ５０）。
【００５７】
ステップＳ４６で用いられる閾値の値は、記録する画質モードによって変更してもよい。例えば高画質モードでは値を小さくし、低画質モードでは値を大きくする。また、専用のヘッダー情報は、このヘッダー情報がある場合、間引きされていることを明示させるとともに、再生の際に代わりに出画する画質を指定するのに使われる。各画像のヘッダーに通し番号を記し、専用のヘッダー情報に代わりに出画する番号を示すことで代わりに出画する画像を指定できる。これらの作業を繰り返していく。
【００５８】
ステップＳ４８又はＳ５０の終了後、多重化器５５は、画像符号化器５４により得られた画像ストリームを音声符号化器２１により得られた音声ストリームと多重化し（ステップＳ５１）、ＴＳパケットに分割して記録媒体５６に公知の記録手段により記録する（ステップＳ５２）。
【００５９】
図１３は、画像符号化器５４により生成される画像ストリームの一例を示す。この例では左右の画像が交互に多重化されている。この例では左目用画像のＬ４，Ｌ６と右目用画像のＲ５，Ｒ７とが間引かれているとする。左目用画像のＬ４、Ｌ６と右目用画像のＲ５，Ｒ７とはヘッダー情報Ｈのみの構成となり、画像データＳはない。ヘッダー情報Ｈは専用のものとなっており、再生の際にそれぞれ一つ前の画像を使用することが記されている。
【００６０】
このように、本実施の形態の映像記録装置５０によれば、立体映像信号の記録時に、動きが所定の閾値未満の画像の符号化を間引くため、処理量を減らすことができる。
【００６１】
次に、本発明の再生装置の第２の実施の形態について説明する。
【００６２】
図１４は、本発明になる再生装置の第２の実施の形態のブロック図を示す。同図中、図７と同一構成部分には同一符号を付し、その説明を省略する。図１４に示すように、本実施の形態の再生装置６０は、記録媒体６１からストリームデータを再生する再生手段と、ストリームデータを画像と音声に分ける分離器４２と、画像のヘッダー情報を参照し間引き画像かを判断する間引き判断器６２と、画像を復号化する画像復号化器４４と、復号化された左目用画像を蓄える左用画像バッファ４５Ｌと、左目用画像を１枚蓄える左用保持画像バッファ６３と、復号された右目用画像を蓄える右用画像バッファ４５Ｒと、右目用画像を１枚蓄える右用保持画像バッファ４６と、立体映像をモニタ４８に表示させる表示制御部４７と、音声を復号化する音声復号化器４９１と、音声を出力するスピーカ４９２とで構成される。本実施の形態の再生装置６０は、２眼カメラで左右両方の画像を交互に間引いて記録媒体６１に記録をした映像を再生する。なお、３眼以上のカメラで記録をした映像の再生装置も本実施の形態と同様に構成することができる。
【００６３】
記録媒体６１は、記録媒体５６と同様に図１３に示したフォーマットの画像ストリームと音声ストリームとが多重化された動画ストリームが記録されている。分離器４２は、記録媒体６１から読みだされた動画ストリームから画像ストリームと音声ストリームとに分離する。間引き判断器６２は画像ストリームのヘッダー情報を解析して、間引き画像でなければ復号化しそれぞれの画像バッファ４５Ｌ又は４５Ｒに蓄える。間引き画像であれば復号化せず、代わりに出画する画像を検索し、画像バッファから対応する保持画像バッファ６３又は４６にコピーする。適切なタイミングで左右の画像バッファ４５Ｌ、４５Ｒ、４６又は６３から表示制御部４７に出力する。表示制御部４７は、左目用映像と右目用映像とが交互に１枚ずつ入力される立体映像をモニタ４８に表示させる。
【００６４】
次に、本実施の形態の再生装置６０の再生処理動作について、図１５及び図１６を図１４と併せ参照して説明する。図１５は、再生装置６０の間引き画像再生動作を模式的に示す図であり、図１６は、再生装置６０の間引き画像再生動作を説明するフローチャートである。なお、図１６中、図９と同一処理ステップには同一符号を付し、その説明を省略する。
【００６５】
まず、公知の再生手段により記録媒体６１から再生され、更に分離器４２により分離された再生画像ストリームが入力される（ステップＳ２１）。間引き判断器６２は、再生画像ストリーム中のヘッダー情報を解析し、符号化されている画像は間引き画像か否かを判定する（ステップＳ５０）。間引き判断器６２は、再生画像ストリーム中の入力された符号化されている画像が間引き画像ではないと判定した場合、その画像に対応した保持画像バッファ４６及び６３に画像があるか否かを調べる（ステップＳ５１）。保持画像バッファ４６及び６３は、間引きが行われている画像の代わりの画像を出画するのに使用される。出画に用いる画像が消えないようにするためである。通常、画像バッファは古い画像から上書きされてしまうからである。仮に、指定した画像バッファの画像を上書きされないようにすれば保持画像バッファ４６及び６３を用いなくてもよい。
【００６６】
保持画像バッファ４６及び６３に保持画像がない場合、入力された符号化画像を画像復号化器４４に供給して復号化させる（ステップＳ３１）。そして、画像復号化器４４は、復号化した画像を対応する右用画像バッファ４５Ｒ又は左用画像バッファ４５Ｌに蓄積する（ステップＳ５２）。
【００６７】
右用画像バッファ４５Ｒ及び左用画像バッファ４５Ｌは、蓄積した画像をヘッダー情報が示す出画の順番がきたら表示制御部４７へ出力する（ステップＳ５３）。図１５中の左目用画像１、左目用画像２、左目用画像３、右目用画像１、右目用画像２、右目用画像３は、間引き画像ではなく、かつ、右用保持画像バッファ４６及び左用保持画像バッファ６３に保持画像がないときの画像を示す。
【００６８】
また、間引き判断器６２は、ステップＳ５１で保持画像バッファ４６、６３に保持画像があると判定した場合、入力された符号化画像を画像復号化器４４に供給して復号化させる（ステップＳ２８）。この場合、間引き判断器６２は、間引き画像が一旦終わったことになるので、保持画像バッファ４６、６３にある保持画像を削除する（ステップＳ２９）。
【００６９】
そして、画像復号化器４４は、復号化した画像を対応する右用画像バッファ４５Ｒ又は左用画像バッファ４５Ｌに蓄積する（ステップＳ５４）。右用画像バッファ４５Ｒ及び左用画像バッファ４５Ｌは、蓄積した画像をヘッダー情報が示す出画の順番がきたら表示制御部４７へ出力する（ステップＳ５３）。図１５中の左目用画像５、左目用画像７は、左用保持画像バッファ６３に保持画像があるときに入力された、間引きされていない左目用画像を示し、右目用画像６、右目用画像８は、右用保持画像バッファ４６に保持画像があるときに入力された、間引きされていない右目用画像を示す。
【００７０】
一方、間引き判断器６２は、ステップＳ５０で再生画像ストリーム中の入力された符号化されている画像が間引き画像であると判定した場合、右用保持画像バッファ４６及び左用保持画像バッファ６３に保持画像があるか否かを調べる（ステップＳ５５）。保持画像バッファに保持画像がない場合、間引き判断器６２は、入力された符号化されている画像を復号化せず間引き（ステップＳ２５）、その代わりに出画する画像の番号を入力された間引き画像に付加されているヘッダー情報から求め、その出画する画像の番号を持つヘッダー情報の画像を画像バッファ４５Ｒ又は４５Ｌから右用保持画像バッファ４６又は左用保持画像バッファ６３にコピーする（ステップＳ５６）。右用保持画像バッファ４６及び左用保持画像バッファ６３は、コピーされた画像を出画の順番がきたら表示制御部４７に出力する（ステップＳ５３）。
【００７１】
図１５中の左目用画像４、左目用画像６、右目用画像５、右目用画像７は間引き画像であり、その入力時には保持画像バッファ４６、６３には保持画像がない。また、間引き画像のヘッダー情報に記述されている出画する画像の番号をヘッダー情報に持つ画像が右用保持画像バッファ４６、左用保持画像バッファ６３にコピーされる。表示制御部４７には、間引き画像の代わりに保持画像バッファ４６、６３にコピーされた画像が出力される。どの画像を使用するかは、間引いた画像に付加してあるヘッダー情報に代わりに出画する画像の番号が記載されているため、その番号をもつヘッダー情報の画像となる。
【００７２】
表示制御部４７は、入力される各画像をモニタ４８へ表示させる。
【００７３】
なお、本実施の形態では間引き画像で、かつ、保持画像がある場合は存在しない。
【符号の説明】
【００７４】
１０、５０ 映像記録装置
１１Ｌ 左用レンズ
１１Ｒ 右用レンズ
１２Ｌ 左用撮像素子
１２Ｒ 右用撮像素子
１３Ｌ、４５Ｌ 左用画像バッファ
１３Ｒ、４５Ｒ 右用画像バッファ
１４、４６ 右用保持画像バッファ
１５、５２ 動き検出器
１６、４３、５４、６２ 間引き判断器
１７ ヘッダー情報作成器
１８ 間引きヘッダー情報作成器
１９ 画像符号化器
２０ マイク
２１ 音声符号化器
２２、５５ 多重化器
２３、４１、５６、６１ 記録媒体
４０、６０ 再生装置
４２ 分離器
４４ 画像復号化器
４７ 表示制御部
４８ モニタ
５１、６３ 左用保持画像バッファ
【特許請求の範囲】
【請求項１】
立体映像を構成する左目用画像及び右目用画像のうち前記左目用画像を生成する左目用画像生成手段と、
前記右目用画像を生成する右目用画像生成手段と、
前記左目用画像を蓄える左用画像バッファと、
前記右目用画像を蓄える右用画像バッファと、
前記左目用画像及び前記右目用画像のうち予め定めた一方の画像を１枚蓄える保持画像バッファと、
前記保持画像バッファに蓄積される前記一方の画像の入力時にその一方の画像とそれ以前に入力された前記一方の画像との動き量を検出する動き検出手段と、
前記動き検出手段で検出された動き量を所定の閾値と比較して、前記動き量が前記閾値未満のとき間引き可と判断し、前記動き量が前記閾値以上のとき間引き否と判断する間引き判断手段と、
前記間引き判断手段により間引き可と判断された画像に使用する第１のヘッダー情報を作成する第１のヘッダー情報作成手段と、
前記間引き判断手段で間引き否と判断された画像に使用する第２のヘッダー情報を作成する第２のヘッダー情報作成手段と、
前記間引き判断手段で間引き否と判断された画像を符号化し、かつ、前記第２のヘッダー情報を付加して、符号化された前記右目用画像と符号化された前記左目用画像とが交互に合成された画像ストリームを出力すると共に、前記符号化された画像のうち前記間引き判断手段で間引き可と判断された画像の符号化画像に代えて前記第１のヘッダー情報を前記画像ストリーム中に合成して出力する画像符号化手段と、
前記画像符号化手段からの前記画像ストリームを記録媒体に記録する記録手段と、
を備えることを特徴とする映像記録装置。
【請求項２】
立体映像を構成する左目用画像及び右目用画像のうち前記左目用画像を生成する左目用画像生成手段と、
前記右目用画像を生成する右目用画像生成手段と、
前記左目用画像を入力毎に蓄える左用画像バッファと、
前記右目用画像を入力毎に蓄える右用画像バッファと、
前記左目用画像を１枚蓄える左用保持画像バッファと、
前記右目用画像を１枚蓄える右用保持画像バッファと、
前記左目用画像及び右目用画像のうち入力された一方の画像の入力時にその一方の画像とそれ以前に入力された前記一方の画像との動き量を検出する動き検出手段と、
前記左目用画像及び右目用画像のうち入力された一方の画像を符号化するときに、前記左用保持画像バッファ及び右用保持画像バッファのうち、入力された前記一方の画像の保持画像バッファに保持画像があるときには、その保持画像を削除すると共に前記一方の画像を符号化する画像とし、前記一方の画像の保持画像バッファに保持画像がなく、かつ、もう一方の画像の保持画像バッファに保持画像があるときは前記一方の画像又はもう一方の画像を符号化する画像とし、前記左用保持画像バッファ及び右用保持画像バッファの両方に保持画像が存在しないときは前記動き検出手段で検出された動き量を所定の閾値と比較して、前記動き量が前記閾値未満のとき間引き可と判断し、前記動き量が前記閾値以上のとき間引き否と判断する間引き判断手段と、
前記間引き判断手段により間引き可と判断された画像に使用する第１のヘッダー情報を作成する第１のヘッダー情報作成手段と、
前記間引き判断手段で間引き否と判断された画像に使用する第２のヘッダー情報を作成する第２のヘッダー情報作成手段と、
前記間引き判断手段で符号化する画像と判断された画像及び間引き否と判断された画像を符号化し、かつ、前記第２のヘッダー情報を付加して、符号化された前記右目用画像と符号化された前記左目用画像とが交互に合成された画像ストリームを出力すると共に、前記間引き判断手段で間引き可と判断された画像に代えて前記第１のヘッダー情報を前記画像ストリーム中に合成して出力する画像符号化手段と、
前記画像符号化手段からの前記画像ストリームを記録媒体に記録する記録手段と、
を備えることを特徴とする映像記録装置。
【請求項３】
請求項１記載の記録媒体から前記画像ストリームを再生する再生手段と、
前記画像ストリーム中の間引き可と判断された画像に使用する第１のヘッダー情報及び間引き否と判断された画像に使用する第２のヘッダー情報を参照して、前記画像ストリーム中の画像が間引き画像であるか否かを判断する間引き判断手段と、
前記間引き判断手段により前記間引き画像でないと判断された画像を復号化する画像復号化手段と、
前記画像復号化手段により復号化された左目用画像と右目用画像とを別々に蓄える左用画像バッファ及び右用画像バッファと、
前記間引き判断手段への前記第１のヘッダー情報の入力時に、その第１のヘッダー情報に記された出画順の画像がコピーされる保持画像バッファと、
前記左用画像バッファ、右用画像バッファ及び保持用画像バッファから左目用画像及び右目用画像が１枚ずつ交互に入力される立体映像を表示部に表示させる表示制御手段と、
を備えることを特徴とする再生装置。
【請求項４】
請求項２記載の記録媒体から前記画像ストリームを再生する再生手段と、
前記画像ストリーム中の間引き可と判断された画像に使用する第１のヘッダー情報及び間引き否と判断された画像に使用する第２のヘッダー情報を参照して、前記画像ストリーム中の画像が間引き画像であるか否かを判断する間引き判断手段と、
前記間引き判断手段により前記間引き画像でないと判断された画像を復号化する画像復号化手段と、
前記画像復号化手段により復号化された左目用画像と右目用画像とを別々に蓄える左用画像バッファ及び右用画像バッファと、
前記間引き判断手段への前記第１のヘッダー情報の入力時に、その第１のヘッダー情報に記された出画順の左目用画像がコピーされる左用保持画像バッファと、
前記間引き判断手段への前記第１のヘッダー情報の入力時に、その第１のヘッダー情報に記された出画順の右目用画像がコピーされる右用保持画像バッファと、
前記左用画像バッファ、右用画像バッファ、左用保持画像バッファ及び右用保持用画像バッファのうち選択されたバッファから左目用画像及び右目用画像が１枚ずつ交互に入力される立体映像を表示部に表示させる表示制御手段と、
を備えることを特徴とする再生装置。
【請求項１】
立体映像を構成する左目用画像及び右目用画像のうち前記左目用画像を生成する左目用画像生成手段と、
前記右目用画像を生成する右目用画像生成手段と、
前記左目用画像を蓄える左用画像バッファと、
前記右目用画像を蓄える右用画像バッファと、
前記左目用画像及び前記右目用画像のうち予め定めた一方の画像を１枚蓄える保持画像バッファと、
前記保持画像バッファに蓄積される前記一方の画像の入力時にその一方の画像とそれ以前に入力された前記一方の画像との動き量を検出する動き検出手段と、
前記動き検出手段で検出された動き量を所定の閾値と比較して、前記動き量が前記閾値未満のとき間引き可と判断し、前記動き量が前記閾値以上のとき間引き否と判断する間引き判断手段と、
前記間引き判断手段により間引き可と判断された画像に使用する第１のヘッダー情報を作成する第１のヘッダー情報作成手段と、
前記間引き判断手段で間引き否と判断された画像に使用する第２のヘッダー情報を作成する第２のヘッダー情報作成手段と、
前記間引き判断手段で間引き否と判断された画像を符号化し、かつ、前記第２のヘッダー情報を付加して、符号化された前記右目用画像と符号化された前記左目用画像とが交互に合成された画像ストリームを出力すると共に、前記符号化された画像のうち前記間引き判断手段で間引き可と判断された画像の符号化画像に代えて前記第１のヘッダー情報を前記画像ストリーム中に合成して出力する画像符号化手段と、
前記画像符号化手段からの前記画像ストリームを記録媒体に記録する記録手段と、
を備えることを特徴とする映像記録装置。
【請求項２】
立体映像を構成する左目用画像及び右目用画像のうち前記左目用画像を生成する左目用画像生成手段と、
前記右目用画像を生成する右目用画像生成手段と、
前記左目用画像を入力毎に蓄える左用画像バッファと、
前記右目用画像を入力毎に蓄える右用画像バッファと、
前記左目用画像を１枚蓄える左用保持画像バッファと、
前記右目用画像を１枚蓄える右用保持画像バッファと、
前記左目用画像及び右目用画像のうち入力された一方の画像の入力時にその一方の画像とそれ以前に入力された前記一方の画像との動き量を検出する動き検出手段と、
前記左目用画像及び右目用画像のうち入力された一方の画像を符号化するときに、前記左用保持画像バッファ及び右用保持画像バッファのうち、入力された前記一方の画像の保持画像バッファに保持画像があるときには、その保持画像を削除すると共に前記一方の画像を符号化する画像とし、前記一方の画像の保持画像バッファに保持画像がなく、かつ、もう一方の画像の保持画像バッファに保持画像があるときは前記一方の画像又はもう一方の画像を符号化する画像とし、前記左用保持画像バッファ及び右用保持画像バッファの両方に保持画像が存在しないときは前記動き検出手段で検出された動き量を所定の閾値と比較して、前記動き量が前記閾値未満のとき間引き可と判断し、前記動き量が前記閾値以上のとき間引き否と判断する間引き判断手段と、
前記間引き判断手段により間引き可と判断された画像に使用する第１のヘッダー情報を作成する第１のヘッダー情報作成手段と、
前記間引き判断手段で間引き否と判断された画像に使用する第２のヘッダー情報を作成する第２のヘッダー情報作成手段と、
前記間引き判断手段で符号化する画像と判断された画像及び間引き否と判断された画像を符号化し、かつ、前記第２のヘッダー情報を付加して、符号化された前記右目用画像と符号化された前記左目用画像とが交互に合成された画像ストリームを出力すると共に、前記間引き判断手段で間引き可と判断された画像に代えて前記第１のヘッダー情報を前記画像ストリーム中に合成して出力する画像符号化手段と、
前記画像符号化手段からの前記画像ストリームを記録媒体に記録する記録手段と、
を備えることを特徴とする映像記録装置。
【請求項３】
請求項１記載の記録媒体から前記画像ストリームを再生する再生手段と、
前記画像ストリーム中の間引き可と判断された画像に使用する第１のヘッダー情報及び間引き否と判断された画像に使用する第２のヘッダー情報を参照して、前記画像ストリーム中の画像が間引き画像であるか否かを判断する間引き判断手段と、
前記間引き判断手段により前記間引き画像でないと判断された画像を復号化する画像復号化手段と、
前記画像復号化手段により復号化された左目用画像と右目用画像とを別々に蓄える左用画像バッファ及び右用画像バッファと、
前記間引き判断手段への前記第１のヘッダー情報の入力時に、その第１のヘッダー情報に記された出画順の画像がコピーされる保持画像バッファと、
前記左用画像バッファ、右用画像バッファ及び保持用画像バッファから左目用画像及び右目用画像が１枚ずつ交互に入力される立体映像を表示部に表示させる表示制御手段と、
を備えることを特徴とする再生装置。
【請求項４】
請求項２記載の記録媒体から前記画像ストリームを再生する再生手段と、
前記画像ストリーム中の間引き可と判断された画像に使用する第１のヘッダー情報及び間引き否と判断された画像に使用する第２のヘッダー情報を参照して、前記画像ストリーム中の画像が間引き画像であるか否かを判断する間引き判断手段と、
前記間引き判断手段により前記間引き画像でないと判断された画像を復号化する画像復号化手段と、
前記画像復号化手段により復号化された左目用画像と右目用画像とを別々に蓄える左用画像バッファ及び右用画像バッファと、
前記間引き判断手段への前記第１のヘッダー情報の入力時に、その第１のヘッダー情報に記された出画順の左目用画像がコピーされる左用保持画像バッファと、
前記間引き判断手段への前記第１のヘッダー情報の入力時に、その第１のヘッダー情報に記された出画順の右目用画像がコピーされる右用保持画像バッファと、
前記左用画像バッファ、右用画像バッファ、左用保持画像バッファ及び右用保持用画像バッファのうち選択されたバッファから左目用画像及び右目用画像が１枚ずつ交互に入力される立体映像を表示部に表示させる表示制御手段と、
を備えることを特徴とする再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１１４５４３（Ｐ２０１２−１１４５４３Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２５９８２２（Ｐ２０１０−２５９８２２）
【出願日】平成２２年１１月２２日（２０１０．１１．２２）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２２日（２０１０．１１．２２）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]