撮像装置および画像処理装置
【課題】 動画像と高精細静止画を同時に効率よく記録、または伝送可能な画像記録再生装置を提供することを目的とする。
【解決手段】 動画像信号を基本レイヤとし、動画像信号より画素数が大きい高精細静止画信号を拡張レイヤとして多重化し、連続する高精細静止画信号のフレームレートが動画像信号のフレームレートより低い場合、高精細静止画信号のフレームレートが、動画像信号のフレームレートと同一、あるいは、動画像信号のフレームレート以上となるように、多重化ストリーム中に制御コードを挿入する。
【解決手段】 動画像信号を基本レイヤとし、動画像信号より画素数が大きい高精細静止画信号を拡張レイヤとして多重化し、連続する高精細静止画信号のフレームレートが動画像信号のフレームレートより低い場合、高精細静止画信号のフレームレートが、動画像信号のフレームレートと同一、あるいは、動画像信号のフレームレート以上となるように、多重化ストリーム中に制御コードを挿入する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特には動画像と静止画像とを撮影可能な撮像装置および画像処理装置に関するものである。
【背景技術】
【０００２】
従来、動画像を記録しながら、同時に静止画像を記録するカメラ一体型動画像記録再生装置が知られている（例えば、特許文献１参照）。
【０００３】
また、近年では、多画素の撮像素子を備え、静止画撮影時においては動画像よりも高解像度の静止画像を記録する装置も登場している。また、この様な動画像を符号化する技術として、従来ＭＰＥＧ方式が知られており、近年では、動画像を撮影し、ＭＰＥＧ方式で符号化した後、メモリカードや光ディスクに記録する装置も登場している。
【特許文献１】特開２００２−３５９０８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、多画素の撮像素子により高精細な静止画像を撮影する装置では、動画像の記録画素数と静止画像の記録画素数が異なるため、同一のストリーム中に動画像と静止画像とを多重して符号化することができない。そのため、それぞれ異なる符号化方式で符号化し、それぞれ異なる記録媒体に記録しており、同一のシーンであるにも関わらず、それぞれ異なる符号化方式で独立に符号化され、冗長なデータを記録することになるという問題があった。
【０００５】
また、ＭＰＥＧ符号化におけるスケーラビリティ機能は、例えば標準解像度（ＳＤ）の画像を基本レイヤ、高解像度（ＨＤ）の画像を拡張レイヤとして多重化し、ＳＤとＨＤをサイマル・キャストする場合などに用いられる。このＭＰＥＧのスケーラビリティ機能を用いて、標準解像度の動画像と高精細静止画を多重化しようとした場合、空間解像度の観点からは、動画像が基本レイヤ、高精細静止画が拡張レイヤとなるが、時間解像度の観点からは、高精細静止画が基本レイヤ、動画像が拡張レイヤとなることから、矛盾が生じ、うまく適用できないという問題があった。
【０００６】
本発明はこの様な問題を解決し、動画撮影中に容易に高解像度の静止画を撮影可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像手段と、前記撮像手段から出力された動画像情報を所定の符号化方式により符号化する第１の符号化手段と、前記動画像情報の撮影中における静止画撮影の指示に応じて、前記動画像情報よりも１画面当たりの画素数が多い高精彩画像情報を前記撮像手段より入力し、前記高精細画像情報を前記所定の符号化方式により符号化する第２の符号化手段と、前記第１の符号化手段より出力された動画像情報と前記第２の符号化手段より出力された高精細画像情報とを多重して、一つのストリームとして出力する多重手段と、前記多重手段より出力されたストリームを伝送路を介して伝送する伝送手段とを備える。
【発明の効果】
【０００８】
本発明の画像記録再生装置によれば、動画像と高精細静止画とを効率よく同時に記録、伝送することができる。
【発明を実施するための最良の形態】
【０００９】
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
【実施例１】
【００１０】
図１は本発明を適用した画像記録再生装置の構成例を示している。
【００１１】
図１において、１０１は撮像装置であり後述の符号化処理のための、標準画像信号および高精細画像信号を出力する。１０２は前記標準画像信号を所定のフォーマット（ここではＭＰＥＧフォーマット）で符号化を行う標準動画符号化部であり、１０３は前記高精細画像信号を、前記標準動画符号化部が符号化するフォーマットと同一のフォーマットで符号化する高精細符号化部である。１０４は画像記録再生装置をユーザーが操作した操作内容に応じて画像記録再生装置の各処理部を制御する操作部であり、１０５は、前記標準動画符号化部１０２および、前記高精細符号化部１０３が出力する符号化信号を多重化する多重化部であり、１０６は前記多重化部が多重化した符号化画像信号を記録する記録媒体である。
【００１２】
通常動画記録時は、高精細符号化部は動作せず、標準画像信号が記録媒体へ記録される。
【００１３】
本発明の画像記録再生装置は、ユーザーの操作により動画像信号と同時に高精細静止画像も記録可能であり、動画記録中にユーザーが、図示しない静止画記録ボタンを操作している間、標準動画像信号と同時に、高精細静止画像信号も同時に記録されるようになっている。ユーザーが上述の静止画記録ボタンを操作すると、操作部１０４は各処理部へ制御信号を出力し、高精細符号化部１０３は高精細画像信号の符号化を行う。そして、多重化部１０５は、標準動画符号化部１０２と高精細符号化部１０３とから出力された符号化信号を多重化する。この際、標準動画を基本レイヤ、高精細静止画像を拡張レイヤとして、スケーラビリティを有効にした新しいシーケンスにて多重するよう制御される。
【００１４】
また、高精細画像については、同一のフレームに対する標準画像の符号化を行う際の符号化パラメータ（例えば動きベクトル）を利用することにより、効率的に符号化を行うようにしている。また、ここでは一例として、高精細静止画を符号化するフレームレートは標準動画像を符号化するフレームレートの半分であるとすると、標準画像としては符号化するが、高精細画像としては符号化を行わないフレームが存在することとなるため、そのようなフレームに対して、高精細画像の符号化データとして、例えばＭＰＥＧ−４であれば“符号化なし（Ｎｏｔ Ｃｏｄｅｄ）”を意味する制御コードを挿入するようにしている。
【００１５】
また、ユーザーが静止画記録ボタンの操作を中止すると、通常動画のみ記録し、スケーラビリティを無効にした新しいシーケンスを開始するよう制御される。
【００１６】
上記の説明を符号化される画像データと時間との関係で模式的に示したものが図２である。
【実施例２】
【００１７】
図３は、本発明の第２の実施例を説明するためのシステム構成図である。
【００１８】
本発明の画像記録再生装置と、パーソナルコンピュータ（ＰＣ）が例えばＩＥＥＥ１３９４のような伝送路で接続され、ＰＣから画像記録再生装置の制御が可能となっている。画像記録再生装置は、撮像している画像を標準動画符号化で符号化し上記伝送路を介してＰＣへリアルタイムに伝送しており、ＰＣは上記伝送される画像データを復号してモニタへ表示する。
【００１９】
ユーザーの操作により、ＰＣから静止画キャプチャ・コマンドが画像記録再生装置へ送信されると、画像記録再生装置は、図１で記載した静止画記録ボタンが操作された時と同様の動作を行い、伝送路へ標準動画信号と高精細画像信号が多重化された信号を送信する。ＰＣは送信された標準動画信号と、高精細画像信号の両方を用いて高精細画像の復号を行い、ＰＣが有する記録媒体へ高精細画像を記録する。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施例を説明するための画像記録再生装置の構成図
【図２】符号化される画像データと時間の関係を示す模式図
【図３】本発明の第２の実施例を説明するためのシステム構成図
【符号の説明】
【００２１】
１０１ 撮像装置
１０２ 標準動画符号化部
１０３ 高精細符号化部
１０４ 操作部
１０５ 多重化部
１０６ 記録媒体
【技術分野】
【０００１】
本発明は、撮像装置に関し、特には動画像と静止画像とを撮影可能な撮像装置および画像処理装置に関するものである。
【背景技術】
【０００２】
従来、動画像を記録しながら、同時に静止画像を記録するカメラ一体型動画像記録再生装置が知られている（例えば、特許文献１参照）。
【０００３】
また、近年では、多画素の撮像素子を備え、静止画撮影時においては動画像よりも高解像度の静止画像を記録する装置も登場している。また、この様な動画像を符号化する技術として、従来ＭＰＥＧ方式が知られており、近年では、動画像を撮影し、ＭＰＥＧ方式で符号化した後、メモリカードや光ディスクに記録する装置も登場している。
【特許文献１】特開２００２−３５９０８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、多画素の撮像素子により高精細な静止画像を撮影する装置では、動画像の記録画素数と静止画像の記録画素数が異なるため、同一のストリーム中に動画像と静止画像とを多重して符号化することができない。そのため、それぞれ異なる符号化方式で符号化し、それぞれ異なる記録媒体に記録しており、同一のシーンであるにも関わらず、それぞれ異なる符号化方式で独立に符号化され、冗長なデータを記録することになるという問題があった。
【０００５】
また、ＭＰＥＧ符号化におけるスケーラビリティ機能は、例えば標準解像度（ＳＤ）の画像を基本レイヤ、高解像度（ＨＤ）の画像を拡張レイヤとして多重化し、ＳＤとＨＤをサイマル・キャストする場合などに用いられる。このＭＰＥＧのスケーラビリティ機能を用いて、標準解像度の動画像と高精細静止画を多重化しようとした場合、空間解像度の観点からは、動画像が基本レイヤ、高精細静止画が拡張レイヤとなるが、時間解像度の観点からは、高精細静止画が基本レイヤ、動画像が拡張レイヤとなることから、矛盾が生じ、うまく適用できないという問題があった。
【０００６】
本発明はこの様な問題を解決し、動画撮影中に容易に高解像度の静止画を撮影可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像手段と、前記撮像手段から出力された動画像情報を所定の符号化方式により符号化する第１の符号化手段と、前記動画像情報の撮影中における静止画撮影の指示に応じて、前記動画像情報よりも１画面当たりの画素数が多い高精彩画像情報を前記撮像手段より入力し、前記高精細画像情報を前記所定の符号化方式により符号化する第２の符号化手段と、前記第１の符号化手段より出力された動画像情報と前記第２の符号化手段より出力された高精細画像情報とを多重して、一つのストリームとして出力する多重手段と、前記多重手段より出力されたストリームを伝送路を介して伝送する伝送手段とを備える。
【発明の効果】
【０００８】
本発明の画像記録再生装置によれば、動画像と高精細静止画とを効率よく同時に記録、伝送することができる。
【発明を実施するための最良の形態】
【０００９】
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
【実施例１】
【００１０】
図１は本発明を適用した画像記録再生装置の構成例を示している。
【００１１】
図１において、１０１は撮像装置であり後述の符号化処理のための、標準画像信号および高精細画像信号を出力する。１０２は前記標準画像信号を所定のフォーマット（ここではＭＰＥＧフォーマット）で符号化を行う標準動画符号化部であり、１０３は前記高精細画像信号を、前記標準動画符号化部が符号化するフォーマットと同一のフォーマットで符号化する高精細符号化部である。１０４は画像記録再生装置をユーザーが操作した操作内容に応じて画像記録再生装置の各処理部を制御する操作部であり、１０５は、前記標準動画符号化部１０２および、前記高精細符号化部１０３が出力する符号化信号を多重化する多重化部であり、１０６は前記多重化部が多重化した符号化画像信号を記録する記録媒体である。
【００１２】
通常動画記録時は、高精細符号化部は動作せず、標準画像信号が記録媒体へ記録される。
【００１３】
本発明の画像記録再生装置は、ユーザーの操作により動画像信号と同時に高精細静止画像も記録可能であり、動画記録中にユーザーが、図示しない静止画記録ボタンを操作している間、標準動画像信号と同時に、高精細静止画像信号も同時に記録されるようになっている。ユーザーが上述の静止画記録ボタンを操作すると、操作部１０４は各処理部へ制御信号を出力し、高精細符号化部１０３は高精細画像信号の符号化を行う。そして、多重化部１０５は、標準動画符号化部１０２と高精細符号化部１０３とから出力された符号化信号を多重化する。この際、標準動画を基本レイヤ、高精細静止画像を拡張レイヤとして、スケーラビリティを有効にした新しいシーケンスにて多重するよう制御される。
【００１４】
また、高精細画像については、同一のフレームに対する標準画像の符号化を行う際の符号化パラメータ（例えば動きベクトル）を利用することにより、効率的に符号化を行うようにしている。また、ここでは一例として、高精細静止画を符号化するフレームレートは標準動画像を符号化するフレームレートの半分であるとすると、標準画像としては符号化するが、高精細画像としては符号化を行わないフレームが存在することとなるため、そのようなフレームに対して、高精細画像の符号化データとして、例えばＭＰＥＧ−４であれば“符号化なし（Ｎｏｔ Ｃｏｄｅｄ）”を意味する制御コードを挿入するようにしている。
【００１５】
また、ユーザーが静止画記録ボタンの操作を中止すると、通常動画のみ記録し、スケーラビリティを無効にした新しいシーケンスを開始するよう制御される。
【００１６】
上記の説明を符号化される画像データと時間との関係で模式的に示したものが図２である。
【実施例２】
【００１７】
図３は、本発明の第２の実施例を説明するためのシステム構成図である。
【００１８】
本発明の画像記録再生装置と、パーソナルコンピュータ（ＰＣ）が例えばＩＥＥＥ１３９４のような伝送路で接続され、ＰＣから画像記録再生装置の制御が可能となっている。画像記録再生装置は、撮像している画像を標準動画符号化で符号化し上記伝送路を介してＰＣへリアルタイムに伝送しており、ＰＣは上記伝送される画像データを復号してモニタへ表示する。
【００１９】
ユーザーの操作により、ＰＣから静止画キャプチャ・コマンドが画像記録再生装置へ送信されると、画像記録再生装置は、図１で記載した静止画記録ボタンが操作された時と同様の動作を行い、伝送路へ標準動画信号と高精細画像信号が多重化された信号を送信する。ＰＣは送信された標準動画信号と、高精細画像信号の両方を用いて高精細画像の復号を行い、ＰＣが有する記録媒体へ高精細画像を記録する。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施例を説明するための画像記録再生装置の構成図
【図２】符号化される画像データと時間の関係を示す模式図
【図３】本発明の第２の実施例を説明するためのシステム構成図
【符号の説明】
【００２１】
１０１ 撮像装置
１０２ 標準動画符号化部
１０３ 高精細符号化部
１０４ 操作部
１０５ 多重化部
１０６ 記録媒体
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段から出力された動画像情報を所定の符号化方式により符号化する第１の符号化手段と、
前記動画像情報の撮影中における静止画撮影の指示に応じて、前記動画像情報よりも１画面当たりの画素数が多い高精彩画像情報を前記撮像手段より入力し、前記高精細画像情報を前記所定の符号化方式により符号化する第２の符号化手段と、
前記第１の符号化手段より出力された動画像情報と前記第２の符号化手段より出力された高精細画像情報とを多重して、一つのストリームとして出力する多重手段と、
前記多重手段より出力されたストリームを伝送路を介して伝送する伝送手段とを備えることを特徴とする撮像装置。
【請求項２】
前記所定の符号化方式はＭＰＥＧ符号化方式であり、前記多重手段は、前記ＭＰＥＧ符号化におけるスケーラビリティ機能を利用して、前記第１の符号化手段より出力された動画像情報と前記第２の符号化手段より出力された高精細画像情報とを多重することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記多重手段は、前記第１の符号化手段より出力された動画像情報を基本レイヤとし、前記第２の符号化手段より出力された高精細画像情報を拡張レイヤとして多重することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第２の符号化手段は、前記符号化された高精細画像情報のフレームレートが前記動画像情報のフレームレートと同一、あるいは、動画像情報のフレームレート以上となるように、所定の制御コードを付加することを特徴とする請求項１に記載の撮像装置。
【請求項５】
動画像信号のみ記録するモードと、動画像信号と静止画信号とを多重化して両方を記録するモードとを選択でき、記録中に前記記録モードが切り替えられた場合、記録モード切り替えに対応して、スケーラビリティの有効／無効を切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項６】
動画像情報を入力する入力手段と、
前記撮像手段から出力された動画像情報を所定の符号化方式により符号化する第１の符号化手段と、
前記動画像情報の撮影中における静止画撮影の指示に応じて、前記動画像情報よりも１画面当たりの画素数が多い高精彩画像情報を前記入力手段より入力し、前記高精細画像情報を前記所定の符号化方式により符号化する第２の符号化手段と、
前記第１の符号化手段より出力された動画像情報と前記第２の符号化手段より出力された高精細画像情報とを多重して、一つのストリームとして出力する多重手段と、
前記多重手段より出力されたストリームを伝送路を介して伝送する伝送手段とを備えることを特徴とする画像処理装置。
【請求項１】
撮像手段と、
前記撮像手段から出力された動画像情報を所定の符号化方式により符号化する第１の符号化手段と、
前記動画像情報の撮影中における静止画撮影の指示に応じて、前記動画像情報よりも１画面当たりの画素数が多い高精彩画像情報を前記撮像手段より入力し、前記高精細画像情報を前記所定の符号化方式により符号化する第２の符号化手段と、
前記第１の符号化手段より出力された動画像情報と前記第２の符号化手段より出力された高精細画像情報とを多重して、一つのストリームとして出力する多重手段と、
前記多重手段より出力されたストリームを伝送路を介して伝送する伝送手段とを備えることを特徴とする撮像装置。
【請求項２】
前記所定の符号化方式はＭＰＥＧ符号化方式であり、前記多重手段は、前記ＭＰＥＧ符号化におけるスケーラビリティ機能を利用して、前記第１の符号化手段より出力された動画像情報と前記第２の符号化手段より出力された高精細画像情報とを多重することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記多重手段は、前記第１の符号化手段より出力された動画像情報を基本レイヤとし、前記第２の符号化手段より出力された高精細画像情報を拡張レイヤとして多重することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第２の符号化手段は、前記符号化された高精細画像情報のフレームレートが前記動画像情報のフレームレートと同一、あるいは、動画像情報のフレームレート以上となるように、所定の制御コードを付加することを特徴とする請求項１に記載の撮像装置。
【請求項５】
動画像信号のみ記録するモードと、動画像信号と静止画信号とを多重化して両方を記録するモードとを選択でき、記録中に前記記録モードが切り替えられた場合、記録モード切り替えに対応して、スケーラビリティの有効／無効を切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項６】
動画像情報を入力する入力手段と、
前記撮像手段から出力された動画像情報を所定の符号化方式により符号化する第１の符号化手段と、
前記動画像情報の撮影中における静止画撮影の指示に応じて、前記動画像情報よりも１画面当たりの画素数が多い高精彩画像情報を前記入力手段より入力し、前記高精細画像情報を前記所定の符号化方式により符号化する第２の符号化手段と、
前記第１の符号化手段より出力された動画像情報と前記第２の符号化手段より出力された高精細画像情報とを多重して、一つのストリームとして出力する多重手段と、
前記多重手段より出力されたストリームを伝送路を介して伝送する伝送手段とを備えることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００６−６６９５２（Ｐ２００６−６６９５２Ａ）
【公開日】平成１８年３月９日（２００６．３．９）
【国際特許分類】
【出願番号】特願２００４−２４３５７５（Ｐ２００４−２４３５７５）
【出願日】平成１６年８月２４日（２００４．８．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年３月９日（２００６．３．９）
【国際特許分類】
【出願日】平成１６年８月２４日（２００４．８．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]