撮像装置
【課題】１台のカメラから入力される映像に対して異なる領域の映像を同時に撮影でき、かつ画質劣化の少ない撮像装置を提供する。
【解決手段】本発明の撮像装置は、メモリ７に接続して使用される撮像装置であって、任意の領域を読み出し可能な撮像素子３と、前記撮像素子３に結像された全体画像である主画像領域の画像を読み出して主画像として前記メモリ７に格納する主画像格納部１５と、前記撮像素子から注視すべき領域である注視領域の画像を読み出して副画像として前記メモリ７に格納する副画像格納部１６と、前記主画像格納部１５および前記副画像格納部１６により前記メモリ７に格納された主画像および副画像を圧縮するエンコーダ８と、前記エンコーダ８により圧縮された主画像および副画像を記録媒体に記録する記録部９とを有することを特徴とする。
【解決手段】本発明の撮像装置は、メモリ７に接続して使用される撮像装置であって、任意の領域を読み出し可能な撮像素子３と、前記撮像素子３に結像された全体画像である主画像領域の画像を読み出して主画像として前記メモリ７に格納する主画像格納部１５と、前記撮像素子から注視すべき領域である注視領域の画像を読み出して副画像として前記メモリ７に格納する副画像格納部１６と、前記主画像格納部１５および前記副画像格納部１６により前記メモリ７に格納された主画像および副画像を圧縮するエンコーダ８と、前記エンコーダ８により圧縮された主画像および副画像を記録媒体に記録する記録部９とを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に係り、特に高速撮像素子や高精細撮像素子を用いて１つの入力画像から複数の映像を同時に撮影できるようにした撮像装置に関するものである。
【背景技術】
【０００２】
被写体をレンズにより撮像素子上に結像させ、光電変換により得られた画像データに各種信号処理を施し、液晶モニターなどに被写体映像を表示させると共に記録媒体に記録するデジタルスチルカメラやデジタルビデオカメラなどの撮像装置が実用化され広く普及している。一般的には撮影者がカメラの向きやズーム機能を制御し、子供が遊んでいるシーンを撮影するなど単独の撮影目的で被写体の構図を決定し撮影を行なっている。また監視カメラなど固定された撮像装置においても遠隔操作でカメラの向きやズームを制御したり、画像処理により不審人物や異常発生箇所を特定し自動でカメラアングルを制御するなど単独の撮影目的で被写体の構図を決定している。
【０００３】
応用技術として、１台のカメラにより複数の撮影目的を処理できる撮像装置が提案されている（例えば特許文献１）。カメラで撮影している画像において、予め設定した条件により注視対象となる被写体が含まれている複数の注視領域を選定し、同時に画像における重要度を対応した注視領域ごとに設定する。次にこれら複数の注視領域を重要度に応じた統合注視領域に統合し、カメラの状態を検出するセンサーの計測値に基づき統合注視領域が構図に収まるようカメラを制御する技術である。
【０００４】
また別の応用技術として、常に監視領域の全体を確認でき、同時に注視領域を詳細に視認できる監視技術も提案されている（例えば特許文献２）。カメラで撮影している撮像画像を、一旦第１のバッファに格納し、第１のバッファから監視領域と注視領域を別々にサイズ変換して第２のバッファへ再格納することで、第２のバッファへ再格納された監視領域と注視領域を記録対象の画像として扱う技術である。
【特許文献１】特開２００７−１３４８４５号公報
【特許文献２】特開２００６−１２９１５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の撮像装置においては、重要度に応じて複数の撮影目的を同時に満たせる構図を決定する技術であり、それぞれの撮影目的を十分に満たせないという課題を有している。具体例を挙げると、子供の発表会において舞台全体の様子も撮影したいし、子供の様子もアップで撮影したいという相反する要求に対してはどちらかをあきらめざるを得ない。また別の具体例では、監視カメラにおいて撮影領域内の離れた場所で異常が検出されると異常発生時の全体像を優先するか個別の異常発生箇所に注視するかの折り合いをつけなければならない。
【０００６】
また、上記第２の従来の撮像装置においては、一旦第１のバッファに格納した撮像画像から監視領域と注視領域の切り出し／サイズ変換処理を行なうため画質の劣化につながり、かつメモリアクセス回数の増加、使用メモリ容量の増加も発生する。
【０００７】
本発明は上記従来の課題を解決するものであり、１台のカメラから入力される映像に対して異なる領域の映像を同時に撮影でき、かつ画質劣化の少ない撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係る撮像装置は、メモリに接続して使用される撮像装置であって、任意の領域を読み出し可能な撮像素子と、前記撮像素子に結像された全体画像である主画像領域の画像を読み出して主画像として前記メモリに格納する主画像格納手段と、前記撮像素子から注視すべき領域である注視領域の画像を読み出して副画像として前記メモリに格納する副画像格納手段と、前記主画像格納手段および前記副画像格納手段により前記メモリに格納された主画像および副画像を圧縮するエンコーダ手段と、前記エンコーダ手段により圧縮された主画像および副画像を記録媒体に記録する記録手段とを有することを特徴とする。
【０００９】
かかる構成により、主画像領域と注視領域とが異なる場合にも、主画像と副画像とを同時に記録することが可能となる。また、メモリに格納する前に注視領域の画像から副画像を生成するので、メモリに格納された画像から注視領域の切り出しおよびサイズ変換を行うことで副画像を生成する場合に比べて、画質の劣化を低減できる。
【００１０】
また、前記撮像素子は動画フレーム周期よりも高速に撮像可能な撮像素子であって、前記主画像格納手段と前記副画像格納手段とは、互いに異なる時刻に前記撮像素子で撮像された画像を前記撮像素子から読み出すことを特徴としている。かかる構成により、主画像と副画像を個別に読み出すことが可能となる。
【００１１】
また、前記撮像素子は、前記主画像および前記副画像の画素数よりも多い数の画素を有し、前記主画像格納手段は、前記主画像領域の画像の画素数を変換し、変換した主画像領域の画像を前記主画像として前記メモリに格納し、前記副画像格納手段は、前記注視領域の画像の画素数を変換し、変換した注視領域の画像を前記副画像として前記メモリに格納することを特徴としている。かかる構成により、画像領域の画質劣化を防ぐことが可能となる。
【００１２】
また、前記副画像格納手段は、複数の前記注視領域の画像を、前記注視領域ごとに対応する副画像として前記メモリに格納し、前記主画像格納手段および前記副画像格納手段は、前記副画像の数に応じて前記主画像領域の画像および前記注視領域の画像それぞれの読み出しフレーム周期を決定し、決定した読み出しフレーム周期で前記副画像および前記主画像を前記メモリに格納し、前記エンコーダ手段は、前記副画像および前記主画像それぞれを決定された読み出しフレーム周期で圧縮することを特徴としている。かかる構成により、複数の注視領域が存在する場合の拡張性を確保することが可能となる。
【００１３】
また、領域特定手段をさらに備え、前記領域特定手段は前記注視領域を動的に検出し、前記副画像格納手段は、前記領域特定手段により特定された領域の画像を前記副画像として格納することを特徴としている。かかる構成により、領域特定手段により注視領域を特定することで任意の副画像を記録することが可能となる。その結果、例えば注視領域が移動物体の領域となっている場合、副画像は移動物体に追従する画像となる。
【００１４】
また、前記領域特定手段は、タッチパネル方式の入力デバイスを備え、前記入力デバイスで指定された領域を前記注視領域として特定することを特徴としている。かかる構成により、撮影者の意思に応じて確実に注視領域を特定できるので、撮影者の使用感が向上する。
【００１５】
また、前記領域特定手段は、人物認識により所望の人物を検出し、検出した人物の領域を検出する人物検出部を備え、前記人物検出部で検出された領域を前記注視領域として特定することを特徴としている。かかる構成により、人物撮影時に自動で副画像を選択し撮影することが可能となる。
【００１６】
また、前記領域特定手段は、動き検出により動きの検出された領域を検出する動き検出部を備え、前記動き検出部で検出された領域を前記注視領域として特定することを特徴としている。かかる構成により、監視カメラ用途などで動きのある注視領域を自動で選択し撮影することが可能となる。
【００１７】
また、前記領域特定手段は、撮影者の視線を検出し、検出した視線により撮影者が注視している領域を特定する視線検出部を備え、前記視線検出部で特定された領域を前記注視領域として選択することを特徴としている。かかる構成により、撮影者の手動選択の煩わしさを軽減すると共に任意の注視領域を特定することが可能となる。
【００１８】
また、副画像情報作成手段をさらに備え、前記副画像情報作成手段は前記領域特定手段で特定された注視領域を示す情報を付加情報として前記記録媒体に記録することを特徴としている。かかる構成により、副画像情報作成手段において領域特定手段で選択した注視領域情報を映像とは異なる付加情報として記録データに埋め込むことが可能となる。その結果、記録媒体のデータを再生する際に、注視領域が容易にわかる。
【００１９】
また、表示手段をさらに備え、前記表示手段は、前記主画像領域の画像および前記注視領域の画像を表示することを特徴としている。かかる構成により、物理的に同一の表示装置に画像を表示させることができ、撮像装置の構成を簡素化することが可能となる。また、撮影者は同一の表示装置で主画像および副画像を確認できるので、視認性が向上する。
【００２０】
また、前記表示手段は、副画像が前記記録手段により記録中か否かに応じて、表示している対応する注視領域の画像の枠の色を変えて表示することを特徴としている。かかる構成により、副画像を記録する／しないを個別に操作する場合に現在の記録状態を撮影者に提示することが可能となる。
【００２１】
また、主画像表示手段と、副画像表示手段とをさらに備え、前記主画像表示手段は、前記主画像領域の画像を表示し、前記副画像表示手段は、前記注視領域の画像を表示することを特徴としている。かかる構成により、例えばファインダーと表示パネルとを有する撮像装置において、ファインダーに主画像領域の画像を表示し、表示パネルに注視領域の画像を表示することができ、撮影者は両方を確認しながら撮影するので操作性が向上する。
【発明の効果】
【００２２】
本発明によれば、１台のカメラから入力される映像に対して異なる領域の映像を同時に撮影できるという優れた効果が得られる。
【発明を実施するための最良の形態】
【００２３】
本発明の撮像装置は、メモリに接続して使用される撮像装置であって、任意の領域を読み出し可能な撮像素子と、前記撮像素子に結像された全体画像である主画像領域の画像を読み出して主画像として前記メモリに格納する主画像格納手段と、前記撮像素子から注視すべき領域である注視領域の画像を読み出して副画像として前記メモリに格納する副画像格納手段と、前記主画像格納手段および前記副画像格納手段により前記メモリに格納された主画像および副画像を圧縮するエンコーダ手段と、前記エンコーダ手段により圧縮された主画像および副画像を記録媒体に記録する記録手段とを備える。
【００２４】
以下、本発明の実施の形態における撮像装置について、図面を参照しながら説明する。
【００２５】
（実施の形態１）
図１は、実施の形態１の撮像装置のシステム構成を示すブロック図である。本撮像装置は、ズーム可能な光学素子であるレンズ１と、レンズ１を駆動しズーム動作を行なわせるレンズ駆動部２と、レンズ１のズーム方向／ズーム量を指定するズームスイッチ１１と、レンズ１を通過した被写体光を光電変換して画像信号を出力する撮像素子３と、撮像素子３から任意の領域を画像として取り出すための駆動信号を生成する撮像素子駆動部４と、撮像素子３から出力されるアナログの画像信号にノイズ低減やゲイン制御、Ａ／Ｄ変換などの各種処理を実施するアナログ処理部５と、デジタル化された画像信号に対してＹ／Ｃ変換処理や電子的なズーム処理を実施するデジタル処理部６と、デジタル処理部６により処理された画像を一時記憶しておくメモリ７と、メモリ７に格納された画像を所定のフォーマットに画像圧縮するエンコーダ８と、エンコーダ８により画像圧縮されたデータをＳＤカードやＨＤＤなどの記録メディア（記録媒体）に格納する記録部９と、デジタル処理部６から出力される画像を確認可能なように表示するＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）等の表示部１０と、デジタル処理部６により処理された画像データに対して注視すべき画像領域を検出する検出部１２と、全体制御を実施する制御部１３とを備える。なお、本実施の形態では、撮像装置がメモリ７を有しているが、本発明は、メモリ内蔵の撮像装置に限られず、外部のメモリに接続されて使用される撮像装置であってもよい。なお、検出部１２は、注視領域を特定する領域特定手段として機能する。
【００２６】
デジタル処理部６は、具体的には、主画像格納部１５および副画像格納部１６を備える。主画像格納部１５は、撮像素子３に結像された全体画像である主画像領域の画像に対応する画像信号をアナログ処理部５から読み出して、主画像としてメモリ７へ格納する。副画像格納部１６は、撮像素子３から注視すべき領域である注視領域の画像に対応する画像信号をアナログ処理部５から読み出して、副画像としてメモリ７へ格納する。
【００２７】
次に各構成要素についてより具体的に説明する。
図２および図３は撮像素子３からデジタル処理部６が画像を読み出す動作を示す図である。説明を簡単にするため、例えば、撮像素子３の画素数を１６画素×１６画素の２５６画素、メモリ７に格納される動画の画素数を８画素×８画素の６４画素とする。
【００２８】
図２に示されるように、デジタル処理部６が有する主画像格納部１５は、撮像素子３に結像された全体画像（主画像領域の画像）２１を主画像２２としてメモリ７に格納する。このとき、主画像格納部１５は、主画像領域の画像２１の縦横を１／２倍に縮小して主画像２２を作成する。つまり、主画像２２の画素数は、主画像領域の画像２１の画素数と比較して、縦横それぞれ１／２となる。
【００２９】
また、図３に示されるように、デジタル処理部６が有する副画像格納部１６は、撮像素子３に結像された全体画像３１のうち、検出部１２により検出された注視すべき画像領域の画像（注視領域の画像）３２を副画像３３としてメモリ７に格納する。このとき副画像格納部１６は、縦横の倍率は変えず等倍で副画像３３を作成する。このように、撮像素子３は、メモリ７が主画像および副画像として記録する画像の画素数よりも多い数の画素数を有している。
【００３０】
なお、主画像格納部１５は、主画像２２を作成する際に、撮像素子３からの読出しを間引くことで画素数の変換を行なってもよいし、あるいは撮像素子３からは全画素を読み出しておいて、デジタルフィルタ処理を施した画素数変換を行なってもよい。
【００３１】
また、副画像格納部１６は、副画像３３を作成する際に、注視領域の画像３２と副画像３３が同じ画素数である例を示したが、画素数が異なってもよいし、画素数が異なる場合には画素読出しの間引きや、デジタルフィルタ処理による画素数変換を行なってもよい。
【００３２】
次に、撮像素子３に結像された画像が、記録部９により記録メディアに記録されるまでの流れについて説明する。
【００３３】
図４は、撮像素子３に結像された画像が記録メディアに格納されるまでのデータフローについて、メモリ７のバッファ構成について着目して示した図である。
【００３４】
同図に示すように、デジタル処理部６は、ハードウェア構成としては、ＹＣ変換処理部６Ａとデジタルズーム部６Ｂとを備える。ＹＣ変換処理部６Ａは、アナログ処理部５から出力されたＲＧＢの画像信号をＹ（輝度）およびＣ（色差）の画像信号に変換する。デジタルズーム部６Ｂは、ＹＣ変換処理部６Ａで変換された画像の拡大／縮小を行う。
【００３５】
図２および図３で説明している例では、全体画像２１はデジタルズーム部６Ｂにより１／２倍に縮小され、主画像２２としてメモリ７に格納される。一方、注視領域の画像３２は、デジタルズーム部６Ｂによる拡大／縮小処理を行なわず、等倍で切り出されて副画像３３としてメモリ７に格納される。つまり、主画像格納部１５は、ＹＣ変換処理部６Ａおよびデジタルズーム部６Ｂのハードウェア構成を有し、副画像格納部１６は、ＹＣ変換処理部６Ａのハードウェア構成を有する。なお、副画像格納部１６はデジタルズーム部６Ｂのハードウェア構成を有し、注視領域の画像３２の拡大／縮小処理を行い、副画像を生成してもよい。
【００３６】
次に、メモリ７に格納された主画像２２および副画像３３を入力画像としてエンコーダ８は圧縮処理を行なう。この際、エンコード処理に必要な参照画像やエンコードされた動画はエンコードバッファ７Ｃに格納され、記録部９はエンコードバッファ７Ｃからエンコードされた動画を取得し記録メディアに書き込む。
【００３７】
このように、本実施の撮像装置は、撮像素子３が動画画素数よりも高精細な画素数を有しているため、副画像はデジタルズーム処理が不要になり、主画像についても高精細な画像から縮小処理を行なうため、画質劣化を抑えることが可能となる。また、所望のサイズに変換した画像をメモリ７へ格納するため、メモリアクセス回数や使用するメモリ容量を削減することも可能になる。
【００３８】
図５はデジタル処理部６の画像取り込み動作を時系列で示した図である。撮像素子３は動画フレーム周期よりも高速に撮像可能な素子であり、例えば、毎秒１２０フレーム撮像できる撮像素子である。ここで、全体画像４１ａ〜４１ｈは１／１２０秒周期で撮像素子３に撮像された画像を表している。デジタル処理部６は、撮像素子３の１フレーム周期ごとに主画像と副画像とを切り替えながらメモリ７へ画像を格納する。
【００３９】
すなわち主画像格納部１５は、全体画像４１ｂ、４１ｄ、４１ｆ、４１ｈを主画像領域の画像として画素数を変換し、主画像４３ｂ、４３ｄ、４３ｆ、４３ｈとしてメモリ７へ格納する。また、副画像格納部１６は、全体画像４１ａ、４１ｃ、４１ｅ、４１ｇの注視領域の画像を副画像４２ａ、４２ｃ、４２ｅ、４２ｇとしてメモリ７へ格納する。
【００４０】
これにより、主画像４３ｂ、４３ｄ、４３ｆ、４３ｈは１／６０秒周期、副画像４２ａ、４２ｃ、４２ｅ、４２ｇも１／６０秒周期となる。つまり、デジタル処理部６は、１系列の全体画像から異なる２つの系列の画像を生成し、メモリ７へ格納する。
【００４１】
なお、注視領域は複数でもよい。この場合、副画像格納部１６は、複数の注視領域の画像を、注視領域ごとに対応する副画像としてメモリ７に格納する。
【００４２】
図６は、撮像素子３からデジタル処理部６が２つの注視領域を読み出す動作を時系列で示した図である。デジタル処理部６が有する主画像格納部１５は、撮像素子３に結像された全体画像５１を主画像５４としてメモリ７に取り込む。このとき、主画像格納部１５は全体画像５１の縦横を１／２倍に縮小して主画像５４を作成する。また、デジタル処理部６が有する副画像格納部１６は、撮像素子３に結像された全体画像５１のうち、検出部１２により検出された注視領域５２の画像を副画像５５としてメモリ７に取り込む。このとき、縦横の倍率は変えず等倍で副画像５５を作成する。副画像格納部１６は、検出部１２によりさらに検出された注視領域５３の画像を副画像５６としてメモリ７に格納する。このとき、副画像格納部１６は注視領域５３の画像の縦横を２倍に拡大して副画像５６を作成する。
【００４３】
なお、前述したように主画像５４を作成する際に、撮像素子３からの読出しを間引くことで画素数の変換を行なってもよいし、あるいは撮像素子３からは全画素を読み出しておいて、デジタルフィルタ処理を施した画素数変換を行なってもよい。注視領域５２および５３は動画の画素数と異なってもよいし、画素数が異なる場合は画素読出しの間引きや、デジタルフィルタ処理による画素数変換を行なってもよい。ここでは２つの注視領域を例として記載しているが２つに限定するものではない。
【００４４】
図７は、前述の注視領域が２つ存在する場合のデジタル処理部６の画像取り込み動作を時系列で示した図である。撮像素子３は毎秒１２０フレーム撮像できる撮像素子であり、全体画像６１ａ〜６１ｈは１／１２０秒周期で撮像素子３に撮像された画像を表している。デジタル処理部６は、主画像を撮像素子３の１フレーム周期ごとに、２つの副画像を主画像以外のフレームから交互にメモリ７へ格納する。
【００４５】
すなわち主画像格納部１５は、全体画像６１ｂ、６１ｄ、６１ｆ、６１ｈを主画像領域の画像として画素数を変換し、主画像６４ｂ、６４ｄ、６４ｆ、６４ｈとしてメモリ７へ格納する。また、副画像格納部１６は、全体画像６１ａ、６１ｅの第１の注視領域の画像を第１の副画像６２ａ、６２ｅとしてメモリ７へ格納する。さらに、全体画像６１ｃ、６１ｇの第２の注視領域の画像を第２の副画像６３ｃ、６３ｇとしてメモリ７へ格納する。
【００４６】
これにより、主画像６４ｂ、６４ｄ、６４ｆ、６４ｈは１／６０秒周期、第１の副画像６２ａ、６２ｅは１／３０秒周期、第２の副画像６３ｃ、６３ｇは１／３０秒周期となる。つまり、デジタル処理部６は、１系統の全体画像から異なる３つの系列の画像を生成し、メモリ７へ格納する。
【００４７】
なお、前述のように注視領域を２つに限定しているものではないし、各画像の取り込み周期を限定するものでもない。
【００４８】
図８は、メモリ７に格納された主画像および副画像をエンコードし記録する動作を示した図である。
【００４９】
エンコーダ８は、主画像７１を画像圧縮し主画像動画７３を生成すると共に、副画像７２を画像圧縮し副画像動画７４を生成する。記録部９は生成された２つの異なる動画を２つのファイルとして記録メディア７５に格納する。また、エンコーダ８は主画像７１と副画像７２を画像圧縮しマルチアングル動画７６を生成する。記録部９は生成された１つのマルチアングル動画７６を１つのファイルとして記録メディア７５に格納する。
【００５０】
なお、ここでは２つの異なる画像をエンコードする例を記載しているが２つに限定するものではない。また、複数の動画として記録する場合において、関連のある動画であることを示すためにファイル名やファイル管理情報の属性に特徴を持たせるようなことを実施しても構わない。
【００５１】
また、撮像装置は、主画像の入力および副画像の入力について、撮像素子３の撮像能力（最高フレーム周期、画素数など）に応じて読み出しフレーム周期を決定し、エンコーダ８はそれぞれ決定されたフレーム周期で画像圧縮するようにしてもよい。
【００５２】
図９は、検出部１２の詳細な構成を示す図である。
検出部１２は、フレームメモリ８１、動き検出部８２、人物検出部８３および領域決定部８４を備える。デジタル処理部６で取り込まれた主画像データがフレームメモリ８１に格納される。動き検出部８２は時刻の異なる主画像データの差分情報を元に主画像内の動きのある領域を検出し、検出された動き領域情報を領域決定部８４に渡す。一方、人物検出部８３は人の顔に特徴的なパターンを予め保持しておりパターンマッチングにより人物の顔であるか否かを検出し、検出された人物の領域を示す領域情報を領域決定部８４に渡す。領域決定部８４は現在の動作モードが動き検出モードか人物検出モードかに応じていずれの領域情報を有効にするかを決定し、制御部１３に注視すべき領域情報を渡す。
【００５３】
なお、フレームメモリ８１の物理的な場所は言及しておらず、メモリ７上に存在してもよい。また、動き検出部８２の動き検出方法や人物検出部８３の人物検出方法はいかなる手法を用いて実現されても構わないし、動き検出や人物検出以外の検出方法でも構わない。領域決定部８４の決定方法についても、いずれかの領域情報を選択する以外にすべての領域情報に基づいて領域の統合や削除などを行なってもよい。
【００５４】
図１０は表示部１０の表示画面の一例を示す図である。第１の注視領域９１ａは動き検出部８２により検出された領域、第２の注視領域９２ａは人物検出部８３により検出された領域を表している。図１０（ａ）は主画像９３ａ上に第１の注視領域９１ａの領域枠を重ねて表示し、第２の注視領域９２ａの領域枠を重ねて表示している図である。図１０（ｂ）は主画像９３ｂと第１の注視領域９１ｂと第２の注視領域９２ｂとを分割して一画面に表示している図である。
【００５５】
なお、これら表示方法は設定により切り替えられてもよいし、分割表示の場合は表示画面を複数持たせそれぞれに表示させる方法でもよい。
【００５６】
また、表示部１０は、副画像が記録部９により記録メディア７５に記録中か否かに応じて、表示している対応する注視領域の画像の枠の色を変えて表示してもよい。
【００５７】
図１１は、記録状態の場合における表示部１０の表示画面の他の一例を示す図である。
図１１（ａ）は一画面表示における記録停止中の表示画面である。表示部１０の表示画面には、第１の注視領域を示す動き検出枠１０１ａと、第２の注視領域を示す人物検出枠１０２ａとが表示されている。ここで、第１の注視領域の画像および第２の注視領域の画像は記録停止中であるため、動き検出枠１０１ａおよび人物検出枠１０２ａは、例えば緑色の枠として表示する。主画像については記録停止中であるため記録停止マーク１０３ａを表示する。
【００５８】
図１１（ｂ）は分割表示における記録停止中の表示画面である。この場合は、それぞれの画面に記録停止マーク１０１ｂ、１０２ｂ及び１０３ｂを表示する。
【００５９】
図１１（ｃ）は、人物検出モードの場合の一画面表示における記録中の表示画面である。人物検出モードの場合、人物検出部８３により検出された第２の注視領域の画像が記録対象であるため、人物検出枠１０２ｃは、例えば赤色の枠として表示する。動き検出部８２により検出された第１の注視領域の画像は記録対象ではないため、動き検出枠１０１ｃは、例えば緑色の枠として表示する。主画像については記録中であるため記録中マーク１０３ｃを表示する。
【００６０】
図１１（ｄ）は、人物検出モードの場合の分割表示における記録中の表示画面である。動き検出部８２により検出された第１の注視領域は記録対象でないため記録停止マーク１０１ｄを表示する。人物検出部８３により検出された第２の注視領域は記録対象であるため記録中マーク１０２ｄを表示する。主画像については記録中であるため記録中マーク１０３ｄを表示する。
【００６１】
これにより、副画像を記録する／しないを個別に操作する場合に現在の記録状態を撮影者に提示することが可能となる。
【００６２】
なお、記録対象でない検出領域について枠を表示しているが、表示対象でない場合は枠自体を表示させなくてもよいし、分割表示の場合は画面上に領域自体を表示させなくても
よい。
【００６３】
以上のように、本実施の形態の撮像装置は、主画像領域と注視領域とが異なる場合にも、主画像と副画像とを同時に記録することができる。また、メモリ７へ格納する前に注視領域の画像から副画像を生成するので、メモリ７に格納された画像から注視領域の切り出しおよびサイズ変換を行うことで副画像を生成する場合に比べて、画質の劣化を低減できる。
【００６４】
また、本実施の形態の撮像装置は、当該撮像装置の操作者の入力によらず、人物検出および動き検出を用いて注視領域を決定するので、操作者の負担を軽減できる。
【００６５】
（実施の形態２）
本実施の形態の撮像装置は、操作者の動作により注視領域が決定される。本実施の形態において、実施の形態１と同様の部分については同一符号を付し、その詳細な説明は省略する。
【００６６】
図１２は、実施の形態２の撮像装置のシステム構成を示すブロック図である。本撮像装置は、ズーム可能な光学素子であるレンズ１と、レンズ１を駆動しズーム動作を行なわせるレンズ駆動部２と、レンズ１のズーム方向／ズーム量を指定するズームスイッチ１１と、レンズ１を通過した被写体光を光電変換して画像信号を出力する撮像素子３と、撮像素子３から任意の領域を画像として取り出すための駆動信号を生成する撮像素子駆動部４と、撮像素子３から出力されるアナログの画像信号にノイズ低減やゲイン制御、Ａ／Ｄ変換などの各種処理を実施するアナログ処理部５と、デジタル化された画像信号に対してＹ／Ｃ変換処理や電子的なズーム処理を実施するデジタル処理部６と、デジタル処理部６により処理された画像を一時記憶しておくメモリ７と、メモリ７に格納された画像を所定のフォーマットに画像圧縮するエンコーダ８と、エンコーダ８により画像圧縮されたデータをＳＤカードやＨＤＤなどの記録メディアに格納する記録部９と、デジタル処理部６から出力される画像を確認可能なように表示するＥＶＦ（Electronic View Finder：電子ビューファインダー）等の表示部１１１０と、表示部１１１０と連携して注視すべき画像領域を検出する検出部１１１２と、検出部１１１２で検出された画像領域を示すためのオンスクリーン表示枠のビットマップデータを圧縮するビットマップエンコーダ１１１４と全体制御を実施する制御部１３とを備える。
【００６７】
このように、本実施の形態の撮像装置のシステム構成は、実施の形態１の撮像装置のシステム構成と比較してほぼ同じであるが、ビットマップエンコーダ１１１４を備える点と、検出部１１１２が操作者の操作を検出する点とが異なる。なお、ビットマップエンコーダ１１１４は、注視領域を示す情報を付加情報として記録メディアに記録する副画像情報作成手段として機能する。
【００６８】
なお、本実施の形態では、撮像装置がメモリ７を有しているが、メモリ７が撮像装置の外に置かれてもよいことは実施の形態１と同様である。
【００６９】
次に、実施の形態１と異なる点についてより具体的に説明する。
まず、検出部１１１２について説明する。この検出部１１１２は、表示部１１１０と連携して動作する。
【００７０】
図１３は、表示部１１１０と検出部１１１２との一例を示すブロック図である。つまり、図１３（ａ）では、表示部１１１０および検出部１１１２の一例として、それぞれ、ＥＶＦ１１１０ａおよび視線検出部１１１２ａが示され、図１３（ｂ）では、表示部１１１０および検出部１１１２の他の一例として、それぞれ、ＬＣＤ１１１０ｂおよびタッチパネル１１１２ｂが示されている。図１３（ａ）に示されるように、ＥＶＦ１１１０ａを覗くことで視線検出部１１１２ａが撮影者の注視している領域を検出し、注視領域の情報を制御部１３に通知する。これにより、撮影者の手動操作の煩わしさが軽減する。
【００７１】
別の構成では、図１３（ｂ）に示されるように、ＬＣＤ１１１０ｂに表示された主画像を確認し、副画像として撮影したい場所をタッチパネル１１１２ｂにて指定する。指定された注視領域の情報は制御部１３に通知され、実施の形態１と同様に選択した領域の画像を副画像として記録する。これにより、撮影者の意思に応じて確実に注視領域を特定できるので、撮影者の使用感が向上する。
【００７２】
なお、視線やタッチパネルでの指定とは異なる別のユーザ操作でも構わない。
このように、注視領域を特定し任意の副画像を記録するための副画像選択方法としては、タッチパネル方式の入力デバイスで指定した箇所を注視領域として選択してもよいし、人物認識により抽出された所望の人物を注視領域として選択してもよいし、動き検出により動きの検出された箇所を注視領域として選択してもよいし、視線検出により撮影者が注視している箇所を注視領域として選択してもよい。
【００７３】
次に、ビットマップエンコーダ１１１４について説明する。
図１４は、ビットマップエンコーダ１１１４が検出部１１１２で検出された注視領域の枠を付加情報として記録する動作を示す模式図である。主画像１３０１と主画像内の注視領域枠１３０２、副画像１３０５がメモリ７に格納されており、主画像１３０１はＹ／Ｃ形式の画像データ、注視領域枠１３０２はＹ／Ｃ形式のカラーパレットで作成されたビットマップデータ、副画像１３０５はＹ／Ｃ形式の画像データである。表示部１１１０は主画像１３０１と注視領域枠１３０２とを合成した表示画面１３０３を表示し、ビットマップエンコーダ１１１４は注視領域枠１３０２をランレングス圧縮する。
【００７４】
エンコーダ８は主画像１３０１を画像圧縮し、画像圧縮後の主画像とランレングス圧縮されたビットマップデータとを多重化して１つの主画像動画１３０４を生成する。また、エンコーダ８は副画像１３０５を画像圧縮し１つの副画像動画１３０６も生成する。記録部９は、主画像動画１３０４と副画像動画１３０６を記録メディア７５に記録する。
【００７５】
こうすることで主画像動画を再生したときに副画像としてどの映像が記録されているか分かるようになる。
【００７６】
なお、ビットマップデータの圧縮方法はランレングス圧縮に限定する訳ではなく別の圧縮方法でも構わない。また、ビットマップデータ自体を圧縮するのではなく、動画に付帯するメタデータとして情報を付加する構成でもよい。
【００７７】
以上のように、本実施の形態に係る撮像装置は、ビットマップエンコーダ１１１４によりランレングス圧縮されたビットマップデータを付加情報として記録メディア７５に記録するので、記録メディア７５のデータを再生する際に、注視領域の特定が容易にできる。
【００７８】
上述したように、本発明に係る撮像装置によれば、制御部１３が、ズームスイッチ１１の操作によりレンズ１を制御し撮像素子３に主画像を結像させメモリ７に格納させると共に、検出部１２により検出された主画像内の注視領域も合わせてメモリ７へ格納させる。これら主画像と副画像とは異なる時刻に撮像された画像をメモリに格納したものであり、エンコーダ８が主画像と副画像を個別にエンコードし記録部９にて異なる画像を同時に記録する。これにより、1台のカメラから入力される映像に対して異なる領域の映像を同時に撮影できるという優れた効果が奏される。
【００７９】
以上、本発明に係る撮像装置について、実施の形態１および２を用いて説明したが、本発明は、これらの実施の形態に限定されるものではない。これらの実施の形態における任意の構成要素を組み合わせて実現される別の形態や、本発明の主旨を逸脱しない範囲でこれらの実施の形態に対して当業者が思いつく変形を施して得られる形態も、本発明に含まれる。
【００８０】
例えば、表示部１０は、図１５に示すように、主画像領域の画像を表示する主画像表示部１０Ａと、注視領域の画像を表示する副画像表示部１０Ｂとを備えてもよい。これにより、例えば、ファインダーに主画像領域の画像を表示し、表示パネルに注視領域の画像を表示することができ、撮影者は両方を確認しながら撮影するので操作性が向上する。
【産業上の利用可能性】
【００８１】
本発明は、撮像装置として、特に、１台のカメラから入力される映像に対して異なる領域の映像を同時に撮影できる撮像装置として、例えば、民生用ビデオカメラや監視カメラ、車載カメラなどの分野で有用である。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施の形態１における撮像装置のシステム構成を示すブロック図である。
【図２】主画像読み出しの模式図である。
【図３】副画像読み出しの模式図である。
【図４】画像が記録メディアに格納されるまでのデータフローについて、メモリのバッファ構成について着目して示した図である。
【図５】デジタル処理部の画像取り込み動作を時系列で示した図である。
【図６】副画像が複数存在する場合の画像読み出しの模式図である。
【図７】副画像が複数存在する場合における、デジタル処理部画像取り込み動作を時系列で示した図である。
【図８】主画像および副画像のエンコード動作の模式図である。
【図９】検出部の詳細な構成を示すブロック図である。
【図１０】表示画面の一例を示す図である。
【図１１】記録状態の場合における表示部１０の表示画面の他の一例を示す図である。
【図１２】本発明の実施の形態２における撮像装置のシステム構成を示すブロック図である。
【図１３】表示部と検出部との一例を示すブロック図である。
【図１４】ビットマップエンコーダが注視領域の枠を付加情報として記録する動作を示す模式図である。
【図１５】表示部を２つ備える撮像装置のシステム構成を示すブロック図である。
【技術分野】
【０００１】
本発明は撮像装置に係り、特に高速撮像素子や高精細撮像素子を用いて１つの入力画像から複数の映像を同時に撮影できるようにした撮像装置に関するものである。
【背景技術】
【０００２】
被写体をレンズにより撮像素子上に結像させ、光電変換により得られた画像データに各種信号処理を施し、液晶モニターなどに被写体映像を表示させると共に記録媒体に記録するデジタルスチルカメラやデジタルビデオカメラなどの撮像装置が実用化され広く普及している。一般的には撮影者がカメラの向きやズーム機能を制御し、子供が遊んでいるシーンを撮影するなど単独の撮影目的で被写体の構図を決定し撮影を行なっている。また監視カメラなど固定された撮像装置においても遠隔操作でカメラの向きやズームを制御したり、画像処理により不審人物や異常発生箇所を特定し自動でカメラアングルを制御するなど単独の撮影目的で被写体の構図を決定している。
【０００３】
応用技術として、１台のカメラにより複数の撮影目的を処理できる撮像装置が提案されている（例えば特許文献１）。カメラで撮影している画像において、予め設定した条件により注視対象となる被写体が含まれている複数の注視領域を選定し、同時に画像における重要度を対応した注視領域ごとに設定する。次にこれら複数の注視領域を重要度に応じた統合注視領域に統合し、カメラの状態を検出するセンサーの計測値に基づき統合注視領域が構図に収まるようカメラを制御する技術である。
【０００４】
また別の応用技術として、常に監視領域の全体を確認でき、同時に注視領域を詳細に視認できる監視技術も提案されている（例えば特許文献２）。カメラで撮影している撮像画像を、一旦第１のバッファに格納し、第１のバッファから監視領域と注視領域を別々にサイズ変換して第２のバッファへ再格納することで、第２のバッファへ再格納された監視領域と注視領域を記録対象の画像として扱う技術である。
【特許文献１】特開２００７−１３４８４５号公報
【特許文献２】特開２００６−１２９１５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の撮像装置においては、重要度に応じて複数の撮影目的を同時に満たせる構図を決定する技術であり、それぞれの撮影目的を十分に満たせないという課題を有している。具体例を挙げると、子供の発表会において舞台全体の様子も撮影したいし、子供の様子もアップで撮影したいという相反する要求に対してはどちらかをあきらめざるを得ない。また別の具体例では、監視カメラにおいて撮影領域内の離れた場所で異常が検出されると異常発生時の全体像を優先するか個別の異常発生箇所に注視するかの折り合いをつけなければならない。
【０００６】
また、上記第２の従来の撮像装置においては、一旦第１のバッファに格納した撮像画像から監視領域と注視領域の切り出し／サイズ変換処理を行なうため画質の劣化につながり、かつメモリアクセス回数の増加、使用メモリ容量の増加も発生する。
【０００７】
本発明は上記従来の課題を解決するものであり、１台のカメラから入力される映像に対して異なる領域の映像を同時に撮影でき、かつ画質劣化の少ない撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係る撮像装置は、メモリに接続して使用される撮像装置であって、任意の領域を読み出し可能な撮像素子と、前記撮像素子に結像された全体画像である主画像領域の画像を読み出して主画像として前記メモリに格納する主画像格納手段と、前記撮像素子から注視すべき領域である注視領域の画像を読み出して副画像として前記メモリに格納する副画像格納手段と、前記主画像格納手段および前記副画像格納手段により前記メモリに格納された主画像および副画像を圧縮するエンコーダ手段と、前記エンコーダ手段により圧縮された主画像および副画像を記録媒体に記録する記録手段とを有することを特徴とする。
【０００９】
かかる構成により、主画像領域と注視領域とが異なる場合にも、主画像と副画像とを同時に記録することが可能となる。また、メモリに格納する前に注視領域の画像から副画像を生成するので、メモリに格納された画像から注視領域の切り出しおよびサイズ変換を行うことで副画像を生成する場合に比べて、画質の劣化を低減できる。
【００１０】
また、前記撮像素子は動画フレーム周期よりも高速に撮像可能な撮像素子であって、前記主画像格納手段と前記副画像格納手段とは、互いに異なる時刻に前記撮像素子で撮像された画像を前記撮像素子から読み出すことを特徴としている。かかる構成により、主画像と副画像を個別に読み出すことが可能となる。
【００１１】
また、前記撮像素子は、前記主画像および前記副画像の画素数よりも多い数の画素を有し、前記主画像格納手段は、前記主画像領域の画像の画素数を変換し、変換した主画像領域の画像を前記主画像として前記メモリに格納し、前記副画像格納手段は、前記注視領域の画像の画素数を変換し、変換した注視領域の画像を前記副画像として前記メモリに格納することを特徴としている。かかる構成により、画像領域の画質劣化を防ぐことが可能となる。
【００１２】
また、前記副画像格納手段は、複数の前記注視領域の画像を、前記注視領域ごとに対応する副画像として前記メモリに格納し、前記主画像格納手段および前記副画像格納手段は、前記副画像の数に応じて前記主画像領域の画像および前記注視領域の画像それぞれの読み出しフレーム周期を決定し、決定した読み出しフレーム周期で前記副画像および前記主画像を前記メモリに格納し、前記エンコーダ手段は、前記副画像および前記主画像それぞれを決定された読み出しフレーム周期で圧縮することを特徴としている。かかる構成により、複数の注視領域が存在する場合の拡張性を確保することが可能となる。
【００１３】
また、領域特定手段をさらに備え、前記領域特定手段は前記注視領域を動的に検出し、前記副画像格納手段は、前記領域特定手段により特定された領域の画像を前記副画像として格納することを特徴としている。かかる構成により、領域特定手段により注視領域を特定することで任意の副画像を記録することが可能となる。その結果、例えば注視領域が移動物体の領域となっている場合、副画像は移動物体に追従する画像となる。
【００１４】
また、前記領域特定手段は、タッチパネル方式の入力デバイスを備え、前記入力デバイスで指定された領域を前記注視領域として特定することを特徴としている。かかる構成により、撮影者の意思に応じて確実に注視領域を特定できるので、撮影者の使用感が向上する。
【００１５】
また、前記領域特定手段は、人物認識により所望の人物を検出し、検出した人物の領域を検出する人物検出部を備え、前記人物検出部で検出された領域を前記注視領域として特定することを特徴としている。かかる構成により、人物撮影時に自動で副画像を選択し撮影することが可能となる。
【００１６】
また、前記領域特定手段は、動き検出により動きの検出された領域を検出する動き検出部を備え、前記動き検出部で検出された領域を前記注視領域として特定することを特徴としている。かかる構成により、監視カメラ用途などで動きのある注視領域を自動で選択し撮影することが可能となる。
【００１７】
また、前記領域特定手段は、撮影者の視線を検出し、検出した視線により撮影者が注視している領域を特定する視線検出部を備え、前記視線検出部で特定された領域を前記注視領域として選択することを特徴としている。かかる構成により、撮影者の手動選択の煩わしさを軽減すると共に任意の注視領域を特定することが可能となる。
【００１８】
また、副画像情報作成手段をさらに備え、前記副画像情報作成手段は前記領域特定手段で特定された注視領域を示す情報を付加情報として前記記録媒体に記録することを特徴としている。かかる構成により、副画像情報作成手段において領域特定手段で選択した注視領域情報を映像とは異なる付加情報として記録データに埋め込むことが可能となる。その結果、記録媒体のデータを再生する際に、注視領域が容易にわかる。
【００１９】
また、表示手段をさらに備え、前記表示手段は、前記主画像領域の画像および前記注視領域の画像を表示することを特徴としている。かかる構成により、物理的に同一の表示装置に画像を表示させることができ、撮像装置の構成を簡素化することが可能となる。また、撮影者は同一の表示装置で主画像および副画像を確認できるので、視認性が向上する。
【００２０】
また、前記表示手段は、副画像が前記記録手段により記録中か否かに応じて、表示している対応する注視領域の画像の枠の色を変えて表示することを特徴としている。かかる構成により、副画像を記録する／しないを個別に操作する場合に現在の記録状態を撮影者に提示することが可能となる。
【００２１】
また、主画像表示手段と、副画像表示手段とをさらに備え、前記主画像表示手段は、前記主画像領域の画像を表示し、前記副画像表示手段は、前記注視領域の画像を表示することを特徴としている。かかる構成により、例えばファインダーと表示パネルとを有する撮像装置において、ファインダーに主画像領域の画像を表示し、表示パネルに注視領域の画像を表示することができ、撮影者は両方を確認しながら撮影するので操作性が向上する。
【発明の効果】
【００２２】
本発明によれば、１台のカメラから入力される映像に対して異なる領域の映像を同時に撮影できるという優れた効果が得られる。
【発明を実施するための最良の形態】
【００２３】
本発明の撮像装置は、メモリに接続して使用される撮像装置であって、任意の領域を読み出し可能な撮像素子と、前記撮像素子に結像された全体画像である主画像領域の画像を読み出して主画像として前記メモリに格納する主画像格納手段と、前記撮像素子から注視すべき領域である注視領域の画像を読み出して副画像として前記メモリに格納する副画像格納手段と、前記主画像格納手段および前記副画像格納手段により前記メモリに格納された主画像および副画像を圧縮するエンコーダ手段と、前記エンコーダ手段により圧縮された主画像および副画像を記録媒体に記録する記録手段とを備える。
【００２４】
以下、本発明の実施の形態における撮像装置について、図面を参照しながら説明する。
【００２５】
（実施の形態１）
図１は、実施の形態１の撮像装置のシステム構成を示すブロック図である。本撮像装置は、ズーム可能な光学素子であるレンズ１と、レンズ１を駆動しズーム動作を行なわせるレンズ駆動部２と、レンズ１のズーム方向／ズーム量を指定するズームスイッチ１１と、レンズ１を通過した被写体光を光電変換して画像信号を出力する撮像素子３と、撮像素子３から任意の領域を画像として取り出すための駆動信号を生成する撮像素子駆動部４と、撮像素子３から出力されるアナログの画像信号にノイズ低減やゲイン制御、Ａ／Ｄ変換などの各種処理を実施するアナログ処理部５と、デジタル化された画像信号に対してＹ／Ｃ変換処理や電子的なズーム処理を実施するデジタル処理部６と、デジタル処理部６により処理された画像を一時記憶しておくメモリ７と、メモリ７に格納された画像を所定のフォーマットに画像圧縮するエンコーダ８と、エンコーダ８により画像圧縮されたデータをＳＤカードやＨＤＤなどの記録メディア（記録媒体）に格納する記録部９と、デジタル処理部６から出力される画像を確認可能なように表示するＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）等の表示部１０と、デジタル処理部６により処理された画像データに対して注視すべき画像領域を検出する検出部１２と、全体制御を実施する制御部１３とを備える。なお、本実施の形態では、撮像装置がメモリ７を有しているが、本発明は、メモリ内蔵の撮像装置に限られず、外部のメモリに接続されて使用される撮像装置であってもよい。なお、検出部１２は、注視領域を特定する領域特定手段として機能する。
【００２６】
デジタル処理部６は、具体的には、主画像格納部１５および副画像格納部１６を備える。主画像格納部１５は、撮像素子３に結像された全体画像である主画像領域の画像に対応する画像信号をアナログ処理部５から読み出して、主画像としてメモリ７へ格納する。副画像格納部１６は、撮像素子３から注視すべき領域である注視領域の画像に対応する画像信号をアナログ処理部５から読み出して、副画像としてメモリ７へ格納する。
【００２７】
次に各構成要素についてより具体的に説明する。
図２および図３は撮像素子３からデジタル処理部６が画像を読み出す動作を示す図である。説明を簡単にするため、例えば、撮像素子３の画素数を１６画素×１６画素の２５６画素、メモリ７に格納される動画の画素数を８画素×８画素の６４画素とする。
【００２８】
図２に示されるように、デジタル処理部６が有する主画像格納部１５は、撮像素子３に結像された全体画像（主画像領域の画像）２１を主画像２２としてメモリ７に格納する。このとき、主画像格納部１５は、主画像領域の画像２１の縦横を１／２倍に縮小して主画像２２を作成する。つまり、主画像２２の画素数は、主画像領域の画像２１の画素数と比較して、縦横それぞれ１／２となる。
【００２９】
また、図３に示されるように、デジタル処理部６が有する副画像格納部１６は、撮像素子３に結像された全体画像３１のうち、検出部１２により検出された注視すべき画像領域の画像（注視領域の画像）３２を副画像３３としてメモリ７に格納する。このとき副画像格納部１６は、縦横の倍率は変えず等倍で副画像３３を作成する。このように、撮像素子３は、メモリ７が主画像および副画像として記録する画像の画素数よりも多い数の画素数を有している。
【００３０】
なお、主画像格納部１５は、主画像２２を作成する際に、撮像素子３からの読出しを間引くことで画素数の変換を行なってもよいし、あるいは撮像素子３からは全画素を読み出しておいて、デジタルフィルタ処理を施した画素数変換を行なってもよい。
【００３１】
また、副画像格納部１６は、副画像３３を作成する際に、注視領域の画像３２と副画像３３が同じ画素数である例を示したが、画素数が異なってもよいし、画素数が異なる場合には画素読出しの間引きや、デジタルフィルタ処理による画素数変換を行なってもよい。
【００３２】
次に、撮像素子３に結像された画像が、記録部９により記録メディアに記録されるまでの流れについて説明する。
【００３３】
図４は、撮像素子３に結像された画像が記録メディアに格納されるまでのデータフローについて、メモリ７のバッファ構成について着目して示した図である。
【００３４】
同図に示すように、デジタル処理部６は、ハードウェア構成としては、ＹＣ変換処理部６Ａとデジタルズーム部６Ｂとを備える。ＹＣ変換処理部６Ａは、アナログ処理部５から出力されたＲＧＢの画像信号をＹ（輝度）およびＣ（色差）の画像信号に変換する。デジタルズーム部６Ｂは、ＹＣ変換処理部６Ａで変換された画像の拡大／縮小を行う。
【００３５】
図２および図３で説明している例では、全体画像２１はデジタルズーム部６Ｂにより１／２倍に縮小され、主画像２２としてメモリ７に格納される。一方、注視領域の画像３２は、デジタルズーム部６Ｂによる拡大／縮小処理を行なわず、等倍で切り出されて副画像３３としてメモリ７に格納される。つまり、主画像格納部１５は、ＹＣ変換処理部６Ａおよびデジタルズーム部６Ｂのハードウェア構成を有し、副画像格納部１６は、ＹＣ変換処理部６Ａのハードウェア構成を有する。なお、副画像格納部１６はデジタルズーム部６Ｂのハードウェア構成を有し、注視領域の画像３２の拡大／縮小処理を行い、副画像を生成してもよい。
【００３６】
次に、メモリ７に格納された主画像２２および副画像３３を入力画像としてエンコーダ８は圧縮処理を行なう。この際、エンコード処理に必要な参照画像やエンコードされた動画はエンコードバッファ７Ｃに格納され、記録部９はエンコードバッファ７Ｃからエンコードされた動画を取得し記録メディアに書き込む。
【００３７】
このように、本実施の撮像装置は、撮像素子３が動画画素数よりも高精細な画素数を有しているため、副画像はデジタルズーム処理が不要になり、主画像についても高精細な画像から縮小処理を行なうため、画質劣化を抑えることが可能となる。また、所望のサイズに変換した画像をメモリ７へ格納するため、メモリアクセス回数や使用するメモリ容量を削減することも可能になる。
【００３８】
図５はデジタル処理部６の画像取り込み動作を時系列で示した図である。撮像素子３は動画フレーム周期よりも高速に撮像可能な素子であり、例えば、毎秒１２０フレーム撮像できる撮像素子である。ここで、全体画像４１ａ〜４１ｈは１／１２０秒周期で撮像素子３に撮像された画像を表している。デジタル処理部６は、撮像素子３の１フレーム周期ごとに主画像と副画像とを切り替えながらメモリ７へ画像を格納する。
【００３９】
すなわち主画像格納部１５は、全体画像４１ｂ、４１ｄ、４１ｆ、４１ｈを主画像領域の画像として画素数を変換し、主画像４３ｂ、４３ｄ、４３ｆ、４３ｈとしてメモリ７へ格納する。また、副画像格納部１６は、全体画像４１ａ、４１ｃ、４１ｅ、４１ｇの注視領域の画像を副画像４２ａ、４２ｃ、４２ｅ、４２ｇとしてメモリ７へ格納する。
【００４０】
これにより、主画像４３ｂ、４３ｄ、４３ｆ、４３ｈは１／６０秒周期、副画像４２ａ、４２ｃ、４２ｅ、４２ｇも１／６０秒周期となる。つまり、デジタル処理部６は、１系列の全体画像から異なる２つの系列の画像を生成し、メモリ７へ格納する。
【００４１】
なお、注視領域は複数でもよい。この場合、副画像格納部１６は、複数の注視領域の画像を、注視領域ごとに対応する副画像としてメモリ７に格納する。
【００４２】
図６は、撮像素子３からデジタル処理部６が２つの注視領域を読み出す動作を時系列で示した図である。デジタル処理部６が有する主画像格納部１５は、撮像素子３に結像された全体画像５１を主画像５４としてメモリ７に取り込む。このとき、主画像格納部１５は全体画像５１の縦横を１／２倍に縮小して主画像５４を作成する。また、デジタル処理部６が有する副画像格納部１６は、撮像素子３に結像された全体画像５１のうち、検出部１２により検出された注視領域５２の画像を副画像５５としてメモリ７に取り込む。このとき、縦横の倍率は変えず等倍で副画像５５を作成する。副画像格納部１６は、検出部１２によりさらに検出された注視領域５３の画像を副画像５６としてメモリ７に格納する。このとき、副画像格納部１６は注視領域５３の画像の縦横を２倍に拡大して副画像５６を作成する。
【００４３】
なお、前述したように主画像５４を作成する際に、撮像素子３からの読出しを間引くことで画素数の変換を行なってもよいし、あるいは撮像素子３からは全画素を読み出しておいて、デジタルフィルタ処理を施した画素数変換を行なってもよい。注視領域５２および５３は動画の画素数と異なってもよいし、画素数が異なる場合は画素読出しの間引きや、デジタルフィルタ処理による画素数変換を行なってもよい。ここでは２つの注視領域を例として記載しているが２つに限定するものではない。
【００４４】
図７は、前述の注視領域が２つ存在する場合のデジタル処理部６の画像取り込み動作を時系列で示した図である。撮像素子３は毎秒１２０フレーム撮像できる撮像素子であり、全体画像６１ａ〜６１ｈは１／１２０秒周期で撮像素子３に撮像された画像を表している。デジタル処理部６は、主画像を撮像素子３の１フレーム周期ごとに、２つの副画像を主画像以外のフレームから交互にメモリ７へ格納する。
【００４５】
すなわち主画像格納部１５は、全体画像６１ｂ、６１ｄ、６１ｆ、６１ｈを主画像領域の画像として画素数を変換し、主画像６４ｂ、６４ｄ、６４ｆ、６４ｈとしてメモリ７へ格納する。また、副画像格納部１６は、全体画像６１ａ、６１ｅの第１の注視領域の画像を第１の副画像６２ａ、６２ｅとしてメモリ７へ格納する。さらに、全体画像６１ｃ、６１ｇの第２の注視領域の画像を第２の副画像６３ｃ、６３ｇとしてメモリ７へ格納する。
【００４６】
これにより、主画像６４ｂ、６４ｄ、６４ｆ、６４ｈは１／６０秒周期、第１の副画像６２ａ、６２ｅは１／３０秒周期、第２の副画像６３ｃ、６３ｇは１／３０秒周期となる。つまり、デジタル処理部６は、１系統の全体画像から異なる３つの系列の画像を生成し、メモリ７へ格納する。
【００４７】
なお、前述のように注視領域を２つに限定しているものではないし、各画像の取り込み周期を限定するものでもない。
【００４８】
図８は、メモリ７に格納された主画像および副画像をエンコードし記録する動作を示した図である。
【００４９】
エンコーダ８は、主画像７１を画像圧縮し主画像動画７３を生成すると共に、副画像７２を画像圧縮し副画像動画７４を生成する。記録部９は生成された２つの異なる動画を２つのファイルとして記録メディア７５に格納する。また、エンコーダ８は主画像７１と副画像７２を画像圧縮しマルチアングル動画７６を生成する。記録部９は生成された１つのマルチアングル動画７６を１つのファイルとして記録メディア７５に格納する。
【００５０】
なお、ここでは２つの異なる画像をエンコードする例を記載しているが２つに限定するものではない。また、複数の動画として記録する場合において、関連のある動画であることを示すためにファイル名やファイル管理情報の属性に特徴を持たせるようなことを実施しても構わない。
【００５１】
また、撮像装置は、主画像の入力および副画像の入力について、撮像素子３の撮像能力（最高フレーム周期、画素数など）に応じて読み出しフレーム周期を決定し、エンコーダ８はそれぞれ決定されたフレーム周期で画像圧縮するようにしてもよい。
【００５２】
図９は、検出部１２の詳細な構成を示す図である。
検出部１２は、フレームメモリ８１、動き検出部８２、人物検出部８３および領域決定部８４を備える。デジタル処理部６で取り込まれた主画像データがフレームメモリ８１に格納される。動き検出部８２は時刻の異なる主画像データの差分情報を元に主画像内の動きのある領域を検出し、検出された動き領域情報を領域決定部８４に渡す。一方、人物検出部８３は人の顔に特徴的なパターンを予め保持しておりパターンマッチングにより人物の顔であるか否かを検出し、検出された人物の領域を示す領域情報を領域決定部８４に渡す。領域決定部８４は現在の動作モードが動き検出モードか人物検出モードかに応じていずれの領域情報を有効にするかを決定し、制御部１３に注視すべき領域情報を渡す。
【００５３】
なお、フレームメモリ８１の物理的な場所は言及しておらず、メモリ７上に存在してもよい。また、動き検出部８２の動き検出方法や人物検出部８３の人物検出方法はいかなる手法を用いて実現されても構わないし、動き検出や人物検出以外の検出方法でも構わない。領域決定部８４の決定方法についても、いずれかの領域情報を選択する以外にすべての領域情報に基づいて領域の統合や削除などを行なってもよい。
【００５４】
図１０は表示部１０の表示画面の一例を示す図である。第１の注視領域９１ａは動き検出部８２により検出された領域、第２の注視領域９２ａは人物検出部８３により検出された領域を表している。図１０（ａ）は主画像９３ａ上に第１の注視領域９１ａの領域枠を重ねて表示し、第２の注視領域９２ａの領域枠を重ねて表示している図である。図１０（ｂ）は主画像９３ｂと第１の注視領域９１ｂと第２の注視領域９２ｂとを分割して一画面に表示している図である。
【００５５】
なお、これら表示方法は設定により切り替えられてもよいし、分割表示の場合は表示画面を複数持たせそれぞれに表示させる方法でもよい。
【００５６】
また、表示部１０は、副画像が記録部９により記録メディア７５に記録中か否かに応じて、表示している対応する注視領域の画像の枠の色を変えて表示してもよい。
【００５７】
図１１は、記録状態の場合における表示部１０の表示画面の他の一例を示す図である。
図１１（ａ）は一画面表示における記録停止中の表示画面である。表示部１０の表示画面には、第１の注視領域を示す動き検出枠１０１ａと、第２の注視領域を示す人物検出枠１０２ａとが表示されている。ここで、第１の注視領域の画像および第２の注視領域の画像は記録停止中であるため、動き検出枠１０１ａおよび人物検出枠１０２ａは、例えば緑色の枠として表示する。主画像については記録停止中であるため記録停止マーク１０３ａを表示する。
【００５８】
図１１（ｂ）は分割表示における記録停止中の表示画面である。この場合は、それぞれの画面に記録停止マーク１０１ｂ、１０２ｂ及び１０３ｂを表示する。
【００５９】
図１１（ｃ）は、人物検出モードの場合の一画面表示における記録中の表示画面である。人物検出モードの場合、人物検出部８３により検出された第２の注視領域の画像が記録対象であるため、人物検出枠１０２ｃは、例えば赤色の枠として表示する。動き検出部８２により検出された第１の注視領域の画像は記録対象ではないため、動き検出枠１０１ｃは、例えば緑色の枠として表示する。主画像については記録中であるため記録中マーク１０３ｃを表示する。
【００６０】
図１１（ｄ）は、人物検出モードの場合の分割表示における記録中の表示画面である。動き検出部８２により検出された第１の注視領域は記録対象でないため記録停止マーク１０１ｄを表示する。人物検出部８３により検出された第２の注視領域は記録対象であるため記録中マーク１０２ｄを表示する。主画像については記録中であるため記録中マーク１０３ｄを表示する。
【００６１】
これにより、副画像を記録する／しないを個別に操作する場合に現在の記録状態を撮影者に提示することが可能となる。
【００６２】
なお、記録対象でない検出領域について枠を表示しているが、表示対象でない場合は枠自体を表示させなくてもよいし、分割表示の場合は画面上に領域自体を表示させなくても
よい。
【００６３】
以上のように、本実施の形態の撮像装置は、主画像領域と注視領域とが異なる場合にも、主画像と副画像とを同時に記録することができる。また、メモリ７へ格納する前に注視領域の画像から副画像を生成するので、メモリ７に格納された画像から注視領域の切り出しおよびサイズ変換を行うことで副画像を生成する場合に比べて、画質の劣化を低減できる。
【００６４】
また、本実施の形態の撮像装置は、当該撮像装置の操作者の入力によらず、人物検出および動き検出を用いて注視領域を決定するので、操作者の負担を軽減できる。
【００６５】
（実施の形態２）
本実施の形態の撮像装置は、操作者の動作により注視領域が決定される。本実施の形態において、実施の形態１と同様の部分については同一符号を付し、その詳細な説明は省略する。
【００６６】
図１２は、実施の形態２の撮像装置のシステム構成を示すブロック図である。本撮像装置は、ズーム可能な光学素子であるレンズ１と、レンズ１を駆動しズーム動作を行なわせるレンズ駆動部２と、レンズ１のズーム方向／ズーム量を指定するズームスイッチ１１と、レンズ１を通過した被写体光を光電変換して画像信号を出力する撮像素子３と、撮像素子３から任意の領域を画像として取り出すための駆動信号を生成する撮像素子駆動部４と、撮像素子３から出力されるアナログの画像信号にノイズ低減やゲイン制御、Ａ／Ｄ変換などの各種処理を実施するアナログ処理部５と、デジタル化された画像信号に対してＹ／Ｃ変換処理や電子的なズーム処理を実施するデジタル処理部６と、デジタル処理部６により処理された画像を一時記憶しておくメモリ７と、メモリ７に格納された画像を所定のフォーマットに画像圧縮するエンコーダ８と、エンコーダ８により画像圧縮されたデータをＳＤカードやＨＤＤなどの記録メディアに格納する記録部９と、デジタル処理部６から出力される画像を確認可能なように表示するＥＶＦ（Electronic View Finder：電子ビューファインダー）等の表示部１１１０と、表示部１１１０と連携して注視すべき画像領域を検出する検出部１１１２と、検出部１１１２で検出された画像領域を示すためのオンスクリーン表示枠のビットマップデータを圧縮するビットマップエンコーダ１１１４と全体制御を実施する制御部１３とを備える。
【００６７】
このように、本実施の形態の撮像装置のシステム構成は、実施の形態１の撮像装置のシステム構成と比較してほぼ同じであるが、ビットマップエンコーダ１１１４を備える点と、検出部１１１２が操作者の操作を検出する点とが異なる。なお、ビットマップエンコーダ１１１４は、注視領域を示す情報を付加情報として記録メディアに記録する副画像情報作成手段として機能する。
【００６８】
なお、本実施の形態では、撮像装置がメモリ７を有しているが、メモリ７が撮像装置の外に置かれてもよいことは実施の形態１と同様である。
【００６９】
次に、実施の形態１と異なる点についてより具体的に説明する。
まず、検出部１１１２について説明する。この検出部１１１２は、表示部１１１０と連携して動作する。
【００７０】
図１３は、表示部１１１０と検出部１１１２との一例を示すブロック図である。つまり、図１３（ａ）では、表示部１１１０および検出部１１１２の一例として、それぞれ、ＥＶＦ１１１０ａおよび視線検出部１１１２ａが示され、図１３（ｂ）では、表示部１１１０および検出部１１１２の他の一例として、それぞれ、ＬＣＤ１１１０ｂおよびタッチパネル１１１２ｂが示されている。図１３（ａ）に示されるように、ＥＶＦ１１１０ａを覗くことで視線検出部１１１２ａが撮影者の注視している領域を検出し、注視領域の情報を制御部１３に通知する。これにより、撮影者の手動操作の煩わしさが軽減する。
【００７１】
別の構成では、図１３（ｂ）に示されるように、ＬＣＤ１１１０ｂに表示された主画像を確認し、副画像として撮影したい場所をタッチパネル１１１２ｂにて指定する。指定された注視領域の情報は制御部１３に通知され、実施の形態１と同様に選択した領域の画像を副画像として記録する。これにより、撮影者の意思に応じて確実に注視領域を特定できるので、撮影者の使用感が向上する。
【００７２】
なお、視線やタッチパネルでの指定とは異なる別のユーザ操作でも構わない。
このように、注視領域を特定し任意の副画像を記録するための副画像選択方法としては、タッチパネル方式の入力デバイスで指定した箇所を注視領域として選択してもよいし、人物認識により抽出された所望の人物を注視領域として選択してもよいし、動き検出により動きの検出された箇所を注視領域として選択してもよいし、視線検出により撮影者が注視している箇所を注視領域として選択してもよい。
【００７３】
次に、ビットマップエンコーダ１１１４について説明する。
図１４は、ビットマップエンコーダ１１１４が検出部１１１２で検出された注視領域の枠を付加情報として記録する動作を示す模式図である。主画像１３０１と主画像内の注視領域枠１３０２、副画像１３０５がメモリ７に格納されており、主画像１３０１はＹ／Ｃ形式の画像データ、注視領域枠１３０２はＹ／Ｃ形式のカラーパレットで作成されたビットマップデータ、副画像１３０５はＹ／Ｃ形式の画像データである。表示部１１１０は主画像１３０１と注視領域枠１３０２とを合成した表示画面１３０３を表示し、ビットマップエンコーダ１１１４は注視領域枠１３０２をランレングス圧縮する。
【００７４】
エンコーダ８は主画像１３０１を画像圧縮し、画像圧縮後の主画像とランレングス圧縮されたビットマップデータとを多重化して１つの主画像動画１３０４を生成する。また、エンコーダ８は副画像１３０５を画像圧縮し１つの副画像動画１３０６も生成する。記録部９は、主画像動画１３０４と副画像動画１３０６を記録メディア７５に記録する。
【００７５】
こうすることで主画像動画を再生したときに副画像としてどの映像が記録されているか分かるようになる。
【００７６】
なお、ビットマップデータの圧縮方法はランレングス圧縮に限定する訳ではなく別の圧縮方法でも構わない。また、ビットマップデータ自体を圧縮するのではなく、動画に付帯するメタデータとして情報を付加する構成でもよい。
【００７７】
以上のように、本実施の形態に係る撮像装置は、ビットマップエンコーダ１１１４によりランレングス圧縮されたビットマップデータを付加情報として記録メディア７５に記録するので、記録メディア７５のデータを再生する際に、注視領域の特定が容易にできる。
【００７８】
上述したように、本発明に係る撮像装置によれば、制御部１３が、ズームスイッチ１１の操作によりレンズ１を制御し撮像素子３に主画像を結像させメモリ７に格納させると共に、検出部１２により検出された主画像内の注視領域も合わせてメモリ７へ格納させる。これら主画像と副画像とは異なる時刻に撮像された画像をメモリに格納したものであり、エンコーダ８が主画像と副画像を個別にエンコードし記録部９にて異なる画像を同時に記録する。これにより、1台のカメラから入力される映像に対して異なる領域の映像を同時に撮影できるという優れた効果が奏される。
【００７９】
以上、本発明に係る撮像装置について、実施の形態１および２を用いて説明したが、本発明は、これらの実施の形態に限定されるものではない。これらの実施の形態における任意の構成要素を組み合わせて実現される別の形態や、本発明の主旨を逸脱しない範囲でこれらの実施の形態に対して当業者が思いつく変形を施して得られる形態も、本発明に含まれる。
【００８０】
例えば、表示部１０は、図１５に示すように、主画像領域の画像を表示する主画像表示部１０Ａと、注視領域の画像を表示する副画像表示部１０Ｂとを備えてもよい。これにより、例えば、ファインダーに主画像領域の画像を表示し、表示パネルに注視領域の画像を表示することができ、撮影者は両方を確認しながら撮影するので操作性が向上する。
【産業上の利用可能性】
【００８１】
本発明は、撮像装置として、特に、１台のカメラから入力される映像に対して異なる領域の映像を同時に撮影できる撮像装置として、例えば、民生用ビデオカメラや監視カメラ、車載カメラなどの分野で有用である。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施の形態１における撮像装置のシステム構成を示すブロック図である。
【図２】主画像読み出しの模式図である。
【図３】副画像読み出しの模式図である。
【図４】画像が記録メディアに格納されるまでのデータフローについて、メモリのバッファ構成について着目して示した図である。
【図５】デジタル処理部の画像取り込み動作を時系列で示した図である。
【図６】副画像が複数存在する場合の画像読み出しの模式図である。
【図７】副画像が複数存在する場合における、デジタル処理部画像取り込み動作を時系列で示した図である。
【図８】主画像および副画像のエンコード動作の模式図である。
【図９】検出部の詳細な構成を示すブロック図である。
【図１０】表示画面の一例を示す図である。
【図１１】記録状態の場合における表示部１０の表示画面の他の一例を示す図である。
【図１２】本発明の実施の形態２における撮像装置のシステム構成を示すブロック図である。
【図１３】表示部と検出部との一例を示すブロック図である。
【図１４】ビットマップエンコーダが注視領域の枠を付加情報として記録する動作を示す模式図である。
【図１５】表示部を２つ備える撮像装置のシステム構成を示すブロック図である。
【特許請求の範囲】
【請求項１】
メモリに接続して使用される撮像装置であって、
任意の領域を読み出し可能な撮像素子と、
前記撮像素子に結像された全体画像である主画像領域の画像を読み出して主画像として前記メモリに格納する主画像格納手段と、
前記撮像素子から注視すべき領域である注視領域の画像を読み出して副画像として前記メモリに格納する副画像格納手段と、
前記主画像格納手段および前記副画像格納手段により前記メモリに格納された主画像および副画像を圧縮するエンコーダ手段と、
前記エンコーダ手段により圧縮された主画像および副画像を記録媒体に記録する記録手段と
を有することを特徴とする撮像装置。
【請求項２】
前記撮像素子は動画フレーム周期よりも高速に撮像可能な撮像素子であって、
前記主画像格納手段と前記副画像格納手段とは、互いに異なる時刻に前記撮像素子で撮像された画像を前記撮像素子から読み出す
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、前記主画像および前記副画像の画素数よりも多い数の画素を有し、
前記主画像格納手段は、前記主画像領域の画像の画素数を変換し、変換した主画像領域の画像を前記主画像として前記メモリに格納し、
前記副画像格納手段は、前記注視領域の画像の画素数を変換し、変換した注視領域の画像を前記副画像として前記メモリに格納する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記副画像格納手段は、複数の前記注視領域の画像を、前記注視領域ごとに対応する副画像として前記メモリに格納し、
前記主画像格納手段および前記副画像格納手段は、前記副画像の数に応じて前記主画像領域の画像および前記注視領域の画像それぞれの読み出しフレーム周期を決定し、決定した読み出しフレーム周期で前記副画像および前記主画像を前記メモリに格納し、
前記エンコーダ手段は、前記副画像および前記主画像それぞれを決定された読み出しフレーム周期で圧縮する
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
領域特定手段をさらに備え、前記領域特定手段は前記注視領域を動的に特定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記領域特定手段は、タッチパネル方式の入力デバイスを備え、
前記入力デバイスで指定された領域を前記注視領域として特定する
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記領域特定手段は、人物認識により所望の人物を検出し、検出した人物の領域を検出する人物検出部を備え、
前記人物検出部で検出された領域を前記注視領域として特定する
ことを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記領域特定手段は、動き検出により動きの検出された領域を検出する動き検出部を備え、
前記動き検出部で検出された領域を前記注視領域として特定する
ことを特徴とする請求項５に記載の撮像装置。
【請求項９】
前記領域特定手段は、撮影者の視線を検出し、検出した視線により撮影者が注視している領域を特定する視線検出部を備え、
前記視線検出部で特定された領域を前記注視領域として選択する
ことを特徴とする請求項５に記載の撮像装置。
【請求項１０】
副画像情報作成手段をさらに備え、前記副画像情報作成手段は前記領域特定手段で特定された注視領域を示す情報を付加情報として前記記録媒体に記録する
ことを特徴とする請求項５乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
表示手段をさらに備え、前記表示手段は、前記主画像領域の画像および前記注視領域の画像を表示する
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記表示手段は、副画像が前記記録手段により記録中か否かに応じて、表示している対応する注視領域の画像の枠の色を変えて表示する
ことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
主画像表示手段と、副画像表示手段とをさらに備え、
前記主画像表示手段は、前記主画像領域の画像を表示し、
前記副画像表示手段は、前記注視領域の画像を表示する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１】
メモリに接続して使用される撮像装置であって、
任意の領域を読み出し可能な撮像素子と、
前記撮像素子に結像された全体画像である主画像領域の画像を読み出して主画像として前記メモリに格納する主画像格納手段と、
前記撮像素子から注視すべき領域である注視領域の画像を読み出して副画像として前記メモリに格納する副画像格納手段と、
前記主画像格納手段および前記副画像格納手段により前記メモリに格納された主画像および副画像を圧縮するエンコーダ手段と、
前記エンコーダ手段により圧縮された主画像および副画像を記録媒体に記録する記録手段と
を有することを特徴とする撮像装置。
【請求項２】
前記撮像素子は動画フレーム周期よりも高速に撮像可能な撮像素子であって、
前記主画像格納手段と前記副画像格納手段とは、互いに異なる時刻に前記撮像素子で撮像された画像を前記撮像素子から読み出す
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、前記主画像および前記副画像の画素数よりも多い数の画素を有し、
前記主画像格納手段は、前記主画像領域の画像の画素数を変換し、変換した主画像領域の画像を前記主画像として前記メモリに格納し、
前記副画像格納手段は、前記注視領域の画像の画素数を変換し、変換した注視領域の画像を前記副画像として前記メモリに格納する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記副画像格納手段は、複数の前記注視領域の画像を、前記注視領域ごとに対応する副画像として前記メモリに格納し、
前記主画像格納手段および前記副画像格納手段は、前記副画像の数に応じて前記主画像領域の画像および前記注視領域の画像それぞれの読み出しフレーム周期を決定し、決定した読み出しフレーム周期で前記副画像および前記主画像を前記メモリに格納し、
前記エンコーダ手段は、前記副画像および前記主画像それぞれを決定された読み出しフレーム周期で圧縮する
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
領域特定手段をさらに備え、前記領域特定手段は前記注視領域を動的に特定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記領域特定手段は、タッチパネル方式の入力デバイスを備え、
前記入力デバイスで指定された領域を前記注視領域として特定する
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記領域特定手段は、人物認識により所望の人物を検出し、検出した人物の領域を検出する人物検出部を備え、
前記人物検出部で検出された領域を前記注視領域として特定する
ことを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記領域特定手段は、動き検出により動きの検出された領域を検出する動き検出部を備え、
前記動き検出部で検出された領域を前記注視領域として特定する
ことを特徴とする請求項５に記載の撮像装置。
【請求項９】
前記領域特定手段は、撮影者の視線を検出し、検出した視線により撮影者が注視している領域を特定する視線検出部を備え、
前記視線検出部で特定された領域を前記注視領域として選択する
ことを特徴とする請求項５に記載の撮像装置。
【請求項１０】
副画像情報作成手段をさらに備え、前記副画像情報作成手段は前記領域特定手段で特定された注視領域を示す情報を付加情報として前記記録媒体に記録する
ことを特徴とする請求項５乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
表示手段をさらに備え、前記表示手段は、前記主画像領域の画像および前記注視領域の画像を表示する
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記表示手段は、副画像が前記記録手段により記録中か否かに応じて、表示している対応する注視領域の画像の枠の色を変えて表示する
ことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
主画像表示手段と、副画像表示手段とをさらに備え、
前記主画像表示手段は、前記主画像領域の画像を表示し、
前記副画像表示手段は、前記注視領域の画像を表示する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−２９０８６０（Ｐ２００９−２９０８６０Ａ）
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願番号】特願２００９−６９０３９（Ｐ２００９−６９０３９）
【出願日】平成２１年３月１９日（２００９．３．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願日】平成２１年３月１９日（２００９．３．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]