画像処理装置およびそれを搭載した撮像装置
【課題】動画撮像中に撮像される静止画は解像度が低いものになってしまう。
【解決手段】符号化部２０は、撮像素子１０により連続的に撮像されたフレーム画像を動画として符号化する。保持部３０は、撮像素子１０により撮像されたフレーム画像を一時的に保持する。制御部４０は、動画の撮像中に一枚の静止画の撮像指示を受け付けたとき、その撮像指示に対応する一枚の対象フレーム画像とともに、そのフレーム画像と時間方向に隣接する少なくとも一枚の隣接フレーム画像を超解像処理に使用すべきフレーム画像として保持部３０に登録するよう制御する。超解像処理部５０は、保持部３０に保持される、対象フレーム画像とその隣接フレーム画像を用いて超解像処理し、高解像度化された静止画を生成する。
【解決手段】符号化部２０は、撮像素子１０により連続的に撮像されたフレーム画像を動画として符号化する。保持部３０は、撮像素子１０により撮像されたフレーム画像を一時的に保持する。制御部４０は、動画の撮像中に一枚の静止画の撮像指示を受け付けたとき、その撮像指示に対応する一枚の対象フレーム画像とともに、そのフレーム画像と時間方向に隣接する少なくとも一枚の隣接フレーム画像を超解像処理に使用すべきフレーム画像として保持部３０に登録するよう制御する。超解像処理部５０は、保持部３０に保持される、対象フレーム画像とその隣接フレーム画像を用いて超解像処理し、高解像度化された静止画を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画および静止画の両方を処理する機能を備える画像処理装置およびそれを搭載した撮像装置に関する。
【背景技術】
【０００２】
動画も静止画も撮像可能なデジタルムービーカメラが普及してきている。このようなデジタルムービーカメラでは、動画撮影モードで撮像された画像のほうが静止画撮影モードで撮像された画像より解像度が低くなるよう設計されることが一般的である。動画撮影モードでは、撮像素子からの画素データの読み出し、その後に続く各種の信号処理を高速に実行しなければならず、静止画撮影モードより負荷が高くなる。
【０００３】
そこで、動画撮影モードでは各フレーム画像の画素数を下げて負荷を軽減する手法が用いられている。たとえば、撮像素子の有効画素領域のうち、その中央部分の画素領域から出力される画素データのみを使用する手法や、撮像されたフレーム画像の画素データを間引く手法がある。もちろん、これらの手法を使用すると、静止画撮影モードで撮像されたフレーム画像より解像度が下がることになる。
【０００４】
特許文献１は、撮影された入力画像から超解像に用いる混合画像および間引き画像を読み出す画像読出し方法を開示する。
【特許文献１】特開２００８−３３９１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
デジタルムービーカメラの中には、動画撮像中に静止画を撮像できる機能を搭載するものもある。この機能により、動画ファイルから編集作業を経なくても、お気に入りの静止画を独立のファイルとして記録することができる。上述したように動画撮像中はフレーム画像の解像度が低く設定されるため、動画撮像中に撮像される静止画の解像度も低いものとなる。そこで、その静止画を事後的に高解像度化することが考えられる。たとえば、その静止画に画素データを補間して高解像度化することが考えられるが、高周波成分を復元するものではないため画像がぼけてしまう。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、動画撮像中に撮像される静止画を高精細なものとすることができる画像処理装置、それを搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様の画像処理装置は、撮像素子により連続的に撮像されたフレーム画像を動画として符号化する符号化部と、撮像素子により撮像されたフレーム画像を保持するための保持部と、動画の撮像中に一枚の静止画の撮像指示を受け付けたとき、その撮像指示に対応する一枚の対象フレーム画像とともに、そのフレーム画像と時間方向に隣接する少なくとも一枚の隣接フレーム画像を超解像処理に使用すべきフレーム画像として保持部に登録するよう制御する制御部と、を備える。
【０００８】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、動画撮像中に撮像される静止画を高精細なものとすることができる。
【発明を実施するための最良の形態】
【００１０】
図１は、実施の形態１に係る画像処理装置２００を搭載した撮像装置５００の構成を示す図である。撮像装置５００は、撮像部１００、画像処理装置２００、記録部３００および操作部４００を備える。画像処理装置２００は、符号化部２０、保持部３０、制御部４０および超解像処理部５０を有する。
【００１１】
画像処理装置２００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１２】
撮像部１００は、入射光を電気信号に変換し画像処理装置２００に供給する。撮像部１００は、撮像素子１０および信号処理部１２を含む。撮像素子１０としてＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどを採用することができる。信号処理部１２は、撮像素子１０から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換する。
【００１３】
符号化部２０は、撮像素子１０により連続的に撮像されたフレーム画像を動画として符号化する。たとえば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい圧縮符号化する。符号化部２０の詳細な構成は後述する。圧縮符号化された動画ファイルは、記録部３００に記録される。
【００１４】
保持部３０は、撮像素子１０により撮像されたフレーム画像を一時的に保持する。符号化部２０内に設けられる、図示しないフレームバッファの一部を利用してもよい。
制御部４０は、動画の撮像中に一枚の静止画の撮像指示を操作部４００から受け付けたとき、その撮像指示に対応する一枚のフレーム画像（以下、対象フレーム画像と表記する）とともに、その対象フレーム画像と時間方向に隣接する少なくとも一枚のフレーム画像（以下、隣接フレーム画像と表記する）を超解像処理に使用すべきフレーム画像として保持部３０に登録するよう制御する。保持部３０に登録される、対象フレーム画像および隣接フレーム画像は、符号化部２０により圧縮符号化されたフレーム画像であってもよいし、圧縮符号化されていないそのままのフレーム画像であってもよい。
【００１５】
上記対象フレーム画像は、動画の撮像中に連続的に生成されるフレーム画像のうち、上記撮像指示のタイミングに最も近いタイミングに撮像されたフレーム画像を抽出したものであってもよい。上記隣接フレーム画像は、抽出されたフレーム画像より過去方向に隣接する一枚以上のフレーム画像、未来方向に隣接する一枚以上のフレーム画像、またはそれらの両方であってもよい。
【００１６】
超解像処理部５０は、保持部３０に保持される、上記対象フレーム画像とその隣接フレーム画像を用いて超解像処理し、高解像度化された静止画を生成する。超解像処理は、微少な位置ずれを持つ複数の画像から、それら画像の解像度より高い解像度の画像を生成する技術であり、高周波成分を復元することができる。
【００１７】
なお、保持部３０に保持されるフレーム画像が圧縮符号化されている場合、図示しない復号部により復号された後のフレーム画像が超解像処理部５０に供給される。超解像処理部５０により生成された静止画は記録部３００に記録される。
【００１８】
超解像処理部５０は、たとえば、（青木伸著、「複数のデジタル画像データによる超解像処理」、Ricoh Technical Report No.24, NOVEMBER, 1998）に開示された超解像処理を用いることができる。この超解像処理は、位置推定ステップ、広帯域補間ステップおよび加重和ステップの三ステップの処理からなる。位置推定ステップは、与えられた複数の画像データ自身から、それぞれの画像データの標本化位置のずれを推定する。広帯域補間ステップは、各画像データを広帯域なローパスフィルタを用いて高密度化する。このローパスフィルタは折り返し成分も含む原信号の高周波成分をすべて透過するフィルタである。加重和ステップは、各高密度化データの標本化位置に応じた重みを使った、加重和を算出する。これにより、折り返し歪み成分を打ち消すとともに、原信号の高周波成分を復元する。
【００１９】
また、特開２００５−１９７９１０号公報、特開２００７−２０５号公報、特開２００７−１９３５０８号公報などに開示された超解像処理を利用することも可能である。
【００２０】
超解像処理部５０は、動画の撮像終了後に上記超解像処理を実行することが好ましい。とくに、動画の撮像終了直後に実行することが好ましい。なお、動画の撮像終了直後に超解像処理が実行される場合、撮像装置５００の電源がユーザによりオフされても、制御部４０は超解像処理が終了するまで電源オンの状態を維持し、超解像処理の終了後に電源オフするように制御する。
【００２１】
記録部３００はメモリカード、ハードディスク、光ディスクなどの、記録媒体を備える。操作部４００は各種のボタンやキーを備え、ユーザからの操作指示を受け付ける。操作部４００はその操作指示を制御部４０に伝達する。本実施の形態では、操作部４００は動画の撮像指示および静止画の撮像指示を受け付け、制御部４０に伝達する。
【００２２】
図２は、符号化部２０の詳細な構成を説明するための図である。符号化部２０は、画面分割部２１、直交変換部２２、量子化部２３、画面内予測符号化部２４、画面間予測符号化部２５、可変長符号化部２６、バッファ２７、量子化ステップ決定部２８およびストリーム生成部２９を含む。
【００２３】
画面分割部２１は、フレーム画像ごとに複数の領域に分割する。以下、本実施の形態ではマクロブロックに分割するものとする。直交変換部２２は、各フレーム画像をマクロブロック単位で直交変換する。ＭＰＥＧシリーズでは、輝度信号Ｙおよび色差信号Ｃｒ、ＣｂをＤＣＴ変換し、ＤＣＴ係数を生成する。
【００２４】
量子化部２３は、直交変換部２２で生成されたＤＣＴ係数を、所定の量子化テーブルを参照して量子化する。量子化テーブルは、各ＤＣＴ係数を除算すべき量子化ステップを規定したものである。量子化テーブルは、ＤＣＴ係数のうち低周波成分に対応する量子化ステップを小さく、高周波成分に対応する量子化ステップを大きく設定する。これにより、高周波成分ほど省略を大きくする。なお、量子化テーブルに規定される全部または一部の量子化ステップは、量子化ステップ決定部２８により適応的に可変制御される。これにより、圧縮率を一定の範囲に収めることができる。
【００２５】
量子化部２３は、マクロブロック単位で量子化したＤＣＴ係数を画面内予測符号化部２４または画面間予測符号化部２５に供給する。具体的には、Ｉピクチャとして符号化されるべきデータを画面内予測符号化部２４に供給し、ＰピクチャまたはＢピクチャとして符号化されるべきデータを画面間予測符号化部２５に供給する。なお、ＰピクチャまたはＢピクチャとして符号化されるべきデータが、上記対象フレーム画像および上記隣接フレーム画像のデータである場合、画面間予測符号化部２５だけではなく、画面内予測符号化部２４にも供給する。
【００２６】
画面内予測符号化部２４は、ＩピクチャのＤＣＴ係数を画面内予測符号化する。ここでは、ＭＰＥＧシリーズで規定された画面内予測符号化を用いることができる。画面間予測符号化部２５は、ＰピクチャまたはＢピクチャのＤＣＴ係数を画面間予測符号化する。ここでも、ＭＰＥＧシリーズで規定された画面間予測符号化を用いることができる。すなわち、動き補償技術を利用することができる。
【００２７】
具体的には、画面間予測符号化部２５は、各動き補償ブロックについて、過去または未来の参照ピクチャ内から誤差の最も小さい予測領域（以下、最適予測ブロックという）を探索し、各動き補償ブロックからその各最適予測ブロックへのずれを示す動きベクトルを求める。そして、その動きベクトルを用いて動き補償ブロックごとに動き補償を行い、予測誤差信号を生成する。Ｈ．２６４／ＡＶＣでは、動き補償ブロックのサイズを、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４のなかから適宜選択することができる。なお、動き補償処理はＤＣＴ係数ではなく画素値に対して施されるが、ここでは説明を簡略化するため、図２では逆量子化および逆直交変換する系を省略して描いている。
【００２８】
可変長符号化部２６は、画面内予測符号化部２４および画面間予測符号化部２５などにより生成された、ＤＣＴ係数、予測誤差信号、動きベクトルおよびその他のパラメータをエントロピー符号化する。
【００２９】
バッファ２７は、可変長符号化部２６により符号化された符号化データを一時記憶する。バッファ２７は、符号化された各ピクチャの符号量またはバッファの占有量を量子化ステップ決定部２８に供給する。量子化ステップ決定部２８は、各ピクチャの符号量またはバッファの占有量に基づいて量子化ステップを適応的に変化させる。量子化ステップ決定部２８は、所定の変換テーブルなどに基づいて量子化ステップを変化させることができる。この変換テーブルは、各ピクチャの符号量またはバッファの占有量が多くなるほど量子化ステップが大きくなるよう設定され、それらが少なくなるほど量子化ステップが小さくなるよう設定される。
【００３０】
ストリーム生成部２９は、バッファ２７に記憶された各ピクチャの符号化データをストリーム化する。ストリーム化する際、ヘッダ情報などを付加することができる。ストリーム生成部２９によりストリーム化された符号化データは、記録部３００に記録される。
【００３１】
制御部４０は、バッファ２７に記憶された、上記対象フレーム画像および上記隣接フレーム画像の符号化データを保持部３０に出力するよう制御する。これらの符号化データは、超解像処理用として、画面内予測符号化部２４により画面内予測符号化されたものである。動画記録用として、画面内予測符号化部２４または画面間予測符号化部２５により符号化された、上記対象フレーム画像および上記隣接フレーム画像の符号化データは、保持部３０ではなく、ストリーム生成部２９に出力される。
【００３２】
図３は、撮像素子１０の画素領域を示す図である。全体の画素領域１１ａのうち、有効画素領域１１ｂが実際に記録用として利用される領域である。通常の静止画撮影モードでは有効画素領域１１ｂで撮像されたフレーム画像が記録される。動画撮影モードでは、有効画素領域１１ｂのうち、一部の領域で撮像されたフレーム画像が記録される。図３では有効画素領域１１ｂのうち、中央部分の画素領域１１ｃで撮像されたフレーム画像が記録される。中央部分の画素領域１１ｃの画素数は、有効画素領域１１ｂの半分程度の画素数であり、動画撮影モードでは中央部分の画素領域１１ｃのみを使用することにより、データ量を半分程度に減少させることができる。
【００３３】
図４は、動画撮影モードで撮像素子１０により撮像された複数のフレーム画像と、静止画生成用の、対象フレーム画像および隣接フレーム画像を示す図である。図４では、斜線が引かれたフレーム画像が画面内予測符号化すべきフレーム画像を示し、引かれていないフレーム画像が画面間予測符号化すべきフレーム画像を示す。
【００３４】
図４において、対象フレーム画像Ｆ１、このフレーム画像Ｆ１と過去方向に隣接している第１隣接フレーム画像Ｆ０、および未来方向に隣接している第２隣接フレーム画像Ｆ２の合計３枚が動画用に撮像されたフレーム画像群から抽出される。第１隣接フレーム画像Ｆ０、対象フレーム画像Ｆ１、および第２隣接フレーム画像Ｆ２は、動画用としてはいずれも画面間予測符号化されるが、静止画用としては画面内予測符号化される。
【００３５】
以上説明したように実施の形態１によれば、対象フレーム画像と、その隣接フレーム画像を用いて超解像処理することにより、動画撮像中に撮像される静止画を高精細なものとすることができる。また、動画撮像中に対象フレーム画像および隣接フレーム画像を一時的に記憶し、動画撮像終了後に、その記憶した対象フレーム画像および隣接フレーム画像を用いて超解像処理する場合、回路規模の増大および消費電力の増大を抑制することができる。これに対して、動画撮像中に超解像処理を平行して実行する場合、超解像処理は高負荷な処理であるため、高スペックなハードウェア資源を用いる必要があり、消費電力も増大する。
【００３６】
また、圧縮符号化後の動画ファイル内のフレーム画像を伸張復号して、超解像処理用のフレーム画像とする場合、圧縮符号化の過程で高周波成分の少なくとも一部が不可逆的に除去されてしまうため、伸張復号されたフレーム画像の高周波成分が十分に復元されないことがある。このようなフレーム画像を使用して超解像処理すると、超解像処理による高精細な高解像度化が十分に実現されないことがある。これに対し、本実施の形態では超解像処理に使用するフレーム画像を、画面間予測符号化しないため十分に高精細な静止画を生成することができる。
【００３７】
図５は、実施の形態２に係る画像処理装置２００を搭載した撮像装置５００の構成を示す図である。実施の形態２に係る画像処理装置２００は、図１に示した実施の形態１に係る画像処理装置２００に補間処理部６０が追加された構成である。以下、実施の形態１と異なる処理について説明する。
【００３８】
補間処理部６０は、上記対象フレーム画像に所定の画素データを空間的に補間して高解像度化することができる。当該画像データは、単純な線形補間処理やＦＩＲフィルタを用いた補間処理により生成される。
【００３９】
制御部４０は、上記対象フレーム画像とその隣接フレーム画像との間における、被写体の動き、および相関度の少なくとも一方を参照して超解像処理に適さないと判定したとき、補間処理部６０に上記対象フレーム画像を高解像度化させる。一方、超解像処理に適すると判定したとき、超解像処理部５０に上記対象フレーム画像を高解像度化させる。この場合、実施の形態１で説明した処理と同様となる。
【００４０】
制御部４０は、上記隣接フレーム画像が複数存在する場合、そのすべての隣接フレーム画像が超解像処理に適さないと判定したとき、補間処理部６０に上記対象フレーム画像を高解像度化させる。一枚でも超解像処理に適した隣接フレーム画像が存在する場合、その隣接フレーム画像を用いた超解像処理を超解像処理部５０に実行させる。
【００４１】
制御部４０は、上記対象フレーム画像とその隣接フレーム画像との間の、被写体の動き、および相関度の少なくとも一方を特定する。当該隣接フレーム画像が複数存在する場合、それぞれの隣接フレーム画像について特定する。
【００４２】
まず、被写体の動きを参照する場合に利用可能なパラメータについて説明する。
制御部４０は、上記対象フレーム画像とその隣接フレーム画像との間で、動き補償ブロックごとに動きベクトルを取得し、それら複数の動きベクトルの累積値または平均値を算出する。この累積値または平均値が所定の第１閾値を超えるとき、その隣接フレーム画像を超解像処理の適正無しと判定する。逆に第１閾値以下のとき、超解像処理の適正有りと判定する。制御部４０は、図２に示した画面間予測符号化部２５から各動き補償ブロックの動きベクトルを取得することができる。Ｉピクチャとして圧縮符号化すべきフレーム画像についても、画面間予測符号化部２５に供給するように設計すれば、当該動きベクトルを取得することができる。
【００４３】
つぎに、相関度を参照する場合に利用可能なパラメータについて説明する。
制御部４０は、上記対象フレーム画像とその隣接フレーム画像との間で、動き補償ブロックごとに最適予測ブロックとの画素差分値を取得し、それら複数の画素差分値の累積値を算出する。この累積値が所定の第２閾値を超えるとき、その隣接フレーム画像を超解像処理の適正無しと判定する。逆に第２閾値以下のとき、超解像処理の適正有りと判定する。制御部４０は、図２に示した画面間予測符号化部２５から各動き補償ブロックの画素差分値を取得することができる。Ｉピクチャとして圧縮符号化すべきフレーム画像についても、画面間予測符号化部２５に供給するように設計すれば、当該画素差分値を取得することができる。
【００４４】
制御部４０は動画の撮像中に、上記隣接フレーム画像の超解像処理の適正を判定してもよいし、動画の撮像終了後に判定してもよい。制御部４０は、超解像処理の適正無しと判定した隣接フレーム画像を保持部３０内から削除する。また、保持部３０に登録される前に、その判定結果を算出できる場合、その隣接フレーム画像を保持部３０に登録しないよう制御する。なお、上記第１閾値および上記第２閾値は、設計者による実験やシミュレーションにより求められた値に設定される。
【００４５】
以上説明したように実施の形態２によれば、上記隣接フレーム画像が超解像処理に適さない場合、空間的な補間処理により上記対象フレーム画像を高解像度化することにより、ノイズを多く含む静止画が生成される事態を抑制することができる。超解像処理では、微少な位置ずれを持つ画像という前提を満たさない画像を使用すると、ノイズを多く含む画像となってしまう。本実施の形態では、超解像処理を使用することにより、却って画質が低下してしまう場合、次善の策として空間的な補間処理により高解像度化する。
【００４６】
図６は、実施の形態３に係る画像処理装置２００を搭載した撮像装置５００の構成を示す図である。実施の形態３に係る画像処理装置２００は、図１に示した実施の形態１に係る画像処理装置２００に間引き処理部７０が追加された構成である。以下、実施の形態１と異なる処理について説明する。
【００４７】
間引き処理部７０は、動画用に連続的に撮像されたフレーム画像の画素データを間引いて符号化部２０に供給する。この間引き処理は、動画撮影モード時に実行され、通常の静止画撮影モード時には実行されない。動画の圧縮符号化は高負荷な処理であるため、動画撮影モード時には間引き処理部７０がフレーム画像の解像度を低下させて、符号化部２０の負荷を軽減させる。図３では動画撮影モード時に撮像素子１０の画素領域から読み出す画素数を減少させたが、間引き処理部７０は、撮像素子１０から読み出されたフレーム画像の画素データを間引くことにより、フレーム画像の画素数を減少させる。もちろん、両方を併用することができる。
【００４８】
制御部４０は、上記対象フレーム画像およびその隣接フレーム画像の画素データを間引かないよう、間引き処理部７０を制御する。なお、上記対象フレーム画像およびその隣接フレーム画像について、動画用として、画素データを間引いたフレーム画像を別に生成してもよい。
【００４９】
図７は、実施の形態３に係る間引き処理部７０による、フレーム画像の間引き処理について説明するための図である。図７では、図３に示した中央部分の画素領域１１ｃで撮像されたフレーム画像が間引き処理部７０に入力されたことを前提とする。間引き処理部７０は、このフレーム画像の画素データを千鳥格子状に間引く。ここでは、斜線で示される画素の画素データを間引く。これにより、フレーム画像の画素数を半分に減少させることができる。なお、フレーム画像の画素データを千鳥格子状ではなく、一行おきまたは一列おきに間引いてもよい。この間引かれた後のフレーム画像の画素数は、図３に示した有効画素領域１１ｂの画素数と比較し、１／４となる。上記対象フレーム画像およびその隣接フレーム画像の画素数は、間引き処理部７０により画素データが間引かれないため、有効画素領域１１ｂの画素数と比較し、１／２となる。
【００５０】
以上説明したように実施の形態３によれば、動画用のフレーム画像の画素データを間引いて圧縮符号化することにより、符号化部の負荷を軽減することができる。その際、上記対象フレーム画像およびその隣接フレーム画像の画素データを間引かないように制御することにより、動画撮像中に撮像された静止画の解像度が低下することを回避することができる。すなわち、符号化部の負荷軽減と、静止画の解像度低下の回避を両立することができる。
【００５１】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５２】
図２では、対象フレーム画像および隣接フレーム画像を画面内予測符号化部２４で画面内予測符号化する例を説明したが、対象フレーム画像および隣接フレーム画像を圧縮符号化せず、そのまま保持部３０に登録してもよい。これによれば、保持部３０に登録されるフレーム画像のデータ量は減少しないが、圧縮符号化による歪みの発生を回避することができる。また、対象フレーム画像および隣接フレーム画像を画面内予測符号化部２４で画面内予測符号化する場合でも、その前段の量子化部２３による量子化処理をスキップしてもよい。この場合、高周波成分の一部が不可逆的に除去されることを回避することができる。
【図面の簡単な説明】
【００５３】
【図１】実施の形態１に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図２】符号化部の詳細な構成を説明するための図である。
【図３】撮像素子の画素領域を示す図である。
【図４】動画撮影モードで撮像素子により撮像された複数のフレーム画像と、静止画生成用の、対象フレーム画像および隣接フレーム画像を示す図である。
【図５】実施の形態２に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図６】実施の形態３に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図７】実施の形態３に係る間引き処理部による、フレーム画像の間引き処理について説明するための図である。
【符号の説明】
【００５４】
１０ 撮像素子、 １２ 信号処理部、 ２０ 符号化部、 ２１ 画面分割部、 ２２ 直交変換部、 ２３ 量子化部、 ２４ 画面内予測符号化部、 ２５ 画面間予測符号化部、 ２６ 可変長符号化部、 ２７ バッファ、 ２８ 量子化ステップ決定部、 ２９ ストリーム生成部、 ３０ 保持部、 ４０ 制御部、 ５０ 超解像処理部、 ６０ 補間処理部、 ７０ 間引き処理部、 １００ 撮像部、 ２００ 画像処理装置、 ３００ 記録部、 ４００ 操作部、 ５００ 撮像装置。
【技術分野】
【０００１】
本発明は、動画および静止画の両方を処理する機能を備える画像処理装置およびそれを搭載した撮像装置に関する。
【背景技術】
【０００２】
動画も静止画も撮像可能なデジタルムービーカメラが普及してきている。このようなデジタルムービーカメラでは、動画撮影モードで撮像された画像のほうが静止画撮影モードで撮像された画像より解像度が低くなるよう設計されることが一般的である。動画撮影モードでは、撮像素子からの画素データの読み出し、その後に続く各種の信号処理を高速に実行しなければならず、静止画撮影モードより負荷が高くなる。
【０００３】
そこで、動画撮影モードでは各フレーム画像の画素数を下げて負荷を軽減する手法が用いられている。たとえば、撮像素子の有効画素領域のうち、その中央部分の画素領域から出力される画素データのみを使用する手法や、撮像されたフレーム画像の画素データを間引く手法がある。もちろん、これらの手法を使用すると、静止画撮影モードで撮像されたフレーム画像より解像度が下がることになる。
【０００４】
特許文献１は、撮影された入力画像から超解像に用いる混合画像および間引き画像を読み出す画像読出し方法を開示する。
【特許文献１】特開２００８−３３９１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
デジタルムービーカメラの中には、動画撮像中に静止画を撮像できる機能を搭載するものもある。この機能により、動画ファイルから編集作業を経なくても、お気に入りの静止画を独立のファイルとして記録することができる。上述したように動画撮像中はフレーム画像の解像度が低く設定されるため、動画撮像中に撮像される静止画の解像度も低いものとなる。そこで、その静止画を事後的に高解像度化することが考えられる。たとえば、その静止画に画素データを補間して高解像度化することが考えられるが、高周波成分を復元するものではないため画像がぼけてしまう。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、動画撮像中に撮像される静止画を高精細なものとすることができる画像処理装置、それを搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様の画像処理装置は、撮像素子により連続的に撮像されたフレーム画像を動画として符号化する符号化部と、撮像素子により撮像されたフレーム画像を保持するための保持部と、動画の撮像中に一枚の静止画の撮像指示を受け付けたとき、その撮像指示に対応する一枚の対象フレーム画像とともに、そのフレーム画像と時間方向に隣接する少なくとも一枚の隣接フレーム画像を超解像処理に使用すべきフレーム画像として保持部に登録するよう制御する制御部と、を備える。
【０００８】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、動画撮像中に撮像される静止画を高精細なものとすることができる。
【発明を実施するための最良の形態】
【００１０】
図１は、実施の形態１に係る画像処理装置２００を搭載した撮像装置５００の構成を示す図である。撮像装置５００は、撮像部１００、画像処理装置２００、記録部３００および操作部４００を備える。画像処理装置２００は、符号化部２０、保持部３０、制御部４０および超解像処理部５０を有する。
【００１１】
画像処理装置２００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１２】
撮像部１００は、入射光を電気信号に変換し画像処理装置２００に供給する。撮像部１００は、撮像素子１０および信号処理部１２を含む。撮像素子１０としてＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどを採用することができる。信号処理部１２は、撮像素子１０から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換する。
【００１３】
符号化部２０は、撮像素子１０により連続的に撮像されたフレーム画像を動画として符号化する。たとえば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい圧縮符号化する。符号化部２０の詳細な構成は後述する。圧縮符号化された動画ファイルは、記録部３００に記録される。
【００１４】
保持部３０は、撮像素子１０により撮像されたフレーム画像を一時的に保持する。符号化部２０内に設けられる、図示しないフレームバッファの一部を利用してもよい。
制御部４０は、動画の撮像中に一枚の静止画の撮像指示を操作部４００から受け付けたとき、その撮像指示に対応する一枚のフレーム画像（以下、対象フレーム画像と表記する）とともに、その対象フレーム画像と時間方向に隣接する少なくとも一枚のフレーム画像（以下、隣接フレーム画像と表記する）を超解像処理に使用すべきフレーム画像として保持部３０に登録するよう制御する。保持部３０に登録される、対象フレーム画像および隣接フレーム画像は、符号化部２０により圧縮符号化されたフレーム画像であってもよいし、圧縮符号化されていないそのままのフレーム画像であってもよい。
【００１５】
上記対象フレーム画像は、動画の撮像中に連続的に生成されるフレーム画像のうち、上記撮像指示のタイミングに最も近いタイミングに撮像されたフレーム画像を抽出したものであってもよい。上記隣接フレーム画像は、抽出されたフレーム画像より過去方向に隣接する一枚以上のフレーム画像、未来方向に隣接する一枚以上のフレーム画像、またはそれらの両方であってもよい。
【００１６】
超解像処理部５０は、保持部３０に保持される、上記対象フレーム画像とその隣接フレーム画像を用いて超解像処理し、高解像度化された静止画を生成する。超解像処理は、微少な位置ずれを持つ複数の画像から、それら画像の解像度より高い解像度の画像を生成する技術であり、高周波成分を復元することができる。
【００１７】
なお、保持部３０に保持されるフレーム画像が圧縮符号化されている場合、図示しない復号部により復号された後のフレーム画像が超解像処理部５０に供給される。超解像処理部５０により生成された静止画は記録部３００に記録される。
【００１８】
超解像処理部５０は、たとえば、（青木伸著、「複数のデジタル画像データによる超解像処理」、Ricoh Technical Report No.24, NOVEMBER, 1998）に開示された超解像処理を用いることができる。この超解像処理は、位置推定ステップ、広帯域補間ステップおよび加重和ステップの三ステップの処理からなる。位置推定ステップは、与えられた複数の画像データ自身から、それぞれの画像データの標本化位置のずれを推定する。広帯域補間ステップは、各画像データを広帯域なローパスフィルタを用いて高密度化する。このローパスフィルタは折り返し成分も含む原信号の高周波成分をすべて透過するフィルタである。加重和ステップは、各高密度化データの標本化位置に応じた重みを使った、加重和を算出する。これにより、折り返し歪み成分を打ち消すとともに、原信号の高周波成分を復元する。
【００１９】
また、特開２００５−１９７９１０号公報、特開２００７−２０５号公報、特開２００７−１９３５０８号公報などに開示された超解像処理を利用することも可能である。
【００２０】
超解像処理部５０は、動画の撮像終了後に上記超解像処理を実行することが好ましい。とくに、動画の撮像終了直後に実行することが好ましい。なお、動画の撮像終了直後に超解像処理が実行される場合、撮像装置５００の電源がユーザによりオフされても、制御部４０は超解像処理が終了するまで電源オンの状態を維持し、超解像処理の終了後に電源オフするように制御する。
【００２１】
記録部３００はメモリカード、ハードディスク、光ディスクなどの、記録媒体を備える。操作部４００は各種のボタンやキーを備え、ユーザからの操作指示を受け付ける。操作部４００はその操作指示を制御部４０に伝達する。本実施の形態では、操作部４００は動画の撮像指示および静止画の撮像指示を受け付け、制御部４０に伝達する。
【００２２】
図２は、符号化部２０の詳細な構成を説明するための図である。符号化部２０は、画面分割部２１、直交変換部２２、量子化部２３、画面内予測符号化部２４、画面間予測符号化部２５、可変長符号化部２６、バッファ２７、量子化ステップ決定部２８およびストリーム生成部２９を含む。
【００２３】
画面分割部２１は、フレーム画像ごとに複数の領域に分割する。以下、本実施の形態ではマクロブロックに分割するものとする。直交変換部２２は、各フレーム画像をマクロブロック単位で直交変換する。ＭＰＥＧシリーズでは、輝度信号Ｙおよび色差信号Ｃｒ、ＣｂをＤＣＴ変換し、ＤＣＴ係数を生成する。
【００２４】
量子化部２３は、直交変換部２２で生成されたＤＣＴ係数を、所定の量子化テーブルを参照して量子化する。量子化テーブルは、各ＤＣＴ係数を除算すべき量子化ステップを規定したものである。量子化テーブルは、ＤＣＴ係数のうち低周波成分に対応する量子化ステップを小さく、高周波成分に対応する量子化ステップを大きく設定する。これにより、高周波成分ほど省略を大きくする。なお、量子化テーブルに規定される全部または一部の量子化ステップは、量子化ステップ決定部２８により適応的に可変制御される。これにより、圧縮率を一定の範囲に収めることができる。
【００２５】
量子化部２３は、マクロブロック単位で量子化したＤＣＴ係数を画面内予測符号化部２４または画面間予測符号化部２５に供給する。具体的には、Ｉピクチャとして符号化されるべきデータを画面内予測符号化部２４に供給し、ＰピクチャまたはＢピクチャとして符号化されるべきデータを画面間予測符号化部２５に供給する。なお、ＰピクチャまたはＢピクチャとして符号化されるべきデータが、上記対象フレーム画像および上記隣接フレーム画像のデータである場合、画面間予測符号化部２５だけではなく、画面内予測符号化部２４にも供給する。
【００２６】
画面内予測符号化部２４は、ＩピクチャのＤＣＴ係数を画面内予測符号化する。ここでは、ＭＰＥＧシリーズで規定された画面内予測符号化を用いることができる。画面間予測符号化部２５は、ＰピクチャまたはＢピクチャのＤＣＴ係数を画面間予測符号化する。ここでも、ＭＰＥＧシリーズで規定された画面間予測符号化を用いることができる。すなわち、動き補償技術を利用することができる。
【００２７】
具体的には、画面間予測符号化部２５は、各動き補償ブロックについて、過去または未来の参照ピクチャ内から誤差の最も小さい予測領域（以下、最適予測ブロックという）を探索し、各動き補償ブロックからその各最適予測ブロックへのずれを示す動きベクトルを求める。そして、その動きベクトルを用いて動き補償ブロックごとに動き補償を行い、予測誤差信号を生成する。Ｈ．２６４／ＡＶＣでは、動き補償ブロックのサイズを、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４のなかから適宜選択することができる。なお、動き補償処理はＤＣＴ係数ではなく画素値に対して施されるが、ここでは説明を簡略化するため、図２では逆量子化および逆直交変換する系を省略して描いている。
【００２８】
可変長符号化部２６は、画面内予測符号化部２４および画面間予測符号化部２５などにより生成された、ＤＣＴ係数、予測誤差信号、動きベクトルおよびその他のパラメータをエントロピー符号化する。
【００２９】
バッファ２７は、可変長符号化部２６により符号化された符号化データを一時記憶する。バッファ２７は、符号化された各ピクチャの符号量またはバッファの占有量を量子化ステップ決定部２８に供給する。量子化ステップ決定部２８は、各ピクチャの符号量またはバッファの占有量に基づいて量子化ステップを適応的に変化させる。量子化ステップ決定部２８は、所定の変換テーブルなどに基づいて量子化ステップを変化させることができる。この変換テーブルは、各ピクチャの符号量またはバッファの占有量が多くなるほど量子化ステップが大きくなるよう設定され、それらが少なくなるほど量子化ステップが小さくなるよう設定される。
【００３０】
ストリーム生成部２９は、バッファ２７に記憶された各ピクチャの符号化データをストリーム化する。ストリーム化する際、ヘッダ情報などを付加することができる。ストリーム生成部２９によりストリーム化された符号化データは、記録部３００に記録される。
【００３１】
制御部４０は、バッファ２７に記憶された、上記対象フレーム画像および上記隣接フレーム画像の符号化データを保持部３０に出力するよう制御する。これらの符号化データは、超解像処理用として、画面内予測符号化部２４により画面内予測符号化されたものである。動画記録用として、画面内予測符号化部２４または画面間予測符号化部２５により符号化された、上記対象フレーム画像および上記隣接フレーム画像の符号化データは、保持部３０ではなく、ストリーム生成部２９に出力される。
【００３２】
図３は、撮像素子１０の画素領域を示す図である。全体の画素領域１１ａのうち、有効画素領域１１ｂが実際に記録用として利用される領域である。通常の静止画撮影モードでは有効画素領域１１ｂで撮像されたフレーム画像が記録される。動画撮影モードでは、有効画素領域１１ｂのうち、一部の領域で撮像されたフレーム画像が記録される。図３では有効画素領域１１ｂのうち、中央部分の画素領域１１ｃで撮像されたフレーム画像が記録される。中央部分の画素領域１１ｃの画素数は、有効画素領域１１ｂの半分程度の画素数であり、動画撮影モードでは中央部分の画素領域１１ｃのみを使用することにより、データ量を半分程度に減少させることができる。
【００３３】
図４は、動画撮影モードで撮像素子１０により撮像された複数のフレーム画像と、静止画生成用の、対象フレーム画像および隣接フレーム画像を示す図である。図４では、斜線が引かれたフレーム画像が画面内予測符号化すべきフレーム画像を示し、引かれていないフレーム画像が画面間予測符号化すべきフレーム画像を示す。
【００３４】
図４において、対象フレーム画像Ｆ１、このフレーム画像Ｆ１と過去方向に隣接している第１隣接フレーム画像Ｆ０、および未来方向に隣接している第２隣接フレーム画像Ｆ２の合計３枚が動画用に撮像されたフレーム画像群から抽出される。第１隣接フレーム画像Ｆ０、対象フレーム画像Ｆ１、および第２隣接フレーム画像Ｆ２は、動画用としてはいずれも画面間予測符号化されるが、静止画用としては画面内予測符号化される。
【００３５】
以上説明したように実施の形態１によれば、対象フレーム画像と、その隣接フレーム画像を用いて超解像処理することにより、動画撮像中に撮像される静止画を高精細なものとすることができる。また、動画撮像中に対象フレーム画像および隣接フレーム画像を一時的に記憶し、動画撮像終了後に、その記憶した対象フレーム画像および隣接フレーム画像を用いて超解像処理する場合、回路規模の増大および消費電力の増大を抑制することができる。これに対して、動画撮像中に超解像処理を平行して実行する場合、超解像処理は高負荷な処理であるため、高スペックなハードウェア資源を用いる必要があり、消費電力も増大する。
【００３６】
また、圧縮符号化後の動画ファイル内のフレーム画像を伸張復号して、超解像処理用のフレーム画像とする場合、圧縮符号化の過程で高周波成分の少なくとも一部が不可逆的に除去されてしまうため、伸張復号されたフレーム画像の高周波成分が十分に復元されないことがある。このようなフレーム画像を使用して超解像処理すると、超解像処理による高精細な高解像度化が十分に実現されないことがある。これに対し、本実施の形態では超解像処理に使用するフレーム画像を、画面間予測符号化しないため十分に高精細な静止画を生成することができる。
【００３７】
図５は、実施の形態２に係る画像処理装置２００を搭載した撮像装置５００の構成を示す図である。実施の形態２に係る画像処理装置２００は、図１に示した実施の形態１に係る画像処理装置２００に補間処理部６０が追加された構成である。以下、実施の形態１と異なる処理について説明する。
【００３８】
補間処理部６０は、上記対象フレーム画像に所定の画素データを空間的に補間して高解像度化することができる。当該画像データは、単純な線形補間処理やＦＩＲフィルタを用いた補間処理により生成される。
【００３９】
制御部４０は、上記対象フレーム画像とその隣接フレーム画像との間における、被写体の動き、および相関度の少なくとも一方を参照して超解像処理に適さないと判定したとき、補間処理部６０に上記対象フレーム画像を高解像度化させる。一方、超解像処理に適すると判定したとき、超解像処理部５０に上記対象フレーム画像を高解像度化させる。この場合、実施の形態１で説明した処理と同様となる。
【００４０】
制御部４０は、上記隣接フレーム画像が複数存在する場合、そのすべての隣接フレーム画像が超解像処理に適さないと判定したとき、補間処理部６０に上記対象フレーム画像を高解像度化させる。一枚でも超解像処理に適した隣接フレーム画像が存在する場合、その隣接フレーム画像を用いた超解像処理を超解像処理部５０に実行させる。
【００４１】
制御部４０は、上記対象フレーム画像とその隣接フレーム画像との間の、被写体の動き、および相関度の少なくとも一方を特定する。当該隣接フレーム画像が複数存在する場合、それぞれの隣接フレーム画像について特定する。
【００４２】
まず、被写体の動きを参照する場合に利用可能なパラメータについて説明する。
制御部４０は、上記対象フレーム画像とその隣接フレーム画像との間で、動き補償ブロックごとに動きベクトルを取得し、それら複数の動きベクトルの累積値または平均値を算出する。この累積値または平均値が所定の第１閾値を超えるとき、その隣接フレーム画像を超解像処理の適正無しと判定する。逆に第１閾値以下のとき、超解像処理の適正有りと判定する。制御部４０は、図２に示した画面間予測符号化部２５から各動き補償ブロックの動きベクトルを取得することができる。Ｉピクチャとして圧縮符号化すべきフレーム画像についても、画面間予測符号化部２５に供給するように設計すれば、当該動きベクトルを取得することができる。
【００４３】
つぎに、相関度を参照する場合に利用可能なパラメータについて説明する。
制御部４０は、上記対象フレーム画像とその隣接フレーム画像との間で、動き補償ブロックごとに最適予測ブロックとの画素差分値を取得し、それら複数の画素差分値の累積値を算出する。この累積値が所定の第２閾値を超えるとき、その隣接フレーム画像を超解像処理の適正無しと判定する。逆に第２閾値以下のとき、超解像処理の適正有りと判定する。制御部４０は、図２に示した画面間予測符号化部２５から各動き補償ブロックの画素差分値を取得することができる。Ｉピクチャとして圧縮符号化すべきフレーム画像についても、画面間予測符号化部２５に供給するように設計すれば、当該画素差分値を取得することができる。
【００４４】
制御部４０は動画の撮像中に、上記隣接フレーム画像の超解像処理の適正を判定してもよいし、動画の撮像終了後に判定してもよい。制御部４０は、超解像処理の適正無しと判定した隣接フレーム画像を保持部３０内から削除する。また、保持部３０に登録される前に、その判定結果を算出できる場合、その隣接フレーム画像を保持部３０に登録しないよう制御する。なお、上記第１閾値および上記第２閾値は、設計者による実験やシミュレーションにより求められた値に設定される。
【００４５】
以上説明したように実施の形態２によれば、上記隣接フレーム画像が超解像処理に適さない場合、空間的な補間処理により上記対象フレーム画像を高解像度化することにより、ノイズを多く含む静止画が生成される事態を抑制することができる。超解像処理では、微少な位置ずれを持つ画像という前提を満たさない画像を使用すると、ノイズを多く含む画像となってしまう。本実施の形態では、超解像処理を使用することにより、却って画質が低下してしまう場合、次善の策として空間的な補間処理により高解像度化する。
【００４６】
図６は、実施の形態３に係る画像処理装置２００を搭載した撮像装置５００の構成を示す図である。実施の形態３に係る画像処理装置２００は、図１に示した実施の形態１に係る画像処理装置２００に間引き処理部７０が追加された構成である。以下、実施の形態１と異なる処理について説明する。
【００４７】
間引き処理部７０は、動画用に連続的に撮像されたフレーム画像の画素データを間引いて符号化部２０に供給する。この間引き処理は、動画撮影モード時に実行され、通常の静止画撮影モード時には実行されない。動画の圧縮符号化は高負荷な処理であるため、動画撮影モード時には間引き処理部７０がフレーム画像の解像度を低下させて、符号化部２０の負荷を軽減させる。図３では動画撮影モード時に撮像素子１０の画素領域から読み出す画素数を減少させたが、間引き処理部７０は、撮像素子１０から読み出されたフレーム画像の画素データを間引くことにより、フレーム画像の画素数を減少させる。もちろん、両方を併用することができる。
【００４８】
制御部４０は、上記対象フレーム画像およびその隣接フレーム画像の画素データを間引かないよう、間引き処理部７０を制御する。なお、上記対象フレーム画像およびその隣接フレーム画像について、動画用として、画素データを間引いたフレーム画像を別に生成してもよい。
【００４９】
図７は、実施の形態３に係る間引き処理部７０による、フレーム画像の間引き処理について説明するための図である。図７では、図３に示した中央部分の画素領域１１ｃで撮像されたフレーム画像が間引き処理部７０に入力されたことを前提とする。間引き処理部７０は、このフレーム画像の画素データを千鳥格子状に間引く。ここでは、斜線で示される画素の画素データを間引く。これにより、フレーム画像の画素数を半分に減少させることができる。なお、フレーム画像の画素データを千鳥格子状ではなく、一行おきまたは一列おきに間引いてもよい。この間引かれた後のフレーム画像の画素数は、図３に示した有効画素領域１１ｂの画素数と比較し、１／４となる。上記対象フレーム画像およびその隣接フレーム画像の画素数は、間引き処理部７０により画素データが間引かれないため、有効画素領域１１ｂの画素数と比較し、１／２となる。
【００５０】
以上説明したように実施の形態３によれば、動画用のフレーム画像の画素データを間引いて圧縮符号化することにより、符号化部の負荷を軽減することができる。その際、上記対象フレーム画像およびその隣接フレーム画像の画素データを間引かないように制御することにより、動画撮像中に撮像された静止画の解像度が低下することを回避することができる。すなわち、符号化部の負荷軽減と、静止画の解像度低下の回避を両立することができる。
【００５１】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５２】
図２では、対象フレーム画像および隣接フレーム画像を画面内予測符号化部２４で画面内予測符号化する例を説明したが、対象フレーム画像および隣接フレーム画像を圧縮符号化せず、そのまま保持部３０に登録してもよい。これによれば、保持部３０に登録されるフレーム画像のデータ量は減少しないが、圧縮符号化による歪みの発生を回避することができる。また、対象フレーム画像および隣接フレーム画像を画面内予測符号化部２４で画面内予測符号化する場合でも、その前段の量子化部２３による量子化処理をスキップしてもよい。この場合、高周波成分の一部が不可逆的に除去されることを回避することができる。
【図面の簡単な説明】
【００５３】
【図１】実施の形態１に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図２】符号化部の詳細な構成を説明するための図である。
【図３】撮像素子の画素領域を示す図である。
【図４】動画撮影モードで撮像素子により撮像された複数のフレーム画像と、静止画生成用の、対象フレーム画像および隣接フレーム画像を示す図である。
【図５】実施の形態２に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図６】実施の形態３に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図７】実施の形態３に係る間引き処理部による、フレーム画像の間引き処理について説明するための図である。
【符号の説明】
【００５４】
１０ 撮像素子、 １２ 信号処理部、 ２０ 符号化部、 ２１ 画面分割部、 ２２ 直交変換部、 ２３ 量子化部、 ２４ 画面内予測符号化部、 ２５ 画面間予測符号化部、 ２６ 可変長符号化部、 ２７ バッファ、 ２８ 量子化ステップ決定部、 ２９ ストリーム生成部、 ３０ 保持部、 ４０ 制御部、 ５０ 超解像処理部、 ６０ 補間処理部、 ７０ 間引き処理部、 １００ 撮像部、 ２００ 画像処理装置、 ３００ 記録部、 ４００ 操作部、 ５００ 撮像装置。
【特許請求の範囲】
【請求項１】
撮像素子により連続的に撮像されたフレーム画像を動画として符号化する符号化部と、
前記撮像素子により撮像されたフレーム画像を保持するための保持部と、
前記動画の撮像中に一枚の静止画の撮像指示を受け付けたとき、その撮像指示に対応する一枚の対象フレーム画像とともに、そのフレーム画像と時間方向に隣接する少なくとも一枚の隣接フレーム画像を超解像処理に使用すべきフレーム画像として前記保持部に登録するよう制御する制御部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記保持部に保持される、前記対象フレーム画像とその隣接フレーム画像を用いて超解像処理し、高解像度化された静止画を生成する超解像処理部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記超解像処理部は、前記動画の撮像終了後に前記超解像処理を実行することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記対象フレーム画像に所定の画素データを空間的に補間して高解像度化する補間処理部をさらに備え、
前記制御部は、前記対象フレーム画像とその隣接フレーム画像との間における、被写体の動き、および相関度の少なくとも一方を参照して前記超解像処理に適さないと判定したとき、前記補間処理部に前記対象フレーム画像を高解像度化させることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記動画用に連続的に撮像されたフレーム画像の画素データを間引いて前記符号化部に供給する間引き処理部をさらに備え、
前記制御部は、前記対象フレーム画像およびその隣接フレーム画像の画素データを間引かないよう、前記間引き処理部を制御することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
撮像素子と、
請求項１から５のいずれかに記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項１】
撮像素子により連続的に撮像されたフレーム画像を動画として符号化する符号化部と、
前記撮像素子により撮像されたフレーム画像を保持するための保持部と、
前記動画の撮像中に一枚の静止画の撮像指示を受け付けたとき、その撮像指示に対応する一枚の対象フレーム画像とともに、そのフレーム画像と時間方向に隣接する少なくとも一枚の隣接フレーム画像を超解像処理に使用すべきフレーム画像として前記保持部に登録するよう制御する制御部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記保持部に保持される、前記対象フレーム画像とその隣接フレーム画像を用いて超解像処理し、高解像度化された静止画を生成する超解像処理部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記超解像処理部は、前記動画の撮像終了後に前記超解像処理を実行することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記対象フレーム画像に所定の画素データを空間的に補間して高解像度化する補間処理部をさらに備え、
前記制御部は、前記対象フレーム画像とその隣接フレーム画像との間における、被写体の動き、および相関度の少なくとも一方を参照して前記超解像処理に適さないと判定したとき、前記補間処理部に前記対象フレーム画像を高解像度化させることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記動画用に連続的に撮像されたフレーム画像の画素データを間引いて前記符号化部に供給する間引き処理部をさらに備え、
前記制御部は、前記対象フレーム画像およびその隣接フレーム画像の画素データを間引かないよう、前記間引き処理部を制御することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
撮像素子と、
請求項１から５のいずれかに記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１５１４３０（Ｐ２０１１−１５１４３０Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２００８−１２８９１７（Ｐ２００８−１２８９１７）
【出願日】平成２０年５月１５日（２００８．５．１５）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２０年５月１５日（２００８．５．１５）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]