画像処理装置
【課題】動画として違和感のないノイズを重畳した場合であっても、同等画質であれば高圧縮に、同等圧縮率であれば高画質の動画データを生成可能な画像処理装置を提供する。
【解決手段】動画を形成する第１の画像データと第２の画像データに重畳するノイズパターンを生成するノイズパターン制御部１１７と、生成されたノイズを第１及び第２の画像データに重畳するノイズ重畳処理部１１９と、ノイズ重畳処理部１１９で処理された第１及び第２の画像データの各画像フレーム間の画像データを圧縮したデータを生成する画像圧縮展開部１１５を具備し、ノイズパターン制御部１１７は、第１の画像データと第２の画像データのそれぞれに第１のノイズパターンと、第１のノイズパターンとは異なる第２のノイズパターンを生成し、ノイズ重畳処理部１１９は、第１の画像データに第１のノイズパターンを合成し、第２の画像データに第２のノイズパターンを合成する。
【解決手段】動画を形成する第１の画像データと第２の画像データに重畳するノイズパターンを生成するノイズパターン制御部１１７と、生成されたノイズを第１及び第２の画像データに重畳するノイズ重畳処理部１１９と、ノイズ重畳処理部１１９で処理された第１及び第２の画像データの各画像フレーム間の画像データを圧縮したデータを生成する画像圧縮展開部１１５を具備し、ノイズパターン制御部１１７は、第１の画像データと第２の画像データのそれぞれに第１のノイズパターンと、第１のノイズパターンとは異なる第２のノイズパターンを生成し、ノイズ重畳処理部１１９は、第１の画像データに第１のノイズパターンを合成し、第２の画像データに第２のノイズパターンを合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズパターンを重畳した複数の画像データを圧縮可能な画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置で撮影した画像に対し、フィルムのような粒状感（ノイズ感）を再現するためにノイズパターンを重畳する技術が提案されている。特許文献１には、画素単位で乱数を発生させ、周波数フィルタ処理やスケール変更を行って期待する粒状度の粒状を画像に重畳させるようにした画像処理装置が開示されている。
【０００３】
また、特許文献２には、粒状パターンの算出について、均一露光されたカラーフィルタから得られた露光画像から平滑化した画像を減算することで、銀塩写真に近い粒状感を可能にした画像処理装置が開示されている。さらに、特許文献３には、ベイヤ―配列などの単板画像を同時化した画像データに対してノイズパターンを重畳することで、フィルムの粒状感のあるノイズ重畳画像を生成することの可能な画像処理装置が開示されている。
【０００４】
また、デジタルカメラ等の撮像装置では、動画も撮影可能となってきている。動画の圧縮形式としては、ＭＰＥＧやＨ．２６４等があり、圧縮する動画のフレームのみを用いて圧縮するフレーム内圧縮と、複数のフレームの相関を利用して圧縮するフレーム間圧縮がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第５６４１５９６号明細書
【特許文献２】特許第３９１０２６７号公報
【特許文献３】特開２０１０−６２８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
フィルムのような粒状感のある動画ファイルを生成する場合、フレームが変わっても常に同じノイズやノイズパターン等を重畳すると、被写体はフレーム単位で動いているにも関わらず、ノイズは止まって見えるという違和感のある動画になってしまう。このため、フレーム単位や一定時間ごとにノイズパターンを変更する必要がある。
【０００７】
一方で、一般的な動画ではフレーム間の相関がある程度期待できるため、ＭＰＥＧやＨ．２６４等の圧縮形式においてフレーム間圧縮を行っても視覚的に違和感の少ない動画圧縮を行うことが可能である。しかし、フレームごとや時間的に異なるノイズを重畳した画像データを圧縮する場合、フレーム間圧縮しようとしても、ノイズのパターンが異なるため相関が低下し、圧縮率を維持するとノイズパターンがつぶれてしまったり、ノイズの粒状感を維持しようとすると圧縮率が低下してしまう。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、動画として違和感のないノイズを重畳した場合であっても、同等画質であれば高圧縮に、同等圧縮率であれば高画質の動画データを生成できるようにした画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため第１の発明に係わる画像処理装置は、動画を形成する第１の画像データと第２の画像データを生成する画像データ生成部と、上記各画像データに重畳するノイズパターンを生成するノイズパターン生成部と、上記生成されたノイズを上記第１及び第２の画像データに重畳する合成処理部と、上記合成処理部で処理された第１の画像データと第２の画像データの各画像フレーム間の画像データを圧縮したデータを生成する画像圧縮部と、上記圧縮された画像データを記録する記録部と、を具備し、上記ノイズパターン生成部は、第１の画像データと第２の画像データのそれぞれに第１のノイズパターンと、上記第１のノイズパターンとは異なる第２のノイズパターンを生成し、上記合成処理部は、上記第１の画像データに上記第１のノイズパターンを合成し、上記第２の画像データに上記第２のノイズパターンを合成する。
【００１０】
第２の発明に係わる画像処理装置は、上記第１の発明において、上記画像圧縮部における画像圧縮は基準となるブロックサイズの単位で行うものであり、上記ノイズパターンは、上記第１の画像の画像フレーム上の所定位置のブロックに合成されたノイズパターンと同一のノイズを、上記第２の画像の画像フレーム上の対応する位置近傍で、且つ上記第１の画像と第２の画像の相関を調べる領域内の位置に合成する。
【００１１】
第３の発明に係わる画像処理装置は、上記第１の発明において、上記ノイズ生成部は、上記画像フレームよりも大きい領域を有するノイズパターンを生成し、上記第１のノイズの切り出し領域と、第２のノイズの切り出し領域とが異なる領域から切り出して生成する。
【００１２】
第４の発明に係わる画像処理装置は、上記第２または第３の発明において、上記ノイズパターン生成部で生成される第２のノイズパターンは、上記第１の画像データに重畳した上記第１のノイズパターンの一部をコピーしたノイズパターンである。
第５の発明に係わる画像処理装置は、上記第４の発明において、上記ノイズパターン生成部で生成されるノイズパターンは、参照フレーム重畳したノイズパターンにおいて一部のノイズパターンを入替または回転したノイズパターンである。
【００１３】
第６の発明に係わる画像処理装置は、上記第３または第４の発明において、上記ノイズパターン生成部で生成されるノイズパターンの少なくとも一部分は、参照フレームに重畳したノイズパターンの少なくとも一部分を移動させたノイズパターンである。
【００１４】
第７の発明に係わる画像処理装置は、上記第１ないし第６の発明において、上記画像圧縮部は、ＭＰＥＧに準拠したフレーム内圧縮と複数のフレーム間の相関を用いてフレーム間相関を行うものであり、上記ノイズパターンを重畳した画像データを圧縮する場合は、上記合成処理部でノイズパターンを合成しない画像を圧縮する場合に対して、フレーム間圧縮処理したデータを多く、または上記フレーム内圧縮を行うフレーム間隔を短くする。
【発明の効果】
【００１５】
本発明によれば、動画として違和感のないノイズを重畳した場合であっても、同等画質であれば高圧縮に、同等圧縮率であれば高画質の動画データを生成できるようにした画像処理装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態に係わるデジタルカメラの電気系を主とする全体構成を示すブロック図である。
【図２】本発明の第１実施形態に係わるデジタルカメラのメインフローを示すフローチャートである。
【図３】本発明の第１実施形態に係わるデジタルカメラの静止画撮影・画像処理の動作を示すフローチャートである。
【図４】本発明の第１実施形態に係わるデジタルカメラの動画撮影・画像処理の動作を示すフローチャートである。
【図５】本発明の第１実施形態におけるデジタルカメラの画像処理の動作を示すフローチャートである。
【図６】本発明の第１実施形態におけるデジタルカメラのノイズ生成の動作を示すフローチャートである。
【図７】本発明の第１実施形態におけるデジタルカメラにおいて、ノイズパターンの変更方法を説明する図である。
【図８】本発明の第１実施形態におけるデジタルカメラにおいて、ノイズとフレーム間圧縮の関係を示す図である。
【図９】本発明の第２実施形態におけるデジタルカメラのノイズ生成の動作を示すフローチャートである。
【図１０】本発明の第２実施形態におけるデジタルカメラにおいて、ノイズの重畳の仕方を説明する図である。
【図１１】本発明の第１および第２実施形態におけるデジタルカメラにおいて、フレーム内圧縮とフレーム間圧縮の関係を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面に従って本発明を適用したデジタルカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係わるデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ釦の操作時には静止画の画像データが、また動画釦の操作により動画の画像データが記録媒体に記録される。また、ノイズ付加モードを設定すると、ノイズパターンが被写体画像に重畳され、この重畳処理された画像がライブビュー表示され、また記録媒体に記録される。画像データ記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１８】
図１は、本発明の第１実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。このデジタルカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。
【００１９】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）３００を有する。
【００２０】
撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。
【００２１】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００２２】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００２３】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２４】
撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。
【００２５】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。上述の撮像素子１０３、アナログ処理部１０５、およびＡ／Ｄ変換部１０７は、動画を形成する第１の画像データと第２の画像データを生成する画像データ生成部としての機能を果たす。
【００２６】
バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮展開部１１５、ノイズパターン制御部１１７、ノイズ重畳処理部１１９、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、液晶ディスプレイ（以後、ＬＣＤという）ドライバ１３３が接続されている。
【００２７】
画像処理部１０９は、ホワイトバランス（ＷＢ）補正、同時化処理、ガンマ・色再現処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、オプティカルブラック（ＯＢ）減算処理、エッジ強調処理等を行う。これらの種々の画像処理は、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して施し、画像処理を施した画像データはバス１１０に出力する。
【００２８】
ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。
【００２９】
ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。
【００３０】
ノイズパターン制御部１１７は、画像データに重畳するノイズパターン生成するノイズパターン生成部としての機能を有し、このノイズパターン生成部は、第１の画像と第２の画像のそれぞれに第１のノイズパターンと、第１のノイズパターンとは異なる第２のパターンを生成する。具体的には、ノイズパターン制御部１１７は、第１及び第２のノイズパターンとして、フィルムのような粒状感を表現するためのノイズパターンを生成し、バス１１０に出力する。ノイズパターンは、乱数を発生して、僅かなローパスフィルター処理を行うことにより、粒状感のあるノイズパターンを生成する。また、予め生成したノイズパターンをフラッシュメモリ１２５に記憶しておき、このデータを読み込むようにしてもよい。また、ノイズパターン制御部１１７は、フラッシュメモリ１２５から読み出し、または乱数から生成したノイズパターンをコピーして再利用する。
【００３１】
ノイズ重畳処理部１１９は、ノイズパターン生成部によって生成されたノイズを第１および第２の画像データに重畳する合成処理部としての機能を有し、合成処理部は、第１の画像データに第１のノイズパターンを合成し、第２の画像データに第２のノイズパターンを合成する。具体的には、ノイズパターン制御部１１７によって生成されたノイズパターンを、撮像素子１０３からの被写体像の画像データに重畳する。重畳方法は、様々の方法があるが、例えば、ノイズパターンが０〜２５５の輝度値で表わせる場合、ノイズパターンの平均値を求め、画像データにノイズパターンを加算し、平均値を減算するようにしてもよい。重畳後、コントラスト変換の処理を行ってもよい。
【００３２】
画像圧縮展開部１１５は、上述の合成処理部で処理された第１の画像データと第２の画像データの各画像フレーム間の画像データを圧縮したデータを生成する画像圧縮部としての機能を有する。具体的には、画像圧縮展開部１１５は、ＪＰＥＧデータ圧縮と展開が可能な機能とＭＰＥＧ形式のフレーム間およびフレーム内圧縮と展開を行うことができる。ＭＰＥＧ記録時には、マイクロコンピュータ１２１の指示に従い、フレーム間圧縮をベースに一定間隔や任意間隔でフレーム内圧縮を行うことができる。画像データの記録媒体１３１への記録時に、画像データをＪＰＥＧやＭＰＥＧ圧縮方式等の各種圧縮方式に従って圧縮し、この圧縮した画像データをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧおよびＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らず他の圧縮方式でも勿論かまわない。
【００３３】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００３４】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
【００３５】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００３６】
動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、ＬＣＤ１３５に撮影画像を再生表示する。
【００３７】
メニュー釦は、メニュー画面をＬＣＤ１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、特殊効果モードや、記録モードの設定がある。特殊効果モードとしては、ノイズ付加モード、モノクロノイズ付加モード、ノイズ効果を付加しない等がある。また、記録モードとしては、ＪＰＥＧ記録、ＪＰＥＧ＋ＲＡＷ記録、ＲＡＷ記録があり、また動画ファイルの記録形式として、ＡＶＩ：Ｍｏｔｉｏｎ−ＪＰＥＧのファイル形式（フレーム内圧縮のみ）、ＡＶＣＨＤ：Ｈ．２６４のファイル形式（フレーム内圧縮およびフレーム間圧縮を行う）、ＭＰ４：Ｈ．２６４のファイル形式（フレーム内圧縮およびフレーム間圧縮を行う）等の設定を行うことができる。
【００３８】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいて当該デジタルカメラの制御を行う。また、フラッシュメモリ１２５は、ノイズパターンデータ、カラーマトリックス係数、ホワイトバランスモードに応じたＲゲインとＢゲイン、ガンマテーブル、露出条件決定テーブル等の種々の調整値を記憶している。
【００３９】
ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮展開部１１５等において処理された画像データを一時記憶する。また、ノイズパターン制御部１１７によって生成されたノイズパターンも一時記憶される。
【００４０】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、カメラ本体に脱着可能なメモリであるが、ハードディスク等、カメラ本体に内蔵のメモリであってもよい。
【００４１】
ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮展開部１１５によって伸張された画像データに基づいて画像をＬＣＤ１３５において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。
【００４２】
次に、図２に示すメインのフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図２ないし図６に示すフローチャートはフラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が実行する。
【００４３】
操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。ここで、各種フラグ等の初期化として、記録中フラグの初期化を行う。この記録中フラグは、動画の記録中であるか否かを示すフラグであり、オンの場合には動画を記録中であることを示し、オフの場合には動画の記録を行っていないことを示す。
【００４４】
初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生モードを実行する（Ｓ１９）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字釦を操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。確定された画像が動画の場合には、時系列的に先頭フレームから順次動画再生を行う。確定された画像が静止画の場合には、確定した静止画を表示する。
【００４５】
ステップＳ１９において再生を行うと、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、動画釦が押されたか否かの判定を行う（Ｓ５）。このステップでは、操作部１２３において、動画釦の操作状態を検知し、この検知結果に基づいて判定する。
【００４６】
ステップＳ２５における判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う（Ｓ２１）。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。
【００４７】
ステップＳ２１において記録中フラグの反転を行うと、またはステップＳ５における判定の結果、動画釦が押されていなかった場合には、次に、動画の記録中か否かの判定を行う（Ｓ７）。記録中フラグが動画の記録状態を示しているので、このステップでは、記録中フラグがオンであるか否かの判定を行う。
【００４８】
ステップＳ７における判定の結果、動画記録中でなかった場合には、次に、メニュー釦が操作されたか否かを判定する（Ｓ９）。ここでは、操作部１２３内のメニュー釦の操作状態を検知し、判定する。この判定の結果、メニュー釦が押された場合には、カメラ設定を行う（Ｓ２３）。カメラ設定は、前述したように、メニュー画面で行うことができ、ノイズ付加等の特殊効果モードの設定や、動画ファイルの記録形式等、種々のカメラ設定を行うことができる。
【００４９】
ステップＳ２３においてカメラ設定を行うと、またはステップＳ９における判定の結果、メニュー釦が押されていなかった場合には、次に、ファーストレリーズが押されたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ１１）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに変化した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。
【００５０】
ステップＳ３３における判定の結果、ファーストレリーズが押され、オフからファーストレリーズに遷移した場合には、ＡＥ動作を実行する（Ｓ１３）。ここでは、ＡＥ処理部１１３によって、撮像素子１０３によって取得された画像データに基づいて被写体輝度を測光し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。
【００５１】
ＡＥ動作を行うと、次に、ＡＦ（オートフォーカス）動作を実行する（Ｓ１５）。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を制御する。したがって、動画記録中ではない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。
【００５２】
ステップＳ１１における判定の結果、ファーストレリーズがオフからオンに遷移しなかった場合には、セカンドレリーズが押されたか否か、言い換えると、レリーズ釦が全押しされセカンドレリーズスイッチがオンであるか否かの判定を行う（Ｓ２５）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。
【００５３】
ステップＳ２５における判定の結果、セカンドレリーズが押された場合には、静止画撮影およびその画像処理を行う（Ｓ２７）。ここでは、撮像素子１０３からの画像信号に基づく静止画の画像データについて画像処理および画像圧縮処理を行った後、記録媒体１３１に記録する。この静止画撮影・画像処理の詳しい動作については、図３を用いて後述する。
【００５４】
ステップＳ７における判定の結果、動画記録中であった場合、またはステップＳ２５における判定の結果、セカンドレリーズが押されていない場合には、動画撮影および画像処理を行う（Ｓ２９）。このステップでは、動画記録中であった場合には、撮像素子１０３からの画像信号に基づく動画の画像データについて画像処理および画像圧縮を行った後、記録媒体に１３１に記録する。また、動画記録中ではない場合には、静止画撮影における被写体構図やシャッタタイミングの決定を行うためにライブビュー表示を行う。この動画撮影・画像処理の詳しい動作については、図４を用いて後述する。
【００５５】
ステップＳ１５におけるＡＦ動作を実行すると、またはステップＳ２７における静止画撮影・画像処理を実行すると、またはステップＳ２９における動画撮影・画像処理を実行すると、次に、電源オフか否かの判定を行う（Ｓ１７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。
【００５６】
次に、ステップＳ２７における静止画撮影・画像処理について、図３を用いて説明する。静止画撮影・画像処理のフローに入ると、撮影動作を行う（Ｓ４１）。ここでは、ステップＳ１３において算出された露出制御値に基づいて、メカシャッタ１０１や絞り２０３等の制御を行い、また、撮像素子１０３の光電電流の電荷蓄積制御を行う。撮像素子１０３における露光動作が終了すると、画像信号の読み出しを行う。
【００５７】
ステップＳ４１における撮影動作が終了すると、次に、画像処理を行う（Ｓ４３）。このステップでは撮像素子１０３から読み出された画像信号に対して、画像処理部１０９において、オプティカルブラック補正、ホワイトバランス補正、同時化処理、カラーマトリックス演算等、種々の画像処理を行う。また、ベイヤ配列の下で得られたベイヤーデータをＹＣｂＣｒデータに変換する。なお、ＹＣｂＣｒデータへの変換に代えて、ＲＧＢデータや別の色空間のデータへの変換でも構わない。この画像処理の詳しい動作については、図５を用いて後述する。
【００５８】
ステップＳ４３における画像処理が終わると、次に、ＬＣＤ表示を行う（Ｓ４５）。ここでは、ステップＳ４１において取得し、ステップＳ４３において画像処理を施した画像データに基づいて、レックビュー画像としてＬＣＤ１３５に表示する。
【００５９】
ＬＣＤ表示を行うと、次に、ＪＰＥＧファイル生成を行う（Ｓ４７）。このステップでは、ＹＣｂＣｒデータ形式の静止画の画像データを、静止画の画像データを、画像圧縮展開部１１５によってＪＰＥＧ圧縮を行う。そして、画像サイズや撮影条件等の情報をヘッダ情報として作成し、このヘッダ情報をＪＰＥＧ圧縮された画像データに付加し、ＪＰＥＧファイルを生成する。
【００６０】
続いて、ＪＰＥＧファイルの記録を行う（Ｓ４９）。このステップでは、ステップＳ４７において生成されたＪＰＥＧファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。なお、記録方式としてＲＡＷ記録が設定されている場合には、直前で生成したＪＰＥＧをサムネールとして付加し、ＲＡＷデータをファイルとして記録する。ＲＡＷデータは、撮影により撮像素子から得られたデータであり、例えば、ベイヤ―形式のデータ等である。ＪＰＥＧファイルの記録を行うと、元のフローに戻る。
【００６１】
次に、ステップＳ２９における動画撮影・画像処理について、図４を用いて説明する。この動画撮影・画像処理は、動画記録中の場合には、動画画像データの記録を行い、また動画記録中でない場合には、ライブビュー表示を行うための処理である。
【００６２】
動画撮影・画像処理のフローに入ると、まず、ＡＥ処理を行う（Ｓ５１）。このステップでは、ＡＥ処理部１１３によって被写体輝度を測定し、この被写体輝度に基づいて適正露光となる露出制御値を決定する。露出制御値の決定にあたっては、動画撮影におけるＡＥ処理であることから、メカシャッタ１０１は開放のままで、露光時間の制御は電子シャッタのシャッタ速度を用い、適正露光となるシャッタ速度、絞り値やＩＳＯ感度値を決定する。これらのシャッタ速度、絞り値、ＩＳＯ感度は、被写体輝度に基づいて、フラッシュメモリ１２５に予め記録されている露出条件決定テーブルを参照して決定する。
【００６３】
次に、撮影動作を行う（Ｓ５３）。このステップでは、ステップＳ５１で算出された露出制御値に従って絞り値、電子シャッタ、およびＩＳＯ感度等の制御を行い、また、撮像素子１０３の光電電流の電荷蓄積制御を行う。１フレーム分の露光が終わると、画像信号の読み出しを行う。
【００６４】
撮影を行うと、画像処理を行う（Ｓ５５）。この画像処理は、ステップＳ４３と同様であり、ベイヤーデータを画像処理し、ＹＣｂＣｒデータに変換するが、静止画の場合と同様、ＲＧＢデータや別の色空間のデータへの変換でも構わない。また、特殊効果としてノイズ付加モードが設定されている場合には、ノイズを生成し、生成したノイズを被写体像の画像データに重畳する。詳しくは、図５を用いて説明するが、動画用の画像処理であることから、パラメータ等は適宜動画に相応しい値とする。
【００６５】
画像処理を行うと、次に、ＬＣＤ表示を行う（Ｓ５７）。ここでは、ステップＳ５３で取得され、ステップＳ５５において画像処理された動画の１フレームをＬＣＤ１３５にライブビューとして表示する。
【００６６】
ＬＣＤに表示すると、次に、ステップＳ７と同様に、動画記録中であるか否かの判定を行う（Ｓ５９）。このステップでは、記録中フラグがオンとなっているか否かの判定を行う。この判定の結果、動画記録中であった場合には、次に、動画ファイルの保存を行う（Ｓ６１）。ステップＳ５３で取得され、ステップＳ５５において画像処理された動画の画像データを、予め設定されている動画ファイルの形式に合わせた圧縮を画像圧縮展開部１１５によって行い、圧縮された動画ファイルを記録媒体１３１に記録する。なお、動画記録中となった最初のフレームの場合には、新しいファイルを生成して記録し、２フレーム以後の場合には生成したファイルに追記していく。
【００６７】
ステップＳ６１において動画ファイルへの保存を行うと、またはステップＳ５９における判定の結果、動画記録中でなかった場合には、動画撮影・画像処理のフローを終了し、元のフローに戻る。
【００６８】
次に、ステップＳ４３およびＳ５５における画像処理について、図５を用いて説明する。画像処理のフローに入ると、まず、オプティカルブラック（ＯＢ）演算を行う（Ｓ７１）。このステップでは、画像処理部１０９内のＯＢ演算部によって、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。
【００６９】
ＯＢ演算を行うと、次に、ホワイトバランス（ＷＢ）補正を行う（Ｓ７３）。このステップでは、画像処理部１０９内のＷＢ補正部によって、設定されているホワイトバランスモードに応じて、画像データに対してＷＢ補正を行う。具体的には、ベイヤ配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータからＲゲインおよびＢゲインを算出し、これらを用いて補正する。
【００７０】
続いて、同時化処理を行う（Ｓ７５）。このステップでは、ホワイトバランス補正を行った画像データに対して、画像処理部１０９内の同時化処理部によって、各画素がＲＧＢデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。
【００７１】
同時化処理を行うと、次に、カラーマトリックス演算を行う（Ｓ７７）。このステップでは、画像処理部１０９内のカラーマトリックス演算部によって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。
【００７２】
カラーマトリックス演算を行うと、次に、ガンマ変換を行う（Ｓ７９）。このステップでは、画像処理部１０９内のガンマ処理部によって、フラッシュメモリ１２５に記憶されているガンマテーブルを読み出し、画像データに対してガンマ補正処理を行う。続いて、色補正を行う（Ｓ８１）。このステップでは、画像処理部１０９内の色再現処理部によって、画像データに対して、彩度や色相の補正処理を行う。
【００７３】
色補正を行うと、次に、エッジ強調を行う（Ｓ８３）。このステップでは、ガンマ補正および色再現処理の行われた画像データに対して、画像処理部１０９内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。
【００７４】
次にＮＲ（ノイズ除去）を行う（Ｓ８７）。このステップでは、画像を周波数分解し、周波数に応じてノイズを低減する処理を行う。
【００７５】
ＮＲを行うと、次に、ノイズ付加モードか否かの判定を行う（Ｓ８９）。前述したメニュー画面におけるカメラ設定において、ノイズ付加モードもしくはモノクロノイズ付加モードを設定したか否かを判定する。
【００７６】
ステップＳ８９における判定の結果、ノイズ付加モードもしくはモノクロノイズ付加モードが設定されていた場合には、次に、ノイズ生成を行う（Ｓ９１）。ここでは、ノイズパターン制御部１１７が、フレームごとにノイズパターンを生成し、生成したノイズパターンをＳＤＲＡＭ１２７に一時記憶する。静止画は常に同じノイズパターンでも問題ないが、動画やライブビューではノイズパターンが同じ場合、常に同じ位置に同じ振幅のノイズが見えるため違和感が生ずる。そこで、本実施形態においては、フレームごとにノイズパターンを変えている。このノイズ生成については、図６および図７を用いて後述する。
【００７７】
ノイズ生成を行うと、次に、ノイズ重畳を行う（Ｓ９３）。ここでは、ノイズ重畳処理部１１９が、ＳＤＲＡＭ１２７に一時記憶されているノイズパターンを読み出し、被写体像の画像データに重畳する。このとき、ノイズ付加モードの場合には、ＲＧＢ空間でＲＧＢ別々のノイズパターンを重畳する。また、モノクロノイズ付加モードの場合には、ＹＣｂＣｒ空間でＣｂＣｒを無彩色に固定しながら、Ｙにノイズパターンを重畳する。
【００７８】
ノイズ重畳を行うと、またはステップＳ８９における判定の結果、ノイズ付加モードもしくはモノクロノイズ付加モードでなかった場合には、画像処理のフローを終了し、元のフローに戻る。
【００７９】
次に、ステップＳ９１におけるノイズ生成の動作について、図６を用いて説明する。ノイズ生成のフローに入ると、まず、フレーム内圧縮、または最初のフレームか否かの判定を行う（Ｓ１０１）。ここでは、ノイズを重畳した画像をフレーム内圧縮により圧縮するのか否かと最初のフレームか否かを判定し、フレーム内圧縮であった場合、または最初のフレームであった場合にＹｅｓと判定する。静止画の場合や、Ｍｏｔｉｏｎ−ＪＰＥＧの場合、またはライブビュー表示の場合には、フレーム内圧縮と判断する。ＭＰＥＧの場合には、マイクロコンピュータ１２１の指示によりフレーム内圧縮、またはフレーム間圧縮を行うために、この指示情報に従う。また、最初のフレームか否かは、動画釦が押され、動画が開始された最初のフレームか否かに基づいて判定する。
【００８０】
ステップＳ１０１における判定の結果、フレーム内圧縮または最初のフレームであった場合には、ノイズパターン生成を行う（Ｓ１０７）。ここでは、ノイズパターン制御部１１７によってノイズパターンを生成する。ノイズパターンは、前述したように、乱数を発生させて生成するか、またはフラッシュメモリ１２５に記憶したノイズパターンを読み出す。
【００８１】
一方、ステップＳ１０１における判定の結果、フレーム内圧縮でなかった場合（すなわち、フレーム間圧縮であった場合）、且つ最初のフレームでなかった場合には、次に、前回のノイズパターンを読み込む（Ｓ１０３）。後述するように、ステップＳ１０９において、前回のフレームで合成したノイズパターンは、ＳＤＲＡＭ１２７に記憶するので、このステップにおいては、ＳＤＲＡＭ１２７から記憶された前回のノイズパターンを読み出す。
【００８２】
前回のノイズパターンの読み込みを行うと、次に、ノイズパターンの変更を行う（Ｓ１０５）。ここでは、１フレームの画面を小さく分割したブロック（以下、マクロブロックと称す）単位で、前回、使用したノイズパターンの変更を行う。ノイズパターンの変更方法としては、ランダムに入替（変更方法１）、またはランダム入替＋回転（変更方法２）、またはランダム入替＋動き検出併用（変更方法３）、またはランダム入替＋平均輝度情報の利用（変更方法４）等のいずれかを利用する。
【００８３】
ステップ１０５におけるノイズパターンの変更について、図７を用いて説明する。図７の升目は、マクロブロックを表わす。Ｈ．２６４のフレーム間圧縮では、マクロブロック単位で相関を確認する。本実施形態においては、次の変更方法１〜変更方法４のいずれかの方法によってノイズパターンを変更する。
【００８４】
ランダム入替（変更方法１）
画像内をマクロブロックに分割し、マクロブロック単位で相関をとりながらフレーム間圧縮を行うとする。この場合、例えば、図７に示す例において、（３，３）のマクロブロックが、フレーム間圧縮を行う際の相関をとる範囲が、前後左右２マクロブロックの範囲とする（図７において、（１，１）〜（１，５）、（２，１）〜（２，５）、（３，１）、（３，２）（３，４）、（３，５）、（４，１）〜（４，５）、（５，１）〜（５，５）の範囲（図７の白半透過部分））。このとき、（３，３）のマクロブロックが既に入れ替えられていればそのまま、入れ替えられていなければ（３，３）のブロック以外のマクロブロックを、前後左右の２マクロブロック（図７の白半透過部分）内からランダムに選択し、そのマクロブロックと入れ替える。この入替操作をすべてのマクロブロックについて行う。
【００８５】
ランダム入替＋回転（変更方法２）
フレーム間圧縮のアルゴリズムにおいて、相関のある場所をスキャンする際に、例えば、９０度、１８０度、２７０度回転等の回転した画像についても相関があるパターンとして認識できる場合には、変更方法１のランダム入替に加えて、さらに回転したノイズパターンと置き換えるようにしてもよい。変更方法１と比較すると、さらにノイズパターンの変化を大きくすることができる。
【００８６】
ランダム入替＋動き検出併用（変更方法３）
動画で電子手振れ補正を行うために、前フレームから被写体が移動した方向や動き量を検出可能なカメラがある。このようなカメラにおいては、動き検出により被写体がどのマクロブロックから移動してきたかを判定し、そのマクロブロックとの入れ替えの確率を高くする。例えば、現在（３，３）のマクロブロックにある被写体が、前のフレームでは、（３，２）のマクロブロックにあった場合には、ランダム選択時に（３，２）のマクロブロックが選択される確率を高くする。被写体の動きと、ノイズパターンの動きの方向が一致することから、圧縮時の相関が高いノイズパターンを生成することができる。
【００８７】
ランダム入替＋平均輝度情報併用（変更方法４）
ノイズパターンを重畳するとき、暗部や明部ではノイズを少なくし、中間調部では生成したノイズを重畳するような方法がある。その場合、被写体の輝度が変わると、同じノイズパターンであっても、ノイズが重畳された画像では異なるノイズと判断されることがある。そこで、ランダム入替を行う時の入替先を選択するときに、注目しているマクロブロック（例えば、（３，３）の１フレーム前のノイズ重畳前の画像の平均輝度と、現フレームのノイズ重畳前の平均輝度が近いマクロブロック）が選択される確率を高くする。これにより、現フレームのノイズ重畳後の画像が、前フレームのノイズ重畳後の画像と、圧縮時に相関が高いと判断されやすくなる。
【００８８】
ステップＳ１０５においてノイズパターンの変更を行うと、またはステップＳ１０７において、ノイズパターンを生成すると、次に、ノイズパターンの書き込みを行う（Ｓ１０９）。ここでは、生成したノイズパターンまたは変更したノイズパターンを、ＳＤＲＡＭ１２７に記憶する。ノイズパターンの書き込みを行うと、元の画像処理のフローに戻る。
【００８９】
ノイズ生成のフローから画像処理のフローに戻ると、被写体の画像データにステップＳ９１において生成もしくは変更されたノイズパターンの重畳を行う（図５のＳ９３）。このあと、画像処理（図５参照）のフローから動画撮影・画像処理（図４参照）のフローに戻り、ステップＳ６１において動画ファイルへの保存を行う。このとき、予め設定されている動画ファイルの形式に合わせた圧縮を画像圧縮展開部１１５によって行う。上述のノイズパターンが重畳されている場合には、画像の相関が高くなり、圧縮率も高くすることができる。
【００９０】
本実施形態におけるノイズとフレーム間圧縮の関係について、図８を用いて説明する。時刻Ｔ０において、前フレームの画像５０１を取得し（図４のＳ５３）、重畳用のノイズパターン（前フレーム重畳ノイズ５１１）を生成し（図６のＳ１０７またはＳ１０５）、画像５０１と前フレーム重畳ノイズ５１１を合成し（図５のＳ９３）、記録用の圧縮処理を行い、前フレーム記録画像５２１を生成し、記録媒体１３１に記録する（図４のＳ６１）。
【００９１】
また、時刻Ｔ０に続く時刻Ｔ１において、現フレームの画像５０２を取得する（図４のＳ５３）。続いて、重畳用のノイズパターン（現フレーム重畳ノイズ５１２）を生成するが、この現フレーム重畳ノイズ５１２は、ステップＳ１０５におけるノイズパターン変更において、前フレーム重畳ノイズ５１１を変更することにより生成する。続いて、画像５０２と現フレーム重畳ノイズ５１２を合成し（図５のＳ９３）、記録用の圧縮処理を行い、現フレーム記録画像５２２を生成し、記録媒体１３１に記録する（図４のＳ６１）。
【００９２】
以上説明したように、本発明の第１実施形態においては、画像圧縮部として機能する画像圧縮展開部１１５における画像圧縮は基準となるブロックサイズの単位で行うものであり（図７参照）、ノイズパターンは、第１の画像の画像フレーム上の所定位置のブロックに合成されたノイズパターンと同一のノイズを、第２の画像の画像フレーム上の対応する位置近傍で、且つ第１の画像と第２の画像の相関を調べる領域内の位置に合成するようにしている。このため、ブロック単位でパターン変更を行うことができ、ノイズパターンの変更を容易に行うことができ、フレーム間圧縮の際の相関性を高くすることができ、圧縮しやすくできる。
【００９３】
すなわち、本発明の第１実施形態においては、前回のノイズパターンを変更することにより、前フレームと見た目は異なったノイズとなるが、マクロブロックの相関を確認する範囲内で移動させるだけであることから、フレーム間圧縮時の相関が高くなることが期待できる。その結果、フレームごとに異なるノイズを重畳した動画像を圧縮する場合において、圧縮がしやすい範囲での変更のため、同等の圧縮率であった場合には高画質（すなわち、ノイズがつぶれにくい画質）の動画データを、同じ画質であれば高圧縮率でサイズの小さい動画データを生成することができる。
【００９４】
また、本発明の第１実施形態においては、ノイズパターン生成部として機能するノイズパターン制御部１１７が生成するノイズパターンは、参照フレーム重畳したノイズパターンにおいて一部のノイズパターンを入替または回転したノイズパターンを利用している。すなわち、参照重畳したノイズパターンをマクロブロックに分割し、入替、回転を行っている。このため、簡単に変化に富んだノイズパターンを生成すると共に相関度を高くすることができる。
【００９５】
また、本発明の第１実施形態においては、ノイズパターン生成部として機能するノイズパターン制御部１１７で生成されるノイズパターンの少なくとも一部分は、参照フレームに重畳したノイズパターンの少なくとも一部分を移動させたノイズパターンである。すなわち、参照フレームに重畳したノイズパターンを、マクロブロックに分割し、マクロブロック単位で移動するようにしている。
【００９６】
なお、実施形態においては、升目に均等にマクロブロックを分割していたが、分割の仕方はこれに限らず、矩形以外の形状でもよい。
【００９７】
次に、本発明の第２実施形態について図９ないし図１１を用いて説明する。第１実施形態においては、フレーム内圧縮を行う際に、ノイズパターンをマクロブロックに分割し、相関を確認する範囲内で入れ替えるようにしていた。これに対して、第２実施形態においては、画像サイズよりも大きなノイズパターンを用意し、重畳させる部分を切り出す位置を変更するようにしている。
【００９８】
本実施形態における構成は、第１実施形態における図１に示したブロック図と同様であり、また図２ないし図５に示したフローも同様である。ただし、本実施形態においては、図６に示したノイズ生成のフローを図９に置き換える。そこで、このノイズ生成のフローについて、説明する。なお、このフローも、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が実行する。
【００９９】
本実施形態におけるノイズ生成のフローに入ると、まず、ノイズパターンが生成済みか否かの判定を行う（Ｓ１１１）。ここでは、既にノイズパターンが生成されたか否かを判定する。少なくとも最初のフレームでは、ノイズパターンがないために、Ｎｏと判定される。
【０１００】
ステップＳ１１１における判定の結果、ノイズパターンが生成済みでなかった場合には、次に、ノイズパターンの生成を行う（Ｓ１１５）。ここでは、第１実施形態の場合と同様、ノイズパターン制御部１１７が乱数を利用してノイズパターンを生成するか、またはフラッシュメモリ１２５に記憶してあるノイズパターンを読み出して使用する。
【０１０１】
ただし、本実施形態においては、ノイズ重畳を行う画像サイズよりも大きなサイズのノイズパターンを生成する。すなわち、図１０（ａ）に示すように、ノイズ重畳を行う画像４１０よりもノイズパターン４０１のサイズが大きくなるようにする。生成するノイズパターンのサイズがフラッシュメモリ１２５に記憶してあるサイズよりも大きい場合には、所定サイズのノイズパターンを繰り返し敷き詰めるようにしてもよい。
【０１０２】
ノイズパターンの生成を行うと、次に、ノイズパターンの書き込みを行う（Ｓ１１７）。ここでは、ステップＳ１１５において生成したノイズパターンをＳＤＲＡＭ１２７に記憶する。
【０１０３】
ノイズパターンの書込みを行うと、次に、重畳位置を所定位置（例えば（０，０））とする（Ｓ１０９）。ここでは、ノイズ重畳を行うために使用するノイズ画像の左上の重畳位置４２０を所定の位置（例えば、（０，０））とする。
【０１０４】
ステップＳ１１１における判定の結果、ノイズパターンが生成済みであった場合には、次に、重畳位置の変更を行う（Ｓ１１３）。ここでは、今回の重畳位置４２２が前回の重畳位置４２１以外の位置になるようにランダムに変更する。このとき、少なくともフレーム間相関で圧縮する画像を生成する場合には、圧縮時にマクロブロック単位で相関のある場所を検索する範囲内になるように、ランダムで変更する範囲を制限する。すなわち、図１０（ｂ）において、前回の重畳範囲４１１から今回の重畳範囲４１２となるように、ノイズパターン４０１からノイズパターンを切り出す左上の位置を、重畳位置４２１から重畳位置４２２に変更する。このとき、あるマクロブロックに重畳するノイズパターン（今回フレームノイズパターン４３２）が、そのマクロブロックの相関を検索する範囲内において前回のノイズパターン（前回フレームノイズパターン４３１）が含まれるような範囲に移動を制限する。
【０１０５】
ステップＳ１１３において、重畳位置を変更すると、またはステップＳ１１９において重畳位置を所定位置とすると、元の画像処理のフローに戻る。元のフローに戻ると、第１実施形態の場合と同様、動画ファイルへの保存を行う際に、予め設定されている動画ファイルの形式に合わせた圧縮を画像圧縮展開部１１５によって行う。ノイズパターンとフレーム間圧縮の関係は、図８を用いた説明と同様である。但し、前フレーム重畳ノイズ５１１から現フレーム重畳ノイズ５１２の生成にあたっては、図９を用いて説明したノイズパターンの重畳位置の変更（Ｓ１１３参照）によって行う。
【０１０６】
このように、本発明の第２実施形態においては、図１０に示すように、ノイズ生成部として機能するノイズパターン制御部１１７は、画像フレームよりも大きい領域を有するノイズパターンを生成し（Ｓ１１５参照）、第１のノイズの切り出し領域と、第２のノイズの切り出し領域とが異なる領域から切り出して生成するようにしている（Ｓ１１３参照）。このため、第２のノイズパターンの生成が簡単となる。
【０１０７】
また、本発明の第２実施形態においては、マクロブロックの相関検索範囲内の移動になるように、ノイズパターンを移動させるため、フレーム間圧縮時の圧縮がしやすくなり、同じ圧縮率であれば高画質に、また同じ画質であればより高圧縮することができる。
【０１０８】
なお、本実施形態においては、ノイズパターン４０１から重畳範囲４１０を切り出し、重畳範囲４１０の全体を移動させたが、あるブロック単位に区切り、そのブロック単位で移動させるようにしても、勿論かまわない。
【０１０９】
本発明の第１および第２実施形態においては、フレーム間圧縮を行っているが、フレーム間圧縮を行うと、圧縮の結果生じる残差が蓄積していくため、時間の経過に応じて画質が徐々に劣化してしまう。そこで、この劣化を防止するためには、一定間隔でフレーム内圧縮を行い誤差の蓄積をキャンセルするようにしてもよい。ただし、フレーム内圧縮はフレーム間圧縮に比較すると圧縮率が低く、フレーム内圧縮を多数挿入すると動画全体の圧縮率が低下してしまう。
【０１１０】
一般に通常の動画撮影において高圧縮かつ高画質を達成できるように調整するが、ノイズを意図的に追加したり、意図的にぼかしたりするような特殊効果モードの画像処理においては、通常動画で最適化された設定では、十分な画質や圧縮率を達成できるとは限らない。そこで、図１１に示すように、フレーム内圧縮を挿入するようにすればよい。
【０１１１】
図１１（ａ）は、特殊効果モードとしてラフモノクロームが設定された場合であり、図中、Ｉはフレーム内圧縮を行うフレームを示し、Ｐはフレーム間圧縮を行うフレームを示す。ラフモノクロームは、写真の粒子を粗くし、ハイコントラストでモノクロの画像に変換する画像処理であり、ノイズを追加するため、フレーム間の相関が小さく圧縮による誤差が画質に影響しやすい。従って、通常撮影に対してフレーム内圧縮（Ｉ）の挿入間隔を小さくすることで、予測誤差の蓄積を軽減できるため、画質向上を図ることができる。
【０１１２】
図１１（ｂ）は、特殊効果モードとして、ファンタジックフォーカス、またはジオラマが設定された場合を示す。ファンタジックフォーカスは、ピントを甘くし柔らかいトーンの中で空気感を表現するような画像処理であり、また、ジオラマは画面中央のピントを合わせ、画面の周囲のピントをぼかす画像処理である。これらのモードは、画像をぼかすためフレーム間の相関が高く、そのためフレーム間の予測残差が小さくなる。従って、通常撮影に対してフレーム内圧縮（Ｉ）の挿入間隔を大きくする。フレーム内圧縮の挿入間隔を大きくすることで圧縮効率が高くなるため、画質の向上を実現できる。
【０１１３】
このように、画像圧縮部として機能する画像圧縮展開部１１５は、ＭＰＥＧに準拠したフレーム内圧縮を行う圧縮処理と、複数のフレーム間の相関を用いてフレーム相関を行うものであり、ノイズパターンを重畳した画像データを圧縮する場合は、合成処理部として機能するノイズ重畳処理部１１９でノイズパターンを合成しない画像を圧縮する場合に対して、フレーム間圧縮処理したデータを多く、またはフレーム内圧縮を行うフレーム間隔を短くするようにしている。このため、十分な画質と圧縮率を維持することが可能となる。
【０１１４】
以上説明したように、本発明の各実施形態においては、ノイズパターン生成部として機能するノイズパターン制御部１１７は、第１の画像データと第２の画像データのそれぞれに第１のノイズパターンと、第１のノイズパターンとは異なる第２のノイズパターンを生成し（図６のＳ１０５、図９のＳ１１３参照）、また、合成処理部として機能するノイズ重畳処理部１１９は、第１の画像データに第１のノイズパターンを合成し、第２の画像データに第２のノイズパターンを合成するようにしている（図５のＳ９３参照）。このため、動画として違和感のないノイズを重畳した場合であっても、同等画質であれば高圧縮に、同等圧縮率であれば高画質の動画データを生成できる。
【０１１５】
また、本発明の各実施形態においては、第２のノイズパターンは、第１のノイズパターンを元に生成している。また、画像データをフレーム間圧縮するときに相関性を探索する範囲内に前回重畳したノイズパターンが存在するようにしている。このため、前回重畳したノイズパターンが存在する可能性が高く、フレーム間圧縮の際の相関性を高くすることができ、圧縮しやすくなる。
【０１１６】
また、本発明の各実施形態においては、ノイズ生成部として機能するノイズパターン制御部１１７は、第１の画像データに重畳した第１のノイズパターンの一部をコピーすることにより第２のノイズパターンを生成するようにしている。すなわち、第１実施形態においては、マクロブロック単位で第１のノイズパターンの一部をコピーして第２のノイズパターンを生成することによりノイズパターンの変更を行っている。また、第２実施形態においては、被写体の画像より大きな第１のノイズパターンから一部を切り出し、コピーした第２のノイズパターンを生成している。このように、ノイズパターンの一部をコピーすることによりノイズパターンを生成するために、簡単にノイズパターンを生成できると共に、相関性を高くすることができる。
【０１１７】
なお、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、ノイズパターンを画像データに重畳させることが可能な機器であれば、本発明を適用することができる。また、後方参照する場合には、参照するフレームに重畳したノイズに対し、同様にノイズを生成すればよい。また、ＲＡＷデータがベイヤ配列以外の撮像素子、例えば、同じ開口部に対して深さ方向に色感度を有する他の方式の撮像素子でもよいし、デジタル出力が可能な撮像素子でもよい。
【０１１８】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１９】
１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮展開部、１１７・・・ノイズパターン制御部、１１９・・・ノイズ重畳処理部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・ＬＣＤドライバ、１３５・・・ＬＣＤ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３００・・・Ｉ／Ｆ、４０１・・・ノイズパターン、４１０・・・重畳範囲、４１１・・・前回重畳範囲、４１２・・・今回重畳範囲、４２０・・・重畳位置、４２１・・・前回重畳位置、４２２・・・今回重畳位置、４３０・・・マクロブロック検索範囲、４３１・・・前回フレームノイズパターン、４３２・・・今回フレームノイズパターン
【技術分野】
【０００１】
本発明は、ノイズパターンを重畳した複数の画像データを圧縮可能な画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置で撮影した画像に対し、フィルムのような粒状感（ノイズ感）を再現するためにノイズパターンを重畳する技術が提案されている。特許文献１には、画素単位で乱数を発生させ、周波数フィルタ処理やスケール変更を行って期待する粒状度の粒状を画像に重畳させるようにした画像処理装置が開示されている。
【０００３】
また、特許文献２には、粒状パターンの算出について、均一露光されたカラーフィルタから得られた露光画像から平滑化した画像を減算することで、銀塩写真に近い粒状感を可能にした画像処理装置が開示されている。さらに、特許文献３には、ベイヤ―配列などの単板画像を同時化した画像データに対してノイズパターンを重畳することで、フィルムの粒状感のあるノイズ重畳画像を生成することの可能な画像処理装置が開示されている。
【０００４】
また、デジタルカメラ等の撮像装置では、動画も撮影可能となってきている。動画の圧縮形式としては、ＭＰＥＧやＨ．２６４等があり、圧縮する動画のフレームのみを用いて圧縮するフレーム内圧縮と、複数のフレームの相関を利用して圧縮するフレーム間圧縮がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第５６４１５９６号明細書
【特許文献２】特許第３９１０２６７号公報
【特許文献３】特開２０１０−６２８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
フィルムのような粒状感のある動画ファイルを生成する場合、フレームが変わっても常に同じノイズやノイズパターン等を重畳すると、被写体はフレーム単位で動いているにも関わらず、ノイズは止まって見えるという違和感のある動画になってしまう。このため、フレーム単位や一定時間ごとにノイズパターンを変更する必要がある。
【０００７】
一方で、一般的な動画ではフレーム間の相関がある程度期待できるため、ＭＰＥＧやＨ．２６４等の圧縮形式においてフレーム間圧縮を行っても視覚的に違和感の少ない動画圧縮を行うことが可能である。しかし、フレームごとや時間的に異なるノイズを重畳した画像データを圧縮する場合、フレーム間圧縮しようとしても、ノイズのパターンが異なるため相関が低下し、圧縮率を維持するとノイズパターンがつぶれてしまったり、ノイズの粒状感を維持しようとすると圧縮率が低下してしまう。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、動画として違和感のないノイズを重畳した場合であっても、同等画質であれば高圧縮に、同等圧縮率であれば高画質の動画データを生成できるようにした画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため第１の発明に係わる画像処理装置は、動画を形成する第１の画像データと第２の画像データを生成する画像データ生成部と、上記各画像データに重畳するノイズパターンを生成するノイズパターン生成部と、上記生成されたノイズを上記第１及び第２の画像データに重畳する合成処理部と、上記合成処理部で処理された第１の画像データと第２の画像データの各画像フレーム間の画像データを圧縮したデータを生成する画像圧縮部と、上記圧縮された画像データを記録する記録部と、を具備し、上記ノイズパターン生成部は、第１の画像データと第２の画像データのそれぞれに第１のノイズパターンと、上記第１のノイズパターンとは異なる第２のノイズパターンを生成し、上記合成処理部は、上記第１の画像データに上記第１のノイズパターンを合成し、上記第２の画像データに上記第２のノイズパターンを合成する。
【００１０】
第２の発明に係わる画像処理装置は、上記第１の発明において、上記画像圧縮部における画像圧縮は基準となるブロックサイズの単位で行うものであり、上記ノイズパターンは、上記第１の画像の画像フレーム上の所定位置のブロックに合成されたノイズパターンと同一のノイズを、上記第２の画像の画像フレーム上の対応する位置近傍で、且つ上記第１の画像と第２の画像の相関を調べる領域内の位置に合成する。
【００１１】
第３の発明に係わる画像処理装置は、上記第１の発明において、上記ノイズ生成部は、上記画像フレームよりも大きい領域を有するノイズパターンを生成し、上記第１のノイズの切り出し領域と、第２のノイズの切り出し領域とが異なる領域から切り出して生成する。
【００１２】
第４の発明に係わる画像処理装置は、上記第２または第３の発明において、上記ノイズパターン生成部で生成される第２のノイズパターンは、上記第１の画像データに重畳した上記第１のノイズパターンの一部をコピーしたノイズパターンである。
第５の発明に係わる画像処理装置は、上記第４の発明において、上記ノイズパターン生成部で生成されるノイズパターンは、参照フレーム重畳したノイズパターンにおいて一部のノイズパターンを入替または回転したノイズパターンである。
【００１３】
第６の発明に係わる画像処理装置は、上記第３または第４の発明において、上記ノイズパターン生成部で生成されるノイズパターンの少なくとも一部分は、参照フレームに重畳したノイズパターンの少なくとも一部分を移動させたノイズパターンである。
【００１４】
第７の発明に係わる画像処理装置は、上記第１ないし第６の発明において、上記画像圧縮部は、ＭＰＥＧに準拠したフレーム内圧縮と複数のフレーム間の相関を用いてフレーム間相関を行うものであり、上記ノイズパターンを重畳した画像データを圧縮する場合は、上記合成処理部でノイズパターンを合成しない画像を圧縮する場合に対して、フレーム間圧縮処理したデータを多く、または上記フレーム内圧縮を行うフレーム間隔を短くする。
【発明の効果】
【００１５】
本発明によれば、動画として違和感のないノイズを重畳した場合であっても、同等画質であれば高圧縮に、同等圧縮率であれば高画質の動画データを生成できるようにした画像処理装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態に係わるデジタルカメラの電気系を主とする全体構成を示すブロック図である。
【図２】本発明の第１実施形態に係わるデジタルカメラのメインフローを示すフローチャートである。
【図３】本発明の第１実施形態に係わるデジタルカメラの静止画撮影・画像処理の動作を示すフローチャートである。
【図４】本発明の第１実施形態に係わるデジタルカメラの動画撮影・画像処理の動作を示すフローチャートである。
【図５】本発明の第１実施形態におけるデジタルカメラの画像処理の動作を示すフローチャートである。
【図６】本発明の第１実施形態におけるデジタルカメラのノイズ生成の動作を示すフローチャートである。
【図７】本発明の第１実施形態におけるデジタルカメラにおいて、ノイズパターンの変更方法を説明する図である。
【図８】本発明の第１実施形態におけるデジタルカメラにおいて、ノイズとフレーム間圧縮の関係を示す図である。
【図９】本発明の第２実施形態におけるデジタルカメラのノイズ生成の動作を示すフローチャートである。
【図１０】本発明の第２実施形態におけるデジタルカメラにおいて、ノイズの重畳の仕方を説明する図である。
【図１１】本発明の第１および第２実施形態におけるデジタルカメラにおいて、フレーム内圧縮とフレーム間圧縮の関係を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面に従って本発明を適用したデジタルカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係わるデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ釦の操作時には静止画の画像データが、また動画釦の操作により動画の画像データが記録媒体に記録される。また、ノイズ付加モードを設定すると、ノイズパターンが被写体画像に重畳され、この重畳処理された画像がライブビュー表示され、また記録媒体に記録される。画像データ記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１８】
図１は、本発明の第１実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。このデジタルカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。
【００１９】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）３００を有する。
【００２０】
撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。
【００２１】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００２２】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００２３】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２４】
撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。
【００２５】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。上述の撮像素子１０３、アナログ処理部１０５、およびＡ／Ｄ変換部１０７は、動画を形成する第１の画像データと第２の画像データを生成する画像データ生成部としての機能を果たす。
【００２６】
バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮展開部１１５、ノイズパターン制御部１１７、ノイズ重畳処理部１１９、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、液晶ディスプレイ（以後、ＬＣＤという）ドライバ１３３が接続されている。
【００２７】
画像処理部１０９は、ホワイトバランス（ＷＢ）補正、同時化処理、ガンマ・色再現処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、オプティカルブラック（ＯＢ）減算処理、エッジ強調処理等を行う。これらの種々の画像処理は、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して施し、画像処理を施した画像データはバス１１０に出力する。
【００２８】
ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。
【００２９】
ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。
【００３０】
ノイズパターン制御部１１７は、画像データに重畳するノイズパターン生成するノイズパターン生成部としての機能を有し、このノイズパターン生成部は、第１の画像と第２の画像のそれぞれに第１のノイズパターンと、第１のノイズパターンとは異なる第２のパターンを生成する。具体的には、ノイズパターン制御部１１７は、第１及び第２のノイズパターンとして、フィルムのような粒状感を表現するためのノイズパターンを生成し、バス１１０に出力する。ノイズパターンは、乱数を発生して、僅かなローパスフィルター処理を行うことにより、粒状感のあるノイズパターンを生成する。また、予め生成したノイズパターンをフラッシュメモリ１２５に記憶しておき、このデータを読み込むようにしてもよい。また、ノイズパターン制御部１１７は、フラッシュメモリ１２５から読み出し、または乱数から生成したノイズパターンをコピーして再利用する。
【００３１】
ノイズ重畳処理部１１９は、ノイズパターン生成部によって生成されたノイズを第１および第２の画像データに重畳する合成処理部としての機能を有し、合成処理部は、第１の画像データに第１のノイズパターンを合成し、第２の画像データに第２のノイズパターンを合成する。具体的には、ノイズパターン制御部１１７によって生成されたノイズパターンを、撮像素子１０３からの被写体像の画像データに重畳する。重畳方法は、様々の方法があるが、例えば、ノイズパターンが０〜２５５の輝度値で表わせる場合、ノイズパターンの平均値を求め、画像データにノイズパターンを加算し、平均値を減算するようにしてもよい。重畳後、コントラスト変換の処理を行ってもよい。
【００３２】
画像圧縮展開部１１５は、上述の合成処理部で処理された第１の画像データと第２の画像データの各画像フレーム間の画像データを圧縮したデータを生成する画像圧縮部としての機能を有する。具体的には、画像圧縮展開部１１５は、ＪＰＥＧデータ圧縮と展開が可能な機能とＭＰＥＧ形式のフレーム間およびフレーム内圧縮と展開を行うことができる。ＭＰＥＧ記録時には、マイクロコンピュータ１２１の指示に従い、フレーム間圧縮をベースに一定間隔や任意間隔でフレーム内圧縮を行うことができる。画像データの記録媒体１３１への記録時に、画像データをＪＰＥＧやＭＰＥＧ圧縮方式等の各種圧縮方式に従って圧縮し、この圧縮した画像データをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧおよびＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らず他の圧縮方式でも勿論かまわない。
【００３３】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００３４】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
【００３５】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００３６】
動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、ＬＣＤ１３５に撮影画像を再生表示する。
【００３７】
メニュー釦は、メニュー画面をＬＣＤ１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、特殊効果モードや、記録モードの設定がある。特殊効果モードとしては、ノイズ付加モード、モノクロノイズ付加モード、ノイズ効果を付加しない等がある。また、記録モードとしては、ＪＰＥＧ記録、ＪＰＥＧ＋ＲＡＷ記録、ＲＡＷ記録があり、また動画ファイルの記録形式として、ＡＶＩ：Ｍｏｔｉｏｎ−ＪＰＥＧのファイル形式（フレーム内圧縮のみ）、ＡＶＣＨＤ：Ｈ．２６４のファイル形式（フレーム内圧縮およびフレーム間圧縮を行う）、ＭＰ４：Ｈ．２６４のファイル形式（フレーム内圧縮およびフレーム間圧縮を行う）等の設定を行うことができる。
【００３８】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいて当該デジタルカメラの制御を行う。また、フラッシュメモリ１２５は、ノイズパターンデータ、カラーマトリックス係数、ホワイトバランスモードに応じたＲゲインとＢゲイン、ガンマテーブル、露出条件決定テーブル等の種々の調整値を記憶している。
【００３９】
ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮展開部１１５等において処理された画像データを一時記憶する。また、ノイズパターン制御部１１７によって生成されたノイズパターンも一時記憶される。
【００４０】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、カメラ本体に脱着可能なメモリであるが、ハードディスク等、カメラ本体に内蔵のメモリであってもよい。
【００４１】
ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮展開部１１５によって伸張された画像データに基づいて画像をＬＣＤ１３５において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。
【００４２】
次に、図２に示すメインのフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図２ないし図６に示すフローチャートはフラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が実行する。
【００４３】
操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。ここで、各種フラグ等の初期化として、記録中フラグの初期化を行う。この記録中フラグは、動画の記録中であるか否かを示すフラグであり、オンの場合には動画を記録中であることを示し、オフの場合には動画の記録を行っていないことを示す。
【００４４】
初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生モードを実行する（Ｓ１９）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字釦を操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。確定された画像が動画の場合には、時系列的に先頭フレームから順次動画再生を行う。確定された画像が静止画の場合には、確定した静止画を表示する。
【００４５】
ステップＳ１９において再生を行うと、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、動画釦が押されたか否かの判定を行う（Ｓ５）。このステップでは、操作部１２３において、動画釦の操作状態を検知し、この検知結果に基づいて判定する。
【００４６】
ステップＳ２５における判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う（Ｓ２１）。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。
【００４７】
ステップＳ２１において記録中フラグの反転を行うと、またはステップＳ５における判定の結果、動画釦が押されていなかった場合には、次に、動画の記録中か否かの判定を行う（Ｓ７）。記録中フラグが動画の記録状態を示しているので、このステップでは、記録中フラグがオンであるか否かの判定を行う。
【００４８】
ステップＳ７における判定の結果、動画記録中でなかった場合には、次に、メニュー釦が操作されたか否かを判定する（Ｓ９）。ここでは、操作部１２３内のメニュー釦の操作状態を検知し、判定する。この判定の結果、メニュー釦が押された場合には、カメラ設定を行う（Ｓ２３）。カメラ設定は、前述したように、メニュー画面で行うことができ、ノイズ付加等の特殊効果モードの設定や、動画ファイルの記録形式等、種々のカメラ設定を行うことができる。
【００４９】
ステップＳ２３においてカメラ設定を行うと、またはステップＳ９における判定の結果、メニュー釦が押されていなかった場合には、次に、ファーストレリーズが押されたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ１１）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに変化した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。
【００５０】
ステップＳ３３における判定の結果、ファーストレリーズが押され、オフからファーストレリーズに遷移した場合には、ＡＥ動作を実行する（Ｓ１３）。ここでは、ＡＥ処理部１１３によって、撮像素子１０３によって取得された画像データに基づいて被写体輝度を測光し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。
【００５１】
ＡＥ動作を行うと、次に、ＡＦ（オートフォーカス）動作を実行する（Ｓ１５）。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を制御する。したがって、動画記録中ではない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。
【００５２】
ステップＳ１１における判定の結果、ファーストレリーズがオフからオンに遷移しなかった場合には、セカンドレリーズが押されたか否か、言い換えると、レリーズ釦が全押しされセカンドレリーズスイッチがオンであるか否かの判定を行う（Ｓ２５）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。
【００５３】
ステップＳ２５における判定の結果、セカンドレリーズが押された場合には、静止画撮影およびその画像処理を行う（Ｓ２７）。ここでは、撮像素子１０３からの画像信号に基づく静止画の画像データについて画像処理および画像圧縮処理を行った後、記録媒体１３１に記録する。この静止画撮影・画像処理の詳しい動作については、図３を用いて後述する。
【００５４】
ステップＳ７における判定の結果、動画記録中であった場合、またはステップＳ２５における判定の結果、セカンドレリーズが押されていない場合には、動画撮影および画像処理を行う（Ｓ２９）。このステップでは、動画記録中であった場合には、撮像素子１０３からの画像信号に基づく動画の画像データについて画像処理および画像圧縮を行った後、記録媒体に１３１に記録する。また、動画記録中ではない場合には、静止画撮影における被写体構図やシャッタタイミングの決定を行うためにライブビュー表示を行う。この動画撮影・画像処理の詳しい動作については、図４を用いて後述する。
【００５５】
ステップＳ１５におけるＡＦ動作を実行すると、またはステップＳ２７における静止画撮影・画像処理を実行すると、またはステップＳ２９における動画撮影・画像処理を実行すると、次に、電源オフか否かの判定を行う（Ｓ１７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。
【００５６】
次に、ステップＳ２７における静止画撮影・画像処理について、図３を用いて説明する。静止画撮影・画像処理のフローに入ると、撮影動作を行う（Ｓ４１）。ここでは、ステップＳ１３において算出された露出制御値に基づいて、メカシャッタ１０１や絞り２０３等の制御を行い、また、撮像素子１０３の光電電流の電荷蓄積制御を行う。撮像素子１０３における露光動作が終了すると、画像信号の読み出しを行う。
【００５７】
ステップＳ４１における撮影動作が終了すると、次に、画像処理を行う（Ｓ４３）。このステップでは撮像素子１０３から読み出された画像信号に対して、画像処理部１０９において、オプティカルブラック補正、ホワイトバランス補正、同時化処理、カラーマトリックス演算等、種々の画像処理を行う。また、ベイヤ配列の下で得られたベイヤーデータをＹＣｂＣｒデータに変換する。なお、ＹＣｂＣｒデータへの変換に代えて、ＲＧＢデータや別の色空間のデータへの変換でも構わない。この画像処理の詳しい動作については、図５を用いて後述する。
【００５８】
ステップＳ４３における画像処理が終わると、次に、ＬＣＤ表示を行う（Ｓ４５）。ここでは、ステップＳ４１において取得し、ステップＳ４３において画像処理を施した画像データに基づいて、レックビュー画像としてＬＣＤ１３５に表示する。
【００５９】
ＬＣＤ表示を行うと、次に、ＪＰＥＧファイル生成を行う（Ｓ４７）。このステップでは、ＹＣｂＣｒデータ形式の静止画の画像データを、静止画の画像データを、画像圧縮展開部１１５によってＪＰＥＧ圧縮を行う。そして、画像サイズや撮影条件等の情報をヘッダ情報として作成し、このヘッダ情報をＪＰＥＧ圧縮された画像データに付加し、ＪＰＥＧファイルを生成する。
【００６０】
続いて、ＪＰＥＧファイルの記録を行う（Ｓ４９）。このステップでは、ステップＳ４７において生成されたＪＰＥＧファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。なお、記録方式としてＲＡＷ記録が設定されている場合には、直前で生成したＪＰＥＧをサムネールとして付加し、ＲＡＷデータをファイルとして記録する。ＲＡＷデータは、撮影により撮像素子から得られたデータであり、例えば、ベイヤ―形式のデータ等である。ＪＰＥＧファイルの記録を行うと、元のフローに戻る。
【００６１】
次に、ステップＳ２９における動画撮影・画像処理について、図４を用いて説明する。この動画撮影・画像処理は、動画記録中の場合には、動画画像データの記録を行い、また動画記録中でない場合には、ライブビュー表示を行うための処理である。
【００６２】
動画撮影・画像処理のフローに入ると、まず、ＡＥ処理を行う（Ｓ５１）。このステップでは、ＡＥ処理部１１３によって被写体輝度を測定し、この被写体輝度に基づいて適正露光となる露出制御値を決定する。露出制御値の決定にあたっては、動画撮影におけるＡＥ処理であることから、メカシャッタ１０１は開放のままで、露光時間の制御は電子シャッタのシャッタ速度を用い、適正露光となるシャッタ速度、絞り値やＩＳＯ感度値を決定する。これらのシャッタ速度、絞り値、ＩＳＯ感度は、被写体輝度に基づいて、フラッシュメモリ１２５に予め記録されている露出条件決定テーブルを参照して決定する。
【００６３】
次に、撮影動作を行う（Ｓ５３）。このステップでは、ステップＳ５１で算出された露出制御値に従って絞り値、電子シャッタ、およびＩＳＯ感度等の制御を行い、また、撮像素子１０３の光電電流の電荷蓄積制御を行う。１フレーム分の露光が終わると、画像信号の読み出しを行う。
【００６４】
撮影を行うと、画像処理を行う（Ｓ５５）。この画像処理は、ステップＳ４３と同様であり、ベイヤーデータを画像処理し、ＹＣｂＣｒデータに変換するが、静止画の場合と同様、ＲＧＢデータや別の色空間のデータへの変換でも構わない。また、特殊効果としてノイズ付加モードが設定されている場合には、ノイズを生成し、生成したノイズを被写体像の画像データに重畳する。詳しくは、図５を用いて説明するが、動画用の画像処理であることから、パラメータ等は適宜動画に相応しい値とする。
【００６５】
画像処理を行うと、次に、ＬＣＤ表示を行う（Ｓ５７）。ここでは、ステップＳ５３で取得され、ステップＳ５５において画像処理された動画の１フレームをＬＣＤ１３５にライブビューとして表示する。
【００６６】
ＬＣＤに表示すると、次に、ステップＳ７と同様に、動画記録中であるか否かの判定を行う（Ｓ５９）。このステップでは、記録中フラグがオンとなっているか否かの判定を行う。この判定の結果、動画記録中であった場合には、次に、動画ファイルの保存を行う（Ｓ６１）。ステップＳ５３で取得され、ステップＳ５５において画像処理された動画の画像データを、予め設定されている動画ファイルの形式に合わせた圧縮を画像圧縮展開部１１５によって行い、圧縮された動画ファイルを記録媒体１３１に記録する。なお、動画記録中となった最初のフレームの場合には、新しいファイルを生成して記録し、２フレーム以後の場合には生成したファイルに追記していく。
【００６７】
ステップＳ６１において動画ファイルへの保存を行うと、またはステップＳ５９における判定の結果、動画記録中でなかった場合には、動画撮影・画像処理のフローを終了し、元のフローに戻る。
【００６８】
次に、ステップＳ４３およびＳ５５における画像処理について、図５を用いて説明する。画像処理のフローに入ると、まず、オプティカルブラック（ＯＢ）演算を行う（Ｓ７１）。このステップでは、画像処理部１０９内のＯＢ演算部によって、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。
【００６９】
ＯＢ演算を行うと、次に、ホワイトバランス（ＷＢ）補正を行う（Ｓ７３）。このステップでは、画像処理部１０９内のＷＢ補正部によって、設定されているホワイトバランスモードに応じて、画像データに対してＷＢ補正を行う。具体的には、ベイヤ配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータからＲゲインおよびＢゲインを算出し、これらを用いて補正する。
【００７０】
続いて、同時化処理を行う（Ｓ７５）。このステップでは、ホワイトバランス補正を行った画像データに対して、画像処理部１０９内の同時化処理部によって、各画素がＲＧＢデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。
【００７１】
同時化処理を行うと、次に、カラーマトリックス演算を行う（Ｓ７７）。このステップでは、画像処理部１０９内のカラーマトリックス演算部によって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。
【００７２】
カラーマトリックス演算を行うと、次に、ガンマ変換を行う（Ｓ７９）。このステップでは、画像処理部１０９内のガンマ処理部によって、フラッシュメモリ１２５に記憶されているガンマテーブルを読み出し、画像データに対してガンマ補正処理を行う。続いて、色補正を行う（Ｓ８１）。このステップでは、画像処理部１０９内の色再現処理部によって、画像データに対して、彩度や色相の補正処理を行う。
【００７３】
色補正を行うと、次に、エッジ強調を行う（Ｓ８３）。このステップでは、ガンマ補正および色再現処理の行われた画像データに対して、画像処理部１０９内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。
【００７４】
次にＮＲ（ノイズ除去）を行う（Ｓ８７）。このステップでは、画像を周波数分解し、周波数に応じてノイズを低減する処理を行う。
【００７５】
ＮＲを行うと、次に、ノイズ付加モードか否かの判定を行う（Ｓ８９）。前述したメニュー画面におけるカメラ設定において、ノイズ付加モードもしくはモノクロノイズ付加モードを設定したか否かを判定する。
【００７６】
ステップＳ８９における判定の結果、ノイズ付加モードもしくはモノクロノイズ付加モードが設定されていた場合には、次に、ノイズ生成を行う（Ｓ９１）。ここでは、ノイズパターン制御部１１７が、フレームごとにノイズパターンを生成し、生成したノイズパターンをＳＤＲＡＭ１２７に一時記憶する。静止画は常に同じノイズパターンでも問題ないが、動画やライブビューではノイズパターンが同じ場合、常に同じ位置に同じ振幅のノイズが見えるため違和感が生ずる。そこで、本実施形態においては、フレームごとにノイズパターンを変えている。このノイズ生成については、図６および図７を用いて後述する。
【００７７】
ノイズ生成を行うと、次に、ノイズ重畳を行う（Ｓ９３）。ここでは、ノイズ重畳処理部１１９が、ＳＤＲＡＭ１２７に一時記憶されているノイズパターンを読み出し、被写体像の画像データに重畳する。このとき、ノイズ付加モードの場合には、ＲＧＢ空間でＲＧＢ別々のノイズパターンを重畳する。また、モノクロノイズ付加モードの場合には、ＹＣｂＣｒ空間でＣｂＣｒを無彩色に固定しながら、Ｙにノイズパターンを重畳する。
【００７８】
ノイズ重畳を行うと、またはステップＳ８９における判定の結果、ノイズ付加モードもしくはモノクロノイズ付加モードでなかった場合には、画像処理のフローを終了し、元のフローに戻る。
【００７９】
次に、ステップＳ９１におけるノイズ生成の動作について、図６を用いて説明する。ノイズ生成のフローに入ると、まず、フレーム内圧縮、または最初のフレームか否かの判定を行う（Ｓ１０１）。ここでは、ノイズを重畳した画像をフレーム内圧縮により圧縮するのか否かと最初のフレームか否かを判定し、フレーム内圧縮であった場合、または最初のフレームであった場合にＹｅｓと判定する。静止画の場合や、Ｍｏｔｉｏｎ−ＪＰＥＧの場合、またはライブビュー表示の場合には、フレーム内圧縮と判断する。ＭＰＥＧの場合には、マイクロコンピュータ１２１の指示によりフレーム内圧縮、またはフレーム間圧縮を行うために、この指示情報に従う。また、最初のフレームか否かは、動画釦が押され、動画が開始された最初のフレームか否かに基づいて判定する。
【００８０】
ステップＳ１０１における判定の結果、フレーム内圧縮または最初のフレームであった場合には、ノイズパターン生成を行う（Ｓ１０７）。ここでは、ノイズパターン制御部１１７によってノイズパターンを生成する。ノイズパターンは、前述したように、乱数を発生させて生成するか、またはフラッシュメモリ１２５に記憶したノイズパターンを読み出す。
【００８１】
一方、ステップＳ１０１における判定の結果、フレーム内圧縮でなかった場合（すなわち、フレーム間圧縮であった場合）、且つ最初のフレームでなかった場合には、次に、前回のノイズパターンを読み込む（Ｓ１０３）。後述するように、ステップＳ１０９において、前回のフレームで合成したノイズパターンは、ＳＤＲＡＭ１２７に記憶するので、このステップにおいては、ＳＤＲＡＭ１２７から記憶された前回のノイズパターンを読み出す。
【００８２】
前回のノイズパターンの読み込みを行うと、次に、ノイズパターンの変更を行う（Ｓ１０５）。ここでは、１フレームの画面を小さく分割したブロック（以下、マクロブロックと称す）単位で、前回、使用したノイズパターンの変更を行う。ノイズパターンの変更方法としては、ランダムに入替（変更方法１）、またはランダム入替＋回転（変更方法２）、またはランダム入替＋動き検出併用（変更方法３）、またはランダム入替＋平均輝度情報の利用（変更方法４）等のいずれかを利用する。
【００８３】
ステップ１０５におけるノイズパターンの変更について、図７を用いて説明する。図７の升目は、マクロブロックを表わす。Ｈ．２６４のフレーム間圧縮では、マクロブロック単位で相関を確認する。本実施形態においては、次の変更方法１〜変更方法４のいずれかの方法によってノイズパターンを変更する。
【００８４】
ランダム入替（変更方法１）
画像内をマクロブロックに分割し、マクロブロック単位で相関をとりながらフレーム間圧縮を行うとする。この場合、例えば、図７に示す例において、（３，３）のマクロブロックが、フレーム間圧縮を行う際の相関をとる範囲が、前後左右２マクロブロックの範囲とする（図７において、（１，１）〜（１，５）、（２，１）〜（２，５）、（３，１）、（３，２）（３，４）、（３，５）、（４，１）〜（４，５）、（５，１）〜（５，５）の範囲（図７の白半透過部分））。このとき、（３，３）のマクロブロックが既に入れ替えられていればそのまま、入れ替えられていなければ（３，３）のブロック以外のマクロブロックを、前後左右の２マクロブロック（図７の白半透過部分）内からランダムに選択し、そのマクロブロックと入れ替える。この入替操作をすべてのマクロブロックについて行う。
【００８５】
ランダム入替＋回転（変更方法２）
フレーム間圧縮のアルゴリズムにおいて、相関のある場所をスキャンする際に、例えば、９０度、１８０度、２７０度回転等の回転した画像についても相関があるパターンとして認識できる場合には、変更方法１のランダム入替に加えて、さらに回転したノイズパターンと置き換えるようにしてもよい。変更方法１と比較すると、さらにノイズパターンの変化を大きくすることができる。
【００８６】
ランダム入替＋動き検出併用（変更方法３）
動画で電子手振れ補正を行うために、前フレームから被写体が移動した方向や動き量を検出可能なカメラがある。このようなカメラにおいては、動き検出により被写体がどのマクロブロックから移動してきたかを判定し、そのマクロブロックとの入れ替えの確率を高くする。例えば、現在（３，３）のマクロブロックにある被写体が、前のフレームでは、（３，２）のマクロブロックにあった場合には、ランダム選択時に（３，２）のマクロブロックが選択される確率を高くする。被写体の動きと、ノイズパターンの動きの方向が一致することから、圧縮時の相関が高いノイズパターンを生成することができる。
【００８７】
ランダム入替＋平均輝度情報併用（変更方法４）
ノイズパターンを重畳するとき、暗部や明部ではノイズを少なくし、中間調部では生成したノイズを重畳するような方法がある。その場合、被写体の輝度が変わると、同じノイズパターンであっても、ノイズが重畳された画像では異なるノイズと判断されることがある。そこで、ランダム入替を行う時の入替先を選択するときに、注目しているマクロブロック（例えば、（３，３）の１フレーム前のノイズ重畳前の画像の平均輝度と、現フレームのノイズ重畳前の平均輝度が近いマクロブロック）が選択される確率を高くする。これにより、現フレームのノイズ重畳後の画像が、前フレームのノイズ重畳後の画像と、圧縮時に相関が高いと判断されやすくなる。
【００８８】
ステップＳ１０５においてノイズパターンの変更を行うと、またはステップＳ１０７において、ノイズパターンを生成すると、次に、ノイズパターンの書き込みを行う（Ｓ１０９）。ここでは、生成したノイズパターンまたは変更したノイズパターンを、ＳＤＲＡＭ１２７に記憶する。ノイズパターンの書き込みを行うと、元の画像処理のフローに戻る。
【００８９】
ノイズ生成のフローから画像処理のフローに戻ると、被写体の画像データにステップＳ９１において生成もしくは変更されたノイズパターンの重畳を行う（図５のＳ９３）。このあと、画像処理（図５参照）のフローから動画撮影・画像処理（図４参照）のフローに戻り、ステップＳ６１において動画ファイルへの保存を行う。このとき、予め設定されている動画ファイルの形式に合わせた圧縮を画像圧縮展開部１１５によって行う。上述のノイズパターンが重畳されている場合には、画像の相関が高くなり、圧縮率も高くすることができる。
【００９０】
本実施形態におけるノイズとフレーム間圧縮の関係について、図８を用いて説明する。時刻Ｔ０において、前フレームの画像５０１を取得し（図４のＳ５３）、重畳用のノイズパターン（前フレーム重畳ノイズ５１１）を生成し（図６のＳ１０７またはＳ１０５）、画像５０１と前フレーム重畳ノイズ５１１を合成し（図５のＳ９３）、記録用の圧縮処理を行い、前フレーム記録画像５２１を生成し、記録媒体１３１に記録する（図４のＳ６１）。
【００９１】
また、時刻Ｔ０に続く時刻Ｔ１において、現フレームの画像５０２を取得する（図４のＳ５３）。続いて、重畳用のノイズパターン（現フレーム重畳ノイズ５１２）を生成するが、この現フレーム重畳ノイズ５１２は、ステップＳ１０５におけるノイズパターン変更において、前フレーム重畳ノイズ５１１を変更することにより生成する。続いて、画像５０２と現フレーム重畳ノイズ５１２を合成し（図５のＳ９３）、記録用の圧縮処理を行い、現フレーム記録画像５２２を生成し、記録媒体１３１に記録する（図４のＳ６１）。
【００９２】
以上説明したように、本発明の第１実施形態においては、画像圧縮部として機能する画像圧縮展開部１１５における画像圧縮は基準となるブロックサイズの単位で行うものであり（図７参照）、ノイズパターンは、第１の画像の画像フレーム上の所定位置のブロックに合成されたノイズパターンと同一のノイズを、第２の画像の画像フレーム上の対応する位置近傍で、且つ第１の画像と第２の画像の相関を調べる領域内の位置に合成するようにしている。このため、ブロック単位でパターン変更を行うことができ、ノイズパターンの変更を容易に行うことができ、フレーム間圧縮の際の相関性を高くすることができ、圧縮しやすくできる。
【００９３】
すなわち、本発明の第１実施形態においては、前回のノイズパターンを変更することにより、前フレームと見た目は異なったノイズとなるが、マクロブロックの相関を確認する範囲内で移動させるだけであることから、フレーム間圧縮時の相関が高くなることが期待できる。その結果、フレームごとに異なるノイズを重畳した動画像を圧縮する場合において、圧縮がしやすい範囲での変更のため、同等の圧縮率であった場合には高画質（すなわち、ノイズがつぶれにくい画質）の動画データを、同じ画質であれば高圧縮率でサイズの小さい動画データを生成することができる。
【００９４】
また、本発明の第１実施形態においては、ノイズパターン生成部として機能するノイズパターン制御部１１７が生成するノイズパターンは、参照フレーム重畳したノイズパターンにおいて一部のノイズパターンを入替または回転したノイズパターンを利用している。すなわち、参照重畳したノイズパターンをマクロブロックに分割し、入替、回転を行っている。このため、簡単に変化に富んだノイズパターンを生成すると共に相関度を高くすることができる。
【００９５】
また、本発明の第１実施形態においては、ノイズパターン生成部として機能するノイズパターン制御部１１７で生成されるノイズパターンの少なくとも一部分は、参照フレームに重畳したノイズパターンの少なくとも一部分を移動させたノイズパターンである。すなわち、参照フレームに重畳したノイズパターンを、マクロブロックに分割し、マクロブロック単位で移動するようにしている。
【００９６】
なお、実施形態においては、升目に均等にマクロブロックを分割していたが、分割の仕方はこれに限らず、矩形以外の形状でもよい。
【００９７】
次に、本発明の第２実施形態について図９ないし図１１を用いて説明する。第１実施形態においては、フレーム内圧縮を行う際に、ノイズパターンをマクロブロックに分割し、相関を確認する範囲内で入れ替えるようにしていた。これに対して、第２実施形態においては、画像サイズよりも大きなノイズパターンを用意し、重畳させる部分を切り出す位置を変更するようにしている。
【００９８】
本実施形態における構成は、第１実施形態における図１に示したブロック図と同様であり、また図２ないし図５に示したフローも同様である。ただし、本実施形態においては、図６に示したノイズ生成のフローを図９に置き換える。そこで、このノイズ生成のフローについて、説明する。なお、このフローも、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が実行する。
【００９９】
本実施形態におけるノイズ生成のフローに入ると、まず、ノイズパターンが生成済みか否かの判定を行う（Ｓ１１１）。ここでは、既にノイズパターンが生成されたか否かを判定する。少なくとも最初のフレームでは、ノイズパターンがないために、Ｎｏと判定される。
【０１００】
ステップＳ１１１における判定の結果、ノイズパターンが生成済みでなかった場合には、次に、ノイズパターンの生成を行う（Ｓ１１５）。ここでは、第１実施形態の場合と同様、ノイズパターン制御部１１７が乱数を利用してノイズパターンを生成するか、またはフラッシュメモリ１２５に記憶してあるノイズパターンを読み出して使用する。
【０１０１】
ただし、本実施形態においては、ノイズ重畳を行う画像サイズよりも大きなサイズのノイズパターンを生成する。すなわち、図１０（ａ）に示すように、ノイズ重畳を行う画像４１０よりもノイズパターン４０１のサイズが大きくなるようにする。生成するノイズパターンのサイズがフラッシュメモリ１２５に記憶してあるサイズよりも大きい場合には、所定サイズのノイズパターンを繰り返し敷き詰めるようにしてもよい。
【０１０２】
ノイズパターンの生成を行うと、次に、ノイズパターンの書き込みを行う（Ｓ１１７）。ここでは、ステップＳ１１５において生成したノイズパターンをＳＤＲＡＭ１２７に記憶する。
【０１０３】
ノイズパターンの書込みを行うと、次に、重畳位置を所定位置（例えば（０，０））とする（Ｓ１０９）。ここでは、ノイズ重畳を行うために使用するノイズ画像の左上の重畳位置４２０を所定の位置（例えば、（０，０））とする。
【０１０４】
ステップＳ１１１における判定の結果、ノイズパターンが生成済みであった場合には、次に、重畳位置の変更を行う（Ｓ１１３）。ここでは、今回の重畳位置４２２が前回の重畳位置４２１以外の位置になるようにランダムに変更する。このとき、少なくともフレーム間相関で圧縮する画像を生成する場合には、圧縮時にマクロブロック単位で相関のある場所を検索する範囲内になるように、ランダムで変更する範囲を制限する。すなわち、図１０（ｂ）において、前回の重畳範囲４１１から今回の重畳範囲４１２となるように、ノイズパターン４０１からノイズパターンを切り出す左上の位置を、重畳位置４２１から重畳位置４２２に変更する。このとき、あるマクロブロックに重畳するノイズパターン（今回フレームノイズパターン４３２）が、そのマクロブロックの相関を検索する範囲内において前回のノイズパターン（前回フレームノイズパターン４３１）が含まれるような範囲に移動を制限する。
【０１０５】
ステップＳ１１３において、重畳位置を変更すると、またはステップＳ１１９において重畳位置を所定位置とすると、元の画像処理のフローに戻る。元のフローに戻ると、第１実施形態の場合と同様、動画ファイルへの保存を行う際に、予め設定されている動画ファイルの形式に合わせた圧縮を画像圧縮展開部１１５によって行う。ノイズパターンとフレーム間圧縮の関係は、図８を用いた説明と同様である。但し、前フレーム重畳ノイズ５１１から現フレーム重畳ノイズ５１２の生成にあたっては、図９を用いて説明したノイズパターンの重畳位置の変更（Ｓ１１３参照）によって行う。
【０１０６】
このように、本発明の第２実施形態においては、図１０に示すように、ノイズ生成部として機能するノイズパターン制御部１１７は、画像フレームよりも大きい領域を有するノイズパターンを生成し（Ｓ１１５参照）、第１のノイズの切り出し領域と、第２のノイズの切り出し領域とが異なる領域から切り出して生成するようにしている（Ｓ１１３参照）。このため、第２のノイズパターンの生成が簡単となる。
【０１０７】
また、本発明の第２実施形態においては、マクロブロックの相関検索範囲内の移動になるように、ノイズパターンを移動させるため、フレーム間圧縮時の圧縮がしやすくなり、同じ圧縮率であれば高画質に、また同じ画質であればより高圧縮することができる。
【０１０８】
なお、本実施形態においては、ノイズパターン４０１から重畳範囲４１０を切り出し、重畳範囲４１０の全体を移動させたが、あるブロック単位に区切り、そのブロック単位で移動させるようにしても、勿論かまわない。
【０１０９】
本発明の第１および第２実施形態においては、フレーム間圧縮を行っているが、フレーム間圧縮を行うと、圧縮の結果生じる残差が蓄積していくため、時間の経過に応じて画質が徐々に劣化してしまう。そこで、この劣化を防止するためには、一定間隔でフレーム内圧縮を行い誤差の蓄積をキャンセルするようにしてもよい。ただし、フレーム内圧縮はフレーム間圧縮に比較すると圧縮率が低く、フレーム内圧縮を多数挿入すると動画全体の圧縮率が低下してしまう。
【０１１０】
一般に通常の動画撮影において高圧縮かつ高画質を達成できるように調整するが、ノイズを意図的に追加したり、意図的にぼかしたりするような特殊効果モードの画像処理においては、通常動画で最適化された設定では、十分な画質や圧縮率を達成できるとは限らない。そこで、図１１に示すように、フレーム内圧縮を挿入するようにすればよい。
【０１１１】
図１１（ａ）は、特殊効果モードとしてラフモノクロームが設定された場合であり、図中、Ｉはフレーム内圧縮を行うフレームを示し、Ｐはフレーム間圧縮を行うフレームを示す。ラフモノクロームは、写真の粒子を粗くし、ハイコントラストでモノクロの画像に変換する画像処理であり、ノイズを追加するため、フレーム間の相関が小さく圧縮による誤差が画質に影響しやすい。従って、通常撮影に対してフレーム内圧縮（Ｉ）の挿入間隔を小さくすることで、予測誤差の蓄積を軽減できるため、画質向上を図ることができる。
【０１１２】
図１１（ｂ）は、特殊効果モードとして、ファンタジックフォーカス、またはジオラマが設定された場合を示す。ファンタジックフォーカスは、ピントを甘くし柔らかいトーンの中で空気感を表現するような画像処理であり、また、ジオラマは画面中央のピントを合わせ、画面の周囲のピントをぼかす画像処理である。これらのモードは、画像をぼかすためフレーム間の相関が高く、そのためフレーム間の予測残差が小さくなる。従って、通常撮影に対してフレーム内圧縮（Ｉ）の挿入間隔を大きくする。フレーム内圧縮の挿入間隔を大きくすることで圧縮効率が高くなるため、画質の向上を実現できる。
【０１１３】
このように、画像圧縮部として機能する画像圧縮展開部１１５は、ＭＰＥＧに準拠したフレーム内圧縮を行う圧縮処理と、複数のフレーム間の相関を用いてフレーム相関を行うものであり、ノイズパターンを重畳した画像データを圧縮する場合は、合成処理部として機能するノイズ重畳処理部１１９でノイズパターンを合成しない画像を圧縮する場合に対して、フレーム間圧縮処理したデータを多く、またはフレーム内圧縮を行うフレーム間隔を短くするようにしている。このため、十分な画質と圧縮率を維持することが可能となる。
【０１１４】
以上説明したように、本発明の各実施形態においては、ノイズパターン生成部として機能するノイズパターン制御部１１７は、第１の画像データと第２の画像データのそれぞれに第１のノイズパターンと、第１のノイズパターンとは異なる第２のノイズパターンを生成し（図６のＳ１０５、図９のＳ１１３参照）、また、合成処理部として機能するノイズ重畳処理部１１９は、第１の画像データに第１のノイズパターンを合成し、第２の画像データに第２のノイズパターンを合成するようにしている（図５のＳ９３参照）。このため、動画として違和感のないノイズを重畳した場合であっても、同等画質であれば高圧縮に、同等圧縮率であれば高画質の動画データを生成できる。
【０１１５】
また、本発明の各実施形態においては、第２のノイズパターンは、第１のノイズパターンを元に生成している。また、画像データをフレーム間圧縮するときに相関性を探索する範囲内に前回重畳したノイズパターンが存在するようにしている。このため、前回重畳したノイズパターンが存在する可能性が高く、フレーム間圧縮の際の相関性を高くすることができ、圧縮しやすくなる。
【０１１６】
また、本発明の各実施形態においては、ノイズ生成部として機能するノイズパターン制御部１１７は、第１の画像データに重畳した第１のノイズパターンの一部をコピーすることにより第２のノイズパターンを生成するようにしている。すなわち、第１実施形態においては、マクロブロック単位で第１のノイズパターンの一部をコピーして第２のノイズパターンを生成することによりノイズパターンの変更を行っている。また、第２実施形態においては、被写体の画像より大きな第１のノイズパターンから一部を切り出し、コピーした第２のノイズパターンを生成している。このように、ノイズパターンの一部をコピーすることによりノイズパターンを生成するために、簡単にノイズパターンを生成できると共に、相関性を高くすることができる。
【０１１７】
なお、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、ノイズパターンを画像データに重畳させることが可能な機器であれば、本発明を適用することができる。また、後方参照する場合には、参照するフレームに重畳したノイズに対し、同様にノイズを生成すればよい。また、ＲＡＷデータがベイヤ配列以外の撮像素子、例えば、同じ開口部に対して深さ方向に色感度を有する他の方式の撮像素子でもよいし、デジタル出力が可能な撮像素子でもよい。
【０１１８】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１９】
１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮展開部、１１７・・・ノイズパターン制御部、１１９・・・ノイズ重畳処理部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・ＬＣＤドライバ、１３５・・・ＬＣＤ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３００・・・Ｉ／Ｆ、４０１・・・ノイズパターン、４１０・・・重畳範囲、４１１・・・前回重畳範囲、４１２・・・今回重畳範囲、４２０・・・重畳位置、４２１・・・前回重畳位置、４２２・・・今回重畳位置、４３０・・・マクロブロック検索範囲、４３１・・・前回フレームノイズパターン、４３２・・・今回フレームノイズパターン
【特許請求の範囲】
【請求項１】
動画を形成する第１の画像データと第２の画像データを生成する画像データ生成部と、
上記各画像データに重畳するノイズパターンを生成するノイズパターン生成部と、
上記生成されたノイズを上記第１及び第２の画像データに重畳する合成処理部と、
上記合成処理部で処理された第１の画像データと第２の画像データの各画像フレーム間の画像データを圧縮したデータを生成する画像圧縮部と、
上記圧縮された画像データを記録する記録部と、
を具備し、
上記ノイズパターン生成部は、第１の画像データと第２の画像データのそれぞれに第１のノイズパターンと、上記第１のノイズパターンとは異なる第２のノイズパターンを生成し、
上記合成処理部は、上記第１の画像データに上記第１のノイズパターンを合成し、上記第２の画像データに上記第２のノイズパターンを合成する、
ことを特徴とする画像処理装置。
【請求項２】
上記画像圧縮部における画像圧縮は基準となるブロックサイズの単位で行うものであり、
上記ノイズパターンは、上記第１の画像の画像フレーム上の所定位置のブロックに合成されたノイズパターンと同一のノイズを、上記第２の画像の画像フレーム上の対応する位置近傍で、且つ上記第１の画像と第２の画像の相関を調べる領域内の位置に合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記ノイズ生成部は、上記画像フレームよりも大きい領域を有するノイズパターンを生成し、上記第１のノイズの切り出し領域と、第２のノイズの切り出し領域とが異なる領域から切り出して生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記ノイズパターン生成部で生成される第２のノイズパターンは、上記第１の画像データに重畳した上記第１のノイズパターンの一部をコピーしたノイズパターンであることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
上記ノイズパターン生成部で生成されるノイズパターンは、参照フレーム重畳したノイズパターンにおいて一部のノイズパターンを入替または回転したノイズパターンであることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記ノイズパターン生成部で生成されるノイズパターンの少なくとも一部分は、参照フレームに重畳したノイズパターンの少なくとも一部分を移動させたノイズパターンであることを特徴とする請求項３または４に記載の画像処理装置。
【請求項７】
上記画像圧縮部は、ＭＰＥＧに準拠したフレーム内圧縮と複数のフレーム間の相関を用いてフレーム相関を行うものであり、上記ノイズパターンを重畳した画像データを圧縮する場合は、上記合成処理部でノイズパターンを合成しない画像を圧縮する場合に対して、フレーム間圧縮処理したデータを多く、または上記フレーム内圧縮を行うフレーム間隔を短くすることを特徴とする請求項１ないし６に記載の画像処理装置。
【請求項１】
動画を形成する第１の画像データと第２の画像データを生成する画像データ生成部と、
上記各画像データに重畳するノイズパターンを生成するノイズパターン生成部と、
上記生成されたノイズを上記第１及び第２の画像データに重畳する合成処理部と、
上記合成処理部で処理された第１の画像データと第２の画像データの各画像フレーム間の画像データを圧縮したデータを生成する画像圧縮部と、
上記圧縮された画像データを記録する記録部と、
を具備し、
上記ノイズパターン生成部は、第１の画像データと第２の画像データのそれぞれに第１のノイズパターンと、上記第１のノイズパターンとは異なる第２のノイズパターンを生成し、
上記合成処理部は、上記第１の画像データに上記第１のノイズパターンを合成し、上記第２の画像データに上記第２のノイズパターンを合成する、
ことを特徴とする画像処理装置。
【請求項２】
上記画像圧縮部における画像圧縮は基準となるブロックサイズの単位で行うものであり、
上記ノイズパターンは、上記第１の画像の画像フレーム上の所定位置のブロックに合成されたノイズパターンと同一のノイズを、上記第２の画像の画像フレーム上の対応する位置近傍で、且つ上記第１の画像と第２の画像の相関を調べる領域内の位置に合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記ノイズ生成部は、上記画像フレームよりも大きい領域を有するノイズパターンを生成し、上記第１のノイズの切り出し領域と、第２のノイズの切り出し領域とが異なる領域から切り出して生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記ノイズパターン生成部で生成される第２のノイズパターンは、上記第１の画像データに重畳した上記第１のノイズパターンの一部をコピーしたノイズパターンであることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
上記ノイズパターン生成部で生成されるノイズパターンは、参照フレーム重畳したノイズパターンにおいて一部のノイズパターンを入替または回転したノイズパターンであることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記ノイズパターン生成部で生成されるノイズパターンの少なくとも一部分は、参照フレームに重畳したノイズパターンの少なくとも一部分を移動させたノイズパターンであることを特徴とする請求項３または４に記載の画像処理装置。
【請求項７】
上記画像圧縮部は、ＭＰＥＧに準拠したフレーム内圧縮と複数のフレーム間の相関を用いてフレーム相関を行うものであり、上記ノイズパターンを重畳した画像データを圧縮する場合は、上記合成処理部でノイズパターンを合成しない画像を圧縮する場合に対して、フレーム間圧縮処理したデータを多く、または上記フレーム内圧縮を行うフレーム間隔を短くすることを特徴とする請求項１ないし６に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２０４９０１（Ｐ２０１２−２０４９０１Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６５３４５（Ｐ２０１１−６５３４５）
【出願日】平成２３年３月２４日（２０１１．３．２４）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２４日（２０１１．３．２４）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]