画像処理装置及び画像処理装置の制御方法
【課題】 入力画像に対してグレインノイズとスクラッチ傷をランダムノイズとして付加した画像を生成する。
【解決手段】 ２次元ノイズデータから切り出したグレインノイズを付加する場合に、切り出しを行う都度、前回位置から位置の差分を評価し、差分が小さい場合は切り出し位置を変更する。また複数パターンのノイズデータから切り出したスクラッチ傷を付加する場合に、一定期間連続してスクラッチ傷を付加する条件となった場合に、スクラッチ傷を貼り付ける位置について前回位置からの位置の差分を評価し、差分が大きい場合は付加を無効とする。
【解決手段】 ２次元ノイズデータから切り出したグレインノイズを付加する場合に、切り出しを行う都度、前回位置から位置の差分を評価し、差分が小さい場合は切り出し位置を変更する。また複数パターンのノイズデータから切り出したスクラッチ傷を付加する場合に、一定期間連続してスクラッチ傷を付加する条件となった場合に、スクラッチ傷を貼り付ける位置について前回位置からの位置の差分を評価し、差分が大きい場合は付加を無効とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル画像データに対してフィルム調の効果を与える画像処理装置に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラの画像表現の一つとして、撮影画像に対しフィルム撮影による粒状感の効果を出すために粒状ノイズ（以下、グレインノイズ）をデジタル画像に付加する合成の方法が提案されている。
【０００３】
特許文献１では、グレインノイズの元となる粒状パターンデータをフィルムから算出し、これを画像サイズに応じたランダムな位置で複数配置することで、空間的にランダムなノイズをグレインノイズとして付加している
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−０８５９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
デジタルカメラにおいて動画像に対しグレインノイズを付加する場合、グレインノイズの粒状感が空間的にランダムに配置されていることに加え、時間的にランダムに変化する必要がある。
【０００６】
本発明は、上述の課題に鑑みたものであって、パターンデータから切り出したノイズデータを画像に付加し、フィルム調の効果を与える場合に空間的および時間的にランダムノイズに見える効果を与える画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、入力される複数フレームの画像にフィルム風の粒状効果を与えることが可能な画像処理装置であって、２次元データで構成されるノイズデータを記憶する記憶手段と、前記ノイズデータから所定サイズのノイズデータを切り出す切り出し手段と、前記切り出し手段が切り出す前記ノイズデータ上の切り出し位置を指定する指定手段と、前記指定手段で指定される前記ノイズデータ上での前回の所定サイズのノイズデータの切り出し位置と今回の所定サイズのノイズデータの切り出し位置との距離が所定範囲内であるときに、前記指定手段で指定された今回の切り出し位置を変更する変更手段と、前記変更手段は変更された今回の切り出し位置と前回の切り出し位置の距離が前記所定範囲内とならない位置となるように変更し、前記切り出し手段によって切り出された所定サイズのノイズデータに基づくノイズを前記入力される画像に合成する合成手段を備えることを特徴とする。
【０００８】
また、本発明の画像処理装置は、複数フレームの入力される画像にフィルムのスクラッチ傷風の画像効果を与えることが可能な画像処理装置であって、複数パターンのノイズデータを記憶する記憶手段と、前記複数パターンのノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択手段と、前記今回のフレームの画像上の前記選択手段で選択されたノイズデータを貼り付ける位置を決定する決定手段と、前記決定手段で決定された位置に前記選択手段で選択されたノイズデータを貼り付けて合成する合成手段と、前記合成手段によって前回のフレームの画像にノイズデータが貼り付けられた位置と前記決定手段によって決定された前記今回のフレームの画像にノイズデータを貼り付ける位置との距離が所定範囲より大きい場合に、前記合成手段による前記今回のフレームの画像へのノイズデータの合成を無効にする無効手段を備えることを特徴とする。
【発明の効果】
【０００９】
以上説明したように、本発明によれば、パターンデータから切り出したノイズデータを画像に付加し、フィルム調の効果を与える場合に空間的および時間的にランダムノイズに見える効果を与える画像処理装置を提供することにある。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態である画像処理装置の一例を示すブロック図
【図２】第２の実施形態である画像処理装置の一例を示すブロック図
【図３】第１の実施形態である画像処理装置のノイズデータを示す図
【図４】第１の実施形態である画像処理装置の合成画像の構造を示す図
【図５】第２の実施形態である画像処理装置のノイズデータを示す図
【図６】第２の実施形態である画像処理装置の合成画像の構造を示す図
【図７】第１の実施形態におけるノイズデータの切り出し位置決定のフローチャート
【図８】第１の実施形態におけるノイズデータの切り出し位置を示す図
【図９】第１の実施形態におけるノイズデータの切り出し位置の補正後の位置を示す表
【図１０】第１の実施形態におけるノイズデータの補正位置の違いによる重複度を示す図
【図１１】第２の実施形態におけるノイズデータの貼り付け位置決定のフローチャート
【図１２】第２の実施形態におけるスクラッチ傷の付加の要否を時間変化を示す図
【発明を実施するための形態】
【００１１】
以下、本発明の好適な実施形態について説明する。
【００１２】
＜第１の実施形態＞
本実施形態は、フィルム風のノイズ効果として粒状感を与えるために粒状ノイズであるグレインノイズを画像に付加することが可能な画像処理装置である。
【００１３】
図１は第１の実施形態における画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子１００は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部１０１へ入力される。カメラ信号処理部１０１では光電変換された信号に対し各種の画質処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ１１１で所定の記録フォーマットで符号化され、記録メディア１１２へ記録される。
【００１４】
次にカメラ信号処理部１０１での信号処理について説明する。信号処理部１０１へ入力した信号は、まず画像処理部１０４で輝度成分、色成分、黒成分の各信号成分に対し、各種信号処理が行われる。処理後の信号は撮像画像として第１のフレームメモリ１０８へ格納される。
【００１５】
２次元１０９はグレインノイズとして２次元ノイズデータ３０１を格納しているメモリである。ノイズデータ３０１はメモリ１０９から読み出される。切り出し処理部１０６はメモリデータ３０１から所定の位置と大きさのノイズデータ３０２を切り出す。切り出しされたノイズデータ３０２は第２のフレームメモリ１１０へ格納される。第２のフレームメモリ１１０から読み出されたノイズデータ３０２は、拡大処理部１０７で撮像画像との合成に必要な大きさのノイズデータ４０２にリサイズ処理される。
【００１６】
合成処理部１０５は所定のタイミングで第１のフレームメモリ１０８に格納されている撮像画像４０１と拡大処理部１０７で処理されたノイズデータ４０２を読み出し、合成を行い、合成画像を出力する。合成処理部１０５は撮像画像４０１とノイズデータ４０２の合成比率を変更することが可能である。合成比率を変えることで付加するグレインノイズの強度を変えることができる。グレインノイズの生成方法、付加方法については後に詳述する。
【００１７】
信号発生器１０３は撮像素子１００の駆動タイミングを制御する信号を発生する信号発生器（Ｓｉｇｎａｌ Ｇｅｎｅｒａｔｏｒ）である。発生した信号は撮像素子１００に供給される。
【００１８】
システムコントローラ１０２は、撮像素子１００とカメラ信号処理部１０１で構成されるカメラブロックの制御を行う。撮像素子１００に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部１０４に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。合成処理部１０５に対しては、合成対象となるフレームメモリの指定、合成比率の指定および合成タイミングの指示を行う。切り出し処理部１０６に対しては、グレインノイズを生成するために、メモリ１０９から読み出しを行うタイミングの指示、切り出し位置と大きさの指示、切り出したデータを第２のフレームメモリ１１０へ書き出すタイミングの指示を行う。拡大処理部１０７に対しては、第２のフレームメモリ１１０から読み出しを行うタイミングの指示、リサイズ時の大きさの指示を行う。信号発生器１０３に対しては、撮像素子１００を駆動する駆動タイミングの指示を行う。
【００１９】
ここで、図３、図４を用いて、本実施形態の特徴的な処理である画像データにフィルム風の粒状効果を与えるグレインノイズを付加する際に用いるグレインノイズの生成方法、付加方法について詳述する。特許文献１のように粒状パターンデータを複数配置する方法では、動画像の更新周期、つまりフレームレートに同期してパターンデータの配置を行うには、フレームレートの周期以内で毎回異なる配置を行う高速な処理システムが必要となる。また、複数のグレインノイズパターンから選択してこれを付加する方法では、グレインノイズを格納するメモリ領域が複数必要となる。
【００２０】
そこで、本実施形態では、あらかじめグレインノイズを２次元データとして持っておき、任意の位置で入力される画像のフレーム全体に対応するノイズデータの切り出しを行い、切り出したノイズデータを動画像に合成する。この時、切り出しのタイミングを動画像のフレームレートに同期させ、切り出しの位置を複数フレームで毎回変化させることで、空間的と時間的にランダムなグレインノイズを動画像に合成することが可能となる。
【００２１】
図３は２次元のノイズデータ（グレインノイズデータ３０１）とそこから切り出す切り出しノイズデータ３０２の関係を示した図である。図４は切り出しノイズデータ３０２と撮像画像の合成の概念を示した図である。グレインノイズデータ３０１は、本実施形態では最小粒状単位を１画素として、ガウス分布に従った乱数が画素値として１画素ごとに記録されている画素群である。ここで、乱数はガウス分布に従ったものに限らず、一様乱数や指数乱数など多くの乱数の種類が考えられ、乱数の種類は限定されない。ノイズデータとしての実際のデータの形態は、画像データ、もしくはデータ列などさまざまな形態が考えられ、それらの形態のいずれにも限定されない。また、最小粒状単位についても１画素に限定されないが、当然小さければ小さいほどランダム性があがる。
【００２２】
グレインノイズデータ３０１に対して、処理時刻やカメラの姿勢情報や位置情報などのカメラ内で取得できる動的な値を利用して切り出し開始位置Ｘ，Ｙをランダムに決定する。決定された開始位置から所定サイズのデータを切り出しノイズデータ３０２としてグレインノイズデータ３０１から切り出し、図４のように撮像画像と合成することで、撮像画像にグレインノイズを付加する。
【００２３】
ここで、切り出しの開始位置をランダムに毎回変化させる際、前回の切り出しの位置と今回の切り出しの位置が近い場合や水平あるいは垂直方向にずれているだけの場合は、合成結果として２次元のパターンが移動しているように見えてしまう。
【００２４】
そこで、本実施形態では、前回切り出し位置から今回の切り出し位置への移動量が、所定の範囲内にならないように今回の切り出し位置を設定する。
【００２５】
図７を用い、本実施例におけるシステムコントローラ１０２が切り出し処理部１０６に対し指示するノイズデータ３０１の切り出し制御について説明する。この制御は、撮影画像に対してフィルム風のノイズ効果を付加する撮影モードのときに行われる。あるいは、記録メディア２１２等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。
【００２６】
ステップＳ７０１では、メモリ１０９に格納されているノイズデータから上述したように動的な値を利用して今回どの位置から切り出すかの候補値を指示する。切り出したデータをグレインノイズとして合成するため、毎回ランダムに決定し、前回の切り出し位置とは異なる位置とする。指示する今回の切り出し位置が決定するとステップＳ７０２へ進む。
【００２７】
ステップＳ７０２では、信号発生器１０３に指示する駆動タイミング信号に基づき現在の撮像素子１００のフレームレート情報を取得する。情報を取得するとステップＳ７０３へ進む。
【００２８】
ステップＳ７０３では、今回指示されている切り出し位置と一時メモリ（不図示）に保存されている前回の切り出し位置が、どの程度離れた位置にあるかを判断する判定基準値を算出する。フレームレートに同期して合成するグレインノイズの更新を行うため、フレームレートが小さくなるほど、つまり撮像画像の更新周期が長くなるほど、グレインノイズの更新周期も長くなり、見え続ける。そのため、前回の切り出し位置と今回の切り出し位置が近い位置にあると、合成されたグレインノイズが移動しているように見える。そこで、ステップＳ７０２で取得したフレームレート情報に応じて、今回指示されている切り出し位置と前回の切り出し位置がどの程度近い位置にあるかを判定する基準（所定値）を変更する。例えば、６０ｆｐｓのフレームレート（第１のフレームレート）では前回位置を中心として周辺１０画素（第１の所定値）以内に今回の位置があった場合に、近い位置であると判定する。一方、３０ｆｐｓ（第２のフレームレート）では周辺２０画素（第２の所定値）以内に今回の位置があった場合を所定値以下の近い位置であると判定するように判定基準を決定する。判定基準を決定するとステップＳ７０４へ進む。
【００２９】
ステップＳ７０４では、グレインノイズデータ上の前回のノイズデータの切り出し位置からステップＳ７０１で算出した今回の切り出し位置がどの程度変化したかを示す、切り出し位置間の距離を算出する。算出するとステップＳ７０５へ進む。
【００３０】
ステップＳ７０５では、ステップＳ７０４で算出した前回切り出し位置から今回指示されている切り出し位置への距離とステップＳ７０３で算出した判定基準との大小を比較する。距離が判定基準より大きい、つまり切り出し位置が前回から今回で大きく変化していると判断した場合は、ステップＳ７０７へ進む。一方、距離が判定基準より小さい、つまり切り出し位置が前回から今回で小さく変化していると判断した場合は、ステップＳ７０６へ進む。
【００３１】
ステップＳ７０６では、ステップＳ７０１で算出した今回指示されている切り出し位置の位置情報に対して補正を行う。切り出し位置の位置情報の補正方法については後述する。切り出し位置の位置情報の補正を行うとステップＳ７０７へ進む。
【００３２】
ステップＳ７０７では、ステップＳ７０６で補正した切り出し位置の位置情報を次回の切り出し位置の制御で利用するために、一時メモリに保存し、ステップＳ７０８へ進む。
【００３３】
ステップＳ７０８では、ステップＳ７０６で補正した切り出し位置を切り出し処理部１０６へ指示し、処理を終了する。
【００３４】
次にステップＳ７０６における切り出し位置の補正処理について説明する。図８、図９、図１０は、メモリ１０３に格納されているノイズデータ３０１から切り出し位置の補正を行う場合の補正条件と補正位置を説明する図である。ノイズデータ３０１の幅と高さがそれぞれＷ 画素、Ｈ画素であるとする（Ｗ≧４、Ｈ≧４）。また、ノイズデータの切り出しは画素単位で行い、左上を切り出し位置の原点（０，０）とする。また、切り出す切り出しノイズデータ３０２の大きさを幅（Ｗ／２）画素、高さ（Ｈ／２）画素とする。
【００３５】
例えば、図３に示すように、今回の切り出し位置が（Ｘ，Ｙ）であった場合に、上記大きさの切り出しノイズデータを切り出す切り出し開始位置（Ｘ，Ｙ）は（０≦Ｘ＜Ｗ／２，０≦Ｙ＜Ｙ／２）の範囲の領域を指定し得る（図８）。さらに、この切り出し開始位置の指定し得る領域領域を図８の（ａ）、（ｂ）、（ｃ）および（ｄ）に示す４つの領域、領域１、２、３および４に分ける。領域１は切り出し位置を（０≦Ｘ＜Ｗ／４，０≦Ｙ＜Ｈ／４）に含む領域であり、領域２は切り出し位置を（Ｗ／４≦Ｘ＜Ｗ／２，０≦Ｙ＜Ｈ／４）に含む領域である。さらに、領域３が（０≦Ｘ＜Ｗ／４，Ｈ／４≦Ｙ＜Ｈ／２）、領域４が（Ｗ／４≦Ｘ＜Ｗ／２，Ｈ／４≦Ｙ＜Ｈ／２）の各範囲で切り出し位置を含む領域である。
【００３６】
切り出し位置を補正する場合、前回の切り出し位置で切り出したノイズデータと今回指示されている切り出し位置とで、重複するデータの面積が少なく、さらにその位置が離れている方が合成時のランダム性が向上するため好ましい。そこで、補正制御では今回の切り出し位置が上記領域１〜４のどこにあるかを判断し、その箇所に応じて対角の領域である領域上に切り出し位置を補正する。この時、図９の表に示すように切り出し位置（Ｘ，Ｙ）を補正切り出し位置（Ｘ’，Ｙ’）に補正する。
【００３７】
例えば、今回の切り出し位置が領域１にあった場合、補正後の位置が領域４となるようにすると（図１０ １００３）、領域２、領域３に移動した場合（図１０ １００１、１００２）に比べ、切り出されたノイズデータが重複する面積が少なくなる。その結果、ノイズデータの移動が目立ちにくくなり、グレインノイズの時間的なランダム性が向上する。
【００３８】
以上のように、第１の実施形態では、２次元ノイズデータから、任意の範囲を撮像画像の更新に合わせて毎回ランダムに切り出し、これを撮像画像と合成する。これにより、動画像であっても粒状ノイズが付加された画像を生成することが可能となる。また、ランダムに決めた切り出し位置が前回と所定範囲内の近い位置にあったとしても、その位置を所定範囲外に補正することで、ノイズのランダム性を確保することを可能としている。本実施形態では、特許文献に比べ、すでに読み込まれているデータから所定大きさのデータを切り出すだけでノイズデータの生成が可能であり、生成に要する時間を短縮することが可能である。
【００３９】
さらに、ノイズデータの今回の切り出し位置が前回の切り出し位置と比較して、位置の変化が少なく、近い位置である場合には、今回の切り出し位置を変更することで、切り出したノイズデータが移動して見えることを防ぎ、ノイズのランダム性が向上する。
【００４０】
本実施形態では、グレインノイズデータ３０１（幅Ｗ、高さＨ）に対して切り出しノイズデータの大きさを幅（Ｗ／２）画素、高さ（Ｈ／２）画素とした。しかしグレインノイズデータに対する切り出しノイズデータの大きさとしてはこれに限らず、グレインノイズデータの大きさを超えるものでなければ本実施形態に比べて大きくても小さくてもよい。ただし、切り出しノイズデータの大きさが大きくなるとそれだけランダム性が損なわれやすく、小さいと必要な切り出しノイズデータの大きさに対してグレインノイズデータ３０１を大きく持ちすぎているため、メモリの容量を食ってしまう。そこで本実施形態では、ノイズデータ３０１と切り出しノイズデータの大きさの比を４：１程度にし、さらに開始位置が近くならないよう制御する本実施形態の処理を入れることで、ノイズのランダム性の確保とメモリ容量の節約の両方をより好適に実現している。
【００４１】
また、本実施形態では、切り出し開始位置のとり得る領域を４つに分割したが、分割数、分割面積の割り振りとしてはこれに限定されない。
【００４２】
また、本実施形態では、今回と前回の切り出し位置間の距離が所定値以下であるかどうかを判定し、所定値以下であった場合に、上記のような切り出し開始位置の領域を移動する補正を行った。しかし、補正方法についてはこれに限らず、単に今回と前回の切り出し位置間の距離が所定値より大きくなる距離以上に座標移動をさせるようにしてもよい。すなわち、６０ｆｐｓのフレームレートで所定値が周辺１０画素であった場合、周辺１１画素以上になるように位置（座標）を変更してもよい。また、そもそも初めから今回の開始位置の指定の際に、周辺１０画素以内の座標を候補からはずしてランダムに指定させてもよい。
【００４３】
また、本実施形態では、今回と前回の切り出し位置間の距離が所定値以下であるかどうかを判定し、所定値以下にあった場合に、上記のような切り出し開始位置の領域を移動する補正を行った。しかし、切り出し開始位置の判定方法についてはこれに限らず、今回と前回の切り出し位置の属する領域を判定し（図８の領域１、２、３、４いずれの領域に属しているか）、同じ領域に属していた場合、異なる領域に移動させるように補正してもよい。このとき領域の移動を対角の領域にすると本実施形態のように前回と今回の切り出し領域の重なる領域がより小さくなり好ましい。さらに、本判定方法と今回と前回の切り出し位置間の距離が所定値以下であるか否かを判定する方法とを組み合わせて判定を行うと領域の境界近傍に開始位置があった場合にも有効な判定が可能となる。
【００４４】
＜第２の実施形態＞
本実施形態は、フィルム調の効果としてフィルムに傷がついた効果を与えるために縦線状ノイズであるスクラッチ傷を画像に付加することが可能な画像処理装置である。図５、図６は、本実施形態におけるスクラッチ傷のノイズデータの切り出しと合成について説明する。図５は複数パターンのスクラッチ傷で構成されているノイズデータとそこから切り出すノイズデータの関係を示した図である。スクラッチ傷ノイズデータ５０１は水平方向の１画素を最小単位とし、垂直方向にスクラッチ傷が記憶されており、その強度は乱数で決定されている。また垂直方向は複数画素を最小単位として強度が変化しており、これにより、垂直方向にスクラッチ傷の濃さや太さが変化し、傷の「かすれ」を表現する。乱数はガウス分布をはじめとして様々なものが考えられるが、その種類には依らない。
【００４５】
図６は切り出したスクラッチ傷と撮像画像の合成の概念を示した図である。本実施形態では、図５のようなスクラッチ傷ノイズデータ５０１から切り出しノイズデータ５０２を切り出し、所定の画像サイズにリサイズして貼り付けノイズデータ６０２を生成する。そして前回までの貼り付けノイズデータ６０２の貼り付け位置とその位置での貼り付けの継続時間に応じて今回の貼り付けノイズデータ６０２の貼り付け位置を決定し、貼り付ける。
【００４６】
図２は第２の実施形態としての画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子２００は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部２０１へ入力される。カメラ信号処理部２０１では光電変換された信号に対し各種の画質処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部２１１で所定の記録フォーマットで符号化され、記録メディア２１２へ記録される。
【００４７】
次にカメラ信号処理部２０１での信号処理について説明する。信号処理部２０１へ入力した信号はまず、画質処理部２０４で輝度成分、色成分、黒成分の各信号成分に対し、各種信号処理が行われる。処理後の信号は撮像画像としてフレームメモリ２０９へ格納される。
【００４８】
２１０は複数のパターンから構成されているスクラッチ傷のノイズデータ５０１を格納しているメモリである。ノイズデータ５０１はメモリ２１０から読み出される。切り出し処理部２０６はノイズデータ５０１上の指定された位置と大きさのスクラッチ傷のノイズデータ５０２を切り出す。切り出したノイズデータ５０２は拡大処理部２０７で撮像画像６０１との合成に必要な大きさのノイズデータ６０２にリサイズ処理される。貼り付け処理部２０８は切り出し位置に依らない任意の位置でノイズデータ６０２を合成するための貼り付け位置の指定を行う。
【００４９】
合成処理部２０５は所定のタイミングでフレームメモリ２０９に格納されている撮像画像６０１と貼り付け処理部２０８で処理されたノイズデータ６０２を読み出し、合成を行い、合成画像を出力する。
信号発生器２０３は撮像素子２００の駆動タイミングを制御する信号を発生する信号発生器である。発生した信号は撮像素子２００とシステムコントローラ２０２に供給される。
【００５０】
システムコントローラ２０２は、撮像素子２００とカメラ信号処理部２０１で構成されるカメラブロックの制御を行う。撮像素子２００に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画質処理部２０４に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。合成処理部２０５に対しては、合成対象となるフレームメモリの指定、合成比率の指定および合成タイミングの指示を行う。切り出し処理部２０６に対しては、スクラッチ傷を生成するために、メモリ２１０から読み出しを行うタイミングの指示、切り出し位置と大きさの指示を行う。拡大処理部２０７に対しては、リサイズ時の大きさの指示を行う。貼り付け処理部２０８に対しては、合成時の貼り付け位置の指示を行う。信号発生器２０３に対しては、撮像素子２００を駆動する駆動タイミングの指示を行う。
【００５１】
次に図１１、図１２を用い、本実施例におけるシステムコントローラ２０２が貼り付け処理部２０８に対し指示する貼り付けノイズデータ６０２の貼り付け制御について説明する。この制御は、撮影画像に対してスクラッチ傷が付加されているかのような画像処理を施す撮影モードのときに行われる。あるいは、記録メディア２１２等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。本処理は、垂直同期信号に連動して開始され、同期信号によって一連の処理が繰り返されることになる。
【００５２】
ステップＳ１１０１では、一時メモリ（不図示）に保存されているスクラッチ傷が撮像画像に重畳している時間を計測するカウンタである重畳カウンタ（第１の検出手段）の値が、重畳の目標時間（第１の所定時間）に達しているか否かを判断する。目標時間に達していなければステップＳ１１０８へ進む。一方、達している場合はステップＳ１１０２へ進む。ここで、重畳の目標時間とは、撮影画像に対して同一のスクラッチ傷をどれくらいの時間続けて表示してよいかを決める時間であり、各種条件によって定めてよいし、ユーザが決めてもよい。
【００５３】
ステップＳ１１０２では、目標時間に達した重畳カウンタを初期状態にクリアし、ステップＳ１１０３へ進む。
【００５４】
ステップＳ１１０３では、メモリ２１０に格納されているノイズデータから取り出したスクラッチ傷を今回重畳するか否かの有無を取得する。例えば、スクラッチ傷をランダムに重畳するために乱数発生手段から無作為に得た値を有無情報としてもよい。有無情報を取得するとステップＳ１１０４へ進む。
【００５５】
ステップＳ１１０４では、ステップＳ１１０３で得た有無情報が重畳有りか否かの判定を行う。判定結果は一時メモリに保存される。有無情報は二値で定義されてもよいし、例えば、乱数発生手段から得た値であれば、その値が所定のしきい値より大きければ重畳有り、逆にしきい値以下であれば重畳無しと決定する。時間変化で見えると、ステップＳ１１０４の処理が実行されることで、図１２に示すように所定フレーム毎に重畳有りと重畳無しの期間がランダムに発生する。本実施形態では、１フレーム毎に重畳の有無を決定するものとする。判定の結果、重畳有りと判定した場合は、ステップＳ１１０５へ進む。一方で重畳無しと判定した場合はステップＳ１１２１へ進む。
【００５６】
ステップＳ１１０５では、メモリ２１０に格納されているスクラッチ傷ノイズデータ５０１から、切り出しノイズデータ５０２の切り出し開始位置、切り出しの幅、高さを決定する。これらが変わることで、重畳するスクラッチ傷のパターン（長さ、強度、本数など）が変わる。そのため毎回異なる開始位置から切り出しを行うように、乱数発生手段を用いて決定してもよい。切り出し位置を算出するとステップＳ１１０６へ進む。
【００５７】
ステップＳ１１０６では、ステップＳ１１０５で決定した切り出し位置を切り出し処理部２０６へ指示し、ステップＳ１１０７へ進む。
ステップＳ１１０７では、重畳の目標時間を決定して一時メモリへ保存した後、ステップＳ１１０８へ進む。
ステップＳ１１０８では、重畳カウンタの加算（インクリメント）を行い、ステップＳ１１０９へ進む。
【００５８】
ステップＳ１１０９では、スクラッチ傷の重畳無しの状態から有りの状態と判断されてからの経過時間を計測するために重畳継続カウンタ（第２の検出手段）の加算を行い、ステップＳ１１１０へ進む。
【００５９】
ステップＳ１１１０では、切り出し処理部２０６で切り出されたノイズデータを今回撮像された画像上のどの位置に合成して貼り付けるかの貼り付け位置を決定する。貼り付け位置は合成のタイミングによってランダムな貼り付け位置とする。例えば乱数発生手段を用い、貼り付け位置を取得すると、合成の都度、画面上の異なる位置にスクラッチ傷が重畳され、ランダムノイズに見える。貼り付け位置を取得するとステップＳ１１１１へ進む。
【００６０】
ステップＳ１１１１では、信号発生器２０３に指示する駆動タイミング信号に基づき現在の撮像素子２００のフレームレート情報を取得する。情報を取得するとステップＳ１１１２へ進む。
【００６１】
ステップＳ１１１２では、今回の貼り付け位置と前回の貼り付け位置がどの程度離れた位置にあるかを判断する判定基準値（所定値）を算出する。フレームレートに同期して、合成するスクラッチ傷の更新を行うため、フレームレートが小さくなるほどつまり撮像画像の更新周期が長くなるほど、スクラッチ傷の更新周期も長くなり、見え続ける。前回の貼り付け位置と今回の貼り付け位置の距離が大きいと、合成されたスクラッチ傷が移動しているように見えてしまう。そこで、ステップＳ１１１１で取得したフレームレート情報に応じて、今回と前回の貼り付け位置がどの程度遠い位置にあるかを判定する基準を変更する。例えば、６０ｆｐｓのフレームレート（第１のフレームレート）では前回位置を中心として水平前後１０画素（第１の所定値）より遠い位置に今回の位置があった場合に、所定値より大きい、遠い位置であると判定する。一方、３０ｆｐｓ（第２のフレームレート）では水平前後２０画素（第２の所定値）より遠い位置に今回の位置があった場合を所定値より大きい、遠い位置であると判定するように判定基準を変更する。判定基準を決定するとステップＳ１１１３へ進む。
【００６２】
ステップＳ１１１３では、前回のノイズデータの貼り付け位置からステップＳ１１１０で算出した今回の貼り付け位置がどの程度移動したかの距離を算出する。算出するとステップＳ１１１４へ進む。
【００６３】
ステップＳ１１１４では、ステップＳ１１１３で算出した貼り付け位置間の距離とステップＳ１１１３で算出した判定基準との大小を比較する。距離が判定基準（所定値）より大きい、つまり貼り付け位置が前回から今回で大きく変化していると判断した場合は、ステップＳ１１１６へ進む。一方、距離が判定基準より小さい、つまり貼り付け位置が前回から今回で小さく変化していると判断した場合は、ステップＳ１１１５へ進む。
【００６４】
ステップＳ１１１５では、あらかじめ規定されている重畳継続カウンタ上限値（第２の所定時間）を大きくなるように変更する。変更するとステップＳ１１１７へ進む。
ステップＳ１１１６では、あらかじめ規定されている重畳継続カウンタ上限値を小さくなるように変更する。変更するとステップＳ１１１７へ進む。
ステップＳ１１１７では、重畳継続カウンタ上限値と一時メモリに保存されている重畳継続カウンタの値を比較する。重畳継続カウンタが上限に達した場合はステップＳ１１２２へ進む。一方、上限に達していない場合はステップＳ１１１８へ進む。
ステップＳ１１１８では、決定した今回の貼り付け位置を一時メモリに保存し、次回の制御に利用する。保存を行うとステップＳ１１１９へ進む。
ステップＳ１１１９では、今回の貼り付け位置を貼り付け処理部２０８に対して指示する。指示を行うと、ステップＳ１１２０へ進む。
ステップＳ１１２０では、合成処理部２０５に対して貼り付け指示されたスクラッチ傷と撮像画像の重畳を有効とする指示を行う。重畳を有効にすると、制御を終了する。
ステップＳ１１２１では、一時メモリに保存されている重畳継続カウンタの値を初期状態にクリアし、保存を行う。保存が終了するとステップＳ１１２２へ進む。
【００６５】
ステップＳ１１２２では、合成処理部２０５に対して貼り付け指示されたスクラッチ傷と撮像画像の重畳の無効を指示する。無効にする方法は、合成処理そのものを行わず撮像画像のみを出力する方法でもよいし、合成処理は行うが、撮像画像に対するスクラッチ傷の合成比率を下げて、撮像画像のみが出力される方法でもよく、その実現手段はどのようなものであってもよい。重畳を無効にすると、制御を終了する。
【００６６】
第２の実施形態では、あらかじめ記憶手段に記憶しておいた複数のパターンのスクラッチ傷で構成されるノイズデータから、任意の位置を撮像画像の更新に合わせて毎回ランダムに切り出し、これを撮像画像と任意の位置で合成する。これにより、時間的と空間的にランダムに発生し、移動するスクラッチ傷を動画像に付加することが可能となる。
【００６７】
さらに、スクラッチ傷の付加が一定期間以上継続した場合に、ノイズデータの今回の貼り付け位置と前回の貼り付け位置とを比較する。このとき、位置の移動が大きく遠い位置へのスクラッチ傷の付加を制限することで、実際のスクラッチ傷の発生に近い動作を実現することが可能となる。
【００６８】
また、上述の第１および第２の実施形態では、グレインノイズの切り出し位置の変更制御およびスクラッチ傷の付加の無効制御は、動画像のフレームレートに依存してグレインノイズの変更条件およびスクラッチ傷の無効条件を変更した。しかし、ノイズデータの合成比率が小さい場合は、合成後の画像においてノイズ成分が視認されにくい。そのため、グレインノイズの切り出し制御において、今回の切り出し位置が前回の位置の近くであったとしても、パターンが移動しているように認識されにくい。
【００６９】
そこで、合成における撮像画像とノイズデータの合成比率の設定をユーザーによる操作あるいは自動で変更できる場合は、ノイズデータの合成比率に応じた条件の変更が可能であることは言うまでもない。すなわち、撮像画像に対するノイズデータの合成比率が小さいほど、所定値は大きくすることができる。
【００７０】
また、上述の第１および第２の実施形態では、デジタルビデオカメラの動画像撮影時動作でグレインノイズおよびスクラッチ傷を付加する場合について述べた。しかし、本発明は動画像撮影に限られるものではなく、静止画像撮影において連写撮影で、各撮影時に異なるパターンのグレインノイズを付加する場合に用いることも可能である。また動画像あるいは静止画像の再生において、フィルム撮影の効果を付加する場合に利用することが可能であることも言うまでもない。
【００７１】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００７２】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００７３】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００７４】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００７５】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【００７６】
１００、２００ 撮像素子
１０１、２０１ カメラ信号処理部
１０２、２０２ システムコントローラ
１０３、２０３ 信号発生器
１０４、２０４ 画像処理部
１０５、２０１ 合成処理部
１０６、２０６ 切り出し処理部
１０７、２０７ 拡大処理部
１０８ 第１のフレームメモリ
１０９、２１０ メモリ
１１０ 第２のフレームメモリ
１１１、２１１ エンコーダ
１１２、２１２ 記録メディア
２０８ 貼り付け処理部
２０９ フレームメモリ
【技術分野】
【０００１】
本発明はデジタル画像データに対してフィルム調の効果を与える画像処理装置に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラの画像表現の一つとして、撮影画像に対しフィルム撮影による粒状感の効果を出すために粒状ノイズ（以下、グレインノイズ）をデジタル画像に付加する合成の方法が提案されている。
【０００３】
特許文献１では、グレインノイズの元となる粒状パターンデータをフィルムから算出し、これを画像サイズに応じたランダムな位置で複数配置することで、空間的にランダムなノイズをグレインノイズとして付加している
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−０８５９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
デジタルカメラにおいて動画像に対しグレインノイズを付加する場合、グレインノイズの粒状感が空間的にランダムに配置されていることに加え、時間的にランダムに変化する必要がある。
【０００６】
本発明は、上述の課題に鑑みたものであって、パターンデータから切り出したノイズデータを画像に付加し、フィルム調の効果を与える場合に空間的および時間的にランダムノイズに見える効果を与える画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、入力される複数フレームの画像にフィルム風の粒状効果を与えることが可能な画像処理装置であって、２次元データで構成されるノイズデータを記憶する記憶手段と、前記ノイズデータから所定サイズのノイズデータを切り出す切り出し手段と、前記切り出し手段が切り出す前記ノイズデータ上の切り出し位置を指定する指定手段と、前記指定手段で指定される前記ノイズデータ上での前回の所定サイズのノイズデータの切り出し位置と今回の所定サイズのノイズデータの切り出し位置との距離が所定範囲内であるときに、前記指定手段で指定された今回の切り出し位置を変更する変更手段と、前記変更手段は変更された今回の切り出し位置と前回の切り出し位置の距離が前記所定範囲内とならない位置となるように変更し、前記切り出し手段によって切り出された所定サイズのノイズデータに基づくノイズを前記入力される画像に合成する合成手段を備えることを特徴とする。
【０００８】
また、本発明の画像処理装置は、複数フレームの入力される画像にフィルムのスクラッチ傷風の画像効果を与えることが可能な画像処理装置であって、複数パターンのノイズデータを記憶する記憶手段と、前記複数パターンのノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択手段と、前記今回のフレームの画像上の前記選択手段で選択されたノイズデータを貼り付ける位置を決定する決定手段と、前記決定手段で決定された位置に前記選択手段で選択されたノイズデータを貼り付けて合成する合成手段と、前記合成手段によって前回のフレームの画像にノイズデータが貼り付けられた位置と前記決定手段によって決定された前記今回のフレームの画像にノイズデータを貼り付ける位置との距離が所定範囲より大きい場合に、前記合成手段による前記今回のフレームの画像へのノイズデータの合成を無効にする無効手段を備えることを特徴とする。
【発明の効果】
【０００９】
以上説明したように、本発明によれば、パターンデータから切り出したノイズデータを画像に付加し、フィルム調の効果を与える場合に空間的および時間的にランダムノイズに見える効果を与える画像処理装置を提供することにある。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態である画像処理装置の一例を示すブロック図
【図２】第２の実施形態である画像処理装置の一例を示すブロック図
【図３】第１の実施形態である画像処理装置のノイズデータを示す図
【図４】第１の実施形態である画像処理装置の合成画像の構造を示す図
【図５】第２の実施形態である画像処理装置のノイズデータを示す図
【図６】第２の実施形態である画像処理装置の合成画像の構造を示す図
【図７】第１の実施形態におけるノイズデータの切り出し位置決定のフローチャート
【図８】第１の実施形態におけるノイズデータの切り出し位置を示す図
【図９】第１の実施形態におけるノイズデータの切り出し位置の補正後の位置を示す表
【図１０】第１の実施形態におけるノイズデータの補正位置の違いによる重複度を示す図
【図１１】第２の実施形態におけるノイズデータの貼り付け位置決定のフローチャート
【図１２】第２の実施形態におけるスクラッチ傷の付加の要否を時間変化を示す図
【発明を実施するための形態】
【００１１】
以下、本発明の好適な実施形態について説明する。
【００１２】
＜第１の実施形態＞
本実施形態は、フィルム風のノイズ効果として粒状感を与えるために粒状ノイズであるグレインノイズを画像に付加することが可能な画像処理装置である。
【００１３】
図１は第１の実施形態における画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子１００は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部１０１へ入力される。カメラ信号処理部１０１では光電変換された信号に対し各種の画質処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ１１１で所定の記録フォーマットで符号化され、記録メディア１１２へ記録される。
【００１４】
次にカメラ信号処理部１０１での信号処理について説明する。信号処理部１０１へ入力した信号は、まず画像処理部１０４で輝度成分、色成分、黒成分の各信号成分に対し、各種信号処理が行われる。処理後の信号は撮像画像として第１のフレームメモリ１０８へ格納される。
【００１５】
２次元１０９はグレインノイズとして２次元ノイズデータ３０１を格納しているメモリである。ノイズデータ３０１はメモリ１０９から読み出される。切り出し処理部１０６はメモリデータ３０１から所定の位置と大きさのノイズデータ３０２を切り出す。切り出しされたノイズデータ３０２は第２のフレームメモリ１１０へ格納される。第２のフレームメモリ１１０から読み出されたノイズデータ３０２は、拡大処理部１０７で撮像画像との合成に必要な大きさのノイズデータ４０２にリサイズ処理される。
【００１６】
合成処理部１０５は所定のタイミングで第１のフレームメモリ１０８に格納されている撮像画像４０１と拡大処理部１０７で処理されたノイズデータ４０２を読み出し、合成を行い、合成画像を出力する。合成処理部１０５は撮像画像４０１とノイズデータ４０２の合成比率を変更することが可能である。合成比率を変えることで付加するグレインノイズの強度を変えることができる。グレインノイズの生成方法、付加方法については後に詳述する。
【００１７】
信号発生器１０３は撮像素子１００の駆動タイミングを制御する信号を発生する信号発生器（Ｓｉｇｎａｌ Ｇｅｎｅｒａｔｏｒ）である。発生した信号は撮像素子１００に供給される。
【００１８】
システムコントローラ１０２は、撮像素子１００とカメラ信号処理部１０１で構成されるカメラブロックの制御を行う。撮像素子１００に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部１０４に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。合成処理部１０５に対しては、合成対象となるフレームメモリの指定、合成比率の指定および合成タイミングの指示を行う。切り出し処理部１０６に対しては、グレインノイズを生成するために、メモリ１０９から読み出しを行うタイミングの指示、切り出し位置と大きさの指示、切り出したデータを第２のフレームメモリ１１０へ書き出すタイミングの指示を行う。拡大処理部１０７に対しては、第２のフレームメモリ１１０から読み出しを行うタイミングの指示、リサイズ時の大きさの指示を行う。信号発生器１０３に対しては、撮像素子１００を駆動する駆動タイミングの指示を行う。
【００１９】
ここで、図３、図４を用いて、本実施形態の特徴的な処理である画像データにフィルム風の粒状効果を与えるグレインノイズを付加する際に用いるグレインノイズの生成方法、付加方法について詳述する。特許文献１のように粒状パターンデータを複数配置する方法では、動画像の更新周期、つまりフレームレートに同期してパターンデータの配置を行うには、フレームレートの周期以内で毎回異なる配置を行う高速な処理システムが必要となる。また、複数のグレインノイズパターンから選択してこれを付加する方法では、グレインノイズを格納するメモリ領域が複数必要となる。
【００２０】
そこで、本実施形態では、あらかじめグレインノイズを２次元データとして持っておき、任意の位置で入力される画像のフレーム全体に対応するノイズデータの切り出しを行い、切り出したノイズデータを動画像に合成する。この時、切り出しのタイミングを動画像のフレームレートに同期させ、切り出しの位置を複数フレームで毎回変化させることで、空間的と時間的にランダムなグレインノイズを動画像に合成することが可能となる。
【００２１】
図３は２次元のノイズデータ（グレインノイズデータ３０１）とそこから切り出す切り出しノイズデータ３０２の関係を示した図である。図４は切り出しノイズデータ３０２と撮像画像の合成の概念を示した図である。グレインノイズデータ３０１は、本実施形態では最小粒状単位を１画素として、ガウス分布に従った乱数が画素値として１画素ごとに記録されている画素群である。ここで、乱数はガウス分布に従ったものに限らず、一様乱数や指数乱数など多くの乱数の種類が考えられ、乱数の種類は限定されない。ノイズデータとしての実際のデータの形態は、画像データ、もしくはデータ列などさまざまな形態が考えられ、それらの形態のいずれにも限定されない。また、最小粒状単位についても１画素に限定されないが、当然小さければ小さいほどランダム性があがる。
【００２２】
グレインノイズデータ３０１に対して、処理時刻やカメラの姿勢情報や位置情報などのカメラ内で取得できる動的な値を利用して切り出し開始位置Ｘ，Ｙをランダムに決定する。決定された開始位置から所定サイズのデータを切り出しノイズデータ３０２としてグレインノイズデータ３０１から切り出し、図４のように撮像画像と合成することで、撮像画像にグレインノイズを付加する。
【００２３】
ここで、切り出しの開始位置をランダムに毎回変化させる際、前回の切り出しの位置と今回の切り出しの位置が近い場合や水平あるいは垂直方向にずれているだけの場合は、合成結果として２次元のパターンが移動しているように見えてしまう。
【００２４】
そこで、本実施形態では、前回切り出し位置から今回の切り出し位置への移動量が、所定の範囲内にならないように今回の切り出し位置を設定する。
【００２５】
図７を用い、本実施例におけるシステムコントローラ１０２が切り出し処理部１０６に対し指示するノイズデータ３０１の切り出し制御について説明する。この制御は、撮影画像に対してフィルム風のノイズ効果を付加する撮影モードのときに行われる。あるいは、記録メディア２１２等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。
【００２６】
ステップＳ７０１では、メモリ１０９に格納されているノイズデータから上述したように動的な値を利用して今回どの位置から切り出すかの候補値を指示する。切り出したデータをグレインノイズとして合成するため、毎回ランダムに決定し、前回の切り出し位置とは異なる位置とする。指示する今回の切り出し位置が決定するとステップＳ７０２へ進む。
【００２７】
ステップＳ７０２では、信号発生器１０３に指示する駆動タイミング信号に基づき現在の撮像素子１００のフレームレート情報を取得する。情報を取得するとステップＳ７０３へ進む。
【００２８】
ステップＳ７０３では、今回指示されている切り出し位置と一時メモリ（不図示）に保存されている前回の切り出し位置が、どの程度離れた位置にあるかを判断する判定基準値を算出する。フレームレートに同期して合成するグレインノイズの更新を行うため、フレームレートが小さくなるほど、つまり撮像画像の更新周期が長くなるほど、グレインノイズの更新周期も長くなり、見え続ける。そのため、前回の切り出し位置と今回の切り出し位置が近い位置にあると、合成されたグレインノイズが移動しているように見える。そこで、ステップＳ７０２で取得したフレームレート情報に応じて、今回指示されている切り出し位置と前回の切り出し位置がどの程度近い位置にあるかを判定する基準（所定値）を変更する。例えば、６０ｆｐｓのフレームレート（第１のフレームレート）では前回位置を中心として周辺１０画素（第１の所定値）以内に今回の位置があった場合に、近い位置であると判定する。一方、３０ｆｐｓ（第２のフレームレート）では周辺２０画素（第２の所定値）以内に今回の位置があった場合を所定値以下の近い位置であると判定するように判定基準を決定する。判定基準を決定するとステップＳ７０４へ進む。
【００２９】
ステップＳ７０４では、グレインノイズデータ上の前回のノイズデータの切り出し位置からステップＳ７０１で算出した今回の切り出し位置がどの程度変化したかを示す、切り出し位置間の距離を算出する。算出するとステップＳ７０５へ進む。
【００３０】
ステップＳ７０５では、ステップＳ７０４で算出した前回切り出し位置から今回指示されている切り出し位置への距離とステップＳ７０３で算出した判定基準との大小を比較する。距離が判定基準より大きい、つまり切り出し位置が前回から今回で大きく変化していると判断した場合は、ステップＳ７０７へ進む。一方、距離が判定基準より小さい、つまり切り出し位置が前回から今回で小さく変化していると判断した場合は、ステップＳ７０６へ進む。
【００３１】
ステップＳ７０６では、ステップＳ７０１で算出した今回指示されている切り出し位置の位置情報に対して補正を行う。切り出し位置の位置情報の補正方法については後述する。切り出し位置の位置情報の補正を行うとステップＳ７０７へ進む。
【００３２】
ステップＳ７０７では、ステップＳ７０６で補正した切り出し位置の位置情報を次回の切り出し位置の制御で利用するために、一時メモリに保存し、ステップＳ７０８へ進む。
【００３３】
ステップＳ７０８では、ステップＳ７０６で補正した切り出し位置を切り出し処理部１０６へ指示し、処理を終了する。
【００３４】
次にステップＳ７０６における切り出し位置の補正処理について説明する。図８、図９、図１０は、メモリ１０３に格納されているノイズデータ３０１から切り出し位置の補正を行う場合の補正条件と補正位置を説明する図である。ノイズデータ３０１の幅と高さがそれぞれＷ 画素、Ｈ画素であるとする（Ｗ≧４、Ｈ≧４）。また、ノイズデータの切り出しは画素単位で行い、左上を切り出し位置の原点（０，０）とする。また、切り出す切り出しノイズデータ３０２の大きさを幅（Ｗ／２）画素、高さ（Ｈ／２）画素とする。
【００３５】
例えば、図３に示すように、今回の切り出し位置が（Ｘ，Ｙ）であった場合に、上記大きさの切り出しノイズデータを切り出す切り出し開始位置（Ｘ，Ｙ）は（０≦Ｘ＜Ｗ／２，０≦Ｙ＜Ｙ／２）の範囲の領域を指定し得る（図８）。さらに、この切り出し開始位置の指定し得る領域領域を図８の（ａ）、（ｂ）、（ｃ）および（ｄ）に示す４つの領域、領域１、２、３および４に分ける。領域１は切り出し位置を（０≦Ｘ＜Ｗ／４，０≦Ｙ＜Ｈ／４）に含む領域であり、領域２は切り出し位置を（Ｗ／４≦Ｘ＜Ｗ／２，０≦Ｙ＜Ｈ／４）に含む領域である。さらに、領域３が（０≦Ｘ＜Ｗ／４，Ｈ／４≦Ｙ＜Ｈ／２）、領域４が（Ｗ／４≦Ｘ＜Ｗ／２，Ｈ／４≦Ｙ＜Ｈ／２）の各範囲で切り出し位置を含む領域である。
【００３６】
切り出し位置を補正する場合、前回の切り出し位置で切り出したノイズデータと今回指示されている切り出し位置とで、重複するデータの面積が少なく、さらにその位置が離れている方が合成時のランダム性が向上するため好ましい。そこで、補正制御では今回の切り出し位置が上記領域１〜４のどこにあるかを判断し、その箇所に応じて対角の領域である領域上に切り出し位置を補正する。この時、図９の表に示すように切り出し位置（Ｘ，Ｙ）を補正切り出し位置（Ｘ’，Ｙ’）に補正する。
【００３７】
例えば、今回の切り出し位置が領域１にあった場合、補正後の位置が領域４となるようにすると（図１０ １００３）、領域２、領域３に移動した場合（図１０ １００１、１００２）に比べ、切り出されたノイズデータが重複する面積が少なくなる。その結果、ノイズデータの移動が目立ちにくくなり、グレインノイズの時間的なランダム性が向上する。
【００３８】
以上のように、第１の実施形態では、２次元ノイズデータから、任意の範囲を撮像画像の更新に合わせて毎回ランダムに切り出し、これを撮像画像と合成する。これにより、動画像であっても粒状ノイズが付加された画像を生成することが可能となる。また、ランダムに決めた切り出し位置が前回と所定範囲内の近い位置にあったとしても、その位置を所定範囲外に補正することで、ノイズのランダム性を確保することを可能としている。本実施形態では、特許文献に比べ、すでに読み込まれているデータから所定大きさのデータを切り出すだけでノイズデータの生成が可能であり、生成に要する時間を短縮することが可能である。
【００３９】
さらに、ノイズデータの今回の切り出し位置が前回の切り出し位置と比較して、位置の変化が少なく、近い位置である場合には、今回の切り出し位置を変更することで、切り出したノイズデータが移動して見えることを防ぎ、ノイズのランダム性が向上する。
【００４０】
本実施形態では、グレインノイズデータ３０１（幅Ｗ、高さＨ）に対して切り出しノイズデータの大きさを幅（Ｗ／２）画素、高さ（Ｈ／２）画素とした。しかしグレインノイズデータに対する切り出しノイズデータの大きさとしてはこれに限らず、グレインノイズデータの大きさを超えるものでなければ本実施形態に比べて大きくても小さくてもよい。ただし、切り出しノイズデータの大きさが大きくなるとそれだけランダム性が損なわれやすく、小さいと必要な切り出しノイズデータの大きさに対してグレインノイズデータ３０１を大きく持ちすぎているため、メモリの容量を食ってしまう。そこで本実施形態では、ノイズデータ３０１と切り出しノイズデータの大きさの比を４：１程度にし、さらに開始位置が近くならないよう制御する本実施形態の処理を入れることで、ノイズのランダム性の確保とメモリ容量の節約の両方をより好適に実現している。
【００４１】
また、本実施形態では、切り出し開始位置のとり得る領域を４つに分割したが、分割数、分割面積の割り振りとしてはこれに限定されない。
【００４２】
また、本実施形態では、今回と前回の切り出し位置間の距離が所定値以下であるかどうかを判定し、所定値以下であった場合に、上記のような切り出し開始位置の領域を移動する補正を行った。しかし、補正方法についてはこれに限らず、単に今回と前回の切り出し位置間の距離が所定値より大きくなる距離以上に座標移動をさせるようにしてもよい。すなわち、６０ｆｐｓのフレームレートで所定値が周辺１０画素であった場合、周辺１１画素以上になるように位置（座標）を変更してもよい。また、そもそも初めから今回の開始位置の指定の際に、周辺１０画素以内の座標を候補からはずしてランダムに指定させてもよい。
【００４３】
また、本実施形態では、今回と前回の切り出し位置間の距離が所定値以下であるかどうかを判定し、所定値以下にあった場合に、上記のような切り出し開始位置の領域を移動する補正を行った。しかし、切り出し開始位置の判定方法についてはこれに限らず、今回と前回の切り出し位置の属する領域を判定し（図８の領域１、２、３、４いずれの領域に属しているか）、同じ領域に属していた場合、異なる領域に移動させるように補正してもよい。このとき領域の移動を対角の領域にすると本実施形態のように前回と今回の切り出し領域の重なる領域がより小さくなり好ましい。さらに、本判定方法と今回と前回の切り出し位置間の距離が所定値以下であるか否かを判定する方法とを組み合わせて判定を行うと領域の境界近傍に開始位置があった場合にも有効な判定が可能となる。
【００４４】
＜第２の実施形態＞
本実施形態は、フィルム調の効果としてフィルムに傷がついた効果を与えるために縦線状ノイズであるスクラッチ傷を画像に付加することが可能な画像処理装置である。図５、図６は、本実施形態におけるスクラッチ傷のノイズデータの切り出しと合成について説明する。図５は複数パターンのスクラッチ傷で構成されているノイズデータとそこから切り出すノイズデータの関係を示した図である。スクラッチ傷ノイズデータ５０１は水平方向の１画素を最小単位とし、垂直方向にスクラッチ傷が記憶されており、その強度は乱数で決定されている。また垂直方向は複数画素を最小単位として強度が変化しており、これにより、垂直方向にスクラッチ傷の濃さや太さが変化し、傷の「かすれ」を表現する。乱数はガウス分布をはじめとして様々なものが考えられるが、その種類には依らない。
【００４５】
図６は切り出したスクラッチ傷と撮像画像の合成の概念を示した図である。本実施形態では、図５のようなスクラッチ傷ノイズデータ５０１から切り出しノイズデータ５０２を切り出し、所定の画像サイズにリサイズして貼り付けノイズデータ６０２を生成する。そして前回までの貼り付けノイズデータ６０２の貼り付け位置とその位置での貼り付けの継続時間に応じて今回の貼り付けノイズデータ６０２の貼り付け位置を決定し、貼り付ける。
【００４６】
図２は第２の実施形態としての画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子２００は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部２０１へ入力される。カメラ信号処理部２０１では光電変換された信号に対し各種の画質処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部２１１で所定の記録フォーマットで符号化され、記録メディア２１２へ記録される。
【００４７】
次にカメラ信号処理部２０１での信号処理について説明する。信号処理部２０１へ入力した信号はまず、画質処理部２０４で輝度成分、色成分、黒成分の各信号成分に対し、各種信号処理が行われる。処理後の信号は撮像画像としてフレームメモリ２０９へ格納される。
【００４８】
２１０は複数のパターンから構成されているスクラッチ傷のノイズデータ５０１を格納しているメモリである。ノイズデータ５０１はメモリ２１０から読み出される。切り出し処理部２０６はノイズデータ５０１上の指定された位置と大きさのスクラッチ傷のノイズデータ５０２を切り出す。切り出したノイズデータ５０２は拡大処理部２０７で撮像画像６０１との合成に必要な大きさのノイズデータ６０２にリサイズ処理される。貼り付け処理部２０８は切り出し位置に依らない任意の位置でノイズデータ６０２を合成するための貼り付け位置の指定を行う。
【００４９】
合成処理部２０５は所定のタイミングでフレームメモリ２０９に格納されている撮像画像６０１と貼り付け処理部２０８で処理されたノイズデータ６０２を読み出し、合成を行い、合成画像を出力する。
信号発生器２０３は撮像素子２００の駆動タイミングを制御する信号を発生する信号発生器である。発生した信号は撮像素子２００とシステムコントローラ２０２に供給される。
【００５０】
システムコントローラ２０２は、撮像素子２００とカメラ信号処理部２０１で構成されるカメラブロックの制御を行う。撮像素子２００に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画質処理部２０４に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。合成処理部２０５に対しては、合成対象となるフレームメモリの指定、合成比率の指定および合成タイミングの指示を行う。切り出し処理部２０６に対しては、スクラッチ傷を生成するために、メモリ２１０から読み出しを行うタイミングの指示、切り出し位置と大きさの指示を行う。拡大処理部２０７に対しては、リサイズ時の大きさの指示を行う。貼り付け処理部２０８に対しては、合成時の貼り付け位置の指示を行う。信号発生器２０３に対しては、撮像素子２００を駆動する駆動タイミングの指示を行う。
【００５１】
次に図１１、図１２を用い、本実施例におけるシステムコントローラ２０２が貼り付け処理部２０８に対し指示する貼り付けノイズデータ６０２の貼り付け制御について説明する。この制御は、撮影画像に対してスクラッチ傷が付加されているかのような画像処理を施す撮影モードのときに行われる。あるいは、記録メディア２１２等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。本処理は、垂直同期信号に連動して開始され、同期信号によって一連の処理が繰り返されることになる。
【００５２】
ステップＳ１１０１では、一時メモリ（不図示）に保存されているスクラッチ傷が撮像画像に重畳している時間を計測するカウンタである重畳カウンタ（第１の検出手段）の値が、重畳の目標時間（第１の所定時間）に達しているか否かを判断する。目標時間に達していなければステップＳ１１０８へ進む。一方、達している場合はステップＳ１１０２へ進む。ここで、重畳の目標時間とは、撮影画像に対して同一のスクラッチ傷をどれくらいの時間続けて表示してよいかを決める時間であり、各種条件によって定めてよいし、ユーザが決めてもよい。
【００５３】
ステップＳ１１０２では、目標時間に達した重畳カウンタを初期状態にクリアし、ステップＳ１１０３へ進む。
【００５４】
ステップＳ１１０３では、メモリ２１０に格納されているノイズデータから取り出したスクラッチ傷を今回重畳するか否かの有無を取得する。例えば、スクラッチ傷をランダムに重畳するために乱数発生手段から無作為に得た値を有無情報としてもよい。有無情報を取得するとステップＳ１１０４へ進む。
【００５５】
ステップＳ１１０４では、ステップＳ１１０３で得た有無情報が重畳有りか否かの判定を行う。判定結果は一時メモリに保存される。有無情報は二値で定義されてもよいし、例えば、乱数発生手段から得た値であれば、その値が所定のしきい値より大きければ重畳有り、逆にしきい値以下であれば重畳無しと決定する。時間変化で見えると、ステップＳ１１０４の処理が実行されることで、図１２に示すように所定フレーム毎に重畳有りと重畳無しの期間がランダムに発生する。本実施形態では、１フレーム毎に重畳の有無を決定するものとする。判定の結果、重畳有りと判定した場合は、ステップＳ１１０５へ進む。一方で重畳無しと判定した場合はステップＳ１１２１へ進む。
【００５６】
ステップＳ１１０５では、メモリ２１０に格納されているスクラッチ傷ノイズデータ５０１から、切り出しノイズデータ５０２の切り出し開始位置、切り出しの幅、高さを決定する。これらが変わることで、重畳するスクラッチ傷のパターン（長さ、強度、本数など）が変わる。そのため毎回異なる開始位置から切り出しを行うように、乱数発生手段を用いて決定してもよい。切り出し位置を算出するとステップＳ１１０６へ進む。
【００５７】
ステップＳ１１０６では、ステップＳ１１０５で決定した切り出し位置を切り出し処理部２０６へ指示し、ステップＳ１１０７へ進む。
ステップＳ１１０７では、重畳の目標時間を決定して一時メモリへ保存した後、ステップＳ１１０８へ進む。
ステップＳ１１０８では、重畳カウンタの加算（インクリメント）を行い、ステップＳ１１０９へ進む。
【００５８】
ステップＳ１１０９では、スクラッチ傷の重畳無しの状態から有りの状態と判断されてからの経過時間を計測するために重畳継続カウンタ（第２の検出手段）の加算を行い、ステップＳ１１１０へ進む。
【００５９】
ステップＳ１１１０では、切り出し処理部２０６で切り出されたノイズデータを今回撮像された画像上のどの位置に合成して貼り付けるかの貼り付け位置を決定する。貼り付け位置は合成のタイミングによってランダムな貼り付け位置とする。例えば乱数発生手段を用い、貼り付け位置を取得すると、合成の都度、画面上の異なる位置にスクラッチ傷が重畳され、ランダムノイズに見える。貼り付け位置を取得するとステップＳ１１１１へ進む。
【００６０】
ステップＳ１１１１では、信号発生器２０３に指示する駆動タイミング信号に基づき現在の撮像素子２００のフレームレート情報を取得する。情報を取得するとステップＳ１１１２へ進む。
【００６１】
ステップＳ１１１２では、今回の貼り付け位置と前回の貼り付け位置がどの程度離れた位置にあるかを判断する判定基準値（所定値）を算出する。フレームレートに同期して、合成するスクラッチ傷の更新を行うため、フレームレートが小さくなるほどつまり撮像画像の更新周期が長くなるほど、スクラッチ傷の更新周期も長くなり、見え続ける。前回の貼り付け位置と今回の貼り付け位置の距離が大きいと、合成されたスクラッチ傷が移動しているように見えてしまう。そこで、ステップＳ１１１１で取得したフレームレート情報に応じて、今回と前回の貼り付け位置がどの程度遠い位置にあるかを判定する基準を変更する。例えば、６０ｆｐｓのフレームレート（第１のフレームレート）では前回位置を中心として水平前後１０画素（第１の所定値）より遠い位置に今回の位置があった場合に、所定値より大きい、遠い位置であると判定する。一方、３０ｆｐｓ（第２のフレームレート）では水平前後２０画素（第２の所定値）より遠い位置に今回の位置があった場合を所定値より大きい、遠い位置であると判定するように判定基準を変更する。判定基準を決定するとステップＳ１１１３へ進む。
【００６２】
ステップＳ１１１３では、前回のノイズデータの貼り付け位置からステップＳ１１１０で算出した今回の貼り付け位置がどの程度移動したかの距離を算出する。算出するとステップＳ１１１４へ進む。
【００６３】
ステップＳ１１１４では、ステップＳ１１１３で算出した貼り付け位置間の距離とステップＳ１１１３で算出した判定基準との大小を比較する。距離が判定基準（所定値）より大きい、つまり貼り付け位置が前回から今回で大きく変化していると判断した場合は、ステップＳ１１１６へ進む。一方、距離が判定基準より小さい、つまり貼り付け位置が前回から今回で小さく変化していると判断した場合は、ステップＳ１１１５へ進む。
【００６４】
ステップＳ１１１５では、あらかじめ規定されている重畳継続カウンタ上限値（第２の所定時間）を大きくなるように変更する。変更するとステップＳ１１１７へ進む。
ステップＳ１１１６では、あらかじめ規定されている重畳継続カウンタ上限値を小さくなるように変更する。変更するとステップＳ１１１７へ進む。
ステップＳ１１１７では、重畳継続カウンタ上限値と一時メモリに保存されている重畳継続カウンタの値を比較する。重畳継続カウンタが上限に達した場合はステップＳ１１２２へ進む。一方、上限に達していない場合はステップＳ１１１８へ進む。
ステップＳ１１１８では、決定した今回の貼り付け位置を一時メモリに保存し、次回の制御に利用する。保存を行うとステップＳ１１１９へ進む。
ステップＳ１１１９では、今回の貼り付け位置を貼り付け処理部２０８に対して指示する。指示を行うと、ステップＳ１１２０へ進む。
ステップＳ１１２０では、合成処理部２０５に対して貼り付け指示されたスクラッチ傷と撮像画像の重畳を有効とする指示を行う。重畳を有効にすると、制御を終了する。
ステップＳ１１２１では、一時メモリに保存されている重畳継続カウンタの値を初期状態にクリアし、保存を行う。保存が終了するとステップＳ１１２２へ進む。
【００６５】
ステップＳ１１２２では、合成処理部２０５に対して貼り付け指示されたスクラッチ傷と撮像画像の重畳の無効を指示する。無効にする方法は、合成処理そのものを行わず撮像画像のみを出力する方法でもよいし、合成処理は行うが、撮像画像に対するスクラッチ傷の合成比率を下げて、撮像画像のみが出力される方法でもよく、その実現手段はどのようなものであってもよい。重畳を無効にすると、制御を終了する。
【００６６】
第２の実施形態では、あらかじめ記憶手段に記憶しておいた複数のパターンのスクラッチ傷で構成されるノイズデータから、任意の位置を撮像画像の更新に合わせて毎回ランダムに切り出し、これを撮像画像と任意の位置で合成する。これにより、時間的と空間的にランダムに発生し、移動するスクラッチ傷を動画像に付加することが可能となる。
【００６７】
さらに、スクラッチ傷の付加が一定期間以上継続した場合に、ノイズデータの今回の貼り付け位置と前回の貼り付け位置とを比較する。このとき、位置の移動が大きく遠い位置へのスクラッチ傷の付加を制限することで、実際のスクラッチ傷の発生に近い動作を実現することが可能となる。
【００６８】
また、上述の第１および第２の実施形態では、グレインノイズの切り出し位置の変更制御およびスクラッチ傷の付加の無効制御は、動画像のフレームレートに依存してグレインノイズの変更条件およびスクラッチ傷の無効条件を変更した。しかし、ノイズデータの合成比率が小さい場合は、合成後の画像においてノイズ成分が視認されにくい。そのため、グレインノイズの切り出し制御において、今回の切り出し位置が前回の位置の近くであったとしても、パターンが移動しているように認識されにくい。
【００６９】
そこで、合成における撮像画像とノイズデータの合成比率の設定をユーザーによる操作あるいは自動で変更できる場合は、ノイズデータの合成比率に応じた条件の変更が可能であることは言うまでもない。すなわち、撮像画像に対するノイズデータの合成比率が小さいほど、所定値は大きくすることができる。
【００７０】
また、上述の第１および第２の実施形態では、デジタルビデオカメラの動画像撮影時動作でグレインノイズおよびスクラッチ傷を付加する場合について述べた。しかし、本発明は動画像撮影に限られるものではなく、静止画像撮影において連写撮影で、各撮影時に異なるパターンのグレインノイズを付加する場合に用いることも可能である。また動画像あるいは静止画像の再生において、フィルム撮影の効果を付加する場合に利用することが可能であることも言うまでもない。
【００７１】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００７２】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００７３】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００７４】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００７５】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【００７６】
１００、２００ 撮像素子
１０１、２０１ カメラ信号処理部
１０２、２０２ システムコントローラ
１０３、２０３ 信号発生器
１０４、２０４ 画像処理部
１０５、２０１ 合成処理部
１０６、２０６ 切り出し処理部
１０７、２０７ 拡大処理部
１０８ 第１のフレームメモリ
１０９、２１０ メモリ
１１０ 第２のフレームメモリ
１１１、２１１ エンコーダ
１１２、２１２ 記録メディア
２０８ 貼り付け処理部
２０９ フレームメモリ
【特許請求の範囲】
【請求項１】
入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置であって、
２次元で構成されるノイズデータを記憶する記憶手段と、
前記ノイズデータから入力される画像のフレーム全体に対応したノイズデータを切り出す切り出し手段と、
前記切り出し手段が切り出す前記ノイズデータ上の切り出し位置を指定する指定手段と、
前記切り出し手段によって切り出されたノイズデータを前記入力される画像に合成する合成手段と、を有し、
前記指定手段は、前記ノイズデータ上での前回の切り出し位置と今回の切り出し位置との距離が所定値より大きくなるように今回の切り出し位置を指定することを特徴とする画像処理装置。
【請求項２】
前記指定手段は、
前記切り出し位置をランダムな値に基づいて指示する指示手段と、
前記指示手段によって指示された今回の切り出し位置と前回の切り出し位置との距離が所定値より小さいときに、前記指示手段によって指示された今回の切り出し位置を前記距離が前記所定値より大きくなる位置に変更する変更手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記指定手段は、前記ノイズデータ上で切り出し位置を指定し得る領域を複数の領域に分割し、前記指示手段によって指示された切り出し位置がどの領域に属しているかを検出する検出手段を有し、
前記変更手段は、前記指示手段によって指示された今回の切り出し位置を前回の切り出し位置とは異なる領域上の位置に変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記指定手段は、
前記切り出し位置をランダムな値に基づいて指示する指示手段と、
前記ノイズデータ上で切り出し位置を指定し得る領域を複数の領域に分割し、前記指示手段によって指示された切り出し位置がどの領域に属しているかを検出する検出手段と、
前記検出手段によって前記指示手段によって指示された今回の切り出し位置と前回の切り出し位置との位置が同じ領域に属していると検出されたときに、前記指示手段によって指示された今回の切り出し位置を前回の切り出し位置とは異なる領域上の位置に変更する変更手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記変更手段は、前記所定値に前記複数フレームの入力される画像が第１のフレームレートであるときに第１の所定値を用い、前記第１のフレームレートよりも小さい第２のフレームレートのときに前記第１の所定値よりも値の大きい第２の所定値を用いることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記合成手段は、前記所定サイズのノイズデータを前記入力される画像データのサイズにリサイズして、前記入力される画像データに合成することを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
【請求項７】
前記ノイズデータは乱数によって画素値を決められた画素群からなるデータであり、前記ノイズ効果はフィルム風の粒状効果であることを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
【請求項８】
複数フレームの入力される画像にノイズ効果を与えることが可能な画像処理装置であって、
複数パターンのノイズデータを記憶する記憶手段と、
前記複数パターンのノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択手段と、
前記今回のフレームの画像上の前記選択手段で選択されたノイズデータを貼り付ける位置を決定する決定手段と、
前記決定手段で決定された位置に前記選択手段で選択されたノイズデータを合成することで貼り付ける合成手段と、を有し、
前記合成手段は、前回のフレームの画像にノイズデータが貼り付けられた貼り付け位置と、今回のフレームの画像にノイズデータを貼り付ける貼り付け位置との距離が所定値より大きい場合、今回のノイズデータの貼り付けを制限する
ことを特徴とする画像処理装置。
【請求項９】
前記複数パターンのノイズデータは２次元データで構成され、
前記選択手段は、前記２次元データからランダムに指定された位置に基づいてノイズデータを切り出すことで今回のフレームの画像に貼り付けるノイズデータを選択することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記複数パターンのノイズデータは水平方向に１画素を最小単位とし、垂直方向に複数画素を最小単位として乱数によって強度が決められていることを特徴とする請求項８または９に記載の画像処理装置。
【請求項１１】
前記選択手段によって選択された同一のノイズデータが連続して貼り付けられる時間を検出する第１の検出手段を有し、
前記選択手段は、前記第１の検出手段によって同一のノイズデータが連続して貼り付けられる時間が第１の所定時間を超えたことが検出された場合に、新たにノイズデータを選択することを特徴とする請求項８乃至１０のいずれか１つに記載の画像処理装置。
【請求項１２】
前記複数フレームの入力される画像に連続してノイズデータが貼り付けられる継続時間を検出する第２の検出手段を有し、
前記第２の検出手段によって前記継続時間が第２の所定時間を超えたことが検出された場合に、ノイズデータの貼り付けを無効とすることを特徴とする請求項８乃至１０のいずれか１つに記載の画像処理装置。
【請求項１３】
前記決定手段は、前記所定値に前記複数フレームの入力される画像が第１のフレームレートであるときに第１の所定値を用い、前記第１のフレームレートよりも小さい第２のフレームレートのときに前記第１の所定値よりも範囲の広い第２の所定値を用いることを特徴とする請求項８乃至１２のいずれか１つに記載の画像処理装置。
【請求項１４】
前記選択手段によって選択されたノイズデータを貼り付けるか否かを所定フレーム毎に決定する決定手段を有することを特徴とする請求項８乃至１３のいずれか１つに記載の画像処理装置。
【請求項１５】
２次元で構成されるノイズデータを記憶する記憶手段と、前記ノイズデータから切り出された所定サイズのノイズデータを前記入力される画像に合成する合成手段と、を有し、入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置の制御方法であって、
前記ノイズデータから所定サイズのノイズデータを切り出す切り出しステップと、
前記切り出しステップにて切り出す前記ノイズデータ上の切り出し位置を指定する指定ステップと、
合成手段によって、前記切り出しステップにて切り出された所定サイズのノイズデータに基づくノイズデータを前記入力される画像に合成する合成ステップと、を有し、
前記指定ステップでは、前記ノイズデータ上での前回の切り出し位置と今回の切り出し位置との距離が所定値より大きくなるように今回の切り出し位置を指定することを特徴とする画像処理装置の制御方法。
【請求項１６】
複数パターンのノイズデータを記憶する記憶手段と、前記複数パターンのノイズデータから選択されたノイズデータを前記入力される画像に合成することで貼り付ける合成手段と、を有し、複数フレームの入力される画像にノイズ効果を与えることが可能な画像処理装置の制御方法であって、
前記複数パターンのノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択ステップと、
前記今回のフレームの画像上の前記選択ステップで選択されたノイズデータを貼り付ける位置を決定する決定ステップと、
合成手段によって、前記決定ステップで決定された位置に前記選択ステップで選択されたノイズデータを合成することで貼り付ける合成ステップと、を有し、
前記合成ステップでは、前回のフレームの画像にノイズデータが貼り付けられた貼り付け位置と、今回のフレームの画像にノイズデータを貼り付ける貼り付け位置との距離が所定値より大きい場合、今回のノイズデータの貼り付けが制限されることを特徴とする画像処理装置の制御方法。
【請求項１７】
請求項１６に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１８】
請求項１６に記載の画像処理装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項１】
入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置であって、
２次元で構成されるノイズデータを記憶する記憶手段と、
前記ノイズデータから入力される画像のフレーム全体に対応したノイズデータを切り出す切り出し手段と、
前記切り出し手段が切り出す前記ノイズデータ上の切り出し位置を指定する指定手段と、
前記切り出し手段によって切り出されたノイズデータを前記入力される画像に合成する合成手段と、を有し、
前記指定手段は、前記ノイズデータ上での前回の切り出し位置と今回の切り出し位置との距離が所定値より大きくなるように今回の切り出し位置を指定することを特徴とする画像処理装置。
【請求項２】
前記指定手段は、
前記切り出し位置をランダムな値に基づいて指示する指示手段と、
前記指示手段によって指示された今回の切り出し位置と前回の切り出し位置との距離が所定値より小さいときに、前記指示手段によって指示された今回の切り出し位置を前記距離が前記所定値より大きくなる位置に変更する変更手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記指定手段は、前記ノイズデータ上で切り出し位置を指定し得る領域を複数の領域に分割し、前記指示手段によって指示された切り出し位置がどの領域に属しているかを検出する検出手段を有し、
前記変更手段は、前記指示手段によって指示された今回の切り出し位置を前回の切り出し位置とは異なる領域上の位置に変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記指定手段は、
前記切り出し位置をランダムな値に基づいて指示する指示手段と、
前記ノイズデータ上で切り出し位置を指定し得る領域を複数の領域に分割し、前記指示手段によって指示された切り出し位置がどの領域に属しているかを検出する検出手段と、
前記検出手段によって前記指示手段によって指示された今回の切り出し位置と前回の切り出し位置との位置が同じ領域に属していると検出されたときに、前記指示手段によって指示された今回の切り出し位置を前回の切り出し位置とは異なる領域上の位置に変更する変更手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記変更手段は、前記所定値に前記複数フレームの入力される画像が第１のフレームレートであるときに第１の所定値を用い、前記第１のフレームレートよりも小さい第２のフレームレートのときに前記第１の所定値よりも値の大きい第２の所定値を用いることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記合成手段は、前記所定サイズのノイズデータを前記入力される画像データのサイズにリサイズして、前記入力される画像データに合成することを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
【請求項７】
前記ノイズデータは乱数によって画素値を決められた画素群からなるデータであり、前記ノイズ効果はフィルム風の粒状効果であることを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
【請求項８】
複数フレームの入力される画像にノイズ効果を与えることが可能な画像処理装置であって、
複数パターンのノイズデータを記憶する記憶手段と、
前記複数パターンのノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択手段と、
前記今回のフレームの画像上の前記選択手段で選択されたノイズデータを貼り付ける位置を決定する決定手段と、
前記決定手段で決定された位置に前記選択手段で選択されたノイズデータを合成することで貼り付ける合成手段と、を有し、
前記合成手段は、前回のフレームの画像にノイズデータが貼り付けられた貼り付け位置と、今回のフレームの画像にノイズデータを貼り付ける貼り付け位置との距離が所定値より大きい場合、今回のノイズデータの貼り付けを制限する
ことを特徴とする画像処理装置。
【請求項９】
前記複数パターンのノイズデータは２次元データで構成され、
前記選択手段は、前記２次元データからランダムに指定された位置に基づいてノイズデータを切り出すことで今回のフレームの画像に貼り付けるノイズデータを選択することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記複数パターンのノイズデータは水平方向に１画素を最小単位とし、垂直方向に複数画素を最小単位として乱数によって強度が決められていることを特徴とする請求項８または９に記載の画像処理装置。
【請求項１１】
前記選択手段によって選択された同一のノイズデータが連続して貼り付けられる時間を検出する第１の検出手段を有し、
前記選択手段は、前記第１の検出手段によって同一のノイズデータが連続して貼り付けられる時間が第１の所定時間を超えたことが検出された場合に、新たにノイズデータを選択することを特徴とする請求項８乃至１０のいずれか１つに記載の画像処理装置。
【請求項１２】
前記複数フレームの入力される画像に連続してノイズデータが貼り付けられる継続時間を検出する第２の検出手段を有し、
前記第２の検出手段によって前記継続時間が第２の所定時間を超えたことが検出された場合に、ノイズデータの貼り付けを無効とすることを特徴とする請求項８乃至１０のいずれか１つに記載の画像処理装置。
【請求項１３】
前記決定手段は、前記所定値に前記複数フレームの入力される画像が第１のフレームレートであるときに第１の所定値を用い、前記第１のフレームレートよりも小さい第２のフレームレートのときに前記第１の所定値よりも範囲の広い第２の所定値を用いることを特徴とする請求項８乃至１２のいずれか１つに記載の画像処理装置。
【請求項１４】
前記選択手段によって選択されたノイズデータを貼り付けるか否かを所定フレーム毎に決定する決定手段を有することを特徴とする請求項８乃至１３のいずれか１つに記載の画像処理装置。
【請求項１５】
２次元で構成されるノイズデータを記憶する記憶手段と、前記ノイズデータから切り出された所定サイズのノイズデータを前記入力される画像に合成する合成手段と、を有し、入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置の制御方法であって、
前記ノイズデータから所定サイズのノイズデータを切り出す切り出しステップと、
前記切り出しステップにて切り出す前記ノイズデータ上の切り出し位置を指定する指定ステップと、
合成手段によって、前記切り出しステップにて切り出された所定サイズのノイズデータに基づくノイズデータを前記入力される画像に合成する合成ステップと、を有し、
前記指定ステップでは、前記ノイズデータ上での前回の切り出し位置と今回の切り出し位置との距離が所定値より大きくなるように今回の切り出し位置を指定することを特徴とする画像処理装置の制御方法。
【請求項１６】
複数パターンのノイズデータを記憶する記憶手段と、前記複数パターンのノイズデータから選択されたノイズデータを前記入力される画像に合成することで貼り付ける合成手段と、を有し、複数フレームの入力される画像にノイズ効果を与えることが可能な画像処理装置の制御方法であって、
前記複数パターンのノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択ステップと、
前記今回のフレームの画像上の前記選択ステップで選択されたノイズデータを貼り付ける位置を決定する決定ステップと、
合成手段によって、前記決定ステップで決定された位置に前記選択ステップで選択されたノイズデータを合成することで貼り付ける合成ステップと、を有し、
前記合成ステップでは、前回のフレームの画像にノイズデータが貼り付けられた貼り付け位置と、今回のフレームの画像にノイズデータを貼り付ける貼り付け位置との距離が所定値より大きい場合、今回のノイズデータの貼り付けが制限されることを特徴とする画像処理装置の制御方法。
【請求項１７】
請求項１６に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１８】
請求項１６に記載の画像処理装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１３３７０７（Ｐ２０１２−１３３７０７Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８７０８１（Ｐ２０１０−２８７０８１）
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]