スタンプによる画像補正方法および装置
【課題】画像内の欠落領域を高度な数理方程式によらずにしかも高速に補う。
【解決手段】スタンプＳｔを補正対象の領域Ｋの左上端の上側に接する位置に位置させる（（ａ））。その位置において設定済みである全画素の濃淡値を記憶する。下へスタンプＳｔを１画素分移動させる（（ｂ））。左（（ｃ））、右（（ｄ））、下、右下、左下へスタンプＳｔを１画素分シフトしたときシフト後位置と初期位置の類似度を計算する。最も高くかつ閾値ＴＨより高い類似度に対応するシフト後位置にスタンプＳｔを位置させ（例えば、（ｄ）の位置）、記憶した濃淡値を設定する。閾値ＴＨより高くない場合は、スタンプＳｔを直前の初期位置からスタンプＳｔ１個分だけ右の位置に位置させる（（ｅ））。このようにして、スタンプＳｔは右へと位置を変えていく。
【解決手段】スタンプＳｔを補正対象の領域Ｋの左上端の上側に接する位置に位置させる（（ａ））。その位置において設定済みである全画素の濃淡値を記憶する。下へスタンプＳｔを１画素分移動させる（（ｂ））。左（（ｃ））、右（（ｄ））、下、右下、左下へスタンプＳｔを１画素分シフトしたときシフト後位置と初期位置の類似度を計算する。最も高くかつ閾値ＴＨより高い類似度に対応するシフト後位置にスタンプＳｔを位置させ（例えば、（ｄ）の位置）、記憶した濃淡値を設定する。閾値ＴＨより高くない場合は、スタンプＳｔを直前の初期位置からスタンプＳｔ１個分だけ右の位置に位置させる（（ｅ））。このようにして、スタンプＳｔは右へと位置を変えていく。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画素の大きさをもつスタンプによる画像補正方法および装置に関するものである。
【背景技術】
【０００２】
携帯電話、デジタルカメラ、ビデオ、ＤＶＤなど、情報家電の普及には目覚ましいものがある。年々、ＬＳＩ，ＤＳＰなど、組み込みのハードウェア性能は高まってきている。そのため、パソコン上で動作していた各種ソフトウェアのアプリケーションも携帯電話内でリアルタイムに動作するようになっている。
【０００３】
携帯電話における手ぶれ補正は、代表的な画像処理に基づいた補正方法の一つである。ＤＶＤにおける不要なテロップ文字の消去、これも画像処理に基づいた補正方法の一つである。
【０００４】
ときに、ハードウェアでアルゴリズムを実現するには、浮動小数点演算から整数化しての演算が求められることが少なくない。この数理的な方程式の解法で高速化を実現するには、特別の工夫が必要となっている。
【０００５】
一方で、手ぶれ補正を行うと画枠が一回り小さくなるので、元の大きさに戻る画像補正が求められる。また、不要な文字やテロップなどを自在に消去する方法についても、見やすい画像への補正が求められている。
【０００６】
これまでの画像補正は、偏微分方程式などに基づいた数値解法問題（非特許文献１など）に基づいていることが多く、例えばパソコンが用いられる。ただし、この画像補正は、補正対象が低空間周波数成分に富んでいる場合に限られる。
【０００７】
一方、エッジ構造や輪郭が明瞭な補正対象の場合は、高空間周波数成分までの補正が必要であり、これについては、非特許文献２のtexture-synthesisと呼ばれる方法が知られている。
【０００８】
しかし、この方法では、パターンマッチングに伴う演算コストが、非特許文献１の方法の数倍必要であるという欠点がある。数値演算にもよるが、非特許文献１の方法では指数関数を用いるため、単純にアルゴリズムを浮動小数点型から整数型へ変換することが容易ではない問題がある。
【０００９】
数値解法問題では、偏微分方程式の時間発展により画像を補正していく方法が中心的である。そのため、多くのメモリと空間と時間の微分計算が必要となり、携帯電話などのようなＣＰＵが高くない機種でのリアルタイム処理が困難となっている。
【００１０】
単純な方法としては、移動平均法や線形補間法などを用いれば、ある程度の画像補正ができる。しかし、補正された領域がぼやけるといった問題や周辺画像とは異なった人工的なテクスチャで補正されるといった問題が生じる。
【非特許文献１】M.Beralmio,G.Sapiro,C.Ballester,and V.Caselles,Computer Graphics,"image inpainting",Proceeding of SIGGRAPH 2000,pp.417-424,July 2000.
【非特許文献２】Li-Yi Wei and M.Levoy,"Texture systhesis over arbitrary manifold surfaces",Proceeding of SIGGRAPH 2001,pp.355-360,Aug.2001
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明が解決する課題設定の背景には、以下の問題点がある。
【００１２】
第１の問題点）携帯電話のような低性能ＣＰＵ上でも、リアルタイム処理が必要である。第２の問題点）数値演算に依存すると、多くのメモリを必要とする。第３の問題点）画像補正の低から高空間周波数成分を補正できない。第４の問題点）アルゴリズム上、整数化表現ができない。
【００１３】
以上を踏まえて、本発明は、画像内の欠落領域を高度な数理方程式によらずにしかも高速に補える画像補正方法および装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明では、例えば、計算コストが極めて低い、フィルタ設計に基づいた画素への重み付け処理として高速化を実現している。
【００１５】
また、周辺のテクスチャ特徴量に応じて、スタンプの大きさを小さいものから大きいものへ段階的に適用することで、複雑な画像パターンへ対応している。
【００１６】
また、階層画像化により、細かいテクスチャまでの補正・補間をより高速に演算できる。
【発明の効果】
【００１７】
本発明によれば、画像内の欠落領域を高度な数理方程式によらずにしかも高速に補える。
【００１８】
これにより、テロップやスーパーインポーズなどの領域を自動的にもとの背景図柄に置換することができる。
【００１９】
また、これまでの手作業によるテロップ領域へのぼかし作業を行わずして、違和感のない、もとの画像への置換が自動的かつ効果的にできる。
【００２０】
また、単純な処理の繰り返しであるため、携帯電話内での高速な処理が可能となる。
【００２１】
以上のような効果により、ブロードバンド時代における家庭からプロ仕様まで、デジタルカメラ、デジタルビデオ、デジタルテレビにおける国内外のデジタル産業における新しい画像変換技術の中核となることが考えられる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明に係るスタンプを用いた画像補正装置および方法の実施の形態を図面を参照して説明する。
【００２３】
図１は、本実施の形態に係る画像補正装置の構成図である。
【００２４】
本装置は、データ入力手段１００、領域分離手段１１０、濃淡値記憶設定手段１２０、終了判定手段１３０および画像表示手段１４０により構成される。本装置は、いわゆるコンピュータであり、コンピュータプログラムを読み込み、それに応じた処理を実行するようになっている。
【００２５】
本装置では、データ入力手段１００が、携帯電話のカメラやデジタルカメラなどの画像Ｇを入力する。画像Ｇは各画素の濃淡値で構成される。モノクロの画像Ｇでは、画素の色指定がされず、一方、カラーの画像Ｇでは、赤・緑・青の色指定がされる。画素には、例えば、８ビット階調の濃淡値が設定される。ここでは、色やビット数によらない処理を説明するので、当該事項への言及は省略する。
【００２６】
領域分離手段１１０は、例えば、文字認識技術を用いて、画像Ｇからテロップや不要物を消去する。また、領域分離手段１１０は、例えば、パケットロスで欠落した領域を分離する。ここではテロップがあった領域や欠落した領域を領域Ｋという。
【００２７】
濃淡値記憶設定手段１２０は、領域Ｋに対して順次に画像補正（濃淡値設定）を行う。詳細については後述する。
【００２８】
終了判定手段１３０は、画像補正が順次に行われる中にあって、現在の領域Ｋと直前の画像補正前の領域Ｋとの間の類似度が予め定めた閾値より高くなったら、画像補正を終了させる。
【００２９】
なお、画像Ｇを複数の解像度ごとの画像へ変換し、最も低い解像度の画像の濃淡値設定（画像補正）を行うことから始めて、当該解像度より高い解像度の画像の濃淡値設定（画像補正）を順次に行うようにしてもよい。これにより、処理時間を短縮することができる。
【００３０】
画像表示手段１４０は、かかる画像補正後の画像を表示する。
【００３１】
図２は、濃淡値記憶設定手段１２０が行う処理のフローチャートである。図３は、その処理の様子を示す図である。
【００３２】
まず、スタンプ（ここでは、上下方向に３画素分、左右方向に３画素分の長さをもつ正方形のスタンプとする）Ｓｔを初回の初期位置（初回の初期位置は、ここでは領域Ｋの左上端の上側に接する位置）に位置させる（Ｓ１：図３（ａ））。
【００３３】
次に、スタンプＳｔの位置において設定済みである全画素の濃淡値を記憶する（Ｓ２）。
【００３４】
次に、濃淡値が設定される画素の方、ここでは下の方へスタンプＳｔを例えば１画素分移動させる（Ｓ３：図３（ｂ））。つまり移動前後でのスタンプＳｔの位置を部分的に重複させる。
【００３５】
移動前の方向、ここでは上を除いた複数の方向、ここでは左（図３（ｃ）に例示）、右（図３（ｄ）に例示）、下、右下、左下（これらは例示省略）へスタンプＳｔを例えば１画素分シフトしたときシフト後位置と初期位置の類似度を計算する（Ｓ４）。つまりシフト前後でのスタンプＳｔの位置が部分的に重複するようなシフト後位置と初期位置の類似度を計算する。例えば、式（１）により類似度（Ｒ）を求める。
【数１】
【００３６】
Ｉａｖｅ ，Ｊａｖｅは、それぞれ初期位置の濃淡値の平均、シフト後位置の濃淡値の平均である。
【００３７】
Ｉ（ｉ，ｊ），Ｊ（ｉ，ｊ）は、それぞれ初期位置において左右方向ｉ，上下方向ｊの位置（つまりスタンプ内のＸ座標がｉ，Ｙ座標がｊの位置）にある画素の濃淡値、シフト後位置において左右方向ｉ，上下方向ｊの位置（つまりスタンプ内のＸ座標がｉ，Ｙ座標がｊの位置の位置）にある画素の濃淡値である。
【００３８】
ＸＳＩＺＥ ，ＹＳＩＺＥは、それぞれスタンプＳｔの左右方向（Ｘ方向）のサイズ（ここでは３（画素））、スタンプＳｔの上下方向（Ｙ方向）のサイズ（ここでは３（画素））である。
【００３９】
次に、最も高い類似度が予め定められた閾値ＴＨより高いか否かを判定する（Ｓ５）。
【００４０】
図４は、Ｓ３での移動後のスタンプＳｔを原点としてその近傍位置での類似度の分布を示した図である。近傍位置により類似度が異なるが、Ｓ５では、その中で最も高い類似度（○の位置）が予め定められた閾値ＴＨより高いかを判定する。
【００４１】
図２に戻り、Ｓ５でＹＥＳと判定された場合は、最も高い類似度に対応するシフト後位置（次回の初期位置）にスタンプＳｔを位置させ（例えば、図３（ｄ）の位置）、そこでの設定対象の画素にＳ２で記憶した濃淡値を設定する（Ｓ６）。ここではスタンプＳｔ内での位置が同じ画素の濃淡値を設定する。領域Ｋ内で濃淡値が設定済みの場合は、上書きするか、または、両濃淡値の平均を設定する。
【００４２】
Ｓ５でＮＯと判定された場合は、スタンプＳｔを次回の初期位置に位置させる（Ｓ７）。例えば、直前の初期位置からスタンプＳｔ１個分（３画素分）だけ右の位置に位置させる（図３（ｅ））。このようにして、スタンプＳｔは右へと位置を変えていく。
【００４３】
Ｓ６およびＳ７の後、スタンプＳｔが領域Ｋの右端を超えているか否かを判定し（Ｓ８）、ＮＯと判定された場合は、Ｓ２に戻る。ＹＥＳと判定された場合は、スタンプＳｔを１個分下に移動させたら下端を超えるか否かを判定し（Ｓ９）、ＮＯと判定された場合は、スタンプＳｔを次回の初期位置（上下方向ではスタンプ１個分下、左右方向では領域Ｋの左端の位置）に位置させ（Ｓ１０：図３（ｆ））、Ｓ２に戻る。Ｓ９でＹＥＳと判定された場合は、図２の処理を終える。
【００４４】
続いて、これまで同様の処理を行うのだが、以下の点が異なる。
【００４５】
これまでの処理では設定対象の領域の左上端の上側に接する位置を初期位置としたところを、ここでは、左下端の下側に接する位置を初期位置とする。また、スタンプＳｔを下へ移動させたところを、ここでは上へ移動させる。また、スタンプＳｔを左、右、下、右下、左下へシフトしたときの類似度を計算したところを、ここでは左、右、上、右上、左上へシフトしたときの類似度を計算する。
【００４６】
続いて、これまで同様の処理を行うのだが、以下の点が異なる。
【００４７】
これまでの処理では上下方向に３画素分、左右方向に３画素分の長さをもつスタンプＳｔを用いたところを、ここでは、例えば、上下方向に４画素分、左右方向に４画素分の長さをもつスタンプＳｔを用いる。スタンプＳｔを段階的に大きくして、さらに処理を行ってもよい。
【００４８】
図５は、従来法と本装置による補正の様子を示す画像の模式図である。
【００４９】
従来では、領域Ｋに直角な方向に濃淡値を設定する線形補間法があり、その従来法では、領域Ｋに対して斜めに入射するテクスチャを再現できない（図５（ａ））が、本装置では、類似度が最も高いシフト後位置に濃淡値を設定するので、そのような斜めのテクスチャを再現することができる（図５（ｂ））。
【００５０】
図６は、従来法と本装置による補正の様子を示す実際の画像である。
【００５１】
図６（ａ）は、様々なテクスチャおよび帯域が広い複雑なパターンで構成されていることから符号化分野の標準画像となっているマンドリルの画像（本来の画像）である。
【００５２】
図６（ｂ）は、この画像を１６画素分の画素ごとに左端から右端に走査することで表示するにあたり、表示の順で送信されるパケットにパケットロスが生じたことを想定して生成された画像である。画像はパケットロスにより濃淡値が未設定になってしまった画素からなる欠損領域を４つ含んでいる。
【００５３】
図６（ｃ）は、本装置による補正により得られた画像である。４つの欠損領域が良好に補間され、本来の画像とほとんど変わらない画像が得られた。
【００５４】
図６（ｄ）は、従来法（線形補間法）による補正により得られた画像である。４つの欠損領域がぼやけて補間され、不完全な画像となった。線形補間法は、欠損領域に接する領域の濃淡値を基にして欠損領域を線形に補間する。距離が長いほど、既知の画素間で設定すべき画素が増えるため、不自然さが目立ってしまう欠点がある。また、低域通過フィルタの性質を有するので、エッジ成分などの構造のあるテクスチャを補間しようとしても、細かい情報がぼやけた情報に変換される。これがぼやけの原理である。
【００５５】
図７は、画質についての評価結果を示す図である。
【００５６】
画質については、低空間周波数のパターンで画像補正する場合の評価結果と、高空間周波数のパターンで画像補正する場合の評価結果を示す。
【００５７】
詳しくは、復元性、連続性などについて、５人で行った主観評価の結果を示す。評価結果「１」が最も悪く、評価結果「５」が最も良いとした。
【００５８】
また、ここでは、従来法（線形補間法）での評価結果と、本装置での評価結果を示す。 従来法では、テクスチャ構造が崩れるため、高空間周波数のパターンでの評価結果が「１」近くまで悪くなった。また、高空間周波数のパターンでの評価結果は「４」ないし「５」と良好だった。
【００５９】
一方、本装置では、両パターンでの評価結果が「４」ないし「５」と良好だった。高空間周波数のパターンでの評価結果は、従来法でのものより良好だった。これは、本装置が既知画像を元にしているからであり、明らかな優位点である。
【００６０】
なお、本実施の形態では正方形としたスタンプＳｔの形状を長方形などといった他の形状としてもよい。
【００６１】
また、本実施の形態では、領域Ｋなどの矩形領域をいわゆる線順次走査しながら補正を行ったが、補正対象の領域を周回するように走査しながら補正を行ってもよい。これにより、任意の形状の領域で画像補正が行える。
【００６２】
また、上記の画像補正方法を本装置に実行させるコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録したり、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【図面の簡単な説明】
【００６３】
【図１】本実施の形態に係る画像補正装置の構成図である。
【図２】濃淡値記憶設定手段１２０が行う処理のフローチャートである。
【図３】図３の処理の様子を示す図である。
【図４】スタンプＳｔの近傍位置での類似度の分布を示した図である。
【図５】従来法と本装置による補正の様子を示す画像の模式図である。
【図６】従来法と本装置による補正の様子を示す実際の画像である。
【図７】画質についての評価結果を示す図である。
【符号の説明】
【００６４】
１００ データ入力手段
１１０ 領域分離手段
１２０ 濃淡値記憶設定手段
１３０ 終了判定手段
１４０ 画像表示手段
Ｇ 補正対象の画像
Ｋ 補正対象の領域
Ｓｔ スタンプ
【技術分野】
【０００１】
本発明は、複数の画素の大きさをもつスタンプによる画像補正方法および装置に関するものである。
【背景技術】
【０００２】
携帯電話、デジタルカメラ、ビデオ、ＤＶＤなど、情報家電の普及には目覚ましいものがある。年々、ＬＳＩ，ＤＳＰなど、組み込みのハードウェア性能は高まってきている。そのため、パソコン上で動作していた各種ソフトウェアのアプリケーションも携帯電話内でリアルタイムに動作するようになっている。
【０００３】
携帯電話における手ぶれ補正は、代表的な画像処理に基づいた補正方法の一つである。ＤＶＤにおける不要なテロップ文字の消去、これも画像処理に基づいた補正方法の一つである。
【０００４】
ときに、ハードウェアでアルゴリズムを実現するには、浮動小数点演算から整数化しての演算が求められることが少なくない。この数理的な方程式の解法で高速化を実現するには、特別の工夫が必要となっている。
【０００５】
一方で、手ぶれ補正を行うと画枠が一回り小さくなるので、元の大きさに戻る画像補正が求められる。また、不要な文字やテロップなどを自在に消去する方法についても、見やすい画像への補正が求められている。
【０００６】
これまでの画像補正は、偏微分方程式などに基づいた数値解法問題（非特許文献１など）に基づいていることが多く、例えばパソコンが用いられる。ただし、この画像補正は、補正対象が低空間周波数成分に富んでいる場合に限られる。
【０００７】
一方、エッジ構造や輪郭が明瞭な補正対象の場合は、高空間周波数成分までの補正が必要であり、これについては、非特許文献２のtexture-synthesisと呼ばれる方法が知られている。
【０００８】
しかし、この方法では、パターンマッチングに伴う演算コストが、非特許文献１の方法の数倍必要であるという欠点がある。数値演算にもよるが、非特許文献１の方法では指数関数を用いるため、単純にアルゴリズムを浮動小数点型から整数型へ変換することが容易ではない問題がある。
【０００９】
数値解法問題では、偏微分方程式の時間発展により画像を補正していく方法が中心的である。そのため、多くのメモリと空間と時間の微分計算が必要となり、携帯電話などのようなＣＰＵが高くない機種でのリアルタイム処理が困難となっている。
【００１０】
単純な方法としては、移動平均法や線形補間法などを用いれば、ある程度の画像補正ができる。しかし、補正された領域がぼやけるといった問題や周辺画像とは異なった人工的なテクスチャで補正されるといった問題が生じる。
【非特許文献１】M.Beralmio,G.Sapiro,C.Ballester,and V.Caselles,Computer Graphics,"image inpainting",Proceeding of SIGGRAPH 2000,pp.417-424,July 2000.
【非特許文献２】Li-Yi Wei and M.Levoy,"Texture systhesis over arbitrary manifold surfaces",Proceeding of SIGGRAPH 2001,pp.355-360,Aug.2001
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明が解決する課題設定の背景には、以下の問題点がある。
【００１２】
第１の問題点）携帯電話のような低性能ＣＰＵ上でも、リアルタイム処理が必要である。第２の問題点）数値演算に依存すると、多くのメモリを必要とする。第３の問題点）画像補正の低から高空間周波数成分を補正できない。第４の問題点）アルゴリズム上、整数化表現ができない。
【００１３】
以上を踏まえて、本発明は、画像内の欠落領域を高度な数理方程式によらずにしかも高速に補える画像補正方法および装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明では、例えば、計算コストが極めて低い、フィルタ設計に基づいた画素への重み付け処理として高速化を実現している。
【００１５】
また、周辺のテクスチャ特徴量に応じて、スタンプの大きさを小さいものから大きいものへ段階的に適用することで、複雑な画像パターンへ対応している。
【００１６】
また、階層画像化により、細かいテクスチャまでの補正・補間をより高速に演算できる。
【発明の効果】
【００１７】
本発明によれば、画像内の欠落領域を高度な数理方程式によらずにしかも高速に補える。
【００１８】
これにより、テロップやスーパーインポーズなどの領域を自動的にもとの背景図柄に置換することができる。
【００１９】
また、これまでの手作業によるテロップ領域へのぼかし作業を行わずして、違和感のない、もとの画像への置換が自動的かつ効果的にできる。
【００２０】
また、単純な処理の繰り返しであるため、携帯電話内での高速な処理が可能となる。
【００２１】
以上のような効果により、ブロードバンド時代における家庭からプロ仕様まで、デジタルカメラ、デジタルビデオ、デジタルテレビにおける国内外のデジタル産業における新しい画像変換技術の中核となることが考えられる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明に係るスタンプを用いた画像補正装置および方法の実施の形態を図面を参照して説明する。
【００２３】
図１は、本実施の形態に係る画像補正装置の構成図である。
【００２４】
本装置は、データ入力手段１００、領域分離手段１１０、濃淡値記憶設定手段１２０、終了判定手段１３０および画像表示手段１４０により構成される。本装置は、いわゆるコンピュータであり、コンピュータプログラムを読み込み、それに応じた処理を実行するようになっている。
【００２５】
本装置では、データ入力手段１００が、携帯電話のカメラやデジタルカメラなどの画像Ｇを入力する。画像Ｇは各画素の濃淡値で構成される。モノクロの画像Ｇでは、画素の色指定がされず、一方、カラーの画像Ｇでは、赤・緑・青の色指定がされる。画素には、例えば、８ビット階調の濃淡値が設定される。ここでは、色やビット数によらない処理を説明するので、当該事項への言及は省略する。
【００２６】
領域分離手段１１０は、例えば、文字認識技術を用いて、画像Ｇからテロップや不要物を消去する。また、領域分離手段１１０は、例えば、パケットロスで欠落した領域を分離する。ここではテロップがあった領域や欠落した領域を領域Ｋという。
【００２７】
濃淡値記憶設定手段１２０は、領域Ｋに対して順次に画像補正（濃淡値設定）を行う。詳細については後述する。
【００２８】
終了判定手段１３０は、画像補正が順次に行われる中にあって、現在の領域Ｋと直前の画像補正前の領域Ｋとの間の類似度が予め定めた閾値より高くなったら、画像補正を終了させる。
【００２９】
なお、画像Ｇを複数の解像度ごとの画像へ変換し、最も低い解像度の画像の濃淡値設定（画像補正）を行うことから始めて、当該解像度より高い解像度の画像の濃淡値設定（画像補正）を順次に行うようにしてもよい。これにより、処理時間を短縮することができる。
【００３０】
画像表示手段１４０は、かかる画像補正後の画像を表示する。
【００３１】
図２は、濃淡値記憶設定手段１２０が行う処理のフローチャートである。図３は、その処理の様子を示す図である。
【００３２】
まず、スタンプ（ここでは、上下方向に３画素分、左右方向に３画素分の長さをもつ正方形のスタンプとする）Ｓｔを初回の初期位置（初回の初期位置は、ここでは領域Ｋの左上端の上側に接する位置）に位置させる（Ｓ１：図３（ａ））。
【００３３】
次に、スタンプＳｔの位置において設定済みである全画素の濃淡値を記憶する（Ｓ２）。
【００３４】
次に、濃淡値が設定される画素の方、ここでは下の方へスタンプＳｔを例えば１画素分移動させる（Ｓ３：図３（ｂ））。つまり移動前後でのスタンプＳｔの位置を部分的に重複させる。
【００３５】
移動前の方向、ここでは上を除いた複数の方向、ここでは左（図３（ｃ）に例示）、右（図３（ｄ）に例示）、下、右下、左下（これらは例示省略）へスタンプＳｔを例えば１画素分シフトしたときシフト後位置と初期位置の類似度を計算する（Ｓ４）。つまりシフト前後でのスタンプＳｔの位置が部分的に重複するようなシフト後位置と初期位置の類似度を計算する。例えば、式（１）により類似度（Ｒ）を求める。
【数１】
【００３６】
Ｉａｖｅ ，Ｊａｖｅは、それぞれ初期位置の濃淡値の平均、シフト後位置の濃淡値の平均である。
【００３７】
Ｉ（ｉ，ｊ），Ｊ（ｉ，ｊ）は、それぞれ初期位置において左右方向ｉ，上下方向ｊの位置（つまりスタンプ内のＸ座標がｉ，Ｙ座標がｊの位置）にある画素の濃淡値、シフト後位置において左右方向ｉ，上下方向ｊの位置（つまりスタンプ内のＸ座標がｉ，Ｙ座標がｊの位置の位置）にある画素の濃淡値である。
【００３８】
ＸＳＩＺＥ ，ＹＳＩＺＥは、それぞれスタンプＳｔの左右方向（Ｘ方向）のサイズ（ここでは３（画素））、スタンプＳｔの上下方向（Ｙ方向）のサイズ（ここでは３（画素））である。
【００３９】
次に、最も高い類似度が予め定められた閾値ＴＨより高いか否かを判定する（Ｓ５）。
【００４０】
図４は、Ｓ３での移動後のスタンプＳｔを原点としてその近傍位置での類似度の分布を示した図である。近傍位置により類似度が異なるが、Ｓ５では、その中で最も高い類似度（○の位置）が予め定められた閾値ＴＨより高いかを判定する。
【００４１】
図２に戻り、Ｓ５でＹＥＳと判定された場合は、最も高い類似度に対応するシフト後位置（次回の初期位置）にスタンプＳｔを位置させ（例えば、図３（ｄ）の位置）、そこでの設定対象の画素にＳ２で記憶した濃淡値を設定する（Ｓ６）。ここではスタンプＳｔ内での位置が同じ画素の濃淡値を設定する。領域Ｋ内で濃淡値が設定済みの場合は、上書きするか、または、両濃淡値の平均を設定する。
【００４２】
Ｓ５でＮＯと判定された場合は、スタンプＳｔを次回の初期位置に位置させる（Ｓ７）。例えば、直前の初期位置からスタンプＳｔ１個分（３画素分）だけ右の位置に位置させる（図３（ｅ））。このようにして、スタンプＳｔは右へと位置を変えていく。
【００４３】
Ｓ６およびＳ７の後、スタンプＳｔが領域Ｋの右端を超えているか否かを判定し（Ｓ８）、ＮＯと判定された場合は、Ｓ２に戻る。ＹＥＳと判定された場合は、スタンプＳｔを１個分下に移動させたら下端を超えるか否かを判定し（Ｓ９）、ＮＯと判定された場合は、スタンプＳｔを次回の初期位置（上下方向ではスタンプ１個分下、左右方向では領域Ｋの左端の位置）に位置させ（Ｓ１０：図３（ｆ））、Ｓ２に戻る。Ｓ９でＹＥＳと判定された場合は、図２の処理を終える。
【００４４】
続いて、これまで同様の処理を行うのだが、以下の点が異なる。
【００４５】
これまでの処理では設定対象の領域の左上端の上側に接する位置を初期位置としたところを、ここでは、左下端の下側に接する位置を初期位置とする。また、スタンプＳｔを下へ移動させたところを、ここでは上へ移動させる。また、スタンプＳｔを左、右、下、右下、左下へシフトしたときの類似度を計算したところを、ここでは左、右、上、右上、左上へシフトしたときの類似度を計算する。
【００４６】
続いて、これまで同様の処理を行うのだが、以下の点が異なる。
【００４７】
これまでの処理では上下方向に３画素分、左右方向に３画素分の長さをもつスタンプＳｔを用いたところを、ここでは、例えば、上下方向に４画素分、左右方向に４画素分の長さをもつスタンプＳｔを用いる。スタンプＳｔを段階的に大きくして、さらに処理を行ってもよい。
【００４８】
図５は、従来法と本装置による補正の様子を示す画像の模式図である。
【００４９】
従来では、領域Ｋに直角な方向に濃淡値を設定する線形補間法があり、その従来法では、領域Ｋに対して斜めに入射するテクスチャを再現できない（図５（ａ））が、本装置では、類似度が最も高いシフト後位置に濃淡値を設定するので、そのような斜めのテクスチャを再現することができる（図５（ｂ））。
【００５０】
図６は、従来法と本装置による補正の様子を示す実際の画像である。
【００５１】
図６（ａ）は、様々なテクスチャおよび帯域が広い複雑なパターンで構成されていることから符号化分野の標準画像となっているマンドリルの画像（本来の画像）である。
【００５２】
図６（ｂ）は、この画像を１６画素分の画素ごとに左端から右端に走査することで表示するにあたり、表示の順で送信されるパケットにパケットロスが生じたことを想定して生成された画像である。画像はパケットロスにより濃淡値が未設定になってしまった画素からなる欠損領域を４つ含んでいる。
【００５３】
図６（ｃ）は、本装置による補正により得られた画像である。４つの欠損領域が良好に補間され、本来の画像とほとんど変わらない画像が得られた。
【００５４】
図６（ｄ）は、従来法（線形補間法）による補正により得られた画像である。４つの欠損領域がぼやけて補間され、不完全な画像となった。線形補間法は、欠損領域に接する領域の濃淡値を基にして欠損領域を線形に補間する。距離が長いほど、既知の画素間で設定すべき画素が増えるため、不自然さが目立ってしまう欠点がある。また、低域通過フィルタの性質を有するので、エッジ成分などの構造のあるテクスチャを補間しようとしても、細かい情報がぼやけた情報に変換される。これがぼやけの原理である。
【００５５】
図７は、画質についての評価結果を示す図である。
【００５６】
画質については、低空間周波数のパターンで画像補正する場合の評価結果と、高空間周波数のパターンで画像補正する場合の評価結果を示す。
【００５７】
詳しくは、復元性、連続性などについて、５人で行った主観評価の結果を示す。評価結果「１」が最も悪く、評価結果「５」が最も良いとした。
【００５８】
また、ここでは、従来法（線形補間法）での評価結果と、本装置での評価結果を示す。 従来法では、テクスチャ構造が崩れるため、高空間周波数のパターンでの評価結果が「１」近くまで悪くなった。また、高空間周波数のパターンでの評価結果は「４」ないし「５」と良好だった。
【００５９】
一方、本装置では、両パターンでの評価結果が「４」ないし「５」と良好だった。高空間周波数のパターンでの評価結果は、従来法でのものより良好だった。これは、本装置が既知画像を元にしているからであり、明らかな優位点である。
【００６０】
なお、本実施の形態では正方形としたスタンプＳｔの形状を長方形などといった他の形状としてもよい。
【００６１】
また、本実施の形態では、領域Ｋなどの矩形領域をいわゆる線順次走査しながら補正を行ったが、補正対象の領域を周回するように走査しながら補正を行ってもよい。これにより、任意の形状の領域で画像補正が行える。
【００６２】
また、上記の画像補正方法を本装置に実行させるコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録したり、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【図面の簡単な説明】
【００６３】
【図１】本実施の形態に係る画像補正装置の構成図である。
【図２】濃淡値記憶設定手段１２０が行う処理のフローチャートである。
【図３】図３の処理の様子を示す図である。
【図４】スタンプＳｔの近傍位置での類似度の分布を示した図である。
【図５】従来法と本装置による補正の様子を示す画像の模式図である。
【図６】従来法と本装置による補正の様子を示す実際の画像である。
【図７】画質についての評価結果を示す図である。
【符号の説明】
【００６４】
１００ データ入力手段
１１０ 領域分離手段
１２０ 濃淡値記憶設定手段
１３０ 終了判定手段
１４０ 画像表示手段
Ｇ 補正対象の画像
Ｋ 補正対象の領域
Ｓｔ スタンプ
【特許請求の範囲】
【請求項１】
濃淡値が設定済みの画素からなる領域と設定対象の画素からなる領域を含む画像を入力し、複数の画素の大きさをもつスタンプにより画素に濃淡値を設定するスタンプによる画像補正方法であって、
設定済みの画素を含む初期位置にスタンプを位置させて当該画素の濃淡値を記憶するステップ、
濃淡値が設定される画素の方へスタンプを移動させるステップ、
移動前の方向を除いた複数の方向へスタンプをシフトしたときシフト後位置と前記初期位置の類似度を計算するステップ、
最も高い類似度が予め定められた閾値より高いときは当該類似度に対応するシフト後位置の濃淡値を前記記憶された濃淡値により設定するステップを初期位置を変えながら複数回行い、
前の回で最も高い類似度が閾値より高くなかったときは初期位置を前の回の初期位置に対して異ならせる一方、前の回で最も高い類似度が閾値より高くてシフト後位置に濃淡値が設定されたときは当該シフト後位置を初期位置にする
ことを特徴とするスタンプを用いた画像補正方法。
【請求項２】
請求項１記載の画像補正方法をスタンプの大きさを変えて行うことを特徴とするスタンプを用いた画像補正方法。
【請求項３】
前記設定対象の画素からなる領域は画像内のテロップを文字認識技術により切り出してなる領域であること請求項１または２記載のスタンプを用いた画像補正方法。
【請求項４】
前記画像を複数の解像度ごとの画像へ変換し、最も低い解像度の画像の濃淡値設定から始めて、当該解像度より高い解像度の画像の濃淡値設定を順次に行うことを特徴とする請求項１ないし３のいずれかに記載のスタンプを用いた画像補正方法。
【請求項５】
濃淡値が設定済みの画素からなる領域と設定対象の画素からなる領域を含む画像を入力し、複数の画素の大きさをもつスタンプにより画素に濃淡値を設定するスタンプによる画像補正装置であって、
前記画像を入力する手段と、
前記設定対象の画素からなる領域を検出する手段と、
設定済みの画素を含む初期位置にスタンプを位置させて当該画素の濃淡値を記憶する手段と、
濃淡値が設定される画素の方へスタンプを移動させ、移動前の方向を除いた複数の方向へスタンプをシフトしたときシフト後位置と前記初期位置の類似度を計算し、最も高い類似度が予め定められた閾値より高いときは当該類似度に対応するシフト後位置の濃淡値を前記記憶された濃淡値により設定するステップを初期位置を変えながら複数回行う手段とを備え、
前の回で最も高い類似度が閾値より高くなかったときは初期位置を前の回の初期位置に対して異ならせる一方、前の回で最も高い類似度が閾値より高くてシフト後位置に濃淡値が設定されたときは当該シフト後位置を初期位置にする
ことを特徴とするスタンプを用いた画像補正装置。
【請求項６】
請求項５記載の画像補正装置が行う画像補正方法をスタンプの大きさを変えて行うことを特徴とする請求項５記載のスタンプを用いた画像補正装置。
【請求項７】
前記設定対象の画素からなる領域は画像内のテロップを文字認識技術により切り出してなる領域であること請求項５または６記載のスタンプを用いた画像補正装置。
【請求項８】
前記画像を複数の解像度ごとの画像へ変換し、最も低い解像度の画像の濃淡値設定から始めて、当該解像度より高い解像度の画像の濃淡値設定を順次に行うことを特徴とする請求項５ないし７のいずれかに記載のスタンプを用いた画像補正装置。
【請求項９】
濃淡値が設定済みの画素からなる領域と設定対象の画素からなる領域を含む画像を入力し、複数の画素の大きさをもつスタンプにより画素に濃淡値を設定するスタンプによる画像補正方法を画像補正装置に実行させるコンピュータプログラムであって、
設定済みの画素を含む初期位置にスタンプを位置させて当該画素の濃淡値を記憶するステップ、
濃淡値が設定される画素の方へスタンプを移動させるステップ、
移動前の方向を除いた複数の方向へスタンプをシフトしたときシフト後位置と前記初期位置の類似度を計算するステップ、
最も高い類似度が予め定められた閾値より高いときは当該類似度に対応するシフト後位置の濃淡値を前記記憶された濃淡値により設定するステップを初期位置を変えながら複数回行い、
前の回で最も高い類似度が閾値より高くなかったときは初期位置を前の回の初期位置に対して異ならせる一方、前の回で最も高い類似度が閾値より高くてシフト後位置に濃淡値が設定されたときは当該シフト後位置を初期位置にする
ことを特徴とするスタンプを用いた画像補正方法を画像補正装置に実行させるコンピュータプログラム。
【請求項１】
濃淡値が設定済みの画素からなる領域と設定対象の画素からなる領域を含む画像を入力し、複数の画素の大きさをもつスタンプにより画素に濃淡値を設定するスタンプによる画像補正方法であって、
設定済みの画素を含む初期位置にスタンプを位置させて当該画素の濃淡値を記憶するステップ、
濃淡値が設定される画素の方へスタンプを移動させるステップ、
移動前の方向を除いた複数の方向へスタンプをシフトしたときシフト後位置と前記初期位置の類似度を計算するステップ、
最も高い類似度が予め定められた閾値より高いときは当該類似度に対応するシフト後位置の濃淡値を前記記憶された濃淡値により設定するステップを初期位置を変えながら複数回行い、
前の回で最も高い類似度が閾値より高くなかったときは初期位置を前の回の初期位置に対して異ならせる一方、前の回で最も高い類似度が閾値より高くてシフト後位置に濃淡値が設定されたときは当該シフト後位置を初期位置にする
ことを特徴とするスタンプを用いた画像補正方法。
【請求項２】
請求項１記載の画像補正方法をスタンプの大きさを変えて行うことを特徴とするスタンプを用いた画像補正方法。
【請求項３】
前記設定対象の画素からなる領域は画像内のテロップを文字認識技術により切り出してなる領域であること請求項１または２記載のスタンプを用いた画像補正方法。
【請求項４】
前記画像を複数の解像度ごとの画像へ変換し、最も低い解像度の画像の濃淡値設定から始めて、当該解像度より高い解像度の画像の濃淡値設定を順次に行うことを特徴とする請求項１ないし３のいずれかに記載のスタンプを用いた画像補正方法。
【請求項５】
濃淡値が設定済みの画素からなる領域と設定対象の画素からなる領域を含む画像を入力し、複数の画素の大きさをもつスタンプにより画素に濃淡値を設定するスタンプによる画像補正装置であって、
前記画像を入力する手段と、
前記設定対象の画素からなる領域を検出する手段と、
設定済みの画素を含む初期位置にスタンプを位置させて当該画素の濃淡値を記憶する手段と、
濃淡値が設定される画素の方へスタンプを移動させ、移動前の方向を除いた複数の方向へスタンプをシフトしたときシフト後位置と前記初期位置の類似度を計算し、最も高い類似度が予め定められた閾値より高いときは当該類似度に対応するシフト後位置の濃淡値を前記記憶された濃淡値により設定するステップを初期位置を変えながら複数回行う手段とを備え、
前の回で最も高い類似度が閾値より高くなかったときは初期位置を前の回の初期位置に対して異ならせる一方、前の回で最も高い類似度が閾値より高くてシフト後位置に濃淡値が設定されたときは当該シフト後位置を初期位置にする
ことを特徴とするスタンプを用いた画像補正装置。
【請求項６】
請求項５記載の画像補正装置が行う画像補正方法をスタンプの大きさを変えて行うことを特徴とする請求項５記載のスタンプを用いた画像補正装置。
【請求項７】
前記設定対象の画素からなる領域は画像内のテロップを文字認識技術により切り出してなる領域であること請求項５または６記載のスタンプを用いた画像補正装置。
【請求項８】
前記画像を複数の解像度ごとの画像へ変換し、最も低い解像度の画像の濃淡値設定から始めて、当該解像度より高い解像度の画像の濃淡値設定を順次に行うことを特徴とする請求項５ないし７のいずれかに記載のスタンプを用いた画像補正装置。
【請求項９】
濃淡値が設定済みの画素からなる領域と設定対象の画素からなる領域を含む画像を入力し、複数の画素の大きさをもつスタンプにより画素に濃淡値を設定するスタンプによる画像補正方法を画像補正装置に実行させるコンピュータプログラムであって、
設定済みの画素を含む初期位置にスタンプを位置させて当該画素の濃淡値を記憶するステップ、
濃淡値が設定される画素の方へスタンプを移動させるステップ、
移動前の方向を除いた複数の方向へスタンプをシフトしたときシフト後位置と前記初期位置の類似度を計算するステップ、
最も高い類似度が予め定められた閾値より高いときは当該類似度に対応するシフト後位置の濃淡値を前記記憶された濃淡値により設定するステップを初期位置を変えながら複数回行い、
前の回で最も高い類似度が閾値より高くなかったときは初期位置を前の回の初期位置に対して異ならせる一方、前の回で最も高い類似度が閾値より高くてシフト後位置に濃淡値が設定されたときは当該シフト後位置を初期位置にする
ことを特徴とするスタンプを用いた画像補正方法を画像補正装置に実行させるコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図６】
【公開番号】特開２００８−１０７８９４（Ｐ２００８−１０７８９４Ａ）
【公開日】平成２０年５月８日（２００８．５．８）
【国際特許分類】
【出願番号】特願２００６−２８７５２８（Ｐ２００６−２８７５２８）
【出願日】平成１８年１０月２３日（２００６．１０．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２０年５月８日（２００８．５．８）
【国際特許分類】
【出願日】平成１８年１０月２３日（２００６．１０．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]