画像処理装置
【課題】入力画像の周波数帯域を調べることで入力画像が本来持っている解像度を求める。
【解決手段】画像処理装置は、入力画像Ｄ０の所定の領域Ｒ内に存在する画素ごとに、その画素を基準として所定の間隔で位置する複数の画素の画素値から代表差分値Ｄ１１を求めて出力する特徴量検出部１１と、所定の領域Ｒ内に存在する画素ごとに求めた代表差分値から特徴量合成値Ｄ１２を求めて出力する特徴量合成部１２と、特徴量合成値Ｄ１２に対して単調非減少の関係を持つ解像度判別信号Ｄ１を特徴量合成値Ｄ１２から求めて出力する解像度判別信号生成部１３を有する画像分析部１を備え、解像度判別信号Ｄ１は所定の間隔から決まる所定の周波数以上の信号成分が入力画像Ｄ０にどのくらい含まれるかを示す。
【解決手段】画像処理装置は、入力画像Ｄ０の所定の領域Ｒ内に存在する画素ごとに、その画素を基準として所定の間隔で位置する複数の画素の画素値から代表差分値Ｄ１１を求めて出力する特徴量検出部１１と、所定の領域Ｒ内に存在する画素ごとに求めた代表差分値から特徴量合成値Ｄ１２を求めて出力する特徴量合成部１２と、特徴量合成値Ｄ１２に対して単調非減少の関係を持つ解像度判別信号Ｄ１を特徴量合成値Ｄ１２から求めて出力する解像度判別信号生成部１３を有する画像分析部１を備え、解像度判別信号Ｄ１は所定の間隔から決まる所定の周波数以上の信号成分が入力画像Ｄ０にどのくらい含まれるかを示す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関する。
【背景技術】
【０００２】
入力された画像の解像度を検出して自動的に画像補正を行うことがなされている。例えば特許文献１による自動補正回路では、画像の解像度を検出する解像度検出手段と、検出された解像度に基づいて画像補正に用いる設定値を算出する設定値算出手段と、算出された設定値に基づいて、画像補正を行う画像補正手段を備えている。また、画像の解像度を検出するために、画像の有効期間を表すイネーブル信号の立ち上がりから立ち下がりまでの期間をカウントしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１６６１８８号公報（第１図、第２図、第３図）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像の有効期間を表すイネーブル信号の立ち上がりから立ち下がりまでの期間をカウントすることは、画像の水平画素数あるいは垂直画素数をカウントすることに相当する。つまり、特許文献１の技術は、入力画像の画素数から入力画像の解像度を検出している。
しかしながら、上記のように画像の画素数から画像の解像度を検出すると、画像によっては解像度を正しく検出できない場合がある。すなわち、入力画像として、ある低解像度の画像が拡大された画像が入力される場合、入力画像の解像度は、その画素数から考えられる解像度より低いと考える方が妥当である。よって入力画像の画素数をもとに画像補正を行うと、入力画像によっては適切に処理できない。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、入力画像で所定の間隔に位置する複数の画素の画素値の変化に基づいて、前記所定の間隔から決まる所定の周波数以上の信号成分が前記入力画像にどのくらい含まれるかを示す解像度判別信号を求める画像分析部を備えたものである。
【発明の効果】
【０００６】
本発明の画像処理装置によれば、入力画像の解像度に応じて入力画像を処理することができる。
【図面の簡単な説明】
【０００７】
【図１】この発明の実施の形態１に係る画像処理装置の構成図である。
【図２】この発明の実施の形態１に係る画像処理装置が有する画像分析部の構成図である。
【図３】この発明の実施の形態１に係る画像処理装置が有する特徴量検出部の構成図である。
【図４】この発明に係る画像処理装置に入力される入力画像における画素を説明する図である。
【図５】この発明の実施の形態１に係る画像処理装置が有する解像度判別信号生成部の動作を説明する図である。
【図６】画像処理装置に入力される入力画像の周波数スペクトルを説明する図である。
【図７】この発明の実施の形態１に係る画像処理装置に入力される入力画像の画素値の変化を表す図である。
【図８】この発明の実施の形態１に係る画像処理装置に入力される入力画像の画素値の別の変化を表す図である。
【図９】この発明の実施の形態１に係る画像処理装置に入力される図７の入力画像の画素値の差分を示す図である。
【図１０】この発明の実施の形態１に係る画像処理装置に入力される図８の入力画像の画素値の差分を示す図である。
【図１１】この発明の実施の形態１に係る画像処理装置で画素値の差分の符号が交互になることへの低周波成分の影響を説明する図である。
【図１２】この発明の実施の形態１に係る画像処理装置に入力される図８の入力画像の画素値の２画素となりの画素との差分を示す図である。
【図１３】この発明の実施の形態２に係る画像処理装置が有する画像分析部の構成図である。
【図１４】この発明の実施の形態２に係る画像処理装置が有する特徴量検出部の構成図である。
【図１５】この発明の実施の形態２に係る画像処理装置で重み係数の求め方を説明する図である。
【図１６】この発明の実施の形態２に係る画像処理装置で入力画像を得るための環境の一例を表す図である。
【図１７】この発明の実施の形態２に係る画像処理装置で異なる明るさで撮像された入力画像について考察する図である。
【図１８】この発明の実施の形態３に係る画像処理装置の構成図である。
【図１９】この発明の実施の形態３に係る画像処理装置の利用方法を例により説明する図である。
【図２０】この発明の実施の形態３に係る画像処理装置が有する時系列分析部の動作を説明する図である。
【図２１】この発明の実施の形態３に係る画像処理装置の動作を例により説明するための入力画像の図である。
【図２２】画像処理装置における強調処理で発生するオーバーシュートとアンダーシュートについて説明する図である。
【図２３】この発明の実施の形態４に係る画像処理装置が有する時系列分析部の構成図である。
【図２４】この発明の実施の形態４に係る画像処理装置が有する履歴補正部の動作を説明する図である。
【図２５】この発明の実施の形態４に係る画像処理装置が有する履歴補正部の動作を説明する図である。
【発明を実施するための形態】
【０００８】
実施の形態１．
図１は本発明の実施の形態１による画像処理装置の構成図である。実施の形態１による画像処理装置は入力画像Ｄ０の解像度を求める画像分析部１、求めた解像度に応じて入力画像Ｄ０を処理して出力画像Ｄ２を得る画像処理演算部２を有する。
【０００９】
画像分析部１は入力画像Ｄ０の画素値から、入力画像Ｄ０の解像度を求め、その結果を解像度判別信号Ｄ１として出力する。画像処理演算部２は、解像度判別信号Ｄ１を利用して、入力画像Ｄ０に対し、ノイズ処理、強調処理などさまざまな画像処理を行い、その結果として得られる画像を出力画像Ｄ２として出力する。ここで画像処理演算部２は、解像度判別信号Ｄ１の値によって画像処理の動作を変化させる。
詳細は後述するが、画像分析部１は、入力画像Ｄ０で所定の間隔に位置する複数の画素の画素値の変化に基づいて、所定の間隔から決まる所定の周波数以上の信号成分が入力画像Ｄ０にどのくらい含まれるかを示す解像度を求めるものである。
【００１０】
図２は画像解析部１の構成を表す図である。画像分析部１は、特徴量検出部１１、特徴量合成部１２、解像度判別信号生成部１３を有する。
【００１１】
まず、特徴量検出部１１について説明する。特徴量検出部１１は入力画像Ｄ０の所定の領域内に存在する画素ごとに、その画素を基準にして所定の間隔で配置された複数の画素の集合である注目画素群を設定し、設定した注目画素群を構成する画素の画素値の変化から後述の処理によって代表差分値Ｄ１１を求め出力する。
【００１２】
図３は特徴量検出部１１の構成を表す図である。特徴量検出部１１は画素選択部１１１、差分計算部１１２、代表差分計算部１１３を有する。
【００１３】
画素選択部１１１は、入力画像Ｄ０の所定の領域内に存在する画素ごとに、その画素ごとに設定される注目画素群を構成する画素の画素値を注目画素群画素値データＤＡとして出力する。
【００１４】
図４は、この発明に係る画像処理装置に入力される入力画像における画素を説明する図である。図４を用いて画素選択部１１１の動作および注目画素群画素値データＤＡについて説明する。図４には入力画像Ｄ０および入力画像Ｄ０を構成する画素が模式的に表されている。図４で最も小さい四角が、画素を表している。また、入力画像Ｄ０の水平方向、垂直方向に沿って水平座標、垂直座標が定義されており、水平座標がｘ、垂直座標がｙで表される座標に位置する画素の画素値をｄ（ｘ，ｙ）で表す。また、これらの座標軸の格子点の間隔は入力画像Ｄ０を構成する画素の間隔と等しいものとする。図４に示した例では、入力画像Ｄ０の水平方向の画素数はＷ、垂直方向の画素数はＨとなる。
【００１５】
画像選択部１１１は、図４で水平座標ｘ、垂直座標ｙで表される画素を（ｘ，ｙ）で表現するとして、（ａ，ｂ）、（ｐ，ｂ）、（ａ，ｑ）、（ｐ，ｑ）で表される４つの画素を頂点とする長方形で表される領域Ｒ内に存在する各画素について、注目画素群および注目画素群画素値データＤＡを求める。ここで注目画素群は、領域Ｒ内に存在する各画素について、自身を起点として水平方向に１画素間隔で並ぶ４個の画素を有する。すなわち、（ｕ，ｖ）で表される注目画素に対する注目画素群は、（ｕ，ｖ）、（ｕ＋１，ｖ）、（ｕ＋２，ｖ）、（ｕ＋３，ｖ）という4個の画素を有することになり、注目画素群画素値データＤＡは４個の画素値ｄ（ｕ，ｖ）、ｄ（ｕ＋１，ｖ）、ｄ（ｕ＋２，ｖ）、ｄ（ｕ＋３，ｖ）を有する。
【００１６】
画面右端に少なくとも３画素が残るように領域Ｒを設定すれば、（ｕ＋３，ｖ）に画素があるかどうかなどの場合分け処理が不要になり、処理が簡単になる。領域Ｒは視聴者がよく見る画面中央部を含むように設定することが望ましい。領域Ｒを小さくすれば解像度判別の処理を高速化でき、領域Ｒを大きくすれば小さい場合よりも正確に画像の解像度を判別できる。
【００１７】
差分計算部１１２の動作を説明する。差分計算部１１２は、４個の画素の中の隣接する２個の画素の組に対してそれぞれ１個の差分量（画素値の変化量）を計算する。すなわち、以下の式で計算される差分量Ｓ（１）、Ｓ（２）、Ｓ（３）を計算し、その結果を差分データＤＢとして出力する。
Ｓ（１）＝ｄ（ｕ＋１，ｖ）−ｄ（ｕ，ｖ）
Ｓ（２）＝ｄ（ｕ＋２，ｖ）−ｄ（ｕ＋１，ｖ）
Ｓ（３）＝ｄ（ｕ＋３，ｖ）−ｄ（ｕ＋２，ｖ）
【００１８】
代表差分計算部１１３は、差分データＤＢをＳ（１）、Ｓ（２）、Ｓ（３）の順に並べた場合に正の値と負の値が交互に並ぶ場合、ゼロ以外の値、例えばＳ（１）、Ｓ（２）、Ｓ（３）の絶対値のうち最小の値を代表差分値Ｄ１１として出力する。なお、それ以外の場合は代表差分値Ｄ１１の値としてゼロを出力する。
【００１９】
より具体的に説明すると、Ｓ（１）が正の値かつＳ（２）が負の値かつＳ（３）が正の値の場合、あるいはＳ（１）が負の値かつＳ（２）が正の値かつＳ（３）が負の値の場合は、Ｓ（１）、Ｓ（２）、Ｓ（３）の絶対値のうち最小の値を代表差分値Ｄ１１として出力し、それ以外の場合は代表差分値Ｄ１１の値としてゼロを出力する。
【００２０】
そして特徴量計算部１１からは、領域Ｒ内に含まれる各画素について上記の手順で求められた代表差分値Ｄ１１が、出力される。図４の例では領域Ｒ内には（ｐ−ａ＋１）×（ｑ−ｂ＋１）個の画素が含まれるので、（ｐ−ａ＋１）×（ｑ−ｂ＋１）個の代表差分値Ｄ１１が出力される。
【００２１】
次に、特徴量合成部１２の動作を説明する。特徴量合成部１２は特徴量計算部１１から出力される代表差分値Ｄ１１を合成して得た特徴量合成値を特徴量合成データＤ１２として出力する。ここで、特徴量合成部１２は、（ｐ−ａ＋１）×（ｑ−ｂ＋１）個の代表差分値Ｄ１１を加算した値を特徴量合成データＤ１２として出力する。
【００２２】
次に、解像度判別信号生成部１３の動作を説明する。解像度判別信号生成部１３は特徴量合成データＤ１２の値に対して単調非減少である解像度判別信号Ｄ１として出力する。
【００２３】
単調非減少とは、以下を意味する。特徴量合成データＤ１２の値として２つの値Ｄ１２ＸとＤ１２Ｙを考え、特徴量合成データＤ１２の値がＤ１２Ｘだった場合に出力される解像度判別信号Ｄ１の値をＤ１Ｘ、特徴量合成データＤ１２の値がＤ１２Ｙだった場合に出力される解像度判別信号Ｄ１の値をＤ１Ｙで表した時、Ｄ１２Ｘ＜Ｄ１２Ｙであれば、Ｄ１Ｘ≦Ｄ１Ｙとなることである。
【００２４】
図５は、この発明の実施の形態１に係る画像処理装置が有する解像度判別信号生成部の動作を説明する図である。図５（Ａ）が、特徴量合成データＤ１２と比例するように解像度判別信号Ｄ１を解像度判別信号生成部１３が出力する場合である。図５（Ｂ）では、特徴量合成データＤ１２が閾値th1以下では解像度判別信号Ｄ１をゼロとし、閾値th1から閾値th2までは解像度判別信号Ｄ１が特徴量合成データＤ１２の一次関数で表現されるように、特徴量合成データＤ１２が閾値th2以上では解像度判別信号Ｄ１が一定値となるように、解像度判別信号生成部１３が動作する場合である。
【００２５】
特徴量合成データＤ１２は多数の代表差分値Ｄ１１の和であるので大きな値となり、大きなビット数で表現する必要がある。解像度判別信号Ｄ１は、所定のビット数（例えば８ビット）の数である。単調非減少の関係を持たせて特徴量合成データＤ１２を解像度判別信号Ｄ１に変換することにより、画像処理演算部２が処理しやすい解像度判別信号Ｄ１を得ることができる。
【００２６】
以下、画像分析部１の作用、効果、本発明の実施の形態１による画像処理装置の効果について説明する。
【００２７】
図６は、画像処理装置に入力される入力画像の周波数スペクトルを説明する図である。図６でＦｎは入力画像Ｄ０の単位長あたりの画素数から決まるナイキスト周波数を表す。入力画像Ｄ０がＦｎの周波数の信号だけを有する場合には、水平方向および垂直方向で画素値が正負の同じ値を交互に取ることになる。
【００２８】
入力画像Ｄ０のスペクトル強度は水平方向周波数と垂直方向周波数に対応した２本の周波数軸で張られる周波数平面状上の各点について与えられるため、その形状を正確に記すためには３次元空間を用いる必要がある。しかしその形状は周波数軸の原点を中心に等方的に広がったものであるため、１本の周波数軸を用いればその形状を模式的に表すことができる。そのため、図６では周波数軸は１本しか用いていない。なお、水平方向と垂直方向で画素の間隔が異なる場合は、水平方向周波数と垂直方向周波数の両方を考慮する必要がある。
【００２９】
一般的に入力画像Ｄ０のスペクトル強度は原点（周波数がゼロ）にピークを持ち、周波数が高くなるほど、そのスペクトル強度が低下する。撮像素子により画像を撮像する場合には、単位長あたりの撮像素子の個数から決まるナイキスト周波数よりも大きい周波数成分は画像に含まれない。そのため、入力画像Ｄ０の周波数スペクトルは、スペクトル強度ＳＰＨで表すように、周波数が±Ｆｎ近傍の値をとる帯域まである程度のスペクトル強度を持ち、Ｆｎ以上ではゼロになる。
【００３０】
しかし、入力画像Ｄ０によってはその周波数スペクトルが、スペクトル強度ＳＰＨで示した形状のようにならない場合がある。その典型例として、入力画像Ｄ０が、入力画像Ｄ０より画素数の少ない画像を拡大して得られたものであった場合が考えられる。例えば、水平方向にＷ／２画素、垂直方向にＨ／２画素の画素数を持った画像を水平方向、垂直方向とも２倍に拡大して入力画像Ｄ０を得た場合、入力画像Ｄ０の周波数スペクトルはスペクトル強度ＳＰＬで示したようになる。すなわち、スペクトル強度は、周波数が±Ｆｎ／２近傍の帯域まではある程度の値を維持しているものの、周波数の絶対値がＦｎ／２よりも十分に大きい帯域ではほぼゼロとなる。
【００３１】
画像処理演算部２で強調処理を行う場合を考える。単純な強調処理は、入力画像Ｄ０の特定の周波数帯域近傍の高周波数成分を取り出し、所定の利得で増幅した後、入力画像Ｄ０に加算することで実現する。このように処理する理由は、上記の処理によって入力画像Ｄ０の高周波数成分のスペクトル強度が増加するからである。なお、特定の周波数帯域近傍の周波数成分を取り出すには高周波数成分通過フィルタや帯域周波数成分通過フィルタなどが利用できる。
【００３２】
入力画像Ｄ０の周波数スペクトルがスペクトル強度ＳＰＨで表されるような形状の場合、周波数の絶対値がＦｎ／２程度以上でありＦｎ以下の所定の帯域の周波数成分を取り出し、所定の利得で増幅した後、入力画像Ｄ０に加算することで高周波数成分のスペクトル強度を増すことができる。
【００３３】
一方、入力画像Ｄ０の周波数スペクトルがスペクトル強度ＳＰＬで表されるような形状の場合、周波数の絶対値がＦｎ／２程度以上でありＦｎ以下の所定の帯域にはそもそも対応する周波数成分がわずかしか含まれていないため、この帯域の周波数成分を取り出しても効果があまりない。その代わりに、例えば周波数の絶対値がＦｎ／４程度以上でありＦｎ／２以下の所定の帯域の周波数成分を取り出し、所定の利得で増幅した後、入力画像Ｄ０に加算する方が効果的である。
【００３４】
要するに、スペクトル強度ＳＰＨを与える入力画像Ｄ０も、スペクトル強度ＳＰＬを与える入力画像Ｄ０も画素数は同じであるが、その周波数スペクトルの広がり方が異なるため、それぞれに効果的な画像処理の内容が異なる。したがって、入力画像Ｄ０の画素数ではなく周波数スペクトルの広がり方によって画像処理演算部２の処理内容を変える、例えば高周波数成分通過フィルタの周波数特性を変更することが望ましい。
【００３５】
なお、高周波数成分通過フィルタの周波数特性を変えるのではなく、取り出した周波数成分に対する利得を制御してもよい。例えば、高周波数成分通過フィルタは、周波数の絶対値がＦｎ／２近傍の値以上となる帯域の高周波数成分を取り出すよう設計しておき、スペクトル強度ＳＰＨで表されるような形状の周波数スペクトルを持つ入力画像に対しては利得の値を小さくし、スペクトル強度ＳＰＬで表されるような形状の周波数スペクトルを持つ入力画像に対しては利得の値を大きくしてもよい。
【００３６】
別の言い方をすれば、入力画像Ｄ０の周波数スペクトルがどの程度の周波数帯域まで広がっているか、あるいは所定の周波数帯域まで広がっているかを表す信号を求めることで、入力画像Ｄ０の解像度に応じた画像処理を行うことができる。
【００３７】
ところが、入力画像Ｄ０の周波数スペクトルを正確に計算するためには入力画像Ｄ０をフーリエ変換する必要があり、演算量が膨大になる。したがって入力画像Ｄ０の周波数スペクトルの広がり方に応じて画像処理演算部２の演算内容を変更する処理を実現するためには、フーリエ変換以外の方法で入力画像Ｄ０の周波数スペクトルの広がりを推定する方法が必要である。
【００３８】
本発明の実施の形態１の画像分析部１によれば簡単な演算で入力画像Ｄ０の周波数スペクトルの広がりを見積もることができる。よって本発明の実施の形態１の画像処理装置では、入力画像Ｄ０の周波数スペクトルの広がり方に応じて画像処理演算部２の演算内容を変更することが可能になる。
【００３９】
入力画像Ｄ０をフーリエ変換することに比べ、画像分析部１の演算量が少ないことは、実施の形態１の説明から当業者には明らかである。よって、以下では、画像分析部１によって入力画像Ｄ０の周波数スペクトルの形状を見積もることができることを説明する。
【００４０】
図７と図８は入力画像Ｄ０の画素値を水平方向に１３画素分プロットしたデータを表す折れ線である。ここで図７は画素値の変化に、±Ｆｎ程度の周波数で表される正弦波で近似できる変化が多く含まれている場合の例であり、図８は画素値の変化に、±Ｆｎ／２程度の周波数で表される正弦波で近似できる変化が多く含まれている場合の例である。なお、図７と図８では、入力画像Ｄ０の画素間の距離をＬで表している。
【００４１】
以下、特徴量計算部１１は図７と図８に示された画素のうち水平座標が１であるものから１０であるものまでに対して、先に説明した手順で注目画素群を設定し、代表差分値Ｄ１１を求めるものとする。自分の画素値から座標が大きい画素の画素値を引いた差分量を、図７に対して求めると、図９となる。図８に対して差分量を求めたものが図１０である。
【００４２】
図９に示す差分量から分かるように、図７で示された画素値の例で連続する３個の差分量の符号が交互（＋−＋、または−＋−）になり、代表差分値Ｄ１１がゼロ以外の値をとる注目画素群は、以下のようになる。
水平座標１で与えられる画素に対して設定される注目画素群
水平座標２で与えられる画素に対して設定される注目画素群
水平座標３で与えられる画素に対して設定される注目画素群
水平座標４で与えられる画素に対して設定される注目画素群
水平座標５で与えられる画素に対して設定される注目画素群
水平座標８で与えられる画素に対して設定される注目画素群
水平座標９で与えられる画素に対して設定される注目画素群
水平座標１０で与えられる画素に対して設定される注目画素群
【００４３】
この場合、代表差分値Ｄ１１はゼロ以外の値をとる場合が多いため、代表差分値Ｄ１１を加算して得られる特徴量合成データＤ１２はある程度大きい値をとる。
【００４４】
一方、図１０に示す差分量から分かるように、図８に示す例では、以下に示す画素に対して設定される注目画素群から計算される代表差分値Ｄ１１がゼロ以外の値をとる。
水平座標９で与えられる画素に対して設定される注目画素群
【００４５】
この場合、代表差分値Ｄ１１の値がゼロ以外の値をとる場合が１０画素中の１画素しかなく、代表差分値Ｄ１１を加算して得られる特徴量合成データＤ１２は大きくならない。
以上の例では、入力画像Ｄ０の画素値の変化に、周波数の絶対値がＦｎ程度となる正弦波で近似できる成分が多く含まれている場合、特徴量合成データＤ１２の値は大きくなり、入力画像Ｄ０の画素値の変化に、周波数の絶対値がＦｎよりも低い値、例えばＦｎ／２程度となる正弦波で近似できる成分が多く含まれている場合はあまり大きな値とならないことが示されたが、以下の考察によって、入力画像Ｄ０の画素値の変化に周波数の絶対値がＦｎ／２程度よりも大きな値となる正弦波で近似できる成分が多く含まれるほど、特徴量合成データＤ１２の値が大きくなることが分かる。
【００４６】
入力画像Ｄ０に±β*Ｆｎの周波数（注目周波数と呼ぶ、０＜β≦１）の成分が含まれる場合には、差分量Ｓでも注目周波数の成分が含まれる。差分量Ｓに注目周波数の成分だけが存在すると仮定して、連続する３個の差分量Ｓの位相は、中央の差分量Ｓの位相をα（０以上、π未満）とすると、−πβ＋α、α、πβ＋αになる。３個の差分量Ｓの符号が交互になる条件は、以下となる。
−π＜−πβ＋α＜０＜α＜π＜πβ＋α＜２π （１）
（１）式から、以下の（２）式が得られる。
１／２＜β≦１ かつ π（１−β）＜α＜πβ （２）
【００４７】
（２）式から、βが１／２より大きければ、βが１に近いほど大きな確率（β＝１では、ほぼ１００％）で３個の差分量Ｓの符号が交互になることが分かる。差分量Ｓに注目周波数の成分だけが存在する場合には、絶対値がＦｎ／２以下の注目周波数では、連続する３個の差分量Ｓの符号が交互になることは発生しないことを示している。実際には、注目周波数以外の周波数が入力画像Ｄ０に含まれており、絶対値がＦｎ／２以下の周波数だけでも、連続する３個の差分量Ｓの符号が交互になる場合が発生する。ただし、周波数が低いほど、連続する３個の差分量Ｓの符号が交互になる場合が発生する確率は小さくなる。
【００４８】
複数の周波数の信号が存在するため、絶対値がＦｎ／２以下の周波数の信号成分だけでも連続する３個の差分量Ｓの符号が交互になる場合について、考察する。注目周波数と、もう１つの周波数（周波数γＦｎ、位相δ）の２つの信号が存在する場合を考える。
Ｓ(x)＝sin(πβ*x＋α)＋b*sin(πγ*x＋δ) （３）
ここに、ｘは画素位置である。ｘが1違う画素は、互いに隣接する。γが十分に小さく、注目周波数の１周期ではほとんど変化しないとして、（３）式の右辺第２項を変数（−ｃ）に置き換えると、以下のようになる。
Ｓ(x)＋ｃ＝sin(πβ*x＋α) （４）
なお、（３）式では１個の周波数γＦｎだけを示したが、低周波成分（βの数分の１程度以下の周波数すべて）の影響を変数ｃとして表すことができる。なお、差分量Ｓは画素値の１次微分に相当する量なので、低周波数であるほど、同じ振幅でも差分量Ｓの値は小さくなる。図６に示すようなスペクトル分布を前提としているので、βが大きくなるほど、より大きな周波数が低周波成分に含まれるようになり、変数ｃも大きな値を取りうることになる。
【００４９】
図１１に、この発明の実施の形態１に係る画像処理装置で画素値の差分の符号が交互になることへの低周波成分の影響を説明する図である。図１１では、ｘ＝０付近での（４）式の様子を図に示す。図１１では、ｘ＝−１、０、１の３画素での差分量Ｓ(x)の符号は−＋−となる。詳細は省略するが、３画素で差分量の符合が交互になる条件は、以下である。
π(１−β)/２＜α≦π/２で、sin(πβ＋α)＜ｃ＜sin(α) （５Ａ）
π/２≦α＜π(１＋β)/２で、sin(−πβ＋α)＜ｃ＜sin(α) （５Ｂ）
【００５０】
（５Ａ）、（５Ｂ）式から、βが０に近い値であっても３画素で差分量の符号が交互になる場合があり、βが大きいほど、３画素で差分量の符合が交互になるαの範囲が大きく、αを固定して考えると変数ｃの範囲も大きいことが分かる。また、αがπ/２に近いほど、βが同じでも３画素で差分量の符合が交互になる変数ｃの範囲が大きくなる。
代表差分値Ｄ１１の値は、０に近いβに対応する周波数の影響も入るが、βが１/２よりも十分に大きい周波数の影響と比較すると、０に近いβに対応する周波数の影響の大きさはかなり小さくなる。
【００５１】
以上のことから、連続する３個の差分量Ｓの符号が交互になる場合にゼロで無い値をとる解像度判別信号Ｄ１は、絶対値がＦｎ／２程度以上（Ｆｎ／２よりも小さい周波数も含む）の周波数を、周波数が大きいほど大きな値になる重み係数で重み付け加算した値を求めることを意味することが分かる。そして、特徴量合成データＤ１２は、入力画像Ｄ０の画素値の変化に周波数の絶対値がＦｎ／２程度以上の周波数の正弦波で近似できる成分が多く含まれるほど大きな値になることが分かる。
さらに解像度判別信号Ｄ１は特徴量合成データＤ１２に対し単調非減少の関係があるので、解像度判別信号Ｄ１も、入力画像Ｄ０の画素値の変化に周波数の絶対値がＦｎ／２程度以上の周波数の正弦波で近似できる成分が多く含まれるほど大きな値になる。また、入力画像Ｄ０の画素値の変化に周波数の絶対値がＦｎ／２程度以上の周波数の正弦波で近似できる成分が多く含まれる場合、入力画像Ｄ０の周波数スペクトルは、周波数の絶対値がＦｎ／２以上の値となる帯域まで広がっている。したがって解像度判別信号Ｄ１の値によって、入力画像Ｄ０の周波数スペクトルがどの程度の周波数帯域まで広がっているか見積もることができる。
【００５２】
また、解像度判別信号Ｄ１の値によって入力画像Ｄ０の周波数スペクトルがどの程度の周波数帯域まで広がっているか見積もることができるので、解像度判別信号Ｄ１を用いることで、入力画像Ｄ０の周波数スペクトルに適した画像処理を行うことが可能になる。
【００５３】
上記の説明では、入力画像Ｄ０の画素値の変化に周波数の絶対値がＦｎ／２程度以上の周波数の正弦波で近似できる成分が多く含まれる場合に、解像度判別信号Ｄ１の値が大きな値をとるものであったが、解像度判別信号Ｄ１が反応する周波数帯域はこの例に限定されるものではない。注目画素群の構成を変えることで周波数の絶対値がＦｎ／２よりも小さい周波数帯域を、解像度判別信号Ｄ１が反応する周波数帯域とすることができる。
【００５４】
以下、入力画像Ｄ０の周波数スペクトルに、周波数の絶対値がＦｎ／４程度以上でＦｎ／２程度以下となる帯域の周波数成分がどの程度あるかを判断する場合を例に説明する。この場合、領域Ｒ内の各画素に対して与えられる注目画素群を、自身を起点として水平方向に２画素間隔で並ぶ４点の画素とすればよい。
【００５５】
すなわち、（ｕ，ｖ）で表される画素に対して設定される注目画素群は、（ｕ，ｖ）、（ｕ＋２，ｖ）、（ｕ＋４，ｖ）、（ｕ＋６，ｖ）という4個の画素を有することになる。
また、注目画素群画素値データＤＡは４個の画素値ｄ（ｕ，ｖ）、ｄ（ｕ＋２，ｖ）、ｄ（ｕ＋４，ｖ）、ｄ（ｕ＋６，ｖ）を有する。
さらに、差分データＤＢは以下の式で表される３個の差分量Ｓ（１）、Ｓ（２）、Ｓ（３）を有する。
Ｓ（１）＝ｄ（ｕ＋２，ｖ）−ｄ（ｕ，ｖ）
Ｓ（２）＝ｄ（ｕ＋４，ｖ）−ｄ（ｕ＋２，ｖ）
Ｓ（３）＝ｄ（ｕ＋６，ｖ）−ｄ（ｕ＋４，ｖ）
【００５６】
入力画像Ｄ０の周波数スペクトルに、周波数の絶対値がＦｎ／４程度以上でＦｎ／２程度以下となる帯域の周波数成分のうち、特に周波数が±Ｆｎ／２近傍の成分が多い場合に、図８に示すように、入力画像Ｄ０の画素値の変化には、周期が４Ｌ程度の正弦波で近似できる変化が見られる。図８の画素値の場合で、２個右の画素の画素値との差分を取ったものを、図１２に示す。
【００５７】
図１２から分かるように、図８の水平座標が１であるものから７であるものまでに対し、代表差分値Ｄ１１を求めた場合、以下に示す注目画素群から計算される代表差分値Ｄ１１がゼロ以外の値をとる。
水平座標１
水平座標２
水平座標４
水平座標６
【００５８】
１画素間隔で差分をとる場合と比較して、２画素間隔で差分をとることにより、代表差分値Ｄ１１がゼロ以外の値をとる機会が増えたことがわかる。それに合わせ、特徴量合成データＤ１２もある程度の値を持ち、解像度判別信号Ｄ１の値も大きくなることも明らかである。よって、解像度判別信号Ｄ１から、入力画像Ｄ０の周波数スペクトルが、周波数の絶対値がＦｎ／４程度以上でＦｎ／２程度以下の周波数の正弦波で近似できる成分がどの程度あるかを判断できることが分かる。
【００５９】
以上の例から、領域Ｒ内の各画素に対して与えられる注目画素群を、自身を起点として水平方向に２画素間隔で並ぶ４点の画素とすることで、入力画像Ｄ０の周波数スペクトルが、少なくとも周波数が±Ｆｎ／４程度以上から±Ｆｎ／２の近傍の値をとる帯域まで広がっているか判断できることがわかる。
【００６０】
以上の説明から、画像分析部１で、入力画像Ｄ０の周波数スペクトルが、どの程度の帯域の周波数領域まで広がっているか判断する際、判断したい周波数帯域によって、注目画素群を構成する画素の間隔を適宜設定してやればよいことがわかる。特に、判断したい周波数帯域がより低周波数側に近づく程、注目画素群を構成する画素の間隔を広くすればよい。
【００６１】
また、上記の説明では注目画素群を構成する画素数は４であったが、その画素数は３または５以上でもよい。注目画素群を３画素で構成する場合には、より大きな解像度判別信号Ｄ１が得やすくなる。ただし、周波数の絶対値がＦｎ／２以下の成分も解像度判別信号Ｄ１に４画素の場合より大きな割合で寄与することになる。注目画素群を５画素以上で構成する場合には、周波数の絶対値がＦｎから離れた成分の寄与が４画素の場合よりも小さくなり、周波数の絶対値がＦｎにより近い成分を大きな重みで解像度判別信号Ｄ１に寄与させることができる。５画素を使用する場合には、周波数の絶対値がＦｎ*(２／３)程度以上の周波数をおもに検出することになる。
さらに、注目画素群を水平方向に並ぶ画素で構成したが、垂直方向に並べてもよく、水平方向にＰ画素で垂直方向にＱ画素というような斜め方向に所定の間隔で配置された画素により注目画素群を構成するようにしてもよい。
【００６２】
注目画素群の各画素は等間隔でなくてもよく、注目画素（ｕ，ｖ）に対して、例えば（ｕ，ｖ）、（ｕ＋２，ｖ）、（ｕ＋３，ｖ）、（ｕ＋４，ｖ）、（ｕ＋６，ｖ）などを注目画素群としてもよい。その場合には、４個の差分量に対するパターンを＋または−の符号を４個並べて表現するとして、＋−−＋、−＋＋−の場合に、代表差分値Ｄ１１がゼロでない値をとるようにする。このように、代表差分値Ｄ１１がゼロでない値をとるための差分データＤＢに対する所定のパターンは、注目画素群を構成する画素の配置に応じて、所定の周波数以上の周波数の信号成分が含まれることを検出できるように決めればよい。
【００６３】
注目画素を注目画素群の端の画素としたが、注目画素（ｕ，ｖ）は必ずしも端でなくてもよい。例えば、（ｕ−１，ｖ）、（ｕ，ｖ）、（ｕ＋１，ｖ）、（ｕ＋２，ｖ）を注目画素群としてもよい。また、注目画素群の中に注目画素が含まれなくてもよい。例えば、（ｕ−１，ｖ）、（ｕ＋１，ｖ）、（ｕ＋３，ｖ）、（ｕ＋５，ｖ）を注目画素群としてもよい。注目画素群は、注目画素を基準として、所定の方向に所定の間隔で位置する複数の画素であればよい。
【００６４】
上記をさらに一般化して言えば、画素選択部１１１は、領域Ｒ内に含まれる画素ごとにその画素を注目画素とし、注目画素を基準として、所定の方向に所定の間隔で並ぶＮ個の画素を注目画素群として選択すればよい。このとき、注目画素群画素値データＤＡは注目画素群を構成するＮ個の画素が持つＮ個の画素値となる。
また、注目画素群画素値データＤＡを構成するＮ個の画素値を注目画素に近い画素の画素値から順に１からＮの整数値をとる変数ｊを用いてＤ（ｊ）と表した場合（つまり注目画素の画素値がＤ（１）となり、注目画素から最も遠い画素の画素値がＤ（Ｎ）となる）、差分データＤＢはＮ−１個の差分量からなり、この差分量を１からＮ−１の整数値をとる変数ｋを用いてＳ（ｋ）で表した場合、Ｓ（ｋ）は以下の式で表される。
Ｓ（ｋ）＝Ｄ（ｋ＋１）−Ｄ（ｋ）
さらに、代表差分計算部１１３が出力する代表差分値Ｄ１１は、差分量Ｓ（ｋ）をｋの順（ｋが小さいまたは大きい順）に並べた場合に、所定のパターン（例えば、正の値と負の値が交互に現れる）である場合は正の値、例えば差分量Ｓ（ｋ）の絶対値の最小値であり、それ以外の場合はゼロであればよい。
【００６５】
なお、代表差分計算部１１３に対する変形例として、差分量Ｓ（ｋ）をｋの順に並べた場合に、正の値と負の値が交互現れる場合であっても、差分量Ｓ（ｋ）の絶対値の最小値が第１の閾値以下の場合は代表差分値Ｄ１１としてゼロを出力するという条件を加えてもよい。
【００６６】
この場合、入力画像Ｄ０に含まれるノイズによる影響を取り除くことができる。すなわち、入力画像Ｄ０中にノイズが含まれていた場合、入力画像Ｄ０中に微小な振幅での画素値（あるいは輝度）の振動が見られる。このような微小な画素値の振動を含む領域が注目画素群として画素選択部１１１で設定された場合、代表差分計算部１１３からは、ゼロ以外の値が出力されうる。
【００６７】
しかしながら、注目画素群に含まれる画素値の変化は微小な振動であるので、差分量Ｓ（ｋ）の絶対値も小さな値であると考えられる。したがって、差分量Ｓ（ｋ）をｋの順に並べた場合に、正の値と負の値が交互現れる場合であっても、差分量Ｓ（ｋ）の絶対値の最小値が所定の閾値（ゼロ同等閾値と呼ぶ）以下の場合は代表差分計算部１１３がゼロを出力することで、ノイズによる微小な画素値の振動が原因となって、代表差分計算部１１３から、ゼロ以外の値が出力されることを未然に防ぐことができる。言い換えると、入力画像Ｄ０に含まれるノイズによる影響を取り除くことができる。なお、ゼロ同等閾値は、想定する多くの入力画像に対して適切な出力画像が得られるように調整する。
【００６８】
また、代表差分計算部１１３に対する変形例として、差分量Ｓ（ｋ）をｋの順に並べた場合に、正の値と負の値が交互現れる場合であっても、差分量Ｓ（ｋ）の絶対値の最小値が所定の閾値（上限差分値と呼ぶ）以上の場合は代表差分値Ｄ１１として固定値例えば上限差分値を出力するという条件を加えてもよい。なお、上限差分値は、想定する多くの入力画像に対して適切な出力画像が得られるように調整する。
【００６９】
この場合、入力画像Ｄ０に人為的に加えられた模様が含まれた場合、その人為的に加えられた模様の影響を取り除くことができる。
【００７０】
自然の風景などを撮像して得られた自然画像に対し、人為的に後から文字列などを合成したものが入力画像Ｄ０として入力された場合を考える。ここで、入力画像の画素値は８ビットのデータとする。すなわち画素値の上限は２５５で下限は０である。
通常、自然の風景などを撮像して得られた自然画像では画素値が局所的に激しく変化することは少ないため、代表差分値Ｄ１１も、画素値の上限値と下限値の差に比べればそれよりはかなり小さい値をとることの方が多い。一方、人為的に後から追加される情報、例えば文字列などは、識字性をよくするために、該当箇所では画素値の上限値と下限値の間の大きな範囲で画素値を変化させるため、画素値が局所的に激しく変化する。よって、代表差分値Ｄ１１も極端に大きな値を取りやすい。
【００７１】
以上のことを踏まえると、代表差分値Ｄ１１を加算して特徴量合成データＤ１２を計算する場合、入力画像Ｄ０中に例えば文字列のような人為的に合成された模様があると、該当箇所からは、代表差分値Ｄ１１として他よりも大きな値が出力されるため、特徴量合成データＤ１２の計算に対して、より大きな影響を持つことが懸念される。
【００７２】
一方、代表差分値Ｄ１１を計算する際に、差分量Ｓ（ｋ）をｋの順に並べた場合に、正の値と負の値が交互現れる場合であっても、差分量Ｓ（ｋ）の絶対値の最小値が上限差分値以上の場合は代表差分値Ｄ１１として固定値、例えば上限差分値を出力することで、入力画像Ｄ０に人為的な模様が加えられた模様があったとしても、該当箇所から出力される値は大きくても上限差分値までなので、代表差分値Ｄ１１として極端に大きな値が出力されることを防止できる。
【００７３】
したがって、代表差分値Ｄ１１を加算して特徴量合成データＤ１２を計算する場合に、入力画像Ｄ０中に人為的に合成された模様があったとしても、該当箇所からは、代表差分値Ｄ１１として他よりも極端に大きな値が出力されるのを未然に防ぐことができる。言い換えると、入力画像Ｄ０中に人為的に合成された模様があったとしても、該当箇所が特徴量合成データＤ１２の計算に与える影響をある程度抑えることが可能になる。
【００７４】
また、上記の例では、代表差分計算部１１３は、差分量Ｓ（ｋ）をｋの順に並べた時に、正の値と負の値が交互に現れた場合、ゼロでない出力値として、差分量Ｓ（ｋ）の絶対値の最小値をもとに出力値を決定しているが、正の値と負の値が交互に現れた場合、ゼロ以外の固定値を出力するようにしてもよい。
【００７５】
また、画像処理演算部２が行う画像処理は強調処理に限定されず、その他の処理、例えばノイズ除去処理を行ってもよい。
【００７６】
単純なノイズ除去処理は低周波数成分通過フィルタを利用することで実現する。例えば、低周波数成分通過フィルタによって入力画像Ｄ０の高周波数成分を除去することで、ノイズ除去処理の効果が得られる。
この時、入力画像Ｄ０によってその周波数スペクトルが変化しうるので、入力画像Ｄ０の周波数スペクトルの広がりを解像度判別信号Ｄ１によって推定し、その結果に応じて低周波数成分通過フィルタの周波数応答を適宜変化させることで、入力画像Ｄ０の周波数スペクトルの形状に適したノイズ処理が可能になる。
【００７７】
他にも、低周波数成分通過フィルタによって入力画像Ｄ０の低周波数成分のみを取り出した画像と、入力画像Ｄ０にそれぞれ異なる重み係数をかけた後、加算することでも、ノイズ除去処理とすることができる。この場合も、低周波数成分通過フィルタの周波数応答を解像度判別信号Ｄ１によって変化させればよい。あるいは、低周波数成分のみを取り出した画像と入力画像Ｄ０のどちらかまたは両方の重み係数を解像度判別信号Ｄ１によって変化させてもよい。
【００７８】
さらに、差分量Ｓ（ｋ）の絶対値が所定値よりも小さい場合にゼロとして扱い、差分量Ｓ（ｋ）にゼロが含まれる場合は、正の値と負の値が交互に並ぶという条件が成立しないと判断するようにしてもよい。差分量Ｓ（ｋ）をゼロと判断する所定値は、想定されるノイズまたは計算誤差と同程度の値に決めれば、ノイズや計算誤差の影響を除去できる。そして、所定値から決まる所定の周波数以下の信号成分が、ゼロでない代表差分値を出力することに寄与しなくなる。所定値が大きくなれば、所定の周波数も大きくなる。その理由は、所定の周波数以下の信号しか含まれない場合でも、差分量Ｓ（ｋ）が正の値と負の値が交互に並ぶ条件が発生する確率はゼロではないが、所定の周波数が小さいほどゼロでない代表差分値が小さくなるからである。
また、差分量Ｓ（ｋ）がゼロもとりうる場合に、正またはゼロの値と負またはゼロの値が交互に並ぶことを条件に、ゼロでない代表差分値を出力するようにしてもよい。差分量Ｓがゼロで条件を満足する場合は、所定値の所定倍（例えば、０．５倍）を代表差分値とする。
【００７９】
注目画素群の設定の仕方が異なる複数の特徴量検出部を備え、複数の特徴量検出部が出力する複数の特徴量（実施の形態１では、代表差分値）から入力画像の解像度を判別するようにしてもよい。複数の画像分析部を備え、複数の解像度判別信号から入力画像の解像度を判別するようにしてもよい。
以上のことは、他の実施の形態でも適用できる。以下の実施の形態で説明することは、その実施の形態だけでなく、他の実施の形態にも適用できる。
【００８０】
実施の形態２．
本発明の実施の形態２による画像処理装置が有する画像分析部の構成図を図１３に示す。実施の形態１による画像処理装置と比較した場合、画像分析部１Ａは、異なる特徴量計算部１１Ａと特徴量合成部１２Ａを有する。
【００８１】
図１４は特徴量計算部１１Ａの構成を表す図である。特徴量検出部１１Ａは、画素選択部１１１、差分検出部１１２、代表差分計算部１１３、代表輝度計算部１１４を有する。なお、画素選択部１１１、差分計算部１１２、代表差分計算部１１３の動作は実施の形態１と同様である。
【００８２】
代表輝度計算部１１４は、注目画素群画素値データＤＡを構成するＮ個の画素値Ｄ（ｊ）から、Ｎ個の画素値Ｄ（ｊ）を代表する代表輝度値ＤＣを求めて出力する。代表輝度値ＤＣは、注目画素群の中の隣接する２個の画素の組の中で画素値の差の絶対値が最小になる組の大きい方の画素値である。
【００８３】
ここで、注目画素群画素値データＤＡを構成するＮ個の画素値Ｄ（ｊ）の表記法は実施の形態１と同様とする。すなわち、ｊは１からＮの整数値をとる変数であり、Ｄ（１）は注目画素の画素値を、Ｄ（Ｎ）は注目画素群を構成する画素のうち、注目画素から最も離れた位置にある画素の画素値になる。
【００８４】
代表輝度計算部１１４の動作についてさらに詳しく説明する。
代表輝度計算部１１４は、差分計算部１１２が出力する差分量Ｓ（ｋ）の絶対値が、差分量Ｓ（Ｔ）において最小値をとるとすると、画素値Ｄ（Ｔ＋１）と画素値Ｄ（Ｔ）のうち大きい方の値を代表輝度値ＤＣとして出力する。なお、注目画素群画素値データＤＡを変更するごとに、代表輝度値ＤＣも変更することになる。
特徴量計算部１１Ａからは、代表差分値Ｄ１１と代表輝度値ＤＣが出力される。
【００８５】
次に、特徴量合成部１２Ａの動作について説明する。
特徴量合成部１２Ａは代表差分値Ｄ１１を重み付け加算することで特徴量合成データＤ１２Ａを求める。代表差分値Ｄ１１に対する重みは、代表輝度値ＤＣに基づいて決められる。より具体的に書くと、代表輝度値ＤＣに対して単調非増加である関係で求められる重み係数ＫＡを、代表差分値Ｄ１１に乗じた値を加算することで、特徴量合成データＤ１２Ａを求める。
【００８６】
なお、代表輝度値ＤＣとして、ＤＣ０とＤＣ１という二つの値を考え、ＤＣ０という値に対して求められる重み係数ＫＡの値をＫＡ０、ＤＣ１という値に対して求められる重み係数ＫＡの値をＫＡ１で表した場合に、ＤＣ０＜ＤＣ１であれば、ＫＡ０≧ＫＡ１となる関係が満たされる場合、係数ＫＡは代表輝度値ＤＣに対して単調非増加である関係で求められるという。
【００８７】
ここで、注目画素群画素値データＤＡは、入力画像Ｄ０内の領域Ｒを構成する画素ごとに与えられるので、代表差分値Ｄ１１および代表輝度値ＤＣは、入力画像Ｄ０内の領域Ｒを構成する画素ごとに求められる。図４で水平座標がｕ、垂直座標がｖで表される画素に関して求められた代表差分値Ｄ１１をＤ１１（ｕ，ｖ）、代表輝度値ＤＣをＤＣ（ｕ，ｖ）で表し、代表輝度値ＤＣ（ｕ，ｖ）から求められる重み係数ＫＡをＫＡ（ｕ，ｖ）と表した場合、特徴量合成データＤ１２Ａは以下の式で表される。
【００８８】
【数１】
【００８９】
図１５は、上記のように定義される単調非増加である関係を満たす代表輝度値ＤＣと重み係数ＫＡの関係の例である。図１５（Ａ）の例では、代表輝度値ＤＣの値が大きくなれば、重み係数ＫＡの値は必ず小さくなる。また、図１５（Ｂ）の例では代表輝度値ＤＣの値が０以上かつ閾値th11未満の場合はＫＡ１という値を、代表輝度値ＤＣの値が閾値th11以上かつ閾値th12未満の場合はＫＡ２という値を、閾値th12以上の場合は第３のＫＡ３という値をとり、ＫＡ３＜ＫＡ２＜ＫＡ１という関係にある。
【００９０】
以下、実施の形態２による画像処理装置の効果について図１６と図１７を用いて説明する。図１６は、入力画像を得るための環境の一例を表す図である。図１７は、この発明の実施の形態２に係る画像処理装置で異なる明るさで撮像された入力画像Ｄ０について考察する図である。
【００９１】
図１６で、入力画像Ｄ０は、照明U000から照射される照明光L000が壷である被写体U001上で反射した反射光L001を撮像装置U002で撮像することで得られ、入力画像Ｄ０の画素値は、照明光U000の明るさＤＵ０、被写体U001の反射率ＤＵ１、撮像装置U002の感度ＤＵ２の積で表される。
【００９２】
つまり、入力画像Ｄ０上で（ｕ，ｖ）で表される画素に対応した位置に相当する被写体U001の反射率をＤＵ１（ｕ，ｖ）で表すと、入力画像Ｄ０上で（ｕ，ｖ）で表される画素の画素値ｄ（ｕ，ｖ）は、以下の式で表される。
ｄ（ｕ，ｖ）＝ＤＵ０*ＤＵ１（ｕ，ｖ）*ＤＵ２ （７）
【００９３】
以上の関係を前提として、同一の撮像装置で、同一の被写体を、照明の明るさを変えて撮像した場合を用いて考える。
【００９４】
再び図１６を用いて説明する。図１６には、被写体U001を撮像装置U002で撮像して得た入力画像Ｄ０上で、直線上に並ぶ画素として現れる箇所を対象Q001として表している。
【００９５】
図１７（Ａ）は対象Q001の反射率をプロットした図であり。水平軸方向に、入力画像Ｄ０の画素間隔と同じ間隔で対象Q001の反射率がプロットしてある。
【００９６】
図１７（Ｂ）、（Ｃ）は対象Q001に対して得られる入力画像Ｄ０の画素値を表しているが、図１７（Ｂ）に示す画素値は、図１７（Ｃ）に示す画素値を得た場合よりも、照明光L000の明るさＤＵ０が大きな値の場合のものとなっている。
【００９７】
以下、画素選択部１１１が、入力画像Ｄ０上の各画素を起点として水平方向に連続する４画素を注目画素群として設定する場合を考える。
【００９８】
図１７（Ｂ）、（Ｃ）に示した例で、水平座標が２で表される画素を起点に設定される注目画素群に関して計算される代表差分値Ｄ１１について述べる。この注目画素群では、水平座標が２で表される画素の画素値と水平座標が３で表される画素の画素値の差の絶対値が、代表差分値Ｄ１１として出力される。
【００９９】
この時、代表差分値Ｄ１１は以下の（８）式で表される。
Ｄ１１＝ＤＵ０*（ＤＵ１（２）−ＤＵ１（３））*ＤＵ２ （８）
なお、ＤＵ１（２）は図１７（Ａ）で水平座標が２で表される点の反射率、ＤＵ１（３）は図１７（Ａ）で水平座標が３で表される点の反射率とする。
【０１００】
ここで図１７（Ｂ）に示された例と図１７（Ｃ）に示された例を考えると、図１７（Ｂ）に示す例の方が照明光D000の明るさＤＵ０が大きな値となっているため、代表差分値Ｄ１１も図１７（Ｂ）に示す例の方が大きくなる。
【０１０１】
上記の例をさらに一般化して考えると、例え同じ被写体を同じ撮像装置で撮像して得た入力画像であっても、被写体を撮像した際の照明光が明るくなる程、代表差分値Ｄ１１の値も大きな値となる。
【０１０２】
よって、代表差分値Ｄ１１を単純に加算して特徴量合成データＤ１２を求めると、例え同じ被写体を同じ撮像装置で撮像して得た入力画像であっても、照明光が明るい環境で得られた入力画像に対して計算される特徴量合成データＤ１２の方が、照明光が暗い環境で得られた入力画像に対して計算される特徴量合成データＤ１２よりも大きな値になる。
【０１０３】
一方、同じ被写体を同じ撮像装置で撮像して得た入力画像であれば、照明光の明るさに関係なく、入力画像の周波数スペクトルの広がりは同じ程度と考えられる。したがって、特徴量合成データＤ１２から入力画像の周波数スペクトルの広がりを判断するためには、同じ被写体を同じ撮像装置で撮像して得られた入力画像であれば、照明光の明るさに関係なく、特徴量合成データＤ１２も同程度の値になることが望ましい。
【０１０４】
実施の形態２の画像処理装置では、代表差分値Ｄ１１を加算して特徴量合成データＤ１２を求める際に、代表輝度値ＤＣによって求められる重み係数ＫＡを用いた重み付けを行うので、照明光の明るさに関係なく、特徴量合成データＤ１２も同程度の値になると期待される。以下、図１７（Ｂ）、（Ｃ）を用いて代表輝度値ＤＣによる重み付けを行うことの効果について述べる。
【０１０５】
まず、図１７（Ｂ）、（Ｃ）に示した例で、水平座標が２で表される画素を起点に設定される注目画素群に関して計算される代表輝度値ＤＣについて述べる。
【０１０６】
図１７（Ｂ）、（Ｃ）に示した例ではいずれの場合も水平座標が２で表される画素の画素値が代表輝度値ＤＣとなる。この時、代表輝度値ＤＣは以下の（９）式で表される。
ＤＣ＝ＤＵ０*ＤＵ１（２）*ＤＵ２ （９）
【０１０７】
ここで図１７（Ｂ）に示された例と図１７（Ｃ）に示された例を考えると、図１７（Ｂ）に示す例の方が照明光D000の明るさＤＵ０が大きな値となっているため、代表輝度値ＤＣも図１７（Ｂ）に示す例の方が図１７（Ｃ）に示す例より大きくなる。
【０１０８】
よって、水平座標が２で表される画素を起点に設定される注目画素群に関して、代表輝度値ＤＣから求められる重み係数ＫＡは図１７（Ｂ）に示す例の方が図１７（Ｃ）に示す例よりも小さな値になる。
【０１０９】
上記の例をさらに一般化して、実施の形態２で説明した方法で特徴量合成データＤ１２を計算する場合を考える。
同じ被写体を同じ撮像装置で撮像して得た入力画像であっても、被写体を撮像した際の照明光が明るくなる場合、代表差分値Ｄ１１（ｕ，ｖ）の値は大きな値となる。一方で、重み係数ＫＡ（ｕ，ｖ）は小さな値となる。
よって、代表差分値Ｄ１１（ｕ，ｖ）と重み係数ＫＡ（ｕ，ｖ）の積を考えると、被写体を撮像した際の照明光が明るくなり、代表差分値Ｄ１１（ｕ，ｖ）が大きくなったとしても、それに合わせ重み係数ＫＡ（ｕ，ｖ）の値は小さくなるので、両者の積は被写体を撮像した際の照明光の明るさの影響を受けにくいと考えられる。
したがって、実施の形態２で説明した方法で計算される特徴量合成データＤ１２では、被写体を撮像した際の照明光が明るさに関係なく、同じ被写体を同じ撮像装置で撮像して得た入力画像に対しては、ほぼ同じ値を出力すると期待できる。被写体を撮像した際の照明光の明るさに関係なく、特徴量合成データＤ１２からから入力画像Ｄ０の周波数スペクトルの広がりを判断することが可能になる。
【０１１０】
上記の効果を言い換えると、実施の形態２の画像処理装置では、実施の形態１の画像処理装置に追加し、代表輝度計算部１１４を設け、注目画素群画素値データＤＡを代表する代表輝度値を代表輝度値ＤＣとして出力し、特徴量合成データＤ１２Ａを計算する際に、代表差分値Ｄ１１に加え、代表輝度値ＤＣを用いて重み係数を求め、代表差分値Ｄ１１に重み係数を掛けて特徴量合成データＤ１２Ａを計算することとしたので、入力画像Ｄ０を取得する際の照明光の明るさによる影響を十分に小さくして、特徴量合成データＤ１２から、入力画像Ｄ０の周波数スペクトルの広がりを判断することが可能となる。
【０１１１】
なお、代表輝度値ＤＣの求め方は上記のものに限らず、注目画素群データＤＡを構成する画素の画素値が大きくなった場合、それに合わせて大きくなるものであればよく、例えば、注目画素群データＤＡを構成する画素の画素値の平均値などでもよい。
【０１１２】
実施の形態３．
図１８は実施の形態３による画像処理装置の構成を表す図である。一般に動画はフレームに相当する複数の画像に分解できるが、実施の形態３による画像処理装置へは、入力画像Ｄ０として、上記のフレームに相当する画像が入力される。したがって、図１８に示された入力画像Ｄ０は、動画の１フレーム分に相当する画像であって、入力画像Ｄ０は時間の経過によって変化する。
【０１１３】
画像分析部１の構成、動作は実施の形態１と同様であるのでその説明は省略する。なお、実施の形態２と同様にしてもよい。ただし、画像分析部１への入力画像Ｄ０は時間により変化するので、画像分析部１が出力する解像度判別信号Ｄ１も時間によって変化する。
【０１１４】
時系列分析部３は、画像分析部１から出力される解像度判別信号Ｄ１を用いて生成した累積加算解像度Ｄ３を出力する。画像処理演算部２は、入力される累積加算解像度Ｄ３の値に応じて、その処理を変化させる。
【０１１５】
時系列分析部３は、解像度判別信号Ｄ１を入力として、時系列処理後解像度判別信号である累積加算解像度Ｄ３を出力する。ここで累積加算解像度Ｄ３は、解像度判別信号Ｄ１の値によってその値が増減する。すなわち、解像度判別信号Ｄ１の値が第１の閾値th31Aより大きい値であった場合、累積加算解像度Ｄ３はその値が増え、解像度判別信号Ｄ１の値が第２の閾値th31Bより小さい値であった場合、累積加算解像度Ｄ３はその値が減り、解像度判別信号Ｄ１の値が第１の閾値th31A以下かつ第２の閾値th31B以上であった場合、累積加算解像度Ｄ３はその値を維持する。なお、第１の閾値th31Aが、第２の閾値th31Bよりも大きい。
【０１１６】
ただし、累積加算解像度Ｄ３の取りうる値には上限値が設けてあり、上記の演算によって得られる値が上限値を上回る場合は、上記の演算によって得られる値の代わりに上限値を出力する。さらに、累積加算解像度Ｄ３の取りうる値には下限値も設けてあり、上記の演算によって得られる値が下限値を下回る場合は、上記の演算によって得られる値の代わりに下限値を出力する。累積加算解像度Ｄ３に対する上限値と下限値を、第１の上限値及び第１の下限値とも呼ぶ。
累積加算解像度Ｄ３を増加または減少させる場合に１フレームで変化させる量は、上限値と下限値の差分を変化するのに要する時間が視聴者にとって自然に感じられるように設定する。
【０１１７】
図１９と図２０を用いて時系列分析部３が有ることによる効果を説明する。図１９は実施の形態３による画像処理装置の利用方法を例により説明する図である。実施の形態３による画像処理装置は動画表示装置U101の内部で使用される。すなわち動画表示装置U101へ入力された動画である動画D100の各フレームを構成する画像は、実施の形態３による画像処理装置で処理をうけた後、動画表示装置U101が備えたモニタ上へ出力される。なお、動画D100は動画再生装置U100から出力される。
動画再生装置U100はＤＶＤ−Ｖｉｄｅｏフォーマットで記録された動画（以下ＤＶＤ映像）とＢＤＭＶフォーマットで記録された動画（以下ＢＤ映像）を再生できる。また、動画D100の画素数は、水平方向に１９２０画素で垂直方向に１０８０画素に固定されている。
【０１１８】
ＢＤ映像の画素数は水平方向に１９２０画素で垂直方向に１０８０画素である。よってＢＤ映像を再生する際、動画D100の各フレームに相当する画像は拡大処理をうけずに出力される。一方、ＤＶＤ映像の画像解像度は水平方向に７２０画素で垂直方向に４８０画素である。よってＤＶＤ映像が再生される場合、動画D100の各フレームに相当する画像は、動画再生装置U100内部で拡大処理を受けてから出力される。つまりＤＶＤ映像が再生される場合、動画D100の各フレームに相当する画像の周波数スペクトルの範囲は、ＢＤ映像が再生される場合と比べて狭い。
【０１１９】
入力画像Ｄ０の周波数スペクトルがＢＤ映像の各フレームに相当する画像に対して期待される程度に広がっているかを検出するよう画像分析部１は設定されているとし、解像度判別信号Ｄ１、累積加算解像度Ｄ３の変化の様子を、図２０を用いて説明する。図２０は、この発明の実施の形態３に係る画像処理装置が有する時系列分析部の動作を説明する図である。図２０（Ａ）は、時間経過に対して解像度判別信号Ｄ１の変化を表す図であり、図２０（Ｂ）は、時間経過に対して累積加算解像度Ｄ３の変化を表す図である。なお、解像度判別信号Ｄ１と累積加算解像度Ｄ３の下限値は０とする。
【０１２０】
図２０（Ａ）に示す時刻Ｔ２までは動画再生装置U100からＢＤ映像が出力され、時刻Ｔ２以降はＤＶＤ映像が出力されるとする。この場合、解像度判別信号Ｄ１は、時刻Ｔ２までは比較的高い値を保ちながらその値を変化させ、時間Ｔ２以降は０に近い値を保ちながらその値を変化させる。
【０１２１】
よって第１の閾値th31Aと第２の閾値th31Bの値を適切に設定すれば、解像度判別信号Ｄ１の値は時刻Ｔ２までは第１の閾値th31Aよりも大きくなり、時刻Ｔ２以降は第２の閾値th31Bより小さくなる。
【０１２２】
この場合、累積加算解像度Ｄ３は図２０（Ｂ）に示すように変化する。
まず、解像度判別信号Ｄ１の値は時刻Ｔ２までは第１の閾値th31Aより高い値を維持しながら推移するので、累積加算解像度Ｄ３もその値を増加させていき、時刻Ｔ２よりも前の時刻Ｔ１で上限値に達する。
一方、解像度判別信号Ｄ１の値は時刻Ｔ２以降、第２の閾値th31Bより小さい値を維持しながら推移するので、時刻Ｔ２以降は累積加算解像度Ｄ３もその値を減少させていき、時刻Ｔ３で下限値に達する。
【０１２３】
以下、画像処理演算部２が解像度判別信号Ｄ１または累積加算解像度Ｄ３に基づいて、入力画像Ｄ０に対する画像処理の動作を変化させる場合を考える。
【０１２４】
解像度判別信号Ｄ１の値は図２０（Ａ）に示すように、時間に対してある程度の範囲で変化する。したがって画像処理演算部２で行う画像処理の内容も時間に対して変化する。
以下、画像処理演算部２は実施の形態１で説明した内容と同様の強調処理を行うとして、説明する。
【０１２５】
図２１は、この発明の実施の形態３に係る画像処理装置の動作を例により説明するための入力画像Ｄ０を模式的に表した図であり、主な被写体としてビルである被写体A000、樹木である被写体A001、自動車である被写体A002が存在する。ここで被写体A002は移動しており、フレームによって現れる位置が異なり、被写体A000、被写体A001は移動しておらず、どのフレームでも現れる位置は同じであるとする。
【０１２６】
図２１に示した入力画像Ｄ０に強調処理を行うと、被写体A000、被写体A001、被写体A002と背景の境界部分にはオーバーシュートやアンダーシュートが発生する場合がある。
【０１２７】
図２２は、画像処理装置における強調処理で発生するオーバーシュートとアンダーシュートについて説明する図である。図２２（Ａ）は被写体A000と背景の境界部分を含むような位置で入力画像Ｄ０の画素値の変化を画像の水平方向に沿ってプロットした図である。被写体A000と背景の境界部分のうち、背景側に含まれる画素の水平座標がP0002で、被写体A000側に含まれる画素の水平座標がP0003で表されている。背景部分の画素値はおおよそD0001であるとし、被写体A000に相当する部分の画素値はおおよそD0004であるとする。
【０１２８】
図２２（Ｂ）は、図２２（Ａ）に示した画素値の変化に対して高周波数成分通過フィルタが与える出力である。図２２（Ｃ）は、図２２（Ａ）に示した画素値の変化に対して、図２２（Ｂ）に示した高周波数成分を所定倍した後、加算した結果であり、画像処理部２が出力する出力画像Ｄ２の画素値の変化に相当する。
【０１２９】
図２２（Ｃ）に示す出力画像Ｄ２の画素値の変化を見ると、水平座標がP0001で表される画素から水平座標がP0002で表される画素の間の画素値は周囲の画素が持つおおよその画素値より小さく、水平座標がP0002となる点で画素値は局所的な最小値D0002を取っている。
水平座標がP0003で表される画素からP0004で表される画素の間は周囲の画素が持つおおよその画素値より大きく、水平座標がP0003となる点で画素値は局所的な最大値D0003を取っている。
【０１３０】
このように、強調処理によって画素値が周辺と比べ小さくなっている箇所をアンダーシュートと呼び、画素値が周辺と比べ大きくなっている箇所をオーバーシュートと呼ぶ。
【０１３１】
ここで、高周波数成分通過フィルタの周波数応答が変化するとオーバーシュートやアンダーシュートの強さや幅が変化することが知られている。
【０１３２】
なお、オーバーシュートの強さとは、オーバーシュートが発生している区間の画素値の最大値とその周辺の画素値の差であり、図２２の例ではD0004とD0003の差になる。オーバーシュートの幅とは、オーバーシュートが発生している区間に含まれる画素数であり、図２２の例ではP0004とP0003の差になる。
アンダーシュートの強さとは、アンダーシュートが発生している区間の画素値の最大値とその周辺の画素値の差であり、図２２の例ではD0002とD0001の差になる。アンダーシュートの幅とは、アンダーシュートが発生している区間に含まれる画素数であり、図２２の例ではP0002とP0001の差になる。
【０１３３】
以下、解像度判別信号Ｄ１によって画像処理演算部２で行う強調処理の設定を変化させる場合を考える。具体的には、解像度判別信号Ｄ１によって強調処理で用いる高周波数成分通過フィルタの周波数応答を変化させる場合を考える。
【０１３４】
先に説明した通り、解像度判別信号Ｄ１の値は時間によって変化するので、高周波数成分通過フィルタの周波数応答も時間によって変化する。よって高周波数成分通過フィルタの出力値も時間によって変化する。そして、入力画像Ｄ０に対して強調処理を行った場合に発生するオーバーシュートやアンダーシュートの幅や強さも変化する。
【０１３５】
オーバーシュートやアンダーシュートの幅や強さが時間的に変化すると視覚的に問題となることが知られている。特に、被写体A000や被写体A001のように時間がたっても移動しない被写体と背景の間にオーバーシュートやアンダーシュートが発生し、さらにその強さや幅が時間によって変化すると、該当部分は、ちらついて見え視覚的に不快に感じられる。
【０１３６】
一方、実施の形態３による画像処理装置では時系列分析部３から累積加算解像度Ｄ３が出力され、累積加算解像度Ｄ３に基づいて、画像処理演算部２が入力画像Ｄ０に対する画像処理の内容を変化させている。
【０１３７】
この場合、ＢＤ映像が入力されている期間のうち、時刻Ｔ１以降や、ＤＶＤ映像が入力されている期間のうち、時刻Ｔ３以降では累積加算解像度Ｄ３の値が一定の値を保つため、仮にオーバーシュートやアンダーシュートが発生したとしても、フレーム間でその強さや幅は変化しにくい。
【０１３８】
つまり、画像処理演算部２が入力画像Ｄ０に対して行う画像処理の内容をその画像での解像度判別信号Ｄ１によって変化させる場合と比べ、累積加算解像度Ｄ３によって変化させる場合には、出力画像にちらつきなど、視覚的な不快感を与えうる要素は発生しにくい。
【０１３９】
言い換えると、画像処理演算部２が１枚の入力画像Ｄ０から得られた解像度判別信号Ｄ１に代わり、複数の入力画像Ｄ０から得られる複数の解像度判別信号Ｄ１を用いて計算した累積加算解像度Ｄ３を用いて、入力画像Ｄ０に対する画像処理の内容を変化させた方が、出力画像に視覚的な不快感を与えうる要素が発生しにくい。
【０１４０】
なお、上記の説明では、画像処理演算部１は強調処理を行うこととしたが、その他の処理、例えばノイズ除去処理を行ってもよい。
【０１４１】
実施の形態４．
実施の形態４による画像処理装置は実施の形態３による画像処理装置と同様の構成で実現する。ただし、時系列分析部３の代わりに時系列分析部３Ａを用いる点が、実施の形態３による画像処理装置と異なる。図２３は、実施の形態４による画像処理装置における時系列分析部３Ａの構成を表す図である。
【０１４２】
時系列分析部３Ａは、実施の形態３での時系列分析部３と同様な動作をする累積加算部３１と、累積加算部３１が出力する累積加算解像度判別信号である累積加算解像度Ｄ３が入力される履歴補正部３２を有する。時系列分析部３Ａからは、履歴補正部３２が出力する履歴補正解像度Ｄ３Ａが出力される。履歴補正解像度Ｄ３Ａが時系列処理後解像度判別信号である。
【０１４３】
履歴補正部３２の動作について説明する。図２４は、履歴補正部３２の動作を説明するための図である。履歴補正部３２は図２４に示した特性にしたがって、履歴補正解像度Ｄ３Ａの値を増減させる。
まず、履歴補正部３２は、一旦、累積加算解像度Ｄ３の値が第３の閾値th41Aを上回ると累積加算解像度Ｄ３の値が第４の閾値th41Bを下回るまで履歴補正解像度Ｄ３Ａの値を所定量だけ増加させる。
また、履歴補正部３２は、一旦、累積加算解像度Ｄ３の値が第４の閾値th41Bを下まわると累積加算解像度Ｄ３の値が第３の閾値th41Aを上回るまで履歴補正解像度Ｄ３Ａの値を所定量だけ減少させる。
なお、図２４に示すように、累積加算解像度Ｄ３に関する閾値などに関して、上限値＞第３の閾値th41A＞第４の閾値th41B＞下限値の関係がある。
【０１４４】
ただし、履歴補正解像度Ｄ３Ａの取りうる値には上限値が設けてあり、上記の演算によって得られる値が上限値を上回る場合は、上記の演算によって得られる値の代わりに上限値を出力する。さらに、履歴補正解像度Ｄ３Ａの取りうる値には下限値も設けてあり、上記の演算によって得られる値が下限値を下回る場合は、上記の演算によって得られる値の代わりに下限値を出力する。履歴補正解像度Ｄ３Ａに対する上限値と下限値を、第２の上限値及び第２の下限値とも呼ぶ。
【０１４５】
履歴補正解像度Ｄ３Ａを増加または減少させる場合に１フレームで変化させる量は、上限値と下限値の差分を変化するのに要する時間が視聴者にとって自然に感じられるように設定する。ただし、履歴補正解像度Ｄ３Ａが解像度判別信号Ｄ１の変化に追随するまでに要する時間が適切になるように、１フレームでの変化量は相応の大きさを持つ必要がある。図２０に示すように、累積加算解像度Ｄ３は解像度判別信号Ｄ１に数フレーム遅れで追随する。後述の図２５に示すように、履歴補正解像度Ｄ３Ａは累積加算解像度Ｄ３よりもさらに数フレーム遅れることになる。追随するまでは不適切な解像度で画像処理演算部が処理するので、視聴者が画像を見にくいと感じる可能性がある。
【０１４６】
実施の形態４による画像処理装置は、例えば図１９に示す環境で実施の形態３による画像処理装置の代わりに用いることができる。以下、実施の形態３と同様の状況で実施の形態４による画像処理装置を用いた場合の作用と効果について図２５を用いて説明する。
【０１４７】
図２５は、この発明の実施の形態４に係る画像処理装置が有する履歴補正部の動作を説明する図である。図２５（Ａ）は時間に対する解像度判別信号Ｄ１の変化を表す図であり、図２５（Ｂ）は時間に対する累積加算解像度Ｄ３の変化を表す図であり、図２５（Ｃ）は時間に対する履歴補正解像度Ｄ３Ａの変化を表す図である。
【０１４８】
図２５に示す例でも、図２０を用いて説明した例と同様に、時刻Ｔ２までは動画再生装置U100からＢＤ映像が出力される。この場合、解像度判別信号Ｄ１は比較的高い値を保ちながらその値を変化させる。時間Ｔ２以降は動画再生装置U100からＤＶＤ映像が出力される。この場合、解像度判別信号Ｄ１は０に近い値を保ちながらその値を変化させる。
ただし、図２５に示す例では時刻Ｔ１２（Ｔ２よりも前）で、動画再生装置U100からＢＤ映像が出力されているにも関わらず、解像度判別信号Ｄ１の値が第２の閾値th31Bより低い値を出力したとする。このような現象は、画像分析部の性能が十分でないために誤検出が起きた場合や、ＢＤ映像中に高周波数成分の少ない画像が現れた場合（たとえば画像が徐々にフェードアウトし、画面全体が白色になった場合）などに起きる。
【０１４９】
この場合、累積加算解像度Ｄ３は図２５（Ｂ）に示すように変化する。すなわち、図２０（Ｂ）と同様に、累積加算解像度Ｄ３の値はまず上限値に到達するまで徐々に増加していき、時刻Ｔ２以降は下限値に到達するまで徐々に減少していく。ここで、第３の閾値th41Aと第４の閾値th41Bの値は、累積加算解像度Ｄ３の値が時刻Ｔ２までは第３の閾値th41Aよりも大きくなり、時刻Ｔ１４以降は第４の閾値th41Bより小さくなるように設定されているとする。
【０１５０】
ただし、時刻Ｔ１２で解像度判別信号Ｄ１の出力値が下がった影響で、累積加算解像度Ｄ３の値は時刻Ｔ１２で一旦減少し、第３の閾値th41Aより小さく、第４の閾値th41Bよりは大きな値となる。なお、時刻Ｔ１２以降、解像度判別信号Ｄ１の値は再び第３の閾値th41Aより大きな値となるため、累積加算解像度Ｄ３の値も増加し、時刻Ｔ１３に再び上限値に達し、第３の閾値th41Aより大きな値となるものとする。累積加算解像度Ｄ３を画像処理演算部２に入力すると、時刻Ｔ１２で解像度の低下を検出し、画像処理演算部２で行う画像処理の動作が短時間だけ変化することになり、視聴者を不快に感じさせる可能性がある。
【０１５１】
これに対して、履歴補正解像度Ｄ３Ａは図２５（Ｃ）に示すように変化する。すなわち、時刻Ｔ１０で累積加算解像度Ｄ３が第３の閾値th41Aより大きくなるため、時刻Ｔ１０以降、履歴補正解像度Ｄ３Ａはその値を増加していき、時刻Ｔ１１に上限値に達する。また、時刻Ｔ１４で履歴補正解像度Ｄ３Ａが第４の閾値th41Bより小さくなるため、時刻Ｔ１４以降、履歴補正解像度Ｄ３Ａはその値を減少していき、時刻Ｔ１５で下限値に達する。
【０１５２】
なお、時刻Ｔ１２で累積加算解像度Ｄ３の値は一旦減少するが、その値がth41Bを下回らないため、履歴補正解像度Ｄ３Ａの値は減少しない。
言い換えれば、累積加算解像度Ｄ３は、解像度判別信号Ｄ１の出力値が一時的に減少するとその影響を受け、値が減少してしまうが、履歴補正解像度Ｄ３Ａは解像度判別信号Ｄ１の出力値の一時的な変化の影響を受けにくい。
【０１５３】
なお、上記の現象とは逆に、解像度判別信号Ｄ１の出力値が一時的に増加した場合を考えると、累積加算解像度Ｄ３はその影響をうけ、一時的に値を増加させてしまうことがあるが、履歴補正解像度Ｄ３Ａはその影響を受けにくく、出力値が変動しにくいことが分かる。
【０１５４】
つまり、履歴補正解像度Ｄ３Ａの出力値は、累積加算解像度Ｄ３よりもさらに変動しにくい。よって、画像処理演算部２が入力画像Ｄ０に対して適用する画像処理の内容を累積加算解像度Ｄ３によって変化させるより、履歴補正解像度Ｄ３Ａによって変化させる方が、出力画像にちらつき等、視覚的な不快感を与えうる要素はより発生しにくいと言える。
【０１５５】
以上、説明した各実施の形態の特徴を、自由に組合せて持つようなものも本発明に含まれる。また、本発明の目的に合致する様々な変形や一部の構成要素を省略したものも本発明に含まれる。
【符号の説明】
【０１５６】
１ 画像分析部
１１、１１Ａ 特徴量検出部
１２、１２Ａ 特徴量合成部
１３ 解像度判別信号生成部
１１１ 画素選択部
１１２ 差分計算部
１１３ 代表差分計算部
１１４ 代表輝度計算部
２ 画像処理演算部
３、３Ａ 時系列分析部
Ｄ０ 入力画像
Ｄ１ 解像度判別信号
Ｄ２ 出力画像
Ｄ３ 累積加算解像度（時系列処理後解像度判別信号、累積加算解像度判別信号）
Ｄ３Ａ 履歴補正解像度（時系列処理後解像度判別信号）
ＤＡ 注目画素群画素値データ
ＤＢ 差分データ
Ｄ１１ 代表差分値
ＤＣ 代表輝度値
Ｄ１２、Ｄ１２Ａ 特徴量合成データ（特徴量合成値）
【技術分野】
【０００１】
本発明は画像処理装置に関する。
【背景技術】
【０００２】
入力された画像の解像度を検出して自動的に画像補正を行うことがなされている。例えば特許文献１による自動補正回路では、画像の解像度を検出する解像度検出手段と、検出された解像度に基づいて画像補正に用いる設定値を算出する設定値算出手段と、算出された設定値に基づいて、画像補正を行う画像補正手段を備えている。また、画像の解像度を検出するために、画像の有効期間を表すイネーブル信号の立ち上がりから立ち下がりまでの期間をカウントしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１６６１８８号公報（第１図、第２図、第３図）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像の有効期間を表すイネーブル信号の立ち上がりから立ち下がりまでの期間をカウントすることは、画像の水平画素数あるいは垂直画素数をカウントすることに相当する。つまり、特許文献１の技術は、入力画像の画素数から入力画像の解像度を検出している。
しかしながら、上記のように画像の画素数から画像の解像度を検出すると、画像によっては解像度を正しく検出できない場合がある。すなわち、入力画像として、ある低解像度の画像が拡大された画像が入力される場合、入力画像の解像度は、その画素数から考えられる解像度より低いと考える方が妥当である。よって入力画像の画素数をもとに画像補正を行うと、入力画像によっては適切に処理できない。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、入力画像で所定の間隔に位置する複数の画素の画素値の変化に基づいて、前記所定の間隔から決まる所定の周波数以上の信号成分が前記入力画像にどのくらい含まれるかを示す解像度判別信号を求める画像分析部を備えたものである。
【発明の効果】
【０００６】
本発明の画像処理装置によれば、入力画像の解像度に応じて入力画像を処理することができる。
【図面の簡単な説明】
【０００７】
【図１】この発明の実施の形態１に係る画像処理装置の構成図である。
【図２】この発明の実施の形態１に係る画像処理装置が有する画像分析部の構成図である。
【図３】この発明の実施の形態１に係る画像処理装置が有する特徴量検出部の構成図である。
【図４】この発明に係る画像処理装置に入力される入力画像における画素を説明する図である。
【図５】この発明の実施の形態１に係る画像処理装置が有する解像度判別信号生成部の動作を説明する図である。
【図６】画像処理装置に入力される入力画像の周波数スペクトルを説明する図である。
【図７】この発明の実施の形態１に係る画像処理装置に入力される入力画像の画素値の変化を表す図である。
【図８】この発明の実施の形態１に係る画像処理装置に入力される入力画像の画素値の別の変化を表す図である。
【図９】この発明の実施の形態１に係る画像処理装置に入力される図７の入力画像の画素値の差分を示す図である。
【図１０】この発明の実施の形態１に係る画像処理装置に入力される図８の入力画像の画素値の差分を示す図である。
【図１１】この発明の実施の形態１に係る画像処理装置で画素値の差分の符号が交互になることへの低周波成分の影響を説明する図である。
【図１２】この発明の実施の形態１に係る画像処理装置に入力される図８の入力画像の画素値の２画素となりの画素との差分を示す図である。
【図１３】この発明の実施の形態２に係る画像処理装置が有する画像分析部の構成図である。
【図１４】この発明の実施の形態２に係る画像処理装置が有する特徴量検出部の構成図である。
【図１５】この発明の実施の形態２に係る画像処理装置で重み係数の求め方を説明する図である。
【図１６】この発明の実施の形態２に係る画像処理装置で入力画像を得るための環境の一例を表す図である。
【図１７】この発明の実施の形態２に係る画像処理装置で異なる明るさで撮像された入力画像について考察する図である。
【図１８】この発明の実施の形態３に係る画像処理装置の構成図である。
【図１９】この発明の実施の形態３に係る画像処理装置の利用方法を例により説明する図である。
【図２０】この発明の実施の形態３に係る画像処理装置が有する時系列分析部の動作を説明する図である。
【図２１】この発明の実施の形態３に係る画像処理装置の動作を例により説明するための入力画像の図である。
【図２２】画像処理装置における強調処理で発生するオーバーシュートとアンダーシュートについて説明する図である。
【図２３】この発明の実施の形態４に係る画像処理装置が有する時系列分析部の構成図である。
【図２４】この発明の実施の形態４に係る画像処理装置が有する履歴補正部の動作を説明する図である。
【図２５】この発明の実施の形態４に係る画像処理装置が有する履歴補正部の動作を説明する図である。
【発明を実施するための形態】
【０００８】
実施の形態１．
図１は本発明の実施の形態１による画像処理装置の構成図である。実施の形態１による画像処理装置は入力画像Ｄ０の解像度を求める画像分析部１、求めた解像度に応じて入力画像Ｄ０を処理して出力画像Ｄ２を得る画像処理演算部２を有する。
【０００９】
画像分析部１は入力画像Ｄ０の画素値から、入力画像Ｄ０の解像度を求め、その結果を解像度判別信号Ｄ１として出力する。画像処理演算部２は、解像度判別信号Ｄ１を利用して、入力画像Ｄ０に対し、ノイズ処理、強調処理などさまざまな画像処理を行い、その結果として得られる画像を出力画像Ｄ２として出力する。ここで画像処理演算部２は、解像度判別信号Ｄ１の値によって画像処理の動作を変化させる。
詳細は後述するが、画像分析部１は、入力画像Ｄ０で所定の間隔に位置する複数の画素の画素値の変化に基づいて、所定の間隔から決まる所定の周波数以上の信号成分が入力画像Ｄ０にどのくらい含まれるかを示す解像度を求めるものである。
【００１０】
図２は画像解析部１の構成を表す図である。画像分析部１は、特徴量検出部１１、特徴量合成部１２、解像度判別信号生成部１３を有する。
【００１１】
まず、特徴量検出部１１について説明する。特徴量検出部１１は入力画像Ｄ０の所定の領域内に存在する画素ごとに、その画素を基準にして所定の間隔で配置された複数の画素の集合である注目画素群を設定し、設定した注目画素群を構成する画素の画素値の変化から後述の処理によって代表差分値Ｄ１１を求め出力する。
【００１２】
図３は特徴量検出部１１の構成を表す図である。特徴量検出部１１は画素選択部１１１、差分計算部１１２、代表差分計算部１１３を有する。
【００１３】
画素選択部１１１は、入力画像Ｄ０の所定の領域内に存在する画素ごとに、その画素ごとに設定される注目画素群を構成する画素の画素値を注目画素群画素値データＤＡとして出力する。
【００１４】
図４は、この発明に係る画像処理装置に入力される入力画像における画素を説明する図である。図４を用いて画素選択部１１１の動作および注目画素群画素値データＤＡについて説明する。図４には入力画像Ｄ０および入力画像Ｄ０を構成する画素が模式的に表されている。図４で最も小さい四角が、画素を表している。また、入力画像Ｄ０の水平方向、垂直方向に沿って水平座標、垂直座標が定義されており、水平座標がｘ、垂直座標がｙで表される座標に位置する画素の画素値をｄ（ｘ，ｙ）で表す。また、これらの座標軸の格子点の間隔は入力画像Ｄ０を構成する画素の間隔と等しいものとする。図４に示した例では、入力画像Ｄ０の水平方向の画素数はＷ、垂直方向の画素数はＨとなる。
【００１５】
画像選択部１１１は、図４で水平座標ｘ、垂直座標ｙで表される画素を（ｘ，ｙ）で表現するとして、（ａ，ｂ）、（ｐ，ｂ）、（ａ，ｑ）、（ｐ，ｑ）で表される４つの画素を頂点とする長方形で表される領域Ｒ内に存在する各画素について、注目画素群および注目画素群画素値データＤＡを求める。ここで注目画素群は、領域Ｒ内に存在する各画素について、自身を起点として水平方向に１画素間隔で並ぶ４個の画素を有する。すなわち、（ｕ，ｖ）で表される注目画素に対する注目画素群は、（ｕ，ｖ）、（ｕ＋１，ｖ）、（ｕ＋２，ｖ）、（ｕ＋３，ｖ）という4個の画素を有することになり、注目画素群画素値データＤＡは４個の画素値ｄ（ｕ，ｖ）、ｄ（ｕ＋１，ｖ）、ｄ（ｕ＋２，ｖ）、ｄ（ｕ＋３，ｖ）を有する。
【００１６】
画面右端に少なくとも３画素が残るように領域Ｒを設定すれば、（ｕ＋３，ｖ）に画素があるかどうかなどの場合分け処理が不要になり、処理が簡単になる。領域Ｒは視聴者がよく見る画面中央部を含むように設定することが望ましい。領域Ｒを小さくすれば解像度判別の処理を高速化でき、領域Ｒを大きくすれば小さい場合よりも正確に画像の解像度を判別できる。
【００１７】
差分計算部１１２の動作を説明する。差分計算部１１２は、４個の画素の中の隣接する２個の画素の組に対してそれぞれ１個の差分量（画素値の変化量）を計算する。すなわち、以下の式で計算される差分量Ｓ（１）、Ｓ（２）、Ｓ（３）を計算し、その結果を差分データＤＢとして出力する。
Ｓ（１）＝ｄ（ｕ＋１，ｖ）−ｄ（ｕ，ｖ）
Ｓ（２）＝ｄ（ｕ＋２，ｖ）−ｄ（ｕ＋１，ｖ）
Ｓ（３）＝ｄ（ｕ＋３，ｖ）−ｄ（ｕ＋２，ｖ）
【００１８】
代表差分計算部１１３は、差分データＤＢをＳ（１）、Ｓ（２）、Ｓ（３）の順に並べた場合に正の値と負の値が交互に並ぶ場合、ゼロ以外の値、例えばＳ（１）、Ｓ（２）、Ｓ（３）の絶対値のうち最小の値を代表差分値Ｄ１１として出力する。なお、それ以外の場合は代表差分値Ｄ１１の値としてゼロを出力する。
【００１９】
より具体的に説明すると、Ｓ（１）が正の値かつＳ（２）が負の値かつＳ（３）が正の値の場合、あるいはＳ（１）が負の値かつＳ（２）が正の値かつＳ（３）が負の値の場合は、Ｓ（１）、Ｓ（２）、Ｓ（３）の絶対値のうち最小の値を代表差分値Ｄ１１として出力し、それ以外の場合は代表差分値Ｄ１１の値としてゼロを出力する。
【００２０】
そして特徴量計算部１１からは、領域Ｒ内に含まれる各画素について上記の手順で求められた代表差分値Ｄ１１が、出力される。図４の例では領域Ｒ内には（ｐ−ａ＋１）×（ｑ−ｂ＋１）個の画素が含まれるので、（ｐ−ａ＋１）×（ｑ−ｂ＋１）個の代表差分値Ｄ１１が出力される。
【００２１】
次に、特徴量合成部１２の動作を説明する。特徴量合成部１２は特徴量計算部１１から出力される代表差分値Ｄ１１を合成して得た特徴量合成値を特徴量合成データＤ１２として出力する。ここで、特徴量合成部１２は、（ｐ−ａ＋１）×（ｑ−ｂ＋１）個の代表差分値Ｄ１１を加算した値を特徴量合成データＤ１２として出力する。
【００２２】
次に、解像度判別信号生成部１３の動作を説明する。解像度判別信号生成部１３は特徴量合成データＤ１２の値に対して単調非減少である解像度判別信号Ｄ１として出力する。
【００２３】
単調非減少とは、以下を意味する。特徴量合成データＤ１２の値として２つの値Ｄ１２ＸとＤ１２Ｙを考え、特徴量合成データＤ１２の値がＤ１２Ｘだった場合に出力される解像度判別信号Ｄ１の値をＤ１Ｘ、特徴量合成データＤ１２の値がＤ１２Ｙだった場合に出力される解像度判別信号Ｄ１の値をＤ１Ｙで表した時、Ｄ１２Ｘ＜Ｄ１２Ｙであれば、Ｄ１Ｘ≦Ｄ１Ｙとなることである。
【００２４】
図５は、この発明の実施の形態１に係る画像処理装置が有する解像度判別信号生成部の動作を説明する図である。図５（Ａ）が、特徴量合成データＤ１２と比例するように解像度判別信号Ｄ１を解像度判別信号生成部１３が出力する場合である。図５（Ｂ）では、特徴量合成データＤ１２が閾値th1以下では解像度判別信号Ｄ１をゼロとし、閾値th1から閾値th2までは解像度判別信号Ｄ１が特徴量合成データＤ１２の一次関数で表現されるように、特徴量合成データＤ１２が閾値th2以上では解像度判別信号Ｄ１が一定値となるように、解像度判別信号生成部１３が動作する場合である。
【００２５】
特徴量合成データＤ１２は多数の代表差分値Ｄ１１の和であるので大きな値となり、大きなビット数で表現する必要がある。解像度判別信号Ｄ１は、所定のビット数（例えば８ビット）の数である。単調非減少の関係を持たせて特徴量合成データＤ１２を解像度判別信号Ｄ１に変換することにより、画像処理演算部２が処理しやすい解像度判別信号Ｄ１を得ることができる。
【００２６】
以下、画像分析部１の作用、効果、本発明の実施の形態１による画像処理装置の効果について説明する。
【００２７】
図６は、画像処理装置に入力される入力画像の周波数スペクトルを説明する図である。図６でＦｎは入力画像Ｄ０の単位長あたりの画素数から決まるナイキスト周波数を表す。入力画像Ｄ０がＦｎの周波数の信号だけを有する場合には、水平方向および垂直方向で画素値が正負の同じ値を交互に取ることになる。
【００２８】
入力画像Ｄ０のスペクトル強度は水平方向周波数と垂直方向周波数に対応した２本の周波数軸で張られる周波数平面状上の各点について与えられるため、その形状を正確に記すためには３次元空間を用いる必要がある。しかしその形状は周波数軸の原点を中心に等方的に広がったものであるため、１本の周波数軸を用いればその形状を模式的に表すことができる。そのため、図６では周波数軸は１本しか用いていない。なお、水平方向と垂直方向で画素の間隔が異なる場合は、水平方向周波数と垂直方向周波数の両方を考慮する必要がある。
【００２９】
一般的に入力画像Ｄ０のスペクトル強度は原点（周波数がゼロ）にピークを持ち、周波数が高くなるほど、そのスペクトル強度が低下する。撮像素子により画像を撮像する場合には、単位長あたりの撮像素子の個数から決まるナイキスト周波数よりも大きい周波数成分は画像に含まれない。そのため、入力画像Ｄ０の周波数スペクトルは、スペクトル強度ＳＰＨで表すように、周波数が±Ｆｎ近傍の値をとる帯域まである程度のスペクトル強度を持ち、Ｆｎ以上ではゼロになる。
【００３０】
しかし、入力画像Ｄ０によってはその周波数スペクトルが、スペクトル強度ＳＰＨで示した形状のようにならない場合がある。その典型例として、入力画像Ｄ０が、入力画像Ｄ０より画素数の少ない画像を拡大して得られたものであった場合が考えられる。例えば、水平方向にＷ／２画素、垂直方向にＨ／２画素の画素数を持った画像を水平方向、垂直方向とも２倍に拡大して入力画像Ｄ０を得た場合、入力画像Ｄ０の周波数スペクトルはスペクトル強度ＳＰＬで示したようになる。すなわち、スペクトル強度は、周波数が±Ｆｎ／２近傍の帯域まではある程度の値を維持しているものの、周波数の絶対値がＦｎ／２よりも十分に大きい帯域ではほぼゼロとなる。
【００３１】
画像処理演算部２で強調処理を行う場合を考える。単純な強調処理は、入力画像Ｄ０の特定の周波数帯域近傍の高周波数成分を取り出し、所定の利得で増幅した後、入力画像Ｄ０に加算することで実現する。このように処理する理由は、上記の処理によって入力画像Ｄ０の高周波数成分のスペクトル強度が増加するからである。なお、特定の周波数帯域近傍の周波数成分を取り出すには高周波数成分通過フィルタや帯域周波数成分通過フィルタなどが利用できる。
【００３２】
入力画像Ｄ０の周波数スペクトルがスペクトル強度ＳＰＨで表されるような形状の場合、周波数の絶対値がＦｎ／２程度以上でありＦｎ以下の所定の帯域の周波数成分を取り出し、所定の利得で増幅した後、入力画像Ｄ０に加算することで高周波数成分のスペクトル強度を増すことができる。
【００３３】
一方、入力画像Ｄ０の周波数スペクトルがスペクトル強度ＳＰＬで表されるような形状の場合、周波数の絶対値がＦｎ／２程度以上でありＦｎ以下の所定の帯域にはそもそも対応する周波数成分がわずかしか含まれていないため、この帯域の周波数成分を取り出しても効果があまりない。その代わりに、例えば周波数の絶対値がＦｎ／４程度以上でありＦｎ／２以下の所定の帯域の周波数成分を取り出し、所定の利得で増幅した後、入力画像Ｄ０に加算する方が効果的である。
【００３４】
要するに、スペクトル強度ＳＰＨを与える入力画像Ｄ０も、スペクトル強度ＳＰＬを与える入力画像Ｄ０も画素数は同じであるが、その周波数スペクトルの広がり方が異なるため、それぞれに効果的な画像処理の内容が異なる。したがって、入力画像Ｄ０の画素数ではなく周波数スペクトルの広がり方によって画像処理演算部２の処理内容を変える、例えば高周波数成分通過フィルタの周波数特性を変更することが望ましい。
【００３５】
なお、高周波数成分通過フィルタの周波数特性を変えるのではなく、取り出した周波数成分に対する利得を制御してもよい。例えば、高周波数成分通過フィルタは、周波数の絶対値がＦｎ／２近傍の値以上となる帯域の高周波数成分を取り出すよう設計しておき、スペクトル強度ＳＰＨで表されるような形状の周波数スペクトルを持つ入力画像に対しては利得の値を小さくし、スペクトル強度ＳＰＬで表されるような形状の周波数スペクトルを持つ入力画像に対しては利得の値を大きくしてもよい。
【００３６】
別の言い方をすれば、入力画像Ｄ０の周波数スペクトルがどの程度の周波数帯域まで広がっているか、あるいは所定の周波数帯域まで広がっているかを表す信号を求めることで、入力画像Ｄ０の解像度に応じた画像処理を行うことができる。
【００３７】
ところが、入力画像Ｄ０の周波数スペクトルを正確に計算するためには入力画像Ｄ０をフーリエ変換する必要があり、演算量が膨大になる。したがって入力画像Ｄ０の周波数スペクトルの広がり方に応じて画像処理演算部２の演算内容を変更する処理を実現するためには、フーリエ変換以外の方法で入力画像Ｄ０の周波数スペクトルの広がりを推定する方法が必要である。
【００３８】
本発明の実施の形態１の画像分析部１によれば簡単な演算で入力画像Ｄ０の周波数スペクトルの広がりを見積もることができる。よって本発明の実施の形態１の画像処理装置では、入力画像Ｄ０の周波数スペクトルの広がり方に応じて画像処理演算部２の演算内容を変更することが可能になる。
【００３９】
入力画像Ｄ０をフーリエ変換することに比べ、画像分析部１の演算量が少ないことは、実施の形態１の説明から当業者には明らかである。よって、以下では、画像分析部１によって入力画像Ｄ０の周波数スペクトルの形状を見積もることができることを説明する。
【００４０】
図７と図８は入力画像Ｄ０の画素値を水平方向に１３画素分プロットしたデータを表す折れ線である。ここで図７は画素値の変化に、±Ｆｎ程度の周波数で表される正弦波で近似できる変化が多く含まれている場合の例であり、図８は画素値の変化に、±Ｆｎ／２程度の周波数で表される正弦波で近似できる変化が多く含まれている場合の例である。なお、図７と図８では、入力画像Ｄ０の画素間の距離をＬで表している。
【００４１】
以下、特徴量計算部１１は図７と図８に示された画素のうち水平座標が１であるものから１０であるものまでに対して、先に説明した手順で注目画素群を設定し、代表差分値Ｄ１１を求めるものとする。自分の画素値から座標が大きい画素の画素値を引いた差分量を、図７に対して求めると、図９となる。図８に対して差分量を求めたものが図１０である。
【００４２】
図９に示す差分量から分かるように、図７で示された画素値の例で連続する３個の差分量の符号が交互（＋−＋、または−＋−）になり、代表差分値Ｄ１１がゼロ以外の値をとる注目画素群は、以下のようになる。
水平座標１で与えられる画素に対して設定される注目画素群
水平座標２で与えられる画素に対して設定される注目画素群
水平座標３で与えられる画素に対して設定される注目画素群
水平座標４で与えられる画素に対して設定される注目画素群
水平座標５で与えられる画素に対して設定される注目画素群
水平座標８で与えられる画素に対して設定される注目画素群
水平座標９で与えられる画素に対して設定される注目画素群
水平座標１０で与えられる画素に対して設定される注目画素群
【００４３】
この場合、代表差分値Ｄ１１はゼロ以外の値をとる場合が多いため、代表差分値Ｄ１１を加算して得られる特徴量合成データＤ１２はある程度大きい値をとる。
【００４４】
一方、図１０に示す差分量から分かるように、図８に示す例では、以下に示す画素に対して設定される注目画素群から計算される代表差分値Ｄ１１がゼロ以外の値をとる。
水平座標９で与えられる画素に対して設定される注目画素群
【００４５】
この場合、代表差分値Ｄ１１の値がゼロ以外の値をとる場合が１０画素中の１画素しかなく、代表差分値Ｄ１１を加算して得られる特徴量合成データＤ１２は大きくならない。
以上の例では、入力画像Ｄ０の画素値の変化に、周波数の絶対値がＦｎ程度となる正弦波で近似できる成分が多く含まれている場合、特徴量合成データＤ１２の値は大きくなり、入力画像Ｄ０の画素値の変化に、周波数の絶対値がＦｎよりも低い値、例えばＦｎ／２程度となる正弦波で近似できる成分が多く含まれている場合はあまり大きな値とならないことが示されたが、以下の考察によって、入力画像Ｄ０の画素値の変化に周波数の絶対値がＦｎ／２程度よりも大きな値となる正弦波で近似できる成分が多く含まれるほど、特徴量合成データＤ１２の値が大きくなることが分かる。
【００４６】
入力画像Ｄ０に±β*Ｆｎの周波数（注目周波数と呼ぶ、０＜β≦１）の成分が含まれる場合には、差分量Ｓでも注目周波数の成分が含まれる。差分量Ｓに注目周波数の成分だけが存在すると仮定して、連続する３個の差分量Ｓの位相は、中央の差分量Ｓの位相をα（０以上、π未満）とすると、−πβ＋α、α、πβ＋αになる。３個の差分量Ｓの符号が交互になる条件は、以下となる。
−π＜−πβ＋α＜０＜α＜π＜πβ＋α＜２π （１）
（１）式から、以下の（２）式が得られる。
１／２＜β≦１ かつ π（１−β）＜α＜πβ （２）
【００４７】
（２）式から、βが１／２より大きければ、βが１に近いほど大きな確率（β＝１では、ほぼ１００％）で３個の差分量Ｓの符号が交互になることが分かる。差分量Ｓに注目周波数の成分だけが存在する場合には、絶対値がＦｎ／２以下の注目周波数では、連続する３個の差分量Ｓの符号が交互になることは発生しないことを示している。実際には、注目周波数以外の周波数が入力画像Ｄ０に含まれており、絶対値がＦｎ／２以下の周波数だけでも、連続する３個の差分量Ｓの符号が交互になる場合が発生する。ただし、周波数が低いほど、連続する３個の差分量Ｓの符号が交互になる場合が発生する確率は小さくなる。
【００４８】
複数の周波数の信号が存在するため、絶対値がＦｎ／２以下の周波数の信号成分だけでも連続する３個の差分量Ｓの符号が交互になる場合について、考察する。注目周波数と、もう１つの周波数（周波数γＦｎ、位相δ）の２つの信号が存在する場合を考える。
Ｓ(x)＝sin(πβ*x＋α)＋b*sin(πγ*x＋δ) （３）
ここに、ｘは画素位置である。ｘが1違う画素は、互いに隣接する。γが十分に小さく、注目周波数の１周期ではほとんど変化しないとして、（３）式の右辺第２項を変数（−ｃ）に置き換えると、以下のようになる。
Ｓ(x)＋ｃ＝sin(πβ*x＋α) （４）
なお、（３）式では１個の周波数γＦｎだけを示したが、低周波成分（βの数分の１程度以下の周波数すべて）の影響を変数ｃとして表すことができる。なお、差分量Ｓは画素値の１次微分に相当する量なので、低周波数であるほど、同じ振幅でも差分量Ｓの値は小さくなる。図６に示すようなスペクトル分布を前提としているので、βが大きくなるほど、より大きな周波数が低周波成分に含まれるようになり、変数ｃも大きな値を取りうることになる。
【００４９】
図１１に、この発明の実施の形態１に係る画像処理装置で画素値の差分の符号が交互になることへの低周波成分の影響を説明する図である。図１１では、ｘ＝０付近での（４）式の様子を図に示す。図１１では、ｘ＝−１、０、１の３画素での差分量Ｓ(x)の符号は−＋−となる。詳細は省略するが、３画素で差分量の符合が交互になる条件は、以下である。
π(１−β)/２＜α≦π/２で、sin(πβ＋α)＜ｃ＜sin(α) （５Ａ）
π/２≦α＜π(１＋β)/２で、sin(−πβ＋α)＜ｃ＜sin(α) （５Ｂ）
【００５０】
（５Ａ）、（５Ｂ）式から、βが０に近い値であっても３画素で差分量の符号が交互になる場合があり、βが大きいほど、３画素で差分量の符合が交互になるαの範囲が大きく、αを固定して考えると変数ｃの範囲も大きいことが分かる。また、αがπ/２に近いほど、βが同じでも３画素で差分量の符合が交互になる変数ｃの範囲が大きくなる。
代表差分値Ｄ１１の値は、０に近いβに対応する周波数の影響も入るが、βが１/２よりも十分に大きい周波数の影響と比較すると、０に近いβに対応する周波数の影響の大きさはかなり小さくなる。
【００５１】
以上のことから、連続する３個の差分量Ｓの符号が交互になる場合にゼロで無い値をとる解像度判別信号Ｄ１は、絶対値がＦｎ／２程度以上（Ｆｎ／２よりも小さい周波数も含む）の周波数を、周波数が大きいほど大きな値になる重み係数で重み付け加算した値を求めることを意味することが分かる。そして、特徴量合成データＤ１２は、入力画像Ｄ０の画素値の変化に周波数の絶対値がＦｎ／２程度以上の周波数の正弦波で近似できる成分が多く含まれるほど大きな値になることが分かる。
さらに解像度判別信号Ｄ１は特徴量合成データＤ１２に対し単調非減少の関係があるので、解像度判別信号Ｄ１も、入力画像Ｄ０の画素値の変化に周波数の絶対値がＦｎ／２程度以上の周波数の正弦波で近似できる成分が多く含まれるほど大きな値になる。また、入力画像Ｄ０の画素値の変化に周波数の絶対値がＦｎ／２程度以上の周波数の正弦波で近似できる成分が多く含まれる場合、入力画像Ｄ０の周波数スペクトルは、周波数の絶対値がＦｎ／２以上の値となる帯域まで広がっている。したがって解像度判別信号Ｄ１の値によって、入力画像Ｄ０の周波数スペクトルがどの程度の周波数帯域まで広がっているか見積もることができる。
【００５２】
また、解像度判別信号Ｄ１の値によって入力画像Ｄ０の周波数スペクトルがどの程度の周波数帯域まで広がっているか見積もることができるので、解像度判別信号Ｄ１を用いることで、入力画像Ｄ０の周波数スペクトルに適した画像処理を行うことが可能になる。
【００５３】
上記の説明では、入力画像Ｄ０の画素値の変化に周波数の絶対値がＦｎ／２程度以上の周波数の正弦波で近似できる成分が多く含まれる場合に、解像度判別信号Ｄ１の値が大きな値をとるものであったが、解像度判別信号Ｄ１が反応する周波数帯域はこの例に限定されるものではない。注目画素群の構成を変えることで周波数の絶対値がＦｎ／２よりも小さい周波数帯域を、解像度判別信号Ｄ１が反応する周波数帯域とすることができる。
【００５４】
以下、入力画像Ｄ０の周波数スペクトルに、周波数の絶対値がＦｎ／４程度以上でＦｎ／２程度以下となる帯域の周波数成分がどの程度あるかを判断する場合を例に説明する。この場合、領域Ｒ内の各画素に対して与えられる注目画素群を、自身を起点として水平方向に２画素間隔で並ぶ４点の画素とすればよい。
【００５５】
すなわち、（ｕ，ｖ）で表される画素に対して設定される注目画素群は、（ｕ，ｖ）、（ｕ＋２，ｖ）、（ｕ＋４，ｖ）、（ｕ＋６，ｖ）という4個の画素を有することになる。
また、注目画素群画素値データＤＡは４個の画素値ｄ（ｕ，ｖ）、ｄ（ｕ＋２，ｖ）、ｄ（ｕ＋４，ｖ）、ｄ（ｕ＋６，ｖ）を有する。
さらに、差分データＤＢは以下の式で表される３個の差分量Ｓ（１）、Ｓ（２）、Ｓ（３）を有する。
Ｓ（１）＝ｄ（ｕ＋２，ｖ）−ｄ（ｕ，ｖ）
Ｓ（２）＝ｄ（ｕ＋４，ｖ）−ｄ（ｕ＋２，ｖ）
Ｓ（３）＝ｄ（ｕ＋６，ｖ）−ｄ（ｕ＋４，ｖ）
【００５６】
入力画像Ｄ０の周波数スペクトルに、周波数の絶対値がＦｎ／４程度以上でＦｎ／２程度以下となる帯域の周波数成分のうち、特に周波数が±Ｆｎ／２近傍の成分が多い場合に、図８に示すように、入力画像Ｄ０の画素値の変化には、周期が４Ｌ程度の正弦波で近似できる変化が見られる。図８の画素値の場合で、２個右の画素の画素値との差分を取ったものを、図１２に示す。
【００５７】
図１２から分かるように、図８の水平座標が１であるものから７であるものまでに対し、代表差分値Ｄ１１を求めた場合、以下に示す注目画素群から計算される代表差分値Ｄ１１がゼロ以外の値をとる。
水平座標１
水平座標２
水平座標４
水平座標６
【００５８】
１画素間隔で差分をとる場合と比較して、２画素間隔で差分をとることにより、代表差分値Ｄ１１がゼロ以外の値をとる機会が増えたことがわかる。それに合わせ、特徴量合成データＤ１２もある程度の値を持ち、解像度判別信号Ｄ１の値も大きくなることも明らかである。よって、解像度判別信号Ｄ１から、入力画像Ｄ０の周波数スペクトルが、周波数の絶対値がＦｎ／４程度以上でＦｎ／２程度以下の周波数の正弦波で近似できる成分がどの程度あるかを判断できることが分かる。
【００５９】
以上の例から、領域Ｒ内の各画素に対して与えられる注目画素群を、自身を起点として水平方向に２画素間隔で並ぶ４点の画素とすることで、入力画像Ｄ０の周波数スペクトルが、少なくとも周波数が±Ｆｎ／４程度以上から±Ｆｎ／２の近傍の値をとる帯域まで広がっているか判断できることがわかる。
【００６０】
以上の説明から、画像分析部１で、入力画像Ｄ０の周波数スペクトルが、どの程度の帯域の周波数領域まで広がっているか判断する際、判断したい周波数帯域によって、注目画素群を構成する画素の間隔を適宜設定してやればよいことがわかる。特に、判断したい周波数帯域がより低周波数側に近づく程、注目画素群を構成する画素の間隔を広くすればよい。
【００６１】
また、上記の説明では注目画素群を構成する画素数は４であったが、その画素数は３または５以上でもよい。注目画素群を３画素で構成する場合には、より大きな解像度判別信号Ｄ１が得やすくなる。ただし、周波数の絶対値がＦｎ／２以下の成分も解像度判別信号Ｄ１に４画素の場合より大きな割合で寄与することになる。注目画素群を５画素以上で構成する場合には、周波数の絶対値がＦｎから離れた成分の寄与が４画素の場合よりも小さくなり、周波数の絶対値がＦｎにより近い成分を大きな重みで解像度判別信号Ｄ１に寄与させることができる。５画素を使用する場合には、周波数の絶対値がＦｎ*(２／３)程度以上の周波数をおもに検出することになる。
さらに、注目画素群を水平方向に並ぶ画素で構成したが、垂直方向に並べてもよく、水平方向にＰ画素で垂直方向にＱ画素というような斜め方向に所定の間隔で配置された画素により注目画素群を構成するようにしてもよい。
【００６２】
注目画素群の各画素は等間隔でなくてもよく、注目画素（ｕ，ｖ）に対して、例えば（ｕ，ｖ）、（ｕ＋２，ｖ）、（ｕ＋３，ｖ）、（ｕ＋４，ｖ）、（ｕ＋６，ｖ）などを注目画素群としてもよい。その場合には、４個の差分量に対するパターンを＋または−の符号を４個並べて表現するとして、＋−−＋、−＋＋−の場合に、代表差分値Ｄ１１がゼロでない値をとるようにする。このように、代表差分値Ｄ１１がゼロでない値をとるための差分データＤＢに対する所定のパターンは、注目画素群を構成する画素の配置に応じて、所定の周波数以上の周波数の信号成分が含まれることを検出できるように決めればよい。
【００６３】
注目画素を注目画素群の端の画素としたが、注目画素（ｕ，ｖ）は必ずしも端でなくてもよい。例えば、（ｕ−１，ｖ）、（ｕ，ｖ）、（ｕ＋１，ｖ）、（ｕ＋２，ｖ）を注目画素群としてもよい。また、注目画素群の中に注目画素が含まれなくてもよい。例えば、（ｕ−１，ｖ）、（ｕ＋１，ｖ）、（ｕ＋３，ｖ）、（ｕ＋５，ｖ）を注目画素群としてもよい。注目画素群は、注目画素を基準として、所定の方向に所定の間隔で位置する複数の画素であればよい。
【００６４】
上記をさらに一般化して言えば、画素選択部１１１は、領域Ｒ内に含まれる画素ごとにその画素を注目画素とし、注目画素を基準として、所定の方向に所定の間隔で並ぶＮ個の画素を注目画素群として選択すればよい。このとき、注目画素群画素値データＤＡは注目画素群を構成するＮ個の画素が持つＮ個の画素値となる。
また、注目画素群画素値データＤＡを構成するＮ個の画素値を注目画素に近い画素の画素値から順に１からＮの整数値をとる変数ｊを用いてＤ（ｊ）と表した場合（つまり注目画素の画素値がＤ（１）となり、注目画素から最も遠い画素の画素値がＤ（Ｎ）となる）、差分データＤＢはＮ−１個の差分量からなり、この差分量を１からＮ−１の整数値をとる変数ｋを用いてＳ（ｋ）で表した場合、Ｓ（ｋ）は以下の式で表される。
Ｓ（ｋ）＝Ｄ（ｋ＋１）−Ｄ（ｋ）
さらに、代表差分計算部１１３が出力する代表差分値Ｄ１１は、差分量Ｓ（ｋ）をｋの順（ｋが小さいまたは大きい順）に並べた場合に、所定のパターン（例えば、正の値と負の値が交互に現れる）である場合は正の値、例えば差分量Ｓ（ｋ）の絶対値の最小値であり、それ以外の場合はゼロであればよい。
【００６５】
なお、代表差分計算部１１３に対する変形例として、差分量Ｓ（ｋ）をｋの順に並べた場合に、正の値と負の値が交互現れる場合であっても、差分量Ｓ（ｋ）の絶対値の最小値が第１の閾値以下の場合は代表差分値Ｄ１１としてゼロを出力するという条件を加えてもよい。
【００６６】
この場合、入力画像Ｄ０に含まれるノイズによる影響を取り除くことができる。すなわち、入力画像Ｄ０中にノイズが含まれていた場合、入力画像Ｄ０中に微小な振幅での画素値（あるいは輝度）の振動が見られる。このような微小な画素値の振動を含む領域が注目画素群として画素選択部１１１で設定された場合、代表差分計算部１１３からは、ゼロ以外の値が出力されうる。
【００６７】
しかしながら、注目画素群に含まれる画素値の変化は微小な振動であるので、差分量Ｓ（ｋ）の絶対値も小さな値であると考えられる。したがって、差分量Ｓ（ｋ）をｋの順に並べた場合に、正の値と負の値が交互現れる場合であっても、差分量Ｓ（ｋ）の絶対値の最小値が所定の閾値（ゼロ同等閾値と呼ぶ）以下の場合は代表差分計算部１１３がゼロを出力することで、ノイズによる微小な画素値の振動が原因となって、代表差分計算部１１３から、ゼロ以外の値が出力されることを未然に防ぐことができる。言い換えると、入力画像Ｄ０に含まれるノイズによる影響を取り除くことができる。なお、ゼロ同等閾値は、想定する多くの入力画像に対して適切な出力画像が得られるように調整する。
【００６８】
また、代表差分計算部１１３に対する変形例として、差分量Ｓ（ｋ）をｋの順に並べた場合に、正の値と負の値が交互現れる場合であっても、差分量Ｓ（ｋ）の絶対値の最小値が所定の閾値（上限差分値と呼ぶ）以上の場合は代表差分値Ｄ１１として固定値例えば上限差分値を出力するという条件を加えてもよい。なお、上限差分値は、想定する多くの入力画像に対して適切な出力画像が得られるように調整する。
【００６９】
この場合、入力画像Ｄ０に人為的に加えられた模様が含まれた場合、その人為的に加えられた模様の影響を取り除くことができる。
【００７０】
自然の風景などを撮像して得られた自然画像に対し、人為的に後から文字列などを合成したものが入力画像Ｄ０として入力された場合を考える。ここで、入力画像の画素値は８ビットのデータとする。すなわち画素値の上限は２５５で下限は０である。
通常、自然の風景などを撮像して得られた自然画像では画素値が局所的に激しく変化することは少ないため、代表差分値Ｄ１１も、画素値の上限値と下限値の差に比べればそれよりはかなり小さい値をとることの方が多い。一方、人為的に後から追加される情報、例えば文字列などは、識字性をよくするために、該当箇所では画素値の上限値と下限値の間の大きな範囲で画素値を変化させるため、画素値が局所的に激しく変化する。よって、代表差分値Ｄ１１も極端に大きな値を取りやすい。
【００７１】
以上のことを踏まえると、代表差分値Ｄ１１を加算して特徴量合成データＤ１２を計算する場合、入力画像Ｄ０中に例えば文字列のような人為的に合成された模様があると、該当箇所からは、代表差分値Ｄ１１として他よりも大きな値が出力されるため、特徴量合成データＤ１２の計算に対して、より大きな影響を持つことが懸念される。
【００７２】
一方、代表差分値Ｄ１１を計算する際に、差分量Ｓ（ｋ）をｋの順に並べた場合に、正の値と負の値が交互現れる場合であっても、差分量Ｓ（ｋ）の絶対値の最小値が上限差分値以上の場合は代表差分値Ｄ１１として固定値、例えば上限差分値を出力することで、入力画像Ｄ０に人為的な模様が加えられた模様があったとしても、該当箇所から出力される値は大きくても上限差分値までなので、代表差分値Ｄ１１として極端に大きな値が出力されることを防止できる。
【００７３】
したがって、代表差分値Ｄ１１を加算して特徴量合成データＤ１２を計算する場合に、入力画像Ｄ０中に人為的に合成された模様があったとしても、該当箇所からは、代表差分値Ｄ１１として他よりも極端に大きな値が出力されるのを未然に防ぐことができる。言い換えると、入力画像Ｄ０中に人為的に合成された模様があったとしても、該当箇所が特徴量合成データＤ１２の計算に与える影響をある程度抑えることが可能になる。
【００７４】
また、上記の例では、代表差分計算部１１３は、差分量Ｓ（ｋ）をｋの順に並べた時に、正の値と負の値が交互に現れた場合、ゼロでない出力値として、差分量Ｓ（ｋ）の絶対値の最小値をもとに出力値を決定しているが、正の値と負の値が交互に現れた場合、ゼロ以外の固定値を出力するようにしてもよい。
【００７５】
また、画像処理演算部２が行う画像処理は強調処理に限定されず、その他の処理、例えばノイズ除去処理を行ってもよい。
【００７６】
単純なノイズ除去処理は低周波数成分通過フィルタを利用することで実現する。例えば、低周波数成分通過フィルタによって入力画像Ｄ０の高周波数成分を除去することで、ノイズ除去処理の効果が得られる。
この時、入力画像Ｄ０によってその周波数スペクトルが変化しうるので、入力画像Ｄ０の周波数スペクトルの広がりを解像度判別信号Ｄ１によって推定し、その結果に応じて低周波数成分通過フィルタの周波数応答を適宜変化させることで、入力画像Ｄ０の周波数スペクトルの形状に適したノイズ処理が可能になる。
【００７７】
他にも、低周波数成分通過フィルタによって入力画像Ｄ０の低周波数成分のみを取り出した画像と、入力画像Ｄ０にそれぞれ異なる重み係数をかけた後、加算することでも、ノイズ除去処理とすることができる。この場合も、低周波数成分通過フィルタの周波数応答を解像度判別信号Ｄ１によって変化させればよい。あるいは、低周波数成分のみを取り出した画像と入力画像Ｄ０のどちらかまたは両方の重み係数を解像度判別信号Ｄ１によって変化させてもよい。
【００７８】
さらに、差分量Ｓ（ｋ）の絶対値が所定値よりも小さい場合にゼロとして扱い、差分量Ｓ（ｋ）にゼロが含まれる場合は、正の値と負の値が交互に並ぶという条件が成立しないと判断するようにしてもよい。差分量Ｓ（ｋ）をゼロと判断する所定値は、想定されるノイズまたは計算誤差と同程度の値に決めれば、ノイズや計算誤差の影響を除去できる。そして、所定値から決まる所定の周波数以下の信号成分が、ゼロでない代表差分値を出力することに寄与しなくなる。所定値が大きくなれば、所定の周波数も大きくなる。その理由は、所定の周波数以下の信号しか含まれない場合でも、差分量Ｓ（ｋ）が正の値と負の値が交互に並ぶ条件が発生する確率はゼロではないが、所定の周波数が小さいほどゼロでない代表差分値が小さくなるからである。
また、差分量Ｓ（ｋ）がゼロもとりうる場合に、正またはゼロの値と負またはゼロの値が交互に並ぶことを条件に、ゼロでない代表差分値を出力するようにしてもよい。差分量Ｓがゼロで条件を満足する場合は、所定値の所定倍（例えば、０．５倍）を代表差分値とする。
【００７９】
注目画素群の設定の仕方が異なる複数の特徴量検出部を備え、複数の特徴量検出部が出力する複数の特徴量（実施の形態１では、代表差分値）から入力画像の解像度を判別するようにしてもよい。複数の画像分析部を備え、複数の解像度判別信号から入力画像の解像度を判別するようにしてもよい。
以上のことは、他の実施の形態でも適用できる。以下の実施の形態で説明することは、その実施の形態だけでなく、他の実施の形態にも適用できる。
【００８０】
実施の形態２．
本発明の実施の形態２による画像処理装置が有する画像分析部の構成図を図１３に示す。実施の形態１による画像処理装置と比較した場合、画像分析部１Ａは、異なる特徴量計算部１１Ａと特徴量合成部１２Ａを有する。
【００８１】
図１４は特徴量計算部１１Ａの構成を表す図である。特徴量検出部１１Ａは、画素選択部１１１、差分検出部１１２、代表差分計算部１１３、代表輝度計算部１１４を有する。なお、画素選択部１１１、差分計算部１１２、代表差分計算部１１３の動作は実施の形態１と同様である。
【００８２】
代表輝度計算部１１４は、注目画素群画素値データＤＡを構成するＮ個の画素値Ｄ（ｊ）から、Ｎ個の画素値Ｄ（ｊ）を代表する代表輝度値ＤＣを求めて出力する。代表輝度値ＤＣは、注目画素群の中の隣接する２個の画素の組の中で画素値の差の絶対値が最小になる組の大きい方の画素値である。
【００８３】
ここで、注目画素群画素値データＤＡを構成するＮ個の画素値Ｄ（ｊ）の表記法は実施の形態１と同様とする。すなわち、ｊは１からＮの整数値をとる変数であり、Ｄ（１）は注目画素の画素値を、Ｄ（Ｎ）は注目画素群を構成する画素のうち、注目画素から最も離れた位置にある画素の画素値になる。
【００８４】
代表輝度計算部１１４の動作についてさらに詳しく説明する。
代表輝度計算部１１４は、差分計算部１１２が出力する差分量Ｓ（ｋ）の絶対値が、差分量Ｓ（Ｔ）において最小値をとるとすると、画素値Ｄ（Ｔ＋１）と画素値Ｄ（Ｔ）のうち大きい方の値を代表輝度値ＤＣとして出力する。なお、注目画素群画素値データＤＡを変更するごとに、代表輝度値ＤＣも変更することになる。
特徴量計算部１１Ａからは、代表差分値Ｄ１１と代表輝度値ＤＣが出力される。
【００８５】
次に、特徴量合成部１２Ａの動作について説明する。
特徴量合成部１２Ａは代表差分値Ｄ１１を重み付け加算することで特徴量合成データＤ１２Ａを求める。代表差分値Ｄ１１に対する重みは、代表輝度値ＤＣに基づいて決められる。より具体的に書くと、代表輝度値ＤＣに対して単調非増加である関係で求められる重み係数ＫＡを、代表差分値Ｄ１１に乗じた値を加算することで、特徴量合成データＤ１２Ａを求める。
【００８６】
なお、代表輝度値ＤＣとして、ＤＣ０とＤＣ１という二つの値を考え、ＤＣ０という値に対して求められる重み係数ＫＡの値をＫＡ０、ＤＣ１という値に対して求められる重み係数ＫＡの値をＫＡ１で表した場合に、ＤＣ０＜ＤＣ１であれば、ＫＡ０≧ＫＡ１となる関係が満たされる場合、係数ＫＡは代表輝度値ＤＣに対して単調非増加である関係で求められるという。
【００８７】
ここで、注目画素群画素値データＤＡは、入力画像Ｄ０内の領域Ｒを構成する画素ごとに与えられるので、代表差分値Ｄ１１および代表輝度値ＤＣは、入力画像Ｄ０内の領域Ｒを構成する画素ごとに求められる。図４で水平座標がｕ、垂直座標がｖで表される画素に関して求められた代表差分値Ｄ１１をＤ１１（ｕ，ｖ）、代表輝度値ＤＣをＤＣ（ｕ，ｖ）で表し、代表輝度値ＤＣ（ｕ，ｖ）から求められる重み係数ＫＡをＫＡ（ｕ，ｖ）と表した場合、特徴量合成データＤ１２Ａは以下の式で表される。
【００８８】
【数１】
【００８９】
図１５は、上記のように定義される単調非増加である関係を満たす代表輝度値ＤＣと重み係数ＫＡの関係の例である。図１５（Ａ）の例では、代表輝度値ＤＣの値が大きくなれば、重み係数ＫＡの値は必ず小さくなる。また、図１５（Ｂ）の例では代表輝度値ＤＣの値が０以上かつ閾値th11未満の場合はＫＡ１という値を、代表輝度値ＤＣの値が閾値th11以上かつ閾値th12未満の場合はＫＡ２という値を、閾値th12以上の場合は第３のＫＡ３という値をとり、ＫＡ３＜ＫＡ２＜ＫＡ１という関係にある。
【００９０】
以下、実施の形態２による画像処理装置の効果について図１６と図１７を用いて説明する。図１６は、入力画像を得るための環境の一例を表す図である。図１７は、この発明の実施の形態２に係る画像処理装置で異なる明るさで撮像された入力画像Ｄ０について考察する図である。
【００９１】
図１６で、入力画像Ｄ０は、照明U000から照射される照明光L000が壷である被写体U001上で反射した反射光L001を撮像装置U002で撮像することで得られ、入力画像Ｄ０の画素値は、照明光U000の明るさＤＵ０、被写体U001の反射率ＤＵ１、撮像装置U002の感度ＤＵ２の積で表される。
【００９２】
つまり、入力画像Ｄ０上で（ｕ，ｖ）で表される画素に対応した位置に相当する被写体U001の反射率をＤＵ１（ｕ，ｖ）で表すと、入力画像Ｄ０上で（ｕ，ｖ）で表される画素の画素値ｄ（ｕ，ｖ）は、以下の式で表される。
ｄ（ｕ，ｖ）＝ＤＵ０*ＤＵ１（ｕ，ｖ）*ＤＵ２ （７）
【００９３】
以上の関係を前提として、同一の撮像装置で、同一の被写体を、照明の明るさを変えて撮像した場合を用いて考える。
【００９４】
再び図１６を用いて説明する。図１６には、被写体U001を撮像装置U002で撮像して得た入力画像Ｄ０上で、直線上に並ぶ画素として現れる箇所を対象Q001として表している。
【００９５】
図１７（Ａ）は対象Q001の反射率をプロットした図であり。水平軸方向に、入力画像Ｄ０の画素間隔と同じ間隔で対象Q001の反射率がプロットしてある。
【００９６】
図１７（Ｂ）、（Ｃ）は対象Q001に対して得られる入力画像Ｄ０の画素値を表しているが、図１７（Ｂ）に示す画素値は、図１７（Ｃ）に示す画素値を得た場合よりも、照明光L000の明るさＤＵ０が大きな値の場合のものとなっている。
【００９７】
以下、画素選択部１１１が、入力画像Ｄ０上の各画素を起点として水平方向に連続する４画素を注目画素群として設定する場合を考える。
【００９８】
図１７（Ｂ）、（Ｃ）に示した例で、水平座標が２で表される画素を起点に設定される注目画素群に関して計算される代表差分値Ｄ１１について述べる。この注目画素群では、水平座標が２で表される画素の画素値と水平座標が３で表される画素の画素値の差の絶対値が、代表差分値Ｄ１１として出力される。
【００９９】
この時、代表差分値Ｄ１１は以下の（８）式で表される。
Ｄ１１＝ＤＵ０*（ＤＵ１（２）−ＤＵ１（３））*ＤＵ２ （８）
なお、ＤＵ１（２）は図１７（Ａ）で水平座標が２で表される点の反射率、ＤＵ１（３）は図１７（Ａ）で水平座標が３で表される点の反射率とする。
【０１００】
ここで図１７（Ｂ）に示された例と図１７（Ｃ）に示された例を考えると、図１７（Ｂ）に示す例の方が照明光D000の明るさＤＵ０が大きな値となっているため、代表差分値Ｄ１１も図１７（Ｂ）に示す例の方が大きくなる。
【０１０１】
上記の例をさらに一般化して考えると、例え同じ被写体を同じ撮像装置で撮像して得た入力画像であっても、被写体を撮像した際の照明光が明るくなる程、代表差分値Ｄ１１の値も大きな値となる。
【０１０２】
よって、代表差分値Ｄ１１を単純に加算して特徴量合成データＤ１２を求めると、例え同じ被写体を同じ撮像装置で撮像して得た入力画像であっても、照明光が明るい環境で得られた入力画像に対して計算される特徴量合成データＤ１２の方が、照明光が暗い環境で得られた入力画像に対して計算される特徴量合成データＤ１２よりも大きな値になる。
【０１０３】
一方、同じ被写体を同じ撮像装置で撮像して得た入力画像であれば、照明光の明るさに関係なく、入力画像の周波数スペクトルの広がりは同じ程度と考えられる。したがって、特徴量合成データＤ１２から入力画像の周波数スペクトルの広がりを判断するためには、同じ被写体を同じ撮像装置で撮像して得られた入力画像であれば、照明光の明るさに関係なく、特徴量合成データＤ１２も同程度の値になることが望ましい。
【０１０４】
実施の形態２の画像処理装置では、代表差分値Ｄ１１を加算して特徴量合成データＤ１２を求める際に、代表輝度値ＤＣによって求められる重み係数ＫＡを用いた重み付けを行うので、照明光の明るさに関係なく、特徴量合成データＤ１２も同程度の値になると期待される。以下、図１７（Ｂ）、（Ｃ）を用いて代表輝度値ＤＣによる重み付けを行うことの効果について述べる。
【０１０５】
まず、図１７（Ｂ）、（Ｃ）に示した例で、水平座標が２で表される画素を起点に設定される注目画素群に関して計算される代表輝度値ＤＣについて述べる。
【０１０６】
図１７（Ｂ）、（Ｃ）に示した例ではいずれの場合も水平座標が２で表される画素の画素値が代表輝度値ＤＣとなる。この時、代表輝度値ＤＣは以下の（９）式で表される。
ＤＣ＝ＤＵ０*ＤＵ１（２）*ＤＵ２ （９）
【０１０７】
ここで図１７（Ｂ）に示された例と図１７（Ｃ）に示された例を考えると、図１７（Ｂ）に示す例の方が照明光D000の明るさＤＵ０が大きな値となっているため、代表輝度値ＤＣも図１７（Ｂ）に示す例の方が図１７（Ｃ）に示す例より大きくなる。
【０１０８】
よって、水平座標が２で表される画素を起点に設定される注目画素群に関して、代表輝度値ＤＣから求められる重み係数ＫＡは図１７（Ｂ）に示す例の方が図１７（Ｃ）に示す例よりも小さな値になる。
【０１０９】
上記の例をさらに一般化して、実施の形態２で説明した方法で特徴量合成データＤ１２を計算する場合を考える。
同じ被写体を同じ撮像装置で撮像して得た入力画像であっても、被写体を撮像した際の照明光が明るくなる場合、代表差分値Ｄ１１（ｕ，ｖ）の値は大きな値となる。一方で、重み係数ＫＡ（ｕ，ｖ）は小さな値となる。
よって、代表差分値Ｄ１１（ｕ，ｖ）と重み係数ＫＡ（ｕ，ｖ）の積を考えると、被写体を撮像した際の照明光が明るくなり、代表差分値Ｄ１１（ｕ，ｖ）が大きくなったとしても、それに合わせ重み係数ＫＡ（ｕ，ｖ）の値は小さくなるので、両者の積は被写体を撮像した際の照明光の明るさの影響を受けにくいと考えられる。
したがって、実施の形態２で説明した方法で計算される特徴量合成データＤ１２では、被写体を撮像した際の照明光が明るさに関係なく、同じ被写体を同じ撮像装置で撮像して得た入力画像に対しては、ほぼ同じ値を出力すると期待できる。被写体を撮像した際の照明光の明るさに関係なく、特徴量合成データＤ１２からから入力画像Ｄ０の周波数スペクトルの広がりを判断することが可能になる。
【０１１０】
上記の効果を言い換えると、実施の形態２の画像処理装置では、実施の形態１の画像処理装置に追加し、代表輝度計算部１１４を設け、注目画素群画素値データＤＡを代表する代表輝度値を代表輝度値ＤＣとして出力し、特徴量合成データＤ１２Ａを計算する際に、代表差分値Ｄ１１に加え、代表輝度値ＤＣを用いて重み係数を求め、代表差分値Ｄ１１に重み係数を掛けて特徴量合成データＤ１２Ａを計算することとしたので、入力画像Ｄ０を取得する際の照明光の明るさによる影響を十分に小さくして、特徴量合成データＤ１２から、入力画像Ｄ０の周波数スペクトルの広がりを判断することが可能となる。
【０１１１】
なお、代表輝度値ＤＣの求め方は上記のものに限らず、注目画素群データＤＡを構成する画素の画素値が大きくなった場合、それに合わせて大きくなるものであればよく、例えば、注目画素群データＤＡを構成する画素の画素値の平均値などでもよい。
【０１１２】
実施の形態３．
図１８は実施の形態３による画像処理装置の構成を表す図である。一般に動画はフレームに相当する複数の画像に分解できるが、実施の形態３による画像処理装置へは、入力画像Ｄ０として、上記のフレームに相当する画像が入力される。したがって、図１８に示された入力画像Ｄ０は、動画の１フレーム分に相当する画像であって、入力画像Ｄ０は時間の経過によって変化する。
【０１１３】
画像分析部１の構成、動作は実施の形態１と同様であるのでその説明は省略する。なお、実施の形態２と同様にしてもよい。ただし、画像分析部１への入力画像Ｄ０は時間により変化するので、画像分析部１が出力する解像度判別信号Ｄ１も時間によって変化する。
【０１１４】
時系列分析部３は、画像分析部１から出力される解像度判別信号Ｄ１を用いて生成した累積加算解像度Ｄ３を出力する。画像処理演算部２は、入力される累積加算解像度Ｄ３の値に応じて、その処理を変化させる。
【０１１５】
時系列分析部３は、解像度判別信号Ｄ１を入力として、時系列処理後解像度判別信号である累積加算解像度Ｄ３を出力する。ここで累積加算解像度Ｄ３は、解像度判別信号Ｄ１の値によってその値が増減する。すなわち、解像度判別信号Ｄ１の値が第１の閾値th31Aより大きい値であった場合、累積加算解像度Ｄ３はその値が増え、解像度判別信号Ｄ１の値が第２の閾値th31Bより小さい値であった場合、累積加算解像度Ｄ３はその値が減り、解像度判別信号Ｄ１の値が第１の閾値th31A以下かつ第２の閾値th31B以上であった場合、累積加算解像度Ｄ３はその値を維持する。なお、第１の閾値th31Aが、第２の閾値th31Bよりも大きい。
【０１１６】
ただし、累積加算解像度Ｄ３の取りうる値には上限値が設けてあり、上記の演算によって得られる値が上限値を上回る場合は、上記の演算によって得られる値の代わりに上限値を出力する。さらに、累積加算解像度Ｄ３の取りうる値には下限値も設けてあり、上記の演算によって得られる値が下限値を下回る場合は、上記の演算によって得られる値の代わりに下限値を出力する。累積加算解像度Ｄ３に対する上限値と下限値を、第１の上限値及び第１の下限値とも呼ぶ。
累積加算解像度Ｄ３を増加または減少させる場合に１フレームで変化させる量は、上限値と下限値の差分を変化するのに要する時間が視聴者にとって自然に感じられるように設定する。
【０１１７】
図１９と図２０を用いて時系列分析部３が有ることによる効果を説明する。図１９は実施の形態３による画像処理装置の利用方法を例により説明する図である。実施の形態３による画像処理装置は動画表示装置U101の内部で使用される。すなわち動画表示装置U101へ入力された動画である動画D100の各フレームを構成する画像は、実施の形態３による画像処理装置で処理をうけた後、動画表示装置U101が備えたモニタ上へ出力される。なお、動画D100は動画再生装置U100から出力される。
動画再生装置U100はＤＶＤ−Ｖｉｄｅｏフォーマットで記録された動画（以下ＤＶＤ映像）とＢＤＭＶフォーマットで記録された動画（以下ＢＤ映像）を再生できる。また、動画D100の画素数は、水平方向に１９２０画素で垂直方向に１０８０画素に固定されている。
【０１１８】
ＢＤ映像の画素数は水平方向に１９２０画素で垂直方向に１０８０画素である。よってＢＤ映像を再生する際、動画D100の各フレームに相当する画像は拡大処理をうけずに出力される。一方、ＤＶＤ映像の画像解像度は水平方向に７２０画素で垂直方向に４８０画素である。よってＤＶＤ映像が再生される場合、動画D100の各フレームに相当する画像は、動画再生装置U100内部で拡大処理を受けてから出力される。つまりＤＶＤ映像が再生される場合、動画D100の各フレームに相当する画像の周波数スペクトルの範囲は、ＢＤ映像が再生される場合と比べて狭い。
【０１１９】
入力画像Ｄ０の周波数スペクトルがＢＤ映像の各フレームに相当する画像に対して期待される程度に広がっているかを検出するよう画像分析部１は設定されているとし、解像度判別信号Ｄ１、累積加算解像度Ｄ３の変化の様子を、図２０を用いて説明する。図２０は、この発明の実施の形態３に係る画像処理装置が有する時系列分析部の動作を説明する図である。図２０（Ａ）は、時間経過に対して解像度判別信号Ｄ１の変化を表す図であり、図２０（Ｂ）は、時間経過に対して累積加算解像度Ｄ３の変化を表す図である。なお、解像度判別信号Ｄ１と累積加算解像度Ｄ３の下限値は０とする。
【０１２０】
図２０（Ａ）に示す時刻Ｔ２までは動画再生装置U100からＢＤ映像が出力され、時刻Ｔ２以降はＤＶＤ映像が出力されるとする。この場合、解像度判別信号Ｄ１は、時刻Ｔ２までは比較的高い値を保ちながらその値を変化させ、時間Ｔ２以降は０に近い値を保ちながらその値を変化させる。
【０１２１】
よって第１の閾値th31Aと第２の閾値th31Bの値を適切に設定すれば、解像度判別信号Ｄ１の値は時刻Ｔ２までは第１の閾値th31Aよりも大きくなり、時刻Ｔ２以降は第２の閾値th31Bより小さくなる。
【０１２２】
この場合、累積加算解像度Ｄ３は図２０（Ｂ）に示すように変化する。
まず、解像度判別信号Ｄ１の値は時刻Ｔ２までは第１の閾値th31Aより高い値を維持しながら推移するので、累積加算解像度Ｄ３もその値を増加させていき、時刻Ｔ２よりも前の時刻Ｔ１で上限値に達する。
一方、解像度判別信号Ｄ１の値は時刻Ｔ２以降、第２の閾値th31Bより小さい値を維持しながら推移するので、時刻Ｔ２以降は累積加算解像度Ｄ３もその値を減少させていき、時刻Ｔ３で下限値に達する。
【０１２３】
以下、画像処理演算部２が解像度判別信号Ｄ１または累積加算解像度Ｄ３に基づいて、入力画像Ｄ０に対する画像処理の動作を変化させる場合を考える。
【０１２４】
解像度判別信号Ｄ１の値は図２０（Ａ）に示すように、時間に対してある程度の範囲で変化する。したがって画像処理演算部２で行う画像処理の内容も時間に対して変化する。
以下、画像処理演算部２は実施の形態１で説明した内容と同様の強調処理を行うとして、説明する。
【０１２５】
図２１は、この発明の実施の形態３に係る画像処理装置の動作を例により説明するための入力画像Ｄ０を模式的に表した図であり、主な被写体としてビルである被写体A000、樹木である被写体A001、自動車である被写体A002が存在する。ここで被写体A002は移動しており、フレームによって現れる位置が異なり、被写体A000、被写体A001は移動しておらず、どのフレームでも現れる位置は同じであるとする。
【０１２６】
図２１に示した入力画像Ｄ０に強調処理を行うと、被写体A000、被写体A001、被写体A002と背景の境界部分にはオーバーシュートやアンダーシュートが発生する場合がある。
【０１２７】
図２２は、画像処理装置における強調処理で発生するオーバーシュートとアンダーシュートについて説明する図である。図２２（Ａ）は被写体A000と背景の境界部分を含むような位置で入力画像Ｄ０の画素値の変化を画像の水平方向に沿ってプロットした図である。被写体A000と背景の境界部分のうち、背景側に含まれる画素の水平座標がP0002で、被写体A000側に含まれる画素の水平座標がP0003で表されている。背景部分の画素値はおおよそD0001であるとし、被写体A000に相当する部分の画素値はおおよそD0004であるとする。
【０１２８】
図２２（Ｂ）は、図２２（Ａ）に示した画素値の変化に対して高周波数成分通過フィルタが与える出力である。図２２（Ｃ）は、図２２（Ａ）に示した画素値の変化に対して、図２２（Ｂ）に示した高周波数成分を所定倍した後、加算した結果であり、画像処理部２が出力する出力画像Ｄ２の画素値の変化に相当する。
【０１２９】
図２２（Ｃ）に示す出力画像Ｄ２の画素値の変化を見ると、水平座標がP0001で表される画素から水平座標がP0002で表される画素の間の画素値は周囲の画素が持つおおよその画素値より小さく、水平座標がP0002となる点で画素値は局所的な最小値D0002を取っている。
水平座標がP0003で表される画素からP0004で表される画素の間は周囲の画素が持つおおよその画素値より大きく、水平座標がP0003となる点で画素値は局所的な最大値D0003を取っている。
【０１３０】
このように、強調処理によって画素値が周辺と比べ小さくなっている箇所をアンダーシュートと呼び、画素値が周辺と比べ大きくなっている箇所をオーバーシュートと呼ぶ。
【０１３１】
ここで、高周波数成分通過フィルタの周波数応答が変化するとオーバーシュートやアンダーシュートの強さや幅が変化することが知られている。
【０１３２】
なお、オーバーシュートの強さとは、オーバーシュートが発生している区間の画素値の最大値とその周辺の画素値の差であり、図２２の例ではD0004とD0003の差になる。オーバーシュートの幅とは、オーバーシュートが発生している区間に含まれる画素数であり、図２２の例ではP0004とP0003の差になる。
アンダーシュートの強さとは、アンダーシュートが発生している区間の画素値の最大値とその周辺の画素値の差であり、図２２の例ではD0002とD0001の差になる。アンダーシュートの幅とは、アンダーシュートが発生している区間に含まれる画素数であり、図２２の例ではP0002とP0001の差になる。
【０１３３】
以下、解像度判別信号Ｄ１によって画像処理演算部２で行う強調処理の設定を変化させる場合を考える。具体的には、解像度判別信号Ｄ１によって強調処理で用いる高周波数成分通過フィルタの周波数応答を変化させる場合を考える。
【０１３４】
先に説明した通り、解像度判別信号Ｄ１の値は時間によって変化するので、高周波数成分通過フィルタの周波数応答も時間によって変化する。よって高周波数成分通過フィルタの出力値も時間によって変化する。そして、入力画像Ｄ０に対して強調処理を行った場合に発生するオーバーシュートやアンダーシュートの幅や強さも変化する。
【０１３５】
オーバーシュートやアンダーシュートの幅や強さが時間的に変化すると視覚的に問題となることが知られている。特に、被写体A000や被写体A001のように時間がたっても移動しない被写体と背景の間にオーバーシュートやアンダーシュートが発生し、さらにその強さや幅が時間によって変化すると、該当部分は、ちらついて見え視覚的に不快に感じられる。
【０１３６】
一方、実施の形態３による画像処理装置では時系列分析部３から累積加算解像度Ｄ３が出力され、累積加算解像度Ｄ３に基づいて、画像処理演算部２が入力画像Ｄ０に対する画像処理の内容を変化させている。
【０１３７】
この場合、ＢＤ映像が入力されている期間のうち、時刻Ｔ１以降や、ＤＶＤ映像が入力されている期間のうち、時刻Ｔ３以降では累積加算解像度Ｄ３の値が一定の値を保つため、仮にオーバーシュートやアンダーシュートが発生したとしても、フレーム間でその強さや幅は変化しにくい。
【０１３８】
つまり、画像処理演算部２が入力画像Ｄ０に対して行う画像処理の内容をその画像での解像度判別信号Ｄ１によって変化させる場合と比べ、累積加算解像度Ｄ３によって変化させる場合には、出力画像にちらつきなど、視覚的な不快感を与えうる要素は発生しにくい。
【０１３９】
言い換えると、画像処理演算部２が１枚の入力画像Ｄ０から得られた解像度判別信号Ｄ１に代わり、複数の入力画像Ｄ０から得られる複数の解像度判別信号Ｄ１を用いて計算した累積加算解像度Ｄ３を用いて、入力画像Ｄ０に対する画像処理の内容を変化させた方が、出力画像に視覚的な不快感を与えうる要素が発生しにくい。
【０１４０】
なお、上記の説明では、画像処理演算部１は強調処理を行うこととしたが、その他の処理、例えばノイズ除去処理を行ってもよい。
【０１４１】
実施の形態４．
実施の形態４による画像処理装置は実施の形態３による画像処理装置と同様の構成で実現する。ただし、時系列分析部３の代わりに時系列分析部３Ａを用いる点が、実施の形態３による画像処理装置と異なる。図２３は、実施の形態４による画像処理装置における時系列分析部３Ａの構成を表す図である。
【０１４２】
時系列分析部３Ａは、実施の形態３での時系列分析部３と同様な動作をする累積加算部３１と、累積加算部３１が出力する累積加算解像度判別信号である累積加算解像度Ｄ３が入力される履歴補正部３２を有する。時系列分析部３Ａからは、履歴補正部３２が出力する履歴補正解像度Ｄ３Ａが出力される。履歴補正解像度Ｄ３Ａが時系列処理後解像度判別信号である。
【０１４３】
履歴補正部３２の動作について説明する。図２４は、履歴補正部３２の動作を説明するための図である。履歴補正部３２は図２４に示した特性にしたがって、履歴補正解像度Ｄ３Ａの値を増減させる。
まず、履歴補正部３２は、一旦、累積加算解像度Ｄ３の値が第３の閾値th41Aを上回ると累積加算解像度Ｄ３の値が第４の閾値th41Bを下回るまで履歴補正解像度Ｄ３Ａの値を所定量だけ増加させる。
また、履歴補正部３２は、一旦、累積加算解像度Ｄ３の値が第４の閾値th41Bを下まわると累積加算解像度Ｄ３の値が第３の閾値th41Aを上回るまで履歴補正解像度Ｄ３Ａの値を所定量だけ減少させる。
なお、図２４に示すように、累積加算解像度Ｄ３に関する閾値などに関して、上限値＞第３の閾値th41A＞第４の閾値th41B＞下限値の関係がある。
【０１４４】
ただし、履歴補正解像度Ｄ３Ａの取りうる値には上限値が設けてあり、上記の演算によって得られる値が上限値を上回る場合は、上記の演算によって得られる値の代わりに上限値を出力する。さらに、履歴補正解像度Ｄ３Ａの取りうる値には下限値も設けてあり、上記の演算によって得られる値が下限値を下回る場合は、上記の演算によって得られる値の代わりに下限値を出力する。履歴補正解像度Ｄ３Ａに対する上限値と下限値を、第２の上限値及び第２の下限値とも呼ぶ。
【０１４５】
履歴補正解像度Ｄ３Ａを増加または減少させる場合に１フレームで変化させる量は、上限値と下限値の差分を変化するのに要する時間が視聴者にとって自然に感じられるように設定する。ただし、履歴補正解像度Ｄ３Ａが解像度判別信号Ｄ１の変化に追随するまでに要する時間が適切になるように、１フレームでの変化量は相応の大きさを持つ必要がある。図２０に示すように、累積加算解像度Ｄ３は解像度判別信号Ｄ１に数フレーム遅れで追随する。後述の図２５に示すように、履歴補正解像度Ｄ３Ａは累積加算解像度Ｄ３よりもさらに数フレーム遅れることになる。追随するまでは不適切な解像度で画像処理演算部が処理するので、視聴者が画像を見にくいと感じる可能性がある。
【０１４６】
実施の形態４による画像処理装置は、例えば図１９に示す環境で実施の形態３による画像処理装置の代わりに用いることができる。以下、実施の形態３と同様の状況で実施の形態４による画像処理装置を用いた場合の作用と効果について図２５を用いて説明する。
【０１４７】
図２５は、この発明の実施の形態４に係る画像処理装置が有する履歴補正部の動作を説明する図である。図２５（Ａ）は時間に対する解像度判別信号Ｄ１の変化を表す図であり、図２５（Ｂ）は時間に対する累積加算解像度Ｄ３の変化を表す図であり、図２５（Ｃ）は時間に対する履歴補正解像度Ｄ３Ａの変化を表す図である。
【０１４８】
図２５に示す例でも、図２０を用いて説明した例と同様に、時刻Ｔ２までは動画再生装置U100からＢＤ映像が出力される。この場合、解像度判別信号Ｄ１は比較的高い値を保ちながらその値を変化させる。時間Ｔ２以降は動画再生装置U100からＤＶＤ映像が出力される。この場合、解像度判別信号Ｄ１は０に近い値を保ちながらその値を変化させる。
ただし、図２５に示す例では時刻Ｔ１２（Ｔ２よりも前）で、動画再生装置U100からＢＤ映像が出力されているにも関わらず、解像度判別信号Ｄ１の値が第２の閾値th31Bより低い値を出力したとする。このような現象は、画像分析部の性能が十分でないために誤検出が起きた場合や、ＢＤ映像中に高周波数成分の少ない画像が現れた場合（たとえば画像が徐々にフェードアウトし、画面全体が白色になった場合）などに起きる。
【０１４９】
この場合、累積加算解像度Ｄ３は図２５（Ｂ）に示すように変化する。すなわち、図２０（Ｂ）と同様に、累積加算解像度Ｄ３の値はまず上限値に到達するまで徐々に増加していき、時刻Ｔ２以降は下限値に到達するまで徐々に減少していく。ここで、第３の閾値th41Aと第４の閾値th41Bの値は、累積加算解像度Ｄ３の値が時刻Ｔ２までは第３の閾値th41Aよりも大きくなり、時刻Ｔ１４以降は第４の閾値th41Bより小さくなるように設定されているとする。
【０１５０】
ただし、時刻Ｔ１２で解像度判別信号Ｄ１の出力値が下がった影響で、累積加算解像度Ｄ３の値は時刻Ｔ１２で一旦減少し、第３の閾値th41Aより小さく、第４の閾値th41Bよりは大きな値となる。なお、時刻Ｔ１２以降、解像度判別信号Ｄ１の値は再び第３の閾値th41Aより大きな値となるため、累積加算解像度Ｄ３の値も増加し、時刻Ｔ１３に再び上限値に達し、第３の閾値th41Aより大きな値となるものとする。累積加算解像度Ｄ３を画像処理演算部２に入力すると、時刻Ｔ１２で解像度の低下を検出し、画像処理演算部２で行う画像処理の動作が短時間だけ変化することになり、視聴者を不快に感じさせる可能性がある。
【０１５１】
これに対して、履歴補正解像度Ｄ３Ａは図２５（Ｃ）に示すように変化する。すなわち、時刻Ｔ１０で累積加算解像度Ｄ３が第３の閾値th41Aより大きくなるため、時刻Ｔ１０以降、履歴補正解像度Ｄ３Ａはその値を増加していき、時刻Ｔ１１に上限値に達する。また、時刻Ｔ１４で履歴補正解像度Ｄ３Ａが第４の閾値th41Bより小さくなるため、時刻Ｔ１４以降、履歴補正解像度Ｄ３Ａはその値を減少していき、時刻Ｔ１５で下限値に達する。
【０１５２】
なお、時刻Ｔ１２で累積加算解像度Ｄ３の値は一旦減少するが、その値がth41Bを下回らないため、履歴補正解像度Ｄ３Ａの値は減少しない。
言い換えれば、累積加算解像度Ｄ３は、解像度判別信号Ｄ１の出力値が一時的に減少するとその影響を受け、値が減少してしまうが、履歴補正解像度Ｄ３Ａは解像度判別信号Ｄ１の出力値の一時的な変化の影響を受けにくい。
【０１５３】
なお、上記の現象とは逆に、解像度判別信号Ｄ１の出力値が一時的に増加した場合を考えると、累積加算解像度Ｄ３はその影響をうけ、一時的に値を増加させてしまうことがあるが、履歴補正解像度Ｄ３Ａはその影響を受けにくく、出力値が変動しにくいことが分かる。
【０１５４】
つまり、履歴補正解像度Ｄ３Ａの出力値は、累積加算解像度Ｄ３よりもさらに変動しにくい。よって、画像処理演算部２が入力画像Ｄ０に対して適用する画像処理の内容を累積加算解像度Ｄ３によって変化させるより、履歴補正解像度Ｄ３Ａによって変化させる方が、出力画像にちらつき等、視覚的な不快感を与えうる要素はより発生しにくいと言える。
【０１５５】
以上、説明した各実施の形態の特徴を、自由に組合せて持つようなものも本発明に含まれる。また、本発明の目的に合致する様々な変形や一部の構成要素を省略したものも本発明に含まれる。
【符号の説明】
【０１５６】
１ 画像分析部
１１、１１Ａ 特徴量検出部
１２、１２Ａ 特徴量合成部
１３ 解像度判別信号生成部
１１１ 画素選択部
１１２ 差分計算部
１１３ 代表差分計算部
１１４ 代表輝度計算部
２ 画像処理演算部
３、３Ａ 時系列分析部
Ｄ０ 入力画像
Ｄ１ 解像度判別信号
Ｄ２ 出力画像
Ｄ３ 累積加算解像度（時系列処理後解像度判別信号、累積加算解像度判別信号）
Ｄ３Ａ 履歴補正解像度（時系列処理後解像度判別信号）
ＤＡ 注目画素群画素値データ
ＤＢ 差分データ
Ｄ１１ 代表差分値
ＤＣ 代表輝度値
Ｄ１２、Ｄ１２Ａ 特徴量合成データ（特徴量合成値）
【特許請求の範囲】
【請求項１】
入力画像で所定の間隔に位置する複数の画素の画素値の変化に基づいて、前記所定の間隔から決まる所定の周波数以上の信号成分が前記入力画像にどのくらい含まれるかを示す解像度判別信号を求める画像分析部を備えた画像処理装置。
【請求項２】
前記画像分析部は、
前記入力画像の所定の領域内に存在する画素ごとに、その画素を基準として前記所定の間隔で位置する複数の画素の画素値から代表差分値を求めて出力する特徴量検出部と、
前記所定の領域内に存在する前記画素ごとに求めた前記代表差分値から特徴量合成値を求めて出力する特徴量合成部と、
前記特徴量合成値に対して単調非減少の関係を持つ解像度判別信号を前記特徴量合成値から求めて出力する解像度判別信号生成部を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴量検出部は、
前入力画像の所定の領域内に存在する所定の画素ごとに、その画素を注目画素とし、前記注目画素を基準にして所定の方向に所定の間隔で並ぶＮ個の画素を注目画素群として設定し、前記注目画素群を構成するＮ個の画素によって与えられるＮ個の画素値を注目画素群画素値データとして出力する画素選択部と、
前記注目画素群画素値データを構成するＮ個の画素値から、隣接する２個の画素値の差であるＮ−１個の差分量を計算する差分計算部と、
Ｎ−１個の前記差分量の符号が所定のパターンである場合にゼロでない値を代表差分値として出力し、それ以外の場合にゼロを代表差分値として出力する代表差分計算部を備える
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
Ｎ−１個の前記差分量の符号に対する前記所定のパターンは、正の値と負の値が交互に並ぶものであることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記代表差分計算部は
Ｎ−１個の前記差分量の絶対値の最小値が所定のゼロ同等閾値より小さい場合は、前記代表差分値としてゼロを出力する
ことを特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記代表差分計算部は
Ｎ−１個の前記差分量の符号が前記所定のパターンである場合に、Ｎ−１個の前記差分量の絶対値の最小値を代表差分値として出力し、それ以外の場合にゼロを代表差分値として出力する
ことを特徴とする請求項３ないし請求項５の何れかに記載の画像処理装置。
【請求項７】
前記代表差分計算部は
Ｎ−１個の前記差分量の絶対値の最小値が所定の上限差分値より大きい場合は、前記代表差分値として前記上限差分値を出力する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記特徴量検出部は、
前記注目画素群ごとに、前記注目画素群画素値データを代表する代表輝度値を求めて出力する代表輝度計算部を備え、
前記特徴量合成部は、
前記代表輝度値に対して単調非増加の関係を持つ重み係数を求め、前記代表差分値にこの重み係数を掛けて和をとって前記特徴量合成値を求めて出力する
ことを特徴とする請求項６または請求項７に記載の画像処理装置。
【請求項９】
前記代表輝度計算部は、
前記注目画素群画素値データのうち、絶対値が最小となる前記差分量を求めた２個の画素値のうち大きい方の値を前記代表輝度として出力する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記代表差分計算部は
Ｎ−１個の前記差分量の符号が所定のパターンである場合に、固定値を前記代表差分値として出力し、それ以外の場合にゼロを前記代表差分値として出力する
ことを特徴とする請求項３ないし請求項５の何れかに記載の画像処理装置。
【請求項１１】
前記差分量の絶対値が所定値よりも小さい場合に前記差分量をゼロとする
ことを特徴とする請求項３ないし請求項１０の何れかに記載の画像処理装置。
【請求項１２】
前記解像度判別信号は、
前記入力画像の画素値の変化に、前記所定の周波数以上の信号成分が多く含まれるほど大きな値をとる
ことを特徴とする請求項１ないし請求項１１の何れかに記載の画像処理装置。
【請求項１３】
動画を入力とする画像処理装置であって、
前記動画を構成する画像ごとに前記画像分析部が求めた前記解像度判別信号が時系列に入力され、時系列処理後解像度判別信号を生成する時系列分析部を備える
ことを特徴とする請求項１ないし請求項１２の何れかに記載の画像処理装置。
【請求項１４】
前記時系列分析部は、所定の上限値と下限値の範囲の前記時系列処理後解像度判別信号を出力し、
第１の閾値より大きい前記解像度判別信号が入力された場合に、前記時系列処理後解像度判別信号が前記上限値よりも小さければ、前記時系列分析部は前記時系列処理後解像度判別信号を増加させ、
前記第１の閾値より小さく設定された第２の閾値より小さい前記解像度判別信号が入力された場合に、前記時系列処理後解像度判別信号が前記下限値よりも大きければ、前記時系列分析部は前記時系列処理後解像度判別信号を減少させる
ことを特徴とする請求項１３記載の画像処理装置。
【請求項１５】
前記時系列分析部は、
前記解像度判別信号が入力されて累積加算解像度判別信号を出力する累積加算部と、
前記累積加算解像度判別信号が入力され前記時系列処理後解像度判別信号を出力する履歴補正部とを備え、
前記累積加算部は、所定の第１の上限値と第１の下限値の範囲の前記累積加算解像度判別信号を出力し、
第１の閾値より大きい前記解像度判別信号が入力された場合に、前記累積加算解像度判別信号が前記第１の上限値よりも小さければ、前記累積加算部は前記累積加算解像度判別信号を増加させ、
前記第１の閾値より小さく設定された第２の閾値より小さい前記解像度判別信号が入力された場合に、前記累積加算解像度判別信号が前記第１の下限値よりも大きければ、前記累積加算部は前記累積加算解像度判別信号を減少させ、
前記履歴補正部は、所定の第２の上限値と第２の下限値の範囲の前記時系列処理後解像度判別信号を出力し、
前記第１の上限値より小さく設定された第３の閾値より大きい前記累積加算解像度判別信号が入力されてから、前記第３の閾値より小さくかつ前記第１の下限値より大きく設定された第４の閾値より小さい前記累積加算解像度判別信号が入力されるまでは、前記時系列処理後解像度判別信号が前記第２の上限値よりも小さければ、前記履歴補正部は前記時系列処理後解像度判別信号を増加させ、
前記第４の閾値より小さい前記累積加算解像度判別信号が入力されてから、前記第３の閾値より大きい前記累積加算解像度判別信号が入力されるまでは、前記時系列処理後解像度判別信号が前記第２の下限値よりも大きければ、前記履歴補正部は前記時系列処理後解像度判別信号を減少させる
ことを特徴とする請求項１３記載の画像処理装置。
【請求項１６】
前記解像度判別信号に応じて処理内容を変化させて前記入力画像を処理する画像処理演算部を備える
ことを特徴とする請求項１ないし請求項１２の何れかに記載の画像処理装置。
【請求項１７】
前記画像処理演算部が、前記解像度判別信号に応じて処理内容を変化させて前記入力画像に含まれるノイズを除去するノイズ除去部を有する
ことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記画像処理演算部が、前記入力画像から特定の周波数帯域近傍の成分を取り出した第１の周波数成分画像をもとに生成した第２の周波数成分画像を前記入力画像に加算することで、前記解像度判別信号に応じて処理内容を変化させて前記入力画像の細部を強調する強調処理部有する
ことを特徴とする請求項１６に記載の画像処理装置。
【請求項１９】
前記時系列処理後解像度判別信号に応じて処理内容を変化させて前記入力画像を処理する画像処理演算部を備える
ことを特徴とする請求項１３ないし請求項１５の何れかに記載の画像処理装置。
【請求項２０】
前記時系列処理後解像度判別信号に応じて処理内容を変化させて前記入力画像を処理する画像処理演算部を備える
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
前記画像処理演算部が、前記入力画像から特定の周波数帯域近傍の成分を取り出した第１の周波数成分画像をもとに生成した第２の周波数成分画像を前記入力画像に加算することで、前記時系列処理後解像度判別信号に応じて処理内容を変化させて前記入力画像の細部を強調する強調処理部有する
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項１】
入力画像で所定の間隔に位置する複数の画素の画素値の変化に基づいて、前記所定の間隔から決まる所定の周波数以上の信号成分が前記入力画像にどのくらい含まれるかを示す解像度判別信号を求める画像分析部を備えた画像処理装置。
【請求項２】
前記画像分析部は、
前記入力画像の所定の領域内に存在する画素ごとに、その画素を基準として前記所定の間隔で位置する複数の画素の画素値から代表差分値を求めて出力する特徴量検出部と、
前記所定の領域内に存在する前記画素ごとに求めた前記代表差分値から特徴量合成値を求めて出力する特徴量合成部と、
前記特徴量合成値に対して単調非減少の関係を持つ解像度判別信号を前記特徴量合成値から求めて出力する解像度判別信号生成部を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴量検出部は、
前入力画像の所定の領域内に存在する所定の画素ごとに、その画素を注目画素とし、前記注目画素を基準にして所定の方向に所定の間隔で並ぶＮ個の画素を注目画素群として設定し、前記注目画素群を構成するＮ個の画素によって与えられるＮ個の画素値を注目画素群画素値データとして出力する画素選択部と、
前記注目画素群画素値データを構成するＮ個の画素値から、隣接する２個の画素値の差であるＮ−１個の差分量を計算する差分計算部と、
Ｎ−１個の前記差分量の符号が所定のパターンである場合にゼロでない値を代表差分値として出力し、それ以外の場合にゼロを代表差分値として出力する代表差分計算部を備える
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
Ｎ−１個の前記差分量の符号に対する前記所定のパターンは、正の値と負の値が交互に並ぶものであることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記代表差分計算部は
Ｎ−１個の前記差分量の絶対値の最小値が所定のゼロ同等閾値より小さい場合は、前記代表差分値としてゼロを出力する
ことを特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記代表差分計算部は
Ｎ−１個の前記差分量の符号が前記所定のパターンである場合に、Ｎ−１個の前記差分量の絶対値の最小値を代表差分値として出力し、それ以外の場合にゼロを代表差分値として出力する
ことを特徴とする請求項３ないし請求項５の何れかに記載の画像処理装置。
【請求項７】
前記代表差分計算部は
Ｎ−１個の前記差分量の絶対値の最小値が所定の上限差分値より大きい場合は、前記代表差分値として前記上限差分値を出力する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記特徴量検出部は、
前記注目画素群ごとに、前記注目画素群画素値データを代表する代表輝度値を求めて出力する代表輝度計算部を備え、
前記特徴量合成部は、
前記代表輝度値に対して単調非増加の関係を持つ重み係数を求め、前記代表差分値にこの重み係数を掛けて和をとって前記特徴量合成値を求めて出力する
ことを特徴とする請求項６または請求項７に記載の画像処理装置。
【請求項９】
前記代表輝度計算部は、
前記注目画素群画素値データのうち、絶対値が最小となる前記差分量を求めた２個の画素値のうち大きい方の値を前記代表輝度として出力する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記代表差分計算部は
Ｎ−１個の前記差分量の符号が所定のパターンである場合に、固定値を前記代表差分値として出力し、それ以外の場合にゼロを前記代表差分値として出力する
ことを特徴とする請求項３ないし請求項５の何れかに記載の画像処理装置。
【請求項１１】
前記差分量の絶対値が所定値よりも小さい場合に前記差分量をゼロとする
ことを特徴とする請求項３ないし請求項１０の何れかに記載の画像処理装置。
【請求項１２】
前記解像度判別信号は、
前記入力画像の画素値の変化に、前記所定の周波数以上の信号成分が多く含まれるほど大きな値をとる
ことを特徴とする請求項１ないし請求項１１の何れかに記載の画像処理装置。
【請求項１３】
動画を入力とする画像処理装置であって、
前記動画を構成する画像ごとに前記画像分析部が求めた前記解像度判別信号が時系列に入力され、時系列処理後解像度判別信号を生成する時系列分析部を備える
ことを特徴とする請求項１ないし請求項１２の何れかに記載の画像処理装置。
【請求項１４】
前記時系列分析部は、所定の上限値と下限値の範囲の前記時系列処理後解像度判別信号を出力し、
第１の閾値より大きい前記解像度判別信号が入力された場合に、前記時系列処理後解像度判別信号が前記上限値よりも小さければ、前記時系列分析部は前記時系列処理後解像度判別信号を増加させ、
前記第１の閾値より小さく設定された第２の閾値より小さい前記解像度判別信号が入力された場合に、前記時系列処理後解像度判別信号が前記下限値よりも大きければ、前記時系列分析部は前記時系列処理後解像度判別信号を減少させる
ことを特徴とする請求項１３記載の画像処理装置。
【請求項１５】
前記時系列分析部は、
前記解像度判別信号が入力されて累積加算解像度判別信号を出力する累積加算部と、
前記累積加算解像度判別信号が入力され前記時系列処理後解像度判別信号を出力する履歴補正部とを備え、
前記累積加算部は、所定の第１の上限値と第１の下限値の範囲の前記累積加算解像度判別信号を出力し、
第１の閾値より大きい前記解像度判別信号が入力された場合に、前記累積加算解像度判別信号が前記第１の上限値よりも小さければ、前記累積加算部は前記累積加算解像度判別信号を増加させ、
前記第１の閾値より小さく設定された第２の閾値より小さい前記解像度判別信号が入力された場合に、前記累積加算解像度判別信号が前記第１の下限値よりも大きければ、前記累積加算部は前記累積加算解像度判別信号を減少させ、
前記履歴補正部は、所定の第２の上限値と第２の下限値の範囲の前記時系列処理後解像度判別信号を出力し、
前記第１の上限値より小さく設定された第３の閾値より大きい前記累積加算解像度判別信号が入力されてから、前記第３の閾値より小さくかつ前記第１の下限値より大きく設定された第４の閾値より小さい前記累積加算解像度判別信号が入力されるまでは、前記時系列処理後解像度判別信号が前記第２の上限値よりも小さければ、前記履歴補正部は前記時系列処理後解像度判別信号を増加させ、
前記第４の閾値より小さい前記累積加算解像度判別信号が入力されてから、前記第３の閾値より大きい前記累積加算解像度判別信号が入力されるまでは、前記時系列処理後解像度判別信号が前記第２の下限値よりも大きければ、前記履歴補正部は前記時系列処理後解像度判別信号を減少させる
ことを特徴とする請求項１３記載の画像処理装置。
【請求項１６】
前記解像度判別信号に応じて処理内容を変化させて前記入力画像を処理する画像処理演算部を備える
ことを特徴とする請求項１ないし請求項１２の何れかに記載の画像処理装置。
【請求項１７】
前記画像処理演算部が、前記解像度判別信号に応じて処理内容を変化させて前記入力画像に含まれるノイズを除去するノイズ除去部を有する
ことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記画像処理演算部が、前記入力画像から特定の周波数帯域近傍の成分を取り出した第１の周波数成分画像をもとに生成した第２の周波数成分画像を前記入力画像に加算することで、前記解像度判別信号に応じて処理内容を変化させて前記入力画像の細部を強調する強調処理部有する
ことを特徴とする請求項１６に記載の画像処理装置。
【請求項１９】
前記時系列処理後解像度判別信号に応じて処理内容を変化させて前記入力画像を処理する画像処理演算部を備える
ことを特徴とする請求項１３ないし請求項１５の何れかに記載の画像処理装置。
【請求項２０】
前記時系列処理後解像度判別信号に応じて処理内容を変化させて前記入力画像を処理する画像処理演算部を備える
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
前記画像処理演算部が、前記入力画像から特定の周波数帯域近傍の成分を取り出した第１の周波数成分画像をもとに生成した第２の周波数成分画像を前記入力画像に加算することで、前記時系列処理後解像度判別信号に応じて処理内容を変化させて前記入力画像の細部を強調する強調処理部有する
ことを特徴とする請求項１９に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１２−４３３３６（Ｐ２０１２−４３３３６Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１０−１８６０２３（Ｐ２０１０−１８６０２３）
【出願日】平成２２年８月２３日（２０１０．８．２３）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２２年８月２３日（２０１０．８．２３）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]