画像処理装置、画像表示装置、画像処理方法、及び、画像表示方法
【課題】撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する処理を適切に制御することで、高品位な表示映像を実現する。
【解決手段】画像処理装置は、入力画像信号の動き量を検出する動き検出部１と、前記入力画像信号にエッジ強調処理を施すエッジ強調部２とを備え、前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする。ここで、撮像装置を用いて入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、入力画像信号の動き量が大きい領域であっても、被写界深度が浅い場合、エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部４とを備えている。
【解決手段】画像処理装置は、入力画像信号の動き量を検出する動き検出部１と、前記入力画像信号にエッジ強調処理を施すエッジ強調部２とを備え、前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする。ここで、撮像装置を用いて入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、入力画像信号の動き量が大きい領域であっても、被写界深度が浅い場合、エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部４とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の時間積分効果に起因する表示映像の動きぼけを低減して、高品位な表示映像を呈示することが可能な画像表示装置及び該装置による画像表示方法、画像処理装置及び該装置による画像処理方法に関するものである。
【背景技術】
【０００２】
動画像を具現する用途に従来から主として用いられてきた陰極線管（ＣＲＴ：Cathode Ray Tube）に対して、ＬＣＤ（Liquid Crystal Display）は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、ＬＣＤの表示方式そのものに起因することが指摘されている（例えば、特許文献１、非特許文献１参照）。
【０００３】
電子ビームを走査して蛍光体を発光させて表示を行うＣＲＴでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、ＬＣＤでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、ＴＦＴ方式の場合、画素を構成するドット毎にＴＦＴスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド（以下、フレームで代表する）の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。
【０００４】
上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。
【０００５】
上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート（フレーム数）を変換する技術が知られている。この技術は、ＦＲＣ（Frame Rate Converter）と呼ばれ、液晶表示装置等において実用化されている。
【０００６】
従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿（線形補間）によるフレーム内挿などの各種の手法がある（例えば、非特許文献２参照）。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ（ジャーキネス、ジャダー）が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。
【０００７】
そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償型のフレーム内挿処理が提案されている。これによれば、動画像そのものをとらえて画像の動きを補償するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。
【０００８】
前述の特許文献１には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも１つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。
【０００９】
図１２は、従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図で、図中、ＦＲＣ駆動表示回路は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するＦＲＣ部１００と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル２０３と、ＦＲＣ部１００によりフレームレート変換された画像信号に基づいて液晶表示パネル２０３の走査電極及びデータ電極を駆動するための電極駆動部２０４と、を備えて構成される。
【００１０】
ＦＲＣ部１００は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部１０１と、動きベクトル検出部１０１により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部１０２とを備える。
【００１１】
上記構成において、動きベクトル検出部１０１は、例えば、ブロックマッチング法や勾配法などを用いて動きベクトル情報を求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、ＭＰＥＧ方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。
【００１２】
図１３は、図１２に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。ＦＲＣ部１００は、動きベクトル検出部１０１より出力された動きベクトル情報を用いた動き補償処理により、フレーム間の内挿フレーム（図中グレーに色付けされた画像）を生成し、この生成された内挿フレーム信号を入力フレーム信号とともに、順次出力することで、入力画像信号のフレームレートを例えば毎秒６０フレーム（６０Ｈｚ）から毎秒１２０フレーム（１２０Ｈｚ）に変換する処理を行う。
【００１３】
図１４は、動きベクトル検出部１０１及び内挿フレーム生成部１０２による内挿フレーム生成処理について説明するための図である。動きベクトル検出部１０１は、図１３に示した例えばフレーム＃１とフレーム＃２から勾配法等により動きベクトル２０５を検出する。すなわち、動きベクトル検出部１０１は、フレーム＃１とフレーム＃２の１／６０秒間に、どの方向にどれだけ動いたかを測定することにより動きベクトル２０５を求める。次に、内挿フレーム生成部１０２は、求めた動きベクトル２０５を用いて、フレーム＃１とフレーム＃２間に内挿ベクトル２０６を割り付ける。この内挿ベクトル２０６に基づいてフレーム＃１の位置から１／１２０秒後の位置まで対象（ここでは自動車）を動かすことにより、内挿フレーム２０７を生成する。
【００１４】
このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、ＬＣＤ（ホールド型表示方式）の表示状態を、ＣＲＴ（インパルス型表示方式）の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画像劣化を改善することが可能となる。
【００１５】
ここで、上記動き補償フレーム内挿処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出の代表的な手法として、例えば、ブロックマッチング法、勾配法などが提案されている。勾配法においては、連続した２つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出し、それにより２つのフレーム間の内挿フレームの各画素または各小ブロックを内挿する。すなわち、２つのフレーム間の任意の位置の画像を正しく位置補正して内挿することにより、フレーム数の変換を行う。
【００１６】
上述のように、動き補償型のフレーム内挿処理を行って、表示フレーム周波数を上げることにより、ホールド型表示に起因する動きぼけによる画質劣化を改善することができるが、入力画像信号には、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけともいう）が含まれていることがあり、この撮像素子の時間積分効果に起因する動きぼけによって画質の劣化が生じる。そこで、この撮像素子の時間積分効果に起因する動きぼけを除去するとともに、不自然な画像とすることなく、解像度感を上げる画像処理装置が、例えば特許文献２により提案されている。この特許文献２に記載されている従来の画像処理装置について、図１５とともに以下説明する。
【００１７】
図１５は、従来の画像処理装置の構成を示す機能ブロック図である。画像処理装置に供給された入力画像は、オブジェクト抽出部１１１、領域特定部１１３、混合比算出部１１４、および前景背景分離部１１５に供給される。オブジェクト抽出部１１１は、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部１１２に供給する。オブジェクト抽出部１１１は、例えば、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトの輪郭を検出することで、前景のオブジェクトに対応する画像オブジェクトを粗く抽出する。
【００１８】
オブジェクト抽出部１１１は、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部１１２に供給する。オブジェクト抽出部１１１は、例えば、入力画像と、抽出された前景のオブジェクトに対応する画像オブジェクトとの差から、背景のオブジェクトに対応する画像オブジェクトを粗く抽出する。また、例えば、オブジェクト抽出部１１１は、内部に設けられている背景メモリに記憶されている背景の画像と、入力画像との差から、前景のオブジェクトに対応する画像オブジェクト、および背景のオブジェクトに対応する画像オブジェクトを粗く抽出するようにしてもよい。
【００１９】
動き検出部１１２は、例えば、ブロックマッチング法、勾配法、位相相関法、およびペルリカーシブ法などの手法により、粗く抽出された前景のオブジェクトに対応する画像オブジェクトの動きベクトルを算出して、算出した動きベクトルおよび動きベクトルの位置情報（動きベクトルに対応する画素の位置を特定する情報）を領域特定部１１３および動きぼけ除去部１１６に供給する。動き検出部１１２が出力する動きベクトルには、動き量ｖに対応する情報が含まれている。また、例えば、動き検出部１１２は、画像オブジェクトに画素を特定する画素位置情報と共に、画像オブジェクト毎の動きベクトルを動きぼけ除去部１１６に出力するようにしてもよい。
【００２０】
動き量ｖは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて４画素分離れた位置に表示されるように移動しているとき、前景に対応するオブジェクトの画像の動き量ｖは、４とされる。
【００２１】
領域特定部１１３は、入力された画像の画素のそれぞれを、前景領域、背景領域、または混合領域のいずれかに特定し、画素毎に前景領域、背景領域、または混合領域のいずれかに属するかを示す情報（以下、領域情報と称する）を混合比算出部１１４、前景背景分離部１１５、および動きぼけ除去部１１６に供給する。
【００２２】
混合比算出部１１４は、入力画像、および領域特定部１１３から供給された領域情報を基に、混合領域に含まれる画素に対応する混合比（以下、混合比αと称する）を算出して、算出した混合比を前景背景分離部１１５に供給する。混合比αは、画素値における、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）の割合を示す値である。
【００２３】
前景背景分離部１１５は、領域特定部１１３から供給された領域情報、および混合比算出部１１４から供給された混合比αを基に、前景のオブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみから成る前景成分画像と、背景の成分のみから成る背景成分画像とに入力画像を分離して、前景成分画像を動きぼけ除去部１１６に供給し、背景成分画像を補正部１１７に供給する。
【００２４】
動きぼけ除去部１１６は、動きベクトルからわかる動き量ｖおよび領域情報を基に、前景成分画像に含まれる１以上の画素を示す処理単位を決定する。処理単位は、動きぼけの量の調整の処理の対象となる１群の画素を指定するデータである。動きぼけ除去部１１６は、前景背景分離部１１５から供給された前景成分画像、動き検出部１１２から供給された動きベクトルおよびその位置情報、並びに処理単位を基に、前景成分画像に含まれる動きぼけを除去して、動きぼけを除去した前景成分画像を動きぼけ除去画像処理部１１８に出力する。
【００２５】
補正部１１７は、背景成分画像における、混合領域に対応する画素の画素値を補正する。背景成分画像の混合領域に対応する画素の画素値は、分離される前の混合領域の画素の画素値から、前景の成分が除去されることにより、算出される。従って、背景成分画像の混合領域に対応する画素の画素値は、隣接する背景領域の画素の画素値に比較し、混合比αに対応して、減少している。補正部１１７は、このような、背景成分画像における、混合領域に対応する画素の画素値の混合比αに対応するゲインの低下を補正し、補正した背景成分画像を動きぼけ除去画像処理部１１８に供給する。
【００２６】
動きぼけ除去画像処理部１１８は、動きぼけが除去された前景成分画像、および補正された背景成分画像毎に、エッジ強調の度合いの異なるエッジ強調の処理を適用する。ここでは、静止している画像である背景成分画像に対しては、前景成分画像に比較して、エッジをより強調するエッジ強調の処理を実行する。このようにすることで、ノイズが含まれている画像にエッジ強調の処理を適用したときの不自然な画像の劣化を発生させることなく、背景成分画像の解像度感をより増加させることができる。
【００２７】
一方、前景成分画像に対しては、背景成分画像に比較して、エッジ強調の度合いの少ないエッジ強調の処理を実行する。このようにすることで、動きぼけが除去された前景成分画像にノイズが含まれていても、前景成分画像において、解像度感を向上させつつ、不自然な画像の劣化を減少させることができる。
【先行技術文献】
【特許文献】
【００２８】
【特許文献１】特許第３２９５４３７号明細書
【特許文献２】特開２００２−３７３３３０号公報
【特許文献３】特開平１−２１５１８５号公報
【非特許文献】
【００２９】
【非特許文献１】石黒秀一、栗田泰市郎、「８倍速ＣＲＴによるホールド発光型ディスプレイの動画質に関する検討」、信学技報、社団法人電子情報通信学会、ＥＩＤ９６−４（１９９６−０６）、ｐ．１９−２６
【非特許文献２】山内達郎、「テレビジョン方式変換」、テレビジョン学会誌、Ｖｏｌ．４５、Ｎｏ．１２、ｐｐ．１５３４−１５４３（１９９１）
【発明の概要】
【発明が解決しようとする課題】
【００３０】
しかしながら、上記特許文献２に記載の画像処理装置においては、前景成分画像に含まれる動きぼけを除去するための動きぼけ除去部１１６や、背景成分画像における、混合領域に対応する画素の画素値を補正する補正部１１７などが必要となり、非常に複雑な処理／構成を招来するという問題がある。しかも、この画像処理装置の場合、静止している背景に対して前景のオブジェクトが動いている画像については、撮像素子の時間積分効果に起因する動きぼけを除去することができるが、それ以外の例えば前景のオブジェクトの画像のみならず背景の画像も動いているような画像に対しては、動きぼけを除去することができないという問題もある。このように、所期の効果を得られるのが特定の画像内容のみに限定されるのでは実用的とはいえない。
【００３１】
さらに、上記特許文献２に記載の画像処理装置においては、動きぼけが除去された前景成分画像にノイズが含まれている場合、エッジ強調の度合いを大きくすると、不自然な画像の劣化を招来することから、前景成分画像に対するエッジ強調の度合いを小さくしているため、前景成分画像における解像度感を十分に向上させることができないという問題がある。
【００３２】
また、簡単な構成にて、撮像素子の時間積分効果に起因する動きぼけを除去するものとして、入力画像信号から被写体の動きを検出し、該動き検出結果に応じて、入力画像信号に対する輪郭補償量（エッジ強調度合い）を可変するものが、例えば特許文献３に開示されている。これによれば、入力画像信号の動き量が大きい領域に対しては、入力画像信号に対するエッジ強調度合いを大きくすることで、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化（静止領域での雑音増加）を防止することができる。
【００３３】
ここで、時間積分効果を有する撮像素子により撮影した自然画像には、上述した動きぼけ（カメラぼけ）が含まれているが、例えば、アニメーションやＣＧ（コンピュータ・グラフィックス）画像には元来、その動き量に関わらず、上述したような動きぼけ（カメラぼけ）が含まれていない。このように動きぼけ（カメラぼけ）が含まれていない画像に対して、高域周波数成分の強調を過度に行うと、エッジ部分に画像劣化が生じるという問題がある。
【００３４】
また、映像撮像時において、撮影者の意図により撮影画面内の全体にフォーカス（ピント）を合わせて撮影する場合や、撮影画面内の一部にのみフォーカス（ピント）を合わせて撮影する場合などがあり、撮影画面内の一部にのみフォーカス（ピント）を合わせる場合には、フォーカス（ピント）を合わせた被写体以外は意図的にぼかした映像として撮影されることになる。このような意図的にぼかして撮影された領域に対しては、画像の動き量に関わらず、高域周波数成分の強調を過度に行わないほうが望ましい。
【００３５】
本発明は、上述のごとき実情に鑑みてなされたものであり、撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する処理を適切に制御することで、高品位な表示映像を実現することが可能な画像処理装置、画像表示装置、画像処理方法、及び、画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【００３６】
上記課題を解決するために、本発明の第１の技術手段は、入力画像信号の動き量を検出する動き検出部と、前記入力画像信号にエッジ強調処理を施すエッジ強調部とを備え、前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする画像処理装置であって、撮像装置を用いて前記入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、前記入力画像信号の動き量が大きい領域であっても、前記被写界深度が浅い場合、前記エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部を備えたことを特徴としたものである。
【００３７】
第２の技術手段は、第１の技術手段に記載の画像処理装置に更に表示部を備えたことを特徴としたものである。
【００３８】
第３の技術手段は、入力画像信号の動き量を検出する動き検出工程と、前記入力画像信号にエッジ強調処理を施すエッジ強調工程とを備え、前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする画像処理方法であって、撮像装置を用いて前記入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、前記入力画像信号の動き量が大きい領域であっても、前記被写界深度が浅い場合、前記エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにすることを特徴としたものである。
【００３９】
第４の技術手段は、入力画像信号の動き量を検出する動き検出工程と、前記入力画像信号にエッジ強調処理を施すエッジ強調工程とを備え、前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする画像表示方法であって、撮像装置を用いて前記入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、前記入力画像信号の動き量が大きい領域であっても、前記被写界深度が浅い場合、前記エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにすることを特徴としたものである。
【発明の効果】
【００４０】
本発明によれば、入力画像信号の動き量が大きい領域であっても、前記入力画像信号が生成される過程において、前記入力画像信号に含まれる高域周波数成分が減衰していないと認められる場合、前記入力画像信号に対するエッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わないようにすることで、過度なエッジ強調処理による画像劣化を目立たせることなく、表示画像の鮮鋭感を向上させることができる。
【図面の簡単な説明】
【００４１】
【図１】撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する画像処理装置の概略構成を示す機能ブロック図である。
【図２】エッジ強調部の一構成例を示すブロック図である。
【図３】エッジ強調部の一構成例による動作を示す説明図である。
【図４】エッジ強調部の他の構成例を示すブロック図である。
【図５】エッジ強調部の他の構成例による動作を示す説明図である。
【図６】本発明の第１の参考例に係る画像処理装置の概略構成を示す機能ブロック図である。
【図７】本発明の第２の参考例に係る画像処理装置の概略構成を示す機能ブロック図である。
【図８】本発明の第１の実施の形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図９】本発明の第３の参考例に係る画像処理装置の概略構成を示す機能ブロック図である。
【図１０】本発明の第２の実施の形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図１１】本発明の第３の実施の形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図１２】従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図である。
【図１３】図１２に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。
【図１４】動きベクトル検出部及び内挿フレーム生成部による内挿フレーム生成処理について説明するための図である。
【図１５】従来の画像処理装置の構成を示す機能ブロック図である。
【発明を実施するための形態】
【００４２】
以下、添付図面を参照しながら本発明の好適な画像処理装置の実施の形態について詳細に説明するが、上述した従来例と同一部分には同一符号を付し、その説明は省略する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者（フィールドとフレーム）は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。
【００４３】
まず、本発明の画像処理装置におけるエッジ強調部の構成例について、図１乃至図５とともに説明する。ここで、図１は撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する画像処理装置の概略構成を示す機能ブロック図、図２はエッジ強調部の一構成例を示すブロック図、図３はエッジ強調部の一構成例による動作を示す説明図、図４はエッジ強調部の他の構成例を示すブロック図、図５はエッジ強調部の他の構成例による動作を示す説明図である。
【００４４】
撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する画像処理装置は、図１に示すように、入力画像信号における所定の画素領域毎の動き量を検出する動き検出部１と、前記動き検出部１により検出された入力画像信号の動き量に応じて、該入力画像信号の高域周波数成分を強調するエッジ強調部２とを備えている。
【００４５】
ここで、動き検出部１は、ブロックマッチング法や勾配法などを用いて、入力画像信号の連続した２つのフレーム間で各画素または小さなブロック（例えば８画素×８画素からなる動き検出ブロック）毎に動きベクトルを求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、ＭＰＥＧ方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。
【００４６】
エッジ強調部２は、動き検出部１により検出された動きベクトル及びその位置情報に基づいて、該入力画像信号の高域周波数成分を強調する度合いや周波数範囲を可変して、該入力画像信号に対するエッジ強調処理を行う。すなわち、エッジ強調部２では、入力画像信号の画面内における画像の動き量の分布に応じて、該入力画像信号の高域周波数成分を強調する度合いや周波数範囲が画面内で切り替えられる。エッジ強調部２により動き適応的に鮮鋭化処理がなされた画像信号は、別体または一体的に構成された陰極線管、液晶表示パネルなどの表示デバイス（図示せず）より表示出力される。
【００４７】
すなわち、入力画像信号の動き量が大きい領域においては、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が高いため、この減衰している高域周波数成分を補償すべく、エッジ強調部２にて適切なエッジ強調処理が行われる。これによって、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。
【００４８】
上記エッジ強調部２の一構成例を図２に示す。入力画像信号は、ハイパスフィルタ２１及び加算器２３に入力される。ハイパスフィルタ２１は、入力されたフィルタ係数に基づいて、入力画像信号から、画像の周波数の高い成分を抽出し、すなわち、画像の周波数の低い成分を除去して、エッジ画像信号を生成する。入力されるフィルタ係数は、上述の動き検出部１により検出された動き量に応じて段階的に可変される。そして、このフィルタ係数が変化したとき、ハイパスフィルタ２１は、抽出する画像の周波数、除去する画像の周波数、および抽出する画像のゲインを変化させる。
【００４９】
ハイパスフィルタ２１により生成されたエッジ画像信号は、ゲイン調整部２２に供給される。ゲイン調整部２２は、入力されたゲイン調整係数に基づいて、ハイパスフィルタ２１から供給されたエッジ画像信号を増幅するか、または減衰する。入力されるゲイン調整係数は、上述の動き検出部１により検出された動き量に応じて段階的に可変される。そして、このゲイン調整係数が変化したとき、ゲイン調整部２２は、エッジ画像信号の増幅率（減衰率）を変化させる。
【００５０】
例えば、ゲイン調整部２２は、１以上の増幅率を指定するゲイン調整係数が入力されたとき、エッジ画像信号を増幅し、１未満の増幅率を指定するゲイン調整係数が入力されたとき、エッジ画像信号を減衰する。ゲイン調整部２２によりゲインが調整されたエッジ画像信号は、加算部２３に供給される。加算部２３は、入力画像信号と、ゲイン調整部２２から供給された、ゲインが調整されたエッジ画像信号とを加算して、加算された画像信号を出力する。
【００５１】
上記のように構成したエッジ強調部２は、例えば、入力画像信号の動き量が０の領域では、エッジ強調処理を行わない（エッジ強調処理を無効化して、入力画像信号をそのまま出力する）。また、入力画像信号の動き量が小さい領域については、図３（ａ）に示すように、ハイパスフィルタ２１で抽出する画像の周波数を高域に制限するとともに、ゲイン調整部２２によるエッジ画像信号の増幅率を１に抑える。さらに、入力画像信号の動き量が大きい領域については、図３（ｂ）に示すように、ハイパスフィルタ２１で抽出する画像の周波数範囲をより低域側に拡張するとともに、ゲイン調整部２２によるエッジ画像信号の増幅率を１以上に増大させる。
【００５２】
このように、入力画像信号の動き量が大きい領域では、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が大きいため、エッジ強調の度合いをより強くして、該減衰している高域周波数成分を補償することにより、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。また、入力画像信号の動き量が大きい領域では、より広い範囲の周波数成分が減衰する傾向にあるため、前記強調する入力画像信号の周波数範囲をより拡大することで、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。
【００５３】
すなわち、上述したエッジ強調部２の一例では、ハイパスフィルタ２１とゲイン調整部２２とを有しているが、ハイパスフィルタ２１とゲイン調整部２２との少なくともいずれか一方を備えていればよい。また、入力画像信号の動き量が０の領域では動きぼけ（カメラぼけ）は発生していないため、エッジ強調処理を行わなくても良い。
【００５４】
さらに、上記エッジ強調部２の他の構成例を図４に示す。図４に示す例において、エッジ強調部２は、フィルタ２４から構成されている。フィルタ２４は、入力されたフィルタ係数に基づいて、入力画像信号の周波数の高い成分を増幅して、エッジ強調画像信号を生成する。入力されるフィルタ係数は、上述の動き検出部１により検出された動き量に応じて段階的に可変される。そして、このフィルタ係数が変化したとき、フィルタ２４は、入力画像信号の高域周波数成分のゲインを変化させる。
【００５５】
例えば、入力画像信号の動き量が０の領域では、入力画像信号をそのまま通過させる（エッジ強調処理を無効化する）。また、入力画像信号の動き量が小さい領域については、図５（ａ）に示すように、入力画像信号の周波数の高い成分を２倍に増幅し、入力画像信号の周波数の低い成分をそのまま通過させてエッジ強調画像信号を生成する。さらに、入力画像信号の動き量が大きい領域については、図５（ｂ）に示すように、入力画像信号の周波数の高い成分を２．５倍に増幅し、入力画像信号の周波数の低い成分をそのまま通過させてエッジ強調画像信号を生成する。
【００５６】
このように、入力画像信号の動き量が大きい領域では、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が大きいため、エッジ強調の度合いをより強くして、該減衰している高域周波数成分を補償することにより、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。一方、入力画像信号の動き量が小さい領域では、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が小さいため、エッジ強調の度合いを弱くして、過度のエッジ強調によるエッジ部分の画質劣化を防止することが可能となる。また、入力画像信号の動き量が０の領域では動きぼけ（カメラぼけ）は発生していないため、エッジ強調処理を行わなくても良い。
【００５７】
上述の画像処理装置の例では、入力画像信号の動き量に応じてエッジ強調の度合いを可変する方法について説明したが、入力画像信号の動き量のみならず、入力画像信号の動きの方向に応じて、フィルタの特性、例えばフィルタのタップ形状を可変するようにしてもよい。例えば、水平方向の動きのみの画像信号においては、垂直方向には撮像素子の時間積分効果に起因する高域周波数成分の減衰は発生しないため、水平方向のフィルタ処理を行うことが望ましいため、入力画像信号から検出された動きベクトルが水平方向成分のみ有する場合は、図２のハイパスフィルタ２１または図４のフィルタ２４のタップ形状を１次元の水平タップに切り替える。
【００５８】
同様に、入力画像信号から検出された動きベクトルが垂直方向成分のみ有する場合（映像が垂直方向に動く場合）には、１次元の垂直タップ形状のフィルタに切り替えても良いし、入力画像信号から検出された動きベクトルが水平方向成分と垂直方向成分とを有する場合（映像が斜め方向に動く場合）には、斜め方向のタップ形状のフィルタに切り替えても良い。このように、動きベクトルの向きに応じて、等方的または異方的あるいは楕円形などのタップ形状のフィルタに切り替えることで、より理想的なフィルタ処理が可能となる。
【００５９】
尚、入力画像信号の例えば８画素×８画素からなる動き検出ブロック単位で動きベクトルを検出し、この動きベクトルに基づいてエッジ強調処理を制御した場合、８画素×８画素のブロック領域毎に異なるエッジ強調処理が施されることとなるため、ブロック境界にアーティファクト（画像劣化）が生じる場合がある。このような弊害を除去するには、例えば、動き検出部１とエッジ強調部２との間に動きベクトルに対するローパスフィルタを設けて、動きベクトルを平滑化する方法がある。このように、画面内での動きベクトルの変化を滑らかにすることによって、エッジ強調処理が急激に変化することにより生じるブロック境界のアーティファクトを防止することが可能となる。
【００６０】
また、時間積分効果を有する撮像素子により撮影した自然画像には、上述した動きぼけ（カメラぼけ）が含まれているが、アニメーションやＣＧ（コンピュータ・グラフィックス）画像には元来上述したような動きぼけ（カメラぼけ）が含まれていない。このように動きぼけ（カメラぼけ）が含まれていない画像に対して、高域周波数成分の強調を過度に行うと、エッジ部分に画像劣化が生じる可能性がある。従って、アニメーションやＣＧに係る画像信号が入力された場合には、入力画像信号の動き量が大きい領域であっても、上述した動きぼけ低減（鮮鋭化）処理の強度を弱くする、あるいは処理を行わないのが望ましい。
【００６１】
例えば、テレビ放送データから分離抽出されたＥＰＧ（Electronic Program Guide；電子番組ガイド）データに含まれるジャンル情報などに基づいて、入力画像信号に係るジャンル種別を判定し、入力画像信号のジャンル種別が例えばアニメーションであると判定された場合には、入力画像信号の動き量が大きい領域であっても、動き量が小さい領域と同様に、エッジ強調部２により高域周波数成分を強調する度合いを小さくする、強調する周波数範囲を縮小する、あるいは、エッジ強調部２によるエッジ強調処理を無効化するように制御すればよい。
【００６２】
上記と同様に、番組ロゴ、テロップのようなキャラクタ文字、アイコン等のＣＧ画像または人工画像が自然画像の一部に合成（重畳）されている場合、該ＣＧ画像または人工画像が合成されている領域については、背景の自然画像の動き量が大きい場合や、該ＣＧ画像の移動速度が速いような場合であっても、上述した動きぼけ低減（鮮鋭化）処理の強度を弱くする、あるいは処理を行わないのが望ましい。
【００６３】
例えば、番組ロゴ、テロップのようなキャラクタ文字、アイコン等のＣＧ画像が合成（重畳）されている領域位置を示す情報が、テレビ放送データに多重されて送信される場合、この情報を用いて、該ＣＧ画像が合成（重畳）されている領域に対しては、画像の動き量が小さいあるいは動きが無い領域と同様に、エッジ強調部２により高域周波数成分を強調する度合いを小さくする、強調する周波数範囲を縮小する、あるいは、エッジ強調部２によるエッジ強調処理を無効化するように制御すればよい。
【００６４】
さらに、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）は、映像撮影時における撮像素子の露光時間、すなわちシャッター速度によっても変化するため、例えば、入力画像信号の動き量が大きい場合であっても、該入力画像信号の撮像時のシャッター速度が速い、すなわち露光時間が短い場合は、上述したような動きぼけ低減（鮮鋭化）処理の強度を弱めにするのが望ましい。
【００６５】
従って、例えば映像撮影時のシャッター速度に関する情報がテレビ放送データに付加されている場合は、テレビ放送データからシャッター速度に関する情報を分離・取得し、該シャッター速度に関する情報に応じて、エッジ強調部２により高域周波数成分を強調する度合い、及び／または、強調する周波数範囲を可変制御する、あるいは、エッジ強調処理を行わないようにしてもよい。
【００６６】
また、映像撮像時において、撮影者の意図により撮影画面内の全体にフォーカス（ピント）を合わせて撮影する場合や、撮影画面内の一部にのみフォーカス（ピント）を合わせて撮影する場合などがある。撮影画面内の一部にのみフォーカス（ピント）を合わせる場合には、フォーカス（ピント）を合わせた被写体以外は意図的にぼかした映像として撮影されることになる。このような意図的にぼかして撮影された領域に対しては、上述したような動きぼけ低減（鮮鋭化）処理の強度を弱める、あるいは動きぼけ低減（鮮鋭化）処理を行わないようにするのが望ましい。
【００６７】
撮影画面内の一部にのみフォーカス（ピント）を合わせて撮影する場合、一般的にはカメラの被写界深度を浅くすることで可能となる。この被写界深度は、様々な要素により決定され、カメラレンズのＦナンバー、カメラと被写体との距離、カメラの設定状態（絞り、ゲイン、感度）などによって決定される。例えば、被写界深度を浅くする要素としては、カメラレンズのＦナンバーを小さくする、あるいは被写体までの距離を近くする、あるいは絞りを開放するなどが挙げられる。
【００６８】
従って、このような被写界深度に関する情報がテレビ放送データに付加されて送信される場合、例えば、メタデータとして付加されている場合には、テレビ放送データから被写界深度に関する情報を取得して、該被写界深度の状態を判定し、この判定結果に応じて、エッジ強調部２により高域周波数成分を強調する度合い、及び／または、強調する周波数範囲を可変制御する、あるいは、エッジ強調処理を行わないようにしてもよい。
【００６９】
さらに、動きベクトル検出ブロックにおいて、例えばＤＣＴ等の周波数解析を行い、高域周波数成分の量を調べることで、上記のようなＣＧ画像が重畳された部分や、シャッター速度が速いカメラによって撮影された画像における、動きが速いにも関わらず動きぼけの少ない部分を検出することも可能である。すなわち、ある動き検出ブロックにおいて、動き量が大きくかつ高域周波数成分が少ない場合は、動きが速くかつ動きぼけによって高域周波数成分が失われている部分であると考えられる。
【００７０】
言い換えれば、この場合は、ＣＧ画像が重畳された部分やシャッター速度が速いカメラによって撮影された画像における動きぼけの少ない部分ではなく、シャッター速度が遅いカメラによって撮影された画像における動きぼけの多い部分であると考えられる。このため、エッジ強調処理を通常通り行えばよい。
【００７１】
一方、ある動き検出ブロックにおいて、動き量が大きくかつ高域周波数成分が多い場合は、ＣＧ画像が重畳された部分や、シャッター速度が速いカメラによって撮影された画像における動きぼけの少ない部分が動いていると考えられるので、エッジ強調度合いを小さくすればよい。このように、画像信号を解析し動き量と高域周波数成分の量を複合して判定することで、適切な動きぼけ低減処理の強度を決めることができる。
【００７２】
（第１の参考例）
本発明の第１の参考例に係る画像処理装置について、図６とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図６は本参考例の画像処理装置の概略構成を示す機能ブロック図である。
【００７３】
本参考例の画像処理装置は、図６に示すように、当該装置の外部より取得したジャンル情報から、入力画像信号が係属するコンテンツのジャンル種別を判定するジャンル判定部３と、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、入力画像信号のジャンル種別が予め決められた所定のジャンル（例えばアニメなど）であると判定された場合には、前記入力画像信号に対するエッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部４とを備えている。
【００７４】
ジャンル判定部３は、例えばテレビ放送データから分離抽出されたＥＰＧ（Electronic Program Guide；電子番組ガイド）データに含まれるジャンル情報に基づいて、入力画像信号が係属するコンテンツのジャンル種別を判定する。ジャンル情報は、例えば地上デジタル放送やＢＳ、ＣＳデジタル放送などの放送データに重畳して送信されてくるＥＰＧデータの一部に含まれているものを利用することができるが、この種のジャンルを示す情報は、放送データから分離・取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、該映像情報が格納されたメディア媒体内に付加されているコンテンツ種別を表すフラグ（例えば「アニメ」を示す識別コード）を読み出して、ジャンル判定部３で検出するようにしてもよい。
【００７５】
また、上記テレビ放送データは、デジタル放送に限られず、アナログ放送によるものであっても、ジャンル情報の取得が可能である。例えば、ＡＤＡＭＳ−ＥＰＧは、アナログ放送信号に重畳されて送信されるＥＰＧ情報である。
【００７６】
さらに、映像コンテンツのジャンル情報は、映像情報と同時に入力、取得される場合の他、映像情報とは別の経路から入手することも可能である。例えば、ＸＭＬＴＶとはＷｅｂ上で公開されているＴＶ番組表を自動的に取得し、ＸＭＬ化して出力するためのアプリケーションであり、これを利用してネットワーク上の外部装置から表示する映像のジャンル情報を取得することもできる。
【００７７】
ジャンル情報としてのジャンルコードは、例えば地上デジタル放送の規格において、「ニュース／報道」、「スポーツ」、「情報／ワイドショー」、「ドラマ」、「音楽」、「バラエティ」、「映画」、「アニメ／特撮」、「ドキュメンタリー／教養」、「演劇・公演」、「趣味／教育」、「その他」の番組ジャンルが大分類として規定され、また、各大分類毎に複数の中分類が規定されている。
【００７８】
本参考例の画像処理装置は、入力画像信号がどのジャンルに係属するものかを判別し、この判別結果に応じて、エッジ強調部２によるエッジ強調処理を制御するものである。すなわち、入力画像信号のジャンル種別が、例えばＣＧ（コンピュータ・グラフィックス）技術により制作される「アニメ／特撮」（大分類）の中の「国内／海外アニメ」（中分類）、あるいは「映画」（大分類）の中の「アニメ」（中分類）である場合、該入力画像信号には元来、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれておらず、動き量が大きい領域であっても、前記入力画像信号が生成される過程において、前記入力画像信号に含まれる高域周波数成分が減衰していないと認められる。
【００７９】
従って、入力画像信号のジャンル種別が、例えば「アニメ／特撮」（大分類）の中の「国内／海外アニメ」（中分類）、あるいは「映画」（大分類）の中の「アニメ」（中分類）である場合は、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、エッジ強調部２でのエッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わない（無効化する）ように制御することで、過度のエッジ強調処理による画質劣化を防止することが可能となる。
【００８０】
以上のように、本参考例によれば、入力画像信号のジャンル種別に応じて、エッジ強調度合いを適切に制御することで、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれている画像信号の場合、動き量の大きい領域に対するエッジ強調度合いを増大するとともに、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれていない画像信号の場合は、動き量の大きい領域であってもエッジ強調度合いを減少させることができ、表示画像の鮮鋭感を向上させつつ、過度なエッジ強調処理による画像劣化が目立つことを防止することが可能になる。
【００８１】
（第２の参考例）
次に、本発明の第２の参考例に係る画像処理装置について、図７とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図７は本参考例の画像処理装置の概略構成を示す機能ブロック図である。
【００８２】
本参考例の画像処理装置は、図７に示すように、当該装置の外部より取得したＣＧ合成情報から、入力画像信号中においてＣＧ画像又は人工画像が合成（重畳）されている画面領域位置を判定するＣＧ合成位置判定部５と、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、ＣＧ画像が合成されている画面領域であると判定された場合には、前記入力画像信号に対するエッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部４とを備えている。
【００８３】
ここで、ＣＧ合成情報は、画像信号中において番組ロゴ、テロップのようなキャラクタ文字、アイコン等のＣＧ画像が合成（重畳）されている画面領域位置を示すもので、テレビ放送データに多重されて送信される場合、ＣＧ合成位置判定部５は、テレビ放送データから分離抽出されたＣＧ合成情報に基づいて、入力画像信号中においてＣＧ画像が合成されている画面領域位置を判定することができる。
【００８４】
このようなＣＧ合成情報は、放送データから分離・取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、該映像情報が格納されたメディア媒体内に付加されているＣＧ合成情報を読み出して、ＣＧ合成位置判定部５で検出するようにしてもよい。
【００８５】
さらに、ＣＧ合成情報は、映像情報と同時に入力、取得される場合の他、映像情報とは別の経路から入手することも可能である。例えば、映像コンテンツ毎にＣＧ合成情報が映像情報の再生時間と対応付けて、ネットワーク上の外部装置に格納されている場合、ネットワークを介して外部装置から表示する映像のＣＧ合成情報を取得することもできる。
【００８６】
本参考例の画像処理装置は、入力画像信号中においてＣＧ画像又は人工画像が合成（重畳）されている画面領域位置を判別し、この判別結果に応じて、エッジ強調部２によるエッジ強調処理を制御するものである。すなわち、ＣＧ画像又は人工画像が合成された画面領域における画像信号には元来、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれておらず、動き量が大きい領域であっても、前記入力画像信号が生成される過程において、前記入力画像信号に含まれる高域周波数成分が減衰していないと認められる。
【００８７】
従って、ＣＧ画像又は人工画像が合成された画面領域については、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、エッジ強調部２でのエッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わない（無効化する）ように制御することで、過度のエッジ強調処理による画質劣化を防止することが可能となる。
【００８８】
以上のように、本参考例によれば、入力画像信号の画面領域毎における画像種別（自然画像かＣＧ画像（または人工画像）か）に応じて、エッジ強調度合いを適切に制御することで、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれている画像信号の領域の場合、動き量の大きい領域に対するエッジ強調度合いを増大するとともに、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれていない画像信号の領域の場合は、動き量の大きい領域であってもエッジ強調度合いを減少させることができ、表示画像の鮮鋭感を向上させつつ、過度なエッジ強調処理による画像劣化が目立つことを防止することが可能になる。
【００８９】
（第１の実施の形態）
また、本発明の第１の実施の形態に係る画像処理装置について、図８とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図８は本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
【００９０】
本実施形態の画像処理装置は、図８に示すように、当該装置の外部より取得したカメラ情報から、撮像装置を用いて入力画像信号を生成する際の撮影条件（シャッター速度、被写界深度など）を判定する撮影条件判定部６と、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、入力画像信号が生成された撮影条件が予め決められた所定の撮影条件（例えば、撮像時のシャッター速度が速い、撮像時の被写界深度が浅いなど）に該当すると判定された場合には、前記入力画像信号に対するエッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部４とを備えている。
【００９１】
ここで、カメラ情報は、撮像装置を用いて前記入力画像信号を生成する際の撮影条件（シャッター速度、露光時間、被写界深度、カメラレンズのＦナンバー、被写体までの距離、絞りなど））を示すもので、テレビ放送データに多重されて送信される場合、撮影条件判定部６は、テレビ放送データから分離抽出されたカメラ情報に基づいて、入力画像信号が生成された際の撮影条件を判定することができる。
【００９２】
このようなカメラ情報は、放送データから分離・取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、該映像情報が格納されたメディア媒体内に付加されているカメラ情報を読み出して、撮影条件判定部６で検出するようにしてもよい。例えば映像撮影時に映像情報とカメラ情報とを対応付けて記録メディアに格納しておくことで、カメラ情報を取得することができる。
【００９３】
さらに、カメラ情報は、映像情報と同時に入力、取得される場合の他、映像情報とは別の経路から入手することも可能である。例えば、映像コンテンツ毎にカメラ情報が映像情報の再生時間と対応付けて、ネットワーク上の外部装置に格納されている場合、ネットワークを介して外部装置から表示する映像のカメラ情報を取得することもできる。
【００９４】
本実施形態の画像処理装置は、入力画像信号を生成する際の撮影条件を判別し、この判別結果に応じて、エッジ強調部２によるエッジ強調処理を制御するものである。すなわち、映像撮影時のシャッター速度が速い、すなわち露光時間が短い場合は、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれておらず、動き量が大きい領域であっても、前記入力画像信号が生成される過程において、前記入力画像信号に含まれる高域周波数成分が減衰していないと認められる。
【００９５】
従って、撮像装置を用いて入力画像信号を生成する際のシャッター速度が速い場合は、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、エッジ強調部２でのエッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わない（無効化する）ように制御することで、過度のエッジ強調処理による画質劣化を防止することが可能となる。
【００９６】
また、映像撮影時の被写界深度が浅い、すなわち、カメラレンズのＦナンバーが小さい、あるいは被写体までの距離が近い、あるいは絞りが開放されているなどの場合は、元々、撮影者の意図により、フォーカス（ピント）を合わせた被写体以外がぼかされた映像であり、撮像素子の時間積分効果に起因して、前記入力画像信号に含まれる高域周波数成分が減衰したものではないと認められる。
【００９７】
従って、撮像装置を用いて入力画像信号を生成する際の被写界深度が浅い場合は、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、エッジ強調部２でのエッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わない（無効化する）ように制御することで、過度のエッジ強調処理による画質劣化を防止することが可能となる。
【００９８】
以上のように、本実施形態によれば、撮像装置を用いて入力画像信号を生成する際の撮影条件（シャッター速度、被写界深度など）に応じて、エッジ強調度合いを適切に制御することで、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれている画像信号の領域の場合、動き量の大きい領域に対するエッジ強調度合いを増大するとともに、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれていない画像信号の領域の場合は、動き量の大きい領域であってもエッジ強調度合いを減少させることができ、表示画像の鮮鋭感を向上させつつ、過度なエッジ強調処理による画像劣化が目立つことを防止することが可能になる。
【００９９】
（第３の参考例）
次に、本発明の第３の参考例に係る画像処理装置について、図９とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図９は本参考例の画像処理装置の概略構成を示す機能ブロック図である。
【０１００】
本参考例の画像処理装置は、図９に示すように、表示画像の画質を設定調整するために予め用意されている複数の画調モードの中から、ユーザによって選択指示された画調モードを示す画調モード設定情報を、当該装置の外部より受信するリモコン受光部７と、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、ユーザによって選択指示された画調モードが予め決められた所定の画調モード（例えばゲームモードなど）であると判定された場合には、前記入力画像信号に対するエッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部４とを備えている。
【０１０１】
すなわち、リモコン受光部７は、図示しないリモコン（リモートコントロール装置）から伝送されたリモコン信号を受光して制御部４へ出力する。制御部４は、リモコン受光部７で受光したリモコン信号を解析し、ユーザの操作指示に応じて画質調整処理の制御を行う。通常のテレビジョン受像機においては、画調モードとして、例えば“標準モード”、“ダイナミックモード”、“映画モード”、“ゲームモード”が予め用意されており、ユーザはリモコン（図示せず）を操作することにより、いずれかの画調モードを選択指示することが可能となっている。
【０１０２】
制御部４は、リモコン受光部７で受光したリモコン信号を解析して、ユーザより画調モードの選択が指示された場合、当該画調モードに対応して記憶されている画面の明るさ、濃淡、黒レベル、色の濃さ、色あい、輪郭強調（シャープネス）などの調整値を、図示しない画質調整部に出力する。画質調整部（図示せず）は、制御部４からの出力に基づき、入力画像信号に対して所定の画質調整を施す。
【０１０３】
例えば映画番組や映画ソフトを視聴する際には、ユーザはリモコン（図示せず）を操作して、“映画モード”を選択することにより、映画の視聴に適した画質調整を行うことができる。同様に、テレビゲームを視聴する際には、“ゲームモード”を選択することにより、テレビゲームの視聴に適した画質調整を行うことができる。すなわち、ユーザが“映画モード”を選択した場合は映画映像が、“ゲームモード”を選択した場合はゲーム（ＣＧ）映像が入力されている可能性が高いといえる。
【０１０４】
尚、本参考例においては、リモコン（図示せず）に設けられた画調モード選択ボタンを押圧する毎に、“標準モード”→“ダイナミックモード”→“映画モード”→“ゲームモード”→“標準モード”→・・・の順で画調モードを切り換えることが可能であるが、画調モードの選択操作方法はこれに限らない。また、エッジ強調部２は、画質調整部（図示せず）の内部に設けられていても良いし、画質調整部（図示せず）の外部に設けられていても良い。
【０１０５】
本参考例の画像処理装置は、ユーザによって選択指示された画調モードに応じて、エッジ強調部２によるエッジ強調処理を制御するものである。すなわち、ユーザによって設定された画調モードが、例えばＣＧ（コンピュータ・グラフィックス）技術により制作されるゲーム映像を視聴する際に適するものとして用意された“ゲームモード”である場合、該入力画像信号には元来、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれておらず、動き量が大きい領域であっても、前記入力画像信号が生成される過程において、前記入力画像信号に含まれる高域周波数成分が減衰していないと認められる。
【０１０６】
従って、ユーザによって設定された画調モードが、例えば“ゲームモード”である場合は、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、エッジ強調部２でのエッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わない（無効化する）ように制御することで、過度のエッジ強調処理による画質劣化を防止することが可能となる。
【０１０７】
以上のように、本参考例によれば、ユーザによって設定された画調モードに応じて、エッジ強調度合いを適切に制御することで、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれている画像信号の場合、動き量の大きい領域に対するエッジ強調度合いを増大するとともに、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれていない画像信号の場合は、動き量の大きい領域であってもエッジ強調度合いを減少させることができ、表示画像の鮮鋭感を向上させつつ、過度なエッジ強調処理による画像劣化が目立つことを防止することが可能になる。
【０１０８】
また、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）に加えて、ホールド型表示方式に起因する動きぼけを低減して、高品位な表示映像を実現することが可能な画像処理装置について、本発明の第２、第３の実施の形態として、以下に説明する。
【０１０９】
（第２の実施の形態）
本発明の第２の実施の形態に係る画像処理装置について、図１０とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図１０は本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
【０１１０】
本実施形態の画像処理装置は、図１０に示すように、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数を変換するＦＲＣ部１００と、該ＦＲＣ部１００でフレーム数が変換された画像信号の高域周波数成分を強調するエッジ強調部２とを備えている。また、入力画像信号の動き量と、当該装置の外部より取得した外部取得情報とに基づき、前記エッジ強調部２によるエッジ強調処理を制御して、高域周波数成分を強調する度合いや強調する周波数範囲を可変する制御部４を備えている。
【０１１１】
ＦＲＣ部１００は、１フレーム前の入力画像信号と現フレームの入力画像信号とから動きベクトルを検出する動きベクトル検出部１０１と、動きベクトル検出部１０１で検出された動きベクトルを評価し、その評価結果に基づいて、最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける内挿ベクトル割付部１０３と、内挿ベクトル割付部１０３から入力された内挿ベクトルに基づき、１フレーム前の入力画像信号と現フレームの入力画像信号とを用いて内挿フレームを生成する内挿フレーム生成部１０２と、入力フレームと内挿フレームとを交互に出力することで、元の入力画像信号の２倍のフレームレートの画像信号を出力するタイムベース変換部１０４とを有している。
【０１１２】
制御部４は、ＦＲＣ部１００の動きベクトル検出部１０１により検出された動きベクトルに基づいて、入力画像信号の動き量が大きい領域に対しては、エッジ強調処理のエッジ強調度合いを大きくするとともに、ジャンル情報、ＣＧ合成情報、カメラ情報あるいは画調モード設定情報などの外部取得情報から、入力画像信号の動き量が大きい領域であっても、該入力画像信号が生成される過程において、該入力画像信号に含まれる高域周波数成分が減衰していないと認められる場合、エッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わないように制御する。
【０１１３】
エッジ強調部２により動き適応的に鮮鋭化処理がなされた画像信号は、別体または一体的に構成された液晶表示パネルなどの表示デバイス（図示せず）より表示出力される。これによって、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。また、ホールド型の表示特性を有する画像表示装置に適用した場合、撮像素子の時間積分効果に起因する表示映像の動きぼけと、ホールド型の表示特性に起因する動きぼけとの両方を低減して、高品位な表示映像を実現することが可能となる。
【０１１４】
尚、本実施形態においては、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、これに限らず、少なくとも入力画像信号または内挿画像信号のいずれかに対してのみエッジ強調処理を施すようにしてもよい。このようにすれば、エッジ強調部２での処理量を削減することが可能となる。
【０１１５】
また、本実施形態においては、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、入力画像信号に対するエッジ強調処理と内挿画像信号に対するエッジ強調処理とを異なる処理としてもよい。
【０１１６】
すなわち、動きベクトル検出の誤りなどに起因して内挿画像信号には画像劣化（画像破綻）が生じる場合があり、このような劣化した内挿画像に対してエッジ強調処理を施すと画像劣化した部分にもエッジ強調処理が施され、さらに画像劣化が目立つこととなるため、内挿画像信号に対するエッジ強調度合いを、入力画像信号（原画像信号）に対するエッジ強調度合いより小さくする、或いは、内挿画像信号に対するエッジ強調処理のみを無効化することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１１７】
例えば、内挿画像信号に対して強調する周波数範囲を、入力画像信号（原画像信号）に対して強調する周波数範囲より縮小することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１１８】
以上のように、本実施形態の画像処理装置においては、ＦＲＣ部１００にて得られる入力画像信号の動き量と、外部より取得した外部取得情報とに応じて、エッジ強調部２のエッジ強調処理を適切に制御することにより、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化を防止することができる。
【０１１９】
ここで、入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないようにすることで、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
【０１２０】
尚、動き検出部１０１とエッジ強調部２との間に動きベクトルに対するローパスフィルタを設けて、画面内での動きベクトルの変化を滑らかにすることによって、画面内でエッジ強調処理が急激に変化することにより生じるアーティファクトを防止するのが望ましいことは、上述したとおりである。また、本実施形態の場合、エッジ強調処理をＦＲＣ処理の後で行っているので、ＦＲＣ部１００の動きベクトル検出部１０１における動きベクトル検出処理はエッジ強調処理の影響を受けず、安定した動作が可能となる。
【０１２１】
（第３の実施の形態）
本発明の第３の実施の形態に係る画像処理装置について、図１１とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図１１は本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
【０１２２】
本実施形態の画像処理装置は上記第２の実施形態と同様、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数を変換するＦＲＣ部１００と、該ＦＲＣ部１００でフレーム数が変換された画像信号の高域周波数成分を強調するエッジ強調部２とを備えている。上記第２の実施の形態では、動きベクトル検出部１０１により検出された動きベクトルと、外部より取得した外部取得情報とに基づいて、エッジ強調部２のエッジ強調処理を可変制御していたが、本実施形態においては、内挿ベクトル割付部１０３により評価・割り付けがなされた内挿ベクトルと、外部より取得した外部取得情報とに基づいて、エッジ強調部２のエッジ強調処理を可変制御する構成としている。
【０１２３】
この内挿ベクトル割付処理に関して説明する。動きベクトル検出部１０１にて検出した動きベクトルは、１フレーム前の入力画像信号ｎ−１に対する動きベクトルである場合を考える。すなわち、入力画像信号ｎ−１の各動きベクトル検出ブロックにおいて、そのブロックが次のフレームの入力画像信号ｎにおいてはどの位置に移動するかを示すのが、各動きベクトル検出ブロックにおける動きベクトルである。さて、フレームレートを例えば２倍に変換する場合は、内挿フレームの時間的な位置は、入力画像信号ｎ−１と入力画像信号ｎとの中間位置である。よって、入力画像信号ｎ−１における各動きベクトルを内挿フレームの時間的位置まで進めた時に内挿フレーム上のどのブロックに刺さるかを求め、刺さったブロックに該動きベクトルを割り付ける、という処理を行う。これが内挿フレームへの内挿ベクトル割付処理である。
【０１２４】
ここで、内挿ベクトル割付部１０３にて最適な内挿ベクトルを割り付ける内挿ブロックは、通常、動きベクトル検出部１０１で動きベクトルを検出する動きベクトル検出ブロックをさらに分割して設定される。例えば、動きベクトル検出ブロックが８画素×８画素の場合、内挿ブロックは動きベクトル検出ブロックをさらに８分割した２画素×４画素のように設定される。
【０１２５】
また、内挿ベクトル割付部１０３では、動きベクトル検出部１０１にて求められた動きベクトルの正確性を、被検出ブロックの画像情報と被検出ブロックから動きベクトルが指し示す先のブロックの画像情報との差分値（ＤＦＤ（Ｄｉｓｐｌａｃｅｄ Ｆｉｅｌｄ Ｄｉｆｆｅｒｅｎｃｅ）と称される）などを算出して評価することにより、より適切な内挿ベクトルを上記内挿ブロックに割り付ける。尚、ＤＦＤとは、候補ベクトルの正確さの程度を示す指標であり、ＤＦＤの値が小さいほど、被検出ブロックと被検出ブロックから動きベクトルが指し示す先のブロックとのマッチングが良く、対応する候補ベクトルがよりふさわしいことを示す。
【０１２６】
従って、本実施形態においては、ＦＲＣ部１００の内挿ベクトル割付部１０３にて求められた内挿ベクトルを用いて、エッジ強調部２で高域周波数成分を強調する度合いや強調する周波数範囲を可変するため、ＦＲＣ部１００の出力画像信号のうち少なくとも内挿画像信号に対しては、より精細且つ適切なエッジ強調処理を行うことが可能となる。
【０１２７】
尚、本実施形態の場合、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、これに限らず、少なくとも入力画像信号または内挿画像信号のいずれかに対してのみエッジ強調処理を施すようにしてもよい。このようにすれば、エッジ強調部２での処理量を削減することが可能となる。
【０１２８】
また、本実施形態においても、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、入力画像信号に対するエッジ強調処理と内挿画像信号に対するエッジ強調処理とを異なる処理としてもよい。
【０１２９】
すなわち、動きベクトル検出の誤りなどに起因して内挿画像信号には画像劣化（画像破綻）が生じる場合があり、このような劣化した内挿画像に対してエッジ強調処理を施すと画像劣化した部分にもエッジ強調処理が施され、さらに画像劣化が目立つこととなるため、内挿画像信号に対するエッジ強調度合いを、入力画像信号（原画像信号）に対するエッジ強調度合いより小さくする、あるいは、内挿画像信号に対するエッジ強調処理のみを無効化することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１３０】
例えば、内挿画像信号に対して強調する周波数範囲を、入力画像信号（原画像信号）に対して強調する周波数範囲より縮小することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１３１】
以上のように、本実施形態の画像処理装置においては、ＦＲＣ部１００にて得られる入力画像信号の動き量と、ジャンル情報、ＣＧ合成情報、カメラ情報あるいは画調モード設定情報などの外部取得情報とに応じて、エッジ強調部２のエッジ強調処理を適切に制御することにより、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化を防止することができる。
【０１３２】
ここで、入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないようにしているので、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
【０１３３】
尚、内挿ベクトル割付部１０３とエッジ強調部２との間に内挿ベクトルに対するローパスフィルタを設けて、画面内での内挿ベクトルの変化を滑らかにすることによって、画面内でエッジ強調処理が急激に変化することにより生じるアーティファクトを防止するのが望ましいことは、上述したとおりである。また、本実施形態の場合、ＦＲＣ部１００の動きベクトル検出部１０１における動きベクトル検出処理はエッジ強調処理の影響を受けず、安定した動作が可能となる。
【０１３４】
以上の説明においては、本発明の画像処理装置及び方法に関する実施形態の一例について説明したが、これらの説明から、本画像処理方法をコンピュータによりプログラムとして実行する処理プログラム、及び、該処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。
【０１３５】
また、本発明の画像処理装置は、上述したとおり、画像表示装置と一体的に構成して設けられてもよいし、画像表示装置と別体に設けられてもよい。さらに、これらに限らず、例えば各種記録メディア再生装置などの映像出力機器内に設けられても良いことは言うまでもない。
【符号の説明】
【０１３６】
１…動き検出部、２…エッジ強調部、３…ジャンル判定部、４…制御部、５…ＣＧ合成位置判定部、６…撮影条件判定部、７…リモコン受光部、２１…ハイパスフィルタ、２２…ゲイン調整部、２３…加算部、２４…フィルタ、１００…ＦＲＣ部、１０１…動きベクトル検出部、１０２…内挿フレーム生成部、１０３…内挿ベクトル割付部、１０４…タイムベース変換部、１０５…フレームバッファ（ＦＢ）、１０６…原フレームベクトル割付部、１０７…フレームバッファ（ＦＢ）、１１１…オブジェクト抽出部、１１２…動き検出部、１１３…領域特定部、１１４…混合比算出部、１１５…前景背景分離部、１１６…動きぼけ除去部、１１７…補正部、１１８…動きぼけ除去画像処理部、２０３…液晶表示パネル、２０４…電極駆動部、２０５…動きベクトル、２０６…内挿ベクトル、２０７…内挿フレーム。
【技術分野】
【０００１】
本発明は、撮像素子の時間積分効果に起因する表示映像の動きぼけを低減して、高品位な表示映像を呈示することが可能な画像表示装置及び該装置による画像表示方法、画像処理装置及び該装置による画像処理方法に関するものである。
【背景技術】
【０００２】
動画像を具現する用途に従来から主として用いられてきた陰極線管（ＣＲＴ：Cathode Ray Tube）に対して、ＬＣＤ（Liquid Crystal Display）は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、ＬＣＤの表示方式そのものに起因することが指摘されている（例えば、特許文献１、非特許文献１参照）。
【０００３】
電子ビームを走査して蛍光体を発光させて表示を行うＣＲＴでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、ＬＣＤでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、ＴＦＴ方式の場合、画素を構成するドット毎にＴＦＴスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド（以下、フレームで代表する）の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。
【０００４】
上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。
【０００５】
上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート（フレーム数）を変換する技術が知られている。この技術は、ＦＲＣ（Frame Rate Converter）と呼ばれ、液晶表示装置等において実用化されている。
【０００６】
従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿（線形補間）によるフレーム内挿などの各種の手法がある（例えば、非特許文献２参照）。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ（ジャーキネス、ジャダー）が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。
【０００７】
そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償型のフレーム内挿処理が提案されている。これによれば、動画像そのものをとらえて画像の動きを補償するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。
【０００８】
前述の特許文献１には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも１つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。
【０００９】
図１２は、従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図で、図中、ＦＲＣ駆動表示回路は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するＦＲＣ部１００と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル２０３と、ＦＲＣ部１００によりフレームレート変換された画像信号に基づいて液晶表示パネル２０３の走査電極及びデータ電極を駆動するための電極駆動部２０４と、を備えて構成される。
【００１０】
ＦＲＣ部１００は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部１０１と、動きベクトル検出部１０１により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部１０２とを備える。
【００１１】
上記構成において、動きベクトル検出部１０１は、例えば、ブロックマッチング法や勾配法などを用いて動きベクトル情報を求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、ＭＰＥＧ方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。
【００１２】
図１３は、図１２に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。ＦＲＣ部１００は、動きベクトル検出部１０１より出力された動きベクトル情報を用いた動き補償処理により、フレーム間の内挿フレーム（図中グレーに色付けされた画像）を生成し、この生成された内挿フレーム信号を入力フレーム信号とともに、順次出力することで、入力画像信号のフレームレートを例えば毎秒６０フレーム（６０Ｈｚ）から毎秒１２０フレーム（１２０Ｈｚ）に変換する処理を行う。
【００１３】
図１４は、動きベクトル検出部１０１及び内挿フレーム生成部１０２による内挿フレーム生成処理について説明するための図である。動きベクトル検出部１０１は、図１３に示した例えばフレーム＃１とフレーム＃２から勾配法等により動きベクトル２０５を検出する。すなわち、動きベクトル検出部１０１は、フレーム＃１とフレーム＃２の１／６０秒間に、どの方向にどれだけ動いたかを測定することにより動きベクトル２０５を求める。次に、内挿フレーム生成部１０２は、求めた動きベクトル２０５を用いて、フレーム＃１とフレーム＃２間に内挿ベクトル２０６を割り付ける。この内挿ベクトル２０６に基づいてフレーム＃１の位置から１／１２０秒後の位置まで対象（ここでは自動車）を動かすことにより、内挿フレーム２０７を生成する。
【００１４】
このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、ＬＣＤ（ホールド型表示方式）の表示状態を、ＣＲＴ（インパルス型表示方式）の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画像劣化を改善することが可能となる。
【００１５】
ここで、上記動き補償フレーム内挿処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出の代表的な手法として、例えば、ブロックマッチング法、勾配法などが提案されている。勾配法においては、連続した２つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出し、それにより２つのフレーム間の内挿フレームの各画素または各小ブロックを内挿する。すなわち、２つのフレーム間の任意の位置の画像を正しく位置補正して内挿することにより、フレーム数の変換を行う。
【００１６】
上述のように、動き補償型のフレーム内挿処理を行って、表示フレーム周波数を上げることにより、ホールド型表示に起因する動きぼけによる画質劣化を改善することができるが、入力画像信号には、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけともいう）が含まれていることがあり、この撮像素子の時間積分効果に起因する動きぼけによって画質の劣化が生じる。そこで、この撮像素子の時間積分効果に起因する動きぼけを除去するとともに、不自然な画像とすることなく、解像度感を上げる画像処理装置が、例えば特許文献２により提案されている。この特許文献２に記載されている従来の画像処理装置について、図１５とともに以下説明する。
【００１７】
図１５は、従来の画像処理装置の構成を示す機能ブロック図である。画像処理装置に供給された入力画像は、オブジェクト抽出部１１１、領域特定部１１３、混合比算出部１１４、および前景背景分離部１１５に供給される。オブジェクト抽出部１１１は、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部１１２に供給する。オブジェクト抽出部１１１は、例えば、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトの輪郭を検出することで、前景のオブジェクトに対応する画像オブジェクトを粗く抽出する。
【００１８】
オブジェクト抽出部１１１は、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部１１２に供給する。オブジェクト抽出部１１１は、例えば、入力画像と、抽出された前景のオブジェクトに対応する画像オブジェクトとの差から、背景のオブジェクトに対応する画像オブジェクトを粗く抽出する。また、例えば、オブジェクト抽出部１１１は、内部に設けられている背景メモリに記憶されている背景の画像と、入力画像との差から、前景のオブジェクトに対応する画像オブジェクト、および背景のオブジェクトに対応する画像オブジェクトを粗く抽出するようにしてもよい。
【００１９】
動き検出部１１２は、例えば、ブロックマッチング法、勾配法、位相相関法、およびペルリカーシブ法などの手法により、粗く抽出された前景のオブジェクトに対応する画像オブジェクトの動きベクトルを算出して、算出した動きベクトルおよび動きベクトルの位置情報（動きベクトルに対応する画素の位置を特定する情報）を領域特定部１１３および動きぼけ除去部１１６に供給する。動き検出部１１２が出力する動きベクトルには、動き量ｖに対応する情報が含まれている。また、例えば、動き検出部１１２は、画像オブジェクトに画素を特定する画素位置情報と共に、画像オブジェクト毎の動きベクトルを動きぼけ除去部１１６に出力するようにしてもよい。
【００２０】
動き量ｖは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて４画素分離れた位置に表示されるように移動しているとき、前景に対応するオブジェクトの画像の動き量ｖは、４とされる。
【００２１】
領域特定部１１３は、入力された画像の画素のそれぞれを、前景領域、背景領域、または混合領域のいずれかに特定し、画素毎に前景領域、背景領域、または混合領域のいずれかに属するかを示す情報（以下、領域情報と称する）を混合比算出部１１４、前景背景分離部１１５、および動きぼけ除去部１１６に供給する。
【００２２】
混合比算出部１１４は、入力画像、および領域特定部１１３から供給された領域情報を基に、混合領域に含まれる画素に対応する混合比（以下、混合比αと称する）を算出して、算出した混合比を前景背景分離部１１５に供給する。混合比αは、画素値における、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）の割合を示す値である。
【００２３】
前景背景分離部１１５は、領域特定部１１３から供給された領域情報、および混合比算出部１１４から供給された混合比αを基に、前景のオブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみから成る前景成分画像と、背景の成分のみから成る背景成分画像とに入力画像を分離して、前景成分画像を動きぼけ除去部１１６に供給し、背景成分画像を補正部１１７に供給する。
【００２４】
動きぼけ除去部１１６は、動きベクトルからわかる動き量ｖおよび領域情報を基に、前景成分画像に含まれる１以上の画素を示す処理単位を決定する。処理単位は、動きぼけの量の調整の処理の対象となる１群の画素を指定するデータである。動きぼけ除去部１１６は、前景背景分離部１１５から供給された前景成分画像、動き検出部１１２から供給された動きベクトルおよびその位置情報、並びに処理単位を基に、前景成分画像に含まれる動きぼけを除去して、動きぼけを除去した前景成分画像を動きぼけ除去画像処理部１１８に出力する。
【００２５】
補正部１１７は、背景成分画像における、混合領域に対応する画素の画素値を補正する。背景成分画像の混合領域に対応する画素の画素値は、分離される前の混合領域の画素の画素値から、前景の成分が除去されることにより、算出される。従って、背景成分画像の混合領域に対応する画素の画素値は、隣接する背景領域の画素の画素値に比較し、混合比αに対応して、減少している。補正部１１７は、このような、背景成分画像における、混合領域に対応する画素の画素値の混合比αに対応するゲインの低下を補正し、補正した背景成分画像を動きぼけ除去画像処理部１１８に供給する。
【００２６】
動きぼけ除去画像処理部１１８は、動きぼけが除去された前景成分画像、および補正された背景成分画像毎に、エッジ強調の度合いの異なるエッジ強調の処理を適用する。ここでは、静止している画像である背景成分画像に対しては、前景成分画像に比較して、エッジをより強調するエッジ強調の処理を実行する。このようにすることで、ノイズが含まれている画像にエッジ強調の処理を適用したときの不自然な画像の劣化を発生させることなく、背景成分画像の解像度感をより増加させることができる。
【００２７】
一方、前景成分画像に対しては、背景成分画像に比較して、エッジ強調の度合いの少ないエッジ強調の処理を実行する。このようにすることで、動きぼけが除去された前景成分画像にノイズが含まれていても、前景成分画像において、解像度感を向上させつつ、不自然な画像の劣化を減少させることができる。
【先行技術文献】
【特許文献】
【００２８】
【特許文献１】特許第３２９５４３７号明細書
【特許文献２】特開２００２−３７３３３０号公報
【特許文献３】特開平１−２１５１８５号公報
【非特許文献】
【００２９】
【非特許文献１】石黒秀一、栗田泰市郎、「８倍速ＣＲＴによるホールド発光型ディスプレイの動画質に関する検討」、信学技報、社団法人電子情報通信学会、ＥＩＤ９６−４（１９９６−０６）、ｐ．１９−２６
【非特許文献２】山内達郎、「テレビジョン方式変換」、テレビジョン学会誌、Ｖｏｌ．４５、Ｎｏ．１２、ｐｐ．１５３４−１５４３（１９９１）
【発明の概要】
【発明が解決しようとする課題】
【００３０】
しかしながら、上記特許文献２に記載の画像処理装置においては、前景成分画像に含まれる動きぼけを除去するための動きぼけ除去部１１６や、背景成分画像における、混合領域に対応する画素の画素値を補正する補正部１１７などが必要となり、非常に複雑な処理／構成を招来するという問題がある。しかも、この画像処理装置の場合、静止している背景に対して前景のオブジェクトが動いている画像については、撮像素子の時間積分効果に起因する動きぼけを除去することができるが、それ以外の例えば前景のオブジェクトの画像のみならず背景の画像も動いているような画像に対しては、動きぼけを除去することができないという問題もある。このように、所期の効果を得られるのが特定の画像内容のみに限定されるのでは実用的とはいえない。
【００３１】
さらに、上記特許文献２に記載の画像処理装置においては、動きぼけが除去された前景成分画像にノイズが含まれている場合、エッジ強調の度合いを大きくすると、不自然な画像の劣化を招来することから、前景成分画像に対するエッジ強調の度合いを小さくしているため、前景成分画像における解像度感を十分に向上させることができないという問題がある。
【００３２】
また、簡単な構成にて、撮像素子の時間積分効果に起因する動きぼけを除去するものとして、入力画像信号から被写体の動きを検出し、該動き検出結果に応じて、入力画像信号に対する輪郭補償量（エッジ強調度合い）を可変するものが、例えば特許文献３に開示されている。これによれば、入力画像信号の動き量が大きい領域に対しては、入力画像信号に対するエッジ強調度合いを大きくすることで、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化（静止領域での雑音増加）を防止することができる。
【００３３】
ここで、時間積分効果を有する撮像素子により撮影した自然画像には、上述した動きぼけ（カメラぼけ）が含まれているが、例えば、アニメーションやＣＧ（コンピュータ・グラフィックス）画像には元来、その動き量に関わらず、上述したような動きぼけ（カメラぼけ）が含まれていない。このように動きぼけ（カメラぼけ）が含まれていない画像に対して、高域周波数成分の強調を過度に行うと、エッジ部分に画像劣化が生じるという問題がある。
【００３４】
また、映像撮像時において、撮影者の意図により撮影画面内の全体にフォーカス（ピント）を合わせて撮影する場合や、撮影画面内の一部にのみフォーカス（ピント）を合わせて撮影する場合などがあり、撮影画面内の一部にのみフォーカス（ピント）を合わせる場合には、フォーカス（ピント）を合わせた被写体以外は意図的にぼかした映像として撮影されることになる。このような意図的にぼかして撮影された領域に対しては、画像の動き量に関わらず、高域周波数成分の強調を過度に行わないほうが望ましい。
【００３５】
本発明は、上述のごとき実情に鑑みてなされたものであり、撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する処理を適切に制御することで、高品位な表示映像を実現することが可能な画像処理装置、画像表示装置、画像処理方法、及び、画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【００３６】
上記課題を解決するために、本発明の第１の技術手段は、入力画像信号の動き量を検出する動き検出部と、前記入力画像信号にエッジ強調処理を施すエッジ強調部とを備え、前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする画像処理装置であって、撮像装置を用いて前記入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、前記入力画像信号の動き量が大きい領域であっても、前記被写界深度が浅い場合、前記エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部を備えたことを特徴としたものである。
【００３７】
第２の技術手段は、第１の技術手段に記載の画像処理装置に更に表示部を備えたことを特徴としたものである。
【００３８】
第３の技術手段は、入力画像信号の動き量を検出する動き検出工程と、前記入力画像信号にエッジ強調処理を施すエッジ強調工程とを備え、前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする画像処理方法であって、撮像装置を用いて前記入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、前記入力画像信号の動き量が大きい領域であっても、前記被写界深度が浅い場合、前記エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにすることを特徴としたものである。
【００３９】
第４の技術手段は、入力画像信号の動き量を検出する動き検出工程と、前記入力画像信号にエッジ強調処理を施すエッジ強調工程とを備え、前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする画像表示方法であって、撮像装置を用いて前記入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、前記入力画像信号の動き量が大きい領域であっても、前記被写界深度が浅い場合、前記エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにすることを特徴としたものである。
【発明の効果】
【００４０】
本発明によれば、入力画像信号の動き量が大きい領域であっても、前記入力画像信号が生成される過程において、前記入力画像信号に含まれる高域周波数成分が減衰していないと認められる場合、前記入力画像信号に対するエッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わないようにすることで、過度なエッジ強調処理による画像劣化を目立たせることなく、表示画像の鮮鋭感を向上させることができる。
【図面の簡単な説明】
【００４１】
【図１】撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する画像処理装置の概略構成を示す機能ブロック図である。
【図２】エッジ強調部の一構成例を示すブロック図である。
【図３】エッジ強調部の一構成例による動作を示す説明図である。
【図４】エッジ強調部の他の構成例を示すブロック図である。
【図５】エッジ強調部の他の構成例による動作を示す説明図である。
【図６】本発明の第１の参考例に係る画像処理装置の概略構成を示す機能ブロック図である。
【図７】本発明の第２の参考例に係る画像処理装置の概略構成を示す機能ブロック図である。
【図８】本発明の第１の実施の形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図９】本発明の第３の参考例に係る画像処理装置の概略構成を示す機能ブロック図である。
【図１０】本発明の第２の実施の形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図１１】本発明の第３の実施の形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図１２】従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図である。
【図１３】図１２に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。
【図１４】動きベクトル検出部及び内挿フレーム生成部による内挿フレーム生成処理について説明するための図である。
【図１５】従来の画像処理装置の構成を示す機能ブロック図である。
【発明を実施するための形態】
【００４２】
以下、添付図面を参照しながら本発明の好適な画像処理装置の実施の形態について詳細に説明するが、上述した従来例と同一部分には同一符号を付し、その説明は省略する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者（フィールドとフレーム）は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。
【００４３】
まず、本発明の画像処理装置におけるエッジ強調部の構成例について、図１乃至図５とともに説明する。ここで、図１は撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する画像処理装置の概略構成を示す機能ブロック図、図２はエッジ強調部の一構成例を示すブロック図、図３はエッジ強調部の一構成例による動作を示す説明図、図４はエッジ強調部の他の構成例を示すブロック図、図５はエッジ強調部の他の構成例による動作を示す説明図である。
【００４４】
撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する画像処理装置は、図１に示すように、入力画像信号における所定の画素領域毎の動き量を検出する動き検出部１と、前記動き検出部１により検出された入力画像信号の動き量に応じて、該入力画像信号の高域周波数成分を強調するエッジ強調部２とを備えている。
【００４５】
ここで、動き検出部１は、ブロックマッチング法や勾配法などを用いて、入力画像信号の連続した２つのフレーム間で各画素または小さなブロック（例えば８画素×８画素からなる動き検出ブロック）毎に動きベクトルを求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、ＭＰＥＧ方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。
【００４６】
エッジ強調部２は、動き検出部１により検出された動きベクトル及びその位置情報に基づいて、該入力画像信号の高域周波数成分を強調する度合いや周波数範囲を可変して、該入力画像信号に対するエッジ強調処理を行う。すなわち、エッジ強調部２では、入力画像信号の画面内における画像の動き量の分布に応じて、該入力画像信号の高域周波数成分を強調する度合いや周波数範囲が画面内で切り替えられる。エッジ強調部２により動き適応的に鮮鋭化処理がなされた画像信号は、別体または一体的に構成された陰極線管、液晶表示パネルなどの表示デバイス（図示せず）より表示出力される。
【００４７】
すなわち、入力画像信号の動き量が大きい領域においては、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が高いため、この減衰している高域周波数成分を補償すべく、エッジ強調部２にて適切なエッジ強調処理が行われる。これによって、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。
【００４８】
上記エッジ強調部２の一構成例を図２に示す。入力画像信号は、ハイパスフィルタ２１及び加算器２３に入力される。ハイパスフィルタ２１は、入力されたフィルタ係数に基づいて、入力画像信号から、画像の周波数の高い成分を抽出し、すなわち、画像の周波数の低い成分を除去して、エッジ画像信号を生成する。入力されるフィルタ係数は、上述の動き検出部１により検出された動き量に応じて段階的に可変される。そして、このフィルタ係数が変化したとき、ハイパスフィルタ２１は、抽出する画像の周波数、除去する画像の周波数、および抽出する画像のゲインを変化させる。
【００４９】
ハイパスフィルタ２１により生成されたエッジ画像信号は、ゲイン調整部２２に供給される。ゲイン調整部２２は、入力されたゲイン調整係数に基づいて、ハイパスフィルタ２１から供給されたエッジ画像信号を増幅するか、または減衰する。入力されるゲイン調整係数は、上述の動き検出部１により検出された動き量に応じて段階的に可変される。そして、このゲイン調整係数が変化したとき、ゲイン調整部２２は、エッジ画像信号の増幅率（減衰率）を変化させる。
【００５０】
例えば、ゲイン調整部２２は、１以上の増幅率を指定するゲイン調整係数が入力されたとき、エッジ画像信号を増幅し、１未満の増幅率を指定するゲイン調整係数が入力されたとき、エッジ画像信号を減衰する。ゲイン調整部２２によりゲインが調整されたエッジ画像信号は、加算部２３に供給される。加算部２３は、入力画像信号と、ゲイン調整部２２から供給された、ゲインが調整されたエッジ画像信号とを加算して、加算された画像信号を出力する。
【００５１】
上記のように構成したエッジ強調部２は、例えば、入力画像信号の動き量が０の領域では、エッジ強調処理を行わない（エッジ強調処理を無効化して、入力画像信号をそのまま出力する）。また、入力画像信号の動き量が小さい領域については、図３（ａ）に示すように、ハイパスフィルタ２１で抽出する画像の周波数を高域に制限するとともに、ゲイン調整部２２によるエッジ画像信号の増幅率を１に抑える。さらに、入力画像信号の動き量が大きい領域については、図３（ｂ）に示すように、ハイパスフィルタ２１で抽出する画像の周波数範囲をより低域側に拡張するとともに、ゲイン調整部２２によるエッジ画像信号の増幅率を１以上に増大させる。
【００５２】
このように、入力画像信号の動き量が大きい領域では、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が大きいため、エッジ強調の度合いをより強くして、該減衰している高域周波数成分を補償することにより、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。また、入力画像信号の動き量が大きい領域では、より広い範囲の周波数成分が減衰する傾向にあるため、前記強調する入力画像信号の周波数範囲をより拡大することで、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。
【００５３】
すなわち、上述したエッジ強調部２の一例では、ハイパスフィルタ２１とゲイン調整部２２とを有しているが、ハイパスフィルタ２１とゲイン調整部２２との少なくともいずれか一方を備えていればよい。また、入力画像信号の動き量が０の領域では動きぼけ（カメラぼけ）は発生していないため、エッジ強調処理を行わなくても良い。
【００５４】
さらに、上記エッジ強調部２の他の構成例を図４に示す。図４に示す例において、エッジ強調部２は、フィルタ２４から構成されている。フィルタ２４は、入力されたフィルタ係数に基づいて、入力画像信号の周波数の高い成分を増幅して、エッジ強調画像信号を生成する。入力されるフィルタ係数は、上述の動き検出部１により検出された動き量に応じて段階的に可変される。そして、このフィルタ係数が変化したとき、フィルタ２４は、入力画像信号の高域周波数成分のゲインを変化させる。
【００５５】
例えば、入力画像信号の動き量が０の領域では、入力画像信号をそのまま通過させる（エッジ強調処理を無効化する）。また、入力画像信号の動き量が小さい領域については、図５（ａ）に示すように、入力画像信号の周波数の高い成分を２倍に増幅し、入力画像信号の周波数の低い成分をそのまま通過させてエッジ強調画像信号を生成する。さらに、入力画像信号の動き量が大きい領域については、図５（ｂ）に示すように、入力画像信号の周波数の高い成分を２．５倍に増幅し、入力画像信号の周波数の低い成分をそのまま通過させてエッジ強調画像信号を生成する。
【００５６】
このように、入力画像信号の動き量が大きい領域では、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が大きいため、エッジ強調の度合いをより強くして、該減衰している高域周波数成分を補償することにより、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。一方、入力画像信号の動き量が小さい領域では、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が小さいため、エッジ強調の度合いを弱くして、過度のエッジ強調によるエッジ部分の画質劣化を防止することが可能となる。また、入力画像信号の動き量が０の領域では動きぼけ（カメラぼけ）は発生していないため、エッジ強調処理を行わなくても良い。
【００５７】
上述の画像処理装置の例では、入力画像信号の動き量に応じてエッジ強調の度合いを可変する方法について説明したが、入力画像信号の動き量のみならず、入力画像信号の動きの方向に応じて、フィルタの特性、例えばフィルタのタップ形状を可変するようにしてもよい。例えば、水平方向の動きのみの画像信号においては、垂直方向には撮像素子の時間積分効果に起因する高域周波数成分の減衰は発生しないため、水平方向のフィルタ処理を行うことが望ましいため、入力画像信号から検出された動きベクトルが水平方向成分のみ有する場合は、図２のハイパスフィルタ２１または図４のフィルタ２４のタップ形状を１次元の水平タップに切り替える。
【００５８】
同様に、入力画像信号から検出された動きベクトルが垂直方向成分のみ有する場合（映像が垂直方向に動く場合）には、１次元の垂直タップ形状のフィルタに切り替えても良いし、入力画像信号から検出された動きベクトルが水平方向成分と垂直方向成分とを有する場合（映像が斜め方向に動く場合）には、斜め方向のタップ形状のフィルタに切り替えても良い。このように、動きベクトルの向きに応じて、等方的または異方的あるいは楕円形などのタップ形状のフィルタに切り替えることで、より理想的なフィルタ処理が可能となる。
【００５９】
尚、入力画像信号の例えば８画素×８画素からなる動き検出ブロック単位で動きベクトルを検出し、この動きベクトルに基づいてエッジ強調処理を制御した場合、８画素×８画素のブロック領域毎に異なるエッジ強調処理が施されることとなるため、ブロック境界にアーティファクト（画像劣化）が生じる場合がある。このような弊害を除去するには、例えば、動き検出部１とエッジ強調部２との間に動きベクトルに対するローパスフィルタを設けて、動きベクトルを平滑化する方法がある。このように、画面内での動きベクトルの変化を滑らかにすることによって、エッジ強調処理が急激に変化することにより生じるブロック境界のアーティファクトを防止することが可能となる。
【００６０】
また、時間積分効果を有する撮像素子により撮影した自然画像には、上述した動きぼけ（カメラぼけ）が含まれているが、アニメーションやＣＧ（コンピュータ・グラフィックス）画像には元来上述したような動きぼけ（カメラぼけ）が含まれていない。このように動きぼけ（カメラぼけ）が含まれていない画像に対して、高域周波数成分の強調を過度に行うと、エッジ部分に画像劣化が生じる可能性がある。従って、アニメーションやＣＧに係る画像信号が入力された場合には、入力画像信号の動き量が大きい領域であっても、上述した動きぼけ低減（鮮鋭化）処理の強度を弱くする、あるいは処理を行わないのが望ましい。
【００６１】
例えば、テレビ放送データから分離抽出されたＥＰＧ（Electronic Program Guide；電子番組ガイド）データに含まれるジャンル情報などに基づいて、入力画像信号に係るジャンル種別を判定し、入力画像信号のジャンル種別が例えばアニメーションであると判定された場合には、入力画像信号の動き量が大きい領域であっても、動き量が小さい領域と同様に、エッジ強調部２により高域周波数成分を強調する度合いを小さくする、強調する周波数範囲を縮小する、あるいは、エッジ強調部２によるエッジ強調処理を無効化するように制御すればよい。
【００６２】
上記と同様に、番組ロゴ、テロップのようなキャラクタ文字、アイコン等のＣＧ画像または人工画像が自然画像の一部に合成（重畳）されている場合、該ＣＧ画像または人工画像が合成されている領域については、背景の自然画像の動き量が大きい場合や、該ＣＧ画像の移動速度が速いような場合であっても、上述した動きぼけ低減（鮮鋭化）処理の強度を弱くする、あるいは処理を行わないのが望ましい。
【００６３】
例えば、番組ロゴ、テロップのようなキャラクタ文字、アイコン等のＣＧ画像が合成（重畳）されている領域位置を示す情報が、テレビ放送データに多重されて送信される場合、この情報を用いて、該ＣＧ画像が合成（重畳）されている領域に対しては、画像の動き量が小さいあるいは動きが無い領域と同様に、エッジ強調部２により高域周波数成分を強調する度合いを小さくする、強調する周波数範囲を縮小する、あるいは、エッジ強調部２によるエッジ強調処理を無効化するように制御すればよい。
【００６４】
さらに、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）は、映像撮影時における撮像素子の露光時間、すなわちシャッター速度によっても変化するため、例えば、入力画像信号の動き量が大きい場合であっても、該入力画像信号の撮像時のシャッター速度が速い、すなわち露光時間が短い場合は、上述したような動きぼけ低減（鮮鋭化）処理の強度を弱めにするのが望ましい。
【００６５】
従って、例えば映像撮影時のシャッター速度に関する情報がテレビ放送データに付加されている場合は、テレビ放送データからシャッター速度に関する情報を分離・取得し、該シャッター速度に関する情報に応じて、エッジ強調部２により高域周波数成分を強調する度合い、及び／または、強調する周波数範囲を可変制御する、あるいは、エッジ強調処理を行わないようにしてもよい。
【００６６】
また、映像撮像時において、撮影者の意図により撮影画面内の全体にフォーカス（ピント）を合わせて撮影する場合や、撮影画面内の一部にのみフォーカス（ピント）を合わせて撮影する場合などがある。撮影画面内の一部にのみフォーカス（ピント）を合わせる場合には、フォーカス（ピント）を合わせた被写体以外は意図的にぼかした映像として撮影されることになる。このような意図的にぼかして撮影された領域に対しては、上述したような動きぼけ低減（鮮鋭化）処理の強度を弱める、あるいは動きぼけ低減（鮮鋭化）処理を行わないようにするのが望ましい。
【００６７】
撮影画面内の一部にのみフォーカス（ピント）を合わせて撮影する場合、一般的にはカメラの被写界深度を浅くすることで可能となる。この被写界深度は、様々な要素により決定され、カメラレンズのＦナンバー、カメラと被写体との距離、カメラの設定状態（絞り、ゲイン、感度）などによって決定される。例えば、被写界深度を浅くする要素としては、カメラレンズのＦナンバーを小さくする、あるいは被写体までの距離を近くする、あるいは絞りを開放するなどが挙げられる。
【００６８】
従って、このような被写界深度に関する情報がテレビ放送データに付加されて送信される場合、例えば、メタデータとして付加されている場合には、テレビ放送データから被写界深度に関する情報を取得して、該被写界深度の状態を判定し、この判定結果に応じて、エッジ強調部２により高域周波数成分を強調する度合い、及び／または、強調する周波数範囲を可変制御する、あるいは、エッジ強調処理を行わないようにしてもよい。
【００６９】
さらに、動きベクトル検出ブロックにおいて、例えばＤＣＴ等の周波数解析を行い、高域周波数成分の量を調べることで、上記のようなＣＧ画像が重畳された部分や、シャッター速度が速いカメラによって撮影された画像における、動きが速いにも関わらず動きぼけの少ない部分を検出することも可能である。すなわち、ある動き検出ブロックにおいて、動き量が大きくかつ高域周波数成分が少ない場合は、動きが速くかつ動きぼけによって高域周波数成分が失われている部分であると考えられる。
【００７０】
言い換えれば、この場合は、ＣＧ画像が重畳された部分やシャッター速度が速いカメラによって撮影された画像における動きぼけの少ない部分ではなく、シャッター速度が遅いカメラによって撮影された画像における動きぼけの多い部分であると考えられる。このため、エッジ強調処理を通常通り行えばよい。
【００７１】
一方、ある動き検出ブロックにおいて、動き量が大きくかつ高域周波数成分が多い場合は、ＣＧ画像が重畳された部分や、シャッター速度が速いカメラによって撮影された画像における動きぼけの少ない部分が動いていると考えられるので、エッジ強調度合いを小さくすればよい。このように、画像信号を解析し動き量と高域周波数成分の量を複合して判定することで、適切な動きぼけ低減処理の強度を決めることができる。
【００７２】
（第１の参考例）
本発明の第１の参考例に係る画像処理装置について、図６とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図６は本参考例の画像処理装置の概略構成を示す機能ブロック図である。
【００７３】
本参考例の画像処理装置は、図６に示すように、当該装置の外部より取得したジャンル情報から、入力画像信号が係属するコンテンツのジャンル種別を判定するジャンル判定部３と、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、入力画像信号のジャンル種別が予め決められた所定のジャンル（例えばアニメなど）であると判定された場合には、前記入力画像信号に対するエッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部４とを備えている。
【００７４】
ジャンル判定部３は、例えばテレビ放送データから分離抽出されたＥＰＧ（Electronic Program Guide；電子番組ガイド）データに含まれるジャンル情報に基づいて、入力画像信号が係属するコンテンツのジャンル種別を判定する。ジャンル情報は、例えば地上デジタル放送やＢＳ、ＣＳデジタル放送などの放送データに重畳して送信されてくるＥＰＧデータの一部に含まれているものを利用することができるが、この種のジャンルを示す情報は、放送データから分離・取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、該映像情報が格納されたメディア媒体内に付加されているコンテンツ種別を表すフラグ（例えば「アニメ」を示す識別コード）を読み出して、ジャンル判定部３で検出するようにしてもよい。
【００７５】
また、上記テレビ放送データは、デジタル放送に限られず、アナログ放送によるものであっても、ジャンル情報の取得が可能である。例えば、ＡＤＡＭＳ−ＥＰＧは、アナログ放送信号に重畳されて送信されるＥＰＧ情報である。
【００７６】
さらに、映像コンテンツのジャンル情報は、映像情報と同時に入力、取得される場合の他、映像情報とは別の経路から入手することも可能である。例えば、ＸＭＬＴＶとはＷｅｂ上で公開されているＴＶ番組表を自動的に取得し、ＸＭＬ化して出力するためのアプリケーションであり、これを利用してネットワーク上の外部装置から表示する映像のジャンル情報を取得することもできる。
【００７７】
ジャンル情報としてのジャンルコードは、例えば地上デジタル放送の規格において、「ニュース／報道」、「スポーツ」、「情報／ワイドショー」、「ドラマ」、「音楽」、「バラエティ」、「映画」、「アニメ／特撮」、「ドキュメンタリー／教養」、「演劇・公演」、「趣味／教育」、「その他」の番組ジャンルが大分類として規定され、また、各大分類毎に複数の中分類が規定されている。
【００７８】
本参考例の画像処理装置は、入力画像信号がどのジャンルに係属するものかを判別し、この判別結果に応じて、エッジ強調部２によるエッジ強調処理を制御するものである。すなわち、入力画像信号のジャンル種別が、例えばＣＧ（コンピュータ・グラフィックス）技術により制作される「アニメ／特撮」（大分類）の中の「国内／海外アニメ」（中分類）、あるいは「映画」（大分類）の中の「アニメ」（中分類）である場合、該入力画像信号には元来、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれておらず、動き量が大きい領域であっても、前記入力画像信号が生成される過程において、前記入力画像信号に含まれる高域周波数成分が減衰していないと認められる。
【００７９】
従って、入力画像信号のジャンル種別が、例えば「アニメ／特撮」（大分類）の中の「国内／海外アニメ」（中分類）、あるいは「映画」（大分類）の中の「アニメ」（中分類）である場合は、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、エッジ強調部２でのエッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わない（無効化する）ように制御することで、過度のエッジ強調処理による画質劣化を防止することが可能となる。
【００８０】
以上のように、本参考例によれば、入力画像信号のジャンル種別に応じて、エッジ強調度合いを適切に制御することで、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれている画像信号の場合、動き量の大きい領域に対するエッジ強調度合いを増大するとともに、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれていない画像信号の場合は、動き量の大きい領域であってもエッジ強調度合いを減少させることができ、表示画像の鮮鋭感を向上させつつ、過度なエッジ強調処理による画像劣化が目立つことを防止することが可能になる。
【００８１】
（第２の参考例）
次に、本発明の第２の参考例に係る画像処理装置について、図７とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図７は本参考例の画像処理装置の概略構成を示す機能ブロック図である。
【００８２】
本参考例の画像処理装置は、図７に示すように、当該装置の外部より取得したＣＧ合成情報から、入力画像信号中においてＣＧ画像又は人工画像が合成（重畳）されている画面領域位置を判定するＣＧ合成位置判定部５と、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、ＣＧ画像が合成されている画面領域であると判定された場合には、前記入力画像信号に対するエッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部４とを備えている。
【００８３】
ここで、ＣＧ合成情報は、画像信号中において番組ロゴ、テロップのようなキャラクタ文字、アイコン等のＣＧ画像が合成（重畳）されている画面領域位置を示すもので、テレビ放送データに多重されて送信される場合、ＣＧ合成位置判定部５は、テレビ放送データから分離抽出されたＣＧ合成情報に基づいて、入力画像信号中においてＣＧ画像が合成されている画面領域位置を判定することができる。
【００８４】
このようなＣＧ合成情報は、放送データから分離・取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、該映像情報が格納されたメディア媒体内に付加されているＣＧ合成情報を読み出して、ＣＧ合成位置判定部５で検出するようにしてもよい。
【００８５】
さらに、ＣＧ合成情報は、映像情報と同時に入力、取得される場合の他、映像情報とは別の経路から入手することも可能である。例えば、映像コンテンツ毎にＣＧ合成情報が映像情報の再生時間と対応付けて、ネットワーク上の外部装置に格納されている場合、ネットワークを介して外部装置から表示する映像のＣＧ合成情報を取得することもできる。
【００８６】
本参考例の画像処理装置は、入力画像信号中においてＣＧ画像又は人工画像が合成（重畳）されている画面領域位置を判別し、この判別結果に応じて、エッジ強調部２によるエッジ強調処理を制御するものである。すなわち、ＣＧ画像又は人工画像が合成された画面領域における画像信号には元来、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれておらず、動き量が大きい領域であっても、前記入力画像信号が生成される過程において、前記入力画像信号に含まれる高域周波数成分が減衰していないと認められる。
【００８７】
従って、ＣＧ画像又は人工画像が合成された画面領域については、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、エッジ強調部２でのエッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わない（無効化する）ように制御することで、過度のエッジ強調処理による画質劣化を防止することが可能となる。
【００８８】
以上のように、本参考例によれば、入力画像信号の画面領域毎における画像種別（自然画像かＣＧ画像（または人工画像）か）に応じて、エッジ強調度合いを適切に制御することで、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれている画像信号の領域の場合、動き量の大きい領域に対するエッジ強調度合いを増大するとともに、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれていない画像信号の領域の場合は、動き量の大きい領域であってもエッジ強調度合いを減少させることができ、表示画像の鮮鋭感を向上させつつ、過度なエッジ強調処理による画像劣化が目立つことを防止することが可能になる。
【００８９】
（第１の実施の形態）
また、本発明の第１の実施の形態に係る画像処理装置について、図８とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図８は本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
【００９０】
本実施形態の画像処理装置は、図８に示すように、当該装置の外部より取得したカメラ情報から、撮像装置を用いて入力画像信号を生成する際の撮影条件（シャッター速度、被写界深度など）を判定する撮影条件判定部６と、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、入力画像信号が生成された撮影条件が予め決められた所定の撮影条件（例えば、撮像時のシャッター速度が速い、撮像時の被写界深度が浅いなど）に該当すると判定された場合には、前記入力画像信号に対するエッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部４とを備えている。
【００９１】
ここで、カメラ情報は、撮像装置を用いて前記入力画像信号を生成する際の撮影条件（シャッター速度、露光時間、被写界深度、カメラレンズのＦナンバー、被写体までの距離、絞りなど））を示すもので、テレビ放送データに多重されて送信される場合、撮影条件判定部６は、テレビ放送データから分離抽出されたカメラ情報に基づいて、入力画像信号が生成された際の撮影条件を判定することができる。
【００９２】
このようなカメラ情報は、放送データから分離・取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、該映像情報が格納されたメディア媒体内に付加されているカメラ情報を読み出して、撮影条件判定部６で検出するようにしてもよい。例えば映像撮影時に映像情報とカメラ情報とを対応付けて記録メディアに格納しておくことで、カメラ情報を取得することができる。
【００９３】
さらに、カメラ情報は、映像情報と同時に入力、取得される場合の他、映像情報とは別の経路から入手することも可能である。例えば、映像コンテンツ毎にカメラ情報が映像情報の再生時間と対応付けて、ネットワーク上の外部装置に格納されている場合、ネットワークを介して外部装置から表示する映像のカメラ情報を取得することもできる。
【００９４】
本実施形態の画像処理装置は、入力画像信号を生成する際の撮影条件を判別し、この判別結果に応じて、エッジ強調部２によるエッジ強調処理を制御するものである。すなわち、映像撮影時のシャッター速度が速い、すなわち露光時間が短い場合は、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれておらず、動き量が大きい領域であっても、前記入力画像信号が生成される過程において、前記入力画像信号に含まれる高域周波数成分が減衰していないと認められる。
【００９５】
従って、撮像装置を用いて入力画像信号を生成する際のシャッター速度が速い場合は、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、エッジ強調部２でのエッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わない（無効化する）ように制御することで、過度のエッジ強調処理による画質劣化を防止することが可能となる。
【００９６】
また、映像撮影時の被写界深度が浅い、すなわち、カメラレンズのＦナンバーが小さい、あるいは被写体までの距離が近い、あるいは絞りが開放されているなどの場合は、元々、撮影者の意図により、フォーカス（ピント）を合わせた被写体以外がぼかされた映像であり、撮像素子の時間積分効果に起因して、前記入力画像信号に含まれる高域周波数成分が減衰したものではないと認められる。
【００９７】
従って、撮像装置を用いて入力画像信号を生成する際の被写界深度が浅い場合は、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、エッジ強調部２でのエッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わない（無効化する）ように制御することで、過度のエッジ強調処理による画質劣化を防止することが可能となる。
【００９８】
以上のように、本実施形態によれば、撮像装置を用いて入力画像信号を生成する際の撮影条件（シャッター速度、被写界深度など）に応じて、エッジ強調度合いを適切に制御することで、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれている画像信号の領域の場合、動き量の大きい領域に対するエッジ強調度合いを増大するとともに、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれていない画像信号の領域の場合は、動き量の大きい領域であってもエッジ強調度合いを減少させることができ、表示画像の鮮鋭感を向上させつつ、過度なエッジ強調処理による画像劣化が目立つことを防止することが可能になる。
【００９９】
（第３の参考例）
次に、本発明の第３の参考例に係る画像処理装置について、図９とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図９は本参考例の画像処理装置の概略構成を示す機能ブロック図である。
【０１００】
本参考例の画像処理装置は、図９に示すように、表示画像の画質を設定調整するために予め用意されている複数の画調モードの中から、ユーザによって選択指示された画調モードを示す画調モード設定情報を、当該装置の外部より受信するリモコン受光部７と、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、ユーザによって選択指示された画調モードが予め決められた所定の画調モード（例えばゲームモードなど）であると判定された場合には、前記入力画像信号に対するエッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部４とを備えている。
【０１０１】
すなわち、リモコン受光部７は、図示しないリモコン（リモートコントロール装置）から伝送されたリモコン信号を受光して制御部４へ出力する。制御部４は、リモコン受光部７で受光したリモコン信号を解析し、ユーザの操作指示に応じて画質調整処理の制御を行う。通常のテレビジョン受像機においては、画調モードとして、例えば“標準モード”、“ダイナミックモード”、“映画モード”、“ゲームモード”が予め用意されており、ユーザはリモコン（図示せず）を操作することにより、いずれかの画調モードを選択指示することが可能となっている。
【０１０２】
制御部４は、リモコン受光部７で受光したリモコン信号を解析して、ユーザより画調モードの選択が指示された場合、当該画調モードに対応して記憶されている画面の明るさ、濃淡、黒レベル、色の濃さ、色あい、輪郭強調（シャープネス）などの調整値を、図示しない画質調整部に出力する。画質調整部（図示せず）は、制御部４からの出力に基づき、入力画像信号に対して所定の画質調整を施す。
【０１０３】
例えば映画番組や映画ソフトを視聴する際には、ユーザはリモコン（図示せず）を操作して、“映画モード”を選択することにより、映画の視聴に適した画質調整を行うことができる。同様に、テレビゲームを視聴する際には、“ゲームモード”を選択することにより、テレビゲームの視聴に適した画質調整を行うことができる。すなわち、ユーザが“映画モード”を選択した場合は映画映像が、“ゲームモード”を選択した場合はゲーム（ＣＧ）映像が入力されている可能性が高いといえる。
【０１０４】
尚、本参考例においては、リモコン（図示せず）に設けられた画調モード選択ボタンを押圧する毎に、“標準モード”→“ダイナミックモード”→“映画モード”→“ゲームモード”→“標準モード”→・・・の順で画調モードを切り換えることが可能であるが、画調モードの選択操作方法はこれに限らない。また、エッジ強調部２は、画質調整部（図示せず）の内部に設けられていても良いし、画質調整部（図示せず）の外部に設けられていても良い。
【０１０５】
本参考例の画像処理装置は、ユーザによって選択指示された画調モードに応じて、エッジ強調部２によるエッジ強調処理を制御するものである。すなわち、ユーザによって設定された画調モードが、例えばＣＧ（コンピュータ・グラフィックス）技術により制作されるゲーム映像を視聴する際に適するものとして用意された“ゲームモード”である場合、該入力画像信号には元来、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれておらず、動き量が大きい領域であっても、前記入力画像信号が生成される過程において、前記入力画像信号に含まれる高域周波数成分が減衰していないと認められる。
【０１０６】
従って、ユーザによって設定された画調モードが、例えば“ゲームモード”である場合は、動き検出部１にて前記入力画像信号の動き量が大きいと検出された領域であっても、エッジ強調部２でのエッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わない（無効化する）ように制御することで、過度のエッジ強調処理による画質劣化を防止することが可能となる。
【０１０７】
以上のように、本参考例によれば、ユーザによって設定された画調モードに応じて、エッジ強調度合いを適切に制御することで、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれている画像信号の場合、動き量の大きい領域に対するエッジ強調度合いを増大するとともに、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）が含まれていない画像信号の場合は、動き量の大きい領域であってもエッジ強調度合いを減少させることができ、表示画像の鮮鋭感を向上させつつ、過度なエッジ強調処理による画像劣化が目立つことを防止することが可能になる。
【０１０８】
また、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）に加えて、ホールド型表示方式に起因する動きぼけを低減して、高品位な表示映像を実現することが可能な画像処理装置について、本発明の第２、第３の実施の形態として、以下に説明する。
【０１０９】
（第２の実施の形態）
本発明の第２の実施の形態に係る画像処理装置について、図１０とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図１０は本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
【０１１０】
本実施形態の画像処理装置は、図１０に示すように、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数を変換するＦＲＣ部１００と、該ＦＲＣ部１００でフレーム数が変換された画像信号の高域周波数成分を強調するエッジ強調部２とを備えている。また、入力画像信号の動き量と、当該装置の外部より取得した外部取得情報とに基づき、前記エッジ強調部２によるエッジ強調処理を制御して、高域周波数成分を強調する度合いや強調する周波数範囲を可変する制御部４を備えている。
【０１１１】
ＦＲＣ部１００は、１フレーム前の入力画像信号と現フレームの入力画像信号とから動きベクトルを検出する動きベクトル検出部１０１と、動きベクトル検出部１０１で検出された動きベクトルを評価し、その評価結果に基づいて、最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける内挿ベクトル割付部１０３と、内挿ベクトル割付部１０３から入力された内挿ベクトルに基づき、１フレーム前の入力画像信号と現フレームの入力画像信号とを用いて内挿フレームを生成する内挿フレーム生成部１０２と、入力フレームと内挿フレームとを交互に出力することで、元の入力画像信号の２倍のフレームレートの画像信号を出力するタイムベース変換部１０４とを有している。
【０１１２】
制御部４は、ＦＲＣ部１００の動きベクトル検出部１０１により検出された動きベクトルに基づいて、入力画像信号の動き量が大きい領域に対しては、エッジ強調処理のエッジ強調度合いを大きくするとともに、ジャンル情報、ＣＧ合成情報、カメラ情報あるいは画調モード設定情報などの外部取得情報から、入力画像信号の動き量が大きい領域であっても、該入力画像信号が生成される過程において、該入力画像信号に含まれる高域周波数成分が減衰していないと認められる場合、エッジ強調処理のエッジ強調度合いを小さくする、あるいは、エッジ強調処理を行わないように制御する。
【０１１３】
エッジ強調部２により動き適応的に鮮鋭化処理がなされた画像信号は、別体または一体的に構成された液晶表示パネルなどの表示デバイス（図示せず）より表示出力される。これによって、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。また、ホールド型の表示特性を有する画像表示装置に適用した場合、撮像素子の時間積分効果に起因する表示映像の動きぼけと、ホールド型の表示特性に起因する動きぼけとの両方を低減して、高品位な表示映像を実現することが可能となる。
【０１１４】
尚、本実施形態においては、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、これに限らず、少なくとも入力画像信号または内挿画像信号のいずれかに対してのみエッジ強調処理を施すようにしてもよい。このようにすれば、エッジ強調部２での処理量を削減することが可能となる。
【０１１５】
また、本実施形態においては、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、入力画像信号に対するエッジ強調処理と内挿画像信号に対するエッジ強調処理とを異なる処理としてもよい。
【０１１６】
すなわち、動きベクトル検出の誤りなどに起因して内挿画像信号には画像劣化（画像破綻）が生じる場合があり、このような劣化した内挿画像に対してエッジ強調処理を施すと画像劣化した部分にもエッジ強調処理が施され、さらに画像劣化が目立つこととなるため、内挿画像信号に対するエッジ強調度合いを、入力画像信号（原画像信号）に対するエッジ強調度合いより小さくする、或いは、内挿画像信号に対するエッジ強調処理のみを無効化することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１１７】
例えば、内挿画像信号に対して強調する周波数範囲を、入力画像信号（原画像信号）に対して強調する周波数範囲より縮小することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１１８】
以上のように、本実施形態の画像処理装置においては、ＦＲＣ部１００にて得られる入力画像信号の動き量と、外部より取得した外部取得情報とに応じて、エッジ強調部２のエッジ強調処理を適切に制御することにより、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化を防止することができる。
【０１１９】
ここで、入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないようにすることで、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
【０１２０】
尚、動き検出部１０１とエッジ強調部２との間に動きベクトルに対するローパスフィルタを設けて、画面内での動きベクトルの変化を滑らかにすることによって、画面内でエッジ強調処理が急激に変化することにより生じるアーティファクトを防止するのが望ましいことは、上述したとおりである。また、本実施形態の場合、エッジ強調処理をＦＲＣ処理の後で行っているので、ＦＲＣ部１００の動きベクトル検出部１０１における動きベクトル検出処理はエッジ強調処理の影響を受けず、安定した動作が可能となる。
【０１２１】
（第３の実施の形態）
本発明の第３の実施の形態に係る画像処理装置について、図１１とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図１１は本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
【０１２２】
本実施形態の画像処理装置は上記第２の実施形態と同様、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数を変換するＦＲＣ部１００と、該ＦＲＣ部１００でフレーム数が変換された画像信号の高域周波数成分を強調するエッジ強調部２とを備えている。上記第２の実施の形態では、動きベクトル検出部１０１により検出された動きベクトルと、外部より取得した外部取得情報とに基づいて、エッジ強調部２のエッジ強調処理を可変制御していたが、本実施形態においては、内挿ベクトル割付部１０３により評価・割り付けがなされた内挿ベクトルと、外部より取得した外部取得情報とに基づいて、エッジ強調部２のエッジ強調処理を可変制御する構成としている。
【０１２３】
この内挿ベクトル割付処理に関して説明する。動きベクトル検出部１０１にて検出した動きベクトルは、１フレーム前の入力画像信号ｎ−１に対する動きベクトルである場合を考える。すなわち、入力画像信号ｎ−１の各動きベクトル検出ブロックにおいて、そのブロックが次のフレームの入力画像信号ｎにおいてはどの位置に移動するかを示すのが、各動きベクトル検出ブロックにおける動きベクトルである。さて、フレームレートを例えば２倍に変換する場合は、内挿フレームの時間的な位置は、入力画像信号ｎ−１と入力画像信号ｎとの中間位置である。よって、入力画像信号ｎ−１における各動きベクトルを内挿フレームの時間的位置まで進めた時に内挿フレーム上のどのブロックに刺さるかを求め、刺さったブロックに該動きベクトルを割り付ける、という処理を行う。これが内挿フレームへの内挿ベクトル割付処理である。
【０１２４】
ここで、内挿ベクトル割付部１０３にて最適な内挿ベクトルを割り付ける内挿ブロックは、通常、動きベクトル検出部１０１で動きベクトルを検出する動きベクトル検出ブロックをさらに分割して設定される。例えば、動きベクトル検出ブロックが８画素×８画素の場合、内挿ブロックは動きベクトル検出ブロックをさらに８分割した２画素×４画素のように設定される。
【０１２５】
また、内挿ベクトル割付部１０３では、動きベクトル検出部１０１にて求められた動きベクトルの正確性を、被検出ブロックの画像情報と被検出ブロックから動きベクトルが指し示す先のブロックの画像情報との差分値（ＤＦＤ（Ｄｉｓｐｌａｃｅｄ Ｆｉｅｌｄ Ｄｉｆｆｅｒｅｎｃｅ）と称される）などを算出して評価することにより、より適切な内挿ベクトルを上記内挿ブロックに割り付ける。尚、ＤＦＤとは、候補ベクトルの正確さの程度を示す指標であり、ＤＦＤの値が小さいほど、被検出ブロックと被検出ブロックから動きベクトルが指し示す先のブロックとのマッチングが良く、対応する候補ベクトルがよりふさわしいことを示す。
【０１２６】
従って、本実施形態においては、ＦＲＣ部１００の内挿ベクトル割付部１０３にて求められた内挿ベクトルを用いて、エッジ強調部２で高域周波数成分を強調する度合いや強調する周波数範囲を可変するため、ＦＲＣ部１００の出力画像信号のうち少なくとも内挿画像信号に対しては、より精細且つ適切なエッジ強調処理を行うことが可能となる。
【０１２７】
尚、本実施形態の場合、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、これに限らず、少なくとも入力画像信号または内挿画像信号のいずれかに対してのみエッジ強調処理を施すようにしてもよい。このようにすれば、エッジ強調部２での処理量を削減することが可能となる。
【０１２８】
また、本実施形態においても、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、入力画像信号に対するエッジ強調処理と内挿画像信号に対するエッジ強調処理とを異なる処理としてもよい。
【０１２９】
すなわち、動きベクトル検出の誤りなどに起因して内挿画像信号には画像劣化（画像破綻）が生じる場合があり、このような劣化した内挿画像に対してエッジ強調処理を施すと画像劣化した部分にもエッジ強調処理が施され、さらに画像劣化が目立つこととなるため、内挿画像信号に対するエッジ強調度合いを、入力画像信号（原画像信号）に対するエッジ強調度合いより小さくする、あるいは、内挿画像信号に対するエッジ強調処理のみを無効化することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１３０】
例えば、内挿画像信号に対して強調する周波数範囲を、入力画像信号（原画像信号）に対して強調する周波数範囲より縮小することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１３１】
以上のように、本実施形態の画像処理装置においては、ＦＲＣ部１００にて得られる入力画像信号の動き量と、ジャンル情報、ＣＧ合成情報、カメラ情報あるいは画調モード設定情報などの外部取得情報とに応じて、エッジ強調部２のエッジ強調処理を適切に制御することにより、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化を防止することができる。
【０１３２】
ここで、入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないようにしているので、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
【０１３３】
尚、内挿ベクトル割付部１０３とエッジ強調部２との間に内挿ベクトルに対するローパスフィルタを設けて、画面内での内挿ベクトルの変化を滑らかにすることによって、画面内でエッジ強調処理が急激に変化することにより生じるアーティファクトを防止するのが望ましいことは、上述したとおりである。また、本実施形態の場合、ＦＲＣ部１００の動きベクトル検出部１０１における動きベクトル検出処理はエッジ強調処理の影響を受けず、安定した動作が可能となる。
【０１３４】
以上の説明においては、本発明の画像処理装置及び方法に関する実施形態の一例について説明したが、これらの説明から、本画像処理方法をコンピュータによりプログラムとして実行する処理プログラム、及び、該処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。
【０１３５】
また、本発明の画像処理装置は、上述したとおり、画像表示装置と一体的に構成して設けられてもよいし、画像表示装置と別体に設けられてもよい。さらに、これらに限らず、例えば各種記録メディア再生装置などの映像出力機器内に設けられても良いことは言うまでもない。
【符号の説明】
【０１３６】
１…動き検出部、２…エッジ強調部、３…ジャンル判定部、４…制御部、５…ＣＧ合成位置判定部、６…撮影条件判定部、７…リモコン受光部、２１…ハイパスフィルタ、２２…ゲイン調整部、２３…加算部、２４…フィルタ、１００…ＦＲＣ部、１０１…動きベクトル検出部、１０２…内挿フレーム生成部、１０３…内挿ベクトル割付部、１０４…タイムベース変換部、１０５…フレームバッファ（ＦＢ）、１０６…原フレームベクトル割付部、１０７…フレームバッファ（ＦＢ）、１１１…オブジェクト抽出部、１１２…動き検出部、１１３…領域特定部、１１４…混合比算出部、１１５…前景背景分離部、１１６…動きぼけ除去部、１１７…補正部、１１８…動きぼけ除去画像処理部、２０３…液晶表示パネル、２０４…電極駆動部、２０５…動きベクトル、２０６…内挿ベクトル、２０７…内挿フレーム。
【特許請求の範囲】
【請求項１】
入力画像信号の動き量を検出する動き検出部と、
前記入力画像信号にエッジ強調処理を施すエッジ強調部とを備え、
前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする画像処理装置であって、
撮像装置を用いて前記入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、前記入力画像信号の動き量が大きい領域であっても、前記被写界深度が浅い場合、前記エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置に更に表示部を備えたことを特徴とする画像表示装置。
【請求項３】
入力画像信号の動き量を検出する動き検出工程と、
前記入力画像信号にエッジ強調処理を施すエッジ強調工程とを備え、
前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする画像処理方法であって、
撮像装置を用いて前記入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、前記入力画像信号の動き量が大きい領域であっても、前記被写界深度が浅い場合、前記エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにすることを特徴とする画像処理方法。
【請求項４】
入力画像信号の動き量を検出する動き検出工程と、
前記入力画像信号にエッジ強調処理を施すエッジ強調工程とを備え、
前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする画像表示方法であって、
撮像装置を用いて前記入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、前記入力画像信号の動き量が大きい領域であっても、前記被写界深度が浅い場合、前記エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにすることを特徴とする画像表示方法。
【請求項１】
入力画像信号の動き量を検出する動き検出部と、
前記入力画像信号にエッジ強調処理を施すエッジ強調部とを備え、
前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする画像処理装置であって、
撮像装置を用いて前記入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、前記入力画像信号の動き量が大きい領域であっても、前記被写界深度が浅い場合、前記エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにする制御部を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置に更に表示部を備えたことを特徴とする画像表示装置。
【請求項３】
入力画像信号の動き量を検出する動き検出工程と、
前記入力画像信号にエッジ強調処理を施すエッジ強調工程とを備え、
前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする画像処理方法であって、
撮像装置を用いて前記入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、前記入力画像信号の動き量が大きい領域であっても、前記被写界深度が浅い場合、前記エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにすることを特徴とする画像処理方法。
【請求項４】
入力画像信号の動き量を検出する動き検出工程と、
前記入力画像信号にエッジ強調処理を施すエッジ強調工程とを備え、
前記入力画像信号の動き量が大きい領域に対しては、前記エッジ強調処理のエッジ強調度合いを大きくする画像表示方法であって、
撮像装置を用いて前記入力画像信号を生成する際の被写界深度を示すカメラ情報に基づき、前記入力画像信号の動き量が大きい領域であっても、前記被写界深度が浅い場合、前記エッジ強調処理のエッジ強調度合いを小さくする、あるいは、前記エッジ強調処理を行わないようにすることを特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１４】
【公開番号】特開２０１２−２３１４７１（Ｐ２０１２−２３１４７１Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１２−１２６７７９（Ｐ２０１２−１２６７７９）
【出願日】平成２４年６月４日（２０１２．６．４）
【分割の表示】特願２０１１−２６７５７（Ｐ２０１１−２６７５７）の分割
【原出願日】平成２０年３月１０日（２００８．３．１０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２４年６月４日（２０１２．６．４）
【分割の表示】特願２０１１−２６７５７（Ｐ２０１１−２６７５７）の分割
【原出願日】平成２０年３月１０日（２００８．３．１０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]