画像処理方法、画像処理システム、およびコンピュータプログラム
【課題】２次元の動画像の奥行き感、距離感を高める。
【解決手段】時間的に連続する３枚のフレーム画像の差分画像をもとに、中央のフレーム画像から移動体を表示する移動体領域と背景領域を抽出する。移動体領域の画像には、コントラスト強調など、画像をより鮮明にする処理を行う。他方、背景領域の画像には平均化処理などのぼかし処理を行う。このぼかし処理では、フレーム画像において移動体領域が占める割合が大きいほどぼかしの程度が高くなるように、背景領域の画像をぼかす。人間が物を見るときの目のピント調節機能を画像処理で予め行うことで、動画像を見る者に、背景ではなく、動きのある部分にピントが合っている感覚を与えて、２次元の動画像の奥行き感、立体感を高める。
【解決手段】時間的に連続する３枚のフレーム画像の差分画像をもとに、中央のフレーム画像から移動体を表示する移動体領域と背景領域を抽出する。移動体領域の画像には、コントラスト強調など、画像をより鮮明にする処理を行う。他方、背景領域の画像には平均化処理などのぼかし処理を行う。このぼかし処理では、フレーム画像において移動体領域が占める割合が大きいほどぼかしの程度が高くなるように、背景領域の画像をぼかす。人間が物を見るときの目のピント調節機能を画像処理で予め行うことで、動画像を見る者に、背景ではなく、動きのある部分にピントが合っている感覚を与えて、２次元の動画像の奥行き感、立体感を高める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を画像処理する方法、動画像の画像処理を行う画像処理システム、および動画像の画像処理を行うためのコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、ハイビジョン映像の鑑賞が可能な高解像度、大画面の液晶表示装置、プラズマ表示装置が普及している。そのため、映像のクオリティーに対する要求が高まっており、その１つに臨場感、遠近感（距離感）がある。立体感、奥行き感を高めることで、臨場感を高めることができる。
【０００３】
例えば、画面全体に焦点（ピント）があった写真は距離感、立体感に乏しい。そこで、従来では、カメラで撮影した写真（静止画像）に距離感、立体感を与えるために、写真にぼかし処理（デフォーカス処理）を行うことが提案されている（例えば、特許文献１、２）。
【０００４】
特許文献１には、焦点条件が異なる２枚の画像を用いて、画像から、主要部と背景とを抽出し、主要部の画像に鮮鋭化処理を行い、背景にぼかし処理を行う画像処理装置が記載されている。
【０００５】
特許文献２には、照明の光量が異なる２枚の画像を用いて、画像から被写体と背景を抽出し、被写体および背景の少なくとも一方にぼかし処理を行う画像処理方法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２３３９１９号公報
【特許文献２】特開２００５−２２９１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１、２に記載された画像処理技術は静止画像に関する技術であり、動画像の臨場感、奥行き感を高める技術についてではない。そこで、本発明の実施形態の目的の１つは、２次元映像表示用の表示装置に、立体感、奥行き感を高めた動画像を作成することを可能にする画像処理方法を提供することにある。
【０００８】
また、本発明の実施形態の別の目的の１つは、立体感、奥行き感を高めた動画像の作成を可能にする画像処理システムを提供することにある。
【０００９】
また、本発明の実施形態の別の目的の１つは、立体感、奥行き感を高めた動画像を作成する画像処理方法を実現するためのコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の画像処理方法の構成例の１つは、複数のフレーム画像で構成される動画像を画像処理するために、少なくとも１つのフレーム画像を、移動体を構成する画素群でなる移動体領域と、移動体を構成しない画素群でなる背景領域とに区分し、背景領域に画像処理を行って、フレーム画像から補正フレーム画像を作成するというものである。この構成例では、背景領域に行う画像処理は、移動体領域がフレーム画像に占める割合が大きいほど、背景領域へのぼかしの効果を強調するぼかし処理である。
【００１１】
また、本発明の画像処理方法の他の構成例では、補正の対象となるフレーム画像を移動体領域と、移動体領域以外の背景領域とに区分するために、補正対象となる第１のフレーム画像と第１の画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および第１のフレーム画像と第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、第１のフレーム画像から移動体を構成する画素を抽出し、移動体を構成する画素群でなる移動体領域と、移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成することができる。この構成例では、このマスク画像を用いて、第１のフレーム画像の各画素が背景領域または移動体領域のどちらの領域に含まれるかを判定する。
【００１２】
また、上記画像処理方法の各構成例において、移動体領域に、背景領域に行われる画像処理と異なる画像処理を行ってもよい。
【００１３】
本発明の画像処理システムの構成例の１つは、複数のフレーム画像で構成される動画像を表示する画像表示部と、少なくとも１つのフレーム画像から移動体を抽出して、フレーム画像を、移動体を構成する画素群でなる移動体領域と、移動体を構成しない画素群でなる背景領域とに区分する移動体抽出部と、背景領域にぼかし処理を行い、補正フレーム画像を作成する補正フレーム画像作成部とを有する。この構成例において、補正フレーム画像作成部は、移動体領域がフレーム画像に占める割合が大きいほど、ぼかしの効果を強調するぼかし処理を背景領域に行う装置である。
【００１４】
本発明の画像処理システムの他の構成例の１つは、複数のフレーム画像で構成される動画像を表示する画像表示部と、補正対象となる第１のフレーム画像と第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および第１のフレーム画像と第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、第１のフレーム画像から移動体を構成する画素を抽出し、移動体を構成する画素群でなる移動体領域と、移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成するマスク画像作成部と、マスク画像を用いて、第１のフレーム画像を構成する各画素について、背景領域または移動体領域のどちらの領域に含まれるかを判定し、背景領域の画素にぼかし処理を行い、補正フレーム画像を作成する補正フレーム画像作成部とを有する。
【００１５】
上記の構成例において、補正フレーム画像作成部は、移動体領域が第１のフレーム画像に占める割合が大きいほど、ぼかしの効果を強調するぼかし処理を背景領域に行う装置である。
【００１６】
また、画像処理システムの各構成例において、補正フレーム画像作成部で、移動体領域に、背景領域に行われる画像処理と異なる画像処理を行ってもよい。
【００１７】
本発明のコンピュータプログラムの構成例の１つは、動画像を構成する複数のフレーム画像の少なくとも１つのフレーム画像から移動体を抽出して、フレーム画像を、移動体を構成する画素群でなる移動体領域と、移動体を構成しない画素群でなる背景領域とに区分する処理と、背景領域にぼかし処理を行い、補正フレーム画像を作成する処理と、を含む画像処理を、画像処理装置に実行させるプログラムであり、補正フレーム画像を作成する処理において、背景領域に対する画像処理として、移動体領域がフレーム画像に占める割合が大きいほど、ぼかしの効果を強調するぼかし処理を画像処理装置に実行させるというものである。
【００１８】
本発明のコンピュータプログラムの他の構成例の１つは、補正対象となる第１のフレーム画像と第１の画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および第１のフレーム画像と第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、第１のフレーム画像から移動体を構成する画素を抽出し、移動体を構成する画素群でなる移動体領域と、移動体を構成しない画素以外の画素群でなる背景領域とでなるマスク画像を作成する処理と、マスク画像を用いて、第１のフレーム画像を構成する各画素について、背景領域または移動体領域のどちらの領域に含まれるかを判定し、背景領域の画素にぼかし処理を行い、補正フレーム画像を作成する処理とを含む画像処理を、画像処理装置に実行させるプログラムである。
【００１９】
上記のコンピュータプログラムの各構成例において、補正フレーム画像を作成する処理において、背景領域に対する画像処理として、移動体領域が第１のフレーム画像に占める割合が大きいほど、ぼかしの効果を強調するぼかし処理を画像処理装置に実行させることができる。
【００２０】
本明細書に開示される発明がコンピュータプログラムに適用される場合、補正フレーム画像を作成する処理において、移動体領域に、背景領域に行われる画像処理と異なる画像処理を、画像処理装置に実行させてもよい。
【００２１】
背景領域に実行される画像処理はぼかし処理であるが、そのぼかし処理として、平均化処理、メディアンフィルタ処理、コントラストを弱めるコントラスト変換処理、およびモザイク処理のうちの少なくとも１つの画像処理を行えばよい。
【００２２】
また、補正フレーム画像を作成するために、移動体領域に背景領域と異なる画像処理を行うことができる。この場合、移動体領域に対する画像処理として、鮮鋭化処理、コントラストを強調するコントラスト変換処理、および輪郭強調処理のうちの少なくとも１つの画像処理を行えばよい。
【発明の効果】
【００２３】
動画像を構成するフレーム画像の背景に対して、画像の動きに合わせて、ぼかしの程度を変化させたぼかし処理を行うことは、人の目のピント調節機能に合わせて背景をぼかすことができる。つまり、背景にこのようなぼかし処理を行うことで、距離感、奥行き感が高い動画像を作成することが可能になる。例えば、テレビ受信機で受信したテレビジョン放送映像にこのようなぼかし処理を行うことで、その映像データを受信しながら、奥行き感の高い動画像に変換することができるため、付加価値の高いテレビ受像器を提供することが可能になる。
【図面の簡単な説明】
【００２４】
【図１】画像処理システムの構成例を示すブロック図。
【図２】動画像を補正する画像処理の一例を示すフローチャート。
【図３】移動体抽出処理の一例を示すフローチャート。
【図４】移動体抽出処理の一例を示すフローチャート。
【図５】マスク処理の一例を示すフローチャート。
【図６】背景画像処理の一例を示すフローチャート。
【図７】（Ａ）補正前のフレーム画像の説明図。（Ｂ）補正フレーム画像の説明図。
【図８】画像出力装置の構成例の説明図。
【図９】画像処理システムの構成例の説明図。
【図１０】（Ａ）モニタの構成例を示す外観図。（Ｂ）カメラの構成例を示す外観図。（Ｃ）コンピュータの構成例を示す外観図。
【発明を実施するための形態】
【００２５】
以下に、図面を用いて、本発明の実施形態を説明する。ただし、本明細書に開示される発明は多くの異なる態様で実施することが可能であり、本明細書に開示される発明の実施形態は、趣旨およびその範囲から逸脱することなく、その態様および詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本明細書に開示される発明は実施形態の記載内容に限定して解釈されるものではない。
【００２６】
［実施形態１］
本実施形態では、複数のフレーム画像で構成される動画像を画像処理する画像処理方法、ならびに、この画像処理を実現するための画像処理システムおよびコンピュータプログラムについて説明する。
【００２７】
まず、図１を用いて、画像処理システムの構成を説明する。本実施形態では、画像処理システムとして画像表示部を備えた画像処理システムを説明する。言い換えると、本実施形態の画像処理システムは、画像処理装置を備えた画像表示システムであるということもできる。図１は、本実施形態の画像処理システムの構成例を示すブロック図である。図１に示す画像処理システム１００は、複数のフレーム画像で構成される動画像を表示することが可能な装置であり、画像処理装置１０１および画像出力装置１０２を有する。
【００２８】
画像処理装置１０１は、読み込んだ複数のフレーム画像の少なくとも１つから、移動体を抽出して、当該フレーム画像を、移動体を構成する画素群でなる移動体領域と、移動体領域以外の領域である背景領域とに区分する装置である。また、移動体および背景を抽出したフレーム画像に対して、画像処理を行うことにより、補正フレーム画像を作成する装置である。画像処理装置１０１では、少なくとも、フレーム画像の背景領域にぼかし処理を行う。さらに、画像処理装置１０１で、移動体領域に対しても画像処理を行うこともできる。本実施形態では、補正後の動画像の距離感、奥行き感を一層向上させるため、画像処理装置１０１において、移動体領域に対して、ぼかし処理と異なる画像処理を行っている。
【００２９】
画像出力装置１０２は、画像処理装置１０１から出力された画像データが出力される装置である。本実施形態では、画像出力装置１０２は、２次元画像を表示する画像表示装置であり、複数のフレーム画像で構成される動画像を表示する装置である。
【００３０】
図１に示すように、画像処理装置１０１は、演算処理部１１１、データ記憶部１１２、制御部１１３、入力側インターフェース部１１４および出力側インターフェース部１１５などから構成される。
【００３１】
演算処理部１１１は、画像データの演算処理など、各種の演算処理を実行する装置であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画像処理用演算回路などを含む。
【００３２】
データ記憶部１１２は、画像処理装置１０１で画像処理を実行するためのデータを記憶するための各種の記憶回路を有する。例えば、演算処理部１１１が動画像の画像処理を実行するコンピュータプログラム、ならびに画像処理用フィルタのデータおよびルックアップテーブルなどを記憶するＲＯＭ（読み取り専用メモリ）、演算処理部１１１が算出した演算結果を記憶するＲＡＭ（ランダムアクセスメモリ）、画像処理装置１０１に入力された画像データを記憶するメモリ回路などが、データ記憶部１１２に含まれる。
【００３３】
制御部１１３は、画像処理装置１０１の回路を制御するための回路を含む。例えば、データ記憶部１１２のデータの書き込みを制御する書き込み制御回路、そのデータの読み出しを制御する読み出し制御回路などが、制御部１１３に含まれる。
【００３４】
入力側インターフェース部１１４は、画像処理装置１０１に接続される外部機器から画像データなどのデータを画像処理装置１０１に取り込むために、その外部機器との信号のやりとりをするための装置である。例えば、画像処理装置１０１で画像データを処理するためには、画像データはデジタルデータであることが必要である。そのため、画像データがアナログデータである場合は、Ａ−Ｄ変換回路（アナログ−デジタル変換回路）を入力側インターフェース部１１４に設けるとよい。外部機器は画像データを出力する装置であり、例えば、カメラなどの撮影装置、ハードディスクやＤＶＤなどの記憶媒体に記録されている画像データを再生する画像再生装置などがある。
【００３５】
出力側インターフェース部１１５は、画像出力装置１０２へ画像データを出力するために、画像出力装置１０２と信号のやりとりをするための装置である。例えば、画像出力装置１０２にアナログ画像信号を出力するためには、Ｄ−Ａ変換回路（デジタル−アナログ変換回路）が出力側インターフェース部１１５に設けられる。
【００３６】
動画像の表示機能を有する画像出力装置１０２は、例えば、液晶表示装置、エレクトロルミネセンス表示装置、電界放出ディスプレイ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）、プラズマディスプレイなどで構成することができる。図１には、画像出力装置１０２の構成の一例を示す。図示するように、画像出力装置１０２は、複数の画素１２０を具備する表示部１２１、走査線駆動回路１２２、および信号線駆動回路１２３などで構成されている。表示部１２１にはＭ行Ｎ列（Ｍ、Ｎは自然数）に画素１２０が配置されている。各画素１２０には、走査線１２５および信号線１２６が電気的に接続されており、このことにより、画素１２０はそれぞれ走査線駆動回路１２２および信号線駆動回路１２３に電気的に接続されている。
【００３７】
画像処理装置１０１から入力される画像データにより、表示部１２１の各画素１２０の輝度値（階調値、濃度値ともいう。）が決定される。走査線駆動回路１２２により表示を行う画素１２０を選択するための信号が走査線１２５に入力され、信号線駆動回路１２３により信号線１２６に画像データが入力される。選択された画素１２０は、信号線１２６を経て画像データが入力され、この画像データで決定される濃淡を表示する。
【００３８】
なお、図１の画像処理システム１００は、画像出力装置１０２が動画像の表示装置である画像表示システムであるが、本発明の実施形態は画像表示システムに限定されるものではない。例えば、画像出力装置１０２を、ハードディスクなどの動画像のデータを記憶する記憶媒体を備えた動画像記憶装置で構成することで、本実施形態の画像処理システムを画像データ記憶システムとすることもできる。
【００３９】
次に、図２を参照して、画像処理装置１０１で実行される画像処理方法について説明する。図２は本実施形態の画像処理方法のフローチャートである。
【００４０】
動画像を構成する複数のフレーム画像では、連続する２枚のフレーム画像において、画像に変化がある部分がある。本明細書では、フレーム画像において、動きの変化がある閾値以上である（または、ある閾値よりも大きい）画像を「移動体」と呼び、その他の部分の画像を「背景」と呼ぶことにする。つまり、背景とは、動きの変化がない、または動きの変化がある閾値より小さい（あるいは、ある閾値以下の）画像である。また、フレーム画像において、移動体を構成する複数の画素（画素群）を「移動体領域」と呼び、背景を構成する複数の画素（画素群）を「背景領域」と呼ぶことにする。つまり、背景領域は、フレーム画像において移動体領域を除く領域であり、移動体を構成しない画素群でなる領域である。
【００４１】
本実施形態の画像処理方法では、フレーム画像から、動きの変化がある閾値以上である画像（移動体）を抽出し、フレーム画像を移動体領域と背景領域とに区分する。そして、背景領域にはぼかし処理（デフォーカス処理）を行い、移動体領域にはぼかし処理と反対の効果が得られる画像処理を行うことで、補正フレーム画像を作成する。移動体領域に対する画像処理は、別言すると、被写体に正確に焦点が合った状態を実現するための画像処理であり、画像を鮮明にする、鮮鋭化する、強調するなどの効果を持つ画像処理である。
【００４２】
画像処理装置１０１では、入力された複数のフレーム画像の少なくとも１つのフレーム画像の背景領域にぼかし処理を行い、補正されたフレーム画像（以下、「補正フレーム画像」と呼ぶ。）を作成する。図２は画像処理装置１０１で、補正フレーム画像を作成するフローを示している。また、図２は、画像処理装置１０１が実行するコンピュータプログラムのフローチャートでもある。以下、補正フレーム画像を作成すべきフレーム画像を他のフレーム画像と区別する必要がある場合は、このフレーム画像を「ターゲットフレーム画像」と呼ぶことにする。
【００４３】
画像処理装置１０１では、まず、ターゲットフレーム画像から、移動体を抽出する（ステップ２０１）。この処理を「移動体抽出処理」と呼ぶことにする。ターゲットフレーム画像から移動体を抽出することで、背景も抽出されるため、この移動体抽出処理は背景抽出処理でもある。従って、移動体抽出処理により、ターゲットフレーム画像は移動体領域と背景領域とに区分されることになる。
【００４４】
次に、画像処理装置１０１では、ターゲットフレーム画像の各画素が、移動体領域の画素であるかを判定する（ステップ２０２）。そして、判定結果が移動体領域の画素であるという場合、該当する画素に対して移動体画像処理を行い（ステップ２０３）、該当しない場合、つまり背景領域の画素である場合は、背景画像処理を行う（ステップ２０４）。移動体画像処理は、移動体として表示されることに適した輝度値になるように、画素の輝度値を補正する処理である。背景画像処理は、ぼかし処理である。背景画像処理により、画素の輝度値は、背景として表示されることに適した輝度値になるように補正される。さらに、本実施形態では、移動体がターゲットフレーム画像に占める割合が大きいほど、ぼかしが強調されるように、背景領域の画素にぼかし処理が行われる。
【００４５】
次に、ターゲットフレーム画像の全ての画素について処理を行ったかどうかを判定することで（ステップ２０５）、ステップ２０２からステップ２０３が繰り返し実行される。ターゲットフレーム画像の全画素について、移動体画像処理または背景画像処理のいずれか一方の処理が実行されることで、ターゲットフレーム画像に対する補正フレーム画像が作成され、補正フレーム画像を作成する画像処理が終了する（ステップ２０６）。
【００４６】
ステップ２０３で実行される移動体画像処理では、画像を鮮明にする、強調するなど効果を持つ画像処理を少なくとも１つ実行される。このような画像処理として、例えば、コントラストを強調するコントラスト変換処理（コントラスト強調処理）、鮮鋭化処理、アンシャープマスキング処理、輪郭強調処理などがある。
【００４７】
ステップ２０４で実行される背景画像処理は、ぼかし処理である。背景をぼかすことで、動画像を見る者に移動体に焦点があっている感覚を生じさせる効果を生む。ぼかし処理としては、平均化処理、コントラストを弱めるコントラスト変換処理、ノイズ除去処理、モザイク処理などがある。つまり、背景画像処理として実行されるぼかし処理とは、画像の輪郭を不鮮明にする、色を薄くするなど、画像から得る情報量を抑える効果を持つ画像処理である。ステップ２０４では、ぼかし効果を持つ画像処理が少なくとも１つ実行される。
【００４８】
また、ステップ２０４では、ターゲット画像に占める移動体領域の割合が大きいほど、背景領域へのぼかしの効果が強調されるような処理が実行される。つまり、移動体が大きいほど、背景のぼかしの程度が大きくなる。人物が徒歩で近づいている動画像を例にすると、移動体である人物の画像は大きくなるため、人物が近づくほどその背景がぼかされることになる。従って、この動画像を見る者に、人物が近づくほど背景から得られる情報が抑えられるため、人物に焦点があっている感覚を自然に生じさせることになる。つまり、見る者にとって、動画像が距離感、奥行き感が高い画像に感じられる。また、ステップ２０３での移動体画像処理によって人物の画像が鮮明になっているため、動画像を見る者に、動きのある部分に焦点が合っている感覚をより自然に与えることができる。
【００４９】
画像処理装置１０１では、動画像を構成する複数のフレーム画像について、順次、各ステップ２０１からステップ２０６までの処理を実行して、複数の補正フレーム画像を作成する。各補正フレーム画像は、画像処理装置１０１から画像出力装置１０２に出力される。画像出力装置１０２において、複数の補正フレーム画像で構成される動画像が表示部１２１で表示される。画像処理装置１０１において、人間の目のピント調節機能を画像処理で予め行っているので、表示部１２１を見る者は、奥行き感、距離感が向上された動画像を鑑賞することができる。
【００５０】
画像処理を実行する画像処理装置１０１は、図２のフローに従って、ターゲットフレーム画像から移動体を抽出する移動体抽出部であり、かつ、ターゲットフレーム画像を画像処理して、補正フレーム画像を作成する補正フレーム画像作成部でもある。また、図２のフローで表される画像処理を、画像処理装置１０１に実行させるためのコンピュータプログラムが、データ記憶部１１２に記憶されている。
【００５１】
本実施形態において、移動体抽出処理に各種の移動体抽出方法を適用することができる。演算処理が容易なことから、この処理には、連続する３枚のフレーム画像を用い、隣接する２枚のフレーム画像の差分をもとに、移動体を抽出する方法を用いることが好ましい。なお、２つの画像の差分を求めるとは、２つの画像の同じ位置にある画素の輝度値の差分の絶対値を算出することであり、差分画像とは、この輝度値の差分の絶対値を各画素の輝度値とする画像である。
【００５２】
ターゲットフレーム画像ｆａから移動体を抽出するため、本実施形態では、時間的に連続する３枚のフレーム画像ｆａ−１、ｆａ、ｆａ＋１の差分から、移動体領域をマスクするマスク画像ｍａを作成する。このマスク画像ｍａは白画像と黒画像でなる２値画像であり、白画像と黒画像が、ターゲットフレーム画像ｆａにおける移動体領域と背景領域との区分を表している。以下、図３および図４を参照して、移動体抽出処理を説明する。図３および図４は移動体抽出処理の一例を示すフローチャートである。ステップ２２１−２３５の説明は図３が参照され、ステップ２３６−２４０の説明は図４が参照される。
【００５３】
まず、画像処理装置１０１は、３枚のフレーム画像ｆａ−１、ｆａ、ｆａ＋１を読み込む（ステップ２２１）。読み込まれたフレーム画像ｆａ−１、ｆａ、ｆａ＋１のデータは、データ記憶部１１２に書き込まれる。フレーム画像ｆａがターゲットフレーム画像である。なお、処理対象となる３枚フレーム画像はターゲットフレーム画像ｆａと連続するフレーム画像に限定されない。すなわち、ターゲットフレーム画像ｆａと、ターゲットフレーム画像ｆａからｋフレーム前（ｋは自然数）と、ｋフレーム後のフレーム画像とを用いることができる。例えば、ターゲットフレーム画像ｆａと、２つフレームが前後するフレーム画像ｆａ−２およびフレーム画像ｆａ＋２でもよい。また、固定カメラで撮影した動画像のように背景がほとんど変化しない動画像の場合などは、ｋは３以上でもよい。動画像の撮影条件などを考慮し、ｋの値は実施者が適宜に設定することができる。ただし、画像処理速度の点から、動画像の撮影条件によらず、移動体抽出処理には１または２フレーム前後するフレーム画像を用いることが好ましい。
【００５４】
画像処理装置１０１の演算処理部１１１は、ターゲットフレーム画像ｆａの画素（ｘ，ｙ）とフレーム画像ｆａ−１の画素（ｘ，ｙ）の差分を算出する（ステップ２２２）。ここでは、画素（ｘ，ｙ）は画像の最小単位とする。また、画素（ｘ，ｙ）のデータ（画素値）は、赤色、緑色、青色の３色（ＲＧＢ）の輝度値（階調値）で構成されていることにする。よって、ステップ２２２が実行されると、ＲＧＢの輝度値に対応して、３つの差分値ΔＲ１（ｘ，ｙ）、ΔＧ１（ｘ，ｙ）、ΔＢ１（ｘ，ｙ）が算出される。差分値ΔＲ１（ｘ，ｙ）、ΔＧ１（ｘ，ｙ）、ΔＢ１（ｘ，ｙ）は、画像処理装置１０１のデータ記憶部１１２に記憶される。なお、画素（ｘ，ｙ）の色要素はＲＧＢ以外でもよく、例えば、イエロー、シアン、マゼンタでもよい。
【００５５】
次に、演算処理部１１１は、差分値ΔＲ１（ｘ，ｙ）、ΔＧ１（ｘ，ｙ）、ΔＢ１（ｘ，ｙ）それぞれについて、その値が、閾値（Ｒｔｈ、Ｇｔｈ、Ｂｔｈ）以上であるか否かを判定する（ステップ２２３）。差分値が閾値以上であれば、輝度判定値を１に設定する（ステップ２２４）。他方、差分値が閾値未満であれば、輝度判定値を０に設定する（ステップ２２５）。つまり、ΔＲ１（ｘ，ｙ）≧Ｒｔｈの場合、赤色の輝度判定値αＲ１（ｘ，ｙ）＝１となり、ΔＲ１（ｘ，ｙ）＜Ｒｔｈの場合、赤色の輝度判定値αＲ１（ｘ，ｙ）＝０となる。緑色、青色についても同様であり、差分値ΔＧ１（ｘ，ｙ）、ΔＢ１（ｘ，ｙ）が閾値Ｇｔｈ、Ｂｔｈ以上であるか、未満であるかによって、その輝度判定値αＧ１（ｘ，ｙ）、αＢ１（ｘ，ｙ）が”１”か”０”に決定される。ここでは、画像が移動体であるかの判別に、２つのフレーム画像間の輝度値の変化量を用いている。閾値（Ｒｔｈ、Ｇｔｈ、Ｂｔｈ）は、画素が移動体に含まれるか背景に含まれるかを区別するための輝度値の変化量の閾値であり、動きの変化量の閾値に対応する。決定された輝度判定値αＲ１（ｘ，ｙ）、αＧ１（ｘ，ｙ）、αＢ１（ｘ，ｙ）は、画像処理装置１０１のデータ記憶部１１２に記憶される。
【００５６】
次に、演算処理部１１１は、ＲＧＢの輝度判定値の和が２以上であるか、否かを判定する（ステップ２２６）。αＲ１（ｘ，ｙ）＋αＧ１（ｘ，ｙ）＋αＢ１（ｘ，ｙ）≧２であれば、画素（ｘ，ｙ）の差分判定値Ｄ１（ｘ，ｙ）を１に設定する（ステップ２２７）。αＲ１（ｘ，ｙ）＋αＧ１（ｘ，ｙ）＋αＢ１（ｘ，ｙ）＜２であれば、差分判定値Ｄ１（ｘ，ｙ）を０に設定する（ステップ２２８）。差分判定値Ｄ１（ｘ，ｙ）は、画像処理装置１０１のデータ記憶部１１２に記憶される。
【００５７】
差分判定値Ｄ１（ｘ，ｙ）は、２枚のフレーム画像ｆａ、ｆａ−１の差分画像を２値化した画像の画素（ｘ，ｙ）の輝度値に対応する。つまり、Ｄ１（ｘ，ｙ）＝１は、この２値の差分画像の画素（ｘ，ｙ）が白を表示することを表し、Ｄ１（ｘ，ｙ）＝０は、画素（ｘ，ｙ）は黒を表示することを表している。ここでは、フレーム画像ｆａ−１とターゲットフレーム画像ｆａの間で、輝度値の変化がない、または変化量が少なかった画素（ｘ，ｙ）については、Ｄ１（ｘ，ｙ）＝１とし、その変化量がある閾値以上であった画素（ｘ，ｙ）については、Ｄ１（ｘ，ｙ）＝０としている。
【００５８】
ステップ２２２−ステップ２２８は、画素（ｘ，ｙ）について、ＲＧＢの輝度値の差分に多数決処理をして、画素（ｘ，ｙ）の輝度値を白か黒かに設定している処理ということもできる。ステップ２２２−ステップ２２８を全画素に行うことで、フレーム画像ｆａとフレーム画像ｆａ−１の差分画像の２値画像を得ることができる。ここでは、この２値の差分画像の白画像（輝度値＝１でなる画素群）は、フレーム画像ｆａの移動体領域とフレーム画像ｆａ−１の移動体領域を合わせた領域となる。
【００５９】
また、ステップ２２２−ステップ２２８は、演算処理部１１１が、ターゲットフレーム画像ｆａの画素（ｘ，ｙ）とフレーム画像ｆａ−１の画素（ｘ，ｙ）の差分データを求め、この差分データから差分判定値Ｄ１（ｘ，ｙ）を求める処理である。これと同様の処理が、ターゲットフレーム画像ｆａの画素（ｘ，ｙ）とフレーム画像ｆａ＋１の画素（ｘ，ｙ）について、演算処理部１１１で実行される（ステップ２２９−ステップ２３５）。なお、図３に示すように、ステップ２２９−ステップ２３５で算出されるデータの記号には、ステップ２２２−ステップステップ２２８で算出されるデータと区別するため、記号に”２”を付している。
【００６０】
よって、ステップ２２９−ステップ２３５を全画素に行うことで、フレーム画像ｆａとフレーム画像ｆａ＋１の差分画像の２値画像を得ることができる。ここでは、この２値の差分画像の白画像（輝度値＝１でなる画素群）は、フレーム画像ｆａの移動体領域とフレーム画像ｆａ＋１の移動体領域を合わせた領域となる。
【００６１】
次に、演算処理部１１１は、２つの差分判定値Ｄ１（ｘ，ｙ）とＤ２（ｘ，ｙ）が両方とも”１”であるか否かを判定する（ステップ２３６）。２つの輝度判定値Ｄ１（ｘ，ｙ）とＤ２（ｘ，ｙ）が双方とも”１”である場合には、移動体判定値Ｍ（ｘ，ｙ）を”１”に設定し（ステップ２３７）、２つの輝度判定値Ｄ１（ｘ，ｙ）とＤ２（ｘ，ｙ）の少なくとも一方が”１”でない場合には、移動体判定値Ｍ（ｘ，ｙ）を”０”に設定する（ステップ２３８）。つまり、ステップ２３６では、Ｄ１（ｘ，ｙ）＝１、Ｄ２（ｘ，ｙ）＝１の論理積（ＡＮＤ）を求めている。このＡＮＤ演算の結果が”真”であれば、Ｍ（ｘ，ｙ）＝１とし（ステップ２３７）、この結果が”偽”であれば、Ｍ（ｘ，ｙ）＝０としている（ステップ２３８）。
【００６２】
移動体判定値Ｍ（ｘ，ｙ）は、マスク画像ｍａの画素（ｘ，ｙ）の輝度値を表している。つまり、Ｍ（ｘ，ｙ）＝１の場合は、マスク画像ｍａの画素（ｘ，ｙ）は白を表示し、Ｍ（ｘ，ｙ）＝０の場合は、この画素（ｘ，ｙ）は黒を表示する。
【００６３】
次に、移動体判定値Ｍ（ｘ，ｙ）の算出が、全画素について行われたか否かを判定する（ステップ２３９）。全画素の移動体判定値Ｍ（ｘ，ｙ）が決定されていない場合には、ステップ２２２およびステップ２２９に戻る。全画素の移動体判定値Ｍ（ｘ，ｙ）が算出されることで、移動体判定値Ｍ（ｘ，ｙ）を輝度値とするマスク画像ｍａが作成され、移動体領域の抽出が終了する（ステップ２４０）。
【００６４】
マスク画像ｍａにおいて、移動体判定値Ｍ（ｘ，ｙ）＝１の領域（白を表示する画素群）が、ターゲットフレーム画像ｆａの移動体領域であり、移動体判定値Ｍ（ｘ，ｙ）＝０の領域（黒を表示する画素群）が、ターゲットフレーム画像ｆａの背景領域である。つまり、マスク画像ｍａは、移動体領域と背景領域とでなる２値の画像であり、マスク画像ｍａを作成することで、ターゲットフレーム画像ｆａが移動体領域と移動体領域に含まれない領域（背景領域）とに区分される。
【００６５】
また、図３および図４の移動体抽出処理で作成されるマスク画像ｍａは、フレーム画像ｆａとフレーム画像ｆａ−１の差分画像を２値化した画像と、フレーム画像ｆａとフレーム画像ｆａ＋１の差分画像を２値化した画像との論理積（ＡＮＤ）を演算することで形成される２値の画像であるということができる。
【００６６】
ここでは、画像処理装置１０１は、図３および図４の移動体抽出処理を実行して、ターゲットフレーム画像から移動体を抽出する移動体抽出部であり、かつ、移動体領域と背景領域とでなるマスク画像を作成するマスク画像作成部である。
【００６７】
ターゲットフレーム画像から移動体をより正確に抽出にするため、画像処理装置１０１において、移動体抽出処理で用いられる３つのフレーム画像に画像処理を行ってから、マスク画像ｍａを作成してもよい。このような画像処理には、平均化処理、水平方向の線形１次微分フィルタを用いたフィルタ処理、エッジ検出処理、メディアンフィルタなどを用いたノイズ除去処理などがある。
【００６８】
図３の移動体抽出処理のフローでは、ステップ２２６およびステップ２３３で、差分判定値Ｄ１（ｘ，ｙ）、Ｄ２（ｘ，ｙ）の値を決定する条件をＲＧＢの輝度判定値の和が２以上としたが、その和が１以上であるという条件でもよいし、その和が３に等しいという条件でもよい。
【００６９】
次に、マスク画像ｍａを用いて、ターゲットフレーム画像ｆａの画素が移動体領域の画素か、背景領域の画素であるかを判定し、その判定に基づいて、ターゲットフレーム画像ｆａを補正し、補正フレーム画像を作成する方法を説明する。ここでは、この処理を「マスク処理」と呼ぶことにする。図２のフローでは、ステップ２０１からステップ２０６までの処理がマスク処理に対応する。以下、図５を用いて、マスク処理を説明する。図５は本実施形態のマスク処理のフローチャートである。
【００７０】
マスク処理では、まず、ターゲットフレーム画像ｆａにおいて移動体領域が占める割合Ｐｍ（以下、「移動体領域の割合Ｐｍ」と呼ぶ。）を算出する（ステップ２５１）。この移動体領域の割合Ｐｍは、マスク画像ｍａの白表示の領域（移動体判定値Ｍ（ｘ，ｙ）＝１の画素群であり、輝度値＝１の領域）が、そのマスク画像ｍａに占める割合に等しい。そこで、ここでは、移動体領域が占める割合Ｐｍを、マスク画像ｍａの全画素数に対する輝度値＝１（移動体判定値Ｍ（ｘ，ｙ）＝１）である画素数の割合から計算する。計算された移動体領域の割合Ｐｍは画像処理装置１０１のデータ記憶部１１２に記憶される。
【００７１】
ここでは、移動体領域の割合Ｐｍの算出処理をマスク処理の１つの処理としているが、移動体抽出処理で移動体領域の割合Ｐｍを求めてもよい。この場合、ステップ２３７を実行する毎に、Ｍ（ｘ，ｙ）＝１に設定した画素数を計数することで、ステップ２３９が完了することで、この画素数から割合Ｐｍを算出することができる。
【００７２】
次に、ターゲットフレーム画像ｆａの画素（ｘ，ｙ）の輝度値を演算処理部１１１に読み込む（ステップ２５２）。マスク画像ｍａの画素（ｘ，ｙ）の輝度値を演算処理部１１１に読み込み（ステップ２５３）、その輝度値が１であるかを判定する（ステップ２５４）。マスク画像ｍａの画素（ｘ，ｙ）の輝度値は移動体判定値Ｍ（ｘ，ｙ）に相当し、”１”か”０”の値をとる。マスク画像ｍａの画素（ｘ，ｙ）が輝度値＝１である場合は、ターゲットフレーム画像ｆａの画素（ｘ，ｙ）について、移動体画像処理を実行し、その輝度値を補正する（ステップ２５５）。マスク画像ｍａの画素（ｘ，ｙ）の輝度値≠１（輝度値＝０）である場合は、ターゲットフレーム画像ｆａの画素（ｘ，ｙ）について、背景画像処理を実行し、その輝度値を補正する（ステップ２５６）。ステップ２５５およびステップ２５６で決定された輝度値は、補正フレーム画像Ｆａの画素（ｘ，ｙ）の輝度値である。この輝度値はデータ記憶部１１２の補正フレーム画像用のメモリ回路に記憶される。
【００７３】
次に、ターゲットフレーム画像ｆａの全ての画素について、ステップ２５５またはステップ２５６の処理を行ったかどうかを判定する（ステップ２５７）。全画素の処理が終了していない場合は、ステップ２５２からステップ２５７までが繰り返し実行される。全画素の輝度値を算出することで、補正フレーム画像Ｆａが作成され（ステップ２５８）、マスク処理が終了する。
【００７４】
つまり、画像処理装置１０１は、補正フレーム画像Ｆａを作成する装置であり、マスク画像ｍａを作成するマスク画像作成部、および補正フレーム画像Ｆａを作成する補正フレーム画像作成部を含む。
【００７５】
ステップ２５６の背景画像処理では、ステップ２５１で算出した移動体領域の割合Ｐｍが大きいほど、ぼかしの効果が強くなるようにぼかし処理が実行される。本実施形態では、ぼかし処理をレベル０からレベル５の６段階に設定する。レベル５はぼかしの効果が最も高く、レベル０はぼかしの効果が最も低い。本実施形態では、レベル０のぼかし処理とは、ぼかし処理を実行せず、画素の輝度値を補正しない処理とする。
【００７６】
本実施形態では、移動体領域の割合Ｐｍを、１００％以下５０％以上、５０％未満４０％以上、４０％未満３０％以上、３０％未満２０％以上、２０％未満１０％以上、１０％未満０％以上の６つの範囲に区分し、移動体領域の割合Ｐｍに応じてレベル５からレベル０までのぼかし処理を行う。以下、図６を用いて、背景画像処理を説明する。図６は本実施形態の背景画像処理のフローチャートである。
【００７７】
ステップ２５１で求めた移動体領域の割合Ｐｍが５０％以上であるかを判定する（ステップ２６１）。Ｐｍ≧５０％であれば、レベル５のぼかし処理を行う（ステップ２６２）。Ｐｍ＜５０％であれば、割合Ｐｍが４０％以上であるかを判定する（ステップ２６３）。ステップ２６３の判定結果がＰｍ≧４０％であれば、レベル４のぼかし処理を行い（ステップ２６４）、この判定結果がＰｍ＜４０％であれば、割合Ｐｍが３０％以上であるかを判定する（ステップ２６５）。ステップ２６５の判定結果がＰｍ≧３０％であればレベル３のぼかし処理を行い（ステップ２６６）、この判定結果がＰｍ＜３０％であれば、割合Ｐｍが２０％以上であるかを判定する（ステップ２６７）。ステップ２６７の判定結果がＰｍ≧２０％であれば、レベル２のぼかし処理を行い（ステップ２６８）、この判定結果がＰｍ＜２０％であれば、割合Ｐｍが１０％以上であるかを判定する（ステップ２６９）。ステップ２６９の判定結果がＰｍ≧１０％であれば、レベル１のぼかし処理を行い（ステップ２７０）、この判定結果がＰｍ＜１０％であればレベル０のぼかし処理を行う（ステップ２７１）。ここでは、レベル０のぼかし処理は画素（ｘ，ｙ）の輝度値を補正しない処理であるので、補正前の画素（ｘ，ｙ）の輝度値が補正後の輝度値となる。
【００７８】
図６のフローチャートが示すように、移動体領域の割合Ｐｍに応じて、背景領域に含まれる画素（ｘ，ｙ）に、レベル５−レベル０のいずれかのレベルのぼかし処理が実行され、背景画像処理が終了する。
【００７９】
図６のフローチャートでは、ぼかし処理のレベルは６段階としたが、これに限定されるものではなく、２段階以上であればよい。また、ぼかし処理のレベルを設定する条件は、図６のフローチャートに限定されるものではなく、適宜実施者が設定できる。つまり、移動体領域の割合Ｐｍが高いほどぼかしの効果が強くなるように、ぼかし処理のレベルを段階的に設定すればよい。
【００８０】
次に、ぼかし処理として、平均化処理を行う場合を例に、レベルの異なるぼかし処理を行う方法を説明する。
【００８１】
平均化処理では輝度の平均値を求める画素数を多くすることで、ぼかし処理の効果が強調されることを利用して、ぼかし処理のレベルを設定することができる。この場合、例えば、レベル０では、画素の平均化処理を行わない。レベル１の平均化処理は、対象となる画素を中心に３行３列に配置された９つの画素の輝度値の平均値を、補正後の画素の輝度値とする。レベル２では、輝度値の平均値を求める画素群を、対象となる画素を中心に５行５列に配置された２５個の画素群とする。レベル３では、それを７行７列に配置された４９個の画素群とし、レベル４では、それを９行９列の８１個の画素群とし、レベル５では、それを１１行１１列の１２１個の画素群とする。
【００８２】
あるいは、平均化処理の回数を多くすることで、ぼかし処理の効果が強調されることを利用して、ぼかし処理のレベルを設定することもできる。例えば、レベル０では、画素について平均化処理を行わない。レベル１の平均化処理は、対象とする画素を中心に３行３列に配置された９つの画素の輝度値の平均値を補正後の画素値とする。レベル２では、レベル１の平均化処理を２回行う。すなわち、１回目では、対象となる画素を中心に３行３列に配置された９つの画素の輝度値の平均値を求める。２回目も同じ９個の画素の輝度値の平均値を求める。ただし、対象とする画素の輝度値は、１回目の平均化処理で算出された平均値を用いる。２回目に算出された平均値が、レベル２のぼかし処理で算出された画素の輝度値である。レベル３−５の平均化処理もレベル２の平均化処理と同様であり、レベル３、レベル４およびレベル５では、それぞれ、平均化処理を行う回数が３回、４回、５回となる。
【００８３】
ぼかし処理が、メディアンフィルタ処理、コントラストを弱めるコントラスト変換処理、およびモザイク処理でも、平均化処理と同様に、レベルの異なるぼかし処理を行うことができる。
【００８４】
次に、図２の画像処理を、画像を用いて具体的に説明する。図７Ａおよび図７Ｂは、本実施形態の画像処理方法の内容を示す説明図であり、図７Ａには、補正前の６つのフレーム画像３００−３０５を示し、図７Ｂには、各フレーム画像３００−３０５を画像処理した補正フレーム画像３１０−３１５を示す。図７Ａに示すように、ここでは、画像処理を行う動画像として、遠方にある２本の木立の間から、人物が近づいてくる動画像を想定している。ただし、図７Ａに示すフレーム画像３００−３０５は、時間的に隣接しているものではない。
【００８５】
本実施形態の画像処理を実行することで、移動体である人物には移動体画像処理が実行される。このため、人物の画像は、鮮明にされる、または強調されている（図７Ｂ参照）。他方、図６のフローチャートに従って、人物の画像がフレーム画像に占める割合に応じて、人物を除く背景の画像は、ぼかしの程度が異なるぼかし処理が実行される。図７Ａの動画像の場合、人物が近づくにつれて、人物がフレーム画像に占める面積が広くなるため、時間が経過するほど、フレーム画像の背景がよりぼかされることになる。図７Ｂに示す各補正フレーム画像３１０−３１５は、それぞれ、背景領域に、レベル０−５のぼかし処理が行われている。
【００８６】
図７Ｂに示すように、本実施形態の画像処理を行うことで、人物が近づくほど背景がぼかされる。その結果、背景から得られる情報量が徐々に抑えられるので、この動画像を見る者に、人物が遠方から近づくほど人物に焦点があっている感覚を自然に生じさせることができる。
【００８７】
以上述べたように、移動体領域がフレーム画像に占める割合が大きいほど、背景領域へのぼかしの効果を強調する画像処理を行うことで、臨場感（距離感、奥行き感）の高い動画像を作成することができる。つまり、本実施形態では、画像の動きに合わせて、各フレーム画像の背景に対するぼかしの効果を変化させることで、物を見るときの人の目のピント調節機能に非常に近い処理を、画像処理で予め行っているため、２次元の画面に表示しても、見る者が距離感、奥行き感を感じることができる動画像を作成することができる。
【００８８】
［実施形態２］
監視カメラのように、カメラを固定し、同じ焦点条件で動画像を撮影することで、背景が変化しない動画像が撮影される。このような動画像は、例えば、図７Ａに示す複数のフレーム画像で構成されるような動画像である。本実施形態では、このような動画像から移動体を抽出する方法を説明する。
【００８９】
本実施形態の場合、３枚のフレーム画像を用いる代わりに、移動体が存在しない、背景のみのフレーム画像（以下、「背景用フレーム画像」と呼ぶ。）を用意する。この背景用フレーム画像とターゲットフレーム画像の差分画像を作成し、この差分画像を２値化した画像がマスク画像ｍａとなる。
【００９０】
マスク画像ｍａを作成するには、画素（ｘ，ｙ）の輝度の差分値（ΔＲ１（ｘ，ｙ）、ΔＧ１（ｘ，ｙ）、ΔＢ１（ｘ，ｙ））をもとめる。差分値が閾値以上であるか、未満であるかで、輝度判定値（αＲ１（ｘ，ｙ）、αＧ１（ｘ，ｙ）、αＢ１（ｘ，ｙ））を”０”または”１”に設定する。ここまでのフローは、図３のステップ２２２からステップ２２５までと同じである。
【００９１】
そして、αＲ１（ｘ，ｙ）＋αＧ１（ｘ，ｙ）＋αＢ１（ｘ，ｙ）≧２であれば、この画素の移動体判定値Ｍ（ｘ，ｙ）＝１とする。αＲ１（ｘ，ｙ）＋αＧ１（ｘ，ｙ）＋αＢ１（ｘ，ｙ）＜２であれば、この画素の移動体判定値Ｍ（ｘ，ｙ）＝０とする。全画素の移動体判定値Ｍ（ｘ，ｙ）を決定することで、実施形態１と同様に、マスク画像ｍａが作成される。
【００９２】
［実施形態３］
背景領域および移動体領域双方に画像処理を行う場合、移動体領域への画像処理の効果を、移動体領域がフレーム画像に占める割合に応じて変化させてもよい。つまり、移動体画像処理においても、図６の背景画像処理と同様に、移動体領域の割合Ｐｍに応じて、レベルの異なる画像処理を移動体領域に行う。この場合、移動体領域の割合Ｐｍが大きいほど、画像の鮮鋭化、または強調の効果が高くなるように、移動体画像処理で実行される画像処理（鮮鋭化処理、コントラスト強調処理など）のレベルを段階的に設定すればよい。
【００９３】
［実施形態４］
本実施形態では、図１の画像出力装置１０２について説明する。図８Ａおよび図８Ｂは、画像出力装置１０２に用いられる液晶表示装置の構成例の説明図である。図８Ａは、本実施形態の液晶表示装置の上面図である。図８Ｂは、図８ＡのＣ−Ｄ切断線による断面図である。本実施形態の液晶表示装置は、トランジスタでなる回路が形成された基板と、この基板に対向する基板と、これら２枚の基板との間に挟持された液晶層とを有する。本実施形態の液晶表示装置は、結晶性半導体膜を用いたトップゲート型のトランジスタで回路が形成されている。また、その表示方式はＭＶＡ（Ｍｕｌｔｉ−ｄｏｍａｉｎ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）方式である。
【００９４】
図８Ａに示すように、基板５１００上に、画素部５１０１、第１の走査線駆動回路５１０２、第２の走査線駆動回路５１０３、および信号線駆動回路５１０４が形成されている。画素部５１０１は、複数の画素を有する。各画素には、画素電極、および画素電極に電気的に接続されたトランジスタが設けられている。又、第１の走査線駆動回路５１０２、第２の走査線駆動回路５１０３、および信号線駆動回路５１０４は、複数のトランジスタなど複数の半導体素子により構成されている。
【００９５】
画素部５１０１、第１の走査線駆動回路５１０２、第２の走査線駆動回路５１０３および信号線駆動回路５１０４は、シール材５５１６によって、基板５１００と基板５５１０との間に封止されている。また、ＴＡＢ方式によって、ＦＰＣ５２００およびＩＣチップ５５３０が基板５１００上に設けられている。画像処理装置１０１から画像出力装置１０２へと出力された信号は、ＦＰＣ５２００に入力される。
【００９６】
図８ＡのＣ−Ｄ切断線による断面構造について、図８Ｂを参照して説明する。説明の都合、図８Ｂには、画素部５１０１の断面構造として、１つのトランジスタ５１１０および画素電極５１１１の一部を示し、第２の走査線駆動回路５１０３の断面構造として、２つのトランジスタ５１１２およびトランジスタ５１１３を示している。
【００９７】
基板５１００上に、下地膜として、単層構造または積層構造でなる絶縁膜５５０１が形成されている。絶縁膜５５０１として、酸化シリコン膜、窒化シリコン膜、窒化酸化シリコン膜または酸化窒化シリコン膜などが形成される。ここでは、窒化酸化シリコンとは、酸素よりも窒素を多く含む材料であり、酸化窒化シリコンとは窒素よりも酸素を多く含む材料である。なお、トランジスタ５１１０、５１１２、５１１３の半導体膜と接する絶縁膜５５０１の層は、酸化シリコン膜または酸化窒化シリコン膜で形成することが好ましい。それは、絶縁膜５５０１とチャネル形成領域との界面準位密度を低減できるからである。また、絶縁膜５５０１には、窒化シリコン膜または窒化酸化シリコン膜のような、ナトリウムイオンに対するブロッキング効果がある膜を少なくとも一層形成することが好ましい。
【００９８】
絶縁膜５５０１上に島状の半導体膜５５０２が形成され、半導体膜５５０２上に、ゲート絶縁膜として絶縁膜５５０３が形成されている。半導体膜５５０２は、トランジスタ５１１０、５１１２、５１１３のチャネル形成領域、ソース領域およびドレイン領域を構成する。絶縁膜５５０３は、熱酸化膜、酸化シリコン膜、窒化シリコン膜または酸化窒化シリコン膜などの単層膜で、またはこれらの膜の積層膜で形成されている。絶縁膜５５０３の半導体膜５５０２と接する層は、酸化シリコン膜または酸化窒化シリコン膜であることが好ましい。それは、絶縁膜５５０３と半導体膜５５０２との界面準位密度を低減できるからである。
【００９９】
絶縁膜５５０３上に、所定の形状に加工された導電膜５５０４が形成されている。導電膜５５０４は単層構造、多層構造の膜であり、トランジスタ５１１０、５１１２、５１１３のゲート電極を構成し、さらに画素部５１０１の走査線を構成する。ここでは、リーク電流を抑えるため、画素部５１０１のトランジスタ５１１０をデュアルゲート構造にしている。
【０１００】
導電膜５５０４を覆って、単層構造または積層構造の絶縁膜５５０５が形成されている。絶縁膜５５０５は層間膜として機能する。絶縁膜５５０５に用いられる有機材料でなる膜には、ポリイミド、アクリル、ポリアミド、ポリイミドアミド、レジストまたはベンゾシクロブテン、シロキサン樹脂でなる膜などがある。また、無機材料でなる膜には、酸化シリコン、窒化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化アルミニウム、酸化アルミニウム、酸化窒化アルミニウム、窒素含有量が酸素含有量よりも多い窒化酸化アルミニウム、ダイアモンドライクカーボン（ＤＬＣ）、窒素含有炭素（例えば、ＣＮ）、リンシリケートガラス（ＰＳＧ）、ボロンリンシリケートガラス（ＢＰＳＧ）でなる膜などがある。
【０１０１】
絶縁膜５５０３および絶縁膜５５０５にはコンタクトホールが形成されている。コンタクトホールは、各トランジスタ５１１０、５１１２、５１１３のソース領域またはドレイン領域に達する。絶縁膜５５０５上に所定の形状に加工された導電膜５５０６が形成されている。導電膜５５０６は、トランジスタ５１１０、５１１２、５１１３のソース電極、ドレイン電極、画素部５１０１の信号線を構成する。導電膜５５０６は単層構造または多層構造の膜である。
【０１０２】
絶縁膜５５０５上に絶縁膜５５０７が形成されている。絶縁膜５５０７は絶縁膜５５０５と同様に形成することができる。絶縁膜５５０７を平坦化膜にする場合には、例えば、少なくとも１層、有機材料でなる膜を絶縁膜５５０７として形成すればよい。絶縁膜５５０７を平坦化膜にすることで、液晶分子の配向の乱れを抑えることができる。
【０１０３】
絶縁膜５５０７上に画素電極５１１１が形成されている。画素電極５１１１は、絶縁膜５５０７に形成されたコンタクトホールにおいて、導電膜５５０６に接している。このことにより、画素電極５１１１とトランジスタ５１１０が電気的に接続される。また、画素電極５１１１には開口部が形成されている。この開口部により、液晶分子に電界が存在しない状態で液晶分子を傾けて配向させておくことで、ＭＶＡ方式での表示を可能としている。また、液晶分子をこのように配向させるために、開口部を形成する代わりに、画素電極５１１１上面に突起部を設けてもよい。
【０１０４】
画素電極５１１１を透光性の電極とする場合は、光を透過する透光性導電膜で画素電極５１１１を形成する。透光性導電膜としては、例えば、酸化インジウムに酸化スズを混ぜたインジウムスズ酸化物膜、インジウムスズ酸化物に酸化シリコンを混ぜたインジウムスズシリコン酸化物膜、酸化インジウムに酸化亜鉛を混ぜたインジウム亜鉛酸化物膜、酸化亜鉛膜、または酸化スズ膜などがある。他方、画素電極５１１１を反射電極とする場合は、光を反射する導電膜で画素電極５１１１を形成する。例えば、Ｔｉ、Ｍｏ、Ｔａ、Ｃｒ、Ｗ、Ａｌなど金属やそれらの合金などでなる単層構造の膜または積層構造膜で、画素電極５１１１を形成すればよい。
【０１０５】
絶縁膜５５０７上には、画素電極５１１１と重ならない領域にスペーサ５５０８が形成されている。スペーサ５５０８は樹脂で形成されている。スペーサ５５０８により基板５１００と基板５５１０とのギャップ（隙間）が維持される。この隙間に、液晶分子を含む液晶層５５１７が形成される。画素電極５１１１およびスペーサ５５０８を覆って配向膜５５０９が形成されている。配向膜５５０９は必要に応じて形成される。
【０１０６】
基板５５１０は、対向基板として機能する。基板５５１０には、対向電極５５１１、カラーフィルター層５５１２および突起部５５１３が形成されている。対向電極５５１１は、画素電極５１１１を形成するために用いられる透光性導電膜で形成することができる。突起部５５１３により、電界が存在しない状態で液晶分子を傾斜させて配向させておくことで、ＭＶＡ方式での表示を可能としている。基板５５１０には、さらに、対向電極５５１１および突起部５５１３を覆って配向膜５５１４が形成されている。配向膜５５１４は必要に応じて形成される。
【０１０７】
基板５１００と基板５５１０の間に、画素部５１０１、第１の走査線駆動回路５１０２、第２の走査線駆動回路５１０３、および信号線駆動回路５１０４を囲むように、シール材５５１６が形成されている。シール材５５１６により封止された基板５１００と基板５５１０の隙間に、液晶分子を含む液晶層５５１７が存在している。
【０１０８】
シール材５５１６で囲まれている領域の外側であって、絶縁膜５５０７上に複数の端子５５１８が形成されている。端子５５１８が画素電極５１１１と同じ導電膜でなり、画素部５１０１、第１の走査線駆動回路５１０２、第２の走査線駆動回路５１０３、および信号線駆動回路５１０４のいずれかに電気的に接続されている。端子５５１８には、異方性導電体膜５５１９を介して、ＦＰＣ５２００が接続されている。また、ＦＰＣ５２００上には、異方性導電体膜５５２０を介して、ＩＣチップ５５３０が固定されている。つまり、端子５５１８、ＦＰＣ５２００、およびＩＣチップ５５３０は電気的に接続されている。
【０１０９】
ＩＣチップ５５３０は必ずしも設ける必要はないが、ＩＣチップ５５３０に機能回路（メモリやバッファ）を含めることで、基板面積を有効利用することができる。
【０１１０】
なお、本実施形態では、表示方式がＭＶＡ方式の液晶表示装置にについて説明したが、表示方式がＰＶＡ（Ｐａｔｔｅｒｎｅｄ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）方式でもよい。ＰＶＡ方式の場合は、図８Ｂの構成において、対向電極５５１１に、スリットを設ければよい。また、液晶の駆動方式は、ＭＶＡ方式、ＰＶＡ方式に限定されるものではなく、ＴＮ（Ｔｗｉｓｔｅｄ Ｎｅｍａｔｉｃ）モード、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ−Ｓｗｉｔｃｈｉｎｇ）モード、ＦＦＳ（Ｆｒｉｎｇｅ Ｆｉｅｌｄ Ｓｗｉｔｃｈｉｎｇ）モード、ＡＳＭ（Ａｘｉａｌｌｙ Ｓｙｍｍｅｔｒｉｃ ａｌｉｇｎｅｄ Ｍｉｃｒｏ−ｃｅｌｌ）モード、ＯＣＢ（Ｏｐｔｉｃａｌ Ｃｏｍｐｅｎｓａｔｅｄ Ｂｅｎｄ）モード、ＦＬＣ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード、ＡＦＬＣ（ＡｎｔｉＦｅｒｒｏｅｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）などでもよい。
【０１１１】
また、画像出力装置１０２には、液晶表示装置の他、エレクトロルミネセンス表示装置、電界放出ディスプレイ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）、プラズマディスプレイなどの各種の表示装置を用いることができる。また、画像出力装置１０２は、ハードディスクレコーダ、ＤＶＤレコーダーなど各種の録画装置でもよい。
【０１１２】
［実施形態５］
本実施形態では、表示部を備えた画像処理システムの構成例を説明する。
【０１１３】
図９に、表示装置１１０１と、回路基板１１１１を組み合わせた画像処理システムの一例を示す。回路基板１１１１に画像処理装置１０１が設けられている。表示装置１１０１は画像出力装置１０２であり、例えば、実施形態３の液晶表示装置が用いられる。表示装置１１０１は画素部１１０２、走査線駆動回路１１０３および信号線駆動回路１１０４を有する。回路基板１１１１には、例えば、コントロール回路１１１２および演算回路１１１３などが形成されている。表示装置１１０１と回路基板１１１１とは接続配線１１１４によって接続されている。接続配線１１１４にはＦＰＣなどを用いることができる。
【０１１４】
例えば、図９に示した画像処理システムを用いてテレビ受像機を完成させることができる。本明細書に開示される画像処理システム（画像表示システム）をテレビ受像器として構成することで、テレビジョン放送を臨場感の高い画像として、視聴者が鑑賞することが可能になる。
【０１１５】
本明細書に開示される画像処理システムは、様々な電子機器に適用することができる。このような電子機器として、例えば、ビデオカメラ、およびデジタルカメラなどのカメラ、ゴーグル型ディスプレイ、ナビゲーションシステム、コンピュータ、ゲーム機器、携帯情報端末（モバイルコンピュータ、携帯電話、携帯型ゲーム機または電子書籍など）、画像再生装置などが挙げられる。なお、代表的な画像再生装置は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やハードディスクなどの記憶媒体に記録された画像データを再生し、その画像データを表示する機能を有する装置である。以下、図１０Ａ−図１０Ｃを用いて、電子機器の一例を説明する。図１０Ａ−図１０Ｃは、本実施形態の電気機器の外観図である。
【０１１６】
図１０Ａはモニタの外観図である。モニタは、筐体１２１１、支持台１２１２、表示部１２１３を含む。図１０Ａに示すモニタは、様々な情報（静止画、動画、テキスト画像など）を表示部に表示する機能を有する。なお、図１０Ａに示すモニタの機能はこれに限定されず、様々な機能を有することができる。
【０１１７】
図１０Ｂはカメラの外観図である。カメラは本体１２３１、表示部１２３２、受像部１２３３、操作キー１２３４、外部接続ポート１２３５、シャッターボタン１２３６を含む。図１０Ｂに示すカメラは、静止画および動画を撮影する機能を有する。カメラには、撮影した動画像および静止画像を補正する画像処理装置が設けられており、カメラにおいて動画像を補正し、補正された動画像を各種の記憶媒体に書き込むことができる。なお、図１０Ｂに示すカメラの機能はこれに限定されず、様々な機能を有することができる。
【０１１８】
図１０Ｃはコンピュータの外観図である。コンピュータは、本体１２５１、筐体１２５２、表示部１２５３、キーボード１２５４、外部接続ポート１２５５、ポインティングデバイス１２５６を含む。また、画像処理装置を含む。図１０Ｃに示すコンピュータは、様々な情報（静止画、動画、テキスト画像など）を表示部に表示する機能を有する。例えば、キーボード１２５４、ポインティングデバイス１２５６の入力に基づいて、動画像の画像処理を実施する。なお、図１０Ｃに示すコンピュータの機能はこれらに限定されず、様々な機能を有することができる。
【０１１９】
本実施形態は他の実施形態と適宜組み合わせて実施することが可能である。
【符号の説明】
【０１２０】
１００ 画像処理システム
１０１ 画像処理装置
１０２ 画像出力装置
１１１ 演算処理部
１１２ データ記憶部
１１３ 制御部
１１４ 入力側インターフェース部
１１５ 出力側インターフェース部
１２０ 画素
１２１ 表示部
１２２ 走査線駆動回路
１２３ 信号線駆動回路
１２５ 走査線
１２６ 信号線
【技術分野】
【０００１】
本発明は、動画像を画像処理する方法、動画像の画像処理を行う画像処理システム、および動画像の画像処理を行うためのコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、ハイビジョン映像の鑑賞が可能な高解像度、大画面の液晶表示装置、プラズマ表示装置が普及している。そのため、映像のクオリティーに対する要求が高まっており、その１つに臨場感、遠近感（距離感）がある。立体感、奥行き感を高めることで、臨場感を高めることができる。
【０００３】
例えば、画面全体に焦点（ピント）があった写真は距離感、立体感に乏しい。そこで、従来では、カメラで撮影した写真（静止画像）に距離感、立体感を与えるために、写真にぼかし処理（デフォーカス処理）を行うことが提案されている（例えば、特許文献１、２）。
【０００４】
特許文献１には、焦点条件が異なる２枚の画像を用いて、画像から、主要部と背景とを抽出し、主要部の画像に鮮鋭化処理を行い、背景にぼかし処理を行う画像処理装置が記載されている。
【０００５】
特許文献２には、照明の光量が異なる２枚の画像を用いて、画像から被写体と背景を抽出し、被写体および背景の少なくとも一方にぼかし処理を行う画像処理方法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２３３９１９号公報
【特許文献２】特開２００５−２２９１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１、２に記載された画像処理技術は静止画像に関する技術であり、動画像の臨場感、奥行き感を高める技術についてではない。そこで、本発明の実施形態の目的の１つは、２次元映像表示用の表示装置に、立体感、奥行き感を高めた動画像を作成することを可能にする画像処理方法を提供することにある。
【０００８】
また、本発明の実施形態の別の目的の１つは、立体感、奥行き感を高めた動画像の作成を可能にする画像処理システムを提供することにある。
【０００９】
また、本発明の実施形態の別の目的の１つは、立体感、奥行き感を高めた動画像を作成する画像処理方法を実現するためのコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の画像処理方法の構成例の１つは、複数のフレーム画像で構成される動画像を画像処理するために、少なくとも１つのフレーム画像を、移動体を構成する画素群でなる移動体領域と、移動体を構成しない画素群でなる背景領域とに区分し、背景領域に画像処理を行って、フレーム画像から補正フレーム画像を作成するというものである。この構成例では、背景領域に行う画像処理は、移動体領域がフレーム画像に占める割合が大きいほど、背景領域へのぼかしの効果を強調するぼかし処理である。
【００１１】
また、本発明の画像処理方法の他の構成例では、補正の対象となるフレーム画像を移動体領域と、移動体領域以外の背景領域とに区分するために、補正対象となる第１のフレーム画像と第１の画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および第１のフレーム画像と第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、第１のフレーム画像から移動体を構成する画素を抽出し、移動体を構成する画素群でなる移動体領域と、移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成することができる。この構成例では、このマスク画像を用いて、第１のフレーム画像の各画素が背景領域または移動体領域のどちらの領域に含まれるかを判定する。
【００１２】
また、上記画像処理方法の各構成例において、移動体領域に、背景領域に行われる画像処理と異なる画像処理を行ってもよい。
【００１３】
本発明の画像処理システムの構成例の１つは、複数のフレーム画像で構成される動画像を表示する画像表示部と、少なくとも１つのフレーム画像から移動体を抽出して、フレーム画像を、移動体を構成する画素群でなる移動体領域と、移動体を構成しない画素群でなる背景領域とに区分する移動体抽出部と、背景領域にぼかし処理を行い、補正フレーム画像を作成する補正フレーム画像作成部とを有する。この構成例において、補正フレーム画像作成部は、移動体領域がフレーム画像に占める割合が大きいほど、ぼかしの効果を強調するぼかし処理を背景領域に行う装置である。
【００１４】
本発明の画像処理システムの他の構成例の１つは、複数のフレーム画像で構成される動画像を表示する画像表示部と、補正対象となる第１のフレーム画像と第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および第１のフレーム画像と第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、第１のフレーム画像から移動体を構成する画素を抽出し、移動体を構成する画素群でなる移動体領域と、移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成するマスク画像作成部と、マスク画像を用いて、第１のフレーム画像を構成する各画素について、背景領域または移動体領域のどちらの領域に含まれるかを判定し、背景領域の画素にぼかし処理を行い、補正フレーム画像を作成する補正フレーム画像作成部とを有する。
【００１５】
上記の構成例において、補正フレーム画像作成部は、移動体領域が第１のフレーム画像に占める割合が大きいほど、ぼかしの効果を強調するぼかし処理を背景領域に行う装置である。
【００１６】
また、画像処理システムの各構成例において、補正フレーム画像作成部で、移動体領域に、背景領域に行われる画像処理と異なる画像処理を行ってもよい。
【００１７】
本発明のコンピュータプログラムの構成例の１つは、動画像を構成する複数のフレーム画像の少なくとも１つのフレーム画像から移動体を抽出して、フレーム画像を、移動体を構成する画素群でなる移動体領域と、移動体を構成しない画素群でなる背景領域とに区分する処理と、背景領域にぼかし処理を行い、補正フレーム画像を作成する処理と、を含む画像処理を、画像処理装置に実行させるプログラムであり、補正フレーム画像を作成する処理において、背景領域に対する画像処理として、移動体領域がフレーム画像に占める割合が大きいほど、ぼかしの効果を強調するぼかし処理を画像処理装置に実行させるというものである。
【００１８】
本発明のコンピュータプログラムの他の構成例の１つは、補正対象となる第１のフレーム画像と第１の画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および第１のフレーム画像と第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、第１のフレーム画像から移動体を構成する画素を抽出し、移動体を構成する画素群でなる移動体領域と、移動体を構成しない画素以外の画素群でなる背景領域とでなるマスク画像を作成する処理と、マスク画像を用いて、第１のフレーム画像を構成する各画素について、背景領域または移動体領域のどちらの領域に含まれるかを判定し、背景領域の画素にぼかし処理を行い、補正フレーム画像を作成する処理とを含む画像処理を、画像処理装置に実行させるプログラムである。
【００１９】
上記のコンピュータプログラムの各構成例において、補正フレーム画像を作成する処理において、背景領域に対する画像処理として、移動体領域が第１のフレーム画像に占める割合が大きいほど、ぼかしの効果を強調するぼかし処理を画像処理装置に実行させることができる。
【００２０】
本明細書に開示される発明がコンピュータプログラムに適用される場合、補正フレーム画像を作成する処理において、移動体領域に、背景領域に行われる画像処理と異なる画像処理を、画像処理装置に実行させてもよい。
【００２１】
背景領域に実行される画像処理はぼかし処理であるが、そのぼかし処理として、平均化処理、メディアンフィルタ処理、コントラストを弱めるコントラスト変換処理、およびモザイク処理のうちの少なくとも１つの画像処理を行えばよい。
【００２２】
また、補正フレーム画像を作成するために、移動体領域に背景領域と異なる画像処理を行うことができる。この場合、移動体領域に対する画像処理として、鮮鋭化処理、コントラストを強調するコントラスト変換処理、および輪郭強調処理のうちの少なくとも１つの画像処理を行えばよい。
【発明の効果】
【００２３】
動画像を構成するフレーム画像の背景に対して、画像の動きに合わせて、ぼかしの程度を変化させたぼかし処理を行うことは、人の目のピント調節機能に合わせて背景をぼかすことができる。つまり、背景にこのようなぼかし処理を行うことで、距離感、奥行き感が高い動画像を作成することが可能になる。例えば、テレビ受信機で受信したテレビジョン放送映像にこのようなぼかし処理を行うことで、その映像データを受信しながら、奥行き感の高い動画像に変換することができるため、付加価値の高いテレビ受像器を提供することが可能になる。
【図面の簡単な説明】
【００２４】
【図１】画像処理システムの構成例を示すブロック図。
【図２】動画像を補正する画像処理の一例を示すフローチャート。
【図３】移動体抽出処理の一例を示すフローチャート。
【図４】移動体抽出処理の一例を示すフローチャート。
【図５】マスク処理の一例を示すフローチャート。
【図６】背景画像処理の一例を示すフローチャート。
【図７】（Ａ）補正前のフレーム画像の説明図。（Ｂ）補正フレーム画像の説明図。
【図８】画像出力装置の構成例の説明図。
【図９】画像処理システムの構成例の説明図。
【図１０】（Ａ）モニタの構成例を示す外観図。（Ｂ）カメラの構成例を示す外観図。（Ｃ）コンピュータの構成例を示す外観図。
【発明を実施するための形態】
【００２５】
以下に、図面を用いて、本発明の実施形態を説明する。ただし、本明細書に開示される発明は多くの異なる態様で実施することが可能であり、本明細書に開示される発明の実施形態は、趣旨およびその範囲から逸脱することなく、その態様および詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本明細書に開示される発明は実施形態の記載内容に限定して解釈されるものではない。
【００２６】
［実施形態１］
本実施形態では、複数のフレーム画像で構成される動画像を画像処理する画像処理方法、ならびに、この画像処理を実現するための画像処理システムおよびコンピュータプログラムについて説明する。
【００２７】
まず、図１を用いて、画像処理システムの構成を説明する。本実施形態では、画像処理システムとして画像表示部を備えた画像処理システムを説明する。言い換えると、本実施形態の画像処理システムは、画像処理装置を備えた画像表示システムであるということもできる。図１は、本実施形態の画像処理システムの構成例を示すブロック図である。図１に示す画像処理システム１００は、複数のフレーム画像で構成される動画像を表示することが可能な装置であり、画像処理装置１０１および画像出力装置１０２を有する。
【００２８】
画像処理装置１０１は、読み込んだ複数のフレーム画像の少なくとも１つから、移動体を抽出して、当該フレーム画像を、移動体を構成する画素群でなる移動体領域と、移動体領域以外の領域である背景領域とに区分する装置である。また、移動体および背景を抽出したフレーム画像に対して、画像処理を行うことにより、補正フレーム画像を作成する装置である。画像処理装置１０１では、少なくとも、フレーム画像の背景領域にぼかし処理を行う。さらに、画像処理装置１０１で、移動体領域に対しても画像処理を行うこともできる。本実施形態では、補正後の動画像の距離感、奥行き感を一層向上させるため、画像処理装置１０１において、移動体領域に対して、ぼかし処理と異なる画像処理を行っている。
【００２９】
画像出力装置１０２は、画像処理装置１０１から出力された画像データが出力される装置である。本実施形態では、画像出力装置１０２は、２次元画像を表示する画像表示装置であり、複数のフレーム画像で構成される動画像を表示する装置である。
【００３０】
図１に示すように、画像処理装置１０１は、演算処理部１１１、データ記憶部１１２、制御部１１３、入力側インターフェース部１１４および出力側インターフェース部１１５などから構成される。
【００３１】
演算処理部１１１は、画像データの演算処理など、各種の演算処理を実行する装置であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画像処理用演算回路などを含む。
【００３２】
データ記憶部１１２は、画像処理装置１０１で画像処理を実行するためのデータを記憶するための各種の記憶回路を有する。例えば、演算処理部１１１が動画像の画像処理を実行するコンピュータプログラム、ならびに画像処理用フィルタのデータおよびルックアップテーブルなどを記憶するＲＯＭ（読み取り専用メモリ）、演算処理部１１１が算出した演算結果を記憶するＲＡＭ（ランダムアクセスメモリ）、画像処理装置１０１に入力された画像データを記憶するメモリ回路などが、データ記憶部１１２に含まれる。
【００３３】
制御部１１３は、画像処理装置１０１の回路を制御するための回路を含む。例えば、データ記憶部１１２のデータの書き込みを制御する書き込み制御回路、そのデータの読み出しを制御する読み出し制御回路などが、制御部１１３に含まれる。
【００３４】
入力側インターフェース部１１４は、画像処理装置１０１に接続される外部機器から画像データなどのデータを画像処理装置１０１に取り込むために、その外部機器との信号のやりとりをするための装置である。例えば、画像処理装置１０１で画像データを処理するためには、画像データはデジタルデータであることが必要である。そのため、画像データがアナログデータである場合は、Ａ−Ｄ変換回路（アナログ−デジタル変換回路）を入力側インターフェース部１１４に設けるとよい。外部機器は画像データを出力する装置であり、例えば、カメラなどの撮影装置、ハードディスクやＤＶＤなどの記憶媒体に記録されている画像データを再生する画像再生装置などがある。
【００３５】
出力側インターフェース部１１５は、画像出力装置１０２へ画像データを出力するために、画像出力装置１０２と信号のやりとりをするための装置である。例えば、画像出力装置１０２にアナログ画像信号を出力するためには、Ｄ−Ａ変換回路（デジタル−アナログ変換回路）が出力側インターフェース部１１５に設けられる。
【００３６】
動画像の表示機能を有する画像出力装置１０２は、例えば、液晶表示装置、エレクトロルミネセンス表示装置、電界放出ディスプレイ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）、プラズマディスプレイなどで構成することができる。図１には、画像出力装置１０２の構成の一例を示す。図示するように、画像出力装置１０２は、複数の画素１２０を具備する表示部１２１、走査線駆動回路１２２、および信号線駆動回路１２３などで構成されている。表示部１２１にはＭ行Ｎ列（Ｍ、Ｎは自然数）に画素１２０が配置されている。各画素１２０には、走査線１２５および信号線１２６が電気的に接続されており、このことにより、画素１２０はそれぞれ走査線駆動回路１２２および信号線駆動回路１２３に電気的に接続されている。
【００３７】
画像処理装置１０１から入力される画像データにより、表示部１２１の各画素１２０の輝度値（階調値、濃度値ともいう。）が決定される。走査線駆動回路１２２により表示を行う画素１２０を選択するための信号が走査線１２５に入力され、信号線駆動回路１２３により信号線１２６に画像データが入力される。選択された画素１２０は、信号線１２６を経て画像データが入力され、この画像データで決定される濃淡を表示する。
【００３８】
なお、図１の画像処理システム１００は、画像出力装置１０２が動画像の表示装置である画像表示システムであるが、本発明の実施形態は画像表示システムに限定されるものではない。例えば、画像出力装置１０２を、ハードディスクなどの動画像のデータを記憶する記憶媒体を備えた動画像記憶装置で構成することで、本実施形態の画像処理システムを画像データ記憶システムとすることもできる。
【００３９】
次に、図２を参照して、画像処理装置１０１で実行される画像処理方法について説明する。図２は本実施形態の画像処理方法のフローチャートである。
【００４０】
動画像を構成する複数のフレーム画像では、連続する２枚のフレーム画像において、画像に変化がある部分がある。本明細書では、フレーム画像において、動きの変化がある閾値以上である（または、ある閾値よりも大きい）画像を「移動体」と呼び、その他の部分の画像を「背景」と呼ぶことにする。つまり、背景とは、動きの変化がない、または動きの変化がある閾値より小さい（あるいは、ある閾値以下の）画像である。また、フレーム画像において、移動体を構成する複数の画素（画素群）を「移動体領域」と呼び、背景を構成する複数の画素（画素群）を「背景領域」と呼ぶことにする。つまり、背景領域は、フレーム画像において移動体領域を除く領域であり、移動体を構成しない画素群でなる領域である。
【００４１】
本実施形態の画像処理方法では、フレーム画像から、動きの変化がある閾値以上である画像（移動体）を抽出し、フレーム画像を移動体領域と背景領域とに区分する。そして、背景領域にはぼかし処理（デフォーカス処理）を行い、移動体領域にはぼかし処理と反対の効果が得られる画像処理を行うことで、補正フレーム画像を作成する。移動体領域に対する画像処理は、別言すると、被写体に正確に焦点が合った状態を実現するための画像処理であり、画像を鮮明にする、鮮鋭化する、強調するなどの効果を持つ画像処理である。
【００４２】
画像処理装置１０１では、入力された複数のフレーム画像の少なくとも１つのフレーム画像の背景領域にぼかし処理を行い、補正されたフレーム画像（以下、「補正フレーム画像」と呼ぶ。）を作成する。図２は画像処理装置１０１で、補正フレーム画像を作成するフローを示している。また、図２は、画像処理装置１０１が実行するコンピュータプログラムのフローチャートでもある。以下、補正フレーム画像を作成すべきフレーム画像を他のフレーム画像と区別する必要がある場合は、このフレーム画像を「ターゲットフレーム画像」と呼ぶことにする。
【００４３】
画像処理装置１０１では、まず、ターゲットフレーム画像から、移動体を抽出する（ステップ２０１）。この処理を「移動体抽出処理」と呼ぶことにする。ターゲットフレーム画像から移動体を抽出することで、背景も抽出されるため、この移動体抽出処理は背景抽出処理でもある。従って、移動体抽出処理により、ターゲットフレーム画像は移動体領域と背景領域とに区分されることになる。
【００４４】
次に、画像処理装置１０１では、ターゲットフレーム画像の各画素が、移動体領域の画素であるかを判定する（ステップ２０２）。そして、判定結果が移動体領域の画素であるという場合、該当する画素に対して移動体画像処理を行い（ステップ２０３）、該当しない場合、つまり背景領域の画素である場合は、背景画像処理を行う（ステップ２０４）。移動体画像処理は、移動体として表示されることに適した輝度値になるように、画素の輝度値を補正する処理である。背景画像処理は、ぼかし処理である。背景画像処理により、画素の輝度値は、背景として表示されることに適した輝度値になるように補正される。さらに、本実施形態では、移動体がターゲットフレーム画像に占める割合が大きいほど、ぼかしが強調されるように、背景領域の画素にぼかし処理が行われる。
【００４５】
次に、ターゲットフレーム画像の全ての画素について処理を行ったかどうかを判定することで（ステップ２０５）、ステップ２０２からステップ２０３が繰り返し実行される。ターゲットフレーム画像の全画素について、移動体画像処理または背景画像処理のいずれか一方の処理が実行されることで、ターゲットフレーム画像に対する補正フレーム画像が作成され、補正フレーム画像を作成する画像処理が終了する（ステップ２０６）。
【００４６】
ステップ２０３で実行される移動体画像処理では、画像を鮮明にする、強調するなど効果を持つ画像処理を少なくとも１つ実行される。このような画像処理として、例えば、コントラストを強調するコントラスト変換処理（コントラスト強調処理）、鮮鋭化処理、アンシャープマスキング処理、輪郭強調処理などがある。
【００４７】
ステップ２０４で実行される背景画像処理は、ぼかし処理である。背景をぼかすことで、動画像を見る者に移動体に焦点があっている感覚を生じさせる効果を生む。ぼかし処理としては、平均化処理、コントラストを弱めるコントラスト変換処理、ノイズ除去処理、モザイク処理などがある。つまり、背景画像処理として実行されるぼかし処理とは、画像の輪郭を不鮮明にする、色を薄くするなど、画像から得る情報量を抑える効果を持つ画像処理である。ステップ２０４では、ぼかし効果を持つ画像処理が少なくとも１つ実行される。
【００４８】
また、ステップ２０４では、ターゲット画像に占める移動体領域の割合が大きいほど、背景領域へのぼかしの効果が強調されるような処理が実行される。つまり、移動体が大きいほど、背景のぼかしの程度が大きくなる。人物が徒歩で近づいている動画像を例にすると、移動体である人物の画像は大きくなるため、人物が近づくほどその背景がぼかされることになる。従って、この動画像を見る者に、人物が近づくほど背景から得られる情報が抑えられるため、人物に焦点があっている感覚を自然に生じさせることになる。つまり、見る者にとって、動画像が距離感、奥行き感が高い画像に感じられる。また、ステップ２０３での移動体画像処理によって人物の画像が鮮明になっているため、動画像を見る者に、動きのある部分に焦点が合っている感覚をより自然に与えることができる。
【００４９】
画像処理装置１０１では、動画像を構成する複数のフレーム画像について、順次、各ステップ２０１からステップ２０６までの処理を実行して、複数の補正フレーム画像を作成する。各補正フレーム画像は、画像処理装置１０１から画像出力装置１０２に出力される。画像出力装置１０２において、複数の補正フレーム画像で構成される動画像が表示部１２１で表示される。画像処理装置１０１において、人間の目のピント調節機能を画像処理で予め行っているので、表示部１２１を見る者は、奥行き感、距離感が向上された動画像を鑑賞することができる。
【００５０】
画像処理を実行する画像処理装置１０１は、図２のフローに従って、ターゲットフレーム画像から移動体を抽出する移動体抽出部であり、かつ、ターゲットフレーム画像を画像処理して、補正フレーム画像を作成する補正フレーム画像作成部でもある。また、図２のフローで表される画像処理を、画像処理装置１０１に実行させるためのコンピュータプログラムが、データ記憶部１１２に記憶されている。
【００５１】
本実施形態において、移動体抽出処理に各種の移動体抽出方法を適用することができる。演算処理が容易なことから、この処理には、連続する３枚のフレーム画像を用い、隣接する２枚のフレーム画像の差分をもとに、移動体を抽出する方法を用いることが好ましい。なお、２つの画像の差分を求めるとは、２つの画像の同じ位置にある画素の輝度値の差分の絶対値を算出することであり、差分画像とは、この輝度値の差分の絶対値を各画素の輝度値とする画像である。
【００５２】
ターゲットフレーム画像ｆａから移動体を抽出するため、本実施形態では、時間的に連続する３枚のフレーム画像ｆａ−１、ｆａ、ｆａ＋１の差分から、移動体領域をマスクするマスク画像ｍａを作成する。このマスク画像ｍａは白画像と黒画像でなる２値画像であり、白画像と黒画像が、ターゲットフレーム画像ｆａにおける移動体領域と背景領域との区分を表している。以下、図３および図４を参照して、移動体抽出処理を説明する。図３および図４は移動体抽出処理の一例を示すフローチャートである。ステップ２２１−２３５の説明は図３が参照され、ステップ２３６−２４０の説明は図４が参照される。
【００５３】
まず、画像処理装置１０１は、３枚のフレーム画像ｆａ−１、ｆａ、ｆａ＋１を読み込む（ステップ２２１）。読み込まれたフレーム画像ｆａ−１、ｆａ、ｆａ＋１のデータは、データ記憶部１１２に書き込まれる。フレーム画像ｆａがターゲットフレーム画像である。なお、処理対象となる３枚フレーム画像はターゲットフレーム画像ｆａと連続するフレーム画像に限定されない。すなわち、ターゲットフレーム画像ｆａと、ターゲットフレーム画像ｆａからｋフレーム前（ｋは自然数）と、ｋフレーム後のフレーム画像とを用いることができる。例えば、ターゲットフレーム画像ｆａと、２つフレームが前後するフレーム画像ｆａ−２およびフレーム画像ｆａ＋２でもよい。また、固定カメラで撮影した動画像のように背景がほとんど変化しない動画像の場合などは、ｋは３以上でもよい。動画像の撮影条件などを考慮し、ｋの値は実施者が適宜に設定することができる。ただし、画像処理速度の点から、動画像の撮影条件によらず、移動体抽出処理には１または２フレーム前後するフレーム画像を用いることが好ましい。
【００５４】
画像処理装置１０１の演算処理部１１１は、ターゲットフレーム画像ｆａの画素（ｘ，ｙ）とフレーム画像ｆａ−１の画素（ｘ，ｙ）の差分を算出する（ステップ２２２）。ここでは、画素（ｘ，ｙ）は画像の最小単位とする。また、画素（ｘ，ｙ）のデータ（画素値）は、赤色、緑色、青色の３色（ＲＧＢ）の輝度値（階調値）で構成されていることにする。よって、ステップ２２２が実行されると、ＲＧＢの輝度値に対応して、３つの差分値ΔＲ１（ｘ，ｙ）、ΔＧ１（ｘ，ｙ）、ΔＢ１（ｘ，ｙ）が算出される。差分値ΔＲ１（ｘ，ｙ）、ΔＧ１（ｘ，ｙ）、ΔＢ１（ｘ，ｙ）は、画像処理装置１０１のデータ記憶部１１２に記憶される。なお、画素（ｘ，ｙ）の色要素はＲＧＢ以外でもよく、例えば、イエロー、シアン、マゼンタでもよい。
【００５５】
次に、演算処理部１１１は、差分値ΔＲ１（ｘ，ｙ）、ΔＧ１（ｘ，ｙ）、ΔＢ１（ｘ，ｙ）それぞれについて、その値が、閾値（Ｒｔｈ、Ｇｔｈ、Ｂｔｈ）以上であるか否かを判定する（ステップ２２３）。差分値が閾値以上であれば、輝度判定値を１に設定する（ステップ２２４）。他方、差分値が閾値未満であれば、輝度判定値を０に設定する（ステップ２２５）。つまり、ΔＲ１（ｘ，ｙ）≧Ｒｔｈの場合、赤色の輝度判定値αＲ１（ｘ，ｙ）＝１となり、ΔＲ１（ｘ，ｙ）＜Ｒｔｈの場合、赤色の輝度判定値αＲ１（ｘ，ｙ）＝０となる。緑色、青色についても同様であり、差分値ΔＧ１（ｘ，ｙ）、ΔＢ１（ｘ，ｙ）が閾値Ｇｔｈ、Ｂｔｈ以上であるか、未満であるかによって、その輝度判定値αＧ１（ｘ，ｙ）、αＢ１（ｘ，ｙ）が”１”か”０”に決定される。ここでは、画像が移動体であるかの判別に、２つのフレーム画像間の輝度値の変化量を用いている。閾値（Ｒｔｈ、Ｇｔｈ、Ｂｔｈ）は、画素が移動体に含まれるか背景に含まれるかを区別するための輝度値の変化量の閾値であり、動きの変化量の閾値に対応する。決定された輝度判定値αＲ１（ｘ，ｙ）、αＧ１（ｘ，ｙ）、αＢ１（ｘ，ｙ）は、画像処理装置１０１のデータ記憶部１１２に記憶される。
【００５６】
次に、演算処理部１１１は、ＲＧＢの輝度判定値の和が２以上であるか、否かを判定する（ステップ２２６）。αＲ１（ｘ，ｙ）＋αＧ１（ｘ，ｙ）＋αＢ１（ｘ，ｙ）≧２であれば、画素（ｘ，ｙ）の差分判定値Ｄ１（ｘ，ｙ）を１に設定する（ステップ２２７）。αＲ１（ｘ，ｙ）＋αＧ１（ｘ，ｙ）＋αＢ１（ｘ，ｙ）＜２であれば、差分判定値Ｄ１（ｘ，ｙ）を０に設定する（ステップ２２８）。差分判定値Ｄ１（ｘ，ｙ）は、画像処理装置１０１のデータ記憶部１１２に記憶される。
【００５７】
差分判定値Ｄ１（ｘ，ｙ）は、２枚のフレーム画像ｆａ、ｆａ−１の差分画像を２値化した画像の画素（ｘ，ｙ）の輝度値に対応する。つまり、Ｄ１（ｘ，ｙ）＝１は、この２値の差分画像の画素（ｘ，ｙ）が白を表示することを表し、Ｄ１（ｘ，ｙ）＝０は、画素（ｘ，ｙ）は黒を表示することを表している。ここでは、フレーム画像ｆａ−１とターゲットフレーム画像ｆａの間で、輝度値の変化がない、または変化量が少なかった画素（ｘ，ｙ）については、Ｄ１（ｘ，ｙ）＝１とし、その変化量がある閾値以上であった画素（ｘ，ｙ）については、Ｄ１（ｘ，ｙ）＝０としている。
【００５８】
ステップ２２２−ステップ２２８は、画素（ｘ，ｙ）について、ＲＧＢの輝度値の差分に多数決処理をして、画素（ｘ，ｙ）の輝度値を白か黒かに設定している処理ということもできる。ステップ２２２−ステップ２２８を全画素に行うことで、フレーム画像ｆａとフレーム画像ｆａ−１の差分画像の２値画像を得ることができる。ここでは、この２値の差分画像の白画像（輝度値＝１でなる画素群）は、フレーム画像ｆａの移動体領域とフレーム画像ｆａ−１の移動体領域を合わせた領域となる。
【００５９】
また、ステップ２２２−ステップ２２８は、演算処理部１１１が、ターゲットフレーム画像ｆａの画素（ｘ，ｙ）とフレーム画像ｆａ−１の画素（ｘ，ｙ）の差分データを求め、この差分データから差分判定値Ｄ１（ｘ，ｙ）を求める処理である。これと同様の処理が、ターゲットフレーム画像ｆａの画素（ｘ，ｙ）とフレーム画像ｆａ＋１の画素（ｘ，ｙ）について、演算処理部１１１で実行される（ステップ２２９−ステップ２３５）。なお、図３に示すように、ステップ２２９−ステップ２３５で算出されるデータの記号には、ステップ２２２−ステップステップ２２８で算出されるデータと区別するため、記号に”２”を付している。
【００６０】
よって、ステップ２２９−ステップ２３５を全画素に行うことで、フレーム画像ｆａとフレーム画像ｆａ＋１の差分画像の２値画像を得ることができる。ここでは、この２値の差分画像の白画像（輝度値＝１でなる画素群）は、フレーム画像ｆａの移動体領域とフレーム画像ｆａ＋１の移動体領域を合わせた領域となる。
【００６１】
次に、演算処理部１１１は、２つの差分判定値Ｄ１（ｘ，ｙ）とＤ２（ｘ，ｙ）が両方とも”１”であるか否かを判定する（ステップ２３６）。２つの輝度判定値Ｄ１（ｘ，ｙ）とＤ２（ｘ，ｙ）が双方とも”１”である場合には、移動体判定値Ｍ（ｘ，ｙ）を”１”に設定し（ステップ２３７）、２つの輝度判定値Ｄ１（ｘ，ｙ）とＤ２（ｘ，ｙ）の少なくとも一方が”１”でない場合には、移動体判定値Ｍ（ｘ，ｙ）を”０”に設定する（ステップ２３８）。つまり、ステップ２３６では、Ｄ１（ｘ，ｙ）＝１、Ｄ２（ｘ，ｙ）＝１の論理積（ＡＮＤ）を求めている。このＡＮＤ演算の結果が”真”であれば、Ｍ（ｘ，ｙ）＝１とし（ステップ２３７）、この結果が”偽”であれば、Ｍ（ｘ，ｙ）＝０としている（ステップ２３８）。
【００６２】
移動体判定値Ｍ（ｘ，ｙ）は、マスク画像ｍａの画素（ｘ，ｙ）の輝度値を表している。つまり、Ｍ（ｘ，ｙ）＝１の場合は、マスク画像ｍａの画素（ｘ，ｙ）は白を表示し、Ｍ（ｘ，ｙ）＝０の場合は、この画素（ｘ，ｙ）は黒を表示する。
【００６３】
次に、移動体判定値Ｍ（ｘ，ｙ）の算出が、全画素について行われたか否かを判定する（ステップ２３９）。全画素の移動体判定値Ｍ（ｘ，ｙ）が決定されていない場合には、ステップ２２２およびステップ２２９に戻る。全画素の移動体判定値Ｍ（ｘ，ｙ）が算出されることで、移動体判定値Ｍ（ｘ，ｙ）を輝度値とするマスク画像ｍａが作成され、移動体領域の抽出が終了する（ステップ２４０）。
【００６４】
マスク画像ｍａにおいて、移動体判定値Ｍ（ｘ，ｙ）＝１の領域（白を表示する画素群）が、ターゲットフレーム画像ｆａの移動体領域であり、移動体判定値Ｍ（ｘ，ｙ）＝０の領域（黒を表示する画素群）が、ターゲットフレーム画像ｆａの背景領域である。つまり、マスク画像ｍａは、移動体領域と背景領域とでなる２値の画像であり、マスク画像ｍａを作成することで、ターゲットフレーム画像ｆａが移動体領域と移動体領域に含まれない領域（背景領域）とに区分される。
【００６５】
また、図３および図４の移動体抽出処理で作成されるマスク画像ｍａは、フレーム画像ｆａとフレーム画像ｆａ−１の差分画像を２値化した画像と、フレーム画像ｆａとフレーム画像ｆａ＋１の差分画像を２値化した画像との論理積（ＡＮＤ）を演算することで形成される２値の画像であるということができる。
【００６６】
ここでは、画像処理装置１０１は、図３および図４の移動体抽出処理を実行して、ターゲットフレーム画像から移動体を抽出する移動体抽出部であり、かつ、移動体領域と背景領域とでなるマスク画像を作成するマスク画像作成部である。
【００６７】
ターゲットフレーム画像から移動体をより正確に抽出にするため、画像処理装置１０１において、移動体抽出処理で用いられる３つのフレーム画像に画像処理を行ってから、マスク画像ｍａを作成してもよい。このような画像処理には、平均化処理、水平方向の線形１次微分フィルタを用いたフィルタ処理、エッジ検出処理、メディアンフィルタなどを用いたノイズ除去処理などがある。
【００６８】
図３の移動体抽出処理のフローでは、ステップ２２６およびステップ２３３で、差分判定値Ｄ１（ｘ，ｙ）、Ｄ２（ｘ，ｙ）の値を決定する条件をＲＧＢの輝度判定値の和が２以上としたが、その和が１以上であるという条件でもよいし、その和が３に等しいという条件でもよい。
【００６９】
次に、マスク画像ｍａを用いて、ターゲットフレーム画像ｆａの画素が移動体領域の画素か、背景領域の画素であるかを判定し、その判定に基づいて、ターゲットフレーム画像ｆａを補正し、補正フレーム画像を作成する方法を説明する。ここでは、この処理を「マスク処理」と呼ぶことにする。図２のフローでは、ステップ２０１からステップ２０６までの処理がマスク処理に対応する。以下、図５を用いて、マスク処理を説明する。図５は本実施形態のマスク処理のフローチャートである。
【００７０】
マスク処理では、まず、ターゲットフレーム画像ｆａにおいて移動体領域が占める割合Ｐｍ（以下、「移動体領域の割合Ｐｍ」と呼ぶ。）を算出する（ステップ２５１）。この移動体領域の割合Ｐｍは、マスク画像ｍａの白表示の領域（移動体判定値Ｍ（ｘ，ｙ）＝１の画素群であり、輝度値＝１の領域）が、そのマスク画像ｍａに占める割合に等しい。そこで、ここでは、移動体領域が占める割合Ｐｍを、マスク画像ｍａの全画素数に対する輝度値＝１（移動体判定値Ｍ（ｘ，ｙ）＝１）である画素数の割合から計算する。計算された移動体領域の割合Ｐｍは画像処理装置１０１のデータ記憶部１１２に記憶される。
【００７１】
ここでは、移動体領域の割合Ｐｍの算出処理をマスク処理の１つの処理としているが、移動体抽出処理で移動体領域の割合Ｐｍを求めてもよい。この場合、ステップ２３７を実行する毎に、Ｍ（ｘ，ｙ）＝１に設定した画素数を計数することで、ステップ２３９が完了することで、この画素数から割合Ｐｍを算出することができる。
【００７２】
次に、ターゲットフレーム画像ｆａの画素（ｘ，ｙ）の輝度値を演算処理部１１１に読み込む（ステップ２５２）。マスク画像ｍａの画素（ｘ，ｙ）の輝度値を演算処理部１１１に読み込み（ステップ２５３）、その輝度値が１であるかを判定する（ステップ２５４）。マスク画像ｍａの画素（ｘ，ｙ）の輝度値は移動体判定値Ｍ（ｘ，ｙ）に相当し、”１”か”０”の値をとる。マスク画像ｍａの画素（ｘ，ｙ）が輝度値＝１である場合は、ターゲットフレーム画像ｆａの画素（ｘ，ｙ）について、移動体画像処理を実行し、その輝度値を補正する（ステップ２５５）。マスク画像ｍａの画素（ｘ，ｙ）の輝度値≠１（輝度値＝０）である場合は、ターゲットフレーム画像ｆａの画素（ｘ，ｙ）について、背景画像処理を実行し、その輝度値を補正する（ステップ２５６）。ステップ２５５およびステップ２５６で決定された輝度値は、補正フレーム画像Ｆａの画素（ｘ，ｙ）の輝度値である。この輝度値はデータ記憶部１１２の補正フレーム画像用のメモリ回路に記憶される。
【００７３】
次に、ターゲットフレーム画像ｆａの全ての画素について、ステップ２５５またはステップ２５６の処理を行ったかどうかを判定する（ステップ２５７）。全画素の処理が終了していない場合は、ステップ２５２からステップ２５７までが繰り返し実行される。全画素の輝度値を算出することで、補正フレーム画像Ｆａが作成され（ステップ２５８）、マスク処理が終了する。
【００７４】
つまり、画像処理装置１０１は、補正フレーム画像Ｆａを作成する装置であり、マスク画像ｍａを作成するマスク画像作成部、および補正フレーム画像Ｆａを作成する補正フレーム画像作成部を含む。
【００７５】
ステップ２５６の背景画像処理では、ステップ２５１で算出した移動体領域の割合Ｐｍが大きいほど、ぼかしの効果が強くなるようにぼかし処理が実行される。本実施形態では、ぼかし処理をレベル０からレベル５の６段階に設定する。レベル５はぼかしの効果が最も高く、レベル０はぼかしの効果が最も低い。本実施形態では、レベル０のぼかし処理とは、ぼかし処理を実行せず、画素の輝度値を補正しない処理とする。
【００７６】
本実施形態では、移動体領域の割合Ｐｍを、１００％以下５０％以上、５０％未満４０％以上、４０％未満３０％以上、３０％未満２０％以上、２０％未満１０％以上、１０％未満０％以上の６つの範囲に区分し、移動体領域の割合Ｐｍに応じてレベル５からレベル０までのぼかし処理を行う。以下、図６を用いて、背景画像処理を説明する。図６は本実施形態の背景画像処理のフローチャートである。
【００７７】
ステップ２５１で求めた移動体領域の割合Ｐｍが５０％以上であるかを判定する（ステップ２６１）。Ｐｍ≧５０％であれば、レベル５のぼかし処理を行う（ステップ２６２）。Ｐｍ＜５０％であれば、割合Ｐｍが４０％以上であるかを判定する（ステップ２６３）。ステップ２６３の判定結果がＰｍ≧４０％であれば、レベル４のぼかし処理を行い（ステップ２６４）、この判定結果がＰｍ＜４０％であれば、割合Ｐｍが３０％以上であるかを判定する（ステップ２６５）。ステップ２６５の判定結果がＰｍ≧３０％であればレベル３のぼかし処理を行い（ステップ２６６）、この判定結果がＰｍ＜３０％であれば、割合Ｐｍが２０％以上であるかを判定する（ステップ２６７）。ステップ２６７の判定結果がＰｍ≧２０％であれば、レベル２のぼかし処理を行い（ステップ２６８）、この判定結果がＰｍ＜２０％であれば、割合Ｐｍが１０％以上であるかを判定する（ステップ２６９）。ステップ２６９の判定結果がＰｍ≧１０％であれば、レベル１のぼかし処理を行い（ステップ２７０）、この判定結果がＰｍ＜１０％であればレベル０のぼかし処理を行う（ステップ２７１）。ここでは、レベル０のぼかし処理は画素（ｘ，ｙ）の輝度値を補正しない処理であるので、補正前の画素（ｘ，ｙ）の輝度値が補正後の輝度値となる。
【００７８】
図６のフローチャートが示すように、移動体領域の割合Ｐｍに応じて、背景領域に含まれる画素（ｘ，ｙ）に、レベル５−レベル０のいずれかのレベルのぼかし処理が実行され、背景画像処理が終了する。
【００７９】
図６のフローチャートでは、ぼかし処理のレベルは６段階としたが、これに限定されるものではなく、２段階以上であればよい。また、ぼかし処理のレベルを設定する条件は、図６のフローチャートに限定されるものではなく、適宜実施者が設定できる。つまり、移動体領域の割合Ｐｍが高いほどぼかしの効果が強くなるように、ぼかし処理のレベルを段階的に設定すればよい。
【００８０】
次に、ぼかし処理として、平均化処理を行う場合を例に、レベルの異なるぼかし処理を行う方法を説明する。
【００８１】
平均化処理では輝度の平均値を求める画素数を多くすることで、ぼかし処理の効果が強調されることを利用して、ぼかし処理のレベルを設定することができる。この場合、例えば、レベル０では、画素の平均化処理を行わない。レベル１の平均化処理は、対象となる画素を中心に３行３列に配置された９つの画素の輝度値の平均値を、補正後の画素の輝度値とする。レベル２では、輝度値の平均値を求める画素群を、対象となる画素を中心に５行５列に配置された２５個の画素群とする。レベル３では、それを７行７列に配置された４９個の画素群とし、レベル４では、それを９行９列の８１個の画素群とし、レベル５では、それを１１行１１列の１２１個の画素群とする。
【００８２】
あるいは、平均化処理の回数を多くすることで、ぼかし処理の効果が強調されることを利用して、ぼかし処理のレベルを設定することもできる。例えば、レベル０では、画素について平均化処理を行わない。レベル１の平均化処理は、対象とする画素を中心に３行３列に配置された９つの画素の輝度値の平均値を補正後の画素値とする。レベル２では、レベル１の平均化処理を２回行う。すなわち、１回目では、対象となる画素を中心に３行３列に配置された９つの画素の輝度値の平均値を求める。２回目も同じ９個の画素の輝度値の平均値を求める。ただし、対象とする画素の輝度値は、１回目の平均化処理で算出された平均値を用いる。２回目に算出された平均値が、レベル２のぼかし処理で算出された画素の輝度値である。レベル３−５の平均化処理もレベル２の平均化処理と同様であり、レベル３、レベル４およびレベル５では、それぞれ、平均化処理を行う回数が３回、４回、５回となる。
【００８３】
ぼかし処理が、メディアンフィルタ処理、コントラストを弱めるコントラスト変換処理、およびモザイク処理でも、平均化処理と同様に、レベルの異なるぼかし処理を行うことができる。
【００８４】
次に、図２の画像処理を、画像を用いて具体的に説明する。図７Ａおよび図７Ｂは、本実施形態の画像処理方法の内容を示す説明図であり、図７Ａには、補正前の６つのフレーム画像３００−３０５を示し、図７Ｂには、各フレーム画像３００−３０５を画像処理した補正フレーム画像３１０−３１５を示す。図７Ａに示すように、ここでは、画像処理を行う動画像として、遠方にある２本の木立の間から、人物が近づいてくる動画像を想定している。ただし、図７Ａに示すフレーム画像３００−３０５は、時間的に隣接しているものではない。
【００８５】
本実施形態の画像処理を実行することで、移動体である人物には移動体画像処理が実行される。このため、人物の画像は、鮮明にされる、または強調されている（図７Ｂ参照）。他方、図６のフローチャートに従って、人物の画像がフレーム画像に占める割合に応じて、人物を除く背景の画像は、ぼかしの程度が異なるぼかし処理が実行される。図７Ａの動画像の場合、人物が近づくにつれて、人物がフレーム画像に占める面積が広くなるため、時間が経過するほど、フレーム画像の背景がよりぼかされることになる。図７Ｂに示す各補正フレーム画像３１０−３１５は、それぞれ、背景領域に、レベル０−５のぼかし処理が行われている。
【００８６】
図７Ｂに示すように、本実施形態の画像処理を行うことで、人物が近づくほど背景がぼかされる。その結果、背景から得られる情報量が徐々に抑えられるので、この動画像を見る者に、人物が遠方から近づくほど人物に焦点があっている感覚を自然に生じさせることができる。
【００８７】
以上述べたように、移動体領域がフレーム画像に占める割合が大きいほど、背景領域へのぼかしの効果を強調する画像処理を行うことで、臨場感（距離感、奥行き感）の高い動画像を作成することができる。つまり、本実施形態では、画像の動きに合わせて、各フレーム画像の背景に対するぼかしの効果を変化させることで、物を見るときの人の目のピント調節機能に非常に近い処理を、画像処理で予め行っているため、２次元の画面に表示しても、見る者が距離感、奥行き感を感じることができる動画像を作成することができる。
【００８８】
［実施形態２］
監視カメラのように、カメラを固定し、同じ焦点条件で動画像を撮影することで、背景が変化しない動画像が撮影される。このような動画像は、例えば、図７Ａに示す複数のフレーム画像で構成されるような動画像である。本実施形態では、このような動画像から移動体を抽出する方法を説明する。
【００８９】
本実施形態の場合、３枚のフレーム画像を用いる代わりに、移動体が存在しない、背景のみのフレーム画像（以下、「背景用フレーム画像」と呼ぶ。）を用意する。この背景用フレーム画像とターゲットフレーム画像の差分画像を作成し、この差分画像を２値化した画像がマスク画像ｍａとなる。
【００９０】
マスク画像ｍａを作成するには、画素（ｘ，ｙ）の輝度の差分値（ΔＲ１（ｘ，ｙ）、ΔＧ１（ｘ，ｙ）、ΔＢ１（ｘ，ｙ））をもとめる。差分値が閾値以上であるか、未満であるかで、輝度判定値（αＲ１（ｘ，ｙ）、αＧ１（ｘ，ｙ）、αＢ１（ｘ，ｙ））を”０”または”１”に設定する。ここまでのフローは、図３のステップ２２２からステップ２２５までと同じである。
【００９１】
そして、αＲ１（ｘ，ｙ）＋αＧ１（ｘ，ｙ）＋αＢ１（ｘ，ｙ）≧２であれば、この画素の移動体判定値Ｍ（ｘ，ｙ）＝１とする。αＲ１（ｘ，ｙ）＋αＧ１（ｘ，ｙ）＋αＢ１（ｘ，ｙ）＜２であれば、この画素の移動体判定値Ｍ（ｘ，ｙ）＝０とする。全画素の移動体判定値Ｍ（ｘ，ｙ）を決定することで、実施形態１と同様に、マスク画像ｍａが作成される。
【００９２】
［実施形態３］
背景領域および移動体領域双方に画像処理を行う場合、移動体領域への画像処理の効果を、移動体領域がフレーム画像に占める割合に応じて変化させてもよい。つまり、移動体画像処理においても、図６の背景画像処理と同様に、移動体領域の割合Ｐｍに応じて、レベルの異なる画像処理を移動体領域に行う。この場合、移動体領域の割合Ｐｍが大きいほど、画像の鮮鋭化、または強調の効果が高くなるように、移動体画像処理で実行される画像処理（鮮鋭化処理、コントラスト強調処理など）のレベルを段階的に設定すればよい。
【００９３】
［実施形態４］
本実施形態では、図１の画像出力装置１０２について説明する。図８Ａおよび図８Ｂは、画像出力装置１０２に用いられる液晶表示装置の構成例の説明図である。図８Ａは、本実施形態の液晶表示装置の上面図である。図８Ｂは、図８ＡのＣ−Ｄ切断線による断面図である。本実施形態の液晶表示装置は、トランジスタでなる回路が形成された基板と、この基板に対向する基板と、これら２枚の基板との間に挟持された液晶層とを有する。本実施形態の液晶表示装置は、結晶性半導体膜を用いたトップゲート型のトランジスタで回路が形成されている。また、その表示方式はＭＶＡ（Ｍｕｌｔｉ−ｄｏｍａｉｎ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）方式である。
【００９４】
図８Ａに示すように、基板５１００上に、画素部５１０１、第１の走査線駆動回路５１０２、第２の走査線駆動回路５１０３、および信号線駆動回路５１０４が形成されている。画素部５１０１は、複数の画素を有する。各画素には、画素電極、および画素電極に電気的に接続されたトランジスタが設けられている。又、第１の走査線駆動回路５１０２、第２の走査線駆動回路５１０３、および信号線駆動回路５１０４は、複数のトランジスタなど複数の半導体素子により構成されている。
【００９５】
画素部５１０１、第１の走査線駆動回路５１０２、第２の走査線駆動回路５１０３および信号線駆動回路５１０４は、シール材５５１６によって、基板５１００と基板５５１０との間に封止されている。また、ＴＡＢ方式によって、ＦＰＣ５２００およびＩＣチップ５５３０が基板５１００上に設けられている。画像処理装置１０１から画像出力装置１０２へと出力された信号は、ＦＰＣ５２００に入力される。
【００９６】
図８ＡのＣ−Ｄ切断線による断面構造について、図８Ｂを参照して説明する。説明の都合、図８Ｂには、画素部５１０１の断面構造として、１つのトランジスタ５１１０および画素電極５１１１の一部を示し、第２の走査線駆動回路５１０３の断面構造として、２つのトランジスタ５１１２およびトランジスタ５１１３を示している。
【００９７】
基板５１００上に、下地膜として、単層構造または積層構造でなる絶縁膜５５０１が形成されている。絶縁膜５５０１として、酸化シリコン膜、窒化シリコン膜、窒化酸化シリコン膜または酸化窒化シリコン膜などが形成される。ここでは、窒化酸化シリコンとは、酸素よりも窒素を多く含む材料であり、酸化窒化シリコンとは窒素よりも酸素を多く含む材料である。なお、トランジスタ５１１０、５１１２、５１１３の半導体膜と接する絶縁膜５５０１の層は、酸化シリコン膜または酸化窒化シリコン膜で形成することが好ましい。それは、絶縁膜５５０１とチャネル形成領域との界面準位密度を低減できるからである。また、絶縁膜５５０１には、窒化シリコン膜または窒化酸化シリコン膜のような、ナトリウムイオンに対するブロッキング効果がある膜を少なくとも一層形成することが好ましい。
【００９８】
絶縁膜５５０１上に島状の半導体膜５５０２が形成され、半導体膜５５０２上に、ゲート絶縁膜として絶縁膜５５０３が形成されている。半導体膜５５０２は、トランジスタ５１１０、５１１２、５１１３のチャネル形成領域、ソース領域およびドレイン領域を構成する。絶縁膜５５０３は、熱酸化膜、酸化シリコン膜、窒化シリコン膜または酸化窒化シリコン膜などの単層膜で、またはこれらの膜の積層膜で形成されている。絶縁膜５５０３の半導体膜５５０２と接する層は、酸化シリコン膜または酸化窒化シリコン膜であることが好ましい。それは、絶縁膜５５０３と半導体膜５５０２との界面準位密度を低減できるからである。
【００９９】
絶縁膜５５０３上に、所定の形状に加工された導電膜５５０４が形成されている。導電膜５５０４は単層構造、多層構造の膜であり、トランジスタ５１１０、５１１２、５１１３のゲート電極を構成し、さらに画素部５１０１の走査線を構成する。ここでは、リーク電流を抑えるため、画素部５１０１のトランジスタ５１１０をデュアルゲート構造にしている。
【０１００】
導電膜５５０４を覆って、単層構造または積層構造の絶縁膜５５０５が形成されている。絶縁膜５５０５は層間膜として機能する。絶縁膜５５０５に用いられる有機材料でなる膜には、ポリイミド、アクリル、ポリアミド、ポリイミドアミド、レジストまたはベンゾシクロブテン、シロキサン樹脂でなる膜などがある。また、無機材料でなる膜には、酸化シリコン、窒化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化アルミニウム、酸化アルミニウム、酸化窒化アルミニウム、窒素含有量が酸素含有量よりも多い窒化酸化アルミニウム、ダイアモンドライクカーボン（ＤＬＣ）、窒素含有炭素（例えば、ＣＮ）、リンシリケートガラス（ＰＳＧ）、ボロンリンシリケートガラス（ＢＰＳＧ）でなる膜などがある。
【０１０１】
絶縁膜５５０３および絶縁膜５５０５にはコンタクトホールが形成されている。コンタクトホールは、各トランジスタ５１１０、５１１２、５１１３のソース領域またはドレイン領域に達する。絶縁膜５５０５上に所定の形状に加工された導電膜５５０６が形成されている。導電膜５５０６は、トランジスタ５１１０、５１１２、５１１３のソース電極、ドレイン電極、画素部５１０１の信号線を構成する。導電膜５５０６は単層構造または多層構造の膜である。
【０１０２】
絶縁膜５５０５上に絶縁膜５５０７が形成されている。絶縁膜５５０７は絶縁膜５５０５と同様に形成することができる。絶縁膜５５０７を平坦化膜にする場合には、例えば、少なくとも１層、有機材料でなる膜を絶縁膜５５０７として形成すればよい。絶縁膜５５０７を平坦化膜にすることで、液晶分子の配向の乱れを抑えることができる。
【０１０３】
絶縁膜５５０７上に画素電極５１１１が形成されている。画素電極５１１１は、絶縁膜５５０７に形成されたコンタクトホールにおいて、導電膜５５０６に接している。このことにより、画素電極５１１１とトランジスタ５１１０が電気的に接続される。また、画素電極５１１１には開口部が形成されている。この開口部により、液晶分子に電界が存在しない状態で液晶分子を傾けて配向させておくことで、ＭＶＡ方式での表示を可能としている。また、液晶分子をこのように配向させるために、開口部を形成する代わりに、画素電極５１１１上面に突起部を設けてもよい。
【０１０４】
画素電極５１１１を透光性の電極とする場合は、光を透過する透光性導電膜で画素電極５１１１を形成する。透光性導電膜としては、例えば、酸化インジウムに酸化スズを混ぜたインジウムスズ酸化物膜、インジウムスズ酸化物に酸化シリコンを混ぜたインジウムスズシリコン酸化物膜、酸化インジウムに酸化亜鉛を混ぜたインジウム亜鉛酸化物膜、酸化亜鉛膜、または酸化スズ膜などがある。他方、画素電極５１１１を反射電極とする場合は、光を反射する導電膜で画素電極５１１１を形成する。例えば、Ｔｉ、Ｍｏ、Ｔａ、Ｃｒ、Ｗ、Ａｌなど金属やそれらの合金などでなる単層構造の膜または積層構造膜で、画素電極５１１１を形成すればよい。
【０１０５】
絶縁膜５５０７上には、画素電極５１１１と重ならない領域にスペーサ５５０８が形成されている。スペーサ５５０８は樹脂で形成されている。スペーサ５５０８により基板５１００と基板５５１０とのギャップ（隙間）が維持される。この隙間に、液晶分子を含む液晶層５５１７が形成される。画素電極５１１１およびスペーサ５５０８を覆って配向膜５５０９が形成されている。配向膜５５０９は必要に応じて形成される。
【０１０６】
基板５５１０は、対向基板として機能する。基板５５１０には、対向電極５５１１、カラーフィルター層５５１２および突起部５５１３が形成されている。対向電極５５１１は、画素電極５１１１を形成するために用いられる透光性導電膜で形成することができる。突起部５５１３により、電界が存在しない状態で液晶分子を傾斜させて配向させておくことで、ＭＶＡ方式での表示を可能としている。基板５５１０には、さらに、対向電極５５１１および突起部５５１３を覆って配向膜５５１４が形成されている。配向膜５５１４は必要に応じて形成される。
【０１０７】
基板５１００と基板５５１０の間に、画素部５１０１、第１の走査線駆動回路５１０２、第２の走査線駆動回路５１０３、および信号線駆動回路５１０４を囲むように、シール材５５１６が形成されている。シール材５５１６により封止された基板５１００と基板５５１０の隙間に、液晶分子を含む液晶層５５１７が存在している。
【０１０８】
シール材５５１６で囲まれている領域の外側であって、絶縁膜５５０７上に複数の端子５５１８が形成されている。端子５５１８が画素電極５１１１と同じ導電膜でなり、画素部５１０１、第１の走査線駆動回路５１０２、第２の走査線駆動回路５１０３、および信号線駆動回路５１０４のいずれかに電気的に接続されている。端子５５１８には、異方性導電体膜５５１９を介して、ＦＰＣ５２００が接続されている。また、ＦＰＣ５２００上には、異方性導電体膜５５２０を介して、ＩＣチップ５５３０が固定されている。つまり、端子５５１８、ＦＰＣ５２００、およびＩＣチップ５５３０は電気的に接続されている。
【０１０９】
ＩＣチップ５５３０は必ずしも設ける必要はないが、ＩＣチップ５５３０に機能回路（メモリやバッファ）を含めることで、基板面積を有効利用することができる。
【０１１０】
なお、本実施形態では、表示方式がＭＶＡ方式の液晶表示装置にについて説明したが、表示方式がＰＶＡ（Ｐａｔｔｅｒｎｅｄ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）方式でもよい。ＰＶＡ方式の場合は、図８Ｂの構成において、対向電極５５１１に、スリットを設ければよい。また、液晶の駆動方式は、ＭＶＡ方式、ＰＶＡ方式に限定されるものではなく、ＴＮ（Ｔｗｉｓｔｅｄ Ｎｅｍａｔｉｃ）モード、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ−Ｓｗｉｔｃｈｉｎｇ）モード、ＦＦＳ（Ｆｒｉｎｇｅ Ｆｉｅｌｄ Ｓｗｉｔｃｈｉｎｇ）モード、ＡＳＭ（Ａｘｉａｌｌｙ Ｓｙｍｍｅｔｒｉｃ ａｌｉｇｎｅｄ Ｍｉｃｒｏ−ｃｅｌｌ）モード、ＯＣＢ（Ｏｐｔｉｃａｌ Ｃｏｍｐｅｎｓａｔｅｄ Ｂｅｎｄ）モード、ＦＬＣ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード、ＡＦＬＣ（ＡｎｔｉＦｅｒｒｏｅｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）などでもよい。
【０１１１】
また、画像出力装置１０２には、液晶表示装置の他、エレクトロルミネセンス表示装置、電界放出ディスプレイ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）、プラズマディスプレイなどの各種の表示装置を用いることができる。また、画像出力装置１０２は、ハードディスクレコーダ、ＤＶＤレコーダーなど各種の録画装置でもよい。
【０１１２】
［実施形態５］
本実施形態では、表示部を備えた画像処理システムの構成例を説明する。
【０１１３】
図９に、表示装置１１０１と、回路基板１１１１を組み合わせた画像処理システムの一例を示す。回路基板１１１１に画像処理装置１０１が設けられている。表示装置１１０１は画像出力装置１０２であり、例えば、実施形態３の液晶表示装置が用いられる。表示装置１１０１は画素部１１０２、走査線駆動回路１１０３および信号線駆動回路１１０４を有する。回路基板１１１１には、例えば、コントロール回路１１１２および演算回路１１１３などが形成されている。表示装置１１０１と回路基板１１１１とは接続配線１１１４によって接続されている。接続配線１１１４にはＦＰＣなどを用いることができる。
【０１１４】
例えば、図９に示した画像処理システムを用いてテレビ受像機を完成させることができる。本明細書に開示される画像処理システム（画像表示システム）をテレビ受像器として構成することで、テレビジョン放送を臨場感の高い画像として、視聴者が鑑賞することが可能になる。
【０１１５】
本明細書に開示される画像処理システムは、様々な電子機器に適用することができる。このような電子機器として、例えば、ビデオカメラ、およびデジタルカメラなどのカメラ、ゴーグル型ディスプレイ、ナビゲーションシステム、コンピュータ、ゲーム機器、携帯情報端末（モバイルコンピュータ、携帯電話、携帯型ゲーム機または電子書籍など）、画像再生装置などが挙げられる。なお、代表的な画像再生装置は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やハードディスクなどの記憶媒体に記録された画像データを再生し、その画像データを表示する機能を有する装置である。以下、図１０Ａ−図１０Ｃを用いて、電子機器の一例を説明する。図１０Ａ−図１０Ｃは、本実施形態の電気機器の外観図である。
【０１１６】
図１０Ａはモニタの外観図である。モニタは、筐体１２１１、支持台１２１２、表示部１２１３を含む。図１０Ａに示すモニタは、様々な情報（静止画、動画、テキスト画像など）を表示部に表示する機能を有する。なお、図１０Ａに示すモニタの機能はこれに限定されず、様々な機能を有することができる。
【０１１７】
図１０Ｂはカメラの外観図である。カメラは本体１２３１、表示部１２３２、受像部１２３３、操作キー１２３４、外部接続ポート１２３５、シャッターボタン１２３６を含む。図１０Ｂに示すカメラは、静止画および動画を撮影する機能を有する。カメラには、撮影した動画像および静止画像を補正する画像処理装置が設けられており、カメラにおいて動画像を補正し、補正された動画像を各種の記憶媒体に書き込むことができる。なお、図１０Ｂに示すカメラの機能はこれに限定されず、様々な機能を有することができる。
【０１１８】
図１０Ｃはコンピュータの外観図である。コンピュータは、本体１２５１、筐体１２５２、表示部１２５３、キーボード１２５４、外部接続ポート１２５５、ポインティングデバイス１２５６を含む。また、画像処理装置を含む。図１０Ｃに示すコンピュータは、様々な情報（静止画、動画、テキスト画像など）を表示部に表示する機能を有する。例えば、キーボード１２５４、ポインティングデバイス１２５６の入力に基づいて、動画像の画像処理を実施する。なお、図１０Ｃに示すコンピュータの機能はこれらに限定されず、様々な機能を有することができる。
【０１１９】
本実施形態は他の実施形態と適宜組み合わせて実施することが可能である。
【符号の説明】
【０１２０】
１００ 画像処理システム
１０１ 画像処理装置
１０２ 画像出力装置
１１１ 演算処理部
１１２ データ記憶部
１１３ 制御部
１１４ 入力側インターフェース部
１１５ 出力側インターフェース部
１２０ 画素
１２１ 表示部
１２２ 走査線駆動回路
１２３ 信号線駆動回路
１２５ 走査線
１２６ 信号線
【特許請求の範囲】
【請求項１】
複数のフレーム画像で構成される動画像を処理する画像処理方法であり、
少なくとも１つの前記フレーム画像を、移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とに区分し、
前記背景領域に画像処理を行って、前記フレーム画像から補正フレーム画像を作成し、
前記画像処理はぼかし処理であり、前記移動体領域が前記フレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理方法。
【請求項２】
複数のフレーム画像で構成される動画像を処理する画像処理方法であり、
少なくとも１つの前記フレーム画像を、移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とに区分し、
当該フレーム画像の前記背景領域に第１の画像処理を行い、かつ、前記移動体領域に第２の画像処理を行うことで、補正フレーム画像を作成し、
前記第１の画像処理と前記第２の画像処理は異なる画像処理であり、
前記第１の画像処理は、ぼかし処理であり、前記移動体領域が前記フレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理方法。
【請求項３】
複数のフレーム画像で構成される動画像を処理する画像処理方法であり、
補正対象となる第１のフレーム画像と前記第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および前記第１のフレーム画像と前記第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、前記第１のフレーム画像から移動体を構成する画素を抽出し、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成し、
前記マスク画像を用いて、前記第１のフレーム画像を構成する各画素について、前記背景領域または前記移動体領域のどちらの領域に含まれるかを判定し、
前記背景領域に含まれる画素に画像処理を行うことで、前記第１のフレーム画像から補正フレーム画像を作成し、
前記画像処理は、ぼかし処理であり、前記移動体領域が前記第１のフレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する処理であることを特徴とする画像処理方法。
【請求項４】
複数のフレーム画像で構成される動画像を処理する画像処理方法であり、
補正対象となる第１のフレーム画像と前記第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および前記第１のフレーム画像と前記第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、前記第１のフレーム画像から移動体を構成する画素を抽出し、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成し、
前記マスク画像を用いて、前記第１のフレーム画像を構成する各画素について、前記背景領域または前記移動体領域のどちらの領域に含まれるかを判定し、
前記背景領域に含まれる画素に対して第１の画像処理を行い、かつ前記移動体領域に含まれる画素に対して第２の画像処理を行うことで、前記第１のフレーム画像から補正フレーム画像を作成し、
前記第１の画像処理と前記第２の画像処理は異なる画像処理であり、
前記第１の画像処理は、ぼかし処理であり、前記移動体領域が前記第１のフレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理方法。
【請求項５】
請求項１又は３において、
前記移動体領域の前記フレーム画像に占める割合が所定の値よりも小さい場合、前記背景領域に対して前記ぼかし処理を行わないことを特徴とする画像処理方法。
【請求項６】
請求項２又は４において、
前記移動体領域の前記第１のフレーム画像に占める割合が所定の値よりも小さい場合、前記第１の画像処理では、前記背景領域の画素に前記ぼかし処理を行わないことを特徴とする画像処理方法。
【請求項７】
請求項２又は４において、
前記第２の画像処理として、鮮鋭化処理、コントラストを強調するコントラスト変換処理、および輪郭強調処理のうちの少なくとも１つの画像処理を行うことを特徴とする画像処理方法。
【請求項８】
請求項１乃至７のいずれか１項において、
前記ぼかし処理として、平均化処理、メディアンフィルタ処理、コントラストを弱めるコントラスト変換処理、およびモザイク処理のうちの少なくとも１つの画像処理を行うことを特徴とする画像処理方法。
【請求項９】
複数のフレーム画像で構成される動画像を表示する画像表示部と、
少なくとも１つのフレーム画像から移動体を抽出して、前記フレーム画像を、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とに区分する移動体抽出部と、
前記背景領域に画像処理を行って、補正フレーム画像を作成する補正フレーム画像作成部と、
を有し、
前記画像表示部は、前記補正フレーム画像を表示し、
前記画像処理はぼかし処理であり、前記移動体領域が前記フレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理システム。
【請求項１０】
複数のフレーム画像で構成される動画像を表示する画像表示部と、
少なくとも１つのフレーム画像から移動体を抽出して、前記フレーム画像を、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とに区分する移動体抽出部と、
当該フレーム画像の前記背景領域に第１の画像処理を行い、かつ、前記移動体領域に第２の画像処理を行うことで、補正フレーム画像を作成する補正フレーム画像作成部と、
を有し、
前記画像表示部は、前記補正フレーム画像を表示し、
前記第１の画像処理と前記第２の画像処理は異なる画像処理であり、
前記第１の画像処理はぼかし処理であり、前記移動体領域が前記フレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理システム。
【請求項１１】
複数のフレーム画像で構成される動画像を表示する画像表示部と、
補正対象となる第１のフレーム画像と前記第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および前記第１のフレーム画像と前記第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、前記第１のフレーム画像から移動体を構成する画素を抽出し、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成するマスク画像作成部と、
前記マスク画像を用いて、前記第１のフレーム画像を構成する各画素について、前記背景領域または前記移動体領域のどちらの領域に含まれるかを判定し、前記背景領域の画素に画像処理を行い、補正フレーム画像を作成する補正フレーム画像作成部と、
を有し、
前記画像表示部は、前記補正フレーム画像を表示し、
前記画像処理はぼかし処理であり、前記移動体領域が前記第１のフレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理システム。
【請求項１２】
複数のフレーム画像で構成される動画像を表示する画像表示部と、
補正対象となる第１のフレーム画像と前記第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および前記第１のフレーム画像と前記第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、前記第１のフレーム画像から移動体を構成する画素を抽出し、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成するマスク画像作成部と、
前記マスク画像を用いて、前記第１のフレーム画像を構成する各画素について、前記背景領域または前記移動体領域のどちらの領域に含まれるかを判定し、前記背景領域の画素に第１の画像処理を行い、かつ、前記移動体領域の画素に第２の画像処理を行うことで、補正フレーム画像を作成する補正フレーム画像作成部と、
を有し、
前記画像表示部は、前記補正フレーム画像を表示し、
前記第１の画像処理と前記第２の画像処理は異なる画像処理であり、
前記第１の画像処理は、ぼかし処理であり、前記移動体領域が前記第１のフレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理システム。
【請求項１３】
請求項９又は１０において、
前記補正フレーム画像作成部は、前記移動体領域の前記フレーム画像に占める割合が所定の値よりも小さい場合、前記背景領域の画素に前記ぼかし処理を行わないことを特徴とする画像処理システム。
【請求項１４】
請求項１１又は１２において、
前記補正フレーム画像作成部は、前記移動体領域の前記第１のフレーム画像に占める割合が所定の値よりも小さい場合、前記第１の画像処理では、前記背景領域の画素に前記ぼかし処理を行わないことを特徴とする画像処理システム。
【請求項１５】
請求項１１又は１２において、
前記補正フレーム画像作成部は、前記第２の画像処理として、鮮鋭化処理、コントラストを強調するコントラスト変換処理、および輪郭強調処理のうちの少なくとも１つの画像処理を行うことを特徴とする画像処理システム。
【請求項１６】
請求項９乃至１５のいずれか１項において、
前記補正フレーム画像作成部は、前記ぼかし処理として、平均化処理、メディアンフィルタ処理、コントラストを弱めるコントラスト変換処理、およびモザイク処理のうちの少なくとも１つの画像処理を行うことを特徴とする画像処理システム。
【請求項１７】
画像処理装置が複数のフレーム画像で構成される動画像の画像処理を行うためのコンピュータプログラムであり、
少なくとも１つのフレーム画像から移動体を抽出して、前記フレーム画像を、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とに区分する処理と、
前記背景領域に画像処理を行い、補正フレーム画像を作成する処理と、
を含む画像処理を、前記画像処理装置に実行させ、
前記補正フレーム画像を作成する処理で前記背景領域に行われる前記画像処理は、ぼかし処理であり、前記移動体領域が前記フレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とするコンピュータプログラム。
【請求項１８】
画像処理装置が複数のフレーム画像で構成される動画像の画像処理を行うためのコンピュータプログラムであり、
少なくとも１つのフレーム画像から移動体を抽出して、前記フレーム画像を、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とに区分する処理と、
当該フレーム画像の前記背景領域に第１の画像処理を行い、かつ、前記移動体領域に第２の画像処理を行うことで、補正フレーム画像を作成する処理と、
を含む画像処理を、前記画像処理装置に実行させ、
前記第１の画像処理と前記第２の画像処理は異なる画像処理であり、
前記第１の画像処理は、ぼかし処理であり、前記移動体領域が前記フレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とするコンピュータプログラム。
【請求項１９】
画像処理装置が複数のフレーム画像で構成される動画像の画像処理を行うためのコンピュータプログラムであり、
補正対象となる第１のフレーム画像と前記第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および前記第１のフレーム画像と前記第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、前記第１のフレーム画像から移動体を構成する画素を抽出し、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成する処理と、
前記マスク画像を用いて、前記第１のフレーム画像を構成する各画素について、前記背景領域または前記移動体領域のどちらの領域に含まれるかを判定し、前記背景領域の画素に画像処理を行い、補正フレーム画像を作成する処理と、
を含む画像処理を、前記画像処理装置に実行させ、
前記補正フレーム画像を作成する処理で前記背景領域に行われる前記画像処理は、ぼかし処理であり、前記移動体領域が前記第１のフレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とするコンピュータプログラム。
【請求項２０】
画像処理装置が複数のフレーム画像で構成される動画像の画像処理を行うためのコンピュータプログラムであり、
補正対象となる第１のフレーム画像と前記第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および前記第１のフレーム画像と前記第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、前記第１のフレーム画像から移動体を構成する画素を抽出し、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成する処理と、
前記マスク画像を用いて、前記第１のフレーム画像を構成する各画素について、前記背景領域または前記移動体領域のどちらの領域に含まれるかを判定し、前記背景領域の画素に第１の画像処理を行い、かつ、前記移動体領域の画素に第２の画像処理を行うことで、補正フレーム画像を作成する処理と、
を含む画像処理を、前記画像処理装置に実行させ、
前記第１の画像処理と前記第２の画像処理は異なる画像処理であり、
前記第１の画像処理は、ぼかし処理であり、前記移動体領域が前記第１のフレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とするコンピュータプログラム。
【請求項２１】
請求項１７又は１８において、
前記移動体領域の前記フレーム画像に占める割合が所定の値よりも小さい場合、前記背景領域の画素にぼかし処理を行わないことを特徴とするコンピュータプログラム。
【請求項２２】
請求項１９又は２０において、
前記移動体領域の前記第１のフレーム画像に占める割合が所定の値よりも小さい場合、前記第１の画像処理では、前記画素にぼかし処理を行わないことを特徴とするコンピュータプログラム。
【請求項２３】
請求項１９又は２０において、
前記補正フレーム画像作成部は、前記第２の画像処理として、鮮鋭化処理、コントラストを強調するコントラスト変換処理、および輪郭強調処理のうちの少なくとも１つの画像処理を行うことを特徴とするコンピュータプログラム。
【請求項２４】
請求項１７乃至２３のいずれか１項において、
前記ぼかし処理として、平均化処理、メディアンフィルタ処理、コントラストを弱めるコントラスト変換処理、およびモザイク処理のうちの少なくとも１つの画像処理を行うことを特徴とするコンピュータプログラム。
【請求項１】
複数のフレーム画像で構成される動画像を処理する画像処理方法であり、
少なくとも１つの前記フレーム画像を、移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とに区分し、
前記背景領域に画像処理を行って、前記フレーム画像から補正フレーム画像を作成し、
前記画像処理はぼかし処理であり、前記移動体領域が前記フレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理方法。
【請求項２】
複数のフレーム画像で構成される動画像を処理する画像処理方法であり、
少なくとも１つの前記フレーム画像を、移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とに区分し、
当該フレーム画像の前記背景領域に第１の画像処理を行い、かつ、前記移動体領域に第２の画像処理を行うことで、補正フレーム画像を作成し、
前記第１の画像処理と前記第２の画像処理は異なる画像処理であり、
前記第１の画像処理は、ぼかし処理であり、前記移動体領域が前記フレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理方法。
【請求項３】
複数のフレーム画像で構成される動画像を処理する画像処理方法であり、
補正対象となる第１のフレーム画像と前記第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および前記第１のフレーム画像と前記第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、前記第１のフレーム画像から移動体を構成する画素を抽出し、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成し、
前記マスク画像を用いて、前記第１のフレーム画像を構成する各画素について、前記背景領域または前記移動体領域のどちらの領域に含まれるかを判定し、
前記背景領域に含まれる画素に画像処理を行うことで、前記第１のフレーム画像から補正フレーム画像を作成し、
前記画像処理は、ぼかし処理であり、前記移動体領域が前記第１のフレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する処理であることを特徴とする画像処理方法。
【請求項４】
複数のフレーム画像で構成される動画像を処理する画像処理方法であり、
補正対象となる第１のフレーム画像と前記第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および前記第１のフレーム画像と前記第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、前記第１のフレーム画像から移動体を構成する画素を抽出し、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成し、
前記マスク画像を用いて、前記第１のフレーム画像を構成する各画素について、前記背景領域または前記移動体領域のどちらの領域に含まれるかを判定し、
前記背景領域に含まれる画素に対して第１の画像処理を行い、かつ前記移動体領域に含まれる画素に対して第２の画像処理を行うことで、前記第１のフレーム画像から補正フレーム画像を作成し、
前記第１の画像処理と前記第２の画像処理は異なる画像処理であり、
前記第１の画像処理は、ぼかし処理であり、前記移動体領域が前記第１のフレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理方法。
【請求項５】
請求項１又は３において、
前記移動体領域の前記フレーム画像に占める割合が所定の値よりも小さい場合、前記背景領域に対して前記ぼかし処理を行わないことを特徴とする画像処理方法。
【請求項６】
請求項２又は４において、
前記移動体領域の前記第１のフレーム画像に占める割合が所定の値よりも小さい場合、前記第１の画像処理では、前記背景領域の画素に前記ぼかし処理を行わないことを特徴とする画像処理方法。
【請求項７】
請求項２又は４において、
前記第２の画像処理として、鮮鋭化処理、コントラストを強調するコントラスト変換処理、および輪郭強調処理のうちの少なくとも１つの画像処理を行うことを特徴とする画像処理方法。
【請求項８】
請求項１乃至７のいずれか１項において、
前記ぼかし処理として、平均化処理、メディアンフィルタ処理、コントラストを弱めるコントラスト変換処理、およびモザイク処理のうちの少なくとも１つの画像処理を行うことを特徴とする画像処理方法。
【請求項９】
複数のフレーム画像で構成される動画像を表示する画像表示部と、
少なくとも１つのフレーム画像から移動体を抽出して、前記フレーム画像を、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とに区分する移動体抽出部と、
前記背景領域に画像処理を行って、補正フレーム画像を作成する補正フレーム画像作成部と、
を有し、
前記画像表示部は、前記補正フレーム画像を表示し、
前記画像処理はぼかし処理であり、前記移動体領域が前記フレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理システム。
【請求項１０】
複数のフレーム画像で構成される動画像を表示する画像表示部と、
少なくとも１つのフレーム画像から移動体を抽出して、前記フレーム画像を、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とに区分する移動体抽出部と、
当該フレーム画像の前記背景領域に第１の画像処理を行い、かつ、前記移動体領域に第２の画像処理を行うことで、補正フレーム画像を作成する補正フレーム画像作成部と、
を有し、
前記画像表示部は、前記補正フレーム画像を表示し、
前記第１の画像処理と前記第２の画像処理は異なる画像処理であり、
前記第１の画像処理はぼかし処理であり、前記移動体領域が前記フレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理システム。
【請求項１１】
複数のフレーム画像で構成される動画像を表示する画像表示部と、
補正対象となる第１のフレーム画像と前記第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および前記第１のフレーム画像と前記第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、前記第１のフレーム画像から移動体を構成する画素を抽出し、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成するマスク画像作成部と、
前記マスク画像を用いて、前記第１のフレーム画像を構成する各画素について、前記背景領域または前記移動体領域のどちらの領域に含まれるかを判定し、前記背景領域の画素に画像処理を行い、補正フレーム画像を作成する補正フレーム画像作成部と、
を有し、
前記画像表示部は、前記補正フレーム画像を表示し、
前記画像処理はぼかし処理であり、前記移動体領域が前記第１のフレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理システム。
【請求項１２】
複数のフレーム画像で構成される動画像を表示する画像表示部と、
補正対象となる第１のフレーム画像と前記第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および前記第１のフレーム画像と前記第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、前記第１のフレーム画像から移動体を構成する画素を抽出し、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成するマスク画像作成部と、
前記マスク画像を用いて、前記第１のフレーム画像を構成する各画素について、前記背景領域または前記移動体領域のどちらの領域に含まれるかを判定し、前記背景領域の画素に第１の画像処理を行い、かつ、前記移動体領域の画素に第２の画像処理を行うことで、補正フレーム画像を作成する補正フレーム画像作成部と、
を有し、
前記画像表示部は、前記補正フレーム画像を表示し、
前記第１の画像処理と前記第２の画像処理は異なる画像処理であり、
前記第１の画像処理は、ぼかし処理であり、前記移動体領域が前記第１のフレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とする画像処理システム。
【請求項１３】
請求項９又は１０において、
前記補正フレーム画像作成部は、前記移動体領域の前記フレーム画像に占める割合が所定の値よりも小さい場合、前記背景領域の画素に前記ぼかし処理を行わないことを特徴とする画像処理システム。
【請求項１４】
請求項１１又は１２において、
前記補正フレーム画像作成部は、前記移動体領域の前記第１のフレーム画像に占める割合が所定の値よりも小さい場合、前記第１の画像処理では、前記背景領域の画素に前記ぼかし処理を行わないことを特徴とする画像処理システム。
【請求項１５】
請求項１１又は１２において、
前記補正フレーム画像作成部は、前記第２の画像処理として、鮮鋭化処理、コントラストを強調するコントラスト変換処理、および輪郭強調処理のうちの少なくとも１つの画像処理を行うことを特徴とする画像処理システム。
【請求項１６】
請求項９乃至１５のいずれか１項において、
前記補正フレーム画像作成部は、前記ぼかし処理として、平均化処理、メディアンフィルタ処理、コントラストを弱めるコントラスト変換処理、およびモザイク処理のうちの少なくとも１つの画像処理を行うことを特徴とする画像処理システム。
【請求項１７】
画像処理装置が複数のフレーム画像で構成される動画像の画像処理を行うためのコンピュータプログラムであり、
少なくとも１つのフレーム画像から移動体を抽出して、前記フレーム画像を、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とに区分する処理と、
前記背景領域に画像処理を行い、補正フレーム画像を作成する処理と、
を含む画像処理を、前記画像処理装置に実行させ、
前記補正フレーム画像を作成する処理で前記背景領域に行われる前記画像処理は、ぼかし処理であり、前記移動体領域が前記フレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とするコンピュータプログラム。
【請求項１８】
画像処理装置が複数のフレーム画像で構成される動画像の画像処理を行うためのコンピュータプログラムであり、
少なくとも１つのフレーム画像から移動体を抽出して、前記フレーム画像を、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とに区分する処理と、
当該フレーム画像の前記背景領域に第１の画像処理を行い、かつ、前記移動体領域に第２の画像処理を行うことで、補正フレーム画像を作成する処理と、
を含む画像処理を、前記画像処理装置に実行させ、
前記第１の画像処理と前記第２の画像処理は異なる画像処理であり、
前記第１の画像処理は、ぼかし処理であり、前記移動体領域が前記フレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とするコンピュータプログラム。
【請求項１９】
画像処理装置が複数のフレーム画像で構成される動画像の画像処理を行うためのコンピュータプログラムであり、
補正対象となる第１のフレーム画像と前記第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および前記第１のフレーム画像と前記第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、前記第１のフレーム画像から移動体を構成する画素を抽出し、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成する処理と、
前記マスク画像を用いて、前記第１のフレーム画像を構成する各画素について、前記背景領域または前記移動体領域のどちらの領域に含まれるかを判定し、前記背景領域の画素に画像処理を行い、補正フレーム画像を作成する処理と、
を含む画像処理を、前記画像処理装置に実行させ、
前記補正フレーム画像を作成する処理で前記背景領域に行われる前記画像処理は、ぼかし処理であり、前記移動体領域が前記第１のフレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とするコンピュータプログラム。
【請求項２０】
画像処理装置が複数のフレーム画像で構成される動画像の画像処理を行うためのコンピュータプログラムであり、
補正対象となる第１のフレーム画像と前記第１のフレーム画像のｋフレーム前（ｋは自然数）の第２のフレーム画像との差分、および前記第１のフレーム画像と前記第１のフレーム画像のｋフレーム後の第３のフレーム画像との差分をもとに、前記第１のフレーム画像から移動体を構成する画素を抽出し、前記移動体を構成する画素群でなる移動体領域と、前記移動体を構成しない画素群でなる背景領域とでなるマスク画像を作成する処理と、
前記マスク画像を用いて、前記第１のフレーム画像を構成する各画素について、前記背景領域または前記移動体領域のどちらの領域に含まれるかを判定し、前記背景領域の画素に第１の画像処理を行い、かつ、前記移動体領域の画素に第２の画像処理を行うことで、補正フレーム画像を作成する処理と、
を含む画像処理を、前記画像処理装置に実行させ、
前記第１の画像処理と前記第２の画像処理は異なる画像処理であり、
前記第１の画像処理は、ぼかし処理であり、前記移動体領域が前記第１のフレーム画像に占める割合が大きいほど、前記背景領域へのぼかしの効果を強調する画像処理であることを特徴とするコンピュータプログラム。
【請求項２１】
請求項１７又は１８において、
前記移動体領域の前記フレーム画像に占める割合が所定の値よりも小さい場合、前記背景領域の画素にぼかし処理を行わないことを特徴とするコンピュータプログラム。
【請求項２２】
請求項１９又は２０において、
前記移動体領域の前記第１のフレーム画像に占める割合が所定の値よりも小さい場合、前記第１の画像処理では、前記画素にぼかし処理を行わないことを特徴とするコンピュータプログラム。
【請求項２３】
請求項１９又は２０において、
前記補正フレーム画像作成部は、前記第２の画像処理として、鮮鋭化処理、コントラストを強調するコントラスト変換処理、および輪郭強調処理のうちの少なくとも１つの画像処理を行うことを特徴とするコンピュータプログラム。
【請求項２４】
請求項１７乃至２３のいずれか１項において、
前記ぼかし処理として、平均化処理、メディアンフィルタ処理、コントラストを弱めるコントラスト変換処理、およびモザイク処理のうちの少なくとも１つの画像処理を行うことを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−２３９９０３（Ｐ２００９−２３９９０３Ａ）
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願番号】特願２００９−４５８４４（Ｐ２００９−４５８４４）
【出願日】平成２１年２月２７日（２００９．２．２７）
【出願人】（０００１５３８７８）株式会社半導体エネルギー研究所 (5,264)
【Ｆターム（参考）】
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願日】平成２１年２月２７日（２００９．２．２７）
【出願人】（０００１５３８７８）株式会社半導体エネルギー研究所 (5,264)
【Ｆターム（参考）】
[ Back to top ]