画像処理装置及びその制御方法
【課題】簡易な構成で、フレームレート変換後の映像に対し、フレームレートを高めることなくダイナミックレンジを向上する。
【解決手段】本発明の画像処理装置は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、前記フレームレート変換手段から出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、を有する。
【解決手段】本発明の画像処理装置は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、前記フレームレート変換手段から出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
ハイダイナミックレンジ（ＨＤＲ）動画を表現するための技術は、例えば、特許文献１に開示されている。具体的には、特許文献１には、異なる２つのアルゴリズムを交互に使用することにより、１フレームの原画像から１フレームのＨＤＲ画像を生成する技術が開示されている。
一方、入力画像から高輝度領域の階調性が高められた画像（低輝度画像）と低輝度領域の階調性が高められた画像（高輝度画像）を生成し、それら２つの画像を交互に表示することにより、ダイナミックレンジを見かけ上向上することができる。以後、このようにダイナミックレンジが向上された映像をＨＤＲ映像と呼ぶ。しかしながら、このような方法で入力映像からＨＤＲ映像を生成すると、図１１に示すように、ＨＤＲ映像のフレームレートが入力映像のフレームレートの倍であるにも関わらず、見かけ上のフレームレートが入力映像のフレームレートのままとなってしまう。また、入力映像に対してフレームレート変換（補間フレーム画像の生成）を行った後に、上記方法でＨＤＲ映像を生成すると、図１２に示すように、ＨＤＲ映像のフレームレートが高くなってしまう。具体的には、ＨＤＲ映像のフレームレートは、フレームレート変換された入力映像のフレームレートの倍となる。そのため、ＨＤＲ映像のフレームレートが表示装置で表示可能な映像のフレームレートを超えてしまう虞がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−０４６８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、簡易な構成で、フレームレート変換後の映像に対し、フレームレートを高めることなくダイナミックレンジを向上することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の第１の態様は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、前記フレームレート変換手段から出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、を有する画像処理装置である。
【０００６】
本発明の第２の態様は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、前記フレームレート変換手段から出力される前記入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、前記フレームレート変換手段から出力される前記補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する画像処理手段と、前記高周波成分画像に対して高輝度領域の階調性を高める処理を施すと共に、前記低周波成分画像に対して低輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、を有する画像処理装置である。
【０００７】
本発明の第３の態様は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換ステップと、前記フレームレート変換ステップで出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成ステップと、を有する画像処理装置の制御方法である。
【０００８】
本発明の第４の態様は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換ステップと、前記フレームレート変換ステップで出力される前記入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、前記フレームレート変換ステップで出力される前記補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する画像処理ステップと、前記高周波成分画像に対して高輝度領域の階調性を高める処理を施すと共に、前記低周波成分画像に対して低輝度領域の階調性を高める処理を施すＨＤＲ映像生成ステップと、を有する画像処理装置の制御方法である。
【発明の効果】
【０００９】
本発明によれば、簡易な構成で、フレームレート変換後の映像に対し、フレームレートを高めることなくダイナミックレンジを向上することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る画像処理装置の構成の一例を示す図。
【図２】実施例１に係る画像処理装置の処理の流れの一例を示す図。
【図３】実施例１に係る画像処理装置による一連の処理の一例を示す図。
【図４】実施例２に係る画像処理装置の構成の一例を示す図。
【図５】実施例２に係る画像処理装置の処理の流れの一例を示す図。
【図６】実施例２に係る低周波平均画像生成処理の流れの一例を示す図。
【図７】実施例２に係る高周波強調画像生成処理の流れの一例を示す図。
【図８】実施例２に係る駆動分配処理の一例を示す図。
【図９】実施例２に係るＨＤＲ画像生成処理の一例を示す図。
【図１０】実施例２に係る画像処理装置による一連の処理の一例を示す図。
【図１１】本発明の課題を示す図。
【図１２】本発明の課題を示す図。
【図１３】本実施例に係るＨＤＲ画像生成処理で用いるＬＵＴの一例を示す図。
【発明を実施するための形態】
【００１１】
＜実施例１＞
本実施例では、入力映像から高輝度領域の階調性が高められたフレーム画像（Ｌ）と低輝度領域の階調性が高められたフレーム画像（Ｈ）が交互に並んだ映像を生成することにより、ダイナミックレンジを見かけ上向上する。以後、フレーム画像Ｈとフレーム画像Ｌが交互に並んだ映像をハイダイナミックレンジ（ＨＤＲ）映像と呼ぶ。
以下、本実施例に係る画像処理装置及びその制御方法について説明する。本実施例に係る画像処理装置はＨＤＲ映像を生成する。
【００１２】
（構成）
図１は、本実施例に係る画像処理装置の概略構成の一例を示すブロック図である。
映像入力部１０１は、入力された映像（入力映像）を構成するフレーム画像（データ）をフレームレート変換処理部１０３及びフレームメモリ１０２へ出力する。以後、入力映像を構成するフレーム画像を入力フレーム画像と記載する。
フレームメモリ１０２は、１フレーム分の入力フレーム画像を蓄積する。
フレームレート変換処理部１０３は、映像入力部１０１からの入力フレーム画像とフレームメモリ１０２に蓄積された入力フレーム画像（映像入力部１０１からの入力フレーム画像よりも１フレーム前の入力フレーム画像）から、動きベクトルを検出する。そして、検出した動きベクトルを用いて２つの入力フレーム画像を補間する補間フレーム画像を生成する。動きベクトルを用いた補間フレーム画像の生成方法は、一般的に知られている技術を用いるため、ここでは詳細な説明は省略する。フレームレート変換処理部１０３は、入力フレーム画像と補間フレーム画像を交互に出力する（フレームレート変換手段）。
ＨＤＲ生成処理部１０５は、フレームレート変換処理部１０３から出力される入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、補間フレーム画像に対して高輝度領域の階調性を高める処理を施す（ＨＤＲ映像生成手段）。それにより、入力映像をダイナミックレンジが見かけ上向上されたＨＤＲ映像に変換される。低輝度領域、高輝度領域は、例えば、それぞれ、所定の輝度値（入力輝度の中間値など）以下の領域、所定の輝度値（入力輝度の中間値など）以上の領域である。ただし、入力輝度を均等に複数（３つ以上）の輝度範囲に分割し、最も低輝度側の輝度範囲の領域を低輝度領域、最も高輝度側の輝度範囲を高輝度領域としてもよい。低輝度領域、高輝度領域の階調性は、例えば、ルックアップテーブル（ＬＵＴ）を用いて高められる。そのＬＵＴの一例を図１３に示す。図１３は、横軸を入力輝度（変換前の輝度値）、縦軸を出力輝度（変換後の輝度値）として、ＬＵＴをガンマ補正関数で表した図である。図１３（ａ）は、高輝度領域の階調性を高める処理に用いるＬＵＴ（関数）の一例を示す。図１３（ａ）のＬＵＴを用いることにより、入力された画像を、高輝度領域の階調がより細かく表現された画像に階調変換できる。具体的には、領域の輝度が高いほど階調性が高められ、領域の輝度が低いほど階調性が低下される。図１３（ｂ）は、低輝度領域の階調性を高める処理に用いるＬＵＴ（関数）の一例を示す。図１３（ｂ）のＬＵＴを用いることにより、入力された画像を、低輝度領域の階調がより細かく表現された画像に階調変換できる。具体的には、領域の輝度が低いほど階調性が高められ、領域の輝度が高いほど階調性が低下される。なお、高輝度領域の階調性を高める処理が施された画像は、元の画像に比べ輝度が低くなるため、以後、低輝度画像と記載する。低輝度領域の階調性を高める処理が施された画像は、元の画像に比べ輝度が高くなるため、以後、高輝度画像と記載する。
映像出力部１０６は、ＨＤＲ生成処理部１０５から出力されたＨＤＲ映像を他の画像処理装置、表示装置（表示部）、メモリなどの蓄積部に出力する（映像出力手段）。
【００１３】
（ＨＤＲ映像の生成）
図２のフローチャートを用いて、ＨＤＲ映像が生成されるまでの処理の流れについて説明する。
まず、映像入力部１０１が、入力フレーム画像をフレームメモリ１０２へ書き込むと共に、該入力フレーム画像をフレームレート変換処理部１０３へ出力する（Ｓ２０１）。
次に、フレームレート変換処理部１０３が、映像入力部１０１からの入力フレーム画像とフレームメモリ１０２から読み出した１フレーム前の入力フレーム画像（前フレーム画像）とから、動きベクトルを検出する。そして、検出した動きベクトルに基づいて、補間フレーム画像を生成し、入力フレーム画像と補間フレーム画像をフレームレートを倍速変換して交互に出力する（Ｓ２０２；フレームレート変換処理（ＦＲＣ））。
そして、ＨＤＲ生成処理部１０５が、フレームレート変換処理部１０３から出力されたフレーム画像が入力フレーム画像なのか、補間フレーム画像なのかを判定する（Ｓ２０３）。該判定は、例えば、フレーム画像に重畳された識別信号（例えば、入力フレーム画像や補間フレーム画像であることを示す識別情報）に基づいて判定すればよい。フレームレート変換処理部１０３が補間フレーム画像に識別情報を付加することにより、ＨＤＲ生成処理部１０５が各フレーム画像に補間フレーム画像であることを示す識別情報が付加されているか否かを判定することができる。また、最初に入力される画像がどちらの画像なのかを予め規定することにより判定してもよい（入力フレーム画像と補間フレーム画像は交
互に出力されるので判定可能である）。
フレームレート変換処理部１０３から出力されたフレーム画像が入力フレーム画像である場合は（Ｓ２０３：ＹＥＳ）、該画像を高輝度画像に変換し、映像出力部１０６へ出力する（Ｓ２０４）。
フレームレート変換処理部１０３から出力されたフレーム画像が補間フレーム画像である場合は（Ｓ２０３：ＮＯ）、該画像を低輝度画像に変換し、映像出力部１０６へ出力する（Ｓ２０５）。Ｓ２０４およびＳ２０５の処理をＨＤＲ変換処理と呼ぶ。
次に、映像出力部１０６が、ＨＤＲ生成処理部１０５において生成された画像（高輝度画像、低輝度画像）を他の画像処理装置、表示装置、メモリなどの蓄積部に出力する（Ｓ２０６；映像出力処理）。映像出力部１０６が、ＨＤＲ生成処理部１０５により生成された高輝度画像と低輝度画像とを交互に出力し、表示装置（表示部）で表示することで、入力映像のダイナミックレンジが見かけ上向上する。
【００１４】
図３は、本実施例に係る画像処理装置による一連の処理（フレームレート変換処理、ＨＤＲ映像生成処理、映像出力処理）の様子を示した例である。ここでは、フレームレート変換処理部１０３から出力されたｉ番目（ｉは１以上の整数）のフレーム画像（データ）をＦ［ｉ］とする。
図３に示すように、本実施例では、入力フレーム画像Ｆ［１］，Ｆ［３］，Ｆ［５］・・・から検出された動きベクトルを用いて、補間フレーム画像Ｆ［２］，Ｆ［４］，Ｆ［６］・・・が生成される。そして、入力フレーム画像Ｆ［１］，Ｆ［３］，Ｆ［５］・・・が高輝度画像１Ｈ，３Ｈ，５Ｈ・・・に、補間フレーム画像Ｆ［２］，Ｆ［４］，Ｆ［６］・・・が低輝度画像２Ｌ，４Ｌ，６Ｌ・・・に変換される。そして、そのような構成により、見かけ上のフレームレートを実際のフレームレート（図の例では１２０Ｈｚ）と一致させることができ、且つ、（見かけ上の）ダイナミックレンジを向上することができる。また、人間の目は暗い画像に対してノイズや輪郭の検知能力が低い。そこで、補間フレーム画像を低輝度画像に変換することにより、フレームレート変換処理おける補間ミス（動きベクトルの誤検出など）を目立たなくすることができる。
【００１５】
以上述べたように、本実施例によれば、入力フレーム画像を高輝度画像に変換し、補間フレーム画像を低輝度画像に変換するという簡易な構成で、フレームレート変換後の映像に対し、フレームレートを高めることなくダイナミックレンジを向上することができる。換言すれば、フレームレート変換処理のみを行う場合の構成とほぼ同等の構成（フレームメモリ、メモリ帯域）で、フレームレートを高めることなくダイナミックレンジを向上することができる。
【００１６】
＜実施例２＞
以下、本実施例に係る画像処理装置及びその制御方法について説明する。
本実施例では、フレーム画像を空間周波数の異なる複数のフレーム画像（サブフレーム画像）に分離して出力する方式（駆動分配方式）の画像処理装置において、ＨＤＲ映像を生成する構成について説明を行う。
（構成）
図４は、本実施例に係る画像処理装置の概略構成の一例を示すブロック図である。本実施例に係る画像処理装置は、実施例１の構成に加え、駆動分配処理部４１１を有する。以下では、実施例１と同様の機能については説明を省略し、実施例１と異なる機能について説明する。
駆動分配処理部４１１は、フレームレート変換処理部１０３から出力される入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する（画像処理手段）。本実施例では、フレームレート変換処理部１０３から出力される入力フレーム画像の高周波成分を、該入力フレーム画像から抽出した高周波成分を用いて強調することにより高周波成分画像を生成する。以後、
この高周波成分画像を高周波強調画像と記載する。また、フレームレート変換処理部１０３から出力される補間フレーム画像の低周波成分と、当該補間フレーム画像の１フレーム後の入力フレーム画像の低周波成分とを平均化することにより低周波成分画像を生成する。以後、この低周波成分画像を低周波平均画像と記載する。なお、高周波成分画像と低周波成分画像はこれに限らない。例えば、入力フレーム画像から抽出した高周波成分、低周波成分によって表される画像（後述するＨ［ｉ］，Ｌ［ｉ］など）を高周波成分画像、低周波成分画像としてもよい。本実施例では、補間フレーム画像の高周波成分が低減されるため、補間ミスが目立たなくされる。
ＨＤＲ生成処理部１０５は、高周波強調画像に対して高輝度領域の階調性を高める処理を施すと共に、低周波平均画像に対して低輝度領域の階調性を高める処理を施す。即ち、高周波強調画像は低輝度画像に変換され、低周波平均画像は高輝度画像に変換される。なお、低輝度画像、高輝度画像への変換方法は実施例１と同様のため、説明は省略する。また、本実施例において高周波強調画像を低輝度画像に変換するのは、高輝度画像に変換すると、高周波部分の輝度値（オーバーシュート部分の輝度値）が、取りうる輝度値の最大値を超えてしまう虞があるからである。上述したように、本実施例では、補間フレーム画像の低周波成分が強調されるため、補間フレーム画像から生成された低周波平均画像を低輝度画像に変換しなくても、十分補間ミスは目立たない。
【００１７】
以下、駆動分配処理部４１１の具体的な構成について説明する。
以下の説明では、フレームレート変換処理部１０３から出力されたｉ番目（ｉは１以上の整数）のフレーム画像（データ）をＦ［ｉ］とする。
ローパスフィルタ（ＬＰＦ）４０２は、２次元のローパスフィルタである。このフィルタは特に関数を規定するものではない。ＬＰＦ４０２の処理によって得られるフレーム画像（データ）Ｌ［ｉ］（低周波成分）を以下のように定義する。
Ｌ［ｉ］＝ＬＰＦ［Ｆ［ｉ］］・・・（式１）
減算器４０３は、フレーム画像Ｆ［ｉ］からフレーム画像Ｌ［ｉ］を減算することにより、フレーム画像（データ）Ｈ［ｉ］（高周波成分）を算出する。
Ｈ［ｉ］＝Ｆ［ｉ］−Ｌ［ｉ］・・・（式２）
加算器４０４は、フレーム画像Ｈ［ｉ］をフレーム画像Ｆ［ｉ］に加算することにより、空間的に高周波成分の多い高周波強調画像（データ）ＳＨ［ｉ］を生成する。ただし、この加算器４０４は、フレーム画像Ｆ［ｉ］が入力フレーム画像である場合のみ、高周波強調画像ＳＨ［ｉ］を生成する。言い換えれば、フレーム画像Ｆ［ｉ］が補間フレーム画像である場合は、高周波強調画像ＳＨ［ｉ］を生成しない。
ＳＨ［ｉ］＝Ｆ［ｉ］＋Ｈ［ｉ］＝Ｌ［ｉ］＋２×Ｈ［ｉ］・・・（式３）
フレームディレイ４０５は、フレームメモリ４０６にフレーム画像Ｌ［ｉ］を書き込み、フレームメモリ４０６から１フレーム前のフレーム画像Ｌ［ｉ−１］を読み出す。
フレームメモリ４０６は、ＬＰＦ４０２で生成されたフレーム画像を１フレーム分遅延させるために、フレーム画像を蓄積するメモリである。
加算器４０７は、フレーム画像Ｌ［ｉ−１］と、当該フレーム画像Ｌ［ｉ−１］の１フレーム後のフレーム画像Ｌ［ｉ］とを加算し、出力する。ただし、この加算器４０７は、フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分である場合のみ、加算処理を行う。言い換えれば、フレーム画像Ｌ［ｉ−１］が入力フレーム画像の低周波成分である場合は、加算処理を行わない。
除算器４０８は、加算器４０７から出力されたフレーム画像データを２で除算することにより、低周波平均画像（データ）ＳＬ［ｉ−１］を生成する。この低周波平均画像ＳＬ［ｉ−１］は、フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分である場合にのみ生成されることになる。言い換えれば、フレーム画像Ｌ［ｉ−１］が入力フレーム画像の低周波成分である場合は、低周波平均画像ＳＬ［ｉ−１］は生成されない。
ＳＬ［ｉ−１］＝｛Ｌ［ｉ−１］＋Ｌ［ｉ］｝／２・・・（式４）
なお、フレームメモリ１０２，４０６は共通のメモリであってもよい。
【００１８】
（低周波平均画像生成処理）
図６のフローチャートを用いて、低周波平均画像が生成されるまでの処理の流れについて説明する。
まず、ＬＰＦ４０２が、入力映像に対して空間周波数の上限を限定することにより、フレーム画像Ｌ［ｉ］を生成する（Ｓ６０１；フィルタ処理）。
次に、フレームディレイ４０５が、フレーム画像Ｌ［ｉ］をフレームメモリ４０６へ書き込む（Ｓ６０２；フレーム遅延）。
そして、フレームディレイ４０５が、フレームメモリ４０６から１フレーム前のフレーム画像Ｌ［ｉ−１］を読み出し、加算器４０７が、フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分であるか否かを判定する（Ｓ６０３）。フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分である場合は（Ｓ６０３；ＹＥＳ）、加算器４０７は、フレーム画像Ｌ［ｉ−１］とフレーム画像Ｌ［ｉ］を加算し、出力する。そして、Ｓ６０４へ進む。フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分でない場合、即ち、フレーム画像Ｌ［ｉ−１］が入力フレーム画像（非補間フレーム画像）の低周波成分である場合は（Ｓ６０３；ＮＯ）、加算処理は行われず、低周波平均画像生成処理は終了される。即ち、低周波平均画像ＳＬ［ｉ］は生成されない。
Ｓ６０４では、除算器４０８が、加算器４０７から出力されたデータを２で除算することにより、低周波平均画像ＳＬ［ｉ］を生成する（平均値算出）。
【００１９】
（高周波強調画像生成処理）
図７のフローチャートを用いて、高周波強調画像が生成されるまでの処理の流れについて説明する。
まず、減算器４０３が、フレーム画像Ｆ［ｉ］からフレーム画像Ｌ［ｉ］を減算することにより、フレーム画像Ｈ［ｉ］を生成する（Ｓ７０１；差分算出）。
次に、加算器４０４が、フレーム画像Ｆ［ｉ］が入力フレーム画像であるか否かを判定する（Ｓ７０２）。フレーム画像Ｆ［ｉ］が入力フレーム画像（非補間フレーム画像）である場合は（Ｓ７０２；ＹＥＳ）、加算器４０４は、フレーム画像Ｈ［ｉ］をフレーム画像Ｆ［ｉ］に加算することにより、高周波強調画像ＳＨ［ｉ］を生成する（Ｓ７０３；差分加算）。フレーム画像Ｆ［ｉ］が入力フレーム画像でない場合、即ち、フレーム画像Ｆ［ｉ］が補間フレーム画像である場合は（Ｓ７０２；ＮＯ）、高周波強調画像ＳＨ［ｉ］は生成されない。
図８（ａ）は、入力フレーム画像／補間フレーム画像の１ライン分の輝度値の一例を示す。図８（ｂ）は、図８（ａ）の補間フレーム画像Ｆ［ｉ−１］に対して生成された低周波平均画像ＳＬ［ｉ−１］の１ライン分の輝度値の一例を示す。図８（ｃ）は、図８（ａ）の入力フレーム画像Ｆ［ｉ］に対して生成された高周波強調画像ＳＨ［ｉ］の１ライン分の輝度値の一例を示す。
【００２０】
（ＨＤＲ映像の生成）
図５のフローチャートを用いて、ＨＤＲ映像が生成されるまでの処理の流れについて説明する。
まず、映像入力部１０１が、入力フレーム画像をフレームメモリ１０２へ書き込むと共に、該入力フレーム画像をフレームレート変換処理部１０３へ出力する（Ｓ５０１）。
次に、フレームレート変換処理部１０３が、入力フレーム画像とフレームメモリ１０２から読み出した１フレーム前の入力フレーム画像とから、動きベクトルを検出する。そして、検出した動きベクトルに基づいて、補間フレーム画像を生成し、入力フレーム画像と補間フレーム画像をフレームレートを倍速変換して駆動分配処理部４１１へ交互に出力する（Ｓ５０２；フレームレート変換処理）。
そして、駆動分配処理部４１１が、図６で説明した低周波平均画像生成処理を行い、低周波平均画像をＨＤＲ生成処理部１０５へ出力する（Ｓ５０３）。
次に、駆動分配処理部４１１が、図７で説明した高周波強調画像生成処理を行い、高周波強調画像をＨＤＲ生成処理部１０５へ出力する（Ｓ５０４）。Ｓ５０３およびＳ５０４の処理を駆動分配処理と呼ぶ。
そして、ＨＤＲ生成処理部１０５が、入力されたフレーム画像（高周波強調画像及び低周波平均画像）の元のフレーム画像が入力フレーム画像なのか、補間フレーム画像なのかを判定する（Ｓ５０５）。
駆動分配処理部４１１から出力されたフレーム画像の元のフレーム画像が入力フレーム画像（非補間フレーム画像）である場合は（Ｓ５０５：ＹＥＳ）、入力された高周波強調画像を低輝度画像に変換し、映像出力部１０６へ出力する（Ｓ５０６）。低輝度画像への変換には、図１３（ａ）に例示したようなルックアップテーブル（ＬＵＴ）を用いる。
駆動分配処理部４１１から出力されたフレーム画像の元のフレーム画像が補間フレーム画像である場合は（Ｓ５０５：ＮＯ）、入力された低周波平均画像を高輝度画像に変換し、映像出力部１０６へ出力する（Ｓ５０７）。高輝度画像への変換には、図１３（ｂ）に例示したようなルックアップテーブル（ＬＵＴ）を用いる。Ｓ５０６およびＳ５０７の処理をＨＤＲ映像生成処理と呼ぶ。
次に、映像出力部１０６が、ＨＤＲ生成処理部１０５において生成された画像（高輝度画像、低輝度画像）を他の画像処理装置、表示装置、メモリなどの蓄積部に出力する（Ｓ５０８；映像出力処理）。映像出力部１０６が、ＨＤＲ生成処理部１０５により生成された高輝度画像と低輝度画像とを交互に出力し、表示装置（表示部）で表示することで、入力映像のダイナミックレンジが見かけ上向上する。
【００２１】
図９（ａ）は、低周波平均画像と、該画像から生成された高輝度画像の一例を示している。図９（ｂ）は、高周波強調画像と、該画像から生成された低輝度画像の一例を示している。図９（ｂ）に示すように、高周波強調画像はオーバーシュート部分を含んでいるため、高周波強調画像から低輝度画像を生成する構成にする。図９（ｂ）から、高周波強調画像を低輝度画像に変換することで、高周波部分（エッジ部分）における輝度値のオーバーシュート部分を表現できることがわかる。
【００２２】
図１０は、本実施例に係る画像処理装置による一連の処理（フレームレート変換、駆動分配処理、ＨＤＲ映像生成処理、映像出力処理）の様子を示した例である。
図１０に示すように、本実施例では、駆動分配方式の画像処理装置において、入力フレーム画像から生成された高周波強調画像が低輝度画像（Ｌ）に変換され、補間フレーム画像から生成された低周波平均画像が高輝度画像（Ｈ）に変換される。そして、そのような構成により、見かけ上のフレームレートを実際のフレームレート（図の例では１２０Ｈｚ）と一致させることができ、且つ、ダイナミックレンジを向上することができる。また、補間フレーム画像から低周波平均画像を生成することにより、補間ミスを目立たなくすることができる。
以上述べたように、本実施例の構成によれば、駆動分配方式の画像処理装置において実施例１と同様の効果を得ることができる。
【符号の説明】
【００２３】
１０３ フレームレート変換処理部
１０５ ＨＤＲ生成処理部
４１１ 駆動分配処理部
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
ハイダイナミックレンジ（ＨＤＲ）動画を表現するための技術は、例えば、特許文献１に開示されている。具体的には、特許文献１には、異なる２つのアルゴリズムを交互に使用することにより、１フレームの原画像から１フレームのＨＤＲ画像を生成する技術が開示されている。
一方、入力画像から高輝度領域の階調性が高められた画像（低輝度画像）と低輝度領域の階調性が高められた画像（高輝度画像）を生成し、それら２つの画像を交互に表示することにより、ダイナミックレンジを見かけ上向上することができる。以後、このようにダイナミックレンジが向上された映像をＨＤＲ映像と呼ぶ。しかしながら、このような方法で入力映像からＨＤＲ映像を生成すると、図１１に示すように、ＨＤＲ映像のフレームレートが入力映像のフレームレートの倍であるにも関わらず、見かけ上のフレームレートが入力映像のフレームレートのままとなってしまう。また、入力映像に対してフレームレート変換（補間フレーム画像の生成）を行った後に、上記方法でＨＤＲ映像を生成すると、図１２に示すように、ＨＤＲ映像のフレームレートが高くなってしまう。具体的には、ＨＤＲ映像のフレームレートは、フレームレート変換された入力映像のフレームレートの倍となる。そのため、ＨＤＲ映像のフレームレートが表示装置で表示可能な映像のフレームレートを超えてしまう虞がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−０４６８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、簡易な構成で、フレームレート変換後の映像に対し、フレームレートを高めることなくダイナミックレンジを向上することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の第１の態様は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、前記フレームレート変換手段から出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、を有する画像処理装置である。
【０００６】
本発明の第２の態様は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、前記フレームレート変換手段から出力される前記入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、前記フレームレート変換手段から出力される前記補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する画像処理手段と、前記高周波成分画像に対して高輝度領域の階調性を高める処理を施すと共に、前記低周波成分画像に対して低輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、を有する画像処理装置である。
【０００７】
本発明の第３の態様は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換ステップと、前記フレームレート変換ステップで出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成ステップと、を有する画像処理装置の制御方法である。
【０００８】
本発明の第４の態様は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換ステップと、前記フレームレート変換ステップで出力される前記入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、前記フレームレート変換ステップで出力される前記補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する画像処理ステップと、前記高周波成分画像に対して高輝度領域の階調性を高める処理を施すと共に、前記低周波成分画像に対して低輝度領域の階調性を高める処理を施すＨＤＲ映像生成ステップと、を有する画像処理装置の制御方法である。
【発明の効果】
【０００９】
本発明によれば、簡易な構成で、フレームレート変換後の映像に対し、フレームレートを高めることなくダイナミックレンジを向上することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る画像処理装置の構成の一例を示す図。
【図２】実施例１に係る画像処理装置の処理の流れの一例を示す図。
【図３】実施例１に係る画像処理装置による一連の処理の一例を示す図。
【図４】実施例２に係る画像処理装置の構成の一例を示す図。
【図５】実施例２に係る画像処理装置の処理の流れの一例を示す図。
【図６】実施例２に係る低周波平均画像生成処理の流れの一例を示す図。
【図７】実施例２に係る高周波強調画像生成処理の流れの一例を示す図。
【図８】実施例２に係る駆動分配処理の一例を示す図。
【図９】実施例２に係るＨＤＲ画像生成処理の一例を示す図。
【図１０】実施例２に係る画像処理装置による一連の処理の一例を示す図。
【図１１】本発明の課題を示す図。
【図１２】本発明の課題を示す図。
【図１３】本実施例に係るＨＤＲ画像生成処理で用いるＬＵＴの一例を示す図。
【発明を実施するための形態】
【００１１】
＜実施例１＞
本実施例では、入力映像から高輝度領域の階調性が高められたフレーム画像（Ｌ）と低輝度領域の階調性が高められたフレーム画像（Ｈ）が交互に並んだ映像を生成することにより、ダイナミックレンジを見かけ上向上する。以後、フレーム画像Ｈとフレーム画像Ｌが交互に並んだ映像をハイダイナミックレンジ（ＨＤＲ）映像と呼ぶ。
以下、本実施例に係る画像処理装置及びその制御方法について説明する。本実施例に係る画像処理装置はＨＤＲ映像を生成する。
【００１２】
（構成）
図１は、本実施例に係る画像処理装置の概略構成の一例を示すブロック図である。
映像入力部１０１は、入力された映像（入力映像）を構成するフレーム画像（データ）をフレームレート変換処理部１０３及びフレームメモリ１０２へ出力する。以後、入力映像を構成するフレーム画像を入力フレーム画像と記載する。
フレームメモリ１０２は、１フレーム分の入力フレーム画像を蓄積する。
フレームレート変換処理部１０３は、映像入力部１０１からの入力フレーム画像とフレームメモリ１０２に蓄積された入力フレーム画像（映像入力部１０１からの入力フレーム画像よりも１フレーム前の入力フレーム画像）から、動きベクトルを検出する。そして、検出した動きベクトルを用いて２つの入力フレーム画像を補間する補間フレーム画像を生成する。動きベクトルを用いた補間フレーム画像の生成方法は、一般的に知られている技術を用いるため、ここでは詳細な説明は省略する。フレームレート変換処理部１０３は、入力フレーム画像と補間フレーム画像を交互に出力する（フレームレート変換手段）。
ＨＤＲ生成処理部１０５は、フレームレート変換処理部１０３から出力される入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、補間フレーム画像に対して高輝度領域の階調性を高める処理を施す（ＨＤＲ映像生成手段）。それにより、入力映像をダイナミックレンジが見かけ上向上されたＨＤＲ映像に変換される。低輝度領域、高輝度領域は、例えば、それぞれ、所定の輝度値（入力輝度の中間値など）以下の領域、所定の輝度値（入力輝度の中間値など）以上の領域である。ただし、入力輝度を均等に複数（３つ以上）の輝度範囲に分割し、最も低輝度側の輝度範囲の領域を低輝度領域、最も高輝度側の輝度範囲を高輝度領域としてもよい。低輝度領域、高輝度領域の階調性は、例えば、ルックアップテーブル（ＬＵＴ）を用いて高められる。そのＬＵＴの一例を図１３に示す。図１３は、横軸を入力輝度（変換前の輝度値）、縦軸を出力輝度（変換後の輝度値）として、ＬＵＴをガンマ補正関数で表した図である。図１３（ａ）は、高輝度領域の階調性を高める処理に用いるＬＵＴ（関数）の一例を示す。図１３（ａ）のＬＵＴを用いることにより、入力された画像を、高輝度領域の階調がより細かく表現された画像に階調変換できる。具体的には、領域の輝度が高いほど階調性が高められ、領域の輝度が低いほど階調性が低下される。図１３（ｂ）は、低輝度領域の階調性を高める処理に用いるＬＵＴ（関数）の一例を示す。図１３（ｂ）のＬＵＴを用いることにより、入力された画像を、低輝度領域の階調がより細かく表現された画像に階調変換できる。具体的には、領域の輝度が低いほど階調性が高められ、領域の輝度が高いほど階調性が低下される。なお、高輝度領域の階調性を高める処理が施された画像は、元の画像に比べ輝度が低くなるため、以後、低輝度画像と記載する。低輝度領域の階調性を高める処理が施された画像は、元の画像に比べ輝度が高くなるため、以後、高輝度画像と記載する。
映像出力部１０６は、ＨＤＲ生成処理部１０５から出力されたＨＤＲ映像を他の画像処理装置、表示装置（表示部）、メモリなどの蓄積部に出力する（映像出力手段）。
【００１３】
（ＨＤＲ映像の生成）
図２のフローチャートを用いて、ＨＤＲ映像が生成されるまでの処理の流れについて説明する。
まず、映像入力部１０１が、入力フレーム画像をフレームメモリ１０２へ書き込むと共に、該入力フレーム画像をフレームレート変換処理部１０３へ出力する（Ｓ２０１）。
次に、フレームレート変換処理部１０３が、映像入力部１０１からの入力フレーム画像とフレームメモリ１０２から読み出した１フレーム前の入力フレーム画像（前フレーム画像）とから、動きベクトルを検出する。そして、検出した動きベクトルに基づいて、補間フレーム画像を生成し、入力フレーム画像と補間フレーム画像をフレームレートを倍速変換して交互に出力する（Ｓ２０２；フレームレート変換処理（ＦＲＣ））。
そして、ＨＤＲ生成処理部１０５が、フレームレート変換処理部１０３から出力されたフレーム画像が入力フレーム画像なのか、補間フレーム画像なのかを判定する（Ｓ２０３）。該判定は、例えば、フレーム画像に重畳された識別信号（例えば、入力フレーム画像や補間フレーム画像であることを示す識別情報）に基づいて判定すればよい。フレームレート変換処理部１０３が補間フレーム画像に識別情報を付加することにより、ＨＤＲ生成処理部１０５が各フレーム画像に補間フレーム画像であることを示す識別情報が付加されているか否かを判定することができる。また、最初に入力される画像がどちらの画像なのかを予め規定することにより判定してもよい（入力フレーム画像と補間フレーム画像は交
互に出力されるので判定可能である）。
フレームレート変換処理部１０３から出力されたフレーム画像が入力フレーム画像である場合は（Ｓ２０３：ＹＥＳ）、該画像を高輝度画像に変換し、映像出力部１０６へ出力する（Ｓ２０４）。
フレームレート変換処理部１０３から出力されたフレーム画像が補間フレーム画像である場合は（Ｓ２０３：ＮＯ）、該画像を低輝度画像に変換し、映像出力部１０６へ出力する（Ｓ２０５）。Ｓ２０４およびＳ２０５の処理をＨＤＲ変換処理と呼ぶ。
次に、映像出力部１０６が、ＨＤＲ生成処理部１０５において生成された画像（高輝度画像、低輝度画像）を他の画像処理装置、表示装置、メモリなどの蓄積部に出力する（Ｓ２０６；映像出力処理）。映像出力部１０６が、ＨＤＲ生成処理部１０５により生成された高輝度画像と低輝度画像とを交互に出力し、表示装置（表示部）で表示することで、入力映像のダイナミックレンジが見かけ上向上する。
【００１４】
図３は、本実施例に係る画像処理装置による一連の処理（フレームレート変換処理、ＨＤＲ映像生成処理、映像出力処理）の様子を示した例である。ここでは、フレームレート変換処理部１０３から出力されたｉ番目（ｉは１以上の整数）のフレーム画像（データ）をＦ［ｉ］とする。
図３に示すように、本実施例では、入力フレーム画像Ｆ［１］，Ｆ［３］，Ｆ［５］・・・から検出された動きベクトルを用いて、補間フレーム画像Ｆ［２］，Ｆ［４］，Ｆ［６］・・・が生成される。そして、入力フレーム画像Ｆ［１］，Ｆ［３］，Ｆ［５］・・・が高輝度画像１Ｈ，３Ｈ，５Ｈ・・・に、補間フレーム画像Ｆ［２］，Ｆ［４］，Ｆ［６］・・・が低輝度画像２Ｌ，４Ｌ，６Ｌ・・・に変換される。そして、そのような構成により、見かけ上のフレームレートを実際のフレームレート（図の例では１２０Ｈｚ）と一致させることができ、且つ、（見かけ上の）ダイナミックレンジを向上することができる。また、人間の目は暗い画像に対してノイズや輪郭の検知能力が低い。そこで、補間フレーム画像を低輝度画像に変換することにより、フレームレート変換処理おける補間ミス（動きベクトルの誤検出など）を目立たなくすることができる。
【００１５】
以上述べたように、本実施例によれば、入力フレーム画像を高輝度画像に変換し、補間フレーム画像を低輝度画像に変換するという簡易な構成で、フレームレート変換後の映像に対し、フレームレートを高めることなくダイナミックレンジを向上することができる。換言すれば、フレームレート変換処理のみを行う場合の構成とほぼ同等の構成（フレームメモリ、メモリ帯域）で、フレームレートを高めることなくダイナミックレンジを向上することができる。
【００１６】
＜実施例２＞
以下、本実施例に係る画像処理装置及びその制御方法について説明する。
本実施例では、フレーム画像を空間周波数の異なる複数のフレーム画像（サブフレーム画像）に分離して出力する方式（駆動分配方式）の画像処理装置において、ＨＤＲ映像を生成する構成について説明を行う。
（構成）
図４は、本実施例に係る画像処理装置の概略構成の一例を示すブロック図である。本実施例に係る画像処理装置は、実施例１の構成に加え、駆動分配処理部４１１を有する。以下では、実施例１と同様の機能については説明を省略し、実施例１と異なる機能について説明する。
駆動分配処理部４１１は、フレームレート変換処理部１０３から出力される入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する（画像処理手段）。本実施例では、フレームレート変換処理部１０３から出力される入力フレーム画像の高周波成分を、該入力フレーム画像から抽出した高周波成分を用いて強調することにより高周波成分画像を生成する。以後、
この高周波成分画像を高周波強調画像と記載する。また、フレームレート変換処理部１０３から出力される補間フレーム画像の低周波成分と、当該補間フレーム画像の１フレーム後の入力フレーム画像の低周波成分とを平均化することにより低周波成分画像を生成する。以後、この低周波成分画像を低周波平均画像と記載する。なお、高周波成分画像と低周波成分画像はこれに限らない。例えば、入力フレーム画像から抽出した高周波成分、低周波成分によって表される画像（後述するＨ［ｉ］，Ｌ［ｉ］など）を高周波成分画像、低周波成分画像としてもよい。本実施例では、補間フレーム画像の高周波成分が低減されるため、補間ミスが目立たなくされる。
ＨＤＲ生成処理部１０５は、高周波強調画像に対して高輝度領域の階調性を高める処理を施すと共に、低周波平均画像に対して低輝度領域の階調性を高める処理を施す。即ち、高周波強調画像は低輝度画像に変換され、低周波平均画像は高輝度画像に変換される。なお、低輝度画像、高輝度画像への変換方法は実施例１と同様のため、説明は省略する。また、本実施例において高周波強調画像を低輝度画像に変換するのは、高輝度画像に変換すると、高周波部分の輝度値（オーバーシュート部分の輝度値）が、取りうる輝度値の最大値を超えてしまう虞があるからである。上述したように、本実施例では、補間フレーム画像の低周波成分が強調されるため、補間フレーム画像から生成された低周波平均画像を低輝度画像に変換しなくても、十分補間ミスは目立たない。
【００１７】
以下、駆動分配処理部４１１の具体的な構成について説明する。
以下の説明では、フレームレート変換処理部１０３から出力されたｉ番目（ｉは１以上の整数）のフレーム画像（データ）をＦ［ｉ］とする。
ローパスフィルタ（ＬＰＦ）４０２は、２次元のローパスフィルタである。このフィルタは特に関数を規定するものではない。ＬＰＦ４０２の処理によって得られるフレーム画像（データ）Ｌ［ｉ］（低周波成分）を以下のように定義する。
Ｌ［ｉ］＝ＬＰＦ［Ｆ［ｉ］］・・・（式１）
減算器４０３は、フレーム画像Ｆ［ｉ］からフレーム画像Ｌ［ｉ］を減算することにより、フレーム画像（データ）Ｈ［ｉ］（高周波成分）を算出する。
Ｈ［ｉ］＝Ｆ［ｉ］−Ｌ［ｉ］・・・（式２）
加算器４０４は、フレーム画像Ｈ［ｉ］をフレーム画像Ｆ［ｉ］に加算することにより、空間的に高周波成分の多い高周波強調画像（データ）ＳＨ［ｉ］を生成する。ただし、この加算器４０４は、フレーム画像Ｆ［ｉ］が入力フレーム画像である場合のみ、高周波強調画像ＳＨ［ｉ］を生成する。言い換えれば、フレーム画像Ｆ［ｉ］が補間フレーム画像である場合は、高周波強調画像ＳＨ［ｉ］を生成しない。
ＳＨ［ｉ］＝Ｆ［ｉ］＋Ｈ［ｉ］＝Ｌ［ｉ］＋２×Ｈ［ｉ］・・・（式３）
フレームディレイ４０５は、フレームメモリ４０６にフレーム画像Ｌ［ｉ］を書き込み、フレームメモリ４０６から１フレーム前のフレーム画像Ｌ［ｉ−１］を読み出す。
フレームメモリ４０６は、ＬＰＦ４０２で生成されたフレーム画像を１フレーム分遅延させるために、フレーム画像を蓄積するメモリである。
加算器４０７は、フレーム画像Ｌ［ｉ−１］と、当該フレーム画像Ｌ［ｉ−１］の１フレーム後のフレーム画像Ｌ［ｉ］とを加算し、出力する。ただし、この加算器４０７は、フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分である場合のみ、加算処理を行う。言い換えれば、フレーム画像Ｌ［ｉ−１］が入力フレーム画像の低周波成分である場合は、加算処理を行わない。
除算器４０８は、加算器４０７から出力されたフレーム画像データを２で除算することにより、低周波平均画像（データ）ＳＬ［ｉ−１］を生成する。この低周波平均画像ＳＬ［ｉ−１］は、フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分である場合にのみ生成されることになる。言い換えれば、フレーム画像Ｌ［ｉ−１］が入力フレーム画像の低周波成分である場合は、低周波平均画像ＳＬ［ｉ−１］は生成されない。
ＳＬ［ｉ−１］＝｛Ｌ［ｉ−１］＋Ｌ［ｉ］｝／２・・・（式４）
なお、フレームメモリ１０２，４０６は共通のメモリであってもよい。
【００１８】
（低周波平均画像生成処理）
図６のフローチャートを用いて、低周波平均画像が生成されるまでの処理の流れについて説明する。
まず、ＬＰＦ４０２が、入力映像に対して空間周波数の上限を限定することにより、フレーム画像Ｌ［ｉ］を生成する（Ｓ６０１；フィルタ処理）。
次に、フレームディレイ４０５が、フレーム画像Ｌ［ｉ］をフレームメモリ４０６へ書き込む（Ｓ６０２；フレーム遅延）。
そして、フレームディレイ４０５が、フレームメモリ４０６から１フレーム前のフレーム画像Ｌ［ｉ−１］を読み出し、加算器４０７が、フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分であるか否かを判定する（Ｓ６０３）。フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分である場合は（Ｓ６０３；ＹＥＳ）、加算器４０７は、フレーム画像Ｌ［ｉ−１］とフレーム画像Ｌ［ｉ］を加算し、出力する。そして、Ｓ６０４へ進む。フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分でない場合、即ち、フレーム画像Ｌ［ｉ−１］が入力フレーム画像（非補間フレーム画像）の低周波成分である場合は（Ｓ６０３；ＮＯ）、加算処理は行われず、低周波平均画像生成処理は終了される。即ち、低周波平均画像ＳＬ［ｉ］は生成されない。
Ｓ６０４では、除算器４０８が、加算器４０７から出力されたデータを２で除算することにより、低周波平均画像ＳＬ［ｉ］を生成する（平均値算出）。
【００１９】
（高周波強調画像生成処理）
図７のフローチャートを用いて、高周波強調画像が生成されるまでの処理の流れについて説明する。
まず、減算器４０３が、フレーム画像Ｆ［ｉ］からフレーム画像Ｌ［ｉ］を減算することにより、フレーム画像Ｈ［ｉ］を生成する（Ｓ７０１；差分算出）。
次に、加算器４０４が、フレーム画像Ｆ［ｉ］が入力フレーム画像であるか否かを判定する（Ｓ７０２）。フレーム画像Ｆ［ｉ］が入力フレーム画像（非補間フレーム画像）である場合は（Ｓ７０２；ＹＥＳ）、加算器４０４は、フレーム画像Ｈ［ｉ］をフレーム画像Ｆ［ｉ］に加算することにより、高周波強調画像ＳＨ［ｉ］を生成する（Ｓ７０３；差分加算）。フレーム画像Ｆ［ｉ］が入力フレーム画像でない場合、即ち、フレーム画像Ｆ［ｉ］が補間フレーム画像である場合は（Ｓ７０２；ＮＯ）、高周波強調画像ＳＨ［ｉ］は生成されない。
図８（ａ）は、入力フレーム画像／補間フレーム画像の１ライン分の輝度値の一例を示す。図８（ｂ）は、図８（ａ）の補間フレーム画像Ｆ［ｉ−１］に対して生成された低周波平均画像ＳＬ［ｉ−１］の１ライン分の輝度値の一例を示す。図８（ｃ）は、図８（ａ）の入力フレーム画像Ｆ［ｉ］に対して生成された高周波強調画像ＳＨ［ｉ］の１ライン分の輝度値の一例を示す。
【００２０】
（ＨＤＲ映像の生成）
図５のフローチャートを用いて、ＨＤＲ映像が生成されるまでの処理の流れについて説明する。
まず、映像入力部１０１が、入力フレーム画像をフレームメモリ１０２へ書き込むと共に、該入力フレーム画像をフレームレート変換処理部１０３へ出力する（Ｓ５０１）。
次に、フレームレート変換処理部１０３が、入力フレーム画像とフレームメモリ１０２から読み出した１フレーム前の入力フレーム画像とから、動きベクトルを検出する。そして、検出した動きベクトルに基づいて、補間フレーム画像を生成し、入力フレーム画像と補間フレーム画像をフレームレートを倍速変換して駆動分配処理部４１１へ交互に出力する（Ｓ５０２；フレームレート変換処理）。
そして、駆動分配処理部４１１が、図６で説明した低周波平均画像生成処理を行い、低周波平均画像をＨＤＲ生成処理部１０５へ出力する（Ｓ５０３）。
次に、駆動分配処理部４１１が、図７で説明した高周波強調画像生成処理を行い、高周波強調画像をＨＤＲ生成処理部１０５へ出力する（Ｓ５０４）。Ｓ５０３およびＳ５０４の処理を駆動分配処理と呼ぶ。
そして、ＨＤＲ生成処理部１０５が、入力されたフレーム画像（高周波強調画像及び低周波平均画像）の元のフレーム画像が入力フレーム画像なのか、補間フレーム画像なのかを判定する（Ｓ５０５）。
駆動分配処理部４１１から出力されたフレーム画像の元のフレーム画像が入力フレーム画像（非補間フレーム画像）である場合は（Ｓ５０５：ＹＥＳ）、入力された高周波強調画像を低輝度画像に変換し、映像出力部１０６へ出力する（Ｓ５０６）。低輝度画像への変換には、図１３（ａ）に例示したようなルックアップテーブル（ＬＵＴ）を用いる。
駆動分配処理部４１１から出力されたフレーム画像の元のフレーム画像が補間フレーム画像である場合は（Ｓ５０５：ＮＯ）、入力された低周波平均画像を高輝度画像に変換し、映像出力部１０６へ出力する（Ｓ５０７）。高輝度画像への変換には、図１３（ｂ）に例示したようなルックアップテーブル（ＬＵＴ）を用いる。Ｓ５０６およびＳ５０７の処理をＨＤＲ映像生成処理と呼ぶ。
次に、映像出力部１０６が、ＨＤＲ生成処理部１０５において生成された画像（高輝度画像、低輝度画像）を他の画像処理装置、表示装置、メモリなどの蓄積部に出力する（Ｓ５０８；映像出力処理）。映像出力部１０６が、ＨＤＲ生成処理部１０５により生成された高輝度画像と低輝度画像とを交互に出力し、表示装置（表示部）で表示することで、入力映像のダイナミックレンジが見かけ上向上する。
【００２１】
図９（ａ）は、低周波平均画像と、該画像から生成された高輝度画像の一例を示している。図９（ｂ）は、高周波強調画像と、該画像から生成された低輝度画像の一例を示している。図９（ｂ）に示すように、高周波強調画像はオーバーシュート部分を含んでいるため、高周波強調画像から低輝度画像を生成する構成にする。図９（ｂ）から、高周波強調画像を低輝度画像に変換することで、高周波部分（エッジ部分）における輝度値のオーバーシュート部分を表現できることがわかる。
【００２２】
図１０は、本実施例に係る画像処理装置による一連の処理（フレームレート変換、駆動分配処理、ＨＤＲ映像生成処理、映像出力処理）の様子を示した例である。
図１０に示すように、本実施例では、駆動分配方式の画像処理装置において、入力フレーム画像から生成された高周波強調画像が低輝度画像（Ｌ）に変換され、補間フレーム画像から生成された低周波平均画像が高輝度画像（Ｈ）に変換される。そして、そのような構成により、見かけ上のフレームレートを実際のフレームレート（図の例では１２０Ｈｚ）と一致させることができ、且つ、ダイナミックレンジを向上することができる。また、補間フレーム画像から低周波平均画像を生成することにより、補間ミスを目立たなくすることができる。
以上述べたように、本実施例の構成によれば、駆動分配方式の画像処理装置において実施例１と同様の効果を得ることができる。
【符号の説明】
【００２３】
１０３ フレームレート変換処理部
１０５ ＨＤＲ生成処理部
４１１ 駆動分配処理部
【特許請求の範囲】
【請求項１】
入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、
前記フレームレート変換手段から出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、
を有する画像処理装置。
【請求項２】
前記フレームレート変換手段は、入力映像を構成する入力フレーム画像から動きベクトルを検出し、前記検出した動きベクトルを用いて２つの入力フレーム画像を補間する補間フレーム画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ＨＤＲ映像生成手段は、低輝度領域の階調性を高めるルックアップテーブルを用いて階調変換することにより、前記低輝度領域の階調性を高める処理を行い、高輝度領域の階調性を高めるルックアップテーブルを用いて階調変換することにより、前記高輝度領域の階調性を高める処理を行う
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
さらに、前記ＨＤＲ映像生成手段により、前記低輝度領域の階調性を高める処理が施された前記入力フレーム画像と、前記高輝度領域の階調性を高める処理が施された前記補間フレーム画像とを交互に表示部に出力する映像出力手段を備える
ことを特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。
【請求項５】
入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、
前記フレームレート変換手段から出力される前記入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、前記フレームレート変換手段から出力される前記補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する画像処理手段と、
前記高周波成分画像に対して高輝度領域の階調性を高める処理を施すと共に、前記低周波成分画像に対して低輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、
を有する画像処理装置。
【請求項６】
前記画像処理手段は、前記フレームレート変換手段から出力される前記入力フレーム画像の高周波成分を、該入力フレーム画像から抽出した高周波成分を用いて強調することにより前記高周波成分画像を生成し、前記フレームレート変換手段から出力される前記補間フレーム画像の低周波成分と、当該補間フレーム画像の１フレーム後の前記入力フレーム画像の低周波成分とを平均化することにより前記低周波成分画像を生成する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記フレームレート変換手段は、入力映像を構成する入力フレーム画像から動きベクトルを検出し、前記検出した動きベクトルを用いて２つの入力フレーム画像を補間する補間フレーム画像を生成する
ことを特徴とする請求項５または請求項６に記載の画像処理装置。
【請求項８】
前記ＨＤＲ映像生成手段は、高輝度領域の階調性を高めるルックアップテーブルを用いて階調変換することにより、前記高輝度領域の階調性を高める処理を行い、低輝度領域の階調性を高めるルックアップテーブルを用いて階調変換することにより、前記低輝度領域の階調性を高める処理を行う
ことを特徴とする請求項５から請求項７までのいずれか１項に記載の画像処理装置。
【請求項９】
さらに、前記ＨＤＲ映像生成手段により、前記高輝度領域の階調性を高める処理が施された前記高周波成分画像と、前記低輝度領域の階調性を高める処理が施された前記低周波成分画像とを交互に表示部に出力する映像出力手段を備える
ことを特徴とする請求項５から請求項８までのいずれか１項に記載の画像処理装置。
【請求項１０】
入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換ステップと、
前記フレームレート変換ステップで出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成ステップと、
を有する画像処理装置の制御方法。
【請求項１１】
入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換ステップと、
前記フレームレート変換ステップで出力される前記入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、前記フレームレート変換ステップで出力される前記補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する画像処理ステップと、
前記高周波成分画像に対して高輝度領域の階調性を高める処理を施すと共に、前記低周波成分画像に対して低輝度領域の階調性を高める処理を施すＨＤＲ映像生成ステップと、を有する画像処理装置の制御方法。
【請求項１２】
前記画像処理ステップでは、前記フレームレート変換ステップで出力される前記入力フレーム画像の高周波成分を、該入力フレーム画像から抽出した高周波成分を用いて強調することにより前記高周波成分画像を生成し、前記フレームレート変換ステップで出力される前記補間フレーム画像の低周波成分と、当該補間フレーム画像の１フレーム後の前記入力フレーム画像の低周波成分とを平均化することにより前記低周波成分画像を生成する
ことを特徴とする請求項１１に記載の画像処理装置の制御方法。
【請求項１】
入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、
前記フレームレート変換手段から出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、
を有する画像処理装置。
【請求項２】
前記フレームレート変換手段は、入力映像を構成する入力フレーム画像から動きベクトルを検出し、前記検出した動きベクトルを用いて２つの入力フレーム画像を補間する補間フレーム画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ＨＤＲ映像生成手段は、低輝度領域の階調性を高めるルックアップテーブルを用いて階調変換することにより、前記低輝度領域の階調性を高める処理を行い、高輝度領域の階調性を高めるルックアップテーブルを用いて階調変換することにより、前記高輝度領域の階調性を高める処理を行う
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
さらに、前記ＨＤＲ映像生成手段により、前記低輝度領域の階調性を高める処理が施された前記入力フレーム画像と、前記高輝度領域の階調性を高める処理が施された前記補間フレーム画像とを交互に表示部に出力する映像出力手段を備える
ことを特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。
【請求項５】
入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、
前記フレームレート変換手段から出力される前記入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、前記フレームレート変換手段から出力される前記補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する画像処理手段と、
前記高周波成分画像に対して高輝度領域の階調性を高める処理を施すと共に、前記低周波成分画像に対して低輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、
を有する画像処理装置。
【請求項６】
前記画像処理手段は、前記フレームレート変換手段から出力される前記入力フレーム画像の高周波成分を、該入力フレーム画像から抽出した高周波成分を用いて強調することにより前記高周波成分画像を生成し、前記フレームレート変換手段から出力される前記補間フレーム画像の低周波成分と、当該補間フレーム画像の１フレーム後の前記入力フレーム画像の低周波成分とを平均化することにより前記低周波成分画像を生成する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記フレームレート変換手段は、入力映像を構成する入力フレーム画像から動きベクトルを検出し、前記検出した動きベクトルを用いて２つの入力フレーム画像を補間する補間フレーム画像を生成する
ことを特徴とする請求項５または請求項６に記載の画像処理装置。
【請求項８】
前記ＨＤＲ映像生成手段は、高輝度領域の階調性を高めるルックアップテーブルを用いて階調変換することにより、前記高輝度領域の階調性を高める処理を行い、低輝度領域の階調性を高めるルックアップテーブルを用いて階調変換することにより、前記低輝度領域の階調性を高める処理を行う
ことを特徴とする請求項５から請求項７までのいずれか１項に記載の画像処理装置。
【請求項９】
さらに、前記ＨＤＲ映像生成手段により、前記高輝度領域の階調性を高める処理が施された前記高周波成分画像と、前記低輝度領域の階調性を高める処理が施された前記低周波成分画像とを交互に表示部に出力する映像出力手段を備える
ことを特徴とする請求項５から請求項８までのいずれか１項に記載の画像処理装置。
【請求項１０】
入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換ステップと、
前記フレームレート変換ステップで出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成ステップと、
を有する画像処理装置の制御方法。
【請求項１１】
入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換ステップと、
前記フレームレート変換ステップで出力される前記入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、前記フレームレート変換ステップで出力される前記補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する画像処理ステップと、
前記高周波成分画像に対して高輝度領域の階調性を高める処理を施すと共に、前記低周波成分画像に対して低輝度領域の階調性を高める処理を施すＨＤＲ映像生成ステップと、を有する画像処理装置の制御方法。
【請求項１２】
前記画像処理ステップでは、前記フレームレート変換ステップで出力される前記入力フレーム画像の高周波成分を、該入力フレーム画像から抽出した高周波成分を用いて強調することにより前記高周波成分画像を生成し、前記フレームレート変換ステップで出力される前記補間フレーム画像の低周波成分と、当該補間フレーム画像の１フレーム後の前記入力フレーム画像の低周波成分とを平均化することにより前記低周波成分画像を生成する
ことを特徴とする請求項１１に記載の画像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−５９０９２（Ｐ２０１３−５９０９２Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１２−２４６１８４（Ｐ２０１２−２４６１８４）
【出願日】平成２４年１１月８日（２０１２．１１．８）
【分割の表示】特願２０１１−４７０８（Ｐ２０１１−４７０８）の分割
【原出願日】平成２３年１月１３日（２０１１．１．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２４年１１月８日（２０１２．１１．８）
【分割の表示】特願２０１１−４７０８（Ｐ２０１１−４７０８）の分割
【原出願日】平成２３年１月１３日（２０１１．１．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]