画像処理装置及びその制御方法
【課題】動画像用処理回路を用いて、動画像のフレーム画像データよりも大サイズの静止画像データに対し高画質な画像処理を行う。
【解決手段】大サイズの静止画像データをフレーム画像データのサイズ以下の分割静止画像データに分割し、各分割静止画像データを複数の局所領域に分割し、局所領域毎の局所統計量を生成し、局所統計量を用いて各局所領域の画質変換を行うことにより、各分割静止画像データの画質変換を行う。画質変換した各分割静止画像データを縮小して結合する。各分割静止画像データの全体統計量を生成し、生成した複数の全体統計量から一つの全体統計量を算出し、一つの全体統計量を用いて、前記結合して得た結合画像データの画質変換を行う。前記縮小の縮小率は、結合画像データのサイズが前記フレーム画像データのサイズ以下となるように決定する。
【解決手段】大サイズの静止画像データをフレーム画像データのサイズ以下の分割静止画像データに分割し、各分割静止画像データを複数の局所領域に分割し、局所領域毎の局所統計量を生成し、局所統計量を用いて各局所領域の画質変換を行うことにより、各分割静止画像データの画質変換を行う。画質変換した各分割静止画像データを縮小して結合する。各分割静止画像データの全体統計量を生成し、生成した複数の全体統計量から一つの全体統計量を算出し、一つの全体統計量を用いて、前記結合して得た結合画像データの画質変換を行う。前記縮小の縮小率は、結合画像データのサイズが前記フレーム画像データのサイズ以下となるように決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
近年のデジタルテレビは画素数１９２０×１０８０（ＦＨＤ：Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）のハイビジョン動画像データの処理に対応したハードウェアを搭載している。このハードウェアは、動画像データの１秒当たりのフレーム数に追随してリアルタイムにＦＨＤサイズの画像データを処理できる能力を有している。
【０００３】
このハードウェアが実行する画像処理には、解像度変換処理や画質変換処理などがある。解像度変換処理は、入力される画像データを表示装置の表示性能に合わせて拡大又は縮小する処理である。画質変換処理は、ユーザにとってより望ましい画像データになるように行われる高画質化処理である。
【０００４】
画質変換処理には、用いる統計量と処理対象となる画像領域とによって二種類の処理方法がある。一つは、動画像を構成するフレーム画像データを複数の局所領域に分割して、各局所領域の画像データの統計量に適応したきめ細かい画質変換処理を行う方法である。以下、これを局所画質変換処理と呼ぶ。もう一つは、フレーム画像データの全体の統計量に応じてフレーム画像データの全体に対して画質変換処理を行う方法である。以下、これを全体画質変換処理と呼ぶ。
【０００５】
ところで、デジタルカメラなどで撮影された静止画像データをデジタルテレビに表示させて鑑賞するニーズがある。静止画像データの処理を、デジタルテレビに搭載されたハードウェアを用いて行えば、高速に解像度変換や画質変換処理を行うことができる。
【０００６】
近年のデジタルカメラ等で撮影された静止画像データの画素数は、例えば２０００万画素など、ＦＨＤサイズを超えるものも多い。ＦＨＤサイズを超える画素数（以下、超ＦＨＤサイズと呼ぶ）の画像データをＦＨＤ対応のデジタルテレビにおいて鑑賞などのために画像処理するには、別途、超ＦＨＤサイズの画像データの処理に対応した画像処理回路を増設する必要がある。または、事前に専用回路を用いて超ＦＨＤサイズの画像データをＦＨＤサイズの画像データに縮小する必要がある。
【０００７】
特許文献１には、動画像用の圧縮回路で静止画像の圧縮を行う画像圧縮装置において、圧縮回路が圧縮可能な解像度を超える静止画像を圧縮する場合は、高解像度の静止画像を圧縮回路で圧縮可能な解像度の静止画像に分割して個別に処理することが提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−３５５７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
サイズの大きい画像データには様々な画像要素が含まれている場合があるので、サイズが大きい画像データほど、より細かく領域分割を行い、よりきめ細かい局所画質変換処理を行うことが望ましい。特許文献１に記載の発明のように、動画像用処理回路を用いて静止画像データの処理を行う構成では、高解像度の静止画像データの処理において、動画像
用処理回路の処理性能による制約がある。そのため、動画像用処理回路が適合する動画像のフレーム画像データのサイズより大サイズの静止画像データに対しては粗い局所画質変換処理が行われることになってしまう。動画像データよりサイズの大きい静止画像データに対して、専用回路を用いてよりきめ細かい局所画質変換処理を行うようにした場合は、回路規模の増大につながるという課題がある。
【００１０】
本発明は、動画像用処理回路で処理可能な動画像を構成するフレーム画像データのサイズより大サイズの静止画像データに対して、動画像用処理回路を用いて高画質な画像処理を行うことが可能な画像処理装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、入力された動画像を構成する各フレーム画像データに対して、当該フレーム画像データを複数の局所領域に分割し、局所領域毎に画像処理を行うことが可能な画像処理装置であって、
前記動画像のフレーム画像データよりも大サイズの静止画像データの入力があった場合に、
前記静止画像データを前記フレーム画像データのサイズ以下となるように分割する静止画分割手段と、
前記静止画分割手段で分割された各分割静止画像データのそれぞれを複数の局所領域に分割し、局所領域毎の局所統計量を生成する局所統計量生成手段と、
分割静止画像データの全体統計量を分割静止画像データ毎に生成する全体統計量生成手段と、
前記局所統計量生成手段で生成された局所領域毎の局所統計量を用いて、対応する各局所領域の画質変換を実行する局所画質変換処理手段と、
前記局所画質変換処理手段で画質が変換された分割静止画像データの縮小処理を行う縮小手段と、
前記縮小手段で縮小された各分割静止画像データを結合する結合手段と、
分割静止画像データ毎に生成された複数の全体統計量を用いて、一つの全体統計量を算出する算出手段と、
前記算出手段で算出された一つの全体統計量を用いて、前記結合手段で結合されて得られた結合画像データの画質変換を実行する全体画質変換処理手段と、
を有し、
前記縮小手段は、縮小後の各分割静止画像データを結合した結果得られる結合画像データのサイズが前記フレーム画像データのサイズ以下となるように縮小率を決定することを特徴とする画像処理装置である。
【００１２】
本発明は、入力された動画像を構成する各フレーム画像データに対して、当該フレーム画像データを複数の局所領域に分割し、局所領域ごとに画像処理を行うことが可能な画像処理装置の制御方法であって、
前記動画像のフレーム画像データよりも大サイズの静止画像データの入力があった場合に、
前記静止画像データを前記フレーム画像データのサイズ以下となるように分割する静止画分割工程と、
前記静止画分割工程で分割された各分割静止画像データのそれぞれを複数の局所領域に分割し、局所領域毎の局所統計量を生成する局所統計量生成工程と、
分割静止画像データの全体統計量を分割静止画像データ毎に生成する全体統計量生成工程と、
前記局所統計量生成工程で生成された局所領域毎の局所統計量を用いて、対応する各局所領域の画質変換を実行する局所画質変換処理工程と、
前記局所画質変換処理工程で画質が変換された分割静止画像データの縮小処理を行う縮
小工程と、
前記縮小工程で縮小された各分割静止画像データを結合する結合工程と、
分割静止画像データ毎に生成された複数の全体統計量を用いて、一つの全体統計量を算出する算出工程と、
前記算出工程で算出された一つの全体統計量を用いて、前記結合工程で結合されて得られた結合画像データの画質変換を実行する全体画質変換処理工程と、
を有し、
前記縮小工程は、縮小後の各分割静止画像データを結合した結果得られる結合画像データのサイズが前記フレーム画像データのサイズ以下となるように縮小率を決定することを特徴とする画像処理装置の制御方法である。
【発明の効果】
【００１３】
本発明によれば、動画像用処理回路で処理可能な動画像を構成するフレーム画像データのサイズより大サイズの静止画像データに対して、動画像用処理回路を用いて高画質な画像処理を行うことが可能な画像処理装置及びその制御方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】実施例１の画像表示装置の構成を示すブロック図
【図２】実施例１の超ＦＨＤサイズ静止画像データの処理の概念図
【図３】実施例１の超ＦＨＤサイズ静止画像データの処理のフローチャート
【発明を実施するための形態】
【００１５】
図１は、本発明の一実施例である画像表示装置のブロック図である。画像処理システム部１０１は動画像用画像処理ハードウェアであり、１チップの大規模集積回路に実装されている。画像処理システム部１０１は、ＦＨＤサイズ以下の動画像データ（動画像を構成するフレーム画像データ）を、例えば毎秒６０フレームまたは毎秒１２０フレームなどのフレームレートでリアルタイムに処理できる性能をもつ。画像処理システム部１０１は、主に画像処理部１０２、メモリ制御部１０３、システム制御部１０４で構成されており、その他、画像入力部１０５、画像出力部１１８、パス制御部１２３、ＪＰＥＧデコード部１２４を含む。各部の詳細については後述する。
【００１６】
画像処理システム部１０１には、表示部１２５、フレームメモリ１２６、記録メディア１２７が接続され、これらの機能部で画像表示装置を構成している。なお、図中には示していないが、ユーザは、リモートコントローラなどの入力装置を用いて、所望の指示を画像表示装置に入力し、所望の動作を画像表示装置に行わせることができる。表示部１２５は、画像処理システム部１０１によって処理され出力される画像データの表示を行う。フレームメモリ１２６は、処理中の画像データや表示部１２５に送出する画像データを一時的に蓄積する機能をもつ。記録メディア１２７は、例えばフラッシュメモリカードやＣＤ−ＲＯＭなどであり、ここでは、超ＦＨＤサイズ（動画像のフレーム画像データよりも大サイズ）の静止画像データをＪＰＥＧフォーマットでエンコードしたデータが格納されているとする。
【００１７】
画像処理システム部１０１には、画像入力部１０５を介して動画像データが入力される。画像入力部１０５は、動画像データを次段の画像処理部１０２で処理可能なフォーマットに変換して出力する。一方、静止画像データは、記録メディア１２７からＪＰＥＧフォーマットのデータが読み出されることで画像処理システム部１０１に入力される。ＪＰＥＧフォーマットのデータはＪＰＥＧデコード部１２４に入力される。ＪＰＥＧデコード部１２４は、入力されるＪＰＥＧフォーマットのデータをデコードして超ＦＨＤサイズの静止画像データを生成する。ＪＰＥＧデコード部１２４が生成した静止画像データは、メモリ制御部１０３を介して、フレームメモリ１２６へ展開される。
【００１８】
画像処理部１０２の構成について述べる。画像処理部１０２は、画像データに対して、解像度変換処理や高画質化処理などの処理を行う。画像処理部１０２は、統計量生成部１０７、解像度変換部１１１、画質変換処理部１１３、グラフィックブレンド部１１７、および各部への入出力パスを選択する各種パス選択部（１０６、１１０、１１２、１１６）で構成されている。
【００１９】
統計量生成部１０７は、フレーム画像データに関する画質変換処理に必要となる統計量を生成し保持する。統計量とは、輝度情報や階調毎のヒストグラム情報などである。統計量生成部１０７は、統計量の生成を行う対象領域によって、局所統計量生成部１０８（局所統計量生成手段）と全体統計量生成部１０９（全体統計量生成手段）に分けられる。局所統計量生成部１０８は、フレーム画像データを複数の局所領域に分割し、局所領域毎に画像データの統計量の生成を行う。この局所領域は、後述する局所画質変換処理部１１４での局所画質変換領域に相当する。全体統計量生成部１０９ではフレーム画像データの全体に関する統計量の生成を行う。
【００２０】
解像度変換部１１１は、入力される画像データのサイズと表示部１２５に表示する際のサイズに応じて、画像データを拡大又は縮小する解像度変換処理を行う。解像度変換部１１１は、補間画素のデータを、補間画素の周辺の画素のデータから、例えば線形補間処理など一般的に知られている手法を用いて生成することにより、拡大縮小処理を行う。
【００２１】
画質変換処理部１１３では、入力される画像データがユーザにとってより望ましい画像データとなるようにするための高画質化処理を行う。高画質化処理には、例えば、ノイズリダクション処理、ガンマ変換処理、色補正処理などがある。画質変換処理部１１３は、画質変換処理を行う対象領域によって、局所画質変換処理部１１４（局所画質変換処理手段）と全体画質変換処理部１１５（全体画質変換処理手段）に分けられる。局所画質変換処理部１１４は、フレーム画像データを複数の局所領域（局所画質変換領域）に分割し、局所画質変換領域毎（局所領域毎）に、対応する局所画質変換領域の統計量に応じて、局所画質変換領域の画像データの画質変換処理（局所画質変換処理）を行う。局所画質変換処理部１１４が行う処理には、例えば、局所ガンマ変換処理などがある。フレーム画像データを局所画質変換領域に分割する分割数を増やすことにより、よりきめ細かい処理が可能となる。本実施例では局所画質変換処理部１１４はハードウェアによる実装であり、局所画質変換領域の分割数には一定の上限がある。全体画質変換処理部１１５は、フレーム画像データの全体の統計量に応じて、画像データの全体の画質変換処理（全体画質変換処理）を行う。全体画質変換処理部１１５が行う処理には、例えば、ノイズリダクション処理や色補正処理などがある。
【００２２】
グラフィックブレンド部１１７は、画質変換処理部１１３において高画質化処理された画像データに対して、メニューや画像情報などの各種グラフィックを合成し、最終的に表示部１２５に表示させる画像データを生成する。
【００２３】
画像処理部１０２には、上記の各機能部間のデータフローを制御する各種のパス選択部がある。本実施例の画像処理に係るデータフローの制御は、これらのパス選択部を制御することによって行われる。統計量生成パス選択部１０６は、統計量生成部１０７へ出力する画像データの入力元を選択するもので、画像入力部１０５からの入力と、静止画分割部１１９からの入力と、のいずれかを選択する。解像度変換パス選択部１１０は、解像度変換部１１１へ出力する画像データの入力元を選択するもので、全体統計量生成部１０９からの入力と、局所画質変換処理部１１４からフィードバックされた入力と、のいずれかを選択する。画質変換処理パス選択部１１２は、３系統の入力元からいずれかを選択し、３系統の出力先からいずれかを選択する。３系統の入力元とは、解像度変換部１１１からの
入力、解像度変換部１１１をバイパスした解像度変換パス選択部１１０からの入力、結合画像出力部１２０からの入力である。３系統の出力先とは、局所画質変換処理部１１４への出力、全体画質変換処理部１１５への出力、画質変換処理部１１３をバイパスする画質変換処理出力選択部１１６への出力である。画質変換処理出力選択部１１６は、グラフィックブレンド部１１７へ出力する画像データの入力元を選択する。画質変換処理出力選択部１１６は、局所画質変換処理部１１４からの入力と、全体画質変換処理部１１５からの入力と、画質変換処理部１１３をバイパスする画質変換処理パス選択部１１２からの入力と、のいずれかを選択する。
【００２４】
次に、メモリ制御部１０３の構成について述べる。メモリ制御部１０３は、画像処理部１０２とフレームメモリ１２６との間で画像データの受け渡しを制御する機能をもつ。メモリ制御部１０３は、静止画分割部１１９、結合画像出力部１２０、静止画結合部１２１、メモリ入出力切り換え部１２２で構成されている。これらの各部の動作は、画像処理部１０２とフレームメモリ１２６の間の画像データのやり取りが適切に制御されることで実現されており、ここでは、データフローの関連と機能を図示するために、概念的に示している。動画像データ及び静止画像データそれぞれのデータフローの詳細は後述する。
【００２５】
メモリ入出力切り換え部１２２は、フレームメモリ１２６と各部との画像データの入出力の切り換え機能を担っている。メモリ入出力切り換え部１２２が切り換える入力は、グラフィックブレンド部１１７からの入力とＪＰＥＧデコード部１２４からの入力がある。メモリ入出力切り換え部１２２が切り換える出力は、画像出力部１１８への出力、静止画結合部１２１への出力、静止画分割部１１９への出力、結合画像出力部１２０への出力がある。
【００２６】
静止画分割部１１９（静止画分割手段）は、フレームメモリ１２６に格納された超ＦＨＤサイズの静止画像データを画像処理部１０２にて処理可能なＦＨＤサイズの静止画像データ（分割静止画像データ）に分割して読み出し統計量生成パス選択部１０６に送出する。分割数は、静止画像データのサイズに依存し、対象となる静止画像データを全て含むようにＦＨＤサイズ単位で分割する。なお、本実施例では分割単位をＦＨＤサイズ単位としているが、画像処理部１０２にて処理可能なサイズ（動画像を構成するフレーム画像データのサイズ）以下であれば良く、ＦＨＤサイズ単位に限定されるものではない。静止画分割部１１９は、フレームメモリ１２６に格納されている超ＦＨＤサイズの静止画像データを読み出す際に、分割領域の画像データに対応する読み出しアドレスを生成して読み出しアクセスすることで、画像分割機能を実現する。
【００２７】
静止画結合部１２１（結合手段）は、画像処理部１０２にて縮小処理および局所画質変換処理をした後の静止画像データを結合してフレームメモリ１２６に格納する機能を担う。静止画分割部１１９における分割数分、画像処理部１０２での処理が行われて、画像処理後の静止画像データが分割数分生成されるので、静止画結合部１２１は、それらを全て結合して、一枚のＦＨＤサイズの静止画像データを生成する。静止画結合部１２１は、画像処理後のＦＨＤサイズの静止画像データをフレームメモリ１２６に書き込む際に、結合画像データにおける分割画像データに対応する書き込みアドレスを生成して書き込みアクセスすることで、画像結合機能を実現する。
【００２８】
結合画像出力部１２０は、フレームメモリ１２６内に格納されている結合後の１枚のＦＨＤサイズ静止画像データを読み出して、画質変換処理パス選択部１１２に送出する。
【００２９】
システム制御部１０４は、画像処理システム部１０１、メモリ制御部１０３の各部を制御する。各部の制御信号を図中の破線矢印で示す。システム制御部１０４は、ＣＰＵ、メモリなどで構成され、主にソフトウェアによって実現される機能が実装されている。パス
制御部１２３は、システム制御部１０４からの指示に従って、制御信号を各部に発行し、画像処理部１０２の各種パス選択部のパス切り換え及びメモリ入出力切り換え部１２２のデータ入出力の制御を実行する。
【００３０】
動画像データのデータフローについて図１の構成図を用いて説明する。動画像データは、１フレームずつフレーム画像データが画像処理システム部１０１に入力され、画像入力部１０５を介して画像処理部１０２に入力される。統計量生成パス選択部１０６が画像入力部１０５からの入力を選択し、フレーム画像データが統計量生成部１０７に入力される。フレーム画像データは、局所統計量生成部１０８、全体統計量生成部１０９の順に統計量生成部１０７を通過し、各部において局所統計量及び全体統計量が生成及び取得され、解像度変換パス選択部１１０に入力される。解像度変換パス選択部１１０が全体統計量生成部１０９からの入力を選択し、統計量生成部１０７を通過したフレーム画像データを解像度変換部１１１へ出力する。解像度変換部１１１において、フレーム画像データに対する拡大又は縮小の解像度変換処理が行われ、フレーム画像データは画質変換処理パス選択部１１２に入力される。画質変換処理パス選択部１１２は、解像度変換部１１１からの入力と、局所画質変換処理部１１４への出力を選択して、フレーム画像データを画質変換処理部１１３へ出力する。画質変換処理部１１３へ入力されたフレーム画像データに対して、局所画質変換処理部１１４において、局所ガンマ変換処理などの局所画質変換領域毎の高画質化処理が行われる。局所画質変換処理部１１４は、局所統計量生成部１０８にて取得された局所画質変換領域毎の統計量の情報に基づいて、局所画質変換領域毎に輝度情報や色情報の画質変換処理を行う。
【００３１】
続いて、フレーム画像データに対して、全体画質変換処理部１１５において、色補正処理などのフレーム画像データの全領域にわたる高画質化処理が行われる。全体画質変換処理部１１５は、全体統計量生成部１０９にて取得されたフレーム画像データの全領域に関する統計量情報に基づいて高画質化処理を行う。画質変換処理出力選択部１１６は、全体画質変換処理部１１５からの入力を選択して、画質変換処理部１１３から画質変換処理出力選択部１１６へ出力されるフレーム画像データをグラフィックブレンド部１１７へ出力する。ここで、各種メニューや画像情報等のグラフィックがフレーム画像データに合成されて、最終的に表示部１２５に表示させるフレーム画像データが生成され、メモリ制御部１０３を介してフレームメモリ１２６に書き込まれる。フレームメモリ１２６に格納されたフレーム画像データは、再びメモリ制御部１０３を介して画像出力部１１８に入力される。メモリ制御部１０３におけるグラフィックブレンド部１１７、フレームメモリ１２６、画像出力部１１８の間でのフレーム画像データの入出力切り換えは、メモリ入出力切り換え部１２２により行われる。画像出力部１１８において、フレーム画像データは、表示部１２５に対応した信号フォーマットに変換され、最後に表示部１２５にてフレーム画像データの表示が行われる。以上のフレーム画像データについての処理が、動画像のフレームレート（例えば１秒間に６０フレーム）で順次実行されることで、画像処理システム部１０１に入力された動画像データは、動画像として表示部１２５に表示される。
【００３２】
次に、超ＦＨＤサイズの静止画像データに対する画像処理について説明する。図２は、超ＦＨＤサイズの静止画像データに対して画像処理が行われる場合の静止画像データの変遷を、画像処理の工程毎に概念的に示した図である。
【００３３】
図２（Ａ）は超ＦＨＤサイズの静止画像データを表す。ここでは、処理対象の超ＦＨＤサイズ静止画像データ２０１は、縦横ともにＦＨＤサイズの２倍のサイズ（３８４０×２１６０、ＱＦＨＤともいう）とする。この超ＦＨＤサイズ静止画像データ２０１をＦＨＤサイズ単位で分割すると分割数は４となる。このように、フレーム画像データのサイズを超える静止画像データは、フレーム画像データのサイズ以下となるように分割することとなる。
【００３４】
図２（Ｂ）は、図２（Ａ）の超ＦＨＤサイズ静止画像データ２０１を４分割して得られる４枚の分割画像データ２０２〜２０５を示す図である。分割画像（１）２０２から分割画像（４）２０５は、全てＦＨＤサイズの静止画像データであり、ＦＨＤサイズの動画像データのフレーム画像データと同サイズであり、画像処理部１０２で処理可能なサイズである。図２（Ｂ）において、局所画質変換処理回路適用領域２０６は、局所画質変換処理部１１４における局所画質変換領域に相当する。本実施例では、局所画質変換処理部１１４は、ＦＨＤサイズの画像データを縦４分割、横５分割することで合計２０個の局所画質変換領域に分割し、局所画質変換領域ごとに高画質化処理を行う性能があるとする。また、同様に、局所統計量生成部１０８も、ＦＨＤサイズの画像データを縦４分割、横５分割することで合計２０個の領域に分割し、分割領域ごとに統計量の生成を行う性能があるとする。したがって、局所画質変換処理部１１４は、動画像データに関しては、各フレーム画像データを２０個の局所画質変換領域に分割して、各局所画質変換領域について高画質化処理を行うことが可能な性能を有することになる。またＱＦＨＤサイズの静止画像データに関しては、４分割したＦＨＤサイズの分割画像（１）２０２から分割画像（４）２０５のそれぞれを２０個の局所画質変換領域に分割して、各局所画質変換領域について高画質化処理を行うことが可能な性能を有することになる。局所画質変換領域の分割数は画像処理部１０２が実装される回路性能によって定まる値であり、本実施例では一定値とする。なお、局所画質変換処理部１１４は、画像処理部１０２が実装される回路性能を超えない範囲で、より少ない分割数の局所画質変換領域でＦＨＤサイズの画像データを分割し、より粗い局所画質変換処理を行うことが可能な構成としても良い。
【００３５】
図２（Ｃ）は、図２（Ｂ）の４つの分割画像２０２〜２０５をそれぞれ解像度変換して縮小した４つの縮小画像２０７〜２１０を示す図である。この例では、各分割画像を縦、横ともに１／２に縮小する解像度変換を行っている。図２（Ｃ）の局所画質変換領域２１１は図２（Ｂ）の局所画質変換処理回路適用領域２０６に対応している。解像度変換によって局所画質変換領域２１１のサイズは局所画質変換処理回路適用領域２０６よりも小さくなっているため、画像サイズあたりの分割数で考えた場合、図２（Ｂ）の分割画像よりも図２（Ｃ）の縮小画像の方がより細分化されている。
【００３６】
図２（Ｄ）は、図２（Ｃ）の４つの縮小画像２０７〜２１０を結合して得られるＦＨＤサイズの静止画像データ２１２を示す図である。４つの縮小画像２０７〜２１０を結合することにより、超ＦＨＤサイズ静止画像データ２０１をＦＨＤサイズに解像度変換した静止画像データが得られる。ＦＨＤサイズ静止画像データ２１２の画像サイズあたりの分割数は、図２（Ｃ）の各縮小画像の画像サイズあたりの分割数と同じである。そのため、ＦＨＤサイズ静止画像データ２１２は、結果的に、ＦＨＤサイズの静止画像データを、図２（Ｃ）の局所画質変換領域２１１と同じサイズの分割領域で８０分割して、局所画質変換処理が行われたことになっている。局所画質変換処理部１１４の本来の性能は、ＦＨＤサイズの静止画像データを、図２（Ｂ）の局所画質変換処理回路適用領域２０６のサイズの分割領域で２０分割して、局所画質変換処理を行うことが、本来の上限である。従って、上述した工程で超ＦＨＤサイズの静止画像データを画像処理することにより、局所画質変換処理部１１４の本来の固定性能を超える高精細な局所画質変換処理を行ったのと同等の画像処理結果が得られる。図２（Ｄ）のＦＨＤサイズ静止画像データ２１２に対しては、さらに全体画質変換処理部１１５において全体画質変換処理が行われ、最終的に表示部１２５に表示させる静止画像データとなる。
【００３７】
以上説明した静止画像データの解像度変換の処理フローと回路動作について、図３のフローチャートと図１のブロック図を用いて説明する。まず、ユーザ操作により静止画像データを表示する操作が開始されると、ステップＳ３０１において、ＪＰＥＧデコード部１２４が、指定されたＪＰＥＧフォーマットの画像データのデコード処理を行い、図２（Ａ
）の超ＦＨＤサイズ静止画像データ２０１を生成する。ＪＰＥＧデコード部１２４が生成した静止画像データは、メモリ制御部１０３を介して、フレームメモリ１２６へ展開される。
【００３８】
ステップＳ３０２において、図２（Ｂ）に示す画像分割処理が行われる。この画像分割処理は、静止画分割部１１９によって行われる。静止画分割部１１９は、フレームメモリ１２６内の超ＦＨＤサイズ静止画像データ２０１を図２（Ｂ）に示すように分割画像２０２〜２０５（分割静止画像データ）に４分割した場合の各分割画像データに対応する読み出しアドレスを決定する。そして、静止画分割部１１９は、まず、超ＦＨＤサイズ静止画像データ２０１における分割画像（１）２０２に相当するアドレスの静止画像データを読み出して、統計量生成パス選択部１０６へ出力する。統計量生成パス選択部１０６は、静止画分割部１１９からの入力を選択し、入力される静止画像データを局所統計量生成部１０８へ出力する。
【００３９】
ステップＳ３０３において、分割画像データに関する局所統計量が取得される。局所統計量生成部１０８は、図２（Ｂ）に示す分割画像（１）２０２の２０個の局所画質変換処理回路適用領域２０６ごとの統計量（局所統計量）を取得し、保持する。
【００４０】
ステップＳ３０４において、分割画像データ毎（分割静止画像データ毎）に全体統計量が取得される。全体統計量生成部１０９は、分割画像（１）２０２の画像データの全体の統計量（全体統計量）を取得し、保持する。解像度変換パス選択部１１０は、全体統計量生成部１０９からの入力を選択し、入力される分割画像（１）２０２の画像データを、解像度変換部１１１をパイパスさせて画質変換処理パス選択部１１２へ出力する。画質変換処理パス選択部１１２は、解像度変換パス選択部１１０からの入力を選択し、入力される分割画像（１）２０２の画像データを局所画質変換処理部１１４へ出力する。
【００４１】
ステップＳ３０５において、分割画像データに関する局所画質変換処理が行われる。この局所画質変換処理は、局所画質変換処理部１１４によって行われる。局所画質変換処理部１１４は、図２（Ｂ）に示す分割画像（１）２０２の２０個の局所画質変換処理回路適用領域２０６ごとに高画質化処理を行う。局所画質変換処理部１１４は、局所画質変換処理後の分割画像（１）２０２の画像データを、解像度変換パス選択部１１０へ出力する。
【００４２】
ステップＳ３０６において、分割画像データに関する縮小処理が行われる。この縮小処理は、解像度変換部１１１によって行われる（縮小手段）。解像度変換パス選択部１１０は、局所画質変換処理部１１４からの入力を選択し、入力される局所画質変換処理後の分割画像（１）２０２の画像データを解像度変換部１１１へ出力する。解像度変換部１１１は、分割画像（１）２０２の縦及び横のサイズを１／２に縮小する解像度変換処理を行い、図２（Ｃ）に示す縮小画像（１）２０７を生成する。画質変換処理パス選択部１１２は、解像度変換部１１１からの入力を選択し、入力される縮小後の縮小画像（１）２０７の画像データを、画質変換処理部１１３をバイパスさせて画質変換処理出力選択部１１６へ出力する。画質変換処理出力選択部１１６から出力される縮小画像（１）２０７の画像データは、グラフィックブレンド部１１７、メモリ入出力切り換え部１２２を介して、静止画結合部１２１へ出力される。なお、縮小率は、縮小後の各分割画像データを結合した結果得られる結合画像データのサイズが、ＦＨＤサイズ以下、つまり、本装置で処理可能なフレーム画像データのサイズ以下となるように決定される。
【００４３】
ステップＳ３０７において、縮小画像データの結合が行われる。静止画結合部１２１は、最終的に生成するＦＨＤサイズ静止画像データ２１２において縮小画像（１）２０７が位置すべき領域に対応するフレームメモリ１２６内の書き込みアドレスに、縮小画像（１）２０７の画像データを格納する。
【００４４】
ステップＳ３０８において、全ての分割画像データに対して処理が完了したかの判定が行われる。ここでは、分割画像（１）２０２の画像データに関する上述したステップＳ３０３からステップＳ３０７の処理が分割画像（２）２０３〜分割画像（４）２０５の全てについて行われたか判定される。全ての分割画像データに対して処理が完了していないと判定された場合、処理はステップＳ３０２に戻る。これにより、ステップＳ３０２からステップＳ３０７までが分割領域の数だけ繰り返され、縮小画像（２）２０８から縮小画像（４）２１０が生成される。この時、ステップＳ３０４における全体統計量取得時には、全体統計量生成部１０９は、全ての分割画像の画像データの統計量を加算し、平均化する等して複数の全体統計量から一つの全体統計量を算出する（算出手段）。ステップＳ３０３における局所統計量取得時には、局所統計量生成部１０８は、分割画像データ毎に上書きして統計量を取得してよい。生成された縮小画像（１）〜（４）の画像データは、静止画結合部１２１によって、それぞれが最終的に生成するＦＨＤサイズ静止画像データ２１２において縮小画像（１）〜（４）が位置すべき領域に対応するフレームメモリ１２６内のアドレスに書き込まれる。これにより、ＦＨＤサイズの静止画像データ（結合静止画像データ）が生成される。
【００４５】
ステップＳ３０８にて全ての分割画像データの処理が完了していると判定された場合、ステップＳ３０９において、全体画質変換処理が行われる。この処理は上述した加算された全体統計量を用いて行われるものである。結合画像出力部１２０がＦＨＤサイズの結合静止画像データを読み出して、画質変換処理パス選択部１１２へ出力する。画質変換処理パス選択部１１２は結合画像出力部１２０からの入力と、全体画質変換処理部１１５への出力を選択する。全体画質変換処理部１１５は、入力されるＦＨＤサイズの結合静止画像データの全体に対して画質変換処理を実行し、図２（Ｄ）に示すＦＨＤサイズ静止画像データ２１２を生成する。ＦＨＤサイズ静止画像データ２１２の画像データは、グラフィックブレンド部１１７、メモリ制御部１０３を介して、フレームメモリ１２６に格納される。ステップＳ３０９の処理を実行する機能部が本発明における結合画像処理部として機能している。
【００４６】
最後にステップＳ３１０にて、解像度変換および画質変換処理が完了した静止画像データの表示が行われる。フレームメモリ１２６内のＦＨＤサイズ静止画像データ２１２の画像データが、メモリ制御部１０３、画像出力部１１８を介して表示部１２５へ出力されて、表示が行われる。
【００４７】
以上説明した画像処理装置の構成及び処理フローにより、超ＦＨＤサイズの静止画像データに対し、ＦＨＤサイズの動画像データ用の画像処理回路を用いて解像度変換および画質変換処理を行うことができるので、回路規模の増大を抑えることができる。更に、超ＦＨＤサイズの静止画像データに対する局所画質変換処理に関しては、ＦＨＤサイズの動画像データに対する局所画質変換処理よりも精細な高画質化処理を行うことができる。
【符号の説明】
【００４８】
１０１：画像処理システム部、１０２：画像処理部、１１１：解像度変換部、１１３：画質変換処理部、１１４：局所画質変換処理部、１１５：全体画質変換処理部、１１９：静止画分割部、１２０：結合画像出力部
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
近年のデジタルテレビは画素数１９２０×１０８０（ＦＨＤ：Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）のハイビジョン動画像データの処理に対応したハードウェアを搭載している。このハードウェアは、動画像データの１秒当たりのフレーム数に追随してリアルタイムにＦＨＤサイズの画像データを処理できる能力を有している。
【０００３】
このハードウェアが実行する画像処理には、解像度変換処理や画質変換処理などがある。解像度変換処理は、入力される画像データを表示装置の表示性能に合わせて拡大又は縮小する処理である。画質変換処理は、ユーザにとってより望ましい画像データになるように行われる高画質化処理である。
【０００４】
画質変換処理には、用いる統計量と処理対象となる画像領域とによって二種類の処理方法がある。一つは、動画像を構成するフレーム画像データを複数の局所領域に分割して、各局所領域の画像データの統計量に適応したきめ細かい画質変換処理を行う方法である。以下、これを局所画質変換処理と呼ぶ。もう一つは、フレーム画像データの全体の統計量に応じてフレーム画像データの全体に対して画質変換処理を行う方法である。以下、これを全体画質変換処理と呼ぶ。
【０００５】
ところで、デジタルカメラなどで撮影された静止画像データをデジタルテレビに表示させて鑑賞するニーズがある。静止画像データの処理を、デジタルテレビに搭載されたハードウェアを用いて行えば、高速に解像度変換や画質変換処理を行うことができる。
【０００６】
近年のデジタルカメラ等で撮影された静止画像データの画素数は、例えば２０００万画素など、ＦＨＤサイズを超えるものも多い。ＦＨＤサイズを超える画素数（以下、超ＦＨＤサイズと呼ぶ）の画像データをＦＨＤ対応のデジタルテレビにおいて鑑賞などのために画像処理するには、別途、超ＦＨＤサイズの画像データの処理に対応した画像処理回路を増設する必要がある。または、事前に専用回路を用いて超ＦＨＤサイズの画像データをＦＨＤサイズの画像データに縮小する必要がある。
【０００７】
特許文献１には、動画像用の圧縮回路で静止画像の圧縮を行う画像圧縮装置において、圧縮回路が圧縮可能な解像度を超える静止画像を圧縮する場合は、高解像度の静止画像を圧縮回路で圧縮可能な解像度の静止画像に分割して個別に処理することが提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−３５５７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
サイズの大きい画像データには様々な画像要素が含まれている場合があるので、サイズが大きい画像データほど、より細かく領域分割を行い、よりきめ細かい局所画質変換処理を行うことが望ましい。特許文献１に記載の発明のように、動画像用処理回路を用いて静止画像データの処理を行う構成では、高解像度の静止画像データの処理において、動画像
用処理回路の処理性能による制約がある。そのため、動画像用処理回路が適合する動画像のフレーム画像データのサイズより大サイズの静止画像データに対しては粗い局所画質変換処理が行われることになってしまう。動画像データよりサイズの大きい静止画像データに対して、専用回路を用いてよりきめ細かい局所画質変換処理を行うようにした場合は、回路規模の増大につながるという課題がある。
【００１０】
本発明は、動画像用処理回路で処理可能な動画像を構成するフレーム画像データのサイズより大サイズの静止画像データに対して、動画像用処理回路を用いて高画質な画像処理を行うことが可能な画像処理装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、入力された動画像を構成する各フレーム画像データに対して、当該フレーム画像データを複数の局所領域に分割し、局所領域毎に画像処理を行うことが可能な画像処理装置であって、
前記動画像のフレーム画像データよりも大サイズの静止画像データの入力があった場合に、
前記静止画像データを前記フレーム画像データのサイズ以下となるように分割する静止画分割手段と、
前記静止画分割手段で分割された各分割静止画像データのそれぞれを複数の局所領域に分割し、局所領域毎の局所統計量を生成する局所統計量生成手段と、
分割静止画像データの全体統計量を分割静止画像データ毎に生成する全体統計量生成手段と、
前記局所統計量生成手段で生成された局所領域毎の局所統計量を用いて、対応する各局所領域の画質変換を実行する局所画質変換処理手段と、
前記局所画質変換処理手段で画質が変換された分割静止画像データの縮小処理を行う縮小手段と、
前記縮小手段で縮小された各分割静止画像データを結合する結合手段と、
分割静止画像データ毎に生成された複数の全体統計量を用いて、一つの全体統計量を算出する算出手段と、
前記算出手段で算出された一つの全体統計量を用いて、前記結合手段で結合されて得られた結合画像データの画質変換を実行する全体画質変換処理手段と、
を有し、
前記縮小手段は、縮小後の各分割静止画像データを結合した結果得られる結合画像データのサイズが前記フレーム画像データのサイズ以下となるように縮小率を決定することを特徴とする画像処理装置である。
【００１２】
本発明は、入力された動画像を構成する各フレーム画像データに対して、当該フレーム画像データを複数の局所領域に分割し、局所領域ごとに画像処理を行うことが可能な画像処理装置の制御方法であって、
前記動画像のフレーム画像データよりも大サイズの静止画像データの入力があった場合に、
前記静止画像データを前記フレーム画像データのサイズ以下となるように分割する静止画分割工程と、
前記静止画分割工程で分割された各分割静止画像データのそれぞれを複数の局所領域に分割し、局所領域毎の局所統計量を生成する局所統計量生成工程と、
分割静止画像データの全体統計量を分割静止画像データ毎に生成する全体統計量生成工程と、
前記局所統計量生成工程で生成された局所領域毎の局所統計量を用いて、対応する各局所領域の画質変換を実行する局所画質変換処理工程と、
前記局所画質変換処理工程で画質が変換された分割静止画像データの縮小処理を行う縮
小工程と、
前記縮小工程で縮小された各分割静止画像データを結合する結合工程と、
分割静止画像データ毎に生成された複数の全体統計量を用いて、一つの全体統計量を算出する算出工程と、
前記算出工程で算出された一つの全体統計量を用いて、前記結合工程で結合されて得られた結合画像データの画質変換を実行する全体画質変換処理工程と、
を有し、
前記縮小工程は、縮小後の各分割静止画像データを結合した結果得られる結合画像データのサイズが前記フレーム画像データのサイズ以下となるように縮小率を決定することを特徴とする画像処理装置の制御方法である。
【発明の効果】
【００１３】
本発明によれば、動画像用処理回路で処理可能な動画像を構成するフレーム画像データのサイズより大サイズの静止画像データに対して、動画像用処理回路を用いて高画質な画像処理を行うことが可能な画像処理装置及びその制御方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】実施例１の画像表示装置の構成を示すブロック図
【図２】実施例１の超ＦＨＤサイズ静止画像データの処理の概念図
【図３】実施例１の超ＦＨＤサイズ静止画像データの処理のフローチャート
【発明を実施するための形態】
【００１５】
図１は、本発明の一実施例である画像表示装置のブロック図である。画像処理システム部１０１は動画像用画像処理ハードウェアであり、１チップの大規模集積回路に実装されている。画像処理システム部１０１は、ＦＨＤサイズ以下の動画像データ（動画像を構成するフレーム画像データ）を、例えば毎秒６０フレームまたは毎秒１２０フレームなどのフレームレートでリアルタイムに処理できる性能をもつ。画像処理システム部１０１は、主に画像処理部１０２、メモリ制御部１０３、システム制御部１０４で構成されており、その他、画像入力部１０５、画像出力部１１８、パス制御部１２３、ＪＰＥＧデコード部１２４を含む。各部の詳細については後述する。
【００１６】
画像処理システム部１０１には、表示部１２５、フレームメモリ１２６、記録メディア１２７が接続され、これらの機能部で画像表示装置を構成している。なお、図中には示していないが、ユーザは、リモートコントローラなどの入力装置を用いて、所望の指示を画像表示装置に入力し、所望の動作を画像表示装置に行わせることができる。表示部１２５は、画像処理システム部１０１によって処理され出力される画像データの表示を行う。フレームメモリ１２６は、処理中の画像データや表示部１２５に送出する画像データを一時的に蓄積する機能をもつ。記録メディア１２７は、例えばフラッシュメモリカードやＣＤ−ＲＯＭなどであり、ここでは、超ＦＨＤサイズ（動画像のフレーム画像データよりも大サイズ）の静止画像データをＪＰＥＧフォーマットでエンコードしたデータが格納されているとする。
【００１７】
画像処理システム部１０１には、画像入力部１０５を介して動画像データが入力される。画像入力部１０５は、動画像データを次段の画像処理部１０２で処理可能なフォーマットに変換して出力する。一方、静止画像データは、記録メディア１２７からＪＰＥＧフォーマットのデータが読み出されることで画像処理システム部１０１に入力される。ＪＰＥＧフォーマットのデータはＪＰＥＧデコード部１２４に入力される。ＪＰＥＧデコード部１２４は、入力されるＪＰＥＧフォーマットのデータをデコードして超ＦＨＤサイズの静止画像データを生成する。ＪＰＥＧデコード部１２４が生成した静止画像データは、メモリ制御部１０３を介して、フレームメモリ１２６へ展開される。
【００１８】
画像処理部１０２の構成について述べる。画像処理部１０２は、画像データに対して、解像度変換処理や高画質化処理などの処理を行う。画像処理部１０２は、統計量生成部１０７、解像度変換部１１１、画質変換処理部１１３、グラフィックブレンド部１１７、および各部への入出力パスを選択する各種パス選択部（１０６、１１０、１１２、１１６）で構成されている。
【００１９】
統計量生成部１０７は、フレーム画像データに関する画質変換処理に必要となる統計量を生成し保持する。統計量とは、輝度情報や階調毎のヒストグラム情報などである。統計量生成部１０７は、統計量の生成を行う対象領域によって、局所統計量生成部１０８（局所統計量生成手段）と全体統計量生成部１０９（全体統計量生成手段）に分けられる。局所統計量生成部１０８は、フレーム画像データを複数の局所領域に分割し、局所領域毎に画像データの統計量の生成を行う。この局所領域は、後述する局所画質変換処理部１１４での局所画質変換領域に相当する。全体統計量生成部１０９ではフレーム画像データの全体に関する統計量の生成を行う。
【００２０】
解像度変換部１１１は、入力される画像データのサイズと表示部１２５に表示する際のサイズに応じて、画像データを拡大又は縮小する解像度変換処理を行う。解像度変換部１１１は、補間画素のデータを、補間画素の周辺の画素のデータから、例えば線形補間処理など一般的に知られている手法を用いて生成することにより、拡大縮小処理を行う。
【００２１】
画質変換処理部１１３では、入力される画像データがユーザにとってより望ましい画像データとなるようにするための高画質化処理を行う。高画質化処理には、例えば、ノイズリダクション処理、ガンマ変換処理、色補正処理などがある。画質変換処理部１１３は、画質変換処理を行う対象領域によって、局所画質変換処理部１１４（局所画質変換処理手段）と全体画質変換処理部１１５（全体画質変換処理手段）に分けられる。局所画質変換処理部１１４は、フレーム画像データを複数の局所領域（局所画質変換領域）に分割し、局所画質変換領域毎（局所領域毎）に、対応する局所画質変換領域の統計量に応じて、局所画質変換領域の画像データの画質変換処理（局所画質変換処理）を行う。局所画質変換処理部１１４が行う処理には、例えば、局所ガンマ変換処理などがある。フレーム画像データを局所画質変換領域に分割する分割数を増やすことにより、よりきめ細かい処理が可能となる。本実施例では局所画質変換処理部１１４はハードウェアによる実装であり、局所画質変換領域の分割数には一定の上限がある。全体画質変換処理部１１５は、フレーム画像データの全体の統計量に応じて、画像データの全体の画質変換処理（全体画質変換処理）を行う。全体画質変換処理部１１５が行う処理には、例えば、ノイズリダクション処理や色補正処理などがある。
【００２２】
グラフィックブレンド部１１７は、画質変換処理部１１３において高画質化処理された画像データに対して、メニューや画像情報などの各種グラフィックを合成し、最終的に表示部１２５に表示させる画像データを生成する。
【００２３】
画像処理部１０２には、上記の各機能部間のデータフローを制御する各種のパス選択部がある。本実施例の画像処理に係るデータフローの制御は、これらのパス選択部を制御することによって行われる。統計量生成パス選択部１０６は、統計量生成部１０７へ出力する画像データの入力元を選択するもので、画像入力部１０５からの入力と、静止画分割部１１９からの入力と、のいずれかを選択する。解像度変換パス選択部１１０は、解像度変換部１１１へ出力する画像データの入力元を選択するもので、全体統計量生成部１０９からの入力と、局所画質変換処理部１１４からフィードバックされた入力と、のいずれかを選択する。画質変換処理パス選択部１１２は、３系統の入力元からいずれかを選択し、３系統の出力先からいずれかを選択する。３系統の入力元とは、解像度変換部１１１からの
入力、解像度変換部１１１をバイパスした解像度変換パス選択部１１０からの入力、結合画像出力部１２０からの入力である。３系統の出力先とは、局所画質変換処理部１１４への出力、全体画質変換処理部１１５への出力、画質変換処理部１１３をバイパスする画質変換処理出力選択部１１６への出力である。画質変換処理出力選択部１１６は、グラフィックブレンド部１１７へ出力する画像データの入力元を選択する。画質変換処理出力選択部１１６は、局所画質変換処理部１１４からの入力と、全体画質変換処理部１１５からの入力と、画質変換処理部１１３をバイパスする画質変換処理パス選択部１１２からの入力と、のいずれかを選択する。
【００２４】
次に、メモリ制御部１０３の構成について述べる。メモリ制御部１０３は、画像処理部１０２とフレームメモリ１２６との間で画像データの受け渡しを制御する機能をもつ。メモリ制御部１０３は、静止画分割部１１９、結合画像出力部１２０、静止画結合部１２１、メモリ入出力切り換え部１２２で構成されている。これらの各部の動作は、画像処理部１０２とフレームメモリ１２６の間の画像データのやり取りが適切に制御されることで実現されており、ここでは、データフローの関連と機能を図示するために、概念的に示している。動画像データ及び静止画像データそれぞれのデータフローの詳細は後述する。
【００２５】
メモリ入出力切り換え部１２２は、フレームメモリ１２６と各部との画像データの入出力の切り換え機能を担っている。メモリ入出力切り換え部１２２が切り換える入力は、グラフィックブレンド部１１７からの入力とＪＰＥＧデコード部１２４からの入力がある。メモリ入出力切り換え部１２２が切り換える出力は、画像出力部１１８への出力、静止画結合部１２１への出力、静止画分割部１１９への出力、結合画像出力部１２０への出力がある。
【００２６】
静止画分割部１１９（静止画分割手段）は、フレームメモリ１２６に格納された超ＦＨＤサイズの静止画像データを画像処理部１０２にて処理可能なＦＨＤサイズの静止画像データ（分割静止画像データ）に分割して読み出し統計量生成パス選択部１０６に送出する。分割数は、静止画像データのサイズに依存し、対象となる静止画像データを全て含むようにＦＨＤサイズ単位で分割する。なお、本実施例では分割単位をＦＨＤサイズ単位としているが、画像処理部１０２にて処理可能なサイズ（動画像を構成するフレーム画像データのサイズ）以下であれば良く、ＦＨＤサイズ単位に限定されるものではない。静止画分割部１１９は、フレームメモリ１２６に格納されている超ＦＨＤサイズの静止画像データを読み出す際に、分割領域の画像データに対応する読み出しアドレスを生成して読み出しアクセスすることで、画像分割機能を実現する。
【００２７】
静止画結合部１２１（結合手段）は、画像処理部１０２にて縮小処理および局所画質変換処理をした後の静止画像データを結合してフレームメモリ１２６に格納する機能を担う。静止画分割部１１９における分割数分、画像処理部１０２での処理が行われて、画像処理後の静止画像データが分割数分生成されるので、静止画結合部１２１は、それらを全て結合して、一枚のＦＨＤサイズの静止画像データを生成する。静止画結合部１２１は、画像処理後のＦＨＤサイズの静止画像データをフレームメモリ１２６に書き込む際に、結合画像データにおける分割画像データに対応する書き込みアドレスを生成して書き込みアクセスすることで、画像結合機能を実現する。
【００２８】
結合画像出力部１２０は、フレームメモリ１２６内に格納されている結合後の１枚のＦＨＤサイズ静止画像データを読み出して、画質変換処理パス選択部１１２に送出する。
【００２９】
システム制御部１０４は、画像処理システム部１０１、メモリ制御部１０３の各部を制御する。各部の制御信号を図中の破線矢印で示す。システム制御部１０４は、ＣＰＵ、メモリなどで構成され、主にソフトウェアによって実現される機能が実装されている。パス
制御部１２３は、システム制御部１０４からの指示に従って、制御信号を各部に発行し、画像処理部１０２の各種パス選択部のパス切り換え及びメモリ入出力切り換え部１２２のデータ入出力の制御を実行する。
【００３０】
動画像データのデータフローについて図１の構成図を用いて説明する。動画像データは、１フレームずつフレーム画像データが画像処理システム部１０１に入力され、画像入力部１０５を介して画像処理部１０２に入力される。統計量生成パス選択部１０６が画像入力部１０５からの入力を選択し、フレーム画像データが統計量生成部１０７に入力される。フレーム画像データは、局所統計量生成部１０８、全体統計量生成部１０９の順に統計量生成部１０７を通過し、各部において局所統計量及び全体統計量が生成及び取得され、解像度変換パス選択部１１０に入力される。解像度変換パス選択部１１０が全体統計量生成部１０９からの入力を選択し、統計量生成部１０７を通過したフレーム画像データを解像度変換部１１１へ出力する。解像度変換部１１１において、フレーム画像データに対する拡大又は縮小の解像度変換処理が行われ、フレーム画像データは画質変換処理パス選択部１１２に入力される。画質変換処理パス選択部１１２は、解像度変換部１１１からの入力と、局所画質変換処理部１１４への出力を選択して、フレーム画像データを画質変換処理部１１３へ出力する。画質変換処理部１１３へ入力されたフレーム画像データに対して、局所画質変換処理部１１４において、局所ガンマ変換処理などの局所画質変換領域毎の高画質化処理が行われる。局所画質変換処理部１１４は、局所統計量生成部１０８にて取得された局所画質変換領域毎の統計量の情報に基づいて、局所画質変換領域毎に輝度情報や色情報の画質変換処理を行う。
【００３１】
続いて、フレーム画像データに対して、全体画質変換処理部１１５において、色補正処理などのフレーム画像データの全領域にわたる高画質化処理が行われる。全体画質変換処理部１１５は、全体統計量生成部１０９にて取得されたフレーム画像データの全領域に関する統計量情報に基づいて高画質化処理を行う。画質変換処理出力選択部１１６は、全体画質変換処理部１１５からの入力を選択して、画質変換処理部１１３から画質変換処理出力選択部１１６へ出力されるフレーム画像データをグラフィックブレンド部１１７へ出力する。ここで、各種メニューや画像情報等のグラフィックがフレーム画像データに合成されて、最終的に表示部１２５に表示させるフレーム画像データが生成され、メモリ制御部１０３を介してフレームメモリ１２６に書き込まれる。フレームメモリ１２６に格納されたフレーム画像データは、再びメモリ制御部１０３を介して画像出力部１１８に入力される。メモリ制御部１０３におけるグラフィックブレンド部１１７、フレームメモリ１２６、画像出力部１１８の間でのフレーム画像データの入出力切り換えは、メモリ入出力切り換え部１２２により行われる。画像出力部１１８において、フレーム画像データは、表示部１２５に対応した信号フォーマットに変換され、最後に表示部１２５にてフレーム画像データの表示が行われる。以上のフレーム画像データについての処理が、動画像のフレームレート（例えば１秒間に６０フレーム）で順次実行されることで、画像処理システム部１０１に入力された動画像データは、動画像として表示部１２５に表示される。
【００３２】
次に、超ＦＨＤサイズの静止画像データに対する画像処理について説明する。図２は、超ＦＨＤサイズの静止画像データに対して画像処理が行われる場合の静止画像データの変遷を、画像処理の工程毎に概念的に示した図である。
【００３３】
図２（Ａ）は超ＦＨＤサイズの静止画像データを表す。ここでは、処理対象の超ＦＨＤサイズ静止画像データ２０１は、縦横ともにＦＨＤサイズの２倍のサイズ（３８４０×２１６０、ＱＦＨＤともいう）とする。この超ＦＨＤサイズ静止画像データ２０１をＦＨＤサイズ単位で分割すると分割数は４となる。このように、フレーム画像データのサイズを超える静止画像データは、フレーム画像データのサイズ以下となるように分割することとなる。
【００３４】
図２（Ｂ）は、図２（Ａ）の超ＦＨＤサイズ静止画像データ２０１を４分割して得られる４枚の分割画像データ２０２〜２０５を示す図である。分割画像（１）２０２から分割画像（４）２０５は、全てＦＨＤサイズの静止画像データであり、ＦＨＤサイズの動画像データのフレーム画像データと同サイズであり、画像処理部１０２で処理可能なサイズである。図２（Ｂ）において、局所画質変換処理回路適用領域２０６は、局所画質変換処理部１１４における局所画質変換領域に相当する。本実施例では、局所画質変換処理部１１４は、ＦＨＤサイズの画像データを縦４分割、横５分割することで合計２０個の局所画質変換領域に分割し、局所画質変換領域ごとに高画質化処理を行う性能があるとする。また、同様に、局所統計量生成部１０８も、ＦＨＤサイズの画像データを縦４分割、横５分割することで合計２０個の領域に分割し、分割領域ごとに統計量の生成を行う性能があるとする。したがって、局所画質変換処理部１１４は、動画像データに関しては、各フレーム画像データを２０個の局所画質変換領域に分割して、各局所画質変換領域について高画質化処理を行うことが可能な性能を有することになる。またＱＦＨＤサイズの静止画像データに関しては、４分割したＦＨＤサイズの分割画像（１）２０２から分割画像（４）２０５のそれぞれを２０個の局所画質変換領域に分割して、各局所画質変換領域について高画質化処理を行うことが可能な性能を有することになる。局所画質変換領域の分割数は画像処理部１０２が実装される回路性能によって定まる値であり、本実施例では一定値とする。なお、局所画質変換処理部１１４は、画像処理部１０２が実装される回路性能を超えない範囲で、より少ない分割数の局所画質変換領域でＦＨＤサイズの画像データを分割し、より粗い局所画質変換処理を行うことが可能な構成としても良い。
【００３５】
図２（Ｃ）は、図２（Ｂ）の４つの分割画像２０２〜２０５をそれぞれ解像度変換して縮小した４つの縮小画像２０７〜２１０を示す図である。この例では、各分割画像を縦、横ともに１／２に縮小する解像度変換を行っている。図２（Ｃ）の局所画質変換領域２１１は図２（Ｂ）の局所画質変換処理回路適用領域２０６に対応している。解像度変換によって局所画質変換領域２１１のサイズは局所画質変換処理回路適用領域２０６よりも小さくなっているため、画像サイズあたりの分割数で考えた場合、図２（Ｂ）の分割画像よりも図２（Ｃ）の縮小画像の方がより細分化されている。
【００３６】
図２（Ｄ）は、図２（Ｃ）の４つの縮小画像２０７〜２１０を結合して得られるＦＨＤサイズの静止画像データ２１２を示す図である。４つの縮小画像２０７〜２１０を結合することにより、超ＦＨＤサイズ静止画像データ２０１をＦＨＤサイズに解像度変換した静止画像データが得られる。ＦＨＤサイズ静止画像データ２１２の画像サイズあたりの分割数は、図２（Ｃ）の各縮小画像の画像サイズあたりの分割数と同じである。そのため、ＦＨＤサイズ静止画像データ２１２は、結果的に、ＦＨＤサイズの静止画像データを、図２（Ｃ）の局所画質変換領域２１１と同じサイズの分割領域で８０分割して、局所画質変換処理が行われたことになっている。局所画質変換処理部１１４の本来の性能は、ＦＨＤサイズの静止画像データを、図２（Ｂ）の局所画質変換処理回路適用領域２０６のサイズの分割領域で２０分割して、局所画質変換処理を行うことが、本来の上限である。従って、上述した工程で超ＦＨＤサイズの静止画像データを画像処理することにより、局所画質変換処理部１１４の本来の固定性能を超える高精細な局所画質変換処理を行ったのと同等の画像処理結果が得られる。図２（Ｄ）のＦＨＤサイズ静止画像データ２１２に対しては、さらに全体画質変換処理部１１５において全体画質変換処理が行われ、最終的に表示部１２５に表示させる静止画像データとなる。
【００３７】
以上説明した静止画像データの解像度変換の処理フローと回路動作について、図３のフローチャートと図１のブロック図を用いて説明する。まず、ユーザ操作により静止画像データを表示する操作が開始されると、ステップＳ３０１において、ＪＰＥＧデコード部１２４が、指定されたＪＰＥＧフォーマットの画像データのデコード処理を行い、図２（Ａ
）の超ＦＨＤサイズ静止画像データ２０１を生成する。ＪＰＥＧデコード部１２４が生成した静止画像データは、メモリ制御部１０３を介して、フレームメモリ１２６へ展開される。
【００３８】
ステップＳ３０２において、図２（Ｂ）に示す画像分割処理が行われる。この画像分割処理は、静止画分割部１１９によって行われる。静止画分割部１１９は、フレームメモリ１２６内の超ＦＨＤサイズ静止画像データ２０１を図２（Ｂ）に示すように分割画像２０２〜２０５（分割静止画像データ）に４分割した場合の各分割画像データに対応する読み出しアドレスを決定する。そして、静止画分割部１１９は、まず、超ＦＨＤサイズ静止画像データ２０１における分割画像（１）２０２に相当するアドレスの静止画像データを読み出して、統計量生成パス選択部１０６へ出力する。統計量生成パス選択部１０６は、静止画分割部１１９からの入力を選択し、入力される静止画像データを局所統計量生成部１０８へ出力する。
【００３９】
ステップＳ３０３において、分割画像データに関する局所統計量が取得される。局所統計量生成部１０８は、図２（Ｂ）に示す分割画像（１）２０２の２０個の局所画質変換処理回路適用領域２０６ごとの統計量（局所統計量）を取得し、保持する。
【００４０】
ステップＳ３０４において、分割画像データ毎（分割静止画像データ毎）に全体統計量が取得される。全体統計量生成部１０９は、分割画像（１）２０２の画像データの全体の統計量（全体統計量）を取得し、保持する。解像度変換パス選択部１１０は、全体統計量生成部１０９からの入力を選択し、入力される分割画像（１）２０２の画像データを、解像度変換部１１１をパイパスさせて画質変換処理パス選択部１１２へ出力する。画質変換処理パス選択部１１２は、解像度変換パス選択部１１０からの入力を選択し、入力される分割画像（１）２０２の画像データを局所画質変換処理部１１４へ出力する。
【００４１】
ステップＳ３０５において、分割画像データに関する局所画質変換処理が行われる。この局所画質変換処理は、局所画質変換処理部１１４によって行われる。局所画質変換処理部１１４は、図２（Ｂ）に示す分割画像（１）２０２の２０個の局所画質変換処理回路適用領域２０６ごとに高画質化処理を行う。局所画質変換処理部１１４は、局所画質変換処理後の分割画像（１）２０２の画像データを、解像度変換パス選択部１１０へ出力する。
【００４２】
ステップＳ３０６において、分割画像データに関する縮小処理が行われる。この縮小処理は、解像度変換部１１１によって行われる（縮小手段）。解像度変換パス選択部１１０は、局所画質変換処理部１１４からの入力を選択し、入力される局所画質変換処理後の分割画像（１）２０２の画像データを解像度変換部１１１へ出力する。解像度変換部１１１は、分割画像（１）２０２の縦及び横のサイズを１／２に縮小する解像度変換処理を行い、図２（Ｃ）に示す縮小画像（１）２０７を生成する。画質変換処理パス選択部１１２は、解像度変換部１１１からの入力を選択し、入力される縮小後の縮小画像（１）２０７の画像データを、画質変換処理部１１３をバイパスさせて画質変換処理出力選択部１１６へ出力する。画質変換処理出力選択部１１６から出力される縮小画像（１）２０７の画像データは、グラフィックブレンド部１１７、メモリ入出力切り換え部１２２を介して、静止画結合部１２１へ出力される。なお、縮小率は、縮小後の各分割画像データを結合した結果得られる結合画像データのサイズが、ＦＨＤサイズ以下、つまり、本装置で処理可能なフレーム画像データのサイズ以下となるように決定される。
【００４３】
ステップＳ３０７において、縮小画像データの結合が行われる。静止画結合部１２１は、最終的に生成するＦＨＤサイズ静止画像データ２１２において縮小画像（１）２０７が位置すべき領域に対応するフレームメモリ１２６内の書き込みアドレスに、縮小画像（１）２０７の画像データを格納する。
【００４４】
ステップＳ３０８において、全ての分割画像データに対して処理が完了したかの判定が行われる。ここでは、分割画像（１）２０２の画像データに関する上述したステップＳ３０３からステップＳ３０７の処理が分割画像（２）２０３〜分割画像（４）２０５の全てについて行われたか判定される。全ての分割画像データに対して処理が完了していないと判定された場合、処理はステップＳ３０２に戻る。これにより、ステップＳ３０２からステップＳ３０７までが分割領域の数だけ繰り返され、縮小画像（２）２０８から縮小画像（４）２１０が生成される。この時、ステップＳ３０４における全体統計量取得時には、全体統計量生成部１０９は、全ての分割画像の画像データの統計量を加算し、平均化する等して複数の全体統計量から一つの全体統計量を算出する（算出手段）。ステップＳ３０３における局所統計量取得時には、局所統計量生成部１０８は、分割画像データ毎に上書きして統計量を取得してよい。生成された縮小画像（１）〜（４）の画像データは、静止画結合部１２１によって、それぞれが最終的に生成するＦＨＤサイズ静止画像データ２１２において縮小画像（１）〜（４）が位置すべき領域に対応するフレームメモリ１２６内のアドレスに書き込まれる。これにより、ＦＨＤサイズの静止画像データ（結合静止画像データ）が生成される。
【００４５】
ステップＳ３０８にて全ての分割画像データの処理が完了していると判定された場合、ステップＳ３０９において、全体画質変換処理が行われる。この処理は上述した加算された全体統計量を用いて行われるものである。結合画像出力部１２０がＦＨＤサイズの結合静止画像データを読み出して、画質変換処理パス選択部１１２へ出力する。画質変換処理パス選択部１１２は結合画像出力部１２０からの入力と、全体画質変換処理部１１５への出力を選択する。全体画質変換処理部１１５は、入力されるＦＨＤサイズの結合静止画像データの全体に対して画質変換処理を実行し、図２（Ｄ）に示すＦＨＤサイズ静止画像データ２１２を生成する。ＦＨＤサイズ静止画像データ２１２の画像データは、グラフィックブレンド部１１７、メモリ制御部１０３を介して、フレームメモリ１２６に格納される。ステップＳ３０９の処理を実行する機能部が本発明における結合画像処理部として機能している。
【００４６】
最後にステップＳ３１０にて、解像度変換および画質変換処理が完了した静止画像データの表示が行われる。フレームメモリ１２６内のＦＨＤサイズ静止画像データ２１２の画像データが、メモリ制御部１０３、画像出力部１１８を介して表示部１２５へ出力されて、表示が行われる。
【００４７】
以上説明した画像処理装置の構成及び処理フローにより、超ＦＨＤサイズの静止画像データに対し、ＦＨＤサイズの動画像データ用の画像処理回路を用いて解像度変換および画質変換処理を行うことができるので、回路規模の増大を抑えることができる。更に、超ＦＨＤサイズの静止画像データに対する局所画質変換処理に関しては、ＦＨＤサイズの動画像データに対する局所画質変換処理よりも精細な高画質化処理を行うことができる。
【符号の説明】
【００４８】
１０１：画像処理システム部、１０２：画像処理部、１１１：解像度変換部、１１３：画質変換処理部、１１４：局所画質変換処理部、１１５：全体画質変換処理部、１１９：静止画分割部、１２０：結合画像出力部
【特許請求の範囲】
【請求項１】
入力された動画像を構成する各フレーム画像データに対して、当該フレーム画像データを複数の局所領域に分割し、局所領域毎に画像処理を行うことが可能な画像処理装置であって、
前記動画像のフレーム画像データよりも大サイズの静止画像データの入力があった場合に、
前記静止画像データを前記フレーム画像データのサイズ以下となるように分割する静止画分割手段と、
前記静止画分割手段で分割された各分割静止画像データのそれぞれを複数の局所領域に分割し、局所領域毎の局所統計量を生成する局所統計量生成手段と、
分割静止画像データの全体統計量を分割静止画像データ毎に生成する全体統計量生成手段と、
前記生成手段で生成された局所領域毎の局所統計量を用いて、対応する各局所領域の画質変換を実行する局所画質変換処理手段と、
前記局所画質変換処理手段で画質が変換された分割静止画像データの縮小処理を行う縮小手段と、
前記縮小手段で縮小された各分割静止画像データを結合する結合手段と、
分割静止画像データ毎に生成された複数の全体統計量を用いて、一つの全体統計量を算出する算出手段と、
前記算出手段で算出された一つの全体統計量を用いて、前記結合手段で結合されて得られた結合画像データの画質変換を実行する全体画質変換処理手段と、
を有し、
前記縮小手段は、縮小後の各分割静止画像データを結合した結果得られる結合画像データのサイズが前記フレーム画像データのサイズ以下となるように縮小率を決定することを特徴とする画像処理装置。
【請求項２】
入力された動画像を構成する各フレーム画像データに対して、当該フレーム画像データを複数の局所領域に分割し、局所領域ごとに画像処理を行うことが可能な画像処理装置の制御方法であって、
前記動画像のフレーム画像データよりも大サイズの静止画像データの入力があった場合に、
前記静止画像データを前記フレーム画像データのサイズ以下となるように分割する静止画分割工程と、
前記静止画分割工程で分割された各分割静止画像データのそれぞれを複数の局所領域に分割し、局所領域毎の局所統計量を生成する局所統計量生成工程と、
分割静止画像データの全体統計量を分割静止画像データ毎に生成する全体統計量生成工程と、
前記局所統計量生成工程で生成された局所領域毎の局所統計量を用いて、対応する各局所領域の画質変換を実行する局所画質変換処理工程と、
前記局所画質変換処理工程で画質が変換された分割静止画像データの縮小処理を行う縮小工程と、
前記縮小工程で縮小された各分割静止画像データを結合する結合工程と、
分割静止画像データ毎に生成された複数の全体統計量を用いて、一つの全体統計量を算出する算出工程と、
前記算出工程で算出された一つの全体統計量を用いて、前記結合工程で結合されて得られた結合画像データの画質変換を実行する全体画質変換処理工程と、
を有し、
前記縮小工程は、縮小後の各分割静止画像データを結合した結果得られる結合画像データのサイズが前記フレーム画像データのサイズ以下となるように縮小率を決定することを
特徴とする画像処理装置の制御方法。
【請求項１】
入力された動画像を構成する各フレーム画像データに対して、当該フレーム画像データを複数の局所領域に分割し、局所領域毎に画像処理を行うことが可能な画像処理装置であって、
前記動画像のフレーム画像データよりも大サイズの静止画像データの入力があった場合に、
前記静止画像データを前記フレーム画像データのサイズ以下となるように分割する静止画分割手段と、
前記静止画分割手段で分割された各分割静止画像データのそれぞれを複数の局所領域に分割し、局所領域毎の局所統計量を生成する局所統計量生成手段と、
分割静止画像データの全体統計量を分割静止画像データ毎に生成する全体統計量生成手段と、
前記生成手段で生成された局所領域毎の局所統計量を用いて、対応する各局所領域の画質変換を実行する局所画質変換処理手段と、
前記局所画質変換処理手段で画質が変換された分割静止画像データの縮小処理を行う縮小手段と、
前記縮小手段で縮小された各分割静止画像データを結合する結合手段と、
分割静止画像データ毎に生成された複数の全体統計量を用いて、一つの全体統計量を算出する算出手段と、
前記算出手段で算出された一つの全体統計量を用いて、前記結合手段で結合されて得られた結合画像データの画質変換を実行する全体画質変換処理手段と、
を有し、
前記縮小手段は、縮小後の各分割静止画像データを結合した結果得られる結合画像データのサイズが前記フレーム画像データのサイズ以下となるように縮小率を決定することを特徴とする画像処理装置。
【請求項２】
入力された動画像を構成する各フレーム画像データに対して、当該フレーム画像データを複数の局所領域に分割し、局所領域ごとに画像処理を行うことが可能な画像処理装置の制御方法であって、
前記動画像のフレーム画像データよりも大サイズの静止画像データの入力があった場合に、
前記静止画像データを前記フレーム画像データのサイズ以下となるように分割する静止画分割工程と、
前記静止画分割工程で分割された各分割静止画像データのそれぞれを複数の局所領域に分割し、局所領域毎の局所統計量を生成する局所統計量生成工程と、
分割静止画像データの全体統計量を分割静止画像データ毎に生成する全体統計量生成工程と、
前記局所統計量生成工程で生成された局所領域毎の局所統計量を用いて、対応する各局所領域の画質変換を実行する局所画質変換処理工程と、
前記局所画質変換処理工程で画質が変換された分割静止画像データの縮小処理を行う縮小工程と、
前記縮小工程で縮小された各分割静止画像データを結合する結合工程と、
分割静止画像データ毎に生成された複数の全体統計量を用いて、一つの全体統計量を算出する算出工程と、
前記算出工程で算出された一つの全体統計量を用いて、前記結合工程で結合されて得られた結合画像データの画質変換を実行する全体画質変換処理工程と、
を有し、
前記縮小工程は、縮小後の各分割静止画像データを結合した結果得られる結合画像データのサイズが前記フレーム画像データのサイズ以下となるように縮小率を決定することを
特徴とする画像処理装置の制御方法。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−６８９５１（Ｐ２０１２−６８９５１Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１３８８７（Ｐ２０１０−２１３８８７）
【出願日】平成２２年９月２４日（２０１０．９．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２４日（２０１０．９．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]