画像処理装置、画像処理方法、コンピュータープログラム
【課題】画像処理に関する技術を提供する。
【解決手段】表示画像に対応する画像データを、表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理する画像処理装置であって、部分画像に対応する画像データを入力する入力部と、各部分画像に対応して設けられ、部分画像に対応する画像データを受け取り、画像処理を行う複数の画像処理部と、複数の画像処理部が処理した各部分画像に対応する画像データを、並列的に、走査方向に沿って順次入力することによって、表示画像に対応する画像データを入力する画像合成入力部と、順次入力される部分画像の画像データを順次記憶する記憶部と、表示画像の走査方向に沿って存在する複数の部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、記憶部に順次記憶される画像データを、各単位ブロック毎に、並列的に所定の走査方向に順次出力する画像合成出力部とを備える。
【解決手段】表示画像に対応する画像データを、表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理する画像処理装置であって、部分画像に対応する画像データを入力する入力部と、各部分画像に対応して設けられ、部分画像に対応する画像データを受け取り、画像処理を行う複数の画像処理部と、複数の画像処理部が処理した各部分画像に対応する画像データを、並列的に、走査方向に沿って順次入力することによって、表示画像に対応する画像データを入力する画像合成入力部と、順次入力される部分画像の画像データを順次記憶する記憶部と、表示画像の走査方向に沿って存在する複数の部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、記憶部に順次記憶される画像データを、各単位ブロック毎に、並列的に所定の走査方向に順次出力する画像合成出力部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理の技術に関し、詳しくは、複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理する技術に関する。
【背景技術】
【０００２】
近年、プロジェクター、液晶テレビ、プラズマテレビなどの映像表示機器に入力される画像の高解像度化が進んでおり、こうした機器では、画面を構成する多数の画素に対する画像処理を短時間に終了するために、入力された表示画像に対応する画像データを複数の部分画像データに分割して並列に処理する方法がとられる場合がある。上記技術としては、例えば特許文献１が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１１１９６９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数の部分画像データを各々に画像処理した後、各部分画像データは表示画像における表示配置位置を決定する処理を行う画像合成部に送信される。その際、各部分画像に対応する画像データは並列的に画像合成部に入力される。画像合成部では、各部分画像データの表示配置位置を決定後、各部分画像データを同期させ、各部分画像毎に並列的に、表示画像を表示させる画像出力部に転送する。しかしながら、このような従来のデータの転送方法では、画像合成部と表示部との間に、同期して出力すべき部分画像の数だけデータ転送用の配線が必要であり、表示画像の分割数が増えると、必要な配線数も増加し、構造が複雑化すると言う課題が指摘されていた。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
［適用例１］
複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理する画像処理装置であって、前記部分画像に対応する画像データを入力する入力部と、前記各部分画像に対応して設けられ、前記部分画像に対応する画像データを受け取り、所定の画像処理を行う複数の画像処理部と、前記複数の画像処理部が処理した前記各部分画像に対応する画像データを、並列的に、所定の走査方向に沿って順次入力することによって、前記表示画像に対応する画像データを入力する画像合成入力部と、前記順次入力される前記部分画像に対応する画像データを順次記憶する記憶部と、前記表示画像における前記所定の走査方向に沿って存在する複数の前記部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、前記記憶部に前記順次記憶される前記画像データを、前記各単位ブロック毎に、並列的に、前記所定の走査方向に順次出力する画像合成出力部とを備える画像処理装置。
【０００７】
この画像処理装置によると、画像合成出力部は、画像合成入力部が入力した各部分画像に対応する画像データを、所定の走査方向にまとめて単位ブロックとして扱い、その単位ブロック毎に、並列的にその走査方向に出力するので、画像処理装置の構造として、各部分画像データを並列的に入力し、各部分画像データ毎に並列的に出力する場合と比較して、画像データの出力に用いるデータ転送用の配線の本数を、削減することができ、構造を簡易化できる。また、所定の走査方向に入力した画像データを、その走査方向にまとめた単位ブロック毎に、並列的にその走査方向に出力することから、各部分画像データを並列的に入力し、各部分画像データ毎に並列的に出力する場合と比較して、記憶部に必要とされる記憶容量を削減することができる。
【０００８】
［適用例２］
適用例１記載の画像処理装置であって、前記画像合成出力部は、前記部分画像に対応する画像データを、前記表示画像における前記所定の走査方向に互いに隣接する前記部分画像毎に所定数ずつまとめたものを前記単位ブロックとして扱う画像処理装置。
【０００９】
この画像処理装置によると、画像合成出力部は、表示画像における所定の走査方向に互いに隣接する部分画像毎に所定数ずつまとめて単位ブロックとして扱うことができる。
【００１０】
［適用例３］
適用例２記載の画像処理装置であって、前記画像合成出力部は、前記部分画像に対応する画像データを、前記表示画像における前記所定の走査方向に隣接する前記部分画像の全部をまとめたものを前記単位ブロックとして扱う画像処理装置。
【００１１】
この画像処理装置によると、画像合成出力部は、記表示画像における前記所定の走査方向に隣接する前記部分画像の全部をまとめて単位ブロックとして扱うので、単位ブロックの数を最小限に抑えることができる。
【００１２】
［適用例４］
複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理する画像処理方法であって、前記部分画像に対応する画像データを入力する入力工程と、前記部分画像に対応する画像データを受け取り、所定の画像処理を行う画像処理工程と、前記所定の画像処理部を行った前記各部分画像に対応する画像データを、並列的に、所定の走査方向に沿って順次入力することによって、前記表示画像に対応する画像データを入力する画像合成入力工程と、前記順次入力される前記部分画像に対応する画像データを順次記憶する記憶工程と、前記表示画像における前記所定の走査方向に沿って存在する複数の前記部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、前記順次記憶した前記画像データを、前記各単位ブロック毎に、並列的に、前記所定の走査方向に順次出力する画像合成出力工程とを備える画像処理方法。
【００１３】
この画像処理方法によると画像合成出力工程は、入力した各部分画像に対応する画像データを、所定の走査方向にまとめて単位ブロックとして扱い、その単位ブロック毎に、並列的にその走査方向に出力するので、各部分画像データを並列的に入力し、各部分画像データ毎に並列的に出力する場合と比較して、画像データの出力に必要なデータ転送用の転送ルートを、削減することができる。
【００１４】
［適用例５］
複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理するためのコンピュータープログラムであって、前記部分画像に対応する画像データを入力する入力機能と、前記部分画像に対応する画像データを受け取り、所定の画像処理を行う画像処理機能と、前記所定の画像処理を行った前記各部分画像に対応する画像データを、並列的に、所定の走査方向に沿って順次入力することによって、前記表示画像に対応する画像データを入力する画像合成入力機能と、前記順次入力される前記部分画像に対応する画像データを順次記憶する記憶機能と、前記表示画像における前記所定の走査方向に沿って存在する複数の前記部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、前記順次記憶した前記画像データを、前記各単位ブロック毎に、並列的に、前記所定の走査方向に順次出力する画像合成出力機能とをコンピューターに実現させるコンピュータープログラム。
【００１５】
このコンピュータープログラムによると、所定の走査方向に入力した各部分画像に対応する画像データを、その入力した所定の走査方向にまとめて単位ブロックとして扱い、その単位ブロック毎に、並列的にその走査方向に出力する機能をコンピューターに実現させる。従って、各部分画像データを並列的に入力し、各部分画像データ毎に並列的に出力する場合と比較して、画像データの出力に必要なデータ転送用の転送ルートを、削減することができる。
【００１６】
［適用例６］
表示画像に対応する画像データを入力し、該画像データに対応した画像を表示する画像表示装置であって、適用例１ないし適用例３のいずれか記載の画像処理装置と、前記画像処理装置によって処理された前記画像データに基づいて、前記表示画像を表示する画像表示部とを備える画像表示装置。
この画像表示装置は、適用例１ないし適用例３のいずれか記載の画像処理装置を備えるので、画像処理装置に必要なデータ転送用の配線数を削減する事ができる。
【図面の簡単な説明】
【００１７】
【図１】第１実施例としての画像処理装置１０の構成を示す構成図である。
【図２】第５画像処理部３５の内部構成を示すブロック図である。
【図３】第５画像処理部３５での処理を模式的に示すブロック図である。
【図４】画像処理装置１０における画像処理の流れを模式的に示した説明図である。
【図５】部分画像データＤＩｎ５のフィルター処理を行うために必要な周辺画素データを説明する説明図である。
【図６】画像合成部４０の内部構成を説明する説明図である。
【図７】画像合成部４０の機能的な構成および処理を模式的に示すブロック図である。
【図８】変形例１における単位ブロックの一態様を説明する説明図である。
【図９】変形例１における単位ブロックの一態様を説明する説明図である。
【図１０】変形例１における単位ブロックの一態様を説明する説明図である。
【図１１】変形例２における単位ブロックを説明する説明図である。
【発明を実施するための形態】
【００１８】
本発明の実施の形態を実施例に基づいて説明する。
Ａ．第１実施例：
（Ａ１）画像処理装置の構成：
本実施例では、高解像度の液晶プロジェクターに搭載された画像処理装置を例に挙げて説明を行う。図１は、液晶プロジェクターに搭載された、本発明の第１実施例としての画像処理装置１０の構成を示す構成図である。液晶プロジェクターは、映像ストレージＳｔ１〜Ｓｔ９と外部で接続されており、画像処理装置１０が備える画像入力部２１〜２９を介して、画像データを入力する。各映像ストレージＳｔ１〜Ｓｔ９には、図１に示すように、１画面分の画像データである表示画像データＤＩｎ０を３×３（計９つ）に分割した部分画像に対応する部分画像データＤＩｎ１〜ＤＩｎ９が記憶されており、各映像ストレージＳｔ１〜Ｓｔ９から、画像処理装置１０が備える画像入力部２１〜２９に、部分画像データＤＩｎ１〜ＤＩｎ９が入力される。部分画像データＤＩｎ１〜ＤＩｎ９はデジタルデータとして、各映像ストレージＳｔ１〜Ｓｔ９から画像処理装置１０に入力される。本実施例においては、各映像ストレージＳｔ１〜Ｓｔ９は、複数のコンピューターからなるＰＣクラスターにおける、各コンピューターに備えられている。
【００１９】
画像処理装置１０は、上述した画像入力部２１〜２９と、部分画像データＤＩｎ１〜９を並列に処理する９つの画像処理部である第１画像処理部３１〜第９画像処理部３９と、各画像処理部で並列に処理された各部分画像データＤＩｎ１〜９に対して、表示画像を再構築するための処理を行う画像合成部４０と、画像合成部４０で処理された各部分画像データ画像データを、液晶プロジェクターの液晶パネル駆動部５２に出力信号として出力する画像出力部５０と、タイミング指示部６０とを備える。液晶パネル駆動部５２は画像合成部４０から入力された出力信号としての画像データに基づいて液晶パネル５５に画像を表示する。なお、図に示すように、液晶パネル駆動部５２および液晶パネル５５は画像処理装置１０とは別に構成されている。この液晶パネル駆動部５２および液晶パネル５５が、特許請求の範囲に記載の画像表示部に相当し、本液晶プロジェクターが、特許請求の範囲に記載の画像表示装置に相当する。
【００２０】
各画像処理部３１〜３９においては、第１画像処理部３１ではＤＩｎ１を処理し、第２画像処理部３２ではＤＩｎ２を処理する、と言ったように、各画像処理部の番号と各部分画像データの番号とが対応して、各部分画像データＤＩｎ１〜９を処理する。本実施例においては、各画像処理部３１〜３９は、画像処理専用のデジタル信号処理プロセッサー（ＤＳＰ）からなる。
【００２１】
図２は、具体例として、第５画像処理部３５の内部構成を示すブロック図である。第５画像処理部３５は、デジタル信号処理プロセッサー（ＤＳＰ）としての機能を有するＣＰＵ７１、動作プログラムなどを記憶したＲＯＭ７３、ワークエリアとして利用されるＲＡＭ７５、表示画像データＤＩｎ０を分割した画像データ、つまり部分画像データＤＩｎ５より若干大きな記憶容量を有するフレームメモリー８０、映像ストレージＳｔ５から部分画像データＤＩｎ５を受け取る入力インターフェース８１、画像合成部４０に部分画像データＤＩｎ５を出力する出力インターフェース８３、タイミング指示部６０からのタイミング信号を受け取る指示入力インターフェース８５を備える。ＣＰＵ７１は、第５画像処理部３５の全体の動作を統御するが、特にフレームメモリー８０に高速にアクセスして、所定の画像処理（フィルター処理）を行なうことができる専用のプロセッサーである。なお、ＣＰＵ７１の機能は、ＦＰＧＡ（Field Programmable Array）や、画像処理専用ＬＳＩなどを用いて実現してもよい。
【００２２】
次に各画像処理部の機能的な構成について説明する。図３は、第５画像処理部３５での処理を模式的に示すブロック図である。第５画像処理部３５は、機能的には、分割画像入力部３５１、データ交換部３５２、フレームメモリー制御部３５３、フレームメモリー３５４、フィルター処理部３５５、分割画像出力部３５６を備える。なお、これらの各ブロックの動作は、実際には、ＣＰＵ７１が所定のプログラムを実行することにより実現される。これら各機能部の詳細は後で説明する。
【００２３】
（Ａ２）画像処理：
次に、画像処理装置１０が行う画像処理について説明する。図４は画像処理装置１０における画像処理の流れを模式的に示した説明図である。画像処理は、映像ストレージＳｔ１〜Ｓｔ９（図１参照）から、画像入力部２１〜２９に、部分画像データＤＩｎ１〜ＤＩｎ９が入力されることにより開始される。
【００２４】
各画像処理部３１〜３９には、画像入力部２１〜２９から分割画像入力部３５１〜３９１（図３参照）を介して、それぞれに部分画像データＤＩｎ１〜９が入力される（ステップＳ１２０）。各画像処理部のフレームメモリー制御部は、入力された部分画像データＤＩｎをフレームメモリーに記憶する。フレームメモリー制御部は、部分画像データＤＩｎのフレームメモリーへの記憶が完了すると、これをタイミング指示部６０に通知する。タイミング指示部６０は、各画像処理部３１〜３９における部分画像データＤＩｎの蓄積の状況を解析し、全部分画像データＤＩｎ１〜９の各画像処理部への入力が完了したと判断した場合（ステップＳ１３０：Ｙｅｓ）、各画像処理部のデータ交換部に対してデータ交換の開始を指示する。各データ交換部はタイミング指示部６０からデータ交換開始の指示を受信すると、各画像処理部が処理を担当する部分画像データの処理に必要な周辺画素データを、所定の画像処理部内のデータ交換部と交換をする周辺画素データ交換処理を行う（ステップＳ１４０）。周辺画素データ交換処理については、後で詳しく説明する。データ交換は、画像データの受信が順次行なわれていることに鑑み、データ交換可能な画像処理部間でのデータ交換から順次指示するものとしてもよいが、本実施例では、ステップＳ１３０で示したように、本発明の理解を容易にするため、データ交換は、第１ないし第９画像処理部３１〜３９の全てが画像データを受け取った後に行うものとした。
【００２５】
各画像処理部のデータ交換部によって周辺画素データの交換が終了すると、各フレーム制御処理部が、フレームメモリーに記憶されている部分画像データＤＩｎと周辺画素データ交換処理によって取得した周辺画素データとを、各フィルター処理部に出力し、各フィルター処理部はそれら２つのデータを用いて、フィルター処理を行う（ステップＳ１５０）。フィルター処理部はフィルター処理を終了すると、処理後のデータを各分割画像出力部を介して画像合成部４０に出力する。この際、各画像処理部３１〜３５の各分割画像出力部３１６〜３９６は、並列的に、画像処理後の部分画像データＤＩｎ１〜９を画像合成部４０に出力する（ステップＳ１６０）。
【００２６】
画像合成部４０は、各分割画像出力部から並列的に受信した部分画像データＤＩｎ１〜９に対して、各部分画像データの配置の並べ替えを行い、各部分画像データを同期して表示した時に表示画像データＤＩｎ０として表示されるように各画像データの配置を整える配置決定処理を含む画像合成処理を行う（ステップＳ１７０）。画像合成部４０は画像合成処理後、部分画像データを所定の出力方法で画像出力部５０に送信する（ステップＳ１８０）。画像合成部４０が行う処理については、後で詳しく説明する。画像出力部５０は、配置が整えられた各部分画像データＤＩｎ１〜９を画像合成部４０から受信し、同期して液晶プロジェクターの液晶パネル駆動部に出力信号として出力する（ステップＳ１９０）。このような画像処理を、入力されてくる部分画像データＤＩｎ１〜９に対して繰り返し行うことによって、画像処理装置１０は画像処理を行う。
【００２７】
次に、上述した周辺画素データ交換処理（図４：ステップＳ１４０参照）について説明する。まず、周辺画素データについて説明する。図５は、具体例として、第５画像処理部３５が部分画像データＤＩｎ５のフィルター処理を行うために必要な周辺画素データを説明する説明図である。フィルター処理部３５５は、部分画像データＤＩｎ５において処理の対象となる画素（以下、注目画素とも呼ぶ）を中心に、５行×５列のフィルター行列を用い、注目画素の周囲の２画素ずつの画素データを参照しながら注目画素に対してフィルター処理を行う。具体的には、エッジ強調やノイズ除去のためのラプラシアンフィルターやメディアンフィルター、その他、カルマンフィルター等の画像処理用フィルターによってフィルター処理を行う。このようなフィルター処理を行う場合、部分画像データＤＩｎ５の垂直方向に上と下、水平方向に左と右の計４辺（上辺、下辺、左辺、右辺）から内側に２画素ずつの画素が各々注目画素として処理対象となった場合、フィルター処理として参照する画素は部分画像データＤＩｎ５の周囲の部分画像データである部分画像データＤＩｎ１〜４，６〜９に含まれる画素にまで及ぶ。よって、第５画像処理部３５は、部分画像データＤＩｎ５の周囲の部分画像データＤＩｎ１〜４，６〜９から、周辺画素データとして、図５に示す周辺画素データを取得する必要がある。第５画像処理部３５のデータ交換部３５２は、これらの周辺画素データを、周辺画素データ交換処理（図４：ステップＳ１４０参照）によって取得する。
【００２８】
（Ａ３）画像合成処理：
次に、本実施例における画像合成部４０が行う処理について説明する。まず、画像合成部４０の内部構成について説明する。図６は、画像合成部４０の内部構成を説明する説明図である。図６に示すように、画像合成部４０は、部分画像データを入力するデータ入力インターフェース（データ入力ＩＦ）４１と、画像合成部４０による演算処理を行うＣＰＵ４２と、ワークエリアとして利用されるＲＡＭ４３と、画像合成処理後の画像データを出力するデータ出力インターフェース（データ出力ＩＦ）４４とを備えている。各機能部は内部バス４５によって互いに接続されている。
【００２９】
画像合成部４０の機能的な構成および処理について説明する。図７は、画像合成部４０の機能的な構成および処理を模式的に示すブロック図である。図７（Ａ）に示すように、画像合成部４０は、画像合成入力部４６と、画像合成処理部４７と、画像合成出力部４８とを備える。画像合成入力部４６は、データ入力ＩＦ４１に対応する処理部である。画像合成出力部４８はデータ出力ＩＦ４４に対応する処理部位である。画像合成処理部４７は、以下に説明する画像合成処理を行う。
【００３０】
次に、画像合成部４０が行う画像合成処理について説明する。特に、画像合成部４０への部分画像データの入出力の方法について説明する。図７（Ａ）は、画像合成部４０に対して各画像処理部３１〜３９から部分画像データＤＩｎ１〜９が入力される様子を示している。図７（Ａ）に示すように、画像合成部４０は、各画像処理部３１〜３９から部分画像データＤＩｎ１〜９を、画像合成入力部４６を介して入力する。各画像処理部３１〜３９から画像合成部４０への各部分画像データＤＩｎ１〜９の入力は、図７（Ａ）に示すように、各部分画像データＤＩｎ１〜９を構成する画素データを、各画像処理部３１〜３９から、所定の走査方向（図７（Ａ）の矢印の方向）に沿って、並列的に順次入力することによって行う。画像合成部４０は、順次入力されてくる画素データを、表示画像を構成するように並べて配置する配置決定処理を行う。順次入力されてくる各画素に対して配置が決定すると、順次、配置が決定した画素データから画像合成出力部４８を介して画像出力部５０に向けて出力する。
【００３１】
具体的には、画像合成部４０は、表示画像に対して数ライン分のラインメモリーをＲＡＭ４３（図６参照）の一部に備える。本実施例では、ＤＩｎ１〜３で２ライン分のラインメモリーを備え、同様にＤＩｎ４〜６、ＤＩｎ７〜９はそれぞれ２ライン分のラインメモリーを備え、計６ライン分のラインメモリーを備える。画像合成部４０は、順次入力される画素データに対して、表示画像における各画素データの配置位置に対応するメモリー上のアドレスを指定して、順次ラインメモリーに書き込むことによって、配置決定処理を行う。画像合成部４０は、各２ラインのラインメモリーに対して、バンク切り換えを行いながら、画像データの書き込み、読み出しを行う。つまり、一方のラインメモリーに入力されてくるデータを書き込むと、次は、他方のラインメモリーに書き込み、その間に、一方のラインデータに書き込まれた画像データを出力するといった処理を繰り返す。また、画像合成部４０は、入力された画素データに対してアドレスを指定するとともに、書き込んだ画像データに対して、色変換処理等の画像処理も行う。色変換処理は、ＲＡＭ４３（図６）が備えるルックアップテーブル（ＬＵＴ）を用いて行う。なお、本実施例では、バンク切り換えによるデータの入出力方法を採用したが、デュアルポートメモリーを用いてデータの読み書きを行う方法や、ＤＩｎ１〜ＤＩｎ３、ＤＩｎ４〜６、ＤＩｎ７〜９毎に各１ライン分のラインメモリーを備え、読み出しに対して書き込みを高速で行う方法を採用することもできる。
【００３２】
次に、画像合成部４０から画像データを出力する処理について説明する。図７（Ｂ）は、画像合成部４０が、ラインメモリーに書き込んだ部分画像データＤＩｎ１〜９を、画像出力部５０に向けて出力する様子を示す説明図である。画像合成部４０は、順次入力され配置決定処理および色変換処理がなされた画素データを、以下のような態様で画像出力部５０に出力する。画像合成部４０は、各画素データが入力されてくる走査方向に、各部分画像ＤＩｎ１〜９をまとめ、１つの単位ブロックとして扱う。本実施例においては、図７（Ｂ）の破線で示すように、各画素データの入力されてくる走査方向に、各画像データＤＩｎ１〜ＤＩｎ９をまとめる。つまり、ＤＩｎ１〜３を１つの単位ブロックとして扱い、ＤＩｎ４〜６、ＤＩｎ７〜９を同様に、それぞれ１つの単位ブロックとして扱う。そして、画像合成部４０で順次配置決定処理がされた画素データを、各単位ブロック毎に並列に、順次、入力された走査方向と同じ方向に、画像合成出力部４８を介して画像出力部５０に向けて出力する。
【００３３】
具体的には、配置決定処理としてラインメモリーに書き込まれた画素データを、バンク切り換えを行いながら各単位ブロック毎に走査方向に順次読み出し画像出力部５０に出力する。そして、読み出しが終了したラインメモリーの記憶領域には、次に入力される画素データが上書きされる。そして、上書きした画像データに対して再び配置決定処理および色変換処理を行う。画像合成部４０は、上記方法によって各画像データＤＩｎ１〜９の入力及び出力を繰り返すことによって画像合成処理を行っている。
【００３４】
以上説明したように、画像処理装置１０による画像処理において、画像合成部４０は、各画像処理部３１〜３９から各画像データＤＩｎ１〜９を、単位ブロック毎に、並列的に出力するので、各画像処理部３１〜３９と画像合成部４０との間の画像データ転送用の配線系統数は、画像処理部の数である９系統必要であるが、画像合成部４０から画像出力部５０までのデータ転送用の配線系統の数は、単位ブロックの数である３系統とすることが可能であり、構造的に簡易化をすることができる。また、各画像処理部から走査方向に順次入力される画像データを、単位ブロック毎に、入力された走査方向と同じ方向に順次読み出すので、入力した画像データを出力時まで一時的に記憶するためのラインメモリーは、各単位ブロック毎に、最小で１ライン分（本実施例では、単位ブロックが３つなので３ライン分）の記憶領域が確保されていれば画像合成部４０としての処理は可能である。つまり、各部分画像データＤＩｎ１〜９毎に並列的に入力し、配置決定処理終了後に、各部分画像データＤＩｎ１〜９毎に並列的に出力する場合と比較して、各画像データＤＩｎ１〜９が入力されてくる走査方向に部分画像データをまとめて１つの単位ブロックとして扱い、かつ、単位ブロック毎にその走査方向に並列的に出力する本実施例の場合は、ラインメモリーの記憶容量を増やすことなく、画像合成部４０と画像出力部５０との間のデータ転送用配線の本数を削減できる。
【００３５】
Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００３６】
（Ｂ１）変形例１：
上記実施例では、表示画像を３×３、計９個の部分画像データに分割して処理をしたが、それに限ることなく、６×６や９×９など、画像処理装置１０が備えることが可能な画像処理部の数の範囲で、表示画像に対応する画像データを分割して処理をすることが可能である。また、第１実施例においては、図７（Ｂ）に示したように、走査方向に隣接している全ての部分画像データを１つの単位ブロックとして扱ったが、それに限ることなく、図８〜図１０に示すように走査方向に隣接する２つ、３つ等、表示画像の走査方向への分割数の範囲で、部分画像データをまとめて単位ブロックとして扱って、第１実施例と同様の処理することが可能である。このように処理を行っても、上記第１実施例と同様の効果を得ることが可能である。
【００３７】
（Ｂ２）変形例２：
第１実施例および変形例１では、走査方向に隣接する部分画像同士をまとめて１つの単位ブロックとして扱ったが、それに限ることなく、互いに隣接していない部分画像同士を走査方向にまとめて１つの単位ブロックとして扱ってもよい。換言すれば、配置関係として走査方向に並んでいる任意の複数の部分画像ブロックを１つの単位ブロックとして扱う。図１１にその具体例を示した。図１１に示した具体例においては、１つおきに配置されている部分画像同士を１つの単位ブロックとして扱う。図１１に示す矢印で結ばれている部分画像同士を、１つの単位ブロックとして扱う。画像合成部４０に入力されてくる部分画像データは、上記第１実施例と同様、各画像処理部から各部分画像を並列的に入力し、出力する際に、図１１に示す単位ブロック毎に並列的に走査方向に画像データを出力する。出力方法として例えば、図１１に示すように、部分画像データＤＩｎ１とＤＩｎ３とが１つの単位ブロックを形成している。この場合この単位ブロックの画像データの出力は、ＤＩｎ１の１ライン目の画像データを出力後、ＤＩｎ３の１ライン目の画像データを出力する。その後、ＤＩｎ１の２ライン目を走査方向に出力し、次に、ＤＩｎ３の２ライン目を出力する。同様の方法でＤＩｎ１とＤＩｎ３とからなる単位ブロックの最後のラインまで画像データを出力する。そして、この単位ブロック毎の出力を、各単位ブロック毎に並列的に行うことで、表示画像全体の画像データの出力を行う。このようにしても第１実施例および変形例１と同様の効果を得ることができる。
【符号の説明】
【００３８】
１０…画像処理装置
２１〜２９…画像入力部
３１〜３９…第１〜９画像入力部
４０…画像合成部
４１…データ入力インターフェース
４２…ＣＰＵ
４３…ＲＡＭ
４４…データ出力インターフェース
４５…内部バス
４６…画像合成入力部
４７…画像合成処理部
４８…画像合成出力部
５０…画像出力部
６０…タイミング指示部
７１…ＣＰＵ
８０…フレームメモリー
８１…入力インターフェース
８３…出力インターフェース
８５…指示入力インターフェース
３１６…分割画像出力部
３５１…分割画像入力部
３５２…データ交換部
３５３…フレームメモリー制御部
３５４…フレームメモリー
３５５…フィルター処理部
３５６…分割画像出力部
ＤＩｎ０…表示画像データ
ＤＩｎ１〜９…部分画像データ
Ｓｔ１〜９…映像ストレージ
【技術分野】
【０００１】
本発明は画像処理の技術に関し、詳しくは、複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理する技術に関する。
【背景技術】
【０００２】
近年、プロジェクター、液晶テレビ、プラズマテレビなどの映像表示機器に入力される画像の高解像度化が進んでおり、こうした機器では、画面を構成する多数の画素に対する画像処理を短時間に終了するために、入力された表示画像に対応する画像データを複数の部分画像データに分割して並列に処理する方法がとられる場合がある。上記技術としては、例えば特許文献１が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１１１９６９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数の部分画像データを各々に画像処理した後、各部分画像データは表示画像における表示配置位置を決定する処理を行う画像合成部に送信される。その際、各部分画像に対応する画像データは並列的に画像合成部に入力される。画像合成部では、各部分画像データの表示配置位置を決定後、各部分画像データを同期させ、各部分画像毎に並列的に、表示画像を表示させる画像出力部に転送する。しかしながら、このような従来のデータの転送方法では、画像合成部と表示部との間に、同期して出力すべき部分画像の数だけデータ転送用の配線が必要であり、表示画像の分割数が増えると、必要な配線数も増加し、構造が複雑化すると言う課題が指摘されていた。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
［適用例１］
複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理する画像処理装置であって、前記部分画像に対応する画像データを入力する入力部と、前記各部分画像に対応して設けられ、前記部分画像に対応する画像データを受け取り、所定の画像処理を行う複数の画像処理部と、前記複数の画像処理部が処理した前記各部分画像に対応する画像データを、並列的に、所定の走査方向に沿って順次入力することによって、前記表示画像に対応する画像データを入力する画像合成入力部と、前記順次入力される前記部分画像に対応する画像データを順次記憶する記憶部と、前記表示画像における前記所定の走査方向に沿って存在する複数の前記部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、前記記憶部に前記順次記憶される前記画像データを、前記各単位ブロック毎に、並列的に、前記所定の走査方向に順次出力する画像合成出力部とを備える画像処理装置。
【０００７】
この画像処理装置によると、画像合成出力部は、画像合成入力部が入力した各部分画像に対応する画像データを、所定の走査方向にまとめて単位ブロックとして扱い、その単位ブロック毎に、並列的にその走査方向に出力するので、画像処理装置の構造として、各部分画像データを並列的に入力し、各部分画像データ毎に並列的に出力する場合と比較して、画像データの出力に用いるデータ転送用の配線の本数を、削減することができ、構造を簡易化できる。また、所定の走査方向に入力した画像データを、その走査方向にまとめた単位ブロック毎に、並列的にその走査方向に出力することから、各部分画像データを並列的に入力し、各部分画像データ毎に並列的に出力する場合と比較して、記憶部に必要とされる記憶容量を削減することができる。
【０００８】
［適用例２］
適用例１記載の画像処理装置であって、前記画像合成出力部は、前記部分画像に対応する画像データを、前記表示画像における前記所定の走査方向に互いに隣接する前記部分画像毎に所定数ずつまとめたものを前記単位ブロックとして扱う画像処理装置。
【０００９】
この画像処理装置によると、画像合成出力部は、表示画像における所定の走査方向に互いに隣接する部分画像毎に所定数ずつまとめて単位ブロックとして扱うことができる。
【００１０】
［適用例３］
適用例２記載の画像処理装置であって、前記画像合成出力部は、前記部分画像に対応する画像データを、前記表示画像における前記所定の走査方向に隣接する前記部分画像の全部をまとめたものを前記単位ブロックとして扱う画像処理装置。
【００１１】
この画像処理装置によると、画像合成出力部は、記表示画像における前記所定の走査方向に隣接する前記部分画像の全部をまとめて単位ブロックとして扱うので、単位ブロックの数を最小限に抑えることができる。
【００１２】
［適用例４］
複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理する画像処理方法であって、前記部分画像に対応する画像データを入力する入力工程と、前記部分画像に対応する画像データを受け取り、所定の画像処理を行う画像処理工程と、前記所定の画像処理部を行った前記各部分画像に対応する画像データを、並列的に、所定の走査方向に沿って順次入力することによって、前記表示画像に対応する画像データを入力する画像合成入力工程と、前記順次入力される前記部分画像に対応する画像データを順次記憶する記憶工程と、前記表示画像における前記所定の走査方向に沿って存在する複数の前記部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、前記順次記憶した前記画像データを、前記各単位ブロック毎に、並列的に、前記所定の走査方向に順次出力する画像合成出力工程とを備える画像処理方法。
【００１３】
この画像処理方法によると画像合成出力工程は、入力した各部分画像に対応する画像データを、所定の走査方向にまとめて単位ブロックとして扱い、その単位ブロック毎に、並列的にその走査方向に出力するので、各部分画像データを並列的に入力し、各部分画像データ毎に並列的に出力する場合と比較して、画像データの出力に必要なデータ転送用の転送ルートを、削減することができる。
【００１４】
［適用例５］
複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理するためのコンピュータープログラムであって、前記部分画像に対応する画像データを入力する入力機能と、前記部分画像に対応する画像データを受け取り、所定の画像処理を行う画像処理機能と、前記所定の画像処理を行った前記各部分画像に対応する画像データを、並列的に、所定の走査方向に沿って順次入力することによって、前記表示画像に対応する画像データを入力する画像合成入力機能と、前記順次入力される前記部分画像に対応する画像データを順次記憶する記憶機能と、前記表示画像における前記所定の走査方向に沿って存在する複数の前記部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、前記順次記憶した前記画像データを、前記各単位ブロック毎に、並列的に、前記所定の走査方向に順次出力する画像合成出力機能とをコンピューターに実現させるコンピュータープログラム。
【００１５】
このコンピュータープログラムによると、所定の走査方向に入力した各部分画像に対応する画像データを、その入力した所定の走査方向にまとめて単位ブロックとして扱い、その単位ブロック毎に、並列的にその走査方向に出力する機能をコンピューターに実現させる。従って、各部分画像データを並列的に入力し、各部分画像データ毎に並列的に出力する場合と比較して、画像データの出力に必要なデータ転送用の転送ルートを、削減することができる。
【００１６】
［適用例６］
表示画像に対応する画像データを入力し、該画像データに対応した画像を表示する画像表示装置であって、適用例１ないし適用例３のいずれか記載の画像処理装置と、前記画像処理装置によって処理された前記画像データに基づいて、前記表示画像を表示する画像表示部とを備える画像表示装置。
この画像表示装置は、適用例１ないし適用例３のいずれか記載の画像処理装置を備えるので、画像処理装置に必要なデータ転送用の配線数を削減する事ができる。
【図面の簡単な説明】
【００１７】
【図１】第１実施例としての画像処理装置１０の構成を示す構成図である。
【図２】第５画像処理部３５の内部構成を示すブロック図である。
【図３】第５画像処理部３５での処理を模式的に示すブロック図である。
【図４】画像処理装置１０における画像処理の流れを模式的に示した説明図である。
【図５】部分画像データＤＩｎ５のフィルター処理を行うために必要な周辺画素データを説明する説明図である。
【図６】画像合成部４０の内部構成を説明する説明図である。
【図７】画像合成部４０の機能的な構成および処理を模式的に示すブロック図である。
【図８】変形例１における単位ブロックの一態様を説明する説明図である。
【図９】変形例１における単位ブロックの一態様を説明する説明図である。
【図１０】変形例１における単位ブロックの一態様を説明する説明図である。
【図１１】変形例２における単位ブロックを説明する説明図である。
【発明を実施するための形態】
【００１８】
本発明の実施の形態を実施例に基づいて説明する。
Ａ．第１実施例：
（Ａ１）画像処理装置の構成：
本実施例では、高解像度の液晶プロジェクターに搭載された画像処理装置を例に挙げて説明を行う。図１は、液晶プロジェクターに搭載された、本発明の第１実施例としての画像処理装置１０の構成を示す構成図である。液晶プロジェクターは、映像ストレージＳｔ１〜Ｓｔ９と外部で接続されており、画像処理装置１０が備える画像入力部２１〜２９を介して、画像データを入力する。各映像ストレージＳｔ１〜Ｓｔ９には、図１に示すように、１画面分の画像データである表示画像データＤＩｎ０を３×３（計９つ）に分割した部分画像に対応する部分画像データＤＩｎ１〜ＤＩｎ９が記憶されており、各映像ストレージＳｔ１〜Ｓｔ９から、画像処理装置１０が備える画像入力部２１〜２９に、部分画像データＤＩｎ１〜ＤＩｎ９が入力される。部分画像データＤＩｎ１〜ＤＩｎ９はデジタルデータとして、各映像ストレージＳｔ１〜Ｓｔ９から画像処理装置１０に入力される。本実施例においては、各映像ストレージＳｔ１〜Ｓｔ９は、複数のコンピューターからなるＰＣクラスターにおける、各コンピューターに備えられている。
【００１９】
画像処理装置１０は、上述した画像入力部２１〜２９と、部分画像データＤＩｎ１〜９を並列に処理する９つの画像処理部である第１画像処理部３１〜第９画像処理部３９と、各画像処理部で並列に処理された各部分画像データＤＩｎ１〜９に対して、表示画像を再構築するための処理を行う画像合成部４０と、画像合成部４０で処理された各部分画像データ画像データを、液晶プロジェクターの液晶パネル駆動部５２に出力信号として出力する画像出力部５０と、タイミング指示部６０とを備える。液晶パネル駆動部５２は画像合成部４０から入力された出力信号としての画像データに基づいて液晶パネル５５に画像を表示する。なお、図に示すように、液晶パネル駆動部５２および液晶パネル５５は画像処理装置１０とは別に構成されている。この液晶パネル駆動部５２および液晶パネル５５が、特許請求の範囲に記載の画像表示部に相当し、本液晶プロジェクターが、特許請求の範囲に記載の画像表示装置に相当する。
【００２０】
各画像処理部３１〜３９においては、第１画像処理部３１ではＤＩｎ１を処理し、第２画像処理部３２ではＤＩｎ２を処理する、と言ったように、各画像処理部の番号と各部分画像データの番号とが対応して、各部分画像データＤＩｎ１〜９を処理する。本実施例においては、各画像処理部３１〜３９は、画像処理専用のデジタル信号処理プロセッサー（ＤＳＰ）からなる。
【００２１】
図２は、具体例として、第５画像処理部３５の内部構成を示すブロック図である。第５画像処理部３５は、デジタル信号処理プロセッサー（ＤＳＰ）としての機能を有するＣＰＵ７１、動作プログラムなどを記憶したＲＯＭ７３、ワークエリアとして利用されるＲＡＭ７５、表示画像データＤＩｎ０を分割した画像データ、つまり部分画像データＤＩｎ５より若干大きな記憶容量を有するフレームメモリー８０、映像ストレージＳｔ５から部分画像データＤＩｎ５を受け取る入力インターフェース８１、画像合成部４０に部分画像データＤＩｎ５を出力する出力インターフェース８３、タイミング指示部６０からのタイミング信号を受け取る指示入力インターフェース８５を備える。ＣＰＵ７１は、第５画像処理部３５の全体の動作を統御するが、特にフレームメモリー８０に高速にアクセスして、所定の画像処理（フィルター処理）を行なうことができる専用のプロセッサーである。なお、ＣＰＵ７１の機能は、ＦＰＧＡ（Field Programmable Array）や、画像処理専用ＬＳＩなどを用いて実現してもよい。
【００２２】
次に各画像処理部の機能的な構成について説明する。図３は、第５画像処理部３５での処理を模式的に示すブロック図である。第５画像処理部３５は、機能的には、分割画像入力部３５１、データ交換部３５２、フレームメモリー制御部３５３、フレームメモリー３５４、フィルター処理部３５５、分割画像出力部３５６を備える。なお、これらの各ブロックの動作は、実際には、ＣＰＵ７１が所定のプログラムを実行することにより実現される。これら各機能部の詳細は後で説明する。
【００２３】
（Ａ２）画像処理：
次に、画像処理装置１０が行う画像処理について説明する。図４は画像処理装置１０における画像処理の流れを模式的に示した説明図である。画像処理は、映像ストレージＳｔ１〜Ｓｔ９（図１参照）から、画像入力部２１〜２９に、部分画像データＤＩｎ１〜ＤＩｎ９が入力されることにより開始される。
【００２４】
各画像処理部３１〜３９には、画像入力部２１〜２９から分割画像入力部３５１〜３９１（図３参照）を介して、それぞれに部分画像データＤＩｎ１〜９が入力される（ステップＳ１２０）。各画像処理部のフレームメモリー制御部は、入力された部分画像データＤＩｎをフレームメモリーに記憶する。フレームメモリー制御部は、部分画像データＤＩｎのフレームメモリーへの記憶が完了すると、これをタイミング指示部６０に通知する。タイミング指示部６０は、各画像処理部３１〜３９における部分画像データＤＩｎの蓄積の状況を解析し、全部分画像データＤＩｎ１〜９の各画像処理部への入力が完了したと判断した場合（ステップＳ１３０：Ｙｅｓ）、各画像処理部のデータ交換部に対してデータ交換の開始を指示する。各データ交換部はタイミング指示部６０からデータ交換開始の指示を受信すると、各画像処理部が処理を担当する部分画像データの処理に必要な周辺画素データを、所定の画像処理部内のデータ交換部と交換をする周辺画素データ交換処理を行う（ステップＳ１４０）。周辺画素データ交換処理については、後で詳しく説明する。データ交換は、画像データの受信が順次行なわれていることに鑑み、データ交換可能な画像処理部間でのデータ交換から順次指示するものとしてもよいが、本実施例では、ステップＳ１３０で示したように、本発明の理解を容易にするため、データ交換は、第１ないし第９画像処理部３１〜３９の全てが画像データを受け取った後に行うものとした。
【００２５】
各画像処理部のデータ交換部によって周辺画素データの交換が終了すると、各フレーム制御処理部が、フレームメモリーに記憶されている部分画像データＤＩｎと周辺画素データ交換処理によって取得した周辺画素データとを、各フィルター処理部に出力し、各フィルター処理部はそれら２つのデータを用いて、フィルター処理を行う（ステップＳ１５０）。フィルター処理部はフィルター処理を終了すると、処理後のデータを各分割画像出力部を介して画像合成部４０に出力する。この際、各画像処理部３１〜３５の各分割画像出力部３１６〜３９６は、並列的に、画像処理後の部分画像データＤＩｎ１〜９を画像合成部４０に出力する（ステップＳ１６０）。
【００２６】
画像合成部４０は、各分割画像出力部から並列的に受信した部分画像データＤＩｎ１〜９に対して、各部分画像データの配置の並べ替えを行い、各部分画像データを同期して表示した時に表示画像データＤＩｎ０として表示されるように各画像データの配置を整える配置決定処理を含む画像合成処理を行う（ステップＳ１７０）。画像合成部４０は画像合成処理後、部分画像データを所定の出力方法で画像出力部５０に送信する（ステップＳ１８０）。画像合成部４０が行う処理については、後で詳しく説明する。画像出力部５０は、配置が整えられた各部分画像データＤＩｎ１〜９を画像合成部４０から受信し、同期して液晶プロジェクターの液晶パネル駆動部に出力信号として出力する（ステップＳ１９０）。このような画像処理を、入力されてくる部分画像データＤＩｎ１〜９に対して繰り返し行うことによって、画像処理装置１０は画像処理を行う。
【００２７】
次に、上述した周辺画素データ交換処理（図４：ステップＳ１４０参照）について説明する。まず、周辺画素データについて説明する。図５は、具体例として、第５画像処理部３５が部分画像データＤＩｎ５のフィルター処理を行うために必要な周辺画素データを説明する説明図である。フィルター処理部３５５は、部分画像データＤＩｎ５において処理の対象となる画素（以下、注目画素とも呼ぶ）を中心に、５行×５列のフィルター行列を用い、注目画素の周囲の２画素ずつの画素データを参照しながら注目画素に対してフィルター処理を行う。具体的には、エッジ強調やノイズ除去のためのラプラシアンフィルターやメディアンフィルター、その他、カルマンフィルター等の画像処理用フィルターによってフィルター処理を行う。このようなフィルター処理を行う場合、部分画像データＤＩｎ５の垂直方向に上と下、水平方向に左と右の計４辺（上辺、下辺、左辺、右辺）から内側に２画素ずつの画素が各々注目画素として処理対象となった場合、フィルター処理として参照する画素は部分画像データＤＩｎ５の周囲の部分画像データである部分画像データＤＩｎ１〜４，６〜９に含まれる画素にまで及ぶ。よって、第５画像処理部３５は、部分画像データＤＩｎ５の周囲の部分画像データＤＩｎ１〜４，６〜９から、周辺画素データとして、図５に示す周辺画素データを取得する必要がある。第５画像処理部３５のデータ交換部３５２は、これらの周辺画素データを、周辺画素データ交換処理（図４：ステップＳ１４０参照）によって取得する。
【００２８】
（Ａ３）画像合成処理：
次に、本実施例における画像合成部４０が行う処理について説明する。まず、画像合成部４０の内部構成について説明する。図６は、画像合成部４０の内部構成を説明する説明図である。図６に示すように、画像合成部４０は、部分画像データを入力するデータ入力インターフェース（データ入力ＩＦ）４１と、画像合成部４０による演算処理を行うＣＰＵ４２と、ワークエリアとして利用されるＲＡＭ４３と、画像合成処理後の画像データを出力するデータ出力インターフェース（データ出力ＩＦ）４４とを備えている。各機能部は内部バス４５によって互いに接続されている。
【００２９】
画像合成部４０の機能的な構成および処理について説明する。図７は、画像合成部４０の機能的な構成および処理を模式的に示すブロック図である。図７（Ａ）に示すように、画像合成部４０は、画像合成入力部４６と、画像合成処理部４７と、画像合成出力部４８とを備える。画像合成入力部４６は、データ入力ＩＦ４１に対応する処理部である。画像合成出力部４８はデータ出力ＩＦ４４に対応する処理部位である。画像合成処理部４７は、以下に説明する画像合成処理を行う。
【００３０】
次に、画像合成部４０が行う画像合成処理について説明する。特に、画像合成部４０への部分画像データの入出力の方法について説明する。図７（Ａ）は、画像合成部４０に対して各画像処理部３１〜３９から部分画像データＤＩｎ１〜９が入力される様子を示している。図７（Ａ）に示すように、画像合成部４０は、各画像処理部３１〜３９から部分画像データＤＩｎ１〜９を、画像合成入力部４６を介して入力する。各画像処理部３１〜３９から画像合成部４０への各部分画像データＤＩｎ１〜９の入力は、図７（Ａ）に示すように、各部分画像データＤＩｎ１〜９を構成する画素データを、各画像処理部３１〜３９から、所定の走査方向（図７（Ａ）の矢印の方向）に沿って、並列的に順次入力することによって行う。画像合成部４０は、順次入力されてくる画素データを、表示画像を構成するように並べて配置する配置決定処理を行う。順次入力されてくる各画素に対して配置が決定すると、順次、配置が決定した画素データから画像合成出力部４８を介して画像出力部５０に向けて出力する。
【００３１】
具体的には、画像合成部４０は、表示画像に対して数ライン分のラインメモリーをＲＡＭ４３（図６参照）の一部に備える。本実施例では、ＤＩｎ１〜３で２ライン分のラインメモリーを備え、同様にＤＩｎ４〜６、ＤＩｎ７〜９はそれぞれ２ライン分のラインメモリーを備え、計６ライン分のラインメモリーを備える。画像合成部４０は、順次入力される画素データに対して、表示画像における各画素データの配置位置に対応するメモリー上のアドレスを指定して、順次ラインメモリーに書き込むことによって、配置決定処理を行う。画像合成部４０は、各２ラインのラインメモリーに対して、バンク切り換えを行いながら、画像データの書き込み、読み出しを行う。つまり、一方のラインメモリーに入力されてくるデータを書き込むと、次は、他方のラインメモリーに書き込み、その間に、一方のラインデータに書き込まれた画像データを出力するといった処理を繰り返す。また、画像合成部４０は、入力された画素データに対してアドレスを指定するとともに、書き込んだ画像データに対して、色変換処理等の画像処理も行う。色変換処理は、ＲＡＭ４３（図６）が備えるルックアップテーブル（ＬＵＴ）を用いて行う。なお、本実施例では、バンク切り換えによるデータの入出力方法を採用したが、デュアルポートメモリーを用いてデータの読み書きを行う方法や、ＤＩｎ１〜ＤＩｎ３、ＤＩｎ４〜６、ＤＩｎ７〜９毎に各１ライン分のラインメモリーを備え、読み出しに対して書き込みを高速で行う方法を採用することもできる。
【００３２】
次に、画像合成部４０から画像データを出力する処理について説明する。図７（Ｂ）は、画像合成部４０が、ラインメモリーに書き込んだ部分画像データＤＩｎ１〜９を、画像出力部５０に向けて出力する様子を示す説明図である。画像合成部４０は、順次入力され配置決定処理および色変換処理がなされた画素データを、以下のような態様で画像出力部５０に出力する。画像合成部４０は、各画素データが入力されてくる走査方向に、各部分画像ＤＩｎ１〜９をまとめ、１つの単位ブロックとして扱う。本実施例においては、図７（Ｂ）の破線で示すように、各画素データの入力されてくる走査方向に、各画像データＤＩｎ１〜ＤＩｎ９をまとめる。つまり、ＤＩｎ１〜３を１つの単位ブロックとして扱い、ＤＩｎ４〜６、ＤＩｎ７〜９を同様に、それぞれ１つの単位ブロックとして扱う。そして、画像合成部４０で順次配置決定処理がされた画素データを、各単位ブロック毎に並列に、順次、入力された走査方向と同じ方向に、画像合成出力部４８を介して画像出力部５０に向けて出力する。
【００３３】
具体的には、配置決定処理としてラインメモリーに書き込まれた画素データを、バンク切り換えを行いながら各単位ブロック毎に走査方向に順次読み出し画像出力部５０に出力する。そして、読み出しが終了したラインメモリーの記憶領域には、次に入力される画素データが上書きされる。そして、上書きした画像データに対して再び配置決定処理および色変換処理を行う。画像合成部４０は、上記方法によって各画像データＤＩｎ１〜９の入力及び出力を繰り返すことによって画像合成処理を行っている。
【００３４】
以上説明したように、画像処理装置１０による画像処理において、画像合成部４０は、各画像処理部３１〜３９から各画像データＤＩｎ１〜９を、単位ブロック毎に、並列的に出力するので、各画像処理部３１〜３９と画像合成部４０との間の画像データ転送用の配線系統数は、画像処理部の数である９系統必要であるが、画像合成部４０から画像出力部５０までのデータ転送用の配線系統の数は、単位ブロックの数である３系統とすることが可能であり、構造的に簡易化をすることができる。また、各画像処理部から走査方向に順次入力される画像データを、単位ブロック毎に、入力された走査方向と同じ方向に順次読み出すので、入力した画像データを出力時まで一時的に記憶するためのラインメモリーは、各単位ブロック毎に、最小で１ライン分（本実施例では、単位ブロックが３つなので３ライン分）の記憶領域が確保されていれば画像合成部４０としての処理は可能である。つまり、各部分画像データＤＩｎ１〜９毎に並列的に入力し、配置決定処理終了後に、各部分画像データＤＩｎ１〜９毎に並列的に出力する場合と比較して、各画像データＤＩｎ１〜９が入力されてくる走査方向に部分画像データをまとめて１つの単位ブロックとして扱い、かつ、単位ブロック毎にその走査方向に並列的に出力する本実施例の場合は、ラインメモリーの記憶容量を増やすことなく、画像合成部４０と画像出力部５０との間のデータ転送用配線の本数を削減できる。
【００３５】
Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００３６】
（Ｂ１）変形例１：
上記実施例では、表示画像を３×３、計９個の部分画像データに分割して処理をしたが、それに限ることなく、６×６や９×９など、画像処理装置１０が備えることが可能な画像処理部の数の範囲で、表示画像に対応する画像データを分割して処理をすることが可能である。また、第１実施例においては、図７（Ｂ）に示したように、走査方向に隣接している全ての部分画像データを１つの単位ブロックとして扱ったが、それに限ることなく、図８〜図１０に示すように走査方向に隣接する２つ、３つ等、表示画像の走査方向への分割数の範囲で、部分画像データをまとめて単位ブロックとして扱って、第１実施例と同様の処理することが可能である。このように処理を行っても、上記第１実施例と同様の効果を得ることが可能である。
【００３７】
（Ｂ２）変形例２：
第１実施例および変形例１では、走査方向に隣接する部分画像同士をまとめて１つの単位ブロックとして扱ったが、それに限ることなく、互いに隣接していない部分画像同士を走査方向にまとめて１つの単位ブロックとして扱ってもよい。換言すれば、配置関係として走査方向に並んでいる任意の複数の部分画像ブロックを１つの単位ブロックとして扱う。図１１にその具体例を示した。図１１に示した具体例においては、１つおきに配置されている部分画像同士を１つの単位ブロックとして扱う。図１１に示す矢印で結ばれている部分画像同士を、１つの単位ブロックとして扱う。画像合成部４０に入力されてくる部分画像データは、上記第１実施例と同様、各画像処理部から各部分画像を並列的に入力し、出力する際に、図１１に示す単位ブロック毎に並列的に走査方向に画像データを出力する。出力方法として例えば、図１１に示すように、部分画像データＤＩｎ１とＤＩｎ３とが１つの単位ブロックを形成している。この場合この単位ブロックの画像データの出力は、ＤＩｎ１の１ライン目の画像データを出力後、ＤＩｎ３の１ライン目の画像データを出力する。その後、ＤＩｎ１の２ライン目を走査方向に出力し、次に、ＤＩｎ３の２ライン目を出力する。同様の方法でＤＩｎ１とＤＩｎ３とからなる単位ブロックの最後のラインまで画像データを出力する。そして、この単位ブロック毎の出力を、各単位ブロック毎に並列的に行うことで、表示画像全体の画像データの出力を行う。このようにしても第１実施例および変形例１と同様の効果を得ることができる。
【符号の説明】
【００３８】
１０…画像処理装置
２１〜２９…画像入力部
３１〜３９…第１〜９画像入力部
４０…画像合成部
４１…データ入力インターフェース
４２…ＣＰＵ
４３…ＲＡＭ
４４…データ出力インターフェース
４５…内部バス
４６…画像合成入力部
４７…画像合成処理部
４８…画像合成出力部
５０…画像出力部
６０…タイミング指示部
７１…ＣＰＵ
８０…フレームメモリー
８１…入力インターフェース
８３…出力インターフェース
８５…指示入力インターフェース
３１６…分割画像出力部
３５１…分割画像入力部
３５２…データ交換部
３５３…フレームメモリー制御部
３５４…フレームメモリー
３５５…フィルター処理部
３５６…分割画像出力部
ＤＩｎ０…表示画像データ
ＤＩｎ１〜９…部分画像データ
Ｓｔ１〜９…映像ストレージ
【特許請求の範囲】
【請求項１】
複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理する画像処理装置であって、
前記部分画像に対応する画像データを入力する入力部と、
前記各部分画像に対応して設けられ、前記部分画像に対応する画像データを受け取り、所定の画像処理を行う複数の画像処理部と、
前記複数の画像処理部が処理した前記各部分画像に対応する画像データを、並列的に、所定の走査方向に沿って順次入力することによって、前記表示画像に対応する画像データを入力する画像合成入力部と、
前記順次入力される前記部分画像に対応する画像データを順次記憶する記憶部と、
前記表示画像における前記所定の走査方向に沿って存在する複数の前記部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、前記記憶部に前記順次記憶される前記画像データを、前記各単位ブロック毎に、並列的に、前記所定の走査方向に順次出力する画像合成出力部と
を備える画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記画像合成出力部は、前記部分画像に対応する画像データを、前記表示画像における前記所定の走査方向に互いに隣接する前記部分画像毎に所定数ずつまとめたものを１つの前記単位ブロックとして扱う
画像処理装置。
【請求項３】
請求項２記載の画像処理装置であって、
前記画像合成出力部は、前記部分画像に対応する画像データを、前記表示画像における前記所定の走査方向に隣接する前記部分画像の全部をまとめたものを１つの前記単位ブロックとして扱う
画像処理装置。
【請求項４】
複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理する画像処理方法であって、
前記部分画像に対応する画像データを入力する入力工程と、
前記部分画像に対応する画像データを受け取り、所定の画像処理を行う画像処理工程と、
前記所定の画像処理部を行った前記各部分画像に対応する画像データを、並列的に、所定の走査方向に沿って順次入力することによって、前記表示画像に対応する画像データを入力する画像合成入力工程と、
前記順次入力される前記部分画像に対応する画像データを順次記憶する記憶工程と、
前記表示画像における前記所定の走査方向に沿って存在する複数の前記部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、前記順次記憶した前記画像データを、前記各単位ブロック毎に、並列的に、前記所定の走査方向に順次出力する画像合成出力工程と
を備える画像処理方法。
【請求項５】
複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理するためのコンピュータープログラムであって、
前記部分画像に対応する画像データを入力する入力機能と、
前記部分画像に対応する画像データを受け取り、所定の画像処理を行う画像処理機能と、
前記所定の画像処理を行った前記各部分画像に対応する画像データを、並列的に、所定の走査方向に沿って順次入力することによって、前記表示画像に対応する画像データを入力する画像合成入力機能と、
前記順次入力される前記部分画像に対応する画像データを順次記憶する記憶機能と、
前記表示画像における前記所定の走査方向に沿って存在する複数の前記部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、前記順次記憶した前記画像データを、前記各単位ブロック毎に、並列的に、前記所定の走査方向に順次出力する画像合成出力機能と
をコンピューターに実現させるコンピュータープログラム。
【請求項６】
表示画像に対応する画像データを入力し、該画像データに対応した画像を表示する画像表示装置であって、
請求項１ないし請求項３のいずれか記載の画像処理装置と、
前記画像処理装置によって処理された前記画像データに基づいて、前記表示画像を表示する画像表示部と
を備える画像表示装置。
【請求項１】
複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理する画像処理装置であって、
前記部分画像に対応する画像データを入力する入力部と、
前記各部分画像に対応して設けられ、前記部分画像に対応する画像データを受け取り、所定の画像処理を行う複数の画像処理部と、
前記複数の画像処理部が処理した前記各部分画像に対応する画像データを、並列的に、所定の走査方向に沿って順次入力することによって、前記表示画像に対応する画像データを入力する画像合成入力部と、
前記順次入力される前記部分画像に対応する画像データを順次記憶する記憶部と、
前記表示画像における前記所定の走査方向に沿って存在する複数の前記部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、前記記憶部に前記順次記憶される前記画像データを、前記各単位ブロック毎に、並列的に、前記所定の走査方向に順次出力する画像合成出力部と
を備える画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記画像合成出力部は、前記部分画像に対応する画像データを、前記表示画像における前記所定の走査方向に互いに隣接する前記部分画像毎に所定数ずつまとめたものを１つの前記単位ブロックとして扱う
画像処理装置。
【請求項３】
請求項２記載の画像処理装置であって、
前記画像合成出力部は、前記部分画像に対応する画像データを、前記表示画像における前記所定の走査方向に隣接する前記部分画像の全部をまとめたものを１つの前記単位ブロックとして扱う
画像処理装置。
【請求項４】
複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理する画像処理方法であって、
前記部分画像に対応する画像データを入力する入力工程と、
前記部分画像に対応する画像データを受け取り、所定の画像処理を行う画像処理工程と、
前記所定の画像処理部を行った前記各部分画像に対応する画像データを、並列的に、所定の走査方向に沿って順次入力することによって、前記表示画像に対応する画像データを入力する画像合成入力工程と、
前記順次入力される前記部分画像に対応する画像データを順次記憶する記憶工程と、
前記表示画像における前記所定の走査方向に沿って存在する複数の前記部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、前記順次記憶した前記画像データを、前記各単位ブロック毎に、並列的に、前記所定の走査方向に順次出力する画像合成出力工程と
を備える画像処理方法。
【請求項５】
複数の画素により構成される表示画像に対応する画像データを、該表示画像を縦横それぞれ複数に分割した各部分画像に対応する画像データ毎に処理するためのコンピュータープログラムであって、
前記部分画像に対応する画像データを入力する入力機能と、
前記部分画像に対応する画像データを受け取り、所定の画像処理を行う画像処理機能と、
前記所定の画像処理を行った前記各部分画像に対応する画像データを、並列的に、所定の走査方向に沿って順次入力することによって、前記表示画像に対応する画像データを入力する画像合成入力機能と、
前記順次入力される前記部分画像に対応する画像データを順次記憶する記憶機能と、
前記表示画像における前記所定の走査方向に沿って存在する複数の前記部分画像にそれぞれ対応する画像データを、まとめて１つの単位ブロックとして扱い、前記順次記憶した前記画像データを、前記各単位ブロック毎に、並列的に、前記所定の走査方向に順次出力する画像合成出力機能と
をコンピューターに実現させるコンピュータープログラム。
【請求項６】
表示画像に対応する画像データを入力し、該画像データに対応した画像を表示する画像表示装置であって、
請求項１ないし請求項３のいずれか記載の画像処理装置と、
前記画像処理装置によって処理された前記画像データに基づいて、前記表示画像を表示する画像表示部と
を備える画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１６９９３５（Ｐ２０１１−１６９９３５Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３０９４４（Ｐ２０１０−３０９４４）
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]