画像処理システム、画像処理方法、及びコンピュータプログラム
【課題】 フレーム画像を複数の領域に分割して複数の画像処理装置で並列に処理するに際し、隣接する領域を扱う画像処理装置が参照する画素の読み出しにかかるメモリ帯域の増大を抑える。
【解決手段】 フレーム画像の垂直方向（上下）で隣接する分割フレーム画像の垂直方向（上下方向）における画像処理の方向を相互に反対の方向にする。さらに、フレーム画像の水平方向（左右）で隣接する分割フレーム画像の水平方向（左右方向）における画像処理の方向を相互に反対の方向にする。
【解決手段】 フレーム画像の垂直方向（上下）で隣接する分割フレーム画像の垂直方向（上下方向）における画像処理の方向を相互に反対の方向にする。さらに、フレーム画像の水平方向（左右）で隣接する分割フレーム画像の水平方向（左右方向）における画像処理の方向を相互に反対の方向にする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法、及びコンピュータプログラムに関し、特に、フレーム画像を複数の領域に分割して、複数の画像処理装置で、分割されたフレーム画像を並列に処理するために用いて好適なものである。
【背景技術】
【０００２】
映像の高精細化が進み、ＨＤ（High Definition）の解像度を超える４Ｋ２Ｋや８Ｋ４Ｋと呼ばれる映像を処理できるシステムの開発が行われている。例えば、４Ｋ２Ｋの映像の各フレーム画像を４つの領域に分割し、それぞれ異なる画像処理装置に入力して並列に画像処理を行い、その後、これらを再合成して４Ｋ２Ｋの映像を生成することで高解像度の画像を処理する画像処理システムを実現している。
【０００３】
ところで、一般的に、画像処理装置の信号処理では、映像信号の空間周波数を加工するフィルタ処理が実行される。フィルタ処理では、注目画素の近傍の画素の情報を用いて信号処理が行われる。したがって、分割されたフレーム画像が異なる画像処理装置で扱われる場合、各画像処理装置は、分割されたフレーム画像の境界付近の画素に対してフィルタ処理を行うため、他の画像処理装置で扱われる領域に含まれる画素を参照する必要がある。各画像処理装置は、自装置が扱う領域に含まれる注目画素に対して順にフィルタ処理を施す中で、分割されたフレーム画像の境界付近の画素を処理するタイミングで、隣接する領域を扱う画像処理装置から、注目画素の近傍の画素の情報を受け取ることが必要となる。
【０００４】
特許文献１では、上下に隣接する領域の画像を、当該画像を構成する水平ラインの垂直方向の走査方向を異なる向きにして、フレームメモリから読み出す映像出力装置が提案されている。これによれば、上下に隣接する領域の画像を扱う画像処理装置間で、分割されたフレーム画像の上下の境界付近の画素に対する画像処理のタイミングを合わせることができる。よって、注目画素の近傍の画素が処理対象と異なる領域にある場合にも、注目画素の近傍の画素の取得にかかるオーバーヘッドを抑えることができる。すなわち、上下に隣接する領域の画像を扱う画像処理装置間で画像処理のタイミングが合わない場合、注目画素の近傍の画素を必要とする一方の画像処理装置は、他方の画像処理装置が当該近傍の画素を画像メモリより読み出すまで処理を待たされるのを回避できる。あるいは、隣接する領域を扱う画像処理装置が、注目画素の近傍の画素を必要とするタイミングに合わせて、当該画素を扱う画像処理装置において画像メモリから当該近傍の画素の読み出しを行う場合にメモリ帯域を増大させてしまうことを回避することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１０６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、各画像処理装置は、処理対象の画像を、当該画像を構成する水平ラインの水平方向の走査方向を同じ向きにして読み出す。このため、分割されたフレーム画像の左右の境界付近の画素に対する各画像処理装置での画像処理を同じタイミングで実行することができない。したがって、各画像処理装置は、分割されたフレーム画像の左右の境界付近の画素について、自装置の処理対象の画素の読み出しと、他の画像処理装置が参照する必要のある近傍の画素の読み出しとをそれぞれ個別に行う必要がある。このため、各画像処理装置において、フレームメモリからの画像データの読み出しに必要なメモリ帯域が増大するという課題があった。
本発明は、以上の課題に鑑みてなされたものであり、フレーム画像を複数の領域に分割して複数の画像処理装置で並列に処理するに際し、隣接する領域を扱う画像処理装置が参照する画素の読み出しにかかるメモリ帯域の増大を抑えることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理システムは、フレーム画像を複数の領域に分割した複数の分割フレーム画像を、複数の画像処理装置で並列に処理する画像処理システムであって、前記複数の画像処理装置は、前記分割フレーム画像の注目画素の画像データを、当該注目画素から所定の範囲にある近傍の画素の画像データを用いて画像処理する画像処理手段と、他の画像処理装置で処理される分割フレーム画像の画素のうち、少なくとも前記注目画素から所定の範囲にある近傍の画素の画像データを当該他の画像処理装置から入力する入力手段と、前記画像処理手段により画像処理された分割フレーム画像を表示装置に送信する送信手段と、を有し、前記画像処理手段は、前記注目画素の近傍の画素が、前記分割フレーム画像と隣接する他の分割フレーム画像にある場合には、当該画素の画像データを、前記入力手段により入力された画像データの中から取得し、前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるようにしたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、フレーム画像の垂直・水平方向で隣接する分割フレーム画像の垂直・水平方向の処理順序を、垂直・水平方向で隣接する分割フレーム画像を画像処理する２つの画像処理装置で反対にする。よって、フレーム画像を複数の領域に分割して複数の画像処理装置で並列に処理するに際し、隣接する領域を扱う画像処理装置が参照する画素の読み出しにかかるメモリ帯域の増大を抑えることができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムの主要部の構成の第１の例を示す図である。
【図２】分割フレーム画像のブロックとバンドを概念的に示す図である。
【図３】各画像処理装置が共有する画素を示す図である。
【図４】各画像処理装置における画像データの処理順序を示す図である。
【図５】他の分割フレーム画像との隣接領域にある注目画素とその近傍の画素を示す図である。
【図６】分割フレーム画像の読み出し順序を示す図である。
【図７】画像処理システムの主要部の処理の概要を説明するフローチャートである。
【図８】フレーム画像を分割する方法の他の例を示す図である。
【図９】画像処理システムの主要部の構成の第２の例を示す図である。
【図１０】分割フレーム画像のデータの送信順序を示す図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照しながら、本発明の実施形態について説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、画像処理システムの主要部の構成の一例を示すブロック図である。また、図７は、画像処理システムの主要部の処理の概要の一例を説明するフローチャートである。本実施形態の画像処理システムは、４Ｋ２Ｋの映像のフレーム画像を４つの領域に分割し、４つの画像処理装置で、分割されたフレーム画像を並列に画像処理し、画像処理されたそれぞれの分割されたフレーム画像を４つの表示装置で再合成して表示するものである。尚、４つの画像処理装置の基本構成は同じであるため、以下、画像処理装置１００について詳細に説明し、その他の３つの画像処理装置１１０、１２０、１３０の詳細な説明を省略する。また、特に断らない限りは、以下、「分割前の４Ｋ２Ｋの映像のフレーム画像」を「４Ｋ２Ｋフレーム画像」、「４つの領域に分割し各画像処理装置に入力されるフレーム画像」を「分割フレーム画像」又は単に「フレーム画像」と呼ぶ。また、各画像処理装置は、例えば、ＣＰＵ、メモリ、ＨＤＤ、及び各種のインターフェースを備えたコンピュータにより実現することができる。また、画像処理装置１００〜１３０は、物理的に独立した装置であっても、一体で構成された装置であってもよい。画像処理装置１００〜１３０を一体で構成する場合には、例えば、以下に示す機能を有する（単一の）コンピュータで複数の画像処理装置を実現することができる。
【００１１】
入力部１０１は、映像信号を入力する手段であり、ＬＶＤＳ（Low Voltage Differential Signaling）インターフェース等のインターフェースを持つ。入力部１０１は、分割して入力される映像信号から分割フレーム画像を構成する画素情報を抽出する（ステップＳ７０１）。さらに入力部１０１は、分割フレーム画像を、所定の数の画素を含むブロック単位で分割し、ブロック単位で画像メモリ１０６に書き込む（ステップＳ７０２）。本実施形態では、入力部１０１は、２５６ピクセル×８ピクセルのブロック単位で、分割フレーム画像を分割する。
【００１２】
画像処理部１０２は、１ブロック分の画像データを保持可能なバッファを２面以上有し、画像メモリ１０６内の分割フレーム画像に対してブロック単位で連続的にメモリアクセスを行う。図２は、入力部１０１が分割フレーム画像を分割することにより得られるブロックと、各ブロックに対して画像処理部１０２が画像処理を実施する単位であるバンドの一例を概念的に示す図である。
図２において、分割フレーム画像２００は、縦方向に複数のバンド２０２に分割され、各バンド２０２は、縦方向に複数のブロック２０１を有する。尚、図２では、１つのバンド、１つのブロックのみに符号を付している。
【００１３】
画像処理部１０２は、バンド２０２ごとにバンド２０２内のブロック２０１を順に処理する。このため、画像処理部１０２は、その内部にあるバッファを参照することで、上下に隣接するブロック２０１の間の境界の画像処理で必要とする近傍画素を取得することができる。
画像処理部１０２は、入力部１０１が画像メモリ１０６に書き込んだ画像データを、バンド２０２ごとにブロック２０１の単位で読み出す（ステップＳ７０３）。そして、後述するようにして、読み出したブロック２０１の注目画素の近傍の画素が全て読み出されると、画像処理部１０２は、フィルタ処理等の画像処理を行う。そして、画像処理部１０２は、画像処理を施した画像データをブロック２０１の単位で画像メモリ１０６に書き込む（ステップＳ７１０）。このとき、画像処理部１０２は、後述する処理順序制御部１０３からのバンド２０２の読み出し順序と、バンド２０２内のブロック２０１の読み出し順序との指定を、後述する処理順序制御部１０３から受けて注目画素を特定する（ステップＳ７０４）。そして、画像処理部１０２は、注目画素の情報と、当該注目画素の近傍の画素のうち自装置の処理対象の分割フレーム画像内の画素の情報とを読み出す（ステップＳ７０５）。
【００１４】
本実施形態では、画像処理部１０２は、画像処理として８タップのフィルタを用いたフィルタ処理を行うものとする。画像処理部１０２は、ブロック単位で読み出した画素ごとに、当該画素から８ピクセル以内に位置する近傍の画素を参照する。処理対象である注目画素が、分割フレーム画像の境界付近であった場合（ステップＳ７０６でＹＥＳの場合）、画像処理部１０２は、次の処理を行う。すなわち、画像処理部１０２は、近傍画素共有部１０４を通して、隣接する分割フレーム画像に含まれる近傍の画素の情報を、当該分割フレーム画像を扱う画像処理装置から受信する（ステップＳ７０７）。
【００１５】
これと同時に、画像処理部１０２は、読み出したブロック２０１に他の画像処理装置が参照する必要のある画素（他の画像処理装置の注目画素の近傍の画素）が含まれる場合（ステップＳ７０８でＹＥＳの場合）、次の処理を行う。すなわち、画像処理部１０２は、当該近傍の画素を、隣接する分割フレーム画像を扱う画像処理装置に対して送信する（ステップＳ７０９）。
図３は、各画像処理装置が共有する画素の一例を示す図である。各画像処理装置の近傍画素共有部１０４は、４Ｋ２Ｋフレーム画像３００において、各分割フレーム画像の境界から８ピクセル以内の境界領域３０１（斜線で示す領域）にある画素の情報を互いに共有する（保持する）。
処理順序制御部１０３は、画像処理装置１００が扱う分割フレーム画像の４Ｋ２Ｋフレーム画像３００内の位置に応じて、画像処理部１０２における画像データの処理順序を決定する。前述したように、画像処理部１０２は、この処理順序に基づいて、注目画素を特定する（ステップＳ７０４）。
【００１６】
図４は、各画像処理装置における画像データの処理順序の一例を示す図である。
処理順序制御部１０３は、上下で隣接する分割フレーム画像（分割フレーム画像２００ａ、２００ｃ・分割フレーム画像２００ｂ、２００ｄ）の「フレームの垂直方向（上下方向）の処理順序」が反対になるように画像データの処理順序を決定する。さらに、処理順序制御部１０３は、左右で隣接する分割フレーム画像（分割フレーム画像２００ａ、２００ｂ・分割フレーム画像２００ｃ、２００ｄ）の「フレームの水平方向（左右方向）の処理順序」が反対になるように画像データの処理順序を決定する。
【００１７】
すなわち、図４において、分割フレーム画像２００ａについては、バンド２０２の処理方向は＋Ｘ方向であり（右向きの白抜き矢印の方向を参照）、バンド２０２内のブロック２０１の処理方向は＋Ｙ方向となる（下向きの白抜き矢印の方向を参照）。分割フレーム画像２００ｂについては、バンド２０２の処理方向は−Ｘ方向であり（左向きの白抜き矢印の方向を参照）、バンド２０２内のブロック２０１の処理方向は＋Ｙ方向となる（下向きの白抜き矢印の方向を参照）。分割フレーム画像２００ｃについては、バンド２０２の処理方向は＋Ｘ方向であり（右向きの白抜き矢印の方向を参照）、バンド２０２内のブロック２０１の処理方向は−Ｙ方向となる（上向きの白抜き矢印の方向を参照）。分割フレーム画像２００ｄについては、バンド２０２の処理方向は−Ｘ方向であり（左向きの白抜き矢印の方向を参照）、バンド２０２内のブロック２０１の処理方向は−Ｙ方向となる（上向きの白抜き矢印の方向を参照）。
【００１８】
近傍画素共有部１０４は、４Ｋ２Ｋフレーム画像３００の中で処理対象の分割フレーム画像２００と隣接する他の分割フレーム画像との境界領域３０１に含まれる画素の情報を、当該他の分割フレーム画像を処理する画像処理装置の近傍画素共有部と共有する。ここで、本実施形態では、画像処理部１０２におけるフィルタ処理として８タップのフィルタを用いる場合を例に挙げている。
【００１９】
図５は、他の分割フレーム画像との隣接領域にある注目画素とその近傍の画素の一例を概念的に示す図である。
注目画素５００は、分割フレーム画像２００ａの画像処理で処理対象とする注目画素である。注目画素５００の画像処理に際し、画像処理部１０２は、注目画素５００の近傍の画素５０１（斜線の領域内の画素）として、注目画素５００から８ピクセル以内に位置する画素の参照を必要とする。図５に示す通り、近傍の画素５０１は、画像処理部１０２が処理対象としている分割フレーム画像２００ａの中だけでなく、分割フレーム画像２００ａに隣接する分割フレーム画像２００ｂ〜２００ｄの中にも含まれる。近傍画素共有部１０４は、通信経路１０８を介して、分割フレーム画像２００ａに隣接する分割フレーム画像２００ｂ〜２００ｄを処理対象とする各画像処理装置１１０〜１３０から近傍の画素５０１の情報を取得する。そして、近傍画素共有部１０４は、取得した近傍の画素５０１の情報を画像処理部１０２に送信する（ステップＳ７０７）。
【００２０】
また、近傍画素共有部１０４は、画像処理部１０２が処理対象として画像メモリ１０６から読み出した分割フレーム画像２００ａの画像データの中から、他の画像処理装置１１０〜１３０が参照する必要のある画素の情報（画像データ）を特定する。そして、近傍画素共有部１０４は、特定した画素の情報（画像データ）を、通信経路１０８を介して、他の画像処理装置１１０〜１３０に送信する（ステップＳ７０９）。すなわち、画像処理部１０２が、画像メモリ１０６からブロック２０１ａの情報を読み出し、その内部のバッファに格納した時点で、近傍画素共有部１０４は、ブロック２０１ａに含まれる近傍の画素の情報を、他の画像処理装置１１０〜１３０に送信する。
【００２１】
同様に、画像処理部１０２の読み出し対象のブロックがブロック２０１ｂであった場合、近傍画素共有部１０４は、ブロック２０１ｂに含まれる近傍の画素を、分割フレーム画像２００ｂを扱う画像処理装置１１０に対して送信する。また、画像処理部１０２の読み出し対象がブロック２０１ｃであった場合、近傍画素共有部１０４は、ブロック２０１ｃに含まれる近傍の画素を、分割フレーム画像２００ｃを扱う画像処理装置１２０に対して送信する。
【００２２】
画像処理部１０２は、読み出したブロック２０１内の全ての画素を注目画素とし、その注目画素に対する画像処理が終了していない場合（ステップＳ７１１でＮＯの場合）、未処理の注目画素に対して前述した処理を行う。そして、読み出したブロック２０１内の全ての画素（注目画素）の画像処理が終了し、且つ、処理対象の分割フレーム画像の全てのブロック２０１に対する画像処理が終了した場合（ステップＳ７１２でＹＥＳの場合）、出力部１０５は、次の処理を行う。
【００２３】
すなわち、出力部１０５は、画像処理部１０２によって画像処理が行われた分割フレーム画像を画像メモリ１０６より読み出し、その各画素の情報を表示装置１０９に対応する走査方向に並び替えて表示装置１０９に送信する。
図６は、出力部１０５における分割フレーム画像の読み出し順序の一例を示す図である。図６において、各画像処理装置の出力部１０５は、分割フレーム画像２００ａ〜２００ｄ内のブロック２０１を、＋Ｘ方向に読み出してＸ方向のブロック２０１を全て読み出す。その後、出力部１０５は、読み出し対象のブロックのＹ方向の位置を＋Ｙ方向に１つずらして、分割フレーム画像２００ａ〜２００ｄ内のブロック２０１を、＋Ｘ方向に読み出してＸ方向のブロック２０１を全て読み出す。以上の読み出しをＹ方向のブロック２０１の全てについて行うまで繰り返し行う。すなわち、出力部１０５は、分割フレーム画像２００ａに対し、ブロック２０１ｄ、２０１ｅ、２０１ｂ、２０１ｂ、２０１ｆの順に読み出し、表示装置１０９に対応したライン単位に画像データを並び替えて表示装置１０９に送信する。
【００２４】
同期部１０７は、分割して入力される映像信号に含まれる同期信号を検出して、画像処理装置１００の内部の画像処理部１０２及び出力部１０５の動作を制御するための同期信号を生成する。また、同期部１０７は、生成した同期信号を、他の画像処理装置１１０〜１３０に対して送信する。各画像処理装置は、各画像処理装置の同期信号に基づいて、画像処理装置間の各部の動作のタイミングを決定する。これにより、各画像処理装置間の各部の動作のタイミングを合わせることができる。
通信経路１０８は、画像処理装置間でデータを送受信するためのチップ間インターフェースであり、ＰＣＩ（Peripheral Component Interconnect）バスやＰＣＩｅ（PCI Express）バス等の手段を用いる。
【００２５】
以上のように本実施形態では、４Ｋ２Ｋの映像のフレーム画像を４つの領域に分割し、４つの画像処理装置１１０〜１３０で分割フレーム画像２００ａ〜２００ｄを並列に処理する画像処理システムを例に挙げて説明した。本実施形態の画像処理システムでは、フレーム画像の垂直方向（上下）で相互に隣接する分割フレーム画像の垂直方向（上下方向）における画像処理の方向を相互に反対の方向にする。さらに、フレーム画像の水平方向（左右）で相互に隣接する分割フレーム画像の水平方向（左右方向）における画像処理の方向を相互に反対の方向にする。処理順序制御部１０３は、画像処理の順序がこのような方向となるように、画像処理装置１１０における分割フレーム画像２００ａの処理順序を決定する。これによって、各画像処理装置１１０〜１１０３は、分割フレーム画像２００ａ〜２００ｄの境界付近の画素に対する画像処理を同じタイミングで行うことができる。このため、処理対象とする画素を含む画像データの読み出しと、他の画像処理装置で必要とする近傍の画素の読み出しとを一度で行うことができる。このため、近傍の画素の読み出しにかかるメモリ帯域を削減することが可能となる。
【００２６】
本実施形態では、４Ｋ２Ｋの映像のフレーム画像３００を４つの領域に分割して、それぞれの分割フレーム画像２００ａ〜２００ｄを、異なる４個の画像処理装置１００〜１３０で並列に処理する例を示した。しかしながら、フレーム画像の分割例はこれに限られるものではない。図８は、フレーム画像を分割する方法の他の例を示す図である。例えば、図８に示すように、８Ｋ４Ｋの映像のフレーム画像を１６の領域に分割して、それぞれの分割フレーム画像を、異なる１６個の画像処理装置で並列に処理することも考えられる。この場合も、図８の白抜きの矢印に示すように、上下、左右で隣接する分割フレーム画像で、画像処理の方向が、それぞれ垂直方向、水平方向で反対の方向になるように各画像処理装置の処理順序を決定することで、前述したのと同様の効果を得ることができる。
【００２７】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、分割フレーム画像が入力部１０１に入力され、入力部１０１で分割フレーム画像をブロック単位で分割し、処理順序制御部１０３で各ブロックの処理順序を決定する場合を例に挙げて説明した。これに対し、本実施形態では、各画像処理装置の前段に、分割フレーム画像をブロック単位で分割する分割装置を設け、この分割装置で、分割フレーム画像をブロック単位で分割し、各画像処理装置での処理順序と同じ順序で各画像処理装置に送信する。このように本実施形態と第１の実施形態とは、各画像処理装置の前段に分割装置を設けたことによる構成及び処理が主として異なる。よって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００２８】
図９は、画像処理システムの主要部の構成の一例を示すブロック図である。図９に示す画像処理システムは、４Ｋ２Ｋの映像のフレーム画像を４つの領域に分割し、４つの画像処理装置で、分割されたフレーム画像を並列に画像処理し、画像処理されたそれぞれの分割されたフレーム画像を４つの表示装置で再合成して表示するものである。尚、４つの画像処理装置１１００〜１１３０の基本構成は同じであるため、画像処理装置１１００以外については、内部のブロックの図示を省略する。
【００２９】
図１０は、分割装置１２００における分割フレーム画像のデータの送信順序の一例を概念的に示す図である。分割装置１２００は、例えば、ＣＰＵ、メモリ、ＨＤＤ、及び各種のインターフェースを備えたコンピュータにより実現することができる。
図１０において、分割装置１２００は、分割フレーム画像２００ａ、２００ｂ、２００ｃ、２００ｄの順に巡回して分割フレーム画像を構成するブロック２０１を、各画像処理装置１１００〜１１３０に送信する。分割装置１２００は、上下で隣接する分割フレーム画像（分割フレーム画像２００ａ、２００ｃ・分割フレーム画像２００ｂ、２００ｄ）の「フレームの垂直方向（上下方向）の処理順序」が反対になるように画像データの送信順序を決定する。さらに、分割装置１２００は、左右で隣接する分割フレーム画像（分割フレーム画像２００ａ、２００ｂ・分割フレーム画像２００ｃ、２００ｄ）の「フレームの水平方向（左右方向）の処理順序」が反対になるように画像データの送信順序を決定する。
【００３０】
すなわち、分割装置１２００は、ブロック２０１ｄ、２０１ｇ、２０１ｈ、２０１ｉ、２０１ｊ、２０１ｋ・・・の順で各画像処理装置１１００〜１１３０に、各ブロック２０１の画像データを送信する。これにより、各画像処理装置１１００〜１１３０は、入力部１０１で画像データの並べ替えや画像メモリ１０６への書き込みを行う必要がなくなり、入力されるブロック単位の画像データをそのまま画像処理部１０２で処理することができる。ここで、分割装置１２００が各画像処理装置１１００〜１１３０に送信する画像データの単位や、分割フレーム画像２００ａ〜２００ｄを巡回する順序は、前述した順序に限るものではない。
【００３１】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００３２】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００３３】
１０２ 画像処理部、１０３ 処理順序制御部、１０４ 近傍画素共有部
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法、及びコンピュータプログラムに関し、特に、フレーム画像を複数の領域に分割して、複数の画像処理装置で、分割されたフレーム画像を並列に処理するために用いて好適なものである。
【背景技術】
【０００２】
映像の高精細化が進み、ＨＤ（High Definition）の解像度を超える４Ｋ２Ｋや８Ｋ４Ｋと呼ばれる映像を処理できるシステムの開発が行われている。例えば、４Ｋ２Ｋの映像の各フレーム画像を４つの領域に分割し、それぞれ異なる画像処理装置に入力して並列に画像処理を行い、その後、これらを再合成して４Ｋ２Ｋの映像を生成することで高解像度の画像を処理する画像処理システムを実現している。
【０００３】
ところで、一般的に、画像処理装置の信号処理では、映像信号の空間周波数を加工するフィルタ処理が実行される。フィルタ処理では、注目画素の近傍の画素の情報を用いて信号処理が行われる。したがって、分割されたフレーム画像が異なる画像処理装置で扱われる場合、各画像処理装置は、分割されたフレーム画像の境界付近の画素に対してフィルタ処理を行うため、他の画像処理装置で扱われる領域に含まれる画素を参照する必要がある。各画像処理装置は、自装置が扱う領域に含まれる注目画素に対して順にフィルタ処理を施す中で、分割されたフレーム画像の境界付近の画素を処理するタイミングで、隣接する領域を扱う画像処理装置から、注目画素の近傍の画素の情報を受け取ることが必要となる。
【０００４】
特許文献１では、上下に隣接する領域の画像を、当該画像を構成する水平ラインの垂直方向の走査方向を異なる向きにして、フレームメモリから読み出す映像出力装置が提案されている。これによれば、上下に隣接する領域の画像を扱う画像処理装置間で、分割されたフレーム画像の上下の境界付近の画素に対する画像処理のタイミングを合わせることができる。よって、注目画素の近傍の画素が処理対象と異なる領域にある場合にも、注目画素の近傍の画素の取得にかかるオーバーヘッドを抑えることができる。すなわち、上下に隣接する領域の画像を扱う画像処理装置間で画像処理のタイミングが合わない場合、注目画素の近傍の画素を必要とする一方の画像処理装置は、他方の画像処理装置が当該近傍の画素を画像メモリより読み出すまで処理を待たされるのを回避できる。あるいは、隣接する領域を扱う画像処理装置が、注目画素の近傍の画素を必要とするタイミングに合わせて、当該画素を扱う画像処理装置において画像メモリから当該近傍の画素の読み出しを行う場合にメモリ帯域を増大させてしまうことを回避することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１０６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、各画像処理装置は、処理対象の画像を、当該画像を構成する水平ラインの水平方向の走査方向を同じ向きにして読み出す。このため、分割されたフレーム画像の左右の境界付近の画素に対する各画像処理装置での画像処理を同じタイミングで実行することができない。したがって、各画像処理装置は、分割されたフレーム画像の左右の境界付近の画素について、自装置の処理対象の画素の読み出しと、他の画像処理装置が参照する必要のある近傍の画素の読み出しとをそれぞれ個別に行う必要がある。このため、各画像処理装置において、フレームメモリからの画像データの読み出しに必要なメモリ帯域が増大するという課題があった。
本発明は、以上の課題に鑑みてなされたものであり、フレーム画像を複数の領域に分割して複数の画像処理装置で並列に処理するに際し、隣接する領域を扱う画像処理装置が参照する画素の読み出しにかかるメモリ帯域の増大を抑えることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理システムは、フレーム画像を複数の領域に分割した複数の分割フレーム画像を、複数の画像処理装置で並列に処理する画像処理システムであって、前記複数の画像処理装置は、前記分割フレーム画像の注目画素の画像データを、当該注目画素から所定の範囲にある近傍の画素の画像データを用いて画像処理する画像処理手段と、他の画像処理装置で処理される分割フレーム画像の画素のうち、少なくとも前記注目画素から所定の範囲にある近傍の画素の画像データを当該他の画像処理装置から入力する入力手段と、前記画像処理手段により画像処理された分割フレーム画像を表示装置に送信する送信手段と、を有し、前記画像処理手段は、前記注目画素の近傍の画素が、前記分割フレーム画像と隣接する他の分割フレーム画像にある場合には、当該画素の画像データを、前記入力手段により入力された画像データの中から取得し、前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるようにしたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、フレーム画像の垂直・水平方向で隣接する分割フレーム画像の垂直・水平方向の処理順序を、垂直・水平方向で隣接する分割フレーム画像を画像処理する２つの画像処理装置で反対にする。よって、フレーム画像を複数の領域に分割して複数の画像処理装置で並列に処理するに際し、隣接する領域を扱う画像処理装置が参照する画素の読み出しにかかるメモリ帯域の増大を抑えることができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムの主要部の構成の第１の例を示す図である。
【図２】分割フレーム画像のブロックとバンドを概念的に示す図である。
【図３】各画像処理装置が共有する画素を示す図である。
【図４】各画像処理装置における画像データの処理順序を示す図である。
【図５】他の分割フレーム画像との隣接領域にある注目画素とその近傍の画素を示す図である。
【図６】分割フレーム画像の読み出し順序を示す図である。
【図７】画像処理システムの主要部の処理の概要を説明するフローチャートである。
【図８】フレーム画像を分割する方法の他の例を示す図である。
【図９】画像処理システムの主要部の構成の第２の例を示す図である。
【図１０】分割フレーム画像のデータの送信順序を示す図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照しながら、本発明の実施形態について説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、画像処理システムの主要部の構成の一例を示すブロック図である。また、図７は、画像処理システムの主要部の処理の概要の一例を説明するフローチャートである。本実施形態の画像処理システムは、４Ｋ２Ｋの映像のフレーム画像を４つの領域に分割し、４つの画像処理装置で、分割されたフレーム画像を並列に画像処理し、画像処理されたそれぞれの分割されたフレーム画像を４つの表示装置で再合成して表示するものである。尚、４つの画像処理装置の基本構成は同じであるため、以下、画像処理装置１００について詳細に説明し、その他の３つの画像処理装置１１０、１２０、１３０の詳細な説明を省略する。また、特に断らない限りは、以下、「分割前の４Ｋ２Ｋの映像のフレーム画像」を「４Ｋ２Ｋフレーム画像」、「４つの領域に分割し各画像処理装置に入力されるフレーム画像」を「分割フレーム画像」又は単に「フレーム画像」と呼ぶ。また、各画像処理装置は、例えば、ＣＰＵ、メモリ、ＨＤＤ、及び各種のインターフェースを備えたコンピュータにより実現することができる。また、画像処理装置１００〜１３０は、物理的に独立した装置であっても、一体で構成された装置であってもよい。画像処理装置１００〜１３０を一体で構成する場合には、例えば、以下に示す機能を有する（単一の）コンピュータで複数の画像処理装置を実現することができる。
【００１１】
入力部１０１は、映像信号を入力する手段であり、ＬＶＤＳ（Low Voltage Differential Signaling）インターフェース等のインターフェースを持つ。入力部１０１は、分割して入力される映像信号から分割フレーム画像を構成する画素情報を抽出する（ステップＳ７０１）。さらに入力部１０１は、分割フレーム画像を、所定の数の画素を含むブロック単位で分割し、ブロック単位で画像メモリ１０６に書き込む（ステップＳ７０２）。本実施形態では、入力部１０１は、２５６ピクセル×８ピクセルのブロック単位で、分割フレーム画像を分割する。
【００１２】
画像処理部１０２は、１ブロック分の画像データを保持可能なバッファを２面以上有し、画像メモリ１０６内の分割フレーム画像に対してブロック単位で連続的にメモリアクセスを行う。図２は、入力部１０１が分割フレーム画像を分割することにより得られるブロックと、各ブロックに対して画像処理部１０２が画像処理を実施する単位であるバンドの一例を概念的に示す図である。
図２において、分割フレーム画像２００は、縦方向に複数のバンド２０２に分割され、各バンド２０２は、縦方向に複数のブロック２０１を有する。尚、図２では、１つのバンド、１つのブロックのみに符号を付している。
【００１３】
画像処理部１０２は、バンド２０２ごとにバンド２０２内のブロック２０１を順に処理する。このため、画像処理部１０２は、その内部にあるバッファを参照することで、上下に隣接するブロック２０１の間の境界の画像処理で必要とする近傍画素を取得することができる。
画像処理部１０２は、入力部１０１が画像メモリ１０６に書き込んだ画像データを、バンド２０２ごとにブロック２０１の単位で読み出す（ステップＳ７０３）。そして、後述するようにして、読み出したブロック２０１の注目画素の近傍の画素が全て読み出されると、画像処理部１０２は、フィルタ処理等の画像処理を行う。そして、画像処理部１０２は、画像処理を施した画像データをブロック２０１の単位で画像メモリ１０６に書き込む（ステップＳ７１０）。このとき、画像処理部１０２は、後述する処理順序制御部１０３からのバンド２０２の読み出し順序と、バンド２０２内のブロック２０１の読み出し順序との指定を、後述する処理順序制御部１０３から受けて注目画素を特定する（ステップＳ７０４）。そして、画像処理部１０２は、注目画素の情報と、当該注目画素の近傍の画素のうち自装置の処理対象の分割フレーム画像内の画素の情報とを読み出す（ステップＳ７０５）。
【００１４】
本実施形態では、画像処理部１０２は、画像処理として８タップのフィルタを用いたフィルタ処理を行うものとする。画像処理部１０２は、ブロック単位で読み出した画素ごとに、当該画素から８ピクセル以内に位置する近傍の画素を参照する。処理対象である注目画素が、分割フレーム画像の境界付近であった場合（ステップＳ７０６でＹＥＳの場合）、画像処理部１０２は、次の処理を行う。すなわち、画像処理部１０２は、近傍画素共有部１０４を通して、隣接する分割フレーム画像に含まれる近傍の画素の情報を、当該分割フレーム画像を扱う画像処理装置から受信する（ステップＳ７０７）。
【００１５】
これと同時に、画像処理部１０２は、読み出したブロック２０１に他の画像処理装置が参照する必要のある画素（他の画像処理装置の注目画素の近傍の画素）が含まれる場合（ステップＳ７０８でＹＥＳの場合）、次の処理を行う。すなわち、画像処理部１０２は、当該近傍の画素を、隣接する分割フレーム画像を扱う画像処理装置に対して送信する（ステップＳ７０９）。
図３は、各画像処理装置が共有する画素の一例を示す図である。各画像処理装置の近傍画素共有部１０４は、４Ｋ２Ｋフレーム画像３００において、各分割フレーム画像の境界から８ピクセル以内の境界領域３０１（斜線で示す領域）にある画素の情報を互いに共有する（保持する）。
処理順序制御部１０３は、画像処理装置１００が扱う分割フレーム画像の４Ｋ２Ｋフレーム画像３００内の位置に応じて、画像処理部１０２における画像データの処理順序を決定する。前述したように、画像処理部１０２は、この処理順序に基づいて、注目画素を特定する（ステップＳ７０４）。
【００１６】
図４は、各画像処理装置における画像データの処理順序の一例を示す図である。
処理順序制御部１０３は、上下で隣接する分割フレーム画像（分割フレーム画像２００ａ、２００ｃ・分割フレーム画像２００ｂ、２００ｄ）の「フレームの垂直方向（上下方向）の処理順序」が反対になるように画像データの処理順序を決定する。さらに、処理順序制御部１０３は、左右で隣接する分割フレーム画像（分割フレーム画像２００ａ、２００ｂ・分割フレーム画像２００ｃ、２００ｄ）の「フレームの水平方向（左右方向）の処理順序」が反対になるように画像データの処理順序を決定する。
【００１７】
すなわち、図４において、分割フレーム画像２００ａについては、バンド２０２の処理方向は＋Ｘ方向であり（右向きの白抜き矢印の方向を参照）、バンド２０２内のブロック２０１の処理方向は＋Ｙ方向となる（下向きの白抜き矢印の方向を参照）。分割フレーム画像２００ｂについては、バンド２０２の処理方向は−Ｘ方向であり（左向きの白抜き矢印の方向を参照）、バンド２０２内のブロック２０１の処理方向は＋Ｙ方向となる（下向きの白抜き矢印の方向を参照）。分割フレーム画像２００ｃについては、バンド２０２の処理方向は＋Ｘ方向であり（右向きの白抜き矢印の方向を参照）、バンド２０２内のブロック２０１の処理方向は−Ｙ方向となる（上向きの白抜き矢印の方向を参照）。分割フレーム画像２００ｄについては、バンド２０２の処理方向は−Ｘ方向であり（左向きの白抜き矢印の方向を参照）、バンド２０２内のブロック２０１の処理方向は−Ｙ方向となる（上向きの白抜き矢印の方向を参照）。
【００１８】
近傍画素共有部１０４は、４Ｋ２Ｋフレーム画像３００の中で処理対象の分割フレーム画像２００と隣接する他の分割フレーム画像との境界領域３０１に含まれる画素の情報を、当該他の分割フレーム画像を処理する画像処理装置の近傍画素共有部と共有する。ここで、本実施形態では、画像処理部１０２におけるフィルタ処理として８タップのフィルタを用いる場合を例に挙げている。
【００１９】
図５は、他の分割フレーム画像との隣接領域にある注目画素とその近傍の画素の一例を概念的に示す図である。
注目画素５００は、分割フレーム画像２００ａの画像処理で処理対象とする注目画素である。注目画素５００の画像処理に際し、画像処理部１０２は、注目画素５００の近傍の画素５０１（斜線の領域内の画素）として、注目画素５００から８ピクセル以内に位置する画素の参照を必要とする。図５に示す通り、近傍の画素５０１は、画像処理部１０２が処理対象としている分割フレーム画像２００ａの中だけでなく、分割フレーム画像２００ａに隣接する分割フレーム画像２００ｂ〜２００ｄの中にも含まれる。近傍画素共有部１０４は、通信経路１０８を介して、分割フレーム画像２００ａに隣接する分割フレーム画像２００ｂ〜２００ｄを処理対象とする各画像処理装置１１０〜１３０から近傍の画素５０１の情報を取得する。そして、近傍画素共有部１０４は、取得した近傍の画素５０１の情報を画像処理部１０２に送信する（ステップＳ７０７）。
【００２０】
また、近傍画素共有部１０４は、画像処理部１０２が処理対象として画像メモリ１０６から読み出した分割フレーム画像２００ａの画像データの中から、他の画像処理装置１１０〜１３０が参照する必要のある画素の情報（画像データ）を特定する。そして、近傍画素共有部１０４は、特定した画素の情報（画像データ）を、通信経路１０８を介して、他の画像処理装置１１０〜１３０に送信する（ステップＳ７０９）。すなわち、画像処理部１０２が、画像メモリ１０６からブロック２０１ａの情報を読み出し、その内部のバッファに格納した時点で、近傍画素共有部１０４は、ブロック２０１ａに含まれる近傍の画素の情報を、他の画像処理装置１１０〜１３０に送信する。
【００２１】
同様に、画像処理部１０２の読み出し対象のブロックがブロック２０１ｂであった場合、近傍画素共有部１０４は、ブロック２０１ｂに含まれる近傍の画素を、分割フレーム画像２００ｂを扱う画像処理装置１１０に対して送信する。また、画像処理部１０２の読み出し対象がブロック２０１ｃであった場合、近傍画素共有部１０４は、ブロック２０１ｃに含まれる近傍の画素を、分割フレーム画像２００ｃを扱う画像処理装置１２０に対して送信する。
【００２２】
画像処理部１０２は、読み出したブロック２０１内の全ての画素を注目画素とし、その注目画素に対する画像処理が終了していない場合（ステップＳ７１１でＮＯの場合）、未処理の注目画素に対して前述した処理を行う。そして、読み出したブロック２０１内の全ての画素（注目画素）の画像処理が終了し、且つ、処理対象の分割フレーム画像の全てのブロック２０１に対する画像処理が終了した場合（ステップＳ７１２でＹＥＳの場合）、出力部１０５は、次の処理を行う。
【００２３】
すなわち、出力部１０５は、画像処理部１０２によって画像処理が行われた分割フレーム画像を画像メモリ１０６より読み出し、その各画素の情報を表示装置１０９に対応する走査方向に並び替えて表示装置１０９に送信する。
図６は、出力部１０５における分割フレーム画像の読み出し順序の一例を示す図である。図６において、各画像処理装置の出力部１０５は、分割フレーム画像２００ａ〜２００ｄ内のブロック２０１を、＋Ｘ方向に読み出してＸ方向のブロック２０１を全て読み出す。その後、出力部１０５は、読み出し対象のブロックのＹ方向の位置を＋Ｙ方向に１つずらして、分割フレーム画像２００ａ〜２００ｄ内のブロック２０１を、＋Ｘ方向に読み出してＸ方向のブロック２０１を全て読み出す。以上の読み出しをＹ方向のブロック２０１の全てについて行うまで繰り返し行う。すなわち、出力部１０５は、分割フレーム画像２００ａに対し、ブロック２０１ｄ、２０１ｅ、２０１ｂ、２０１ｂ、２０１ｆの順に読み出し、表示装置１０９に対応したライン単位に画像データを並び替えて表示装置１０９に送信する。
【００２４】
同期部１０７は、分割して入力される映像信号に含まれる同期信号を検出して、画像処理装置１００の内部の画像処理部１０２及び出力部１０５の動作を制御するための同期信号を生成する。また、同期部１０７は、生成した同期信号を、他の画像処理装置１１０〜１３０に対して送信する。各画像処理装置は、各画像処理装置の同期信号に基づいて、画像処理装置間の各部の動作のタイミングを決定する。これにより、各画像処理装置間の各部の動作のタイミングを合わせることができる。
通信経路１０８は、画像処理装置間でデータを送受信するためのチップ間インターフェースであり、ＰＣＩ（Peripheral Component Interconnect）バスやＰＣＩｅ（PCI Express）バス等の手段を用いる。
【００２５】
以上のように本実施形態では、４Ｋ２Ｋの映像のフレーム画像を４つの領域に分割し、４つの画像処理装置１１０〜１３０で分割フレーム画像２００ａ〜２００ｄを並列に処理する画像処理システムを例に挙げて説明した。本実施形態の画像処理システムでは、フレーム画像の垂直方向（上下）で相互に隣接する分割フレーム画像の垂直方向（上下方向）における画像処理の方向を相互に反対の方向にする。さらに、フレーム画像の水平方向（左右）で相互に隣接する分割フレーム画像の水平方向（左右方向）における画像処理の方向を相互に反対の方向にする。処理順序制御部１０３は、画像処理の順序がこのような方向となるように、画像処理装置１１０における分割フレーム画像２００ａの処理順序を決定する。これによって、各画像処理装置１１０〜１１０３は、分割フレーム画像２００ａ〜２００ｄの境界付近の画素に対する画像処理を同じタイミングで行うことができる。このため、処理対象とする画素を含む画像データの読み出しと、他の画像処理装置で必要とする近傍の画素の読み出しとを一度で行うことができる。このため、近傍の画素の読み出しにかかるメモリ帯域を削減することが可能となる。
【００２６】
本実施形態では、４Ｋ２Ｋの映像のフレーム画像３００を４つの領域に分割して、それぞれの分割フレーム画像２００ａ〜２００ｄを、異なる４個の画像処理装置１００〜１３０で並列に処理する例を示した。しかしながら、フレーム画像の分割例はこれに限られるものではない。図８は、フレーム画像を分割する方法の他の例を示す図である。例えば、図８に示すように、８Ｋ４Ｋの映像のフレーム画像を１６の領域に分割して、それぞれの分割フレーム画像を、異なる１６個の画像処理装置で並列に処理することも考えられる。この場合も、図８の白抜きの矢印に示すように、上下、左右で隣接する分割フレーム画像で、画像処理の方向が、それぞれ垂直方向、水平方向で反対の方向になるように各画像処理装置の処理順序を決定することで、前述したのと同様の効果を得ることができる。
【００２７】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、分割フレーム画像が入力部１０１に入力され、入力部１０１で分割フレーム画像をブロック単位で分割し、処理順序制御部１０３で各ブロックの処理順序を決定する場合を例に挙げて説明した。これに対し、本実施形態では、各画像処理装置の前段に、分割フレーム画像をブロック単位で分割する分割装置を設け、この分割装置で、分割フレーム画像をブロック単位で分割し、各画像処理装置での処理順序と同じ順序で各画像処理装置に送信する。このように本実施形態と第１の実施形態とは、各画像処理装置の前段に分割装置を設けたことによる構成及び処理が主として異なる。よって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００２８】
図９は、画像処理システムの主要部の構成の一例を示すブロック図である。図９に示す画像処理システムは、４Ｋ２Ｋの映像のフレーム画像を４つの領域に分割し、４つの画像処理装置で、分割されたフレーム画像を並列に画像処理し、画像処理されたそれぞれの分割されたフレーム画像を４つの表示装置で再合成して表示するものである。尚、４つの画像処理装置１１００〜１１３０の基本構成は同じであるため、画像処理装置１１００以外については、内部のブロックの図示を省略する。
【００２９】
図１０は、分割装置１２００における分割フレーム画像のデータの送信順序の一例を概念的に示す図である。分割装置１２００は、例えば、ＣＰＵ、メモリ、ＨＤＤ、及び各種のインターフェースを備えたコンピュータにより実現することができる。
図１０において、分割装置１２００は、分割フレーム画像２００ａ、２００ｂ、２００ｃ、２００ｄの順に巡回して分割フレーム画像を構成するブロック２０１を、各画像処理装置１１００〜１１３０に送信する。分割装置１２００は、上下で隣接する分割フレーム画像（分割フレーム画像２００ａ、２００ｃ・分割フレーム画像２００ｂ、２００ｄ）の「フレームの垂直方向（上下方向）の処理順序」が反対になるように画像データの送信順序を決定する。さらに、分割装置１２００は、左右で隣接する分割フレーム画像（分割フレーム画像２００ａ、２００ｂ・分割フレーム画像２００ｃ、２００ｄ）の「フレームの水平方向（左右方向）の処理順序」が反対になるように画像データの送信順序を決定する。
【００３０】
すなわち、分割装置１２００は、ブロック２０１ｄ、２０１ｇ、２０１ｈ、２０１ｉ、２０１ｊ、２０１ｋ・・・の順で各画像処理装置１１００〜１１３０に、各ブロック２０１の画像データを送信する。これにより、各画像処理装置１１００〜１１３０は、入力部１０１で画像データの並べ替えや画像メモリ１０６への書き込みを行う必要がなくなり、入力されるブロック単位の画像データをそのまま画像処理部１０２で処理することができる。ここで、分割装置１２００が各画像処理装置１１００〜１１３０に送信する画像データの単位や、分割フレーム画像２００ａ〜２００ｄを巡回する順序は、前述した順序に限るものではない。
【００３１】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００３２】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００３３】
１０２ 画像処理部、１０３ 処理順序制御部、１０４ 近傍画素共有部
【特許請求の範囲】
【請求項１】
フレーム画像を複数の領域に分割した複数の分割フレーム画像を、複数の画像処理装置で並列に処理する画像処理システムであって、
前記複数の画像処理装置は、
前記分割フレーム画像の注目画素の画像データを、当該注目画素から所定の範囲にある近傍の画素の画像データを用いて画像処理する画像処理手段と、
他の画像処理装置で処理される分割フレーム画像の画素のうち、少なくとも前記注目画素から所定の範囲にある近傍の画素の画像データを当該他の画像処理装置から入力する入力手段と、
前記画像処理手段により画像処理された分割フレーム画像を表示装置に送信する送信手段と、を有し、
前記画像処理手段は、前記注目画素の近傍の画素が、前記分割フレーム画像と隣接する他の分割フレーム画像にある場合には、当該画素の画像データを、前記入力手段により入力された画像データの中から取得し、
前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるようにしたことを特徴とする画像処理システム。
【請求項２】
前記分割フレーム画像を受信すると、当該分割フレーム画像をメモリに書き込む書き込み手段と、
前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるように、前記メモリに書き込まれた前記分割フレーム画像の処理順序を決定する決定手段と、を有し、
前記画像処理手段は、前記決定手段により決定された順序で、前記分割フレーム画像を処理することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記書き込み手段は、前記分割フレーム画像を所定の単位で分割してメモリに書き込み、
前記決定手段は、前記所定の単位の分割フレーム画像の画像処理の順序を決定し、
前記画像処理手段は、前記決定手段により決定された順序で、前記分割フレーム画像を前記所定の単位で処理することを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記フレーム画像を受信すると、当該フレーム画像を分割して複数の分割フレーム画像とし、前記分割フレーム画像を、当該分割フレーム画像を処理する前記画像処理装置に送信する分割装置を有し、
前記分割装置は、前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるように、前記分割フレーム画像のデータの送信順序を決定し、
前記画像処理手段は、前記分割装置により送信された順序で、前記分割フレーム画像を処理することを特徴とする請求項１に記載の画像処理システム。
【請求項５】
前記分割装置は、前記フレーム画像を所定の単位で分割し、前記所定の単位で、前記分割フレーム画像のデータの送信順序を決定し、
前記画像処理手段は、前記分割装置により送信さされた順序で、前記分割フレーム画像を前記所定の単位で処理することを特徴とする請求項４に記載の画像処理システム。
【請求項６】
前記複数の画像処理装置は、前記画像処理手段の動作の同期と前記送信手段の動作の同期とを当該複数の画像処理装置でとるための同期信号を生成する同期手段をさらに有し、
前記同期信号に基づいて、前記画像処理手段と前記送信手段の動作のタイミングを決定することを特徴とする請求項１〜５の何れか１項に記載の画像処理システム。
【請求項７】
前記複数の画像処理装置は、前記複数の分割フレーム画像の境界から所定の範囲にある隣接領域の画像データを共有することを特徴とする請求項１〜６の何れか１項に記載の画像処理システム。
【請求項８】
フレーム画像を複数の領域に分割した複数の分割フレーム画像を、複数の画像処理装置で並列に処理する画像処理方法であって、
前記分割フレーム画像の注目画素の画像データを、当該注目画素から所定の範囲にある近傍の画素の画像データを用いて画像処理する画像処理工程と、
他の画像処理装置で処理される分割フレーム画像の画素のうち、少なくとも前記注目画素から所定の範囲にある近傍の画素の画像データを当該他の画像処理装置から入力する入力工程と、
前記画像処理工程により画像処理された分割フレーム画像を表示装置に送信する送信工程と、を有し、
前記画像処理工程は、前記注目画素の近傍の画素が、前記分割フレーム画像と隣接する他の分割フレーム画像にある場合には、当該画素の画像データを、前記入力工程により入力された画像データの中から取得し、
前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるようにしたことを特徴とする画像処理方法。
【請求項９】
前記分割フレーム画像を受信すると、当該分割フレーム画像をメモリに書き込む書き込み工程と、
前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるように、前記メモリに書き込まれた前記分割フレーム画像の処理順序を決定する決定工程と、を有し、
前記画像処理工程は、前記決定工程により決定された順序で、前記分割フレーム画像を処理することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記書き込み工程は、前記分割フレーム画像を所定の単位で分割してメモリに書き込み、
前記決定工程は、前記所定の単位の分割フレーム画像の画像処理の順序を決定し、
前記画像処理工程は、前記決定工程により決定された順序で、前記分割フレーム画像を前記所定の単位で処理することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記フレーム画像を受信すると、当該フレーム画像を分割して複数の分割フレーム画像とし、前記分割フレーム画像を、当該分割フレーム画像を処理する前記画像処理装置に送信する分割工程を有し、
前記分割工程は、前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるように、前記分割フレーム画像のデータの送信順序を決定し、
前記画像処理工程は、前記分割工程により送信された順序で、前記分割フレーム画像を処理することを特徴とする請求項８に記載の画像処理方法。
【請求項１２】
前記分割工程は、前記フレーム画像を所定の単位で分割し、前記所定の単位で、前記分割フレーム画像のデータの送信順序を決定し、
前記画像処理工程は、前記分割工程により送信さされた順序で、前記分割フレーム画像を前記所定の単位で処理することを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記画像処理工程の動作の同期と前記送信工程の動作の同期とを前記複数の画像処理装置でとるための同期信号を生成する同期工程をさらに有し、
前記同期信号に基づいて、前記画像処理工程と前記送信工程の動作のタイミングを決定することを特徴とする請求項８〜１２の何れか１項に記載の画像処理方法。
【請求項１４】
前記複数の画像処理装置は、前記複数の分割フレーム画像の境界から所定の範囲にある隣接領域の画像データを共有することを特徴とする請求項８〜１３の何れか１項に記載の画像処理方法。
【請求項１５】
フレーム画像を複数の領域に分割した複数の分割フレーム画像を、複数の画像処理装置で並列に処理することをコンピュータに実行させるためのコンピュータプログラムであって、
前記分割フレーム画像の注目画素の画像データを、当該注目画素から所定の範囲にある近傍の画素の画像データを用いて画像処理する画像処理工程と、
他の画像処理装置で処理される分割フレーム画像の画素のうち、少なくとも前記注目画素から所定の範囲にある近傍の画素の画像データを当該他の画像処理装置から入力する入力工程と、
前記画像処理工程により画像処理された分割フレーム画像を表示装置に送信する送信工程と、コンピュータに実行させ、
前記画像処理工程は、前記注目画素の近傍の画素が、前記分割フレーム画像と隣接する他の分割フレーム画像にある場合には、当該画素の画像データを、前記入力工程により入力された画像データの中から取得し、
前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるようにしたことを特徴とするコンピュータプログラム。
【請求項１】
フレーム画像を複数の領域に分割した複数の分割フレーム画像を、複数の画像処理装置で並列に処理する画像処理システムであって、
前記複数の画像処理装置は、
前記分割フレーム画像の注目画素の画像データを、当該注目画素から所定の範囲にある近傍の画素の画像データを用いて画像処理する画像処理手段と、
他の画像処理装置で処理される分割フレーム画像の画素のうち、少なくとも前記注目画素から所定の範囲にある近傍の画素の画像データを当該他の画像処理装置から入力する入力手段と、
前記画像処理手段により画像処理された分割フレーム画像を表示装置に送信する送信手段と、を有し、
前記画像処理手段は、前記注目画素の近傍の画素が、前記分割フレーム画像と隣接する他の分割フレーム画像にある場合には、当該画素の画像データを、前記入力手段により入力された画像データの中から取得し、
前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるようにしたことを特徴とする画像処理システム。
【請求項２】
前記分割フレーム画像を受信すると、当該分割フレーム画像をメモリに書き込む書き込み手段と、
前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるように、前記メモリに書き込まれた前記分割フレーム画像の処理順序を決定する決定手段と、を有し、
前記画像処理手段は、前記決定手段により決定された順序で、前記分割フレーム画像を処理することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記書き込み手段は、前記分割フレーム画像を所定の単位で分割してメモリに書き込み、
前記決定手段は、前記所定の単位の分割フレーム画像の画像処理の順序を決定し、
前記画像処理手段は、前記決定手段により決定された順序で、前記分割フレーム画像を前記所定の単位で処理することを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記フレーム画像を受信すると、当該フレーム画像を分割して複数の分割フレーム画像とし、前記分割フレーム画像を、当該分割フレーム画像を処理する前記画像処理装置に送信する分割装置を有し、
前記分割装置は、前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるように、前記分割フレーム画像のデータの送信順序を決定し、
前記画像処理手段は、前記分割装置により送信された順序で、前記分割フレーム画像を処理することを特徴とする請求項１に記載の画像処理システム。
【請求項５】
前記分割装置は、前記フレーム画像を所定の単位で分割し、前記所定の単位で、前記分割フレーム画像のデータの送信順序を決定し、
前記画像処理手段は、前記分割装置により送信さされた順序で、前記分割フレーム画像を前記所定の単位で処理することを特徴とする請求項４に記載の画像処理システム。
【請求項６】
前記複数の画像処理装置は、前記画像処理手段の動作の同期と前記送信手段の動作の同期とを当該複数の画像処理装置でとるための同期信号を生成する同期手段をさらに有し、
前記同期信号に基づいて、前記画像処理手段と前記送信手段の動作のタイミングを決定することを特徴とする請求項１〜５の何れか１項に記載の画像処理システム。
【請求項７】
前記複数の画像処理装置は、前記複数の分割フレーム画像の境界から所定の範囲にある隣接領域の画像データを共有することを特徴とする請求項１〜６の何れか１項に記載の画像処理システム。
【請求項８】
フレーム画像を複数の領域に分割した複数の分割フレーム画像を、複数の画像処理装置で並列に処理する画像処理方法であって、
前記分割フレーム画像の注目画素の画像データを、当該注目画素から所定の範囲にある近傍の画素の画像データを用いて画像処理する画像処理工程と、
他の画像処理装置で処理される分割フレーム画像の画素のうち、少なくとも前記注目画素から所定の範囲にある近傍の画素の画像データを当該他の画像処理装置から入力する入力工程と、
前記画像処理工程により画像処理された分割フレーム画像を表示装置に送信する送信工程と、を有し、
前記画像処理工程は、前記注目画素の近傍の画素が、前記分割フレーム画像と隣接する他の分割フレーム画像にある場合には、当該画素の画像データを、前記入力工程により入力された画像データの中から取得し、
前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるようにしたことを特徴とする画像処理方法。
【請求項９】
前記分割フレーム画像を受信すると、当該分割フレーム画像をメモリに書き込む書き込み工程と、
前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるように、前記メモリに書き込まれた前記分割フレーム画像の処理順序を決定する決定工程と、を有し、
前記画像処理工程は、前記決定工程により決定された順序で、前記分割フレーム画像を処理することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記書き込み工程は、前記分割フレーム画像を所定の単位で分割してメモリに書き込み、
前記決定工程は、前記所定の単位の分割フレーム画像の画像処理の順序を決定し、
前記画像処理工程は、前記決定工程により決定された順序で、前記分割フレーム画像を前記所定の単位で処理することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記フレーム画像を受信すると、当該フレーム画像を分割して複数の分割フレーム画像とし、前記分割フレーム画像を、当該分割フレーム画像を処理する前記画像処理装置に送信する分割工程を有し、
前記分割工程は、前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるように、前記分割フレーム画像のデータの送信順序を決定し、
前記画像処理工程は、前記分割工程により送信された順序で、前記分割フレーム画像を処理することを特徴とする請求項８に記載の画像処理方法。
【請求項１２】
前記分割工程は、前記フレーム画像を所定の単位で分割し、前記所定の単位で、前記分割フレーム画像のデータの送信順序を決定し、
前記画像処理工程は、前記分割工程により送信さされた順序で、前記分割フレーム画像を前記所定の単位で処理することを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記画像処理工程の動作の同期と前記送信工程の動作の同期とを前記複数の画像処理装置でとるための同期信号を生成する同期工程をさらに有し、
前記同期信号に基づいて、前記画像処理工程と前記送信工程の動作のタイミングを決定することを特徴とする請求項８〜１２の何れか１項に記載の画像処理方法。
【請求項１４】
前記複数の画像処理装置は、前記複数の分割フレーム画像の境界から所定の範囲にある隣接領域の画像データを共有することを特徴とする請求項８〜１３の何れか１項に記載の画像処理方法。
【請求項１５】
フレーム画像を複数の領域に分割した複数の分割フレーム画像を、複数の画像処理装置で並列に処理することをコンピュータに実行させるためのコンピュータプログラムであって、
前記分割フレーム画像の注目画素の画像データを、当該注目画素から所定の範囲にある近傍の画素の画像データを用いて画像処理する画像処理工程と、
他の画像処理装置で処理される分割フレーム画像の画素のうち、少なくとも前記注目画素から所定の範囲にある近傍の画素の画像データを当該他の画像処理装置から入力する入力工程と、
前記画像処理工程により画像処理された分割フレーム画像を表示装置に送信する送信工程と、コンピュータに実行させ、
前記画像処理工程は、前記注目画素の近傍の画素が、前記分割フレーム画像と隣接する他の分割フレーム画像にある場合には、当該画素の画像データを、前記入力工程により入力された画像データの中から取得し、
前記フレーム画像の垂直方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の垂直方向の処理順序が相互に反対となり、且つ、前記フレーム画像の水平方向で隣接する前記分割フレーム画像を画像処理する２つの画像処理装置で、前記分割フレーム画像の水平方向の処理順序が相互に反対となるようにしたことを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−２５６１８（Ｐ２０１３−２５６１８Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１６０８８１（Ｐ２０１１−１６０８８１）
【出願日】平成２３年７月２２日（２０１１．７．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２２日（２０１１．７．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]