説明

画像処理システム

【課題】 複数台のコンピュータを利用して高速にデータ処理を行う。
【解決手段】 画像処理システムであって、ディスプレイケーブル経由で、画像データをキャプチャするキャプチャ手段と、前記キャプチャされた画像データに対してグラフィックスカードで画像処理を行う画像処理手段と、画像処理が施された画像データをグラフィックスカードに接続されたディスプレイケーブルに出力する出力手段とを備える画像処理ユニットを複数ユニット備えるとともに、該複数ユニットをディスプレイケーブル経由で接続させたことを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は動画像データを固定のフレームレートで処理するための、画像処理方法および画像処理装置、プログラムに関するものである。
【背景技術】
【0002】
近年、画像データの高解像度化が進んでいる。それに伴い、データ処理時間も増大しており、画像処理に長時間を費やすことも多い。これに対して、例えば特許文献1などのように、ネットワークに接続された複数台のコンピュータを用いて分散処理を行うことが知られている。また、コンピュータの処理能力を強化するために、Graphics Processing Unit(略してGPU)を搭載することなども行われる。GPUは並列演算処理に特化しており、単体で数百G〜数TFlopsの演算能力を有し、画像処理に適した装置である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平09−231023号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記特許文献1のような手法では、ネットワーク上の各コンピュータに対し、データを転送する必要がある。そして、各コンピュータで処理を行った後、再び、データを返送しなければならず、合計2回の転送が必要になる。このデータ転送に時間がかかるため、処理が高速化されても、トータルの処理時間が結果的に変わらないということも多い。また、GPUを用いた高速化手法においても、メインメモリからGPU上に実装されたVRAMと呼ばれるビデオメモリにデータを転送する必要がある。そして、GPU上で処理を行った後、再びVRAMからメインメモリにデータ転送を行わなければならず、合計2回の転送が行われる。このデータ転送も時間がかかるため、トータルの処理時間が結果的に変わらないということもある。ネットワークやGPUを利用する上でのこのデータ転送の問題は、特に動画像データの場合に顕著である。動画像データの場合は、1秒間に60フレームの画像データを処理する必要がある。そのため、1フレームあたり17ミリ秒という短い時間に処理を完了する必要があるが、転送に時間を費やすと実際の処理に利用できる時間は殆ど残らない。
本発明は、上記課題を解決するためになされたものであり、複数台のコンピュータを利用して高速にデータ処理を行うことを主な目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明の画像処理システムによれば、ディスプレイケーブル経由で、画像データをキャプチャするキャプチャ手段と、前記キャプチャされた画像データに対してグラフィックスカードで画像処理を行う画像処理手段と、画像処理が施された画像データをグラフィックスカードに接続されたディスプレイケーブルに出力する出力手段とを備える画像処理ユニットを複数ユニット備えるとともに、該複数ユニットをディスプレイケーブル経由で接続させたことを特徴とする。
【発明の効果】
【0006】
本発明によれば、複数台のコンピュータを利用して高速にデータ処理を行うことができる。
【図面の簡単な説明】
【0007】
【図1】コンピュータの構成を示した図
【図2】複数コンピュータの接続を示した図
【図3】複数コンピュータの接続を示した図
【図4】画像データの構成を示した図
【図5】データ処理を説明したフローチャート図
【発明を実施するための形態】
【0008】
<実施例1>
本実施例では、複数個のコンピュータ(複数の画像処理ユニット)をGPUとキャプチャカードを用いて接続し、動画像データに対し、実時間処理を行う手法について説明する。
【0009】
図1は、本実施例におけるコンピュータのシステム構成図である。このコンピュータ1つが本実施例における画像処理ユニットに相当する。101はCPUで、全ての処理に関わる、演算および命令ユニットである。102はメインメモリで、動画像データなどはいったんこのメモリ102に格納される。103はキャプチャカードであり、後述するDVI入力104から、入力されたディスプレイ信号を画像データに変換し、102メインメモリに格納する。104はディスプレイ入力端子であり、通常DVI(Digital Visual Interface)やDisplayport、HDMI(High−Definition Multimedia Interface)などのディスプレイケーブルの接続端子に該当する。以下では、DVI入力104またはディスプレイ入力端子と呼ぶ。106はGPUで、通常グラフィックスカードと呼ばれる。このGPU106は、VRAM105に格納されたデータに対し処理を行ったり、VRAMに格納されたデータをDVI出力107を用いて、ディスプレイへ画像データを出力する。105はVRAMで、ビデオメモリと呼ばれるGPU用の高速メモリである。107は、ディスプレイ出力端子であり、通常DVIやDisplayport、HDMIなどの接続端子を用いる。なお、本実施例では、DVI規格の端子を用いた処理について説明するが、他の規格の端子であっても構わない。また、DVIは、Gigabit Ethernet等(登録商標)のネットワーク用の規格に比べ、実行転送速度が非常に高速である。
【0010】
図5は、本実施例における画像処理システム、すなわち画像処理システムを構成する各コンピュータの処理内容を説明したフローチャート図である。ステップS501では、キャプチャカード103を用いて、DVIケーブルから入力されたディスプレイ信号を取り込む。ステップS502では、ディスプレイ信号を画像データに変換し、メインメモリ102に展開する。ステップS503では、変換した画像データを、VRAM105に転送する。ステップS504では、GPU106によって、画像データに対し、画像処理が実行される。ステップS505では、画像データをディスプレイ信号に変換し、DVI出力107を通じて、DVIケーブル(ディスプレイケーブル)に出力する。以上の処理により、DVI経由でキャプチャした動画像データの各フレームに対して画像処理を行い、DVIで出力を行うことができる。この入力から出力までの処理時間を17ミリ秒以内に収めることで、1秒間に60フレームを処理することができ、動画像データをコマ落ちなく処理することが可能である。
【0011】
図2は、複数個のコンピュータを接続する際の構成図である。これ以降、図面中では、コンピュータをパーソナルコンピュータとしてPCと記載することもある。コンピュータが1台で処理を行う場合、17ミリ秒以内に処理を終わらせる必要があるため、高負荷な処理はできない。例えば、動画像データをデコードし、明るさとコントラストを調整するといった処理が実行できないことがある。そこで、複数個のコンピュータを組み合わせることで、このような高負荷な処理を実現する。ここでは、コンピュータ1〜コンピュータ3(図中PC1〜PC3)までの3台のコンピュータを接続する場合を考える。コンピュータ1、コンピュータ2、コンピュータ3は、この順番に接続されているものとする。各コンピュータ間は、GPUとキャプチャカードをDVI等のディスプレイケーブル経由で接続されており、DVI経由でデータを転送する。そして、コンピュータ1で処理した結果をコンピュータ2に転送し、コンピュータ2で処理した結果をコンピュータ3に転送できる仕組みになっており、それぞれのコンピュータで異なる画像処理を実行できる。上記の例に合わせると、コンピュータ1では動画のデコード処理、コンピュータ2では明るさ調整処理、コンピュータ3ではコントラスト調整処理、といった具合に処理の分散が可能である。
【0012】
以下、具体的な処理フローを説明する。まず、コンピュータ1(PC1)は、動画像データをデコード、つまり再生する役割を持つ。デコードされた動画像データのフレームは、いったん、102メインメモリに格納される。そして、105VRAMに転送され、ディスプレイ信号に変換された後、107DVI出力を通じて、DVIケーブルに出力される。コンピュータ1のGPUと、コンピュータ2のキャプチャカードは、DVIケーブルで接続されているため、コンピュータ2は、図5のフローチャートに沿った処理を実行する。ここでは、画像処理として明るさ調整処理を実行したとする。同じく、コンピュータ2のGPUと、コンピュータ3のキャプチャカードは、DVIケーブルで接続されているため、コンピュータ3は、図5のフローチャートに沿った処理を実行する。ここでは、画像処理としてコントラスト調整処理を実行したとする。このようにして、複数個のコンピュータ間で、同一フレームに対し、順番に異なる画像処理を実行できる。これにより、1台のコンピュータでは処理できなかった高負荷な処理を、複数個のコンピュータで処理が可能になる。後は、逐次、これらの処理を動画像の全フレームに対し実行すればよい。また、各コンピュータでの処理時間を17ミリ秒以内に収めることで、各コンピュータが1秒間に60フレームを処理することができる。これにより、遅延は発生するが、コマ落ちせずに実時間で動画像処理を行うシステムを構築できる。さらに、このシステムにおいては、コンピュータ間のデータ転送や、102メインメモリから105VRAMへのデータ転送が片道の1回のみに抑えられる。そのため、データ転送での時間のロスが最小限に抑えられるという特徴がある。
【0013】
以上の処理により、画像処理ユニットを複数個備えるとともに、複数の画像処理ユニットをディスプレイケーブル経由で接続させたことにより、分散処理が高速に行え、動画像データへの実時間処理が可能になる。
【0014】
<実施例2>
本実施例では、複数個のコンピュータ(複数の画像処理ユニット)をGPUとキャプチャカードを用いて分岐状に接続し、動画像データに対し、実時間処理を行う手法について説明する。なお、本実施例のコンピュータ構成については、実施例1と同様であるので説明を省略する。
【0015】
並列接続を用いるケースとしては、動画像データの解像度が高く、DVIでも転送速度が足りない場合などが挙げられる。この場合、各フレームを、例えば上下に2分割し、それぞれを別のコンピュータで処理することができる。また、このとき、分割したフレームを再び合成する必要もある。
【0016】
図3は、コンピュータをGPUとキャプチャカードを用いて並列接続する際の構成図である。コンピュータ1(PC1)〜コンピュータ4(PC4)までの4台のコンピュータを接続する場合を考える。コンピュータ1と、コンピュータ2、コンピュータ3が接続されており、コンピュータ2とコンピュータ3は、コンピュータ4に接続されている。つまり、コンピュータ1から処理が2分岐し、コンピュータ4で再び合流している。このとき、コンピュータ1は、2つのDVI出力107を備えるものとする。
【0017】
まず、コンピュータ1は、動画像データをデコード、つまり再生する役割を持つ。デコードされた動画像データのフレームは、いったんメインメモリ102に格納される。そして、VRAM105に転送された後、上半分のフレームを、1番目のDVI出力107に出力する。そして、下半分のフレームを、2番目のDVI出力107に出力する。このとき、それぞれのDVI出力は、コンピュータ2とコンピュータ3のDVI入力104に接続されている。そのため、コンピュータ2とコンピュータ3は、それぞれフレームの上下半分のデータに対し、図5のフローチャート図に沿った処理を行う。そして、コンピュータ2とコンピュータ3から出力されたディスプレイ信号は、それぞれコンピュータ4のキャプチャカード103によって取り込まれ、コンピュータ4のメインメモリ102に展開される。ここで、コンピュータ2から来た上半分のフレームと、コンピュータ3から来た下半分のフレームを合成する必要がある。しかし、コンピュータ2とコンピュータ3の処理時間が異なる場合、コンピュータ2から来た上半分のフレームと、コンピュータ3から来た下半分のフレームが一致しない場合がある。そこで、図4のように、各フレームの先頭に、信号線を入れておく。信号線には、画像処理を行うための識別信号と、フレームに対し、一意に充てられたIDが記録されている。そのため、コンピュータ4において、フレームIDの一致する上下のフレームを対にして出力することで、フレームのズレを防ぐことができる。最後に、フレームIDの一致する上下の各フレームをVRAM105に転送し、合成した後、ディスプレイに表示させる。
【0018】
以上の処理により、複数個コンピュータにおける分散処理が高速に行え、動画像データへの実時間処理が可能になる。

【特許請求の範囲】
【請求項1】
画像処理システムであって、
ディスプレイケーブル経由で、画像データをキャプチャするキャプチャ手段と、前記キャプチャされた画像データに対してグラフィックスカードで画像処理を行う画像処理手段と、画像処理が施された画像データをグラフィックスカードに接続されたディスプレイケーブルに出力する出力手段とを備える画像処理ユニットを複数個備えるとともに、
該複数の画像処理ユニットをディスプレイケーブル経由で接続させたことを特徴とする画像処理システム。
【請求項2】
前記キャプチャ手段はキャプチャカードであり、前記グラフィックスカードはGPUであり、前記ディスプレイケーブルは、DVI(Digital Visual Interface)であることを特徴とする請求項1に記載の画像処理システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2013−69051(P2013−69051A)
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2011−206111(P2011−206111)
【出願日】平成23年9月21日(2011.9.21)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】