画像処理装置、画像処理システム、画像処理方法およびプログラム
【課題】画像処理装置の性能や経時的に変化する処理状況を考慮して、処理負荷を低減して表示画像の品質劣化を防止する画像処理装置、画像処理システム、画像処理方法およびプログラムを提供すること。
【解決手段】本発明の画像処理装置は、画像を表示する表示手段と、外部から受信した映像信号から画像を生成する映像信号処理手段と、映像信号処理手段が生成した画像を処理して表示手段に表示する画像処理手段とを含み、画像処理手段は、映像信号処理手段に対し、画像処理手段の処理すべきデータ量が低減するよう画像を編集させ、編集された画像を、画像処理手段が指定する転送レートで映像信号処理手段から取得する。
【解決手段】本発明の画像処理装置は、画像を表示する表示手段と、外部から受信した映像信号から画像を生成する映像信号処理手段と、映像信号処理手段が生成した画像を処理して表示手段に表示する画像処理手段とを含み、画像処理手段は、映像信号処理手段に対し、画像処理手段の処理すべきデータ量が低減するよう画像を編集させ、編集された画像を、画像処理手段が指定する転送レートで映像信号処理手段から取得する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、任意の画像を表示する画像処理装置に関し、より詳細には、画像提供装置が提供する画像およびユーザが作成した描画画像を表示する画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
従来、企業や教育機関、行政機関等における会議等において、画像提供装置が出力する画像を大型ディスプレイに表示させ、ユーザが描画する文字や数字、図形等の描画画像を重畳して表示可能な画像処理システムが利用されている。
【0003】
これらの画像処理システムは、複数の画像提供装置が提供する画像を表示するものもあり、画像処理装置が複数の画像を表示する場合、表示すべき画像数の増加に伴って画像処理装置が処理するデータ量が増大することになる。このため、データバスに多量のデータが供給されて転送処理が圧迫され、表示すべき画像の品質が劣化する問題があると共に、プロセッサの使用率やメモリ使用率の増加により、その動作速度が低下するという問題があった。
【0004】
この点につき、特許文献1は、複数表示されている画面の表示位置、順序、大きさを用いて、ユーザが注目している画面を特定し、注目画面の転送を優先し、他の画面の更新頻度を抑える画面転送システムを開示する。この画面転送システムでは、例えば、最前面が最も注目度が高く、最背面ほど注目度は低いと判断し、映像表示装置のポインタ位置にある画面が最も注目度が高いと判断し、または、拡大表示している画面を注目画面と見なして、その他の画面の更新頻度を低下させることにより、注目画面の更新が滞ることを回避することが図られている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1が開示する画面転送システムでは、表示領域情報や最大更新頻度、最大データ量等の表示すべき画面の更新仕様のみを用いて、転送データ量の上限値を決定するため、その他の要因による影響、例えば、映像表示装置が備えるデータバスの最大転送速度や、画像表示処理等によって生じる映像表示装置のCPU負荷等の影響を考慮しておらず、転送データの削減量が不十分となり、注目画面の更新遅延が発生して表示画像の品質が劣化するという問題があった。
【0006】
また、特許文献1が開示する画面転送システムでは、映像表示装置に多数の画像を供給した場合、注目していない画面の更新頻度を下げるだけでは、データ削減量が十分ではなく、注目画面の更新遅延を回避できず、表示画像の品質が劣化する虞がある。さらに、この画面転送システムでは、注目していない画面の更新頻度を過剰に低下させて当該画面のちらつきが生じる虞もある。
【0007】
本発明は上述した課題を解決するものであり、画像処理装置の性能や経時的に変化する処理状況を考慮して、処理負荷を低減して表示画像の品質劣化を防止する画像処理装置、画像処理システム、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、画像を表示する表示手段と、外部から受信した映像信号から画像を生成する映像信号処理手段と、映像信号処理手段が生成した画像を処理して表示手段に表示する画像処理手段とを含み、画像処理手段は、映像信号処理手段に対し、画像処理手段の処理すべきデータ量が低減するよう画像を編集させ、編集された画像を、画像処理手段が指定する転送レートで映像信号処理手段から取得する。また、画像処理手段は、画像処理装置が許容可能なデータ転送量の上限値、すなわち、画像処理装置が1秒当たりに転送可能な最大のデータ転送量以下で、かつ、画像処理装置が有するプロセッサの使用率が所定の割合となる1秒当たりのメモリ使用量を算出し、映像信号処理手段が生成する画像のデータ転送量の総和が、データ転送量の上限値を上回る場合に、映像信号処理手段に前記画像を編集させ、編集された画像を画像処理手段が指定する転送レートで取得する。
【発明の効果】
【0009】
本発明の画像処理装置は、上記構成を採用することにより、画像処理装置の性能や経時的に変化する処理状況に応じて画像処理装置内のデータバスのデータ転送量を低減し、画像処理装置の処理負荷を軽減することができ、表示画像の品質劣化を防止することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の画像処理システムを示す図。
【図2】本発明の画像処理装置のハードウェア構成を示す図。
【図3】本発明の画像処理装置のソフトウェア構成を示す図。
【図4】本発明の画像処理装置が有するコントローラが実行する処理を示すフローチャート。
【図5】本発明の画像処理装置が有するコントローラが実行する処理を示すフローチャート。
【図6】本発明の画像処理装置が有するコントローラが実行する処理を示すフローチャート。
【図7】本発明の画像処理装置のコントローラが実行する編集条件設定処理を示すフローチャート。
【図8】1の画像がディスプレイに表示されている場合に、本発明の画像処理装置のコントローラがデータ削減量を決定して制御信号を生成する処理を示すフローチャート。
【図9】2以上の画像がディスプレイに表示されている場合に、本発明の画像処理装置のコントローラがデータ削減量を決定して制御信号を生成する処理を示すフローチャート。
【図10】本発明の画像処理装置が処理する画像の一実施形態を示す図。
【図11】本発明の画像処理装置がディスプレイに表示する画像の別の実施形態を示す図。
【発明を実施するための形態】
【0011】
以下、本発明について実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。
【0012】
図1は、本発明の画像処理システム100を示す。画像処理システム100は、画像処理装置110と、ユーザPC130a,130bとを含んで構成されており、画像処理装置110およびユーザPC130a,130bは、ケーブル124によって接続される。
【0013】
画像処理装置110は、ユーザPC130a,130bの表示画像やユーザが作成する描画画像等の種々の画像を処理して表示する装置である。画像処理装置110は、種々の画像を表示する表示手段であるディスプレイ112を含んで構成される。ディスプレイ112は、ユーザPC130a,130bの表示画像、ユーザが作成する描画画像、画像処理装置110に対する操作を指示するGUI(Graphical User Interface)画面を表示する。
【0014】
ユーザPC130a,130bは、画像処理装置110に表示すべき画像を提供する情報処理装置である。ユーザPC130a,130bは、映像信号を出力するインタフェースを備えており、ユーザPC130a,130bの表示画像を形成する映像信号を所定の転送レート(例えば、30fps(frame per second)〜60fps)で画像処理装置110に送信する。
【0015】
本実施形態では、ユーザPC130a,130bは、映像信号を出力するインタフェースとしてVGA(Video Graphics Array)出力端子を備えており、映像信号であるVGA信号を画像処理装置110に送信することができる。他の実施形態では、HDMI(High-Definition Multimedia Interface)コネクタ、Displayportコネクタ等を採用し、これらに対応する映像信号を送信することができる。さらに他の実施形態では、ユーザPC130a,130bは、Bluetooth(登録商標)やWiFi(登録商標)等の無線通信プロトコルに準拠した無線通信により、画像処理装置110に映像信号を送信してもよい。
【0016】
図1に示す実施形態では、ユーザPC130a,130bとしてノート型PCを採用するが、他の実施形態では、デスクトップ型PCやタブレット型PC、PDA等の映像信号を供給可能な情報処理装置を採用することができる。また、図1に示す実施形態では、画像処理装置110に2のユーザPC130a,130bが接続されているが、本発明の画像処理装置110は、3以上のユーザPCを接続することができる。
【0017】
図2は、本発明の画像処理装置110のハードウェア構成を示す図である。画像処理装置110は、コントローラ200と、ディスプレイ112と、座標検出装置224とを含んで構成される。
【0018】
コントローラ200は、画像処理装置110の動作を制御する機能手段である。コントローラ200は、マザーボード210と、映像入力ボード220と、ビデオカード222とを含んで構成されており、これらのボードは、データバス230によって相互接続される。
【0019】
マザーボード210は、画像処理装置110の全体制御を行う機能手段を搭載したプリント基板である。マザーボード210は、プロセッサ212と、RAM214と、ROM216と、座標検出装置インタフェース(I/F)218とを備えており、これらの装置は、データバス230によって接続されている。
【0020】
プロセッサ212は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の演算処理装置であり、WINDOWS(登録商標)シリーズ、UNIX(登録商標)、LINUX(登録商標)、TRON、ITRON、μITRONなどのOSを動作させ、これらのOSの管理下でアセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHONなどのプログラム言語で記述された本発明のプログラムを実行する。
【0021】
RAM214は、DRAMやSRAM等の主記憶装置であり、本発明のプログラムを実行するための実行空間を提供する。プロセッサ212は、ソフトウェアプログラムや種々のデータなどを持続的に保持するためのハードディスク装置(図示せず)から、本発明のプログラムを読み出し、RAM214に展開して実行する。
【0022】
ROM216は、BIOSやEFI等のブートプログラムなどが保存される不揮発性メモリである。プロセッサ212は、画像処理装置110の起動時にROM216からブートプログラムを読み出してブート処理を開始する。
【0023】
座標検出装置I/F218は、座標検出装置224との物理インタフェースである。座標検出装置I/F218は、座標検出装置224から物体の接触位置や接近位置(以下、「座標位置」とする。)を示す座標位置情報を受信し、当該座標位置情報をプロセッサ212に送信する。
【0024】
映像入力ボード220は、ユーザPC130a,130bから受信する映像信号を処理する映像信号処理手段を有するプリント基板である。映像入力ボード220は、当該機能を実現するASIC(Application Specific Integrated Circuit)等の集積回路によって構成することができる。
【0025】
映像入力ボード220は、ユーザPC130a,130bから映像信号を受信すると、当該映像信号に種々の処理を施し、データバス230を介してマザーボード210に供給する。本実施形態では、映像入力ボード220は、ユーザPC130a,130bから有線通信により映像信号を受信するが、他の実施形態では、映像入力ボード220は、Bluetooth(登録商標)やWiFi(登録商標)等の無線通信により映像信号を受信してもよい。なお、映像入力ボード220が実装する機能手段については、図3を参照して詳細に説明する。
【0026】
ビデオカード222は、ディスプレイ112を制御する機能手段を有するプリント基板である。ビデオカード222は、GPU(Graphics Processing Unit)(図示せず)やVRAM(図示せず)を備えており、マザーボード210がデータバス230を介して供給する画像をディスプレイ112に表示する。なお、ビデオカード222が実装する機能手段については、図3を参照して詳細に説明する。
【0027】
座標検出装置224は、座標検出装置を構成する座標位置を検知する手段である。座標検出装置224は、ディスプレイ112の周囲またはディスプレイ112上に設置され、指や専用ペンなどの物体の座標位置を検出する。
【0028】
本実施形態では、座標検出装置224として、特許文献2に示すような赤外線遮断方式による座標入力/検出装置を採用する。この座標入力/検出装置では、ディスプレイ112の下側両端部に設置された2の受発光装置が、ディスプレイ112に平行して複数の赤外線を放射し、ディスプレイ112の周囲に設けられた反射部材によって同一光路上に反射する光を受光する。座標検出装置224は、物体によって遮断された2の受発光装置が放射した赤外線の識別情報をコントローラ200が有する座標検出制御部に通知する。座標検出制御部は、当該赤外線の識別情報を使用して遮断された赤外線を特定し、物体の座標位置を算出する。
【0029】
他の実施形態では、静電容量の変化を検知することにより座標位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって座標位置を特定する抵抗膜方式のタッチパネル、接触物体がディスプレイに接触することによって生じる電磁誘導を検知して座標位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を採用してもよい。
【0030】
さらに他の実施形態では、座標検出装置224が、マウスやキーボード等の入力装置を用いてユーザが指定する座標位置を検出するように構成してもよい。
【0031】
図3は、本発明の画像処理装置110が備えるコントローラ200の機能構成を示す図である。以下、コントローラ200が備えるマザーボード210、映像入力ボード220およびビデオカード222の機能構成について説明する。
【0032】
映像入力ボード220は、映像信号入力部300a,300bと、画像編集部302a,302bと、送受信部304とを含んで構成される。図3に示す実施形態では、画像処理装置110に2のユーザPC130a,130bが接続されており、映像信号入力部300aおよび画像編集部302aがユーザPC130aのストリームデータを処理し、映像信号入力部300bおよび画像編集部302bがユーザPC130bのストリームデータを処理する。
【0033】
他の実施形態では、画像処理装置110は、3以上のユーザPCを接続することができ、接続されるユーザPCの台数に応じた数の映像信号入力部および画像編集部を備えることができる。さらに他の実施形態では、1の映像信号入力部および1の画像編集部で複数のユーザPCの映像信号を処理してもよい。
【0034】
映像信号入力部300a,300bは、ユーザPC130a,130bから映像信号を受信して種々の処理を実行する機能手段である。映像信号入力部300a,300bは、ユーザPC130a,130bから映像信号を受信すると、当該映像信号にシリアル−パラレル変換や電圧レベル変換などの処理を施す。そして、映像信号入力部300a,300bは、当該映像信号を解析し、その解析結果をマザーボード210に実装される機能手段である編集条件設定部312に送信する。
【0035】
具体的には、映像信号入力部300a,300bは、当該映像信号が形成する画像の解像度を算出すると共に、当該映像信号の受信間隔から転送レート(fps)を導出する。また、映像信号入力部300a,300bは、当該画像の色深度(bit/px)を算出する。映像信号入力部300a,300bは、これらの画像の解像度、転送レートおよび色深度を含む検知情報を解析結果として編集条件設定部312に送信する。
【0036】
また、映像信号入力部300a,300bは、当該映像信号が形成する画像を映像入力ボード220内のVRAM(図示せず)にバッファリングする。映像信号入力部300a,300bから同時に映像信号を受信する場合、映像信号入力部300a,300bは、これらの映像信号から形成される各画像をVRAMの個別のメモリ領域に保存する。
【0037】
さらに、映像信号入力部300a,300bは、ユーザPC130a,130bから映像信号を受信した後に、映像信号を一定時間以上受信しない場合には、ユーザPC130a,130bとの通信が切断された旨を通知する切断通知をマザーボード210の編集条件設定部に送信する。上記一定時間は、映像信号の転送レートを考慮し、当該映像信号の受信間隔よりも十分に長い時間であることが好適である。
【0038】
画像編集部302a,302bは、映像信号が形成する画像を編集する機能手段である。画像編集部302a,302bは、映像入力ボード220内のVRAMにバッファリングされた画像を取得し、後述する編集条件設定部312が送信する制御信号に基づいて、当該画像の色深度を低減し、または当該画像の色深度および解像度を低減する。
【0039】
この制御信号には、対象となる画像を特定する識別情報(以下、「画像識別情報」とする。)と、色深度の変更指示と、当該画像の解像度を指定する情報(以下、「解像度指定情報」とする。)と、当該画像の転送レートを指定する転送レート指定情報とが含まれている。画像編集部302a,302bは、制御信号を参照し、色深度の変更指示がある場合には画像識別情報が示す画像の色深度を低減する。また、画像編集部302a,302bは、制御信号を参照し、解像度指定情報がある場合には、画像識別情報が示す画像の色深度を低減すると共に、当該画像の解像度を解像度指定情報が示す解像度に変更する。
【0040】
本実施形態では、画像編集部302a,302bは、RGB形式の画像をYUV形式の画像に変換することによって色深度を低減し、当該画像のデータ量を低減する。他の実施形態では、元の画像の色深度を低減してデータ量を低減可能な種々のデータ形式を採用することができる。
【0041】
また、本実施形態では、画像編集部302a,302bは、色深度や解像度を低減した画像を、色深度や解像度を低減する前の画像がバッファリングされたVRAMに上書き保存する。他の実施形態では、画像編集部302a,302bは、色深度や解像度を低減した画像を当該VRAMの他のメモリ領域や他の記憶手段に保存してもよい。
【0042】
送受信部304は、映像入力ボード220とマザーボード210との間のデータバス230を介したデータ通信を制御する機能手段である。具体的には、送受信部304は、マザーボード210に検知情報、切断通知および画像を送信し、マザーボード210から画像の転送要求および制御信号を受信する。
【0043】
送受信部304は、マザーボード210から画像の転送要求を受信した場合、映像入力ボード220内のVRAMに保存されたユーザPC130a,130bの表示画像である画像を取得し、当該画像を、マザーボード210の転送レート指示部316が指示する転送レート指定情報に合致する転送レートでマザーボード210に送信する。なお、転送レートの初期値は、ユーザPC130a,130bが画像処理装置110に映像信号を転送するレートと同一とすることが好適である。
【0044】
本実施形態では、画像の色深度や解像度が低減されていないときには、VRAMには色深度や解像度が低減されていない画像が保存されているため、送受信部304は、色深度や解像度が低減されていない画像をマザーボード210に送信する。一方、画像の色深度や解像度が低減されているときは、VRAMには色深度や解像度が低減された画像が保存されているため、送受信部304は、色深度や解像度が低減された画像をマザーボード210に送信する。
【0045】
マザーボード210から受信した制御信号に色深度の変更指示または解像度指定情報が含まれる場合、送受信部304は、当該制御信号に含まれる画像識別情報を使用して、当該画像識別情報が示す画像を編集すべき画像編集部302a,302bを特定し、色深度の変更指示および解像度指定情報を当該画像編集部に送信する。画像編集部302a,302bは、送受信部304から受信した制御信号を、画像編集部302a,302bがアクセス可能な映像入力ボード220内の記憶装置(図示せず)に保持する。
【0046】
マザーボード210から受信した制御信号に転送レート指定情報が含まれる場合には、送受信部304は、画像識別情報および転送レート指定情報を、送受信部304がアクセス可能な映像入力ボード220内の記憶装置(図示せず)に保持し、画像識別情報が示す画像を、転送レート指定情報に合致する転送レートでマザーボード210に送信する。
【0047】
本実施形態では、送受信部304が制御信号を使用して画像を編集すべき画像編集部302a,302bを特定するが、他の実施形態では、送受信部304が画像編集部302a,302bに制御信号を送信し、画像編集部302a,302bが、制御信号に含まれる画像識別情報を使用して、自己が編集すべき画像であるか否か判断してもよい。
【0048】
マザーボード210は、映像入力ボード220が生成した画像を処理する画像処理手段である座標検出制御部306、画像加工部308、転送量上限決定部310、編集条件設定部312、描画生成部314および転送レート指示部316を含んで構成される。
【0049】
座標検出制御部306は、座標検出装置224を制御する機能手段である。座標検出制御部306は、座標検出装置224を駆動し、物体が接触または接近した座標位置を取得する。座標検出制御部306は、座標位置を示す情報(以下、「座標位置情報」とする。)を画像加工部308および描画生成部314に提供する。
【0050】
画像加工部308は、ディスプレイ112に表示すべき画像を処理する機能手段である。画像加工部308は、映像入力ボード220が供給するユーザPC130a,130bの表示画像を所定のレイアウトに従って配置した画像を生成し、当該画像をディスプレイ112に表示させる。画像加工部308は、ディスプレイ112に表示しているユーザPC130a,130bの表示画像の識別情報と、当該画像の表示領域を示す座標情報(以下、「表示領域情報」とする。)とをRAM214に保存する。
【0051】
また、画像加工部308は、当該画像に、マザーボード210に実装されたアプリケーションプログラム(図示せず)が生成するGUI画面および/または描画生成部314が生成した描画画像を重畳合成して、ディスプレイ112に表示させることができる。
【0052】
さらに、画像加工部308は、編集条件設定部312を呼び出して、映像入力ボード220がマザーボード210に画像を送信するときのデータ転送量を調整する編集条件設定処理を実行する。
【0053】
具体的には、画像加工部308は、RAM214に保存されたディスプレイ112に表示されている画像の識別情報および当該画像の表示領域情報と、座標検出制御部306が提供する座標位置情報とを使用して、ユーザが注目している可能性の高い画像(以下、「注目画像」とする。)と、ユーザが注目している可能性の低い画像(以下、「非注目画像」とする。)とを判別する。
【0054】
本実施形態では、画像加工部308は、座標検出制御部306から受信した最新の座標位置情報が示す座標位置が、表示領域情報が示すディスプレイ112に表示されたユーザPC130a,130bの表示画像の領域内にある場合には、当該画像を注目画像と判断し、その他の画像を非注目画像と判断する。
【0055】
他の実施形態では、座標検出制御部306から一定時間内(例えば、10秒以内等)に受信した複数の座標位置情報が示す座標位置が、それぞれ異なるユーザPC130a,130bの表示画像の領域内にある場合には、画像加工部308が、これらの画像を注目画像と判断し、その他の画像を非注目画像と判断してもよい。
【0056】
さらに他の実施形態では、描画生成部314が画像加工部308に描画画像の座標位置を提供し、当該描画画像の座標位置が、表示領域情報が示すディスプレイ112に表示されたユーザPC130a,130bの表示画像の領域内にある場合に、画像加工部308が、当該画像を注目画像と判断し、その他の画像を非注目画像と判断してもよい。
【0057】
画像加工部308は、当該注目画像の識別情報および非注目画像の識別情報とを編集条件設定部312に渡して、編集条件設定処理を実行する。なお、編集条件設定処理については、図7を参照して詳細に説明する。
【0058】
転送量上限決定部310は、コントローラ200が許容し得る映像入力ボード220とマザーボード210との間のデータ転送量の上限値を決定する機能手段である。転送量上限決定部310は、コントローラ200の有するデータバス230が、1秒当たりに転送可能な最大のデータ転送量と、マザーボード210のプロセッサ212の使用量とを使用して、データ転送量上限値(Xmax(byte/s))を決定する。具体的には、転送量上限決定部310は、データバス230が1秒当たりに転送可能な最大のデータ転送量以下で、かつ、プロセッサ212の使用率が所定の割合、例えば、プロセッサ212の使用率が80%となるメモリ使用量を、データ転送量上限値(Xmax)とすることができる。この使用率は、プロセッサ212の実行する種々の処理が遅延しない程度とするが好適である。
【0059】
編集条件設定部312は、編集条件設定処理を実行して、映像入力ボード220がマザーボード210に画像を送信するときのデータ転送量を調整する機能手段である。編集条件設定部312は、映像入力ボード220から受信した検知情報と、下記数式1とを用いて、ユーザPC130a,130bが1秒当たりに送信する画像のデータ量の総和(Xsum)を算出し、当該データ量の総和(Xsum)が、転送量上限決定部310が決定したデータ転送量上限値(Xmax)を超えるか否か判断する。ディスプレイ112に表示すべきユーザPCの表示画像が1つである場合には、当該ユーザPCが1秒当たりに送信する画像のデータ量をデータ転送量上限値(Xmax)と比較する。
【0060】
【数1】
【0061】
データ量の総和(Xsum)がデータ転送量上限値を超える場合には、編集条件設定部312は、データ量の総和(Xsum)がデータ転送量上限値(Xmax)以下となるデータ削減量を決定する。編集条件設定部312は、当該データ削減量に応じた制御信号を映像入力ボード220に送信し、映像入力ボード220がマザーボード210に送信するデータの転送量を削減する。より詳細には、編集条件設定部312は、データ転送量の削減対象となる画像の画像識別情報、色深度の変更指示および解像度指定情報を映像入力ボード220に送信し、当該画像の画像識別情報および転送レート指定情報を、転送レート指示部316を介して映像入力ボード220に送信する。
【0062】
ディスプレイ112に表示すべきユーザPCの表示画像が複数ある場合には、編集条件設定部312は、画像加工部308が提供する注目画像の識別情報および非注目画像の識別情報を用いて注目画像および非注目画像を判別し、非注目画像のデータ転送量を優先的に削減する。これにより、注目画像の表示品質を保ちつつ、データ転送量を削減することができる。
【0063】
また、編集条件設定部312は、ディスプレイ112に表示すべき画像の色深度を低減した場合、データ量の総和(Xsum)がデータ転送量上限値(Xmax)以下となるか判断する。この条件が満たされない場合、編集条件設定部312は、当該画像の解像度を変更したときのデータ量の総和(Xsum)がデータ転送量上限値(Xmax)以下となるか判断する。さらに、この条件を満たさない場合、編集条件設定部312は、当該画像の転送レートを変更したときのデータ量の総和(Xsum)がデータ転送量上限値(Xmax)以下となるか判断する。これにより、ユーザが認識できない色深度の低減を優先的に実行するため、注目画像の表示品質の劣化を最小限に抑えつつ、データ転送量を削減することができる。
【0064】
描画生成部314は、ディスプレイ112に表示すべき描画画像を生成する機能手段である。描画生成部314は、座標検出制御部306が提供する座標位置情報が示す画素の色を背景色と異なる色に変更して描画画像を生成する。
【0065】
転送レート指示部316は、映像入力ボード220の送受信部304に対して画像の転送レートを指示する機能手段である。転送レート指示部316は、編集条件設定部312が決定した当該データ削減量に応じた転送レート指定情報を、制御信号として映像入力ボード220に送信する。
【0066】
ビデオカード222は、画像加工部308が加工した画像をディスプレイ112に表示する機能手段である表示制御部320を含んで構成される。表示制御部320は、当該画像をディスプレイ112が表示可能な形式の映像信号に変換してディスプレイ112に表示する。
【0067】
上述した機能手段を実現する本発明のプログラムは、ハードディスク装置、CD−ROM、MO、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【0068】
図4は、本発明の画像処理装置110のコントローラ200が実行する処理を示すフローチャートである。以下、図4を参照して、映像入力ボード220に実装される映像信号入力部300a,300bおよび画像編集部302a,302bが実行する処理について説明する。
【0069】
図4の処理は、ステップS400から開始し、ステップS401で映像入力ボード220の映像信号入力部300a,300bが、ユーザPC130a,130bから映像信号を受信したか否か判断する。ユーザPC130a,130bから映像信号を受信していない場合には(no)、ステップS401の処理を反復する。一方、ユーザPC130a,130bから映像信号を受信した場合には(yes)、処理をステップS402に分岐する。以下、ユーザPC130aから映像信号を受信したときの処理について説明する。
【0070】
ステップS402では、映像信号入力部300aは送受信部304を起動する。ステップS403では、映像信号入力部300aは、ユーザPC130aから受信した映像信号を解析し、その解析結果である検知情報を生成する。ステップS404では、映像信号入力部300aは、マザーボード210の編集条件設定部312に検知情報を送信する。ステップS405では、映像信号入力部300aは、当該映像信号から画像を形成し、映像入力ボード220のVRAMにバッファリングする。
【0071】
ステップS406では、画像編集部302aは、編集条件設定部312が送信した制御信号が、画像編集部302aのアクセス可能な記憶装置に保持されているか否か判断する。制御信号が保持されていない場合には(no)、処理をステップS410に分岐する。一方、制御信号が保持されている場合には(yes)、処理をステップS407に分岐する。
【0072】
ステップS407では、画像編集部302aは、制御信号に含まれる画像識別情報が示す画像をVRAMから取得し、当該画像の色深度を低減する。ステップS408では、画像編集部302aは、制御信号に解像度指定情報が含まれるか否か判断する。解像度指定情報が含まれない場合には(no)、処理をステップS410に分岐させる。一方、解像度指定情報が含まれる場合には(yes)、処理をステップS409に分岐させる。ステップS409では、画像編集部302aは、色深度を低減した画像の解像度を、当該解像度指定情報が示す解像度に変更する。
【0073】
ステップS410では、映像入力信号部300aが、ユーザPC130aから映像信号を受信したか否か判断する。ユーザPC130aから映像信号を受信した場合には(yes)、処理をステップS403に戻し、以降の処理を実行する。一方、ユーザPC130aから映像信号をしていない場合には(no)、処理をステップS411に分岐する。ステップS411では、映像入力信号部300aが、送受信部304およびマザーボード210の編集条件設定部312に切断通知を送信し、処理をステップS401に戻す。
【0074】
図5は、本発明の画像処理装置110のコントローラ200が実行する処理を示すフローチャートである。以下、図5を参照して、映像入力ボード220に実装される送受信部304が実行する処理について説明する。
【0075】
図5の処理は、ステップS500から開始し、ステップS501で送受信部304が、マザーボード210から画像の転送要求を受信したか否か判断する。当該転送要求を受信していない場合には(no)、ステップS501の処理を反復する。一方、当該転送要求を受信した場合には(yes)、処理をステップS502に分岐する。
【0076】
ステップS502では、送受信部304は、転送レート指定情報が示す転送レートで、VRAMに保存された転送すべき画像を画像加工部308に送信する。ステップS503では、送受信部304は、映像信号入力部300a,300bから切断通知を受信したか否か判断する。切断通知を受信していない場合には(no)、処理をステップS502に戻す。一方、切断通知を受信した場合には(yes)、ステップS504に分岐して処理が終了する。
【0077】
図6は、本発明の画像処理装置110のコントローラ200が実行する処理を示すフローチャートである。以下、図6を参照して、マザーボード210に実装される機能手段が実行する処理について説明する。
【0078】
図6の処理は、ステップS600から開始し、ステップS601で編集条件設定部312が、映像入力ボード220から検知情報を受信したか否か判断する。検知情報を受信していない場合には(no)、ステップS601の処理を反復する。一方、検知情報を受信した場合には(yes)、処理をステップS602に分岐する。
【0079】
ステップS602では、編集条件設定部312は、映像入力ボード220に画像の転送要求を送信する。ステップS603では、画像加工部308が、映像入力ボード220から画像を受信したか否か判断する。画像を受信していない場合には(no)、ステップS603の処理を反復する。一方、画像を受信した場合には(yes)、処理をステップS604に分岐する。
【0080】
ステップS604では、画像加工部308は、映像入力ボード220から受信した画像を、レイアウトによって規定される表示位置に配置した画像を生成し、ビデオカード222に送信してディスプレイ112に表示させる。ステップS605では、画像加工部308は、注目画像の画像識別情報、または注目画像および非注目画像の画像識別情報を引数として編集条件設定部312を呼び出し、図7に示す編集条件設定処理を実行する。
【0081】
ステップS606では、編集条件設定部312は、映像入力ボード220から切断通知を受信したか否か判断する。切断通知を受信した場合には(yes)、処理をステップS601に戻し、以降の処理を実行する。一方、切断通知を受信していない場合には(no)、処理をステップS603に戻し、以降の処理を実行する。
【0082】
図7は、本発明の画像処理装置110のコントローラ200が実行する編集条件設定処理を示すフローチャートである。以下、図7を参照して、編集条件設定処理について説明する。
【0083】
図7の処理は、ステップS700から開始し、ステップS701で編集条件設定部312は、画像加工部308から引数として取得した注目画像および非注目画像の画像識別情報を使用して、ディスプレイ112に表示されている画像の数を判断する。2以上の画像がディスプレイ112に表示されている場合には、処理をステップS702に分岐する。一方、1の画像がディスプレイ112に表示されている場合には、処理をステップS708に分岐する。
【0084】
ステップS702では、編集条件設定部312は、転送量上限決定部310を呼び出し、転送量上限決定部310は、データ転送量上限値(Xmax)を決定する。ステップS703では、編集条件設定部312は、映像入力ボード220が提供する検知情報を使用して、ディスプレイ112に表示されている総ての画像のデータ転送量を算出する。ステップS704では、編集条件設定部312は、ステップS703で算出したデータ転送量の総和(Xsum)を算出する。ステップS705では、編集条件設定部312は、データ転送量の総和(Xsum)がデータ転送量上限値(Xmax)を上回るか否か判断する。データ転送量の総和(Xsum)がデータ転送量上限値(Xmax)以下である場合には(no)、ステップS713に分岐して処理が終了する。一方、データ転送量の総和(Xsum)がデータ転送量上限値(Xmax)を上回る場合には(yes)、処理をステップS706に分岐する。
【0085】
ステップS706では、編集条件設定部312は、データ削減量を決定し、当該データ削減量に応じた制御信号を生成する。ステップS707では、編集条件設定部312は、当該制御信号を映像入力ボード220に送信し、ステップS713で処理が終了する。なお、ステップS706の処理については、図8を参照して説明する。
【0086】
ステップS708では、編集条件設定部312は、転送量上限決定部310を呼び出し、転送量上限決定部310は、データ転送量上限値(Xmax)を決定する。ステップS709では、編集条件設定部312は、映像入力ボード220が提供する検知情報を使用して、ディスプレイ112に表示されている画像のデータ転送量(X)を算出する。ステップS710では、編集条件設定部312は、データ転送量(X)がデータ転送量上限値(Xmax)を上回るか否か判断する。データ転送量(X)がデータ転送量上限値(Xmax)以下である場合には(no)、ステップS713に分岐して処理が終了する。一方、データ転送量(X)がデータ転送量上限値(Xmax)を上回る場合には(yes)、処理をステップS711に分岐する。
【0087】
ステップS711では、編集条件設定部312は、データ削減量を決定し、当該データ削減量に応じた制御信号を生成する。ステップS712では、編集条件設定部312は、当該制御信号を映像入力ボード220に送信し、ステップS713で処理が終了する。なお、ステップS711の処理については、図9を参照して説明する。
【0088】
図8は、図7に示すステップS706の処理を示すフローチャートである。以下、図8を参照して、2以上の画像がディスプレイ112に表示されている場合に、編集条件設定部312がデータ削減量を決定して制御信号を生成する処理について説明する。
【0089】
図8の処理はステップS800から開始し、ステップS801で編集条件設定部312が、データ転送量の総和(Xsum)とデータ転送量上限値(Xmax)との差分である過剰なデータ量(Yex)を算出する。ステップS802では、編集条件設定部312は、非注目画像の色深度を低減したときのデータ削減量(Yf)を算出する。
【0090】
ステップS803では、編集条件設定部312は、過剰なデータ量(Yex)がデータ削減量(Yf)以下であるか否か判断する。過剰なデータ量(Yex)がデータ削減量(Yf)以下である場合には(yes)、処理をステップS805に分岐する。ステップS805では、編集条件設定部312は、当該非注目画像の画像識別情報と、当該非注目画像の色深度の変更指示とを含む制御信号を生成し、ステップS821で処理が終了する。
【0091】
一方、ステップS803の判定で過剰なデータ量(Yex)がデータ削減量(Yf)よりも大きいと判断した場合には(no)、処理をステップS804に分岐する。ステップS804では、編集条件設定部312は、非注目画像の色深度を低減したときのデータ削減量(Yf)と、非注目画像の解像度を低減したときのデータ削減量(Yr)との和が、過剰なデータ量(Yex)を上回る解像度を段階的に算出する。すなわち、編集条件設定部312は、データ削減量(Yf)との和が過剰なデータ量(Yex)を上回り、かつ解像度の削減量が最小となるデータ削減量(Yr)を算出する。
【0092】
ステップS806では、編集条件設定部312は、データ削減量(Yf)とデータ削減量(Yr)との和が過剰なデータ量(Yex)を上回る解像度が存在するか否か判断する。本実施形態では、低減した非注目画像の解像度の下限は、元の非注目画像の解像度の20%とすることが好適である。
【0093】
データ削減量(Yf)とデータ削減量(Yr)との和が過剰なデータ量(Yex)を上回る解像度が存在する場合には(yes)、処理をステップS808に分岐する。ステップS808では、編集条件設定部312は、ステップS805で生成すべき制御信号に加え、当該非注目画像の解像度を当該低減すべき解像度で低減したときの解像度を示す解像度指定情報を含む制御信号を生成し、ステップS821で処理が終了する。
【0094】
一方、ステップS806の判定でデータ削減量(Yf)とデータ削減量(Yr)との和が過剰なデータ量(Yex)を上回る解像度が存在しないと判断した場合には(no)、処理をステップS807に分岐する。ステップS807では、編集条件設定部312は、データ削減量(Yf)およびデータ削減量(Yr)と、非注目画像の転送レートを低減したときのデータ削減量(Yt)との和が、過剰なデータ量(Yex)を上回る転送レートを段階的に算出する。すなわち、編集条件設定部312は、データ削減量(Yf)およびデータ削減量(Yr)との和が過剰なデータ量(Yex)を上回り、かつ転送レートの削減量が最小となるデータ削減量(Yr)を算出する。
【0095】
ステップS809では、編集条件設定部312は、データ削減量(Yf)、データ削減量(Yr)およびデータ削減量(Yt)の和が過剰なデータ量(Yex)を上回る転送レートが存在するか否か判断する。本実施形態では、低減後の転送レートの下限は、ユーザの視認性を考慮して30fpsとすることが好適である。
【0096】
データ削減量(Yf)、データ削減量(Yr)およびデータ削減量(Yt)の和が過剰なデータ量(Yex)を上回る転送レートが存在する場合には(yes)、処理をステップS810に分岐する。ステップS810では、編集条件設定部312は、ステップS808で生成すべき制御信号に加え、低減後の転送レートを指定する転送レート指定情報を含む制御信号を生成し、ステップS821で処理が終了する。
【0097】
ステップS811では、編集条件設定部312は、注目画像の色深度を低減したときのデータ削減量(Zf)を算出する。ステップS812では、編集条件設定部312は、過剰なデータ量(Yex)が、データ削減量(Yf)、データ削減量(Yr)およびデータ削減量(Yt)の総和であるデータ削減量(Ysum)と、注目画像の色深度を低減したときのデータ削減量(Zf)との和以下であるか否か判断する。過剰なデータ量(Yex)がデータ削減量(Ysum)およびデータ削減量(Zf)の和以下である場合には(yes)、処理をステップS814に分岐する。ステップS814では、編集条件設定部312は、ステップS810で生成すべき制御信号に加え、当該注目画像の画像識別情報と、当該注目画像の色深度の変更指示とを含む制御信号を生成し、ステップS821で処理が終了する。
【0098】
一方、ステップS812の判定で過剰なデータ量(Yex)がデータ削減量(Ysum)およびデータ削減量(Zf)の和よりも大きいと判断した場合には(no)、処理をステップS813に分岐する。ステップS813では、編集条件設定部312は、データ削減量(Ysum)と、注目画像の色深度を低減したときのデータ削減量(Zf)と、注目画像の解像度を低減したときのデータ削減量(Zr)との和が、過剰なデータ量(Yex)を上回る解像度を段階的に算出する。すなわち、編集条件設定部312は、データ削減量(Ysum)およびデータ削減量(Zf)との和が過剰なデータ量(Yex)を上回り、かつ解像度の削減量が最小となるデータ削減量(Zr)を算出する。
【0099】
ステップS815では、編集条件設定部312は、データ削減量(Ysum)、データ削減量(Zf)およびデータ削減量(Zr)の和が、過剰なデータ量(Yex)を上回る解像度が存在するか否か判断する。本実施形態では、低減した注目画像の解像度の下限は、注目画像の視認性を考慮して元の注目画像の解像度の約80%とすることが好適である。
【0100】
データ削減量(Ysum)、データ削減量(Zf)およびデータ削減量(Zr)の和が、過剰なデータ量(Yex)を上回る解像度が存在する場合には(yes)、処理をステップS817に分岐する。ステップS817では、編集条件設定部312は、ステップS814で生成すべき制御信号に加え、当該注目画像の解像度を当該低減すべき解像度で低減したときの解像度を示す解像度指定情報を含む制御信号を生成し、ステップS821で処理が終了する。
【0101】
一方、ステップS815の判定でデータ削減量(Ysum)、データ削減量(Zf)およびデータ削減量(Zr)の和が過剰なデータ量(Yex)を上回る解像度が存在しないと判断した場合には(no)、処理をステップS816に分岐する。ステップS816では、編集条件設定部312は、データ削減量(Ysum)、データ削減量(Zf)およびデータ削減量(Zr)の和と、注目画像の転送レートを低減したときのデータ削減量(Zt)との和が、過剰なデータ量(Yex)を上回る転送レートを段階的に算出する。すなわち、編集条件設定部312は、データ削減量(Ysum)、データ削減量(Zf)およびデータ削減量(Zr)の和が過剰なデータ量(Yex)を上回り、かつ転送レートの削減量が最小となるデータ削減量(Zr)を算出する。
【0102】
ステップS818では、編集条件設定部312は、データ削減量(Ysum)、データ削減量(Zf)、データ削減量(Zr)およびデータ削減量(Zt)の和が過剰なデータ量(Yex)を上回る転送レートが存在するか否か判断する。本実施形態では、低減後の転送レートの下限は、ユーザの視認性を考慮して30fpsとすることが好適である。
【0103】
データ削減量(Ysum)、データ削減量(Zf)、データ削減量(Zr)およびデータ削減量(Zt)の和が過剰なデータ量(Yex)を上回る転送レートが存在する場合には(yes)、処理をステップS820に分岐する。ステップS820では、編集条件設定部312は、ステップS817で生成すべき制御信号に加え、低減後の転送レートを指定する転送レート指定情報を含む制御信号を生成し、ステップS821で処理が終了する。本実施形態では、当該転送レート指定情報が指定する転送レートは、ステップS818の条件を満たす転送レートのうち最大値に相当する転送レートである。
【0104】
一方、データ削減量(Ysum)、データ削減量(Zf)、データ削減量(Zr)およびデータ削減量(Zt)の和が過剰なデータ量(Yex)を上回る転送レートが存在しない場合には(no)、処理をステップS819に分岐する。ステップS819では、編集条件設定部312は、ステップS817で生成すべき制御信号に加え、低減後の転送レートを指定する転送レート指定情報を含む制御信号を生成し、ステップS821で処理が終了する。本実施形態では、当該転送レート指定情報が指定する転送レートは、ユーザの視認性を考慮して転送レートの下限である30fpsである。
【0105】
上述した実施形態では、注目画像の解像度を低減するが、他の実施形態では、注目画像の解像度を変更せずに、注目画像の色深度を低減し、転送レートを低減するだけでもよい。これにより、注目画像の視認性に影響を及ぼすことなく、より多くのデータ削減量を確保することができる。
【0106】
図9は、図7に示すステップS711の処理を示すフローチャートである。以下、図9を参照して、1の画像がディスプレイ112に表示されている場合に、編集条件設定部312がデータ削減量を決定して制御信号を生成する処理について説明する。
【0107】
図9の処理はステップS900から開始し、ステップS901で編集条件設定部312が、データ転送量の総和(Xsum)とデータ転送量上限値(Xmax)との差分である過剰なデータ量(Yex)を算出する。
【0108】
ステップS902では、編集条件設定部312は、注目画像の色深度を低減したときのデータ削減量(Zf)を算出する。ステップS903では、編集条件設定部312は、過剰なデータ量(Yex)が、注目画像の色深度を低減したときのデータ削減量(Zf)以下であるか否か判断する。
【0109】
過剰なデータ量(Yex)がデータ削減量(Zf)以下である場合には(yes)、処理をステップS905に分岐する。ステップS905では、編集条件設定部312は、当該注目画像の画像識別情報と、当該注目画像の色深度の変更指示とを含む制御信号を生成し、ステップS912で処理が終了する。
【0110】
一方、ステップS903の判定で過剰なデータ量(Yex)がデータ削減量(Zf)よりも大きいと判断した場合には(no)、処理をステップS904に分岐する。ステップS904では、編集条件設定部312は、注目画像の色深度を低減したときのデータ削減量(Zf)と、注目画像の解像度を低減したときのデータ削減量(Zr)との和が、過剰なデータ量(Yex)を上回る解像度を段階的に算出する。すなわち、編集条件設定部312は、データ削減量(Zf)が過剰なデータ量(Yex)を上回り、かつ解像度の削減量が最小となるデータ削減量(Zr)を算出する。
【0111】
ステップS906では、編集条件設定部312は、データ削減量(Zf)およびデータ削減量(Zr)の和が、過剰なデータ量(Yex)を上回る解像度が存在するか否か判断する。本実施形態では、低減した注目画像の解像度の下限は、注目画像の視認性を考慮して元の注目画像の解像度の約80%とすることが好適である。
【0112】
データ削減量(Zf)およびデータ削減量(Zr)の和が、過剰なデータ量(Yex)を上回る解像度が存在する場合には(yes)、処理をステップS908に分岐する。ステップS908では、編集条件設定部312は、ステップS905で生成すべき制御信号に加え、当該注目画像の解像度を当該低減すべき解像度で低減したときの解像度を示す解像度指定情報を含む制御信号を生成し、ステップS912で処理が終了する。
【0113】
一方、ステップS906の判定でデータ削減量(Zf)およびデータ削減量(Zr)の和が過剰なデータ量(Yex)を上回る解像度が存在しないと判断した場合には(no)、処理をステップS907に分岐する。ステップS907では、編集条件設定部312は、データ削減量(Zf)およびデータ削減量(Zr)の和と、注目画像の転送レートを低減したときのデータ削減量(Zt)との和が、過剰なデータ量(Yex)を上回る転送レートを段階的に算出する。すなわち、編集条件設定部312は、データ削減量(Zf)およびデータ削減量(Zr)の和が過剰なデータ量(Yex)を上回り、かつ転送レートの削減量が最小となるデータ削減量(Zr)を算出する。
【0114】
ステップS909では、編集条件設定部312は、データ削減量(Zf)、データ削減量(Zr)およびデータ削減量(Zt)の和が過剰なデータ量(Yex)を上回る転送レートが存在するか否か判断する。本実施形態では、低減後の転送レートの下限は、ユーザの視認性を考慮して30fpsとすることが好適である。
【0115】
データ削減量(Zf)、データ削減量(Zr)およびデータ削減量(Zt)の和が過剰なデータ量(Yex)を上回る転送レートが存在する場合には(yes)、処理をステップS911に分岐する。ステップS911では、編集条件設定部312は、ステップS908で生成すべき制御信号に加え、低減後の転送レートを指定する転送レート指定情報を含む制御信号を生成し、ステップS912で処理が終了する。本実施形態では、当該転送レート指定情報が指定する転送レートは、ステップS909の条件を満たす転送レートのうち最大値に相当する転送レートである。
【0116】
一方、データ削減量(Zf)、データ削減量(Zr)およびデータ削減量(Zt)の和が過剰なデータ量(Yex)を上回る転送レートが存在しない場合には(no)、処理をステップS910に分岐する。ステップS910では、編集条件設定部312は、ステップS908で生成すべき制御信号に加え、低減後の転送レートを指定する転送レート指定情報を含む制御信号を生成し、ステップS912で処理が終了する。本実施形態では、当該転送レート指定情報が指定する転送レートは、ユーザの視認性を考慮して転送レートの下限である30fpsである。
【0117】
上述したように、本発明では、画像処理装置110のデータバス230の性能や経時的に変化するプロセッサ212の処理状況を考慮して画像処理装置110が許容可能なデータ転送量上限値を算出し、映像入力ボード220からマザーボード210への画像のデータ転送量の総和が、当該データ転送量上限値を上回る場合に、画像編集部302a,302bに画像を編集させ、マザーボード210が、所定の転送レートで当該編集された画像を映像入力ボード220から取得する。これにより、画像処理装置110内のデータバス230のデータ転送量を低減し、画像処理装置110のプロセッサ212の処理負荷を軽減することができ、ディスプレイ112の表示画像の品質劣化を防止することができると共に、プロセッサ212が実行する他のプログラムの実行速度の低下も防止することができる。
【0118】
また、本発明では、非注目画面のデータ転送量の削減だけでは十分でない場合に、注目画像の表示品質が劣化しない程度に注目画像のデータ転送量も削減するため、表示画像の品質劣化を一層防止することができると共に、注目画像の表示品質を確保しつつ、非注目画面のデータ転送量を過剰に削減することがなく、非注目画面の表示品質も確保することができる。
【0119】
図10は、画像処理装置110が処理する画像の一実施形態を示す図である。画像1000は、画像処理装置110のコントローラ200に実装される描画生成部314が生成する描画画像である。画像1002は、コントローラ200に実装されるアプリケーションプログラムが生成するGUI画面である。画像1002は、GUIボタン1012,1014が含まれる。画像1004,1006は、それぞれユーザPC130a,130bの表示画像である。コントローラ200に実装される画像加工部308は、これらの画像1000,1002,1004,1006を重畳合成して画像1010を生成し、ディスプレイ112に表示する。
【0120】
図11は、画像処理装置110がディスプレイ112に表示する画像の別の実施形態を示す図である。以下、図11を参照して、画像処理装置110にユーザPC130a,130bを接続したときの初期画面およびデータ転送量を削減した後の画面について説明する。
【0121】
画像1100は、画像処理装置110にユーザPC130a,130bを接続したときに表示される初期画面である。画像処理装置110は、同一の転送レートで映像入力ボード220からマザーボード210にユーザPC130a,130bの表示画像1102,1104を転送し、これらの表示画像を同一の色深度および解像度でディスプレイ112に表示する。
【0122】
画像1110は、映像入力ボード220からマザーボード210に転送されるデータ量を削減した後の画面である。画像1112は、ユーザPC130aの表示画像であり、画像1114は、ユーザPC130bの表示画像である。図11に示す実施形態では、画像処理装置110は、注目画像であるユーザPC130aの表示画像1112の色深度および解像度は変更せず、非注目画像であるユーザPC130bの表示画像1114の色深度および解像度を低減し、ディスプレイ112に表示する。
【0123】
図11に示す実施形態では、注目画像および非注目画像を別々の領域に表示するが、他の実施形態では、注目画像が非注目画像の前面に表示されるように重畳して表示することもできる。また、本実施形態では、1の注目画像および1の非注目画像のみを示しているが、本発明の画像処理装置110は、複数の注目画像および複数の非注目画像を表示することもできる。
【0124】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要素を変更若しくは削除し、または本実施形態の構成要素を他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【0125】
100…画像処理システム、110…画像処理装置、112…ディスプレイ、124…ケーブル、130a,130b…ユーザPC
【先行技術文献】
【特許文献】
【0126】
【特許文献1】特開2010−224178号公報
【特許文献2】特許第4627781号公報
【技術分野】
【0001】
本発明は、任意の画像を表示する画像処理装置に関し、より詳細には、画像提供装置が提供する画像およびユーザが作成した描画画像を表示する画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
従来、企業や教育機関、行政機関等における会議等において、画像提供装置が出力する画像を大型ディスプレイに表示させ、ユーザが描画する文字や数字、図形等の描画画像を重畳して表示可能な画像処理システムが利用されている。
【0003】
これらの画像処理システムは、複数の画像提供装置が提供する画像を表示するものもあり、画像処理装置が複数の画像を表示する場合、表示すべき画像数の増加に伴って画像処理装置が処理するデータ量が増大することになる。このため、データバスに多量のデータが供給されて転送処理が圧迫され、表示すべき画像の品質が劣化する問題があると共に、プロセッサの使用率やメモリ使用率の増加により、その動作速度が低下するという問題があった。
【0004】
この点につき、特許文献1は、複数表示されている画面の表示位置、順序、大きさを用いて、ユーザが注目している画面を特定し、注目画面の転送を優先し、他の画面の更新頻度を抑える画面転送システムを開示する。この画面転送システムでは、例えば、最前面が最も注目度が高く、最背面ほど注目度は低いと判断し、映像表示装置のポインタ位置にある画面が最も注目度が高いと判断し、または、拡大表示している画面を注目画面と見なして、その他の画面の更新頻度を低下させることにより、注目画面の更新が滞ることを回避することが図られている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1が開示する画面転送システムでは、表示領域情報や最大更新頻度、最大データ量等の表示すべき画面の更新仕様のみを用いて、転送データ量の上限値を決定するため、その他の要因による影響、例えば、映像表示装置が備えるデータバスの最大転送速度や、画像表示処理等によって生じる映像表示装置のCPU負荷等の影響を考慮しておらず、転送データの削減量が不十分となり、注目画面の更新遅延が発生して表示画像の品質が劣化するという問題があった。
【0006】
また、特許文献1が開示する画面転送システムでは、映像表示装置に多数の画像を供給した場合、注目していない画面の更新頻度を下げるだけでは、データ削減量が十分ではなく、注目画面の更新遅延を回避できず、表示画像の品質が劣化する虞がある。さらに、この画面転送システムでは、注目していない画面の更新頻度を過剰に低下させて当該画面のちらつきが生じる虞もある。
【0007】
本発明は上述した課題を解決するものであり、画像処理装置の性能や経時的に変化する処理状況を考慮して、処理負荷を低減して表示画像の品質劣化を防止する画像処理装置、画像処理システム、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、画像を表示する表示手段と、外部から受信した映像信号から画像を生成する映像信号処理手段と、映像信号処理手段が生成した画像を処理して表示手段に表示する画像処理手段とを含み、画像処理手段は、映像信号処理手段に対し、画像処理手段の処理すべきデータ量が低減するよう画像を編集させ、編集された画像を、画像処理手段が指定する転送レートで映像信号処理手段から取得する。また、画像処理手段は、画像処理装置が許容可能なデータ転送量の上限値、すなわち、画像処理装置が1秒当たりに転送可能な最大のデータ転送量以下で、かつ、画像処理装置が有するプロセッサの使用率が所定の割合となる1秒当たりのメモリ使用量を算出し、映像信号処理手段が生成する画像のデータ転送量の総和が、データ転送量の上限値を上回る場合に、映像信号処理手段に前記画像を編集させ、編集された画像を画像処理手段が指定する転送レートで取得する。
【発明の効果】
【0009】
本発明の画像処理装置は、上記構成を採用することにより、画像処理装置の性能や経時的に変化する処理状況に応じて画像処理装置内のデータバスのデータ転送量を低減し、画像処理装置の処理負荷を軽減することができ、表示画像の品質劣化を防止することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の画像処理システムを示す図。
【図2】本発明の画像処理装置のハードウェア構成を示す図。
【図3】本発明の画像処理装置のソフトウェア構成を示す図。
【図4】本発明の画像処理装置が有するコントローラが実行する処理を示すフローチャート。
【図5】本発明の画像処理装置が有するコントローラが実行する処理を示すフローチャート。
【図6】本発明の画像処理装置が有するコントローラが実行する処理を示すフローチャート。
【図7】本発明の画像処理装置のコントローラが実行する編集条件設定処理を示すフローチャート。
【図8】1の画像がディスプレイに表示されている場合に、本発明の画像処理装置のコントローラがデータ削減量を決定して制御信号を生成する処理を示すフローチャート。
【図9】2以上の画像がディスプレイに表示されている場合に、本発明の画像処理装置のコントローラがデータ削減量を決定して制御信号を生成する処理を示すフローチャート。
【図10】本発明の画像処理装置が処理する画像の一実施形態を示す図。
【図11】本発明の画像処理装置がディスプレイに表示する画像の別の実施形態を示す図。
【発明を実施するための形態】
【0011】
以下、本発明について実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。
【0012】
図1は、本発明の画像処理システム100を示す。画像処理システム100は、画像処理装置110と、ユーザPC130a,130bとを含んで構成されており、画像処理装置110およびユーザPC130a,130bは、ケーブル124によって接続される。
【0013】
画像処理装置110は、ユーザPC130a,130bの表示画像やユーザが作成する描画画像等の種々の画像を処理して表示する装置である。画像処理装置110は、種々の画像を表示する表示手段であるディスプレイ112を含んで構成される。ディスプレイ112は、ユーザPC130a,130bの表示画像、ユーザが作成する描画画像、画像処理装置110に対する操作を指示するGUI(Graphical User Interface)画面を表示する。
【0014】
ユーザPC130a,130bは、画像処理装置110に表示すべき画像を提供する情報処理装置である。ユーザPC130a,130bは、映像信号を出力するインタフェースを備えており、ユーザPC130a,130bの表示画像を形成する映像信号を所定の転送レート(例えば、30fps(frame per second)〜60fps)で画像処理装置110に送信する。
【0015】
本実施形態では、ユーザPC130a,130bは、映像信号を出力するインタフェースとしてVGA(Video Graphics Array)出力端子を備えており、映像信号であるVGA信号を画像処理装置110に送信することができる。他の実施形態では、HDMI(High-Definition Multimedia Interface)コネクタ、Displayportコネクタ等を採用し、これらに対応する映像信号を送信することができる。さらに他の実施形態では、ユーザPC130a,130bは、Bluetooth(登録商標)やWiFi(登録商標)等の無線通信プロトコルに準拠した無線通信により、画像処理装置110に映像信号を送信してもよい。
【0016】
図1に示す実施形態では、ユーザPC130a,130bとしてノート型PCを採用するが、他の実施形態では、デスクトップ型PCやタブレット型PC、PDA等の映像信号を供給可能な情報処理装置を採用することができる。また、図1に示す実施形態では、画像処理装置110に2のユーザPC130a,130bが接続されているが、本発明の画像処理装置110は、3以上のユーザPCを接続することができる。
【0017】
図2は、本発明の画像処理装置110のハードウェア構成を示す図である。画像処理装置110は、コントローラ200と、ディスプレイ112と、座標検出装置224とを含んで構成される。
【0018】
コントローラ200は、画像処理装置110の動作を制御する機能手段である。コントローラ200は、マザーボード210と、映像入力ボード220と、ビデオカード222とを含んで構成されており、これらのボードは、データバス230によって相互接続される。
【0019】
マザーボード210は、画像処理装置110の全体制御を行う機能手段を搭載したプリント基板である。マザーボード210は、プロセッサ212と、RAM214と、ROM216と、座標検出装置インタフェース(I/F)218とを備えており、これらの装置は、データバス230によって接続されている。
【0020】
プロセッサ212は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の演算処理装置であり、WINDOWS(登録商標)シリーズ、UNIX(登録商標)、LINUX(登録商標)、TRON、ITRON、μITRONなどのOSを動作させ、これらのOSの管理下でアセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHONなどのプログラム言語で記述された本発明のプログラムを実行する。
【0021】
RAM214は、DRAMやSRAM等の主記憶装置であり、本発明のプログラムを実行するための実行空間を提供する。プロセッサ212は、ソフトウェアプログラムや種々のデータなどを持続的に保持するためのハードディスク装置(図示せず)から、本発明のプログラムを読み出し、RAM214に展開して実行する。
【0022】
ROM216は、BIOSやEFI等のブートプログラムなどが保存される不揮発性メモリである。プロセッサ212は、画像処理装置110の起動時にROM216からブートプログラムを読み出してブート処理を開始する。
【0023】
座標検出装置I/F218は、座標検出装置224との物理インタフェースである。座標検出装置I/F218は、座標検出装置224から物体の接触位置や接近位置(以下、「座標位置」とする。)を示す座標位置情報を受信し、当該座標位置情報をプロセッサ212に送信する。
【0024】
映像入力ボード220は、ユーザPC130a,130bから受信する映像信号を処理する映像信号処理手段を有するプリント基板である。映像入力ボード220は、当該機能を実現するASIC(Application Specific Integrated Circuit)等の集積回路によって構成することができる。
【0025】
映像入力ボード220は、ユーザPC130a,130bから映像信号を受信すると、当該映像信号に種々の処理を施し、データバス230を介してマザーボード210に供給する。本実施形態では、映像入力ボード220は、ユーザPC130a,130bから有線通信により映像信号を受信するが、他の実施形態では、映像入力ボード220は、Bluetooth(登録商標)やWiFi(登録商標)等の無線通信により映像信号を受信してもよい。なお、映像入力ボード220が実装する機能手段については、図3を参照して詳細に説明する。
【0026】
ビデオカード222は、ディスプレイ112を制御する機能手段を有するプリント基板である。ビデオカード222は、GPU(Graphics Processing Unit)(図示せず)やVRAM(図示せず)を備えており、マザーボード210がデータバス230を介して供給する画像をディスプレイ112に表示する。なお、ビデオカード222が実装する機能手段については、図3を参照して詳細に説明する。
【0027】
座標検出装置224は、座標検出装置を構成する座標位置を検知する手段である。座標検出装置224は、ディスプレイ112の周囲またはディスプレイ112上に設置され、指や専用ペンなどの物体の座標位置を検出する。
【0028】
本実施形態では、座標検出装置224として、特許文献2に示すような赤外線遮断方式による座標入力/検出装置を採用する。この座標入力/検出装置では、ディスプレイ112の下側両端部に設置された2の受発光装置が、ディスプレイ112に平行して複数の赤外線を放射し、ディスプレイ112の周囲に設けられた反射部材によって同一光路上に反射する光を受光する。座標検出装置224は、物体によって遮断された2の受発光装置が放射した赤外線の識別情報をコントローラ200が有する座標検出制御部に通知する。座標検出制御部は、当該赤外線の識別情報を使用して遮断された赤外線を特定し、物体の座標位置を算出する。
【0029】
他の実施形態では、静電容量の変化を検知することにより座標位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって座標位置を特定する抵抗膜方式のタッチパネル、接触物体がディスプレイに接触することによって生じる電磁誘導を検知して座標位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を採用してもよい。
【0030】
さらに他の実施形態では、座標検出装置224が、マウスやキーボード等の入力装置を用いてユーザが指定する座標位置を検出するように構成してもよい。
【0031】
図3は、本発明の画像処理装置110が備えるコントローラ200の機能構成を示す図である。以下、コントローラ200が備えるマザーボード210、映像入力ボード220およびビデオカード222の機能構成について説明する。
【0032】
映像入力ボード220は、映像信号入力部300a,300bと、画像編集部302a,302bと、送受信部304とを含んで構成される。図3に示す実施形態では、画像処理装置110に2のユーザPC130a,130bが接続されており、映像信号入力部300aおよび画像編集部302aがユーザPC130aのストリームデータを処理し、映像信号入力部300bおよび画像編集部302bがユーザPC130bのストリームデータを処理する。
【0033】
他の実施形態では、画像処理装置110は、3以上のユーザPCを接続することができ、接続されるユーザPCの台数に応じた数の映像信号入力部および画像編集部を備えることができる。さらに他の実施形態では、1の映像信号入力部および1の画像編集部で複数のユーザPCの映像信号を処理してもよい。
【0034】
映像信号入力部300a,300bは、ユーザPC130a,130bから映像信号を受信して種々の処理を実行する機能手段である。映像信号入力部300a,300bは、ユーザPC130a,130bから映像信号を受信すると、当該映像信号にシリアル−パラレル変換や電圧レベル変換などの処理を施す。そして、映像信号入力部300a,300bは、当該映像信号を解析し、その解析結果をマザーボード210に実装される機能手段である編集条件設定部312に送信する。
【0035】
具体的には、映像信号入力部300a,300bは、当該映像信号が形成する画像の解像度を算出すると共に、当該映像信号の受信間隔から転送レート(fps)を導出する。また、映像信号入力部300a,300bは、当該画像の色深度(bit/px)を算出する。映像信号入力部300a,300bは、これらの画像の解像度、転送レートおよび色深度を含む検知情報を解析結果として編集条件設定部312に送信する。
【0036】
また、映像信号入力部300a,300bは、当該映像信号が形成する画像を映像入力ボード220内のVRAM(図示せず)にバッファリングする。映像信号入力部300a,300bから同時に映像信号を受信する場合、映像信号入力部300a,300bは、これらの映像信号から形成される各画像をVRAMの個別のメモリ領域に保存する。
【0037】
さらに、映像信号入力部300a,300bは、ユーザPC130a,130bから映像信号を受信した後に、映像信号を一定時間以上受信しない場合には、ユーザPC130a,130bとの通信が切断された旨を通知する切断通知をマザーボード210の編集条件設定部に送信する。上記一定時間は、映像信号の転送レートを考慮し、当該映像信号の受信間隔よりも十分に長い時間であることが好適である。
【0038】
画像編集部302a,302bは、映像信号が形成する画像を編集する機能手段である。画像編集部302a,302bは、映像入力ボード220内のVRAMにバッファリングされた画像を取得し、後述する編集条件設定部312が送信する制御信号に基づいて、当該画像の色深度を低減し、または当該画像の色深度および解像度を低減する。
【0039】
この制御信号には、対象となる画像を特定する識別情報(以下、「画像識別情報」とする。)と、色深度の変更指示と、当該画像の解像度を指定する情報(以下、「解像度指定情報」とする。)と、当該画像の転送レートを指定する転送レート指定情報とが含まれている。画像編集部302a,302bは、制御信号を参照し、色深度の変更指示がある場合には画像識別情報が示す画像の色深度を低減する。また、画像編集部302a,302bは、制御信号を参照し、解像度指定情報がある場合には、画像識別情報が示す画像の色深度を低減すると共に、当該画像の解像度を解像度指定情報が示す解像度に変更する。
【0040】
本実施形態では、画像編集部302a,302bは、RGB形式の画像をYUV形式の画像に変換することによって色深度を低減し、当該画像のデータ量を低減する。他の実施形態では、元の画像の色深度を低減してデータ量を低減可能な種々のデータ形式を採用することができる。
【0041】
また、本実施形態では、画像編集部302a,302bは、色深度や解像度を低減した画像を、色深度や解像度を低減する前の画像がバッファリングされたVRAMに上書き保存する。他の実施形態では、画像編集部302a,302bは、色深度や解像度を低減した画像を当該VRAMの他のメモリ領域や他の記憶手段に保存してもよい。
【0042】
送受信部304は、映像入力ボード220とマザーボード210との間のデータバス230を介したデータ通信を制御する機能手段である。具体的には、送受信部304は、マザーボード210に検知情報、切断通知および画像を送信し、マザーボード210から画像の転送要求および制御信号を受信する。
【0043】
送受信部304は、マザーボード210から画像の転送要求を受信した場合、映像入力ボード220内のVRAMに保存されたユーザPC130a,130bの表示画像である画像を取得し、当該画像を、マザーボード210の転送レート指示部316が指示する転送レート指定情報に合致する転送レートでマザーボード210に送信する。なお、転送レートの初期値は、ユーザPC130a,130bが画像処理装置110に映像信号を転送するレートと同一とすることが好適である。
【0044】
本実施形態では、画像の色深度や解像度が低減されていないときには、VRAMには色深度や解像度が低減されていない画像が保存されているため、送受信部304は、色深度や解像度が低減されていない画像をマザーボード210に送信する。一方、画像の色深度や解像度が低減されているときは、VRAMには色深度や解像度が低減された画像が保存されているため、送受信部304は、色深度や解像度が低減された画像をマザーボード210に送信する。
【0045】
マザーボード210から受信した制御信号に色深度の変更指示または解像度指定情報が含まれる場合、送受信部304は、当該制御信号に含まれる画像識別情報を使用して、当該画像識別情報が示す画像を編集すべき画像編集部302a,302bを特定し、色深度の変更指示および解像度指定情報を当該画像編集部に送信する。画像編集部302a,302bは、送受信部304から受信した制御信号を、画像編集部302a,302bがアクセス可能な映像入力ボード220内の記憶装置(図示せず)に保持する。
【0046】
マザーボード210から受信した制御信号に転送レート指定情報が含まれる場合には、送受信部304は、画像識別情報および転送レート指定情報を、送受信部304がアクセス可能な映像入力ボード220内の記憶装置(図示せず)に保持し、画像識別情報が示す画像を、転送レート指定情報に合致する転送レートでマザーボード210に送信する。
【0047】
本実施形態では、送受信部304が制御信号を使用して画像を編集すべき画像編集部302a,302bを特定するが、他の実施形態では、送受信部304が画像編集部302a,302bに制御信号を送信し、画像編集部302a,302bが、制御信号に含まれる画像識別情報を使用して、自己が編集すべき画像であるか否か判断してもよい。
【0048】
マザーボード210は、映像入力ボード220が生成した画像を処理する画像処理手段である座標検出制御部306、画像加工部308、転送量上限決定部310、編集条件設定部312、描画生成部314および転送レート指示部316を含んで構成される。
【0049】
座標検出制御部306は、座標検出装置224を制御する機能手段である。座標検出制御部306は、座標検出装置224を駆動し、物体が接触または接近した座標位置を取得する。座標検出制御部306は、座標位置を示す情報(以下、「座標位置情報」とする。)を画像加工部308および描画生成部314に提供する。
【0050】
画像加工部308は、ディスプレイ112に表示すべき画像を処理する機能手段である。画像加工部308は、映像入力ボード220が供給するユーザPC130a,130bの表示画像を所定のレイアウトに従って配置した画像を生成し、当該画像をディスプレイ112に表示させる。画像加工部308は、ディスプレイ112に表示しているユーザPC130a,130bの表示画像の識別情報と、当該画像の表示領域を示す座標情報(以下、「表示領域情報」とする。)とをRAM214に保存する。
【0051】
また、画像加工部308は、当該画像に、マザーボード210に実装されたアプリケーションプログラム(図示せず)が生成するGUI画面および/または描画生成部314が生成した描画画像を重畳合成して、ディスプレイ112に表示させることができる。
【0052】
さらに、画像加工部308は、編集条件設定部312を呼び出して、映像入力ボード220がマザーボード210に画像を送信するときのデータ転送量を調整する編集条件設定処理を実行する。
【0053】
具体的には、画像加工部308は、RAM214に保存されたディスプレイ112に表示されている画像の識別情報および当該画像の表示領域情報と、座標検出制御部306が提供する座標位置情報とを使用して、ユーザが注目している可能性の高い画像(以下、「注目画像」とする。)と、ユーザが注目している可能性の低い画像(以下、「非注目画像」とする。)とを判別する。
【0054】
本実施形態では、画像加工部308は、座標検出制御部306から受信した最新の座標位置情報が示す座標位置が、表示領域情報が示すディスプレイ112に表示されたユーザPC130a,130bの表示画像の領域内にある場合には、当該画像を注目画像と判断し、その他の画像を非注目画像と判断する。
【0055】
他の実施形態では、座標検出制御部306から一定時間内(例えば、10秒以内等)に受信した複数の座標位置情報が示す座標位置が、それぞれ異なるユーザPC130a,130bの表示画像の領域内にある場合には、画像加工部308が、これらの画像を注目画像と判断し、その他の画像を非注目画像と判断してもよい。
【0056】
さらに他の実施形態では、描画生成部314が画像加工部308に描画画像の座標位置を提供し、当該描画画像の座標位置が、表示領域情報が示すディスプレイ112に表示されたユーザPC130a,130bの表示画像の領域内にある場合に、画像加工部308が、当該画像を注目画像と判断し、その他の画像を非注目画像と判断してもよい。
【0057】
画像加工部308は、当該注目画像の識別情報および非注目画像の識別情報とを編集条件設定部312に渡して、編集条件設定処理を実行する。なお、編集条件設定処理については、図7を参照して詳細に説明する。
【0058】
転送量上限決定部310は、コントローラ200が許容し得る映像入力ボード220とマザーボード210との間のデータ転送量の上限値を決定する機能手段である。転送量上限決定部310は、コントローラ200の有するデータバス230が、1秒当たりに転送可能な最大のデータ転送量と、マザーボード210のプロセッサ212の使用量とを使用して、データ転送量上限値(Xmax(byte/s))を決定する。具体的には、転送量上限決定部310は、データバス230が1秒当たりに転送可能な最大のデータ転送量以下で、かつ、プロセッサ212の使用率が所定の割合、例えば、プロセッサ212の使用率が80%となるメモリ使用量を、データ転送量上限値(Xmax)とすることができる。この使用率は、プロセッサ212の実行する種々の処理が遅延しない程度とするが好適である。
【0059】
編集条件設定部312は、編集条件設定処理を実行して、映像入力ボード220がマザーボード210に画像を送信するときのデータ転送量を調整する機能手段である。編集条件設定部312は、映像入力ボード220から受信した検知情報と、下記数式1とを用いて、ユーザPC130a,130bが1秒当たりに送信する画像のデータ量の総和(Xsum)を算出し、当該データ量の総和(Xsum)が、転送量上限決定部310が決定したデータ転送量上限値(Xmax)を超えるか否か判断する。ディスプレイ112に表示すべきユーザPCの表示画像が1つである場合には、当該ユーザPCが1秒当たりに送信する画像のデータ量をデータ転送量上限値(Xmax)と比較する。
【0060】
【数1】
【0061】
データ量の総和(Xsum)がデータ転送量上限値を超える場合には、編集条件設定部312は、データ量の総和(Xsum)がデータ転送量上限値(Xmax)以下となるデータ削減量を決定する。編集条件設定部312は、当該データ削減量に応じた制御信号を映像入力ボード220に送信し、映像入力ボード220がマザーボード210に送信するデータの転送量を削減する。より詳細には、編集条件設定部312は、データ転送量の削減対象となる画像の画像識別情報、色深度の変更指示および解像度指定情報を映像入力ボード220に送信し、当該画像の画像識別情報および転送レート指定情報を、転送レート指示部316を介して映像入力ボード220に送信する。
【0062】
ディスプレイ112に表示すべきユーザPCの表示画像が複数ある場合には、編集条件設定部312は、画像加工部308が提供する注目画像の識別情報および非注目画像の識別情報を用いて注目画像および非注目画像を判別し、非注目画像のデータ転送量を優先的に削減する。これにより、注目画像の表示品質を保ちつつ、データ転送量を削減することができる。
【0063】
また、編集条件設定部312は、ディスプレイ112に表示すべき画像の色深度を低減した場合、データ量の総和(Xsum)がデータ転送量上限値(Xmax)以下となるか判断する。この条件が満たされない場合、編集条件設定部312は、当該画像の解像度を変更したときのデータ量の総和(Xsum)がデータ転送量上限値(Xmax)以下となるか判断する。さらに、この条件を満たさない場合、編集条件設定部312は、当該画像の転送レートを変更したときのデータ量の総和(Xsum)がデータ転送量上限値(Xmax)以下となるか判断する。これにより、ユーザが認識できない色深度の低減を優先的に実行するため、注目画像の表示品質の劣化を最小限に抑えつつ、データ転送量を削減することができる。
【0064】
描画生成部314は、ディスプレイ112に表示すべき描画画像を生成する機能手段である。描画生成部314は、座標検出制御部306が提供する座標位置情報が示す画素の色を背景色と異なる色に変更して描画画像を生成する。
【0065】
転送レート指示部316は、映像入力ボード220の送受信部304に対して画像の転送レートを指示する機能手段である。転送レート指示部316は、編集条件設定部312が決定した当該データ削減量に応じた転送レート指定情報を、制御信号として映像入力ボード220に送信する。
【0066】
ビデオカード222は、画像加工部308が加工した画像をディスプレイ112に表示する機能手段である表示制御部320を含んで構成される。表示制御部320は、当該画像をディスプレイ112が表示可能な形式の映像信号に変換してディスプレイ112に表示する。
【0067】
上述した機能手段を実現する本発明のプログラムは、ハードディスク装置、CD−ROM、MO、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【0068】
図4は、本発明の画像処理装置110のコントローラ200が実行する処理を示すフローチャートである。以下、図4を参照して、映像入力ボード220に実装される映像信号入力部300a,300bおよび画像編集部302a,302bが実行する処理について説明する。
【0069】
図4の処理は、ステップS400から開始し、ステップS401で映像入力ボード220の映像信号入力部300a,300bが、ユーザPC130a,130bから映像信号を受信したか否か判断する。ユーザPC130a,130bから映像信号を受信していない場合には(no)、ステップS401の処理を反復する。一方、ユーザPC130a,130bから映像信号を受信した場合には(yes)、処理をステップS402に分岐する。以下、ユーザPC130aから映像信号を受信したときの処理について説明する。
【0070】
ステップS402では、映像信号入力部300aは送受信部304を起動する。ステップS403では、映像信号入力部300aは、ユーザPC130aから受信した映像信号を解析し、その解析結果である検知情報を生成する。ステップS404では、映像信号入力部300aは、マザーボード210の編集条件設定部312に検知情報を送信する。ステップS405では、映像信号入力部300aは、当該映像信号から画像を形成し、映像入力ボード220のVRAMにバッファリングする。
【0071】
ステップS406では、画像編集部302aは、編集条件設定部312が送信した制御信号が、画像編集部302aのアクセス可能な記憶装置に保持されているか否か判断する。制御信号が保持されていない場合には(no)、処理をステップS410に分岐する。一方、制御信号が保持されている場合には(yes)、処理をステップS407に分岐する。
【0072】
ステップS407では、画像編集部302aは、制御信号に含まれる画像識別情報が示す画像をVRAMから取得し、当該画像の色深度を低減する。ステップS408では、画像編集部302aは、制御信号に解像度指定情報が含まれるか否か判断する。解像度指定情報が含まれない場合には(no)、処理をステップS410に分岐させる。一方、解像度指定情報が含まれる場合には(yes)、処理をステップS409に分岐させる。ステップS409では、画像編集部302aは、色深度を低減した画像の解像度を、当該解像度指定情報が示す解像度に変更する。
【0073】
ステップS410では、映像入力信号部300aが、ユーザPC130aから映像信号を受信したか否か判断する。ユーザPC130aから映像信号を受信した場合には(yes)、処理をステップS403に戻し、以降の処理を実行する。一方、ユーザPC130aから映像信号をしていない場合には(no)、処理をステップS411に分岐する。ステップS411では、映像入力信号部300aが、送受信部304およびマザーボード210の編集条件設定部312に切断通知を送信し、処理をステップS401に戻す。
【0074】
図5は、本発明の画像処理装置110のコントローラ200が実行する処理を示すフローチャートである。以下、図5を参照して、映像入力ボード220に実装される送受信部304が実行する処理について説明する。
【0075】
図5の処理は、ステップS500から開始し、ステップS501で送受信部304が、マザーボード210から画像の転送要求を受信したか否か判断する。当該転送要求を受信していない場合には(no)、ステップS501の処理を反復する。一方、当該転送要求を受信した場合には(yes)、処理をステップS502に分岐する。
【0076】
ステップS502では、送受信部304は、転送レート指定情報が示す転送レートで、VRAMに保存された転送すべき画像を画像加工部308に送信する。ステップS503では、送受信部304は、映像信号入力部300a,300bから切断通知を受信したか否か判断する。切断通知を受信していない場合には(no)、処理をステップS502に戻す。一方、切断通知を受信した場合には(yes)、ステップS504に分岐して処理が終了する。
【0077】
図6は、本発明の画像処理装置110のコントローラ200が実行する処理を示すフローチャートである。以下、図6を参照して、マザーボード210に実装される機能手段が実行する処理について説明する。
【0078】
図6の処理は、ステップS600から開始し、ステップS601で編集条件設定部312が、映像入力ボード220から検知情報を受信したか否か判断する。検知情報を受信していない場合には(no)、ステップS601の処理を反復する。一方、検知情報を受信した場合には(yes)、処理をステップS602に分岐する。
【0079】
ステップS602では、編集条件設定部312は、映像入力ボード220に画像の転送要求を送信する。ステップS603では、画像加工部308が、映像入力ボード220から画像を受信したか否か判断する。画像を受信していない場合には(no)、ステップS603の処理を反復する。一方、画像を受信した場合には(yes)、処理をステップS604に分岐する。
【0080】
ステップS604では、画像加工部308は、映像入力ボード220から受信した画像を、レイアウトによって規定される表示位置に配置した画像を生成し、ビデオカード222に送信してディスプレイ112に表示させる。ステップS605では、画像加工部308は、注目画像の画像識別情報、または注目画像および非注目画像の画像識別情報を引数として編集条件設定部312を呼び出し、図7に示す編集条件設定処理を実行する。
【0081】
ステップS606では、編集条件設定部312は、映像入力ボード220から切断通知を受信したか否か判断する。切断通知を受信した場合には(yes)、処理をステップS601に戻し、以降の処理を実行する。一方、切断通知を受信していない場合には(no)、処理をステップS603に戻し、以降の処理を実行する。
【0082】
図7は、本発明の画像処理装置110のコントローラ200が実行する編集条件設定処理を示すフローチャートである。以下、図7を参照して、編集条件設定処理について説明する。
【0083】
図7の処理は、ステップS700から開始し、ステップS701で編集条件設定部312は、画像加工部308から引数として取得した注目画像および非注目画像の画像識別情報を使用して、ディスプレイ112に表示されている画像の数を判断する。2以上の画像がディスプレイ112に表示されている場合には、処理をステップS702に分岐する。一方、1の画像がディスプレイ112に表示されている場合には、処理をステップS708に分岐する。
【0084】
ステップS702では、編集条件設定部312は、転送量上限決定部310を呼び出し、転送量上限決定部310は、データ転送量上限値(Xmax)を決定する。ステップS703では、編集条件設定部312は、映像入力ボード220が提供する検知情報を使用して、ディスプレイ112に表示されている総ての画像のデータ転送量を算出する。ステップS704では、編集条件設定部312は、ステップS703で算出したデータ転送量の総和(Xsum)を算出する。ステップS705では、編集条件設定部312は、データ転送量の総和(Xsum)がデータ転送量上限値(Xmax)を上回るか否か判断する。データ転送量の総和(Xsum)がデータ転送量上限値(Xmax)以下である場合には(no)、ステップS713に分岐して処理が終了する。一方、データ転送量の総和(Xsum)がデータ転送量上限値(Xmax)を上回る場合には(yes)、処理をステップS706に分岐する。
【0085】
ステップS706では、編集条件設定部312は、データ削減量を決定し、当該データ削減量に応じた制御信号を生成する。ステップS707では、編集条件設定部312は、当該制御信号を映像入力ボード220に送信し、ステップS713で処理が終了する。なお、ステップS706の処理については、図8を参照して説明する。
【0086】
ステップS708では、編集条件設定部312は、転送量上限決定部310を呼び出し、転送量上限決定部310は、データ転送量上限値(Xmax)を決定する。ステップS709では、編集条件設定部312は、映像入力ボード220が提供する検知情報を使用して、ディスプレイ112に表示されている画像のデータ転送量(X)を算出する。ステップS710では、編集条件設定部312は、データ転送量(X)がデータ転送量上限値(Xmax)を上回るか否か判断する。データ転送量(X)がデータ転送量上限値(Xmax)以下である場合には(no)、ステップS713に分岐して処理が終了する。一方、データ転送量(X)がデータ転送量上限値(Xmax)を上回る場合には(yes)、処理をステップS711に分岐する。
【0087】
ステップS711では、編集条件設定部312は、データ削減量を決定し、当該データ削減量に応じた制御信号を生成する。ステップS712では、編集条件設定部312は、当該制御信号を映像入力ボード220に送信し、ステップS713で処理が終了する。なお、ステップS711の処理については、図9を参照して説明する。
【0088】
図8は、図7に示すステップS706の処理を示すフローチャートである。以下、図8を参照して、2以上の画像がディスプレイ112に表示されている場合に、編集条件設定部312がデータ削減量を決定して制御信号を生成する処理について説明する。
【0089】
図8の処理はステップS800から開始し、ステップS801で編集条件設定部312が、データ転送量の総和(Xsum)とデータ転送量上限値(Xmax)との差分である過剰なデータ量(Yex)を算出する。ステップS802では、編集条件設定部312は、非注目画像の色深度を低減したときのデータ削減量(Yf)を算出する。
【0090】
ステップS803では、編集条件設定部312は、過剰なデータ量(Yex)がデータ削減量(Yf)以下であるか否か判断する。過剰なデータ量(Yex)がデータ削減量(Yf)以下である場合には(yes)、処理をステップS805に分岐する。ステップS805では、編集条件設定部312は、当該非注目画像の画像識別情報と、当該非注目画像の色深度の変更指示とを含む制御信号を生成し、ステップS821で処理が終了する。
【0091】
一方、ステップS803の判定で過剰なデータ量(Yex)がデータ削減量(Yf)よりも大きいと判断した場合には(no)、処理をステップS804に分岐する。ステップS804では、編集条件設定部312は、非注目画像の色深度を低減したときのデータ削減量(Yf)と、非注目画像の解像度を低減したときのデータ削減量(Yr)との和が、過剰なデータ量(Yex)を上回る解像度を段階的に算出する。すなわち、編集条件設定部312は、データ削減量(Yf)との和が過剰なデータ量(Yex)を上回り、かつ解像度の削減量が最小となるデータ削減量(Yr)を算出する。
【0092】
ステップS806では、編集条件設定部312は、データ削減量(Yf)とデータ削減量(Yr)との和が過剰なデータ量(Yex)を上回る解像度が存在するか否か判断する。本実施形態では、低減した非注目画像の解像度の下限は、元の非注目画像の解像度の20%とすることが好適である。
【0093】
データ削減量(Yf)とデータ削減量(Yr)との和が過剰なデータ量(Yex)を上回る解像度が存在する場合には(yes)、処理をステップS808に分岐する。ステップS808では、編集条件設定部312は、ステップS805で生成すべき制御信号に加え、当該非注目画像の解像度を当該低減すべき解像度で低減したときの解像度を示す解像度指定情報を含む制御信号を生成し、ステップS821で処理が終了する。
【0094】
一方、ステップS806の判定でデータ削減量(Yf)とデータ削減量(Yr)との和が過剰なデータ量(Yex)を上回る解像度が存在しないと判断した場合には(no)、処理をステップS807に分岐する。ステップS807では、編集条件設定部312は、データ削減量(Yf)およびデータ削減量(Yr)と、非注目画像の転送レートを低減したときのデータ削減量(Yt)との和が、過剰なデータ量(Yex)を上回る転送レートを段階的に算出する。すなわち、編集条件設定部312は、データ削減量(Yf)およびデータ削減量(Yr)との和が過剰なデータ量(Yex)を上回り、かつ転送レートの削減量が最小となるデータ削減量(Yr)を算出する。
【0095】
ステップS809では、編集条件設定部312は、データ削減量(Yf)、データ削減量(Yr)およびデータ削減量(Yt)の和が過剰なデータ量(Yex)を上回る転送レートが存在するか否か判断する。本実施形態では、低減後の転送レートの下限は、ユーザの視認性を考慮して30fpsとすることが好適である。
【0096】
データ削減量(Yf)、データ削減量(Yr)およびデータ削減量(Yt)の和が過剰なデータ量(Yex)を上回る転送レートが存在する場合には(yes)、処理をステップS810に分岐する。ステップS810では、編集条件設定部312は、ステップS808で生成すべき制御信号に加え、低減後の転送レートを指定する転送レート指定情報を含む制御信号を生成し、ステップS821で処理が終了する。
【0097】
ステップS811では、編集条件設定部312は、注目画像の色深度を低減したときのデータ削減量(Zf)を算出する。ステップS812では、編集条件設定部312は、過剰なデータ量(Yex)が、データ削減量(Yf)、データ削減量(Yr)およびデータ削減量(Yt)の総和であるデータ削減量(Ysum)と、注目画像の色深度を低減したときのデータ削減量(Zf)との和以下であるか否か判断する。過剰なデータ量(Yex)がデータ削減量(Ysum)およびデータ削減量(Zf)の和以下である場合には(yes)、処理をステップS814に分岐する。ステップS814では、編集条件設定部312は、ステップS810で生成すべき制御信号に加え、当該注目画像の画像識別情報と、当該注目画像の色深度の変更指示とを含む制御信号を生成し、ステップS821で処理が終了する。
【0098】
一方、ステップS812の判定で過剰なデータ量(Yex)がデータ削減量(Ysum)およびデータ削減量(Zf)の和よりも大きいと判断した場合には(no)、処理をステップS813に分岐する。ステップS813では、編集条件設定部312は、データ削減量(Ysum)と、注目画像の色深度を低減したときのデータ削減量(Zf)と、注目画像の解像度を低減したときのデータ削減量(Zr)との和が、過剰なデータ量(Yex)を上回る解像度を段階的に算出する。すなわち、編集条件設定部312は、データ削減量(Ysum)およびデータ削減量(Zf)との和が過剰なデータ量(Yex)を上回り、かつ解像度の削減量が最小となるデータ削減量(Zr)を算出する。
【0099】
ステップS815では、編集条件設定部312は、データ削減量(Ysum)、データ削減量(Zf)およびデータ削減量(Zr)の和が、過剰なデータ量(Yex)を上回る解像度が存在するか否か判断する。本実施形態では、低減した注目画像の解像度の下限は、注目画像の視認性を考慮して元の注目画像の解像度の約80%とすることが好適である。
【0100】
データ削減量(Ysum)、データ削減量(Zf)およびデータ削減量(Zr)の和が、過剰なデータ量(Yex)を上回る解像度が存在する場合には(yes)、処理をステップS817に分岐する。ステップS817では、編集条件設定部312は、ステップS814で生成すべき制御信号に加え、当該注目画像の解像度を当該低減すべき解像度で低減したときの解像度を示す解像度指定情報を含む制御信号を生成し、ステップS821で処理が終了する。
【0101】
一方、ステップS815の判定でデータ削減量(Ysum)、データ削減量(Zf)およびデータ削減量(Zr)の和が過剰なデータ量(Yex)を上回る解像度が存在しないと判断した場合には(no)、処理をステップS816に分岐する。ステップS816では、編集条件設定部312は、データ削減量(Ysum)、データ削減量(Zf)およびデータ削減量(Zr)の和と、注目画像の転送レートを低減したときのデータ削減量(Zt)との和が、過剰なデータ量(Yex)を上回る転送レートを段階的に算出する。すなわち、編集条件設定部312は、データ削減量(Ysum)、データ削減量(Zf)およびデータ削減量(Zr)の和が過剰なデータ量(Yex)を上回り、かつ転送レートの削減量が最小となるデータ削減量(Zr)を算出する。
【0102】
ステップS818では、編集条件設定部312は、データ削減量(Ysum)、データ削減量(Zf)、データ削減量(Zr)およびデータ削減量(Zt)の和が過剰なデータ量(Yex)を上回る転送レートが存在するか否か判断する。本実施形態では、低減後の転送レートの下限は、ユーザの視認性を考慮して30fpsとすることが好適である。
【0103】
データ削減量(Ysum)、データ削減量(Zf)、データ削減量(Zr)およびデータ削減量(Zt)の和が過剰なデータ量(Yex)を上回る転送レートが存在する場合には(yes)、処理をステップS820に分岐する。ステップS820では、編集条件設定部312は、ステップS817で生成すべき制御信号に加え、低減後の転送レートを指定する転送レート指定情報を含む制御信号を生成し、ステップS821で処理が終了する。本実施形態では、当該転送レート指定情報が指定する転送レートは、ステップS818の条件を満たす転送レートのうち最大値に相当する転送レートである。
【0104】
一方、データ削減量(Ysum)、データ削減量(Zf)、データ削減量(Zr)およびデータ削減量(Zt)の和が過剰なデータ量(Yex)を上回る転送レートが存在しない場合には(no)、処理をステップS819に分岐する。ステップS819では、編集条件設定部312は、ステップS817で生成すべき制御信号に加え、低減後の転送レートを指定する転送レート指定情報を含む制御信号を生成し、ステップS821で処理が終了する。本実施形態では、当該転送レート指定情報が指定する転送レートは、ユーザの視認性を考慮して転送レートの下限である30fpsである。
【0105】
上述した実施形態では、注目画像の解像度を低減するが、他の実施形態では、注目画像の解像度を変更せずに、注目画像の色深度を低減し、転送レートを低減するだけでもよい。これにより、注目画像の視認性に影響を及ぼすことなく、より多くのデータ削減量を確保することができる。
【0106】
図9は、図7に示すステップS711の処理を示すフローチャートである。以下、図9を参照して、1の画像がディスプレイ112に表示されている場合に、編集条件設定部312がデータ削減量を決定して制御信号を生成する処理について説明する。
【0107】
図9の処理はステップS900から開始し、ステップS901で編集条件設定部312が、データ転送量の総和(Xsum)とデータ転送量上限値(Xmax)との差分である過剰なデータ量(Yex)を算出する。
【0108】
ステップS902では、編集条件設定部312は、注目画像の色深度を低減したときのデータ削減量(Zf)を算出する。ステップS903では、編集条件設定部312は、過剰なデータ量(Yex)が、注目画像の色深度を低減したときのデータ削減量(Zf)以下であるか否か判断する。
【0109】
過剰なデータ量(Yex)がデータ削減量(Zf)以下である場合には(yes)、処理をステップS905に分岐する。ステップS905では、編集条件設定部312は、当該注目画像の画像識別情報と、当該注目画像の色深度の変更指示とを含む制御信号を生成し、ステップS912で処理が終了する。
【0110】
一方、ステップS903の判定で過剰なデータ量(Yex)がデータ削減量(Zf)よりも大きいと判断した場合には(no)、処理をステップS904に分岐する。ステップS904では、編集条件設定部312は、注目画像の色深度を低減したときのデータ削減量(Zf)と、注目画像の解像度を低減したときのデータ削減量(Zr)との和が、過剰なデータ量(Yex)を上回る解像度を段階的に算出する。すなわち、編集条件設定部312は、データ削減量(Zf)が過剰なデータ量(Yex)を上回り、かつ解像度の削減量が最小となるデータ削減量(Zr)を算出する。
【0111】
ステップS906では、編集条件設定部312は、データ削減量(Zf)およびデータ削減量(Zr)の和が、過剰なデータ量(Yex)を上回る解像度が存在するか否か判断する。本実施形態では、低減した注目画像の解像度の下限は、注目画像の視認性を考慮して元の注目画像の解像度の約80%とすることが好適である。
【0112】
データ削減量(Zf)およびデータ削減量(Zr)の和が、過剰なデータ量(Yex)を上回る解像度が存在する場合には(yes)、処理をステップS908に分岐する。ステップS908では、編集条件設定部312は、ステップS905で生成すべき制御信号に加え、当該注目画像の解像度を当該低減すべき解像度で低減したときの解像度を示す解像度指定情報を含む制御信号を生成し、ステップS912で処理が終了する。
【0113】
一方、ステップS906の判定でデータ削減量(Zf)およびデータ削減量(Zr)の和が過剰なデータ量(Yex)を上回る解像度が存在しないと判断した場合には(no)、処理をステップS907に分岐する。ステップS907では、編集条件設定部312は、データ削減量(Zf)およびデータ削減量(Zr)の和と、注目画像の転送レートを低減したときのデータ削減量(Zt)との和が、過剰なデータ量(Yex)を上回る転送レートを段階的に算出する。すなわち、編集条件設定部312は、データ削減量(Zf)およびデータ削減量(Zr)の和が過剰なデータ量(Yex)を上回り、かつ転送レートの削減量が最小となるデータ削減量(Zr)を算出する。
【0114】
ステップS909では、編集条件設定部312は、データ削減量(Zf)、データ削減量(Zr)およびデータ削減量(Zt)の和が過剰なデータ量(Yex)を上回る転送レートが存在するか否か判断する。本実施形態では、低減後の転送レートの下限は、ユーザの視認性を考慮して30fpsとすることが好適である。
【0115】
データ削減量(Zf)、データ削減量(Zr)およびデータ削減量(Zt)の和が過剰なデータ量(Yex)を上回る転送レートが存在する場合には(yes)、処理をステップS911に分岐する。ステップS911では、編集条件設定部312は、ステップS908で生成すべき制御信号に加え、低減後の転送レートを指定する転送レート指定情報を含む制御信号を生成し、ステップS912で処理が終了する。本実施形態では、当該転送レート指定情報が指定する転送レートは、ステップS909の条件を満たす転送レートのうち最大値に相当する転送レートである。
【0116】
一方、データ削減量(Zf)、データ削減量(Zr)およびデータ削減量(Zt)の和が過剰なデータ量(Yex)を上回る転送レートが存在しない場合には(no)、処理をステップS910に分岐する。ステップS910では、編集条件設定部312は、ステップS908で生成すべき制御信号に加え、低減後の転送レートを指定する転送レート指定情報を含む制御信号を生成し、ステップS912で処理が終了する。本実施形態では、当該転送レート指定情報が指定する転送レートは、ユーザの視認性を考慮して転送レートの下限である30fpsである。
【0117】
上述したように、本発明では、画像処理装置110のデータバス230の性能や経時的に変化するプロセッサ212の処理状況を考慮して画像処理装置110が許容可能なデータ転送量上限値を算出し、映像入力ボード220からマザーボード210への画像のデータ転送量の総和が、当該データ転送量上限値を上回る場合に、画像編集部302a,302bに画像を編集させ、マザーボード210が、所定の転送レートで当該編集された画像を映像入力ボード220から取得する。これにより、画像処理装置110内のデータバス230のデータ転送量を低減し、画像処理装置110のプロセッサ212の処理負荷を軽減することができ、ディスプレイ112の表示画像の品質劣化を防止することができると共に、プロセッサ212が実行する他のプログラムの実行速度の低下も防止することができる。
【0118】
また、本発明では、非注目画面のデータ転送量の削減だけでは十分でない場合に、注目画像の表示品質が劣化しない程度に注目画像のデータ転送量も削減するため、表示画像の品質劣化を一層防止することができると共に、注目画像の表示品質を確保しつつ、非注目画面のデータ転送量を過剰に削減することがなく、非注目画面の表示品質も確保することができる。
【0119】
図10は、画像処理装置110が処理する画像の一実施形態を示す図である。画像1000は、画像処理装置110のコントローラ200に実装される描画生成部314が生成する描画画像である。画像1002は、コントローラ200に実装されるアプリケーションプログラムが生成するGUI画面である。画像1002は、GUIボタン1012,1014が含まれる。画像1004,1006は、それぞれユーザPC130a,130bの表示画像である。コントローラ200に実装される画像加工部308は、これらの画像1000,1002,1004,1006を重畳合成して画像1010を生成し、ディスプレイ112に表示する。
【0120】
図11は、画像処理装置110がディスプレイ112に表示する画像の別の実施形態を示す図である。以下、図11を参照して、画像処理装置110にユーザPC130a,130bを接続したときの初期画面およびデータ転送量を削減した後の画面について説明する。
【0121】
画像1100は、画像処理装置110にユーザPC130a,130bを接続したときに表示される初期画面である。画像処理装置110は、同一の転送レートで映像入力ボード220からマザーボード210にユーザPC130a,130bの表示画像1102,1104を転送し、これらの表示画像を同一の色深度および解像度でディスプレイ112に表示する。
【0122】
画像1110は、映像入力ボード220からマザーボード210に転送されるデータ量を削減した後の画面である。画像1112は、ユーザPC130aの表示画像であり、画像1114は、ユーザPC130bの表示画像である。図11に示す実施形態では、画像処理装置110は、注目画像であるユーザPC130aの表示画像1112の色深度および解像度は変更せず、非注目画像であるユーザPC130bの表示画像1114の色深度および解像度を低減し、ディスプレイ112に表示する。
【0123】
図11に示す実施形態では、注目画像および非注目画像を別々の領域に表示するが、他の実施形態では、注目画像が非注目画像の前面に表示されるように重畳して表示することもできる。また、本実施形態では、1の注目画像および1の非注目画像のみを示しているが、本発明の画像処理装置110は、複数の注目画像および複数の非注目画像を表示することもできる。
【0124】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要素を変更若しくは削除し、または本実施形態の構成要素を他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【0125】
100…画像処理システム、110…画像処理装置、112…ディスプレイ、124…ケーブル、130a,130b…ユーザPC
【先行技術文献】
【特許文献】
【0126】
【特許文献1】特開2010−224178号公報
【特許文献2】特許第4627781号公報
【特許請求の範囲】
【請求項1】
画像を処理する画像処理装置であって、
画像を表示する表示手段と、
外部から受信した映像信号から画像を生成する映像信号処理手段と、
前記映像信号処理手段が生成した画像を処理して前記表示手段に表示する画像処理手段とを含み、
前記画像処理手段は、前記映像信号処理手段に対し、前記映像信号処理手段から前記画像処理手段に送信されるデータの転送量が低減するよう前記画像を編集させ、転送レートを指定して、前記編集された画像を前記映像信号処理手段から前記画像処理手段に送信させる、画像処理装置。
【請求項2】
前記画像処理手段は、
前記画像処理装置が許容可能なデータ転送量の上限値を算出し、前記映像信号処理手段が生成する画像のデータ転送量の総和が、前記データ転送量の上限値を上回る場合に、前記映像信号処理手段に前記画像の色深度および解像度を低減させ、低減した転送レートを指定する、請求項1に記載の画像処理装置。
【請求項3】
前記データ転送量の上限値は、前記画像処理装置が単位秒当たりに転送可能な最大のデータ転送量以下、かつ、前記画像処理装置が有するプロセッサの使用率が所定の割合となる単位秒当たりのメモリ使用量である、請求項1または2に記載の画像処理装置。
【請求項4】
前記画像処理装置は、前記表示手段の座標を検出する座標検出手段をさらに備えており、
前記座標検出手段が検出した座標位置に表示されている画像以外の画像のデータ転送量を優先的に削減する、請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項5】
画像を提供する情報処理装置と、画像を処理する画像処理装置とを含む画像処理システムであって、
前記画像処理装置は、
画像を表示する表示手段と、
外部から受信した映像信号から画像を生成する映像信号処理手段と、
前記映像信号処理手段が生成した画像を処理して前記表示手段に表示する画像処理手段とを含み、
前記画像処理手段は、前記映像信号処理手段に対し、前記映像信号処理手段から前記画像処理手段に送信されるデータの転送量が低減するよう前記画像を編集させ、転送レートを指定して、前記編集された画像を前記映像信号処理手段から前記画像処理手段に送信させる、画像処理システム。
【請求項6】
前記画像処理手段は、
前記画像処理装置が許容可能なデータ転送量の上限値を算出し、前記映像信号処理手段が生成する画像のデータ転送量の総和が、前記データ転送量の上限値を上回る場合に、前記映像信号処理手段に前記画像の色深度および解像度を低減させ、低減した転送レートを指定する、請求項5に記載の画像処理システム。
【請求項7】
前記データ転送量の上限値は、前記画像処理装置が単位秒当たりに転送可能な最大のデータ転送量以下、かつ、前記画像処理装置が有するプロセッサの使用率が所定の割合となる単位秒当たりのメモリ使用量である、請求項5または6に記載の画像処理システム。
【請求項8】
画像を処理する画像処理装置が実行する画像処理方法であって、前記画像処理方法は、
前記画像処理装置に含まれる映像信号処理手段が、
外部から受信した映像信号から画像を生成するステップと、
前記映像信号処理手段から前記画像処理装置に含まれる画像処理手段に送信されるデータの転送量が低減するよう前記画像を編集するステップと、
前記画像処理手段が指定する転送レートで、前記編集された画像を前記画像処理手段に送信するステップと、
前記画像処理手段が、
前記編集された編集された画像を前記映像信号処理手段から取得して、前記画像処理装置の表示手段に表示するステップと
を含む、画像処理方法。
【請求項9】
前記画像処理方法は、前記画像処理手段が、
前記画像処理装置が許容可能なデータ転送量の上限値を算出するステップと、
前記映像信号処理手段が生成する画像のデータ転送量の総和を算出するステップと、
前記画像のデータ転送量の総和が前記データ転送量の上限値を上回る場合に、前記映像信号処理手段に前記画像の色深度および解像度を低減させ、低減した転送レートを指定するステップと
を含む、請求項8に記載の画像処理方法。
【請求項10】
請求項8または9に記載の各ステップを画像処理装置が実行するためのコンピュータ実行可能なプログラム。
【請求項1】
画像を処理する画像処理装置であって、
画像を表示する表示手段と、
外部から受信した映像信号から画像を生成する映像信号処理手段と、
前記映像信号処理手段が生成した画像を処理して前記表示手段に表示する画像処理手段とを含み、
前記画像処理手段は、前記映像信号処理手段に対し、前記映像信号処理手段から前記画像処理手段に送信されるデータの転送量が低減するよう前記画像を編集させ、転送レートを指定して、前記編集された画像を前記映像信号処理手段から前記画像処理手段に送信させる、画像処理装置。
【請求項2】
前記画像処理手段は、
前記画像処理装置が許容可能なデータ転送量の上限値を算出し、前記映像信号処理手段が生成する画像のデータ転送量の総和が、前記データ転送量の上限値を上回る場合に、前記映像信号処理手段に前記画像の色深度および解像度を低減させ、低減した転送レートを指定する、請求項1に記載の画像処理装置。
【請求項3】
前記データ転送量の上限値は、前記画像処理装置が単位秒当たりに転送可能な最大のデータ転送量以下、かつ、前記画像処理装置が有するプロセッサの使用率が所定の割合となる単位秒当たりのメモリ使用量である、請求項1または2に記載の画像処理装置。
【請求項4】
前記画像処理装置は、前記表示手段の座標を検出する座標検出手段をさらに備えており、
前記座標検出手段が検出した座標位置に表示されている画像以外の画像のデータ転送量を優先的に削減する、請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項5】
画像を提供する情報処理装置と、画像を処理する画像処理装置とを含む画像処理システムであって、
前記画像処理装置は、
画像を表示する表示手段と、
外部から受信した映像信号から画像を生成する映像信号処理手段と、
前記映像信号処理手段が生成した画像を処理して前記表示手段に表示する画像処理手段とを含み、
前記画像処理手段は、前記映像信号処理手段に対し、前記映像信号処理手段から前記画像処理手段に送信されるデータの転送量が低減するよう前記画像を編集させ、転送レートを指定して、前記編集された画像を前記映像信号処理手段から前記画像処理手段に送信させる、画像処理システム。
【請求項6】
前記画像処理手段は、
前記画像処理装置が許容可能なデータ転送量の上限値を算出し、前記映像信号処理手段が生成する画像のデータ転送量の総和が、前記データ転送量の上限値を上回る場合に、前記映像信号処理手段に前記画像の色深度および解像度を低減させ、低減した転送レートを指定する、請求項5に記載の画像処理システム。
【請求項7】
前記データ転送量の上限値は、前記画像処理装置が単位秒当たりに転送可能な最大のデータ転送量以下、かつ、前記画像処理装置が有するプロセッサの使用率が所定の割合となる単位秒当たりのメモリ使用量である、請求項5または6に記載の画像処理システム。
【請求項8】
画像を処理する画像処理装置が実行する画像処理方法であって、前記画像処理方法は、
前記画像処理装置に含まれる映像信号処理手段が、
外部から受信した映像信号から画像を生成するステップと、
前記映像信号処理手段から前記画像処理装置に含まれる画像処理手段に送信されるデータの転送量が低減するよう前記画像を編集するステップと、
前記画像処理手段が指定する転送レートで、前記編集された画像を前記画像処理手段に送信するステップと、
前記画像処理手段が、
前記編集された編集された画像を前記映像信号処理手段から取得して、前記画像処理装置の表示手段に表示するステップと
を含む、画像処理方法。
【請求項9】
前記画像処理方法は、前記画像処理手段が、
前記画像処理装置が許容可能なデータ転送量の上限値を算出するステップと、
前記映像信号処理手段が生成する画像のデータ転送量の総和を算出するステップと、
前記画像のデータ転送量の総和が前記データ転送量の上限値を上回る場合に、前記映像信号処理手段に前記画像の色深度および解像度を低減させ、低減した転送レートを指定するステップと
を含む、請求項8に記載の画像処理方法。
【請求項10】
請求項8または9に記載の各ステップを画像処理装置が実行するためのコンピュータ実行可能なプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−114196(P2013−114196A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−262419(P2011−262419)
【出願日】平成23年11月30日(2011.11.30)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願日】平成23年11月30日(2011.11.30)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]