説明

画像処理装置および画像処理方法

【課題】複数の分割動画を送信する送信機器によらず、入力された分割動画間のフレームの同期をとることのできる画像処理装置および画像処理方法を提供する。
【解決手段】本発明の画像処理装置は、1つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力手段と、前記分割動画毎に、シーンの切り替わりを検出する検出手段と、前記検出手段で検出されるシーンの切り替わりのタイミングが一致するように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化手段と、を有することを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【0002】
高解像動画を複数の画像領域に分割後、複数の画像領域の動画(分割動画)をそれぞれ個別のケーブルを介して画像表示装置に送信する送信機器、及び、複数の分割動画を受信して元の高解像動画に再合成する画像表示装置が実用化されている。
【0003】
図1は、送信機器が高解像動画を4つの分割動画に分割して、4つの分割動画を画像表示装置に送信する様子を示している。画像表示装置は、4つの分割動画を受信、合成して元の高解像動画を得る。
【0004】
このような画像表示装置において、入力された複数の分割動画間のフレームの同期をとらずに複数の分割動画を合成すると、正しい動画(元の動画)を得ることができない。例えば、一部の分割動画が、他の分割動画よりも数フレーム期間遅れて受信される場合に、該遅延を考慮せずに、同じタイミングで入力されたフレーム画像(フレームの画像)を合成すると、正しい画像(元の動画のフレーム画像)を得ることができない。
【0005】
特許文献1には、分割動画のフレーム画像に付与されたフレーム番号を用いて、分割動画間のフレームの同期をとることが記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2003−153128号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載の技術では、送信機器から分割動画のフレーム画像とともにそれに対応するフレーム番号が同時に送信される必要がある。そのため、送信機器が分割動画のみを送信する場合(送信機器がフレーム番号を送信しない場合)には、画像表示装置は分割動画間のフレームの同期をとることができない。
【0008】
本発明は、複数の分割動画を送信する送信機器によらず、入力された分割動画間のフレームの同期をとることのできる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の第1の態様は、1つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力手段と、前記分割動画毎に、シーンの切り替わりを検出する検出手段と、前記検出手段で検出されるシーンの切り替わりのタイミングが一致するように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化手段と、を有することを特徴とする画像処理装置である。
【0010】
本発明の第2の態様は、1つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力手段と、各分割動画のフレームの画像からエッジを検出する検出手段と、前記検出手段で検出されるエッジが分割動画間で連続的に繋がるように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同
期化手段と、を有することを特徴とする画像処理装置である。
【0011】
本発明の第3の態様は、画像処理装置により実行される画像処理方法であって、1つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力ステップと、前記分割動画毎に、シーンの切り替わりを検出する検出ステップと、前記検出ステップで検出されるシーンの切り替わりのタイミングが一致するように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化ステップと、を有することを特徴とする画像処理方法である。
【0012】
本発明の第4の態様は、画像処理装置により実行される画像処理方法であって、1つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力ステップと、各分割動画のフレームの画像からエッジを検出する検出ステップと、前記検出ステップで検出されるエッジが分割動画間で連続的に繋がるように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化ステップと、を有することを特徴とする画像処理方法である。
【発明の効果】
【0013】
本発明によれば、複数の分割動画を送信する送信機器によらず、入力された分割動画間のフレームの同期をとることができる。
【図面の簡単な説明】
【0014】
【図1】分割動画が生成される様子の一例を示す図。
【図2】実施例1に係る画像処理装置の機能構成の一例を示す図。
【図3】実施例1に係る同期化処理の流れの一例を示す図。
【図4】実施例2に係る画像処理装置の機能構成の一例を示す図。
【図5】実施例2に係る境界部抽出処理と画像合成処理の一例を示す図。
【図6】実施例2に係る同期化処理の流れの一例を示す図。
【図7】元の動画とエッジ検出処理の結果の一例を示す図。
【発明を実施するための形態】
【0015】
以下に図面を参照しつつ、本実施形態に係る画像処理装置および該画像処理装置により実行される画像処理方法について説明する。
本実施形態に係る画像処理装置には、1つの動画を複数の画像領域に分割することによって得られる複数の分割動画が入力される。以下では、入力される分割動画が、フレーム単位で遅延するものとする。分割動画の他の分割動画に対する遅延量(遅延時間)が1フレーム期間よりも短い場合には、分割動画とともに送信される垂直同期信号等を用いて分割動画間のフレームを同期させることができるため、以下では説明しない。
【0016】
また、以下では、図1に示すように、送信機器が1つの動画(高解像動画)を、左上、左下、右上、右下の領域の動画である4つの分割動画に分割して画像処理装置に送信するものとする。そして、画像処理装置は4つの入力端子を持ち、4つの入力端子に上記4つの分割動画が入力されるものとする。なお、分割数(分割動画の数)、入力端子の数は4つに限らない。例えば、2,6,9つであってもよい。分割数(分割動画の数)と入力端子の数は等しくなくてもよく、1つの入力端子に複数の分割動画が入力されてもよい。また、動画の分割の仕方は特に限定されない。例えば、複数の分割動画は、動画を短冊状に分割することによって得られたものであってもよいし、マトリクス状に分割することによって得られたものであってもよい。
【0017】
<実施例1>
以下、図面を参照して、本発明の実施例1について詳細に説明する。図2は、実施例1
に係る画像処理装置100の機能構成を大まかに示すブロック図である。図2において、画像処理装置100は不図示の送信機器から4つの分割動画を受信する。
【0018】
図2に示すように、画像処理装置100は、分割動画受信部101〜104、メモリ部105〜108、画像合成処理部109、表示部110、シーンチェンジ検出部111〜114、遅延検出部115、システム制御部116、共通バス117、伝送ケーブル118〜121、受信時刻情報生成部122などを備える。
【0019】
分割動画受信部101は、送信機器から送信された分割動画のうち1つ(本実施例では、元の動画の左上の領域の分割動画;左上領域動画)をフレーム単位で受信する。また、分割動画受信部101は、左上領域動画のフレームの画像(フレーム画像)を受信すると、受信時刻情報生成部122から該フレーム画像の受信時刻を示す受信時刻情報を受信する。そして、分割動画受信部101は、受信したフレーム画像と、それに対応する受信時刻情報とをメモリ部105に伝送する。
【0020】
分割動画受信部102〜104は、分割動画受信部101と同様に、送信機器から送信された分割動画のうち1つをフレーム単位で受信する。本実施例では、分割動画受信部102は元の動画の右上の領域の動画(右上領域動画)を受信する。分割動画受信部103は元の動画の左下の領域の動画(左下領域動画)を受信する。分割動画受信部104は元の動画の右下の領域の動画(右下領域動画)を受信する。
即ち、分割動画受信部101〜104により送信機器から送信された複数(4つ)の分割動画が入力(受信)される(入力手段)。
また、分割動画受信部102〜104は、分割動画受信部101と同様に、受信時刻情報生成部122から受信時刻情報を受信する。そして、分割動画受信部102〜104は、分割動画受信部101と同様に、受信したフレーム画像と、それに対応する受信時刻情報とを、メモリ部106〜108に送信する。
【0021】
分割動画受信部101〜104で、4つの分割動画が遅延なく(フレームの同期がとれた状態で)受信された場合には、受信時刻情報が等しい4つのフレーム画像を合成することにより、元の動画のフレーム画像を得ることができる。一方、一部の分割動画が遅れて受信された場合に、受信時刻情報が等しい4つのフレーム画像を合成すると、正しい画像(元の動画のフレーム画像)が得られない。
【0022】
メモリ部105は、分割動画受信部101で受信した分割動画と、該分割動画の各フレーム画像の受信時刻情報とを、遅延検出部115が設定したフレーム数(バッファリング数)分の期間だけ遅延させて出力する。
具体的には、メモリ部105は、分割動画受信部101からフレーム画像とその受信時刻情報(以後、それらをまとめて“データ”と呼ぶ)を受信し、記憶する。記憶されたデータは1フレーム単位で管理される。メモリ部105は、設定されたバッファリング数分のデータをバッファリングする。そして、メモリ部105は、バッファリングしているデータの数が設定されたバッファリング数に達すると、バッファリングしているデータのうち最初に受信したデータをシーンチェンジ検出部111、画像合成処理部109に出力する。
バッファリング数を調整することにより、分割動画間のフレームの同期をとることができ、画像合成処理部109にて元の動画のフレーム画像を得ることが可能となる。
【0023】
メモリ部106〜108は、メモリ部105と同様に、分割動画受信部102〜104で受信した分割動画と、該分割動画の各フレーム画像の受信時刻情報とを、遅延検出部115が設定したフレーム数(バッファリング数)分の期間だけ遅延させて出力する。
具体的には、メモリ部106〜108は、分割動画受信部102〜104からフレーム
画像とその受信時刻情報(データ)を受信し、記憶する。また、メモリ部106〜108は、設定されたバッファリング数分のデータをバッファリングする。そして、メモリ部106〜108は、バッファリングしているデータの数が設定されたバッファリング数に達すると、バッファリングしているデータのうち最初に受信したデータをシーンチェンジ検出部112〜114に送信する。また、メモリ部106〜108は、バッファリングしているデータの数が設定されたバッファリング数に達すると、バッファリングしているデータのうち最初に受信したデータを画像合成処理部109に送信する。
なお、遅延検出部115はメモリ部105〜108のバッファリング数を個別に設定することができ、メモリ部105〜108は個別に設定されたバッファリング数だけデータをバッファリングする。
【0024】
画像合成処理部109は、メモリ部105〜108からそれぞれ左上領域動画のフレーム画像、右上領域動画のフレーム画像、左下領域動画のフレーム画像、右下領域動画のフレーム画像を受信し、これらを合成して1枚のフレーム画像を生成する。画像合成処理部109は生成したフレーム画像を表示部110に送信する。
表示部110は、不図示のD/Aコンバータ、表示パネル制御回路、表示パネルなどを有する。表示部110は、受信したフレーム画像を表示パネルに表示する。表示パネルとしては、電子放出素子を有する表示パネル、液晶ディスプレイパネル、プラズマディスプレイパネル、有機ELディスプレイパネルなどを適用すればよい。
なお、画像合成処理部109と表示部110は画像処理装置100とは別体の装置であってもよい。
【0025】
シーンチェンジ検出部111〜114は、分割動画毎に、シーンの切り替わりを検出する(検出手段)。
具体的には、シーンチェンジ検出部111は、メモリ部105から分割動画(左上領域動画)のフレーム画像とその受信時刻情報を受信する。そして、シーンチェンジ検出部111は、受信したフレーム画像に対して、画像解析により、1つ前のフレーム画像からシーンが切り替わったか否かを判断する(シーンチェンジ検出処理)。シーンチェンジ検出部111は、シーンが切り替わったと判断した場合には、シーンが切り替わったことを表すシーンチェンジ検出情報と、受信した受信時刻情報(シーンが切り替わったと判断されたフレーム画像の受信時刻)とを遅延検出部115に送信する。
【0026】
シーンチェンジ検出部112〜114は、シーンチェンジ検出部111と同様に、メモリ部106〜108からフレーム画像とその受信時刻情報を受信し、シーンチェンジ検出処理を行う。そして、シーンチェンジ検出部112〜114は、シーンチェンジ検出部111と同様に、シーンが切り替わったと判断した場合に、シーンチェンジ検出情報と受信時刻情報を遅延検出部115に送信する。
【0027】
遅延検出部115は、シーンチェンジ検出部111〜114のそれぞれから、シーンの切り替わりの検出結果を受信する。具体的には、シーンの切り替わりの検出結果として、シーンチェンジ検出情報と受信時刻情報が受信される。遅延検出部115は、受信したシーンの切り替わりの検出結果から分割動画間のフレームの同期がとれているか否かを判断する。そして、遅延検出部115は、分割動画間のフレームの同期がとれていないと判断した場合には、シーンチェンジ検出部111〜114で検出されるシーンの切り替わりのタイミングが一致するように、メモリ部105〜108のバッファリング数を調整する。それにより、各分割動画のフレームの時間位置が調整され、分割動画間のフレームの同期がとられる。即ち、本実施例では、メモリ部105〜108と遅延検出部115により、本発明の同期化手段が実現される。ここで、“フレームの時間位置”とは、例えば、フレーム画像を表示部に表示する時間(タイミング)、フレーム画像を表示部に表示するように出力する時間などを意味する。
【0028】
本実施例では、画像処理装置100の電源起動時にメモリ部105〜108のバッファリング数として同じ値(具体的には0)を設定する。
4つの分割動画間のフレームの同期がとれている場合には、シーンチェンジ検出部111〜114のそれぞれから送られる受信時刻情報は全て同じとなる。そのため、受信時刻情報が全て同じ場合には、遅延検出部115は、現在のバッファリング数(つまり、0)で分割動画間のフレームの同期がとれていると判断する。そして、遅延検出部115は、バッファリング数をそのまま(0のまま)とするよう、各メモリ部105〜108に指示する(バッファリング数として0を設定する)。
【0029】
左上領域動画のみ他の分割動画よりも1フレーム期間だけ遅延していた場合には、シーンチェンジ検出部111において、他のシーンチェンジ検出部よりも1フレーム期間だけ遅れてシーンの切り替わりが検出される。そのため、分割動画間のフレームの同期がとれていない場合には、一部の受信時刻情報は他の受信時刻情報と異なることとなる。具体的には、シーンが切り替わったと判断された、左上領域動画のフレーム画像の受信時刻が、シーンが切り替わったと判断された、他の分割動画のフレーム画像の受信時刻よりも1フレーム期間だけ遅い時刻となる。そのため、一部の受信時刻情報が他の受信時刻情報と異なる場合には、遅延検出部115は、現在のバッファリング数で分割動画間のフレームの同期がとれていないと判断する。更に、遅延検出部115は、シーンの切り替わりの検出結果(シーンチェンジ検出情報と受信時刻情報)から、シーンの切り替わりが他の分割動画のシーンの切り替わりに対して遅れている分割動画およびその遅延量(受信時刻の差分値)を判断する。そして、判断した遅延量に基づいて、各分割動画のフレームが同期するように、各メモリ部105〜108に指示するバッファリング数を決定する。それにより、分割動画間のフレームの同期をとることができ、ひいては、画像合成処理部109において、正しいフレーム画像(元の動画のフレーム画像)を生成することができる。
【0030】
具体的には、遅延検出部115は、一部の受信時刻情報が他の受信時刻情報と異なる場合には、受信したシーンの切り替わりの検出結果から、シーンの切り替わりが他の分割動画のシーンの切り替わりに対して遅れている分割動画を特定する。それと共に、特定した分割動画のシーンの切り替わりのタイミングに対する、特定した分割動画のシーンの切り替わりのタイミングの遅延量を判断する。そして、特定した分割動画以外の分割動画のフレームが判断した遅延量分だけ遅れるように、各メモリ部のバッファリング数を決定する。ここでは、左上領域動画のみが1フレーム期間だけ遅延しているため、他の分割動画のバッファリング数(メモリ部106〜108のバッファリング数)が1とされる(メモリ部105のバッファリング数は0のままとされる)。
【0031】
システム制御部116は、上述した各機能ブロックを制御する。
共通バス117は、各機能ブロック間で、各種データやコマンド(制御に関する情報;制御情報)を送受信するためのバスである。
伝送ケーブル118は、送信機器と画像処理装置100を接続するケーブルであり、左上領域動画の伝送に用いられる。同様に、伝送ケーブル119は右上領域動画、伝送ケーブル120は左下領域動画、伝送ケーブル121は右下領域動画の伝送に用いられる。
受信時刻情報生成部122は、不図示の内蔵時計から受信時刻情報を生成し、分割動画受信部101〜104へ送信する。
【0032】
次に、画像処理装置100における同期化処理(分割動画間のフレームの同期をとる処理)の流れについて図3のフロー図を用いて説明する。なお、同期化処理は常に実行する必要はない。例えば、一度バッファリング数を調整して同期が取れた場合や、所定時間同期がとれていることが確認された場合には、同期化処理を一時的に停止してもよい。
【0033】
まず、ユーザが画像処理装置100の電源を投入する(S101)。
次に、分割動画受信部101〜104が、送信機器から4つのフレーム画像(各分割動画のフレーム画像)を受信する(S102)。
このとき、分割動画受信部101〜104は、それぞれ、フレーム画像と同時に受信時刻情報生成部122から同じ値の受信時刻情報を受信する。そして、分割動画受信部101〜104は、受信したフレーム画像と受信時刻情報をメモリ部105〜108に送信する。
【0034】
そして、メモリ部105〜108が、受信したフレーム画像と受信時刻情報を一時記憶する(S103)。メモリ部105〜108は、遅延検出部115が設定したバッファリング数分のフレーム画像と受信時刻情報をバッファリングした後、フレーム画像と受信時刻情報をシーンチェンジ検出部111〜114に送信する。この段階では、バッファリング数として初期値(例えば、0)が設定されている。即ち、この段階では受信したフレーム画像と受信時刻情報は、メモリ部で遅延されることなくシーンチェンジ検出部に伝送される。
【0035】
次に、シーンチェンジ検出部111〜114が、対応するメモリ部105〜108からフレーム画像と受信時刻情報を受信する。そして、シーンチェンジ検出部111〜114は、受信したフレーム画像に対しシーンチェンジ検出処理を行う(S104)。シーンの切り替わりが検出されるまでS102〜S104の処理が繰り返される。
そして、シーンチェンジ検出部111〜114は、それぞれ、シーンが切り替わったと判断した場合に、シーンが切り替わったと判断されたフレーム画像の受信時刻情報とシーンチェンジ検出情報を遅延検出部115に送信する(S105)。
【0036】
次に、遅延検出部115が、各シーンチェンジ検出部111〜114からシーンチェンジ検出情報と受信時刻情報を受信すると、受信した受信時刻情報からシーンの切り替わりが他の分割動画のシーンの切り替わりに対して遅れている分割動画を特定する。それと共に、特定した分割動画のシーンの切り替わりに対する、特定した分割動画のシーンの切り替わりのタイミングの遅延量を算出する(S106)。
そして、遅延検出部115は、S106で算出した遅延量を用いて各メモリ部のバッファリング数を決定する。
例えば、メモリ部105から送信される分割動画のみ遅延している場合には、遅延検出部115は、受信した受信時刻情報から、メモリ部105から送信された分割動画が他のメモリ部から送信された分割動画よりも何フレーム期間遅延しているかを算出する。そして、メモリ部106〜108から出力される分割動画がメモリ部105から送信された分割動画の遅延量(算出されたフレーム数分の期間)だけ遅延されるように、メモリ部106〜108のバッファリング数が決定される。
【0037】
そして、遅延検出部115が、決定したバッファリング数をメモリ部105〜108に指示する(S107)。
次に、メモリ部105〜108が、指示されたバッファリング数だけフレーム画像と受信時刻情報をバッファリングした後、フレーム画像と受信時刻情報を画像合成処理部109に送信する(S108)。
そして、画像合成処理部109が、受信した4つのフレーム画像を合成して、1枚のフレーム画像を生成し、表示部110に送信する。表示部110は、受信したフレーム画像を表示パネルに表示する(S109)。
【0038】
以上述べたように、本実施例によれば、分割動画毎のシーンの切り替わりの検出結果を用いて分割動画間の同期をとることができるため、複数の分割動画を送信する送信機器によらず、入力された分割動画間のフレームの同期をとることができる。
【0039】
なお、本実施例では、1つの分割動画のみが他の分割動画よりも遅延している場合について説明したが、複数の分割動画が他の分割動画より遅延している場合も考えられる。
その場合には、シーンの切り替わりの検出結果から、シーンの切り替わりのタイミングが最も遅い分割動画を特定すればよい。そして、分割動画毎に、その分割動画のフレームを、該分割動画のシーンの切り替わりのタイミングに対する特定した分割動画のシーンの切り替わりのタイミングの遅延量分だけ遅らせればよい。それにより、上述した方法よりも分割動画間のフレームの同期を精度よくとることができる。
例えば、メモリ部105,106から送信される分割動画は同期がとれており、それらの分割動画に対し、メモリ部107から送信される分割動画が1フレーム期間、メモリ部108から送信される分割動画が2フレーム期間遅延している場合を考える。この場合は、メモリ部105,106に対するバッファリンク数は2、メモリ部107に対するバッファリング数は1とされる。
【0040】
なお、本実施例では、バッファリング数の初期値が0の場合について説明したが、バッファリング数の初期値は0でなくてもよい。0より大きい整数(例えば、2,3,5など)であればよい。また、メモリ部間でバッファリング数の初期値が異なっていてもよい。
なお、本実施例では、各分割動画のフレーム画像が同時に受信される場合について説明したが、そのような構成に限らない。複数の分割動画を全て受信した後で、各分割動画のフレームの時間位置を調整してもよい。
なお、本実施例では、シーンの切り替わりの検出結果としてシーンチェンジ検出情報と受信時刻情報を用いたが、シーンの切り替わりの検出結果はこれに限らない。シーンの切り替わりの検出結果は、シーンの切り替わり位置のフレームを特定することができる情報であればよい。例えば、シーンの切り替わりの検出結果は、シーンの切り替わり位置のフレームが、入力された分割動画の先頭のフレームから何フレーム目のフレームかを表す情報であってもよい。
なお、本実施例では、最も遅れている分割動画以外の動画を遅延させることによりフレームの同期をとる構成としたが、各分割動画のフレームの時間位置はどのように調整してもよい。例えば、バッファリング数の初期値が0でない場合には、他の分割動画に対して遅れている分割動画のバッファリング数を初期値よりも小さくしてもよい(フレームの時間位置を早めてもよい)。
【0041】
<実施例2>
以下、図面を参照して、本発明の実施例2について詳細に説明する。実施例1では、シーンチェンジ検出処理を行い、シーンの切り替わりのタイミングが一致するように各分割動画のフレームの時間位置を調整した。本実施例では、画像からエッジを抽出するエッジ検出処理を行い、エッジ検出処理の結果を用いて各分割動画のフレームの時間位置を調整する。なお、以下では、実施例1と異なる点について詳しく説明する。
【0042】
図7は、元の動画のフレーム画像の変化と、同じタイミングで受信した複数のフレーム画像(各分割動画のフレーム画像)に対するエッジ検出処理の結果の一例を示す。図7は、送信機器が動きのある動画を複数の分割動画(左上領域動画、右上領域動画、左下領域動画、右下領域動画)に分割して画像処理装置に送信する場合の例である。また、図7は、右下領域動画のみ2フレーム期間遅延して受信される場合の例である。
分割動画間のフレームの同期がとれている場合、エッジは分割動画間で連続的に繋がる。言い換えれば、分割動画間でエッジが不連続となる(途切れる)場合には、分割動画間のフレームの同期がとれていないと考えられる。また一般に、エッジは色情報の差分値を用いて検出される。そのため、フレームの同期がとれていない複数の分割動画のフレーム画像を合成して生成された合成画像に対してエッジ検出処理を行った場合には、物体と背景の色の違いなどにより、分割動画間の境界に沿ったエッジが検出されることがある。
そこで本実施例では、エッジが分割動画間で連続的に繋がり、且つ、分割動画間の境界に沿ったエッジが検出されなくなるように各分割動画のフレームの時間位置を調整する。それにより、分割動画間のフレームの同期をとることができる。
【0043】
図4は、実施例2に係る画像処理装置200の機能構成を大まかに示すブロック図である。図4において、画像処理装置200は不図示の送信機器から4つの分割動画を受信する。なお、実施例1と同じ機能ブロックには同じ符号を付し、その説明は省略する。
【0044】
図4に示すように、画像処理装置200は、分割動画受信部101〜104、メモリ部105〜108、画像合成処理部109、表示部110、境界抽出部211〜214、画像合成処理部215、エッジ検出部216、遅延検出部217、システム制御部116、共通バス117、伝送ケーブル118〜121、受信時刻情報生成部122などを備える。
【0045】
境界抽出部211は、メモリ部105から左上領域動画のフレーム画像とその受信時刻情報を受信し、受信したフレーム画像の境界部の画像を抽出する。そして、抽出した画像を画像合成処理部215に送信する。
境界抽出部212〜214は、境界抽出部211と同様に、メモリ部106〜108からフレーム画像(右上領域動画、左下領域動画、右下領域動画のフレーム画像)とその受信時刻情報を受信する。そして、受信したフレーム画像の境界部の画像を抽出し、画像合成処理部215に送信する。
【0046】
図5に境界抽出部211〜214の処理(境界部抽出処理)及び画像合成処理部215の処理(画像合成処理)の一例を示す。
図5では、境界抽出部211は、左上領域動画のフレーム画像を受信し、該フレーム画像から、隣接する分割動画(右上領域動画及び左下領域動画)との境界部の画像(境界部画像)を抽出して出力する。このように、ある限られた範囲の画像を抽出することにより、エッジ検出処理の演算量を軽減させることができる。境界部は、エッジが検出できる領域であればよい。例えば、分割動画と該分割動画に隣接する他の分割動画との境界の位置から、該境界から所定距離(5画素分、10画素分、20画素分など)離れた位置までの領域を境界部とすればよい。
境界抽出部212〜214の具体的な処理は境界抽出部211と同様のため、その説明は省略する。
【0047】
画像合成処理部215は、複数の分割動画のフレーム画像を合成し、合成画像を生成する(合成手段)。本実施例では、画像合成処理部215は、受信した各分割動画の境界部画像を合成して合成画像を生成する。生成した合成画像は、エッジ検出部216へ出力される。
【0048】
エッジ検出部216は、各分割動画のフレーム画像からエッジを検出する(検出手段)。本実施例では、エッジ検出部216は、受信した合成画像からエッジを検出する。エッジ検出部216は、エッジ検出処理の結果(エッジの検出結果)をエッジ情報として遅延検出部217に送信する。
【0049】
遅延検出部217は、エッジ検出部216からエッジ情報を受信し、エッジ情報から分割動画間のフレームの同期がとれているか否かを判断する。
【0050】
本実施例では、画像処理装置200の電源起動時にメモリ部105〜108のバッファリング数として同じ値(具体的には0)を設定する。
4つの分割動画間のフレームの同期がとれている場合には、検出されたエッジは分割動
画間で連続的に繋がり、分割動画間で途切れるエッジや分割動画間の境界に沿ったエッジは検出されない。そのため、分割動画間で途切れるエッジや分割動画間の境界に沿ったエッジが検出されていない場合には、遅延検出部217は、現在のバッファリング数(つまり、0)で分割動画間のフレームの同期がとれていると判断する。そして、遅延検出部217は、バッファリング数をそのまま(0のまま)とするよう、各メモリ部105〜108に指示する(バッファリング数として0を設定する)。
【0051】
また、上述したように、分割動画間のフレームの同期がとれていない場合には、検出されたエッジは分割動画間で連続的に繋がらなかったり(分割動画間でエッジが途切れたり)、分割動画間の境界に沿ったエッジが検出されたりする。そのため、分割動画間で途切れるエッジや分割動画間の境界に沿ったエッジが検出されている場合には、遅延検出部217は、現在のバッファリング数で分割動画間のフレームの同期がとれていないと判断する。そして、遅延検出部217は、各メモリ部105〜108のバッファリング数を調整し、新たなエッジ情報を再度確認する。遅延検出部217は、検出されるエッジが分割動画間で連続的に繋がり、且つ、分割動画間の境界に沿ったエッジが検出されなくなるまで、バッファリング数を調整する。それにより、分割動画間のフレームの同期をとることができ、ひいては、画像合成処理部109において、正しいフレーム画像(元の動画のフレーム画像)を生成することができる。
【0052】
具体的には、遅延検出部217は、エッジ情報から、フレームの時間位置が他の分割動画のフレームの時間位置に対して遅れている領域を特定し、特定した分割動画以外の分割動画のフレームを、特定した分割動画のフレームよりも遅らせる。
例えば、左上領域動画のみ他の分割動画よりも1フレーム期間遅延していた場合には、左上領域動画と右上領域動画及び左下領域動画との間でエッジが途切れたり、境界に沿ったエッジが検出されたりする。そのため、遅延検出部217は、そのような場合に、左上領域動画またはそれ以外の全ての分割動画を、他の分割動画よりも遅延している分割動画として特定する。そして、遅延検出部217は、特定した分割動画以外の分割動画に対応するメモリ部(メモリ部105またはメモリ部106〜108)のバッファリング数を増やす。その結果、左上領域動画と右上領域動画及び左下領域動画との間で途切れているエッジが近づいたり、境界に沿ったエッジの長さが短くなった場合には、上記一方のバッファリング数を更に増やす。途切れているエッジが離れたり、境界に沿ったエッジの長さが長くなった場合には、左上領域動画とそれ以外の全ての分割動画との間で特定する分割動画を切り替える。そして、上記処理(特定した分割動画以外の分割動画に対応するメモリ部のバッファリング数を増やす処理)を行う。
左下領域動画、右上領域動画、または、右下領域動画のみが他の分割動画よりも遅延していた場合の処理は、左上領域動画のみが遅延していた場合の処理と同様のため、説明は省略する。
【0053】
なお、この方法は複数の分割動画が他の分割動画より遅延している場合にも適用することができる。例えば、以下のようにフレームの同期をとることができる。
まず、遅延検出部217は、左上領域動画または右上領域動画を、他の分割動画よりも遅延している分割動画として特定する。そして、左上領域動画と右上領域動画との間で検出されるエッジが分割動画間で連続的に繋がり、且つ、境界に沿ったエッジが検出されなくなるまで、特定した分割動画以外の分割動画に対応するメモリ部のバッファリング数を調整する。このとき、特定した分割動画以外の分割動画は、左上領域動画と右上領域動画の一方であってもよいし、特定した分割動画以外の全ての分割動画であってもよい。
次に、遅延検出部217は、左上領域動画及び右上領域動画と、右下領域動画とのいずれか一方を、他の分割動画よりも遅延している分割動画として特定する。そして、右上領域動画と右下領域動画との間で検出されるエッジが分割動画間で連続的に繋がり、且つ、境界に沿ったエッジが検出されなくなるまで、特定した分割動画以外の分割動画に対応す
るメモリ部のバッファリング数を調整する。
そして、遅延検出部217は、左上領域動画、右上領域動画、及び、右下領域動画と、左下領域動画とのいずれか一方を、他の分割動画よりも遅延している分割動画として特定する。そして、右下領域動画と左下領域動画との間で検出されるエッジが分割動画間で連続的に繋がり、且つ、境界に沿ったエッジが検出されなくなるまで、特定した分割動画以外の分割動画に対応するメモリ部のバッファリング数を調整する。
このような処理を行うことにより、全ての分割動画のフレームの同期をとることができる。
【0054】
次に、画像処理装置200における同期化処理の流れについて図6のフロー図を用いて説明する。
S201、S202の処理は実施例1(図3)のS101、S102の処理と同様のため、その説明は省略する。
S202の次に、システム制御部116が、バッファリング数の初期値(例えば、0)を各メモリ部に指示するよう、遅延検出部217を制御する(S203)。
そして、メモリ部105〜108は、分割動画受信部101〜104から、フレーム画像と受信時刻情報を受信する。そして、指示されたバッファリング数分のフレーム画像と受信時刻情報をバッファリングした後、フレーム画像と受信時刻情報を境界抽出部211〜214に出力する(S204)。
【0055】
次に、境界抽出部211〜214は、受信したフレーム画像から境界部画像を抽出し、画像合成処理部215に送信する(S205)。
そして、画像合成処理部215は、受信した4つの境界部画像を合成し、1枚の合成画像を生成する(S206)。画像合成処理部215は生成した合成画像をエッジ検出部216に送信する。
【0056】
次に、エッジ検出部216が、画像合成処理部215から受信した合成画像に対してエッジ検出処理を行う(S207)。そして、エッジ検出処理の結果をエッジ情報として遅延検出部217に送信する。
【0057】
次に、遅延検出部217が、エッジ検出部216から受信したエッジ情報を元に、分割動画間のフレームの同期がとれているかを判断する(S208)。
分割動画間で途切れるエッジや分割動画間の境界に沿ったエッジが検出されていない場合には、遅延検出部217は、分割動画間のフレームの同期がとれていると判断し、S209へ処理が進められる。そうでない場合には、分割動画間のフレームの同期がとれていないと判断し、S210へ処理が進められる。
【0058】
S209では、遅延検出部217が、現在のバッファリング数を維持し続けるよう、各メモリ部105〜108に対して現在のバッファリング数を指示する。
S210では、遅延検出部217が、上述した方法でバッファリング数を変更する。
【0059】
以上述べたように、本実施例によれば、各分割動画のフレーム画像のエッジの検出結果を用いて分割動画間の同期をとることができるため、複数の分割動画を送信する送信機器によらず、入力された分割動画間のフレームの同期をとることができる。
【0060】
なお、本実施例では、検出されるエッジが分割動画間で連続的に繋がり、且つ、分割動画間の境界に沿ったエッジが検出されなくなるように各分割動画のフレームの時間位置を調整するものとしたが、境界に沿ったエッジの有無は問わなくてもよい。即ち、検出されるエッジが分割動画間で連続的に繋がるように各分割動画のフレームの時間位置を調整する構成であってもよい。動画の内容やエッジの検出方法によっては、割動画間の境界に沿
ったエッジは検出されないため、そのような構成であっても上記効果に順じた効果を得ることができる。
なお、本実施例では、合成画像が境界部の画像を合成した画像である場合について説明したが、合成画像はこれに限らない。合成画像は分割動画のフレーム画像全体を合成した画像であってもよい。
なお、本実施例では、合成画像に対してエッジ検出処理を行うものとしたが、各分割動画のフレーム画像毎にエッジ検出処理を行ってもよい。
【符号の説明】
【0061】
100,200 画像処理装置
101〜104 分割動画受信部
105〜108 メモリ部
111〜114 シーンチェンジ検出部
115,217 遅延検出部
216 エッジ検出部

【特許請求の範囲】
【請求項1】
1つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力手段と、
前記分割動画毎に、シーンの切り替わりを検出する検出手段と、
前記検出手段で検出されるシーンの切り替わりのタイミングが一致するように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記同期化手段は、前記シーンの切り替わりの検出結果から、シーンの切り替わりのタイミングが他の分割動画のシーンの切り替わりに対して遅れている分割動画を特定し、前記特定した分割動画以外の分割動画のフレームを、該分割動画のシーンの切り替わりのタイミングに対する前記特定した分割動画のシーンの切り替わりのタイミングの遅延量分だけ遅らせる
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記同期化手段は、前記シーンの切り替わりの検出結果から、シーンの切り替わりのタイミングが最も遅い分割動画を特定し、分割動画毎に、その分割動画のフレームを、該分割動画のシーンの切り替わりのタイミングに対する前記特定した分割動画のシーンの切り替わりのタイミングの遅延量分だけ遅らせる
ことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
1つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力手段と、
各分割動画のフレームの画像からエッジを検出する検出手段と、
前記検出手段で検出されるエッジが分割動画間で連続的に繋がるように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化手段と、を有することを特徴とする画像処理装置。
【請求項5】
前記複数の分割動画のフレームの画像を合成し、合成画像を生成する合成手段を更に有し、
前記検出手段は、前記合成画像からエッジを検出し、
前記同期化手段は、前記検出手段で検出されるエッジが分割動画間で連続的に繋がり、且つ、前記検出手段で分割動画間の境界に沿ったエッジが検出されなくなるように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる
ことを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記同期化手段は、前記エッジの検出結果から、フレームの時間位置が他の分割動画のフレームの時間位置に対して遅れている領域を特定し、前記特定した分割動画以外の分割動画のフレームを、前記特定した分割動画のフレームよりも遅らせる
ことを特徴とする請求項4または5に記載の画像処理装置。
【請求項7】
画像処理装置により実行される画像処理方法であって、
1つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力ステップと、
前記分割動画毎に、シーンの切り替わりを検出する検出ステップと、
前記検出ステップで検出されるシーンの切り替わりのタイミングが一致するように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化ステップと、
を有することを特徴とする画像処理方法。
【請求項8】
画像処理装置により実行される画像処理方法であって、
1つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力ステップと、
各分割動画のフレームの画像からエッジを検出する検出ステップと、
前記検出ステップで検出されるエッジが分割動画間で連続的に繋がるように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化ステップと、
を有することを特徴とする画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2012−175271(P2012−175271A)
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願番号】特願2011−33683(P2011−33683)
【出願日】平成23年2月18日(2011.2.18)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】