動き画像領域判定装置またはその方法
【課題】 簡易な構成で矩形動き画像領域を判定する。
【解決手段】 動き単位ブロック判断手段５は、各単位ブロックについて、比較対象のフレームの同じ位置の単位ブロックの代表値が閾値を超える場合には、動き単位ブロックとする。動き列ブロック決定手段７は、ある単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに動き単位ブロックが存在する場合には動き列ブロックとして決定する。動き行ブロック決定手段９は、各行ブロックに動き単位ブロックが存在する場合には動き行ブロックとして決定する。第１矩形動き画像領域決定手段１１は、動き行ブロックおよび動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する。
【解決手段】 動き単位ブロック判断手段５は、各単位ブロックについて、比較対象のフレームの同じ位置の単位ブロックの代表値が閾値を超える場合には、動き単位ブロックとする。動き列ブロック決定手段７は、ある単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに動き単位ブロックが存在する場合には動き列ブロックとして決定する。動き行ブロック決定手段９は、各行ブロックに動き単位ブロックが存在する場合には動き行ブロックとして決定する。第１矩形動き画像領域決定手段１１は、動き行ブロックおよび動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動き画像領域の判定方法に関し、特に、矩形の動き画像領域判定に関する。
【背景技術】
【０００２】
今日、入力された動画や静止画の信号を高解像度化して出力する技術が注目されている。例えば、表示領域のうち動画領域にのみ、解像度を上げる処理ができれば、粗い入力動画であっても、みやすく表示することができる。
【０００３】
かかる動画領域が固定であれば手動で特定することもできるが、その場合でも、特定処理が煩雑である。まして、前記動画領域が移動する場合、前記手動特定では限界がある。
【０００４】
動画領域の特定については種々の方法が提案されている。例えば、特許文献１には、ブロック単位での動き検出が開示されている。具体的には、前後フレームにおける同一画素の階調値を比較し、階調値が異なる場合には動画素と判断し、ブロック単位で、動画素の画素数割合を求め、これが閾値よりも大きい場合には、そのブロックは動画像のブロックと判断するというものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平11-007266号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１に開示された判定方法では、１画素毎の比較をした後、ブロックごとに画素数をカウントするので、１フレームの全画素についての比較が必要であり、実現コストや設計難易度が高くなる。
【０００７】
この発明は、上記問題を解決し、簡易な構成で矩形動き画像領域を判定する判定方法またはその装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
(1)本発明にかかる矩形動き画像領域決定方法は、行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定方法であって、前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断ステップ、 前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定ステップ、前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定ステップ、前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ、前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする第２矩形動き画像領域決定ステップを備えている。
【０００９】
このように、前記単位ブロック毎に動き単位ブロックか否か判断し、前記動き行ブロックおよび動き列ブロックを決定し、その双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定することにより、動き画像領域を決定することができる。また、その領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とすることにより、より精密な動き画像領域を決定することができる。
【００１０】
(2)本発明にかかる矩形動き画像領域決定方法は、前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の行方向については、各行の代表画素値が異なる行を、列方向については各列の代表画素値が異なる列を、前記矩形動き画像領域の境界として決定する。したがって、行毎の代表画素値に基づいて境界を決定することができる。
【００１１】
(3)本発明にかかる矩形動き画像領域決定方法は、前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、異なるフレーム間で動きが存在する動き画素か否かを判断して、前記矩形動き画像領域の境界を決定する。したがって、各画素の動きベクトルに基づいて境界を決定することができる。
【００１２】
(4)本発明にかかる矩形動き画像領域決定方法は、前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、行方向エッジおよび列方向エッジを構成する画素を抽出し、各行についての行方向エッジを構成する画素の総数、各列について列方向エッジを構成する画素の総数に基づき前記矩形動き画像領域の境界を決定する。したがって行方向エッジおよび列方向エッジに基づいて境界を決定することができる。
【００１３】
(5)本発明にかかる矩形動き画像領域決定方法は、前記第２矩形動き画像領域決定ステップの前に、決定した矩形動き画像領域がスクロールによってフレーム間で画像が異なるか否かを判定するスクロール該当判定をする。したがって、スクロールに該当するのかそうでないかを区別することができる。また、スクロールであると判断した場合には、前記第２矩形動き画像領域決定ステップを行わない。したがって、スクロールに該当する場合に迅速な判断が可能となる。
【００１４】
(6)本発明にかかる矩形動き画像領域決定方法においては、前記スクロール該当判定は、決定した矩形動き画像領域の各画素について、周辺画素との画素値の差に基づいて、エッジであるか否かを判断し、前記エッジではない画素が行方向または列方向に所定数以上存在する行または列について、文字隙間存在領域として認識し、前記決定した矩形動き画像領域に対する前記文字隙間存在領域の割合に基づいてスクロール該当判定をする。したがって、文字を含む画像をスクロールしている場合を、確実に判断することができる。
【００１５】
(7)本発明にかかる矩形動き画像領域決定方法においては、第１矩形動き画像領域決定ステップにて決定した矩形動き画像領域について、第２矩形動き画像領域決定ステップの前に、前記動き列ブロック決定ステップ、前記動き行ブロック決定ステップ、および前記第１矩形動き画像領域決定ステップを繰り返し実行する。したがって、検出する動き画像領域が複数ある場合でも、正確に検出が可能となる。
【００１６】
(8)本発明にかかる矩形動き画像領域決定装置は、行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定装置であって、1)前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックと判断する動き単位ブロック判断手段、2)前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定手段、3)前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定手段、4)前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定手段、5)前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする第２矩形動き画像領域決定手段を備えている。
【００１７】
このように、前記単位ブロック毎に動き単位ブロックか否か判断し、前記動き行ブロックおよび動き列ブロックを決定し、その双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定することにより、動き画像領域を決定することができる。また、その領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とすることにより、より精密な動き画像領域を決定することができる。
【００１８】
(9)本発明にかかる矩形動き画像領域決定装置においては、前記第２矩形動き画像領域決定手段は、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の行方向については、各行の代表画素値が異なる行を、列方向については各列の代表画素値が異なる列を、前記矩形動き画像領域の境界として決定する。したがって、行毎の代表画素値に基づいて境界を決定することができる。
【００１９】
(10)本発明にかかる矩形動き画像領域決定装置においては、前記第２矩形動き画像領域決定手段は、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、異なるフレーム間で動きが存在する動き画素か否かを判断して、前記矩形動き画像領域の境界を決定する。したがって、各画素の動きベクトルに基づいて境界を決定することができる。
【００２０】
(11)本発明にかかる矩形動き画像領域決定装置においては、前記第２矩形動き画像領域決定手段は、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、行方向および列方向エッジを構成する画素を抽出し、各行についての行方向の総数、各列について列方向エッジを構成する画素の総数に基づき前記矩形動き画像領域の境界を決定する。したがって行方向エッジおよび列方向エッジに基づいて境界を決定することができる。
【００２１】
(12)本発明にかかる矩形動き画像領域決定装置は、前記第１矩形動き画像領域決定手段が決定した矩形動き画像領域について、前記動き列ブロック決定手段、前記動き行ブロック決定手段、および前記矩形動き画像領域決定手段による処理を繰り返し実行させる繰り返し手段、を備えている。したがって、検出する動き画像領域が複数ある場合でも、正確に検出が可能となる。
【００２２】
(17)本発明にかかる矩形動き画像領域決定方法は、行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定方法であって、前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが動きが存在する動き単位ブロックと判断する動き単位ブロック判断ステップ、前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定ステップ、前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定ステップ、前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ、を備えている。
【００２３】
このように、前記単位ブロック毎に動き単位ブロックか否か判断し、前記動き行ブロックおよび動き列ブロックを決定し、その双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定することにより、動き画像領域を決定することができる。
【００２４】
(18)本発明にかかる矩形動き画像領域決定方法は、前記第１矩形動き画像領域決定ステップでは、決定した矩形領域について、さらに、前記動き列ブロック決定ステップ、および前記動き行ブロック決定ステップ、繰り返し実行する。したがって、検出する動き画像領域が複数ある場合でも、正確に検出が可能となる。
【００２５】
(19)本発明にかかるスクロール領域判定装置は、画面内の判定対象領域がスクロール領域か否かを判定するスクロール領域判定装置であって、前記判定対象領域の各画素について、周辺画素との画素値の差に基づいて、エッジであるか否かを判断するエッジ画素判断手段、同一行または同一列に、前記エッジではない画素が所定数以上存在する行または列を文字隙間存在領域として判断する文字隙間存在領域判断手段、前記判定対象領域に対する前記文字隙間存在領域の割合に基づいてスクロール領域か否かを判断するスクロール領域判断手段、を備えている。
【００２６】
したがって、文字を含む画像をスクロールしている場合を、確実に判断することができる。
【００２７】
(20)本発明にかかる境界決定装置は、１画面に存在する矩形領域の境界を決定する境界決定装置であって、判定対象画素における各画素の画素値に基づいて、エッジを構成する画素を判断するエッジ画素判断手段、行方向エッジを構成する画素を行方向エッジ画素として抽出し、前記行方向エッジの総数を各行について演算し、各行の前記行方向エッジの総数に基づいて、行方向の境界を決定する行方向境界決定手段、列方向エッジを構成する画素を列方向エッジ画素として抽出し、前記列方向エッジの総数を各列について演算し、各列の前記列方向エッジの総数に基づいて、列方向の境界を決定する列方向境界決定手段、前記決定した行方向境界および前記列方向境界を、前記矩形領域の境界として決定する矩形領域決定手段、を備えている。
【００２８】
したがって行方向エッジおよび列方向エッジに基づいて境界を決定することができる
(21)本発明にかかる境界決定装置は、前記エッジ画素判断手段が判定対象とする画素を決定する手段であって、以下の手段を有する荒領域決定手段を備えている。
【００２９】
1)行方向および列方向に画素が行列配置された表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが動きが存在する動き単位ブロックと判断する動き単位ブロック判断手段、
2)前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定手段、
3)前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定手段、
4)前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定手段、
5)前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックに属する画素を判定対象として決定する対象画素決定手段。
【００３０】
したがって、より迅速に境界判断が可能である。
【００３１】
なお、本明細書において「画素値」とは輝度値はもちろん、ＲＧＢ値など画像情報を特定する為の数値は全て含む。また、「矩形動き画像領域」とは、複数のフレーム間で画素値が異なり、動き画像領域を構成する矩形領域をいう。
【００３２】
「列ブロック」とは、単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合をいう。本実施形態においては、最上段に位置する１の単位ブロックを特定して、列ブロックを決定したが、結果的に当該最上段に位置する１の単位ブロックを含むのであれば、最上段以外の行から特定するようにしてもよい。「行ブロック」とは、前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合をいう。結果的に当該左端段に位置する１の単位ブロックを含むのであれば、特定の仕方は問わない。
【００３３】
「第１矩形動き画像領域決定ステップ」、「第２矩形動き画像領域決定ステップ」は、実施形態では、動き画像領域決定処理(図３ステップＳ７）、境界決定処理(図３ステップＳ９）がそれぞれ該当する。
【００３４】
また「列方向」とは各行が配置されている方向をいい、実施形態では、α方向をいう。「行方向エッジ」とは行方向に平行な方向にエッジをいい、「列方向エッジ」とは列方向に平行な方向にエッジをいう。
【図面の簡単な説明】
【００３５】
【図１】矩形動き画像領域決定装置１の機能ブロック図である。
【図２】矩形動き画像領域決定装置１を、ＣＰＵを用いて構成した場合のハード構成の一例である。
【図３】全体のフローチャートである。
【図４】動き画像領域１１０〜１１２が存在する表示領域１００を示す。
【図５】動きブロック決定処理のフローチャートである。
【図６】動きブロックを検出した結果を示す図である。
【図７】動き画像領域決定処理のフローチャートである。
【図８】動き列ブロックを示す図である。
【図９】動き画像領域決定処理のフローチャート(続き)である。
【図１０】動き行ブロックを示す図である。
【図１１】動き画像領域１４０を示す図である。
【図１２】境界決定処理のフローチャートである。
【図１３】1単位ブロック内の３２＊３２画素を示す図である。
【図１４】多数の動き画像領域が存在する表示領域２００を示す。
【図１５】検出された動き画像領域３０１〜３０４を示す。
【図１６】動き画像領域３０１から検出される動き画像領域３１１、３１２を示す。
【図１７】境界決定処理のフローチャートである。
【図１８】エッジ画素判断に用いるフィルタと演算式である。
【図１９】時間軸方向の履歴による境界判断の説明の為の動画例である。
【図２０】スクロール判定処理のフローチャートである。
【発明を実施するための形態】
【００３６】
以下、本発明における実施形態について、図面を参照して説明する。
【００３７】
（１．１ 機能ブロック）
図１に、本発明の１実施形態にかかる矩形動き画像領域決定装置１の機能ブロック図を示す。矩形動き画像領域決定装置１は、行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する装置であって、動き単位ブロック判断手段５、動き列ブロック決定手段７、動き行ブロック決定手段９、第１矩形動き画像領域決定手段１１、繰り返し手段１３、第２矩形動き画像領域決定手段１４を備えている。
【００３８】
動き単位ブロック判断手段５は、前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが動きが存在する動き単位ブロックと判断する。動き列ブロック決定手段７は、前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する。動き行ブロック決定手段９は、前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する。第１矩形動き画像領域決定手段１１は、前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する。繰り返し手段１３は、第１矩形動き画像領域決定手段１１が決定した矩形動き画像領域について、動き列ブロック決定手段７、動き行ブロック決定手段９、および矩形動き画像領域決定手段１１による処理を繰り返し実行させる。第２矩形動き画像領域決定手段１４は、前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする。
【００３９】
（１．２ ハードウェア構成）
図２に矩形動き画像領域決定装置１のハードウェア構成を示す。矩形動き画像領域決定装置１は、ＣＰＵ２３、ＲＡＭ２５、フラッシュメモリ２６を備えている。フラッシュメモリ２６には、プログラム２６ｐが記憶されている。プログラム２６ｐには、後述するように、矩形動き画像領域決定処理を行う。ＲＡＭ２５は演算結果等を記憶する。フレームメモリ２７は１画面の画像データを保持する。
【００４０】
ＣＰＵ２３は、プログラム２６Ｐに従い、メモリ２７に記憶された表示領域を構成する画素値に基づき、動きの存在する画素で構成された動き画像領域か否かの判断を行い、結果をＲＡＭ２５に記憶する。
【００４１】
（１．３ フローチャートの説明）
図２に示すプログラム２６Pによる処理について図３を用いて説明する。以下では、図４に示すように、モニタの１フレームである画像領域１００に、３つの矩形動き画像領域１００〜１１２が存在する場合を例として説明する。
【００４２】
画像領域１００は、行方向αと列方向βにマトリックス状に画素が配置されている。
【００４３】
ＣＰＵ２３は、ブロック分割を行う（図３ステップＳ１）。本実施形態においては、３２*３２画素を１ブロックとして、図４に示す表示領域１００を複数のブロックにマトリックス状に分割した。以下では、α方向にはn+1個、β方向にはm+1個のブロックに分割されたものとする。
【００４４】
ＣＰＵ２３は全ブロックについて代表値を決定する(図３ステップＳ３）。代表値としては、１ブロック内の画素値の平均値、先頭の画素値、さらには当該値をそのまま用いるのではなく、CRCなどのハッシュ値を代表値としてもよい。また、平均値は、32＊32＊8bit画像では、18ビット長で表現可能であるが、上下の10ビットを切り捨てて、真ん中の8ビットのみ使用するというようにしてもよい。これにより、(n+1)*(m+1)個のブロック代表値がＲＡＭ２５に記憶される。
【００４５】
ＣＰＵ２３は、(n+1)*(m+1)個のブロックのうち、動きブロックを決定する(ステップＳ５)。動きブロック決定処理について図５を用いて説明する。
【００４６】
ＣＰＵ２３は処理ブロック番号i,jを初期化する(図５ステップＳ１１、Ｓ１３)。ブロック（0,0）について前フレームの代表値と比較する(ステップＳ１５)。本実施形態においては、時刻tと時刻t-1の代表値を比較した。ＣＰＵ２３は代表値の差分が閾値thbを超えるか否か判断し（ステップＳ１７）、代表値の差分が閾値thbを越える場合は動きブロックと判断する(ステップＳ１９)。一方、代表値の差分が閾値thbを越えない場合は非動きブロックと判断する(ステップＳ２１)。
【００４７】
ＣＰＵ２３は処理ブロック番号jが最終か否か判断する(ステップＳ２３）。この場合、j=0で、最終でないので、処理ブロック番号jをインクリメントし（ステップＳ２５）、ステップＳ１５以下を繰り返す。ステップＳ２３にて、処理ブロック番号jが最終であれば、ステップＳ２７に進み、ＣＰＵ２３は、処理ブロック番号iが最終か否か判断する。この場合、最終でないので、処理ブロック番号iをインクリメントし(ステップＳ２９)、ステップＳ１３以下を繰り返す。ステップＳ２７にて、処理ブロック番号iが最終であれば、処理を終了する。
【００４８】
これにより、図６に示すように(n+1)*(m+1)個のブロックについて、動きブロックが決定される。この例では、ブロック（４,２）、（４,３）、（４,４）・・・が動きブロックとして決定されている。
【００４９】
ＣＰＵ２３は、動き画像領域決定処理を行う(図３ステップＳ７）。動き画像領域決定処理の詳細について、図７，図９を用いて説明する。
【００５０】
ＣＰＵ２３は、処理ブロック番号jを初期化する(図７ステップＳ３１）。ＣＰＵ２３は、ブロック(0,0)が属する列のブロックに動きブロックが少なくとも１つ存在するか否か判断する(ステップＳ３３)。この場合、図６に示すように、ブロック(0,0)およびその縦方向のブロック（1,0)〜（m,0）には、動きブロックが存在しないので、かかる列は、非動き列と判断する(図７ステップＳ３７)。ＣＰＵ２３は、加算記憶された仮動き列があるかどうか判断する(ステップＳ３９)。この場合、存在しないので、ステップＳ４６に進み、処理ブロック番号jが最終か否か判断する。この場合、j=0で最終ではないので、処理ブロック番号jをインクリメントし（ステップＳ４７）、ステップＳ３３以下を繰り返す。
【００５１】
処理ブロック番号j=2では、ブロック(0,2)の縦方向のブロックには、動きブロックが存在する。したがって、ＣＰＵ２３は、この列は仮動き列として加算記憶する(ステップＳ３５)。
【００５２】
ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。この場合、j=2で最終ではないので、処理ブロック番号jをインクリメントし（ステップＳ４７）、ステップＳ３３以下を繰り返す。
【００５３】
処理ブロック番号j=8まで、ステップＳ３５の処理が繰り返される。処理ブロック番号j=9では、ブロック(0,9)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、加算記憶された仮動き列が存在するか否か判断し(ステップＳ３９)、存在する場合には、隣接するそれらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ４１)。本実施形態においては、閾値thwを２ブロック以上とした。この場合、加算記憶された仮動き列がブロック(0,2)〜(0,8)まで存在するので、前記閾値thwを超えているので、仮動き列を動き列とする（ステップＳ４５）。
【００５４】
ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。
【００５５】
処理ブロック番号j=10では、ブロック(0,10)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、検出済みの仮動き列が存在するか否か判断し(ステップＳ３９)、この場合、存在しないので、ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。
【００５６】
以下、j=n-7まで、非動き列と判断がなされる。処理ブロック番号j=n-6には、動きブロック（m-3,n-6）が存在する。したがって、ＣＰＵ２３は、仮動き列として加算記憶する(ステップＳ３５)。
【００５７】
処理ブロック番号j=n-5では、ブロック(0,n-5)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、検出済みの仮動き列が存在するか否か判断し(ステップＳ３９)、存在する場合には、隣接するそれらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ４１)。本実施形態においては、閾値thwを２ブロック以上としたので、仮動き列の幅が前記閾値thwを超えていないので、仮動き列を非動き列とする（ステップＳ４３）。これにより、マウスなどの画像領域を誤って動き画像領域として認定することを防止することができる。
【００５８】
以下同様にして、行方向αについて、順次動きブロックが存在する列か否かを１列ずつ判断している。
【００５９】
なお、最終列であるブロック(0,n)の列が仮動き列である場合もある。この場合、ステップＳ４９にて、加算記憶された仮動き列が存在するか否か判断し、存在する場合には、ステップＳ４１以下の処理を実行する。
【００６０】
図８に、検出後の動き列を示す。この場合、領域１２１が動き列として決定される。これに対して、動きブロック(6,n-3)，(m-3,n-6)が属する領域１２２，１２３は矢印α方向に、閾値thw以上の幅を有していないので、動き列としては決定されない。
【００６１】
つぎに、ＣＰＵ２３は、処理ブロック番号iを初期化する(図９ステップＳ５１）。ＣＰＵ２３は、ブロック(0,0)の行に動きブロックが少なくとも１つ存在するか否か判断する(ステップＳ５３)。この場合、図６に示すように、ブロック(0,0)およびその横方向のブロック（0,1)〜（0,n）には、動きブロックが存在しないので、かかる行は、非動き行と判断する(ステップＳ５７)。ＣＰＵ２３は、加算記憶された動き行があるかどうか判断する(ステップＳ５９）。この場合、検出済みの動き行が存在しないので、ステップＳ６６に進み、処理ブロック番号iが最終か否か判断する。この場合、i=0で、最終ではないので、処理ブロック番号iをインクリメントし（ステップＳ６８）、ステップＳ５３以下を繰り返す。
【００６２】
処理ブロック番号i=4では、ブロック(4,0)の行には、動きブロックが存在する。したがって、ＣＰＵ２３は、この行を仮動き行として加算記憶する(ステップＳ５５)。
【００６３】
以下同様にして、i=8まで、ブロック(i,0)の行には動きブロックが存在する動き行であるとの判断がなされる。i=9にて、ブロック(i,0)の行には動きブロックが存在しないので、当該行は非動き行であると判断される(ステップＳ５７)。ＣＰＵ２３は、加算記憶された動き行があるか否か判断する(ステップＳ５９)。この場合、加算記憶された動き行があるので、それらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ６１)。本実施形態においては、閾値thwを２ブロック以上とした。この場合、検出済みの動き行がブロック(4,0)〜(8,0)まで存在するので、前記閾値thwを超えているので、仮動き行を動き行とする（ステップＳ６５）。
【００６４】
以下同様にして、列方向βについて、順次動きブロックが存在する列か否かを１行ずつ判断する。ステップＳ６９の意義については、ステップＳ４９と同じであるので説明は省略する。
【００６５】
図１０に検出後の動き行を示す。この場合、領域１３１が動き行として決定される。動きブロック(6,n-3)は、領域１３１に属している。これに対して、動きブロック(m-3,n-6)が属する領域１３２は、矢印β方向に閾値thw以上の幅を有していないので、動き行としては決定されない。
【００６６】
ＣＰＵ２３は、動き列と動き行の双方に属するブロックを動き画像領域として決定する(図９ステップＳ７０)。この場合、図１１に示す領域１２１と領域１３１の重複する領域１４０に属するブロックが動き画像領域として決定される。図６の動きブロックと比較すると、動きブロック(6,n-3)，(m-3,n-6)が排除される一方、ブロック(4,5）などが動き画像領域として決定されている。このようにして取りこぼしを周辺ブロックとの関係で防ぐことができる。
【００６７】
ＣＰＵ２３は、境界決定処理を行う(図３ステップＳ９)。図１１に示す領域１４０については、３２＊３２画素で構成されたブロックにおける動き画像領域の境界が得られている。ステップＳ９の処理により、図１３に示すように、１画素単位での動き画像領域の境界１５０を得ることができる。ステップＳ９の詳細について図１２を用いて説明する。
【００６８】
ＣＰＵ２３は、上側ブロックを抽出する(図１２ステップＳ８０)。この場合、図１３に示すブロック(4,2)〜(4,8)の計７つのブロックが抽出される。ＣＰＵ２３は、処理行番号Pを初期化し(ステップＳ８１）、抽出したブロックのP行目の画素を全て抽出するとともに、その代表値を演算する(ステップＳ８３)。この場合、ブロック(4,2)の０行目の３２画素、ブロック(4,3)の０行目の３２画素・・・と７*３２画素が抽出され、その代表値が演算される。本実施形態においては、代表値は抽出した画素の平均値とした。
【００６９】
つぎにＣＰＵ２３は、抽出したブロックの処理行番号P+1行目の画素を全て抽出するとともに、その代表値を演算する(ステップＳ８５)。この場合、ブロック(4,2)の１行目の３２画素、ブロック(4,3)の１行目の３２画素・・・と７*３２画素が抽出され、その代表値が演算される。
【００７０】
ＣＰＵ２３は、ステップＳ８３で求めた代表値とステップＳ８５で求めた代表値が異なるか否か判断する(ステップＳ８７）。ステップＳ８７にて両者が異なる場合には、画素（P,0)の行が境界であると判断する(ステップＳ９３）。ステップＳ８７にて両者が異ならない場合には、処理行番号Pをインクリメントし(ステップＳ８９）、抽出ブロックの最終画素（この場合、32画素）となるまでステップＳ８３以下を繰り返す(ステップＳ９１）。最終画素でもステップＳ８７にて両者が異ならない場合は、抽出したブロックの端部が境界であると判断する(ステップＳ９５)。
【００７１】
図１２においては、上部のブロックにおける１画素単位の境界を抽出する場合について説明したが、下部のブロックについても同様である。
【００７２】
このように、外周のブロックについて、上部、下部であれば横方向に１行分画素を抽出して、その代表値を隣接する行と比較することにより、ブロック内における1画素単位の境界を取得することができる。
【００７３】
なお、左右の境界については、縦方向に１列分画素を抽出して、その代表値を隣接する列と比較すればよい。
【００７４】
本装置においては、動き画像領域を自動的に検出することができる。また、その判断も数フレームで検出可能である。したがって、モニタ上で動画領域自体が動的に変動する場合であっても、ほぼリアルタイムで動画領域を検出できる。
【００７５】
（２.第２の実施形態）
上記実施形態では、検出対象が１つの場合を例として説明した。第２実施形態では、決定した動き画像領域についてさらに、図３ステップＳ７の処理を繰り返すことにより、図１４に示すような動き画像領域２０１〜２０７が複数存在する場合でも、動き画像領域を検出することができる。
【００７６】
図３ステップＳ７の処理を一度行うと、図１５に示すような、動き画像領域３０１〜３０４が決定される。領域２０７については閾値thw以上の幅を有しないとして動き画像領域としては検出されない。
【００７７】
この状態では、動き領域３０１には、本来、動き画像領域でない領域も含まれている。かかる場合があるので、ＣＰＵ２３は、領域３０１〜３０４をそれぞれ全体の画像領域とみなして、再度、動き画像領域の検出を行う。これにより、例えば、領域３０１の場合、ブロック座標（y1,x1）(y3,x11)で定義される領域３１１と、ブロック座標（y1,x12）(y3,x13)で定義される領域３１２が検出される。他の領域３０２〜３０４についても同様である。
【００７８】
領域３１１については、同様にして領域３１１を全体の画像領域とみなして再度、動き画像領域の検出を行う。これにより、ブロック座標（y1,x1）(y11,x11)で定義される領域が検出される。領域３１２についても同様である。
【００７９】
かかる繰り返し検出は、それ以上分割できなくなるまで行ってもよいし、予め繰り返し検出の上限回数を決めておいてもよい。
【００８０】
（３.第３の実施形態）
第１，第２の実施形態においては、ブロック単位で検出した後、外周の四辺を構成する単位ブロックについて、行方向であれば各行について代表値を求めて、隣接する行と異なる場合に、境界であると判断している。列方向についても同様である。かかる検出については、以下のように境界判断をすることもできる。図１７を用いて説明する。
【００８１】
ＣＰＵ２３は、上側ブロックのうち端部を除いたブロックを抽出する(図１７ステップＳ１００)。この場合、図１３に示すブロック(4,3)〜(4,7)の計５つのブロックが抽出される。このように端部を除くのは、両端部のブロックには一部エッジがない可能性があるからである。ただし、かかる端部ブロックについても採用するようにしてもよい。
【００８２】
ＣＰＵ２３は、処理行番号r、処理画素番号gを初期化し(図１７ステップＳ１０１、Ｓ１０２)、行番号”０”の抽出したブロックのg番目の画素が横エッジ画素（行方向エッジ）であるか否か判断する（ステップＳ１０３）。横エッジ画素か否かについては隣接する画素との輝度差に基づいて決定すればよい。本実施形態においては、図１８Ａに示すようなフィルタおよび演算式を採用した。
【００８３】
ＣＰＵ２３は、Ｐ番目の画素が横エッジ画素であると判断すると、総数Etをインクリメントする(図１７ステップＳ１０５)。ＣＰＵ２３は１ライン全て終了したか否か判断し(ステップＳ１０７)、終了していなければ、処理画素番号gをインクリメントし(ステップＳ１０９)、ステップＳ１０３?ステップＳ１０７を繰り返す。
【００８４】
ＣＰＵ２３は、１ラインの全画素について、横エッジか否か判断すると、そのラインにおける横エッジの総数Etがあらかじめ設定した閾値thsより大きいか否か判断する(ステップＳ１１１)。これは、動画領域内にも、輪郭として横エッジの画素は存在するので、それを排除するためである。ＣＰＵ２３は横エッジの総数Etが閾値thsより大きい場合には、それを境界とする(ステップＳ１１３)。これにより、横エッジの集合が閾値thsを超える境界を得ることができる。
【００８５】
なお、閾値thsは固定閾値でもよいし、また、あらかじめ比率を設定しておき、検出した領域の大きさ（ブロック数）に応じて、計算するようにしてもよい。
【００８６】
ＣＰＵ２３は、ステップＳ１１１にて、”NO"の場合は、全行終了したか否か判断する(ステップＳ１１３）。全行終了していなければ、ＣＰＵ２３は処理行番号rをインクリメントと、ステップＳ１０２〜ステップＳ１１１を繰り返す。
【００８７】
このようにして、１画素単位で、境界を判断することができる。下部のブロックにおける１画素単位の境界についても同様である。
【００８８】
左右の境界については、最右段および最左段に位置する単位ブロックについて、同様に、図１８Bに示すフィルタおよび演算式を用いて、縦エッジ（列方向エッジ）を検出すればよい。
【００８９】
本実施形態においては、縦エッジおよび横エッジの総数で境界判断を行っている。したがって、乱雑な背景上の動画領域であっても検出が可能である。また、検出精度向上、動画領域の揺れが低減する。
【００９０】
本実施形態においては、境界を求める場合に、図１１で求めたブロックのうち、端部を除いた全ブロックの画素を採用したが、さらにその一部で判断するようにしてもよい。
【００９１】
本実施形態においては、閾値thsとの比較は１ラインの総計としたが、エッジ画素が所定数以上連続する場合に、境界であると判断するようにしてもよい。さらに、自然画においてもエッジ画像が存在する場合もある。したがって、一定数以上連続していないエッジについては、総数の計算から除去するようにしてもよい。
【００９２】
本実施形態においては、前記矩形領域を決定し、その外周にあたるブロックについての１画素単位の境界を求める場合について適用したが、動き推定一般、さらに他の分野にも適用可能である。また、１画素単位でなく複数画素単位（例えば２*２画素単位）の境界を求めるようにしてもよい。
【００９３】
本実施形態においては、エッジ画素を抽出して境界を決定するようにしたが、対象のブロック内の各画素について、異なるフレーム間で動きベクトルがある画素か否か判断し、動きベクトルが検出できる画素と、検出できない画素の境目が境界であると判断するようにしてもよい。
【００９４】
なお、特定のフレームでは、動画領域と背景との間に輝度差がほとんどない場合もある。たとえば、図１９Ａに示すフレームtでは、背景と動画領域との境界部分に輝度差がほとんどない。このようなフレームで１のフレームだけでは境界検出ができないおそれがある。そこで、各フレームの境界を順次記憶しておき、あるフレームでは境界を検出できない場合、蓄積してる境界を採用するようにしてもよい。本実施形態においては、蓄積するフレーム数としては、十数フレーム分とした。
【００９５】
本実施形態においては、あらかじめ、複数画素で構成されたブロック単位での検出（以下、荒処理という）を行う場合について説明したが、かかる処理なしに矩形の境界を判定することもできる。
【００９６】
さらに、複数のフレームではなく、静止画における矩形の境界決定装置として適用可能である。
【００９７】
（４.第４の実施形態）
上記で説明したフレーム間の画素情報に基づいて動画領域か否か判断すると、特定の矩形領域でテキストデータをスクロールする場合にも、誤って動画領域と判断するおそれがある。以下に示すように、スクロール判定を行い、スクロール処理である場合には、境界判断をしないようにしてもよい。
【００９８】
テキストデータについては、横書きの場合、文字と文字の間に行間が存在する。すなわち、１ラインごとに見ていくと、文字が記載される領域にはエッジ画素が多数存在し、行間になると全くエッジ画素が存在しないという特質を有する。したがって、かかる特質が存在するかで、動画領域か否かを区別することができる。
【００９９】
ＣＰＵ２３は、対象行番号Qおよび合致行数kを初期化し(図２０ステップＳ１２１)、抽出したブロックのQ行目の総エッジ画素数Enqを計測する（ステップＳ１２３）。エッジ画素か否かについては周りの画素との輝度差に基づいて決定すればよい。
【０１００】
ＣＰＵ２３は、総エッジ画素数Enqが閾値thmよりも大きいとともに、直前の総エッジ画素数En(q-1)が、閾値thnよりも小さいか否か判断する（ステップＳ１２５）。ＣＰＵ２３はステップＳ１２５での判断が”yes”である場合には、合致行数kをインクリメントする（ステップＳ１２７）。
【０１０１】
ＣＰＵ２３は、すべての行について判断済みか否かを判断する（ステップＳ１３１）。すべての行について判断済みでない場合には、ＣＰＵ２３は処理行番号Qをインクリメントし(ステップＳ１３３）、ステップＳ１２３?ステップＳ１２７を繰り返す。
【０１０２】
ＣＰＵ２３は、ステップＳ１３１にてすべての行について判断済みと判断すると、前記合致行数kが閾値thgよりも大きいか判断する（ステップＳ１３５）。合致行数kが閾値thgよりも大きい場合には、スクロールによる動きであると判断する（ステップＳ１３７）。
【０１０３】
かかるスクロール判定は、図３ステップＳ７とステップＳ９の間で行い、スクロール判定であると判断した場合には、ステップＳ９の処理を行わないようにすればよい。
【０１０４】
これにより、ブラウザ内の文字をスクロールして動かす場合に、その領域が動画と判定されることを防ぐことができる。
【０１０５】
なお、前記スクロール判定は、当該領域における全行でなく、一部の行で判断してもよい。
【０１０６】
本実施形態においては、テキストデータが横書きの場合について説明したが、縦書きであっても同様に判定可能である。なお、スクロール判定はこのやり方に限定されず、周知のスクロール判定であってもよい。
【０１０７】
また、動画領域判断におけるスクロール判定に適用した場合について説明したが、スクロール判定一般に適用可能である。
【０１０８】
また、スクロールでなくとも、特定領域がテキスト領域であるか否かが判定できる。この特定領域は動画領域検出による動画領域に限らず静止画・動画を問わず画像内の特定の領域であってもよい。
【０１０９】
（５.他の実施形態）
本実施形態においては、画素値として輝度値を採用したが、ＲＧＢの値などであってもよい。
【０１１０】
本実施形態においては、図５ステップＳ１５において、第ｔフレームと第ｔ+1フレームで動き画像領域を構成するブロックか否かを判断するようにしたが、時間的なズレがある複数のフレームであればこれに限定されず、例えば、第ｔフレームと第ｔ+2フレーム間で動きがあるかを判断するようにしてもよい。また、２つのフレームで比較するのでなく、さらに前後フレームを加えて、例えば、１６フレームを採用してもよい。
【０１１１】
本実施形態においては、図３ステップＳ９の境界線決定処理は任意であり、画素単位の境界線が不要な場合には行わなくてもよい。また，境界線決定処理においては、外周に位置する全ブロックについて１行全てまたは１列全ての画素値を全て用いたが、一部間引き処理、または代表値を採用することもできる。また、全てのブロックではなく、一部のブロックで判断するようにしてもよい。
【０１１２】
また、図５ステップＳ１５のように、過去の同位置の代表値を保持しておき比較するようにしてもよい。
【０１１３】
本実施形態においては、１ブロックを３２＊３２画素で構成したが、これに限定されない。
【０１１４】
画素の平均値やハッシュ値でなく、いずれかの画素の値それ自体（例えば当該ブロックの左上隅の画素値）を用いる場合、図３ステップＳ９の処理としては、その外周に１ブロック分、配置して、境界を求めるようにしてもよい。例えば、ステップＳ７の処理にて、７＊５個のブロックを動き画像領域として検出した場合、その周りに１ブロック追加した９＊７個のブロックで、ステップＳ９の処理を行う。
【０１１５】
本実施形態にかかる矩形動き画像領域決定装置を含むモニタまたはセットトップボックスとして構成することもできる。またこのセットトップボックスは、入力データの出力先モニタを切り替えるための切り替えハブとして構成してもよい。
【０１１６】
上記各実施形態においては、１画素精度の矩形動き画像領域の検出ができる。さらに、複数の矩形動き画像領域の判別も可能である。また、幅の小さな小領域動きの除去ができる。たとえばマウスポインタなど擬似動きの対策が可能である。また、画像内の動き領域、静止領域に対して、これらを区別できるので、最適な制御が可能である。
【０１１７】
上記実施形態においては、動き単位ブロックか否かの判断について、前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックに属する前記所定数の画素の画素値に基づいて、各単位ブロックの代表画素値を演算し、前記各単位ブロックについて、比較対象のフレームの同じ位置の単位ブロックの代表値と比較し、前記代表値が閾値を超える場合には、動きが存在する動き単位ブロックと判断するようにした。しかし、これに限定されず、各単位ブロックが動きが存在する動き単位ブロックか否かを判断できる手法を採用してもよい。たとえば、既に説明したように、所定数のフレームの同一ブロックの代表値を加算したもの同士の比較など、周知の動き単位ブロック判断ステップの採用が可能である。
【０１１８】
上記実施形態においては、図１に示す機能を実現するために、ＣＰＵ２３を用い、ソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路などのハードウェアによって実現してもよい。なお、プログラムの一部の処理を、オペレーティングシステム（ＯＳ）にさせるようにしてもよい。
【符号の説明】
【０１１９】
２３ ＣＰＵ
２５ ＲＡＭ
２６ フラッシュメモリ
【技術分野】
【０００１】
この発明は、動き画像領域の判定方法に関し、特に、矩形の動き画像領域判定に関する。
【背景技術】
【０００２】
今日、入力された動画や静止画の信号を高解像度化して出力する技術が注目されている。例えば、表示領域のうち動画領域にのみ、解像度を上げる処理ができれば、粗い入力動画であっても、みやすく表示することができる。
【０００３】
かかる動画領域が固定であれば手動で特定することもできるが、その場合でも、特定処理が煩雑である。まして、前記動画領域が移動する場合、前記手動特定では限界がある。
【０００４】
動画領域の特定については種々の方法が提案されている。例えば、特許文献１には、ブロック単位での動き検出が開示されている。具体的には、前後フレームにおける同一画素の階調値を比較し、階調値が異なる場合には動画素と判断し、ブロック単位で、動画素の画素数割合を求め、これが閾値よりも大きい場合には、そのブロックは動画像のブロックと判断するというものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平11-007266号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１に開示された判定方法では、１画素毎の比較をした後、ブロックごとに画素数をカウントするので、１フレームの全画素についての比較が必要であり、実現コストや設計難易度が高くなる。
【０００７】
この発明は、上記問題を解決し、簡易な構成で矩形動き画像領域を判定する判定方法またはその装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
(1)本発明にかかる矩形動き画像領域決定方法は、行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定方法であって、前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断ステップ、 前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定ステップ、前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定ステップ、前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ、前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする第２矩形動き画像領域決定ステップを備えている。
【０００９】
このように、前記単位ブロック毎に動き単位ブロックか否か判断し、前記動き行ブロックおよび動き列ブロックを決定し、その双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定することにより、動き画像領域を決定することができる。また、その領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とすることにより、より精密な動き画像領域を決定することができる。
【００１０】
(2)本発明にかかる矩形動き画像領域決定方法は、前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の行方向については、各行の代表画素値が異なる行を、列方向については各列の代表画素値が異なる列を、前記矩形動き画像領域の境界として決定する。したがって、行毎の代表画素値に基づいて境界を決定することができる。
【００１１】
(3)本発明にかかる矩形動き画像領域決定方法は、前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、異なるフレーム間で動きが存在する動き画素か否かを判断して、前記矩形動き画像領域の境界を決定する。したがって、各画素の動きベクトルに基づいて境界を決定することができる。
【００１２】
(4)本発明にかかる矩形動き画像領域決定方法は、前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、行方向エッジおよび列方向エッジを構成する画素を抽出し、各行についての行方向エッジを構成する画素の総数、各列について列方向エッジを構成する画素の総数に基づき前記矩形動き画像領域の境界を決定する。したがって行方向エッジおよび列方向エッジに基づいて境界を決定することができる。
【００１３】
(5)本発明にかかる矩形動き画像領域決定方法は、前記第２矩形動き画像領域決定ステップの前に、決定した矩形動き画像領域がスクロールによってフレーム間で画像が異なるか否かを判定するスクロール該当判定をする。したがって、スクロールに該当するのかそうでないかを区別することができる。また、スクロールであると判断した場合には、前記第２矩形動き画像領域決定ステップを行わない。したがって、スクロールに該当する場合に迅速な判断が可能となる。
【００１４】
(6)本発明にかかる矩形動き画像領域決定方法においては、前記スクロール該当判定は、決定した矩形動き画像領域の各画素について、周辺画素との画素値の差に基づいて、エッジであるか否かを判断し、前記エッジではない画素が行方向または列方向に所定数以上存在する行または列について、文字隙間存在領域として認識し、前記決定した矩形動き画像領域に対する前記文字隙間存在領域の割合に基づいてスクロール該当判定をする。したがって、文字を含む画像をスクロールしている場合を、確実に判断することができる。
【００１５】
(7)本発明にかかる矩形動き画像領域決定方法においては、第１矩形動き画像領域決定ステップにて決定した矩形動き画像領域について、第２矩形動き画像領域決定ステップの前に、前記動き列ブロック決定ステップ、前記動き行ブロック決定ステップ、および前記第１矩形動き画像領域決定ステップを繰り返し実行する。したがって、検出する動き画像領域が複数ある場合でも、正確に検出が可能となる。
【００１６】
(8)本発明にかかる矩形動き画像領域決定装置は、行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定装置であって、1)前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックと判断する動き単位ブロック判断手段、2)前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定手段、3)前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定手段、4)前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定手段、5)前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする第２矩形動き画像領域決定手段を備えている。
【００１７】
このように、前記単位ブロック毎に動き単位ブロックか否か判断し、前記動き行ブロックおよび動き列ブロックを決定し、その双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定することにより、動き画像領域を決定することができる。また、その領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とすることにより、より精密な動き画像領域を決定することができる。
【００１８】
(9)本発明にかかる矩形動き画像領域決定装置においては、前記第２矩形動き画像領域決定手段は、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の行方向については、各行の代表画素値が異なる行を、列方向については各列の代表画素値が異なる列を、前記矩形動き画像領域の境界として決定する。したがって、行毎の代表画素値に基づいて境界を決定することができる。
【００１９】
(10)本発明にかかる矩形動き画像領域決定装置においては、前記第２矩形動き画像領域決定手段は、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、異なるフレーム間で動きが存在する動き画素か否かを判断して、前記矩形動き画像領域の境界を決定する。したがって、各画素の動きベクトルに基づいて境界を決定することができる。
【００２０】
(11)本発明にかかる矩形動き画像領域決定装置においては、前記第２矩形動き画像領域決定手段は、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、行方向および列方向エッジを構成する画素を抽出し、各行についての行方向の総数、各列について列方向エッジを構成する画素の総数に基づき前記矩形動き画像領域の境界を決定する。したがって行方向エッジおよび列方向エッジに基づいて境界を決定することができる。
【００２１】
(12)本発明にかかる矩形動き画像領域決定装置は、前記第１矩形動き画像領域決定手段が決定した矩形動き画像領域について、前記動き列ブロック決定手段、前記動き行ブロック決定手段、および前記矩形動き画像領域決定手段による処理を繰り返し実行させる繰り返し手段、を備えている。したがって、検出する動き画像領域が複数ある場合でも、正確に検出が可能となる。
【００２２】
(17)本発明にかかる矩形動き画像領域決定方法は、行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定方法であって、前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが動きが存在する動き単位ブロックと判断する動き単位ブロック判断ステップ、前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定ステップ、前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定ステップ、前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ、を備えている。
【００２３】
このように、前記単位ブロック毎に動き単位ブロックか否か判断し、前記動き行ブロックおよび動き列ブロックを決定し、その双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定することにより、動き画像領域を決定することができる。
【００２４】
(18)本発明にかかる矩形動き画像領域決定方法は、前記第１矩形動き画像領域決定ステップでは、決定した矩形領域について、さらに、前記動き列ブロック決定ステップ、および前記動き行ブロック決定ステップ、繰り返し実行する。したがって、検出する動き画像領域が複数ある場合でも、正確に検出が可能となる。
【００２５】
(19)本発明にかかるスクロール領域判定装置は、画面内の判定対象領域がスクロール領域か否かを判定するスクロール領域判定装置であって、前記判定対象領域の各画素について、周辺画素との画素値の差に基づいて、エッジであるか否かを判断するエッジ画素判断手段、同一行または同一列に、前記エッジではない画素が所定数以上存在する行または列を文字隙間存在領域として判断する文字隙間存在領域判断手段、前記判定対象領域に対する前記文字隙間存在領域の割合に基づいてスクロール領域か否かを判断するスクロール領域判断手段、を備えている。
【００２６】
したがって、文字を含む画像をスクロールしている場合を、確実に判断することができる。
【００２７】
(20)本発明にかかる境界決定装置は、１画面に存在する矩形領域の境界を決定する境界決定装置であって、判定対象画素における各画素の画素値に基づいて、エッジを構成する画素を判断するエッジ画素判断手段、行方向エッジを構成する画素を行方向エッジ画素として抽出し、前記行方向エッジの総数を各行について演算し、各行の前記行方向エッジの総数に基づいて、行方向の境界を決定する行方向境界決定手段、列方向エッジを構成する画素を列方向エッジ画素として抽出し、前記列方向エッジの総数を各列について演算し、各列の前記列方向エッジの総数に基づいて、列方向の境界を決定する列方向境界決定手段、前記決定した行方向境界および前記列方向境界を、前記矩形領域の境界として決定する矩形領域決定手段、を備えている。
【００２８】
したがって行方向エッジおよび列方向エッジに基づいて境界を決定することができる
(21)本発明にかかる境界決定装置は、前記エッジ画素判断手段が判定対象とする画素を決定する手段であって、以下の手段を有する荒領域決定手段を備えている。
【００２９】
1)行方向および列方向に画素が行列配置された表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが動きが存在する動き単位ブロックと判断する動き単位ブロック判断手段、
2)前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定手段、
3)前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定手段、
4)前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定手段、
5)前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックに属する画素を判定対象として決定する対象画素決定手段。
【００３０】
したがって、より迅速に境界判断が可能である。
【００３１】
なお、本明細書において「画素値」とは輝度値はもちろん、ＲＧＢ値など画像情報を特定する為の数値は全て含む。また、「矩形動き画像領域」とは、複数のフレーム間で画素値が異なり、動き画像領域を構成する矩形領域をいう。
【００３２】
「列ブロック」とは、単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合をいう。本実施形態においては、最上段に位置する１の単位ブロックを特定して、列ブロックを決定したが、結果的に当該最上段に位置する１の単位ブロックを含むのであれば、最上段以外の行から特定するようにしてもよい。「行ブロック」とは、前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合をいう。結果的に当該左端段に位置する１の単位ブロックを含むのであれば、特定の仕方は問わない。
【００３３】
「第１矩形動き画像領域決定ステップ」、「第２矩形動き画像領域決定ステップ」は、実施形態では、動き画像領域決定処理(図３ステップＳ７）、境界決定処理(図３ステップＳ９）がそれぞれ該当する。
【００３４】
また「列方向」とは各行が配置されている方向をいい、実施形態では、α方向をいう。「行方向エッジ」とは行方向に平行な方向にエッジをいい、「列方向エッジ」とは列方向に平行な方向にエッジをいう。
【図面の簡単な説明】
【００３５】
【図１】矩形動き画像領域決定装置１の機能ブロック図である。
【図２】矩形動き画像領域決定装置１を、ＣＰＵを用いて構成した場合のハード構成の一例である。
【図３】全体のフローチャートである。
【図４】動き画像領域１１０〜１１２が存在する表示領域１００を示す。
【図５】動きブロック決定処理のフローチャートである。
【図６】動きブロックを検出した結果を示す図である。
【図７】動き画像領域決定処理のフローチャートである。
【図８】動き列ブロックを示す図である。
【図９】動き画像領域決定処理のフローチャート(続き)である。
【図１０】動き行ブロックを示す図である。
【図１１】動き画像領域１４０を示す図である。
【図１２】境界決定処理のフローチャートである。
【図１３】1単位ブロック内の３２＊３２画素を示す図である。
【図１４】多数の動き画像領域が存在する表示領域２００を示す。
【図１５】検出された動き画像領域３０１〜３０４を示す。
【図１６】動き画像領域３０１から検出される動き画像領域３１１、３１２を示す。
【図１７】境界決定処理のフローチャートである。
【図１８】エッジ画素判断に用いるフィルタと演算式である。
【図１９】時間軸方向の履歴による境界判断の説明の為の動画例である。
【図２０】スクロール判定処理のフローチャートである。
【発明を実施するための形態】
【００３６】
以下、本発明における実施形態について、図面を参照して説明する。
【００３７】
（１．１ 機能ブロック）
図１に、本発明の１実施形態にかかる矩形動き画像領域決定装置１の機能ブロック図を示す。矩形動き画像領域決定装置１は、行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する装置であって、動き単位ブロック判断手段５、動き列ブロック決定手段７、動き行ブロック決定手段９、第１矩形動き画像領域決定手段１１、繰り返し手段１３、第２矩形動き画像領域決定手段１４を備えている。
【００３８】
動き単位ブロック判断手段５は、前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが動きが存在する動き単位ブロックと判断する。動き列ブロック決定手段７は、前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する。動き行ブロック決定手段９は、前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する。第１矩形動き画像領域決定手段１１は、前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する。繰り返し手段１３は、第１矩形動き画像領域決定手段１１が決定した矩形動き画像領域について、動き列ブロック決定手段７、動き行ブロック決定手段９、および矩形動き画像領域決定手段１１による処理を繰り返し実行させる。第２矩形動き画像領域決定手段１４は、前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする。
【００３９】
（１．２ ハードウェア構成）
図２に矩形動き画像領域決定装置１のハードウェア構成を示す。矩形動き画像領域決定装置１は、ＣＰＵ２３、ＲＡＭ２５、フラッシュメモリ２６を備えている。フラッシュメモリ２６には、プログラム２６ｐが記憶されている。プログラム２６ｐには、後述するように、矩形動き画像領域決定処理を行う。ＲＡＭ２５は演算結果等を記憶する。フレームメモリ２７は１画面の画像データを保持する。
【００４０】
ＣＰＵ２３は、プログラム２６Ｐに従い、メモリ２７に記憶された表示領域を構成する画素値に基づき、動きの存在する画素で構成された動き画像領域か否かの判断を行い、結果をＲＡＭ２５に記憶する。
【００４１】
（１．３ フローチャートの説明）
図２に示すプログラム２６Pによる処理について図３を用いて説明する。以下では、図４に示すように、モニタの１フレームである画像領域１００に、３つの矩形動き画像領域１００〜１１２が存在する場合を例として説明する。
【００４２】
画像領域１００は、行方向αと列方向βにマトリックス状に画素が配置されている。
【００４３】
ＣＰＵ２３は、ブロック分割を行う（図３ステップＳ１）。本実施形態においては、３２*３２画素を１ブロックとして、図４に示す表示領域１００を複数のブロックにマトリックス状に分割した。以下では、α方向にはn+1個、β方向にはm+1個のブロックに分割されたものとする。
【００４４】
ＣＰＵ２３は全ブロックについて代表値を決定する(図３ステップＳ３）。代表値としては、１ブロック内の画素値の平均値、先頭の画素値、さらには当該値をそのまま用いるのではなく、CRCなどのハッシュ値を代表値としてもよい。また、平均値は、32＊32＊8bit画像では、18ビット長で表現可能であるが、上下の10ビットを切り捨てて、真ん中の8ビットのみ使用するというようにしてもよい。これにより、(n+1)*(m+1)個のブロック代表値がＲＡＭ２５に記憶される。
【００４５】
ＣＰＵ２３は、(n+1)*(m+1)個のブロックのうち、動きブロックを決定する(ステップＳ５)。動きブロック決定処理について図５を用いて説明する。
【００４６】
ＣＰＵ２３は処理ブロック番号i,jを初期化する(図５ステップＳ１１、Ｓ１３)。ブロック（0,0）について前フレームの代表値と比較する(ステップＳ１５)。本実施形態においては、時刻tと時刻t-1の代表値を比較した。ＣＰＵ２３は代表値の差分が閾値thbを超えるか否か判断し（ステップＳ１７）、代表値の差分が閾値thbを越える場合は動きブロックと判断する(ステップＳ１９)。一方、代表値の差分が閾値thbを越えない場合は非動きブロックと判断する(ステップＳ２１)。
【００４７】
ＣＰＵ２３は処理ブロック番号jが最終か否か判断する(ステップＳ２３）。この場合、j=0で、最終でないので、処理ブロック番号jをインクリメントし（ステップＳ２５）、ステップＳ１５以下を繰り返す。ステップＳ２３にて、処理ブロック番号jが最終であれば、ステップＳ２７に進み、ＣＰＵ２３は、処理ブロック番号iが最終か否か判断する。この場合、最終でないので、処理ブロック番号iをインクリメントし(ステップＳ２９)、ステップＳ１３以下を繰り返す。ステップＳ２７にて、処理ブロック番号iが最終であれば、処理を終了する。
【００４８】
これにより、図６に示すように(n+1)*(m+1)個のブロックについて、動きブロックが決定される。この例では、ブロック（４,２）、（４,３）、（４,４）・・・が動きブロックとして決定されている。
【００４９】
ＣＰＵ２３は、動き画像領域決定処理を行う(図３ステップＳ７）。動き画像領域決定処理の詳細について、図７，図９を用いて説明する。
【００５０】
ＣＰＵ２３は、処理ブロック番号jを初期化する(図７ステップＳ３１）。ＣＰＵ２３は、ブロック(0,0)が属する列のブロックに動きブロックが少なくとも１つ存在するか否か判断する(ステップＳ３３)。この場合、図６に示すように、ブロック(0,0)およびその縦方向のブロック（1,0)〜（m,0）には、動きブロックが存在しないので、かかる列は、非動き列と判断する(図７ステップＳ３７)。ＣＰＵ２３は、加算記憶された仮動き列があるかどうか判断する(ステップＳ３９)。この場合、存在しないので、ステップＳ４６に進み、処理ブロック番号jが最終か否か判断する。この場合、j=0で最終ではないので、処理ブロック番号jをインクリメントし（ステップＳ４７）、ステップＳ３３以下を繰り返す。
【００５１】
処理ブロック番号j=2では、ブロック(0,2)の縦方向のブロックには、動きブロックが存在する。したがって、ＣＰＵ２３は、この列は仮動き列として加算記憶する(ステップＳ３５)。
【００５２】
ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。この場合、j=2で最終ではないので、処理ブロック番号jをインクリメントし（ステップＳ４７）、ステップＳ３３以下を繰り返す。
【００５３】
処理ブロック番号j=8まで、ステップＳ３５の処理が繰り返される。処理ブロック番号j=9では、ブロック(0,9)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、加算記憶された仮動き列が存在するか否か判断し(ステップＳ３９)、存在する場合には、隣接するそれらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ４１)。本実施形態においては、閾値thwを２ブロック以上とした。この場合、加算記憶された仮動き列がブロック(0,2)〜(0,8)まで存在するので、前記閾値thwを超えているので、仮動き列を動き列とする（ステップＳ４５）。
【００５４】
ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。
【００５５】
処理ブロック番号j=10では、ブロック(0,10)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、検出済みの仮動き列が存在するか否か判断し(ステップＳ３９)、この場合、存在しないので、ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。
【００５６】
以下、j=n-7まで、非動き列と判断がなされる。処理ブロック番号j=n-6には、動きブロック（m-3,n-6）が存在する。したがって、ＣＰＵ２３は、仮動き列として加算記憶する(ステップＳ３５)。
【００５７】
処理ブロック番号j=n-5では、ブロック(0,n-5)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、検出済みの仮動き列が存在するか否か判断し(ステップＳ３９)、存在する場合には、隣接するそれらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ４１)。本実施形態においては、閾値thwを２ブロック以上としたので、仮動き列の幅が前記閾値thwを超えていないので、仮動き列を非動き列とする（ステップＳ４３）。これにより、マウスなどの画像領域を誤って動き画像領域として認定することを防止することができる。
【００５８】
以下同様にして、行方向αについて、順次動きブロックが存在する列か否かを１列ずつ判断している。
【００５９】
なお、最終列であるブロック(0,n)の列が仮動き列である場合もある。この場合、ステップＳ４９にて、加算記憶された仮動き列が存在するか否か判断し、存在する場合には、ステップＳ４１以下の処理を実行する。
【００６０】
図８に、検出後の動き列を示す。この場合、領域１２１が動き列として決定される。これに対して、動きブロック(6,n-3)，(m-3,n-6)が属する領域１２２，１２３は矢印α方向に、閾値thw以上の幅を有していないので、動き列としては決定されない。
【００６１】
つぎに、ＣＰＵ２３は、処理ブロック番号iを初期化する(図９ステップＳ５１）。ＣＰＵ２３は、ブロック(0,0)の行に動きブロックが少なくとも１つ存在するか否か判断する(ステップＳ５３)。この場合、図６に示すように、ブロック(0,0)およびその横方向のブロック（0,1)〜（0,n）には、動きブロックが存在しないので、かかる行は、非動き行と判断する(ステップＳ５７)。ＣＰＵ２３は、加算記憶された動き行があるかどうか判断する(ステップＳ５９）。この場合、検出済みの動き行が存在しないので、ステップＳ６６に進み、処理ブロック番号iが最終か否か判断する。この場合、i=0で、最終ではないので、処理ブロック番号iをインクリメントし（ステップＳ６８）、ステップＳ５３以下を繰り返す。
【００６２】
処理ブロック番号i=4では、ブロック(4,0)の行には、動きブロックが存在する。したがって、ＣＰＵ２３は、この行を仮動き行として加算記憶する(ステップＳ５５)。
【００６３】
以下同様にして、i=8まで、ブロック(i,0)の行には動きブロックが存在する動き行であるとの判断がなされる。i=9にて、ブロック(i,0)の行には動きブロックが存在しないので、当該行は非動き行であると判断される(ステップＳ５７)。ＣＰＵ２３は、加算記憶された動き行があるか否か判断する(ステップＳ５９)。この場合、加算記憶された動き行があるので、それらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ６１)。本実施形態においては、閾値thwを２ブロック以上とした。この場合、検出済みの動き行がブロック(4,0)〜(8,0)まで存在するので、前記閾値thwを超えているので、仮動き行を動き行とする（ステップＳ６５）。
【００６４】
以下同様にして、列方向βについて、順次動きブロックが存在する列か否かを１行ずつ判断する。ステップＳ６９の意義については、ステップＳ４９と同じであるので説明は省略する。
【００６５】
図１０に検出後の動き行を示す。この場合、領域１３１が動き行として決定される。動きブロック(6,n-3)は、領域１３１に属している。これに対して、動きブロック(m-3,n-6)が属する領域１３２は、矢印β方向に閾値thw以上の幅を有していないので、動き行としては決定されない。
【００６６】
ＣＰＵ２３は、動き列と動き行の双方に属するブロックを動き画像領域として決定する(図９ステップＳ７０)。この場合、図１１に示す領域１２１と領域１３１の重複する領域１４０に属するブロックが動き画像領域として決定される。図６の動きブロックと比較すると、動きブロック(6,n-3)，(m-3,n-6)が排除される一方、ブロック(4,5）などが動き画像領域として決定されている。このようにして取りこぼしを周辺ブロックとの関係で防ぐことができる。
【００６７】
ＣＰＵ２３は、境界決定処理を行う(図３ステップＳ９)。図１１に示す領域１４０については、３２＊３２画素で構成されたブロックにおける動き画像領域の境界が得られている。ステップＳ９の処理により、図１３に示すように、１画素単位での動き画像領域の境界１５０を得ることができる。ステップＳ９の詳細について図１２を用いて説明する。
【００６８】
ＣＰＵ２３は、上側ブロックを抽出する(図１２ステップＳ８０)。この場合、図１３に示すブロック(4,2)〜(4,8)の計７つのブロックが抽出される。ＣＰＵ２３は、処理行番号Pを初期化し(ステップＳ８１）、抽出したブロックのP行目の画素を全て抽出するとともに、その代表値を演算する(ステップＳ８３)。この場合、ブロック(4,2)の０行目の３２画素、ブロック(4,3)の０行目の３２画素・・・と７*３２画素が抽出され、その代表値が演算される。本実施形態においては、代表値は抽出した画素の平均値とした。
【００６９】
つぎにＣＰＵ２３は、抽出したブロックの処理行番号P+1行目の画素を全て抽出するとともに、その代表値を演算する(ステップＳ８５)。この場合、ブロック(4,2)の１行目の３２画素、ブロック(4,3)の１行目の３２画素・・・と７*３２画素が抽出され、その代表値が演算される。
【００７０】
ＣＰＵ２３は、ステップＳ８３で求めた代表値とステップＳ８５で求めた代表値が異なるか否か判断する(ステップＳ８７）。ステップＳ８７にて両者が異なる場合には、画素（P,0)の行が境界であると判断する(ステップＳ９３）。ステップＳ８７にて両者が異ならない場合には、処理行番号Pをインクリメントし(ステップＳ８９）、抽出ブロックの最終画素（この場合、32画素）となるまでステップＳ８３以下を繰り返す(ステップＳ９１）。最終画素でもステップＳ８７にて両者が異ならない場合は、抽出したブロックの端部が境界であると判断する(ステップＳ９５)。
【００７１】
図１２においては、上部のブロックにおける１画素単位の境界を抽出する場合について説明したが、下部のブロックについても同様である。
【００７２】
このように、外周のブロックについて、上部、下部であれば横方向に１行分画素を抽出して、その代表値を隣接する行と比較することにより、ブロック内における1画素単位の境界を取得することができる。
【００７３】
なお、左右の境界については、縦方向に１列分画素を抽出して、その代表値を隣接する列と比較すればよい。
【００７４】
本装置においては、動き画像領域を自動的に検出することができる。また、その判断も数フレームで検出可能である。したがって、モニタ上で動画領域自体が動的に変動する場合であっても、ほぼリアルタイムで動画領域を検出できる。
【００７５】
（２.第２の実施形態）
上記実施形態では、検出対象が１つの場合を例として説明した。第２実施形態では、決定した動き画像領域についてさらに、図３ステップＳ７の処理を繰り返すことにより、図１４に示すような動き画像領域２０１〜２０７が複数存在する場合でも、動き画像領域を検出することができる。
【００７６】
図３ステップＳ７の処理を一度行うと、図１５に示すような、動き画像領域３０１〜３０４が決定される。領域２０７については閾値thw以上の幅を有しないとして動き画像領域としては検出されない。
【００７７】
この状態では、動き領域３０１には、本来、動き画像領域でない領域も含まれている。かかる場合があるので、ＣＰＵ２３は、領域３０１〜３０４をそれぞれ全体の画像領域とみなして、再度、動き画像領域の検出を行う。これにより、例えば、領域３０１の場合、ブロック座標（y1,x1）(y3,x11)で定義される領域３１１と、ブロック座標（y1,x12）(y3,x13)で定義される領域３１２が検出される。他の領域３０２〜３０４についても同様である。
【００７８】
領域３１１については、同様にして領域３１１を全体の画像領域とみなして再度、動き画像領域の検出を行う。これにより、ブロック座標（y1,x1）(y11,x11)で定義される領域が検出される。領域３１２についても同様である。
【００７９】
かかる繰り返し検出は、それ以上分割できなくなるまで行ってもよいし、予め繰り返し検出の上限回数を決めておいてもよい。
【００８０】
（３.第３の実施形態）
第１，第２の実施形態においては、ブロック単位で検出した後、外周の四辺を構成する単位ブロックについて、行方向であれば各行について代表値を求めて、隣接する行と異なる場合に、境界であると判断している。列方向についても同様である。かかる検出については、以下のように境界判断をすることもできる。図１７を用いて説明する。
【００８１】
ＣＰＵ２３は、上側ブロックのうち端部を除いたブロックを抽出する(図１７ステップＳ１００)。この場合、図１３に示すブロック(4,3)〜(4,7)の計５つのブロックが抽出される。このように端部を除くのは、両端部のブロックには一部エッジがない可能性があるからである。ただし、かかる端部ブロックについても採用するようにしてもよい。
【００８２】
ＣＰＵ２３は、処理行番号r、処理画素番号gを初期化し(図１７ステップＳ１０１、Ｓ１０２)、行番号”０”の抽出したブロックのg番目の画素が横エッジ画素（行方向エッジ）であるか否か判断する（ステップＳ１０３）。横エッジ画素か否かについては隣接する画素との輝度差に基づいて決定すればよい。本実施形態においては、図１８Ａに示すようなフィルタおよび演算式を採用した。
【００８３】
ＣＰＵ２３は、Ｐ番目の画素が横エッジ画素であると判断すると、総数Etをインクリメントする(図１７ステップＳ１０５)。ＣＰＵ２３は１ライン全て終了したか否か判断し(ステップＳ１０７)、終了していなければ、処理画素番号gをインクリメントし(ステップＳ１０９)、ステップＳ１０３?ステップＳ１０７を繰り返す。
【００８４】
ＣＰＵ２３は、１ラインの全画素について、横エッジか否か判断すると、そのラインにおける横エッジの総数Etがあらかじめ設定した閾値thsより大きいか否か判断する(ステップＳ１１１)。これは、動画領域内にも、輪郭として横エッジの画素は存在するので、それを排除するためである。ＣＰＵ２３は横エッジの総数Etが閾値thsより大きい場合には、それを境界とする(ステップＳ１１３)。これにより、横エッジの集合が閾値thsを超える境界を得ることができる。
【００８５】
なお、閾値thsは固定閾値でもよいし、また、あらかじめ比率を設定しておき、検出した領域の大きさ（ブロック数）に応じて、計算するようにしてもよい。
【００８６】
ＣＰＵ２３は、ステップＳ１１１にて、”NO"の場合は、全行終了したか否か判断する(ステップＳ１１３）。全行終了していなければ、ＣＰＵ２３は処理行番号rをインクリメントと、ステップＳ１０２〜ステップＳ１１１を繰り返す。
【００８７】
このようにして、１画素単位で、境界を判断することができる。下部のブロックにおける１画素単位の境界についても同様である。
【００８８】
左右の境界については、最右段および最左段に位置する単位ブロックについて、同様に、図１８Bに示すフィルタおよび演算式を用いて、縦エッジ（列方向エッジ）を検出すればよい。
【００８９】
本実施形態においては、縦エッジおよび横エッジの総数で境界判断を行っている。したがって、乱雑な背景上の動画領域であっても検出が可能である。また、検出精度向上、動画領域の揺れが低減する。
【００９０】
本実施形態においては、境界を求める場合に、図１１で求めたブロックのうち、端部を除いた全ブロックの画素を採用したが、さらにその一部で判断するようにしてもよい。
【００９１】
本実施形態においては、閾値thsとの比較は１ラインの総計としたが、エッジ画素が所定数以上連続する場合に、境界であると判断するようにしてもよい。さらに、自然画においてもエッジ画像が存在する場合もある。したがって、一定数以上連続していないエッジについては、総数の計算から除去するようにしてもよい。
【００９２】
本実施形態においては、前記矩形領域を決定し、その外周にあたるブロックについての１画素単位の境界を求める場合について適用したが、動き推定一般、さらに他の分野にも適用可能である。また、１画素単位でなく複数画素単位（例えば２*２画素単位）の境界を求めるようにしてもよい。
【００９３】
本実施形態においては、エッジ画素を抽出して境界を決定するようにしたが、対象のブロック内の各画素について、異なるフレーム間で動きベクトルがある画素か否か判断し、動きベクトルが検出できる画素と、検出できない画素の境目が境界であると判断するようにしてもよい。
【００９４】
なお、特定のフレームでは、動画領域と背景との間に輝度差がほとんどない場合もある。たとえば、図１９Ａに示すフレームtでは、背景と動画領域との境界部分に輝度差がほとんどない。このようなフレームで１のフレームだけでは境界検出ができないおそれがある。そこで、各フレームの境界を順次記憶しておき、あるフレームでは境界を検出できない場合、蓄積してる境界を採用するようにしてもよい。本実施形態においては、蓄積するフレーム数としては、十数フレーム分とした。
【００９５】
本実施形態においては、あらかじめ、複数画素で構成されたブロック単位での検出（以下、荒処理という）を行う場合について説明したが、かかる処理なしに矩形の境界を判定することもできる。
【００９６】
さらに、複数のフレームではなく、静止画における矩形の境界決定装置として適用可能である。
【００９７】
（４.第４の実施形態）
上記で説明したフレーム間の画素情報に基づいて動画領域か否か判断すると、特定の矩形領域でテキストデータをスクロールする場合にも、誤って動画領域と判断するおそれがある。以下に示すように、スクロール判定を行い、スクロール処理である場合には、境界判断をしないようにしてもよい。
【００９８】
テキストデータについては、横書きの場合、文字と文字の間に行間が存在する。すなわち、１ラインごとに見ていくと、文字が記載される領域にはエッジ画素が多数存在し、行間になると全くエッジ画素が存在しないという特質を有する。したがって、かかる特質が存在するかで、動画領域か否かを区別することができる。
【００９９】
ＣＰＵ２３は、対象行番号Qおよび合致行数kを初期化し(図２０ステップＳ１２１)、抽出したブロックのQ行目の総エッジ画素数Enqを計測する（ステップＳ１２３）。エッジ画素か否かについては周りの画素との輝度差に基づいて決定すればよい。
【０１００】
ＣＰＵ２３は、総エッジ画素数Enqが閾値thmよりも大きいとともに、直前の総エッジ画素数En(q-1)が、閾値thnよりも小さいか否か判断する（ステップＳ１２５）。ＣＰＵ２３はステップＳ１２５での判断が”yes”である場合には、合致行数kをインクリメントする（ステップＳ１２７）。
【０１０１】
ＣＰＵ２３は、すべての行について判断済みか否かを判断する（ステップＳ１３１）。すべての行について判断済みでない場合には、ＣＰＵ２３は処理行番号Qをインクリメントし(ステップＳ１３３）、ステップＳ１２３?ステップＳ１２７を繰り返す。
【０１０２】
ＣＰＵ２３は、ステップＳ１３１にてすべての行について判断済みと判断すると、前記合致行数kが閾値thgよりも大きいか判断する（ステップＳ１３５）。合致行数kが閾値thgよりも大きい場合には、スクロールによる動きであると判断する（ステップＳ１３７）。
【０１０３】
かかるスクロール判定は、図３ステップＳ７とステップＳ９の間で行い、スクロール判定であると判断した場合には、ステップＳ９の処理を行わないようにすればよい。
【０１０４】
これにより、ブラウザ内の文字をスクロールして動かす場合に、その領域が動画と判定されることを防ぐことができる。
【０１０５】
なお、前記スクロール判定は、当該領域における全行でなく、一部の行で判断してもよい。
【０１０６】
本実施形態においては、テキストデータが横書きの場合について説明したが、縦書きであっても同様に判定可能である。なお、スクロール判定はこのやり方に限定されず、周知のスクロール判定であってもよい。
【０１０７】
また、動画領域判断におけるスクロール判定に適用した場合について説明したが、スクロール判定一般に適用可能である。
【０１０８】
また、スクロールでなくとも、特定領域がテキスト領域であるか否かが判定できる。この特定領域は動画領域検出による動画領域に限らず静止画・動画を問わず画像内の特定の領域であってもよい。
【０１０９】
（５.他の実施形態）
本実施形態においては、画素値として輝度値を採用したが、ＲＧＢの値などであってもよい。
【０１１０】
本実施形態においては、図５ステップＳ１５において、第ｔフレームと第ｔ+1フレームで動き画像領域を構成するブロックか否かを判断するようにしたが、時間的なズレがある複数のフレームであればこれに限定されず、例えば、第ｔフレームと第ｔ+2フレーム間で動きがあるかを判断するようにしてもよい。また、２つのフレームで比較するのでなく、さらに前後フレームを加えて、例えば、１６フレームを採用してもよい。
【０１１１】
本実施形態においては、図３ステップＳ９の境界線決定処理は任意であり、画素単位の境界線が不要な場合には行わなくてもよい。また，境界線決定処理においては、外周に位置する全ブロックについて１行全てまたは１列全ての画素値を全て用いたが、一部間引き処理、または代表値を採用することもできる。また、全てのブロックではなく、一部のブロックで判断するようにしてもよい。
【０１１２】
また、図５ステップＳ１５のように、過去の同位置の代表値を保持しておき比較するようにしてもよい。
【０１１３】
本実施形態においては、１ブロックを３２＊３２画素で構成したが、これに限定されない。
【０１１４】
画素の平均値やハッシュ値でなく、いずれかの画素の値それ自体（例えば当該ブロックの左上隅の画素値）を用いる場合、図３ステップＳ９の処理としては、その外周に１ブロック分、配置して、境界を求めるようにしてもよい。例えば、ステップＳ７の処理にて、７＊５個のブロックを動き画像領域として検出した場合、その周りに１ブロック追加した９＊７個のブロックで、ステップＳ９の処理を行う。
【０１１５】
本実施形態にかかる矩形動き画像領域決定装置を含むモニタまたはセットトップボックスとして構成することもできる。またこのセットトップボックスは、入力データの出力先モニタを切り替えるための切り替えハブとして構成してもよい。
【０１１６】
上記各実施形態においては、１画素精度の矩形動き画像領域の検出ができる。さらに、複数の矩形動き画像領域の判別も可能である。また、幅の小さな小領域動きの除去ができる。たとえばマウスポインタなど擬似動きの対策が可能である。また、画像内の動き領域、静止領域に対して、これらを区別できるので、最適な制御が可能である。
【０１１７】
上記実施形態においては、動き単位ブロックか否かの判断について、前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックに属する前記所定数の画素の画素値に基づいて、各単位ブロックの代表画素値を演算し、前記各単位ブロックについて、比較対象のフレームの同じ位置の単位ブロックの代表値と比較し、前記代表値が閾値を超える場合には、動きが存在する動き単位ブロックと判断するようにした。しかし、これに限定されず、各単位ブロックが動きが存在する動き単位ブロックか否かを判断できる手法を採用してもよい。たとえば、既に説明したように、所定数のフレームの同一ブロックの代表値を加算したもの同士の比較など、周知の動き単位ブロック判断ステップの採用が可能である。
【０１１８】
上記実施形態においては、図１に示す機能を実現するために、ＣＰＵ２３を用い、ソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路などのハードウェアによって実現してもよい。なお、プログラムの一部の処理を、オペレーティングシステム（ＯＳ）にさせるようにしてもよい。
【符号の説明】
【０１１９】
２３ ＣＰＵ
２５ ＲＡＭ
２６ フラッシュメモリ
【特許請求の範囲】
【請求項１】
行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定方法であって、
前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断ステップ、
前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定ステップ、
前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定ステップ、
前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ、
前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする第２矩形動き画像領域決定ステップ、
を備えた矩形動き画像領域決定方法。
【請求項２】
請求項１の矩形動き画像領域決定方法において、
前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の行方向については、各行の代表画素値が異なる行を、列方向については各列の代表画素値が異なる列を、前記矩形動き画像領域の境界として決定すること、
を特徴とする矩形動き画像領域決定方法。
【請求項３】
請求項１の矩形動き画像領域決定方法において、
前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、異なるフレーム間で動きが存在する動き画素か否かを判断して、前記矩形動き画像領域の境界を決定すること、
を特徴とする矩形動き画像領域決定方法。
【請求項４】
請求項１の矩形動き画像領域決定方法において、
前記第２矩形動き画像領域決定ステップでは、
前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、行方向エッジおよび列方向エッジを構成する画素を抽出し、各行についての行方向エッジを構成する画素の総数、各列について列方向エッジを構成する画素の総数に基づき前記矩形動き画像領域の境界を決定すること、
を特徴とする矩形動き画像領域決定方法。
【請求項５】
請求項１〜４のいずれかの矩形動き画像領域決定方法において、
前記第２矩形動き画像領域決定ステップの前に、決定した矩形動き画像領域がスクロールによってフレーム間で画像が異なるか否かを判定するスクロール該当判定をし、スクロールであると判断した場合には、前記第２矩形動き画像領域決定ステップを行わないこと、
を特徴とする矩形動き画像領域決定方法。
【請求項６】
請求項５の矩形動き画像領域決定方法において、
前記スクロール該当判定は、
決定した矩形動き画像領域の各画素について、周辺画素との画素値の差に基づいて、エッジであるか否かを判断し、
前記エッジではない画素が行方向または列方向に所定数以上存在する行または列について、文字隙間存在領域として認識し、
前記決定した矩形動き画像領域に対する前記文字隙間存在領域の割合に基づいてスクロール該当判定をすること、
を特徴とする矩形動き画像領域決定方法。
【請求項７】
請求項１〜６のいずれかの矩形動き画像領域決定方法において、
前記第１矩形動き画像領域決定ステップにて決定した矩形動き画像領域について、第２矩形動き画像領域決定ステップの前に、
前記動き列ブロック決定ステップ、前記動き行ブロック決定ステップ、および前記第１矩形動き画像領域決定ステップを繰り返し実行すること、
を特徴とする矩形動き画像領域決定方法。
【請求項８】
行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定装置であって、
前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断手段、
前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定手段、
前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定手段、
前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定手段、
前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする第２矩形動き画像領域決定手段、
を備えた矩形動き画像領域決定装置。
【請求項９】
請求項８の矩形動き画像領域決定装置において、
前記第２矩形動き画像領域決定手段は、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の行方向については、各行の代表画素値が異なる行を、列方向については各列の代表画素値が異なる列を、前記矩形動き画像領域の境界として決定すること、
を特徴とする矩形動き画像領域決定装置。
【請求項１０】
請求項８の矩形動き画像領域決定装置において、
前記第２矩形動き画像領域決定手段は、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、異なるフレーム間で動きが存在する動き画素か否かを判断して、前記矩形動き画像領域の境界を決定すること、
を特徴とする矩形動き画像領域決定装置。
【請求項１１】
請求項８の矩形動き画像領域決定装置において、
前記第２矩形動き画像領域決定手段は、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、行方向および列方向エッジを構成する画素を抽出し、各行についての行方向の総数、各列について列方向エッジを構成する画素の総数に基づき前記矩形動き画像領域の境界を決定すること、
を特徴とする矩形動き画像領域決定装置。
【請求項１２】
請求項８〜１１のいずれかの矩形動き画像領域決定装置において、
前記第１矩形動き画像領域決定手段が決定した矩形動き画像領域について、前記動き列ブロック決定手段、前記動き行ブロック決定手段、および前記矩形動き画像領域決定手段による処理を繰り返し実行させる繰り返し手段、
を備えたことを特徴とする矩形動き画像領域決定装置。
【請求項１３】
請求項８〜１２のいずれかの矩形動き画像領域決定装置を含むモニタ。
【請求項１４】
請求項８〜１２のいずれかの矩形動き画像領域決定装置を含むセットトップボックス。
【請求項１５】
請求項１４のセットトップボックスは、入力データの出力先モニタを切り替えるための切り替えハブであること、
を特徴とするもの。
【請求項１６】
行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定処理をコンピュータに実行させるためのプログラムであって、
前記コンピュータは下記手段として構成させる矩形動き画像領域決定プログラム。
前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断ステップ、
前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定手段、
前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定手段、
前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定手段、
前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする第２矩形動き画像領域決定手段。
【請求項１７】
行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定方法であって、
前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断ステップ、
前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定ステップ、
前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定ステップ、
前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ、
を備えた矩形動き画像領域決定方法。
【請求項１８】
請求項１７の矩形動き画像領域決定方法において、
前記第１矩形動き画像領域決定ステップでは、決定した矩形領域について、さらに、
前記動き列ブロック決定ステップ、および前記動き行ブロック決定ステップ、繰り返し実行すること、
を特徴とする矩形動き画像領域決定方法。
【請求項１９】
画面内の判定対象領域がスクロール領域か否かを判定するスクロール領域判定装置であって、
前記判定対象領域の各画素について、周辺画素との画素値の差に基づいて、エッジであるか否かを判断するエッジ画素判断手段、
同一行または同一列に、前記エッジではない画素が所定数以上存在する行または列を文字隙間存在領域として判断する文字隙間存在領域判断手段、
前記判定対象領域に対する前記文字隙間存在領域の割合に基づいてスクロール領域か否かを判断するスクロール領域判断手段、
を備えたことを特徴とするスクロール領域判定装置。
【請求項２０】
１画面に存在する矩形領域の境界を決定する境界決定装置であって、
判定対象画素における各画素の画素値に基づいて、エッジを構成する画素を判断するエッジ画素判断手段、
行方向エッジを構成する画素を行方向エッジ画素として抽出し、前記行方向エッジの総数を各行について演算し、各行の前記行方向エッジの総数に基づいて、行方向の境界を決定する行方向境界決定手段、
列方向エッジを構成する画素を列方向エッジ画素として抽出し、前記列方向エッジの総数を各列について演算し、各列の前記列方向エッジの総数に基づいて、列方向の境界を決定する列方向境界決定手段、
前記決定した行方向境界および前記列方向境界を、前記矩形領域の境界として決定する矩形領域決定手段、
を備えたことを特徴とする境界決定装置。
【請求項２１】
請求項２０の境界決定装置であって、
前記エッジ画素判断手段が判定対象とする画素を決定する手段であって、以下の手段を有する荒領域決定手段を備えていること、
1)行方向および列方向に画素が行列配置された表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが動きが存在する動き単位ブロックと判断する動き単位ブロック判断手段、
2)前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定手段、
3)前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定手段、
4)前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定手段、
5)前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックに属する画素を判定対象として決定する対象画素決定手段、
を特徴とする境界決定装置。
【請求項１】
行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定方法であって、
前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断ステップ、
前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定ステップ、
前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定ステップ、
前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ、
前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする第２矩形動き画像領域決定ステップ、
を備えた矩形動き画像領域決定方法。
【請求項２】
請求項１の矩形動き画像領域決定方法において、
前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の行方向については、各行の代表画素値が異なる行を、列方向については各列の代表画素値が異なる列を、前記矩形動き画像領域の境界として決定すること、
を特徴とする矩形動き画像領域決定方法。
【請求項３】
請求項１の矩形動き画像領域決定方法において、
前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、異なるフレーム間で動きが存在する動き画素か否かを判断して、前記矩形動き画像領域の境界を決定すること、
を特徴とする矩形動き画像領域決定方法。
【請求項４】
請求項１の矩形動き画像領域決定方法において、
前記第２矩形動き画像領域決定ステップでは、
前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、行方向エッジおよび列方向エッジを構成する画素を抽出し、各行についての行方向エッジを構成する画素の総数、各列について列方向エッジを構成する画素の総数に基づき前記矩形動き画像領域の境界を決定すること、
を特徴とする矩形動き画像領域決定方法。
【請求項５】
請求項１〜４のいずれかの矩形動き画像領域決定方法において、
前記第２矩形動き画像領域決定ステップの前に、決定した矩形動き画像領域がスクロールによってフレーム間で画像が異なるか否かを判定するスクロール該当判定をし、スクロールであると判断した場合には、前記第２矩形動き画像領域決定ステップを行わないこと、
を特徴とする矩形動き画像領域決定方法。
【請求項６】
請求項５の矩形動き画像領域決定方法において、
前記スクロール該当判定は、
決定した矩形動き画像領域の各画素について、周辺画素との画素値の差に基づいて、エッジであるか否かを判断し、
前記エッジではない画素が行方向または列方向に所定数以上存在する行または列について、文字隙間存在領域として認識し、
前記決定した矩形動き画像領域に対する前記文字隙間存在領域の割合に基づいてスクロール該当判定をすること、
を特徴とする矩形動き画像領域決定方法。
【請求項７】
請求項１〜６のいずれかの矩形動き画像領域決定方法において、
前記第１矩形動き画像領域決定ステップにて決定した矩形動き画像領域について、第２矩形動き画像領域決定ステップの前に、
前記動き列ブロック決定ステップ、前記動き行ブロック決定ステップ、および前記第１矩形動き画像領域決定ステップを繰り返し実行すること、
を特徴とする矩形動き画像領域決定方法。
【請求項８】
行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定装置であって、
前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断手段、
前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定手段、
前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定手段、
前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定手段、
前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする第２矩形動き画像領域決定手段、
を備えた矩形動き画像領域決定装置。
【請求項９】
請求項８の矩形動き画像領域決定装置において、
前記第２矩形動き画像領域決定手段は、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の行方向については、各行の代表画素値が異なる行を、列方向については各列の代表画素値が異なる列を、前記矩形動き画像領域の境界として決定すること、
を特徴とする矩形動き画像領域決定装置。
【請求項１０】
請求項８の矩形動き画像領域決定装置において、
前記第２矩形動き画像領域決定手段は、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、異なるフレーム間で動きが存在する動き画素か否かを判断して、前記矩形動き画像領域の境界を決定すること、
を特徴とする矩形動き画像領域決定装置。
【請求項１１】
請求項８の矩形動き画像領域決定装置において、
前記第２矩形動き画像領域決定手段は、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、行方向および列方向エッジを構成する画素を抽出し、各行についての行方向の総数、各列について列方向エッジを構成する画素の総数に基づき前記矩形動き画像領域の境界を決定すること、
を特徴とする矩形動き画像領域決定装置。
【請求項１２】
請求項８〜１１のいずれかの矩形動き画像領域決定装置において、
前記第１矩形動き画像領域決定手段が決定した矩形動き画像領域について、前記動き列ブロック決定手段、前記動き行ブロック決定手段、および前記矩形動き画像領域決定手段による処理を繰り返し実行させる繰り返し手段、
を備えたことを特徴とする矩形動き画像領域決定装置。
【請求項１３】
請求項８〜１２のいずれかの矩形動き画像領域決定装置を含むモニタ。
【請求項１４】
請求項８〜１２のいずれかの矩形動き画像領域決定装置を含むセットトップボックス。
【請求項１５】
請求項１４のセットトップボックスは、入力データの出力先モニタを切り替えるための切り替えハブであること、
を特徴とするもの。
【請求項１６】
行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定処理をコンピュータに実行させるためのプログラムであって、
前記コンピュータは下記手段として構成させる矩形動き画像領域決定プログラム。
前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断ステップ、
前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定手段、
前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定手段、
前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定手段、
前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする第２矩形動き画像領域決定手段。
【請求項１７】
行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定方法であって、
前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断ステップ、
前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定ステップ、
前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定ステップ、
前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ、
を備えた矩形動き画像領域決定方法。
【請求項１８】
請求項１７の矩形動き画像領域決定方法において、
前記第１矩形動き画像領域決定ステップでは、決定した矩形領域について、さらに、
前記動き列ブロック決定ステップ、および前記動き行ブロック決定ステップ、繰り返し実行すること、
を特徴とする矩形動き画像領域決定方法。
【請求項１９】
画面内の判定対象領域がスクロール領域か否かを判定するスクロール領域判定装置であって、
前記判定対象領域の各画素について、周辺画素との画素値の差に基づいて、エッジであるか否かを判断するエッジ画素判断手段、
同一行または同一列に、前記エッジではない画素が所定数以上存在する行または列を文字隙間存在領域として判断する文字隙間存在領域判断手段、
前記判定対象領域に対する前記文字隙間存在領域の割合に基づいてスクロール領域か否かを判断するスクロール領域判断手段、
を備えたことを特徴とするスクロール領域判定装置。
【請求項２０】
１画面に存在する矩形領域の境界を決定する境界決定装置であって、
判定対象画素における各画素の画素値に基づいて、エッジを構成する画素を判断するエッジ画素判断手段、
行方向エッジを構成する画素を行方向エッジ画素として抽出し、前記行方向エッジの総数を各行について演算し、各行の前記行方向エッジの総数に基づいて、行方向の境界を決定する行方向境界決定手段、
列方向エッジを構成する画素を列方向エッジ画素として抽出し、前記列方向エッジの総数を各列について演算し、各列の前記列方向エッジの総数に基づいて、列方向の境界を決定する列方向境界決定手段、
前記決定した行方向境界および前記列方向境界を、前記矩形領域の境界として決定する矩形領域決定手段、
を備えたことを特徴とする境界決定装置。
【請求項２１】
請求項２０の境界決定装置であって、
前記エッジ画素判断手段が判定対象とする画素を決定する手段であって、以下の手段を有する荒領域決定手段を備えていること、
1)行方向および列方向に画素が行列配置された表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが動きが存在する動き単位ブロックと判断する動き単位ブロック判断手段、
2)前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定手段、
3)前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定手段、
4)前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定手段、
5)前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックに属する画素を判定対象として決定する対象画素決定手段、
を特徴とする境界決定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−２０６０５（Ｐ２０１３−２０６０５Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１２−１６３４３（Ｐ２０１２−１６３４３）
【出願日】平成２４年１月３０日（２０１２．１．３０）
【分割の表示】特願２０１１−２３２５７１（Ｐ２０１１−２３２５７１）の分割
【原出願日】平成２３年１０月２４日（２０１１．１０．２４）
【特許番号】特許第５００６４７９号（Ｐ５００６４７９）
【特許公報発行日】平成２４年８月２２日（２０１２．８．２２）
【出願人】（３９１０１０１１６）株式会社ナナオ (160)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２４年１月３０日（２０１２．１．３０）
【分割の表示】特願２０１１−２３２５７１（Ｐ２０１１−２３２５７１）の分割
【原出願日】平成２３年１０月２４日（２０１１．１０．２４）
【特許番号】特許第５００６４７９号（Ｐ５００６４７９）
【特許公報発行日】平成２４年８月２２日（２０１２．８．２２）
【出願人】（３９１０１０１１６）株式会社ナナオ (160)
【Ｆターム（参考）】
[ Back to top ]