類似画像領域検出方法、装置及びプログラム
【課題】検出対象とする画像領域を事前に指定することなく任意の画像領域を検出できるようにし、しかも当該任意の検出領域が画面内で移動した場合でも検出可能とする。
【解決手段】制御ユニット１の制御の下で、表示タイミングの異なる２枚の画像データを重ね合わせた状態で、その一方の画像データの位置座標を二次元方向（Ｘ軸、Ｙ軸の各方向）に一定量シフトするごとに、当該画像データ間で画素ごとにそのＲＧＢ値の一致度数を計算してその全画素の合計を求め、この一致度数合計が最大値を示すときの画像データのシフト位置座標から一致画像領域を検出するようにしたものである。
【解決手段】制御ユニット１の制御の下で、表示タイミングの異なる２枚の画像データを重ね合わせた状態で、その一方の画像データの位置座標を二次元方向（Ｘ軸、Ｙ軸の各方向）に一定量シフトするごとに、当該画像データ間で画素ごとにそのＲＧＢ値の一致度数を計算してその全画素の合計を求め、この一致度数合計が最大値を示すときの画像データのシフト位置座標から一致画像領域を検出するようにしたものである。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばパーソナル・コンピュータのディスプレイに表示される２枚の画像から情報内容が類似する領域を検出するための類似画像領域検出方法、装置及びプログラムに関する。
【背景技術】
【０００２】
パーソナル・コンピュータやスマートホン、タブレット型端末等の情報端末には、ユーザが興味を持っている情報が表示される傾向性がある。そこで、ユーザの興味を推定する手法の１つとして、例えばパーソナル・コンピュータのディスプレイに表示される表示情報や通信先の履歴を記録してこの記録情報を分析することによりユーザの関心事や嗜好を推定する手法が検討されている。
【０００３】
上記記録情報の分析技術としては、例えば検索対象とする情報を予め指定してこの情報を画像中から部分的に抽出する技術（例えば特許文献１を参照）や、入力画像を背景画像と比較してその差を求めこの差を閾値処理することにより移動物体の画像を抽出する技術（例えば特許文献２と称する）が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３２７０６５号公報
【特許文献２】特開平５−９４５３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、特許文献１に記載された技術では事前に検索対象となる画像を指定しておかなければならない。このため、指定から漏れた検出対象については検出することができず、また検索対象の画像を事前に指定する操作がユーザにとっては負担になる。また特許文献２及び３に記載された技術では、画面中において物体が移動した場合にはその移動領域を検出することができない。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、検出対象とする画像領域を事前に指定することなく任意の画像領域を検出でき、しかも当該任意の検出領域が画面内で移動した場合でも検出可能とした類似画像領域検出方法、装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明の１つの観点は、表示タイミングの異なる第１及び第２の画像データの位置を予め設定した画素ブロック単位でシフト移動させるごとに、当該第１の画像データと第２の画像データとの画素値を比較し、その比較結果に基づいて、画素値が予め設定した差の範囲内で一致する領域を前記第１又は第２の画像データ中から類似画像領域を表す情報として抽出するようにしたものである。
【０００８】
したがって、検出対象の画像を予め指定することなく、２枚の画像データ中の類似画像を検出することが可能となり、しかも２枚の画像データを相対的にシフト移動しながら類似画素を検出するようにしているので、類似画像が画像データ中のどこに移動していても当該類似画像領域を抽出することが可能となる。
【０００９】
また、この発明の１つの観点は以下のような態様を備えることを特徴とする。
第１の態様は、第１の画像データに対する第２の画像データの位置を前記画素ブロック単位でシフト移動させるごとに、先ず当該第１の画像データと第２の画像データとの間でその画素値を前記画素ブロック単位で比較して、当該画素値が予め設定した差の範囲内で一致した場合に当該画素ブロックの一致度数を計算し、この計算された画素ブロックの一致度数の、前記第１又は第２の画像データ全体における合計値を計算する。続いて、今回のシフト移動により得られた前記一致度数の合計値を、第２の記憶手段に保存されている前回のシフト移動までに得られた一致度数の合計値と比較し、今回のシフト移動により得られた一致度数の合計値が前記保存されている値より大きい場合に、当該保存されている値を今回のシフト移動により得られた一致度数の合計値に更新すると共に、今回のシフト移動位置を表す情報を第３の記憶手段に保存する。そして、全てのシフト移動が終了した後、前記第３の記憶手段に記憶されているシフト移動位置を表す情報を読み出し、このシフト移動位置をもとに前記第１又は第２の画像データから当該第１及び第２の画像データ間の類似画像領域を抽出するようにしたものである。
【００１０】
したがって、シフト移動が行われるごとに、今回のシフト移動により得られた一致度数の合計値が、保存されている前回のシフト移動までに得られた一致度数の合計値と比較され、今回のシフト移動により得られた一致度数の合計値が上記保存されている値より大きい場合に、当該保存されている値が今回のシフト移動により得られた一致度数の合計値に更新されると共に、今回のシフト移動位置を表す情報が保存される。このため、シフト移動が行われるごとに得られた一致度数の合計値とシフト移動位置の情報を全て保存する場合に比べ、記憶手段の記憶容量を減らすことができる。
【００１１】
第２の態様は、第１の画像データと第２の画像データとの間でそのＲＧＢ値を画素ブロック単位で比較し、ＲＧＢ値が一致した場合に係数を１、一致しない場合に係数を０として当該画素ブロックの一致度数を計算するものである。
したがって、第１及び第２の画像データがカラー画像の場合でもその画素ブロックの一致度数を算出することができ、しかも一致するか不一致かに応じて係数１又は０を掛けるだけで一致度数が計算されるので、簡単な計算処理により一致度数を算出することが可能となる。
【発明の効果】
【００１２】
すなわちこの発明の１つの観点によれば、検出対象とする画像領域を事前に指定することなく任意の画像領域を検出でき、しかも当該任意の検出領域が画面内で移動した場合でも検出可能とした類似画像領域検出方法、装置及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】この発明の一実施形態に係る類似画像領域検出装置の機能構成を示すブロック図。
【図２】図１に示した類似画像領域検出装置による類似画像領域検出処理の処理手順と処理内容を示すフローチャート。
【図３】図２に示した類似画像領域検出処理の動作説明に使用する画像の一例を示す図。
【図４】図２に示した類似画像領域検出処理の動作説明に使用する画像の一例を示す図。
【発明を実施するための形態】
【００１４】
以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
図１は、この発明の一実施形態に係る類似画像領域検出方法を実施するための機能を備えた情報通信端末の構成を示すブロック図である。
この実施形態における情報通信端末は、ユーザが使用するパーソナル・コンピュータ、スマートホン或いはタブレット型端末からなり、制御ユニット１と、記憶ユニット２と、入出力インタフェースユニット３と、通信インタフェースユニット４を備えている。
【００１５】
入出力インタフェースユニット３には、キーボードやマウス、或いはタブレットを使用した入力デバイス３１と、液晶又は有機ＥＬを用いた表示デバイス３２が接続されている。入出力インタフェースユニット３は、入力デバイス３１において入力された操作情報を制御ユニット１に与えると共に、制御ユニット１から出力された表示情報を表示デバイス３２に表示させる。
【００１６】
通信インタフェースユニット４は、制御ユニット１の制御の下で、通信相手となるサーバ又は端末との間で図示しない通信ネットワークを介して情報通信を行う。通信ネットワークは、例えばインターネット等のＩＰ（Internet Protocol）網と、このＩＰ網にアクセスするためのアクセス網とから構成される。アクセス網としては、有線加入者網、ＬＡＮ（Local Area Network）、ＣＡＴＶ（Cable Television）網、携帯電話網や無線ＬＡＮ等の移動通信網が用いられる。
【００１７】
記憶ユニット２は、記憶媒体としてＨＤＤやＳＳＤ等の随時書込み及び読出しが可能な不揮発性メモリを使用したもので、この実施形態を実施する上で必要な記憶領域として、検査対象画像記憶部２１と、初期位置記憶部２２と、暫定最大値保持部２３と、ずらし位置保持部２４を備えている。
【００１８】
検査対象画像記憶部２１は、表示デバイス３２に表示された画像データを表示デバイス３２における表示履歴を表す情報として記憶するために用いられる。
初期位置記憶部２２には、後述する画像ずらし制御部１２１が２枚の画像データをずらし制御する際に使用する、ずらし対象となる画像データの初期位置が記憶されている。
暫定最大値保持部２３は、後述する一致度数計算部１２３により計算された一致度数合計の暫定最大値を保持するために用いられる。
ずらし位置保持部２４は、上記暫定最大値が得られたときの画像データのずらし位置を表す情報を記憶するために用いられる。
【００１９】
制御ユニット１は、中央処理ユニット（Central Processing Unit；ＣＰＵ）を備え、この実施形態を実施する上で必要な処理機能として、画面キャプチャ処理部１１と、一致領域検出部１２と、検出結果送信部１３を有している。これらの処理機能は何れも図示しないプログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。
【００２０】
画面キャプチャ処理部１１は、表示デバイス３２に表示されている１画面の情報を入出力インタフェースユニット３から予め設定された一定の時間間隔で取り込む。そして、１画面の情報を取り込むごとに、この取り込まれた１画面の画面イメージを画像データの形式で抽出して、この画面イメージを表す画像データを検査対象画像記憶部２１に記憶させる処理を実行する。
【００２１】
一致領域検出部１２は、上記検査対象画像記憶部２１に記憶された複数の画像データのうち、検査対象となる２枚の画像データ間で同一又は類似する情報が表示されている領域を検出するもので、画像ずらし制御部１２１と、画像比較処理部１２３と、一致度数計算部１２３と、一致領域特定部１２４を有する。
【００２２】
画像ずらし制御部１２１は、上記検査対象画像記憶部２１から検査対象となる、表示タイミングの異なる２枚の画像データを読み出す。そして、これらの画像データを重ね合わせた状態で、その一方の画像データの位置座標を固定とし、他方の画像データの位置座標を二次元方向（Ｘ軸、Ｙ軸の各方向）に一定量ずつずらす（シフト移動させる）制御を行う機能を有する。このとき、ずらし位置の基点は初期位置記憶部２２に記憶された初期位置座標に設定し、１回のシフト量は１画素に設定する。なお、複数画素からなる画素ブロックを構成してこの画素ブロックを１回のシフト量としてもよい。
【００２３】
画像比較処理部１２２は、上記画像ずらし制御部１２１によりずらし対象の画像データが１回シフト移動されるごとに、このずらし対象の画像データと固定されている画像データの重なり合っている領域の相対する画素同士を比較し、そのＲＧＢ（Red-Green-Blue）値が一致するか否かを判定する機能を有する。
【００２４】
一致度数計算部１２３は、以下の処理機能を有する。
(1) 上記画像比較処理部１２２による判定結果をもとに、ＲＧＢ値が一致すると判定されたときに係数を“１”とし、一致しないと判定されたときに係数を“０”として、当該画素の一致度数を計算する処理。
(2) (1) により計算された各画素の一致度数を、上記重なり合っている領域中の全ての画素について合計する処理。
(3) (2) により求められた一致度数の合計値を、暫定最大値保持部２３に保持された、前回のシフト移動までに得られた一致度数合計の最大値と比較する。そして、今回のシフト移動により得られた一致度数合計が、前回のシフト移動までに得られた一致度数合計の最大値より大きければ、暫定最大値保持部２３に保持されている値を今回のシフト移動により得られた一致度数合計に更新し、以下であれば暫定最大値保持部２３に保持されている値を維持する処理。
(4) (3) により、暫定最大値保持部２３に保持されている値を今回のシフト移動により得られた一致度数合計に更新された場合に、ずらし位置保持部２４に保持されているずらし位置座標を今回のシフト移動によるずらし位置座標に更新する処理。
【００２５】
一致領域特定部１２４は、全てのずらし位置における上記一致度数計算部１２３による(1) 〜(4) の処理が終了した後に、上記ずらし位置保持部２４に最終的に保持されているずらし位置座標を読み出し、この読み出されたずらし位置座標と固定座標とから表示画像が一致する領域を特定する。そして、この特定された領域に含まれる画像データを上記ずらし対象の画像データ又は固定されている画像データから抽出する機能を有する。
【００２６】
検出結果送信部１３は、上記一致領域特定部１２４により特定された一致領域に表示されていた画像データを、ユーザの識別情報と共に、通信インタフェースユニット４から要求元のサービス提供事業者の端末へ送信する機能を有する。
（動作）
以上のように構成された情報通信端末による類似画像領域の検出処理動作を説明する。図２はその処理手順と処理内容を示すフローチャートである。
なお、ここでは複数のアプリケーション・プログラムが起動し、これらのアプリケーション・プログラムによりＷｅｂサイトから取得されたコンテンツや記録媒体から読込まれたコンテンツが表示デバイス３２に異なるウィンドウにより表示されているものとして説明を行う。各コンテンツはテキストデータ、画像データ及び音楽データの何れを含むものでもよい。
【００２７】
（１）表示画面のキャプチャ処理
上記複数のコンテンツがウィンドウ表示された状態で、制御ユニット１は画面キャプチャ処理部１１を起動する。そして、この画面キャプチャ処理部１１の制御の下で、表示デバイス３２に表示されている１画面の表示情報を入出力インタフェースユニット３から予め設定された一定の時間間隔で取り込み、この１画面の表示情報を取り込むごとに、当該１画面の画面イメージを画像データの形式で取得タイミングを表す情報と関連付けて検査対象画像記憶部２１に記憶させる。したがって、検査対象画像記憶部２１には、上記表示デバイス３２に表示された画面イメージの時系列変化を表す画像データの集合が蓄積されることになる。
【００２８】
（２）一致領域検出処理
制御ユニット１は、一致領域検出部１２の制御の下で、先ずステップＳ１により、上記検査対象画像記憶部２１から検査対象となる２枚の画像データ、例えば表示タイミングが一定時間離れている２枚の画像データを読み出し、この読み出された２枚の画像データの一方をずらし画像、他方を固定画像にそれぞれ設定する。そして、ステップＳ２により初期位置記憶部２２からずらし制御の初期位置座標を読み出す。
【００２９】
制御ユニット１は、次にステップＳ３に移行し、このステップＳ３により以下のように一致領域の検出処理を実行する。すなわち、先ずステップＳ３１により、上記ずらし画像のずらし位置座標を上記読み出された初期位置座標に設定する。次にステップＳ３２において、ずらし画像と固定画像とを重ね合わせたと仮定した状態で、重なる領域に含まれる全ての画素について上記ずらし画像及び固定画像のＲＧＢ値をそれぞれ検出する。
【００３０】
そしてステップＳ３３において、上記各画素の１つを選択し、当該画素について検出された各ＲＧＢ値を比較して一致するか否かを判定する。このとき、一致するか否かの判定は完全一致としてもよいが、予め設定された差の範囲内で一致しているか否かを判定するものとしてもよい。
【００３１】
上記ステップＳ３３による判定の結果、各ＲＧＢ値が一致したとする。そうすると、一致領域検出部１２はステップＳ３４に移行し、当該画素についての一致度数を計算してその結果を制御ユニット１内の作業メモリに保存する。この一致度数の計算は、ＲＧＢ値が一致したときの係数として“１”を用意しておき、基準値に対しこの一致係数“１”を掛けることにより行われる。例えば、基準値が「１」であれば一致度数は「１」となる。
【００３２】
一方、上記ステップＳ３３による判定の結果、ＲＧＢ値が一致しなかったとする。この場合には、ステップＳ３５に移行し、上記重なる領域に含まれる全ての画素についてＲＧＢ値の一致判定処理が終了したか否かを判定する。この判定の結果、未判定の画素が残っていれば、ステップＳ３３に戻ってこの未判定の画素の１つを選択して上記ＲＧＢ値の一致判定処理を行う。以後、未判定の画素が無くなるまで未判定の各画素について以上の処理を繰り返す。
【００３３】
上記ステップＳ３５において、全画素についてＲＧＢ値の一致判定処理が終了すると、一致領域検出部１２１は次にステップＳ３６に移行し、上記ステップＳ３４により算出され保存されている各画素の一致度数を、上記重なり合っている領域中の全ての画素について合計する。そして、この一致度数の合計値を、暫定最大値保持部２３に保持された、前回のシフト移動までに得られた一致度数合計の最大値と比較する。
【００３４】
この比較の結果、今回のシフト移動により得られた一致度数合計が、前回のシフト移動までに得られた一致度数合計の最大値より大きければ、ステップＳ３７において、暫定最大値保持部２３に保持されている値を今回のシフト移動により得られた一致度数合計に更新する。またそれと共に、ずらし位置保持部２４に保持されている前回のシフト移動までのずらし位置座標を、今回のシフト移動によるずらし位置座標に更新する。
【００３５】
なお、今回のシフト移動により得られた一致度数合計が、前回のシフト移動までに得られた一致度数合計の最大値以下であれば、暫定最大値保持部２３に保持されている値と、ずらし位置保持部２４に保持されているずらし位置座標を維持する。
【００３６】
上記暫定最大値及びずらし位置座標の更新処理が終了すると、制御ユニット１は全てのシフト移動を終了したか否かをステップＳ４により判定し、まだ終了していなければステップＳ３に戻ってずらし対象の画像データを１画素分シフトさせ、上記した一致領域の検出処理を実行する。以後、全てのシフト移動を終了するまで、ずらし対象の画像データを１画素分シフトしながら、上記ステップＳ３による一致領域の検出処理を繰り返す。なお、ずらし対象の画像データの１回のシフト移動量は、１画素以外に複数の画素により構成される画素ブロックとしてもよい。
【００３７】
一方、上記全てのシフト移動位置における一致領域の検出処理が終了すると、制御ユニット１は一致領域特定部１２４を起動する。そして、この一致領域特定部１２４の制御の下、先ず上記ずらし位置保持部２４に最終的に保持されているずらし位置座標を読み出し、この読み出されたずらし位置座標と固定座標とから表示画像が一致する領域を特定する。そして、この特定された領域に含まれる部分画像データを上記ずらし対象の画像データ又は固定されている画像データから抽出する。
【００３８】
例えば、上記暫定最大値が得られたときのずらし位置座標をもとに、当該ずらし位置座標において算出された一致度数が“１”の画素の集合を図示しない一致画素記憶部から読み出し、この読み出された一致画素の集合から一致画像領域を特定する。そして、この特定された一致画像領域に含まれる部分画像データを固定画像データから抽出する。
【００３９】
以上述べた一致領域検出処理の具体例を図３及び図４を用いて説明する。
いま図３に示すようにずらし画像として画像データＤ１を、また固定画像として画像データＤ２を選択したとする。そして、画像データＤ１と画像データＤ２を重ね合わせ、重なる領域に含まれる全ての画素についてＲＧＢ値を検出してその一致度数を計算し、さらにこの一致度数合計を計算してその暫定最大値を保持する。この結果、上記図３に示した画像データＤ１，Ｄ２の場合、ウィンドウＢ１−１とＢ１−２が同一内容を表示しているウィンドウであるとすれば、これらの画像データＤ１，Ｄ２を図４に示すようなシフト位置で重ねたとき、一致度数合計が最大値を示す。すなわち、上記ウィンドウＢ１−１とＢ１−２の全域が重なったときに一致度数合計は最大値を示すことになる。したがって、このときの一致度数が“１”となる画素集合の領域を保存しておけば、この一致度数が“１”となる画素集合の領域をそのまま一致画像領域とすることができる。
【００４０】
（３）検出結果の送信
制御ユニット１は、最後にステップＳ５において検出結果送信部１３を起動する。そして、この検出結果送信部１３の制御の下、先ず上記抽出された一致画像領域に含まれる部分画像データの内容を認識するための処理を行う。認識処理の方法としては、例えば文字認識によりテキスト情報を抽出するものや、ＱＲコード等のコード情報を抽出するものが適用できる。また、予め抽出されることが予測される画像等については、当該予測画像を参照画像として予め記憶ユニット２に記憶しておき、この予測画像との類似度をもとに画像データの内容を認識するようにしてもよい。
なお、画像認識処理の実行タイミングについては、時間的なパラメータや領域画像データに関するパラメータ、ユーザの操作や外部の端末等からのアクセスなどをトリガとして任意に設定することができる。
【００４１】
次に制御ユニット１は、上記検出結果送信部１３の制御の下、上記一致画像領域に含まれる部分画像データの内容を認識したデータを、ユーザの識別情報と共に通信インタフェースユニット４からサービス提供事業者のサーバ又は端末へ送信する。このとき、サービス提供事業者のアドレス又はＵＲＬは記憶ユニット２に予め登録してあるものを使用する。なお、上記検出結果データの送信処理は、サービス提供事業者の端末から解析データの取得要求が送られた時に実行するようにしてもよい。
【００４２】
サービス提供事業者は、上記解析データを受け取ると、当該解析データをもとにユーザの興味の対象を推定する。そして、この興味の推定結果をもとに当該ユーザに提供すべき、例えば商品やサービス、イベントに関する情報を選択し、配信する。
【００４３】
（実施形態の作用効果）
以上詳述したようにこの実施形態では、表示タイミングの異なる２枚の画像データを重ね合わせた状態で、その一方の画像データの位置座標を二次元方向（Ｘ軸、Ｙ軸の各方向）に一定量シフトするごとに、当該画像データ間で画素ごとにそのＲＧＢ値の一致度数を計算してその全画素の合計を求め、この一致度数合計が最大値を示すときの画像データのシフト位置座標から一致画像領域を検出するようにしている。
【００４４】
したがって、検出対象の画像を予め指定することなく、２枚の画像データ中の類似画像を検出することが可能となり、しかも２枚の画像データを相対的にシフト移動しながら類似画素を検出するようにしているので、類似画像が画像データ中のどこに移動していても当該類似画像領域を抽出することが可能となる。
【００４５】
またこの実施形態では、一致領域を検出する際に、シフト移動が行われるごとに、今回のシフト移動により得られたＲＧＢ値の一致度数合計を、保存されている前回のシフト移動までに得られた一致度数合計と比較している。そして、今回のシフト移動により得られた一致度数合計が上記保存されている値より大きい場合に、当該保存されている値が今回のシフト移動により得られた一致度数合計に更新すると共に、今回のシフト移動位置を表す情報を保存するようにしている。このため、シフト移動が行われるごとに得られた一致度数合計とシフト移動位置の情報を全て保存する場合に比べ、記憶ユニット２の記憶容量を減らすことができる。
【００４６】
［他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では、画像データをＸ軸及びＹ軸の両方向に、つまり二次元方向にシフト移動させるようにしたが、ウィンドウが水平方向又は垂直方向にしか移動しない画像データであれば、Ｘ軸方向又はＹ軸方向の何れか一方にのみシフト移動させるようにしてもよい。
【００４７】
また前記実施形態では、画像比較処理部１２２による判定結果をもとに、ＲＧＢ値が一致すると判定されたときに係数を“１”とし、一致しないと判定されたときに係数を“０”として、当該画素の一致度数を計算するようにした。しかしそれに限らず、ＲＧＢ値が一定の差の範囲内で一致すると判定された場合に、当該ＲＧＢ値の差分を求め、その差分値に応じて、差分値が小さいほど大きくなるように設定した係数を基準値に掛けるようにしてもよい。このようにすると、ＲＧＢ値が一致すると判定された場合でも、その一致の程度、つまり類似度を定量化して同一領域の抽出処理に使用することができる。
【００４８】
その他、情報通信端末の種類や構成、一致領域検出処理の処理手順及び処理内容、検査対象の画像の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００４９】
１…制御ユニット、２…記憶ユニット、３…入出力インタフェースユニット、４…通信インタフェースユニット、１１…画像キャプチャ処理部、１２…一致領域検出部、１３…検出結果送信部、２１…検査対象画像記憶部、２２…初期位置記憶部、２３…暫定最大値保持部、２４…ずらし位置保持部、３１…入力デバイス、３２…表示デバイス、１２１…画像ずらし制御部、１２２…画像比較処理部、１２３…一致度数計算部、１２４…一致領域特定部。
【技術分野】
【０００１】
この発明は、例えばパーソナル・コンピュータのディスプレイに表示される２枚の画像から情報内容が類似する領域を検出するための類似画像領域検出方法、装置及びプログラムに関する。
【背景技術】
【０００２】
パーソナル・コンピュータやスマートホン、タブレット型端末等の情報端末には、ユーザが興味を持っている情報が表示される傾向性がある。そこで、ユーザの興味を推定する手法の１つとして、例えばパーソナル・コンピュータのディスプレイに表示される表示情報や通信先の履歴を記録してこの記録情報を分析することによりユーザの関心事や嗜好を推定する手法が検討されている。
【０００３】
上記記録情報の分析技術としては、例えば検索対象とする情報を予め指定してこの情報を画像中から部分的に抽出する技術（例えば特許文献１を参照）や、入力画像を背景画像と比較してその差を求めこの差を閾値処理することにより移動物体の画像を抽出する技術（例えば特許文献２と称する）が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３２７０６５号公報
【特許文献２】特開平５−９４５３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、特許文献１に記載された技術では事前に検索対象となる画像を指定しておかなければならない。このため、指定から漏れた検出対象については検出することができず、また検索対象の画像を事前に指定する操作がユーザにとっては負担になる。また特許文献２及び３に記載された技術では、画面中において物体が移動した場合にはその移動領域を検出することができない。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、検出対象とする画像領域を事前に指定することなく任意の画像領域を検出でき、しかも当該任意の検出領域が画面内で移動した場合でも検出可能とした類似画像領域検出方法、装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明の１つの観点は、表示タイミングの異なる第１及び第２の画像データの位置を予め設定した画素ブロック単位でシフト移動させるごとに、当該第１の画像データと第２の画像データとの画素値を比較し、その比較結果に基づいて、画素値が予め設定した差の範囲内で一致する領域を前記第１又は第２の画像データ中から類似画像領域を表す情報として抽出するようにしたものである。
【０００８】
したがって、検出対象の画像を予め指定することなく、２枚の画像データ中の類似画像を検出することが可能となり、しかも２枚の画像データを相対的にシフト移動しながら類似画素を検出するようにしているので、類似画像が画像データ中のどこに移動していても当該類似画像領域を抽出することが可能となる。
【０００９】
また、この発明の１つの観点は以下のような態様を備えることを特徴とする。
第１の態様は、第１の画像データに対する第２の画像データの位置を前記画素ブロック単位でシフト移動させるごとに、先ず当該第１の画像データと第２の画像データとの間でその画素値を前記画素ブロック単位で比較して、当該画素値が予め設定した差の範囲内で一致した場合に当該画素ブロックの一致度数を計算し、この計算された画素ブロックの一致度数の、前記第１又は第２の画像データ全体における合計値を計算する。続いて、今回のシフト移動により得られた前記一致度数の合計値を、第２の記憶手段に保存されている前回のシフト移動までに得られた一致度数の合計値と比較し、今回のシフト移動により得られた一致度数の合計値が前記保存されている値より大きい場合に、当該保存されている値を今回のシフト移動により得られた一致度数の合計値に更新すると共に、今回のシフト移動位置を表す情報を第３の記憶手段に保存する。そして、全てのシフト移動が終了した後、前記第３の記憶手段に記憶されているシフト移動位置を表す情報を読み出し、このシフト移動位置をもとに前記第１又は第２の画像データから当該第１及び第２の画像データ間の類似画像領域を抽出するようにしたものである。
【００１０】
したがって、シフト移動が行われるごとに、今回のシフト移動により得られた一致度数の合計値が、保存されている前回のシフト移動までに得られた一致度数の合計値と比較され、今回のシフト移動により得られた一致度数の合計値が上記保存されている値より大きい場合に、当該保存されている値が今回のシフト移動により得られた一致度数の合計値に更新されると共に、今回のシフト移動位置を表す情報が保存される。このため、シフト移動が行われるごとに得られた一致度数の合計値とシフト移動位置の情報を全て保存する場合に比べ、記憶手段の記憶容量を減らすことができる。
【００１１】
第２の態様は、第１の画像データと第２の画像データとの間でそのＲＧＢ値を画素ブロック単位で比較し、ＲＧＢ値が一致した場合に係数を１、一致しない場合に係数を０として当該画素ブロックの一致度数を計算するものである。
したがって、第１及び第２の画像データがカラー画像の場合でもその画素ブロックの一致度数を算出することができ、しかも一致するか不一致かに応じて係数１又は０を掛けるだけで一致度数が計算されるので、簡単な計算処理により一致度数を算出することが可能となる。
【発明の効果】
【００１２】
すなわちこの発明の１つの観点によれば、検出対象とする画像領域を事前に指定することなく任意の画像領域を検出でき、しかも当該任意の検出領域が画面内で移動した場合でも検出可能とした類似画像領域検出方法、装置及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】この発明の一実施形態に係る類似画像領域検出装置の機能構成を示すブロック図。
【図２】図１に示した類似画像領域検出装置による類似画像領域検出処理の処理手順と処理内容を示すフローチャート。
【図３】図２に示した類似画像領域検出処理の動作説明に使用する画像の一例を示す図。
【図４】図２に示した類似画像領域検出処理の動作説明に使用する画像の一例を示す図。
【発明を実施するための形態】
【００１４】
以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
図１は、この発明の一実施形態に係る類似画像領域検出方法を実施するための機能を備えた情報通信端末の構成を示すブロック図である。
この実施形態における情報通信端末は、ユーザが使用するパーソナル・コンピュータ、スマートホン或いはタブレット型端末からなり、制御ユニット１と、記憶ユニット２と、入出力インタフェースユニット３と、通信インタフェースユニット４を備えている。
【００１５】
入出力インタフェースユニット３には、キーボードやマウス、或いはタブレットを使用した入力デバイス３１と、液晶又は有機ＥＬを用いた表示デバイス３２が接続されている。入出力インタフェースユニット３は、入力デバイス３１において入力された操作情報を制御ユニット１に与えると共に、制御ユニット１から出力された表示情報を表示デバイス３２に表示させる。
【００１６】
通信インタフェースユニット４は、制御ユニット１の制御の下で、通信相手となるサーバ又は端末との間で図示しない通信ネットワークを介して情報通信を行う。通信ネットワークは、例えばインターネット等のＩＰ（Internet Protocol）網と、このＩＰ網にアクセスするためのアクセス網とから構成される。アクセス網としては、有線加入者網、ＬＡＮ（Local Area Network）、ＣＡＴＶ（Cable Television）網、携帯電話網や無線ＬＡＮ等の移動通信網が用いられる。
【００１７】
記憶ユニット２は、記憶媒体としてＨＤＤやＳＳＤ等の随時書込み及び読出しが可能な不揮発性メモリを使用したもので、この実施形態を実施する上で必要な記憶領域として、検査対象画像記憶部２１と、初期位置記憶部２２と、暫定最大値保持部２３と、ずらし位置保持部２４を備えている。
【００１８】
検査対象画像記憶部２１は、表示デバイス３２に表示された画像データを表示デバイス３２における表示履歴を表す情報として記憶するために用いられる。
初期位置記憶部２２には、後述する画像ずらし制御部１２１が２枚の画像データをずらし制御する際に使用する、ずらし対象となる画像データの初期位置が記憶されている。
暫定最大値保持部２３は、後述する一致度数計算部１２３により計算された一致度数合計の暫定最大値を保持するために用いられる。
ずらし位置保持部２４は、上記暫定最大値が得られたときの画像データのずらし位置を表す情報を記憶するために用いられる。
【００１９】
制御ユニット１は、中央処理ユニット（Central Processing Unit；ＣＰＵ）を備え、この実施形態を実施する上で必要な処理機能として、画面キャプチャ処理部１１と、一致領域検出部１２と、検出結果送信部１３を有している。これらの処理機能は何れも図示しないプログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。
【００２０】
画面キャプチャ処理部１１は、表示デバイス３２に表示されている１画面の情報を入出力インタフェースユニット３から予め設定された一定の時間間隔で取り込む。そして、１画面の情報を取り込むごとに、この取り込まれた１画面の画面イメージを画像データの形式で抽出して、この画面イメージを表す画像データを検査対象画像記憶部２１に記憶させる処理を実行する。
【００２１】
一致領域検出部１２は、上記検査対象画像記憶部２１に記憶された複数の画像データのうち、検査対象となる２枚の画像データ間で同一又は類似する情報が表示されている領域を検出するもので、画像ずらし制御部１２１と、画像比較処理部１２３と、一致度数計算部１２３と、一致領域特定部１２４を有する。
【００２２】
画像ずらし制御部１２１は、上記検査対象画像記憶部２１から検査対象となる、表示タイミングの異なる２枚の画像データを読み出す。そして、これらの画像データを重ね合わせた状態で、その一方の画像データの位置座標を固定とし、他方の画像データの位置座標を二次元方向（Ｘ軸、Ｙ軸の各方向）に一定量ずつずらす（シフト移動させる）制御を行う機能を有する。このとき、ずらし位置の基点は初期位置記憶部２２に記憶された初期位置座標に設定し、１回のシフト量は１画素に設定する。なお、複数画素からなる画素ブロックを構成してこの画素ブロックを１回のシフト量としてもよい。
【００２３】
画像比較処理部１２２は、上記画像ずらし制御部１２１によりずらし対象の画像データが１回シフト移動されるごとに、このずらし対象の画像データと固定されている画像データの重なり合っている領域の相対する画素同士を比較し、そのＲＧＢ（Red-Green-Blue）値が一致するか否かを判定する機能を有する。
【００２４】
一致度数計算部１２３は、以下の処理機能を有する。
(1) 上記画像比較処理部１２２による判定結果をもとに、ＲＧＢ値が一致すると判定されたときに係数を“１”とし、一致しないと判定されたときに係数を“０”として、当該画素の一致度数を計算する処理。
(2) (1) により計算された各画素の一致度数を、上記重なり合っている領域中の全ての画素について合計する処理。
(3) (2) により求められた一致度数の合計値を、暫定最大値保持部２３に保持された、前回のシフト移動までに得られた一致度数合計の最大値と比較する。そして、今回のシフト移動により得られた一致度数合計が、前回のシフト移動までに得られた一致度数合計の最大値より大きければ、暫定最大値保持部２３に保持されている値を今回のシフト移動により得られた一致度数合計に更新し、以下であれば暫定最大値保持部２３に保持されている値を維持する処理。
(4) (3) により、暫定最大値保持部２３に保持されている値を今回のシフト移動により得られた一致度数合計に更新された場合に、ずらし位置保持部２４に保持されているずらし位置座標を今回のシフト移動によるずらし位置座標に更新する処理。
【００２５】
一致領域特定部１２４は、全てのずらし位置における上記一致度数計算部１２３による(1) 〜(4) の処理が終了した後に、上記ずらし位置保持部２４に最終的に保持されているずらし位置座標を読み出し、この読み出されたずらし位置座標と固定座標とから表示画像が一致する領域を特定する。そして、この特定された領域に含まれる画像データを上記ずらし対象の画像データ又は固定されている画像データから抽出する機能を有する。
【００２６】
検出結果送信部１３は、上記一致領域特定部１２４により特定された一致領域に表示されていた画像データを、ユーザの識別情報と共に、通信インタフェースユニット４から要求元のサービス提供事業者の端末へ送信する機能を有する。
（動作）
以上のように構成された情報通信端末による類似画像領域の検出処理動作を説明する。図２はその処理手順と処理内容を示すフローチャートである。
なお、ここでは複数のアプリケーション・プログラムが起動し、これらのアプリケーション・プログラムによりＷｅｂサイトから取得されたコンテンツや記録媒体から読込まれたコンテンツが表示デバイス３２に異なるウィンドウにより表示されているものとして説明を行う。各コンテンツはテキストデータ、画像データ及び音楽データの何れを含むものでもよい。
【００２７】
（１）表示画面のキャプチャ処理
上記複数のコンテンツがウィンドウ表示された状態で、制御ユニット１は画面キャプチャ処理部１１を起動する。そして、この画面キャプチャ処理部１１の制御の下で、表示デバイス３２に表示されている１画面の表示情報を入出力インタフェースユニット３から予め設定された一定の時間間隔で取り込み、この１画面の表示情報を取り込むごとに、当該１画面の画面イメージを画像データの形式で取得タイミングを表す情報と関連付けて検査対象画像記憶部２１に記憶させる。したがって、検査対象画像記憶部２１には、上記表示デバイス３２に表示された画面イメージの時系列変化を表す画像データの集合が蓄積されることになる。
【００２８】
（２）一致領域検出処理
制御ユニット１は、一致領域検出部１２の制御の下で、先ずステップＳ１により、上記検査対象画像記憶部２１から検査対象となる２枚の画像データ、例えば表示タイミングが一定時間離れている２枚の画像データを読み出し、この読み出された２枚の画像データの一方をずらし画像、他方を固定画像にそれぞれ設定する。そして、ステップＳ２により初期位置記憶部２２からずらし制御の初期位置座標を読み出す。
【００２９】
制御ユニット１は、次にステップＳ３に移行し、このステップＳ３により以下のように一致領域の検出処理を実行する。すなわち、先ずステップＳ３１により、上記ずらし画像のずらし位置座標を上記読み出された初期位置座標に設定する。次にステップＳ３２において、ずらし画像と固定画像とを重ね合わせたと仮定した状態で、重なる領域に含まれる全ての画素について上記ずらし画像及び固定画像のＲＧＢ値をそれぞれ検出する。
【００３０】
そしてステップＳ３３において、上記各画素の１つを選択し、当該画素について検出された各ＲＧＢ値を比較して一致するか否かを判定する。このとき、一致するか否かの判定は完全一致としてもよいが、予め設定された差の範囲内で一致しているか否かを判定するものとしてもよい。
【００３１】
上記ステップＳ３３による判定の結果、各ＲＧＢ値が一致したとする。そうすると、一致領域検出部１２はステップＳ３４に移行し、当該画素についての一致度数を計算してその結果を制御ユニット１内の作業メモリに保存する。この一致度数の計算は、ＲＧＢ値が一致したときの係数として“１”を用意しておき、基準値に対しこの一致係数“１”を掛けることにより行われる。例えば、基準値が「１」であれば一致度数は「１」となる。
【００３２】
一方、上記ステップＳ３３による判定の結果、ＲＧＢ値が一致しなかったとする。この場合には、ステップＳ３５に移行し、上記重なる領域に含まれる全ての画素についてＲＧＢ値の一致判定処理が終了したか否かを判定する。この判定の結果、未判定の画素が残っていれば、ステップＳ３３に戻ってこの未判定の画素の１つを選択して上記ＲＧＢ値の一致判定処理を行う。以後、未判定の画素が無くなるまで未判定の各画素について以上の処理を繰り返す。
【００３３】
上記ステップＳ３５において、全画素についてＲＧＢ値の一致判定処理が終了すると、一致領域検出部１２１は次にステップＳ３６に移行し、上記ステップＳ３４により算出され保存されている各画素の一致度数を、上記重なり合っている領域中の全ての画素について合計する。そして、この一致度数の合計値を、暫定最大値保持部２３に保持された、前回のシフト移動までに得られた一致度数合計の最大値と比較する。
【００３４】
この比較の結果、今回のシフト移動により得られた一致度数合計が、前回のシフト移動までに得られた一致度数合計の最大値より大きければ、ステップＳ３７において、暫定最大値保持部２３に保持されている値を今回のシフト移動により得られた一致度数合計に更新する。またそれと共に、ずらし位置保持部２４に保持されている前回のシフト移動までのずらし位置座標を、今回のシフト移動によるずらし位置座標に更新する。
【００３５】
なお、今回のシフト移動により得られた一致度数合計が、前回のシフト移動までに得られた一致度数合計の最大値以下であれば、暫定最大値保持部２３に保持されている値と、ずらし位置保持部２４に保持されているずらし位置座標を維持する。
【００３６】
上記暫定最大値及びずらし位置座標の更新処理が終了すると、制御ユニット１は全てのシフト移動を終了したか否かをステップＳ４により判定し、まだ終了していなければステップＳ３に戻ってずらし対象の画像データを１画素分シフトさせ、上記した一致領域の検出処理を実行する。以後、全てのシフト移動を終了するまで、ずらし対象の画像データを１画素分シフトしながら、上記ステップＳ３による一致領域の検出処理を繰り返す。なお、ずらし対象の画像データの１回のシフト移動量は、１画素以外に複数の画素により構成される画素ブロックとしてもよい。
【００３７】
一方、上記全てのシフト移動位置における一致領域の検出処理が終了すると、制御ユニット１は一致領域特定部１２４を起動する。そして、この一致領域特定部１２４の制御の下、先ず上記ずらし位置保持部２４に最終的に保持されているずらし位置座標を読み出し、この読み出されたずらし位置座標と固定座標とから表示画像が一致する領域を特定する。そして、この特定された領域に含まれる部分画像データを上記ずらし対象の画像データ又は固定されている画像データから抽出する。
【００３８】
例えば、上記暫定最大値が得られたときのずらし位置座標をもとに、当該ずらし位置座標において算出された一致度数が“１”の画素の集合を図示しない一致画素記憶部から読み出し、この読み出された一致画素の集合から一致画像領域を特定する。そして、この特定された一致画像領域に含まれる部分画像データを固定画像データから抽出する。
【００３９】
以上述べた一致領域検出処理の具体例を図３及び図４を用いて説明する。
いま図３に示すようにずらし画像として画像データＤ１を、また固定画像として画像データＤ２を選択したとする。そして、画像データＤ１と画像データＤ２を重ね合わせ、重なる領域に含まれる全ての画素についてＲＧＢ値を検出してその一致度数を計算し、さらにこの一致度数合計を計算してその暫定最大値を保持する。この結果、上記図３に示した画像データＤ１，Ｄ２の場合、ウィンドウＢ１−１とＢ１−２が同一内容を表示しているウィンドウであるとすれば、これらの画像データＤ１，Ｄ２を図４に示すようなシフト位置で重ねたとき、一致度数合計が最大値を示す。すなわち、上記ウィンドウＢ１−１とＢ１−２の全域が重なったときに一致度数合計は最大値を示すことになる。したがって、このときの一致度数が“１”となる画素集合の領域を保存しておけば、この一致度数が“１”となる画素集合の領域をそのまま一致画像領域とすることができる。
【００４０】
（３）検出結果の送信
制御ユニット１は、最後にステップＳ５において検出結果送信部１３を起動する。そして、この検出結果送信部１３の制御の下、先ず上記抽出された一致画像領域に含まれる部分画像データの内容を認識するための処理を行う。認識処理の方法としては、例えば文字認識によりテキスト情報を抽出するものや、ＱＲコード等のコード情報を抽出するものが適用できる。また、予め抽出されることが予測される画像等については、当該予測画像を参照画像として予め記憶ユニット２に記憶しておき、この予測画像との類似度をもとに画像データの内容を認識するようにしてもよい。
なお、画像認識処理の実行タイミングについては、時間的なパラメータや領域画像データに関するパラメータ、ユーザの操作や外部の端末等からのアクセスなどをトリガとして任意に設定することができる。
【００４１】
次に制御ユニット１は、上記検出結果送信部１３の制御の下、上記一致画像領域に含まれる部分画像データの内容を認識したデータを、ユーザの識別情報と共に通信インタフェースユニット４からサービス提供事業者のサーバ又は端末へ送信する。このとき、サービス提供事業者のアドレス又はＵＲＬは記憶ユニット２に予め登録してあるものを使用する。なお、上記検出結果データの送信処理は、サービス提供事業者の端末から解析データの取得要求が送られた時に実行するようにしてもよい。
【００４２】
サービス提供事業者は、上記解析データを受け取ると、当該解析データをもとにユーザの興味の対象を推定する。そして、この興味の推定結果をもとに当該ユーザに提供すべき、例えば商品やサービス、イベントに関する情報を選択し、配信する。
【００４３】
（実施形態の作用効果）
以上詳述したようにこの実施形態では、表示タイミングの異なる２枚の画像データを重ね合わせた状態で、その一方の画像データの位置座標を二次元方向（Ｘ軸、Ｙ軸の各方向）に一定量シフトするごとに、当該画像データ間で画素ごとにそのＲＧＢ値の一致度数を計算してその全画素の合計を求め、この一致度数合計が最大値を示すときの画像データのシフト位置座標から一致画像領域を検出するようにしている。
【００４４】
したがって、検出対象の画像を予め指定することなく、２枚の画像データ中の類似画像を検出することが可能となり、しかも２枚の画像データを相対的にシフト移動しながら類似画素を検出するようにしているので、類似画像が画像データ中のどこに移動していても当該類似画像領域を抽出することが可能となる。
【００４５】
またこの実施形態では、一致領域を検出する際に、シフト移動が行われるごとに、今回のシフト移動により得られたＲＧＢ値の一致度数合計を、保存されている前回のシフト移動までに得られた一致度数合計と比較している。そして、今回のシフト移動により得られた一致度数合計が上記保存されている値より大きい場合に、当該保存されている値が今回のシフト移動により得られた一致度数合計に更新すると共に、今回のシフト移動位置を表す情報を保存するようにしている。このため、シフト移動が行われるごとに得られた一致度数合計とシフト移動位置の情報を全て保存する場合に比べ、記憶ユニット２の記憶容量を減らすことができる。
【００４６】
［他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では、画像データをＸ軸及びＹ軸の両方向に、つまり二次元方向にシフト移動させるようにしたが、ウィンドウが水平方向又は垂直方向にしか移動しない画像データであれば、Ｘ軸方向又はＹ軸方向の何れか一方にのみシフト移動させるようにしてもよい。
【００４７】
また前記実施形態では、画像比較処理部１２２による判定結果をもとに、ＲＧＢ値が一致すると判定されたときに係数を“１”とし、一致しないと判定されたときに係数を“０”として、当該画素の一致度数を計算するようにした。しかしそれに限らず、ＲＧＢ値が一定の差の範囲内で一致すると判定された場合に、当該ＲＧＢ値の差分を求め、その差分値に応じて、差分値が小さいほど大きくなるように設定した係数を基準値に掛けるようにしてもよい。このようにすると、ＲＧＢ値が一致すると判定された場合でも、その一致の程度、つまり類似度を定量化して同一領域の抽出処理に使用することができる。
【００４８】
その他、情報通信端末の種類や構成、一致領域検出処理の処理手順及び処理内容、検査対象の画像の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００４９】
１…制御ユニット、２…記憶ユニット、３…入出力インタフェースユニット、４…通信インタフェースユニット、１１…画像キャプチャ処理部、１２…一致領域検出部、１３…検出結果送信部、２１…検査対象画像記憶部、２２…初期位置記憶部、２３…暫定最大値保持部、２４…ずらし位置保持部、３１…入力デバイス、３２…表示デバイス、１２１…画像ずらし制御部、１２２…画像比較処理部、１２３…一致度数計算部、１２４…一致領域特定部。
【特許請求の範囲】
【請求項１】
コンピュータが、各々が表示画面を構成する複数の画像データを第１の記憶手段に格納する過程と、
前記コンピュータが、前記第１の記憶手段から、表示タイミングの異なる第１及び第２の画像データを読み出し、この読み出された第１の画像データに対する第２の画像データの位置を予め設定した画素ブロック単位でシフト移動させるごとに、当該第１の画像データと第２の画像データとの画素値を比較する比較過程と、
前記コンピュータが、前記比較過程による画像データの比較結果に基づいて、画素値が予め設定した差の範囲内で一致する領域を前記第１又は第２の画像データ中から類似画像領域を表す情報として抽出する抽出過程と
を具備することを特徴とする類似画像領域検出方法。
【請求項２】
前記比較過程は、
第１の画像データに対する第２の画像データの位置を前記画素ブロック単位でシフト移動させるごとに、
当該第１の画像データと第２の画像データとの間でその画素値を前記画素ブロック単位で比較し、当該画素値が前記予め設定した差の範囲内で一致した場合に当該画素ブロックの一致度数を計算し、
前記計算された画素ブロックの一致度数の、前記第１又は第２の画像データ全体における合計値を計算し、
今回のシフト移動により得られた前記一致度数の合計値を、第２の記憶手段に保存されている前回のシフト移動までに得られた一致度数の合計値と比較し、今回のシフト移動により得られた一致度数の合計値が前記保存されている値より大きい場合に、当該保存されている値を今回のシフト移動により得られた一致度数の合計値に更新すると共に、今回のシフト移動位置を表す情報を第３の記憶手段に保存し、
前記抽出過程は、
全てのシフト移動が終了した後、前記第３の記憶手段に記憶されているシフト移動位置を表す情報を読み出し、
当該シフト移動位置をもとに、前記第１又は第２の画像データから当該第１及び第２の画像データ間の類似画像領域を抽出する
ことを特徴とする請求項１記載の類似画像領域検出方法。
【請求項３】
前記比較過程は、前記第１の画像データと第２の画像データとの間でそのＲＧＢ値を前記画素ブロック単位で比較し、ＲＧＢ値が一致した場合に係数を１、一致しない場合に係数を０として当該画素ブロックの一致度数を計算することを特徴とする請求項２記載の類似画像領域検出方法。
【請求項４】
各々が表示画面を構成する複数の画像データを記憶する第１の記憶手段と、
前記第１の記憶手段から、表示タイミングの異なる第１及び第２の画像データを読み出し、この読み出された第１の画像データに対する第２の画像データの位置を予め設定した画素ブロック単位でシフト移動させるごとに、当該第１の画像データと第２の画像データとの画素値を比較する比較手段と、
前記比較手段による画像データの比較結果に基づいて、画素値が予め設定した差の範囲内で一致する領域を前記第１又は第２の画像データ中から類似画像領域を表す情報として抽出する抽出手段と
を具備することを特徴とする類似画像領域検出装置。
【請求項５】
請求項１乃至３のいずれかに記載の類似画像領域検出方法が備える各過程を実現する処理を、コンピュータに実行させるプログラム。
【請求項１】
コンピュータが、各々が表示画面を構成する複数の画像データを第１の記憶手段に格納する過程と、
前記コンピュータが、前記第１の記憶手段から、表示タイミングの異なる第１及び第２の画像データを読み出し、この読み出された第１の画像データに対する第２の画像データの位置を予め設定した画素ブロック単位でシフト移動させるごとに、当該第１の画像データと第２の画像データとの画素値を比較する比較過程と、
前記コンピュータが、前記比較過程による画像データの比較結果に基づいて、画素値が予め設定した差の範囲内で一致する領域を前記第１又は第２の画像データ中から類似画像領域を表す情報として抽出する抽出過程と
を具備することを特徴とする類似画像領域検出方法。
【請求項２】
前記比較過程は、
第１の画像データに対する第２の画像データの位置を前記画素ブロック単位でシフト移動させるごとに、
当該第１の画像データと第２の画像データとの間でその画素値を前記画素ブロック単位で比較し、当該画素値が前記予め設定した差の範囲内で一致した場合に当該画素ブロックの一致度数を計算し、
前記計算された画素ブロックの一致度数の、前記第１又は第２の画像データ全体における合計値を計算し、
今回のシフト移動により得られた前記一致度数の合計値を、第２の記憶手段に保存されている前回のシフト移動までに得られた一致度数の合計値と比較し、今回のシフト移動により得られた一致度数の合計値が前記保存されている値より大きい場合に、当該保存されている値を今回のシフト移動により得られた一致度数の合計値に更新すると共に、今回のシフト移動位置を表す情報を第３の記憶手段に保存し、
前記抽出過程は、
全てのシフト移動が終了した後、前記第３の記憶手段に記憶されているシフト移動位置を表す情報を読み出し、
当該シフト移動位置をもとに、前記第１又は第２の画像データから当該第１及び第２の画像データ間の類似画像領域を抽出する
ことを特徴とする請求項１記載の類似画像領域検出方法。
【請求項３】
前記比較過程は、前記第１の画像データと第２の画像データとの間でそのＲＧＢ値を前記画素ブロック単位で比較し、ＲＧＢ値が一致した場合に係数を１、一致しない場合に係数を０として当該画素ブロックの一致度数を計算することを特徴とする請求項２記載の類似画像領域検出方法。
【請求項４】
各々が表示画面を構成する複数の画像データを記憶する第１の記憶手段と、
前記第１の記憶手段から、表示タイミングの異なる第１及び第２の画像データを読み出し、この読み出された第１の画像データに対する第２の画像データの位置を予め設定した画素ブロック単位でシフト移動させるごとに、当該第１の画像データと第２の画像データとの画素値を比較する比較手段と、
前記比較手段による画像データの比較結果に基づいて、画素値が予め設定した差の範囲内で一致する領域を前記第１又は第２の画像データ中から類似画像領域を表す情報として抽出する抽出手段と
を具備することを特徴とする類似画像領域検出装置。
【請求項５】
請求項１乃至３のいずれかに記載の類似画像領域検出方法が備える各過程を実現する処理を、コンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−８４１８３（Ｐ２０１３−８４１８３Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２４７６８（Ｐ２０１１−２２４７６８）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]