興味推定支援装置、方法及びプログラム
【課題】ユーザの興味推定の候補となる画面を漏れなく抽出できるようにし、これによりユーザの興味を高精度に推定可能とする。
【解決手段】画面キャプチャ処理部１１により表示デバイス３２の表示画面を一定の時間間隔でキャプチャしてその画面イメージデータを表示履歴記憶部２１に順次蓄積する。そして、変化なし領域抽出部１２により、上記蓄積された時刻の異なる２つの画面イメージデータ間の差分を求め、この差分をもとに変化なし領域を抽出してその画像データを領域画像データ記憶部２２に記憶する。そして、この記憶された変化なし領域の画像データの内容を画像認識部１４により認識し、この認識結果を解析データとして解析データ記憶部２４に保存すると共にサービス提供事業者等へ送信する。
【解決手段】画面キャプチャ処理部１１により表示デバイス３２の表示画面を一定の時間間隔でキャプチャしてその画面イメージデータを表示履歴記憶部２１に順次蓄積する。そして、変化なし領域抽出部１２により、上記蓄積された時刻の異なる２つの画面イメージデータ間の差分を求め、この差分をもとに変化なし領域を抽出してその画像データを領域画像データ記憶部２２に記憶する。そして、この記憶された変化なし領域の画像データの内容を画像認識部１４により認識し、この認識結果を解析データとして解析データ記憶部２４に保存すると共にサービス提供事業者等へ送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ディスプレイに表示された画面をもとにユーザの興味を推定するための情報を抽出する興味推定支援装置、方法及びプログラムに関する。
【背景技術】
【０００２】
パーソナル・コンピュータやスマートホン、タブレット型端末等の情報端末には、ユーザが興味を持っている情報が表示される傾向性がある。そこで、ユーザの興味を推定する手段の１つとして、例えばパーソナル・コンピュータにおいてユーザの活動履歴を作成し、この活動履歴を関連のある作業や興味ごとにグループ化する方法が提案されている。例えば、特許文献１に記載された方法では、アプリケーションにより表示されるウィンドウごとにその表示情報や通信先の履歴を記録してこの記録情報を分析するようにしており、これによりユーザの関心事や嗜好の推定を可能にしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２４３８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、リモートデスクトップやVirtual Machine等のように、あるアプリケーションの実行中に当該アプリケーションに含まれる別のアプリケーションが実行してその情報が表示されるような場合には、ウィンドウごとに表示情報の表示履歴を記録しただけでは、アプリケーションごとの表示履歴を収集することができない。また、複数のアプリケーションが並行して動作している場合には、それぞれのアプリケーションのウィンドウが重なり合って表示される場合がある。このような場合、ウィンドウ単位で画面の表示履歴を記録すると、ユーザが実質的に見ていない内容についても表示履歴として記録されることになり、この表示履歴の情報に対しユーザが興味を持っていると誤った推定がなされる恐れがある。
【０００５】
なお、ウィンドウ全体が表示される可能性が高いアクティブウィンドウの表示情報だけを表示履歴として記録する方法も考えられるが、ユーザによってはアクティブウィンドウの背面に一部だけが表示されたウィンドウへの表示内容を参照していることも多く、この場合にもユーザの興味を精度良く推定することはできない。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザの興味推定の候補となる表示情報を漏れなく抽出できるようにし、これによりユーザの興味を高精度に推定することが可能な興味推定支援装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明の第１の観点は、ディスプレイに表示される画面の時系列変化を表示履歴情報としてメモリに蓄積し、この蓄積された表示履歴情報をもとに、異なるタイミングに得られた複数の画面間の差分を検出することにより、同一内容の表示情報が予め設定した時間以上連続して表示されている領域を無変化領域として抽出し、この抽出された無変化領域に表示されている情報を、ユーザの興味推定に使用する情報として記憶するようにしたものである。
【０００８】
したがって、ディスプレイに表示された画面の表示履歴の中から、同一内容の情報が長時間に渡って表示されている領域（ウィンドウ）が抽出され、この抽出された領域の表示情報がユーザの興味推定に使用する情報として出力される。一般に、ディスプレイにおける情報の表示時間が長ければその表示情報に対するユーザの興味の度合いは高いと言える。このため、上記したように表示時間の長さに着目してユーザの興味推定に使用する表示情報を抽出するようにしたことによって、例えばリモートデスクトップやVirtual Machineのようにアプリケーションの中に別のアプリケーションが存在してその画面が表示される場合や、複数のアプリケーションが並行して動作することで複数のウィンドウが重なり合って表示される場合であっても、ユーザの興味推定に適切した情報を漏れなく抽出し提供することが可能となる。
【０００９】
この発明の第２の観点は、上記無変化領域として抽出されなかった変化領域が存在する場合に、異なるタイミングに得られた複数の変化領域間で表示情報のマッチングを行って、同一内容の情報を表示している変化領域を表示位置が移動した移動領域として抽出し、この抽出された移動領域に表示されている情報を、上記ユーザの興味を推定するための情報として出力するようにしたものである。
このようにすると、同一内容の情報が表示された領域がユーザのウィンドウ操作等により別の位置に移動した場合でも、この領域をユーザの興味推定に適した表示情報として抽出することが可能となる。したがって、ユーザの興味推定に適切した情報を、さらに漏れなく抽出し提供することが可能となる。
【発明の効果】
【００１０】
すなわちこの発明によれば、ユーザの興味推定の候補となる表示情報を漏れなく抽出することができ、これによりユーザの興味を高精度に推定することが可能な興味推定支援装置、方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の一実施形態に係る興味推定支援機能を備えた情報通信端末の機能構成を示すブロック図。
【図２】図１に示した情報通信端末による興味推定支援処理の手順と処理内容を示すフローチャート。
【図３】タイミングｔ１における画面キャプチャデータの一例を示す図。
【図４】タイミングｔ２における画面キャプチャデータの一例を示す図。
【図５】図３及び図４に示した画面から抽出された変化なし領域のマスキング画像を示す図。
【図６】図３及び図４に示した画面から抽出された変化あり領域と変化なし領域（継続可視領域の一例を示す図。
【発明を実施するための形態】
【００１２】
以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
この発明の一実施形態に係る興味推定支援方法を実施するための機能を備えた情報通信端末の構成を示すブロック図である。
この実施形態における情報通信端末は、ユーザが使用するパーソナル・コンピュータ、スマートホン或いはタブレット型端末からなり、制御ユニット１と、記憶ユニット２と、入出力インタフェースユニット３と、通信インタフェースユニット４を備えている。
【００１３】
入出力インタフェースユニット３には、キーボードやマウス、或いはタブレットを使用した入力デバイス３１と、液晶又は有機ＥＬを用いた表示デバイス３２が接続されている。入出力インタフェースユニット３は、入力デバイス３１において入力された操作情報を制御ユニット１に与えると共に、制御ユニット１から出力された表示情報を表示デバイス３２に表示させる。
【００１４】
通信インタフェースユニット４は、制御ユニット１の制御の下で、通信相手となるサーバ又は端末との間で図示しない通信ネットワークを介して情報通信を行う。通信ネットワークは、例えばＩＰ（Internet Protocol）網と、このＩＰ網にアクセスするためのアクセス網とから構成される。アクセス網としては、有線加入者網、ＬＡＮ（Local Area Network）、ＣＡＴＶ（Cable Television）網、携帯電話網や無線ＬＡＮ等の移動通信網が用いられる。
【００１５】
記憶ユニット２は、記憶媒体としてＨＤＤやＳＳＤ等の随時書込み及び読出しが可能な不揮発性メモリを使用したもので、この実施形態を実施する上で必要な記憶領域として、表示履歴記憶部２１と、領域画像データ記憶部２２と、変化あり領域画像データ記憶部２３と、解析データ記憶部２４を備えている。
【００１６】
表示履歴記憶部２１は、後述する画面キャプチャ処理部１１により、表示デバイス３２に表示された画面のイメージを表す画像データが得られるごとに、この画像データを画面の表示履歴を表す情報として記憶するために用いられる。
【００１７】
領域画像データ記憶部２２は、後述する変化なし領域抽出部１２により抽出される、表示画面内で表示画像が一定時間以上変化しない領域の画像データと、後述する移動領域抽出部１３により抽出される、表示画面内で表示位置が移動した領域の表示画像データを記憶するために用いられる。
【００１８】
変化あり領域画像データ記憶部２３は、後述する移動領域抽出部１３の移動領域抽出処理に使用するために、表示画面内で表示画像が一定時間内に変化した領域の画像データを記憶するために用いられる。
【００１９】
解析データ記憶部２４は、後述する画像認識部１４により認識される、表示画像の内容を表す情報を解析データとして記憶するために用いられる。
【００２０】
制御ユニット１は、中央処理ユニット（Central Processing Unit；ＣＰＵ）を備え、この実施形態を実施する上で必要な処理機能として、画面キャプチャ処理部１１と、変化なし領域抽出部１２と、移動領域抽出部１３と、画像認識部１４と、解析データ送信制御部１５とを有している。これらの処理機能は何れも図示しないプログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。
【００２１】
画面キャプチャ処理部１１は、表示デバイス３２に表示されている１画面の情報を入出力インタフェースユニット３から予め設定された一定の時間間隔で取り込む。そして、１画面の情報を取り込むごとに、この取り込まれた１画面の画面イメージを画像データの形式で抽出して、この画面イメージを表す画像データを表示履歴記憶部２１に記憶させる処理を実行する。
【００２２】
変化なし領域抽出部１２は、時系列上で異なるタイミング（例えば隣接する２つのサンプリングタイミング）において得られた２つの画面イメージデータを重ね合わせてその差分を検出することにより、表示画像が同一の領域、つまり画像の変化がない領域を抽出する処理を実行するもので、マスク画像生成部１２１と、変化なし領域画像抽出部１２２を有する。
【００２３】
マスク画像生成部１２１は、変化なし領域のマスク画像を生成するもので、上記画面キャプチャ処理部１１により異なるタイミングに得られた２つの画面イメージデータ間の画素ごとの差分値をもとに、画素の変化の有無を“０／１”で表したマスク画像を生成する。なお、画面イメージデータがＲＧＢ画像データの場合には、Ｒ、Ｇ、Ｂの３つの画像データに分解してこれらのＲ、Ｇ、Ｂの画像データごとに比較し、３つの画像データとも同一値である画素については“０”を、１つでも異なる画素については“１”をそれぞれ設定することにより、マスク画像を生成する。
【００２４】
変化なし領域画像抽出部１２２は、上記マスク画像を生成する際に使用した２つの画面イメージデータのいずれか１つに対し、当該マスク画像に基づくマスク処理を実行する。ここでのマスク処理とは、マスク画像の値が“０”の画素に対しては画面イメージデータの画素値をそのまま設定し、“１”の画素に対しては塗り潰しの画像値として“１”を設定する。なお、画面イメージデータがＲＧＢ画像データの場合にも、同様にマスク画像の値が“０”の画素についてはＲ、Ｇ、Ｂのそれぞれの値をそのまま適用し、“１”の画素についてはＲ、Ｇ、Ｂの全てに“１”を設定する。
【００２５】
移動領域抽出部１３は、上記変化なし領域抽出部１２による抽出処理の結果、変化なし領域として抽出されなかった領域、つまり変化あり領域について、当該領域が画面内で移動しているか否かを判定するもので、輪郭図形抽出部１３１と、移動先検出部１３２を有する。
【００２６】
輪郭図形抽出部１３１は、変化なし領域として抽出されなかった領域、つまり変化ありの領域をマスク処理により抽出するもので、先ず上記変化なし領域抽出部１２により生成されたマスク画像の“０／１”を反転させた反転マスク画像を生成する。次に、上記変化なし領域画像抽出部１２２における処理と同様に、マスク画像を生成する際にもとになった２つの画面イメージデータのうち時系列的に古い画面イメージデータに対し反転マスク画像を適用し、これにより変化あり領域を抽出する。そして、この抽出された画像データを変化あり領域画像データ記憶部２３に記憶させる。
【００２７】
移動先検出部１３２は、マスク画像を生成する際にもとになった２つの画面イメージデータのうち時系列的に新しい画面イメージデータを用いて、上記変化あり領域画像データ間でマッチング処理を行う。マッチング処理には、例えば「テンプレートマッチング法」を適用する。そして、上記マッチング処理により画像が合致する領域が検出された場合には、当該領域の画像データを領域画像データ記憶部２２に記憶させる。
【００２８】
画像認識部１４は、上記領域画像データ記憶部２２から変化なし領域の画像データ及び移動領域の画像データを読出し、当該画像データの内容を認識する処理を行う。そして、認識された画像データの内容を解析データとして解析データ記憶部２４に記憶させる処理を行う。
【００２９】
解析データ送信制御部１５は、上記変化なし領域及び移動領域の画像データの内容の解析処理が終了した時点で、解析データ記憶部２４から解析データを読み出し、この解析データをユーザの識別情報と共に、通信インタフェースユニット４から要求元のサービス提供事業者の端末へ送信する処理を行う。
【００３０】
（動作）
次に、以上のように構成された装置による興味推定支援動作を説明する。図２はその処理手順と処理内容を示すフローチャートである。
なお、ここでは複数のアプリケーション・プログラムが起動し、これらのアプリケーション・プログラムによりＷｅｂサイトから取得されたコンテンツや記録媒体から読込まれたコンテンツが表示デバイス３２に異なるウィンドウにより表示されているものとして説明を行う。各コンテンツはテキストデータ、画像データ及び音楽データの何れを含むものでもよい。
【００３１】
（１）表示画面のキャプチャ処理
上記複数のコンテンツがウィンドウ表示された状態で、制御ユニット１はステップＳ１により画面キャプチャ処理部１１を起動する。そして、この画面キャプチャ処理部１１の制御の下で、表示デバイス３２に表示されている１画面の表示情報を入出力インタフェースユニット３から予め設定された一定の時間間隔で取り込み、この１画面の表示情報を取り込むごとに、当該１画面の画面イメージを画像データの形式で取得タイミングを表す情報と関連付けて表示履歴記憶部２１に記憶させる。したがって、表示履歴記憶部２１には、上記表示デバイス３２に表示された画面イメージの時系列変化が表示履歴情報として蓄積されることになる。
【００３２】
（２）変化なし領域抽出処理
上記表示デバイス３２における表示動作が終了するか、又は表示開始後所定時間が経過すると、制御ユニット１は変化なし領域抽出部１２の制御の下で以下のように変化なし領域画像の抽出処理を実行する。
【００３３】
すなわち、先ずステップＳ２により、処理対象となる各画面イメージデータのうち、最も古いタイミングとその次に古いタイミングにおける画面イメージデータを表示履歴記憶部２１から読込み、ステップＳ３による変化なし領域抽出処理に移行する。
【００３４】
変化なし領域抽出処理Ｓ３では、先ずステップＳ３１において、上記表示履歴記憶部２１から読込まれた２つの２つの画面イメージデータ間で画素ごとに画素値の差分が算出され、この算出された画素の差分値をもとに、画素の変化の有無を“０／１”で表したマスク画像が生成される。具体的には、時系列的に連続する２つの画面イメージデータに対し、同一のＸＹ座標において同一の画素値であれば“０”、そうでなければ“１”とそれぞれ判定され、この判定処理がすべてのＸＹ座標について行われる。
【００３５】
例えば、いま上記２つの画面イメージデータが、図３の「画面１」に示すように異なる色領域（ウィンドウ）ＷＡ１，ＷＢ１，ＷＣ１，ＷＤ１により構成され、また図４の「画面２」に示すように異なる色領域（ウィンドウ）ＷＡ２，ＷＢ２，ＷＣ２，ＷＤ２により構成されていたとする（ＷＡ１とＷＡ２は同一色）。この場合、これらの「画面１」及び「画面２」の各イメージデータ間で画素ごとにその差分値を求め、その変化の有無を判定してその判定結果を“１／０”で表すと、図５に示すようなマスク画像が生成される。
【００３６】
次にステップＳ３２において、上記マスク画像を生成する際に使用した上記２つの画面イメージデータのいずれか１つに対し、当該マスク画像に基づくマスク処理が実行される。例えば、マスク画像の値が“０”の画素に対しては画面イメージデータの画素値がそのまま設定され、“１”の画素に対しては塗り潰しの画像値として“１”が設定される。
【００３７】
例えば、上記図５に示したマスク画像を用いて、上記２つの画面イメージデータのうちの「画面１」に対しマスク処理を行うと、画素値が変化しない領域ＷＡ１の一部と、ＷＢ１及びＷＤ１の全部については図６に示すように「画面１」のイメージデータの画素値がそのまま設定され、画素値が変化した他の領域については図６に示すように濃度が一定の塗り潰しの画像値が設定される。
【００３８】
なお、画面イメージデータがＲＧＢ画像データの場合には、Ｒ、Ｇ、Ｂの３つの画像データに分解されてこれらのＲ、Ｇ、Ｂの画像データごとに画素の差分が算出され、３つの画像データとも同一値である画素については“０”が、また１つでも異なる画素については“１”がそれぞれ設定されたマスク画像が生成される。そして、マスク画像の値が“０”の画素については画面イメージデータのＲ、Ｇ、Ｂの値がそのまま設定され、“１”の画素については画面イメージデータのＲ、Ｇ、Ｂの全てに“１”が設定される。
以上のようにして抽出された変化なし領域の画像データは、ステップＳ３３により領域画像データ記憶部２２に格納される。
【００３９】
（３）移動領域の抽出処理
上記変化なし領域の抽出処理において、変化なし領域として抽出されなかった領域であっても、表示内容が同一のまま画面中の別の位置に移動している可能性がある。このため、制御ユニット１は移動領域抽出部１３を起動し、この移動領域抽出部１３の制御の下で、上記変化なし領域として抽出されなかった領域の中から移動領域を抽出する。
【００４０】
移動領域抽出部１３は、先ずステップＳ４において、上記変化なし領域抽出処理により変化なし領域として抽出されなかった領域、つまり変化あり領域の有無を判定する。そしてこの判定の結果、変化あり領域が存在する場合にはステップＳ５による移動領域抽出処理に移行する。
【００４１】
移動領域抽出処理Ｓ５では、先ずステップＳ５１により、上記変化なし領域抽出部１２により生成されたマスク画像の“０／１”を反転させた反転マスク画像が生成される。そして、上記変化なし領域画像抽出処理（ステップＳ３２）による処理と同様に、マスク画像を生成する際に使用した２つの画面イメージデータのうち時系列的に古い画面イメージデータに対し反転マスク画像が適用され、これにより変化あり領域の輪郭図形が抽出される。そして、この抽出された変化あり領域の輪郭図形は変化あり領域画像データ記憶部２３に記憶される。
【００４２】
次にステップＳ５２において、上記抽出された変化なし領域の輪郭図形が移動したか否かが以下のように判定される。すなわち、マスク画像を生成する際に使用した２つの画面イメージデータのうち時系列的に新しい画面イメージデータを用いて、上記変化あり領域画像データ間でマッチング処理が行われる。マッチング処理には、例えば「テンプレートマッチング法」が用いられる。そして、このマッチング処理により画像が合致する領域が検出されると、当該領域の画像データが移動領域の画像データとしてステップＳ５３により領域画像データ記憶部２２に記憶される。
【００４３】
なお、移動領域抽出処理を行うタイミングは、以上述べたように変化なし領域抽出部１２が変化なし領域の抽出処理を実行するごとに、それに追従して実行するようにしてもよいが、必ずしも追従して実行しなくてもよい。また、変化あり領域の画像データのサイズを予め設定された閾値と比較し、変化あり領域のサイズが閾値よりも小さい場合には、当該変化あり領域については移動領域抽出処理の対象から除外するようにしてもよい。
【００４４】
以上述べたステップＳ〜ステップＳ５による変化なし領域抽出処理及び移動領域抽出処理は、表示履歴記憶部２１に記憶された処理対象となる全ての画面イメージデータについて、時系列的に隣り合う画面イメージデータ間で順次実行される。そして、処理対象となる全ての画面イメージデータについての処理が終了したことがステップＳ６で検出されると、ステップＳ７に移行する。なお、上記ステップＳ〜ステップＳ５による処理は、必ずしも時系列的に隣り合う画面イメージデータ間で行わなくてもよく、１つ又は複数の画面イメージデータをスキップして処理を行ってもよい。
【００４５】
（４）変化なし領域及び移動領域の各表示情報の解析
処理対象となる全ての画面イメージデータについて、変化なし領域抽出処理及び移動領域抽出処理が終了すると、制御ユニット１は続いてステップＳ７により画像認識部１４を起動し、この画像認識部１４により以下のように表示情報の解析を実行する。
【００４６】
すなわち、先ず領域画像データ記憶部２２から、変化なし領域の画像データ及び移動領域の画像データをそれぞれ読出す。そして、この読み出された各画像データの内容を認識するための処理を行い、この認識処理により得られた情報をステップＳ８により解析データ記憶部２４に記憶させる。
【００４７】
認識処理の方法としては、例えば文字認識によりテキスト情報を抽出するものや、ＱＲコード等のコード情報を抽出するものが適用できる。また、予め抽出されることが予測される画像等については、当該予測画像を参照画像として予め記憶ユニット２に記憶しておき、この予測画像との類似度をもとに画像データの内容を認識するようにしてもよい。
なお、画像認識処理の実行タイミングについては、時間的なパラメータや領域画像データに関するパラメータ、ユーザの操作や外部の端末等からのアクセスなどをトリガとして任意に設定することができる。
【００４８】
（５）解析データの送信
上記変化なし領域及び移動領域の各画像データの内容解析処理が終了すると、制御ユニット１は最後にステップＳ９により解析データ送信制御部１５を起動する。そして、この解析データ送信制御部１５の制御の下で、解析データ記憶部２４から解析データを読出し、この解析データをユーザの識別情報と共に通信インタフェースユニット４からサービス提供事業者の端末へ送信する。このとき、サービス提供事業者のアドレス又はＵＲＬは記憶ユニット２に予め登録してあるものを使用する。なお、上記解析データの送信処理は、サービス提供事業者の端末から解析データの取得要求が送られた時に実行するようにしてもよい。
【００４９】
サービス提供事業者は、上記解析データを受け取ると、当該解析データをもとにユーザの興味の対象を推定する。そして、この興味の推定結果をもとに当該ユーザに提供すべき、例えば商品やサービス、イベントに関する情報を選択し、配信する。
【００５０】
（実施形態の作用効果）
以上詳述したようにこの実施形態では、画面キャプチャ処理部１１により表示デバイス３２の表示画面を一定の時間間隔でキャプチャしてその画面イメージデータを表示履歴記憶部２１に蓄積する。そして、変化なし領域抽出部１２により、上記蓄積された時刻の異なる２つの画面イメージデータ間の差分を求め、この差分をもとに変化なし領域を抽出してその画像データを領域画像データ記憶部２２に記憶する。そして、この記憶された変化なし領域の画像データの内容を画像認識部１４により認識し、この認識結果を解析データとして解析データ記憶部２４に保存すると共にサービス提供事業者等へ送信するようにしている。
【００５１】
したがって、表示デバイス３２に表示された画面の表示履歴の中から、同一内容の情報が長時間に渡って表示されている領域（ウィンドウ）が抽出され、この抽出された領域の表示情報がユーザの興味推定に使用する情報として出力される。一般に、表示デバイス３２における情報の表示時間が長ければその表示情報に対するユーザの興味の度合いは高いと言える。このため、上記したように表示時間の長さに着目してユーザの興味推定に使用する表示情報を抽出するようにしたことによって、例えばリモートデスクトップやVirtual Machineのようにアプリケーションの中に別のアプリケーションが存在してその画面が表示される場合や、複数のアプリケーションが並行して動作することで複数のウィンドウが重なり合って表示される場合であっても、ユーザの興味推定に適切した情報を漏れなく抽出し提供することが可能となる。
【００５２】
またこの実施形態では、上記変化なし領域の抽出処理の結果、変化あり領域の存在が確認された場合に、移動領域抽出部１３により、上記２つの画面イメージデータの変化あり領域間で表示情報が同一のものがあるか否かを判定し、同一のものが見つかった場合に当該領域を移動領域と見なしてその画像データを領域画像データ記憶部２２に記憶するようにしている。そして、この記憶された移動領域の画像データの内容を画像認識部１４により認識し、この認識結果を解析データとして解析データ記憶部２４に保存すると共にサービス提供事業者等へ送信するようにしている。
【００５３】
したがって、同一内容の情報が表示された領域がユーザのウィンドウ操作等により別の位置に移動した場合でも、この領域をユーザの興味推定に適した表示情報として抽出することが可能となる。したがって、ユーザの興味推定に適切した情報を、さらに漏れなく抽出し提供することが可能となる。
【００５４】
［その他の実施形態］
なお、この発明は上記一実施形態に限定されるものではない。例えば、前記一実施形態では変化なし領域抽出処理、移動領域抽出処理及び画像認識処理の各機能と、領域画像データ記憶部２２、変化あり領域画像データ記憶部２３及び解析データ記憶部２４を何れも情報通信端末内に設けた場合を例にとって説明したが、情報通信端末と通信ネットワークを介して接続可能なサーバ等に設けてもよい。この場合、情報通信端末から画像の表示履歴情報を通信ネットワークを介してサーバへ送信し、サーバがこの送られた画像表示履歴情報をもとに変化なし領域抽出処理、移動領域抽出処理及び画像認識処理を実行することにより実現できる。
【００５５】
また、前記実施形態では表示デバイス３２における表示情報を一定の時間間隔でキャプチャして表示履歴情報に加えるようにしたが、マウスのクリック操作やアプリケーションの起動等のように表示画面が変化するタイミングに応じて実行するようにしてもよく、また一定の時間間隔で実行しつつ、さらに上記表示画面が変化するタイミングに応じて実行するようにしてもよい。また、表示情報を静止画像として記録する方法を例示したが、動画像として記録し、この動画像からその変化領域を抽出してもよい。
【００５６】
また、前記実施形態では表示デバイス３２に表示された情報からユーザの興味推定に使用する画像情報を抽出するために、変化なし領域の抽出処理と移動領域の抽出処理の２つの処理を行うようにしたが、いずれか一方のみを実行するようにしてもよい。
その他、興味推定支援装置として使用する情報通信装置の種類や、変化なし領域の抽出処理及び移動領域抽出処理の手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【００５７】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００５８】
１…制御ユニット、２…記憶ユニット、３…入出力インタフェースユニット、４…通信インタフェースユニット、１１…画面キャプチャ処理部、１２…変化なし領域抽出部、１２１…マスク画像生成部、１２２…変化なし領域画像抽出部、１３…移動領域抽出部、１３１…輪郭図形抽出部、１３２…移動先検出部、１４…画像認識部、１５…解析データ送信制御部、２１…表示履歴記憶部、２２…領域画像データ記憶部、２３…変化あり領域画像データ記憶部、２４…解析データ記憶部、３１…入力デバイス、３２…表示デバイス。
【技術分野】
【０００１】
この発明は、ディスプレイに表示された画面をもとにユーザの興味を推定するための情報を抽出する興味推定支援装置、方法及びプログラムに関する。
【背景技術】
【０００２】
パーソナル・コンピュータやスマートホン、タブレット型端末等の情報端末には、ユーザが興味を持っている情報が表示される傾向性がある。そこで、ユーザの興味を推定する手段の１つとして、例えばパーソナル・コンピュータにおいてユーザの活動履歴を作成し、この活動履歴を関連のある作業や興味ごとにグループ化する方法が提案されている。例えば、特許文献１に記載された方法では、アプリケーションにより表示されるウィンドウごとにその表示情報や通信先の履歴を記録してこの記録情報を分析するようにしており、これによりユーザの関心事や嗜好の推定を可能にしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２４３８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、リモートデスクトップやVirtual Machine等のように、あるアプリケーションの実行中に当該アプリケーションに含まれる別のアプリケーションが実行してその情報が表示されるような場合には、ウィンドウごとに表示情報の表示履歴を記録しただけでは、アプリケーションごとの表示履歴を収集することができない。また、複数のアプリケーションが並行して動作している場合には、それぞれのアプリケーションのウィンドウが重なり合って表示される場合がある。このような場合、ウィンドウ単位で画面の表示履歴を記録すると、ユーザが実質的に見ていない内容についても表示履歴として記録されることになり、この表示履歴の情報に対しユーザが興味を持っていると誤った推定がなされる恐れがある。
【０００５】
なお、ウィンドウ全体が表示される可能性が高いアクティブウィンドウの表示情報だけを表示履歴として記録する方法も考えられるが、ユーザによってはアクティブウィンドウの背面に一部だけが表示されたウィンドウへの表示内容を参照していることも多く、この場合にもユーザの興味を精度良く推定することはできない。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザの興味推定の候補となる表示情報を漏れなく抽出できるようにし、これによりユーザの興味を高精度に推定することが可能な興味推定支援装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明の第１の観点は、ディスプレイに表示される画面の時系列変化を表示履歴情報としてメモリに蓄積し、この蓄積された表示履歴情報をもとに、異なるタイミングに得られた複数の画面間の差分を検出することにより、同一内容の表示情報が予め設定した時間以上連続して表示されている領域を無変化領域として抽出し、この抽出された無変化領域に表示されている情報を、ユーザの興味推定に使用する情報として記憶するようにしたものである。
【０００８】
したがって、ディスプレイに表示された画面の表示履歴の中から、同一内容の情報が長時間に渡って表示されている領域（ウィンドウ）が抽出され、この抽出された領域の表示情報がユーザの興味推定に使用する情報として出力される。一般に、ディスプレイにおける情報の表示時間が長ければその表示情報に対するユーザの興味の度合いは高いと言える。このため、上記したように表示時間の長さに着目してユーザの興味推定に使用する表示情報を抽出するようにしたことによって、例えばリモートデスクトップやVirtual Machineのようにアプリケーションの中に別のアプリケーションが存在してその画面が表示される場合や、複数のアプリケーションが並行して動作することで複数のウィンドウが重なり合って表示される場合であっても、ユーザの興味推定に適切した情報を漏れなく抽出し提供することが可能となる。
【０００９】
この発明の第２の観点は、上記無変化領域として抽出されなかった変化領域が存在する場合に、異なるタイミングに得られた複数の変化領域間で表示情報のマッチングを行って、同一内容の情報を表示している変化領域を表示位置が移動した移動領域として抽出し、この抽出された移動領域に表示されている情報を、上記ユーザの興味を推定するための情報として出力するようにしたものである。
このようにすると、同一内容の情報が表示された領域がユーザのウィンドウ操作等により別の位置に移動した場合でも、この領域をユーザの興味推定に適した表示情報として抽出することが可能となる。したがって、ユーザの興味推定に適切した情報を、さらに漏れなく抽出し提供することが可能となる。
【発明の効果】
【００１０】
すなわちこの発明によれば、ユーザの興味推定の候補となる表示情報を漏れなく抽出することができ、これによりユーザの興味を高精度に推定することが可能な興味推定支援装置、方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の一実施形態に係る興味推定支援機能を備えた情報通信端末の機能構成を示すブロック図。
【図２】図１に示した情報通信端末による興味推定支援処理の手順と処理内容を示すフローチャート。
【図３】タイミングｔ１における画面キャプチャデータの一例を示す図。
【図４】タイミングｔ２における画面キャプチャデータの一例を示す図。
【図５】図３及び図４に示した画面から抽出された変化なし領域のマスキング画像を示す図。
【図６】図３及び図４に示した画面から抽出された変化あり領域と変化なし領域（継続可視領域の一例を示す図。
【発明を実施するための形態】
【００１２】
以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
この発明の一実施形態に係る興味推定支援方法を実施するための機能を備えた情報通信端末の構成を示すブロック図である。
この実施形態における情報通信端末は、ユーザが使用するパーソナル・コンピュータ、スマートホン或いはタブレット型端末からなり、制御ユニット１と、記憶ユニット２と、入出力インタフェースユニット３と、通信インタフェースユニット４を備えている。
【００１３】
入出力インタフェースユニット３には、キーボードやマウス、或いはタブレットを使用した入力デバイス３１と、液晶又は有機ＥＬを用いた表示デバイス３２が接続されている。入出力インタフェースユニット３は、入力デバイス３１において入力された操作情報を制御ユニット１に与えると共に、制御ユニット１から出力された表示情報を表示デバイス３２に表示させる。
【００１４】
通信インタフェースユニット４は、制御ユニット１の制御の下で、通信相手となるサーバ又は端末との間で図示しない通信ネットワークを介して情報通信を行う。通信ネットワークは、例えばＩＰ（Internet Protocol）網と、このＩＰ網にアクセスするためのアクセス網とから構成される。アクセス網としては、有線加入者網、ＬＡＮ（Local Area Network）、ＣＡＴＶ（Cable Television）網、携帯電話網や無線ＬＡＮ等の移動通信網が用いられる。
【００１５】
記憶ユニット２は、記憶媒体としてＨＤＤやＳＳＤ等の随時書込み及び読出しが可能な不揮発性メモリを使用したもので、この実施形態を実施する上で必要な記憶領域として、表示履歴記憶部２１と、領域画像データ記憶部２２と、変化あり領域画像データ記憶部２３と、解析データ記憶部２４を備えている。
【００１６】
表示履歴記憶部２１は、後述する画面キャプチャ処理部１１により、表示デバイス３２に表示された画面のイメージを表す画像データが得られるごとに、この画像データを画面の表示履歴を表す情報として記憶するために用いられる。
【００１７】
領域画像データ記憶部２２は、後述する変化なし領域抽出部１２により抽出される、表示画面内で表示画像が一定時間以上変化しない領域の画像データと、後述する移動領域抽出部１３により抽出される、表示画面内で表示位置が移動した領域の表示画像データを記憶するために用いられる。
【００１８】
変化あり領域画像データ記憶部２３は、後述する移動領域抽出部１３の移動領域抽出処理に使用するために、表示画面内で表示画像が一定時間内に変化した領域の画像データを記憶するために用いられる。
【００１９】
解析データ記憶部２４は、後述する画像認識部１４により認識される、表示画像の内容を表す情報を解析データとして記憶するために用いられる。
【００２０】
制御ユニット１は、中央処理ユニット（Central Processing Unit；ＣＰＵ）を備え、この実施形態を実施する上で必要な処理機能として、画面キャプチャ処理部１１と、変化なし領域抽出部１２と、移動領域抽出部１３と、画像認識部１４と、解析データ送信制御部１５とを有している。これらの処理機能は何れも図示しないプログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。
【００２１】
画面キャプチャ処理部１１は、表示デバイス３２に表示されている１画面の情報を入出力インタフェースユニット３から予め設定された一定の時間間隔で取り込む。そして、１画面の情報を取り込むごとに、この取り込まれた１画面の画面イメージを画像データの形式で抽出して、この画面イメージを表す画像データを表示履歴記憶部２１に記憶させる処理を実行する。
【００２２】
変化なし領域抽出部１２は、時系列上で異なるタイミング（例えば隣接する２つのサンプリングタイミング）において得られた２つの画面イメージデータを重ね合わせてその差分を検出することにより、表示画像が同一の領域、つまり画像の変化がない領域を抽出する処理を実行するもので、マスク画像生成部１２１と、変化なし領域画像抽出部１２２を有する。
【００２３】
マスク画像生成部１２１は、変化なし領域のマスク画像を生成するもので、上記画面キャプチャ処理部１１により異なるタイミングに得られた２つの画面イメージデータ間の画素ごとの差分値をもとに、画素の変化の有無を“０／１”で表したマスク画像を生成する。なお、画面イメージデータがＲＧＢ画像データの場合には、Ｒ、Ｇ、Ｂの３つの画像データに分解してこれらのＲ、Ｇ、Ｂの画像データごとに比較し、３つの画像データとも同一値である画素については“０”を、１つでも異なる画素については“１”をそれぞれ設定することにより、マスク画像を生成する。
【００２４】
変化なし領域画像抽出部１２２は、上記マスク画像を生成する際に使用した２つの画面イメージデータのいずれか１つに対し、当該マスク画像に基づくマスク処理を実行する。ここでのマスク処理とは、マスク画像の値が“０”の画素に対しては画面イメージデータの画素値をそのまま設定し、“１”の画素に対しては塗り潰しの画像値として“１”を設定する。なお、画面イメージデータがＲＧＢ画像データの場合にも、同様にマスク画像の値が“０”の画素についてはＲ、Ｇ、Ｂのそれぞれの値をそのまま適用し、“１”の画素についてはＲ、Ｇ、Ｂの全てに“１”を設定する。
【００２５】
移動領域抽出部１３は、上記変化なし領域抽出部１２による抽出処理の結果、変化なし領域として抽出されなかった領域、つまり変化あり領域について、当該領域が画面内で移動しているか否かを判定するもので、輪郭図形抽出部１３１と、移動先検出部１３２を有する。
【００２６】
輪郭図形抽出部１３１は、変化なし領域として抽出されなかった領域、つまり変化ありの領域をマスク処理により抽出するもので、先ず上記変化なし領域抽出部１２により生成されたマスク画像の“０／１”を反転させた反転マスク画像を生成する。次に、上記変化なし領域画像抽出部１２２における処理と同様に、マスク画像を生成する際にもとになった２つの画面イメージデータのうち時系列的に古い画面イメージデータに対し反転マスク画像を適用し、これにより変化あり領域を抽出する。そして、この抽出された画像データを変化あり領域画像データ記憶部２３に記憶させる。
【００２７】
移動先検出部１３２は、マスク画像を生成する際にもとになった２つの画面イメージデータのうち時系列的に新しい画面イメージデータを用いて、上記変化あり領域画像データ間でマッチング処理を行う。マッチング処理には、例えば「テンプレートマッチング法」を適用する。そして、上記マッチング処理により画像が合致する領域が検出された場合には、当該領域の画像データを領域画像データ記憶部２２に記憶させる。
【００２８】
画像認識部１４は、上記領域画像データ記憶部２２から変化なし領域の画像データ及び移動領域の画像データを読出し、当該画像データの内容を認識する処理を行う。そして、認識された画像データの内容を解析データとして解析データ記憶部２４に記憶させる処理を行う。
【００２９】
解析データ送信制御部１５は、上記変化なし領域及び移動領域の画像データの内容の解析処理が終了した時点で、解析データ記憶部２４から解析データを読み出し、この解析データをユーザの識別情報と共に、通信インタフェースユニット４から要求元のサービス提供事業者の端末へ送信する処理を行う。
【００３０】
（動作）
次に、以上のように構成された装置による興味推定支援動作を説明する。図２はその処理手順と処理内容を示すフローチャートである。
なお、ここでは複数のアプリケーション・プログラムが起動し、これらのアプリケーション・プログラムによりＷｅｂサイトから取得されたコンテンツや記録媒体から読込まれたコンテンツが表示デバイス３２に異なるウィンドウにより表示されているものとして説明を行う。各コンテンツはテキストデータ、画像データ及び音楽データの何れを含むものでもよい。
【００３１】
（１）表示画面のキャプチャ処理
上記複数のコンテンツがウィンドウ表示された状態で、制御ユニット１はステップＳ１により画面キャプチャ処理部１１を起動する。そして、この画面キャプチャ処理部１１の制御の下で、表示デバイス３２に表示されている１画面の表示情報を入出力インタフェースユニット３から予め設定された一定の時間間隔で取り込み、この１画面の表示情報を取り込むごとに、当該１画面の画面イメージを画像データの形式で取得タイミングを表す情報と関連付けて表示履歴記憶部２１に記憶させる。したがって、表示履歴記憶部２１には、上記表示デバイス３２に表示された画面イメージの時系列変化が表示履歴情報として蓄積されることになる。
【００３２】
（２）変化なし領域抽出処理
上記表示デバイス３２における表示動作が終了するか、又は表示開始後所定時間が経過すると、制御ユニット１は変化なし領域抽出部１２の制御の下で以下のように変化なし領域画像の抽出処理を実行する。
【００３３】
すなわち、先ずステップＳ２により、処理対象となる各画面イメージデータのうち、最も古いタイミングとその次に古いタイミングにおける画面イメージデータを表示履歴記憶部２１から読込み、ステップＳ３による変化なし領域抽出処理に移行する。
【００３４】
変化なし領域抽出処理Ｓ３では、先ずステップＳ３１において、上記表示履歴記憶部２１から読込まれた２つの２つの画面イメージデータ間で画素ごとに画素値の差分が算出され、この算出された画素の差分値をもとに、画素の変化の有無を“０／１”で表したマスク画像が生成される。具体的には、時系列的に連続する２つの画面イメージデータに対し、同一のＸＹ座標において同一の画素値であれば“０”、そうでなければ“１”とそれぞれ判定され、この判定処理がすべてのＸＹ座標について行われる。
【００３５】
例えば、いま上記２つの画面イメージデータが、図３の「画面１」に示すように異なる色領域（ウィンドウ）ＷＡ１，ＷＢ１，ＷＣ１，ＷＤ１により構成され、また図４の「画面２」に示すように異なる色領域（ウィンドウ）ＷＡ２，ＷＢ２，ＷＣ２，ＷＤ２により構成されていたとする（ＷＡ１とＷＡ２は同一色）。この場合、これらの「画面１」及び「画面２」の各イメージデータ間で画素ごとにその差分値を求め、その変化の有無を判定してその判定結果を“１／０”で表すと、図５に示すようなマスク画像が生成される。
【００３６】
次にステップＳ３２において、上記マスク画像を生成する際に使用した上記２つの画面イメージデータのいずれか１つに対し、当該マスク画像に基づくマスク処理が実行される。例えば、マスク画像の値が“０”の画素に対しては画面イメージデータの画素値がそのまま設定され、“１”の画素に対しては塗り潰しの画像値として“１”が設定される。
【００３７】
例えば、上記図５に示したマスク画像を用いて、上記２つの画面イメージデータのうちの「画面１」に対しマスク処理を行うと、画素値が変化しない領域ＷＡ１の一部と、ＷＢ１及びＷＤ１の全部については図６に示すように「画面１」のイメージデータの画素値がそのまま設定され、画素値が変化した他の領域については図６に示すように濃度が一定の塗り潰しの画像値が設定される。
【００３８】
なお、画面イメージデータがＲＧＢ画像データの場合には、Ｒ、Ｇ、Ｂの３つの画像データに分解されてこれらのＲ、Ｇ、Ｂの画像データごとに画素の差分が算出され、３つの画像データとも同一値である画素については“０”が、また１つでも異なる画素については“１”がそれぞれ設定されたマスク画像が生成される。そして、マスク画像の値が“０”の画素については画面イメージデータのＲ、Ｇ、Ｂの値がそのまま設定され、“１”の画素については画面イメージデータのＲ、Ｇ、Ｂの全てに“１”が設定される。
以上のようにして抽出された変化なし領域の画像データは、ステップＳ３３により領域画像データ記憶部２２に格納される。
【００３９】
（３）移動領域の抽出処理
上記変化なし領域の抽出処理において、変化なし領域として抽出されなかった領域であっても、表示内容が同一のまま画面中の別の位置に移動している可能性がある。このため、制御ユニット１は移動領域抽出部１３を起動し、この移動領域抽出部１３の制御の下で、上記変化なし領域として抽出されなかった領域の中から移動領域を抽出する。
【００４０】
移動領域抽出部１３は、先ずステップＳ４において、上記変化なし領域抽出処理により変化なし領域として抽出されなかった領域、つまり変化あり領域の有無を判定する。そしてこの判定の結果、変化あり領域が存在する場合にはステップＳ５による移動領域抽出処理に移行する。
【００４１】
移動領域抽出処理Ｓ５では、先ずステップＳ５１により、上記変化なし領域抽出部１２により生成されたマスク画像の“０／１”を反転させた反転マスク画像が生成される。そして、上記変化なし領域画像抽出処理（ステップＳ３２）による処理と同様に、マスク画像を生成する際に使用した２つの画面イメージデータのうち時系列的に古い画面イメージデータに対し反転マスク画像が適用され、これにより変化あり領域の輪郭図形が抽出される。そして、この抽出された変化あり領域の輪郭図形は変化あり領域画像データ記憶部２３に記憶される。
【００４２】
次にステップＳ５２において、上記抽出された変化なし領域の輪郭図形が移動したか否かが以下のように判定される。すなわち、マスク画像を生成する際に使用した２つの画面イメージデータのうち時系列的に新しい画面イメージデータを用いて、上記変化あり領域画像データ間でマッチング処理が行われる。マッチング処理には、例えば「テンプレートマッチング法」が用いられる。そして、このマッチング処理により画像が合致する領域が検出されると、当該領域の画像データが移動領域の画像データとしてステップＳ５３により領域画像データ記憶部２２に記憶される。
【００４３】
なお、移動領域抽出処理を行うタイミングは、以上述べたように変化なし領域抽出部１２が変化なし領域の抽出処理を実行するごとに、それに追従して実行するようにしてもよいが、必ずしも追従して実行しなくてもよい。また、変化あり領域の画像データのサイズを予め設定された閾値と比較し、変化あり領域のサイズが閾値よりも小さい場合には、当該変化あり領域については移動領域抽出処理の対象から除外するようにしてもよい。
【００４４】
以上述べたステップＳ〜ステップＳ５による変化なし領域抽出処理及び移動領域抽出処理は、表示履歴記憶部２１に記憶された処理対象となる全ての画面イメージデータについて、時系列的に隣り合う画面イメージデータ間で順次実行される。そして、処理対象となる全ての画面イメージデータについての処理が終了したことがステップＳ６で検出されると、ステップＳ７に移行する。なお、上記ステップＳ〜ステップＳ５による処理は、必ずしも時系列的に隣り合う画面イメージデータ間で行わなくてもよく、１つ又は複数の画面イメージデータをスキップして処理を行ってもよい。
【００４５】
（４）変化なし領域及び移動領域の各表示情報の解析
処理対象となる全ての画面イメージデータについて、変化なし領域抽出処理及び移動領域抽出処理が終了すると、制御ユニット１は続いてステップＳ７により画像認識部１４を起動し、この画像認識部１４により以下のように表示情報の解析を実行する。
【００４６】
すなわち、先ず領域画像データ記憶部２２から、変化なし領域の画像データ及び移動領域の画像データをそれぞれ読出す。そして、この読み出された各画像データの内容を認識するための処理を行い、この認識処理により得られた情報をステップＳ８により解析データ記憶部２４に記憶させる。
【００４７】
認識処理の方法としては、例えば文字認識によりテキスト情報を抽出するものや、ＱＲコード等のコード情報を抽出するものが適用できる。また、予め抽出されることが予測される画像等については、当該予測画像を参照画像として予め記憶ユニット２に記憶しておき、この予測画像との類似度をもとに画像データの内容を認識するようにしてもよい。
なお、画像認識処理の実行タイミングについては、時間的なパラメータや領域画像データに関するパラメータ、ユーザの操作や外部の端末等からのアクセスなどをトリガとして任意に設定することができる。
【００４８】
（５）解析データの送信
上記変化なし領域及び移動領域の各画像データの内容解析処理が終了すると、制御ユニット１は最後にステップＳ９により解析データ送信制御部１５を起動する。そして、この解析データ送信制御部１５の制御の下で、解析データ記憶部２４から解析データを読出し、この解析データをユーザの識別情報と共に通信インタフェースユニット４からサービス提供事業者の端末へ送信する。このとき、サービス提供事業者のアドレス又はＵＲＬは記憶ユニット２に予め登録してあるものを使用する。なお、上記解析データの送信処理は、サービス提供事業者の端末から解析データの取得要求が送られた時に実行するようにしてもよい。
【００４９】
サービス提供事業者は、上記解析データを受け取ると、当該解析データをもとにユーザの興味の対象を推定する。そして、この興味の推定結果をもとに当該ユーザに提供すべき、例えば商品やサービス、イベントに関する情報を選択し、配信する。
【００５０】
（実施形態の作用効果）
以上詳述したようにこの実施形態では、画面キャプチャ処理部１１により表示デバイス３２の表示画面を一定の時間間隔でキャプチャしてその画面イメージデータを表示履歴記憶部２１に蓄積する。そして、変化なし領域抽出部１２により、上記蓄積された時刻の異なる２つの画面イメージデータ間の差分を求め、この差分をもとに変化なし領域を抽出してその画像データを領域画像データ記憶部２２に記憶する。そして、この記憶された変化なし領域の画像データの内容を画像認識部１４により認識し、この認識結果を解析データとして解析データ記憶部２４に保存すると共にサービス提供事業者等へ送信するようにしている。
【００５１】
したがって、表示デバイス３２に表示された画面の表示履歴の中から、同一内容の情報が長時間に渡って表示されている領域（ウィンドウ）が抽出され、この抽出された領域の表示情報がユーザの興味推定に使用する情報として出力される。一般に、表示デバイス３２における情報の表示時間が長ければその表示情報に対するユーザの興味の度合いは高いと言える。このため、上記したように表示時間の長さに着目してユーザの興味推定に使用する表示情報を抽出するようにしたことによって、例えばリモートデスクトップやVirtual Machineのようにアプリケーションの中に別のアプリケーションが存在してその画面が表示される場合や、複数のアプリケーションが並行して動作することで複数のウィンドウが重なり合って表示される場合であっても、ユーザの興味推定に適切した情報を漏れなく抽出し提供することが可能となる。
【００５２】
またこの実施形態では、上記変化なし領域の抽出処理の結果、変化あり領域の存在が確認された場合に、移動領域抽出部１３により、上記２つの画面イメージデータの変化あり領域間で表示情報が同一のものがあるか否かを判定し、同一のものが見つかった場合に当該領域を移動領域と見なしてその画像データを領域画像データ記憶部２２に記憶するようにしている。そして、この記憶された移動領域の画像データの内容を画像認識部１４により認識し、この認識結果を解析データとして解析データ記憶部２４に保存すると共にサービス提供事業者等へ送信するようにしている。
【００５３】
したがって、同一内容の情報が表示された領域がユーザのウィンドウ操作等により別の位置に移動した場合でも、この領域をユーザの興味推定に適した表示情報として抽出することが可能となる。したがって、ユーザの興味推定に適切した情報を、さらに漏れなく抽出し提供することが可能となる。
【００５４】
［その他の実施形態］
なお、この発明は上記一実施形態に限定されるものではない。例えば、前記一実施形態では変化なし領域抽出処理、移動領域抽出処理及び画像認識処理の各機能と、領域画像データ記憶部２２、変化あり領域画像データ記憶部２３及び解析データ記憶部２４を何れも情報通信端末内に設けた場合を例にとって説明したが、情報通信端末と通信ネットワークを介して接続可能なサーバ等に設けてもよい。この場合、情報通信端末から画像の表示履歴情報を通信ネットワークを介してサーバへ送信し、サーバがこの送られた画像表示履歴情報をもとに変化なし領域抽出処理、移動領域抽出処理及び画像認識処理を実行することにより実現できる。
【００５５】
また、前記実施形態では表示デバイス３２における表示情報を一定の時間間隔でキャプチャして表示履歴情報に加えるようにしたが、マウスのクリック操作やアプリケーションの起動等のように表示画面が変化するタイミングに応じて実行するようにしてもよく、また一定の時間間隔で実行しつつ、さらに上記表示画面が変化するタイミングに応じて実行するようにしてもよい。また、表示情報を静止画像として記録する方法を例示したが、動画像として記録し、この動画像からその変化領域を抽出してもよい。
【００５６】
また、前記実施形態では表示デバイス３２に表示された情報からユーザの興味推定に使用する画像情報を抽出するために、変化なし領域の抽出処理と移動領域の抽出処理の２つの処理を行うようにしたが、いずれか一方のみを実行するようにしてもよい。
その他、興味推定支援装置として使用する情報通信装置の種類や、変化なし領域の抽出処理及び移動領域抽出処理の手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【００５７】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００５８】
１…制御ユニット、２…記憶ユニット、３…入出力インタフェースユニット、４…通信インタフェースユニット、１１…画面キャプチャ処理部、１２…変化なし領域抽出部、１２１…マスク画像生成部、１２２…変化なし領域画像抽出部、１３…移動領域抽出部、１３１…輪郭図形抽出部、１３２…移動先検出部、１４…画像認識部、１５…解析データ送信制御部、２１…表示履歴記憶部、２２…領域画像データ記憶部、２３…変化あり領域画像データ記憶部、２４…解析データ記憶部、３１…入力デバイス、３２…表示デバイス。
【特許請求の範囲】
【請求項１】
ディスプレイに表示される画面の時系列変化を表示履歴情報としてメモリに蓄積する表示履歴蓄積手段と、
前記メモリに蓄積された表示履歴情報をもとに、異なるタイミングに得られた複数の画面間の差分を検出することにより、同一内容の情報が予め設定した時間以上連続して表示されている領域を無変化領域として抽出する無変化領域抽出手段と、
前記抽出された無変化領域に表示されている情報を、ユーザの興味を推定するための情報として出力する出力手段と
を具備することを特徴とする興味推定支援装置。
【請求項２】
前記無変化領域抽出手段により無変化領域として抽出されなかった領域が存在する場合に、異なるタイミングに得られた複数の変化領域間で表示情報のマッチングを行い、同一内容の情報を表示している変化領域を表示位置が移動した移動領域として抽出する移動領域抽出手段を、さらに具備し、
前記出力手段は、前記無変化領域抽出手段により抽出された無変化領域に表示されている情報に加え、前記移動領域抽出手段により抽出された移動領域に表示されている情報を、ユーザの興味推定に使用する情報として記憶することを特徴とする請求項１記載の興味推定支援装置。
【請求項３】
ディスプレイに表示される画面の時系列変化を表示履歴情報としてメモリに蓄積する過程と、
前記メモリに蓄積された表示履歴情報をもとに、異なるタイミングに得られた複数の画面間の差分を検出することにより、同一内容の情報が予め設定した時間以上連続して表示されている領域を無変化領域として抽出する過程と、
前記抽出された無変化領域に表示されている情報を、ユーザの興味推定に使用する情報として記憶する過程と
を具備することを特徴とする興味推定支援方法。
【請求項４】
前記無変化領域として抽出されなかった変化領域が存在する場合に、異なるタイミングに得られた複数の変化領域間で表示情報のマッチングを行い、同一内容の情報を表示している変化領域を表示位置が移動した移動領域として抽出する過程を、さらに具備し、
前記出力過程は、前記抽出された無変化領域に表示されている情報に加え、前記抽出された移動領域に表示されている情報を、ユーザの興味を推定するための情報として出力することを特徴とする請求項３記載の興味推定支援方法。
【請求項５】
請求項１又は２記載の興味推定支援装置が具備する各手段の処理機能を、コンピュータに実行させるプログラム。
【請求項１】
ディスプレイに表示される画面の時系列変化を表示履歴情報としてメモリに蓄積する表示履歴蓄積手段と、
前記メモリに蓄積された表示履歴情報をもとに、異なるタイミングに得られた複数の画面間の差分を検出することにより、同一内容の情報が予め設定した時間以上連続して表示されている領域を無変化領域として抽出する無変化領域抽出手段と、
前記抽出された無変化領域に表示されている情報を、ユーザの興味を推定するための情報として出力する出力手段と
を具備することを特徴とする興味推定支援装置。
【請求項２】
前記無変化領域抽出手段により無変化領域として抽出されなかった領域が存在する場合に、異なるタイミングに得られた複数の変化領域間で表示情報のマッチングを行い、同一内容の情報を表示している変化領域を表示位置が移動した移動領域として抽出する移動領域抽出手段を、さらに具備し、
前記出力手段は、前記無変化領域抽出手段により抽出された無変化領域に表示されている情報に加え、前記移動領域抽出手段により抽出された移動領域に表示されている情報を、ユーザの興味推定に使用する情報として記憶することを特徴とする請求項１記載の興味推定支援装置。
【請求項３】
ディスプレイに表示される画面の時系列変化を表示履歴情報としてメモリに蓄積する過程と、
前記メモリに蓄積された表示履歴情報をもとに、異なるタイミングに得られた複数の画面間の差分を検出することにより、同一内容の情報が予め設定した時間以上連続して表示されている領域を無変化領域として抽出する過程と、
前記抽出された無変化領域に表示されている情報を、ユーザの興味推定に使用する情報として記憶する過程と
を具備することを特徴とする興味推定支援方法。
【請求項４】
前記無変化領域として抽出されなかった変化領域が存在する場合に、異なるタイミングに得られた複数の変化領域間で表示情報のマッチングを行い、同一内容の情報を表示している変化領域を表示位置が移動した移動領域として抽出する過程を、さらに具備し、
前記出力過程は、前記抽出された無変化領域に表示されている情報に加え、前記抽出された移動領域に表示されている情報を、ユーザの興味を推定するための情報として出力することを特徴とする請求項３記載の興味推定支援方法。
【請求項５】
請求項１又は２記載の興味推定支援装置が具備する各手段の処理機能を、コンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−４７９０９（Ｐ２０１３−４７９０９Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１１−１８６４３１（Ｐ２０１１−１８６４３１）
【出願日】平成２３年８月２９日（２０１１．８．２９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願日】平成２３年８月２９日（２０１１．８．２９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]