表示画像取得装置、表示画像取得プログラム
【課題】 表示画像に一体形成されるポインタの位置を画像表示用信号から算出する表示画像取得装置及び表示画像取得プログラムを提供することを目的とする。
【解決手段】 画像表示用信号を取得するビデオ取込装置４２と、画像表示用信号を一定周期で連続して抽出する画像サンプリング装置４３と、画像表示用信号を、該画像表示用信号に応じた表示画像に変換する画像変換装置４４と、連続する表示画像から差分画像を生成して２値化し、差分値が存在する領域をポインタが占めるポインタ候補領域として特定し、ポインタ候補領域のうち、差分画像の左上を基準とした場合における、当該基準から最も近いポインタ候補領域内の一部分をポインタの位置情報としてデータベース４８に記憶させるポインタ位置算出装置４５と、を有することを特徴とする。
【解決手段】 画像表示用信号を取得するビデオ取込装置４２と、画像表示用信号を一定周期で連続して抽出する画像サンプリング装置４３と、画像表示用信号を、該画像表示用信号に応じた表示画像に変換する画像変換装置４４と、連続する表示画像から差分画像を生成して２値化し、差分値が存在する領域をポインタが占めるポインタ候補領域として特定し、ポインタ候補領域のうち、差分画像の左上を基準とした場合における、当該基準から最も近いポインタ候補領域内の一部分をポインタの位置情報としてデータベース４８に記憶させるポインタ位置算出装置４５と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイに表示される表示画像を取得して蓄積していく表示画像取得装置に関し、特に表示画像に一体形成されるポインタの位置を算出する表示画像取得装置に関する。
【背景技術】
【０００２】
ＰＣ(Personal Computer)やＰＤＡ（Personal Digital Assistant）等の情報端末を利用して、遠隔地から提供されるプレゼンテーション用の画像・音声を視聴したり、当該プレゼンテーションを保存して後から視聴したりすることが知られている。例えば、特許文献１では、プレゼンテーション用の画像等をビデオ情報として保存することが開示されている。
【０００３】
一般に、プレゼンテーションは、静止画であるスライド画像、スライド画像を説明するための音声、スライド画像中の注目領域を示すポインタの位置や形状等に関する情報（以下、ポインタ情報という。）があれば、プレゼンテーションの内容を十分に伝達することができると考えられる。このような事情に鑑みて、例えば、特許文献２では、情報端末から直接スライド画像、音声及びポインタ情報を取得して記録する記録装置が開示されている。
【０００４】
さらに、ポインタ情報の取得技術として、例えば特許文献３や特許文献４に開示されるように、指示棒やレーザポインタによるポインタ情報、利用者の手振りによるポインタ情報を取得するものも知られている。
【０００５】
一方、情報端末から出力されるＲＧＢ信号等のディスプレイ信号（以下、画像表示用信号という。）を取得し、当該画像表示用信号に応じた表示画像に変換して蓄積していく表示画像取得装置も知られている。表示画像取得装置は、画像表示用信号を監視し、該信号が大きく変化した時点で画像表示用信号を取得するため、例えばスライド画像等の表示画像の切り替えを判別でき、表示画像を効率良く蓄積できる。
【０００６】
【特許文献１】特開２０００−１８７５４２号公報
【特許文献２】特開２００３−５８９０１号公報
【特許文献３】特開２０００−２７６２９７号公報
【特許文献４】特開２００１−５６０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、上述した特許文献１に開示される保存は、保存対象がビデオ情報であるため大容量の記憶装置が必要となり設備費用が増大する可能性がある。また、特許文献２に開示される記録装置を利用する場合に、情報端末に当該記録装置を利用するためのソフトウェアを事前に導入しなければならないという制限がある。さらに、特許文献３や特許文献４に開示されるポインタ位置取得技術は、画像表示用信号を対象としたものではない。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、表示画像上に一体形成されるポインタの位置を画像表示用信号から算出する表示画像取得装置及び表示画像取得プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の発明は、画像表示用信号を取得する取得手段と、画像表示用信号を一定周期で連続して抽出する抽出手段と、画像表示用信号を、該画像表示用信号に応じた表示画像に変換する変換手段と、連続する表示画像から差分画像を生成して２値化し、差分値が存在する領域をポインタが占めるポインタ候補領域として特定し、ポインタ候補領域のうち、差分画像の左上を基準とした場合における、当該基準から最も近いポインタ候補領域内の一部分をポインタの位置情報として記憶手段に記憶させるポインタ位置算出手段と、を有することを特徴とする表示画像取得装置である。
【００１０】
請求項２に記載の発明は、請求項１に記載の発明において、ポインタ位置算出手段は、ポインタ候補領域が２箇所ある場合に、時刻毎にそれぞれのポインタの位置情報を記憶させることを特徴としている。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の発明において、ポインタ位置算出手段は、２値化した結果得られる差分値の数がポインタの占める画素数の２倍より大きい場合に、その時刻におけるポインタの位置を算出する処理を中止することを特徴としている。
【００１２】
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、ポインタ位置算出手段は、ポインタ候補領域が３箇所以上ある場合に、その時刻におけるポインタの位置を算出する処理を中止することを特徴としている。
【００１３】
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の発明において、ポインタ位置算出手段は、連続するポインタ候補領域のそれぞれに対してエッジ抽出処理を行い、当該抽出処理による互いのエッジ形状の類似度が高い場合に、ポインタの位置を算出することを特徴としている。
【００１４】
請求項６に記載の発明は、請求項１から５のいずれか１項に記載の発明において、ポインタ位置算出手段は、エッジ形状を整形してポインタの形状を記憶させることを特徴とする請求項１から５のいずれか１項に記載の表示画像取得装置。
【００１５】
請求項７に記載の発明は、コンピュータを、画像表示用信号を取得する取得手段と、画像表示用信号を一定周期で連続して抽出する抽出手段と、画像表示用信号を、該画像表示用信号に応じた表示画像に変換する変換手段と、連続する表示画像から差分画像を生成して２値化し、差分値が存在する領域をポインタが占めるポインタ候補領域として特定し、ポインタ候補領域のうち、差分画像の左上を基準とした場合における、当該基準から最も近いポインタ候補領域内の一部分をポインタの位置情報として記憶手段に記憶させるポインタ位置算出手段として機能させることを特徴とする表示画像取得プログラムである。
【発明の効果】
【００１６】
請求項１に記載の発明によれば、表示画像上に一体形成されるポインタの位置を画像表示用信号から算出できる。
【００１７】
請求項２に記載の発明によれば、ポインタの移動が時系列に把握できる。
【００１８】
請求項３に記載の発明によれば、スライド画像の切り替えをポインタの移動とする誤判断を抑制できる。
【００１９】
請求項４に記載の発明によれば、ポインタの大きさ相当の画像をポインタとする誤判断を抑制できる。
【００２０】
請求項５に記載の発明によれば、ポインタ以外の画像をポインタとする誤判断を抑制を抑制できる。
【００２１】
請求項６に記載の発明によれば、ポインタの再現性が向上する。
【００２２】
請求項７に記載の発明によれば、表示画像上に一体形成されるポインタの位置を画像表示用信号から算出できる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の最良の実施形態について図面を参照して説明する。
図１は本発明の実施形態に係る表示画像取得装置を適用したシステム（以下、表示画像取得システムという。）の構成図、図２は表示画像取得装置のハードウェア構成を示すブロック図である。
【００２４】
表示画像取得システムは、図１に示すように、情報端末１０、スプリッタ２０２、プロジェクタ３０、表示画像取得装置４０等から構成される。
【００２５】
情報端末１０は、キーボードやマウス等の入力装置、液晶ディスプレイやＣＲＴディスプレイ等の表示装置、これらの装置を制御するコンピュータ等の制御装置等から構成される。図１においては、ノート型ＰＣが記載されているが、携帯電話やＰＤＡ、スタンドアローン型のＰＣであってもよい。制御装置は、表示装置に表示すべき画像をＶＧＡ信号やＲＧＢ信号等の画像表示用信号として出力するとともに、当該信号をスプリッタ２０に向けて出力する。
【００２６】
スプリッタ２０は、画像表示用信号を分離する機器であって、情報端末１０と投影装置３０との間に設置される。スプリッタ２０は画像表示用信号を受信すると、一方を投影装置３０に、他方をスプリッタ２０にケーブル等で接続された表示画像取得装置４０に分離して出力する。尚、図１において、スプリッタの分離は、２方向としているが、３方向以上であってもよい。
【００２７】
投影装置３０は、いわゆるプロジェクタであって、画像表示用信号を受信すると、当該信号に応じた画像を投影画像としてスクリーンや壁面等に投影する。投影装置３０の代わりに、上述した表示装置を使用するようにしてもよい。
【００２８】
表示画像取得装置４０は、画像表示用信号を受信し、当該画像表示用信号に応じた表示画像に変換し、表示画像を記憶装置に蓄積していく装置である。表示画像取得装置４０は、コンピュータ、すなわち、図２に示すように、ＣＰＵ４０ａ等の処理装置、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ４０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)４０ｃ、スプリッタ２０等の外部機器との入出力を行うＩ／Ｆ４０ｄ、図示しないハードディスク等の磁気ディスク等がバス４０ｅにより接続されたハードウェア構成により実現される。
【００２９】
したがって、ＣＰＵ４０ａがＲＯＭ４０ｃやハードディスク等に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、表示画像取得装置４０内の各機能が実現される。また、情報端末１０の制御装置についても同様の構成を有する。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。
【００３０】
ここで、上述した表示画像取得装置４０について図３を参照してさらに詳しく説明する。
図３は表示画像取得装置４０の要部構成を示す機能ブロック図である。
表示画像取得装置４０は、図３に示すように、入出力装置４１、ビデオ取込装置４２、画像サンプリング装置４３、画像変換装置４４、ポインタ位置算出装置４５、更新装置４６、テキスト抽出装置４７、データベース４８及びバス４９等から構成される。各装置はバス４９を介して互いに接続される。
【００３１】
入出力装置４１は、ケーブル等を接続するコネクタ等で構成される。入出力装置４１は、ケーブルを介して上述したスプリッタ２０と接続され、画像表示用信号を受信して、ビデオ取込装置４２に出力する。尚、ケーブルを使用せずにワイヤレス形式としてもよい。
【００３２】
ビデオ取込装置４２は、本発明の取得手段の一例であって、入出力装置４１から出力される画像表示用信号を取り込む。
画像サンプリング装置４３は、本発明の抽出手段の一例であって、ビデオ取込装置４２から受信した画像表示用信号を一定周期で連続して抽出する。一定周期は、例えば、１／２９．９７秒おきのビデオレートでもよいし、０．５秒おき程度でもよい。この間隔が短いほどスライド画像の切り替わりやポインタ移動の検出を精度良く行える。
【００３３】
画像変換装置４４は、本発明の変換手段の一例であって、画像サンプリング装置４３によって抽出された画像表示用信号を取得し、順次その画像表示用信号に応じた表示画像に変換する。表示画像は、例えば、ＢＭＰ（ビットマップ）形式や、ＪＰＥＧ形式、ＴＩＦＦ形式、ＧＩＦ形式等の種々の形式を利用できる。画像変換装置４４は、表示画像への変換後、当該表示画像を順々にポインタ位置算出装置４５に送信する。
【００３４】
ポインタ位置算出装置４５は、本発明のポインタ位置算出手段の一例であって、連続する表示画像から差分画像を生成して２値化し、差分値が存在する領域をポインタが占めるポインタ候補領域として特定し、ポインタ候補領域のうち、差分画像の左上を基準とした場合における、当該基準から最も近いポインタ候補領域内の一部分をポインタの位置情報としてデータベース４８に記憶させる。尚、ポインタの形状の特性として対称性を有することに着目し、差分値が存在する領域のうち、対象性を有する領域をポインタ候補領域としてもよい。これによりポインタであることの判断の正確さが増加する。
【００３５】
更新装置４６は、タイトル情報、発表者氏名等を、同じ発表として分類された表示画像すべてに対して属性情報として付与する。
テキスト抽出装置４７は、格納対象として選択された表示画像に対して文字認識処理（ＯＣＲ）を適用することによってテキスト情報を抽出する。尚、この処理は、テキスト情報にもとづいて記録蓄積した表示画像の検索や、表示画像に記載された発表者の氏名や発表の題目（タイトル）を分類された表示画像群に索引として付与するために行うものである。
【００３６】
データベース４８は、画像変換装置４４で変換された表示画像や、ポインタ位置算出装置４５で算出されたポインタ位置情報を時刻毎に記憶する。
【００３７】
次に上述したポインタ位置算出装置４５の動作について図４から図１３を参照して説明する。
図４はポインタ位置算出装置４５の動作の一例を示すフローチャート、図５は差分画像の生成を説明するための図、図６は２値化曲線のグラフ、図７はポインタの位置の算出を説明するための図、図８はポインタの位置の算出を中止する場合を説明するための図、図９は差分画像の生成を説明するための他の図、図１０はポインタの位置の算出を中止する場合を説明するための他の図、図１１はポインタの移動前後の形状の類似度を判定するための数式、図１２はポインタの位置の算出を中止する場合を説明するための他の図、図１３はデータベースにおけるポインタの位置の記憶例である。
【００３８】
ポインタ位置算出装置４５は、図４に示すように、まず、画像変換装置４４から表示画像を順次受信して、連続する表示画像から差分画像を生成する（ステップＳ１）。例えば、図５（ａ）に示すように、時刻ｔ−１に表示画像Ｉｔ−１を受信した後に、同図（ｂ）に示すように、時刻ｔに表示画像Ｉｔを受信した場合には、表示画像Ｉｔと表示画像Ｉｔ−１とから、同図（ｃ）に示すように、差分画像Ｄｔを生成する。これにより、移動前後のポインタＰｔが差分画像Ｄｔ内に生成される。
【００３９】
ポインタ位置算出手段４５は、次いで、差分画像Ｄｔを２値化する（ステップＳ２）。２値化は例えば図６に示す２値化曲線Ｌによって行われる。２値化曲線Ｌは、０から離れるに従い表示画像Ｉｔと表示画像Ｉｔ−１との濃度値の差が大きく、０に近づくにつれて表示画像Ｉｔと表示画像Ｉｔ−１との濃度値の差が小さいことを表している。
【００４０】
したがって、濃度値の差が明確な部分を差分値１とし、そうでない部分を差分値０とする。この明確さを分ける閾値Ｐは、図６に数値として具体的に示していないが、例えば−６０から６０程度の差であれば濃度値の差が明確でないとすることができる。この結果、差分画像Ｄｔは、図７（ａ）に示すように、差分値が０となる部分と差分値が１となる部分とに区別される。
【００４１】
ポインタ位置算出手段４５は、ここで、差分画像Ｄｔ全体から差分値が１となる部分の数を計数し、この数が２０以上１０００以下であるか否かを判定する（ステップＳ３）。すなわち、計数結果が１０００を超える場合には、図８に示すように、ポインタＰｔの表示や移動でなく、例えば、表示画像Ｉｔ−１から表示画像Ｉｔへの切り替え等によって差分画像Ｄｔ内に差分値が１となる部分が大量に現われ計数されたものとして当該時刻におけるポインタ位置の算出処理を中止し、次の時刻の処理を行う。また、計数結果が２０を下回る場合には、ポインタの表示や移動がないものとして当該時刻におけるポインタ位置の算出処理を中止し、次の時刻の処理を行う。
【００４２】
尚、この判定基準となる２０以上１０００以下は、表示画像内におけるポインタの占める部分の数とその倍数の範囲内であれば特に限定されるものでなく、ポインタの大きさに応じて変更してもよい。これは、差分画像Ｄｔ内にポインタＰｔの移動のみが差分として残る場合、差分画像Ｄｔ上には多くても２個のポインタＰｔが現われるためである。この結果、計数結果が２０以上１０００以下であると判定された場合には、後続する処理に移行する。
【００４３】
ポインタ位置算出手段４５は、次いで、差分画像Ｄｔの局所性について判定する（ステップＳ５）。より詳しくは、図７（ｂ）に示すように、差分画像Ｄｔの左上隅を基準点Ｏとし、左から右へ、上から順に、差分値が１となる部分を探索する。そして、当該部分が検出された場合には、その部分を基準に上下左右に探索し差分値が１となる部分を計数する。尚、一度計数した部分には、計数済のフラグ等を付与し、重複した計数がなされないようにする。この結果、差分値が１となる部分が１つの集合体（又は領域）を形成している場合には、同図（ｂ）に示すように、その集合体をポインタ候補領域ＡＲとする。
【００４４】
差分値が１となる部分の探索は、差分画像Ｄｔの右下隅に至るまで行われる。この結果、ポインタ候補領域ＡＲが１個又は２個である場合には、後続の処理を行う。尚、１個の場合とは、例えば図９に示すように、ポインタＰｔが移動したが、移動量が少なく、差分画像Ｄｔを生成した場合に、移動前後でポインタＰｔが重なっている状態を示す。
【００４５】
一方、ポインタ候補領域ＡＲが０個又は３個以上である場合には、その時刻におけるポインタ位置の算出処理を中止する。ここでポインタ候補領域が３個である場合とは、例えば、図１０に示すように、差分画像ＤｔにポインタＰｔが２つ含まれるとともに、スライド画像のアニメーション効果等により、ポインタＰｔの大きさに相当する文字情報Ｔｘや画像情報等が差分画像Ｄｔに含まれた場合等がある。
【００４６】
ポインタ位置算出装置４５は、次いで、移動前後のポインタＰｔの形状（輪郭）が一致するか否かを判定する（ステップＳ５）。尚、ポインタＰｔの移動前後の形状が一致するか否かは完全一致でなく、類似度が概ね高ければ足りる。
【００４７】
ここで、ポインタＰｔの移動前後の類似度が高いか否かは、図１１に示す数式によって判断する。図１１に示す数式において、Ｅｔ（ｘ，ｙ）は、時刻ｔにおけるポインタ候補領域ＡＲのエッジマップ、Ｅｔ−１（ｘ＋Δｘ，ｙ＋Δｙ）は、時刻ｔ−１におけるポインタ候補領域ＡＲのエッジマップを示している。ポインタ候補領域ＡＲのエッジマップは、一般的な技術によって生成することができ、例えばＳｏｂｅｌフィルタと２値化処理とを組み合わせて生成することができる。
【００４８】
そして、図１１に示す数式による計算結果Ｓは、ポインタ候補領域ＡＲ内でエッジマップＥｔ、エッジマップＥｔ−１におけるエッジ形状が移動分を除いて同じ場合に１となり、全く異なる場合に非常に小さい値となる。例えば、図１２に示すような差分画像Ｄｔが得られるような場合に、全く異なる形状と判断され、非常に小さい値となる。ポインタ位置算出装置４５０は、ポインタＰｔの移動前後の位置が概ね一致すると判定した場合には、後続の処理を行う。逆に、計算結果が非常に小さい値となった場合には、類似度が低いと判定し、その時刻におけるポインタ位置算出処理を中止する。
【００４９】
ポインタ位置算出装置４５は、次いで、ポインタＰｔの位置を算出する（ステップＳ６）。ポインタＰｔの位置の算出にあたっては、図７（ｂ）に示すように、例えば差分画像Ｄｔの左上隅を基準点Ｏとした場合において、当該基準点Ｏから最も近い、ポインタ候補領域ＡＲ内の差分値が１となる一部分とすることができる。この際、差分画像Ｄｔ内に時刻ｔにおけるポインタＰｔと時刻ｔ−１におけるポインタＰｔが併存する場合には、時刻毎にそれぞれの位置を算出する。この結果、同図（ｂ）に示すように、時刻ｔ−１におけるポインタＰｔの座標Ａは（２５，１０）とすることができ、時刻ｔにおけるポインタＰｔの座標Ｂは（６０，５０）とすることができる。
【００５０】
ポインタ位置算出装置４５は、次いで、ステップＳ６の処理によって算出されたポインタＰｔの位置をデータベース４８に記憶させる。データベース４８への記憶は、図１３に示すように、時刻毎に記憶させることが望ましく、これにより、ポインタＰｔの時系列的な追尾が可能となる。また、ポインタＰｔの形状も併せて記憶させてもよい。当該形状は、上述したステップＳ５のエッジ抽出処理によって得られるポインタＰｔのエッジを記憶させることで実現できる。さらに、ポインタの位置について、１サンプリング間隔前の位置が既に記憶されている場合もある。このような場合には、同一時刻に対して記憶された複数のポインタの位置から適切な値、例えば平均値や最新の記憶値を用いてもよい。
【００５１】
尚、図９を参照して説明したように、差分画像Ｄｔ内にポインタＰｔが重なって含まれた場合には、図１４に示すように、ポインタ候補領域ＡＲが１個となる。この場合には、ポインタＰｔのそれぞれに対しエッジ抽出処理を行い、図１１に示す数式を適用しても完全一致とならない可能性がある。したがって、このような場合には、概ね計算結果が０．５以上であれが、２つのポインタＰｔは同一のものと判断することとし、そうでない場合には、ポインタＰｔとテキスト情報Ｔｘ等と判断する。これにより、ポインタＰｔの少量の移動であっても、ポインタの位置の検出が可能となる。尚、図１４によれば、この結果、得られる時刻ｔ−１の座標Ｃは例えばＣ（２５，１０）となる。
【００５２】
また、表示画像取得装置４０に、情報端末１０からの要求に応じてデータベース４８に記憶される表示画像やポインタ情報を送信する情報送信装置を設けてもよい。情報端末１０では、受信した表示画像にポインタ情報に応じた時間と場所にポインタＰｔを重ねて表示できる。
【００５３】
また、ポインタ情報に基づいて、時刻と時刻との間を補間してポインタＰｔを表示させるようにしてもよい。図１５は時刻ｔ−２から時刻ｔ−１にかけてのポインタＰｔの軌跡を示す図である。ポインタ情報は、それぞれの時刻ｔ−２、ｔ−１、ｔ＋１におけるポインタＰｔの各位置を含んでいるが、これらを表示画像上に表示させた場合には、不連続にポインタＰｔが表示されることととなる。したがって、それぞれの時刻に基づいて補間法等の手法を使用することにより連続したポインタＰｔの移動が可能となる。補間法には例えばスプライン補間等を用いてもよい。記憶したポインタ情報の時刻が多いほど、円滑で正確なポインタの位置を再現することができる。
【００５４】
さらに、ポインタＰｔが抽出された後の表示画像であって、ポインタ以外の多くの部分を共有する画像を１つの表示画像としてまとめてデータベース４８に蓄積するようにしてもよい。表示画像とポインタとを分離して記憶することで、記憶容量の低減が図れる。
【００５５】
以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【００５６】
また、上述した説明におけるポインタは、カーソルやマウスポインタ、マウスカーソル等いずれの名称をも適用できる。また、上述した説明において差分値が１となる部分は表示装置における１個の画素とすることもできるし、例えば４個や９個等の画素の集合体を差分値１となる部分としてもよい。さらに、ポインタの位置を算出する際の基準点は差分画像の四隅であればいずれでもよい。
【産業上の利用可能性】
【００５７】
本発明によれば、表示画像上に一体形成されるポインタの位置を画像表示用信号から算出でき、産業上の利用可能性が高い。
【図面の簡単な説明】
【００５８】
【図１】表示画像システムの構成図である。
【図２】表示画像取得装置のハードウェア構成を示すブロック図である。
【図３】表示画像取得装置の要部構成を示す機能ブロック図である。
【図４】表示画像取得装置の動作の一例を示すフローチャートである。
【図５】差分画像の生成を説明するための図である。
【図６】２値化曲線のグラフである。
【図７】ポインタの位置の算出を説明するための図である。
【図８】ポインタの位置の算出を中止する場合を説明するための図である。
【図９】差分画像の生成を説明するための他の図である。
【図１０】ポインタの位置の算出を中止する場合を説明するための他の図である。
【図１１】ポインタの移動前後の形状の類似度を判定するための数式である。
【図１２】ポインタの位置の算出を中止する場合を説明するための他の図である。
【図１３】データベースにおけるポインタの位置の記憶例である。
【図１４】ポインタの位置の算出を説明するための他の図である。
【図１５】ポインタの位置の算出を説明するための他の図である。
【符号の説明】
【００５９】
１０ 情報端末
２０ スプリッタ
３０ 投影装置
４０ 表示画像取得装置
４０ａ ＣＰＵ
４０ｂ ＲＡＭ
４０ｃ ＲＯＭ
４０ｄ Ｉ／Ｆ
４００ｅ バス
４１ 入出力装置
４２ ビデオ取込装置
４３ 画像サンプリング装置
４４ 画像変換装置
４５ ポインタ位置算出装置
４６ 更新装置
４７ テキスト抽出装置
４８ データベース
４９ バス
Ｉｔ、Ｉｔ−１ 表示画像
Ｄｔ 差分画像
Ｐｔ ポインタ
ＡＲ ポインタ候補領域
Ｔｘ テキスト情報
【技術分野】
【０００１】
本発明は、ディスプレイに表示される表示画像を取得して蓄積していく表示画像取得装置に関し、特に表示画像に一体形成されるポインタの位置を算出する表示画像取得装置に関する。
【背景技術】
【０００２】
ＰＣ(Personal Computer)やＰＤＡ（Personal Digital Assistant）等の情報端末を利用して、遠隔地から提供されるプレゼンテーション用の画像・音声を視聴したり、当該プレゼンテーションを保存して後から視聴したりすることが知られている。例えば、特許文献１では、プレゼンテーション用の画像等をビデオ情報として保存することが開示されている。
【０００３】
一般に、プレゼンテーションは、静止画であるスライド画像、スライド画像を説明するための音声、スライド画像中の注目領域を示すポインタの位置や形状等に関する情報（以下、ポインタ情報という。）があれば、プレゼンテーションの内容を十分に伝達することができると考えられる。このような事情に鑑みて、例えば、特許文献２では、情報端末から直接スライド画像、音声及びポインタ情報を取得して記録する記録装置が開示されている。
【０００４】
さらに、ポインタ情報の取得技術として、例えば特許文献３や特許文献４に開示されるように、指示棒やレーザポインタによるポインタ情報、利用者の手振りによるポインタ情報を取得するものも知られている。
【０００５】
一方、情報端末から出力されるＲＧＢ信号等のディスプレイ信号（以下、画像表示用信号という。）を取得し、当該画像表示用信号に応じた表示画像に変換して蓄積していく表示画像取得装置も知られている。表示画像取得装置は、画像表示用信号を監視し、該信号が大きく変化した時点で画像表示用信号を取得するため、例えばスライド画像等の表示画像の切り替えを判別でき、表示画像を効率良く蓄積できる。
【０００６】
【特許文献１】特開２０００−１８７５４２号公報
【特許文献２】特開２００３−５８９０１号公報
【特許文献３】特開２０００−２７６２９７号公報
【特許文献４】特開２００１−５６０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、上述した特許文献１に開示される保存は、保存対象がビデオ情報であるため大容量の記憶装置が必要となり設備費用が増大する可能性がある。また、特許文献２に開示される記録装置を利用する場合に、情報端末に当該記録装置を利用するためのソフトウェアを事前に導入しなければならないという制限がある。さらに、特許文献３や特許文献４に開示されるポインタ位置取得技術は、画像表示用信号を対象としたものではない。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、表示画像上に一体形成されるポインタの位置を画像表示用信号から算出する表示画像取得装置及び表示画像取得プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の発明は、画像表示用信号を取得する取得手段と、画像表示用信号を一定周期で連続して抽出する抽出手段と、画像表示用信号を、該画像表示用信号に応じた表示画像に変換する変換手段と、連続する表示画像から差分画像を生成して２値化し、差分値が存在する領域をポインタが占めるポインタ候補領域として特定し、ポインタ候補領域のうち、差分画像の左上を基準とした場合における、当該基準から最も近いポインタ候補領域内の一部分をポインタの位置情報として記憶手段に記憶させるポインタ位置算出手段と、を有することを特徴とする表示画像取得装置である。
【００１０】
請求項２に記載の発明は、請求項１に記載の発明において、ポインタ位置算出手段は、ポインタ候補領域が２箇所ある場合に、時刻毎にそれぞれのポインタの位置情報を記憶させることを特徴としている。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の発明において、ポインタ位置算出手段は、２値化した結果得られる差分値の数がポインタの占める画素数の２倍より大きい場合に、その時刻におけるポインタの位置を算出する処理を中止することを特徴としている。
【００１２】
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、ポインタ位置算出手段は、ポインタ候補領域が３箇所以上ある場合に、その時刻におけるポインタの位置を算出する処理を中止することを特徴としている。
【００１３】
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の発明において、ポインタ位置算出手段は、連続するポインタ候補領域のそれぞれに対してエッジ抽出処理を行い、当該抽出処理による互いのエッジ形状の類似度が高い場合に、ポインタの位置を算出することを特徴としている。
【００１４】
請求項６に記載の発明は、請求項１から５のいずれか１項に記載の発明において、ポインタ位置算出手段は、エッジ形状を整形してポインタの形状を記憶させることを特徴とする請求項１から５のいずれか１項に記載の表示画像取得装置。
【００１５】
請求項７に記載の発明は、コンピュータを、画像表示用信号を取得する取得手段と、画像表示用信号を一定周期で連続して抽出する抽出手段と、画像表示用信号を、該画像表示用信号に応じた表示画像に変換する変換手段と、連続する表示画像から差分画像を生成して２値化し、差分値が存在する領域をポインタが占めるポインタ候補領域として特定し、ポインタ候補領域のうち、差分画像の左上を基準とした場合における、当該基準から最も近いポインタ候補領域内の一部分をポインタの位置情報として記憶手段に記憶させるポインタ位置算出手段として機能させることを特徴とする表示画像取得プログラムである。
【発明の効果】
【００１６】
請求項１に記載の発明によれば、表示画像上に一体形成されるポインタの位置を画像表示用信号から算出できる。
【００１７】
請求項２に記載の発明によれば、ポインタの移動が時系列に把握できる。
【００１８】
請求項３に記載の発明によれば、スライド画像の切り替えをポインタの移動とする誤判断を抑制できる。
【００１９】
請求項４に記載の発明によれば、ポインタの大きさ相当の画像をポインタとする誤判断を抑制できる。
【００２０】
請求項５に記載の発明によれば、ポインタ以外の画像をポインタとする誤判断を抑制を抑制できる。
【００２１】
請求項６に記載の発明によれば、ポインタの再現性が向上する。
【００２２】
請求項７に記載の発明によれば、表示画像上に一体形成されるポインタの位置を画像表示用信号から算出できる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の最良の実施形態について図面を参照して説明する。
図１は本発明の実施形態に係る表示画像取得装置を適用したシステム（以下、表示画像取得システムという。）の構成図、図２は表示画像取得装置のハードウェア構成を示すブロック図である。
【００２４】
表示画像取得システムは、図１に示すように、情報端末１０、スプリッタ２０２、プロジェクタ３０、表示画像取得装置４０等から構成される。
【００２５】
情報端末１０は、キーボードやマウス等の入力装置、液晶ディスプレイやＣＲＴディスプレイ等の表示装置、これらの装置を制御するコンピュータ等の制御装置等から構成される。図１においては、ノート型ＰＣが記載されているが、携帯電話やＰＤＡ、スタンドアローン型のＰＣであってもよい。制御装置は、表示装置に表示すべき画像をＶＧＡ信号やＲＧＢ信号等の画像表示用信号として出力するとともに、当該信号をスプリッタ２０に向けて出力する。
【００２６】
スプリッタ２０は、画像表示用信号を分離する機器であって、情報端末１０と投影装置３０との間に設置される。スプリッタ２０は画像表示用信号を受信すると、一方を投影装置３０に、他方をスプリッタ２０にケーブル等で接続された表示画像取得装置４０に分離して出力する。尚、図１において、スプリッタの分離は、２方向としているが、３方向以上であってもよい。
【００２７】
投影装置３０は、いわゆるプロジェクタであって、画像表示用信号を受信すると、当該信号に応じた画像を投影画像としてスクリーンや壁面等に投影する。投影装置３０の代わりに、上述した表示装置を使用するようにしてもよい。
【００２８】
表示画像取得装置４０は、画像表示用信号を受信し、当該画像表示用信号に応じた表示画像に変換し、表示画像を記憶装置に蓄積していく装置である。表示画像取得装置４０は、コンピュータ、すなわち、図２に示すように、ＣＰＵ４０ａ等の処理装置、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ４０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)４０ｃ、スプリッタ２０等の外部機器との入出力を行うＩ／Ｆ４０ｄ、図示しないハードディスク等の磁気ディスク等がバス４０ｅにより接続されたハードウェア構成により実現される。
【００２９】
したがって、ＣＰＵ４０ａがＲＯＭ４０ｃやハードディスク等に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、表示画像取得装置４０内の各機能が実現される。また、情報端末１０の制御装置についても同様の構成を有する。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。
【００３０】
ここで、上述した表示画像取得装置４０について図３を参照してさらに詳しく説明する。
図３は表示画像取得装置４０の要部構成を示す機能ブロック図である。
表示画像取得装置４０は、図３に示すように、入出力装置４１、ビデオ取込装置４２、画像サンプリング装置４３、画像変換装置４４、ポインタ位置算出装置４５、更新装置４６、テキスト抽出装置４７、データベース４８及びバス４９等から構成される。各装置はバス４９を介して互いに接続される。
【００３１】
入出力装置４１は、ケーブル等を接続するコネクタ等で構成される。入出力装置４１は、ケーブルを介して上述したスプリッタ２０と接続され、画像表示用信号を受信して、ビデオ取込装置４２に出力する。尚、ケーブルを使用せずにワイヤレス形式としてもよい。
【００３２】
ビデオ取込装置４２は、本発明の取得手段の一例であって、入出力装置４１から出力される画像表示用信号を取り込む。
画像サンプリング装置４３は、本発明の抽出手段の一例であって、ビデオ取込装置４２から受信した画像表示用信号を一定周期で連続して抽出する。一定周期は、例えば、１／２９．９７秒おきのビデオレートでもよいし、０．５秒おき程度でもよい。この間隔が短いほどスライド画像の切り替わりやポインタ移動の検出を精度良く行える。
【００３３】
画像変換装置４４は、本発明の変換手段の一例であって、画像サンプリング装置４３によって抽出された画像表示用信号を取得し、順次その画像表示用信号に応じた表示画像に変換する。表示画像は、例えば、ＢＭＰ（ビットマップ）形式や、ＪＰＥＧ形式、ＴＩＦＦ形式、ＧＩＦ形式等の種々の形式を利用できる。画像変換装置４４は、表示画像への変換後、当該表示画像を順々にポインタ位置算出装置４５に送信する。
【００３４】
ポインタ位置算出装置４５は、本発明のポインタ位置算出手段の一例であって、連続する表示画像から差分画像を生成して２値化し、差分値が存在する領域をポインタが占めるポインタ候補領域として特定し、ポインタ候補領域のうち、差分画像の左上を基準とした場合における、当該基準から最も近いポインタ候補領域内の一部分をポインタの位置情報としてデータベース４８に記憶させる。尚、ポインタの形状の特性として対称性を有することに着目し、差分値が存在する領域のうち、対象性を有する領域をポインタ候補領域としてもよい。これによりポインタであることの判断の正確さが増加する。
【００３５】
更新装置４６は、タイトル情報、発表者氏名等を、同じ発表として分類された表示画像すべてに対して属性情報として付与する。
テキスト抽出装置４７は、格納対象として選択された表示画像に対して文字認識処理（ＯＣＲ）を適用することによってテキスト情報を抽出する。尚、この処理は、テキスト情報にもとづいて記録蓄積した表示画像の検索や、表示画像に記載された発表者の氏名や発表の題目（タイトル）を分類された表示画像群に索引として付与するために行うものである。
【００３６】
データベース４８は、画像変換装置４４で変換された表示画像や、ポインタ位置算出装置４５で算出されたポインタ位置情報を時刻毎に記憶する。
【００３７】
次に上述したポインタ位置算出装置４５の動作について図４から図１３を参照して説明する。
図４はポインタ位置算出装置４５の動作の一例を示すフローチャート、図５は差分画像の生成を説明するための図、図６は２値化曲線のグラフ、図７はポインタの位置の算出を説明するための図、図８はポインタの位置の算出を中止する場合を説明するための図、図９は差分画像の生成を説明するための他の図、図１０はポインタの位置の算出を中止する場合を説明するための他の図、図１１はポインタの移動前後の形状の類似度を判定するための数式、図１２はポインタの位置の算出を中止する場合を説明するための他の図、図１３はデータベースにおけるポインタの位置の記憶例である。
【００３８】
ポインタ位置算出装置４５は、図４に示すように、まず、画像変換装置４４から表示画像を順次受信して、連続する表示画像から差分画像を生成する（ステップＳ１）。例えば、図５（ａ）に示すように、時刻ｔ−１に表示画像Ｉｔ−１を受信した後に、同図（ｂ）に示すように、時刻ｔに表示画像Ｉｔを受信した場合には、表示画像Ｉｔと表示画像Ｉｔ−１とから、同図（ｃ）に示すように、差分画像Ｄｔを生成する。これにより、移動前後のポインタＰｔが差分画像Ｄｔ内に生成される。
【００３９】
ポインタ位置算出手段４５は、次いで、差分画像Ｄｔを２値化する（ステップＳ２）。２値化は例えば図６に示す２値化曲線Ｌによって行われる。２値化曲線Ｌは、０から離れるに従い表示画像Ｉｔと表示画像Ｉｔ−１との濃度値の差が大きく、０に近づくにつれて表示画像Ｉｔと表示画像Ｉｔ−１との濃度値の差が小さいことを表している。
【００４０】
したがって、濃度値の差が明確な部分を差分値１とし、そうでない部分を差分値０とする。この明確さを分ける閾値Ｐは、図６に数値として具体的に示していないが、例えば−６０から６０程度の差であれば濃度値の差が明確でないとすることができる。この結果、差分画像Ｄｔは、図７（ａ）に示すように、差分値が０となる部分と差分値が１となる部分とに区別される。
【００４１】
ポインタ位置算出手段４５は、ここで、差分画像Ｄｔ全体から差分値が１となる部分の数を計数し、この数が２０以上１０００以下であるか否かを判定する（ステップＳ３）。すなわち、計数結果が１０００を超える場合には、図８に示すように、ポインタＰｔの表示や移動でなく、例えば、表示画像Ｉｔ−１から表示画像Ｉｔへの切り替え等によって差分画像Ｄｔ内に差分値が１となる部分が大量に現われ計数されたものとして当該時刻におけるポインタ位置の算出処理を中止し、次の時刻の処理を行う。また、計数結果が２０を下回る場合には、ポインタの表示や移動がないものとして当該時刻におけるポインタ位置の算出処理を中止し、次の時刻の処理を行う。
【００４２】
尚、この判定基準となる２０以上１０００以下は、表示画像内におけるポインタの占める部分の数とその倍数の範囲内であれば特に限定されるものでなく、ポインタの大きさに応じて変更してもよい。これは、差分画像Ｄｔ内にポインタＰｔの移動のみが差分として残る場合、差分画像Ｄｔ上には多くても２個のポインタＰｔが現われるためである。この結果、計数結果が２０以上１０００以下であると判定された場合には、後続する処理に移行する。
【００４３】
ポインタ位置算出手段４５は、次いで、差分画像Ｄｔの局所性について判定する（ステップＳ５）。より詳しくは、図７（ｂ）に示すように、差分画像Ｄｔの左上隅を基準点Ｏとし、左から右へ、上から順に、差分値が１となる部分を探索する。そして、当該部分が検出された場合には、その部分を基準に上下左右に探索し差分値が１となる部分を計数する。尚、一度計数した部分には、計数済のフラグ等を付与し、重複した計数がなされないようにする。この結果、差分値が１となる部分が１つの集合体（又は領域）を形成している場合には、同図（ｂ）に示すように、その集合体をポインタ候補領域ＡＲとする。
【００４４】
差分値が１となる部分の探索は、差分画像Ｄｔの右下隅に至るまで行われる。この結果、ポインタ候補領域ＡＲが１個又は２個である場合には、後続の処理を行う。尚、１個の場合とは、例えば図９に示すように、ポインタＰｔが移動したが、移動量が少なく、差分画像Ｄｔを生成した場合に、移動前後でポインタＰｔが重なっている状態を示す。
【００４５】
一方、ポインタ候補領域ＡＲが０個又は３個以上である場合には、その時刻におけるポインタ位置の算出処理を中止する。ここでポインタ候補領域が３個である場合とは、例えば、図１０に示すように、差分画像ＤｔにポインタＰｔが２つ含まれるとともに、スライド画像のアニメーション効果等により、ポインタＰｔの大きさに相当する文字情報Ｔｘや画像情報等が差分画像Ｄｔに含まれた場合等がある。
【００４６】
ポインタ位置算出装置４５は、次いで、移動前後のポインタＰｔの形状（輪郭）が一致するか否かを判定する（ステップＳ５）。尚、ポインタＰｔの移動前後の形状が一致するか否かは完全一致でなく、類似度が概ね高ければ足りる。
【００４７】
ここで、ポインタＰｔの移動前後の類似度が高いか否かは、図１１に示す数式によって判断する。図１１に示す数式において、Ｅｔ（ｘ，ｙ）は、時刻ｔにおけるポインタ候補領域ＡＲのエッジマップ、Ｅｔ−１（ｘ＋Δｘ，ｙ＋Δｙ）は、時刻ｔ−１におけるポインタ候補領域ＡＲのエッジマップを示している。ポインタ候補領域ＡＲのエッジマップは、一般的な技術によって生成することができ、例えばＳｏｂｅｌフィルタと２値化処理とを組み合わせて生成することができる。
【００４８】
そして、図１１に示す数式による計算結果Ｓは、ポインタ候補領域ＡＲ内でエッジマップＥｔ、エッジマップＥｔ−１におけるエッジ形状が移動分を除いて同じ場合に１となり、全く異なる場合に非常に小さい値となる。例えば、図１２に示すような差分画像Ｄｔが得られるような場合に、全く異なる形状と判断され、非常に小さい値となる。ポインタ位置算出装置４５０は、ポインタＰｔの移動前後の位置が概ね一致すると判定した場合には、後続の処理を行う。逆に、計算結果が非常に小さい値となった場合には、類似度が低いと判定し、その時刻におけるポインタ位置算出処理を中止する。
【００４９】
ポインタ位置算出装置４５は、次いで、ポインタＰｔの位置を算出する（ステップＳ６）。ポインタＰｔの位置の算出にあたっては、図７（ｂ）に示すように、例えば差分画像Ｄｔの左上隅を基準点Ｏとした場合において、当該基準点Ｏから最も近い、ポインタ候補領域ＡＲ内の差分値が１となる一部分とすることができる。この際、差分画像Ｄｔ内に時刻ｔにおけるポインタＰｔと時刻ｔ−１におけるポインタＰｔが併存する場合には、時刻毎にそれぞれの位置を算出する。この結果、同図（ｂ）に示すように、時刻ｔ−１におけるポインタＰｔの座標Ａは（２５，１０）とすることができ、時刻ｔにおけるポインタＰｔの座標Ｂは（６０，５０）とすることができる。
【００５０】
ポインタ位置算出装置４５は、次いで、ステップＳ６の処理によって算出されたポインタＰｔの位置をデータベース４８に記憶させる。データベース４８への記憶は、図１３に示すように、時刻毎に記憶させることが望ましく、これにより、ポインタＰｔの時系列的な追尾が可能となる。また、ポインタＰｔの形状も併せて記憶させてもよい。当該形状は、上述したステップＳ５のエッジ抽出処理によって得られるポインタＰｔのエッジを記憶させることで実現できる。さらに、ポインタの位置について、１サンプリング間隔前の位置が既に記憶されている場合もある。このような場合には、同一時刻に対して記憶された複数のポインタの位置から適切な値、例えば平均値や最新の記憶値を用いてもよい。
【００５１】
尚、図９を参照して説明したように、差分画像Ｄｔ内にポインタＰｔが重なって含まれた場合には、図１４に示すように、ポインタ候補領域ＡＲが１個となる。この場合には、ポインタＰｔのそれぞれに対しエッジ抽出処理を行い、図１１に示す数式を適用しても完全一致とならない可能性がある。したがって、このような場合には、概ね計算結果が０．５以上であれが、２つのポインタＰｔは同一のものと判断することとし、そうでない場合には、ポインタＰｔとテキスト情報Ｔｘ等と判断する。これにより、ポインタＰｔの少量の移動であっても、ポインタの位置の検出が可能となる。尚、図１４によれば、この結果、得られる時刻ｔ−１の座標Ｃは例えばＣ（２５，１０）となる。
【００５２】
また、表示画像取得装置４０に、情報端末１０からの要求に応じてデータベース４８に記憶される表示画像やポインタ情報を送信する情報送信装置を設けてもよい。情報端末１０では、受信した表示画像にポインタ情報に応じた時間と場所にポインタＰｔを重ねて表示できる。
【００５３】
また、ポインタ情報に基づいて、時刻と時刻との間を補間してポインタＰｔを表示させるようにしてもよい。図１５は時刻ｔ−２から時刻ｔ−１にかけてのポインタＰｔの軌跡を示す図である。ポインタ情報は、それぞれの時刻ｔ−２、ｔ−１、ｔ＋１におけるポインタＰｔの各位置を含んでいるが、これらを表示画像上に表示させた場合には、不連続にポインタＰｔが表示されることととなる。したがって、それぞれの時刻に基づいて補間法等の手法を使用することにより連続したポインタＰｔの移動が可能となる。補間法には例えばスプライン補間等を用いてもよい。記憶したポインタ情報の時刻が多いほど、円滑で正確なポインタの位置を再現することができる。
【００５４】
さらに、ポインタＰｔが抽出された後の表示画像であって、ポインタ以外の多くの部分を共有する画像を１つの表示画像としてまとめてデータベース４８に蓄積するようにしてもよい。表示画像とポインタとを分離して記憶することで、記憶容量の低減が図れる。
【００５５】
以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【００５６】
また、上述した説明におけるポインタは、カーソルやマウスポインタ、マウスカーソル等いずれの名称をも適用できる。また、上述した説明において差分値が１となる部分は表示装置における１個の画素とすることもできるし、例えば４個や９個等の画素の集合体を差分値１となる部分としてもよい。さらに、ポインタの位置を算出する際の基準点は差分画像の四隅であればいずれでもよい。
【産業上の利用可能性】
【００５７】
本発明によれば、表示画像上に一体形成されるポインタの位置を画像表示用信号から算出でき、産業上の利用可能性が高い。
【図面の簡単な説明】
【００５８】
【図１】表示画像システムの構成図である。
【図２】表示画像取得装置のハードウェア構成を示すブロック図である。
【図３】表示画像取得装置の要部構成を示す機能ブロック図である。
【図４】表示画像取得装置の動作の一例を示すフローチャートである。
【図５】差分画像の生成を説明するための図である。
【図６】２値化曲線のグラフである。
【図７】ポインタの位置の算出を説明するための図である。
【図８】ポインタの位置の算出を中止する場合を説明するための図である。
【図９】差分画像の生成を説明するための他の図である。
【図１０】ポインタの位置の算出を中止する場合を説明するための他の図である。
【図１１】ポインタの移動前後の形状の類似度を判定するための数式である。
【図１２】ポインタの位置の算出を中止する場合を説明するための他の図である。
【図１３】データベースにおけるポインタの位置の記憶例である。
【図１４】ポインタの位置の算出を説明するための他の図である。
【図１５】ポインタの位置の算出を説明するための他の図である。
【符号の説明】
【００５９】
１０ 情報端末
２０ スプリッタ
３０ 投影装置
４０ 表示画像取得装置
４０ａ ＣＰＵ
４０ｂ ＲＡＭ
４０ｃ ＲＯＭ
４０ｄ Ｉ／Ｆ
４００ｅ バス
４１ 入出力装置
４２ ビデオ取込装置
４３ 画像サンプリング装置
４４ 画像変換装置
４５ ポインタ位置算出装置
４６ 更新装置
４７ テキスト抽出装置
４８ データベース
４９ バス
Ｉｔ、Ｉｔ−１ 表示画像
Ｄｔ 差分画像
Ｐｔ ポインタ
ＡＲ ポインタ候補領域
Ｔｘ テキスト情報
【特許請求の範囲】
【請求項１】
画像表示用信号を取得する取得手段と、
前記画像表示用信号を一定周期で連続して抽出する抽出手段と、
前記画像表示用信号を、該画像表示用信号に応じた表示画像に変換する変換手段と、
連続する前記表示画像から差分画像を生成して２値化し、差分値が存在する領域をポインタが占めるポインタ候補領域として特定し、前記ポインタ候補領域のうち、差分画像の左上を基準とした場合における、当該基準から最も近いポインタ候補領域内の一部分をポインタの位置情報として記憶手段に記憶させるポインタ位置算出手段と、
を有することを特徴とする表示画像取得装置。
【請求項２】
前記ポインタ位置算出手段は、前記ポインタ候補領域が２箇所ある場合に、時刻毎にそれぞれのポインタの位置情報を記憶させることを特徴とする請求項１に記載の表示画像取得装置。
【請求項３】
前記ポインタ位置算出手段は、２値化した結果得られる差分値の数がポインタの占める画素数の２倍より大きい場合に、その時刻におけるポインタの位置を算出する処理を中止することを特徴とする請求項１又は２に記載の表示画像取得装置。
【請求項４】
前記ポインタ位置算出手段は、前記ポインタ候補領域が３箇所以上ある場合に、その時刻におけるポインタの位置を算出する処理を中止することを特徴とする請求項１から３のいずれか１項に記載の表示画像取得装置。
【請求項５】
前記ポインタ位置算出手段は、連続するポインタ候補領域のそれぞれに対してエッジ抽出処理を行い、当該抽出処理による互いのエッジ形状の類似度が低い場合に、ポインタの位置を算出する処理を中止することを特徴とする請求項１から４のいずれか１項に記載の表示画像取得装置。
【請求項６】
前記ポインタ位置算出手段は、前記エッジ形状を整形してポインタの形状を記憶させることを特徴とする請求項１から５のいずれか１項に記載の表示画像取得装置。
【請求項７】
コンピュータを、
画像表示用信号を取得する取得手段と、
前記画像表示用信号を一定周期で連続して抽出する抽出手段と、
前記画像表示用信号を、該画像表示用信号に応じた表示画像に変換する変換手段と、
連続する前記表示画像から差分画像を生成して２値化し、差分値が存在する領域をポインタが占めるポインタ候補領域として特定し、前記ポインタ候補領域のうち、差分画像の左上を基準とした場合における、当該基準から最も近いポインタ候補領域内の一部分をポインタの位置情報として記憶手段に記憶させるポインタ位置算出手段として機能させることを特徴とする表示画像取得プログラム。
【請求項１】
画像表示用信号を取得する取得手段と、
前記画像表示用信号を一定周期で連続して抽出する抽出手段と、
前記画像表示用信号を、該画像表示用信号に応じた表示画像に変換する変換手段と、
連続する前記表示画像から差分画像を生成して２値化し、差分値が存在する領域をポインタが占めるポインタ候補領域として特定し、前記ポインタ候補領域のうち、差分画像の左上を基準とした場合における、当該基準から最も近いポインタ候補領域内の一部分をポインタの位置情報として記憶手段に記憶させるポインタ位置算出手段と、
を有することを特徴とする表示画像取得装置。
【請求項２】
前記ポインタ位置算出手段は、前記ポインタ候補領域が２箇所ある場合に、時刻毎にそれぞれのポインタの位置情報を記憶させることを特徴とする請求項１に記載の表示画像取得装置。
【請求項３】
前記ポインタ位置算出手段は、２値化した結果得られる差分値の数がポインタの占める画素数の２倍より大きい場合に、その時刻におけるポインタの位置を算出する処理を中止することを特徴とする請求項１又は２に記載の表示画像取得装置。
【請求項４】
前記ポインタ位置算出手段は、前記ポインタ候補領域が３箇所以上ある場合に、その時刻におけるポインタの位置を算出する処理を中止することを特徴とする請求項１から３のいずれか１項に記載の表示画像取得装置。
【請求項５】
前記ポインタ位置算出手段は、連続するポインタ候補領域のそれぞれに対してエッジ抽出処理を行い、当該抽出処理による互いのエッジ形状の類似度が低い場合に、ポインタの位置を算出する処理を中止することを特徴とする請求項１から４のいずれか１項に記載の表示画像取得装置。
【請求項６】
前記ポインタ位置算出手段は、前記エッジ形状を整形してポインタの形状を記憶させることを特徴とする請求項１から５のいずれか１項に記載の表示画像取得装置。
【請求項７】
コンピュータを、
画像表示用信号を取得する取得手段と、
前記画像表示用信号を一定周期で連続して抽出する抽出手段と、
前記画像表示用信号を、該画像表示用信号に応じた表示画像に変換する変換手段と、
連続する前記表示画像から差分画像を生成して２値化し、差分値が存在する領域をポインタが占めるポインタ候補領域として特定し、前記ポインタ候補領域のうち、差分画像の左上を基準とした場合における、当該基準から最も近いポインタ候補領域内の一部分をポインタの位置情報として記憶手段に記憶させるポインタ位置算出手段として機能させることを特徴とする表示画像取得プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−２６２６２（Ｐ２００９−２６２６２Ａ）
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願番号】特願２００７−１９１６８５（Ｐ２００７−１９１６８５）
【出願日】平成１９年７月２４日（２００７．７．２４）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願日】平成１９年７月２４日（２００７．７．２４）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]