ポインタ領域検出装置、方法及びプログラム、画像の対応付け装置、方法及びプログラム、並びにコンテンツ配信サーバ、コンテンツ配信方法
ビデオフレームの画像中に撮像されているＯＨＰ画像において、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を検出するポインタ領域検出部１１４と、前記ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付け部１０９と、前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付け部１１５とを備えてなる。
【発明の詳細な説明】
【技術分野】
本発明は、ＯＨＰ（Ｏｖｅｒｈｅａｄ Ｐｒｏｊｅｃｔｏｒ）を使用した講義を撮像したビデオフレームの画像において、ＯＨＰ上でのポインタ位置を検出するポインタ位置検出装置、ポインタ位置検出方法、並びにポインタ位置検出プログラムに関する。また、本発明は、例えば講義などで使用されたＯＨＰファイルと、講義などを撮影した動画像とを対応付けると共に、講義において指示されているＯＨＰの部分をＯＨＰファイル上に明確に表示できるようにした画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラム、及びそのようにして作成されたコンテンツを配信することができるコンテンツ配信サーバに関するものである。
【背景技術】
社内教育や、一般の教育分野では、ｅ−ｌｅａｒｎｉｎｇの導入が行われつつある。Ｅ−ｌｅａｒｎｉｎｇは、インターネットを使った遠隔地教育で、ＷＥＢ画面を使って行われることが多い。Ｅ−ｌｅａｒｎｉｎｇの形態は多種あるが、その中で普通の講義をもっともよく再現するものとして、講義の動画像（ビデオ画像）の再生と、それに同期したＯＨＰの拡大表示のコンテンツがある。このコンテンツを使うことで、受講者は、講師が使用するＯＨＰの拡大表示を視認することによって、ＯＨＰの内容が容易に理解されることになる。つまり従来のコンピュータディスプレイ画面上の制約から課題であった、講師が示したＯＨＰの場所とその内容の詳細表示が同時に可能になり、実際に講義を受講しているのとほぼ同じ環境が提供できることになる。
しかし、このシステムを実現するためには、ＯＨＰを説明する動画像と、そこに映し出されているＯＨＰの詳細表示が時間的に同期がとれている必要がある。現在のｅ−ｌｅａｒｎｉｎｇのコンテンツ作成用のオーサリングシステムでは、この部分を手動で行っていたため、コンテンツ作成には膨大な時間がかかっている。この問題の解決のため、本発明者等は、既に「動画像元文書対応付け方式」として、動画と元文書の対応付けの自動化を提案している（特願２００２−０８０５００号）。
一方、実際の講義では、講師は、ＯＨＰの内容を順番に説明していく。つまり、音声による話の内容に従って、注目するＯＨＰ上の箇所が移動していく。上述の動画−ＯＨＰ同期型のｅ−ｌｅａｒｎｉｎｇコンテンツでは、動画内のＯＨＰの切り替わりだけを検出して、対応するＯＨＰ表示を切り替えているだけなので、１つのＯＨＰの中で、講師が話している箇所を注目させることはできなかった。
このため、動画に同期して表示されるＯＨＰにおいて、講師の説明箇所を表示するようにできれば、受講者はＯＨＰにおける講師の説明箇所を容易に注目することができるが、このためには、上記コンテンツを作成するに際して動画像（ビデオフレームの画像）中から講師がＯＨＰにおいて指示しているポインタ位置を検出しなければならない。
従来より、このようなポインタ位置の検出装置としては、例えば以下のようなものが知られている。
（１）指示棒を使うもの
（ａ）指示棒を使い、ビデオカメラで撮影した指示棒と指示棒の影を抽出して、ポインティング位置を獲得する方法（例えば、特許文献１参照）。
（ｂ）先端発光型の特殊指示棒を使い、特定の波長光だけを抽出することでポインティング位置を獲得する方法（例えば、特許文献２参照）。
（２）レーザーポインタを使うもの
（ａ）レーザーポインタを使用し、レーザー光の点滅とビデオフレームを同期させて映像投影領域とポインティング位置を獲得する方法（例えば、特許文献３参照）。
（ｂ）レーザーポインタを使用し、投影画像と撮影画像が全く同じ大きさになる装置を使って、投影画像と撮影画像の差分によりポインティング位置を獲得する方法（例えば、特許文献４参照）。
（ｃ）レーザーポインタを使用し、投影画像と撮影画像が全く同じ大きさになる装置を使って、スクリーン上のポインティングマーカの座標を特定波長光、または特定周期明滅または特定偏光または投影映像と撮像映像の差分画像により獲得する方法（例えば特許文献５参照）。
（ｄ）レーザーポインタを使用し、スクリーン上の基準マーカとポインティングマーカを赤外線ポインタで表示して、赤外線フィルタを通してその位置を獲得して、ポインティングマーカの座標を獲得する方法（例えば特許文献６参照）。
【特許文献１】 特開平８−３２０９２１号公報
【特許文献２】 特開平１０−８３２４６公報
【特許文献３】 特開平８−３３１６６７号公報
【特許文献４】 特開平９−６２４４４号公報
【特許文献５】 特開平９−８０３７２号公報
【特許文献６】 特開平１１−８５３９５号公報
しかしながら、（１）の指示棒を使うものは、講師が講義し難いという課題がある。また、コンテンツでは、講師の顔を中心にアップで撮影したいというニーズがあり、指示棒を使うことで顔が移動することは、この場合に好ましくない。
また、（２）のレーザーポインタを使う方法においては、以下のような理由によりコストが掛かるという問題がある。
（ａ）の場合、ビデオフレームに同期させて点滅をさせる特殊なレーザーポインタと、レーザーポインタの点滅同期とビデオ映像を同時にキャプチャする特殊な装置が必要となる。
（ｂ）の場合は、ビデオ投影と撮影を同時に行う一体型の特殊な装置が必要となる。また、投影画像と撮影画像が全く同じ大きさになる装置が必要となる。
（ｃ）の場合は、（ｂ）の場合と同様に投影画像と撮影画像が全く同じ大きさになる装置が必要となる。
（ｄ）の場合は、スクリーン上に赤外線で照射した基準マーカとポインティングマーカが必要で、このために特殊なレーザーポインタ、投影装置が必要となる。
つまり、上述した従来のポインタ検出技術では、１）レーザーポインタを撮影したビデオからレーザーポインタ位置を検出するために、特殊な装置、環境が必要となる。２）プロジェクタで投影した映像を撮影した映像からポインタ位置を検出し、それを元のコンテンツ内の座標に変換、または対応付けるために、特殊な装置が必要となる。３）常にプロジェクタ投影画像全体がカメラフレームに収まるように撮影すること（またはそのような装置）が条件で、プロジェクタ投影画像をズーム撮影したり、カメラを上下左右に移動してプロジェクタ投影画像の一部だけ撮影したりすることができない。
本発明は、上述した課題を解決するためになされたものであり、特殊な装置を必要とせず、パソコン、プロジェクタの投影装置と、レーザーポインタ、ビデオカメラという一般的な装置だけで撮影したビデオ画像からレーザーポインタ位置を検出することができ、もって、低コストに実現できるポインタ領域検出装置、ポインタ領域検出方法、並びにポインタ領域検出プログラムを提供することを目的とする。
また、本発明は、例えば講義などで使用されたＯＨＰファイル（元文書）と、講義などを撮影した動画像とを対応付けると共に、講義において指示されているＯＨＰ画像の部分をＯＨＰファイル上に明確に表示できるようにした画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラムを提供するとともに、このように対応付けされた動画像とＯＨＰファイルとをコンテンツとして配信するコンテンツ配信サーバ及びそのようなコンテンツ配信方法を提供することを目的としている。
【発明の開示】
上述した課題を解決するため、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出装置であって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得部と、前記ＲＧＢ取得部により取得されたＲＧＢ値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するポインタ領域候補抽出部と、前記ポインタ領域抽出部により抽出されたポインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定部とを備えてなるものである。
ここに、前記所定の式はＲ≧２３０、且つ、３Ｒ−２Ｇ−Ｂ≧１５５であり、前記評価値は、３Ｒ−２Ｇ−Ｂ で与えられることを特徴とする。
また、本発明は、ビデオフレームの画像中に撮像されているＯＨＰ画像においてＯＨＰ画像の所定箇所を指示している光学ポインタの領域を検出するポインタ領域検出装置であって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得部と、前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成部と、前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出部と、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算部と、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてポインタ領域候補の平均色を求めるポインタ領域候補平均色演算部と、前記背景色に対するポインタ領域候補の平均色の色分布に基づいて前記ポインタ領域候補がポインタ領域であるか否かを判定する、色情報を用いたポインタ領域判定部とを備えてなるものである。
このポインタ領域検出装置において、前記領域候補抽出部は、前記ラベリングにより得られたパターンについて外形矩形を求め、さらに外形矩形の周囲及びそれから一定距離内にある外形矩形を一つのグループとして複数のグループを作成して各グループを前記領域候補とすることを特徴とする。このポインタ領域検出装置において、前記領域候補抽出部は、さらに前記各グループを所定画素数だけ周囲に拡大してなる領域を前記領域候補とすることを特徴とする。
また、本発明のポインタ領域検出装置において、前記背景色演算部は、前記領域候補抽出部により抽出された領域における前記ビデオ画像を色ラベリングし、前記パターンの領域を除いた部分で最大面積を有するラベル領域を背景領域として、該背景領域について平均色を求めることを特徴とする。
また、本発明のポインタ領域検出装置において、前記ポインタ領域候補平均色演算部は、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において平均色を求めると共に、前記領域候補内で平均色と一定のしきい値以内の画素をポインタ領域候補として抽出して、該ポインタ領域候補における平均色を求めてポインタ領域候補の平均色とすることを特徴とする。
また、本発明のポインタ領域検出装置において、前記ポインタ領域判定部は、前記背景色演算部により求められた背景色に対する前記ポインタ領域平均色演算部により得られた平均色の色分布と、予め記憶された前記背景色に対するレーザーポインタの色分布とが一致すると認められるか否かにより前記ポインタ領域候補がポインタ領域であるか否かを判定することを特徴とする。
さらに、本発明のポインタ領域検出装置において、各背景色毎にレーザーポインタの色分布テーブルを備えていることを特徴とする。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出装置であって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得部と、前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成部と、前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出部と、ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算部と、前記平均色を用いて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出部と、前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算部と、前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポインタパターン候補がレーザポインタ領域であるか否かを判定する、形状を用いたポインタ領域判定部とを備えてなるものである。
また、本発明のポインタ領域検出装置において、前記ポインタパターン候補抽出部は、前記平均色と一定のしきい値内にある色を有する画素を含んで前記ポインタパターンとすることを特徴とする。
また、本発明のポインタ領域検出装置において、前記ポインタ領域判定部は、前記楕円形状内で、奇数ラスターと偶数ラスターを別に調べ、どちらかのラスターで求めた前記ポインタパターンを形成する画素がある比率をラスター上の総画素数と比較し、それが一定比率以上であればレーザーポインタであると判定することを特徴とする。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出方法であって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、前記ＲＧＢ取得部により取得されたＲＧＢ値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するポインタ領域候補抽出ステップと、前記ポインタ領域抽出部により抽出されたポインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定ステップとを備えてなるものである。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出方法であって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算ステップと、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてポインタ領域候補の平均色を求めるポインタ領域候補平均色演算ステップと、前記背景色に対するポインタ領域候補の平均色の色分布に基づいて前記ポインタ領域候補がポインタ領域であるか否かを判定する色情報を用いたポインタ領域判定ステップとを備えてなるものである。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出方法であって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算ステップと、前記平均色を用いて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出ステップと、前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算ステップと、前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポインタパターン候補がレーザポインタ領域であるか否かを判定する形状情報を用いたポインタ領域判定ステップとを備えてなるものである。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、前記ＲＧＢ取得部により取得されたＲＧＢ値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するポインタ領域候補抽出ステップと、前記ポインタ領域抽出部により抽出されたポインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定ステップとをコンピュータに実行させるものである。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算ステップと、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてポインタ領域候補の平均色を求めるポインタ領域候補平均色演算ステップと、前記背景色に対するポインタ領域候補の平均色の色分布に基づいて前記ポインタ領域候補がポインタ領域であるか否かを判定する色情報を用いたポインタ領域判定ステップとをコンピュータに実行させるものである。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算ステップと、前記平均色を用いて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出ステップと、前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算ステップと、前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポインタパターン候補がレーザポインタ領域であるか否かを判定する形状情報を用いたポインタ領域判定ステップとをコンピュータに実行させるものである。
また、本発明に係る画像対応付け装置は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出部と、ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付け部と、前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付け部とを備えてなるものである。
この画像対応付け装置において、前記ポインタ領域対応付け部は、前記ポインタ領域検出部により検出された領域に関連する領域におけるＯＨＰ画像中の文字情報と、前記ＯＨＰファイルの文字情報とに基づいて、前記ポインタ領域検出部により検出された光学ポインタの領域を前記ビデオフレームの画像中に撮像されているＯＨＰ画像の元文書であるＯＨＰファイルの領域に対応付けることを特徴とする。
また、本発明の画像対応付け装置において、前記画像対応付け部は、ビデオフレームの番号とＯＨＰファイルの頁番号とを対応付け、前記ポインタ領域対応付け部は、前記ポインタ領域検出部により検出された光学ポインタの領域を前記ＯＨＰファイルにおける座標として対応付けることを特徴とする。
また、本発明の画像対応付け装置において、前記ポインタ領域対応付け部は前記ＯＨＰファイルにおける前記ポインタ領域と関連する領域をハイライト表示させるように対応付けることを特徴とする。
また、本発明に係る画像対応付け方法は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出ステップと、ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付けステップと、前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付けステップとを備えてなるものである。
また、本発明は、ビデオフレームとビデオフレームの画像に撮像されているＯＨＰ画像に対応するＯＨＰファイルとを対応付ける処理をコンピュータに実行させる画像対応付けプログラムであって、ビデオフレームの画像中に撮像されているＯＨＰ画像においてＯＨＰ画像の所定箇所を指示している光学ポインタの領域を検出するポインタ領域検出ステップと、前記ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付けステップと、前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付けステップとをコンピュータに実行させるものである。
また、本発明に係るコンテンツ配信サーバは、ビデオ画像を記憶するビデオ画像記憶部と、該ビデオ画像に撮像されているＯＨＰ画像の元文書であるＯＨＰファイルを記憶したＯＨＰファイル記憶部と、前記ビデオ画像のフレーム番号と、前記ビデオ画像に撮像されているＯＨＰ画像に対応するＯＨＰファイルの頁番号とを対応付けると共に、前記ビデオ画像に撮像されているＯＨＰ画像において示される光学ポインタの領域を前記ＯＨＰファイルの領域に対応付ける対応付け情報とを記憶した対応付け情報記憶部と、前記ビデオフレームの画像に対応付けられたＯＨＰファイル画像と前記ＯＨＰファイルにおける光学ポインタ領域の情報とを送信するための送信部とを備えてなるものである。
また、本発明のコンテンツ配信サーバと該サーバに接続されたクライアントとの間でコンテンツ配信を行うコンテンツ配信方法であって、クライアントがコンテンツ配信サーバに対して指定コンテンツの配信を要求するコンテンツ配信要求ステップと、前記要求に対し、コンテンツ配信サーバは、各記憶部から要求に係るコンテンツを検索し、該当するビデオ画像、該ビデオ画像に対応付けられたＯＨＰファイル、及びＯＨＰファイル内のポインタ位置情報を送信するコンテンツ送信ステップと、クライアントにおいて、配信されたコンテンツの中からビデオデータを再生すると共に、ビデオフレームに同期したＯＨＰファイル画像とＯＨＰファイル画像内のポインティング位置情報を表示する表示ステップとを備えてなるものである。
【図面の簡単な説明】
第１図は、本発明の実施の形態の概念図である。
第２図は、画像対応付け・コンテンツ作成装置の機能構成図である。
第３図は、画像対応付け・コンテンツ作成装置のハードウェア構成図である。
第４図は、画像対応付け装置の対応付け処理の流れを示したフローチャートである。
第５図は、ＯＨＰ領域画像抽出処理の流れを示したフローチャートである。
第６図は、文字情報により類似度を算出する類似度算出部の機能構成図である。
第７図は、第６図の類似度算出部により実行される類似度算出処理の流れを示したフローチャートである。
第８図は、文字認識処理の詳細を示したフローチャートである。
第９図は、ポインタ領域検出部の処理を示すフローチャートである。
第１０図は、色情報を用いたポインタ領域の検証処理を示すフローチャートである。
第１１図は、背景色（ＲＧＢ）毎のレーザーポインタの色（ＲＧＢ）分布を示す図である。
第１２図は、形状を用いたポインタ領域の検証処理を示すフローチャートである。
第１３図は、レーザーポインタの動きが速いときのレーザーポインタの画像パターンの一例を示す図である。
第１４図は、レーザーポインタの動きが遅いときのレーザーポインタの画像パターンの一例を示す図である。
第１５図は、動画像のポインタ領域をＯＨＰ画像に対応付ける処理を概念的に示す図であり、第１５図（ａ）は動画像のフレーム画像を示す図である。第１５図（ｂ）はＯＨＰ画像（ビットマップ）を示す図である。
第１６図は、ＯＨＰ画像にハイライト表示を行った場合の一例を示す図である。
第１７図は、コンテンツ配信サーバとクライアントの構成を示すブロック図である。
【発明を実施するための最良の形態】
以下、図を用いて本発明の実施の形態を詳細に説明する。
第１図は、本発明の実施の形態の概念図である。まず、レーザポイントとＯＨＰを使った講演２をＥ−ｌｅａｒｎｉｎｇの教材として使用する場合、その講演の映像を動画（ビデオ画像）としてカメラ撮影３し、パソコン等から構成される画像対応付け・コンテンツ作成装置１に保存する。また、講演に使用したＯＨＰのファイル４を同じ装置（画像対応付け・コンテンツ作成装置１）へ保存する。画像対応付け・コンテンツ作成装置１では、様々な画像処理技術を使用して、動画中のＯＨＰの切り代わりタイミングを求め、元のＯＨＰの画像が動画像のどのフレームに対応しているかを求めるとともに、そのＯＨＰにおいて、講師が講演中に指し示した座標を求め、それらの対応表を作成する。そして、この対応表を使用して、動画とＯＨＰの画像との同期をとり、かつ、講師が指し示す場所６をハイライト表示で再生するｅ−ｌｅａｒｎｉｎｇ用のコンテンツ５を作成する。これにより従来手動で行っていた動画とＯＨＰの各ページとの対応付けおよび、ポインティング位置情報（以下、ポインタ領域という）抽出、ハイライト表示が自動化できる。なお、以下の説明において、画像とはカラー画像を意味するものとする。
第２図は、上述した画像対応付け・コンテンツ作成装置１の機能構成の一例を示した図である。図において、画像対応付け・コンテンツ作成装置１は、画像対応付け装置１ａとコンテンツ作成装置１ｂとにより構成される。画像対応付け装置１ａは、カメラ等の撮像装置で講義等の動画像を入力する動画像入力部１０１と、入力された動画像をＡＶＩ（Ａｕｄｉｏ Ｖｉｓｕａｌ Ｉｎｔｅｒｌｅａｖｅ）形式等で記憶する動画像記憶部１０２と、他のコンピュータシステム等からＯＨＰファイル（画像ファイルとそれに対応する文字情報）を入力する入力部１０３と、入力されたＯＨＰファイル１頁毎に対応を付けて記憶するＯＨＰファイル記憶部１０４と、動画像記憶部１０２に記憶された動画像からフレーム毎の画像を取得するフレーム取得部１０５と、フレーム画像（ビデオフレームの画像）からＯＨＰ領域を抽出するＯＨＰ領域抽出部１０６と、ＯＨＰファイル記憶部１０４に記憶されたＯＨＰファイルを取得するＯＨＰ取得部１０７と、ＯＨＰ領域抽出部１０６により抽出されたフレーム画像にあるＯＨＰ部分とＯＨＰ取得部１０７により取得されたＯＨＰファイルの類似度を算出する類似度算出部１０８と、類似度算出部１０８により算出された類似度に基づいて動画像のフレームとＯＨＰファイルの頁とを対応付ける動画／ＯＨＰ対応付け処理部１０９ａとを備える。
また、この画像対応付け・コンテンツ作成装置１は、動画／ＯＨＰ対応付け部により対応付けられたフレームの画像からポインタ領域を検出するポインタ領域検出部１１４と、ポインタ領域検出部１１４により検出されたポインタ領域をＯＨＰ取得部１０７から取得されたＯＨＰファイル画像上に対応付ける（フレーム画像にあるＯＨＰ画像のポインタ領域をＯＨＰファイルの画像上に設定する）ポインタ領域対応付け処理部１１５と、対応付けられたＯＨＰ画像にハイライト表示を行うハイライト表示付きＯＨＰ画像作成部１１６と、動画／ＯＨＰ対応付け処理部１０９による対応付け結果とポインタ領域対応付け処理部１１５により処理結果とに基づいて、動画像のフレームとその動画像において示された光学ポインタの領域のそれぞれをＯＨＰファイルとそのＯＨＰファイル上の領域とに対応付ける対応付け情報を作成する動画／ＯＨＰ／ポインタ領域対応付け処理部１０９ｂと、対応付け情報をテーブルとして保存する対応付けテーブル（テーブル記憶部）１１０とを備えている。
また、コンテンツ作成装置１ｂは、コンテンツ作成部１１１と、コンテンツ記憶部１１２とから構成されている。コンテンツ作成部１１１は、対応付けテーブル１１０からフレーム画像とＯＨＰファイル画像との対応付けを参照して、Ｅ−ｌｅａｒｎｉｎｇ用のコンテンツを作成する。コンテンツ記憶部１１２はコンテンツ作成部１１１により作成されたコンテンツを記憶する。
なお、画像対応付け装置１ａ内に備えられているとして説明したハイライト表示付きＯＨＰ画像作成部１１６は、コンテンツ作成部１１１内に備えられるようにしても良い。
また、第３図は、画像対応付け・コンテンツ作成装置１のハードウェア構成の一例を示した図である。第３図において、画像対応付け・コンテンツ作成装置１は、ビデオ入力制御装置１１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２と、メモリ１３と、画像用ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１５と、ファイル入出力装置１４と、プログラムＨＤＤ１６と、コンテンツＨＤＤ１７と、対応付けテーブル（ビデオ−ＯＨＰ−ポインタ位置対応付けテーブル）ＨＤＤ１８と、ＯＨＰファイルＨＤＤ１９と、ＬＡＮ（Ｌｏｃａｌ Ａｒｉａ Ｎｅｔｗｏｒｋ）インタフェース２０と、ＣＤ−ＲＯＭドライブ２１と、ハイライト表示付きＯＨＰ画像ＨＤＤ２２とを備えている。
本実施の形態において、第２図の機能構成図に示した各機能ブロックは、第３図のプログラムＨＤＤ１６に記憶されたプログラム群が画像対応付け・コンテンツ作成装置１の起動時にメモリ１３上に展開された状態を示しており、ＣＰＵ１２により実行される。ただし、第２図の動画像入力部１０１或いはＯＨＰファイル入力部１０３は、第３図のビデオ入力制御装置１１或いはファイル入出力制御装置１４とが、上記メモリ１３上に展開されたプログラム群と協働して機能する。また、動画像記憶部１０２は画像用ＨＤＤ１５により構成され、ＯＨＰファイル記憶部１０４はＯＨＰファイルＨＤＤ１９により構成され、対応付けテーブル１１０は対応付けテーブルＨＤＤ１８により構成され、コンテンツ記憶部１１２はコンテンツＨＤＤ１７により構成されるものとする。なお、ハイライト表示付きＯＨＰ画像ＨＤＤ２２は、コンテンツとしてコンテンツＨＤＤ１７内に設けられても良い。
また、上記プログラム群はプログラムＨＤＤ１６でなくとも、例えば、コンピュータにより読取り可能な媒体、例えば、ＣＤ−ＲＯＭやＦＤ、磁気ディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体に記憶されていてもよく、また、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体等からダウンロードしてメモリ１３上に展開され実行されるようにしてもよく、プログラム群のインストール形態は限定されない。上述したように本実施の形態では、ＣＤ−ＲＯＭドライブ２１が備えられており、可搬型記憶媒体を読み取り可能としている。また、ＬＡＮインタフェース２０やファイル入出力装置１４により、他のコンピュータやデータベースからＬＡＮ等を介してプログラム群を容易にダウンロードできる構成となっている。
以下、フローチャートを用いて、画像対応付け装置１ａの対応付け処理の流れを詳細に説明する。第４図は、対応付け処理全体の処理フローを示したフローチャートである。まず、動画像記憶部１０２からフレーム取得部１０５が動画像の最初のフレームの画像を抽出する（Ｓ１０００）。ＯＨＰ領域抽出部１０６が、抽出されたフレーム画像内でＯＨＰの画像が映る領域（以下、ＯＨＰ領域画像と呼称する）を探索して抽出する（Ｓ１００１）。ＯＨＰ領域抽出処理についての詳細を以下に示す。
第５図は、ＯＨＰ領域画像抽出処理の流れを示したフローチャートである。まず、ＯＨＰ領域抽出部１０６にフレーム画像のデータが入力される（Ｓ１１００）。次に、フレーム画像を二値化して、フレーム画像内のエッジ抽出を行う（Ｓ１１０１）。続いて、抽出されたエッジに対してハフ変換を行い、直線を抽出する（Ｓ１１０２）。抽出された直線成分を統合して、矩形作成する（Ｓ１１０３）。この矩形から予め定められた所定のサイズより大きい矩形のみを抽出する（Ｓ１１０４）。この抽出処理で矩形が抽出されない場合には（Ｓ１１０５、ＮＯ）、フレームの画像全体がＯＨＰ画像の領域であると判断し、画像全体を抽出する（Ｓ１１０７）。矩形が抽出された場合には（Ｓ１１０５、ＹＥＳ）、抽出された中で最も大きな矩形をＯＨＰ領域画像として抽出する（Ｓ１１０６）。
なお、通常、ＯＨＰを用いた講義等を撮影した動画像においては、ＯＨＰの画像が最も大きな矩形となるのが一般的であるため、Ｓ１１０６の処理でその領域を抽出するようにしている。
ＯＨＰ領域画像抽出後、初期値として最大類似度に０をセットする（第４図、Ｓ１００２）。続いて、ＯＨＰ取得部１０７がＯＨＰ画像の最初のページをＯＨＰファイル記憶部１０４から抽出する（Ｓ１００３）。ここで類似度算出部１０８が、Ｓ１００３で抽出されたＯＨＰ画像の最初のページと、Ｓ１００１で抽出されたフレームのＯＨＰ領域の画像とを照合して、類似度を計算する（Ｓ１００４）。ここで、類似度計算について、図を用いて詳細に説明する。
第６図は、類似度計算の一例を示す類似度算出部１０８の機能構成図である。本手法では、文字情報を用いて類似度を算出する。また、ここでは連続する２文字が同一であるか否かを照合して類似度を算出する。図において、類似度算出部１０８は、画像正規化部１３０と、フレーム文字抽出部１３１と、ＯＨＰ文字抽出部１３２と、文字照合部１３３と、照合結果加算部１３４とからなる。画像正規化部１３０は、フレーム画像から抽出されたＯＨＰ領域画像がＯＨＰ画像の方向と一致するよう回転処理を実行して傾きを補正する。また、ＯＨＰ画像とサイズが異なる場合、拡大処理を実行して、ＯＨＰ画像と同一のサイズとなるよう補正する。なお、このような正規化処理は、第５図のＳ１１０６での抽出の際に、ＯＨＰ領域抽出部１０６が実行するようにしてもよく、特に限定されるものではない。
フレーム文字抽出部１３１は、第５図のＳ１１０６で抽出されたＯＨＰ領域画像から文字を認識して抽出する。ＯＨＰ文字抽出部１３２は、ＯＨＰ取得部１０７で取得したページの文字を抽出する。なお、本実施の形態ではＯＨＰ画像の文字情報は、既にＯＨＰファイル記憶部１０４において１ページ毎の画像ファイルと、それに対応する文字情報を別々に記憶しているため、文字認識処理を行う必要なく、ＯＨＰファイル記憶部１０４を参照するのみで文字を抽出できる。文字照合部１３３は、フレーム文字抽出部１３１とＯＨＰ文字抽出部１３２から抽出された文字を照合する。照合結果加算部１３４は文字照合部１３３にて照合された結果を数値化して加算する。加算した結果が類似度となる。
第７図は、上記類似度算出部１０８により実行される類似度算出処理の流れを示したフローチャートである。まず、フレーム取得部１０５からＯＨＰ領域画像を取得し（Ｓ１３００）、フレーム文字抽出部１３１が文字認識処理を行う（Ｓ１３０１）。この文字認識処理は公知の技術を用いて行われる。第８図はこの文字認識処理の詳細を示したフローチャートである。まず、得られたＯＨＰ領域画像を二値化し（Ｓ１３１０）、領域識別を行う（Ｓ１３１１）。続いて文字認識を行い（Ｓ１３１２）、認識結果がテキスト出力される（Ｓ１３１３）。
文字認識処理後、類似度の初期値を０にセットする（第７図、Ｓ１３０２）。次に基準文字としてフレーム文字抽出部１３１による認識結果の最初の文字をセットする。また、ＯＨＰ画像において該セットされた基準文字に対応する位置にある文字とその隣に位置する文字を、ＯＨＰ文字抽出部１３２により抽出する（Ｓ１３０３）。ここで、文字照合部１３３により、フレーム文字抽出部１３１により認識された文字列と、ＯＨＰ文字抽出部１３２により抽出された文字列とを比較し、連続２文字が同じであるか否かを照合する。同じであれば（Ｓ１３０４、ＹＥＳ）、照合結果加算部１３４が類似度をインクリメントする（Ｓ１３０５）。同じでない場合には（Ｓ１３０４，ＮＯ）、類似度はインクリメントされない。続いて基準文字に隣の文字をセットし、同様に照合を行う（Ｓ１３０６）。Ｓ１３０４からＳ１３０６までの処理が文字認識処理結果の文字が終了するまで（Ｓ１３０７、ＹＥＳ）繰り返される。最終的には、照合結果加算部１３４により類似度が以下のように補正される（Ｓ１３０８）。
類似度＝類似度／ＯＨＰ文字数
なお、類似度算出は、文字情報を用いるほかにも画像（画素信号）情報やレイアウト情報（図、表、文字列ブロック等の領域属性とその座標情報）を用いて行っても良く、あるいはこれらを併用するようにしても良い。
上述した類似度算出部１０８は、あるフレームのＯＨＰ領域画像について、全てのＯＨＰ画像との類似度を算出する。具体的には、第４図において、ＯＨＰ画像の最初のページの類似度が算出された後（Ｓ１００４）、その類似度が最大類似度（最初の段階では０）以上であれば（Ｓ１００５、ＹＥＳ）、最大類似度に類似度をセットし、そのＯＨＰ画像のページ番号を記録する（Ｓ１００６）。この時点でＯＨＰ画像の全てのページの照合が終了していなければ（Ｓ１００７、ＮＯ）、ＯＨＰ画像の次ページを抽出し、Ｓ１００４の類似度計算処理を繰り返す。こうしてＯＨＰ画像全てのページの照合が終了すると（Ｓ１００７、ＹＥＳ）、次に、後で抽出されるフレーム画像におけるレーザーポインタの位置をＯＨＰの位置に対応付けるため、各フレーム画像中の文字とＯＨＰ中の文字の対応付けを行う（Ｓ１００８）。但し、本実施の形態においては、上述した類似度計算のときに生成されている文字の対応付けを利用することができるので、この処理は省略することができる。なお、ＯＨＰの文字情報が用意されていない場合は、類似度計算と別に文字の対応付けを求めることとなる。例えば、フレーム画像を文字認識して、文字コード列を獲得する。これと別にＯＨＰ画像を文字認識して同様に文字コード列を獲得して、２つの文字コード列を上から順番に一致させる。一致手法には、公知のＤＰマッチングなどを利用する。
次に、フレーム画像からのポインタ領域を検出（抽出）する（Ｓ１００９）。このポインタ領域の抽出は、第２図に示したポインタ領域検出部１１４により行われる。なお、本発明のポインタ領域検出装置は、これから説明する処理をコンピュータとソフトウェアとにより実行するポインタ領域検出部により構成されているものである。ポインタ領域検出部１１４における処理の一つは、まず、フレーム画像を取得すると（Ｓ１４０１）、フレーム画像中のＲＧＢ値から例えば下のような特定の条件式を満足する点の中で、３Ｒ−２Ｇ−Ｂが最大の点を求めることによりポインタ領域を抽出する。
Ｒ≧２３０ かつ ３Ｒ−２Ｇ−Ｂ≧１５５ （条件式）
他の一つは、フレーム画像から第９図に示す処理を行って、第１３図に示すようなポインタ領域の重心Ｇを求める。まず、フレーム画像を取得し（Ｓ１４０１）、次式（１）を満足する点を抽出して２値画像を作成する（Ｓ１４０２）。
Ｒ≧ＴＨＲ 且つ （ＴＨＨ１≦色相、又は、色相≦ＴＨＨ２） （１）
次にラベリング処理を行い外接矩形を求める（Ｓ１４０３）。
上記ステップで求まった矩形の周囲、あるいはそれから一定距離にあるものを同じグループとし、複数の候補領域を抽出する（Ｓ１４０４）。
抽出された全ての候補領域について、以下のステップＳ１４０６〜ステップＳ１４０９を行う（Ｓ１４０５、Ｓ１４１２）。
即ち、各候補領域に対して、まず色情報でのポインタ領域の検証を行い（Ｓ１４０６）、次に形状でのポインタ領域の検証を行う（Ｓ１４０７）。そして双方の検証結果が認められると、その領域をポインタ領域として記録する（Ｓ１４０８）。以上の処理が全ての候補領域に行われると（Ｓ１４０９，ＹＥＳ）。記録されたポインタ領域の１つが選択されて（Ｓ１４１０）、ＯＨＰ画像中の座標計算が行われる（Ｓ１４１１）。なお、本実施の形態において、ポインタ領域の検証は色情報と形状情報の両方を用いて行うようにしたが、いずれか一方のみを用いても構わない。両方を用いると精度が高められるが計算処理に時間を要する。一方のみを用いた場合は精度が落ちるが計算処理の時間短縮が図れる。
ここで、上記色情報を用いたポインタ領域の検証処理について第１０図を用いて説明する。これは背景色とレーザポインタ領域候補の平均色を求め、背景色と、この背景色に対するレーザーポインタ領域候補の平均色との組合せが、予め求められたそれらの組み合わせのいずれかに該当するか否かを判定することでレーザーポインタ領域であるか否かを判定する。
まず、Ｓ１４０４でグループ化されたグループ領域の座標を取得する（Ｓ１５０１）。次に背景色を求める第１処理として、カラー画像全体からグループ領域枠を拡大（グループ領域を周囲に規定画素数分だけ拡大）して切り出しカラー画像を作成する（Ｓ１５０２）し、色ラベリングを行う（Ｓ１５０３）。グループ領域内での２値画像で得られたパターン以外で最大面積のラベル領域を背景として抽出し、その平均色を求める（Ｓ１５０４）。次に、レーザーポインタ領域を仮定した場合のその領域の平均色を求める第２処理として、グループ領域内の２値画像部分に相当するカラー画像で平均色を作成する（Ｓ１５０５）。次に、グループ領域内で平均色と色差が一定しきい値以内の画素をポインタ領域として抽出し、その平均色を求める（Ｓ１５０６）。次に、第１処理と第２処理を合わせて、第１１図に示す背景色毎のレーザーポインタ色分布表に画像から抽出したポインタ領域の色分布が一致するか否か判断し（Ｓ１５０７）、一致する場合はレーザポインタ領域と判定する（Ｓ１５０８）。一方、一致しない場合はレーザーポインタ領域であると判定しない（Ｓ１５０９）。
次に、上記形状情報を用いたポインタ領域の検証処理について第１２図を用いて説明する。まず、グループ領域の座標を取得し（Ｓ１６０１）、Ｓ１４０４で得られたグループ領域を周囲に規定画素数分だけ拡大したものを新たなグループ領域として、そのグループ内の２値画像部分に相当するカラー画像の画素で平均色を作成する（Ｓ１６０２）。
次に、Ｓ１４０２で抽出された２値画像のパターンの内、グループ領域内にあるものに注目し、このパターンの座標と同じ座標をもつカラー画像（フレーム画像）上の点の平均色（Ｒｍ，Ｇｍ，Ｂｍ）を求める。そして、同じグループ領域内で平均色と色差が一定しきい値以内の画素をポインタパターンとして抽出する（Ｓ１６０３）。即ち、グループ領域内で平均色に近い色のパターンを抽出する。例えば、次式（２）を満たす画素を全て抽出する。
｜Ｒｉ−Ｒｍ｜＋｜Ｇｉ−Ｇｍ｜＋｜Ｂｉ−Ｂｍ｜＜Ｔｈ＿ｄｉｓｔ （２）
ここで、（Ｒｉ，Ｇｉ，Ｂｉ）は、グループ領域内の画素ｉのＲＧＢ値Ｔｈ＿ｄｉｓｔは予め決めた固定しきい値である。
次に、抽出画素を全て内包する楕円包絡線を求める。即ち、パターンの包絡線に近い楕円を求める（Ｓ１６０４）。
例えば、レーザーポインタをスクリーンに照射して、それをビデオカメラで撮影した画像では、レーザーポインタ（あるいはカメラの）動きによって、第１３図及び第１４図のようなレーザーポインタパターンが観測される。第１３図は、動きが速いときであり、このようになるのは、ビデオ撮影時にインターレース撮影をしているため、インターレースのスキャン時間の間にレーザーポインタが移動してしまうためである。第１４図は、動きが遅いときであり、欠損部分はノイズで正しくレーザーポインタが抽出できなかった箇所である。このような場合に、第１３図や第１４図に示す包絡線を形成する楕円曲線を求める。
求め方は以下ａ）〜ｄ）で示される。
ａ）グループ領域内の黒画素の座標をベクトルとみなして、全黒画素のベクトルから分散・共分散行列を作成する。
ｂ）分散・共分散行列から固有値・固有ベクトルを求める。
ｃ）黒画素の重心を求め、上位２つの寄与度の固有ベクトルで決まる方向を求め、重心からこの２方向の直交軸を決める。各軸上の中心＝重心から標準偏差の４倍の距離の点（中心から距離ａ、ｂ）を求め、この４点を通る楕円を求める。
ｄ）楕円の軸の切片ａ，ｂを少しずつ同じ比率だけ小さくしていき、最初に黒画素に接したところで停止する。
５）楕円曲線内で、奇数ラスターと偶数ラスターを別に調べ、どちらかのラスターにおいて、Ｓ１６０３で求めた黒画素がある比率をラスター上の総画素数と比較し（Ｓ１６０５）、それが一定比率以上であればレーザーポインタであると判定し（Ｓ１６０６）、それ以外はレーザーポインタでないと判定する（Ｓ１６０７）。
次に第９図に示したＳ１４１０の記録ポインタ領域から１つを選択する処理について説明する。
１つのフレーム画像から複数のポインタ領域が記録されることがある。講演者が指し示したのは、１カ所であるので、この中から１つを選択する必要がある。複数の候補領域の中で、上の領域の検証処理の中の「グループ領域内で平均色と色差が一定しきい値以内の画素をポインタ領域として抽出」（Ｓ１５０６）で求めた画素数が最も多いものを正しいポインタ領域であるとして選択するものとする。
ポインタ領域が抽出されると、次に第４図におけるＯＨＰ画像上の位置抽出処理が行われる（Ｓ１０１０）。
フレーム画像中のレーザーポインタ位置が抽出されたら、ｅ−Ｌｅａｒｎｉｎｇの表示のためにＯＨＰ画像中の対応する座標を推定して求める。これには、以下の第１５図（ａ），第１５図（ｂ）で示すような方法を用いる。
即ち、第１５図（ａ）に示すフレーム画像において、ａ）フレーム画像中のポインタの位置３１を求める。次に、ｂ）フレーム画像中でポインタ位置に近い１つ、あるいは複数の対応付けがされている文字３２を選択し、ポインタ３１とそれらの文字３２との相対的な位置関係を計算し記録する。次に、ｃ）このフレーム画像に対応付けられている、第１５図（ｂ）に示すＯＨＰスライド（ＰＰＴスライド）を求め、その内部の対応付いている文字の中から、ｂ）で記録されている文字３３を選択する。そして、ｄ）それらの文字から相対的位置関係を用いてＯＨＰスライドのポインタ位置３４を推定する。
この結果、フレーム毎の対応ＯＨＰ番号、ＯＨＰスライド中のポインタ座標テーブル（表１：フレーム番号、ＯＨＰ番号、ＯＨＰ中のポインタ座標対応表）が生成される（Ｓ１０１１：第４図）。
表１において、座標値は、ＯＨＰ画像の絶対座標だけでなく、表示画像の縦横長の％表示でもよい。また、座標値に示される−１は、ポインタが照射されてないことを示している。
第４図に示した対応付け処理が終了すると、コンテンツ作成装置１ｂにより、ポインティング情報対応ｅ−Ｌｅａｒｎｉｎｇ用コンテンツが作成される。以下、ＷＢＴ（Ｗｅｂ ｂａｓｅｄ Ｔｒａｉｎｉｎｇ）表示用画像作成処理として説明する。
このコンテンツ作成処理においては、表２の内容を表示するＷＢＴコンテンツであるＨＴＭＬファイルを作成する。以下、その一例として、最も簡単な例を第１６図を用いて説明する。
ＯＨＰ画像中のポインタの座標を元に、ＯＨＰ画像の中でポインタ４１がある付近をハイライト表示させた画像を生成する。具体的には、ＯＨＰの該当スライドで文字列やテキストボックス、図、表などの領域４２をＯＨＰスライドであるＰＰＴファイルから直接求め（または、ＯＨＰの画像をレイアウト解析して、ポインタ付近の領域を求め）、その領域に赤などの目立つ色で枠線を付けた画像を作成する。この画像名はＯＨＰ番号名＿インデックス番号（ＯＨＰ番号内で１からインクリメントされる番号）とする。但し、座標値が−１のものはハイライト表示を行わないでＯＨＰ番号名だけの画像名とする。
表１を上から順に走査して生成されるハイライト領域の座標が１つ前のものと完全に一致するものは、同じ画像名を付ける。これを上から順番に繰り返し処理していくと、以下のような表（表２：フレーム番号、ＯＨＰ番号、ＯＨＰ中のポインタ座標、画像名対応表）が作成できる。
表２を上から走査していき、連続する２つのエントリ（行）で、ＯＨＰ番号と画像名が完全に一致する場合に、２つを統合して、以下のようなＯＨＰ番号をキーとする表３（表３：ＷＢＴコンテンツ）を作成する。
この表がｅ−Ｌｅａｒｎｉｎｇ用のＷＢＴコンテンツのＨＴＭＬファイルのコア部分である。すなわち、フレーム区間で示される間だけ、それに対応するハイライト表示された画像を表示することで、講義道がの内容と同期したレーザーポインタでの指示情報を含んだ講義ＯＨＰの詳細な画像を表示することができる。
上記の方法の他にも、フレーム毎のＯＨＰ画像上のポインタの座標値が抽出されているので、それをそのまま、表示することも可能である。例えば、あるＯＨＰ番号の画像を表３でＯＨＰ番号が同じ区間だけ表示して、その上にオーバーラップして、各フレーム毎の座標値をそのまま大きな矢印や赤丸で表示してもよい。
第１７図は、上述したように作成したコンテンツを配信するためのコンテンツ配信サーバとそれを受信するクライアントを示すブロック図である。
コンテンツ配信サーバには、ビデオ−ＯＨＰ−ポインタ位置対応テーブル記憶部５１と、ＯＨＰファイル記憶部５２と、ビデオ画像記憶部５３と、ビデオ−ＯＨＰ対応テーブル記憶部５８と、ハイライト表示付ＯＨＰ画像記憶部５７とが記憶部として設けられ、コンテンツ配信要求受信部５４と配信要求コンテンツ送信部５５と、これらを制御するコンテンツ配信制御部５６とが設けられている。
一方、クライアント６０は、コンテンツ配信要求送信部６１と、コンテンツ受信部６２と、ビデオ再生部６４と、ビデオ対応ＯＨＰ／ポインタ位置取得部６３と、表示部６５と、これらを制御する制御部６６が設けられている。
以下、これらの動作について説明する。
１）ユーザは、クライアントから指定したコンテンツの表示を指示すると、クライアントがサーバに対して指定コンテンツの配信を要求する。
２）コンテンツサーバは、記憶装置上の指定のコンテンツを検索し、該当するコンテンツを読み取り、それをクライアントに配信する。このコンテンツにはビデオ画像、それに同期付けられたＯＨＰファイル、及びＯＨＰファイル内のポインタ位置情報が含まれる。このＯＨＰファイルはハイライト表示されたものを使用することができるし、そうでないものを使用することもできる。
３）クライアントは、配信されたコンテンツの中からビデオデータを再生すると共に、ビデオフレームに同期したＯＨＰ（スライド）とＯＨＰ内のポインティング位置情報を表示する。
以上に詳述した本発明の実施の形態によれば、以下のような効果を奏する。
従来のｅ−ｌｅａｒｎｉｎｇのコンテンツ作成用のオーサリングシステムでは、ＯＨＰを説明する動画像と、そこに映し出されているＯＨＰ画像表示の時間的な同期付けを自動的に行い、さらに、講師がポインティングツールのレーザーポインタを使用した場合に、説明中のＯＨＰの中でどこを話しているのかを自動的に示すことはできなかった。これらＯＨＰ画像と動画像との同期付けを行い、さらに講師が指し示したポインタ情報を表現するためには、人が膨大な時間を掛けてこれを再現するコンテンツを作成する必要があった。本実施の形態によれば、ＯＨＰと動画像との同期付けを自動的に行うことができると共に、ポインタ情報を自動的に抽出、再現してｅ−Ｌｅａｒｎｉｎｇ用のコンテンツ開発を自動化できる。
【産業上の利用の可能性】
以上に詳述したように、本発明によれば、特殊な装置を必要とせず、パソコン、プロジェクタの投影装置と、レーザーポインタ、ビデオカメラという一般的な装置だけで撮影したビデオからレーザーポインタ位置を検出することができ、もって、低コストに実現できるポインタ領域（位置）検出装置、ポインタ領域検出方法、並びにポインタ領域検出プログラムを提供することができる。また、本発明によれば、例えば講義などで使用されたＯＨＰファイル（元文書）と、講義などを撮影した動画像とを対応付けると共に、講義において指示されているＯＨＰ画像の部分をＯＨＰファイル上に明確に表示できるようにした画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラムを提供することができるとともに、このように対応付けされた動画像とＯＨＰファイルとをコンテンツとして配信するコンテンツ配信サーバ及びそのようなコンテンツ配信方法を提供することができるという効果を奏する。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【技術分野】
本発明は、ＯＨＰ（Ｏｖｅｒｈｅａｄ Ｐｒｏｊｅｃｔｏｒ）を使用した講義を撮像したビデオフレームの画像において、ＯＨＰ上でのポインタ位置を検出するポインタ位置検出装置、ポインタ位置検出方法、並びにポインタ位置検出プログラムに関する。また、本発明は、例えば講義などで使用されたＯＨＰファイルと、講義などを撮影した動画像とを対応付けると共に、講義において指示されているＯＨＰの部分をＯＨＰファイル上に明確に表示できるようにした画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラム、及びそのようにして作成されたコンテンツを配信することができるコンテンツ配信サーバに関するものである。
【背景技術】
社内教育や、一般の教育分野では、ｅ−ｌｅａｒｎｉｎｇの導入が行われつつある。Ｅ−ｌｅａｒｎｉｎｇは、インターネットを使った遠隔地教育で、ＷＥＢ画面を使って行われることが多い。Ｅ−ｌｅａｒｎｉｎｇの形態は多種あるが、その中で普通の講義をもっともよく再現するものとして、講義の動画像（ビデオ画像）の再生と、それに同期したＯＨＰの拡大表示のコンテンツがある。このコンテンツを使うことで、受講者は、講師が使用するＯＨＰの拡大表示を視認することによって、ＯＨＰの内容が容易に理解されることになる。つまり従来のコンピュータディスプレイ画面上の制約から課題であった、講師が示したＯＨＰの場所とその内容の詳細表示が同時に可能になり、実際に講義を受講しているのとほぼ同じ環境が提供できることになる。
しかし、このシステムを実現するためには、ＯＨＰを説明する動画像と、そこに映し出されているＯＨＰの詳細表示が時間的に同期がとれている必要がある。現在のｅ−ｌｅａｒｎｉｎｇのコンテンツ作成用のオーサリングシステムでは、この部分を手動で行っていたため、コンテンツ作成には膨大な時間がかかっている。この問題の解決のため、本発明者等は、既に「動画像元文書対応付け方式」として、動画と元文書の対応付けの自動化を提案している（特願２００２−０８０５００号）。
一方、実際の講義では、講師は、ＯＨＰの内容を順番に説明していく。つまり、音声による話の内容に従って、注目するＯＨＰ上の箇所が移動していく。上述の動画−ＯＨＰ同期型のｅ−ｌｅａｒｎｉｎｇコンテンツでは、動画内のＯＨＰの切り替わりだけを検出して、対応するＯＨＰ表示を切り替えているだけなので、１つのＯＨＰの中で、講師が話している箇所を注目させることはできなかった。
このため、動画に同期して表示されるＯＨＰにおいて、講師の説明箇所を表示するようにできれば、受講者はＯＨＰにおける講師の説明箇所を容易に注目することができるが、このためには、上記コンテンツを作成するに際して動画像（ビデオフレームの画像）中から講師がＯＨＰにおいて指示しているポインタ位置を検出しなければならない。
従来より、このようなポインタ位置の検出装置としては、例えば以下のようなものが知られている。
（１）指示棒を使うもの
（ａ）指示棒を使い、ビデオカメラで撮影した指示棒と指示棒の影を抽出して、ポインティング位置を獲得する方法（例えば、特許文献１参照）。
（ｂ）先端発光型の特殊指示棒を使い、特定の波長光だけを抽出することでポインティング位置を獲得する方法（例えば、特許文献２参照）。
（２）レーザーポインタを使うもの
（ａ）レーザーポインタを使用し、レーザー光の点滅とビデオフレームを同期させて映像投影領域とポインティング位置を獲得する方法（例えば、特許文献３参照）。
（ｂ）レーザーポインタを使用し、投影画像と撮影画像が全く同じ大きさになる装置を使って、投影画像と撮影画像の差分によりポインティング位置を獲得する方法（例えば、特許文献４参照）。
（ｃ）レーザーポインタを使用し、投影画像と撮影画像が全く同じ大きさになる装置を使って、スクリーン上のポインティングマーカの座標を特定波長光、または特定周期明滅または特定偏光または投影映像と撮像映像の差分画像により獲得する方法（例えば特許文献５参照）。
（ｄ）レーザーポインタを使用し、スクリーン上の基準マーカとポインティングマーカを赤外線ポインタで表示して、赤外線フィルタを通してその位置を獲得して、ポインティングマーカの座標を獲得する方法（例えば特許文献６参照）。
【特許文献１】 特開平８−３２０９２１号公報
【特許文献２】 特開平１０−８３２４６公報
【特許文献３】 特開平８−３３１６６７号公報
【特許文献４】 特開平９−６２４４４号公報
【特許文献５】 特開平９−８０３７２号公報
【特許文献６】 特開平１１−８５３９５号公報
しかしながら、（１）の指示棒を使うものは、講師が講義し難いという課題がある。また、コンテンツでは、講師の顔を中心にアップで撮影したいというニーズがあり、指示棒を使うことで顔が移動することは、この場合に好ましくない。
また、（２）のレーザーポインタを使う方法においては、以下のような理由によりコストが掛かるという問題がある。
（ａ）の場合、ビデオフレームに同期させて点滅をさせる特殊なレーザーポインタと、レーザーポインタの点滅同期とビデオ映像を同時にキャプチャする特殊な装置が必要となる。
（ｂ）の場合は、ビデオ投影と撮影を同時に行う一体型の特殊な装置が必要となる。また、投影画像と撮影画像が全く同じ大きさになる装置が必要となる。
（ｃ）の場合は、（ｂ）の場合と同様に投影画像と撮影画像が全く同じ大きさになる装置が必要となる。
（ｄ）の場合は、スクリーン上に赤外線で照射した基準マーカとポインティングマーカが必要で、このために特殊なレーザーポインタ、投影装置が必要となる。
つまり、上述した従来のポインタ検出技術では、１）レーザーポインタを撮影したビデオからレーザーポインタ位置を検出するために、特殊な装置、環境が必要となる。２）プロジェクタで投影した映像を撮影した映像からポインタ位置を検出し、それを元のコンテンツ内の座標に変換、または対応付けるために、特殊な装置が必要となる。３）常にプロジェクタ投影画像全体がカメラフレームに収まるように撮影すること（またはそのような装置）が条件で、プロジェクタ投影画像をズーム撮影したり、カメラを上下左右に移動してプロジェクタ投影画像の一部だけ撮影したりすることができない。
本発明は、上述した課題を解決するためになされたものであり、特殊な装置を必要とせず、パソコン、プロジェクタの投影装置と、レーザーポインタ、ビデオカメラという一般的な装置だけで撮影したビデオ画像からレーザーポインタ位置を検出することができ、もって、低コストに実現できるポインタ領域検出装置、ポインタ領域検出方法、並びにポインタ領域検出プログラムを提供することを目的とする。
また、本発明は、例えば講義などで使用されたＯＨＰファイル（元文書）と、講義などを撮影した動画像とを対応付けると共に、講義において指示されているＯＨＰ画像の部分をＯＨＰファイル上に明確に表示できるようにした画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラムを提供するとともに、このように対応付けされた動画像とＯＨＰファイルとをコンテンツとして配信するコンテンツ配信サーバ及びそのようなコンテンツ配信方法を提供することを目的としている。
【発明の開示】
上述した課題を解決するため、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出装置であって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得部と、前記ＲＧＢ取得部により取得されたＲＧＢ値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するポインタ領域候補抽出部と、前記ポインタ領域抽出部により抽出されたポインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定部とを備えてなるものである。
ここに、前記所定の式はＲ≧２３０、且つ、３Ｒ−２Ｇ−Ｂ≧１５５であり、前記評価値は、３Ｒ−２Ｇ−Ｂ で与えられることを特徴とする。
また、本発明は、ビデオフレームの画像中に撮像されているＯＨＰ画像においてＯＨＰ画像の所定箇所を指示している光学ポインタの領域を検出するポインタ領域検出装置であって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得部と、前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成部と、前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出部と、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算部と、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてポインタ領域候補の平均色を求めるポインタ領域候補平均色演算部と、前記背景色に対するポインタ領域候補の平均色の色分布に基づいて前記ポインタ領域候補がポインタ領域であるか否かを判定する、色情報を用いたポインタ領域判定部とを備えてなるものである。
このポインタ領域検出装置において、前記領域候補抽出部は、前記ラベリングにより得られたパターンについて外形矩形を求め、さらに外形矩形の周囲及びそれから一定距離内にある外形矩形を一つのグループとして複数のグループを作成して各グループを前記領域候補とすることを特徴とする。このポインタ領域検出装置において、前記領域候補抽出部は、さらに前記各グループを所定画素数だけ周囲に拡大してなる領域を前記領域候補とすることを特徴とする。
また、本発明のポインタ領域検出装置において、前記背景色演算部は、前記領域候補抽出部により抽出された領域における前記ビデオ画像を色ラベリングし、前記パターンの領域を除いた部分で最大面積を有するラベル領域を背景領域として、該背景領域について平均色を求めることを特徴とする。
また、本発明のポインタ領域検出装置において、前記ポインタ領域候補平均色演算部は、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において平均色を求めると共に、前記領域候補内で平均色と一定のしきい値以内の画素をポインタ領域候補として抽出して、該ポインタ領域候補における平均色を求めてポインタ領域候補の平均色とすることを特徴とする。
また、本発明のポインタ領域検出装置において、前記ポインタ領域判定部は、前記背景色演算部により求められた背景色に対する前記ポインタ領域平均色演算部により得られた平均色の色分布と、予め記憶された前記背景色に対するレーザーポインタの色分布とが一致すると認められるか否かにより前記ポインタ領域候補がポインタ領域であるか否かを判定することを特徴とする。
さらに、本発明のポインタ領域検出装置において、各背景色毎にレーザーポインタの色分布テーブルを備えていることを特徴とする。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出装置であって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得部と、前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成部と、前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出部と、ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算部と、前記平均色を用いて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出部と、前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算部と、前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポインタパターン候補がレーザポインタ領域であるか否かを判定する、形状を用いたポインタ領域判定部とを備えてなるものである。
また、本発明のポインタ領域検出装置において、前記ポインタパターン候補抽出部は、前記平均色と一定のしきい値内にある色を有する画素を含んで前記ポインタパターンとすることを特徴とする。
また、本発明のポインタ領域検出装置において、前記ポインタ領域判定部は、前記楕円形状内で、奇数ラスターと偶数ラスターを別に調べ、どちらかのラスターで求めた前記ポインタパターンを形成する画素がある比率をラスター上の総画素数と比較し、それが一定比率以上であればレーザーポインタであると判定することを特徴とする。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出方法であって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、前記ＲＧＢ取得部により取得されたＲＧＢ値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するポインタ領域候補抽出ステップと、前記ポインタ領域抽出部により抽出されたポインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定ステップとを備えてなるものである。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出方法であって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算ステップと、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてポインタ領域候補の平均色を求めるポインタ領域候補平均色演算ステップと、前記背景色に対するポインタ領域候補の平均色の色分布に基づいて前記ポインタ領域候補がポインタ領域であるか否かを判定する色情報を用いたポインタ領域判定ステップとを備えてなるものである。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出方法であって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算ステップと、前記平均色を用いて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出ステップと、前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算ステップと、前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポインタパターン候補がレーザポインタ領域であるか否かを判定する形状情報を用いたポインタ領域判定ステップとを備えてなるものである。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、前記ＲＧＢ取得部により取得されたＲＧＢ値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するポインタ領域候補抽出ステップと、前記ポインタ領域抽出部により抽出されたポインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定ステップとをコンピュータに実行させるものである。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算ステップと、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてポインタ領域候補の平均色を求めるポインタ領域候補平均色演算ステップと、前記背景色に対するポインタ領域候補の平均色の色分布に基づいて前記ポインタ領域候補がポインタ領域であるか否かを判定する色情報を用いたポインタ領域判定ステップとをコンピュータに実行させるものである。
また、本発明は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算ステップと、前記平均色を用いて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出ステップと、前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算ステップと、前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポインタパターン候補がレーザポインタ領域であるか否かを判定する形状情報を用いたポインタ領域判定ステップとをコンピュータに実行させるものである。
また、本発明に係る画像対応付け装置は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出部と、ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付け部と、前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付け部とを備えてなるものである。
この画像対応付け装置において、前記ポインタ領域対応付け部は、前記ポインタ領域検出部により検出された領域に関連する領域におけるＯＨＰ画像中の文字情報と、前記ＯＨＰファイルの文字情報とに基づいて、前記ポインタ領域検出部により検出された光学ポインタの領域を前記ビデオフレームの画像中に撮像されているＯＨＰ画像の元文書であるＯＨＰファイルの領域に対応付けることを特徴とする。
また、本発明の画像対応付け装置において、前記画像対応付け部は、ビデオフレームの番号とＯＨＰファイルの頁番号とを対応付け、前記ポインタ領域対応付け部は、前記ポインタ領域検出部により検出された光学ポインタの領域を前記ＯＨＰファイルにおける座標として対応付けることを特徴とする。
また、本発明の画像対応付け装置において、前記ポインタ領域対応付け部は前記ＯＨＰファイルにおける前記ポインタ領域と関連する領域をハイライト表示させるように対応付けることを特徴とする。
また、本発明に係る画像対応付け方法は、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出ステップと、ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付けステップと、前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付けステップとを備えてなるものである。
また、本発明は、ビデオフレームとビデオフレームの画像に撮像されているＯＨＰ画像に対応するＯＨＰファイルとを対応付ける処理をコンピュータに実行させる画像対応付けプログラムであって、ビデオフレームの画像中に撮像されているＯＨＰ画像においてＯＨＰ画像の所定箇所を指示している光学ポインタの領域を検出するポインタ領域検出ステップと、前記ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付けステップと、前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付けステップとをコンピュータに実行させるものである。
また、本発明に係るコンテンツ配信サーバは、ビデオ画像を記憶するビデオ画像記憶部と、該ビデオ画像に撮像されているＯＨＰ画像の元文書であるＯＨＰファイルを記憶したＯＨＰファイル記憶部と、前記ビデオ画像のフレーム番号と、前記ビデオ画像に撮像されているＯＨＰ画像に対応するＯＨＰファイルの頁番号とを対応付けると共に、前記ビデオ画像に撮像されているＯＨＰ画像において示される光学ポインタの領域を前記ＯＨＰファイルの領域に対応付ける対応付け情報とを記憶した対応付け情報記憶部と、前記ビデオフレームの画像に対応付けられたＯＨＰファイル画像と前記ＯＨＰファイルにおける光学ポインタ領域の情報とを送信するための送信部とを備えてなるものである。
また、本発明のコンテンツ配信サーバと該サーバに接続されたクライアントとの間でコンテンツ配信を行うコンテンツ配信方法であって、クライアントがコンテンツ配信サーバに対して指定コンテンツの配信を要求するコンテンツ配信要求ステップと、前記要求に対し、コンテンツ配信サーバは、各記憶部から要求に係るコンテンツを検索し、該当するビデオ画像、該ビデオ画像に対応付けられたＯＨＰファイル、及びＯＨＰファイル内のポインタ位置情報を送信するコンテンツ送信ステップと、クライアントにおいて、配信されたコンテンツの中からビデオデータを再生すると共に、ビデオフレームに同期したＯＨＰファイル画像とＯＨＰファイル画像内のポインティング位置情報を表示する表示ステップとを備えてなるものである。
【図面の簡単な説明】
第１図は、本発明の実施の形態の概念図である。
第２図は、画像対応付け・コンテンツ作成装置の機能構成図である。
第３図は、画像対応付け・コンテンツ作成装置のハードウェア構成図である。
第４図は、画像対応付け装置の対応付け処理の流れを示したフローチャートである。
第５図は、ＯＨＰ領域画像抽出処理の流れを示したフローチャートである。
第６図は、文字情報により類似度を算出する類似度算出部の機能構成図である。
第７図は、第６図の類似度算出部により実行される類似度算出処理の流れを示したフローチャートである。
第８図は、文字認識処理の詳細を示したフローチャートである。
第９図は、ポインタ領域検出部の処理を示すフローチャートである。
第１０図は、色情報を用いたポインタ領域の検証処理を示すフローチャートである。
第１１図は、背景色（ＲＧＢ）毎のレーザーポインタの色（ＲＧＢ）分布を示す図である。
第１２図は、形状を用いたポインタ領域の検証処理を示すフローチャートである。
第１３図は、レーザーポインタの動きが速いときのレーザーポインタの画像パターンの一例を示す図である。
第１４図は、レーザーポインタの動きが遅いときのレーザーポインタの画像パターンの一例を示す図である。
第１５図は、動画像のポインタ領域をＯＨＰ画像に対応付ける処理を概念的に示す図であり、第１５図（ａ）は動画像のフレーム画像を示す図である。第１５図（ｂ）はＯＨＰ画像（ビットマップ）を示す図である。
第１６図は、ＯＨＰ画像にハイライト表示を行った場合の一例を示す図である。
第１７図は、コンテンツ配信サーバとクライアントの構成を示すブロック図である。
【発明を実施するための最良の形態】
以下、図を用いて本発明の実施の形態を詳細に説明する。
第１図は、本発明の実施の形態の概念図である。まず、レーザポイントとＯＨＰを使った講演２をＥ−ｌｅａｒｎｉｎｇの教材として使用する場合、その講演の映像を動画（ビデオ画像）としてカメラ撮影３し、パソコン等から構成される画像対応付け・コンテンツ作成装置１に保存する。また、講演に使用したＯＨＰのファイル４を同じ装置（画像対応付け・コンテンツ作成装置１）へ保存する。画像対応付け・コンテンツ作成装置１では、様々な画像処理技術を使用して、動画中のＯＨＰの切り代わりタイミングを求め、元のＯＨＰの画像が動画像のどのフレームに対応しているかを求めるとともに、そのＯＨＰにおいて、講師が講演中に指し示した座標を求め、それらの対応表を作成する。そして、この対応表を使用して、動画とＯＨＰの画像との同期をとり、かつ、講師が指し示す場所６をハイライト表示で再生するｅ−ｌｅａｒｎｉｎｇ用のコンテンツ５を作成する。これにより従来手動で行っていた動画とＯＨＰの各ページとの対応付けおよび、ポインティング位置情報（以下、ポインタ領域という）抽出、ハイライト表示が自動化できる。なお、以下の説明において、画像とはカラー画像を意味するものとする。
第２図は、上述した画像対応付け・コンテンツ作成装置１の機能構成の一例を示した図である。図において、画像対応付け・コンテンツ作成装置１は、画像対応付け装置１ａとコンテンツ作成装置１ｂとにより構成される。画像対応付け装置１ａは、カメラ等の撮像装置で講義等の動画像を入力する動画像入力部１０１と、入力された動画像をＡＶＩ（Ａｕｄｉｏ Ｖｉｓｕａｌ Ｉｎｔｅｒｌｅａｖｅ）形式等で記憶する動画像記憶部１０２と、他のコンピュータシステム等からＯＨＰファイル（画像ファイルとそれに対応する文字情報）を入力する入力部１０３と、入力されたＯＨＰファイル１頁毎に対応を付けて記憶するＯＨＰファイル記憶部１０４と、動画像記憶部１０２に記憶された動画像からフレーム毎の画像を取得するフレーム取得部１０５と、フレーム画像（ビデオフレームの画像）からＯＨＰ領域を抽出するＯＨＰ領域抽出部１０６と、ＯＨＰファイル記憶部１０４に記憶されたＯＨＰファイルを取得するＯＨＰ取得部１０７と、ＯＨＰ領域抽出部１０６により抽出されたフレーム画像にあるＯＨＰ部分とＯＨＰ取得部１０７により取得されたＯＨＰファイルの類似度を算出する類似度算出部１０８と、類似度算出部１０８により算出された類似度に基づいて動画像のフレームとＯＨＰファイルの頁とを対応付ける動画／ＯＨＰ対応付け処理部１０９ａとを備える。
また、この画像対応付け・コンテンツ作成装置１は、動画／ＯＨＰ対応付け部により対応付けられたフレームの画像からポインタ領域を検出するポインタ領域検出部１１４と、ポインタ領域検出部１１４により検出されたポインタ領域をＯＨＰ取得部１０７から取得されたＯＨＰファイル画像上に対応付ける（フレーム画像にあるＯＨＰ画像のポインタ領域をＯＨＰファイルの画像上に設定する）ポインタ領域対応付け処理部１１５と、対応付けられたＯＨＰ画像にハイライト表示を行うハイライト表示付きＯＨＰ画像作成部１１６と、動画／ＯＨＰ対応付け処理部１０９による対応付け結果とポインタ領域対応付け処理部１１５により処理結果とに基づいて、動画像のフレームとその動画像において示された光学ポインタの領域のそれぞれをＯＨＰファイルとそのＯＨＰファイル上の領域とに対応付ける対応付け情報を作成する動画／ＯＨＰ／ポインタ領域対応付け処理部１０９ｂと、対応付け情報をテーブルとして保存する対応付けテーブル（テーブル記憶部）１１０とを備えている。
また、コンテンツ作成装置１ｂは、コンテンツ作成部１１１と、コンテンツ記憶部１１２とから構成されている。コンテンツ作成部１１１は、対応付けテーブル１１０からフレーム画像とＯＨＰファイル画像との対応付けを参照して、Ｅ−ｌｅａｒｎｉｎｇ用のコンテンツを作成する。コンテンツ記憶部１１２はコンテンツ作成部１１１により作成されたコンテンツを記憶する。
なお、画像対応付け装置１ａ内に備えられているとして説明したハイライト表示付きＯＨＰ画像作成部１１６は、コンテンツ作成部１１１内に備えられるようにしても良い。
また、第３図は、画像対応付け・コンテンツ作成装置１のハードウェア構成の一例を示した図である。第３図において、画像対応付け・コンテンツ作成装置１は、ビデオ入力制御装置１１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２と、メモリ１３と、画像用ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１５と、ファイル入出力装置１４と、プログラムＨＤＤ１６と、コンテンツＨＤＤ１７と、対応付けテーブル（ビデオ−ＯＨＰ−ポインタ位置対応付けテーブル）ＨＤＤ１８と、ＯＨＰファイルＨＤＤ１９と、ＬＡＮ（Ｌｏｃａｌ Ａｒｉａ Ｎｅｔｗｏｒｋ）インタフェース２０と、ＣＤ−ＲＯＭドライブ２１と、ハイライト表示付きＯＨＰ画像ＨＤＤ２２とを備えている。
本実施の形態において、第２図の機能構成図に示した各機能ブロックは、第３図のプログラムＨＤＤ１６に記憶されたプログラム群が画像対応付け・コンテンツ作成装置１の起動時にメモリ１３上に展開された状態を示しており、ＣＰＵ１２により実行される。ただし、第２図の動画像入力部１０１或いはＯＨＰファイル入力部１０３は、第３図のビデオ入力制御装置１１或いはファイル入出力制御装置１４とが、上記メモリ１３上に展開されたプログラム群と協働して機能する。また、動画像記憶部１０２は画像用ＨＤＤ１５により構成され、ＯＨＰファイル記憶部１０４はＯＨＰファイルＨＤＤ１９により構成され、対応付けテーブル１１０は対応付けテーブルＨＤＤ１８により構成され、コンテンツ記憶部１１２はコンテンツＨＤＤ１７により構成されるものとする。なお、ハイライト表示付きＯＨＰ画像ＨＤＤ２２は、コンテンツとしてコンテンツＨＤＤ１７内に設けられても良い。
また、上記プログラム群はプログラムＨＤＤ１６でなくとも、例えば、コンピュータにより読取り可能な媒体、例えば、ＣＤ−ＲＯＭやＦＤ、磁気ディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体に記憶されていてもよく、また、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体等からダウンロードしてメモリ１３上に展開され実行されるようにしてもよく、プログラム群のインストール形態は限定されない。上述したように本実施の形態では、ＣＤ−ＲＯＭドライブ２１が備えられており、可搬型記憶媒体を読み取り可能としている。また、ＬＡＮインタフェース２０やファイル入出力装置１４により、他のコンピュータやデータベースからＬＡＮ等を介してプログラム群を容易にダウンロードできる構成となっている。
以下、フローチャートを用いて、画像対応付け装置１ａの対応付け処理の流れを詳細に説明する。第４図は、対応付け処理全体の処理フローを示したフローチャートである。まず、動画像記憶部１０２からフレーム取得部１０５が動画像の最初のフレームの画像を抽出する（Ｓ１０００）。ＯＨＰ領域抽出部１０６が、抽出されたフレーム画像内でＯＨＰの画像が映る領域（以下、ＯＨＰ領域画像と呼称する）を探索して抽出する（Ｓ１００１）。ＯＨＰ領域抽出処理についての詳細を以下に示す。
第５図は、ＯＨＰ領域画像抽出処理の流れを示したフローチャートである。まず、ＯＨＰ領域抽出部１０６にフレーム画像のデータが入力される（Ｓ１１００）。次に、フレーム画像を二値化して、フレーム画像内のエッジ抽出を行う（Ｓ１１０１）。続いて、抽出されたエッジに対してハフ変換を行い、直線を抽出する（Ｓ１１０２）。抽出された直線成分を統合して、矩形作成する（Ｓ１１０３）。この矩形から予め定められた所定のサイズより大きい矩形のみを抽出する（Ｓ１１０４）。この抽出処理で矩形が抽出されない場合には（Ｓ１１０５、ＮＯ）、フレームの画像全体がＯＨＰ画像の領域であると判断し、画像全体を抽出する（Ｓ１１０７）。矩形が抽出された場合には（Ｓ１１０５、ＹＥＳ）、抽出された中で最も大きな矩形をＯＨＰ領域画像として抽出する（Ｓ１１０６）。
なお、通常、ＯＨＰを用いた講義等を撮影した動画像においては、ＯＨＰの画像が最も大きな矩形となるのが一般的であるため、Ｓ１１０６の処理でその領域を抽出するようにしている。
ＯＨＰ領域画像抽出後、初期値として最大類似度に０をセットする（第４図、Ｓ１００２）。続いて、ＯＨＰ取得部１０７がＯＨＰ画像の最初のページをＯＨＰファイル記憶部１０４から抽出する（Ｓ１００３）。ここで類似度算出部１０８が、Ｓ１００３で抽出されたＯＨＰ画像の最初のページと、Ｓ１００１で抽出されたフレームのＯＨＰ領域の画像とを照合して、類似度を計算する（Ｓ１００４）。ここで、類似度計算について、図を用いて詳細に説明する。
第６図は、類似度計算の一例を示す類似度算出部１０８の機能構成図である。本手法では、文字情報を用いて類似度を算出する。また、ここでは連続する２文字が同一であるか否かを照合して類似度を算出する。図において、類似度算出部１０８は、画像正規化部１３０と、フレーム文字抽出部１３１と、ＯＨＰ文字抽出部１３２と、文字照合部１３３と、照合結果加算部１３４とからなる。画像正規化部１３０は、フレーム画像から抽出されたＯＨＰ領域画像がＯＨＰ画像の方向と一致するよう回転処理を実行して傾きを補正する。また、ＯＨＰ画像とサイズが異なる場合、拡大処理を実行して、ＯＨＰ画像と同一のサイズとなるよう補正する。なお、このような正規化処理は、第５図のＳ１１０６での抽出の際に、ＯＨＰ領域抽出部１０６が実行するようにしてもよく、特に限定されるものではない。
フレーム文字抽出部１３１は、第５図のＳ１１０６で抽出されたＯＨＰ領域画像から文字を認識して抽出する。ＯＨＰ文字抽出部１３２は、ＯＨＰ取得部１０７で取得したページの文字を抽出する。なお、本実施の形態ではＯＨＰ画像の文字情報は、既にＯＨＰファイル記憶部１０４において１ページ毎の画像ファイルと、それに対応する文字情報を別々に記憶しているため、文字認識処理を行う必要なく、ＯＨＰファイル記憶部１０４を参照するのみで文字を抽出できる。文字照合部１３３は、フレーム文字抽出部１３１とＯＨＰ文字抽出部１３２から抽出された文字を照合する。照合結果加算部１３４は文字照合部１３３にて照合された結果を数値化して加算する。加算した結果が類似度となる。
第７図は、上記類似度算出部１０８により実行される類似度算出処理の流れを示したフローチャートである。まず、フレーム取得部１０５からＯＨＰ領域画像を取得し（Ｓ１３００）、フレーム文字抽出部１３１が文字認識処理を行う（Ｓ１３０１）。この文字認識処理は公知の技術を用いて行われる。第８図はこの文字認識処理の詳細を示したフローチャートである。まず、得られたＯＨＰ領域画像を二値化し（Ｓ１３１０）、領域識別を行う（Ｓ１３１１）。続いて文字認識を行い（Ｓ１３１２）、認識結果がテキスト出力される（Ｓ１３１３）。
文字認識処理後、類似度の初期値を０にセットする（第７図、Ｓ１３０２）。次に基準文字としてフレーム文字抽出部１３１による認識結果の最初の文字をセットする。また、ＯＨＰ画像において該セットされた基準文字に対応する位置にある文字とその隣に位置する文字を、ＯＨＰ文字抽出部１３２により抽出する（Ｓ１３０３）。ここで、文字照合部１３３により、フレーム文字抽出部１３１により認識された文字列と、ＯＨＰ文字抽出部１３２により抽出された文字列とを比較し、連続２文字が同じであるか否かを照合する。同じであれば（Ｓ１３０４、ＹＥＳ）、照合結果加算部１３４が類似度をインクリメントする（Ｓ１３０５）。同じでない場合には（Ｓ１３０４，ＮＯ）、類似度はインクリメントされない。続いて基準文字に隣の文字をセットし、同様に照合を行う（Ｓ１３０６）。Ｓ１３０４からＳ１３０６までの処理が文字認識処理結果の文字が終了するまで（Ｓ１３０７、ＹＥＳ）繰り返される。最終的には、照合結果加算部１３４により類似度が以下のように補正される（Ｓ１３０８）。
類似度＝類似度／ＯＨＰ文字数
なお、類似度算出は、文字情報を用いるほかにも画像（画素信号）情報やレイアウト情報（図、表、文字列ブロック等の領域属性とその座標情報）を用いて行っても良く、あるいはこれらを併用するようにしても良い。
上述した類似度算出部１０８は、あるフレームのＯＨＰ領域画像について、全てのＯＨＰ画像との類似度を算出する。具体的には、第４図において、ＯＨＰ画像の最初のページの類似度が算出された後（Ｓ１００４）、その類似度が最大類似度（最初の段階では０）以上であれば（Ｓ１００５、ＹＥＳ）、最大類似度に類似度をセットし、そのＯＨＰ画像のページ番号を記録する（Ｓ１００６）。この時点でＯＨＰ画像の全てのページの照合が終了していなければ（Ｓ１００７、ＮＯ）、ＯＨＰ画像の次ページを抽出し、Ｓ１００４の類似度計算処理を繰り返す。こうしてＯＨＰ画像全てのページの照合が終了すると（Ｓ１００７、ＹＥＳ）、次に、後で抽出されるフレーム画像におけるレーザーポインタの位置をＯＨＰの位置に対応付けるため、各フレーム画像中の文字とＯＨＰ中の文字の対応付けを行う（Ｓ１００８）。但し、本実施の形態においては、上述した類似度計算のときに生成されている文字の対応付けを利用することができるので、この処理は省略することができる。なお、ＯＨＰの文字情報が用意されていない場合は、類似度計算と別に文字の対応付けを求めることとなる。例えば、フレーム画像を文字認識して、文字コード列を獲得する。これと別にＯＨＰ画像を文字認識して同様に文字コード列を獲得して、２つの文字コード列を上から順番に一致させる。一致手法には、公知のＤＰマッチングなどを利用する。
次に、フレーム画像からのポインタ領域を検出（抽出）する（Ｓ１００９）。このポインタ領域の抽出は、第２図に示したポインタ領域検出部１１４により行われる。なお、本発明のポインタ領域検出装置は、これから説明する処理をコンピュータとソフトウェアとにより実行するポインタ領域検出部により構成されているものである。ポインタ領域検出部１１４における処理の一つは、まず、フレーム画像を取得すると（Ｓ１４０１）、フレーム画像中のＲＧＢ値から例えば下のような特定の条件式を満足する点の中で、３Ｒ−２Ｇ−Ｂが最大の点を求めることによりポインタ領域を抽出する。
Ｒ≧２３０ かつ ３Ｒ−２Ｇ−Ｂ≧１５５ （条件式）
他の一つは、フレーム画像から第９図に示す処理を行って、第１３図に示すようなポインタ領域の重心Ｇを求める。まず、フレーム画像を取得し（Ｓ１４０１）、次式（１）を満足する点を抽出して２値画像を作成する（Ｓ１４０２）。
Ｒ≧ＴＨＲ 且つ （ＴＨＨ１≦色相、又は、色相≦ＴＨＨ２） （１）
次にラベリング処理を行い外接矩形を求める（Ｓ１４０３）。
上記ステップで求まった矩形の周囲、あるいはそれから一定距離にあるものを同じグループとし、複数の候補領域を抽出する（Ｓ１４０４）。
抽出された全ての候補領域について、以下のステップＳ１４０６〜ステップＳ１４０９を行う（Ｓ１４０５、Ｓ１４１２）。
即ち、各候補領域に対して、まず色情報でのポインタ領域の検証を行い（Ｓ１４０６）、次に形状でのポインタ領域の検証を行う（Ｓ１４０７）。そして双方の検証結果が認められると、その領域をポインタ領域として記録する（Ｓ１４０８）。以上の処理が全ての候補領域に行われると（Ｓ１４０９，ＹＥＳ）。記録されたポインタ領域の１つが選択されて（Ｓ１４１０）、ＯＨＰ画像中の座標計算が行われる（Ｓ１４１１）。なお、本実施の形態において、ポインタ領域の検証は色情報と形状情報の両方を用いて行うようにしたが、いずれか一方のみを用いても構わない。両方を用いると精度が高められるが計算処理に時間を要する。一方のみを用いた場合は精度が落ちるが計算処理の時間短縮が図れる。
ここで、上記色情報を用いたポインタ領域の検証処理について第１０図を用いて説明する。これは背景色とレーザポインタ領域候補の平均色を求め、背景色と、この背景色に対するレーザーポインタ領域候補の平均色との組合せが、予め求められたそれらの組み合わせのいずれかに該当するか否かを判定することでレーザーポインタ領域であるか否かを判定する。
まず、Ｓ１４０４でグループ化されたグループ領域の座標を取得する（Ｓ１５０１）。次に背景色を求める第１処理として、カラー画像全体からグループ領域枠を拡大（グループ領域を周囲に規定画素数分だけ拡大）して切り出しカラー画像を作成する（Ｓ１５０２）し、色ラベリングを行う（Ｓ１５０３）。グループ領域内での２値画像で得られたパターン以外で最大面積のラベル領域を背景として抽出し、その平均色を求める（Ｓ１５０４）。次に、レーザーポインタ領域を仮定した場合のその領域の平均色を求める第２処理として、グループ領域内の２値画像部分に相当するカラー画像で平均色を作成する（Ｓ１５０５）。次に、グループ領域内で平均色と色差が一定しきい値以内の画素をポインタ領域として抽出し、その平均色を求める（Ｓ１５０６）。次に、第１処理と第２処理を合わせて、第１１図に示す背景色毎のレーザーポインタ色分布表に画像から抽出したポインタ領域の色分布が一致するか否か判断し（Ｓ１５０７）、一致する場合はレーザポインタ領域と判定する（Ｓ１５０８）。一方、一致しない場合はレーザーポインタ領域であると判定しない（Ｓ１５０９）。
次に、上記形状情報を用いたポインタ領域の検証処理について第１２図を用いて説明する。まず、グループ領域の座標を取得し（Ｓ１６０１）、Ｓ１４０４で得られたグループ領域を周囲に規定画素数分だけ拡大したものを新たなグループ領域として、そのグループ内の２値画像部分に相当するカラー画像の画素で平均色を作成する（Ｓ１６０２）。
次に、Ｓ１４０２で抽出された２値画像のパターンの内、グループ領域内にあるものに注目し、このパターンの座標と同じ座標をもつカラー画像（フレーム画像）上の点の平均色（Ｒｍ，Ｇｍ，Ｂｍ）を求める。そして、同じグループ領域内で平均色と色差が一定しきい値以内の画素をポインタパターンとして抽出する（Ｓ１６０３）。即ち、グループ領域内で平均色に近い色のパターンを抽出する。例えば、次式（２）を満たす画素を全て抽出する。
｜Ｒｉ−Ｒｍ｜＋｜Ｇｉ−Ｇｍ｜＋｜Ｂｉ−Ｂｍ｜＜Ｔｈ＿ｄｉｓｔ （２）
ここで、（Ｒｉ，Ｇｉ，Ｂｉ）は、グループ領域内の画素ｉのＲＧＢ値Ｔｈ＿ｄｉｓｔは予め決めた固定しきい値である。
次に、抽出画素を全て内包する楕円包絡線を求める。即ち、パターンの包絡線に近い楕円を求める（Ｓ１６０４）。
例えば、レーザーポインタをスクリーンに照射して、それをビデオカメラで撮影した画像では、レーザーポインタ（あるいはカメラの）動きによって、第１３図及び第１４図のようなレーザーポインタパターンが観測される。第１３図は、動きが速いときであり、このようになるのは、ビデオ撮影時にインターレース撮影をしているため、インターレースのスキャン時間の間にレーザーポインタが移動してしまうためである。第１４図は、動きが遅いときであり、欠損部分はノイズで正しくレーザーポインタが抽出できなかった箇所である。このような場合に、第１３図や第１４図に示す包絡線を形成する楕円曲線を求める。
求め方は以下ａ）〜ｄ）で示される。
ａ）グループ領域内の黒画素の座標をベクトルとみなして、全黒画素のベクトルから分散・共分散行列を作成する。
ｂ）分散・共分散行列から固有値・固有ベクトルを求める。
ｃ）黒画素の重心を求め、上位２つの寄与度の固有ベクトルで決まる方向を求め、重心からこの２方向の直交軸を決める。各軸上の中心＝重心から標準偏差の４倍の距離の点（中心から距離ａ、ｂ）を求め、この４点を通る楕円を求める。
ｄ）楕円の軸の切片ａ，ｂを少しずつ同じ比率だけ小さくしていき、最初に黒画素に接したところで停止する。
５）楕円曲線内で、奇数ラスターと偶数ラスターを別に調べ、どちらかのラスターにおいて、Ｓ１６０３で求めた黒画素がある比率をラスター上の総画素数と比較し（Ｓ１６０５）、それが一定比率以上であればレーザーポインタであると判定し（Ｓ１６０６）、それ以外はレーザーポインタでないと判定する（Ｓ１６０７）。
次に第９図に示したＳ１４１０の記録ポインタ領域から１つを選択する処理について説明する。
１つのフレーム画像から複数のポインタ領域が記録されることがある。講演者が指し示したのは、１カ所であるので、この中から１つを選択する必要がある。複数の候補領域の中で、上の領域の検証処理の中の「グループ領域内で平均色と色差が一定しきい値以内の画素をポインタ領域として抽出」（Ｓ１５０６）で求めた画素数が最も多いものを正しいポインタ領域であるとして選択するものとする。
ポインタ領域が抽出されると、次に第４図におけるＯＨＰ画像上の位置抽出処理が行われる（Ｓ１０１０）。
フレーム画像中のレーザーポインタ位置が抽出されたら、ｅ−Ｌｅａｒｎｉｎｇの表示のためにＯＨＰ画像中の対応する座標を推定して求める。これには、以下の第１５図（ａ），第１５図（ｂ）で示すような方法を用いる。
即ち、第１５図（ａ）に示すフレーム画像において、ａ）フレーム画像中のポインタの位置３１を求める。次に、ｂ）フレーム画像中でポインタ位置に近い１つ、あるいは複数の対応付けがされている文字３２を選択し、ポインタ３１とそれらの文字３２との相対的な位置関係を計算し記録する。次に、ｃ）このフレーム画像に対応付けられている、第１５図（ｂ）に示すＯＨＰスライド（ＰＰＴスライド）を求め、その内部の対応付いている文字の中から、ｂ）で記録されている文字３３を選択する。そして、ｄ）それらの文字から相対的位置関係を用いてＯＨＰスライドのポインタ位置３４を推定する。
この結果、フレーム毎の対応ＯＨＰ番号、ＯＨＰスライド中のポインタ座標テーブル（表１：フレーム番号、ＯＨＰ番号、ＯＨＰ中のポインタ座標対応表）が生成される（Ｓ１０１１：第４図）。
表１において、座標値は、ＯＨＰ画像の絶対座標だけでなく、表示画像の縦横長の％表示でもよい。また、座標値に示される−１は、ポインタが照射されてないことを示している。
第４図に示した対応付け処理が終了すると、コンテンツ作成装置１ｂにより、ポインティング情報対応ｅ−Ｌｅａｒｎｉｎｇ用コンテンツが作成される。以下、ＷＢＴ（Ｗｅｂ ｂａｓｅｄ Ｔｒａｉｎｉｎｇ）表示用画像作成処理として説明する。
このコンテンツ作成処理においては、表２の内容を表示するＷＢＴコンテンツであるＨＴＭＬファイルを作成する。以下、その一例として、最も簡単な例を第１６図を用いて説明する。
ＯＨＰ画像中のポインタの座標を元に、ＯＨＰ画像の中でポインタ４１がある付近をハイライト表示させた画像を生成する。具体的には、ＯＨＰの該当スライドで文字列やテキストボックス、図、表などの領域４２をＯＨＰスライドであるＰＰＴファイルから直接求め（または、ＯＨＰの画像をレイアウト解析して、ポインタ付近の領域を求め）、その領域に赤などの目立つ色で枠線を付けた画像を作成する。この画像名はＯＨＰ番号名＿インデックス番号（ＯＨＰ番号内で１からインクリメントされる番号）とする。但し、座標値が−１のものはハイライト表示を行わないでＯＨＰ番号名だけの画像名とする。
表１を上から順に走査して生成されるハイライト領域の座標が１つ前のものと完全に一致するものは、同じ画像名を付ける。これを上から順番に繰り返し処理していくと、以下のような表（表２：フレーム番号、ＯＨＰ番号、ＯＨＰ中のポインタ座標、画像名対応表）が作成できる。
表２を上から走査していき、連続する２つのエントリ（行）で、ＯＨＰ番号と画像名が完全に一致する場合に、２つを統合して、以下のようなＯＨＰ番号をキーとする表３（表３：ＷＢＴコンテンツ）を作成する。
この表がｅ−Ｌｅａｒｎｉｎｇ用のＷＢＴコンテンツのＨＴＭＬファイルのコア部分である。すなわち、フレーム区間で示される間だけ、それに対応するハイライト表示された画像を表示することで、講義道がの内容と同期したレーザーポインタでの指示情報を含んだ講義ＯＨＰの詳細な画像を表示することができる。
上記の方法の他にも、フレーム毎のＯＨＰ画像上のポインタの座標値が抽出されているので、それをそのまま、表示することも可能である。例えば、あるＯＨＰ番号の画像を表３でＯＨＰ番号が同じ区間だけ表示して、その上にオーバーラップして、各フレーム毎の座標値をそのまま大きな矢印や赤丸で表示してもよい。
第１７図は、上述したように作成したコンテンツを配信するためのコンテンツ配信サーバとそれを受信するクライアントを示すブロック図である。
コンテンツ配信サーバには、ビデオ−ＯＨＰ−ポインタ位置対応テーブル記憶部５１と、ＯＨＰファイル記憶部５２と、ビデオ画像記憶部５３と、ビデオ−ＯＨＰ対応テーブル記憶部５８と、ハイライト表示付ＯＨＰ画像記憶部５７とが記憶部として設けられ、コンテンツ配信要求受信部５４と配信要求コンテンツ送信部５５と、これらを制御するコンテンツ配信制御部５６とが設けられている。
一方、クライアント６０は、コンテンツ配信要求送信部６１と、コンテンツ受信部６２と、ビデオ再生部６４と、ビデオ対応ＯＨＰ／ポインタ位置取得部６３と、表示部６５と、これらを制御する制御部６６が設けられている。
以下、これらの動作について説明する。
１）ユーザは、クライアントから指定したコンテンツの表示を指示すると、クライアントがサーバに対して指定コンテンツの配信を要求する。
２）コンテンツサーバは、記憶装置上の指定のコンテンツを検索し、該当するコンテンツを読み取り、それをクライアントに配信する。このコンテンツにはビデオ画像、それに同期付けられたＯＨＰファイル、及びＯＨＰファイル内のポインタ位置情報が含まれる。このＯＨＰファイルはハイライト表示されたものを使用することができるし、そうでないものを使用することもできる。
３）クライアントは、配信されたコンテンツの中からビデオデータを再生すると共に、ビデオフレームに同期したＯＨＰ（スライド）とＯＨＰ内のポインティング位置情報を表示する。
以上に詳述した本発明の実施の形態によれば、以下のような効果を奏する。
従来のｅ−ｌｅａｒｎｉｎｇのコンテンツ作成用のオーサリングシステムでは、ＯＨＰを説明する動画像と、そこに映し出されているＯＨＰ画像表示の時間的な同期付けを自動的に行い、さらに、講師がポインティングツールのレーザーポインタを使用した場合に、説明中のＯＨＰの中でどこを話しているのかを自動的に示すことはできなかった。これらＯＨＰ画像と動画像との同期付けを行い、さらに講師が指し示したポインタ情報を表現するためには、人が膨大な時間を掛けてこれを再現するコンテンツを作成する必要があった。本実施の形態によれば、ＯＨＰと動画像との同期付けを自動的に行うことができると共に、ポインタ情報を自動的に抽出、再現してｅ−Ｌｅａｒｎｉｎｇ用のコンテンツ開発を自動化できる。
【産業上の利用の可能性】
以上に詳述したように、本発明によれば、特殊な装置を必要とせず、パソコン、プロジェクタの投影装置と、レーザーポインタ、ビデオカメラという一般的な装置だけで撮影したビデオからレーザーポインタ位置を検出することができ、もって、低コストに実現できるポインタ領域（位置）検出装置、ポインタ領域検出方法、並びにポインタ領域検出プログラムを提供することができる。また、本発明によれば、例えば講義などで使用されたＯＨＰファイル（元文書）と、講義などを撮影した動画像とを対応付けると共に、講義において指示されているＯＨＰ画像の部分をＯＨＰファイル上に明確に表示できるようにした画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラムを提供することができるとともに、このように対応付けされた動画像とＯＨＰファイルとをコンテンツとして配信するコンテンツ配信サーバ及びそのようなコンテンツ配信方法を提供することができるという効果を奏する。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【特許請求の範囲】
【請求項１】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出装置であって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得部と、
前記ＲＧＢ取得部により取得されたＲＧＢ値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するポインタ領域候補抽出部と、
前記ポインタ領域抽出部により抽出されたポインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定部と
を備えてなるポインタ領域検出装置。
【請求項２】
請求の範囲第１項に記載のポインタ領域検出装置において、
前記所定の式はＲ≧２３０、且つ、３Ｒ−２Ｇ−Ｂ≧１５５であり、前記評価値は、３Ｒ−２Ｇ−Ｂ で与えられることを特徴とするポインタ領域検出装置。
【請求項３】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出装置であって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得部と、
前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成部と、
前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出部と、
ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算部と、
ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてポインタ領域候補の平均色を求めるポインタ領域候補平均色演算部と、
前記背景色に対するポインタ領域候補の平均色の色分布に基づいて前記ポインタ領域候補がポインタ領域であるか否かを判定する、色情報を用いたポインタ領域判定部と
を備えてなるポインタ領域検出装置。
【請求項４】
請求の範囲第３項に記載のポインタ領域検出装置において、
前記領域候補抽出部は、前記ラベリングにより得られたパターンについて外形矩形を求め、さらに外形矩形の周囲及びそれから一定距離内にある外形矩形を一つのグループとして複数のグループを作成して各グループを前記領域候補とすることを特徴とするポインタ領域検出装置。
【請求項５】
請求の範囲第４項に記載のポインタ領域検出装置において、
前記領域候補抽出部は、さらに前記各グループを所定画素数だけ周囲に拡大してなる領域を前記領域候補とすることを特徴とするポインタ領域検出装置。
【請求項６】
請求の範囲第４項に記載のポインタ領域検出装置において、
前記背景色演算部は、前記領域候補抽出部により抽出された領域における前記ビデオ画像を色ラベリングし、前記パターンの領域を除いた部分で最大面積を有するラベル領域を背景領域として、該背景領域について平均色を求めることを特徴とするポインタ領域検出装置。
【請求項７】
請求の範囲第３項に記載のポインタ領域検出装置において、
前記ポインタ領域候補平均色演算部は、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において平均色を求めると共に、前記領域候補内で平均色と一定のしきい値以内の画素をポインタ領域候補として抽出して、該ポインタ領域候補における平均色を求めてポインタ領域候補の平均色とすることを特徴とするポインタ領域検出装置。
【請求項８】
請求の範囲第３項に記載のポインタ領域検出装置において、
前記ポインタ領域判定部は、前記背景色演算部により求められた背景色に対する前記ポインタ領域平均色演算部により得られた平均色の色分布と、予め記憶された前記背景色に対するレーザーポインタの色分布とが一致すると認められるか否かにより前記ポインタ領域候補がポインタ領域であるか否かを判定することを特徴とするポインタ領域検出装置。
【請求項９】
請求の範囲第８項に記載のポインタ領域検出装置において、
各背景色毎にレーザーポインタの色分布テーブルを備えていることを特徴とするポインタ領域検出装置。
【請求項１０】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出装置であって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得部と、
前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成部と、
前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出部と、
ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算部と、
前記平均色を用いて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出部と、
前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算部と、
前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポインタパターン候補がレーザポインタ領域であるか否かを判定する、形状を用いたポインタ領域判定部と
を備えてなるポインタ領域検出装置。
【請求項１１】
請求の範囲第１０項に記載のポインタ領域検出装置において、
前記領域候補抽出部は、前記ラベリングにより得られたパターンについて外形矩形を求め、さらに外形矩形の周囲及びそれから一定距離内にある外形矩形を一つのグループとして複数のグループを作成して各グループを前記領域候補とすることを特徴とするポインタ領域検出装置。
【請求項１２】
請求の範囲第１０項に記載のポインタ領域検出装置において、
前記領域候補抽出部は、さらに前記各グループを所定画素数だけ周囲に拡大してなる領域を前記領域候補とすることを特徴とするポインタ領域検出装置。
【請求項１３】
請求の範囲第１０項に記載のポインタ領域検出装置において、
前記ポインタパターン候補抽出部は、前記平均色と一定のしきい値内にある色を有する画素を含んで前記ポインタパターンとすることを特徴とするポインタ領域検出装置。
【請求項１４】
請求の範囲第１０項に記載のポインタ領域検出装置において、
前記ポインタ領域判定部は、前記楕円形状内で、奇数ラスターと偶数ラスターを別に調べ、どちらかのラスターで求めた前記ポインタパターンを形成する画素がある比率をラスター上の総画素数と比較し、それが一定比率以上であればレーザーポインタであると判定することを特徴とするポインタ領域検出装置。
【請求項１５】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出方法であって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、
前記ＲＧＢ取得部により取得されたＲＧＢ値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するポインタ領域候補抽出ステップと、
前記ポインタ領域抽出部により抽出されたポインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定ステップと
を備えてなるポインタ領域検出方法。
【請求項１６】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出方法であって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、
前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、
前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、
ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算ステップと、
ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてポインタ領域候補の平均色を求めるポインタ領域候補平均色演算ステップと、
前記背景色に対するポインタ領域候補の平均色の色分布に基づいて前記ポインタ領域候補がポインタ領域であるか否かを判定する色情報を用いたポインタ領域判定ステップと
を備えてなるポインタ領域検出方法。
【請求項１７】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出方法であって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、
前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、
前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、
ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算ステップと、
前記平均色を用いて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出ステップと、
前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算ステップと、
前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポインタパターン候補がレーザポインタ領域であるか否かを判定する形状情報を用いたポインタ領域判定ステップと
を備えてなるポインタ領域検出方法。
【請求項１８】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、
前記ＲＧＢ取得部により取得されたＲＧＢ値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するポインタ領域候補抽出ステップと、
前記ポインタ領域抽出部により抽出されたポインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定ステップと
をコンピュータに実行させるポインタ領域検出プログラム。
【請求項１９】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、
前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、
前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、
ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算ステップと、
ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてポインタ領域候補の平均色を求めるポインタ領域候補平均色演算ステップと、
前記背景色に対するポインタ領域候補の平均色の色分布に基づいて前記ポインタ領域候補がポインタ領域であるか否かを判定する色情報を用いたポインタ領域判定ステップと
をコンピュータに実行させるポインタ領域検出プログラム。
【請求項２０】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、
前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、
前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、
ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算ステップと、
前記平均色を用いて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出ステップと、
前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算ステップと、
前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポインタパターン候補がレーザポインタ領域であるか否かを判定する形状情報を用いたポインタ領域判定ステップと
をコンピュータに実行させるポインタ領域検出プログラム。
【請求項２１】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出部と、
ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付け部と、
前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付け部と
を備えてなる画像対応付け装置。
【請求項２２】
請求の範囲第２１項に記載の画像対応付け装置において、
前記ポインタ領域対応付け部は、前記ポインタ領域検出部により検出された領域に関連する領域におけるＯＨＰ画像中の文字情報と、前記ＯＨＰファイルの文字情報とに基づいて、前記ポインタ領域検出部により検出された光学ポインタの領域を前記ビデオフレームの画像中に撮像されているＯＨＰ画像の元文書であるＯＨＰファイルの領域に対応付けることを特徴とする画像対応付け装置。
【請求項２３】
請求の範囲第２１項に記載の画像対応付け装置において、
前記画像対応付け部は、ビデオフレームの番号とＯＨＰファイルの頁番号とを対応付け、前記ポインタ領域対応付け部は、前記ポインタ領域検出部により検出された光学ポインタの領域を前記ＯＨＰファイルにおける座標として対応付けることを特徴とする画像対応付け装置。
【請求項２４】
請求の範囲第２１項に記載の画像対応付け装置において、
前記ポインタ領域対応付け部は前記ＯＨＰファイルにおける前記ポインタ領域と関連する領域をハイライト表示させるように対応付けることを特徴とする画像対応付け装置。
【請求項２５】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出ステップと、
ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付けステップと、
前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付けステップと
を備えてなる画像対応付け方法。
【請求項２６】
ビデオフレームとビデオフレームの画像に撮像されているＯＨＰ画像に対応するＯＨＰファイルとを対応付ける処理をコンピュータに実行させる画像対応付けプログラムであって、
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出ステップと、
前記ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付けステップと、
前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付けステップと
をコンピュータに実行させる画像対応付けプログラム。
【請求項２７】
ビデオ画像を記憶するビデオ画像記憶部と、
該ビデオ画像に撮像されているＯＨＰ画像の元文書であるＯＨＰファイルを記憶したＯＨＰファイル記憶部と、
前記ビデオ画像のフレーム番号と、前記ビデオ画像に撮像されているＯＨＰ画像に対応するＯＨＰファイルの頁番号とを対応付けると共に、前記ビデオ画像に撮像されているＯＨＰ画像において示される光学ポインタの領域を前記ＯＨＰファイルの領域に対応付ける対応付け情報を記憶した対応付け情報記憶部と、
前記ビデオフレームの画像に対応付けられたＯＨＰファイル画像と前記ＯＨＰファイルにおける光学ポインタ領域の情報とを送信するための送信部と
を備えてなるコンテンツ配信サーバ。
【請求項２８】
請求の範囲第２７項に記載のコンテンツ配信サーバと該サーバに接続されたクライアントとの間でコンテンツ配信を行うコンテンツ配信方法であって、
クライアントがコンテンツ配信サーバに対して指定コンテンツの配信を要求するコンテンツ配信要求ステップと、
前記要求に対し、コンテンツ配信サーバは、各記憶部から要求に係るコンテンツを検索し、該当するビデオ画像、該ビデオ画像に対応付けられたＯＨＰファイル、及びＯＨＰファイル内のポインタ位置情報を送信するコンテンツ送信ステップと、
クライアントにおいて、配信されたコンテンツの中からビデオデータを再生すると共に、ビデオフレームに同期したＯＨＰファイル画像とＯＨＰファイル画像内のポインティング位置情報を表示する表示ステップと
を備えてなるコンテンツ配信方法。
【請求項１】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出装置であって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得部と、
前記ＲＧＢ取得部により取得されたＲＧＢ値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するポインタ領域候補抽出部と、
前記ポインタ領域抽出部により抽出されたポインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定部と
を備えてなるポインタ領域検出装置。
【請求項２】
請求の範囲第１項に記載のポインタ領域検出装置において、
前記所定の式はＲ≧２３０、且つ、３Ｒ−２Ｇ−Ｂ≧１５５であり、前記評価値は、３Ｒ−２Ｇ−Ｂ で与えられることを特徴とするポインタ領域検出装置。
【請求項３】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出装置であって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得部と、
前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成部と、
前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出部と、
ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算部と、
ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてポインタ領域候補の平均色を求めるポインタ領域候補平均色演算部と、
前記背景色に対するポインタ領域候補の平均色の色分布に基づいて前記ポインタ領域候補がポインタ領域であるか否かを判定する、色情報を用いたポインタ領域判定部と
を備えてなるポインタ領域検出装置。
【請求項４】
請求の範囲第３項に記載のポインタ領域検出装置において、
前記領域候補抽出部は、前記ラベリングにより得られたパターンについて外形矩形を求め、さらに外形矩形の周囲及びそれから一定距離内にある外形矩形を一つのグループとして複数のグループを作成して各グループを前記領域候補とすることを特徴とするポインタ領域検出装置。
【請求項５】
請求の範囲第４項に記載のポインタ領域検出装置において、
前記領域候補抽出部は、さらに前記各グループを所定画素数だけ周囲に拡大してなる領域を前記領域候補とすることを特徴とするポインタ領域検出装置。
【請求項６】
請求の範囲第４項に記載のポインタ領域検出装置において、
前記背景色演算部は、前記領域候補抽出部により抽出された領域における前記ビデオ画像を色ラベリングし、前記パターンの領域を除いた部分で最大面積を有するラベル領域を背景領域として、該背景領域について平均色を求めることを特徴とするポインタ領域検出装置。
【請求項７】
請求の範囲第３項に記載のポインタ領域検出装置において、
前記ポインタ領域候補平均色演算部は、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において平均色を求めると共に、前記領域候補内で平均色と一定のしきい値以内の画素をポインタ領域候補として抽出して、該ポインタ領域候補における平均色を求めてポインタ領域候補の平均色とすることを特徴とするポインタ領域検出装置。
【請求項８】
請求の範囲第３項に記載のポインタ領域検出装置において、
前記ポインタ領域判定部は、前記背景色演算部により求められた背景色に対する前記ポインタ領域平均色演算部により得られた平均色の色分布と、予め記憶された前記背景色に対するレーザーポインタの色分布とが一致すると認められるか否かにより前記ポインタ領域候補がポインタ領域であるか否かを判定することを特徴とするポインタ領域検出装置。
【請求項９】
請求の範囲第８項に記載のポインタ領域検出装置において、
各背景色毎にレーザーポインタの色分布テーブルを備えていることを特徴とするポインタ領域検出装置。
【請求項１０】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出装置であって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得部と、
前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成部と、
前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出部と、
ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算部と、
前記平均色を用いて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出部と、
前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算部と、
前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポインタパターン候補がレーザポインタ領域であるか否かを判定する、形状を用いたポインタ領域判定部と
を備えてなるポインタ領域検出装置。
【請求項１１】
請求の範囲第１０項に記載のポインタ領域検出装置において、
前記領域候補抽出部は、前記ラベリングにより得られたパターンについて外形矩形を求め、さらに外形矩形の周囲及びそれから一定距離内にある外形矩形を一つのグループとして複数のグループを作成して各グループを前記領域候補とすることを特徴とするポインタ領域検出装置。
【請求項１２】
請求の範囲第１０項に記載のポインタ領域検出装置において、
前記領域候補抽出部は、さらに前記各グループを所定画素数だけ周囲に拡大してなる領域を前記領域候補とすることを特徴とするポインタ領域検出装置。
【請求項１３】
請求の範囲第１０項に記載のポインタ領域検出装置において、
前記ポインタパターン候補抽出部は、前記平均色と一定のしきい値内にある色を有する画素を含んで前記ポインタパターンとすることを特徴とするポインタ領域検出装置。
【請求項１４】
請求の範囲第１０項に記載のポインタ領域検出装置において、
前記ポインタ領域判定部は、前記楕円形状内で、奇数ラスターと偶数ラスターを別に調べ、どちらかのラスターで求めた前記ポインタパターンを形成する画素がある比率をラスター上の総画素数と比較し、それが一定比率以上であればレーザーポインタであると判定することを特徴とするポインタ領域検出装置。
【請求項１５】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出方法であって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、
前記ＲＧＢ取得部により取得されたＲＧＢ値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するポインタ領域候補抽出ステップと、
前記ポインタ領域抽出部により抽出されたポインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定ステップと
を備えてなるポインタ領域検出方法。
【請求項１６】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出方法であって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、
前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、
前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、
ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算ステップと、
ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてポインタ領域候補の平均色を求めるポインタ領域候補平均色演算ステップと、
前記背景色に対するポインタ領域候補の平均色の色分布に基づいて前記ポインタ領域候補がポインタ領域であるか否かを判定する色情報を用いたポインタ領域判定ステップと
を備えてなるポインタ領域検出方法。
【請求項１７】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出方法であって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、
前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、
前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、
ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算ステップと、
前記平均色を用いて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出ステップと、
前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算ステップと、
前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポインタパターン候補がレーザポインタ領域であるか否かを判定する形状情報を用いたポインタ領域判定ステップと
を備えてなるポインタ領域検出方法。
【請求項１８】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、
前記ＲＧＢ取得部により取得されたＲＧＢ値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するポインタ領域候補抽出ステップと、
前記ポインタ領域抽出部により抽出されたポインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定ステップと
をコンピュータに実行させるポインタ領域検出プログラム。
【請求項１９】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、
前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、
前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、
ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算ステップと、
ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてポインタ領域候補の平均色を求めるポインタ領域候補平均色演算ステップと、
前記背景色に対するポインタ領域候補の平均色の色分布に基づいて前記ポインタ領域候補がポインタ領域であるか否かを判定する色情報を用いたポインタ領域判定ステップと
をコンピュータに実行させるポインタ領域検出プログラム。
【請求項２０】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、
ビデオフレームの画像の各画素領域におけるＲＧＢ値を取得するＲＧＢ値取得ステップと、
前記ＲＧＢ取得部により取得されたＲＧＢ値及び色相における所定の式を満たすか否かで２値画像を作成する２値画像作成ステップと、
前記２値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、
ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算ステップと、
前記平均色を用いて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出ステップと、
前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算ステップと、
前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポインタパターン候補がレーザポインタ領域であるか否かを判定する形状情報を用いたポインタ領域判定ステップと
をコンピュータに実行させるポインタ領域検出プログラム。
【請求項２１】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出部と、
ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付け部と、
前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付け部と
を備えてなる画像対応付け装置。
【請求項２２】
請求の範囲第２１項に記載の画像対応付け装置において、
前記ポインタ領域対応付け部は、前記ポインタ領域検出部により検出された領域に関連する領域におけるＯＨＰ画像中の文字情報と、前記ＯＨＰファイルの文字情報とに基づいて、前記ポインタ領域検出部により検出された光学ポインタの領域を前記ビデオフレームの画像中に撮像されているＯＨＰ画像の元文書であるＯＨＰファイルの領域に対応付けることを特徴とする画像対応付け装置。
【請求項２３】
請求の範囲第２１項に記載の画像対応付け装置において、
前記画像対応付け部は、ビデオフレームの番号とＯＨＰファイルの頁番号とを対応付け、前記ポインタ領域対応付け部は、前記ポインタ領域検出部により検出された光学ポインタの領域を前記ＯＨＰファイルにおける座標として対応付けることを特徴とする画像対応付け装置。
【請求項２４】
請求の範囲第２１項に記載の画像対応付け装置において、
前記ポインタ領域対応付け部は前記ＯＨＰファイルにおける前記ポインタ領域と関連する領域をハイライト表示させるように対応付けることを特徴とする画像対応付け装置。
【請求項２５】
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出ステップと、
ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付けステップと、
前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付けステップと
を備えてなる画像対応付け方法。
【請求項２６】
ビデオフレームとビデオフレームの画像に撮像されているＯＨＰ画像に対応するＯＨＰファイルとを対応付ける処理をコンピュータに実行させる画像対応付けプログラムであって、
ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を該ＯＨＰ画像が撮像されたビデオフレームの画像において検出するポインタ領域検出ステップと、
前記ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付けステップと、
前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付けステップと
をコンピュータに実行させる画像対応付けプログラム。
【請求項２７】
ビデオ画像を記憶するビデオ画像記憶部と、
該ビデオ画像に撮像されているＯＨＰ画像の元文書であるＯＨＰファイルを記憶したＯＨＰファイル記憶部と、
前記ビデオ画像のフレーム番号と、前記ビデオ画像に撮像されているＯＨＰ画像に対応するＯＨＰファイルの頁番号とを対応付けると共に、前記ビデオ画像に撮像されているＯＨＰ画像において示される光学ポインタの領域を前記ＯＨＰファイルの領域に対応付ける対応付け情報を記憶した対応付け情報記憶部と、
前記ビデオフレームの画像に対応付けられたＯＨＰファイル画像と前記ＯＨＰファイルにおける光学ポインタ領域の情報とを送信するための送信部と
を備えてなるコンテンツ配信サーバ。
【請求項２８】
請求の範囲第２７項に記載のコンテンツ配信サーバと該サーバに接続されたクライアントとの間でコンテンツ配信を行うコンテンツ配信方法であって、
クライアントがコンテンツ配信サーバに対して指定コンテンツの配信を要求するコンテンツ配信要求ステップと、
前記要求に対し、コンテンツ配信サーバは、各記憶部から要求に係るコンテンツを検索し、該当するビデオ画像、該ビデオ画像に対応付けられたＯＨＰファイル、及びＯＨＰファイル内のポインタ位置情報を送信するコンテンツ送信ステップと、
クライアントにおいて、配信されたコンテンツの中からビデオデータを再生すると共に、ビデオフレームに同期したＯＨＰファイル画像とＯＨＰファイル画像内のポインティング位置情報を表示する表示ステップと
を備えてなるコンテンツ配信方法。
【国際公開番号】ＷＯ２００４／０８１７８３
【国際公開日】平成１６年９月２３日（２００４．９．２３）
【発行日】平成１８年６月１５日（２００６．６．１５）
【国際特許分類】
【出願番号】特願２００４−５６９３５９（Ｐ２００４−５６９３５９）
【国際出願番号】ＰＣＴ／ＪＰ２００３／００３０６９
【国際出願日】平成１５年３月１４日（２００３．３．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【国際公開日】平成１６年９月２３日（２００４．９．２３）
【発行日】平成１８年６月１５日（２００６．６．１５）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００３／００３０６９
【国際出願日】平成１５年３月１４日（２００３．３．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]