指先操作型情報提供システム、プログラム、記録媒体
【課題】閲覧者が道具を用いずに、投影台に仕掛けを施さずに、投影表示されたコンテンツに対して、コンテンツ操作を指先で指示するシステムを提供することである。
【解決手段】投影台を撮像する赤外カメラと、コンテンツ投影画面データを作成する表示閲覧手段と、撮影画像から閲覧者の指先を検知する指先検出手段と、検出した指先の座標を算出する指先位置決定手段と、連続するフレームの指先座標を基に、指先静止検知する指先静止検知手段と、指先静止検知情報に基づいて、入力イベント情報を生成して、表示閲覧手段に引き渡す入力エミュレーション手段と、を備え、入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新することを特徴とする対話操作装置と、コンテンツ投影画面データに基づく像を投影台に投影する投影機と、赤外光源と、投影台と、から構成されることを特徴とする指先操作型コンテンツ提供システムにおいて、である。
【解決手段】投影台を撮像する赤外カメラと、コンテンツ投影画面データを作成する表示閲覧手段と、撮影画像から閲覧者の指先を検知する指先検出手段と、検出した指先の座標を算出する指先位置決定手段と、連続するフレームの指先座標を基に、指先静止検知する指先静止検知手段と、指先静止検知情報に基づいて、入力イベント情報を生成して、表示閲覧手段に引き渡す入力エミュレーション手段と、を備え、入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新することを特徴とする対話操作装置と、コンテンツ投影画面データに基づく像を投影台に投影する投影機と、赤外光源と、投影台と、から構成されることを特徴とする指先操作型コンテンツ提供システムにおいて、である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、閲覧者が指先で投影された情報を操作するシステム、プログラム、記録媒体に関するものである。
本発明は特に、投影台に投影したコンテンツに対して、閲覧者が指先で指示を与えることによって、指示に基づいたコンテンツを投影台に投影させる場合に有用である。
【背景技術】
【０００２】
近時、普及の著しいプロジェクターは、壁面や表示板（以下、投影台）にコンテンツを大きく投影することができるので、広告媒体やコミュニケーション・ツールとして活用される機会が増えている。
コンテンツの閲覧者は、たとえば、美術館で、投影されたコンテンツを対話的に操作することで、より多くの美術情報を得て、充実した美術鑑賞をすることが可能となる。
ここで、表示されたコンテンツと対話的に操作する方法を説明する。
【０００３】
《 Ａ．カーソル操作 》
マウスやトラックボールに代表されるポインティングデバイスを用いてカーソルを操作して、閲覧者が閲覧するコンテンツを対話的に操作する方法である。
あるいは、閲覧者がレーサーポインターを用いて、レーザースポット光を照射するときの動き方によって、コンテンツを対話的に操作する方法である。
たとえば、特許文献１では、ポインティングデバイスを用いて、コンピュータディスプレー画面と、机や壁の仮想拡張ディスプレー画面と、の間を、デジタル・オブジェクトをシームレスにドラッグ・アンド・ドロップする技術が開示されている。
また、特許文献２では、投影スクリーン上の画面に対して、レーザーポインターの光で指示することによって、画面の切り替えや、線の描画や、画面の部分拡大などのプレゼンテーション画面を操作する技術が開示されている。
《 Ｂ．タッチパネル指示》
閲覧者が、コンテンツを表示したタッチパネルに手を触れると、触れた位置に応じて、コンテンツを対話的に操作する方法である。
たとえば、特許文献３では、ディスプレー上の点を指先で押し続ける時間の長さに応じて、領域の広さを変えて、領域選択する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１７５３７４号公報（段落番号「０１２５」〜段落番号「０１３５」、図４〜図７）
【特許文献２】特開２００１−１２５７３８号公報（段落「００６５」、段落「００６７」〜段落「００６９」、図６）
【特許文献３】特開特開２００６−１１３７１５号公報（段落「００１５」〜段落「００１６」、図４）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、《 Ａ．カーソル操作》の方法では、閲覧者はマウスなどのポインティングデバイスを使用しなければ、対話操作が行えない。
また、《 Ｂ．タッチパネル指示》の方法では、コンテンツを表示する装置に、閲覧者が手を触れたことを検知する装置を備えなければならない。
【０００６】
本発明は以上のような点を解決するためになされたものであって、本発明の課題は、閲覧者が道具を用いずに、また、投影台に仕掛けを施さずに、投影表示されたコンテンツに対して、コンテンツ操作を指先で指示するシステム、プログラム、記録媒体を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、以下の各態様に記載の手段により、前記課題を解決する。
すなわち、本願発明の第１の発明は、赤外光源と、投影機と、投影台と、対話操作装置と、から構成される指先操作型コンテンツ提供システムにおいて、
前記対話操作装置は、
コンテンツ構成データおよびコンテンツ素材データを格納するコンテンツ格納領域と、
コンテンツ投影画面データを保持する表示画面保持領域と、
を備える記憶手段と、
投影台を撮像して、撮影画像を作成する赤外カメラと、
コンテンツ構成データを解釈して、コンテンツ投影画面データを作成する表示閲覧手段と、
撮影画像から閲覧者の指先を検知する指先検出手段と、
検出した指先の座標を算出する指先位置決定手段と、
連続するフレームの指先座標を用いて指先移動距離を算出して、所定の時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する指先静止検知手段と、
指先静止検知情報に基づいて、入力イベント情報を生成して、表示閲覧手段に引き渡す入力エミュレーション手段と、
を備えて、
前記表示閲覧手段は、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新する、
ことを特徴とする操作装置であって、
前記投影機は、
コンテンツ投影画面データに基づく像を投影台に投影する、
投影機である
ことを特徴とする指先操作型コンテンツ提供システムである。
【０００８】
このように、閲覧者の指先の動きと位置を検知して入力イベント情報を生成して、投影閲覧中のコンテンツを加工して表示することが可能である。
【０００９】
本願発明の第２の発明は、第１の発明に記載の指先操作型コンテンツ提供システムにおいて、
前記指先検出手段は、
撮像手段が作成した撮影画像を透視変換撮影画像に透視変換する撮影画像透視変換機能と、
透視変換撮影画像から背景画像を除去する背景除去機能と、
背景画像を除去した透視変換撮影画像から、二値化画像を生成する撮影画像二値化機能と、
二値化画像から距離画像を作成する距離画像作成機能と、
背景画像を除去した透視変換撮影画像から輪郭部画素を検出する輪郭部画素検出機能と、
距離画像と輪郭部画素とを用いて、距離画像の最大輝度を有する画素を内包する輪郭部画素で囲まれた画像を手形画像として抽出する最大輪郭部抽出機能と、
手形画像が接するコンテンツ投影画面の辺の情報を用いて、指先を判定する指先判定機能と、
を備えることを特徴とする指先操作型コンテンツ提供システムである。
【００１０】
本願発明の第３の発明は、第１の発明に記載の指先操作型コンテンツ提供システムにおいて、
前記指先位置決定手段は、
連続する各フレームの指先座標を用いて、指先の移動方向ベクトルを算出して、方向ベクトルの変動値が、所定の範囲であれば、最初のフレームの指先の座標を指先座標として用いる指先微小変動判定機能、
を備えることを特徴とする指先操作型コンテンツ提供システムである。
【００１１】
本願発明の第４の発明は、コンピューターに組込むことによって、コンピューターを請求項１または２に記載の指先操作型コンテンツ提供システムとして動作させるコンピュータープログラムである。
【００１２】
本願発明の第５の発明は、第４の発明に記載のコンピュータープログラムを記録したコンピューター読み取り可能な記録媒体である。
【発明の効果】
【００１３】
本願発明によれば、
（１）投影台に情報操作指示の検知装置を設けずに、投影されたコンテンツに対して、情報操作をすることが可能である。
（２）閲覧者は道具を用いずに、指先で情報操作の指示を与えることが可能である。
従って、本発明によれば、閲覧者は投影されたコンテンツに対して、指先で指示するだけで、手軽に情報操作することができるという効果がある。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施の形態による指先操作型情報提供システム１の概要を説明する図である。（実施例１）
【図２】図２は、対話指示に基づくコンテンツ投影画面の例である。
【図３】図３は、指先操作型情報提供システム１の操作と処理の大まかな操作手順を説明する図である。
【図４】図４は、指先検出の例である。
【図５】図５は、（１）初期設定処理の詳細な流れを説明する図である。
【図６】図６は、投影範囲を設定する例を説明する図である。
【図７】図７は、（３）指先検出処理の詳細な流れを説明する図である。
【図８】図８は、二値化画像作成処理の例を説明する図である。
【図９】図９は、大津の手法を説明するである。
【図１０】図１０は、（３−６）指先の決定処理のフローチャートである。
【図１１】図１１は、情報処理装置１００の詳細な構成図である。
【図１２】図１２は、影の映り込みを説明する図である。（実施例２）
【図１３】図１３は、指先の微動を無視する処理を説明する図である。（実施例３）
【図１４】図１４は、指先の検出を説明する図である。（実施例４）
【発明を実施するための形態】
【００１５】
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
【実施例１】
【００１６】
図１は、本発明の実施の形態による指先操作型コンテンツ提供システム１の概要を説明する図である。
指先操作型コンテンツ提供システム１は、投影台４００と、赤外光源５００と、プロジェクター３００（＝投影機）と、対話操作装置１００と、から構成される。
対話操作装置１００は、既存のパーソナルコンピューターで、後述する専用プログラムを搭載したものである。
対話操作装置１００は、赤外カメラ１０６と投影機３００を接続する。
赤外光源５００は、赤外光を投影台４００に照射するＬＥＤ光源装置である。
赤外カメラ１０６は、赤外光による反射像を撮像する電子カメラである。
投影機３００は、対話操作装置１００が作成するコンテンツ投影画面データに基づく像を投影台４００に投影するプロジェクターである。
【００１７】
ここで、赤外光源５００と赤外カメラ１０６とを用いる理由は、赤外光で照射された閲覧者９００の指先は撮像するが、プロジェクター３００が、可視光にて投影台４００に投影した投影画像（＝コンテンツ投影画面）は撮像しないようにするためである。
【００１８】
図２は、コンテンツ投影画面４０３の例である。
図２の（ａ）は、コンテンツと解説文を表示したコンテンツ投影画面４０３の例である。
例示されたコンテンツ投影画面の意味は、指先で指示したコンテンツの解説文をコンテンツに重畳させて表示しているということである。
図２の（ｂ）は、コンテンツの部分拡大画像を含むコンテンツ投影画面４０３の例である。
例示されたコンテンツ投影画面の意味は、指先が乗ったコンテンツ部分を拡大した画像を、コンテンツに重畳させて表示しているということである。
【００１９】
次に、図３を用いて、指先操作型情報提供システム１の大まかな操作と情報処理の手順を説明する。
（１）《初期設定処理》システム管理者は、対話操作装置１００の赤外カメラが投影台４００を撮影して生成した投影台の撮影画像を用いて、撮影画像を透視変換処理する撮影画像透視変換行列関係式や、撮影画像の背景画像などを設定する初期設定処理を行う。（詳細は後述する）
（２）《コンテンツ投影処理》対話操作装置１００は、閲覧者に閲覧させるコンテンツ投影画面１０３を、投影機３００を用いて投影台４００に、投影する。
（３）《対話操作》閲覧者は、投影台４００に投影されたコンテンツ投影画面４０３に対して、指先を用いて、対話操作を行う。
（４）《指先検出処理》対話操作装置１００は、対話操作する閲覧者の指先を赤外カメラ１０６で撮影して、撮影画像から閲覧者の指先の位置や動作を検知する。ここで、閲覧者の指先動作を検知するためには、撮影画像の各フレームの指先位置を比較すればよい。すなわち、各フレームの指先位置の変化量を計測して、静止しているのか、移動しているのかを判定すればよい。
（５）《対話操作したコンテンツの投影処理》対話操作装置１００は、検知した指先の動作を指先動作判定条件（たとえば、指先の静止動作時間が０．５秒以上であれば指先静止動作など）で判定して、指先動作判定条件に応じた対話操作を行い、たとえば、選択したコンテンツの解説文表示や、選択したコンテンツの部分拡大画像表示などの閲覧者が所望する操作の結果を、投影機３００を用いて、投影台４００に投影する。
ここで、対話操作装置１００は、コンテンツの投影画面４０３の指先に相当する位置にカーソルを重畳してもよい。
（６）《コンテンツ閲覧》閲覧者は、投影台４００に投影されたコンテンツ投影画面４０３を閲覧する。
【００２０】
図４を用いて、閲覧者の指先について説明する。
図４の（ａ）は、手の撮影画像表示画面１０３の底辺１０３１から延びた手の指先を説明する例である。
表示画面の底辺から延びた手の撮影画像を画面１０３に表示した例が示されている。
例示されている撮影画像の意味は、底辺１０３１から延びた手の場合には、手の最上部１０３５を指先として検知していることを示している。
【００２１】
図４の（ｂ）は、コンテンツの投影画面の左辺１０３２から延びた手の指先を説明する例である。
表示画面の左辺から延びた手の撮影画像を画面１０３に表示した例が示されている。
例示されている指先の意味は、左辺１０３２から延びた手の場合には、手の最右部１０３６を指先として検知していることを示している。
【００２２】
図５と図６を用いて、（１）《初期設定処理》の詳細な流れを説明する
図５は、（１）《初期設定処理》の詳細な流れを説明する図である。
（１−１）《投影範囲指示》システム管理者は、対話操作装置１００の赤外カメラが投影台４００を撮影して生成した投影台の撮影画像を用いて、投影範囲としての四角形の４頂点座標を入力する。たとえば、システム管理者は、投影台の撮影画像を対話操作装置１００の表示部に表示させて、投影範囲の４頂点座標を、たとえば、十字カーソルをキーボードで操作して入力する。
【００２３】
（１−２）《座標変換行列の算出》対話操作装置１００は、システム管理者が入力した投影範囲指示を受け付けて、座標変換行列関係式（たとえば、座標変換行列関係式として、すでに数学的に分かっている下記の数式１）に対して、受け付けた投影範囲指示の４つの頂点座標値［Ｘpk 、Ｙpk ］（ｋ＝１、２，３、４）と、コンテンツ投影画面の４つの標準頂点座標値［Ｘmk、Ｙmk ］（ｋ＝１、２，３、４）（たとえば、［０、０］［０、１０２４］［７６８、０］［７６８、１０２４］）とを代入して、１２個の式を作成してこれらを解いて、座標変換行列の８つの行列要素Ｃij （ｉ，ｊ＝１、２，３）を算出して、撮影画像透視変換行列関係式（下記の数式２）を導出する。撮影画像透視変換行列関係式は、撮影画像の座標［Ｘp 、Ｙp ］とコンテンツ投影画面の座標［Ｘm、Ｙm ］とを透視変換する行列関係式である。
【数１】
ここで、ｘp は、撮影画像のＸ座標値である。ｙp は、撮影画像のＹ座標値である。
ｈは、カメラ原点と画像平面の距離を変数とする値である。
Ｘmは、コンテンツ投影画面のＸ座標値である。Ｙm は、コンテンツ投影画面のＹ座標値である。
Ｃijは、二次元画像透視変換関係式の行列要素である。ここで、ｉ，ｊ＝１、２，３である。
【数２】
ここで、Ｃa 、Ｃb 、・・、Ｃh は、算出した撮影画像透視変換関係式の行列要素である。
【００２４】
なお、撮影画像透視変換関係式の算出には、opencvの透視変換行列算出関数cvGetPerspectiveTransformを用いて、算出することができる。ここで、opencvとは、インテル（登録商標）が開発・公開したオープンソースのコンピュータビジョン向けライブラリーである。
【００２５】
ここで、図６を用いて、《投影範囲指示》の作業で用いる表示画面を説明する。
図６の（ａ）には、投影範囲の指示画面１０３１が、例示されている。例示された投影範囲の指示画面１０３１には、対話操作装置１００の赤外カメラ１０４で撮影した投影台４００の撮影画像が表示されている。
また、この投影範囲の指示画面１０３１には、投影範囲の４頂点ｐ、ｑ、ｒ、ｓが入力された様子が示されている。
このとき、投影範囲の４頂点ｐ、ｑ、ｒ、ｓの頂点角度は、必ずしも直角ではない。
図６の（ｂ）には、撮影画像の投影範囲を透視変換した画像の表示画面１０３２が、例示されている。
例示された透視変換画像の表示画面１０３２は、撮影画像透視変換関係式を用いて、撮影画像の投影範囲を透視変換したものである。
ここで、透視変換画像の表示画面１０３３の４頂点Ｐ、Ｑ、Ｒ、Ｓ（＝それぞれの座標が、［０、０］［０、１０２４］［７６８、０］［７６８、１０２４］に相当する）は、投影範囲の４頂点ｐ、ｑ、ｒ、ｓが、それぞれ、透視変換された点である。このとき、四角形領域の４頂点Ｐ、Ｑ、Ｒ、Ｓの頂点角度は、直角である。
【００２６】
図５に戻って、（１）《初期設定処理》の詳細な流れの説明を続ける。
（１−３）《背景画像抽出》対話操作装置１００は、投影台の撮影画像から、投影範囲の
画像を抽出して、背景画像とする。この背景画像を抽出するとき、投影範囲の画像に対して、導出した撮影画像透視変換行列関係式（＝数式２）を用いて、コンテンツ投影画面の座標に透視変換する。
【００２７】
図７から図９までを用いて、（４）《指先検出処理》の詳細な流れを説明する。
図７は、（４）《指先検出処理》の詳細な流れを説明する図である。
指先検出処理は、撮影画像の各フレームに対して行う。
（４−１）《撮影画像の透視変換処理》対話操作装置１００は、この導出した撮影画像透視変換行列関係式（＝数式２）を用いて、手の撮影画像をコンテンツ画面の座標系の画像に透視変換する。
（４−２）《背景除去》対話操作装置１００は、透視変換した手の撮影画像の画素の値から、透視変換した背景画像の画素の値を減算して、透視変換した撮影画像の背景画像除去処理をする。
（４−３）《撮影画像の二値化処理》対話操作装置１００は、背景画像除去処理済の透視変換した撮影画像に対して、大津の手法を適用して、閾値を算出して二値化処理して、二値化画像を生成する。
【００２８】
ここで、図９を用いて、大津の手法を説明する。大津の手法とは、濃淡画像の画素値ヒストグラムに対して、各画素値を仮のしきい値ｔによって、２つの領域に分けて、各領域内の分散 σ2a と、２つの領域間の分散 σ2b と、を計算し、領域内での分散と領域間の分散比を算出する関数（仮のしきい値ｔの関数）Ｗ（ｔ）＝ σ2a ／ σ2b が最小となるｔをしきい値とする手法である。
大津の手法を用いた画像二値化処理では、大津の手法に基づいて二値化閾値を算出し、OpenCVの二値化関数cvThresholdを用いて二値化画像を得ることができる。
【００２９】
なお、二値化処理において、大津の手法を用いることは、１つの例である。たとえば、他の値を閾値として用いてもよいし、複数の閾値を用いて、複数の二値化画像を生成するようにしてもよい。
【００３０】
図７に戻って、（４）《指先検出処理》の詳細な流れの説明を続ける。
（４−４）《距離画像作成処理》対話操作装置１００は、二値化画像の白画素から、黒画素への最短距離を求めて、距離に対応付けた画素値を有する画素で構成した距離画像を作成して、距離画像の最大画素値を保持する。
（４−５）《輪郭部画素検出処理》対話操作装置１００は、二値化画像の黒画素領域を端から走査して、４連結画素を用いる輪郭抽出アルゴリズムを用いて、黒画素を抽出して、抽出した黒画素を輪郭部画素とする。
ここで、４連結画素を用いる輪郭抽出アルゴリズムとは、二値化画像を端から走査して、検出した未追跡黒画素を始点の輪郭部画素として、この画素を中心にした４連結画素を反時計回りに追跡して黒画素を検出して輪郭部画素として、この画素を次の中心にして、４連結画素追跡により黒画素を検出して、始点に戻るまで繰り返えすものである。輪郭抽出アルゴリズムは、８連結画素を用いてもよい。
（４−６）《手形画像抽出処理》対話操作装置１００は、距離画像（＝輪郭部画素で囲まれた領域）の画素の輝度を、保持した最大輝度の値と比較して、一致すれば、その領域を閲覧者の手形画像として抽出する。
【００３１】
ここで、図８を用いて、《指先検出処理》の例を説明する。
図８の（ａ）には、二値化画像１９６１が例示されている。
例示された二値化画像１９６１は、大きな白画素領域１９６１１と、小さな白画素領域１９６１２を含む画像である。
図８の（ｂ）には、距離画像１９６２が例示されている。
例示された距離画像１９６２は、大きな白画素領域１９６１１に対応した距離画像１９６２１と、小さな白画素領域１９６１２に対応した距離画像１９６２２とを含む画像である。ここで、大きな白画素領域１９６１１に対応した距離画像１９６２１は、最大画素値を持つ画素１０３８を有する画像である。
図８の（ｃ）には、輪郭部画素が例示されている。
例示された輪郭部画素は、大きな白画素領域の輪郭部１９６３１と小さな白画素領域の輪郭部１９６３２とを形成する画素である。ここで、白画素領域の輪郭部１９６３１は、最大画素値を持つ画素１０３８に対応した画素１０３８１を有する。
図８の（ｄ）には、最大輪郭部が例示されている。
例示された最大輪郭部は、最大画素値を持つ距離画像１９６２１に対応した白画素領域の輪郭部１９６３１である。
【００３２】
図７に戻って、（４）《指先検出処理》の詳細な流れの説明を続ける。
（４−７）《指先判定処理》対話操作装置１００は、閲覧者の手形画像を用いて、指先判定処理をして、指先を判定する。（詳細は後述する）
（４−８）《指先位置算出》対話操作装置１００は、連続するフレームの指先座標を算出する。
（４−９）《指先静止検知処理》対話操作装置１００は、連続するフレームの指先座標を比較して指先移動距離を算出して、指先静止判定時間を定めた動作判定条件と照合して、指先静止判定時間中の指先移動距離がゼロであるか否かを判定する。指先静止判定時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する。
【００３３】
図１０は、指先判定処理のフローチャートである。
（１）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺（＝撮影画像枠）が、底辺１０３１であるか否かを判定する。手の撮影画像が接する辺が、下辺１０３１であれば、次のステップに進む。
手の撮影画像が接する辺が、底辺１０３１でなければ、ステップＳ１２０に進む。（ステップＳ１１０）
（２）対話操作装置１００は、手の最上部１０３５を指先と判定して「手が接する辺＝底辺」を保持して、終了する。（ステップＳ１１５）
（３）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、左辺１０３２であるか否かを判定する。手の撮影画像が接する辺が、左辺１０３２であれば、次のステップに進む。
手の撮影画像が接する辺が、左辺１０３２でなければ、ステップＳ１３０に進む。（ステップＳ１２０）
（４）対話操作装置１００は、手の最右部１０３６を指先と判定して「手が接する辺＝左辺」を保持して、終了する。（ステップＳ１２５）
（５）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、右辺であるか否かを判定する。手の撮影画像が接する辺が、右辺であれば、次のステップに進む。
手の撮影画像が接する辺が、右辺でなければ、ステップＳ１４０に進む。（ステップＳ１３０）
（６）対話操作装置１００は、手の最左部を指先と判定して「手が接する辺＝右辺」を保持して、終了する。（ステップＳ１３５）
（７）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、上辺であるか否かを判定する。手の撮影画像が接する辺が、上辺であれば、次のステップに進む。
手の撮影画像が接する辺が、上辺でなければ、ステップＳ１６０に進む。（ステップＳ１４０）
（６）対話操作装置１００は、手の最下部を指先と判定して「手が接する辺＝上辺」を保持して、終了する。（ステップＳ１４５）
（７）保持した手形が接する辺の値に応じて、指先の位置を以下のとおりに判定する。
・「手が接する辺＝底辺」であれば、手の最上部を指先と判定する、
・「手が接する辺＝左辺」であれば、手の最右部を指先と判定する、
・「手が接する辺＝右辺」であれば、手の最左部を指先と判定する、
・「手が接する辺＝上辺」であれば、手の最下部を指先と判定する、
終了する。
【００３４】
図１１は、対話操作装置１００の詳細な構成図である。
対話操作装置１００は、ＣＰＵ１０１と、表示部１０２と、キーボード１０３と、赤外カメラ部１０６と、投影機接続部１０７（＝投影機接続手段）と、ネットワーク通信部１０８と、記憶部１０９と専用プログラムとを備える。
ＣＰＵ１０１と、表示部１０２と、キーボード部１０３と、カメラ部１０６と、投影機接続部１０７と、ネットワーク通信部１０８と、記憶部１０９とは、ＢＵＳ１９９で接続される。
【００３５】
ＣＰＵ１０１は、中央演算装置である。
表示部１０２は、液晶表示装置や有機ＥＬ表示装置である。
投影機接続手段１０７は、プロジェクターアダプターである。
ネットワーク通信部１０８は、ＬＡＮアダプターである。
【００３６】
赤外カメラ部１０６は、赤外電子カメラである。
赤外カメラ部１０６は、赤外光源５００の赤外光が照射された閲覧者９００の手を撮像して、手の撮影画像を生成する。
【００３７】
記憶部１０９は、半導体メモリーや磁気メモリーである。
記憶部１０９は、表示画面保持領域１０９１と、初期設定情報格納領域１０９２と、コンテンツ格納領域１０９３と、を備えて、オペレーティングシステム１８５と、専用プログラムとを記憶する。
表示画面保持領域１０９１は、コンテンツ投影画面データ１９８を保持する。
初期設定情報格納領域１０９２は、撮影画像透視変換関係式１９３と背景画像データ１９５とを格納する。
コンテンツ格納領域１０９３は、コンテンツ投影画面データを作成するためのコンテンツ構成データ１９７およびコンテンツ素材データ１９２を格納する。
コンテンツ構成データ１９７は、コンテンツ全体の構成（たとえば、何ページから成っているかなど）と、コンテンツ素材データの使い方（たとえば、何ページのどの位置に、どの素材を配置するかなど）を現したデータである。
コンテンツ素材データ１９２は、写真やテキストのデータである。
【００３８】
オペレーティングシステム１８５は、対話操作装置１００のハードウェア（たとえば、表示部１０２と、キーボード１０３と、投影機接続部１０７と、ネットワーク通信部１０８と、記憶部１０９など）を管理・制御して、応用ソフトウエア（たとえば、専用プログラム）に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。
オペレーティングシステム１８５は、マウス左クリックエミュレート関数やカーソル表示エミュレート関数を含むマウス関数ライブラリー１９１を有する。
オペレーティングシステム１８５は、マウス左クリックエミュレート関数が発行するマウス左クリックのマウスイベント（＝入力イベント情報）を受け取って、一時記憶領域に保持する。このときにアクティブなプロセスは、一時記憶領域を参照して保持されたマウスイベントを読み出して、そのイベントに応じたプロセスの処理を行う。
【００３９】
このほかに、初期設定手段１１０と、指先検出手段１３０と、指先位置算出手段１４０と、指先静止検知手段１５０と、入力エミュレーションモジュール１５５と、表示画面作成手段１６０と、投影表示手段１７０と、備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ１０１に解釈・実行されることによって機能する。
【００４０】
初期設定手段１１０は、赤外カメラが投影台４００を撮影して生成した投影台の撮影画像の投影範囲の入力を受け付ける投影範囲指示機能と、
撮影画像の座標とコンテンツ投影画面の座標との透視変換の関係を表す撮影画像透視変換行列関係式を算出する座標変換行列算出機能と、
投影台の撮影画像から、投影範囲の画像を抽出して、背景画像とする背景画像抽出機能と、から構成される。
初期設定手段の詳細は、図５における（１）《初期設定処理》の詳細な流れを説明する項で述べた。
【００４１】
指先検出手段１３０は、撮像手段１０６が作成した閲覧者の手の撮影画像を透視変換撮影画像に透視変換する撮影画像透視変換機能と、
透視変換撮影画像から背景画像を除去する背景除去機能と、
背景画像を除去した透視変換撮影画像から二値化画像を生成する撮影画像二値化機能と、
二値化画像から距離画像を作成する距離画像作成機能と、
背景画像を除去した透視変換撮影画像から輪郭部画素を検出する輪郭部画素検出機能と、
距離画像と輪郭部画素とを用いて、手形画像を抽出する最大輪郭部抽出機能と、
手形画像が接するコンテンツ投影画面の辺の情報を用いて、指先を判定する指先判定機能と、
を備える。
【００４２】
指先検出手段１３０の詳細は、図７における（３）《指先検出処理》の詳細な流れを説明する項で述べた。
【００４３】
指先位置算出手段１４０は、指先の座標を算出する。
指先静止検知手段１５０は、連続するフレームの指先座標を用いて指先移動距離を算出して、所定の時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する。
【００４４】
入力エミュレーションモジュール１５５は、指先静止検知情報に基づいて、入力イベント情報を生成して、表示閲覧手段に引き渡す。
詳細には、入力エミュレーション手段１５５は、指先静止検知情報を受け付けて、マウス左クリックエミュレート関数を呼び出して、マウス左クリックエミュレート関数が発行するマウス左クリック情報に基づくマウスイベントを発行させるマウスクリック機能と、
指先座標を受け付けて、マウスカーソル関数を呼び出して、この指先座標カーソル表示エミュレート関数が発行するカーソル表示情報に基づくマウスイベントを発行させるカーソル表示機能と、
を備える。
【００４５】
表示閲覧手段１６０は、コンテンツ構成データ１９６を解釈して、コンテンツ素材データ１９２を用いてコンテンツ投影画面データ１９８を作成する。
また、表示閲覧手段１６０は、オペレーティングシステム１８５を通じて引き渡されたマウスイベントを受け付けて、適宜コンテンツ投影画面データを更新する。詳細には、表示閲覧手段１６０は、オペレーティングシステム１８５が一時記憶領域に保持したマウスイベントを読み出して、適宜コンテンツ投影画面データを更新する。（請求項１における入力エミュレーション手段は、入力エミュレーションモジュール１５５とオペレーティングシステム１８５との協調動作により実現される）
【００４６】
次に、影の誤抽出防止について、説明する。
投影台に閲覧者の手が無い状態（＝何も映っていない状態）にも関わらず、影の撮影画像を手の撮影画像と誤抽出することがあることが経験的に分かっているので、以下の処理を行う。
《撮影画像の二値化処理》対話操作装置１００は、背景画像除去処理済の透視変換した撮影画像に対して、濃淡画像の画素値ヒストグラムを、各画素値を仮のしきい値ｔとして、２つの領域に分けて、各領域内の分散（＝クラス内分散）σ2a と、２つの領域間の分散（＝クラス間分散）σ2b と、を計算し、領域内での分散と領域間の分散の和（＝全分散） を算出する関数（仮のしきい値ｔの関数）ｗ ＝ σ2a + σ2b が所定の値以上であれば、大津の手法を適用して、二値化画像を生成する。
【００４７】
図１２は、濃淡画像の画素値ヒストグラムの分散を説明する図である。
図１２の（ａ）は、何も映っていない状態の撮影画像の例である。
何も映っていない状態の撮影画像の画素値ヒストグラムの全分散は、小さいことを示している。
図１２の（ｂ）は、手が映っている状態の撮影画像の例である。
手が映っている状態の撮影画像の画素値ヒストグラムの全分散は、大きいことを示している。
【００４８】
次に、静止した指先の座標が微動変動することに対する対策を説明する。
閲覧者が指先を静止させたときに、手の撮影画像から算出する指先の座標は、指先があたかも微動しているかのように、微小に変動することが経験的に分かっているので、以下の処理を行う。
《指先微小変動判定処理》対話操作装置１００は、連続する各フレーム（＝撮影画像の静止画）から算出する指先の座標を用いて、指先の移動方向ベクトルを算出して、方向ベクトルの変動値が所定の条件（たとえば、方向ベクトルの変動角度θを用いて、方向ベクトルの変動値をｃｏｓθで定義して、所定の条件がθ＜２５°）を満たせば、指先の座標が微小変動したとして、最初のフレームの指先の座標を保持する。
【００４９】
図１３は、指先の微小変動を説明する図である。
移動する指先を撮影した画像の連続４フレームの各フレーム間の方向ベクトルν1、ν2、ν3、である場合には、方向ベクトルの変動値は、数式３のように表すことができる。
【数３】
図１３の（ａ）は、指先が移動しているときのｃｏｓθの例である。
指先が移動しているときの数式３の値は大きい。言い換えるとθの値は小さい。例えば、θが２５°未満である場合には、指先が移動しているときである。
図１３の（ｂ）は、指先が静止しているときのｃｏｓθの例である。
指先が静止しているときの数式３の値は小さい。言い換えるとθの値は大きい。例えば、θが２５°以上である場合には、指先が静止しているときである。
【００５０】
次に、手形画像がコンテンツ投影画面の辺に接しない場合の指先判定処理を説明する。
閲覧者の袖口が撮影できない場合には、手形画像がコンテンツ投影画面の辺に接しないので、指先判定処理は、以下のとおりに行う。
《指先判定処理》対話操作装置１００は、指先判定処理において、手形画像がコンテンツ投影画面の辺に接しない場合には、距離画像の最高輝度点を基準にして、保持した手形が接する辺の側の輪郭は探索しないで、指先を判定する。
図１４は、閲覧者の袖口が撮影できない手の撮影画像の例である。
例示された手の画像は、画面の左辺に閲覧者の袖口がかかり、手の撮影画像が左辺から離れている状態を示している。
閲覧者の手は、左辺から移動してきたので、距離画像の最高輝度点１０３８を基準にして、その左側の輪郭は探索しないで、指先を判定する。
【符号の説明】
【００５１】
１ 指先操作型コンテンツ提供システム
１００ 対話操作装置
１０３ 撮影画像表示画面
１０６ 赤外カメラ
１０７ 投影機接続手段
１１０ 初期設定手段
１３０ 指先検出手段
１４０ 指先位置算出手段
１５０ 指先静止検知手段
１５５ 入力エミュレーション手段
１６０ 表示閲覧手段
１７０ 投影表示手段
１９１ マウス関数ライブラリー
３００ プロジェクター、投影機
４００ 投影台
４０３ コンテンツ投影画面
５００ 赤外光源
９００ 閲覧者
【技術分野】
【０００１】
本発明は、閲覧者が指先で投影された情報を操作するシステム、プログラム、記録媒体に関するものである。
本発明は特に、投影台に投影したコンテンツに対して、閲覧者が指先で指示を与えることによって、指示に基づいたコンテンツを投影台に投影させる場合に有用である。
【背景技術】
【０００２】
近時、普及の著しいプロジェクターは、壁面や表示板（以下、投影台）にコンテンツを大きく投影することができるので、広告媒体やコミュニケーション・ツールとして活用される機会が増えている。
コンテンツの閲覧者は、たとえば、美術館で、投影されたコンテンツを対話的に操作することで、より多くの美術情報を得て、充実した美術鑑賞をすることが可能となる。
ここで、表示されたコンテンツと対話的に操作する方法を説明する。
【０００３】
《 Ａ．カーソル操作 》
マウスやトラックボールに代表されるポインティングデバイスを用いてカーソルを操作して、閲覧者が閲覧するコンテンツを対話的に操作する方法である。
あるいは、閲覧者がレーサーポインターを用いて、レーザースポット光を照射するときの動き方によって、コンテンツを対話的に操作する方法である。
たとえば、特許文献１では、ポインティングデバイスを用いて、コンピュータディスプレー画面と、机や壁の仮想拡張ディスプレー画面と、の間を、デジタル・オブジェクトをシームレスにドラッグ・アンド・ドロップする技術が開示されている。
また、特許文献２では、投影スクリーン上の画面に対して、レーザーポインターの光で指示することによって、画面の切り替えや、線の描画や、画面の部分拡大などのプレゼンテーション画面を操作する技術が開示されている。
《 Ｂ．タッチパネル指示》
閲覧者が、コンテンツを表示したタッチパネルに手を触れると、触れた位置に応じて、コンテンツを対話的に操作する方法である。
たとえば、特許文献３では、ディスプレー上の点を指先で押し続ける時間の長さに応じて、領域の広さを変えて、領域選択する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１７５３７４号公報（段落番号「０１２５」〜段落番号「０１３５」、図４〜図７）
【特許文献２】特開２００１−１２５７３８号公報（段落「００６５」、段落「００６７」〜段落「００６９」、図６）
【特許文献３】特開特開２００６−１１３７１５号公報（段落「００１５」〜段落「００１６」、図４）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、《 Ａ．カーソル操作》の方法では、閲覧者はマウスなどのポインティングデバイスを使用しなければ、対話操作が行えない。
また、《 Ｂ．タッチパネル指示》の方法では、コンテンツを表示する装置に、閲覧者が手を触れたことを検知する装置を備えなければならない。
【０００６】
本発明は以上のような点を解決するためになされたものであって、本発明の課題は、閲覧者が道具を用いずに、また、投影台に仕掛けを施さずに、投影表示されたコンテンツに対して、コンテンツ操作を指先で指示するシステム、プログラム、記録媒体を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、以下の各態様に記載の手段により、前記課題を解決する。
すなわち、本願発明の第１の発明は、赤外光源と、投影機と、投影台と、対話操作装置と、から構成される指先操作型コンテンツ提供システムにおいて、
前記対話操作装置は、
コンテンツ構成データおよびコンテンツ素材データを格納するコンテンツ格納領域と、
コンテンツ投影画面データを保持する表示画面保持領域と、
を備える記憶手段と、
投影台を撮像して、撮影画像を作成する赤外カメラと、
コンテンツ構成データを解釈して、コンテンツ投影画面データを作成する表示閲覧手段と、
撮影画像から閲覧者の指先を検知する指先検出手段と、
検出した指先の座標を算出する指先位置決定手段と、
連続するフレームの指先座標を用いて指先移動距離を算出して、所定の時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する指先静止検知手段と、
指先静止検知情報に基づいて、入力イベント情報を生成して、表示閲覧手段に引き渡す入力エミュレーション手段と、
を備えて、
前記表示閲覧手段は、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新する、
ことを特徴とする操作装置であって、
前記投影機は、
コンテンツ投影画面データに基づく像を投影台に投影する、
投影機である
ことを特徴とする指先操作型コンテンツ提供システムである。
【０００８】
このように、閲覧者の指先の動きと位置を検知して入力イベント情報を生成して、投影閲覧中のコンテンツを加工して表示することが可能である。
【０００９】
本願発明の第２の発明は、第１の発明に記載の指先操作型コンテンツ提供システムにおいて、
前記指先検出手段は、
撮像手段が作成した撮影画像を透視変換撮影画像に透視変換する撮影画像透視変換機能と、
透視変換撮影画像から背景画像を除去する背景除去機能と、
背景画像を除去した透視変換撮影画像から、二値化画像を生成する撮影画像二値化機能と、
二値化画像から距離画像を作成する距離画像作成機能と、
背景画像を除去した透視変換撮影画像から輪郭部画素を検出する輪郭部画素検出機能と、
距離画像と輪郭部画素とを用いて、距離画像の最大輝度を有する画素を内包する輪郭部画素で囲まれた画像を手形画像として抽出する最大輪郭部抽出機能と、
手形画像が接するコンテンツ投影画面の辺の情報を用いて、指先を判定する指先判定機能と、
を備えることを特徴とする指先操作型コンテンツ提供システムである。
【００１０】
本願発明の第３の発明は、第１の発明に記載の指先操作型コンテンツ提供システムにおいて、
前記指先位置決定手段は、
連続する各フレームの指先座標を用いて、指先の移動方向ベクトルを算出して、方向ベクトルの変動値が、所定の範囲であれば、最初のフレームの指先の座標を指先座標として用いる指先微小変動判定機能、
を備えることを特徴とする指先操作型コンテンツ提供システムである。
【００１１】
本願発明の第４の発明は、コンピューターに組込むことによって、コンピューターを請求項１または２に記載の指先操作型コンテンツ提供システムとして動作させるコンピュータープログラムである。
【００１２】
本願発明の第５の発明は、第４の発明に記載のコンピュータープログラムを記録したコンピューター読み取り可能な記録媒体である。
【発明の効果】
【００１３】
本願発明によれば、
（１）投影台に情報操作指示の検知装置を設けずに、投影されたコンテンツに対して、情報操作をすることが可能である。
（２）閲覧者は道具を用いずに、指先で情報操作の指示を与えることが可能である。
従って、本発明によれば、閲覧者は投影されたコンテンツに対して、指先で指示するだけで、手軽に情報操作することができるという効果がある。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施の形態による指先操作型情報提供システム１の概要を説明する図である。（実施例１）
【図２】図２は、対話指示に基づくコンテンツ投影画面の例である。
【図３】図３は、指先操作型情報提供システム１の操作と処理の大まかな操作手順を説明する図である。
【図４】図４は、指先検出の例である。
【図５】図５は、（１）初期設定処理の詳細な流れを説明する図である。
【図６】図６は、投影範囲を設定する例を説明する図である。
【図７】図７は、（３）指先検出処理の詳細な流れを説明する図である。
【図８】図８は、二値化画像作成処理の例を説明する図である。
【図９】図９は、大津の手法を説明するである。
【図１０】図１０は、（３−６）指先の決定処理のフローチャートである。
【図１１】図１１は、情報処理装置１００の詳細な構成図である。
【図１２】図１２は、影の映り込みを説明する図である。（実施例２）
【図１３】図１３は、指先の微動を無視する処理を説明する図である。（実施例３）
【図１４】図１４は、指先の検出を説明する図である。（実施例４）
【発明を実施するための形態】
【００１５】
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
【実施例１】
【００１６】
図１は、本発明の実施の形態による指先操作型コンテンツ提供システム１の概要を説明する図である。
指先操作型コンテンツ提供システム１は、投影台４００と、赤外光源５００と、プロジェクター３００（＝投影機）と、対話操作装置１００と、から構成される。
対話操作装置１００は、既存のパーソナルコンピューターで、後述する専用プログラムを搭載したものである。
対話操作装置１００は、赤外カメラ１０６と投影機３００を接続する。
赤外光源５００は、赤外光を投影台４００に照射するＬＥＤ光源装置である。
赤外カメラ１０６は、赤外光による反射像を撮像する電子カメラである。
投影機３００は、対話操作装置１００が作成するコンテンツ投影画面データに基づく像を投影台４００に投影するプロジェクターである。
【００１７】
ここで、赤外光源５００と赤外カメラ１０６とを用いる理由は、赤外光で照射された閲覧者９００の指先は撮像するが、プロジェクター３００が、可視光にて投影台４００に投影した投影画像（＝コンテンツ投影画面）は撮像しないようにするためである。
【００１８】
図２は、コンテンツ投影画面４０３の例である。
図２の（ａ）は、コンテンツと解説文を表示したコンテンツ投影画面４０３の例である。
例示されたコンテンツ投影画面の意味は、指先で指示したコンテンツの解説文をコンテンツに重畳させて表示しているということである。
図２の（ｂ）は、コンテンツの部分拡大画像を含むコンテンツ投影画面４０３の例である。
例示されたコンテンツ投影画面の意味は、指先が乗ったコンテンツ部分を拡大した画像を、コンテンツに重畳させて表示しているということである。
【００１９】
次に、図３を用いて、指先操作型情報提供システム１の大まかな操作と情報処理の手順を説明する。
（１）《初期設定処理》システム管理者は、対話操作装置１００の赤外カメラが投影台４００を撮影して生成した投影台の撮影画像を用いて、撮影画像を透視変換処理する撮影画像透視変換行列関係式や、撮影画像の背景画像などを設定する初期設定処理を行う。（詳細は後述する）
（２）《コンテンツ投影処理》対話操作装置１００は、閲覧者に閲覧させるコンテンツ投影画面１０３を、投影機３００を用いて投影台４００に、投影する。
（３）《対話操作》閲覧者は、投影台４００に投影されたコンテンツ投影画面４０３に対して、指先を用いて、対話操作を行う。
（４）《指先検出処理》対話操作装置１００は、対話操作する閲覧者の指先を赤外カメラ１０６で撮影して、撮影画像から閲覧者の指先の位置や動作を検知する。ここで、閲覧者の指先動作を検知するためには、撮影画像の各フレームの指先位置を比較すればよい。すなわち、各フレームの指先位置の変化量を計測して、静止しているのか、移動しているのかを判定すればよい。
（５）《対話操作したコンテンツの投影処理》対話操作装置１００は、検知した指先の動作を指先動作判定条件（たとえば、指先の静止動作時間が０．５秒以上であれば指先静止動作など）で判定して、指先動作判定条件に応じた対話操作を行い、たとえば、選択したコンテンツの解説文表示や、選択したコンテンツの部分拡大画像表示などの閲覧者が所望する操作の結果を、投影機３００を用いて、投影台４００に投影する。
ここで、対話操作装置１００は、コンテンツの投影画面４０３の指先に相当する位置にカーソルを重畳してもよい。
（６）《コンテンツ閲覧》閲覧者は、投影台４００に投影されたコンテンツ投影画面４０３を閲覧する。
【００２０】
図４を用いて、閲覧者の指先について説明する。
図４の（ａ）は、手の撮影画像表示画面１０３の底辺１０３１から延びた手の指先を説明する例である。
表示画面の底辺から延びた手の撮影画像を画面１０３に表示した例が示されている。
例示されている撮影画像の意味は、底辺１０３１から延びた手の場合には、手の最上部１０３５を指先として検知していることを示している。
【００２１】
図４の（ｂ）は、コンテンツの投影画面の左辺１０３２から延びた手の指先を説明する例である。
表示画面の左辺から延びた手の撮影画像を画面１０３に表示した例が示されている。
例示されている指先の意味は、左辺１０３２から延びた手の場合には、手の最右部１０３６を指先として検知していることを示している。
【００２２】
図５と図６を用いて、（１）《初期設定処理》の詳細な流れを説明する
図５は、（１）《初期設定処理》の詳細な流れを説明する図である。
（１−１）《投影範囲指示》システム管理者は、対話操作装置１００の赤外カメラが投影台４００を撮影して生成した投影台の撮影画像を用いて、投影範囲としての四角形の４頂点座標を入力する。たとえば、システム管理者は、投影台の撮影画像を対話操作装置１００の表示部に表示させて、投影範囲の４頂点座標を、たとえば、十字カーソルをキーボードで操作して入力する。
【００２３】
（１−２）《座標変換行列の算出》対話操作装置１００は、システム管理者が入力した投影範囲指示を受け付けて、座標変換行列関係式（たとえば、座標変換行列関係式として、すでに数学的に分かっている下記の数式１）に対して、受け付けた投影範囲指示の４つの頂点座標値［Ｘpk 、Ｙpk ］（ｋ＝１、２，３、４）と、コンテンツ投影画面の４つの標準頂点座標値［Ｘmk、Ｙmk ］（ｋ＝１、２，３、４）（たとえば、［０、０］［０、１０２４］［７６８、０］［７６８、１０２４］）とを代入して、１２個の式を作成してこれらを解いて、座標変換行列の８つの行列要素Ｃij （ｉ，ｊ＝１、２，３）を算出して、撮影画像透視変換行列関係式（下記の数式２）を導出する。撮影画像透視変換行列関係式は、撮影画像の座標［Ｘp 、Ｙp ］とコンテンツ投影画面の座標［Ｘm、Ｙm ］とを透視変換する行列関係式である。
【数１】
ここで、ｘp は、撮影画像のＸ座標値である。ｙp は、撮影画像のＹ座標値である。
ｈは、カメラ原点と画像平面の距離を変数とする値である。
Ｘmは、コンテンツ投影画面のＸ座標値である。Ｙm は、コンテンツ投影画面のＹ座標値である。
Ｃijは、二次元画像透視変換関係式の行列要素である。ここで、ｉ，ｊ＝１、２，３である。
【数２】
ここで、Ｃa 、Ｃb 、・・、Ｃh は、算出した撮影画像透視変換関係式の行列要素である。
【００２４】
なお、撮影画像透視変換関係式の算出には、opencvの透視変換行列算出関数cvGetPerspectiveTransformを用いて、算出することができる。ここで、opencvとは、インテル（登録商標）が開発・公開したオープンソースのコンピュータビジョン向けライブラリーである。
【００２５】
ここで、図６を用いて、《投影範囲指示》の作業で用いる表示画面を説明する。
図６の（ａ）には、投影範囲の指示画面１０３１が、例示されている。例示された投影範囲の指示画面１０３１には、対話操作装置１００の赤外カメラ１０４で撮影した投影台４００の撮影画像が表示されている。
また、この投影範囲の指示画面１０３１には、投影範囲の４頂点ｐ、ｑ、ｒ、ｓが入力された様子が示されている。
このとき、投影範囲の４頂点ｐ、ｑ、ｒ、ｓの頂点角度は、必ずしも直角ではない。
図６の（ｂ）には、撮影画像の投影範囲を透視変換した画像の表示画面１０３２が、例示されている。
例示された透視変換画像の表示画面１０３２は、撮影画像透視変換関係式を用いて、撮影画像の投影範囲を透視変換したものである。
ここで、透視変換画像の表示画面１０３３の４頂点Ｐ、Ｑ、Ｒ、Ｓ（＝それぞれの座標が、［０、０］［０、１０２４］［７６８、０］［７６８、１０２４］に相当する）は、投影範囲の４頂点ｐ、ｑ、ｒ、ｓが、それぞれ、透視変換された点である。このとき、四角形領域の４頂点Ｐ、Ｑ、Ｒ、Ｓの頂点角度は、直角である。
【００２６】
図５に戻って、（１）《初期設定処理》の詳細な流れの説明を続ける。
（１−３）《背景画像抽出》対話操作装置１００は、投影台の撮影画像から、投影範囲の
画像を抽出して、背景画像とする。この背景画像を抽出するとき、投影範囲の画像に対して、導出した撮影画像透視変換行列関係式（＝数式２）を用いて、コンテンツ投影画面の座標に透視変換する。
【００２７】
図７から図９までを用いて、（４）《指先検出処理》の詳細な流れを説明する。
図７は、（４）《指先検出処理》の詳細な流れを説明する図である。
指先検出処理は、撮影画像の各フレームに対して行う。
（４−１）《撮影画像の透視変換処理》対話操作装置１００は、この導出した撮影画像透視変換行列関係式（＝数式２）を用いて、手の撮影画像をコンテンツ画面の座標系の画像に透視変換する。
（４−２）《背景除去》対話操作装置１００は、透視変換した手の撮影画像の画素の値から、透視変換した背景画像の画素の値を減算して、透視変換した撮影画像の背景画像除去処理をする。
（４−３）《撮影画像の二値化処理》対話操作装置１００は、背景画像除去処理済の透視変換した撮影画像に対して、大津の手法を適用して、閾値を算出して二値化処理して、二値化画像を生成する。
【００２８】
ここで、図９を用いて、大津の手法を説明する。大津の手法とは、濃淡画像の画素値ヒストグラムに対して、各画素値を仮のしきい値ｔによって、２つの領域に分けて、各領域内の分散 σ2a と、２つの領域間の分散 σ2b と、を計算し、領域内での分散と領域間の分散比を算出する関数（仮のしきい値ｔの関数）Ｗ（ｔ）＝ σ2a ／ σ2b が最小となるｔをしきい値とする手法である。
大津の手法を用いた画像二値化処理では、大津の手法に基づいて二値化閾値を算出し、OpenCVの二値化関数cvThresholdを用いて二値化画像を得ることができる。
【００２９】
なお、二値化処理において、大津の手法を用いることは、１つの例である。たとえば、他の値を閾値として用いてもよいし、複数の閾値を用いて、複数の二値化画像を生成するようにしてもよい。
【００３０】
図７に戻って、（４）《指先検出処理》の詳細な流れの説明を続ける。
（４−４）《距離画像作成処理》対話操作装置１００は、二値化画像の白画素から、黒画素への最短距離を求めて、距離に対応付けた画素値を有する画素で構成した距離画像を作成して、距離画像の最大画素値を保持する。
（４−５）《輪郭部画素検出処理》対話操作装置１００は、二値化画像の黒画素領域を端から走査して、４連結画素を用いる輪郭抽出アルゴリズムを用いて、黒画素を抽出して、抽出した黒画素を輪郭部画素とする。
ここで、４連結画素を用いる輪郭抽出アルゴリズムとは、二値化画像を端から走査して、検出した未追跡黒画素を始点の輪郭部画素として、この画素を中心にした４連結画素を反時計回りに追跡して黒画素を検出して輪郭部画素として、この画素を次の中心にして、４連結画素追跡により黒画素を検出して、始点に戻るまで繰り返えすものである。輪郭抽出アルゴリズムは、８連結画素を用いてもよい。
（４−６）《手形画像抽出処理》対話操作装置１００は、距離画像（＝輪郭部画素で囲まれた領域）の画素の輝度を、保持した最大輝度の値と比較して、一致すれば、その領域を閲覧者の手形画像として抽出する。
【００３１】
ここで、図８を用いて、《指先検出処理》の例を説明する。
図８の（ａ）には、二値化画像１９６１が例示されている。
例示された二値化画像１９６１は、大きな白画素領域１９６１１と、小さな白画素領域１９６１２を含む画像である。
図８の（ｂ）には、距離画像１９６２が例示されている。
例示された距離画像１９６２は、大きな白画素領域１９６１１に対応した距離画像１９６２１と、小さな白画素領域１９６１２に対応した距離画像１９６２２とを含む画像である。ここで、大きな白画素領域１９６１１に対応した距離画像１９６２１は、最大画素値を持つ画素１０３８を有する画像である。
図８の（ｃ）には、輪郭部画素が例示されている。
例示された輪郭部画素は、大きな白画素領域の輪郭部１９６３１と小さな白画素領域の輪郭部１９６３２とを形成する画素である。ここで、白画素領域の輪郭部１９６３１は、最大画素値を持つ画素１０３８に対応した画素１０３８１を有する。
図８の（ｄ）には、最大輪郭部が例示されている。
例示された最大輪郭部は、最大画素値を持つ距離画像１９６２１に対応した白画素領域の輪郭部１９６３１である。
【００３２】
図７に戻って、（４）《指先検出処理》の詳細な流れの説明を続ける。
（４−７）《指先判定処理》対話操作装置１００は、閲覧者の手形画像を用いて、指先判定処理をして、指先を判定する。（詳細は後述する）
（４−８）《指先位置算出》対話操作装置１００は、連続するフレームの指先座標を算出する。
（４−９）《指先静止検知処理》対話操作装置１００は、連続するフレームの指先座標を比較して指先移動距離を算出して、指先静止判定時間を定めた動作判定条件と照合して、指先静止判定時間中の指先移動距離がゼロであるか否かを判定する。指先静止判定時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する。
【００３３】
図１０は、指先判定処理のフローチャートである。
（１）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺（＝撮影画像枠）が、底辺１０３１であるか否かを判定する。手の撮影画像が接する辺が、下辺１０３１であれば、次のステップに進む。
手の撮影画像が接する辺が、底辺１０３１でなければ、ステップＳ１２０に進む。（ステップＳ１１０）
（２）対話操作装置１００は、手の最上部１０３５を指先と判定して「手が接する辺＝底辺」を保持して、終了する。（ステップＳ１１５）
（３）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、左辺１０３２であるか否かを判定する。手の撮影画像が接する辺が、左辺１０３２であれば、次のステップに進む。
手の撮影画像が接する辺が、左辺１０３２でなければ、ステップＳ１３０に進む。（ステップＳ１２０）
（４）対話操作装置１００は、手の最右部１０３６を指先と判定して「手が接する辺＝左辺」を保持して、終了する。（ステップＳ１２５）
（５）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、右辺であるか否かを判定する。手の撮影画像が接する辺が、右辺であれば、次のステップに進む。
手の撮影画像が接する辺が、右辺でなければ、ステップＳ１４０に進む。（ステップＳ１３０）
（６）対話操作装置１００は、手の最左部を指先と判定して「手が接する辺＝右辺」を保持して、終了する。（ステップＳ１３５）
（７）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、上辺であるか否かを判定する。手の撮影画像が接する辺が、上辺であれば、次のステップに進む。
手の撮影画像が接する辺が、上辺でなければ、ステップＳ１６０に進む。（ステップＳ１４０）
（６）対話操作装置１００は、手の最下部を指先と判定して「手が接する辺＝上辺」を保持して、終了する。（ステップＳ１４５）
（７）保持した手形が接する辺の値に応じて、指先の位置を以下のとおりに判定する。
・「手が接する辺＝底辺」であれば、手の最上部を指先と判定する、
・「手が接する辺＝左辺」であれば、手の最右部を指先と判定する、
・「手が接する辺＝右辺」であれば、手の最左部を指先と判定する、
・「手が接する辺＝上辺」であれば、手の最下部を指先と判定する、
終了する。
【００３４】
図１１は、対話操作装置１００の詳細な構成図である。
対話操作装置１００は、ＣＰＵ１０１と、表示部１０２と、キーボード１０３と、赤外カメラ部１０６と、投影機接続部１０７（＝投影機接続手段）と、ネットワーク通信部１０８と、記憶部１０９と専用プログラムとを備える。
ＣＰＵ１０１と、表示部１０２と、キーボード部１０３と、カメラ部１０６と、投影機接続部１０７と、ネットワーク通信部１０８と、記憶部１０９とは、ＢＵＳ１９９で接続される。
【００３５】
ＣＰＵ１０１は、中央演算装置である。
表示部１０２は、液晶表示装置や有機ＥＬ表示装置である。
投影機接続手段１０７は、プロジェクターアダプターである。
ネットワーク通信部１０８は、ＬＡＮアダプターである。
【００３６】
赤外カメラ部１０６は、赤外電子カメラである。
赤外カメラ部１０６は、赤外光源５００の赤外光が照射された閲覧者９００の手を撮像して、手の撮影画像を生成する。
【００３７】
記憶部１０９は、半導体メモリーや磁気メモリーである。
記憶部１０９は、表示画面保持領域１０９１と、初期設定情報格納領域１０９２と、コンテンツ格納領域１０９３と、を備えて、オペレーティングシステム１８５と、専用プログラムとを記憶する。
表示画面保持領域１０９１は、コンテンツ投影画面データ１９８を保持する。
初期設定情報格納領域１０９２は、撮影画像透視変換関係式１９３と背景画像データ１９５とを格納する。
コンテンツ格納領域１０９３は、コンテンツ投影画面データを作成するためのコンテンツ構成データ１９７およびコンテンツ素材データ１９２を格納する。
コンテンツ構成データ１９７は、コンテンツ全体の構成（たとえば、何ページから成っているかなど）と、コンテンツ素材データの使い方（たとえば、何ページのどの位置に、どの素材を配置するかなど）を現したデータである。
コンテンツ素材データ１９２は、写真やテキストのデータである。
【００３８】
オペレーティングシステム１８５は、対話操作装置１００のハードウェア（たとえば、表示部１０２と、キーボード１０３と、投影機接続部１０７と、ネットワーク通信部１０８と、記憶部１０９など）を管理・制御して、応用ソフトウエア（たとえば、専用プログラム）に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。
オペレーティングシステム１８５は、マウス左クリックエミュレート関数やカーソル表示エミュレート関数を含むマウス関数ライブラリー１９１を有する。
オペレーティングシステム１８５は、マウス左クリックエミュレート関数が発行するマウス左クリックのマウスイベント（＝入力イベント情報）を受け取って、一時記憶領域に保持する。このときにアクティブなプロセスは、一時記憶領域を参照して保持されたマウスイベントを読み出して、そのイベントに応じたプロセスの処理を行う。
【００３９】
このほかに、初期設定手段１１０と、指先検出手段１３０と、指先位置算出手段１４０と、指先静止検知手段１５０と、入力エミュレーションモジュール１５５と、表示画面作成手段１６０と、投影表示手段１７０と、備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ１０１に解釈・実行されることによって機能する。
【００４０】
初期設定手段１１０は、赤外カメラが投影台４００を撮影して生成した投影台の撮影画像の投影範囲の入力を受け付ける投影範囲指示機能と、
撮影画像の座標とコンテンツ投影画面の座標との透視変換の関係を表す撮影画像透視変換行列関係式を算出する座標変換行列算出機能と、
投影台の撮影画像から、投影範囲の画像を抽出して、背景画像とする背景画像抽出機能と、から構成される。
初期設定手段の詳細は、図５における（１）《初期設定処理》の詳細な流れを説明する項で述べた。
【００４１】
指先検出手段１３０は、撮像手段１０６が作成した閲覧者の手の撮影画像を透視変換撮影画像に透視変換する撮影画像透視変換機能と、
透視変換撮影画像から背景画像を除去する背景除去機能と、
背景画像を除去した透視変換撮影画像から二値化画像を生成する撮影画像二値化機能と、
二値化画像から距離画像を作成する距離画像作成機能と、
背景画像を除去した透視変換撮影画像から輪郭部画素を検出する輪郭部画素検出機能と、
距離画像と輪郭部画素とを用いて、手形画像を抽出する最大輪郭部抽出機能と、
手形画像が接するコンテンツ投影画面の辺の情報を用いて、指先を判定する指先判定機能と、
を備える。
【００４２】
指先検出手段１３０の詳細は、図７における（３）《指先検出処理》の詳細な流れを説明する項で述べた。
【００４３】
指先位置算出手段１４０は、指先の座標を算出する。
指先静止検知手段１５０は、連続するフレームの指先座標を用いて指先移動距離を算出して、所定の時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する。
【００４４】
入力エミュレーションモジュール１５５は、指先静止検知情報に基づいて、入力イベント情報を生成して、表示閲覧手段に引き渡す。
詳細には、入力エミュレーション手段１５５は、指先静止検知情報を受け付けて、マウス左クリックエミュレート関数を呼び出して、マウス左クリックエミュレート関数が発行するマウス左クリック情報に基づくマウスイベントを発行させるマウスクリック機能と、
指先座標を受け付けて、マウスカーソル関数を呼び出して、この指先座標カーソル表示エミュレート関数が発行するカーソル表示情報に基づくマウスイベントを発行させるカーソル表示機能と、
を備える。
【００４５】
表示閲覧手段１６０は、コンテンツ構成データ１９６を解釈して、コンテンツ素材データ１９２を用いてコンテンツ投影画面データ１９８を作成する。
また、表示閲覧手段１６０は、オペレーティングシステム１８５を通じて引き渡されたマウスイベントを受け付けて、適宜コンテンツ投影画面データを更新する。詳細には、表示閲覧手段１６０は、オペレーティングシステム１８５が一時記憶領域に保持したマウスイベントを読み出して、適宜コンテンツ投影画面データを更新する。（請求項１における入力エミュレーション手段は、入力エミュレーションモジュール１５５とオペレーティングシステム１８５との協調動作により実現される）
【００４６】
次に、影の誤抽出防止について、説明する。
投影台に閲覧者の手が無い状態（＝何も映っていない状態）にも関わらず、影の撮影画像を手の撮影画像と誤抽出することがあることが経験的に分かっているので、以下の処理を行う。
《撮影画像の二値化処理》対話操作装置１００は、背景画像除去処理済の透視変換した撮影画像に対して、濃淡画像の画素値ヒストグラムを、各画素値を仮のしきい値ｔとして、２つの領域に分けて、各領域内の分散（＝クラス内分散）σ2a と、２つの領域間の分散（＝クラス間分散）σ2b と、を計算し、領域内での分散と領域間の分散の和（＝全分散） を算出する関数（仮のしきい値ｔの関数）ｗ ＝ σ2a + σ2b が所定の値以上であれば、大津の手法を適用して、二値化画像を生成する。
【００４７】
図１２は、濃淡画像の画素値ヒストグラムの分散を説明する図である。
図１２の（ａ）は、何も映っていない状態の撮影画像の例である。
何も映っていない状態の撮影画像の画素値ヒストグラムの全分散は、小さいことを示している。
図１２の（ｂ）は、手が映っている状態の撮影画像の例である。
手が映っている状態の撮影画像の画素値ヒストグラムの全分散は、大きいことを示している。
【００４８】
次に、静止した指先の座標が微動変動することに対する対策を説明する。
閲覧者が指先を静止させたときに、手の撮影画像から算出する指先の座標は、指先があたかも微動しているかのように、微小に変動することが経験的に分かっているので、以下の処理を行う。
《指先微小変動判定処理》対話操作装置１００は、連続する各フレーム（＝撮影画像の静止画）から算出する指先の座標を用いて、指先の移動方向ベクトルを算出して、方向ベクトルの変動値が所定の条件（たとえば、方向ベクトルの変動角度θを用いて、方向ベクトルの変動値をｃｏｓθで定義して、所定の条件がθ＜２５°）を満たせば、指先の座標が微小変動したとして、最初のフレームの指先の座標を保持する。
【００４９】
図１３は、指先の微小変動を説明する図である。
移動する指先を撮影した画像の連続４フレームの各フレーム間の方向ベクトルν1、ν2、ν3、である場合には、方向ベクトルの変動値は、数式３のように表すことができる。
【数３】
図１３の（ａ）は、指先が移動しているときのｃｏｓθの例である。
指先が移動しているときの数式３の値は大きい。言い換えるとθの値は小さい。例えば、θが２５°未満である場合には、指先が移動しているときである。
図１３の（ｂ）は、指先が静止しているときのｃｏｓθの例である。
指先が静止しているときの数式３の値は小さい。言い換えるとθの値は大きい。例えば、θが２５°以上である場合には、指先が静止しているときである。
【００５０】
次に、手形画像がコンテンツ投影画面の辺に接しない場合の指先判定処理を説明する。
閲覧者の袖口が撮影できない場合には、手形画像がコンテンツ投影画面の辺に接しないので、指先判定処理は、以下のとおりに行う。
《指先判定処理》対話操作装置１００は、指先判定処理において、手形画像がコンテンツ投影画面の辺に接しない場合には、距離画像の最高輝度点を基準にして、保持した手形が接する辺の側の輪郭は探索しないで、指先を判定する。
図１４は、閲覧者の袖口が撮影できない手の撮影画像の例である。
例示された手の画像は、画面の左辺に閲覧者の袖口がかかり、手の撮影画像が左辺から離れている状態を示している。
閲覧者の手は、左辺から移動してきたので、距離画像の最高輝度点１０３８を基準にして、その左側の輪郭は探索しないで、指先を判定する。
【符号の説明】
【００５１】
１ 指先操作型コンテンツ提供システム
１００ 対話操作装置
１０３ 撮影画像表示画面
１０６ 赤外カメラ
１０７ 投影機接続手段
１１０ 初期設定手段
１３０ 指先検出手段
１４０ 指先位置算出手段
１５０ 指先静止検知手段
１５５ 入力エミュレーション手段
１６０ 表示閲覧手段
１７０ 投影表示手段
１９１ マウス関数ライブラリー
３００ プロジェクター、投影機
４００ 投影台
４０３ コンテンツ投影画面
５００ 赤外光源
９００ 閲覧者
【特許請求の範囲】
【請求項１】
赤外光源と、投影機と、投影台と、対話操作装置と、から構成される指先操作型コンテンツ提供システムにおいて、
前記対話操作装置は、
コンテンツ構成データおよびコンテンツ素材データを格納するコンテンツ格納領域と、
コンテンツ投影画面データを保持する表示画面保持領域と、
を備える記憶手段と、
投影台を撮像して、撮影画像を作成する赤外カメラと、
コンテンツ構成データを解釈して、コンテンツ投影画面データを作成する表示閲覧手段と、
撮影画像から閲覧者の指先を検知する指先検出手段と、
検出した指先の座標を算出する指先位置決定手段と、
連続するフレームの指先座標を用いて指先移動距離を算出して、所定の時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する指先静止検知手段と、
指先静止検知情報に基づいて、入力イベント情報を生成して、表示閲覧手段に引き渡す入力エミュレーション手段と、
を備え、
前記表示閲覧手段は、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新する、
ことを特徴とする対話操作装置であって、
前記投影機は、
コンテンツ投影画面データに基づく像を投影台に投影する、
投影機である
ことを特徴とする指先操作型コンテンツ提供システム。
【請求項２】
請求項１に記載の指先操作型コンテンツ提供システムにおいて、
前記指先検出手段は、
撮像手段が作成した撮影画像を透視変換撮影画像に透視変換する撮影画像透視変換機能と、
透視変換撮影画像から背景画像を除去する背景除去機能と、
背景画像を除去した透視変換撮影画像から、二値化画像を生成する撮影画像二値化機能と、
二値化画像から距離画像を作成する距離画像作成機能と、
背景画像を除去した透視変換撮影画像から輪郭部画素を検出する輪郭部画素検出機能と、
距離画像と輪郭部画素とを用いて、距離画像の最大輝度を有する画素を内包する輪郭部画素で囲まれた画像を手形画像として抽出する最大輪郭部抽出機能と、
手形画像が接するコンテンツ投影画面の辺の情報を用いて、指先を判定する指先判定機能と、
を備えることを特徴とする指先操作型コンテンツ提供システム。
【請求項３】
請求項１に記載の指先操作型コンテンツ提供システムにおいて、
前記指先位置決定手段は、
連続する各フレームの指先座標を用いて、指先の移動方向ベクトルを算出して、方向ベクトルの変動値が、所定の範囲であれば、最初のフレームの指先の座標を指先座標として用いる指先微小変動判定機能、
を備えることを特徴とする指先操作型コンテンツ提供システム。
【請求項４】
コンピューターに組込むことによって、コンピューターを請求項１または２に記載の指先操作型コンテンツ提供システムとして動作させるコンピュータープログラム。
【請求項５】
請求項４に記載のコンピュータープログラムを記録したコンピューター読み取り可能な記録媒体。
【請求項１】
赤外光源と、投影機と、投影台と、対話操作装置と、から構成される指先操作型コンテンツ提供システムにおいて、
前記対話操作装置は、
コンテンツ構成データおよびコンテンツ素材データを格納するコンテンツ格納領域と、
コンテンツ投影画面データを保持する表示画面保持領域と、
を備える記憶手段と、
投影台を撮像して、撮影画像を作成する赤外カメラと、
コンテンツ構成データを解釈して、コンテンツ投影画面データを作成する表示閲覧手段と、
撮影画像から閲覧者の指先を検知する指先検出手段と、
検出した指先の座標を算出する指先位置決定手段と、
連続するフレームの指先座標を用いて指先移動距離を算出して、所定の時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する指先静止検知手段と、
指先静止検知情報に基づいて、入力イベント情報を生成して、表示閲覧手段に引き渡す入力エミュレーション手段と、
を備え、
前記表示閲覧手段は、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新する、
ことを特徴とする対話操作装置であって、
前記投影機は、
コンテンツ投影画面データに基づく像を投影台に投影する、
投影機である
ことを特徴とする指先操作型コンテンツ提供システム。
【請求項２】
請求項１に記載の指先操作型コンテンツ提供システムにおいて、
前記指先検出手段は、
撮像手段が作成した撮影画像を透視変換撮影画像に透視変換する撮影画像透視変換機能と、
透視変換撮影画像から背景画像を除去する背景除去機能と、
背景画像を除去した透視変換撮影画像から、二値化画像を生成する撮影画像二値化機能と、
二値化画像から距離画像を作成する距離画像作成機能と、
背景画像を除去した透視変換撮影画像から輪郭部画素を検出する輪郭部画素検出機能と、
距離画像と輪郭部画素とを用いて、距離画像の最大輝度を有する画素を内包する輪郭部画素で囲まれた画像を手形画像として抽出する最大輪郭部抽出機能と、
手形画像が接するコンテンツ投影画面の辺の情報を用いて、指先を判定する指先判定機能と、
を備えることを特徴とする指先操作型コンテンツ提供システム。
【請求項３】
請求項１に記載の指先操作型コンテンツ提供システムにおいて、
前記指先位置決定手段は、
連続する各フレームの指先座標を用いて、指先の移動方向ベクトルを算出して、方向ベクトルの変動値が、所定の範囲であれば、最初のフレームの指先の座標を指先座標として用いる指先微小変動判定機能、
を備えることを特徴とする指先操作型コンテンツ提供システム。
【請求項４】
コンピューターに組込むことによって、コンピューターを請求項１または２に記載の指先操作型コンテンツ提供システムとして動作させるコンピュータープログラム。
【請求項５】
請求項４に記載のコンピュータープログラムを記録したコンピューター読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−２２９４５（Ｐ２０１１−２２９４５Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６９５８９（Ｐ２００９−１６９５８９）
【出願日】平成２１年７月１７日（２００９．７．１７）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１７日（２００９．７．１７）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]