画像表示装置
【課題】 実際の教室で行なわれているようなその場に適した視聴楽教材の画像表示を行える画像表示装置を提供する。
【解決手段】 判定部１６により、表示部１２に表示されたリトミック用データと撮像部１４で撮像された撮像画像データとから、体の部位及び動きの方向が判定され、それと共に、該体の部位、動きの方向、さらに動きのタイミングが比較されて、これらが同期しているか否かが判定される。そして指示部１８により、少なくとも動きのタイミングが同期すると判定される場合、表示されたリトミック用データの動作内容のプロパティが読み出され、関連性データが参照されて、そのプロパティと動作内容に関連性のある他のリトミック用データについて、次に読み出させて表示させる指示が表示部１２に出力される。
【解決手段】 判定部１６により、表示部１２に表示されたリトミック用データと撮像部１４で撮像された撮像画像データとから、体の部位及び動きの方向が判定され、それと共に、該体の部位、動きの方向、さらに動きのタイミングが比較されて、これらが同期しているか否かが判定される。そして指示部１８により、少なくとも動きのタイミングが同期すると判定される場合、表示されたリトミック用データの動作内容のプロパティが読み出され、関連性データが参照されて、そのプロパティと動作内容に関連性のある他のリトミック用データについて、次に読み出させて表示させる指示が表示部１２に出力される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、身体表現を豊かに行わせる画像表示装置及び画像表示用のコンピュータ・プログラムに関する。
【背景技術】
【０００２】
音楽を感じ身体表現を行なうリトミックが幼児教育に有効であるとの認識が浸透し、全国でリトミック教室が実施されている。リトミック教室では、レッスンを実施する先生がその日のレッスン生（子供）の状態を見ながら、適切な進行、演奏が行なわれている。
【０００３】
また、地域によってはリトミック教室が近くにない場合がある。このようにリトミックレッスンを受けたくても受けられない人の為に、ビデオテープやＤＶＤによる映像を通して、家庭で実施できるリトミック教材が提供されている。
【０００４】
参考までに、本発明者らによるリトミック関連技術の調査では、後述する特許文献１が調査結果としてあげられたが、例えば教材などを見ている視聴者の様子を何らかの反応が高い場合に撮像手段で撮像し、そのデータを記録媒体に記録することで、視聴者の様子を手軽に見られるようにするものが提案されている程度である。
【特許文献１】特開２００６−７４６２２
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、ビデオテープやＤＶＤなどの映像によるリトミック教材は再生順序が固定されており、実際の教室で行なわれているようなその場に適した進行、演奏を提供することは出来ないという問題があった。
【０００６】
本発明は、以上のような問題に鑑み創案されたもので、実際の教室で行なわれているようなその場に適した視聴楽教材の画像表示を行える装置を提供せんとするものである。
【０００７】
併せて、これらの装置をコンピュータ上に実現できる画像表示用のコンピュータ・プログラムについても、提案する。
【課題を解決するための手段】
【０００８】
そのため本発明に係る画像表示装置は、
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
表示された画像データと撮像された画像データとのうち、体の部位及び動きの方向を判定すると共に、該体の部位、動きの方向、さらに動きのタイミングを比較し、これらが同期しているか否かを判定する判定手段と、
少なくとも動きのタイミングが同期すると判定される場合、表示された画像データの動作内容のプロパティを読み出し、上記関連性データを参照して、そのプロパティと動作内容に関連性のある他の画像データにつき、次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
を有することを基本的特徴としている。
【０００９】
上記構成によれば、上記判定手段により、少なくとも動きのタイミングが同期すると判定される場合に、表示された画像データの動作内容のプロパティを読み出し、上記格納手段に格納された関連性データを参照して、上記指示手段により、そのプロパティと動作内容に関連性のある他の画像データについて、次に読み出させて表示させる指示が、上記表示手段に出力されることになる。
【００１０】
視聴楽対象者は、表示された画像データの学習教材としての内容に興味が有れば、当然、その表示画像に併せて、同じ動きをするはずであり、すなわち、少なくとも動きのタイミングが同期するはずであり（他の部位は場合により誤認識される場合もあり得る）、その場合に、その表示画像データと内容的に関連性のあるプロパティを有する画像データを表示するための指示を、上記指示手段が、出すことで、次に表示される画像データも、該視聴楽対象者の興味があるものが表示される可能性が高くなり、学習意欲を高めることになり、当然その学習内容の認知度・習熟度は向上する。
【００１１】
また、上述のように、視聴楽対象者は、表示された画像データの学習教材としての内容に興味が有れば、当然、その表示画像に併せて、同じ動きをするため、少なくとも動きのタイミングは同期するはずであるが、上記判定手段では、他の部位は、場合によって誤認識される場合もあり得る。その場合、上記判定手段で、少なくとも動きのタイミングが同期すると判定される場合には、撮像された画像データから判定された体の部位及び／又は動きの方向の判定結果を、表示された画像データの体の部位及び／又は動きの方向に合わせて、該判定手段自身で修正するようにすると良い。
【００１２】
さらに、そのような誤認識をなくし、表示された画像データと撮像された画像データとの同期がとれているか否かを精度良く判定するため（誤認識による判定精度の低下を防ぐため）に、視聴楽対象者に装着させる身体部位センサをさらに備えることで、上記判定手段における、少なくとも体の部位及び動きの方向の判定処理負荷を軽減すると良い。
【００１３】
上記撮像手段で撮像された画像データを、上記表示手段で表示される画像データと共に表示させると、自分達がリアルタイムでどのように動いているかが分かり、学習意欲をより高めることになる。
【００１４】
もちろん、上記判定手段では、各部位や動きの方向、動きのタイミングなどが同期していない場合は、視聴楽対象者にとり、表示された画像データの学習教材としての内容に興味がないとして、しばらくしたら、その表示画像データと内容的に関連性のない、或いは関連性の少ないプロパティを有する画像データを表示するための指示を、上記指示手段が出すことになり、次に表示される画像データは、これまで表示された画像データとは内容的に異なるものとなり、そこでまた視聴楽対象者の興味があるものが表示される可能性も出てくる。
【００１５】
他方、関連性があるといっても、動作内容に似たようなプロパティを有する画像データばかり流し続けると、視聴楽対象者は飽きてくるので、生成機会（チャンス）と、上記関連性データの関連性とに、ランダム性を与える乱数生成機能を上記指示手段に備え、該指示手段が次の読み出し及び表示に指示を与える画像データとして、不定期に、画像データ同士間の関連性が不連続になるようにすれば、似たような動作内容の画像データばかりが、流れることがなくなり、視聴楽対象者は、益々、興味を感じ、学習意欲が高まって、その学習内容の認知度・習熟度が高くなる。
【００１６】
他方、第２の観点に係る発明の画像表示装置の構成は、
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく第１の格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
撮像された画像データを一時的に記憶しておくバッファと、
撮像された画像データ間を比較し、これらの画像データ間の差異を差異データとして生成する比較手段と、
上記差異データ毎に予め蓄積された視聴楽対象者の予測動作のプロパティを格納しておく第２の格納手段と、
上記比較手段で生成された差異データを元に、該差異データに相当する予測動作プロパティが上記第２の格納手段に存在するか否かを検索すると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティを第１の格納手段の関連性データに突き合わせて、該予測動作プロパティと関連のあるプロパティを有する画像データにつき、第１の格納手段から次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
を有することを特徴としている。
【００１７】
上記構成では、比較手段で生成された、撮像された画像データ間の差異データを元に、指示手段によって、該差異データに相当する予測動作プロパティが上記第２の格納手段に存在するか否かを検索すると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティを第１の格納手段の関連性データに突き合わせて、該予測動作プロパティと関連のあるプロパティを有する画像データについて、第１の格納手段から次に読み出させて表示させる指示が、上記表示手段に出力されることになる。
【００１８】
上記第２の格納手段に予め蓄積された予測動作プロパティは、差異データに基づく、視聴楽対象者の予測動作の特徴を示すものであるので、常に、撮像された画像データ間の差異データを比較手段で取り続けていれば、自ずと、視聴楽対象者の動作が予測される。例えば、画像データが静止画像であっても、人の輪郭データをデフォルトで持っていれば、それから人物の有無が分かり、また目の位置や口端の位置及び目の周辺の皺などのデータをデフォルトで持っていれば、表情の解析などが可能である。さらに画像データが動画画像であれば、差異データに変化があるか否かによって、画像に変化があるか否かが判定され、変化が有れば、撮像手段の前の視聴楽対象者が動いていると判断できる。変化が少なければ、動きが少ない、又は撮像手段の前に視聴楽対象者がいないといった情報を得ることができる。これらの画像データに所定のパラメータによる重み付けを行って、総合評価を行い、視聴楽対象者の動作を予測するようにしても良い。例えば、笑いながら激しく動いている、楽しそうに画像を見ている、画像を見ないで動いている、撮像手段の前に居ないなどの動作や状態を、上記指示手段において自動的に予測・判定できることになる。
【００１９】
さらに、以下に示す第３乃至第４の観点の発明の構成は、上記第１乃至第２の観点の発明の構成を、コンピュータに実行させるために、該コンピュータで実行可能なプログラム自身を規定している。すなわち、上述した課題を解決するための構成として、上記各手段を、コンピュータの構成を利用することで実現する、該コンピュータで読み込まれて実行可能なプログラムである。この場合、コンピュータとは中央演算処理装置の構成を含んだ汎用的なコンピュータの構成の他、特定の処理に向けられた専用機などを含むものであっても良く、中央演算処理装置の構成を伴うものであれば特に限定はない。
【００２０】
上記各手段を実現させるためのプログラムが該コンピュータに読み出されると、第１観点の発明の構成として規定された各機能実現手段と同様な機能実現手段が達成されることになる。
【００２１】
より具体的構成は、
コンピュータに読み込まれて実行されることで、該コンピュータを、
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
表示された画像データと撮像された画像データとのうち、体の部位及び動きの方向を判定すると共に、該体の部位、動きの方向、さらに動きのタイミングを比較し、これらが同期しているか否かを判定する判定手段と、
少なくとも動きのタイミングが同期すると判定される場合、表示された画像データの動作内容のプロパティを読み出し、上記関連性データを参照して、そのプロパティと動作内容に関連性のある他の画像データにつき、次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
して機能させることを特徴とする画像表示用プログラムである。
【００２２】
もちろん、上記画像表示用プログラムの構成でも、上記判定手段で、少なくとも動きのタイミングが同期すると判定される場合に、撮像された画像データから判定された体の部位及び／又は動きの方向の判定結果を、表示された画像データの体の部位及び／又は動きの方向に合わせて、該判定手段自身で修正するようにプログラムしておくこともできる。
【００２３】
また、視聴楽対象者に装着させる身体部位センサを上記コンピュータにさらに接続することで、上記判定手段における、少なくとも体の部位及び動きの方向の判定処理負荷を軽減することもできる。
【００２４】
さらに上記撮像手段で撮像された画像データを、上記表示手段で表示される画像データと共に表示させることも可能である。
【００２５】
加えて、生成機会と、上記関連性データの関連性とに、ランダム性を与える乱数生成機能を上記指示手段に備え、該指示手段が次の読み出し及び表示に指示を与える画像データとして、不定期に、画像データ同士間の関連性が不連続になるようにすることもできる。
【００２６】
さらに、第４の観点の発明の構成は、上記第２の観点の発明の構成を、コンピュータに実行させるために、該コンピュータで実行可能なプログラム自身を規定している。すなわち、コンピュータに上記各手段を実現させるためのプログラムが該コンピュータに読み出されると、第２の観点の発明の構成として規定された各機能実現手段と同様な機能実現手段が達成されることになる。
【００２７】
より具体的構成は、
コンピュータに読み込まれて実行されることで、該コンピュータを、
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく第１の格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
撮像された画像データを一時的に記憶しておくバッファと、
撮像された画像データ間を比較し、これらの画像データ間の差異を差異データとして生成する比較手段と、
上記差異データ毎に予め蓄積された視聴楽対象者の予測動作のプロパティを格納しておく第２の格納手段と、
上記比較手段で生成された差異データを元に、該差異データに相当する予測動作プロパティが上記第２の格納手段に存在するか否かを検索すると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティを第１の格納手段の関連性データに突き合わせて、該予測動作プロパティと関連のあるプロパティを有する画像データにつき、第１の格納手段から次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
として機能させることを特徴とする画像表示用プログラムである。
【発明の効果】
【００２８】
本発明の画像表示装置及び画像表示用プログラムによれば、実際の教室で行なわれているようなその場に適した視聴楽教材の画像表示を行えるという優れた効果を奏し得る。
【００２９】
特に、第１及び第３の観点の発明構成によれば、視聴楽対象者は、表示された画像データの学習教材としての内容に興味が有れば、当然、その表示画像に併せて、同じ動きをするはずであり、少なくとも動きのタイミングが同期するはずである。その場合に、その表示画像データと内容的に関連性のあるプロパティを有する画像データを表示するための指示を、上記指示手段が、出すことで、次に表示される画像データも、該視聴楽対象者の興味があるものが表示される可能性が高くなり、学習意欲を高めることになり、当然その学習内容の認知度・習熟度は向上する。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態を図示例と共に説明する。
【実施例１】
【００３１】
図１〜図７は、リトミックプログラムが読み込まれて、パソコン１００において実行されることで、構成される、本発明の望ましい実施形態構成を示している。そのうち、図１は、リトミック装置となる本発明に係る画像表示装置の構成が実現されるパソコン１００と、その側に立った視聴楽対象者との使用状態を示す説明図である。
【００３２】
該パソコン１００は、通常の構成からなり、ここでは、Ｗｅｂカメラで構成される撮像部１４が設けられると共に、後述する表示部１２となるディスプレイの他、パソコン１００に通常備えられているＤＶＤ−ＲＯＭドライブ１１８、キーボード１２０、マウス１２２及びサウンドシステム１２４のスピーカが示されている。
【００３３】
本構成では、パソコン１００の後述するＤＶＤ−ＲＯＭドライブ１１８に、ＤＶＤ−ＲＯＭ１１８ａを入れて、それに読み込ませ、実行された場合に、該パソコン１００が、本発明のリトミック装置として利用可能なプログラムが、該ＤＶＤ−ＲＯＭ１１８ａに格納されている。従って、このＤＶＤ−ＲＯＭ１１８ａを上記ＤＶＤ−ＲＯＭドライブ１１８に読み込ませて実行させ、パソコン１００上に、本発明のリトミック装置が実現されることになる。
【００３４】
図２は、後述するＩ／Ｏインターフェース１１２に、上記Ｗｅｂカメラで構成される撮像部１４が接続された状態の、上記パソコン１００の回路概要図である。同図に示すように、本パソコン１００は、システムバス１０２を介して、ＣＰＵ１０４、ＲＯＭ１０６、ＲＡＭ１０８、画像制御部１１０、Ｉ／Ｏインターフェース１１２及びドライブインターフェース１１４がつながっており、該システムバス１０２を介して、夫々のデバイスに制御信号、データの入出力がなされることになる。
【００３５】
また上記Ｉ／Ｏインターフェース１１２を介して、システムバス１０２に、キーボード１２０、マウス１２２、サウンドシステム１２４及び後述する撮像部１４がつながっており、これらのデバイスとシステムバス１０２との間で、制御信号やデータの入出力がなされることになる。
【００３６】
さらに、上記ドライブインターフェース１１４を介して、システムバス１０２に、ハードディスクドライブ（ＨＤＤ）１１６及びＤＶＤ−ＲＯＭドライブ１１８が接続されており、これらのデバイスとシステムバス１０２との間で、制御信号やデータの入出力がなされることになる。
【００３７】
ＣＰＵ１０４は、ＤＶＤ−ＲＯＭドライブ１１８により上記ＤＶＤ−ＲＯＭ１１８ａから読み込まれ、ハードディスクドライブ１１６乃至ＲＡＭ１０８に格納される上記リトミックプログラムに基づき、リトミック装置全体の制御を行う中央演算処理装置である。また後述する判定部１６及び指示部１８の構成は、上記プログラムが稼働した該ＣＰＵ１０４によって構成されることになる。
【００３８】
ＲＯＭ１０６は、本パソコン１００のＢＩＯＳなどが記憶されている格納領域である。
【００３９】
ＲＡＭ１０８は、本プログラムの格納エリアの他、ワークエリア、種々の係数、パラメータ等の、一時的な記憶領域等（後述するように、positionFlagやmoveFlag等も設定される）として使用される。後述する撮像部１４から送られてくる撮像画像データ乃至その一部を記憶しておく構成としても使用される。
【００４０】
画像制御部１１０は、画像データバッファを有しており（上記ＲＡＭ１０８上に設けても良い）、ＣＰＵ１０４の指令により、必要な画像処理を行って、その結果をディスプレイたる表示部１２に出力する。該表示部１２は、ＣＰＵ１０４の指令に基づき、該画像制御部１１０で処理された画像データを、映像情報として表示する。
【００４１】
上記デバイスのうち撮像部１４は、本実施例構成では、通常Ｗｅｂカメラなどとして使用されるＣＭＯＳやＣＣＤなどの撮像素子で映像を捉え電気信号に変換する構成であり、該信号はＩ／Ｏインターフェース１１２を介して、システムバス１０２に送られる。
【００４２】
上述のように、ハードディスクドライブ１１６は、上記リトミックプログラムの読み込み及びその実行によって、該プログラム自身と必要なデータ等を格納する。該ハードディスクドライブ１１６に格納される必要なデータは、他に、上記プログラムと共にＤＶＤ−ＲＯＭ１１８ａから読み出される楽音再生のためのリトミック用データ（本実施例では後述するようにリトミック画像データ中に含まれているものとする）や表示部１２の動画再生のためのリトミック用データなどがあり、後述するように、該ハードディスクドライブ１１６は、本実施例の格納部１０を構成することになる。
【００４３】
上記デバイスのうちＤＶＤ−ＲＯＭドライブ１１８は、リトミックプログラムが格納されたＤＶＤ−ＲＯＭ１１８ａから、該プログラムやデータなどを読み出す。そのプログラムやデータなどは、ハードディスクドライブ１１６に格納され、またメインとなるプログラムは上記ＲＡＭ１０８上に格納され、ＣＰＵ１０４により実行される。もちろん、ＤＶＤ−ＲＯＭ乃至ＤＶＤ−ＲＯＭドライブの組み合わせの構成だけではなく、ＣＤ−ＲＯＭ及びＣＤ−ＲＯＭドライブの組み合わせの構成でも良い。
【００４４】
また上記サウンドシステム１２４は、後述するように、リトミック用データ中の楽音再生のためのデータを再生する構成であり、たとえば楽曲データや音声データなどに対し、Ｄ／Ａ変換処理などが行われ、さらにアンプ構成が備えられていて増幅処理がなされ、パソコン１００に備えられたスピーカ（図１参照）から、そのリトミック用の楽音や音声が再生されることになる。
【００４５】
本実施形態に係るリトミックプログラムを、パソコン１００（ＲＡＭ１０８及びハードディスクドライブ１１６）に読み込ませて、（ＣＰＵ１０４に）実行させることで、図３に示すように、格納部１０と、表示部１２と、撮像部１４と、判定部１６と、指示部１８とを備えた構成となる。
【００４６】
上記格納部１０は、上述のように、基本的にハードディスクドライブ１１６で構成され、動作内容のプロパティを有するリトミック用データ（楽音・音声データを含む）と、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとが格納される。また、必要に応じてＤＶＤ−ＲＯＭドライブ１１８からＤＶＤ−ＲＯＭ１１８ａにアクセスして先読みされた上記種類のデータが、上記ハードディスクドライブ１１６に格納されることで構成されることもある。
【００４７】
上記表示部１２は、上述のように、ＣＰＵ１０４の指令に基づいて画像制御部１１０で表示制御がなされて出力するパソコン１００のディスプレイで構成されており、ＣＰＵ１０４からの読み出しアドレスに基づいて、格納部１０から、画像データを読み出して表示する機能を有している。
【００４８】
上記撮像部１４は、上述のように、撮像素子などを有するＷｅｂカメラなどで構成され、リトミック視聴楽対象者の画像を撮像する機能を有している。
【００４９】
上記判定部１６は、上述のように、ＣＰＵ１０４及び該ＣＰＵ１０４をリトミック用に作動させる実行中のプログラムで構成されており、上記表示部１２で表示された画像データと、上記撮像部１４で撮像された画像データとのうち、リトミック表示画像と撮像者画像の、体の部位及び動きの方向を判定する画像解析機能を有すると共に、該体の部位、動きの方向、さらに動きのタイミングを比較し、これらが同期しているか否かを判定するシンクロナイズ判定機能を有している。
【００５０】
上記指示部１８は、同じく、上記ＣＰＵ１０４及び該ＣＰＵ１０４をリトミック用に作動させる実行中のプログラムで構成されており、上記判定部１６において、少なくとも動きのタイミングが同期すると判定される場合、表示されたリトミック用データの動作内容のプロパティを抽出し、それが上記格納部１０に格納された他のリトミック用データ毎のプロパティと同種のものが有るか否かを検索する、すなわち、上記関連性データを参照して、抽出されたプロパティと同種のプロパティを有する（動作内容に関連性のある）他のリトミック用データを検索し、そのようなリトミック用データにつき、その読み出しアドレスを抽出しておいて、現在表示されているリトミック用データの表示終了後、上記表示部１２に対し、次にそのデータを読み出させ、表示させる指示を、表示部１２に出力する機能を有している。
【００５１】
図４は、上記本実施例構成で実施される自動リトミック再生処理のメインフローを示すフローチャートである。リトミックプログラムが読み出されて、パソコン１００で実行されると、同図に示すように、まず、パソコン１００の各デバイスの初期化処理が実行される（ステップＳ１００）。
【００５２】
そして、リトミック用の選択画面が表示部１２に表示され（ステップＳ１０２）、操作する者が適当なリトミック用データを選択する。すると上記格納部１０から、選択されたリトミック用データ（図では表示画像データと記されている）の読み出しアドレスが取得される（ステップＳ１０４）。
【００５３】
その読み出しアドレスに従って、リトミック用データが読み出され（ステップＳ１０６）、表示部１２にリトミック画像が表示再生される（ステップＳ１０８）と共に、そのデータは、上記判定部１６にも送られる。
【００５４】
さらに、パソコン１００の側に立った視聴楽対象者が、撮像部１４により撮像され、撮像画像データが該撮像部１４から判定部１６に送られる（ステップＳ１１０）。
【００５５】
判定部１６の画像解析機能により、送られてきた表示されたリトミック用データと撮像画像データから、リトミック表示画像と撮像者画像の、体の部位及び動きの方向が認識される（ステップＳ１１２）。その認識結果に基づき、判定部１６のシンクロナイズ判定機能により、該体の部位、動きの方向、さらに動きのタイミングが比較され、これらが同期しているか否かが判定される（ステップＳ１１４）。
【００５６】
上記判定部１６において、表示リトミック用データと撮像画像データとの上記比較項目が一致しているか否かがチェックされる（ステップＳ１１６）。ここでは、後述する図６のフローチャートに示すように、少なくとも動きのタイミングが一致していれば、体の部位の認識や動きの方向の認識が違っている場合も、誤認識があるとして、認識の訂正を行う。
【００５７】
そして、表示リトミック用データと撮像画像データとの比較項目が一致していなければ（ステップＳ１１６；Ｎ）、後述するステップＳ１２８に移行し、関連性のない新たな表示画像データのアドレスが取得された（ステップＳ１２８）後、これまで表示されているリトミック用データについて、最後の読み出しアドレスまでの再生が終了したか否かがチェックされ（ステップＳ１３０）、終了していない場合（ステップＳ１３０；Ｎ）、上記ステップＳ１０８に復帰し、そのリトミック用データの再生処理を行う。
【００５８】
反対に最後の読み出しアドレスまでの再生が終了した場合（ステップＳ１３０；Ｙ）、上記ステップＳ１０６に復帰して、これまでの映像とは関連性のない新たなリトミック用データの読み込み処理に移行する（ステップＳ１０６）。
【００５９】
一方、上記ステップＳ１１６で、表示リトミック用データと撮像画像データとの比較項目が一致していれば（ステップＳ１１６；Ｙ）、リトミック用データから動作内容のプロパティ（例えば腕を上に上げる動作など）が読み出され（ステップＳ１１８）、上記関連性データを参照して（例えば上記プロパティ中に「腕を上に上げる動作」が含まれているならば、関連性データとしては「体を伸ばす動き」が相当し、この「体を伸ばす動き」の関連性データの元には、「腕を上に上げる動作」の他に、「足を伸ばす動作」、「背骨を伸ばす動作」などが関連性のあるプロパティとして紐づけられている）、上記指示部１８により、プロパティにおいて動作内容に関連性のある他のリトミック用データが、格納部１０中から検索される（ステップＳ１２０）。
【００６０】
その検索結果において、関連性のあるリトミック用データが有るか否かがチェックされ（ステップＳ１２２）、そのようなデータが有れば（ステップＳ１２２；Ｙ）、そのリトミック用データの読み出しアドレスが取得される（ステップＳ１２４）。
【００６１】
そしてこれまで表示されているリトミック用データについて、最後の読み出しアドレスまでの再生が終了したか否かがチェックされ（ステップＳ１２６）、終了していない場合（ステップＳ１２６；Ｎ）、上記ステップＳ１０８に復帰し、そのリトミック用データの再生処理を行う。
【００６２】
反対に最後の読み出しアドレスまでの再生が終了した場合（ステップＳ１２６；Ｙ）、上記ステップＳ１０６に復帰して、リトミック用データの新たな読み出しアドレスに基づき、新たなリトミック用データが読み出される（ステップＳ１０６）。以後同様な処理を行う。
【００６３】
上記ステップＳ１２２に戻って、反対に関連性のあるリトミック用データがなければ（ステップＳ１２２；Ｎ）、上述のように、関連性のない新たな表示画像データのアドレスが取得された（ステップＳ１２８）後、これまで表示されているリトミック用データについて、最後の読み出しアドレスまでの再生が終了したか否かがチェックされ（ステップＳ１３０）、終了していない場合（ステップＳ１３０；Ｎ）、上記ステップＳ１０８に復帰し、そのリトミック用データの再生処理を行う。
【００６４】
反対に最後の読み出しアドレスまでの再生が終了した場合（ステップＳ１３０；Ｙ）、上記ステップＳ１０６に復帰して、これまでの映像とは関連性のない新たなリトミック用データの読み込み処理に移行する（ステップＳ１０６）。
【００６５】
図５は、上記図４のステップＳ１０２の選択画面設定において表示される、ステップＳ１１６で２つのデータを比較処理する際の動作検出設定画面構成を示しており、また図６は、同じく図４のステップＳ１１４に係る両画像データの比較判定処理の処理フローを示すフローチャートである。
【００６６】
上述のように、表示されるリトミック用データと撮像画像データとの一致比較判定の際、動作検出に関しては必ず一致するか否かの判定を行っており、図５の動作検出設定画面では、タイミングについては常にＯＮに設定されている。
【００６７】
その他の体の部位及び動きの方向の判定については、検出するか否かを、視聴楽対象者が任意に設定できる構成としている。「体の部位」の箇所にチェックが入っていれば、ＲＡＭ１０８上に、positionFlagが立ち（＝１）、また「動きの方向」の箇所にチェックが入っていれば、ＲＡＭ１０８上に、moveFlagが立つ（＝１）ことになる。デフォルトでは、２つとも検出しない設定になっている。
【００６８】
また、上記体の部位の一致判定と動きの方向の一致判定が行われる場合に、一致しない時は、後述する図６のフローチャートから明らかなように、一致するまで戻ってこれなくなるので、ループの間にタイムアウト処理が入ることになる。
【００６９】
図６の比較判定処理フローにつき、従前の両データの体の部位及び動きの方向の認識結果を基に、該体の部位及び動きの方向の如何を問わず、判定部１６のシンクロナイズ判定機能により、少なくとも動きのタイミングが一致しているか否かがチェックされる（ステップＳ２００）。
【００７０】
動きのタイミングが一致していなければ（ステップＳ２００；Ｎ）、両データの判定結果は不一致（ｆａｕｌｔ）として（ステップＳ２２０）、処理を終了する。
【００７１】
反対に動きのタイミングが一致していれば（ステップＳ２００；Ｙ）、上記ＲＡＭ１０８上のpositionFlagが立っているか否かがチェックされ（ステップＳ２０２）、positionFlagが立っていなければ（ステップＳ２０２；Ｎ）、後述するステップＳ２０４の体の部位の一致の判定処理はジャンプされ、後述するステップＳ２１０の判定処理に移行する。
【００７２】
上記フラグチェックで、positionFlagが立っていれば（ステップＳ２０２；Ｙ）、両データの体の部位が一致しているか否かが、上記判定部１６のシンクロナイズ判定機能により、チェックされる（ステップＳ２０４）。
【００７３】
両データの体の部位が一致していなければ（ステップＳ２０４；Ｎ）、判定部１６の画像解析機能における体の部位の認識が誤っていたとして、認識の訂正が行われる（ステップＳ２０６）。この時、体の部位の一致判定がいつまでも一致しない場合、ループして何度も繰り返され、応答性が悪くなる。従って、上述のように、ループの間にタイムアウト処理を入れ、一定の時間内に体の部位の一致が判定できない場合は、タイムアウト（デフォルトで○○secと設定されている）として（ステップＳ２０８；Ｙ）、両データの判定結果は不一致（ｆａｕｌｔ）とし（ステップＳ２２０）、処理を終了する。
【００７４】
反対にタイムアウトにならない限り（ステップＳ２０８；Ｎ）、再びステップＳ２０４の最初に戻り、両データの体の部位のチェックがなされる（ステップＳ２０４）。
【００７５】
上記ステップＳ２０４において、両データの体の部位が一致していれば（ステップＳ２０４；Ｙ）、上記ＲＡＭ１０８上のmoveFlagが立っているか否かがチェックされ（ステップＳ２１０）、moveFlagが立っていなければ（ステップＳ２１０；Ｎ）、後述するステップＳ２１２の動きの方向の一致の判定処理はジャンプされ、後述するステップＳ２１８の判定結果アウトプット処理に移行する。
【００７６】
上記フラグチェックで、moveFlagが立っていれば（ステップＳ２１０；Ｙ）、次に両データにおけるそれぞれの体の部位の動きの方向が一致しているか否かが、上記判定部１６のシンクロナイズ判定機能により、チェックされる（ステップＳ２１２）。
【００７７】
両データのそれぞれの体の部位の動きの方向が一致していなければ（ステップＳ２１２；Ｎ）、判定部１６の画像解析機能における体の部位の動きの方向の認識が誤っていたとして、認識の訂正が行われる（ステップＳ２１４）。
【００７８】
この時、動きの方向の一致判定がいつまでも一致しない場合、ループして何度も繰り返され、応答性が悪くなる。従って、上述のように、ループの間にタイムアウト処理を入れ、一定の時間内に体の部位の一致が判定できない場合は、タイムアウトとして（ステップＳ２１６；Ｙ）、両データの判定結果は不一致（ｆａｕｌｔ）とし（ステップＳ２２０）、処理を終了する。
【００７９】
反対にタイムアウトにならない限り（ステップＳ２１６；Ｎ）、再びステップＳ２１２の最初に戻り、両データの動きの方向のチェックがなされる（ステップＳ２１２）。
【００８０】
上記ステップＳ２１２において、両データの動きの方向が一致していれば（ステップＳ２１２；Ｙ）、両データの一致（ｔｒｕｅ）とし（ステップＳ２１８）、処理を終了する。
【００８１】
このように、上記判定部１６において、表示リトミック用データと撮像画像データとの上記比較項目が一致しているか否かがチェックされるが、ここでは、少なくとも動きのタイミングが一致していれば、体の部位の認識や動きの方向の認識が違っている場合も、誤認識があるとして、認識の訂正を行っている。
【００８２】
以上の実施例構成によれば、上記判定部１６により、少なくとも動きのタイミングが同期すると判定される場合に、表示されたリトミック用データの動作内容のプロパティを読み出し、上記格納部１０に格納された関連性データを参照して、上記指示部１８により、そのプロパティと動作内容に関連性のある他のリトミック用データについて、次に読み出させて表示させる指示が、上記表示部１２に出力されることになる。
【００８３】
視聴楽対象者は、表示されたリトミック用データの学習教材としての内容に興味が有れば、当然、その表示画像に併せて、同じ動きをするはずであり、すなわち、少なくとも動きのタイミングが同期するはずであり（他の部位は場合により誤認識される場合もあり得る）、その場合に、その表示画像のリトミック用データと内容的に関連性のあるプロパティを有する他のリトミック用データを表示するための指示を、上記指示部１８が、出すことで、次に表示されるリトミック用データも、該視聴楽対象者の興味があるものが表示される可能性が高くなり、学習意欲を高めることになり、当然その学習内容の認知度・習熟度は向上する。
【００８４】
また、上述のように、視聴楽対象者は、表示されたリトミック用データの学習教材としての内容に興味が有れば、当然、その表示画像に併せて、同じ動きをするため、少なくとも動きのタイミングは同期するはずであるが、上記判定部１６では、他の部位は、場合によって誤認識される場合もあり得る。その場合、上記判定部１６で、少なくとも動きのタイミングが同期すると判定される場合には、撮像された画像データから判定された体の部位及び／又は動きの方向の判定結果を、表示されたリトミック用データの体の部位及び／又は動きの方向に合わせて、該判定部１６自身で修正することができる。
【００８５】
さらに、そのような誤認識をなくし、表示されたリトミック用データと撮像された画像データとの同期がとれているか否かを精度良く判定するため（誤認識による判定精度の低下を防ぐため）に、視聴楽対象者に装着させるグローブなどの身体部位センサをさらに備えることで、上記判定部１６における、少なくとも体の部位及び動きの方向の判定処理負荷を軽減することもできる。
【００８６】
上記撮像部１４で撮像された画像データを、図７に示すように、上記表示部１２で表示される画像データと共に表示させると、自分達がリアルタイムでどのように動いているかが分かり、学習意欲をより高めることになる。
【００８７】
もちろん、上記判定部１６では、各部位や動きの方向、動きのタイミングなどが同期していない場合は、視聴楽対象者にとり、表示されたリトミック用データの学習教材としての内容に興味がないとして、しばらくしたら、その表示されたリトミック用データと動きなどにおいて関連性の少ないプロパティを有するリトミック用データを表示するための指示を、上記指示部１８が出すことになり、次に表示されるリトミック用データは、これまで表示されたリトミック用データとはリトミックの動きとしては内容的に異なるものとなり、そこでまた視聴楽対象者の興味があるものが表示される可能性も出てくる。
【００８８】
他方、関連性があるといっても、動作内容に似たようなプロパティを有するリトミック用データばかり流し続けると、視聴楽対象者は飽きてくるので、生成機会（チャンス）と、上記関連性データの関連性とに、ランダム性を与える乱数生成機能を上記指示部１８に備え、該指示部１８が次の読み出し及び表示に指示を与えるリトミック用データとして、不定期に、リトミック用データ同士間の関連性が不連続になるようにすれば、似たような動作内容のリトミック用データばかりが、流れることがなくなり、視聴楽対象者は、益々、興味を感じ、学習意欲が高まって、その学習内容の認知度・習熟度が高くなる。
【実施例２】
【００８９】
図８及び図９は、リトミックプログラムが読み込まれて、上記実施例１と同じパソコン１００において実行されることで、構成される、本発明の望ましい他の実施形態構成を示している。本実施例で使用されるパソコン１００の構成は、上記実施例１と同様であるので、その詳細は省略する。
【００９０】
本実施形態に係るリトミックプログラムを、パソコン１００（ＲＡＭ１０８及びハードディスクドライブ１１６）に読み込ませて、（ＣＰＵ１０４に）実行させることで、図７に示すように、第１格納部１０と、表示部１２と、撮像部１４と、バッファ２０と、比較部２２と、第２格納部２４と、指示部１８ａとを備えた構成となる。
【００９１】
上記第１格納部１０は、上記実施例１の格納部１０と、さらに表示部１２と、撮像部１４は、同じく実施例１の表示部１２と、撮像部１４の構成と全く同じであるので、その説明は省略する。
【００９２】
上記バッファ２０は、上記ＲＡＭ１０８で構成されており、撮像された画像データを一時的に記憶しておく機能を有する。これは、後に説明するように、撮像された視聴楽対象者の時系列的な撮像データから、該視聴楽対象者がリトミック運動によって、身体のどこかの部位に変化が起こっているかを、比較部２２において、差異データとして生成するためである。
【００９３】
上記比較部２２は、上記ＣＰＵ１０４及び該ＣＰＵ１０４をリトミック用に作動させる実行中のプログラムで構成されており、この構成によって、撮像された視聴楽対象者の時系列的な撮像データから、該視聴楽対象者がリトミック運動によって、身体のどこかの部位に変化が起こっているかを、比較部２２において、差異データとして生成する機能を有している。
【００９４】
上記第２格納部２４は、上記第１格納部１０と同様、基本的にハードディスクドライブ１１６で構成され、上記差異データ毎に予め蓄積された視聴楽対象者の予測動作のプロパティを格納しておくものである。
【００９５】
この構成は、撮像された視聴楽対象者の時系列的な撮像データから生成される、視聴楽対象者のリトミック運動で身体のどこかの部位に変化が起こっていることを示す、上記差異データと、後述する指示部１８ａによって、視聴楽対象者の現在行っているリトミック運動に関連の深いリトミック用データを第１格納部１０から引き出すための、橋渡しを果たす役目を持つものである。
【００９６】
例えば、視聴楽対象者が、手の平を合わせてお祈りをする手や腕の状態から、次に上方へ腕をピンと伸ばす状態へと変化した場合、その間の腕の位置・動作・動作方向が、上記差異データとして生成される。このような差異データに対しては、予め第２格納部２４に、予測動作プロパティとして、「腕を上に上げる動作」が対応付けられている。従って、上記差異データが後述する指示部１８ａに渡された場合、「腕を上に上げる動作」が、予測動作プロパティとして、第２格納部２４から、指示部１８ａによって、検索されることになる。
【００９７】
上記指示部１８ａは、同じく、上記ＣＰＵ１０４及び該ＣＰＵ１０４をリトミック用に作動させる実行中のプログラムで構成されており、上記比較部２２で生成された差異データを元に、該差異データに相当する予測動作プロパティが上記第２格納部２４に存在するか否かを検索すると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティが上記第１格納部１０に格納された他のリトミック用データ毎のプロパティと同種のものが有るか否かを検索する、すなわち、上記関連性データを参照して、抽出された予測動作プロパティと同種のプロパティを有する（動作内容に関連性のある）他のリトミック用データを検索し、そのようなリトミック用データにつき、その読み出しアドレスを抽出しておいて、現在表示されているリトミック用データの表示終了後、上記表示部１２に対し、次にそのデータを読み出させ、表示させる指示を、表示部１２に出力する機能を有している。
【００９８】
より、具体的に言えば、上記予測動作プロパティ中に「腕を上に上げる動作」が含まれているならば、関連性データとしては「体を伸ばす動き」が相当し、この「体を伸ばす動き」の関連性データの元には、「腕を上に上げる動作」の他に、「足を伸ばす動作」、「背骨を伸ばす動作」などが関連性のあるプロパティとして紐づけられている。従って、指示部１８ａは、上位概念である「体を伸ばす動き」の関連性データの元に、下位概念として、「足を伸ばす動作」、「背骨を伸ばす動作」などのプロパティを含んでいる他のリトミック用データを検索し、その読み出しアドレスを抽出しておくことになる。
【００９９】
図９は、上記本実施例構成で実施される自動リトミック再生処理のメインフローを示すフローチャートである。リトミックプログラムが読み出されて、パソコン１００で実行されると、同図に示すように、まず、パソコン１００の各デバイスの初期化処理が実行される（ステップＳ３００）。
【０１００】
そして、リトミック用の選択画面が表示部１２に表示され（ステップＳ３０２）、操作する者が適当なリトミック用データを選択する。すると上記第１格納部１０から、選択されたリトミック用データ（図では表示画像データと記されている）の読み出しアドレスが取得される（ステップＳ３０４）。
【０１０１】
その読み出しアドレスに従って、リトミック用データが読み出され（ステップＳ３０６）、表示部１２にリトミック画像が表示再生される（ステップＳ３０８）。
【０１０２】
さらに、パソコン１００の側に立った視聴楽対象者が、撮像部１４により撮像され、撮像画像データが該撮像部１４から、バッファ２０を経て、比較部２２に送られる（ステップＳ３１０）。
【０１０３】
該比較部２２において、撮像画像データ間の差異データが生成される（ステップＳ３１２）。
【０１０４】
そしてこの差異データを受けた指示部１８ａにより、第２格納部２４中から、該差異データに相当する予測動作のプロパティが検索される（ステップＳ３１４）。
【０１０５】
上記指示部１８ａにより、差異データに相当する予測動作のプロパティが有るか否かがチェックされる（ステップＳ３１６）。
【０１０６】
そして、差異データに相当する予測動作のプロパティが存在しない場合（ステップＳ３１６；Ｎ）、後述するステップＳ３２６に移行し、これまで表示されているリトミック用データについて、最後の読み出しアドレスまでの再生が終了したか否かがチェックされ（ステップＳ３２６）、終了していない場合（ステップＳ３２６；Ｎ）、上記ステップＳ３０８に復帰し、そのリトミック用データの再生処理を行う。反対に最後の読み出しアドレスまでの再生が終了した場合（ステップＳ３２６；Ｙ）、上記ステップＳ３０２に復帰して、新たなリトミック用データの選択画面に移行する。
【０１０７】
一方、上記ステップＳ３１６で、差異データに相当する予測動作のプロパティが存在していれば（ステップＳ３１６；Ｙ）、この予測動作プロパティを第１格納部１０の関連性データに突き合わせて、上記指示部１８ａにより、プロパティにおいて動作内容に関連性のある他のリトミック用データが、第１格納部１０中から検索される（ステップＳ３１８）。
【０１０８】
その検索結果において、指示部１８ａにより、関連性のあるリトミック用データが有るか否かがチェックされ（ステップＳ３２０）、そのようなデータが有れば（ステップＳ３２０；Ｙ）、そのリトミック用データの読み出しアドレスが取得される（ステップＳ３２２）。
【０１０９】
そしてこれまで表示されているリトミック用データについて、最後の読み出しアドレスまでの再生が終了したか否かがチェックされ（ステップＳ３２４）、終了していない場合（ステップＳ３２４；Ｎ）、上記ステップＳ３０８に復帰し、そのリトミック用データの再生処理を行う。
【０１１０】
反対に最後の読み出しアドレスまでの再生が終了した場合（ステップＳ３２４；Ｙ）、上記ステップＳ３０６に復帰して、リトミック用データの新たな読み出しアドレスに基づき、新たなリトミック用データが読み出される（ステップＳ３０６）。以後同様な処理を行う。
【０１１１】
上記ステップＳ３２０に戻って、反対に関連性のあるリトミック用データがなければ（ステップＳ３２０；Ｎ）、上述のように、関連性のない新たな表示画像データのアドレスが取得された（ステップＳ３２６）後、これまで表示されているリトミック用データについて、最後の読み出しアドレスまでの再生が終了したか否かがチェックされ（ステップＳ３２８）、終了していない場合（ステップＳ３２８；Ｎ）、上記ステップＳ３０８に復帰し、そのリトミック用データの再生処理を行う。
【０１１２】
反対に最後の読み出しアドレスまでの再生が終了した場合（ステップＳ３２８；Ｙ）、上記ステップＳ３０６に復帰して、これまでの映像とは関連性のない新たなリトミック用データの読み込み処理に移行する（ステップＳ３０６）。
【０１１３】
上記実施例構成では、比較部２２で生成された、撮像された画像データ間の差異データを元に、指示部１８ａによって、該差異データに相当する予測動作プロパティが上記第２格納部２４に存在するか否かが検索されると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティが第１格納部１０の関連性データに突き合わされて、該予測動作プロパティと関連のあるプロパティを有するリトミック用データについて、第１格納部１０から次に読み出させて表示させる指示が、上記表示部１２に出力されることになる。
【０１１４】
上記第２格納部２４に予め蓄積された予測動作プロパティは、差異データに基づく、視聴楽対象者の予測動作の特徴を示すものであるので、常に、撮像された画像データ間の差異データを比較部２２で取り続けていれば、自ずと、視聴楽対象者の動作が予測される。
【０１１５】
例えば、撮像された画像データが静止画像であっても、人の輪郭データをデフォルトで持っていれば、それから人物の有無が分かり、また目の位置や口端の位置及び目の周辺の皺などのデータをデフォルトで持っていれば、表情の解析などが可能である。さらに撮像画像データが動画画像であれば、差異データに変化があるか否かによって、画像に変化があるか否かが判定され、変化が有れば、撮像部１４の前の視聴楽対象者が動いていると判断できる。変化が少なければ、動きが少ない、又は撮像部１４の前に視聴楽対象者がいないといった情報を得ることができる。
【０１１６】
これらの撮像画像データに所定のパラメータによる重み付けを行って、総合評価を行い、視聴楽対象者の動作を予測するようにしても良い。例えば、笑いながら激しく動いている、楽しそうに画像を見ている、画像を見ないで動いている、撮像部１４の前に居ないなどの動作や状態を、上記指示部１８ａにおいて自動的に予測・判定できることになる。
【０１１７】
尚、本発明の画像表示装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【産業上の利用可能性】
【０１１８】
本発明の画像表示装置は、リトミック学習教材としての利用ばかりではなく、各種運動などのシミュレーション用、例えば、タイミングを検出して、ちゃんとやっているようだと関連性のある映像を繋げて再生し、やっていないようだとストレッチ的な映像に切り替えたり励ましの言葉が入った映像に切り替えるなどのトレーニング映像に使用したり、パソコンなどの入力インターフェース、特に体の様々な部位にハンディキャップのある人のための入力インターフェースとしての利用も可能である。
【図面の簡単な説明】
【０１１９】
【図１】本発明に係る画像表示装置の構成が実現されるパソコン１００と、その側に立った視聴楽対象者との使用状態を示す説明図である。
【図２】上記パソコン１００の回路構成の概要を示す概略図である。
【図３】実施例１の構成の概要を示す機能ブロック図である。
【図４】実施例１の基本処理フローを示すフローチャートである。
【図５】表示されるリトミック用データと撮像画像データの比較判定処理において、判定対象につき、最初に視聴楽対象者が設定する動作検出設定画面の構成を示す画面構成説明図である。
【図６】上記フローチャートにおけるステップＳ１１４の画像データ比較判定処理の処理フローを示すフローチャートである。
【図７】実施例１の表示部１２における画像表示例を示す説明図である。
【図８】実施例２の構成の概要を示す機能ブロック図である。
【図９】実施例２の基本処理フローを示すフローチャートである。
【符号の説明】
【０１２０】
１０ 格納部、第１格納部
１２ 表示部
１４ 撮像部
１６ 判定部
１８、１８ａ 指示部
２０ バッファ
２２ 比較部
２４ 第２格納部
１００ パソコン
１０２ システムバス
１０４ ＣＰＵ
１０６ ＲＯＭ
１０８ ＲＡＭ
１１０ 画像制御部
１１２ Ｉ／Ｏインターフェース
１１４ ドライブインターフェース
１１６ ハードディスクドライブ
１１８ ＤＶＤ−ＲＯＭドライブ
１１８ａ ＤＶＤ−ＲＯＭ
１２０ キーボード
１２２ マウス
１２４ サウンドシステム
【技術分野】
【０００１】
本発明は、身体表現を豊かに行わせる画像表示装置及び画像表示用のコンピュータ・プログラムに関する。
【背景技術】
【０００２】
音楽を感じ身体表現を行なうリトミックが幼児教育に有効であるとの認識が浸透し、全国でリトミック教室が実施されている。リトミック教室では、レッスンを実施する先生がその日のレッスン生（子供）の状態を見ながら、適切な進行、演奏が行なわれている。
【０００３】
また、地域によってはリトミック教室が近くにない場合がある。このようにリトミックレッスンを受けたくても受けられない人の為に、ビデオテープやＤＶＤによる映像を通して、家庭で実施できるリトミック教材が提供されている。
【０００４】
参考までに、本発明者らによるリトミック関連技術の調査では、後述する特許文献１が調査結果としてあげられたが、例えば教材などを見ている視聴者の様子を何らかの反応が高い場合に撮像手段で撮像し、そのデータを記録媒体に記録することで、視聴者の様子を手軽に見られるようにするものが提案されている程度である。
【特許文献１】特開２００６−７４６２２
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、ビデオテープやＤＶＤなどの映像によるリトミック教材は再生順序が固定されており、実際の教室で行なわれているようなその場に適した進行、演奏を提供することは出来ないという問題があった。
【０００６】
本発明は、以上のような問題に鑑み創案されたもので、実際の教室で行なわれているようなその場に適した視聴楽教材の画像表示を行える装置を提供せんとするものである。
【０００７】
併せて、これらの装置をコンピュータ上に実現できる画像表示用のコンピュータ・プログラムについても、提案する。
【課題を解決するための手段】
【０００８】
そのため本発明に係る画像表示装置は、
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
表示された画像データと撮像された画像データとのうち、体の部位及び動きの方向を判定すると共に、該体の部位、動きの方向、さらに動きのタイミングを比較し、これらが同期しているか否かを判定する判定手段と、
少なくとも動きのタイミングが同期すると判定される場合、表示された画像データの動作内容のプロパティを読み出し、上記関連性データを参照して、そのプロパティと動作内容に関連性のある他の画像データにつき、次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
を有することを基本的特徴としている。
【０００９】
上記構成によれば、上記判定手段により、少なくとも動きのタイミングが同期すると判定される場合に、表示された画像データの動作内容のプロパティを読み出し、上記格納手段に格納された関連性データを参照して、上記指示手段により、そのプロパティと動作内容に関連性のある他の画像データについて、次に読み出させて表示させる指示が、上記表示手段に出力されることになる。
【００１０】
視聴楽対象者は、表示された画像データの学習教材としての内容に興味が有れば、当然、その表示画像に併せて、同じ動きをするはずであり、すなわち、少なくとも動きのタイミングが同期するはずであり（他の部位は場合により誤認識される場合もあり得る）、その場合に、その表示画像データと内容的に関連性のあるプロパティを有する画像データを表示するための指示を、上記指示手段が、出すことで、次に表示される画像データも、該視聴楽対象者の興味があるものが表示される可能性が高くなり、学習意欲を高めることになり、当然その学習内容の認知度・習熟度は向上する。
【００１１】
また、上述のように、視聴楽対象者は、表示された画像データの学習教材としての内容に興味が有れば、当然、その表示画像に併せて、同じ動きをするため、少なくとも動きのタイミングは同期するはずであるが、上記判定手段では、他の部位は、場合によって誤認識される場合もあり得る。その場合、上記判定手段で、少なくとも動きのタイミングが同期すると判定される場合には、撮像された画像データから判定された体の部位及び／又は動きの方向の判定結果を、表示された画像データの体の部位及び／又は動きの方向に合わせて、該判定手段自身で修正するようにすると良い。
【００１２】
さらに、そのような誤認識をなくし、表示された画像データと撮像された画像データとの同期がとれているか否かを精度良く判定するため（誤認識による判定精度の低下を防ぐため）に、視聴楽対象者に装着させる身体部位センサをさらに備えることで、上記判定手段における、少なくとも体の部位及び動きの方向の判定処理負荷を軽減すると良い。
【００１３】
上記撮像手段で撮像された画像データを、上記表示手段で表示される画像データと共に表示させると、自分達がリアルタイムでどのように動いているかが分かり、学習意欲をより高めることになる。
【００１４】
もちろん、上記判定手段では、各部位や動きの方向、動きのタイミングなどが同期していない場合は、視聴楽対象者にとり、表示された画像データの学習教材としての内容に興味がないとして、しばらくしたら、その表示画像データと内容的に関連性のない、或いは関連性の少ないプロパティを有する画像データを表示するための指示を、上記指示手段が出すことになり、次に表示される画像データは、これまで表示された画像データとは内容的に異なるものとなり、そこでまた視聴楽対象者の興味があるものが表示される可能性も出てくる。
【００１５】
他方、関連性があるといっても、動作内容に似たようなプロパティを有する画像データばかり流し続けると、視聴楽対象者は飽きてくるので、生成機会（チャンス）と、上記関連性データの関連性とに、ランダム性を与える乱数生成機能を上記指示手段に備え、該指示手段が次の読み出し及び表示に指示を与える画像データとして、不定期に、画像データ同士間の関連性が不連続になるようにすれば、似たような動作内容の画像データばかりが、流れることがなくなり、視聴楽対象者は、益々、興味を感じ、学習意欲が高まって、その学習内容の認知度・習熟度が高くなる。
【００１６】
他方、第２の観点に係る発明の画像表示装置の構成は、
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく第１の格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
撮像された画像データを一時的に記憶しておくバッファと、
撮像された画像データ間を比較し、これらの画像データ間の差異を差異データとして生成する比較手段と、
上記差異データ毎に予め蓄積された視聴楽対象者の予測動作のプロパティを格納しておく第２の格納手段と、
上記比較手段で生成された差異データを元に、該差異データに相当する予測動作プロパティが上記第２の格納手段に存在するか否かを検索すると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティを第１の格納手段の関連性データに突き合わせて、該予測動作プロパティと関連のあるプロパティを有する画像データにつき、第１の格納手段から次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
を有することを特徴としている。
【００１７】
上記構成では、比較手段で生成された、撮像された画像データ間の差異データを元に、指示手段によって、該差異データに相当する予測動作プロパティが上記第２の格納手段に存在するか否かを検索すると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティを第１の格納手段の関連性データに突き合わせて、該予測動作プロパティと関連のあるプロパティを有する画像データについて、第１の格納手段から次に読み出させて表示させる指示が、上記表示手段に出力されることになる。
【００１８】
上記第２の格納手段に予め蓄積された予測動作プロパティは、差異データに基づく、視聴楽対象者の予測動作の特徴を示すものであるので、常に、撮像された画像データ間の差異データを比較手段で取り続けていれば、自ずと、視聴楽対象者の動作が予測される。例えば、画像データが静止画像であっても、人の輪郭データをデフォルトで持っていれば、それから人物の有無が分かり、また目の位置や口端の位置及び目の周辺の皺などのデータをデフォルトで持っていれば、表情の解析などが可能である。さらに画像データが動画画像であれば、差異データに変化があるか否かによって、画像に変化があるか否かが判定され、変化が有れば、撮像手段の前の視聴楽対象者が動いていると判断できる。変化が少なければ、動きが少ない、又は撮像手段の前に視聴楽対象者がいないといった情報を得ることができる。これらの画像データに所定のパラメータによる重み付けを行って、総合評価を行い、視聴楽対象者の動作を予測するようにしても良い。例えば、笑いながら激しく動いている、楽しそうに画像を見ている、画像を見ないで動いている、撮像手段の前に居ないなどの動作や状態を、上記指示手段において自動的に予測・判定できることになる。
【００１９】
さらに、以下に示す第３乃至第４の観点の発明の構成は、上記第１乃至第２の観点の発明の構成を、コンピュータに実行させるために、該コンピュータで実行可能なプログラム自身を規定している。すなわち、上述した課題を解決するための構成として、上記各手段を、コンピュータの構成を利用することで実現する、該コンピュータで読み込まれて実行可能なプログラムである。この場合、コンピュータとは中央演算処理装置の構成を含んだ汎用的なコンピュータの構成の他、特定の処理に向けられた専用機などを含むものであっても良く、中央演算処理装置の構成を伴うものであれば特に限定はない。
【００２０】
上記各手段を実現させるためのプログラムが該コンピュータに読み出されると、第１観点の発明の構成として規定された各機能実現手段と同様な機能実現手段が達成されることになる。
【００２１】
より具体的構成は、
コンピュータに読み込まれて実行されることで、該コンピュータを、
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
表示された画像データと撮像された画像データとのうち、体の部位及び動きの方向を判定すると共に、該体の部位、動きの方向、さらに動きのタイミングを比較し、これらが同期しているか否かを判定する判定手段と、
少なくとも動きのタイミングが同期すると判定される場合、表示された画像データの動作内容のプロパティを読み出し、上記関連性データを参照して、そのプロパティと動作内容に関連性のある他の画像データにつき、次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
して機能させることを特徴とする画像表示用プログラムである。
【００２２】
もちろん、上記画像表示用プログラムの構成でも、上記判定手段で、少なくとも動きのタイミングが同期すると判定される場合に、撮像された画像データから判定された体の部位及び／又は動きの方向の判定結果を、表示された画像データの体の部位及び／又は動きの方向に合わせて、該判定手段自身で修正するようにプログラムしておくこともできる。
【００２３】
また、視聴楽対象者に装着させる身体部位センサを上記コンピュータにさらに接続することで、上記判定手段における、少なくとも体の部位及び動きの方向の判定処理負荷を軽減することもできる。
【００２４】
さらに上記撮像手段で撮像された画像データを、上記表示手段で表示される画像データと共に表示させることも可能である。
【００２５】
加えて、生成機会と、上記関連性データの関連性とに、ランダム性を与える乱数生成機能を上記指示手段に備え、該指示手段が次の読み出し及び表示に指示を与える画像データとして、不定期に、画像データ同士間の関連性が不連続になるようにすることもできる。
【００２６】
さらに、第４の観点の発明の構成は、上記第２の観点の発明の構成を、コンピュータに実行させるために、該コンピュータで実行可能なプログラム自身を規定している。すなわち、コンピュータに上記各手段を実現させるためのプログラムが該コンピュータに読み出されると、第２の観点の発明の構成として規定された各機能実現手段と同様な機能実現手段が達成されることになる。
【００２７】
より具体的構成は、
コンピュータに読み込まれて実行されることで、該コンピュータを、
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく第１の格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
撮像された画像データを一時的に記憶しておくバッファと、
撮像された画像データ間を比較し、これらの画像データ間の差異を差異データとして生成する比較手段と、
上記差異データ毎に予め蓄積された視聴楽対象者の予測動作のプロパティを格納しておく第２の格納手段と、
上記比較手段で生成された差異データを元に、該差異データに相当する予測動作プロパティが上記第２の格納手段に存在するか否かを検索すると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティを第１の格納手段の関連性データに突き合わせて、該予測動作プロパティと関連のあるプロパティを有する画像データにつき、第１の格納手段から次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
として機能させることを特徴とする画像表示用プログラムである。
【発明の効果】
【００２８】
本発明の画像表示装置及び画像表示用プログラムによれば、実際の教室で行なわれているようなその場に適した視聴楽教材の画像表示を行えるという優れた効果を奏し得る。
【００２９】
特に、第１及び第３の観点の発明構成によれば、視聴楽対象者は、表示された画像データの学習教材としての内容に興味が有れば、当然、その表示画像に併せて、同じ動きをするはずであり、少なくとも動きのタイミングが同期するはずである。その場合に、その表示画像データと内容的に関連性のあるプロパティを有する画像データを表示するための指示を、上記指示手段が、出すことで、次に表示される画像データも、該視聴楽対象者の興味があるものが表示される可能性が高くなり、学習意欲を高めることになり、当然その学習内容の認知度・習熟度は向上する。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態を図示例と共に説明する。
【実施例１】
【００３１】
図１〜図７は、リトミックプログラムが読み込まれて、パソコン１００において実行されることで、構成される、本発明の望ましい実施形態構成を示している。そのうち、図１は、リトミック装置となる本発明に係る画像表示装置の構成が実現されるパソコン１００と、その側に立った視聴楽対象者との使用状態を示す説明図である。
【００３２】
該パソコン１００は、通常の構成からなり、ここでは、Ｗｅｂカメラで構成される撮像部１４が設けられると共に、後述する表示部１２となるディスプレイの他、パソコン１００に通常備えられているＤＶＤ−ＲＯＭドライブ１１８、キーボード１２０、マウス１２２及びサウンドシステム１２４のスピーカが示されている。
【００３３】
本構成では、パソコン１００の後述するＤＶＤ−ＲＯＭドライブ１１８に、ＤＶＤ−ＲＯＭ１１８ａを入れて、それに読み込ませ、実行された場合に、該パソコン１００が、本発明のリトミック装置として利用可能なプログラムが、該ＤＶＤ−ＲＯＭ１１８ａに格納されている。従って、このＤＶＤ−ＲＯＭ１１８ａを上記ＤＶＤ−ＲＯＭドライブ１１８に読み込ませて実行させ、パソコン１００上に、本発明のリトミック装置が実現されることになる。
【００３４】
図２は、後述するＩ／Ｏインターフェース１１２に、上記Ｗｅｂカメラで構成される撮像部１４が接続された状態の、上記パソコン１００の回路概要図である。同図に示すように、本パソコン１００は、システムバス１０２を介して、ＣＰＵ１０４、ＲＯＭ１０６、ＲＡＭ１０８、画像制御部１１０、Ｉ／Ｏインターフェース１１２及びドライブインターフェース１１４がつながっており、該システムバス１０２を介して、夫々のデバイスに制御信号、データの入出力がなされることになる。
【００３５】
また上記Ｉ／Ｏインターフェース１１２を介して、システムバス１０２に、キーボード１２０、マウス１２２、サウンドシステム１２４及び後述する撮像部１４がつながっており、これらのデバイスとシステムバス１０２との間で、制御信号やデータの入出力がなされることになる。
【００３６】
さらに、上記ドライブインターフェース１１４を介して、システムバス１０２に、ハードディスクドライブ（ＨＤＤ）１１６及びＤＶＤ−ＲＯＭドライブ１１８が接続されており、これらのデバイスとシステムバス１０２との間で、制御信号やデータの入出力がなされることになる。
【００３７】
ＣＰＵ１０４は、ＤＶＤ−ＲＯＭドライブ１１８により上記ＤＶＤ−ＲＯＭ１１８ａから読み込まれ、ハードディスクドライブ１１６乃至ＲＡＭ１０８に格納される上記リトミックプログラムに基づき、リトミック装置全体の制御を行う中央演算処理装置である。また後述する判定部１６及び指示部１８の構成は、上記プログラムが稼働した該ＣＰＵ１０４によって構成されることになる。
【００３８】
ＲＯＭ１０６は、本パソコン１００のＢＩＯＳなどが記憶されている格納領域である。
【００３９】
ＲＡＭ１０８は、本プログラムの格納エリアの他、ワークエリア、種々の係数、パラメータ等の、一時的な記憶領域等（後述するように、positionFlagやmoveFlag等も設定される）として使用される。後述する撮像部１４から送られてくる撮像画像データ乃至その一部を記憶しておく構成としても使用される。
【００４０】
画像制御部１１０は、画像データバッファを有しており（上記ＲＡＭ１０８上に設けても良い）、ＣＰＵ１０４の指令により、必要な画像処理を行って、その結果をディスプレイたる表示部１２に出力する。該表示部１２は、ＣＰＵ１０４の指令に基づき、該画像制御部１１０で処理された画像データを、映像情報として表示する。
【００４１】
上記デバイスのうち撮像部１４は、本実施例構成では、通常Ｗｅｂカメラなどとして使用されるＣＭＯＳやＣＣＤなどの撮像素子で映像を捉え電気信号に変換する構成であり、該信号はＩ／Ｏインターフェース１１２を介して、システムバス１０２に送られる。
【００４２】
上述のように、ハードディスクドライブ１１６は、上記リトミックプログラムの読み込み及びその実行によって、該プログラム自身と必要なデータ等を格納する。該ハードディスクドライブ１１６に格納される必要なデータは、他に、上記プログラムと共にＤＶＤ−ＲＯＭ１１８ａから読み出される楽音再生のためのリトミック用データ（本実施例では後述するようにリトミック画像データ中に含まれているものとする）や表示部１２の動画再生のためのリトミック用データなどがあり、後述するように、該ハードディスクドライブ１１６は、本実施例の格納部１０を構成することになる。
【００４３】
上記デバイスのうちＤＶＤ−ＲＯＭドライブ１１８は、リトミックプログラムが格納されたＤＶＤ−ＲＯＭ１１８ａから、該プログラムやデータなどを読み出す。そのプログラムやデータなどは、ハードディスクドライブ１１６に格納され、またメインとなるプログラムは上記ＲＡＭ１０８上に格納され、ＣＰＵ１０４により実行される。もちろん、ＤＶＤ−ＲＯＭ乃至ＤＶＤ−ＲＯＭドライブの組み合わせの構成だけではなく、ＣＤ−ＲＯＭ及びＣＤ−ＲＯＭドライブの組み合わせの構成でも良い。
【００４４】
また上記サウンドシステム１２４は、後述するように、リトミック用データ中の楽音再生のためのデータを再生する構成であり、たとえば楽曲データや音声データなどに対し、Ｄ／Ａ変換処理などが行われ、さらにアンプ構成が備えられていて増幅処理がなされ、パソコン１００に備えられたスピーカ（図１参照）から、そのリトミック用の楽音や音声が再生されることになる。
【００４５】
本実施形態に係るリトミックプログラムを、パソコン１００（ＲＡＭ１０８及びハードディスクドライブ１１６）に読み込ませて、（ＣＰＵ１０４に）実行させることで、図３に示すように、格納部１０と、表示部１２と、撮像部１４と、判定部１６と、指示部１８とを備えた構成となる。
【００４６】
上記格納部１０は、上述のように、基本的にハードディスクドライブ１１６で構成され、動作内容のプロパティを有するリトミック用データ（楽音・音声データを含む）と、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとが格納される。また、必要に応じてＤＶＤ−ＲＯＭドライブ１１８からＤＶＤ−ＲＯＭ１１８ａにアクセスして先読みされた上記種類のデータが、上記ハードディスクドライブ１１６に格納されることで構成されることもある。
【００４７】
上記表示部１２は、上述のように、ＣＰＵ１０４の指令に基づいて画像制御部１１０で表示制御がなされて出力するパソコン１００のディスプレイで構成されており、ＣＰＵ１０４からの読み出しアドレスに基づいて、格納部１０から、画像データを読み出して表示する機能を有している。
【００４８】
上記撮像部１４は、上述のように、撮像素子などを有するＷｅｂカメラなどで構成され、リトミック視聴楽対象者の画像を撮像する機能を有している。
【００４９】
上記判定部１６は、上述のように、ＣＰＵ１０４及び該ＣＰＵ１０４をリトミック用に作動させる実行中のプログラムで構成されており、上記表示部１２で表示された画像データと、上記撮像部１４で撮像された画像データとのうち、リトミック表示画像と撮像者画像の、体の部位及び動きの方向を判定する画像解析機能を有すると共に、該体の部位、動きの方向、さらに動きのタイミングを比較し、これらが同期しているか否かを判定するシンクロナイズ判定機能を有している。
【００５０】
上記指示部１８は、同じく、上記ＣＰＵ１０４及び該ＣＰＵ１０４をリトミック用に作動させる実行中のプログラムで構成されており、上記判定部１６において、少なくとも動きのタイミングが同期すると判定される場合、表示されたリトミック用データの動作内容のプロパティを抽出し、それが上記格納部１０に格納された他のリトミック用データ毎のプロパティと同種のものが有るか否かを検索する、すなわち、上記関連性データを参照して、抽出されたプロパティと同種のプロパティを有する（動作内容に関連性のある）他のリトミック用データを検索し、そのようなリトミック用データにつき、その読み出しアドレスを抽出しておいて、現在表示されているリトミック用データの表示終了後、上記表示部１２に対し、次にそのデータを読み出させ、表示させる指示を、表示部１２に出力する機能を有している。
【００５１】
図４は、上記本実施例構成で実施される自動リトミック再生処理のメインフローを示すフローチャートである。リトミックプログラムが読み出されて、パソコン１００で実行されると、同図に示すように、まず、パソコン１００の各デバイスの初期化処理が実行される（ステップＳ１００）。
【００５２】
そして、リトミック用の選択画面が表示部１２に表示され（ステップＳ１０２）、操作する者が適当なリトミック用データを選択する。すると上記格納部１０から、選択されたリトミック用データ（図では表示画像データと記されている）の読み出しアドレスが取得される（ステップＳ１０４）。
【００５３】
その読み出しアドレスに従って、リトミック用データが読み出され（ステップＳ１０６）、表示部１２にリトミック画像が表示再生される（ステップＳ１０８）と共に、そのデータは、上記判定部１６にも送られる。
【００５４】
さらに、パソコン１００の側に立った視聴楽対象者が、撮像部１４により撮像され、撮像画像データが該撮像部１４から判定部１６に送られる（ステップＳ１１０）。
【００５５】
判定部１６の画像解析機能により、送られてきた表示されたリトミック用データと撮像画像データから、リトミック表示画像と撮像者画像の、体の部位及び動きの方向が認識される（ステップＳ１１２）。その認識結果に基づき、判定部１６のシンクロナイズ判定機能により、該体の部位、動きの方向、さらに動きのタイミングが比較され、これらが同期しているか否かが判定される（ステップＳ１１４）。
【００５６】
上記判定部１６において、表示リトミック用データと撮像画像データとの上記比較項目が一致しているか否かがチェックされる（ステップＳ１１６）。ここでは、後述する図６のフローチャートに示すように、少なくとも動きのタイミングが一致していれば、体の部位の認識や動きの方向の認識が違っている場合も、誤認識があるとして、認識の訂正を行う。
【００５７】
そして、表示リトミック用データと撮像画像データとの比較項目が一致していなければ（ステップＳ１１６；Ｎ）、後述するステップＳ１２８に移行し、関連性のない新たな表示画像データのアドレスが取得された（ステップＳ１２８）後、これまで表示されているリトミック用データについて、最後の読み出しアドレスまでの再生が終了したか否かがチェックされ（ステップＳ１３０）、終了していない場合（ステップＳ１３０；Ｎ）、上記ステップＳ１０８に復帰し、そのリトミック用データの再生処理を行う。
【００５８】
反対に最後の読み出しアドレスまでの再生が終了した場合（ステップＳ１３０；Ｙ）、上記ステップＳ１０６に復帰して、これまでの映像とは関連性のない新たなリトミック用データの読み込み処理に移行する（ステップＳ１０６）。
【００５９】
一方、上記ステップＳ１１６で、表示リトミック用データと撮像画像データとの比較項目が一致していれば（ステップＳ１１６；Ｙ）、リトミック用データから動作内容のプロパティ（例えば腕を上に上げる動作など）が読み出され（ステップＳ１１８）、上記関連性データを参照して（例えば上記プロパティ中に「腕を上に上げる動作」が含まれているならば、関連性データとしては「体を伸ばす動き」が相当し、この「体を伸ばす動き」の関連性データの元には、「腕を上に上げる動作」の他に、「足を伸ばす動作」、「背骨を伸ばす動作」などが関連性のあるプロパティとして紐づけられている）、上記指示部１８により、プロパティにおいて動作内容に関連性のある他のリトミック用データが、格納部１０中から検索される（ステップＳ１２０）。
【００６０】
その検索結果において、関連性のあるリトミック用データが有るか否かがチェックされ（ステップＳ１２２）、そのようなデータが有れば（ステップＳ１２２；Ｙ）、そのリトミック用データの読み出しアドレスが取得される（ステップＳ１２４）。
【００６１】
そしてこれまで表示されているリトミック用データについて、最後の読み出しアドレスまでの再生が終了したか否かがチェックされ（ステップＳ１２６）、終了していない場合（ステップＳ１２６；Ｎ）、上記ステップＳ１０８に復帰し、そのリトミック用データの再生処理を行う。
【００６２】
反対に最後の読み出しアドレスまでの再生が終了した場合（ステップＳ１２６；Ｙ）、上記ステップＳ１０６に復帰して、リトミック用データの新たな読み出しアドレスに基づき、新たなリトミック用データが読み出される（ステップＳ１０６）。以後同様な処理を行う。
【００６３】
上記ステップＳ１２２に戻って、反対に関連性のあるリトミック用データがなければ（ステップＳ１２２；Ｎ）、上述のように、関連性のない新たな表示画像データのアドレスが取得された（ステップＳ１２８）後、これまで表示されているリトミック用データについて、最後の読み出しアドレスまでの再生が終了したか否かがチェックされ（ステップＳ１３０）、終了していない場合（ステップＳ１３０；Ｎ）、上記ステップＳ１０８に復帰し、そのリトミック用データの再生処理を行う。
【００６４】
反対に最後の読み出しアドレスまでの再生が終了した場合（ステップＳ１３０；Ｙ）、上記ステップＳ１０６に復帰して、これまでの映像とは関連性のない新たなリトミック用データの読み込み処理に移行する（ステップＳ１０６）。
【００６５】
図５は、上記図４のステップＳ１０２の選択画面設定において表示される、ステップＳ１１６で２つのデータを比較処理する際の動作検出設定画面構成を示しており、また図６は、同じく図４のステップＳ１１４に係る両画像データの比較判定処理の処理フローを示すフローチャートである。
【００６６】
上述のように、表示されるリトミック用データと撮像画像データとの一致比較判定の際、動作検出に関しては必ず一致するか否かの判定を行っており、図５の動作検出設定画面では、タイミングについては常にＯＮに設定されている。
【００６７】
その他の体の部位及び動きの方向の判定については、検出するか否かを、視聴楽対象者が任意に設定できる構成としている。「体の部位」の箇所にチェックが入っていれば、ＲＡＭ１０８上に、positionFlagが立ち（＝１）、また「動きの方向」の箇所にチェックが入っていれば、ＲＡＭ１０８上に、moveFlagが立つ（＝１）ことになる。デフォルトでは、２つとも検出しない設定になっている。
【００６８】
また、上記体の部位の一致判定と動きの方向の一致判定が行われる場合に、一致しない時は、後述する図６のフローチャートから明らかなように、一致するまで戻ってこれなくなるので、ループの間にタイムアウト処理が入ることになる。
【００６９】
図６の比較判定処理フローにつき、従前の両データの体の部位及び動きの方向の認識結果を基に、該体の部位及び動きの方向の如何を問わず、判定部１６のシンクロナイズ判定機能により、少なくとも動きのタイミングが一致しているか否かがチェックされる（ステップＳ２００）。
【００７０】
動きのタイミングが一致していなければ（ステップＳ２００；Ｎ）、両データの判定結果は不一致（ｆａｕｌｔ）として（ステップＳ２２０）、処理を終了する。
【００７１】
反対に動きのタイミングが一致していれば（ステップＳ２００；Ｙ）、上記ＲＡＭ１０８上のpositionFlagが立っているか否かがチェックされ（ステップＳ２０２）、positionFlagが立っていなければ（ステップＳ２０２；Ｎ）、後述するステップＳ２０４の体の部位の一致の判定処理はジャンプされ、後述するステップＳ２１０の判定処理に移行する。
【００７２】
上記フラグチェックで、positionFlagが立っていれば（ステップＳ２０２；Ｙ）、両データの体の部位が一致しているか否かが、上記判定部１６のシンクロナイズ判定機能により、チェックされる（ステップＳ２０４）。
【００７３】
両データの体の部位が一致していなければ（ステップＳ２０４；Ｎ）、判定部１６の画像解析機能における体の部位の認識が誤っていたとして、認識の訂正が行われる（ステップＳ２０６）。この時、体の部位の一致判定がいつまでも一致しない場合、ループして何度も繰り返され、応答性が悪くなる。従って、上述のように、ループの間にタイムアウト処理を入れ、一定の時間内に体の部位の一致が判定できない場合は、タイムアウト（デフォルトで○○secと設定されている）として（ステップＳ２０８；Ｙ）、両データの判定結果は不一致（ｆａｕｌｔ）とし（ステップＳ２２０）、処理を終了する。
【００７４】
反対にタイムアウトにならない限り（ステップＳ２０８；Ｎ）、再びステップＳ２０４の最初に戻り、両データの体の部位のチェックがなされる（ステップＳ２０４）。
【００７５】
上記ステップＳ２０４において、両データの体の部位が一致していれば（ステップＳ２０４；Ｙ）、上記ＲＡＭ１０８上のmoveFlagが立っているか否かがチェックされ（ステップＳ２１０）、moveFlagが立っていなければ（ステップＳ２１０；Ｎ）、後述するステップＳ２１２の動きの方向の一致の判定処理はジャンプされ、後述するステップＳ２１８の判定結果アウトプット処理に移行する。
【００７６】
上記フラグチェックで、moveFlagが立っていれば（ステップＳ２１０；Ｙ）、次に両データにおけるそれぞれの体の部位の動きの方向が一致しているか否かが、上記判定部１６のシンクロナイズ判定機能により、チェックされる（ステップＳ２１２）。
【００７７】
両データのそれぞれの体の部位の動きの方向が一致していなければ（ステップＳ２１２；Ｎ）、判定部１６の画像解析機能における体の部位の動きの方向の認識が誤っていたとして、認識の訂正が行われる（ステップＳ２１４）。
【００７８】
この時、動きの方向の一致判定がいつまでも一致しない場合、ループして何度も繰り返され、応答性が悪くなる。従って、上述のように、ループの間にタイムアウト処理を入れ、一定の時間内に体の部位の一致が判定できない場合は、タイムアウトとして（ステップＳ２１６；Ｙ）、両データの判定結果は不一致（ｆａｕｌｔ）とし（ステップＳ２２０）、処理を終了する。
【００７９】
反対にタイムアウトにならない限り（ステップＳ２１６；Ｎ）、再びステップＳ２１２の最初に戻り、両データの動きの方向のチェックがなされる（ステップＳ２１２）。
【００８０】
上記ステップＳ２１２において、両データの動きの方向が一致していれば（ステップＳ２１２；Ｙ）、両データの一致（ｔｒｕｅ）とし（ステップＳ２１８）、処理を終了する。
【００８１】
このように、上記判定部１６において、表示リトミック用データと撮像画像データとの上記比較項目が一致しているか否かがチェックされるが、ここでは、少なくとも動きのタイミングが一致していれば、体の部位の認識や動きの方向の認識が違っている場合も、誤認識があるとして、認識の訂正を行っている。
【００８２】
以上の実施例構成によれば、上記判定部１６により、少なくとも動きのタイミングが同期すると判定される場合に、表示されたリトミック用データの動作内容のプロパティを読み出し、上記格納部１０に格納された関連性データを参照して、上記指示部１８により、そのプロパティと動作内容に関連性のある他のリトミック用データについて、次に読み出させて表示させる指示が、上記表示部１２に出力されることになる。
【００８３】
視聴楽対象者は、表示されたリトミック用データの学習教材としての内容に興味が有れば、当然、その表示画像に併せて、同じ動きをするはずであり、すなわち、少なくとも動きのタイミングが同期するはずであり（他の部位は場合により誤認識される場合もあり得る）、その場合に、その表示画像のリトミック用データと内容的に関連性のあるプロパティを有する他のリトミック用データを表示するための指示を、上記指示部１８が、出すことで、次に表示されるリトミック用データも、該視聴楽対象者の興味があるものが表示される可能性が高くなり、学習意欲を高めることになり、当然その学習内容の認知度・習熟度は向上する。
【００８４】
また、上述のように、視聴楽対象者は、表示されたリトミック用データの学習教材としての内容に興味が有れば、当然、その表示画像に併せて、同じ動きをするため、少なくとも動きのタイミングは同期するはずであるが、上記判定部１６では、他の部位は、場合によって誤認識される場合もあり得る。その場合、上記判定部１６で、少なくとも動きのタイミングが同期すると判定される場合には、撮像された画像データから判定された体の部位及び／又は動きの方向の判定結果を、表示されたリトミック用データの体の部位及び／又は動きの方向に合わせて、該判定部１６自身で修正することができる。
【００８５】
さらに、そのような誤認識をなくし、表示されたリトミック用データと撮像された画像データとの同期がとれているか否かを精度良く判定するため（誤認識による判定精度の低下を防ぐため）に、視聴楽対象者に装着させるグローブなどの身体部位センサをさらに備えることで、上記判定部１６における、少なくとも体の部位及び動きの方向の判定処理負荷を軽減することもできる。
【００８６】
上記撮像部１４で撮像された画像データを、図７に示すように、上記表示部１２で表示される画像データと共に表示させると、自分達がリアルタイムでどのように動いているかが分かり、学習意欲をより高めることになる。
【００８７】
もちろん、上記判定部１６では、各部位や動きの方向、動きのタイミングなどが同期していない場合は、視聴楽対象者にとり、表示されたリトミック用データの学習教材としての内容に興味がないとして、しばらくしたら、その表示されたリトミック用データと動きなどにおいて関連性の少ないプロパティを有するリトミック用データを表示するための指示を、上記指示部１８が出すことになり、次に表示されるリトミック用データは、これまで表示されたリトミック用データとはリトミックの動きとしては内容的に異なるものとなり、そこでまた視聴楽対象者の興味があるものが表示される可能性も出てくる。
【００８８】
他方、関連性があるといっても、動作内容に似たようなプロパティを有するリトミック用データばかり流し続けると、視聴楽対象者は飽きてくるので、生成機会（チャンス）と、上記関連性データの関連性とに、ランダム性を与える乱数生成機能を上記指示部１８に備え、該指示部１８が次の読み出し及び表示に指示を与えるリトミック用データとして、不定期に、リトミック用データ同士間の関連性が不連続になるようにすれば、似たような動作内容のリトミック用データばかりが、流れることがなくなり、視聴楽対象者は、益々、興味を感じ、学習意欲が高まって、その学習内容の認知度・習熟度が高くなる。
【実施例２】
【００８９】
図８及び図９は、リトミックプログラムが読み込まれて、上記実施例１と同じパソコン１００において実行されることで、構成される、本発明の望ましい他の実施形態構成を示している。本実施例で使用されるパソコン１００の構成は、上記実施例１と同様であるので、その詳細は省略する。
【００９０】
本実施形態に係るリトミックプログラムを、パソコン１００（ＲＡＭ１０８及びハードディスクドライブ１１６）に読み込ませて、（ＣＰＵ１０４に）実行させることで、図７に示すように、第１格納部１０と、表示部１２と、撮像部１４と、バッファ２０と、比較部２２と、第２格納部２４と、指示部１８ａとを備えた構成となる。
【００９１】
上記第１格納部１０は、上記実施例１の格納部１０と、さらに表示部１２と、撮像部１４は、同じく実施例１の表示部１２と、撮像部１４の構成と全く同じであるので、その説明は省略する。
【００９２】
上記バッファ２０は、上記ＲＡＭ１０８で構成されており、撮像された画像データを一時的に記憶しておく機能を有する。これは、後に説明するように、撮像された視聴楽対象者の時系列的な撮像データから、該視聴楽対象者がリトミック運動によって、身体のどこかの部位に変化が起こっているかを、比較部２２において、差異データとして生成するためである。
【００９３】
上記比較部２２は、上記ＣＰＵ１０４及び該ＣＰＵ１０４をリトミック用に作動させる実行中のプログラムで構成されており、この構成によって、撮像された視聴楽対象者の時系列的な撮像データから、該視聴楽対象者がリトミック運動によって、身体のどこかの部位に変化が起こっているかを、比較部２２において、差異データとして生成する機能を有している。
【００９４】
上記第２格納部２４は、上記第１格納部１０と同様、基本的にハードディスクドライブ１１６で構成され、上記差異データ毎に予め蓄積された視聴楽対象者の予測動作のプロパティを格納しておくものである。
【００９５】
この構成は、撮像された視聴楽対象者の時系列的な撮像データから生成される、視聴楽対象者のリトミック運動で身体のどこかの部位に変化が起こっていることを示す、上記差異データと、後述する指示部１８ａによって、視聴楽対象者の現在行っているリトミック運動に関連の深いリトミック用データを第１格納部１０から引き出すための、橋渡しを果たす役目を持つものである。
【００９６】
例えば、視聴楽対象者が、手の平を合わせてお祈りをする手や腕の状態から、次に上方へ腕をピンと伸ばす状態へと変化した場合、その間の腕の位置・動作・動作方向が、上記差異データとして生成される。このような差異データに対しては、予め第２格納部２４に、予測動作プロパティとして、「腕を上に上げる動作」が対応付けられている。従って、上記差異データが後述する指示部１８ａに渡された場合、「腕を上に上げる動作」が、予測動作プロパティとして、第２格納部２４から、指示部１８ａによって、検索されることになる。
【００９７】
上記指示部１８ａは、同じく、上記ＣＰＵ１０４及び該ＣＰＵ１０４をリトミック用に作動させる実行中のプログラムで構成されており、上記比較部２２で生成された差異データを元に、該差異データに相当する予測動作プロパティが上記第２格納部２４に存在するか否かを検索すると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティが上記第１格納部１０に格納された他のリトミック用データ毎のプロパティと同種のものが有るか否かを検索する、すなわち、上記関連性データを参照して、抽出された予測動作プロパティと同種のプロパティを有する（動作内容に関連性のある）他のリトミック用データを検索し、そのようなリトミック用データにつき、その読み出しアドレスを抽出しておいて、現在表示されているリトミック用データの表示終了後、上記表示部１２に対し、次にそのデータを読み出させ、表示させる指示を、表示部１２に出力する機能を有している。
【００９８】
より、具体的に言えば、上記予測動作プロパティ中に「腕を上に上げる動作」が含まれているならば、関連性データとしては「体を伸ばす動き」が相当し、この「体を伸ばす動き」の関連性データの元には、「腕を上に上げる動作」の他に、「足を伸ばす動作」、「背骨を伸ばす動作」などが関連性のあるプロパティとして紐づけられている。従って、指示部１８ａは、上位概念である「体を伸ばす動き」の関連性データの元に、下位概念として、「足を伸ばす動作」、「背骨を伸ばす動作」などのプロパティを含んでいる他のリトミック用データを検索し、その読み出しアドレスを抽出しておくことになる。
【００９９】
図９は、上記本実施例構成で実施される自動リトミック再生処理のメインフローを示すフローチャートである。リトミックプログラムが読み出されて、パソコン１００で実行されると、同図に示すように、まず、パソコン１００の各デバイスの初期化処理が実行される（ステップＳ３００）。
【０１００】
そして、リトミック用の選択画面が表示部１２に表示され（ステップＳ３０２）、操作する者が適当なリトミック用データを選択する。すると上記第１格納部１０から、選択されたリトミック用データ（図では表示画像データと記されている）の読み出しアドレスが取得される（ステップＳ３０４）。
【０１０１】
その読み出しアドレスに従って、リトミック用データが読み出され（ステップＳ３０６）、表示部１２にリトミック画像が表示再生される（ステップＳ３０８）。
【０１０２】
さらに、パソコン１００の側に立った視聴楽対象者が、撮像部１４により撮像され、撮像画像データが該撮像部１４から、バッファ２０を経て、比較部２２に送られる（ステップＳ３１０）。
【０１０３】
該比較部２２において、撮像画像データ間の差異データが生成される（ステップＳ３１２）。
【０１０４】
そしてこの差異データを受けた指示部１８ａにより、第２格納部２４中から、該差異データに相当する予測動作のプロパティが検索される（ステップＳ３１４）。
【０１０５】
上記指示部１８ａにより、差異データに相当する予測動作のプロパティが有るか否かがチェックされる（ステップＳ３１６）。
【０１０６】
そして、差異データに相当する予測動作のプロパティが存在しない場合（ステップＳ３１６；Ｎ）、後述するステップＳ３２６に移行し、これまで表示されているリトミック用データについて、最後の読み出しアドレスまでの再生が終了したか否かがチェックされ（ステップＳ３２６）、終了していない場合（ステップＳ３２６；Ｎ）、上記ステップＳ３０８に復帰し、そのリトミック用データの再生処理を行う。反対に最後の読み出しアドレスまでの再生が終了した場合（ステップＳ３２６；Ｙ）、上記ステップＳ３０２に復帰して、新たなリトミック用データの選択画面に移行する。
【０１０７】
一方、上記ステップＳ３１６で、差異データに相当する予測動作のプロパティが存在していれば（ステップＳ３１６；Ｙ）、この予測動作プロパティを第１格納部１０の関連性データに突き合わせて、上記指示部１８ａにより、プロパティにおいて動作内容に関連性のある他のリトミック用データが、第１格納部１０中から検索される（ステップＳ３１８）。
【０１０８】
その検索結果において、指示部１８ａにより、関連性のあるリトミック用データが有るか否かがチェックされ（ステップＳ３２０）、そのようなデータが有れば（ステップＳ３２０；Ｙ）、そのリトミック用データの読み出しアドレスが取得される（ステップＳ３２２）。
【０１０９】
そしてこれまで表示されているリトミック用データについて、最後の読み出しアドレスまでの再生が終了したか否かがチェックされ（ステップＳ３２４）、終了していない場合（ステップＳ３２４；Ｎ）、上記ステップＳ３０８に復帰し、そのリトミック用データの再生処理を行う。
【０１１０】
反対に最後の読み出しアドレスまでの再生が終了した場合（ステップＳ３２４；Ｙ）、上記ステップＳ３０６に復帰して、リトミック用データの新たな読み出しアドレスに基づき、新たなリトミック用データが読み出される（ステップＳ３０６）。以後同様な処理を行う。
【０１１１】
上記ステップＳ３２０に戻って、反対に関連性のあるリトミック用データがなければ（ステップＳ３２０；Ｎ）、上述のように、関連性のない新たな表示画像データのアドレスが取得された（ステップＳ３２６）後、これまで表示されているリトミック用データについて、最後の読み出しアドレスまでの再生が終了したか否かがチェックされ（ステップＳ３２８）、終了していない場合（ステップＳ３２８；Ｎ）、上記ステップＳ３０８に復帰し、そのリトミック用データの再生処理を行う。
【０１１２】
反対に最後の読み出しアドレスまでの再生が終了した場合（ステップＳ３２８；Ｙ）、上記ステップＳ３０６に復帰して、これまでの映像とは関連性のない新たなリトミック用データの読み込み処理に移行する（ステップＳ３０６）。
【０１１３】
上記実施例構成では、比較部２２で生成された、撮像された画像データ間の差異データを元に、指示部１８ａによって、該差異データに相当する予測動作プロパティが上記第２格納部２４に存在するか否かが検索されると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティが第１格納部１０の関連性データに突き合わされて、該予測動作プロパティと関連のあるプロパティを有するリトミック用データについて、第１格納部１０から次に読み出させて表示させる指示が、上記表示部１２に出力されることになる。
【０１１４】
上記第２格納部２４に予め蓄積された予測動作プロパティは、差異データに基づく、視聴楽対象者の予測動作の特徴を示すものであるので、常に、撮像された画像データ間の差異データを比較部２２で取り続けていれば、自ずと、視聴楽対象者の動作が予測される。
【０１１５】
例えば、撮像された画像データが静止画像であっても、人の輪郭データをデフォルトで持っていれば、それから人物の有無が分かり、また目の位置や口端の位置及び目の周辺の皺などのデータをデフォルトで持っていれば、表情の解析などが可能である。さらに撮像画像データが動画画像であれば、差異データに変化があるか否かによって、画像に変化があるか否かが判定され、変化が有れば、撮像部１４の前の視聴楽対象者が動いていると判断できる。変化が少なければ、動きが少ない、又は撮像部１４の前に視聴楽対象者がいないといった情報を得ることができる。
【０１１６】
これらの撮像画像データに所定のパラメータによる重み付けを行って、総合評価を行い、視聴楽対象者の動作を予測するようにしても良い。例えば、笑いながら激しく動いている、楽しそうに画像を見ている、画像を見ないで動いている、撮像部１４の前に居ないなどの動作や状態を、上記指示部１８ａにおいて自動的に予測・判定できることになる。
【０１１７】
尚、本発明の画像表示装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【産業上の利用可能性】
【０１１８】
本発明の画像表示装置は、リトミック学習教材としての利用ばかりではなく、各種運動などのシミュレーション用、例えば、タイミングを検出して、ちゃんとやっているようだと関連性のある映像を繋げて再生し、やっていないようだとストレッチ的な映像に切り替えたり励ましの言葉が入った映像に切り替えるなどのトレーニング映像に使用したり、パソコンなどの入力インターフェース、特に体の様々な部位にハンディキャップのある人のための入力インターフェースとしての利用も可能である。
【図面の簡単な説明】
【０１１９】
【図１】本発明に係る画像表示装置の構成が実現されるパソコン１００と、その側に立った視聴楽対象者との使用状態を示す説明図である。
【図２】上記パソコン１００の回路構成の概要を示す概略図である。
【図３】実施例１の構成の概要を示す機能ブロック図である。
【図４】実施例１の基本処理フローを示すフローチャートである。
【図５】表示されるリトミック用データと撮像画像データの比較判定処理において、判定対象につき、最初に視聴楽対象者が設定する動作検出設定画面の構成を示す画面構成説明図である。
【図６】上記フローチャートにおけるステップＳ１１４の画像データ比較判定処理の処理フローを示すフローチャートである。
【図７】実施例１の表示部１２における画像表示例を示す説明図である。
【図８】実施例２の構成の概要を示す機能ブロック図である。
【図９】実施例２の基本処理フローを示すフローチャートである。
【符号の説明】
【０１２０】
１０ 格納部、第１格納部
１２ 表示部
１４ 撮像部
１６ 判定部
１８、１８ａ 指示部
２０ バッファ
２２ 比較部
２４ 第２格納部
１００ パソコン
１０２ システムバス
１０４ ＣＰＵ
１０６ ＲＯＭ
１０８ ＲＡＭ
１１０ 画像制御部
１１２ Ｉ／Ｏインターフェース
１１４ ドライブインターフェース
１１６ ハードディスクドライブ
１１８ ＤＶＤ−ＲＯＭドライブ
１１８ａ ＤＶＤ−ＲＯＭ
１２０ キーボード
１２２ マウス
１２４ サウンドシステム
【特許請求の範囲】
【請求項１】
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
表示された画像データと撮像された画像データとのうち、体の部位及び動きの方向を判定すると共に、該体の部位、動きの方向、さらに動きのタイミングを比較し、これらが同期しているか否かを判定する判定手段と、
少なくとも動きのタイミングが同期すると判定される場合、表示された画像データの動作内容のプロパティを読み出し、上記関連性データを参照して、そのプロパティと動作内容に関連性のある他の画像データにつき、次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
を有することを特徴とする画像表示装置。
【請求項２】
上記判定手段で、少なくとも動きのタイミングが同期すると判定される場合に、撮像された画像データから判定された体の部位及び／又は動きの方向の判定結果を、表示された画像データの体の部位及び／又は動きの方向に合わせて、該判定手段自身で修正することを特徴とする請求項１記載の画像表示装置。
【請求項３】
視聴楽対象者に装着させる身体部位センサをさらに備えることで、上記判定手段における、少なくとも体の部位及び動きの方向の判定処理負荷を軽減することを特徴とする請求項１又は２記載の画像表示装置。
【請求項４】
上記撮像手段で撮像された画像データを、上記表示手段で表示される画像データと共に表示させることを特徴とする請求項１〜３いずれか１つに記載の画像表示装置。
【請求項５】
生成機会と、上記関連性データの関連性とに、ランダム性を与える乱数生成機能を上記指示手段に備え、該指示手段が次の読み出し及び表示に指示を与える画像データとして、不定期に、画像データ同士間の関連性が不連続になるようにしたことを特徴とする請求項１〜４いずれか１つに記載の画像表示装置。
【請求項６】
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく第１の格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
撮像された画像データを一時的に記憶しておくバッファと、
撮像された画像データ間を比較し、これらの画像データ間の差異を差異データとして生成する比較手段と、
上記差異データ毎に予め蓄積された視聴楽対象者の予測動作のプロパティを格納しておく第２の格納手段と、
上記比較手段で生成された差異データを元に、該差異データに相当する予測動作プロパティが上記第２の格納手段に存在するか否かを検索すると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティを第１の格納手段の関連性データに突き合わせて、該予測動作プロパティと関連のあるプロパティを有する画像データにつき、第１の格納手段から次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
を有することを特徴とする画像表示装置。
【請求項７】
コンピュータに読み込まれて実行されることで、該コンピュータを、
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
表示された画像データと撮像された画像データとのうち、体の部位及び動きの方向を判定すると共に、該体の部位、動きの方向、さらに動きのタイミングを比較し、これらが同期しているか否かを判定する判定手段と、
少なくとも動きのタイミングが同期すると判定される場合、表示された画像データの動作内容のプロパティを読み出し、上記関連性データを参照して、そのプロパティと動作内容に関連性のある他の画像データにつき、次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
として機能させることを特徴とする画像表示用プログラム。
【請求項８】
上記判定手段で、少なくとも動きのタイミングが同期すると判定される場合に、撮像された画像データから判定された体の部位及び／又は動きの方向の判定結果を、表示された画像データの体の部位及び／又は動きの方向に合わせて、該判定手段自身で修正することを特徴とする請求項７記載の画像表示用プログラム。
【請求項９】
視聴楽対象者に装着させる身体部位センサを上記コンピュータにさらに接続することで、上記判定手段における、少なくとも体の部位及び動きの方向の判定処理負荷を軽減することを特徴とする請求項７又は８記載の画像表示用プログラム。
【請求項１０】
上記撮像手段で撮像された画像データを、上記表示手段で表示される画像データと共に表示させることを特徴とする請求項７〜９いずれか１つに記載の画像表示用プログラム。
【請求項１１】
生成機会と、上記関連性データの関連性とに、ランダム性を与える乱数生成機能を上記指示手段に備え、該指示手段が次の読み出し及び表示に指示を与える画像データとして、不定期に、画像データ同士間の関連性が不連続になるようにしたことを特徴とする請求項７〜１０いずれか１つに記載の画像表示用プログラム。
【請求項１２】
コンピュータに読み込まれて実行されることで、該コンピュータを、
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく第１の格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
撮像された画像データを一時的に記憶しておくバッファと、
撮像された画像データ間を比較し、これらの画像データ間の差異を差異データとして生成する比較手段と、
上記差異データ毎に予め蓄積された視聴楽対象者の予測動作のプロパティを格納しておく第２の格納手段と、
上記比較手段で生成された差異データを元に、該差異データに相当する予測動作プロパティが上記第２の格納手段に存在するか否かを検索すると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティを第１の格納手段の関連性データに突き合わせて、該予測動作プロパティと関連のあるプロパティを有する画像データにつき、第１の格納手段から次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
として機能させることを特徴とする画像表示用プログラム。
【請求項１】
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
表示された画像データと撮像された画像データとのうち、体の部位及び動きの方向を判定すると共に、該体の部位、動きの方向、さらに動きのタイミングを比較し、これらが同期しているか否かを判定する判定手段と、
少なくとも動きのタイミングが同期すると判定される場合、表示された画像データの動作内容のプロパティを読み出し、上記関連性データを参照して、そのプロパティと動作内容に関連性のある他の画像データにつき、次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
を有することを特徴とする画像表示装置。
【請求項２】
上記判定手段で、少なくとも動きのタイミングが同期すると判定される場合に、撮像された画像データから判定された体の部位及び／又は動きの方向の判定結果を、表示された画像データの体の部位及び／又は動きの方向に合わせて、該判定手段自身で修正することを特徴とする請求項１記載の画像表示装置。
【請求項３】
視聴楽対象者に装着させる身体部位センサをさらに備えることで、上記判定手段における、少なくとも体の部位及び動きの方向の判定処理負荷を軽減することを特徴とする請求項１又は２記載の画像表示装置。
【請求項４】
上記撮像手段で撮像された画像データを、上記表示手段で表示される画像データと共に表示させることを特徴とする請求項１〜３いずれか１つに記載の画像表示装置。
【請求項５】
生成機会と、上記関連性データの関連性とに、ランダム性を与える乱数生成機能を上記指示手段に備え、該指示手段が次の読み出し及び表示に指示を与える画像データとして、不定期に、画像データ同士間の関連性が不連続になるようにしたことを特徴とする請求項１〜４いずれか１つに記載の画像表示装置。
【請求項６】
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく第１の格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
撮像された画像データを一時的に記憶しておくバッファと、
撮像された画像データ間を比較し、これらの画像データ間の差異を差異データとして生成する比較手段と、
上記差異データ毎に予め蓄積された視聴楽対象者の予測動作のプロパティを格納しておく第２の格納手段と、
上記比較手段で生成された差異データを元に、該差異データに相当する予測動作プロパティが上記第２の格納手段に存在するか否かを検索すると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティを第１の格納手段の関連性データに突き合わせて、該予測動作プロパティと関連のあるプロパティを有する画像データにつき、第１の格納手段から次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
を有することを特徴とする画像表示装置。
【請求項７】
コンピュータに読み込まれて実行されることで、該コンピュータを、
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
表示された画像データと撮像された画像データとのうち、体の部位及び動きの方向を判定すると共に、該体の部位、動きの方向、さらに動きのタイミングを比較し、これらが同期しているか否かを判定する判定手段と、
少なくとも動きのタイミングが同期すると判定される場合、表示された画像データの動作内容のプロパティを読み出し、上記関連性データを参照して、そのプロパティと動作内容に関連性のある他の画像データにつき、次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
として機能させることを特徴とする画像表示用プログラム。
【請求項８】
上記判定手段で、少なくとも動きのタイミングが同期すると判定される場合に、撮像された画像データから判定された体の部位及び／又は動きの方向の判定結果を、表示された画像データの体の部位及び／又は動きの方向に合わせて、該判定手段自身で修正することを特徴とする請求項７記載の画像表示用プログラム。
【請求項９】
視聴楽対象者に装着させる身体部位センサを上記コンピュータにさらに接続することで、上記判定手段における、少なくとも体の部位及び動きの方向の判定処理負荷を軽減することを特徴とする請求項７又は８記載の画像表示用プログラム。
【請求項１０】
上記撮像手段で撮像された画像データを、上記表示手段で表示される画像データと共に表示させることを特徴とする請求項７〜９いずれか１つに記載の画像表示用プログラム。
【請求項１１】
生成機会と、上記関連性データの関連性とに、ランダム性を与える乱数生成機能を上記指示手段に備え、該指示手段が次の読み出し及び表示に指示を与える画像データとして、不定期に、画像データ同士間の関連性が不連続になるようにしたことを特徴とする請求項７〜１０いずれか１つに記載の画像表示用プログラム。
【請求項１２】
コンピュータに読み込まれて実行されることで、該コンピュータを、
動作内容のプロパティを有する画像データと、内容的に関連のあるプロパティを有する画像データ同士間の関連性を規定した関連性データとを、少なくとも格納しておく第１の格納手段と、
画像データを読み出して表示する表示手段と、
視聴楽対象者の画像を撮像する撮像手段と、
撮像された画像データを一時的に記憶しておくバッファと、
撮像された画像データ間を比較し、これらの画像データ間の差異を差異データとして生成する比較手段と、
上記差異データ毎に予め蓄積された視聴楽対象者の予測動作のプロパティを格納しておく第２の格納手段と、
上記比較手段で生成された差異データを元に、該差異データに相当する予測動作プロパティが上記第２の格納手段に存在するか否かを検索すると共に、該予測動作プロパティが存在する場合に、この予測動作プロパティを第１の格納手段の関連性データに突き合わせて、該予測動作プロパティと関連のあるプロパティを有する画像データにつき、第１の格納手段から次に読み出させて表示させる指示を上記表示手段に出力する指示手段と
として機能させることを特徴とする画像表示用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−４５２４５（Ｐ２００９−４５２４５Ａ）
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願番号】特願２００７−２１４３８３（Ｐ２００７−２１４３８３）
【出願日】平成１９年８月２１日（２００７．８．２１）
【出願人】（０００００１４１０）株式会社河合楽器製作所 (563)
【Ｆターム（参考）】
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願日】平成１９年８月２１日（２００７．８．２１）
【出願人】（０００００１４１０）株式会社河合楽器製作所 (563)
【Ｆターム（参考）】
[ Back to top ]