画像処理システム及び画像処理方法
【課題】 特に人間の運動の適否を判断するのに適した画像処理システム及び画像処理方法を提供すること。
【解決手段】 トレッドミル４と、トレッドミル４上で行われる利用者５の運動を撮影する撮影装置２と、撮影装置２により得られた利用者５の運動を示す動画データを処理する画像処理装置１と、画像処理装置１により得られた画像処理結果Ｒを利用者５がトレッドミル４上にて見ることができるように表示するモニタ３と、からなる画像処理システムであって、画像処理装置１は、利用者５の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた重畳動画データをモニタ３に表示する画像処理システム及び画像処理方法。
【解決手段】 トレッドミル４と、トレッドミル４上で行われる利用者５の運動を撮影する撮影装置２と、撮影装置２により得られた利用者５の運動を示す動画データを処理する画像処理装置１と、画像処理装置１により得られた画像処理結果Ｒを利用者５がトレッドミル４上にて見ることができるように表示するモニタ３と、からなる画像処理システムであって、画像処理装置１は、利用者５の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた重畳動画データをモニタ３に表示する画像処理システム及び画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に人間の運動が正しく行われているか否かを判断するのに適した画像処理システム及び画像処理方法に関するものであり、より詳細には、人の歩行バランスの適否又は運動の正確性などを直接見て確認しながら歩行したり運動を行うようにすることで、歩容リハビリテーション支援又はスポーツのトレーニングなどにも適した画像処理システム及び画像処理方法に関するものである。
【背景技術】
【０００２】
例えば、脳出血などの症状を発症した場合、片麻痺の症状が現れることがある。その際には、健常時に復帰するためリハビリテーションを行う必要があり、家庭でもリハビリテーションを行うことのできるシステムが望まれている。
そして、リハビリ歩行訓練の際には、理学療法士からの指示を受けながら、歩行状態を正しく把握した上でその矯正を行うことが重要である。
また、歩行、競歩、走るといった運動（スポーツ）を正確に行うことができるようにするためのトレーニングに際しては、実際の運動の様子を正しく把握する必要がある。
【０００３】
そこで、自分の過去の運動の様子を示す動画と、現在の運動の様子を示す動画とをそのまま並べて表示する「画像比較表示装置」の発明が提案されている（特許文献１）。
【０００４】
また、従来、予め設定された運動を正しく実行するための「運動支援システム及び運動支援方法」として、撮像手段によって得られた利用者の運動の様子を示す動画と、参考にすべき運動の様子を示す動画とを表示画面に並べて表示する発明が提案されている（特許文献２）。
【０００５】
特許文献１に記載の発明においては、同じ利用者の動きを比較できるものではあるが、健常時の好適な動作との比較を直接的に行うことができるものではなく、どこをどのように矯正すればよいのかということを具体的に利用者に示すことができないこと、そもそも自分の過去の動画を持っているとは限らないことなどの課題があった。
【０００６】
また、特許文献２に記載の発明においては、他人の参考パターンを表示するものであるため、身長や体型の相違、運動の周期等が異なり、利用者の実際の動きと正確に対応していないため、十分なリハビリ効果を得ることが期待できないというおそれがあった。
【０００７】
そこで、本発明者らは、「歩容における左右バランスに着目した自主的リハビリテーション支援システムの提案」により、利用者が歩行している様子を撮影したオリジナル動画データから、正常な動作部分を抜き出して、悪い動きと重ね合わせることで、悪い動きの存在を利用者に示す画像処理システムを提案している（非特許文献１）。
しかしながら、上記の画像処理システムにおいては、利用者が歩行を終えた後に画像処理された画像を見ることで、悪い動きを把握するようにしているため、歩行しながら直接的に悪い動きを把握してリアルタイムでその悪い動きを修正するということができないという問題があった。
【０００８】
さらに、上記の画像処理システムにおいては、歩行空間に制限があるため、長距離、長時間の歩行ができないという問題や、歩行により撮影される画像の大きさや位置が変化してしまうため画像処理に時間を要するという問題がある。
また、従来の歩行リハビリ装置においては、利用者がモチベーションを高く維持しつつ楽しく歩行訓練を行うことができるための工夫が十分でないという課題があった。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０００−１３８９２７号公報
【特許文献２】特許第３５６５９３６号公報
【非特許文献】
【００１０】
【非特許文献１】梅津昌也ほか「歩容における左右バランスに着目した自主的リハビリテーション支援システムの提案」、電子情報通信学会総合大会講演論文集、社団法人電子情報通信学会、情報・システム（２）、ｐ．１５３、２０１０年３月２日
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明が解決しようとする課題は、従来の画像処理システム又は画像処理方法によっては、利用者が歩行又は運動しながら、その歩行バランスの適否又は運動動作の正確性を直接リアルタイムで把握することができないことであり、本発明の目的は、利用者が楽しく歩行又は運動しながら矯正すべきところを自分で容易に把握することができる画像処理システム及び画像処理方法を提供し、リハビリ効果の増進又は適正な運動動作の習得を得られるようにすることにある。
即ち、本発明の目的は、特に人間の運動が正しく行われているか否かを判断するのに適した画像処理システム及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、『トレッドミルと、前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、からなる画像処理システムであって、前記画像処理装置は、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示する画像処理システム。』を最も主要な特徴とするものである。
【００１３】
本発明の画像処理システムは、さらに、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発する音響装置をさらに備えていることが望ましい。
【００１４】
さらに、本発明の画像処理システムは、より好ましくは、前記画像処理装置は、前記反転動画データが半身分の動画データであって、現在の動画データの軸足ではない側の足の動きに重ね合わせることを特徴とする。
また、本発明は、前記画像処理装置が利用者の過去の動画データ又は現在の動画データを色分けしてモニタに表示するものであったり、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示するものであってもよい。
前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示するものであってもよい。
【００１５】
前記画像処理装置は、利用者の運動を撮影したオリジナル動画データから、左足軸歩行又は右足軸歩行の開始時から終了時までの動画データを得る際に、オリジナル動画データを構成する画像データについて、利用者の足首付近の肌の露出部分を解析し、一方の足の露出部分が最下点位置となったときをその足を軸とする歩行の開始時とし、その足を軸とする歩行の終了時を他方の足の露出部分が最下点位置となったときとしているものであってもよい。
【００１６】
本発明は、左足軸歩行の開始時から終了時までの所用時間と、右足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合には、利用者に警告を発する画像処理システムであってもよい。
さらに、本発明の前記画像処理装置は、遠隔地にある電子計算機と接続することで、当該電子計算機に対して重畳動画データを送信したり、当該電子計算機からの画像データをモニタに表示したり、利用者に対する音声メッセージを伝達できるものであってもよい。
【００１７】
本発明は、トレッドミルと、前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、からなる画像処理システムにおける画像処理方法であって、前記画像処理装置によって、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示する画像処理方法を含むものである。
【００１８】
本発明の画像処理方法において、前記画像処理システムが音響装置をさらに備えており、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発するものであってもよい。また、本発明の画像処理方法において、前記画像処理装置による反転動画データと他方の動画データとを重ね合わせは、色分けされて行われるものであってもよく、前記画像処理装置は、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示するものであってもよい。
本発明の画像処理方法において、前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示するものであってもよい。
さらに、本発明は、上記の画像処理方法を電子計算機で実行するためのプログラムを含むものである。
【発明の効果】
【００１９】
上記構成を採用したことにより、本発明の画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムは、トレッドミルを活用することで、場所をとらず、繰り返し歩いたり走ったりする運動を行うことができ、モニタに表示される重畳動画データを見ながら利用者自身の現在の運動の様子を直接的にリアルタイムで比較し正確に確認しながら運動を行うことができる。
また、トレッドミル上の利用者画像のサイズ及び位置はほぼ一定であるため、画像処理の正確性及び処理速度が高められるという効果を奏する。
【００２０】
さらに、前記画像処理装置によって前記反転動画データの半身分の動画データを重ね合わせることで、比較対象を絞り込んでモニタ上に表示することができ、表示される画像が見やすく、かつ、処理速度もより一層向上するという効果を得られる。
また、歩行リズムをチェックするためのガイド音を発する音響装置を備えている場合には、このガイド音に合わせて歩行することで、利用者が自分の歩行のリズムが正しいか否かを耳から聞こえるガイド音からも把握することができ、正しい歩行を習得する訓練としての効果を高めることができるとともに、音楽を聴きながら利用者が楽しく歩行訓練を行うことができる。
従って、この場合においては、利用者がモチベーションを高く維持しつつ歩行訓練を行うことができる。
また、前記画像処理装置が利用者の過去の動画データ又は現在の動画データを色分けしてモニタに表示するものである場合には、運動の比較を視覚的により一層明確かつ迅速に行うことができる。
【００２１】
本発明において、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告がモニタに表示される場合には、利用者による運動範囲の適否を簡単に知ることができる。
さらに、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データがモニタに表示される場合には、運動の適否を正確に知ることができるばかりか、運動を継続するモチベーションを高めることもできる。
【００２２】
本発明において、前記画像処理装置が、利用者の足首付近の肌の露出部分を解析し、足の露出部分が最下点位置となったときを基準として歩行の開始時と終了時を判断する場合には、利用者に特別のマーカーを付したり装着したりすることなく、動画データの重ね合わせが可能となり、手軽に本発明の画像処理システムを用いることができる。
【００２３】
本発明において、左足軸歩行の開始時から終了時までの所用時間と、右足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合に、利用者に警告を発するようにすれば、利用者による運動リズムの適否を簡単に知ることができる。
さらに、本発明において、遠隔地にある電子計算機と接続することで、当該電子計算機に対して重畳動画データを送信したり、当該電子計算機からの画像データをモニタに表示したり、利用者に対する音声メッセージを伝達できるようにすれば、画像処理システムを自宅において遠隔地から指導医やインストラクターの指示を受けて運動を行うことができる。
【００２４】
本発明の画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムを、リハビリを行う利用者について用いた場合には、本人の健常側の動きを対称として比較するので、身体的特徴が同じであるために参考にしやすいものとなる。また、画像処理を用いて重ね合わせて表示するためにどのように動きが異なっているか、どのように体を動かせばいいのかが分かりやすいという効果を奏する。
さらに、本発明は、トレッドミルを使用することにより、利用者が歩行状態を確認しながら長時間歩行することが可能となるため、半身麻痺又は義足の利用者について、よりリハビリテーションの効果を得ることができる。またトレッドミルを使用することにより画像処理にかかる時間が減少し、運動の状態を直接的にリアルタイムで比較しながらリハビリテーションを行うことができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の画像処理システムを示す斜視図。
【図２】本発明の画像処理システムの概要を示す概念図。
【図３】本発明の画像処理システムのモニタ画面を示す図。
【図４】本発明の画像処理システムによるオリジナル動画データとその各画像データ（フレーム）についての画像処理の様子を示す図。
【図５】本発明の画像処理システムのモニタに表示される画像が生成される様子を示す図。
【図６】本発明の画像処理システムのモニタに表示される画像が生成される様子を示す図。
【図７】本発明の画像処理システムのモニタに表示される画像を示す図。
【図８】本発明の画像処理方法による画像処理の過程を示すフロー図。
【図９】利用者が歩行訓練をする際における左右の足の接地時刻と立脚時間を示す図。
【図１０】本発明の画像処理システムのモニタに表示される画像を示す図。
【図１１】本発明の画像処理システムの運転モードを選択するためのモニタ上の表示を示す図。
【発明を実施するための形態】
【００２６】
本発明は、トレッドミルと、前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、からなる画像処理システムであって、前記画像処理装置は、利用者の過去の運動を（参照画像として）撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示する画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムである。
【００２７】
次に、本発明の画像処理システム及び画像処理方法を、歩容リハビリテーション支援のために具体化した一実施形態について図に従って説明する。
本発明の一実施形態の画像処理システムは、図１及び図２に示すように、画像処理装置として機能する電子計算機１と、撮影装置（ビデオカメラ）２と、モニタ３と、前記撮影装置２及びモニタ３の前方に設置されたトレッドミル４とから構成されている。
この撮影装置２を設置する位置としては、トレッドミル４の前方であって、床面からの高さが８０〜１００ｃｍ程度の位置が好ましい。
また、前記モニタ３としては、家庭で毎日行うリハビリテーションの場合には、家庭に設置してあるＴＶを使用することが好ましいが、電子計算機（パソコン）用のモニタであってもよい。
【００２８】
前記電子計算機１は、本発明を具体化して実施するための電子計算機用プログラムを備えており、撮影装置２から提供される動画データに基づいて画像処理を行うものであって、その画像処理結果Ｒ、評価データＥ、歩数Ｎ及び経過時間（残り時間）Ｔなどの各種情報をモニタ３に表示し、利用者５がそれらの情報を見ながらトレッドミル４上にて歩行（運動）を繰り返し行うことができるようになっている。
【００２９】
ここで、前記画像処理結果Ｒとしては、利用者による直前の運動を撮影したオリジナル動画データを参照画像としてその比較対象部分の左右を反転させた反転動画データを、現在行われている運動を撮影したオリジナル動画データと重ね合わせた重畳動画データを好適に用いることができる。
これは、以下の理由から採用されるものである。
健常者による歩行運動は、体の左右で同じ動きをしており、体の左右で同じタイミングで同じ動きをすることが正常な歩行であるといえる（図４（Ａ）の画像フレーム参照）。即ち、健常者による歩行運動は、右足軸の歩行と、左足軸の歩行とが、体の左右で対称の動きとなっている。
【００３０】
一方、片麻痺を抱える人の歩行は、片側の動き（例えば右足軸の歩行）は麻痺の影響が少なく問題のない動きとなっているが、逆側の動きは（例えば左足軸の歩行）は、片麻痺の影響で悪い動きになっている。片麻痺の歩行は問題のない動きと悪い動きが交互に現れるため、悪い動きの直前の問題のない動きを参考の動きとして、反転して重ね合わせて表示することで動きの差異を認識させることができ、リハビリテーションの効果が表れる（図４（Ｂ）の画像フレーム参照）。
また、片麻痺を抱える人の歩行は、右足軸での歩行と左足軸での歩行に要する時間に狂いが生じることがある。
【００３１】
このように、リハビリを行う本人の健常側の動きを対称として比較するので、身体的特徴が同じであるために参考にしやすい。また、画像処理を用いて重ね合わせて表示するためにどのように動きが異なっているか、どのように体を動かせばいいのかが分かりやすいという効果を得られる。
【００３２】
この一実施形態における評価データＥとは、利用者５の運動を撮影したオリジナル動画データの比較対象部分を反転させた反転動画データと、オリジナル動画データとの重なり合う度合いを示すものであって、一実施形態としては、数値データ（デジタル表示）を用いているが、棒グラフ、折れ線グラフ、メーターのような形態でのアナログ表示を用いてもよい。
この評価データＥは、画像の一致率が高い場合に加算され、一致率が低下した場合に減算されることで、リアルタイムで歩行の状態の善し悪しを評価して利用者５に表示できるものである。
【００３３】
前記重畳データを得るための画像処理は、以下のような手順で行われる。
即ち、前記画像処理装置としての電子計算機１は、まず、利用者の運動を撮影したオリジナル動画データから、左足軸歩行又は右足軸歩行の開始時から終了時までの動画データを抽出する。
ここで、何れの軸足による運動を基準とするかは、好適には予め利用者が選択するものであり、右足軸歩行が正常であれば、右足軸歩行を選択し、その動画データを基準とするように、電子計算機１にて指定する。
そして、その選択された正しい動作となっている右足軸歩行の動画データを反転させた反転動画データを生成する（図４（Ｂ）参照）。
【００３４】
次に、利用者５による右足軸歩行の開始時から終了時までの動画データからなる右足軸歩行動画データの開始時と、現在の歩行の様子を示す左足軸歩行の開始時のオリジナル動画データの開始時とを一致させることで、両データのタイミングを合わせ、対応する動画データの各画像同士を重ね合わせ、全身の重畳動画データを得る（図５（Ｂ）参照）。
この重畳動画データにおいては、利用者５の反転動画データの画像データと、現在の歩行の様子を示すオリジナル動画データの画像データとが一致していない部分については、反転動画データの画像データ部分は、モニタ３上にて青色にて表示し、オリジナル動画データの画像データ部分はモニタ３上にて赤色にて色分け表示するようにするとよい（図５（Ｃ）参照）。
なお、上記においては、反転動画データと、現在のオリジナル動画データとの一致していない部分について、反転動画データを青色で、オリジナル動画データを赤色で表示する方法を採用したが、その一方のみ、特に反転動画は正しい動きであるので、現在のオリジナル動画と対応する運動を直すという意味から、現在のオリジナル動画の一致していない部分のみをモニタ３上で赤色にて表示するというような表示方法を採用してもよい。
【００３５】
なお、この重畳動画データにおいては、特に利用者５の肌が露出している部分（肌色の部分）のみを別途認識し、その部分について、反転動画データの画像データと、現在の歩行の様子を示すオリジナル動画データの画像データとが一致している部分は、白色にて表示するようにしてもよい。
そして、両動画データ中の画像データが一致していない部分については、反転動画データの画像データ部分は青色にて表示し、オリジナル動画データの画像データ部分は赤色にて色分け表示する。
【００３６】
即ち、重畳動画データは、利用者５による現在の歩行の様子を示す動画データ（例えば左足軸歩行の動画データ）と、その一歩前に行われた歩行の様子を示す動画データ（この場合右足軸歩行の動画データ）とから生成されるものであって、何れか一方の動画データを反転することで現在の歩行の状態の善し悪しを判断できるようにするものである。
従って、正しい歩行の状態と、悪い歩行の状態との対比を直接的にリアルタイムで簡単に見比べながら歩行運動を続けることができ、高いリハビリ効果を効率よく得ることができる。
さらに、肌色の部分を認識するようにすれば、体の特定の位置を画像処理装置が認識できるようにするために特別のマーカーを運動前に装着する必要が無くなり、手軽に本発明の画像処理システムを活用することができる。
【００３７】
前記画像処理装置としての電子計算機１は、利用者５の運動を撮影したオリジナル動画データ（例えば、１秒間に３０個の画像フレームを含む動画データ。）から、右足軸歩行の開始時から終了時までの画像データと、左足軸歩行の開始時から終了時までの画像データとをそれぞれ抽出する際に、オリジナル動画データを構成する画像データについて、利用者５の足首付近の露出部分（即ち、画像上で肌色の部分）を解析し、その露出部分が最下点位置にあるときをその足を軸とする歩行の開始時とし、その足を軸とする歩行の終了時を他方の足の露出部分が最下点位置となったときとしている（図９参照）。
【００３８】
さらに、前記図５（Ｂ）（Ｃ）に示す例においては、全身の重畳動画データを得てモニタ３上に表示するようにしたが、図６（Ｂ）（Ｃ）に示すように、利用者５の正常な歩行を示すオリジナル動画データの反転された半身分（例えば左側）の反転動画データのみを現在の歩行の様子を示すオリジナル動画データと重ね合わせ、重畳動画データを得るようにしてもよい。
【００３９】
上記本発明の画像処理装置としての電子計算機１を用いた画像処理システムによるデータ処理方法の概略について、図８に従って説明する。
前記電子計算機１は、撮影装置２によって利用者５の歩行の様子を正面から撮影し、オリジナル動画データを得る（ステップＳ１）。
次に、前記電子計算機１は、オリジナル動画データを構成する画像データについて、利用者の足首付近の露出部分を解析することで、右足軸歩行の開始時から終了時までの画像データを得て、その各画像データの左右を反転させた反転動画データを得る（ステップＳ２）。
【００４０】
次に、前記電子計算機１は、右足軸歩行の反転動画データと、左足軸歩行のオリジナル動画データとを重ね合わせる（ステップＳ３）。
そして、前記電子計算機１は、重ね合わされた動画データを解析し、重なっていない部分を色分けしてモニタ３上に表示する（ステップＳ４）。
さらに、前記電子計算機１は、右足軸歩行の反転動画データと、左足軸歩行のオリジナル動画データにおける画像の一致具合を数値化して評価データＥ、経過時間Ｔ、歩数Ｎとともにモニタ３に表示する。
【００４１】
ここで、電子計算機１をインターネットＩに接続することで、遠隔地にある電子計算機６と接続することで、遠隔地から指導医の画像Ｄをモニタ３上に表示し、スピーカ７から指導医の利用者５に対する指導メッセージを伝えながらリハビリの指導を行うこともできる。
【００４２】
さらに、本発明の一実施形態の画像処理システムは、その画像処理のモードを変更することで、利用者５の運動が許容される範囲を超えて行われた場合に、利用者５に対する警告をモニタ３上に表示するようにすることもできる。
この警告の例としては、「頭が左に振れています。頭をあまり動かさないようにしましょう。」、「右足が外に振れています。外に振れないように意識しましょう。」といったモニタ３画面上の表示又はスピーカ７からの音声が考えられる。
これは、利用者の肌が露出している部分（顔及び接地付近の足）を特に認識することで、例えば、利用者５の右足８が図７（Ａ）に示す適正位置より例えば１０ｃｍ程度以上外方にはみ出した場合、利用者５に対する警告をモニタ３上に表示するようにするものである。
【００４３】
このモニタ３上への警告の表示は、モニタ３画面上に表示されている利用者５の体の右側又は左側の画面（ゾーンＺ１，Ｚ２）の一方を、例えばゾーンＺ１を薄い青色から薄い赤色の表示に変更することで、利用者５の体の右側に悪い動きが発生したことを簡単かつ明瞭に示すことができる（図７（Ｂ）参照）。
前記のモニタ３上への表示に加え、スピーカ７又は電子計算機１から警告音を発することで、利用者５は、視覚的及び聴覚的にも体の悪い動きの存在を知ることができる。
【００４４】
さらに、本発明の一実施形態の画像処理システムにおいては、利用者の肌が露出している部分を特に認識することで、利用者５の顔面９が許容される範囲を超えて動いた場合、即ち、体幹に大きな傾きが生じた場合に、モニタ３上の画面（ゾーンＺ３，Ｚ４）の色を変更し、利用者５に警告を表示するようにしてもよい。
例えば、図７（Ｃ）に示すように利用者５の腰の部分の幅（約４０ｃｍ程度）の両側にゾーンＺ３，Ｚ４を設定し、図７（Ｄ）に示すように利用者５の顔面９が腰の部分の幅（約４０ｃｍ程度）より左に動いた場合に、モニタ３上のゾーンＺ４の色を薄い青色から薄い赤色に変更することが考えられる。
【００４５】
同様に、利用者５の腕が許容される範囲を超えて動いた場合に、モニタ３上の画面の色を変更し、利用者５に警告を表示するようにしてもよい。
さらに、電子計算機１は、画像処理の結果、利用者５による右足軸歩行の開始時から終了時までの所用時間と、左足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合には、スピーカ７又は電子計算機１から利用者５に警告音を発するようにしたり、モニタ３画面上にその旨の警告を表示するようにしてもよい。
逆に、利用者５の体の左右の動作が正しく一致している場合、及び、右足軸歩行と左足軸歩行の所用時間の差が許容範囲内である場合には、「綺麗に歩けています。この調子で頑張って下さい」という表示をモニタ３画面上に表示したり、スピーカ７から音声でその旨を知らせるようにしてもよい。
【００４６】
上記にて説明したとおり、本発明においては、特に人間の歩く（競歩のような早歩きを含む）、走るといった運動が正しく行われているか否かを判断するのに適した画像処理システム及び画像処理方法を提供することができるものであり、人の歩行バランスの適否又は運動の正確性などを直接的にリアルタイムで見て確認しながら歩行したり運動を行うようにすることで、歩容リハビリテーション支援又はスポーツのトレーニングなどにも適した画像処理システム及び画像処理方法を提供できるものである。
【００４７】
次に、本発明の画像処理システム及び画像処理方法を、歩容リハビリテーション支援のために具体化した他の一実施形態について図９及び図１０に従って説明する。
なお、図９は、利用者５が歩行訓練をする際における左右の足の接地時刻と、各足による立脚時間を示す図であって、Ｙ軸の値は、足の肌の露出部分の下端位置と対応するピクセルの位置を示す。そして、図１０に示すように、撮影装置２による撮影画像の下端位置と対応するピクセルの位置の値が３２０であり、撮影装置２による撮影画像の上端位置と対応するピクセルの位置の値が０となっている。
【００４８】
この画像処理システムは、前記実施形態の画像処理システムにおいて、さらに、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を音響装置としてのスピーカ７から発するようにしている。
「歩行リズムをチェックするためのガイド音」としては、童謡、簡単なメロディーなどといった利用者５に馴染みのある音楽を構成する音であって、歩行の際における一定のテンポ又はタイミングを把握することが容易な音であることが望ましい。
具体的には、一実施形態の画像処理システムにおいては、左足軸の運動及び右足軸の運動の開始時を電子計算機１のプラグラムが判断し、左足軸の運動及び右足軸の運動の開始時と合わせて童謡（例えば「かえるの歌」の音楽）を構成する音を利用者５に聞こえるようにスピーカ７から一音づつガイド音として順次発することで、利用者５に歩行リズムが適正であるか否かを指摘できるようになっている。
【００４９】
さらに、この一実施形態においては、左足及び右足による歩行のリズム（図１０に示すように、モニタ３画面上では画像フレーム数として各足による立脚時間が表示されるようになっている。）が正しい場合には、１００点をモニタ３画面上に表示し、３０分の１秒ズレるごとに５点減点した点数を評価データＥとしてモニタ３画面上に表示することで、歩行リズムの正確さをハッキリと認識できるようにしている。
さらに、右足による歩行に要した画像フレーム数と、左足による歩行に要した画像フレーム数が一致した場合には、モニタ３画面上に設けたリズム判定表示部１０の右側を白く光らせ、右足による歩行に要した画像フレーム数と、左足による歩行に要した画像フレーム数が一致していない場合には、モニタ３画面上に設けたリズム判定表示部１０の左側を赤く光らせて歩行の状態を利用者５が視覚的に容易に確認できるようにしている。
【００５０】
このガイド音に合わせて歩行することで、利用者５が自分の歩行のリズムが正しいか否かを、耳から聞こえるガイド音が正しいメロディーとなっているか否かによって把握することができ、正しい歩行を習得する訓練としての効果を高めることができるとともに、音楽を聴きながら利用者５が楽しく歩行訓練を行うことができるる。
即ち、この一実施形態においては、歩行によって得られる音楽に合わせて利用者５がモチベーションを高く維持しつつ歩行訓練を行うことができる。
【００５１】
この一実施形態の画像処理システム及び画像処理方法によって歩行リズムを指摘した歩行訓練を行った場合と、歩行リズムを指摘しないで無意識に歩行訓練を行った場合の結果について以下の表に示す。
【００５２】
【表１】
【００５３】
上記の結果から、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発する音響装置（スピーカ７）を採用して利用者５に歩行リズムを耳からも指摘することで、正しい歩行リズムの習得が容易となるばかりか、歩行訓練に対する利用者５のモチベーションを高く維持することができることが確認された。
【００５４】
さらに、本発明においては、複数台の撮影装置（ビデオカメラ）２を異なる高さ又は異なる位置に設置し、利用者５の足の位置や状態をより正確に表示したり判定できるようにして実施したり、部分的な拡大画像を別途モニタ３上に表示できるようにして実施したり、特定の波長域の光線を識別可能な撮影装置を用いて利用者５の運動を把握できるようにしたり、利用者５の体温変化などを把握できるようにして実施し、指導医による利用者５の健康状態を的確に判断して適正な範囲でリハビリを行えるようにして実施することも可能であり、かかる場合も本発明の範囲に含まれるものである。
【００５５】
本発明は、上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更して実施することが可能であり、例えば、画像処理装置として機能する電子計算機１にてトレッドミル４の運転速度を変更したり、トレッドミル４の運転を停止させたりできるようにしたり、モニタ３画面上に運転モード切替の意思確認のメッセージを表示するとともに、意思決定や運転のモード選択のための表示を行い、モニタ３画面上のその表示部分に手を触れるようにすることで、運転モードを切り換えたり、運転を停止させたりするようにすることも可能である。
【００５６】
前記運転モード切替の意思確認のメッセージとしては、例えば、「実施したいメニューに手をかざしてください」が考えられる。
意思決定や運転モードの選択のための表示としては、例えば以下のようなものが考えられる。
１）重畳動画データにて図５及び図６に示すような歩行運動の状態を判断したい場合には、「歩行」の文字をモニタ３上に表示する。
２）図７（Ａ）（Ｂ）に示すようにモニタ３画面上にゾーンを設定し、右足の外方への悪い動きを判断したい場合には、「右足」の文字をモニタ３上に表示する。
３）図７（Ｃ）（Ｄ）に示すようにモニタ３画面上にゾーンを設定し体幹（顔面）の傾きを判断したい場合には、「体幹」の文字をモニタ３上に表示する（図１１参照）。
【００５７】
また、電子計算機１にて適度な歩行のピッチ（ペース）を利用者５に示すように、利用者５の実際の歩行の状態とは関係なく、スピーカから一定間隔でビープ音又はリズムを発するようにして実施してもよい。
本発明は、図１０に示すように手すり４ａを備えたトレッドミル４を用いて実施したり、合成画像を利用したゲームなどへの応用も可能である。
さらに、利用者５が病気（片麻痺）に掛かる前の動画データが存する場合には、画像処理装置によって、それをオリジナル動画データ（健常時の正しい運動を示す参照画像）として用い（そのままの動画データ又は左右を反転させた動画データの何れをも参照画像とすることが可能）、現在の運動の様子を示す動画データ（そのままの動画データ又は左右を反転させた動画データ）と重ね合わせてモニタ３上に表示するようにしても、良好なリハビリテーション効果を得ることができる。
【産業上の利用可能性】
【００５８】
本発明は、半身麻痺又は義足の利用者についての歩容リハビリテーション支援又は運動のトレーニングに適した画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムとして、さらには、体を動かして行うゲームにおいて利用することも可能である。
【符号の説明】
【００５９】
１ 電子計算機（画像処理装置）
２ 撮影装置
３ モニタ（ＴＶ）
４ トレッドミル
４ａ 手すり
５ 利用者
６ 電子計算機
７ スピーカ（音響装置）
８ 右足
９ 顔面
１０ リズム判定表示部
Ｉ インターネット
Ｄ 指導医の画像
Ｅ 評価データ
Ｎ 歩数
Ｓ１〜Ｓ６ ステップ
Ｔ 経過時間（残り時間）
Ｚ１〜Ｚ４ ゾーン
【技術分野】
【０００１】
本発明は、特に人間の運動が正しく行われているか否かを判断するのに適した画像処理システム及び画像処理方法に関するものであり、より詳細には、人の歩行バランスの適否又は運動の正確性などを直接見て確認しながら歩行したり運動を行うようにすることで、歩容リハビリテーション支援又はスポーツのトレーニングなどにも適した画像処理システム及び画像処理方法に関するものである。
【背景技術】
【０００２】
例えば、脳出血などの症状を発症した場合、片麻痺の症状が現れることがある。その際には、健常時に復帰するためリハビリテーションを行う必要があり、家庭でもリハビリテーションを行うことのできるシステムが望まれている。
そして、リハビリ歩行訓練の際には、理学療法士からの指示を受けながら、歩行状態を正しく把握した上でその矯正を行うことが重要である。
また、歩行、競歩、走るといった運動（スポーツ）を正確に行うことができるようにするためのトレーニングに際しては、実際の運動の様子を正しく把握する必要がある。
【０００３】
そこで、自分の過去の運動の様子を示す動画と、現在の運動の様子を示す動画とをそのまま並べて表示する「画像比較表示装置」の発明が提案されている（特許文献１）。
【０００４】
また、従来、予め設定された運動を正しく実行するための「運動支援システム及び運動支援方法」として、撮像手段によって得られた利用者の運動の様子を示す動画と、参考にすべき運動の様子を示す動画とを表示画面に並べて表示する発明が提案されている（特許文献２）。
【０００５】
特許文献１に記載の発明においては、同じ利用者の動きを比較できるものではあるが、健常時の好適な動作との比較を直接的に行うことができるものではなく、どこをどのように矯正すればよいのかということを具体的に利用者に示すことができないこと、そもそも自分の過去の動画を持っているとは限らないことなどの課題があった。
【０００６】
また、特許文献２に記載の発明においては、他人の参考パターンを表示するものであるため、身長や体型の相違、運動の周期等が異なり、利用者の実際の動きと正確に対応していないため、十分なリハビリ効果を得ることが期待できないというおそれがあった。
【０００７】
そこで、本発明者らは、「歩容における左右バランスに着目した自主的リハビリテーション支援システムの提案」により、利用者が歩行している様子を撮影したオリジナル動画データから、正常な動作部分を抜き出して、悪い動きと重ね合わせることで、悪い動きの存在を利用者に示す画像処理システムを提案している（非特許文献１）。
しかしながら、上記の画像処理システムにおいては、利用者が歩行を終えた後に画像処理された画像を見ることで、悪い動きを把握するようにしているため、歩行しながら直接的に悪い動きを把握してリアルタイムでその悪い動きを修正するということができないという問題があった。
【０００８】
さらに、上記の画像処理システムにおいては、歩行空間に制限があるため、長距離、長時間の歩行ができないという問題や、歩行により撮影される画像の大きさや位置が変化してしまうため画像処理に時間を要するという問題がある。
また、従来の歩行リハビリ装置においては、利用者がモチベーションを高く維持しつつ楽しく歩行訓練を行うことができるための工夫が十分でないという課題があった。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０００−１３８９２７号公報
【特許文献２】特許第３５６５９３６号公報
【非特許文献】
【００１０】
【非特許文献１】梅津昌也ほか「歩容における左右バランスに着目した自主的リハビリテーション支援システムの提案」、電子情報通信学会総合大会講演論文集、社団法人電子情報通信学会、情報・システム（２）、ｐ．１５３、２０１０年３月２日
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明が解決しようとする課題は、従来の画像処理システム又は画像処理方法によっては、利用者が歩行又は運動しながら、その歩行バランスの適否又は運動動作の正確性を直接リアルタイムで把握することができないことであり、本発明の目的は、利用者が楽しく歩行又は運動しながら矯正すべきところを自分で容易に把握することができる画像処理システム及び画像処理方法を提供し、リハビリ効果の増進又は適正な運動動作の習得を得られるようにすることにある。
即ち、本発明の目的は、特に人間の運動が正しく行われているか否かを判断するのに適した画像処理システム及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、『トレッドミルと、前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、からなる画像処理システムであって、前記画像処理装置は、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示する画像処理システム。』を最も主要な特徴とするものである。
【００１３】
本発明の画像処理システムは、さらに、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発する音響装置をさらに備えていることが望ましい。
【００１４】
さらに、本発明の画像処理システムは、より好ましくは、前記画像処理装置は、前記反転動画データが半身分の動画データであって、現在の動画データの軸足ではない側の足の動きに重ね合わせることを特徴とする。
また、本発明は、前記画像処理装置が利用者の過去の動画データ又は現在の動画データを色分けしてモニタに表示するものであったり、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示するものであってもよい。
前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示するものであってもよい。
【００１５】
前記画像処理装置は、利用者の運動を撮影したオリジナル動画データから、左足軸歩行又は右足軸歩行の開始時から終了時までの動画データを得る際に、オリジナル動画データを構成する画像データについて、利用者の足首付近の肌の露出部分を解析し、一方の足の露出部分が最下点位置となったときをその足を軸とする歩行の開始時とし、その足を軸とする歩行の終了時を他方の足の露出部分が最下点位置となったときとしているものであってもよい。
【００１６】
本発明は、左足軸歩行の開始時から終了時までの所用時間と、右足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合には、利用者に警告を発する画像処理システムであってもよい。
さらに、本発明の前記画像処理装置は、遠隔地にある電子計算機と接続することで、当該電子計算機に対して重畳動画データを送信したり、当該電子計算機からの画像データをモニタに表示したり、利用者に対する音声メッセージを伝達できるものであってもよい。
【００１７】
本発明は、トレッドミルと、前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、からなる画像処理システムにおける画像処理方法であって、前記画像処理装置によって、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示する画像処理方法を含むものである。
【００１８】
本発明の画像処理方法において、前記画像処理システムが音響装置をさらに備えており、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発するものであってもよい。また、本発明の画像処理方法において、前記画像処理装置による反転動画データと他方の動画データとを重ね合わせは、色分けされて行われるものであってもよく、前記画像処理装置は、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示するものであってもよい。
本発明の画像処理方法において、前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示するものであってもよい。
さらに、本発明は、上記の画像処理方法を電子計算機で実行するためのプログラムを含むものである。
【発明の効果】
【００１９】
上記構成を採用したことにより、本発明の画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムは、トレッドミルを活用することで、場所をとらず、繰り返し歩いたり走ったりする運動を行うことができ、モニタに表示される重畳動画データを見ながら利用者自身の現在の運動の様子を直接的にリアルタイムで比較し正確に確認しながら運動を行うことができる。
また、トレッドミル上の利用者画像のサイズ及び位置はほぼ一定であるため、画像処理の正確性及び処理速度が高められるという効果を奏する。
【００２０】
さらに、前記画像処理装置によって前記反転動画データの半身分の動画データを重ね合わせることで、比較対象を絞り込んでモニタ上に表示することができ、表示される画像が見やすく、かつ、処理速度もより一層向上するという効果を得られる。
また、歩行リズムをチェックするためのガイド音を発する音響装置を備えている場合には、このガイド音に合わせて歩行することで、利用者が自分の歩行のリズムが正しいか否かを耳から聞こえるガイド音からも把握することができ、正しい歩行を習得する訓練としての効果を高めることができるとともに、音楽を聴きながら利用者が楽しく歩行訓練を行うことができる。
従って、この場合においては、利用者がモチベーションを高く維持しつつ歩行訓練を行うことができる。
また、前記画像処理装置が利用者の過去の動画データ又は現在の動画データを色分けしてモニタに表示するものである場合には、運動の比較を視覚的により一層明確かつ迅速に行うことができる。
【００２１】
本発明において、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告がモニタに表示される場合には、利用者による運動範囲の適否を簡単に知ることができる。
さらに、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データがモニタに表示される場合には、運動の適否を正確に知ることができるばかりか、運動を継続するモチベーションを高めることもできる。
【００２２】
本発明において、前記画像処理装置が、利用者の足首付近の肌の露出部分を解析し、足の露出部分が最下点位置となったときを基準として歩行の開始時と終了時を判断する場合には、利用者に特別のマーカーを付したり装着したりすることなく、動画データの重ね合わせが可能となり、手軽に本発明の画像処理システムを用いることができる。
【００２３】
本発明において、左足軸歩行の開始時から終了時までの所用時間と、右足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合に、利用者に警告を発するようにすれば、利用者による運動リズムの適否を簡単に知ることができる。
さらに、本発明において、遠隔地にある電子計算機と接続することで、当該電子計算機に対して重畳動画データを送信したり、当該電子計算機からの画像データをモニタに表示したり、利用者に対する音声メッセージを伝達できるようにすれば、画像処理システムを自宅において遠隔地から指導医やインストラクターの指示を受けて運動を行うことができる。
【００２４】
本発明の画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムを、リハビリを行う利用者について用いた場合には、本人の健常側の動きを対称として比較するので、身体的特徴が同じであるために参考にしやすいものとなる。また、画像処理を用いて重ね合わせて表示するためにどのように動きが異なっているか、どのように体を動かせばいいのかが分かりやすいという効果を奏する。
さらに、本発明は、トレッドミルを使用することにより、利用者が歩行状態を確認しながら長時間歩行することが可能となるため、半身麻痺又は義足の利用者について、よりリハビリテーションの効果を得ることができる。またトレッドミルを使用することにより画像処理にかかる時間が減少し、運動の状態を直接的にリアルタイムで比較しながらリハビリテーションを行うことができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の画像処理システムを示す斜視図。
【図２】本発明の画像処理システムの概要を示す概念図。
【図３】本発明の画像処理システムのモニタ画面を示す図。
【図４】本発明の画像処理システムによるオリジナル動画データとその各画像データ（フレーム）についての画像処理の様子を示す図。
【図５】本発明の画像処理システムのモニタに表示される画像が生成される様子を示す図。
【図６】本発明の画像処理システムのモニタに表示される画像が生成される様子を示す図。
【図７】本発明の画像処理システムのモニタに表示される画像を示す図。
【図８】本発明の画像処理方法による画像処理の過程を示すフロー図。
【図９】利用者が歩行訓練をする際における左右の足の接地時刻と立脚時間を示す図。
【図１０】本発明の画像処理システムのモニタに表示される画像を示す図。
【図１１】本発明の画像処理システムの運転モードを選択するためのモニタ上の表示を示す図。
【発明を実施するための形態】
【００２６】
本発明は、トレッドミルと、前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、からなる画像処理システムであって、前記画像処理装置は、利用者の過去の運動を（参照画像として）撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示する画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムである。
【００２７】
次に、本発明の画像処理システム及び画像処理方法を、歩容リハビリテーション支援のために具体化した一実施形態について図に従って説明する。
本発明の一実施形態の画像処理システムは、図１及び図２に示すように、画像処理装置として機能する電子計算機１と、撮影装置（ビデオカメラ）２と、モニタ３と、前記撮影装置２及びモニタ３の前方に設置されたトレッドミル４とから構成されている。
この撮影装置２を設置する位置としては、トレッドミル４の前方であって、床面からの高さが８０〜１００ｃｍ程度の位置が好ましい。
また、前記モニタ３としては、家庭で毎日行うリハビリテーションの場合には、家庭に設置してあるＴＶを使用することが好ましいが、電子計算機（パソコン）用のモニタであってもよい。
【００２８】
前記電子計算機１は、本発明を具体化して実施するための電子計算機用プログラムを備えており、撮影装置２から提供される動画データに基づいて画像処理を行うものであって、その画像処理結果Ｒ、評価データＥ、歩数Ｎ及び経過時間（残り時間）Ｔなどの各種情報をモニタ３に表示し、利用者５がそれらの情報を見ながらトレッドミル４上にて歩行（運動）を繰り返し行うことができるようになっている。
【００２９】
ここで、前記画像処理結果Ｒとしては、利用者による直前の運動を撮影したオリジナル動画データを参照画像としてその比較対象部分の左右を反転させた反転動画データを、現在行われている運動を撮影したオリジナル動画データと重ね合わせた重畳動画データを好適に用いることができる。
これは、以下の理由から採用されるものである。
健常者による歩行運動は、体の左右で同じ動きをしており、体の左右で同じタイミングで同じ動きをすることが正常な歩行であるといえる（図４（Ａ）の画像フレーム参照）。即ち、健常者による歩行運動は、右足軸の歩行と、左足軸の歩行とが、体の左右で対称の動きとなっている。
【００３０】
一方、片麻痺を抱える人の歩行は、片側の動き（例えば右足軸の歩行）は麻痺の影響が少なく問題のない動きとなっているが、逆側の動きは（例えば左足軸の歩行）は、片麻痺の影響で悪い動きになっている。片麻痺の歩行は問題のない動きと悪い動きが交互に現れるため、悪い動きの直前の問題のない動きを参考の動きとして、反転して重ね合わせて表示することで動きの差異を認識させることができ、リハビリテーションの効果が表れる（図４（Ｂ）の画像フレーム参照）。
また、片麻痺を抱える人の歩行は、右足軸での歩行と左足軸での歩行に要する時間に狂いが生じることがある。
【００３１】
このように、リハビリを行う本人の健常側の動きを対称として比較するので、身体的特徴が同じであるために参考にしやすい。また、画像処理を用いて重ね合わせて表示するためにどのように動きが異なっているか、どのように体を動かせばいいのかが分かりやすいという効果を得られる。
【００３２】
この一実施形態における評価データＥとは、利用者５の運動を撮影したオリジナル動画データの比較対象部分を反転させた反転動画データと、オリジナル動画データとの重なり合う度合いを示すものであって、一実施形態としては、数値データ（デジタル表示）を用いているが、棒グラフ、折れ線グラフ、メーターのような形態でのアナログ表示を用いてもよい。
この評価データＥは、画像の一致率が高い場合に加算され、一致率が低下した場合に減算されることで、リアルタイムで歩行の状態の善し悪しを評価して利用者５に表示できるものである。
【００３３】
前記重畳データを得るための画像処理は、以下のような手順で行われる。
即ち、前記画像処理装置としての電子計算機１は、まず、利用者の運動を撮影したオリジナル動画データから、左足軸歩行又は右足軸歩行の開始時から終了時までの動画データを抽出する。
ここで、何れの軸足による運動を基準とするかは、好適には予め利用者が選択するものであり、右足軸歩行が正常であれば、右足軸歩行を選択し、その動画データを基準とするように、電子計算機１にて指定する。
そして、その選択された正しい動作となっている右足軸歩行の動画データを反転させた反転動画データを生成する（図４（Ｂ）参照）。
【００３４】
次に、利用者５による右足軸歩行の開始時から終了時までの動画データからなる右足軸歩行動画データの開始時と、現在の歩行の様子を示す左足軸歩行の開始時のオリジナル動画データの開始時とを一致させることで、両データのタイミングを合わせ、対応する動画データの各画像同士を重ね合わせ、全身の重畳動画データを得る（図５（Ｂ）参照）。
この重畳動画データにおいては、利用者５の反転動画データの画像データと、現在の歩行の様子を示すオリジナル動画データの画像データとが一致していない部分については、反転動画データの画像データ部分は、モニタ３上にて青色にて表示し、オリジナル動画データの画像データ部分はモニタ３上にて赤色にて色分け表示するようにするとよい（図５（Ｃ）参照）。
なお、上記においては、反転動画データと、現在のオリジナル動画データとの一致していない部分について、反転動画データを青色で、オリジナル動画データを赤色で表示する方法を採用したが、その一方のみ、特に反転動画は正しい動きであるので、現在のオリジナル動画と対応する運動を直すという意味から、現在のオリジナル動画の一致していない部分のみをモニタ３上で赤色にて表示するというような表示方法を採用してもよい。
【００３５】
なお、この重畳動画データにおいては、特に利用者５の肌が露出している部分（肌色の部分）のみを別途認識し、その部分について、反転動画データの画像データと、現在の歩行の様子を示すオリジナル動画データの画像データとが一致している部分は、白色にて表示するようにしてもよい。
そして、両動画データ中の画像データが一致していない部分については、反転動画データの画像データ部分は青色にて表示し、オリジナル動画データの画像データ部分は赤色にて色分け表示する。
【００３６】
即ち、重畳動画データは、利用者５による現在の歩行の様子を示す動画データ（例えば左足軸歩行の動画データ）と、その一歩前に行われた歩行の様子を示す動画データ（この場合右足軸歩行の動画データ）とから生成されるものであって、何れか一方の動画データを反転することで現在の歩行の状態の善し悪しを判断できるようにするものである。
従って、正しい歩行の状態と、悪い歩行の状態との対比を直接的にリアルタイムで簡単に見比べながら歩行運動を続けることができ、高いリハビリ効果を効率よく得ることができる。
さらに、肌色の部分を認識するようにすれば、体の特定の位置を画像処理装置が認識できるようにするために特別のマーカーを運動前に装着する必要が無くなり、手軽に本発明の画像処理システムを活用することができる。
【００３７】
前記画像処理装置としての電子計算機１は、利用者５の運動を撮影したオリジナル動画データ（例えば、１秒間に３０個の画像フレームを含む動画データ。）から、右足軸歩行の開始時から終了時までの画像データと、左足軸歩行の開始時から終了時までの画像データとをそれぞれ抽出する際に、オリジナル動画データを構成する画像データについて、利用者５の足首付近の露出部分（即ち、画像上で肌色の部分）を解析し、その露出部分が最下点位置にあるときをその足を軸とする歩行の開始時とし、その足を軸とする歩行の終了時を他方の足の露出部分が最下点位置となったときとしている（図９参照）。
【００３８】
さらに、前記図５（Ｂ）（Ｃ）に示す例においては、全身の重畳動画データを得てモニタ３上に表示するようにしたが、図６（Ｂ）（Ｃ）に示すように、利用者５の正常な歩行を示すオリジナル動画データの反転された半身分（例えば左側）の反転動画データのみを現在の歩行の様子を示すオリジナル動画データと重ね合わせ、重畳動画データを得るようにしてもよい。
【００３９】
上記本発明の画像処理装置としての電子計算機１を用いた画像処理システムによるデータ処理方法の概略について、図８に従って説明する。
前記電子計算機１は、撮影装置２によって利用者５の歩行の様子を正面から撮影し、オリジナル動画データを得る（ステップＳ１）。
次に、前記電子計算機１は、オリジナル動画データを構成する画像データについて、利用者の足首付近の露出部分を解析することで、右足軸歩行の開始時から終了時までの画像データを得て、その各画像データの左右を反転させた反転動画データを得る（ステップＳ２）。
【００４０】
次に、前記電子計算機１は、右足軸歩行の反転動画データと、左足軸歩行のオリジナル動画データとを重ね合わせる（ステップＳ３）。
そして、前記電子計算機１は、重ね合わされた動画データを解析し、重なっていない部分を色分けしてモニタ３上に表示する（ステップＳ４）。
さらに、前記電子計算機１は、右足軸歩行の反転動画データと、左足軸歩行のオリジナル動画データにおける画像の一致具合を数値化して評価データＥ、経過時間Ｔ、歩数Ｎとともにモニタ３に表示する。
【００４１】
ここで、電子計算機１をインターネットＩに接続することで、遠隔地にある電子計算機６と接続することで、遠隔地から指導医の画像Ｄをモニタ３上に表示し、スピーカ７から指導医の利用者５に対する指導メッセージを伝えながらリハビリの指導を行うこともできる。
【００４２】
さらに、本発明の一実施形態の画像処理システムは、その画像処理のモードを変更することで、利用者５の運動が許容される範囲を超えて行われた場合に、利用者５に対する警告をモニタ３上に表示するようにすることもできる。
この警告の例としては、「頭が左に振れています。頭をあまり動かさないようにしましょう。」、「右足が外に振れています。外に振れないように意識しましょう。」といったモニタ３画面上の表示又はスピーカ７からの音声が考えられる。
これは、利用者の肌が露出している部分（顔及び接地付近の足）を特に認識することで、例えば、利用者５の右足８が図７（Ａ）に示す適正位置より例えば１０ｃｍ程度以上外方にはみ出した場合、利用者５に対する警告をモニタ３上に表示するようにするものである。
【００４３】
このモニタ３上への警告の表示は、モニタ３画面上に表示されている利用者５の体の右側又は左側の画面（ゾーンＺ１，Ｚ２）の一方を、例えばゾーンＺ１を薄い青色から薄い赤色の表示に変更することで、利用者５の体の右側に悪い動きが発生したことを簡単かつ明瞭に示すことができる（図７（Ｂ）参照）。
前記のモニタ３上への表示に加え、スピーカ７又は電子計算機１から警告音を発することで、利用者５は、視覚的及び聴覚的にも体の悪い動きの存在を知ることができる。
【００４４】
さらに、本発明の一実施形態の画像処理システムにおいては、利用者の肌が露出している部分を特に認識することで、利用者５の顔面９が許容される範囲を超えて動いた場合、即ち、体幹に大きな傾きが生じた場合に、モニタ３上の画面（ゾーンＺ３，Ｚ４）の色を変更し、利用者５に警告を表示するようにしてもよい。
例えば、図７（Ｃ）に示すように利用者５の腰の部分の幅（約４０ｃｍ程度）の両側にゾーンＺ３，Ｚ４を設定し、図７（Ｄ）に示すように利用者５の顔面９が腰の部分の幅（約４０ｃｍ程度）より左に動いた場合に、モニタ３上のゾーンＺ４の色を薄い青色から薄い赤色に変更することが考えられる。
【００４５】
同様に、利用者５の腕が許容される範囲を超えて動いた場合に、モニタ３上の画面の色を変更し、利用者５に警告を表示するようにしてもよい。
さらに、電子計算機１は、画像処理の結果、利用者５による右足軸歩行の開始時から終了時までの所用時間と、左足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合には、スピーカ７又は電子計算機１から利用者５に警告音を発するようにしたり、モニタ３画面上にその旨の警告を表示するようにしてもよい。
逆に、利用者５の体の左右の動作が正しく一致している場合、及び、右足軸歩行と左足軸歩行の所用時間の差が許容範囲内である場合には、「綺麗に歩けています。この調子で頑張って下さい」という表示をモニタ３画面上に表示したり、スピーカ７から音声でその旨を知らせるようにしてもよい。
【００４６】
上記にて説明したとおり、本発明においては、特に人間の歩く（競歩のような早歩きを含む）、走るといった運動が正しく行われているか否かを判断するのに適した画像処理システム及び画像処理方法を提供することができるものであり、人の歩行バランスの適否又は運動の正確性などを直接的にリアルタイムで見て確認しながら歩行したり運動を行うようにすることで、歩容リハビリテーション支援又はスポーツのトレーニングなどにも適した画像処理システム及び画像処理方法を提供できるものである。
【００４７】
次に、本発明の画像処理システム及び画像処理方法を、歩容リハビリテーション支援のために具体化した他の一実施形態について図９及び図１０に従って説明する。
なお、図９は、利用者５が歩行訓練をする際における左右の足の接地時刻と、各足による立脚時間を示す図であって、Ｙ軸の値は、足の肌の露出部分の下端位置と対応するピクセルの位置を示す。そして、図１０に示すように、撮影装置２による撮影画像の下端位置と対応するピクセルの位置の値が３２０であり、撮影装置２による撮影画像の上端位置と対応するピクセルの位置の値が０となっている。
【００４８】
この画像処理システムは、前記実施形態の画像処理システムにおいて、さらに、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を音響装置としてのスピーカ７から発するようにしている。
「歩行リズムをチェックするためのガイド音」としては、童謡、簡単なメロディーなどといった利用者５に馴染みのある音楽を構成する音であって、歩行の際における一定のテンポ又はタイミングを把握することが容易な音であることが望ましい。
具体的には、一実施形態の画像処理システムにおいては、左足軸の運動及び右足軸の運動の開始時を電子計算機１のプラグラムが判断し、左足軸の運動及び右足軸の運動の開始時と合わせて童謡（例えば「かえるの歌」の音楽）を構成する音を利用者５に聞こえるようにスピーカ７から一音づつガイド音として順次発することで、利用者５に歩行リズムが適正であるか否かを指摘できるようになっている。
【００４９】
さらに、この一実施形態においては、左足及び右足による歩行のリズム（図１０に示すように、モニタ３画面上では画像フレーム数として各足による立脚時間が表示されるようになっている。）が正しい場合には、１００点をモニタ３画面上に表示し、３０分の１秒ズレるごとに５点減点した点数を評価データＥとしてモニタ３画面上に表示することで、歩行リズムの正確さをハッキリと認識できるようにしている。
さらに、右足による歩行に要した画像フレーム数と、左足による歩行に要した画像フレーム数が一致した場合には、モニタ３画面上に設けたリズム判定表示部１０の右側を白く光らせ、右足による歩行に要した画像フレーム数と、左足による歩行に要した画像フレーム数が一致していない場合には、モニタ３画面上に設けたリズム判定表示部１０の左側を赤く光らせて歩行の状態を利用者５が視覚的に容易に確認できるようにしている。
【００５０】
このガイド音に合わせて歩行することで、利用者５が自分の歩行のリズムが正しいか否かを、耳から聞こえるガイド音が正しいメロディーとなっているか否かによって把握することができ、正しい歩行を習得する訓練としての効果を高めることができるとともに、音楽を聴きながら利用者５が楽しく歩行訓練を行うことができるる。
即ち、この一実施形態においては、歩行によって得られる音楽に合わせて利用者５がモチベーションを高く維持しつつ歩行訓練を行うことができる。
【００５１】
この一実施形態の画像処理システム及び画像処理方法によって歩行リズムを指摘した歩行訓練を行った場合と、歩行リズムを指摘しないで無意識に歩行訓練を行った場合の結果について以下の表に示す。
【００５２】
【表１】
【００５３】
上記の結果から、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発する音響装置（スピーカ７）を採用して利用者５に歩行リズムを耳からも指摘することで、正しい歩行リズムの習得が容易となるばかりか、歩行訓練に対する利用者５のモチベーションを高く維持することができることが確認された。
【００５４】
さらに、本発明においては、複数台の撮影装置（ビデオカメラ）２を異なる高さ又は異なる位置に設置し、利用者５の足の位置や状態をより正確に表示したり判定できるようにして実施したり、部分的な拡大画像を別途モニタ３上に表示できるようにして実施したり、特定の波長域の光線を識別可能な撮影装置を用いて利用者５の運動を把握できるようにしたり、利用者５の体温変化などを把握できるようにして実施し、指導医による利用者５の健康状態を的確に判断して適正な範囲でリハビリを行えるようにして実施することも可能であり、かかる場合も本発明の範囲に含まれるものである。
【００５５】
本発明は、上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更して実施することが可能であり、例えば、画像処理装置として機能する電子計算機１にてトレッドミル４の運転速度を変更したり、トレッドミル４の運転を停止させたりできるようにしたり、モニタ３画面上に運転モード切替の意思確認のメッセージを表示するとともに、意思決定や運転のモード選択のための表示を行い、モニタ３画面上のその表示部分に手を触れるようにすることで、運転モードを切り換えたり、運転を停止させたりするようにすることも可能である。
【００５６】
前記運転モード切替の意思確認のメッセージとしては、例えば、「実施したいメニューに手をかざしてください」が考えられる。
意思決定や運転モードの選択のための表示としては、例えば以下のようなものが考えられる。
１）重畳動画データにて図５及び図６に示すような歩行運動の状態を判断したい場合には、「歩行」の文字をモニタ３上に表示する。
２）図７（Ａ）（Ｂ）に示すようにモニタ３画面上にゾーンを設定し、右足の外方への悪い動きを判断したい場合には、「右足」の文字をモニタ３上に表示する。
３）図７（Ｃ）（Ｄ）に示すようにモニタ３画面上にゾーンを設定し体幹（顔面）の傾きを判断したい場合には、「体幹」の文字をモニタ３上に表示する（図１１参照）。
【００５７】
また、電子計算機１にて適度な歩行のピッチ（ペース）を利用者５に示すように、利用者５の実際の歩行の状態とは関係なく、スピーカから一定間隔でビープ音又はリズムを発するようにして実施してもよい。
本発明は、図１０に示すように手すり４ａを備えたトレッドミル４を用いて実施したり、合成画像を利用したゲームなどへの応用も可能である。
さらに、利用者５が病気（片麻痺）に掛かる前の動画データが存する場合には、画像処理装置によって、それをオリジナル動画データ（健常時の正しい運動を示す参照画像）として用い（そのままの動画データ又は左右を反転させた動画データの何れをも参照画像とすることが可能）、現在の運動の様子を示す動画データ（そのままの動画データ又は左右を反転させた動画データ）と重ね合わせてモニタ３上に表示するようにしても、良好なリハビリテーション効果を得ることができる。
【産業上の利用可能性】
【００５８】
本発明は、半身麻痺又は義足の利用者についての歩容リハビリテーション支援又は運動のトレーニングに適した画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムとして、さらには、体を動かして行うゲームにおいて利用することも可能である。
【符号の説明】
【００５９】
１ 電子計算機（画像処理装置）
２ 撮影装置
３ モニタ（ＴＶ）
４ トレッドミル
４ａ 手すり
５ 利用者
６ 電子計算機
７ スピーカ（音響装置）
８ 右足
９ 顔面
１０ リズム判定表示部
Ｉ インターネット
Ｄ 指導医の画像
Ｅ 評価データ
Ｎ 歩数
Ｓ１〜Ｓ６ ステップ
Ｔ 経過時間（残り時間）
Ｚ１〜Ｚ４ ゾーン
【特許請求の範囲】
【請求項１】
トレッドミルと、
前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、
前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、
前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、
からなる画像処理システムであって、
前記画像処理装置は、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、
他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示するものであることを特徴とする画像処理システム。
【請求項２】
左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発する音響装置をさらに備えていることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記画像処理装置は、前記反転動画データが半身分の動画データであって、現在の動画データの軸足ではない側の足の動きに重ね合わせることを特徴とする請求項１又は２に記載の画像処理システム。
【請求項４】
前記画像処理装置は、利用者の過去の動画データ又は現在の動画データを色分けしてモニタに表示するものであることを特徴とする請求項１ないし３の何れか一項に記載の画像処理システム。
【請求項５】
前記画像処理装置は、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示することを特徴とする請求項１ないし４の何れか一項に記載の画像処理システム。
【請求項６】
前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示することを特徴とする請求項１ないし５の何れか一項に記載の画像処理システム。
【請求項７】
前記画像処理装置は、
利用者の運動を撮影したオリジナル動画データから、左足軸歩行又は右足軸歩行の開始時から終了時までの動画データを得る際に、
オリジナル動画データを構成する画像データについて、利用者の足首付近の肌の露出部分を解析し、一方の足の露出部分が最下点位置となったときをその足を軸とする歩行の開始時とし、その足を軸とする歩行の終了時を他方の足の露出部分が最下点位置となったときとしていることを特徴とする請求項６に記載の画像処理システム。
【請求項８】
左足軸歩行の開始時から終了時までの所用時間と、右足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合には、利用者に警告を発するものであることを特徴とする請求項１ないし７の何れか一項に記載の画像処理システム。
【請求項９】
前記画像処理装置は、遠隔地にある電子計算機と接続することで、当該電子計算機に対して重畳動画データを送信したり、当該電子計算機からの画像データをモニタに表示したり、利用者に対する音声メッセージを伝達できるものであることを特徴とする請求項１ないし８の何れか一項に記載の画像処理システム。
【請求項１０】
トレッドミルと、
前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、
前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、
前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、
からなる画像処理システムにおける画像処理方法であって、
前記画像処理装置によって、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、
他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示することを特徴とする画像処理方法。
【請求項１１】
前記画像処理システムが音響装置をさらに備えており、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記画像処理装置による反転動画データと他方の動画データとを重ね合わせは、色分けされて行われるものであることを特徴とする請求項１０又は１１に記載の画像処理方法。
【請求項１３】
前記画像処理装置は、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示するものであることを特徴とする請求項１０ないし１２の何れか一項に記載の画像処理方法。
【請求項１４】
前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示するものであることを特徴とする請求項１０ないし１３の何れか一項に記載の画像処理方法。
【請求項１５】
請求項１０ないし１４の何れか一項に記載の画像処理方法を電子計算機で実行するためのプログラム。
【請求項１】
トレッドミルと、
前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、
前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、
前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、
からなる画像処理システムであって、
前記画像処理装置は、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、
他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示するものであることを特徴とする画像処理システム。
【請求項２】
左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発する音響装置をさらに備えていることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記画像処理装置は、前記反転動画データが半身分の動画データであって、現在の動画データの軸足ではない側の足の動きに重ね合わせることを特徴とする請求項１又は２に記載の画像処理システム。
【請求項４】
前記画像処理装置は、利用者の過去の動画データ又は現在の動画データを色分けしてモニタに表示するものであることを特徴とする請求項１ないし３の何れか一項に記載の画像処理システム。
【請求項５】
前記画像処理装置は、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示することを特徴とする請求項１ないし４の何れか一項に記載の画像処理システム。
【請求項６】
前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示することを特徴とする請求項１ないし５の何れか一項に記載の画像処理システム。
【請求項７】
前記画像処理装置は、
利用者の運動を撮影したオリジナル動画データから、左足軸歩行又は右足軸歩行の開始時から終了時までの動画データを得る際に、
オリジナル動画データを構成する画像データについて、利用者の足首付近の肌の露出部分を解析し、一方の足の露出部分が最下点位置となったときをその足を軸とする歩行の開始時とし、その足を軸とする歩行の終了時を他方の足の露出部分が最下点位置となったときとしていることを特徴とする請求項６に記載の画像処理システム。
【請求項８】
左足軸歩行の開始時から終了時までの所用時間と、右足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合には、利用者に警告を発するものであることを特徴とする請求項１ないし７の何れか一項に記載の画像処理システム。
【請求項９】
前記画像処理装置は、遠隔地にある電子計算機と接続することで、当該電子計算機に対して重畳動画データを送信したり、当該電子計算機からの画像データをモニタに表示したり、利用者に対する音声メッセージを伝達できるものであることを特徴とする請求項１ないし８の何れか一項に記載の画像処理システム。
【請求項１０】
トレッドミルと、
前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、
前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、
前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、
からなる画像処理システムにおける画像処理方法であって、
前記画像処理装置によって、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、
他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示することを特徴とする画像処理方法。
【請求項１１】
前記画像処理システムが音響装置をさらに備えており、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記画像処理装置による反転動画データと他方の動画データとを重ね合わせは、色分けされて行われるものであることを特徴とする請求項１０又は１１に記載の画像処理方法。
【請求項１３】
前記画像処理装置は、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示するものであることを特徴とする請求項１０ないし１２の何れか一項に記載の画像処理方法。
【請求項１４】
前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示するものであることを特徴とする請求項１０ないし１３の何れか一項に記載の画像処理方法。
【請求項１５】
請求項１０ないし１４の何れか一項に記載の画像処理方法を電子計算機で実行するためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−６６６９６（Ｐ２０１３−６６６９６Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１２−９６９９４（Ｐ２０１２−９６９９４）
【出願日】平成２４年４月２０日（２０１２．４．２０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度、文部科学省、地域産学官連携科学技術振興施策、可能性試験（地域イノベーションクラスタープログラム（都市エリア型）岐阜県南部エリア）、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０４０１９３９９）国立大学法人岐阜大学 (289)
【出願人】（５１１２１７３１５）アワーズ株式会社 (1)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２４年４月２０日（２０１２．４．２０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度、文部科学省、地域産学官連携科学技術振興施策、可能性試験（地域イノベーションクラスタープログラム（都市エリア型）岐阜県南部エリア）、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０４０１９３９９）国立大学法人岐阜大学 (289)
【出願人】（５１１２１７３１５）アワーズ株式会社 (1)
【Ｆターム（参考）】
[ Back to top ]