摂食運動測定システムおよび測定方法
【課題】被験者に負担を与えることなく、自然な摂食運動を正確に測定し得る摂食運動測定システムおよび測定方法を提供する。
【解決手段】頭頸部表面に対して相互に波長の異なる光を照射するＬＥＤ１６,１８,２０を設けて、３ＣＣＤカメラ２２により頭頸部表面で反射した光を分光して各波長毎の分光画像データを時系列的に取得する。また、面法線ベクトル算出手段４０は、３ＣＣＤカメラ２２で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出する。テンプレートマッチング手段４６は、テンプレートと面法線ベクトルデータとをテンプレートマッチングして、各面法線ベクトルデータにおける追跡形状の位置を特定する。
【解決手段】頭頸部表面に対して相互に波長の異なる光を照射するＬＥＤ１６,１８,２０を設けて、３ＣＣＤカメラ２２により頭頸部表面で反射した光を分光して各波長毎の分光画像データを時系列的に取得する。また、面法線ベクトル算出手段４０は、３ＣＣＤカメラ２２で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出する。テンプレートマッチング手段４６は、テンプレートと面法線ベクトルデータとをテンプレートマッチングして、各面法線ベクトルデータにおける追跡形状の位置を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、人が飲食品や医薬品等を飲み込む際の摂食運動を測定する摂食運動測定システムおよび測定方法に関するものである。
【背景技術】
【０００２】
飲食品が喉を通るときの感覚である「のどごし感」は、飲食品の「おいしさ」を表す指標として重要な因子である。そこで、飲食品の開発過程では、「飲み込み易さ」、「飲みごたえ感」等の感覚(のどごし感)を評価するため、被験者にアンケート等を行って評価を得る官能検査が広く実施されている。しかしながら、この官能検査では、被験者の感覚や好みといった主観的な感性が大きく影響するため、人が「物を飲み込む感覚」を客観的に評価することは難しい。また、経口摂取される医薬品の開発段階においても、錠剤等の「飲み込み易さ」を評価して、負担の少ない形状や大きさを決定する際の参考とされる。しかしながら、前述したように、アンケート等による官能検査では、被験者の主観が大きく影響するため客観的な評価を得られない。そこで、飲食品や経口摂取される医薬品の「飲み込み易さ」等、物を飲み込む感覚を客観的に評価するため、飲食時に表出される嚥下運動を測定する方法が各種提案されている。従来、嚥下運動は、嚥下造影検査(videofluoroscopic examination of swallowing:VF)と呼ばれる特殊なレントゲン撮影により測定されていた。しかしながら、この検査方法では、試験回数に比例して被験者の被曝量が多くなるため、被験者の身体的負担が増大する危険がある。また、試験対象品に造影剤を混入させる必要があり、試験対象品の味や性状に影響を与えてしまうため、正確な評価は困難であった。
【０００３】
そこで、非侵襲な嚥下運動の計測方法として、例えば、特許文献１には、複数の圧力センサーを被験者の前頸部に貼り付け、該圧力センサーが測定した前頸部の圧力変化に基づいて嚥下運動を測定する方法が開示されている。また、特許文献２には、被験者の喉表面に電極を貼り付けて喉の筋肉の表面筋電位の波形データを取得し、該波形データを周波数解析することで嚥下運動を測定する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１６０４５９号公報
【特許文献２】特開２００９−３９５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、嚥下運動の測定時に、センサーや電極等の測定具を被験者に装着すると、被験者への負担が大きくなる難点がある。また、被験者は、測定具を喉周りに装着した極めて不自然な状態で飲食品や医薬品を飲み込むため、「物を飲み込む感覚」を適正に評価することができない。更に、測定された値が嚥下運動に基づくものであるのか、被験者の呼吸等の他の運動に起因するものであるのかを区別し、判断することが困難となる欠点を有している。
【０００６】
また、飲食品の「おいしさ」を表す指標として、このような物を飲み込む感覚の他にも、物を噛む感覚も重要な因子の１つである。このため、飲食品の開発過程では、「噛み切り易さ」、「噛み応え感」等の咀嚼から得られる感覚についても、被験者を対象としたアンケート等の官能検査が実施されている。しかしながら、アンケート等による官能検査では、客観的な評価を得ることが困難であることから、前述した嚥下運動と同様に、圧力センサーや電極を利用して、飲食時に表出される咀嚼運動を測定する方法が提案されているものの、これらの測定具を用いることで前述したと同様の問題を内在していた。
【０００７】
すなわち、本発明は、従来技術に内在する前記問題に鑑み、これらを解決するべく提案されたものであって、被験者に負担を強いることなく、摂食時における咀嚼運動や嚥下運動を自然な状態で測定し得る摂食運動測定システムおよび測定方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決し、所期の目的を達成するため、本発明の請求項１に係る摂食運動測定システムは、
頭頸部表面に対して相互に波長の異なる光を照射する３つ以上の発光手段と、
前記頭頸部表面で反射した光を分光して、分光画像データを時系列的に取得する撮像手段と、
前記撮像手段で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出する面法線ベクトル算出手段と、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求めるテンプレートマッチング手段とを備え、
前記テンプレートマッチング手段により前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定するよう構成したことを要旨とする。
請求項１の発明によれば、照度差ステレオ法により被験者の頭頸部表面の面法線ベクトルデータを算出し、当該面法線ベクトルデータからテンプレートマッチングにより咀嚼運動または嚥下運動に伴う頭頸部表面の追跡形状をテンプレートとして追跡するようにしたから、咀嚼運動または嚥下運動を正確に測定することができる。このとき、咀嚼運動または嚥下運動の測定時に、センサーや電極等を被験者に装着する必要がないから、自然な咀嚼運動や嚥下運動を測定することが可能となる。また、頭頸部表面の凹凸形状を含む追跡形状を追跡する構成としたから、被験者の頭頸部表面の皮膚性状の影響を受け難くなり、頭頸部表面に多少の弛みやしわ等が生じていても、咀嚼運動または嚥下運動を正確に測定し得る。しかも、３つ以上の発光手段から波長の異なる光を照射し、撮像手段で分光画像を取得して、面法線ベクトルデータを算出する構成とした。すなわち、同一波長の光を用いた場合に算出し得ない時間変化する頭頸部表面の面法線ベクトルデータを、３つ以上の異なる波長の光を同時に照射することで求めることが可能となる。しかも、３つ以上の異なる波長の光を分光することで、瞬時に分光画像を取得して面法線ベクトルデータを算出し得るから、同一波長の光を用いた場合のように、発光手段を１つずつ発光させながら分光画像を取得する必要がなく、測定を効率的に行い得る。また、測定時に圧力センサーや電極等を被験者に装着する必要がないから、咀嚼運動または嚥下運動の測定を簡単かつ低コストで行い得る。
【０００９】
請求項２に係る摂食運動測定システムでは、前記発光手段は、前記撮像手段の分光感度特性において相互に干渉しない波長の光を照射するよう構成されることを要旨とする。
請求項２の発明によれば、撮像手段の分光感度特性において相互に干渉しない波長の光を照射する構成としたので、頭頸部表面で反射した光を分光して正確な分光画像を得ることができる。従って、精度の高い分光画像に基づいて、正確な面法線ベクトルデータを算出し得るから、咀嚼運動または嚥下運動を高精度で測定することが可能となる。
【００１０】
請求項３に係る摂食運動測定システムは、前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成する色分画像作成手段を備えていることを要旨とする。
請求項３の発明によれば、色分画像作成手段が面法線ベクトルデータを色分けし、色分画像データを作成するので、頭頸部表面の変化を視覚的に捉えることができ、咀嚼運動または嚥下運動を詳細に観察および分析することができる。
【００１１】
請求項４に係る摂食運動測定システムは、
前記テンプレートマッチング手段は、
基準となる面法線ベクトルデータから前記テンプレートを設定するテンプレート設定部と、
前記テンプレート設定部で設定されたテンプレートを記憶する記憶部と、
前記各面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する探索領域設定部と、
前記記憶部に記憶されたテンプレートと各面法線ベクトルデータとを前記探索領域設定部で設定された探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する位置特定部とを備えることを要旨とする。
請求項４の発明によれば、テンプレートと面法線ベクトルデータとを探索領域内でテンプレートマッチングするから、マッチングする範囲が限定されて、位置特定部での計算量を抑制することができる。
【００１２】
請求項５に係る摂食運動測定システムは、追跡形状は、頭頸部表面における甲状軟骨または輪状軟骨に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定されることを要旨とする。
請求項５の発明によれば、テンプレートの範囲を嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、甲状軟骨または輪状軟骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【００１３】
請求項６に係る摂食運動測定システムは、前記追跡形状は、頭部表面における下顎骨に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨の動作方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定されることを要旨とする。
請求項６の発明によれば、テンプレートの範囲を咀嚼運動時の下顎骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、咀嚼運動時に下顎骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【００１４】
前記課題を解決し、所期の目的を達成するため、本発明の請求項７に係る摂食運動測定方法は、
頭頸部表面に対して相互に波長の異なる光を３つ以上の発光手段から照射し、該頭頸部表面で反射した光を分光して分光画像データを撮像手段が時系列的に取得し、
前記撮像手段で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出し、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求め、
前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定することを要旨とする。
請求項７の発明によれば、照度差ステレオ法により被験者の頭頸部表面の面法線ベクトルデータを算出し、当該面法線ベクトルデータからテンプレートマッチングにより咀嚼運動または嚥下運動に伴う頭頸部表面の追跡形状をテンプレートとして追跡するようにしたから、咀嚼運動または嚥下運動を正確に測定することができる。このとき、咀嚼運動または嚥下運動の測定時に、センサーや電極等を被験者に装着する必要がないから、自然な咀嚼運動や嚥下運動を測定することが可能となる。また、頭頸部表面の凹凸形状を含む追跡形状を追跡する方法としたから、被験者の頭頸部表面の皮膚性状の影響を受け難くなり、頭頸部表面に多少の弛みやしわ等が生じていても、咀嚼運動や嚥下運動を正確に測定し得る。しかも、３つ以上の発光手段から波長の異なる光を照射し、撮像手段で分光画像を取得して、面法線ベクトルデータを算出する方法とした。すなわち、同一波長の光を用いた場合に算出し得ない時間変化する頭頸部表面の面法線ベクトルデータを、３つ以上の異なる波長の光を同時に照射することで求めることが可能となる。しかも、３つ以上の異なる波長の光を分光することで、瞬時に分光画像を取得して面法線ベクトルデータを算出し得るから、同一波長の光を用いた場合のように、発光手段を１つずつ発光させながら分光画像を取得する必要がなく、測定を効率的に行い得る。また、測定時に圧力センサーや電極等を被験者に装着する必要がないから、咀嚼運動または嚥下運動の測定を簡単かつ低コストで行い得る。
【００１５】
請求項８に係る摂食運動測定方法は、発光手段は、前記撮像手段の分光感度特性において相互に干渉しない波長の光を照射することを要旨とする。
請求項８の発明によれば、撮像手段の分光感度特性において相互に干渉しない波長の光を照射する方法としたので、頭頸部表面で反射した光を分光して正確な分光画像を得ることができる。従って、精度の高い分光画像に基づいて、正確な面法線ベクトルデータを算出し得るから、咀嚼運動または嚥下運動を高精度で測定することが可能となる。
【００１６】
請求項９に係る摂食運動測定方法は、前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成することを要旨とする。
請求項９の発明によれば、面法線ベクトルデータを色分けし色分画像データを作成するので、頭頸部表面の変化を視覚的に捉えることができ、咀嚼運動または嚥下運動を詳細に観察および分析することができる。
【００１７】
請求項１０に係る摂食運動測定方法は、
前記追跡形状は、前記頭頸部表面における甲状軟骨または輪状軟骨に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定することを要旨とする。
請求項１０の発明によれば、テンプレートの範囲を嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、嚥下時に甲状軟骨または輪状軟骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【００１８】
請求項１１に係る摂食運動測定方法は、
前記追跡形状は、頭部表面における下顎骨に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨の動作方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定することを要旨とする。
請求項１１の発明によれば、テンプレートの範囲を咀嚼運動時の下顎骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、咀嚼時に下顎骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【発明の効果】
【００１９】
本発明に係る摂食運動測定システムおよび測定方法は、非接触かつ非侵襲な方法であるため、被験者に負担をかけることなく、自然な咀嚼運動や嚥下運動を正確に測定することができる。
【図面の簡単な説明】
【００２０】
【図１】実施例１に係る摂食運動測定システムの全体構成を示すブロック図である。
【図２】(ａ)は３ＣＣＤカメラ、ＬＥＤおよび被験者の位置関係を示す斜視図、(ｂ)は３ＣＣＤカメラおよびＬＥＤを被験者側から見た正面図である。
【図３】実施例で採用した各ＬＥＤの仕様を示す説明図である。
【図４】ＬＥＤの光が３ＣＣＤカメラ内で分光される様子を示す説明図である。
【図５】実施例で採用した３ＣＣＤカメラのレンズ部の仕様を示す説明図である。
【図６】実施例で採用した３ＣＣＤカメラの分光感度特性と各ＬＥＤの光の波長との関係を示すグラフ図である。
【図７】(ａ)は光源と観察面の明るさの関係を示す説明図、(ｂ)は照度差ステレオ法の説明図である。
【図８】出力手段に表示された設定画面を示す図である。
【図９】ＮＣＣ、ＳＡＤおよびＳＳＤの関係を表す説明図である。
【図１０】(ａ)は色分画像作成手段が色分けする面法線ベクトルの方向と色の対応関係を示す説明図、(ｂ)は出力手段に表示された喉表面の色分画像、(ｃ)は色分画像のベースとなる喉表面の実際の画像を示す。
【図１１】実施例に係る摂食運動測定方法の全体的なフローを示すフローチャート図である。
【図１２】面法線ベクトルデータ算出処理を示すフローチャート図である。
【図１３】設定処理を示すフローチャート図である。
【図１４】テンプレートマッチング処理を示すフローチャート図である。
【図１５】甲状軟骨の頂部の位置の時間変化を示すグラフ図である。
【図１６】喉表面の色分画像を表示するフローを示すフローチャート図である。
【図１７】実験例１の測定結果を示すグラフ図である。
【図１８】実験例２の測定結果を示すグラフ図である。
【図１９】実験例３の測定結果を示すグラフ図である。
【図２０】人間の頭頸部を側頭部から示す概念図である。
【図２１】実施例２に係る摂食運動測定システムの全体構成を示すブロック図である。
【図２２】実施例２に係るバンドパスフィルタの分光特性を示すグラフ図である。
【図２３】出力手段に表示された実施例２の設定画面を示す図である。
【図２４】(ａ)は出力手段に表示された頭頸部表面の色分画像、(ｂ)は色分画像作成手段が色分けする面法線ベクトルの方向と色を示す説明図、(ｃ)は出力手段に表示された頭頸部表面の色分画像を、図１０(a)に示す模様で表示した説明図である。
【図２５】実施例４における被験者１の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【図２６】実施例４における被験者２の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【図２７】実施例４における被験者３の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【図２８】実施例４における被験者４の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【発明を実施するための形態】
【００２１】
次に、本発明に係る摂食運動測定システムおよび測定方法につき、好適な実施例を挙げて、添付図面を参照しながら以下詳細に説明する。本発明でいう「摂食運動」とは、飲食物を口腔に取り込んでから胃へ送り込む一連の動作において行われる咀嚼運動や嚥下運動を含んだものである。ここで、「咀嚼運動」とは、口腔内に摂取した飲食物を下顎と歯、舌等を用いて噛み砕くと共に唾液と混ぜ合わせて嚥下し易い大きさの食塊を形成する運動である。また、「嚥下運動」とは、口腔で形成される飲料や咀嚼した食品等の食塊を、口の中の食塊を飲み下す(飲み込む)ときの運動をいう。本発明の摂食運動測定システムおよび測定方法によると、「飲み込み易さ」、「食べ易さ」、「咽喉への引っ掛かり感」、「飲みごたえ感」等、飲食物や経口摂取される医薬品等を嚥下する際に感じる各種の感覚を、嚥下運動に伴って動作する頭頸部表面の追跡対象の位置を測定することにより、簡便、迅速かつ正確で感度もよく、しかも客観的に評価することが可能となる。また、同様に、本発明の摂食運動測定システムおよび測定方法によると、「噛み易さ」、「噛みごたえ感」等、飲食物等を口腔内で咀嚼する際に感じる各種の感覚を、咀嚼運動に伴って動作する頭頸部表面の追跡対象の位置を測定することにより、簡便、迅速かつ正確で感度もよく、しかも客観的に評価することが可能となる。
【実施例１】
【００２２】
実施例１の摂食運動測定システムおよび測定方法では、図２０に示すように、摂食に伴う嚥下運動時に上下移動する甲状軟骨１２の頂部(のど仏)に起因する喉表面(頭頸部表面)の凹凸形状を含む形状を追跡形状(テンプレート)に設定し、嚥下運動時に喉表面に表れる当該追跡形状(具体的には基準点Ｐ)の位置を時系列的に特定することで、被験者の嚥下運動を測定するよう構成されている。また、基準点Ｐとは、追跡形状内で任意に設定される追跡点であって、実施例１では、喉表面に凹凸形状が顕著に表出し、嚥下運動に追従して上下移動する甲状軟骨１２の頂部に対応する箇所を基準点Ｐに指定している。但し、本発明において摂食に伴う嚥下運動を追跡する追跡形状としては、凹凸形状を含む部分であれば、被験者の喉表面(頭頸部表面)の何れの部位を追跡形状に設定してもよい。例えば、追跡形状として、甲状軟骨１２の下方にあって嚥下運動時に甲状軟骨１２と共に上下移動する輪状軟骨１４に起因する喉表面の凹凸形状を含む形状を設定してもよい。また、基準点Ｐとしても、甲状軟骨１２の頂部に対応する箇所に限定されず、追跡形状内の何れの箇所に基準点Ｐを設定してもよい。なお、甲状軟骨１２に起因した凹凸形状を基準点として指定することで、嚥下運動に伴う上下移動が顕著に表出し、嚥下運動を正確に追跡することが可能となる。
【００２３】
図１は、実施例１に係る摂食運動測定システム１０の全体構成を示すブロック図である。実施例１の摂食運動測定システム１０は、被験者の甲状軟骨１２を含む喉表面に向けて異なる波長の光を照射する３つのＬＥＤ(発光手段)１６,１８,２０と、喉表面を撮影して分光画像データを取得する３ＣＣＤカメラ(撮像手段)２２と、該３ＣＣＤカメラ２２で取得した分光画像データから追跡形状(基準点Ｐ)の位置を時系列的に特定する制御装置２４とを備えている。また、摂食運動測定システム１０は、前記制御装置２４に対し前記基準点Ｐの位置等を入力する入力手段２５と、該制御装置２４における算出結果を出力する出力手段２６とから基本的に構成される。
【００２４】
〔ＬＥＤおよび３ＣＣＤカメラについて〕
図２(ａ)に示すように、前記３つのＬＥＤ１６,１８,２０および３ＣＣＤカメラ２２は、該３ＣＣＤカメラ２２のレンズ部２８(後述)を原点としたＸ−Ｙ−Ｚ直交座標系における３次元空間内に設けられている。図２(ａ)に示す如く、Ｘ−Ｙ−Ｚ直交座標系は、Ｘ軸およびＺ軸が水平方向に延在し、Ｙ軸が鉛直方向に延在するよう設定した。測定時には、レンズ部２８にＺ軸方向に離間して喉表面が対向するよう被験者を３ＣＣＤカメラ２２の正面に座らせ、３ＣＣＤカメラ２２で撮影をする。なお、嚥下運動時の甲状軟骨１２は、Ｙ軸方向(鉛直方向)に移動するものとする。また、前記レンズ部２８は、被験者の喉表面から所定距離(例えば、約３０ｃｍ)だけ離間している。
【００２５】
図２(ｂ)に示す如く、前記３つのＬＥＤ１６,１８,２０は、Ｘ−Ｙ平面上において、前記３ＣＣＤカメラ２２を中心とする同心円状に配設されている。また、各ＬＥＤ１６,１８,２０は、互いに一定間隔離間しており、３つのＬＥＤ１６,１８,２０は、逆正三角形状に配置されている。ＬＥＤ１６,１８,２０間の離間距離は、成人の喉表面の幅寸法(図８の寸法ｌ参照)における平均的な値(１１.６ｃｍ)を考慮して、約１２ｃｍに設定されている。各ＬＥＤ１６,１８,２０は、被験者の喉表面を指向するよう設置され、各ＬＥＤ１６,１８,２０から喉表面に向けて互いに異なる照射方向で光が照射されるよう構成される。また、各ＬＥＤ１６,１８,２０は、相互に波長の異なる光を照射するよう構成される。実施例１では、ＬＥＤ１６,１８,２０として、赤色光を照射する赤色ＬＥＤ１６と、青色光を照射する青色ＬＥＤ１８と、緑色光を照射する緑色ＬＥＤ２０とが採用されている。３つのＬＥＤ１６,１８,２０は、喉表面に対して一斉に光を照射するようになっており、喉表面の凹凸形状に応じて赤、青、緑の３つの光が合成した光で喉表面を照らすよう構成される。赤色ＬＥＤ１６，青色ＬＥＤ１８および緑色ＬＥＤ２０は、３ＣＣＤカメラ２２の分光感度特性(後述)を考慮して、夫々、４６５ｎｍ、５２０ｎｍおよび６２５ｎｍの波長の光を照射するようになっている。実施例１で採用した各ＬＥＤ１６,１８,２０の仕様を図３に示す。
【００２６】
前記３ＣＣＤカメラ２２は、喉表面で反射した光を赤、青、緑の色毎に分光して各色の分光画像データ(輝度データ)を時系列的に取得するものである。３ＣＣＤカメラ２２は、図４に示すように、カメラ本体３０の内部に、レンズ部２８と分光部３２と３つのＣＣＤ(電荷結合素子)３４,３６,３８とが収容されて構成されている。実施例１で採用したレンズ部２８の仕様を図５に示す。前記分光部３２は、３色が合成した光を、赤、青、緑色の波長毎の光に分光するものであって、実施例１では、分光部３２として、ダイクロイックプリズムが採用されている。図４に示すように、ダイクロイックプリズムは、青色光および赤色光を内部で互いに異なる方向へ反射させると共に、緑色光を透過させることで光を分光する。
【００２７】
前記３つのＣＣＤは、赤色光に対応した赤色用ＣＣＤ３４と、青色光に対応した青色用ＣＣＤ３６と、緑色光に対応した緑色用ＣＣＤ３８とから構成される。そして、各ＣＣＤ３４,３６,３８には、前記分光部３２で分光された対応する色の光が入力されるようになっている。ここで、図６の曲線グラフは、実施例１で採用した赤色用ＣＣＤ３４、青色用ＣＣＤ３６および緑色用ＣＣＤ３８の分光感度特性を示している。また、図６の棒グラフは、前記赤色ＬＥＤ１６、青色ＬＥＤ１８、および緑色ＬＥＤ２０が照射する光の波長を示している。このように、各ＬＥＤ１６,１８,２０から照射される光の波長は、ＣＣＤ３４,３６,３８の分光感度が相互に干渉せず、しかも分光感度の値がなるべく高くなる値に設定されている。そして、赤色用ＣＣＤ３４は、入力した赤色光から輝度データ(以下、赤色分光画像データという)を取得する。また、青色用ＣＣＤ３６は、入力した青色光から輝度データ(以下、青色分光画像データという)を取得する。更に、緑色用ＣＣＤ３８は、入力した緑色光から輝度データ(以下、緑色分光画像データという)を取得するようになっている。各ＣＣＤ３４,３６,３８で得られた分光画像データは、夫々、前記制御装置２４の面法線ベクトル算出手段４０(後述)に出力される。なお、実施例１の３ＣＣＤカメラ２２の単位時間あたりのフレーム数は、３０ｆｐｓである。但し、３ＣＣＤカメラ２２のフレーム数は、３０ｆｐｓに限定されるものではない。フレーム数を大きくすると、追跡形状の詳細な追跡が可能となる一方、処理速度は低下するため、求められる測定精度に応じて３ＣＣＤカメラ２２のフレーム数は適宜選択される。
【００２８】
〔制御装置について〕
図１に示すように、前記制御装置２４は、３ＣＣＤカメラ２２で取得した各色の分光画像データから面法線ベクトルデータを算出する面法線ベクトル算出手段４０と、追跡形状の面法線ベクトルデータからなるテンプレートおよび各面法線ベクトルデータを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状(基準点Ｐ)の位置を求めるテンプレートマッチング手段４６とを備える。また、制御装置２４は、面法線ベクトル算出手段４０で算出された面法線ベクトルデータを一時的に記憶するデータ記憶手段４２と、該面法線ベクトルデータから色分画像データを作成する色分画像作成手段４４とを有している。
【００２９】
〔面法線ベクトル算出手段について〕
前記面法線ベクトル算出手段４０は、前記ＣＣＤ３４,３６,３８から入力された各分光画像データに基づいて、照度差ステレオ法により面法線ベクトルデータを算出するよう構成されている。ここで、照度差ステレオ法とは、観察面に照射した光の反射光の輝度(明るさ)に基づいて、該観察面の面法線ベクトルを算出する画像処理方法である。この照度差ステレオ法の原理について、以下、簡単に説明する。なお、照度差ステレオ法は、観察面が完全拡散反射面であることを前提としており、どの方向から観察面を見ても明るさが同じに見えるランバート反射の原理を応用している。実施例１における被験者の喉表面についても、各ＬＥＤ１６,１８,２０から照射された光がランバート反射する完全拡散反射面であると仮定する。
【００３０】
図７(ａ)に示すように、観察面の面法線方向を基準としたθ方向から１つの光源によって面を照らした場合に、光源の強さをＬ，面の反射率をρとすると、カメラで撮影された面の輝度ｘは、下記数１の式で表される。また、法線方向ベクトルｎ’を反射率倍したものを面法線ベクトルｎ、光源方向ベクトルｓ’を光源の強さ倍したものを光源ベクトルｓとすると、数２の式で表すことができる。なお、各式では、記号の上側に付した矢印記号によりベクトルを表している。
【００３１】
【数１】
【００３２】
【数２】
【００３３】
次に、図７(ｂ)に示すように、３つの異なる光源(光源方向ベクトルｓ１,ｓ２,ｓ３)から順に観察面を照らす。この方向を表すベクトルをベクトルＳ＝[ｓ１ ｓ２ ｓ３]とする。このとき観察される輝度を夫々ｘ１,ｘ２,ｘ３とすると、これを要素とするベクトルＸ＝[ｘ１ ｘ２ ｘ３]
Ｔは、数３の式で表され、方向の異なる３つの光源下で別々に観察された三枚の画像データの各画素の輝度値から観察面の面法線ベクトルｎを求めることができる。
【００３４】
【数３】
【００３５】
ここで、前述した照度差ステレオ法は、光源を１つずつ順に発光させて観察面を別々に撮影した画像を用いるため、嚥下運動のような動作を伴う喉表面に対しては、この照度差ステレオ法をそのまま適用することは困難である。そこで、実施例１では、前述したように、３つのＬＥＤ１６,１８,２０から３色の光を喉表面に同時に照射し、その反射光を分光して色毎の輝度データである分光画像データをリアルタイムで取得することで、嚥下運動に伴って面形状が連続的に変化する喉表面の面法線ベクトルｎを算出し得るようになっている(３色光照度差ステレオ法)。すなわち、面法線ベクトル算出手段４０は、赤色用ＣＣＤ３４で得られた赤色分光画像データ、青色用ＣＣＤ３６で得られた青色分光画像データおよび緑色用ＣＣＤ３８で得られた緑色分光画像データを用いることで、前記数３の式から喉表面の面法線ベクトルｎを算出する。
【００３６】
〔データ記憶手段について〕
前記データ記憶手段４２は、前記面法線ベクトル算出手段４０で算出された面法線ベクトルｎのデータ(面法線ベクトルデータ)を時系列的に記憶するＲＡＭ等の一時記憶装置である。データ記憶手段４２に記憶された面法線ベクトルデータは、テンプレートマッチング手段４６においてテンプレートマッチングする際や、前記色分画像作成手段４４で色分画像データを作成する際に読み出される。
【００３７】
〔テンプレートマッチング手段について〕
図１に示すように、前記テンプレートマッチング手段４６は、基準となる面法線ベクトルデータからテンプレートを設定するテンプレート設定部４８と、該テンプレート設定部４８で設定したテンプレートを記憶するテンプレート記憶部(記憶部)５６と、面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する探索領域設定部５０と、テンプレートと各面法線ベクトルデータとをテンプレートマッチングすることで、追跡形状(基準点Ｐ)の位置を特定する位置特定部５２とから基本的に構成される。
【００３８】
前記テンプレート設定部４８は、前記データ記憶手段４２に記憶された面法線ベクトルデータのうち基準となる面法線ベクトルデータからテンプレートを設定するものである。テンプレートとしては、前述のように、甲状軟骨１２の頂部に起因する凹凸形状が含まれる追跡形状に対応する面法線ベクトルデータで構成される。具体的には、図８に示すように、後述する出力手段２６に表示させた設定画面に入力手段２５を介して基準点Ｐの位置およびテンプレートとする範囲を測定者が入力し、当該入力値に基づいて面法線ベクトルデータからテンプレート設定部４８がテンプレートとして設定する。なお、実施例１では、テンプレートが作成される基準となる面法線ベクトルデータは、被験者が嚥下運動を開始する前の喉表面における面法線ベクトルデータに設定されている。設定画面には、基準となる面法線ベクトルデータに対応する画像データ(以下、基準画像データという)が表示され、前記基準点Ｐは、基準画像データにおいて、甲状軟骨１２の頂部に対応する位置を入力手段２５で指定することで設定される。また、テンプレートの範囲は、設定画面に設けた範囲設定バー５４において、入力手段２５を介してカーソル５４ａを左右にスライド移動させ、テンプレートとする範囲のピクセル数(画素数)を決定することで行われる。ピクセル数が入力されると、テンプレート設定部４８は、基準点Ｐを通ると共に嚥下運動時の甲状軟骨１２の運動方向(Ｙ軸方向)に入力されたピクセル数の長さで延在する線状の領域をテンプレートの範囲として設定する。すなわち、テンプレート設定部４８は、前記基準点Ｐを中心とした上下方向に延在する線分をテンプレートとして設定する。なお、実施例１では、幅方向(Ｘ軸方向)のテンプレートの範囲は、１ピクセルである。
【００３９】
前記テンプレート記憶部５６は、前記テンプレート設定部４８で設定されたテンプレートを一時的に記憶するＲＡＭ等の一時記憶装置である。テンプレート記憶部５６に記憶されたテンプレートは、前記位置特定部５２がテンプレートマッチングを行う際に読み出される。前記探索領域設定部５０は、面法線ベクトルデータに対しテンプレートマッチングを行う範囲である探索領域を設定する。実施例１では、探索領域設定部５０は、探索領域として、前記基準点Ｐを通ると共に前記テンプレートの範囲を包含する線状の領域が設定される。具体的には、図８に示す設定画面に設けた探索領域設定バー５８において、測定者が入力手段２５を介してカーソル５８ａを左右にスライド移動させ、面法線ベクトルデータにおいて探索する範囲をピクセル数(画素数)で入力する。入力されたピクセル数に基づいて、探索領域設定部５０は、図８に示すように、前記基準点Ｐを中心とし、前記テンプレートより長尺なＹ軸方向に延在する線状の領域を探索領域として設定する。なお、探索領域として入力されるＹ軸方向のピクセル数は、テンプレートの範囲のピクセル数より大きな値に設定される。また、探索領域の幅方向(Ｘ軸方向)の寸法は、テンプレート同じく１ピクセルである。
【００４０】
前記位置特定部５２は、前記データ記憶手段４２に記憶された各面法線ベクトルデータと前記テンプレート記憶部５６に記憶されたテンプレートとを読み出し、前記探索領域内においてテンプレートマッチングを行うよう構成される。ここで、テンプレートマッチングの原理について、以下簡単に説明する。テンプレートマッチングとは、テンプレートと特定の画像とを重ね合わせて類似度を計算し、類似度が最大となったときのテンプレートの位置を特定する手法である。実施例１では、類似度の計算にＮＣＣ(Normalized Cross-Correlation(正規化相互相関))を用いた。
【００４１】
このＮＣＣは、数４の式で表される。但し、テンプレートの大きさ(画素値の要素数)をＭ×Ｎ、テンプレートの位置(ｉ,ｊ)における画素値をＴ(ｉ,ｊ)、テンプレートと重ね合わせた画像の画素値をＩ(ｉ,ｊ)とする。
【００４２】
【数４】
【００４３】
図９に示すように、テンプレートＴ(ｉ,ｊ)と対象画像Ｉ(ｉ,ｊ)のＭ×Ｎ要素のベクトルＴとベクトルＩを考えると、ＮＣＣはベクトルのなす余弦となっている。従って、ＮＣＣを用いた場合で、１に近いほど類似性が高くなる。
【００４４】
なお、類似度の計算としては、ＮＣＣ以外にも公知の類似度計算法を採用することができる。例えば、図９に示すように、類似度計算に、輝度の絶対差の２乗和であるＳＳＤ(Sum of Squared Difference)や輝度の絶対差の和であるＳＡＤ(Sum
of Absolute Difference)を利用することも可能である。ＳＳＤおよびＳＡＤの式を数５,数６に示す。ＳＳＤおよびＳＡＤを用いた場合、０に近いほど類似性が高くなる。
【００４５】
【数５】
【００４６】
【数６】
【００４７】
前記位置特定部５２は、前記データ記憶手段４２から読み出した各面法線ベクトルデータにおいて、テンプレートとの類似度を探索領域内で算出する。そして、探索領域内で類似度の値が最大となったテンプレートの位置から当該面法線ベクトルデータにおける基準点Ｐの位置を特定する。すなわち、位置特定部５２は、時系列的に取得される各面法線ベクトルデータにおける基準点Ｐを特定することで、嚥下運動での追跡形状を追跡するようになっている。
【００４８】
〔色分画像作成手段について〕
前記色分画像作成手段４４は、前記データ記憶手段４２に記憶された面法線ベクトルデータに基づいて、色分画像データを作成するよう構成される。この色分画像データは、面法線ベクトルデータの各面法線ベクトルを方向に応じて色分けして、出力手段２６で喉表面の凹凸形状に応じて色分した画像(以下、色分画像という)を表示させるためのデータである。実施例１では、色分画像作成手段４４は、図１０(ａ)に示すように、面法線ベクトルをＸ−Ｙ平面上の８方向に分類し、各方向に対応した８種類の色で色分けを行うようになっている。例えば、喉表面の所定位置における面法線ベクトルがＸ−Ｙ平面で右向きである場合、前記色分画像作成手段４４は、喉表面における当該位置の色を黄色で表示する画像データを作成する(図１０(ｂ)参照)。同様に、喉表面の所定位置における面法線ベクトルがＸ−Ｙ平面で上向きである場合、前記色分画像作成手段４４は、喉表面における当該位置の色を青色で表示する画像データを作成する(図１０(ｂ)参照)。なお、図１０(ａ),図１０(ｂ)では、色の代わりに模様を付して表示した。また、図１０(ｃ)は、図１０(ｂ)の色分画像のベースとなる喉表面の実際の画像である。喉表面における甲状軟骨１２の頂部に対応する部位は、色分画像において色が放射状に変わる部分として表れる。
【００４９】
前記入力手段２５は、測定者によって操作されるマウスやキーボード等の入力装置であって、前述のように、テンプレートの設定時に、前記テンプレート設定部４８に対し基準点Ｐの位置およびテンプレートの範囲を入力するようになっている。また、探索領域の設定時に、探索領域設定部５０に対して探索領域の範囲を入力するよう構成される。前記出力手段２６は、液晶表示装置等のディスプレイ装置であって、前記制御装置２４の算出結果を出力するよう構成される。すなわち、出力手段２６は、前記位置特定部５２で特定された基準点Ｐの位置の時間変化を表示するようになっている(図１５参照)。ここで、実施例１では、出力手段２６は、前述した基準画像データで指定した基準点Ｐの位置を基準位置とし、基準位置からＹ軸方向に基準点Ｐが移動したピクセル量(以下、移動ピクセル量という)の時間変化を表示するようになっている。更に、出力手段２６は、図１０(ｂ)に示すように、前記色分画像作成手段４４で作成された画像データに基づいて、喉表面の色分画像を表示するようになっている。なお、前述したように、出力手段２６は、テンプレート設定部４８に対しテンプレートを設定する際や、探索領域設定部５０に対し探索領域を設定する際に用いられる設定画面を表示するよう構成される。
【００５０】
〔実施例１の作用〕
次に、前述した摂食運動測定システム１０による摂食運動の測定方法について、以下説明する。図１１に示すように、摂食運動の測定方法は、被験者の喉表面(頭頸部表面)に向けて光を照射するステップＳ１と、分光画像データを取得するステップＳ２と、面法線ベクトルデータを算出するステップＳ３と、テンプレートおよび探索領域の設定を行うステップＳ４と、テンプレートマッチングを行うステップＳ５と、特定された甲状軟骨１２の頂部Ｐの位置を出力するステップＳ６とを備えている。
【００５１】
前記赤色ＬＥＤ１６、青色ＬＥＤ１８および緑色ＬＥＤ２０から照射された赤色光、青色光および緑色光は、夫々、異なる照射角度で喉表面に到達して該喉表面を照らす。喉表面で反射した光は、図４に示すように、３ＣＣＤカメラ２２のレンズ部２８を透過してカメラ本体３０内に入り、前記分光部３２に到達する。分光部３２では、光が通過する間に赤色、青色および緑色の光に分光される。分光部３２で分光された赤色光、青色光および緑色光は、赤色用ＣＣＤ３４、青色用ＣＣＤ３６および緑色用ＣＣＤ３８に夫々入力され、各ＣＣＤ３４,３６,３８において分光画像データ(赤色分光画像データ、青色分光画像データ、緑色分光画像データ)が３ＣＣＤカメラ２２の撮影コマ(フレーム)毎に時系列的に取得される(ステップＳ２)。このとき、赤色、青色および緑色の光の波長は、図６に示すように、各ＣＣＤ３４,３６,３８の分光感度特性が互いに干渉せず、かつ分光感度が高くなる値に設定してあるから、各ＣＣＤ３４,３６,３８において色毎の正確な分光画像データが取得される。各ＣＣＤ３４,３６,３８で取得された分光画像データは、面法線ベクトル算出手段４０に出力される。
【００５２】
面法線ベクトル算出手段４０に各色の分光画像データが入力されると、図１２に示す如く、面法線ベクトル算出手段４０が照度差ステレオ法により面法線ベクトルデータを算出する(ステップＳ７)。すなわち、面法線ベクトル算出手段４０は、赤色分光画像データ、青色分光画像データおよび緑色分光画像データに基づき前記数３の式に基づき面法線ベクトルデータを時系列的に算出する。このように、面法線ベクトル算出手段４０は、同時に取得された３種の分光画像データに基づいて面法線ベクトルデータを算出する３色光照度差ステレオ法を用いたから、単色の照度差ステレオ法のように、ＬＥＤを１つずつ発光させながら画像データを取得する必要がない。従って、嚥下運動に伴って形状が連続的に変化する喉表面であっても、面法線ベクトルデータを間断なくリアルタイムで算出することが可能となる。しかも、面法線ベクトルデータの算出にあたって、各ＣＣＤ３４,３６,３８で得られた正確な分光画像データを用いたから、実際の喉表面の凹凸形状に即した精度の高い面法線ベクトルデータを得ることができる。面法線ベクトル算出手段４０で算出された面法線ベクトルデータは、データ記憶手段４２に時系列的に記憶される(ステップＳ８)。
【００５３】
設定処理においては、図１３に示すように、算出された面法線ベクトルデータのうちから、テンプレートマッチングの基準となるテンプレートがテンプレート設定部４８により設定される(ステップＳ９)。すなわち、図８に示すように、出力手段２６の設定画面に表示された基準画像において、入力手段２５を介して甲状軟骨１２の頂部に対応する位置を基準点Ｐとして指定する。また、設定画面における範囲設定バー５４において、カーソル５４ａを左右にスライド移動させ、テンプレートの範囲(ピクセル数)を決定する。これらの入力に基づき、基準点Ｐを中心として、入力されたピクセル数の長さを有しＹ軸方向に延在する線状の範囲に含まれた面法線ベクトルデータがテンプレートとしてテンプレート設定部４８により設定される。テンプレート設定部４８で設定されたテンプレートは、テンプレート記憶部５６に記憶される(ステップＳ１０)。
【００５４】
また、探索領域設定部５０が、面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する(ステップＳ１１)。すなわち、図８に示すように、出力手段２６の設定画面における探索領域設定バー５８において、入力手段２５を介してカーソル５８ａを左右にスライド移動させて、探索領域の範囲(ピクセル数)を決定する。このとき、探索領域のピクセル数は、テンプレートの範囲より大きな値に設定される。探索領域のピクセル数が入力されると、基準点Ｐを中心としてテンプレートの範囲を包含する線状の領域が探索領域として探索領域設定部５０により設定される。すなわち、探索領域は、テンプレートと同様に、上下方向(Ｙ軸方向)に延在する範囲として設定される。探索領域設定部５０で探索領域が設定されることで、設定処理が終了する。
【００５５】
次に、テンプレートマッチング手段４６によるテンプレートマッチング処理について説明する(ステップＳ５)。図１４に示すように、テンプレートマッチング処理では、先ず始めに、位置特定部５２がデータ記憶手段４２に記憶された面法線ベクトルデータと、テンプレート記憶部５６に記憶されたテンプレートとを読み出す(ステップＳ１２)。そして、位置特定部５２は、読み出した面法線ベクトルデータとテンプレートとに基づいて探索領域設定部５０で設定された探索領域内でテンプレートマッチングを行う(ステップＳ１３)。具体的には、位置特定部５２は、探索領域内における面法線ベクトルデータとテンプレートとの類似度を、数５の式を用いて計算する。そして、探索領域内において最も類似度が大きくなる(ＮＣＣが１に近くなる)テンプレートの位置から、当該面法線ベクトルデータにおける基準点Ｐの位置(甲状軟骨１２の頂部に対応する位置)を特定する(ステップＳ１４)。すなわち、時系列的に取得される各面法線ベクトルデータにおける基準点Ｐが特定されることで、嚥下運動を測定するようになっている。また、実施例１では、類似度を計算するに際し、ベクトルの余弦として規定されるＮＣＣを用いたので(図９参照)、喉表面の明るさの変化に影響を受けることはなく、甲状軟骨１２の移動に伴い面形状が変化する喉表面の類似度を正確に計算することができる。但し、類似度の計算としては、前述したＳＳＤ(数５)やＳＡＤ(数６)等、類似性を算出し得る公知の方法を適宜採用し得る。
【００５６】
ここで、前述のように、テンプレートの範囲および探索領域は、前記テンプレート設定部４８および探索領域設定部５０において線状の領域に設定されている。従って、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチング時の計算量を少なくし得るから、テンプレートマッチングを効率的に行うことができ、基準点Ｐの位置を迅速に特定することができる。全ての面法線ベクトルデータに対するテンプレートマッチングが終了すると(ステップＳ１５のＹｅｓ)、テンプレートマッチング処理が終了する。
【００５７】
テンプレートマッチング処理により位置特定部５２で特定された基準点Ｐの位置は、出力手段２６に入力される。出力手段２６では、図１５に示すように、入力された基準点Ｐの位置から移動ピクセル量を算出し、該移動ピクセル量の時間変化をグラフで表示する(ステップＳ６)。図１５は、横軸が時間、縦軸が移動ピクセル量を示している。このように、基準点Ｐの移動ピクセル量の時間変化を出力手段２６がグラフ化して表示することで、嚥下運動時での追跡形状(すなわち、甲状軟骨１２)の動きを詳細に観察することができ、嚥下運動を解析することが可能となる。しかも、測定時に被験者にセンサー等を装着したり、被験者の首を固定したりする必要がないから、自然な嚥下運動を正確に測定することができる。従って、測定された嚥下運動を解析することで、飲食品の「食感」、医薬品の「飲み込み易さ」等を客観的に評価することができる。しかも、センサーや電極等の測定器具を被験者に装着する必要がないから、嚥下運動の測定を簡単かつ低コストで実施することができる。
【００５８】
次に、喉表面の色分画像を出力する場合について説明する。なお、喉表面の色分画像を表示する際には、前述した面法線ベクトルデータ算出処理で算出された面法線ベクトルデータが用いられる。図１６に示すように、色分画像作成手段４４は、データ記憶手段４２に記憶した面法線ベクトルデータを読み出す(ステップＳ１６)。次に、色分画像作成手段４４は、読み出した面法線ベクトルデータから色分画像データを作成する(ステップＳ１７)。このとき、色分画像作成手段４４は、図１０(ａ)に示すように、面法線ベクトルを８方向に分類し、各方向に対応する色分けをした色分画像データを作成する。次に、色分画像作成手段４４は、作成した色分画像データを出力手段２６に出力する(ステップＳ１８)。そして、出力手段２６は、図１０(ｂ)に示すように、入力された色分画像データに基づいて、喉表面を色分けした画像を表示する。このように、実施例１に係る摂食運動測定システム１０および測定方法によれば、喉表面の傾き(面法線ベクトルの方向)に応じて色分けした画像を表示することができるので、嚥下運動時における喉表面の変化を視覚的に把握することができる。従って、色分画像に基づいて、嚥下運動を詳細に観察および分析することが可能となり、飲食品等の「飲み込み易さ」等を評価することができる。
【００５９】
〔実験例１〕
次に、本発明に係る摂食運動測定システム１０および測定方法を用いた測定実験を行った。被験者としての２０代前半の男性に、コップに入れた水(２００ｍｌ)を数回に分けて飲み込んでもらい、そのときの嚥下運動を測定した。図１７に測定結果を示す。なお、図１７における理想値は、出力手段２６に表示した喉表面の画像から甲状軟骨１２の頂部に対応する位置を目視により特定した場合における基準位置からの移動ピクセル量である。また、実験例１では、数４の式を用いて類似度を計算した。実験例１の結果から分かるように、本発明に係る摂食運動測定システム１０で測定された実測値は、理想値にほぼ一致している。すなわち、本発明に係る測定システムおよび測定方法によれば、基準点Ｐの位置(甲状軟骨１２の頂部に対応する位置)を正確に追跡することができ、嚥下運動を正確に測定し得ることが分かる。
【００６０】
〔実験例２〕
次に、実験例２として、飲料の違いによる嚥下運動の違いを本発明の嚥下運動測定システム１０を用いて測定した。被験者には、水および食塩水を同量(２００ｍｌ)ずつ飲んでもらい、水を飲んだ場合の測定結果と食塩水を飲んだ場合の測定結果とを比較した。食塩水は、人が飲み込むのに抵抗を感じる３重量％の濃度とした。実験例２の結果を図１８に示す。なお、実験例２では、数４の式を用いて類似度を計算した。
【００６１】
図１８のグラフから分かるように、水を飲んだ場合と食塩水を飲んだ場合とでは、飲み終えるまでの時間が異なっている(食塩水の方が時間が長くなっている)。これは、被験者が食塩水を飲み辛いと感じて、食塩水を全て飲み干すまでに時間を要したものと判断される。また、食塩水のグラフは、グラフの立ち上がりや立ち下がりの傾きが、水に較べて緩やかとなっている。これは、食塩水が辛いため、被験者が飲み込むのを躊躇したものと判断される。このように、本発明の測定システムおよび測定方法を用いることで、異なる種類の飲食品や医薬品を飲んだ場合の嚥下運動を比較することで、「飲み込み易さ」等を評価することができる。
【００６２】
〔実験例３〕
次に、類似度の計算方法を変えた場合に測定結果に生ずる差を比較する実験を行った。実験例は、前述した実施例１のように、類似度の計算にＮＣＣ(数４参照)を用いた。比較例は、類似度の計算に前記数６で表されるＳＡＤを用いた。被験者に水を２００ｍｌ飲んでもらい測定結果を比較した。その測定結果を図１９に示す。なお、理想値は、実験例１で説明したように、甲状軟骨１２の頂部の位置を目視により特定したものである。
【００６３】
図１９の結果から、ＳＡＤ(一点鎖線)を用いた比較例よりも、ＮＣＣ(実線)を用いた実験例の方が理想値によく一致していることが分かる。これは、図９に示すように、ＳＡＤがベクトルの差であり、甲状軟骨１２が上下することで変化する喉表面の輝度値(ベクトルの長さ)に大きく影響を受けるため、ＳＡＤを用いた類似度計算では、基準点Ｐの位置を特定する際に誤差が生じたものと思われる。一方、ＮＣＣは、ベクトルの傾き(余弦)に依存し、喉表面の明るさの変化に影響を受けないため、基準点Ｐを正確に特定できたと判断される。すなわち、本発明における類似度の計算には、ＮＣＣを用いることで、より正確に嚥下運動を測定することができることが分かる。
【実施例２】
【００６４】
実施例２の摂食運動測定システムおよび測定方法では、頭頸部表面(具体的には下顎表面)の凹凸形状を含む形状であって咀嚼運動時に表面形状を概ね維持したまま移動する形状を追跡形状に設定し、摂食に伴って咀嚼した際に当該追跡形状の位置を時系列的に特定することで、被験者の咀嚼運動を測定するよう構成されている。実施例２では、下顎表面に凹凸形状が顕著に表出すると共に咀嚼運動に追従して上下移動する下顎骨のオトガイ隆起６２ａに対応する箇所を基準点Ｐ１として、当該基準点Ｐ１を含んだ形状が追跡形状(第１のテンプレート)として設定されている。また、実施例２に係る摂食運動測定システムおよび測定方法では、実施例１と同様に頭頸部表面(具体的には喉表面)の凹凸形状を含む形状であって嚥下動作時に表面形状を概ね維持したまま移動する形状を追跡形状に設定し、摂食に伴って嚥下した際に当該追跡形状の位置を時系列的に特定することで、被験者の嚥下運動を測定するよう構成されている。実施例２では、喉表面に凹凸形状が顕著に表出すると共に嚥下運動に追従して上下移動する甲状軟骨１２の頂部に対応する箇所を基準点Ｐ２として、当該基準点Ｐ２を含んだ形状が追跡形状(第２のテンプレート)として設定されている。なお、本発明において摂食に伴う咀嚼運動を追跡する追跡形状としては、凹凸形状を含む部分であれば、下顎表面の何れの部位を追跡形状に設定してもよい。例えば、追跡形状として、咀嚼運動時に上下移動する下顎骨６２の下顎底６４や下顎角６６(図２０参照)に起因する下顎表面の凹凸形状を含む形状を追跡形状として設定してもよい。なお、下顎骨６２のオトガイ隆起６２ａに起因した凹凸形状を基準点Ｐ１として指定することで、咀嚼運動に伴う上下移動が顕著に表出し、咀嚼運動を正確に追跡することが可能となる。
【００６５】
実施例２に係る摂食運動測定システムは、実施例１で示した摂食運動測定システム１０と基本的構成が同じであることから、同一の機能を備える構成については同一の符号を付して詳細な説明を省略し、異なる構成について以下説明する。図２１は、実施例２に係る摂食運動測定システム１０の全体構成を示すブロック図である。実施例２に係る摂食運動測定システム１０では、異なる波長の光を照射する発光手段として、不可視領域である赤外線領域の光を照射する複数(実施例では３つ)の赤外線ＬＥＤ７２,７４,７６が用いられており、被験者の甲状軟骨１２および下顎骨６２を含む頭頸部表面(喉表面および下顎表面)に向けて赤外線を照射するよう構成されている。そして、実施例２に係る摂食運動測定システム１０では、下顎表面および喉表面を撮影して分光画像データを取得する撮像手段として、赤外線を撮影可能な３ＣＣＤカメラ７８が用いられている。なお、実施例２に係る摂食運動測定システム１０においても、赤外線ＬＥＤ７２,７４,７６および３ＣＣＤカメラ７８は実施例１と同様の位置関係で配置されており、被験者の喉表面および下顎表面に照射した赤外線の光により３ＣＣＤカメラ７８で撮影し得るようになっている。また、実施例２に係る３つの赤外線ＬＥＤ７２,７４,７６は、不可視である近赤外線領域で、かつ通常の３ＣＣＤカメラ７８が十分な感度を有する約７００ｎｍ〜９００ｎｍの互いに干渉しない波長の光を照射するよう構成されている。
【００６６】
前記各赤外線ＬＥＤ７２,７４,７６および３ＣＣＤカメラ７８には、透過波長の異なるバンドパスフィルタが夫々設置されており、波長の異なる赤外線を頭頸部表面(下顎表面および喉表面)に照射した際に３つの分光画像データを３ＣＣＤカメラ７８が取得し得るようになっている。そして、３ＣＣＤカメラ７８が取得した各波長の分光画像データが前記制御装置２４の面法線ベクトル算出手段４０に出力されるよう構成されている。ここで、図２２は、実施例２で用いたバンドパスフィルタの分光特性を示す。すなわち、実施例２では、７８０±５[ｎｍ]、８５０±５[ｎｍ]、８８０±５[ｎｍ]の近赤外線ににより分光画像データを取得するよう構成されている。なお、実施例２の３ＣＣＤカメラ７８の単位時間あたりのフレーム数は、実施例１と同様に３０ｆｐｓのものを用いているが、これに限定されないことは同様である。
【００６７】
そして、実施例２に係る制御装置２４の面法線ベクトル算出手段４０は、３ＣＣＤカメラ７８で取得した各波長の分光画像データに基づいて前述した３色光照度差ステレオ法により面法線ベクトルデータを算出するよう構成されている。すなわち、３つの赤外線ＬＥＤ７２,７４,７６から異なる３つの波長の赤外線を頭頸部表面(下顎表面および喉表面)に同時に照射し、その反射光を分離して波長毎の輝度データである分光画像データをリアルタイムで取得することで、咀嚼運動に伴って面形状が連続的に変化する下顎表面の面法線ベクトルｎおよび嚥下運動に伴って面形状が連続的に変化する喉表面の面法線ベクトルｎを夫々算出し得るようになっている。そして、面法線ベクトル算出手段４０で算出された面法線ベクトルデータは、データ記憶手段４２に時系列的に記憶され、テンプレートマッチング手段４６においてテンプレートマッチングする際や、前記色分画像作成手段４４で色分画像データを作成する際に読み出されるよう構成される。
【００６８】
また、実施例２に係る摂食運動測定システム１０に設けられたテンプレートマッチング手段４６のテンプレート設定部４８は、前記データ記憶手段４２に記憶された面法線ベクトルデータのうち基準となる面法線ベクトルデータから、２種類の第１のテンプレートおよび第２のテンプレートを夫々設定可能に構成される。ここで、テンプレート設定部４８で設定される第１のテンプレートとしては、下顎骨６２のオトガイ隆起６２ａに起因する凹凸形状が含まれる追跡形状に対応する面法線ベクトルデータで構成され、第２のテンプレートとしては、実施例１と同様に甲状軟骨１２の頂部に起因する凹凸形状が含まれる追跡形状に対応する面法線ベクトルデータで構成される。具体的には、図２３に示すように、出力手段２６に表示させた設定画面に入力手段２５を介して基準点Ｐ１の位置および第１のテンプレートとする範囲が入力され、当該入力値に基づいて面法線ベクトルデータからテンプレート設定部４８が第１のテンプレートを設定する。なお、実施例２では、第１のテンプレートが作成される基準となる面法線ベクトルデータは、被験者が咀嚼運動を開始する前の下顎表面における面法線ベクトルデータに設定されている。設定画面には、基準となる面法線ベクトルデータに対応する画像データ(以下、基準画像データという)が表示され、前記基準点Ｐ１は、基準画像データにおいて、下顎骨６２のオトガイ隆起６２ａに対応する位置を入力手段２５で指定することで設定される。また、第１のテンプレートの範囲は、設定画面に設けた範囲設定バー５４において、入力手段２５を介してカーソル５５ａを左右にスライド移動させ、第１のテンプレートとする範囲のピクセル数(画素数)を決定することで行われる。ピクセル数が入力されると、テンプレート設定部４８は、基準点Ｐ１を通ると共に咀嚼運動時における下顎骨６２の運動方向(Ｙ軸方向)に入力されたピクセル数の長さで延在する線状の領域を第１のテンプレートの範囲として設定する。すなわち、テンプレート設定部４８は、前記基準点Ｐ１を中心とした上下方向に延在する線分を第１のテンプレートとして設定する。ここで、第１のテンプレートの幅方向(Ｘ軸方向)の範囲は、１ピクセルに設定してある。なお、甲状軟骨１２の頂部に対応した第２のテンプレートの設定に関しては、前述した実施例１におけるテンプレートの設定と同じなので、詳細な説明は省略する。また、第１のテンプレートおよび第２のテンプレートは、前記テンプレート記憶部５６に一時的に記憶されて、位置特定部５２がテンプレートマッチングを行う際に読み出される。
【００６９】
実施例２の探索領域設定部５０は、咀嚼運動を測定する探索領域として、前記基準点Ｐ１を通ると共に前記第１のテンプレートの範囲を包含する線状の領域を設定すると共に、嚥下運動を測定する探索領域として、前記基準点Ｐ２を通ると共に前記第２のテンプレートの範囲を包含する線状の領域を設定するよう構成されている。具体的には、図２３に示すように、咀嚼運動の探索領域を設定する探索領域設定バー５９と、嚥下運動の探索領域を設定する探索領域設定バー５８とが設定画面に表示されるようになっており、入力手段２５を介して測定者が探索領域設定バー５９のカーソル５９ａおよび探索領域設定バー５８のカーソル５８ａを左右にスライド移動することで、面法線ベクトルデータにおいて咀嚼運動を探索する範囲および嚥下運動を探索する範囲がピクセル数(画素数)で個別に入力される。そして、入力されたピクセル数に基づいて、探索領域設定部５０は、図２３に示すように、前記基準点Ｐ１を中心とし、前記第１のテンプレートより長尺なＹ軸方向に延在する線状の領域を咀嚼運動の探索領域として設定し、基準点Ｐ２を中心とし、前記第２のテンプレートより長尺なＹ軸方向に延在する線状の領域を嚥下運動の探索領域として設定するよう構成されている。なお、各運動の探索領域として入力されるＹ軸方向のピクセル数は、各運動に対応したテンプレートの範囲のピクセル数より大きな値に設定される。
【００７０】
前記位置特定部５２は、前記データ記憶手段４２に記憶された各面法線ベクトルデータを読み出すと共に、前記テンプレート記憶部５６に記憶された第１のテンプレートおよび第２のテンプレートを読み出して、前記咀嚼運動の探索領域および嚥下運動の探索領域内においてテンプレートマッチングを夫々行うよう構成される。すなわち、前記位置特定部５２は、前記データ記憶手段４２から読み出した各面法線ベクトルデータにおいて、第１のテンプレートとの類似度を咀嚼運動の探索領域内で算出する。そして、咀嚼運動の探索領域内で類似度の値が最大となった第１のテンプレートの位置から当該面法線ベクトルデータにおける基準点Ｐ１の位置を特定する。すなわち、位置特定部５２は、時系列的に取得される各面法線ベクトルデータにおける第１のテンプレート(基準点Ｐ１)の位置を特定することで、咀嚼運動を追跡するようになっている。同様に、前記位置特定部５２は、前記データ記憶手段４２から読み出した各面法線ベクトルデータにおいて、第２のテンプレートとの類似度を嚥下運動の探索領域内で算出する。そして、嚥下運動の探索領域内で類似度の値が最大となった第２のテンプレートの位置から当該面法線ベクトルデータにおける基準点Ｐ２の位置を特定する。すなわち、位置特定部５２は、時系列的に取得される各面法線ベクトルデータにおける第２のテンプレート(基準点Ｐ２)の位置を特定することで、嚥下運動での追跡形状を追跡するようになっている。
【００７１】
また、実施例２では、図２４(ａ)に示すように、Ｘ−Ｙ平面における面法線ベクトルの向きを当該平面上の全方向で色分けした色分画像データを色分画像作成手段４４が作成して、この色分画像データに基づいて頭頸部表面の色分画像が前記出力手段２６に表示されるようになっている。なお、図２４(ｂ)は、色分画像作成手段４４により色分けされる面法線ベクトルの向きを、グラデーション表示した状態を示す。なお、図２４(ｃ)では、実施例１と同様に面法線ベクトルをＸ−Ｙ平面上の８方向に分類した状態を、色彩に変えて模様を付して示すものである。すなわち、実施例２において、基準点Ｐ１や基準点Ｐ２のように突出した身体的特徴部位は、色分画像において色彩が放射状に変化する特徴的な表示態様となる。
【００７２】
〔実施例２の作用〕
次に、前述した実施例２に係る摂食運動測定システム１０による摂食運動の測定方法について、説明する。実施例２に係る摂食運動測定システム１０による摂食運動の測定方法では、前述した実施例１に対して被験者に照射される光の波長が異なると共に、複数の基準点Ｐ１,Ｐ２を設定して、下顎表面および喉表面の動作を追跡する点で異なっている。すなわち、実施例２では、測定用の光源として赤外線を照射することで、測定時に被験者が眩しく感じることはなく、被験者に対する負担を軽減することができる。また、蛍光灯が有する波長領域外の近赤外線光を採用することで、蛍光灯下の室内環境での測定も可能となる。このように、測定用の光源として赤外線を利用することで、被験者が通常飲食する状態と近い環境で測定することができ、より自然な摂食運動(咀嚼運動や嚥下運動)を測定することができる。
【００７３】
また、実施例２では、出力手段２６の設定画面に表示された基準画像において、入力手段２５を介して下顎骨６２のオトガイ隆起６２ａに対応する位置を基準点Ｐ１として指定すると共に、甲状軟骨１２の頂部に対応する位置を基準点Ｐ２として指定することで、各基準点Ｐ１,Ｐ２を中心として線状の範囲に含まれた面法線ベクトルデータが第１のテンプレートおよび第２のテンプレートとして設定される。そして、第１のテンプレートを包含する探索領域および第２のテンプレートを包含する探索領域を夫々個別に設定することで、データ記憶手段４２に記憶された面法線ベクトルデータと、第１および第２のテンプレートとに基づいて各探索領域内でテンプレートマッチングが行われる。具体的には、各探索領域内における面法線ベクトルデータと対応する各テンプレートとの類似度が、数５の式を用いて位置特定部５２により計算されて、各探索領域内において最も類似度が大きくなる(ＮＣＣが１に近くなる)テンプレートの位置に基づいて、当該面法線ベクトルデータにおける基準点Ｐ１の位置(下顎骨６２のオトガイ隆起６２ａに対応する位置)および基準点Ｐ２の位置(甲状軟骨１２の頂部に対応する位置)が特定される。すなわち、時系列的に取得される各面法線ベクトルデータにおける基準点Ｐ１,Ｐ２を特定することで、咀嚼運動と嚥下運動とが同時に連続して測定される。そして、基準点Ｐ１,Ｐ２の移動ピクセル量の時間変化を出力手段２６がグラフ化して表示することで、摂食運動時での追跡形状(すなわち、下顎骨６２や甲状軟骨１２)の動きを同時に詳細に観察することができ、摂食運動を解析することが可能となる。このように、測定時に被験者にセンサー等を装着したり、被験者の首を固定したりする必要がないから、自然な状態で咀嚼運動や嚥下運動を同時に正確に測定することができる。従って、測定された摂食運動を解析することで、摂食した飲食品の噛み応えなどの「食感」や「飲み込み易さ」等を客観的に評価することができる。しかも、センサーや電極等の測定器具を被験者に装着する必要がないから、摂食運動の測定を簡単かつ低コストで実施することができる。
【００７４】
〔実験例４〕
次に、実施例２に係る摂食運動測定システム１０および測定方法を用いて行った測定実験について説明する。本実験例では、被験者として２０代前半の４人の男性に、食感が異なる３種類の食物を摂食してもらい、そのときの咀嚼運動と嚥下運動の様子を前述した摂食運動測定システム１０および測定方法により測定した。なお、本実験例では、イカの内臓を切り開いて乾燥させた固く噛み砕き難いスルメイカと、柔らかく崩れやすい豆腐と、固さはないものの弾力や粘りがあるわらび餅の３種類を採用し、経口摂取してから嚥下するまでの一連の運動を測定している。図２５〜図２８に各被験者の測定結果を示す。また、各被験者が咀嚼を始めてから最初に嚥下運動に入るまでに行った咀嚼回数を表１に示すと共に、当該最初の嚥下運動までのフレーム数(時間)を表２に示す。なお、本実験例で用いた３ＣＣＤカメラ７８が単位時間あたりに撮像するフレーム数は、３０ｆｐｓ(フレーム／秒)である。
【００７５】
【表１】
【００７６】
【表２】
【００７７】
図２５〜図２８や表１,２から、固く噛み砕き難いスルメイカを摂取した場合には、相対的に柔らかいわらび餅や豆腐を摂取した場合と比べて、嚥下運動に入るまでの咀嚼回数が多くなり、また嚥下可能になるまで咀嚼するのに時間を要していることが分かる。これとは反対に、柔らかく脆い豆腐を摂取した場合には、固いスルメイカや弾力のあるわらび餅を摂取した場合と比べて、少ない咀嚼回数で嚥下運動に移行することが分かる。また、柔らかく噛み応えの少ない豆腐を摂取した場合には、相対的に噛み応えのあるスルメイカやわらび餅と比べて、被験者の咀嚼運動が小さくなっていることが分かる。すなわち、本発明に係る摂食運動測定システム１０およびその測定方法によれば、異なる食物を摂取した場合に咀嚼から嚥下に移行するまでの咀嚼回数や咀嚼時間を把握することができ、咀嚼運動や嚥下運動に基づいて、「噛み切り易さ」、「噛み応え感」といった咀嚼から得られる感覚を、被験者に対して非接触かつ非侵襲な状態で評価することができる。また、嚥下運動を測定しているから、実施例１と同様に「飲み込み易さ」等を評価することも可能である。
【００７８】
また、摂取した食物毎の咀嚼運動と嚥下運動との関係は、被験者によらず一定の傾向を示している。この実験例から、本発明に係る摂食運動測定システムおよびその測定方法を用いることで、被験者の個人の感覚に依存することなく、咀嚼運動と嚥下運動との関係を相対的に評価することができることが分かる。更に、摂取した食物毎に、嚥下運動までの咀嚼回数の分布や咀嚼運動の大きさを把握できることから、摂取した食物がどのような食感の食物であるかを推定することも可能となることが分かる。
【００７９】
〔変更例〕
本発明に係る摂食運動測定システムおよび測定方法としては、各実施例に示したものに限定されるものでなく、例えば以下の如き変更が可能である。
(１) 実施例では、発光手段としてＬＥＤを採用したが、必ずしも、ＬＥＤに限定されるものではない。発光手段としては、相互に異なる波長を照射し得るものであれば、ハロゲンランプ、色素レーザー、発光ダイオード(ＬＤ)、エレクトロルミネッセンス(ＥＬ)等、他の発光装置を採用することが可能である。但し、コストや発熱の観点からＬＥＤが特に好ましく用いられる。
(２) 実施例では、３つの発光手段で光を照射したが、発光手段は４つ以上であってもよい。また、実施例では、撮像手段を中心として、３つの発光手段を正三角形状に配置したが、喉表面に対して異なる照射角度で光を照射し得るものであれば、発光手段は、異なる位置関係で配置してもよい
(３) 実施例では、撮像手段として、３ＣＣＤカメラを採用したが、各色の分光画像データを取得し得るものであれば、他のカメラを採用することができる。
(４) 実施例では、テンプレートの範囲および探索領域を線状の領域としたが、両者を面状の領域としてもよい。但し、探索領域は、テンプレートを包含した領域に設定する必要がある。また、テンプレートのみを線状の範囲とし、探索領域を、テンプレートを包含した面状の領域としてもよい。更に、必ずしも探索領域を設定する必要はなく、面法線ベクトルデータの全範囲に対し、テンプレートマッチングを行ってもよい。
(５) 実施例では、入力手段を介して基準点やテンプレートの範囲を入力することで、テンプレート設定部がテンプレートを設定するようにしたが、テンプレート設定部が予め設定された基準点およびテンプレートの範囲を自動的に設定するようにしてもよい。また、必ずしも、入力手段を介して入力した探索領域の範囲に基づいて、探索領域設定部が探索領域を設定する必要はなく、予め設定された探索領域を探索領域設定部が自動的に設定するようにしもよい。
(６) 実施例では、出力手段に表示された設定画面に入力手段を介して基準点等を入力するようにしたが、例えば、測定者が基準点の位置を出力手段に直接触れることで設定するタッチパネル方式を採用することも可能である。
(７) 実施例では、被験者が摂食運動を開始する前の面法線ベクトルデータからテンプレートを作成したが、摂食運動中の面法線ベクトルデータからテンプレートを作成してもよい。
(８) 実施例では、甲状軟骨の頂部に対応する位置を基準点として、該基準点の位置を特定する構成とした。しかしながら、追跡形状としては、喉表面の何れの部位を設定してもよい。例えば、輪状軟骨を追跡形状に設定した場合には、甲状軟骨の頂部(のど仏)の突出量が少ない女性の喉表面であっても、嚥下運動を測定することができる。
(９) 実施例では、下顎骨のオトガイ隆起に対応する位置を基準点として、該基準点の位置を特定する構成とした。しかしながら、追跡形状としては、下顎表面の何れの部位を設定してもよい。例えば、下顎底や下顎角に起因する凹凸形状を追跡形状に設定した場合には、顎先の丸く突出量が少ない場合でも、咀嚼運動を測定することができる。
(１０) 実施例では、被験者の頭頸部表面に対し、真正面に撮像手段をセットして、下顎表面や喉表面を撮影したが、咀嚼運動や嚥下運動を捉えられる位置・角度であれば、頭頸部表面に対し斜めに撮像手段をセットしてもよい。
(１１) 実施例１では、水等の飲料を飲み込むときの嚥下運動を測定したが、固体やゼリー状の食品を飲み込むときや、液剤や錠剤等の医薬品を飲み込むときの嚥下運動を測定することも可能である。
(１２) 実施例では、嚥下運動のみを測定する場合と、咀嚼運動および嚥下運動を測定する場合を示したが、咀嚼運動のみを測定することも可能であることは当然である。
【符号の説明】
【００８０】
１２ 甲状軟骨，１４ 輪状軟骨，１６ 赤色ＬＥＤ(発光手段)
１８ 青色ＬＥＤ(発光手段)，２０ 緑色ＬＥＤ(発光手段)
２２ ３ＣＣＤカメラ(撮像手段)，４０ 面法線ベクトル算出手段
４４ 色分画像作成手段，４６ テンプレートマッチング手段
４８ テンプレート設定部，５０ 探索領域設定部，５２ 位置特定部
５６ テンプレート記憶部(記憶部)
６２ 下顎骨，７２ 赤外線ＬＥＤ(発光手段)，７４ 赤外線ＬＥＤ(発光手段)
７６ 赤外線ＬＥＤ(発光手段)，７８ ３ＣＣＤカメラ(撮像手段)
【技術分野】
【０００１】
この発明は、人が飲食品や医薬品等を飲み込む際の摂食運動を測定する摂食運動測定システムおよび測定方法に関するものである。
【背景技術】
【０００２】
飲食品が喉を通るときの感覚である「のどごし感」は、飲食品の「おいしさ」を表す指標として重要な因子である。そこで、飲食品の開発過程では、「飲み込み易さ」、「飲みごたえ感」等の感覚(のどごし感)を評価するため、被験者にアンケート等を行って評価を得る官能検査が広く実施されている。しかしながら、この官能検査では、被験者の感覚や好みといった主観的な感性が大きく影響するため、人が「物を飲み込む感覚」を客観的に評価することは難しい。また、経口摂取される医薬品の開発段階においても、錠剤等の「飲み込み易さ」を評価して、負担の少ない形状や大きさを決定する際の参考とされる。しかしながら、前述したように、アンケート等による官能検査では、被験者の主観が大きく影響するため客観的な評価を得られない。そこで、飲食品や経口摂取される医薬品の「飲み込み易さ」等、物を飲み込む感覚を客観的に評価するため、飲食時に表出される嚥下運動を測定する方法が各種提案されている。従来、嚥下運動は、嚥下造影検査(videofluoroscopic examination of swallowing:VF)と呼ばれる特殊なレントゲン撮影により測定されていた。しかしながら、この検査方法では、試験回数に比例して被験者の被曝量が多くなるため、被験者の身体的負担が増大する危険がある。また、試験対象品に造影剤を混入させる必要があり、試験対象品の味や性状に影響を与えてしまうため、正確な評価は困難であった。
【０００３】
そこで、非侵襲な嚥下運動の計測方法として、例えば、特許文献１には、複数の圧力センサーを被験者の前頸部に貼り付け、該圧力センサーが測定した前頸部の圧力変化に基づいて嚥下運動を測定する方法が開示されている。また、特許文献２には、被験者の喉表面に電極を貼り付けて喉の筋肉の表面筋電位の波形データを取得し、該波形データを周波数解析することで嚥下運動を測定する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１６０４５９号公報
【特許文献２】特開２００９−３９５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、嚥下運動の測定時に、センサーや電極等の測定具を被験者に装着すると、被験者への負担が大きくなる難点がある。また、被験者は、測定具を喉周りに装着した極めて不自然な状態で飲食品や医薬品を飲み込むため、「物を飲み込む感覚」を適正に評価することができない。更に、測定された値が嚥下運動に基づくものであるのか、被験者の呼吸等の他の運動に起因するものであるのかを区別し、判断することが困難となる欠点を有している。
【０００６】
また、飲食品の「おいしさ」を表す指標として、このような物を飲み込む感覚の他にも、物を噛む感覚も重要な因子の１つである。このため、飲食品の開発過程では、「噛み切り易さ」、「噛み応え感」等の咀嚼から得られる感覚についても、被験者を対象としたアンケート等の官能検査が実施されている。しかしながら、アンケート等による官能検査では、客観的な評価を得ることが困難であることから、前述した嚥下運動と同様に、圧力センサーや電極を利用して、飲食時に表出される咀嚼運動を測定する方法が提案されているものの、これらの測定具を用いることで前述したと同様の問題を内在していた。
【０００７】
すなわち、本発明は、従来技術に内在する前記問題に鑑み、これらを解決するべく提案されたものであって、被験者に負担を強いることなく、摂食時における咀嚼運動や嚥下運動を自然な状態で測定し得る摂食運動測定システムおよび測定方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決し、所期の目的を達成するため、本発明の請求項１に係る摂食運動測定システムは、
頭頸部表面に対して相互に波長の異なる光を照射する３つ以上の発光手段と、
前記頭頸部表面で反射した光を分光して、分光画像データを時系列的に取得する撮像手段と、
前記撮像手段で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出する面法線ベクトル算出手段と、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求めるテンプレートマッチング手段とを備え、
前記テンプレートマッチング手段により前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定するよう構成したことを要旨とする。
請求項１の発明によれば、照度差ステレオ法により被験者の頭頸部表面の面法線ベクトルデータを算出し、当該面法線ベクトルデータからテンプレートマッチングにより咀嚼運動または嚥下運動に伴う頭頸部表面の追跡形状をテンプレートとして追跡するようにしたから、咀嚼運動または嚥下運動を正確に測定することができる。このとき、咀嚼運動または嚥下運動の測定時に、センサーや電極等を被験者に装着する必要がないから、自然な咀嚼運動や嚥下運動を測定することが可能となる。また、頭頸部表面の凹凸形状を含む追跡形状を追跡する構成としたから、被験者の頭頸部表面の皮膚性状の影響を受け難くなり、頭頸部表面に多少の弛みやしわ等が生じていても、咀嚼運動または嚥下運動を正確に測定し得る。しかも、３つ以上の発光手段から波長の異なる光を照射し、撮像手段で分光画像を取得して、面法線ベクトルデータを算出する構成とした。すなわち、同一波長の光を用いた場合に算出し得ない時間変化する頭頸部表面の面法線ベクトルデータを、３つ以上の異なる波長の光を同時に照射することで求めることが可能となる。しかも、３つ以上の異なる波長の光を分光することで、瞬時に分光画像を取得して面法線ベクトルデータを算出し得るから、同一波長の光を用いた場合のように、発光手段を１つずつ発光させながら分光画像を取得する必要がなく、測定を効率的に行い得る。また、測定時に圧力センサーや電極等を被験者に装着する必要がないから、咀嚼運動または嚥下運動の測定を簡単かつ低コストで行い得る。
【０００９】
請求項２に係る摂食運動測定システムでは、前記発光手段は、前記撮像手段の分光感度特性において相互に干渉しない波長の光を照射するよう構成されることを要旨とする。
請求項２の発明によれば、撮像手段の分光感度特性において相互に干渉しない波長の光を照射する構成としたので、頭頸部表面で反射した光を分光して正確な分光画像を得ることができる。従って、精度の高い分光画像に基づいて、正確な面法線ベクトルデータを算出し得るから、咀嚼運動または嚥下運動を高精度で測定することが可能となる。
【００１０】
請求項３に係る摂食運動測定システムは、前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成する色分画像作成手段を備えていることを要旨とする。
請求項３の発明によれば、色分画像作成手段が面法線ベクトルデータを色分けし、色分画像データを作成するので、頭頸部表面の変化を視覚的に捉えることができ、咀嚼運動または嚥下運動を詳細に観察および分析することができる。
【００１１】
請求項４に係る摂食運動測定システムは、
前記テンプレートマッチング手段は、
基準となる面法線ベクトルデータから前記テンプレートを設定するテンプレート設定部と、
前記テンプレート設定部で設定されたテンプレートを記憶する記憶部と、
前記各面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する探索領域設定部と、
前記記憶部に記憶されたテンプレートと各面法線ベクトルデータとを前記探索領域設定部で設定された探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する位置特定部とを備えることを要旨とする。
請求項４の発明によれば、テンプレートと面法線ベクトルデータとを探索領域内でテンプレートマッチングするから、マッチングする範囲が限定されて、位置特定部での計算量を抑制することができる。
【００１２】
請求項５に係る摂食運動測定システムは、追跡形状は、頭頸部表面における甲状軟骨または輪状軟骨に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定されることを要旨とする。
請求項５の発明によれば、テンプレートの範囲を嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、甲状軟骨または輪状軟骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【００１３】
請求項６に係る摂食運動測定システムは、前記追跡形状は、頭部表面における下顎骨に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨の動作方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定されることを要旨とする。
請求項６の発明によれば、テンプレートの範囲を咀嚼運動時の下顎骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、咀嚼運動時に下顎骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【００１４】
前記課題を解決し、所期の目的を達成するため、本発明の請求項７に係る摂食運動測定方法は、
頭頸部表面に対して相互に波長の異なる光を３つ以上の発光手段から照射し、該頭頸部表面で反射した光を分光して分光画像データを撮像手段が時系列的に取得し、
前記撮像手段で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出し、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求め、
前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定することを要旨とする。
請求項７の発明によれば、照度差ステレオ法により被験者の頭頸部表面の面法線ベクトルデータを算出し、当該面法線ベクトルデータからテンプレートマッチングにより咀嚼運動または嚥下運動に伴う頭頸部表面の追跡形状をテンプレートとして追跡するようにしたから、咀嚼運動または嚥下運動を正確に測定することができる。このとき、咀嚼運動または嚥下運動の測定時に、センサーや電極等を被験者に装着する必要がないから、自然な咀嚼運動や嚥下運動を測定することが可能となる。また、頭頸部表面の凹凸形状を含む追跡形状を追跡する方法としたから、被験者の頭頸部表面の皮膚性状の影響を受け難くなり、頭頸部表面に多少の弛みやしわ等が生じていても、咀嚼運動や嚥下運動を正確に測定し得る。しかも、３つ以上の発光手段から波長の異なる光を照射し、撮像手段で分光画像を取得して、面法線ベクトルデータを算出する方法とした。すなわち、同一波長の光を用いた場合に算出し得ない時間変化する頭頸部表面の面法線ベクトルデータを、３つ以上の異なる波長の光を同時に照射することで求めることが可能となる。しかも、３つ以上の異なる波長の光を分光することで、瞬時に分光画像を取得して面法線ベクトルデータを算出し得るから、同一波長の光を用いた場合のように、発光手段を１つずつ発光させながら分光画像を取得する必要がなく、測定を効率的に行い得る。また、測定時に圧力センサーや電極等を被験者に装着する必要がないから、咀嚼運動または嚥下運動の測定を簡単かつ低コストで行い得る。
【００１５】
請求項８に係る摂食運動測定方法は、発光手段は、前記撮像手段の分光感度特性において相互に干渉しない波長の光を照射することを要旨とする。
請求項８の発明によれば、撮像手段の分光感度特性において相互に干渉しない波長の光を照射する方法としたので、頭頸部表面で反射した光を分光して正確な分光画像を得ることができる。従って、精度の高い分光画像に基づいて、正確な面法線ベクトルデータを算出し得るから、咀嚼運動または嚥下運動を高精度で測定することが可能となる。
【００１６】
請求項９に係る摂食運動測定方法は、前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成することを要旨とする。
請求項９の発明によれば、面法線ベクトルデータを色分けし色分画像データを作成するので、頭頸部表面の変化を視覚的に捉えることができ、咀嚼運動または嚥下運動を詳細に観察および分析することができる。
【００１７】
請求項１０に係る摂食運動測定方法は、
前記追跡形状は、前記頭頸部表面における甲状軟骨または輪状軟骨に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定することを要旨とする。
請求項１０の発明によれば、テンプレートの範囲を嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、嚥下時に甲状軟骨または輪状軟骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【００１８】
請求項１１に係る摂食運動測定方法は、
前記追跡形状は、頭部表面における下顎骨に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨の動作方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定することを要旨とする。
請求項１１の発明によれば、テンプレートの範囲を咀嚼運動時の下顎骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、咀嚼時に下顎骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【発明の効果】
【００１９】
本発明に係る摂食運動測定システムおよび測定方法は、非接触かつ非侵襲な方法であるため、被験者に負担をかけることなく、自然な咀嚼運動や嚥下運動を正確に測定することができる。
【図面の簡単な説明】
【００２０】
【図１】実施例１に係る摂食運動測定システムの全体構成を示すブロック図である。
【図２】(ａ)は３ＣＣＤカメラ、ＬＥＤおよび被験者の位置関係を示す斜視図、(ｂ)は３ＣＣＤカメラおよびＬＥＤを被験者側から見た正面図である。
【図３】実施例で採用した各ＬＥＤの仕様を示す説明図である。
【図４】ＬＥＤの光が３ＣＣＤカメラ内で分光される様子を示す説明図である。
【図５】実施例で採用した３ＣＣＤカメラのレンズ部の仕様を示す説明図である。
【図６】実施例で採用した３ＣＣＤカメラの分光感度特性と各ＬＥＤの光の波長との関係を示すグラフ図である。
【図７】(ａ)は光源と観察面の明るさの関係を示す説明図、(ｂ)は照度差ステレオ法の説明図である。
【図８】出力手段に表示された設定画面を示す図である。
【図９】ＮＣＣ、ＳＡＤおよびＳＳＤの関係を表す説明図である。
【図１０】(ａ)は色分画像作成手段が色分けする面法線ベクトルの方向と色の対応関係を示す説明図、(ｂ)は出力手段に表示された喉表面の色分画像、(ｃ)は色分画像のベースとなる喉表面の実際の画像を示す。
【図１１】実施例に係る摂食運動測定方法の全体的なフローを示すフローチャート図である。
【図１２】面法線ベクトルデータ算出処理を示すフローチャート図である。
【図１３】設定処理を示すフローチャート図である。
【図１４】テンプレートマッチング処理を示すフローチャート図である。
【図１５】甲状軟骨の頂部の位置の時間変化を示すグラフ図である。
【図１６】喉表面の色分画像を表示するフローを示すフローチャート図である。
【図１７】実験例１の測定結果を示すグラフ図である。
【図１８】実験例２の測定結果を示すグラフ図である。
【図１９】実験例３の測定結果を示すグラフ図である。
【図２０】人間の頭頸部を側頭部から示す概念図である。
【図２１】実施例２に係る摂食運動測定システムの全体構成を示すブロック図である。
【図２２】実施例２に係るバンドパスフィルタの分光特性を示すグラフ図である。
【図２３】出力手段に表示された実施例２の設定画面を示す図である。
【図２４】(ａ)は出力手段に表示された頭頸部表面の色分画像、(ｂ)は色分画像作成手段が色分けする面法線ベクトルの方向と色を示す説明図、(ｃ)は出力手段に表示された頭頸部表面の色分画像を、図１０(a)に示す模様で表示した説明図である。
【図２５】実施例４における被験者１の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【図２６】実施例４における被験者２の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【図２７】実施例４における被験者３の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【図２８】実施例４における被験者４の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【発明を実施するための形態】
【００２１】
次に、本発明に係る摂食運動測定システムおよび測定方法につき、好適な実施例を挙げて、添付図面を参照しながら以下詳細に説明する。本発明でいう「摂食運動」とは、飲食物を口腔に取り込んでから胃へ送り込む一連の動作において行われる咀嚼運動や嚥下運動を含んだものである。ここで、「咀嚼運動」とは、口腔内に摂取した飲食物を下顎と歯、舌等を用いて噛み砕くと共に唾液と混ぜ合わせて嚥下し易い大きさの食塊を形成する運動である。また、「嚥下運動」とは、口腔で形成される飲料や咀嚼した食品等の食塊を、口の中の食塊を飲み下す(飲み込む)ときの運動をいう。本発明の摂食運動測定システムおよび測定方法によると、「飲み込み易さ」、「食べ易さ」、「咽喉への引っ掛かり感」、「飲みごたえ感」等、飲食物や経口摂取される医薬品等を嚥下する際に感じる各種の感覚を、嚥下運動に伴って動作する頭頸部表面の追跡対象の位置を測定することにより、簡便、迅速かつ正確で感度もよく、しかも客観的に評価することが可能となる。また、同様に、本発明の摂食運動測定システムおよび測定方法によると、「噛み易さ」、「噛みごたえ感」等、飲食物等を口腔内で咀嚼する際に感じる各種の感覚を、咀嚼運動に伴って動作する頭頸部表面の追跡対象の位置を測定することにより、簡便、迅速かつ正確で感度もよく、しかも客観的に評価することが可能となる。
【実施例１】
【００２２】
実施例１の摂食運動測定システムおよび測定方法では、図２０に示すように、摂食に伴う嚥下運動時に上下移動する甲状軟骨１２の頂部(のど仏)に起因する喉表面(頭頸部表面)の凹凸形状を含む形状を追跡形状(テンプレート)に設定し、嚥下運動時に喉表面に表れる当該追跡形状(具体的には基準点Ｐ)の位置を時系列的に特定することで、被験者の嚥下運動を測定するよう構成されている。また、基準点Ｐとは、追跡形状内で任意に設定される追跡点であって、実施例１では、喉表面に凹凸形状が顕著に表出し、嚥下運動に追従して上下移動する甲状軟骨１２の頂部に対応する箇所を基準点Ｐに指定している。但し、本発明において摂食に伴う嚥下運動を追跡する追跡形状としては、凹凸形状を含む部分であれば、被験者の喉表面(頭頸部表面)の何れの部位を追跡形状に設定してもよい。例えば、追跡形状として、甲状軟骨１２の下方にあって嚥下運動時に甲状軟骨１２と共に上下移動する輪状軟骨１４に起因する喉表面の凹凸形状を含む形状を設定してもよい。また、基準点Ｐとしても、甲状軟骨１２の頂部に対応する箇所に限定されず、追跡形状内の何れの箇所に基準点Ｐを設定してもよい。なお、甲状軟骨１２に起因した凹凸形状を基準点として指定することで、嚥下運動に伴う上下移動が顕著に表出し、嚥下運動を正確に追跡することが可能となる。
【００２３】
図１は、実施例１に係る摂食運動測定システム１０の全体構成を示すブロック図である。実施例１の摂食運動測定システム１０は、被験者の甲状軟骨１２を含む喉表面に向けて異なる波長の光を照射する３つのＬＥＤ(発光手段)１６,１８,２０と、喉表面を撮影して分光画像データを取得する３ＣＣＤカメラ(撮像手段)２２と、該３ＣＣＤカメラ２２で取得した分光画像データから追跡形状(基準点Ｐ)の位置を時系列的に特定する制御装置２４とを備えている。また、摂食運動測定システム１０は、前記制御装置２４に対し前記基準点Ｐの位置等を入力する入力手段２５と、該制御装置２４における算出結果を出力する出力手段２６とから基本的に構成される。
【００２４】
〔ＬＥＤおよび３ＣＣＤカメラについて〕
図２(ａ)に示すように、前記３つのＬＥＤ１６,１８,２０および３ＣＣＤカメラ２２は、該３ＣＣＤカメラ２２のレンズ部２８(後述)を原点としたＸ−Ｙ−Ｚ直交座標系における３次元空間内に設けられている。図２(ａ)に示す如く、Ｘ−Ｙ−Ｚ直交座標系は、Ｘ軸およびＺ軸が水平方向に延在し、Ｙ軸が鉛直方向に延在するよう設定した。測定時には、レンズ部２８にＺ軸方向に離間して喉表面が対向するよう被験者を３ＣＣＤカメラ２２の正面に座らせ、３ＣＣＤカメラ２２で撮影をする。なお、嚥下運動時の甲状軟骨１２は、Ｙ軸方向(鉛直方向)に移動するものとする。また、前記レンズ部２８は、被験者の喉表面から所定距離(例えば、約３０ｃｍ)だけ離間している。
【００２５】
図２(ｂ)に示す如く、前記３つのＬＥＤ１６,１８,２０は、Ｘ−Ｙ平面上において、前記３ＣＣＤカメラ２２を中心とする同心円状に配設されている。また、各ＬＥＤ１６,１８,２０は、互いに一定間隔離間しており、３つのＬＥＤ１６,１８,２０は、逆正三角形状に配置されている。ＬＥＤ１６,１８,２０間の離間距離は、成人の喉表面の幅寸法(図８の寸法ｌ参照)における平均的な値(１１.６ｃｍ)を考慮して、約１２ｃｍに設定されている。各ＬＥＤ１６,１８,２０は、被験者の喉表面を指向するよう設置され、各ＬＥＤ１６,１８,２０から喉表面に向けて互いに異なる照射方向で光が照射されるよう構成される。また、各ＬＥＤ１６,１８,２０は、相互に波長の異なる光を照射するよう構成される。実施例１では、ＬＥＤ１６,１８,２０として、赤色光を照射する赤色ＬＥＤ１６と、青色光を照射する青色ＬＥＤ１８と、緑色光を照射する緑色ＬＥＤ２０とが採用されている。３つのＬＥＤ１６,１８,２０は、喉表面に対して一斉に光を照射するようになっており、喉表面の凹凸形状に応じて赤、青、緑の３つの光が合成した光で喉表面を照らすよう構成される。赤色ＬＥＤ１６，青色ＬＥＤ１８および緑色ＬＥＤ２０は、３ＣＣＤカメラ２２の分光感度特性(後述)を考慮して、夫々、４６５ｎｍ、５２０ｎｍおよび６２５ｎｍの波長の光を照射するようになっている。実施例１で採用した各ＬＥＤ１６,１８,２０の仕様を図３に示す。
【００２６】
前記３ＣＣＤカメラ２２は、喉表面で反射した光を赤、青、緑の色毎に分光して各色の分光画像データ(輝度データ)を時系列的に取得するものである。３ＣＣＤカメラ２２は、図４に示すように、カメラ本体３０の内部に、レンズ部２８と分光部３２と３つのＣＣＤ(電荷結合素子)３４,３６,３８とが収容されて構成されている。実施例１で採用したレンズ部２８の仕様を図５に示す。前記分光部３２は、３色が合成した光を、赤、青、緑色の波長毎の光に分光するものであって、実施例１では、分光部３２として、ダイクロイックプリズムが採用されている。図４に示すように、ダイクロイックプリズムは、青色光および赤色光を内部で互いに異なる方向へ反射させると共に、緑色光を透過させることで光を分光する。
【００２７】
前記３つのＣＣＤは、赤色光に対応した赤色用ＣＣＤ３４と、青色光に対応した青色用ＣＣＤ３６と、緑色光に対応した緑色用ＣＣＤ３８とから構成される。そして、各ＣＣＤ３４,３６,３８には、前記分光部３２で分光された対応する色の光が入力されるようになっている。ここで、図６の曲線グラフは、実施例１で採用した赤色用ＣＣＤ３４、青色用ＣＣＤ３６および緑色用ＣＣＤ３８の分光感度特性を示している。また、図６の棒グラフは、前記赤色ＬＥＤ１６、青色ＬＥＤ１８、および緑色ＬＥＤ２０が照射する光の波長を示している。このように、各ＬＥＤ１６,１８,２０から照射される光の波長は、ＣＣＤ３４,３６,３８の分光感度が相互に干渉せず、しかも分光感度の値がなるべく高くなる値に設定されている。そして、赤色用ＣＣＤ３４は、入力した赤色光から輝度データ(以下、赤色分光画像データという)を取得する。また、青色用ＣＣＤ３６は、入力した青色光から輝度データ(以下、青色分光画像データという)を取得する。更に、緑色用ＣＣＤ３８は、入力した緑色光から輝度データ(以下、緑色分光画像データという)を取得するようになっている。各ＣＣＤ３４,３６,３８で得られた分光画像データは、夫々、前記制御装置２４の面法線ベクトル算出手段４０(後述)に出力される。なお、実施例１の３ＣＣＤカメラ２２の単位時間あたりのフレーム数は、３０ｆｐｓである。但し、３ＣＣＤカメラ２２のフレーム数は、３０ｆｐｓに限定されるものではない。フレーム数を大きくすると、追跡形状の詳細な追跡が可能となる一方、処理速度は低下するため、求められる測定精度に応じて３ＣＣＤカメラ２２のフレーム数は適宜選択される。
【００２８】
〔制御装置について〕
図１に示すように、前記制御装置２４は、３ＣＣＤカメラ２２で取得した各色の分光画像データから面法線ベクトルデータを算出する面法線ベクトル算出手段４０と、追跡形状の面法線ベクトルデータからなるテンプレートおよび各面法線ベクトルデータを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状(基準点Ｐ)の位置を求めるテンプレートマッチング手段４６とを備える。また、制御装置２４は、面法線ベクトル算出手段４０で算出された面法線ベクトルデータを一時的に記憶するデータ記憶手段４２と、該面法線ベクトルデータから色分画像データを作成する色分画像作成手段４４とを有している。
【００２９】
〔面法線ベクトル算出手段について〕
前記面法線ベクトル算出手段４０は、前記ＣＣＤ３４,３６,３８から入力された各分光画像データに基づいて、照度差ステレオ法により面法線ベクトルデータを算出するよう構成されている。ここで、照度差ステレオ法とは、観察面に照射した光の反射光の輝度(明るさ)に基づいて、該観察面の面法線ベクトルを算出する画像処理方法である。この照度差ステレオ法の原理について、以下、簡単に説明する。なお、照度差ステレオ法は、観察面が完全拡散反射面であることを前提としており、どの方向から観察面を見ても明るさが同じに見えるランバート反射の原理を応用している。実施例１における被験者の喉表面についても、各ＬＥＤ１６,１８,２０から照射された光がランバート反射する完全拡散反射面であると仮定する。
【００３０】
図７(ａ)に示すように、観察面の面法線方向を基準としたθ方向から１つの光源によって面を照らした場合に、光源の強さをＬ，面の反射率をρとすると、カメラで撮影された面の輝度ｘは、下記数１の式で表される。また、法線方向ベクトルｎ’を反射率倍したものを面法線ベクトルｎ、光源方向ベクトルｓ’を光源の強さ倍したものを光源ベクトルｓとすると、数２の式で表すことができる。なお、各式では、記号の上側に付した矢印記号によりベクトルを表している。
【００３１】
【数１】
【００３２】
【数２】
【００３３】
次に、図７(ｂ)に示すように、３つの異なる光源(光源方向ベクトルｓ１,ｓ２,ｓ３)から順に観察面を照らす。この方向を表すベクトルをベクトルＳ＝[ｓ１ ｓ２ ｓ３]とする。このとき観察される輝度を夫々ｘ１,ｘ２,ｘ３とすると、これを要素とするベクトルＸ＝[ｘ１ ｘ２ ｘ３]
Ｔは、数３の式で表され、方向の異なる３つの光源下で別々に観察された三枚の画像データの各画素の輝度値から観察面の面法線ベクトルｎを求めることができる。
【００３４】
【数３】
【００３５】
ここで、前述した照度差ステレオ法は、光源を１つずつ順に発光させて観察面を別々に撮影した画像を用いるため、嚥下運動のような動作を伴う喉表面に対しては、この照度差ステレオ法をそのまま適用することは困難である。そこで、実施例１では、前述したように、３つのＬＥＤ１６,１８,２０から３色の光を喉表面に同時に照射し、その反射光を分光して色毎の輝度データである分光画像データをリアルタイムで取得することで、嚥下運動に伴って面形状が連続的に変化する喉表面の面法線ベクトルｎを算出し得るようになっている(３色光照度差ステレオ法)。すなわち、面法線ベクトル算出手段４０は、赤色用ＣＣＤ３４で得られた赤色分光画像データ、青色用ＣＣＤ３６で得られた青色分光画像データおよび緑色用ＣＣＤ３８で得られた緑色分光画像データを用いることで、前記数３の式から喉表面の面法線ベクトルｎを算出する。
【００３６】
〔データ記憶手段について〕
前記データ記憶手段４２は、前記面法線ベクトル算出手段４０で算出された面法線ベクトルｎのデータ(面法線ベクトルデータ)を時系列的に記憶するＲＡＭ等の一時記憶装置である。データ記憶手段４２に記憶された面法線ベクトルデータは、テンプレートマッチング手段４６においてテンプレートマッチングする際や、前記色分画像作成手段４４で色分画像データを作成する際に読み出される。
【００３７】
〔テンプレートマッチング手段について〕
図１に示すように、前記テンプレートマッチング手段４６は、基準となる面法線ベクトルデータからテンプレートを設定するテンプレート設定部４８と、該テンプレート設定部４８で設定したテンプレートを記憶するテンプレート記憶部(記憶部)５６と、面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する探索領域設定部５０と、テンプレートと各面法線ベクトルデータとをテンプレートマッチングすることで、追跡形状(基準点Ｐ)の位置を特定する位置特定部５２とから基本的に構成される。
【００３８】
前記テンプレート設定部４８は、前記データ記憶手段４２に記憶された面法線ベクトルデータのうち基準となる面法線ベクトルデータからテンプレートを設定するものである。テンプレートとしては、前述のように、甲状軟骨１２の頂部に起因する凹凸形状が含まれる追跡形状に対応する面法線ベクトルデータで構成される。具体的には、図８に示すように、後述する出力手段２６に表示させた設定画面に入力手段２５を介して基準点Ｐの位置およびテンプレートとする範囲を測定者が入力し、当該入力値に基づいて面法線ベクトルデータからテンプレート設定部４８がテンプレートとして設定する。なお、実施例１では、テンプレートが作成される基準となる面法線ベクトルデータは、被験者が嚥下運動を開始する前の喉表面における面法線ベクトルデータに設定されている。設定画面には、基準となる面法線ベクトルデータに対応する画像データ(以下、基準画像データという)が表示され、前記基準点Ｐは、基準画像データにおいて、甲状軟骨１２の頂部に対応する位置を入力手段２５で指定することで設定される。また、テンプレートの範囲は、設定画面に設けた範囲設定バー５４において、入力手段２５を介してカーソル５４ａを左右にスライド移動させ、テンプレートとする範囲のピクセル数(画素数)を決定することで行われる。ピクセル数が入力されると、テンプレート設定部４８は、基準点Ｐを通ると共に嚥下運動時の甲状軟骨１２の運動方向(Ｙ軸方向)に入力されたピクセル数の長さで延在する線状の領域をテンプレートの範囲として設定する。すなわち、テンプレート設定部４８は、前記基準点Ｐを中心とした上下方向に延在する線分をテンプレートとして設定する。なお、実施例１では、幅方向(Ｘ軸方向)のテンプレートの範囲は、１ピクセルである。
【００３９】
前記テンプレート記憶部５６は、前記テンプレート設定部４８で設定されたテンプレートを一時的に記憶するＲＡＭ等の一時記憶装置である。テンプレート記憶部５６に記憶されたテンプレートは、前記位置特定部５２がテンプレートマッチングを行う際に読み出される。前記探索領域設定部５０は、面法線ベクトルデータに対しテンプレートマッチングを行う範囲である探索領域を設定する。実施例１では、探索領域設定部５０は、探索領域として、前記基準点Ｐを通ると共に前記テンプレートの範囲を包含する線状の領域が設定される。具体的には、図８に示す設定画面に設けた探索領域設定バー５８において、測定者が入力手段２５を介してカーソル５８ａを左右にスライド移動させ、面法線ベクトルデータにおいて探索する範囲をピクセル数(画素数)で入力する。入力されたピクセル数に基づいて、探索領域設定部５０は、図８に示すように、前記基準点Ｐを中心とし、前記テンプレートより長尺なＹ軸方向に延在する線状の領域を探索領域として設定する。なお、探索領域として入力されるＹ軸方向のピクセル数は、テンプレートの範囲のピクセル数より大きな値に設定される。また、探索領域の幅方向(Ｘ軸方向)の寸法は、テンプレート同じく１ピクセルである。
【００４０】
前記位置特定部５２は、前記データ記憶手段４２に記憶された各面法線ベクトルデータと前記テンプレート記憶部５６に記憶されたテンプレートとを読み出し、前記探索領域内においてテンプレートマッチングを行うよう構成される。ここで、テンプレートマッチングの原理について、以下簡単に説明する。テンプレートマッチングとは、テンプレートと特定の画像とを重ね合わせて類似度を計算し、類似度が最大となったときのテンプレートの位置を特定する手法である。実施例１では、類似度の計算にＮＣＣ(Normalized Cross-Correlation(正規化相互相関))を用いた。
【００４１】
このＮＣＣは、数４の式で表される。但し、テンプレートの大きさ(画素値の要素数)をＭ×Ｎ、テンプレートの位置(ｉ,ｊ)における画素値をＴ(ｉ,ｊ)、テンプレートと重ね合わせた画像の画素値をＩ(ｉ,ｊ)とする。
【００４２】
【数４】
【００４３】
図９に示すように、テンプレートＴ(ｉ,ｊ)と対象画像Ｉ(ｉ,ｊ)のＭ×Ｎ要素のベクトルＴとベクトルＩを考えると、ＮＣＣはベクトルのなす余弦となっている。従って、ＮＣＣを用いた場合で、１に近いほど類似性が高くなる。
【００４４】
なお、類似度の計算としては、ＮＣＣ以外にも公知の類似度計算法を採用することができる。例えば、図９に示すように、類似度計算に、輝度の絶対差の２乗和であるＳＳＤ(Sum of Squared Difference)や輝度の絶対差の和であるＳＡＤ(Sum
of Absolute Difference)を利用することも可能である。ＳＳＤおよびＳＡＤの式を数５,数６に示す。ＳＳＤおよびＳＡＤを用いた場合、０に近いほど類似性が高くなる。
【００４５】
【数５】
【００４６】
【数６】
【００４７】
前記位置特定部５２は、前記データ記憶手段４２から読み出した各面法線ベクトルデータにおいて、テンプレートとの類似度を探索領域内で算出する。そして、探索領域内で類似度の値が最大となったテンプレートの位置から当該面法線ベクトルデータにおける基準点Ｐの位置を特定する。すなわち、位置特定部５２は、時系列的に取得される各面法線ベクトルデータにおける基準点Ｐを特定することで、嚥下運動での追跡形状を追跡するようになっている。
【００４８】
〔色分画像作成手段について〕
前記色分画像作成手段４４は、前記データ記憶手段４２に記憶された面法線ベクトルデータに基づいて、色分画像データを作成するよう構成される。この色分画像データは、面法線ベクトルデータの各面法線ベクトルを方向に応じて色分けして、出力手段２６で喉表面の凹凸形状に応じて色分した画像(以下、色分画像という)を表示させるためのデータである。実施例１では、色分画像作成手段４４は、図１０(ａ)に示すように、面法線ベクトルをＸ−Ｙ平面上の８方向に分類し、各方向に対応した８種類の色で色分けを行うようになっている。例えば、喉表面の所定位置における面法線ベクトルがＸ−Ｙ平面で右向きである場合、前記色分画像作成手段４４は、喉表面における当該位置の色を黄色で表示する画像データを作成する(図１０(ｂ)参照)。同様に、喉表面の所定位置における面法線ベクトルがＸ−Ｙ平面で上向きである場合、前記色分画像作成手段４４は、喉表面における当該位置の色を青色で表示する画像データを作成する(図１０(ｂ)参照)。なお、図１０(ａ),図１０(ｂ)では、色の代わりに模様を付して表示した。また、図１０(ｃ)は、図１０(ｂ)の色分画像のベースとなる喉表面の実際の画像である。喉表面における甲状軟骨１２の頂部に対応する部位は、色分画像において色が放射状に変わる部分として表れる。
【００４９】
前記入力手段２５は、測定者によって操作されるマウスやキーボード等の入力装置であって、前述のように、テンプレートの設定時に、前記テンプレート設定部４８に対し基準点Ｐの位置およびテンプレートの範囲を入力するようになっている。また、探索領域の設定時に、探索領域設定部５０に対して探索領域の範囲を入力するよう構成される。前記出力手段２６は、液晶表示装置等のディスプレイ装置であって、前記制御装置２４の算出結果を出力するよう構成される。すなわち、出力手段２６は、前記位置特定部５２で特定された基準点Ｐの位置の時間変化を表示するようになっている(図１５参照)。ここで、実施例１では、出力手段２６は、前述した基準画像データで指定した基準点Ｐの位置を基準位置とし、基準位置からＹ軸方向に基準点Ｐが移動したピクセル量(以下、移動ピクセル量という)の時間変化を表示するようになっている。更に、出力手段２６は、図１０(ｂ)に示すように、前記色分画像作成手段４４で作成された画像データに基づいて、喉表面の色分画像を表示するようになっている。なお、前述したように、出力手段２６は、テンプレート設定部４８に対しテンプレートを設定する際や、探索領域設定部５０に対し探索領域を設定する際に用いられる設定画面を表示するよう構成される。
【００５０】
〔実施例１の作用〕
次に、前述した摂食運動測定システム１０による摂食運動の測定方法について、以下説明する。図１１に示すように、摂食運動の測定方法は、被験者の喉表面(頭頸部表面)に向けて光を照射するステップＳ１と、分光画像データを取得するステップＳ２と、面法線ベクトルデータを算出するステップＳ３と、テンプレートおよび探索領域の設定を行うステップＳ４と、テンプレートマッチングを行うステップＳ５と、特定された甲状軟骨１２の頂部Ｐの位置を出力するステップＳ６とを備えている。
【００５１】
前記赤色ＬＥＤ１６、青色ＬＥＤ１８および緑色ＬＥＤ２０から照射された赤色光、青色光および緑色光は、夫々、異なる照射角度で喉表面に到達して該喉表面を照らす。喉表面で反射した光は、図４に示すように、３ＣＣＤカメラ２２のレンズ部２８を透過してカメラ本体３０内に入り、前記分光部３２に到達する。分光部３２では、光が通過する間に赤色、青色および緑色の光に分光される。分光部３２で分光された赤色光、青色光および緑色光は、赤色用ＣＣＤ３４、青色用ＣＣＤ３６および緑色用ＣＣＤ３８に夫々入力され、各ＣＣＤ３４,３６,３８において分光画像データ(赤色分光画像データ、青色分光画像データ、緑色分光画像データ)が３ＣＣＤカメラ２２の撮影コマ(フレーム)毎に時系列的に取得される(ステップＳ２)。このとき、赤色、青色および緑色の光の波長は、図６に示すように、各ＣＣＤ３４,３６,３８の分光感度特性が互いに干渉せず、かつ分光感度が高くなる値に設定してあるから、各ＣＣＤ３４,３６,３８において色毎の正確な分光画像データが取得される。各ＣＣＤ３４,３６,３８で取得された分光画像データは、面法線ベクトル算出手段４０に出力される。
【００５２】
面法線ベクトル算出手段４０に各色の分光画像データが入力されると、図１２に示す如く、面法線ベクトル算出手段４０が照度差ステレオ法により面法線ベクトルデータを算出する(ステップＳ７)。すなわち、面法線ベクトル算出手段４０は、赤色分光画像データ、青色分光画像データおよび緑色分光画像データに基づき前記数３の式に基づき面法線ベクトルデータを時系列的に算出する。このように、面法線ベクトル算出手段４０は、同時に取得された３種の分光画像データに基づいて面法線ベクトルデータを算出する３色光照度差ステレオ法を用いたから、単色の照度差ステレオ法のように、ＬＥＤを１つずつ発光させながら画像データを取得する必要がない。従って、嚥下運動に伴って形状が連続的に変化する喉表面であっても、面法線ベクトルデータを間断なくリアルタイムで算出することが可能となる。しかも、面法線ベクトルデータの算出にあたって、各ＣＣＤ３４,３６,３８で得られた正確な分光画像データを用いたから、実際の喉表面の凹凸形状に即した精度の高い面法線ベクトルデータを得ることができる。面法線ベクトル算出手段４０で算出された面法線ベクトルデータは、データ記憶手段４２に時系列的に記憶される(ステップＳ８)。
【００５３】
設定処理においては、図１３に示すように、算出された面法線ベクトルデータのうちから、テンプレートマッチングの基準となるテンプレートがテンプレート設定部４８により設定される(ステップＳ９)。すなわち、図８に示すように、出力手段２６の設定画面に表示された基準画像において、入力手段２５を介して甲状軟骨１２の頂部に対応する位置を基準点Ｐとして指定する。また、設定画面における範囲設定バー５４において、カーソル５４ａを左右にスライド移動させ、テンプレートの範囲(ピクセル数)を決定する。これらの入力に基づき、基準点Ｐを中心として、入力されたピクセル数の長さを有しＹ軸方向に延在する線状の範囲に含まれた面法線ベクトルデータがテンプレートとしてテンプレート設定部４８により設定される。テンプレート設定部４８で設定されたテンプレートは、テンプレート記憶部５６に記憶される(ステップＳ１０)。
【００５４】
また、探索領域設定部５０が、面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する(ステップＳ１１)。すなわち、図８に示すように、出力手段２６の設定画面における探索領域設定バー５８において、入力手段２５を介してカーソル５８ａを左右にスライド移動させて、探索領域の範囲(ピクセル数)を決定する。このとき、探索領域のピクセル数は、テンプレートの範囲より大きな値に設定される。探索領域のピクセル数が入力されると、基準点Ｐを中心としてテンプレートの範囲を包含する線状の領域が探索領域として探索領域設定部５０により設定される。すなわち、探索領域は、テンプレートと同様に、上下方向(Ｙ軸方向)に延在する範囲として設定される。探索領域設定部５０で探索領域が設定されることで、設定処理が終了する。
【００５５】
次に、テンプレートマッチング手段４６によるテンプレートマッチング処理について説明する(ステップＳ５)。図１４に示すように、テンプレートマッチング処理では、先ず始めに、位置特定部５２がデータ記憶手段４２に記憶された面法線ベクトルデータと、テンプレート記憶部５６に記憶されたテンプレートとを読み出す(ステップＳ１２)。そして、位置特定部５２は、読み出した面法線ベクトルデータとテンプレートとに基づいて探索領域設定部５０で設定された探索領域内でテンプレートマッチングを行う(ステップＳ１３)。具体的には、位置特定部５２は、探索領域内における面法線ベクトルデータとテンプレートとの類似度を、数５の式を用いて計算する。そして、探索領域内において最も類似度が大きくなる(ＮＣＣが１に近くなる)テンプレートの位置から、当該面法線ベクトルデータにおける基準点Ｐの位置(甲状軟骨１２の頂部に対応する位置)を特定する(ステップＳ１４)。すなわち、時系列的に取得される各面法線ベクトルデータにおける基準点Ｐが特定されることで、嚥下運動を測定するようになっている。また、実施例１では、類似度を計算するに際し、ベクトルの余弦として規定されるＮＣＣを用いたので(図９参照)、喉表面の明るさの変化に影響を受けることはなく、甲状軟骨１２の移動に伴い面形状が変化する喉表面の類似度を正確に計算することができる。但し、類似度の計算としては、前述したＳＳＤ(数５)やＳＡＤ(数６)等、類似性を算出し得る公知の方法を適宜採用し得る。
【００５６】
ここで、前述のように、テンプレートの範囲および探索領域は、前記テンプレート設定部４８および探索領域設定部５０において線状の領域に設定されている。従って、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチング時の計算量を少なくし得るから、テンプレートマッチングを効率的に行うことができ、基準点Ｐの位置を迅速に特定することができる。全ての面法線ベクトルデータに対するテンプレートマッチングが終了すると(ステップＳ１５のＹｅｓ)、テンプレートマッチング処理が終了する。
【００５７】
テンプレートマッチング処理により位置特定部５２で特定された基準点Ｐの位置は、出力手段２６に入力される。出力手段２６では、図１５に示すように、入力された基準点Ｐの位置から移動ピクセル量を算出し、該移動ピクセル量の時間変化をグラフで表示する(ステップＳ６)。図１５は、横軸が時間、縦軸が移動ピクセル量を示している。このように、基準点Ｐの移動ピクセル量の時間変化を出力手段２６がグラフ化して表示することで、嚥下運動時での追跡形状(すなわち、甲状軟骨１２)の動きを詳細に観察することができ、嚥下運動を解析することが可能となる。しかも、測定時に被験者にセンサー等を装着したり、被験者の首を固定したりする必要がないから、自然な嚥下運動を正確に測定することができる。従って、測定された嚥下運動を解析することで、飲食品の「食感」、医薬品の「飲み込み易さ」等を客観的に評価することができる。しかも、センサーや電極等の測定器具を被験者に装着する必要がないから、嚥下運動の測定を簡単かつ低コストで実施することができる。
【００５８】
次に、喉表面の色分画像を出力する場合について説明する。なお、喉表面の色分画像を表示する際には、前述した面法線ベクトルデータ算出処理で算出された面法線ベクトルデータが用いられる。図１６に示すように、色分画像作成手段４４は、データ記憶手段４２に記憶した面法線ベクトルデータを読み出す(ステップＳ１６)。次に、色分画像作成手段４４は、読み出した面法線ベクトルデータから色分画像データを作成する(ステップＳ１７)。このとき、色分画像作成手段４４は、図１０(ａ)に示すように、面法線ベクトルを８方向に分類し、各方向に対応する色分けをした色分画像データを作成する。次に、色分画像作成手段４４は、作成した色分画像データを出力手段２６に出力する(ステップＳ１８)。そして、出力手段２６は、図１０(ｂ)に示すように、入力された色分画像データに基づいて、喉表面を色分けした画像を表示する。このように、実施例１に係る摂食運動測定システム１０および測定方法によれば、喉表面の傾き(面法線ベクトルの方向)に応じて色分けした画像を表示することができるので、嚥下運動時における喉表面の変化を視覚的に把握することができる。従って、色分画像に基づいて、嚥下運動を詳細に観察および分析することが可能となり、飲食品等の「飲み込み易さ」等を評価することができる。
【００５９】
〔実験例１〕
次に、本発明に係る摂食運動測定システム１０および測定方法を用いた測定実験を行った。被験者としての２０代前半の男性に、コップに入れた水(２００ｍｌ)を数回に分けて飲み込んでもらい、そのときの嚥下運動を測定した。図１７に測定結果を示す。なお、図１７における理想値は、出力手段２６に表示した喉表面の画像から甲状軟骨１２の頂部に対応する位置を目視により特定した場合における基準位置からの移動ピクセル量である。また、実験例１では、数４の式を用いて類似度を計算した。実験例１の結果から分かるように、本発明に係る摂食運動測定システム１０で測定された実測値は、理想値にほぼ一致している。すなわち、本発明に係る測定システムおよび測定方法によれば、基準点Ｐの位置(甲状軟骨１２の頂部に対応する位置)を正確に追跡することができ、嚥下運動を正確に測定し得ることが分かる。
【００６０】
〔実験例２〕
次に、実験例２として、飲料の違いによる嚥下運動の違いを本発明の嚥下運動測定システム１０を用いて測定した。被験者には、水および食塩水を同量(２００ｍｌ)ずつ飲んでもらい、水を飲んだ場合の測定結果と食塩水を飲んだ場合の測定結果とを比較した。食塩水は、人が飲み込むのに抵抗を感じる３重量％の濃度とした。実験例２の結果を図１８に示す。なお、実験例２では、数４の式を用いて類似度を計算した。
【００６１】
図１８のグラフから分かるように、水を飲んだ場合と食塩水を飲んだ場合とでは、飲み終えるまでの時間が異なっている(食塩水の方が時間が長くなっている)。これは、被験者が食塩水を飲み辛いと感じて、食塩水を全て飲み干すまでに時間を要したものと判断される。また、食塩水のグラフは、グラフの立ち上がりや立ち下がりの傾きが、水に較べて緩やかとなっている。これは、食塩水が辛いため、被験者が飲み込むのを躊躇したものと判断される。このように、本発明の測定システムおよび測定方法を用いることで、異なる種類の飲食品や医薬品を飲んだ場合の嚥下運動を比較することで、「飲み込み易さ」等を評価することができる。
【００６２】
〔実験例３〕
次に、類似度の計算方法を変えた場合に測定結果に生ずる差を比較する実験を行った。実験例は、前述した実施例１のように、類似度の計算にＮＣＣ(数４参照)を用いた。比較例は、類似度の計算に前記数６で表されるＳＡＤを用いた。被験者に水を２００ｍｌ飲んでもらい測定結果を比較した。その測定結果を図１９に示す。なお、理想値は、実験例１で説明したように、甲状軟骨１２の頂部の位置を目視により特定したものである。
【００６３】
図１９の結果から、ＳＡＤ(一点鎖線)を用いた比較例よりも、ＮＣＣ(実線)を用いた実験例の方が理想値によく一致していることが分かる。これは、図９に示すように、ＳＡＤがベクトルの差であり、甲状軟骨１２が上下することで変化する喉表面の輝度値(ベクトルの長さ)に大きく影響を受けるため、ＳＡＤを用いた類似度計算では、基準点Ｐの位置を特定する際に誤差が生じたものと思われる。一方、ＮＣＣは、ベクトルの傾き(余弦)に依存し、喉表面の明るさの変化に影響を受けないため、基準点Ｐを正確に特定できたと判断される。すなわち、本発明における類似度の計算には、ＮＣＣを用いることで、より正確に嚥下運動を測定することができることが分かる。
【実施例２】
【００６４】
実施例２の摂食運動測定システムおよび測定方法では、頭頸部表面(具体的には下顎表面)の凹凸形状を含む形状であって咀嚼運動時に表面形状を概ね維持したまま移動する形状を追跡形状に設定し、摂食に伴って咀嚼した際に当該追跡形状の位置を時系列的に特定することで、被験者の咀嚼運動を測定するよう構成されている。実施例２では、下顎表面に凹凸形状が顕著に表出すると共に咀嚼運動に追従して上下移動する下顎骨のオトガイ隆起６２ａに対応する箇所を基準点Ｐ１として、当該基準点Ｐ１を含んだ形状が追跡形状(第１のテンプレート)として設定されている。また、実施例２に係る摂食運動測定システムおよび測定方法では、実施例１と同様に頭頸部表面(具体的には喉表面)の凹凸形状を含む形状であって嚥下動作時に表面形状を概ね維持したまま移動する形状を追跡形状に設定し、摂食に伴って嚥下した際に当該追跡形状の位置を時系列的に特定することで、被験者の嚥下運動を測定するよう構成されている。実施例２では、喉表面に凹凸形状が顕著に表出すると共に嚥下運動に追従して上下移動する甲状軟骨１２の頂部に対応する箇所を基準点Ｐ２として、当該基準点Ｐ２を含んだ形状が追跡形状(第２のテンプレート)として設定されている。なお、本発明において摂食に伴う咀嚼運動を追跡する追跡形状としては、凹凸形状を含む部分であれば、下顎表面の何れの部位を追跡形状に設定してもよい。例えば、追跡形状として、咀嚼運動時に上下移動する下顎骨６２の下顎底６４や下顎角６６(図２０参照)に起因する下顎表面の凹凸形状を含む形状を追跡形状として設定してもよい。なお、下顎骨６２のオトガイ隆起６２ａに起因した凹凸形状を基準点Ｐ１として指定することで、咀嚼運動に伴う上下移動が顕著に表出し、咀嚼運動を正確に追跡することが可能となる。
【００６５】
実施例２に係る摂食運動測定システムは、実施例１で示した摂食運動測定システム１０と基本的構成が同じであることから、同一の機能を備える構成については同一の符号を付して詳細な説明を省略し、異なる構成について以下説明する。図２１は、実施例２に係る摂食運動測定システム１０の全体構成を示すブロック図である。実施例２に係る摂食運動測定システム１０では、異なる波長の光を照射する発光手段として、不可視領域である赤外線領域の光を照射する複数(実施例では３つ)の赤外線ＬＥＤ７２,７４,７６が用いられており、被験者の甲状軟骨１２および下顎骨６２を含む頭頸部表面(喉表面および下顎表面)に向けて赤外線を照射するよう構成されている。そして、実施例２に係る摂食運動測定システム１０では、下顎表面および喉表面を撮影して分光画像データを取得する撮像手段として、赤外線を撮影可能な３ＣＣＤカメラ７８が用いられている。なお、実施例２に係る摂食運動測定システム１０においても、赤外線ＬＥＤ７２,７４,７６および３ＣＣＤカメラ７８は実施例１と同様の位置関係で配置されており、被験者の喉表面および下顎表面に照射した赤外線の光により３ＣＣＤカメラ７８で撮影し得るようになっている。また、実施例２に係る３つの赤外線ＬＥＤ７２,７４,７６は、不可視である近赤外線領域で、かつ通常の３ＣＣＤカメラ７８が十分な感度を有する約７００ｎｍ〜９００ｎｍの互いに干渉しない波長の光を照射するよう構成されている。
【００６６】
前記各赤外線ＬＥＤ７２,７４,７６および３ＣＣＤカメラ７８には、透過波長の異なるバンドパスフィルタが夫々設置されており、波長の異なる赤外線を頭頸部表面(下顎表面および喉表面)に照射した際に３つの分光画像データを３ＣＣＤカメラ７８が取得し得るようになっている。そして、３ＣＣＤカメラ７８が取得した各波長の分光画像データが前記制御装置２４の面法線ベクトル算出手段４０に出力されるよう構成されている。ここで、図２２は、実施例２で用いたバンドパスフィルタの分光特性を示す。すなわち、実施例２では、７８０±５[ｎｍ]、８５０±５[ｎｍ]、８８０±５[ｎｍ]の近赤外線ににより分光画像データを取得するよう構成されている。なお、実施例２の３ＣＣＤカメラ７８の単位時間あたりのフレーム数は、実施例１と同様に３０ｆｐｓのものを用いているが、これに限定されないことは同様である。
【００６７】
そして、実施例２に係る制御装置２４の面法線ベクトル算出手段４０は、３ＣＣＤカメラ７８で取得した各波長の分光画像データに基づいて前述した３色光照度差ステレオ法により面法線ベクトルデータを算出するよう構成されている。すなわち、３つの赤外線ＬＥＤ７２,７４,７６から異なる３つの波長の赤外線を頭頸部表面(下顎表面および喉表面)に同時に照射し、その反射光を分離して波長毎の輝度データである分光画像データをリアルタイムで取得することで、咀嚼運動に伴って面形状が連続的に変化する下顎表面の面法線ベクトルｎおよび嚥下運動に伴って面形状が連続的に変化する喉表面の面法線ベクトルｎを夫々算出し得るようになっている。そして、面法線ベクトル算出手段４０で算出された面法線ベクトルデータは、データ記憶手段４２に時系列的に記憶され、テンプレートマッチング手段４６においてテンプレートマッチングする際や、前記色分画像作成手段４４で色分画像データを作成する際に読み出されるよう構成される。
【００６８】
また、実施例２に係る摂食運動測定システム１０に設けられたテンプレートマッチング手段４６のテンプレート設定部４８は、前記データ記憶手段４２に記憶された面法線ベクトルデータのうち基準となる面法線ベクトルデータから、２種類の第１のテンプレートおよび第２のテンプレートを夫々設定可能に構成される。ここで、テンプレート設定部４８で設定される第１のテンプレートとしては、下顎骨６２のオトガイ隆起６２ａに起因する凹凸形状が含まれる追跡形状に対応する面法線ベクトルデータで構成され、第２のテンプレートとしては、実施例１と同様に甲状軟骨１２の頂部に起因する凹凸形状が含まれる追跡形状に対応する面法線ベクトルデータで構成される。具体的には、図２３に示すように、出力手段２６に表示させた設定画面に入力手段２５を介して基準点Ｐ１の位置および第１のテンプレートとする範囲が入力され、当該入力値に基づいて面法線ベクトルデータからテンプレート設定部４８が第１のテンプレートを設定する。なお、実施例２では、第１のテンプレートが作成される基準となる面法線ベクトルデータは、被験者が咀嚼運動を開始する前の下顎表面における面法線ベクトルデータに設定されている。設定画面には、基準となる面法線ベクトルデータに対応する画像データ(以下、基準画像データという)が表示され、前記基準点Ｐ１は、基準画像データにおいて、下顎骨６２のオトガイ隆起６２ａに対応する位置を入力手段２５で指定することで設定される。また、第１のテンプレートの範囲は、設定画面に設けた範囲設定バー５４において、入力手段２５を介してカーソル５５ａを左右にスライド移動させ、第１のテンプレートとする範囲のピクセル数(画素数)を決定することで行われる。ピクセル数が入力されると、テンプレート設定部４８は、基準点Ｐ１を通ると共に咀嚼運動時における下顎骨６２の運動方向(Ｙ軸方向)に入力されたピクセル数の長さで延在する線状の領域を第１のテンプレートの範囲として設定する。すなわち、テンプレート設定部４８は、前記基準点Ｐ１を中心とした上下方向に延在する線分を第１のテンプレートとして設定する。ここで、第１のテンプレートの幅方向(Ｘ軸方向)の範囲は、１ピクセルに設定してある。なお、甲状軟骨１２の頂部に対応した第２のテンプレートの設定に関しては、前述した実施例１におけるテンプレートの設定と同じなので、詳細な説明は省略する。また、第１のテンプレートおよび第２のテンプレートは、前記テンプレート記憶部５６に一時的に記憶されて、位置特定部５２がテンプレートマッチングを行う際に読み出される。
【００６９】
実施例２の探索領域設定部５０は、咀嚼運動を測定する探索領域として、前記基準点Ｐ１を通ると共に前記第１のテンプレートの範囲を包含する線状の領域を設定すると共に、嚥下運動を測定する探索領域として、前記基準点Ｐ２を通ると共に前記第２のテンプレートの範囲を包含する線状の領域を設定するよう構成されている。具体的には、図２３に示すように、咀嚼運動の探索領域を設定する探索領域設定バー５９と、嚥下運動の探索領域を設定する探索領域設定バー５８とが設定画面に表示されるようになっており、入力手段２５を介して測定者が探索領域設定バー５９のカーソル５９ａおよび探索領域設定バー５８のカーソル５８ａを左右にスライド移動することで、面法線ベクトルデータにおいて咀嚼運動を探索する範囲および嚥下運動を探索する範囲がピクセル数(画素数)で個別に入力される。そして、入力されたピクセル数に基づいて、探索領域設定部５０は、図２３に示すように、前記基準点Ｐ１を中心とし、前記第１のテンプレートより長尺なＹ軸方向に延在する線状の領域を咀嚼運動の探索領域として設定し、基準点Ｐ２を中心とし、前記第２のテンプレートより長尺なＹ軸方向に延在する線状の領域を嚥下運動の探索領域として設定するよう構成されている。なお、各運動の探索領域として入力されるＹ軸方向のピクセル数は、各運動に対応したテンプレートの範囲のピクセル数より大きな値に設定される。
【００７０】
前記位置特定部５２は、前記データ記憶手段４２に記憶された各面法線ベクトルデータを読み出すと共に、前記テンプレート記憶部５６に記憶された第１のテンプレートおよび第２のテンプレートを読み出して、前記咀嚼運動の探索領域および嚥下運動の探索領域内においてテンプレートマッチングを夫々行うよう構成される。すなわち、前記位置特定部５２は、前記データ記憶手段４２から読み出した各面法線ベクトルデータにおいて、第１のテンプレートとの類似度を咀嚼運動の探索領域内で算出する。そして、咀嚼運動の探索領域内で類似度の値が最大となった第１のテンプレートの位置から当該面法線ベクトルデータにおける基準点Ｐ１の位置を特定する。すなわち、位置特定部５２は、時系列的に取得される各面法線ベクトルデータにおける第１のテンプレート(基準点Ｐ１)の位置を特定することで、咀嚼運動を追跡するようになっている。同様に、前記位置特定部５２は、前記データ記憶手段４２から読み出した各面法線ベクトルデータにおいて、第２のテンプレートとの類似度を嚥下運動の探索領域内で算出する。そして、嚥下運動の探索領域内で類似度の値が最大となった第２のテンプレートの位置から当該面法線ベクトルデータにおける基準点Ｐ２の位置を特定する。すなわち、位置特定部５２は、時系列的に取得される各面法線ベクトルデータにおける第２のテンプレート(基準点Ｐ２)の位置を特定することで、嚥下運動での追跡形状を追跡するようになっている。
【００７１】
また、実施例２では、図２４(ａ)に示すように、Ｘ−Ｙ平面における面法線ベクトルの向きを当該平面上の全方向で色分けした色分画像データを色分画像作成手段４４が作成して、この色分画像データに基づいて頭頸部表面の色分画像が前記出力手段２６に表示されるようになっている。なお、図２４(ｂ)は、色分画像作成手段４４により色分けされる面法線ベクトルの向きを、グラデーション表示した状態を示す。なお、図２４(ｃ)では、実施例１と同様に面法線ベクトルをＸ−Ｙ平面上の８方向に分類した状態を、色彩に変えて模様を付して示すものである。すなわち、実施例２において、基準点Ｐ１や基準点Ｐ２のように突出した身体的特徴部位は、色分画像において色彩が放射状に変化する特徴的な表示態様となる。
【００７２】
〔実施例２の作用〕
次に、前述した実施例２に係る摂食運動測定システム１０による摂食運動の測定方法について、説明する。実施例２に係る摂食運動測定システム１０による摂食運動の測定方法では、前述した実施例１に対して被験者に照射される光の波長が異なると共に、複数の基準点Ｐ１,Ｐ２を設定して、下顎表面および喉表面の動作を追跡する点で異なっている。すなわち、実施例２では、測定用の光源として赤外線を照射することで、測定時に被験者が眩しく感じることはなく、被験者に対する負担を軽減することができる。また、蛍光灯が有する波長領域外の近赤外線光を採用することで、蛍光灯下の室内環境での測定も可能となる。このように、測定用の光源として赤外線を利用することで、被験者が通常飲食する状態と近い環境で測定することができ、より自然な摂食運動(咀嚼運動や嚥下運動)を測定することができる。
【００７３】
また、実施例２では、出力手段２６の設定画面に表示された基準画像において、入力手段２５を介して下顎骨６２のオトガイ隆起６２ａに対応する位置を基準点Ｐ１として指定すると共に、甲状軟骨１２の頂部に対応する位置を基準点Ｐ２として指定することで、各基準点Ｐ１,Ｐ２を中心として線状の範囲に含まれた面法線ベクトルデータが第１のテンプレートおよび第２のテンプレートとして設定される。そして、第１のテンプレートを包含する探索領域および第２のテンプレートを包含する探索領域を夫々個別に設定することで、データ記憶手段４２に記憶された面法線ベクトルデータと、第１および第２のテンプレートとに基づいて各探索領域内でテンプレートマッチングが行われる。具体的には、各探索領域内における面法線ベクトルデータと対応する各テンプレートとの類似度が、数５の式を用いて位置特定部５２により計算されて、各探索領域内において最も類似度が大きくなる(ＮＣＣが１に近くなる)テンプレートの位置に基づいて、当該面法線ベクトルデータにおける基準点Ｐ１の位置(下顎骨６２のオトガイ隆起６２ａに対応する位置)および基準点Ｐ２の位置(甲状軟骨１２の頂部に対応する位置)が特定される。すなわち、時系列的に取得される各面法線ベクトルデータにおける基準点Ｐ１,Ｐ２を特定することで、咀嚼運動と嚥下運動とが同時に連続して測定される。そして、基準点Ｐ１,Ｐ２の移動ピクセル量の時間変化を出力手段２６がグラフ化して表示することで、摂食運動時での追跡形状(すなわち、下顎骨６２や甲状軟骨１２)の動きを同時に詳細に観察することができ、摂食運動を解析することが可能となる。このように、測定時に被験者にセンサー等を装着したり、被験者の首を固定したりする必要がないから、自然な状態で咀嚼運動や嚥下運動を同時に正確に測定することができる。従って、測定された摂食運動を解析することで、摂食した飲食品の噛み応えなどの「食感」や「飲み込み易さ」等を客観的に評価することができる。しかも、センサーや電極等の測定器具を被験者に装着する必要がないから、摂食運動の測定を簡単かつ低コストで実施することができる。
【００７４】
〔実験例４〕
次に、実施例２に係る摂食運動測定システム１０および測定方法を用いて行った測定実験について説明する。本実験例では、被験者として２０代前半の４人の男性に、食感が異なる３種類の食物を摂食してもらい、そのときの咀嚼運動と嚥下運動の様子を前述した摂食運動測定システム１０および測定方法により測定した。なお、本実験例では、イカの内臓を切り開いて乾燥させた固く噛み砕き難いスルメイカと、柔らかく崩れやすい豆腐と、固さはないものの弾力や粘りがあるわらび餅の３種類を採用し、経口摂取してから嚥下するまでの一連の運動を測定している。図２５〜図２８に各被験者の測定結果を示す。また、各被験者が咀嚼を始めてから最初に嚥下運動に入るまでに行った咀嚼回数を表１に示すと共に、当該最初の嚥下運動までのフレーム数(時間)を表２に示す。なお、本実験例で用いた３ＣＣＤカメラ７８が単位時間あたりに撮像するフレーム数は、３０ｆｐｓ(フレーム／秒)である。
【００７５】
【表１】
【００７６】
【表２】
【００７７】
図２５〜図２８や表１,２から、固く噛み砕き難いスルメイカを摂取した場合には、相対的に柔らかいわらび餅や豆腐を摂取した場合と比べて、嚥下運動に入るまでの咀嚼回数が多くなり、また嚥下可能になるまで咀嚼するのに時間を要していることが分かる。これとは反対に、柔らかく脆い豆腐を摂取した場合には、固いスルメイカや弾力のあるわらび餅を摂取した場合と比べて、少ない咀嚼回数で嚥下運動に移行することが分かる。また、柔らかく噛み応えの少ない豆腐を摂取した場合には、相対的に噛み応えのあるスルメイカやわらび餅と比べて、被験者の咀嚼運動が小さくなっていることが分かる。すなわち、本発明に係る摂食運動測定システム１０およびその測定方法によれば、異なる食物を摂取した場合に咀嚼から嚥下に移行するまでの咀嚼回数や咀嚼時間を把握することができ、咀嚼運動や嚥下運動に基づいて、「噛み切り易さ」、「噛み応え感」といった咀嚼から得られる感覚を、被験者に対して非接触かつ非侵襲な状態で評価することができる。また、嚥下運動を測定しているから、実施例１と同様に「飲み込み易さ」等を評価することも可能である。
【００７８】
また、摂取した食物毎の咀嚼運動と嚥下運動との関係は、被験者によらず一定の傾向を示している。この実験例から、本発明に係る摂食運動測定システムおよびその測定方法を用いることで、被験者の個人の感覚に依存することなく、咀嚼運動と嚥下運動との関係を相対的に評価することができることが分かる。更に、摂取した食物毎に、嚥下運動までの咀嚼回数の分布や咀嚼運動の大きさを把握できることから、摂取した食物がどのような食感の食物であるかを推定することも可能となることが分かる。
【００７９】
〔変更例〕
本発明に係る摂食運動測定システムおよび測定方法としては、各実施例に示したものに限定されるものでなく、例えば以下の如き変更が可能である。
(１) 実施例では、発光手段としてＬＥＤを採用したが、必ずしも、ＬＥＤに限定されるものではない。発光手段としては、相互に異なる波長を照射し得るものであれば、ハロゲンランプ、色素レーザー、発光ダイオード(ＬＤ)、エレクトロルミネッセンス(ＥＬ)等、他の発光装置を採用することが可能である。但し、コストや発熱の観点からＬＥＤが特に好ましく用いられる。
(２) 実施例では、３つの発光手段で光を照射したが、発光手段は４つ以上であってもよい。また、実施例では、撮像手段を中心として、３つの発光手段を正三角形状に配置したが、喉表面に対して異なる照射角度で光を照射し得るものであれば、発光手段は、異なる位置関係で配置してもよい
(３) 実施例では、撮像手段として、３ＣＣＤカメラを採用したが、各色の分光画像データを取得し得るものであれば、他のカメラを採用することができる。
(４) 実施例では、テンプレートの範囲および探索領域を線状の領域としたが、両者を面状の領域としてもよい。但し、探索領域は、テンプレートを包含した領域に設定する必要がある。また、テンプレートのみを線状の範囲とし、探索領域を、テンプレートを包含した面状の領域としてもよい。更に、必ずしも探索領域を設定する必要はなく、面法線ベクトルデータの全範囲に対し、テンプレートマッチングを行ってもよい。
(５) 実施例では、入力手段を介して基準点やテンプレートの範囲を入力することで、テンプレート設定部がテンプレートを設定するようにしたが、テンプレート設定部が予め設定された基準点およびテンプレートの範囲を自動的に設定するようにしてもよい。また、必ずしも、入力手段を介して入力した探索領域の範囲に基づいて、探索領域設定部が探索領域を設定する必要はなく、予め設定された探索領域を探索領域設定部が自動的に設定するようにしもよい。
(６) 実施例では、出力手段に表示された設定画面に入力手段を介して基準点等を入力するようにしたが、例えば、測定者が基準点の位置を出力手段に直接触れることで設定するタッチパネル方式を採用することも可能である。
(７) 実施例では、被験者が摂食運動を開始する前の面法線ベクトルデータからテンプレートを作成したが、摂食運動中の面法線ベクトルデータからテンプレートを作成してもよい。
(８) 実施例では、甲状軟骨の頂部に対応する位置を基準点として、該基準点の位置を特定する構成とした。しかしながら、追跡形状としては、喉表面の何れの部位を設定してもよい。例えば、輪状軟骨を追跡形状に設定した場合には、甲状軟骨の頂部(のど仏)の突出量が少ない女性の喉表面であっても、嚥下運動を測定することができる。
(９) 実施例では、下顎骨のオトガイ隆起に対応する位置を基準点として、該基準点の位置を特定する構成とした。しかしながら、追跡形状としては、下顎表面の何れの部位を設定してもよい。例えば、下顎底や下顎角に起因する凹凸形状を追跡形状に設定した場合には、顎先の丸く突出量が少ない場合でも、咀嚼運動を測定することができる。
(１０) 実施例では、被験者の頭頸部表面に対し、真正面に撮像手段をセットして、下顎表面や喉表面を撮影したが、咀嚼運動や嚥下運動を捉えられる位置・角度であれば、頭頸部表面に対し斜めに撮像手段をセットしてもよい。
(１１) 実施例１では、水等の飲料を飲み込むときの嚥下運動を測定したが、固体やゼリー状の食品を飲み込むときや、液剤や錠剤等の医薬品を飲み込むときの嚥下運動を測定することも可能である。
(１２) 実施例では、嚥下運動のみを測定する場合と、咀嚼運動および嚥下運動を測定する場合を示したが、咀嚼運動のみを測定することも可能であることは当然である。
【符号の説明】
【００８０】
１２ 甲状軟骨，１４ 輪状軟骨，１６ 赤色ＬＥＤ(発光手段)
１８ 青色ＬＥＤ(発光手段)，２０ 緑色ＬＥＤ(発光手段)
２２ ３ＣＣＤカメラ(撮像手段)，４０ 面法線ベクトル算出手段
４４ 色分画像作成手段，４６ テンプレートマッチング手段
４８ テンプレート設定部，５０ 探索領域設定部，５２ 位置特定部
５６ テンプレート記憶部(記憶部)
６２ 下顎骨，７２ 赤外線ＬＥＤ(発光手段)，７４ 赤外線ＬＥＤ(発光手段)
７６ 赤外線ＬＥＤ(発光手段)，７８ ３ＣＣＤカメラ(撮像手段)
【特許請求の範囲】
【請求項１】
頭頸部表面に対して相互に波長の異なる光を照射する３つ以上の発光手段(16,18,20,72,74,76)と、
前記頭頸部表面で反射した光を分光して、分光画像データを時系列的に取得する撮像手段(22,78)と、
前記撮像手段(22,78)で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出する面法線ベクトル算出手段(40)と、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求めるテンプレートマッチング手段(46)とを備え、
前記テンプレートマッチング手段(46)により前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定するよう構成した
ことを特徴とする摂食運動測定システム。
【請求項２】
前記発光手段(16,18,20,72,74,76)は、前記撮像手段(22,78)の分光感度特性において相互に干渉しない波長の光を照射するよう構成される請求項１記載の摂食運動測定システム。
【請求項３】
前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成する色分画像作成手段(44)を備えている請求項１または２記載の摂食運動測定システム。
【請求項４】
前記テンプレートマッチング手段(46)は、
基準となる面法線ベクトルデータから前記テンプレートを設定するテンプレート設定部(48)と、
前記テンプレート設定部(48)で設定されたテンプレートを記憶する記憶部(56)と、
前記各面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する探索領域設定部(50)と、
前記記憶部(56)に記憶されたテンプレートと各面法線ベクトルデータとを前記探索領域設定部(50)で設定された探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する位置特定部(52)とを備える請求項１〜３の何れか一項に記載の摂食運動測定システム。
【請求項５】
前記追跡形状は、喉表面における甲状軟骨(12)または輪状軟骨(14)に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に嚥下運動時の甲状軟骨(12)または輪状軟骨(14)の移動方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定される請求項４記載の摂食運動測定システム。
【請求項６】
前記追跡形状は、頭部表面における下顎骨(62)に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨(62)の動作方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定される請求項４または５記載の摂食運動測定システム。
【請求項７】
頭頸部表面に対して相互に波長の異なる光を３つ以上の発光手段(16,18,20,72,74,76)から照射し、該頭頸部表面で反射した光を分光して分光画像データを撮像手段(22,78)が時系列的に取得し、
前記撮像手段(22,78)で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出し、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求め、
前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定する
ことを特徴とする摂食運動測定方法。
【請求項８】
前記発光手段(16,18,20,72,74,76)は、前記撮像手段(22,78)の分光感度特性において相互に干渉しない波長の光を照射する請求項７記載の摂食運動測定方法。
【請求項９】
前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成する請求項７または８記載の摂食運動測定方法。
【請求項１０】
前記追跡形状は、喉表面における甲状軟骨(12)または輪状軟骨(14)に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に摂食運動時の甲状軟骨(12)または輪状軟骨(14)の移動方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する請求項７〜９の何れか一項に記載の摂食運動測定方法。
【請求項１１】
前記追跡形状は、頭部表面における下顎骨(62)に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨(62)の動作方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する請求項７〜１０の何れか一項に記載の摂食運動測定方法。
【請求項１】
頭頸部表面に対して相互に波長の異なる光を照射する３つ以上の発光手段(16,18,20,72,74,76)と、
前記頭頸部表面で反射した光を分光して、分光画像データを時系列的に取得する撮像手段(22,78)と、
前記撮像手段(22,78)で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出する面法線ベクトル算出手段(40)と、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求めるテンプレートマッチング手段(46)とを備え、
前記テンプレートマッチング手段(46)により前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定するよう構成した
ことを特徴とする摂食運動測定システム。
【請求項２】
前記発光手段(16,18,20,72,74,76)は、前記撮像手段(22,78)の分光感度特性において相互に干渉しない波長の光を照射するよう構成される請求項１記載の摂食運動測定システム。
【請求項３】
前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成する色分画像作成手段(44)を備えている請求項１または２記載の摂食運動測定システム。
【請求項４】
前記テンプレートマッチング手段(46)は、
基準となる面法線ベクトルデータから前記テンプレートを設定するテンプレート設定部(48)と、
前記テンプレート設定部(48)で設定されたテンプレートを記憶する記憶部(56)と、
前記各面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する探索領域設定部(50)と、
前記記憶部(56)に記憶されたテンプレートと各面法線ベクトルデータとを前記探索領域設定部(50)で設定された探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する位置特定部(52)とを備える請求項１〜３の何れか一項に記載の摂食運動測定システム。
【請求項５】
前記追跡形状は、喉表面における甲状軟骨(12)または輪状軟骨(14)に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に嚥下運動時の甲状軟骨(12)または輪状軟骨(14)の移動方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定される請求項４記載の摂食運動測定システム。
【請求項６】
前記追跡形状は、頭部表面における下顎骨(62)に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨(62)の動作方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定される請求項４または５記載の摂食運動測定システム。
【請求項７】
頭頸部表面に対して相互に波長の異なる光を３つ以上の発光手段(16,18,20,72,74,76)から照射し、該頭頸部表面で反射した光を分光して分光画像データを撮像手段(22,78)が時系列的に取得し、
前記撮像手段(22,78)で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出し、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求め、
前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定する
ことを特徴とする摂食運動測定方法。
【請求項８】
前記発光手段(16,18,20,72,74,76)は、前記撮像手段(22,78)の分光感度特性において相互に干渉しない波長の光を照射する請求項７記載の摂食運動測定方法。
【請求項９】
前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成する請求項７または８記載の摂食運動測定方法。
【請求項１０】
前記追跡形状は、喉表面における甲状軟骨(12)または輪状軟骨(14)に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に摂食運動時の甲状軟骨(12)または輪状軟骨(14)の移動方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する請求項７〜９の何れか一項に記載の摂食運動測定方法。
【請求項１１】
前記追跡形状は、頭部表面における下顎骨(62)に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨(62)の動作方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する請求項７〜１０の何れか一項に記載の摂食運動測定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２５】
【図２６】
【図２７】
【図２８】
【図８】
【図１０】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２５】
【図２６】
【図２７】
【図２８】
【図８】
【図１０】
【図２３】
【図２４】
【公開番号】特開２０１３−３１６５０（Ｐ２０１３−３１６５０Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１２−１４６０６２（Ｐ２０１２−１４６０６２）
【出願日】平成２４年６月２８日（２０１２．６．２８）
【出願人】（３０４０１９３９９）国立大学法人岐阜大学 (289)
【出願人】（３０９００７９１１）サントリーホールディングス株式会社 (307)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２４年６月２８日（２０１２．６．２８）
【出願人】（３０４０１９３９９）国立大学法人岐阜大学 (289)
【出願人】（３０９００７９１１）サントリーホールディングス株式会社 (307)
【Ｆターム（参考）】
[ Back to top ]