対称性判定装置、その方法、及びプログラム
【課題】人体の背面から撮像したモアレ画像の左右の対称性を判定するための最適な特徴量を用いて、精度の高い識別を行う対称性判定装置等を提供する。
【解決手段】一定分散強調処理とソーベルフィルタを施したモアレ画像の差分画像を、バイラテラルフィルタで平滑化する前処理を行い、人体の背面側全体の左右の重心位置の差、及び平均濃度値の差、並びに肩甲骨領域における左右の平均濃度値の差、及びフーリエ記述子を特徴量として算出し、算出した特徴量に基づいて、ニューラルネットワークからなる識別器により左右の対象性を判定する。また、肩ラインの左右差を特徴量に加えることで、より高い識別率を実現することができる。
【解決手段】一定分散強調処理とソーベルフィルタを施したモアレ画像の差分画像を、バイラテラルフィルタで平滑化する前処理を行い、人体の背面側全体の左右の重心位置の差、及び平均濃度値の差、並びに肩甲骨領域における左右の平均濃度値の差、及びフーリエ記述子を特徴量として算出し、算出した特徴量に基づいて、ニューラルネットワークからなる識別器により左右の対象性を判定する。また、肩ラインの左右差を特徴量に加えることで、より高い識別率を実現することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人体の背面側から撮像されたモアレ画像に基づいて、左右の対称性を判定する対称性判定装置等に関する。
【背景技術】
【０００２】
例えば、脊柱側彎症は、背骨(脊柱)が側方にねじれて曲がる状態の病気で、成長期の小中学生、特に女子生徒に多く見られる症状の一つである。彎曲が大きく、症状が進行した場合、臓器の圧迫による肺機能の低下、さらには心臓にも影響が出ることになるが、痛みなどの自覚症状を伴わないため、早期発見が困難で問題となっている。
【０００３】
脊柱側彎症の早期発見を目的として、医師による学校での集団検診が行われている。脊柱側彎症の診断法の一般的なものとして、前屈テストによる医師の視診が用いられている。これは、前屈姿勢をとって背部を観察し、左右の肋骨の隆起を比較するもので、側彎症の種類によっては背部隆起の差が少ない例があることや、医師の主観による診断基準に差が生じるなどの問題が生じている。
【０００４】
また、集団検診において医師の負担が大きいことや、再現性の欠如などといった問題が医療現場から指摘されている。そこで、脊柱側彎症の診断にはモアレ法を用いた画像（以下、モアレ画像とする）が適用されるようになった。これは、人体の凹凸情報を地図における等高線のような縞模様に記録することにより、２次元画像として表現したものである。脊柱側彎症者のモアレ画像は、健常者のものと比べてモアレ縞に左右非対称なひずみが現れており、視診における肩や腰の左右の対称性と同様、医師の診断においての一つの評価指標として用いられている。モアレ画像を用いることにより、集団検診における脊柱側彎症の診断効率は格段に向上した。
【０００５】
しかし、依然として画像を用いて診断するのは医師であり、全体の僅か数パーセントしかない脊柱側彎症例を診断するために、多量のモアレ画像を処理することが医師の大きな負担となっている。これらの問題点を解決するため、画像情報からの診断の定量化や支援を行うための手法がいくつか提案されている（例えば、非特許文献１ないし４を参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】金、タン、石川、大塚、四宮：“左右非対称の特徴を用いたモアレ画像からの脊柱側彎症自動識別”、画像電子学会掲載論文、第３７巻、第１号、ｐｐ．５７−６２、日本、２００８年１月号掲載
【非特許文献２】田上、中野、金、タン、石川、大塚、清水、四宮：“左右肩・腰部の非対称性に着目した脊柱側彎症識別”、バイオメディカルファジィシステム学会第２０回年次大会講演論文集掲載論文、ｐｐ．３５−３８、日本、２００７年８月
【非特許文献３】田上、金、タン、石川、大塚、清水、四宮：“肩甲骨領域内の左右非対称度の評価に基づく脊柱側彎症識別”、第２６回ＳＩＣＥ九州支部学術講演会掲載論文、ｐｐ．３１７−３１８、日本、２００７年１２月
【非特許文献４】田上、金、タン、石川、四宮：“フーリエ記述子を用いたモアレ画像からの脊柱側彎症識別”、バイオメディカルファジィシステム第２１回年次大会掲載論文、ｐｐ．１６５−１６８、日本、２００８年１０月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記各非特許文献に記載の技術は、複数の特徴量を算出し、それらの特徴量に基づいてモアレ画像の識別を行うことができるが、識別の精度が十分とは言えず、その向上が求められている。
【０００８】
そこで、本発明は、人体の背面から撮像したモアレ画像の左右の対称性を判定するための最適な特徴量を用いて、精度の高い識別を行う対称性判定装置、対称性判定方法、及び対称性判定プログラムを提供する。
【課題を解決するための手段】
【０００９】
本願に開示する対称性判定装置は、人体の背面側から撮像されたモアレ画像に基づいて、前記人体の左右の対称性を判定する対称性判定装置において、撮像されたモアレ画像を入力する画像入力手段と、前記入力されたモアレ画像に基づいて、当該モアレ画像の左右の対称性の基準となる正中線を設定する正中線設定手段と、前記正中線を中心とする左右の重心位置の差を算出する重心位置算出手段と、前記正中線を中心とする左右の平均濃度値の差を算出する平均濃度算出手段と、前記モアレ画像に基づいて、肩甲骨領域を関心領域として設定する関心領域設定手段と、前記関心領域における前記正中線を中心とする左右の平均濃度値の差を算出する関心領域平均濃度算出手段と、前記関心領域における前記正中線を中心とする左右のモアレ縞を閉曲線として抽出し、フーリエ記述子を算出するフーリエ記述子算出手段と、前記重心位置算出手段が算出した重心位置の差、前記平均濃度算出手段が算出した平均濃度値の差、前記関心領域平均濃度算出手段が算出した関心領域における平均濃度値の差、及びフーリエ記述子算出手段が算出したフーリエ記述子の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定する対称性判定手段とを備えるものである。
【００１０】
このように、本願に開示する対称性判定装置においては、人体の背面側全体の左右の重心位置の差、及び平均濃度値の差、並びに肩甲骨領域における左右の平均濃度値の差、及びフーリエ記述子を特徴量として算出することで、背面全体の歪みと肩甲骨領域における歪みとを医師が着目する観点と同様の観点から検出し、左右の非対称性を総合的に判定することができるため、モアレ画像を精度よく識別することができるという効果を奏する。
【００１１】
また、平均濃度値、及び重心位置のような濃度的な特徴量と、フーリエ記述子のような形状的な特徴量とを総合的に判定するため、独立した観点からの総合的な識別が可能となり、識別の精度を上げることができるという効果を奏する。
【００１２】
本願に開示する対称性判定装置は、前記画像入力手段が入力したモアレ画像に対して前処理を施し、新たな入力されたモアレ画像とする前処理手段を備え、当該前処理手段が、前記入力されたモアレ画像に一定分散強調処理を行うＣＶＥ手段と、前記入力されたモアレ画像にソーベルフィルタを施すソーベルフィルタ手段と、前記一定分散強調処理が行われた画像情報と前記ソーベルフィルタが施された画像情報との差分画像を生成する差分画像生成手段と、前記差分画像をバイラテラルフィルタで平滑化する平滑化処理手段とを備えるものである。
【００１３】
このように、本願に開示する対称性判定装置においては、モアレ画像に一定分散強調処理（ＣＶＥ：Constant Variance Enhancement）を行ったものと、モアレ画像にソーベルフィルタを施したものとの差分画像を、バイラテラルフィルタで平滑化する前処理を行うことで、照明等の環境の違い、カメラの画質、環境ノイズ等の有無に関わらず、人体の形状、及びモアレ縞を鮮明な画像で抽出することができ、正確な特徴量を算出して識別の精度を上げることができるという効果を奏する。
【００１４】
本願に開示する対称性判定装置は、前記モアレ画像に基づいて、左右の肩のラインの差
を算出する肩ライン算出手段を備え、前記対称性判定手段が、前記重心位置の差、前記平均濃度値の差、前記関心領域における平均濃度値の差、前記フーリエ記述子、及び前記肩ラインの差の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定するものである。
【００１５】
このように、本願に開示する対称性判定装置においては、左右の肩のラインの差（例えば、水平方向に対する傾きの角度差）を特徴量として算出して判定の要素とするため、新たに肩部の形状的な特徴量が加わり、背中部や肩甲骨領域だけでは左右の対称性を正確に判定しにくいモアレ画像に対しても、識別の精度をより高くすることができるという効果を奏する。
【００１６】
本願に開示する対称性判定装置は、前記肩ライン算出手段が、前記モアレ画像を２値化し、ハフ変換により左右の肩のラインを直線近似して差を算出するものである。
【００１７】
このように、本願に開示する対称性判定装置においては、モアレ画像を２値化し、ハフ変換により左右の肩のラインを直線近似して差を算出するため、肩のラインを正確に算出することができ、識別の精度をより高くすることができるという効果を奏する。
【００１８】
本願に開示する対称性判定装置は、対称性判定手段が、ニューラルネットワークからなる識別器であるものである。
【００１９】
このように、本願に開示する対称性判定装置においては、ニューラルネットワークからなる識別器により判定を行うため、既知のモアレ画像（正常例と脊柱側彎症例）に基づく学習により、未知のモアレ画像に対して適切な判定を行い、識別の精度を上げることができるという効果を奏する。
【００２０】
本願に開示する対称性判定装置は、前記各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、前記一以上の特徴量の重み付けを大きく調整する重付調整手段を備えるものである。
【００２１】
このように、本願に開示する対称性判定装置においては、各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、前記一以上の特徴量の重み付けを大きく調整するため、一つでも異常な特徴量があるモアレ画像については非対称と判定する傾向になり、異常性の見落としを最小限に抑えることができるという効果を奏する。
【図面の簡単な説明】
【００２２】
【図１】第１の実施形態に係る対称性判定装置を適用する脊柱側彎症の診療に関する図である。
【図２】第１の実施形態に係る対称性判定装置の機能ブロック図である。
【図３】第１の実施形態に係る対称性判定装置で用いるモアレに関する説明図である。
【図４】第１の実施形態に係る対称性判定装置における前処理部の機能ブロック図である。
【図５】第１の実施形態に係る対称性判定装置における前処理部の結果を示す第１の図である。
【図６】第１の実施形態に係る対称性判定装置における前処理部の結果を示す第２の図である。
【図７】第１の実施形態に係る対称性判定装置における正中線の求め方を示す図である。
【図８】第１の実施形態に係る対称性判定装置における処理領域の設定方法に関する図である。
【図９】第１の実施形態に係る対称性判定装置における特徴量算出部の機能ブロック図である。
【図１０】第１の実施形態に係る対称性判定装置における対称度の算出方法を示す図である。
【図１１】第１の実施形態に係る対称性判定装置のハードウェア構成図である。
【図１２】第１の実施形態に係る対称性判定装置の処理を示すフローチャートである。
【図１３】第２の実施形態に係る対称性判定装置における特徴量算出部の機能ブロック図である。
【図１４】第２の実施形態に係る対称性判定装置における肩ラインの左右差に関する図である。
【図１５】第３の実施形態に係る対称性判定装置の機能ブロック図である。
【図１６】第４の実施形態に係る対称性判定装置の出力におけるブロック図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。従って、本実施形態の記載内容のみで本発明を解釈すべきではない。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。以下の実施の形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明は方法、及び、コンピュータを動作させるためのプログラムとしても実施できる。
【００２４】
（本発明の第１の実施形態）
本実施形態に係る対称性判定装置について、図１ないし図１２を用いて説明する。図１は、本実施形態に係る対称性判定装置を適用する脊柱側彎症の診療に関する図、図２は、本実施形態に係る対称性判定装置の機能ブロック図、図３は、本実施形態に係る対称性判定装置で用いるモアレに関する説明図、図４は、本実施形態に係る対称性判定装置における前処理部の機能ブロック図、図５は、本実施形態に係る対称性判定装置における前処理部の結果を示す第１の図、図６は、本実施形態に係る対称性判定装置における前処理部の結果を示す第２の図、図７は、本実施形態に係る対称性判定装置における正中線の求め方を示す図、図８は、本実施形態に係る対称性判定装置における処理領域の設定方法に関する図、図９は、本実施形態に係る対称性判定装置における特徴量算出部の機能ブロック図、図１０は、本実施形態に係る対称性判定装置における対称度の算出方法を示す図、図１１は、本実施形態に係る対称性判定装置のハードウェア構成図、図１２は、本実施形態に係る対称性判定装置の処理を示すフローチャートである。
【００２５】
本実施形態においては、対称性判定装置を脊柱側彎症の診療に用いた場合を例に説明する。脊柱側彎症は、脊柱が横に曲がり、多くの場合は脊柱自体の捻れを伴うものであり、側彎が進行すると重大な障害が生じる場合がある。図１（Ａ）は脊柱側彎症者のＸ線写真の一例である。一般に正常者の脊柱は、横から見た場合にＳ字型に彎曲しているが、正面から見た場合はほぼ直線になる。しかし、脊柱側彎症の場合、図１（Ａ）に示すように、脊柱がねじれを伴って側方に曲がる症状が顕著に現れる。
【００２６】
脊柱傾斜の角度を評価する指標として、図１（Ｂ）に示すＣｏｂｂ角が用いられており、Ｃｏｂｂ角が２０度以上の彎曲を有する場合に治療が必要となる。図１（Ｂ）に示すように、Ｃｏｂｂ角は傾いた２つの脊柱から脊柱の彎曲により生じた彎曲部分に沿って線を引き、２つの線が交わるところの角度αを計測する。
【００２７】
脊柱側彎症は、一般に痛みなどの自覚症状がない。したがって本人は気づかず、家族や友人らに両肩の高さの違いを指摘されたり、あるいは学校における集団検診の際に発見されたりすることが多い。そのため早期発見が難しいとされている。しかし、重度の側彎症においては、心肺機能の低下、腰痛、背部痛が生じるなど深刻な問題となる。
【００２８】
側彎の程度を詳しく調べるには、図１（Ａ）に示すようなＸ線検査を行う必要がある。その際、脊柱の曲がり具合、骨の柔軟さ、成長度などを観測するため、様々な姿勢、角度でＸ線画像を撮影する。そのため、診断するにあたって何枚ものＸ線写真を撮影する必要がある。しかし、被験者の大半が成長過程にある子供であることを考慮すれば、放射線被曝を伴うＸ線撮影の対象者数は、必要最小限にとどめるべきである。そこで、診断は以下のような３段階の手順で行われる。
【００２９】
まず、第１次診断として、脊柱側彎症者が多く見られる成長期の小中学生を対象に集団検診を行う。ここでは、前屈テストやモアレ法による検診が行われる。この段階で脊柱側彎症の疑いのある者を対象に、第２次診断として低線量Ｘ線撮影を行う。ここでは、身体への影響を極力なくすため、低線量Ｘ線で撮影し、脊柱の大まかな形状を確認する。そして、この段階においても脊柱側彎症の疑いがあると診断された者のみ、第３次診断として、直接Ｘ線撮影が行われ、脊柱の形状が詳しく調べられる。
【００３０】
第１次診断における集団検診では、被験者一人一人を視診することになる。これは前屈テストと呼ばれる。図１（Ｃ）に前屈テストの際、医師が最も注目する診断箇所を示しており、両肩の高さの左右不均衡（図中の１に相当）、両肩甲骨の高さ、又は凹凸の左右不均衡（図中の２に相当）、ウエストライン付近における脇線の左右非対称（図中の３に相当）、前屈テストにおけるリブ・ハンプ(rib hump:前屈姿勢での肋骨隆起)の存在（図中の４に相当）が診断される。
【００３１】
この第１次診断において、最も重点が置かれる注目箇所はリブ・ハンプで、治療が必要な側彎症者を効率よく発見できる。しかし、側彎症の種類によっては、リブ・ハンプが目立たない場合や、集団検診のため多数の被験者を一定時間内に診断しなければならないなどの理由から、医師の主観によって判断基準に差が生じたりすることが問題であり、その改善が求められている。また、再現性の欠如などの問題もある。本実施形態に係る対称性判定装置は、この第１次診断における診察を支援するものである。
【００３２】
図２は、モアレ画像撮像装置１０と、対称性判定装置２０とを備える診断支援システムの構成を示す。モアレ画像撮像装置１０は、被験者の姿勢を保持するための姿勢保持装置１１と、モアレ画像を撮像するためのモアレカメラ１２と、モアレカメラ１２が撮像した映像を表示するモニタ１３とを備える。被験者は、姿勢保持装置１１に凭れ掛かることにより、呼吸等によるわずかな変化を抑え、一定の姿勢が保たれた状態でモアレカメラ１２により背面部分が撮像される。検査技師等の撮像者は、モニタ１３を見ながら、被験者の位置関係や撮像環境を確認し、モアレ画像の撮像を行う。
【００３３】
ここで、モアレ画像（モアレ法）について説明する。モアレは、点又は線が幾何学的に規則正しく分布したものを重ね合わせた時に生じる縞状の斑紋のことである。規則的に並んだ模様を２種類以上重ね合わせた場合に、元のパターンとは異なる模様が現れる現象のことをモアレ現象と言い、モアレ現象により現れる縞模様をモアレ縞と呼ぶ。
【００３４】
モアレ縞は、一定の幅で平行に描かれた格子を上から重ね合わせる方法で作り出すことができる。ここで、重ね合わせる側の規則的に並んだ格子のことを基準格子と言い、重ね合わされる側の格子で、表現したいものに合わせて基準格子に歪みを持たせたものを試料格子と言う。
【００３５】
光を上から基準格子に当てた場合、その影を試料格子として取り出すと、その形状は図３（Ａ）のようになる。図３（Ａ）の（ａ）のように、影が映る面が平面であれば、試料格子は規則的に並ぶ格子となり、図３（Ａ）の（ｂ）のように，影が映る面が凹凸面であれば、試料格子も凹凸に沿って歪んだものとなる。このようにして作られた試料格子の上に、基準格子を重ね合わせてできるモアレ縞は、物体の等高線を表すものとなる。本実施形態で用いるモアレ画像は、これにノイズ除去、大きな被写体への対応などの工夫が施された、格子投影法により撮影されたものである。
【００３６】
図３（Ｂ）及び（Ｃ）に、人体背面のモアレ画像の例を示す。図３（Ｂ）は正常例で、図３（Ｃ）は脊柱側彎症例である。正常例のモアレ画像は、縞模様が背中の正中線を境に左右対称になっているのに対し、脊柱側彎症例のモアレ画像は、脊柱の彎曲が原因で縞模様に左右非対称な歪みが生じている。脊柱側彎症診断にモアレ画像を用いることの最大の利点は、画像データとして情報を記録することができる点にある。これにより、医師が現場に立ち会う必要がなくなり、後日まとめて画像診断を行うことが可能になったことから、集団検診の効率化が図られるようになった。また、医師による視診では、医師の主観によって判断基準が左右されるが、モアレ画像による診断では、背面の凹凸情報を地図の等高線のような縞模様に投影するため、より客観的な診断が可能となる。さらに、画像データとして記録するため再現性にも優れている。そのため、モアレ画像は視診に代わる第１次診断法として取り入れられている。
【００３７】
図２に戻って、対称性判定装置２０は、モアレカメラ１２で撮像されたモアレ画像を入力する画像入力部２１と、入力されたモアレ画像に基づいて正中線を設定する正中線設定部２４と、入力されたモアレ画像に前処理を施して新たな入力画像（処理用入力画像とする）を生成する前処理部２３と、処理用入力画像に基づいて関心領域を設定する関心領域設定部２２と、処理用入力画像、正中線、及び関心領域に基づいて特徴量を算出する特徴量算出部２５と、算出された特徴量に基づいてモアレ画像の左右の対称性を判定する判定部２６と、判定結果を出力する出力部２７とを備える。
【００３８】
画像入力部２１は、モアレカメラ１２で撮像されたモアレ画像を入力する。なお、入力方法としては、モアレカメラ１２と直接接続されて画像情報を入力してもよいし、モアレカメラ１２から記録媒体に記憶された画像情報を入力してもよいし、電気通信回線を通じて画像情報をダウンロードして入力するようにしてもよい。
【００３９】
前処理部２３は、画像入力部２１が入力した画像を前処理して、以降の処理を正確に行うための鮮明な画像を生成する。ここで、前処理について詳細に説明する。図４に前処理部の構成を示す。前処理部２３は、入力画像２３ａに対してソーベルフィルタを施すソーベルフィルタ処理部２３１と、入力画像２３ａに対して一定分散強調処理を行うＣＶＥ処理部２３２と、ソーベルフィルタ処理部２３１、及びＣＶＥ処理部２３２のそれぞれの処理部で実行されたモアレ画像の差分画像を生成する差分画像生成部２３３と、差分画像をバイラテラルフィルタで平滑化して処理用入力画像２３ｂを生成する平滑化処理部２３４とを備える。
【００４０】
モアレ画像は、撮影環境によってコントラストが大きく異なる場合がある。ソーベルフィルタ処理部２３１は、この問題を回避するための前処理としてソーベルフィルタを用いる。ソーベルフィルタは、ノイズを抑えながらエッジを効率的に抽出することが可能なフィルタで、平滑化を行う場合に中心となる画素からの距離に反比例した重みを与えて平均化を行う。図５（Ａ）に示す入力画像に対して、ソーベルフィルタを施した画像の例を図５（Ｂ）に示す。
【００４１】
ＣＶＥ処理部２３２は、肩や腰部の特徴量を抽出する前処理として、入力画像２３ａに一定分散強調処理を行う。これは、画像内のどの領域内においても濃度分散と濃度平均とを均一にし、最適なコントラストを持った画像に変換する方法である。一定分散強調処理を用いる理由は、ヒストグラムを平坦化することにより、コントラストの低い画像に対してダイナミックレンジを広げ、微妙な明暗の変化も認識できるようにする必要があり、また、画像にシェーディングが存在する場合に、単純なヒストグラム変換処理では最適に平坦化することが困難な場合があるからである。そのため、変換する画素ごとにその周辺の情報を加味し、階調変換を行う必要がある。用いる変換式は、生化学検査などでよく用いられるＳＤＩ（Standard Deviation Index）と呼ばれている統計量である。
【００４２】
この変換式を式（１）に示す。ユーザーが与えるのは、局所領域（Ｍ）の大きさである。ＳＤＩは平均値０、分散１の値になるため、目的の階調になるように変換する必要がある。本実施形態では、求めたＳＤＩの値を閾値として２値画像に用いる。
【００４３】
【数１】
μは平均値、σは標準偏差、ＸとＮは局所領域Ｍ内の各データの値とデータ数を示す。
【００４４】
図５（Ｃ）、（Ｄ）に一定分散強調処理を行い、ＳＤＩで２値化した画像を示す。肩甲骨領域の抽出（詳細は後述する）に用いるＣＶＥ画像は、５１×５１［ｐｉｘｅｌｓ］（図５（Ｄ））、人体背面の縞の抽出(詳細は後述する)に用いるＣＶＥ画像は、２１×２１［ｐｉｘｅｌｓ］（図５（Ｃ））を用いる。
【００４５】
差分画像生成部２３３は、ソーベルフィルタ、及び一定分散強調処理を施したそれぞれの画像から差分画像を作成する。これは、２種類のエッジ強調画像から差分演算を行うことにより、肩や腰部の輪郭が良好に抽出できるためである。図６（Ａ）は、図５（Ｂ）の画像と図５（Ｄ）の画像との差分画像である。図６（Ａ）から肩や腰のエッジが強調されていることが明らかである。
【００４６】
図６（Ａ）に示すように、差分画像にはスパイク状ノイズが生じている。これらのノイズを取り除くため、平滑化処理部２３４が、バイラテラルフィルタを用いた平滑化処理を行う。バイラテラルフィルタを用いる理由として、バイラテラルフィルタはエッジを保持しながら平滑化を行うことが可能である利点が挙げられる。
【００４７】
バイラテラルフィルタは、重みとしてガウス関数を用い、ガウシアンフィルタのように画素間の距離だけで重みを決めるのではなく、同時に輝度差も考慮に入れて重みを決めるフィルタである。輝度差が激しい部分では重みを小さくすることにより、輪郭をぼかすことなく平滑化を行うものである。バイラテラルフィルタの式を式（２）に示す。
【００４８】
【数２】
Ｗxは画素間の重み、Ｗdは輝度差の重みをそれぞれ示す。
【００４９】
また、本実施形態においては、ガウス関数は、式（２）のように等方的なガウス関数を用いる。また、係数α、βの値を変化させることにより、フィルタの効果を調整することができる。図６（Ａ）に対し、バイラテラルフィルタを施して平滑化した画像の例を図６（Ｂ）に示す。図６（Ｂ）から、ノイズ成分が除去できていることが明らかである。
【００５０】
図２に戻って、正中線設定部２４は、左右対称性を評価するための基準となる背面の正中線を設定する。ここで、正中線の設定について詳細に説明する。人体背面のモアレ画像は、正中線を境にほぼ左右対称であるとみなすことができるため、その正中線を近似的対称軸として設定する。
【００５１】
近似的対称軸は，図形とその鏡映対称図形との重ね合わせによって求まる。重ね合わせの位置は、以下の式（３）によって求まる。これは、図７に示すように、入力画像と鏡映対称図形が重なり合った部分の差分画像の１画素あたりの濃度値が最小になる位置を、最も重なり合った位置として求めることを示す。このときの入力画像の重心と、鏡映対称図形の重心との垂直二等分線が求める近似的対称軸となる。
【００５２】
【数３】
【００５３】
なお、本実施形態で用いるモアレ画像は、ほぼ直立で撮影されているため、同手法における回転操作は行わず、水平方向の移動のみで処理を行う。
ここで重心とは、モーメントによって求めることのできる画像特徴の一つである。画像Ｆ内における座標（ｘ，ｙ）∈Ｒにおける濃度値をｆ（ｘ，ｙ）とすると、Ｆの（ｉ＋ｊ
）次のモーメントは次式の式（４）で表される。ただし、Ｒは図形領域を示す。
【００５４】
【数４】
式（４）より、画像Ｆの重心（ｘc，ｙc）は、次式により求まる。
【００５５】
【数５】
【００５６】
図２に戻って、関心領域設定部２２は、特徴量算出部２５が特徴量を求める場合の対象となる処理領域を設定する。特徴量算出部２５は、背面全体の平均濃度値、及び重心位置、並びに肩甲骨領域の平均濃度値、及びフーリエ記述子を算出するため、ここでは、人体背面の処理領域と肩甲骨領域のそれぞれの処理領域を設定する。
【００５７】
まず、人体背面の処理領域の設定について詳細に説明する。本実施形態で用いるモアレ画像は、人体背面の腰から首付近までを撮影したものである。そのため、処理対象外である腕や画像の左右に存在する背景など処理に不要な部分が存在する。そこで、これらの不要な部分を除去した処理領域を設定する。図８（Ａ）に示すように、横軸を基準とした累積ヒストグラムを作成した場合、図８（Ａ）の矢印で示す部分のような谷が生じる。そこで、中央から見て左右で値が小さくなる箇所（図８（Ａ）における矢印部分）をヒストグラム解析により求め、処理領域を設定する。
【００５８】
モアレ画像内の処理領域に対し、式（５）の近似的対称性解析手法により得られる正中線を付加した画像を図８（Ｂ）に示す。この領域における正中線を境とした左右対称性を調べ、左右の非対称度として求める。このとき、以下の式（６）により左右の計算領域を設定する。
【００５９】
【数６】
ｍは正中線、ｌは処理領域の左端、ｒは処理領域の右端の座標値を示す。
【００６０】
この計算領域を上から下へと移動させ、それぞれ左右領域内の特徴量を比較することにより、その画像における非対称度を算出する（図８（Ｂ））。
【００６１】
次に、肩甲骨領域の設定について詳細に説明する。図５（Ｄ）に示す５１×５１［ｐｉｘｅｌｓ］の一定分散強調処理を施した画像と、ソーベルフィルタを施した画像との差分画像から得られる肩部および腰部の輪郭線より、肩甲骨部の関心領域を求める（図８（Ｃ））。具体的には、肩のラインをハフ変換で直線近似することにより、その輪郭を求める。ある直線に対し、ρは原点から直線におろした垂線の長さ、θはｘ軸となす角とすると、ハフ変換は、式（７）のように表すことができる。
【００６２】
【数７】
【００６３】
これより、極座標系の一点（ρ，θ）が求まれば一つの直線が定まる。次にヒストグラム解析により、脇上の点をもとにした矩形領域を選定し、その領域内の正中線を境とした左右の濃度差を特徴量として求める。なお、関心領域の設定には、近似的対称性解析手法を用いて求めた正中線をもとに、左右で小さい方の領域を基準とする。以上の処理により、処理領域が設定される。
【００６４】
なお、人体背面の処理領域の設定については、必ずしも設定する必要はなく、予め処理の対象となる図８（Ｂ）のような領域を、操作者からの指示情報に基づいて抽出しておいてもよい。
【００６５】
図２に戻って、特徴量算出部２５は、モアレ画像の左右の非対象度を判定するための特徴量を算出する。図９に、特徴量算出部２５の構成を示す。特徴量算出部２５は、正中線を中心にして、人体背面の左右の重心位置の差を算出する重心位置算出部２５１と、人体背面の左右の平均濃度値の差を算出する平均濃度算出部２５２と、肩甲骨領域における左右のモアレ縞のフーリエ記述子の振幅の差を算出するフーリエ記述子算出部２５３と、肩甲骨領域における左右の平均濃度値の差を算出する関心領域平均濃度算出部２５４とを備える。
【００６６】
それぞれの特徴量の算出方法について説明する。抽出した人体背面の左右の計算領域に対し、各局小領域内の左右の重心位置、平均濃度値をそれぞれ求め、その差の平均、及び標準偏差を求める。図１０に、重心を用いた特徴量の算出処理の概要を示す。左側の重心をＧl（ｘl，ｙl）、右側の重心をＧr（ｘr，ｙr）とする。さらに、右側の計算領域に、正中線を軸としてＧl（ｘl，ｙl）を折り返した点をＧl’（ｘl’，ｙl’）として、左右の重心位置の差Ｅを以下の式（８）より求める。
【００６７】
【数８】
また、同様の計算領域において、以下の式（９）により平均濃度値の差を求める。
【００６８】
【数９】
ｌｍｖ、ｒｍｖは、それぞれ左右の計算領域内の平均濃度を示す。
【００６９】
背面上部から下部にかけて、計算領域をＮ回移動させたとき、式（８）、（９）から求まる特徴量の平均値μ1、μ2は次式となる。
【００７０】
【数１０】
次に、肩甲骨領域に対し、平均濃度値の差を次式により求める。
【００７１】
【数１１】
ｌｍｖ’、ｒｍｖ’は、それぞれ左右の肩甲骨領域内の平均濃度を示す。
【００７２】
次に、図５（Ｃ）に示す２１×２１［ｐｉｘｅｌｓ］の一定分散強調処理を施した画像と、ソーベルフィルタを施した画像との差分画像から得られる画像における肩甲骨領域を設定し、２値化を行った後、正中線を基準に画像の中心からラスタ操作を行う。境界線追跡を行い背面のモアレ縞を閉曲線として抽出し、任意の点における接線との偏角を用い、フーリエ記述子を求める。特徴量としては、フーリエ記述子を振幅Ａの形とし、左右で比較した差の２乗を用いる。以下に計算式を示す。
【００７３】
【数１２】
Ｔは閉曲線１周の長さ、ｔは初期点からの距離、ａn，ｂnは輪郭の形状情報をそれぞれ示す。
【００７４】
以上より、モアレ画像における重心位置の差の平均値μ1、平均濃度値の差の平均値μ2、肩甲骨領域における平均濃度値の差ｄ’、及びフーリエ記述子の振幅Ａを非対称度を表す特徴量として算出する。
【００７５】
図２に戻って、判定部２６は、特徴量算出部２５が算出した特徴量データに基づいて、モアレ画像の左右の対称性を判定する。判定する際の識別器としては、例えばニューラルネットワーク、ＳＶＭ（Support Vector Machine）、マハラノビス距離等を用いることができる。出力部２７は、判定部２６の判定結果を出力し、出力された情報を医師が参照して診断を行う。
【００７６】
上記各処理を実現する対称性判定装置のハードウェア構成を図１１に示す。対象性判定装置２０は、オペレーティングシステムや各種プログラム（例えば、対象性判定プログラム、画像表示プログラム等）が格納されているＲＯＭ２０３と、各種データ（例えば、画像データ、設定情報、結果情報等）が格納されているＨＤ（ハードディスク）２０４と、各種プログラム等が必要に応じて読み出されるＲＡＭ２０２と、読み出されたプログラム等に基づいて実際の演算を実行するＣＰＵ２０１と、他の装置（例えば、サーバ、モアレ画像撮像装置等）と通信を行うためのインタフェースである通信Ｉ／Ｆ２０５と、キーボ
ードやマウス等の入力機器からの入力を受け付けたり、プリンタやモニタ等にデータを出力するためのインタフェースである入出力Ｉ／Ｆ２０６とを備える。この入出力Ｉ／Ｆ２０６としてＵＳＢやＲＳ２３２Ｃ等が用いられる。また、必要に応じて、光磁気ディスク、フロッピーディスク（登録商標）、ＣＤ−Ｒ、ＤＶＤ−Ｒ等のリムーバブルディスクに対応したドライブを接続することができる。
【００７７】
本実施形態に係る対称性判定装置の動作について説明する。図１２において、まず、モアレ画像撮像装置１０で被験者の背面のモアレ画像が撮像される。これは、検査技師等により行われ、撮像されたモアレ画像は画像入力部２１に入力される（Ｓ１１）。モアレ画像の入力は、撮像と同時に行われてもよいし、撮像のみを行った後に、モアレ画像の入力を別途行うようにしてもよい。モアレ画像が入力されると、正中線設定部２４が正中線を設定し（Ｓ１２）、関心領域設定部２２が人体背面の処理領域を設定する（Ｓ１３）。
【００７８】
また、入力されたモアレ画像に対して、前処理部２３が一定分散強調処理、及びソーベルフィルタを施す処理を行い（Ｓ１４、Ｓ１５）、それらの差分画像を作成し（Ｓ１６）、バイラテラルフィルタを施して平滑化する（Ｓ１７）。関心領域設定部２２が、平滑化された画像を２値化し（Ｓ１８）、肩甲骨領域を設定する（Ｓ１９）。特徴量抽出部２５が上記で示した各種特徴量を算出し（Ｓ２０）、判定部２６が判定処理を行う（Ｓ２１）。判定結果を、出力部２７が出力して処理を終了する。
【００７９】
このように、本実施形態に係る対称性判定装置によれば、各種特徴量として算出することで、背面全体の歪みと肩甲骨領域における歪みとを医師が着目する観点と同様の観点から検出し、左右の非対称性を総合的に判定することができるため、モアレ画像を精度よく識別することができる。また、平均濃度値、及び重心位置のような濃度的な特徴量と、フーリエ記述子のような形状的な特徴量とを総合的に判定するため、広い観点からの識別が可能となり、識別の精度を上げることができる。
【００８０】
さらに、モアレ画像に一定分散強調処理を行ったものと、モアレ画像にソーベルフィルタを施したものとの差分画像を、バイラテラルフィルタで平滑化する前処理を行うことで、照明等の環境の違い、カメラの画質、環境ノイズ等の有無に関わらず、人体の形状、及びモアレ縞を鮮明な画像で抽出することができ、正確な特徴量を算出して識別の精度を上げることができる。さらにまた、各種特徴量をニューラルネットワークからなる識別器により判定する場合には、既知のモアレ画像に基づいて適切な判定を行い、識別の精度を上げることができる。
【００８１】
（本発明の第２の実施形態）
本実施形態に係る対称性判定装置について、図１３及び図１４を用いて説明する。図１３は、本実施形態に係る対称性判定装置における特徴量算出部の機能ブロック図、図１４は、本実施形態に係る対称性判定装置における肩ラインの左右差に関する図である。
【００８２】
なお、本実施形態において、前記第１の実施形態と重複する説明については省略する。
【００８３】
図１３において図９と異なるのは、肩ライン算出部２５５を新たに備えることである。肩ライン算出部２５５は、図６（Ｂ）で得た画像に基づいて肩のラインを算出する。図８（Ｃ）で肩甲骨領域を設定した場合と同様に、一定分散強調処理を施した画像と、ソーベルフィルタを施した画像との差分画像について、平滑化し、２値化して得られた肩部の輪郭線をハフ変換で直線近似し、水平方向に対する角度の差を算出する。図１４に示すように、直線近似された左右の肩のラインと水平方向との角度θ1，θ2の差を特徴量として算出する。
【００８４】
判定部２６は、第１の実施形態で示した各種特徴量に、形状的な特徴量である肩のラインの左右差を加えた５つの特徴量に基づいて判定処理を行う。
なお、直線近似はハフ変換以外にも最小二乗法を用いてもよい。
【００８５】
このように、本実施形態に係る対称性判定装置によれば、左右の肩のラインの差を特徴量として算出して判定の要素とするため、人体の全体の形状的な特徴量が加わり、識別の精度をより高くすることができる。また、モアレ画像を２値化し、ハフ変換により左右の肩のラインを直線近似して差を算出するため、肩のラインを正確に算出することができ、識別の精度をより高くすることができる。
【００８６】
（本発明の第３の実施形態）
本実施形態に係る対称性判定装置について、図１５を用いて説明する。図１５は、本実施形態に係る対称性判定装置の機能ブロック図である。
なお、本実施形態において、上記各実施形態と重複する説明については省略する。
【００８７】
図１５において図２と異なるのは、調整部２８を備えることである。調整部２８は、各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、その特徴量の重み付けを大きく調整する。つまり、４つ又は５つの特徴量において、総合的に判定した場合には、対称であると判定できるときであっても、その中の１つの特徴量が正常の範囲から大きく外れている場合には、その特徴量の重み付けを大きくし、判定部２６が非対称であると判定するように調整する。
【００８８】
なお、正常の範囲から大きく外れているか否かは、例えば正常と判断できる閾値を予め設定し、その閾値と比較することで判断するようにしてもよい。
【００８９】
このように、本実施形態に係る対称性判定装置によれば、各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、前記一以上の特徴量の重み付けを大きく調整するため、一つでも異常な特徴量があるモアレ画像については非対称と判定する傾向になり、異常性の見落としを最小限に抑えることができる。
【００９０】
（本発明の第４の実施形態）
本実施形態に係る対称性判定装置について、図１６を用いて説明する。図１６は、本実施形態に係る対称性判定装置の出力におけるブロック図である。
なお、本実施形態において、上記各実施形態と重複する説明については省略する。
【００９１】
本実施形態に係る対称性判定装置は、対称、非対称、及びその中間の少なくとも３段階以上の判定を行うものである。また、対称と非対称の中間の段階であると判定した前記モアレ画像について、再度別の識別器で対称性の判定を行う。さらに、出力部が、判定部により判定された対称性の判定結果、及び特徴量算出部により算出された各特徴量に関する情報を出力するものである。
【００９２】
図１６において、出力部２７は、判定結果データ１６０を出力する。この判定結果データ１６０は、対称、非対称、中間の３段階で示されている。中間と判定されたモアレ画像については、処理用入力画像２３ｂとして再度別の識別器１６１に入力され、再判定処理が行われる。実際の診断を行う医師は、出力部２７の出力結果である判定結果データ１６０と、特徴量算出部２５が算出した特徴量データ２５ａと、識別器１６１が再判定した結果である再判定結果データ１６２とに基づいて、総合的に診断を行う。
【００９３】
なお、対称、非対称、中間の判定については、対称と判定されるモアレ画像のうちユークリッド距離が非対称に近いもの、非対称と判定されるモアレ画像のうちユークリッド距
離が対称に近いもの（例えば、距離の閾値を予め設定しておく）を中間として判定するようにしてもよい。また、予め対称、非対称、中間の３段階をニューラルネットワークに学習させておき、そのニューラルネットワークに基づいて、判定を行うようにしてもよい。さらに、４段階以上に判定してもよい。
【００９４】
識別器１６１については、処理対象となるモアレ画像は中間と判定された、所謂グレーゾーンのモアレ画像であることから、その判定に適した学習を予め行った識別器であることが好ましい。
【００９５】
また、特徴量データ２５ａについては、総合的に対称と判定されているものの特徴量にバラつきがあったり、第３の実施形態に示すように、特に正常から大きく外れた特徴量の情報等を提示することで、医師の診断を確実にし、異常の見落としをなくすことができる。また、異常と判定されたモアレ画像について、特徴量を参照することで視認しにくい異常を把握することができ、医師の診断において重要な情報となり得る。
【００９６】
このように、本実施形態に係る対称性判定装置によれば、対称、非対称、及びその中間の少なくとも３段階以上の判定を行うため、対称性があるかないかの微妙なグレーゾーンが判定され、より詳細な判断を必要とするモアレ画像を識別することができる。また、対称と非対称の中間の段階であると判定したモアレ画像について、再度別の識別器で対称性の判定を行うため、グレーゾーンとなったモアレ画像をさらに識別し、細かく分類して医師等にフィードバックすることができ、医師の負担を軽減することができる。さらに、対称性の判定結果だけでなく、各特徴量に関する情報も出力されるため、医師が診察する際の情報が増え、安定した診察が可能になる。
【００９７】
なお、本実施形態に係る対称性判定装置２０が、モアレ画像撮像装置１０によるモアレ画像の撮像時に使用可能である場合、つまりモアレ画像を撮像しながら同時に左右の対称性を判定できる状態である場合には、判定部が中間と判定したモアレ画像について、基準格子及び／もしくは試料格子の格子幅の変更、基準格子及び試料格子を重ね合わせる角度の変更、光源の変更、又は、光源と被験者との距離の変更等を行うことで、撮像環境を変化させ、異なるパターンの一又は複数のモアレ画像を再度撮像するようにしてもよい。そうすることで、グレーゾーンと判定されたモアレ画像について、医師が複数のパターンから総合的に診断を行い、診断の精度と効率を向上させることができる。
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。
【実施例】
【００９８】
本発明に係る対称性判定装置を用いて、実際に人体背面を撮像したモアレ画像の対象性の判定を行った。本実施例では、人体背面における濃度平均、フーリエ記述子、人体背面における重心位置の差、及び肩甲骨領域における局所関心領域内の濃度平均の４つの特徴量を利用する。
【００９９】
実施例に用いるモアレ画像は、正常例６００、側彎症例６００の計１２００例で構成される。本実施例では、これらのデータ群から正常例２００、側彎症例２００で構成される計４００例の学習データとして３つのデータ群を用意する。ここで、それぞれのデータ群をＤａｔａ１、Ｄａｔａ２、Ｄａｔａ３とする。この３つのデータ群に対し、リーブ・ワン・アウト法を適用し平均識別率を求める。リーブ・ワン・アウト法とは、あるデータ群を識別器の学習サンプルとし、残り二組のデータ群に対し識別を行う。これを全ての組み合わせにおいて行うことによりデータの偏りのない評価を行う方法である。
【０１００】
識別器は、ニューラルネットワーク、非線形ＳＶＭ（Support Vector Machine）、及びマハラノビス距離を用いた識別器を使用する。ニューラルネットワークは、階層型ニューラルネットワークを用い、階層型ニューラルネットワークの学習アルゴリズムとして、一般的に知られている誤差逆伝播学習アルゴリズム（ＢＰ：Back Propagation）を用いる。ＳＶＭは、２つのクラスのいずれかに属するデータ群をクラスタリングする識別関数を設計する手法であり、学習により得られた識別関数を同様の属性をもつ未知データに適用することにより、データの分類が可能となる。ここでは、非線形ＳＶＭを使用する。マハラノビス距離は、正規母集団と標本との距離尺度であり、正常例、側彎症例の２つの群におけるマハラノビス距離Ｄ2の比較を行うことで、正常例、側彎症例のいずれかに分類する。
【０１０１】
ニューラルネットワークを用いて得られる識別結果を表１に示す。また、フーリエ記述子と他の特徴量との２次元の組み合わせで得られた結果を表２ないし４に示す。Ａｖｅｒａｇｅは各データ群から得られる平均的な識別率、Ａｖｅ．は正常例、側彎症例における識別率をそれぞれ示す。表１より、平均９０．７９（％）という高い識別率が得られ、特に側彎症例だけに関しては、９４．８０（％）という高い認識率が得られた。
【０１０２】
【表１】
【０１０３】
【表２】
【０１０４】
【表３】
【０１０５】
【表４】
【０１０６】
非線形ＳＶＭを用いて得られる識別結果を表５に示す。また、フーリエ記述子と他の特徴量との２次元の組み合わせで得られた結果を表６ないし８に示す。表５より、平均８８．８９（％）の識別率が得られ、側彎症例だけに関しては、９０．６０（％）の認識率が得られた。
【０１０７】
【表５】
【０１０８】
【表６】
【０１０９】
【表７】
【０１１０】
【表８】
【０１１１】
マハラノビス距離を用いて得られる識別結果を表９に示す。また、フーリエ記述子と他の特徴量との２次元の組み合わせで得られた結果を表１０ないし１２に示す。表９より、平均８５．０４（％）の識別率が得られ、側彎症例だけに関しては、８７．２５（％）の認識率が得られた。
【０１１２】
【表９】
【０１１３】
【表１０】
【０１１４】
【表１１】
【０１１５】
【表１２】
【０１１６】
これらの結果から、ニューラルネットワーク、非線形ＳＶＭ、マハラノビス距離による正常例と側彎症例の識別率は、それぞれ平均で９０．７９％、８８．８９％、８５．０４％の識別率が得られ、ニューラルネットワークによる識別性能が一番高いという結果が得られた。また、形状特徴であるフーリエ記述子と他の濃度特徴量を組み合わせた結果では、どの識別器でも約８割の識別率を得た。このことから、４つの特徴量を組み合わせることにより互いに識別できないパターンを補っていると考えられる。さらに、全体的に正常例と側彎症例とをある程度分離することができていると考えられるため、識別関数付近にグレーゾーンを設けて医師に提示することにより、非常に有効なシステムが実装可能である。
【０１１７】
なお、側彎症例の誤認識例として、縞模様や左右の濃度分布、縞の形状に差がほとんど見られないものが含まれていた。これらの誤認識のモアレデータに関しては、上記第２の実施形態に示す肩ラインの差を特徴量とすることで、この誤認識を解消できると考えられる。
【符号の説明】
【０１１８】
１０ モアレ画像撮像装置
１１ 姿勢保持装置
１２ モアレカメラ
１３ モニタ
１６０ 判定結果データ
１６１ 識別器
１６２ 再判定結果データ
２０ 対象性判定装置
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ ＨＤ
２０５ 通信Ｉ／Ｆ
２０６ 入出力Ｉ／Ｆ
２１ 画像入力部
２２ 関心領域設定部
２３ 前処理部
２３ａ 入力画像
２３ｂ 処理用入力画像
２３１ ソーベルフィルタ処理部
２３２ ＣＶＥ処理部
２３３ 差分画像生成部
２３４ 平滑化処理部
２４ 正中線設定部
２５ 特徴量算出部
２５ａ 特徴量データ
２５１ 重心位置算出部
２５２ 平均濃度算出部
２５３ フーリエ記述子算出部
２５４ 関心領域平均濃度算出部
２５５ 肩ライン算出部
２６ 判定部
２７ 出力部
２８ 調整部
【技術分野】
【０００１】
本発明は、人体の背面側から撮像されたモアレ画像に基づいて、左右の対称性を判定する対称性判定装置等に関する。
【背景技術】
【０００２】
例えば、脊柱側彎症は、背骨(脊柱)が側方にねじれて曲がる状態の病気で、成長期の小中学生、特に女子生徒に多く見られる症状の一つである。彎曲が大きく、症状が進行した場合、臓器の圧迫による肺機能の低下、さらには心臓にも影響が出ることになるが、痛みなどの自覚症状を伴わないため、早期発見が困難で問題となっている。
【０００３】
脊柱側彎症の早期発見を目的として、医師による学校での集団検診が行われている。脊柱側彎症の診断法の一般的なものとして、前屈テストによる医師の視診が用いられている。これは、前屈姿勢をとって背部を観察し、左右の肋骨の隆起を比較するもので、側彎症の種類によっては背部隆起の差が少ない例があることや、医師の主観による診断基準に差が生じるなどの問題が生じている。
【０００４】
また、集団検診において医師の負担が大きいことや、再現性の欠如などといった問題が医療現場から指摘されている。そこで、脊柱側彎症の診断にはモアレ法を用いた画像（以下、モアレ画像とする）が適用されるようになった。これは、人体の凹凸情報を地図における等高線のような縞模様に記録することにより、２次元画像として表現したものである。脊柱側彎症者のモアレ画像は、健常者のものと比べてモアレ縞に左右非対称なひずみが現れており、視診における肩や腰の左右の対称性と同様、医師の診断においての一つの評価指標として用いられている。モアレ画像を用いることにより、集団検診における脊柱側彎症の診断効率は格段に向上した。
【０００５】
しかし、依然として画像を用いて診断するのは医師であり、全体の僅か数パーセントしかない脊柱側彎症例を診断するために、多量のモアレ画像を処理することが医師の大きな負担となっている。これらの問題点を解決するため、画像情報からの診断の定量化や支援を行うための手法がいくつか提案されている（例えば、非特許文献１ないし４を参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】金、タン、石川、大塚、四宮：“左右非対称の特徴を用いたモアレ画像からの脊柱側彎症自動識別”、画像電子学会掲載論文、第３７巻、第１号、ｐｐ．５７−６２、日本、２００８年１月号掲載
【非特許文献２】田上、中野、金、タン、石川、大塚、清水、四宮：“左右肩・腰部の非対称性に着目した脊柱側彎症識別”、バイオメディカルファジィシステム学会第２０回年次大会講演論文集掲載論文、ｐｐ．３５−３８、日本、２００７年８月
【非特許文献３】田上、金、タン、石川、大塚、清水、四宮：“肩甲骨領域内の左右非対称度の評価に基づく脊柱側彎症識別”、第２６回ＳＩＣＥ九州支部学術講演会掲載論文、ｐｐ．３１７−３１８、日本、２００７年１２月
【非特許文献４】田上、金、タン、石川、四宮：“フーリエ記述子を用いたモアレ画像からの脊柱側彎症識別”、バイオメディカルファジィシステム第２１回年次大会掲載論文、ｐｐ．１６５−１６８、日本、２００８年１０月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記各非特許文献に記載の技術は、複数の特徴量を算出し、それらの特徴量に基づいてモアレ画像の識別を行うことができるが、識別の精度が十分とは言えず、その向上が求められている。
【０００８】
そこで、本発明は、人体の背面から撮像したモアレ画像の左右の対称性を判定するための最適な特徴量を用いて、精度の高い識別を行う対称性判定装置、対称性判定方法、及び対称性判定プログラムを提供する。
【課題を解決するための手段】
【０００９】
本願に開示する対称性判定装置は、人体の背面側から撮像されたモアレ画像に基づいて、前記人体の左右の対称性を判定する対称性判定装置において、撮像されたモアレ画像を入力する画像入力手段と、前記入力されたモアレ画像に基づいて、当該モアレ画像の左右の対称性の基準となる正中線を設定する正中線設定手段と、前記正中線を中心とする左右の重心位置の差を算出する重心位置算出手段と、前記正中線を中心とする左右の平均濃度値の差を算出する平均濃度算出手段と、前記モアレ画像に基づいて、肩甲骨領域を関心領域として設定する関心領域設定手段と、前記関心領域における前記正中線を中心とする左右の平均濃度値の差を算出する関心領域平均濃度算出手段と、前記関心領域における前記正中線を中心とする左右のモアレ縞を閉曲線として抽出し、フーリエ記述子を算出するフーリエ記述子算出手段と、前記重心位置算出手段が算出した重心位置の差、前記平均濃度算出手段が算出した平均濃度値の差、前記関心領域平均濃度算出手段が算出した関心領域における平均濃度値の差、及びフーリエ記述子算出手段が算出したフーリエ記述子の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定する対称性判定手段とを備えるものである。
【００１０】
このように、本願に開示する対称性判定装置においては、人体の背面側全体の左右の重心位置の差、及び平均濃度値の差、並びに肩甲骨領域における左右の平均濃度値の差、及びフーリエ記述子を特徴量として算出することで、背面全体の歪みと肩甲骨領域における歪みとを医師が着目する観点と同様の観点から検出し、左右の非対称性を総合的に判定することができるため、モアレ画像を精度よく識別することができるという効果を奏する。
【００１１】
また、平均濃度値、及び重心位置のような濃度的な特徴量と、フーリエ記述子のような形状的な特徴量とを総合的に判定するため、独立した観点からの総合的な識別が可能となり、識別の精度を上げることができるという効果を奏する。
【００１２】
本願に開示する対称性判定装置は、前記画像入力手段が入力したモアレ画像に対して前処理を施し、新たな入力されたモアレ画像とする前処理手段を備え、当該前処理手段が、前記入力されたモアレ画像に一定分散強調処理を行うＣＶＥ手段と、前記入力されたモアレ画像にソーベルフィルタを施すソーベルフィルタ手段と、前記一定分散強調処理が行われた画像情報と前記ソーベルフィルタが施された画像情報との差分画像を生成する差分画像生成手段と、前記差分画像をバイラテラルフィルタで平滑化する平滑化処理手段とを備えるものである。
【００１３】
このように、本願に開示する対称性判定装置においては、モアレ画像に一定分散強調処理（ＣＶＥ：Constant Variance Enhancement）を行ったものと、モアレ画像にソーベルフィルタを施したものとの差分画像を、バイラテラルフィルタで平滑化する前処理を行うことで、照明等の環境の違い、カメラの画質、環境ノイズ等の有無に関わらず、人体の形状、及びモアレ縞を鮮明な画像で抽出することができ、正確な特徴量を算出して識別の精度を上げることができるという効果を奏する。
【００１４】
本願に開示する対称性判定装置は、前記モアレ画像に基づいて、左右の肩のラインの差
を算出する肩ライン算出手段を備え、前記対称性判定手段が、前記重心位置の差、前記平均濃度値の差、前記関心領域における平均濃度値の差、前記フーリエ記述子、及び前記肩ラインの差の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定するものである。
【００１５】
このように、本願に開示する対称性判定装置においては、左右の肩のラインの差（例えば、水平方向に対する傾きの角度差）を特徴量として算出して判定の要素とするため、新たに肩部の形状的な特徴量が加わり、背中部や肩甲骨領域だけでは左右の対称性を正確に判定しにくいモアレ画像に対しても、識別の精度をより高くすることができるという効果を奏する。
【００１６】
本願に開示する対称性判定装置は、前記肩ライン算出手段が、前記モアレ画像を２値化し、ハフ変換により左右の肩のラインを直線近似して差を算出するものである。
【００１７】
このように、本願に開示する対称性判定装置においては、モアレ画像を２値化し、ハフ変換により左右の肩のラインを直線近似して差を算出するため、肩のラインを正確に算出することができ、識別の精度をより高くすることができるという効果を奏する。
【００１８】
本願に開示する対称性判定装置は、対称性判定手段が、ニューラルネットワークからなる識別器であるものである。
【００１９】
このように、本願に開示する対称性判定装置においては、ニューラルネットワークからなる識別器により判定を行うため、既知のモアレ画像（正常例と脊柱側彎症例）に基づく学習により、未知のモアレ画像に対して適切な判定を行い、識別の精度を上げることができるという効果を奏する。
【００２０】
本願に開示する対称性判定装置は、前記各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、前記一以上の特徴量の重み付けを大きく調整する重付調整手段を備えるものである。
【００２１】
このように、本願に開示する対称性判定装置においては、各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、前記一以上の特徴量の重み付けを大きく調整するため、一つでも異常な特徴量があるモアレ画像については非対称と判定する傾向になり、異常性の見落としを最小限に抑えることができるという効果を奏する。
【図面の簡単な説明】
【００２２】
【図１】第１の実施形態に係る対称性判定装置を適用する脊柱側彎症の診療に関する図である。
【図２】第１の実施形態に係る対称性判定装置の機能ブロック図である。
【図３】第１の実施形態に係る対称性判定装置で用いるモアレに関する説明図である。
【図４】第１の実施形態に係る対称性判定装置における前処理部の機能ブロック図である。
【図５】第１の実施形態に係る対称性判定装置における前処理部の結果を示す第１の図である。
【図６】第１の実施形態に係る対称性判定装置における前処理部の結果を示す第２の図である。
【図７】第１の実施形態に係る対称性判定装置における正中線の求め方を示す図である。
【図８】第１の実施形態に係る対称性判定装置における処理領域の設定方法に関する図である。
【図９】第１の実施形態に係る対称性判定装置における特徴量算出部の機能ブロック図である。
【図１０】第１の実施形態に係る対称性判定装置における対称度の算出方法を示す図である。
【図１１】第１の実施形態に係る対称性判定装置のハードウェア構成図である。
【図１２】第１の実施形態に係る対称性判定装置の処理を示すフローチャートである。
【図１３】第２の実施形態に係る対称性判定装置における特徴量算出部の機能ブロック図である。
【図１４】第２の実施形態に係る対称性判定装置における肩ラインの左右差に関する図である。
【図１５】第３の実施形態に係る対称性判定装置の機能ブロック図である。
【図１６】第４の実施形態に係る対称性判定装置の出力におけるブロック図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。従って、本実施形態の記載内容のみで本発明を解釈すべきではない。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。以下の実施の形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明は方法、及び、コンピュータを動作させるためのプログラムとしても実施できる。
【００２４】
（本発明の第１の実施形態）
本実施形態に係る対称性判定装置について、図１ないし図１２を用いて説明する。図１は、本実施形態に係る対称性判定装置を適用する脊柱側彎症の診療に関する図、図２は、本実施形態に係る対称性判定装置の機能ブロック図、図３は、本実施形態に係る対称性判定装置で用いるモアレに関する説明図、図４は、本実施形態に係る対称性判定装置における前処理部の機能ブロック図、図５は、本実施形態に係る対称性判定装置における前処理部の結果を示す第１の図、図６は、本実施形態に係る対称性判定装置における前処理部の結果を示す第２の図、図７は、本実施形態に係る対称性判定装置における正中線の求め方を示す図、図８は、本実施形態に係る対称性判定装置における処理領域の設定方法に関する図、図９は、本実施形態に係る対称性判定装置における特徴量算出部の機能ブロック図、図１０は、本実施形態に係る対称性判定装置における対称度の算出方法を示す図、図１１は、本実施形態に係る対称性判定装置のハードウェア構成図、図１２は、本実施形態に係る対称性判定装置の処理を示すフローチャートである。
【００２５】
本実施形態においては、対称性判定装置を脊柱側彎症の診療に用いた場合を例に説明する。脊柱側彎症は、脊柱が横に曲がり、多くの場合は脊柱自体の捻れを伴うものであり、側彎が進行すると重大な障害が生じる場合がある。図１（Ａ）は脊柱側彎症者のＸ線写真の一例である。一般に正常者の脊柱は、横から見た場合にＳ字型に彎曲しているが、正面から見た場合はほぼ直線になる。しかし、脊柱側彎症の場合、図１（Ａ）に示すように、脊柱がねじれを伴って側方に曲がる症状が顕著に現れる。
【００２６】
脊柱傾斜の角度を評価する指標として、図１（Ｂ）に示すＣｏｂｂ角が用いられており、Ｃｏｂｂ角が２０度以上の彎曲を有する場合に治療が必要となる。図１（Ｂ）に示すように、Ｃｏｂｂ角は傾いた２つの脊柱から脊柱の彎曲により生じた彎曲部分に沿って線を引き、２つの線が交わるところの角度αを計測する。
【００２７】
脊柱側彎症は、一般に痛みなどの自覚症状がない。したがって本人は気づかず、家族や友人らに両肩の高さの違いを指摘されたり、あるいは学校における集団検診の際に発見されたりすることが多い。そのため早期発見が難しいとされている。しかし、重度の側彎症においては、心肺機能の低下、腰痛、背部痛が生じるなど深刻な問題となる。
【００２８】
側彎の程度を詳しく調べるには、図１（Ａ）に示すようなＸ線検査を行う必要がある。その際、脊柱の曲がり具合、骨の柔軟さ、成長度などを観測するため、様々な姿勢、角度でＸ線画像を撮影する。そのため、診断するにあたって何枚ものＸ線写真を撮影する必要がある。しかし、被験者の大半が成長過程にある子供であることを考慮すれば、放射線被曝を伴うＸ線撮影の対象者数は、必要最小限にとどめるべきである。そこで、診断は以下のような３段階の手順で行われる。
【００２９】
まず、第１次診断として、脊柱側彎症者が多く見られる成長期の小中学生を対象に集団検診を行う。ここでは、前屈テストやモアレ法による検診が行われる。この段階で脊柱側彎症の疑いのある者を対象に、第２次診断として低線量Ｘ線撮影を行う。ここでは、身体への影響を極力なくすため、低線量Ｘ線で撮影し、脊柱の大まかな形状を確認する。そして、この段階においても脊柱側彎症の疑いがあると診断された者のみ、第３次診断として、直接Ｘ線撮影が行われ、脊柱の形状が詳しく調べられる。
【００３０】
第１次診断における集団検診では、被験者一人一人を視診することになる。これは前屈テストと呼ばれる。図１（Ｃ）に前屈テストの際、医師が最も注目する診断箇所を示しており、両肩の高さの左右不均衡（図中の１に相当）、両肩甲骨の高さ、又は凹凸の左右不均衡（図中の２に相当）、ウエストライン付近における脇線の左右非対称（図中の３に相当）、前屈テストにおけるリブ・ハンプ(rib hump:前屈姿勢での肋骨隆起)の存在（図中の４に相当）が診断される。
【００３１】
この第１次診断において、最も重点が置かれる注目箇所はリブ・ハンプで、治療が必要な側彎症者を効率よく発見できる。しかし、側彎症の種類によっては、リブ・ハンプが目立たない場合や、集団検診のため多数の被験者を一定時間内に診断しなければならないなどの理由から、医師の主観によって判断基準に差が生じたりすることが問題であり、その改善が求められている。また、再現性の欠如などの問題もある。本実施形態に係る対称性判定装置は、この第１次診断における診察を支援するものである。
【００３２】
図２は、モアレ画像撮像装置１０と、対称性判定装置２０とを備える診断支援システムの構成を示す。モアレ画像撮像装置１０は、被験者の姿勢を保持するための姿勢保持装置１１と、モアレ画像を撮像するためのモアレカメラ１２と、モアレカメラ１２が撮像した映像を表示するモニタ１３とを備える。被験者は、姿勢保持装置１１に凭れ掛かることにより、呼吸等によるわずかな変化を抑え、一定の姿勢が保たれた状態でモアレカメラ１２により背面部分が撮像される。検査技師等の撮像者は、モニタ１３を見ながら、被験者の位置関係や撮像環境を確認し、モアレ画像の撮像を行う。
【００３３】
ここで、モアレ画像（モアレ法）について説明する。モアレは、点又は線が幾何学的に規則正しく分布したものを重ね合わせた時に生じる縞状の斑紋のことである。規則的に並んだ模様を２種類以上重ね合わせた場合に、元のパターンとは異なる模様が現れる現象のことをモアレ現象と言い、モアレ現象により現れる縞模様をモアレ縞と呼ぶ。
【００３４】
モアレ縞は、一定の幅で平行に描かれた格子を上から重ね合わせる方法で作り出すことができる。ここで、重ね合わせる側の規則的に並んだ格子のことを基準格子と言い、重ね合わされる側の格子で、表現したいものに合わせて基準格子に歪みを持たせたものを試料格子と言う。
【００３５】
光を上から基準格子に当てた場合、その影を試料格子として取り出すと、その形状は図３（Ａ）のようになる。図３（Ａ）の（ａ）のように、影が映る面が平面であれば、試料格子は規則的に並ぶ格子となり、図３（Ａ）の（ｂ）のように，影が映る面が凹凸面であれば、試料格子も凹凸に沿って歪んだものとなる。このようにして作られた試料格子の上に、基準格子を重ね合わせてできるモアレ縞は、物体の等高線を表すものとなる。本実施形態で用いるモアレ画像は、これにノイズ除去、大きな被写体への対応などの工夫が施された、格子投影法により撮影されたものである。
【００３６】
図３（Ｂ）及び（Ｃ）に、人体背面のモアレ画像の例を示す。図３（Ｂ）は正常例で、図３（Ｃ）は脊柱側彎症例である。正常例のモアレ画像は、縞模様が背中の正中線を境に左右対称になっているのに対し、脊柱側彎症例のモアレ画像は、脊柱の彎曲が原因で縞模様に左右非対称な歪みが生じている。脊柱側彎症診断にモアレ画像を用いることの最大の利点は、画像データとして情報を記録することができる点にある。これにより、医師が現場に立ち会う必要がなくなり、後日まとめて画像診断を行うことが可能になったことから、集団検診の効率化が図られるようになった。また、医師による視診では、医師の主観によって判断基準が左右されるが、モアレ画像による診断では、背面の凹凸情報を地図の等高線のような縞模様に投影するため、より客観的な診断が可能となる。さらに、画像データとして記録するため再現性にも優れている。そのため、モアレ画像は視診に代わる第１次診断法として取り入れられている。
【００３７】
図２に戻って、対称性判定装置２０は、モアレカメラ１２で撮像されたモアレ画像を入力する画像入力部２１と、入力されたモアレ画像に基づいて正中線を設定する正中線設定部２４と、入力されたモアレ画像に前処理を施して新たな入力画像（処理用入力画像とする）を生成する前処理部２３と、処理用入力画像に基づいて関心領域を設定する関心領域設定部２２と、処理用入力画像、正中線、及び関心領域に基づいて特徴量を算出する特徴量算出部２５と、算出された特徴量に基づいてモアレ画像の左右の対称性を判定する判定部２６と、判定結果を出力する出力部２７とを備える。
【００３８】
画像入力部２１は、モアレカメラ１２で撮像されたモアレ画像を入力する。なお、入力方法としては、モアレカメラ１２と直接接続されて画像情報を入力してもよいし、モアレカメラ１２から記録媒体に記憶された画像情報を入力してもよいし、電気通信回線を通じて画像情報をダウンロードして入力するようにしてもよい。
【００３９】
前処理部２３は、画像入力部２１が入力した画像を前処理して、以降の処理を正確に行うための鮮明な画像を生成する。ここで、前処理について詳細に説明する。図４に前処理部の構成を示す。前処理部２３は、入力画像２３ａに対してソーベルフィルタを施すソーベルフィルタ処理部２３１と、入力画像２３ａに対して一定分散強調処理を行うＣＶＥ処理部２３２と、ソーベルフィルタ処理部２３１、及びＣＶＥ処理部２３２のそれぞれの処理部で実行されたモアレ画像の差分画像を生成する差分画像生成部２３３と、差分画像をバイラテラルフィルタで平滑化して処理用入力画像２３ｂを生成する平滑化処理部２３４とを備える。
【００４０】
モアレ画像は、撮影環境によってコントラストが大きく異なる場合がある。ソーベルフィルタ処理部２３１は、この問題を回避するための前処理としてソーベルフィルタを用いる。ソーベルフィルタは、ノイズを抑えながらエッジを効率的に抽出することが可能なフィルタで、平滑化を行う場合に中心となる画素からの距離に反比例した重みを与えて平均化を行う。図５（Ａ）に示す入力画像に対して、ソーベルフィルタを施した画像の例を図５（Ｂ）に示す。
【００４１】
ＣＶＥ処理部２３２は、肩や腰部の特徴量を抽出する前処理として、入力画像２３ａに一定分散強調処理を行う。これは、画像内のどの領域内においても濃度分散と濃度平均とを均一にし、最適なコントラストを持った画像に変換する方法である。一定分散強調処理を用いる理由は、ヒストグラムを平坦化することにより、コントラストの低い画像に対してダイナミックレンジを広げ、微妙な明暗の変化も認識できるようにする必要があり、また、画像にシェーディングが存在する場合に、単純なヒストグラム変換処理では最適に平坦化することが困難な場合があるからである。そのため、変換する画素ごとにその周辺の情報を加味し、階調変換を行う必要がある。用いる変換式は、生化学検査などでよく用いられるＳＤＩ（Standard Deviation Index）と呼ばれている統計量である。
【００４２】
この変換式を式（１）に示す。ユーザーが与えるのは、局所領域（Ｍ）の大きさである。ＳＤＩは平均値０、分散１の値になるため、目的の階調になるように変換する必要がある。本実施形態では、求めたＳＤＩの値を閾値として２値画像に用いる。
【００４３】
【数１】
μは平均値、σは標準偏差、ＸとＮは局所領域Ｍ内の各データの値とデータ数を示す。
【００４４】
図５（Ｃ）、（Ｄ）に一定分散強調処理を行い、ＳＤＩで２値化した画像を示す。肩甲骨領域の抽出（詳細は後述する）に用いるＣＶＥ画像は、５１×５１［ｐｉｘｅｌｓ］（図５（Ｄ））、人体背面の縞の抽出(詳細は後述する)に用いるＣＶＥ画像は、２１×２１［ｐｉｘｅｌｓ］（図５（Ｃ））を用いる。
【００４５】
差分画像生成部２３３は、ソーベルフィルタ、及び一定分散強調処理を施したそれぞれの画像から差分画像を作成する。これは、２種類のエッジ強調画像から差分演算を行うことにより、肩や腰部の輪郭が良好に抽出できるためである。図６（Ａ）は、図５（Ｂ）の画像と図５（Ｄ）の画像との差分画像である。図６（Ａ）から肩や腰のエッジが強調されていることが明らかである。
【００４６】
図６（Ａ）に示すように、差分画像にはスパイク状ノイズが生じている。これらのノイズを取り除くため、平滑化処理部２３４が、バイラテラルフィルタを用いた平滑化処理を行う。バイラテラルフィルタを用いる理由として、バイラテラルフィルタはエッジを保持しながら平滑化を行うことが可能である利点が挙げられる。
【００４７】
バイラテラルフィルタは、重みとしてガウス関数を用い、ガウシアンフィルタのように画素間の距離だけで重みを決めるのではなく、同時に輝度差も考慮に入れて重みを決めるフィルタである。輝度差が激しい部分では重みを小さくすることにより、輪郭をぼかすことなく平滑化を行うものである。バイラテラルフィルタの式を式（２）に示す。
【００４８】
【数２】
Ｗxは画素間の重み、Ｗdは輝度差の重みをそれぞれ示す。
【００４９】
また、本実施形態においては、ガウス関数は、式（２）のように等方的なガウス関数を用いる。また、係数α、βの値を変化させることにより、フィルタの効果を調整することができる。図６（Ａ）に対し、バイラテラルフィルタを施して平滑化した画像の例を図６（Ｂ）に示す。図６（Ｂ）から、ノイズ成分が除去できていることが明らかである。
【００５０】
図２に戻って、正中線設定部２４は、左右対称性を評価するための基準となる背面の正中線を設定する。ここで、正中線の設定について詳細に説明する。人体背面のモアレ画像は、正中線を境にほぼ左右対称であるとみなすことができるため、その正中線を近似的対称軸として設定する。
【００５１】
近似的対称軸は，図形とその鏡映対称図形との重ね合わせによって求まる。重ね合わせの位置は、以下の式（３）によって求まる。これは、図７に示すように、入力画像と鏡映対称図形が重なり合った部分の差分画像の１画素あたりの濃度値が最小になる位置を、最も重なり合った位置として求めることを示す。このときの入力画像の重心と、鏡映対称図形の重心との垂直二等分線が求める近似的対称軸となる。
【００５２】
【数３】
【００５３】
なお、本実施形態で用いるモアレ画像は、ほぼ直立で撮影されているため、同手法における回転操作は行わず、水平方向の移動のみで処理を行う。
ここで重心とは、モーメントによって求めることのできる画像特徴の一つである。画像Ｆ内における座標（ｘ，ｙ）∈Ｒにおける濃度値をｆ（ｘ，ｙ）とすると、Ｆの（ｉ＋ｊ
）次のモーメントは次式の式（４）で表される。ただし、Ｒは図形領域を示す。
【００５４】
【数４】
式（４）より、画像Ｆの重心（ｘc，ｙc）は、次式により求まる。
【００５５】
【数５】
【００５６】
図２に戻って、関心領域設定部２２は、特徴量算出部２５が特徴量を求める場合の対象となる処理領域を設定する。特徴量算出部２５は、背面全体の平均濃度値、及び重心位置、並びに肩甲骨領域の平均濃度値、及びフーリエ記述子を算出するため、ここでは、人体背面の処理領域と肩甲骨領域のそれぞれの処理領域を設定する。
【００５７】
まず、人体背面の処理領域の設定について詳細に説明する。本実施形態で用いるモアレ画像は、人体背面の腰から首付近までを撮影したものである。そのため、処理対象外である腕や画像の左右に存在する背景など処理に不要な部分が存在する。そこで、これらの不要な部分を除去した処理領域を設定する。図８（Ａ）に示すように、横軸を基準とした累積ヒストグラムを作成した場合、図８（Ａ）の矢印で示す部分のような谷が生じる。そこで、中央から見て左右で値が小さくなる箇所（図８（Ａ）における矢印部分）をヒストグラム解析により求め、処理領域を設定する。
【００５８】
モアレ画像内の処理領域に対し、式（５）の近似的対称性解析手法により得られる正中線を付加した画像を図８（Ｂ）に示す。この領域における正中線を境とした左右対称性を調べ、左右の非対称度として求める。このとき、以下の式（６）により左右の計算領域を設定する。
【００５９】
【数６】
ｍは正中線、ｌは処理領域の左端、ｒは処理領域の右端の座標値を示す。
【００６０】
この計算領域を上から下へと移動させ、それぞれ左右領域内の特徴量を比較することにより、その画像における非対称度を算出する（図８（Ｂ））。
【００６１】
次に、肩甲骨領域の設定について詳細に説明する。図５（Ｄ）に示す５１×５１［ｐｉｘｅｌｓ］の一定分散強調処理を施した画像と、ソーベルフィルタを施した画像との差分画像から得られる肩部および腰部の輪郭線より、肩甲骨部の関心領域を求める（図８（Ｃ））。具体的には、肩のラインをハフ変換で直線近似することにより、その輪郭を求める。ある直線に対し、ρは原点から直線におろした垂線の長さ、θはｘ軸となす角とすると、ハフ変換は、式（７）のように表すことができる。
【００６２】
【数７】
【００６３】
これより、極座標系の一点（ρ，θ）が求まれば一つの直線が定まる。次にヒストグラム解析により、脇上の点をもとにした矩形領域を選定し、その領域内の正中線を境とした左右の濃度差を特徴量として求める。なお、関心領域の設定には、近似的対称性解析手法を用いて求めた正中線をもとに、左右で小さい方の領域を基準とする。以上の処理により、処理領域が設定される。
【００６４】
なお、人体背面の処理領域の設定については、必ずしも設定する必要はなく、予め処理の対象となる図８（Ｂ）のような領域を、操作者からの指示情報に基づいて抽出しておいてもよい。
【００６５】
図２に戻って、特徴量算出部２５は、モアレ画像の左右の非対象度を判定するための特徴量を算出する。図９に、特徴量算出部２５の構成を示す。特徴量算出部２５は、正中線を中心にして、人体背面の左右の重心位置の差を算出する重心位置算出部２５１と、人体背面の左右の平均濃度値の差を算出する平均濃度算出部２５２と、肩甲骨領域における左右のモアレ縞のフーリエ記述子の振幅の差を算出するフーリエ記述子算出部２５３と、肩甲骨領域における左右の平均濃度値の差を算出する関心領域平均濃度算出部２５４とを備える。
【００６６】
それぞれの特徴量の算出方法について説明する。抽出した人体背面の左右の計算領域に対し、各局小領域内の左右の重心位置、平均濃度値をそれぞれ求め、その差の平均、及び標準偏差を求める。図１０に、重心を用いた特徴量の算出処理の概要を示す。左側の重心をＧl（ｘl，ｙl）、右側の重心をＧr（ｘr，ｙr）とする。さらに、右側の計算領域に、正中線を軸としてＧl（ｘl，ｙl）を折り返した点をＧl’（ｘl’，ｙl’）として、左右の重心位置の差Ｅを以下の式（８）より求める。
【００６７】
【数８】
また、同様の計算領域において、以下の式（９）により平均濃度値の差を求める。
【００６８】
【数９】
ｌｍｖ、ｒｍｖは、それぞれ左右の計算領域内の平均濃度を示す。
【００６９】
背面上部から下部にかけて、計算領域をＮ回移動させたとき、式（８）、（９）から求まる特徴量の平均値μ1、μ2は次式となる。
【００７０】
【数１０】
次に、肩甲骨領域に対し、平均濃度値の差を次式により求める。
【００７１】
【数１１】
ｌｍｖ’、ｒｍｖ’は、それぞれ左右の肩甲骨領域内の平均濃度を示す。
【００７２】
次に、図５（Ｃ）に示す２１×２１［ｐｉｘｅｌｓ］の一定分散強調処理を施した画像と、ソーベルフィルタを施した画像との差分画像から得られる画像における肩甲骨領域を設定し、２値化を行った後、正中線を基準に画像の中心からラスタ操作を行う。境界線追跡を行い背面のモアレ縞を閉曲線として抽出し、任意の点における接線との偏角を用い、フーリエ記述子を求める。特徴量としては、フーリエ記述子を振幅Ａの形とし、左右で比較した差の２乗を用いる。以下に計算式を示す。
【００７３】
【数１２】
Ｔは閉曲線１周の長さ、ｔは初期点からの距離、ａn，ｂnは輪郭の形状情報をそれぞれ示す。
【００７４】
以上より、モアレ画像における重心位置の差の平均値μ1、平均濃度値の差の平均値μ2、肩甲骨領域における平均濃度値の差ｄ’、及びフーリエ記述子の振幅Ａを非対称度を表す特徴量として算出する。
【００７５】
図２に戻って、判定部２６は、特徴量算出部２５が算出した特徴量データに基づいて、モアレ画像の左右の対称性を判定する。判定する際の識別器としては、例えばニューラルネットワーク、ＳＶＭ（Support Vector Machine）、マハラノビス距離等を用いることができる。出力部２７は、判定部２６の判定結果を出力し、出力された情報を医師が参照して診断を行う。
【００７６】
上記各処理を実現する対称性判定装置のハードウェア構成を図１１に示す。対象性判定装置２０は、オペレーティングシステムや各種プログラム（例えば、対象性判定プログラム、画像表示プログラム等）が格納されているＲＯＭ２０３と、各種データ（例えば、画像データ、設定情報、結果情報等）が格納されているＨＤ（ハードディスク）２０４と、各種プログラム等が必要に応じて読み出されるＲＡＭ２０２と、読み出されたプログラム等に基づいて実際の演算を実行するＣＰＵ２０１と、他の装置（例えば、サーバ、モアレ画像撮像装置等）と通信を行うためのインタフェースである通信Ｉ／Ｆ２０５と、キーボ
ードやマウス等の入力機器からの入力を受け付けたり、プリンタやモニタ等にデータを出力するためのインタフェースである入出力Ｉ／Ｆ２０６とを備える。この入出力Ｉ／Ｆ２０６としてＵＳＢやＲＳ２３２Ｃ等が用いられる。また、必要に応じて、光磁気ディスク、フロッピーディスク（登録商標）、ＣＤ−Ｒ、ＤＶＤ−Ｒ等のリムーバブルディスクに対応したドライブを接続することができる。
【００７７】
本実施形態に係る対称性判定装置の動作について説明する。図１２において、まず、モアレ画像撮像装置１０で被験者の背面のモアレ画像が撮像される。これは、検査技師等により行われ、撮像されたモアレ画像は画像入力部２１に入力される（Ｓ１１）。モアレ画像の入力は、撮像と同時に行われてもよいし、撮像のみを行った後に、モアレ画像の入力を別途行うようにしてもよい。モアレ画像が入力されると、正中線設定部２４が正中線を設定し（Ｓ１２）、関心領域設定部２２が人体背面の処理領域を設定する（Ｓ１３）。
【００７８】
また、入力されたモアレ画像に対して、前処理部２３が一定分散強調処理、及びソーベルフィルタを施す処理を行い（Ｓ１４、Ｓ１５）、それらの差分画像を作成し（Ｓ１６）、バイラテラルフィルタを施して平滑化する（Ｓ１７）。関心領域設定部２２が、平滑化された画像を２値化し（Ｓ１８）、肩甲骨領域を設定する（Ｓ１９）。特徴量抽出部２５が上記で示した各種特徴量を算出し（Ｓ２０）、判定部２６が判定処理を行う（Ｓ２１）。判定結果を、出力部２７が出力して処理を終了する。
【００７９】
このように、本実施形態に係る対称性判定装置によれば、各種特徴量として算出することで、背面全体の歪みと肩甲骨領域における歪みとを医師が着目する観点と同様の観点から検出し、左右の非対称性を総合的に判定することができるため、モアレ画像を精度よく識別することができる。また、平均濃度値、及び重心位置のような濃度的な特徴量と、フーリエ記述子のような形状的な特徴量とを総合的に判定するため、広い観点からの識別が可能となり、識別の精度を上げることができる。
【００８０】
さらに、モアレ画像に一定分散強調処理を行ったものと、モアレ画像にソーベルフィルタを施したものとの差分画像を、バイラテラルフィルタで平滑化する前処理を行うことで、照明等の環境の違い、カメラの画質、環境ノイズ等の有無に関わらず、人体の形状、及びモアレ縞を鮮明な画像で抽出することができ、正確な特徴量を算出して識別の精度を上げることができる。さらにまた、各種特徴量をニューラルネットワークからなる識別器により判定する場合には、既知のモアレ画像に基づいて適切な判定を行い、識別の精度を上げることができる。
【００８１】
（本発明の第２の実施形態）
本実施形態に係る対称性判定装置について、図１３及び図１４を用いて説明する。図１３は、本実施形態に係る対称性判定装置における特徴量算出部の機能ブロック図、図１４は、本実施形態に係る対称性判定装置における肩ラインの左右差に関する図である。
【００８２】
なお、本実施形態において、前記第１の実施形態と重複する説明については省略する。
【００８３】
図１３において図９と異なるのは、肩ライン算出部２５５を新たに備えることである。肩ライン算出部２５５は、図６（Ｂ）で得た画像に基づいて肩のラインを算出する。図８（Ｃ）で肩甲骨領域を設定した場合と同様に、一定分散強調処理を施した画像と、ソーベルフィルタを施した画像との差分画像について、平滑化し、２値化して得られた肩部の輪郭線をハフ変換で直線近似し、水平方向に対する角度の差を算出する。図１４に示すように、直線近似された左右の肩のラインと水平方向との角度θ1，θ2の差を特徴量として算出する。
【００８４】
判定部２６は、第１の実施形態で示した各種特徴量に、形状的な特徴量である肩のラインの左右差を加えた５つの特徴量に基づいて判定処理を行う。
なお、直線近似はハフ変換以外にも最小二乗法を用いてもよい。
【００８５】
このように、本実施形態に係る対称性判定装置によれば、左右の肩のラインの差を特徴量として算出して判定の要素とするため、人体の全体の形状的な特徴量が加わり、識別の精度をより高くすることができる。また、モアレ画像を２値化し、ハフ変換により左右の肩のラインを直線近似して差を算出するため、肩のラインを正確に算出することができ、識別の精度をより高くすることができる。
【００８６】
（本発明の第３の実施形態）
本実施形態に係る対称性判定装置について、図１５を用いて説明する。図１５は、本実施形態に係る対称性判定装置の機能ブロック図である。
なお、本実施形態において、上記各実施形態と重複する説明については省略する。
【００８７】
図１５において図２と異なるのは、調整部２８を備えることである。調整部２８は、各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、その特徴量の重み付けを大きく調整する。つまり、４つ又は５つの特徴量において、総合的に判定した場合には、対称であると判定できるときであっても、その中の１つの特徴量が正常の範囲から大きく外れている場合には、その特徴量の重み付けを大きくし、判定部２６が非対称であると判定するように調整する。
【００８８】
なお、正常の範囲から大きく外れているか否かは、例えば正常と判断できる閾値を予め設定し、その閾値と比較することで判断するようにしてもよい。
【００８９】
このように、本実施形態に係る対称性判定装置によれば、各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、前記一以上の特徴量の重み付けを大きく調整するため、一つでも異常な特徴量があるモアレ画像については非対称と判定する傾向になり、異常性の見落としを最小限に抑えることができる。
【００９０】
（本発明の第４の実施形態）
本実施形態に係る対称性判定装置について、図１６を用いて説明する。図１６は、本実施形態に係る対称性判定装置の出力におけるブロック図である。
なお、本実施形態において、上記各実施形態と重複する説明については省略する。
【００９１】
本実施形態に係る対称性判定装置は、対称、非対称、及びその中間の少なくとも３段階以上の判定を行うものである。また、対称と非対称の中間の段階であると判定した前記モアレ画像について、再度別の識別器で対称性の判定を行う。さらに、出力部が、判定部により判定された対称性の判定結果、及び特徴量算出部により算出された各特徴量に関する情報を出力するものである。
【００９２】
図１６において、出力部２７は、判定結果データ１６０を出力する。この判定結果データ１６０は、対称、非対称、中間の３段階で示されている。中間と判定されたモアレ画像については、処理用入力画像２３ｂとして再度別の識別器１６１に入力され、再判定処理が行われる。実際の診断を行う医師は、出力部２７の出力結果である判定結果データ１６０と、特徴量算出部２５が算出した特徴量データ２５ａと、識別器１６１が再判定した結果である再判定結果データ１６２とに基づいて、総合的に診断を行う。
【００９３】
なお、対称、非対称、中間の判定については、対称と判定されるモアレ画像のうちユークリッド距離が非対称に近いもの、非対称と判定されるモアレ画像のうちユークリッド距
離が対称に近いもの（例えば、距離の閾値を予め設定しておく）を中間として判定するようにしてもよい。また、予め対称、非対称、中間の３段階をニューラルネットワークに学習させておき、そのニューラルネットワークに基づいて、判定を行うようにしてもよい。さらに、４段階以上に判定してもよい。
【００９４】
識別器１６１については、処理対象となるモアレ画像は中間と判定された、所謂グレーゾーンのモアレ画像であることから、その判定に適した学習を予め行った識別器であることが好ましい。
【００９５】
また、特徴量データ２５ａについては、総合的に対称と判定されているものの特徴量にバラつきがあったり、第３の実施形態に示すように、特に正常から大きく外れた特徴量の情報等を提示することで、医師の診断を確実にし、異常の見落としをなくすことができる。また、異常と判定されたモアレ画像について、特徴量を参照することで視認しにくい異常を把握することができ、医師の診断において重要な情報となり得る。
【００９６】
このように、本実施形態に係る対称性判定装置によれば、対称、非対称、及びその中間の少なくとも３段階以上の判定を行うため、対称性があるかないかの微妙なグレーゾーンが判定され、より詳細な判断を必要とするモアレ画像を識別することができる。また、対称と非対称の中間の段階であると判定したモアレ画像について、再度別の識別器で対称性の判定を行うため、グレーゾーンとなったモアレ画像をさらに識別し、細かく分類して医師等にフィードバックすることができ、医師の負担を軽減することができる。さらに、対称性の判定結果だけでなく、各特徴量に関する情報も出力されるため、医師が診察する際の情報が増え、安定した診察が可能になる。
【００９７】
なお、本実施形態に係る対称性判定装置２０が、モアレ画像撮像装置１０によるモアレ画像の撮像時に使用可能である場合、つまりモアレ画像を撮像しながら同時に左右の対称性を判定できる状態である場合には、判定部が中間と判定したモアレ画像について、基準格子及び／もしくは試料格子の格子幅の変更、基準格子及び試料格子を重ね合わせる角度の変更、光源の変更、又は、光源と被験者との距離の変更等を行うことで、撮像環境を変化させ、異なるパターンの一又は複数のモアレ画像を再度撮像するようにしてもよい。そうすることで、グレーゾーンと判定されたモアレ画像について、医師が複数のパターンから総合的に診断を行い、診断の精度と効率を向上させることができる。
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。
【実施例】
【００９８】
本発明に係る対称性判定装置を用いて、実際に人体背面を撮像したモアレ画像の対象性の判定を行った。本実施例では、人体背面における濃度平均、フーリエ記述子、人体背面における重心位置の差、及び肩甲骨領域における局所関心領域内の濃度平均の４つの特徴量を利用する。
【００９９】
実施例に用いるモアレ画像は、正常例６００、側彎症例６００の計１２００例で構成される。本実施例では、これらのデータ群から正常例２００、側彎症例２００で構成される計４００例の学習データとして３つのデータ群を用意する。ここで、それぞれのデータ群をＤａｔａ１、Ｄａｔａ２、Ｄａｔａ３とする。この３つのデータ群に対し、リーブ・ワン・アウト法を適用し平均識別率を求める。リーブ・ワン・アウト法とは、あるデータ群を識別器の学習サンプルとし、残り二組のデータ群に対し識別を行う。これを全ての組み合わせにおいて行うことによりデータの偏りのない評価を行う方法である。
【０１００】
識別器は、ニューラルネットワーク、非線形ＳＶＭ（Support Vector Machine）、及びマハラノビス距離を用いた識別器を使用する。ニューラルネットワークは、階層型ニューラルネットワークを用い、階層型ニューラルネットワークの学習アルゴリズムとして、一般的に知られている誤差逆伝播学習アルゴリズム（ＢＰ：Back Propagation）を用いる。ＳＶＭは、２つのクラスのいずれかに属するデータ群をクラスタリングする識別関数を設計する手法であり、学習により得られた識別関数を同様の属性をもつ未知データに適用することにより、データの分類が可能となる。ここでは、非線形ＳＶＭを使用する。マハラノビス距離は、正規母集団と標本との距離尺度であり、正常例、側彎症例の２つの群におけるマハラノビス距離Ｄ2の比較を行うことで、正常例、側彎症例のいずれかに分類する。
【０１０１】
ニューラルネットワークを用いて得られる識別結果を表１に示す。また、フーリエ記述子と他の特徴量との２次元の組み合わせで得られた結果を表２ないし４に示す。Ａｖｅｒａｇｅは各データ群から得られる平均的な識別率、Ａｖｅ．は正常例、側彎症例における識別率をそれぞれ示す。表１より、平均９０．７９（％）という高い識別率が得られ、特に側彎症例だけに関しては、９４．８０（％）という高い認識率が得られた。
【０１０２】
【表１】
【０１０３】
【表２】
【０１０４】
【表３】
【０１０５】
【表４】
【０１０６】
非線形ＳＶＭを用いて得られる識別結果を表５に示す。また、フーリエ記述子と他の特徴量との２次元の組み合わせで得られた結果を表６ないし８に示す。表５より、平均８８．８９（％）の識別率が得られ、側彎症例だけに関しては、９０．６０（％）の認識率が得られた。
【０１０７】
【表５】
【０１０８】
【表６】
【０１０９】
【表７】
【０１１０】
【表８】
【０１１１】
マハラノビス距離を用いて得られる識別結果を表９に示す。また、フーリエ記述子と他の特徴量との２次元の組み合わせで得られた結果を表１０ないし１２に示す。表９より、平均８５．０４（％）の識別率が得られ、側彎症例だけに関しては、８７．２５（％）の認識率が得られた。
【０１１２】
【表９】
【０１１３】
【表１０】
【０１１４】
【表１１】
【０１１５】
【表１２】
【０１１６】
これらの結果から、ニューラルネットワーク、非線形ＳＶＭ、マハラノビス距離による正常例と側彎症例の識別率は、それぞれ平均で９０．７９％、８８．８９％、８５．０４％の識別率が得られ、ニューラルネットワークによる識別性能が一番高いという結果が得られた。また、形状特徴であるフーリエ記述子と他の濃度特徴量を組み合わせた結果では、どの識別器でも約８割の識別率を得た。このことから、４つの特徴量を組み合わせることにより互いに識別できないパターンを補っていると考えられる。さらに、全体的に正常例と側彎症例とをある程度分離することができていると考えられるため、識別関数付近にグレーゾーンを設けて医師に提示することにより、非常に有効なシステムが実装可能である。
【０１１７】
なお、側彎症例の誤認識例として、縞模様や左右の濃度分布、縞の形状に差がほとんど見られないものが含まれていた。これらの誤認識のモアレデータに関しては、上記第２の実施形態に示す肩ラインの差を特徴量とすることで、この誤認識を解消できると考えられる。
【符号の説明】
【０１１８】
１０ モアレ画像撮像装置
１１ 姿勢保持装置
１２ モアレカメラ
１３ モニタ
１６０ 判定結果データ
１６１ 識別器
１６２ 再判定結果データ
２０ 対象性判定装置
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ ＨＤ
２０５ 通信Ｉ／Ｆ
２０６ 入出力Ｉ／Ｆ
２１ 画像入力部
２２ 関心領域設定部
２３ 前処理部
２３ａ 入力画像
２３ｂ 処理用入力画像
２３１ ソーベルフィルタ処理部
２３２ ＣＶＥ処理部
２３３ 差分画像生成部
２３４ 平滑化処理部
２４ 正中線設定部
２５ 特徴量算出部
２５ａ 特徴量データ
２５１ 重心位置算出部
２５２ 平均濃度算出部
２５３ フーリエ記述子算出部
２５４ 関心領域平均濃度算出部
２５５ 肩ライン算出部
２６ 判定部
２７ 出力部
２８ 調整部
【特許請求の範囲】
【請求項１】
人体の背面側から撮像されたモアレ画像に基づいて、前記人体の左右の対称性を判定する対称性判定装置において、
撮像されたモアレ画像を入力する画像入力手段と、
前記入力されたモアレ画像に基づいて、当該モアレ画像の左右の対称性の基準となる正中線を設定する正中線設定手段と、
前記正中線を中心とする左右の重心位置の差を算出する重心位置算出手段と、
前記正中線を中心とする左右の平均濃度値の差を算出する平均濃度算出手段と、
前記モアレ画像に基づいて、肩甲骨領域を関心領域として設定する関心領域設定手段と、
前記関心領域における前記正中線を中心とする左右の平均濃度値の差を算出する関心領域平均濃度算出手段と、
前記関心領域における前記正中線を中心とする左右のモアレ縞を閉曲線として抽出し、フーリエ記述子を算出するフーリエ記述子算出手段と、
前記重心位置算出手段が算出した重心位置の差、前記平均濃度算出手段が算出した平均濃度値の差、前記関心領域平均濃度算出手段が算出した関心領域における平均濃度値の差、及びフーリエ記述子算出手段が算出したフーリエ記述子の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定する対称性判定手段とを備えることを特徴とする対称性判定装置。
【請求項２】
請求項１に記載の対称性判定装置において、
前記画像入力手段が入力したモアレ画像に対して前処理を施し、新たな入力されたモアレ画像とする前処理手段を備え、
当該前処理手段が、
前記入力されたモアレ画像に一定分散強調処理を行うＣＶＥ手段と、
前記入力されたモアレ画像にソーベルフィルタを施すソーベルフィルタ手段と、
前記一定分散強調処理が行われた画像情報と前記ソーベルフィルタが施された画像情報との差分画像を生成する差分画像生成手段と、
前記差分画像をバイラテラルフィルタで平滑化する平滑化処理手段とを備えることを特徴とする対称性判定装置。
【請求項３】
請求項１又は２に記載の対称性判定装置において、
前記モアレ画像に基づいて、左右の肩のラインの差を算出する肩ライン算出手段を備え、
前記対称性判定手段が、前記重心位置の差、前記平均濃度値の差、前記関心領域における平均濃度値の差、前記フーリエ記述子、及び前記肩ラインの差の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定することを特徴とする対称性判定装置。
【請求項４】
請求項３に記載の対称性判定装置において、
前記肩ライン算出手段が、前記モアレ画像を２値化し、ハフ変換により左右の肩のラインを直線近似して差を算出することを特徴とする対称性判定装置。
【請求項５】
請求項１ないし４のいずれかに記載の対称性判定装置において、
対称性判定手段が、ニューラルネットワークからなる識別器であることを特徴とする対称性判定装置。
【請求項６】
請求項１ないし５のいずれかに記載の対称性判定装置において、
前記各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、前記一以上の特徴量の重み付けを大きく調整する重付調整手段を備える
ことを特徴とする対称性判定装置。
【請求項７】
人体の背面側から撮像されたモアレ画像に基づいて、コンピュータが前記人体の左右の対称性を判定する対称性判定方法において、
撮像されたモアレ画像を入力する画像入力ステップと、
前記入力されたモアレ画像に基づいて、当該モアレ画像の左右の対称性の基準となる正中線を設定する正中線設定ステップと、
前記正中線を中心とする左右の重心位置の差を算出する重心位置算出ステップと、
前記正中線を中心とする左右の平均濃度値の差を算出する平均濃度算出ステップと、
前記モアレ画像に基づいて、肩甲骨領域を関心領域として設定する関心領域設定ステップと、
前記関心領域における前記正中線を中心とする左右の平均濃度値の差を算出する関心領域平均濃度算出ステップと、
前記関心領域における前記正中線を中心とする左右のモアレ縞を閉曲線として抽出し、フーリエ記述子を算出するフーリエ記述子算出ステップと、
前記重心位置算出ステップが算出した重心位置の差、前記平均濃度算出ステップが算出した平均濃度値の差、前記関心領域平均濃度算出ステップが算出した関心領域における平均濃度値の差、及びフーリエ記述子算出ステップが算出したフーリエ記述子の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定する対称性判定ステップとを含むことを特徴とする対称性判定方法。
【請求項８】
人体の背面側から撮像されたモアレ画像に基づいて、前記人体の左右の対称性を判定するようにコンピュータを機能させる対称性判定プログラムにおいて、
撮像されたモアレ画像を入力する画像入力手段、
前記入力されたモアレ画像に基づいて、当該モアレ画像の左右の対称性の基準となる正中線を設定する正中線設定手段、
前記正中線を中心とする左右の重心位置の差を算出する重心位置算出手段、
前記正中線を中心とする左右の平均濃度値の差を算出する平均濃度算出手段、
前記モアレ画像に基づいて、肩甲骨領域を関心領域として設定する関心領域設定手段、
前記関心領域における前記正中線を中心とする左右の平均濃度値の差を算出する関心領域平均濃度算出手段、
前記関心領域における前記正中線を中心とする左右のモアレ縞を閉曲線として抽出し、フーリエ記述子を算出するフーリエ記述子算出手段、
前記重心位置算出手段が算出した重心位置の差、前記平均濃度算出手段が算出した平均濃度値の差、前記関心領域平均濃度算出手段が算出した関心領域における平均濃度値の差、及びフーリエ記述子算出手段が算出したフーリエ記述子の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定する対称性判定手段としてコンピュータを機能させる対称性判定プログラム。
【請求項１】
人体の背面側から撮像されたモアレ画像に基づいて、前記人体の左右の対称性を判定する対称性判定装置において、
撮像されたモアレ画像を入力する画像入力手段と、
前記入力されたモアレ画像に基づいて、当該モアレ画像の左右の対称性の基準となる正中線を設定する正中線設定手段と、
前記正中線を中心とする左右の重心位置の差を算出する重心位置算出手段と、
前記正中線を中心とする左右の平均濃度値の差を算出する平均濃度算出手段と、
前記モアレ画像に基づいて、肩甲骨領域を関心領域として設定する関心領域設定手段と、
前記関心領域における前記正中線を中心とする左右の平均濃度値の差を算出する関心領域平均濃度算出手段と、
前記関心領域における前記正中線を中心とする左右のモアレ縞を閉曲線として抽出し、フーリエ記述子を算出するフーリエ記述子算出手段と、
前記重心位置算出手段が算出した重心位置の差、前記平均濃度算出手段が算出した平均濃度値の差、前記関心領域平均濃度算出手段が算出した関心領域における平均濃度値の差、及びフーリエ記述子算出手段が算出したフーリエ記述子の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定する対称性判定手段とを備えることを特徴とする対称性判定装置。
【請求項２】
請求項１に記載の対称性判定装置において、
前記画像入力手段が入力したモアレ画像に対して前処理を施し、新たな入力されたモアレ画像とする前処理手段を備え、
当該前処理手段が、
前記入力されたモアレ画像に一定分散強調処理を行うＣＶＥ手段と、
前記入力されたモアレ画像にソーベルフィルタを施すソーベルフィルタ手段と、
前記一定分散強調処理が行われた画像情報と前記ソーベルフィルタが施された画像情報との差分画像を生成する差分画像生成手段と、
前記差分画像をバイラテラルフィルタで平滑化する平滑化処理手段とを備えることを特徴とする対称性判定装置。
【請求項３】
請求項１又は２に記載の対称性判定装置において、
前記モアレ画像に基づいて、左右の肩のラインの差を算出する肩ライン算出手段を備え、
前記対称性判定手段が、前記重心位置の差、前記平均濃度値の差、前記関心領域における平均濃度値の差、前記フーリエ記述子、及び前記肩ラインの差の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定することを特徴とする対称性判定装置。
【請求項４】
請求項３に記載の対称性判定装置において、
前記肩ライン算出手段が、前記モアレ画像を２値化し、ハフ変換により左右の肩のラインを直線近似して差を算出することを特徴とする対称性判定装置。
【請求項５】
請求項１ないし４のいずれかに記載の対称性判定装置において、
対称性判定手段が、ニューラルネットワークからなる識別器であることを特徴とする対称性判定装置。
【請求項６】
請求項１ないし５のいずれかに記載の対称性判定装置において、
前記各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、前記一以上の特徴量の重み付けを大きく調整する重付調整手段を備える
ことを特徴とする対称性判定装置。
【請求項７】
人体の背面側から撮像されたモアレ画像に基づいて、コンピュータが前記人体の左右の対称性を判定する対称性判定方法において、
撮像されたモアレ画像を入力する画像入力ステップと、
前記入力されたモアレ画像に基づいて、当該モアレ画像の左右の対称性の基準となる正中線を設定する正中線設定ステップと、
前記正中線を中心とする左右の重心位置の差を算出する重心位置算出ステップと、
前記正中線を中心とする左右の平均濃度値の差を算出する平均濃度算出ステップと、
前記モアレ画像に基づいて、肩甲骨領域を関心領域として設定する関心領域設定ステップと、
前記関心領域における前記正中線を中心とする左右の平均濃度値の差を算出する関心領域平均濃度算出ステップと、
前記関心領域における前記正中線を中心とする左右のモアレ縞を閉曲線として抽出し、フーリエ記述子を算出するフーリエ記述子算出ステップと、
前記重心位置算出ステップが算出した重心位置の差、前記平均濃度算出ステップが算出した平均濃度値の差、前記関心領域平均濃度算出ステップが算出した関心領域における平均濃度値の差、及びフーリエ記述子算出ステップが算出したフーリエ記述子の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定する対称性判定ステップとを含むことを特徴とする対称性判定方法。
【請求項８】
人体の背面側から撮像されたモアレ画像に基づいて、前記人体の左右の対称性を判定するようにコンピュータを機能させる対称性判定プログラムにおいて、
撮像されたモアレ画像を入力する画像入力手段、
前記入力されたモアレ画像に基づいて、当該モアレ画像の左右の対称性の基準となる正中線を設定する正中線設定手段、
前記正中線を中心とする左右の重心位置の差を算出する重心位置算出手段、
前記正中線を中心とする左右の平均濃度値の差を算出する平均濃度算出手段、
前記モアレ画像に基づいて、肩甲骨領域を関心領域として設定する関心領域設定手段、
前記関心領域における前記正中線を中心とする左右の平均濃度値の差を算出する関心領域平均濃度算出手段、
前記関心領域における前記正中線を中心とする左右のモアレ縞を閉曲線として抽出し、フーリエ記述子を算出するフーリエ記述子算出手段、
前記重心位置算出手段が算出した重心位置の差、前記平均濃度算出手段が算出した平均濃度値の差、前記関心領域平均濃度算出手段が算出した関心領域における平均濃度値の差、及びフーリエ記述子算出手段が算出したフーリエ記述子の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定する対称性判定手段としてコンピュータを機能させる対称性判定プログラム。
【図２】
【図４】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１】
【図３】
【図５】
【図６】
【図７】
【図８】
【図１４】
【図４】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１】
【図３】
【図５】
【図６】
【図７】
【図８】
【図１４】
【公開番号】特開２０１１−２５０９９８（Ｐ２０１１−２５０９９８Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２６８６９（Ｐ２０１０−１２６８６９）
【出願日】平成２２年６月２日（２０１０．６．２）
【出願人】（５０４１７４１３５）国立大学法人九州工業大学 (489)
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年６月２日（２０１０．６．２）
【出願人】（５０４１７４１３５）国立大学法人九州工業大学 (489)
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]