瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラム
【課題】簡単な演算処理で被検者の瞳孔部分を抽出することで、カメラで撮影した被検者の眼部画像から、経時的に変化する瞳孔部分の面積や直径等を高いフレームレートでも計測することができるようにする。
【解決手段】撮影された被検者の顔画像から眼部画像に相当する画像データを特定して、眼部画像について瞳孔部分が表示されるように所定の第１閾値を以って二値化処理し、その二値化された領域の画素数をカウントして被検者の瞳孔部分の一部の面積とし、眼部画像について角膜反射の輝点が表示されるように所定の第２閾値を以って二値化処理し、その二値化された領域の画素数をカウントして被検者の瞳孔部分の一部の面積とし、その両方の画素数を加算した値から被検者の瞳孔部分の面積を推定する。
【解決手段】撮影された被検者の顔画像から眼部画像に相当する画像データを特定して、眼部画像について瞳孔部分が表示されるように所定の第１閾値を以って二値化処理し、その二値化された領域の画素数をカウントして被検者の瞳孔部分の一部の面積とし、眼部画像について角膜反射の輝点が表示されるように所定の第２閾値を以って二値化処理し、その二値化された領域の画素数をカウントして被検者の瞳孔部分の一部の面積とし、その両方の画素数を加算した値から被検者の瞳孔部分の面積を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術により、カメラで撮影した被検者の眼部画像から、経時的に変化する瞳孔部分の面積や直径等を計測するための瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラムに関するものである。
【背景技術】
【０００２】
カメラで撮影した被検者の眼部画像から、画像処理により瞳孔の面積や直径等を計測するためには、画像データを数多くの処理工程にて処理し、瞳孔部分の抽出を経て行われているのが一般的である。瞳孔について経時的な変化をとらえようとするときには、動画のフレームレートに合わせた、高速な画像処理が要求されるほか、画像データに含まれるノイズの影響を受けずに瞳孔部分を抽出することが求められ、画像データに対するノイズ除去などといった事前処理が必要となる。
【０００３】
特許文献１では、画像からプルキンエ像（角膜反射光）が現れる輝点重心を求め、輝点重心を中心とする輝点近傍の検知エリア（Ｘs ；Ｙs ）を設定し、エッヂと平行なＸ方向の走査線で検知エリア（Ｘs ；Ｙs ）の境界線と交差する点ａ点、ｂ点の光量を求め、このａ点、ｂ点を直線で近似するという眼科測定装置に関する技術が開示されている。このとき、ａ点、ｂ点を結んだ直線が検知エリア（Ｘs ；Ｙs ）でのＸ方向の走査線に於ける輝点の影響を除去した光量分布としている。
【０００４】
また、特許文献２でも同様に、輝点の影響を除去した光量分布を求める技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２２５９６６号公報（おもに、明細書段落番号００７７、図１８）
【特許文献２】特開２０００−２６２４７５号公報（おもに、明細書段落番号００７６、図１８）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前述したとおり、被検者の瞳孔について、経時的な変化をとらえようとするときには、動画のフレームレートに合わせた高速な画像処理が要求される。このため、画像処理としては、簡潔で計算時間を要しない方法が望まれる。
ところが、特許文献１および特許文献２に記載された技術によれば、輝点となる部分から、そのエッジを抽出し、その間にある画素をエッジの明るさを以って直線補完し、輝点の影響を除去するようにしており、エッジ部分の抽出や、輝点部分の画素の補完演算によって、多くの計算資源と演算時間を必要とする。
したがって、フレームレートを高くすることが困難であり、瞳孔の経時的変化を詳細に観察することに支障がある。
【０００７】
前述した技術のほか、角膜として写る暗い部分を占める領域を凸上に膨らませたのちに、その膨らませた領域を縮めるといったクロージング処理を行うことで、角膜反射光を消去させることが可能である。しかし、瞳孔部分の境界と角膜反射光の占める領域が重なった場合には、クロージング処理をしたとしても、その形が歪むことが考えられるほか、クロージング処理に演算時間を要するといった問題もある。
【０００８】
そこで、本発明では、簡単な演算処理で被検者の瞳孔部分を抽出することで、カメラで撮影した被検者の眼部画像から、経時的に変化する瞳孔部分の面積や直径等を高いフレームレートでも計測することができる瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラムを提供する。
【課題を解決するための手段】
【０００９】
前述した課題を解決するため、本発明第１の構成による瞳孔計測プログラムは、被検者に向けて赤外照明を照射したときの顔画像を取得して、前記顔画像から前記被検者の眼部領域を特定するステップＳ１と、前記眼部領域に相当する画像データについて、前記被検者の瞳孔部分が表示されるように定められた所定の第１閾値を以って前記画像データを二値化処理して、前記被検者の瞳孔部分が表示される第１の二値化画像データを生成するステップＳ２と、前記第１の二値化画像データの黒点または白点の画素数を第１カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定するステップＳ３と、前記眼部領域に相当する画像データについて、前記被検者の角膜反射の輝点が表示されるように定められた所定の第２閾値を以って前記画像データを二値化処理して、前記被検者の角膜反射の輝点が表示される第２の二値化画像データを生成するステップＳ４と、前記第２の二値化画像データの白点または黒点の画素数を第２カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定するステップＳ５と、前記第１カウント値と前記第２カウント値の和を前記被検者の瞳孔部分の面積として推定するステップＳ６と、により、前記被検者の瞳孔部分の面積を計測することを特徴としている。
また、本発明第４の構成による瞳孔計測方法は、被検者に向けて赤外照明を照射したときの顔画像を取得して、前記顔画像から前記被検者の眼部領域を特定する手順Ｓ１と、前記眼部領域に相当する画像データについて、前記被検者の瞳孔部分が表示されるように定められた所定の第１閾値を以って前記画像データを二値化処理して、前記被検者の瞳孔部分が表示される第１の二値化画像データを生成する手順Ｓ２と、前記第１の二値化画像データの黒点または白点の画素数を第１カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定する手順Ｓ３と、前記眼部領域に相当する画像データについて、前記被検者の角膜反射の輝点が表示されるように定められた所定の第２閾値を以って前記画像データを二値化処理して、前記被検者の角膜反射の輝点が表示される第２の二値化画像データを生成する手順Ｓ４と、前記第２の二値化画像データの白点または黒点の画素数を第２カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定する手順Ｓ５と、前記第１カウント値と前記第２カウント値の和を前記被検者の瞳孔部分の面積として推定する手順Ｓ６と、により、前記被検者の瞳孔部分の面積を計測することを特徴としている。
【００１０】
また、本発明第２の構成による瞳孔計測プログラムは、本発明第１の構成に加えて、前記ステップＳ４では、前記顔画像または前記被検者の眼部領域に相当する画像データの中から、最も明るい画素の輝度値を基準にして前記第２閾値を決定することを特徴としている。
【００１１】
また、本発明第３の構成による瞳孔計測プログラムは、本発明第１または第２の構成に加えて、前記ステップＳ２では、前記被検者の眼部領域に相当する画像データに対して、その輝度値ｘをとる画素数をｆ（ｘ）としたときに、ｆ（ｘ）が極大値となる最も暗い輝度値ｘｍｉｎを基準にして前記第１閾値を決定することを特徴としている。
【００１２】
また、本発明第５の構成による瞳孔計測装置は、被検者に向けて赤外領域の光を照射する赤外照明と、前記被検者の顔画像を撮影する赤外カメラと、前記赤外カメラによって撮影された前記顔画像を取得するビデオキャプチャと、前記顔画像から前記被検者の瞳孔部分の面積を計測する前記構成のいずれかに記載の瞳孔計測プログラムと、を備えたことを特徴としている。
【００１３】
また、本発明第６の構成による瞳孔計測装置は、本発明第５の構成に加えて、前記被検者に向けて明るさが可変な可視光を照射する可視光照明と、前記被検者と前記可視光照明との間で、前記赤外カメラと前記可視光照明が略対向するように設置されるハーフミラーと、
をさらに備えたことを特徴としている。
【００１４】
また、本発明第７の構成による瞳孔計測装置は、本発明第５または第６の構成に加えて、前記赤外照明は２か所以上に設置され、それぞれが点灯および消灯を切り替えつつ、いずれかの照明が一つだけ点灯されるように、点灯および消灯の制御が行われることを特徴としている。
【発明の効果】
【００１５】
本発明第１の構成による瞳孔計測プログラムおよび本発明第４の構成による瞳孔計測方法によれば、撮影された被検者の顔画像から眼部画像に相当する画像データを特定して、眼部画像について瞳孔部分が表示されるように所定の第１閾値を以って二値化処理し、その二値化された領域の画素数をカウントして被検者の瞳孔部分の一部の面積とし、眼部画像について角膜反射の輝点が表示されるように所定の第２閾値を以って二値化処理し、その二値化された領域の画素数をカウントして被検者の瞳孔部分の一部の面積とし、その両方の画素数を加算した値から被検者の瞳孔部分の面積を推定するので、画素値（明るさ）の比較や、画素数のカウントといった簡単な演算処理で被検者の瞳孔部分を抽出できるとともに、経時的に変化する被検者の瞳孔部分の面積や直径等を高いフレームレートで計測することができる。
【００１６】
本発明第２の構成による瞳孔計測プログラムによれば、ステップＳ４で、角膜反射光の性質を利用して、顔画像または眼部領域の中から、最も明るい画素の輝度値を基準にして第２閾値を決定するので、前述した効果に加えて、被検者の角膜反射の輝点を正確に特定することができる。
【００１７】
本発明第３の構成による瞳孔計測プログラムによれば、ステップＳ２で、被検者の眼部領域に相当する画像データに対して、その輝度値ｘをとる画素数をｆ（ｘ）としたときに、ｆ（ｘ）が極大値となる最も暗い輝度値ｘｍｉｎを基準にして第１閾値を決定するようにしたので、前述した効果に加えて、眼部領域のうち、比較的暗い部分を占める「被検者の瞳孔部分」を正確に特定することができる。
【００１８】
本発明第５の構成による瞳孔計測装置によれば、被検者に赤外照明の光を照射し、その反射光を赤外カメラで撮影すると共に、ビデオキャプチャで取得した被検者の画像を用いて被検者の瞳孔部分を抽出することができるので、簡単な演算処理で周囲の外光等の影響を受けることなしに被検者の瞳孔部分を抽出できるとともに、経時的に変化する被検者の瞳孔部分の面積や直径等を高いフレームレートで計測することができる。
【００１９】
本発明第６の構成による瞳孔計測装置によれば、被検者に可視光照明を照射して、赤外カメラと可視光照明が対向するようにハーフミラーを設置しているので、前述した効果に加えて、被検者に可視光を変化させたときに、被検者がその可視光を見つめた状態で、経時的に変化する被検者の瞳孔反射を計測することができる。
【００２０】
本発明第７の構成による瞳孔計測装置によれば、赤外照明を２か所以上に設置して、いずれかの照明が一つだけ点灯されるように点灯および消灯の制御を行うので、前述した効果に加えて、眼球の位置が動いたとしても、被検者の角膜反射の輝点を確実に捉えることができる。
【図面の簡単な説明】
【００２１】
【図１】瞳孔計測装置の構成を示す説明図
【図２】瞳孔計測プログラムの処理の流れを示すフローチャート
【図３】被検者を撮影した元画像データとその画像データを微分したときに現れる画像を示す説明図
【図４】縦方向微分第１画像とその画像の画素値を横方向で積算したときのヒストグラムの関係を示す説明図
【図５】縦方向微分第２画像を示す説明図
【図６】縦方向微分第２画像とその画像の画素値を縦方向で積算したときのヒストグラムの関係を示す説明図
【図７】縦方向微分第２画像と被検者の両目の位置関係を示す説明図
【図８】被検者の両眼部分を切り出した画像とその画像の輝度分布との関係を示す説明図
【図９】被検者の両眼部分を切り出した画像を二値化処理した画像を示す説明図
【発明を実施するための形態】
【００２２】
本発明の実施形態を実施例１にて説明する。
【実施例１】
【００２３】
本発明の実施例１を図１〜図９に基づいて説明する。
図１は、本発明にかかる瞳孔計測装置の構成を示す説明図である。
図１において、瞳孔計測装置１０は、計算機１１と、被検者１に向けて赤外領域の光を照射する赤外照明１２と、被検者１の顔画像を撮影する赤外カメラ１３を備え、赤外カメラ１３によって撮影された顔画像はビデオキャプチャ１４によって計算機１１に取り込まれる。計算機１１は、その内部にＣＰＵ（中央演算処理装置）１１ａ、クロック１１ｂ、記憶装置１５、メモリ１６などを備えている。
記憶装置１５には、被検者１の顔画像を撮影した赤外カメラ１３の画像データを取り込み、被検者１の瞳孔部分の面積を計測する瞳孔計測プログラム１５ａが記録されている。瞳孔計測プログラム１５ａの機能については、後で説明する。
メモリ１６には、瞳孔計測プログラム１５ａを実行した際に生成された画像データや演算結果が記録され、具体的には、元画像データ１６ａ、眼部領域特定情報１６ｂ、第１の二値化画像１６ｃ、第２の二値化画像１６ｄ、第１のカウント値１６ｅ、第２のカウント値１６ｆ、第１閾値１６ｇ、第２閾値１６ｈなどの記憶領域が確保されている。
【００２４】
このほか、瞳孔計測装置１０は、計算機１１用のディスプレイ１７を備え、ディスプレイ１７は計算機１１のグラフィックカード１１ｃから出力された画像信号を表示させるようにして、被検者に向けて明るさが可変な可視光を照射できるようにするとともに、被検者１とディスプレイ１７との間で、赤外カメラ１３とディスプレイ１７が略対向するように設置されるハーフミラー１８を設置させると好ましい。ディスプレイ１７では単純に可視光を表示させることのほか、被験者１に注視させたい図形等を任意で表示させることが可能である。このように、可視光照明をディスプレイで与えるようにすれば、一定の光量による被検者の瞳孔反射を観察する以外に、さまざまな画像表示を以って、被検者の瞳孔反射を観察することができる。ディスプレイ１７の表示を明るい状態から暗い状態に推移させることで、被検者１の暗順応を測定することができ、逆に、ディスプレイ１７の表示を暗い状態から明るい状態に推移させることで、被検者１の明順応を測定することができる。なお、被検者１に向けて明るさが可変な可視光を照射するために、必ずしもディスプレイ１７を用いる必要はなく、通常の可視光照明を照射するようにしてもよい。
【００２５】
また、図１に示すように、赤外照明１２を２か所以上に設置し、それぞれが点灯および消灯を切り替えつつ、いずれかの照明が一つだけ点灯されるように、点灯および消灯の制御が行われる電源制御部１９を設置させると好ましい。具体的には、計算機１１にて点灯および消灯のタイミングを設定し、Ｉ／Ｏ端子１１ｄから制御信号を電源制御部１９に出力させるようにするとよい。この場合、Ｉ／Ｏ端子１１ｄが赤外カメラ１３のフレームレートと同期するように制御信号を発するようにしておけば、撮影されたフレームに対応する赤外光がどの位置から照射されたものなのかを特定することができる。
【００２６】
また、赤外照明１２は、被検者の眼の高さより上の位置、または、下の位置で設置させるとよい。たとえば、赤外照明を被検者の眼の高さより下の位置に設置したときには、被検者の瞼で角膜反射の輝点が隠れてしまうといった状況を回避することができる。また、被検者に下を向かせるようにすれば、被検者の瞳孔部分の内部に角膜反射の輝点が必ず現れるようになる。
さらに、赤外照明は、その光を拡散させる照明拡散板をさらに設けるようにすると好ましい。照明拡散板によって、赤外照明を拡散させることで、広範囲で角膜反射の輝点を捉えることができる。
【００２７】
図２に瞳孔計測プログラム１５ａの処理を表すフローチャートを示す。まず、ステップＳ１では、被検者１に向けて赤外照明１２を照射して、そのときの顔画像を赤外カメラ１３で取得し、顔画像から被検者１の眼部領域に相当する画像データを特定する。
ここで、赤外カメラ１３は、フレームレート３０〜６０ｆｐｓで撮影を行うものであり、撮影された画像は図３（ａ）に示すように、その大きさが縦４８０ピクセル、幅６４０ピクセルで構成され、被検者１の眼部を含んだ顔画像が撮影されている。この画像を、ビデオキャプチャ１４を経由して取り込んで元画像データ１６ａとして、メモリ１６に記憶させる。
眼部領域の特定にあたっては、元画像データ１６ａを縦方向に微分して、縦方向微分画像３１を生成する。図３（ｂ）は、縦方向微分第１画像３１であり、被検者の瞼の淵部分や眉毛、鼻などといった特徴的な部位が現れている。
そこで、図４に示すように、縦方向微分第１画像３１の各画素について、その微分値を横の積算方向４１で積算して得られるヒストグラムを横方向ヒストグラム４２として生成する。横方向ヒストグラム４２は、上瞼の部分で最大値４３を取る。ここで、この最大値４３に対応する横方向ラインを４４とする。
そして、横方向ライン４４を含む所定領域の画像を切り出して縦方向微分第２画像５１とする。図５は、縦方向微分第１画像３１から縦方向微分第２画像５１を切り出した結果を示す説明図であり、横方向ライン４４を基準として、上４０ピクセル分、下１００ピクセル分の領域を縦方向微分第１画像３１から切り出して、縦方向微分第２画像５１としている。このように、横方向ヒストグラム４２が被検者１の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
続いて、図６に示すように、縦方向微分第２画像５１の各画素について、その微分値の縦の積算方向６１で積算して得られるヒストグラムを縦方向ヒストグラム６２として生成する。縦方向ヒストグラム６２は、被検者１の角膜反射の輝点の現れる部分で極大値６３、６４を取る。
そして、縦方向微分第２画像５１を左右２つの領域に分割して得られた右側および左側の領域について、縦方向ヒストグラム６２の極大値に対応する、縦方向微分第２画像５１の縦方向のラインを指定して、縦方向微分第２画像５１から縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第１領域および第２領域とする。縦方向ヒストグラム６２から縦方向微分第２画像５１の右半分および左半分に相当する部分の極大値６４および極大値６３を算出し、極大値６４および極大値６３を取る縦方向ライン６５Ｒおよび縦方向ライン６５Ｌを抽出する。
そして、図７に示すように、縦方向ライン６５Ｌを基準として、右１００ピクセル分、左１００ピクセルの領域を左眼領域７１Ｌとしている。また、縦方向ライン６５Ｒを基準として、右１００ピクセル分、左１００ピクセルの領域を右眼領域７１Ｒとしている。このように縦方向ヒストグラム６２が被検者１の角膜反射の輝点の現れる部分で極大値を取るといった性質を用いれば、被検者１の眼の位置を縦方向で絞り込むことができる。
【００２８】
このように特定された被検者１の左右の眼の位置は、メモリ１６に確保された眼部領域特定情報１６ｂとして記憶される。
【００２９】
続いて、ステップＳ２では、眼部領域に相当する画像データについて、被検者の瞳孔部分が表示されるように定められた所定の第１閾値を以って画像データを二値化処理して、被検者の瞳孔部分が表示される第１の二値化画像データを生成する。
具体的には、図８（ａ）に示すとおり、元画像データ１６ａのうち、眼部領域特定情報１６ｂに記録された、眼部領域に相当する画像データ（右眼元画像データ８１Ｒ、左眼元画像データ８１Ｌ）を取得し（ステップＳ２−１）、この画像データを、あらかじめ記憶された第１閾値１６ｇを以って二値化処理して（ステップＳ２−２）、被検者１の瞳孔部分となる比較的暗い部分を抽出する。
二値化処理について具体的に説明すると、図８（ａ）の元画像データに対して、各画素の明るさを集計して、図８（ｂ）に示すようなヒストグラムを生成する。そこから、暗く写っている瞳孔部分を推定して、第１閾値を定める。
【００３０】
なお、第１閾値の特定にあたっては、被検者の眼部領域に相当する画像データに対して、その輝度値ｘをとる画素数をｆ（ｘ）としたときに、ｆ（ｘ）が極大値となる最も暗い輝度値ｘｍｉｎを基準にして決定するようにすると好ましい。図８（ｂ）中のヒストグラムで説明すると、瞳孔部分は、左のピーク部分（ｆ（ｘ）が極大値となる輝度ｘのうち、ｘの定義域の中で一番小さな値ｘｍｉｎの付近）で現れるため、その右側の谷間（図８（ｂ）でいうとｘ＝４３）で第１閾値を定めるようにするとよい。
図８（ｂ）のヒストグラムをもとにして、輝度値ｘを０〜２５５（８ビット）で表した場合、輝度値が４３〜２５５となる部分を白とし、０〜４２となる部分を黒とした二値化画像を生成する。このようにして生成された二値化画像は、図９（ａ）に示すとおりであり、第１閾値で二値化したときの画像データ（右眼二値化画像９１Ｒおよび左眼二値化画像９１Ｌ）には、瞳孔部分が表示されるようになる。
この二値化された画像は、メモリ１６に確保された第１の二値化画像１６ｃとして記憶される（ステップＳ２−３）。
【００３１】
続いて、ステップＳ３では、第１の二値化画像データの黒点または白点の画素数を第１カウント値としてカウントして、被検者の瞳孔部分の一部の面積として推定する。
具体的には、図９（ａ）の二値化画像（右眼二値化画像９１Ｒおよび左眼二値化画像９１Ｌ）で黒色を占める画素数をカウントして第１カウント値とする。このカウント値は、メモリ１６に確保された第１カウント値１６ｄとして記憶される。
【００３２】
続いて、ステップＳ４では、眼部領域に相当する画像データについて、被検者の角膜反射の輝点が表示されるように定められた所定の第２閾値を以って前記画像データを二値化処理して、被検者の角膜反射の輝点が表示される第２の二値化画像データを生成する。
具体的には、図８（ａ）に示すとおり、元画像データ１６ａのうち、眼部領域特定情報１６ｂに記録された、眼部領域に相当する画像データ（右眼元画像データ８１Ｒ、左眼元画像データ８１Ｌ）を取得し（ステップＳ４−１）、この画像データを、あらかじめ記憶された第２閾値１６ｈを以って二値化処理して（ステップＳ４−２）、被検者１の角膜反射の輝点が現れる極めて明るい部分を抽出する。
二値化処理について具体的に説明すると、図８（ａ）の元画像データに対して、各画素の明るさを集計して、図８（ｂ）に示すようなヒストグラムを生成する。そこから、極めて明るく写っている角膜反射光を推定して、第２閾値を定める。
【００３３】
なお、第２閾値の特定にあたっては、第２閾値を、前記顔画像または前記被検者の眼部領域に相当する画像データの中から、最も明るい画素の輝度値を基準にして決定するようにすると好ましい。図８（ｂ）中のヒストグラムで説明すると、角膜反射の輝点は、輝度値の取りうる最大値付近（図８（ｂ）でいうとｘ＝２５５付近）で現れるため、その最大値より低いところ（図８（ｂ）でいうとｘ＝１７３）で第２閾値を定めるようにするとよい。
図８（ｂ）のヒストグラムをもとにして、輝度値ｘを０〜２５５（８ビット）で表した場合、輝度値が１７３〜２５５となる部分を白とし、０〜１７３となる部分を黒とした二値化画像を生成する。このようにして生成された二値化画像は、図９（ｂ）に示すとおりであり、第２閾値で二値化したときの画像データ（右眼二値化画像９２Ｒおよび左眼二値化画像９２Ｌ）には、角膜反射の輝点が表示されるようになる。
この二値化された画像は、メモリ１６に確保された第２の二値化画像１６ｄとして記憶される（ステップＳ４−３）。
【００３４】
続いて、ステップＳ５では、第２の二値化画像データの白点または黒点の画素数を第２カウント値としてカウントして、被検者の瞳孔部分の一部の面積として推定する。
具体的には、図９（ｂ）の二値化画像（右眼二値化画像９２Ｒおよび左眼二値化画像９２Ｌ）で白色を占める画素数をカウントして第２カウント値とする。このカウント値は、メモリ１６に確保された第２カウント値１６ｆとして記憶される。
【００３５】
続いて、ステップＳ６では、第１カウント値と第２カウント値の和を被検者の瞳孔部分の面積として推定する。被検者１の瞳孔は、図９（ａ）に示すとおり、瞳孔部分として暗く写る部分がある。また、赤外照明１２を適切な位置に設置することで、被検者の角膜反射をその瞳孔の内部で現れるようにさせることが可能である。したがって、第１カウント値と第２カウント値の和を取ることで、被検者１の瞳孔面積を推定することが可能となる。
被検者の瞳孔部分の面積は第１カウント値と第２カウント値の和に比例しているので、カウント値の和を被検者１の瞳孔部分の面積として推定することができる。
なお、第１閾値１６ｇと第２閾値１６ｈの値が異なることにより、第１カウント値としてカウントされた領域と、第２カウント値としてカウントされた領域との間には、画素数としてカウントされない画素が理論上発生する。しかし、角膜反射の輝点は、その領域５１の境界部分における明るさの変化が顕著に表れるため、カウントされないこととなる画素の数は少なく、事実上無視できる程度でしかない。したがって、こういった明るさの変化の大きい部分の影響を無視することで、計算上の負荷を軽減させている。
最後に、ステップＳ５が終了すると再びステップＳ１に戻り、次フレーム画像に対する瞳孔計測の処理を継続させる。
【００３６】
このように、実施例１によれば、撮影された被検者の顔画像から眼部画像に相当する画像データを特定して、眼部画像について瞳孔部分が表示されるように所定の第１閾値を以って二値化処理し、その二値化された領域の画素数をカウントして被検者の瞳孔部分の一部の面積とし、眼部画像について角膜反射の輝点が表示されるように所定の第２閾値を以って二値化処理し、その二値化された領域の画素数をカウントして被検者の瞳孔部分の一部の面積とし、その両方の画素数を加算した値から被検者の瞳孔部分の面積を推定するので、画素値（明るさ）の比較や、画素数のカウントといった簡単な演算処理で被検者の瞳孔部分を抽出できるとともに、経時的に変化する被検者の瞳孔部分の面積や直径等を高いフレームレートで計測することができる。
【００３７】
また、ステップＳ４で、角膜反射光の性質を利用して、顔画像または眼部領域の中から、最も明るい画素の輝度値を基準にして第２閾値を決定するので、前述した効果に加えて、被検者の角膜反射の輝点を正確に特定することができる。
【００３８】
また、ステップＳ２で、被検者の眼部領域に相当する画像データに対して、その輝度値ｘをとる画素数をｆ（ｘ）としたときに、ｆ（ｘ）が極大値となる最も暗い輝度値ｘｍｉｎを基準にして第１閾値を決定するようにしたので、前述した効果に加えて、眼部領域のうち、比較的暗い部分を占める「被検者の瞳孔部分」を正確に特定することができる。
【００３９】
また、被検者に赤外照明の光を照射し、その反射光を赤外カメラで撮影すると共に、ビデオキャプチャで取得した被検者の画像を用いて被検者の瞳孔部分を抽出することができるので、簡単な演算処理で周囲の外光等の影響を受けることなしに被検者の瞳孔部分を抽出できるとともに、経時的に変化する被検者の瞳孔部分の面積や直径等を高いフレームレートで計測することができる。
【００４０】
また、被検者に可視光照明を照射して、赤外カメラと可視光照明が対向するようにハーフミラーを設置しているので、前述した効果に加えて、被検者に可視光を変化させたときに、被検者がその可視光を見つめた状態で、経時的に変化する被検者の瞳孔反射を計測することができる。
【００４１】
また、赤外照明を２か所以上に設置して、いずれかの照明が一つだけ点灯されるように点灯および消灯の制御を行うので、前述した効果に加えて、眼球の位置が動いたとしても、被検者の角膜反射の輝点を確実に捉えることができる。
【産業上の利用可能性】
【００４２】
本発明では、被検者の瞳孔の大きさを観察できるので、被検者の瞳孔反射の測定、目や神経の異常に起因する瞳孔不同の観察、被検者の心理的理由による瞳孔の動きを観察することなどができる。
【符号の説明】
【００４３】
１ 被検者
１０ 瞳孔計測装置
１１ 計算機
１１ａ ＣＰＵ
１１ｂ クロック
１１ｃ グラフィックカード
１１ｄ Ｉ／Ｏ端子
１２ 赤外照明
１３ 赤外カメラ
１４ ビデオキャプチャ
１５ 記憶装置
１５ａ 瞳孔計測プログラム
１６ メモリ
１６ａ 元画像データ
１６ｂ 眼部領域特定情報
１６ｃ 第１の二値化画像
１６ｄ 第２の二値化画像
１６ｅ 第１カウント値
１６ｆ 第２カウント値
１６ｇ 第１閾値
１６ｈ 第２閾値
１７ ディスプレイ
１８ ハーフミラー
１９ 電源制御部
３１ 縦方向微分第１画像
４１、６１ 積算方向
４２ 横方向ヒストグラム
４３ 最大値
４４ 横方向ライン
５１ 縦方向微分第２画像
６２ 縦方向ヒストグラム
６３、６４ 極大値
６５Ｌ、６５Ｒ 縦方向ライン
７１Ｌ 左眼領域
７１Ｒ 右眼領域
８１Ｌ 左眼元画像データ
８１Ｒ 右眼元画像データ
９１Ｌ、９２Ｌ 左眼二値化画像
９１Ｒ、９２Ｒ 右眼二値化画像
【技術分野】
【０００１】
本発明は、画像処理技術により、カメラで撮影した被検者の眼部画像から、経時的に変化する瞳孔部分の面積や直径等を計測するための瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラムに関するものである。
【背景技術】
【０００２】
カメラで撮影した被検者の眼部画像から、画像処理により瞳孔の面積や直径等を計測するためには、画像データを数多くの処理工程にて処理し、瞳孔部分の抽出を経て行われているのが一般的である。瞳孔について経時的な変化をとらえようとするときには、動画のフレームレートに合わせた、高速な画像処理が要求されるほか、画像データに含まれるノイズの影響を受けずに瞳孔部分を抽出することが求められ、画像データに対するノイズ除去などといった事前処理が必要となる。
【０００３】
特許文献１では、画像からプルキンエ像（角膜反射光）が現れる輝点重心を求め、輝点重心を中心とする輝点近傍の検知エリア（Ｘs ；Ｙs ）を設定し、エッヂと平行なＸ方向の走査線で検知エリア（Ｘs ；Ｙs ）の境界線と交差する点ａ点、ｂ点の光量を求め、このａ点、ｂ点を直線で近似するという眼科測定装置に関する技術が開示されている。このとき、ａ点、ｂ点を結んだ直線が検知エリア（Ｘs ；Ｙs ）でのＸ方向の走査線に於ける輝点の影響を除去した光量分布としている。
【０００４】
また、特許文献２でも同様に、輝点の影響を除去した光量分布を求める技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２２５９６６号公報（おもに、明細書段落番号００７７、図１８）
【特許文献２】特開２０００−２６２４７５号公報（おもに、明細書段落番号００７６、図１８）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前述したとおり、被検者の瞳孔について、経時的な変化をとらえようとするときには、動画のフレームレートに合わせた高速な画像処理が要求される。このため、画像処理としては、簡潔で計算時間を要しない方法が望まれる。
ところが、特許文献１および特許文献２に記載された技術によれば、輝点となる部分から、そのエッジを抽出し、その間にある画素をエッジの明るさを以って直線補完し、輝点の影響を除去するようにしており、エッジ部分の抽出や、輝点部分の画素の補完演算によって、多くの計算資源と演算時間を必要とする。
したがって、フレームレートを高くすることが困難であり、瞳孔の経時的変化を詳細に観察することに支障がある。
【０００７】
前述した技術のほか、角膜として写る暗い部分を占める領域を凸上に膨らませたのちに、その膨らませた領域を縮めるといったクロージング処理を行うことで、角膜反射光を消去させることが可能である。しかし、瞳孔部分の境界と角膜反射光の占める領域が重なった場合には、クロージング処理をしたとしても、その形が歪むことが考えられるほか、クロージング処理に演算時間を要するといった問題もある。
【０００８】
そこで、本発明では、簡単な演算処理で被検者の瞳孔部分を抽出することで、カメラで撮影した被検者の眼部画像から、経時的に変化する瞳孔部分の面積や直径等を高いフレームレートでも計測することができる瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラムを提供する。
【課題を解決するための手段】
【０００９】
前述した課題を解決するため、本発明第１の構成による瞳孔計測プログラムは、被検者に向けて赤外照明を照射したときの顔画像を取得して、前記顔画像から前記被検者の眼部領域を特定するステップＳ１と、前記眼部領域に相当する画像データについて、前記被検者の瞳孔部分が表示されるように定められた所定の第１閾値を以って前記画像データを二値化処理して、前記被検者の瞳孔部分が表示される第１の二値化画像データを生成するステップＳ２と、前記第１の二値化画像データの黒点または白点の画素数を第１カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定するステップＳ３と、前記眼部領域に相当する画像データについて、前記被検者の角膜反射の輝点が表示されるように定められた所定の第２閾値を以って前記画像データを二値化処理して、前記被検者の角膜反射の輝点が表示される第２の二値化画像データを生成するステップＳ４と、前記第２の二値化画像データの白点または黒点の画素数を第２カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定するステップＳ５と、前記第１カウント値と前記第２カウント値の和を前記被検者の瞳孔部分の面積として推定するステップＳ６と、により、前記被検者の瞳孔部分の面積を計測することを特徴としている。
また、本発明第４の構成による瞳孔計測方法は、被検者に向けて赤外照明を照射したときの顔画像を取得して、前記顔画像から前記被検者の眼部領域を特定する手順Ｓ１と、前記眼部領域に相当する画像データについて、前記被検者の瞳孔部分が表示されるように定められた所定の第１閾値を以って前記画像データを二値化処理して、前記被検者の瞳孔部分が表示される第１の二値化画像データを生成する手順Ｓ２と、前記第１の二値化画像データの黒点または白点の画素数を第１カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定する手順Ｓ３と、前記眼部領域に相当する画像データについて、前記被検者の角膜反射の輝点が表示されるように定められた所定の第２閾値を以って前記画像データを二値化処理して、前記被検者の角膜反射の輝点が表示される第２の二値化画像データを生成する手順Ｓ４と、前記第２の二値化画像データの白点または黒点の画素数を第２カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定する手順Ｓ５と、前記第１カウント値と前記第２カウント値の和を前記被検者の瞳孔部分の面積として推定する手順Ｓ６と、により、前記被検者の瞳孔部分の面積を計測することを特徴としている。
【００１０】
また、本発明第２の構成による瞳孔計測プログラムは、本発明第１の構成に加えて、前記ステップＳ４では、前記顔画像または前記被検者の眼部領域に相当する画像データの中から、最も明るい画素の輝度値を基準にして前記第２閾値を決定することを特徴としている。
【００１１】
また、本発明第３の構成による瞳孔計測プログラムは、本発明第１または第２の構成に加えて、前記ステップＳ２では、前記被検者の眼部領域に相当する画像データに対して、その輝度値ｘをとる画素数をｆ（ｘ）としたときに、ｆ（ｘ）が極大値となる最も暗い輝度値ｘｍｉｎを基準にして前記第１閾値を決定することを特徴としている。
【００１２】
また、本発明第５の構成による瞳孔計測装置は、被検者に向けて赤外領域の光を照射する赤外照明と、前記被検者の顔画像を撮影する赤外カメラと、前記赤外カメラによって撮影された前記顔画像を取得するビデオキャプチャと、前記顔画像から前記被検者の瞳孔部分の面積を計測する前記構成のいずれかに記載の瞳孔計測プログラムと、を備えたことを特徴としている。
【００１３】
また、本発明第６の構成による瞳孔計測装置は、本発明第５の構成に加えて、前記被検者に向けて明るさが可変な可視光を照射する可視光照明と、前記被検者と前記可視光照明との間で、前記赤外カメラと前記可視光照明が略対向するように設置されるハーフミラーと、
をさらに備えたことを特徴としている。
【００１４】
また、本発明第７の構成による瞳孔計測装置は、本発明第５または第６の構成に加えて、前記赤外照明は２か所以上に設置され、それぞれが点灯および消灯を切り替えつつ、いずれかの照明が一つだけ点灯されるように、点灯および消灯の制御が行われることを特徴としている。
【発明の効果】
【００１５】
本発明第１の構成による瞳孔計測プログラムおよび本発明第４の構成による瞳孔計測方法によれば、撮影された被検者の顔画像から眼部画像に相当する画像データを特定して、眼部画像について瞳孔部分が表示されるように所定の第１閾値を以って二値化処理し、その二値化された領域の画素数をカウントして被検者の瞳孔部分の一部の面積とし、眼部画像について角膜反射の輝点が表示されるように所定の第２閾値を以って二値化処理し、その二値化された領域の画素数をカウントして被検者の瞳孔部分の一部の面積とし、その両方の画素数を加算した値から被検者の瞳孔部分の面積を推定するので、画素値（明るさ）の比較や、画素数のカウントといった簡単な演算処理で被検者の瞳孔部分を抽出できるとともに、経時的に変化する被検者の瞳孔部分の面積や直径等を高いフレームレートで計測することができる。
【００１６】
本発明第２の構成による瞳孔計測プログラムによれば、ステップＳ４で、角膜反射光の性質を利用して、顔画像または眼部領域の中から、最も明るい画素の輝度値を基準にして第２閾値を決定するので、前述した効果に加えて、被検者の角膜反射の輝点を正確に特定することができる。
【００１７】
本発明第３の構成による瞳孔計測プログラムによれば、ステップＳ２で、被検者の眼部領域に相当する画像データに対して、その輝度値ｘをとる画素数をｆ（ｘ）としたときに、ｆ（ｘ）が極大値となる最も暗い輝度値ｘｍｉｎを基準にして第１閾値を決定するようにしたので、前述した効果に加えて、眼部領域のうち、比較的暗い部分を占める「被検者の瞳孔部分」を正確に特定することができる。
【００１８】
本発明第５の構成による瞳孔計測装置によれば、被検者に赤外照明の光を照射し、その反射光を赤外カメラで撮影すると共に、ビデオキャプチャで取得した被検者の画像を用いて被検者の瞳孔部分を抽出することができるので、簡単な演算処理で周囲の外光等の影響を受けることなしに被検者の瞳孔部分を抽出できるとともに、経時的に変化する被検者の瞳孔部分の面積や直径等を高いフレームレートで計測することができる。
【００１９】
本発明第６の構成による瞳孔計測装置によれば、被検者に可視光照明を照射して、赤外カメラと可視光照明が対向するようにハーフミラーを設置しているので、前述した効果に加えて、被検者に可視光を変化させたときに、被検者がその可視光を見つめた状態で、経時的に変化する被検者の瞳孔反射を計測することができる。
【００２０】
本発明第７の構成による瞳孔計測装置によれば、赤外照明を２か所以上に設置して、いずれかの照明が一つだけ点灯されるように点灯および消灯の制御を行うので、前述した効果に加えて、眼球の位置が動いたとしても、被検者の角膜反射の輝点を確実に捉えることができる。
【図面の簡単な説明】
【００２１】
【図１】瞳孔計測装置の構成を示す説明図
【図２】瞳孔計測プログラムの処理の流れを示すフローチャート
【図３】被検者を撮影した元画像データとその画像データを微分したときに現れる画像を示す説明図
【図４】縦方向微分第１画像とその画像の画素値を横方向で積算したときのヒストグラムの関係を示す説明図
【図５】縦方向微分第２画像を示す説明図
【図６】縦方向微分第２画像とその画像の画素値を縦方向で積算したときのヒストグラムの関係を示す説明図
【図７】縦方向微分第２画像と被検者の両目の位置関係を示す説明図
【図８】被検者の両眼部分を切り出した画像とその画像の輝度分布との関係を示す説明図
【図９】被検者の両眼部分を切り出した画像を二値化処理した画像を示す説明図
【発明を実施するための形態】
【００２２】
本発明の実施形態を実施例１にて説明する。
【実施例１】
【００２３】
本発明の実施例１を図１〜図９に基づいて説明する。
図１は、本発明にかかる瞳孔計測装置の構成を示す説明図である。
図１において、瞳孔計測装置１０は、計算機１１と、被検者１に向けて赤外領域の光を照射する赤外照明１２と、被検者１の顔画像を撮影する赤外カメラ１３を備え、赤外カメラ１３によって撮影された顔画像はビデオキャプチャ１４によって計算機１１に取り込まれる。計算機１１は、その内部にＣＰＵ（中央演算処理装置）１１ａ、クロック１１ｂ、記憶装置１５、メモリ１６などを備えている。
記憶装置１５には、被検者１の顔画像を撮影した赤外カメラ１３の画像データを取り込み、被検者１の瞳孔部分の面積を計測する瞳孔計測プログラム１５ａが記録されている。瞳孔計測プログラム１５ａの機能については、後で説明する。
メモリ１６には、瞳孔計測プログラム１５ａを実行した際に生成された画像データや演算結果が記録され、具体的には、元画像データ１６ａ、眼部領域特定情報１６ｂ、第１の二値化画像１６ｃ、第２の二値化画像１６ｄ、第１のカウント値１６ｅ、第２のカウント値１６ｆ、第１閾値１６ｇ、第２閾値１６ｈなどの記憶領域が確保されている。
【００２４】
このほか、瞳孔計測装置１０は、計算機１１用のディスプレイ１７を備え、ディスプレイ１７は計算機１１のグラフィックカード１１ｃから出力された画像信号を表示させるようにして、被検者に向けて明るさが可変な可視光を照射できるようにするとともに、被検者１とディスプレイ１７との間で、赤外カメラ１３とディスプレイ１７が略対向するように設置されるハーフミラー１８を設置させると好ましい。ディスプレイ１７では単純に可視光を表示させることのほか、被験者１に注視させたい図形等を任意で表示させることが可能である。このように、可視光照明をディスプレイで与えるようにすれば、一定の光量による被検者の瞳孔反射を観察する以外に、さまざまな画像表示を以って、被検者の瞳孔反射を観察することができる。ディスプレイ１７の表示を明るい状態から暗い状態に推移させることで、被検者１の暗順応を測定することができ、逆に、ディスプレイ１７の表示を暗い状態から明るい状態に推移させることで、被検者１の明順応を測定することができる。なお、被検者１に向けて明るさが可変な可視光を照射するために、必ずしもディスプレイ１７を用いる必要はなく、通常の可視光照明を照射するようにしてもよい。
【００２５】
また、図１に示すように、赤外照明１２を２か所以上に設置し、それぞれが点灯および消灯を切り替えつつ、いずれかの照明が一つだけ点灯されるように、点灯および消灯の制御が行われる電源制御部１９を設置させると好ましい。具体的には、計算機１１にて点灯および消灯のタイミングを設定し、Ｉ／Ｏ端子１１ｄから制御信号を電源制御部１９に出力させるようにするとよい。この場合、Ｉ／Ｏ端子１１ｄが赤外カメラ１３のフレームレートと同期するように制御信号を発するようにしておけば、撮影されたフレームに対応する赤外光がどの位置から照射されたものなのかを特定することができる。
【００２６】
また、赤外照明１２は、被検者の眼の高さより上の位置、または、下の位置で設置させるとよい。たとえば、赤外照明を被検者の眼の高さより下の位置に設置したときには、被検者の瞼で角膜反射の輝点が隠れてしまうといった状況を回避することができる。また、被検者に下を向かせるようにすれば、被検者の瞳孔部分の内部に角膜反射の輝点が必ず現れるようになる。
さらに、赤外照明は、その光を拡散させる照明拡散板をさらに設けるようにすると好ましい。照明拡散板によって、赤外照明を拡散させることで、広範囲で角膜反射の輝点を捉えることができる。
【００２７】
図２に瞳孔計測プログラム１５ａの処理を表すフローチャートを示す。まず、ステップＳ１では、被検者１に向けて赤外照明１２を照射して、そのときの顔画像を赤外カメラ１３で取得し、顔画像から被検者１の眼部領域に相当する画像データを特定する。
ここで、赤外カメラ１３は、フレームレート３０〜６０ｆｐｓで撮影を行うものであり、撮影された画像は図３（ａ）に示すように、その大きさが縦４８０ピクセル、幅６４０ピクセルで構成され、被検者１の眼部を含んだ顔画像が撮影されている。この画像を、ビデオキャプチャ１４を経由して取り込んで元画像データ１６ａとして、メモリ１６に記憶させる。
眼部領域の特定にあたっては、元画像データ１６ａを縦方向に微分して、縦方向微分画像３１を生成する。図３（ｂ）は、縦方向微分第１画像３１であり、被検者の瞼の淵部分や眉毛、鼻などといった特徴的な部位が現れている。
そこで、図４に示すように、縦方向微分第１画像３１の各画素について、その微分値を横の積算方向４１で積算して得られるヒストグラムを横方向ヒストグラム４２として生成する。横方向ヒストグラム４２は、上瞼の部分で最大値４３を取る。ここで、この最大値４３に対応する横方向ラインを４４とする。
そして、横方向ライン４４を含む所定領域の画像を切り出して縦方向微分第２画像５１とする。図５は、縦方向微分第１画像３１から縦方向微分第２画像５１を切り出した結果を示す説明図であり、横方向ライン４４を基準として、上４０ピクセル分、下１００ピクセル分の領域を縦方向微分第１画像３１から切り出して、縦方向微分第２画像５１としている。このように、横方向ヒストグラム４２が被検者１の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
続いて、図６に示すように、縦方向微分第２画像５１の各画素について、その微分値の縦の積算方向６１で積算して得られるヒストグラムを縦方向ヒストグラム６２として生成する。縦方向ヒストグラム６２は、被検者１の角膜反射の輝点の現れる部分で極大値６３、６４を取る。
そして、縦方向微分第２画像５１を左右２つの領域に分割して得られた右側および左側の領域について、縦方向ヒストグラム６２の極大値に対応する、縦方向微分第２画像５１の縦方向のラインを指定して、縦方向微分第２画像５１から縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第１領域および第２領域とする。縦方向ヒストグラム６２から縦方向微分第２画像５１の右半分および左半分に相当する部分の極大値６４および極大値６３を算出し、極大値６４および極大値６３を取る縦方向ライン６５Ｒおよび縦方向ライン６５Ｌを抽出する。
そして、図７に示すように、縦方向ライン６５Ｌを基準として、右１００ピクセル分、左１００ピクセルの領域を左眼領域７１Ｌとしている。また、縦方向ライン６５Ｒを基準として、右１００ピクセル分、左１００ピクセルの領域を右眼領域７１Ｒとしている。このように縦方向ヒストグラム６２が被検者１の角膜反射の輝点の現れる部分で極大値を取るといった性質を用いれば、被検者１の眼の位置を縦方向で絞り込むことができる。
【００２８】
このように特定された被検者１の左右の眼の位置は、メモリ１６に確保された眼部領域特定情報１６ｂとして記憶される。
【００２９】
続いて、ステップＳ２では、眼部領域に相当する画像データについて、被検者の瞳孔部分が表示されるように定められた所定の第１閾値を以って画像データを二値化処理して、被検者の瞳孔部分が表示される第１の二値化画像データを生成する。
具体的には、図８（ａ）に示すとおり、元画像データ１６ａのうち、眼部領域特定情報１６ｂに記録された、眼部領域に相当する画像データ（右眼元画像データ８１Ｒ、左眼元画像データ８１Ｌ）を取得し（ステップＳ２−１）、この画像データを、あらかじめ記憶された第１閾値１６ｇを以って二値化処理して（ステップＳ２−２）、被検者１の瞳孔部分となる比較的暗い部分を抽出する。
二値化処理について具体的に説明すると、図８（ａ）の元画像データに対して、各画素の明るさを集計して、図８（ｂ）に示すようなヒストグラムを生成する。そこから、暗く写っている瞳孔部分を推定して、第１閾値を定める。
【００３０】
なお、第１閾値の特定にあたっては、被検者の眼部領域に相当する画像データに対して、その輝度値ｘをとる画素数をｆ（ｘ）としたときに、ｆ（ｘ）が極大値となる最も暗い輝度値ｘｍｉｎを基準にして決定するようにすると好ましい。図８（ｂ）中のヒストグラムで説明すると、瞳孔部分は、左のピーク部分（ｆ（ｘ）が極大値となる輝度ｘのうち、ｘの定義域の中で一番小さな値ｘｍｉｎの付近）で現れるため、その右側の谷間（図８（ｂ）でいうとｘ＝４３）で第１閾値を定めるようにするとよい。
図８（ｂ）のヒストグラムをもとにして、輝度値ｘを０〜２５５（８ビット）で表した場合、輝度値が４３〜２５５となる部分を白とし、０〜４２となる部分を黒とした二値化画像を生成する。このようにして生成された二値化画像は、図９（ａ）に示すとおりであり、第１閾値で二値化したときの画像データ（右眼二値化画像９１Ｒおよび左眼二値化画像９１Ｌ）には、瞳孔部分が表示されるようになる。
この二値化された画像は、メモリ１６に確保された第１の二値化画像１６ｃとして記憶される（ステップＳ２−３）。
【００３１】
続いて、ステップＳ３では、第１の二値化画像データの黒点または白点の画素数を第１カウント値としてカウントして、被検者の瞳孔部分の一部の面積として推定する。
具体的には、図９（ａ）の二値化画像（右眼二値化画像９１Ｒおよび左眼二値化画像９１Ｌ）で黒色を占める画素数をカウントして第１カウント値とする。このカウント値は、メモリ１６に確保された第１カウント値１６ｄとして記憶される。
【００３２】
続いて、ステップＳ４では、眼部領域に相当する画像データについて、被検者の角膜反射の輝点が表示されるように定められた所定の第２閾値を以って前記画像データを二値化処理して、被検者の角膜反射の輝点が表示される第２の二値化画像データを生成する。
具体的には、図８（ａ）に示すとおり、元画像データ１６ａのうち、眼部領域特定情報１６ｂに記録された、眼部領域に相当する画像データ（右眼元画像データ８１Ｒ、左眼元画像データ８１Ｌ）を取得し（ステップＳ４−１）、この画像データを、あらかじめ記憶された第２閾値１６ｈを以って二値化処理して（ステップＳ４−２）、被検者１の角膜反射の輝点が現れる極めて明るい部分を抽出する。
二値化処理について具体的に説明すると、図８（ａ）の元画像データに対して、各画素の明るさを集計して、図８（ｂ）に示すようなヒストグラムを生成する。そこから、極めて明るく写っている角膜反射光を推定して、第２閾値を定める。
【００３３】
なお、第２閾値の特定にあたっては、第２閾値を、前記顔画像または前記被検者の眼部領域に相当する画像データの中から、最も明るい画素の輝度値を基準にして決定するようにすると好ましい。図８（ｂ）中のヒストグラムで説明すると、角膜反射の輝点は、輝度値の取りうる最大値付近（図８（ｂ）でいうとｘ＝２５５付近）で現れるため、その最大値より低いところ（図８（ｂ）でいうとｘ＝１７３）で第２閾値を定めるようにするとよい。
図８（ｂ）のヒストグラムをもとにして、輝度値ｘを０〜２５５（８ビット）で表した場合、輝度値が１７３〜２５５となる部分を白とし、０〜１７３となる部分を黒とした二値化画像を生成する。このようにして生成された二値化画像は、図９（ｂ）に示すとおりであり、第２閾値で二値化したときの画像データ（右眼二値化画像９２Ｒおよび左眼二値化画像９２Ｌ）には、角膜反射の輝点が表示されるようになる。
この二値化された画像は、メモリ１６に確保された第２の二値化画像１６ｄとして記憶される（ステップＳ４−３）。
【００３４】
続いて、ステップＳ５では、第２の二値化画像データの白点または黒点の画素数を第２カウント値としてカウントして、被検者の瞳孔部分の一部の面積として推定する。
具体的には、図９（ｂ）の二値化画像（右眼二値化画像９２Ｒおよび左眼二値化画像９２Ｌ）で白色を占める画素数をカウントして第２カウント値とする。このカウント値は、メモリ１６に確保された第２カウント値１６ｆとして記憶される。
【００３５】
続いて、ステップＳ６では、第１カウント値と第２カウント値の和を被検者の瞳孔部分の面積として推定する。被検者１の瞳孔は、図９（ａ）に示すとおり、瞳孔部分として暗く写る部分がある。また、赤外照明１２を適切な位置に設置することで、被検者の角膜反射をその瞳孔の内部で現れるようにさせることが可能である。したがって、第１カウント値と第２カウント値の和を取ることで、被検者１の瞳孔面積を推定することが可能となる。
被検者の瞳孔部分の面積は第１カウント値と第２カウント値の和に比例しているので、カウント値の和を被検者１の瞳孔部分の面積として推定することができる。
なお、第１閾値１６ｇと第２閾値１６ｈの値が異なることにより、第１カウント値としてカウントされた領域と、第２カウント値としてカウントされた領域との間には、画素数としてカウントされない画素が理論上発生する。しかし、角膜反射の輝点は、その領域５１の境界部分における明るさの変化が顕著に表れるため、カウントされないこととなる画素の数は少なく、事実上無視できる程度でしかない。したがって、こういった明るさの変化の大きい部分の影響を無視することで、計算上の負荷を軽減させている。
最後に、ステップＳ５が終了すると再びステップＳ１に戻り、次フレーム画像に対する瞳孔計測の処理を継続させる。
【００３６】
このように、実施例１によれば、撮影された被検者の顔画像から眼部画像に相当する画像データを特定して、眼部画像について瞳孔部分が表示されるように所定の第１閾値を以って二値化処理し、その二値化された領域の画素数をカウントして被検者の瞳孔部分の一部の面積とし、眼部画像について角膜反射の輝点が表示されるように所定の第２閾値を以って二値化処理し、その二値化された領域の画素数をカウントして被検者の瞳孔部分の一部の面積とし、その両方の画素数を加算した値から被検者の瞳孔部分の面積を推定するので、画素値（明るさ）の比較や、画素数のカウントといった簡単な演算処理で被検者の瞳孔部分を抽出できるとともに、経時的に変化する被検者の瞳孔部分の面積や直径等を高いフレームレートで計測することができる。
【００３７】
また、ステップＳ４で、角膜反射光の性質を利用して、顔画像または眼部領域の中から、最も明るい画素の輝度値を基準にして第２閾値を決定するので、前述した効果に加えて、被検者の角膜反射の輝点を正確に特定することができる。
【００３８】
また、ステップＳ２で、被検者の眼部領域に相当する画像データに対して、その輝度値ｘをとる画素数をｆ（ｘ）としたときに、ｆ（ｘ）が極大値となる最も暗い輝度値ｘｍｉｎを基準にして第１閾値を決定するようにしたので、前述した効果に加えて、眼部領域のうち、比較的暗い部分を占める「被検者の瞳孔部分」を正確に特定することができる。
【００３９】
また、被検者に赤外照明の光を照射し、その反射光を赤外カメラで撮影すると共に、ビデオキャプチャで取得した被検者の画像を用いて被検者の瞳孔部分を抽出することができるので、簡単な演算処理で周囲の外光等の影響を受けることなしに被検者の瞳孔部分を抽出できるとともに、経時的に変化する被検者の瞳孔部分の面積や直径等を高いフレームレートで計測することができる。
【００４０】
また、被検者に可視光照明を照射して、赤外カメラと可視光照明が対向するようにハーフミラーを設置しているので、前述した効果に加えて、被検者に可視光を変化させたときに、被検者がその可視光を見つめた状態で、経時的に変化する被検者の瞳孔反射を計測することができる。
【００４１】
また、赤外照明を２か所以上に設置して、いずれかの照明が一つだけ点灯されるように点灯および消灯の制御を行うので、前述した効果に加えて、眼球の位置が動いたとしても、被検者の角膜反射の輝点を確実に捉えることができる。
【産業上の利用可能性】
【００４２】
本発明では、被検者の瞳孔の大きさを観察できるので、被検者の瞳孔反射の測定、目や神経の異常に起因する瞳孔不同の観察、被検者の心理的理由による瞳孔の動きを観察することなどができる。
【符号の説明】
【００４３】
１ 被検者
１０ 瞳孔計測装置
１１ 計算機
１１ａ ＣＰＵ
１１ｂ クロック
１１ｃ グラフィックカード
１１ｄ Ｉ／Ｏ端子
１２ 赤外照明
１３ 赤外カメラ
１４ ビデオキャプチャ
１５ 記憶装置
１５ａ 瞳孔計測プログラム
１６ メモリ
１６ａ 元画像データ
１６ｂ 眼部領域特定情報
１６ｃ 第１の二値化画像
１６ｄ 第２の二値化画像
１６ｅ 第１カウント値
１６ｆ 第２カウント値
１６ｇ 第１閾値
１６ｈ 第２閾値
１７ ディスプレイ
１８ ハーフミラー
１９ 電源制御部
３１ 縦方向微分第１画像
４１、６１ 積算方向
４２ 横方向ヒストグラム
４３ 最大値
４４ 横方向ライン
５１ 縦方向微分第２画像
６２ 縦方向ヒストグラム
６３、６４ 極大値
６５Ｌ、６５Ｒ 縦方向ライン
７１Ｌ 左眼領域
７１Ｒ 右眼領域
８１Ｌ 左眼元画像データ
８１Ｒ 右眼元画像データ
９１Ｌ、９２Ｌ 左眼二値化画像
９１Ｒ、９２Ｒ 右眼二値化画像
【特許請求の範囲】
【請求項１】
被検者に向けて赤外照明を照射したときの顔画像を取得して、前記顔画像から前記被検者の眼部領域を特定するステップＳ１と、
前記眼部領域に相当する画像データについて、前記被検者の瞳孔部分が表示されるように定められた所定の第１閾値を以って前記画像データを二値化処理して、前記被検者の瞳孔部分が表示される第１の二値化画像データを生成するステップＳ２と、
前記第１の二値化画像データの黒点または白点の画素数を第１カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定するステップＳ３と、
前記眼部領域に相当する画像データについて、前記被検者の角膜反射の輝点が表示されるように定められた所定の第２閾値を以って前記画像データを二値化処理して、前記被検者の角膜反射の輝点が表示される第２の二値化画像データを生成するステップＳ４と、
前記第２の二値化画像データの白点または黒点の画素数を第２カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定するステップＳ５と、
前記第１カウント値と前記第２カウント値の和を前記被検者の瞳孔部分の面積として推定するステップＳ６と、
により、前記被検者の瞳孔部分の面積を計測する瞳孔計測プログラム。
【請求項２】
前記ステップＳ４では、前記顔画像または前記被検者の眼部領域に相当する画像データの中から、最も明るい画素の輝度値を基準にして前記第２閾値を決定することを特徴とする請求項１に記載の瞳孔計測プログラム。
【請求項３】
前記ステップＳ２では、前記被検者の眼部領域に相当する画像データに対して、その輝度値ｘをとる画素数をｆ（ｘ）としたときに、ｆ（ｘ）が極大値となる最も暗い輝度値ｘｍｉｎを基準にして前記第１閾値を決定することを特徴とする請求項１または請求項２に記載の瞳孔計測プログラム。
【請求項４】
被検者に向けて赤外照明を照射したときの顔画像を取得して、前記顔画像から前記被検者の眼部領域を特定する手順Ｓ１と、
前記眼部領域に相当する画像データについて、前記被検者の瞳孔部分が表示されるように定められた所定の第１閾値を以って前記画像データを二値化処理して、前記被検者の瞳孔部分が表示される第１の二値化画像データを生成する手順Ｓ２と、
前記第１の二値化画像データの黒点または白点の画素数を第１カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定する手順Ｓ３と、
前記眼部領域に相当する画像データについて、前記被検者の角膜反射の輝点が表示されるように定められた所定の第２閾値を以って前記画像データを二値化処理して、前記被検者の角膜反射の輝点が表示される第２の二値化画像データを生成する手順Ｓ４と、
前記第２の二値化画像データの白点または黒点の画素数を第２カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定する手順Ｓ５と、
前記第１カウント値と前記第２カウント値の和を前記被検者の瞳孔部分の面積として推定する手順Ｓ６と、
により、前記被検者の瞳孔部分の面積を計測する瞳孔計測方法。
【請求項５】
被検者に向けて赤外領域の光を照射する赤外照明と、
前記被検者の顔画像を撮影する赤外カメラと、
前記赤外カメラによって撮影された前記顔画像を取得するビデオキャプチャと、
前記顔画像から前記被検者の瞳孔部分の面積を計測する請求項１ないし請求項３のいずれかに記載の瞳孔計測プログラムと、
を備えた瞳孔計測装置。
【請求項６】
前記被検者に向けて明るさが可変な可視光を照射する可視光照明と、
前記被検者と前記可視光照明との間で、前記赤外カメラと前記可視光照明が略対向するように設置されるハーフミラーと、
をさらに備えたことを特徴とする請求項５に記載の瞳孔計測装置。
【請求項７】
前記赤外照明は２か所以上に設置され、それぞれが点灯および消灯を切り替えつつ、いずれかの照明が一つだけ点灯されるように、点灯および消灯の制御が行われることを特徴とする請求項５または請求項６に記載の瞳孔計測装置。
【請求項１】
被検者に向けて赤外照明を照射したときの顔画像を取得して、前記顔画像から前記被検者の眼部領域を特定するステップＳ１と、
前記眼部領域に相当する画像データについて、前記被検者の瞳孔部分が表示されるように定められた所定の第１閾値を以って前記画像データを二値化処理して、前記被検者の瞳孔部分が表示される第１の二値化画像データを生成するステップＳ２と、
前記第１の二値化画像データの黒点または白点の画素数を第１カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定するステップＳ３と、
前記眼部領域に相当する画像データについて、前記被検者の角膜反射の輝点が表示されるように定められた所定の第２閾値を以って前記画像データを二値化処理して、前記被検者の角膜反射の輝点が表示される第２の二値化画像データを生成するステップＳ４と、
前記第２の二値化画像データの白点または黒点の画素数を第２カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定するステップＳ５と、
前記第１カウント値と前記第２カウント値の和を前記被検者の瞳孔部分の面積として推定するステップＳ６と、
により、前記被検者の瞳孔部分の面積を計測する瞳孔計測プログラム。
【請求項２】
前記ステップＳ４では、前記顔画像または前記被検者の眼部領域に相当する画像データの中から、最も明るい画素の輝度値を基準にして前記第２閾値を決定することを特徴とする請求項１に記載の瞳孔計測プログラム。
【請求項３】
前記ステップＳ２では、前記被検者の眼部領域に相当する画像データに対して、その輝度値ｘをとる画素数をｆ（ｘ）としたときに、ｆ（ｘ）が極大値となる最も暗い輝度値ｘｍｉｎを基準にして前記第１閾値を決定することを特徴とする請求項１または請求項２に記載の瞳孔計測プログラム。
【請求項４】
被検者に向けて赤外照明を照射したときの顔画像を取得して、前記顔画像から前記被検者の眼部領域を特定する手順Ｓ１と、
前記眼部領域に相当する画像データについて、前記被検者の瞳孔部分が表示されるように定められた所定の第１閾値を以って前記画像データを二値化処理して、前記被検者の瞳孔部分が表示される第１の二値化画像データを生成する手順Ｓ２と、
前記第１の二値化画像データの黒点または白点の画素数を第１カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定する手順Ｓ３と、
前記眼部領域に相当する画像データについて、前記被検者の角膜反射の輝点が表示されるように定められた所定の第２閾値を以って前記画像データを二値化処理して、前記被検者の角膜反射の輝点が表示される第２の二値化画像データを生成する手順Ｓ４と、
前記第２の二値化画像データの白点または黒点の画素数を第２カウント値としてカウントして、前記被検者の瞳孔部分の一部の面積として推定する手順Ｓ５と、
前記第１カウント値と前記第２カウント値の和を前記被検者の瞳孔部分の面積として推定する手順Ｓ６と、
により、前記被検者の瞳孔部分の面積を計測する瞳孔計測方法。
【請求項５】
被検者に向けて赤外領域の光を照射する赤外照明と、
前記被検者の顔画像を撮影する赤外カメラと、
前記赤外カメラによって撮影された前記顔画像を取得するビデオキャプチャと、
前記顔画像から前記被検者の瞳孔部分の面積を計測する請求項１ないし請求項３のいずれかに記載の瞳孔計測プログラムと、
を備えた瞳孔計測装置。
【請求項６】
前記被検者に向けて明るさが可変な可視光を照射する可視光照明と、
前記被検者と前記可視光照明との間で、前記赤外カメラと前記可視光照明が略対向するように設置されるハーフミラーと、
をさらに備えたことを特徴とする請求項５に記載の瞳孔計測装置。
【請求項７】
前記赤外照明は２か所以上に設置され、それぞれが点灯および消灯を切り替えつつ、いずれかの照明が一つだけ点灯されるように、点灯および消灯の制御が行われることを特徴とする請求項５または請求項６に記載の瞳孔計測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２２０９４２（Ｐ２０１０−２２０９４２Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−７３９３０（Ｐ２００９−７３９３０）
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（３９９０７６３１２）安川情報システム株式会社 (77)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（３９９０７６３１２）安川情報システム株式会社 (77)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
[ Back to top ]