視線制御装置、視線制御方法、及びそのプログラム
【課題】利用者に強いる負担を取り除き、瞳孔中心と角膜曲率中心とから正確な視線方向を検出する視線検出装置等を提供する。
【解決手段】眼球方向を撮像するカメラ１１と、眼球方向に光を照射する複数の光源と、光源が照射した光により得られる角膜表面上の複数のプルキニエ像に基づいて、角膜曲率半径を算出する角膜曲率半径算出部２３と、角膜曲率半径、カメラ１１の位置、及び光源１２の位置に基づいて、角膜曲率中心を算出する角膜曲率中心算出部２４と、光源が照射した光の反射の有無に基づいて瞳孔領域を抽出し、楕円近似により瞳孔の中心を算出する瞳孔中心算出部２５と、瞳孔中心、及び角膜曲率中心を通るベクトルを視線方向として決定する視線方向決定部２６とを備える。
【解決手段】眼球方向を撮像するカメラ１１と、眼球方向に光を照射する複数の光源と、光源が照射した光により得られる角膜表面上の複数のプルキニエ像に基づいて、角膜曲率半径を算出する角膜曲率半径算出部２３と、角膜曲率半径、カメラ１１の位置、及び光源１２の位置に基づいて、角膜曲率中心を算出する角膜曲率中心算出部２４と、光源が照射した光の反射の有無に基づいて瞳孔領域を抽出し、楕円近似により瞳孔の中心を算出する瞳孔中心算出部２５と、瞳孔中心、及び角膜曲率中心を通るベクトルを視線方向として決定する視線方向決定部２６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線により制御対象物の駆動を制御する視線制御装置等に関する。
【背景技術】
【０００２】
視線方向の推定を利用して制御対象物（例えば、車椅子等）を制御する技術が開示されている（特許文献１、非特許文献１を参照）。
また、人間の眼球運動を検出する手法として様々な方法が知られているが、視線推定原理、眼球運動検出法により、以下のように大別できる。（１）リンバストラッキング法：黒目（虹彩）、角膜と白目、強膜の反射率の相違を利用する方法（非特許文献２を参照）。（２）角膜反射法：角膜前面、後面、水晶体前面、後面の屈折率の異なる面からの近赤外波長域反射像（プルキニエ像）の最も明るい像を用いる方法（非特許文献３を参照）。（３）ＥＯＧ（Electrooculography）法：電極を眼球付近に貼り付け、角膜におけるプラス電位と網膜におけるマイナス電位の電位差を利用する方法（非特許文献４を参照）。（４）サーチコイル法：コイルを内臓したコンタクトレンズを装着した利用者を磁界中に置き、眼球運動によりコイルと磁界の角度によって発生する電位差を用いる方法（非特許文献５を参照）。（５）Fundus Haploscope法：赤外波長域における眼底写真撮像装置を用いて眼底を直接観察する方法（非特許文献６を参照）。（６）画像解析法：眼球を撮像し、瞳孔中心を画像処理法によって検出する方法。
【０００３】
（１）、（３）、（４）、及び（５）の方法は、視線推定精度が高いが、接触型であるため利用者に身体的、心理的な負担を強いることになる。また、システムが高価になってしまう。（６）は比較的安価であり、画像解析手法の高度化に伴い発達しているが、推定制度が低いという問題がある。（２）のプルキニエ像を利用した眼球運動検出法によれば、非接触型で安定的に高精度な眼球運動を検出できる。
【０００４】
これらの先行技術では、典型的な眼球モデルを仮定したものが多く、眼球サイズ等のあらゆるパラメータを定数として眼球運動推定を行っている。そのため、眼球形状の個人差により誤差を生じ、高い眼球運動計測推定精度は望めない。この問題に対し、キャリブレーションにより個人差を除去する補正作業を利用者に強いているが、キャリブレーション作業には習熟と時間が必要となるため、利用者にとって大きな負担となる。
【０００５】
また、眼球回転中心座標と瞳孔中心とを結ぶ線を視線として視線測定を行う技術が開示されている（非特許文献７を参照）。これは、眼球回転中心座標を、視線測定前に眼球を種々の方向に動かすことにより求めている。そうすることで、指標を提示する必要がなく、あらゆる場所で視線計測が可能であるが、準備に時間が掛かり、頭部移動を許容できないといった問題がある。
【０００６】
さらに、角膜曲率中心（又は角膜球中心）座標と瞳孔中心とを結ぶ線を視線として視線測定を行う技術が開示されている（非特許文献８、特許文献２を参照）。角膜曲率中心（又は角膜球中心）座標は、一点光源とカメラを設置することで、一般的な角膜曲率半径（角膜球半径）値を利用して求めている。しかし、これらの方法は、人の典型的な眼球形状等のモデルを仮定しているため、視線方向推定に少なからず誤差が残り、キャリブレーションにより視線の補正作業をしなければならない。
【０００７】
さらにまた、ステレオカメラ、及び２つの光源を用いることにより両目の視線を同時推定する方法（特許文献３を参照）や２つの光源により利用者の角膜曲率中心を求め、眼球回転中心を推定する方法（非特許文献９を参照）が開示されている。前者は視線方向のみならず両目の視線推定（三次元計測）から得られる視線の先の視点を推定するものであり、視線推定には瞳孔中心と角膜反射中心を用いている。後者は角膜曲率中心を２つのプルキニエ像を用いて推定し、３点の指標を利用者に注視してもらい、眼球回転中心を推定し、これらを結ぶ視線を推定する方法であり、模型眼を用いた実験によって精度を検証している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２００４−５０４６８４号公報
【特許文献２】特開２００５−２５３７７８号公報
【特許文献３】特開２００５−１９８７４３号公報
【非特許文献】
【０００９】
【非特許文献１】松本吉央, 伊野智行, 小笠原司:“顔と視線情報による電動車椅子の走行支援システム”, 電気学会システム・制御研究会資料, 2001
【非特許文献２】K.Abe, S.Ohiamd M.Ohyama: "An Eye-gaze Input Sys-tem based on the Limbus Tracking Method by Image Analysis for Seriously Physically Handicapped People", 7th ERCIMWorkshop"User Interface for All "Adjunct Proc.,185-186,2002.
【非特許文献３】池田光男、資格の心理物理学、森北出版、1975.
【非特許文献４】久野悦章，八木透，藤井一幸，古賀一男，内川嘉樹：“ＥＯＧを用いた視線入力インターフェースの開発”，情報処理学会論文誌，39，5, 1455-1462, 1998.
【非特許文献５】D.A.Robinson: "A method of measuring eye movement using a sclera search coil in a magnetic field",IEEE Trans. on Biomedical Electronics, 10, 137-145, 1963.
【非特許文献６】http://webvision.med.utah.edu/
【非特許文献７】松田圭司, 永見武司, 山根茂," 視線位置計測システムの開発"信学技法TL2002-2、2000.
【非特許文献８】大野健彦, 武川直樹, 吉川厚:“眼球形状モデルに基づく視線推定法”, 第8回画像センシングシンポジウム,pp.307-312、2002.
【非特許文献９】田中宏明、疋田真一、笠井健、竹田仰、“二光源を用いた角膜曲率中心位置計測による視線検出法”、信学論誌、108,479、MBE2008-128,117-180,2009.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献１に示す技術は、顔の動作と視線とに基づいて車椅子を制御する技術であるが、例えばＡＬＳ（amyotrophic lateral sclerosis：筋萎縮性側索硬化症）患者のように視線を動かすことはできるが、頭部を動かすことができないような人への適用ができないという課題を有する。
【００１１】
特許文献１に示す技術は、頭部姿勢と視線方向を車椅子の操縦に使用することが示唆されているが、具体的な手段が記載されておらず、車椅子の制御に関して不十分な技術であるという課題を有する。また、少なくとも２つの視点から顔、及び頭部の画像を取得する必要があるため、カメラが２台必要になり、装置が大型化してしまう可能性がある。さらに、少なくとも２つの画像に対して画像処理や解析処理を行う必要があるため、処理が低速で複雑になるという課題を有する。
【００１２】
非特許文献２〜８、及び特許文献２に示す技術については、上述したような問題点を抱えるものである。また、特許文献３に示す技術は、ステレオカメラで両目の視線を推定しているため、装置が大型化してしまうという課題を有する。さらに、頭部の姿勢を推定する必要があるため、頭部が安定しないような車椅子上での制御は困難性を有するものとなってしまう。さらにまた、非特許文献９に示す技術は、３点の指標を利用者に注視してもらう必要があり、利用者に負担を強いることになってしまうという課題を有する。
【００１３】
そこで、本発明は視線方向を検出することで制御対象物（例えば、車椅子等）の動作を制御する視線制御装置を提供する。また、提供する視線制御装置は、利用者に強いる負担を取り除き、瞳孔中心と角膜曲率中心とから正確な視線方向を検出することができる。
【課題を解決するための手段】
【００１４】
（１）本願に開示する視線制御装置は、視線方向に基づいて制御対象物を制御する視線制御装置であって、前記視線方向を検出する視線方向検出手段と、前記視線方向と前記制御対象物の動作指令とを対応付ける対応情報を記憶する対応情報記憶手段と、前記対応情報記憶手段が記憶する対応情報、及び前記視線方向検出手段が検出する視線方向に基づいて、制御対象物の動作指令を解析する動作指令解析手段と、前記動作指令解析手段が解析した結果に基づいて、前記制御対象物を駆動する駆動手段とを備えることを特徴とするものである。
【００１５】
このように、本願に開示する視線制御装置は、前記検出される視線方向と制御対象物の動作指令との対応情報に基づいて制御対象物を駆動するため、制御対象物を視線入力に基づいて正確に駆動することができ、例えばＡＬＳ患者のように視線しか動かせない人であっても、利用者が意図する制御対象物の動作を視線のみで実現することができるという効果を奏する。
【００１６】
（２）本願に開示する視線制御装置は、前記制御対象物が電動車椅子であり、前記対応情報記憶手段が、前記視線方向が下方向の場合に対応する動作指令を前進加速として前記対応情報を記憶することを特徴とするものである。
【００１７】
このように、本願に開示する視線制御装置は、制御対象物が電動車椅子であるため、肢体が不自由で、例えばＡＬＳ患者のように視線しか動かせない人であっても、視線のみで電動車椅子を制御し、自分で移動することができるという効果を奏する。また、視線方向が下方向の場合に対応する動作指令が前進加速であるため、前進加速時に特に注意が必要な通路の状態や安全性の確認を下方向の視線で行いながら前進加速することができるため、安全で使いやすい視線制御を実現することができるという効果を奏する。
【００１８】
（３）本願に開示する視線制御装置は、前記対応情報記憶手段が、前記視線方向が右方向の場合に対応する動作指令を右転回とし、前記視線方向が左方向の場合に対応する動作指令を左転回とし、前記視線方向が正面方向の場合に対応する動作指令を前進とし、前記視線方向がその他の場合に対応する動作指令を停止として、前記対応情報を記憶することを特徴とするものである。
【００１９】
このように、本願に開示する視線制御装置は、視線方向が右方向の場合に右転回とし、視線方向が左方向の場合に左転回とし、視線方向が正面方向の場合に前進とし、視線方向がその他の場合に停止とするため、進行方向と視線方向が合致して車椅子の制御がし易くなると共に、停止の視線方向を多くの領域で設定することで、安全性を配慮した車椅子の制御を行うことができるという効果を奏する。
【００２０】
（４）本願に開示する視線制御装置は、前記制御対象物の少なくとも前方を撮像する撮像手段と、前記撮像手段が撮像した撮像情報に基づいて障害物を検出する障害物検出手段とを備え、前記駆動手段が、前記障害物検出手段が障害物を検出した場合に、前記制御対象物の動きを停止することを特徴とするものである。
【００２１】
このように、本願に開示する視線制御装置は、制御対象物の少なくとも前方を撮像し、撮像情報から障害物を検出した場合に制御対象物の動きを停止するため、障害物と制御対象物との接触を防止し、制御対象物の故障防止や制御対象物を操作する人の安全性を確保することができるという効果を奏する。
【００２２】
（５）本願に開示する視線制御装置は、前記制御対象物の少なくとも前方に超音波を発振して障害物との距離を測定する超音波センサを備え、前記駆動手段が、前記障害物センサが検知した障害物との距離が所定の長さ以下の場合に、前記制御対象物の動きを停止することを特徴とするものである。
【００２３】
このように、本願に開示する視線制御装置は、制御対象物の少なくとも前方の障害物を超音波センサにより検知して制御対象物の動きを停止するため、例えば障害物が透明であるような場合であっても、確実に障害物を検知して、制御対象物の故障や制御対象物を操作する人の安全性を確保することができるという効果を奏する。
【００２４】
（６）本願に開示する視線制御装置は、瞳孔の大きさを検出する瞳孔サイズ検出手段と、前記瞳孔サイズ検出手段が検出した瞳孔の大きさに基づいて、瞳孔のサイズの変化を解析する瞳孔変化解析手段とを備え、前記駆動手段が、前記瞳孔変化解析手段が解析した瞳孔のサイズの変化に基づいて、前記制御対象物の動きを停止することを特徴とするものである。
【００２５】
このように、本願に開示する視線制御装置は、瞳孔のサイズの変化に基づいて、制御対象物の動きを停止するため、例えば急に障害物が現れて瞳孔が開いたような場合には、その瞳孔の変化から制御対象物を停止して、障害物との接触を防止することができるという効果を奏する。
【００２６】
（７）本願に開示する視線制御装置は、瞳孔の大きさを検出する瞳孔サイズ検出手段と、前記瞳孔サイズ検出手段が検出した瞳孔の大きさに基づいて、瞳孔のサイズの変化を解析する瞳孔変化解析手段とを備え、前記瞳孔変化解析手段が解析した瞳孔のサイズの変化に基づいて、前記対応情報記憶手段が記憶する前記視線方向と制御対象物の動作指令との対応情報を補正する対応情報補正手段を備えることを特徴とするものである。
【００２７】
このように、本願に開示する視線制御装置は、瞳孔のサイズの変化に基づいて、視線方向と制御対象物の動作指令との対応情報を補正するため、例えば瞳孔のサイズの変化から危険度を求め、その危険度に応じて停止の領域を大きくする等の補正を行うことで、環境に応じた対応情報を得ることができるという効果を奏する。
【００２８】
（８）本願に開示する視線制御装置は、視線方向検出手段が、少なくとも眼球方向を撮像するカメラと、少なくとも眼球方向に光を照射する複数の光源と、前記光源が照射した光により得られる角膜表面上の複数のプルキニエ像に基づいて、角膜曲率半径を算出する角膜曲率半径算出手段と、前記角膜曲率半径算出手段が算出した角膜曲率半径、前記カメラの位置、及び前記光源の位置に基づいて、角膜曲率中心を算出する角膜曲率中心算出手段と、前記光源が照射した光の反射の有無に基づいて瞳孔領域を抽出し、楕円近似により瞳孔の中心を算出する瞳孔中心算出手段と、前記瞳孔中心算出手段が算出した瞳孔中心、及び前記角膜曲率中心算出手段が算出した角膜曲率中心を通るベクトルを視線方向として決定する視線方向決定手段とを備えることを特徴とするものである。
【００２９】
このように、本願に開示する視線制御装置は、複数の光源により角膜表面から得られるプルキニエ像を利用して角膜曲率半径を正確に算出し、角膜曲率半径から角膜曲率中心を算出するため、正確な角膜曲率中心を求めることができ、視線方向の検出を従来にはない高精度で行うことができると共に、キャリブレーション等の手間を省いて利用者の負担を軽減した視線検出を行うことができるという効果を奏する。
【００３０】
（９）本願に開示する視線制御装置は、前記光源が少なくとも近赤外線を照射し、前記カメラが少なくとも近赤外線の感度分布を持つカメラであることを特徴とするものである。
このように、本願に開示する視線制御装置は、光源が少なくとも近赤外線を照射し、カメラが少なくとも近赤外線の感度分布を持つカメラであるため、照明環境に関係なくどのような場所であっても、正確に視線方向を検出することができるという効果を奏する。
【００３１】
（１０）本願に開示する視線制御装置は、前記カメラが、前記制御対象物を操作する人の一部に固定されていることを特徴とするものである。
このように、本願に開示する視線制御装置は、カメラが制御対象物を操作する人の一部に固定されているため、車椅子のような移動体で顔の位置が不安定になる場合であっても、安定的に目を捉えて正確な視線方向を検出することができるという効果を奏する。
【００３２】
（１１）本願に開示する視線制御装置は、顔画像から複数の顔特徴を抽出する顔特徴抽出手段と、前記顔特徴抽出手段が抽出した各顔特徴における特徴点を決定する特徴点決定手段と、前記特徴点で形成される平面の法線方向を決定する法線方向決定手段とを備え、前記視線検出手段が検出した視線方向、及び前記法線決定手段が決定した法線方向に基づいて、視線方向を決定することを特徴とするものである。
【００３３】
このように、本願に開示する視線制御装置は、顔特徴点が形成する平面の法線方向を顔の向きとして頭部姿勢を求め、視線方向と頭部姿勢とに基づいて視線方向を決定するため、カメラと頭部との動きが一体的ではなく、利用者が頭部を動かしたような場合であっても、視線の方向を正確で安定的に検出することができるという効果を奏する。
これまで、本発明を装置として示したが、所謂当業者であれば明らかであるように本発明を方法、及び、プログラムとして捉えることもできる。
【図面の簡単な説明】
【００３４】
【図１】第１の実施形態に係る視線制御装置のハードウェア構成図である。
【図２】第１の実施形態に係る視線制御装置の機能ブロック図である。
【図３】第１の実施形態に係る視線制御装置における対応情報の一例を示す図である。
【図４】第１の実施形態に係る視線制御装置の動作を示すフローチャートである。
【図５】第２の実施形態に係る視線制御装置のハードウェア構成図である。
【図６】第２の実施形態に係る視線制御装置の機能ブロック図である。
【図７】第２の実施形態に係る視線制御装置における光源、カメラ、及び目の幾何学的な関係を示す図である。
【図８】第２の実施形態に係る視線制御装置において２つの光源に対応するプルキニエ像の一例を示す図である。
【図９】暗瞳孔法、及び明瞳孔法の処理を示す図である。
【図１０】楕円の特徴パラメータを示す図である。
【図１１】楕円パラメータの定義を示す図である。
【図１２】第２の実施形態に係る視線制御装置における目のイメージに基づく楕円近似の方法を示す図である。
【図１３】第２の実施形態に係る視線制御装置における光源、目、角膜の位置関係を示す図である。
【図１４】第２の実施形態に係る視線制御装置の動作を示すフローチャートである。
【図１５】第２の実施形態に係る視線制御装置を用いた実験機材の設置図である。
【図１６】第２の実施形態に係る視線制御装置において角膜半径の計測結果を示すグラフである。
【図１７】第２の実施形態に係る視線制御装置において眼球角度検出精度確認実験で使用するディスプレイを示す図である。
【図１８】第２の実施形態に係る視線制御装置において実験結果を示す表である。
【図１９】第３の実施形態に係る視線制御装置の機能ブロック図である。
【図２０】３次元頭部姿勢モデルを示す図である。
【図２１】３次元頭部姿勢モデルにおける各平面の頭部回転を示す図である。
【図２２】第３の実施形態に係る視線制御装置に用いる鳥瞰図を示す図である。
【図２３】目の動作モデルを示す図である。
【図２４】第３の実施形態に係る視線制御装置における頭部姿勢を示す座標と視線方向を示す座標との関係を示す図である。
【図２５】第３の実施形態に係る視線制御装置において目の決定と追跡を示す図である。
【図２６】第３の実施形態に係る視線制御装置においてガボールフィルタにより目と口のコーナーの検出を示す図である。
【図２７】第３の実施形態に係る視線制御装置の実験結果を示す第１の図である。
【図２８】第３の実施形態に係る視線制御装置の実験結果を示す第２の図である。
【発明を実施するための形態】
【００３５】
以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。従って、本実施形態の記載内容のみで本発明を解釈すべきではない。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。
【００３６】
以下の実施の形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明は方法、及び、コンピュータを動作させるためのプログラムとしても実施できる。また、本発明はハードウェア、ソフトウェア、または、ハードウェア及びソフトウェアの実施形態で実施可能である。プログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光記憶装置、または、磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。
【００３７】
（本発明の第１の実施形態）
本実施形態に係る視線制御装置について、図１ないし図４を用いて説明する。本実施形態に係る視線制御装置は、視線方向を検出し、検出した視線方向で制御対象物を駆動制御するものである。なお、ここでは、電動車椅子を制御対象物として説明するが、これに限らず、移動体（ロボット等の遠隔操作も含む）等の制御であれば実施することができる。
【００３８】
図１は、本実施形態に係る視線制御装置のハードウェア構成図である。図１（Ａ）に示すように、視線制御装置１は、少なくとも利用者の片方の目を撮像する第１のカメラ１１と、少なくとも電動車椅子１７の前方を撮像する第２のカメラ１３と、少なくとも電動車椅子１７の前方に超音波を照射する超音波センサ１４と、視線方向を決定して電動車椅子１７の駆動制御信号を、ＵＳＢインタフェース１５を介して車椅子制御装置１６に出力するＰＣ１０と、車椅子制御装置１６の駆動信号に応じて駆動する電動車椅子１７とを備える。
【００３９】
ＰＣ１０は、視線方向を検出し、検出した視線方向に対応する駆動指令の信号を出力すると共に、第２のカメラ１３が撮像した情報、及び超音波センサ１４の情報に基づいて障害物を検知し、駆動指令の信号を出力する。視線方向の検出は第１のカメラ１１が撮像した撮像情報に基づいて行うが、ここでは、例えば、上記先行技術文献に示す各文献に記載された方法や下記の第２、第３の実施形態に示す方法等、様々な方法を適用することができる。
なお、図１において、点線で示す構成は必要に応じて備えても備えなくてもよい。
【００４０】
図１（Ｂ）は、各ハードウェアの使用態様を示す。第１のカメラ１１と第２のカメラ１３とは、利用者のメガネに固定されており、互いに相反する方向を撮像しているため、一方は常時安定して利用者の目を固定箇所で撮像することができ、他方は利用者の目線で前方方向を撮像することができる。なお、それぞれのカメラは必ずしもメガネに固定されなくてもよいが、第１のカメラ１１は、利用者の頭部の移動に対応して目を安定的に撮像できる箇所、つまり頭部の一部に固定されてもよく、第２のカメラ１３は、電動車椅子１７の前方を撮像できる位置であればどこでもよい。また、各ハードウェアは、図示しないが接続線、又は無線により通信可能な状態で接続されている。
【００４１】
図２は、本実施形態に係る視線制御装置の機能ブロック図である。視線制御部４０の機能は、図１におけるＰＣ１０が備えるＣＰＵ、メモリ、ハードディスク、各種インタフェース等により実現される。視線制御部４０は、視線検出部３０と動作指令解析部３１と対応情報部３２と駆動部３３と障害物検出部３４と瞳孔変化解析部３５と対応情報補正部３６とを備える。
【００４２】
視線検出部３０は、上述したように、様々な方法により電動車椅子１７の利用者の視線方向を検出する。動作指令解析部３１は、視線検出部３０が検出した視線方向に対応する車椅子の駆動動作を、対応情報部３２に基づいて解析する。ここで、対応情報部３２に格納される視線方向と制御対象物の動作指令とを対応付けた対応情報について説明する。
【００４３】
図３は、本実施形態に係る視線制御装置における対応情報の一例を示す図である。図３（Ａ）の視線方向と図３（Ｂ）の動作指令コマンドが対応している。ここでは、視線を下方向に向けた場合に前進加速の動作指令が実行される。車椅子において、前進を始める際には、利用者は安全性を確保するためにどうしても下方向（車椅子の足元等）を注視する傾向にあるため、このような対応付けを行うことでスムーズな操作が可能となる。同様に、右方向、左方向はそれぞれ右折、左折に対応し、正面は前進に対応する。また、それ以外の領域の場合は、停止に対応している。停止の領域を多くすることで停止し易い操作となり、安全性を高めることができる。各視線方向に対応する動作指令コマンドの領域には所定の大きさが設定されており、視線方向がその領域内に検出された状態で動作指令の決定指示が入力されると、その動作指令に応じて電動車椅子が駆動する。
【００４４】
なお、動作指令の決定は、２つのモードで行うことができる。一方は、その方向を注視することを決定とするモードである。所定時間ある一定の方向を注視している場合に、その視線方向の動作指令が決定される。他方は、瞬きを検知して決定とするモードである。通常、目の乾燥を防止するために自然に行われる瞬きは０．５秒程度である。したがって、意図的に瞬きしたと判断できる０．７秒程度の瞬きを検知した場合に、その視線方向の動作指令が決定される。
【００４５】
図２に戻って、駆動部３３は、動作指令解析部３３が解析した結果に基づいて、その動作指令を実行するための駆動信号を出力する。障害物検出部３４は、第２のカメラ１３が撮像した撮像情報を解析して、電動車椅子１７の進行方向の障害物を検出すると共に、超音波センサ１４から送られる信号に基づいて、電動車椅子１７の進行方向の障害物を検出する。特に、画像処理により検出されにくい障害物（例えば、ガラスのような透明体）については、超音波センサ１４により検出される。具体的には、超音波センサ１４からの信号により障害物との距離を測定し、その距離が所定の値以下（ある距離以上近づいた）の場合に、障害物が検出されたと判断することができる。
【００４６】
瞳孔変化解析部３５は、第１のカメラ１１が撮像した利用者の目における瞳孔の大きさの変化を解析する。例えば、人の目は驚いた場合に瞳孔が大きく変化する。瞳孔変化解析部３５はその変化の度合いを解析し、利用者の周囲の状況（例えば、急な障害物の有無等）を推定する。瞳孔変化解析部３５の解析結果に基づく対応には２つのモードがあり、１つは、駆動部３３に直接停止の駆動信号を出力し電動車椅子１７を停止される。もう１つは、対応情報補正部３６が対応情報部３２に格納されている対応情報を補正する。補正は、例えば図３の対応情報において、各定義された視線方向の領域を小さくし、停止の動作指令を示す領域を大きくする。そうすることで、電動車椅子１７が停止しやすい操作となり安全性を確保することができる。
【００４７】
なお、予め上記に示す２つのモードの一方のみを選択するようにしてもよいし、瞳孔変化解析部３５が解析した結果に基づいて、モードの設定を行うようにしてもよい。例えば、瞳孔の変化が大きい場合は、驚きの度合いも大きいと判断できるため、無条件に電動車椅子１７を停止するが、瞳孔の変化が小さい場合は、少しの驚きであると判断し、無条件に電動車椅子１７を停止するのではなく、対応情報を補正して停止しやすい対応情報に変更してもよい。
また、図２において、点線で示す処理部は必要に応じて備えても備えなくてもよい。
【００４８】
次に、本実施形態に係る視線制御装置の動作について説明する。図４は、本実施形態に係る視線制御装置の動作を示すフローチャートである。まず、第１のカメラ１１で撮像された利用者の目の撮像情報を入力し（Ｓ４１）、視線方向を検出する（Ｓ４２）。対応情報を参照して、動作指令を解析する（Ｓ４３）。解析された動作指令に対応する車椅子の駆動信号を出力する（Ｓ４４）。第２のカメラ１３が撮像した撮像情報から異常の有無を判定する（Ｓ４５）。異常があれば、車椅子の駆動を停止する駆動信号を出力して（Ｓ５０）、処理を終了する。異常がなければ、超音波センサからの信号により異常の有無を判定する（Ｓ４６）。異常があれば、車椅子の駆動を停止する駆動信号を出力して（Ｓ５０）、処理を終了する。異常がなければ、瞳孔の変化があるかどうかを判定する（Ｓ４７）。瞳孔の変化がなければ処理を終了する。瞳孔の変化があればモードを判定し（Ｓ４８）、停止モードである場合は、車椅子の駆動を停止する駆動信号を出力して（Ｓ５０）、処理を終了する。補正モードである場合は、対応情報を車椅子が停止しやすい情報に補正して（Ｓ４９）、処理を終了する。
なお、上記処理は車椅子の制御中に常時繰り返して実行され、車椅子の制御を辞めた時点で処理を終了するものである。
【００４９】
（本発明の第２の実施形態）
前記第１の実施形態における視線検出部３０の視線検出処理について、キャリブレーションなしに、正確な視線検出を行う方法について説明する。キャリブレーションが必要である利用として以下の４つが考えられる。（１）眼球及び角膜形状が複雑（耳側ではなだらかに、鼻側で急峻に角膜曲率半径が大きくなる）なため、角膜の曲率径を測定した程度では角膜面を再現できない、（２）カメラ光学系の歪曲収差、（３）角膜表面における屈折、（４）眼球中心に対する中心窩のずれ。本実施形態に係る視線検出処理においては、キャリブレーションなしに、ｘ方向に０．５７ｄｅｇ、ｙ方向に０．９８ｄｅｇ程度の誤差で視線方向の検出精度が得られた。
【００５０】
視線は中心窩、水晶体(レンズ)の節点、対象点を結ぶ直線であるが、これらの位置特定は困難なため、本実施形態においては角膜曲率中心と瞳孔中心を貫く方向を視線方向として定義する。この定義による視線方向は本来の定義である視線方向とは本質的に異なる。その相違は、眼球半径、角膜曲率等の個人差に依存する。本実施形態では、キャリブレーションを行うことなく、パラメータを正確に取得して演算することで個人差に依存しない相対精度の高い視線方向の検出を実現する。
【００５１】
本実施形態に係る視線制御装置における視線検出部の処理について、図５ないし図１８を用いて説明する。図５は、本実施形態に係る視線制御装置のハードウェア構成図である。図５（Ａ）に示すように、視線制御装置１は、少なくとも利用者の片方の目を撮像するカメラ１１と、複数の光源１２と、カメラ１１、及び光源１２に基づいて視線方向を演算して決定するＰＣ１０とを備える。カメラ１１と光源１２は、図５（Ｂ）に示すように一体的であってもよい。図５（Ｂ）において、レンズ１１ａを中心として複数のＮＩＲ（Ｎｅａｒ ＩｎｆｒａＲｅｄ：近赤外）ＬＥＤ１１ｂが備えられており、ＬＥＤ１１ｂの照射光によりプルキニエ像を作り出す。ＰＣ１０では、プルキニエ像から角膜曲率中心を算出し、算出した角膜曲率中心と瞳孔中心とを結ぶ直線を視線方向として決定する。
【００５２】
なお、ここでは必要最小限の構成のみを記載しているが、例えば前記第１の実施形態に示す電動車椅子の制御に用いる場合には、図１のハードウェア構成に光源１２が追加されたものとなる。また、図５に示す視線制御装置１を、視線方向を検出する機能のみを有する視線検出装置として捉えてもよい。
【００５３】
図６は、本実施形態に係る視線制御装置における視線検出部の機能ブロック図である。視線検出部３０の機能は、図５におけるＰＣ１０が備えるＣＰＵ、メモリ、ハードディスク、各種インタフェース等により実現される。視線検出部３０は、入力部２１とプルキニエ像取得部２２と角膜曲率半径算出部２３と角膜曲率中心算出部２４と瞳孔中心算出部２５と視線方向決定部２６とを備える。
【００５４】
入力部２１は、カメラ１１で撮像された目の画像を入力する。プルキニエ像取得部２２は、入力された目の画像からプルキニエ像を取得する。角膜曲率半径算出部２３は、取得したプルキニエ像を利用して角膜曲率半径を算出する。ここで、プルキニエ像取得部２２、及び角膜曲率半径算出部１２の処理について説明する。
【００５５】
図７は、本実施形態に係る視線制御装置における光源、カメラ、及び目の幾何学的な関係を示す図である。角膜曲率推定に用いるプルキニエ像はそれが現れる場所によって第１から第４まで存在する。第１プルキニエ像は角膜前面における反射であり、以下角膜後面、水晶体前面、水晶体後面における反射を第２から第４プルキニエ像と呼ぶ。これらのうち、最も反射光量の大きいプルキニエ像は第１プルキニエ像である。そこで、本実施形態においては、２つの光源からの２つの最も反射光量の大きな第１プルキニエ像を用いる。図７に示すように２つの光源からの角膜表面における反射像（以下、これを単にプルキニエ像と表記する）は、光源位置、角膜曲率中心、カメラ光学系開口中心のなす角を２等分する直線上の角膜表面に位置する。したがって、次式により角膜曲率半径ｒEを表すことができる。
【００５６】
【数１】
Ｌは光源間の距離、Ｈはカメラと眼球間の距離、ｇは２つの光源に対応するプルキニエ像間の距離である。
【００５７】
これら光源間距離、カメラと眼球間の距離は設定値であり、２つのプルキニエ像間の距離はカメラにて取得する眼球周辺画像から計測する。したがって、角膜曲率半径は推定できる。また、Ｌ、Ｈ、ｇの設定、及び計測値から角膜曲率中心位置も推定可能である。このとき、Ｌ、Ｈは設定値であり、角膜曲率半径、及び中心位置の推定精度はその設定値からのずれ、及びｇの計測誤差に依存する。Ｌは設定値からのずれが些少であるが、Ｈは利用者の頭部の前後移動によって変化する可能性が高い。式（１）から利用者の頭部の前後移動に比例して角膜曲率半径が変化することが分かる。
【００５８】
次にｇの推定誤差要因について検討する。図８は、本実施形態に係る視線制御装置において２つの光源に対応するプルキニエ像の一例を示す図である。プルキニエ像は角膜表面に複数結像するため、これらの中から２つの光源に対応する第１プルキニエ像のみを抽出する。まず、プルキニエ像はその周囲に比較して反射輝度が高いため（図８（Ａ）を参照）、取得画像中の高輝度を示す画素を抽出し、第１プルキニエ像の候補とする（図８（Ｂ）を参照）。図８の例では４つの候補が抽出される。第１プルキニエ像は瞳孔付近に存在するので、瞳孔に最も近い位置に存在する２つのプルキニエ候補を抽出し、２つの光源に対応する２つの第１プルキニエ像とする（図８（Ｃ）を参照）。当該２つの第１プルキニエ像の画素重心をそれぞれ求め、当該重心間距離をもって２つの第１プルキニエ像間距離ｇとする（図８（Ｄ）を参照）。図８（Ｄ）における＋印は推定した２つの第１プルキニエ像の重心位置を示す。
【００５９】
図６に戻って、瞳孔中心算出部２５は、瞳孔中心を算出する。以下に、その算出方法について説明する。まず、瞳孔は楕円であると仮定する。瞳孔の中心座標を求めるために瞳孔領域を楕円で近似することにより、その楕円の中心を瞳孔の中心座標とする。瞳孔領域を楕円で近似するための手順を以下に示す。
（１）以下に示す暗瞳孔法により、仮の瞳孔領域を抽出する。
（２）仮瞳孔領域に対して、ｋ平均法クラスタリング（宮本定明「クラスター分析入門ファジィクラスタリングの理論と応用」森北出版株式会社、１９９９を参照）により、余分部分(個体数の少ないクラスタ)を除去する。
（３）余分部分除去後の領域からエッジを抽出する。
（４）当該エッジに対して、楕円の性質を利用した方法により、瞳孔輪郭サンプル点を抽出する。
（５）瞳孔輪郭サンプル点に対して、最小二乗法により楕円近似を行う。
（６）楕円の中心座標を、瞳孔中心座標とする。
【００６０】
ここで暗瞳孔法について説明する。図９は、暗瞳孔法、及び明瞳孔法の処理を示す図である。図９（Ａ）に示す暗瞳孔とは、カメラのレンズ光軸から離れた位置に照明器を設置して眼球を照明すると、照明された眼球の瞳孔部分は光の反射がなくなり、カメラでとらえられた眼球画像の瞳孔部分は暗くなるという性質を利用したもので、画像処理でこの暗い部分を抽出する。逆に図９（Ｂ）に示す明瞳孔法とは、カメラのレンズ光軸と照明の光軸を同軸にして眼球を照明すると、網膜上の光の反射により、カメラでとらえた眼球の瞳孔部分は常に明るくなる。これを利用して、画像処理でこの明るい部分を抽出する方法である。本実施形態においては、カメラのレンズ光軸と照明器の位置が離れているので、暗瞳孔法を用いて瞳孔領域を抽出する。
【００６１】
暗瞳孔法により得られた瞳孔領域には、瞳孔以外に睫毛、髪、眉毛など余計なものが含まれている。そのため、瞳孔領域以外の余計なものを取り除く必要がある。この方法に抽出領域の膨張・縮小処理を用いる。膨張・縮小処理は、モルフォロジーに基づいた方法を用いる。モルフォロジーは、与えられた２値画像、又は濃淡画像に対して、集合論的操作を加えることにより図形の変形を行い、特徴を抽出することを目的とするものである。処理対象画像と構造要素との間の集合演算で定義されるため、構造要素の選び方により演算結果が変化する。膨張・縮小処理を行うことにより、瞳孔部分を抽出するとともに、余分な部分の削除を行う。
【００６２】
次に、仮瞳孔領域に対してラベリング処理を行う。ラベリングによって抽出された各領域の大きさを比較することができる。一定の大きさ以下の領域を除去することによってノイズを除去する。ラベリング処理とは、連結している各画素に同じラベル（番号）をつけることであり、いくつかのまとまった領域をグループとして分類することである。ここでは、４近傍によるラベリング処理を選択する。画像上でラベルが付加されていない画素（ｘ；ｙ）を見つけ、新しいラベルをつける。次に、該当画素（ｘ；ｙ）の４方向に連結している画素に同じラベルをつける。その後、新たにラベルが付けられた画素に対して同様な処理を行う。これを画像全体で行うことにより、すべての独立領域にラベルが付けられる。
ラベリング処理後の抽出領域の輪郭形状は種々のものがあり、これらの中から次式で定義する円形度により、抽出領域を選別する。
【００６３】
【数２】
ここでＣは円形度、Ａは抽出領域の面積、Ｌは周囲長である。
【００６４】
瞳孔は楕円であることを仮定していることから、瞳孔領域は円形度が高い特徴を持つ。そこで、一定の円形度以下の抽出領域を除去する。このようにして瞳孔に相当する領域が残されるようになる（これを仮瞳孔領域と呼ぶ）。当該仮瞳孔領域の楕円サンプル点を次に抽出する。すなわち、抽出瞳孔領域には、照明の映り込みや、瞳孔の上下部分が瞼で隠れ欠損しているため、正確に瞳孔を抽出できていない可能性がある。そのため、仮瞳孔領域からエッジを検出することにより、最小自乗の意味において最適な楕円を近似する。このとき、瞳孔輪郭上の点以外を用いて計算すると正確な楕円輪郭でない点による近似楕円となってしまう。これを回避するため、以下に示す楕円の性質を用いて、瞳孔楕円上に存在する点のみを抽出する。
【００６５】
図１０は、楕円の特徴パラメータを示す図である。直線ｌ、ｍ、ｎは平行でかつ、ｌ、ｎはｍから等距離に存在する。楕円と直線ｌとの交点をａ、ｂとし、楕円と直線ｎとの交点をｃ、ｄとする。楕円と直線ｍの交点の中点をｏとする。ａ、ｂの中点とｃ、ｄの中点を結ぶ線の中点をｏ’とすると、ｏ’はｏと重なるという性質がある。仮瞳孔領域について、その中央に引いた直線ｍから等距離にあるＮ個の平行線の組のｏｉ'（ｉ＝１／Ｎ）に当たる点を求める。求められた点は、直線ｍの上に分布する。ノイズが十分少ないときは、最も多くの点ｏ’が集まった位置がｏの位置に相当する。その位置から離れている点は、楕円の軌跡上にない点を含んでいることになるので、それらを除外する。ｏに十分近いｏｉ'を持つ点ａｉ； ｂｉ； ｃｉ； ｄｉは、楕円の軌跡上の点なので、それらを用いることにより、正確な瞳孔輪郭の楕円近似を行うことができる。エッジ検出には、Ｃａｎｎｙフィルタ（J.Canny: A Computational Approach to Edge Detection, IEEE Trans. Pattern Analysis and Machine Intelligence, .8, 6, .679-698, 1986. を参照）を使用する。
【００６６】
瞳孔楕円サンプル点から楕円を近似するため、図１１の楕円パラメータを定義する。これらパラメータは下記の式（３）−（７）により定義できる。これらは取得データに観測ノイズが無視できる場合の式であるが、現実にはノイズが重畳している。しかし、多くの観測瞳孔楕円サンプル点データ（Ｘｉ，Ｙｉ）を用いて最小二乗法を適用することにより瞳孔輪郭を導出する。
【００６７】
【数３】
【００６８】
【数４】
ここで、最小二乗法を適用するために、
【００６９】
【数５】
のように行列形式にて表現し、ＭｏｏｒｅＰｅｎｒｏｓｅ一般逆行列（新井康平、応用線形代数、近代科学社、２００６．を参照）を適用してＡ、Ｂ、Ｃ、Ｄ、Ｅを求める。
【００７０】
【数６】
【００７１】
【数７】
【００７２】
上記一連の処理の流れを図１２に示す。図１２は、本実施形態に係る視線検出装置における目のイメージに基づく楕円近似の方法を示す図である。図１２（Ａ）が取得した目の画像、図１２（Ｂ）が２値化した画像、図１２（Ｃ）がノイズを除去した画像、図１２（Ｄ）がエッジを検出した画像、図１２（Ｅ）がサンプル点を抽出した画像、図１２（Ｆ）が近似された楕円面の画像である。
【００７３】
図６に戻って、角膜曲率中心算出部２４は、角膜曲率半径算出部２３が算出した角膜曲率半径に基づいて、角膜曲率の中心を算出する。ここで、角膜曲率中心算出部２４の処理について説明する。
【００７４】
図１３は、本実施形態に係る視線検出装置における光源、目、角膜の位置関係を示す図である。角膜曲率半径算出部２３で得られた角膜曲率半径を利用して、図１３に示す光源、眼球、カメラの位置関係より、角膜曲率中心を求める。角膜曲率中心は、カメラ、プルキニエ像、光源を結ぶ二等分線上に存在することから、次式より求める。本実施形態においては光源を２つ用いているため、プルキニエ像は２つ得ることができる。
【００７５】
【数８】
【００７６】
図６に戻って、視線方向決定部２６は、角膜曲率中心算出部２４が算出した角膜曲率中心と、瞳孔中心算出部２５が算出した瞳孔中心に基づいて、視線方向を決定する。この視線方向決定部２６の処理について説明する。
【００７７】
ここでは、角膜曲率中心と瞳孔中心の２点を通るベクトルを視線ベクトルとし、ディスプレイ上の注視点を算出する。カメラ位置を（０，０，０）とし、カメラにより撮像された画像の中心座標を（０，０，ｚ）とした。視線ベクトルをｖ＝（ｘｖ；ｙｖ；ｚｖ）とすると、今回、カメラ、照明、ディスプレイは固定されており、ｚ軸方向の距離がわかる。眼球とディスプレイの距離をｚｈ とすると、ディスプレイ上の注視点座標ｔ＝（ｘｔ；ｙｔ）は、次式により求めることができる。
【００７８】
【数９】
【００７９】
次に、本実施形態に係る視線制御装置における視線検出部の動作について説明する。図１４は、本実施形態に係る視線制御装置における視線検出部の動作を示すフローチャートである。まず、カメラ１１で撮像された目の撮像情報を入力し（Ｓ１４１）、プルキニエ像を取得する（Ｓ１４２）。取得したプルキニエ像から角膜曲率半径を算出する（Ｓ１４３）。瞳孔中心を算出し（Ｓ１４４）、角膜曲率半径から角膜曲率中心を算出する（Ｓ１４５）。瞳孔中心と角膜曲率中心から視線方向を算出し（Ｓ１４６）、視線方向から注視点を求めて（Ｓ１４７）、視線検出部の処理を終了する。
【００８０】
以下、本実施形態に係る視線制御装置を用いた実験について説明する。測定機材は以下のものを使用する。
カメラ：１３０万画素の赤外カメラ
ＰＣ：ＣＰＵ１．６ＧＨｚ、メモリ１ＧＢ
赤外投光機：赤外線ＬＥＤ４８個、波長８５０ｎｍ
これらの機材を図１５のように設置する。
【００８１】
本実験においては、Ｌ＝１０００ｍｍ、ＨＣ＝６７０ｍｍ、ＨＴ＝１５０ｍｍ、ＨＤ＝３８０ｍｍとした。また、視線計測の際にカメラから取得した画像は、動画保存し、この動画を用いて精度検証を行った。
【００８２】
（１）角膜半径計測実験
図１６は、本実施形態に係る視線制御装置において角膜半径の計測結果を示すグラフである。図中のスパイクはプルキニエ像の誤検出によるものであり、これらは角膜半径の計測から除外できる。また、図中の２本のラインは、頭部がディスプレイ方向に±１．０ｃｍの移動があった場合に考えられる角膜曲率半径推定値の最大誤差である。このライン間に角膜曲率半径の真値があることを示す。実際の眼球回転角度推定に使う角膜曲率半径の推定値は、エッジ部分を除いた角膜曲率半径推定値の平均を使用する。この結果より、角膜曲率半径の値をＲ＝７．９２ｍｍとする。
【００８３】
（２）眼球回転角度測定実験
眼球角度検出精度確認実験では、頭部を簡易に固定した状態で、図１７に示すディスプレイ上に表示された５個の指標を順次見ることで、その推定精度の確認を行った。図１８（Ａ）は、角膜曲率半径の異なる眼球角度検出に対する推定結果である。このとき、角膜曲率半径をＲ＝７．９２ｍｍとした場合、Δｘｙ＝１．１２８である。測定された角膜曲率半径の付近が、最も眼球回転角度検出精度が高い。よって、角膜曲率半径の標準値を使うよりも、測定した角膜曲率半径を使用した方が眼球回転角度検出精度が向上(安定)することが確認できる。
【００８４】
また、頭部平行移動、及び回転による実測の視線推定結果の変化について調べた。図１８（Ｂ）〜図１８（Ｆ）にその結果を示す。ここでは、ｘ、ｙ、ｚの各方向への移動、及び回転（ｙ，ｚ軸周り）をそれぞれ調べた。図１８（Ｂ）においては、ｘ方向の頭部移動により発生した誤差は、ｘ方向にのみ影響を与えることがわかる。同様に図１８（Ｃ）及び（Ｄ）では、ｙ，ｚ方向の頭部移動により発生した誤差は、ｙ，ｚ方向にのみ影響を与えることが分かる。この原因は、奥行きを定数として与えているためであり、これを解決するには、頭部とカメラ間の距離がリアルタイムで測定できればよい。図１８（Ｅ）を見ると、ロール方向への頭部回転は推定精度に大きな低下が見られる。また、図１８（Ｆ）では、ヨー方向への頭部回転は、ある一定の範囲においては、推定精度に頭部回転の影響を見られず、ある範囲を超えると推定精度に大きな低下が見られた。これは、耳側ではなだらかに、鼻側で急峻に角膜曲率半径が大きくなるという人間の角膜形状に起因していると考えられる。角膜曲率半径の測定では、角膜曲率中心部から３．０〜５．０ｍｍの範囲で測定しているため、これを超えた場合に大きな精度低下が発生していると思われる。
【００８５】
ピッチ方向への頭部回転による推定精度への影響は、頭部の下向きの回転は、睫毛の影響が大きくなるため、瞳孔検出が困難になり（計測不能）、頭部の上向きの回転は、睫毛の影響が少なくなるため、瞳孔検出精度が向上するとの結果が得られている。このことから、測定時のカメラ位置は、頭部を見上げるような形で設置することが望ましい。本実施形態に係る視線検出装置においては、結果として、個人キャリブレーション無しにｘ方向に０．５７ｄｅｇ、ｙ方向に０．９８ｄｅｇ程度の誤差で眼球回転角度推定精度が得られた。
【００８６】
（本発明の第３の実施形態）
前記第１の実施形態における図１（Ｂ）では利用者のメガネにカメラを固定することとしたが、必ずしも利用者の一部（特に頭部）に固定しなくてもよい。その場合、利用者の頭部の動きによる視線方向の検出誤差を防止するために、頭部の姿勢を特定して視線方向の誤差を修正することも可能である。本実施形態においては、利用者の頭部が移動した場合であっても、視線方向を正確に検出する検出方法について説明する。
【００８７】
例えば、頭部の形状、目、角膜の位置検出のため、両目の両端、口の両端を取得画像から抽出する。目、及び口の両端から目、及び口の中心位置を決定し、両目、口の中心位置から定義される三角形の法線をもって頭部の姿勢を定義する。このとき、両目中心位置の中点に法線の基点を設定する。頭部の回転中心位置とカメラ位置との関係、及び頭部回転中心と定義した三角形との幾何学的関係から、視線方向の誤差を修正することができる。
【００８８】
本実施形態に係る視線制御装置のハードウェア構成は、図１と同じであるため省略する。ただし、第１のカメラ１１の位置は、メガネや頭部に固定する必要がなく、例えば電動車椅子１７に固定されてもよい。
【００８９】
図１９は、本実施形態に係る視線制御装置の機能ブロック図である。図２と異なるのは、頭部姿勢検出部３７を新たに備えることである。頭部姿勢検出部３７は、第１のカメラ１１が撮像した顔画像を用いて、複数の顔特徴の任意の点が形成する平面の法線を求め、その法線方向を頭部姿勢として求める。視線検出部３０は、頭部視線検出部３７が検出した頭部姿勢を考慮して視線方向の検出を行う。その他の処理部については、図２の場合と同じである。
【００９０】
本実施形態に係る視線制御装置においては、頭部姿勢を検出するために、３次元頭部姿勢モデルを用いる。３次元頭部姿勢モデルは、２次元の顔特徴から３次元頭部姿勢の変換に使用される。ここでは、目、まゆ、鼻、口のような顔の特徴が利用される。頭部はＸＹ、ＸＺ、ＹＺ平面で作られる。頭部姿勢はそれぞれの平面における回転角度θで定義される。このモデルを使うことで、３次元頭部姿勢を２次元画像のみで表現することができる。
【００９１】
頭部姿勢はθ（ｘ，ｙ，ｚ）で表される。図２０（Ａ）は、正面から見たＸＹ平面の頭部姿勢を示している。中心軸は口の底部で仮定される。頭の回転に基づいて、顔特徴の位置は中心軸に対して移動する。移動した顔特徴の位置は、顔特徴半径Ｒと回転角度θで決定される。図２０（Ｂ）は、側面から見たＹＺ平面の頭部姿勢を示している。頭部がうなずきの動作のように上下方向に回転した場合、顔特徴は中心軸に対するそれらの回転に基づいて移動する。図２０（Ｃ）に示すＸＺ平面についても同様の計算を行う。そして、それぞれに応じて２次元情報が３次元情報に変換される。
【００９２】
それぞれの平面における頭部回転を図２１に示す。一つの顔特徴がＰ（ｘ，ｙ）に位置し、半径Ｒ、初期角度θ0、中心軸Ｏ（０，０）とし、Ｐ（ｘ，ｙ）が中心軸に対して回転したときの位置Ｐ’（ｘ’，ｙ’）は、取得した２次元画像と３次元頭部姿勢モデルから計算される。以下の式（１０）の回転角度で位置が計算される。
【００９３】
【数１０】
これは、下記の式（１１）、（１２）で示すようにＹＺ平面、ＸＺ平面についても同じである。
【００９４】
【数１１】
【００９５】
【数１２】
【００９６】
全ての位置情報は画素座標システムにより定義される。したがって中心軸はＯ（ｘ，ｙ）座標で表され、顔特徴の位置はＰｉ（ｘ，ｙ）上にマッピングされる。式（１１）、（１２）で示すように、ピクセル座標から回転角度に変換することができる。
【００９７】
【数１３】
【００９８】
【数１４】
【００９９】
【数１５】
【０１００】
上記３次元頭部姿勢モデルに、以下に示す鳥瞰図を応用した頭部姿勢検出を組み合わせることで、３次元の頭部姿勢を検出することができる。鳥瞰図はあたかも鳥が観測者であるかのような視点から見た図である。鳥瞰図は、しばしば青写真、フロア設計、マップ等に使用される。これらのビューは、オブジェクトとカメラの距離に依存した異なるサイズの画像を取得できる。この鳥瞰図を頭部姿勢の推定に使用する。
【０１０１】
図２２は、頭部姿勢測定の鳥瞰図を示す。この座標は、ｄｘＵ＝ｄｘＤ、ｄｙＲ＝ｄｙＬである。しかしながら、これらの値は頭部姿勢の変化に応じて変わる。図２２（Ａ）に示すように、頭部が右方向に回転した場合、ｄｙＬがｄｙＲより大きくなる。同様に、図２２（Ｂ）に示すように、頭部が左方向に回転した場合、ｄｙＲがｄｙＬより大きくなる。同様に、頭部姿勢のピッチ方向を計算することができる。３次元頭部姿勢モデルと鳥瞰図とを組み合わせることで、頭部姿勢を容易に推定することができる。
【０１０２】
次に、目の動きについて説明する。目の位置を測定するために、いくつかのポイントが参考として必要である。両目の端部、アーチ、強膜、虹彩等が使用される。最もシンプルな方法は、虹彩の中心位置と両目の端部を使用して目の動きを推定することである。トラブルが発生し、もし片方又は両方の目の端部が検出できない場合、バックアップとして他の参照ポイントが必要である。強膜は虹彩の位置推定に使用される。虹彩は角膜の中心に位置しており、強膜の位置を通して推定される。もう一つの問題は利用者の動きである。片目が若干開かれている場合、目の向きは解決される。
【０１０３】
図２３に示す眼球運動モデルに基づいて視線方向が推定される。目の形状は楕円体の半径Ｒと視線角度αで形成される。目が正面を向いている場合、左右の視線角度αR、αLは同じである。したがって、３次元座標上での目の移動は、視線の推定角度のモデル結果から推定される。上下の視線αU、αDについても同様の方法で推定される。そして、目の動きの出力α（Ｒ，Ｌ，Ｕ，Ｄ）が推定される。
【０１０４】
次に、上記で求めた頭部の位置と目の動きから視線方向を推定する。視線推定の座標システムを図２４に示す。ベクトルＨは頭部姿勢、ベクトルＥは目の動きを示す。視線ベクトルは、頭部姿勢と目の動きベクトルの加算で推定される。
【０１０５】
画像処理を解析について説明する。利用者の動きを許容するために、頭部の位置と姿勢が推定される。顔特徴である目、目の端部、鼻の頭、口の端部は、取得した画像から検出され、追跡される。顔自体はよく知られているＶｉｏｌａ−Ｊｏｎｅｓ法に基づいて検出することができる。この方法は、比較的高速であり、状況の変化にロバストである。そして、目の位置は、形状ベース、外観ベース、混成ベースのＶｉｏｌａ−Ｊｏｎｅｓ法を基本として推定される。Ｖｉｏｌａ−Ｊｏｎｅｓ分類は、目を検出し、またＡｄａＢｏｏｓｔを使用する。Ｖｉｏｌａ−Ｊｏｎｅｓ分類システムを適用するために、ＯｐｅｎＣＶのＶｉｏｌａ−Ｊｏｎｅｓ関数を使用する。この関数を使用する前に、ＸＭＬファイルを生成し、顔又は目のイメージが収集される必要がある。それらは、ネガティブサンプルとポジティブサンプルとがあり、ネガティブサンプルはオブジェクトがないイメージに対応し、ポジティブサンプルはオブジェクトがあるイメージに対応する。イメージを取得した後、ＯｐｅｎＣＶは、顔の中心位置と目の中心位置を探す。
【０１０６】
一度、目が検出されると、Ｖｉｏｌａ−Ｊｏｎｅｓ法による目の追跡は必要ない。なぜなら、形態フィルタと一緒に使用されるテンプレートマッチングが、同じぐらい高速でロバストとなるからである。目の追跡プロセスでは、虹彩中心と目の端部が使用される。虹彩中心を探すために、テンプレートマッチングにおける相関係数Ｒcoeffを使用する。
【０１０７】
【数１６】
【０１０８】
【数１７】
Ｔ、Ｉはｘｙ座標におけるテンプレートとカレントイメージのピクセル位置を示す。相関係数Ｒcoeffは、照明状態の違いによる補正のために正規化されたテンプレートとカレントイメージの相関係数を示す。図２５が、座標システムにマッピングされた虹彩中心である。
【０１０９】
虹彩中心の検出に比べて、目の端部と口の端部との検出がかなり難しいため、目と口との輪郭を検出するガボールフィルタを採用する。ガボール関数は、ガウスエンベロープで変調された正弦波平面で定義される。このフィルタは指定されたパターンの検出に役立つ。２次元のガボールカーネルは、以下のように表される。
【０１１０】
【数１８】
σはガウス関数の変化、λは正弦関数の波長、θはガボール関数のストライプに対する通常の向き、γはガボール関数がサポートする楕円によって指定されたアスペクト比である。
【０１１１】
このフィルタを使う前に、まず分散、波長、方位、空間アスペクト比によってガボールカーネルを作る。ソースとガボールテンプレートイメージとの間の難解なプロセスによって、図２６に示すようなガボールイメージを取得できる。このように、ガボールフィルタを採用することで、２次元にエッジを検出することができ、アーク、円弧、楕円等のエッジを検出しやすくなる。
【０１１２】
なお、上述した視線方向の検出処理は、第２の実施形態に示す視線方向の検出処理を用いてもよい。つまり、本実施形態において求めた頭部姿勢と、第２の実施形態において求められる視線方向とから、視線方向を決定してもよい。
【０１１３】
また、第１の実施形態で示すように、第１のカメラ１１が利用者の頭部の一部に固定されている場合には、本実施形態における頭部姿勢の検出を行わずに、視線方向の検出のみを行うようにしてもよい。
【０１１４】
以下、本実施形態に係る視線制御装置を用いた実験について説明する。測定機材のハードウェアは、２．６６ＧＨｚのＣＰＵ、２ＧＢのメモリを有するコンピュータ、６４０×４８０ピクセルのＩＲカメラを使用した。
【０１１５】
図２７、及び図２８に本実施形態に係る視線制御装置を用いた実験結果を示す。図２７（Ａ）は目の検出処理時間を示すグラフである。本実施形態に係る視線制御装置の手法は、上述したように、Ｖｉｏｌａ−Ｊｏｎｅｓ法により一旦目を検出し、検出した目をテンプレートとしてテンプレートマッチングを行うことで、他の手法と比較して格段に処理速度が速くなっていることがわかる。その処理時間は８．２１ｍｓで１００％の成功率である。
【０１１６】
図２７（Ｂ）は、カーソルの安定性を示すグラフである。カーソルは照明条件、視線の虎視微動、アルゴリズムにより安定しない場合がある。グラフから、図２２の鳥瞰図において６点（両目の端部４点と口の端部２点）の場合が最も不安定となっている。これは、点が多いことから自由度が高くなり、複数の面が検出されてしまうためである。一方、２点（目の端部２点）の場合も安定しているが、２点は一意に面を特定することができないため、正確性の面で課題がある。したがって、一意に面を特定することができ、カーソルが安定する４点（両目の端部２点と口の端部２点）又は３点（両目の端部２点と口の中心１点）から鳥瞰図を検出するのがよいことがわかる。
【０１１７】
図２７（Ｃ）は、ブリンクモード（瞬きにより選択を決定するモード）とタイマーモード（注視により選択を決定するモード）のそれぞれにおいて、選択キーがヒットするまでの時間を示すグラフである。ここでは、２０個の異なるキーから、所定のキーを選択する場合のヒット時間を示している。グラフから、所定のキー数が少ない場合は、ブリンクモードのほうがヒット時間が短く、所定のキー数が多くなるとタイマーモードのほうがヒット時間が短くなっていることがわかる。このことから、利用者の使用状況に応じて、タイマーモードとブリンクモードの設定を変更できることが好ましい。
【０１１８】
図２７（Ｄ）は、表示画面の一例を示している。画面上には、顔画像、目周辺画像、プログラムのＲＵＮ状態を示す画面、キーボード、入力用のソフトが表示されており、利用者がキーボードの任意のキーを注視、又は視線を向けた状態で瞬きをすることにより、選択されたキーが入力され、入力用のソフトに記述される。
【０１１９】
図２８は、顔の姿勢角度の許容範囲を示す表である。図２８（Ａ）は２点で鳥瞰図を検出した場合、図２８（Ｂ）が４点で鳥瞰図を検出した場合、図２８（Ｃ）が６点で鳥瞰図を検出した場合のロール方向、ヨー方向、ピッチ方向のそれぞれの角度の許容範囲とカメラとの距離の許容範囲を示している。ロール方向とヨー方向についてはほぼ左右対称であり、ある程度の姿勢を許容できていることがわかる。ピッチ方向については、上向きの場合はよいが、下向きの場合の許容値が小さくなっている。これは、カメラを画面の上部に取り付けているためであると考えられる。
【０１２０】
したがって、カメラの固定位置を利用者に合わせて調整することで、ピッチ方向についても上下対象の角度を許容値として調整することができ、頭部姿勢の変化に対応することができる。ここで、前記第２の実施形態にも示したように、カメラを下方に設置すると睫毛の影響が大きくなるため、検出ができなくなることもあり、微妙な調整が必要となる。また、距離についても、例えば４点の場合には２５ｃｍから５４ｃｍまで許容するため、頭部姿勢がかなり変わった場合であっても視線を正確に検出できることがわかる。
【０１２１】
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。
【符号の説明】
【０１２２】
１ 視線制御装置
１０ ＰＣ
１１ （第１の）カメラ
１１ａ レンズ
１１ｂ ＬＥＤ
１２ 光源
１３ 第２のカメラ
１４ 超音波センサ
１５ ＵＳＢインタフェース
１６ 車椅子制御装置
１７ 電動車椅子
２１ 入力部
２２ プルキニエ像取得部
２３ 角膜曲率半径算出部
２４ 角膜曲率中心算出部
２５ 瞳孔中心算出部
２６ 視線方向決定部
３０ 視線検出部
３１ 動作指令解析部
３２ 対応情報部
３３ 駆動部
３４ 障害物検出部
３５ 瞳孔変化解析部
３６ 対応情報補正部
４０ 視線制御部
【技術分野】
【０００１】
本発明は、視線により制御対象物の駆動を制御する視線制御装置等に関する。
【背景技術】
【０００２】
視線方向の推定を利用して制御対象物（例えば、車椅子等）を制御する技術が開示されている（特許文献１、非特許文献１を参照）。
また、人間の眼球運動を検出する手法として様々な方法が知られているが、視線推定原理、眼球運動検出法により、以下のように大別できる。（１）リンバストラッキング法：黒目（虹彩）、角膜と白目、強膜の反射率の相違を利用する方法（非特許文献２を参照）。（２）角膜反射法：角膜前面、後面、水晶体前面、後面の屈折率の異なる面からの近赤外波長域反射像（プルキニエ像）の最も明るい像を用いる方法（非特許文献３を参照）。（３）ＥＯＧ（Electrooculography）法：電極を眼球付近に貼り付け、角膜におけるプラス電位と網膜におけるマイナス電位の電位差を利用する方法（非特許文献４を参照）。（４）サーチコイル法：コイルを内臓したコンタクトレンズを装着した利用者を磁界中に置き、眼球運動によりコイルと磁界の角度によって発生する電位差を用いる方法（非特許文献５を参照）。（５）Fundus Haploscope法：赤外波長域における眼底写真撮像装置を用いて眼底を直接観察する方法（非特許文献６を参照）。（６）画像解析法：眼球を撮像し、瞳孔中心を画像処理法によって検出する方法。
【０００３】
（１）、（３）、（４）、及び（５）の方法は、視線推定精度が高いが、接触型であるため利用者に身体的、心理的な負担を強いることになる。また、システムが高価になってしまう。（６）は比較的安価であり、画像解析手法の高度化に伴い発達しているが、推定制度が低いという問題がある。（２）のプルキニエ像を利用した眼球運動検出法によれば、非接触型で安定的に高精度な眼球運動を検出できる。
【０００４】
これらの先行技術では、典型的な眼球モデルを仮定したものが多く、眼球サイズ等のあらゆるパラメータを定数として眼球運動推定を行っている。そのため、眼球形状の個人差により誤差を生じ、高い眼球運動計測推定精度は望めない。この問題に対し、キャリブレーションにより個人差を除去する補正作業を利用者に強いているが、キャリブレーション作業には習熟と時間が必要となるため、利用者にとって大きな負担となる。
【０００５】
また、眼球回転中心座標と瞳孔中心とを結ぶ線を視線として視線測定を行う技術が開示されている（非特許文献７を参照）。これは、眼球回転中心座標を、視線測定前に眼球を種々の方向に動かすことにより求めている。そうすることで、指標を提示する必要がなく、あらゆる場所で視線計測が可能であるが、準備に時間が掛かり、頭部移動を許容できないといった問題がある。
【０００６】
さらに、角膜曲率中心（又は角膜球中心）座標と瞳孔中心とを結ぶ線を視線として視線測定を行う技術が開示されている（非特許文献８、特許文献２を参照）。角膜曲率中心（又は角膜球中心）座標は、一点光源とカメラを設置することで、一般的な角膜曲率半径（角膜球半径）値を利用して求めている。しかし、これらの方法は、人の典型的な眼球形状等のモデルを仮定しているため、視線方向推定に少なからず誤差が残り、キャリブレーションにより視線の補正作業をしなければならない。
【０００７】
さらにまた、ステレオカメラ、及び２つの光源を用いることにより両目の視線を同時推定する方法（特許文献３を参照）や２つの光源により利用者の角膜曲率中心を求め、眼球回転中心を推定する方法（非特許文献９を参照）が開示されている。前者は視線方向のみならず両目の視線推定（三次元計測）から得られる視線の先の視点を推定するものであり、視線推定には瞳孔中心と角膜反射中心を用いている。後者は角膜曲率中心を２つのプルキニエ像を用いて推定し、３点の指標を利用者に注視してもらい、眼球回転中心を推定し、これらを結ぶ視線を推定する方法であり、模型眼を用いた実験によって精度を検証している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２００４−５０４６８４号公報
【特許文献２】特開２００５−２５３７７８号公報
【特許文献３】特開２００５−１９８７４３号公報
【非特許文献】
【０００９】
【非特許文献１】松本吉央, 伊野智行, 小笠原司:“顔と視線情報による電動車椅子の走行支援システム”, 電気学会システム・制御研究会資料, 2001
【非特許文献２】K.Abe, S.Ohiamd M.Ohyama: "An Eye-gaze Input Sys-tem based on the Limbus Tracking Method by Image Analysis for Seriously Physically Handicapped People", 7th ERCIMWorkshop"User Interface for All "Adjunct Proc.,185-186,2002.
【非特許文献３】池田光男、資格の心理物理学、森北出版、1975.
【非特許文献４】久野悦章，八木透，藤井一幸，古賀一男，内川嘉樹：“ＥＯＧを用いた視線入力インターフェースの開発”，情報処理学会論文誌，39，5, 1455-1462, 1998.
【非特許文献５】D.A.Robinson: "A method of measuring eye movement using a sclera search coil in a magnetic field",IEEE Trans. on Biomedical Electronics, 10, 137-145, 1963.
【非特許文献６】http://webvision.med.utah.edu/
【非特許文献７】松田圭司, 永見武司, 山根茂," 視線位置計測システムの開発"信学技法TL2002-2、2000.
【非特許文献８】大野健彦, 武川直樹, 吉川厚:“眼球形状モデルに基づく視線推定法”, 第8回画像センシングシンポジウム,pp.307-312、2002.
【非特許文献９】田中宏明、疋田真一、笠井健、竹田仰、“二光源を用いた角膜曲率中心位置計測による視線検出法”、信学論誌、108,479、MBE2008-128,117-180,2009.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献１に示す技術は、顔の動作と視線とに基づいて車椅子を制御する技術であるが、例えばＡＬＳ（amyotrophic lateral sclerosis：筋萎縮性側索硬化症）患者のように視線を動かすことはできるが、頭部を動かすことができないような人への適用ができないという課題を有する。
【００１１】
特許文献１に示す技術は、頭部姿勢と視線方向を車椅子の操縦に使用することが示唆されているが、具体的な手段が記載されておらず、車椅子の制御に関して不十分な技術であるという課題を有する。また、少なくとも２つの視点から顔、及び頭部の画像を取得する必要があるため、カメラが２台必要になり、装置が大型化してしまう可能性がある。さらに、少なくとも２つの画像に対して画像処理や解析処理を行う必要があるため、処理が低速で複雑になるという課題を有する。
【００１２】
非特許文献２〜８、及び特許文献２に示す技術については、上述したような問題点を抱えるものである。また、特許文献３に示す技術は、ステレオカメラで両目の視線を推定しているため、装置が大型化してしまうという課題を有する。さらに、頭部の姿勢を推定する必要があるため、頭部が安定しないような車椅子上での制御は困難性を有するものとなってしまう。さらにまた、非特許文献９に示す技術は、３点の指標を利用者に注視してもらう必要があり、利用者に負担を強いることになってしまうという課題を有する。
【００１３】
そこで、本発明は視線方向を検出することで制御対象物（例えば、車椅子等）の動作を制御する視線制御装置を提供する。また、提供する視線制御装置は、利用者に強いる負担を取り除き、瞳孔中心と角膜曲率中心とから正確な視線方向を検出することができる。
【課題を解決するための手段】
【００１４】
（１）本願に開示する視線制御装置は、視線方向に基づいて制御対象物を制御する視線制御装置であって、前記視線方向を検出する視線方向検出手段と、前記視線方向と前記制御対象物の動作指令とを対応付ける対応情報を記憶する対応情報記憶手段と、前記対応情報記憶手段が記憶する対応情報、及び前記視線方向検出手段が検出する視線方向に基づいて、制御対象物の動作指令を解析する動作指令解析手段と、前記動作指令解析手段が解析した結果に基づいて、前記制御対象物を駆動する駆動手段とを備えることを特徴とするものである。
【００１５】
このように、本願に開示する視線制御装置は、前記検出される視線方向と制御対象物の動作指令との対応情報に基づいて制御対象物を駆動するため、制御対象物を視線入力に基づいて正確に駆動することができ、例えばＡＬＳ患者のように視線しか動かせない人であっても、利用者が意図する制御対象物の動作を視線のみで実現することができるという効果を奏する。
【００１６】
（２）本願に開示する視線制御装置は、前記制御対象物が電動車椅子であり、前記対応情報記憶手段が、前記視線方向が下方向の場合に対応する動作指令を前進加速として前記対応情報を記憶することを特徴とするものである。
【００１７】
このように、本願に開示する視線制御装置は、制御対象物が電動車椅子であるため、肢体が不自由で、例えばＡＬＳ患者のように視線しか動かせない人であっても、視線のみで電動車椅子を制御し、自分で移動することができるという効果を奏する。また、視線方向が下方向の場合に対応する動作指令が前進加速であるため、前進加速時に特に注意が必要な通路の状態や安全性の確認を下方向の視線で行いながら前進加速することができるため、安全で使いやすい視線制御を実現することができるという効果を奏する。
【００１８】
（３）本願に開示する視線制御装置は、前記対応情報記憶手段が、前記視線方向が右方向の場合に対応する動作指令を右転回とし、前記視線方向が左方向の場合に対応する動作指令を左転回とし、前記視線方向が正面方向の場合に対応する動作指令を前進とし、前記視線方向がその他の場合に対応する動作指令を停止として、前記対応情報を記憶することを特徴とするものである。
【００１９】
このように、本願に開示する視線制御装置は、視線方向が右方向の場合に右転回とし、視線方向が左方向の場合に左転回とし、視線方向が正面方向の場合に前進とし、視線方向がその他の場合に停止とするため、進行方向と視線方向が合致して車椅子の制御がし易くなると共に、停止の視線方向を多くの領域で設定することで、安全性を配慮した車椅子の制御を行うことができるという効果を奏する。
【００２０】
（４）本願に開示する視線制御装置は、前記制御対象物の少なくとも前方を撮像する撮像手段と、前記撮像手段が撮像した撮像情報に基づいて障害物を検出する障害物検出手段とを備え、前記駆動手段が、前記障害物検出手段が障害物を検出した場合に、前記制御対象物の動きを停止することを特徴とするものである。
【００２１】
このように、本願に開示する視線制御装置は、制御対象物の少なくとも前方を撮像し、撮像情報から障害物を検出した場合に制御対象物の動きを停止するため、障害物と制御対象物との接触を防止し、制御対象物の故障防止や制御対象物を操作する人の安全性を確保することができるという効果を奏する。
【００２２】
（５）本願に開示する視線制御装置は、前記制御対象物の少なくとも前方に超音波を発振して障害物との距離を測定する超音波センサを備え、前記駆動手段が、前記障害物センサが検知した障害物との距離が所定の長さ以下の場合に、前記制御対象物の動きを停止することを特徴とするものである。
【００２３】
このように、本願に開示する視線制御装置は、制御対象物の少なくとも前方の障害物を超音波センサにより検知して制御対象物の動きを停止するため、例えば障害物が透明であるような場合であっても、確実に障害物を検知して、制御対象物の故障や制御対象物を操作する人の安全性を確保することができるという効果を奏する。
【００２４】
（６）本願に開示する視線制御装置は、瞳孔の大きさを検出する瞳孔サイズ検出手段と、前記瞳孔サイズ検出手段が検出した瞳孔の大きさに基づいて、瞳孔のサイズの変化を解析する瞳孔変化解析手段とを備え、前記駆動手段が、前記瞳孔変化解析手段が解析した瞳孔のサイズの変化に基づいて、前記制御対象物の動きを停止することを特徴とするものである。
【００２５】
このように、本願に開示する視線制御装置は、瞳孔のサイズの変化に基づいて、制御対象物の動きを停止するため、例えば急に障害物が現れて瞳孔が開いたような場合には、その瞳孔の変化から制御対象物を停止して、障害物との接触を防止することができるという効果を奏する。
【００２６】
（７）本願に開示する視線制御装置は、瞳孔の大きさを検出する瞳孔サイズ検出手段と、前記瞳孔サイズ検出手段が検出した瞳孔の大きさに基づいて、瞳孔のサイズの変化を解析する瞳孔変化解析手段とを備え、前記瞳孔変化解析手段が解析した瞳孔のサイズの変化に基づいて、前記対応情報記憶手段が記憶する前記視線方向と制御対象物の動作指令との対応情報を補正する対応情報補正手段を備えることを特徴とするものである。
【００２７】
このように、本願に開示する視線制御装置は、瞳孔のサイズの変化に基づいて、視線方向と制御対象物の動作指令との対応情報を補正するため、例えば瞳孔のサイズの変化から危険度を求め、その危険度に応じて停止の領域を大きくする等の補正を行うことで、環境に応じた対応情報を得ることができるという効果を奏する。
【００２８】
（８）本願に開示する視線制御装置は、視線方向検出手段が、少なくとも眼球方向を撮像するカメラと、少なくとも眼球方向に光を照射する複数の光源と、前記光源が照射した光により得られる角膜表面上の複数のプルキニエ像に基づいて、角膜曲率半径を算出する角膜曲率半径算出手段と、前記角膜曲率半径算出手段が算出した角膜曲率半径、前記カメラの位置、及び前記光源の位置に基づいて、角膜曲率中心を算出する角膜曲率中心算出手段と、前記光源が照射した光の反射の有無に基づいて瞳孔領域を抽出し、楕円近似により瞳孔の中心を算出する瞳孔中心算出手段と、前記瞳孔中心算出手段が算出した瞳孔中心、及び前記角膜曲率中心算出手段が算出した角膜曲率中心を通るベクトルを視線方向として決定する視線方向決定手段とを備えることを特徴とするものである。
【００２９】
このように、本願に開示する視線制御装置は、複数の光源により角膜表面から得られるプルキニエ像を利用して角膜曲率半径を正確に算出し、角膜曲率半径から角膜曲率中心を算出するため、正確な角膜曲率中心を求めることができ、視線方向の検出を従来にはない高精度で行うことができると共に、キャリブレーション等の手間を省いて利用者の負担を軽減した視線検出を行うことができるという効果を奏する。
【００３０】
（９）本願に開示する視線制御装置は、前記光源が少なくとも近赤外線を照射し、前記カメラが少なくとも近赤外線の感度分布を持つカメラであることを特徴とするものである。
このように、本願に開示する視線制御装置は、光源が少なくとも近赤外線を照射し、カメラが少なくとも近赤外線の感度分布を持つカメラであるため、照明環境に関係なくどのような場所であっても、正確に視線方向を検出することができるという効果を奏する。
【００３１】
（１０）本願に開示する視線制御装置は、前記カメラが、前記制御対象物を操作する人の一部に固定されていることを特徴とするものである。
このように、本願に開示する視線制御装置は、カメラが制御対象物を操作する人の一部に固定されているため、車椅子のような移動体で顔の位置が不安定になる場合であっても、安定的に目を捉えて正確な視線方向を検出することができるという効果を奏する。
【００３２】
（１１）本願に開示する視線制御装置は、顔画像から複数の顔特徴を抽出する顔特徴抽出手段と、前記顔特徴抽出手段が抽出した各顔特徴における特徴点を決定する特徴点決定手段と、前記特徴点で形成される平面の法線方向を決定する法線方向決定手段とを備え、前記視線検出手段が検出した視線方向、及び前記法線決定手段が決定した法線方向に基づいて、視線方向を決定することを特徴とするものである。
【００３３】
このように、本願に開示する視線制御装置は、顔特徴点が形成する平面の法線方向を顔の向きとして頭部姿勢を求め、視線方向と頭部姿勢とに基づいて視線方向を決定するため、カメラと頭部との動きが一体的ではなく、利用者が頭部を動かしたような場合であっても、視線の方向を正確で安定的に検出することができるという効果を奏する。
これまで、本発明を装置として示したが、所謂当業者であれば明らかであるように本発明を方法、及び、プログラムとして捉えることもできる。
【図面の簡単な説明】
【００３４】
【図１】第１の実施形態に係る視線制御装置のハードウェア構成図である。
【図２】第１の実施形態に係る視線制御装置の機能ブロック図である。
【図３】第１の実施形態に係る視線制御装置における対応情報の一例を示す図である。
【図４】第１の実施形態に係る視線制御装置の動作を示すフローチャートである。
【図５】第２の実施形態に係る視線制御装置のハードウェア構成図である。
【図６】第２の実施形態に係る視線制御装置の機能ブロック図である。
【図７】第２の実施形態に係る視線制御装置における光源、カメラ、及び目の幾何学的な関係を示す図である。
【図８】第２の実施形態に係る視線制御装置において２つの光源に対応するプルキニエ像の一例を示す図である。
【図９】暗瞳孔法、及び明瞳孔法の処理を示す図である。
【図１０】楕円の特徴パラメータを示す図である。
【図１１】楕円パラメータの定義を示す図である。
【図１２】第２の実施形態に係る視線制御装置における目のイメージに基づく楕円近似の方法を示す図である。
【図１３】第２の実施形態に係る視線制御装置における光源、目、角膜の位置関係を示す図である。
【図１４】第２の実施形態に係る視線制御装置の動作を示すフローチャートである。
【図１５】第２の実施形態に係る視線制御装置を用いた実験機材の設置図である。
【図１６】第２の実施形態に係る視線制御装置において角膜半径の計測結果を示すグラフである。
【図１７】第２の実施形態に係る視線制御装置において眼球角度検出精度確認実験で使用するディスプレイを示す図である。
【図１８】第２の実施形態に係る視線制御装置において実験結果を示す表である。
【図１９】第３の実施形態に係る視線制御装置の機能ブロック図である。
【図２０】３次元頭部姿勢モデルを示す図である。
【図２１】３次元頭部姿勢モデルにおける各平面の頭部回転を示す図である。
【図２２】第３の実施形態に係る視線制御装置に用いる鳥瞰図を示す図である。
【図２３】目の動作モデルを示す図である。
【図２４】第３の実施形態に係る視線制御装置における頭部姿勢を示す座標と視線方向を示す座標との関係を示す図である。
【図２５】第３の実施形態に係る視線制御装置において目の決定と追跡を示す図である。
【図２６】第３の実施形態に係る視線制御装置においてガボールフィルタにより目と口のコーナーの検出を示す図である。
【図２７】第３の実施形態に係る視線制御装置の実験結果を示す第１の図である。
【図２８】第３の実施形態に係る視線制御装置の実験結果を示す第２の図である。
【発明を実施するための形態】
【００３５】
以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。従って、本実施形態の記載内容のみで本発明を解釈すべきではない。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。
【００３６】
以下の実施の形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明は方法、及び、コンピュータを動作させるためのプログラムとしても実施できる。また、本発明はハードウェア、ソフトウェア、または、ハードウェア及びソフトウェアの実施形態で実施可能である。プログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光記憶装置、または、磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。
【００３７】
（本発明の第１の実施形態）
本実施形態に係る視線制御装置について、図１ないし図４を用いて説明する。本実施形態に係る視線制御装置は、視線方向を検出し、検出した視線方向で制御対象物を駆動制御するものである。なお、ここでは、電動車椅子を制御対象物として説明するが、これに限らず、移動体（ロボット等の遠隔操作も含む）等の制御であれば実施することができる。
【００３８】
図１は、本実施形態に係る視線制御装置のハードウェア構成図である。図１（Ａ）に示すように、視線制御装置１は、少なくとも利用者の片方の目を撮像する第１のカメラ１１と、少なくとも電動車椅子１７の前方を撮像する第２のカメラ１３と、少なくとも電動車椅子１７の前方に超音波を照射する超音波センサ１４と、視線方向を決定して電動車椅子１７の駆動制御信号を、ＵＳＢインタフェース１５を介して車椅子制御装置１６に出力するＰＣ１０と、車椅子制御装置１６の駆動信号に応じて駆動する電動車椅子１７とを備える。
【００３９】
ＰＣ１０は、視線方向を検出し、検出した視線方向に対応する駆動指令の信号を出力すると共に、第２のカメラ１３が撮像した情報、及び超音波センサ１４の情報に基づいて障害物を検知し、駆動指令の信号を出力する。視線方向の検出は第１のカメラ１１が撮像した撮像情報に基づいて行うが、ここでは、例えば、上記先行技術文献に示す各文献に記載された方法や下記の第２、第３の実施形態に示す方法等、様々な方法を適用することができる。
なお、図１において、点線で示す構成は必要に応じて備えても備えなくてもよい。
【００４０】
図１（Ｂ）は、各ハードウェアの使用態様を示す。第１のカメラ１１と第２のカメラ１３とは、利用者のメガネに固定されており、互いに相反する方向を撮像しているため、一方は常時安定して利用者の目を固定箇所で撮像することができ、他方は利用者の目線で前方方向を撮像することができる。なお、それぞれのカメラは必ずしもメガネに固定されなくてもよいが、第１のカメラ１１は、利用者の頭部の移動に対応して目を安定的に撮像できる箇所、つまり頭部の一部に固定されてもよく、第２のカメラ１３は、電動車椅子１７の前方を撮像できる位置であればどこでもよい。また、各ハードウェアは、図示しないが接続線、又は無線により通信可能な状態で接続されている。
【００４１】
図２は、本実施形態に係る視線制御装置の機能ブロック図である。視線制御部４０の機能は、図１におけるＰＣ１０が備えるＣＰＵ、メモリ、ハードディスク、各種インタフェース等により実現される。視線制御部４０は、視線検出部３０と動作指令解析部３１と対応情報部３２と駆動部３３と障害物検出部３４と瞳孔変化解析部３５と対応情報補正部３６とを備える。
【００４２】
視線検出部３０は、上述したように、様々な方法により電動車椅子１７の利用者の視線方向を検出する。動作指令解析部３１は、視線検出部３０が検出した視線方向に対応する車椅子の駆動動作を、対応情報部３２に基づいて解析する。ここで、対応情報部３２に格納される視線方向と制御対象物の動作指令とを対応付けた対応情報について説明する。
【００４３】
図３は、本実施形態に係る視線制御装置における対応情報の一例を示す図である。図３（Ａ）の視線方向と図３（Ｂ）の動作指令コマンドが対応している。ここでは、視線を下方向に向けた場合に前進加速の動作指令が実行される。車椅子において、前進を始める際には、利用者は安全性を確保するためにどうしても下方向（車椅子の足元等）を注視する傾向にあるため、このような対応付けを行うことでスムーズな操作が可能となる。同様に、右方向、左方向はそれぞれ右折、左折に対応し、正面は前進に対応する。また、それ以外の領域の場合は、停止に対応している。停止の領域を多くすることで停止し易い操作となり、安全性を高めることができる。各視線方向に対応する動作指令コマンドの領域には所定の大きさが設定されており、視線方向がその領域内に検出された状態で動作指令の決定指示が入力されると、その動作指令に応じて電動車椅子が駆動する。
【００４４】
なお、動作指令の決定は、２つのモードで行うことができる。一方は、その方向を注視することを決定とするモードである。所定時間ある一定の方向を注視している場合に、その視線方向の動作指令が決定される。他方は、瞬きを検知して決定とするモードである。通常、目の乾燥を防止するために自然に行われる瞬きは０．５秒程度である。したがって、意図的に瞬きしたと判断できる０．７秒程度の瞬きを検知した場合に、その視線方向の動作指令が決定される。
【００４５】
図２に戻って、駆動部３３は、動作指令解析部３３が解析した結果に基づいて、その動作指令を実行するための駆動信号を出力する。障害物検出部３４は、第２のカメラ１３が撮像した撮像情報を解析して、電動車椅子１７の進行方向の障害物を検出すると共に、超音波センサ１４から送られる信号に基づいて、電動車椅子１７の進行方向の障害物を検出する。特に、画像処理により検出されにくい障害物（例えば、ガラスのような透明体）については、超音波センサ１４により検出される。具体的には、超音波センサ１４からの信号により障害物との距離を測定し、その距離が所定の値以下（ある距離以上近づいた）の場合に、障害物が検出されたと判断することができる。
【００４６】
瞳孔変化解析部３５は、第１のカメラ１１が撮像した利用者の目における瞳孔の大きさの変化を解析する。例えば、人の目は驚いた場合に瞳孔が大きく変化する。瞳孔変化解析部３５はその変化の度合いを解析し、利用者の周囲の状況（例えば、急な障害物の有無等）を推定する。瞳孔変化解析部３５の解析結果に基づく対応には２つのモードがあり、１つは、駆動部３３に直接停止の駆動信号を出力し電動車椅子１７を停止される。もう１つは、対応情報補正部３６が対応情報部３２に格納されている対応情報を補正する。補正は、例えば図３の対応情報において、各定義された視線方向の領域を小さくし、停止の動作指令を示す領域を大きくする。そうすることで、電動車椅子１７が停止しやすい操作となり安全性を確保することができる。
【００４７】
なお、予め上記に示す２つのモードの一方のみを選択するようにしてもよいし、瞳孔変化解析部３５が解析した結果に基づいて、モードの設定を行うようにしてもよい。例えば、瞳孔の変化が大きい場合は、驚きの度合いも大きいと判断できるため、無条件に電動車椅子１７を停止するが、瞳孔の変化が小さい場合は、少しの驚きであると判断し、無条件に電動車椅子１７を停止するのではなく、対応情報を補正して停止しやすい対応情報に変更してもよい。
また、図２において、点線で示す処理部は必要に応じて備えても備えなくてもよい。
【００４８】
次に、本実施形態に係る視線制御装置の動作について説明する。図４は、本実施形態に係る視線制御装置の動作を示すフローチャートである。まず、第１のカメラ１１で撮像された利用者の目の撮像情報を入力し（Ｓ４１）、視線方向を検出する（Ｓ４２）。対応情報を参照して、動作指令を解析する（Ｓ４３）。解析された動作指令に対応する車椅子の駆動信号を出力する（Ｓ４４）。第２のカメラ１３が撮像した撮像情報から異常の有無を判定する（Ｓ４５）。異常があれば、車椅子の駆動を停止する駆動信号を出力して（Ｓ５０）、処理を終了する。異常がなければ、超音波センサからの信号により異常の有無を判定する（Ｓ４６）。異常があれば、車椅子の駆動を停止する駆動信号を出力して（Ｓ５０）、処理を終了する。異常がなければ、瞳孔の変化があるかどうかを判定する（Ｓ４７）。瞳孔の変化がなければ処理を終了する。瞳孔の変化があればモードを判定し（Ｓ４８）、停止モードである場合は、車椅子の駆動を停止する駆動信号を出力して（Ｓ５０）、処理を終了する。補正モードである場合は、対応情報を車椅子が停止しやすい情報に補正して（Ｓ４９）、処理を終了する。
なお、上記処理は車椅子の制御中に常時繰り返して実行され、車椅子の制御を辞めた時点で処理を終了するものである。
【００４９】
（本発明の第２の実施形態）
前記第１の実施形態における視線検出部３０の視線検出処理について、キャリブレーションなしに、正確な視線検出を行う方法について説明する。キャリブレーションが必要である利用として以下の４つが考えられる。（１）眼球及び角膜形状が複雑（耳側ではなだらかに、鼻側で急峻に角膜曲率半径が大きくなる）なため、角膜の曲率径を測定した程度では角膜面を再現できない、（２）カメラ光学系の歪曲収差、（３）角膜表面における屈折、（４）眼球中心に対する中心窩のずれ。本実施形態に係る視線検出処理においては、キャリブレーションなしに、ｘ方向に０．５７ｄｅｇ、ｙ方向に０．９８ｄｅｇ程度の誤差で視線方向の検出精度が得られた。
【００５０】
視線は中心窩、水晶体(レンズ)の節点、対象点を結ぶ直線であるが、これらの位置特定は困難なため、本実施形態においては角膜曲率中心と瞳孔中心を貫く方向を視線方向として定義する。この定義による視線方向は本来の定義である視線方向とは本質的に異なる。その相違は、眼球半径、角膜曲率等の個人差に依存する。本実施形態では、キャリブレーションを行うことなく、パラメータを正確に取得して演算することで個人差に依存しない相対精度の高い視線方向の検出を実現する。
【００５１】
本実施形態に係る視線制御装置における視線検出部の処理について、図５ないし図１８を用いて説明する。図５は、本実施形態に係る視線制御装置のハードウェア構成図である。図５（Ａ）に示すように、視線制御装置１は、少なくとも利用者の片方の目を撮像するカメラ１１と、複数の光源１２と、カメラ１１、及び光源１２に基づいて視線方向を演算して決定するＰＣ１０とを備える。カメラ１１と光源１２は、図５（Ｂ）に示すように一体的であってもよい。図５（Ｂ）において、レンズ１１ａを中心として複数のＮＩＲ（Ｎｅａｒ ＩｎｆｒａＲｅｄ：近赤外）ＬＥＤ１１ｂが備えられており、ＬＥＤ１１ｂの照射光によりプルキニエ像を作り出す。ＰＣ１０では、プルキニエ像から角膜曲率中心を算出し、算出した角膜曲率中心と瞳孔中心とを結ぶ直線を視線方向として決定する。
【００５２】
なお、ここでは必要最小限の構成のみを記載しているが、例えば前記第１の実施形態に示す電動車椅子の制御に用いる場合には、図１のハードウェア構成に光源１２が追加されたものとなる。また、図５に示す視線制御装置１を、視線方向を検出する機能のみを有する視線検出装置として捉えてもよい。
【００５３】
図６は、本実施形態に係る視線制御装置における視線検出部の機能ブロック図である。視線検出部３０の機能は、図５におけるＰＣ１０が備えるＣＰＵ、メモリ、ハードディスク、各種インタフェース等により実現される。視線検出部３０は、入力部２１とプルキニエ像取得部２２と角膜曲率半径算出部２３と角膜曲率中心算出部２４と瞳孔中心算出部２５と視線方向決定部２６とを備える。
【００５４】
入力部２１は、カメラ１１で撮像された目の画像を入力する。プルキニエ像取得部２２は、入力された目の画像からプルキニエ像を取得する。角膜曲率半径算出部２３は、取得したプルキニエ像を利用して角膜曲率半径を算出する。ここで、プルキニエ像取得部２２、及び角膜曲率半径算出部１２の処理について説明する。
【００５５】
図７は、本実施形態に係る視線制御装置における光源、カメラ、及び目の幾何学的な関係を示す図である。角膜曲率推定に用いるプルキニエ像はそれが現れる場所によって第１から第４まで存在する。第１プルキニエ像は角膜前面における反射であり、以下角膜後面、水晶体前面、水晶体後面における反射を第２から第４プルキニエ像と呼ぶ。これらのうち、最も反射光量の大きいプルキニエ像は第１プルキニエ像である。そこで、本実施形態においては、２つの光源からの２つの最も反射光量の大きな第１プルキニエ像を用いる。図７に示すように２つの光源からの角膜表面における反射像（以下、これを単にプルキニエ像と表記する）は、光源位置、角膜曲率中心、カメラ光学系開口中心のなす角を２等分する直線上の角膜表面に位置する。したがって、次式により角膜曲率半径ｒEを表すことができる。
【００５６】
【数１】
Ｌは光源間の距離、Ｈはカメラと眼球間の距離、ｇは２つの光源に対応するプルキニエ像間の距離である。
【００５７】
これら光源間距離、カメラと眼球間の距離は設定値であり、２つのプルキニエ像間の距離はカメラにて取得する眼球周辺画像から計測する。したがって、角膜曲率半径は推定できる。また、Ｌ、Ｈ、ｇの設定、及び計測値から角膜曲率中心位置も推定可能である。このとき、Ｌ、Ｈは設定値であり、角膜曲率半径、及び中心位置の推定精度はその設定値からのずれ、及びｇの計測誤差に依存する。Ｌは設定値からのずれが些少であるが、Ｈは利用者の頭部の前後移動によって変化する可能性が高い。式（１）から利用者の頭部の前後移動に比例して角膜曲率半径が変化することが分かる。
【００５８】
次にｇの推定誤差要因について検討する。図８は、本実施形態に係る視線制御装置において２つの光源に対応するプルキニエ像の一例を示す図である。プルキニエ像は角膜表面に複数結像するため、これらの中から２つの光源に対応する第１プルキニエ像のみを抽出する。まず、プルキニエ像はその周囲に比較して反射輝度が高いため（図８（Ａ）を参照）、取得画像中の高輝度を示す画素を抽出し、第１プルキニエ像の候補とする（図８（Ｂ）を参照）。図８の例では４つの候補が抽出される。第１プルキニエ像は瞳孔付近に存在するので、瞳孔に最も近い位置に存在する２つのプルキニエ候補を抽出し、２つの光源に対応する２つの第１プルキニエ像とする（図８（Ｃ）を参照）。当該２つの第１プルキニエ像の画素重心をそれぞれ求め、当該重心間距離をもって２つの第１プルキニエ像間距離ｇとする（図８（Ｄ）を参照）。図８（Ｄ）における＋印は推定した２つの第１プルキニエ像の重心位置を示す。
【００５９】
図６に戻って、瞳孔中心算出部２５は、瞳孔中心を算出する。以下に、その算出方法について説明する。まず、瞳孔は楕円であると仮定する。瞳孔の中心座標を求めるために瞳孔領域を楕円で近似することにより、その楕円の中心を瞳孔の中心座標とする。瞳孔領域を楕円で近似するための手順を以下に示す。
（１）以下に示す暗瞳孔法により、仮の瞳孔領域を抽出する。
（２）仮瞳孔領域に対して、ｋ平均法クラスタリング（宮本定明「クラスター分析入門ファジィクラスタリングの理論と応用」森北出版株式会社、１９９９を参照）により、余分部分(個体数の少ないクラスタ)を除去する。
（３）余分部分除去後の領域からエッジを抽出する。
（４）当該エッジに対して、楕円の性質を利用した方法により、瞳孔輪郭サンプル点を抽出する。
（５）瞳孔輪郭サンプル点に対して、最小二乗法により楕円近似を行う。
（６）楕円の中心座標を、瞳孔中心座標とする。
【００６０】
ここで暗瞳孔法について説明する。図９は、暗瞳孔法、及び明瞳孔法の処理を示す図である。図９（Ａ）に示す暗瞳孔とは、カメラのレンズ光軸から離れた位置に照明器を設置して眼球を照明すると、照明された眼球の瞳孔部分は光の反射がなくなり、カメラでとらえられた眼球画像の瞳孔部分は暗くなるという性質を利用したもので、画像処理でこの暗い部分を抽出する。逆に図９（Ｂ）に示す明瞳孔法とは、カメラのレンズ光軸と照明の光軸を同軸にして眼球を照明すると、網膜上の光の反射により、カメラでとらえた眼球の瞳孔部分は常に明るくなる。これを利用して、画像処理でこの明るい部分を抽出する方法である。本実施形態においては、カメラのレンズ光軸と照明器の位置が離れているので、暗瞳孔法を用いて瞳孔領域を抽出する。
【００６１】
暗瞳孔法により得られた瞳孔領域には、瞳孔以外に睫毛、髪、眉毛など余計なものが含まれている。そのため、瞳孔領域以外の余計なものを取り除く必要がある。この方法に抽出領域の膨張・縮小処理を用いる。膨張・縮小処理は、モルフォロジーに基づいた方法を用いる。モルフォロジーは、与えられた２値画像、又は濃淡画像に対して、集合論的操作を加えることにより図形の変形を行い、特徴を抽出することを目的とするものである。処理対象画像と構造要素との間の集合演算で定義されるため、構造要素の選び方により演算結果が変化する。膨張・縮小処理を行うことにより、瞳孔部分を抽出するとともに、余分な部分の削除を行う。
【００６２】
次に、仮瞳孔領域に対してラベリング処理を行う。ラベリングによって抽出された各領域の大きさを比較することができる。一定の大きさ以下の領域を除去することによってノイズを除去する。ラベリング処理とは、連結している各画素に同じラベル（番号）をつけることであり、いくつかのまとまった領域をグループとして分類することである。ここでは、４近傍によるラベリング処理を選択する。画像上でラベルが付加されていない画素（ｘ；ｙ）を見つけ、新しいラベルをつける。次に、該当画素（ｘ；ｙ）の４方向に連結している画素に同じラベルをつける。その後、新たにラベルが付けられた画素に対して同様な処理を行う。これを画像全体で行うことにより、すべての独立領域にラベルが付けられる。
ラベリング処理後の抽出領域の輪郭形状は種々のものがあり、これらの中から次式で定義する円形度により、抽出領域を選別する。
【００６３】
【数２】
ここでＣは円形度、Ａは抽出領域の面積、Ｌは周囲長である。
【００６４】
瞳孔は楕円であることを仮定していることから、瞳孔領域は円形度が高い特徴を持つ。そこで、一定の円形度以下の抽出領域を除去する。このようにして瞳孔に相当する領域が残されるようになる（これを仮瞳孔領域と呼ぶ）。当該仮瞳孔領域の楕円サンプル点を次に抽出する。すなわち、抽出瞳孔領域には、照明の映り込みや、瞳孔の上下部分が瞼で隠れ欠損しているため、正確に瞳孔を抽出できていない可能性がある。そのため、仮瞳孔領域からエッジを検出することにより、最小自乗の意味において最適な楕円を近似する。このとき、瞳孔輪郭上の点以外を用いて計算すると正確な楕円輪郭でない点による近似楕円となってしまう。これを回避するため、以下に示す楕円の性質を用いて、瞳孔楕円上に存在する点のみを抽出する。
【００６５】
図１０は、楕円の特徴パラメータを示す図である。直線ｌ、ｍ、ｎは平行でかつ、ｌ、ｎはｍから等距離に存在する。楕円と直線ｌとの交点をａ、ｂとし、楕円と直線ｎとの交点をｃ、ｄとする。楕円と直線ｍの交点の中点をｏとする。ａ、ｂの中点とｃ、ｄの中点を結ぶ線の中点をｏ’とすると、ｏ’はｏと重なるという性質がある。仮瞳孔領域について、その中央に引いた直線ｍから等距離にあるＮ個の平行線の組のｏｉ'（ｉ＝１／Ｎ）に当たる点を求める。求められた点は、直線ｍの上に分布する。ノイズが十分少ないときは、最も多くの点ｏ’が集まった位置がｏの位置に相当する。その位置から離れている点は、楕円の軌跡上にない点を含んでいることになるので、それらを除外する。ｏに十分近いｏｉ'を持つ点ａｉ； ｂｉ； ｃｉ； ｄｉは、楕円の軌跡上の点なので、それらを用いることにより、正確な瞳孔輪郭の楕円近似を行うことができる。エッジ検出には、Ｃａｎｎｙフィルタ（J.Canny: A Computational Approach to Edge Detection, IEEE Trans. Pattern Analysis and Machine Intelligence, .8, 6, .679-698, 1986. を参照）を使用する。
【００６６】
瞳孔楕円サンプル点から楕円を近似するため、図１１の楕円パラメータを定義する。これらパラメータは下記の式（３）−（７）により定義できる。これらは取得データに観測ノイズが無視できる場合の式であるが、現実にはノイズが重畳している。しかし、多くの観測瞳孔楕円サンプル点データ（Ｘｉ，Ｙｉ）を用いて最小二乗法を適用することにより瞳孔輪郭を導出する。
【００６７】
【数３】
【００６８】
【数４】
ここで、最小二乗法を適用するために、
【００６９】
【数５】
のように行列形式にて表現し、ＭｏｏｒｅＰｅｎｒｏｓｅ一般逆行列（新井康平、応用線形代数、近代科学社、２００６．を参照）を適用してＡ、Ｂ、Ｃ、Ｄ、Ｅを求める。
【００７０】
【数６】
【００７１】
【数７】
【００７２】
上記一連の処理の流れを図１２に示す。図１２は、本実施形態に係る視線検出装置における目のイメージに基づく楕円近似の方法を示す図である。図１２（Ａ）が取得した目の画像、図１２（Ｂ）が２値化した画像、図１２（Ｃ）がノイズを除去した画像、図１２（Ｄ）がエッジを検出した画像、図１２（Ｅ）がサンプル点を抽出した画像、図１２（Ｆ）が近似された楕円面の画像である。
【００７３】
図６に戻って、角膜曲率中心算出部２４は、角膜曲率半径算出部２３が算出した角膜曲率半径に基づいて、角膜曲率の中心を算出する。ここで、角膜曲率中心算出部２４の処理について説明する。
【００７４】
図１３は、本実施形態に係る視線検出装置における光源、目、角膜の位置関係を示す図である。角膜曲率半径算出部２３で得られた角膜曲率半径を利用して、図１３に示す光源、眼球、カメラの位置関係より、角膜曲率中心を求める。角膜曲率中心は、カメラ、プルキニエ像、光源を結ぶ二等分線上に存在することから、次式より求める。本実施形態においては光源を２つ用いているため、プルキニエ像は２つ得ることができる。
【００７５】
【数８】
【００７６】
図６に戻って、視線方向決定部２６は、角膜曲率中心算出部２４が算出した角膜曲率中心と、瞳孔中心算出部２５が算出した瞳孔中心に基づいて、視線方向を決定する。この視線方向決定部２６の処理について説明する。
【００７７】
ここでは、角膜曲率中心と瞳孔中心の２点を通るベクトルを視線ベクトルとし、ディスプレイ上の注視点を算出する。カメラ位置を（０，０，０）とし、カメラにより撮像された画像の中心座標を（０，０，ｚ）とした。視線ベクトルをｖ＝（ｘｖ；ｙｖ；ｚｖ）とすると、今回、カメラ、照明、ディスプレイは固定されており、ｚ軸方向の距離がわかる。眼球とディスプレイの距離をｚｈ とすると、ディスプレイ上の注視点座標ｔ＝（ｘｔ；ｙｔ）は、次式により求めることができる。
【００７８】
【数９】
【００７９】
次に、本実施形態に係る視線制御装置における視線検出部の動作について説明する。図１４は、本実施形態に係る視線制御装置における視線検出部の動作を示すフローチャートである。まず、カメラ１１で撮像された目の撮像情報を入力し（Ｓ１４１）、プルキニエ像を取得する（Ｓ１４２）。取得したプルキニエ像から角膜曲率半径を算出する（Ｓ１４３）。瞳孔中心を算出し（Ｓ１４４）、角膜曲率半径から角膜曲率中心を算出する（Ｓ１４５）。瞳孔中心と角膜曲率中心から視線方向を算出し（Ｓ１４６）、視線方向から注視点を求めて（Ｓ１４７）、視線検出部の処理を終了する。
【００８０】
以下、本実施形態に係る視線制御装置を用いた実験について説明する。測定機材は以下のものを使用する。
カメラ：１３０万画素の赤外カメラ
ＰＣ：ＣＰＵ１．６ＧＨｚ、メモリ１ＧＢ
赤外投光機：赤外線ＬＥＤ４８個、波長８５０ｎｍ
これらの機材を図１５のように設置する。
【００８１】
本実験においては、Ｌ＝１０００ｍｍ、ＨＣ＝６７０ｍｍ、ＨＴ＝１５０ｍｍ、ＨＤ＝３８０ｍｍとした。また、視線計測の際にカメラから取得した画像は、動画保存し、この動画を用いて精度検証を行った。
【００８２】
（１）角膜半径計測実験
図１６は、本実施形態に係る視線制御装置において角膜半径の計測結果を示すグラフである。図中のスパイクはプルキニエ像の誤検出によるものであり、これらは角膜半径の計測から除外できる。また、図中の２本のラインは、頭部がディスプレイ方向に±１．０ｃｍの移動があった場合に考えられる角膜曲率半径推定値の最大誤差である。このライン間に角膜曲率半径の真値があることを示す。実際の眼球回転角度推定に使う角膜曲率半径の推定値は、エッジ部分を除いた角膜曲率半径推定値の平均を使用する。この結果より、角膜曲率半径の値をＲ＝７．９２ｍｍとする。
【００８３】
（２）眼球回転角度測定実験
眼球角度検出精度確認実験では、頭部を簡易に固定した状態で、図１７に示すディスプレイ上に表示された５個の指標を順次見ることで、その推定精度の確認を行った。図１８（Ａ）は、角膜曲率半径の異なる眼球角度検出に対する推定結果である。このとき、角膜曲率半径をＲ＝７．９２ｍｍとした場合、Δｘｙ＝１．１２８である。測定された角膜曲率半径の付近が、最も眼球回転角度検出精度が高い。よって、角膜曲率半径の標準値を使うよりも、測定した角膜曲率半径を使用した方が眼球回転角度検出精度が向上(安定)することが確認できる。
【００８４】
また、頭部平行移動、及び回転による実測の視線推定結果の変化について調べた。図１８（Ｂ）〜図１８（Ｆ）にその結果を示す。ここでは、ｘ、ｙ、ｚの各方向への移動、及び回転（ｙ，ｚ軸周り）をそれぞれ調べた。図１８（Ｂ）においては、ｘ方向の頭部移動により発生した誤差は、ｘ方向にのみ影響を与えることがわかる。同様に図１８（Ｃ）及び（Ｄ）では、ｙ，ｚ方向の頭部移動により発生した誤差は、ｙ，ｚ方向にのみ影響を与えることが分かる。この原因は、奥行きを定数として与えているためであり、これを解決するには、頭部とカメラ間の距離がリアルタイムで測定できればよい。図１８（Ｅ）を見ると、ロール方向への頭部回転は推定精度に大きな低下が見られる。また、図１８（Ｆ）では、ヨー方向への頭部回転は、ある一定の範囲においては、推定精度に頭部回転の影響を見られず、ある範囲を超えると推定精度に大きな低下が見られた。これは、耳側ではなだらかに、鼻側で急峻に角膜曲率半径が大きくなるという人間の角膜形状に起因していると考えられる。角膜曲率半径の測定では、角膜曲率中心部から３．０〜５．０ｍｍの範囲で測定しているため、これを超えた場合に大きな精度低下が発生していると思われる。
【００８５】
ピッチ方向への頭部回転による推定精度への影響は、頭部の下向きの回転は、睫毛の影響が大きくなるため、瞳孔検出が困難になり（計測不能）、頭部の上向きの回転は、睫毛の影響が少なくなるため、瞳孔検出精度が向上するとの結果が得られている。このことから、測定時のカメラ位置は、頭部を見上げるような形で設置することが望ましい。本実施形態に係る視線検出装置においては、結果として、個人キャリブレーション無しにｘ方向に０．５７ｄｅｇ、ｙ方向に０．９８ｄｅｇ程度の誤差で眼球回転角度推定精度が得られた。
【００８６】
（本発明の第３の実施形態）
前記第１の実施形態における図１（Ｂ）では利用者のメガネにカメラを固定することとしたが、必ずしも利用者の一部（特に頭部）に固定しなくてもよい。その場合、利用者の頭部の動きによる視線方向の検出誤差を防止するために、頭部の姿勢を特定して視線方向の誤差を修正することも可能である。本実施形態においては、利用者の頭部が移動した場合であっても、視線方向を正確に検出する検出方法について説明する。
【００８７】
例えば、頭部の形状、目、角膜の位置検出のため、両目の両端、口の両端を取得画像から抽出する。目、及び口の両端から目、及び口の中心位置を決定し、両目、口の中心位置から定義される三角形の法線をもって頭部の姿勢を定義する。このとき、両目中心位置の中点に法線の基点を設定する。頭部の回転中心位置とカメラ位置との関係、及び頭部回転中心と定義した三角形との幾何学的関係から、視線方向の誤差を修正することができる。
【００８８】
本実施形態に係る視線制御装置のハードウェア構成は、図１と同じであるため省略する。ただし、第１のカメラ１１の位置は、メガネや頭部に固定する必要がなく、例えば電動車椅子１７に固定されてもよい。
【００８９】
図１９は、本実施形態に係る視線制御装置の機能ブロック図である。図２と異なるのは、頭部姿勢検出部３７を新たに備えることである。頭部姿勢検出部３７は、第１のカメラ１１が撮像した顔画像を用いて、複数の顔特徴の任意の点が形成する平面の法線を求め、その法線方向を頭部姿勢として求める。視線検出部３０は、頭部視線検出部３７が検出した頭部姿勢を考慮して視線方向の検出を行う。その他の処理部については、図２の場合と同じである。
【００９０】
本実施形態に係る視線制御装置においては、頭部姿勢を検出するために、３次元頭部姿勢モデルを用いる。３次元頭部姿勢モデルは、２次元の顔特徴から３次元頭部姿勢の変換に使用される。ここでは、目、まゆ、鼻、口のような顔の特徴が利用される。頭部はＸＹ、ＸＺ、ＹＺ平面で作られる。頭部姿勢はそれぞれの平面における回転角度θで定義される。このモデルを使うことで、３次元頭部姿勢を２次元画像のみで表現することができる。
【００９１】
頭部姿勢はθ（ｘ，ｙ，ｚ）で表される。図２０（Ａ）は、正面から見たＸＹ平面の頭部姿勢を示している。中心軸は口の底部で仮定される。頭の回転に基づいて、顔特徴の位置は中心軸に対して移動する。移動した顔特徴の位置は、顔特徴半径Ｒと回転角度θで決定される。図２０（Ｂ）は、側面から見たＹＺ平面の頭部姿勢を示している。頭部がうなずきの動作のように上下方向に回転した場合、顔特徴は中心軸に対するそれらの回転に基づいて移動する。図２０（Ｃ）に示すＸＺ平面についても同様の計算を行う。そして、それぞれに応じて２次元情報が３次元情報に変換される。
【００９２】
それぞれの平面における頭部回転を図２１に示す。一つの顔特徴がＰ（ｘ，ｙ）に位置し、半径Ｒ、初期角度θ0、中心軸Ｏ（０，０）とし、Ｐ（ｘ，ｙ）が中心軸に対して回転したときの位置Ｐ’（ｘ’，ｙ’）は、取得した２次元画像と３次元頭部姿勢モデルから計算される。以下の式（１０）の回転角度で位置が計算される。
【００９３】
【数１０】
これは、下記の式（１１）、（１２）で示すようにＹＺ平面、ＸＺ平面についても同じである。
【００９４】
【数１１】
【００９５】
【数１２】
【００９６】
全ての位置情報は画素座標システムにより定義される。したがって中心軸はＯ（ｘ，ｙ）座標で表され、顔特徴の位置はＰｉ（ｘ，ｙ）上にマッピングされる。式（１１）、（１２）で示すように、ピクセル座標から回転角度に変換することができる。
【００９７】
【数１３】
【００９８】
【数１４】
【００９９】
【数１５】
【０１００】
上記３次元頭部姿勢モデルに、以下に示す鳥瞰図を応用した頭部姿勢検出を組み合わせることで、３次元の頭部姿勢を検出することができる。鳥瞰図はあたかも鳥が観測者であるかのような視点から見た図である。鳥瞰図は、しばしば青写真、フロア設計、マップ等に使用される。これらのビューは、オブジェクトとカメラの距離に依存した異なるサイズの画像を取得できる。この鳥瞰図を頭部姿勢の推定に使用する。
【０１０１】
図２２は、頭部姿勢測定の鳥瞰図を示す。この座標は、ｄｘＵ＝ｄｘＤ、ｄｙＲ＝ｄｙＬである。しかしながら、これらの値は頭部姿勢の変化に応じて変わる。図２２（Ａ）に示すように、頭部が右方向に回転した場合、ｄｙＬがｄｙＲより大きくなる。同様に、図２２（Ｂ）に示すように、頭部が左方向に回転した場合、ｄｙＲがｄｙＬより大きくなる。同様に、頭部姿勢のピッチ方向を計算することができる。３次元頭部姿勢モデルと鳥瞰図とを組み合わせることで、頭部姿勢を容易に推定することができる。
【０１０２】
次に、目の動きについて説明する。目の位置を測定するために、いくつかのポイントが参考として必要である。両目の端部、アーチ、強膜、虹彩等が使用される。最もシンプルな方法は、虹彩の中心位置と両目の端部を使用して目の動きを推定することである。トラブルが発生し、もし片方又は両方の目の端部が検出できない場合、バックアップとして他の参照ポイントが必要である。強膜は虹彩の位置推定に使用される。虹彩は角膜の中心に位置しており、強膜の位置を通して推定される。もう一つの問題は利用者の動きである。片目が若干開かれている場合、目の向きは解決される。
【０１０３】
図２３に示す眼球運動モデルに基づいて視線方向が推定される。目の形状は楕円体の半径Ｒと視線角度αで形成される。目が正面を向いている場合、左右の視線角度αR、αLは同じである。したがって、３次元座標上での目の移動は、視線の推定角度のモデル結果から推定される。上下の視線αU、αDについても同様の方法で推定される。そして、目の動きの出力α（Ｒ，Ｌ，Ｕ，Ｄ）が推定される。
【０１０４】
次に、上記で求めた頭部の位置と目の動きから視線方向を推定する。視線推定の座標システムを図２４に示す。ベクトルＨは頭部姿勢、ベクトルＥは目の動きを示す。視線ベクトルは、頭部姿勢と目の動きベクトルの加算で推定される。
【０１０５】
画像処理を解析について説明する。利用者の動きを許容するために、頭部の位置と姿勢が推定される。顔特徴である目、目の端部、鼻の頭、口の端部は、取得した画像から検出され、追跡される。顔自体はよく知られているＶｉｏｌａ−Ｊｏｎｅｓ法に基づいて検出することができる。この方法は、比較的高速であり、状況の変化にロバストである。そして、目の位置は、形状ベース、外観ベース、混成ベースのＶｉｏｌａ−Ｊｏｎｅｓ法を基本として推定される。Ｖｉｏｌａ−Ｊｏｎｅｓ分類は、目を検出し、またＡｄａＢｏｏｓｔを使用する。Ｖｉｏｌａ−Ｊｏｎｅｓ分類システムを適用するために、ＯｐｅｎＣＶのＶｉｏｌａ−Ｊｏｎｅｓ関数を使用する。この関数を使用する前に、ＸＭＬファイルを生成し、顔又は目のイメージが収集される必要がある。それらは、ネガティブサンプルとポジティブサンプルとがあり、ネガティブサンプルはオブジェクトがないイメージに対応し、ポジティブサンプルはオブジェクトがあるイメージに対応する。イメージを取得した後、ＯｐｅｎＣＶは、顔の中心位置と目の中心位置を探す。
【０１０６】
一度、目が検出されると、Ｖｉｏｌａ−Ｊｏｎｅｓ法による目の追跡は必要ない。なぜなら、形態フィルタと一緒に使用されるテンプレートマッチングが、同じぐらい高速でロバストとなるからである。目の追跡プロセスでは、虹彩中心と目の端部が使用される。虹彩中心を探すために、テンプレートマッチングにおける相関係数Ｒcoeffを使用する。
【０１０７】
【数１６】
【０１０８】
【数１７】
Ｔ、Ｉはｘｙ座標におけるテンプレートとカレントイメージのピクセル位置を示す。相関係数Ｒcoeffは、照明状態の違いによる補正のために正規化されたテンプレートとカレントイメージの相関係数を示す。図２５が、座標システムにマッピングされた虹彩中心である。
【０１０９】
虹彩中心の検出に比べて、目の端部と口の端部との検出がかなり難しいため、目と口との輪郭を検出するガボールフィルタを採用する。ガボール関数は、ガウスエンベロープで変調された正弦波平面で定義される。このフィルタは指定されたパターンの検出に役立つ。２次元のガボールカーネルは、以下のように表される。
【０１１０】
【数１８】
σはガウス関数の変化、λは正弦関数の波長、θはガボール関数のストライプに対する通常の向き、γはガボール関数がサポートする楕円によって指定されたアスペクト比である。
【０１１１】
このフィルタを使う前に、まず分散、波長、方位、空間アスペクト比によってガボールカーネルを作る。ソースとガボールテンプレートイメージとの間の難解なプロセスによって、図２６に示すようなガボールイメージを取得できる。このように、ガボールフィルタを採用することで、２次元にエッジを検出することができ、アーク、円弧、楕円等のエッジを検出しやすくなる。
【０１１２】
なお、上述した視線方向の検出処理は、第２の実施形態に示す視線方向の検出処理を用いてもよい。つまり、本実施形態において求めた頭部姿勢と、第２の実施形態において求められる視線方向とから、視線方向を決定してもよい。
【０１１３】
また、第１の実施形態で示すように、第１のカメラ１１が利用者の頭部の一部に固定されている場合には、本実施形態における頭部姿勢の検出を行わずに、視線方向の検出のみを行うようにしてもよい。
【０１１４】
以下、本実施形態に係る視線制御装置を用いた実験について説明する。測定機材のハードウェアは、２．６６ＧＨｚのＣＰＵ、２ＧＢのメモリを有するコンピュータ、６４０×４８０ピクセルのＩＲカメラを使用した。
【０１１５】
図２７、及び図２８に本実施形態に係る視線制御装置を用いた実験結果を示す。図２７（Ａ）は目の検出処理時間を示すグラフである。本実施形態に係る視線制御装置の手法は、上述したように、Ｖｉｏｌａ−Ｊｏｎｅｓ法により一旦目を検出し、検出した目をテンプレートとしてテンプレートマッチングを行うことで、他の手法と比較して格段に処理速度が速くなっていることがわかる。その処理時間は８．２１ｍｓで１００％の成功率である。
【０１１６】
図２７（Ｂ）は、カーソルの安定性を示すグラフである。カーソルは照明条件、視線の虎視微動、アルゴリズムにより安定しない場合がある。グラフから、図２２の鳥瞰図において６点（両目の端部４点と口の端部２点）の場合が最も不安定となっている。これは、点が多いことから自由度が高くなり、複数の面が検出されてしまうためである。一方、２点（目の端部２点）の場合も安定しているが、２点は一意に面を特定することができないため、正確性の面で課題がある。したがって、一意に面を特定することができ、カーソルが安定する４点（両目の端部２点と口の端部２点）又は３点（両目の端部２点と口の中心１点）から鳥瞰図を検出するのがよいことがわかる。
【０１１７】
図２７（Ｃ）は、ブリンクモード（瞬きにより選択を決定するモード）とタイマーモード（注視により選択を決定するモード）のそれぞれにおいて、選択キーがヒットするまでの時間を示すグラフである。ここでは、２０個の異なるキーから、所定のキーを選択する場合のヒット時間を示している。グラフから、所定のキー数が少ない場合は、ブリンクモードのほうがヒット時間が短く、所定のキー数が多くなるとタイマーモードのほうがヒット時間が短くなっていることがわかる。このことから、利用者の使用状況に応じて、タイマーモードとブリンクモードの設定を変更できることが好ましい。
【０１１８】
図２７（Ｄ）は、表示画面の一例を示している。画面上には、顔画像、目周辺画像、プログラムのＲＵＮ状態を示す画面、キーボード、入力用のソフトが表示されており、利用者がキーボードの任意のキーを注視、又は視線を向けた状態で瞬きをすることにより、選択されたキーが入力され、入力用のソフトに記述される。
【０１１９】
図２８は、顔の姿勢角度の許容範囲を示す表である。図２８（Ａ）は２点で鳥瞰図を検出した場合、図２８（Ｂ）が４点で鳥瞰図を検出した場合、図２８（Ｃ）が６点で鳥瞰図を検出した場合のロール方向、ヨー方向、ピッチ方向のそれぞれの角度の許容範囲とカメラとの距離の許容範囲を示している。ロール方向とヨー方向についてはほぼ左右対称であり、ある程度の姿勢を許容できていることがわかる。ピッチ方向については、上向きの場合はよいが、下向きの場合の許容値が小さくなっている。これは、カメラを画面の上部に取り付けているためであると考えられる。
【０１２０】
したがって、カメラの固定位置を利用者に合わせて調整することで、ピッチ方向についても上下対象の角度を許容値として調整することができ、頭部姿勢の変化に対応することができる。ここで、前記第２の実施形態にも示したように、カメラを下方に設置すると睫毛の影響が大きくなるため、検出ができなくなることもあり、微妙な調整が必要となる。また、距離についても、例えば４点の場合には２５ｃｍから５４ｃｍまで許容するため、頭部姿勢がかなり変わった場合であっても視線を正確に検出できることがわかる。
【０１２１】
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。
【符号の説明】
【０１２２】
１ 視線制御装置
１０ ＰＣ
１１ （第１の）カメラ
１１ａ レンズ
１１ｂ ＬＥＤ
１２ 光源
１３ 第２のカメラ
１４ 超音波センサ
１５ ＵＳＢインタフェース
１６ 車椅子制御装置
１７ 電動車椅子
２１ 入力部
２２ プルキニエ像取得部
２３ 角膜曲率半径算出部
２４ 角膜曲率中心算出部
２５ 瞳孔中心算出部
２６ 視線方向決定部
３０ 視線検出部
３１ 動作指令解析部
３２ 対応情報部
３３ 駆動部
３４ 障害物検出部
３５ 瞳孔変化解析部
３６ 対応情報補正部
４０ 視線制御部
【特許請求の範囲】
【請求項１】
視線方向に基づいて制御対象物を制御する視線制御装置であって、
前記視線方向を検出する視線方向検出手段と、
前記視線方向と前記制御対象物の動作指令とを対応付ける対応情報を記憶する対応情報記憶手段と、
前記対応情報記憶手段が記憶する対応情報、及び前記視線方向検出手段が検出する視線方向に基づいて、制御対象物の動作指令を解析する動作指令解析手段と、
前記動作指令解析手段が解析した結果に基づいて、前記制御対象物を駆動する駆動手段とを備えることを特徴とする視線制御装置。
【請求項２】
請求項１に記載の視線制御装置において、
前記制御対象物が電動車椅子であり、
前記対応情報記憶手段が、前記視線方向が下方向の場合に対応する動作指令を前進加速として前記対応情報を記憶することを特徴とする視線制御装置。
【請求項３】
請求項２に記載の視線制御装置において、
前記対応情報記憶手段が、前記視線方向が右方向の場合に対応する動作指令を右転回とし、前記視線方向が左方向の場合に対応する動作指令を左転回とし、前記視線方向が正面方向の場合に対応する動作指令を前進とし、前記視線方向がその他の場合に対応する動作指令を停止として、前記対応情報を記憶することを特徴とする視線制御装置。
【請求項４】
請求項１ないし３のいずれかに記載の視線制御装置において、
前記制御対象物の少なくとも前方を撮像する撮像手段と、
前記撮像手段が撮像した撮像情報に基づいて障害物を検出する障害物検出手段とを備え、
前記駆動手段が、前記障害物検出手段が障害物を検出した場合に、前記制御対象物の動きを停止することを特徴とする視線制御装置。
【請求項５】
請求項１ないし４のいずれかに記載の視線制御装置において、
前記制御対象物の少なくとも前方に超音波を発振して障害物との距離を測定する超音波センサを備え、
前記駆動手段が、前記障害物センサが検知した障害物との距離が所定の長さ以下の場合に、前記制御対象物の動きを停止することを特徴とする視線制御装置。
【請求項６】
請求項１ないし５のいずれかに記載の視線制御装置において、
瞳孔の大きさを検出する瞳孔サイズ検出手段と、
前記瞳孔サイズ検出手段が検出した瞳孔の大きさに基づいて、瞳孔のサイズの変化を解析する瞳孔変化解析手段とを備え、
前記駆動手段が、前記瞳孔変化解析手段が解析した瞳孔のサイズの変化に基づいて、前記制御対象物の動きを停止することを特徴とする視線制御装置。
【請求項７】
請求項１ないし５のいずれかに記載の視線制御装置において、
瞳孔の大きさを検出する瞳孔サイズ検出手段と、
前記瞳孔サイズ検出手段が検出した瞳孔の大きさに基づいて、瞳孔のサイズの変化を解析する瞳孔変化解析手段とを備え、
前記瞳孔変化解析手段が解析した瞳孔のサイズの変化に基づいて、前記対応情報記憶手段が記憶する前記視線方向と制御対象物の動作指令との対応情報を補正する対応情報補正手段を備えることを特徴とする視線制御装置。
【請求項８】
請求項１ないし７のいずれかに記載の視線制御装置において、
視線方向検出手段が、
少なくとも眼球方向を撮像するカメラと、
少なくとも眼球方向に光を照射する複数の光源と、
前記光源が照射した光により得られる角膜表面上の複数のプルキニエ像に基づいて、角膜曲率半径を算出する角膜曲率半径算出手段と、
前記角膜曲率半径算出手段が算出した角膜曲率半径、前記カメラの位置、及び前記光源の位置に基づいて、角膜曲率中心を算出する角膜曲率中心算出手段と、
前記光源が照射した光の反射の有無に基づいて瞳孔領域を抽出し、楕円近似により瞳孔の中心を算出する瞳孔中心算出手段と、
前記瞳孔中心算出手段が算出した瞳孔中心、及び前記角膜曲率中心算出手段が算出した角膜曲率中心を通るベクトルを視線方向として決定する視線方向決定手段とを備えることを特徴とする視線制御装置。
【請求項９】
請求項８に記載の視線制御装置において、
前記光源が少なくとも近赤外線を照射し、前記カメラが少なくとも近赤外線の感度分布を持つカメラであることを特徴とする視線制御装置。
【請求項１０】
請求項１ないし９のいずれかに記載の視線制御装置において、
前記カメラが、前記制御対象物を操作する人の一部に固定されていることを特徴とする視線制御装置。
【請求項１１】
請求項１ないし９のいずれかに記載の視線制御装置において、
顔画像から複数の顔特徴を抽出する顔特徴抽出手段と、
前記顔特徴抽出手段が抽出した各顔特徴における特徴点を決定する特徴点決定手段と、
前記特徴点で形成される平面の法線方向を決定する法線方向決定手段とを備え、
前記視線検出手段が検出した視線方向、及び前記法線決定手段が決定した法線方向に基づいて、視線方向を決定することを特徴とする視線制御装置。
【請求項１２】
コンピュータが、視線方向に基づいて制御対象物を制御する視線制御方法であって、
前記視線方向を検出する視線方向検出ステップと、
前記視線方向と前記制御対象物の動作指令とを対応付ける対応情報を記憶し、当該記憶された対応情報、及び前記視線方向検出ステップが検出する視線方向に基づいて、制御対象物の動作指令を解析する動作指令解析ステップと、
前記動作指令解析ステップが解析した結果に基づいて、前記制御対象物を駆動する駆動ステップとを含むことを特徴とする視線制御方法。
【請求項１３】
視線方向に基づいて制御対象物を制御するようにコンピュータを機能させる視線制御プログラムであって、
前記視線方向を検出する視線方向検出手段、
前記視線方向と前記制御対象物の動作指令とを対応付ける対応情報を記憶する対応情報記憶手段、
前記対応情報記憶手段が記憶する対応情報、及び前記視線方向検出手段が検出する視線方向に基づいて、制御対象物の動作指令を解析する動作指令解析手段、
前記動作指令解析手段が解析した結果に基づいて、前記制御対象物を駆動する駆動手段としてコンピュータを機能させる視線制御プログラム。
【請求項１】
視線方向に基づいて制御対象物を制御する視線制御装置であって、
前記視線方向を検出する視線方向検出手段と、
前記視線方向と前記制御対象物の動作指令とを対応付ける対応情報を記憶する対応情報記憶手段と、
前記対応情報記憶手段が記憶する対応情報、及び前記視線方向検出手段が検出する視線方向に基づいて、制御対象物の動作指令を解析する動作指令解析手段と、
前記動作指令解析手段が解析した結果に基づいて、前記制御対象物を駆動する駆動手段とを備えることを特徴とする視線制御装置。
【請求項２】
請求項１に記載の視線制御装置において、
前記制御対象物が電動車椅子であり、
前記対応情報記憶手段が、前記視線方向が下方向の場合に対応する動作指令を前進加速として前記対応情報を記憶することを特徴とする視線制御装置。
【請求項３】
請求項２に記載の視線制御装置において、
前記対応情報記憶手段が、前記視線方向が右方向の場合に対応する動作指令を右転回とし、前記視線方向が左方向の場合に対応する動作指令を左転回とし、前記視線方向が正面方向の場合に対応する動作指令を前進とし、前記視線方向がその他の場合に対応する動作指令を停止として、前記対応情報を記憶することを特徴とする視線制御装置。
【請求項４】
請求項１ないし３のいずれかに記載の視線制御装置において、
前記制御対象物の少なくとも前方を撮像する撮像手段と、
前記撮像手段が撮像した撮像情報に基づいて障害物を検出する障害物検出手段とを備え、
前記駆動手段が、前記障害物検出手段が障害物を検出した場合に、前記制御対象物の動きを停止することを特徴とする視線制御装置。
【請求項５】
請求項１ないし４のいずれかに記載の視線制御装置において、
前記制御対象物の少なくとも前方に超音波を発振して障害物との距離を測定する超音波センサを備え、
前記駆動手段が、前記障害物センサが検知した障害物との距離が所定の長さ以下の場合に、前記制御対象物の動きを停止することを特徴とする視線制御装置。
【請求項６】
請求項１ないし５のいずれかに記載の視線制御装置において、
瞳孔の大きさを検出する瞳孔サイズ検出手段と、
前記瞳孔サイズ検出手段が検出した瞳孔の大きさに基づいて、瞳孔のサイズの変化を解析する瞳孔変化解析手段とを備え、
前記駆動手段が、前記瞳孔変化解析手段が解析した瞳孔のサイズの変化に基づいて、前記制御対象物の動きを停止することを特徴とする視線制御装置。
【請求項７】
請求項１ないし５のいずれかに記載の視線制御装置において、
瞳孔の大きさを検出する瞳孔サイズ検出手段と、
前記瞳孔サイズ検出手段が検出した瞳孔の大きさに基づいて、瞳孔のサイズの変化を解析する瞳孔変化解析手段とを備え、
前記瞳孔変化解析手段が解析した瞳孔のサイズの変化に基づいて、前記対応情報記憶手段が記憶する前記視線方向と制御対象物の動作指令との対応情報を補正する対応情報補正手段を備えることを特徴とする視線制御装置。
【請求項８】
請求項１ないし７のいずれかに記載の視線制御装置において、
視線方向検出手段が、
少なくとも眼球方向を撮像するカメラと、
少なくとも眼球方向に光を照射する複数の光源と、
前記光源が照射した光により得られる角膜表面上の複数のプルキニエ像に基づいて、角膜曲率半径を算出する角膜曲率半径算出手段と、
前記角膜曲率半径算出手段が算出した角膜曲率半径、前記カメラの位置、及び前記光源の位置に基づいて、角膜曲率中心を算出する角膜曲率中心算出手段と、
前記光源が照射した光の反射の有無に基づいて瞳孔領域を抽出し、楕円近似により瞳孔の中心を算出する瞳孔中心算出手段と、
前記瞳孔中心算出手段が算出した瞳孔中心、及び前記角膜曲率中心算出手段が算出した角膜曲率中心を通るベクトルを視線方向として決定する視線方向決定手段とを備えることを特徴とする視線制御装置。
【請求項９】
請求項８に記載の視線制御装置において、
前記光源が少なくとも近赤外線を照射し、前記カメラが少なくとも近赤外線の感度分布を持つカメラであることを特徴とする視線制御装置。
【請求項１０】
請求項１ないし９のいずれかに記載の視線制御装置において、
前記カメラが、前記制御対象物を操作する人の一部に固定されていることを特徴とする視線制御装置。
【請求項１１】
請求項１ないし９のいずれかに記載の視線制御装置において、
顔画像から複数の顔特徴を抽出する顔特徴抽出手段と、
前記顔特徴抽出手段が抽出した各顔特徴における特徴点を決定する特徴点決定手段と、
前記特徴点で形成される平面の法線方向を決定する法線方向決定手段とを備え、
前記視線検出手段が検出した視線方向、及び前記法線決定手段が決定した法線方向に基づいて、視線方向を決定することを特徴とする視線制御装置。
【請求項１２】
コンピュータが、視線方向に基づいて制御対象物を制御する視線制御方法であって、
前記視線方向を検出する視線方向検出ステップと、
前記視線方向と前記制御対象物の動作指令とを対応付ける対応情報を記憶し、当該記憶された対応情報、及び前記視線方向検出ステップが検出する視線方向に基づいて、制御対象物の動作指令を解析する動作指令解析ステップと、
前記動作指令解析ステップが解析した結果に基づいて、前記制御対象物を駆動する駆動ステップとを含むことを特徴とする視線制御方法。
【請求項１３】
視線方向に基づいて制御対象物を制御するようにコンピュータを機能させる視線制御プログラムであって、
前記視線方向を検出する視線方向検出手段、
前記視線方向と前記制御対象物の動作指令とを対応付ける対応情報を記憶する対応情報記憶手段、
前記対応情報記憶手段が記憶する対応情報、及び前記視線方向検出手段が検出する視線方向に基づいて、制御対象物の動作指令を解析する動作指令解析手段、
前記動作指令解析手段が解析した結果に基づいて、前記制御対象物を駆動する駆動手段としてコンピュータを機能させる視線制御プログラム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図２３】
【図２４】
【図２８】
【図３】
【図８】
【図９】
【図１２】
【図２０】
【図２２】
【図２５】
【図２６】
【図２７】
【図２】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図２３】
【図２４】
【図２８】
【図３】
【図８】
【図９】
【図１２】
【図２０】
【図２２】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１１−１１５４６０（Ｐ２０１１−１１５４６０Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７６６８６（Ｐ２００９−２７６６８６）
【出願日】平成２１年１２月４日（２００９．１２．４）
【出願人】（５０４２０９６５５）国立大学法人佐賀大学 (176)
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月４日（２００９．１２．４）
【出願人】（５０４２０９６５５）国立大学法人佐賀大学 (176)
[ Back to top ]