静脈撮像装置、静脈画像補間方法およびプログラム
【課題】装置の小型化を図り、熱雑音により生じる画質の劣化を防止することが可能な静脈撮像装置、静脈画像補間方法およびプログラムを提供すること。
【解決手段】本発明に係る静脈撮像装置の撮像素子は、レンズアレイによって集光された生体内で散乱され静脈を透過した近赤外光に基づいて静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する。本発明に係る静脈撮像装置は、熱雑音出力データに基づいて熱雑音の測定を行い、この熱雑音の測定結果に基づいて撮像時の温度を推定する。本発明に係る静脈撮像装置は、推定した撮像時の温度に基づいて、画像の補間処理を行う。
【解決手段】本発明に係る静脈撮像装置の撮像素子は、レンズアレイによって集光された生体内で散乱され静脈を透過した近赤外光に基づいて静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する。本発明に係る静脈撮像装置は、熱雑音出力データに基づいて熱雑音の測定を行い、この熱雑音の測定結果に基づいて撮像時の温度を推定する。本発明に係る静脈撮像装置は、推定した撮像時の温度に基づいて、画像の補間処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静脈撮像装置、静脈画像補間方法およびプログラムに関する。
【背景技術】
【０００２】
生体個人認証は、今後のネットワーク社会において、権利を守る為に非常に重要な技術である。特に、常時、他人が本人になりすまして、金銭やコンテンツ、権利などをネット越しに盗むことが可能であるインターネット上での商取引では、生体個人認証は、暗号だけでは解決できない領域を守る技術として注目されている。しかしながら、生体個人認証の中でも指紋や虹彩（アイリス）などを利用したものは、偽造の問題が解決できない。この点、静脈のパターンのうち外部から容易に撮像できない部位を用いた個人認証技術は、判定精度の高さや偽造、成りすましが困難であるため、次世代の生体個人認証として期待されている。
【０００３】
他方、特に静脈の画像を撮像するための撮像方式を実現するにあたって、光源の位置の制限が大きいため、撮像デバイスの平面構造化が困難であった。この問題を解決するために、広角レンズなどによる方法は提案されてきた。しかしながら、この方法では、撮像デバイスと指との距離を限定することが困難であるとともに、ユーザ側が確実に同じ距離に指をおく必要があることが必要となることから、認証の再現性が確保できなかった。また、大判センサによる接触式または非接触式のデバイスは、原理的には理想的であるが、センササイズが大きくなるため、高価な光学材料などに起因するコストの問題があった。さらに、センサで生じる熱雑音は温度上昇に比例して増加するため、撮影時の外気温が高温となると、認証に用いられる画像の画質が低下することとなるため、認証精度が悪くなるという問題があった。
【０００４】
このように、外気温が撮像デバイスに与える影響は大きいため、撮像デバイスの温度を把握することが重要となる。以下に示す特許文献１では、露光装置に用いられた光学部材の温度を検出する温度検出手段と、検出した温度が所定の範囲内となるように光学部材の温度を調整する温度調整手段とを装置に設ける技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３４９９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されているような温度検出手段や温度調整手段を装置に設けると、装置の小型化が困難となるという問題があった。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、装置の小型化を図り、熱雑音により生じる画質の劣化を防止することが可能な、静脈撮像装置、静脈画像補間方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する撮像素子と、前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに基づいて、熱雑音の大きさを測定する熱雑音測定部と、前記熱雑音測定部により測定された前記熱雑音の大きさに基づいて、前記静脈の撮像処理が行われた撮像温度を推定する温度推定部と、前記静脈撮像データ生成領域により生成された前記静脈撮像データを用いて前記静脈の撮像画像を生成し、前記温度推定部により推定された前記撮像温度に基づいて、前記静脈の撮像画像の補間処理を行う静脈画像補間部と、を備える静脈撮像装置が提供される。
【０００９】
かかる構成によれば、熱雑音測定部は、熱雑音出力データ生成領域から出力された熱雑音出力データに基づいて、熱雑音の大きさを測定する。また、温度推定部は、熱雑音測定部により測定された熱雑音の大きさに基づいて、静脈の撮像処理が行われた撮像温度を推定する。また、静脈画像補間部は、静脈撮像データ生成領域により生成された静脈撮像データを用いて静脈の撮像画像を生成し、温度推定部により推定された撮像温度に基づいて、静脈の撮像画像の補間処理を行う。
【００１０】
前記静脈画像補間部は、前記温度推定部により推定された前記撮像温度に基づいて、所定時間分の前記静脈の撮像画像の積分処理および前記静脈の撮像画像からのノイズ除去処理の少なくとも何れかを行うことが好ましい。
【００１１】
前記撮像素子は、一つのレンズアレイに対して前記静脈撮像データ生成領域に位置する複数の画素が対応しており、前記静脈画像補間部は、前記静脈の撮像画像の生成に用いられた前記静脈撮像データを出力した画素の周辺に位置する画素から出力された前記静脈撮像データを利用して前記補間処理を行うことが好ましい。
【００１２】
前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに対して、前記熱雑音測定部によって前記熱雑音を定量的に処理するための前処理を行う熱雑音出力前処理部を更に備えてもよい。
【００１３】
前記熱雑音出力前処理部は、所定時間分の前記熱雑音出力データを累積加算する累積処理、または、前記熱雑音出力データに対するピーク処理の少なくともいずれかを実行してもよい。
【００１４】
少なくとも前記撮像素子の駆動制御を行う駆動制御部を更に備え、前記駆動制御部は、前記熱雑音測定部により測定された前記熱雑音の大きさに基づいて、前記撮像素子の受光時間およびフレームレートの少なくとも何れかの制御を行ってもよい。
【００１５】
前記静脈の撮像画像から静脈パターンを抽出する静脈パターン抽出部を更に備え、前記静脈パターン抽出部は、前記温度推定部により推定された前記撮像温度に基づいて、前記静脈パターンの抽出に用いられるフィルタのフィルタ特性を変更してもよい。
【００１６】
前記温度推定部から出力された前記撮像温度が所定の閾値以上であった場合に警告を発する警告部を更に備えてもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する撮像素子と、を備えた静脈撮像装置の前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに基づいて、熱雑音の大きさを測定するステップと、測定された前記熱雑音の大きさに基づいて、前記静脈の撮像処理が行われた撮像温度を推定するステップと、前記静脈撮像データ生成領域により生成された前記静脈撮像データを用いて前記静脈の撮像画像を生成し、推定された前記撮像温度に基づいて、前記静脈の撮像画像の補間処理を行うステップと、を含む静脈画像補間方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の更に別の観点によれば、複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する撮像素子と、を備えた静脈撮像装置を制御するコンピュータに、前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに基づいて、熱雑音の大きさを測定する熱雑音測定機能と、前記熱雑音測定機能により測定された前記熱雑音の大きさに基づいて、前記静脈の撮像処理が行われた撮像温度を推定する温度推定機能と、前記静脈撮像データ生成領域により生成された前記静脈撮像データを用いて前記静脈の撮像画像を生成し、前記温度推定機能により推定された前記撮像温度に基づいて、前記静脈の撮像画像の補間処理を行う静脈画像補間機能と、を実現させるためのプログラムが提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、装置の小型化を図り、熱雑音により生じる画質の劣化を防止することが可能である。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に係る静脈撮像装置の構成を説明するためのブロック図である。
【図２】同実施形態に係る静脈撮像装置について説明するための説明図である。
【図３】同実施形態に係る静脈撮像装置について説明するための説明図である。
【図４Ａ】マイクロレンズアレイで撮像した画像について説明するための説明図である。
【図４Ｂ】マイクロレンズアレイで撮像した画像について説明するための説明図である。
【図５】同実施形態に係る撮像素子について説明するための説明図である。
【図６】同実施形態に係る撮像素子について説明するための説明図である。
【図７】同実施形態に係る撮像素子について説明するための説明図である。
【図８】同実施形態に係る画素選択部について説明するための説明図である。
【図９】特定の画素からデータを取得する方法について説明するための説明図である。
【図１０】特定の画素からデータを取得する方法について説明するための説明図である。
【図１１】同実施形態に係る静脈画像補間方法について説明するための流れ図である。
【図１２】本発明の各実施形態に係る静脈撮像装置のハードウェア構成について説明するためのブロック図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
なお、説明は、以下の順序で行うものとする。
（１）目的
（２）第１の実施形態
（１−１）静脈撮像装置の構成について
撮像部の構成について
撮像部の構造の一例について
マイクロレンズアレイで得られる画像について
撮像素子について
画像処理部の構成について
認証処理部の構成について
特定の画素からのデータの取得について
（１−２）静脈画像補間方法について
（２）本発明の各実施形態に係る静脈撮像装置のハードウェア構成について
（３）まとめ
【００２３】
＜目的＞
本発明の各実施形態に係る静脈撮像装置および静脈画像補間方法について説明するに先立ち、静脈撮像装置の概略について説明しながら、本発明の目的とするところについて、まず説明する。
【００２４】
生体認証、特に静脈認証において、撮像素子にＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等を用いたカメラを利用する方式が主流であった。しかしながら、このような静脈認証装置は、指紋認証などに比較して装置が大きなものになるため、応用範囲が限定されていた。
【００２５】
そこで、以下で説明する本発明の各実施形態に係る静脈撮像装置は、大判のセンサとレンズアレイの一種であるマイクロレンズアレイ（Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ：ＭＬＡ）を利用することで、静脈撮像装置の薄型化を実現する。
【００２６】
また、大判センサデバイスはシリコン等を用いて形成されるが、シリコンを用いたデバイスでは、温度上昇に伴い熱雑音が増加する。特に、ＴＦＴセンサのように薄膜を用いて形成されるセンサデバイスでは、高温でのノイズが顕著となって、撮像された静脈画像の劣化が激しくなる。また、静脈画像の劣化が進むことで、高温時での認証精度が低下してしまう可能性が高くなる。
【００２７】
そこで、以下で説明する本発明の各実施形態に係る静脈撮像装置では、撮像素子の撮像領域の周辺画素を熱雑音の測定用に用いることで、各温度における各部材の最良のサンプリングや画像処理による補正を自動化することを目的とする。
【００２８】
（第１の実施形態）
＜静脈撮像装置の構成について＞
まず、図１〜図３を参照しながら、本発明の第１の実施形態に係る静脈撮像装置の構成について、詳細に説明する。図１は、本実施形態に係る静脈撮像装置の構成を説明するためのブロック図である。また、図２は、本実施形態に係る静脈撮像装置の平面図であり、図３は、図２をＡ−Ａ切断線で切断した場合の断面図である。
【００２９】
本実施形態に係る静脈撮像装置１０は、例えば図１に示したように、撮像部、画像処理部および認証処理部の３つの部分と、記憶部１４１と、から構成されている。
【００３０】
撮像部は、生体の一部（例えば、指など）を撮像する処理を行う部分である。この撮像部は、例えば図１に示したように、マイクロレンズアレイ１０１と、近赤外光照射光源１０５と、撮像素子１０９と、駆動制御部１２１と、を主に備える。
【００３１】
画像処理部は、撮像部によって生成された静脈に関する画像データ（撮像データ）の取得に際しての処理や、取得した撮像データに対する各種の画像処理を行って、生体の内部に存在する静脈の撮像画像（静脈画像）を生成する部分である。この画像処理部は、例えば図１に示したように、画素データ分割部１２３と、熱雑音出力前処理部１２５と、熱雑音測定部１２７と、温度推定部１２９と、警告部１３１と、画素選択部１３３と、静脈画像補間部１３５と、を主に備える。
【００３２】
認証処理部は、画像処理部によって生成された静脈画像の認証処理を行う部分である。この認証処理部は、例えば図１に示したように、静脈パターン抽出部１３７と、認証部１３９と、を主に備える。
【００３３】
［撮像部の構成について］
まず、撮像部の構成について、以下に詳細に説明する。
【００３４】
マイクロレンズアレイ（Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ：ＭＬＡ）１０１は、後述する近赤外光照射光源１０５から生体の一部に対して照射され、生体内部の静脈を透過した近赤外光（以下、静脈透過光とも称する。）を、後述する撮像素子１０９へと集光する。このマイクロレンズアレイ１０１は、後述するように、複数の受光レンズから構成されている。マイクロレンズアレイ１０１は、例えば、ガラス素材よりも熱による影響が大きい素材を用いて形成される。このような素材を用いることで、任意の大きさのマイクロレンズアレイを、例えばモールド成形等により、安価で大量に製造することが可能となる。このようなガラス素材よりも熱による影響が大きい素材の一例として、プラスチック樹脂を挙げることができる。
【００３５】
近赤外光照射光源１０５は、静脈撮像装置１０に載置された生体の一部に対して、所定の波長帯域を有する近赤外光を照射する。近赤外光は、身体組織に対して透過性が高い一方で、血液中のヘモグロビン（還元ヘモグロビン）に吸収されるという特徴を有するため、近赤外光を指や手のひらや手の甲に照射すると、指や手のひらや手の甲の内部に分布している静脈が影となって画像に現れる。画像に表れる静脈の影を、静脈パターンという。このような静脈パターンを良好に撮像するために、近赤外光照射光源１０５は、約６００ｎｍ〜１３００ｎｍ程度の波長、好ましくは、７００ｎｍ〜９００ｎｍ程度の波長を有する近赤外光を照射する。
【００３６】
ここで、近赤外光照射光源１０５が照射する近赤外光の波長が６００ｎｍ未満または１３００ｎｍ超過である場合には、血液中のヘモグロビンに吸収される割合が小さくなるため、良好な静脈パターンを得ることが困難となる。また、近赤外光照射光源１０５が照射する近赤外光の波長が７００ｎｍ〜９００ｎｍ程度である場合には、近赤外光は、脱酸素化ヘモグロビンと酸素化ヘモグロビンの双方に対して特異的に吸収されるため、良好な静脈パターンを得ることができる。
【００３７】
このような近赤外光照射光源１０５として、例えば、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＬＥＤ）を用いることが可能である。また、上述のような波長帯域を有する発光ダイオードを用いる代わりに、上述の波長帯域を含む光を射出可能な発光ダイオードと、射出された光を光学的に帯域制限するフィルタとを組み合わせたものを使用してもよい。さらに、近赤外光照射光源１０５には、光源から照射された光の分布を調整する光量調整フィルタが組み合わされていてもよい。
【００３８】
この近赤外光照射光源１０５は、後述する駆動制御部１２１により、近赤外光の照射タイミングや、照射する近赤外光の強度等が制御される。
【００３９】
撮像素子１０９は、複数の画素１１１が格子状に配置された撮像面を有し、マイクロレンズアレイ１０１により結像された静脈透過光を基に、近赤外光による静脈撮像データを生成する。本実施形態に係る撮像素子１０９として、例えば、ＣＣＤ型画像センサや、ＣＭＯＳ型画像センサや、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）型画像センサ等を利用することができる。撮像素子１０９は、生成された静脈撮像データを出力する。また、撮像素子１０９は、生成した静脈撮像データを、後述する記憶部１４１に記録してもよい。
【００４０】
なお、本実施形態に係る静脈撮像装置１０においては、後述するように、マイクロレンズアレイ１０１の一つの受光レンズに対して、複数の画素１１１が割り当てられている。そのため、本実施形態に係る静脈撮像装置１０においては、一つの受光レンズによって集光された近赤外光（静脈透過光）は、複数の画素１１１によって撮像されることとなる。
【００４１】
この撮像素子１０９は、後述する駆動制御部１２１により、画素の走査タイミング等が制御される。
【００４２】
駆動制御部１２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により実現される。駆動制御部１２１は、近赤外光照射光源１０５や撮像素子１０９の駆動制御を行う。また、駆動制御部１２１は、後述する熱雑音測定部１２７から伝送された熱雑音の大きさに関する情報に基づいて、少なくとも撮像素子１０９の駆動制御の調整を行う。より詳細には、駆動制御部１２１は、所定の同期信号等に基づいて、撮像素子１０９の受光時間（シャッタースピード）や、撮像素子１０９のフレームレートといった駆動の制御を行う。駆動制御部１２１は、近赤外光照射光源１０５に対しても、近赤外光の照射タイミングや照射強度に関する駆動制御を行うことが可能である。
【００４３】
より詳細には、駆動制御部１２１は、撮像素子１０９の制御に関して、撮像素子１０９のある一つの方向に沿った駆動制御を、撮像素子１０９のある一つの方向に沿った画素数単位で分割して駆動する制御とする。すなわち、本実施形態に係る撮像素子１０９をある方向に沿って切断した切断図を考えた場合に、撮像素子１０９に、例えば７つの画素が存在したとする。この場合、駆動制御部１１３は、この切断線の方向に沿って画素を７つのグループに分けて分割して駆動制御を行う。
【００４４】
ここで、駆動制御部１２１は、近赤外光照射光源１０５や撮像素子１０９の制御を行うにあたり、後述する記憶部１４１に記録されている各種のパラメータやデータベース等を参照することが可能である。
【００４５】
［撮像部の構造の一例］
次に、図２〜図６を参照しながら、本実施形態に係る撮像部の構造の一例について、詳細に説明する。
【００４６】
本実施形態に係る静脈撮像装置１０のマイクロレンズアレイ１０１は、例えば図２に示したように、受光レンズである複数のマイクロレンズ１０３から構成されており、マイクロレンズ１０３は、所定の基板上に格子状に配列されている。各マイクロレンズ１０３は、例えば図３に示したように、光入射面から当該マイクロレンズ１０３に入射した静脈透過光を、後述する撮像素子１０９（より詳細には、撮像素子１０９の画素１１１）に導光する。マイクロレンズアレイ１０１は、像面湾曲が少なく深さ方向のひずみがないレンズアレイであるため、このようなマイクロレンズアレイ１０１を用いることで、良好な画像データを得ることができる。マイクロレンズアレイ１０１を構成する各マイクロレンズ１０３の焦点位置は、静脈撮像装置１０の撮像対象となる静脈Ｖが存在する静脈層の位置となるように設定される。
【００４７】
人体の皮膚は、表皮層、真皮層および皮下組織層の３層構造となっていることが知られているが、上述の静脈層は、真皮層に存在している。真皮層は、指表面に対して０．１ｍｍ〜０．３ｍｍ程度の位置から２ｍｍ〜３ｍｍ程度の厚みで存在している層である。したがって、このような真皮層の存在位置（例えば、指表面から１．５ｍｍ〜２．０ｍｍ程度の位置）にマイクロレンズ１０３の焦点位置を設定することで、静脈層を透過した透過光を、効率よく集光することが可能となる。
【００４８】
なお、本実施形態に係るマイクロレンズアレイ１０１に配設されるマイクロレンズ１０３の個数は、図２に示した例に限定されるわけではない。本実施形態に係るマイクロレンズアレイ１０１に配設されるマイクロレンズ１０３の個数は、撮像したい生体の大きさや、撮像素子１０９の大きさに応じて、自由に設定することが可能である。
【００４９】
近赤外光照射光源１０５の一例である発光ダイオードは、例えば図２に示したように、マイクロレンズアレイ１０１の対向する端部に複数配置されている。発光ダイオードが配置される端部は、生体の一部（図２および図３に示した例では、指ＦＧ）の上端と下端に対応する縁部であることが好ましい。このように発光ダイオードを配置することで、指ＦＧの上下方向から、近赤外光を照射することが可能となる。
【００５０】
なお、本実施形態に係る近赤外光照射光源１０５の個数は、図２に示した例に限定されるわけではなく、マイクロレンズアレイ１０１の大きさや、近赤外光照射光源１０５の照射可能エリア等に応じて、自由に設定することが可能である。
【００５１】
また、マイクロレンズアレイ１０１と近赤外光照射光源１０５との間には、例えば図２および図３に示したように、指向性制御板１０７が設けられる。この指向性制御板１０７は、近赤外光照射光源１０５から射出された直接光１２の指向性を制御し、直接光１２が直接マイクロレンズアレイ１０１のマイクロレンズ１０３に入射しないようにする。
【００５２】
近赤外光照射光源１０５から射出された近赤外光は、例えば図３に示したように、指ＦＧの表面に向かって上方に伝搬し、直接光１２として、指ＦＧの内部に入射する。ここで、人体は良好な近赤外光の散乱体であるため、指ＦＧ内に入射した直接光１２は四方に散乱しながら伝搬する。これらの散乱光の一部は、背面散乱光１３として上述の静脈層を背面から指表面に向かって進行し、その途中で静脈Ｖを透過する。静脈を透過した静脈透過光は、マイクロレンズアレイ１０１を構成するそれぞれのマイクロレンズ１０３に入射することとなる。
【００５３】
ここで、相隣接するマイクロレンズ１０３の境界部には、指向性制御板１０７が設けられる。この指向性制御板１０７により、静脈透過光の指向性を制御することが可能となり、各マイクロレンズ１０３に入射した光を隣接するマイクロレンズ１０３と分離できる。これにより、本実施形態に係る静脈撮像装置１０では、撮像素子１０９（より詳細には、画素１１１）に集光される静脈透過光を選択することが可能となる。
【００５４】
［マイクロレンズアレイで得られる画像について］
次に、図４Ａおよび図４Ｂを参照しながら、マイクロレンズアレイによって得られる画像の特徴について、詳細に説明する。図４Ａおよび図４Ｂは、マイクロレンズアレイで撮像した画像について説明するための説明図である。
【００５５】
一般に、マイクロレンズアレイを用いてある画像を撮像すると、例えば図４Ａに示したように、撮像画像は、元の画像に対して、上下および左右が逆転した像となる。また、実際には、一つの受光レンズ（マイクロレンズ１０３）に対して、複数の画素１１１が割り当てられているため、一つのマイクロレンズ１０３に割り当てられた全ての画素１１１について、上下左右の逆転した像が形成される。例えば、図４Ｂに示したように、一つのマイクロレンズ１０３に対して、例えば３×３＝９個の画素１１１が割り当てられているとすると、９個の受光素子それぞれには、上下左右の逆転した画像が形成される。
【００５６】
本実施形態に係る静脈撮像装置１０では、以下で詳述するように、一つのマイクロレンズ１０３に対応する複数の画素１１１それぞれによって生成された撮像データを用いて、画像の補間処理を行う。
【００５７】
［撮像素子について］
続いて、図５および図６を参照しながら、本実施形態に係る静脈撮像装置１０が備える撮像素子１０９について、詳細に説明する。図５および図６は、本実施形態に係る撮像素子について説明するための説明図である。
【００５８】
本実施形態に係る静脈撮像装置１０が備える撮像素子１０９は、当該撮像素子１０９内の画素１１１が形成されている領域が、例えば図５に示したように、２つの領域１５１，１５３に区分されている。一方の領域１５１は、静脈撮像データの生成に用いられる静脈撮像データ生成領域であり、他方の領域１５３は、熱雑音の大きさを推定する際に用いられる熱雑音出力データを生成する熱雑音出力データ生成領域である。
【００５９】
静脈撮像データ生成領域１５１には、複数の画素（図示せず。）がアレイ状に配置されており、マイクロレンズアレイ１０１が備える複数のマイクロレンズ１０３により集光された静脈透過光が画素１１１に達する。静脈撮像データ生成領域１５１から出力される静脈撮像データは、当該撮像データを生成した画素が検知した光の強度に対応したデータである。
【００６０】
熱雑音出力データ生成領域１５３には、複数の画素（図示せず。）がアレイ状に配置されている。また、熱雑音出力データ生成領域１５３は、例えば図５に示したように遮光膜１５５によって遮光されており、外光が熱雑音出力データ生成領域１５３に入射しないようになっている。そのため、この熱雑音出力データ生成領域１５３から出力されるデータは、この領域に含まれる画素が外光を検知した結果生成されたデータではなく、外界または自装置内の温度に依存して発生する熱雑音に対応する出力データとなる。また、撮像素子１０９に設けられる熱雑音出力データ生成領域１５３の大きさは、撮像素子１０９とともに用いられるマイクロレンズアレイ１０１の大きさ等に応じて決定することができる。
【００６１】
このような熱雑音出力データ生成領域１５３は、例えば図５に示したように、撮像素子１０９のある一辺に沿って、撮像素子１０９の端部に設けられていてもよい。また、図６（ａ）、（ｂ）に示したように、熱雑音出力データ生成領域１５３は、撮像素子１０９の互いに対向する辺に沿って設けられていてもよく、図６（ｃ）に示したように、撮像素子１０９の４つの辺に沿って設けられていてもよい。
【００６２】
［画像処理部の構成について］
続いて、図１に戻って、本実施形態に係る静脈撮像装置１０が備える画像処理部の構成について、詳細に説明する。
【００６３】
画素データ分割部１２３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画素データ分割部１２３は、例えば図７に示したように、駆動制御部１２１から入力される撮像素子１０９を走査するためのパルスに基づいて、撮像素子１０９から伝送された画素データが、撮像素子１０９の２つの領域のどちらから出力されたものかを判断する。図７に例示したように、撮像素子１０９の２つの領域からの出力を取得するために、撮像素子の垂直（または水平）方向同期用のパルスと、熱雑音出力取得パルスと、静脈撮像データ取得パルスの３種類のパルスが用いられる。そのため、画素データ分割部１２３は、これらのパルスに応じて、熱雑音出力データが伝送されたのか、静脈撮像データが伝送されたのかを判断することが可能である。
【００６４】
画素データ分割部１２３は、熱雑音出力取得パルスがＨｉ状態になっている期間に取得したデータ（すなわち、熱雑音出力データ）を、後述する熱雑音出力前処理部１２５に伝送する。また、画素データ分割部１２３は、静脈撮像データ取得パルスがＨｉ状態になっている期間に取得したデータ（すなわち、静脈撮像データ）を、後述する画素選択部１３３に伝送する。
【００６５】
熱雑音出力前処理部１２５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。熱雑音出力前処理部１２５は、画素データ分割部１２３から伝送された熱雑音出力データに対して、後述する熱雑音測定部１２７によって熱雑音を定量的に処理するための前処理を行う。このような前処理の例として、所定時間分の熱雑音出力データを累積加算する累積処理、または、熱雑音出力データに対するピーク処理を挙げることができる。熱雑音出力前処理部１２５は、上述のような累積処理またはピーク処理の少なくとも何れかを実施する。また、熱雑音出力前処理部１２５は、累積処理およびピーク処理の双方を実施してもよく、これらの処理以外の前処理を実施してもよい。
【００６６】
熱雑音出力データ生成領域１５３から出力される熱雑音出力データは、時間と共に変動する不安定な出力であるため、上述のような処理をすることで、熱雑音出力データに含まれる熱雑音出力を表す数値を、定量的な判断が可能な程度まで安定化させることができる。これにより、後述する熱雑音測定部１２７により実施される測定処理の精度を向上させることが可能となる。
【００６７】
熱雑音出力生成部１５３は、前処理を行った熱雑音出力データを、熱雑音測定部１２７に伝送する。
【００６８】
熱雑音測定部１２７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。熱雑音測定部１２７は、熱雑音出力前処理部１２５から伝送された熱雑音出力データを解析して、撮像素子１０９で発生している熱雑音の大きさを測定する。熱雑音測定部１２７は、熱雑音の測定結果を熱雑音情報として、駆動制御部１２１と、温度推定部１２９とに伝送する。
【００６９】
駆動制御部１２１は、熱雑音測定部１２７から伝送された熱雑音の大きさに応じて、撮像素子１０９の駆動周波数を低下させたり、撮像素子１０９の受光時間（すなわちシャッタースピード）やフレームレートを制御したりすることが可能である。熱雑音が大きくなるにつれて、撮像素子１０９から出力されるデータのＳ／Ｎ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ）比が低下することとなる。そこで、駆動制御部１２１が、撮像素子１０９の駆動周波数を低下させたり、受光時間を長くしたり、フレームレートを遅くしたりすることで、熱雑音によるデータ信号のＳ／Ｎ比の低下を抑制することができる。
【００７０】
温度推定部１２９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。温度推定部１２９は、熱雑音測定部１２７から伝送された熱雑音の大きさに関する情報である熱雑音情報に基づいて、自装置が撮像処理を行った際の温度（撮像温度）を推定する。ここで、自装置が撮像処理を行った際の温度とは、自装置が設けられた場所における外気温であってもよく、自装置が到達している温度であってもよい。温度推定部１２９は、撮像素子１０９で発生している熱雑音の大きさと、撮像処理を行った際の温度との対応関係が記載されているデータベースを有しており、このデータベースに基づいて熱雑音の大きさから温度を推定する。また、これらの対応関係を表すデータベースは、これら２つのパラメータの間の関係を表した数式等であってもよい。
【００７１】
このようなデータベースは、例えば、静脈撮像装置１０が製造された際に、温度を変化させながら、発生する熱雑音の大きさを計測しておくことで生成することができる。このようにして生成されたデータベースは、それぞれの静脈撮像装置１０に固有の熱雑音の特徴を含んでおり、自装置で発生する熱雑音と温度との関係を精度良く見積もることが可能となる。
【００７２】
また、温度推定部１２９は、温度の推定結果に基づいて、撮像素子１０９から出力されるデータ信号のＳ／Ｎ比の低下の度合いを推定することが可能である。このＳ／Ｎ比の低下の度合いは、例えば、装置の組立て時などに行われる温度とＳ／Ｎ比との関係を明らかにするための評価実験等の結果を用いて予めデータベース等を生成しておき、このようなデータベースを利用することで見積もることができる。
【００７３】
温度推定部１２９は、温度の推定結果（例えば、現在の温度が７０℃である旨を表す情報など）を、後述する警告部１３１、画素選択部１３３、静脈画像補間部１３５および静脈パターン抽出部１３７に伝送する。また、温度推定部１２９は、Ｓ／Ｎ比の低下の度合い等を見積もった場合には、見積もり結果（例えば、１０ｄＢ程度の低下が予想される旨を表す情報など）を、温度の推定結果とあわせて伝送してもよい。
【００７４】
警告部１３１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。警告部１３１は、温度推定部１２９から伝送された温度の推定結果等を参照し、静脈撮像装置１０の温度または外界の温度が所定の閾値以上である場合に、正常な静脈の撮像処理（ひいては静脈認証処理）が困難となると判断し、警告を出力する。
【００７５】
また、警告部１３１は、後述する認証部１３９から、あるユーザから得られた静脈パターンについて所定の回数以上認証に失敗した等の情報が伝送された場合に、装置自体が正常な処理ができない環境下にあると判断し、警告を出力してもよい。
【００７６】
さらに、警告部１３１は、正常な静脈の撮像処理（ひいては静脈認証処理）が実施できないほどの温度であると判断した場合に、自装置で行われている静脈の撮像処理や静脈認証処理を中止してもよい。
【００７７】
画素選択部１３３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画素選択部１３３は、一つのマイクロレンズ１０３に対応する複数の画素１１１の中から、静脈画像の生成用に用いる静脈撮像データを生成する画素を選択する。以下では、図８を参照しながら、画素選択部１３３が行う画素選択処理について、詳細に説明する。図８は、画素選択部１３３が行う画素選択処理について説明するための説明図である。
【００７８】
図８では、マイクロレンズアレイ１０１の一つのマイクロレンズ１０３に対して、８×８＝６４個の画素１１１が対応しており、マイクロレンズ１０３は、被写体を１／２に縮小するレンズである場合について、図示している。この場合に、被写体の大きさは１／２の大きさまで縮小されるため、６４個の画素のうち、中央部分に位置する４×４＝１６個の画素を用いることで、被写体の撮像データを得ることができる。ただ、このような場合であっても、中央部分以外の画素に対しても被写体からの光は結像しており、中央部分の４×４画素以外の部分から得られる撮像データも、被写体画像の生成に利用可能である。
【００７９】
この際、画素選択の基準単位となる基準単位領域は、上述のように、マイクロレンズ１０３の倍率等から４×４＝１６画素分の領域となる。また、結像位置のズレ等が生じていなければ、マイクロレンズ１０３を介して集光された光は、８×８＝６４個の画素のうち、略中央部分に結像することとなる。そこで、画素選択部１３３は、１つのマイクロレンズ１０３に対応する８×８画素のうち、中央部分に位置する４×４画素を選択する。
【００８０】
また、画素選択部１３３は、温度推定部１２９から伝送された温度の推定結果を参照し、画素１１１から出力されるデータ信号のＳ／Ｎ比の低下が予想される場合には、基準単位領域の周辺に位置し、光を検知している画素をあわせて選択する。
【００８１】
画素選択部１３３は、上述のようにして選択した画素に関する情報（例えば、選択した画素を特定するための情報など）と、選択した画素から得られた静脈撮像データとを、後述する静脈画像補間部１３５へと伝送する。
【００８２】
静脈画像補間部１３５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。静脈画像補間部１３５は、画素選択部１３３から伝送された静脈撮像データに基づいて静脈画像を生成する。また、静脈画像補間部１３５は、温度推定部１２９から伝送された温度に関する情報（温度を表す情報や、Ｓ／Ｎ比の低下度合いに関する見積もり結果など）に基づいて、生成した静脈画像に対して補間処理を行う。
【００８３】
なお、静脈画像補間部１３５は、静脈画像の生成に際して、温度推定部１２９から伝送された温度に関する情報に基づいて、静脈撮像データに含まれる出力値の補正を行う。より具体的には、静脈画像補間部１３５は、静脈撮像データに含まれる出力値そのものを画像の生成に用いるわけではなく、以下の式１に基づいて、出力値の補正を行う。
【００８４】
補正後の出力値
＝（データの出力値−黒レベル基準値）／（白レベルの基準値−黒レベルの基準値）
・・・（式１）
【００８５】
ここで、上記式１において、黒レベル基準値とは、黒一色からなる画像を撮像したときに撮像素子１０９から出力されるデータの出力値であり、白レベル基準値とは、白一色からなる画像を撮像したときに撮像素子１０９から出力されるデータの出力値である。また、上記式１において、データの出力値とは、被写体を撮像した際に撮像素子１０９から出力されるデータの出力値である。
【００８６】
撮像温度が高温となると、データ出力値に占める熱雑音の割合が増加し、画像のコントラストが低下して、画像が全体的に白みを帯びてしまう。そこで、本実施形態に係る静脈画像補間部１３５は、温度推定部１２９から伝送された温度に関する情報に基づいて、黒レベル基準値の値を変更し、熱雑音の増加に伴う画像の劣化を自動的に防止する。より詳細には、上記式１において、常温時の黒レベル基準値に対して乗算される補正係数を設定し、画像補間部１３５は、温度推定部１２９から伝送された温度に関する情報に基づいて、この補正係数の値を調整する。
【００８７】
また、静脈画像補間部１３５で行われる補間処理として、例えば、生成された静脈画像のノイズ除去処理などがある。また、温度推定部１２９から伝送された温度に関する情報に応じて、複数フレームの画像を積分処理し静脈画像の画質を向上させる処理を行っても良い。複数フレームの画像を積分処理することで、処理に要する時間が増加して静脈撮像装置１０のユーザの待ち時間が増えてしまうものの、環境温度等によって静脈の撮像（ひいては、静脈の認証処理）ができなくなるという事態の発生を低下させることが可能である。
【００８８】
また、静脈画像補間部１３５は、温度推定部１２９から伝送された温度に関する情報に応じて、例えばマルチタップの補間フィルタ等を用いて、以下のような補間処理を行ってもよい。すなわち、静脈画像補間部１３５は、図８に示したように、基準単位領域に含まれる画素から得られた画像データだけでなく、基準単位領域の周辺に位置し、光を検知している画素から得られた画像データを用いて、静脈画像の補間処理（合成処理）を行ってもよい。このような処理を行うことで、熱雑音の増加に伴い画像のＳ／Ｎ比が低下している場合であっても、静脈画像の画質（Ｓ／Ｎ比）を向上させることが可能となる。
【００８９】
静脈画像補間部１３５は、補間処理がなされた静脈画像を、後述する静脈パターン抽出部１３７に伝送する。
【００９０】
［認証処理部の構成について］
静脈パターン抽出部１３７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。静脈パターン抽出部１３７は、例えば、静脈画像補間部１３５から伝送される静脈画像に対して、静脈パターン抽出の前処理を行なう機能と、静脈パターンの抽出を行なう機能と、静脈パターン抽出の後処理を行なう機能と、を備える。
【００９１】
ここで、上記の静脈パターン抽出の前処理は、例えば、静脈画像から指の輪郭を検出し、静脈画像のどの位置に指があるかを識別する処理や、検出した指の輪郭を利用して撮像画像を回転させて、撮像画像の角度を補正する処理等を含む。
【００９２】
また、上記の静脈パターンの抽出は、輪郭の検出や角度の補正が終了した撮像画像に対して差分フィルタを適用することで行なわれる。差分フィルタは、注目している画素とその周囲の画素について、注目している画素と周囲の画素との差分が大きな部分で、大きな値を出力値として出力するフィルタである。換言すれば、差分フィルタとは、注目している画素とその近傍の階調値の差分を用いた演算により、画像中の線や縁を強調するフィルタである。
【００９３】
一般的に、２次元平面の格子点（ｘ，ｙ）を変数とする画像データｕ（ｘ，ｙ）に対してフィルタｈ（ｘ，ｙ）を用いてフィルタ処理を行なうと、以下の式２に示すように、画像データν（ｘ，ｙ）を生成する。ここで、以下の式１において、‘＊’は畳込み積分（コンボリューション）を表す。
【００９４】
【数１】
・・・（式２）
【００９５】
本実施形態に係る静脈パターンの抽出では、上記の差分フィルタとして、１次空間微分フィルタや２次空間微分フィルタ等の微分フィルタを用いてもよい。１次空間微分フィルタは、注目している画素について、横方向と縦方向の隣接している画素の階調値の差分を算出するフィルタであり、２次空間微分フィルタは、注目している画素について、階調値の差分の変化量が大きくなっている部分を抽出するフィルタである。
【００９６】
上記の２次空間微分フィルタとして、例えば、以下に示すＬｏｇ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）フィルタを用いることが可能である。Ｌｏｇフィルタ（式４）は、ガウス関数を用いた平滑化フィルタであるガウシアン（Ｇａｕｓｓｉａｎ）フィルタ（式２）の２次微分で表される。ここで、以下の式３において、σはガウス関数の標準偏差を表し、ガウシアンフィルタの平滑化の度合いを表す変数である。また、以下の式４におけるσは、式３と同様にガウス関数の標準偏差を表すパラメータであり、σの値を変化させることで、Ｌｏｇフィルタ処理を行なった場合の出力値を変化させることができる。
【００９７】
【数２】
・・・（式３）
・・・（式４）
【００９８】
また、上記の静脈パターン抽出の後処理は、例えば、差分フィルタ適用後の撮像画像に対してなされる閾値処理や、２値化処理や、細線化処理等を含む。かかる後処理を経て、静脈パターンのスケルトンを抽出することが可能となる。
【００９９】
なお、本実施形態に係る静脈パターン抽出部１３７は、上述のようなフィルタのフィルタ特性（例えば、各フィルタを表した式における係数の値等）を、温度推定部１２９から伝送された温度に関する情報に応じて変更してもよい。上述のように、高温となることで生じる熱雑音の増加に伴い、静脈画像補間部１３５により適切な画像の補間処理が施される。これらの補間処理によって、静脈パターンの抽出の際に利用される常温時の設定のままのフィルタでは、適切な静脈パターンの抽出処理が行えない場合も生じうる。そこで、静脈パターン抽出部１３７がフィルタ特性を温度に関する情報に応じて変更することで、高温下での撮像画像であっても適切な静脈パターンの抽出を行うことが可能となる。
【０１００】
静脈パターン抽出部１３７は、このようにして抽出した静脈パターンやスケルトンを、後述する認証部１３９等に伝送する。また、静脈パターン抽出部１３７は、抽出した静脈パターンやスケルトンを、後述する記憶部１４１に記憶してもよい。なお、静脈パターン抽出部１３７は、上述の各処理を行なうに当たって生成したパラメータや処理の途中経過等を、記憶部１４１に記憶してもよい。
【０１０１】
認証部１３９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。認証部１３９は、静脈パターン抽出部１３７により生成された静脈パターンを既に登録されているテンプレートと照合して、静脈パターンの認証を行う。
【０１０２】
認証部１３９は、静脈パターン抽出部１３７により生成された静脈パターンと、既に記録されている静脈パターンのテンプレートとに基づいて、生成された静脈パターンの認証を行なう。認証部１３９は、後述する記憶部１４１に対して登録静脈パターンの開示を要求し、取得した登録静脈パターンと、静脈パターン抽出部１３７から伝送された静脈パターンとの比較を行なう。登録静脈パターンと伝送された静脈パターンとの比較は、例えば以下に示す相関係数を算出し、算出した相関係数に基づいて実行することが可能である。認証部１３９は、比較の結果登録静脈パターンと伝送された静脈パターンが類似している場合には、伝送された静脈パターンの認証に成功したと判断し、類似していない場合には、認証に失敗したと判断する。
【０１０３】
相関係数は、以下の式５で定義されるものであり、２つのデータｘ＝｛ｘｉ｝，ｙ＝｛ｙｉ｝間の類似度を示す統計学指標であって、−１から１までの実数値をとる。相関係数が１に近い値を示す場合には、２つのデータは類似していることを示し、相関係数が０に近い値を示す場合には、２つのデータは類似していないことを示す。また、相関係数が−１に近い値を示す場合には、２つのデータの符号が反転しているような場合を示す。
【０１０４】
【数３】
・・・（式５）
：データｘの平均値
：データｙの平均値
【０１０５】
また、認証部１３９は、認証結果を認証時刻等と関連づけて、認証履歴として記憶部１４１に記録してもよい。かかる認証履歴を生成することで、誰がいつ静脈パターンの認証を要求したのか、ひいては、誰がいつ静脈撮像装置１０を利用したのか、を知ることが可能となる。
【０１０６】
さらに、認証部１３９は、あるユーザから得られた静脈パターンについて所定の回数以上認証に失敗した場合、認証処理が所定の回数以上失敗した旨を警告部１３１に伝送する。このような情報を警告部１３１に伝送することで、環境温度による熱膨張などが原因で正常な静脈認証処理ができないと判断された場合に、静脈撮像装置１０のユーザに対して認証が正常にできない可能性がある旨を警告することができる。
【０１０７】
記憶部１４１は、静脈撮像装置１０のユーザの登録静脈パターンや、当該登録静脈パターンに関連付けられた他のデータを記憶する。また、これらのデータ以外にも、撮像部により生成された静脈撮像データや、静脈画像補間部１３３が生成した静脈画像や、静脈パターン抽出部１３７が抽出した静脈パターン等が記録されてもよい。また、記憶部１４１には、静脈画像補間部１３５が行う補間処理に必要な各種のプログラムやデータ等が記録されていてもよい。更に、記憶部１４１は、これらのデータ以外にも、静脈撮像装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベース等を、適宜記憶することが可能である。この記憶部１４１は、撮像部、画像処理部、認証処理部に設けられた各処理部が、自由に読み書きを行うことが可能である。
【０１０８】
［特定の画素からのデータの取得について］
ここで、図９〜図１０を参照しながら、特定の画素からデータを取得する方法について、詳細に説明する。図９および図１０は、特定の画素からデータを取得する方法について説明するための説明図である。
【０１０９】
本実施形態に係る静脈撮像装置１０の撮像素子１０９は、多層型の素子となっている。例えば図９には、撮像素子１０９が３層からなる多層型素子である場合の例を示している。
【０１１０】
本実施形態に係る静脈撮像装置１０では、撮像素子１０は、指の長さ方向、すなわち、図中のｙ軸に沿った方向にライン走査を行う。以降、図中のｙ軸に沿った方向を、垂直方向と称することとし、垂直方向に対して直交する方向、すなわち、図中のｘ軸に沿った方向を、水平方向と称することとする。
【０１１１】
図９に示したように、本実施形態に係る静脈撮像装置１０では、駆動制御部１２１によって、水平ライン単位で、撮像データが、垂直同期の時間軸に沿って出力される。すなわち、ある水平方向に沿って配設された画素は、図９に示した第１層にデータが同期して出力され、ある水平方向に沿って配設された画素は、第２層にデータが出力され、ある水平方向に沿って配設された画素は、第３層にデータが出力される。このように、駆動制御部１２１による制御によって、撮像素子１０９は、多層化した出力を行うことができる。
【０１１２】
そのため、画素選択部１３３が駆動制御部１２１に対して選択したい画素に関する情報を伝送し、駆動制御部１２１が、多層型素子のある層による出力を選択し、かつ、水平ライン上で、特定の画素をタイミング制御によって選択することが可能となる。
【０１１３】
なお、図９に示した例では、垂直同期ラインを分割駆動する方法について説明したが、図１０に示したように、水平ライン内での回路的な分割駆動を行うことも可能である。
【０１１４】
図１０に示した例では、同一の水平ライン上に存在する画素１１１は、水平第１層にデータを出力するものと、水平第２層にデータを出力するものと、水平第３層にデータを出力するものの３種類が存在する。そのため、駆動制御部１２１は、多層型素子のある層による出力を選択し、かつ、垂直ライン上で、特定の画素を選択するためのタイミング制御を行うことで、任意の画素からのデータを選択することができる。
【０１１５】
また、垂直ライン内での分割駆動と、水平ライン内での分割駆動とを組み合わせて用いることも可能である。
【０１１６】
以上、本実施形態に係る静脈撮像装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【０１１７】
なお、上述のような本実施形態に係る静脈撮像装置の各機能を実現するためのコンピュータプログラムを作製し、マイクロレンズアレイ、近赤外光照射光源、撮像素子等を備えた撮像装置を制御可能なパーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【０１１８】
なお、本実施形態に係る静脈撮像装置１０は、例えば、コンピュータやサーバ等の情報処理装置、携帯電話やＰＨＳ等の携帯端末や携帯情報端末（ＰＤＡ）、現金自動預払機（ＡＴＭ）、入退室管理装置に実装されていてもよい。また、本実施形態に係る静脈撮像装置１０は、ゲーム機器やゲーム機器のコントローラ等の各種装置に実装されてもよい。
【０１１９】
また、上述の説明では、テンプレートとして登録されている登録静脈パターンが、静脈撮像装置１０内に記録されている場合について説明した。しかし、登録静脈パターンは、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、コンパクトフラッシュ（登録商標）、メモリースティック、または、ＳＤメモリカード等の記録媒体や、非接触型ＩＣチップを搭載したＩＣカードまたは電子機器等に記録されていてもよい。また、登録静脈パターンは、静脈撮像装置１０とインターネット等の通信網を介して接続されたサーバに記録されていてもよい。
【０１２０】
＜静脈画像補間方法について＞
続いて、図１１を参照しながら、本実施形態に係る静脈撮像装置が実施する静脈画像補間方法について、詳細に説明する。図１１は、本実施形態に係る静脈画像補間方法について説明するための流れ図である。
【０１２１】
まず、静脈撮像装置１０の使用者は、静脈撮像装置１０のマイクロレンズアレイ１０１上に指などの生体の一部を載置する。静脈撮像装置１０の撮像部は、載置された生体の一部の撮像処理を行う（ステップＳ１０１）。
【０１２２】
また、静脈撮像装置１０の熱雑音出力前処理部１２５は、撮像素子１０９の熱雑音出力データ生成領域１５３から出力されるデータに対して、所定時間分の熱雑音出力データを累積加算する累積処理、または、熱雑音出力データに対するピーク処理を行う。また、熱雑音測定部１２７は、熱雑音出力前処理部１２５から伝送された熱雑音出力データに基づいて、熱雑音の測定処理を行う（ステップＳ１０３）。熱雑音測定部１２７は、熱雑音の測定結果を駆動制御部１２１および温度推定部１２９へと伝送する。ここで、駆動制御部１２１は、伝送された熱雑音の測定結果に応じて、撮像素子１０９の駆動制御を行う（ステップＳ１０５）。
【０１２３】
続いて、温度推定部１２９は、熱雑音測定部１２７から伝送された熱雑音の測定結果に基づいて、撮像時の温度を推定する（ステップＳ１０７）。また、温度推定部１２９は、推定した温度に基づいて、Ｓ／Ｎ比の低下の度合い等をあわせて推定してもよい。温度推定部１２９は、温度の推定結果や、Ｓ／Ｎ比の低下の度合いの推定結果等を含む温度に関する情報を、警告部１３１、画素選択部１３３、静脈画像補間部１３５および静脈パターン抽出部１３７に伝送する。
【０１２４】
温度に関する情報が伝送された警告部１３１は、温度の推定結果について判定を行い（ステップＳ１０９）、警告が必要となる閾値を超えているか否かを判断する。警告が必要となる温度となっている場合には、静脈撮像装置１０は、表示画面に警告を出力する（ステップＳ１１１）。
【０１２５】
警告が必要となるほどの温度となっていない場合には、画素選択部１３３は、伝送された温度に関する情報に基づいて、画素の選択処理を行う。より詳細には、画素選択部１３３は、マイクロレンズアレイ１０１を構成するそれぞれのマイクロレンズ１０３について、一つのマイクロレンズ１０３に対応する複数の画素の中から、静脈画像の生成に用いる撮像データを出力している画素を選択する。
【０１２６】
次に、静脈画像補間部１３５は、画素選択部１３３により選択された画素から得られる撮像データを用いて、静脈画像を生成する。続いて、静脈画像補間部１３５は、生成した静脈画像について、撮像時の温度に応じた画像の補間処理を行う（ステップＳ１１３）。具体的には、静脈画像補間部１３５は、複数のフレーム画像を積分処理したり、ノイズの除去処理を行ったり、周辺画素を用いた画像の補間処理を行ったりする。
【０１２７】
画像の補間処理が終了すると、静脈画像補間部１３５は、補間処理が施された静脈画像を、静脈パターン抽出部１３７に伝送する。静脈パターン抽出部１３７は、撮像時の温度に応じて静脈パターンの抽出に用いられるフィルタのフィルタ特性を変更しながら、伝送された静脈画像の中から、静脈パターンを抽出し（ステップＳ１１５）、認証部１３９へと伝送する。
【０１２８】
認証部１３９は、静脈パターン抽出部１３７から伝送された静脈パターンと、記憶部１４１等に格納されている登録静脈パターン（テンプレート）とを用いて、伝送された静脈パターンの認証処理を行う（ステップＳ１１７）。
【０１２９】
以上説明したような手順で、高温時の熱雑音による画質の劣化を自動的に補間することができる。
【０１３０】
なお、上述の説明では、生体の撮像の後に熱雑音の測定や撮像時の温度の推定を行う場合について説明したが、静脈撮像装置１０は、生体の撮像に先立って、予め熱雑音の測定や撮像時の温度の推定を行っても良い。
【０１３１】
＜ハードウェア構成について＞
次に、図１２を参照しながら、本発明の各実施形態に係る静脈撮像装置１０のハードウェア構成について、詳細に説明する。図１２は、本発明の各実施形態に係る静脈撮像装置１０のハードウェア構成を説明するためのブロック図である。
【０１３２】
静脈撮像装置１０は、マイクロレンズアレイ１０１、近赤外光照射光源１０５および撮像素子１０９以外に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置１０は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０１３３】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、静脈撮像装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
【０１３４】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
【０１３５】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、静脈撮像装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。静脈撮像装置１０のユーザは、この入力装置９１５を操作することにより、静脈撮像装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１３６】
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、静脈撮像装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、静脈撮像装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
【０１３７】
ストレージ装置９１９は、静脈撮像装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【０１３８】
ドライブ９２１は、記録媒体用リーダライタであり、静脈撮像装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、メモリースティック、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。
【０１３９】
接続ポート９２３は、機器を静脈撮像装置１０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ｉ．Ｌｉｎｋ等のＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、静脈撮像装置１０は、外部接続機器９２９から直接各種データを取得したり、外部接続機器９２９に各種データを提供したりする。
【０１４０】
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
【０１４１】
以上、本発明の各実施形態に係る静脈撮像装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１４２】
＜まとめ＞
以上説明したように、本発明の各実施形態によれば、撮像素子が摂氏７０度などといった過酷な環境下に存在する場合であっても生体の撮像や認証を可能とするために、撮像素子の動作状況を自動的に取得する静脈撮像装置を実現可能である。撮像素子の動作状況を自動的に取得することで、適応型の駆動方法や画像信号処理を行うことが可能となり、温度依存のない生体認証用の画像取得および認証処理が可能となる。
【０１４３】
本発明の各実施形態に係る撮像素子には、静脈撮像データを生成する撮像領域とは別に外部の光を遮断した領域が設定されており、この領域のノイズ（熱雑音）検出を行うことで、動作温度によるノイズ増加を検出する。本実施形態に係る静脈撮像装置は、検出されたノイズによって装置の相対的な温度変化が推定できるため、この温度変化情報により撮像素子の駆動制御方法や画像信号処理方法を変化させることができる。
【０１４４】
本発明の各実施形態に係る静脈撮像装置は、画像センサと同等の専用画素のノイズレベルを計測することで、シャッタースピードやフレームの累積加算処理、画像信号処理などを正確に実行可能である。また、ノイズを検出するための領域は、撮像素子内に配置できることから、装置の製造コストに影響のない構造が可能となる。また、ノイズに関するデータの取り込みを撮像データの取り込みと時分割処理することで、ノイズに関するデータの取り込み用の駆動回路を、撮像データ取り込み用の駆動回路と共有することができる。
【０１４５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１４６】
１０ 静脈撮像装置
１０１ マイクロレンズアレイ
１０３ マイクロレンズ
１０５ 近赤外光照射光源
１０７ 指向性制御板
１０９ 撮像素子
１１１ 画素
１２１ 駆動制御部
１２３ 画素データ分割部
１２５ 熱雑音出力前処理部
１２７ 熱雑音測定部
１２９ 温度推定部
１３１ 警告部
１３３ 画素選択部
１３５ 静脈画像補間部
１３７ 静脈パターン抽出部
１３９ 認証部
１４１ 記憶部
１５１ 静脈撮像データ生成領域
１５３ 熱雑音出力データ生成領域
【技術分野】
【０００１】
本発明は、静脈撮像装置、静脈画像補間方法およびプログラムに関する。
【背景技術】
【０００２】
生体個人認証は、今後のネットワーク社会において、権利を守る為に非常に重要な技術である。特に、常時、他人が本人になりすまして、金銭やコンテンツ、権利などをネット越しに盗むことが可能であるインターネット上での商取引では、生体個人認証は、暗号だけでは解決できない領域を守る技術として注目されている。しかしながら、生体個人認証の中でも指紋や虹彩（アイリス）などを利用したものは、偽造の問題が解決できない。この点、静脈のパターンのうち外部から容易に撮像できない部位を用いた個人認証技術は、判定精度の高さや偽造、成りすましが困難であるため、次世代の生体個人認証として期待されている。
【０００３】
他方、特に静脈の画像を撮像するための撮像方式を実現するにあたって、光源の位置の制限が大きいため、撮像デバイスの平面構造化が困難であった。この問題を解決するために、広角レンズなどによる方法は提案されてきた。しかしながら、この方法では、撮像デバイスと指との距離を限定することが困難であるとともに、ユーザ側が確実に同じ距離に指をおく必要があることが必要となることから、認証の再現性が確保できなかった。また、大判センサによる接触式または非接触式のデバイスは、原理的には理想的であるが、センササイズが大きくなるため、高価な光学材料などに起因するコストの問題があった。さらに、センサで生じる熱雑音は温度上昇に比例して増加するため、撮影時の外気温が高温となると、認証に用いられる画像の画質が低下することとなるため、認証精度が悪くなるという問題があった。
【０００４】
このように、外気温が撮像デバイスに与える影響は大きいため、撮像デバイスの温度を把握することが重要となる。以下に示す特許文献１では、露光装置に用いられた光学部材の温度を検出する温度検出手段と、検出した温度が所定の範囲内となるように光学部材の温度を調整する温度調整手段とを装置に設ける技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３４９９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されているような温度検出手段や温度調整手段を装置に設けると、装置の小型化が困難となるという問題があった。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、装置の小型化を図り、熱雑音により生じる画質の劣化を防止することが可能な、静脈撮像装置、静脈画像補間方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する撮像素子と、前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに基づいて、熱雑音の大きさを測定する熱雑音測定部と、前記熱雑音測定部により測定された前記熱雑音の大きさに基づいて、前記静脈の撮像処理が行われた撮像温度を推定する温度推定部と、前記静脈撮像データ生成領域により生成された前記静脈撮像データを用いて前記静脈の撮像画像を生成し、前記温度推定部により推定された前記撮像温度に基づいて、前記静脈の撮像画像の補間処理を行う静脈画像補間部と、を備える静脈撮像装置が提供される。
【０００９】
かかる構成によれば、熱雑音測定部は、熱雑音出力データ生成領域から出力された熱雑音出力データに基づいて、熱雑音の大きさを測定する。また、温度推定部は、熱雑音測定部により測定された熱雑音の大きさに基づいて、静脈の撮像処理が行われた撮像温度を推定する。また、静脈画像補間部は、静脈撮像データ生成領域により生成された静脈撮像データを用いて静脈の撮像画像を生成し、温度推定部により推定された撮像温度に基づいて、静脈の撮像画像の補間処理を行う。
【００１０】
前記静脈画像補間部は、前記温度推定部により推定された前記撮像温度に基づいて、所定時間分の前記静脈の撮像画像の積分処理および前記静脈の撮像画像からのノイズ除去処理の少なくとも何れかを行うことが好ましい。
【００１１】
前記撮像素子は、一つのレンズアレイに対して前記静脈撮像データ生成領域に位置する複数の画素が対応しており、前記静脈画像補間部は、前記静脈の撮像画像の生成に用いられた前記静脈撮像データを出力した画素の周辺に位置する画素から出力された前記静脈撮像データを利用して前記補間処理を行うことが好ましい。
【００１２】
前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに対して、前記熱雑音測定部によって前記熱雑音を定量的に処理するための前処理を行う熱雑音出力前処理部を更に備えてもよい。
【００１３】
前記熱雑音出力前処理部は、所定時間分の前記熱雑音出力データを累積加算する累積処理、または、前記熱雑音出力データに対するピーク処理の少なくともいずれかを実行してもよい。
【００１４】
少なくとも前記撮像素子の駆動制御を行う駆動制御部を更に備え、前記駆動制御部は、前記熱雑音測定部により測定された前記熱雑音の大きさに基づいて、前記撮像素子の受光時間およびフレームレートの少なくとも何れかの制御を行ってもよい。
【００１５】
前記静脈の撮像画像から静脈パターンを抽出する静脈パターン抽出部を更に備え、前記静脈パターン抽出部は、前記温度推定部により推定された前記撮像温度に基づいて、前記静脈パターンの抽出に用いられるフィルタのフィルタ特性を変更してもよい。
【００１６】
前記温度推定部から出力された前記撮像温度が所定の閾値以上であった場合に警告を発する警告部を更に備えてもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する撮像素子と、を備えた静脈撮像装置の前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに基づいて、熱雑音の大きさを測定するステップと、測定された前記熱雑音の大きさに基づいて、前記静脈の撮像処理が行われた撮像温度を推定するステップと、前記静脈撮像データ生成領域により生成された前記静脈撮像データを用いて前記静脈の撮像画像を生成し、推定された前記撮像温度に基づいて、前記静脈の撮像画像の補間処理を行うステップと、を含む静脈画像補間方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の更に別の観点によれば、複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する撮像素子と、を備えた静脈撮像装置を制御するコンピュータに、前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに基づいて、熱雑音の大きさを測定する熱雑音測定機能と、前記熱雑音測定機能により測定された前記熱雑音の大きさに基づいて、前記静脈の撮像処理が行われた撮像温度を推定する温度推定機能と、前記静脈撮像データ生成領域により生成された前記静脈撮像データを用いて前記静脈の撮像画像を生成し、前記温度推定機能により推定された前記撮像温度に基づいて、前記静脈の撮像画像の補間処理を行う静脈画像補間機能と、を実現させるためのプログラムが提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、装置の小型化を図り、熱雑音により生じる画質の劣化を防止することが可能である。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に係る静脈撮像装置の構成を説明するためのブロック図である。
【図２】同実施形態に係る静脈撮像装置について説明するための説明図である。
【図３】同実施形態に係る静脈撮像装置について説明するための説明図である。
【図４Ａ】マイクロレンズアレイで撮像した画像について説明するための説明図である。
【図４Ｂ】マイクロレンズアレイで撮像した画像について説明するための説明図である。
【図５】同実施形態に係る撮像素子について説明するための説明図である。
【図６】同実施形態に係る撮像素子について説明するための説明図である。
【図７】同実施形態に係る撮像素子について説明するための説明図である。
【図８】同実施形態に係る画素選択部について説明するための説明図である。
【図９】特定の画素からデータを取得する方法について説明するための説明図である。
【図１０】特定の画素からデータを取得する方法について説明するための説明図である。
【図１１】同実施形態に係る静脈画像補間方法について説明するための流れ図である。
【図１２】本発明の各実施形態に係る静脈撮像装置のハードウェア構成について説明するためのブロック図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
なお、説明は、以下の順序で行うものとする。
（１）目的
（２）第１の実施形態
（１−１）静脈撮像装置の構成について
撮像部の構成について
撮像部の構造の一例について
マイクロレンズアレイで得られる画像について
撮像素子について
画像処理部の構成について
認証処理部の構成について
特定の画素からのデータの取得について
（１−２）静脈画像補間方法について
（２）本発明の各実施形態に係る静脈撮像装置のハードウェア構成について
（３）まとめ
【００２３】
＜目的＞
本発明の各実施形態に係る静脈撮像装置および静脈画像補間方法について説明するに先立ち、静脈撮像装置の概略について説明しながら、本発明の目的とするところについて、まず説明する。
【００２４】
生体認証、特に静脈認証において、撮像素子にＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等を用いたカメラを利用する方式が主流であった。しかしながら、このような静脈認証装置は、指紋認証などに比較して装置が大きなものになるため、応用範囲が限定されていた。
【００２５】
そこで、以下で説明する本発明の各実施形態に係る静脈撮像装置は、大判のセンサとレンズアレイの一種であるマイクロレンズアレイ（Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ：ＭＬＡ）を利用することで、静脈撮像装置の薄型化を実現する。
【００２６】
また、大判センサデバイスはシリコン等を用いて形成されるが、シリコンを用いたデバイスでは、温度上昇に伴い熱雑音が増加する。特に、ＴＦＴセンサのように薄膜を用いて形成されるセンサデバイスでは、高温でのノイズが顕著となって、撮像された静脈画像の劣化が激しくなる。また、静脈画像の劣化が進むことで、高温時での認証精度が低下してしまう可能性が高くなる。
【００２７】
そこで、以下で説明する本発明の各実施形態に係る静脈撮像装置では、撮像素子の撮像領域の周辺画素を熱雑音の測定用に用いることで、各温度における各部材の最良のサンプリングや画像処理による補正を自動化することを目的とする。
【００２８】
（第１の実施形態）
＜静脈撮像装置の構成について＞
まず、図１〜図３を参照しながら、本発明の第１の実施形態に係る静脈撮像装置の構成について、詳細に説明する。図１は、本実施形態に係る静脈撮像装置の構成を説明するためのブロック図である。また、図２は、本実施形態に係る静脈撮像装置の平面図であり、図３は、図２をＡ−Ａ切断線で切断した場合の断面図である。
【００２９】
本実施形態に係る静脈撮像装置１０は、例えば図１に示したように、撮像部、画像処理部および認証処理部の３つの部分と、記憶部１４１と、から構成されている。
【００３０】
撮像部は、生体の一部（例えば、指など）を撮像する処理を行う部分である。この撮像部は、例えば図１に示したように、マイクロレンズアレイ１０１と、近赤外光照射光源１０５と、撮像素子１０９と、駆動制御部１２１と、を主に備える。
【００３１】
画像処理部は、撮像部によって生成された静脈に関する画像データ（撮像データ）の取得に際しての処理や、取得した撮像データに対する各種の画像処理を行って、生体の内部に存在する静脈の撮像画像（静脈画像）を生成する部分である。この画像処理部は、例えば図１に示したように、画素データ分割部１２３と、熱雑音出力前処理部１２５と、熱雑音測定部１２７と、温度推定部１２９と、警告部１３１と、画素選択部１３３と、静脈画像補間部１３５と、を主に備える。
【００３２】
認証処理部は、画像処理部によって生成された静脈画像の認証処理を行う部分である。この認証処理部は、例えば図１に示したように、静脈パターン抽出部１３７と、認証部１３９と、を主に備える。
【００３３】
［撮像部の構成について］
まず、撮像部の構成について、以下に詳細に説明する。
【００３４】
マイクロレンズアレイ（Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ：ＭＬＡ）１０１は、後述する近赤外光照射光源１０５から生体の一部に対して照射され、生体内部の静脈を透過した近赤外光（以下、静脈透過光とも称する。）を、後述する撮像素子１０９へと集光する。このマイクロレンズアレイ１０１は、後述するように、複数の受光レンズから構成されている。マイクロレンズアレイ１０１は、例えば、ガラス素材よりも熱による影響が大きい素材を用いて形成される。このような素材を用いることで、任意の大きさのマイクロレンズアレイを、例えばモールド成形等により、安価で大量に製造することが可能となる。このようなガラス素材よりも熱による影響が大きい素材の一例として、プラスチック樹脂を挙げることができる。
【００３５】
近赤外光照射光源１０５は、静脈撮像装置１０に載置された生体の一部に対して、所定の波長帯域を有する近赤外光を照射する。近赤外光は、身体組織に対して透過性が高い一方で、血液中のヘモグロビン（還元ヘモグロビン）に吸収されるという特徴を有するため、近赤外光を指や手のひらや手の甲に照射すると、指や手のひらや手の甲の内部に分布している静脈が影となって画像に現れる。画像に表れる静脈の影を、静脈パターンという。このような静脈パターンを良好に撮像するために、近赤外光照射光源１０５は、約６００ｎｍ〜１３００ｎｍ程度の波長、好ましくは、７００ｎｍ〜９００ｎｍ程度の波長を有する近赤外光を照射する。
【００３６】
ここで、近赤外光照射光源１０５が照射する近赤外光の波長が６００ｎｍ未満または１３００ｎｍ超過である場合には、血液中のヘモグロビンに吸収される割合が小さくなるため、良好な静脈パターンを得ることが困難となる。また、近赤外光照射光源１０５が照射する近赤外光の波長が７００ｎｍ〜９００ｎｍ程度である場合には、近赤外光は、脱酸素化ヘモグロビンと酸素化ヘモグロビンの双方に対して特異的に吸収されるため、良好な静脈パターンを得ることができる。
【００３７】
このような近赤外光照射光源１０５として、例えば、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＬＥＤ）を用いることが可能である。また、上述のような波長帯域を有する発光ダイオードを用いる代わりに、上述の波長帯域を含む光を射出可能な発光ダイオードと、射出された光を光学的に帯域制限するフィルタとを組み合わせたものを使用してもよい。さらに、近赤外光照射光源１０５には、光源から照射された光の分布を調整する光量調整フィルタが組み合わされていてもよい。
【００３８】
この近赤外光照射光源１０５は、後述する駆動制御部１２１により、近赤外光の照射タイミングや、照射する近赤外光の強度等が制御される。
【００３９】
撮像素子１０９は、複数の画素１１１が格子状に配置された撮像面を有し、マイクロレンズアレイ１０１により結像された静脈透過光を基に、近赤外光による静脈撮像データを生成する。本実施形態に係る撮像素子１０９として、例えば、ＣＣＤ型画像センサや、ＣＭＯＳ型画像センサや、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）型画像センサ等を利用することができる。撮像素子１０９は、生成された静脈撮像データを出力する。また、撮像素子１０９は、生成した静脈撮像データを、後述する記憶部１４１に記録してもよい。
【００４０】
なお、本実施形態に係る静脈撮像装置１０においては、後述するように、マイクロレンズアレイ１０１の一つの受光レンズに対して、複数の画素１１１が割り当てられている。そのため、本実施形態に係る静脈撮像装置１０においては、一つの受光レンズによって集光された近赤外光（静脈透過光）は、複数の画素１１１によって撮像されることとなる。
【００４１】
この撮像素子１０９は、後述する駆動制御部１２１により、画素の走査タイミング等が制御される。
【００４２】
駆動制御部１２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により実現される。駆動制御部１２１は、近赤外光照射光源１０５や撮像素子１０９の駆動制御を行う。また、駆動制御部１２１は、後述する熱雑音測定部１２７から伝送された熱雑音の大きさに関する情報に基づいて、少なくとも撮像素子１０９の駆動制御の調整を行う。より詳細には、駆動制御部１２１は、所定の同期信号等に基づいて、撮像素子１０９の受光時間（シャッタースピード）や、撮像素子１０９のフレームレートといった駆動の制御を行う。駆動制御部１２１は、近赤外光照射光源１０５に対しても、近赤外光の照射タイミングや照射強度に関する駆動制御を行うことが可能である。
【００４３】
より詳細には、駆動制御部１２１は、撮像素子１０９の制御に関して、撮像素子１０９のある一つの方向に沿った駆動制御を、撮像素子１０９のある一つの方向に沿った画素数単位で分割して駆動する制御とする。すなわち、本実施形態に係る撮像素子１０９をある方向に沿って切断した切断図を考えた場合に、撮像素子１０９に、例えば７つの画素が存在したとする。この場合、駆動制御部１１３は、この切断線の方向に沿って画素を７つのグループに分けて分割して駆動制御を行う。
【００４４】
ここで、駆動制御部１２１は、近赤外光照射光源１０５や撮像素子１０９の制御を行うにあたり、後述する記憶部１４１に記録されている各種のパラメータやデータベース等を参照することが可能である。
【００４５】
［撮像部の構造の一例］
次に、図２〜図６を参照しながら、本実施形態に係る撮像部の構造の一例について、詳細に説明する。
【００４６】
本実施形態に係る静脈撮像装置１０のマイクロレンズアレイ１０１は、例えば図２に示したように、受光レンズである複数のマイクロレンズ１０３から構成されており、マイクロレンズ１０３は、所定の基板上に格子状に配列されている。各マイクロレンズ１０３は、例えば図３に示したように、光入射面から当該マイクロレンズ１０３に入射した静脈透過光を、後述する撮像素子１０９（より詳細には、撮像素子１０９の画素１１１）に導光する。マイクロレンズアレイ１０１は、像面湾曲が少なく深さ方向のひずみがないレンズアレイであるため、このようなマイクロレンズアレイ１０１を用いることで、良好な画像データを得ることができる。マイクロレンズアレイ１０１を構成する各マイクロレンズ１０３の焦点位置は、静脈撮像装置１０の撮像対象となる静脈Ｖが存在する静脈層の位置となるように設定される。
【００４７】
人体の皮膚は、表皮層、真皮層および皮下組織層の３層構造となっていることが知られているが、上述の静脈層は、真皮層に存在している。真皮層は、指表面に対して０．１ｍｍ〜０．３ｍｍ程度の位置から２ｍｍ〜３ｍｍ程度の厚みで存在している層である。したがって、このような真皮層の存在位置（例えば、指表面から１．５ｍｍ〜２．０ｍｍ程度の位置）にマイクロレンズ１０３の焦点位置を設定することで、静脈層を透過した透過光を、効率よく集光することが可能となる。
【００４８】
なお、本実施形態に係るマイクロレンズアレイ１０１に配設されるマイクロレンズ１０３の個数は、図２に示した例に限定されるわけではない。本実施形態に係るマイクロレンズアレイ１０１に配設されるマイクロレンズ１０３の個数は、撮像したい生体の大きさや、撮像素子１０９の大きさに応じて、自由に設定することが可能である。
【００４９】
近赤外光照射光源１０５の一例である発光ダイオードは、例えば図２に示したように、マイクロレンズアレイ１０１の対向する端部に複数配置されている。発光ダイオードが配置される端部は、生体の一部（図２および図３に示した例では、指ＦＧ）の上端と下端に対応する縁部であることが好ましい。このように発光ダイオードを配置することで、指ＦＧの上下方向から、近赤外光を照射することが可能となる。
【００５０】
なお、本実施形態に係る近赤外光照射光源１０５の個数は、図２に示した例に限定されるわけではなく、マイクロレンズアレイ１０１の大きさや、近赤外光照射光源１０５の照射可能エリア等に応じて、自由に設定することが可能である。
【００５１】
また、マイクロレンズアレイ１０１と近赤外光照射光源１０５との間には、例えば図２および図３に示したように、指向性制御板１０７が設けられる。この指向性制御板１０７は、近赤外光照射光源１０５から射出された直接光１２の指向性を制御し、直接光１２が直接マイクロレンズアレイ１０１のマイクロレンズ１０３に入射しないようにする。
【００５２】
近赤外光照射光源１０５から射出された近赤外光は、例えば図３に示したように、指ＦＧの表面に向かって上方に伝搬し、直接光１２として、指ＦＧの内部に入射する。ここで、人体は良好な近赤外光の散乱体であるため、指ＦＧ内に入射した直接光１２は四方に散乱しながら伝搬する。これらの散乱光の一部は、背面散乱光１３として上述の静脈層を背面から指表面に向かって進行し、その途中で静脈Ｖを透過する。静脈を透過した静脈透過光は、マイクロレンズアレイ１０１を構成するそれぞれのマイクロレンズ１０３に入射することとなる。
【００５３】
ここで、相隣接するマイクロレンズ１０３の境界部には、指向性制御板１０７が設けられる。この指向性制御板１０７により、静脈透過光の指向性を制御することが可能となり、各マイクロレンズ１０３に入射した光を隣接するマイクロレンズ１０３と分離できる。これにより、本実施形態に係る静脈撮像装置１０では、撮像素子１０９（より詳細には、画素１１１）に集光される静脈透過光を選択することが可能となる。
【００５４】
［マイクロレンズアレイで得られる画像について］
次に、図４Ａおよび図４Ｂを参照しながら、マイクロレンズアレイによって得られる画像の特徴について、詳細に説明する。図４Ａおよび図４Ｂは、マイクロレンズアレイで撮像した画像について説明するための説明図である。
【００５５】
一般に、マイクロレンズアレイを用いてある画像を撮像すると、例えば図４Ａに示したように、撮像画像は、元の画像に対して、上下および左右が逆転した像となる。また、実際には、一つの受光レンズ（マイクロレンズ１０３）に対して、複数の画素１１１が割り当てられているため、一つのマイクロレンズ１０３に割り当てられた全ての画素１１１について、上下左右の逆転した像が形成される。例えば、図４Ｂに示したように、一つのマイクロレンズ１０３に対して、例えば３×３＝９個の画素１１１が割り当てられているとすると、９個の受光素子それぞれには、上下左右の逆転した画像が形成される。
【００５６】
本実施形態に係る静脈撮像装置１０では、以下で詳述するように、一つのマイクロレンズ１０３に対応する複数の画素１１１それぞれによって生成された撮像データを用いて、画像の補間処理を行う。
【００５７】
［撮像素子について］
続いて、図５および図６を参照しながら、本実施形態に係る静脈撮像装置１０が備える撮像素子１０９について、詳細に説明する。図５および図６は、本実施形態に係る撮像素子について説明するための説明図である。
【００５８】
本実施形態に係る静脈撮像装置１０が備える撮像素子１０９は、当該撮像素子１０９内の画素１１１が形成されている領域が、例えば図５に示したように、２つの領域１５１，１５３に区分されている。一方の領域１５１は、静脈撮像データの生成に用いられる静脈撮像データ生成領域であり、他方の領域１５３は、熱雑音の大きさを推定する際に用いられる熱雑音出力データを生成する熱雑音出力データ生成領域である。
【００５９】
静脈撮像データ生成領域１５１には、複数の画素（図示せず。）がアレイ状に配置されており、マイクロレンズアレイ１０１が備える複数のマイクロレンズ１０３により集光された静脈透過光が画素１１１に達する。静脈撮像データ生成領域１５１から出力される静脈撮像データは、当該撮像データを生成した画素が検知した光の強度に対応したデータである。
【００６０】
熱雑音出力データ生成領域１５３には、複数の画素（図示せず。）がアレイ状に配置されている。また、熱雑音出力データ生成領域１５３は、例えば図５に示したように遮光膜１５５によって遮光されており、外光が熱雑音出力データ生成領域１５３に入射しないようになっている。そのため、この熱雑音出力データ生成領域１５３から出力されるデータは、この領域に含まれる画素が外光を検知した結果生成されたデータではなく、外界または自装置内の温度に依存して発生する熱雑音に対応する出力データとなる。また、撮像素子１０９に設けられる熱雑音出力データ生成領域１５３の大きさは、撮像素子１０９とともに用いられるマイクロレンズアレイ１０１の大きさ等に応じて決定することができる。
【００６１】
このような熱雑音出力データ生成領域１５３は、例えば図５に示したように、撮像素子１０９のある一辺に沿って、撮像素子１０９の端部に設けられていてもよい。また、図６（ａ）、（ｂ）に示したように、熱雑音出力データ生成領域１５３は、撮像素子１０９の互いに対向する辺に沿って設けられていてもよく、図６（ｃ）に示したように、撮像素子１０９の４つの辺に沿って設けられていてもよい。
【００６２】
［画像処理部の構成について］
続いて、図１に戻って、本実施形態に係る静脈撮像装置１０が備える画像処理部の構成について、詳細に説明する。
【００６３】
画素データ分割部１２３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画素データ分割部１２３は、例えば図７に示したように、駆動制御部１２１から入力される撮像素子１０９を走査するためのパルスに基づいて、撮像素子１０９から伝送された画素データが、撮像素子１０９の２つの領域のどちらから出力されたものかを判断する。図７に例示したように、撮像素子１０９の２つの領域からの出力を取得するために、撮像素子の垂直（または水平）方向同期用のパルスと、熱雑音出力取得パルスと、静脈撮像データ取得パルスの３種類のパルスが用いられる。そのため、画素データ分割部１２３は、これらのパルスに応じて、熱雑音出力データが伝送されたのか、静脈撮像データが伝送されたのかを判断することが可能である。
【００６４】
画素データ分割部１２３は、熱雑音出力取得パルスがＨｉ状態になっている期間に取得したデータ（すなわち、熱雑音出力データ）を、後述する熱雑音出力前処理部１２５に伝送する。また、画素データ分割部１２３は、静脈撮像データ取得パルスがＨｉ状態になっている期間に取得したデータ（すなわち、静脈撮像データ）を、後述する画素選択部１３３に伝送する。
【００６５】
熱雑音出力前処理部１２５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。熱雑音出力前処理部１２５は、画素データ分割部１２３から伝送された熱雑音出力データに対して、後述する熱雑音測定部１２７によって熱雑音を定量的に処理するための前処理を行う。このような前処理の例として、所定時間分の熱雑音出力データを累積加算する累積処理、または、熱雑音出力データに対するピーク処理を挙げることができる。熱雑音出力前処理部１２５は、上述のような累積処理またはピーク処理の少なくとも何れかを実施する。また、熱雑音出力前処理部１２５は、累積処理およびピーク処理の双方を実施してもよく、これらの処理以外の前処理を実施してもよい。
【００６６】
熱雑音出力データ生成領域１５３から出力される熱雑音出力データは、時間と共に変動する不安定な出力であるため、上述のような処理をすることで、熱雑音出力データに含まれる熱雑音出力を表す数値を、定量的な判断が可能な程度まで安定化させることができる。これにより、後述する熱雑音測定部１２７により実施される測定処理の精度を向上させることが可能となる。
【００６７】
熱雑音出力生成部１５３は、前処理を行った熱雑音出力データを、熱雑音測定部１２７に伝送する。
【００６８】
熱雑音測定部１２７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。熱雑音測定部１２７は、熱雑音出力前処理部１２５から伝送された熱雑音出力データを解析して、撮像素子１０９で発生している熱雑音の大きさを測定する。熱雑音測定部１２７は、熱雑音の測定結果を熱雑音情報として、駆動制御部１２１と、温度推定部１２９とに伝送する。
【００６９】
駆動制御部１２１は、熱雑音測定部１２７から伝送された熱雑音の大きさに応じて、撮像素子１０９の駆動周波数を低下させたり、撮像素子１０９の受光時間（すなわちシャッタースピード）やフレームレートを制御したりすることが可能である。熱雑音が大きくなるにつれて、撮像素子１０９から出力されるデータのＳ／Ｎ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ）比が低下することとなる。そこで、駆動制御部１２１が、撮像素子１０９の駆動周波数を低下させたり、受光時間を長くしたり、フレームレートを遅くしたりすることで、熱雑音によるデータ信号のＳ／Ｎ比の低下を抑制することができる。
【００７０】
温度推定部１２９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。温度推定部１２９は、熱雑音測定部１２７から伝送された熱雑音の大きさに関する情報である熱雑音情報に基づいて、自装置が撮像処理を行った際の温度（撮像温度）を推定する。ここで、自装置が撮像処理を行った際の温度とは、自装置が設けられた場所における外気温であってもよく、自装置が到達している温度であってもよい。温度推定部１２９は、撮像素子１０９で発生している熱雑音の大きさと、撮像処理を行った際の温度との対応関係が記載されているデータベースを有しており、このデータベースに基づいて熱雑音の大きさから温度を推定する。また、これらの対応関係を表すデータベースは、これら２つのパラメータの間の関係を表した数式等であってもよい。
【００７１】
このようなデータベースは、例えば、静脈撮像装置１０が製造された際に、温度を変化させながら、発生する熱雑音の大きさを計測しておくことで生成することができる。このようにして生成されたデータベースは、それぞれの静脈撮像装置１０に固有の熱雑音の特徴を含んでおり、自装置で発生する熱雑音と温度との関係を精度良く見積もることが可能となる。
【００７２】
また、温度推定部１２９は、温度の推定結果に基づいて、撮像素子１０９から出力されるデータ信号のＳ／Ｎ比の低下の度合いを推定することが可能である。このＳ／Ｎ比の低下の度合いは、例えば、装置の組立て時などに行われる温度とＳ／Ｎ比との関係を明らかにするための評価実験等の結果を用いて予めデータベース等を生成しておき、このようなデータベースを利用することで見積もることができる。
【００７３】
温度推定部１２９は、温度の推定結果（例えば、現在の温度が７０℃である旨を表す情報など）を、後述する警告部１３１、画素選択部１３３、静脈画像補間部１３５および静脈パターン抽出部１３７に伝送する。また、温度推定部１２９は、Ｓ／Ｎ比の低下の度合い等を見積もった場合には、見積もり結果（例えば、１０ｄＢ程度の低下が予想される旨を表す情報など）を、温度の推定結果とあわせて伝送してもよい。
【００７４】
警告部１３１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。警告部１３１は、温度推定部１２９から伝送された温度の推定結果等を参照し、静脈撮像装置１０の温度または外界の温度が所定の閾値以上である場合に、正常な静脈の撮像処理（ひいては静脈認証処理）が困難となると判断し、警告を出力する。
【００７５】
また、警告部１３１は、後述する認証部１３９から、あるユーザから得られた静脈パターンについて所定の回数以上認証に失敗した等の情報が伝送された場合に、装置自体が正常な処理ができない環境下にあると判断し、警告を出力してもよい。
【００７６】
さらに、警告部１３１は、正常な静脈の撮像処理（ひいては静脈認証処理）が実施できないほどの温度であると判断した場合に、自装置で行われている静脈の撮像処理や静脈認証処理を中止してもよい。
【００７７】
画素選択部１３３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画素選択部１３３は、一つのマイクロレンズ１０３に対応する複数の画素１１１の中から、静脈画像の生成用に用いる静脈撮像データを生成する画素を選択する。以下では、図８を参照しながら、画素選択部１３３が行う画素選択処理について、詳細に説明する。図８は、画素選択部１３３が行う画素選択処理について説明するための説明図である。
【００７８】
図８では、マイクロレンズアレイ１０１の一つのマイクロレンズ１０３に対して、８×８＝６４個の画素１１１が対応しており、マイクロレンズ１０３は、被写体を１／２に縮小するレンズである場合について、図示している。この場合に、被写体の大きさは１／２の大きさまで縮小されるため、６４個の画素のうち、中央部分に位置する４×４＝１６個の画素を用いることで、被写体の撮像データを得ることができる。ただ、このような場合であっても、中央部分以外の画素に対しても被写体からの光は結像しており、中央部分の４×４画素以外の部分から得られる撮像データも、被写体画像の生成に利用可能である。
【００７９】
この際、画素選択の基準単位となる基準単位領域は、上述のように、マイクロレンズ１０３の倍率等から４×４＝１６画素分の領域となる。また、結像位置のズレ等が生じていなければ、マイクロレンズ１０３を介して集光された光は、８×８＝６４個の画素のうち、略中央部分に結像することとなる。そこで、画素選択部１３３は、１つのマイクロレンズ１０３に対応する８×８画素のうち、中央部分に位置する４×４画素を選択する。
【００８０】
また、画素選択部１３３は、温度推定部１２９から伝送された温度の推定結果を参照し、画素１１１から出力されるデータ信号のＳ／Ｎ比の低下が予想される場合には、基準単位領域の周辺に位置し、光を検知している画素をあわせて選択する。
【００８１】
画素選択部１３３は、上述のようにして選択した画素に関する情報（例えば、選択した画素を特定するための情報など）と、選択した画素から得られた静脈撮像データとを、後述する静脈画像補間部１３５へと伝送する。
【００８２】
静脈画像補間部１３５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。静脈画像補間部１３５は、画素選択部１３３から伝送された静脈撮像データに基づいて静脈画像を生成する。また、静脈画像補間部１３５は、温度推定部１２９から伝送された温度に関する情報（温度を表す情報や、Ｓ／Ｎ比の低下度合いに関する見積もり結果など）に基づいて、生成した静脈画像に対して補間処理を行う。
【００８３】
なお、静脈画像補間部１３５は、静脈画像の生成に際して、温度推定部１２９から伝送された温度に関する情報に基づいて、静脈撮像データに含まれる出力値の補正を行う。より具体的には、静脈画像補間部１３５は、静脈撮像データに含まれる出力値そのものを画像の生成に用いるわけではなく、以下の式１に基づいて、出力値の補正を行う。
【００８４】
補正後の出力値
＝（データの出力値−黒レベル基準値）／（白レベルの基準値−黒レベルの基準値）
・・・（式１）
【００８５】
ここで、上記式１において、黒レベル基準値とは、黒一色からなる画像を撮像したときに撮像素子１０９から出力されるデータの出力値であり、白レベル基準値とは、白一色からなる画像を撮像したときに撮像素子１０９から出力されるデータの出力値である。また、上記式１において、データの出力値とは、被写体を撮像した際に撮像素子１０９から出力されるデータの出力値である。
【００８６】
撮像温度が高温となると、データ出力値に占める熱雑音の割合が増加し、画像のコントラストが低下して、画像が全体的に白みを帯びてしまう。そこで、本実施形態に係る静脈画像補間部１３５は、温度推定部１２９から伝送された温度に関する情報に基づいて、黒レベル基準値の値を変更し、熱雑音の増加に伴う画像の劣化を自動的に防止する。より詳細には、上記式１において、常温時の黒レベル基準値に対して乗算される補正係数を設定し、画像補間部１３５は、温度推定部１２９から伝送された温度に関する情報に基づいて、この補正係数の値を調整する。
【００８７】
また、静脈画像補間部１３５で行われる補間処理として、例えば、生成された静脈画像のノイズ除去処理などがある。また、温度推定部１２９から伝送された温度に関する情報に応じて、複数フレームの画像を積分処理し静脈画像の画質を向上させる処理を行っても良い。複数フレームの画像を積分処理することで、処理に要する時間が増加して静脈撮像装置１０のユーザの待ち時間が増えてしまうものの、環境温度等によって静脈の撮像（ひいては、静脈の認証処理）ができなくなるという事態の発生を低下させることが可能である。
【００８８】
また、静脈画像補間部１３５は、温度推定部１２９から伝送された温度に関する情報に応じて、例えばマルチタップの補間フィルタ等を用いて、以下のような補間処理を行ってもよい。すなわち、静脈画像補間部１３５は、図８に示したように、基準単位領域に含まれる画素から得られた画像データだけでなく、基準単位領域の周辺に位置し、光を検知している画素から得られた画像データを用いて、静脈画像の補間処理（合成処理）を行ってもよい。このような処理を行うことで、熱雑音の増加に伴い画像のＳ／Ｎ比が低下している場合であっても、静脈画像の画質（Ｓ／Ｎ比）を向上させることが可能となる。
【００８９】
静脈画像補間部１３５は、補間処理がなされた静脈画像を、後述する静脈パターン抽出部１３７に伝送する。
【００９０】
［認証処理部の構成について］
静脈パターン抽出部１３７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。静脈パターン抽出部１３７は、例えば、静脈画像補間部１３５から伝送される静脈画像に対して、静脈パターン抽出の前処理を行なう機能と、静脈パターンの抽出を行なう機能と、静脈パターン抽出の後処理を行なう機能と、を備える。
【００９１】
ここで、上記の静脈パターン抽出の前処理は、例えば、静脈画像から指の輪郭を検出し、静脈画像のどの位置に指があるかを識別する処理や、検出した指の輪郭を利用して撮像画像を回転させて、撮像画像の角度を補正する処理等を含む。
【００９２】
また、上記の静脈パターンの抽出は、輪郭の検出や角度の補正が終了した撮像画像に対して差分フィルタを適用することで行なわれる。差分フィルタは、注目している画素とその周囲の画素について、注目している画素と周囲の画素との差分が大きな部分で、大きな値を出力値として出力するフィルタである。換言すれば、差分フィルタとは、注目している画素とその近傍の階調値の差分を用いた演算により、画像中の線や縁を強調するフィルタである。
【００９３】
一般的に、２次元平面の格子点（ｘ，ｙ）を変数とする画像データｕ（ｘ，ｙ）に対してフィルタｈ（ｘ，ｙ）を用いてフィルタ処理を行なうと、以下の式２に示すように、画像データν（ｘ，ｙ）を生成する。ここで、以下の式１において、‘＊’は畳込み積分（コンボリューション）を表す。
【００９４】
【数１】
・・・（式２）
【００９５】
本実施形態に係る静脈パターンの抽出では、上記の差分フィルタとして、１次空間微分フィルタや２次空間微分フィルタ等の微分フィルタを用いてもよい。１次空間微分フィルタは、注目している画素について、横方向と縦方向の隣接している画素の階調値の差分を算出するフィルタであり、２次空間微分フィルタは、注目している画素について、階調値の差分の変化量が大きくなっている部分を抽出するフィルタである。
【００９６】
上記の２次空間微分フィルタとして、例えば、以下に示すＬｏｇ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）フィルタを用いることが可能である。Ｌｏｇフィルタ（式４）は、ガウス関数を用いた平滑化フィルタであるガウシアン（Ｇａｕｓｓｉａｎ）フィルタ（式２）の２次微分で表される。ここで、以下の式３において、σはガウス関数の標準偏差を表し、ガウシアンフィルタの平滑化の度合いを表す変数である。また、以下の式４におけるσは、式３と同様にガウス関数の標準偏差を表すパラメータであり、σの値を変化させることで、Ｌｏｇフィルタ処理を行なった場合の出力値を変化させることができる。
【００９７】
【数２】
・・・（式３）
・・・（式４）
【００９８】
また、上記の静脈パターン抽出の後処理は、例えば、差分フィルタ適用後の撮像画像に対してなされる閾値処理や、２値化処理や、細線化処理等を含む。かかる後処理を経て、静脈パターンのスケルトンを抽出することが可能となる。
【００９９】
なお、本実施形態に係る静脈パターン抽出部１３７は、上述のようなフィルタのフィルタ特性（例えば、各フィルタを表した式における係数の値等）を、温度推定部１２９から伝送された温度に関する情報に応じて変更してもよい。上述のように、高温となることで生じる熱雑音の増加に伴い、静脈画像補間部１３５により適切な画像の補間処理が施される。これらの補間処理によって、静脈パターンの抽出の際に利用される常温時の設定のままのフィルタでは、適切な静脈パターンの抽出処理が行えない場合も生じうる。そこで、静脈パターン抽出部１３７がフィルタ特性を温度に関する情報に応じて変更することで、高温下での撮像画像であっても適切な静脈パターンの抽出を行うことが可能となる。
【０１００】
静脈パターン抽出部１３７は、このようにして抽出した静脈パターンやスケルトンを、後述する認証部１３９等に伝送する。また、静脈パターン抽出部１３７は、抽出した静脈パターンやスケルトンを、後述する記憶部１４１に記憶してもよい。なお、静脈パターン抽出部１３７は、上述の各処理を行なうに当たって生成したパラメータや処理の途中経過等を、記憶部１４１に記憶してもよい。
【０１０１】
認証部１３９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。認証部１３９は、静脈パターン抽出部１３７により生成された静脈パターンを既に登録されているテンプレートと照合して、静脈パターンの認証を行う。
【０１０２】
認証部１３９は、静脈パターン抽出部１３７により生成された静脈パターンと、既に記録されている静脈パターンのテンプレートとに基づいて、生成された静脈パターンの認証を行なう。認証部１３９は、後述する記憶部１４１に対して登録静脈パターンの開示を要求し、取得した登録静脈パターンと、静脈パターン抽出部１３７から伝送された静脈パターンとの比較を行なう。登録静脈パターンと伝送された静脈パターンとの比較は、例えば以下に示す相関係数を算出し、算出した相関係数に基づいて実行することが可能である。認証部１３９は、比較の結果登録静脈パターンと伝送された静脈パターンが類似している場合には、伝送された静脈パターンの認証に成功したと判断し、類似していない場合には、認証に失敗したと判断する。
【０１０３】
相関係数は、以下の式５で定義されるものであり、２つのデータｘ＝｛ｘｉ｝，ｙ＝｛ｙｉ｝間の類似度を示す統計学指標であって、−１から１までの実数値をとる。相関係数が１に近い値を示す場合には、２つのデータは類似していることを示し、相関係数が０に近い値を示す場合には、２つのデータは類似していないことを示す。また、相関係数が−１に近い値を示す場合には、２つのデータの符号が反転しているような場合を示す。
【０１０４】
【数３】
・・・（式５）
：データｘの平均値
：データｙの平均値
【０１０５】
また、認証部１３９は、認証結果を認証時刻等と関連づけて、認証履歴として記憶部１４１に記録してもよい。かかる認証履歴を生成することで、誰がいつ静脈パターンの認証を要求したのか、ひいては、誰がいつ静脈撮像装置１０を利用したのか、を知ることが可能となる。
【０１０６】
さらに、認証部１３９は、あるユーザから得られた静脈パターンについて所定の回数以上認証に失敗した場合、認証処理が所定の回数以上失敗した旨を警告部１３１に伝送する。このような情報を警告部１３１に伝送することで、環境温度による熱膨張などが原因で正常な静脈認証処理ができないと判断された場合に、静脈撮像装置１０のユーザに対して認証が正常にできない可能性がある旨を警告することができる。
【０１０７】
記憶部１４１は、静脈撮像装置１０のユーザの登録静脈パターンや、当該登録静脈パターンに関連付けられた他のデータを記憶する。また、これらのデータ以外にも、撮像部により生成された静脈撮像データや、静脈画像補間部１３３が生成した静脈画像や、静脈パターン抽出部１３７が抽出した静脈パターン等が記録されてもよい。また、記憶部１４１には、静脈画像補間部１３５が行う補間処理に必要な各種のプログラムやデータ等が記録されていてもよい。更に、記憶部１４１は、これらのデータ以外にも、静脈撮像装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベース等を、適宜記憶することが可能である。この記憶部１４１は、撮像部、画像処理部、認証処理部に設けられた各処理部が、自由に読み書きを行うことが可能である。
【０１０８】
［特定の画素からのデータの取得について］
ここで、図９〜図１０を参照しながら、特定の画素からデータを取得する方法について、詳細に説明する。図９および図１０は、特定の画素からデータを取得する方法について説明するための説明図である。
【０１０９】
本実施形態に係る静脈撮像装置１０の撮像素子１０９は、多層型の素子となっている。例えば図９には、撮像素子１０９が３層からなる多層型素子である場合の例を示している。
【０１１０】
本実施形態に係る静脈撮像装置１０では、撮像素子１０は、指の長さ方向、すなわち、図中のｙ軸に沿った方向にライン走査を行う。以降、図中のｙ軸に沿った方向を、垂直方向と称することとし、垂直方向に対して直交する方向、すなわち、図中のｘ軸に沿った方向を、水平方向と称することとする。
【０１１１】
図９に示したように、本実施形態に係る静脈撮像装置１０では、駆動制御部１２１によって、水平ライン単位で、撮像データが、垂直同期の時間軸に沿って出力される。すなわち、ある水平方向に沿って配設された画素は、図９に示した第１層にデータが同期して出力され、ある水平方向に沿って配設された画素は、第２層にデータが出力され、ある水平方向に沿って配設された画素は、第３層にデータが出力される。このように、駆動制御部１２１による制御によって、撮像素子１０９は、多層化した出力を行うことができる。
【０１１２】
そのため、画素選択部１３３が駆動制御部１２１に対して選択したい画素に関する情報を伝送し、駆動制御部１２１が、多層型素子のある層による出力を選択し、かつ、水平ライン上で、特定の画素をタイミング制御によって選択することが可能となる。
【０１１３】
なお、図９に示した例では、垂直同期ラインを分割駆動する方法について説明したが、図１０に示したように、水平ライン内での回路的な分割駆動を行うことも可能である。
【０１１４】
図１０に示した例では、同一の水平ライン上に存在する画素１１１は、水平第１層にデータを出力するものと、水平第２層にデータを出力するものと、水平第３層にデータを出力するものの３種類が存在する。そのため、駆動制御部１２１は、多層型素子のある層による出力を選択し、かつ、垂直ライン上で、特定の画素を選択するためのタイミング制御を行うことで、任意の画素からのデータを選択することができる。
【０１１５】
また、垂直ライン内での分割駆動と、水平ライン内での分割駆動とを組み合わせて用いることも可能である。
【０１１６】
以上、本実施形態に係る静脈撮像装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【０１１７】
なお、上述のような本実施形態に係る静脈撮像装置の各機能を実現するためのコンピュータプログラムを作製し、マイクロレンズアレイ、近赤外光照射光源、撮像素子等を備えた撮像装置を制御可能なパーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【０１１８】
なお、本実施形態に係る静脈撮像装置１０は、例えば、コンピュータやサーバ等の情報処理装置、携帯電話やＰＨＳ等の携帯端末や携帯情報端末（ＰＤＡ）、現金自動預払機（ＡＴＭ）、入退室管理装置に実装されていてもよい。また、本実施形態に係る静脈撮像装置１０は、ゲーム機器やゲーム機器のコントローラ等の各種装置に実装されてもよい。
【０１１９】
また、上述の説明では、テンプレートとして登録されている登録静脈パターンが、静脈撮像装置１０内に記録されている場合について説明した。しかし、登録静脈パターンは、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、コンパクトフラッシュ（登録商標）、メモリースティック、または、ＳＤメモリカード等の記録媒体や、非接触型ＩＣチップを搭載したＩＣカードまたは電子機器等に記録されていてもよい。また、登録静脈パターンは、静脈撮像装置１０とインターネット等の通信網を介して接続されたサーバに記録されていてもよい。
【０１２０】
＜静脈画像補間方法について＞
続いて、図１１を参照しながら、本実施形態に係る静脈撮像装置が実施する静脈画像補間方法について、詳細に説明する。図１１は、本実施形態に係る静脈画像補間方法について説明するための流れ図である。
【０１２１】
まず、静脈撮像装置１０の使用者は、静脈撮像装置１０のマイクロレンズアレイ１０１上に指などの生体の一部を載置する。静脈撮像装置１０の撮像部は、載置された生体の一部の撮像処理を行う（ステップＳ１０１）。
【０１２２】
また、静脈撮像装置１０の熱雑音出力前処理部１２５は、撮像素子１０９の熱雑音出力データ生成領域１５３から出力されるデータに対して、所定時間分の熱雑音出力データを累積加算する累積処理、または、熱雑音出力データに対するピーク処理を行う。また、熱雑音測定部１２７は、熱雑音出力前処理部１２５から伝送された熱雑音出力データに基づいて、熱雑音の測定処理を行う（ステップＳ１０３）。熱雑音測定部１２７は、熱雑音の測定結果を駆動制御部１２１および温度推定部１２９へと伝送する。ここで、駆動制御部１２１は、伝送された熱雑音の測定結果に応じて、撮像素子１０９の駆動制御を行う（ステップＳ１０５）。
【０１２３】
続いて、温度推定部１２９は、熱雑音測定部１２７から伝送された熱雑音の測定結果に基づいて、撮像時の温度を推定する（ステップＳ１０７）。また、温度推定部１２９は、推定した温度に基づいて、Ｓ／Ｎ比の低下の度合い等をあわせて推定してもよい。温度推定部１２９は、温度の推定結果や、Ｓ／Ｎ比の低下の度合いの推定結果等を含む温度に関する情報を、警告部１３１、画素選択部１３３、静脈画像補間部１３５および静脈パターン抽出部１３７に伝送する。
【０１２４】
温度に関する情報が伝送された警告部１３１は、温度の推定結果について判定を行い（ステップＳ１０９）、警告が必要となる閾値を超えているか否かを判断する。警告が必要となる温度となっている場合には、静脈撮像装置１０は、表示画面に警告を出力する（ステップＳ１１１）。
【０１２５】
警告が必要となるほどの温度となっていない場合には、画素選択部１３３は、伝送された温度に関する情報に基づいて、画素の選択処理を行う。より詳細には、画素選択部１３３は、マイクロレンズアレイ１０１を構成するそれぞれのマイクロレンズ１０３について、一つのマイクロレンズ１０３に対応する複数の画素の中から、静脈画像の生成に用いる撮像データを出力している画素を選択する。
【０１２６】
次に、静脈画像補間部１３５は、画素選択部１３３により選択された画素から得られる撮像データを用いて、静脈画像を生成する。続いて、静脈画像補間部１３５は、生成した静脈画像について、撮像時の温度に応じた画像の補間処理を行う（ステップＳ１１３）。具体的には、静脈画像補間部１３５は、複数のフレーム画像を積分処理したり、ノイズの除去処理を行ったり、周辺画素を用いた画像の補間処理を行ったりする。
【０１２７】
画像の補間処理が終了すると、静脈画像補間部１３５は、補間処理が施された静脈画像を、静脈パターン抽出部１３７に伝送する。静脈パターン抽出部１３７は、撮像時の温度に応じて静脈パターンの抽出に用いられるフィルタのフィルタ特性を変更しながら、伝送された静脈画像の中から、静脈パターンを抽出し（ステップＳ１１５）、認証部１３９へと伝送する。
【０１２８】
認証部１３９は、静脈パターン抽出部１３７から伝送された静脈パターンと、記憶部１４１等に格納されている登録静脈パターン（テンプレート）とを用いて、伝送された静脈パターンの認証処理を行う（ステップＳ１１７）。
【０１２９】
以上説明したような手順で、高温時の熱雑音による画質の劣化を自動的に補間することができる。
【０１３０】
なお、上述の説明では、生体の撮像の後に熱雑音の測定や撮像時の温度の推定を行う場合について説明したが、静脈撮像装置１０は、生体の撮像に先立って、予め熱雑音の測定や撮像時の温度の推定を行っても良い。
【０１３１】
＜ハードウェア構成について＞
次に、図１２を参照しながら、本発明の各実施形態に係る静脈撮像装置１０のハードウェア構成について、詳細に説明する。図１２は、本発明の各実施形態に係る静脈撮像装置１０のハードウェア構成を説明するためのブロック図である。
【０１３２】
静脈撮像装置１０は、マイクロレンズアレイ１０１、近赤外光照射光源１０５および撮像素子１０９以外に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置１０は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０１３３】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、静脈撮像装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
【０１３４】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
【０１３５】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、静脈撮像装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。静脈撮像装置１０のユーザは、この入力装置９１５を操作することにより、静脈撮像装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１３６】
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、静脈撮像装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、静脈撮像装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
【０１３７】
ストレージ装置９１９は、静脈撮像装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【０１３８】
ドライブ９２１は、記録媒体用リーダライタであり、静脈撮像装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、メモリースティック、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。
【０１３９】
接続ポート９２３は、機器を静脈撮像装置１０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ｉ．Ｌｉｎｋ等のＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、静脈撮像装置１０は、外部接続機器９２９から直接各種データを取得したり、外部接続機器９２９に各種データを提供したりする。
【０１４０】
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
【０１４１】
以上、本発明の各実施形態に係る静脈撮像装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１４２】
＜まとめ＞
以上説明したように、本発明の各実施形態によれば、撮像素子が摂氏７０度などといった過酷な環境下に存在する場合であっても生体の撮像や認証を可能とするために、撮像素子の動作状況を自動的に取得する静脈撮像装置を実現可能である。撮像素子の動作状況を自動的に取得することで、適応型の駆動方法や画像信号処理を行うことが可能となり、温度依存のない生体認証用の画像取得および認証処理が可能となる。
【０１４３】
本発明の各実施形態に係る撮像素子には、静脈撮像データを生成する撮像領域とは別に外部の光を遮断した領域が設定されており、この領域のノイズ（熱雑音）検出を行うことで、動作温度によるノイズ増加を検出する。本実施形態に係る静脈撮像装置は、検出されたノイズによって装置の相対的な温度変化が推定できるため、この温度変化情報により撮像素子の駆動制御方法や画像信号処理方法を変化させることができる。
【０１４４】
本発明の各実施形態に係る静脈撮像装置は、画像センサと同等の専用画素のノイズレベルを計測することで、シャッタースピードやフレームの累積加算処理、画像信号処理などを正確に実行可能である。また、ノイズを検出するための領域は、撮像素子内に配置できることから、装置の製造コストに影響のない構造が可能となる。また、ノイズに関するデータの取り込みを撮像データの取り込みと時分割処理することで、ノイズに関するデータの取り込み用の駆動回路を、撮像データ取り込み用の駆動回路と共有することができる。
【０１４５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１４６】
１０ 静脈撮像装置
１０１ マイクロレンズアレイ
１０３ マイクロレンズ
１０５ 近赤外光照射光源
１０７ 指向性制御板
１０９ 撮像素子
１１１ 画素
１２１ 駆動制御部
１２３ 画素データ分割部
１２５ 熱雑音出力前処理部
１２７ 熱雑音測定部
１２９ 温度推定部
１３１ 警告部
１３３ 画素選択部
１３５ 静脈画像補間部
１３７ 静脈パターン抽出部
１３９ 認証部
１４１ 記憶部
１５１ 静脈撮像データ生成領域
１５３ 熱雑音出力データ生成領域
【特許請求の範囲】
【請求項１】
複数の受光レンズがアレイ状に配設されたレンズアレイと、
前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、
前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する撮像素子と、
前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに基づいて、熱雑音の大きさを測定する熱雑音測定部と、
前記熱雑音測定部により測定された前記熱雑音の大きさに基づいて、前記静脈の撮像処理が行われた撮像温度を推定する温度推定部と、
前記静脈撮像データ生成領域により生成された前記静脈撮像データを用いて前記静脈の撮像画像を生成し、前記温度推定部により推定された前記撮像温度に基づいて、前記静脈の撮像画像の補間処理を行う静脈画像補間部と、
を備える、静脈撮像装置。
【請求項２】
前記静脈画像補間部は、前記温度推定部により推定された前記撮像温度に基づいて、所定時間分の前記静脈の撮像画像の積分処理および前記静脈の撮像画像からのノイズ除去処理の少なくとも何れかを行う、請求項１に記載の静脈撮像装置。
【請求項３】
前記撮像素子は、一つのレンズアレイに対して前記静脈撮像データ生成領域に位置する複数の画素が対応しており、
前記静脈画像補間部は、前記静脈の撮像画像の生成に用いられた前記静脈撮像データを出力した画素の周辺に位置する画素から出力された前記静脈撮像データを利用して前記補間処理を行う、請求項１および２に記載の静脈撮像装置。
【請求項４】
前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに対して、前記熱雑音測定部によって前記熱雑音を定量的に処理するための前処理を行う熱雑音出力前処理部を更に備える、請求項１に記載の静脈撮像装置。
【請求項５】
前記熱雑音出力前処理部は、所定時間分の前記熱雑音出力データを累積加算する累積処理、または、前記熱雑音出力データに対するピーク処理の少なくともいずれかを実行する、請求項４に記載の静脈撮像装置。
【請求項６】
少なくとも前記撮像素子の駆動制御を行う駆動制御部を更に備え、
前記駆動制御部は、前記熱雑音測定部により測定された前記熱雑音の大きさに基づいて、前記撮像素子の受光時間およびフレームレートの少なくとも何れかの制御を行う、請求項１に記載の静脈撮像装置。
【請求項７】
前記静脈の撮像画像から静脈パターンを抽出する静脈パターン抽出部を更に備え、
前記静脈パターン抽出部は、前記温度推定部により推定された前記撮像温度に基づいて、前記静脈パターンの抽出に用いられるフィルタのフィルタ特性を変更する、請求項１に記載の静脈撮像装置。
【請求項８】
前記温度推定部から出力された前記撮像温度が所定の閾値以上であった場合に警告を発する警告部を更に備える、請求項１に記載の静脈撮像装置。
【請求項９】
複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する撮像素子と、を備えた静脈撮像装置の前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに基づいて、熱雑音の大きさを測定するステップと、
測定された前記熱雑音の大きさに基づいて、前記静脈の撮像処理が行われた撮像温度を推定するステップと、
前記静脈撮像データ生成領域により生成された前記静脈撮像データを用いて前記静脈の撮像画像を生成し、推定された前記撮像温度に基づいて、前記静脈の撮像画像の補間処理を行うステップと、
を含む、静脈画像補間方法。
【請求項１０】
複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する撮像素子と、を備えた静脈撮像装置を制御するコンピュータに、
前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに基づいて、熱雑音の大きさを測定する熱雑音測定機能と、
前記熱雑音測定機能により測定された前記熱雑音の大きさに基づいて、前記静脈の撮像処理が行われた撮像温度を推定する温度推定機能と、
前記静脈撮像データ生成領域により生成された前記静脈撮像データを用いて前記静脈の撮像画像を生成し、前記温度推定機能により推定された前記撮像温度に基づいて、前記静脈の撮像画像の補間処理を行う静脈画像補間機能と、
を実現させるためのプログラム。
【請求項１】
複数の受光レンズがアレイ状に配設されたレンズアレイと、
前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、
前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する撮像素子と、
前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに基づいて、熱雑音の大きさを測定する熱雑音測定部と、
前記熱雑音測定部により測定された前記熱雑音の大きさに基づいて、前記静脈の撮像処理が行われた撮像温度を推定する温度推定部と、
前記静脈撮像データ生成領域により生成された前記静脈撮像データを用いて前記静脈の撮像画像を生成し、前記温度推定部により推定された前記撮像温度に基づいて、前記静脈の撮像画像の補間処理を行う静脈画像補間部と、
を備える、静脈撮像装置。
【請求項２】
前記静脈画像補間部は、前記温度推定部により推定された前記撮像温度に基づいて、所定時間分の前記静脈の撮像画像の積分処理および前記静脈の撮像画像からのノイズ除去処理の少なくとも何れかを行う、請求項１に記載の静脈撮像装置。
【請求項３】
前記撮像素子は、一つのレンズアレイに対して前記静脈撮像データ生成領域に位置する複数の画素が対応しており、
前記静脈画像補間部は、前記静脈の撮像画像の生成に用いられた前記静脈撮像データを出力した画素の周辺に位置する画素から出力された前記静脈撮像データを利用して前記補間処理を行う、請求項１および２に記載の静脈撮像装置。
【請求項４】
前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに対して、前記熱雑音測定部によって前記熱雑音を定量的に処理するための前処理を行う熱雑音出力前処理部を更に備える、請求項１に記載の静脈撮像装置。
【請求項５】
前記熱雑音出力前処理部は、所定時間分の前記熱雑音出力データを累積加算する累積処理、または、前記熱雑音出力データに対するピーク処理の少なくともいずれかを実行する、請求項４に記載の静脈撮像装置。
【請求項６】
少なくとも前記撮像素子の駆動制御を行う駆動制御部を更に備え、
前記駆動制御部は、前記熱雑音測定部により測定された前記熱雑音の大きさに基づいて、前記撮像素子の受光時間およびフレームレートの少なくとも何れかの制御を行う、請求項１に記載の静脈撮像装置。
【請求項７】
前記静脈の撮像画像から静脈パターンを抽出する静脈パターン抽出部を更に備え、
前記静脈パターン抽出部は、前記温度推定部により推定された前記撮像温度に基づいて、前記静脈パターンの抽出に用いられるフィルタのフィルタ特性を変更する、請求項１に記載の静脈撮像装置。
【請求項８】
前記温度推定部から出力された前記撮像温度が所定の閾値以上であった場合に警告を発する警告部を更に備える、請求項１に記載の静脈撮像装置。
【請求項９】
複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する撮像素子と、を備えた静脈撮像装置の前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに基づいて、熱雑音の大きさを測定するステップと、
測定された前記熱雑音の大きさに基づいて、前記静脈の撮像処理が行われた撮像温度を推定するステップと、
前記静脈撮像データ生成領域により生成された前記静脈撮像データを用いて前記静脈の撮像画像を生成し、推定された前記撮像温度に基づいて、前記静脈の撮像画像の補間処理を行うステップと、
を含む、静脈画像補間方法。
【請求項１０】
複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、遮光された前記画素からなる領域であり、前記遮光された画素から出力される出力値である熱雑音出力を生成する熱雑音出力データ生成領域と、を有する撮像素子と、を備えた静脈撮像装置を制御するコンピュータに、
前記熱雑音出力データ生成領域から出力された前記熱雑音出力データに基づいて、熱雑音の大きさを測定する熱雑音測定機能と、
前記熱雑音測定機能により測定された前記熱雑音の大きさに基づいて、前記静脈の撮像処理が行われた撮像温度を推定する温度推定機能と、
前記静脈撮像データ生成領域により生成された前記静脈撮像データを用いて前記静脈の撮像画像を生成し、前記温度推定機能により推定された前記撮像温度に基づいて、前記静脈の撮像画像の補間処理を行う静脈画像補間機能と、
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２６７０８７（Ｐ２０１０−２６７０８７Ａ）
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願番号】特願２００９−１１７９８６（Ｐ２００９−１１７９８６）
【出願日】平成２１年５月１４日（２００９．５．１４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願日】平成２１年５月１４日（２００９．５．１４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]