撮像装置、撮像方法、およびプログラム
【課題】生体の表面から血管までの深さを測定する場合において、安定的な測定結果を得ること。
【解決手段】撮像装置は、被写体に対して光を発光する発光部と、被写体からの第１波長領域の光、および被写体からの第１波長領域と異なる第２波長領域の光を受光する受光部と、発光部が発光する光および受光部が受光した光に基づいて、被写体による第１波長領域の光の第１反射率、および被写体による第２波長領域の光の第２反射率を算出する反射率算出部と、第１反射率および第２反射率に基づいて、被写体の表面から、受光部が受光した光の像に含まれる被写体の内部のオブジェクトまでの深さを特定する深さ特定部とを備える。
【解決手段】撮像装置は、被写体に対して光を発光する発光部と、被写体からの第１波長領域の光、および被写体からの第１波長領域と異なる第２波長領域の光を受光する受光部と、発光部が発光する光および受光部が受光した光に基づいて、被写体による第１波長領域の光の第１反射率、および被写体による第２波長領域の光の第２反射率を算出する反射率算出部と、第１反射率および第２反射率に基づいて、被写体の表面から、受光部が受光した光の像に含まれる被写体の内部のオブジェクトまでの深さを特定する深さ特定部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮像する撮像装置、撮像方法、およびプログラムに関する。本発明は、特に、被写体の内部のオブジェクトの深さを特定できる撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
被写体に照射する照明光の波長領域を制限することにより、生体組織の表面近傍の組織情報を視認する技術が考案されている（たとえば、特許文献１、特許文献２、および特許文献３参照。）。
【特許文献１】特開２００２−９５６３５号公報
【特許文献２】特開２００２−３４８９３号公報
【特許文献３】特開２００２−３４９０８号公報
【０００３】
また、生体から発せられた自家蛍光成分から抽出した短い波長領域の蛍光成分と長い波長領域の蛍光成分とに基づいて、生体の病変部を検出する技術が考案されている（たとえば、特許文献４参照。）。また、波長領域が異なる２つの画像の差分を演算することにより、酸化ヘモグロビンの分布状態を示す画像を生成する技術が考案されている（たとえば、特許文献５および特許文献６参照。）。
【特許文献４】特開平１０−２２５４３６号公報
【特許文献５】特開２００２−２７２７４４号公報
【特許文献６】特開２００６−３２６１５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記技術では、生体の表面から血管までの深さを測定することができない。たとえば、生体からの光の反射光量に基づいて生体の表面から血管までの深さを測定する方法を用いた場合、生体の表面の起伏による影、光源の動きなどに起因する光量の変化の影響を受けてしまうので、安定的な測定結果を得ることができない。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、撮像装置であって、被写体に対して光を発光する発光部と、被写体からの第１波長領域の光、および被写体からの第１波長領域と異なる第２波長領域の光を受光する受光部と、発光部が発光する光および受光部が受光した光に基づいて、被写体による第１波長領域の光の第１反射率、および被写体による第２波長領域の光の第２反射率を算出する反射率算出部と、第１反射率および第２反射率に基づいて、被写体の表面から、受光部が受光した光の像に含まれる被写体の内部のオブジェクトまでの深さを特定する深さ特定部とを備える。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、実施形態に係る撮像装置１００のブロック構成の一例を示す。撮像装置１００は、発光制御部１１２、発光部１１４、受光部１３０、反射率算出部１４２、深さ特定部１４４、深さ格納部１４６、画像処理部１４０、および表示部１５０を備える。
【０００９】
撮像装置１００は、内視鏡であってよい。撮像装置１００が内視鏡である場合、発光部１１４、および受光部１３０は、生体内に挿入される内視鏡の挿入部の先端に設けられてよい。他の例においては、発光部１１４は、挿入部の外部に設けられ、内視鏡の挿入部に設けられたライトガイドを介して、生体に光を照射してもよい。また、受光部１３０は、挿入部の外部に設けられ、内視鏡の挿入部に設けられたライトガイドを介して、生体からの光を受光してもよい。
【００１０】
発光部１１４は、被写体に対して光を発光する。一例として、発光部１１４は、第１波長領域の光および第２波長領域の光を含む光を発光する。たとえば、発光部１１４は、第１波長領域の一例としてのＲ成分（６００ｎｍ〜７５０ｎｍ）の波長領域の光、および第２波長領域の一例としてのＧ成分（４９０ｎｍ〜６００ｎｍ）の波長領域の光を含む光を発光する。
【００１１】
発光部１１４は、第３波長領域の光をさらに含む光を発光してもよい。たとえば、発光部１１４は、第３波長領域の一例としてのＢ成分（４００ｎｍ〜４９０ｎｍ）の波長領域の光をさらに含む光を発光してもよい。発光部１１４は、第１波長領域の光および第２波長領域の光を含む光として、白色光を発光してもよい。
【００１２】
他の例として、発光部１１４は、第１波長領域の光と第２波長領域の光とを順次発光してもよい。たとえば、発光部１１４は、第１波長領域の一例としてのＲ成分の波長領域の光と、第２波長領域の一例としてのＧ成分の波長領域の光とを順次発光してもよい。発光部１１４は、第１波長領域の光を発光する第１発光素子と、第２波長領域の光を発光する第２発光素子とを有してもよい。発光部１１４は、第１波長領域の光を主に透過する第１発光フィルタと、第２波長領域の光を主に透過する第２発光フィルタとを有してもよい。
【００１３】
発光部１１４は、第３波長領域の光をさらに順次発光してもよい。たとえば、発光部１１４は、第３波長領域の一例としてのＢ成分の波長領域の光をさらに順次発光してもよい。発光部１１４は、第３波長領域の光を発光する第３発光素子をさらに有してもよい。発光部１１４は、第３波長領域の光を主に透過する第３発光フィルタをさらに有してもよい。
【００１４】
発光制御部１１２は、発光部１１４による第１波長領域の光および第２波長領域の光の発光を制御する。発光制御部１１２は、第１発光素子および第２発光素子を制御することにより、発光部１１４による第１波長領域の光および第２波長領域の光の発光を制御してもよい。発光制御部１１２は、第１発光フィルタおよび第２発光フィルタを制御することにより、発光部１１４による第１波長領域の光および第２波長領域の光の発光を制御してもよい。
【００１５】
発光制御部１１２は、発光部１１４による第３波長領域の光の発光をさらに制御してもよい。発光制御部１１２は、第３発光素子を制御することにより、発光部１１４による第３波長領域の光の発光を制御してもよい。発光制御部１１２は、第３発光フィルタを制御することにより、発光部１１４による第３波長領域の光の発光を制御してもよい。
【００１６】
受光部１３０は、被写体からの第１波長領域の光、および被写体からの第１波長領域と異なる第２波長領域の光を受光する。具体的には、受光部１３０は、被写体の表面から被写体の内部のオブジェクトまでの深さによる、被写体による反射率への依存度が異なる、第１波長領域の光および第２波長領域の光を受光する。たとえば、受光部１３０は、被写体からの第１波長領域の一例としてのＲ成分の波長領域の光、および被写体からの第１波長領域と異なる第２波長領域の一例としてのＧ成分の波長領域の光を受光する。
【００１７】
本実施例では、受光部１３０は、第１波長領域の光を受光する複数の第１受光素子１３２と、第２波長領域の光を受光する複数の第２受光素子１３４とを有する。これに対応して、受光部１３０は、第１波長領域の光を主に透過する複数の第１受光フィルタと、第２波長領域の光を主に透過する複数の第２受光フィルタとを有してもよい。
【００１８】
本実施例では、受光部１３０は、第３波長領域の光を受光する複数の第３受光素子１３６をさらに有する。これに対応して、受光部１３０は、第３波長領域の光を主に透過する複数の第３受光フィルタをさらに有してもよい。受光部１３０には、複数の第１受光素子１３２、複数の第２受光素子１３４、および複数の第３受光素子１３６が規則的に配列されていてもよい。これに対応して、受光部１３０には、複数の第１受光フィルタ、複数の第２受光フィルタ、および複数の第３受光フィルタが規則的に配列されていてもよい。
【００１９】
発光部１１４が第１波長領域の光と第２波長領域の光とを順次発光する場合、受光部１３０は、第１波長領域の光と第２波長領域の光とを順次受光してもよい。発光部１１４が第３波長領域の光をさらに順次発光する場合、受光部１３０は、第３波長領域の光をさらに順次受光してもよい。
【００２０】
受光部１３０は、第１受光素子１３２、第２受光素子１３４、および第３受光素子１３６が規則的に配列されたＣＣＤまたはＣＭＯＳであってよい。他の例においては、第１受光素子１３２、第２受光素子１３４、および第３受光素子１３６は、それぞれ異なるＣＣＤまたはＣＭＯＳであってよい。
【００２１】
反射率算出部１４２は、発光部１１４が発光する光および受光部１３０が受光した光に基づいて、被写体による第１波長領域の光の第１反射率、および被写体による第２波長領域の光の第２反射率を算出する。たとえば、反射率算出部１４２は、発光部１１４が発光した第１波長領域の光の強度と、受光部１３０が受光した第１波長領域の光の強度との除算により、第１反射率を算出する。たとえば、反射率算出部１４２は、発光部１１４が発光した第２波長領域の光の強度と、受光部１３０が受光した第２長領域の光の強度との除算により、第２反射率を算出する。
【００２２】
反射率算出部１４２は、発光部１１４が発光する第１波長領域の光および第２波長領域の光の光量を、発光制御部１１２から取得してもよい。また、反射率算出部１４２は、発光部１１４が発光する第１波長領域の光および第２波長領域の光の光量を、当該光量が予め格納されているメモリなどの記録媒体から取得してもよい。
【００２３】
反射率算出部１４２は、所定数の受光素子に対応する部分領域毎に、第１反射率および第２反射率を算出してもよい。たとえば、反射率算出部１４２は、２×２画素、４×４画素、または８×８画素を含む部分領域毎に、第１反射率および第２反射率を算出してもよい。
【００２４】
反射率算出部１４２は、部分領域に含まれる複数の画素の第１反射率の平均または合計を、当該部分領域の第１反射率として算出してもよい。同様に、反射率算出部１４２は、部分領域に含まれる複数の画素の第２反射率の平均または合計を、当該部分領域の第２反射率として算出してもよい。
【００２５】
反射率算出部１４２は、部分領域に含まれる複数の画素の第１波長領域の光の受光量の合計と、発光部１１４が発光した第１波長領域の光の発光量との除算により、当該部分領域の第１反射率を算出してもよい。同様に、反射率算出部１４２は、部分領域に含まれる複数の画素の第２波長領域の光の受光量の合計と、発光部１１４が発光した第２波長領域の光の発光量との除算により、当該部分領域の第２反射率を算出してもよい。
【００２６】
反射率算出部１４２は、部分領域に含まれる複数の画素の第１波長領域の光の受光量の合計と、発光部１１４が発光した第１波長領域の光の発光量のうちの当該部分領域分の発光量との除算により、当該部分領域の第１反射率を算出してもよい。同様に、反射率算出部１４２は、部分領域に含まれる複数の画素の第２波長領域の光の受光量の合計と、発光部１１４が発光した第２波長領域の光の発光量のうちの当該部分領域分の発光量との除算により、当該部分領域の第２反射率を算出してもよい。
【００２７】
深さ特定部１４４は、反射率算出部１４２が算出した第１反射率および第２反射率に基づいて、被写体の表面から、受光部１３０が受光した光の像に含まれる被写体の内部のオブジェクトまでの深さを特定する。たとえば、深さ特定部１４４は、第１反射率と第２反射率との差分または比率に対応づけて深さ格納部１４６に格納されている深さを特定する。反射率算出部１４２が部分領域毎に第１反射率および第２反射率を算出した場合、深さ特定部１４４は、部分領域毎に、被写体の表面からオブジェクトまでの深さを特定してもよい。
【００２８】
深さ格納部１４６は、被写体による第１波長領域の光の反射率と第２波長領域の光の反射率との差分または比率に対応づけて、被写体の内部においてオブジェクトが存在する深さを示す深さ情報を予め格納する。
【００２９】
画像処理部１４０は、受光部１３０が受光した光による像に画像処理を施して、被写体の内部のオブジェクトの像を含む被写体の像である被写体画像を生成する。画像処理部１４０が生成した被写体画像は表示部１５０に供給され、表示部１５０により表示される。なお、画像処理部１４０は、深さ特定部１４４が特定した深さに応じた画像処理を、被写体画像に施してよい。深さに応じた画像処理としては、画像中のオブジェクトの像を深さに応じた色で着色するなど、深さに応じた色処理などを例示することができる。
【００３０】
表示部１５０は、深さ特定部１４４が特定した深さ情報を表示する。たとえば、表示部１５０は、被写体画像と同時に、深さ情報を表示する。表示部１５０は、被写体画像と深さ情報とを並べて表示してもよい。表示部１５０は、被写体画像と深さ情報とを重畳して表示してもよい。
【００３１】
表示部１５０は、複数の被写体画像を含む動画である被写体動画と同時に、深さ情報を表示してもよい。表示部１５０は、被写体動画と深さ情報とを並べて表示してもよい。表示部１５０は、被写体動画と深さ情報とを重畳して表示してもよい。
【００３２】
表示部１５０は、深さ情報をテキスト表示してもよい。表示部１５０は、深さ情報をイメージ表示してもよい。たとえば、表示部１５０は、深さに応じた色にオブジェクトが着色された被写体画像をカラー表示してもよい。
【００３３】
図２は、受光部１３０が有する受光素子および受光フィルタの構成例を示す。受光部１３０は、Ｒ成分の波長領域の光を主に受光する複数の第１受光素子１３２を有する。また、受光部１３０は、Ｇ成分の波長領域の光を主に受光する複数の第２受光素子１３４を有する。また、受光部１３０は、Ｂ成分の波長領域の光を主に受光する複数の第３受光素子１３６を有する。
【００３４】
受光部１３０においては、複数の第１受光素子１３２、複数の第２受光素子１３４、および複数の第３受光素子１３６が、規則的に配列されている。また、受光部１３０において、第１受光素子１３２の前には、Ｒ成分の波長領域の光を主に透過する複数の第１受光フィルタが配置されている。また、受光部１３０において、第２受光素子１３４の前には、Ｇ成分の波長領域の光を主に透過する複数の第２受光フィルタが配置されている。また、受光部１３０において、第３受光素子１３６の前には、Ｂ成分の波長領域の光を主に透過する複数の第３受光フィルタが配置されている。
【００３５】
受光部１３０は、複数の部分領域に区分けされている。複数の部分領域のそれぞれは、複数の受光素子および複数のフィルタを含む。たとえば、図２に示す例では、複数の部分領域のそれぞれは、４×４画素の受光素子およびフィルタを含む。
【００３６】
図３は、受光部１３０が有する受光素子の受光特性の一例を示す。点線は、第１受光素子１３２の受光特性を示す。たとえば、第１受光素子１３２は、Ｒ成分（６００ｎｍ〜７５０ｎｍ）の波長領域を主に有する第一波長領域の光に対して、主に受光感度を有する。
【００３７】
一点鎖線は、第２受光素子１３４の受光特性を示す。たとえば、第２受光素子１３４は、Ｇ成分（４９０ｎｍ〜６００ｎｍ）の波長領域を主に有する第２波長領域の光に対して、主に受光感度を有する。
【００３８】
実線は、第３受光素子１３６の受光特性を示す。たとえば、第３受光素子１３６は、Ｂ成分（４００ｎｍ〜４９０ｎｍ）の波長領域を主に有する第１波長領域の光に対して、主に受光感度を有する。
【００３９】
図４は、被写体による光の反射特性の一例を示す。図４に示すグラフにおいて、横軸は、生体に照射される光の波長を示す。また、縦軸は、生体による光の反射率を示す。
【００４０】
また、点線は、生体の表面から生体内部の血管までの深さが７０ｕｍの場合の、生体による光の反射特性を示す。また、一点鎖線は、生体の表面から生体内部の血管までの深さが１００ｕｍの場合の、生体による光の反射特性を示す。
【００４１】
また、二点鎖線は、生体の表面から生体内部の血管までの深さが２００ｕｍの場合の、生体による光の反射特性を示す。また、実線は、生体の表面から生体内部の血管までの深さが３００ｕｍの場合の、生体による光の反射特性を示す。
【００４２】
図５は、被写体による光の反射特性の他の一例を示す。図５に示すグラフにおいて、縦軸は、生体による光の反射率を示す。また、横軸は、生体の表面から生体内部の血管までの深さを示す。
【００４３】
一点鎖線は、Ｒ成分の波長領域（６００ｎｍ〜７００ｎｍ）の光の反射特性を示す。また、点線は、Ｇ成分の波長領域（５００ｎｍ〜６００ｎｍ）の光の反射特性を示す。また、実線は、Ｂ成分の波長領域（４００ｎｍ〜５００ｎｍ）の光の反射特性を示す。
【００４４】
図４および図５が示すように、たとえば、Ｒ成分の波長領域（６００ｎｍ〜７００ｎｍ）においては、生体の表面から生体内部の血管までの深さの差異による、生体による光の反射特性の差異がほとんど生じていない。一方、Ｇ成分の波長領域（５００ｎｍ〜６００ｎｍ）においては、生体の表面から生体内部の血管までの深さの差異による、生体による光の反射特性の差異が大きく生じている。
【００４５】
そこで、本実施形態の撮像装置１００は、Ｇ成分の波長領域の光の反射率とＲ成分の波長領域の光の反射率との比率を算出したうえで、算出された比率と、深さ格納部１４６に格納されている深さ情報とに基づいて、生体の表面から血管までの深さを特定する。これにより、本実施形態の撮像装置１００によれば、生体からの光の反射量に基づいて生体の表面から血管までの深さを測定する場合であっても、測定対象に照射される光の光量の変化の影響をうけることなく、安定的な測定結果を得ることができる。
【００４６】
図６は、深さ格納部１４６が格納する深さ情報の一例を示す。図６に示すグラフにおいて、横軸は、被写体の表面から、被写体の内部のオブジェクトの一例としての血管までの深さを示す。また、縦軸は、被写体による第１波長領域の一例としてのＲ成分の波長領域の光の反射率と、第２波長領域の一例としてのＧ成分の波長領域の光の反射率との比率を示す。
【００４７】
たとえば、深さ特定部１４４は、反射率算出部１４２が算出した第１反射率と、反射率算出部１４２が算出した第２反射率との差分または比率を算出する。そして、深さ特定部１４４は、算出した差分または比率と、深さ格納部１４６が格納する深さ情報とに基づいて、被写体の表面から血管までの深さを特定できる。
【００４８】
図７は、表示部１５０による表示処理の一例を示す。図７では、生体を撮像した被写体動画であって、表示部１５０によって表示された被写体動画を示す。
【００４９】
被写体動画には、生体内部のオブジェクトである血管が含まれている。たとえば、表示部１５０は、深さに応じた色に血管が着色された被写体動画をカラー表示してもよい。
【００５０】
このように、本実施形態の撮像装置１００によれば、被写体の表面から生体内部のオブジェクトまでの深さの変動による光の反射特性の変動量が異なる二つの波長領域の反射率の差または比率に基づいて上記深さを測定する。このため、本実施形態の撮像装置１００によれば、被写体からの光の反射量に基づいて被写体の表面から生体内部のオブジェクトまでの深さを測定する場合であっても、測定対象に照射される光の光量の変化の影響をうけることなく、安定的な測定結果を得ることができる。
【００５１】
図８は、被写体による光の反射特性の他の一例を示す。図８に示すグラフにおいて、横軸は、生体に照射される光の波長を示す。また、縦軸は、生体による光の反射率を示す。
【００５２】
また、点線は、血管のヘモグロビン酸素飽和度が２５％の場合の、生体による光の反射特性を示す。また、一点鎖線は、血管のヘモグロビン酸素飽和度が５０％の場合の、生体による光の反射特性を示す。
【００５３】
また、二点鎖線は、血管のヘモグロビン酸素飽和度が７５％の場合の、生体による光の反射特性を示す。また、実線は、血管のヘモグロビン酸素飽和度が０％および１００％の場合の、生体による光の反射特性を示す。
【００５４】
たとえば、Ｇ成分の波長領域（５００ｎｍ〜６００ｎｍ）においては、血管のヘモグロビン酸素飽和度の差異による、生体による光の反射特性の差異がほとんど生じていない。一方、Ｒ成分の波長領域（６００ｎｍ〜７００ｎｍ）においては、血管のヘモグロビン酸素飽和度の差異による、生体による光の反射特性の差異が大きく生じている。
【００５５】
このように、血管のヘモグロビン酸素濃度を測定対象とした場合であっても、生体による光の反射特性において、測定対象の変動に依存するＲ成分の波長領域と、測定対象の変動に依存しないＧ成分の波長領域とをそれぞれ有する。そこで、たとえば、深さ格納部１４６に、被写体によるＧ成分の波長領域の光の反射率とＲ成分の波長領域の光の反射率との差分または比率に対応づけて、血管のヘモグロビン酸素飽和度を示す情報を予め格納しておく。
【００５６】
そして、Ｇ成分の波長領域の光の反射率とＲ成分の波長領域の光の反射率とをそれぞれ算出する。さらに、算出した二つの反射率の比率を算出したうえで、算出された比率と、深さ格納部１４６に格納されている情報とに基づいて、血管のヘモグロビン酸素飽和度を特定できる。このように、本実施形態の撮像装置１００によれば、被写体からの光の反射量に基づいて血管のヘモグロビン酸素飽和度を測定する場合であっても、測定対象に照射される光の光量の変化の影響をうけることなく、安定的な測定結果を得ることができる。
【００５７】
図９は、発光部１１４が発光して被写体に照射される光のスペクトルの一例を示す。スペクトル９００は、Ｒ成分の波長領域の光、Ｇ成分の波長領域の光、およびＢ成分の波長領域の光を含む白色光のスペクトルの一例である。このような光が照射されている場合には、人間の眼による観察に適した被写体画像が得られる。
【００５８】
深さ格納部１４６は、第２受光素子１３４が受光することができる比較的に広い波長領域の光の反射率と、第１受光素子１３２が受光することができる比較的に広い波長領域の光の反射率との差分または比率に対応づけて、オブジェクトまでの深さを情報を、予め格納してよい。なお、反射率算出部１４２は、第２受光素子１３４が受光することができる比較的に広い波長領域の光の反射率、および、第１受光素子１３２が受光することができる比較的に広い波長領域の光の反射率を、第１受光素子１３２および第２受光素子１３４のそれぞれからの信号、および、発光部１１４が発光するスペクトルに基づき、算出してよい。これにより、深さ特定部１４４は、人間の眼による観察に適した被写体画像を得るための白色光を用いて、深さを算出することができる。この場合、オブジェクトまでの深さをリアルタイムに算出することができる。
【００５９】
深さをより正確に算出するためには、深さ測定用の光として、比較的に狭い波長領域の光を被写体に照射することが望ましい。例えば、発光部１１４は、第１波長領域の光の一例として、スペクトル９１０ａで示される光を発光してよい。また、発光部１１４は、第２波長領域の光の一例として、スペクトル９１０ｂで示される光を発光してよい。深さ格納部１４６は、スペクトル９１０ｂに対応する波長領域の光の反射率と、スペクトル９１０ａに対応する波長領域の光の反射率との差分または比率に対応づけて、オブジェクトまでの深さを情報を格納しておく。これにより、比較的に広い波長領域の光に基づき深さを算出する場合に比べて、深さをより正確に算出することができる。
【００６０】
なお、発光部１１４は、スペクトル９００で示されるような人間による観察用の被写体画像を得るための白色光に重畳して、スペクトル９１０ａおよびスペクトル９１０ｂに対応する比較的に狭い波長領域の光を、被写体に照射してもよい。深さ測定用の比較的に狭い波長領域の光の強度が十分に大きい場合には、深さ特定部１４４は、深さ格納部１４６が比較的に狭い波長領域での光の反射率の差分または比率に対応づけて格納している深さを用いて、高精度で深さを算出することができる。なお、深さ測定用の光を白色光に重畳して照射する場合には、第１受光素子１３２および第２受光素子１３４が受光することができる波長領域において白色光の強度を低減することにより、深さ測定用の比較的に狭い波長領域の光の強度を高めてもよい。
【００６１】
なお、発光部１１４は、観察用の被写体画像を得るための白色光（以下、観察光と呼ぶ場合がある。）および、深さ測定用の比較的に狭い波長領域の光（以下、測定光と呼ぶ場合がある。）を発光することができる。例えば、発光部１１４は、観察光の光源の一例としてのキセノンランプと、測定光の光源の一例としてＬＥＤなどの半導体素子とを含むことができる。発光制御部１１２は、観察用の被写体画像を得る場合には、ＬＥＤを発光させず、キセノンランプを発光させて、観察光を被写体に照射させる。一方、発光制御部１１２は、深さを測定する場合には、キセノンランプが発光した光をフィルタ等によりカットするとともに、ＬＥＤを発光させて、測定光を被写体に照射させる。
【００６２】
図１０は、撮像装置１００による撮像タイミングの一例を被写体画像とともに示す。撮像装置１００は、時刻ｔ１２００、ｔ１２０１、ｔ１２０２、ｔ１２０３、・・・において、被写体からの戻り光により被写体画像を撮像する。また、発光部１１４は、時刻ｔ１２００、ｔ１２０１、およびｔ１２０３を含む第１のタイミングにおいて、被写体に照射される観察光を発光する。
【００６３】
そして、受光部１３０は、第１のタイミングにおいて観察光が照射された被写体からの戻り光を受光する。これにより、画像処理部１４０は、時刻ｔ１２００、時刻ｔ１２０１、および時刻ｔ１２０３のそれぞれにより代表されるタイミングにおいて各受光素子が受光した受光量に基づき、被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄを生成する。これにより、観察に適した被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄが、表示部１５０に表示される。被写体画像１２２０ａは血管画像１２２２ａおよび血管画像１２２４ａを含み、被写体画像１２２０ｂは血管画像１２２２ｂおよび血管画像１２２４ｂを含み、被写体画像１２２０ｄは血管画像１２２２ｄおよび血管画像１２２４ｄを含む。
【００６４】
また、発光部１１４は、時刻ｔ１２０２を含む第２のタイミングにおいて、被写体に照射される測定光を発光する。そして、受光部１３０は、時刻ｔ１２０２に代表されるタイミングにおいて測定光が照射された被写体からの戻り光を受光する。反射率算出部１４２は、時刻ｔ１２０２に代表されるタイミングにおける第１受光素子１３２からのＲ信号、および、時刻ｔ１２０２に代表されるタイミングにおける第２受光素子１３４からのＧ信号から、それぞれ反射率を算出する。深さ特定部１４４は、算出された反射率を用いて、血管までの深さを示す深さデータ１２５０を算出する。
【００６５】
ここで、画像処理部１４０は、時刻ｔ１２０１に代表されるタイミングにおける第１受光素子１３２からのＲ信号、時刻ｔ１２０１に代表されるタイミングにおける第２受光素子１３４からのＧ信号、および、時刻ｔ１２０２に代表されるタイミングにおける第３受光素子１３６からのＢ信号に基づき、血管画像１２３２ｃおよび血管画像１２３４ｃを含む被写体画像１２３０ｃを生成する。被写体画像１２３０ｃは、時刻ｔ１２０２に代表されるタイミングにおいて得られるべき、観察光による被写体画像とみなすことができる。なお、深さデータ１２５０は、表示部１５０による深さ情報の表示、被写体画像１２３０ｃ、被写体画像１２２０ｄなどに対する画像処理部１４０での画像処理などに利用され得る。
【００６６】
このように、画像処理部１４０は、測定光が照射されたタイミングにおいても、観察光により得られるべき被写体画像を生成することができる。表示部１５０は、被写体画像１２２０ａ、被写体画像１２２０ｂ、被写体画像１２３０ｃ、被写体画像１２２０ｄ、・・・を連続的に表示することによって、コマ落ちのない映像を表示することができる。
【００６７】
図１１は、画像処理部１４０のブロック構成の一例を示す。図１０では、説明を簡単にすべく、撮像装置１００の動き、被写体の動きなど、撮像される画像の時間変化をもたらす要因を考慮せず、時刻ｔ１２０１のタイミングでのＲ信号およびＧ信号と、時刻ｔ１２０２のタイミングでのＢ信号とを多重化して、被写体画像１２３０ｃを生成する処理を一例として説明した。この処理では、撮像装置１００の動き、被写体の動きなどに起因して、Ｒ信号およびＧ信号とＢ信号との間に有意なずれが生じる場合がある。
【００６８】
本図以降の図を用いて、上記の動きなどによる被写体画像への影響を補正するための画像処理部１４０の動作および機能、ならびに画像処理部１４０の構成を説明する。画像処理部１４０は、動き特定部７１０および被写体画像生成部７２０を有する。
【００６９】
動き特定部７１０は、複数のタイミングにおけるＢ信号による画像に基づき、当該画像における被写体像の動きを特定する。ここで、被写体像の動きは、被写体自身の動き、撮像装置１００の動き、撮像装置１００のズーム値の時間変化など、画像の時間変化をもたらす動きを含む。また、撮像装置１００の動きは、撮像位置の時間変化、撮像装置１００による撮像方向の時間変化を含む。
【００７０】
図１０に関連して説明した発光パターンを例として用いて説明すると、動き特定部７１０は、時刻ｔ１２０１および時刻ｔ１２０２におけるＢ信号の画像に基づき、動きを特定する。例えば、動き特定部７１０は、複数の画像からマッチングなどにより同じ被写体の像の位置を特定して、特定した位置の差に基づき動きを特定してよい。
【００７１】
被写体画像生成部７２０は、当該動きに基づき時刻ｔ１２０１のタイミングでのＲ信号およびＧ信号を補正して、時刻ｔ１２０２のタイミングで得られるべきＲ信号およびＧ信号を生成する。そして、被写体画像生成部７２０は、補正後のＲ信号およびＧ信号と、時刻ｔ１２０２のタイミングでのＢ信号とを多重化して、時刻ｔ１２０２での被写体画像を生成する。
【００７２】
図１２および図１３に関連して、上記の動きなどによる被写体画像への影響を補正するための画像処理部１４０の機能および動作、特に動き特定部７１０および被写体画像生成部７２０の動作を中心に説明する。ここで、画像１３２１ｂ、画像１３２２ｂ、画像１３２３ｂは、時刻ｔ１２０１におけるそれぞれＲ信号、Ｇ信号、およびＢ信号の画像とする。画像１３２３ｃは、時刻ｔ１２０２における第３受光素子１３６からのＢ信号の画像とする。
【００７３】
動き特定部７１０は、画像１３２３ｂおよび画像１３２３ｃの画像内容に基づき、動きを特定する。具体的には、動き特定部７１０は、画像１３２３ｂおよび画像１３２３ｃから、同じ被写体の像を抽出する。本図の例では、動き特定部７１０は、画像１３２３ｂおよび画像１３２３ｃから、それぞれ被写体像１３５３ｂおよび被写体像１３５３ｃを、同じ被写体の像として抽出する。
【００７４】
動き特定部７１０は、被写体像１３５３ｂと被写体像１３５３ｃとの間の位置の差を算出する。本図の例では、説明を簡単にすべく、当該位置の差が画像上のｙ方向に生じているとして、動き特定部７１０は、被写体像１３５３ｂの位置と被写体像１３５３ｃの位置との位置差Δｙ１を算出する。
【００７５】
被写体画像生成部７２０は、算出した位置差Δｙ１に応じた量だけ画像１３２１ｂをｙ方向にずらすことによって、画像１３２１ｃを生成する。また、被写体画像生成部７２０は、算出した位置差Δｙ１に応じた量だけ画像１３２２ｂをｙ方向にずらすことによって、画像１３２２ｃを生成する。被写体画像生成部７２０は、画像１３２１ｃ、画像１３２２ｃ、画像１３２３ｃを合成することにより、被写体画像１３３０ｃを生成する。なお、ここでいう合成処理は、画像１３２１ｃを示すＲ信号、画像１３２２ｃを示すＢ信号、画像１３２３ｃを示すＧ信号を、所定の重みづけで多重化する多重化処理を含む。
【００７６】
また、被写体画像生成部７２０は、Ｒ信号およびＧ信号の画像に対する動きの補正量を、画像領域毎に異ならせてよい。例えば、撮像装置１００による撮像方向が被写体表面に垂直であり、撮像装置１００が被写体表面に水平に移動しているとすると、オブジェクトの移動量はどの画像領域でも等しいとみなすことができる。一方、撮像方向が被写体表面に垂直でない場合には、撮像装置１００から遠方の領域が撮像された画像領域における動き量は、撮像装置１００に近い領域が撮像された画像領域より動き量が小さくなる場合がある。
【００７７】
被写体画像生成部７２０が、Ｒ信号およびＧ信号の画像に対する動きの補正量を画像領域毎に算出するためには、被写体表面と撮像装置１００との間の位置関係が既知または推定できれば、当該位置関係および画像領域の位置に基づき、動きの補正量を算出することができる。なお、被写体画像生成部７２０は、撮像装置１００の位置・向きを制御する制御値、撮像装置１００のズーム値を制御する制御値など、撮像装置１００を操作する制御値を取得して、当該制御値に基づき、Ｒ信号およびＧ信号の画像に対する動きの補正量を算出してもよい。
【００７８】
他にも、動き特定部７１０は動きを画像領域毎に算出してもよい。被写体画像生成部７２０は、画像領域毎の動きに基づき、各画像領域の画像に対する動きの補正量を算出してもよい。
【００７９】
なお、動き特定部７１０は、画像領域毎に動きを特定する場合には、いずれの波長領域の光による画像を用いて動きを特定するかを、画像領域毎に決定してよい。例えば、動き特定部７１０は、画像領域毎に各画像のコントラストを算出する。そして、動き特定部７１０は、各画像領域について、より大きいコントラストが算出された波長領域の光による複数の画像を他の波長の画像より優先して選択して、選択した複数の画像を用いて動きを特定してよい。
【００８０】
以上図１２および図１３に関連して説明したように、動き特定部７１０は、第１のタイミングにおいて複数の第３受光素子１３６が受光した光による画像、および、第２のタイミングにおいて複数の第３受光素子１３６が受光した光による画像に基づき、第１のタイミングおよび第２のタイミングの間における画像上の被写体像の動きを特定する。そして、被写体画像生成部７２０は、第１のタイミングにおいて第１受光素子１３２が受光した光、第２のタイミングにおいて第２受光素子１３４が受光した光、および当該動きに基づき、第２のタイミングにおける被写体画像を生成する。
【００８１】
図１３は、動きが補正された被写体画像を生成する方法の他の一例を説明する図である。ここでは、動き特定部７１０は、時刻ｔ１２００のタイミングで得られたＲ信号の画像１４２１ａおよび時刻ｔ１２０１のタイミングで得られたＲ信号の画像１４２１ｂを用いて、動きを特定する。図１２に関連して説明した方法と同様に、動き特定部７１０は、画像１４２１ａおよび画像１４２１ｂから、同じ被写体の被写体像を抽出する。本図の例では、動き特定部７１０は、画像１４２１ａおよび画像１４２１ｂから、それぞれ被写体像１４５１ａおよび被写体像１４５１ｂを抽出する。
【００８２】
そして、動き特定部７１０は、被写体像１４５１ａおよび被写体像１４５１ｂのそれぞれの位置の差を算出する。本図の例でも、説明を簡単にすべく当該位置差が画像上のｙ方向に生じているとして、動き特定部７１０は、被写体像１４５１ａの位置と被写体像１４５１ｂの位置との位置差Δｙ２を算出する。そして、図１２に関連して説明した方法と同様に、被写体画像生成部７２０は、算出した位置差Δｙ２に応じた量だけ画像１４２１ｂをｙ方向にずらすことによって、画像１４２１ｃを生成する。同様に、被写体画像生成部７２０は、算出した位置差Δｙ２に応じた量だけ画像１４２２ｂをｙ方向にずらすことによって、画像１４２２ｃを生成する。被写体画像生成部７２０は、画像１４２１ｃ、画像１４２２ｃ、および、時刻ｔ１２０２における第３受光素子１３６からのＧ信号の画像である画像１４２３ｃを合成することにより、被写体画像１４３０ｃを生成する。
【００８３】
なお、上記においては画像１４２１ａおよび画像１４２１ｂを用いて動きを特定したが、動き特定部７１０は、画像１４２１ｂと、時刻ｔ１２０３で得られたＲ信号の画像とを用いて、動きを特定してもよい。このように、動き特定部７１０は、動きが補正された画像を生成する対象時刻である時刻ｔ１２０１の前後の時刻のタイミングを含む複数のタイミングで得られた画像から、動きを特定してよい。被写体画像の表示をある程度遅延させることが許容できる場合には、後のタイミングの画像も用いることで、動きの特定精度をより高めることができる場合がある。
【００８４】
また、上記においては、画像１４２１ａおよび画像１４２１ｂを用いて特定された動きに基づき、画像１４２２ｂを補正したが、動き特定部７１０は、画像１４２２ａおよび画像１４２２ｂを用いて、動きを特定してもよい。そして、被写体画像生成部７２０は、特定した動きを用いて、画像１４２２ｂをずらすことによって、画像１４２２ｃを生成してもよい。
【００８５】
なお、動き特定部７１０が動きを特定するためにいずれの波長領域の画像を用いるかは、撮像された画像のコントラストに基づき決定してよい。例えば、動き特定部７１０は、コントラストがより大きい画像をより優先して用いて、動きを特定してよい。表面の微細構造の像が明瞭であるなど、微細構造の像を動き特定用のオブジェクトとして用いることができる場合には、Ｂ信号の画像を用いて動きをより正確に特定することができる場合がある。また、表面のより大きな凹凸構造の像が明瞭であるなど、凹凸構造の像を動き特定用のオブジェクトとして用いることができる場合には、Ｒ信号の画像を用いて動きをより正確に特定することができる場合がある。
【００８６】
以上図１３に関連して説明したように、動き特定部７１０は、第１のタイミングを含む第２のタイミング以外の複数のタイミングにおいて第１受光素子１３２が受光した第１波長領域の光による複数の画像に基づき、複数のタイミングの間における画像上の被写体像の動きを特定する。そして、被写体画像生成部７２０は、第１のタイミングにおいて第１受光素子１３２が受光した光、第１のタイミングにおいて第２受光素子１３４が受光した光、第２のタイミングにおいて第３受光素子１３６が受光した光、および動きに基づき、第２のタイミングにおける被写体画像を生成する。なお、図１２および図１３に関連して、動き特定処理の一例として、動き特定部７１０が２のタイミングで撮像された画像を用いて動きを特定する処理を説明したが、動き特定部７１０は、３以上のタイミングで撮像された画像を用いて動きを特定してもよい。
【００８７】
図１４は、発光部１１４による発光パターンの他の一例を示す。ここでは、上述した受光フィルタは設けられておらず、各受光素子は互いに略同一の波長領域の光を受光することができるとする。この構成において、発光部１１４は、観察光に含まれるべき各色成分の光を時分割で発光する。具体的には、発光部１１４は、時刻ｔ１６００に代表されるタイミング、時刻ｔ１６０１に代表されるタイミング、時刻ｔ１６０２に代表されるタイミングにおいて、それぞれＲ成分の光、Ｇ成分の光、およびＢ成分の光を発光する。
【００８８】
被写体画像生成部７２０は、時刻ｔ１６００のタイミングで各受光素子から得られた画像信号であるＲ１に対して、時刻ｔ１６００と時刻ｔ１６０２との間の動きを補正することによって、動きが補正された画像信号であるＲ１'を生成する。また、被写体画像生成部７２０は、時刻ｔ１６０１のタイミングで各受光素子から得られた画像信号であるＧ１に対して、時刻ｔ１６０１と時刻ｔ１６０２との間の動きを補正することによって、動きが補正された画像信号であるＧ１'を生成する。なお、動き特定部７１０による各タイミングの間での動き特定処理としては、図１１から図１３にかけて説明した方法と同様に、異なる複数のタイミングにおいて各受光素子から得られた画像信号から特定することができるので、詳細については説明を省略する。
【００８９】
そして、被写体画像生成部７２０は、補正後の画像信号Ｒ１'、補正後の画像信号Ｇ１'および時刻ｔ１６０２のタイミングで各受光素子から得られた画像信号であるＢ１を多重化することにより、時刻ｔ１６０２において得られるべき被写体画像１６３０を生成する。これにより、観察光に含まれるべき各色成分の光が時分割で発光される場合でも、動きを補正した被写体画像を生成することができる。
【００９０】
また、反射率算出部１４２は、補正後の画像信号Ｒ１'および補正後の画像信号Ｇ１'を用いて、各波長領域における反射率を画像領域毎に算出する。そして、深さ特定部１４４は、算出された各波長領域における反射率に基づき、オブジェクトまでの深さを各領域毎に特定して、深さデータ１６５０を算出する。このように、Ｒ成分の光とＧ成分の光とが順次発光される場合には、深さ特定部１４４は、特定された動きに応じて補正された画像信号を用いてオブジェクトまでの深さを特定する。
【００９１】
このようにして、動き特定部７１０は、第１波長領域の光と第２波長領域の光とを発光部１１４が順次発光している間における被写体の動きを特定することができる。そして、反射率算出部１４２は、動き特定部７１０が特定した動きに基づき、被写体の動きによる位置ずれが補正された第１反射率および第２反射率を算出することができる。これにより、オブジェクトまでの深さをより正確に算出することができる。
【００９２】
なお、本図の例では、観察光に含まれるべき各色成分の光が順次発光され、各色分の光に対する反射率から深さを特定する場合について説明したが、図１０に関連して説明したように、発光部１１４は、さらに他のタイミングにおいて深さ測定用の測定光を発光してもよい。このような発光パターンで得られた画像信号に対する動き特定および動き補正についても、上記と同様の方法で処理することができるので、詳細については説明を省略する。
【００９３】
なお、観察光に含まれるべき各色成分の光を順次で発光する発光部１１４の構成としては、観察光を発光する光源と、順次各色成分の光を選択的に透過するフィルタとを備える構成を例示することができる。このようなフィルタとしては、液晶フィルタなど、透過波長領域を時間的に制御することができるフィルタ、各色成分の光を選択的に透過する複数のフィルタ領域を有する回転式のフィルタを例示することができる。このようなフィルタにより被写体への光の波長領域を制御する方法は、図１０などに関連して説明した観察光および測定光を時分割で照射する場合にも用いることができる。
【００９４】
また、発光部１１４は、異なる波長領域の光を発光する複数の発光素子の発光を制御することにより、観察光と測定光とを時分割で発光したり、各色成分の光を順次発光したりすることができる。観察光用の発光素子としてはＬＥＤなどの半導体素子を例示することができる。また、測定光用の発光素子としては、半導体レーザなどの、比較的に狭い波長領域の光を発光する半導体素子を例示することができる。なお、発光部１１４は、複数の発光素子のそれぞれの発光強度を各タイミングで制御することにより、観察光と測定光とを時分割で発光したり、各色成分の光を順次発光したりすることができる。
【００９５】
また、撮像装置１００が内視鏡である場合、発光素子は、スコープの先端部に設けられてもよい。当該発光素子は、電気励起により発光する発光素子であってよく、光励起により発光する発光素子であってもよい。このような発光素子としては蛍光体などの発光素子を例示することができる。発光素子が光励起により発光する発光素子である場合、発光部１１４は、当該発光素子を励起する励起用の光を発光する励起部と、当該発光素子とを含んでよい。ここで当該発光素子は、励起用の光の波長に応じて異なるスペクトルの光を発光してよい。この場合、発光部１１４は、当該励起部が発光する励起用の光の波長を各タイミングで制御することにより、照射光のスペクトルを制御することができる。また、同一の励起用の光により各発光素子が発光する光のスペクトルが、複数の発光素子の間で異なってもよい。
【００９６】
図１５は、撮像装置１００のハードウェア構成の一例を示す。上述した撮像装置１００の機能は、コンピュータなどの電子情報処理装置により実現され得る。撮像装置１００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、Ｉ／Ｏコントローラ１５８４によりホスト・コントローラ１５８２に接続される通信Ｉ／Ｆ１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、Ｉ／Ｏコントローラ１５８４に接続されるＲＯＭ１５１０、ＦＤドライブ１５５０、およびＩ／Ｏチップ１５７０を有する。
【００９７】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、ＲＡＭ１５２０をアクセスするＣＰＵ１５０５、およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００９８】
Ｉ／Ｏコントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信Ｉ／Ｆ１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、およびデータを格納する。通信Ｉ／Ｆ１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信Ｉ／Ｆ１５３０に提供する。
【００９９】
Ｉ／Ｏコントローラ１５８４には、ＲＯＭ１５１０と、ＦＤドライブ１５５０、およびＩ／Ｏチップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、撮像装置１００が起動時に実行するブート・プログラム、あるいは撮像装置１００のハードウェアに依存するプログラム等を格納する。ＦＤドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信Ｉ／Ｆ１５３０に提供する。Ｉ／Ｏチップ１５７０は、ＦＤドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【０１００】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、撮像装置１００を、図１から図１４に関連して説明した撮像装置１００が備える各機能部として機能させる。
【０１０１】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして撮像装置１００に提供してもよい。
【０１０２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０１０３】
【図１】実施形態に係る撮像装置１００のブロック構成の一例を示す。
【図２】受光部１３０が有する受光素子および受光フィルタの構成例を示す。
【図３】受光部１３０が有する各受光素子の受光特性の一例を示す。
【図４】被写体による光の反射特性の一例を示す。
【図５】被写体による光の反射特性の他の一例を示す。
【図６】深さ格納部１４６が格納する深さ情報の一例を示す。
【図７】表示部１５０による表示処理の一例を示す。
【図８】被写体による光の反射特性の他の一例を示す。
【図９】発光部１１４が発光して被写体に照射される光のスペクトルの一例を示す図である。
【図１０】撮像装置１００による撮像タイミングの一例を被写体画像とともに示す図である。
【図１１】画像処理部１４０のブロック構成の一例を示す図である。
【図１２】動きが補正された被写体画像を生成する方法の一例を説明する図である。
【図１３】動きが補正された被写体画像を生成する方法の他の一例を説明する図である。
【図１４】発光部１１４による発光パターンの他の一例を示す図である。
【図１５】撮像装置１００のハードウェア構成の一例を示す。
【技術分野】
【０００１】
本発明は、画像を撮像する撮像装置、撮像方法、およびプログラムに関する。本発明は、特に、被写体の内部のオブジェクトの深さを特定できる撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
被写体に照射する照明光の波長領域を制限することにより、生体組織の表面近傍の組織情報を視認する技術が考案されている（たとえば、特許文献１、特許文献２、および特許文献３参照。）。
【特許文献１】特開２００２−９５６３５号公報
【特許文献２】特開２００２−３４８９３号公報
【特許文献３】特開２００２−３４９０８号公報
【０００３】
また、生体から発せられた自家蛍光成分から抽出した短い波長領域の蛍光成分と長い波長領域の蛍光成分とに基づいて、生体の病変部を検出する技術が考案されている（たとえば、特許文献４参照。）。また、波長領域が異なる２つの画像の差分を演算することにより、酸化ヘモグロビンの分布状態を示す画像を生成する技術が考案されている（たとえば、特許文献５および特許文献６参照。）。
【特許文献４】特開平１０−２２５４３６号公報
【特許文献５】特開２００２−２７２７４４号公報
【特許文献６】特開２００６−３２６１５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記技術では、生体の表面から血管までの深さを測定することができない。たとえば、生体からの光の反射光量に基づいて生体の表面から血管までの深さを測定する方法を用いた場合、生体の表面の起伏による影、光源の動きなどに起因する光量の変化の影響を受けてしまうので、安定的な測定結果を得ることができない。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、撮像装置であって、被写体に対して光を発光する発光部と、被写体からの第１波長領域の光、および被写体からの第１波長領域と異なる第２波長領域の光を受光する受光部と、発光部が発光する光および受光部が受光した光に基づいて、被写体による第１波長領域の光の第１反射率、および被写体による第２波長領域の光の第２反射率を算出する反射率算出部と、第１反射率および第２反射率に基づいて、被写体の表面から、受光部が受光した光の像に含まれる被写体の内部のオブジェクトまでの深さを特定する深さ特定部とを備える。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、実施形態に係る撮像装置１００のブロック構成の一例を示す。撮像装置１００は、発光制御部１１２、発光部１１４、受光部１３０、反射率算出部１４２、深さ特定部１４４、深さ格納部１４６、画像処理部１４０、および表示部１５０を備える。
【０００９】
撮像装置１００は、内視鏡であってよい。撮像装置１００が内視鏡である場合、発光部１１４、および受光部１３０は、生体内に挿入される内視鏡の挿入部の先端に設けられてよい。他の例においては、発光部１１４は、挿入部の外部に設けられ、内視鏡の挿入部に設けられたライトガイドを介して、生体に光を照射してもよい。また、受光部１３０は、挿入部の外部に設けられ、内視鏡の挿入部に設けられたライトガイドを介して、生体からの光を受光してもよい。
【００１０】
発光部１１４は、被写体に対して光を発光する。一例として、発光部１１４は、第１波長領域の光および第２波長領域の光を含む光を発光する。たとえば、発光部１１４は、第１波長領域の一例としてのＲ成分（６００ｎｍ〜７５０ｎｍ）の波長領域の光、および第２波長領域の一例としてのＧ成分（４９０ｎｍ〜６００ｎｍ）の波長領域の光を含む光を発光する。
【００１１】
発光部１１４は、第３波長領域の光をさらに含む光を発光してもよい。たとえば、発光部１１４は、第３波長領域の一例としてのＢ成分（４００ｎｍ〜４９０ｎｍ）の波長領域の光をさらに含む光を発光してもよい。発光部１１４は、第１波長領域の光および第２波長領域の光を含む光として、白色光を発光してもよい。
【００１２】
他の例として、発光部１１４は、第１波長領域の光と第２波長領域の光とを順次発光してもよい。たとえば、発光部１１４は、第１波長領域の一例としてのＲ成分の波長領域の光と、第２波長領域の一例としてのＧ成分の波長領域の光とを順次発光してもよい。発光部１１４は、第１波長領域の光を発光する第１発光素子と、第２波長領域の光を発光する第２発光素子とを有してもよい。発光部１１４は、第１波長領域の光を主に透過する第１発光フィルタと、第２波長領域の光を主に透過する第２発光フィルタとを有してもよい。
【００１３】
発光部１１４は、第３波長領域の光をさらに順次発光してもよい。たとえば、発光部１１４は、第３波長領域の一例としてのＢ成分の波長領域の光をさらに順次発光してもよい。発光部１１４は、第３波長領域の光を発光する第３発光素子をさらに有してもよい。発光部１１４は、第３波長領域の光を主に透過する第３発光フィルタをさらに有してもよい。
【００１４】
発光制御部１１２は、発光部１１４による第１波長領域の光および第２波長領域の光の発光を制御する。発光制御部１１２は、第１発光素子および第２発光素子を制御することにより、発光部１１４による第１波長領域の光および第２波長領域の光の発光を制御してもよい。発光制御部１１２は、第１発光フィルタおよび第２発光フィルタを制御することにより、発光部１１４による第１波長領域の光および第２波長領域の光の発光を制御してもよい。
【００１５】
発光制御部１１２は、発光部１１４による第３波長領域の光の発光をさらに制御してもよい。発光制御部１１２は、第３発光素子を制御することにより、発光部１１４による第３波長領域の光の発光を制御してもよい。発光制御部１１２は、第３発光フィルタを制御することにより、発光部１１４による第３波長領域の光の発光を制御してもよい。
【００１６】
受光部１３０は、被写体からの第１波長領域の光、および被写体からの第１波長領域と異なる第２波長領域の光を受光する。具体的には、受光部１３０は、被写体の表面から被写体の内部のオブジェクトまでの深さによる、被写体による反射率への依存度が異なる、第１波長領域の光および第２波長領域の光を受光する。たとえば、受光部１３０は、被写体からの第１波長領域の一例としてのＲ成分の波長領域の光、および被写体からの第１波長領域と異なる第２波長領域の一例としてのＧ成分の波長領域の光を受光する。
【００１７】
本実施例では、受光部１３０は、第１波長領域の光を受光する複数の第１受光素子１３２と、第２波長領域の光を受光する複数の第２受光素子１３４とを有する。これに対応して、受光部１３０は、第１波長領域の光を主に透過する複数の第１受光フィルタと、第２波長領域の光を主に透過する複数の第２受光フィルタとを有してもよい。
【００１８】
本実施例では、受光部１３０は、第３波長領域の光を受光する複数の第３受光素子１３６をさらに有する。これに対応して、受光部１３０は、第３波長領域の光を主に透過する複数の第３受光フィルタをさらに有してもよい。受光部１３０には、複数の第１受光素子１３２、複数の第２受光素子１３４、および複数の第３受光素子１３６が規則的に配列されていてもよい。これに対応して、受光部１３０には、複数の第１受光フィルタ、複数の第２受光フィルタ、および複数の第３受光フィルタが規則的に配列されていてもよい。
【００１９】
発光部１１４が第１波長領域の光と第２波長領域の光とを順次発光する場合、受光部１３０は、第１波長領域の光と第２波長領域の光とを順次受光してもよい。発光部１１４が第３波長領域の光をさらに順次発光する場合、受光部１３０は、第３波長領域の光をさらに順次受光してもよい。
【００２０】
受光部１３０は、第１受光素子１３２、第２受光素子１３４、および第３受光素子１３６が規則的に配列されたＣＣＤまたはＣＭＯＳであってよい。他の例においては、第１受光素子１３２、第２受光素子１３４、および第３受光素子１３６は、それぞれ異なるＣＣＤまたはＣＭＯＳであってよい。
【００２１】
反射率算出部１４２は、発光部１１４が発光する光および受光部１３０が受光した光に基づいて、被写体による第１波長領域の光の第１反射率、および被写体による第２波長領域の光の第２反射率を算出する。たとえば、反射率算出部１４２は、発光部１１４が発光した第１波長領域の光の強度と、受光部１３０が受光した第１波長領域の光の強度との除算により、第１反射率を算出する。たとえば、反射率算出部１４２は、発光部１１４が発光した第２波長領域の光の強度と、受光部１３０が受光した第２長領域の光の強度との除算により、第２反射率を算出する。
【００２２】
反射率算出部１４２は、発光部１１４が発光する第１波長領域の光および第２波長領域の光の光量を、発光制御部１１２から取得してもよい。また、反射率算出部１４２は、発光部１１４が発光する第１波長領域の光および第２波長領域の光の光量を、当該光量が予め格納されているメモリなどの記録媒体から取得してもよい。
【００２３】
反射率算出部１４２は、所定数の受光素子に対応する部分領域毎に、第１反射率および第２反射率を算出してもよい。たとえば、反射率算出部１４２は、２×２画素、４×４画素、または８×８画素を含む部分領域毎に、第１反射率および第２反射率を算出してもよい。
【００２４】
反射率算出部１４２は、部分領域に含まれる複数の画素の第１反射率の平均または合計を、当該部分領域の第１反射率として算出してもよい。同様に、反射率算出部１４２は、部分領域に含まれる複数の画素の第２反射率の平均または合計を、当該部分領域の第２反射率として算出してもよい。
【００２５】
反射率算出部１４２は、部分領域に含まれる複数の画素の第１波長領域の光の受光量の合計と、発光部１１４が発光した第１波長領域の光の発光量との除算により、当該部分領域の第１反射率を算出してもよい。同様に、反射率算出部１４２は、部分領域に含まれる複数の画素の第２波長領域の光の受光量の合計と、発光部１１４が発光した第２波長領域の光の発光量との除算により、当該部分領域の第２反射率を算出してもよい。
【００２６】
反射率算出部１４２は、部分領域に含まれる複数の画素の第１波長領域の光の受光量の合計と、発光部１１４が発光した第１波長領域の光の発光量のうちの当該部分領域分の発光量との除算により、当該部分領域の第１反射率を算出してもよい。同様に、反射率算出部１４２は、部分領域に含まれる複数の画素の第２波長領域の光の受光量の合計と、発光部１１４が発光した第２波長領域の光の発光量のうちの当該部分領域分の発光量との除算により、当該部分領域の第２反射率を算出してもよい。
【００２７】
深さ特定部１４４は、反射率算出部１４２が算出した第１反射率および第２反射率に基づいて、被写体の表面から、受光部１３０が受光した光の像に含まれる被写体の内部のオブジェクトまでの深さを特定する。たとえば、深さ特定部１４４は、第１反射率と第２反射率との差分または比率に対応づけて深さ格納部１４６に格納されている深さを特定する。反射率算出部１４２が部分領域毎に第１反射率および第２反射率を算出した場合、深さ特定部１４４は、部分領域毎に、被写体の表面からオブジェクトまでの深さを特定してもよい。
【００２８】
深さ格納部１４６は、被写体による第１波長領域の光の反射率と第２波長領域の光の反射率との差分または比率に対応づけて、被写体の内部においてオブジェクトが存在する深さを示す深さ情報を予め格納する。
【００２９】
画像処理部１４０は、受光部１３０が受光した光による像に画像処理を施して、被写体の内部のオブジェクトの像を含む被写体の像である被写体画像を生成する。画像処理部１４０が生成した被写体画像は表示部１５０に供給され、表示部１５０により表示される。なお、画像処理部１４０は、深さ特定部１４４が特定した深さに応じた画像処理を、被写体画像に施してよい。深さに応じた画像処理としては、画像中のオブジェクトの像を深さに応じた色で着色するなど、深さに応じた色処理などを例示することができる。
【００３０】
表示部１５０は、深さ特定部１４４が特定した深さ情報を表示する。たとえば、表示部１５０は、被写体画像と同時に、深さ情報を表示する。表示部１５０は、被写体画像と深さ情報とを並べて表示してもよい。表示部１５０は、被写体画像と深さ情報とを重畳して表示してもよい。
【００３１】
表示部１５０は、複数の被写体画像を含む動画である被写体動画と同時に、深さ情報を表示してもよい。表示部１５０は、被写体動画と深さ情報とを並べて表示してもよい。表示部１５０は、被写体動画と深さ情報とを重畳して表示してもよい。
【００３２】
表示部１５０は、深さ情報をテキスト表示してもよい。表示部１５０は、深さ情報をイメージ表示してもよい。たとえば、表示部１５０は、深さに応じた色にオブジェクトが着色された被写体画像をカラー表示してもよい。
【００３３】
図２は、受光部１３０が有する受光素子および受光フィルタの構成例を示す。受光部１３０は、Ｒ成分の波長領域の光を主に受光する複数の第１受光素子１３２を有する。また、受光部１３０は、Ｇ成分の波長領域の光を主に受光する複数の第２受光素子１３４を有する。また、受光部１３０は、Ｂ成分の波長領域の光を主に受光する複数の第３受光素子１３６を有する。
【００３４】
受光部１３０においては、複数の第１受光素子１３２、複数の第２受光素子１３４、および複数の第３受光素子１３６が、規則的に配列されている。また、受光部１３０において、第１受光素子１３２の前には、Ｒ成分の波長領域の光を主に透過する複数の第１受光フィルタが配置されている。また、受光部１３０において、第２受光素子１３４の前には、Ｇ成分の波長領域の光を主に透過する複数の第２受光フィルタが配置されている。また、受光部１３０において、第３受光素子１３６の前には、Ｂ成分の波長領域の光を主に透過する複数の第３受光フィルタが配置されている。
【００３５】
受光部１３０は、複数の部分領域に区分けされている。複数の部分領域のそれぞれは、複数の受光素子および複数のフィルタを含む。たとえば、図２に示す例では、複数の部分領域のそれぞれは、４×４画素の受光素子およびフィルタを含む。
【００３６】
図３は、受光部１３０が有する受光素子の受光特性の一例を示す。点線は、第１受光素子１３２の受光特性を示す。たとえば、第１受光素子１３２は、Ｒ成分（６００ｎｍ〜７５０ｎｍ）の波長領域を主に有する第一波長領域の光に対して、主に受光感度を有する。
【００３７】
一点鎖線は、第２受光素子１３４の受光特性を示す。たとえば、第２受光素子１３４は、Ｇ成分（４９０ｎｍ〜６００ｎｍ）の波長領域を主に有する第２波長領域の光に対して、主に受光感度を有する。
【００３８】
実線は、第３受光素子１３６の受光特性を示す。たとえば、第３受光素子１３６は、Ｂ成分（４００ｎｍ〜４９０ｎｍ）の波長領域を主に有する第１波長領域の光に対して、主に受光感度を有する。
【００３９】
図４は、被写体による光の反射特性の一例を示す。図４に示すグラフにおいて、横軸は、生体に照射される光の波長を示す。また、縦軸は、生体による光の反射率を示す。
【００４０】
また、点線は、生体の表面から生体内部の血管までの深さが７０ｕｍの場合の、生体による光の反射特性を示す。また、一点鎖線は、生体の表面から生体内部の血管までの深さが１００ｕｍの場合の、生体による光の反射特性を示す。
【００４１】
また、二点鎖線は、生体の表面から生体内部の血管までの深さが２００ｕｍの場合の、生体による光の反射特性を示す。また、実線は、生体の表面から生体内部の血管までの深さが３００ｕｍの場合の、生体による光の反射特性を示す。
【００４２】
図５は、被写体による光の反射特性の他の一例を示す。図５に示すグラフにおいて、縦軸は、生体による光の反射率を示す。また、横軸は、生体の表面から生体内部の血管までの深さを示す。
【００４３】
一点鎖線は、Ｒ成分の波長領域（６００ｎｍ〜７００ｎｍ）の光の反射特性を示す。また、点線は、Ｇ成分の波長領域（５００ｎｍ〜６００ｎｍ）の光の反射特性を示す。また、実線は、Ｂ成分の波長領域（４００ｎｍ〜５００ｎｍ）の光の反射特性を示す。
【００４４】
図４および図５が示すように、たとえば、Ｒ成分の波長領域（６００ｎｍ〜７００ｎｍ）においては、生体の表面から生体内部の血管までの深さの差異による、生体による光の反射特性の差異がほとんど生じていない。一方、Ｇ成分の波長領域（５００ｎｍ〜６００ｎｍ）においては、生体の表面から生体内部の血管までの深さの差異による、生体による光の反射特性の差異が大きく生じている。
【００４５】
そこで、本実施形態の撮像装置１００は、Ｇ成分の波長領域の光の反射率とＲ成分の波長領域の光の反射率との比率を算出したうえで、算出された比率と、深さ格納部１４６に格納されている深さ情報とに基づいて、生体の表面から血管までの深さを特定する。これにより、本実施形態の撮像装置１００によれば、生体からの光の反射量に基づいて生体の表面から血管までの深さを測定する場合であっても、測定対象に照射される光の光量の変化の影響をうけることなく、安定的な測定結果を得ることができる。
【００４６】
図６は、深さ格納部１４６が格納する深さ情報の一例を示す。図６に示すグラフにおいて、横軸は、被写体の表面から、被写体の内部のオブジェクトの一例としての血管までの深さを示す。また、縦軸は、被写体による第１波長領域の一例としてのＲ成分の波長領域の光の反射率と、第２波長領域の一例としてのＧ成分の波長領域の光の反射率との比率を示す。
【００４７】
たとえば、深さ特定部１４４は、反射率算出部１４２が算出した第１反射率と、反射率算出部１４２が算出した第２反射率との差分または比率を算出する。そして、深さ特定部１４４は、算出した差分または比率と、深さ格納部１４６が格納する深さ情報とに基づいて、被写体の表面から血管までの深さを特定できる。
【００４８】
図７は、表示部１５０による表示処理の一例を示す。図７では、生体を撮像した被写体動画であって、表示部１５０によって表示された被写体動画を示す。
【００４９】
被写体動画には、生体内部のオブジェクトである血管が含まれている。たとえば、表示部１５０は、深さに応じた色に血管が着色された被写体動画をカラー表示してもよい。
【００５０】
このように、本実施形態の撮像装置１００によれば、被写体の表面から生体内部のオブジェクトまでの深さの変動による光の反射特性の変動量が異なる二つの波長領域の反射率の差または比率に基づいて上記深さを測定する。このため、本実施形態の撮像装置１００によれば、被写体からの光の反射量に基づいて被写体の表面から生体内部のオブジェクトまでの深さを測定する場合であっても、測定対象に照射される光の光量の変化の影響をうけることなく、安定的な測定結果を得ることができる。
【００５１】
図８は、被写体による光の反射特性の他の一例を示す。図８に示すグラフにおいて、横軸は、生体に照射される光の波長を示す。また、縦軸は、生体による光の反射率を示す。
【００５２】
また、点線は、血管のヘモグロビン酸素飽和度が２５％の場合の、生体による光の反射特性を示す。また、一点鎖線は、血管のヘモグロビン酸素飽和度が５０％の場合の、生体による光の反射特性を示す。
【００５３】
また、二点鎖線は、血管のヘモグロビン酸素飽和度が７５％の場合の、生体による光の反射特性を示す。また、実線は、血管のヘモグロビン酸素飽和度が０％および１００％の場合の、生体による光の反射特性を示す。
【００５４】
たとえば、Ｇ成分の波長領域（５００ｎｍ〜６００ｎｍ）においては、血管のヘモグロビン酸素飽和度の差異による、生体による光の反射特性の差異がほとんど生じていない。一方、Ｒ成分の波長領域（６００ｎｍ〜７００ｎｍ）においては、血管のヘモグロビン酸素飽和度の差異による、生体による光の反射特性の差異が大きく生じている。
【００５５】
このように、血管のヘモグロビン酸素濃度を測定対象とした場合であっても、生体による光の反射特性において、測定対象の変動に依存するＲ成分の波長領域と、測定対象の変動に依存しないＧ成分の波長領域とをそれぞれ有する。そこで、たとえば、深さ格納部１４６に、被写体によるＧ成分の波長領域の光の反射率とＲ成分の波長領域の光の反射率との差分または比率に対応づけて、血管のヘモグロビン酸素飽和度を示す情報を予め格納しておく。
【００５６】
そして、Ｇ成分の波長領域の光の反射率とＲ成分の波長領域の光の反射率とをそれぞれ算出する。さらに、算出した二つの反射率の比率を算出したうえで、算出された比率と、深さ格納部１４６に格納されている情報とに基づいて、血管のヘモグロビン酸素飽和度を特定できる。このように、本実施形態の撮像装置１００によれば、被写体からの光の反射量に基づいて血管のヘモグロビン酸素飽和度を測定する場合であっても、測定対象に照射される光の光量の変化の影響をうけることなく、安定的な測定結果を得ることができる。
【００５７】
図９は、発光部１１４が発光して被写体に照射される光のスペクトルの一例を示す。スペクトル９００は、Ｒ成分の波長領域の光、Ｇ成分の波長領域の光、およびＢ成分の波長領域の光を含む白色光のスペクトルの一例である。このような光が照射されている場合には、人間の眼による観察に適した被写体画像が得られる。
【００５８】
深さ格納部１４６は、第２受光素子１３４が受光することができる比較的に広い波長領域の光の反射率と、第１受光素子１３２が受光することができる比較的に広い波長領域の光の反射率との差分または比率に対応づけて、オブジェクトまでの深さを情報を、予め格納してよい。なお、反射率算出部１４２は、第２受光素子１３４が受光することができる比較的に広い波長領域の光の反射率、および、第１受光素子１３２が受光することができる比較的に広い波長領域の光の反射率を、第１受光素子１３２および第２受光素子１３４のそれぞれからの信号、および、発光部１１４が発光するスペクトルに基づき、算出してよい。これにより、深さ特定部１４４は、人間の眼による観察に適した被写体画像を得るための白色光を用いて、深さを算出することができる。この場合、オブジェクトまでの深さをリアルタイムに算出することができる。
【００５９】
深さをより正確に算出するためには、深さ測定用の光として、比較的に狭い波長領域の光を被写体に照射することが望ましい。例えば、発光部１１４は、第１波長領域の光の一例として、スペクトル９１０ａで示される光を発光してよい。また、発光部１１４は、第２波長領域の光の一例として、スペクトル９１０ｂで示される光を発光してよい。深さ格納部１４６は、スペクトル９１０ｂに対応する波長領域の光の反射率と、スペクトル９１０ａに対応する波長領域の光の反射率との差分または比率に対応づけて、オブジェクトまでの深さを情報を格納しておく。これにより、比較的に広い波長領域の光に基づき深さを算出する場合に比べて、深さをより正確に算出することができる。
【００６０】
なお、発光部１１４は、スペクトル９００で示されるような人間による観察用の被写体画像を得るための白色光に重畳して、スペクトル９１０ａおよびスペクトル９１０ｂに対応する比較的に狭い波長領域の光を、被写体に照射してもよい。深さ測定用の比較的に狭い波長領域の光の強度が十分に大きい場合には、深さ特定部１４４は、深さ格納部１４６が比較的に狭い波長領域での光の反射率の差分または比率に対応づけて格納している深さを用いて、高精度で深さを算出することができる。なお、深さ測定用の光を白色光に重畳して照射する場合には、第１受光素子１３２および第２受光素子１３４が受光することができる波長領域において白色光の強度を低減することにより、深さ測定用の比較的に狭い波長領域の光の強度を高めてもよい。
【００６１】
なお、発光部１１４は、観察用の被写体画像を得るための白色光（以下、観察光と呼ぶ場合がある。）および、深さ測定用の比較的に狭い波長領域の光（以下、測定光と呼ぶ場合がある。）を発光することができる。例えば、発光部１１４は、観察光の光源の一例としてのキセノンランプと、測定光の光源の一例としてＬＥＤなどの半導体素子とを含むことができる。発光制御部１１２は、観察用の被写体画像を得る場合には、ＬＥＤを発光させず、キセノンランプを発光させて、観察光を被写体に照射させる。一方、発光制御部１１２は、深さを測定する場合には、キセノンランプが発光した光をフィルタ等によりカットするとともに、ＬＥＤを発光させて、測定光を被写体に照射させる。
【００６２】
図１０は、撮像装置１００による撮像タイミングの一例を被写体画像とともに示す。撮像装置１００は、時刻ｔ１２００、ｔ１２０１、ｔ１２０２、ｔ１２０３、・・・において、被写体からの戻り光により被写体画像を撮像する。また、発光部１１４は、時刻ｔ１２００、ｔ１２０１、およびｔ１２０３を含む第１のタイミングにおいて、被写体に照射される観察光を発光する。
【００６３】
そして、受光部１３０は、第１のタイミングにおいて観察光が照射された被写体からの戻り光を受光する。これにより、画像処理部１４０は、時刻ｔ１２００、時刻ｔ１２０１、および時刻ｔ１２０３のそれぞれにより代表されるタイミングにおいて各受光素子が受光した受光量に基づき、被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄを生成する。これにより、観察に適した被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄが、表示部１５０に表示される。被写体画像１２２０ａは血管画像１２２２ａおよび血管画像１２２４ａを含み、被写体画像１２２０ｂは血管画像１２２２ｂおよび血管画像１２２４ｂを含み、被写体画像１２２０ｄは血管画像１２２２ｄおよび血管画像１２２４ｄを含む。
【００６４】
また、発光部１１４は、時刻ｔ１２０２を含む第２のタイミングにおいて、被写体に照射される測定光を発光する。そして、受光部１３０は、時刻ｔ１２０２に代表されるタイミングにおいて測定光が照射された被写体からの戻り光を受光する。反射率算出部１４２は、時刻ｔ１２０２に代表されるタイミングにおける第１受光素子１３２からのＲ信号、および、時刻ｔ１２０２に代表されるタイミングにおける第２受光素子１３４からのＧ信号から、それぞれ反射率を算出する。深さ特定部１４４は、算出された反射率を用いて、血管までの深さを示す深さデータ１２５０を算出する。
【００６５】
ここで、画像処理部１４０は、時刻ｔ１２０１に代表されるタイミングにおける第１受光素子１３２からのＲ信号、時刻ｔ１２０１に代表されるタイミングにおける第２受光素子１３４からのＧ信号、および、時刻ｔ１２０２に代表されるタイミングにおける第３受光素子１３６からのＢ信号に基づき、血管画像１２３２ｃおよび血管画像１２３４ｃを含む被写体画像１２３０ｃを生成する。被写体画像１２３０ｃは、時刻ｔ１２０２に代表されるタイミングにおいて得られるべき、観察光による被写体画像とみなすことができる。なお、深さデータ１２５０は、表示部１５０による深さ情報の表示、被写体画像１２３０ｃ、被写体画像１２２０ｄなどに対する画像処理部１４０での画像処理などに利用され得る。
【００６６】
このように、画像処理部１４０は、測定光が照射されたタイミングにおいても、観察光により得られるべき被写体画像を生成することができる。表示部１５０は、被写体画像１２２０ａ、被写体画像１２２０ｂ、被写体画像１２３０ｃ、被写体画像１２２０ｄ、・・・を連続的に表示することによって、コマ落ちのない映像を表示することができる。
【００６７】
図１１は、画像処理部１４０のブロック構成の一例を示す。図１０では、説明を簡単にすべく、撮像装置１００の動き、被写体の動きなど、撮像される画像の時間変化をもたらす要因を考慮せず、時刻ｔ１２０１のタイミングでのＲ信号およびＧ信号と、時刻ｔ１２０２のタイミングでのＢ信号とを多重化して、被写体画像１２３０ｃを生成する処理を一例として説明した。この処理では、撮像装置１００の動き、被写体の動きなどに起因して、Ｒ信号およびＧ信号とＢ信号との間に有意なずれが生じる場合がある。
【００６８】
本図以降の図を用いて、上記の動きなどによる被写体画像への影響を補正するための画像処理部１４０の動作および機能、ならびに画像処理部１４０の構成を説明する。画像処理部１４０は、動き特定部７１０および被写体画像生成部７２０を有する。
【００６９】
動き特定部７１０は、複数のタイミングにおけるＢ信号による画像に基づき、当該画像における被写体像の動きを特定する。ここで、被写体像の動きは、被写体自身の動き、撮像装置１００の動き、撮像装置１００のズーム値の時間変化など、画像の時間変化をもたらす動きを含む。また、撮像装置１００の動きは、撮像位置の時間変化、撮像装置１００による撮像方向の時間変化を含む。
【００７０】
図１０に関連して説明した発光パターンを例として用いて説明すると、動き特定部７１０は、時刻ｔ１２０１および時刻ｔ１２０２におけるＢ信号の画像に基づき、動きを特定する。例えば、動き特定部７１０は、複数の画像からマッチングなどにより同じ被写体の像の位置を特定して、特定した位置の差に基づき動きを特定してよい。
【００７１】
被写体画像生成部７２０は、当該動きに基づき時刻ｔ１２０１のタイミングでのＲ信号およびＧ信号を補正して、時刻ｔ１２０２のタイミングで得られるべきＲ信号およびＧ信号を生成する。そして、被写体画像生成部７２０は、補正後のＲ信号およびＧ信号と、時刻ｔ１２０２のタイミングでのＢ信号とを多重化して、時刻ｔ１２０２での被写体画像を生成する。
【００７２】
図１２および図１３に関連して、上記の動きなどによる被写体画像への影響を補正するための画像処理部１４０の機能および動作、特に動き特定部７１０および被写体画像生成部７２０の動作を中心に説明する。ここで、画像１３２１ｂ、画像１３２２ｂ、画像１３２３ｂは、時刻ｔ１２０１におけるそれぞれＲ信号、Ｇ信号、およびＢ信号の画像とする。画像１３２３ｃは、時刻ｔ１２０２における第３受光素子１３６からのＢ信号の画像とする。
【００７３】
動き特定部７１０は、画像１３２３ｂおよび画像１３２３ｃの画像内容に基づき、動きを特定する。具体的には、動き特定部７１０は、画像１３２３ｂおよび画像１３２３ｃから、同じ被写体の像を抽出する。本図の例では、動き特定部７１０は、画像１３２３ｂおよび画像１３２３ｃから、それぞれ被写体像１３５３ｂおよび被写体像１３５３ｃを、同じ被写体の像として抽出する。
【００７４】
動き特定部７１０は、被写体像１３５３ｂと被写体像１３５３ｃとの間の位置の差を算出する。本図の例では、説明を簡単にすべく、当該位置の差が画像上のｙ方向に生じているとして、動き特定部７１０は、被写体像１３５３ｂの位置と被写体像１３５３ｃの位置との位置差Δｙ１を算出する。
【００７５】
被写体画像生成部７２０は、算出した位置差Δｙ１に応じた量だけ画像１３２１ｂをｙ方向にずらすことによって、画像１３２１ｃを生成する。また、被写体画像生成部７２０は、算出した位置差Δｙ１に応じた量だけ画像１３２２ｂをｙ方向にずらすことによって、画像１３２２ｃを生成する。被写体画像生成部７２０は、画像１３２１ｃ、画像１３２２ｃ、画像１３２３ｃを合成することにより、被写体画像１３３０ｃを生成する。なお、ここでいう合成処理は、画像１３２１ｃを示すＲ信号、画像１３２２ｃを示すＢ信号、画像１３２３ｃを示すＧ信号を、所定の重みづけで多重化する多重化処理を含む。
【００７６】
また、被写体画像生成部７２０は、Ｒ信号およびＧ信号の画像に対する動きの補正量を、画像領域毎に異ならせてよい。例えば、撮像装置１００による撮像方向が被写体表面に垂直であり、撮像装置１００が被写体表面に水平に移動しているとすると、オブジェクトの移動量はどの画像領域でも等しいとみなすことができる。一方、撮像方向が被写体表面に垂直でない場合には、撮像装置１００から遠方の領域が撮像された画像領域における動き量は、撮像装置１００に近い領域が撮像された画像領域より動き量が小さくなる場合がある。
【００７７】
被写体画像生成部７２０が、Ｒ信号およびＧ信号の画像に対する動きの補正量を画像領域毎に算出するためには、被写体表面と撮像装置１００との間の位置関係が既知または推定できれば、当該位置関係および画像領域の位置に基づき、動きの補正量を算出することができる。なお、被写体画像生成部７２０は、撮像装置１００の位置・向きを制御する制御値、撮像装置１００のズーム値を制御する制御値など、撮像装置１００を操作する制御値を取得して、当該制御値に基づき、Ｒ信号およびＧ信号の画像に対する動きの補正量を算出してもよい。
【００７８】
他にも、動き特定部７１０は動きを画像領域毎に算出してもよい。被写体画像生成部７２０は、画像領域毎の動きに基づき、各画像領域の画像に対する動きの補正量を算出してもよい。
【００７９】
なお、動き特定部７１０は、画像領域毎に動きを特定する場合には、いずれの波長領域の光による画像を用いて動きを特定するかを、画像領域毎に決定してよい。例えば、動き特定部７１０は、画像領域毎に各画像のコントラストを算出する。そして、動き特定部７１０は、各画像領域について、より大きいコントラストが算出された波長領域の光による複数の画像を他の波長の画像より優先して選択して、選択した複数の画像を用いて動きを特定してよい。
【００８０】
以上図１２および図１３に関連して説明したように、動き特定部７１０は、第１のタイミングにおいて複数の第３受光素子１３６が受光した光による画像、および、第２のタイミングにおいて複数の第３受光素子１３６が受光した光による画像に基づき、第１のタイミングおよび第２のタイミングの間における画像上の被写体像の動きを特定する。そして、被写体画像生成部７２０は、第１のタイミングにおいて第１受光素子１３２が受光した光、第２のタイミングにおいて第２受光素子１３４が受光した光、および当該動きに基づき、第２のタイミングにおける被写体画像を生成する。
【００８１】
図１３は、動きが補正された被写体画像を生成する方法の他の一例を説明する図である。ここでは、動き特定部７１０は、時刻ｔ１２００のタイミングで得られたＲ信号の画像１４２１ａおよび時刻ｔ１２０１のタイミングで得られたＲ信号の画像１４２１ｂを用いて、動きを特定する。図１２に関連して説明した方法と同様に、動き特定部７１０は、画像１４２１ａおよび画像１４２１ｂから、同じ被写体の被写体像を抽出する。本図の例では、動き特定部７１０は、画像１４２１ａおよび画像１４２１ｂから、それぞれ被写体像１４５１ａおよび被写体像１４５１ｂを抽出する。
【００８２】
そして、動き特定部７１０は、被写体像１４５１ａおよび被写体像１４５１ｂのそれぞれの位置の差を算出する。本図の例でも、説明を簡単にすべく当該位置差が画像上のｙ方向に生じているとして、動き特定部７１０は、被写体像１４５１ａの位置と被写体像１４５１ｂの位置との位置差Δｙ２を算出する。そして、図１２に関連して説明した方法と同様に、被写体画像生成部７２０は、算出した位置差Δｙ２に応じた量だけ画像１４２１ｂをｙ方向にずらすことによって、画像１４２１ｃを生成する。同様に、被写体画像生成部７２０は、算出した位置差Δｙ２に応じた量だけ画像１４２２ｂをｙ方向にずらすことによって、画像１４２２ｃを生成する。被写体画像生成部７２０は、画像１４２１ｃ、画像１４２２ｃ、および、時刻ｔ１２０２における第３受光素子１３６からのＧ信号の画像である画像１４２３ｃを合成することにより、被写体画像１４３０ｃを生成する。
【００８３】
なお、上記においては画像１４２１ａおよび画像１４２１ｂを用いて動きを特定したが、動き特定部７１０は、画像１４２１ｂと、時刻ｔ１２０３で得られたＲ信号の画像とを用いて、動きを特定してもよい。このように、動き特定部７１０は、動きが補正された画像を生成する対象時刻である時刻ｔ１２０１の前後の時刻のタイミングを含む複数のタイミングで得られた画像から、動きを特定してよい。被写体画像の表示をある程度遅延させることが許容できる場合には、後のタイミングの画像も用いることで、動きの特定精度をより高めることができる場合がある。
【００８４】
また、上記においては、画像１４２１ａおよび画像１４２１ｂを用いて特定された動きに基づき、画像１４２２ｂを補正したが、動き特定部７１０は、画像１４２２ａおよび画像１４２２ｂを用いて、動きを特定してもよい。そして、被写体画像生成部７２０は、特定した動きを用いて、画像１４２２ｂをずらすことによって、画像１４２２ｃを生成してもよい。
【００８５】
なお、動き特定部７１０が動きを特定するためにいずれの波長領域の画像を用いるかは、撮像された画像のコントラストに基づき決定してよい。例えば、動き特定部７１０は、コントラストがより大きい画像をより優先して用いて、動きを特定してよい。表面の微細構造の像が明瞭であるなど、微細構造の像を動き特定用のオブジェクトとして用いることができる場合には、Ｂ信号の画像を用いて動きをより正確に特定することができる場合がある。また、表面のより大きな凹凸構造の像が明瞭であるなど、凹凸構造の像を動き特定用のオブジェクトとして用いることができる場合には、Ｒ信号の画像を用いて動きをより正確に特定することができる場合がある。
【００８６】
以上図１３に関連して説明したように、動き特定部７１０は、第１のタイミングを含む第２のタイミング以外の複数のタイミングにおいて第１受光素子１３２が受光した第１波長領域の光による複数の画像に基づき、複数のタイミングの間における画像上の被写体像の動きを特定する。そして、被写体画像生成部７２０は、第１のタイミングにおいて第１受光素子１３２が受光した光、第１のタイミングにおいて第２受光素子１３４が受光した光、第２のタイミングにおいて第３受光素子１３６が受光した光、および動きに基づき、第２のタイミングにおける被写体画像を生成する。なお、図１２および図１３に関連して、動き特定処理の一例として、動き特定部７１０が２のタイミングで撮像された画像を用いて動きを特定する処理を説明したが、動き特定部７１０は、３以上のタイミングで撮像された画像を用いて動きを特定してもよい。
【００８７】
図１４は、発光部１１４による発光パターンの他の一例を示す。ここでは、上述した受光フィルタは設けられておらず、各受光素子は互いに略同一の波長領域の光を受光することができるとする。この構成において、発光部１１４は、観察光に含まれるべき各色成分の光を時分割で発光する。具体的には、発光部１１４は、時刻ｔ１６００に代表されるタイミング、時刻ｔ１６０１に代表されるタイミング、時刻ｔ１６０２に代表されるタイミングにおいて、それぞれＲ成分の光、Ｇ成分の光、およびＢ成分の光を発光する。
【００８８】
被写体画像生成部７２０は、時刻ｔ１６００のタイミングで各受光素子から得られた画像信号であるＲ１に対して、時刻ｔ１６００と時刻ｔ１６０２との間の動きを補正することによって、動きが補正された画像信号であるＲ１'を生成する。また、被写体画像生成部７２０は、時刻ｔ１６０１のタイミングで各受光素子から得られた画像信号であるＧ１に対して、時刻ｔ１６０１と時刻ｔ１６０２との間の動きを補正することによって、動きが補正された画像信号であるＧ１'を生成する。なお、動き特定部７１０による各タイミングの間での動き特定処理としては、図１１から図１３にかけて説明した方法と同様に、異なる複数のタイミングにおいて各受光素子から得られた画像信号から特定することができるので、詳細については説明を省略する。
【００８９】
そして、被写体画像生成部７２０は、補正後の画像信号Ｒ１'、補正後の画像信号Ｇ１'および時刻ｔ１６０２のタイミングで各受光素子から得られた画像信号であるＢ１を多重化することにより、時刻ｔ１６０２において得られるべき被写体画像１６３０を生成する。これにより、観察光に含まれるべき各色成分の光が時分割で発光される場合でも、動きを補正した被写体画像を生成することができる。
【００９０】
また、反射率算出部１４２は、補正後の画像信号Ｒ１'および補正後の画像信号Ｇ１'を用いて、各波長領域における反射率を画像領域毎に算出する。そして、深さ特定部１４４は、算出された各波長領域における反射率に基づき、オブジェクトまでの深さを各領域毎に特定して、深さデータ１６５０を算出する。このように、Ｒ成分の光とＧ成分の光とが順次発光される場合には、深さ特定部１４４は、特定された動きに応じて補正された画像信号を用いてオブジェクトまでの深さを特定する。
【００９１】
このようにして、動き特定部７１０は、第１波長領域の光と第２波長領域の光とを発光部１１４が順次発光している間における被写体の動きを特定することができる。そして、反射率算出部１４２は、動き特定部７１０が特定した動きに基づき、被写体の動きによる位置ずれが補正された第１反射率および第２反射率を算出することができる。これにより、オブジェクトまでの深さをより正確に算出することができる。
【００９２】
なお、本図の例では、観察光に含まれるべき各色成分の光が順次発光され、各色分の光に対する反射率から深さを特定する場合について説明したが、図１０に関連して説明したように、発光部１１４は、さらに他のタイミングにおいて深さ測定用の測定光を発光してもよい。このような発光パターンで得られた画像信号に対する動き特定および動き補正についても、上記と同様の方法で処理することができるので、詳細については説明を省略する。
【００９３】
なお、観察光に含まれるべき各色成分の光を順次で発光する発光部１１４の構成としては、観察光を発光する光源と、順次各色成分の光を選択的に透過するフィルタとを備える構成を例示することができる。このようなフィルタとしては、液晶フィルタなど、透過波長領域を時間的に制御することができるフィルタ、各色成分の光を選択的に透過する複数のフィルタ領域を有する回転式のフィルタを例示することができる。このようなフィルタにより被写体への光の波長領域を制御する方法は、図１０などに関連して説明した観察光および測定光を時分割で照射する場合にも用いることができる。
【００９４】
また、発光部１１４は、異なる波長領域の光を発光する複数の発光素子の発光を制御することにより、観察光と測定光とを時分割で発光したり、各色成分の光を順次発光したりすることができる。観察光用の発光素子としてはＬＥＤなどの半導体素子を例示することができる。また、測定光用の発光素子としては、半導体レーザなどの、比較的に狭い波長領域の光を発光する半導体素子を例示することができる。なお、発光部１１４は、複数の発光素子のそれぞれの発光強度を各タイミングで制御することにより、観察光と測定光とを時分割で発光したり、各色成分の光を順次発光したりすることができる。
【００９５】
また、撮像装置１００が内視鏡である場合、発光素子は、スコープの先端部に設けられてもよい。当該発光素子は、電気励起により発光する発光素子であってよく、光励起により発光する発光素子であってもよい。このような発光素子としては蛍光体などの発光素子を例示することができる。発光素子が光励起により発光する発光素子である場合、発光部１１４は、当該発光素子を励起する励起用の光を発光する励起部と、当該発光素子とを含んでよい。ここで当該発光素子は、励起用の光の波長に応じて異なるスペクトルの光を発光してよい。この場合、発光部１１４は、当該励起部が発光する励起用の光の波長を各タイミングで制御することにより、照射光のスペクトルを制御することができる。また、同一の励起用の光により各発光素子が発光する光のスペクトルが、複数の発光素子の間で異なってもよい。
【００９６】
図１５は、撮像装置１００のハードウェア構成の一例を示す。上述した撮像装置１００の機能は、コンピュータなどの電子情報処理装置により実現され得る。撮像装置１００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、Ｉ／Ｏコントローラ１５８４によりホスト・コントローラ１５８２に接続される通信Ｉ／Ｆ１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、Ｉ／Ｏコントローラ１５８４に接続されるＲＯＭ１５１０、ＦＤドライブ１５５０、およびＩ／Ｏチップ１５７０を有する。
【００９７】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、ＲＡＭ１５２０をアクセスするＣＰＵ１５０５、およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００９８】
Ｉ／Ｏコントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信Ｉ／Ｆ１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、およびデータを格納する。通信Ｉ／Ｆ１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信Ｉ／Ｆ１５３０に提供する。
【００９９】
Ｉ／Ｏコントローラ１５８４には、ＲＯＭ１５１０と、ＦＤドライブ１５５０、およびＩ／Ｏチップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、撮像装置１００が起動時に実行するブート・プログラム、あるいは撮像装置１００のハードウェアに依存するプログラム等を格納する。ＦＤドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信Ｉ／Ｆ１５３０に提供する。Ｉ／Ｏチップ１５７０は、ＦＤドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【０１００】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、撮像装置１００を、図１から図１４に関連して説明した撮像装置１００が備える各機能部として機能させる。
【０１０１】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして撮像装置１００に提供してもよい。
【０１０２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０１０３】
【図１】実施形態に係る撮像装置１００のブロック構成の一例を示す。
【図２】受光部１３０が有する受光素子および受光フィルタの構成例を示す。
【図３】受光部１３０が有する各受光素子の受光特性の一例を示す。
【図４】被写体による光の反射特性の一例を示す。
【図５】被写体による光の反射特性の他の一例を示す。
【図６】深さ格納部１４６が格納する深さ情報の一例を示す。
【図７】表示部１５０による表示処理の一例を示す。
【図８】被写体による光の反射特性の他の一例を示す。
【図９】発光部１１４が発光して被写体に照射される光のスペクトルの一例を示す図である。
【図１０】撮像装置１００による撮像タイミングの一例を被写体画像とともに示す図である。
【図１１】画像処理部１４０のブロック構成の一例を示す図である。
【図１２】動きが補正された被写体画像を生成する方法の一例を説明する図である。
【図１３】動きが補正された被写体画像を生成する方法の他の一例を説明する図である。
【図１４】発光部１１４による発光パターンの他の一例を示す図である。
【図１５】撮像装置１００のハードウェア構成の一例を示す。
【特許請求の範囲】
【請求項１】
被写体に対して光を発光する発光部と、
前記被写体からの第１波長領域の光、および前記被写体からの前記第１波長領域と異なる第２波長領域の光を受光する受光部と、
前記発光部が発光する光および前記受光部が受光した光に基づいて、前記被写体による前記第１波長領域の光の第１反射率、および前記被写体による前記第２波長領域の光の第２反射率を算出する反射率算出部と、
前記第１反射率および前記第２反射率に基づいて、前記被写体の表面から、前記受光部が受光した光の像に含まれる前記被写体の内部のオブジェクトまでの深さを特定する深さ特定部と
を備える撮像装置。
【請求項２】
前記被写体による前記第１波長領域の光の反射率と前記第２波長領域の光の反射率との差分または比率に対応づけて、前記被写体の内部において前記オブジェクトが存在する深さを予め格納している深さ格納部をさらに備え、
前記深さ特定部は、前記第１反射率と前記第２反射率との差分または比率に対応づけて前記深さ格納部に格納されている深さを特定する請求項１に記載の撮像装置。
【請求項３】
前記受光部は、前記被写体の表面から前記オブジェクトまでの深さによる、前記被写体による反射率への依存度が異なる、前記第１波長領域の光および前記第２波長領域の光を受光する請求項２に記載の撮像装置。
【請求項４】
前記受光部は、複数の受光素子を有し、
前記反射率算出部は、所定数の前記受光素子に対応する部分領域毎に、前記第１反射率および前記第２反射率を算出し、
前記深さ特定部は、前記部分領域毎に、前記被写体の表面から前記オブジェクトまでの深さを特定する請求項２または３に記載の撮像装置。
【請求項５】
前記発光部は、前記第１波長領域の光および前記第２波長領域の光を含む光を発光し、
前記受光部は、前記第１波長領域の光を受光する複数の第１受光素子と、前記第２波長領域の光を受光する複数の第２受光素子とを有する請求項１乃至３のいずれかに記載の撮像装置。
【請求項６】
前記発光部は、前記第１波長領域の光と前記第２波長領域の光とを順次発光し、
前記受光部は、前記第１波長領域の光と前記第２波長領域の光とを順次受光する請求項１乃至３のいずれかに記載の撮像装置。
【請求項７】
前記第１波長領域の光と前記第２波長領域の光とを前記発光部が順次発光している間における前記被写体の動きを特定する動き特定部
をさらに備え、
前記反射率算出部は、前記動き特定部が特定した動きに基づいて、前記被写体の動きによる位置ずれが補正された前記第１反射率および前記第２反射率を算出する
請求項６に記載の撮像装置。
【請求項８】
前記受光部は、前記第１波長領域であるＲ成分の波長領域の光、および前記第２波長領域であるＧ成分の波長領域の光を受光する
請求項１乃至３のいずれかに記載の撮像装置。
【請求項９】
被写体に対して光を発光する発光部と、
前記被写体からの第１波長領域の光、および前記被写体からの前記第１波長領域と異なる第２波長領域の光を受光する受光部と
を備える撮像装置による撮像方法であって、
前記発光部が発光する光および前記受光部が受光した光に基づいて、前記被写体による前記第１波長領域の光の第１反射率、および前記被写体による前記第２波長領域の光の第２反射率を算出する反射率算出段階と、
前記第１反射率および前記第２反射率に基づいて、前記被写体の表面から、前記受光部が受光した光の像に含まれる前記被写体の内部のオブジェクトまでの深さを特定する深さ特定段階と
を備える撮像方法。
【請求項１０】
被写体に対して光を発光する発光部と、
前記被写体からの第１波長領域の光、および前記被写体からの前記第１波長領域と異なる第２波長領域の光を受光する受光部と
を備える撮像装置用のプログラムであって、コンピュータを、
前記発光部が発光する光および前記受光部が受光した光に基づいて、前記被写体による前記第１波長領域の光の第１反射率、および前記被写体による前記第２波長領域の光の第２反射率を算出する反射率算出部、
前記第１反射率および前記第２反射率に基づいて、前記被写体の表面から、前記受光部が受光した光の像に含まれる前記被写体の内部のオブジェクトまでの深さを特定する深さ特定部
として機能させるプログラム。
【請求項１】
被写体に対して光を発光する発光部と、
前記被写体からの第１波長領域の光、および前記被写体からの前記第１波長領域と異なる第２波長領域の光を受光する受光部と、
前記発光部が発光する光および前記受光部が受光した光に基づいて、前記被写体による前記第１波長領域の光の第１反射率、および前記被写体による前記第２波長領域の光の第２反射率を算出する反射率算出部と、
前記第１反射率および前記第２反射率に基づいて、前記被写体の表面から、前記受光部が受光した光の像に含まれる前記被写体の内部のオブジェクトまでの深さを特定する深さ特定部と
を備える撮像装置。
【請求項２】
前記被写体による前記第１波長領域の光の反射率と前記第２波長領域の光の反射率との差分または比率に対応づけて、前記被写体の内部において前記オブジェクトが存在する深さを予め格納している深さ格納部をさらに備え、
前記深さ特定部は、前記第１反射率と前記第２反射率との差分または比率に対応づけて前記深さ格納部に格納されている深さを特定する請求項１に記載の撮像装置。
【請求項３】
前記受光部は、前記被写体の表面から前記オブジェクトまでの深さによる、前記被写体による反射率への依存度が異なる、前記第１波長領域の光および前記第２波長領域の光を受光する請求項２に記載の撮像装置。
【請求項４】
前記受光部は、複数の受光素子を有し、
前記反射率算出部は、所定数の前記受光素子に対応する部分領域毎に、前記第１反射率および前記第２反射率を算出し、
前記深さ特定部は、前記部分領域毎に、前記被写体の表面から前記オブジェクトまでの深さを特定する請求項２または３に記載の撮像装置。
【請求項５】
前記発光部は、前記第１波長領域の光および前記第２波長領域の光を含む光を発光し、
前記受光部は、前記第１波長領域の光を受光する複数の第１受光素子と、前記第２波長領域の光を受光する複数の第２受光素子とを有する請求項１乃至３のいずれかに記載の撮像装置。
【請求項６】
前記発光部は、前記第１波長領域の光と前記第２波長領域の光とを順次発光し、
前記受光部は、前記第１波長領域の光と前記第２波長領域の光とを順次受光する請求項１乃至３のいずれかに記載の撮像装置。
【請求項７】
前記第１波長領域の光と前記第２波長領域の光とを前記発光部が順次発光している間における前記被写体の動きを特定する動き特定部
をさらに備え、
前記反射率算出部は、前記動き特定部が特定した動きに基づいて、前記被写体の動きによる位置ずれが補正された前記第１反射率および前記第２反射率を算出する
請求項６に記載の撮像装置。
【請求項８】
前記受光部は、前記第１波長領域であるＲ成分の波長領域の光、および前記第２波長領域であるＧ成分の波長領域の光を受光する
請求項１乃至３のいずれかに記載の撮像装置。
【請求項９】
被写体に対して光を発光する発光部と、
前記被写体からの第１波長領域の光、および前記被写体からの前記第１波長領域と異なる第２波長領域の光を受光する受光部と
を備える撮像装置による撮像方法であって、
前記発光部が発光する光および前記受光部が受光した光に基づいて、前記被写体による前記第１波長領域の光の第１反射率、および前記被写体による前記第２波長領域の光の第２反射率を算出する反射率算出段階と、
前記第１反射率および前記第２反射率に基づいて、前記被写体の表面から、前記受光部が受光した光の像に含まれる前記被写体の内部のオブジェクトまでの深さを特定する深さ特定段階と
を備える撮像方法。
【請求項１０】
被写体に対して光を発光する発光部と、
前記被写体からの第１波長領域の光、および前記被写体からの前記第１波長領域と異なる第２波長領域の光を受光する受光部と
を備える撮像装置用のプログラムであって、コンピュータを、
前記発光部が発光する光および前記受光部が受光した光に基づいて、前記被写体による前記第１波長領域の光の第１反射率、および前記被写体による前記第２波長領域の光の第２反射率を算出する反射率算出部、
前記第１反射率および前記第２反射率に基づいて、前記被写体の表面から、前記受光部が受光した光の像に含まれる前記被写体の内部のオブジェクトまでの深さを特定する深さ特定部
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−２５４７９４（Ｐ２００９−２５４７９４Ａ）
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願番号】特願２００９−５８５４（Ｐ２００９−５８５４）
【出願日】平成２１年１月１４日（２００９．１．１４）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願日】平成２１年１月１４日（２００９．１．１４）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]