画像処理システム、画像処理方法、およびプログラム
【課題】物体の表面からの深さに応じて物体内部の物質の量を光学的に算出することができる画像処理システムを提供すること。
【解決手段】画像処理システムは、物体の表面から、物体の内部に存在するオブジェクトまでの深さを算出する深さ算出部と、オブジェクトからの光を受光する受光部と、受光部が受光した光の量および深さ算出部が算出したオブジェクトまでの深さに基づいて、受光部が受光する光を発する、オブジェクト内の物質の量を算出する物質量算出部とを備える。
【解決手段】画像処理システムは、物体の表面から、物体の内部に存在するオブジェクトまでの深さを算出する深さ算出部と、オブジェクトからの光を受光する受光部と、受光部が受光した光の量および深さ算出部が算出したオブジェクトまでの深さに基づいて、受光部が受光する光を発する、オブジェクト内の物質の量を算出する物質量算出部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法、およびプログラムに関する。本発明は、特に、前記オブジェクト内の物質の量を算出する画像処理システムおよび画像処理方法、ならびに画像処理システム用のプログラムに関する。
【背景技術】
【０００２】
パルスフォトメトリーを原理とする血中吸光物質濃度測定装置が知られている（例えば、特許文献１参照。）。また、動脈の酸素飽和度を非観血的に測定するデジタル型オキシメータが知られている（例えば、特許文献２参照。）。
【特許文献１】特開２００４―２３００００号公報
【特許文献２】特表２００３―５０５１１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
生体内部の血液からの光は、血液が存在する深さに応じて物質により吸収・散乱される。また、血液からの光の分光強度は、インドシアニングリーン等の発光成分または吸光成分の血中濃度に応じて変化する。このため、特許文献１および特許文献２の技術によって算出される成分濃度は、インドシアニングリーン等の濃度および深さに応じた誤差を大きく含んでしまう虞がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態によると、画像処理システムであって、物体の表面から、物体の内部に存在するオブジェクトまでの深さを算出する深さ算出部と、オブジェクトからの光を受光する受光部と、受光部が受光した光の量および深さ算出部が算出したオブジェクトまでの深さに基づいて、受光部が受光する光を発する、オブジェクト内の物質の量を算出する物質量算出部とを備える。
【０００５】
受光部は、オブジェクトと略同一の量の物質を含む他のオブジェクトからの光をさらに受光し、深さ算出部は、受光部が受光した他のオブジェクトからの光の量および物質量算出部が算出した物質の量に基づいて、表面から他のオブジェクトまでの深さを算出してよい。受光部は、他のオブジェクトからの複数の波長領域の光を受光し、深さ算出部は、受光部が受光した他のオブジェクトからの複数の波長領域毎の光の量および物質量算出部が算出した物質の量に基づいて、他のオブジェクトまでの深さを算出してよい。
【０００６】
物質量算出部は、深さ算出部が算出したオブジェクトまでの深さが予め定められた値より小さい場合に、受光部が受光したオブジェクトからの光の量および深さ算出部が算出したオブジェクトまでの深さに基づいて、オブジェクト内の物質の量を算出してよい。深さ算出部は、受光部が受光した、表面からオブジェクトより深い位置に存在する他のオブジェクトからの複数の波長領域毎の光の量および物質量算出部が算出した物質の量に基づいて、他のオブジェクトまでの深さを算出してよい。
【０００７】
受光部は、オブジェクトの内部に存在するルミネッセンス物質が発する光を受光し、物質量算出部は、受光部が受光したルミネッセンス物質が発する光の量および深さ算出部が算出したオブジェクトまでの深さに基づいて、オブジェクトの内部に存在するルミネッセンス物質の量を算出してよい。受光部は、表面からオブジェクトより深い位置に存在する他のオブジェクトの内部に存在するルミネッセンス物質が発する光を含む複数の波長領域の光を受光し、深さ算出部は、受光部が受光した他のオブジェクトからの複数の波長領域毎の光の量および物質量算出部が算出したルミネッセンス物質の量に基づいて、他のオブジェクトまでの深さを算出してよい。
【０００８】
オブジェクトからの複数の波長領域毎の光の量およびオブジェクトの内部に存在するルミネッセンス物質の量に対応づけて、物体の表面からオブジェクトまでの深さを格納する深さ情報格納部をさらに備え、深さ算出部は、受光部が受光した他のオブジェクトからの複数の波長領域毎の光の量、物質量算出部が算出したルミネッセンス物質の量、および深さ情報格納部が格納している深さに基づいて、他のオブジェクトまでの深さを算出してよい。受光部は、オブジェクトの中に注入されることによってオブジェクトの内部に存在しているルミネッセンス物質が発する光を含む複数の波長領域の光を受光し、物質量算出部は、オブジェクトの中に注入されることによってオブジェクトの内部に存在しているルミネッセンス物質の量を算出してよい。
【０００９】
物質量算出部が算出したオブジェクトの内部のルミネッセンス物質の量を記憶する物質量記憶部と、物質量算出部が新たに算出したルミネッセンス物質の量が、物質量記憶部が記憶しているルミネッセンス物質の量より予め定められた量以上変化したことを条件として、物質量記憶部が記憶しているルミネッセンス物質の量を、物質量算出部が新たに算出したルミネッセンス物質の量で更新すると物質量更新部とをさらに備えてよい。受光部は、オブジェクトからの複数の波長領域の光を受光し、深さ算出部は、受光部が受光した複数の波長領域毎の光の量に基づいて、表面からオブジェクトまでの深さを算出してよい。
【００１０】
表面を通じて撮像された他のオブジェクトの画像であるオブジェクト画像を取得するオブジェクト画像取得部と、深さ算出部が算出した他のオブジェクトまでの深さに基づいて、オブジェクト画像取得部が取得したオブジェクト画像を補正するオブジェクト画像補正部とをさらに備えてよい。オブジェクト画像補正部は、深さ算出部が算出した他のオブジェクトまでの深さに基づいて、他のオブジェクトから表面までの間で他のオブジェクトからの光が散乱されることによるオブジェクト画像の広がりを補正してよい。
【００１１】
表面から他のオブジェクトまでの深さに対応づけて、オブジェクト画像の広がりを補正する補正値を格納する補正テーブルをさらに備え、オブジェクト画像補正部は、深さ算出部が算出した深さおよび補正値に基づいて、オブジェクト画像の広がりを補正してよい。オブジェクト画像補正部により補正されたオブジェクト画像の表示を、深さに応じて制御する表示制御部をさらに備えてよい。表示制御部は、オブジェクト画像補正部により補正されたオブジェクト画像におけるオブジェクトの像の明るさまたは色を、深さに応じて変化させて表示させてよい。
【００１２】
本発明の第２の形態によると、画像処理方法であって、物体の表面から、物体の内部に存在するオブジェクトまでの深さを算出する深さ算出段階と、オブジェクトからの光を受光する受光段階と、受光段階において受光された光の量および深さ算出段階において算出されたオブジェクトまでの深さに基づいて、受光段階において受光された光を発する、オブジェクト内の物質の量を算出する物質量算出段階とを備える。
【００１３】
本発明の第３の形態によると、画像処理システム用のプログラムであって、画像処理システムを、物体の表面から、物体の内部に存在するオブジェクトまでの深さを算出する深さ算出部、オブジェクトからの光を受光する受光部、受光部が受光した光の量および深さ算出部が算出したオブジェクトまでの深さに基づいて、受光部が受光する光を発する、オブジェクト内の物質の量を算出する物質量算出部として機能させる。
【００１４】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００１５】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１６】
図１は、一実施形態における画像処理システム１０の一例を検体２０とともに示す。画像処理システム１０は、一例として、検体２０の内部の血管に含まれる物質の量を光により算出する。画像処理システム１０は、内視鏡１００、画像処理部１４０、出力部１８０、光照射部１５０、制御部１０５、およびＩＣＧ注入部１９０を備える。なお、図１において、Ａ部は、内視鏡１００の先端部１０２を拡大して示す。制御部１０５は、撮像制御部１６０および発光制御部１７０を有する。
【００１７】
ＩＣＧ注入部１９０は、ルミネッセンス物質であるインドシアニングリーン（ＩＣＧ）を、この発明における物体の一例である検体２０に注入する。なお、本実施形態においてルミネッセンス物質としてＩＣＧを例示するが、ルミネッセンス物質として、ＩＣＧ以外の蛍光物質を用いてもよい。ＩＣＧは、例えば波長７５０ｎｍの赤外線に励起されて、８１０ｎｍを中心とするブロードなスペクトルの蛍光を発する。
【００１８】
検体２０が生体である場合、ＩＣＧ注入部１９０は、静脈注射によって、生体の血管内にＩＣＧを注入する。画像処理システム１０は、ＩＣＧからのルミネッセンス光により、生体内の血管を撮像する。なお、ルミネッセンス光は、物体からの光の一例であり、蛍光および燐光を含む。また、ルミネッセンス光は、励起光等の光による光ルミネッセンスの他に、化学ルミネッセンス、摩擦ルミネッセンス、熱ルミネッセンスによるルミネッセンス光を含む。なお、血管は、この発明におけるオブジェクトの一例であってよい。
【００１９】
なお、ＩＣＧ注入部１９０は、例えば制御部１０５による制御によって、生体内のＩＣＧ濃度が略一定に維持されるよう、ＩＣＧを検体２０に注入する。なお、検体２０は、例えば人体であってよい。なお、検体２０の内部には血管等のオブジェクトが存在する。本実施形態の画像処理システム１０は、血管内の物質の量を算出するとともに、算出した物質の量に基づいて検体２０の表面（器官等の内表面を含む）より深部に存在する血管の、表面からの深さを検出する。また、画像処理システム１０は、検出した深さに応じて、血管の画像におけるぼけを補正する。
【００２０】
内視鏡１００は、撮像部１１０、ライトガイド１２０、および鉗子口１３０を有する。撮像部１１０は、物体の一例である検体２０からの光を受光する受光部１１４を有する。なお、内視鏡１００の先端部１０２には、撮像部１１０の一部としてのレンズ１１２を有する。また先端部１０２には、ライトガイド１２０の一部としての出射口１２４を有する。また、内視鏡１００の先端部１０２は、ノズル１３８を有する。
【００２１】
鉗子口１３０には鉗子１３５が挿入され、鉗子口１３０は鉗子１３５を先端部１０２にガイドする。なお、鉗子１３５は、各種の先端形状を備えてよい。なお、鉗子口１３０には、鉗子の他に、生体を処置する種々の処置具が挿入されてよい。ノズル１３８は、水あるいは空気を送出する。
【００２２】
光照射部１５０は、内視鏡１００の先端部１０２から照射される光を発生する。光照射部１５０で発生する光は、検体２０の内部に含むルミネッセンス物質を励起してルミネッセンス光を発光させる励起光の一例としての赤外線、および検体２０に照射する照射光を含む。照射光には、例えばＲ成分、Ｇ成分、およびＢ成分の成分光を含む。
【００２３】
撮像部１１０は、ルミネッセンス物質が発するルミネッセンス光および照射光がオブジェクトで反射する反射光により画像を撮像する。撮像部１１０は、例えばＣＣＤ等の２次元撮像デバイスと光学系とを含んでよく、光学系にはレンズ１１２を含む。ルミネッセンス物質が発する光が赤外線である場合、撮像部１１０は、赤外線画像を撮像できる。オブジェクトへの照射光がＲＧＢの各成分を含む例えば白色光である場合、撮像部１１０は、可視光画像を撮像できる。
【００２４】
なお、オブジェクトからの光としては、オブジェクト内に存在するルミネッセンス物質が発する蛍光または燐光等のルミネッセンス光、あるいはオブジェクトに照射された光が反射した反射光またはオブジェクトを透過した透過光を例示できる。すなわち、撮像部１１０は、オブジェクトの内部のルミネッセンス物質が発した光、オブジェクトから反射した光、またはオブジェクトを透過した光により、オブジェクトの画像を撮像する。なお、撮像部１１０は、Ｒ成分、Ｇ成分、Ｂ成分、およびルミネッセンス光の波長成分に属する成分光のそれぞれの光を、時分割または空間分割で受光することによって別個に受光することができる。
【００２５】
ライトガイド１２０は、例えば光ファイバで構成できる。ライトガイド１２０は、光照射部１５０で発生した光を内視鏡１００の先端部１０２にガイドする。ライトガイド１２０は、先端部１０２に設けられた出射口１２４を含むことができる。光照射部１５０で発生した光は、出射口１２４から検体２０に照射される。撮像部１１０は、出射口１２４から照射された光により検体２０を撮像して、得られた画像データを画像処理部１４０に供給する。
【００２６】
画像処理部１４０は、撮像部１１０から取得した画像データを処理する。出力部１８０は、画像処理部１４０が処理した画像データを出力する。なお、撮像制御部１６０は、撮像部１１０による撮像を制御する。また、発光制御部１７０は、撮像制御部１６０からの制御を受けて、光照射部１５０を制御する。例えば撮像部１１０が、赤外線および照射光を時分割で撮像する場合に、赤外線および照射光の照射タイミングと撮像部１１０の撮像タイミングとを同期させるよう制御する。
【００２７】
なお、画像処理部１４０は、ＩＣＧからのルミネッセンス光により撮像された血管の画像または可視光により撮像された血管の画像から、予め定められた深さよりも浅い位置に存在する血管中のＩＣＧ濃度を算出する。そして、画像処理部１４０は、ルミネッセンス光により撮像されたより深い位置の血管の画像、可視光により撮像されたより深い位置の血管の画像、およびＩＣＧ濃度とに基づいて、より深い位置の血管の深さを算出する。そして、画像処理部１４０は、算出した深さに応じて、撮像部１１０により撮像された血管の画像のぼけを補正する。
【００２８】
図２は、画像処理部１４０のブロック構成の一例を示す。画像処理部１４０は、オブジェクト画像取得部２１０、光画像取得部２１２、表面画像取得部２１４、オブジェクト領域特定部２１６、オブジェクト画像補正部２２０、補正テーブル２２２、深さ算出部２３０、深さ情報格納部２３２、物質量算出部２５０、物質量更新部２５４、物質量記憶部２５２、動き特定部２７０、被写体画像生成部２８０、および表示制御部２６０を有する。以下に、画像処理部１４０が有する各構成要素の機能および動作を、画像処理システム１０が備える他の構成要素の機能および動作とともに説明する。
【００２９】
受光部１１４は、物体の内部に存在する血管等のオブジェクトからの光を受光する。具体的には、受光部１１４は、オブジェクトからの複数の波長領域の光を受光する。例えば、受光部１１４は、オブジェクトからのＲ成分光、Ｂ成分光、Ｇ成分光を受光する。また、受光部１１４は、オブジェクトの内部に存在するルミネッセンス物質が発する光を含む、赤外成分光を受光してよい。このように、受光部１１４は、オブジェクトの中に注入されることによってオブジェクトの内部に存在しているルミネッセンス物質が発する光を含む複数の波長領域の光を受光する。
【００３０】
撮像部１１０は、受光部１１４が受光したオブジェクトからの光に基づいて、オブジェクトの画像を撮像する。具体的には、撮像部１１０は、受光部１１４が受光した、オブジェクトからの複数の波長領域の光によりオブジェクトの画像を撮像する。そして、光画像取得部２１２は、撮像部１１０が複数の波長領域の光により撮像したオブジェクトの画像を、光画像として取得する。
【００３１】
オブジェクトからの光としてルミネッセンス物質が発するルミネッセンス光を利用する場合、光画像取得部２１２が取得する光画像には、物体の表面からルミネッセンス物質を励起する励起光が進入できる深さまでの範囲に存在するオブジェクトの像が含まれる。例えば、内視鏡１００の先端部１０２から照射されるルミネッセンス物質の励起光は、一例として７５０ｎｍの波長を有するから、検体２０の比較的深部（例えば数ｃｍ程度）にまで到達する。よって、光画像取得部２１２が取得する光画像には、検体２０の比較的深部に存在する血管像が含まれる。なお、血管像は、この発明における光画像の一例であってよい。
【００３２】
なお、励起光が到達することができる深さの範囲に存在するルミネッセンス物質は、当該励起光によって励起されるから、光画像取得部２１２が取得する光画像には、励起光が到達できる深さの範囲に存在する血管像が含まれる。なお、血管が深い位置に存在するほど、血管からの蛍光が検体２０で散乱されるから、深い位置の血管像ほどボケを多く含むことになる。
【００３３】
オブジェクトからの光としてオブジェクトからの反射光を利用する場合、光画像取得部２１２が取得する光画像には、オブジェクトへの照射光が進入して反射する深さの範囲に存在するオブジェクトが含まれる。物体への照射光の進入深さは照射光の波長に依存するから、赤色光は青色光より物体内部に深く進入でき、緑色光はそれらの中間深さまで進入できる。赤外線は赤色光より物体内部に深く進入できる。よって、光画像には、物体表面から照射する光の波長範囲を反映した進入深さまでの範囲に存在するオブジェクトが含まれることになる。
【００３４】
このように、光画像取得部２１２は、血管等のオブジェクトからの、異なる複数の波長領域に属する光によってそれぞれ撮像された複数の光画像を取得する。当該波長領域は、任意の波長領域であってよく、例えば可視光のＲ成分を中心とする赤色領域、Ｇ成分を中心とする緑色領域、Ｂ成分を中心とする青色領域を例示できる。また、当該波長領域は、ＩＣＧからの蛍光が属する波長領域を複数に分割した波長領域であってよく、例えばＩＣＧからの蛍光における波長領域のうち、長波長領域、中波長領域、短波長領域を例示できる。
【００３５】
深さ算出部２３０は、物体の表面から、物体の内部に存在するオブジェクトまでの深さを算出する。具体的には、深さ算出部２３０は、複数の光画像の画像内容に基づいて、血管等のオブジェクトまでの深さを算出する。
【００３６】
例えば、深さ算出部２３０は、波長が相違すれば検体２０への光の進入深さが相違する性質を利用して、あるいは、波長が相違すれば検体２０内での光の吸収率が相違する性質を利用して、血管等のオブジェクトの深さ検出に利用する。すなわち、深さ算出部２３０は、青色領域の光画像により識別できる血管は、当該青色領域に属する波長の光が反射する深さ領域に存在すると判断する。同様に、深さ算出部２３０は、緑色領域の光画像により識別できる血管は、当該緑色領域に属する波長の光が反射する深さ領域に存在すると判断する。また、深さ算出部２３０は、赤色領域の光画像により識別できる血管は、当該赤色領域に属する波長の光が反射する深さ領域に存在すると判断する。
【００３７】
また、深さ算出部２３０は、血管内のＩＣＧが発した蛍光のうち、長波長領域に属する光の吸収は、短波長領域に属する光の吸収より小さいから、長波長領域、中波長領域あるいは短波長領域の光による光画像に含まれる血管像の明るさの比から当該血管の深さを推定する。例えば、深さ算出部２３０は、長波長領域の光による光画像に含まれる血管像の明るさに対して、短波長領域の光画像に含まれる血管像が暗ければ、当該血管は深い位置に存在すると判断する。また、深さ算出部２３０は、逆に、長波長領域の光による光画像に係る血管像の明るさに対して、短波長領域の光による光長画像に係る血管像が明るければ、短波長領域の光を吸収するであろう光の行路が長くなく、当該血管は浅い位置に存在すると推定する。
【００３８】
以上のように、深さ算出部２３０は、光の波長による物体への進入深さ（反射光の進入深さ）の相違を利用して血管等のオブジェクトの深さを検出することができる。この場合、光画像取得部２１２は、オブジェクトから反射した反射光の画像を、光画像として取得してよい。また、光画像取得部２１２は、オブジェクトに白色光を照射してオブジェクトから反射した光に含まれる異なる複数の波長領域に属する光による複数の光画像を取得してもよい。あるいは光画像取得部２１２は、異なる複数の波長領域の光をオブジェクトに照射してオブジェクトから反射した光によって、複数の光画像を取得してもよい。
【００３９】
また、上述したように、深さ算出部２３０が物体の深部で発光した蛍光の波長による吸収率の相違を利用して血管等のオブジェクトの深さを検出する場合には、光画像取得部２１２は、オブジェクトの内部のルミネッセンス物体が発した光を含む異なる複数の波長領域に属する光による複数の光画像を取得する。なお、オブジェクトに照射される光は、光照射部１５０が発光して出射口１２４から照射される。
【００４０】
このように、深さ算出部２３０は、光画像が光の進入深さの情報を含むから、光画像に含まれるオブジェクトの明るさ（輝度）を比較または演算してオブジェクトの深さを計算することができる。例えば、オブジェクト領域特定部２１６は、複数の光画像ごとにオブジェクトの画像領域を特定する。そして、深さ算出部２３０は、オブジェクト領域特定部２１６が特定したオブジェクトの画像領域における輝度に基づいて、表面からオブジェクトまでの深さを算出する。
【００４１】
例えば深さ算出部２３０は、長波長の波長領域における画像領域の輝度に対する短波長の波長領域における画像領域の輝度の比に基づいて、深さを算出する。また、深さ算出部２３０は、画像領域における最高輝度または平均輝度に基づいて深さを算出してもよい。
【００４２】
他にも、深さ算出部２３０は、オブジェクトの画像領域の端部における輝度の変化率に基づいて深さを算出してもよい。当該輝度の変化率は、例えば画像空間における位置（距離）を変数とする輝度の微分係数で表現できる。当該微分係数は画像領域に係るオブジェクトのボケの大きさを数値化した例であり、微分係数が大きいほどボケは小さく、オブジェクトはより浅い位置に存在すると推定できる。
【００４３】
また、当該輝度の変化率は、例えば画像空間における位置（距離）を変数とする輝度の分布における半値幅によって表現できる。半値幅が大きいほどボケは大きく、半値幅が小さいとオブジェクトはより浅い位置に存在すると推定できる。このように、深さ算出部２３０は、受光部１１４が受光した複数の波長領域の光の量に基づいて、表面からオブジェクトまでの深さを算出することができる。
【００４４】
物質量算出部２５０は、光画像取得部２１２が取得した光画像の画像内容に基づいて、オブジェクト内の物質の量を算出する。具体的には、物質量算出部２５０は、光画像における各波長領域の輝度値に基づいて、オブジェクト内の物質の量を算出する。ここでいうオブジェクト内の物質は、光を発する発光物質、光を反射または散乱させる光反射物質、または光を吸収する吸光物質を含む。例えば、オブジェクト内の物質は、血管内のＩＣＧ、酸化ヘモグロビン、還元ヘモグロビン、ビリルビン等の血中成分を含む。このように、物質量算出部２５０は、受光部１１４が受光した光の量および深さ算出部２３０が算出したオブジェクトまでの深さに基づいて、受光部１１４が受光する光を発する、オブジェクト内の物質の量を算出する。
【００４５】
なお、物質量算出部２５０は、深さ算出部２３０が算出したオブジェクトまでの深さが予め定められた値より小さい場合に、受光部１１４が受光したオブジェクトからの光の量および深さ算出部２３０が算出したオブジェクトまでの深さに基づいて、オブジェクト内の物質の量を算出する。このように、物質量算出部２５０は、予め定められた深さより浅い位置に存在するオブジェクトからの光の量および深さ算出部２３０が算出した深さに基づいて、オブジェクト内の物質の量を算出する。物質量算出部２５０は、散乱等による測定値への影響が少ない、より浅い位置のオブジェクト内の物質の量を算出するので、物質の量をより正確に算出することができる。
【００４６】
なお、受光部１１４は、オブジェクトと略同一の量の物質を含む他のオブジェクトからの光を受光する。具体的には、受光部１１４は、他のオブジェクトからの複数の波長領域の光も受光する。より具体的には、受光部１１４は、表面からオブジェクトより深い位置に存在する他のオブジェクトの内部に存在するルミネッセンス物質が発する光を含む複数の波長領域の光を受光する。例えば、受光部１１４は、より深い位置に存在する血管からの光を受光する。なお、血管は体内で互いに連通しており、同じ生体内の血管中の血液成分は、位置によらず略一定であると考えられるので、ＩＣＧ濃度は血管の位置によらず略一定と考えられる。
【００４７】
この場合、深さ算出部２３０は、受光部１１４が受光した他のオブジェクトからの光の量および物質量算出部２５０が算出した物質の量に基づいて、表面から他のオブジェクトまでの深さを算出することができる。具体的には、深さ算出部２３０は、受光部１１４が受光した他のオブジェクトからの複数の波長領域毎の光の量および物質量算出部２５０が算出した物質の量に基づいて、他のオブジェクトまでの深さを算出する。
【００４８】
なお、深さ算出部２３０は、受光部１１４が受光した、表面からオブジェクトより深い位置に存在する他のオブジェクトからの複数の波長領域毎の光の量および物質量算出部２５０が算出した物質の量に基づいて、他のオブジェクトまでの深さを算出することができる。オブジェクトまでの深さが深くなるほどオブジェクトから表面までの間で光の散乱・吸収量が増大するので、オブジェクト内の物質の量とオブジェクトまでの深さとを光により同時に計測しようとすると、計測された値に含まれる誤差が増大する。しかしながら、画像処理システム１０によると、浅い位置におけるオブジェクト内の物質の濃度を利用することによって、深い位置に存在するオブジェクトの深さをより正確に算出することができる。
【００４９】
なお、この発明における物質の一例としては、ＩＣＧ等のルミネッセンス物質が挙げられる。すなわち、物質量算出部２５０は、受光部１１４が受光したルミネッセンス物質が発する光の量および深さ算出部２３０が算出したオブジェクトまでの深さに基づいて、オブジェクトの内部に存在するルミネッセンス物質の量を算出する。そして、深さ算出部２３０は、受光部１１４が受光した他のオブジェクトからの複数の波長領域毎の光の量および物質量算出部２５０が算出したルミネッセンス物質の量に基づいて、他のオブジェクトまでの深さを算出する。
【００５０】
なお、深さ情報格納部２３２は、オブジェクトからの複数の波長領域毎の光の量およびオブジェクトの内部に存在するルミネッセンス物質の量に対応づけて、物体の表面からオブジェクトまでの深さを格納する。具体的には、深さ情報格納部２３２は、オブジェクトからの複数の波長領域毎の光の量の比およびオブジェクトの内部に存在するルミネッセンス物質の濃度に対応づけて、物体の表面からオブジェクトまでの深さを格納している。そして、深さ算出部２３０は、受光部１１４が受光した他のオブジェクトからの複数の波長領域毎の光の量、物質量算出部２５０が算出したルミネッセンス物質の量、および深さ情報格納部２３２が格納している深さに基づいて、他のオブジェクトまでの深さを算出する。
【００５１】
物質量記憶部２５２は、物質量算出部２５０が算出したオブジェクトの内部のルミネッセンス物質の量を記憶する。そして、深さ算出部２３０は、受光部１１４が受光した他のオブジェクトからの複数の波長領域毎の光の量および物質量記憶部２５２が記憶している物質の量に基づいて、他のオブジェクトまでの深さを算出することができる。なお、物質量算出部２５０は、オブジェクトの中に注入されることによってオブジェクトの内部に存在しているルミネッセンス物質の量を算出する。この場合、物質量更新部２５４は、物質量算出部２５０が新たに算出したルミネッセンス物質の量が、物質量記憶部２５２が記憶しているルミネッセンス物質の量より予め定められた量以上変化したことを条件として、物質量記憶部２５２が記憶しているルミネッセンス物質の量を、物質量算出部２５０が新たに算出したルミネッセンス物質の量で更新する。
【００５２】
物体が生体である場合には、注入されたルミネッセンス物質は時間が経過するにつれて体内で代謝されていくので、血中のルミネッセンス物質の濃度は時間の経過とともに減少していく可能性がある。必要であれば、ＩＣＧ注入部１９０は、濃度減少を補うべく、ルミネッセンス物質を追加で注入してもよい。画像処理システム１０によると、これらの要因による物質の濃度変化を適切に考慮して深さを算出することができる。したがって、ノイズ等により物質量算出部２５０が誤った値を算出した場合であっても、深さに与える誤差の量が著しく増大してしまうことを未然に防ぐことができる。
【００５３】
オブジェクト画像取得部２１０は、オブジェクトからの光によって撮像されたオブジェクト画像を取得する。なお、撮像部１１０は、表面を通じてオブジェクトを撮像する。そして、オブジェクト画像取得部２１０は、表面を通じて撮像されたオブジェクトの画像を取得する。例えば、オブジェクト画像取得部２１０は、オブジェクトからのルミネッセンス光により撮像部１１０によって撮像されたオブジェクト画像を取得する。
【００５４】
オブジェクト画像補正部２２０は、深さ算出部２３０が算出した他のオブジェクトまでの深さに基づいて、オブジェクト画像取得部２１０が取得したオブジェクト画像を補正する。より具体的には、オブジェクト画像補正部２２０は、深さ算出部２３０が算出した他のオブジェクトまでの深さに基づいて、他のオブジェクトから表面までの間で他のオブジェクトからの光が散乱されることによるオブジェクト画像の広がりを補正する。
【００５５】
オブジェクト画像補正部２２０が補正した補正画像は出力部１８０に供給され、出力部１８０から表示される。なお、補正テーブル２２２は、表面からオブジェクトまでの深さに対応付けて、オブジェクト画像の広がりを補正する補正値を格納している。そして、オブジェクト画像補正部２２０は、深さ算出部２３０が算出した深さ、および補正テーブル２２２が格納している補正値に基づいて、オブジェクト画像の広がりを補正する。
【００５６】
なお、表面画像取得部２１４は、一例として撮像部１１０によって撮像された物体の表面の画像を取得する。すなわち表面画像取得部２１４は、視認すると同等の画像を取得する。例えば、表面画像取得部２１４は、照射光が物体表面で反射された反射光により撮像部１１０が撮像した画像を、表面画像として取得する。例えば、表面画像取得部２１４は、白色光である照射光が照射光が物体表面で反射された反射光により撮像部１１０が撮像した画像を、表面画像として取得する。
【００５７】
なお、撮像部１１０は、オブジェクト画像と表面画像とを、異なるタイミングで撮像してよい。例えば、撮像部１１０は、白色光を照射することにより可視光の表面画像を連続的に撮像しており、所定のタイミングにおいて白色光にかえて励起光を照射することによりオブジェクト画像を撮像してよい。この場合、動き特定部２７０は、励起光を照射したタイミングと、白色光を照射したタイミングとの間におけるオブジェクトの動きを特定する。被写体画像像生成部２８０は、白色光を照射することにより得られた表面画像、および、動き特定部２７０が特定した動きに基づき、励起光を照射したタイミングにおいて得られるべき表面画像を生成する。なお、オブジェクト画像と表面画像とを時分割で撮像する場合における制御部１０５、撮像部１１０、光照射部１５０、動き特定部２７０、および被写体画像像生成部２８０の機能および動作については、図８以降の図面に関連してより詳細に説明する。
【００５８】
表示制御部２６０は、表面画像および補正画像の出力部１８０への表示を制御する。例えば、表示制御部２６０は、オブジェクト画像補正部２２０により補正されたオブジェクト画像の表示を、深さ算出部２３０が算出した深さに応じて制御する。具体的には、表示制御部２６０は、オブジェクト画像補正部２２０により補正されたオブジェクト画像の明るさまたは色を、深さ算出部２３０が算出した深さに応じて変化させて出力部１８０に表示させる。あるいは表示制御部２６０は、表面画像と補正画像とを並べて出力部１８０に表示してもよい。その他、表示制御部２６０は、オブジェクトの深さ情報を数値として出力部１８０に表示してもよい。
【００５９】
なお、深さ算出部２３０は、複数のオブジェクトのそれぞれまでの表面からの深さを算出してよい。深さ算出部２３０は、複数のオブジェクトのそれぞれまでの表面からの深さを算出してよい。そして、オブジェクト画像補正部２２０は、複数のオブジェクトのそれぞれまでの深さに基づいて、オブジェクト画像における複数のオブジェクトのそれぞれの像の広がりを補正してよい。
【００６０】
図３は、検体２０の内部で光が反射等する様子を模式的に示す。検体２０の内部にはオブジェクトの一例である血管８１０−８１３が存在する。これらの血管は、血管８１１、血管８１２、血管８１３、血管８１０の順に浅い位置に存在する。ＩＣＧ注入部１９０は、血管８１０にルミネッセンス物質であるＩＣＧを注入する。結果として血管８１０−８１３の内部にもＩＣＧが注入される。
【００６１】
検体２０にはＩＣＧの励起光である赤外線Ｉｉｒと、血管への照射光である赤色光Ｉｒ、緑色光Ｉｇ、および青色光Ｉｂとが照射される。赤外線Ｉｉｒは、検体２０の比較的深い位置（深さｄｉｒ）まで進入でき、表面から深さｄｉｒの間に存在する血管（例えば、血管８１０）内のＩＣＧは赤外線Ｉｉｒによって励起される。よって深さｄｉｒより浅い位置に存在する血管（例えば、血管８１１−８１３）の像は、ＩＣＧからの蛍光Ｒｆによってオブジェクト画像として取得される。なお、オブジェクト画像として取得された血管の像には、ぼけを伴う。
【００６２】
赤色光Ｉｒは、深さｄｒまで進入して深さｄｒの近傍で反射される。よって、赤色光Ｉｒの赤色反射光Ｒｒには深さｄｒ近傍の血管８１３の像情報が含まれる。赤色反射光Ｒｒによる血管８１３の像は赤色領域の光による光画像として取得され、当該光画像には、深さｄｒ近傍の血管の画像が含まれる。
【００６３】
緑色光Ｉｇは、深さｄｇまで進入して深さｄｇの近傍で反射される。よって、緑色光Ｉｇの緑色反射光Ｒｇには深さｄｇ近傍の血管８１２の像情報が含まれる。緑色反射光Ｒｇによる血管８１２の像は緑色領域の光による光画像として取得され、当該光画像には、深さｄｇ近傍の血管の画像が含まれる。
【００６４】
青色光Ｉｂは、深さｄｂまで進入して深さｄｂの近傍で反射される。よって、青色光Ｉｂの青色反射光Ｒｂには深さｄｂ近傍の血管８１１の像情報が含まれる。青色反射光Ｒｂによる血管８１１の像は青色領域の光による光画像として取得され、当該光画像には、深さｄｂ近傍の血管の画像が含まれる。
【００６５】
前述したように、深さ算出部２３０は、例えば、赤色反射光Ｒｒ、緑色反射光Ｒｇ、緑色反射光Ｒｇの光によるそれぞれの光画像から、浅い位置にある血管８１１までの深さを算出することができる。そして、深さ算出部２３０は、血管８１１の深さおよび物質量算出部２５０が算出したＩＣＧ濃度に基づいて、蛍光Ｒｆによって撮像された各血管８１２、８１３、８１０までの深さを算出することができる。そして、オブジェクト画像補正部２２０は、算出された深さに応じて血管８１０−８１３の広がりを補正することができる。
【００６６】
図４は、撮像された血管画像の一例を示す。血管画像４１０は浅い位置に存在する血管の画像を示しており、血管画像４２０は血管画像４１０より深い位置に存在する血管の画像を示す。図示されるように、血管画像４１０のぼけ量は、血管画像４２０のぼけ量より小さい。
【００６７】
図５は、深さ情報格納部２３２が格納しているデータの一例をテーブル形式で示す。深さ情報格納部２３２は、血管からの各成分光の強度の、全強度に対する相対強度ＩＩＲ、ＩＲ、ＩＧ、およびＩＢと、ＩＣＧ濃度ＣＩＣＧと、血管までの深さＤａとを互いに対応づけて格納している。なお、ＩＩＲ、ＩＲ、ＩＧ、およびＩＢと、は、それぞれ赤外成分光、Ｒ成分光、Ｇ成分光、およびＢ成分光の相対強度を示す。
【００６８】
上述のように、深さ算出部２３０は、浅い位置に存在する血管（例えば、血管８１１）の画像から深さを算出することができる。また、物質量算出部２５０は、当該画像が示すＲ成分、Ｇ成分、Ｂ成分、およびＩＲ成分の相対強度と、深さ算出部２３０が算出した深さと、深さ情報格納部２３２が格納しているデータとから、血管中のＩＣＧ濃度を算出する。例えば、物質量算出部２５０は、当該画像が示すＲ成分、Ｇ成分、Ｂ成分、およびＩＲ成分の相対強度と、深さ算出部２３０が算出した深さとに対応づけて深さ情報格納部２３２が格納しているＩＣＧ濃度を、血管中のＩＣＧ濃度として算出する。なお、深さ情報格納部２３２が、各測定値に一致する情報を格納していない場合には、物質量算出部２５０は、深さ情報格納部２３２が格納しているデータを内挿・外挿する等してＩＣＧ濃度を算出することができる。
【００６９】
そして、深さ算出部２３０は、浅い位置に存在する血管より深い位置に存在する血管（例えば、血管８１０）の深さを算出する場合には、浅い位置に存在する血管から算出されたＩＣＧ濃度と、深い位置に存在する血管の画像が示すＲ成分、Ｇ成分、Ｂ成分、およびＩＲ成分の相対強度とから、深い位置に存在する血管までの深さを算出する。例えば、深さ算出部２３０は、当該画像が示すＲ成分、Ｇ成分、Ｂ成分、およびＩＲ成分の相対強度と、物質量算出部２５０が算出したＩＣＧ濃度に対応づけて深さ情報格納部２３２が格納している深さを、深い位置に存在する血管までの深さとして算出する。なお、深さ情報格納部２３２が、各測定値に一致する情報を格納していない場合には、深さ算出部２３０は、深さ情報格納部２３２が格納しているデータを内挿・外挿する等して深さを算出することができる。
【００７０】
図６は、補正された血管画像６１０および血管画像６２０を含む画像６００の一例を示す。物体の表面下に存在する点光源からの光が表面までの間に散乱された光による散乱像は、点光源が存在する深さをパラメータとして持つ点広がり関数で表現することができる。オブジェクト画像補正部２２０は、血管までの深さに応じた点広がり関数の逆フィルタを用いて、血管画像におけるぼけを補正する。
【００７１】
なお、補正テーブル２２２は、一例として、深さに対応づけて点広がり関数の逆フィルタを格納している。そして、オブジェクト画像補正部２２０は、オブジェクト領域特定部２１６が特定した血管画像のそれぞれを、深さ算出部２３０が算出した血管までの深さに対応づけて補正テーブル２２２が格納している逆フィルタを用いて補正する。これにより、血管画像４１０のぼけが補正された血管画像６１０と、血管画像４２０のぼけが補正された血管画像６２０を得ることができる。
【００７２】
なお、表示制御部２６０は、血管画像６１０および６２０の、例えば濃淡を変えて、あるいは色を変えて、表面からの深さを出力部１８０から表示させる。本実施形態の画像処理システム１０を適用すれば、例えば医師が出力部１８０から表示された画面を見つつ手術等を実施するとき、表面観察によっては視認できない内部の血管を鮮明に認識できる場合がある。また、医師は内部の血管の深さ情報を参照しつつ手術等を実施できる利点が得られる場合がある。
【００７３】
図７は、画像処理システム１０の動作フローの一例を示す。オブジェクト画像取得部２１０は、所定の間隔で連続的に血管画像を取得している。深さ算出部２３０は、予め定められた値よりぼけ量が小さい血管が存在するか否かを判断する（Ｓ７１０）。Ｓ７１０において、予め定められた値よりぼけ量が小さい血管が存在する旨が判断された場合には、Ｓ７２０に処理を進める。
【００７４】
なお、ぼけ量は、浅い位置の血管が存在するか否かを判断するための指標の一例であり、他の方法を用いて浅い位置の血管の存在を検出してよい。例えば、図３に関連して説明したように、深さ算出部２３０は複数の波長領域の光の強度を用いて深さを算出しており、深さ算出部２３０が予め定められた値より小さい深さを算出したか否かをＳ７１０において判断してもよい。
【００７５】
深さ算出部２３０は、上述したように血管画像のぼけ量または複数の波長領域毎の光の強度から、浅い位置の血管が存在する深さを算出する。そして、図５に関連して説明したように、算出された浅い位置の血管の深さに基づいて、ＩＣＧ濃度を算出する（Ｓ７３０）。そして、物質量更新部２５４は、物質量算出部２５０が算出したＩＣＧ濃度が、物質量記憶部２５２が記憶しているＩＣＧ濃度より小さいか否かを判断する（Ｓ７４０）。
【００７６】
Ｓ７４０において、物質量算出部２５０が算出したＩＣＧ濃度が、物質量記憶部２５２が記憶しているＩＣＧ濃度より予め定められた量以上変化している旨を物質量更新部２５４が判断した場合には、物質量更新部２５４は、物質量算出部２５０が算出したＩＣＧ濃度を物質量記憶部２５２に記憶させる（Ｓ７５０）。このようにして、物質量更新部２５４は、物質量記憶部２５２が記憶しているＩＣＧ濃度を物質量算出部２５０が新たに算出したＩＣＧ濃度で更新して、Ｓ７６０に処理を進める。なお、Ｓ７４０において、物質量算出部２５０が算出したＩＣＧ濃度と、物質量記憶部２５２が記憶しているＩＣＧ濃度との差分の絶対値が上述の規定量未満である旨を物質量更新部２５４が判断した場合にはＳ７５０の処理をせずにＳ７６０に処理を進める。
【００７７】
深さ算出部２３０は、物質量記憶部２５２が記憶しているＩＣＧ濃度に基づいて、各血管の深さを算出する（Ｓ７６０）。そして、オブジェクト画像補正部２２０は、血管画像のぼけを補正して（Ｓ７７０）、補正した血管画像を表示制御部２６０に供給する。なお、Ｓ７１０において、予め定められた値よりぼけ量が小さい血管が存在しない旨が判断された場合にはＳ７６０に処理を進める。
【００７８】
このように、画像処理システム１０によると、浅い位置の血管画像からＩＣＧ濃度を算出するので、ＩＣＧ濃度をより正確に算出することができる。また、算出したＩＣＧ濃度が予め定められた量以上変化していることを条件としてＩＣＧ濃度を更新して、更新したＩＣＧ濃度を用いて深い位置の血管までの深さを算出するので、深い位置に存在する血管までの深さをより正確に算出することができる。
【００７９】
なお、Ｓ７５０においてＩＣＧ濃度が更新されない場合（例えば、Ｓ７４０の判断がＮｏ、またはＳ７１０の判断がＮｏの場合）には、深さ算出部２３０は、物質量記憶部２５２が記憶しているＩＣＧ濃度が算出された時刻から現在の時刻までに経過した経過時間に応じて、物質量記憶部２５２が記憶しているＩＣＧ濃度を低減したＩＣＧ濃度を、現在のＩＣＧ濃度として算出してもよい。そして、深さ算出部２３０は、当該算出したＩＣＧ濃度に基づいて、より深い位置の血管までの深さを算出してよい。
【００８０】
なお、物質量記憶部２５２は、複数のタイミングにおいて算出されたＩＣＧ濃度および当該複数のタイミングを示す時刻を記憶してよい。そして、深さ算出部２３０は、複数のタイミングにおけるＩＣＧ濃度および時刻、ならびに現在の時刻に基づいて、例えば時間的に外挿するなどして、現在のＩＣＧ濃度を算出してもよい。なお、制御部１０５は、物質量記憶部２５２が記憶しているＩＣＧ濃度が予め定められた値より小さくなった場合に、ＩＣＧ注入部１９０を制御してＩＣＧを検体２０に注入させてよい。
【００８１】
図８は、撮像部１１０の構成の一例を示す。撮像部１１０は、レンズ１１２、撮像デバイス８１０、分光フィルタ部８２０、および受光側励起光カットフィルタ部８３０を有する。撮像デバイス８１０は、第１受光素子８５１ａを含む複数の第１受光素子８５１、第２受光素子８５２ａおよび第２受光素子８５２ｂを含む複数の第２受光素子８５２、第３受光素子８５３ａを含む複数の第３受光素子８５３を含む。
【００８２】
以下に、撮像部１１０が有する構成要素の機能および動作を説明する。以下の説明においては、説明が複雑になることを防ぐべく、複数の第１受光素子８５１を総称して第１受光素子８５１と呼び、複数の第２受光素子８５２を総称して第２受光素子８５２と呼び、複数の第３受光素子８５３を総称して第３受光素子８５３と呼ぶ場合がある。また、複数の第１受光素子８５１、複数の第２受光素子８５２、複数の第３受光素子８５３を総称して、単に受光素子と呼ぶ場合がある。
【００８３】
第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、レンズ１１２を通じて供給された被写体からの光を受光する。具体的には、第１受光素子８５１は、特定波長領域の光および特定波長領域と異なる第１波長領域の光を受光する。特徴波長領域としては、ルミネッセンス光の波長領域など、赤外領域を例示することができる。また、第２受光素子８５２は、特定波長領域と異なる第２波長領域の光を受光する。また、第３受光素子８５３は、特定波長領域、第１波長領域、および第２波長領域と異なる、第３波長領域の光を受光する。
【００８４】
なお、第１波長領域、第２波長領域、および第３波長領域は互いに異なる波長領域であって、他の波長領域が含まない波長領域を含む。また、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、所定のパターンで２次元的に配列されている。
【００８５】
分光フィルタ部８２０は、第１波長領域の光、第２波長領域の光、および第３波長領域の光のいずれかの光を通過する複数のフィルタ要素を含む。各フィルタ要素は、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３のそれぞれの受光素子に応じて２次元的に配列されている。個々の受光素子は、個々のフィルタ要素が通過した光を受光する。このように、第１受光素子８５１、第２受光素子８５２、第３受光素子８５３は、互いに異なる波長領域の光を受光する。
【００８６】
受光側励起光カットフィルタ部８３０は、被写体と第２受光素子８５２および第３受光素子８５３の間に少なくとも設けられ、励起光の波長領域の光をカットする。そして、第２受光素子８５２および第３受光素子８５３は、被写体からの反射光を受光側励起光カットフィルタ部８３０を通じて受光する。このため、第２受光素子８５２および第３受光素子８５３は、励起光が被写体から反射した反射光を実質的に受光することがない。
【００８７】
なお、受光側励起光カットフィルタ部８３０は、励起光の波長領域の光および特定波長領域の光をカットしてもよい。この場合、第２受光素子８５２および第３受光素子８５３は、一例として被写体からのルミネッセンス光を実質的に受光することがない。
【００８８】
なお、受光側励起光カットフィルタ部８３０は、被写体と第１受光素子８５１との間に設けられてもよい。この場合、被写体と第１受光素子８５１との間に設けられた受光側励起光カットフィルタ部８３０は、特定波長領域の光を透過する。
【００８９】
なお、受光側励起光カットフィルタ部８３０は、分光フィルタ部８２０と同様に、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３のそれぞれの受光素子に応じて２次元的に配列されたフィルタ要素を含んでよい。そして、第１受光素子８５１に光を供給するフィルタ要素は、第１波長領域および特定波長領域の光を少なくとも通過させる。なお、第１受光素子８５１に光を供給するフィルタ要素は、励起光の波長領域の光をカットしてもよい。一方、第２受光素子８５２に光を供給するフィルタ要素は、励起光の波長領域の光および特定波長領域の光をカットし、第２波長領域の光を少なくとも通過させる。また、第３受光素子８５３に光を供給するフィルタ要素は、励起光の波長領域の光および特定波長領域の光をカットし、第３波長領域の光を少なくとも通過させる。
【００９０】
画像処理部１４０は、第１受光素子８５１ａ、第２受光素子８５２ａ、第２受光素子８５２ｂ、および第３受光素子８５３ａが受光した受光量に少なくとも基づいて、１画素の画素値を決定する。すなわち、第１受光素子８５１ａ、第２受光素子８５２ａ、第２受光素子８５２ｂ、および第３受光素子８５３ａの２次元配列構造により一の画素素子が形成され、当該画素素子配列が２次元的に配列されることによって複数の画素素子が形成される。なお、受光素子は、本図に示した配列構造に限られず、多様な配列構造で配列されてよい。
【００９１】
図９は、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３の分光感度特性の一例を示す。線９３０、線９１０、および線９２０は、それぞれ第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３の分光感度分布を示す。例えば、第１受光素子８５１は、他の受光素子が実質的に感度を有しない６５０ｎｍ近傍の波長の光に感度を有する。また、第２受光素子８５２は、他の受光素子が実質的に感度を有しない４５０ｎｍ近傍の波長の光に感度を有する。また、第３受光素子８５３は、他の受光素子が実質的に感度を有しない５５０ｎｍ近傍の波長の光に感度を有する。
【００９２】
また、第１受光素子８５１は、特定波長領域の一例である赤外領域（例えば、８１０ｎｍ）の光を受光することができる。この分光感度特性は、受光側励起光カットフィルタ部８３０および分光フィルタ部８２０の透過特性および各受光素子の分光感度による。
【００９３】
このように、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、それぞれＲ成分の光、Ｂ成分の光、およびＧ成分の光を受光する。また、第１受光素子８５１は、特定波長領域の一例である赤外領域の光も受光することができる。なお、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、一例としてＣＣＤ、ＣＭＯＳ等の撮像素子であってよい。そして、受光側励起光カットフィルタ部８３０の分光透過率、分光フィルタ部８２０が含むフィルタ要素の分光透過率、および撮像素子自体の分光感度の組合せによって、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、それぞれ線９３０、線９１０、および線９２０で示す分光感度特性を持つ。
【００９４】
図１０は、光照射部１５０の構成の一例を示す。光照射部１５０は、発光部１０１０および光源側フィルタ部１０２０を有する。発光部１０１０は、励起光の波長領域、第１波長領域、第２波長領域、および第３波長領域を含む波長領域の光を発光する。本実施形態では、発光部１０１０は、一例としてキセノンランプであってよい。
【００９５】
図１１は、光源側フィルタ部１０２０の構成の一例を示す。図１１は、発光部１０１０から光源側フィルタ部１０２０に光が導かれる方向に見た場合の構造を示す。光源側フィルタ部１０２０は、照射光カットフィルタ部１１２０および励起光カットフィルタ部１１１０を含む。なお、発光制御部１７０は、光源側フィルタ部１０２０の中心軸を中心として、発光部１０１０が発光した光が進む方向に略垂直な面内で、光源側フィルタ部１０２０を回転させる。
【００９６】
励起光カットフィルタ部１１１０は、第１波長領域の光、第２波長領域の光、および第３波長領域の光を通過して、励起光の波長領域の光を実質的にカットする。また、照射光カットフィルタ部１１２０は、励起光の波長領域の光、第２波長領域の光、および第３波長領域の光を通過する。なお、照射光カットフィルタ部１１２０は、第１波長領域の光も実質的にカットすることが望ましい。なお、発光部１０１０からの光は、光源側フィルタ部１０２０の中心軸からずれた位置に導かれる。
【００９７】
したがって、発光部１０１０からの光が励起光カットフィルタ部１１１０に導かれているタイミングでは、発光部１０１０からの光のうち、励起光の波長領域の光は励起光カットフィルタ部１１１０により実質的にカットされ、第１波長領域の光、第２波長領域の光、および第３波長領域の光は励起光カットフィルタ部１１１０を通過する。したがって、このタイミングでは、第１波長領域の光、第２波長領域の光、および第３波長領域の光が実質的に被写体に照射されることになる。
【００９８】
一方、発光部１０１０からの光が照射光カットフィルタ部１１２０に導かれているタイミングでは、発光部１０１０からの光のうち、励起光の波長領域の光、第２波長領域の光、および第３波長領域の光が照射光カットフィルタ部１１２０を通過する。したがって、このタイミングでは、励起光、第２波長領域の光、および第３波長領域の光が実質的に被写体に照射されることになる。
【００９９】
なお、撮像部１１０は、撮像制御部１６０の制御により、可視光である第１波長領域の光、第２波長領域の光、および第３波長領域の光が照射されているタイミングで、照射された光を検体２０が反射した反射光を受光する。そして、表面画像取得部２１４は、撮像部１１０が受光した光の受光量に基づき、表面画像の一例としての可視光による被写体画像を生成する。照射された光が実質的に白色光である場合には、表面画像は白色光画像ということができる。
【０１００】
また、撮像部１１０は、撮像制御部１６０の制御により、励起光、第２波長領域の光、および第３波長領域の光が照射されているタイミングで、被写体の内部のＩＣＧが発したルミネッセンス光と、検体２０による第２波長領域の光および第３波長領域の光の反射光とを受光する。そして、オブジェクト画像取得部２１０は、第１受光素子８５１の受光量に応じた信号を第１受光素子８５１から取得して、第１受光素子８５１が受光したルミネッセンス光の受光量に基づきルミネッセンス光の被写体画像を生成する。また、表面画像取得部２１４は、第２受光素子８５２および第３受光素子８５３からの信号に基づく第２波長領域の光および第３波長領域の光の受光量と、他のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光の受光量とに基づいて可視光の被写体画像を生成する。
【０１０１】
図１２は、撮像部１１０による撮像タイミングおよび画像処理部１４０が生成した画像の一例を示す。撮像制御部１６０は、時刻ｔ１２００、ｔ１２０１、ｔ１２０２、ｔ１２０３、・・・において、オブジェクトからの光により撮像部１１０に撮像させる。また、発光制御部１７０は、撮像制御部１６０によるタイミング制御により、時刻ｔ１２００、ｔ１２０１、およびｔ１２０３を含む第１のタイミングにおいて、発光部１０１０が発光した光を励起光カットフィルタ部１１１０を通じて被写体に照射させる。このように、発光制御部１７０による制御により、光照射部１５０は第１のタイミングにおいて、第１波長領域、第２波長領域、および第３波長領域を含む波長領域の光を被写体に照射する。
【０１０２】
そして、撮像制御部１６０は、第１のタイミングにおいて、第１波長領域、第２波長領域、および第３波長領域を含む波長領域の光を被写体に照射して被写体から反射した反射光のうち、第１波長領域の光を第１受光素子８５１に受光させ、反射光のうち第２波長領域の光を第２受光素子８５２に受光させ、反射光のうち第３波長領域の光を第３受光素子８５３に受光させる。このように、撮像制御部１６０は、第１のタイミングにおいて、被写体からの第１波長領域の光を第１受光素子８５１に受光させ、被写体からの第２波長領域の光を第２受光素子８５２に受光させ、被写体からの第３波長領域の光を第３受光素子８５３に受光させる。
【０１０３】
また、時刻ｔ１２０２を含む第２のタイミングにおいては、発光制御部１７０は、撮像制御部１６０によるタイミング制御により、発光部１０１０が発光した光を照射光カットフィルタ部１１２０を通じて被写体に照射させる。このように、発光制御部１７０による制御により、光照射部１５０は第２のタイミングにおいて、励起光、第２波長領域、および第３波長領域を含む波長領域の光を被写体に照射する。
【０１０４】
そして、第２のタイミングにおいては、撮像制御部１６０は、被写体が発光した特定波長領域の光を、第１受光素子８５１に受光させる。すなわち、撮像制御部１６０は、第２のタイミングにおいて、被写体からの特定波長領域の光を第１受光素子８５１に受光させる。
【０１０５】
このように、制御部１０５は、第２のタイミングにおいて、第１波長領域の光を被写体に照射せずに、励起光、第２波長領域の光、および第３波長領域の光を被写体に照射して、被写体が発光した特定波長領域の光を第１受光素子８５１に受光させるとともに、被写体から反射した反射光のうち第２波長領域の光を第２受光素子８５２に受光させ、反射光のうち第３波長領域の光を第３受光素子８５３に受光させる。なお、励起光の波長領域は、第１波長領域、第２波長領域、および第３波長領域のいずれとも異なる波長領域であって、第１波長領域、第２波長領域、および第３波長領域に含まれない波長領域を含む。
【０１０６】
以上説明したように、制御部１０５は、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３に受光させる光のスペクトルを制御する。そして、画像処理部１４０は、それぞれのタイミングにおいて受光素子が受光した受光量に基づき、各種の波長領域の光による画像を生成する。
【０１０７】
具体的には、表面画像取得部２１４は、時刻ｔ１２００、時刻ｔ１２０１、および時刻ｔ１２０３のそれぞれにより代表されるタイミングにおいて受光素子が受光した受光量に基づいて、被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄを生成する。被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄは、実質的には、白色光を照射した場合に得られる可視光画像とみなすことができる。被写体画像１２２０ａは血管画像１２２２ａおよび血管画像１２２４ａを含み、被写体画像１２２０ｂは血管画像１２２２ｂおよび血管画像１２２４ｂを含み、被写体画像１２２０ｄは血管画像１２２２ｄおよび血管画像１２２４ｄを含む。
【０１０８】
なお、被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄは、血管画像の他に、物質の表面の画像である表面像を含む。このように、表面画像取得部２１４は、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光、第１のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および第１のタイミングにおいて第３受光素子８５３が受光した第３波長領域の光により、第１のタイミングにおける被写体の表面画像を生成する。
【０１０９】
また、オブジェクト画像取得部２１０は、時刻ｔ１２０２により代表されるタイミングにおいて受光素子が受光した受光量に基づいて、血管画像１２２２ｃ、血管画像１２２４ｃ、および血管画像１２２６ｃを含む被写体画像１２２０ｃを生成する。被写体画像１２２０ｃは、被写体からのルミネッセンス光による被写体の画像とみなすことができる。なお、被写体画像１２２０ｃは、オブジェクト画像補正部２２０による上述のぼけ補正処理の対象の画像となる。
【０１１０】
また、被写体画像像生成部２８０は、時刻ｔ１２０１に代表されるタイミングにおいて第１受光素子８５１が受光した受光量、時刻ｔ１２０２に代表されるタイミングにおいて第２受光素子８５２および第３受光素子８５３が受光した受光量に基づいて、血管画像１２３２ｃおよび血管画像１２３４ｃを含む被写体画像１２３０ｃを生成する。被写体画像１２３０ｃは、時刻ｔ１２０２に代表されるタイミングにおいて取得されるべき、可視光による被写体画像とみなすことができる。
【０１１１】
このように、画像処理部１４０は、第２のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光により、第２のタイミングにおける可視光による被写体画像を生成する。したがって、画像処理部１４０は、ルミネッセンス光画像を撮像しているタイミングにおいても、可視光による画像を生成することができる。出力部１８０は、被写体画像１２２０ａ、被写体画像１２２０ｂ、被写体画像１２３０ｃ、被写体画像１２２０ｄ、・・・を連続的に表示することによって、コマ落ちのない映像を提供することができる。
【０１１２】
検体２０が人体のような赤い血液を含む生体である場合、可視光画像におけるＲ成分の空間周波数成分は、Ｇ成分およびＢ成分の空間周波数成分より小さい場合が多い。このため、Ｒ成分がコマ落ちしたことによる映像の劣化度は、Ｇ成分およびＢ成分がコマ落ちする場合に比べると小さい場合が多い。このため、Ｇ成分およびＢ成分がコマ落ちする場合よりも、映像における見た目のギクシャク感を低減することができる。したがって、画像処理システム１０によると、映像内容として実質的にコマ落ちのない可視光映像を提供することができる場合がある。
【０１１３】
上記のように、画像処理システム１０によると、赤外領域の励起光により検体２０から生じた赤外領域のルミネッセンス光により、被写体画像１２２０ｃを撮像することができる。可視光より波長が長い励起光は、可視光に比べて物質によって吸収されにくいので、可視光に比べて物質の深く（たとえば１ｃｍ程度）まで侵入して、検体２０にルミネッセンス光を生じさせる。また、ルミネッセンス光は、励起光よりさらに波長が長いので、物質表面まで達し易い。このため、画像処理システム１０によると、可視光によって得られた被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄには含まれない、深層の血管画像１２２６ｄを含む被写体画像１２２０ｃを得ることができる。
【０１１４】
なお、出力部１８０は、被写体画像１２２０ｃと、被写体画像１２２０ｃが撮像されたタイミングの近傍のタイミングで撮像された被写体画像１２２０ｂまたは被写体画像１２２０ｄとを合成した合成画像を生成して外部に出力してよい。例えば、出力部１８０は当該合成画像を表示してよい。また、出力部１８０は、被写体画像１２２０ｃを、被写体画像１２２０ｂまたは被写体画像１２２０ｄに対応づけて記録してもよい。
【０１１５】
また、制御部１０５は、可視光画像を撮像するタイミングでは、発光部１０１０からの光のうち、励起光の波長領域およびルミネッセンス光の波長領域の光をカットして被写体に照射する。このため、画像処理システム１０によると、可視光画像に物質内部の血管画像を含まない、物質表面の観察に適した物質表面の画像を提供することができる。
【０１１６】
図１３は、動きが補正された表面画像の生成を説明する図である。図１２の説明においては、説明を簡単にするために、内視鏡１００の先端部１０２の動き、検体２０の動きなど、画像の大きな時間変化をもたらす要因がないものとして、時刻ｔ１２０１のタイミングで第１受光素子８５１の受光量に応じたＲ信号と、時刻ｔ１２０２のタイミングで第２受光素子８５２および第３受光素子８５３の受光量にそれぞれ応じたＢ信号およびＧ信号を多重化して、被写体画像１２３０ｃを生成する処理の一例を説明した。この処理では、内視鏡１００の先端部１０２の動き、検体２０の動きなどに起因して、可視光画像においてＲ信号と他の色の信号との間にずれが生じる場合がある。
【０１１７】
図１３および図１４に関連して、上記の動きなどによる可視光画像への影響を補正するための画像処理部１４０の動作および機能、特に動き特定部２７０および被写体画像像生成部２８０の動作を中心に説明する。
【０１１８】
動き特定部２７０は、複数のタイミングにおけるＢ信号による画像に基づいて、当該画像におけるオブジェクトの動きを特定する。ここで、オブジェクトの動きは、検体２０自身の動き、内視鏡１００の先端部１０２の動き、撮像部１１０のズーム値の時間変化など、画像の時間変化をもたらす動きを含む。また、内視鏡１００の先端部１０２の動きは、撮像部１１０の撮像位置の時間変化をもたらす先端部１０２の位置の時間変化、撮像部１１０の撮像方向の時間変化をもたらす先端部１０２の向きの時間変化を含む。
【０１１９】
ここで、動き特定部２７０は、時刻ｔ１２０１および時刻ｔ１２０２におけるＢ信号の画像に基づいて、オブジェクトの動きを特定する。例えば、動き特定部２７０は、複数の画像からそれぞれ抽出されたオブジェクトをマッチングすることにより、オブジェクトの動きを特定してよい。
【０１２０】
被写体画像生成部２８０は、当該動きに基づいて時刻ｔ１２０１のタイミングでのＲ信号を補正して、時刻ｔ１２０２のタイミングで得られるべきＲ信号を生成する。そして、被写体画像生成部２８０は、補正により生成されたＲ信号、時刻ｔ１２０２のタイミングでのＢ信号、時刻ｔ１２０２のタイミングでのＧ信号を多重化して、時刻ｔ１２０２での表面画像を生成する。
【０１２１】
画像１３２１ｂは、時刻ｔ１２０１における第１受光素子８５１からのＲ信号の画像とする。画像１３２２ｂおよび画像１３２２ｃは、それぞれ時刻ｔ１２０１および時刻ｔ１２０２における第２受光素子８５２からのＢ信号の画像とする。画像１３２３ｂおよび画像１３２３ｃは、それぞれ時刻ｔ１２０１および時刻ｔ１２０２における第３受光素子８５３からのＧ信号の画像とする。
【０１２２】
ここでは、動き特定部２７０は、画像１３２２ｂおよび画像１３２２ｃの画像内容に基づいて動きを特定する。具体的には、動き特定部２７０は、画像１３２２ｂおよび画像１３２２ｃから、同じ被写体を示すオブジェクトを抽出する。本図の例では、動き特定部２７０は、画像１３２２ｂおよび画像１３２２ｃから、それぞれオブジェクト１３５２ｂおよびオブジェクト１３５２ｃを抽出する。
【０１２３】
動き特定部２７０は、オブジェクト１３５２ｂおよびオブジェクト１３５２ｃのそれぞれの位置の差を算出する。本図の例では、説明を簡単にすべく、当該位置の差が画像上のｙ方向に生じているとして、動き特定部２７０は、オブジェクト１３５２ｂの位置とオブジェクト１３５２ｃの位置との位置差Δｙ１を算出する。
【０１２４】
被写体画像生成部２８０は、算出した位置差Δｙ１に応じた量だけ画像１３２１ｂをｙ方向にずらすことによって、画像１３２１ｃを生成する。被写体画像生成部２８０は、画像１３２１ｃ、画像１３２２ｃ、画像１３２３ｃを合成することにより、表面画像１３３０ｃを生成する。なお、ここでいう合成は、画像１３２１ｃを示すＲ信号、画像１３２２ｃを示すＢ信号、画像１３２３ｃを示すＧ信号を、所定の重みづけで多重化する処理を含む。
【０１２５】
なお、上記の説明では、Ｂ信号の画像１３２２を用いて動きを特定する場合について説明したが、同様にして、Ｇ信号の画像１３２３を用いて動きを特定することもできる。動き特定部２７０が動きを特定するためにいずれの波長領域の画像を用いるかは、撮像された画像のコントラストに基づいて決定してよい。例えば、動き特定部２７０は、コントラストがより大きい画像をより優先して用いて、動きを特定してよい。表面の微細構造の像が明瞭であるなど、微細構造の像を動き特定用のオブジェクトとして用いることができる場合には、Ｂ信号の画像を用いて動きをより正確に特定することができる場合がある。また、表面のより大きな凹凸構造の像が明瞭であるなど、凹凸構造の像を動き特定用のオブジェクトとして用いることができる場合には、Ｇ信号の画像を用いて動きをより正確に特定することができる場合がある。
【０１２６】
また、被写体画像生成部２８０は、Ｒ信号の画像に対する動きの補正量を、画像領域毎に異ならせてよい。例えば、撮像部１１０の撮像方向が被写体表面に垂直であり、内視鏡１００の先端部１０２が被写体表面に水平に移動しているとすると、オブジェクトの移動量はどの画像領域でも等しいとみなすことができる。一方、例えば撮像部１１０の撮像方向が被写体表面に垂直でない場合には、先端部１０２から遠方の領域が撮像された画像領域における動き量は、先端部１０２に近い領域が撮像された画像領域より動き量が小さくなる場合がある。
【０１２７】
被写体画像生成部２８０が、Ｒ信号の画像に対する動きの補正量を画像領域毎に算出するためには、被写体表面と撮像部１１０との間の位置関係が既知または推定できれば、当該位置関係および画像領域の位置に基づいて、動きの補正量を算出することができる。なお、被写体画像生成部２８０は、先端部１０２の位置・向きを制御する制御値、撮像部１１０のズーム値を制御する制御値など、画像の時間変化をもたらす内視鏡１００を操作する制御値を取得して、当該制御値に基づき、Ｒ信号の画像に対する動きの補正量を算出してもよい。
【０１２８】
他にも、動き特定部２７０はオブジェクトの動きを画像領域毎に算出してもよい。被写体画像生成部２８０は、画像領域毎のオブジェクトの動きに基づき、各画像領域の画像に対する動きの補正量を算出してもよい。
【０１２９】
なお、動き特定部２７０は、画像領域毎に動きを特定する場合には、いずれの波長領域の光による画像を用いて動きを特定するかを、画像領域毎に決定してよい。例えば、動き特定部２７０は、画像領域毎に各画像のコントラストを算出する。そして、動き特定部２７０は、各画像領域について、より大きいコントラストが算出された波長領域の光による複数の画像を他の波長の画像より優先して選択して、選択した複数の画像を用いてオブジェクトの動きを特定してよい。
【０１３０】
以上図１２および図１３に関連して説明したように、動き特定部２７０は、第１のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光による画像、および、第２のタイミングにおいて複数の第２受光素子８５２が受光した第２波長領域の光による画像に基づいて、第１のタイミングおよび第２のタイミングの間における画像上のオブジェクトの動きを特定する。そして、被写体画像生成部２８０は、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光、第２のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および動きに基づいて、第２のタイミングにおける表面画像を生成する。
【０１３１】
図１４は、動きが補正された表面画像の生成の他の例を説明する図である。本図で説明する例では、動き特定部２７０は、時刻ｔ１２００のタイミングで得られたＲ信号の画像１４２１ａおよび時刻ｔ１２０１のタイミングで得られたＲ信号の画像１４２１ｂを用いて、オブジェクトの動きを特定する。図１３に関連して説明した方法と同様に、動き特定部２７０は、画像１４２１ａおよび画像１４２１ｂから、同じ被写体を示すオブジェクトを抽出する。本図の例では、動き特定部２７０は、画像１４２１ａおよび画像１４２１ｂから、それぞれオブジェクト１４５１ａおよびオブジェクト１４５１ｂを抽出する。
【０１３２】
そして、動き特定部２７０は、オブジェクト１４５１ａおよびオブジェクト１４５１ｂのそれぞれの位置の差を算出する。本図の例でも、説明を簡単にすべく当該位置差が画像上のｙ方向に生じているとして、動き特定部２７０は、オブジェクト１４５１ａの位置とオブジェクト１４５１ｂの位置との位置差Δｙ２を算出する。そして、図１３に関連して説明した方法と同様に、被写体画像生成部２８０は、算出した位置差Δｙ２に応じた量だけ画像１４２１ｂをｙ方向にずらすことによって、画像１４２１ｃを生成する。被写体画像像生成部２８０は、画像１４２１ｃ、時刻ｔ１２０２における第３受光素子８５３からのＧ信号の画像である画像１４２２ｃ、および、時刻ｔ１２０２における第３受光素子８５３からのＧ信号の画像である画像１４２３ｃを合成することにより、表面画像１４３０ｃを生成する。
【０１３３】
なお、上記においては画像１４２１ａおよび画像１４２１ｂを用いて動きを特定したが、動き特定部２７０は、画像１４２１ｂと、時刻ｔ１２０３で得られたＲ信号の画像を用いて、動きを特定してもよい。このように、動き特定部２７０は、動きが補正されたＲ信号の画像を生成する対象時刻である時刻ｔ１２０１の前後の時刻のタイミングを含む複数のタイミングで得られた画像から、動きを特定してよい。可視光画像の表示をある程度遅延させることが許容できる場合には、後のタイミングの画像も用いることで、動きの特定精度をより高めることができる場合がある。
【０１３４】
以上図１４に関連して説明したように、動き特定部２７０は、第１のタイミングを含む第２のタイミング以外の複数のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光による複数の画像に基づいて、複数のタイミングの間における画像上のオブジェクトの動きを特定する。そして、被写体画像生成部２８０は、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光、第２のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および動きに基づいて、第２のタイミングにおける表面画像を生成する。
【０１３５】
なお、図１３および図１４に関連して、動きの特定処理の一例として、動き特定部２７０が２のタイミングで撮像された画像を用いて動きを特定する処理を説明したが、動き特定部２７０は、３以上のタイミングで撮像された画像を用いて動きを特定してもよい。また、動き特定部２７０は、Ｂ信号の画像およびＧ信号の画像に加えて、さらにＲ信号の画像の中から、動きを特定するために用いる波長領域の画像を、画像領域毎に選択することができる。
【０１３６】
なお、オブジェクト画像補正部２２０は、被写体画像１２２０ｃに対して上述のぼけ補正処理を施す場合に、動き特定部２７０が特定した動きに基づき、被写体画像１２２０ｃに含まれる血管画像１２２２ｃおよび血管画像１２２４ｃが、他の被写体画像１２２０に含まれる血管画像１２２２および血管画像１２２４のいずれに対応しているかを特定することができる。
【０１３７】
また、第２受光素子８５２および第３受光素子８５３は、当該ルミネッセンス光の波長領域の光に感度を有しており、時刻ｔ１２０２に代表されるタイミングにおいて、被写体からのルミネッセンス光を受光してよい。この場合、分光フィルタ部８２０、および受光側励起光カットフィルタ部８３０は、ルミネッセンス光の波長領域の光を透過してよい。
【０１３８】
この場合、オブジェクト画像取得部２１０は、第１受光素子８５１、第２受光素子８５２、第３受光素子８５３のうち、近傍の複数の受光素子からの画像信号を加算する画素加算処理をすることにより、オブジェクト画像を生成してよい。なお、受光素子からの画像信号とは、各受光素子の受光量に応じた電荷量を示す信号であってよい。当該電荷量を示す信号は、各受光素子の受光量に応じたアナログ信号であってよく、アナログ信号をＡ／Ｄ変換して得られたデジタル信号であってもよい。いずれの画素加算処理によっても、信号成分を増加することができる。一方、画素加算処理によるランダムなノイズ成分の増加量は、画素加算処理による信号成分の増加量に比べて小さい。このため、画素加算しない場合に比べて、Ｓ／Ｎ比を向上することができる。
【０１３９】
また、動き特定部２７０は、図１３および図１４に関連して説明した方法と同様にして、時刻ｔ１２０２に代表されるタイミング以外の複数のタイミングで得られたＲ信号、Ｇ信号、またはＢ信号のいずれかを用いて動きを特定することができる。そして、被写体画像像生成部２８０は、当該動きに基づき、時刻ｔ１２０２に代表されるタイミング以外のタイミングで得られた可視光の被写体画像を補正することにより、時刻ｔ１２０２に代表されるタイミングにおいて得られるべき可視光の被写体画像を生成することができる。
【０１４０】
なお、上記の説明において、光照射部１５０の構成として、可視光の波長領域および励起光の波長領域を含む光を発光することができる一の光源および回転フィルタを用いた構成を例示した。その他にも、光照射部１５０は、異なる波長領域の光を発光する複数の発光素子の発光を制御することにより、励起光を含む光および可視光を時分割で発光することもできる。例えば、可視光領域の光を発光する発光素子としてはＬＥＤなどの半導体素子を例示することができる。また、励起光を発光する発光素子としては、半導体レーザなどの半導体素子を例示することができる。また、励起されて蛍光などのルミネッセンス光を発光する蛍光体を、発光素子として用いることもできる。
【０１４１】
なお、発光制御部１７０は、複数の発光素子のそれぞれの発光強度を各タイミングで制御することにより、励起光を含む光および可視光を時分割で発光することもできる。「複数の発光素子のそれぞれの発光強度を各タイミングで制御する」とは、発光させる発光素子の組み合わせを各タイミングで異ならせる制御を含む。
【０１４２】
また、発光素子は、内視鏡１００の先端部１０２に設けられてもよい。なお、発光素子は、電気励起により発光する発光素子であってよく、光励起により発光する発光素子であってもよい。発光素子が光励起により発光する発光素子である場合、光照射部１５０は、当該発光素子を励起する励起用の光を発光する励起部と、当該発光素子とを含んでよい。ここで当該発光素子は、励起用の光の波長に応じて異なるスペクトルの光を発光してよい。この場合、発光制御部１７０は、当該励起部が発光する励起用の光の波長を各タイミングで制御することにより、照射光のスペクトルを制御することができる。また、同一の励起用の光により各発光素子が発光する光のスペクトルが、複数の発光素子の間で異なってもよい。また、励起用の光のうち、当該発光素子を透過した光が、照射光として被写体に照射されてもよい。
【０１４３】
なお、上記の説明においては、撮像部１１０において受光側に分光フィルタ部８２０を有する構成を例に挙げて説明した。その他の構成としては、撮像部１１０は分光フィルタ部８２０を有してなくてよい。この場合、光照射部１５０は、Ｒの波長領域の光、Ｇの波長領域の光、Ｂの波長領域の光、励起光の波長領域の光を時分割で照射してよい。可視光が照射されているタイミングにおける複数の受光素子からの信号を多重化することにより、表面画像取得部２１４は可視光の被写体画像を生成することができる。また、オブジェクト画像取得部２１０は、励起光が照射されているタイミングにおける受光素子からの信号によりルミネッセンス光の被写体画像を生成することができる。
【０１４４】
なお、Ｒの波長領域の光、Ｇの波長領域の光、Ｂの波長領域の光、励起光の波長領域の光を時分割で照射するための光照射部１５０の構成としては、上述したような可視光および励起光の波長領域を含む波長領域の光を発光することができる一以上の光源と、各波長領域の光を主として選択的に透過する複数のフィルタ部を有する回転フィルタを用いた構成を用いることができる。その他にも、上述したような異なる波長領域の光を発光する複数の発光素子の発光を制御する構成を用いることもできる。
【０１４５】
また、各波長領域の光を時分割で照射する構成においても、動き特定部２７０は、図１３および図１４に関連して説明した方法と同様にして、複数のタイミングにおけるいずれかの色成分の画像信号を用いて動きを特定することができる。そして、被写体画像像生成部２８０は、例えばＲの波長領域の光が照射されているタイミングにおけるＲ信号の画像および当該動きに基づき、Ｒの波長領域の光が照射されていない他のタイミングにおいて得られるべきＲ信号の画像を生成することができる。Ｇの波長領域の光が照射されていないタイミングにおけるＧ信号の画像、Ｂの波長領域の光が照射されていないタイミングにおけるＢ信号の画像についても同様にして生成することで、被写体画像像生成部２８０は、各タイミングにおいて得られるべき可視光の表面画像を生成することができる。
【０１４６】
図１５は、本実施形態に係る画像処理システム１０のハードウェア構成の一例を示す。本実施形態に係る画像処理システム１０は、ＣＰＵ周辺部、入出力部、およびレガシー入出力部を備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有する。
【０１４７】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【０１４８】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、画像処理システム１０内のＣＰＵ１５０５が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
【０１４９】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理システム１０が起動時に実行するブート・プログラム、画像処理システム１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【０１５０】
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される通信プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。通信プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像処理システム１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像処理システム１０にインストールされて実行される通信プログラムは、ＣＰＵ１５０５等に働きかけて、画像処理システム１０を、図１から図１４にかけて説明した画像処理システム１０が備える各構成要素として機能させる。例えば、当該プログラムは、画像処理システム１０を、図１から図１４にかけて説明した撮像部１１０、画像処理部１４０、出力部１８０、光照射部１５０、および制御部１０５等として機能させる。
【０１５１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０１５２】
【図１】一実施形態における画像処理システム１０の一例を検体２０とともに示す図である。
【図２】画像処理部１４０のブロック構成の一例を示す図である。
【図３】検体２０の内部で光が反射等する様子を模式的に示す図である。
【図４】撮像された血管画像の一例を示す図である。
【図５】深さ情報格納部２３２が格納しているデータの一例をテーブル形式で示す図である。
【図６】補正された血管画像の一例を示す図である。
【図７】画像処理システム１０の動作フローの一例を示す図である。
【図８】撮像部１１０の構成の一例を示す図である。
【図９】第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３の分光感度特性の一例を示す図である。
【図１０】光照射部１５０の構成の一例を示す図である。
【図１１】光源側フィルタ部１０２０の構成の一例を示す図である。
【図１２】撮像部１１０による撮像タイミングおよび画像処理部１４０が生成した画像の一例を示す図である。
【図１３】動きが補正された表面画像の生成を説明する図である。
【図１４】動きが補正された表面画像の生成の他の例を説明する図である。
【図１５】本実施形態に係る画像処理システム１０のハードウェア構成の一例を示す図である。
【符号の説明】
【０１５３】
１０ 画像処理システム
２０ 検体
１００ 内視鏡
１０２ 先端部
１０５ 制御部
１１０ 撮像部
１１２ レンズ
１１４ 受光部
１２０ ライトガイド
１２４ 出射口
１３０ 鉗子口
１３５ 鉗子
１３８ ノズル
１４０ 画像処理部
１５０ 光照射部
１６０ 撮像制御部
１７０ 発光制御部
１８０ 出力部
１９０ ＩＣＧ注入部
２１０ オブジェクト画像取得部
２１２ 光画像取得部
２１４ 表面画像取得部
２１６ オブジェクト領域特定部
２２０ オブジェクト画像補正部
２２２ 補正テーブル
２３０ 深さ算出部
２３２ 深さ情報格納部
２５０ 物質量算出部
２５２ 物質量記憶部
２５４ 物質量更新部
２６０ 表示制御部
４１０、４２０、６１０、６２０ 血管画像
６００ 画像
８２０ 分光フィルタ部
８３０ 受光側励起光カットフィルタ部
８５１ 第１受光素子
８５２ 第２受光素子
８５３ 第３受光素子
９３０、９１０、９２０ 線
１０１０ 発光部
１０２０ 光源側フィルタ部
１１１０ 励起光カットフィルタ部
１１２０ 照射光カットフィルタ部
１１１０ 励起光カットフィルタ部
１０２０ 光源側フィルタ部
１２２０、１２３０ 被写体画像
１２２２、１２２４、１２２６、１２３２、１２３４ 血管画像
１３２１、１３２１、１３２２、１３２３ 画像
１３３０ 表面画像
１３５２ オブジェクト
１４２１、１４２２、１４２３ 画像
１４３０ 表面画像
１４５１ オブジェクト
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法、およびプログラムに関する。本発明は、特に、前記オブジェクト内の物質の量を算出する画像処理システムおよび画像処理方法、ならびに画像処理システム用のプログラムに関する。
【背景技術】
【０００２】
パルスフォトメトリーを原理とする血中吸光物質濃度測定装置が知られている（例えば、特許文献１参照。）。また、動脈の酸素飽和度を非観血的に測定するデジタル型オキシメータが知られている（例えば、特許文献２参照。）。
【特許文献１】特開２００４―２３００００号公報
【特許文献２】特表２００３―５０５１１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
生体内部の血液からの光は、血液が存在する深さに応じて物質により吸収・散乱される。また、血液からの光の分光強度は、インドシアニングリーン等の発光成分または吸光成分の血中濃度に応じて変化する。このため、特許文献１および特許文献２の技術によって算出される成分濃度は、インドシアニングリーン等の濃度および深さに応じた誤差を大きく含んでしまう虞がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態によると、画像処理システムであって、物体の表面から、物体の内部に存在するオブジェクトまでの深さを算出する深さ算出部と、オブジェクトからの光を受光する受光部と、受光部が受光した光の量および深さ算出部が算出したオブジェクトまでの深さに基づいて、受光部が受光する光を発する、オブジェクト内の物質の量を算出する物質量算出部とを備える。
【０００５】
受光部は、オブジェクトと略同一の量の物質を含む他のオブジェクトからの光をさらに受光し、深さ算出部は、受光部が受光した他のオブジェクトからの光の量および物質量算出部が算出した物質の量に基づいて、表面から他のオブジェクトまでの深さを算出してよい。受光部は、他のオブジェクトからの複数の波長領域の光を受光し、深さ算出部は、受光部が受光した他のオブジェクトからの複数の波長領域毎の光の量および物質量算出部が算出した物質の量に基づいて、他のオブジェクトまでの深さを算出してよい。
【０００６】
物質量算出部は、深さ算出部が算出したオブジェクトまでの深さが予め定められた値より小さい場合に、受光部が受光したオブジェクトからの光の量および深さ算出部が算出したオブジェクトまでの深さに基づいて、オブジェクト内の物質の量を算出してよい。深さ算出部は、受光部が受光した、表面からオブジェクトより深い位置に存在する他のオブジェクトからの複数の波長領域毎の光の量および物質量算出部が算出した物質の量に基づいて、他のオブジェクトまでの深さを算出してよい。
【０００７】
受光部は、オブジェクトの内部に存在するルミネッセンス物質が発する光を受光し、物質量算出部は、受光部が受光したルミネッセンス物質が発する光の量および深さ算出部が算出したオブジェクトまでの深さに基づいて、オブジェクトの内部に存在するルミネッセンス物質の量を算出してよい。受光部は、表面からオブジェクトより深い位置に存在する他のオブジェクトの内部に存在するルミネッセンス物質が発する光を含む複数の波長領域の光を受光し、深さ算出部は、受光部が受光した他のオブジェクトからの複数の波長領域毎の光の量および物質量算出部が算出したルミネッセンス物質の量に基づいて、他のオブジェクトまでの深さを算出してよい。
【０００８】
オブジェクトからの複数の波長領域毎の光の量およびオブジェクトの内部に存在するルミネッセンス物質の量に対応づけて、物体の表面からオブジェクトまでの深さを格納する深さ情報格納部をさらに備え、深さ算出部は、受光部が受光した他のオブジェクトからの複数の波長領域毎の光の量、物質量算出部が算出したルミネッセンス物質の量、および深さ情報格納部が格納している深さに基づいて、他のオブジェクトまでの深さを算出してよい。受光部は、オブジェクトの中に注入されることによってオブジェクトの内部に存在しているルミネッセンス物質が発する光を含む複数の波長領域の光を受光し、物質量算出部は、オブジェクトの中に注入されることによってオブジェクトの内部に存在しているルミネッセンス物質の量を算出してよい。
【０００９】
物質量算出部が算出したオブジェクトの内部のルミネッセンス物質の量を記憶する物質量記憶部と、物質量算出部が新たに算出したルミネッセンス物質の量が、物質量記憶部が記憶しているルミネッセンス物質の量より予め定められた量以上変化したことを条件として、物質量記憶部が記憶しているルミネッセンス物質の量を、物質量算出部が新たに算出したルミネッセンス物質の量で更新すると物質量更新部とをさらに備えてよい。受光部は、オブジェクトからの複数の波長領域の光を受光し、深さ算出部は、受光部が受光した複数の波長領域毎の光の量に基づいて、表面からオブジェクトまでの深さを算出してよい。
【００１０】
表面を通じて撮像された他のオブジェクトの画像であるオブジェクト画像を取得するオブジェクト画像取得部と、深さ算出部が算出した他のオブジェクトまでの深さに基づいて、オブジェクト画像取得部が取得したオブジェクト画像を補正するオブジェクト画像補正部とをさらに備えてよい。オブジェクト画像補正部は、深さ算出部が算出した他のオブジェクトまでの深さに基づいて、他のオブジェクトから表面までの間で他のオブジェクトからの光が散乱されることによるオブジェクト画像の広がりを補正してよい。
【００１１】
表面から他のオブジェクトまでの深さに対応づけて、オブジェクト画像の広がりを補正する補正値を格納する補正テーブルをさらに備え、オブジェクト画像補正部は、深さ算出部が算出した深さおよび補正値に基づいて、オブジェクト画像の広がりを補正してよい。オブジェクト画像補正部により補正されたオブジェクト画像の表示を、深さに応じて制御する表示制御部をさらに備えてよい。表示制御部は、オブジェクト画像補正部により補正されたオブジェクト画像におけるオブジェクトの像の明るさまたは色を、深さに応じて変化させて表示させてよい。
【００１２】
本発明の第２の形態によると、画像処理方法であって、物体の表面から、物体の内部に存在するオブジェクトまでの深さを算出する深さ算出段階と、オブジェクトからの光を受光する受光段階と、受光段階において受光された光の量および深さ算出段階において算出されたオブジェクトまでの深さに基づいて、受光段階において受光された光を発する、オブジェクト内の物質の量を算出する物質量算出段階とを備える。
【００１３】
本発明の第３の形態によると、画像処理システム用のプログラムであって、画像処理システムを、物体の表面から、物体の内部に存在するオブジェクトまでの深さを算出する深さ算出部、オブジェクトからの光を受光する受光部、受光部が受光した光の量および深さ算出部が算出したオブジェクトまでの深さに基づいて、受光部が受光する光を発する、オブジェクト内の物質の量を算出する物質量算出部として機能させる。
【００１４】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００１５】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１６】
図１は、一実施形態における画像処理システム１０の一例を検体２０とともに示す。画像処理システム１０は、一例として、検体２０の内部の血管に含まれる物質の量を光により算出する。画像処理システム１０は、内視鏡１００、画像処理部１４０、出力部１８０、光照射部１５０、制御部１０５、およびＩＣＧ注入部１９０を備える。なお、図１において、Ａ部は、内視鏡１００の先端部１０２を拡大して示す。制御部１０５は、撮像制御部１６０および発光制御部１７０を有する。
【００１７】
ＩＣＧ注入部１９０は、ルミネッセンス物質であるインドシアニングリーン（ＩＣＧ）を、この発明における物体の一例である検体２０に注入する。なお、本実施形態においてルミネッセンス物質としてＩＣＧを例示するが、ルミネッセンス物質として、ＩＣＧ以外の蛍光物質を用いてもよい。ＩＣＧは、例えば波長７５０ｎｍの赤外線に励起されて、８１０ｎｍを中心とするブロードなスペクトルの蛍光を発する。
【００１８】
検体２０が生体である場合、ＩＣＧ注入部１９０は、静脈注射によって、生体の血管内にＩＣＧを注入する。画像処理システム１０は、ＩＣＧからのルミネッセンス光により、生体内の血管を撮像する。なお、ルミネッセンス光は、物体からの光の一例であり、蛍光および燐光を含む。また、ルミネッセンス光は、励起光等の光による光ルミネッセンスの他に、化学ルミネッセンス、摩擦ルミネッセンス、熱ルミネッセンスによるルミネッセンス光を含む。なお、血管は、この発明におけるオブジェクトの一例であってよい。
【００１９】
なお、ＩＣＧ注入部１９０は、例えば制御部１０５による制御によって、生体内のＩＣＧ濃度が略一定に維持されるよう、ＩＣＧを検体２０に注入する。なお、検体２０は、例えば人体であってよい。なお、検体２０の内部には血管等のオブジェクトが存在する。本実施形態の画像処理システム１０は、血管内の物質の量を算出するとともに、算出した物質の量に基づいて検体２０の表面（器官等の内表面を含む）より深部に存在する血管の、表面からの深さを検出する。また、画像処理システム１０は、検出した深さに応じて、血管の画像におけるぼけを補正する。
【００２０】
内視鏡１００は、撮像部１１０、ライトガイド１２０、および鉗子口１３０を有する。撮像部１１０は、物体の一例である検体２０からの光を受光する受光部１１４を有する。なお、内視鏡１００の先端部１０２には、撮像部１１０の一部としてのレンズ１１２を有する。また先端部１０２には、ライトガイド１２０の一部としての出射口１２４を有する。また、内視鏡１００の先端部１０２は、ノズル１３８を有する。
【００２１】
鉗子口１３０には鉗子１３５が挿入され、鉗子口１３０は鉗子１３５を先端部１０２にガイドする。なお、鉗子１３５は、各種の先端形状を備えてよい。なお、鉗子口１３０には、鉗子の他に、生体を処置する種々の処置具が挿入されてよい。ノズル１３８は、水あるいは空気を送出する。
【００２２】
光照射部１５０は、内視鏡１００の先端部１０２から照射される光を発生する。光照射部１５０で発生する光は、検体２０の内部に含むルミネッセンス物質を励起してルミネッセンス光を発光させる励起光の一例としての赤外線、および検体２０に照射する照射光を含む。照射光には、例えばＲ成分、Ｇ成分、およびＢ成分の成分光を含む。
【００２３】
撮像部１１０は、ルミネッセンス物質が発するルミネッセンス光および照射光がオブジェクトで反射する反射光により画像を撮像する。撮像部１１０は、例えばＣＣＤ等の２次元撮像デバイスと光学系とを含んでよく、光学系にはレンズ１１２を含む。ルミネッセンス物質が発する光が赤外線である場合、撮像部１１０は、赤外線画像を撮像できる。オブジェクトへの照射光がＲＧＢの各成分を含む例えば白色光である場合、撮像部１１０は、可視光画像を撮像できる。
【００２４】
なお、オブジェクトからの光としては、オブジェクト内に存在するルミネッセンス物質が発する蛍光または燐光等のルミネッセンス光、あるいはオブジェクトに照射された光が反射した反射光またはオブジェクトを透過した透過光を例示できる。すなわち、撮像部１１０は、オブジェクトの内部のルミネッセンス物質が発した光、オブジェクトから反射した光、またはオブジェクトを透過した光により、オブジェクトの画像を撮像する。なお、撮像部１１０は、Ｒ成分、Ｇ成分、Ｂ成分、およびルミネッセンス光の波長成分に属する成分光のそれぞれの光を、時分割または空間分割で受光することによって別個に受光することができる。
【００２５】
ライトガイド１２０は、例えば光ファイバで構成できる。ライトガイド１２０は、光照射部１５０で発生した光を内視鏡１００の先端部１０２にガイドする。ライトガイド１２０は、先端部１０２に設けられた出射口１２４を含むことができる。光照射部１５０で発生した光は、出射口１２４から検体２０に照射される。撮像部１１０は、出射口１２４から照射された光により検体２０を撮像して、得られた画像データを画像処理部１４０に供給する。
【００２６】
画像処理部１４０は、撮像部１１０から取得した画像データを処理する。出力部１８０は、画像処理部１４０が処理した画像データを出力する。なお、撮像制御部１６０は、撮像部１１０による撮像を制御する。また、発光制御部１７０は、撮像制御部１６０からの制御を受けて、光照射部１５０を制御する。例えば撮像部１１０が、赤外線および照射光を時分割で撮像する場合に、赤外線および照射光の照射タイミングと撮像部１１０の撮像タイミングとを同期させるよう制御する。
【００２７】
なお、画像処理部１４０は、ＩＣＧからのルミネッセンス光により撮像された血管の画像または可視光により撮像された血管の画像から、予め定められた深さよりも浅い位置に存在する血管中のＩＣＧ濃度を算出する。そして、画像処理部１４０は、ルミネッセンス光により撮像されたより深い位置の血管の画像、可視光により撮像されたより深い位置の血管の画像、およびＩＣＧ濃度とに基づいて、より深い位置の血管の深さを算出する。そして、画像処理部１４０は、算出した深さに応じて、撮像部１１０により撮像された血管の画像のぼけを補正する。
【００２８】
図２は、画像処理部１４０のブロック構成の一例を示す。画像処理部１４０は、オブジェクト画像取得部２１０、光画像取得部２１２、表面画像取得部２１４、オブジェクト領域特定部２１６、オブジェクト画像補正部２２０、補正テーブル２２２、深さ算出部２３０、深さ情報格納部２３２、物質量算出部２５０、物質量更新部２５４、物質量記憶部２５２、動き特定部２７０、被写体画像生成部２８０、および表示制御部２６０を有する。以下に、画像処理部１４０が有する各構成要素の機能および動作を、画像処理システム１０が備える他の構成要素の機能および動作とともに説明する。
【００２９】
受光部１１４は、物体の内部に存在する血管等のオブジェクトからの光を受光する。具体的には、受光部１１４は、オブジェクトからの複数の波長領域の光を受光する。例えば、受光部１１４は、オブジェクトからのＲ成分光、Ｂ成分光、Ｇ成分光を受光する。また、受光部１１４は、オブジェクトの内部に存在するルミネッセンス物質が発する光を含む、赤外成分光を受光してよい。このように、受光部１１４は、オブジェクトの中に注入されることによってオブジェクトの内部に存在しているルミネッセンス物質が発する光を含む複数の波長領域の光を受光する。
【００３０】
撮像部１１０は、受光部１１４が受光したオブジェクトからの光に基づいて、オブジェクトの画像を撮像する。具体的には、撮像部１１０は、受光部１１４が受光した、オブジェクトからの複数の波長領域の光によりオブジェクトの画像を撮像する。そして、光画像取得部２１２は、撮像部１１０が複数の波長領域の光により撮像したオブジェクトの画像を、光画像として取得する。
【００３１】
オブジェクトからの光としてルミネッセンス物質が発するルミネッセンス光を利用する場合、光画像取得部２１２が取得する光画像には、物体の表面からルミネッセンス物質を励起する励起光が進入できる深さまでの範囲に存在するオブジェクトの像が含まれる。例えば、内視鏡１００の先端部１０２から照射されるルミネッセンス物質の励起光は、一例として７５０ｎｍの波長を有するから、検体２０の比較的深部（例えば数ｃｍ程度）にまで到達する。よって、光画像取得部２１２が取得する光画像には、検体２０の比較的深部に存在する血管像が含まれる。なお、血管像は、この発明における光画像の一例であってよい。
【００３２】
なお、励起光が到達することができる深さの範囲に存在するルミネッセンス物質は、当該励起光によって励起されるから、光画像取得部２１２が取得する光画像には、励起光が到達できる深さの範囲に存在する血管像が含まれる。なお、血管が深い位置に存在するほど、血管からの蛍光が検体２０で散乱されるから、深い位置の血管像ほどボケを多く含むことになる。
【００３３】
オブジェクトからの光としてオブジェクトからの反射光を利用する場合、光画像取得部２１２が取得する光画像には、オブジェクトへの照射光が進入して反射する深さの範囲に存在するオブジェクトが含まれる。物体への照射光の進入深さは照射光の波長に依存するから、赤色光は青色光より物体内部に深く進入でき、緑色光はそれらの中間深さまで進入できる。赤外線は赤色光より物体内部に深く進入できる。よって、光画像には、物体表面から照射する光の波長範囲を反映した進入深さまでの範囲に存在するオブジェクトが含まれることになる。
【００３４】
このように、光画像取得部２１２は、血管等のオブジェクトからの、異なる複数の波長領域に属する光によってそれぞれ撮像された複数の光画像を取得する。当該波長領域は、任意の波長領域であってよく、例えば可視光のＲ成分を中心とする赤色領域、Ｇ成分を中心とする緑色領域、Ｂ成分を中心とする青色領域を例示できる。また、当該波長領域は、ＩＣＧからの蛍光が属する波長領域を複数に分割した波長領域であってよく、例えばＩＣＧからの蛍光における波長領域のうち、長波長領域、中波長領域、短波長領域を例示できる。
【００３５】
深さ算出部２３０は、物体の表面から、物体の内部に存在するオブジェクトまでの深さを算出する。具体的には、深さ算出部２３０は、複数の光画像の画像内容に基づいて、血管等のオブジェクトまでの深さを算出する。
【００３６】
例えば、深さ算出部２３０は、波長が相違すれば検体２０への光の進入深さが相違する性質を利用して、あるいは、波長が相違すれば検体２０内での光の吸収率が相違する性質を利用して、血管等のオブジェクトの深さ検出に利用する。すなわち、深さ算出部２３０は、青色領域の光画像により識別できる血管は、当該青色領域に属する波長の光が反射する深さ領域に存在すると判断する。同様に、深さ算出部２３０は、緑色領域の光画像により識別できる血管は、当該緑色領域に属する波長の光が反射する深さ領域に存在すると判断する。また、深さ算出部２３０は、赤色領域の光画像により識別できる血管は、当該赤色領域に属する波長の光が反射する深さ領域に存在すると判断する。
【００３７】
また、深さ算出部２３０は、血管内のＩＣＧが発した蛍光のうち、長波長領域に属する光の吸収は、短波長領域に属する光の吸収より小さいから、長波長領域、中波長領域あるいは短波長領域の光による光画像に含まれる血管像の明るさの比から当該血管の深さを推定する。例えば、深さ算出部２３０は、長波長領域の光による光画像に含まれる血管像の明るさに対して、短波長領域の光画像に含まれる血管像が暗ければ、当該血管は深い位置に存在すると判断する。また、深さ算出部２３０は、逆に、長波長領域の光による光画像に係る血管像の明るさに対して、短波長領域の光による光長画像に係る血管像が明るければ、短波長領域の光を吸収するであろう光の行路が長くなく、当該血管は浅い位置に存在すると推定する。
【００３８】
以上のように、深さ算出部２３０は、光の波長による物体への進入深さ（反射光の進入深さ）の相違を利用して血管等のオブジェクトの深さを検出することができる。この場合、光画像取得部２１２は、オブジェクトから反射した反射光の画像を、光画像として取得してよい。また、光画像取得部２１２は、オブジェクトに白色光を照射してオブジェクトから反射した光に含まれる異なる複数の波長領域に属する光による複数の光画像を取得してもよい。あるいは光画像取得部２１２は、異なる複数の波長領域の光をオブジェクトに照射してオブジェクトから反射した光によって、複数の光画像を取得してもよい。
【００３９】
また、上述したように、深さ算出部２３０が物体の深部で発光した蛍光の波長による吸収率の相違を利用して血管等のオブジェクトの深さを検出する場合には、光画像取得部２１２は、オブジェクトの内部のルミネッセンス物体が発した光を含む異なる複数の波長領域に属する光による複数の光画像を取得する。なお、オブジェクトに照射される光は、光照射部１５０が発光して出射口１２４から照射される。
【００４０】
このように、深さ算出部２３０は、光画像が光の進入深さの情報を含むから、光画像に含まれるオブジェクトの明るさ（輝度）を比較または演算してオブジェクトの深さを計算することができる。例えば、オブジェクト領域特定部２１６は、複数の光画像ごとにオブジェクトの画像領域を特定する。そして、深さ算出部２３０は、オブジェクト領域特定部２１６が特定したオブジェクトの画像領域における輝度に基づいて、表面からオブジェクトまでの深さを算出する。
【００４１】
例えば深さ算出部２３０は、長波長の波長領域における画像領域の輝度に対する短波長の波長領域における画像領域の輝度の比に基づいて、深さを算出する。また、深さ算出部２３０は、画像領域における最高輝度または平均輝度に基づいて深さを算出してもよい。
【００４２】
他にも、深さ算出部２３０は、オブジェクトの画像領域の端部における輝度の変化率に基づいて深さを算出してもよい。当該輝度の変化率は、例えば画像空間における位置（距離）を変数とする輝度の微分係数で表現できる。当該微分係数は画像領域に係るオブジェクトのボケの大きさを数値化した例であり、微分係数が大きいほどボケは小さく、オブジェクトはより浅い位置に存在すると推定できる。
【００４３】
また、当該輝度の変化率は、例えば画像空間における位置（距離）を変数とする輝度の分布における半値幅によって表現できる。半値幅が大きいほどボケは大きく、半値幅が小さいとオブジェクトはより浅い位置に存在すると推定できる。このように、深さ算出部２３０は、受光部１１４が受光した複数の波長領域の光の量に基づいて、表面からオブジェクトまでの深さを算出することができる。
【００４４】
物質量算出部２５０は、光画像取得部２１２が取得した光画像の画像内容に基づいて、オブジェクト内の物質の量を算出する。具体的には、物質量算出部２５０は、光画像における各波長領域の輝度値に基づいて、オブジェクト内の物質の量を算出する。ここでいうオブジェクト内の物質は、光を発する発光物質、光を反射または散乱させる光反射物質、または光を吸収する吸光物質を含む。例えば、オブジェクト内の物質は、血管内のＩＣＧ、酸化ヘモグロビン、還元ヘモグロビン、ビリルビン等の血中成分を含む。このように、物質量算出部２５０は、受光部１１４が受光した光の量および深さ算出部２３０が算出したオブジェクトまでの深さに基づいて、受光部１１４が受光する光を発する、オブジェクト内の物質の量を算出する。
【００４５】
なお、物質量算出部２５０は、深さ算出部２３０が算出したオブジェクトまでの深さが予め定められた値より小さい場合に、受光部１１４が受光したオブジェクトからの光の量および深さ算出部２３０が算出したオブジェクトまでの深さに基づいて、オブジェクト内の物質の量を算出する。このように、物質量算出部２５０は、予め定められた深さより浅い位置に存在するオブジェクトからの光の量および深さ算出部２３０が算出した深さに基づいて、オブジェクト内の物質の量を算出する。物質量算出部２５０は、散乱等による測定値への影響が少ない、より浅い位置のオブジェクト内の物質の量を算出するので、物質の量をより正確に算出することができる。
【００４６】
なお、受光部１１４は、オブジェクトと略同一の量の物質を含む他のオブジェクトからの光を受光する。具体的には、受光部１１４は、他のオブジェクトからの複数の波長領域の光も受光する。より具体的には、受光部１１４は、表面からオブジェクトより深い位置に存在する他のオブジェクトの内部に存在するルミネッセンス物質が発する光を含む複数の波長領域の光を受光する。例えば、受光部１１４は、より深い位置に存在する血管からの光を受光する。なお、血管は体内で互いに連通しており、同じ生体内の血管中の血液成分は、位置によらず略一定であると考えられるので、ＩＣＧ濃度は血管の位置によらず略一定と考えられる。
【００４７】
この場合、深さ算出部２３０は、受光部１１４が受光した他のオブジェクトからの光の量および物質量算出部２５０が算出した物質の量に基づいて、表面から他のオブジェクトまでの深さを算出することができる。具体的には、深さ算出部２３０は、受光部１１４が受光した他のオブジェクトからの複数の波長領域毎の光の量および物質量算出部２５０が算出した物質の量に基づいて、他のオブジェクトまでの深さを算出する。
【００４８】
なお、深さ算出部２３０は、受光部１１４が受光した、表面からオブジェクトより深い位置に存在する他のオブジェクトからの複数の波長領域毎の光の量および物質量算出部２５０が算出した物質の量に基づいて、他のオブジェクトまでの深さを算出することができる。オブジェクトまでの深さが深くなるほどオブジェクトから表面までの間で光の散乱・吸収量が増大するので、オブジェクト内の物質の量とオブジェクトまでの深さとを光により同時に計測しようとすると、計測された値に含まれる誤差が増大する。しかしながら、画像処理システム１０によると、浅い位置におけるオブジェクト内の物質の濃度を利用することによって、深い位置に存在するオブジェクトの深さをより正確に算出することができる。
【００４９】
なお、この発明における物質の一例としては、ＩＣＧ等のルミネッセンス物質が挙げられる。すなわち、物質量算出部２５０は、受光部１１４が受光したルミネッセンス物質が発する光の量および深さ算出部２３０が算出したオブジェクトまでの深さに基づいて、オブジェクトの内部に存在するルミネッセンス物質の量を算出する。そして、深さ算出部２３０は、受光部１１４が受光した他のオブジェクトからの複数の波長領域毎の光の量および物質量算出部２５０が算出したルミネッセンス物質の量に基づいて、他のオブジェクトまでの深さを算出する。
【００５０】
なお、深さ情報格納部２３２は、オブジェクトからの複数の波長領域毎の光の量およびオブジェクトの内部に存在するルミネッセンス物質の量に対応づけて、物体の表面からオブジェクトまでの深さを格納する。具体的には、深さ情報格納部２３２は、オブジェクトからの複数の波長領域毎の光の量の比およびオブジェクトの内部に存在するルミネッセンス物質の濃度に対応づけて、物体の表面からオブジェクトまでの深さを格納している。そして、深さ算出部２３０は、受光部１１４が受光した他のオブジェクトからの複数の波長領域毎の光の量、物質量算出部２５０が算出したルミネッセンス物質の量、および深さ情報格納部２３２が格納している深さに基づいて、他のオブジェクトまでの深さを算出する。
【００５１】
物質量記憶部２５２は、物質量算出部２５０が算出したオブジェクトの内部のルミネッセンス物質の量を記憶する。そして、深さ算出部２３０は、受光部１１４が受光した他のオブジェクトからの複数の波長領域毎の光の量および物質量記憶部２５２が記憶している物質の量に基づいて、他のオブジェクトまでの深さを算出することができる。なお、物質量算出部２５０は、オブジェクトの中に注入されることによってオブジェクトの内部に存在しているルミネッセンス物質の量を算出する。この場合、物質量更新部２５４は、物質量算出部２５０が新たに算出したルミネッセンス物質の量が、物質量記憶部２５２が記憶しているルミネッセンス物質の量より予め定められた量以上変化したことを条件として、物質量記憶部２５２が記憶しているルミネッセンス物質の量を、物質量算出部２５０が新たに算出したルミネッセンス物質の量で更新する。
【００５２】
物体が生体である場合には、注入されたルミネッセンス物質は時間が経過するにつれて体内で代謝されていくので、血中のルミネッセンス物質の濃度は時間の経過とともに減少していく可能性がある。必要であれば、ＩＣＧ注入部１９０は、濃度減少を補うべく、ルミネッセンス物質を追加で注入してもよい。画像処理システム１０によると、これらの要因による物質の濃度変化を適切に考慮して深さを算出することができる。したがって、ノイズ等により物質量算出部２５０が誤った値を算出した場合であっても、深さに与える誤差の量が著しく増大してしまうことを未然に防ぐことができる。
【００５３】
オブジェクト画像取得部２１０は、オブジェクトからの光によって撮像されたオブジェクト画像を取得する。なお、撮像部１１０は、表面を通じてオブジェクトを撮像する。そして、オブジェクト画像取得部２１０は、表面を通じて撮像されたオブジェクトの画像を取得する。例えば、オブジェクト画像取得部２１０は、オブジェクトからのルミネッセンス光により撮像部１１０によって撮像されたオブジェクト画像を取得する。
【００５４】
オブジェクト画像補正部２２０は、深さ算出部２３０が算出した他のオブジェクトまでの深さに基づいて、オブジェクト画像取得部２１０が取得したオブジェクト画像を補正する。より具体的には、オブジェクト画像補正部２２０は、深さ算出部２３０が算出した他のオブジェクトまでの深さに基づいて、他のオブジェクトから表面までの間で他のオブジェクトからの光が散乱されることによるオブジェクト画像の広がりを補正する。
【００５５】
オブジェクト画像補正部２２０が補正した補正画像は出力部１８０に供給され、出力部１８０から表示される。なお、補正テーブル２２２は、表面からオブジェクトまでの深さに対応付けて、オブジェクト画像の広がりを補正する補正値を格納している。そして、オブジェクト画像補正部２２０は、深さ算出部２３０が算出した深さ、および補正テーブル２２２が格納している補正値に基づいて、オブジェクト画像の広がりを補正する。
【００５６】
なお、表面画像取得部２１４は、一例として撮像部１１０によって撮像された物体の表面の画像を取得する。すなわち表面画像取得部２１４は、視認すると同等の画像を取得する。例えば、表面画像取得部２１４は、照射光が物体表面で反射された反射光により撮像部１１０が撮像した画像を、表面画像として取得する。例えば、表面画像取得部２１４は、白色光である照射光が照射光が物体表面で反射された反射光により撮像部１１０が撮像した画像を、表面画像として取得する。
【００５７】
なお、撮像部１１０は、オブジェクト画像と表面画像とを、異なるタイミングで撮像してよい。例えば、撮像部１１０は、白色光を照射することにより可視光の表面画像を連続的に撮像しており、所定のタイミングにおいて白色光にかえて励起光を照射することによりオブジェクト画像を撮像してよい。この場合、動き特定部２７０は、励起光を照射したタイミングと、白色光を照射したタイミングとの間におけるオブジェクトの動きを特定する。被写体画像像生成部２８０は、白色光を照射することにより得られた表面画像、および、動き特定部２７０が特定した動きに基づき、励起光を照射したタイミングにおいて得られるべき表面画像を生成する。なお、オブジェクト画像と表面画像とを時分割で撮像する場合における制御部１０５、撮像部１１０、光照射部１５０、動き特定部２７０、および被写体画像像生成部２８０の機能および動作については、図８以降の図面に関連してより詳細に説明する。
【００５８】
表示制御部２６０は、表面画像および補正画像の出力部１８０への表示を制御する。例えば、表示制御部２６０は、オブジェクト画像補正部２２０により補正されたオブジェクト画像の表示を、深さ算出部２３０が算出した深さに応じて制御する。具体的には、表示制御部２６０は、オブジェクト画像補正部２２０により補正されたオブジェクト画像の明るさまたは色を、深さ算出部２３０が算出した深さに応じて変化させて出力部１８０に表示させる。あるいは表示制御部２６０は、表面画像と補正画像とを並べて出力部１８０に表示してもよい。その他、表示制御部２６０は、オブジェクトの深さ情報を数値として出力部１８０に表示してもよい。
【００５９】
なお、深さ算出部２３０は、複数のオブジェクトのそれぞれまでの表面からの深さを算出してよい。深さ算出部２３０は、複数のオブジェクトのそれぞれまでの表面からの深さを算出してよい。そして、オブジェクト画像補正部２２０は、複数のオブジェクトのそれぞれまでの深さに基づいて、オブジェクト画像における複数のオブジェクトのそれぞれの像の広がりを補正してよい。
【００６０】
図３は、検体２０の内部で光が反射等する様子を模式的に示す。検体２０の内部にはオブジェクトの一例である血管８１０−８１３が存在する。これらの血管は、血管８１１、血管８１２、血管８１３、血管８１０の順に浅い位置に存在する。ＩＣＧ注入部１９０は、血管８１０にルミネッセンス物質であるＩＣＧを注入する。結果として血管８１０−８１３の内部にもＩＣＧが注入される。
【００６１】
検体２０にはＩＣＧの励起光である赤外線Ｉｉｒと、血管への照射光である赤色光Ｉｒ、緑色光Ｉｇ、および青色光Ｉｂとが照射される。赤外線Ｉｉｒは、検体２０の比較的深い位置（深さｄｉｒ）まで進入でき、表面から深さｄｉｒの間に存在する血管（例えば、血管８１０）内のＩＣＧは赤外線Ｉｉｒによって励起される。よって深さｄｉｒより浅い位置に存在する血管（例えば、血管８１１−８１３）の像は、ＩＣＧからの蛍光Ｒｆによってオブジェクト画像として取得される。なお、オブジェクト画像として取得された血管の像には、ぼけを伴う。
【００６２】
赤色光Ｉｒは、深さｄｒまで進入して深さｄｒの近傍で反射される。よって、赤色光Ｉｒの赤色反射光Ｒｒには深さｄｒ近傍の血管８１３の像情報が含まれる。赤色反射光Ｒｒによる血管８１３の像は赤色領域の光による光画像として取得され、当該光画像には、深さｄｒ近傍の血管の画像が含まれる。
【００６３】
緑色光Ｉｇは、深さｄｇまで進入して深さｄｇの近傍で反射される。よって、緑色光Ｉｇの緑色反射光Ｒｇには深さｄｇ近傍の血管８１２の像情報が含まれる。緑色反射光Ｒｇによる血管８１２の像は緑色領域の光による光画像として取得され、当該光画像には、深さｄｇ近傍の血管の画像が含まれる。
【００６４】
青色光Ｉｂは、深さｄｂまで進入して深さｄｂの近傍で反射される。よって、青色光Ｉｂの青色反射光Ｒｂには深さｄｂ近傍の血管８１１の像情報が含まれる。青色反射光Ｒｂによる血管８１１の像は青色領域の光による光画像として取得され、当該光画像には、深さｄｂ近傍の血管の画像が含まれる。
【００６５】
前述したように、深さ算出部２３０は、例えば、赤色反射光Ｒｒ、緑色反射光Ｒｇ、緑色反射光Ｒｇの光によるそれぞれの光画像から、浅い位置にある血管８１１までの深さを算出することができる。そして、深さ算出部２３０は、血管８１１の深さおよび物質量算出部２５０が算出したＩＣＧ濃度に基づいて、蛍光Ｒｆによって撮像された各血管８１２、８１３、８１０までの深さを算出することができる。そして、オブジェクト画像補正部２２０は、算出された深さに応じて血管８１０−８１３の広がりを補正することができる。
【００６６】
図４は、撮像された血管画像の一例を示す。血管画像４１０は浅い位置に存在する血管の画像を示しており、血管画像４２０は血管画像４１０より深い位置に存在する血管の画像を示す。図示されるように、血管画像４１０のぼけ量は、血管画像４２０のぼけ量より小さい。
【００６７】
図５は、深さ情報格納部２３２が格納しているデータの一例をテーブル形式で示す。深さ情報格納部２３２は、血管からの各成分光の強度の、全強度に対する相対強度ＩＩＲ、ＩＲ、ＩＧ、およびＩＢと、ＩＣＧ濃度ＣＩＣＧと、血管までの深さＤａとを互いに対応づけて格納している。なお、ＩＩＲ、ＩＲ、ＩＧ、およびＩＢと、は、それぞれ赤外成分光、Ｒ成分光、Ｇ成分光、およびＢ成分光の相対強度を示す。
【００６８】
上述のように、深さ算出部２３０は、浅い位置に存在する血管（例えば、血管８１１）の画像から深さを算出することができる。また、物質量算出部２５０は、当該画像が示すＲ成分、Ｇ成分、Ｂ成分、およびＩＲ成分の相対強度と、深さ算出部２３０が算出した深さと、深さ情報格納部２３２が格納しているデータとから、血管中のＩＣＧ濃度を算出する。例えば、物質量算出部２５０は、当該画像が示すＲ成分、Ｇ成分、Ｂ成分、およびＩＲ成分の相対強度と、深さ算出部２３０が算出した深さとに対応づけて深さ情報格納部２３２が格納しているＩＣＧ濃度を、血管中のＩＣＧ濃度として算出する。なお、深さ情報格納部２３２が、各測定値に一致する情報を格納していない場合には、物質量算出部２５０は、深さ情報格納部２３２が格納しているデータを内挿・外挿する等してＩＣＧ濃度を算出することができる。
【００６９】
そして、深さ算出部２３０は、浅い位置に存在する血管より深い位置に存在する血管（例えば、血管８１０）の深さを算出する場合には、浅い位置に存在する血管から算出されたＩＣＧ濃度と、深い位置に存在する血管の画像が示すＲ成分、Ｇ成分、Ｂ成分、およびＩＲ成分の相対強度とから、深い位置に存在する血管までの深さを算出する。例えば、深さ算出部２３０は、当該画像が示すＲ成分、Ｇ成分、Ｂ成分、およびＩＲ成分の相対強度と、物質量算出部２５０が算出したＩＣＧ濃度に対応づけて深さ情報格納部２３２が格納している深さを、深い位置に存在する血管までの深さとして算出する。なお、深さ情報格納部２３２が、各測定値に一致する情報を格納していない場合には、深さ算出部２３０は、深さ情報格納部２３２が格納しているデータを内挿・外挿する等して深さを算出することができる。
【００７０】
図６は、補正された血管画像６１０および血管画像６２０を含む画像６００の一例を示す。物体の表面下に存在する点光源からの光が表面までの間に散乱された光による散乱像は、点光源が存在する深さをパラメータとして持つ点広がり関数で表現することができる。オブジェクト画像補正部２２０は、血管までの深さに応じた点広がり関数の逆フィルタを用いて、血管画像におけるぼけを補正する。
【００７１】
なお、補正テーブル２２２は、一例として、深さに対応づけて点広がり関数の逆フィルタを格納している。そして、オブジェクト画像補正部２２０は、オブジェクト領域特定部２１６が特定した血管画像のそれぞれを、深さ算出部２３０が算出した血管までの深さに対応づけて補正テーブル２２２が格納している逆フィルタを用いて補正する。これにより、血管画像４１０のぼけが補正された血管画像６１０と、血管画像４２０のぼけが補正された血管画像６２０を得ることができる。
【００７２】
なお、表示制御部２６０は、血管画像６１０および６２０の、例えば濃淡を変えて、あるいは色を変えて、表面からの深さを出力部１８０から表示させる。本実施形態の画像処理システム１０を適用すれば、例えば医師が出力部１８０から表示された画面を見つつ手術等を実施するとき、表面観察によっては視認できない内部の血管を鮮明に認識できる場合がある。また、医師は内部の血管の深さ情報を参照しつつ手術等を実施できる利点が得られる場合がある。
【００７３】
図７は、画像処理システム１０の動作フローの一例を示す。オブジェクト画像取得部２１０は、所定の間隔で連続的に血管画像を取得している。深さ算出部２３０は、予め定められた値よりぼけ量が小さい血管が存在するか否かを判断する（Ｓ７１０）。Ｓ７１０において、予め定められた値よりぼけ量が小さい血管が存在する旨が判断された場合には、Ｓ７２０に処理を進める。
【００７４】
なお、ぼけ量は、浅い位置の血管が存在するか否かを判断するための指標の一例であり、他の方法を用いて浅い位置の血管の存在を検出してよい。例えば、図３に関連して説明したように、深さ算出部２３０は複数の波長領域の光の強度を用いて深さを算出しており、深さ算出部２３０が予め定められた値より小さい深さを算出したか否かをＳ７１０において判断してもよい。
【００７５】
深さ算出部２３０は、上述したように血管画像のぼけ量または複数の波長領域毎の光の強度から、浅い位置の血管が存在する深さを算出する。そして、図５に関連して説明したように、算出された浅い位置の血管の深さに基づいて、ＩＣＧ濃度を算出する（Ｓ７３０）。そして、物質量更新部２５４は、物質量算出部２５０が算出したＩＣＧ濃度が、物質量記憶部２５２が記憶しているＩＣＧ濃度より小さいか否かを判断する（Ｓ７４０）。
【００７６】
Ｓ７４０において、物質量算出部２５０が算出したＩＣＧ濃度が、物質量記憶部２５２が記憶しているＩＣＧ濃度より予め定められた量以上変化している旨を物質量更新部２５４が判断した場合には、物質量更新部２５４は、物質量算出部２５０が算出したＩＣＧ濃度を物質量記憶部２５２に記憶させる（Ｓ７５０）。このようにして、物質量更新部２５４は、物質量記憶部２５２が記憶しているＩＣＧ濃度を物質量算出部２５０が新たに算出したＩＣＧ濃度で更新して、Ｓ７６０に処理を進める。なお、Ｓ７４０において、物質量算出部２５０が算出したＩＣＧ濃度と、物質量記憶部２５２が記憶しているＩＣＧ濃度との差分の絶対値が上述の規定量未満である旨を物質量更新部２５４が判断した場合にはＳ７５０の処理をせずにＳ７６０に処理を進める。
【００７７】
深さ算出部２３０は、物質量記憶部２５２が記憶しているＩＣＧ濃度に基づいて、各血管の深さを算出する（Ｓ７６０）。そして、オブジェクト画像補正部２２０は、血管画像のぼけを補正して（Ｓ７７０）、補正した血管画像を表示制御部２６０に供給する。なお、Ｓ７１０において、予め定められた値よりぼけ量が小さい血管が存在しない旨が判断された場合にはＳ７６０に処理を進める。
【００７８】
このように、画像処理システム１０によると、浅い位置の血管画像からＩＣＧ濃度を算出するので、ＩＣＧ濃度をより正確に算出することができる。また、算出したＩＣＧ濃度が予め定められた量以上変化していることを条件としてＩＣＧ濃度を更新して、更新したＩＣＧ濃度を用いて深い位置の血管までの深さを算出するので、深い位置に存在する血管までの深さをより正確に算出することができる。
【００７９】
なお、Ｓ７５０においてＩＣＧ濃度が更新されない場合（例えば、Ｓ７４０の判断がＮｏ、またはＳ７１０の判断がＮｏの場合）には、深さ算出部２３０は、物質量記憶部２５２が記憶しているＩＣＧ濃度が算出された時刻から現在の時刻までに経過した経過時間に応じて、物質量記憶部２５２が記憶しているＩＣＧ濃度を低減したＩＣＧ濃度を、現在のＩＣＧ濃度として算出してもよい。そして、深さ算出部２３０は、当該算出したＩＣＧ濃度に基づいて、より深い位置の血管までの深さを算出してよい。
【００８０】
なお、物質量記憶部２５２は、複数のタイミングにおいて算出されたＩＣＧ濃度および当該複数のタイミングを示す時刻を記憶してよい。そして、深さ算出部２３０は、複数のタイミングにおけるＩＣＧ濃度および時刻、ならびに現在の時刻に基づいて、例えば時間的に外挿するなどして、現在のＩＣＧ濃度を算出してもよい。なお、制御部１０５は、物質量記憶部２５２が記憶しているＩＣＧ濃度が予め定められた値より小さくなった場合に、ＩＣＧ注入部１９０を制御してＩＣＧを検体２０に注入させてよい。
【００８１】
図８は、撮像部１１０の構成の一例を示す。撮像部１１０は、レンズ１１２、撮像デバイス８１０、分光フィルタ部８２０、および受光側励起光カットフィルタ部８３０を有する。撮像デバイス８１０は、第１受光素子８５１ａを含む複数の第１受光素子８５１、第２受光素子８５２ａおよび第２受光素子８５２ｂを含む複数の第２受光素子８５２、第３受光素子８５３ａを含む複数の第３受光素子８５３を含む。
【００８２】
以下に、撮像部１１０が有する構成要素の機能および動作を説明する。以下の説明においては、説明が複雑になることを防ぐべく、複数の第１受光素子８５１を総称して第１受光素子８５１と呼び、複数の第２受光素子８５２を総称して第２受光素子８５２と呼び、複数の第３受光素子８５３を総称して第３受光素子８５３と呼ぶ場合がある。また、複数の第１受光素子８５１、複数の第２受光素子８５２、複数の第３受光素子８５３を総称して、単に受光素子と呼ぶ場合がある。
【００８３】
第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、レンズ１１２を通じて供給された被写体からの光を受光する。具体的には、第１受光素子８５１は、特定波長領域の光および特定波長領域と異なる第１波長領域の光を受光する。特徴波長領域としては、ルミネッセンス光の波長領域など、赤外領域を例示することができる。また、第２受光素子８５２は、特定波長領域と異なる第２波長領域の光を受光する。また、第３受光素子８５３は、特定波長領域、第１波長領域、および第２波長領域と異なる、第３波長領域の光を受光する。
【００８４】
なお、第１波長領域、第２波長領域、および第３波長領域は互いに異なる波長領域であって、他の波長領域が含まない波長領域を含む。また、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、所定のパターンで２次元的に配列されている。
【００８５】
分光フィルタ部８２０は、第１波長領域の光、第２波長領域の光、および第３波長領域の光のいずれかの光を通過する複数のフィルタ要素を含む。各フィルタ要素は、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３のそれぞれの受光素子に応じて２次元的に配列されている。個々の受光素子は、個々のフィルタ要素が通過した光を受光する。このように、第１受光素子８５１、第２受光素子８５２、第３受光素子８５３は、互いに異なる波長領域の光を受光する。
【００８６】
受光側励起光カットフィルタ部８３０は、被写体と第２受光素子８５２および第３受光素子８５３の間に少なくとも設けられ、励起光の波長領域の光をカットする。そして、第２受光素子８５２および第３受光素子８５３は、被写体からの反射光を受光側励起光カットフィルタ部８３０を通じて受光する。このため、第２受光素子８５２および第３受光素子８５３は、励起光が被写体から反射した反射光を実質的に受光することがない。
【００８７】
なお、受光側励起光カットフィルタ部８３０は、励起光の波長領域の光および特定波長領域の光をカットしてもよい。この場合、第２受光素子８５２および第３受光素子８５３は、一例として被写体からのルミネッセンス光を実質的に受光することがない。
【００８８】
なお、受光側励起光カットフィルタ部８３０は、被写体と第１受光素子８５１との間に設けられてもよい。この場合、被写体と第１受光素子８５１との間に設けられた受光側励起光カットフィルタ部８３０は、特定波長領域の光を透過する。
【００８９】
なお、受光側励起光カットフィルタ部８３０は、分光フィルタ部８２０と同様に、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３のそれぞれの受光素子に応じて２次元的に配列されたフィルタ要素を含んでよい。そして、第１受光素子８５１に光を供給するフィルタ要素は、第１波長領域および特定波長領域の光を少なくとも通過させる。なお、第１受光素子８５１に光を供給するフィルタ要素は、励起光の波長領域の光をカットしてもよい。一方、第２受光素子８５２に光を供給するフィルタ要素は、励起光の波長領域の光および特定波長領域の光をカットし、第２波長領域の光を少なくとも通過させる。また、第３受光素子８５３に光を供給するフィルタ要素は、励起光の波長領域の光および特定波長領域の光をカットし、第３波長領域の光を少なくとも通過させる。
【００９０】
画像処理部１４０は、第１受光素子８５１ａ、第２受光素子８５２ａ、第２受光素子８５２ｂ、および第３受光素子８５３ａが受光した受光量に少なくとも基づいて、１画素の画素値を決定する。すなわち、第１受光素子８５１ａ、第２受光素子８５２ａ、第２受光素子８５２ｂ、および第３受光素子８５３ａの２次元配列構造により一の画素素子が形成され、当該画素素子配列が２次元的に配列されることによって複数の画素素子が形成される。なお、受光素子は、本図に示した配列構造に限られず、多様な配列構造で配列されてよい。
【００９１】
図９は、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３の分光感度特性の一例を示す。線９３０、線９１０、および線９２０は、それぞれ第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３の分光感度分布を示す。例えば、第１受光素子８５１は、他の受光素子が実質的に感度を有しない６５０ｎｍ近傍の波長の光に感度を有する。また、第２受光素子８５２は、他の受光素子が実質的に感度を有しない４５０ｎｍ近傍の波長の光に感度を有する。また、第３受光素子８５３は、他の受光素子が実質的に感度を有しない５５０ｎｍ近傍の波長の光に感度を有する。
【００９２】
また、第１受光素子８５１は、特定波長領域の一例である赤外領域（例えば、８１０ｎｍ）の光を受光することができる。この分光感度特性は、受光側励起光カットフィルタ部８３０および分光フィルタ部８２０の透過特性および各受光素子の分光感度による。
【００９３】
このように、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、それぞれＲ成分の光、Ｂ成分の光、およびＧ成分の光を受光する。また、第１受光素子８５１は、特定波長領域の一例である赤外領域の光も受光することができる。なお、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、一例としてＣＣＤ、ＣＭＯＳ等の撮像素子であってよい。そして、受光側励起光カットフィルタ部８３０の分光透過率、分光フィルタ部８２０が含むフィルタ要素の分光透過率、および撮像素子自体の分光感度の組合せによって、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、それぞれ線９３０、線９１０、および線９２０で示す分光感度特性を持つ。
【００９４】
図１０は、光照射部１５０の構成の一例を示す。光照射部１５０は、発光部１０１０および光源側フィルタ部１０２０を有する。発光部１０１０は、励起光の波長領域、第１波長領域、第２波長領域、および第３波長領域を含む波長領域の光を発光する。本実施形態では、発光部１０１０は、一例としてキセノンランプであってよい。
【００９５】
図１１は、光源側フィルタ部１０２０の構成の一例を示す。図１１は、発光部１０１０から光源側フィルタ部１０２０に光が導かれる方向に見た場合の構造を示す。光源側フィルタ部１０２０は、照射光カットフィルタ部１１２０および励起光カットフィルタ部１１１０を含む。なお、発光制御部１７０は、光源側フィルタ部１０２０の中心軸を中心として、発光部１０１０が発光した光が進む方向に略垂直な面内で、光源側フィルタ部１０２０を回転させる。
【００９６】
励起光カットフィルタ部１１１０は、第１波長領域の光、第２波長領域の光、および第３波長領域の光を通過して、励起光の波長領域の光を実質的にカットする。また、照射光カットフィルタ部１１２０は、励起光の波長領域の光、第２波長領域の光、および第３波長領域の光を通過する。なお、照射光カットフィルタ部１１２０は、第１波長領域の光も実質的にカットすることが望ましい。なお、発光部１０１０からの光は、光源側フィルタ部１０２０の中心軸からずれた位置に導かれる。
【００９７】
したがって、発光部１０１０からの光が励起光カットフィルタ部１１１０に導かれているタイミングでは、発光部１０１０からの光のうち、励起光の波長領域の光は励起光カットフィルタ部１１１０により実質的にカットされ、第１波長領域の光、第２波長領域の光、および第３波長領域の光は励起光カットフィルタ部１１１０を通過する。したがって、このタイミングでは、第１波長領域の光、第２波長領域の光、および第３波長領域の光が実質的に被写体に照射されることになる。
【００９８】
一方、発光部１０１０からの光が照射光カットフィルタ部１１２０に導かれているタイミングでは、発光部１０１０からの光のうち、励起光の波長領域の光、第２波長領域の光、および第３波長領域の光が照射光カットフィルタ部１１２０を通過する。したがって、このタイミングでは、励起光、第２波長領域の光、および第３波長領域の光が実質的に被写体に照射されることになる。
【００９９】
なお、撮像部１１０は、撮像制御部１６０の制御により、可視光である第１波長領域の光、第２波長領域の光、および第３波長領域の光が照射されているタイミングで、照射された光を検体２０が反射した反射光を受光する。そして、表面画像取得部２１４は、撮像部１１０が受光した光の受光量に基づき、表面画像の一例としての可視光による被写体画像を生成する。照射された光が実質的に白色光である場合には、表面画像は白色光画像ということができる。
【０１００】
また、撮像部１１０は、撮像制御部１６０の制御により、励起光、第２波長領域の光、および第３波長領域の光が照射されているタイミングで、被写体の内部のＩＣＧが発したルミネッセンス光と、検体２０による第２波長領域の光および第３波長領域の光の反射光とを受光する。そして、オブジェクト画像取得部２１０は、第１受光素子８５１の受光量に応じた信号を第１受光素子８５１から取得して、第１受光素子８５１が受光したルミネッセンス光の受光量に基づきルミネッセンス光の被写体画像を生成する。また、表面画像取得部２１４は、第２受光素子８５２および第３受光素子８５３からの信号に基づく第２波長領域の光および第３波長領域の光の受光量と、他のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光の受光量とに基づいて可視光の被写体画像を生成する。
【０１０１】
図１２は、撮像部１１０による撮像タイミングおよび画像処理部１４０が生成した画像の一例を示す。撮像制御部１６０は、時刻ｔ１２００、ｔ１２０１、ｔ１２０２、ｔ１２０３、・・・において、オブジェクトからの光により撮像部１１０に撮像させる。また、発光制御部１７０は、撮像制御部１６０によるタイミング制御により、時刻ｔ１２００、ｔ１２０１、およびｔ１２０３を含む第１のタイミングにおいて、発光部１０１０が発光した光を励起光カットフィルタ部１１１０を通じて被写体に照射させる。このように、発光制御部１７０による制御により、光照射部１５０は第１のタイミングにおいて、第１波長領域、第２波長領域、および第３波長領域を含む波長領域の光を被写体に照射する。
【０１０２】
そして、撮像制御部１６０は、第１のタイミングにおいて、第１波長領域、第２波長領域、および第３波長領域を含む波長領域の光を被写体に照射して被写体から反射した反射光のうち、第１波長領域の光を第１受光素子８５１に受光させ、反射光のうち第２波長領域の光を第２受光素子８５２に受光させ、反射光のうち第３波長領域の光を第３受光素子８５３に受光させる。このように、撮像制御部１６０は、第１のタイミングにおいて、被写体からの第１波長領域の光を第１受光素子８５１に受光させ、被写体からの第２波長領域の光を第２受光素子８５２に受光させ、被写体からの第３波長領域の光を第３受光素子８５３に受光させる。
【０１０３】
また、時刻ｔ１２０２を含む第２のタイミングにおいては、発光制御部１７０は、撮像制御部１６０によるタイミング制御により、発光部１０１０が発光した光を照射光カットフィルタ部１１２０を通じて被写体に照射させる。このように、発光制御部１７０による制御により、光照射部１５０は第２のタイミングにおいて、励起光、第２波長領域、および第３波長領域を含む波長領域の光を被写体に照射する。
【０１０４】
そして、第２のタイミングにおいては、撮像制御部１６０は、被写体が発光した特定波長領域の光を、第１受光素子８５１に受光させる。すなわち、撮像制御部１６０は、第２のタイミングにおいて、被写体からの特定波長領域の光を第１受光素子８５１に受光させる。
【０１０５】
このように、制御部１０５は、第２のタイミングにおいて、第１波長領域の光を被写体に照射せずに、励起光、第２波長領域の光、および第３波長領域の光を被写体に照射して、被写体が発光した特定波長領域の光を第１受光素子８５１に受光させるとともに、被写体から反射した反射光のうち第２波長領域の光を第２受光素子８５２に受光させ、反射光のうち第３波長領域の光を第３受光素子８５３に受光させる。なお、励起光の波長領域は、第１波長領域、第２波長領域、および第３波長領域のいずれとも異なる波長領域であって、第１波長領域、第２波長領域、および第３波長領域に含まれない波長領域を含む。
【０１０６】
以上説明したように、制御部１０５は、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３に受光させる光のスペクトルを制御する。そして、画像処理部１４０は、それぞれのタイミングにおいて受光素子が受光した受光量に基づき、各種の波長領域の光による画像を生成する。
【０１０７】
具体的には、表面画像取得部２１４は、時刻ｔ１２００、時刻ｔ１２０１、および時刻ｔ１２０３のそれぞれにより代表されるタイミングにおいて受光素子が受光した受光量に基づいて、被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄを生成する。被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄは、実質的には、白色光を照射した場合に得られる可視光画像とみなすことができる。被写体画像１２２０ａは血管画像１２２２ａおよび血管画像１２２４ａを含み、被写体画像１２２０ｂは血管画像１２２２ｂおよび血管画像１２２４ｂを含み、被写体画像１２２０ｄは血管画像１２２２ｄおよび血管画像１２２４ｄを含む。
【０１０８】
なお、被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄは、血管画像の他に、物質の表面の画像である表面像を含む。このように、表面画像取得部２１４は、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光、第１のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および第１のタイミングにおいて第３受光素子８５３が受光した第３波長領域の光により、第１のタイミングにおける被写体の表面画像を生成する。
【０１０９】
また、オブジェクト画像取得部２１０は、時刻ｔ１２０２により代表されるタイミングにおいて受光素子が受光した受光量に基づいて、血管画像１２２２ｃ、血管画像１２２４ｃ、および血管画像１２２６ｃを含む被写体画像１２２０ｃを生成する。被写体画像１２２０ｃは、被写体からのルミネッセンス光による被写体の画像とみなすことができる。なお、被写体画像１２２０ｃは、オブジェクト画像補正部２２０による上述のぼけ補正処理の対象の画像となる。
【０１１０】
また、被写体画像像生成部２８０は、時刻ｔ１２０１に代表されるタイミングにおいて第１受光素子８５１が受光した受光量、時刻ｔ１２０２に代表されるタイミングにおいて第２受光素子８５２および第３受光素子８５３が受光した受光量に基づいて、血管画像１２３２ｃおよび血管画像１２３４ｃを含む被写体画像１２３０ｃを生成する。被写体画像１２３０ｃは、時刻ｔ１２０２に代表されるタイミングにおいて取得されるべき、可視光による被写体画像とみなすことができる。
【０１１１】
このように、画像処理部１４０は、第２のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光により、第２のタイミングにおける可視光による被写体画像を生成する。したがって、画像処理部１４０は、ルミネッセンス光画像を撮像しているタイミングにおいても、可視光による画像を生成することができる。出力部１８０は、被写体画像１２２０ａ、被写体画像１２２０ｂ、被写体画像１２３０ｃ、被写体画像１２２０ｄ、・・・を連続的に表示することによって、コマ落ちのない映像を提供することができる。
【０１１２】
検体２０が人体のような赤い血液を含む生体である場合、可視光画像におけるＲ成分の空間周波数成分は、Ｇ成分およびＢ成分の空間周波数成分より小さい場合が多い。このため、Ｒ成分がコマ落ちしたことによる映像の劣化度は、Ｇ成分およびＢ成分がコマ落ちする場合に比べると小さい場合が多い。このため、Ｇ成分およびＢ成分がコマ落ちする場合よりも、映像における見た目のギクシャク感を低減することができる。したがって、画像処理システム１０によると、映像内容として実質的にコマ落ちのない可視光映像を提供することができる場合がある。
【０１１３】
上記のように、画像処理システム１０によると、赤外領域の励起光により検体２０から生じた赤外領域のルミネッセンス光により、被写体画像１２２０ｃを撮像することができる。可視光より波長が長い励起光は、可視光に比べて物質によって吸収されにくいので、可視光に比べて物質の深く（たとえば１ｃｍ程度）まで侵入して、検体２０にルミネッセンス光を生じさせる。また、ルミネッセンス光は、励起光よりさらに波長が長いので、物質表面まで達し易い。このため、画像処理システム１０によると、可視光によって得られた被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄには含まれない、深層の血管画像１２２６ｄを含む被写体画像１２２０ｃを得ることができる。
【０１１４】
なお、出力部１８０は、被写体画像１２２０ｃと、被写体画像１２２０ｃが撮像されたタイミングの近傍のタイミングで撮像された被写体画像１２２０ｂまたは被写体画像１２２０ｄとを合成した合成画像を生成して外部に出力してよい。例えば、出力部１８０は当該合成画像を表示してよい。また、出力部１８０は、被写体画像１２２０ｃを、被写体画像１２２０ｂまたは被写体画像１２２０ｄに対応づけて記録してもよい。
【０１１５】
また、制御部１０５は、可視光画像を撮像するタイミングでは、発光部１０１０からの光のうち、励起光の波長領域およびルミネッセンス光の波長領域の光をカットして被写体に照射する。このため、画像処理システム１０によると、可視光画像に物質内部の血管画像を含まない、物質表面の観察に適した物質表面の画像を提供することができる。
【０１１６】
図１３は、動きが補正された表面画像の生成を説明する図である。図１２の説明においては、説明を簡単にするために、内視鏡１００の先端部１０２の動き、検体２０の動きなど、画像の大きな時間変化をもたらす要因がないものとして、時刻ｔ１２０１のタイミングで第１受光素子８５１の受光量に応じたＲ信号と、時刻ｔ１２０２のタイミングで第２受光素子８５２および第３受光素子８５３の受光量にそれぞれ応じたＢ信号およびＧ信号を多重化して、被写体画像１２３０ｃを生成する処理の一例を説明した。この処理では、内視鏡１００の先端部１０２の動き、検体２０の動きなどに起因して、可視光画像においてＲ信号と他の色の信号との間にずれが生じる場合がある。
【０１１７】
図１３および図１４に関連して、上記の動きなどによる可視光画像への影響を補正するための画像処理部１４０の動作および機能、特に動き特定部２７０および被写体画像像生成部２８０の動作を中心に説明する。
【０１１８】
動き特定部２７０は、複数のタイミングにおけるＢ信号による画像に基づいて、当該画像におけるオブジェクトの動きを特定する。ここで、オブジェクトの動きは、検体２０自身の動き、内視鏡１００の先端部１０２の動き、撮像部１１０のズーム値の時間変化など、画像の時間変化をもたらす動きを含む。また、内視鏡１００の先端部１０２の動きは、撮像部１１０の撮像位置の時間変化をもたらす先端部１０２の位置の時間変化、撮像部１１０の撮像方向の時間変化をもたらす先端部１０２の向きの時間変化を含む。
【０１１９】
ここで、動き特定部２７０は、時刻ｔ１２０１および時刻ｔ１２０２におけるＢ信号の画像に基づいて、オブジェクトの動きを特定する。例えば、動き特定部２７０は、複数の画像からそれぞれ抽出されたオブジェクトをマッチングすることにより、オブジェクトの動きを特定してよい。
【０１２０】
被写体画像生成部２８０は、当該動きに基づいて時刻ｔ１２０１のタイミングでのＲ信号を補正して、時刻ｔ１２０２のタイミングで得られるべきＲ信号を生成する。そして、被写体画像生成部２８０は、補正により生成されたＲ信号、時刻ｔ１２０２のタイミングでのＢ信号、時刻ｔ１２０２のタイミングでのＧ信号を多重化して、時刻ｔ１２０２での表面画像を生成する。
【０１２１】
画像１３２１ｂは、時刻ｔ１２０１における第１受光素子８５１からのＲ信号の画像とする。画像１３２２ｂおよび画像１３２２ｃは、それぞれ時刻ｔ１２０１および時刻ｔ１２０２における第２受光素子８５２からのＢ信号の画像とする。画像１３２３ｂおよび画像１３２３ｃは、それぞれ時刻ｔ１２０１および時刻ｔ１２０２における第３受光素子８５３からのＧ信号の画像とする。
【０１２２】
ここでは、動き特定部２７０は、画像１３２２ｂおよび画像１３２２ｃの画像内容に基づいて動きを特定する。具体的には、動き特定部２７０は、画像１３２２ｂおよび画像１３２２ｃから、同じ被写体を示すオブジェクトを抽出する。本図の例では、動き特定部２７０は、画像１３２２ｂおよび画像１３２２ｃから、それぞれオブジェクト１３５２ｂおよびオブジェクト１３５２ｃを抽出する。
【０１２３】
動き特定部２７０は、オブジェクト１３５２ｂおよびオブジェクト１３５２ｃのそれぞれの位置の差を算出する。本図の例では、説明を簡単にすべく、当該位置の差が画像上のｙ方向に生じているとして、動き特定部２７０は、オブジェクト１３５２ｂの位置とオブジェクト１３５２ｃの位置との位置差Δｙ１を算出する。
【０１２４】
被写体画像生成部２８０は、算出した位置差Δｙ１に応じた量だけ画像１３２１ｂをｙ方向にずらすことによって、画像１３２１ｃを生成する。被写体画像生成部２８０は、画像１３２１ｃ、画像１３２２ｃ、画像１３２３ｃを合成することにより、表面画像１３３０ｃを生成する。なお、ここでいう合成は、画像１３２１ｃを示すＲ信号、画像１３２２ｃを示すＢ信号、画像１３２３ｃを示すＧ信号を、所定の重みづけで多重化する処理を含む。
【０１２５】
なお、上記の説明では、Ｂ信号の画像１３２２を用いて動きを特定する場合について説明したが、同様にして、Ｇ信号の画像１３２３を用いて動きを特定することもできる。動き特定部２７０が動きを特定するためにいずれの波長領域の画像を用いるかは、撮像された画像のコントラストに基づいて決定してよい。例えば、動き特定部２７０は、コントラストがより大きい画像をより優先して用いて、動きを特定してよい。表面の微細構造の像が明瞭であるなど、微細構造の像を動き特定用のオブジェクトとして用いることができる場合には、Ｂ信号の画像を用いて動きをより正確に特定することができる場合がある。また、表面のより大きな凹凸構造の像が明瞭であるなど、凹凸構造の像を動き特定用のオブジェクトとして用いることができる場合には、Ｇ信号の画像を用いて動きをより正確に特定することができる場合がある。
【０１２６】
また、被写体画像生成部２８０は、Ｒ信号の画像に対する動きの補正量を、画像領域毎に異ならせてよい。例えば、撮像部１１０の撮像方向が被写体表面に垂直であり、内視鏡１００の先端部１０２が被写体表面に水平に移動しているとすると、オブジェクトの移動量はどの画像領域でも等しいとみなすことができる。一方、例えば撮像部１１０の撮像方向が被写体表面に垂直でない場合には、先端部１０２から遠方の領域が撮像された画像領域における動き量は、先端部１０２に近い領域が撮像された画像領域より動き量が小さくなる場合がある。
【０１２７】
被写体画像生成部２８０が、Ｒ信号の画像に対する動きの補正量を画像領域毎に算出するためには、被写体表面と撮像部１１０との間の位置関係が既知または推定できれば、当該位置関係および画像領域の位置に基づいて、動きの補正量を算出することができる。なお、被写体画像生成部２８０は、先端部１０２の位置・向きを制御する制御値、撮像部１１０のズーム値を制御する制御値など、画像の時間変化をもたらす内視鏡１００を操作する制御値を取得して、当該制御値に基づき、Ｒ信号の画像に対する動きの補正量を算出してもよい。
【０１２８】
他にも、動き特定部２７０はオブジェクトの動きを画像領域毎に算出してもよい。被写体画像生成部２８０は、画像領域毎のオブジェクトの動きに基づき、各画像領域の画像に対する動きの補正量を算出してもよい。
【０１２９】
なお、動き特定部２７０は、画像領域毎に動きを特定する場合には、いずれの波長領域の光による画像を用いて動きを特定するかを、画像領域毎に決定してよい。例えば、動き特定部２７０は、画像領域毎に各画像のコントラストを算出する。そして、動き特定部２７０は、各画像領域について、より大きいコントラストが算出された波長領域の光による複数の画像を他の波長の画像より優先して選択して、選択した複数の画像を用いてオブジェクトの動きを特定してよい。
【０１３０】
以上図１２および図１３に関連して説明したように、動き特定部２７０は、第１のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光による画像、および、第２のタイミングにおいて複数の第２受光素子８５２が受光した第２波長領域の光による画像に基づいて、第１のタイミングおよび第２のタイミングの間における画像上のオブジェクトの動きを特定する。そして、被写体画像生成部２８０は、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光、第２のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および動きに基づいて、第２のタイミングにおける表面画像を生成する。
【０１３１】
図１４は、動きが補正された表面画像の生成の他の例を説明する図である。本図で説明する例では、動き特定部２７０は、時刻ｔ１２００のタイミングで得られたＲ信号の画像１４２１ａおよび時刻ｔ１２０１のタイミングで得られたＲ信号の画像１４２１ｂを用いて、オブジェクトの動きを特定する。図１３に関連して説明した方法と同様に、動き特定部２７０は、画像１４２１ａおよび画像１４２１ｂから、同じ被写体を示すオブジェクトを抽出する。本図の例では、動き特定部２７０は、画像１４２１ａおよび画像１４２１ｂから、それぞれオブジェクト１４５１ａおよびオブジェクト１４５１ｂを抽出する。
【０１３２】
そして、動き特定部２７０は、オブジェクト１４５１ａおよびオブジェクト１４５１ｂのそれぞれの位置の差を算出する。本図の例でも、説明を簡単にすべく当該位置差が画像上のｙ方向に生じているとして、動き特定部２７０は、オブジェクト１４５１ａの位置とオブジェクト１４５１ｂの位置との位置差Δｙ２を算出する。そして、図１３に関連して説明した方法と同様に、被写体画像生成部２８０は、算出した位置差Δｙ２に応じた量だけ画像１４２１ｂをｙ方向にずらすことによって、画像１４２１ｃを生成する。被写体画像像生成部２８０は、画像１４２１ｃ、時刻ｔ１２０２における第３受光素子８５３からのＧ信号の画像である画像１４２２ｃ、および、時刻ｔ１２０２における第３受光素子８５３からのＧ信号の画像である画像１４２３ｃを合成することにより、表面画像１４３０ｃを生成する。
【０１３３】
なお、上記においては画像１４２１ａおよび画像１４２１ｂを用いて動きを特定したが、動き特定部２７０は、画像１４２１ｂと、時刻ｔ１２０３で得られたＲ信号の画像を用いて、動きを特定してもよい。このように、動き特定部２７０は、動きが補正されたＲ信号の画像を生成する対象時刻である時刻ｔ１２０１の前後の時刻のタイミングを含む複数のタイミングで得られた画像から、動きを特定してよい。可視光画像の表示をある程度遅延させることが許容できる場合には、後のタイミングの画像も用いることで、動きの特定精度をより高めることができる場合がある。
【０１３４】
以上図１４に関連して説明したように、動き特定部２７０は、第１のタイミングを含む第２のタイミング以外の複数のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光による複数の画像に基づいて、複数のタイミングの間における画像上のオブジェクトの動きを特定する。そして、被写体画像生成部２８０は、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光、第２のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および動きに基づいて、第２のタイミングにおける表面画像を生成する。
【０１３５】
なお、図１３および図１４に関連して、動きの特定処理の一例として、動き特定部２７０が２のタイミングで撮像された画像を用いて動きを特定する処理を説明したが、動き特定部２７０は、３以上のタイミングで撮像された画像を用いて動きを特定してもよい。また、動き特定部２７０は、Ｂ信号の画像およびＧ信号の画像に加えて、さらにＲ信号の画像の中から、動きを特定するために用いる波長領域の画像を、画像領域毎に選択することができる。
【０１３６】
なお、オブジェクト画像補正部２２０は、被写体画像１２２０ｃに対して上述のぼけ補正処理を施す場合に、動き特定部２７０が特定した動きに基づき、被写体画像１２２０ｃに含まれる血管画像１２２２ｃおよび血管画像１２２４ｃが、他の被写体画像１２２０に含まれる血管画像１２２２および血管画像１２２４のいずれに対応しているかを特定することができる。
【０１３７】
また、第２受光素子８５２および第３受光素子８５３は、当該ルミネッセンス光の波長領域の光に感度を有しており、時刻ｔ１２０２に代表されるタイミングにおいて、被写体からのルミネッセンス光を受光してよい。この場合、分光フィルタ部８２０、および受光側励起光カットフィルタ部８３０は、ルミネッセンス光の波長領域の光を透過してよい。
【０１３８】
この場合、オブジェクト画像取得部２１０は、第１受光素子８５１、第２受光素子８５２、第３受光素子８５３のうち、近傍の複数の受光素子からの画像信号を加算する画素加算処理をすることにより、オブジェクト画像を生成してよい。なお、受光素子からの画像信号とは、各受光素子の受光量に応じた電荷量を示す信号であってよい。当該電荷量を示す信号は、各受光素子の受光量に応じたアナログ信号であってよく、アナログ信号をＡ／Ｄ変換して得られたデジタル信号であってもよい。いずれの画素加算処理によっても、信号成分を増加することができる。一方、画素加算処理によるランダムなノイズ成分の増加量は、画素加算処理による信号成分の増加量に比べて小さい。このため、画素加算しない場合に比べて、Ｓ／Ｎ比を向上することができる。
【０１３９】
また、動き特定部２７０は、図１３および図１４に関連して説明した方法と同様にして、時刻ｔ１２０２に代表されるタイミング以外の複数のタイミングで得られたＲ信号、Ｇ信号、またはＢ信号のいずれかを用いて動きを特定することができる。そして、被写体画像像生成部２８０は、当該動きに基づき、時刻ｔ１２０２に代表されるタイミング以外のタイミングで得られた可視光の被写体画像を補正することにより、時刻ｔ１２０２に代表されるタイミングにおいて得られるべき可視光の被写体画像を生成することができる。
【０１４０】
なお、上記の説明において、光照射部１５０の構成として、可視光の波長領域および励起光の波長領域を含む光を発光することができる一の光源および回転フィルタを用いた構成を例示した。その他にも、光照射部１５０は、異なる波長領域の光を発光する複数の発光素子の発光を制御することにより、励起光を含む光および可視光を時分割で発光することもできる。例えば、可視光領域の光を発光する発光素子としてはＬＥＤなどの半導体素子を例示することができる。また、励起光を発光する発光素子としては、半導体レーザなどの半導体素子を例示することができる。また、励起されて蛍光などのルミネッセンス光を発光する蛍光体を、発光素子として用いることもできる。
【０１４１】
なお、発光制御部１７０は、複数の発光素子のそれぞれの発光強度を各タイミングで制御することにより、励起光を含む光および可視光を時分割で発光することもできる。「複数の発光素子のそれぞれの発光強度を各タイミングで制御する」とは、発光させる発光素子の組み合わせを各タイミングで異ならせる制御を含む。
【０１４２】
また、発光素子は、内視鏡１００の先端部１０２に設けられてもよい。なお、発光素子は、電気励起により発光する発光素子であってよく、光励起により発光する発光素子であってもよい。発光素子が光励起により発光する発光素子である場合、光照射部１５０は、当該発光素子を励起する励起用の光を発光する励起部と、当該発光素子とを含んでよい。ここで当該発光素子は、励起用の光の波長に応じて異なるスペクトルの光を発光してよい。この場合、発光制御部１７０は、当該励起部が発光する励起用の光の波長を各タイミングで制御することにより、照射光のスペクトルを制御することができる。また、同一の励起用の光により各発光素子が発光する光のスペクトルが、複数の発光素子の間で異なってもよい。また、励起用の光のうち、当該発光素子を透過した光が、照射光として被写体に照射されてもよい。
【０１４３】
なお、上記の説明においては、撮像部１１０において受光側に分光フィルタ部８２０を有する構成を例に挙げて説明した。その他の構成としては、撮像部１１０は分光フィルタ部８２０を有してなくてよい。この場合、光照射部１５０は、Ｒの波長領域の光、Ｇの波長領域の光、Ｂの波長領域の光、励起光の波長領域の光を時分割で照射してよい。可視光が照射されているタイミングにおける複数の受光素子からの信号を多重化することにより、表面画像取得部２１４は可視光の被写体画像を生成することができる。また、オブジェクト画像取得部２１０は、励起光が照射されているタイミングにおける受光素子からの信号によりルミネッセンス光の被写体画像を生成することができる。
【０１４４】
なお、Ｒの波長領域の光、Ｇの波長領域の光、Ｂの波長領域の光、励起光の波長領域の光を時分割で照射するための光照射部１５０の構成としては、上述したような可視光および励起光の波長領域を含む波長領域の光を発光することができる一以上の光源と、各波長領域の光を主として選択的に透過する複数のフィルタ部を有する回転フィルタを用いた構成を用いることができる。その他にも、上述したような異なる波長領域の光を発光する複数の発光素子の発光を制御する構成を用いることもできる。
【０１４５】
また、各波長領域の光を時分割で照射する構成においても、動き特定部２７０は、図１３および図１４に関連して説明した方法と同様にして、複数のタイミングにおけるいずれかの色成分の画像信号を用いて動きを特定することができる。そして、被写体画像像生成部２８０は、例えばＲの波長領域の光が照射されているタイミングにおけるＲ信号の画像および当該動きに基づき、Ｒの波長領域の光が照射されていない他のタイミングにおいて得られるべきＲ信号の画像を生成することができる。Ｇの波長領域の光が照射されていないタイミングにおけるＧ信号の画像、Ｂの波長領域の光が照射されていないタイミングにおけるＢ信号の画像についても同様にして生成することで、被写体画像像生成部２８０は、各タイミングにおいて得られるべき可視光の表面画像を生成することができる。
【０１４６】
図１５は、本実施形態に係る画像処理システム１０のハードウェア構成の一例を示す。本実施形態に係る画像処理システム１０は、ＣＰＵ周辺部、入出力部、およびレガシー入出力部を備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有する。
【０１４７】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【０１４８】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、画像処理システム１０内のＣＰＵ１５０５が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
【０１４９】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理システム１０が起動時に実行するブート・プログラム、画像処理システム１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【０１５０】
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される通信プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。通信プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像処理システム１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像処理システム１０にインストールされて実行される通信プログラムは、ＣＰＵ１５０５等に働きかけて、画像処理システム１０を、図１から図１４にかけて説明した画像処理システム１０が備える各構成要素として機能させる。例えば、当該プログラムは、画像処理システム１０を、図１から図１４にかけて説明した撮像部１１０、画像処理部１４０、出力部１８０、光照射部１５０、および制御部１０５等として機能させる。
【０１５１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０１５２】
【図１】一実施形態における画像処理システム１０の一例を検体２０とともに示す図である。
【図２】画像処理部１４０のブロック構成の一例を示す図である。
【図３】検体２０の内部で光が反射等する様子を模式的に示す図である。
【図４】撮像された血管画像の一例を示す図である。
【図５】深さ情報格納部２３２が格納しているデータの一例をテーブル形式で示す図である。
【図６】補正された血管画像の一例を示す図である。
【図７】画像処理システム１０の動作フローの一例を示す図である。
【図８】撮像部１１０の構成の一例を示す図である。
【図９】第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３の分光感度特性の一例を示す図である。
【図１０】光照射部１５０の構成の一例を示す図である。
【図１１】光源側フィルタ部１０２０の構成の一例を示す図である。
【図１２】撮像部１１０による撮像タイミングおよび画像処理部１４０が生成した画像の一例を示す図である。
【図１３】動きが補正された表面画像の生成を説明する図である。
【図１４】動きが補正された表面画像の生成の他の例を説明する図である。
【図１５】本実施形態に係る画像処理システム１０のハードウェア構成の一例を示す図である。
【符号の説明】
【０１５３】
１０ 画像処理システム
２０ 検体
１００ 内視鏡
１０２ 先端部
１０５ 制御部
１１０ 撮像部
１１２ レンズ
１１４ 受光部
１２０ ライトガイド
１２４ 出射口
１３０ 鉗子口
１３５ 鉗子
１３８ ノズル
１４０ 画像処理部
１５０ 光照射部
１６０ 撮像制御部
１７０ 発光制御部
１８０ 出力部
１９０ ＩＣＧ注入部
２１０ オブジェクト画像取得部
２１２ 光画像取得部
２１４ 表面画像取得部
２１６ オブジェクト領域特定部
２２０ オブジェクト画像補正部
２２２ 補正テーブル
２３０ 深さ算出部
２３２ 深さ情報格納部
２５０ 物質量算出部
２５２ 物質量記憶部
２５４ 物質量更新部
２６０ 表示制御部
４１０、４２０、６１０、６２０ 血管画像
６００ 画像
８２０ 分光フィルタ部
８３０ 受光側励起光カットフィルタ部
８５１ 第１受光素子
８５２ 第２受光素子
８５３ 第３受光素子
９３０、９１０、９２０ 線
１０１０ 発光部
１０２０ 光源側フィルタ部
１１１０ 励起光カットフィルタ部
１１２０ 照射光カットフィルタ部
１１１０ 励起光カットフィルタ部
１０２０ 光源側フィルタ部
１２２０、１２３０ 被写体画像
１２２２、１２２４、１２２６、１２３２、１２３４ 血管画像
１３２１、１３２１、１３２２、１３２３ 画像
１３３０ 表面画像
１３５２ オブジェクト
１４２１、１４２２、１４２３ 画像
１４３０ 表面画像
１４５１ オブジェクト
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
【特許請求の範囲】
【請求項１】
物体の表面から、前記物体の内部に存在するオブジェクトまでの深さを算出する深さ算出部と、
前記オブジェクトからの光を受光する受光部と、
前記受光部が受光した光の量および前記深さ算出部が算出した前記オブジェクトまでの深さに基づいて、前記受光部が受光する光を発する、前記オブジェクト内の物質の量を算出する物質量算出部と
を備える画像処理システム。
【請求項２】
前記受光部は、前記オブジェクトと略同一の量の前記物質を含む他のオブジェクトからの光を受光し、
前記深さ算出部は、前記受光部が受光した前記他のオブジェクトからの光の量および前記物質量算出部が算出した前記物質の量に基づいて、前記表面から前記他のオブジェクトまでの深さを算出する
請求項１に記載の画像処理システム。
【請求項３】
前記受光部は、前記他のオブジェクトからの複数の波長領域の光を受光し、
前記深さ算出部は、前記受光部が受光した前記他のオブジェクトからの複数の波長領域毎の光の量および前記物質量算出部が算出した前記物質の量に基づいて、前記他のオブジェクトまでの深さを算出する
請求項２に記載の画像処理システム。
【請求項４】
前記物質量算出部は、前記深さ算出部が算出した前記オブジェクトまでの深さが予め定められた値より小さい場合に、前記受光部が受光した前記オブジェクトからの光の量および前記深さ算出部が算出した前記オブジェクトまでの深さに基づいて、前記オブジェクト内の物質の量を算出する
請求項３に記載の画像処理システム。
【請求項５】
前記深さ算出部は、前記受光部が受光した、前記表面から前記オブジェクトより深い位置に存在する前記他のオブジェクトからの複数の波長領域毎の光の量および前記物質量算出部が算出した物質の量に基づいて、前記他のオブジェクトまでの深さを算出する
請求項３または４に記載の画像処理システム。
【請求項６】
前記受光部は、前記オブジェクトの内部に存在するルミネッセンス物質が発する光を含む前記オブジェクトからの光を受光し、
前記物質量算出部は、前記受光部が受光した前記ルミネッセンス物質が発する光の量および前記深さ算出部が算出した前記オブジェクトまでの深さに基づいて、前記オブジェクトの内部に存在する前記ルミネッセンス物質の量を算出する
請求項２乃至５のいずれかに記載の画像処理システム。
【請求項７】
前記受光部は、前記表面から前記オブジェクトより深い位置に存在する前記他のオブジェクトの内部に存在するルミネッセンス物質が発する光を含む複数の波長領域の光を受光し、
前記深さ算出部は、前記受光部が受光した前記他のオブジェクトからの複数の波長領域毎の光の量および前記物質量算出部が算出した前記ルミネッセンス物質の量に基づいて、前記他のオブジェクトまでの深さを算出する
請求項６に記載の画像処理システム。
【請求項８】
オブジェクトからの複数の波長領域毎の光の量およびオブジェクトの内部に存在するルミネッセンス物質の量に対応づけて、物体の表面からオブジェクトまでの深さを格納する深さ情報格納部
をさらに備え、
前記深さ算出部は、前記受光部が受光した前記他のオブジェクトからの複数の波長領域毎の光の量、前記物質量算出部が算出した前記ルミネッセンス物質の量、および前記深さ情報格納部が格納している深さに基づいて、前記他のオブジェクトまでの深さを算出する
請求項７に記載の画像処理システム。
【請求項９】
前記受光部は、前記オブジェクトの中に注入されることによって前記オブジェクトの内部に存在している前記ルミネッセンス物質が発する光を含む複数の波長領域の光を受光し、
前記物質量算出部は、前記オブジェクトの中に注入されることによって前記オブジェクトの内部に存在しているルミネッセンス物質の量を算出する
請求項６乃至８のいずれかに記載の画像処理システム。
【請求項１０】
前記物質量算出部が算出した前記オブジェクトの内部の前記ルミネッセンス物質の量を記憶する物質量記憶部と、
前記物質量算出部が新たに算出した前記ルミネッセンス物質の量が、前記物質量記憶部が記憶している前記ルミネッセンス物質の量より予め定められた量以上変化したことを条件として、前記物質量記憶部が記憶している前記ルミネッセンス物質の量を、前記物質量算出部が新たに算出した前記ルミネッセンス物質の量で更新する物質量更新部と
をさらに備える請求項９に記載の画像処理システム。
【請求項１１】
前記受光部は、前記オブジェクトからの複数の波長領域の光を受光し、
前記深さ算出部は、前記受光部が受光した複数の波長領域毎の光の量に基づいて、前記表面から前記オブジェクトまでの深さを算出する
請求項１０に記載の画像処理システム。
【請求項１２】
前記表面を通じて撮像された前記他のオブジェクトの画像であるオブジェクト画像を取得するオブジェクト画像取得部と、
前記深さ算出部が算出した前記他のオブジェクトまでの深さに基づいて、前記オブジェクト画像取得部が取得した前記オブジェクト画像を補正するオブジェクト画像補正部と
をさらに備える請求項２乃至１１のいずれかに記載の画像処理システム。
【請求項１３】
前記オブジェクト画像補正部は、前記深さ算出部が算出した前記他のオブジェクトまでの深さに基づいて、前記他のオブジェクトから前記表面までの間で前記他のオブジェクトからの光が散乱されることによる前記オブジェクト画像の広がりを補正する
請求項１２に記載の画像処理システム。
【請求項１４】
前記表面から前記他のオブジェクトまでの深さに対応づけて、前記オブジェクト画像の広がりを補正する補正値を格納する補正テーブル
をさらに備え、
前記オブジェクト画像補正部は、前記深さ算出部が算出した深さおよび前記補正値に基づいて、前記オブジェクト画像の広がりを補正する
請求項１３に記載の画像処理システム。
【請求項１５】
前記オブジェクト画像補正部により補正された前記オブジェクト画像の表示を、前記深さに応じて制御する表示制御部
をさらに備える請求項１２乃至１４のいずれかに記載の画像処理システム。
【請求項１６】
前記表示制御部は、前記オブジェクト画像補正部により補正された前記オブジェクト画像における前記オブジェクトの像の明るさまたは色を、前記深さに応じて変化させて表示させる
請求項１５に記載の画像処理システム。
【請求項１７】
物体の表面から、前記物体の内部に存在するオブジェクトまでの深さを算出する深さ算出段階と、
前記オブジェクトからの光を受光する受光段階と、
前記受光段階において受光された光の量および前記深さ算出段階において算出された前記オブジェクトまでの深さに基づいて、前記受光段階において受光された光を発する、前記オブジェクト内の物質の量を算出する物質量算出段階と
を備える画像処理方法。
【請求項１８】
画像処理システム用のプログラムであって、前記画像処理システムを、
物体の表面から、前記物体の内部に存在するオブジェクトまでの深さを算出する深さ算出部、
前記オブジェクトからの光を受光する受光部、
前記受光部が受光した光の量および前記深さ算出部が算出した前記オブジェクトまでの深さに基づいて、前記受光部が受光する光を発する、前記オブジェクト内の物質の量を算出する物質量算出部
として機能させるプログラム。
【請求項１】
物体の表面から、前記物体の内部に存在するオブジェクトまでの深さを算出する深さ算出部と、
前記オブジェクトからの光を受光する受光部と、
前記受光部が受光した光の量および前記深さ算出部が算出した前記オブジェクトまでの深さに基づいて、前記受光部が受光する光を発する、前記オブジェクト内の物質の量を算出する物質量算出部と
を備える画像処理システム。
【請求項２】
前記受光部は、前記オブジェクトと略同一の量の前記物質を含む他のオブジェクトからの光を受光し、
前記深さ算出部は、前記受光部が受光した前記他のオブジェクトからの光の量および前記物質量算出部が算出した前記物質の量に基づいて、前記表面から前記他のオブジェクトまでの深さを算出する
請求項１に記載の画像処理システム。
【請求項３】
前記受光部は、前記他のオブジェクトからの複数の波長領域の光を受光し、
前記深さ算出部は、前記受光部が受光した前記他のオブジェクトからの複数の波長領域毎の光の量および前記物質量算出部が算出した前記物質の量に基づいて、前記他のオブジェクトまでの深さを算出する
請求項２に記載の画像処理システム。
【請求項４】
前記物質量算出部は、前記深さ算出部が算出した前記オブジェクトまでの深さが予め定められた値より小さい場合に、前記受光部が受光した前記オブジェクトからの光の量および前記深さ算出部が算出した前記オブジェクトまでの深さに基づいて、前記オブジェクト内の物質の量を算出する
請求項３に記載の画像処理システム。
【請求項５】
前記深さ算出部は、前記受光部が受光した、前記表面から前記オブジェクトより深い位置に存在する前記他のオブジェクトからの複数の波長領域毎の光の量および前記物質量算出部が算出した物質の量に基づいて、前記他のオブジェクトまでの深さを算出する
請求項３または４に記載の画像処理システム。
【請求項６】
前記受光部は、前記オブジェクトの内部に存在するルミネッセンス物質が発する光を含む前記オブジェクトからの光を受光し、
前記物質量算出部は、前記受光部が受光した前記ルミネッセンス物質が発する光の量および前記深さ算出部が算出した前記オブジェクトまでの深さに基づいて、前記オブジェクトの内部に存在する前記ルミネッセンス物質の量を算出する
請求項２乃至５のいずれかに記載の画像処理システム。
【請求項７】
前記受光部は、前記表面から前記オブジェクトより深い位置に存在する前記他のオブジェクトの内部に存在するルミネッセンス物質が発する光を含む複数の波長領域の光を受光し、
前記深さ算出部は、前記受光部が受光した前記他のオブジェクトからの複数の波長領域毎の光の量および前記物質量算出部が算出した前記ルミネッセンス物質の量に基づいて、前記他のオブジェクトまでの深さを算出する
請求項６に記載の画像処理システム。
【請求項８】
オブジェクトからの複数の波長領域毎の光の量およびオブジェクトの内部に存在するルミネッセンス物質の量に対応づけて、物体の表面からオブジェクトまでの深さを格納する深さ情報格納部
をさらに備え、
前記深さ算出部は、前記受光部が受光した前記他のオブジェクトからの複数の波長領域毎の光の量、前記物質量算出部が算出した前記ルミネッセンス物質の量、および前記深さ情報格納部が格納している深さに基づいて、前記他のオブジェクトまでの深さを算出する
請求項７に記載の画像処理システム。
【請求項９】
前記受光部は、前記オブジェクトの中に注入されることによって前記オブジェクトの内部に存在している前記ルミネッセンス物質が発する光を含む複数の波長領域の光を受光し、
前記物質量算出部は、前記オブジェクトの中に注入されることによって前記オブジェクトの内部に存在しているルミネッセンス物質の量を算出する
請求項６乃至８のいずれかに記載の画像処理システム。
【請求項１０】
前記物質量算出部が算出した前記オブジェクトの内部の前記ルミネッセンス物質の量を記憶する物質量記憶部と、
前記物質量算出部が新たに算出した前記ルミネッセンス物質の量が、前記物質量記憶部が記憶している前記ルミネッセンス物質の量より予め定められた量以上変化したことを条件として、前記物質量記憶部が記憶している前記ルミネッセンス物質の量を、前記物質量算出部が新たに算出した前記ルミネッセンス物質の量で更新する物質量更新部と
をさらに備える請求項９に記載の画像処理システム。
【請求項１１】
前記受光部は、前記オブジェクトからの複数の波長領域の光を受光し、
前記深さ算出部は、前記受光部が受光した複数の波長領域毎の光の量に基づいて、前記表面から前記オブジェクトまでの深さを算出する
請求項１０に記載の画像処理システム。
【請求項１２】
前記表面を通じて撮像された前記他のオブジェクトの画像であるオブジェクト画像を取得するオブジェクト画像取得部と、
前記深さ算出部が算出した前記他のオブジェクトまでの深さに基づいて、前記オブジェクト画像取得部が取得した前記オブジェクト画像を補正するオブジェクト画像補正部と
をさらに備える請求項２乃至１１のいずれかに記載の画像処理システム。
【請求項１３】
前記オブジェクト画像補正部は、前記深さ算出部が算出した前記他のオブジェクトまでの深さに基づいて、前記他のオブジェクトから前記表面までの間で前記他のオブジェクトからの光が散乱されることによる前記オブジェクト画像の広がりを補正する
請求項１２に記載の画像処理システム。
【請求項１４】
前記表面から前記他のオブジェクトまでの深さに対応づけて、前記オブジェクト画像の広がりを補正する補正値を格納する補正テーブル
をさらに備え、
前記オブジェクト画像補正部は、前記深さ算出部が算出した深さおよび前記補正値に基づいて、前記オブジェクト画像の広がりを補正する
請求項１３に記載の画像処理システム。
【請求項１５】
前記オブジェクト画像補正部により補正された前記オブジェクト画像の表示を、前記深さに応じて制御する表示制御部
をさらに備える請求項１２乃至１４のいずれかに記載の画像処理システム。
【請求項１６】
前記表示制御部は、前記オブジェクト画像補正部により補正された前記オブジェクト画像における前記オブジェクトの像の明るさまたは色を、前記深さに応じて変化させて表示させる
請求項１５に記載の画像処理システム。
【請求項１７】
物体の表面から、前記物体の内部に存在するオブジェクトまでの深さを算出する深さ算出段階と、
前記オブジェクトからの光を受光する受光段階と、
前記受光段階において受光された光の量および前記深さ算出段階において算出された前記オブジェクトまでの深さに基づいて、前記受光段階において受光された光を発する、前記オブジェクト内の物質の量を算出する物質量算出段階と
を備える画像処理方法。
【請求項１８】
画像処理システム用のプログラムであって、前記画像処理システムを、
物体の表面から、前記物体の内部に存在するオブジェクトまでの深さを算出する深さ算出部、
前記オブジェクトからの光を受光する受光部、
前記受光部が受光した光の量および前記深さ算出部が算出した前記オブジェクトまでの深さに基づいて、前記受光部が受光する光を発する、前記オブジェクト内の物質の量を算出する物質量算出部
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−１６０３８６（Ｐ２００９−１６０３８６Ａ）
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願番号】特願２００８−３０９０７３（Ｐ２００８−３０９０７３）
【出願日】平成２０年１２月３日（２００８．１２．３）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願日】平成２０年１２月３日（２００８．１２．３）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]