画像処理装置及び画像処理方法
【課題】視認を妨げている障害物による反射・吸収・散乱による結像への影響を可及的に低減し、障害物下の組織像を明確に観測し、その障害物下の組織像を容易に提供する装置を提供する。
【解決手段】障害物に覆われている観測対象物の透視画像を生成する演算処理方法を学習で決定する画像処理装置であって、障害物と障害物に覆われている学習対象物との赤外線による撮像データを入力する撮像データ入力部と、撮像データを演算で学習対象物の透視画像データを生成する画像データ演算処理部１２５と、学習対象物の透視画像データと予め取得している学習対象物の画像データとを比較する画像データ比較部１２６と、を備え、画像データ演算処理部１２５は、画像データ比較部１２６からの比較データに基づいて、透視画像データと予め取得している学習対象物の画像データとの差異が小さくなるように撮像データの演算処理方法を変更する、画像処理装置。
【解決手段】障害物に覆われている観測対象物の透視画像を生成する演算処理方法を学習で決定する画像処理装置であって、障害物と障害物に覆われている学習対象物との赤外線による撮像データを入力する撮像データ入力部と、撮像データを演算で学習対象物の透視画像データを生成する画像データ演算処理部１２５と、学習対象物の透視画像データと予め取得している学習対象物の画像データとを比較する画像データ比較部１２６と、を備え、画像データ演算処理部１２５は、画像データ比較部１２６からの比較データに基づいて、透視画像データと予め取得している学習対象物の画像データとの差異が小さくなるように撮像データの演算処理方法を変更する、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。特に、障害物に覆われた観測対象物の組織像を作成するものに関する。
【背景技術】
【０００２】
人間を含めた動物の手術の際に、腫瘍等の手術の対象部位や傷をつけてはいけない周囲の血管や神経束が、血液が混入した髄液などによって視認することが困難なことがしばしばおこる。これは、特に脳神経外科などの繊細な手技が必要な手術において特に顕著な現象である。
【０００３】
このような場合において、従来の血液等の障害物層を除去する方法は、手術中頻回にわたってガーゼや吸引管によって見たい部位を露呈する操作が繰り返されてきた。しかしながら、これらの見たい部位を露呈する操作は、手術の進行に大きな障害となっていた。また、組織上に血液が含まれたガーゼが付着している場合、このガーゼを除去しないで内部を視認することは困難であった。
【０００４】
これらの問題を解決するための従来の方法としては、通常の光学装置を用いた画像診断用の機器として、Ｘ線透視装置、超音波画像診断装置、及びＭＲ画像診断装置を便宜的に手術室に導入することが行われていた。しかしながら、これらの装置においても、それぞれ問題点が存在している。
【０００５】
Ｘ線透視装置においては、視認したい部位にＸ線を照射するために、術者はその部分に触れることができないために、手術を行うと同時に視認したい部位を確認することが困難であった。また、超音波画像診断装置においては、非接触では超音波が伝達されないために、血液等の障害物層に接触させて測定する必要性があった。これは、障害物層が一定の形をしているとはかぎらず、非常に難しい作業である。さらに、ＭＲ画像診断装置においては、装置自体の大きさが非常に巨大であり、また、ＭＲ画像診断装置が強力な磁場が発生しているために、金属の手術器具類使用することができないという問題点を抱えている。
【非特許文献１】T.Zimmermann, J.Rietdorf, R.Pepperkok,"Spectral Imaging and its applications in live cell microscopy",FEBS Letters, 546(1), 87-92(2003)
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の方法では、手術対象部位を視認するときの障害となる物質を除去することなく、手術対象部位の組織像を観測しながら手術することが可能ではなかった。また、手術以外においても、視認するときに障害となる物質を除去することなく、障害となる物質に覆われている観測対象物の組織像を明確に観測することが求められている。そこで、本発明において、視認を妨げている障害物層による光の反射・散乱・吸収の効果を可及的に低減し、障害物下の組織像を明確に観測し、その障害物下の組織像を容易に提供する装置を実現することにある。
【課題を解決するための手段】
【０００７】
本発明の態様に係る画像処理装置は、障害物に覆われている観測対象物の透視画像を生成するための演算処理方法を学習によって決定する画像処理装置であって、障害物と前記障害物に覆われている学習対象物との赤外線による撮像データを入力する撮像データ入力部と、前記撮像データを演算処理することによって前記学習対象物の透視画像データを生成する画像データ演算処理部と、前記学習対象物の前記透視画像データと予め取得している前記学習対象物の画像データとを比較する画像データ比較部と、を備え、前記画像データ演算処理部は、前記画像データ比較部からの比較データに基づいて、前記透視画像データと予め取得している前記学習対象物の画像データとの差異が小さくなるように前記撮像データの演算処理方法を変更する、ものである。
【０００８】
本発明の他の態様に係る画像処理方法は、障害物と前記障害物に覆われている学習対象物の赤外線による撮像データを入力するステップと、前記撮像データから前記学習対象物の透視画像データを生成するステップと、前記学習対象物の前記透視画像データと予め取得している前記学習対象物の画像データとを比較するステップと、前記比較の結果に応じて、前記学習対象物の前記透視画像データと予め取得している前記学習対象物の画像データとの差異が小さくなるように前記撮像データの演算処理方法を変更するステップと、前記演算処理方法を用いて、前記障害物に覆われている観測対象物の透視画像を生成するステップ、を有する画像処理方法である。
【発明の効果】
【０００９】
本発明に係る画像処理装置によれば、観測対象物が人間の目による視認を行うことを妨げる物質によって覆われているときに、その人間の目による視認を行うことを妨げる物質を取り除くことなしに、観測対象物の組織像を容易に提供することができる。このことは、例えば、手術を行っているときの手術部位が血液を含む体液で覆われてしまうときにでも、手術部位の組織像を観測しつつ手術を行うことができることになる。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。本実施の形態は、本発明を画像処理装置に適用したものである。本実施の形態に係る画像処理装置においては、ハイパースペクトルセンサを用いて赤外光領域における波長情報と強度情報を得、観測対象物以外の部分からの反射光をなるべく減らして、障害物層に覆われた観測対象物の情報をなるべく有効に取り出すために、ハイパースペクトルセンサにおいて観測されたさまざまな波長のデータ間の演算処理方法の最適化を行うものである。このさまざまな波長のデータ間の演算処理方法の最適化を行うために、本実施の形態に係る画像処理装置においては多層パーセプトロンを用いている。
【００１１】
本実施の形態に係る画像処理装置においては、血液を含む体液に覆われた手術部位を観測するための装置を一例として説明する。この場合、障害物層が血液を含む体液であり、観測物が生体組織の手術部位である。図１に、水（（ａ−１））、ヘモグロビン（（ａ−２））、及び酸化ヘモグロビン（（ａ−３））の吸光スペクトル特性を示している。縦軸は吸収係数であり、横軸は光の波長である。吸収係数は、入射光と透過光との強度比の対数を透過した光路長で割って算出したものである。つまり、図１に示された吸光スペクトル特性は、吸収係数の波長依存性を示したものである。
【００１２】
図１に示されるように、血液を構成するヘモグロビンや酸化ヘモグロビンの吸収については、可視光領域において大きくなっており、可視光領域の中で波長の長い領域である深紅色のみが視認できるようになる。そのため、血液を含む障害物層に覆われた生体組織は、人間の目による視認を行うことが困難であることがわかる。
【００１３】
これに対して、血液に多量に含まれる水の可視光領域から赤外光領域までにおける吸収については、可視光領域では吸収が少なく、赤外光領域で幾つかの吸収ピークを持っている。つまり、血液を構成するヘモグロビンや酸化ヘモグロビンが可視光を吸収し、赤外光領域においては水による吸収があるため、可視光領域から赤外光領域にかけての幅広い波長領域の光を用いて、血液を含む障害物層の透過させる画像透視計測が困難であることを示唆している。
【００１４】
これらのことから、障害物層の下にある組織像を顕在化させるために、障害物層の吸収や散乱が少なく、かつ観測対象物の組織像が明確なコントラストをもつ波長域を複数選択する必要がある。上記のように選択された波長域は、障害物層の物質によって変化されるものである。つまり、本実施の形態においては、障害物層が血液層であるため、血液層に応じた波長域を選択する必要がある。
【００１５】
上記のように選択された複数の波長域のスペクトルを組み合わせることによって、観測対象物の組織像を得ている。また、不要な散乱光や障害物表面での反射光などは、それらを差し引くことで、本来観測すべき観測対象物の組織像のコントラストを改善することができる。
【００１６】
本実施の形態に係る画像処理装置においては、ハイパースペクトルセンサを用いることによって、観測対象物の組織像を取り込んでいる。ハイパースペクトルセンサとは、ピクセルごとに、多数チャネル（通常３０以上）にスペクトル分解し、該多数チャネルの出力強度から構成されるベクトル量を当該ピクセルのスペクトル強度として登録することを特徴とする分光イメージングセンサである。ここでいうチャネルとは、観測したい波長域に対して十分に狭い波長幅を持った波長領域のことである。ハイパースペクトルセンサを用いることによって、観測対象物のスペクトル特性を高い空間・波長分解能で計測することができる。
【００１７】
図２は本実施の形態に係る画像処理装置において、小動物を対象とした測定の場合に使われる構成例である。上に障害物層２１が覆っている観測対象物２２が移動テーブル１３の上に配置されている。これらの上にハイパースペクトルセンサ１１が位置している。ハイパースペクトルセンサ１１は、ＰＣ１２に接続されている。上に障害物層２１が覆っている観測対象物２２には、光源１４から光が入射されている。障害物層２１と観測対象物２２とから反射した光は、ハイパースペクトルセンサ１１によって観測されている。
【００１８】
図２のような配置にした場合には、障害物層２１と観測対象物２２は移動テーブル１３の上に固定されているため、移動テーブル１３が移動することにより波長情報と光強度が観測され、その情報が組み合わされて画像が形成される。この構成は、これに限られるわけではなく、大きな動物の組織や人体の組織などを観測する場合には、ハイパースペクトルセンサ１１に取り付けられた観測装置を移動させ、静止した対象物の２次元画像を得る構成とする。これらの２つの構成には、作用的に本質的な差異はない。
【００１９】
本実施の形態に係る画像処理装置においては、所望の画像データを取得する前に、ＰＣ１２が学習を繰り返すことによって、演算処理方法を変更している。ここでいう学習とは、予め画像データがわかっている対象物（学習対象物）の撮像データをハイパースペクトルセンサ１１によって取得し、その撮像データをＰＣ１２の撮像データ入力部に入力し、この撮像データと予め取得している学習対象物の画像データである教師データとの比較を画像データ比較部が行い、この比較結果に応じて、教師データと、撮像データから演算処理して出力した演算処理学習画像データとの差異を小さくなるように演算処理方法を画像データ演算処理部が変更することである。
【００２０】
ここで、撮像データ入力部と画像データ演算処理部と画像データ比較部とを有するＰＣ１２について説明する。図３は、ＰＣ１２における撮像データ入力部と画像データ演算処理部と画像データ比較部との構成を模式的に示すブロック図である。
【００２１】
ハイパースペクトルセンサ１１からの学習対象物の撮像データ２０１は、Ｉ／Ｏインターフェース１２４を介してメインメモリ１２２に格納される。さらに、この撮像データ２０１は、後の使用のために不揮発性記憶装置１２３にも記録される。また、不揮発性記憶装置１２３には、予め取得している学習対象物の画像データが記録されている。
【００２２】
ハイパースペクトルセンサ１１から画像データを取り込むためのインターフェースとしては、典型的にはキャプチャボードが使用される。メインメモリ１２２としてはＤＲＡＭを、不揮発性記憶装置１２３としてはハードディスク・ドライブ（ＨＤＤ）を典型的に使用することができる。
【００２３】
ＰＣ１２内にはＣＰＵ１２１が実装されている。ＣＰＵ１２１は、不揮発性記憶装置１２３に記憶されているプログラムのコマンドに従って動作することによって、障害物に覆われている観測対象物の透視画像を生成するための、学習と演算処理方法の変更との各処理を実行する。プログラムは、不揮発性記憶装置１２３からメインメモリ１２２にロードされて、ＣＰＵ１２１によって実行される。
【００２４】
また、ＣＰＵ１２１はプログラムによって、画像データ演算処理部１２５にも画像データ比較部１２６にもなりうる。Ｉ／Ｏインターフェース１２４を介してメインメモリ１２２に格納された学習対象物の撮像データ２０１は、画像データ演算処理部１２５に読み出される。このとき、画像データ処理部１２５によって、学習対象物の撮像データ２０１は演算処理学習画像データ２０２にデータ処理され、そのデータ処理された演算処理学習画像データは、メインメモリに記憶させられる。
【００２５】
また、ＣＰＵ１２１は、不揮発性記憶装置１２３に記憶されている、教師データ２０３をメインメモリ１２２に読み込み記憶している。さらに、画像データ比較部１２６は、メインメモリ１２２に記憶された、教師データ２０３と演算処理学習画像データ２０２とを読出し比較を行っている。この比較結果は、画像データ演算処理部１２５に送信され、この比較結果に応じて、画像データ演算処理部１２５は、教師データ２０３と、撮像データから演算処理して出力した演算処理学習画像データ２０２との差異を小さくなるように演算処理方法を変更している。このプログラムは、ＣＤ−ＲＯＭやＤＶＤなどの記録媒体に保存して、各コンピュータにインストールすることができる。
【００２６】
図には示していないが、ＰＣ１２には、ＣＰＵ１２２やメインメモリ１２２とバスを介して接続されたコントローラが実装され、これらにデータ入力をするためのマウスやキーボード、あるいは画像出力のためのディスプレイやプリンタを接続する。さらに他のコンピュータと通信を行うために、ＰＣ１２を、通信アダプタを介してネットワークに接続することも可能である。
【００２７】
図４に、障害物層２１の一例としての血液層を透過して観測したい観測対象物２２の一例として紙を想定したときの可視光領域による写真像（図４（ａ））と、そのときの一画像の二つのピクセルにおける、ハイパースペクトルセンサによって観測された反射光強度の波長依存性を示している（図４（ｂ）、（ｃ））。図４（ｂ）、（ｃ）における縦軸は反射光強度であり、横軸は障害物層２１に覆われた観測対象物２２への入射光波長である。このときの二つのピクセルは、血液層が紙を覆っている部分のピクセルから一つ、血液層が位置していない紙の部分のピクセルから一つ採っている。
【００２８】
この二つのピクセルからの反射光強度の波長依存性を見ると、図４（ｂ）、（ｃ）に示されるように、血液層が位置していない紙の部分のピクセルにおいては、９００ｎｍ〜１７００ｎｍの赤外光領域における反射光強度が非常に強い。それに対して、血液層が紙を覆っている部分のピクセルにおいては、１１００ｎｍ〜１３００ｎｍの領域において反射光強度を持つが、その他の領域においては、血液層が位置していない紙の部分のピクセルと比較するとほとんど反射光がないことが示されている。
【００２９】
つまり、血液層の下に位置する紙の部分を観測するためには、血液層が紙を覆っている部分のピクセルと血液層が位置していない紙の部分のピクセルにおける反射光強度が図４（ｂ）、（ｃ）のように示されるために、反射光の影響を受ける１１００〜１３００ｎｍの赤外光のデータを相殺するように演算処理されると良いことがわかる。
【００３０】
障害物透過画像を得る手段としては、複数の波長域の強度の線形和によって出力画像を得ることができる。このときの線形和におけるそれぞれの係数は、障害物層などの反射光や散乱光の影響を相殺するために、負の係数を含んでいる。また、観測対象物の組織像が特定の反射率分布を有する場合には、非線形の演算処理を加味することで、ノイズ除去の効果が高まり、コントラストの高い画像が得られることが期待される。
【００３１】
上記のように、障害物層の影響を最小限にとどめ、障害物下の観測対象物の組織像を明瞭に観測するためには、障害物層の吸収、散乱、及び表面反射などの光学的特性と、対象物の反射スペクトル特性を加味し、各波長で観測された反射光強度の間の演算処理が必要となる。最適な演算処理方法は、障害物、対象物及び照明条件によっても異なるので、この演算処理方法は、障害物及び対象物に応じて適応的に変化することが望ましい。
【００３２】
上記の演算処理方法において、ユニットが複数の階層をなすように並び、入力層から出力層へ向かう一方向の結合のみが許されるネットワークである階層的なネットワークの最も使用される頻度の高い多層パーセプトロンを用いるとよい。
【００３３】
ここで、多層パーセプトロンについて説明する。多層パーセプトロンを説明するために、多層パーセプトロンの原形である単純パーセプトロンについて説明する。観測される画像の各ピクセルで測定される反射率の各スペクトル成分を入力に持つ、単純パーセプトロンによる各波長間の演算機構を図５に示す。
【００３４】
単純パーセプトロンにおいては、所定のピクセルにおける各スペクトル成分を、入力ユニット３１が並んでいる入力層３２に入力することによって、演算機構３３が、入力されたデータとバイアス３４を組み合わせることによって、そのピクセルにおける２値画像３５を得ている。このとき、それぞれのスペクトル成分にかかる可変荷重の最適化を行う必要がある。本実施の形態に係る画像処理装置においては、組織像が予めわかっているものを用意し、その予めわかっている組織像の上に障害物層が覆っているものをハイパースペクトルセンサによって撮像し、演算機構３３が出力した２値画像３５と、予めわかっている組織像を２値画像としたものを比較することによって、前記の可変加重の最適化を行っている。
【００３５】
この演算機構に与えられる入力値は、ハイパースペクトルセンサから得られる各ピクセルのスペクトル強度を、標準白色板の反射強度で除した「反射率」ｘｉ（ｉ＝１、・・・、ｍ）を用いるものとする。添え字ｉはハイパースペクトルセンサの各チャネル（波長に相当）を表すものとする。
【００３６】
単純パーセプトロンの出力ｙは、可変荷重をｗｉとして、次式のように表される。
【数１】
ｇは２値化を表す非線形関数、ｂはバイアス値を表す。ここで、可変加重の最適化を行っている。可変加重の最適化においては、まず組織像が予めわかっているものを用意し、その予めわかっている組織像の上に障害物層が覆っているものをハイパースペクトルセンサによって撮像し、演算機構３３が出力した２値画像３５と、予めわかっている組織像を２値画像としたものとの差異をできるだけ小さくすることによって行っている。
【００３７】
この差異を小さくするための方法としては、適当な初期パラメータから始めてパラメータを繰り返し更新することにより最適なパラメータの値を求める方法の最も基本的で簡単な方法である、最急降下法を用いるとよい。すなわち、まず初期状態で乱数を与え、上記の差異を最小にしていくために、次式で定義される学習則を繰り返して起用することで、徐々に可変加重を最適な値へと変化させていく。
【数２】
ここで、ｏは実際のネットワークの出力信号の値を、ｔは予めわかっている組織像を２値画像とした値を、ηは学習係数を表す。
【００３８】
上記のような単純パーセプトロンを層状に繋ぎ合わせたネットワークが多層パーセプトロンである。多層パーセプトロンによる波長間演算処理を示したのが図６である。多層パーセプトロンにおいては、入力ユニット３１が並んだ入力層３２と出力ユニット３６が並んだ出力層３７との間に、隠匿ユニット３８が並んだ隠匿層３９が存在している。このときに、入力層３２から隠匿層３９へのデータ変換と隠匿層３９から出力層３７へのデータ変換は、上述の単純パーセプトロンと同様の方法を用いている。
【００３９】
多層パーセプトロンを用いている場合、出力層３７において、出力画像として２値画像だけではなくグレースケールの画像をも扱えるように配慮し、画素値をコード化している。このコード様式としては、すでにＴ．Ｏ．Ｊａｃｋｓｏｎ（Fiesler and R. Beale eds., Handbook of Neural Computation, B4.4, IOP pub. Ltd and Oxford Univ. Press）によって、提案されているdiscrete thermometer encodingの手法を用いている。
【００４０】
入力層３２に入力されるデータは、単純パーセプトロンと同様に、ハイパースペクトルセンサから得られる各ピクセルのスペクトル強度を、標準白色板の反射強度で除した「反射率」ｘｉ（ｉ＝１、・・・、ｍ）を用いるものとする。以上のようにして、各ピクセルのスペクトル成分間の演算処理を行う。
【００４１】
また、多層パーセプトロンにおける学習方法のフローチャートを示したのが、図７である。まず、学習対象物と測定を行う波長帯域を人手により選択する（Ｓ１０１）。次に、多層パーセプトロンの入力層に加えるデータを、最大値と最小値が一定の範囲に収まるように正規化する（Ｓ１０２）。正規化と同時に、学習の際に多層パーセプトロンの出力層３７に加える信号として、パーセプトロンの出力層側に提示する信号を、障害物のない状態での画像をコード化する（Ｓ１０３）。このコード化された信号を出力層３７に入力し、Ｒｕｍｅｌｈａｒｔ等により公表されているモーメント項を付加した誤差逆伝播法を使用することによって、多層パーセプトロンに含まれる層間荷重を最適化する（Ｓ１０４）。
【００４２】
以上のような学習方法を用いることによって、誤差が十分少なくなった多層パーセプトロンは、その荷重を固定しその対象物、障害物の組み合わせにおける画像透視に用いる。多層パーセプトロンから得られる出力はコード化されているので、コード化の逆変換によって通常のグレースケール画像に変換することによって表示している。このように多層パーセプトロンを使用することによって、画像に含まれるノイズ成分や散乱光の影響を低減することができ、鮮明な観測対象物の組織像を得ることができる。
【００４３】
本実施の形態に係る画像処理装置を用いて、障害物層としての血液層を透過して、障害物層の下に位置する紙の文字を観測したのが、図８（ａ）である。このときの画像処理装置においては、１５０チャネル分の赤外線スペクトルをハイパースペクトルセンサで取り込み、この１５０チャネル分の赤外線スペクトル間に非線形演算処理を施すことによって、肉眼では見えない血液層下の印刷文字「５」が明確に確認できる。
【００４４】
この結果との比較対象として、赤外光領域において最も透過性の良好な単一波長１２６０ｎｍで同じ障害物を透視し、コントラストを強調した画像を図８（ｂ）に示す。しかしながら、図８（ｂ）に示されるように、肉眼では見えない血液層の下の印刷文字「５」は鮮明に見ることができない。このことから、本実施の形態に係る画像処理装置を用いた出力結果が鮮明であることがわかる。
【００４５】
また、本実施の形態に係る画像処理装置を用いて、学習回数を１回〜２０００回まで変化させたときに得られる出力画像の結果を図９（ａ）〜（ｄ）と図１０（ａ）〜（ｄ）に示す。図９（ａ）〜（ｄ）までの学習回数は、それぞれ１回、６７回、１３８回、２１４回である。図１０（ａ）〜（ｄ）までの学習回数は、それぞれ２９４回、３８３回、５６３回、２０００回である。この学習回数が多いほど、画像が鮮明になることがわかる。つまり、本実施の形態に係る画像処理装置において、３００回以上の学習回数を持つことが好ましい。
【００４６】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。データ間の演算処理の最適化を自動的に行うための方法は、多層パーセプトロンに限定されるわけではない。
【００４７】
実施の形態２．
本実施の形態に係る画像処理装置においては、多層パーセプトロンを用いずに、障害物層と観測対象物に応じた複数の波長域を選択し、その選択された波長域のスペクトルを組み合わせることによって、障害物層の下に位置する観測対象物の透視画像を得ている。構成要素や動作原理で実施の形態１と同様のものは省略する。
【００４８】
図１１は、一例として、障害物層である血液層を透過して観測したい観測対象物として紙を想定したときに、この観測対象物をハイパースペクトルセンサで観測を行い、単純パーセプトロンで最適化された入力端子から出力素子に接続される荷重値を、入力スペクトルの順に示したものである。
【００４９】
また、図１１においては、この荷重値分布を４本のガウス分布曲線で近似している。この一例の場合においては、９９０〜１０４０ｎｍ、１０４０ｎｍ〜１１３０ｎｍ、１１２０ｎｍ〜１１８０ｎｍ、１２３０ｎｍ〜１２８０ｎｍのスペクトルを測定し、そのスペクトルデータを上述のガウス分布曲線の荷重値分布によって、演算処理を行うことによって、観測対象物の組織像を観測することができる。
【００５０】
この４つの波長帯のスペクトルを観測するための装置の概略図を図１２に示す。このとき観測対象物に光源から照射され、観測対象物から光が反射される。この反射された光は、ハーフミラーＨＭ１によって半分の光が通過し、半分の光が反射される。ハーフミラーＨＭ１を通過した光はバンドパスフィルタＦ１によって、所望の波長帯の光にスペクトルが狭められ、ＣＣＤカメラＣＣＤ１で観測される。
【００５１】
ハーフミラーＨＭ１によって反射した光は、ハーフミラーＨＭ２によって、半分の光が通過して、半分の光が反射される。通過した光は、バンドパスフィルタＦ２によって、所望の波長帯の光にスペクトルが狭められ、ＣＣＤカメラＣＣＤ２で観測される。
【００５２】
同様に、ハーフミラーＨＭ２によって反射した光は、ハーフミラーＨＭ３によって、半分の光が通過して半分の光が反射される。通過した光は、バンドパスフィルタＦ３によって、所望の波長帯の光にスペクトルを狭められ、ＣＣＤカメラＣＣＤ３で観測される。ハーフミラーＨＭ３によって反射した光は、バンドパスフィルタＦ４によって、所望の波長帯の光に狭められ、ＣＣＤカメラＣＣＤ４で観測される。
【００５３】
ここで、４つの波長帯のときを一例として示したが、この波長帯の数はいくつでもよい。その数に対応したバンドパスフィルタとＣＣＤカメラとハーフミラーを用意すればよい。上述のようにすることによって、４つの画像を実時間的に取得し、各ピクセルで
【数３】
を用いて画像を重畳することで、画像を得ている。ｉ、ｊは画像のピクセル位置を表す２次元の座標である。また、Ｓｋ（ｋ＝１・・・４）は各ＣＣＤの対応画像位置のピクセル値、左辺は出力画像ピクセル値、Ｗｋは各バンドパスフィルタの透過量を調整する係数で、特に図１１において負の係数を持っている二つのバンドについては、Ｗｋを負にすることで、負の演算処理を可能ならしめている。
【００５４】
図１３と図１４は本実施の形態に係る画像透過装置を用いて、障害物層としての血液層を透過して観測した画像である。図１３が印刷された紙の上に障害物層としての血液層が覆っているものであり、図１４が、モルモットを開腹したものを本実施の形態に係る画像透過装置を用いて観測を行ったものである。
【００５５】
図１３と図１４において、（ａ）が血液層を除いた観測対象物の可視光領域による写真であり、（ｂ）がある一定の赤外光を用いて観測した画像であり、（ｃ）が本実施の形態に係る画像透過装置を用いて観測した透視画像である。この結果をみてあきらかなように、一定の赤外光を用いた場合と比較してとても鮮明な画像が得られていることがわかる。
【００５６】
以上のように、赤外光領域から、障害物層と観測対象物に応じた波長帯を複数選択することによって、この選択された波長帯のスペクトルを測定し演算処理を行う方法を用いることによって、多層パーセプトロンを用いることによって行われる演算処理よりも、行うべき演算処理を非常に少なくすることが可能となり、画像処理速度が飛躍的に向上させることができる。このため、実時間における観測対象物の画像の変化を観測することが容易に行うことができるようになる。
【図面の簡単な説明】
【００５７】
【図１】水、ヘモグロビン、及び酸化ヘモグロビンの吸光特性
【図２】ハイパースペクトルセンサによる反射光の測定系
【図３】ＰＣにおける撮像データ入力部と画像データ演算処理部と画像データ比較部との構成を模式的に示すブロック図
【図４】（ａ）紙及び（ｂ）血液の反射光強度スペクトル
【図５】単純パーセプトロンによる各波長間の演算機構
【図６】多層パーセプトロンによる波長間演算処理
【図７】学習的画像処理系におけるフローチャート
【図８】（ａ）波長λ＝１２６０ｎｍのみによる透過画像（ｂ）実施の形態１に係る画像処理装置による透過画像
【図９】学習回数における実施の形態１に係る画像処理装置による透過画像。（ａ）１回（ｂ）６７回（ｃ）１３８回（ｄ）２１４回
【図１０】学習回数における実施の形態１に係る画像処理装置による透過画像。（ａ）２９４回（ｂ）３８３回（ｃ）５６３回（ｄ）２０００回
【図１１】単純パーセプトロンの荷重値分布図
【図１２】実施の形態２に係る画像透過装置の概略図
【図１３】実施の形態２に係る画像透過装置による印刷された紙の透過画像。（ａ）血液層が紙を覆っていないときの可視光領域における写真。（ｂ）一定の赤外光による透過画像。（ｃ）実施の形態２に係る画像透過装置による透過画像。
【図１４】実施の形態２に係る画像透過装置によるモルモットの開腹した部位の透過画像。（ａ）モルモットの開腹した部位から血液層を取り除いたときの可視光領域における写真。（ｂ）一定の赤外光による透過画像。（ｃ）実施の形態２に係る画像透過装置による透過画像。
【符号の説明】
【００５８】
１１ ハイパースペクトルセンサ １３ 移動テーブル １４ 光源
２１ 障害物層 ２２ 観測対象物
３１ 入力ユニット ３２ 入力層 ３３ 演算機構 ３４ バイアス
３５ ２値画像 ３６ 出力ユニット ３７ 出力層 ３８ 隠匿ユニット
３９ 隠匿層
１２１ ＣＰＵ １２２ メインメモリ １２３ 不揮発性記憶装置
１２４ Ｉ／Ｏインターフェース １２５ 画像データ演算処理部
１２６ 画像データ比較部
２０１ 撮像データ ２０２ 演算処理学習画像データ ２０３ 教師データ
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。特に、障害物に覆われた観測対象物の組織像を作成するものに関する。
【背景技術】
【０００２】
人間を含めた動物の手術の際に、腫瘍等の手術の対象部位や傷をつけてはいけない周囲の血管や神経束が、血液が混入した髄液などによって視認することが困難なことがしばしばおこる。これは、特に脳神経外科などの繊細な手技が必要な手術において特に顕著な現象である。
【０００３】
このような場合において、従来の血液等の障害物層を除去する方法は、手術中頻回にわたってガーゼや吸引管によって見たい部位を露呈する操作が繰り返されてきた。しかしながら、これらの見たい部位を露呈する操作は、手術の進行に大きな障害となっていた。また、組織上に血液が含まれたガーゼが付着している場合、このガーゼを除去しないで内部を視認することは困難であった。
【０００４】
これらの問題を解決するための従来の方法としては、通常の光学装置を用いた画像診断用の機器として、Ｘ線透視装置、超音波画像診断装置、及びＭＲ画像診断装置を便宜的に手術室に導入することが行われていた。しかしながら、これらの装置においても、それぞれ問題点が存在している。
【０００５】
Ｘ線透視装置においては、視認したい部位にＸ線を照射するために、術者はその部分に触れることができないために、手術を行うと同時に視認したい部位を確認することが困難であった。また、超音波画像診断装置においては、非接触では超音波が伝達されないために、血液等の障害物層に接触させて測定する必要性があった。これは、障害物層が一定の形をしているとはかぎらず、非常に難しい作業である。さらに、ＭＲ画像診断装置においては、装置自体の大きさが非常に巨大であり、また、ＭＲ画像診断装置が強力な磁場が発生しているために、金属の手術器具類使用することができないという問題点を抱えている。
【非特許文献１】T.Zimmermann, J.Rietdorf, R.Pepperkok,"Spectral Imaging and its applications in live cell microscopy",FEBS Letters, 546(1), 87-92(2003)
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の方法では、手術対象部位を視認するときの障害となる物質を除去することなく、手術対象部位の組織像を観測しながら手術することが可能ではなかった。また、手術以外においても、視認するときに障害となる物質を除去することなく、障害となる物質に覆われている観測対象物の組織像を明確に観測することが求められている。そこで、本発明において、視認を妨げている障害物層による光の反射・散乱・吸収の効果を可及的に低減し、障害物下の組織像を明確に観測し、その障害物下の組織像を容易に提供する装置を実現することにある。
【課題を解決するための手段】
【０００７】
本発明の態様に係る画像処理装置は、障害物に覆われている観測対象物の透視画像を生成するための演算処理方法を学習によって決定する画像処理装置であって、障害物と前記障害物に覆われている学習対象物との赤外線による撮像データを入力する撮像データ入力部と、前記撮像データを演算処理することによって前記学習対象物の透視画像データを生成する画像データ演算処理部と、前記学習対象物の前記透視画像データと予め取得している前記学習対象物の画像データとを比較する画像データ比較部と、を備え、前記画像データ演算処理部は、前記画像データ比較部からの比較データに基づいて、前記透視画像データと予め取得している前記学習対象物の画像データとの差異が小さくなるように前記撮像データの演算処理方法を変更する、ものである。
【０００８】
本発明の他の態様に係る画像処理方法は、障害物と前記障害物に覆われている学習対象物の赤外線による撮像データを入力するステップと、前記撮像データから前記学習対象物の透視画像データを生成するステップと、前記学習対象物の前記透視画像データと予め取得している前記学習対象物の画像データとを比較するステップと、前記比較の結果に応じて、前記学習対象物の前記透視画像データと予め取得している前記学習対象物の画像データとの差異が小さくなるように前記撮像データの演算処理方法を変更するステップと、前記演算処理方法を用いて、前記障害物に覆われている観測対象物の透視画像を生成するステップ、を有する画像処理方法である。
【発明の効果】
【０００９】
本発明に係る画像処理装置によれば、観測対象物が人間の目による視認を行うことを妨げる物質によって覆われているときに、その人間の目による視認を行うことを妨げる物質を取り除くことなしに、観測対象物の組織像を容易に提供することができる。このことは、例えば、手術を行っているときの手術部位が血液を含む体液で覆われてしまうときにでも、手術部位の組織像を観測しつつ手術を行うことができることになる。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。本実施の形態は、本発明を画像処理装置に適用したものである。本実施の形態に係る画像処理装置においては、ハイパースペクトルセンサを用いて赤外光領域における波長情報と強度情報を得、観測対象物以外の部分からの反射光をなるべく減らして、障害物層に覆われた観測対象物の情報をなるべく有効に取り出すために、ハイパースペクトルセンサにおいて観測されたさまざまな波長のデータ間の演算処理方法の最適化を行うものである。このさまざまな波長のデータ間の演算処理方法の最適化を行うために、本実施の形態に係る画像処理装置においては多層パーセプトロンを用いている。
【００１１】
本実施の形態に係る画像処理装置においては、血液を含む体液に覆われた手術部位を観測するための装置を一例として説明する。この場合、障害物層が血液を含む体液であり、観測物が生体組織の手術部位である。図１に、水（（ａ−１））、ヘモグロビン（（ａ−２））、及び酸化ヘモグロビン（（ａ−３））の吸光スペクトル特性を示している。縦軸は吸収係数であり、横軸は光の波長である。吸収係数は、入射光と透過光との強度比の対数を透過した光路長で割って算出したものである。つまり、図１に示された吸光スペクトル特性は、吸収係数の波長依存性を示したものである。
【００１２】
図１に示されるように、血液を構成するヘモグロビンや酸化ヘモグロビンの吸収については、可視光領域において大きくなっており、可視光領域の中で波長の長い領域である深紅色のみが視認できるようになる。そのため、血液を含む障害物層に覆われた生体組織は、人間の目による視認を行うことが困難であることがわかる。
【００１３】
これに対して、血液に多量に含まれる水の可視光領域から赤外光領域までにおける吸収については、可視光領域では吸収が少なく、赤外光領域で幾つかの吸収ピークを持っている。つまり、血液を構成するヘモグロビンや酸化ヘモグロビンが可視光を吸収し、赤外光領域においては水による吸収があるため、可視光領域から赤外光領域にかけての幅広い波長領域の光を用いて、血液を含む障害物層の透過させる画像透視計測が困難であることを示唆している。
【００１４】
これらのことから、障害物層の下にある組織像を顕在化させるために、障害物層の吸収や散乱が少なく、かつ観測対象物の組織像が明確なコントラストをもつ波長域を複数選択する必要がある。上記のように選択された波長域は、障害物層の物質によって変化されるものである。つまり、本実施の形態においては、障害物層が血液層であるため、血液層に応じた波長域を選択する必要がある。
【００１５】
上記のように選択された複数の波長域のスペクトルを組み合わせることによって、観測対象物の組織像を得ている。また、不要な散乱光や障害物表面での反射光などは、それらを差し引くことで、本来観測すべき観測対象物の組織像のコントラストを改善することができる。
【００１６】
本実施の形態に係る画像処理装置においては、ハイパースペクトルセンサを用いることによって、観測対象物の組織像を取り込んでいる。ハイパースペクトルセンサとは、ピクセルごとに、多数チャネル（通常３０以上）にスペクトル分解し、該多数チャネルの出力強度から構成されるベクトル量を当該ピクセルのスペクトル強度として登録することを特徴とする分光イメージングセンサである。ここでいうチャネルとは、観測したい波長域に対して十分に狭い波長幅を持った波長領域のことである。ハイパースペクトルセンサを用いることによって、観測対象物のスペクトル特性を高い空間・波長分解能で計測することができる。
【００１７】
図２は本実施の形態に係る画像処理装置において、小動物を対象とした測定の場合に使われる構成例である。上に障害物層２１が覆っている観測対象物２２が移動テーブル１３の上に配置されている。これらの上にハイパースペクトルセンサ１１が位置している。ハイパースペクトルセンサ１１は、ＰＣ１２に接続されている。上に障害物層２１が覆っている観測対象物２２には、光源１４から光が入射されている。障害物層２１と観測対象物２２とから反射した光は、ハイパースペクトルセンサ１１によって観測されている。
【００１８】
図２のような配置にした場合には、障害物層２１と観測対象物２２は移動テーブル１３の上に固定されているため、移動テーブル１３が移動することにより波長情報と光強度が観測され、その情報が組み合わされて画像が形成される。この構成は、これに限られるわけではなく、大きな動物の組織や人体の組織などを観測する場合には、ハイパースペクトルセンサ１１に取り付けられた観測装置を移動させ、静止した対象物の２次元画像を得る構成とする。これらの２つの構成には、作用的に本質的な差異はない。
【００１９】
本実施の形態に係る画像処理装置においては、所望の画像データを取得する前に、ＰＣ１２が学習を繰り返すことによって、演算処理方法を変更している。ここでいう学習とは、予め画像データがわかっている対象物（学習対象物）の撮像データをハイパースペクトルセンサ１１によって取得し、その撮像データをＰＣ１２の撮像データ入力部に入力し、この撮像データと予め取得している学習対象物の画像データである教師データとの比較を画像データ比較部が行い、この比較結果に応じて、教師データと、撮像データから演算処理して出力した演算処理学習画像データとの差異を小さくなるように演算処理方法を画像データ演算処理部が変更することである。
【００２０】
ここで、撮像データ入力部と画像データ演算処理部と画像データ比較部とを有するＰＣ１２について説明する。図３は、ＰＣ１２における撮像データ入力部と画像データ演算処理部と画像データ比較部との構成を模式的に示すブロック図である。
【００２１】
ハイパースペクトルセンサ１１からの学習対象物の撮像データ２０１は、Ｉ／Ｏインターフェース１２４を介してメインメモリ１２２に格納される。さらに、この撮像データ２０１は、後の使用のために不揮発性記憶装置１２３にも記録される。また、不揮発性記憶装置１２３には、予め取得している学習対象物の画像データが記録されている。
【００２２】
ハイパースペクトルセンサ１１から画像データを取り込むためのインターフェースとしては、典型的にはキャプチャボードが使用される。メインメモリ１２２としてはＤＲＡＭを、不揮発性記憶装置１２３としてはハードディスク・ドライブ（ＨＤＤ）を典型的に使用することができる。
【００２３】
ＰＣ１２内にはＣＰＵ１２１が実装されている。ＣＰＵ１２１は、不揮発性記憶装置１２３に記憶されているプログラムのコマンドに従って動作することによって、障害物に覆われている観測対象物の透視画像を生成するための、学習と演算処理方法の変更との各処理を実行する。プログラムは、不揮発性記憶装置１２３からメインメモリ１２２にロードされて、ＣＰＵ１２１によって実行される。
【００２４】
また、ＣＰＵ１２１はプログラムによって、画像データ演算処理部１２５にも画像データ比較部１２６にもなりうる。Ｉ／Ｏインターフェース１２４を介してメインメモリ１２２に格納された学習対象物の撮像データ２０１は、画像データ演算処理部１２５に読み出される。このとき、画像データ処理部１２５によって、学習対象物の撮像データ２０１は演算処理学習画像データ２０２にデータ処理され、そのデータ処理された演算処理学習画像データは、メインメモリに記憶させられる。
【００２５】
また、ＣＰＵ１２１は、不揮発性記憶装置１２３に記憶されている、教師データ２０３をメインメモリ１２２に読み込み記憶している。さらに、画像データ比較部１２６は、メインメモリ１２２に記憶された、教師データ２０３と演算処理学習画像データ２０２とを読出し比較を行っている。この比較結果は、画像データ演算処理部１２５に送信され、この比較結果に応じて、画像データ演算処理部１２５は、教師データ２０３と、撮像データから演算処理して出力した演算処理学習画像データ２０２との差異を小さくなるように演算処理方法を変更している。このプログラムは、ＣＤ−ＲＯＭやＤＶＤなどの記録媒体に保存して、各コンピュータにインストールすることができる。
【００２６】
図には示していないが、ＰＣ１２には、ＣＰＵ１２２やメインメモリ１２２とバスを介して接続されたコントローラが実装され、これらにデータ入力をするためのマウスやキーボード、あるいは画像出力のためのディスプレイやプリンタを接続する。さらに他のコンピュータと通信を行うために、ＰＣ１２を、通信アダプタを介してネットワークに接続することも可能である。
【００２７】
図４に、障害物層２１の一例としての血液層を透過して観測したい観測対象物２２の一例として紙を想定したときの可視光領域による写真像（図４（ａ））と、そのときの一画像の二つのピクセルにおける、ハイパースペクトルセンサによって観測された反射光強度の波長依存性を示している（図４（ｂ）、（ｃ））。図４（ｂ）、（ｃ）における縦軸は反射光強度であり、横軸は障害物層２１に覆われた観測対象物２２への入射光波長である。このときの二つのピクセルは、血液層が紙を覆っている部分のピクセルから一つ、血液層が位置していない紙の部分のピクセルから一つ採っている。
【００２８】
この二つのピクセルからの反射光強度の波長依存性を見ると、図４（ｂ）、（ｃ）に示されるように、血液層が位置していない紙の部分のピクセルにおいては、９００ｎｍ〜１７００ｎｍの赤外光領域における反射光強度が非常に強い。それに対して、血液層が紙を覆っている部分のピクセルにおいては、１１００ｎｍ〜１３００ｎｍの領域において反射光強度を持つが、その他の領域においては、血液層が位置していない紙の部分のピクセルと比較するとほとんど反射光がないことが示されている。
【００２９】
つまり、血液層の下に位置する紙の部分を観測するためには、血液層が紙を覆っている部分のピクセルと血液層が位置していない紙の部分のピクセルにおける反射光強度が図４（ｂ）、（ｃ）のように示されるために、反射光の影響を受ける１１００〜１３００ｎｍの赤外光のデータを相殺するように演算処理されると良いことがわかる。
【００３０】
障害物透過画像を得る手段としては、複数の波長域の強度の線形和によって出力画像を得ることができる。このときの線形和におけるそれぞれの係数は、障害物層などの反射光や散乱光の影響を相殺するために、負の係数を含んでいる。また、観測対象物の組織像が特定の反射率分布を有する場合には、非線形の演算処理を加味することで、ノイズ除去の効果が高まり、コントラストの高い画像が得られることが期待される。
【００３１】
上記のように、障害物層の影響を最小限にとどめ、障害物下の観測対象物の組織像を明瞭に観測するためには、障害物層の吸収、散乱、及び表面反射などの光学的特性と、対象物の反射スペクトル特性を加味し、各波長で観測された反射光強度の間の演算処理が必要となる。最適な演算処理方法は、障害物、対象物及び照明条件によっても異なるので、この演算処理方法は、障害物及び対象物に応じて適応的に変化することが望ましい。
【００３２】
上記の演算処理方法において、ユニットが複数の階層をなすように並び、入力層から出力層へ向かう一方向の結合のみが許されるネットワークである階層的なネットワークの最も使用される頻度の高い多層パーセプトロンを用いるとよい。
【００３３】
ここで、多層パーセプトロンについて説明する。多層パーセプトロンを説明するために、多層パーセプトロンの原形である単純パーセプトロンについて説明する。観測される画像の各ピクセルで測定される反射率の各スペクトル成分を入力に持つ、単純パーセプトロンによる各波長間の演算機構を図５に示す。
【００３４】
単純パーセプトロンにおいては、所定のピクセルにおける各スペクトル成分を、入力ユニット３１が並んでいる入力層３２に入力することによって、演算機構３３が、入力されたデータとバイアス３４を組み合わせることによって、そのピクセルにおける２値画像３５を得ている。このとき、それぞれのスペクトル成分にかかる可変荷重の最適化を行う必要がある。本実施の形態に係る画像処理装置においては、組織像が予めわかっているものを用意し、その予めわかっている組織像の上に障害物層が覆っているものをハイパースペクトルセンサによって撮像し、演算機構３３が出力した２値画像３５と、予めわかっている組織像を２値画像としたものを比較することによって、前記の可変加重の最適化を行っている。
【００３５】
この演算機構に与えられる入力値は、ハイパースペクトルセンサから得られる各ピクセルのスペクトル強度を、標準白色板の反射強度で除した「反射率」ｘｉ（ｉ＝１、・・・、ｍ）を用いるものとする。添え字ｉはハイパースペクトルセンサの各チャネル（波長に相当）を表すものとする。
【００３６】
単純パーセプトロンの出力ｙは、可変荷重をｗｉとして、次式のように表される。
【数１】
ｇは２値化を表す非線形関数、ｂはバイアス値を表す。ここで、可変加重の最適化を行っている。可変加重の最適化においては、まず組織像が予めわかっているものを用意し、その予めわかっている組織像の上に障害物層が覆っているものをハイパースペクトルセンサによって撮像し、演算機構３３が出力した２値画像３５と、予めわかっている組織像を２値画像としたものとの差異をできるだけ小さくすることによって行っている。
【００３７】
この差異を小さくするための方法としては、適当な初期パラメータから始めてパラメータを繰り返し更新することにより最適なパラメータの値を求める方法の最も基本的で簡単な方法である、最急降下法を用いるとよい。すなわち、まず初期状態で乱数を与え、上記の差異を最小にしていくために、次式で定義される学習則を繰り返して起用することで、徐々に可変加重を最適な値へと変化させていく。
【数２】
ここで、ｏは実際のネットワークの出力信号の値を、ｔは予めわかっている組織像を２値画像とした値を、ηは学習係数を表す。
【００３８】
上記のような単純パーセプトロンを層状に繋ぎ合わせたネットワークが多層パーセプトロンである。多層パーセプトロンによる波長間演算処理を示したのが図６である。多層パーセプトロンにおいては、入力ユニット３１が並んだ入力層３２と出力ユニット３６が並んだ出力層３７との間に、隠匿ユニット３８が並んだ隠匿層３９が存在している。このときに、入力層３２から隠匿層３９へのデータ変換と隠匿層３９から出力層３７へのデータ変換は、上述の単純パーセプトロンと同様の方法を用いている。
【００３９】
多層パーセプトロンを用いている場合、出力層３７において、出力画像として２値画像だけではなくグレースケールの画像をも扱えるように配慮し、画素値をコード化している。このコード様式としては、すでにＴ．Ｏ．Ｊａｃｋｓｏｎ（Fiesler and R. Beale eds., Handbook of Neural Computation, B4.4, IOP pub. Ltd and Oxford Univ. Press）によって、提案されているdiscrete thermometer encodingの手法を用いている。
【００４０】
入力層３２に入力されるデータは、単純パーセプトロンと同様に、ハイパースペクトルセンサから得られる各ピクセルのスペクトル強度を、標準白色板の反射強度で除した「反射率」ｘｉ（ｉ＝１、・・・、ｍ）を用いるものとする。以上のようにして、各ピクセルのスペクトル成分間の演算処理を行う。
【００４１】
また、多層パーセプトロンにおける学習方法のフローチャートを示したのが、図７である。まず、学習対象物と測定を行う波長帯域を人手により選択する（Ｓ１０１）。次に、多層パーセプトロンの入力層に加えるデータを、最大値と最小値が一定の範囲に収まるように正規化する（Ｓ１０２）。正規化と同時に、学習の際に多層パーセプトロンの出力層３７に加える信号として、パーセプトロンの出力層側に提示する信号を、障害物のない状態での画像をコード化する（Ｓ１０３）。このコード化された信号を出力層３７に入力し、Ｒｕｍｅｌｈａｒｔ等により公表されているモーメント項を付加した誤差逆伝播法を使用することによって、多層パーセプトロンに含まれる層間荷重を最適化する（Ｓ１０４）。
【００４２】
以上のような学習方法を用いることによって、誤差が十分少なくなった多層パーセプトロンは、その荷重を固定しその対象物、障害物の組み合わせにおける画像透視に用いる。多層パーセプトロンから得られる出力はコード化されているので、コード化の逆変換によって通常のグレースケール画像に変換することによって表示している。このように多層パーセプトロンを使用することによって、画像に含まれるノイズ成分や散乱光の影響を低減することができ、鮮明な観測対象物の組織像を得ることができる。
【００４３】
本実施の形態に係る画像処理装置を用いて、障害物層としての血液層を透過して、障害物層の下に位置する紙の文字を観測したのが、図８（ａ）である。このときの画像処理装置においては、１５０チャネル分の赤外線スペクトルをハイパースペクトルセンサで取り込み、この１５０チャネル分の赤外線スペクトル間に非線形演算処理を施すことによって、肉眼では見えない血液層下の印刷文字「５」が明確に確認できる。
【００４４】
この結果との比較対象として、赤外光領域において最も透過性の良好な単一波長１２６０ｎｍで同じ障害物を透視し、コントラストを強調した画像を図８（ｂ）に示す。しかしながら、図８（ｂ）に示されるように、肉眼では見えない血液層の下の印刷文字「５」は鮮明に見ることができない。このことから、本実施の形態に係る画像処理装置を用いた出力結果が鮮明であることがわかる。
【００４５】
また、本実施の形態に係る画像処理装置を用いて、学習回数を１回〜２０００回まで変化させたときに得られる出力画像の結果を図９（ａ）〜（ｄ）と図１０（ａ）〜（ｄ）に示す。図９（ａ）〜（ｄ）までの学習回数は、それぞれ１回、６７回、１３８回、２１４回である。図１０（ａ）〜（ｄ）までの学習回数は、それぞれ２９４回、３８３回、５６３回、２０００回である。この学習回数が多いほど、画像が鮮明になることがわかる。つまり、本実施の形態に係る画像処理装置において、３００回以上の学習回数を持つことが好ましい。
【００４６】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。データ間の演算処理の最適化を自動的に行うための方法は、多層パーセプトロンに限定されるわけではない。
【００４７】
実施の形態２．
本実施の形態に係る画像処理装置においては、多層パーセプトロンを用いずに、障害物層と観測対象物に応じた複数の波長域を選択し、その選択された波長域のスペクトルを組み合わせることによって、障害物層の下に位置する観測対象物の透視画像を得ている。構成要素や動作原理で実施の形態１と同様のものは省略する。
【００４８】
図１１は、一例として、障害物層である血液層を透過して観測したい観測対象物として紙を想定したときに、この観測対象物をハイパースペクトルセンサで観測を行い、単純パーセプトロンで最適化された入力端子から出力素子に接続される荷重値を、入力スペクトルの順に示したものである。
【００４９】
また、図１１においては、この荷重値分布を４本のガウス分布曲線で近似している。この一例の場合においては、９９０〜１０４０ｎｍ、１０４０ｎｍ〜１１３０ｎｍ、１１２０ｎｍ〜１１８０ｎｍ、１２３０ｎｍ〜１２８０ｎｍのスペクトルを測定し、そのスペクトルデータを上述のガウス分布曲線の荷重値分布によって、演算処理を行うことによって、観測対象物の組織像を観測することができる。
【００５０】
この４つの波長帯のスペクトルを観測するための装置の概略図を図１２に示す。このとき観測対象物に光源から照射され、観測対象物から光が反射される。この反射された光は、ハーフミラーＨＭ１によって半分の光が通過し、半分の光が反射される。ハーフミラーＨＭ１を通過した光はバンドパスフィルタＦ１によって、所望の波長帯の光にスペクトルが狭められ、ＣＣＤカメラＣＣＤ１で観測される。
【００５１】
ハーフミラーＨＭ１によって反射した光は、ハーフミラーＨＭ２によって、半分の光が通過して、半分の光が反射される。通過した光は、バンドパスフィルタＦ２によって、所望の波長帯の光にスペクトルが狭められ、ＣＣＤカメラＣＣＤ２で観測される。
【００５２】
同様に、ハーフミラーＨＭ２によって反射した光は、ハーフミラーＨＭ３によって、半分の光が通過して半分の光が反射される。通過した光は、バンドパスフィルタＦ３によって、所望の波長帯の光にスペクトルを狭められ、ＣＣＤカメラＣＣＤ３で観測される。ハーフミラーＨＭ３によって反射した光は、バンドパスフィルタＦ４によって、所望の波長帯の光に狭められ、ＣＣＤカメラＣＣＤ４で観測される。
【００５３】
ここで、４つの波長帯のときを一例として示したが、この波長帯の数はいくつでもよい。その数に対応したバンドパスフィルタとＣＣＤカメラとハーフミラーを用意すればよい。上述のようにすることによって、４つの画像を実時間的に取得し、各ピクセルで
【数３】
を用いて画像を重畳することで、画像を得ている。ｉ、ｊは画像のピクセル位置を表す２次元の座標である。また、Ｓｋ（ｋ＝１・・・４）は各ＣＣＤの対応画像位置のピクセル値、左辺は出力画像ピクセル値、Ｗｋは各バンドパスフィルタの透過量を調整する係数で、特に図１１において負の係数を持っている二つのバンドについては、Ｗｋを負にすることで、負の演算処理を可能ならしめている。
【００５４】
図１３と図１４は本実施の形態に係る画像透過装置を用いて、障害物層としての血液層を透過して観測した画像である。図１３が印刷された紙の上に障害物層としての血液層が覆っているものであり、図１４が、モルモットを開腹したものを本実施の形態に係る画像透過装置を用いて観測を行ったものである。
【００５５】
図１３と図１４において、（ａ）が血液層を除いた観測対象物の可視光領域による写真であり、（ｂ）がある一定の赤外光を用いて観測した画像であり、（ｃ）が本実施の形態に係る画像透過装置を用いて観測した透視画像である。この結果をみてあきらかなように、一定の赤外光を用いた場合と比較してとても鮮明な画像が得られていることがわかる。
【００５６】
以上のように、赤外光領域から、障害物層と観測対象物に応じた波長帯を複数選択することによって、この選択された波長帯のスペクトルを測定し演算処理を行う方法を用いることによって、多層パーセプトロンを用いることによって行われる演算処理よりも、行うべき演算処理を非常に少なくすることが可能となり、画像処理速度が飛躍的に向上させることができる。このため、実時間における観測対象物の画像の変化を観測することが容易に行うことができるようになる。
【図面の簡単な説明】
【００５７】
【図１】水、ヘモグロビン、及び酸化ヘモグロビンの吸光特性
【図２】ハイパースペクトルセンサによる反射光の測定系
【図３】ＰＣにおける撮像データ入力部と画像データ演算処理部と画像データ比較部との構成を模式的に示すブロック図
【図４】（ａ）紙及び（ｂ）血液の反射光強度スペクトル
【図５】単純パーセプトロンによる各波長間の演算機構
【図６】多層パーセプトロンによる波長間演算処理
【図７】学習的画像処理系におけるフローチャート
【図８】（ａ）波長λ＝１２６０ｎｍのみによる透過画像（ｂ）実施の形態１に係る画像処理装置による透過画像
【図９】学習回数における実施の形態１に係る画像処理装置による透過画像。（ａ）１回（ｂ）６７回（ｃ）１３８回（ｄ）２１４回
【図１０】学習回数における実施の形態１に係る画像処理装置による透過画像。（ａ）２９４回（ｂ）３８３回（ｃ）５６３回（ｄ）２０００回
【図１１】単純パーセプトロンの荷重値分布図
【図１２】実施の形態２に係る画像透過装置の概略図
【図１３】実施の形態２に係る画像透過装置による印刷された紙の透過画像。（ａ）血液層が紙を覆っていないときの可視光領域における写真。（ｂ）一定の赤外光による透過画像。（ｃ）実施の形態２に係る画像透過装置による透過画像。
【図１４】実施の形態２に係る画像透過装置によるモルモットの開腹した部位の透過画像。（ａ）モルモットの開腹した部位から血液層を取り除いたときの可視光領域における写真。（ｂ）一定の赤外光による透過画像。（ｃ）実施の形態２に係る画像透過装置による透過画像。
【符号の説明】
【００５８】
１１ ハイパースペクトルセンサ １３ 移動テーブル １４ 光源
２１ 障害物層 ２２ 観測対象物
３１ 入力ユニット ３２ 入力層 ３３ 演算機構 ３４ バイアス
３５ ２値画像 ３６ 出力ユニット ３７ 出力層 ３８ 隠匿ユニット
３９ 隠匿層
１２１ ＣＰＵ １２２ メインメモリ １２３ 不揮発性記憶装置
１２４ Ｉ／Ｏインターフェース １２５ 画像データ演算処理部
１２６ 画像データ比較部
２０１ 撮像データ ２０２ 演算処理学習画像データ ２０３ 教師データ
【特許請求の範囲】
【請求項１】
障害物に覆われている観測対象物の透視画像を生成するための演算処理方法を学習によって決定する画像処理装置であって、
障害物と前記障害物に覆われている学習対象物との赤外線による撮像データを入力する撮像データ入力部と、
前記撮像データを演算処理することによって前記学習対象物の透視画像データを生成する画像データ演算処理部と、
前記学習対象物の前記透視画像データと予め取得している前記学習対象物の画像データとを比較する画像データ比較部と、を備え、
前記画像データ演算処理部は、前記画像データ比較部からの比較データに基づいて、前記透視画像データと予め取得している前記学習対象物の画像データとの差異が小さくなるように前記撮像データの演算処理方法を変更する、画像処理装置。
【請求項２】
前記画像処理装置は前記検出部をさらに備え、
前記検出部に、前記検出部が測定する画像をピクセルごとに分割し、前記ピクセルごとの波長情報と光強度情報を同時に測定することが可能なハイパースペクトルセンサを用いている、請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は前記検出部をさらに備え、
前記検出部は、前記障害物と前記観測物とからの反射光に基づいて選択された、前記赤外光の内の複数の波長帯を測定するためのバンドパスフィルタを有する、請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記演算は、多層パーセプトロンを用いている、請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
前記演算は、単純パーセプトロンを用いている、請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
【請求項６】
前記差異を小さくする方法に、最急降下法を用いている、請求項１乃至請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
障害物と前記障害物に覆われている学習対象物の赤外線による撮像データを入力するステップと、
前記撮像データから前記学習対象物の透視画像データを生成するステップと、
前記学習対象物の前記透視画像データと予め取得している前記学習対象物の画像データとを比較するステップと、
前記比較の結果に応じて、前記学習対象物の前記透視画像データと予め取得している前記学習対象物の画像データとの差異が小さくなるように前記撮像データの演算処理方法を変更するステップと、
前記演算処理方法を用いて、前記障害物に覆われている観測対象物の透視画像を生成するステップ、を有する画像処理方法。
【請求項８】
前記演算は、多層パーセプトロンを用いている、請求項７に記載の画像処理方法。
【請求項９】
前記演算は、単純パーセプトロンを用いている、請求項７に記載の画像処理方法。
【請求項１】
障害物に覆われている観測対象物の透視画像を生成するための演算処理方法を学習によって決定する画像処理装置であって、
障害物と前記障害物に覆われている学習対象物との赤外線による撮像データを入力する撮像データ入力部と、
前記撮像データを演算処理することによって前記学習対象物の透視画像データを生成する画像データ演算処理部と、
前記学習対象物の前記透視画像データと予め取得している前記学習対象物の画像データとを比較する画像データ比較部と、を備え、
前記画像データ演算処理部は、前記画像データ比較部からの比較データに基づいて、前記透視画像データと予め取得している前記学習対象物の画像データとの差異が小さくなるように前記撮像データの演算処理方法を変更する、画像処理装置。
【請求項２】
前記画像処理装置は前記検出部をさらに備え、
前記検出部に、前記検出部が測定する画像をピクセルごとに分割し、前記ピクセルごとの波長情報と光強度情報を同時に測定することが可能なハイパースペクトルセンサを用いている、請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は前記検出部をさらに備え、
前記検出部は、前記障害物と前記観測物とからの反射光に基づいて選択された、前記赤外光の内の複数の波長帯を測定するためのバンドパスフィルタを有する、請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記演算は、多層パーセプトロンを用いている、請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
前記演算は、単純パーセプトロンを用いている、請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
【請求項６】
前記差異を小さくする方法に、最急降下法を用いている、請求項１乃至請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
障害物と前記障害物に覆われている学習対象物の赤外線による撮像データを入力するステップと、
前記撮像データから前記学習対象物の透視画像データを生成するステップと、
前記学習対象物の前記透視画像データと予め取得している前記学習対象物の画像データとを比較するステップと、
前記比較の結果に応じて、前記学習対象物の前記透視画像データと予め取得している前記学習対象物の画像データとの差異が小さくなるように前記撮像データの演算処理方法を変更するステップと、
前記演算処理方法を用いて、前記障害物に覆われている観測対象物の透視画像を生成するステップ、を有する画像処理方法。
【請求項８】
前記演算は、多層パーセプトロンを用いている、請求項７に記載の画像処理方法。
【請求項９】
前記演算は、単純パーセプトロンを用いている、請求項７に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【公開番号】特開２００６−８５６８８（Ｐ２００６−８５６８８Ａ）
【公開日】平成１８年３月３０日（２００６．３．３０）
【国際特許分類】
【出願番号】特願２００５−２４２３９１（Ｐ２００５−２４２３９１）
【出願日】平成１７年８月２４日（２００５．８．２４）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
【公開日】平成１８年３月３０日（２００６．３．３０）
【国際特許分類】
【出願日】平成１７年８月２４日（２００５．８．２４）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
[ Back to top ]