画像処理装置及び画像処理方法
【課題】重なり領域を有する２つの入力画像を張り合わせた画像において、重なり領域と重なりのない領域との間を滑らかにつなぐこと。
【解決手段】画像処理装置は、第一入力画像を基準画像として用い、第二入力画像に対して第一位置合わせを実行し、第二入力画像における基準画像の中の重なり領域に位置する各第一画素とマッチングをとる第二画素を探すための第一位置合わせ装置と、第一画素と第二画素の位置に基づいて出力画像における第一画素に対応する出力画素の位置を計算し、その中の第一画素と第二画素の位置に対してそれぞれ重み付けを行い、第一画素は、基準画像の重なりのない領域からの最短距離が小さければ小さいほど、第一画素の位置に対する重みは大きくなるような関係を成すための出力画素位置決定装置と、第一画素と第二画素の少なくとも一方の画素値に基づいて出力画素の画素値を計算するための出力画素値決定装置とを備える。
【解決手段】画像処理装置は、第一入力画像を基準画像として用い、第二入力画像に対して第一位置合わせを実行し、第二入力画像における基準画像の中の重なり領域に位置する各第一画素とマッチングをとる第二画素を探すための第一位置合わせ装置と、第一画素と第二画素の位置に基づいて出力画像における第一画素に対応する出力画素の位置を計算し、その中の第一画素と第二画素の位置に対してそれぞれ重み付けを行い、第一画素は、基準画像の重なりのない領域からの最短距離が小さければ小さいほど、第一画素の位置に対する重みは大きくなるような関係を成すための出力画素位置決定装置と、第一画素と第二画素の少なくとも一方の画素値に基づいて出力画素の画素値を計算するための出力画素値決定装置とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理分野に係り、特に、重なり領域を有する複数の画像（例えば、医学画像）に対して張り合わせを実行する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
画像張り合わせは、画像処理分野における一つの重要課題であり、その応用範囲は多方面に及ぶ。例を挙げて言えば、医学画像処理において、医学画像生成装置自身の大きさには限りがあり、被験者に対して一回での撮影で生成される画像データだけでは不十分な場合がある。例えば、核磁気共鳴診断装置を用いて患者の背骨全体を撮影するとき、一回の撮影で通常得られるのは背骨の一領域の画像であり、このような状況下では、背骨全体の画像データを得るために何回かの撮影を行って、それぞれの画像を張り合わせることによって、初めて背骨全体の画像データを得ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第７２９８９２３号明細書
【特許文献２】米国特許出願公開第２０１０／００６７７６２号明細書
【特許文献３】特開２００３−１２６０７１号公報
【特許文献４】特開２００６−１３９７８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、重なり領域を有するの２つの入力画像を張り合わせ、しかも、張り合わせて得られた画像における重なり領域と重なりのない領域との間を滑らかにつなぐことができる画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【０００５】
実施形態に係る画像処理装置は、重なり領域を有する複数の入力画像を張り合わせて出力画像とする画像処理装置において、第一位置合わせ装置と、出力画素位置決定装置と、出力画素値決定装置とを具備する。前記第一位置合わせ装置は、前記複数の入力画像における第一入力画像を基準画像とし、前記複数の入力画像における第二入力画像に対して第一の位置合わせを実行し、前記基準画像における前記重なり領域の中の重なり領域に位置する各第一画素とマッチングをとる、前記第二入力画像に属する第二画素を探す。前記出力画素位置決定装置は、第一画素と第二画素の位置に基づいて出力画像における第一画素に対応する出力画素の位置を計算し、その中の第一画素と第二画素の位置に対してそれぞれ重み付けを行い、かつ、第一画素は、基準画像の重なりのない領域からの距離が小さければ小さいほど、第一画素の位置に対する重みは大きくなるような関係を成す。前記出力画素値決定装置は、第一画素と第二画素の少なくとも一方の画素値に基づいて出力画素の画素値を計算する。
【図面の簡単な説明】
【０００６】
【図１】図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、本実施形態に係る画像処理方法を示すフロー図である。
【図３】図３は、一つの具体的実施形態において、出力画像における出力画素の位置を決定するための方法を示すフロー図である。
【図４】図４は、一つの具体的実施形態に係る出力画像における出力画素の画素値を決定するための方法を示すフロー図である。
【図５】図５は、他の実施形態に係る画像処理装置の構成を示すブロック図である。
【図６】図６は、他の実施形態に係る画像処理方法を示すフロー図である。
【図７】図７は、一つの具体的実施形態において、複数の画像に対して剛体位置合わせ方法を適用した場合を示すフロー図である。
【図８】図８は、それぞれ重なり領域を有する複数の画像を示す図である。
【図９】図９は、それぞれ重なり領域を有する複数の画像を示す図である。
【図１０】図１０は、本実施形態を実現可能な実施例のコンピュータの構成を示す図である。
【発明を実施するための形態】
【０００７】
以下において、本発明の基本的理解のために、本発明の一つの実施形態についての概要を紹介する。この概要は本発明のキーになる領域あるいは重要な領域を確定するものではなく、また本発明の範囲を限定するものでもない。その目的は、ただ簡略的に説明することによって、その後に説明する更に詳細な記述のイントロダクションのために説明するものである。
【０００８】
本発明に係る画像処理装置の一実施形態によれば、重なり領域を有する複数の入力画像を張り合わせて出力画像とする画像処理装置において、前記複数の入力画像における第一入力画像を基準画像とし、前記複数の入力画像における第二入力画像に対して第一の位置合わせを実行し、前記基準画像における前記重なり領域の中の重なり領域に位置する各第一画素とマッチングをとる第二画素を探すための第一位置合わせ装置と、第一画素と第二画素の位置に基づいて出力画像における第一画素に対応する出力画素の位置を計算し、その中の第一画素と第二画素の位置に対してそれぞれ重み付けを行い、かつ、第一画素は、基準画像の重なりのない領域からの最短距離が小さければ小さいほど、第一画素の位置に対する重みは大きくなるような関係を成すための出力画素位置決定装置と、第一画素と第二画素の少なくとも一方の画素値に基づいて出力画素の画素値を計算するための出力画素値決定装置とを具備することを特徴とする。
【０００９】
本発明に係る画像処理方法の一実施形態によれば、重なり領域を有する複数の入力画像を張り合わせて出力画像とする画像処理方法において、前記複数の入力画像における第一入力画像を基準画像とし、前記複数の入力画像における第二入力画像に対して第一の位置合わせを実行し、前記基準画像における前記重なり領域の中の重なり領域に位置する各第一画素とマッチングし、前記第二入力画像に属する第二画素を探し、第一画素と第二画素の位置に基づいて出力画像における前記重なり領域の前記第一画素に対応する出力画素の位置を計算し、その中の前記第一画素と第二画素の位置に対してそれぞれ重み付けを行い、かつ、前記第一画素は、前記基準画像の重なりのない領域からの最短距離が小さければ小さいほど、該第一画素の位置に対する重みは大きくなり、該第二画素の位置に対する重みは小さくなり、さらに、該第一画素の位置に対する重みは、該第一画素の前記基準画像の重なりの無い領域からの最短距離と非線形関数の関係を成し、さらに、前記第一画素と前記第二画素の画素値に基づいて出力画素の画素値を計算することを特徴とする。
【００１０】
また、本実施形態では、上記方法を実現するためのプログラムを含む。
【００１１】
さらに、本実施形態では、コンピュータが読み取り可能な媒体形式のプログラム製品を含み、そのプログラム製品は、上記方法を実現するためのプログラムコードを読み取ることができる。
【００１２】
以下、図面を参照しながら本実施形態を説明することにより、さらに本実施形態の目的、特徴、メリットを理解し易くすることができる。図面中の構成は、ただ本実施形態の原理を示すためのものである。図面において、同じあるいは類似の技術的特徴あるいは構成は、同様のあるいは類似の図面表記を用いて表現することとする。
【００１３】
以下、図面を参照しながら本実施形態について説明をする。なお、説明において、一つの図面あるいは一つの実施形態において記載した構成や特徴は、一つあるいは複数の他の図面あるいは実施形態において示した構成や特徴を組み合わせることができる。さらに、明瞭にするため、図面や説明において本実施形態と無関係な内容や、当業者にとって周知の構成や処理については、表示や記載を省略する。
【００１４】
本実施形態に係る一実施例において、重なり領域を有する２つあるいは複数の入力画像に対して張り合わせを実行する画像処理装置および画像処理方法を提供する。
【００１５】
また、本実施形態に係る装置や方法は、各種の画像を張り合わせるために適用することができる。例えば、本実施形態に係る装置や方法は、医学画像の張り合わせに適用することができる。ここで言う医学画像は、医用画像生成装置にて得られた被検体のデータに基づいて作成された画像である。ここで言う医用画像生成装置は、Ｘ線画像診断装置、超音波（ＵＬ）画像診断装置、コンピュータ断層（ＣＴ）画像診断装置、核磁気共鳴画像（ＭＲＩ）診断装置、ＰＥＴ装置等であるが、この限りではない。具体的に言えば、本実施形態に係る装置や方法において張り合わせる入力画像は、医学画像生成装置を利用して、同一部位の異なる領域に対して撮影を行なって得られたものであり、重なり領域を有する医学画像であって、例えば、核磁気共鳴画像診断装置を利用して、被検体の背骨の異なる領域に対して撮影を行なって得られたものであり、重なり領域を有する核磁気共鳴画像である。これに限らず、これはただの一例にすぎない。
【００１６】
また、以下において説明を簡潔にするために、重なり領域を有する２つの入力画像に対して張り合わせを実行する場合を例に説明する。ただし、本実施形態における方法や装置は重なりを有する２つ以上の入力画像において張り合わせを実行する場合も同様である。
【００１７】
図１は、一実施形態に係る画像処理装置の構成を示すブロック図であり、図２は、その実施形態に係る画像処理方法を示すフロー図である。
【００１８】
重なり領域を有する２つの入力画像に対して張り合わせを実行する時、２つの入力画像の重ならない領域は、張り合わせて得られた出力画像のそれぞれの相応領域へ反映させることができる。例えば、２つの入力画像の一方はｉＲを用いて表し、もう一方はｉＦを用いて表し、２つの入力画像の重なり領域をｉＯを用いて表した場合、２つの入力画像の張り合わせ後の出力画像ｉＳは、以下の式（１）によって表される。
【数１】
【００１９】
すなわち、２つの入力画像における重なりのない領域の画素（２つの入力画像における重なり領域ｉＯに属さない画素）は、そのまま出力画像において相応する２つの重なりの無い領域の画素として反映することができる。さらに、出力画像における２つの重なりの無い領域の間の領域（重なり領域ｉＯに相当する領域）における画素（すなわち、上記の式（１）における“padding”）は、図１と図２に示す装置および方法を用いて２つの入力画像における重なり領域ｉＯにおける画素に基づいて決定される。
【００２０】
図１に示すように、画像処理装置１００は、第一位置合わせ装置１０１と、出力画素位置決定装置１０３と、出力画素値決定装置１０５を具備する。画像処理装置１００は、例えば図２に示す方法により画像の張り合わせを実行する。以下、図２に示す方法のフローを参照しながら画像処理装置１００における各構成の機能を説明する。
【００２１】
第一位置合わせ装置１０１は、重なり領域を有する２つの入力画像に対して位置合わせ（レジストレーション／registration）を実行し（ステップ２０２）、２つの入力画像における重なり領域に位置する画素を互いにマッチングさせる。２つの入力画像の間では一定の変形を伴う場合がある。例えば、２つの入力画像として、ＭＲＩ装置により得られた人体の背骨の重なり領域を有するMRI画像とした場合、ＭＲＩ装置自身の原因によって、その２つの画像はその重なり領域で完全に重なり合わせることができない。図９に示すように、重なり領域を有する２つの画像ｉＲとｉＦがあって、その中のＬRとＬFはそれぞれ画像ｉＲと画像ｉＦにおける同一ラインでの生成画像であり、これらの画像では変形が生じて、きちんと重なり合わせることができない。そこで、第一位置合わせ装置は、画像位置合わせ方法を利用して２つの画像の間の変形に関する情報を探し出す。
【００２２】
具体的には、ステップ２０２に示すように、２つの入力画像のうちの一方を基準画像（説明本文中では第一入力画像という。）とし、もう一方の入力画像（説明本文中では第二入力画像という。）に対して位置合わせ（説明本文中では第一位置合わせという。）を実行して、第二入力画像における、第一入力画像の２つの画像の重なり領域に位置する各画素（説明本文中では第一入力画像における画素を第一画素という。）を探し出して、マッチングをとる画素（説明本文中の第二入力画像における画素を第二画素という。）とする。
【００２３】
第一位置合わせとして非剛体位置合わせ方法を用いて実行した場合の例について説明する。いかなる適切な非剛体位置合わせ方法を適用することが可能であり、ただ第一画像における２つの画像の重なり領域の第一画素とマッチングをとる、第二入力画像に属する第二画素を探せばよい。例えば、基本関数が描出する変形領域に基づく位置合わせ、薄板スプライン（Thin-Plate Spline）B-スプライン（B-Spline）による位置合わせ、弾性変形等の物理モデルに基づく位置合わせ、あるいは、オプティカルフロー場（Optical Flow Field）による位置合わせ等の非剛体位置合わせ（非剛体レジストレーション）方法により第一位置合わせを実行する。なお、ここでは逐一列挙はしない。その他の例として、第一位置合わせは、いずれかの適切な剛体位置合わせ方法を採用して実施することができるが、ここでは詳細な記述は特にしない。
【００２４】
ここで、２つの入力画像のうちのいずれか一つを基準画像（すなわち、第一入力画像）として選択し、その他のもう一方を第二入力画像とすることができる。
【００２５】
図９に示す２つの画像を例にして説明する。例えば、ｉＲを基準画像として、その他の画像ｉＦに対してステップ２０２に示す第一の位置合わせを実行する。Ｘ（図及び数式において「Ｘ」の上に矢印）を画像ｉＲにおける重なり領域ｉＯの画素（第一画素）とした場合、画像ｉＲは基準画像として画像ｉＦに対して第一位置合わせを実行した後、画像ｉＦにおける第一画素Ｘ（「Ｘ」の上に矢印）とマッチングをとる画素Ｘ”（図及び数式において「Ｘ”」の上に矢印）（第二画素）を探し出す。
【００２６】
第一位置合わせ装置１０１において、第一入力画像における重なり領域の第一画素とマッチングをとる第二画素を探し出した後、マッチングをとる第一画素と第二画素の位置と画素値を、それぞれ出力画素位置決定装置１０３と出力画素値決定装置１０５へ出力する。出力画素位置決定装置１０３と出力画素値決定装置１０５は、それぞれ２つの入力画像における重なり領域に位置するそれぞれマッチングをとる第一画素と第二画素の位置と画素値に基づいて出力画像におけるこの２つの画素に対応する出力画素の位置と画素値を決定する。
【００２７】
具体的には、ステップ２０４に示すように、出力画素位置決定装置１０３は、基準画像における重なり領域の第一画素の位置および第一画素とマッチングをとる第二画素の位置に基づいて、出力画像におけるこの重なり領域の該第一画素に対応する出力画素の位置を計算する。ここで、第一画素の基準画像の重なりの無い領域からの最短距離が小さければ小さいほど、該第一画素の位置に対する重みは大きくなり、第二画素の位置に対する重みは小さくなる。一方、第一画素の基準画像の重なりの無い領域からの最短距離が大きければ大きいほど、該第一画素の位置に対する重みは小さくなり、第二画素の位置に対する重みは大きくなる。
【００２８】
一例として、第一画素の位置に対する重みと該第一画素の基準画像における重なりの無い領域からの最短距離とは非線形関数の関係を成す。
【００２９】
引き続き図９に示す２つの画像を例に説明する。出力画像における第一画素Ｘ（図及び数式において「Ｘ」の上に矢印）に対応する出力画素Ｙ（図及び数式において「Ｙ」の上に矢印）は、以下のような式で表すことができる。
【数２】
【００３０】
上記式（２）において、ここで、これらの重みと第一画素の基準画像ｉＲにおける重なりの無い領域からの最短距離とは非線形関数の関係を成す。図９に示すように、入力画像ｉＲとｉＦとの間には変形が存在しており、この２つの画像におけるそれぞれ対応する画素は非線形の関係を成す。したがって、もしこれらの重みを、第一画素の基準画像ｉＲにおける重なりの無い領域からの最短距離と線形関数の関係を成すように設定すれば、出力画像における重なり領域ｉＯに対応する領域は、２つの重なりの無い領域へは滑らかにつながらない。本実施形態では、これらの重みは、第一画素の基準画像ｉＲにおける重なりの無い領域からの最短距離と非線形関数の関係を成すので、張り合わせて得られる出力画像は、重なり領域と重ならない領域の間で滑らかにつながるようになる。
【００３１】
ステップ２０６に示すように、出力画素値決定装置１０５は、基準画像における第一画素の画素値および／または該第一画素とマッチングをとる第二画素の画素値とに基づいて、出力画像における該重なり領域の、該第一画素に対応する出力画素の画素値を算出する。入力画素値決定装置１０５は、以下において図４を参考にして記載された方法あるいはその他の適した方法に基づいて、出力画像における、入力画像の重なり領域の各第一画素（および第一画素とマッチングをとる第二画素）に対応する各出力画素の画素値を確定する。
【００３２】
図１あるいは図２に示す装置や方法を用いて、重なり領域を有する２つの入力画像を張り合わせ、しかも、張り合わせて得られた画像における重なり領域と重なりの無い領域との間を滑らかにつなぐことができる。
【００３３】
一つの具体的例として、出力画素位置決定装置１０３は、図３に示す方法を用いて、出力画像における第一画素に対応する出力画素の位置を確定する。
【００３４】
図３に示すように、図２に示すステップ２０４は、ステップ２０４−１とステップ２０４−２を含む。ステップ２０４−１において、第一画素の基準画像における重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離に基づいて、第一画素の位置に対する重みおよび第二画素の位置に対する重みを計算する。
【００３５】
一つの例として、第一画素の基準画像における重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離が小さければ小さいほど、第一画素の位置に対する重みと第二画素の位置に対する重みの変化度合いは小さくなる。この方法により、張り合わせて得られた出力画像における重なり領域と２つの重なりの無い領域との間は更に滑らかにつなげることができる。
重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離が小さければ小さいほど、計算して得られる重みｂ（Ｘ）と（１−ｂ（Ｘ））の変化度合いが小さくなる（なお、図及び数式において「Ｘ」の上に矢印）。
【００３６】
一つの例として、引き続き図９に示す画像を例として説明する。以下の式により第二画素の位置に対する重みｂ（Ｘ）（図及び数式において「Ｘ」の上に矢印）を計算できる。このとき、第一画素の位置に対する重みは（１−ｂ（Ｘ））（図及び数式において「Ｘ」の上に矢印）で計算できる。
【数３】
【００３７】
この式（３）を用いて、張り合わせて得られた出力画像における重なり領域と２つの重なりの無い領域との間を更に滑らかにつなぐことができる。式（３）における定数ａの値は、実際の応用場面に基づいて決定され、ここでは特に言及しないが一つの例を示すと、０≦ａ≦１である。更に言えば、定数ａは０．５とするのがより良い。
【００３８】
その他の具体的例として、式（３）と異なる方法（式（３）のような数学変換式を採用して）を用いて上記の重みを計算することもできる。例えば、式（３）における余弦関数をＳｉｇｍｏｉｄ関数等のその他の適切なＳ型関数に替えて用いることも可能で、以下の条件を満足するだけで良い：第一画素の基準画像における重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離が小さければ小さいほど、計算して得られる重みｂ（Ｘ）と（１−ｂ（Ｘ））の変化度合いが小さくなる（なお、図及び数式において「Ｘ」の上に矢印）。
【００３９】
次に、ステップ２０４−２において、ステップ２０４−１において得られた重みを用いて第一画素の位置と第二画素の位置における重み付け加算を計算し、その計算結果を出力画像における重なり領域の該第一画素に対応する出力画素の位置とする。上記の式（２）は以下のように表すことができる。
【数４】
【００４０】
一つの具体的例として、出力画素値決定装置１０５は、図４に示す方法により、出力画像における第一画素に対応する出力画素の画素値を決定することができる。
【００４１】
図４に示すように、図２におけるステップ２０６はステップ２０６−１とステップ２０６−２を含む。
【００４２】
ステップ２０６−１において、ステップ２０４において得られた出力画素の位置の基準画像における重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離に基づいて、第一画素の画素値と第二画素の画素値に対する重みを計算する。
【００４３】
一つの例として、実際の応用場面に基づく適切な方法により、第一画素と第二画素の画素値に対する重みを計算することができる。例えば、第一画素の画素値に対する重みは、０と１の間の任意の値をとることができ、第一画素と第二画素の画素値に対する重みの和は１とすることができる。
【００４４】
その他の例として、出力画素と基準画像における重なりの無い領域との間の距離に基づいて第一画素と第二画素の画素値に対する重みを確定することができる。例えば、出力画素と基準画像における重なりの無い領域との間の最短距離が小さければ小さいほど、第一画素の画素値に対する重みは大きくなり、該出力画素と第二入力画像における重なりの無い領域との間の距離が小さければ小さいほど、第二画素の画素値に対する重みは大きくなる。このような方法により、得られた出力画像における重なり領域の画素値と重なりの無い領域の画素値との間を滑らかにつなぐことができる。
【００４５】
一つの具体的例として、第一画素と第二画素の画素値に対する重みと、出力画素と基準画像における重なりの無い領域との間の最短距離との間は非線形関数の関係を成し、ここで、出力画素の基準画像における重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離が小さければ小さいほど、第一画素と第二画素の画素値に対する重みの変化度合いは小さくなる。この具体的例における方法により、得られる出力画像における重なり領域と重なりの無い領域との間の画素値の変化度合いを更に滑らかにすることができる。
【００４６】
一つの具体的例として、引き続き図９に示す画像を例にして説明する。第二画素Ｘ”（図及び数式において「Ｘ”」の上に矢印）に対する重みｂ（Ｙ）（図及び数式において「Ｙ」の上に矢印）は、以下の式により計算することができる。このとき、第一画素Ｘ（図及び数式において「Ｘ」の上に矢印）に対する重みは（１−ｂ（Ｙ））（図及び数式において「Ｙ」の上に矢印）である。
【数５】
【００４７】
この具体的例の方法により、得られる出力画像における重なり領域と重なりの無い領域との間の画素値変化度合いを更に滑らかにすることができる。
【００４８】
式（５）における定数ｂの値は、実際の応用場面に基づいて決定され、ここでは特に言及しないが一つの例を示すと、０≦ｂ≦１である。更に言えば、定数ｂは０．５とするのがより良い。
【００４９】
その他の具体的例として、式（５）と異なる方法（式（５）のような数学変換式）を用いて上記の重みを計算することもできる。例えば、式（５）における余弦関数をＳｉｇｍｏｉｄ関数等のその他の適切なＳ型関数に替えて用いることも可能で、以下の条件を満足するだけで良い：第一画素の基準画像における重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離が小さければ小さいほど、計算して得られる重みｂ（Ｘ）と（１−ｂ（Ｘ））の変化度合いが小さくなる（なお、図及び数式において「Ｘ」の上に矢印）。
【００５０】
ステップ２０６−２において、ステップ２０６−１にて得られた重みを用いて第一画素と第二画素の画素値に対する重み付け加算値を計算し、その計算結果を該出力画素の画素値とする。出力画素の画素値は、例えば以下のような式により計算することができる。
【数６】
【００５１】
図５は、その他の実施形態に係る画像処理装置の構成を示すブロック図であり、図６は、この実施形態に係る画像処理方法を示すフロー図である。
【００５２】
図５あるいは図６に示す実施形態は、上記における図１乃至４にて記載された実施形態と大体類似しており、図５に示す画像処理装置５００は、第一位置合わせ装置５０１と、出力画素位置決定装置５０３と、出力画素値決定装置５０５のほかに、更に、剛体位置合わせ装置５０７を備える。図６に示す画像処理方法は、ステップ６０２、ステップ６０４、ステップ６０６のほかに、更に、２つの入力画像に対して剛体位置合わせを実行するステップ６０８を備える。
【００５３】
画像処理装置５００は、図６に示すような方法により画像張り合わせを実行することができる。以下、図６に示す方法のフローを参考にしながら、画像処理装置５００における各構成の機能について説明する。
【００５４】
剛体位置合わせ装置５０７は、ステップ６０８における方法により、２つの入力画像に対して剛体位置合わせを実行する。具体的には、ステップ６０８において、２つの入力画像のうちのいずれか一方を基準画像（第一入力画像とも称する。）とし、もう一方の入力画像（第二入力画像とも称する。）に対して剛体位置合わせを実行する。いずれかの適切な剛体位置合わせ方法を用いることができるが、例えば、点に基づく位置合わせ方法、分割に基づく位置合わせ方法あるいはボリューム特徴に基づく位置合わせ方法を用いることができる。剛体位置合わせにおける類似度合いは、相互情報量（Mutual information）と正規化相互情報量結合ヒストグラム（Normalized mutual information joint histogram）に基づく方法、あるいは、二乗平均差（Mean Square Difference）、相関係数（Correlation Coefficient）、勾配相似性（Gradient Similarity）等に基づく方法を用いて得ることができ、剛体位置合わせにおける適切な方法としては、共役方向法（パウエル法／Powell法）による検索、擬似全数（Pseudo-Exhaustive）等の適切な方法を用いることができる。ただし、ここでは逐一列挙はしない。
【００５５】
図７において、２つの画像に対して剛体変換を実施する方法の一つの例を紹介する。図７に示すように、剛体位置合わせステップ６０８は、２つのステップ６０８−１とステップ６０８−２を有する。
【００５６】
ステップ６０８−１において、先ず、２つの入力画像の間の回転や縮小拡大の変換関係を表すマトリックスＭおよび２つの入力画像の間の変位変換関係を表すベクトルＴ（図及び数式において「Ｔ」の上に矢印）を推定する。例えば、第二入力画像における基準画像の画素（第一画素）Ｘ（図及び数式において「Ｘ」の上に矢印）に対応する画素（第二画素）Ｘ’（図及び数式において「Ｘ’」の上に矢印）は、以下の式を用いて表すことができる。
【数７】
【００５７】
つぎに、推定したマトリックスＭとベクトルＴ（図及び数式において「Ｔ」の上に矢印）に基づいて、以下の式により第二入力画像に対して変換を実行する。
【数８】
【００５８】
ここで、ｉＦは第二入力画像を表し、ｉＦ’は第一画像（図８に示すような画像ｉＲ）を基準画像として利用し、第二入力画像ｉＦに対して剛体変換を実行して得られた画像を表す。図８に示す画像を例として、ｉＲは２つの入力画像における基準画像を表し、ｉＦ’はｉＲを基準画像として剛体変換を経た後の第二入力画像を表す。
【００５９】
ステップ６０８−２において、基準画像と剛体変換を経た後の第二入力画像との間の重なり領域と重なりの無い領域を確定する。例えば、２つの入力画像における重なりの無い領域に対して、それを出力画像における相応領域へ直接対応させることができ（式（１）に示すように）、さらに、重なり領域に対しては、後に続くステップ６０２、ステップ６０４、ステップ６０８に基づいて処理され、出力画像における重なり領域に対応する領域へ対応させることができ、張り合わせられた全体の画像を得ることができる。
【００６０】
剛体位置合わせ装置５０７は、剛体位置合わせを経た後の第二入力画像を第一位置合わせ装置５０１へ出力する。第一位置合わせ装置５０１は、引き続き第一入力画像を基準画像として、剛体位置合わせを経た後の第二入力画像に対して第一位置合わせ（ステップ６０２）を実行し、剛体位置合わせを経た後の第二入力画像における、基準画像の２つの画像の重なり領域に位置する各画素（第一画素と称する）とマッチングする画素（第二画素と称する）を探し出す。第一位置合わせ装置５０１、出力画素位置決定装置５０３、出力画素値決定装置５０５の機能と構成と上記の図１乃至４を参考にして説明した実施形態における装置１０１、１０３、１０５は互いに相似するものであり、ここでは重複して説明はしない。ステップ６０２、６０４、６０６と上記の図２乃至４を参考にして説明した実施形態におけるステップ２０２、２０４、２０６は互いに相似するものであり、ここでは重複して説明はしない。
【００６１】
図５あるいは図６に示す装置や方法を用いて、重なり領域を有する２つの入力画像を張り合わせることができ、張り合わせて得られた画像における重なり領域と重なりの無い領域との間を滑らかにつなぐことができる。図１あるいは図２に示す装置や方法と比べて、剛体位置合わせのステップが追加されているので、張り合わせた画像は更に優れたものになり、入力画像の間の回転、縮小拡大、平行移動によって生じる張り合わせのズレやミスを低減することができる。また、図５あるいは図６に示す装置や方法において、２つの入力画像のいずれか一方を剛体位置合わせと第一位置合わせの基準画像として、２つの入力画像の一方に対して位置合わせを実行するだけで良く、それゆえ、画像張り合わせに要する計算量を軽減することができる。さらに、２つの入力画像の重なり領域に対して第一位置合わせを一回実行するだけで良く、それゆえ、画像張り合わせに要する計算量をさらに軽減することができる。
【００６２】
その他の実施形態では、上記の実施形態により得られた張り合わせ画像に対して更に処理を追加する。例えば、画像処理装置１００あるいは５００は、出力処理部（図示せず）を備える。この出力処理部は、出力画素値決定装置１０５あるいは５０５により得られた出力画像における重なり領域ｉＯに対応する領域に対して再サンプリング（resampling）を実行する。出力画素位置決定装置１０３あるいは５０３および出力画素値決定装置１０５あるいは５０５は、その処理過程の前後で同じ画素空間を保持することは難しい。それゆえ、得られた出力画像における重なり領域ｉＯに対応する領域に対して再サンプリングする必要がある。さらに、重なり領域ｉＯに対応する領域を重なりの無い領域と組み合わせて一つにして、一つの張り合わせ画像を形成する。同じように、図２乃至４と図６に示す方法は、ステップ２０６やステップ６０６により得られた出力画像における重なり領域ｉＯに対応する領域に対して再サンプリングを実行するステップを有する（図示しない）。いずれかの適切な方法により再サンプリングを実行できるが、ここでは特に限定しない。
【００６３】
本実施形態において記載した画素は、二次元画像における画素（Pixel）でもよいし、三次元画像における画素（Voxel）であってもよい。また、本実施形態において記載した画素値は、画像中の画素の強度のグレースケール値でもよいし、色彩値であってもよい。
【００６４】
本実施形態に基づく画像処理方法と装置は、各種画像の張り合わせ処理に応用することができる。これらの画像は１次元あるいは多次元（例えば、2次元あるいは3次元等）であって、例えば、本実施形態に基づく画像処理方法と装置は、医学画像（例えば、医療画像診断装置により取得されたデータに基づいて生成された画像）の張り合わせ処理に応用可能である。その一例として、上述方法の各ステップおよび上述装置の各構成および／あるいは部分は、医療画像診断装置（例えば、Ｘ線診断装置、超音波診断装置、ＣＴ装置、磁気共鳴診断装置、ＰＥＴ装置等）のソフトウエア、ファームウエア、ハードウエアあるいはそれらの組み合わせとして、また、該医療画像診断装置の中の一部分として実施することができる。その一例として、既存の医療画像診断装置において、本実施形態の上述方法および／または装置に基づいて実施することができ、しかも、既存の医療画像診断装置の各構成部分に対してある程度改良をするだけで即実施可能となる。その他の例として、上述方法の各ステップおよび上述装置の各構成および／または部分は、前記医療画像診断装置とは独立した装置として実施してもよい。上述装置の各構成や部分は、ソフトウエア、ファームウエア、ハードウエアあるいはそれらの組み合わせた方式により構成することができるが、使用する具体的手段や方式は当業者の周知のものであり、ここでは特に述べることはしない。
【００６５】
その一例として、上述方法の各ステップおよび上述装置の各構成および／または部分はソフトウエア、ファームウエア、ハードウエアあるいはそれらの組み合わせとして実施しても良い。ソフトウエアあるいはファームウエアを介して実現した場合、上述方法のソフトウエアプログラムを実施するため、メモリ媒体からあるいはネットワークを介して専用のハードウエア構造のコンピュータ（例えば、図１０に示す汎用コンピュータ１０００）へダウンロードして構成することができ、該コンピュータに各種プログラムがダウンロードされた状態で、各種機能等を実施することができる。
【００６６】
図１０において、演算処理部（即ち、ＣＰＵ）１００１は、読み出し専用メモリ（ＲＯＭ）１００２の中に記憶されているプログラム、あるいは、記憶部１００８から読み書き兼用メモリ（ＲＡＭ）１００３へ書き込まれたプログラムに基づいて、各種処理を実施する。ＲＡＭ１００３では、必要に応じて、ＣＰＵ１００１が各種処理等を実施するときに必要なデータも記憶しておく。ＣＰＵ１００１、ＲＯＭ１００２およびＲＡＭ１００３は、綜合ライン１００４を経由してそれぞれ接続されている。入力／出力インターフェース１００５も、綜合ライン１００４につながっている。
【００６７】
下記の各部は、入力／出力インターフェース１００５に接続されている：入力部１００６（キーボード、マウス等を含む）、出力部１００７（モニタ、例えば、ブラウン管（ＣＲＴ）、液晶モニタ（ＬＣＤ）等や、スピーカ等を含む）、記憶部１００８（キーボードを含む）、通信部１００９（ネットワークインターフェースカード、例えば、ＬＡＮカード、モデム等）。通信部１００９は、ネットワーク（例えば、インターネット）を介して通信処理を実施する。必要に応じて、駆動部１０１０も入力／出力インターフェース１００５に接続可能である。取り外し可能な媒体１０１１は、例えば、磁気ディスク、光ディスク、ＭＯ、半導体メモリ等であって、必要に応じて駆動部１０１０に装着され、必要に応じてコンピュータプログラムを読み出して、記憶部１００８へダウンロードされる。
【００６８】
ソフトウエアを介して上述システム処理を実施する場合、ネットワーク（例えば、インターネットあるいは記憶媒体（例えば、取り外し可能な媒体１０１１））からプログラムをダウンロードしても良い。
【００６９】
当業者においては、このような記憶媒体は図１０に示すようなプログラムを記憶した記憶媒体は、装置とは離れたところからユーザにプログラムを提供する取り外し可能な媒体１０１１に限らない。取り外し可能な媒体１０１１の例としては、磁気ディスク（フロッピー（登録商標）ディスク、光ディスク（ＣＤ−ＲＯＭやＤＶＤを含む）、磁気光ディスク（ＭｉｎｉＤｉｓｃ（ＭＤ、登録商標）を含む）らを含む。また、記憶媒体はＲＯＭ１００２であっても良く、記憶部１００８に含まれるハードディスク等、その中にプログラムが記憶され、それらを含む装置からユーザへプログラムが送られる形態でも良い。
【００７０】
本実施形態では、更に、メモリとして、機器読み取り可能なコマンドコードを記憶しているプログラム製品でも応用でき、前記コマンドコードが機器を介して読み取られると、本実施形態の実施例における方法が実施される。
【００７１】
上述機器読み取り可能なコマンドコードを記憶しているプログラム製品を受け入れるための記憶媒体も本実施形態に適用できる。その記憶媒体は、ハードディスク、光ディスク、磁気光ディスク、メモリカード、メモリスティックには限定されない。
【００７２】
上記の本実施形態の具体的実施例においては、一つの実施方式に示す特徴について、同様の方法を一つあるいは複数のほかの実施方法の中で適用したり、その他の実施方法と組み合わせたり、あるいはその他の実施方法における特徴に替えるといったことも可能である。
【００７３】
さらに、“包含する／含む”といった用語を使用したときは、特徴・構成・ステップあるいは構造の存在を指し示す。ただし、その他の特徴・構成・ステップあるいは構造の存在や付加の排除を意味するものではない。
【００７４】
上記実施例においては、数字構成の図番記号を用いて各ステップや構成を表記している。ただし、これらの図番記号は単なる説明や画図の都合への考慮によるものであって、その順序やいかなるほかの限定を表すものではない、と当業者は理解すべきである。
【００７５】
このほか、本実施形態の方法は、詳細な説明の欄において説明された時間順序に沿って実施されるものに限らず、その他の時間順序に沿って、同時に、あるいは独立して実施されても良い。それゆえ、本願の詳細な説明において説明された方法の実施順序は、本実施形態の技術範囲に対する構成を制限するものではない。
【００７６】
上記では、既に、本実施形態の具体的実施例の説明をもって、本実施形態の説明を行っているものの、上述のすべての実施例はすべて単なる例示に過ぎず、限定するものではない。当業者は、特許請求の主旨や範囲において、本実施形態の各種手直し・改良あるいは同等物の設計を行うことが可能である。これらの手直し・改良あるいは同等物は、本実施形態の保護範囲内に含まれるものである。
【符号の説明】
【００７７】
１０１ 第一位置合わせ装置
１０３ 出力画素位置決定装置
１０５ 出力画素値決定装置
【技術分野】
【０００１】
本発明は、画像処理分野に係り、特に、重なり領域を有する複数の画像（例えば、医学画像）に対して張り合わせを実行する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
画像張り合わせは、画像処理分野における一つの重要課題であり、その応用範囲は多方面に及ぶ。例を挙げて言えば、医学画像処理において、医学画像生成装置自身の大きさには限りがあり、被験者に対して一回での撮影で生成される画像データだけでは不十分な場合がある。例えば、核磁気共鳴診断装置を用いて患者の背骨全体を撮影するとき、一回の撮影で通常得られるのは背骨の一領域の画像であり、このような状況下では、背骨全体の画像データを得るために何回かの撮影を行って、それぞれの画像を張り合わせることによって、初めて背骨全体の画像データを得ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第７２９８９２３号明細書
【特許文献２】米国特許出願公開第２０１０／００６７７６２号明細書
【特許文献３】特開２００３−１２６０７１号公報
【特許文献４】特開２００６−１３９７８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、重なり領域を有するの２つの入力画像を張り合わせ、しかも、張り合わせて得られた画像における重なり領域と重なりのない領域との間を滑らかにつなぐことができる画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【０００５】
実施形態に係る画像処理装置は、重なり領域を有する複数の入力画像を張り合わせて出力画像とする画像処理装置において、第一位置合わせ装置と、出力画素位置決定装置と、出力画素値決定装置とを具備する。前記第一位置合わせ装置は、前記複数の入力画像における第一入力画像を基準画像とし、前記複数の入力画像における第二入力画像に対して第一の位置合わせを実行し、前記基準画像における前記重なり領域の中の重なり領域に位置する各第一画素とマッチングをとる、前記第二入力画像に属する第二画素を探す。前記出力画素位置決定装置は、第一画素と第二画素の位置に基づいて出力画像における第一画素に対応する出力画素の位置を計算し、その中の第一画素と第二画素の位置に対してそれぞれ重み付けを行い、かつ、第一画素は、基準画像の重なりのない領域からの距離が小さければ小さいほど、第一画素の位置に対する重みは大きくなるような関係を成す。前記出力画素値決定装置は、第一画素と第二画素の少なくとも一方の画素値に基づいて出力画素の画素値を計算する。
【図面の簡単な説明】
【０００６】
【図１】図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、本実施形態に係る画像処理方法を示すフロー図である。
【図３】図３は、一つの具体的実施形態において、出力画像における出力画素の位置を決定するための方法を示すフロー図である。
【図４】図４は、一つの具体的実施形態に係る出力画像における出力画素の画素値を決定するための方法を示すフロー図である。
【図５】図５は、他の実施形態に係る画像処理装置の構成を示すブロック図である。
【図６】図６は、他の実施形態に係る画像処理方法を示すフロー図である。
【図７】図７は、一つの具体的実施形態において、複数の画像に対して剛体位置合わせ方法を適用した場合を示すフロー図である。
【図８】図８は、それぞれ重なり領域を有する複数の画像を示す図である。
【図９】図９は、それぞれ重なり領域を有する複数の画像を示す図である。
【図１０】図１０は、本実施形態を実現可能な実施例のコンピュータの構成を示す図である。
【発明を実施するための形態】
【０００７】
以下において、本発明の基本的理解のために、本発明の一つの実施形態についての概要を紹介する。この概要は本発明のキーになる領域あるいは重要な領域を確定するものではなく、また本発明の範囲を限定するものでもない。その目的は、ただ簡略的に説明することによって、その後に説明する更に詳細な記述のイントロダクションのために説明するものである。
【０００８】
本発明に係る画像処理装置の一実施形態によれば、重なり領域を有する複数の入力画像を張り合わせて出力画像とする画像処理装置において、前記複数の入力画像における第一入力画像を基準画像とし、前記複数の入力画像における第二入力画像に対して第一の位置合わせを実行し、前記基準画像における前記重なり領域の中の重なり領域に位置する各第一画素とマッチングをとる第二画素を探すための第一位置合わせ装置と、第一画素と第二画素の位置に基づいて出力画像における第一画素に対応する出力画素の位置を計算し、その中の第一画素と第二画素の位置に対してそれぞれ重み付けを行い、かつ、第一画素は、基準画像の重なりのない領域からの最短距離が小さければ小さいほど、第一画素の位置に対する重みは大きくなるような関係を成すための出力画素位置決定装置と、第一画素と第二画素の少なくとも一方の画素値に基づいて出力画素の画素値を計算するための出力画素値決定装置とを具備することを特徴とする。
【０００９】
本発明に係る画像処理方法の一実施形態によれば、重なり領域を有する複数の入力画像を張り合わせて出力画像とする画像処理方法において、前記複数の入力画像における第一入力画像を基準画像とし、前記複数の入力画像における第二入力画像に対して第一の位置合わせを実行し、前記基準画像における前記重なり領域の中の重なり領域に位置する各第一画素とマッチングし、前記第二入力画像に属する第二画素を探し、第一画素と第二画素の位置に基づいて出力画像における前記重なり領域の前記第一画素に対応する出力画素の位置を計算し、その中の前記第一画素と第二画素の位置に対してそれぞれ重み付けを行い、かつ、前記第一画素は、前記基準画像の重なりのない領域からの最短距離が小さければ小さいほど、該第一画素の位置に対する重みは大きくなり、該第二画素の位置に対する重みは小さくなり、さらに、該第一画素の位置に対する重みは、該第一画素の前記基準画像の重なりの無い領域からの最短距離と非線形関数の関係を成し、さらに、前記第一画素と前記第二画素の画素値に基づいて出力画素の画素値を計算することを特徴とする。
【００１０】
また、本実施形態では、上記方法を実現するためのプログラムを含む。
【００１１】
さらに、本実施形態では、コンピュータが読み取り可能な媒体形式のプログラム製品を含み、そのプログラム製品は、上記方法を実現するためのプログラムコードを読み取ることができる。
【００１２】
以下、図面を参照しながら本実施形態を説明することにより、さらに本実施形態の目的、特徴、メリットを理解し易くすることができる。図面中の構成は、ただ本実施形態の原理を示すためのものである。図面において、同じあるいは類似の技術的特徴あるいは構成は、同様のあるいは類似の図面表記を用いて表現することとする。
【００１３】
以下、図面を参照しながら本実施形態について説明をする。なお、説明において、一つの図面あるいは一つの実施形態において記載した構成や特徴は、一つあるいは複数の他の図面あるいは実施形態において示した構成や特徴を組み合わせることができる。さらに、明瞭にするため、図面や説明において本実施形態と無関係な内容や、当業者にとって周知の構成や処理については、表示や記載を省略する。
【００１４】
本実施形態に係る一実施例において、重なり領域を有する２つあるいは複数の入力画像に対して張り合わせを実行する画像処理装置および画像処理方法を提供する。
【００１５】
また、本実施形態に係る装置や方法は、各種の画像を張り合わせるために適用することができる。例えば、本実施形態に係る装置や方法は、医学画像の張り合わせに適用することができる。ここで言う医学画像は、医用画像生成装置にて得られた被検体のデータに基づいて作成された画像である。ここで言う医用画像生成装置は、Ｘ線画像診断装置、超音波（ＵＬ）画像診断装置、コンピュータ断層（ＣＴ）画像診断装置、核磁気共鳴画像（ＭＲＩ）診断装置、ＰＥＴ装置等であるが、この限りではない。具体的に言えば、本実施形態に係る装置や方法において張り合わせる入力画像は、医学画像生成装置を利用して、同一部位の異なる領域に対して撮影を行なって得られたものであり、重なり領域を有する医学画像であって、例えば、核磁気共鳴画像診断装置を利用して、被検体の背骨の異なる領域に対して撮影を行なって得られたものであり、重なり領域を有する核磁気共鳴画像である。これに限らず、これはただの一例にすぎない。
【００１６】
また、以下において説明を簡潔にするために、重なり領域を有する２つの入力画像に対して張り合わせを実行する場合を例に説明する。ただし、本実施形態における方法や装置は重なりを有する２つ以上の入力画像において張り合わせを実行する場合も同様である。
【００１７】
図１は、一実施形態に係る画像処理装置の構成を示すブロック図であり、図２は、その実施形態に係る画像処理方法を示すフロー図である。
【００１８】
重なり領域を有する２つの入力画像に対して張り合わせを実行する時、２つの入力画像の重ならない領域は、張り合わせて得られた出力画像のそれぞれの相応領域へ反映させることができる。例えば、２つの入力画像の一方はｉＲを用いて表し、もう一方はｉＦを用いて表し、２つの入力画像の重なり領域をｉＯを用いて表した場合、２つの入力画像の張り合わせ後の出力画像ｉＳは、以下の式（１）によって表される。
【数１】
【００１９】
すなわち、２つの入力画像における重なりのない領域の画素（２つの入力画像における重なり領域ｉＯに属さない画素）は、そのまま出力画像において相応する２つの重なりの無い領域の画素として反映することができる。さらに、出力画像における２つの重なりの無い領域の間の領域（重なり領域ｉＯに相当する領域）における画素（すなわち、上記の式（１）における“padding”）は、図１と図２に示す装置および方法を用いて２つの入力画像における重なり領域ｉＯにおける画素に基づいて決定される。
【００２０】
図１に示すように、画像処理装置１００は、第一位置合わせ装置１０１と、出力画素位置決定装置１０３と、出力画素値決定装置１０５を具備する。画像処理装置１００は、例えば図２に示す方法により画像の張り合わせを実行する。以下、図２に示す方法のフローを参照しながら画像処理装置１００における各構成の機能を説明する。
【００２１】
第一位置合わせ装置１０１は、重なり領域を有する２つの入力画像に対して位置合わせ（レジストレーション／registration）を実行し（ステップ２０２）、２つの入力画像における重なり領域に位置する画素を互いにマッチングさせる。２つの入力画像の間では一定の変形を伴う場合がある。例えば、２つの入力画像として、ＭＲＩ装置により得られた人体の背骨の重なり領域を有するMRI画像とした場合、ＭＲＩ装置自身の原因によって、その２つの画像はその重なり領域で完全に重なり合わせることができない。図９に示すように、重なり領域を有する２つの画像ｉＲとｉＦがあって、その中のＬRとＬFはそれぞれ画像ｉＲと画像ｉＦにおける同一ラインでの生成画像であり、これらの画像では変形が生じて、きちんと重なり合わせることができない。そこで、第一位置合わせ装置は、画像位置合わせ方法を利用して２つの画像の間の変形に関する情報を探し出す。
【００２２】
具体的には、ステップ２０２に示すように、２つの入力画像のうちの一方を基準画像（説明本文中では第一入力画像という。）とし、もう一方の入力画像（説明本文中では第二入力画像という。）に対して位置合わせ（説明本文中では第一位置合わせという。）を実行して、第二入力画像における、第一入力画像の２つの画像の重なり領域に位置する各画素（説明本文中では第一入力画像における画素を第一画素という。）を探し出して、マッチングをとる画素（説明本文中の第二入力画像における画素を第二画素という。）とする。
【００２３】
第一位置合わせとして非剛体位置合わせ方法を用いて実行した場合の例について説明する。いかなる適切な非剛体位置合わせ方法を適用することが可能であり、ただ第一画像における２つの画像の重なり領域の第一画素とマッチングをとる、第二入力画像に属する第二画素を探せばよい。例えば、基本関数が描出する変形領域に基づく位置合わせ、薄板スプライン（Thin-Plate Spline）B-スプライン（B-Spline）による位置合わせ、弾性変形等の物理モデルに基づく位置合わせ、あるいは、オプティカルフロー場（Optical Flow Field）による位置合わせ等の非剛体位置合わせ（非剛体レジストレーション）方法により第一位置合わせを実行する。なお、ここでは逐一列挙はしない。その他の例として、第一位置合わせは、いずれかの適切な剛体位置合わせ方法を採用して実施することができるが、ここでは詳細な記述は特にしない。
【００２４】
ここで、２つの入力画像のうちのいずれか一つを基準画像（すなわち、第一入力画像）として選択し、その他のもう一方を第二入力画像とすることができる。
【００２５】
図９に示す２つの画像を例にして説明する。例えば、ｉＲを基準画像として、その他の画像ｉＦに対してステップ２０２に示す第一の位置合わせを実行する。Ｘ（図及び数式において「Ｘ」の上に矢印）を画像ｉＲにおける重なり領域ｉＯの画素（第一画素）とした場合、画像ｉＲは基準画像として画像ｉＦに対して第一位置合わせを実行した後、画像ｉＦにおける第一画素Ｘ（「Ｘ」の上に矢印）とマッチングをとる画素Ｘ”（図及び数式において「Ｘ”」の上に矢印）（第二画素）を探し出す。
【００２６】
第一位置合わせ装置１０１において、第一入力画像における重なり領域の第一画素とマッチングをとる第二画素を探し出した後、マッチングをとる第一画素と第二画素の位置と画素値を、それぞれ出力画素位置決定装置１０３と出力画素値決定装置１０５へ出力する。出力画素位置決定装置１０３と出力画素値決定装置１０５は、それぞれ２つの入力画像における重なり領域に位置するそれぞれマッチングをとる第一画素と第二画素の位置と画素値に基づいて出力画像におけるこの２つの画素に対応する出力画素の位置と画素値を決定する。
【００２７】
具体的には、ステップ２０４に示すように、出力画素位置決定装置１０３は、基準画像における重なり領域の第一画素の位置および第一画素とマッチングをとる第二画素の位置に基づいて、出力画像におけるこの重なり領域の該第一画素に対応する出力画素の位置を計算する。ここで、第一画素の基準画像の重なりの無い領域からの最短距離が小さければ小さいほど、該第一画素の位置に対する重みは大きくなり、第二画素の位置に対する重みは小さくなる。一方、第一画素の基準画像の重なりの無い領域からの最短距離が大きければ大きいほど、該第一画素の位置に対する重みは小さくなり、第二画素の位置に対する重みは大きくなる。
【００２８】
一例として、第一画素の位置に対する重みと該第一画素の基準画像における重なりの無い領域からの最短距離とは非線形関数の関係を成す。
【００２９】
引き続き図９に示す２つの画像を例に説明する。出力画像における第一画素Ｘ（図及び数式において「Ｘ」の上に矢印）に対応する出力画素Ｙ（図及び数式において「Ｙ」の上に矢印）は、以下のような式で表すことができる。
【数２】
【００３０】
上記式（２）において、ここで、これらの重みと第一画素の基準画像ｉＲにおける重なりの無い領域からの最短距離とは非線形関数の関係を成す。図９に示すように、入力画像ｉＲとｉＦとの間には変形が存在しており、この２つの画像におけるそれぞれ対応する画素は非線形の関係を成す。したがって、もしこれらの重みを、第一画素の基準画像ｉＲにおける重なりの無い領域からの最短距離と線形関数の関係を成すように設定すれば、出力画像における重なり領域ｉＯに対応する領域は、２つの重なりの無い領域へは滑らかにつながらない。本実施形態では、これらの重みは、第一画素の基準画像ｉＲにおける重なりの無い領域からの最短距離と非線形関数の関係を成すので、張り合わせて得られる出力画像は、重なり領域と重ならない領域の間で滑らかにつながるようになる。
【００３１】
ステップ２０６に示すように、出力画素値決定装置１０５は、基準画像における第一画素の画素値および／または該第一画素とマッチングをとる第二画素の画素値とに基づいて、出力画像における該重なり領域の、該第一画素に対応する出力画素の画素値を算出する。入力画素値決定装置１０５は、以下において図４を参考にして記載された方法あるいはその他の適した方法に基づいて、出力画像における、入力画像の重なり領域の各第一画素（および第一画素とマッチングをとる第二画素）に対応する各出力画素の画素値を確定する。
【００３２】
図１あるいは図２に示す装置や方法を用いて、重なり領域を有する２つの入力画像を張り合わせ、しかも、張り合わせて得られた画像における重なり領域と重なりの無い領域との間を滑らかにつなぐことができる。
【００３３】
一つの具体的例として、出力画素位置決定装置１０３は、図３に示す方法を用いて、出力画像における第一画素に対応する出力画素の位置を確定する。
【００３４】
図３に示すように、図２に示すステップ２０４は、ステップ２０４−１とステップ２０４−２を含む。ステップ２０４−１において、第一画素の基準画像における重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離に基づいて、第一画素の位置に対する重みおよび第二画素の位置に対する重みを計算する。
【００３５】
一つの例として、第一画素の基準画像における重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離が小さければ小さいほど、第一画素の位置に対する重みと第二画素の位置に対する重みの変化度合いは小さくなる。この方法により、張り合わせて得られた出力画像における重なり領域と２つの重なりの無い領域との間は更に滑らかにつなげることができる。
重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離が小さければ小さいほど、計算して得られる重みｂ（Ｘ）と（１−ｂ（Ｘ））の変化度合いが小さくなる（なお、図及び数式において「Ｘ」の上に矢印）。
【００３６】
一つの例として、引き続き図９に示す画像を例として説明する。以下の式により第二画素の位置に対する重みｂ（Ｘ）（図及び数式において「Ｘ」の上に矢印）を計算できる。このとき、第一画素の位置に対する重みは（１−ｂ（Ｘ））（図及び数式において「Ｘ」の上に矢印）で計算できる。
【数３】
【００３７】
この式（３）を用いて、張り合わせて得られた出力画像における重なり領域と２つの重なりの無い領域との間を更に滑らかにつなぐことができる。式（３）における定数ａの値は、実際の応用場面に基づいて決定され、ここでは特に言及しないが一つの例を示すと、０≦ａ≦１である。更に言えば、定数ａは０．５とするのがより良い。
【００３８】
その他の具体的例として、式（３）と異なる方法（式（３）のような数学変換式を採用して）を用いて上記の重みを計算することもできる。例えば、式（３）における余弦関数をＳｉｇｍｏｉｄ関数等のその他の適切なＳ型関数に替えて用いることも可能で、以下の条件を満足するだけで良い：第一画素の基準画像における重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離が小さければ小さいほど、計算して得られる重みｂ（Ｘ）と（１−ｂ（Ｘ））の変化度合いが小さくなる（なお、図及び数式において「Ｘ」の上に矢印）。
【００３９】
次に、ステップ２０４−２において、ステップ２０４−１において得られた重みを用いて第一画素の位置と第二画素の位置における重み付け加算を計算し、その計算結果を出力画像における重なり領域の該第一画素に対応する出力画素の位置とする。上記の式（２）は以下のように表すことができる。
【数４】
【００４０】
一つの具体的例として、出力画素値決定装置１０５は、図４に示す方法により、出力画像における第一画素に対応する出力画素の画素値を決定することができる。
【００４１】
図４に示すように、図２におけるステップ２０６はステップ２０６−１とステップ２０６−２を含む。
【００４２】
ステップ２０６−１において、ステップ２０４において得られた出力画素の位置の基準画像における重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離に基づいて、第一画素の画素値と第二画素の画素値に対する重みを計算する。
【００４３】
一つの例として、実際の応用場面に基づく適切な方法により、第一画素と第二画素の画素値に対する重みを計算することができる。例えば、第一画素の画素値に対する重みは、０と１の間の任意の値をとることができ、第一画素と第二画素の画素値に対する重みの和は１とすることができる。
【００４４】
その他の例として、出力画素と基準画像における重なりの無い領域との間の距離に基づいて第一画素と第二画素の画素値に対する重みを確定することができる。例えば、出力画素と基準画像における重なりの無い領域との間の最短距離が小さければ小さいほど、第一画素の画素値に対する重みは大きくなり、該出力画素と第二入力画像における重なりの無い領域との間の距離が小さければ小さいほど、第二画素の画素値に対する重みは大きくなる。このような方法により、得られた出力画像における重なり領域の画素値と重なりの無い領域の画素値との間を滑らかにつなぐことができる。
【００４５】
一つの具体的例として、第一画素と第二画素の画素値に対する重みと、出力画素と基準画像における重なりの無い領域との間の最短距離との間は非線形関数の関係を成し、ここで、出力画素の基準画像における重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離が小さければ小さいほど、第一画素と第二画素の画素値に対する重みの変化度合いは小さくなる。この具体的例における方法により、得られる出力画像における重なり領域と重なりの無い領域との間の画素値の変化度合いを更に滑らかにすることができる。
【００４６】
一つの具体的例として、引き続き図９に示す画像を例にして説明する。第二画素Ｘ”（図及び数式において「Ｘ”」の上に矢印）に対する重みｂ（Ｙ）（図及び数式において「Ｙ」の上に矢印）は、以下の式により計算することができる。このとき、第一画素Ｘ（図及び数式において「Ｘ」の上に矢印）に対する重みは（１−ｂ（Ｙ））（図及び数式において「Ｙ」の上に矢印）である。
【数５】
【００４７】
この具体的例の方法により、得られる出力画像における重なり領域と重なりの無い領域との間の画素値変化度合いを更に滑らかにすることができる。
【００４８】
式（５）における定数ｂの値は、実際の応用場面に基づいて決定され、ここでは特に言及しないが一つの例を示すと、０≦ｂ≦１である。更に言えば、定数ｂは０．５とするのがより良い。
【００４９】
その他の具体的例として、式（５）と異なる方法（式（５）のような数学変換式）を用いて上記の重みを計算することもできる。例えば、式（５）における余弦関数をＳｉｇｍｏｉｄ関数等のその他の適切なＳ型関数に替えて用いることも可能で、以下の条件を満足するだけで良い：第一画素の基準画像における重なりの無い領域からの最短距離あるいは第二入力画像における重なりの無い領域からの最短距離が小さければ小さいほど、計算して得られる重みｂ（Ｘ）と（１−ｂ（Ｘ））の変化度合いが小さくなる（なお、図及び数式において「Ｘ」の上に矢印）。
【００５０】
ステップ２０６−２において、ステップ２０６−１にて得られた重みを用いて第一画素と第二画素の画素値に対する重み付け加算値を計算し、その計算結果を該出力画素の画素値とする。出力画素の画素値は、例えば以下のような式により計算することができる。
【数６】
【００５１】
図５は、その他の実施形態に係る画像処理装置の構成を示すブロック図であり、図６は、この実施形態に係る画像処理方法を示すフロー図である。
【００５２】
図５あるいは図６に示す実施形態は、上記における図１乃至４にて記載された実施形態と大体類似しており、図５に示す画像処理装置５００は、第一位置合わせ装置５０１と、出力画素位置決定装置５０３と、出力画素値決定装置５０５のほかに、更に、剛体位置合わせ装置５０７を備える。図６に示す画像処理方法は、ステップ６０２、ステップ６０４、ステップ６０６のほかに、更に、２つの入力画像に対して剛体位置合わせを実行するステップ６０８を備える。
【００５３】
画像処理装置５００は、図６に示すような方法により画像張り合わせを実行することができる。以下、図６に示す方法のフローを参考にしながら、画像処理装置５００における各構成の機能について説明する。
【００５４】
剛体位置合わせ装置５０７は、ステップ６０８における方法により、２つの入力画像に対して剛体位置合わせを実行する。具体的には、ステップ６０８において、２つの入力画像のうちのいずれか一方を基準画像（第一入力画像とも称する。）とし、もう一方の入力画像（第二入力画像とも称する。）に対して剛体位置合わせを実行する。いずれかの適切な剛体位置合わせ方法を用いることができるが、例えば、点に基づく位置合わせ方法、分割に基づく位置合わせ方法あるいはボリューム特徴に基づく位置合わせ方法を用いることができる。剛体位置合わせにおける類似度合いは、相互情報量（Mutual information）と正規化相互情報量結合ヒストグラム（Normalized mutual information joint histogram）に基づく方法、あるいは、二乗平均差（Mean Square Difference）、相関係数（Correlation Coefficient）、勾配相似性（Gradient Similarity）等に基づく方法を用いて得ることができ、剛体位置合わせにおける適切な方法としては、共役方向法（パウエル法／Powell法）による検索、擬似全数（Pseudo-Exhaustive）等の適切な方法を用いることができる。ただし、ここでは逐一列挙はしない。
【００５５】
図７において、２つの画像に対して剛体変換を実施する方法の一つの例を紹介する。図７に示すように、剛体位置合わせステップ６０８は、２つのステップ６０８−１とステップ６０８−２を有する。
【００５６】
ステップ６０８−１において、先ず、２つの入力画像の間の回転や縮小拡大の変換関係を表すマトリックスＭおよび２つの入力画像の間の変位変換関係を表すベクトルＴ（図及び数式において「Ｔ」の上に矢印）を推定する。例えば、第二入力画像における基準画像の画素（第一画素）Ｘ（図及び数式において「Ｘ」の上に矢印）に対応する画素（第二画素）Ｘ’（図及び数式において「Ｘ’」の上に矢印）は、以下の式を用いて表すことができる。
【数７】
【００５７】
つぎに、推定したマトリックスＭとベクトルＴ（図及び数式において「Ｔ」の上に矢印）に基づいて、以下の式により第二入力画像に対して変換を実行する。
【数８】
【００５８】
ここで、ｉＦは第二入力画像を表し、ｉＦ’は第一画像（図８に示すような画像ｉＲ）を基準画像として利用し、第二入力画像ｉＦに対して剛体変換を実行して得られた画像を表す。図８に示す画像を例として、ｉＲは２つの入力画像における基準画像を表し、ｉＦ’はｉＲを基準画像として剛体変換を経た後の第二入力画像を表す。
【００５９】
ステップ６０８−２において、基準画像と剛体変換を経た後の第二入力画像との間の重なり領域と重なりの無い領域を確定する。例えば、２つの入力画像における重なりの無い領域に対して、それを出力画像における相応領域へ直接対応させることができ（式（１）に示すように）、さらに、重なり領域に対しては、後に続くステップ６０２、ステップ６０４、ステップ６０８に基づいて処理され、出力画像における重なり領域に対応する領域へ対応させることができ、張り合わせられた全体の画像を得ることができる。
【００６０】
剛体位置合わせ装置５０７は、剛体位置合わせを経た後の第二入力画像を第一位置合わせ装置５０１へ出力する。第一位置合わせ装置５０１は、引き続き第一入力画像を基準画像として、剛体位置合わせを経た後の第二入力画像に対して第一位置合わせ（ステップ６０２）を実行し、剛体位置合わせを経た後の第二入力画像における、基準画像の２つの画像の重なり領域に位置する各画素（第一画素と称する）とマッチングする画素（第二画素と称する）を探し出す。第一位置合わせ装置５０１、出力画素位置決定装置５０３、出力画素値決定装置５０５の機能と構成と上記の図１乃至４を参考にして説明した実施形態における装置１０１、１０３、１０５は互いに相似するものであり、ここでは重複して説明はしない。ステップ６０２、６０４、６０６と上記の図２乃至４を参考にして説明した実施形態におけるステップ２０２、２０４、２０６は互いに相似するものであり、ここでは重複して説明はしない。
【００６１】
図５あるいは図６に示す装置や方法を用いて、重なり領域を有する２つの入力画像を張り合わせることができ、張り合わせて得られた画像における重なり領域と重なりの無い領域との間を滑らかにつなぐことができる。図１あるいは図２に示す装置や方法と比べて、剛体位置合わせのステップが追加されているので、張り合わせた画像は更に優れたものになり、入力画像の間の回転、縮小拡大、平行移動によって生じる張り合わせのズレやミスを低減することができる。また、図５あるいは図６に示す装置や方法において、２つの入力画像のいずれか一方を剛体位置合わせと第一位置合わせの基準画像として、２つの入力画像の一方に対して位置合わせを実行するだけで良く、それゆえ、画像張り合わせに要する計算量を軽減することができる。さらに、２つの入力画像の重なり領域に対して第一位置合わせを一回実行するだけで良く、それゆえ、画像張り合わせに要する計算量をさらに軽減することができる。
【００６２】
その他の実施形態では、上記の実施形態により得られた張り合わせ画像に対して更に処理を追加する。例えば、画像処理装置１００あるいは５００は、出力処理部（図示せず）を備える。この出力処理部は、出力画素値決定装置１０５あるいは５０５により得られた出力画像における重なり領域ｉＯに対応する領域に対して再サンプリング（resampling）を実行する。出力画素位置決定装置１０３あるいは５０３および出力画素値決定装置１０５あるいは５０５は、その処理過程の前後で同じ画素空間を保持することは難しい。それゆえ、得られた出力画像における重なり領域ｉＯに対応する領域に対して再サンプリングする必要がある。さらに、重なり領域ｉＯに対応する領域を重なりの無い領域と組み合わせて一つにして、一つの張り合わせ画像を形成する。同じように、図２乃至４と図６に示す方法は、ステップ２０６やステップ６０６により得られた出力画像における重なり領域ｉＯに対応する領域に対して再サンプリングを実行するステップを有する（図示しない）。いずれかの適切な方法により再サンプリングを実行できるが、ここでは特に限定しない。
【００６３】
本実施形態において記載した画素は、二次元画像における画素（Pixel）でもよいし、三次元画像における画素（Voxel）であってもよい。また、本実施形態において記載した画素値は、画像中の画素の強度のグレースケール値でもよいし、色彩値であってもよい。
【００６４】
本実施形態に基づく画像処理方法と装置は、各種画像の張り合わせ処理に応用することができる。これらの画像は１次元あるいは多次元（例えば、2次元あるいは3次元等）であって、例えば、本実施形態に基づく画像処理方法と装置は、医学画像（例えば、医療画像診断装置により取得されたデータに基づいて生成された画像）の張り合わせ処理に応用可能である。その一例として、上述方法の各ステップおよび上述装置の各構成および／あるいは部分は、医療画像診断装置（例えば、Ｘ線診断装置、超音波診断装置、ＣＴ装置、磁気共鳴診断装置、ＰＥＴ装置等）のソフトウエア、ファームウエア、ハードウエアあるいはそれらの組み合わせとして、また、該医療画像診断装置の中の一部分として実施することができる。その一例として、既存の医療画像診断装置において、本実施形態の上述方法および／または装置に基づいて実施することができ、しかも、既存の医療画像診断装置の各構成部分に対してある程度改良をするだけで即実施可能となる。その他の例として、上述方法の各ステップおよび上述装置の各構成および／または部分は、前記医療画像診断装置とは独立した装置として実施してもよい。上述装置の各構成や部分は、ソフトウエア、ファームウエア、ハードウエアあるいはそれらの組み合わせた方式により構成することができるが、使用する具体的手段や方式は当業者の周知のものであり、ここでは特に述べることはしない。
【００６５】
その一例として、上述方法の各ステップおよび上述装置の各構成および／または部分はソフトウエア、ファームウエア、ハードウエアあるいはそれらの組み合わせとして実施しても良い。ソフトウエアあるいはファームウエアを介して実現した場合、上述方法のソフトウエアプログラムを実施するため、メモリ媒体からあるいはネットワークを介して専用のハードウエア構造のコンピュータ（例えば、図１０に示す汎用コンピュータ１０００）へダウンロードして構成することができ、該コンピュータに各種プログラムがダウンロードされた状態で、各種機能等を実施することができる。
【００６６】
図１０において、演算処理部（即ち、ＣＰＵ）１００１は、読み出し専用メモリ（ＲＯＭ）１００２の中に記憶されているプログラム、あるいは、記憶部１００８から読み書き兼用メモリ（ＲＡＭ）１００３へ書き込まれたプログラムに基づいて、各種処理を実施する。ＲＡＭ１００３では、必要に応じて、ＣＰＵ１００１が各種処理等を実施するときに必要なデータも記憶しておく。ＣＰＵ１００１、ＲＯＭ１００２およびＲＡＭ１００３は、綜合ライン１００４を経由してそれぞれ接続されている。入力／出力インターフェース１００５も、綜合ライン１００４につながっている。
【００６７】
下記の各部は、入力／出力インターフェース１００５に接続されている：入力部１００６（キーボード、マウス等を含む）、出力部１００７（モニタ、例えば、ブラウン管（ＣＲＴ）、液晶モニタ（ＬＣＤ）等や、スピーカ等を含む）、記憶部１００８（キーボードを含む）、通信部１００９（ネットワークインターフェースカード、例えば、ＬＡＮカード、モデム等）。通信部１００９は、ネットワーク（例えば、インターネット）を介して通信処理を実施する。必要に応じて、駆動部１０１０も入力／出力インターフェース１００５に接続可能である。取り外し可能な媒体１０１１は、例えば、磁気ディスク、光ディスク、ＭＯ、半導体メモリ等であって、必要に応じて駆動部１０１０に装着され、必要に応じてコンピュータプログラムを読み出して、記憶部１００８へダウンロードされる。
【００６８】
ソフトウエアを介して上述システム処理を実施する場合、ネットワーク（例えば、インターネットあるいは記憶媒体（例えば、取り外し可能な媒体１０１１））からプログラムをダウンロードしても良い。
【００６９】
当業者においては、このような記憶媒体は図１０に示すようなプログラムを記憶した記憶媒体は、装置とは離れたところからユーザにプログラムを提供する取り外し可能な媒体１０１１に限らない。取り外し可能な媒体１０１１の例としては、磁気ディスク（フロッピー（登録商標）ディスク、光ディスク（ＣＤ−ＲＯＭやＤＶＤを含む）、磁気光ディスク（ＭｉｎｉＤｉｓｃ（ＭＤ、登録商標）を含む）らを含む。また、記憶媒体はＲＯＭ１００２であっても良く、記憶部１００８に含まれるハードディスク等、その中にプログラムが記憶され、それらを含む装置からユーザへプログラムが送られる形態でも良い。
【００７０】
本実施形態では、更に、メモリとして、機器読み取り可能なコマンドコードを記憶しているプログラム製品でも応用でき、前記コマンドコードが機器を介して読み取られると、本実施形態の実施例における方法が実施される。
【００７１】
上述機器読み取り可能なコマンドコードを記憶しているプログラム製品を受け入れるための記憶媒体も本実施形態に適用できる。その記憶媒体は、ハードディスク、光ディスク、磁気光ディスク、メモリカード、メモリスティックには限定されない。
【００７２】
上記の本実施形態の具体的実施例においては、一つの実施方式に示す特徴について、同様の方法を一つあるいは複数のほかの実施方法の中で適用したり、その他の実施方法と組み合わせたり、あるいはその他の実施方法における特徴に替えるといったことも可能である。
【００７３】
さらに、“包含する／含む”といった用語を使用したときは、特徴・構成・ステップあるいは構造の存在を指し示す。ただし、その他の特徴・構成・ステップあるいは構造の存在や付加の排除を意味するものではない。
【００７４】
上記実施例においては、数字構成の図番記号を用いて各ステップや構成を表記している。ただし、これらの図番記号は単なる説明や画図の都合への考慮によるものであって、その順序やいかなるほかの限定を表すものではない、と当業者は理解すべきである。
【００７５】
このほか、本実施形態の方法は、詳細な説明の欄において説明された時間順序に沿って実施されるものに限らず、その他の時間順序に沿って、同時に、あるいは独立して実施されても良い。それゆえ、本願の詳細な説明において説明された方法の実施順序は、本実施形態の技術範囲に対する構成を制限するものではない。
【００７６】
上記では、既に、本実施形態の具体的実施例の説明をもって、本実施形態の説明を行っているものの、上述のすべての実施例はすべて単なる例示に過ぎず、限定するものではない。当業者は、特許請求の主旨や範囲において、本実施形態の各種手直し・改良あるいは同等物の設計を行うことが可能である。これらの手直し・改良あるいは同等物は、本実施形態の保護範囲内に含まれるものである。
【符号の説明】
【００７７】
１０１ 第一位置合わせ装置
１０３ 出力画素位置決定装置
１０５ 出力画素値決定装置
【特許請求の範囲】
【請求項１】
重なり領域を有する複数の入力画像を張り合わせて出力画像とする画像処理装置において、
前記複数の入力画像における第一入力画像を基準画像とし、前記複数の入力画像における第二入力画像に対して第一の位置合わせを実行し、前記基準画像における前記重なり領域の中の重なり領域に位置する各第一画素とマッチングをとる、前記第二入力画像に属する第二画素を探すための第一位置合わせ装置と、
第一画素と第二画素の位置に基づいて出力画像における第一画素に対応する出力画素の位置を計算し、その中の第一画素と第二画素の位置に対してそれぞれ重み付けを行い、かつ、第一画素は、基準画像の重なりのない領域からの距離が小さければ小さいほど、第一画素の位置に対する重みは大きくなるような関係を成すための出力画素位置決定装置と、
第一画素と第二画素の少なくとも一方の画素値に基づいて出力画素の画素値を計算するための出力画素値決定装置とを具備することを特徴とする画像処理装置。
【請求項２】
前記第一画素の位置での重みと前記第一画素の前記基準画像の重なりのない領域からの距離は非線形関数の関係にあることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第一画素は、前記基準画像の重なりの無い領域からの距離あるいは前記第二入力画像の重なりの無い領域からの距離が小さければ小さいほど、前記重みの変化勾配は小さくなることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記出力画素位置決定装置は、以下の式（１）あるいはこの式（１）に基づく数学変換計算を用いて前記第二画素の位置に対する重みを計算し、また、式（２）を前記第一画素の位置に対する重みとすることを特徴とする請求項３に記載の画像処理装置。
なお、各変数の意味は、（３）に示す通りである。
【数１】
【数２】
【数３】
【請求項５】
前記出力画素値決定装置は、第一画素と第二画素の画素値の重み付け加算を計算して前記出力画素の画素値とし、前記出力画素の前記基準画像の重なりの無い領域との間の距離が小さければ小さいほど、第一画素の画素値の重みは大きくなり、前記出力画素の前記第二入力画像の重なりの無い領域との間の距離が小さければ小さいほど、第二画素の画素値の重みは大きくなることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記第一画素と前記第二画素の画素値の重みと前記出力画素の前記基準画像の重なりの無い領域との間の距離との間は非線形関数の関係を成し、前記出力画素の前記基準画像の重なりの無い領域からの距離あるいは前記第二入力画像の重なりの無い領域からの距離が小さければ小さいほど、前記重みの変化勾配は小さくなることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記出力画素値決定装置は、以下の式（４）あるいはその式（４）に基づく数学変換を用いて前記第二画素の画素値の重みを計算し、また、式（５）を前記第一画素の画素値の重みとすることを特徴とする請求項６に記載の画像処理装置。
なお、各変数の意味は、（６）に示す通りである。
【数４】
【数５】
【数６】
【請求項８】
前記第一位置合わせ装置は、非剛体位置合わせ方法により前記第一位置合わせを実行することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項９】
前記第一位置合わせ装置において前記第一位置合わせを実行する前に、前記基準画像を基準として、前記第二入力画像に対して剛体位置合わせを実行し、更に、剛体位置合わせを介した第二入力画像を前記第一位置合わせ装置へ出力する剛体位置合わせ装置を備え、
前記第一位置合わせ装置は、前記基準画像を基準として、剛体位置合わせを介した前記第二入力画像に対して前記第一位置合わせを実行することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項１０】
重なり領域を有する複数の入力画像を張り合わせて出力画像とする画像処理方法において、
前記複数の入力画像における第一入力画像を基準画像とし、前記複数の入力画像における第二入力画像に対して第一の位置合わせを実行し、前記基準画像における前記重なり領域の中の重なり領域に位置する各第一画素とマッチングし、前記第二入力画像に属する第二画素を探し、
第一画素と第二画素の位置に基づいて出力画像における前記重なり領域の前記第一画素に対応する出力画素の位置を計算し、
その中の前記第一画素と第二画素の位置に対してそれぞれ重み付けを行い、かつ、前記第一画素は、前記基準画像の重なりのない領域からの距離が小さければ小さいほど、該第一画素の位置に対する重みは大きくなり、該第二画素の位置に対する重みは小さくなるような関係を成し、さらに、
前記第一画素と前記第二画素の少なくとも一方の画素値に基づいて出力画素の画素値を計算することを特徴とする画像処理方法。
【請求項１１】
前記第一画素の位置での重みと前記第一画素の前記基準画像の重なりのない領域からの距離は非線形関数の関係にあることを特徴とする請求項１０に記載の画像処理方法。
【請求項１】
重なり領域を有する複数の入力画像を張り合わせて出力画像とする画像処理装置において、
前記複数の入力画像における第一入力画像を基準画像とし、前記複数の入力画像における第二入力画像に対して第一の位置合わせを実行し、前記基準画像における前記重なり領域の中の重なり領域に位置する各第一画素とマッチングをとる、前記第二入力画像に属する第二画素を探すための第一位置合わせ装置と、
第一画素と第二画素の位置に基づいて出力画像における第一画素に対応する出力画素の位置を計算し、その中の第一画素と第二画素の位置に対してそれぞれ重み付けを行い、かつ、第一画素は、基準画像の重なりのない領域からの距離が小さければ小さいほど、第一画素の位置に対する重みは大きくなるような関係を成すための出力画素位置決定装置と、
第一画素と第二画素の少なくとも一方の画素値に基づいて出力画素の画素値を計算するための出力画素値決定装置とを具備することを特徴とする画像処理装置。
【請求項２】
前記第一画素の位置での重みと前記第一画素の前記基準画像の重なりのない領域からの距離は非線形関数の関係にあることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第一画素は、前記基準画像の重なりの無い領域からの距離あるいは前記第二入力画像の重なりの無い領域からの距離が小さければ小さいほど、前記重みの変化勾配は小さくなることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記出力画素位置決定装置は、以下の式（１）あるいはこの式（１）に基づく数学変換計算を用いて前記第二画素の位置に対する重みを計算し、また、式（２）を前記第一画素の位置に対する重みとすることを特徴とする請求項３に記載の画像処理装置。
なお、各変数の意味は、（３）に示す通りである。
【数１】
【数２】
【数３】
【請求項５】
前記出力画素値決定装置は、第一画素と第二画素の画素値の重み付け加算を計算して前記出力画素の画素値とし、前記出力画素の前記基準画像の重なりの無い領域との間の距離が小さければ小さいほど、第一画素の画素値の重みは大きくなり、前記出力画素の前記第二入力画像の重なりの無い領域との間の距離が小さければ小さいほど、第二画素の画素値の重みは大きくなることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記第一画素と前記第二画素の画素値の重みと前記出力画素の前記基準画像の重なりの無い領域との間の距離との間は非線形関数の関係を成し、前記出力画素の前記基準画像の重なりの無い領域からの距離あるいは前記第二入力画像の重なりの無い領域からの距離が小さければ小さいほど、前記重みの変化勾配は小さくなることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記出力画素値決定装置は、以下の式（４）あるいはその式（４）に基づく数学変換を用いて前記第二画素の画素値の重みを計算し、また、式（５）を前記第一画素の画素値の重みとすることを特徴とする請求項６に記載の画像処理装置。
なお、各変数の意味は、（６）に示す通りである。
【数４】
【数５】
【数６】
【請求項８】
前記第一位置合わせ装置は、非剛体位置合わせ方法により前記第一位置合わせを実行することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項９】
前記第一位置合わせ装置において前記第一位置合わせを実行する前に、前記基準画像を基準として、前記第二入力画像に対して剛体位置合わせを実行し、更に、剛体位置合わせを介した第二入力画像を前記第一位置合わせ装置へ出力する剛体位置合わせ装置を備え、
前記第一位置合わせ装置は、前記基準画像を基準として、剛体位置合わせを介した前記第二入力画像に対して前記第一位置合わせを実行することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項１０】
重なり領域を有する複数の入力画像を張り合わせて出力画像とする画像処理方法において、
前記複数の入力画像における第一入力画像を基準画像とし、前記複数の入力画像における第二入力画像に対して第一の位置合わせを実行し、前記基準画像における前記重なり領域の中の重なり領域に位置する各第一画素とマッチングし、前記第二入力画像に属する第二画素を探し、
第一画素と第二画素の位置に基づいて出力画像における前記重なり領域の前記第一画素に対応する出力画素の位置を計算し、
その中の前記第一画素と第二画素の位置に対してそれぞれ重み付けを行い、かつ、前記第一画素は、前記基準画像の重なりのない領域からの距離が小さければ小さいほど、該第一画素の位置に対する重みは大きくなり、該第二画素の位置に対する重みは小さくなるような関係を成し、さらに、
前記第一画素と前記第二画素の少なくとも一方の画素値に基づいて出力画素の画素値を計算することを特徴とする画像処理方法。
【請求項１１】
前記第一画素の位置での重みと前記第一画素の前記基準画像の重なりのない領域からの距離は非線形関数の関係にあることを特徴とする請求項１０に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１６１６４（Ｐ２０１３−１６１６４Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１２−１４３４０６（Ｐ２０１２−１４３４０６）
【出願日】平成２４年６月２６日（２０１２．６．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２４年６月２６日（２０１２．６．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
[ Back to top ]