プログラムおよび情報処理装置
【課題】患者の撮影部位の状態の変化を予測することを支援する。
【解決手段】診断支援装置１０の入力受付部１００は、処理対象の画像であるクエリ画像の入力を受け付ける。特徴量算出部１０６は、クエリ画像の特徴量を算出する。類似画像検索部１１４は、過去に撮影された患者の画像それぞれの特徴量を記憶した特徴量ＤＢ１０８を参照し、クエリ画像に類似する患者の画像を検索する。予測画像生成部１１６は、過去に撮影された患者の画像を用いて求められた、患者の画像の時間による変化を表す情報を記憶した変形モデルＤＢ１１２から、類似画像検索部１１４が検索した画像の時間による変化を表す情報を取得し、取得した情報を用いて画像の変換関数を生成する。予測画像生成部１１６は、この変換関数を用いてクエリ画像を変換して予測画像を生成する。生成された予測画像は、出力処理部１２０により出力される。
【解決手段】診断支援装置１０の入力受付部１００は、処理対象の画像であるクエリ画像の入力を受け付ける。特徴量算出部１０６は、クエリ画像の特徴量を算出する。類似画像検索部１１４は、過去に撮影された患者の画像それぞれの特徴量を記憶した特徴量ＤＢ１０８を参照し、クエリ画像に類似する患者の画像を検索する。予測画像生成部１１６は、過去に撮影された患者の画像を用いて求められた、患者の画像の時間による変化を表す情報を記憶した変形モデルＤＢ１１２から、類似画像検索部１１４が検索した画像の時間による変化を表す情報を取得し、取得した情報を用いて画像の変換関数を生成する。予測画像生成部１１６は、この変換関数を用いてクエリ画像を変換して予測画像を生成する。生成された予測画像は、出力処理部１２０により出力される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラムおよび情報処理装置に関する。
【背景技術】
【０００２】
医療用画像に基づく診断を支援する技術が知られている。例えば、特許文献１には、異常な陰影（特徴）を有する画像を優先的に表示させる画像保管通信システムが開示されている。特許文献１に記載の技術では、入力された画像の特徴を検出すると、その特徴を示す情報を当該入力画像に付加し、このように付加された情報に基づいて、表示させる画像を選択する。
【０００３】
特許文献２に記載の技術では、撮影された患者の画像における病変位置や病変種類などの特徴量を検出し、当該画像および当該特徴量をデータベースに格納し、患者の画像および特徴量をデータベースから取得して表示させたり、指定された画像について、データベースから取得した特徴量および当該患者の画像の情報を含む仮レポート報告書を作成したりする。
【０００４】
特許文献３には、病気または医学的状態についての分類された重症度レベルを持つ画像のデータベースを、人による重症度の指定に基づいて作成しておき、患者画像とデータベース内の画像との比較によって、病気または医学的状態の重症度を求める技術が開示されている。
【０００５】
特許文献４には、患者を撮影して得られた医用画像から異常陰影候補の画像領域を検出し、発病した複数の患者について得られた異常陰影候補の検出結果を用いて、診断対象の患者の将来の発病の可能性を示す予測値を算出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０５−２０５０１８号公報
【特許文献２】特開２００３−３３３２７号公報
【特許文献３】特開２００７−１０５４６１号公報
【特許文献４】特開２００７−１３５６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、医療の診断においては、患者を撮影した画像に基づいて、患者の現在の症状を特定するだけでなく、その後の撮影対象の状態の変化を予測することが望まれる場合がある。
【０００８】
本発明の目的は、患者を撮影した画像における撮影対象の状態の変化を予測することを支援するプログラムおよび情報処理装置を提供することである。
【課題を解決するための手段】
【０００９】
請求項１に係る発明は、処理対象の画像である対象画像の特徴を表す特徴量を算出するステップと、過去に撮影された患者の画像のそれぞれの特徴を表す特徴量を記憶した特徴量記憶手段を参照し、前記対象画像の前記特徴量と前記患者の画像のそれぞれの前記特徴量とを用いて前記対象画像に類似する前記患者の画像を特定するステップと、前記過去に撮影された患者の画像を用いて求められた、患者の画像の時間による変化を表す情報を記憶した変化情報記憶手段から、前記特定するステップで特定された画像の時間による変化を表す情報を取得し、取得した情報を用いて画像の変換関数を生成するステップと、前記生成するステップで生成された変換関数を用いて前記対象画像を変換した画像を出力するステップと、をコンピュータに実行させるためのプログラムである。
【００１０】
請求項２に係る発明は、請求項１に係る発明において、前記変化情報記憶手段は、患者を撮影した第一の画像と、当該第一の画像の撮影時期以降に当該患者を撮影した第二の画像に変換する変換関数を定めるパラメータであって当該第一の画像および当該第二の画像を用いて算出されたパラメータと、当該第一の画像の撮影時期から当該第二の画像の撮影時期までの経過時間と、を関連づけて記憶し、前記特徴量記憶手段は、前記第一の画像のそれぞれの前記特徴量を記憶し、前記特定するステップにおいて、前記対象画像に類似する前記第一の画像が特定され、前記画像の変換関数を生成するステップにおいて、前記特定するステップで特定された第一の画像に関連づけられたパラメータであって共通の前記経過時間に関連づけられたパラメータを前記変化情報記憶手段から取得し、取得したパラメータを用いて前記画像の変換関数を生成する。
【００１１】
請求項３に係る発明は、請求項２に係る発明において、前記対象画像および前記第一の画像のそれぞれの前記特徴量は、当該画像において病変を含む領域であると判定された病変領域の特徴を表し、前記パラメータは、前記第一の画像における前記病変領域の画像を前記第二の画像における前記病変領域の画像に変換する変換関数を定めるパラメータである。
【００１２】
請求項４に係る発明は、請求項２または３に係る発明において、患者と、患者を撮影した画像と、当該画像の撮影時期と、を関連づけて記憶した画像記憶手段に記憶された画像のうちの少なくとも１つを初期状態画像とし、当該初期状態画像の撮影時期以降に当該初期状態画像の患者を撮影した画像を前記画像記憶手段から取得し、取得した画像と前記初期状態画像とを用いて、前記初期状態画像を当該取得した画像に変換する変換関数を定めるパラメータを算出するステップと、前記初期状態画像を前記第一の画像とし、前記パラメータを算出するステップで前記画像記憶手段から取得した画像を前記第二の画像として、前記第一の画像とした前記初期状態画像と、前記パラメータを算出するステップで算出したパラメータと、前記初期状態画像の撮影時期から前記第二の画像とした画像の撮影時期までの経過時間と、を互いに関連づけて前記変化情報記憶手段に対して出力するステップと、を前記コンピュータにさらに実行させる。
【００１３】
請求項５に係る発明は、請求項２から４のいずれか１項に係る発明において、前記対象画像の撮影時期から、前記画像の変換関数を生成するステップで用いられたパラメータに共通して関連づけられた経過時間が経過したときに前記対象画像に係る患者を撮影した画像である結果画像を取得するステップと、前記画像の変換関数を生成するステップで用いられたパラメータを前記結果画像に基づいて評価して求めた評価値を当該パラメータに関連づけて前記変化情報記憶手段に対して出力するステップと、をさらに前記コンピュータに実行させ、前記画像の変換関数を生成するステップにおいて、前記取得したパラメータの前記評価値をさらに用いて前記画像の変換関数を生成する。
【００１４】
請求項６に係る発明は、処理対象の画像である対象画像の特徴を表す特徴量を算出する算出手段と、過去に撮影された患者の画像のそれぞれの特徴を表す特徴量を記憶した特徴量記憶手段を参照し、前記対象画像の前記特徴量と前記患者の画像のそれぞれの前記特徴量とを用いて前記対象画像に類似する前記患者の画像を特定する特定手段と、前記過去に撮影された患者の画像を用いて求められた、患者の画像の時間による変化を表す情報を記憶した変化情報記憶手段から、前記特定手段が特定した画像の時間による変化を表す情報を取得し、取得した情報を用いて画像の変換関数を生成する生成手段と、前記生成手段が生成した変換関数を用いて前記対象画像を変換した画像を出力する出力手段と、を備えることを特徴とする情報処理装置である。
【発明の効果】
【００１５】
請求項１または６に係る発明によると、患者を撮影した画像における撮影対象の状態の変化を予測することを支援できる。
【００１６】
請求項２に係る発明によると、経過時間毎の撮影対象の状態を予測した画像をユーザに提示できる。
【００１７】
請求項３に係る発明によると、患者を撮影した画像における病変領域の時間による変化を予測することを支援できる。
【００１８】
請求項４に係る発明によると、患者を撮影した画像から、ある時間の経過による画像の変化を表すパラメータを算出して記録できる。
【００１９】
請求項５に係る発明によると、ある経過時間における撮影対象の状態を予測した画像の生成に用いられたパラメータを、当該経過時間が経過した時点で実際に撮影された画像を用いて評価して求めた評価値を用いて、画像の変換関数を生成できる。
【図面の簡単な説明】
【００２０】
【図１】診断支援装置の構成の例を示す機能ブロック図である。
【図２】読影レポートＤＢのデータ内容の例を示す図である。
【図３】特徴量ＤＢのデータ内容の例を示す図である。
【図４】変形係数を求める処理の手順の例を説明するための図である。
【図５】変形モデルＤＢのデータ内容の例を示す図である。
【図６】予測画像ＤＢのデータ内容の例を示す図である。
【図７】変形モデル生成処理の手順の例を示すフローチャートである。
【図８】予測画像生成処理の手順の例を示すフローチャートである。
【図９】予測画像生成処理において変形モデルＤＢから取得される変形ベクトルの例を示す図である。
【図１０】各種のデータベースを更新する処理の手順の例を示すフローチャートである。
【図１１】変形係数の重みを求める処理の手順の例を示すフローチャートである。
【図１２】コンピュータのハードウエア構成の例を示す図である。
【発明を実施するための形態】
【００２１】
図１に、本発明の一実施形態の例の情報処理装置として機能する診断支援装置１０の構成の例を示す。診断支援装置１０は、入力受付部１００、過去病例ＤＢ（データベース）１０２、読影レポートＤＢ１０４、特徴量算出部１０６、特徴量ＤＢ１０８、変形モデル生成部１１０、変形モデルＤＢ１１２、類似画像検索部１１４、予測画像生成部１１６、予測画像ＤＢ１１８、および出力処理部１２０を備える。
【００２２】
入力受付部１００は、診断支援装置１０に対するユーザの指示などを表す入力を受け付ける。ユーザによる入力は、マウスやキーボードなどの図示しない入力装置を介して入力受付部１００により取得される。また、入力受付部１００は、診断支援装置１０の処理対象となる医用画像の入力を受け付けることもある。医用画像は、患者を撮影して得られる画像であり、例えば、Ｘ線写真、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）画像、またはＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像など、医療の診断に用いられる各種の画像のいずれであってもよい。入力受付部１００は、例えば、診断支援装置１０に通信手段を介して接続された他の情報処理装置から医用画像を受信したり、医用画像を形成する装置から医用画像を取得したりする。
【００２３】
過去病例ＤＢ１０２は、過去に撮影された医用画像の画像データを記憶するデータベースである。画像データは、画素ごとに色相、輝度、または明度などの値を有するデジタル画像データであってよい。以下の説明では、画像データを単に「画像」と呼ぶこともある。また、本実施形態の例において、過去病例ＤＢ１０２に記憶される画像には、それぞれ、画像を識別するための識別情報である画像ＩＤが付与されているものとする。例えば、当該画像の名称および過去病例ＤＢ１０２における当該画像の格納位置を含む情報を画像ＩＤとして用いてもよい。
【００２４】
読影レポートＤＢ１０４は、過去病例ＤＢ１０２に記憶された各画像について、診断に関する情報を記憶するデータベースである。図２に、読影レポートＤＢ１０４の内容の例を示す。図２の例の読影レポートＤＢ１０４には、各画像の画像ＩＤに対応づけて、患者ＩＤ、疾病ＩＤ、処置ＩＤ、撮影日、患者情報、および所見の各項目の内容が登録される。患者ＩＤは、対応する画像データの撮影対象の患者を識別するための識別情報である。疾病ＩＤは、対応する患者の疾病の種類を識別するための識別情報である。処置ＩＤは、対応する患者に対して行われた処置（投薬や手術など）を識別するための識別情報である。撮影日は、対応する画像ＩＤの画像が撮影された日付を表す。「撮影日」の代わりに、画像が撮影された時期を表す「撮影時期」の項目を設け、日付と共に撮影の時刻を登録しておいてもよい。患者情報は、対応する患者の氏名、年齢、および性別など、患者に関する情報を表す。所見は、対応する画像ＩＤの画像についての医師の見解を表す。以上に例示した各項目の値は、画像ＩＤを指定する情報と共にユーザにより入力され、指定された画像ＩＤに対応づけて読影レポートＤＢ１０４に登録される。なお、読影レポートＤＢ１０４には、過去病例ＤＢ１０２に記憶された各画像についての上述の情報だけでなく、後述の予測画像生成部１１６が生成した予測画像に関する情報をさらに記憶しておいてもよい。
【００２５】
再び図１を参照し、特徴量算出部１０６は、医用画像の特徴を表す特徴量を算出する。特徴量算出部１０６は、過去病例ＤＢ１０２に記憶された画像の特徴量を算出することもあるし、入力受付部１００が取得した画像の特徴量を算出することもある。本実施形態の例では、特徴量算出部１０６は、画像における病変の領域を特定し、特定した病変領域の画像中の位置、大きさ、および形状を表す値を当該画像の特徴量として算出する。画像における病変の領域を特定する手法としては、医用画像における病変領域（異常領域）の特定において従来から用いられている手法を用いればよい。例えば、画像中に存在する円形状の陰影を強調する処理を行った上でモルフォロジカルフィルタを用いて腫瘍影などの孤立陰影を抽出する手法（特開２００４−３３６３７８号公報を参照）や、健康な人物を撮影して得られた画像のデータと処理対象の画像のデータとを比較することで処理対象の画像のデータの異常領域を特定する手法などを用いればよい。特徴量算出部１０６は、画像について算出した特徴量を当該画像の画像ＩＤと対応づけて特徴量ＤＢ１０８に登録する。
【００２６】
特徴量ＤＢ１０８は、画像の特徴量を記憶するデータベースである。図３は、本実施形態の例における特徴量ＤＢ１０８のデータ内容の例を示す。図３の例の表では、各画像の画像ＩＤに対応づけて、その画像ＩＤの画像について特徴量算出部１０６が算出した特徴量が登録されている。特徴量は、病変の位置、病変の大きさ、および病変の形状の各項目を含む。病変の位置は、画像における病変領域の位置を表し、例えば、画像に対して定義された座標系における、病変領域の中心点の座標で表される。病変の大きさは、例えば、画像における病変領域の面積を表す。あるいは、例えば、画像全体の面積に対する病変領域の面積の割合を病変の大きさの値としてもよい。病変の形状は、例えば、画像中の病変領域の形状の種類（円形、楕円形、多角形など）を表す値であってもよいし、病変領域の形状を近似した関数であってもよい。あるいは、画像において特定された病変領域の画像データを当該画像から抽出し、抽出した画像データ自体を病変の形状として登録しておいてもよい。
【００２７】
図１の説明に戻り、変形モデル生成部１１０は、医用画像の時間変化のモデルである変形モデルを生成する。本実施形態の例の変形モデル生成部１１０は、過去病例ＤＢ１０２、読影レポートＤＢ１０４、および特徴量ＤＢ１０８を参照し、同じ患者を撮影した画像の時系列における非線形の変化を表す変形係数を求める。
【００２８】
以下、変形係数を求める手順の例を説明する。変形モデル生成部１１０は、読影レポートＤＢ１０４において特定の患者ＩＤ、疾病ＩＤ、および処置ＩＤの組に対応づけられた画像ＩＤを特定する。さらに、特定した画像ＩＤの画像を過去病例ＤＢ１０２から読み出し、特定した画像ＩＤの特徴量を特徴量ＤＢ１０８から読み出す。本例では、図４に示すように、１人の肺癌患者の肺を撮影した画像Ｉ０，Ｉ１，Ｉ２を過去病例ＤＢ１０２から読み出し、各画像Ｉ０，Ｉ１，Ｉ２の特徴量（病変領域（円ｒ０，ｒ１，ｒ２で囲んだ領域）の位置、大きさ、および形状）を特徴量ＤＢ１０８から読み出したとする。また、画像Ｉ０，Ｉ１，Ｉ２は、この順に３ヶ月間隔で撮影されたものであるとする。変形モデル生成部１１０は、読影レポートＤＢ１０４に登録された各画像の撮影日から、画像Ｉ０，Ｉ１，Ｉ２の撮影の順番および時間間隔を求める。変形モデル生成部１１０は、画像Ｉｉにおける病変領域の画像を画像Ｉｊにおける病変領域の画像に変換する変換関数Ｔを定義するパラメータを、画像Ｉｉから画像Ｉｊへの変形係数として求める（ここで、ｉ，ｊ＝０，１，２；ｉ＜ｊとする）。本例では、この変換関数Ｔは、２つの変換マトリクスＴｇｌｏｂａｌ，Ｔｌｏｃａｌにより、Ｔ＝Ｔｇｌｏｂａｌ＋Ｔｌｏｃａｌとして表される変換マトリクスであるとする。
【００２９】
変換マトリクスＴｇｌｏｂａｌは、画像における撮影対象部位の全体の変化を表現する。同じ患者の同じ撮影対象部位を撮影した画像であっても、撮影のタイミングが異なると、完全に同一の画像になるとは限らない。このような画像間の差異を表現するため、本例の変換マトリクスＴｇｌｏｂａｌは、式（１）に示すとおり、アフィン変換を表す行列とする。
［数１］
ここで、（ｘ，ｙ）は、変換前の画像Ｉｉにおける一画素の座標を表す。式（１）のθ１１，θ１２，θ２１，θ２２，θ１３，θ２３は、変換マトリクスＴｇｌｏｂａｌを定義するパラメータである。
【００３０】
変換マトリクスＴｌｏｃａｌは、画像における病変領域の変化を表現する。本例の変換マトリクスＴｌｏｃａｌは、自由形状変形（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ，ＦＦＤ）による変換を表す。具体的には、画像における病変領域において、Ｎｘ×Ｎｙのメッシュによる制御点を生成し、この制御点を用いる式（２）の変換マトリクスＴｌｏｃａｌにより、病変領域の変化を表す。
［数２］
ただし、
［数３］
である。また、式（２）において、関数ＢはＢ−スプライン関数である。式（２）の変換マトリクスＴｌｏｃａｌを定義するパラメータは、Ｎｘ，Ｎｙである。
【００３１】
変形モデル生成部１１０は、画像Ｉｉおよび画像Ｉｊと、各画像の特徴量（病変領域の位置、大きさ、形状）と、を用いて、変換マトリクスＴｇｌｏｂａｌ，Ｔｌｏｃａｌのパラメータθ１１，θ１２，θ２１，θ２２，θ１３，θ２３，Ｎｘ，Ｎｙの値を求める。例えば、画像Ｉｉにおける病変領域の画像と画像Ｉｊの病変領域における画像との間の相互情報量（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ，ＭＩ）を最大化するパラメータθ１１，θ１２，θ２１，θ２２，θ１３，θ２３，Ｎｘ，Ｎｙの値を求める。相互情報量は、次の式（３）により表される。
［数４］
式（３）において、Ｈ（Ｉ（Ｓｉ）），Ｈ（Ｉ（Ｓｊ））は、それぞれ、画像Ｉｉ，Ｉｊの病変領域の画像のエントロピーを表す。また、Ｈ（Ｉ（Ｓｉ），Ｉ（Ｓｊ））は、画像Ｉｉおよび画像Ｉｊの病変領域の画像の結合エントロピーを表す。
【００３２】
式（３）の相互情報量を最大化するよう求めたパラメータの値を、変形モデル生成部１１０は、画像Ｉｉから画像Ｉｊへの変形係数Ｐ＝（θ１１，θ１２，θ２１，θ２２，θ１３，θ２３，Ｎｘ，Ｎｙ）とする。変形モデル生成部１１０は、画像Ｉｉから画像Ｉｊへの変形係数Ｐを求めると、画像Ｉｉを初期状態Ｓとし、画像Ｉｉの撮影時期と画像Ｉｊの撮影時期との間の時間間隔を経過時間ｔとし、求めた変形係数Ｐを初期状態Ｓおよび経過時間ｔと関連づけて変形モデルＤＢ１１２に登録する。以下では、初期状態Ｓ、変形係数Ｐ、および経過時間ｔにより表されるベクトル（Ｓ，Ｐ，ｔ）を「変形ベクトル」と呼ぶ。また、過去病例ＤＢ１０２に記憶された複数の画像のそれぞれを初期状態とする変形ベクトルの集合を「変形モデル」と呼ぶ。
【００３３】
変形モデルＤＢ１１２は、変形モデル生成部１１０が生成した変形モデルを記憶するデータベースである。図５に、変形モデルＤＢ１１２のデータ内容の一例を示す。図５の例の表では、患者ＩＤ、疾病ＩＤ、処置ＩＤ、初期状態Ｓ、および（変形係数Ｐ，経過時間ｔ）の各項目が互いに関連づけられている。図５の例の表の一行は、１つの画像を初期状態として求められた変形ベクトルの情報を表すレコードである。図５の例の表において、患者ＩＤ、疾病ＩＤ、および処置ＩＤの値は、対応する初期状態Ｓの画像に関連づけて読影レポートＤＢ１０４に登録された値であり、変形モデル生成部１１０により読影レポートＤＢ１０４から取得されて変形モデルＤＢ１１２に登録される。また、本例において、初期状態Ｓの値は、対応する画像の画像ＩＤであるとする。また、図５の例の表において、（変形係数Ｐ，経過時間ｔ）の項目における各列は、同じ経過時間を含む変形ベクトルの情報を表す。文字列「Ｎ／Ａ」は、対応する行の初期状態の画像について対応する列の経過時間の変形ベクトルが生成されていないことを表す。つまり、当該行の初期状態の画像の撮影日から当該列の経過時間が経過した時に撮影された画像であって、当該初期状態の画像と同じ患者ＩＤ、疾病ＩＤ、および処置ＩＤの組合せに関連づけられる画像が過去病例ＤＢ１０２に登録されていないことを表す。
【００３４】
類似画像検索部１１４は、過去病例ＤＢ１０２に登録された画像のうち、入力受付部１００が処理対象として受け付けたクエリ画像に類似する画像を検索する。類似画像検索部１１４は、例えば、特徴量算出部１０６が算出したクエリ画像の特徴量と、特徴量ＤＢ１０８に登録された各画像の特徴量と、の間の類似度を求め、類似度が予め設定された閾値より大きい画像を類似画像として特定する。２つの特徴量間の類似度は、例えば、各特徴量をベクトル形式で表し、２つの特徴量のベクトル間の類似の程度を表す値を算出することで得られる。ベクトル間の類似の程度を表す値として、例えば、相関係数またはユークリッド距離などを算出すればよい。
【００３５】
予測画像生成部１１６は、入力受付部１００が処理対象として受け付けたクエリ画像の撮影時期から、ある時間が経過したときの撮影対象の状態を予測した画像である予測画像を生成する。予測画像生成部１１６は、類似画像検索部１１４により検索された、クエリ画像の類似画像のそれぞれを初期状態Ｓとする変形ベクトルを変形モデルＤＢ１１２から取得する。取得した変形ベクトルのうち、同じ経過時間を含む変形ベクトルの集合ごとに、当該集合の変形ベクトルに含まれる変形係数を平均し、この結果の値を変形パラメータとする。以下の説明において、「変形パラメータ」の語は、画像の変換関数を定義するパラメータであって、複数の変形ベクトルに含まれる変形係数を用いて求められるパラメータを意味する。予測画像生成部１１６は、変形パラメータにより定義される変換関数Ｔ＝Ｔｇｌｏｂａｌ＋Ｔｌｏｃａｌ（式（１），式（２）参照）を用いてクエリ画像を変換し、変換した画像を予測画像とする。このように生成された予測画像は、変形パラメータの生成に用いられた変形ベクトルに含まれる経過時間が経過した時点での、クエリ画像の撮影対象の状態を予測した画像であると言える。
【００３６】
予測画像ＤＢ１１８は、予測画像を記憶するデータベースである。予測画像ＤＢ１１８は、元のクエリ画像に対応づけて、経過時間と当該経過時間に係る予測画像とを記憶する。図６に、予測画像ＤＢ１１８のデータ内容の一例を示す。図６の例の表では、各クエリ画像の画像ＩＤに対応づけて、「経過時間」の項目の時間が経過した場合について生成された予測画像の識別情報である予測画像ＩＤが登録されている。予測画像ＩＤの代わりに、該当する予測画像の予測画像ＤＢ１１８における格納位置を登録しておいてもよい。
【００３７】
出力処理部１２０は、予測画像を出力する処理を行う。出力処理部１２０は、例えば、予測画像ＤＢ１１８に記憶された予測画像を図示しない表示装置に表示させる。このとき、当該予測画像の基になったクエリ画像、対応する経過時間、およびクエリ画像の撮影対象の患者に関する情報などを予測画像と共に表示装置に表示させてもよい。また、出力処理部１２０は、予め定義された書式に従って、予測画像を含む文書である予測レポートを生成して出力してもよい。予測レポートは、予測画像と予測画像に関連する各種の情報とを含む。予測画像に関連する各種の情報とは、例えば、予測の基になったクエリ画像、経過時間、撮影対象の患者、疾病、処置、および検査結果などである。予測レポートは、例えば、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式の文書であってよい。予測レポートの出力先は、読影レポートＤＢ１０４であってもよいし、診断支援装置１０に接続された他の情報処理装置であってもよい。
【００３８】
図７は、診断支援装置１０において行われる変形モデル生成処理の手順の例を示すフローチャートである。図７の例の手順が開始される前に、過去病例ＤＢ１０２には過去に撮影された画像が登録済みであり、読影レポートＤＢ１０４には、過去病例ＤＢ１０２に登録済みの各画像についての情報（図２参照）が登録済みであるとする。
【００３９】
図７を参照し、まず、診断支援装置１０の特徴量算出部１０６は、過去病例ＤＢ１０２に記憶された各画像の特徴量を算出する（ステップＳ１０）。本例において、特徴量算出部１０６は、各画像における病変領域を特定し、その病変領域の位置、大きさ、および形状を当該画像の特徴量として求める。特徴量算出部１０６は、算出した特徴量を、各画像の画像ＩＤに対応づけて特徴量ＤＢ１０８に登録する（ステップＳ１２）。
【００４０】
特徴量の算出および特徴量ＤＢへの登録が終了すると、変形モデル生成部１１０は、過去病例ＤＢ１０２に記憶された画像のうちの１つを、変形ベクトルにおける初期状態の画像として選択する（ステップＳ１４）。
【００４１】
次に、選択された初期状態の画像からの変化を表す画像の有無を判定する（ステップＳ１６）。本例では、読影レポートＤＢ１０４を参照し、当該初期状態の画像と同じ患者ＩＤ、疾病ＩＤ、および処置ＩＤの組合せに関連づけられた画像のうち、当該初期状態の画像の撮影日の後に撮影された画像の有無を判定する。
【００４２】
初期状態の画像からの変化を表す画像が存在すれば（ステップＳ１６でＹＥＳ）、変形モデル生成部１１０は、当該変化を表す画像のそれぞれについて、初期状態の画像からの変化を表す変形ベクトルを生成する（ステップＳ１８）。本例のステップＳ１８では、初期状態の画像を画像Ｉｉとし、ステップＳ１６で存在が確認された画像のそれぞれを画像Ｉｊとし、式（１）〜式（３）を用いる上述の手順に従って、変換関数Ｔ（＝Ｔｇｌｏｂａｌ＋Ｔｌｏｃａｌ）のパラメータを求める。そして、ステップＳ１６で存在が確認された画像のそれぞれについて、求めたパラメータを変形係数Ｐとし、当該画像の撮影日と初期状態の画像の撮影日との間の差を経過時間ｔとする変形ベクトル（Ｓ，Ｐ，ｔ）を生成する（Ｓは初期状態の画像の画像ＩＤ）。一具体例として、初期状態の画像が図４の例の画像Ｉ０であるとすると、ステップＳ１６で、画像Ｉ０からの変化を表す画像として画像Ｉ１および画像Ｉ２の存在が確認される。この場合、ステップＳ１８で、式（１）〜式（３）を用いて、画像Ｉ０から画像Ｉ１への変換関数Ｔのパラメータ（ＰＩ０→Ｉ１）と画像Ｉ０から画像Ｉ２への変換関数Ｔのパラメータ（ＰＩ０→Ｉ２）とを求める。さらに、画像Ｉ０から画像Ｉ１への変化を表す変形ベクトル（Ｉ０，ＰＩ０→Ｉ１，３ヶ月）と画像Ｉ０から画像Ｉ２への変化を表す変形ベクトル（Ｉ０，ＰＩ０→Ｉ２，６ヶ月）とを生成する。
【００４３】
なお、ステップＳ１８において、変形係数を求める計算において用いられる画像Ｉｉおよび各画像Ｉｊは、過去病例ＤＢ１０２から取得され、これらの画像の特徴量は、特徴量ＤＢ１０８から取得される。
【００４４】
初期状態の画像からステップＳ１６で存在が確認された画像それぞれへの変化を表す変形ベクトルを生成すると、変形モデル生成部１１０は、生成した変形ベクトルを変形モデルＤＢ１１２に登録する（ステップＳ２０）。本例において、変形モデル生成部１１０は、初期状態の画像に係る患者ＩＤ、疾病ＩＤ、および処置ＩＤの組合せに関連づけて、初期状態の画像の画像ＩＤと、生成した各変形ベクトルの変形係数Ｐおよび経過時間ｔの組と、を変形モデルＤＢ１１２に登録する（図５参照）。
【００４５】
ステップＳ２０の後、または、ステップＳ１４で選択された初期状態の画像からの変化を表す画像が存在しない場合（ステップＳ１６でＮＯ）、過去病例ＤＢ１０２中の全画像のそれぞれを初期状態として処理済みであるか否かを判定する（ステップＳ２２）。処理済みであれば（ステップＳ２２でＹＥＳ）、図７の例の手順の処理は終了し、処理済みでなければ（ステップＳ２２でＮＯ）、未処理の画像に対しステップＳ１４〜ステップＳ２０の処理が行われる。
【００４６】
図７の例の手順の処理により、変形モデルＤＢ１１２には、過去病例ＤＢ１０２に記憶された各画像の時間による変化を表す変形ベクトルの集合（変形モデル）が記憶される。この変形モデルを用いて、診断支援装置１０は、過去病例ＤＢ１０２に未登録の画像について、ある時間が経過したときの当該画像の撮影対象の状態を表す予測画像を生成する。
【００４７】
図８は、診断支援装置１０において行われる予測画像生成処理の手順の例を示すフローチャートである。
【００４８】
図８を参照し、入力受付部１００により、処理対象の画像であるクエリ画像が取得される（ステップＳ３０）。クエリ画像は、患者を撮影した医用画像であり、過去病例ＤＢ１０２に未登録の画像である。また、ステップＳ３０において、クエリ画像に係る患者の疾病ＩＤおよび処置ＩＤの少なくとも一方をクエリ画像と共に取得してもよい。
【００４９】
次に、特徴量算出部１０６は、ステップＳ３０で取得されたクエリ画像の特徴量を算出する（ステップＳ３２）。本例では、クエリ画像における病変領域を特定し、その病変領域の位置、大きさ、形状が特徴量として算出される。
【００５０】
クエリ画像の特徴量が算出されると、類似画像検索部１１４は、過去病例ＤＢ１０２中の画像のうちクエリ画像に類似する画像を検索する（ステップＳ３４）。本例では、類似画像検索部１１４は、クエリ画像の特徴量と、特徴量ＤＢ１０８に記憶された各画像の特徴量と、の間の類似度を求め、類似度が予め設定された閾値より大きい画像の画像ＩＤを特定する。特定された画像ＩＤの画像は、過去病例ＤＢ１０２に記憶された画像である。以下の説明のための具体例として、ステップＳ３４で、類似画像Ｉａ，Ｉｂ，Ｉｃ，…，Ｉｎが検索されたとする。なお、ステップＳ３０でクエリ画像に係る患者の疾病ＩＤおよび処置ＩＤの少なくとも一方を取得していた場合、ステップＳ３４では、当該疾病ＩＤおよび当該処置ＩＤ（の少なくとも一方）に関連づけられた画像のみを検索対象とすればよい。
【００５１】
予測画像生成部１１６は、変形モデルＤＢ１１２から、ステップＳ３４で検索した類似画像のそれぞれを初期状態とする変形ベクトルを取得する（ステップＳ３６）。図９に、上述の具体例の場合に取得される変形ベクトルの例を示す。図９の例の表の一行は、類似画像Ｉａ，Ｉｂ，Ｉｃ，…，Ｉｎそれぞれを初期状態とする変形ベクトルの情報を表す。図９の例の表において、（変形係数Ｐ，経過時間ｔ）の項目における各列は、同じ経過時間ｔｉ（ｉ＝１，２，…，ｍ）を含む変形ベクトルの情報を表す。また、図９において、文字列「Ｎ／Ａ」は、対応する行の初期状態の画像について対応する列の経過時間の変形ベクトルが生成されていないことを表す。
【００５２】
再び図８を参照し、ステップＳ３６の後、予測画像生成部１１６は、取得した変形ベクトルを用いて、これらの変形ベクトルに含まれる経過時間ｔごとに、当該経過時間が経過した時点でのクエリ画像の変化を表す変形パラメータを生成する（ステップＳ３８）。図９の具体例の場合、（変形係数Ｐ，経過時間ｔ）の項目の各列について、変形係数Ｐの値の平均を求め、求めた平均値を当該列の経過時間ｔに関する変形パラメータＰｔとする。つまり、経過時間ｔｉ（ｉ＝１，２，…，ｍ）に関する変形パラメータＰｔｉは、経過時間ｔｉの変形係数Ｐａｉ，Ｐｂｉ，…，Ｐｎｉの平均である。また、本実施形態の例において、変形ベクトルにおける各変形係数Ｐは、式（１）の変換マトリクスＴｇｌｏｂａｌのパラメータθ１１，θ１２，θ２１，θ２２，θ１３，θ２３と、式（２）の変換マトリクスＴｌｏｃａｌのパラメータＮｘ，Ｎｙと、を含むことから、経過時間ｔｉに関する変形パラメータＰｔｉは、θ１１，θ１２，θ２１，θ２２，θ１３，θ２３，Ｎｘ，Ｎｙの各値の平均を含む。
【００５３】
各経過時間に関する変形パラメータを生成すると、予測画像生成部１１６は、生成した変形パラメータにより定義される変換関数Ｔを用いてクエリ画像を変換した結果の画像を生成し、生成した画像を各経過時間についての予測画像とする（ステップＳ４０）。図９を参照する上述の具体例では、各経過時間ｔ１，ｔ２，…，ｔｍに関する変形パラメータＰｔ１，Ｐｔ２，…，Ｐｔｍのそれぞれに含まれるθ１１，θ１２，θ２１，θ２２，θ１３，θ２３，Ｎｘ，Ｎｙの値により定まる各変換関数Ｔ＝Ｔｇｌｏｂａｌ＋Ｔｌｏｃａｌを用いてクエリ画像を変換することで、各経過時間ｔ１，ｔ２，…，ｔｍについての予測画像を生成する。
【００５４】
予測画像生成部１１６は、各経過時間と当該経過時間について生成した予測画像とを関連づけて予測画像ＤＢ１１８に登録する。
【００５５】
また、ステップＳ４０で生成された予測画像は、出力処理部１２０により出力される（ステップＳ４２）。ステップＳ４２において、出力処理部１２０は、例えば、生成された予測画像と、当該予測画像に関連づけられる経過時間と、を対応づけて図示しない表示装置に表示させる。このとき、予測画像と共にクエリ画像も表示させてよい。あるいは、例えば、予め定義された書式に従って各予測画像の予測レポートを生成し、生成した予測レポートを読影レポートＤＢ１０４に登録してもよい。また例えば、生成した予測レポートを表示装置に表示させたり、診断支援装置１０に接続された他の情報処理装置に送信したりしてもよい。ステップＳ４２の後、図８の例の手順の処理は終了する。
【００５６】
なお、以上で説明した図８の例の予測画像生成処理では、ステップＳ３４で検索された類似画像のそれぞれを初期状態とする変形ベクトルのすべてを変形モデルＤＢ１１２から取得し、これらの変形ベクトルに含まれる経過時間のすべてに関し、それぞれ予測画像を求める。予測画像生成処理の他の例では、変形ベクトルを取得する処理（ステップＳ３６）の前に、入力受付部１００において経過時間の指定を受け付け、ステップＳ３６で、各類似画像を初期状態とする変形ベクトルのうち、指定された経過時間を含む変形ベクトルだけを変形モデルＤＢ１１２から取得してもよい。この例において、ステップＳ３８以降の処理を上述と同様に行うと、指定された経過時間が経過した時点でのクエリ画像の撮影対象の状態を表す予測画像が生成されて出力される。
【００５７】
また、予測画像生成処理のさらに他の例では、生成した予測画像、当該予測画像の生成に用いた変形パラメータ、および当該変形パラメータの生成に用いた変形ベクトルなど、予測画像生成処理で求められる各種の情報を図示しないキャッシュ記憶装置に記憶しておいてもよい。この例では、ステップＳ３６〜ステップＳ４０の各処理において、取得対象または生成対象の情報がキャッシュ記憶装置に記憶済みであれば、その情報をキャッシュ記憶装置から取得すればよい。例えば、ステップＳ３４の検索結果の類似画像を初期状態とする変形ベクトルがキャッシュ記憶装置に記憶済みであれば、その変形ベクトルをキャッシュ記憶装置から読み出して変形パラメータの生成（ステップＳ３８）を行う。また例えば、ステップＳ３６で取得した変形ベクトルと同じ変形ベクトルから生成された変形パラメータがキャッシュ記憶装置に記憶済みであれば、変形パラメータの生成処理を省略して、キャッシュ記憶装置から読み出した変形パラメータを用いて予測画像の生成（ステップＳ４０）を行う。また、ステップＳ３８で生成すべき変形パラメータと同じ変形パラメータを用いて生成された予測画像がキャッシュ記憶装置に記憶済みである場合に、その予測画像をクエリ画像の予測画像としてステップＳ４２で出力し、ステップＳ３８，Ｓ４０を省略してもよい。キャッシュ記憶装置を利用すると、キャッシュ記憶装置を利用しない場合と比較して処理が高速化される。
【００５８】
図８の例の手順による予測画像生成処理の対象となったクエリ画像を用いて、過去病例ＤＢ１０２、読影レポートＤＢ１０４、特徴量ＤＢ１０８、および変形モデルＤＢ１１２の各データベースを更新してもよい。図１０は、各データベースを更新する処理の手順の例を示すフローチャートである。図１０の例の手順の処理は、例えば、図８の例の手順の処理の終了後に開始される。
【００５９】
図１０を参照し、まず、クエリ画像に新たな画像ＩＤが付与され、この新たな画像ＩＤと共に当該クエリ画像が過去病例ＤＢ１０２に登録される（ステップＳ５０）。
【００６０】
次に、ステップＳ５０で当該クエリ画像に付与された新たな画像ＩＤと関連づけて、図８のステップＳ３２で算出されたクエリ画像の特徴量を特徴量ＤＢ１０８に登録する（ステップＳ５２）。
【００６１】
ステップＳ５２の後、当該クエリ画像に関連づけて読影レポートＤＢ１０４に登録される各項目の情報を取得する（ステップＳ５４）。各項目の情報は、例えば、入力受付部１００においてユーザの入力を受け付けることで取得される。図２の例の読影レポートＤＢ１０４の場合、当該クエリ画像の撮影対象の患者の患者ＩＤ、当該患者の疾病の疾病ＩＤ、当該患者に対して行われた処置の処置ＩＤ、当該クエリ画像の撮影日、および当該クエリ画像に関する医師の所見の各項目の内容が取得される。
【００６２】
ステップＳ５４で取得された情報は、ステップＳ５０で当該クエリ画像に付与された新たな画像ＩＤに関連づけて読影レポートＤＢ１０４に登録される（ステップＳ５６）。
【００６３】
以上で説明したステップＳ５０〜ステップＳ５６の処理により、過去病例ＤＢ１０２、読影レポートＤＢ１０４、および特徴量ＤＢ１０８が更新される。以下、変形モデルＤＢ１１２を更新するステップＳ５８〜ステップＳ６２の処理を説明する。
【００６４】
変形モデル生成部１１０は、まず、クエリ画像の撮影時期よりも前に撮影された画像であって、クエリ画像と同じ患者を撮影した画像を過去病例ＤＢ１０２から取得する（ステップＳ５８）。本実施形態の例では、ステップＳ５８で、変形モデル生成部１１０は、読影レポートＤＢ１０４を参照し、クエリ画像の撮影日よりも前の撮影日に関連づけられた画像ＩＤのうち、クエリ画像と同じ患者ＩＤ、疾病ＩＤ、および処置ＩＤの組合せに関連づけられた画像ＩＤを取得する。そして、取得した画像ＩＤの画像を過去病例ＤＢ１０２から取得する。
【００６５】
次に、変形モデル生成部１１０は、ステップＳ５８で取得した画像のそれぞれを初期状態の画像とし、当該初期状態の画像からクエリ画像への変化を表す変形ベクトルを生成する（ステップＳ６０）。変形ベクトルの生成の処理の詳細は、図７のステップＳ１８を参照して説明したのと同様であってよい。
【００６６】
ステップＳ６０の後、変形モデル生成部１１０は、生成した変形ベクトルを変形モデルＤＢ１１２に登録する（ステップＳ６２）。すなわち、変形モデルＤＢ１１２において、ステップＳ５８で取得した画像のそれぞれを初期状態とするレコードにステップＳ６０で求めた変形係数Ｐおよび経過時間ｔの組を追加登録する。
【００６７】
図１０の例の手順により、クエリ画像を過去の画像として各種のデータベースが更新され、更新後の各種データベースの内容が、その後の他のクエリ画像についての予測画像の生成に用いられる。
【００６８】
予測画像の生成の後、当該予測画像に係る経過時間が経過したときに、実際に同一患者の画像が撮影される場合がある。このとき撮影された画像を用いて、予測画像の予測の精度を評価し、この評価結果をその後の予測画像生成処理に反映させてもよい。例えば、図８のステップＳ３８において、変形ベクトル中の変形係数を単純に平均して変形パラメータを生成する代わりに、前述の評価結果に基づいて各変形ベクトル中の変形係数を重み付けし、変形係数の加重平均を変形パラメータとしてもよい。変形係数の重みは、例えば、図１１に示す手順により求められる。
【００６９】
図１１を参照し、入力受付部１００において、画像および当該画像に関する情報を取得する（ステップＳ７０）。本例では、画像に関する情報として、患者ＩＤ、疾病ＩＤ、処置ＩＤ、および撮影日を取得するものとする。
【００７０】
次に、ステップＳ７０で取得した画像に対応する予測画像を特定する（ステップＳ７２）。ステップＳ７２の処理は、例えば、次の手順で実行される。まず、ステップＳ７０で取得した患者ＩＤ、疾病ＩＤ、および処置ＩＤの組合せに関連づけられた画像ＩＤと、その撮影日と、を読影レポートＤＢ１０４から取得する。そして、取得した画像ＩＤと、その撮影日からステップＳ７０で取得した撮影日までの経過時間と、の組に関連づけて予測画像ＤＢ１１８に登録された予測画像ＩＤを特定する。特定された予測画像ＩＤの予測画像は、ステップＳ７０で取得した画像に対応する予測画像である。なお、対応する予測画像をユーザが把握している場合、上述のステップＳ７２の処理の代わりに、ユーザによる予測画像ＩＤの入力を受け付けてもよい。
【００７１】
対応する予測画像を特定すると、ステップＳ７０で取得した画像を用いて、ステップＳ７２で特定した予測画像の生成に用いられた変形ベクトルを評価する（ステップＳ７４）。ステップＳ７４の処理の手順の例を以下で説明する。まず、当該予測画像の生成に用いられた変形ベクトルを特定する。予測画像の生成に用いられた変形ベクトルは、例えば、当該予測画像の生成時のクエリ画像（当該予測画像に関連づけて予測画像ＤＢ１１８に登録された画像ＩＤの画像）の類似画像を過去病例ＤＢ１０２から検索し、検索した類似画像を初期状態とし、当該予測画像に関連づけられた経過時期を含む変形ベクトルを変形モデルＤＢ１１２から検索することで特定すればよい。あるいは、予測画像生成処理（図８）において、生成した予測画像に関連づけて、この予測画像の生成に用いた変形ベクトルを予測画像ＤＢ１１８に記憶しておけば、ステップＳ７４では、予測画像ＤＢ１１８から対応する予測画像の生成に用いられた変形ベクトルを取得するだけでよい。予測画像の生成に用いられた変形ベクトルが特定されると、各変形ベクトルについて、初期状態の画像を過去病例ＤＢ１０２から読み出す。読み出した画像を、当該変形ベクトルにおける変形係数で定義される変換関数を用いて変換し、その変換後の画像の特徴量を求める。また、ステップＳ７０で取得した画像の特徴量も求め、ステップＳ７０で取得した画像の特徴量と、上述の変換後の画像の特徴量と、の間の類似度を求める。この類似度を変換後の画像に係る変形ベクトルの評価値とする。
【００７２】
予測画像の生成に用いられた各変形ベクトルに関連づけて、ステップＳ７４で求めた各変形ベクトルの評価に基づく重みを変形モデルＤＢ１１２に登録する（ステップＳ７６）。重みの値は、ステップＳ７４で求めた評価が高いほど大きな値になるように決定すればよい。例えば、上述のステップＳ７４の処理手順の例の場合、ステップＳ７０で取得した画像の特徴量と、各変形ベクトルについての変換後の画像の特徴量と、の間の類似度が大きいほど、当該変形ベクトルに関連づけられる重みの値を大きくすればよい。この類似度が大きいほど、当該変形ベクトルの変形係数は、クエリ画像の撮影時期から当該変形ベクトルの経過時間が経過したときに実際に撮影された画像により類似した画像へクエリ画像を変換する変換関数を定義するパラメータであると言える。ステップＳ７６の後、図１１の例の手順の処理は終了する。
【００７３】
本発明の実施の形態は、以上で説明した各種の実施形態および変形例に限定されない。例えば、診断支援装置１０が備える各種のデータベースの具体的な態様は、上述した例と異なっていてよい。例えば、各データベースにおける画像ＩＤの登録を省略し、患者ＩＤと撮影日との組を画像の識別情報として用いてもよい。また例えば、読影レポートＤＢ１０４において、図２に例示する項目の他に、当該患者に対して行われた検査の種類とその結果などを登録しておいてもよい。また、過去病例ＤＢ１０２、読影レポートＤＢ１０４、および特徴量ＤＢ１０８のうちの２以上のデータベースを１つのデータベースとして纏めてもよい。
【００７４】
また、上述の実施形態では、変換関数Ｔとして、式（１）のＴｇｌｏｂａｌおよび式（２）のＴｌｏｃａｌにより表される変換関数Ｔ＝Ｔｇｌｏｂａｌ＋Ｔｌｏｃａｌを用いるが、他の形式で表される変換関数Ｔを用いてもよい。１つの画像を他の画像に変換する関数を表し、１以上のパラメータにより定義される関数であれば、上述と異なる形式の変換関数Ｔを用いて、上述の説明と同様の処理手順により変形モデルの生成および予測画像の生成を実行してよい。また、上述の実施形態では、変換関数Ｔは、患者を撮影した画像における病変領域の画像データを変換する関数であるが、患者を撮影した画像の全体を変換する関数を変換関数Ｔとして用いてもよい。
【００７５】
また、上述の実施形態では、初期状態の画像と同じ患者ＩＤ、疾病ＩＤ、および処置ＩＤの組合せに関連づけられた画像について変形ベクトルを生成するが、少なくとも患者ＩＤが初期状態の画像と同じであれば、疾病ＩＤまたは処置ＩＤが異なる画像について変形ベクトルを生成してもよい。
【００７６】
以上に例示した診断支援装置１０は、例えば、図１２に示すようなハードウエア構成を備えるコンピュータにて上述の診断支援装置１０の各部の機能又は処理内容を記述したプログラムを実行することにより実現される。図１２の例のコンピュータは、ＣＰＵ（中央演算装置）８０、画像処理に関する演算を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８１、メモリ（一次記憶）８２、各種Ｉ／Ｏ（入出力）インタフェース８４等がバス８６を介して接続された回路構成を有する。また、バス８６に対し、例えばＩ／Ｏインタフェース８４経由で、ハードディスクドライブ（ＨＤＤ）８８やＣＤやＤＶＤ、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体を読み取るためのディスクドライブ９０が接続される。このようなドライブ８８又は９０は、メモリに対する外部記憶装置として機能する。実施形態の処理内容が記述されたプログラムがＣＤやＤＶＤ等の記録媒体を経由して、又はネットワーク経由で、ＨＤＤ８８等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがメモリに読み出されＣＰＵまたはＧＰＵにより実行されることにより、実施形態の処理が実現される。ＧＰＵは、類似画像の検索や画像の特徴量の算出など、画像処理に関する演算を担当する。ＣＰＵとＧＰＵとで、画像処理に関する演算を並列化して行ってもよい。
【００７７】
なお、以上の説明では、診断支援装置１０を１台のコンピュータにより実現する例の実施形態を説明したが、診断支援装置１０の上述の例の各種の機能を複数のコンピュータに分散させて実現してもよい。
【符号の説明】
【００７８】
１０ 診断支援装置、８０ ＣＰＵ、８１ ＧＰＵ、８２ メモリ、８４ Ｉ／Ｏインタフェース、８６ バス、８８ ＨＤＤ、９０ ディスクドライブ、１００ 入力受付部、１０２ 過去病例ＤＢ、１０４ 読影レポートＤＢ、１０６ 特徴量算出部、１０８ 特徴量ＤＢ、１１０ 変形モデル生成部、１１２ 変形モデルＤＢ、１１４ 類似画像検索部、１１６ 予測画像生成部、１１８ 予測画像ＤＢ、１２０ 出力処理部。
【技術分野】
【０００１】
本発明は、プログラムおよび情報処理装置に関する。
【背景技術】
【０００２】
医療用画像に基づく診断を支援する技術が知られている。例えば、特許文献１には、異常な陰影（特徴）を有する画像を優先的に表示させる画像保管通信システムが開示されている。特許文献１に記載の技術では、入力された画像の特徴を検出すると、その特徴を示す情報を当該入力画像に付加し、このように付加された情報に基づいて、表示させる画像を選択する。
【０００３】
特許文献２に記載の技術では、撮影された患者の画像における病変位置や病変種類などの特徴量を検出し、当該画像および当該特徴量をデータベースに格納し、患者の画像および特徴量をデータベースから取得して表示させたり、指定された画像について、データベースから取得した特徴量および当該患者の画像の情報を含む仮レポート報告書を作成したりする。
【０００４】
特許文献３には、病気または医学的状態についての分類された重症度レベルを持つ画像のデータベースを、人による重症度の指定に基づいて作成しておき、患者画像とデータベース内の画像との比較によって、病気または医学的状態の重症度を求める技術が開示されている。
【０００５】
特許文献４には、患者を撮影して得られた医用画像から異常陰影候補の画像領域を検出し、発病した複数の患者について得られた異常陰影候補の検出結果を用いて、診断対象の患者の将来の発病の可能性を示す予測値を算出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０５−２０５０１８号公報
【特許文献２】特開２００３−３３３２７号公報
【特許文献３】特開２００７−１０５４６１号公報
【特許文献４】特開２００７−１３５６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、医療の診断においては、患者を撮影した画像に基づいて、患者の現在の症状を特定するだけでなく、その後の撮影対象の状態の変化を予測することが望まれる場合がある。
【０００８】
本発明の目的は、患者を撮影した画像における撮影対象の状態の変化を予測することを支援するプログラムおよび情報処理装置を提供することである。
【課題を解決するための手段】
【０００９】
請求項１に係る発明は、処理対象の画像である対象画像の特徴を表す特徴量を算出するステップと、過去に撮影された患者の画像のそれぞれの特徴を表す特徴量を記憶した特徴量記憶手段を参照し、前記対象画像の前記特徴量と前記患者の画像のそれぞれの前記特徴量とを用いて前記対象画像に類似する前記患者の画像を特定するステップと、前記過去に撮影された患者の画像を用いて求められた、患者の画像の時間による変化を表す情報を記憶した変化情報記憶手段から、前記特定するステップで特定された画像の時間による変化を表す情報を取得し、取得した情報を用いて画像の変換関数を生成するステップと、前記生成するステップで生成された変換関数を用いて前記対象画像を変換した画像を出力するステップと、をコンピュータに実行させるためのプログラムである。
【００１０】
請求項２に係る発明は、請求項１に係る発明において、前記変化情報記憶手段は、患者を撮影した第一の画像と、当該第一の画像の撮影時期以降に当該患者を撮影した第二の画像に変換する変換関数を定めるパラメータであって当該第一の画像および当該第二の画像を用いて算出されたパラメータと、当該第一の画像の撮影時期から当該第二の画像の撮影時期までの経過時間と、を関連づけて記憶し、前記特徴量記憶手段は、前記第一の画像のそれぞれの前記特徴量を記憶し、前記特定するステップにおいて、前記対象画像に類似する前記第一の画像が特定され、前記画像の変換関数を生成するステップにおいて、前記特定するステップで特定された第一の画像に関連づけられたパラメータであって共通の前記経過時間に関連づけられたパラメータを前記変化情報記憶手段から取得し、取得したパラメータを用いて前記画像の変換関数を生成する。
【００１１】
請求項３に係る発明は、請求項２に係る発明において、前記対象画像および前記第一の画像のそれぞれの前記特徴量は、当該画像において病変を含む領域であると判定された病変領域の特徴を表し、前記パラメータは、前記第一の画像における前記病変領域の画像を前記第二の画像における前記病変領域の画像に変換する変換関数を定めるパラメータである。
【００１２】
請求項４に係る発明は、請求項２または３に係る発明において、患者と、患者を撮影した画像と、当該画像の撮影時期と、を関連づけて記憶した画像記憶手段に記憶された画像のうちの少なくとも１つを初期状態画像とし、当該初期状態画像の撮影時期以降に当該初期状態画像の患者を撮影した画像を前記画像記憶手段から取得し、取得した画像と前記初期状態画像とを用いて、前記初期状態画像を当該取得した画像に変換する変換関数を定めるパラメータを算出するステップと、前記初期状態画像を前記第一の画像とし、前記パラメータを算出するステップで前記画像記憶手段から取得した画像を前記第二の画像として、前記第一の画像とした前記初期状態画像と、前記パラメータを算出するステップで算出したパラメータと、前記初期状態画像の撮影時期から前記第二の画像とした画像の撮影時期までの経過時間と、を互いに関連づけて前記変化情報記憶手段に対して出力するステップと、を前記コンピュータにさらに実行させる。
【００１３】
請求項５に係る発明は、請求項２から４のいずれか１項に係る発明において、前記対象画像の撮影時期から、前記画像の変換関数を生成するステップで用いられたパラメータに共通して関連づけられた経過時間が経過したときに前記対象画像に係る患者を撮影した画像である結果画像を取得するステップと、前記画像の変換関数を生成するステップで用いられたパラメータを前記結果画像に基づいて評価して求めた評価値を当該パラメータに関連づけて前記変化情報記憶手段に対して出力するステップと、をさらに前記コンピュータに実行させ、前記画像の変換関数を生成するステップにおいて、前記取得したパラメータの前記評価値をさらに用いて前記画像の変換関数を生成する。
【００１４】
請求項６に係る発明は、処理対象の画像である対象画像の特徴を表す特徴量を算出する算出手段と、過去に撮影された患者の画像のそれぞれの特徴を表す特徴量を記憶した特徴量記憶手段を参照し、前記対象画像の前記特徴量と前記患者の画像のそれぞれの前記特徴量とを用いて前記対象画像に類似する前記患者の画像を特定する特定手段と、前記過去に撮影された患者の画像を用いて求められた、患者の画像の時間による変化を表す情報を記憶した変化情報記憶手段から、前記特定手段が特定した画像の時間による変化を表す情報を取得し、取得した情報を用いて画像の変換関数を生成する生成手段と、前記生成手段が生成した変換関数を用いて前記対象画像を変換した画像を出力する出力手段と、を備えることを特徴とする情報処理装置である。
【発明の効果】
【００１５】
請求項１または６に係る発明によると、患者を撮影した画像における撮影対象の状態の変化を予測することを支援できる。
【００１６】
請求項２に係る発明によると、経過時間毎の撮影対象の状態を予測した画像をユーザに提示できる。
【００１７】
請求項３に係る発明によると、患者を撮影した画像における病変領域の時間による変化を予測することを支援できる。
【００１８】
請求項４に係る発明によると、患者を撮影した画像から、ある時間の経過による画像の変化を表すパラメータを算出して記録できる。
【００１９】
請求項５に係る発明によると、ある経過時間における撮影対象の状態を予測した画像の生成に用いられたパラメータを、当該経過時間が経過した時点で実際に撮影された画像を用いて評価して求めた評価値を用いて、画像の変換関数を生成できる。
【図面の簡単な説明】
【００２０】
【図１】診断支援装置の構成の例を示す機能ブロック図である。
【図２】読影レポートＤＢのデータ内容の例を示す図である。
【図３】特徴量ＤＢのデータ内容の例を示す図である。
【図４】変形係数を求める処理の手順の例を説明するための図である。
【図５】変形モデルＤＢのデータ内容の例を示す図である。
【図６】予測画像ＤＢのデータ内容の例を示す図である。
【図７】変形モデル生成処理の手順の例を示すフローチャートである。
【図８】予測画像生成処理の手順の例を示すフローチャートである。
【図９】予測画像生成処理において変形モデルＤＢから取得される変形ベクトルの例を示す図である。
【図１０】各種のデータベースを更新する処理の手順の例を示すフローチャートである。
【図１１】変形係数の重みを求める処理の手順の例を示すフローチャートである。
【図１２】コンピュータのハードウエア構成の例を示す図である。
【発明を実施するための形態】
【００２１】
図１に、本発明の一実施形態の例の情報処理装置として機能する診断支援装置１０の構成の例を示す。診断支援装置１０は、入力受付部１００、過去病例ＤＢ（データベース）１０２、読影レポートＤＢ１０４、特徴量算出部１０６、特徴量ＤＢ１０８、変形モデル生成部１１０、変形モデルＤＢ１１２、類似画像検索部１１４、予測画像生成部１１６、予測画像ＤＢ１１８、および出力処理部１２０を備える。
【００２２】
入力受付部１００は、診断支援装置１０に対するユーザの指示などを表す入力を受け付ける。ユーザによる入力は、マウスやキーボードなどの図示しない入力装置を介して入力受付部１００により取得される。また、入力受付部１００は、診断支援装置１０の処理対象となる医用画像の入力を受け付けることもある。医用画像は、患者を撮影して得られる画像であり、例えば、Ｘ線写真、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）画像、またはＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像など、医療の診断に用いられる各種の画像のいずれであってもよい。入力受付部１００は、例えば、診断支援装置１０に通信手段を介して接続された他の情報処理装置から医用画像を受信したり、医用画像を形成する装置から医用画像を取得したりする。
【００２３】
過去病例ＤＢ１０２は、過去に撮影された医用画像の画像データを記憶するデータベースである。画像データは、画素ごとに色相、輝度、または明度などの値を有するデジタル画像データであってよい。以下の説明では、画像データを単に「画像」と呼ぶこともある。また、本実施形態の例において、過去病例ＤＢ１０２に記憶される画像には、それぞれ、画像を識別するための識別情報である画像ＩＤが付与されているものとする。例えば、当該画像の名称および過去病例ＤＢ１０２における当該画像の格納位置を含む情報を画像ＩＤとして用いてもよい。
【００２４】
読影レポートＤＢ１０４は、過去病例ＤＢ１０２に記憶された各画像について、診断に関する情報を記憶するデータベースである。図２に、読影レポートＤＢ１０４の内容の例を示す。図２の例の読影レポートＤＢ１０４には、各画像の画像ＩＤに対応づけて、患者ＩＤ、疾病ＩＤ、処置ＩＤ、撮影日、患者情報、および所見の各項目の内容が登録される。患者ＩＤは、対応する画像データの撮影対象の患者を識別するための識別情報である。疾病ＩＤは、対応する患者の疾病の種類を識別するための識別情報である。処置ＩＤは、対応する患者に対して行われた処置（投薬や手術など）を識別するための識別情報である。撮影日は、対応する画像ＩＤの画像が撮影された日付を表す。「撮影日」の代わりに、画像が撮影された時期を表す「撮影時期」の項目を設け、日付と共に撮影の時刻を登録しておいてもよい。患者情報は、対応する患者の氏名、年齢、および性別など、患者に関する情報を表す。所見は、対応する画像ＩＤの画像についての医師の見解を表す。以上に例示した各項目の値は、画像ＩＤを指定する情報と共にユーザにより入力され、指定された画像ＩＤに対応づけて読影レポートＤＢ１０４に登録される。なお、読影レポートＤＢ１０４には、過去病例ＤＢ１０２に記憶された各画像についての上述の情報だけでなく、後述の予測画像生成部１１６が生成した予測画像に関する情報をさらに記憶しておいてもよい。
【００２５】
再び図１を参照し、特徴量算出部１０６は、医用画像の特徴を表す特徴量を算出する。特徴量算出部１０６は、過去病例ＤＢ１０２に記憶された画像の特徴量を算出することもあるし、入力受付部１００が取得した画像の特徴量を算出することもある。本実施形態の例では、特徴量算出部１０６は、画像における病変の領域を特定し、特定した病変領域の画像中の位置、大きさ、および形状を表す値を当該画像の特徴量として算出する。画像における病変の領域を特定する手法としては、医用画像における病変領域（異常領域）の特定において従来から用いられている手法を用いればよい。例えば、画像中に存在する円形状の陰影を強調する処理を行った上でモルフォロジカルフィルタを用いて腫瘍影などの孤立陰影を抽出する手法（特開２００４−３３６３７８号公報を参照）や、健康な人物を撮影して得られた画像のデータと処理対象の画像のデータとを比較することで処理対象の画像のデータの異常領域を特定する手法などを用いればよい。特徴量算出部１０６は、画像について算出した特徴量を当該画像の画像ＩＤと対応づけて特徴量ＤＢ１０８に登録する。
【００２６】
特徴量ＤＢ１０８は、画像の特徴量を記憶するデータベースである。図３は、本実施形態の例における特徴量ＤＢ１０８のデータ内容の例を示す。図３の例の表では、各画像の画像ＩＤに対応づけて、その画像ＩＤの画像について特徴量算出部１０６が算出した特徴量が登録されている。特徴量は、病変の位置、病変の大きさ、および病変の形状の各項目を含む。病変の位置は、画像における病変領域の位置を表し、例えば、画像に対して定義された座標系における、病変領域の中心点の座標で表される。病変の大きさは、例えば、画像における病変領域の面積を表す。あるいは、例えば、画像全体の面積に対する病変領域の面積の割合を病変の大きさの値としてもよい。病変の形状は、例えば、画像中の病変領域の形状の種類（円形、楕円形、多角形など）を表す値であってもよいし、病変領域の形状を近似した関数であってもよい。あるいは、画像において特定された病変領域の画像データを当該画像から抽出し、抽出した画像データ自体を病変の形状として登録しておいてもよい。
【００２７】
図１の説明に戻り、変形モデル生成部１１０は、医用画像の時間変化のモデルである変形モデルを生成する。本実施形態の例の変形モデル生成部１１０は、過去病例ＤＢ１０２、読影レポートＤＢ１０４、および特徴量ＤＢ１０８を参照し、同じ患者を撮影した画像の時系列における非線形の変化を表す変形係数を求める。
【００２８】
以下、変形係数を求める手順の例を説明する。変形モデル生成部１１０は、読影レポートＤＢ１０４において特定の患者ＩＤ、疾病ＩＤ、および処置ＩＤの組に対応づけられた画像ＩＤを特定する。さらに、特定した画像ＩＤの画像を過去病例ＤＢ１０２から読み出し、特定した画像ＩＤの特徴量を特徴量ＤＢ１０８から読み出す。本例では、図４に示すように、１人の肺癌患者の肺を撮影した画像Ｉ０，Ｉ１，Ｉ２を過去病例ＤＢ１０２から読み出し、各画像Ｉ０，Ｉ１，Ｉ２の特徴量（病変領域（円ｒ０，ｒ１，ｒ２で囲んだ領域）の位置、大きさ、および形状）を特徴量ＤＢ１０８から読み出したとする。また、画像Ｉ０，Ｉ１，Ｉ２は、この順に３ヶ月間隔で撮影されたものであるとする。変形モデル生成部１１０は、読影レポートＤＢ１０４に登録された各画像の撮影日から、画像Ｉ０，Ｉ１，Ｉ２の撮影の順番および時間間隔を求める。変形モデル生成部１１０は、画像Ｉｉにおける病変領域の画像を画像Ｉｊにおける病変領域の画像に変換する変換関数Ｔを定義するパラメータを、画像Ｉｉから画像Ｉｊへの変形係数として求める（ここで、ｉ，ｊ＝０，１，２；ｉ＜ｊとする）。本例では、この変換関数Ｔは、２つの変換マトリクスＴｇｌｏｂａｌ，Ｔｌｏｃａｌにより、Ｔ＝Ｔｇｌｏｂａｌ＋Ｔｌｏｃａｌとして表される変換マトリクスであるとする。
【００２９】
変換マトリクスＴｇｌｏｂａｌは、画像における撮影対象部位の全体の変化を表現する。同じ患者の同じ撮影対象部位を撮影した画像であっても、撮影のタイミングが異なると、完全に同一の画像になるとは限らない。このような画像間の差異を表現するため、本例の変換マトリクスＴｇｌｏｂａｌは、式（１）に示すとおり、アフィン変換を表す行列とする。
［数１］
ここで、（ｘ，ｙ）は、変換前の画像Ｉｉにおける一画素の座標を表す。式（１）のθ１１，θ１２，θ２１，θ２２，θ１３，θ２３は、変換マトリクスＴｇｌｏｂａｌを定義するパラメータである。
【００３０】
変換マトリクスＴｌｏｃａｌは、画像における病変領域の変化を表現する。本例の変換マトリクスＴｌｏｃａｌは、自由形状変形（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ，ＦＦＤ）による変換を表す。具体的には、画像における病変領域において、Ｎｘ×Ｎｙのメッシュによる制御点を生成し、この制御点を用いる式（２）の変換マトリクスＴｌｏｃａｌにより、病変領域の変化を表す。
［数２］
ただし、
［数３］
である。また、式（２）において、関数ＢはＢ−スプライン関数である。式（２）の変換マトリクスＴｌｏｃａｌを定義するパラメータは、Ｎｘ，Ｎｙである。
【００３１】
変形モデル生成部１１０は、画像Ｉｉおよび画像Ｉｊと、各画像の特徴量（病変領域の位置、大きさ、形状）と、を用いて、変換マトリクスＴｇｌｏｂａｌ，Ｔｌｏｃａｌのパラメータθ１１，θ１２，θ２１，θ２２，θ１３，θ２３，Ｎｘ，Ｎｙの値を求める。例えば、画像Ｉｉにおける病変領域の画像と画像Ｉｊの病変領域における画像との間の相互情報量（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ，ＭＩ）を最大化するパラメータθ１１，θ１２，θ２１，θ２２，θ１３，θ２３，Ｎｘ，Ｎｙの値を求める。相互情報量は、次の式（３）により表される。
［数４］
式（３）において、Ｈ（Ｉ（Ｓｉ）），Ｈ（Ｉ（Ｓｊ））は、それぞれ、画像Ｉｉ，Ｉｊの病変領域の画像のエントロピーを表す。また、Ｈ（Ｉ（Ｓｉ），Ｉ（Ｓｊ））は、画像Ｉｉおよび画像Ｉｊの病変領域の画像の結合エントロピーを表す。
【００３２】
式（３）の相互情報量を最大化するよう求めたパラメータの値を、変形モデル生成部１１０は、画像Ｉｉから画像Ｉｊへの変形係数Ｐ＝（θ１１，θ１２，θ２１，θ２２，θ１３，θ２３，Ｎｘ，Ｎｙ）とする。変形モデル生成部１１０は、画像Ｉｉから画像Ｉｊへの変形係数Ｐを求めると、画像Ｉｉを初期状態Ｓとし、画像Ｉｉの撮影時期と画像Ｉｊの撮影時期との間の時間間隔を経過時間ｔとし、求めた変形係数Ｐを初期状態Ｓおよび経過時間ｔと関連づけて変形モデルＤＢ１１２に登録する。以下では、初期状態Ｓ、変形係数Ｐ、および経過時間ｔにより表されるベクトル（Ｓ，Ｐ，ｔ）を「変形ベクトル」と呼ぶ。また、過去病例ＤＢ１０２に記憶された複数の画像のそれぞれを初期状態とする変形ベクトルの集合を「変形モデル」と呼ぶ。
【００３３】
変形モデルＤＢ１１２は、変形モデル生成部１１０が生成した変形モデルを記憶するデータベースである。図５に、変形モデルＤＢ１１２のデータ内容の一例を示す。図５の例の表では、患者ＩＤ、疾病ＩＤ、処置ＩＤ、初期状態Ｓ、および（変形係数Ｐ，経過時間ｔ）の各項目が互いに関連づけられている。図５の例の表の一行は、１つの画像を初期状態として求められた変形ベクトルの情報を表すレコードである。図５の例の表において、患者ＩＤ、疾病ＩＤ、および処置ＩＤの値は、対応する初期状態Ｓの画像に関連づけて読影レポートＤＢ１０４に登録された値であり、変形モデル生成部１１０により読影レポートＤＢ１０４から取得されて変形モデルＤＢ１１２に登録される。また、本例において、初期状態Ｓの値は、対応する画像の画像ＩＤであるとする。また、図５の例の表において、（変形係数Ｐ，経過時間ｔ）の項目における各列は、同じ経過時間を含む変形ベクトルの情報を表す。文字列「Ｎ／Ａ」は、対応する行の初期状態の画像について対応する列の経過時間の変形ベクトルが生成されていないことを表す。つまり、当該行の初期状態の画像の撮影日から当該列の経過時間が経過した時に撮影された画像であって、当該初期状態の画像と同じ患者ＩＤ、疾病ＩＤ、および処置ＩＤの組合せに関連づけられる画像が過去病例ＤＢ１０２に登録されていないことを表す。
【００３４】
類似画像検索部１１４は、過去病例ＤＢ１０２に登録された画像のうち、入力受付部１００が処理対象として受け付けたクエリ画像に類似する画像を検索する。類似画像検索部１１４は、例えば、特徴量算出部１０６が算出したクエリ画像の特徴量と、特徴量ＤＢ１０８に登録された各画像の特徴量と、の間の類似度を求め、類似度が予め設定された閾値より大きい画像を類似画像として特定する。２つの特徴量間の類似度は、例えば、各特徴量をベクトル形式で表し、２つの特徴量のベクトル間の類似の程度を表す値を算出することで得られる。ベクトル間の類似の程度を表す値として、例えば、相関係数またはユークリッド距離などを算出すればよい。
【００３５】
予測画像生成部１１６は、入力受付部１００が処理対象として受け付けたクエリ画像の撮影時期から、ある時間が経過したときの撮影対象の状態を予測した画像である予測画像を生成する。予測画像生成部１１６は、類似画像検索部１１４により検索された、クエリ画像の類似画像のそれぞれを初期状態Ｓとする変形ベクトルを変形モデルＤＢ１１２から取得する。取得した変形ベクトルのうち、同じ経過時間を含む変形ベクトルの集合ごとに、当該集合の変形ベクトルに含まれる変形係数を平均し、この結果の値を変形パラメータとする。以下の説明において、「変形パラメータ」の語は、画像の変換関数を定義するパラメータであって、複数の変形ベクトルに含まれる変形係数を用いて求められるパラメータを意味する。予測画像生成部１１６は、変形パラメータにより定義される変換関数Ｔ＝Ｔｇｌｏｂａｌ＋Ｔｌｏｃａｌ（式（１），式（２）参照）を用いてクエリ画像を変換し、変換した画像を予測画像とする。このように生成された予測画像は、変形パラメータの生成に用いられた変形ベクトルに含まれる経過時間が経過した時点での、クエリ画像の撮影対象の状態を予測した画像であると言える。
【００３６】
予測画像ＤＢ１１８は、予測画像を記憶するデータベースである。予測画像ＤＢ１１８は、元のクエリ画像に対応づけて、経過時間と当該経過時間に係る予測画像とを記憶する。図６に、予測画像ＤＢ１１８のデータ内容の一例を示す。図６の例の表では、各クエリ画像の画像ＩＤに対応づけて、「経過時間」の項目の時間が経過した場合について生成された予測画像の識別情報である予測画像ＩＤが登録されている。予測画像ＩＤの代わりに、該当する予測画像の予測画像ＤＢ１１８における格納位置を登録しておいてもよい。
【００３７】
出力処理部１２０は、予測画像を出力する処理を行う。出力処理部１２０は、例えば、予測画像ＤＢ１１８に記憶された予測画像を図示しない表示装置に表示させる。このとき、当該予測画像の基になったクエリ画像、対応する経過時間、およびクエリ画像の撮影対象の患者に関する情報などを予測画像と共に表示装置に表示させてもよい。また、出力処理部１２０は、予め定義された書式に従って、予測画像を含む文書である予測レポートを生成して出力してもよい。予測レポートは、予測画像と予測画像に関連する各種の情報とを含む。予測画像に関連する各種の情報とは、例えば、予測の基になったクエリ画像、経過時間、撮影対象の患者、疾病、処置、および検査結果などである。予測レポートは、例えば、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式の文書であってよい。予測レポートの出力先は、読影レポートＤＢ１０４であってもよいし、診断支援装置１０に接続された他の情報処理装置であってもよい。
【００３８】
図７は、診断支援装置１０において行われる変形モデル生成処理の手順の例を示すフローチャートである。図７の例の手順が開始される前に、過去病例ＤＢ１０２には過去に撮影された画像が登録済みであり、読影レポートＤＢ１０４には、過去病例ＤＢ１０２に登録済みの各画像についての情報（図２参照）が登録済みであるとする。
【００３９】
図７を参照し、まず、診断支援装置１０の特徴量算出部１０６は、過去病例ＤＢ１０２に記憶された各画像の特徴量を算出する（ステップＳ１０）。本例において、特徴量算出部１０６は、各画像における病変領域を特定し、その病変領域の位置、大きさ、および形状を当該画像の特徴量として求める。特徴量算出部１０６は、算出した特徴量を、各画像の画像ＩＤに対応づけて特徴量ＤＢ１０８に登録する（ステップＳ１２）。
【００４０】
特徴量の算出および特徴量ＤＢへの登録が終了すると、変形モデル生成部１１０は、過去病例ＤＢ１０２に記憶された画像のうちの１つを、変形ベクトルにおける初期状態の画像として選択する（ステップＳ１４）。
【００４１】
次に、選択された初期状態の画像からの変化を表す画像の有無を判定する（ステップＳ１６）。本例では、読影レポートＤＢ１０４を参照し、当該初期状態の画像と同じ患者ＩＤ、疾病ＩＤ、および処置ＩＤの組合せに関連づけられた画像のうち、当該初期状態の画像の撮影日の後に撮影された画像の有無を判定する。
【００４２】
初期状態の画像からの変化を表す画像が存在すれば（ステップＳ１６でＹＥＳ）、変形モデル生成部１１０は、当該変化を表す画像のそれぞれについて、初期状態の画像からの変化を表す変形ベクトルを生成する（ステップＳ１８）。本例のステップＳ１８では、初期状態の画像を画像Ｉｉとし、ステップＳ１６で存在が確認された画像のそれぞれを画像Ｉｊとし、式（１）〜式（３）を用いる上述の手順に従って、変換関数Ｔ（＝Ｔｇｌｏｂａｌ＋Ｔｌｏｃａｌ）のパラメータを求める。そして、ステップＳ１６で存在が確認された画像のそれぞれについて、求めたパラメータを変形係数Ｐとし、当該画像の撮影日と初期状態の画像の撮影日との間の差を経過時間ｔとする変形ベクトル（Ｓ，Ｐ，ｔ）を生成する（Ｓは初期状態の画像の画像ＩＤ）。一具体例として、初期状態の画像が図４の例の画像Ｉ０であるとすると、ステップＳ１６で、画像Ｉ０からの変化を表す画像として画像Ｉ１および画像Ｉ２の存在が確認される。この場合、ステップＳ１８で、式（１）〜式（３）を用いて、画像Ｉ０から画像Ｉ１への変換関数Ｔのパラメータ（ＰＩ０→Ｉ１）と画像Ｉ０から画像Ｉ２への変換関数Ｔのパラメータ（ＰＩ０→Ｉ２）とを求める。さらに、画像Ｉ０から画像Ｉ１への変化を表す変形ベクトル（Ｉ０，ＰＩ０→Ｉ１，３ヶ月）と画像Ｉ０から画像Ｉ２への変化を表す変形ベクトル（Ｉ０，ＰＩ０→Ｉ２，６ヶ月）とを生成する。
【００４３】
なお、ステップＳ１８において、変形係数を求める計算において用いられる画像Ｉｉおよび各画像Ｉｊは、過去病例ＤＢ１０２から取得され、これらの画像の特徴量は、特徴量ＤＢ１０８から取得される。
【００４４】
初期状態の画像からステップＳ１６で存在が確認された画像それぞれへの変化を表す変形ベクトルを生成すると、変形モデル生成部１１０は、生成した変形ベクトルを変形モデルＤＢ１１２に登録する（ステップＳ２０）。本例において、変形モデル生成部１１０は、初期状態の画像に係る患者ＩＤ、疾病ＩＤ、および処置ＩＤの組合せに関連づけて、初期状態の画像の画像ＩＤと、生成した各変形ベクトルの変形係数Ｐおよび経過時間ｔの組と、を変形モデルＤＢ１１２に登録する（図５参照）。
【００４５】
ステップＳ２０の後、または、ステップＳ１４で選択された初期状態の画像からの変化を表す画像が存在しない場合（ステップＳ１６でＮＯ）、過去病例ＤＢ１０２中の全画像のそれぞれを初期状態として処理済みであるか否かを判定する（ステップＳ２２）。処理済みであれば（ステップＳ２２でＹＥＳ）、図７の例の手順の処理は終了し、処理済みでなければ（ステップＳ２２でＮＯ）、未処理の画像に対しステップＳ１４〜ステップＳ２０の処理が行われる。
【００４６】
図７の例の手順の処理により、変形モデルＤＢ１１２には、過去病例ＤＢ１０２に記憶された各画像の時間による変化を表す変形ベクトルの集合（変形モデル）が記憶される。この変形モデルを用いて、診断支援装置１０は、過去病例ＤＢ１０２に未登録の画像について、ある時間が経過したときの当該画像の撮影対象の状態を表す予測画像を生成する。
【００４７】
図８は、診断支援装置１０において行われる予測画像生成処理の手順の例を示すフローチャートである。
【００４８】
図８を参照し、入力受付部１００により、処理対象の画像であるクエリ画像が取得される（ステップＳ３０）。クエリ画像は、患者を撮影した医用画像であり、過去病例ＤＢ１０２に未登録の画像である。また、ステップＳ３０において、クエリ画像に係る患者の疾病ＩＤおよび処置ＩＤの少なくとも一方をクエリ画像と共に取得してもよい。
【００４９】
次に、特徴量算出部１０６は、ステップＳ３０で取得されたクエリ画像の特徴量を算出する（ステップＳ３２）。本例では、クエリ画像における病変領域を特定し、その病変領域の位置、大きさ、形状が特徴量として算出される。
【００５０】
クエリ画像の特徴量が算出されると、類似画像検索部１１４は、過去病例ＤＢ１０２中の画像のうちクエリ画像に類似する画像を検索する（ステップＳ３４）。本例では、類似画像検索部１１４は、クエリ画像の特徴量と、特徴量ＤＢ１０８に記憶された各画像の特徴量と、の間の類似度を求め、類似度が予め設定された閾値より大きい画像の画像ＩＤを特定する。特定された画像ＩＤの画像は、過去病例ＤＢ１０２に記憶された画像である。以下の説明のための具体例として、ステップＳ３４で、類似画像Ｉａ，Ｉｂ，Ｉｃ，…，Ｉｎが検索されたとする。なお、ステップＳ３０でクエリ画像に係る患者の疾病ＩＤおよび処置ＩＤの少なくとも一方を取得していた場合、ステップＳ３４では、当該疾病ＩＤおよび当該処置ＩＤ（の少なくとも一方）に関連づけられた画像のみを検索対象とすればよい。
【００５１】
予測画像生成部１１６は、変形モデルＤＢ１１２から、ステップＳ３４で検索した類似画像のそれぞれを初期状態とする変形ベクトルを取得する（ステップＳ３６）。図９に、上述の具体例の場合に取得される変形ベクトルの例を示す。図９の例の表の一行は、類似画像Ｉａ，Ｉｂ，Ｉｃ，…，Ｉｎそれぞれを初期状態とする変形ベクトルの情報を表す。図９の例の表において、（変形係数Ｐ，経過時間ｔ）の項目における各列は、同じ経過時間ｔｉ（ｉ＝１，２，…，ｍ）を含む変形ベクトルの情報を表す。また、図９において、文字列「Ｎ／Ａ」は、対応する行の初期状態の画像について対応する列の経過時間の変形ベクトルが生成されていないことを表す。
【００５２】
再び図８を参照し、ステップＳ３６の後、予測画像生成部１１６は、取得した変形ベクトルを用いて、これらの変形ベクトルに含まれる経過時間ｔごとに、当該経過時間が経過した時点でのクエリ画像の変化を表す変形パラメータを生成する（ステップＳ３８）。図９の具体例の場合、（変形係数Ｐ，経過時間ｔ）の項目の各列について、変形係数Ｐの値の平均を求め、求めた平均値を当該列の経過時間ｔに関する変形パラメータＰｔとする。つまり、経過時間ｔｉ（ｉ＝１，２，…，ｍ）に関する変形パラメータＰｔｉは、経過時間ｔｉの変形係数Ｐａｉ，Ｐｂｉ，…，Ｐｎｉの平均である。また、本実施形態の例において、変形ベクトルにおける各変形係数Ｐは、式（１）の変換マトリクスＴｇｌｏｂａｌのパラメータθ１１，θ１２，θ２１，θ２２，θ１３，θ２３と、式（２）の変換マトリクスＴｌｏｃａｌのパラメータＮｘ，Ｎｙと、を含むことから、経過時間ｔｉに関する変形パラメータＰｔｉは、θ１１，θ１２，θ２１，θ２２，θ１３，θ２３，Ｎｘ，Ｎｙの各値の平均を含む。
【００５３】
各経過時間に関する変形パラメータを生成すると、予測画像生成部１１６は、生成した変形パラメータにより定義される変換関数Ｔを用いてクエリ画像を変換した結果の画像を生成し、生成した画像を各経過時間についての予測画像とする（ステップＳ４０）。図９を参照する上述の具体例では、各経過時間ｔ１，ｔ２，…，ｔｍに関する変形パラメータＰｔ１，Ｐｔ２，…，Ｐｔｍのそれぞれに含まれるθ１１，θ１２，θ２１，θ２２，θ１３，θ２３，Ｎｘ，Ｎｙの値により定まる各変換関数Ｔ＝Ｔｇｌｏｂａｌ＋Ｔｌｏｃａｌを用いてクエリ画像を変換することで、各経過時間ｔ１，ｔ２，…，ｔｍについての予測画像を生成する。
【００５４】
予測画像生成部１１６は、各経過時間と当該経過時間について生成した予測画像とを関連づけて予測画像ＤＢ１１８に登録する。
【００５５】
また、ステップＳ４０で生成された予測画像は、出力処理部１２０により出力される（ステップＳ４２）。ステップＳ４２において、出力処理部１２０は、例えば、生成された予測画像と、当該予測画像に関連づけられる経過時間と、を対応づけて図示しない表示装置に表示させる。このとき、予測画像と共にクエリ画像も表示させてよい。あるいは、例えば、予め定義された書式に従って各予測画像の予測レポートを生成し、生成した予測レポートを読影レポートＤＢ１０４に登録してもよい。また例えば、生成した予測レポートを表示装置に表示させたり、診断支援装置１０に接続された他の情報処理装置に送信したりしてもよい。ステップＳ４２の後、図８の例の手順の処理は終了する。
【００５６】
なお、以上で説明した図８の例の予測画像生成処理では、ステップＳ３４で検索された類似画像のそれぞれを初期状態とする変形ベクトルのすべてを変形モデルＤＢ１１２から取得し、これらの変形ベクトルに含まれる経過時間のすべてに関し、それぞれ予測画像を求める。予測画像生成処理の他の例では、変形ベクトルを取得する処理（ステップＳ３６）の前に、入力受付部１００において経過時間の指定を受け付け、ステップＳ３６で、各類似画像を初期状態とする変形ベクトルのうち、指定された経過時間を含む変形ベクトルだけを変形モデルＤＢ１１２から取得してもよい。この例において、ステップＳ３８以降の処理を上述と同様に行うと、指定された経過時間が経過した時点でのクエリ画像の撮影対象の状態を表す予測画像が生成されて出力される。
【００５７】
また、予測画像生成処理のさらに他の例では、生成した予測画像、当該予測画像の生成に用いた変形パラメータ、および当該変形パラメータの生成に用いた変形ベクトルなど、予測画像生成処理で求められる各種の情報を図示しないキャッシュ記憶装置に記憶しておいてもよい。この例では、ステップＳ３６〜ステップＳ４０の各処理において、取得対象または生成対象の情報がキャッシュ記憶装置に記憶済みであれば、その情報をキャッシュ記憶装置から取得すればよい。例えば、ステップＳ３４の検索結果の類似画像を初期状態とする変形ベクトルがキャッシュ記憶装置に記憶済みであれば、その変形ベクトルをキャッシュ記憶装置から読み出して変形パラメータの生成（ステップＳ３８）を行う。また例えば、ステップＳ３６で取得した変形ベクトルと同じ変形ベクトルから生成された変形パラメータがキャッシュ記憶装置に記憶済みであれば、変形パラメータの生成処理を省略して、キャッシュ記憶装置から読み出した変形パラメータを用いて予測画像の生成（ステップＳ４０）を行う。また、ステップＳ３８で生成すべき変形パラメータと同じ変形パラメータを用いて生成された予測画像がキャッシュ記憶装置に記憶済みである場合に、その予測画像をクエリ画像の予測画像としてステップＳ４２で出力し、ステップＳ３８，Ｓ４０を省略してもよい。キャッシュ記憶装置を利用すると、キャッシュ記憶装置を利用しない場合と比較して処理が高速化される。
【００５８】
図８の例の手順による予測画像生成処理の対象となったクエリ画像を用いて、過去病例ＤＢ１０２、読影レポートＤＢ１０４、特徴量ＤＢ１０８、および変形モデルＤＢ１１２の各データベースを更新してもよい。図１０は、各データベースを更新する処理の手順の例を示すフローチャートである。図１０の例の手順の処理は、例えば、図８の例の手順の処理の終了後に開始される。
【００５９】
図１０を参照し、まず、クエリ画像に新たな画像ＩＤが付与され、この新たな画像ＩＤと共に当該クエリ画像が過去病例ＤＢ１０２に登録される（ステップＳ５０）。
【００６０】
次に、ステップＳ５０で当該クエリ画像に付与された新たな画像ＩＤと関連づけて、図８のステップＳ３２で算出されたクエリ画像の特徴量を特徴量ＤＢ１０８に登録する（ステップＳ５２）。
【００６１】
ステップＳ５２の後、当該クエリ画像に関連づけて読影レポートＤＢ１０４に登録される各項目の情報を取得する（ステップＳ５４）。各項目の情報は、例えば、入力受付部１００においてユーザの入力を受け付けることで取得される。図２の例の読影レポートＤＢ１０４の場合、当該クエリ画像の撮影対象の患者の患者ＩＤ、当該患者の疾病の疾病ＩＤ、当該患者に対して行われた処置の処置ＩＤ、当該クエリ画像の撮影日、および当該クエリ画像に関する医師の所見の各項目の内容が取得される。
【００６２】
ステップＳ５４で取得された情報は、ステップＳ５０で当該クエリ画像に付与された新たな画像ＩＤに関連づけて読影レポートＤＢ１０４に登録される（ステップＳ５６）。
【００６３】
以上で説明したステップＳ５０〜ステップＳ５６の処理により、過去病例ＤＢ１０２、読影レポートＤＢ１０４、および特徴量ＤＢ１０８が更新される。以下、変形モデルＤＢ１１２を更新するステップＳ５８〜ステップＳ６２の処理を説明する。
【００６４】
変形モデル生成部１１０は、まず、クエリ画像の撮影時期よりも前に撮影された画像であって、クエリ画像と同じ患者を撮影した画像を過去病例ＤＢ１０２から取得する（ステップＳ５８）。本実施形態の例では、ステップＳ５８で、変形モデル生成部１１０は、読影レポートＤＢ１０４を参照し、クエリ画像の撮影日よりも前の撮影日に関連づけられた画像ＩＤのうち、クエリ画像と同じ患者ＩＤ、疾病ＩＤ、および処置ＩＤの組合せに関連づけられた画像ＩＤを取得する。そして、取得した画像ＩＤの画像を過去病例ＤＢ１０２から取得する。
【００６５】
次に、変形モデル生成部１１０は、ステップＳ５８で取得した画像のそれぞれを初期状態の画像とし、当該初期状態の画像からクエリ画像への変化を表す変形ベクトルを生成する（ステップＳ６０）。変形ベクトルの生成の処理の詳細は、図７のステップＳ１８を参照して説明したのと同様であってよい。
【００６６】
ステップＳ６０の後、変形モデル生成部１１０は、生成した変形ベクトルを変形モデルＤＢ１１２に登録する（ステップＳ６２）。すなわち、変形モデルＤＢ１１２において、ステップＳ５８で取得した画像のそれぞれを初期状態とするレコードにステップＳ６０で求めた変形係数Ｐおよび経過時間ｔの組を追加登録する。
【００６７】
図１０の例の手順により、クエリ画像を過去の画像として各種のデータベースが更新され、更新後の各種データベースの内容が、その後の他のクエリ画像についての予測画像の生成に用いられる。
【００６８】
予測画像の生成の後、当該予測画像に係る経過時間が経過したときに、実際に同一患者の画像が撮影される場合がある。このとき撮影された画像を用いて、予測画像の予測の精度を評価し、この評価結果をその後の予測画像生成処理に反映させてもよい。例えば、図８のステップＳ３８において、変形ベクトル中の変形係数を単純に平均して変形パラメータを生成する代わりに、前述の評価結果に基づいて各変形ベクトル中の変形係数を重み付けし、変形係数の加重平均を変形パラメータとしてもよい。変形係数の重みは、例えば、図１１に示す手順により求められる。
【００６９】
図１１を参照し、入力受付部１００において、画像および当該画像に関する情報を取得する（ステップＳ７０）。本例では、画像に関する情報として、患者ＩＤ、疾病ＩＤ、処置ＩＤ、および撮影日を取得するものとする。
【００７０】
次に、ステップＳ７０で取得した画像に対応する予測画像を特定する（ステップＳ７２）。ステップＳ７２の処理は、例えば、次の手順で実行される。まず、ステップＳ７０で取得した患者ＩＤ、疾病ＩＤ、および処置ＩＤの組合せに関連づけられた画像ＩＤと、その撮影日と、を読影レポートＤＢ１０４から取得する。そして、取得した画像ＩＤと、その撮影日からステップＳ７０で取得した撮影日までの経過時間と、の組に関連づけて予測画像ＤＢ１１８に登録された予測画像ＩＤを特定する。特定された予測画像ＩＤの予測画像は、ステップＳ７０で取得した画像に対応する予測画像である。なお、対応する予測画像をユーザが把握している場合、上述のステップＳ７２の処理の代わりに、ユーザによる予測画像ＩＤの入力を受け付けてもよい。
【００７１】
対応する予測画像を特定すると、ステップＳ７０で取得した画像を用いて、ステップＳ７２で特定した予測画像の生成に用いられた変形ベクトルを評価する（ステップＳ７４）。ステップＳ７４の処理の手順の例を以下で説明する。まず、当該予測画像の生成に用いられた変形ベクトルを特定する。予測画像の生成に用いられた変形ベクトルは、例えば、当該予測画像の生成時のクエリ画像（当該予測画像に関連づけて予測画像ＤＢ１１８に登録された画像ＩＤの画像）の類似画像を過去病例ＤＢ１０２から検索し、検索した類似画像を初期状態とし、当該予測画像に関連づけられた経過時期を含む変形ベクトルを変形モデルＤＢ１１２から検索することで特定すればよい。あるいは、予測画像生成処理（図８）において、生成した予測画像に関連づけて、この予測画像の生成に用いた変形ベクトルを予測画像ＤＢ１１８に記憶しておけば、ステップＳ７４では、予測画像ＤＢ１１８から対応する予測画像の生成に用いられた変形ベクトルを取得するだけでよい。予測画像の生成に用いられた変形ベクトルが特定されると、各変形ベクトルについて、初期状態の画像を過去病例ＤＢ１０２から読み出す。読み出した画像を、当該変形ベクトルにおける変形係数で定義される変換関数を用いて変換し、その変換後の画像の特徴量を求める。また、ステップＳ７０で取得した画像の特徴量も求め、ステップＳ７０で取得した画像の特徴量と、上述の変換後の画像の特徴量と、の間の類似度を求める。この類似度を変換後の画像に係る変形ベクトルの評価値とする。
【００７２】
予測画像の生成に用いられた各変形ベクトルに関連づけて、ステップＳ７４で求めた各変形ベクトルの評価に基づく重みを変形モデルＤＢ１１２に登録する（ステップＳ７６）。重みの値は、ステップＳ７４で求めた評価が高いほど大きな値になるように決定すればよい。例えば、上述のステップＳ７４の処理手順の例の場合、ステップＳ７０で取得した画像の特徴量と、各変形ベクトルについての変換後の画像の特徴量と、の間の類似度が大きいほど、当該変形ベクトルに関連づけられる重みの値を大きくすればよい。この類似度が大きいほど、当該変形ベクトルの変形係数は、クエリ画像の撮影時期から当該変形ベクトルの経過時間が経過したときに実際に撮影された画像により類似した画像へクエリ画像を変換する変換関数を定義するパラメータであると言える。ステップＳ７６の後、図１１の例の手順の処理は終了する。
【００７３】
本発明の実施の形態は、以上で説明した各種の実施形態および変形例に限定されない。例えば、診断支援装置１０が備える各種のデータベースの具体的な態様は、上述した例と異なっていてよい。例えば、各データベースにおける画像ＩＤの登録を省略し、患者ＩＤと撮影日との組を画像の識別情報として用いてもよい。また例えば、読影レポートＤＢ１０４において、図２に例示する項目の他に、当該患者に対して行われた検査の種類とその結果などを登録しておいてもよい。また、過去病例ＤＢ１０２、読影レポートＤＢ１０４、および特徴量ＤＢ１０８のうちの２以上のデータベースを１つのデータベースとして纏めてもよい。
【００７４】
また、上述の実施形態では、変換関数Ｔとして、式（１）のＴｇｌｏｂａｌおよび式（２）のＴｌｏｃａｌにより表される変換関数Ｔ＝Ｔｇｌｏｂａｌ＋Ｔｌｏｃａｌを用いるが、他の形式で表される変換関数Ｔを用いてもよい。１つの画像を他の画像に変換する関数を表し、１以上のパラメータにより定義される関数であれば、上述と異なる形式の変換関数Ｔを用いて、上述の説明と同様の処理手順により変形モデルの生成および予測画像の生成を実行してよい。また、上述の実施形態では、変換関数Ｔは、患者を撮影した画像における病変領域の画像データを変換する関数であるが、患者を撮影した画像の全体を変換する関数を変換関数Ｔとして用いてもよい。
【００７５】
また、上述の実施形態では、初期状態の画像と同じ患者ＩＤ、疾病ＩＤ、および処置ＩＤの組合せに関連づけられた画像について変形ベクトルを生成するが、少なくとも患者ＩＤが初期状態の画像と同じであれば、疾病ＩＤまたは処置ＩＤが異なる画像について変形ベクトルを生成してもよい。
【００７６】
以上に例示した診断支援装置１０は、例えば、図１２に示すようなハードウエア構成を備えるコンピュータにて上述の診断支援装置１０の各部の機能又は処理内容を記述したプログラムを実行することにより実現される。図１２の例のコンピュータは、ＣＰＵ（中央演算装置）８０、画像処理に関する演算を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８１、メモリ（一次記憶）８２、各種Ｉ／Ｏ（入出力）インタフェース８４等がバス８６を介して接続された回路構成を有する。また、バス８６に対し、例えばＩ／Ｏインタフェース８４経由で、ハードディスクドライブ（ＨＤＤ）８８やＣＤやＤＶＤ、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体を読み取るためのディスクドライブ９０が接続される。このようなドライブ８８又は９０は、メモリに対する外部記憶装置として機能する。実施形態の処理内容が記述されたプログラムがＣＤやＤＶＤ等の記録媒体を経由して、又はネットワーク経由で、ＨＤＤ８８等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがメモリに読み出されＣＰＵまたはＧＰＵにより実行されることにより、実施形態の処理が実現される。ＧＰＵは、類似画像の検索や画像の特徴量の算出など、画像処理に関する演算を担当する。ＣＰＵとＧＰＵとで、画像処理に関する演算を並列化して行ってもよい。
【００７７】
なお、以上の説明では、診断支援装置１０を１台のコンピュータにより実現する例の実施形態を説明したが、診断支援装置１０の上述の例の各種の機能を複数のコンピュータに分散させて実現してもよい。
【符号の説明】
【００７８】
１０ 診断支援装置、８０ ＣＰＵ、８１ ＧＰＵ、８２ メモリ、８４ Ｉ／Ｏインタフェース、８６ バス、８８ ＨＤＤ、９０ ディスクドライブ、１００ 入力受付部、１０２ 過去病例ＤＢ、１０４ 読影レポートＤＢ、１０６ 特徴量算出部、１０８ 特徴量ＤＢ、１１０ 変形モデル生成部、１１２ 変形モデルＤＢ、１１４ 類似画像検索部、１１６ 予測画像生成部、１１８ 予測画像ＤＢ、１２０ 出力処理部。
【特許請求の範囲】
【請求項１】
処理対象の画像である対象画像の特徴を表す特徴量を算出するステップと、
過去に撮影された患者の画像のそれぞれの特徴を表す特徴量を記憶した特徴量記憶手段を参照し、前記対象画像の前記特徴量と前記患者の画像のそれぞれの前記特徴量とを用いて前記対象画像に類似する前記患者の画像を特定するステップと、
前記過去に撮影された患者の画像を用いて求められた、患者の画像の時間による変化を表す情報を記憶した変化情報記憶手段から、前記特定するステップで特定された画像の時間による変化を表す情報を取得し、取得した情報を用いて画像の変換関数を生成するステップと、
前記生成するステップで生成された変換関数を用いて前記対象画像を変換した画像を出力するステップと、
をコンピュータに実行させるためのプログラム。
【請求項２】
前記変化情報記憶手段は、患者を撮影した第一の画像と、当該第一の画像の撮影時期以降に当該患者を撮影した第二の画像に変換する変換関数を定めるパラメータであって当該第一の画像および当該第二の画像を用いて算出されたパラメータと、当該第一の画像の撮影時期から当該第二の画像の撮影時期までの経過時間と、を関連づけて記憶し、
前記特徴量記憶手段は、前記第一の画像のそれぞれの前記特徴量を記憶し、
前記特定するステップにおいて、前記対象画像に類似する前記第一の画像が特定され、
前記画像の変換関数を生成するステップにおいて、前記特定するステップで特定された第一の画像に関連づけられたパラメータであって共通の前記経過時間に関連づけられたパラメータを前記変化情報記憶手段から取得し、取得したパラメータを用いて前記画像の変換関数を生成する、
ことを特徴とする請求項１に記載のプログラム。
【請求項３】
前記対象画像および前記第一の画像のそれぞれの前記特徴量は、当該画像において病変を含む領域であると判定された病変領域の特徴を表し、
前記パラメータは、前記第一の画像における前記病変領域の画像を前記第二の画像における前記病変領域の画像に変換する変換関数を定めるパラメータである、
ことを特徴とする請求項２に記載のプログラム。
【請求項４】
患者と、患者を撮影した画像と、当該画像の撮影時期と、を関連づけて記憶した画像記憶手段に記憶された画像のうちの少なくとも１つを初期状態画像とし、当該初期状態画像の撮影時期以降に当該初期状態画像の患者を撮影した画像を前記画像記憶手段から取得し、取得した画像と前記初期状態画像とを用いて、前記初期状態画像を当該取得した画像に変換する変換関数を定めるパラメータを算出するステップと、
前記初期状態画像を前記第一の画像とし、前記パラメータを算出するステップで前記画像記憶手段から取得した画像を前記第二の画像として、前記第一の画像とした前記初期状態画像と、前記パラメータを算出するステップで算出したパラメータと、前記初期状態画像の撮影時期から前記第二の画像とした画像の撮影時期までの経過時間と、を互いに関連づけて前記変化情報記憶手段に対して出力するステップと、
を前記コンピュータにさらに実行させる、
ことを特徴とする請求項２または３に記載のプログラム。
【請求項５】
前記対象画像の撮影時期から、前記画像の変換関数を生成するステップで用いられたパラメータに共通して関連づけられた経過時間が経過したときに前記対象画像に係る患者を撮影した画像である結果画像を取得するステップと、
前記画像の変換関数を生成するステップで用いられたパラメータを前記結果画像に基づいて評価して求めた評価値を当該パラメータに関連づけて前記変化情報記憶手段に対して出力するステップと、
をさらに前記コンピュータに実行させ、
前記画像の変換関数を生成するステップにおいて、前記取得したパラメータの前記評価値をさらに用いて前記画像の変換関数を生成する、
ことを特徴とする請求項２から４のいずれか１項に記載のプログラム。
【請求項６】
処理対象の画像である対象画像の特徴を表す特徴量を算出する算出手段と、
過去に撮影された患者の画像のそれぞれの特徴を表す特徴量を記憶した特徴量記憶手段を参照し、前記対象画像の前記特徴量と前記患者の画像のそれぞれの前記特徴量とを用いて前記対象画像に類似する前記患者の画像を特定する特定手段と、
前記過去に撮影された患者の画像を用いて求められた、患者の画像の時間による変化を表す情報を記憶した変化情報記憶手段から、前記特定手段が特定した画像の時間による変化を表す情報を取得し、取得した情報を用いて画像の変換関数を生成する生成手段と、
前記生成手段が生成した変換関数を用いて前記対象画像を変換した画像を出力する出力手段と、
を備えることを特徴とする情報処理装置。
【請求項１】
処理対象の画像である対象画像の特徴を表す特徴量を算出するステップと、
過去に撮影された患者の画像のそれぞれの特徴を表す特徴量を記憶した特徴量記憶手段を参照し、前記対象画像の前記特徴量と前記患者の画像のそれぞれの前記特徴量とを用いて前記対象画像に類似する前記患者の画像を特定するステップと、
前記過去に撮影された患者の画像を用いて求められた、患者の画像の時間による変化を表す情報を記憶した変化情報記憶手段から、前記特定するステップで特定された画像の時間による変化を表す情報を取得し、取得した情報を用いて画像の変換関数を生成するステップと、
前記生成するステップで生成された変換関数を用いて前記対象画像を変換した画像を出力するステップと、
をコンピュータに実行させるためのプログラム。
【請求項２】
前記変化情報記憶手段は、患者を撮影した第一の画像と、当該第一の画像の撮影時期以降に当該患者を撮影した第二の画像に変換する変換関数を定めるパラメータであって当該第一の画像および当該第二の画像を用いて算出されたパラメータと、当該第一の画像の撮影時期から当該第二の画像の撮影時期までの経過時間と、を関連づけて記憶し、
前記特徴量記憶手段は、前記第一の画像のそれぞれの前記特徴量を記憶し、
前記特定するステップにおいて、前記対象画像に類似する前記第一の画像が特定され、
前記画像の変換関数を生成するステップにおいて、前記特定するステップで特定された第一の画像に関連づけられたパラメータであって共通の前記経過時間に関連づけられたパラメータを前記変化情報記憶手段から取得し、取得したパラメータを用いて前記画像の変換関数を生成する、
ことを特徴とする請求項１に記載のプログラム。
【請求項３】
前記対象画像および前記第一の画像のそれぞれの前記特徴量は、当該画像において病変を含む領域であると判定された病変領域の特徴を表し、
前記パラメータは、前記第一の画像における前記病変領域の画像を前記第二の画像における前記病変領域の画像に変換する変換関数を定めるパラメータである、
ことを特徴とする請求項２に記載のプログラム。
【請求項４】
患者と、患者を撮影した画像と、当該画像の撮影時期と、を関連づけて記憶した画像記憶手段に記憶された画像のうちの少なくとも１つを初期状態画像とし、当該初期状態画像の撮影時期以降に当該初期状態画像の患者を撮影した画像を前記画像記憶手段から取得し、取得した画像と前記初期状態画像とを用いて、前記初期状態画像を当該取得した画像に変換する変換関数を定めるパラメータを算出するステップと、
前記初期状態画像を前記第一の画像とし、前記パラメータを算出するステップで前記画像記憶手段から取得した画像を前記第二の画像として、前記第一の画像とした前記初期状態画像と、前記パラメータを算出するステップで算出したパラメータと、前記初期状態画像の撮影時期から前記第二の画像とした画像の撮影時期までの経過時間と、を互いに関連づけて前記変化情報記憶手段に対して出力するステップと、
を前記コンピュータにさらに実行させる、
ことを特徴とする請求項２または３に記載のプログラム。
【請求項５】
前記対象画像の撮影時期から、前記画像の変換関数を生成するステップで用いられたパラメータに共通して関連づけられた経過時間が経過したときに前記対象画像に係る患者を撮影した画像である結果画像を取得するステップと、
前記画像の変換関数を生成するステップで用いられたパラメータを前記結果画像に基づいて評価して求めた評価値を当該パラメータに関連づけて前記変化情報記憶手段に対して出力するステップと、
をさらに前記コンピュータに実行させ、
前記画像の変換関数を生成するステップにおいて、前記取得したパラメータの前記評価値をさらに用いて前記画像の変換関数を生成する、
ことを特徴とする請求項２から４のいずれか１項に記載のプログラム。
【請求項６】
処理対象の画像である対象画像の特徴を表す特徴量を算出する算出手段と、
過去に撮影された患者の画像のそれぞれの特徴を表す特徴量を記憶した特徴量記憶手段を参照し、前記対象画像の前記特徴量と前記患者の画像のそれぞれの前記特徴量とを用いて前記対象画像に類似する前記患者の画像を特定する特定手段と、
前記過去に撮影された患者の画像を用いて求められた、患者の画像の時間による変化を表す情報を記憶した変化情報記憶手段から、前記特定手段が特定した画像の時間による変化を表す情報を取得し、取得した情報を用いて画像の変換関数を生成する生成手段と、
前記生成手段が生成した変換関数を用いて前記対象画像を変換した画像を出力する出力手段と、
を備えることを特徴とする情報処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１８２９６０（Ｐ２０１１−１８２９６０Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５１５７６（Ｐ２０１０−５１５７６）
【出願日】平成２２年３月９日（２０１０．３．９）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月９日（２０１０．３．９）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]