生体内画像コントラストを強化するための方法
【課題】 見ようとする特徴に最適なより広い範囲の色に合わせて提示した画像の色コントラストを大きくすることによって、画像を強化すること。
【解決手段】 本方法は、更に、画像又は画像の一部、例えば、自律生体内装置によって取り込まれた生体内画像のコントラストを強くする。表示装置を備えたユーザインターフェイスは、通常表示で又は選択画像を更に際立たせる表示を可能にする色強化表示のいずれかで、生体内撮像装置で取り込む選択画像を見る選択肢をユーザに提供する。
【解決手段】 本方法は、更に、画像又は画像の一部、例えば、自律生体内装置によって取り込まれた生体内画像のコントラストを強くする。表示装置を備えたユーザインターフェイスは、通常表示で又は選択画像を更に際立たせる表示を可能にする色強化表示のいずれかで、生体内撮像装置で取り込む選択画像を見る選択肢をユーザに提供する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、体腔等を撮像するための生体内装置及び方法に関する。特に、本発明は、自律型生体内撮像装置によって表示される生体内データを提示するための生体内システムにおける方法及び装置に関する。
【背景技術】
【0002】
撮像やpH検知等の生体内検知を行うのに有用である装置が知られている。飲み込み可能な、即ち、経口摂取可能なカプセル又は他の装置等の自律型生体内検知装置は、体腔中を移動し、移動する際、検知を行う。撮像装置等の自律型生体内検知装置には、例えば、生体内撮像装置が胃腸(GI)管を通過している間に、GI管腔等の人体内腔又は管腔から画像を得るための撮像装置を含む。撮像装置は、例えば、光学系や、オプションとして、送信機やアンテナと共に用いられる。これらの装置の中には、無線接続を用いて、画像データを送信するものがある。人体内の導管又は体腔の生体内検知のための、また、情報(例えば、画像情報、pH情報、温度情報、電気的インピーダンス情報、圧力情報等)を検知し収集するための他の装置、システム及び方法が、当分野で知られている。
【0003】
腫瘍、外傷又は潰瘍等の病変を見るのは、見ようとする胃腸管及び特徴又は病変が、極めて類似した背景色を有するという事実によって複雑になる。
生体内画像コントラストを強化するための異なる方法が、存在する。1つの方法は、特定の階調範囲を特定の色値に割り当てることによって、疑似色で階調デジタル画像を描くことである。この技法は、人間の目が、明暗の変化よりも色調の違いを良好に識別できることから、中間調画像における特定の対象領域を強調表示するのに有用である。疑似色画像処理は、多着色試験片を利用して異なる波長で得られた合成単色画像を表示する蛍光顕微鏡法に広く用いられている。コラージュ集合の個々の蛍光体画像に割り当てられる色は、蛍光染料によって自然に放出されるものに色が近いことが多い。
【0004】
脈管画像を強化するための他の技法は、狭帯域撮像(NBI)であり、これは、光貫通の深さが、その波長に依存する(波長が短い光、例えば、青は、表面のみ貫通し、波長が長い光、例えば、赤は、深い層まで貫通する)現象に基づき、微妙な組織構造の視認性を改善する光学フィルタ技術である。1つのNBIシステムでは、白色光が、回転式赤−緑−青フィルタを透過し、順次、RGB照明で粘膜を照射し、そして、反射光を別々に検出し、映像プロセッサで単一のカラー画像に一体化する。他のNBIシステムでは、2つの離散的帯域の光、1つは415nmで青、もう1つは540nmの緑を用いる。狭帯域の青色光は、表面の毛細管網を表示し、緑色光は、上皮下管を表示し、合成すると、組織表面の極端な高コントラスト画像を提示する。例えば、モニタ上のNBI画像では、表面の毛細管は、茶色で表示され、表面直下の血管は、シアンで表示される。
【0005】
更に、日本のさいたま市のフジノン社の全額出資の子会社であるニュージャージー州のフジノン社によって開発されたFUJIインテリジェント・カラー・強化(FICE)は、スペクトル推定技術に基づく内視鏡診断システムを提供する。このシステムでは、プロセッサは、普通の内視鏡画像を映像プロセッサから取り、表面部分の組織特徴付けや毛細管方位の観察をより鮮明にできるように、与えられた専用の波長の光の画像を算術処理し、推定し、生成する。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、一実施形態において、自律型生体内撮像装置によって表示される生体内データの提示に関し、生体内で生成された画像の色コントラストを強化する方法を導入する。
【課題を解決するための手段】
【0007】
幾つかの実施形態によれば、本方法は、当分野における既知の方法を補完するために用いられる。幾つかの実施形態によれば、本方法は、生体内画像ではない他の種類の画像、例えば、大部分青みがかった灰色の霧深い通りの画像又は大部分緑がかった牧場の風景画等、全体的に均一な色合い又は色調を有する画像の画質を高めるために用いられる。幾つかの実施形態によれば、本方法は、画像色コントラストを強化することによって、画像の不明瞭なオブジェクト又は特徴を更に目立つようにするために用いられる。画像において強化された色は、それらの自然な色相と似ている場合もそうでない場合もある。
【0008】
本発明の幾つかの実施形態は、強化した色コントラストを有する取り込まれた生体内データストリームの固定グラフィック表現を生成し表示するための方法を提供する。
一実施形態において、本明細書に記載したものは、自律型生体内撮像装置によって得られた画像を、画素色特性を拡張又は拡大することによって、強化するための方法であり、本方法は、見ようとするものを強調表示する、又は、見ようとするものに最適な強化画像を提示する。
【0009】
本発明の他の実施形態において、本明細書で提供されたものは、撮像装置によって取り込まれた特徴を表す色拡張画像を構築するためにコンピュータが実行する方法である。第1実施形態において、本方法には、撮像装置で特徴を見る段階と、第1色空間、例えば、元の又は自然な色空間における特徴の画像を取り込む段階と、画像画素色特性を第2色空間にマッピングする段階と、第2色空間において画像の色分布を得る段階と、第2色空間の有効な値に渡って色分布を拡張又は拡大して、拡張色分布を得る段階と、拡張色分布を用いて、第1色空間における新しい画素特性を演算して、例えば、色強化画像を得る段階と、が含まれる。幾つかの本発明の実施形態によれば、強化された画像は、元の画像より良い色コントラストを提示し得る。幾つかの実施形態によれば、第1色空間は、RGB色空間であってよい。
【0010】
他の実施形態において、画像の色変換を決定する段階には、画素色特性を第2色空間にマッピングする段階と、第2色空間における画像の色分布を得る段階、例えば、それを推定する段階と、第2色空間の有効な値に渡って色分布を拡張して、拡張色分布を得る段階と、拡張色分布を用いて、第1色空間における新しい画素色特性を計算する段階と、を含む。幾つかの実施形態によれば、色分布の元の平均値は、例えば、画像、画像の選択した画素の一部、又は画像ストリームの以前の画像に基づき計算される。幾つかの実施形態によれば、拡張色分布の新しい平均値は、例えば、画像、画像の一部の選択した画素、画像ストリームの以前の画像、又は所定の値に基づき決定することができ、また、新しい画素色特性は、新しい平均値に基づき計算される。
【0011】
幾つかの実施形態によれば、第2色空間は、必要ではない。受信画像は、元の色空間に取り込むことができ、また、画像の新しい画素特性は、同じ色空間において演算し得る。色分布は、更に、同じ色空間において拡張される。幾つかの実施形態によれば、画像の色の範囲又は画像の一部を拡張する色変換を決定することができ、また、色拡張画像は、色変換を用いて構成し得る。変換後の画像の色は、それらの自然な(又は元の)色相を保持する場合もそうでない場合もある。幾つかの実施形態によれば、画像の色変換を決定する段階には、画像の色分布を得る段階と、色空間の有効な値に渡って色分布を拡張して、拡張色分布を得る段階と、拡張色分布を用いて、新しい画素色特性を計算する段階とを含む。
【0012】
本発明の他の実施形態において、本明細書に提供したものは、自律型生体内装置によって胃腸管において捕捉された生体内画像の色コントラストを高くする方法である。本方法には、自律型生体内装置で胃腸管内の対象領域を見る段階と、胃腸管の画像を取り込む段階と、取り込んだ画像から色拡張画像を構築する段階と、が含まれる。色拡張は、画像の色コントラストを強化する。更なる実施形態において、色拡張は、画像の一部に実施できるが、これが意味することは、本方法は、画像の一部だけを処理し、残りの部分をそのままにしておくことである。
【0013】
更なる実施形態において、本発明は、選択画像の更に際立つ表示を可能にするために、通常表示又は色強化表示のいずれかで、生体内撮像装置によって取り込んだ選択画像を見る選択肢をユーザに与える表示装置を備えたユーザインターフェイスを提供する。
【0014】
本発明の実施形態は、様々な他の利益及び/又は利点を提供する。
本発明の他の特徴及び利点は、以下の詳細な説明例及び図から明らかになる。しかしながら、詳細な説明及び特定の例は、本発明の好適な実施形態を示すが、説明の一例としてのみ与えられるものであり、これは、本発明の技術思想及び範囲内における様々な変更及び修正は、この詳細な説明から当業者には明らかになるためであることを理解されたい。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施形態による生体内システムの概略説明図。
【図2A】生体内撮像装置によって取り込まれた様々な画像の通常のフルカラー表示。
【図2B】図2Aの画像の色拡張表示。
【図3A】生体内撮像装置によって取り込まれた様々な画像の通常のフルカラー表示。
【図3B】図3Aの画像の色拡張表示。
【図4A】生体内撮像装置によって取り込まれた様々な画像の通常のフルカラー表示。
【図4B】図4Aの画像の色拡張表示。
【図5A】生体内撮像装置によって取り込まれた様々な画像の通常のフルカラー表示。
【図5B】図5Aの画像の色拡張表示。
【図6A】生体内撮像装置によって取り込まれた様々な画像の通常のフルカラー表示。
【図6B】図6Aの画像の色拡張表示。
【図7A】生体内撮像装置によって取り込んだ画像の一部の画素の色座標のヒストグラム。
【図7B】本発明の方法を用いて色拡張した後の一部の画像画素の色座標のヒストグラム。
【図8】本発明の一実施形態による方法を示す概略ブロック図。
【発明を実施するための形態】
【0016】
特許又は出願ファイルには、カラーで制作した少なくとも1つの図面が含まれる。カラーの図面を備えた本特許又は特許出願公報の写しは、請求及び必要な料金の支払いに応じて、米国特許商標庁が提供する。
【0017】
本発明によるシステム、装置、及び方法の原理及び動作は、図面及び以下の説明を参照するとより良く理解し得るが、これらの図面は、限定するためではなく例示の目的のためだけに提示するものであることを理解されたい。 表記を簡単明瞭にするために、図示した要素は、必ずしも縮尺通りに描かれているとは限らないことを認識されたい。例えば、理解しやすいように、幾つかの要素の寸法は、他の要素に対して誇張しているものがある。更に、適切であると思われる場合、参照数字は、図の間で繰り返し用いて、対応する又は類似の要素を示す場合がある。
【0018】
以下の詳細な説明では、本発明を充分に理解できるように、多くの具体的な詳細について記載する。しかしながら、本発明は、これらの具体的な詳細無しで実践し得ることを当業者は理解されたい。その他、公知の方法、手順、及び構成要素については、本発明が不明瞭になるのを避けるために、詳細に記載していない。
【0019】
本発明の幾つかの実施形態は、例えば、人体の外側から体腔に、例えば、胃腸(GI)管に挿入される生体内装置に関係する。幾つかの実施形態は、通常使い捨て又は部分的に使い捨ての検出及び/又は解析装置に関係する。幾つかの実施形態は、受動的に又は能動的に体腔、例えば、胃腸(GI)管を、例えば、自然のぜん動運動によって推進する、通常飲み込み可能な生体内装置に関係する。幾つかの実施形態は、他の体腔、例えば、血管、生殖管等を通過する生体内検知装置に関係する。生体内装置は、例えば、検知装置、撮像装置、診断装置、検出装置、解析装置、治療装置、又はそれらの組合せであってよい。幾つかの実施形態において、生体内装置には、イメージセンサ又は撮像装置及び/又は他の適切な構成要素を含む。本発明の幾つかの実施形態は、必ずしも生体内撮像に限らず、他の撮像装置に関係する。
【0020】
例えば、生体内検知装置、受信システム及び/又は表示システムを含む本発明の幾つかの実施形態による装置、システム、及び方法は、イッダン(Iddan)らの米国特許第5,604,531号明細書、表題「生体内ビデオカメラシステム」に記載された実施形態、及び/又はイッダンらの米国特許第7,009,634号明細書、表題「生体内撮像用装置」と同様であるが、これら全てを本明細書にそれら全体について引用・参照する。
【0021】
本明細書に記載した装置及びシステムは、他の構成及び/又は組の構成要素を有する。上記公報に記載されたもの等、例えば、ワークステーションにおける、例えば、外部受信機/記録計ユニット、プロセッサ及びモニタは、本発明の幾つかの実施形態に用いるのに適することがある。本明細書に記載した装置及びシステムは、他の構成及び/又は他の組の構成要素を有する。例えば、本発明は、内視鏡、針、ステント、カテーテル等を用いて、実践される。幾つかの生体内装置は、カプセル形状、又は、他の形状、例えば、ピーナッツ形状又は筒状、球形、円錐形、又は他の適切な形状を有する。
【0022】
本発明の幾つかの実施形態には、例えば、通常飲み込み可能な生体内装置を含む。他の実施形態において、生体内装置は、飲み込み可能及び/又は自律型である必要はなく、また、他の形状又は構造を有してよい。幾つかの実施形態は、様々な人体管腔、例えば、GI管、血管、尿管、生殖管等に用いられる。
【0023】
生体内装置の実施形態は、通常、自律型であり、また、通常、自己完結型である。例えば、生体内装置は、カプセルもしくは他の一つのまとまったものであるか又はそれを含み、この場合、全ての構成要素が、容器、筐体、又は殻内に実質的に含まれ、また、生体内装置は、例えば、受電又は情報送信用の何らかの配線やケーブルを必要としない。生体内装置は、外部の受信及び表示システムと通信を行い、データ表示、制御、又は他の機能を提供する。例えば、電源は、内部バッテリもしくは内部電源によって又は有線もしくは無線受電システムを用いて、提供される。他の実施形態は、他の構成及び能力を有する。例えば、構成要素は、多数のサイト又はユニットに分散し、また、制御情報又は他の情報は、外部ソースから受信される。
【0024】
本発明の幾つかの実施形態に基づく装置、システム、及び方法は、例えば、人体に挿入されるか又は人が飲み込むことができる装置と共に用いられる。しかしながら、本発明の実施形態は、この点において限定されず、例えば、非人体又は動物の体に挿入し得る又はそれが飲み込み得る装置と共に用いてよい。本発明の他の実施形態は、生体内撮像装置と共に用いる必要はなく、デジタルカメラ又は仮想撮像装置等の他の種類の撮像装置によって得られた画像を強化するために用いてもよい。
【0025】
図1は、本発明の幾つかの実施形態に基づく生体内システムの概略を示す。本システムの1つ又は複数の構成要素は、本明細書に記載した装置及び/又は構成要素又は本発明の実施形態に基づく他の生体内装置と共に又はそれに連動して用いられる。
【0026】
幾つかの実施形態において、本システムには、センサ、例えば、撮像装置146、1つ又は複数の照射源142、電源345、及び送信機141を有する装置140を含む。幾つかの実施形態において、装置140は、飲み込み可能なカプセルを用いて実現されるが、他の種類の装置又は適切な実施例も用いられる。患者の体の外には、例えば、外部受信機/記録計112(例えば、1つ又は複数のアンテナ又はアンテナアレイを含む又はそれに連動するもの)、例えば、メモリ、データベース等の1つ又は複数もしくは他の記憶システムであるか又はそれを含む記憶装置119、プロセッサ114、及びモニタ118がある。幾つかの実施形態において、例えば、プロセッサ114、記憶装置119及び/又はモニタ118は、ワークステーション117、例えば、コンピュータ又はコンピュータ処理プラットホームとして実現される。
【0027】
送信機141は、電波を用いて動作するが、装置140が、内視鏡であるか又はそれに含まれる場合等の幾つかの実施形態では、送信機141は、例えば、電線、光ファイバ及び/又は他の適切な方法を介して、データを送受信する。他の既知の無線送信方法を用いてもよい。送信機141には、例えば、送信機モジュールもしくはサブユニット及び受信機モジュールもしくはサブユニット、又は一体化送受信機もしくは送信機・受信機を含む。
【0028】
装置140は、通常、自律型飲み込み可能カプセルであるか又はそれを含むが、装置140は、他の形状を有してもよく、飲み込み可能又は自律型である必要はない。装置140の実施形態は、通常、自律型であり、また、通常、自己完結型である。例えば、装置140は、カプセル又は他のユニットであり、この場合、全ての構成要素が、容器又は殻内に実質的に含まれ、装置140は、例えば、受電する又は情報を送信する何らかの配線又はケーブルを必要としない。幾つかの実施形態において、装置140は、自律型であって、また、遠隔制御可能でなくてもよいが、他の実施形態では、装置140は、部分的に又は全体的に遠隔制御可能であってよい。
【0029】
幾つかの実施形態において、装置140は、外部受信及び表示システム(例えば、ワークステーション117又はモニタ118)と通信を行い、データの表示、制御、又は他の機能を提供する。例えば、電力は、内部バッテリ、内部電源、又は受電可能な無線システムを用いて、装置140に提供する。他の実施形態は、他の構成及び能力を有し得る。例えば、構成要素は、多数のサイト又はユニットに渡って分散してよく、また、制御情報又は他の情報は、外部情報源から受信し得る。
【0030】
幾つかの実施形態において、装置140には、生体内映像カメラ、例えば、撮像装置146を含むが、これは、装置140がGI管腔を通過する間、例えば、GI管の画像を取り込んで送信する。他の管腔及び/又は人体の体腔は、装置140によって撮像及び/又は検知し得る。幾つかの実施形態では、撮像装置146には、例えば、電荷結合デバイス(CCD)カメラ又は撮像装置、相補金属酸化物半導体(CMOS)カメラ又は撮像装置、デジタルカメラ、スチルカメラ、映像カメラ、又は他の適切な撮像装置、カメラ、又は画像取り込み構成要素を含む。
【0031】
幾つかの実施形態において、装置140内の撮像装置146は、送信機141と接続して動作する。送信機141は、画像を、例えば、外部送受信機又は受信機/記録計112に(例えば、1つ又は複数のアンテナを通して)送信するが、これは、そのデータをプロセッサ114及び/又は記憶装置119に送り得る。送信機141には、更に、制御能力を含み得るが、制御能力は、別の構成要素、例えば、プロセッサ147にも含まれる。送信機141には、画像データ、他の検知データ、及び/又は他のデータ(例えば、制御データ)を受信装置に送信できる任意の適切な送信機を含み得る。送信機141は、更に、信号/命令を、例えば、外部送受信機から受信できる。例えば、幾つかの実施形態において、送信機141には、超低電力無線周波数(RF)高帯域幅送信機を含むが、チップ・スケール・パッケージ(CSP)に設けられることもある。
【0032】
幾つかの実施形態において、送信機141は、アンテナ148を介して、送信/受信を行う。送信機141及び/又は装置140の他のユニット、例えば、コントローラ又はプロセッサ147には、制御能力を含むが、例えば、装置140を制御するための、装置140の動作モード又は設定を制御するための、及び/又は装置140内において制御動作又は処理動作を実施するための、1つ又は複数の制御モジュール、処理モジュール、回路及び/又は機能を含む。幾つかの実施形態によれば、送信機141には、例えば、アンテナ148を通して又は異なるアンテナもしくは受信要素を通して、信号を(例えば、患者の人体の外側から)受信し得る受信機を含む。幾つかの実施形態によれば、信号又はデータは、装置140における別の受信装置によって受信される。
【0033】
電源145には、1つ又は複数のバッテリ又は燃料電池を含む。例えば、電源145には、酸化銀電池、リチウム電池、高いエネルギ密度を有する他の適切な電気化学的電池等を含む。他の適切な電源を用いてもよい。例えば、電源145は、外部電源(例えば、電磁場発生器)から電力やエネルギを受けとってよく、これは、生体内装置140に電力やエネルギを送るために用いられる。
【0034】
幾つかの実施形態において、電源145は、装置140の内部にあり、例えば、受電するために、外部電源に結合する必要はない。電源145は、装置140の1つ又は複数の構成要素に電力を、連続的に、実質的に連続的に、非離散的にもしくはそのタイミングで、又は定期的に、断続的に、又はそうでなければ、非連続的に提供する。幾つかの実施形態では、電源145は、装置140の1つ又は複数の構成要素に電力を、例えば、必ずしも要求に応じてとは限らず又は必ずしもトリガをかけるイベントや外部起動や外部励起に応じてとは限らずに提供する。
【0035】
選択肢として、幾つかの実施形態において、送信機141には、処理ユニット又はプロセッサ又はコントローラを、例えば、撮像装置146によって生成された信号及び/又はデータを処理するために含む。他の実施形態において、処理ユニットは、装置140内において別個の構成要素、例えば、コントローラ又はプロセッサ147を用いて実現したり、又は撮像装置146、送信機141、もしくは他の構成要素の一体化部位として実現するが、必要とされないこともある。処理ユニットには、例えば、中央処理装置(CPU)、デジタル信号プロセッサ(DSP)、マイクロプロセッサ、コントローラ、チップ、マイクロチップ、コントローラ、回路網、集積回路(IC)、特定用途向け集積回路(ASIC)、又はいずれか他の適切な多目的又は特定のプロセッサ、コントローラ、回路網又は回路を含む。幾つかの実施形態において、例えば、処理ユニット又はコントローラは、送信機141に埋め込まれたり又はそれと一体化されたり、また、例えば、ASICを用いて実現される。
【0036】
プロセッサ114には、処理ユニット、プロセッサ又はコントローラが含まれる。処理ユニットには、例えば、CPU、DSP、マイクロプロセッサ、コントローラ、チップ、マイクロチップ、コントローラ、回路網、IC、ASIC、又はいずれか他の適切な多目的又は特定のプロセッサ、コントローラ、回路網又は回路が含まれる。
【0037】
幾つかの実施形態において、撮像装置146は、生体内画像の取り込みを、連続的に、実質的に連続的に、又は非離散的に、例えば、必ずしも要求に応じてとは限らず、必ずしもトリガをかけるイベントや外部起動や外部励起に応じてとは限らず、又は定期的に、断続的に、又はそうでない場合、非連続的に行われる。
【0038】
幾つかの実施形態において、送信機141は、画像データの送信を、連続的に、又は実質的に連続的に、例えば、必ずしも要求に応じてとは限らず、又は必ずしもトリガをかけるイベントや外部起動や外部励起に応じてとは限らずに、又は定期的に、断続的に、又はそうでない場合、非連続的に行われる。
【0039】
幾つかの実施形態において、装置140には、1つ又は複数の照射源142、例えば、1つ又は複数の発光ダイオード(LED)、“白色LED”、又は他の適切な光源を含む。照射源142は、例えば、撮像及び/又は検知される体腔又は空洞を照射する。例えば、1つ又は複数のレンズもしくは複合レンズ組立体、1つ又は複数の適切な光学フィルタ、又はいずれか他の適切な光学要素等の1つ又は複数の光学要素を含むオプションの光学系150は、選択肢として、装置140に含まれ、反射光を撮像装置146に合焦する際、照射光を合焦する際、及び/又は他の光処理動作を行う際にその役割を果たす。
【0040】
幾つかの実施形態において、装置140には、1つ又は複数の照射源142が含まれるが、この場合、照射源は、“白色LED”より狭い、或る実施形態では、赤、黄、青、緑、紫又はオレンジの色伝送範囲にある。或る実施形態において、照射源の色は、本明細書に記載する方法を用いて、検出しようとする病変に基づき選択される。或る実施形態では、照射源142によって放出される波長を狭くすると、本明細書に記載した方法を用いて、得られるコントラストの改善を支援する。従って、また、他の実施形態において、装置140には、照射源142が含まれるが、この場合、照射源は、1つ又は複数の発光ダイオードであり、約430〜530nm(青色LED)の波長でピークが約480nmの光を放出する。又は他の実施形態では、緑色LEDであり、約480〜580nmの波長でピークが約530nmの光を放出し、又は他の実施形態では、赤色LEDであり、約580〜680nmの波長でピークが約630nmの光を放出する。
【0041】
幾つかの実施形態において、照射源(1つ又は複数)142の照射は、連続的に、又は実質的に連続的に、例えば、必ずしも要求に応じてとは限らず、又は必ずしもトリガをかけるイベントや外部起動や外部励起に応じてとは限らずに行われる。幾つかの実施形態において、例えば、照射源(1つ又は複数)142の照射は、毎秒所定の回数(例えば、2回、3回又は4回)行い、また、実質的に連続的に、例えば、2時間、4時間、8時間等の時間の間、又は定期的に、断続的に、又はそうでない場合、非連続的に動作する。
【0042】
幾つかの実施形態において、装置140の構成要素は、例えば、カプセル形状、楕円形、又は他の適切な形状を有する筐体又は殻内に密閉される。筐体又は殻は、実質的に透明又は半透明であり、及び/又は実質的に透明な又は半透明な1つ又は複数の部位、窓又はドームを含む。例えば、装置140内の1つ又は複数の照射源(1つ又は複数)142は、透明又は半透明な部位、窓又はドームを通して体腔を照射し、体腔からの反射光は、例えば、透明又は半透明な部位、窓又はドームを通して、又はオプションとして、他の透明な又は半透明な部位、窓又はドームを通して、装置140に入射し、そして、光学系150及び/又は撮像装置146によって受光する。幾つかの実施形態において、例えば、光学系150及び/又は撮像装置146は、体腔から反射された光を、照射源(1つ又は複数)142が体腔を照射する際通過する同窓又はドームを通して受光する。
【0043】
データプロセッサ114は、装置140から外部受信機/記録計112を介して受信されたデータを解析し、そして、記憶装置119と通信を行い、例えば、フレームデータを記憶装置119との間で伝達する。データプロセッサ114は、解析されたデータをモニタ118に提供し、この場合、ユーザ(例えば、内科医)は、データを閲覧するか又は何らかの方法でそれを用いる。幾つかの実施形態では、データプロセッサ114は、リアルタイムの処理用に及び/又は後で実施される及び/又は閲覧される事後処理用に構成される。制御機能(例えば、遅延、タイミング等)が、装置140の外部にある場合、適切な外部装置(例えば、送信機又は送受信機を有するデータプロセッサ114又は外部受信機/記録計112等)は、1つ又は複数の制御信号を装置140に送信する。
【0044】
モニタ118には、例えば、1つ又は複数のスクリーン、モニタ画面、又は適切な表示ユニットを含む。モニタ118は、例えば、装置140によって取り込まれ、且つ/又は送信された1つ又は複数の画像又は画像のストリームを表示するが、例えば、GI管の画像又は他の撮像された体腔又は空洞の画像を表示する。更に又は他の選択肢として、モニタ118は、例えば、制御データ、場所又は位置データ(例えば、装置140の位置もしくは相対的な位置を記述するもしくは示すデータ)、方位データ、及び様々な他の適切なデータを表示する。幾つかの実施形態において、例えば、画像と(例えば、撮像され体腔を基準とした)その位置又は場所の双方は、モニタ118を用いて提示及び/又は記憶装置119を用いて記憶される。収集された画像データ及び/又は他のデータを記憶すし且つ/又は表示する他のシステム及び方法を用いてもよい。
【0045】
一例において、内科医又は医療専門家は、例えば、飲み込み可能なカプセル又は内視鏡等の他の生体内撮像装置によって取り込まれた生体内画像のストリームを受信する。内科医は、画像ストリームを慎重に見て、例えば、画像中で識別される何らかの異常又は病変があるかどうか判断する必要がある。色コントラスト強化無しでカプセルによって取り込まれた画像に見える異常は、色がその周辺の健康な組織と極めて似通っていることがある。従って、組織の健康な部位と、異常な部位即ち腫瘍又は外傷等の病変とを区別することは、難しい場合がある。更に、撮像装置によって取り込まれ、内科医に提示される画像は、極めて大量な場合がある。飲み込み可能なカプセルによって取り込まれた画像ストリームには、数千の画像を含む。例えば、撮像手順は、例えば、毎秒2乃至36フレームの一定の又は可変のフレーム速度で、例えば、8時間かかることがある。撮像手順は、例えば、患者又は実施される手順の種類に依存して、かかる時間が短かったり長かったりする。幾つかの例において、撮像の適応可能なフレーム速度を用いて、例えば、カプセルが移動していない場合又は極端にゆっくりと移動している場合、2分毎に1フレームを選択することができる。あるいは、カプセルが速く移動している場合、撮像速度は、例えば、毎秒36フレームまで大きくしてよい。幾つかの実施形態において、フレーム速度は、毎秒1/120フレームより小さく、又は、毎秒36フレームより大きくてよい。従って、数千〜数万の画像、例えば、50,000画像を含む画像ストリームが得られることがある。異常な組織部位、腫瘍又は他の病変等の胃腸管の異常は、ストリームの数枚の画像だけに出現する。
【0046】
一例において、健康な組織と比較した異常部の色の違いは、極わずかなことがあり、例えば、患部組織の色は、健康な組織よりわずかに赤みがかっていることがある。他の例では、患部組織周辺の領域の色だけが、健康な組織より暗い又は少し明るい色であることがある。更に、患部組織の色は、赤とは異なり、例えば、もっと白っぽい又はもっと青みを帯びていることがある。従って、周辺の健康な組織の色と比較した異常部の色との間の差異を強調表示するか又はそうでない場合、その差異を内科医に(例えば、本発明の実施形態によって可能にし得るように、病変を含む画像の色コントラストを大きくすることによって)示すことは有用な場合がある。そのような表示によって、疑わしい病変領域を見逃したり看過したりせずに画像ストリームを素早く見ることができ、また、これによって、画像の閲覧に内科医が費やす時間を短縮することができる。
【0047】
通常、装置140は、離散的な部分における画像情報を送信する。各部は、通常、画像又はフレームに対応するが、他の適切な送信方法を用いてもよい。例えば、幾つかの実施形態において、装置140は、画像を1/2秒に一回捕捉し且つ/又は取り込み、その画像データを外部受信機/記録計112に送信する。他の一定の及び/又は可変の取り込み速度及び/又は送信速度を用いてもよい。
【0048】
GI管の画像内において腫瘍、外傷又は潰瘍等の病変を特定することは、見ようとする胃腸管及び特徴又は病変が、極めて類似した背景色を有するという事実によって複雑化することがある。例えば、腫瘍の色は、それ周辺の健康な組織と極めて類似するが、熟練した内科医は、例えば、素人目には区別が困難と思われるわずかな色の違いに基づき、健康な組織と腫瘍とを区別することが可能である。異常部は、他の方法でも、例えば、正常組織との形状の違いに基づき、又は患部組織と比較した健康な組織における質感の違いに基づき区別される。本発明の実施形態によれば、元の画像の色は、健康な組織と患部組織との間のコントラストを改善するために、例えば、異なる中間調及び人為的な色に拡張及び変更される。
【0049】
従って、本明細書に提供されたものは、色拡張画像を、例えば、自律型生体内装置によって見られる特徴を表す画像を構築するためにコンピュータが実行する方法である。本発明の一実施形態において、画像の色コントラストは、元の色空間、例えば、自然な色空間の値を変換し、そして、観察される特徴が、より高い色コントラストを有するように、また、好適な一実施形態では、その特徴は、利用可能な色値の中で可能な限り最も高い色コントラストを有し得るように、それを拡張することによって、強化される。
【0050】
本方法の一実施形態において、特徴は、自律型生体内装置で見ることができ、そして、画像が取り込まれる。画像の画素特性は、他の色空間にマッピングされる。画像の色コントラスト強化は、色分布を拡張する色変換で誘起される。
【0051】
図2A、3A、4A、5A及び6Aは、生体内において取り込まれた様々な画像を示す。これらの図において分かるように(カラーで見ると最も良い)、画像は、胃腸管それ自体が、実際に赤みがかった色であるという事実により、赤みがかった色調を有する。病変が、胃腸管と同じ赤みがかった色調を有するという事実により、希望するようにかなり詳細に且つはっきりと腫瘍、外傷又は潰瘍等の病変を見ることは少々困難なことがある。
【0052】
図2B、3B、4B、5B及び6Bは、本発明の一実施形態に基づき色強化された後の画像を示す。これらの図において分かるように(カラーで見ると最も良い)、画像の色コントラストは、強化され、画像内において色コントラストが改善されており、これにより、腫瘍、外傷又は潰瘍等の病変は、更に詳細に且つはっきりと見ることができる。一実施形態によれば、強化された色は、人為色的であり、これは、見ようとする特徴の自然な色を表わさず、且つ特徴の境界が、色強化の結果、強調されることがある。
【0053】
他の実施形態において、本明細書で記載する方法における色変換の使用方法には、次の動作を実施する段階が含まれる。即ち、画像の画素色特性を得る段階(図7Aを参照)と、元の画素色特性を異なる色座標組に変換する段階(一実施形態では、この段階は、オプションであってよい)と、元の色分布の平均値を決定する段階と、新しい平均値及び換算係数に基づき画素色特性を修正する段階と、が含まれる。幾つかの実施形態によれば、所定の色座標の平均値は、与えられた所定の色波長範囲について、演算又は設定される。元の色分布の平均値は、画像又は画像の一部に基づき決定される。幾つかの実施形態によれば、平均値は、一連の連続した画像に又は連続した画像の一部に基づいて計算される。例えば、画像の中央に中心が置かれた円等の画像の一部だけを用いて、平均値が計算される。
【0054】
他の実施形態では、本明細書で記載する方法における色変換の使用方法には、画像の画素色特性を得る段階と、正規化RGB色空間(r、g、b)を用いて、元の色分布の新しい平均値を決定する段階と、新しい平均値に基づき画素色特性を修正する段階とを実施する段階が含まれる。
【0055】
色は、網膜に入射する特定の分光分布によって生成される視感覚である。一実施形態において、取り込まれた画像の画素特性を特徴付ける段階には、他の実施形態では色空間又はスペクトル空間と呼ばれる色座標系を用いて色応答関数を計算する段階を伴うが、これらは、これによって色を指定し、生成し、視覚化できる手段である。用途が異なれば、異なる色空間を用いるのが良い。一実施形態において、本明細書に記載した方法は、色管理システム(CMS)を利用して、取り込まれた画像を特徴付け、また、色撮像システム間において色データを変換する。
【0056】
多重スペクトル画像は、同じシーンの2つ以上の単色画像の集合体である。多重スペクトル画像は、複数の既知のスペクトル又は色空間の任意の1つで記述できる。例えば、1つの公知の多重スペクトル画像は、RGB(赤−緑−青)カラー画像である。RGBカラー画像は、赤、緑及び青成分を含んでおり、従って、画像は、RGBスペクトル空間において記述されると言える。一実施形態において、用いる元の色座標系は、RGBである。
【0057】
本明細書にも記載したように、本明細書に記載した方法を用いて得られたデジタルデータ値の行列は、一般的に、“デジタル画像”又はもっと簡単に“画像”と称され、メモリ等のデジタルデータ記憶装置に、例えば、シーンにおける異なる波長のエネルギの空間分布を表す一連の数値として記憶される。デジタル多重スペクトル画像並びに全てのデジタル画像は、アレイ状の画素によって表される。アレイ中の各数値は、通常、“画要素”又は“画素”又は“画像データ”と称するデジタル値に対応する。従って、一実施形態において、画素は、画像中の特定の空間座標に配置される単一のサンプルを表す。
【0058】
例えば、各画素の色及び輝度値をRGB値から計算される所謂RGBカラー方式を用いて、本明細書では、赤色(Rビット)を表す所定数のビット(例えば、8ビット)、緑色(Gビット)を表す所定数のビット(例えば、8ビット)、及び青色(Bビット)を表す所定数のビット(例えば、8ビット)によって表される各画素を参照することがある。従って、8ビットRGBカラー表現では、画素は、24ビット列によって表わされる。もちろん、各RGB値について、8ビットより多い又は少ないビット数を用いることも可能である。
【0059】
他の実施形態では、用いられる色空間は、国際照明委員会L*a*b*(CIELAB)色空間である。CIEは、HVS(人間の視覚系)に基づき色を分類する系統を定義してきている。この系統を用いて、あらゆる色は、そのCIE座標で指定することができる。
【0060】
他の実施形態において、カラー画素は、色相、彩度、輝度(HSB)方式又はシアン、マゼンタ、黄、黒(CMYK)方式等の、他の色又はスペクトル方式を用いて表される。或る実施形態において、本明細書に記載した方法に用いられる方式は、RGB、CMY(シアン、マゼンタ、黄)、CYMK、HSI(強度)、HCI(色度/彩度)、TSD(色相彩度及び黒さ)、HSV(色値)、又はYCbCr、YUV、UVW、U’V’W’、YCC及びYIQ(テレビ伝送色空間)座標組又は色方式、並びにCIEL*u*v*及びCCIR(国際無線通信諮問委員会)601YCbCr、スペクトル空間である。従って、本明細書に記載した技法は、上記したRGB、HSB、CMYK方式並びに輝度及び色軸a&b(Lab)色座標系、カルフーネン・レーヴ(Karhunen−Loeve)色座標系、網膜錐体色座標系及びCIEX、Y、Z方式に限定するものではないが、これらを含む複数の色方式に適用可能であることに留意されたい。
【0061】
一実施形態において、一旦、画像、即ち、例えば、RGB形式の画素色特性が得られると、元の画素色特性は、異なる色座標組に変換されるか、又は他の選択肢として、元の座標組は、正規化され、r=R/(R+G+B)及びg=G/(R+G+B)が計算される。
【0062】
他の実施形態では、画像の一部の平均値、例えば、u’v’座標において画像の照らされた領域が、更に評価される。一実施形態によれば、色分布の平均値は、与えられた所定の色波長範囲について決定される。
【0063】
一実施形態では、新しい平均値が、拡張色分布について決定される。新しい平均値を決定した後、次のステップは、新しい平均値に基づき、画素色特性を変換する段階であり、これには、新しいu’v’座標値を割り当てる段階が含まれ、これによって、新しい座標値は、[(元の座標値とu’v’色空間における元の色分布の平均値との間の差)と換算係数との積]と、新しい平均値の座標値と、の和であり、次のようになる。
【0064】
New_u’=(u’−<u>)・ScaleFactor+<New_u>
New_v’=(v’−<v>)・ScaleFactor+<New_v>
上式において、
<u>及び<v>は、u’v’色空間における元の平均値を示し、
<New_u>及び<New_v>は、u’v’色空間における新しい平均値を示し、
New_u’及びNew_v’は、u’v’色空間における新しい画素座標を示し、
u’及びv’は、u’v’色空間における元の画素座標を示し、
ScaleFactorは、選択された換算係数を示す。
【0065】
第1実施形態では、この元の平均値は、各フレームについて別々に計算される。他の実施形態では、この平均値は、多くのGI画像の統計値に基づき、あらかじめ計算される。他の実施形態では、元の平均値の計算は、例えば、ストリーム中の最近の又は以前の画像で計算した履歴値を考慮して、IIRに基づく。
【0066】
一実施形態において、本明細書に記載した方法に用いる換算又は膨張係数は、可変であり、画像領域に基づく関数として選択される。“画像領域”又はもっと簡単に“領域”は、画像の一部である。例えば、画像が、32x32画素アレイとして提供される場合、領域は、32x32画素アレイの4x4の部分に対応する。好適な一実施形態において、画素アレイは、もっと大きく、例えば、256x256画素である撮像装置を用いる。他の実施形態では、換算係数は、一定の利得(例えば、2.5)である。更に他の実施形態では、換算係数は、ユーザからの入力に基づき、選択又は微調整される。ユーザからの入力は、他のパラメータ、例えば、拡張色分布の新しい平均値を決定するために用いられる。換算係数は、輝度(Y)等の他のパラメータの関数として変更される。例えば、輝度が低い場合、換算係数は、画像において不必要な雑音の付加を回避するために、ユーザの選択した入力より小さいことがある。一実施形態では、所定の領域又は対象の領域(AOI)は、超音波等の他の分光法を用いて、一実施形態で決定される。従って、また、或る実施形態では、画素アレイは、対象領域の好適な色コントラストを生成するように構成し、一方、AOIの外側では、画素アレイの色コントラストは、低くしたり、高くしたり、また、変化させなくてもよい。
【0067】
一実施形態において、<New_u>及び<New_v>は、u’v’色空間における予め選択された値を指し、これらの値は、どの色変換が実施されるかに基づき、所望の平均値として選択される。一実施形態によれば、色分布の平均値は、第2色空間の中央領域にシフトし、また、色分布は、拡張して、より広い色範囲を利用し得る。一実施形態によれば、<New_u>及び<New_v>の新しい平均値は、色特性の全方向において最大の拡張を可能にするために、第2色空間の中央位置において選択し、これによって、強化された画像の色コントラストを高く又は最大にできる。他の実施形態によれば、新しい平均値は、中央位置において選択される必要はなく、また、色特性の拡張は、選択された新しい平均値を中心にして非対称に実施し得る。
【0068】
新しい平均値及び値の計算/選択は、一実施形態では、対象の画像領域に、又は他の実施形態では、病変、特徴、領域等に依存する。例えば、一実施形態における<New_u>及び<New_v>は、より良い視覚化及び分解のために、白色であえい、また、他の実施形態では、元の画像平均値であって、自然な又は元の色を維持する。従って、白色の場合、<New_u>及び<New_v>は、0.1978、0.4683である。正規化r、gの場合、白色点は、0.333、0.333である。好適な一実施形態において、実質的に赤みがかった画像、例えば、生体内画像では、平均値は、第2色空間、例えば、u’v’色空間の灰色又は白色領域に置かれる。
【0069】
一実施形態において、New_u’及びNew_v’は、次に、u’v’画像値からRGB画像値に再度変換される。正規化r、g、b空間は、u’v’空間の代わりに用い得る。このステップに含まれるのは、好適には、妥当でないデータを修正することである。例えば、妥当でないデータを修正する段階は、負の座標値及び1より大きい座標値をトリミングすることによって実施される。他の実施形態では、有効な範囲又は所定の範囲内にない値、例えば、0−255は、所定の有効な値にトリミング又は修正される。
【0070】
このステップにおいて、第3の成分を、好適には、一定に維持する。例えば、u’v’では、Y(輝度)を、一定に維持する。また、rgでは、R、G、Bの和を、一定に維持する。更に、max(R、G、B)も、R、G、Bの和の代わりに固定される。
【0071】
当業者は、第2色空間における新しい画素色値(座標)は、見ようとする画像又は画像領域が、最適な色コントラストを生じるまで、変更されることを容易に認識されるであろう。ソフトウェアを用いて、ユーザは、色コントラストを制御し、例えば、手動で改良することが可能である。他の選択肢として、色コントラスト値は、輝度の関数として変更される。即ち、低輝度での色雑音の強調を回避するために、輝度の低い値において色コントラストが減じられる。一実施形態において、u及びvの値は、結果的に生じる画像が、例えば、可視光の全スペクトルを利用して画像を生成し、管腔の赤色調の画像と比較して、色コントラストがよくなるように変更される。或る実施形態において、最適なコントラストは、ユーザにより<New_u>及び<New_v>値を変えることによって得られる。一実施形態において、照射源142の波長は、病変と病変に関連する背景パターンとの間に最適なコントラストを提供するように調整する。本明細書に記載したように、或る実施形態において、最適な色コントラストを提供することは、観察対象病変と病変に関連する背景パターンとの間に最大の色コントラストを提供することを意味する。他の実施形態では、照射源142の波長は、健康な構造と対応する病変との間に最適な色コントラストを提供するように調整される。一実施形態において、本明細書に述べた最適な色コントラストは、一実施形態では、低ルミネッセンス強度を、又は、他の実施形態では、高ルミネッセンス強度を補償するように、<u>及び<v>の値を変えることを意味する。
【0072】
一実施形態によれば、色値の拡張は、新しい平均値を決定することなく計算される。
同様に、また、他の実施形態において、データをそれに及びそれから変換するために用いられる色座標系は、観察する画像領域又は見る病変を最適化するために変更される。一実施形態では、上記方法は、本明細書に記載した画像領域において色コントラストを強化する方法に用いられる。
【0073】
次に、図8を参照する。従って、一実施形態において、本明細書に提供されるものは、画像又は画像の一部の色コントラストを高くする方法である。本方法には、画像を受信する又は得る段階と、受信された画像から色拡張画像を構築する段階と、が含まれ、色拡張は、画像の又は画像内の対象領域の色コントラストを強化する。
【0074】
他の実施形態において、自律型生体内装置で見る胃腸管における画像又は画像の一部の色コントラストを高めるための色拡張画像を構築する段階には、第1色空間における画像を受信する段階(800)と、画像の或る実施形態における輝度及び色値等の画素特性を第2色空間にマッピングする段階(810)と、画像の色分布を推定する段階(820)と、拡張/拡大分布を得るために、第2色空間の有効な値に渡って色分布を拡張する段階(830)と、及び拡張色分布を用いて、第1色空間における新しい画素特性を計算する段階(840)とが含まれる。一実施形態によれば、新しい画素特性を計算する段階には、拡張分布に基づき、画素特性への色変換を誘起する段階が含まれる。一実施形態において、色拡張画像を構築する段階には、画素色特性を得る動作と、元の画素色特性を異なる色座標組に変換する動作と、与えられた所定の色波長範囲の場合、拡張色分布の新しい平均値を決定する動作と、新しい平均値に基づき、画素色特性を決定する動作とが含まれる。
【0075】
一実施形態では、座標系が使用され、他の実施形態では、新しい平均値もしくは換算係数は、撮像しようとする病変に基づき、選択される。
幾つかの実施形態において、画像解析及び/又は比較は、ほぼリアルタイムに、例えば、装置140が生体内にある間、撮像装置146が画像を取り込む間、送信機141が画像データを送信する間、受信機/記録計112が画像データを受信する間、そして、ワークステーション117が生体内画像を表示する間、実施される。
【0076】
他の実施形態において、本発明は、グラフィカルユーザーインターフェイスを提供するが、これは、モニタ118上に表示可能であり、これは、生体内撮像装置によって取り込まれた選択画像を、通常表示で又は色拡張した即ち“強化した”色表示でのいずれかで、例えば、可視色の全スペクトルで見る選択肢をユーザに提供する。このインターフェイスによって、ユーザは、選択画像を意のままに更にはっきりと見ることが可能になる。一実施形態において、強化色コントラスト表示は、選択画像のみに、例えば、内科医によって選択された画像又は図1に示した処理ユニット114等の処理ユニットによって自動的に選択された画像に適用する。これらの画像は、胃腸組織の病変又は異常を示すと考えられる。他の実施形態では、強化された色表示は、像ストリームにおける全ての画像に、又は、幾つかの画像に、例えば、第2又は第3番目の画像毎に又は第100番目の画像毎に適用される。強化された色表示を適用する他の構成を用いてもよい。
【0077】
一実施形態によれば、色コントラスト強化のレベルは、例えば、画像ストリームを見つつ、ユーザが決定する。一例において、ユーザは、所定レベルのリストからレベルを選択することによって、例えば、色コントラスト強化の設定値を徐々に変えることができる色コントラスト強化レベルバーに沿ってスライドボタンを動かすことによって、色コントラスト強化のレベルを設定する。他のユーザインターフェイス実施例を用いてもよい。一実施形態において、コントラスト強化の強化画像出力は、そのレベルが、低コントラストレベルに設定された場合、組織の自然な色に近くなることがあり、色コントラスト強化のレベルが高いレベルに設定された場合、(撮像装置によって元々撮像された)組織の自然な色と大きく異なったりすることがある。
【0078】
以下の例は、本発明の好適な実施形態を更に充分に示すために提示する。それは、しかしながら、決して、本発明の広い範囲を限定すると解釈すべきでない。
例
例1:青色強化胃腸画像を生成するための方法
以下は、元の及び変換された色座標組の一実施形態で用いる色拡張の例である。
【0079】
本例において、RGB画像が、図2A、3A、4A、5A及び6Aに示すように得られた。そして、RGB値は、第2組の座標(u’v’色空間)に変換された。
RGBからu’v’へ:
RGBからXYZに(D65白色点で)変換する場合、変換行列は、以下の通りである。
【0080】
【数1】
【0081】
白色点は、画像における色“白”を定義するように機能する色度座標の組である。D65は、6500度ケルビンを示す。
XYZからu’v’=
u’=4X/(X+15Y+3Z)
v’=9Y/(X+15Y+3Z)
である。
【0082】
次に、本明細書に提示された色拡張関数を用いて、
New_u’=(u’−<u>)・ScaleFactor+<New_u>
New_v’=(v’−<v>)・ScaleFactor+<New_v>
と、新しい座標値を拡張する。
【0083】
そして、拡張座標値をu’v’色空間(又は正規化r,g)からRGB色空間に再度変換した。上記したように、第3成分Y(輝度)は、一定に維持する。
u’v’からRGBへ:
u’v’→XYZ=
X=9/4*Y*u’/v’
Y(変わらない)
Z=((4*X/u’)−X−15*Y)/3
XYZからRGBに(D65白色点で)変換する場合、用いられる行列変換は以下の通りである。
【0084】
【数2】
【0085】
画像は、強化された色で表示される。図2A、3A、4A、5A及び6Aの元の画像と比較して、図2B、3B、4B、5B及び6Bを参照されたい。
他の実施形態において、G及びBチャネルにおける固定利得(例えば、Gの1.5及びBの3)を適用するが、例えば、生体内画像における病変は、あまり顕著でないことがある。本実施形態では、R、G、B値は、有効な値の範囲に留めるために、修正される(例えば、これらの値は、単一の所定の又は計算された係数によって、トリミング又は除算される)。Rチャネルは、生体内画像等の或る構成では、広いダイナミックレンジを用い得ることから、一定に維持してよい。他の実施形態において、R、G及びBチャネルの利得は、特定の画素特性に基づき、計算し拡張し得る。そのような実施形態では、第2色空間を用いる必要はなく、また、全ての計算は、元の色空間について実施される。
【0086】
生体内胃腸試験患者からの115フレームサンプル(胃から67フレーム、SBから16、結腸から32)に基づき、u’v’次元における色変換の前と後で、画像における一部の画素のu’v’座標のヒストグラムを準備した。例えば、画素の一部は、全ての照らした画素を含み、又は選択条件もしくは判断基準、例えば、所定の条件に合致する画素のグループを含む。図7Aは、生体内撮像装置によって取り込まれた画像の照らした領域における全画素が含まれる画素の一部のu’v’座標のヒストグラムを示す。図7Bは、本発明の方法を用いた色拡張後、画像の照らした領域の全画素のu’v’座標のヒストグラムを示す。このヒストグラムは、極めて鋭く、従って、その対数をグラフ化し、最大値で正規化した。参照用として、純色もグラフ化しており、好適な実施形態により新しい平均値として用い得る白色点は、“+”符号によって記載している。
【0087】
本明細書において提示したプロセスは、元来、いずれか特定のコンピュータ又は他の装置に関係するものではない。本明細書の教示内容に基づくプログラムと共に様々な汎用システムが用いられる。又は、所望の方法を実施する更に専用の装置を構築すると好都合なこともある。これらの様々なシステム用の所望の構造が、本明細書の説明から分かる。更に、本発明の実施形態は、何らかの特定のプログラミング言語を参照して記載していない。本明細書に記載した本発明の教示内容を実現するために、様々なプログラミング言語を用い得ることを認識されるであろう。
【0088】
特に記載しない限り、本明細書の議論から明らかなように、本明細書全体において、“推定する”、“処理する”、“演算する”、“計算する”、“決定する”等の用語を用いる説明は、コンピュータ処理システムのレジスタ及び/又はメモリ内における物理的な、例えば、電子的な量として表されるデータを操作及び/又は変換して、コンピュータ処理システムのメモリ、レジスタ又は他のそのような情報記憶装置、送信又は表示装置内において物理的な量として同様に表される他のデータにするコンピュータもしくはコンピュータ処理システム、又は同様な電子処理装置(例えば、“コンピュータ・オン・チップ”又はASIC)の動作及び/又は処理を通常指すことを認識されたい。
【0089】
本発明は、本明細書において具体的に示し述べたことに限定されないことを当業者は認識されたい。
添付図面を参照して、本発明の好適な実施形態について記載したが、本発明は、本明細書において示し記載した実施形態そのものに限定されないことを理解されたい。むしろ、当業者は、本発明の範囲又は技術思想から逸脱することなく、様々な変更及び修正をそこで行うことができ、また、本発明の範囲は、後記する請求項によってのみ規定される。
【0090】
なお、出願時に提出した外国語明細書中に使用不可能な表現が含まれていたために、この翻訳文では代替表記を使用した。具体的には、平均値を表す
<u>,<v>,<New_u>及び<New_v>各々
【0091】
【数3】
【0092】
のように、上線をつけて表現されていたが、便宜上翻訳文では、< >で囲って表現した。
【技術分野】
【0001】
本発明は、体腔等を撮像するための生体内装置及び方法に関する。特に、本発明は、自律型生体内撮像装置によって表示される生体内データを提示するための生体内システムにおける方法及び装置に関する。
【背景技術】
【0002】
撮像やpH検知等の生体内検知を行うのに有用である装置が知られている。飲み込み可能な、即ち、経口摂取可能なカプセル又は他の装置等の自律型生体内検知装置は、体腔中を移動し、移動する際、検知を行う。撮像装置等の自律型生体内検知装置には、例えば、生体内撮像装置が胃腸(GI)管を通過している間に、GI管腔等の人体内腔又は管腔から画像を得るための撮像装置を含む。撮像装置は、例えば、光学系や、オプションとして、送信機やアンテナと共に用いられる。これらの装置の中には、無線接続を用いて、画像データを送信するものがある。人体内の導管又は体腔の生体内検知のための、また、情報(例えば、画像情報、pH情報、温度情報、電気的インピーダンス情報、圧力情報等)を検知し収集するための他の装置、システム及び方法が、当分野で知られている。
【0003】
腫瘍、外傷又は潰瘍等の病変を見るのは、見ようとする胃腸管及び特徴又は病変が、極めて類似した背景色を有するという事実によって複雑になる。
生体内画像コントラストを強化するための異なる方法が、存在する。1つの方法は、特定の階調範囲を特定の色値に割り当てることによって、疑似色で階調デジタル画像を描くことである。この技法は、人間の目が、明暗の変化よりも色調の違いを良好に識別できることから、中間調画像における特定の対象領域を強調表示するのに有用である。疑似色画像処理は、多着色試験片を利用して異なる波長で得られた合成単色画像を表示する蛍光顕微鏡法に広く用いられている。コラージュ集合の個々の蛍光体画像に割り当てられる色は、蛍光染料によって自然に放出されるものに色が近いことが多い。
【0004】
脈管画像を強化するための他の技法は、狭帯域撮像(NBI)であり、これは、光貫通の深さが、その波長に依存する(波長が短い光、例えば、青は、表面のみ貫通し、波長が長い光、例えば、赤は、深い層まで貫通する)現象に基づき、微妙な組織構造の視認性を改善する光学フィルタ技術である。1つのNBIシステムでは、白色光が、回転式赤−緑−青フィルタを透過し、順次、RGB照明で粘膜を照射し、そして、反射光を別々に検出し、映像プロセッサで単一のカラー画像に一体化する。他のNBIシステムでは、2つの離散的帯域の光、1つは415nmで青、もう1つは540nmの緑を用いる。狭帯域の青色光は、表面の毛細管網を表示し、緑色光は、上皮下管を表示し、合成すると、組織表面の極端な高コントラスト画像を提示する。例えば、モニタ上のNBI画像では、表面の毛細管は、茶色で表示され、表面直下の血管は、シアンで表示される。
【0005】
更に、日本のさいたま市のフジノン社の全額出資の子会社であるニュージャージー州のフジノン社によって開発されたFUJIインテリジェント・カラー・強化(FICE)は、スペクトル推定技術に基づく内視鏡診断システムを提供する。このシステムでは、プロセッサは、普通の内視鏡画像を映像プロセッサから取り、表面部分の組織特徴付けや毛細管方位の観察をより鮮明にできるように、与えられた専用の波長の光の画像を算術処理し、推定し、生成する。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、一実施形態において、自律型生体内撮像装置によって表示される生体内データの提示に関し、生体内で生成された画像の色コントラストを強化する方法を導入する。
【課題を解決するための手段】
【0007】
幾つかの実施形態によれば、本方法は、当分野における既知の方法を補完するために用いられる。幾つかの実施形態によれば、本方法は、生体内画像ではない他の種類の画像、例えば、大部分青みがかった灰色の霧深い通りの画像又は大部分緑がかった牧場の風景画等、全体的に均一な色合い又は色調を有する画像の画質を高めるために用いられる。幾つかの実施形態によれば、本方法は、画像色コントラストを強化することによって、画像の不明瞭なオブジェクト又は特徴を更に目立つようにするために用いられる。画像において強化された色は、それらの自然な色相と似ている場合もそうでない場合もある。
【0008】
本発明の幾つかの実施形態は、強化した色コントラストを有する取り込まれた生体内データストリームの固定グラフィック表現を生成し表示するための方法を提供する。
一実施形態において、本明細書に記載したものは、自律型生体内撮像装置によって得られた画像を、画素色特性を拡張又は拡大することによって、強化するための方法であり、本方法は、見ようとするものを強調表示する、又は、見ようとするものに最適な強化画像を提示する。
【0009】
本発明の他の実施形態において、本明細書で提供されたものは、撮像装置によって取り込まれた特徴を表す色拡張画像を構築するためにコンピュータが実行する方法である。第1実施形態において、本方法には、撮像装置で特徴を見る段階と、第1色空間、例えば、元の又は自然な色空間における特徴の画像を取り込む段階と、画像画素色特性を第2色空間にマッピングする段階と、第2色空間において画像の色分布を得る段階と、第2色空間の有効な値に渡って色分布を拡張又は拡大して、拡張色分布を得る段階と、拡張色分布を用いて、第1色空間における新しい画素特性を演算して、例えば、色強化画像を得る段階と、が含まれる。幾つかの本発明の実施形態によれば、強化された画像は、元の画像より良い色コントラストを提示し得る。幾つかの実施形態によれば、第1色空間は、RGB色空間であってよい。
【0010】
他の実施形態において、画像の色変換を決定する段階には、画素色特性を第2色空間にマッピングする段階と、第2色空間における画像の色分布を得る段階、例えば、それを推定する段階と、第2色空間の有効な値に渡って色分布を拡張して、拡張色分布を得る段階と、拡張色分布を用いて、第1色空間における新しい画素色特性を計算する段階と、を含む。幾つかの実施形態によれば、色分布の元の平均値は、例えば、画像、画像の選択した画素の一部、又は画像ストリームの以前の画像に基づき計算される。幾つかの実施形態によれば、拡張色分布の新しい平均値は、例えば、画像、画像の一部の選択した画素、画像ストリームの以前の画像、又は所定の値に基づき決定することができ、また、新しい画素色特性は、新しい平均値に基づき計算される。
【0011】
幾つかの実施形態によれば、第2色空間は、必要ではない。受信画像は、元の色空間に取り込むことができ、また、画像の新しい画素特性は、同じ色空間において演算し得る。色分布は、更に、同じ色空間において拡張される。幾つかの実施形態によれば、画像の色の範囲又は画像の一部を拡張する色変換を決定することができ、また、色拡張画像は、色変換を用いて構成し得る。変換後の画像の色は、それらの自然な(又は元の)色相を保持する場合もそうでない場合もある。幾つかの実施形態によれば、画像の色変換を決定する段階には、画像の色分布を得る段階と、色空間の有効な値に渡って色分布を拡張して、拡張色分布を得る段階と、拡張色分布を用いて、新しい画素色特性を計算する段階とを含む。
【0012】
本発明の他の実施形態において、本明細書に提供したものは、自律型生体内装置によって胃腸管において捕捉された生体内画像の色コントラストを高くする方法である。本方法には、自律型生体内装置で胃腸管内の対象領域を見る段階と、胃腸管の画像を取り込む段階と、取り込んだ画像から色拡張画像を構築する段階と、が含まれる。色拡張は、画像の色コントラストを強化する。更なる実施形態において、色拡張は、画像の一部に実施できるが、これが意味することは、本方法は、画像の一部だけを処理し、残りの部分をそのままにしておくことである。
【0013】
更なる実施形態において、本発明は、選択画像の更に際立つ表示を可能にするために、通常表示又は色強化表示のいずれかで、生体内撮像装置によって取り込んだ選択画像を見る選択肢をユーザに与える表示装置を備えたユーザインターフェイスを提供する。
【0014】
本発明の実施形態は、様々な他の利益及び/又は利点を提供する。
本発明の他の特徴及び利点は、以下の詳細な説明例及び図から明らかになる。しかしながら、詳細な説明及び特定の例は、本発明の好適な実施形態を示すが、説明の一例としてのみ与えられるものであり、これは、本発明の技術思想及び範囲内における様々な変更及び修正は、この詳細な説明から当業者には明らかになるためであることを理解されたい。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施形態による生体内システムの概略説明図。
【図2A】生体内撮像装置によって取り込まれた様々な画像の通常のフルカラー表示。
【図2B】図2Aの画像の色拡張表示。
【図3A】生体内撮像装置によって取り込まれた様々な画像の通常のフルカラー表示。
【図3B】図3Aの画像の色拡張表示。
【図4A】生体内撮像装置によって取り込まれた様々な画像の通常のフルカラー表示。
【図4B】図4Aの画像の色拡張表示。
【図5A】生体内撮像装置によって取り込まれた様々な画像の通常のフルカラー表示。
【図5B】図5Aの画像の色拡張表示。
【図6A】生体内撮像装置によって取り込まれた様々な画像の通常のフルカラー表示。
【図6B】図6Aの画像の色拡張表示。
【図7A】生体内撮像装置によって取り込んだ画像の一部の画素の色座標のヒストグラム。
【図7B】本発明の方法を用いて色拡張した後の一部の画像画素の色座標のヒストグラム。
【図8】本発明の一実施形態による方法を示す概略ブロック図。
【発明を実施するための形態】
【0016】
特許又は出願ファイルには、カラーで制作した少なくとも1つの図面が含まれる。カラーの図面を備えた本特許又は特許出願公報の写しは、請求及び必要な料金の支払いに応じて、米国特許商標庁が提供する。
【0017】
本発明によるシステム、装置、及び方法の原理及び動作は、図面及び以下の説明を参照するとより良く理解し得るが、これらの図面は、限定するためではなく例示の目的のためだけに提示するものであることを理解されたい。 表記を簡単明瞭にするために、図示した要素は、必ずしも縮尺通りに描かれているとは限らないことを認識されたい。例えば、理解しやすいように、幾つかの要素の寸法は、他の要素に対して誇張しているものがある。更に、適切であると思われる場合、参照数字は、図の間で繰り返し用いて、対応する又は類似の要素を示す場合がある。
【0018】
以下の詳細な説明では、本発明を充分に理解できるように、多くの具体的な詳細について記載する。しかしながら、本発明は、これらの具体的な詳細無しで実践し得ることを当業者は理解されたい。その他、公知の方法、手順、及び構成要素については、本発明が不明瞭になるのを避けるために、詳細に記載していない。
【0019】
本発明の幾つかの実施形態は、例えば、人体の外側から体腔に、例えば、胃腸(GI)管に挿入される生体内装置に関係する。幾つかの実施形態は、通常使い捨て又は部分的に使い捨ての検出及び/又は解析装置に関係する。幾つかの実施形態は、受動的に又は能動的に体腔、例えば、胃腸(GI)管を、例えば、自然のぜん動運動によって推進する、通常飲み込み可能な生体内装置に関係する。幾つかの実施形態は、他の体腔、例えば、血管、生殖管等を通過する生体内検知装置に関係する。生体内装置は、例えば、検知装置、撮像装置、診断装置、検出装置、解析装置、治療装置、又はそれらの組合せであってよい。幾つかの実施形態において、生体内装置には、イメージセンサ又は撮像装置及び/又は他の適切な構成要素を含む。本発明の幾つかの実施形態は、必ずしも生体内撮像に限らず、他の撮像装置に関係する。
【0020】
例えば、生体内検知装置、受信システム及び/又は表示システムを含む本発明の幾つかの実施形態による装置、システム、及び方法は、イッダン(Iddan)らの米国特許第5,604,531号明細書、表題「生体内ビデオカメラシステム」に記載された実施形態、及び/又はイッダンらの米国特許第7,009,634号明細書、表題「生体内撮像用装置」と同様であるが、これら全てを本明細書にそれら全体について引用・参照する。
【0021】
本明細書に記載した装置及びシステムは、他の構成及び/又は組の構成要素を有する。上記公報に記載されたもの等、例えば、ワークステーションにおける、例えば、外部受信機/記録計ユニット、プロセッサ及びモニタは、本発明の幾つかの実施形態に用いるのに適することがある。本明細書に記載した装置及びシステムは、他の構成及び/又は他の組の構成要素を有する。例えば、本発明は、内視鏡、針、ステント、カテーテル等を用いて、実践される。幾つかの生体内装置は、カプセル形状、又は、他の形状、例えば、ピーナッツ形状又は筒状、球形、円錐形、又は他の適切な形状を有する。
【0022】
本発明の幾つかの実施形態には、例えば、通常飲み込み可能な生体内装置を含む。他の実施形態において、生体内装置は、飲み込み可能及び/又は自律型である必要はなく、また、他の形状又は構造を有してよい。幾つかの実施形態は、様々な人体管腔、例えば、GI管、血管、尿管、生殖管等に用いられる。
【0023】
生体内装置の実施形態は、通常、自律型であり、また、通常、自己完結型である。例えば、生体内装置は、カプセルもしくは他の一つのまとまったものであるか又はそれを含み、この場合、全ての構成要素が、容器、筐体、又は殻内に実質的に含まれ、また、生体内装置は、例えば、受電又は情報送信用の何らかの配線やケーブルを必要としない。生体内装置は、外部の受信及び表示システムと通信を行い、データ表示、制御、又は他の機能を提供する。例えば、電源は、内部バッテリもしくは内部電源によって又は有線もしくは無線受電システムを用いて、提供される。他の実施形態は、他の構成及び能力を有する。例えば、構成要素は、多数のサイト又はユニットに分散し、また、制御情報又は他の情報は、外部ソースから受信される。
【0024】
本発明の幾つかの実施形態に基づく装置、システム、及び方法は、例えば、人体に挿入されるか又は人が飲み込むことができる装置と共に用いられる。しかしながら、本発明の実施形態は、この点において限定されず、例えば、非人体又は動物の体に挿入し得る又はそれが飲み込み得る装置と共に用いてよい。本発明の他の実施形態は、生体内撮像装置と共に用いる必要はなく、デジタルカメラ又は仮想撮像装置等の他の種類の撮像装置によって得られた画像を強化するために用いてもよい。
【0025】
図1は、本発明の幾つかの実施形態に基づく生体内システムの概略を示す。本システムの1つ又は複数の構成要素は、本明細書に記載した装置及び/又は構成要素又は本発明の実施形態に基づく他の生体内装置と共に又はそれに連動して用いられる。
【0026】
幾つかの実施形態において、本システムには、センサ、例えば、撮像装置146、1つ又は複数の照射源142、電源345、及び送信機141を有する装置140を含む。幾つかの実施形態において、装置140は、飲み込み可能なカプセルを用いて実現されるが、他の種類の装置又は適切な実施例も用いられる。患者の体の外には、例えば、外部受信機/記録計112(例えば、1つ又は複数のアンテナ又はアンテナアレイを含む又はそれに連動するもの)、例えば、メモリ、データベース等の1つ又は複数もしくは他の記憶システムであるか又はそれを含む記憶装置119、プロセッサ114、及びモニタ118がある。幾つかの実施形態において、例えば、プロセッサ114、記憶装置119及び/又はモニタ118は、ワークステーション117、例えば、コンピュータ又はコンピュータ処理プラットホームとして実現される。
【0027】
送信機141は、電波を用いて動作するが、装置140が、内視鏡であるか又はそれに含まれる場合等の幾つかの実施形態では、送信機141は、例えば、電線、光ファイバ及び/又は他の適切な方法を介して、データを送受信する。他の既知の無線送信方法を用いてもよい。送信機141には、例えば、送信機モジュールもしくはサブユニット及び受信機モジュールもしくはサブユニット、又は一体化送受信機もしくは送信機・受信機を含む。
【0028】
装置140は、通常、自律型飲み込み可能カプセルであるか又はそれを含むが、装置140は、他の形状を有してもよく、飲み込み可能又は自律型である必要はない。装置140の実施形態は、通常、自律型であり、また、通常、自己完結型である。例えば、装置140は、カプセル又は他のユニットであり、この場合、全ての構成要素が、容器又は殻内に実質的に含まれ、装置140は、例えば、受電する又は情報を送信する何らかの配線又はケーブルを必要としない。幾つかの実施形態において、装置140は、自律型であって、また、遠隔制御可能でなくてもよいが、他の実施形態では、装置140は、部分的に又は全体的に遠隔制御可能であってよい。
【0029】
幾つかの実施形態において、装置140は、外部受信及び表示システム(例えば、ワークステーション117又はモニタ118)と通信を行い、データの表示、制御、又は他の機能を提供する。例えば、電力は、内部バッテリ、内部電源、又は受電可能な無線システムを用いて、装置140に提供する。他の実施形態は、他の構成及び能力を有し得る。例えば、構成要素は、多数のサイト又はユニットに渡って分散してよく、また、制御情報又は他の情報は、外部情報源から受信し得る。
【0030】
幾つかの実施形態において、装置140には、生体内映像カメラ、例えば、撮像装置146を含むが、これは、装置140がGI管腔を通過する間、例えば、GI管の画像を取り込んで送信する。他の管腔及び/又は人体の体腔は、装置140によって撮像及び/又は検知し得る。幾つかの実施形態では、撮像装置146には、例えば、電荷結合デバイス(CCD)カメラ又は撮像装置、相補金属酸化物半導体(CMOS)カメラ又は撮像装置、デジタルカメラ、スチルカメラ、映像カメラ、又は他の適切な撮像装置、カメラ、又は画像取り込み構成要素を含む。
【0031】
幾つかの実施形態において、装置140内の撮像装置146は、送信機141と接続して動作する。送信機141は、画像を、例えば、外部送受信機又は受信機/記録計112に(例えば、1つ又は複数のアンテナを通して)送信するが、これは、そのデータをプロセッサ114及び/又は記憶装置119に送り得る。送信機141には、更に、制御能力を含み得るが、制御能力は、別の構成要素、例えば、プロセッサ147にも含まれる。送信機141には、画像データ、他の検知データ、及び/又は他のデータ(例えば、制御データ)を受信装置に送信できる任意の適切な送信機を含み得る。送信機141は、更に、信号/命令を、例えば、外部送受信機から受信できる。例えば、幾つかの実施形態において、送信機141には、超低電力無線周波数(RF)高帯域幅送信機を含むが、チップ・スケール・パッケージ(CSP)に設けられることもある。
【0032】
幾つかの実施形態において、送信機141は、アンテナ148を介して、送信/受信を行う。送信機141及び/又は装置140の他のユニット、例えば、コントローラ又はプロセッサ147には、制御能力を含むが、例えば、装置140を制御するための、装置140の動作モード又は設定を制御するための、及び/又は装置140内において制御動作又は処理動作を実施するための、1つ又は複数の制御モジュール、処理モジュール、回路及び/又は機能を含む。幾つかの実施形態によれば、送信機141には、例えば、アンテナ148を通して又は異なるアンテナもしくは受信要素を通して、信号を(例えば、患者の人体の外側から)受信し得る受信機を含む。幾つかの実施形態によれば、信号又はデータは、装置140における別の受信装置によって受信される。
【0033】
電源145には、1つ又は複数のバッテリ又は燃料電池を含む。例えば、電源145には、酸化銀電池、リチウム電池、高いエネルギ密度を有する他の適切な電気化学的電池等を含む。他の適切な電源を用いてもよい。例えば、電源145は、外部電源(例えば、電磁場発生器)から電力やエネルギを受けとってよく、これは、生体内装置140に電力やエネルギを送るために用いられる。
【0034】
幾つかの実施形態において、電源145は、装置140の内部にあり、例えば、受電するために、外部電源に結合する必要はない。電源145は、装置140の1つ又は複数の構成要素に電力を、連続的に、実質的に連続的に、非離散的にもしくはそのタイミングで、又は定期的に、断続的に、又はそうでなければ、非連続的に提供する。幾つかの実施形態では、電源145は、装置140の1つ又は複数の構成要素に電力を、例えば、必ずしも要求に応じてとは限らず又は必ずしもトリガをかけるイベントや外部起動や外部励起に応じてとは限らずに提供する。
【0035】
選択肢として、幾つかの実施形態において、送信機141には、処理ユニット又はプロセッサ又はコントローラを、例えば、撮像装置146によって生成された信号及び/又はデータを処理するために含む。他の実施形態において、処理ユニットは、装置140内において別個の構成要素、例えば、コントローラ又はプロセッサ147を用いて実現したり、又は撮像装置146、送信機141、もしくは他の構成要素の一体化部位として実現するが、必要とされないこともある。処理ユニットには、例えば、中央処理装置(CPU)、デジタル信号プロセッサ(DSP)、マイクロプロセッサ、コントローラ、チップ、マイクロチップ、コントローラ、回路網、集積回路(IC)、特定用途向け集積回路(ASIC)、又はいずれか他の適切な多目的又は特定のプロセッサ、コントローラ、回路網又は回路を含む。幾つかの実施形態において、例えば、処理ユニット又はコントローラは、送信機141に埋め込まれたり又はそれと一体化されたり、また、例えば、ASICを用いて実現される。
【0036】
プロセッサ114には、処理ユニット、プロセッサ又はコントローラが含まれる。処理ユニットには、例えば、CPU、DSP、マイクロプロセッサ、コントローラ、チップ、マイクロチップ、コントローラ、回路網、IC、ASIC、又はいずれか他の適切な多目的又は特定のプロセッサ、コントローラ、回路網又は回路が含まれる。
【0037】
幾つかの実施形態において、撮像装置146は、生体内画像の取り込みを、連続的に、実質的に連続的に、又は非離散的に、例えば、必ずしも要求に応じてとは限らず、必ずしもトリガをかけるイベントや外部起動や外部励起に応じてとは限らず、又は定期的に、断続的に、又はそうでない場合、非連続的に行われる。
【0038】
幾つかの実施形態において、送信機141は、画像データの送信を、連続的に、又は実質的に連続的に、例えば、必ずしも要求に応じてとは限らず、又は必ずしもトリガをかけるイベントや外部起動や外部励起に応じてとは限らずに、又は定期的に、断続的に、又はそうでない場合、非連続的に行われる。
【0039】
幾つかの実施形態において、装置140には、1つ又は複数の照射源142、例えば、1つ又は複数の発光ダイオード(LED)、“白色LED”、又は他の適切な光源を含む。照射源142は、例えば、撮像及び/又は検知される体腔又は空洞を照射する。例えば、1つ又は複数のレンズもしくは複合レンズ組立体、1つ又は複数の適切な光学フィルタ、又はいずれか他の適切な光学要素等の1つ又は複数の光学要素を含むオプションの光学系150は、選択肢として、装置140に含まれ、反射光を撮像装置146に合焦する際、照射光を合焦する際、及び/又は他の光処理動作を行う際にその役割を果たす。
【0040】
幾つかの実施形態において、装置140には、1つ又は複数の照射源142が含まれるが、この場合、照射源は、“白色LED”より狭い、或る実施形態では、赤、黄、青、緑、紫又はオレンジの色伝送範囲にある。或る実施形態において、照射源の色は、本明細書に記載する方法を用いて、検出しようとする病変に基づき選択される。或る実施形態では、照射源142によって放出される波長を狭くすると、本明細書に記載した方法を用いて、得られるコントラストの改善を支援する。従って、また、他の実施形態において、装置140には、照射源142が含まれるが、この場合、照射源は、1つ又は複数の発光ダイオードであり、約430〜530nm(青色LED)の波長でピークが約480nmの光を放出する。又は他の実施形態では、緑色LEDであり、約480〜580nmの波長でピークが約530nmの光を放出し、又は他の実施形態では、赤色LEDであり、約580〜680nmの波長でピークが約630nmの光を放出する。
【0041】
幾つかの実施形態において、照射源(1つ又は複数)142の照射は、連続的に、又は実質的に連続的に、例えば、必ずしも要求に応じてとは限らず、又は必ずしもトリガをかけるイベントや外部起動や外部励起に応じてとは限らずに行われる。幾つかの実施形態において、例えば、照射源(1つ又は複数)142の照射は、毎秒所定の回数(例えば、2回、3回又は4回)行い、また、実質的に連続的に、例えば、2時間、4時間、8時間等の時間の間、又は定期的に、断続的に、又はそうでない場合、非連続的に動作する。
【0042】
幾つかの実施形態において、装置140の構成要素は、例えば、カプセル形状、楕円形、又は他の適切な形状を有する筐体又は殻内に密閉される。筐体又は殻は、実質的に透明又は半透明であり、及び/又は実質的に透明な又は半透明な1つ又は複数の部位、窓又はドームを含む。例えば、装置140内の1つ又は複数の照射源(1つ又は複数)142は、透明又は半透明な部位、窓又はドームを通して体腔を照射し、体腔からの反射光は、例えば、透明又は半透明な部位、窓又はドームを通して、又はオプションとして、他の透明な又は半透明な部位、窓又はドームを通して、装置140に入射し、そして、光学系150及び/又は撮像装置146によって受光する。幾つかの実施形態において、例えば、光学系150及び/又は撮像装置146は、体腔から反射された光を、照射源(1つ又は複数)142が体腔を照射する際通過する同窓又はドームを通して受光する。
【0043】
データプロセッサ114は、装置140から外部受信機/記録計112を介して受信されたデータを解析し、そして、記憶装置119と通信を行い、例えば、フレームデータを記憶装置119との間で伝達する。データプロセッサ114は、解析されたデータをモニタ118に提供し、この場合、ユーザ(例えば、内科医)は、データを閲覧するか又は何らかの方法でそれを用いる。幾つかの実施形態では、データプロセッサ114は、リアルタイムの処理用に及び/又は後で実施される及び/又は閲覧される事後処理用に構成される。制御機能(例えば、遅延、タイミング等)が、装置140の外部にある場合、適切な外部装置(例えば、送信機又は送受信機を有するデータプロセッサ114又は外部受信機/記録計112等)は、1つ又は複数の制御信号を装置140に送信する。
【0044】
モニタ118には、例えば、1つ又は複数のスクリーン、モニタ画面、又は適切な表示ユニットを含む。モニタ118は、例えば、装置140によって取り込まれ、且つ/又は送信された1つ又は複数の画像又は画像のストリームを表示するが、例えば、GI管の画像又は他の撮像された体腔又は空洞の画像を表示する。更に又は他の選択肢として、モニタ118は、例えば、制御データ、場所又は位置データ(例えば、装置140の位置もしくは相対的な位置を記述するもしくは示すデータ)、方位データ、及び様々な他の適切なデータを表示する。幾つかの実施形態において、例えば、画像と(例えば、撮像され体腔を基準とした)その位置又は場所の双方は、モニタ118を用いて提示及び/又は記憶装置119を用いて記憶される。収集された画像データ及び/又は他のデータを記憶すし且つ/又は表示する他のシステム及び方法を用いてもよい。
【0045】
一例において、内科医又は医療専門家は、例えば、飲み込み可能なカプセル又は内視鏡等の他の生体内撮像装置によって取り込まれた生体内画像のストリームを受信する。内科医は、画像ストリームを慎重に見て、例えば、画像中で識別される何らかの異常又は病変があるかどうか判断する必要がある。色コントラスト強化無しでカプセルによって取り込まれた画像に見える異常は、色がその周辺の健康な組織と極めて似通っていることがある。従って、組織の健康な部位と、異常な部位即ち腫瘍又は外傷等の病変とを区別することは、難しい場合がある。更に、撮像装置によって取り込まれ、内科医に提示される画像は、極めて大量な場合がある。飲み込み可能なカプセルによって取り込まれた画像ストリームには、数千の画像を含む。例えば、撮像手順は、例えば、毎秒2乃至36フレームの一定の又は可変のフレーム速度で、例えば、8時間かかることがある。撮像手順は、例えば、患者又は実施される手順の種類に依存して、かかる時間が短かったり長かったりする。幾つかの例において、撮像の適応可能なフレーム速度を用いて、例えば、カプセルが移動していない場合又は極端にゆっくりと移動している場合、2分毎に1フレームを選択することができる。あるいは、カプセルが速く移動している場合、撮像速度は、例えば、毎秒36フレームまで大きくしてよい。幾つかの実施形態において、フレーム速度は、毎秒1/120フレームより小さく、又は、毎秒36フレームより大きくてよい。従って、数千〜数万の画像、例えば、50,000画像を含む画像ストリームが得られることがある。異常な組織部位、腫瘍又は他の病変等の胃腸管の異常は、ストリームの数枚の画像だけに出現する。
【0046】
一例において、健康な組織と比較した異常部の色の違いは、極わずかなことがあり、例えば、患部組織の色は、健康な組織よりわずかに赤みがかっていることがある。他の例では、患部組織周辺の領域の色だけが、健康な組織より暗い又は少し明るい色であることがある。更に、患部組織の色は、赤とは異なり、例えば、もっと白っぽい又はもっと青みを帯びていることがある。従って、周辺の健康な組織の色と比較した異常部の色との間の差異を強調表示するか又はそうでない場合、その差異を内科医に(例えば、本発明の実施形態によって可能にし得るように、病変を含む画像の色コントラストを大きくすることによって)示すことは有用な場合がある。そのような表示によって、疑わしい病変領域を見逃したり看過したりせずに画像ストリームを素早く見ることができ、また、これによって、画像の閲覧に内科医が費やす時間を短縮することができる。
【0047】
通常、装置140は、離散的な部分における画像情報を送信する。各部は、通常、画像又はフレームに対応するが、他の適切な送信方法を用いてもよい。例えば、幾つかの実施形態において、装置140は、画像を1/2秒に一回捕捉し且つ/又は取り込み、その画像データを外部受信機/記録計112に送信する。他の一定の及び/又は可変の取り込み速度及び/又は送信速度を用いてもよい。
【0048】
GI管の画像内において腫瘍、外傷又は潰瘍等の病変を特定することは、見ようとする胃腸管及び特徴又は病変が、極めて類似した背景色を有するという事実によって複雑化することがある。例えば、腫瘍の色は、それ周辺の健康な組織と極めて類似するが、熟練した内科医は、例えば、素人目には区別が困難と思われるわずかな色の違いに基づき、健康な組織と腫瘍とを区別することが可能である。異常部は、他の方法でも、例えば、正常組織との形状の違いに基づき、又は患部組織と比較した健康な組織における質感の違いに基づき区別される。本発明の実施形態によれば、元の画像の色は、健康な組織と患部組織との間のコントラストを改善するために、例えば、異なる中間調及び人為的な色に拡張及び変更される。
【0049】
従って、本明細書に提供されたものは、色拡張画像を、例えば、自律型生体内装置によって見られる特徴を表す画像を構築するためにコンピュータが実行する方法である。本発明の一実施形態において、画像の色コントラストは、元の色空間、例えば、自然な色空間の値を変換し、そして、観察される特徴が、より高い色コントラストを有するように、また、好適な一実施形態では、その特徴は、利用可能な色値の中で可能な限り最も高い色コントラストを有し得るように、それを拡張することによって、強化される。
【0050】
本方法の一実施形態において、特徴は、自律型生体内装置で見ることができ、そして、画像が取り込まれる。画像の画素特性は、他の色空間にマッピングされる。画像の色コントラスト強化は、色分布を拡張する色変換で誘起される。
【0051】
図2A、3A、4A、5A及び6Aは、生体内において取り込まれた様々な画像を示す。これらの図において分かるように(カラーで見ると最も良い)、画像は、胃腸管それ自体が、実際に赤みがかった色であるという事実により、赤みがかった色調を有する。病変が、胃腸管と同じ赤みがかった色調を有するという事実により、希望するようにかなり詳細に且つはっきりと腫瘍、外傷又は潰瘍等の病変を見ることは少々困難なことがある。
【0052】
図2B、3B、4B、5B及び6Bは、本発明の一実施形態に基づき色強化された後の画像を示す。これらの図において分かるように(カラーで見ると最も良い)、画像の色コントラストは、強化され、画像内において色コントラストが改善されており、これにより、腫瘍、外傷又は潰瘍等の病変は、更に詳細に且つはっきりと見ることができる。一実施形態によれば、強化された色は、人為色的であり、これは、見ようとする特徴の自然な色を表わさず、且つ特徴の境界が、色強化の結果、強調されることがある。
【0053】
他の実施形態において、本明細書で記載する方法における色変換の使用方法には、次の動作を実施する段階が含まれる。即ち、画像の画素色特性を得る段階(図7Aを参照)と、元の画素色特性を異なる色座標組に変換する段階(一実施形態では、この段階は、オプションであってよい)と、元の色分布の平均値を決定する段階と、新しい平均値及び換算係数に基づき画素色特性を修正する段階と、が含まれる。幾つかの実施形態によれば、所定の色座標の平均値は、与えられた所定の色波長範囲について、演算又は設定される。元の色分布の平均値は、画像又は画像の一部に基づき決定される。幾つかの実施形態によれば、平均値は、一連の連続した画像に又は連続した画像の一部に基づいて計算される。例えば、画像の中央に中心が置かれた円等の画像の一部だけを用いて、平均値が計算される。
【0054】
他の実施形態では、本明細書で記載する方法における色変換の使用方法には、画像の画素色特性を得る段階と、正規化RGB色空間(r、g、b)を用いて、元の色分布の新しい平均値を決定する段階と、新しい平均値に基づき画素色特性を修正する段階とを実施する段階が含まれる。
【0055】
色は、網膜に入射する特定の分光分布によって生成される視感覚である。一実施形態において、取り込まれた画像の画素特性を特徴付ける段階には、他の実施形態では色空間又はスペクトル空間と呼ばれる色座標系を用いて色応答関数を計算する段階を伴うが、これらは、これによって色を指定し、生成し、視覚化できる手段である。用途が異なれば、異なる色空間を用いるのが良い。一実施形態において、本明細書に記載した方法は、色管理システム(CMS)を利用して、取り込まれた画像を特徴付け、また、色撮像システム間において色データを変換する。
【0056】
多重スペクトル画像は、同じシーンの2つ以上の単色画像の集合体である。多重スペクトル画像は、複数の既知のスペクトル又は色空間の任意の1つで記述できる。例えば、1つの公知の多重スペクトル画像は、RGB(赤−緑−青)カラー画像である。RGBカラー画像は、赤、緑及び青成分を含んでおり、従って、画像は、RGBスペクトル空間において記述されると言える。一実施形態において、用いる元の色座標系は、RGBである。
【0057】
本明細書にも記載したように、本明細書に記載した方法を用いて得られたデジタルデータ値の行列は、一般的に、“デジタル画像”又はもっと簡単に“画像”と称され、メモリ等のデジタルデータ記憶装置に、例えば、シーンにおける異なる波長のエネルギの空間分布を表す一連の数値として記憶される。デジタル多重スペクトル画像並びに全てのデジタル画像は、アレイ状の画素によって表される。アレイ中の各数値は、通常、“画要素”又は“画素”又は“画像データ”と称するデジタル値に対応する。従って、一実施形態において、画素は、画像中の特定の空間座標に配置される単一のサンプルを表す。
【0058】
例えば、各画素の色及び輝度値をRGB値から計算される所謂RGBカラー方式を用いて、本明細書では、赤色(Rビット)を表す所定数のビット(例えば、8ビット)、緑色(Gビット)を表す所定数のビット(例えば、8ビット)、及び青色(Bビット)を表す所定数のビット(例えば、8ビット)によって表される各画素を参照することがある。従って、8ビットRGBカラー表現では、画素は、24ビット列によって表わされる。もちろん、各RGB値について、8ビットより多い又は少ないビット数を用いることも可能である。
【0059】
他の実施形態では、用いられる色空間は、国際照明委員会L*a*b*(CIELAB)色空間である。CIEは、HVS(人間の視覚系)に基づき色を分類する系統を定義してきている。この系統を用いて、あらゆる色は、そのCIE座標で指定することができる。
【0060】
他の実施形態において、カラー画素は、色相、彩度、輝度(HSB)方式又はシアン、マゼンタ、黄、黒(CMYK)方式等の、他の色又はスペクトル方式を用いて表される。或る実施形態において、本明細書に記載した方法に用いられる方式は、RGB、CMY(シアン、マゼンタ、黄)、CYMK、HSI(強度)、HCI(色度/彩度)、TSD(色相彩度及び黒さ)、HSV(色値)、又はYCbCr、YUV、UVW、U’V’W’、YCC及びYIQ(テレビ伝送色空間)座標組又は色方式、並びにCIEL*u*v*及びCCIR(国際無線通信諮問委員会)601YCbCr、スペクトル空間である。従って、本明細書に記載した技法は、上記したRGB、HSB、CMYK方式並びに輝度及び色軸a&b(Lab)色座標系、カルフーネン・レーヴ(Karhunen−Loeve)色座標系、網膜錐体色座標系及びCIEX、Y、Z方式に限定するものではないが、これらを含む複数の色方式に適用可能であることに留意されたい。
【0061】
一実施形態において、一旦、画像、即ち、例えば、RGB形式の画素色特性が得られると、元の画素色特性は、異なる色座標組に変換されるか、又は他の選択肢として、元の座標組は、正規化され、r=R/(R+G+B)及びg=G/(R+G+B)が計算される。
【0062】
他の実施形態では、画像の一部の平均値、例えば、u’v’座標において画像の照らされた領域が、更に評価される。一実施形態によれば、色分布の平均値は、与えられた所定の色波長範囲について決定される。
【0063】
一実施形態では、新しい平均値が、拡張色分布について決定される。新しい平均値を決定した後、次のステップは、新しい平均値に基づき、画素色特性を変換する段階であり、これには、新しいu’v’座標値を割り当てる段階が含まれ、これによって、新しい座標値は、[(元の座標値とu’v’色空間における元の色分布の平均値との間の差)と換算係数との積]と、新しい平均値の座標値と、の和であり、次のようになる。
【0064】
New_u’=(u’−<u>)・ScaleFactor+<New_u>
New_v’=(v’−<v>)・ScaleFactor+<New_v>
上式において、
<u>及び<v>は、u’v’色空間における元の平均値を示し、
<New_u>及び<New_v>は、u’v’色空間における新しい平均値を示し、
New_u’及びNew_v’は、u’v’色空間における新しい画素座標を示し、
u’及びv’は、u’v’色空間における元の画素座標を示し、
ScaleFactorは、選択された換算係数を示す。
【0065】
第1実施形態では、この元の平均値は、各フレームについて別々に計算される。他の実施形態では、この平均値は、多くのGI画像の統計値に基づき、あらかじめ計算される。他の実施形態では、元の平均値の計算は、例えば、ストリーム中の最近の又は以前の画像で計算した履歴値を考慮して、IIRに基づく。
【0066】
一実施形態において、本明細書に記載した方法に用いる換算又は膨張係数は、可変であり、画像領域に基づく関数として選択される。“画像領域”又はもっと簡単に“領域”は、画像の一部である。例えば、画像が、32x32画素アレイとして提供される場合、領域は、32x32画素アレイの4x4の部分に対応する。好適な一実施形態において、画素アレイは、もっと大きく、例えば、256x256画素である撮像装置を用いる。他の実施形態では、換算係数は、一定の利得(例えば、2.5)である。更に他の実施形態では、換算係数は、ユーザからの入力に基づき、選択又は微調整される。ユーザからの入力は、他のパラメータ、例えば、拡張色分布の新しい平均値を決定するために用いられる。換算係数は、輝度(Y)等の他のパラメータの関数として変更される。例えば、輝度が低い場合、換算係数は、画像において不必要な雑音の付加を回避するために、ユーザの選択した入力より小さいことがある。一実施形態では、所定の領域又は対象の領域(AOI)は、超音波等の他の分光法を用いて、一実施形態で決定される。従って、また、或る実施形態では、画素アレイは、対象領域の好適な色コントラストを生成するように構成し、一方、AOIの外側では、画素アレイの色コントラストは、低くしたり、高くしたり、また、変化させなくてもよい。
【0067】
一実施形態において、<New_u>及び<New_v>は、u’v’色空間における予め選択された値を指し、これらの値は、どの色変換が実施されるかに基づき、所望の平均値として選択される。一実施形態によれば、色分布の平均値は、第2色空間の中央領域にシフトし、また、色分布は、拡張して、より広い色範囲を利用し得る。一実施形態によれば、<New_u>及び<New_v>の新しい平均値は、色特性の全方向において最大の拡張を可能にするために、第2色空間の中央位置において選択し、これによって、強化された画像の色コントラストを高く又は最大にできる。他の実施形態によれば、新しい平均値は、中央位置において選択される必要はなく、また、色特性の拡張は、選択された新しい平均値を中心にして非対称に実施し得る。
【0068】
新しい平均値及び値の計算/選択は、一実施形態では、対象の画像領域に、又は他の実施形態では、病変、特徴、領域等に依存する。例えば、一実施形態における<New_u>及び<New_v>は、より良い視覚化及び分解のために、白色であえい、また、他の実施形態では、元の画像平均値であって、自然な又は元の色を維持する。従って、白色の場合、<New_u>及び<New_v>は、0.1978、0.4683である。正規化r、gの場合、白色点は、0.333、0.333である。好適な一実施形態において、実質的に赤みがかった画像、例えば、生体内画像では、平均値は、第2色空間、例えば、u’v’色空間の灰色又は白色領域に置かれる。
【0069】
一実施形態において、New_u’及びNew_v’は、次に、u’v’画像値からRGB画像値に再度変換される。正規化r、g、b空間は、u’v’空間の代わりに用い得る。このステップに含まれるのは、好適には、妥当でないデータを修正することである。例えば、妥当でないデータを修正する段階は、負の座標値及び1より大きい座標値をトリミングすることによって実施される。他の実施形態では、有効な範囲又は所定の範囲内にない値、例えば、0−255は、所定の有効な値にトリミング又は修正される。
【0070】
このステップにおいて、第3の成分を、好適には、一定に維持する。例えば、u’v’では、Y(輝度)を、一定に維持する。また、rgでは、R、G、Bの和を、一定に維持する。更に、max(R、G、B)も、R、G、Bの和の代わりに固定される。
【0071】
当業者は、第2色空間における新しい画素色値(座標)は、見ようとする画像又は画像領域が、最適な色コントラストを生じるまで、変更されることを容易に認識されるであろう。ソフトウェアを用いて、ユーザは、色コントラストを制御し、例えば、手動で改良することが可能である。他の選択肢として、色コントラスト値は、輝度の関数として変更される。即ち、低輝度での色雑音の強調を回避するために、輝度の低い値において色コントラストが減じられる。一実施形態において、u及びvの値は、結果的に生じる画像が、例えば、可視光の全スペクトルを利用して画像を生成し、管腔の赤色調の画像と比較して、色コントラストがよくなるように変更される。或る実施形態において、最適なコントラストは、ユーザにより<New_u>及び<New_v>値を変えることによって得られる。一実施形態において、照射源142の波長は、病変と病変に関連する背景パターンとの間に最適なコントラストを提供するように調整する。本明細書に記載したように、或る実施形態において、最適な色コントラストを提供することは、観察対象病変と病変に関連する背景パターンとの間に最大の色コントラストを提供することを意味する。他の実施形態では、照射源142の波長は、健康な構造と対応する病変との間に最適な色コントラストを提供するように調整される。一実施形態において、本明細書に述べた最適な色コントラストは、一実施形態では、低ルミネッセンス強度を、又は、他の実施形態では、高ルミネッセンス強度を補償するように、<u>及び<v>の値を変えることを意味する。
【0072】
一実施形態によれば、色値の拡張は、新しい平均値を決定することなく計算される。
同様に、また、他の実施形態において、データをそれに及びそれから変換するために用いられる色座標系は、観察する画像領域又は見る病変を最適化するために変更される。一実施形態では、上記方法は、本明細書に記載した画像領域において色コントラストを強化する方法に用いられる。
【0073】
次に、図8を参照する。従って、一実施形態において、本明細書に提供されるものは、画像又は画像の一部の色コントラストを高くする方法である。本方法には、画像を受信する又は得る段階と、受信された画像から色拡張画像を構築する段階と、が含まれ、色拡張は、画像の又は画像内の対象領域の色コントラストを強化する。
【0074】
他の実施形態において、自律型生体内装置で見る胃腸管における画像又は画像の一部の色コントラストを高めるための色拡張画像を構築する段階には、第1色空間における画像を受信する段階(800)と、画像の或る実施形態における輝度及び色値等の画素特性を第2色空間にマッピングする段階(810)と、画像の色分布を推定する段階(820)と、拡張/拡大分布を得るために、第2色空間の有効な値に渡って色分布を拡張する段階(830)と、及び拡張色分布を用いて、第1色空間における新しい画素特性を計算する段階(840)とが含まれる。一実施形態によれば、新しい画素特性を計算する段階には、拡張分布に基づき、画素特性への色変換を誘起する段階が含まれる。一実施形態において、色拡張画像を構築する段階には、画素色特性を得る動作と、元の画素色特性を異なる色座標組に変換する動作と、与えられた所定の色波長範囲の場合、拡張色分布の新しい平均値を決定する動作と、新しい平均値に基づき、画素色特性を決定する動作とが含まれる。
【0075】
一実施形態では、座標系が使用され、他の実施形態では、新しい平均値もしくは換算係数は、撮像しようとする病変に基づき、選択される。
幾つかの実施形態において、画像解析及び/又は比較は、ほぼリアルタイムに、例えば、装置140が生体内にある間、撮像装置146が画像を取り込む間、送信機141が画像データを送信する間、受信機/記録計112が画像データを受信する間、そして、ワークステーション117が生体内画像を表示する間、実施される。
【0076】
他の実施形態において、本発明は、グラフィカルユーザーインターフェイスを提供するが、これは、モニタ118上に表示可能であり、これは、生体内撮像装置によって取り込まれた選択画像を、通常表示で又は色拡張した即ち“強化した”色表示でのいずれかで、例えば、可視色の全スペクトルで見る選択肢をユーザに提供する。このインターフェイスによって、ユーザは、選択画像を意のままに更にはっきりと見ることが可能になる。一実施形態において、強化色コントラスト表示は、選択画像のみに、例えば、内科医によって選択された画像又は図1に示した処理ユニット114等の処理ユニットによって自動的に選択された画像に適用する。これらの画像は、胃腸組織の病変又は異常を示すと考えられる。他の実施形態では、強化された色表示は、像ストリームにおける全ての画像に、又は、幾つかの画像に、例えば、第2又は第3番目の画像毎に又は第100番目の画像毎に適用される。強化された色表示を適用する他の構成を用いてもよい。
【0077】
一実施形態によれば、色コントラスト強化のレベルは、例えば、画像ストリームを見つつ、ユーザが決定する。一例において、ユーザは、所定レベルのリストからレベルを選択することによって、例えば、色コントラスト強化の設定値を徐々に変えることができる色コントラスト強化レベルバーに沿ってスライドボタンを動かすことによって、色コントラスト強化のレベルを設定する。他のユーザインターフェイス実施例を用いてもよい。一実施形態において、コントラスト強化の強化画像出力は、そのレベルが、低コントラストレベルに設定された場合、組織の自然な色に近くなることがあり、色コントラスト強化のレベルが高いレベルに設定された場合、(撮像装置によって元々撮像された)組織の自然な色と大きく異なったりすることがある。
【0078】
以下の例は、本発明の好適な実施形態を更に充分に示すために提示する。それは、しかしながら、決して、本発明の広い範囲を限定すると解釈すべきでない。
例
例1:青色強化胃腸画像を生成するための方法
以下は、元の及び変換された色座標組の一実施形態で用いる色拡張の例である。
【0079】
本例において、RGB画像が、図2A、3A、4A、5A及び6Aに示すように得られた。そして、RGB値は、第2組の座標(u’v’色空間)に変換された。
RGBからu’v’へ:
RGBからXYZに(D65白色点で)変換する場合、変換行列は、以下の通りである。
【0080】
【数1】
【0081】
白色点は、画像における色“白”を定義するように機能する色度座標の組である。D65は、6500度ケルビンを示す。
XYZからu’v’=
u’=4X/(X+15Y+3Z)
v’=9Y/(X+15Y+3Z)
である。
【0082】
次に、本明細書に提示された色拡張関数を用いて、
New_u’=(u’−<u>)・ScaleFactor+<New_u>
New_v’=(v’−<v>)・ScaleFactor+<New_v>
と、新しい座標値を拡張する。
【0083】
そして、拡張座標値をu’v’色空間(又は正規化r,g)からRGB色空間に再度変換した。上記したように、第3成分Y(輝度)は、一定に維持する。
u’v’からRGBへ:
u’v’→XYZ=
X=9/4*Y*u’/v’
Y(変わらない)
Z=((4*X/u’)−X−15*Y)/3
XYZからRGBに(D65白色点で)変換する場合、用いられる行列変換は以下の通りである。
【0084】
【数2】
【0085】
画像は、強化された色で表示される。図2A、3A、4A、5A及び6Aの元の画像と比較して、図2B、3B、4B、5B及び6Bを参照されたい。
他の実施形態において、G及びBチャネルにおける固定利得(例えば、Gの1.5及びBの3)を適用するが、例えば、生体内画像における病変は、あまり顕著でないことがある。本実施形態では、R、G、B値は、有効な値の範囲に留めるために、修正される(例えば、これらの値は、単一の所定の又は計算された係数によって、トリミング又は除算される)。Rチャネルは、生体内画像等の或る構成では、広いダイナミックレンジを用い得ることから、一定に維持してよい。他の実施形態において、R、G及びBチャネルの利得は、特定の画素特性に基づき、計算し拡張し得る。そのような実施形態では、第2色空間を用いる必要はなく、また、全ての計算は、元の色空間について実施される。
【0086】
生体内胃腸試験患者からの115フレームサンプル(胃から67フレーム、SBから16、結腸から32)に基づき、u’v’次元における色変換の前と後で、画像における一部の画素のu’v’座標のヒストグラムを準備した。例えば、画素の一部は、全ての照らした画素を含み、又は選択条件もしくは判断基準、例えば、所定の条件に合致する画素のグループを含む。図7Aは、生体内撮像装置によって取り込まれた画像の照らした領域における全画素が含まれる画素の一部のu’v’座標のヒストグラムを示す。図7Bは、本発明の方法を用いた色拡張後、画像の照らした領域の全画素のu’v’座標のヒストグラムを示す。このヒストグラムは、極めて鋭く、従って、その対数をグラフ化し、最大値で正規化した。参照用として、純色もグラフ化しており、好適な実施形態により新しい平均値として用い得る白色点は、“+”符号によって記載している。
【0087】
本明細書において提示したプロセスは、元来、いずれか特定のコンピュータ又は他の装置に関係するものではない。本明細書の教示内容に基づくプログラムと共に様々な汎用システムが用いられる。又は、所望の方法を実施する更に専用の装置を構築すると好都合なこともある。これらの様々なシステム用の所望の構造が、本明細書の説明から分かる。更に、本発明の実施形態は、何らかの特定のプログラミング言語を参照して記載していない。本明細書に記載した本発明の教示内容を実現するために、様々なプログラミング言語を用い得ることを認識されるであろう。
【0088】
特に記載しない限り、本明細書の議論から明らかなように、本明細書全体において、“推定する”、“処理する”、“演算する”、“計算する”、“決定する”等の用語を用いる説明は、コンピュータ処理システムのレジスタ及び/又はメモリ内における物理的な、例えば、電子的な量として表されるデータを操作及び/又は変換して、コンピュータ処理システムのメモリ、レジスタ又は他のそのような情報記憶装置、送信又は表示装置内において物理的な量として同様に表される他のデータにするコンピュータもしくはコンピュータ処理システム、又は同様な電子処理装置(例えば、“コンピュータ・オン・チップ”又はASIC)の動作及び/又は処理を通常指すことを認識されたい。
【0089】
本発明は、本明細書において具体的に示し述べたことに限定されないことを当業者は認識されたい。
添付図面を参照して、本発明の好適な実施形態について記載したが、本発明は、本明細書において示し記載した実施形態そのものに限定されないことを理解されたい。むしろ、当業者は、本発明の範囲又は技術思想から逸脱することなく、様々な変更及び修正をそこで行うことができ、また、本発明の範囲は、後記する請求項によってのみ規定される。
【0090】
なお、出願時に提出した外国語明細書中に使用不可能な表現が含まれていたために、この翻訳文では代替表記を使用した。具体的には、平均値を表す
<u>,<v>,<New_u>及び<New_v>各々
【0091】
【数3】
【0092】
のように、上線をつけて表現されていたが、便宜上翻訳文では、< >で囲って表現した。
【特許請求の範囲】
【請求項1】
画像のコントラストを拡大する方法であって、
第1色空間の画像を受信する段階と、
前記画像の色変換を決定する段階と、
前記色変換を用いて、色拡張画像を構築する段階と
を備え、前記色変換は、前記画像の少なくとも一部の色の範囲を拡張する、方法。
【請求項2】
請求項1に記載の方法であって、前記画像の色変換を決定する段階は、
前記画像の色分布を推定する段階と、
前記色空間の有効な値全体に前記色分布を拡張して、拡張色分布を得る段階と、
前記拡張色分布を用いて、新しい画素色特性を計算する段階と、
を含む、方法。
【請求項3】
請求項1に記載の方法であって、前記画像の色変換を決定する段階は、
画素色特性を第2色空間にマッピングする段階と、
前記第2色空間において前記画像の色分布を推定する段階と、
前記第2色空間における前記色分布を拡張して、拡張色分布を得る段階と、
前記拡張色分布を用いて、前記第1色空間における新しい画素色特性を計算する段階と
を含む、方法。
【請求項4】
請求項3に記載の方法であって、更に、
前記色分布の元の平均値を決定する段階と、
前記拡張色分布の新しい平均値を決定する段階と
を含み、前記新しい画素色特性は、前記新しい平均値に基づき計算される、方法。
【請求項5】
請求項4に記載の方法であって、前記新しい平均値は、少なくとも前記画像、前記画像の一部の選択画素、画像ストリームの以前の画像、又は所定の値のいずれかに基づき決定される、方法。
【請求項6】
請求項4に記載の方法であって、前記元の平均値は、少なくとも前記画像、前記画像の一部の選択画素、又は画像ストリームの以前の画像のいずれかに基づき決定される、方法。
【請求項7】
請求項4に記載の方法であって、前記第1色空間は、RGB色空間である、方法。
【請求項8】
請求項7に記載の方法であって、これによって、前記第2色空間は、正規化rgb、CYM、CYMK、HIS、HSV、YCbCr、YUV、UVW、U’V’W’、CIE又はYIQ色空間のいずれか1つである、方法。
【請求項9】
請求項4に記載の方法であって、前記新しい画素色特性は、前記第2色空間において、
<u>及び<v>が、前記第2色空間における前記元の平均値を示し、
<New_u>及び<New_v>が、前記第2色空間における前記新しい平均値を示し、
New_u’及びNew_v’が、前記第2色空間における前記新しい画素色特性を示し、
u’及びv’が、前記第2色空間における前記元の画素色特性を示し、
ScaleFactorが、選択した換算係数を示すとき、
New_u’=(u’−<u>)・ScaleFactor+<New_u>
New_v’=(v’−<v>)・ScaleFactor+<New_v>
で計算され、次に、前記第1色空間に再度変換され、
輝度値が、一定に維持される、方法。
【請求項10】
請求項9に記載の方法であって、前記換算係数は、ユーザ入力に基づき選択される、方法。
【請求項11】
請求項3に記載の方法であって、更に、妥当でない画素色特性を修正する段階を含む、方法。
【請求項12】
請求項4に記載の方法であって、これによって、前記新しい平均値が、対象領域の所与の特性、所定の値、又はユーザ入力のいずれか1つに基づき選択される、方法。
【請求項13】
請求項12に記載の方法であって、これによって、前記対象領域の所与の特性は、病変である、方法。
【請求項14】
請求項1に記載の方法であって、前記画像は、生体内画像である、方法。
【請求項15】
請求項14に記載の方法であって、前記画像は、飲み込み可能なカプセルによって取り込まれる、方法。
【請求項1】
画像のコントラストを拡大する方法であって、
第1色空間の画像を受信する段階と、
前記画像の色変換を決定する段階と、
前記色変換を用いて、色拡張画像を構築する段階と
を備え、前記色変換は、前記画像の少なくとも一部の色の範囲を拡張する、方法。
【請求項2】
請求項1に記載の方法であって、前記画像の色変換を決定する段階は、
前記画像の色分布を推定する段階と、
前記色空間の有効な値全体に前記色分布を拡張して、拡張色分布を得る段階と、
前記拡張色分布を用いて、新しい画素色特性を計算する段階と、
を含む、方法。
【請求項3】
請求項1に記載の方法であって、前記画像の色変換を決定する段階は、
画素色特性を第2色空間にマッピングする段階と、
前記第2色空間において前記画像の色分布を推定する段階と、
前記第2色空間における前記色分布を拡張して、拡張色分布を得る段階と、
前記拡張色分布を用いて、前記第1色空間における新しい画素色特性を計算する段階と
を含む、方法。
【請求項4】
請求項3に記載の方法であって、更に、
前記色分布の元の平均値を決定する段階と、
前記拡張色分布の新しい平均値を決定する段階と
を含み、前記新しい画素色特性は、前記新しい平均値に基づき計算される、方法。
【請求項5】
請求項4に記載の方法であって、前記新しい平均値は、少なくとも前記画像、前記画像の一部の選択画素、画像ストリームの以前の画像、又は所定の値のいずれかに基づき決定される、方法。
【請求項6】
請求項4に記載の方法であって、前記元の平均値は、少なくとも前記画像、前記画像の一部の選択画素、又は画像ストリームの以前の画像のいずれかに基づき決定される、方法。
【請求項7】
請求項4に記載の方法であって、前記第1色空間は、RGB色空間である、方法。
【請求項8】
請求項7に記載の方法であって、これによって、前記第2色空間は、正規化rgb、CYM、CYMK、HIS、HSV、YCbCr、YUV、UVW、U’V’W’、CIE又はYIQ色空間のいずれか1つである、方法。
【請求項9】
請求項4に記載の方法であって、前記新しい画素色特性は、前記第2色空間において、
<u>及び<v>が、前記第2色空間における前記元の平均値を示し、
<New_u>及び<New_v>が、前記第2色空間における前記新しい平均値を示し、
New_u’及びNew_v’が、前記第2色空間における前記新しい画素色特性を示し、
u’及びv’が、前記第2色空間における前記元の画素色特性を示し、
ScaleFactorが、選択した換算係数を示すとき、
New_u’=(u’−<u>)・ScaleFactor+<New_u>
New_v’=(v’−<v>)・ScaleFactor+<New_v>
で計算され、次に、前記第1色空間に再度変換され、
輝度値が、一定に維持される、方法。
【請求項10】
請求項9に記載の方法であって、前記換算係数は、ユーザ入力に基づき選択される、方法。
【請求項11】
請求項3に記載の方法であって、更に、妥当でない画素色特性を修正する段階を含む、方法。
【請求項12】
請求項4に記載の方法であって、これによって、前記新しい平均値が、対象領域の所与の特性、所定の値、又はユーザ入力のいずれか1つに基づき選択される、方法。
【請求項13】
請求項12に記載の方法であって、これによって、前記対象領域の所与の特性は、病変である、方法。
【請求項14】
請求項1に記載の方法であって、前記画像は、生体内画像である、方法。
【請求項15】
請求項14に記載の方法であって、前記画像は、飲み込み可能なカプセルによって取り込まれる、方法。
【図1】
【図8】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【公開番号】特開2009−201994(P2009−201994A)
【公開日】平成21年9月10日(2009.9.10)
【国際特許分類】
【外国語出願】
【出願番号】特願2009−44295(P2009−44295)
【出願日】平成21年2月26日(2009.2.26)
【出願人】(506203914)ギブン イメージング リミテッド (45)
【氏名又は名称原語表記】GIVEN IMAGING LTD.
【Fターム(参考)】
【公開日】平成21年9月10日(2009.9.10)
【国際特許分類】
【出願番号】特願2009−44295(P2009−44295)
【出願日】平成21年2月26日(2009.2.26)
【出願人】(506203914)ギブン イメージング リミテッド (45)
【氏名又は名称原語表記】GIVEN IMAGING LTD.
【Fターム(参考)】
[ Back to top ]