画像処理装置、画像処理方法、及び画像処理プログラム
【課題】複数画像を１つの画面に表示する場合において、各画像の端部領域に影響を与えることなく、隣同士に配置された画像間の境界をユーザに認識させないように表示可能な画面を生成する画像処理装置等を提供する。
【解決手段】画像処理装置１は、複数の画像を配置した画面を生成する画像処理装置であって、複数の画像を、隙間を空けて配置する画像配置部１４２と、上記隙間を、該隙間に隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理部１４４とを備える。
【解決手段】画像処理装置１は、複数の画像を配置した画面を生成する画像処理装置であって、複数の画像を、隙間を空けて配置する画像配置部１４２と、上記隙間を、該隙間に隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理部１４４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医用画像を処理する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、医療診断や検査においては、種々の画像取得装置によって取得された被検体の医用画像を用いて診断を行うことが主流となっている。そのため、医用画像を観察して異常所見のあるものを選び出す読影医の負担を軽減する技術が望まれている。
【０００３】
例えば、被検体内に導入されて体内を撮像するカプセル型内視鏡により１回の検査で取得される体内画像の数は、約６万枚に上る。そのため、大量の画像の読影効率を上げるために、複数の画像を１つの画面に同時に表示して観察する場合もある。複数画像を同時に表示する技術としては、例えば、特許文献１に生体内画像ストリームにある複数のフレームを実質的に同時に表示することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２００４／００２７５００号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、複数の画像を１つの画面に表示する場合、平滑化による畳み込みやミラーリング等の処理により、別個の画像の間の境界線を融合することが知られている。
しかしながら、隣接する画像間の境界線を平滑化等の処理によって融合する場合、各画像の端部領域の画素値に影響を与えてしまう。そのため、例えば、画像内の端部領域に重要な所見箇所がある場合、そのような所見箇所の像の状態を変化させてしまうおそれがある。
【０００６】
本発明は、上記に鑑みてなされたものであり、複数画像を１つの画面に表示する場合において、各画像の端部領域に影響を与えることなく、隣同士に配置された画像間の境界をユーザに認識させないように表示可能な画面を生成する画像処理装置、画像処理方法、及び、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、複数の画像を配置した画面を生成する画像処理装置であって、前記複数の画像を、隙間を空けて配置する画像配置部と、前記隙間を、該隙間と隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理部とを備えることを特徴とする。
【０００８】
上記画像処理装置において、前記複数の画像の各々は矩形状をなし、各画像の４隅に位置する三角形状の隅領域をマスキングする画像処理部と、自身及び他の画像によって囲まれる隅領域を補間する隅領域補間部をさらに備えることを特徴とする。
【０００９】
上記画像処理装置において、前記隅領域補間部は、補間対象の前記隅領域内の補間画素の画素値を、前記各画像の画素であって、前記隅領域の境界線に対して前記補間画素と対称な位置にある画素の画素値を用いて算出することを特徴とする。
【００１０】
上記画像処理装置において、前記隅領域補間部は、補間対象の前記隅領域内の補間画素の画素値を、マスキングされた前記各画像の端部画素であって、前記境界線に沿った端部画素の画素値を用いて算出することを特徴とする。
【００１１】
上記画像処理装置において、前記補間処理部は、前記隙間内の補間画素の画素値を、前記隙間と隣接する２つの画像に含まれる画素であって、該画像と前記隙間との境界に対して前記補間画素と対称な位置にある画素の画素値を用いて算出することを特徴とする。
【００１２】
上記画像処理装置において、前記補間処理部は、前記補間画素の画素値を、前記境界に対して前記補間画素と対称な位置にある画素の画素値と、前記境界に対して前記隙間と対称な領域に含まれる画素の画素値の平均値とを、前記境界と前記補間画素との距離に応じてブレンドすることによって算出することを特徴とする。
【００１３】
上記画像処理装置において、前記補間処理部は、前記補間画素の画素値を、前記隙間に隣接する２つの画像に含まれる画素であって、前記境界に対して前記補間画素とそれぞれ対称な位置にある２つの画素の画素値を、前記境界と前記補間画素との距離に応じてブレンドすることによって算出することを特徴とする。
【００１４】
上記画像処理装置において、前記補間処理部は、前記隙間内の補間画素の画素値を、前記隙間に隣接する２つの画像の端部画素の内、互いに対向する２つの端部画素の画素値の間で傾斜的又は段階的に変化させることによって取得することを特徴とする。
【００１５】
上記画像処理装置において、前記補間処理部は、前記隙間の内、前記隅領域補間部によって補間された前記隅領域と隣接する領域内の補間画素の画素値を、前記隙間に隣接する２つの画像に含まれる画素であって、前記隅領域の境界線に対して前記補間画素とそれぞれ対称な位置にある２つの画素の画素値を、前記隙間と該隙間に隣接するいずれかの画像との境界と前記補間画素との距離に応じてブレンドすることによって算出することを特徴とする。
【００１６】
上記画像処理装置において、前記画像配置部は、１つの画面に配置される前記複数の画像の向きを、前記複数の画像間で対応する周縁領域の類似度に基づいて決定することを特徴とする。
【００１７】
上記画像処理装置において、前記画像配置部は、前記複数の画像間で対応する周縁領域同士の類似度に応じて、前記複数の画像を上下及び／又は左右に反転させることを特徴とする。
【００１８】
上記画像処理装置において、前記画像配置部は、前記複数の画像の各々における中心領域と周縁領域との類似度に応じて、前記複数の画像を上下及び／又は左右に反転させることを特徴とする。
【００１９】
本発明に係る画像処理方法は、複数の画像を配置した画面を生成する画像処理装置が行う画像処理方法であって、前記複数の画像を、隙間を空けて配置する画像配置ステップと、前記隙間を、該隙間に隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理ステップとを含むことを特徴とする。
【００２０】
本発明に係る画像処理プログラムは、複数の画像を配置した画面を生成する画像処理プログラムであって、前記複数の画像を、隙間を空けて配置する画像配置ステップと、前記隙間を、該隙間に隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、複数の画像を隙間を空けて配置し、この隙間を該隙間に隣接する画像の端部領域の画素の画素値を用いて補間するので、各画像の端部領域に影響を与えることなく、且つ、隣同士に配置された画像間の境界をユーザに認識させないような画面を生成することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理装置を含む内視鏡システムの概略構成例を示す模式図である。
【図３】図３は、図１に示す画像処理装置の動作を示すフローチャートである。
【図４】図４は、図１に示す画像処理部によって生成された体内画像の例を示す模式図である。
【図５】図５は、４つの隅領域がマスキングされた体内画像の例を示す模式図である。
【図６】図６は、１画面に表示する画像の組の決定方法を説明する図である。
【図７】図７は、１画面に表示する画像の配置方法を説明する図である。
【図８】図８は、補間対象の隅領域を説明する図である。
【図９】図９は、４つの画像が隙間を空けてマトリックス状に配置された状態を示す図である。
【図１０】図１０は、４つの画像の間の隙間領域が補間された状態を示す模式図である。
【図１１】図１１は、４つの画像をつなげた画像に対して隅領域をマスキングした状態を示す図である。
【図１２】図１２は、隅領域の補間処理を示すフローチャートである。
【図１３Ａ】図１３Ａは、実施の形態１における隅領域の補間処理を説明する図である。
【図１３Ｂ】図１３Ｂは、実施の形態１における隅領域の補間処理を説明する図である。
【図１４】図１４は、実施の形態１における隙間領域の補間処理を示すフローチャートである。
【図１５Ａ】図１５Ａは、実施の形態１における隙間領域の補間処理を説明する図である。
【図１５Ｂ】図１５Ｂは、実施の形態１における隙間領域の補間処理を説明する図である。
【図１５Ｃ】図１５Ｃは、実施の形態１における隙間領域の補間処理を説明する図である。
【図１５Ｄ】図１５Ｄは、実施の形態１における隙間領域の補間処理を説明する図である。
【図１５Ｅ】図１５Ｅは、実施の形態１における隙間領域の補間処理を説明する図である。
【図１６】図１６は、実施の形態２における隙間領域の補間処理を示すフローチャートである。
【図１７Ａ】図１７Ａは、実施の形態２における隙間領域の補間処理を説明する図である。
【図１７Ｂ】図１７Ｂは、実施の形態２における隙間領域の補間処理を説明する図である。
【図１７Ｃ】図１７Ｃは、実施の形態２における隙間領域の補間処理を説明する図である。
【図１７Ｄ】図１７Ｄは、実施の形態２における隙間領域の補間処理を説明する図である。
【図１８】図１８は、実施の形態３における隙間領域の補間処理を示すフローチャートである。
【図１９Ａ】図１９Ａは、実施の形態３における隙間領域の補間処理を説明する図である。
【図１９Ｂ】図１９Ｂは、実施の形態３における隙間領域の補間処理を説明する図である。
【図２０】図２０は、実施の形態４における隙間領域の補間処理を示すフローチャートである。
【図２１Ａ】図２１Ａは、実施の形態４における隙間領域の補間処理を説明する図である。
【図２１Ｂ】図２１Ｂは、実施の形態４における隙間領域の補間処理を説明する図である。
【図２１Ｃ】図２１Ｃは、実施の形態４における隙間領域の補間処理を説明する図である。
【図２１Ｄ】図２１Ｄは、実施の形態４における隙間領域の補間処理を説明する図である。
【図２２】図２２は、実施の形態５における隅領域の補間処理を示すフローチャートである。
【図２３】図２３は、実施の形態５における隅領域の補間処理を説明する図である。
【図２４】図２４は、実施の形態５における隅領域の補間処理を説明する図である。
【図２５】図２５は、実施の形態６における１画面に配置する画像の位置及び向きの決定処理を示すフローチャートである。
【図２６Ａ】図２６Ａは、実施の形態６における１画面に配置する画像の位置及び向きの決定処理を説明する図である。
【図２６Ｂ】図２６Ｂは、実施の形態６における１画面に配置する画像の位置及び向きの決定処理を説明する図である。
【図２７】図２７は、実施の形態７における１画面に配置する画像の位置及び向きの決定処理を示すフローチャートである。
【図２８Ａ】図２８Ａは、実施の形態７における１画面に配置する画像の位置及び向きの決定処理を説明する図である。
【図２８Ｂ】図２８Ｂは、実施の形態７における１画面に配置する画像の位置及び向きの決定処理を説明する図である。
【図２９】図２９は、実施の形態７における１画面に配置する画像の位置及び向きの決定処理を説明する図である。
【発明を実施するための形態】
【００２３】
以下に、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施の形態においては、一例として、被検体の体内に導入されて体内を撮像するカプセル型内視鏡によって取得された体内画像に対する画像処理について説明するが、これらの実施の形態によって本発明が限定されるものではなく、本発明に係る画像処理装置、画像処理方法、及び画像処理プログラムは、種々の画像取得装置（医用観察装置）によって取得された医用画像の処理に適用することが可能である。
【００２４】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、入力部１１と、インタフェース（Ｉ／Ｆ）部１２と、一時記憶部１３と、演算部１４と、記憶部１５と、表示制御部１６と、表示部１７と、
制御部１８とを備える。
【００２５】
入力部１１は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現される。入力部１１は、ユーザの操作に応じた入力信号を、インタフェース部１２を介して制御部１８に入力する。
【００２６】
インタフェース部１２は、ＵＳＢポート等の外部機器（可搬型の記録媒体から画像データを読み取る読取装置等）との接続ポートを含み、入力部１１を介して入力される種々の命令及び情報や、ＵＳＢポート等を介して入力される画像データ及びその関連情報を表す信号の入力等を受け付ける。
【００２７】
一時記憶部１３は、ＤＲＡＭやＳＲＡＭ等の揮発性メモリによって実現され、インタフェース部１２を介して入力された画像データやその関連情報を一時的に記憶する。或いは、一時記憶部１３の代わりに、ＨＤＤ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体を駆動する駆動装置を設け、インタフェース部１２から入力された画像データを上記記録媒体に一旦格納するようにしても良い。
【００２８】
演算部１４は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラムを読み込むことにより、インタフェース部１２から入力された画像データに画像処理を施し、体内画像を所定の形式で表示部１７に表示させるための画像データを生成する。
【００２９】
より詳細には、演算部１４は、一時記憶部１３に記憶された画像データに対してホワイトバランス処理、デモザイキング、色変換、濃度変換（ガンマ変換等）、平滑化（ノイズ除去等）、鮮鋭化（エッジ強調等）等の基本的な画像処理を施す画像処理部１４１と、複数の体内画像が一覧可能に配置された画面を生成するための画像処理を実行する画像配置部１４２、隅領域補間部１４３、補間処理部１４４、及びマスキング部１４５とを有する。
【００３０】
記憶部１５は、フラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリや、ＨＤＤ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体を駆動する駆動装置等によって実現される。記憶部１５は、画像処理装置１を動作させると共に種々の機能を画像処理装置１に実行させるためのプログラム、演算部１４において画像処理が施された画像データ及びその関連情報、並びにプログラムの実行中に使用されるデータ等を記憶する。例えば、記憶部１５は、複数の体内画像が一覧可能に配置された画面を生成する画像処理プログラムを記憶する。
【００３１】
表示制御部１６は、体内画像や、その他種々の情報を所定の形式で表示するよう表示部１７を制御する。
【００３２】
表示部１７は、ＣＲＴディスプレイ、液晶ディスプレイ、ＥＬディスプレイ等の表示装置によって実現される。表示部１７は、表示制御部１６の制御の下で、例えば複数の体内画像が一覧可能に配置された読影画面を表示する。
【００３３】
制御部１８は、ＣＰＵ等のハードウェアによって実現され、記憶部１５に記憶された各種プログラムを読み込むことにより、インタフェース部１２を介して入力される画像データや各種操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
このような画像処理装置１は、ワークステーションやパーソナルコンピュータによって実現される。
【００３４】
図２は、図１に示す画像処理装置１に入力される体内画像の画像データを取得する内視鏡システムの概略構成例を示す模式図である。図２に示す内視鏡システムは、被検体１００の体内に導入されて撮像を行い、体内画像の画像データを無線送信するカプセル型内視鏡２０と、カプセル型内視鏡２０から無線送信された画像データを受信する受信装置３０とを備える。
【００３５】
カプセル型内視鏡２０は、被検体内を照明する照明素子、被検体内からの反射光を集光する集光レンズ、受光した光を電気信号（撮像信号）に変換するＣＣＤ等の撮像素子、撮像素子によって取得された撮像信号を処理する信号処理部を構成するＩＣ、及び送信用無線アンテナ等の各種部品を内蔵している。カプセル型内視鏡２０は、被検体１００の口から飲み込まれた後、臓器の蠕動運動等によって被検体１００の消化管内を移動しつつ、生体部位（食道、胃、小腸、および大腸等）を所定の時間間隔（例えば０．５秒間隔）で順次撮像する。そして、撮像によって得られた撮像信号に対して所定の信号処理を施すことにより画像データを生成し、この画像データを該画像データの関連情報と共に受信装置３０に順次無線送信する。この関連情報には、カプセル型内視鏡２０の個体を識別するために割り当てられた識別情報（例えばシリアル番号）等が含まれる。
【００３６】
受信装置３０は、複数（図２においては８個）の受信アンテナ３２ａ〜３２ｈを有するアンテナユニット３２を介して、カプセル型内視鏡２０から無線送信された画像データ及び関連情報を受信する。各受信アンテナ３２ａ〜３２ｈは、例えばループアンテナを用いて実現され、被検体１００の体外表面上の所定位置（例えば、カプセル型内視鏡２０の通過経路である被検体１００内の各臓器に対応した位置）に配置される。
【００３７】
受信装置３０は、カプセル型内視鏡２０によって撮像が行われている間（例えば、カプセル型内視鏡２０が被検体１００の口から導入され、消化管内を通過して排出されるまでの間）、被検体１００に携帯される。受信装置３０は、この間、アンテナユニット３２を介して受信した画像データに、各受信アンテナ３２ａ〜３２ｈにおける受信強度情報や受信時刻情報等の関連情報をさらに付加し、これらの画像データ及び関連情報を内蔵メモリに格納する。カプセル型内視鏡２０による撮像の終了後、受信装置３０は被検体１００から取り外され、画像処理装置１のＵＳＢポート等に接続されたクレードル３１にセットされる。それにより、受信装置３０は画像処理装置１と接続され、内蔵メモリに格納した画像データを画像処理装置１に送信する。
【００３８】
次に、図１に示す画像処理装置１の動作について説明する。図３は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１１において、画像処理装置１は、カプセル型内視鏡２０によって撮像された体内画像の画像データ及び関連情報を受信装置３０からクレードル３１を介して順次取得し、一時記憶部１３に記憶させる。
【００３９】
なお、画像処理装置１への画像データ等の取り込みは、上記クレードル３１を介した方法に限定されない。例えば、サーバに保存された画像データに対する処理を行う場合には、サーバと接続された通信装置を介して画像データを取り込んでも良いし、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の可搬型の記録媒体に記録された画像データに対する処理を行う場合には、例えば画像処理装置１に内蔵された読取装置により記録媒体から画像データを読み込んでも良い。或いは、画像処理装置１に医用観察装置を接続し、当該医用観察装置から直接画像データを取り込んでも良い。
【００４０】
続くステップＳ１２において、画像処理部１４１は一時記憶部１３に記憶された画像データに所定の画像処理を施すことにより、表示用の画像を生成する。図４に示す画像１１０は、そのようにして生成された一連の体内画像の内の一つを示す模式図である。
【００４１】
ステップＳ１３において、画像処理部１４１は、各体内画像に対し、被検体１００に関する有効な情報が含まれていない領域をマスキングする。例えば、カプセル型内視鏡２０によって体内を撮像する場合、通常、図４に示す画像１１０のように、視野が円形状となった体内画像が取得される。この場合、４隅の所定の線（以下、隅領域境界線という）１１１から外側の三角形状の領域（以下、隅領域という）１１２ａ〜１１２ｄが、マスキングされる。図５に示す画像１１３は、そのようにして生成された八角形状の体内画像の例である。
【００４２】
ステップＳ１４において、記憶部１５は、生成された一連の画像に対応する画像データを時系列順に沿って記憶する。
【００４３】
続くステップＳ１５において、画像配置部１４２は、１画面に表示する画像の組、及び１画面内での各画像の位置を決定する。即ち、図６に示すように、画像配置部１４２は、記憶部１５に記憶された一連の画像１１３−ｎ（ｎ＝１、２、…）を、１画面における画像の表示数に応じて、各画面の画面番号Ｎ（Ｎ＝１、２、…）に割り当てる。ここで、ｎは、各画像の画像番号（例えば、撮像時刻順の番号）を表し、Ｎは、各画面の表示順序を表す。なお、１画面における画像の表示数はデフォルトで決めておいても良いし（例えば４枚）、複数の選択肢（例えば２枚、４枚、６枚、８枚等）の中から入力部１１を用いてユーザが選択できるようにしても良い。例えば、１画面に４枚の画像を表示する場合、図６に示すように、画面番号Ｎ＝１には画像１１３−１〜１１３−４が割り当てられ、画面番号Ｎ＝２には画像１１３−５〜１１３−８が割り当てられる。
【００４４】
続いて、画像配置部１４２は、各画面内における画像１１３−ｎの位置を決定する。例えば、１画面に４枚の画像１１３−ｎを２行２列のマトリックス状に配置する場合において、画像１１３−ｎを左上から時計回りに時系列に配置するとき、図７に示すように、画面番号Ｎ＝１においては、画像１１３−１が画面の左上に配置され、画像１１３−２が画面の右上に配置され、画像１１３−３が画面の右下に配置され、画像１１３−４が画面の左下に配置される。
【００４５】
ステップＳ１６において、隅領域補間部１４３は、ステップＳ１５における決定に従って画像１１３−ｎを画面に配置したときに、自身及び他の画像１１３−ｎによって囲まれる隅領域（即ち、画面の中心部に集約される隅領域）を補間する。これは、画面の内部に、境界線やスポットが生じないようにするためである。図８は、図７に示す規則で画像１１３−ｎを配置した場合に補間対象となる隅領域を示す図である。この場合、左上に配置される画像１１３−１については右下の隅領域１１２ｃ、右上に配置される画像１１３−２については左下の隅領域１１２ｄ、右下の画像１１３−３については左上の隅領域１１２ａ、及び、左下の画像１１３−４については右上の隅領域１１２ｂが補間対象となる。画面の中心部に集約される隅領域以外の隅領域（例えば、画像１１３−１の隅領域１１２ａ、１１２ｂ、１１２ｄ等）については、補間しても良いし補間しなくても良い。本実施の形態１においては、各画像１１３の全ての隅領域１１２ａ〜１１２ｄを補間するものとする。
【００４６】
ステップＳ１７において、画像配置部１４２は、ステップＳ１５における決定に従って、同じ画面に配置される複数の画像を、隙間を空けて配置する。図９は、４つの画像１２１〜１２４を、Ｘ方向における隙間領域ＳＰＸ、及びＹ方向における隙間領域ＳＰＹを介してマトリックス状に配置した状態を示している。
【００４７】
続くステップＳ１８において、補間処理部１４４は、隙間領域に隣接する画像の端部領域の画素の画素値を用いて隙間領域を補間することにより、複数の画像を１つにつなげる
。例えば、図９の場合、隙間領域ＳＰＸについては、隙間領域ＳＰＸに隣接する画像１２１の端部領域１２１Ｘ、画像１２２の端部領域１２２Ｘ、画像１２３の端部領域１２３Ｘ、及び画像１２４の端部領域１２４Ｘに含まれる画素の画素値で補間する。また、隙間領域ＳＰＹについては、隙間領域ＳＰＹに隣接する画像１２１の端部領域１２１Ｙ、画像１２２の端部領域１２２Ｙ、画像１２３の端部領域１２３Ｙ、及び画像１２４の端部領域１２４Ｙに含まれる画素の画素値で補間する。なお、隙間領域ＳＰＸと隙間領域ＳＰＹとが交わる中心領域ＳＰＯについては、先に補間された隙間領域（例えば隙間領域ＳＰＹ→隙間領域ＳＰＸの順で補間を行う場合には、隙間領域ＳＰＹ）の端部領域に含まれる画素の画素値で補間される。それにより、図１０に示すように、４つの画像１２１〜１２４が自然につなげられた画面１３０が生成される。
【００４８】
さらに、ステップＳ１９において、マスキング部１４５は、図１１に示すように、画面１３０の４つの隅領域１３１をマスキングして、画面１３０の外形を、元の個別の画像１１３と同様の形状（八角形状）に合わせる。
ステップＳ２０において、記憶部１５は、このようにして生成された画面１３０を、画面番号（Ｎ）順に記憶する。
【００４９】
次に、隅領域の補間処理（ステップＳ１６）について、説明する。図１２は、隅領域の補間処理を示すフローチャートである。また、図１３Ａ及び１３Ｂは、隅領域の補間処理を説明する図である。図１３Ａに示すように、１つの画面に４つの隅領域がマスキングされた画像１１５〜１１８をマトリックス状に配置する場合、画面中央の隅領域１１５ａ〜１１８ａが補間対象となる。
【００５０】
まず、ステップＳ１０１において、隅領域補間部１４３は、各画像１１５〜１１８から、対応する隅領域境界線１１５ｂ〜１１８ｂに対して隅領域１１５ａ〜１１８ａと対称な領域に含まれる画素を抽出し、それらの画素の画素値を取得する。具体的には、画像１１５から隅領域境界線１１５ｂに対して隅領域１１５ａと対称な領域１１５ｃ内の画素が抽出され、画像１１６から隅領域境界線１１６ｂに対して隅領域１１６ａと対称な領域１１６ｃ内の画素が抽出され、画像１１７から隅領域境界線１１７ｂに対して隅領域１１７ａと対称な領域１１７ｃ内の画素が抽出され、画像１１８から隅領域境界線１１８ｂに対して隅領域１１８ａと対称な領域１１８ｃ内の画素が抽出される。
【００５１】
ステップＳ１０２において、隅領域補間部１４３は、取得した領域１１５ｃ〜１１８ｃ内の画素の画素値を用いて、対応する隅領域１１５ａ〜１１８ａを補間する。具体的には、隅領域１１５ａ内の任意の補間画素Ｐ１’の画素値として、隅領域境界線１１５ｂに対して画素Ｐ１’と対称な位置にある画素Ｐ１の画素値を適用する。他の隅領域１１６ａ〜１１８ａについても同様である。それにより、図１３Ｂに示すように、隅領域境界線１１５ｂ〜１１８ｂが目立たないように隅領域１１５ａ〜１１８ａを補間することができる。
【００５２】
なお、画面の中心部に集約される隅領域１１５ａ〜１１８ａ以外の隅領域についても、同様の方法により補間しても良い。例えば、隅領域１１７ｄや隅領域１１８ｄについては、隅領域境界線１１７ｅ、１１８ｅに対して隅領域１１７ｄ、１１８ｄとそれぞれ対称な領域１１７ｆ、１１８ｆ内の画素の画素値を用いて補間すれば良い。
【００５３】
次に、隙間領域の補間処理（ステップＳ１８）について説明する。図１４は、隙間領域の補間処理を示すフローチャートである。また、図１５Ａ〜図１５Ｅは、隙間領域の補間処理を説明する図である。図１５Ａに示すように、以下においては、１つの画面に４つの画像１２１〜１２４をマトリックス状に配置する場合について説明する。
【００５４】
まず、ステップＳ１１１において、補間処理部１４４は、各画像１２１〜１２４から、
Ｙ方向における隙間領域ＳＰＹに隣接する端部領域１２１ａ〜１２４ａ内の画素の画素値を取得する。このとき、各端部領域１２１ａ〜１２４ａの幅は、隙間領域ＳＰＹの幅ｄＹ（例えば３２ピクセル）の半分（ｄＹ／２）とする。
【００５５】
続くステップＳ１１２において、補間処理部１４４は、図１５Ｂに示すように、隙間領域ＳＰＹの両側の端部領域内の画素の画素値の平均値を算出する。具体的には、画像１２１及び１２４に挟まれた隙間領域ＳＰＹ−１について、端部領域１２１ａ及び１２４ａ内の画素の画素値の平均値ＡＶＥＹ−１を算出する。また、画像１２２及び１２３に挟まれた隙間領域ＳＰＹ−２について、端部領域１２２ａ及び１２３ａ内の画素の画素値の平均値ＡＶＥＹ−２を算出する。或いは、端部領域１２１ａ〜１２４ａ全体の画素値の平均値を算出しても良い。この場合、隙間領域ＳＰＹ−１及びＳＰＹ−２について共通の平均値ＡＶＥＹが取得される。
【００５６】
ステップＳ１１３において、補間処理部１４４は、隙間領域ＳＰＹ−１及びＳＰＹ−２内の補間画素の画素値を、補間画素と対称な位置にある画素の画素値とステップＳ１１２において算出された平均値とをαブレンドすることによって算出する。具体的には、隙間領域ＳＰＹ−１において、画像１２４よりも画像１２１の側に近い任意の補間画素Ｐ１１’（Ｘ１１，Ｙ１１’）の画素値Ｇ１１’は、境界１２１ｂに対して画素Ｐ１１’と対称な位置にある画素Ｐ１１（Ｘ１１，Ｙ１１）の画素値Ｇ１１及び平均値ＡＶＥＹ−１（又は平均値ＡＶＥＹ）を用いて、次式（１）によって与えられる。
Ｇ１１’＝（１−α（Ｙ））・Ｇ１１＋α（Ｙ）ＡＶＥＹ−１ …（１）
【００５７】
ここで、α（Ｙ）（１≧α（Ｙ）≧０）は、補間画素（式（１）では補間画素Ｐ１１’）に対応する端部領域内の画素の画素値（同画素値Ｇ１１）と平均値（同平均値ＡＶＥＹ−１）とをブレンドする比率を決める係数であり、補間画素のＹ座標の値に依存する。具体的には、α（Ｙ）の値は、画素Ｐ１１’が境界１２１ｂに近づくほど、画素値Ｇ１１の比率が増加し（即ち、α（Ｙ）が小さくなり）、画素Ｐ１１’が隙間領域ＳＰＹ−１の中心に近づくほど、平均値ＡＶＥＹ−１の比率が増加する（即ち、α（Ｙ）が大きくなる）ように、補間画素Ｐ１１’と境界１２１ｂとの間の距離に応じて決定される。
【００５８】
同様に、隙間領域ＳＰＹ−２において、画像１２３よりも画像１２２の側に近い任意の補間画素Ｐ１２’（Ｘ１２，Ｙ１２’）の画素値Ｇ１２’は、境界１２２ｂに対して画素Ｐ１２’と対称な位置にある画素Ｐ１２（Ｘ１２，Ｙ１２）の画素値Ｇ１２及び平均値ＡＶＥＹ−２（又は平均値ＡＶＥＹ）を用いて、次式（２）によって与えられる。
Ｇ１２’＝（１−α（Ｙ））・Ｇ１２＋α（Ｙ）ＡＶＥＹ−２ …（２）
【００５９】
同様に、隙間領域ＳＰＹ−２において、画像１２２よりも画像１２３の側に近い任意の補間画素Ｐ１３’（Ｘ１３，Ｙ１３’）の画素値Ｇ１３’は、境界１２３ｂに対して画素Ｐ１３’と対称な位置にある画素Ｐ１３（Ｘ１３，Ｙ１３）の画素値Ｇ１３及び平均値ＡＶＥＹ−２（又は平均値ＡＶＥＹ）を用いて、次式（３）によって与えられる。
Ｇ１３’＝（１−α（Ｙ））・Ｇ１３＋α（Ｙ）ＡＶＥＹ−２ …（３）
【００６０】
同様に、隙間領域ＳＰＹ−１において、画像１２１よりも画像１２４の側に近い任意の補間画素Ｐ１４’（Ｘ１４，Ｙ１４’）の画素値Ｇ１４’は、境界１２４ｂに対して画素Ｐ１４’と対称な位置にある画素Ｐ１４（Ｘ１４，Ｙ１４）の画素値Ｇ１４及び平均値ＡＶＥＹ−１（又は平均値ＡＶＥＹ）を用いて、次式（４）によって与えられる。
Ｇ１４’＝（１−α（Ｙ））・Ｇ１４＋α（Ｙ）ＡＶＥＹ−１ …（４）
【００６１】
ステップＳ１１４において、補間処理部１４４は、式（１）〜（４）によって算出された画素値Ｇ１１’〜Ｇ１４’によって隙間領域ＳＰＹを補間する。
【００６２】
続くステップＳ１１５において、補間処理部１４４は、図１５Ｃに示すように、各画像１２１〜１２４並びに補間された隙間領域ＳＰＹ−１及びＳＰＹ−２から、Ｘ方向の隙間領域ＳＰＸに隣接する端部領域１２５ａ及び１２６ａ内の画素の画素値を取得する。このとき、各端部領域１２５ａ及び１２６ａの幅は、隙間領域ＳＰＸの幅ｄＸ（例えば３２ピクセル）の半分（ｄＸ／２）とする。
【００６３】
続くステップＳ１１６において、補間処理部１４４は、図１５Ｄに示すように、隙間領域ＳＰＸの両側の端部領域１２５ａ及び１２６ａ内の画素の画素値の平均値ＡＶＥＸを算出する。
【００６４】
ステップＳ１１７において、補間処理部１４４は、隙間領域ＳＰＸ内の補間画素の画素値を、補間画素と対称な位置にある画素の画素値とステップＳ１１６において算出された平均値とをαブレンドすることによって算出する。具体的には、隙間領域ＳＰＸ内において、画像１２２よりも画像１２１の側に近い任意の補間画素Ｐ１５’（Ｘ１５’，Ｙ１５）の画素値Ｇ１５’は、境界１２５ｂに対して画素Ｐ１５’と対称な位置にある画素Ｐ１５（Ｘ１５，Ｙ１５）の画素値Ｇ１５及び平均値ＡＶＥＸを用いて、次式（５）によって与えられる。
Ｇ１５’＝（１−α（Ｘ））・Ｇ１５＋α（Ｘ）ＡＶＥＸ …（５）
【００６５】
ここで、α（Ｘ）（１≧α（Ｘ）≧０）は、補間画素（式（５）では補間画素Ｐ１５’）に対応する端部領域内の画素の画素値（同画素値Ｇ１５）と平均値（同平均値ＡＶＥＸ）とをブレンドする比率を決める係数であり、補間画素のＸ座標の値に依存する。具体的には、α（Ｘ）の値は、画素Ｐ１５’が境界１２５ｂに近づくほど、画素値Ｇ１５の比率が増加し（即ち、α（Ｘ）が小さくなり）、画素Ｐ１５’が隙間領域ＳＰＸの中心に近づくほど、平均値ＡＶＥＸの比率が増加する（即ち、α（Ｘ）が大きくなる）ように、補間画素Ｐ１５’と境界１２５ｂとの間の距離に応じて決定される。
【００６６】
一方、画像１２１よりも画像１２２の側に近い任意の補間画素Ｐ１６’（Ｘ１６’，Ｙ１６）の画素値Ｇ１６’は、境界１２６ｂに対して画素Ｐ１６’と対称な位置にある画素Ｐ１６（Ｘ１６，Ｙ１６）の画素値Ｇ１６及び平均値ＡＶＥＸを用いて、次式（６）によって与えられる。
Ｇ１６’＝（１−α（Ｘ））・Ｇ１６＋α（Ｘ）ＡＶＥＸ …（６）
【００６７】
ステップＳ１１８において、補間処理部１４４は、式（５）及び（６）によって算出された画素値Ｇ１５’及びＧ１６’によって、隙間領域ＳＰＸを補間する。それにより、図１５Ｅに示すように、画像１２１〜１２４がつなげられた画面１２７が生成される。
その後、動作はメインルーチンに戻る。
【００６８】
以上説明したように、実施の形態１においては、隣り合う画像間の隙間領域を、この隙間領域の両隣の画像内の画素であって、隙間領域と対称な端部領域の画素の画素値を用いて補間する。言い換えると、隙間領域の両隣の画像を隙間領域との境界に対してそれぞれ折り返した各領域内の画素の画素値を用いて隙間領域を補間する。従って、画像の端部領域自体に影響を与えることなく、且つ、隣り合う画像間の境界をユーザに認識させないような画面を生成することが可能となる。
【００６９】
また、実施の形態１によれば、各画像においてマスキングされた隅領域を、当該画像内の画素であって、隅領域境界線に対して隅領域と対称な領域内の画素の画素値を用いて補間する。言い換えると、当該画像を隅領域境界線に対して折り返し、折り返された領域内の画素の画素値を用いて隅領域を補間するので、各画像の隅領域が集約された画面の中央
部においても互いに隣り合う画像が自然につながっているように見える画面を生成することが可能となる。
【００７０】
なお、実施の形態１においては、カプセル型内視鏡によって取得された体内画像を扱うため、ステップＳ１３において各画像の４つの隅領域をマスキングしたが、マスキングは必ずしも実行しなくても良い。この場合、ステップＳ１７における隅領域の補間処理や、ステップＳ１９における４隅のマスキング処理も省略される。
【００７１】
また、実施の形態１の隙間領域の補間処理においては、補間画素と対称な端部領域内の画素の画素値に対し、端部領域全体の画素の画素値の平均値をブレンドしたが、その代わりに、補間画素を含む端部領域内の列（隙間領域ＳＰＹの場合）又は行（隙間領域ＳＰＸの場合）に含まれる画素の画素値の平均値をブレンドしても良い。
【００７２】
（実施の形態２）
次に、本発明の実施の形態２について説明する。実施の形態２に係る画像処理装置の構成及び動作の概要は図１及び図３に示すものと同様であり、補間処理部１４４が実行する隙間領域の補間処理（ステップＳ１８）が、実施の形態１とは異なる。
【００７３】
図１６は、実施の形態２における隙間領域の補間処理を示すフローチャートである。また、図１７Ａ〜図１７Ｄは、実施の形態２における隙間領域の補間処理を説明する図である。以下においては、図１７Ａに示すように、隙間を空けてマトリックス状に配置された４つの画像２０１〜２０４（ステップＳ１７）の隙間領域ＳＰＸ及びＳＰＹを補間する場合について説明する。
【００７４】
まず、ステップＳ２１１において、補間処理部１４４は、各画像２０１〜２０４から、Ｙ方向における隙間領域ＳＰＹに隣接する端部画素２０１ａ〜２０４ａの画素値を取得する。
【００７５】
ステップＳ２１２において、補間処理部１４４は、端部画素２０１ａ〜２０４ａの画素値を用いて、隙間領域ＳＰＹを補間する。具体的には、図１７Ｂに示すように、画像２０１及び２０４の間の隙間領域ＳＰＹ−１において、互いに対向する端部画素２０１ａ及び２０４ａに挟まれた補間画素２０５の画素値を、互いに端部画素２０１ａの画素値から端部画素２０４ａの画素値まで、傾斜的又は段階的に変化させることによって取得する。補間処理部１４４は、画像２０２及び２０３に挟まれた隙間領域ＳＰＹ−２についても同様に、端部画素２０２ａ及び２０３ａの画素値を用いて補間する。
【００７６】
ステップＳ２１３において、補間処理部１４４は、図１７Ｃに示すように、各画像２０１〜２０４、並びに補間された隙間領域ＳＰＹ−１及びＳＰＹ−２から、Ｘ方向における隙間領域ＳＰＸに隣接する端部画素２０６ａ及び２０７ａの画素値を取得する。
【００７７】
ステップＳ２１４において、補間処理部１４４は、端部画素２０６ａ及び２０７ａの画素値を用いて、隙間領域ＳＰＸを補間する。具体的には、図１７Ｄに示すように、互いに対向する端部画素２０６ａ及び２０７ａに挟まれた補間画素２０８の画素値を、端部画素２０６ａの画素値から端部画素２０７ａの画素値まで、傾斜的又は段階的に変化させることによって取得する。
その後、動作はメインルーチンに戻る。
【００７８】
以上説明したように、実施の形態２によれば、隙間領域の画素の画素値を、隙間領域に隣接する一方の画像の端部画素の画素値から隙間領域に隣接する他方の画像の端部画素の画素値まで徐々に変化させるので、隣同士に配置された画像同士が自然につながって見え
る画面を生成することが可能となる。
【００７９】
（実施の形態３）
次に、本発明の実施の形態３について説明する。実施の形態３に係る画像処理装置の構成及び動作の概要は図１及び図３に示すものと同様であり、補間処理部１４４が実行する隙間領域の補間処理（ステップＳ１８）が、実施の形態１とは異なる。
【００８０】
図１８は、実施の形態３における隙間領域の補間処理を示すフローチャートである。また、図１９Ａ及び図１９Ｂは、実施の形態３における隙間領域の補間処理を説明する図である。以下においては、図１９Ａに示すように、隙間を空けてマトリックス状に配置された４つの画像３０１〜３０４（ステップＳ１７）の隙間領域ＳＰＸ及びＳＰＹを補間する場合について説明する。
【００８１】
まず、ステップＳ３１１において、補間処理部１４４は、画像３０１〜３０４から、各々と隙間領域ＳＰＹとの境界３０１ｂ〜３０４ｂに対して隙間領域ＳＰＹと対称な端部領域３０１ａ〜３０４ａ内の画素の画素値を取得する。
【００８２】
ステップＳ３１２において、補間処理部１４４は、隙間領域ＳＰＹ内の補間画素の画素値を、当該隙間領域ＳＰＹに隣接する端部領域に含まれる画素であって、当該補間画素に対応する２つの画素の画素値を、境界からの距離に応じた重みを付けてブレンドすることによって算出する。
【００８３】
具体的には、画像３０１及び３０４に挟まれた隙間領域ＳＰＹ−１内の任意の補間画素Ｐ３５の画素値Ｇ３５は、境界３０１ｂに対して補間画素Ｐ３５と対称な位置にある画素Ｐ３１の画素値Ｇ３１、境界３０４ｂに対して補間画素Ｐ３５と対称な位置にある画素Ｐ３４の画素値Ｇ３４、補間画素Ｐ３５と境界３０１ｂとの間の距離ｄ１、及び隙間領域ＳＰＹの幅ｄＹ（例えば、２４ピクセル）を用いて、次式（７）によって与えられる。
Ｇ３５＝Ｇ３１×｛（ｄＹ−ｄ１）／ｄＹ｝＋Ｇ３４×（ｄ１／ｄＹ）…（７）
【００８４】
同様に、画像３０２及び３０３に挟まれた隙間領域ＳＰＹ−２内の任意の補間画素Ｐ３６の画素値Ｇ３６は、境界３０２ｂに対して補間画素Ｐ３６と対称な位置にある画素Ｐ３２の画素値Ｇ３２、境界３０３ｂに対して補間画素Ｐ３６と対称な端部領域３０３ａ内の画素Ｐ３３の画素値Ｇ３３、補間画素Ｐ３６と境界３０２ｂとの間の距離ｄ２、及び隙間領域ＳＰＹの幅ｄＹを用いて、次式（８）によって与えられる。
Ｇ３６＝Ｇ３２×｛（ｄＹ−ｄ２）／ｄＹ｝＋Ｇ３３×（ｄ２／ｄＹ）…（８）
【００８５】
ステップＳ３１３において、補間処理部１４４は、式（７）及び（８）によって算出された画素値Ｇ３５及びＧ３６によって隙間領域ＳＰＹを補間する。
【００８６】
ステップＳ３１４において、補間処理部１４４は、図１９Ｂに示すように、各画像３０１〜３０４並びに補間された隙間領域ＳＰＹ−１及びＳＰＹ−２から、各々と隙間領域ＳＰＸとの境界３０７ｂ、３０８ｂに対して隙間領域ＳＰＸと対称な端部領域３０７ａ、３０８ａ内の画素の画素値を取得する。
【００８７】
ステップＳ３１５において、補間処理部１４４は、隙間領域ＳＰＸ内の補間画素の画素値を、当該隙間領域ＳＰＸに隣接する端部領域に含まれる画素であって、当該補間画素に対応する２つの画素の画素値を、境界からの距離に応じた重みを付けてブレンドすることによって算出する。
【００８８】
具体的には、隙間領域ＳＰＸ内の任意の補間画素Ｐ３９の画素値Ｇ３９は、境界３０７
ｂに対して補間画素Ｐ３９と対称な位置にある画素Ｐ３７の画素値Ｇ３７、境界３０８ｂに対して補間画素Ｐ３９と対称な位置にある画素Ｐ３８の画素値Ｇ３８、補間画素Ｐ３９と境界３０７ｂとの間の距離ｄ３、及び隙間領域ＳＰＹの幅ｄＸ（例えば、２４ピクセル）を用いて、次式（９）によって与えられる。
Ｇ３９＝Ｇ３７×｛（ｄＸ−ｄ３）／ｄＸ｝＋Ｇ３８×（ｄ３／ｄＸ）…（９）
【００８９】
ステップＳ３１６において、補間処理部１４４は、式（９）によって算出された画素値Ｇ３９によって隙間領域ＳＰＸを補間する。
その後、動作はメインルーチンに戻る。
【００９０】
以上説明したように、実施の形態３においては、隣り合う画像間の隙間領域を、この隙間領域の両隣の画像内の画素であって、隙間領域と対称な端部領域の画素の画素値を用いて補間する。言い換えると、隙間領域の両隣の画像を隙間領域との境界に対してそれぞれ折り返した各領域内の画素の画素値をブレンドすることによって隙間領域を補間するので、隣り合う画像同士が自然につながって見える画面を生成することが可能となる。
【００９１】
（実施の形態４）
次に、本発明の実施の形態４について説明する。実施の形態４に係る画像処理装置の構成及び動作の概要は図１及び図３に示すものと同様であり、補間処理部１４４が実行する隙間領域の補間処理（ステップＳ１８）が、実施の形態１とは異なる。
【００９２】
図２０は、実施の形態４における隙間領域の補間処理を示すフローチャートである。また、図２１Ａ〜図２１Ｄは、実施の形態４における隙間領域の補間処理を説明する図である。以下においては、図２１Ａに示すように、隙間を空けてマトリックス状に配置された４つの画像４０１〜４０４（ステップＳ１７）の隙間領域ＳＰＸ及びＳＰＹを補間する場合について説明する。
【００９３】
まず、補間処理部１４４は、各画像４０１〜４０４から、Ｙ方向における隙間領域ＳＰＹの内、ステップＳ１６において補間された隅領域１１５ａ〜１１８ａと隣接する隙間領域ＳＰＹＡ及びＳＰＹＢの補間を行う。そのため、補間処理部１４４は、隅領域境界線１１５ｂ、１１８ｂに対して隙間領域ＳＰＹＡとそれぞれ対称な位置関係にある端部領域４０１ａ、４０４ａ内の画素の画素値と、隅領域境界線１１６ｂ、１１７ｂに対して隙間領域ＳＰＹＢとそれぞれ対称な位置関係にある端部領域４０２ａ、４０３ａ内の画素の画素値を取得する（ステップＳ４１１）。
【００９４】
ステップＳ４１２において、補間処理部１４４は、隙間領域ＳＰＹＡ及びＳＰＹＢ内の各補間画素の画素値を、当該補間画素に対応する両隣の画像内の２つの画素の画素値をブレンドすることにより算出する。この際、補間処理部１４４は、両者を境界４０１ｂ〜４０４ｂからの距離に応じた重みを付けてブレンドする。
【００９５】
具体的には、隙間領域ＳＰＹＡ内の任意の補間画素Ｐ４５の画素値Ｇ４５は、隅領域境界線１１５ｂに対して補間画素Ｐ４５と対称な位置にある画素Ｐ４１の画素値Ｇ４１、隅領域境界線１１８ｂに対して補間画素Ｐ４５と対称な位置にある画素Ｐ４４の画素値Ｇ４４、補間画素Ｐ４５と境界４０１ｂとの間の距離ｄ４、及び隙間領域ＳＰＹの幅ｄＹ（例えば、２４ピクセル）を用いて、次式（１０）によって与えられる。
Ｇ４５＝Ｇ４１×｛（ｄＹ−ｄ４）／ｄＹ｝＋Ｇ４４×（ｄ４／ｄＹ）…（１０）
【００９６】
また、隙間領域ＳＰＹＢ内の任意の補間画素Ｐ４６の画素値Ｇ４６は、画素値Ｇ４５と同様に、隅領域境界線１１６ｂに対して補間画素Ｐ４６と対称な位置にある画素Ｐ４２の画素値Ｇ４２、隅領域境界線１１７ｂに対して補間画素Ｐ４６と対称な位置にある画素Ｐ
４３の画素値Ｇ４３、補間画素Ｐ４６と境界４０２ｂとの間の距離ｄ５、及び隙間領域ＳＰＹの幅ｄＹを用いて算出される。
【００９７】
ステップＳ４１３において、補間処理部１４４は、ステップＳ４１２において算出された画素値Ｇ４５及びＧ４６によって、隙間領域ＳＰＹＡ及びＳＰＹＢを補間する。
【００９８】
続くステップＳ４１４において、補間処理部１４４は、図２１Ｂに示すように、隅領域１１５ａ〜１１８ａとは隣接していない隙間領域ＳＰＹＣ及びＳＰＹＤを、当該隙間領域ＳＰＹＣ及びＳＰＹＤと隣接する画像４０１〜４０４の端部領域４０１ｃ〜４０４ｃ内の画素の画素値を用いて補間する。なお、このステップＳ４１４における補間処理については、実施の形態３のステップＳ３１１〜Ｓ３１３と同様である。或いは、実施の形態１又は実施の形態２と同様にして隙間領域ＳＰＹＣ及びＳＰＹＤを補間しても良い。
【００９９】
次に、図２１Ｃに示すように、補間処理部１４４は、Ｘ方向における隙間領域ＳＰＸの内、補間された隅領域１１５ａ〜１１８ａと隣接する隙間領域ＳＰＸＡ及びＳＰＸＢの補間を行う。そのため、補間処理部１４４は、各隅領域境界線１１５ｂ、１１６ｂに対して隙間領域ＳＰＸＡとそれぞれ対称な位置関係にある端部領域４０１ｄ、４０２ｄ内の画素の画素値と、各隅領域境界線１１７ｂ、１１８ｂに対して隙間領域ＳＰＸＢとそれぞれ対称な位置関係にある端部領域４０３ｄ、４０４ｄ内の画素の画素値を取得する（ステップＳ４１５）。
【０１００】
ステップＳ４１６において、補間処理部１４４は、隙間領域ＳＰＸＡ及びＳＰＸＢ内の各補間画素の画素値を、当該補間画素に対応する両隣の画像内の２つの画素の画素値をブレンドすることにより算出する。この際、補間処理部１４４は、両者を境界４０１ｅ〜４０４ｅからの距離に応じた重みを付けてブレンドする。
【０１０１】
具体的には、隙間領域ＳＰＸＡ内の任意の補間画素Ｐ４７の画素値Ｇ４７は、隅領域境界線１１５ｂに対して補間画素Ｐ４７と対称な位置にある画素Ｐ４１’の画素値Ｇ４１’、隅領域境界線１１６ｂに対して補間画素Ｐ４７と対称な位置にある画素Ｐ４２’の画素値Ｇ４２’、補間画素Ｐ４７と境界４０１ｅとの間の距離ｄ６、及び隙間領域ＳＰＸの幅ｄＸ（例えば、２４ピクセル）を用いて、次式（１１）によって与えられる。
Ｇ４７＝Ｇ４１’×｛（ｄＸ−ｄ６）／ｄＸ｝＋Ｇ４２’×（ｄ６／ｄＸ）…（１１）
【０１０２】
また、隙間領域ＳＰＹＢ内の任意の補間画素Ｐ４８の画素値Ｇ４８は、画素値Ｇ４７と同様に、隅領域境界線１１７ｂに対して補間画素Ｐ４８と対称な位置にある画素Ｐ４３’の画素値Ｇ４３’、隅領域境界線１１８ｂに対して補間画素Ｐ４８と対称な位置にある画素Ｐ４４’の画素値Ｇ４４’、補間画素Ｐ４８と境界４０４ｅとの間の距離ｄ７、及び隙間領域ＳＰＸの幅ｄＸを用いて算出される。
【０１０３】
ステップＳ４１７において、補間処理部１４４は、ステップＳ４１６において算出された画素値Ｇ４７及びＧ４８によって、隙間領域ＳＰＸＡ及びＳＰＸＢを補間する。
【０１０４】
続くステップＳ４１８において、補間処理部１４４は、図２１Ｄに示すように、補間された隅領域１１５ａ〜１１８ａとは隣接していない隙間領域ＳＰＸＣ〜ＳＰＸＥを、当該隙間領域ＳＰＸＣ〜ＳＰＸＥと隣接する画像４０１〜４０４の端部領域４０１ｆ〜４０４ｆ、並びに補間された隙間領域ＳＰＹ−１及びＳＰＹ−２の端部領域４０５及び４０６内の画素の画素値を用いて補間する。なお、このステップＳ４１８における補間処理については、実施の形態３のステップＳ３１４〜Ｓ３１６と同様である。或いは、実施の形態１又は実施の形態２と同様にして隙間領域ＳＰＸＣ〜ＳＰＸＥを補間しても良い。
その後、動作はメインルーチンに戻る。
【０１０５】
以上説明したように、実施の形態４によれば、補間された隅領域と隣接する隙間領域ＳＰＸＡ、ＳＰＸＢ、ＳＰＹＡ、ＳＰＹＢを、隅領域境界線１１５ｂ〜１１８ｂに対して対称な位置関係にある端部領域４０１ａ〜４０４ａ及び４０１ｄ〜４０４ｄの画素の画素値を用いて補間するので、隙間領域ＳＰＸ及びＳＰＹの補間処理に際して、隅領域の補間処理による影響を低減することが可能となる。
【０１０６】
（実施の形態５）
次に、本発明の実施の形態５について説明する。実施の形態５に係る画像処理装置の構成及び動作の概要は図１及び図３に示すものと同様であり、隅領域補間部１４３が実行する隅領域の補間処理（ステップＳ１６）が、実施の形態１とは異なる。
【０１０７】
図２２は、実施の形態５における隅領域の補間処理を示すフローチャートである。また、図２３は、実施の形態５における隅領域の補間処理を説明する図である。以下においては、図２３に示すように、マトリックス状に配置される４つの画像５０１〜５０４に囲まれる隅領域５０１ａ〜５０４ａを補間する場合について説明する。
【０１０８】
まず、ステップＳ５１１において、隅領域補間部１４３は、図２３に示すように、１画面に配置される画像５０１〜５０４を、互いに隣接するように並べる。
ステップＳ５１２において、隅領域補間部１４３は、各画像５０１〜５０４から、隅領域境界線５０１ｂ〜５０４ｂに沿って端部画素の画素値を取得する。
【０１０９】
ステップＳ５１３において、隅領域補間部１４３は、各隅領域境界線５０１ｂ〜５０４ｂに沿った端部画素から、Ｘ方向及びＹ方向において隅領域５０１ａ〜５０４ａ内の注目画素に対応する端部画素を２つずつ抽出する。具体的には、図２３に示すように、任意の注目画素Ｐ５０（Ｘ５０，Ｙ５０）に対し、Ｘ方向において対応する（即ち、Ｙ座標が等しい）端部画素Ｐ５１（Ｘ５１、Ｙ５０）及び端部画素Ｐ５２（Ｘ５２，Ｙ５０）と、Ｙ方向において対応する（即ちＸ座標が等しい）端部画素Ｐ５３（Ｘ５０，Ｙ５３）及び端部画素Ｐ５４（Ｘ５０，Ｙ５４）とが抽出される。
【０１１０】
ステップＳ５１４において、隅領域補間部１４３は、抽出された端部画素Ｐ５１、Ｐ５２、Ｐ５３及びＰ５４の画素値Ｇ５１（Ｘ５１、Ｙ５０）、Ｇ５２（Ｘ５２，Ｙ５０）、Ｇ５３（Ｘ５０，Ｙ５３）及びＧ５４（Ｘ５０，Ｙ５４）を注目画素Ｐ５０との距離に応じた重みを付けてブレンドすることにより、注目画素Ｐ５０の画素値Ｇ５０を算出する。
【０１１１】
具体的には、画素値Ｇ５０は、次式（１２）によって与えられる。
【数１】
【０１１２】
ステップＳ５１５において、隅領域補間部１４３は、上式（１２）によって算出された画素値Ｇ５０によって隅領域５０１ａ〜５０４ａを補間する。
その後、動作はメインルーチンに戻る。
【０１１３】
以上説明したように、実施の形態５によれば、各画像５０１〜５０４の境界線５０１ｂ
〜５０４ｂに沿った端部画素の画素値をブレンドすることによって隅領域５０１ａ〜５０４ａを補間するので、境界線５０１ｂ〜５０４ｂの近傍だけでなく、隅領域５０１ａ〜５０４ａ同士の境界においても画像が自然につながって見える画面を生成することができる。従って、後の隙間領域の補間処理（ステップＳ１８）においても、隅領域５０１ａ〜５０４ａと隣接する隙間領域を、画像がより自然につながって見えるように補間することが可能となる。
【０１１４】
なお、画面の端部に配置される隅領域（例えば隅領域５０２ｄ、５０３ｄ、５０３ｃ、５０４ｃ）については、隅領域境界線に沿った端部画素の内、Ｘ方向又はＹ方向のいずれかにおいて対応する２つの端部画素を用いて補間すれば良い。例えば、図２４に示す隅領域５０３ｃ及び５０４ｃ内の注目画素Ｐ５５（Ｘ５５，Ｙ５５）の画素値Ｇ５５は、Ｘ方向において対応する２つの端部画素Ｐ５６（Ｘ５６，Ｙ５５）及びＰ５７（Ｘ５７，Ｙ５５）の画素値Ｇ５６（Ｘ５６，Ｙ５５）及びＧ５７（Ｘ５７，Ｙ５５）を用いて、次式（１３）によって与えられる。
【数２】
【０１１５】
また、隅領域５０２ｄ及び５０３ｄ内の注目画素Ｐ５８（Ｘ５８，Ｙ５８）の画素値Ｇ５８は、Ｙ方向において対応する２つの端部画素Ｐ５９（Ｘ５８，Ｙ５９）及びＰ６０（Ｘ５８，Ｙ６０）の画素値Ｇ５９（Ｘ５８，Ｙ５９）及びＧ６０（Ｘ５８，Ｙ６０）を用いて、次式（１４）によって与えられる。
【数３】
【０１１６】
（実施の形態６）
次に、本発明の実施の形態６について説明する。実施の形態６に係る画像処理装置の構成及び動作の概要は図１及び図３に示すものと同様であり、画像配置部１４２が１画面に配置する画像の位置を決定（ステップＳ１５の後段）する際に、併せて、各画像の向きを決定することを特徴とする。
【０１１７】
図２５は、１画面に配置する画像の位置及び向きの決定処理を示すフローチャートである。また、図２６Ａ及び図２６Ｂは、１画面に配置する画像の位置及び向きを決定する方法を説明する図である。以下においては、図２６Ａに示すように、１つの画面６００内にマトリックス状に配置される４つの画像６０１〜６０４の向きを決定する場合について説明する。
【０１１８】
画像配置部１４２は、１画面に表示する画像の組を決定した後（ステップＳ１５の前段）、画面６００における各画像６０１〜６０４の位置を決定する（ステップＳ６１１）。例えば、撮像時刻順に時計回りに画像を配置する場合、画像６０１〜６０４の位置はそれぞれ、左上、右上、右下、左下となる。
【０１１９】
ステップＳ６１２において、画像配置部１４２は、画像６０１〜６０４間で対応する領域が隣り合わせになるように、所定の画像を反転させる。例えば、画像６０２を左右反転させ、画像６０３を左右及び上下反転させ、画像６０４を上下反転させると、図２６Ｂに示すように、対応する隅領域６０１ａ〜６０４ａが中央に集約され、隅領域６０１ａ〜６０４ａ近傍の対応する端部同士（端部６０１ｃと６０２ｃ、６０２ｂと６０３ｂ、６０３
ｃと６０４ｃ、６０４ｂと６０１ｂ）がそれぞれ隣り合わせに配置される。
その後、動作はメインルーチンに戻る。
【０１２０】
ここで、例えば体内を撮像するカプセル型内視鏡２０の進行速度が遅く、近接する画像間における変化が少ない場合、対応する領域（例えば各画像の右下の隅領域６０１ａ〜６０４ａ近傍）における画素値が互いに近似する可能性が高くなる。そのような場合に、対応する領域を同じ箇所（例えば画面の中央）に集約することにより、隣り合う画像がより自然につながって見える画面を生成することが可能になる。
【０１２１】
（変形例）
実施の形態６の変形例として、カプセル型内視鏡２０の移動速度に応じて、１画面に表示される画像の反転を行うか否かを決定するようにしても良い。
具体的には、演算部１４に、一時記憶部１３に記憶された関連情報（受信強度情報及び受信時刻情報）に基づいて、撮像時刻（略画像データの受信時刻）におけるカプセル型内視鏡２０の位置を推定する位置推定処理部をさらに設ける。画像配置部１４２は、この位置推定処理部による位置推定結果に基づいて、所定の時間間隔内におけるカプセル型内視鏡２０の位置変化が所定の閾値よりも小さい場合に、画像反転を行うことを決定する。
【０１２２】
なお、カプセル型内視鏡２０の位置推定処理は、種々の公知技術によって実現される。例えば、カプセル型内視鏡２０の位置は、各受信アンテナ３２ａ〜３２ｈによって受信された受信強度に基づいて算出することができる。
【０１２３】
（実施の形態７）
次に、本発明の実施の形態７について説明する。実施の形態７に係る画像処理装置の構成及び動作の概要は図１及び図３に示すものと同様であり、画像配置部１４２が１画面に配置する画像の位置を決定（ステップＳ１５の後段）する際に、併せて、各画像の向きを決定することを特徴とする。
【０１２４】
図２７は、実施の形態７における１画面に配置する画像の位置及び向きの決定処理を示すフローチャートである。また、図２８Ａ及び図２８Ｂは、１画面に配置する画像の向きの決定処理を説明する図である。以下においては、図２８Ａに示すように、１つの画面７００内にマトリックス状に配置される４つの画像７０１〜７０４の向きを決定する場合について説明する。
【０１２５】
画像配置部１４２は、１画面に表示する画像の組を決定した後（ステップＳ１５の前段）、画面７００における各画像７０１〜７０４の位置を決定する（ステップＳ７１１）。例えば、撮像時刻順に時計回りに画像を配置する場合、画像７０１〜７０４の位置はそれぞれ、左上、右上、右下、左下となる。
【０１２６】
続くステップＳ７１２において、画像配置部１４２は、４つの画像７０１〜７０４間の周縁領域同士の類似度を算出する（ステップＳ７１２）。具体的には、対応する周縁領域７０１ａ〜７０４ａ同士の類似度、周縁領域７０１ｂ〜７０４ｂ同士の類似度、周縁領域７０１ｃ〜７０４ｃ同士の類似度、及び周縁領域７０１ｄ〜７０４ｄ同士の類似度が算出される。類似度の値としては、例えば、パターンマッチング処理等の公知技術によって取得される相互相関係数や差分値等が用いられる。なお、類似度の算出に用いられる画像としては、隅領域をマスキング（ステップＳ１３）する前の画像であっても良いし、隅領域をマスキングした後の画像であっても良い。
【０１２７】
なお、４つの画像間の類似度を算出する際には、例えば、隣り合う２つの画像間（例えば、画像７０１と７０２、７０２と７０３、７０３と７０４、７０４と７０１）で対応す
る領域の類似度をそれぞれ算出し、それらの平均値を求めれば良い。或いは、１つの画面に配置される複数の画像の内、撮像時刻が最も早い画像（例えば画像７０１）と最も遅い画像（例えば画像７０４）との類似度を算出しても良い。
【０１２８】
ステップＳ７１３において、画像配置部１４２は、４つの画像７０１〜７０４内における中心領域と周縁領域との間の類似度を算出する。具体的には、各画像７０１〜７０４について、中心領域７０１ｅと周縁領域７０１ａ〜７０１ｄとの類似度、中心領域７０２ｅと周縁領域７０２ａ〜７０２ｄとの類似度、中心領域７０３ｅと周縁領域７０３ａ〜７０３ｄとの類似度、及び中心領域７０４ｅと周縁領域７０４ａ〜７０４ｄとの類似度がそれぞれ算出される。類似度の値としては、例えば、パターンマッチング処理等の公知技術によって取得される相互相関係数や差分値等が用いられる。なお、類似度の算出に用いられる画像としては、隅領域をマスキング（ステップＳ１３）する前の画像であっても良いし、隅領域をマスキングした後の画像であっても良い。
さらに、画像配置部１４２は、画像７０１〜７０４についてそれぞれ算出された４つの類似度の平均値を算出する。
【０１２９】
ステップＳ７１４において、画像配置部１４２は、ステップＳ７１２の算出結果に基づいて、画像間の周縁領域同士の類似度が高いか否かを判断する。画像間の周縁領域同士の類似度が所定の閾値よりも高い場合（ステップＳ７１４：Ｙｅｓ）、画像配置部１４２はさらに、ステップＳ７１３の算出結果に基づいて、各画像内における類似度が低いか否かを判断する（ステップＳ７１５）。
【０１３０】
画像配置部１４２は、各画像内における類似度が所定の閾値よりも低い場合（ステップＳ７１５：Ｙｅｓ）、画像７０１〜７０４間で対応する周縁領域が集約されるように、所定の画像を反転させる（ステップＳ７１６）。具体的には、図２８Ｂに示すように、画像配置部１４２は、画像７０２を左右反転させ、画像７０３を左右及び上下反転させ、画像７０４を上下反転させる。その後、動作はメインルーチンに戻る。
【０１３１】
一方、画像間の周縁領域同士の類似度が高くない場合（ステップＳ７１４：Ｎｏ）、又は各画像内の中心領域と周縁領域との類似度が低くない場合（ステップＳ７１５：Ｎｏ）、動作はそのままメインルーチンに戻る。
【０１３２】
以上説明したように、実施の形態７によれば、対応する周縁領域同士の類似度が高い場合に、画像反転によって互いに類似する周縁領域を同じ箇所に集約するので、隣り合う画像がより自然につながって見える画面を生成することが可能になる。このとき、各画像内の中心領域と周縁領域との類似度が低い場合に限って画像反転を行うので、反転された画像をユーザが観察した際の違和感を低減することが可能になる。
【０１３３】
なお、以上の説明においては、１つの画面に４つの画像を配置する場合について説明したが、それ以外の数の画像を１画面に配置する場合であっても、同様にして画像の向きを決定することができる。例えば、図２９に示すように、画面７１０に２つの画像７１１及び７１２を配置する場合、対応する周縁領域同士の類似度（周縁領域７１１ａと７１２ａ、周縁領域７１１ｂと７１２ｂ）と、各画像内の類似度（中心領域７１１ｃと周縁領域７１１ａ及び７１１ｂ、中心領域７１２ｃと周縁領域７１２ａ及び７１２ｂ）とを算出すれば良い。
【０１３４】
以上説明した実施の形態は、本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施の形態が可能であることは上記記載から自明である。
【符号の説明】
【０１３５】
１ 画像処理装置
１１ 入力部
１２ インタフェース部
１３ 一時記憶部
１４ 演算部
１５ 記憶部
１６ 表示制御部
１７ 表示部
１８ 制御部
２０ カプセル型内視鏡
３０ 受信装置
３１ クレードル
３２ アンテナユニット
３２ａ 受信アンテナ
１００ 被検体
１４１ 画像処理部
１４２ 画像配置部
１４３ 隅領域補間部
１４４ 補間処理部
１４５ マスキング部
【技術分野】
【０００１】
本発明は、医用画像を処理する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、医療診断や検査においては、種々の画像取得装置によって取得された被検体の医用画像を用いて診断を行うことが主流となっている。そのため、医用画像を観察して異常所見のあるものを選び出す読影医の負担を軽減する技術が望まれている。
【０００３】
例えば、被検体内に導入されて体内を撮像するカプセル型内視鏡により１回の検査で取得される体内画像の数は、約６万枚に上る。そのため、大量の画像の読影効率を上げるために、複数の画像を１つの画面に同時に表示して観察する場合もある。複数画像を同時に表示する技術としては、例えば、特許文献１に生体内画像ストリームにある複数のフレームを実質的に同時に表示することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２００４／００２７５００号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、複数の画像を１つの画面に表示する場合、平滑化による畳み込みやミラーリング等の処理により、別個の画像の間の境界線を融合することが知られている。
しかしながら、隣接する画像間の境界線を平滑化等の処理によって融合する場合、各画像の端部領域の画素値に影響を与えてしまう。そのため、例えば、画像内の端部領域に重要な所見箇所がある場合、そのような所見箇所の像の状態を変化させてしまうおそれがある。
【０００６】
本発明は、上記に鑑みてなされたものであり、複数画像を１つの画面に表示する場合において、各画像の端部領域に影響を与えることなく、隣同士に配置された画像間の境界をユーザに認識させないように表示可能な画面を生成する画像処理装置、画像処理方法、及び、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、複数の画像を配置した画面を生成する画像処理装置であって、前記複数の画像を、隙間を空けて配置する画像配置部と、前記隙間を、該隙間と隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理部とを備えることを特徴とする。
【０００８】
上記画像処理装置において、前記複数の画像の各々は矩形状をなし、各画像の４隅に位置する三角形状の隅領域をマスキングする画像処理部と、自身及び他の画像によって囲まれる隅領域を補間する隅領域補間部をさらに備えることを特徴とする。
【０００９】
上記画像処理装置において、前記隅領域補間部は、補間対象の前記隅領域内の補間画素の画素値を、前記各画像の画素であって、前記隅領域の境界線に対して前記補間画素と対称な位置にある画素の画素値を用いて算出することを特徴とする。
【００１０】
上記画像処理装置において、前記隅領域補間部は、補間対象の前記隅領域内の補間画素の画素値を、マスキングされた前記各画像の端部画素であって、前記境界線に沿った端部画素の画素値を用いて算出することを特徴とする。
【００１１】
上記画像処理装置において、前記補間処理部は、前記隙間内の補間画素の画素値を、前記隙間と隣接する２つの画像に含まれる画素であって、該画像と前記隙間との境界に対して前記補間画素と対称な位置にある画素の画素値を用いて算出することを特徴とする。
【００１２】
上記画像処理装置において、前記補間処理部は、前記補間画素の画素値を、前記境界に対して前記補間画素と対称な位置にある画素の画素値と、前記境界に対して前記隙間と対称な領域に含まれる画素の画素値の平均値とを、前記境界と前記補間画素との距離に応じてブレンドすることによって算出することを特徴とする。
【００１３】
上記画像処理装置において、前記補間処理部は、前記補間画素の画素値を、前記隙間に隣接する２つの画像に含まれる画素であって、前記境界に対して前記補間画素とそれぞれ対称な位置にある２つの画素の画素値を、前記境界と前記補間画素との距離に応じてブレンドすることによって算出することを特徴とする。
【００１４】
上記画像処理装置において、前記補間処理部は、前記隙間内の補間画素の画素値を、前記隙間に隣接する２つの画像の端部画素の内、互いに対向する２つの端部画素の画素値の間で傾斜的又は段階的に変化させることによって取得することを特徴とする。
【００１５】
上記画像処理装置において、前記補間処理部は、前記隙間の内、前記隅領域補間部によって補間された前記隅領域と隣接する領域内の補間画素の画素値を、前記隙間に隣接する２つの画像に含まれる画素であって、前記隅領域の境界線に対して前記補間画素とそれぞれ対称な位置にある２つの画素の画素値を、前記隙間と該隙間に隣接するいずれかの画像との境界と前記補間画素との距離に応じてブレンドすることによって算出することを特徴とする。
【００１６】
上記画像処理装置において、前記画像配置部は、１つの画面に配置される前記複数の画像の向きを、前記複数の画像間で対応する周縁領域の類似度に基づいて決定することを特徴とする。
【００１７】
上記画像処理装置において、前記画像配置部は、前記複数の画像間で対応する周縁領域同士の類似度に応じて、前記複数の画像を上下及び／又は左右に反転させることを特徴とする。
【００１８】
上記画像処理装置において、前記画像配置部は、前記複数の画像の各々における中心領域と周縁領域との類似度に応じて、前記複数の画像を上下及び／又は左右に反転させることを特徴とする。
【００１９】
本発明に係る画像処理方法は、複数の画像を配置した画面を生成する画像処理装置が行う画像処理方法であって、前記複数の画像を、隙間を空けて配置する画像配置ステップと、前記隙間を、該隙間に隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理ステップとを含むことを特徴とする。
【００２０】
本発明に係る画像処理プログラムは、複数の画像を配置した画面を生成する画像処理プログラムであって、前記複数の画像を、隙間を空けて配置する画像配置ステップと、前記隙間を、該隙間に隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、複数の画像を隙間を空けて配置し、この隙間を該隙間に隣接する画像の端部領域の画素の画素値を用いて補間するので、各画像の端部領域に影響を与えることなく、且つ、隣同士に配置された画像間の境界をユーザに認識させないような画面を生成することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理装置を含む内視鏡システムの概略構成例を示す模式図である。
【図３】図３は、図１に示す画像処理装置の動作を示すフローチャートである。
【図４】図４は、図１に示す画像処理部によって生成された体内画像の例を示す模式図である。
【図５】図５は、４つの隅領域がマスキングされた体内画像の例を示す模式図である。
【図６】図６は、１画面に表示する画像の組の決定方法を説明する図である。
【図７】図７は、１画面に表示する画像の配置方法を説明する図である。
【図８】図８は、補間対象の隅領域を説明する図である。
【図９】図９は、４つの画像が隙間を空けてマトリックス状に配置された状態を示す図である。
【図１０】図１０は、４つの画像の間の隙間領域が補間された状態を示す模式図である。
【図１１】図１１は、４つの画像をつなげた画像に対して隅領域をマスキングした状態を示す図である。
【図１２】図１２は、隅領域の補間処理を示すフローチャートである。
【図１３Ａ】図１３Ａは、実施の形態１における隅領域の補間処理を説明する図である。
【図１３Ｂ】図１３Ｂは、実施の形態１における隅領域の補間処理を説明する図である。
【図１４】図１４は、実施の形態１における隙間領域の補間処理を示すフローチャートである。
【図１５Ａ】図１５Ａは、実施の形態１における隙間領域の補間処理を説明する図である。
【図１５Ｂ】図１５Ｂは、実施の形態１における隙間領域の補間処理を説明する図である。
【図１５Ｃ】図１５Ｃは、実施の形態１における隙間領域の補間処理を説明する図である。
【図１５Ｄ】図１５Ｄは、実施の形態１における隙間領域の補間処理を説明する図である。
【図１５Ｅ】図１５Ｅは、実施の形態１における隙間領域の補間処理を説明する図である。
【図１６】図１６は、実施の形態２における隙間領域の補間処理を示すフローチャートである。
【図１７Ａ】図１７Ａは、実施の形態２における隙間領域の補間処理を説明する図である。
【図１７Ｂ】図１７Ｂは、実施の形態２における隙間領域の補間処理を説明する図である。
【図１７Ｃ】図１７Ｃは、実施の形態２における隙間領域の補間処理を説明する図である。
【図１７Ｄ】図１７Ｄは、実施の形態２における隙間領域の補間処理を説明する図である。
【図１８】図１８は、実施の形態３における隙間領域の補間処理を示すフローチャートである。
【図１９Ａ】図１９Ａは、実施の形態３における隙間領域の補間処理を説明する図である。
【図１９Ｂ】図１９Ｂは、実施の形態３における隙間領域の補間処理を説明する図である。
【図２０】図２０は、実施の形態４における隙間領域の補間処理を示すフローチャートである。
【図２１Ａ】図２１Ａは、実施の形態４における隙間領域の補間処理を説明する図である。
【図２１Ｂ】図２１Ｂは、実施の形態４における隙間領域の補間処理を説明する図である。
【図２１Ｃ】図２１Ｃは、実施の形態４における隙間領域の補間処理を説明する図である。
【図２１Ｄ】図２１Ｄは、実施の形態４における隙間領域の補間処理を説明する図である。
【図２２】図２２は、実施の形態５における隅領域の補間処理を示すフローチャートである。
【図２３】図２３は、実施の形態５における隅領域の補間処理を説明する図である。
【図２４】図２４は、実施の形態５における隅領域の補間処理を説明する図である。
【図２５】図２５は、実施の形態６における１画面に配置する画像の位置及び向きの決定処理を示すフローチャートである。
【図２６Ａ】図２６Ａは、実施の形態６における１画面に配置する画像の位置及び向きの決定処理を説明する図である。
【図２６Ｂ】図２６Ｂは、実施の形態６における１画面に配置する画像の位置及び向きの決定処理を説明する図である。
【図２７】図２７は、実施の形態７における１画面に配置する画像の位置及び向きの決定処理を示すフローチャートである。
【図２８Ａ】図２８Ａは、実施の形態７における１画面に配置する画像の位置及び向きの決定処理を説明する図である。
【図２８Ｂ】図２８Ｂは、実施の形態７における１画面に配置する画像の位置及び向きの決定処理を説明する図である。
【図２９】図２９は、実施の形態７における１画面に配置する画像の位置及び向きの決定処理を説明する図である。
【発明を実施するための形態】
【００２３】
以下に、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施の形態においては、一例として、被検体の体内に導入されて体内を撮像するカプセル型内視鏡によって取得された体内画像に対する画像処理について説明するが、これらの実施の形態によって本発明が限定されるものではなく、本発明に係る画像処理装置、画像処理方法、及び画像処理プログラムは、種々の画像取得装置（医用観察装置）によって取得された医用画像の処理に適用することが可能である。
【００２４】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、入力部１１と、インタフェース（Ｉ／Ｆ）部１２と、一時記憶部１３と、演算部１４と、記憶部１５と、表示制御部１６と、表示部１７と、
制御部１８とを備える。
【００２５】
入力部１１は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現される。入力部１１は、ユーザの操作に応じた入力信号を、インタフェース部１２を介して制御部１８に入力する。
【００２６】
インタフェース部１２は、ＵＳＢポート等の外部機器（可搬型の記録媒体から画像データを読み取る読取装置等）との接続ポートを含み、入力部１１を介して入力される種々の命令及び情報や、ＵＳＢポート等を介して入力される画像データ及びその関連情報を表す信号の入力等を受け付ける。
【００２７】
一時記憶部１３は、ＤＲＡＭやＳＲＡＭ等の揮発性メモリによって実現され、インタフェース部１２を介して入力された画像データやその関連情報を一時的に記憶する。或いは、一時記憶部１３の代わりに、ＨＤＤ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体を駆動する駆動装置を設け、インタフェース部１２から入力された画像データを上記記録媒体に一旦格納するようにしても良い。
【００２８】
演算部１４は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラムを読み込むことにより、インタフェース部１２から入力された画像データに画像処理を施し、体内画像を所定の形式で表示部１７に表示させるための画像データを生成する。
【００２９】
より詳細には、演算部１４は、一時記憶部１３に記憶された画像データに対してホワイトバランス処理、デモザイキング、色変換、濃度変換（ガンマ変換等）、平滑化（ノイズ除去等）、鮮鋭化（エッジ強調等）等の基本的な画像処理を施す画像処理部１４１と、複数の体内画像が一覧可能に配置された画面を生成するための画像処理を実行する画像配置部１４２、隅領域補間部１４３、補間処理部１４４、及びマスキング部１４５とを有する。
【００３０】
記憶部１５は、フラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリや、ＨＤＤ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体を駆動する駆動装置等によって実現される。記憶部１５は、画像処理装置１を動作させると共に種々の機能を画像処理装置１に実行させるためのプログラム、演算部１４において画像処理が施された画像データ及びその関連情報、並びにプログラムの実行中に使用されるデータ等を記憶する。例えば、記憶部１５は、複数の体内画像が一覧可能に配置された画面を生成する画像処理プログラムを記憶する。
【００３１】
表示制御部１６は、体内画像や、その他種々の情報を所定の形式で表示するよう表示部１７を制御する。
【００３２】
表示部１７は、ＣＲＴディスプレイ、液晶ディスプレイ、ＥＬディスプレイ等の表示装置によって実現される。表示部１７は、表示制御部１６の制御の下で、例えば複数の体内画像が一覧可能に配置された読影画面を表示する。
【００３３】
制御部１８は、ＣＰＵ等のハードウェアによって実現され、記憶部１５に記憶された各種プログラムを読み込むことにより、インタフェース部１２を介して入力される画像データや各種操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
このような画像処理装置１は、ワークステーションやパーソナルコンピュータによって実現される。
【００３４】
図２は、図１に示す画像処理装置１に入力される体内画像の画像データを取得する内視鏡システムの概略構成例を示す模式図である。図２に示す内視鏡システムは、被検体１００の体内に導入されて撮像を行い、体内画像の画像データを無線送信するカプセル型内視鏡２０と、カプセル型内視鏡２０から無線送信された画像データを受信する受信装置３０とを備える。
【００３５】
カプセル型内視鏡２０は、被検体内を照明する照明素子、被検体内からの反射光を集光する集光レンズ、受光した光を電気信号（撮像信号）に変換するＣＣＤ等の撮像素子、撮像素子によって取得された撮像信号を処理する信号処理部を構成するＩＣ、及び送信用無線アンテナ等の各種部品を内蔵している。カプセル型内視鏡２０は、被検体１００の口から飲み込まれた後、臓器の蠕動運動等によって被検体１００の消化管内を移動しつつ、生体部位（食道、胃、小腸、および大腸等）を所定の時間間隔（例えば０．５秒間隔）で順次撮像する。そして、撮像によって得られた撮像信号に対して所定の信号処理を施すことにより画像データを生成し、この画像データを該画像データの関連情報と共に受信装置３０に順次無線送信する。この関連情報には、カプセル型内視鏡２０の個体を識別するために割り当てられた識別情報（例えばシリアル番号）等が含まれる。
【００３６】
受信装置３０は、複数（図２においては８個）の受信アンテナ３２ａ〜３２ｈを有するアンテナユニット３２を介して、カプセル型内視鏡２０から無線送信された画像データ及び関連情報を受信する。各受信アンテナ３２ａ〜３２ｈは、例えばループアンテナを用いて実現され、被検体１００の体外表面上の所定位置（例えば、カプセル型内視鏡２０の通過経路である被検体１００内の各臓器に対応した位置）に配置される。
【００３７】
受信装置３０は、カプセル型内視鏡２０によって撮像が行われている間（例えば、カプセル型内視鏡２０が被検体１００の口から導入され、消化管内を通過して排出されるまでの間）、被検体１００に携帯される。受信装置３０は、この間、アンテナユニット３２を介して受信した画像データに、各受信アンテナ３２ａ〜３２ｈにおける受信強度情報や受信時刻情報等の関連情報をさらに付加し、これらの画像データ及び関連情報を内蔵メモリに格納する。カプセル型内視鏡２０による撮像の終了後、受信装置３０は被検体１００から取り外され、画像処理装置１のＵＳＢポート等に接続されたクレードル３１にセットされる。それにより、受信装置３０は画像処理装置１と接続され、内蔵メモリに格納した画像データを画像処理装置１に送信する。
【００３８】
次に、図１に示す画像処理装置１の動作について説明する。図３は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１１において、画像処理装置１は、カプセル型内視鏡２０によって撮像された体内画像の画像データ及び関連情報を受信装置３０からクレードル３１を介して順次取得し、一時記憶部１３に記憶させる。
【００３９】
なお、画像処理装置１への画像データ等の取り込みは、上記クレードル３１を介した方法に限定されない。例えば、サーバに保存された画像データに対する処理を行う場合には、サーバと接続された通信装置を介して画像データを取り込んでも良いし、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の可搬型の記録媒体に記録された画像データに対する処理を行う場合には、例えば画像処理装置１に内蔵された読取装置により記録媒体から画像データを読み込んでも良い。或いは、画像処理装置１に医用観察装置を接続し、当該医用観察装置から直接画像データを取り込んでも良い。
【００４０】
続くステップＳ１２において、画像処理部１４１は一時記憶部１３に記憶された画像データに所定の画像処理を施すことにより、表示用の画像を生成する。図４に示す画像１１０は、そのようにして生成された一連の体内画像の内の一つを示す模式図である。
【００４１】
ステップＳ１３において、画像処理部１４１は、各体内画像に対し、被検体１００に関する有効な情報が含まれていない領域をマスキングする。例えば、カプセル型内視鏡２０によって体内を撮像する場合、通常、図４に示す画像１１０のように、視野が円形状となった体内画像が取得される。この場合、４隅の所定の線（以下、隅領域境界線という）１１１から外側の三角形状の領域（以下、隅領域という）１１２ａ〜１１２ｄが、マスキングされる。図５に示す画像１１３は、そのようにして生成された八角形状の体内画像の例である。
【００４２】
ステップＳ１４において、記憶部１５は、生成された一連の画像に対応する画像データを時系列順に沿って記憶する。
【００４３】
続くステップＳ１５において、画像配置部１４２は、１画面に表示する画像の組、及び１画面内での各画像の位置を決定する。即ち、図６に示すように、画像配置部１４２は、記憶部１５に記憶された一連の画像１１３−ｎ（ｎ＝１、２、…）を、１画面における画像の表示数に応じて、各画面の画面番号Ｎ（Ｎ＝１、２、…）に割り当てる。ここで、ｎは、各画像の画像番号（例えば、撮像時刻順の番号）を表し、Ｎは、各画面の表示順序を表す。なお、１画面における画像の表示数はデフォルトで決めておいても良いし（例えば４枚）、複数の選択肢（例えば２枚、４枚、６枚、８枚等）の中から入力部１１を用いてユーザが選択できるようにしても良い。例えば、１画面に４枚の画像を表示する場合、図６に示すように、画面番号Ｎ＝１には画像１１３−１〜１１３−４が割り当てられ、画面番号Ｎ＝２には画像１１３−５〜１１３−８が割り当てられる。
【００４４】
続いて、画像配置部１４２は、各画面内における画像１１３−ｎの位置を決定する。例えば、１画面に４枚の画像１１３−ｎを２行２列のマトリックス状に配置する場合において、画像１１３−ｎを左上から時計回りに時系列に配置するとき、図７に示すように、画面番号Ｎ＝１においては、画像１１３−１が画面の左上に配置され、画像１１３−２が画面の右上に配置され、画像１１３−３が画面の右下に配置され、画像１１３−４が画面の左下に配置される。
【００４５】
ステップＳ１６において、隅領域補間部１４３は、ステップＳ１５における決定に従って画像１１３−ｎを画面に配置したときに、自身及び他の画像１１３−ｎによって囲まれる隅領域（即ち、画面の中心部に集約される隅領域）を補間する。これは、画面の内部に、境界線やスポットが生じないようにするためである。図８は、図７に示す規則で画像１１３−ｎを配置した場合に補間対象となる隅領域を示す図である。この場合、左上に配置される画像１１３−１については右下の隅領域１１２ｃ、右上に配置される画像１１３−２については左下の隅領域１１２ｄ、右下の画像１１３−３については左上の隅領域１１２ａ、及び、左下の画像１１３−４については右上の隅領域１１２ｂが補間対象となる。画面の中心部に集約される隅領域以外の隅領域（例えば、画像１１３−１の隅領域１１２ａ、１１２ｂ、１１２ｄ等）については、補間しても良いし補間しなくても良い。本実施の形態１においては、各画像１１３の全ての隅領域１１２ａ〜１１２ｄを補間するものとする。
【００４６】
ステップＳ１７において、画像配置部１４２は、ステップＳ１５における決定に従って、同じ画面に配置される複数の画像を、隙間を空けて配置する。図９は、４つの画像１２１〜１２４を、Ｘ方向における隙間領域ＳＰＸ、及びＹ方向における隙間領域ＳＰＹを介してマトリックス状に配置した状態を示している。
【００４７】
続くステップＳ１８において、補間処理部１４４は、隙間領域に隣接する画像の端部領域の画素の画素値を用いて隙間領域を補間することにより、複数の画像を１つにつなげる
。例えば、図９の場合、隙間領域ＳＰＸについては、隙間領域ＳＰＸに隣接する画像１２１の端部領域１２１Ｘ、画像１２２の端部領域１２２Ｘ、画像１２３の端部領域１２３Ｘ、及び画像１２４の端部領域１２４Ｘに含まれる画素の画素値で補間する。また、隙間領域ＳＰＹについては、隙間領域ＳＰＹに隣接する画像１２１の端部領域１２１Ｙ、画像１２２の端部領域１２２Ｙ、画像１２３の端部領域１２３Ｙ、及び画像１２４の端部領域１２４Ｙに含まれる画素の画素値で補間する。なお、隙間領域ＳＰＸと隙間領域ＳＰＹとが交わる中心領域ＳＰＯについては、先に補間された隙間領域（例えば隙間領域ＳＰＹ→隙間領域ＳＰＸの順で補間を行う場合には、隙間領域ＳＰＹ）の端部領域に含まれる画素の画素値で補間される。それにより、図１０に示すように、４つの画像１２１〜１２４が自然につなげられた画面１３０が生成される。
【００４８】
さらに、ステップＳ１９において、マスキング部１４５は、図１１に示すように、画面１３０の４つの隅領域１３１をマスキングして、画面１３０の外形を、元の個別の画像１１３と同様の形状（八角形状）に合わせる。
ステップＳ２０において、記憶部１５は、このようにして生成された画面１３０を、画面番号（Ｎ）順に記憶する。
【００４９】
次に、隅領域の補間処理（ステップＳ１６）について、説明する。図１２は、隅領域の補間処理を示すフローチャートである。また、図１３Ａ及び１３Ｂは、隅領域の補間処理を説明する図である。図１３Ａに示すように、１つの画面に４つの隅領域がマスキングされた画像１１５〜１１８をマトリックス状に配置する場合、画面中央の隅領域１１５ａ〜１１８ａが補間対象となる。
【００５０】
まず、ステップＳ１０１において、隅領域補間部１４３は、各画像１１５〜１１８から、対応する隅領域境界線１１５ｂ〜１１８ｂに対して隅領域１１５ａ〜１１８ａと対称な領域に含まれる画素を抽出し、それらの画素の画素値を取得する。具体的には、画像１１５から隅領域境界線１１５ｂに対して隅領域１１５ａと対称な領域１１５ｃ内の画素が抽出され、画像１１６から隅領域境界線１１６ｂに対して隅領域１１６ａと対称な領域１１６ｃ内の画素が抽出され、画像１１７から隅領域境界線１１７ｂに対して隅領域１１７ａと対称な領域１１７ｃ内の画素が抽出され、画像１１８から隅領域境界線１１８ｂに対して隅領域１１８ａと対称な領域１１８ｃ内の画素が抽出される。
【００５１】
ステップＳ１０２において、隅領域補間部１４３は、取得した領域１１５ｃ〜１１８ｃ内の画素の画素値を用いて、対応する隅領域１１５ａ〜１１８ａを補間する。具体的には、隅領域１１５ａ内の任意の補間画素Ｐ１’の画素値として、隅領域境界線１１５ｂに対して画素Ｐ１’と対称な位置にある画素Ｐ１の画素値を適用する。他の隅領域１１６ａ〜１１８ａについても同様である。それにより、図１３Ｂに示すように、隅領域境界線１１５ｂ〜１１８ｂが目立たないように隅領域１１５ａ〜１１８ａを補間することができる。
【００５２】
なお、画面の中心部に集約される隅領域１１５ａ〜１１８ａ以外の隅領域についても、同様の方法により補間しても良い。例えば、隅領域１１７ｄや隅領域１１８ｄについては、隅領域境界線１１７ｅ、１１８ｅに対して隅領域１１７ｄ、１１８ｄとそれぞれ対称な領域１１７ｆ、１１８ｆ内の画素の画素値を用いて補間すれば良い。
【００５３】
次に、隙間領域の補間処理（ステップＳ１８）について説明する。図１４は、隙間領域の補間処理を示すフローチャートである。また、図１５Ａ〜図１５Ｅは、隙間領域の補間処理を説明する図である。図１５Ａに示すように、以下においては、１つの画面に４つの画像１２１〜１２４をマトリックス状に配置する場合について説明する。
【００５４】
まず、ステップＳ１１１において、補間処理部１４４は、各画像１２１〜１２４から、
Ｙ方向における隙間領域ＳＰＹに隣接する端部領域１２１ａ〜１２４ａ内の画素の画素値を取得する。このとき、各端部領域１２１ａ〜１２４ａの幅は、隙間領域ＳＰＹの幅ｄＹ（例えば３２ピクセル）の半分（ｄＹ／２）とする。
【００５５】
続くステップＳ１１２において、補間処理部１４４は、図１５Ｂに示すように、隙間領域ＳＰＹの両側の端部領域内の画素の画素値の平均値を算出する。具体的には、画像１２１及び１２４に挟まれた隙間領域ＳＰＹ−１について、端部領域１２１ａ及び１２４ａ内の画素の画素値の平均値ＡＶＥＹ−１を算出する。また、画像１２２及び１２３に挟まれた隙間領域ＳＰＹ−２について、端部領域１２２ａ及び１２３ａ内の画素の画素値の平均値ＡＶＥＹ−２を算出する。或いは、端部領域１２１ａ〜１２４ａ全体の画素値の平均値を算出しても良い。この場合、隙間領域ＳＰＹ−１及びＳＰＹ−２について共通の平均値ＡＶＥＹが取得される。
【００５６】
ステップＳ１１３において、補間処理部１４４は、隙間領域ＳＰＹ−１及びＳＰＹ−２内の補間画素の画素値を、補間画素と対称な位置にある画素の画素値とステップＳ１１２において算出された平均値とをαブレンドすることによって算出する。具体的には、隙間領域ＳＰＹ−１において、画像１２４よりも画像１２１の側に近い任意の補間画素Ｐ１１’（Ｘ１１，Ｙ１１’）の画素値Ｇ１１’は、境界１２１ｂに対して画素Ｐ１１’と対称な位置にある画素Ｐ１１（Ｘ１１，Ｙ１１）の画素値Ｇ１１及び平均値ＡＶＥＹ−１（又は平均値ＡＶＥＹ）を用いて、次式（１）によって与えられる。
Ｇ１１’＝（１−α（Ｙ））・Ｇ１１＋α（Ｙ）ＡＶＥＹ−１ …（１）
【００５７】
ここで、α（Ｙ）（１≧α（Ｙ）≧０）は、補間画素（式（１）では補間画素Ｐ１１’）に対応する端部領域内の画素の画素値（同画素値Ｇ１１）と平均値（同平均値ＡＶＥＹ−１）とをブレンドする比率を決める係数であり、補間画素のＹ座標の値に依存する。具体的には、α（Ｙ）の値は、画素Ｐ１１’が境界１２１ｂに近づくほど、画素値Ｇ１１の比率が増加し（即ち、α（Ｙ）が小さくなり）、画素Ｐ１１’が隙間領域ＳＰＹ−１の中心に近づくほど、平均値ＡＶＥＹ−１の比率が増加する（即ち、α（Ｙ）が大きくなる）ように、補間画素Ｐ１１’と境界１２１ｂとの間の距離に応じて決定される。
【００５８】
同様に、隙間領域ＳＰＹ−２において、画像１２３よりも画像１２２の側に近い任意の補間画素Ｐ１２’（Ｘ１２，Ｙ１２’）の画素値Ｇ１２’は、境界１２２ｂに対して画素Ｐ１２’と対称な位置にある画素Ｐ１２（Ｘ１２，Ｙ１２）の画素値Ｇ１２及び平均値ＡＶＥＹ−２（又は平均値ＡＶＥＹ）を用いて、次式（２）によって与えられる。
Ｇ１２’＝（１−α（Ｙ））・Ｇ１２＋α（Ｙ）ＡＶＥＹ−２ …（２）
【００５９】
同様に、隙間領域ＳＰＹ−２において、画像１２２よりも画像１２３の側に近い任意の補間画素Ｐ１３’（Ｘ１３，Ｙ１３’）の画素値Ｇ１３’は、境界１２３ｂに対して画素Ｐ１３’と対称な位置にある画素Ｐ１３（Ｘ１３，Ｙ１３）の画素値Ｇ１３及び平均値ＡＶＥＹ−２（又は平均値ＡＶＥＹ）を用いて、次式（３）によって与えられる。
Ｇ１３’＝（１−α（Ｙ））・Ｇ１３＋α（Ｙ）ＡＶＥＹ−２ …（３）
【００６０】
同様に、隙間領域ＳＰＹ−１において、画像１２１よりも画像１２４の側に近い任意の補間画素Ｐ１４’（Ｘ１４，Ｙ１４’）の画素値Ｇ１４’は、境界１２４ｂに対して画素Ｐ１４’と対称な位置にある画素Ｐ１４（Ｘ１４，Ｙ１４）の画素値Ｇ１４及び平均値ＡＶＥＹ−１（又は平均値ＡＶＥＹ）を用いて、次式（４）によって与えられる。
Ｇ１４’＝（１−α（Ｙ））・Ｇ１４＋α（Ｙ）ＡＶＥＹ−１ …（４）
【００６１】
ステップＳ１１４において、補間処理部１４４は、式（１）〜（４）によって算出された画素値Ｇ１１’〜Ｇ１４’によって隙間領域ＳＰＹを補間する。
【００６２】
続くステップＳ１１５において、補間処理部１４４は、図１５Ｃに示すように、各画像１２１〜１２４並びに補間された隙間領域ＳＰＹ−１及びＳＰＹ−２から、Ｘ方向の隙間領域ＳＰＸに隣接する端部領域１２５ａ及び１２６ａ内の画素の画素値を取得する。このとき、各端部領域１２５ａ及び１２６ａの幅は、隙間領域ＳＰＸの幅ｄＸ（例えば３２ピクセル）の半分（ｄＸ／２）とする。
【００６３】
続くステップＳ１１６において、補間処理部１４４は、図１５Ｄに示すように、隙間領域ＳＰＸの両側の端部領域１２５ａ及び１２６ａ内の画素の画素値の平均値ＡＶＥＸを算出する。
【００６４】
ステップＳ１１７において、補間処理部１４４は、隙間領域ＳＰＸ内の補間画素の画素値を、補間画素と対称な位置にある画素の画素値とステップＳ１１６において算出された平均値とをαブレンドすることによって算出する。具体的には、隙間領域ＳＰＸ内において、画像１２２よりも画像１２１の側に近い任意の補間画素Ｐ１５’（Ｘ１５’，Ｙ１５）の画素値Ｇ１５’は、境界１２５ｂに対して画素Ｐ１５’と対称な位置にある画素Ｐ１５（Ｘ１５，Ｙ１５）の画素値Ｇ１５及び平均値ＡＶＥＸを用いて、次式（５）によって与えられる。
Ｇ１５’＝（１−α（Ｘ））・Ｇ１５＋α（Ｘ）ＡＶＥＸ …（５）
【００６５】
ここで、α（Ｘ）（１≧α（Ｘ）≧０）は、補間画素（式（５）では補間画素Ｐ１５’）に対応する端部領域内の画素の画素値（同画素値Ｇ１５）と平均値（同平均値ＡＶＥＸ）とをブレンドする比率を決める係数であり、補間画素のＸ座標の値に依存する。具体的には、α（Ｘ）の値は、画素Ｐ１５’が境界１２５ｂに近づくほど、画素値Ｇ１５の比率が増加し（即ち、α（Ｘ）が小さくなり）、画素Ｐ１５’が隙間領域ＳＰＸの中心に近づくほど、平均値ＡＶＥＸの比率が増加する（即ち、α（Ｘ）が大きくなる）ように、補間画素Ｐ１５’と境界１２５ｂとの間の距離に応じて決定される。
【００６６】
一方、画像１２１よりも画像１２２の側に近い任意の補間画素Ｐ１６’（Ｘ１６’，Ｙ１６）の画素値Ｇ１６’は、境界１２６ｂに対して画素Ｐ１６’と対称な位置にある画素Ｐ１６（Ｘ１６，Ｙ１６）の画素値Ｇ１６及び平均値ＡＶＥＸを用いて、次式（６）によって与えられる。
Ｇ１６’＝（１−α（Ｘ））・Ｇ１６＋α（Ｘ）ＡＶＥＸ …（６）
【００６７】
ステップＳ１１８において、補間処理部１４４は、式（５）及び（６）によって算出された画素値Ｇ１５’及びＧ１６’によって、隙間領域ＳＰＸを補間する。それにより、図１５Ｅに示すように、画像１２１〜１２４がつなげられた画面１２７が生成される。
その後、動作はメインルーチンに戻る。
【００６８】
以上説明したように、実施の形態１においては、隣り合う画像間の隙間領域を、この隙間領域の両隣の画像内の画素であって、隙間領域と対称な端部領域の画素の画素値を用いて補間する。言い換えると、隙間領域の両隣の画像を隙間領域との境界に対してそれぞれ折り返した各領域内の画素の画素値を用いて隙間領域を補間する。従って、画像の端部領域自体に影響を与えることなく、且つ、隣り合う画像間の境界をユーザに認識させないような画面を生成することが可能となる。
【００６９】
また、実施の形態１によれば、各画像においてマスキングされた隅領域を、当該画像内の画素であって、隅領域境界線に対して隅領域と対称な領域内の画素の画素値を用いて補間する。言い換えると、当該画像を隅領域境界線に対して折り返し、折り返された領域内の画素の画素値を用いて隅領域を補間するので、各画像の隅領域が集約された画面の中央
部においても互いに隣り合う画像が自然につながっているように見える画面を生成することが可能となる。
【００７０】
なお、実施の形態１においては、カプセル型内視鏡によって取得された体内画像を扱うため、ステップＳ１３において各画像の４つの隅領域をマスキングしたが、マスキングは必ずしも実行しなくても良い。この場合、ステップＳ１７における隅領域の補間処理や、ステップＳ１９における４隅のマスキング処理も省略される。
【００７１】
また、実施の形態１の隙間領域の補間処理においては、補間画素と対称な端部領域内の画素の画素値に対し、端部領域全体の画素の画素値の平均値をブレンドしたが、その代わりに、補間画素を含む端部領域内の列（隙間領域ＳＰＹの場合）又は行（隙間領域ＳＰＸの場合）に含まれる画素の画素値の平均値をブレンドしても良い。
【００７２】
（実施の形態２）
次に、本発明の実施の形態２について説明する。実施の形態２に係る画像処理装置の構成及び動作の概要は図１及び図３に示すものと同様であり、補間処理部１４４が実行する隙間領域の補間処理（ステップＳ１８）が、実施の形態１とは異なる。
【００７３】
図１６は、実施の形態２における隙間領域の補間処理を示すフローチャートである。また、図１７Ａ〜図１７Ｄは、実施の形態２における隙間領域の補間処理を説明する図である。以下においては、図１７Ａに示すように、隙間を空けてマトリックス状に配置された４つの画像２０１〜２０４（ステップＳ１７）の隙間領域ＳＰＸ及びＳＰＹを補間する場合について説明する。
【００７４】
まず、ステップＳ２１１において、補間処理部１４４は、各画像２０１〜２０４から、Ｙ方向における隙間領域ＳＰＹに隣接する端部画素２０１ａ〜２０４ａの画素値を取得する。
【００７５】
ステップＳ２１２において、補間処理部１４４は、端部画素２０１ａ〜２０４ａの画素値を用いて、隙間領域ＳＰＹを補間する。具体的には、図１７Ｂに示すように、画像２０１及び２０４の間の隙間領域ＳＰＹ−１において、互いに対向する端部画素２０１ａ及び２０４ａに挟まれた補間画素２０５の画素値を、互いに端部画素２０１ａの画素値から端部画素２０４ａの画素値まで、傾斜的又は段階的に変化させることによって取得する。補間処理部１４４は、画像２０２及び２０３に挟まれた隙間領域ＳＰＹ−２についても同様に、端部画素２０２ａ及び２０３ａの画素値を用いて補間する。
【００７６】
ステップＳ２１３において、補間処理部１４４は、図１７Ｃに示すように、各画像２０１〜２０４、並びに補間された隙間領域ＳＰＹ−１及びＳＰＹ−２から、Ｘ方向における隙間領域ＳＰＸに隣接する端部画素２０６ａ及び２０７ａの画素値を取得する。
【００７７】
ステップＳ２１４において、補間処理部１４４は、端部画素２０６ａ及び２０７ａの画素値を用いて、隙間領域ＳＰＸを補間する。具体的には、図１７Ｄに示すように、互いに対向する端部画素２０６ａ及び２０７ａに挟まれた補間画素２０８の画素値を、端部画素２０６ａの画素値から端部画素２０７ａの画素値まで、傾斜的又は段階的に変化させることによって取得する。
その後、動作はメインルーチンに戻る。
【００７８】
以上説明したように、実施の形態２によれば、隙間領域の画素の画素値を、隙間領域に隣接する一方の画像の端部画素の画素値から隙間領域に隣接する他方の画像の端部画素の画素値まで徐々に変化させるので、隣同士に配置された画像同士が自然につながって見え
る画面を生成することが可能となる。
【００７９】
（実施の形態３）
次に、本発明の実施の形態３について説明する。実施の形態３に係る画像処理装置の構成及び動作の概要は図１及び図３に示すものと同様であり、補間処理部１４４が実行する隙間領域の補間処理（ステップＳ１８）が、実施の形態１とは異なる。
【００８０】
図１８は、実施の形態３における隙間領域の補間処理を示すフローチャートである。また、図１９Ａ及び図１９Ｂは、実施の形態３における隙間領域の補間処理を説明する図である。以下においては、図１９Ａに示すように、隙間を空けてマトリックス状に配置された４つの画像３０１〜３０４（ステップＳ１７）の隙間領域ＳＰＸ及びＳＰＹを補間する場合について説明する。
【００８１】
まず、ステップＳ３１１において、補間処理部１４４は、画像３０１〜３０４から、各々と隙間領域ＳＰＹとの境界３０１ｂ〜３０４ｂに対して隙間領域ＳＰＹと対称な端部領域３０１ａ〜３０４ａ内の画素の画素値を取得する。
【００８２】
ステップＳ３１２において、補間処理部１４４は、隙間領域ＳＰＹ内の補間画素の画素値を、当該隙間領域ＳＰＹに隣接する端部領域に含まれる画素であって、当該補間画素に対応する２つの画素の画素値を、境界からの距離に応じた重みを付けてブレンドすることによって算出する。
【００８３】
具体的には、画像３０１及び３０４に挟まれた隙間領域ＳＰＹ−１内の任意の補間画素Ｐ３５の画素値Ｇ３５は、境界３０１ｂに対して補間画素Ｐ３５と対称な位置にある画素Ｐ３１の画素値Ｇ３１、境界３０４ｂに対して補間画素Ｐ３５と対称な位置にある画素Ｐ３４の画素値Ｇ３４、補間画素Ｐ３５と境界３０１ｂとの間の距離ｄ１、及び隙間領域ＳＰＹの幅ｄＹ（例えば、２４ピクセル）を用いて、次式（７）によって与えられる。
Ｇ３５＝Ｇ３１×｛（ｄＹ−ｄ１）／ｄＹ｝＋Ｇ３４×（ｄ１／ｄＹ）…（７）
【００８４】
同様に、画像３０２及び３０３に挟まれた隙間領域ＳＰＹ−２内の任意の補間画素Ｐ３６の画素値Ｇ３６は、境界３０２ｂに対して補間画素Ｐ３６と対称な位置にある画素Ｐ３２の画素値Ｇ３２、境界３０３ｂに対して補間画素Ｐ３６と対称な端部領域３０３ａ内の画素Ｐ３３の画素値Ｇ３３、補間画素Ｐ３６と境界３０２ｂとの間の距離ｄ２、及び隙間領域ＳＰＹの幅ｄＹを用いて、次式（８）によって与えられる。
Ｇ３６＝Ｇ３２×｛（ｄＹ−ｄ２）／ｄＹ｝＋Ｇ３３×（ｄ２／ｄＹ）…（８）
【００８５】
ステップＳ３１３において、補間処理部１４４は、式（７）及び（８）によって算出された画素値Ｇ３５及びＧ３６によって隙間領域ＳＰＹを補間する。
【００８６】
ステップＳ３１４において、補間処理部１４４は、図１９Ｂに示すように、各画像３０１〜３０４並びに補間された隙間領域ＳＰＹ−１及びＳＰＹ−２から、各々と隙間領域ＳＰＸとの境界３０７ｂ、３０８ｂに対して隙間領域ＳＰＸと対称な端部領域３０７ａ、３０８ａ内の画素の画素値を取得する。
【００８７】
ステップＳ３１５において、補間処理部１４４は、隙間領域ＳＰＸ内の補間画素の画素値を、当該隙間領域ＳＰＸに隣接する端部領域に含まれる画素であって、当該補間画素に対応する２つの画素の画素値を、境界からの距離に応じた重みを付けてブレンドすることによって算出する。
【００８８】
具体的には、隙間領域ＳＰＸ内の任意の補間画素Ｐ３９の画素値Ｇ３９は、境界３０７
ｂに対して補間画素Ｐ３９と対称な位置にある画素Ｐ３７の画素値Ｇ３７、境界３０８ｂに対して補間画素Ｐ３９と対称な位置にある画素Ｐ３８の画素値Ｇ３８、補間画素Ｐ３９と境界３０７ｂとの間の距離ｄ３、及び隙間領域ＳＰＹの幅ｄＸ（例えば、２４ピクセル）を用いて、次式（９）によって与えられる。
Ｇ３９＝Ｇ３７×｛（ｄＸ−ｄ３）／ｄＸ｝＋Ｇ３８×（ｄ３／ｄＸ）…（９）
【００８９】
ステップＳ３１６において、補間処理部１４４は、式（９）によって算出された画素値Ｇ３９によって隙間領域ＳＰＸを補間する。
その後、動作はメインルーチンに戻る。
【００９０】
以上説明したように、実施の形態３においては、隣り合う画像間の隙間領域を、この隙間領域の両隣の画像内の画素であって、隙間領域と対称な端部領域の画素の画素値を用いて補間する。言い換えると、隙間領域の両隣の画像を隙間領域との境界に対してそれぞれ折り返した各領域内の画素の画素値をブレンドすることによって隙間領域を補間するので、隣り合う画像同士が自然につながって見える画面を生成することが可能となる。
【００９１】
（実施の形態４）
次に、本発明の実施の形態４について説明する。実施の形態４に係る画像処理装置の構成及び動作の概要は図１及び図３に示すものと同様であり、補間処理部１４４が実行する隙間領域の補間処理（ステップＳ１８）が、実施の形態１とは異なる。
【００９２】
図２０は、実施の形態４における隙間領域の補間処理を示すフローチャートである。また、図２１Ａ〜図２１Ｄは、実施の形態４における隙間領域の補間処理を説明する図である。以下においては、図２１Ａに示すように、隙間を空けてマトリックス状に配置された４つの画像４０１〜４０４（ステップＳ１７）の隙間領域ＳＰＸ及びＳＰＹを補間する場合について説明する。
【００９３】
まず、補間処理部１４４は、各画像４０１〜４０４から、Ｙ方向における隙間領域ＳＰＹの内、ステップＳ１６において補間された隅領域１１５ａ〜１１８ａと隣接する隙間領域ＳＰＹＡ及びＳＰＹＢの補間を行う。そのため、補間処理部１４４は、隅領域境界線１１５ｂ、１１８ｂに対して隙間領域ＳＰＹＡとそれぞれ対称な位置関係にある端部領域４０１ａ、４０４ａ内の画素の画素値と、隅領域境界線１１６ｂ、１１７ｂに対して隙間領域ＳＰＹＢとそれぞれ対称な位置関係にある端部領域４０２ａ、４０３ａ内の画素の画素値を取得する（ステップＳ４１１）。
【００９４】
ステップＳ４１２において、補間処理部１４４は、隙間領域ＳＰＹＡ及びＳＰＹＢ内の各補間画素の画素値を、当該補間画素に対応する両隣の画像内の２つの画素の画素値をブレンドすることにより算出する。この際、補間処理部１４４は、両者を境界４０１ｂ〜４０４ｂからの距離に応じた重みを付けてブレンドする。
【００９５】
具体的には、隙間領域ＳＰＹＡ内の任意の補間画素Ｐ４５の画素値Ｇ４５は、隅領域境界線１１５ｂに対して補間画素Ｐ４５と対称な位置にある画素Ｐ４１の画素値Ｇ４１、隅領域境界線１１８ｂに対して補間画素Ｐ４５と対称な位置にある画素Ｐ４４の画素値Ｇ４４、補間画素Ｐ４５と境界４０１ｂとの間の距離ｄ４、及び隙間領域ＳＰＹの幅ｄＹ（例えば、２４ピクセル）を用いて、次式（１０）によって与えられる。
Ｇ４５＝Ｇ４１×｛（ｄＹ−ｄ４）／ｄＹ｝＋Ｇ４４×（ｄ４／ｄＹ）…（１０）
【００９６】
また、隙間領域ＳＰＹＢ内の任意の補間画素Ｐ４６の画素値Ｇ４６は、画素値Ｇ４５と同様に、隅領域境界線１１６ｂに対して補間画素Ｐ４６と対称な位置にある画素Ｐ４２の画素値Ｇ４２、隅領域境界線１１７ｂに対して補間画素Ｐ４６と対称な位置にある画素Ｐ
４３の画素値Ｇ４３、補間画素Ｐ４６と境界４０２ｂとの間の距離ｄ５、及び隙間領域ＳＰＹの幅ｄＹを用いて算出される。
【００９７】
ステップＳ４１３において、補間処理部１４４は、ステップＳ４１２において算出された画素値Ｇ４５及びＧ４６によって、隙間領域ＳＰＹＡ及びＳＰＹＢを補間する。
【００９８】
続くステップＳ４１４において、補間処理部１４４は、図２１Ｂに示すように、隅領域１１５ａ〜１１８ａとは隣接していない隙間領域ＳＰＹＣ及びＳＰＹＤを、当該隙間領域ＳＰＹＣ及びＳＰＹＤと隣接する画像４０１〜４０４の端部領域４０１ｃ〜４０４ｃ内の画素の画素値を用いて補間する。なお、このステップＳ４１４における補間処理については、実施の形態３のステップＳ３１１〜Ｓ３１３と同様である。或いは、実施の形態１又は実施の形態２と同様にして隙間領域ＳＰＹＣ及びＳＰＹＤを補間しても良い。
【００９９】
次に、図２１Ｃに示すように、補間処理部１４４は、Ｘ方向における隙間領域ＳＰＸの内、補間された隅領域１１５ａ〜１１８ａと隣接する隙間領域ＳＰＸＡ及びＳＰＸＢの補間を行う。そのため、補間処理部１４４は、各隅領域境界線１１５ｂ、１１６ｂに対して隙間領域ＳＰＸＡとそれぞれ対称な位置関係にある端部領域４０１ｄ、４０２ｄ内の画素の画素値と、各隅領域境界線１１７ｂ、１１８ｂに対して隙間領域ＳＰＸＢとそれぞれ対称な位置関係にある端部領域４０３ｄ、４０４ｄ内の画素の画素値を取得する（ステップＳ４１５）。
【０１００】
ステップＳ４１６において、補間処理部１４４は、隙間領域ＳＰＸＡ及びＳＰＸＢ内の各補間画素の画素値を、当該補間画素に対応する両隣の画像内の２つの画素の画素値をブレンドすることにより算出する。この際、補間処理部１４４は、両者を境界４０１ｅ〜４０４ｅからの距離に応じた重みを付けてブレンドする。
【０１０１】
具体的には、隙間領域ＳＰＸＡ内の任意の補間画素Ｐ４７の画素値Ｇ４７は、隅領域境界線１１５ｂに対して補間画素Ｐ４７と対称な位置にある画素Ｐ４１’の画素値Ｇ４１’、隅領域境界線１１６ｂに対して補間画素Ｐ４７と対称な位置にある画素Ｐ４２’の画素値Ｇ４２’、補間画素Ｐ４７と境界４０１ｅとの間の距離ｄ６、及び隙間領域ＳＰＸの幅ｄＸ（例えば、２４ピクセル）を用いて、次式（１１）によって与えられる。
Ｇ４７＝Ｇ４１’×｛（ｄＸ−ｄ６）／ｄＸ｝＋Ｇ４２’×（ｄ６／ｄＸ）…（１１）
【０１０２】
また、隙間領域ＳＰＹＢ内の任意の補間画素Ｐ４８の画素値Ｇ４８は、画素値Ｇ４７と同様に、隅領域境界線１１７ｂに対して補間画素Ｐ４８と対称な位置にある画素Ｐ４３’の画素値Ｇ４３’、隅領域境界線１１８ｂに対して補間画素Ｐ４８と対称な位置にある画素Ｐ４４’の画素値Ｇ４４’、補間画素Ｐ４８と境界４０４ｅとの間の距離ｄ７、及び隙間領域ＳＰＸの幅ｄＸを用いて算出される。
【０１０３】
ステップＳ４１７において、補間処理部１４４は、ステップＳ４１６において算出された画素値Ｇ４７及びＧ４８によって、隙間領域ＳＰＸＡ及びＳＰＸＢを補間する。
【０１０４】
続くステップＳ４１８において、補間処理部１４４は、図２１Ｄに示すように、補間された隅領域１１５ａ〜１１８ａとは隣接していない隙間領域ＳＰＸＣ〜ＳＰＸＥを、当該隙間領域ＳＰＸＣ〜ＳＰＸＥと隣接する画像４０１〜４０４の端部領域４０１ｆ〜４０４ｆ、並びに補間された隙間領域ＳＰＹ−１及びＳＰＹ−２の端部領域４０５及び４０６内の画素の画素値を用いて補間する。なお、このステップＳ４１８における補間処理については、実施の形態３のステップＳ３１４〜Ｓ３１６と同様である。或いは、実施の形態１又は実施の形態２と同様にして隙間領域ＳＰＸＣ〜ＳＰＸＥを補間しても良い。
その後、動作はメインルーチンに戻る。
【０１０５】
以上説明したように、実施の形態４によれば、補間された隅領域と隣接する隙間領域ＳＰＸＡ、ＳＰＸＢ、ＳＰＹＡ、ＳＰＹＢを、隅領域境界線１１５ｂ〜１１８ｂに対して対称な位置関係にある端部領域４０１ａ〜４０４ａ及び４０１ｄ〜４０４ｄの画素の画素値を用いて補間するので、隙間領域ＳＰＸ及びＳＰＹの補間処理に際して、隅領域の補間処理による影響を低減することが可能となる。
【０１０６】
（実施の形態５）
次に、本発明の実施の形態５について説明する。実施の形態５に係る画像処理装置の構成及び動作の概要は図１及び図３に示すものと同様であり、隅領域補間部１４３が実行する隅領域の補間処理（ステップＳ１６）が、実施の形態１とは異なる。
【０１０７】
図２２は、実施の形態５における隅領域の補間処理を示すフローチャートである。また、図２３は、実施の形態５における隅領域の補間処理を説明する図である。以下においては、図２３に示すように、マトリックス状に配置される４つの画像５０１〜５０４に囲まれる隅領域５０１ａ〜５０４ａを補間する場合について説明する。
【０１０８】
まず、ステップＳ５１１において、隅領域補間部１４３は、図２３に示すように、１画面に配置される画像５０１〜５０４を、互いに隣接するように並べる。
ステップＳ５１２において、隅領域補間部１４３は、各画像５０１〜５０４から、隅領域境界線５０１ｂ〜５０４ｂに沿って端部画素の画素値を取得する。
【０１０９】
ステップＳ５１３において、隅領域補間部１４３は、各隅領域境界線５０１ｂ〜５０４ｂに沿った端部画素から、Ｘ方向及びＹ方向において隅領域５０１ａ〜５０４ａ内の注目画素に対応する端部画素を２つずつ抽出する。具体的には、図２３に示すように、任意の注目画素Ｐ５０（Ｘ５０，Ｙ５０）に対し、Ｘ方向において対応する（即ち、Ｙ座標が等しい）端部画素Ｐ５１（Ｘ５１、Ｙ５０）及び端部画素Ｐ５２（Ｘ５２，Ｙ５０）と、Ｙ方向において対応する（即ちＸ座標が等しい）端部画素Ｐ５３（Ｘ５０，Ｙ５３）及び端部画素Ｐ５４（Ｘ５０，Ｙ５４）とが抽出される。
【０１１０】
ステップＳ５１４において、隅領域補間部１４３は、抽出された端部画素Ｐ５１、Ｐ５２、Ｐ５３及びＰ５４の画素値Ｇ５１（Ｘ５１、Ｙ５０）、Ｇ５２（Ｘ５２，Ｙ５０）、Ｇ５３（Ｘ５０，Ｙ５３）及びＧ５４（Ｘ５０，Ｙ５４）を注目画素Ｐ５０との距離に応じた重みを付けてブレンドすることにより、注目画素Ｐ５０の画素値Ｇ５０を算出する。
【０１１１】
具体的には、画素値Ｇ５０は、次式（１２）によって与えられる。
【数１】
【０１１２】
ステップＳ５１５において、隅領域補間部１４３は、上式（１２）によって算出された画素値Ｇ５０によって隅領域５０１ａ〜５０４ａを補間する。
その後、動作はメインルーチンに戻る。
【０１１３】
以上説明したように、実施の形態５によれば、各画像５０１〜５０４の境界線５０１ｂ
〜５０４ｂに沿った端部画素の画素値をブレンドすることによって隅領域５０１ａ〜５０４ａを補間するので、境界線５０１ｂ〜５０４ｂの近傍だけでなく、隅領域５０１ａ〜５０４ａ同士の境界においても画像が自然につながって見える画面を生成することができる。従って、後の隙間領域の補間処理（ステップＳ１８）においても、隅領域５０１ａ〜５０４ａと隣接する隙間領域を、画像がより自然につながって見えるように補間することが可能となる。
【０１１４】
なお、画面の端部に配置される隅領域（例えば隅領域５０２ｄ、５０３ｄ、５０３ｃ、５０４ｃ）については、隅領域境界線に沿った端部画素の内、Ｘ方向又はＹ方向のいずれかにおいて対応する２つの端部画素を用いて補間すれば良い。例えば、図２４に示す隅領域５０３ｃ及び５０４ｃ内の注目画素Ｐ５５（Ｘ５５，Ｙ５５）の画素値Ｇ５５は、Ｘ方向において対応する２つの端部画素Ｐ５６（Ｘ５６，Ｙ５５）及びＰ５７（Ｘ５７，Ｙ５５）の画素値Ｇ５６（Ｘ５６，Ｙ５５）及びＧ５７（Ｘ５７，Ｙ５５）を用いて、次式（１３）によって与えられる。
【数２】
【０１１５】
また、隅領域５０２ｄ及び５０３ｄ内の注目画素Ｐ５８（Ｘ５８，Ｙ５８）の画素値Ｇ５８は、Ｙ方向において対応する２つの端部画素Ｐ５９（Ｘ５８，Ｙ５９）及びＰ６０（Ｘ５８，Ｙ６０）の画素値Ｇ５９（Ｘ５８，Ｙ５９）及びＧ６０（Ｘ５８，Ｙ６０）を用いて、次式（１４）によって与えられる。
【数３】
【０１１６】
（実施の形態６）
次に、本発明の実施の形態６について説明する。実施の形態６に係る画像処理装置の構成及び動作の概要は図１及び図３に示すものと同様であり、画像配置部１４２が１画面に配置する画像の位置を決定（ステップＳ１５の後段）する際に、併せて、各画像の向きを決定することを特徴とする。
【０１１７】
図２５は、１画面に配置する画像の位置及び向きの決定処理を示すフローチャートである。また、図２６Ａ及び図２６Ｂは、１画面に配置する画像の位置及び向きを決定する方法を説明する図である。以下においては、図２６Ａに示すように、１つの画面６００内にマトリックス状に配置される４つの画像６０１〜６０４の向きを決定する場合について説明する。
【０１１８】
画像配置部１４２は、１画面に表示する画像の組を決定した後（ステップＳ１５の前段）、画面６００における各画像６０１〜６０４の位置を決定する（ステップＳ６１１）。例えば、撮像時刻順に時計回りに画像を配置する場合、画像６０１〜６０４の位置はそれぞれ、左上、右上、右下、左下となる。
【０１１９】
ステップＳ６１２において、画像配置部１４２は、画像６０１〜６０４間で対応する領域が隣り合わせになるように、所定の画像を反転させる。例えば、画像６０２を左右反転させ、画像６０３を左右及び上下反転させ、画像６０４を上下反転させると、図２６Ｂに示すように、対応する隅領域６０１ａ〜６０４ａが中央に集約され、隅領域６０１ａ〜６０４ａ近傍の対応する端部同士（端部６０１ｃと６０２ｃ、６０２ｂと６０３ｂ、６０３
ｃと６０４ｃ、６０４ｂと６０１ｂ）がそれぞれ隣り合わせに配置される。
その後、動作はメインルーチンに戻る。
【０１２０】
ここで、例えば体内を撮像するカプセル型内視鏡２０の進行速度が遅く、近接する画像間における変化が少ない場合、対応する領域（例えば各画像の右下の隅領域６０１ａ〜６０４ａ近傍）における画素値が互いに近似する可能性が高くなる。そのような場合に、対応する領域を同じ箇所（例えば画面の中央）に集約することにより、隣り合う画像がより自然につながって見える画面を生成することが可能になる。
【０１２１】
（変形例）
実施の形態６の変形例として、カプセル型内視鏡２０の移動速度に応じて、１画面に表示される画像の反転を行うか否かを決定するようにしても良い。
具体的には、演算部１４に、一時記憶部１３に記憶された関連情報（受信強度情報及び受信時刻情報）に基づいて、撮像時刻（略画像データの受信時刻）におけるカプセル型内視鏡２０の位置を推定する位置推定処理部をさらに設ける。画像配置部１４２は、この位置推定処理部による位置推定結果に基づいて、所定の時間間隔内におけるカプセル型内視鏡２０の位置変化が所定の閾値よりも小さい場合に、画像反転を行うことを決定する。
【０１２２】
なお、カプセル型内視鏡２０の位置推定処理は、種々の公知技術によって実現される。例えば、カプセル型内視鏡２０の位置は、各受信アンテナ３２ａ〜３２ｈによって受信された受信強度に基づいて算出することができる。
【０１２３】
（実施の形態７）
次に、本発明の実施の形態７について説明する。実施の形態７に係る画像処理装置の構成及び動作の概要は図１及び図３に示すものと同様であり、画像配置部１４２が１画面に配置する画像の位置を決定（ステップＳ１５の後段）する際に、併せて、各画像の向きを決定することを特徴とする。
【０１２４】
図２７は、実施の形態７における１画面に配置する画像の位置及び向きの決定処理を示すフローチャートである。また、図２８Ａ及び図２８Ｂは、１画面に配置する画像の向きの決定処理を説明する図である。以下においては、図２８Ａに示すように、１つの画面７００内にマトリックス状に配置される４つの画像７０１〜７０４の向きを決定する場合について説明する。
【０１２５】
画像配置部１４２は、１画面に表示する画像の組を決定した後（ステップＳ１５の前段）、画面７００における各画像７０１〜７０４の位置を決定する（ステップＳ７１１）。例えば、撮像時刻順に時計回りに画像を配置する場合、画像７０１〜７０４の位置はそれぞれ、左上、右上、右下、左下となる。
【０１２６】
続くステップＳ７１２において、画像配置部１４２は、４つの画像７０１〜７０４間の周縁領域同士の類似度を算出する（ステップＳ７１２）。具体的には、対応する周縁領域７０１ａ〜７０４ａ同士の類似度、周縁領域７０１ｂ〜７０４ｂ同士の類似度、周縁領域７０１ｃ〜７０４ｃ同士の類似度、及び周縁領域７０１ｄ〜７０４ｄ同士の類似度が算出される。類似度の値としては、例えば、パターンマッチング処理等の公知技術によって取得される相互相関係数や差分値等が用いられる。なお、類似度の算出に用いられる画像としては、隅領域をマスキング（ステップＳ１３）する前の画像であっても良いし、隅領域をマスキングした後の画像であっても良い。
【０１２７】
なお、４つの画像間の類似度を算出する際には、例えば、隣り合う２つの画像間（例えば、画像７０１と７０２、７０２と７０３、７０３と７０４、７０４と７０１）で対応す
る領域の類似度をそれぞれ算出し、それらの平均値を求めれば良い。或いは、１つの画面に配置される複数の画像の内、撮像時刻が最も早い画像（例えば画像７０１）と最も遅い画像（例えば画像７０４）との類似度を算出しても良い。
【０１２８】
ステップＳ７１３において、画像配置部１４２は、４つの画像７０１〜７０４内における中心領域と周縁領域との間の類似度を算出する。具体的には、各画像７０１〜７０４について、中心領域７０１ｅと周縁領域７０１ａ〜７０１ｄとの類似度、中心領域７０２ｅと周縁領域７０２ａ〜７０２ｄとの類似度、中心領域７０３ｅと周縁領域７０３ａ〜７０３ｄとの類似度、及び中心領域７０４ｅと周縁領域７０４ａ〜７０４ｄとの類似度がそれぞれ算出される。類似度の値としては、例えば、パターンマッチング処理等の公知技術によって取得される相互相関係数や差分値等が用いられる。なお、類似度の算出に用いられる画像としては、隅領域をマスキング（ステップＳ１３）する前の画像であっても良いし、隅領域をマスキングした後の画像であっても良い。
さらに、画像配置部１４２は、画像７０１〜７０４についてそれぞれ算出された４つの類似度の平均値を算出する。
【０１２９】
ステップＳ７１４において、画像配置部１４２は、ステップＳ７１２の算出結果に基づいて、画像間の周縁領域同士の類似度が高いか否かを判断する。画像間の周縁領域同士の類似度が所定の閾値よりも高い場合（ステップＳ７１４：Ｙｅｓ）、画像配置部１４２はさらに、ステップＳ７１３の算出結果に基づいて、各画像内における類似度が低いか否かを判断する（ステップＳ７１５）。
【０１３０】
画像配置部１４２は、各画像内における類似度が所定の閾値よりも低い場合（ステップＳ７１５：Ｙｅｓ）、画像７０１〜７０４間で対応する周縁領域が集約されるように、所定の画像を反転させる（ステップＳ７１６）。具体的には、図２８Ｂに示すように、画像配置部１４２は、画像７０２を左右反転させ、画像７０３を左右及び上下反転させ、画像７０４を上下反転させる。その後、動作はメインルーチンに戻る。
【０１３１】
一方、画像間の周縁領域同士の類似度が高くない場合（ステップＳ７１４：Ｎｏ）、又は各画像内の中心領域と周縁領域との類似度が低くない場合（ステップＳ７１５：Ｎｏ）、動作はそのままメインルーチンに戻る。
【０１３２】
以上説明したように、実施の形態７によれば、対応する周縁領域同士の類似度が高い場合に、画像反転によって互いに類似する周縁領域を同じ箇所に集約するので、隣り合う画像がより自然につながって見える画面を生成することが可能になる。このとき、各画像内の中心領域と周縁領域との類似度が低い場合に限って画像反転を行うので、反転された画像をユーザが観察した際の違和感を低減することが可能になる。
【０１３３】
なお、以上の説明においては、１つの画面に４つの画像を配置する場合について説明したが、それ以外の数の画像を１画面に配置する場合であっても、同様にして画像の向きを決定することができる。例えば、図２９に示すように、画面７１０に２つの画像７１１及び７１２を配置する場合、対応する周縁領域同士の類似度（周縁領域７１１ａと７１２ａ、周縁領域７１１ｂと７１２ｂ）と、各画像内の類似度（中心領域７１１ｃと周縁領域７１１ａ及び７１１ｂ、中心領域７１２ｃと周縁領域７１２ａ及び７１２ｂ）とを算出すれば良い。
【０１３４】
以上説明した実施の形態は、本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施の形態が可能であることは上記記載から自明である。
【符号の説明】
【０１３５】
１ 画像処理装置
１１ 入力部
１２ インタフェース部
１３ 一時記憶部
１４ 演算部
１５ 記憶部
１６ 表示制御部
１７ 表示部
１８ 制御部
２０ カプセル型内視鏡
３０ 受信装置
３１ クレードル
３２ アンテナユニット
３２ａ 受信アンテナ
１００ 被検体
１４１ 画像処理部
１４２ 画像配置部
１４３ 隅領域補間部
１４４ 補間処理部
１４５ マスキング部
【特許請求の範囲】
【請求項１】
複数の画像を配置した画面を生成する画像処理装置であって、
前記複数の画像を、隙間を空けて配置する画像配置部と、
前記隙間を、該隙間と隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数の画像の各々は矩形状をなし、
各画像の４隅に位置する三角形状の隅領域をマスキングする画像処理部と、
自身及び他の画像によって囲まれる隅領域を補間する隅領域補間部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記隅領域補間部は、補間対象の前記隅領域内の補間画素の画素値を、前記各画像の画素であって、前記隅領域の境界線に対して前記補間画素と対称な位置にある画素の画素値を用いて算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記隅領域補間部は、補間対象の前記隅領域内の補間画素の画素値を、マスキングされた前記各画像の端部画素であって、前記境界線に沿った端部画素の画素値を用いて算出することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記補間処理部は、前記隙間内の補間画素の画素値を、前記隙間と隣接する２つの画像に含まれる画素であって、該画像と前記隙間との境界に対して前記補間画素と対称な位置にある画素の画素値を用いて算出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記補間処理部は、前記補間画素の画素値を、前記境界に対して前記補間画素と対称な位置にある画素の画素値と、前記境界に対して前記隙間と対称な領域に含まれる画素の画素値の平均値とを、前記境界と前記補間画素との距離に応じてブレンドすることによって算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記補間処理部は、前記補間画素の画素値を、前記隙間に隣接する２つの画像に含まれる画素であって、前記境界に対して前記補間画素とそれぞれ対称な位置にある２つの画素の画素値を、前記境界と前記補間画素との距離に応じてブレンドすることによって算出することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記補間処理部は、前記隙間内の補間画素の画素値を、前記隙間に隣接する２つの画像の端部画素の内、互いに対向する２つの端部画素の画素値の間で傾斜的又は段階的に変化させることによって取得することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記補間処理部は、前記隙間の内、前記隅領域補間部によって補間された前記隅領域と隣接する領域内の補間画素の画素値を、前記隙間に隣接する２つの画像に含まれる画素であって、前記隅領域の境界線に対して前記補間画素とそれぞれ対称な位置にある２つの画素の画素値を、前記隙間と該隙間に隣接するいずれかの画像との境界と前記補間画素との距離に応じてブレンドすることによって算出することを特徴とする請求項２に記載の画像処理装置。
【請求項１０】
前記画像配置部は、１つの画面に配置される前記複数の画像の向きを、前記複数の画像間で対応する周縁領域の類似度に基づいて決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記画像配置部は、前記複数の画像間で対応する周縁領域同士の類似度に応じて、前記複数の画像を上下及び／又は左右に反転させることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記画像配置部は、前記複数の画像の各々における中心領域と周縁領域との類似度に応じて、前記複数の画像を上下及び／又は左右に反転させることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
複数の画像を配置した画面を生成する画像処理装置が行う画像処理方法であって、
前記複数の画像を、隙間を空けて配置する画像配置ステップと、
前記隙間を、該隙間に隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理ステップと、
を含むことを特徴とする画像処理方法。
【請求項１４】
複数の画像を配置した画面を生成する画像処理プログラムであって、
前記複数の画像を、隙間を空けて配置する画像配置ステップと、
前記隙間を、該隙間に隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
複数の画像を配置した画面を生成する画像処理装置であって、
前記複数の画像を、隙間を空けて配置する画像配置部と、
前記隙間を、該隙間と隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数の画像の各々は矩形状をなし、
各画像の４隅に位置する三角形状の隅領域をマスキングする画像処理部と、
自身及び他の画像によって囲まれる隅領域を補間する隅領域補間部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記隅領域補間部は、補間対象の前記隅領域内の補間画素の画素値を、前記各画像の画素であって、前記隅領域の境界線に対して前記補間画素と対称な位置にある画素の画素値を用いて算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記隅領域補間部は、補間対象の前記隅領域内の補間画素の画素値を、マスキングされた前記各画像の端部画素であって、前記境界線に沿った端部画素の画素値を用いて算出することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記補間処理部は、前記隙間内の補間画素の画素値を、前記隙間と隣接する２つの画像に含まれる画素であって、該画像と前記隙間との境界に対して前記補間画素と対称な位置にある画素の画素値を用いて算出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記補間処理部は、前記補間画素の画素値を、前記境界に対して前記補間画素と対称な位置にある画素の画素値と、前記境界に対して前記隙間と対称な領域に含まれる画素の画素値の平均値とを、前記境界と前記補間画素との距離に応じてブレンドすることによって算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記補間処理部は、前記補間画素の画素値を、前記隙間に隣接する２つの画像に含まれる画素であって、前記境界に対して前記補間画素とそれぞれ対称な位置にある２つの画素の画素値を、前記境界と前記補間画素との距離に応じてブレンドすることによって算出することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記補間処理部は、前記隙間内の補間画素の画素値を、前記隙間に隣接する２つの画像の端部画素の内、互いに対向する２つの端部画素の画素値の間で傾斜的又は段階的に変化させることによって取得することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記補間処理部は、前記隙間の内、前記隅領域補間部によって補間された前記隅領域と隣接する領域内の補間画素の画素値を、前記隙間に隣接する２つの画像に含まれる画素であって、前記隅領域の境界線に対して前記補間画素とそれぞれ対称な位置にある２つの画素の画素値を、前記隙間と該隙間に隣接するいずれかの画像との境界と前記補間画素との距離に応じてブレンドすることによって算出することを特徴とする請求項２に記載の画像処理装置。
【請求項１０】
前記画像配置部は、１つの画面に配置される前記複数の画像の向きを、前記複数の画像間で対応する周縁領域の類似度に基づいて決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記画像配置部は、前記複数の画像間で対応する周縁領域同士の類似度に応じて、前記複数の画像を上下及び／又は左右に反転させることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記画像配置部は、前記複数の画像の各々における中心領域と周縁領域との類似度に応じて、前記複数の画像を上下及び／又は左右に反転させることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
複数の画像を配置した画面を生成する画像処理装置が行う画像処理方法であって、
前記複数の画像を、隙間を空けて配置する画像配置ステップと、
前記隙間を、該隙間に隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理ステップと、
を含むことを特徴とする画像処理方法。
【請求項１４】
複数の画像を配置した画面を生成する画像処理プログラムであって、
前記複数の画像を、隙間を空けて配置する画像配置ステップと、
前記隙間を、該隙間に隣接する前記画像の端部領域の画素の画素値を用いて補間する補間処理ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図６】
【図１２】
【図１４】
【図１６】
【図１８】
【図２０】
【図２２】
【図２５】
【図２７】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３Ａ】
【図１３Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１５Ｄ】
【図１５Ｅ】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１７Ｄ】
【図１９Ａ】
【図１９Ｂ】
【図２１Ａ】
【図２１Ｂ】
【図２１Ｃ】
【図２１Ｄ】
【図２３】
【図２４】
【図２６Ａ】
【図２６Ｂ】
【図２８Ａ】
【図２８Ｂ】
【図２９】
【図２】
【図３】
【図６】
【図１２】
【図１４】
【図１６】
【図１８】
【図２０】
【図２２】
【図２５】
【図２７】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３Ａ】
【図１３Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１５Ｄ】
【図１５Ｅ】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１７Ｄ】
【図１９Ａ】
【図１９Ｂ】
【図２１Ａ】
【図２１Ｂ】
【図２１Ｃ】
【図２１Ｄ】
【図２３】
【図２４】
【図２６Ａ】
【図２６Ｂ】
【図２８Ａ】
【図２８Ｂ】
【図２９】
【公開番号】特開２０１２−１８５５８３（Ｐ２０１２−１８５５８３Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−４６９９６（Ｐ２０１１−４６９９６）
【出願日】平成２３年３月３日（２０１１．３．３）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月３日（２０１１．３．３）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
[ Back to top ]