画像処理装置、画像処理装置の制御方法、およびプログラム
【課題】通常、患部を学習し、自己撮影の時に検出しようとすると、患部の症状の良化、悪化により特徴量が変動し、検出ができない場合がある。患部の経過情報まで含めて学習しようとすると、特徴量の分散が大きくなり検出精度が低下する。
【解決手段】入力画像における患部領域を特定するための患部参照領域に対する特徴量が登録された辞書データを用いて、入力画像から患部参照領域に対応する対応領域を検出する検出部と、検出部により検出された対応領域に基づいて患部領域を特定する特定部と、を備える。
【解決手段】入力画像における患部領域を特定するための患部参照領域に対する特徴量が登録された辞書データを用いて、入力画像から患部参照領域に対応する対応領域を検出する検出部と、検出部により検出された対応領域に基づいて患部領域を特定する特定部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法、およびプログラムに関し、特に医療画像における認識処理を行う画像処理装置、画像処理装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、病院などの医療機関において情報化が進み、患者の診断情報を管理する電子カルテを導入する機関が増えている。電子カルテ上には、患者の診断履歴、投薬情報、手術情報、患部画像、X線画像などが一元管理され、データの共有や再利用が簡単にできるようになってきている。また、近年のストレージの大容量化によって、患部などのデジタル画像を大量に撮影して電子カルテに格納できるようになった。
【０００３】
このような環境の中で、デジタルカメラを利用して患者を撮影し、撮影した画像を診療の記録として電子カルテに格納するような利用法が頻繁に行われている。特に皮膚科や外科、看護の現場では、患者の傷口や手術痕、褥瘡（床ずれ）を定期的にデジタルカメラで撮影し、患部の経時変化を観察することが行われている。
【０００４】
また、近年の通信技術の発達により、自宅に居ながらの遠隔医療も実現されつつある。患者本人が汎用のデジタルカメラなどの撮影機器で患部の写真を撮影し、医療機関に送信して医師の診断を受けることも行われつつある。しかしながら、このように患者本人が撮影する状況下では、患者の部位によっては、撮影機器の出力画像を見ながら適切な患部画像を撮影することが困難であるという問題がある。
【０００５】
このような患部撮影が困難な問題を解決する方法として、特定の領域を学習することで撮影時に自動的に検出する方法が考えられる。検出方法として例えば非特許文献１に記載される方法がある。この方法は、教師画像から事前に特徴量を取得し、入力画像内のあらゆる部分画像について同じく特徴量を求め、特徴量同士を比較し教師画像と近いか否かを判別する。
【０００６】
また、特許文献１に記載されている画像処理方法は、表面温度の撮影で患部位置の検出が困難な場合に、特殊なマーカを用いることで患部の領域を検出する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平05-180699号公報
【非特許文献】
【０００８】
【非特許文献１】Rapid Object Detection Using a Boosted Cascade of Simple Features, Viola, P. Jones, M., IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2001, VOL 1, pages I-511-I-518
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、患部の領域を学習して検出する方法では、患部の症状の良化、悪化などによる経時変化に対して、検出が難しくなるという課題がある。また、症状の経過を含めて、汎用的に多数の教師データから学習した場合、特徴の分散が大きくなることから検出の精度が低下するという課題がある。
【００１０】
上記の課題に鑑み、本発明は、患部の時間経過による変化に影響されることなく患部を検出する技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成する本発明に係る画像処理装置は、
入力画像における患部領域を特定するための患部参照領域に対する特徴量が登録された辞書データを用いて、前記入力画像から前記患部参照領域に対応する対応領域を検出する検出手段と、
前記検出手段により検出された前記対応領域に基づいて前記患部領域を特定する特定手段と、
を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、患部以外の参照領域を検出することで、患部の時間経過による変化に影響されることなく患部の検出が可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る画像処理装置の構成例を示す図。
【図２】本発明に係る画像処理装置の機能ブロック図。
【図３】第1実施形態に係る処理の手順を示すフローチャート。
【図４】第1実施形態における教師画像の例を示す図。
【図５】第1実施形態における患部領域指示の例を示す図。
【図６】第1実施形態における患部参照領域取得結果の例を示す図。
【図７】第1実施形態における辞書作成処理部の処理手順を示すフローチャート。
【図８】第1実施形態における患部撮影処理の処理手順を示すフローチャート。
【図９】第1実施形態における検出処理結果の例を示す図。
【図１０】第1実施形態における出力画像比較の例を示す図。
【図１１】第2実施形態における患部撮影処理の処理手順を示すフローチャート。
【図１２】第2実施形態における検出処理結果の例を示す図。
【発明を実施するための形態】
【００１４】
（第1実施形態）
図1は、本発明を実施する画像処理装置の構成例を示す。画像処理装置100は、撮像センサ101と、CPU102と、RAM103と、記憶装置104と、ディスプレイ105とを備える。なお、ディスプレイ105は外付けであってもよく必ずしも画像処理装置100に含まれなくてもよい。
【００１５】
撮像センサ101は、レンズなどの光学系を通した映像を電子的な画像情報へ変換する。
【００１６】
CPU102は、撮像センサ101から入力された画像情報に対して本発明の処理を施す画像処理プログラムを実行して、各構成要素を制御する。RAM103は、画像処理プログラムを実行する際のワークメモリやデータの一時保存などに利用される。
【００１７】
記憶装置104は、画像処理プログラムやデータを格納する。
【００１８】
ディスプレイ105は、撮像センサ101から得られる画像情報であるスルー画像を表示し、また記憶装置104に格納されている画像を表示する。ここで、スルー画像とは、撮影時に構図決定のために撮像素子から一定間隔で取得される画像である。
【００１９】
画像処理装置100の構成は一例であり、撮像素子を持つ携帯電話、PDAなどの小型機器を用いてもよいし、外部の汎用コンピュータなどを用いて画像処理を実行しても構わない。本実施形態では、デジタルカメラ内に全ての構成が含まれているものとして説明する。
【００２０】
図2は、本発明に係る画像処理装置の機能ブロック図である。教師画像データ201は、検出用辞書（辞書データ）を作成するためのデータである。教師画像データ201には、少なくとも検出対象となる患部領域が含まれている必要がある。
【００２１】
患部領域座標データ202は、教師画像データ201に対応する患部領域を示すデータである。
【００２２】
辞書作成処理部203は、教師画像データ201と患部領域座標データ202とを取得して、患部参照領域を検出するための患部参照領域検出辞書204を作成する処理を行う。患部参照領域とは、患部以外で患部領域の座標を求めることが可能な領域であり、かつ時間経過による変化の微少な領域のことである。時間経過による変化が微少であるとは、症状の良化や悪化による色あるいは輪郭の変化の大きい患部に対して、その周辺部の肌など、時間経過による変化の少ない領域のことである。本実施形態では、患部周辺、すなわち患部直近を取り囲む円周形状の領域を用いることとする。この場合は検出時に、患部周辺の円周形状が画像領域内に全て含まれていれば、患部領域も画像内に存在するといえる。
【００２３】
患部参照領域検出辞書204は、辞書作成処理部203で作成された患部参照領域を検出するための辞書である。
【００２４】
スルー画像205は、撮影時に構図決定のために撮像センサ101から一定間隔で取得される画像である。このスルー画像205を用いて患部参照領域の検出を行う。 検出処理部206は、患部参照領域検出辞書204とスルー画像205とを用いて患部参照領域が画像内に含まれるか否かの判断を行う。
【００２５】
撮影処理部207は、検出処理部206の検出結果に基づいて実際に撮影を行う。全患部参照領域がスルー画像205に含まれていれば、患部領域が含まれているため撮影条件を設定し、撮影を行う。
【００２６】
出力画像208は、撮影処理部207により撮影されて得られた画像である。全患部参照領域、すなわち患部領域が画角内に収まった写真画像が得られる。
【００２７】
次に、図3のフローチャートは、本実施形態に係る処理の手順を説明する。
【００２８】
ステップS301において、ユーザによる操作の選択を受け付ける。本実施形態では、患部参照領域検出辞書204を作成する辞書作成モードと、患部を検出、撮影し出力画像208を得るための患部撮影選択モードと、出力画像208を再生する患部比較モードとのうちの何れかのモードの選択を受け付ける。辞書作成モードが選択された場合ステップS302へ進み、患部撮影モードが選択された場合ステップS303へ進み、患部比較モードが選択された場合ステップS304へ進む。
【００２９】
ステップS302において、辞書作成処理部203は、辞書作成処理を行う。辞書作成処理の詳細な説明は図7に示すフローチャートを参照して後述する。
【００３０】
ステップS303において、検出処理部206および撮影処理部207は、患部領域を特定して撮影する処理を行う。処理の詳細な説明は図8に示すフローチャートを参照して後述する。
【００３１】
ステップS304において、ディスプレイ105は、複数の患部画像を同時に表示することで患部の比較表示を行う。表示の詳細な説明は図10を参照して後述する。その後、処理を終了する。
【００３２】
図7のフローチャートを参照して、辞書作成処理（S302）の詳細な処理の手順を説明する。
【００３３】
ステップS701において、CPU101は、図２で説明した辞書作成処理のために使用される教師画像データ201の例として、図4に示されるような教師画像400をRAM103へ読み込む。図４において、教師画像400は、患者の頭部を側面から撮影した画像である。破線で囲まれた領域は、教師画像400に含まれる患部401である。教師画像400は、外部から画像データの形で与えられてもよいし、撮像センサ101を用いて取得しても構わない。
【００３４】
ステップS702において、CPU101は、教師画像400から患部領域を取得する。ここで図5(a)は、患部領域の指定を受け付けるユーザインタフェース（UI）の例である。デジタルカメラ500上のタッチパネルディスプレイ501に、ステップS701で取得した教師画像400が表示されている。ユーザは、タッチパネルディスプレイ501上の患部401の境界を指でなぞることにより患部領域502を選択する（指定受付処理）。この操作により選択された患部領域502について、図２で説明した患部領域座標202の例として、図5(b)に示されるような座標データが得られたものとする。画像サイズは、横3000画素、縦4000画素である。患部領域502の中心座標は(1500画素,1600画素)であり、径は(400画素,600画素)である楕円領域が得られたものとする。本実施形態では説明のため例示的に楕円形を用いたが、長方矩形を用いてもよいし、ベジエ座標で表される自由曲線による囲み領域などで表されても構わない。
【００３５】
ステップS703において、CPU101は、患部参照領域を算出する。ここでは、図6に示される患部領域502の周辺の領域を患部参照領域601として算出する、すなわち患部領域502の同心楕円で径を単純に2倍し、そこから患部領域502の領域を引いた楕円環状の患部参照領域601を算出する。なお本実施形態では患部参照領域601を単純に患部領域の周辺の所定領域（楕円環状領域）としたが、例えば顔面の場合は目や耳など特徴的な点を患部参照領域としても構わない。患部参照領域601の座標データとして図6(b)に示される座標データで示される楕円環状領域が得られたものとする。画像サイズは、横3000画素、縦4000画素である。患部領域502の中心座標は(1500画素,1600画素)であり、径は(400画素,600画素)である。同様に、患部参照領域601の外径の中心座標は(1500画素,1600画素)であり、径は(800画素,1200画素)である。患部参照領域601の外径の中心座標は(1500画素,1600画素)であり、径は(400画素,600画素)である。
【００３６】
ステップS704において、CPU101は辞書作成処理部203を制御して、ステップS703で得られた患部参照領域601から、色や線分といった特徴量を抽出し、患部参照領域検出辞書204を作成する。特徴量の抽出とそれを用いた検出には公知の方法として非特許文献1の方法がある。非特許文献１では、教師画像から特徴量を取得し、入力画像内のあらゆる部分画像についてその特徴量を求め、教師画像と近いか否かを判別することにより、教師画像と類似する領域を入力画像から求めることが開示されている。本発明においては、検出すべき対象が、ある特定の患者の固有の部位であり、すなわちその特徴量の分散が限定されている為、非特許文献１に記載される様に多数の教師画像は必要とされない。また、単純に患部参照領域602の画像を辞書として保持し、類似画像検索などの技術を用いて検出しても構わない。
【００３７】
次に、スルー画像205の例として、図9(a)に示すスルー画像900、図9(b)に示すスルー画像910が順に入力された場合を例として、図8のフローチャートを参照して、患部撮影処理（S303）を詳細に説明する。ここで、スルー画像900は被検者を斜め後ろから観察した際の画像であり、スルー画像910は被検者を側面から観察した際の画像である。
【００３８】
ステップS801において、CPU101は検出処理部206を制御して、撮像素子（撮像センサ101）からスルー画像205を取得する。ここでは、スルー画像205として新規にスルー画像900が得られたものと仮定して、ステップS802へ進む。
【００３９】
ステップS802において、CPU101は検出処理部206を制御して、患部参照領域検出辞書204を用いて、スルー画像900から患部参照領域検出辞書204に登録されている患部参照領域601に対応する対応領域を検出する。前述したステップS704における特徴量抽出処理での説明の通り、辞書として登録した色、形状などの特徴から、特徴の近似した領域を検出する。公知の方法として、非特許文献1の方法がある。スルー画像900の例では、教師画像400と構図が大きく異なるため、患部参照領域601に対応する対応領域は検出されなかったものとし、ステップS803へ進む。
【００４０】
ステップS803において、CPU101は検出処理部206を制御して、ステップS802で患部参照領域601に対応する領域が検出されたか否かを判別する。患部参照領域601に対応する領域が検出されたと判別された場合（ステップS803;YES）、ステップS804へ進む。一方、患部参照領域601に対応する領域が検出されなかったと判別された場合（ステップS803;NO）、ステップS801へ戻る。この場合、患部参照領域601に対応する領域が検出されなかったため、ステップS801へ戻る。
【００４１】
ステップS801において、CPU101は検出処理部206を制御して、撮像素子（撮像センサ101）からスルー画像205を取得する。今度は撮影スルー画像205としてスルー画像910が得られたものと仮定して、ステップS802へ進む。
【００４２】
ステップS802において、CPU101は検出処理部206を制御して、スルー画像910から、楕円環状の斜線で示される検出領域911が患部参照領域601の特徴と一致したとして、ステップS803へ進む。
【００４３】
ステップS803において、CPU101は検出処理部206を制御して、ステップS802で患部参照領域601に対応する領域が検出されたか否かを判別する。この場合、患部参照領域601に対応する領域が検出されたので、ステップS804へ進む。
【００４４】
ステップS804において、CPU101は検出処理部206を制御して、患部参照領域601に対応する領域の検出位置情報からスルー画像910内に患部領域502が含まれているか判断する。スルー画像910内に患部領域502が含まれていると判断された場合（ステップS804;YES）、ステップS805へ進む。一方、スルー画像910内に患部領域502が含まれていると判断された場合（ステップS804;NO）、ステップS801へ戻る。本実施形態では、楕円環状の患部参照領域601の内径部と外形を同じとする楕円部分が患部領域502であるため、患部参照領域601に対応する領域が全てスルー画像910内に収まっていれば患部領域が含まれていると判断できる。この例では、検出領域911は全てスルー画像910内に含まれているため、患部も含まれていると判断され、ステップS805へ進む。
【００４５】
ステップS805において、CPU101は撮像センサ101を制御して実際に撮影をする。一般的なデジタルカメラでの撮影処理では、センサ感度、露光時間、ホワイトバランスなどのパラメータを、画像の色や輝度のヒストグラム情報などを用いて調整する。スルー画像910と同等の構図の出力画像910が記憶装置104に書き込まれて、処理が終了する。
【００４６】
次に、図10に示される表示例を用いて患部比較処理(S304)を説明する。図10は、教師画像400と、出力画像とをディスプレイ105上で比較表示した例である。図10(a)において、全体表示領域1000は、教師画像400を表示領域1001に、出力画像910を表示領域1002に画像全体を表示している。一方、図10(b)において、全体表示領域1010は、教師画像400および出力画像910のそれぞれを、ステップS702で得られた患部領域502とステップS804で得られた患部領域912とに基づいて、両方の領域が同じサイズになるように拡大処理し、それぞれ表示領域1011および表示領域1012に表示したものである。患部のサイズを合わせて表示することで患部の時間経過による変化をより正確に確認することが可能となる。
【００４７】
以上説明したように、本実施形態によれば、患部参照領域検出辞書をあらかじめ作成しておくことにより、撮影の難しい部位にある患部の患者自身の撮影を容易に行い、患部の症状の変化を観察することが可能となる。
【００４８】
（第2実施形態）
第1実施形態では、単純にスルー画像内、すなわちレンズの画角内に患部領域が存在するかどうかの判断により撮影した。本実施形態ではさらに、教師画像と構図を近似させるユーザによるガイダンスを加えることにより、患部の自己撮影、および差分比較をより容易にすることが可能である。患部参照領域検出辞書204に教師画像中の患部領域の位置や大きさの情報も含まれているものとする。
【００４９】
図11のフローチャートを参照して、本実施形態に係る患部撮影処理(S303)の手順を説明する。
【００５０】
以下、スルー画像205の例として、図12(a)に示すスルー画像1200、図12(b)に示すスルー画像1210、そして図9に示すスルー画像910が順に入ってきた場合の処理を示す。
【００５１】
ステップS1101において、CPU101は検出処理部206を制御して、撮像素子（撮像センサ101）からスルー画像1200を取得する。 ステップS1102において、CPU101は検出処理部206を制御して、患部参照領域601から作成した患部参照領域検出辞書204を用いて、スルー画像1200中から類似した領域を検出する。スルー画像1200の例では、患部参照領域1201に対応する領域が検出されたので、ステップS1103へ進む。
【００５２】
ステップS1103において、CPU101は検出処理部206を制御して、ステップS1102で患部参照領域601に対応する領域が検出されたか否かを判別する。この場合、患部参照領域に対応する領域が検出されたので、ステップS1104へ進む。
【００５３】
ステップS1104において、CPU101は検出処理部206を制御して、患部参照領域の検出位置情報からスルー画像1200内に患部領域が含まれているか判断する。スルー画像1200内に患部領域が含まれていると判断された場合（ステップ1104;YES）、ステップS1105へ進む。一方、スルー画像1200内に患部領域が含まれていると判断された場合（ステップS1104;NO）、ステップS1101へ戻る。この例では、検出領域1201は全てスルー画像1200内に含まれているため、患部も含まれているものと判断され、ステップS1105へ進む。
【００５４】
ステップS1105において、CPU101は、撮影構図が教師画像と類似しているか否か判定する。本実施形態では、画像内における患部領域の位置と大きさにより類似か否かを判定する。例えば、患部領域の位置および大きさに基づいて、領域の重複面積が閾値以上であるか否かにより判定してもよい。撮影構図が教師画像と類似していると判定された場合（S1105;YES）、ステップS1106へ進む。一方、撮影構図が教師画像と類似していないと判定された場合（S1105;NO）、ステップS1107へ進む。患部参照領域1201から算出された患部領域1202は、元の教師画像400と比較して、画像上の右上方向にずれがあり、撮影構図が教師画像と類似していないと判定され、ステップS1107へ進む。なお、本実施形態での判定方法は一例であり、例えば回転方向に対するずれや、患部面とレンズ面の傾き、つまり歪みなどをパラメータとして用いても構わない。
【００５５】
ステップS1107において、CPU101は、ユーザに対して撮影ガイダンスを提示する。本実施形態では、音声により撮影位置を通知するものとする。なお、撮影ガイダンスは、ディスプレイ105に対してメッセージの形式で表示することで知らせてもよい。撮像センサ101を右上方向に移動することを音声により変更指示した後、ステップS1101へ戻る。
【００５６】
同様に、ステップS1101において、スルー画像205としてスルー画像1210が取得されたとする。
【００５７】
ステップS1102において患部参照領域1211に対応する領域が検出され、ステップS1103において患部参照領域1211が存在すると判断され、およびステップS1104において患部領域1212が存在すると判断されたものとして、ステップS1105へ進む。
【００５８】
ステップS1105において、CPU101は、撮影構図が教師画像と類似しているか否か判定する。この場合、患部領域1212が、元の教師画像と比較して大きいため、ステップS1107へ進む。
【００５９】
ステップS1107において、CPU101は、撮像センサ101に対して患部から距離を取るように、あるいはズームを広角側にシフトするように音声指示し、ステップS1101へ戻る。
【００６０】
ステップS1101において、スルー画像205としてスルー画像910が取得されたものとする。同様に、ステップS1102において患部参照領域911に対応する領域が検出され、ステップS1103において患部参照領域911が存在すると判断され、および、ステップS1104において患部領域912が存在すると判断されたものとして、ステップS1105へ進む。
【００６１】
ステップS1105において、CPU101は、撮影構図が教師画像と類似しているか否か判定する。患部領域912と教師画像とが比較された結果、一定の閾値の範囲に収まっていると判定されたものとして、ステップS1106へ進む。
【００６２】
ステップS1106において、CPU101は撮像センサ101を制御して、撮影処理によりスルー画像910と撮影構図を同じくする出力画像を取得して、処理を終了する。
【００６３】
以上説明したように、第1実施形態にユーザによるガイダンスを加えることで、自己撮影をより容易にし、得られる構図も教師画像と近くなることから、患部の比較を高精度に行うことが可能となる。
【００６４】
以上説明したように、本発明によれば、患部周辺など、患部以外で患部の位置を特定できる領域を学習することで、患部の時間経過による変化に強い検出処理が可能となる。
【００６５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法、およびプログラムに関し、特に医療画像における認識処理を行う画像処理装置、画像処理装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、病院などの医療機関において情報化が進み、患者の診断情報を管理する電子カルテを導入する機関が増えている。電子カルテ上には、患者の診断履歴、投薬情報、手術情報、患部画像、X線画像などが一元管理され、データの共有や再利用が簡単にできるようになってきている。また、近年のストレージの大容量化によって、患部などのデジタル画像を大量に撮影して電子カルテに格納できるようになった。
【０００３】
このような環境の中で、デジタルカメラを利用して患者を撮影し、撮影した画像を診療の記録として電子カルテに格納するような利用法が頻繁に行われている。特に皮膚科や外科、看護の現場では、患者の傷口や手術痕、褥瘡（床ずれ）を定期的にデジタルカメラで撮影し、患部の経時変化を観察することが行われている。
【０００４】
また、近年の通信技術の発達により、自宅に居ながらの遠隔医療も実現されつつある。患者本人が汎用のデジタルカメラなどの撮影機器で患部の写真を撮影し、医療機関に送信して医師の診断を受けることも行われつつある。しかしながら、このように患者本人が撮影する状況下では、患者の部位によっては、撮影機器の出力画像を見ながら適切な患部画像を撮影することが困難であるという問題がある。
【０００５】
このような患部撮影が困難な問題を解決する方法として、特定の領域を学習することで撮影時に自動的に検出する方法が考えられる。検出方法として例えば非特許文献１に記載される方法がある。この方法は、教師画像から事前に特徴量を取得し、入力画像内のあらゆる部分画像について同じく特徴量を求め、特徴量同士を比較し教師画像と近いか否かを判別する。
【０００６】
また、特許文献１に記載されている画像処理方法は、表面温度の撮影で患部位置の検出が困難な場合に、特殊なマーカを用いることで患部の領域を検出する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平05-180699号公報
【非特許文献】
【０００８】
【非特許文献１】Rapid Object Detection Using a Boosted Cascade of Simple Features, Viola, P. Jones, M., IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2001, VOL 1, pages I-511-I-518
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、患部の領域を学習して検出する方法では、患部の症状の良化、悪化などによる経時変化に対して、検出が難しくなるという課題がある。また、症状の経過を含めて、汎用的に多数の教師データから学習した場合、特徴の分散が大きくなることから検出の精度が低下するという課題がある。
【００１０】
上記の課題に鑑み、本発明は、患部の時間経過による変化に影響されることなく患部を検出する技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成する本発明に係る画像処理装置は、
入力画像における患部領域を特定するための患部参照領域に対する特徴量が登録された辞書データを用いて、前記入力画像から前記患部参照領域に対応する対応領域を検出する検出手段と、
前記検出手段により検出された前記対応領域に基づいて前記患部領域を特定する特定手段と、
を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、患部以外の参照領域を検出することで、患部の時間経過による変化に影響されることなく患部の検出が可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る画像処理装置の構成例を示す図。
【図２】本発明に係る画像処理装置の機能ブロック図。
【図３】第1実施形態に係る処理の手順を示すフローチャート。
【図４】第1実施形態における教師画像の例を示す図。
【図５】第1実施形態における患部領域指示の例を示す図。
【図６】第1実施形態における患部参照領域取得結果の例を示す図。
【図７】第1実施形態における辞書作成処理部の処理手順を示すフローチャート。
【図８】第1実施形態における患部撮影処理の処理手順を示すフローチャート。
【図９】第1実施形態における検出処理結果の例を示す図。
【図１０】第1実施形態における出力画像比較の例を示す図。
【図１１】第2実施形態における患部撮影処理の処理手順を示すフローチャート。
【図１２】第2実施形態における検出処理結果の例を示す図。
【発明を実施するための形態】
【００１４】
（第1実施形態）
図1は、本発明を実施する画像処理装置の構成例を示す。画像処理装置100は、撮像センサ101と、CPU102と、RAM103と、記憶装置104と、ディスプレイ105とを備える。なお、ディスプレイ105は外付けであってもよく必ずしも画像処理装置100に含まれなくてもよい。
【００１５】
撮像センサ101は、レンズなどの光学系を通した映像を電子的な画像情報へ変換する。
【００１６】
CPU102は、撮像センサ101から入力された画像情報に対して本発明の処理を施す画像処理プログラムを実行して、各構成要素を制御する。RAM103は、画像処理プログラムを実行する際のワークメモリやデータの一時保存などに利用される。
【００１７】
記憶装置104は、画像処理プログラムやデータを格納する。
【００１８】
ディスプレイ105は、撮像センサ101から得られる画像情報であるスルー画像を表示し、また記憶装置104に格納されている画像を表示する。ここで、スルー画像とは、撮影時に構図決定のために撮像素子から一定間隔で取得される画像である。
【００１９】
画像処理装置100の構成は一例であり、撮像素子を持つ携帯電話、PDAなどの小型機器を用いてもよいし、外部の汎用コンピュータなどを用いて画像処理を実行しても構わない。本実施形態では、デジタルカメラ内に全ての構成が含まれているものとして説明する。
【００２０】
図2は、本発明に係る画像処理装置の機能ブロック図である。教師画像データ201は、検出用辞書（辞書データ）を作成するためのデータである。教師画像データ201には、少なくとも検出対象となる患部領域が含まれている必要がある。
【００２１】
患部領域座標データ202は、教師画像データ201に対応する患部領域を示すデータである。
【００２２】
辞書作成処理部203は、教師画像データ201と患部領域座標データ202とを取得して、患部参照領域を検出するための患部参照領域検出辞書204を作成する処理を行う。患部参照領域とは、患部以外で患部領域の座標を求めることが可能な領域であり、かつ時間経過による変化の微少な領域のことである。時間経過による変化が微少であるとは、症状の良化や悪化による色あるいは輪郭の変化の大きい患部に対して、その周辺部の肌など、時間経過による変化の少ない領域のことである。本実施形態では、患部周辺、すなわち患部直近を取り囲む円周形状の領域を用いることとする。この場合は検出時に、患部周辺の円周形状が画像領域内に全て含まれていれば、患部領域も画像内に存在するといえる。
【００２３】
患部参照領域検出辞書204は、辞書作成処理部203で作成された患部参照領域を検出するための辞書である。
【００２４】
スルー画像205は、撮影時に構図決定のために撮像センサ101から一定間隔で取得される画像である。このスルー画像205を用いて患部参照領域の検出を行う。 検出処理部206は、患部参照領域検出辞書204とスルー画像205とを用いて患部参照領域が画像内に含まれるか否かの判断を行う。
【００２５】
撮影処理部207は、検出処理部206の検出結果に基づいて実際に撮影を行う。全患部参照領域がスルー画像205に含まれていれば、患部領域が含まれているため撮影条件を設定し、撮影を行う。
【００２６】
出力画像208は、撮影処理部207により撮影されて得られた画像である。全患部参照領域、すなわち患部領域が画角内に収まった写真画像が得られる。
【００２７】
次に、図3のフローチャートは、本実施形態に係る処理の手順を説明する。
【００２８】
ステップS301において、ユーザによる操作の選択を受け付ける。本実施形態では、患部参照領域検出辞書204を作成する辞書作成モードと、患部を検出、撮影し出力画像208を得るための患部撮影選択モードと、出力画像208を再生する患部比較モードとのうちの何れかのモードの選択を受け付ける。辞書作成モードが選択された場合ステップS302へ進み、患部撮影モードが選択された場合ステップS303へ進み、患部比較モードが選択された場合ステップS304へ進む。
【００２９】
ステップS302において、辞書作成処理部203は、辞書作成処理を行う。辞書作成処理の詳細な説明は図7に示すフローチャートを参照して後述する。
【００３０】
ステップS303において、検出処理部206および撮影処理部207は、患部領域を特定して撮影する処理を行う。処理の詳細な説明は図8に示すフローチャートを参照して後述する。
【００３１】
ステップS304において、ディスプレイ105は、複数の患部画像を同時に表示することで患部の比較表示を行う。表示の詳細な説明は図10を参照して後述する。その後、処理を終了する。
【００３２】
図7のフローチャートを参照して、辞書作成処理（S302）の詳細な処理の手順を説明する。
【００３３】
ステップS701において、CPU101は、図２で説明した辞書作成処理のために使用される教師画像データ201の例として、図4に示されるような教師画像400をRAM103へ読み込む。図４において、教師画像400は、患者の頭部を側面から撮影した画像である。破線で囲まれた領域は、教師画像400に含まれる患部401である。教師画像400は、外部から画像データの形で与えられてもよいし、撮像センサ101を用いて取得しても構わない。
【００３４】
ステップS702において、CPU101は、教師画像400から患部領域を取得する。ここで図5(a)は、患部領域の指定を受け付けるユーザインタフェース（UI）の例である。デジタルカメラ500上のタッチパネルディスプレイ501に、ステップS701で取得した教師画像400が表示されている。ユーザは、タッチパネルディスプレイ501上の患部401の境界を指でなぞることにより患部領域502を選択する（指定受付処理）。この操作により選択された患部領域502について、図２で説明した患部領域座標202の例として、図5(b)に示されるような座標データが得られたものとする。画像サイズは、横3000画素、縦4000画素である。患部領域502の中心座標は(1500画素,1600画素)であり、径は(400画素,600画素)である楕円領域が得られたものとする。本実施形態では説明のため例示的に楕円形を用いたが、長方矩形を用いてもよいし、ベジエ座標で表される自由曲線による囲み領域などで表されても構わない。
【００３５】
ステップS703において、CPU101は、患部参照領域を算出する。ここでは、図6に示される患部領域502の周辺の領域を患部参照領域601として算出する、すなわち患部領域502の同心楕円で径を単純に2倍し、そこから患部領域502の領域を引いた楕円環状の患部参照領域601を算出する。なお本実施形態では患部参照領域601を単純に患部領域の周辺の所定領域（楕円環状領域）としたが、例えば顔面の場合は目や耳など特徴的な点を患部参照領域としても構わない。患部参照領域601の座標データとして図6(b)に示される座標データで示される楕円環状領域が得られたものとする。画像サイズは、横3000画素、縦4000画素である。患部領域502の中心座標は(1500画素,1600画素)であり、径は(400画素,600画素)である。同様に、患部参照領域601の外径の中心座標は(1500画素,1600画素)であり、径は(800画素,1200画素)である。患部参照領域601の外径の中心座標は(1500画素,1600画素)であり、径は(400画素,600画素)である。
【００３６】
ステップS704において、CPU101は辞書作成処理部203を制御して、ステップS703で得られた患部参照領域601から、色や線分といった特徴量を抽出し、患部参照領域検出辞書204を作成する。特徴量の抽出とそれを用いた検出には公知の方法として非特許文献1の方法がある。非特許文献１では、教師画像から特徴量を取得し、入力画像内のあらゆる部分画像についてその特徴量を求め、教師画像と近いか否かを判別することにより、教師画像と類似する領域を入力画像から求めることが開示されている。本発明においては、検出すべき対象が、ある特定の患者の固有の部位であり、すなわちその特徴量の分散が限定されている為、非特許文献１に記載される様に多数の教師画像は必要とされない。また、単純に患部参照領域602の画像を辞書として保持し、類似画像検索などの技術を用いて検出しても構わない。
【００３７】
次に、スルー画像205の例として、図9(a)に示すスルー画像900、図9(b)に示すスルー画像910が順に入力された場合を例として、図8のフローチャートを参照して、患部撮影処理（S303）を詳細に説明する。ここで、スルー画像900は被検者を斜め後ろから観察した際の画像であり、スルー画像910は被検者を側面から観察した際の画像である。
【００３８】
ステップS801において、CPU101は検出処理部206を制御して、撮像素子（撮像センサ101）からスルー画像205を取得する。ここでは、スルー画像205として新規にスルー画像900が得られたものと仮定して、ステップS802へ進む。
【００３９】
ステップS802において、CPU101は検出処理部206を制御して、患部参照領域検出辞書204を用いて、スルー画像900から患部参照領域検出辞書204に登録されている患部参照領域601に対応する対応領域を検出する。前述したステップS704における特徴量抽出処理での説明の通り、辞書として登録した色、形状などの特徴から、特徴の近似した領域を検出する。公知の方法として、非特許文献1の方法がある。スルー画像900の例では、教師画像400と構図が大きく異なるため、患部参照領域601に対応する対応領域は検出されなかったものとし、ステップS803へ進む。
【００４０】
ステップS803において、CPU101は検出処理部206を制御して、ステップS802で患部参照領域601に対応する領域が検出されたか否かを判別する。患部参照領域601に対応する領域が検出されたと判別された場合（ステップS803;YES）、ステップS804へ進む。一方、患部参照領域601に対応する領域が検出されなかったと判別された場合（ステップS803;NO）、ステップS801へ戻る。この場合、患部参照領域601に対応する領域が検出されなかったため、ステップS801へ戻る。
【００４１】
ステップS801において、CPU101は検出処理部206を制御して、撮像素子（撮像センサ101）からスルー画像205を取得する。今度は撮影スルー画像205としてスルー画像910が得られたものと仮定して、ステップS802へ進む。
【００４２】
ステップS802において、CPU101は検出処理部206を制御して、スルー画像910から、楕円環状の斜線で示される検出領域911が患部参照領域601の特徴と一致したとして、ステップS803へ進む。
【００４３】
ステップS803において、CPU101は検出処理部206を制御して、ステップS802で患部参照領域601に対応する領域が検出されたか否かを判別する。この場合、患部参照領域601に対応する領域が検出されたので、ステップS804へ進む。
【００４４】
ステップS804において、CPU101は検出処理部206を制御して、患部参照領域601に対応する領域の検出位置情報からスルー画像910内に患部領域502が含まれているか判断する。スルー画像910内に患部領域502が含まれていると判断された場合（ステップS804;YES）、ステップS805へ進む。一方、スルー画像910内に患部領域502が含まれていると判断された場合（ステップS804;NO）、ステップS801へ戻る。本実施形態では、楕円環状の患部参照領域601の内径部と外形を同じとする楕円部分が患部領域502であるため、患部参照領域601に対応する領域が全てスルー画像910内に収まっていれば患部領域が含まれていると判断できる。この例では、検出領域911は全てスルー画像910内に含まれているため、患部も含まれていると判断され、ステップS805へ進む。
【００４５】
ステップS805において、CPU101は撮像センサ101を制御して実際に撮影をする。一般的なデジタルカメラでの撮影処理では、センサ感度、露光時間、ホワイトバランスなどのパラメータを、画像の色や輝度のヒストグラム情報などを用いて調整する。スルー画像910と同等の構図の出力画像910が記憶装置104に書き込まれて、処理が終了する。
【００４６】
次に、図10に示される表示例を用いて患部比較処理(S304)を説明する。図10は、教師画像400と、出力画像とをディスプレイ105上で比較表示した例である。図10(a)において、全体表示領域1000は、教師画像400を表示領域1001に、出力画像910を表示領域1002に画像全体を表示している。一方、図10(b)において、全体表示領域1010は、教師画像400および出力画像910のそれぞれを、ステップS702で得られた患部領域502とステップS804で得られた患部領域912とに基づいて、両方の領域が同じサイズになるように拡大処理し、それぞれ表示領域1011および表示領域1012に表示したものである。患部のサイズを合わせて表示することで患部の時間経過による変化をより正確に確認することが可能となる。
【００４７】
以上説明したように、本実施形態によれば、患部参照領域検出辞書をあらかじめ作成しておくことにより、撮影の難しい部位にある患部の患者自身の撮影を容易に行い、患部の症状の変化を観察することが可能となる。
【００４８】
（第2実施形態）
第1実施形態では、単純にスルー画像内、すなわちレンズの画角内に患部領域が存在するかどうかの判断により撮影した。本実施形態ではさらに、教師画像と構図を近似させるユーザによるガイダンスを加えることにより、患部の自己撮影、および差分比較をより容易にすることが可能である。患部参照領域検出辞書204に教師画像中の患部領域の位置や大きさの情報も含まれているものとする。
【００４９】
図11のフローチャートを参照して、本実施形態に係る患部撮影処理(S303)の手順を説明する。
【００５０】
以下、スルー画像205の例として、図12(a)に示すスルー画像1200、図12(b)に示すスルー画像1210、そして図9に示すスルー画像910が順に入ってきた場合の処理を示す。
【００５１】
ステップS1101において、CPU101は検出処理部206を制御して、撮像素子（撮像センサ101）からスルー画像1200を取得する。 ステップS1102において、CPU101は検出処理部206を制御して、患部参照領域601から作成した患部参照領域検出辞書204を用いて、スルー画像1200中から類似した領域を検出する。スルー画像1200の例では、患部参照領域1201に対応する領域が検出されたので、ステップS1103へ進む。
【００５２】
ステップS1103において、CPU101は検出処理部206を制御して、ステップS1102で患部参照領域601に対応する領域が検出されたか否かを判別する。この場合、患部参照領域に対応する領域が検出されたので、ステップS1104へ進む。
【００５３】
ステップS1104において、CPU101は検出処理部206を制御して、患部参照領域の検出位置情報からスルー画像1200内に患部領域が含まれているか判断する。スルー画像1200内に患部領域が含まれていると判断された場合（ステップ1104;YES）、ステップS1105へ進む。一方、スルー画像1200内に患部領域が含まれていると判断された場合（ステップS1104;NO）、ステップS1101へ戻る。この例では、検出領域1201は全てスルー画像1200内に含まれているため、患部も含まれているものと判断され、ステップS1105へ進む。
【００５４】
ステップS1105において、CPU101は、撮影構図が教師画像と類似しているか否か判定する。本実施形態では、画像内における患部領域の位置と大きさにより類似か否かを判定する。例えば、患部領域の位置および大きさに基づいて、領域の重複面積が閾値以上であるか否かにより判定してもよい。撮影構図が教師画像と類似していると判定された場合（S1105;YES）、ステップS1106へ進む。一方、撮影構図が教師画像と類似していないと判定された場合（S1105;NO）、ステップS1107へ進む。患部参照領域1201から算出された患部領域1202は、元の教師画像400と比較して、画像上の右上方向にずれがあり、撮影構図が教師画像と類似していないと判定され、ステップS1107へ進む。なお、本実施形態での判定方法は一例であり、例えば回転方向に対するずれや、患部面とレンズ面の傾き、つまり歪みなどをパラメータとして用いても構わない。
【００５５】
ステップS1107において、CPU101は、ユーザに対して撮影ガイダンスを提示する。本実施形態では、音声により撮影位置を通知するものとする。なお、撮影ガイダンスは、ディスプレイ105に対してメッセージの形式で表示することで知らせてもよい。撮像センサ101を右上方向に移動することを音声により変更指示した後、ステップS1101へ戻る。
【００５６】
同様に、ステップS1101において、スルー画像205としてスルー画像1210が取得されたとする。
【００５７】
ステップS1102において患部参照領域1211に対応する領域が検出され、ステップS1103において患部参照領域1211が存在すると判断され、およびステップS1104において患部領域1212が存在すると判断されたものとして、ステップS1105へ進む。
【００５８】
ステップS1105において、CPU101は、撮影構図が教師画像と類似しているか否か判定する。この場合、患部領域1212が、元の教師画像と比較して大きいため、ステップS1107へ進む。
【００５９】
ステップS1107において、CPU101は、撮像センサ101に対して患部から距離を取るように、あるいはズームを広角側にシフトするように音声指示し、ステップS1101へ戻る。
【００６０】
ステップS1101において、スルー画像205としてスルー画像910が取得されたものとする。同様に、ステップS1102において患部参照領域911に対応する領域が検出され、ステップS1103において患部参照領域911が存在すると判断され、および、ステップS1104において患部領域912が存在すると判断されたものとして、ステップS1105へ進む。
【００６１】
ステップS1105において、CPU101は、撮影構図が教師画像と類似しているか否か判定する。患部領域912と教師画像とが比較された結果、一定の閾値の範囲に収まっていると判定されたものとして、ステップS1106へ進む。
【００６２】
ステップS1106において、CPU101は撮像センサ101を制御して、撮影処理によりスルー画像910と撮影構図を同じくする出力画像を取得して、処理を終了する。
【００６３】
以上説明したように、第1実施形態にユーザによるガイダンスを加えることで、自己撮影をより容易にし、得られる構図も教師画像と近くなることから、患部の比較を高精度に行うことが可能となる。
【００６４】
以上説明したように、本発明によれば、患部周辺など、患部以外で患部の位置を特定できる領域を学習することで、患部の時間経過による変化に強い検出処理が可能となる。
【００６５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
入力画像における患部領域を特定するための患部参照領域に対する特徴量が登録された辞書データを用いて、前記入力画像から前記患部参照領域に対応する対応領域を検出する検出手段と、
前記検出手段により検出された前記対応領域に基づいて前記患部領域を特定する特定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記辞書データへ前記特徴量を登録する登録手段をさらに備え、
前記登録手段は、
前記入力画像から患部領域の指定を受け付ける指定受付手段と、
前記指定受付手段により受け付けられた前記患部領域に基づいて患部参照領域を決定する決定手段と、
前記決定手段により決定された前記患部参照領域における特徴量を抽出する特徴量抽出手段と、を備え、
前記登録手段は、前記特徴量抽出手段により抽出された特徴量を前記辞書データへ登録することを特徴とする請求項1に記載の画像処理装置。
【請求項３】
前記患部参照領域は、前記患部領域の周辺の所定領域であることを特徴とする請求項1または2に記載の画像処理装置。
【請求項４】
前記特定手段により前記患部領域が特定された場合に撮影を行う撮影手段をさらに備えることを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
【請求項５】
前記特定手段により前記患部領域が特定された場合に、当該患部領域に基づいて前記撮影手段による撮影の際に撮影構図の変更指示を通知する通知手段をさらに備えることを特徴とする請求項4に記載の画像処理装置。
【請求項６】
検出手段と、特定手段とを備える画像処理装置の制御方法であって、
前記検出手段が、入力画像における患部領域を特定するための患部参照領域に対する特徴量が登録された辞書データを用いて、前記入力画像から前記患部参照領域に対応する対応領域を検出する検出工程と、
前記特定手段が、前記検出工程により検出された前記対応領域に基づいて前記患部領域を特定する特定工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項７】
請求項6に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
入力画像における患部領域を特定するための患部参照領域に対する特徴量が登録された辞書データを用いて、前記入力画像から前記患部参照領域に対応する対応領域を検出する検出手段と、
前記検出手段により検出された前記対応領域に基づいて前記患部領域を特定する特定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記辞書データへ前記特徴量を登録する登録手段をさらに備え、
前記登録手段は、
前記入力画像から患部領域の指定を受け付ける指定受付手段と、
前記指定受付手段により受け付けられた前記患部領域に基づいて患部参照領域を決定する決定手段と、
前記決定手段により決定された前記患部参照領域における特徴量を抽出する特徴量抽出手段と、を備え、
前記登録手段は、前記特徴量抽出手段により抽出された特徴量を前記辞書データへ登録することを特徴とする請求項1に記載の画像処理装置。
【請求項３】
前記患部参照領域は、前記患部領域の周辺の所定領域であることを特徴とする請求項1または2に記載の画像処理装置。
【請求項４】
前記特定手段により前記患部領域が特定された場合に撮影を行う撮影手段をさらに備えることを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
【請求項５】
前記特定手段により前記患部領域が特定された場合に、当該患部領域に基づいて前記撮影手段による撮影の際に撮影構図の変更指示を通知する通知手段をさらに備えることを特徴とする請求項4に記載の画像処理装置。
【請求項６】
検出手段と、特定手段とを備える画像処理装置の制御方法であって、
前記検出手段が、入力画像における患部領域を特定するための患部参照領域に対する特徴量が登録された辞書データを用いて、前記入力画像から前記患部参照領域に対応する対応領域を検出する検出工程と、
前記特定手段が、前記検出工程により検出された前記対応領域に基づいて前記患部領域を特定する特定工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項７】
請求項6に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２５４２２１（Ｐ２０１２−２５４２２１Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２９５４２（Ｐ２０１１−１２９５４２）
【出願日】平成２３年６月９日（２０１１．６．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月９日（２０１１．６．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]