画像処理装置
【課題】海底画像群から水産資源を調査する技術を提供する。
【解決手段】特徴画素抽出部２０は、検出対象を被写体に含む画像を二値化してドットパターンを取得する。形状特徴抽出部３０は、前記ドットパターンにより形成された形状をもとに前記検出対象の候補を抽出する。確信度算出部４０は、前記検出対象の候補の形状によって定まる所定の範囲内に含まれる、当該候補の形状を構成するドットの数を確信度として算出する。検出対象領域抽出部５０は、前記確信度が所定の閾値以上となる形状を識別して計数する。
【解決手段】特徴画素抽出部２０は、検出対象を被写体に含む画像を二値化してドットパターンを取得する。形状特徴抽出部３０は、前記ドットパターンにより形成された形状をもとに前記検出対象の候補を抽出する。確信度算出部４０は、前記検出対象の候補の形状によって定まる所定の範囲内に含まれる、当該候補の形状を構成するドットの数を確信度として算出する。検出対象領域抽出部５０は、前記確信度が所定の閾値以上となる形状を識別して計数する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像処理装置および画像処理方法に関し、特に砂場の海底画像からホタテ領域を抽出する装置および方法に関する。
【背景技術】
【０００２】
水産資源量の調査は、資源の枯渇の防止と漁業の効率的な操業を実現する上で、極めて重要である。各関係機関は必要な調査を行い、水産資源の個体数・発育の状態の把握に努めている。栽培漁業では資源量調査結果を元に、操業計画を立てる。
【０００３】
水産資源量調査は個体数だけではなく、種類、体長、位置、状態（生死）などを定量的に測定する必要がある。近年、デジタルカメラの普及と双胴船技術の発達により、水中の映像を容易に撮影することができつつある（非特許文献１参照）。画像を利用する資源量調査は、対象資源の漁獲量から資源量を推定する間接法とは違い、対象資源に影響を与えずに調査を行うことのできる直接法である。また、魚群探知機などの音響調査では観測が困難な貝などの底生生物を調査することが可能であり、視覚的推定が可能であるため、生死などの状態を把握することも可能である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】本多直人、渡辺俊広、"水中ビデオカメラを装着した表中層トロール網によるエチゼンクラゲの鉛直分布調査、"日本水産学会誌、vol. 73, no. 6, pp. 1042-1048, 2007．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、得られた画像を利用した水産資源の自動計数技術は確立されていない。例えばホタテ放流漁場では、個体数・発育状況を把握するために海底画像群の解析により資源量調査が行われることがあるが、これらの画像を用いた自動計測技術がないことから、画像中の対象資源を専門家が目視にて計測している。このため、得られた画像の解析に時間がかかることから、調査の広域化への大きな妨げとなっている。
【０００６】
本発明はこうした状況に鑑みてなされたものであり、その目的は、海底画像群から水産資源を調査する技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様は画像処理装置である。この装置は、検出対象を被写体に含む画像を二値化してドットパターンを取得する特徴画素抽出部と、前記ドットパターンにより形成された形状をもとに前記検出対象の候補を抽出する形状特徴抽出部と、前記検出対象の候補の形状によって定まる所定の範囲内に含まれる、当該候補の形状を構成するドットの数を確信度として算出する確信度算出部と、前記確信度が所定の閾値以上となる形状を識別して計数する検出対象領域抽出部とを含む。
【０００８】
本発明の別の態様も画像処理装置である。この装置は、検出対象であるホタテ貝を栽培する漁場を複数の小領域毎に撮像して得られた複数の画像それぞれに含まれるホタテ貝の存在位置を検出する検出対象領域抽出部と、前記複数の画像それぞれに含まれるホタテ貝の大きさを測定する検出対象測定部と、前記漁場内におけるホタテ貝の密度分布とホタテ貝の大きさの分布との少なくとも一方を、密度または大きさの違いを識別可能な態様で出力する出力部とを含む。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、サーバ、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、海底画像群から水産資源を調査する技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】砂場環境の海底画像を示す図である。
【図２】ホタテ領域を示す図である。
【図３】図１に示す画像に対するＭｅａｎ−Ｓｈｉｆｔフィルタリングによる平滑結果を示す図である。
【図４】図２に示すホタテ領域に対する平滑化の例を示す図である。
【図５】図３に示す対象画像の認識可能領域抽出結果を示す図である。
【図６】局所領域の輝度ヒストグラムと閾値ＴｈＳＲを示す図である。
【図７】図３に示す画像に対する閾値ＴｈＳＲの結果を示す図である。
【図８】殻縁候補点抽出結果を示す図である。
【図９】楕円のパラメータを示す図である。
【図１０】楕円とその近傍領域を示す図である。
【図１１】図１に示す画像に対する抽出実験の結果の例を示す図である。
【図１２】図２に示す画像に対するホタテ領域の抽出結果の例を示す図である。
【図１３】実施の形態に係る画像処理装置の内部構成を模式的に示す図である。
【図１４】実施の形態に係る前処理部の内部構成を模式的に示す図である。
【図１５】実施の形態に係る特徴画素抽出部の内部構成を模式的に示す図である。
【図１６】実施の形態に係る画像処理装置における処理手順を示すフローチャートである。
【図１７】測定結果格納部のデータベースの構成を模式的に示す図である。
【図１８】漁場内でのホタテの密度分布および殻長分布を例示する図である。
【発明を実施するための形態】
【００１２】
以下本発明を好適な実施の形態をもとに説明する。まず、実施の形態の基礎となる理論を前提技術として述べ、その後、具体的な実施の形態を説明する。
【００１３】
［前提技術］
１．はじめに
水産資源量の調査は、資源の枯渇の防止と漁業の効率的な操業を実現する上で、極めて重要である。各関係機関は必要な調査を行い、水産資源の個体数・発育の状態の把握に努めている［１］、［２］。栽培漁業では資源量調査結果を元に、操業計画を立てる。
【００１４】
水産資源量調査は個体数だけではなく、種類、体長、位置、状態（生死）などを定量的に測定する必要がある［２］。近年、デジタルカメラの普及と双胴船技術の発達により、水中の映像を容易に撮影することができつつある［３］、［４］。画像を利用する資源量調査は、対象資源の漁獲量から資源量を推定する間接法とは違い、対象資源に影響を与えずに調査を行うことのできる直接法である。また、魚群探知機などの音響調査では観測が困難な貝などの底生生物を調査することが可能であり、視覚的推定が可能であるため、生死などの状態を把握することも可能である。
【００１５】
一方で、得られた画像を利用した水産資源の自動計数技術は確立されていない。北海道、網走におけるホタテ放流漁場では、個体数・発育状況を把握するために海底画像群の解析により資源量調査を行っている［５］。この海域ではホタテは、主に砂場と礫場に生息している。北海道網走水産試験場が行った２００７年の調査では、漁獲面積約５８．５ｋｍ２中、５８０ｍ２の画像を所得している。しかし、これらの画像を用いた自動計測技術がないことから、画像中の対象資源を専門家が目視にて計測している。このため、得られた画像の解析に時間がかかることから、調査の広域化への大きな妨げとなっている。このため、ホタテを自動的に計測する技術が求められている。
【００１６】
著者ら［６］は、海底画像からホタテの数や大きさ、状態（生死）を自動的に計測可能なシステムの開発を目的として、礫場環境での抽出手法の提案し、その有効性を示している。本稿では、ホタテのもう１つの主な生活環境である砂場の海底画像を対象とする。対象となる砂場環境下において、ホタテは殻の上を砂で覆い身を隠しているため、殻の色や模様などは確認することはできない。画像中ではホタテの殻縁部分のみ確認することができる。このため、視覚的特徴が少ない条件から認識する必要がある。また対象画像は、対象資源を人間が目視にて計測するために撮影されたものであり、撮影時の照明による照度差や海中を浮遊する砂などがある多ノイズの非整備環境下で撮影されたものである。本稿では、これらの条件下で、ホタテ領域の抽出を試みた。
【００１７】
２．設計の指針
ホタテガイはウグイスガイ目イタヤガイ科に分類される二枚貝の一種である［７］。水深約８０ｍまでの砂場や礫場に生息している。ホタテの資源量調査のために撮影される海底画像の所得方法について説明する。まず、船舶から上部にカメラと撮影用の照明が１つ設置されているフレームを海底に沈める。機材を沈めた際、着底の瞬間に写真撮影を行う。この撮影方法では、カメラと海底までの高さがほぼ一定であり、傾きを補正する必要がないため、安定した画像を所得することができる。また砂や礫などの海底の環境にも影響されない。
【００１８】
本稿で対象となる砂場環境の海底画像例を図１、ホタテ領域の例を図２に示す。なお、対象画像は、サイズが１５３６×１０２４の２４ｂｉｔのカラー画像である。対象画像は、人間が目視でホタテを観測するために撮影されたものであるため、撮影時の照明による照度差などがある。このため、十分な照明が得られていない領域も存在する。また、対象環境は砂場であるため、対象画像はホタテ領域以外に多くのノイズを含む。これらの問題を解決するために前処理として、対象画像に適した平滑化手法と十分な照度のある領域の抽出手法を提案する。
【００１９】
ホタテ領域を他の領域と比較すると、（１）扇状の形状、（２）殻縁の白い領域、を確認できる。海底が砂場である場合、ほとんどのホタテは殻を砂で覆って身を隠している。しかし、ホタテは呼吸をする際に殻を開閉するため、殻縁部（殻の周辺部）の砂が落ち、殻縁部のみ確認することができる。ホタテの殻縁は白色であり、個体差はほとんどない。またホタテの個体同士は、同様の理由で重なることはない。これらの特徴を利用して、ホタテ領域の抽出を図ることにした。
【００２０】
３．前処理
ホタテ領域の特徴をモデル化するにあたって、図１より多ノイズを含む画像であり、撮影環境による照度差が大きいことがわかる。画像周辺部では十分な照度が得られず、色や形状を正しく認識することが困難である。本節では前処理として、対象画像に適した平滑化処理と、輝度の平均による認識可能領域を定義し、解析する領域を抽出する手法について述べる。
【００２１】
３．１ Ｍｅａｎ−Ｓｈｉｆｔフィルタリングによる平滑化
対象画像の背景は砂であり、ノイズを多く含むことから、ホタテ領域の特徴を失うことなく平滑化する必要がある。そこで本論文では、Ｍｅａｎ−Ｓｈｉｆｔフィルタリング［８］、［９］を用いて平滑化することとした。Ｍｅａｎ−Ｓｈｉｆｔフィルタリングはエッジ情報を残したまま平滑化する手法である。また、同様の平滑化処理としてバイラテラルフィルタ［１０］があるが、反復処理を必要とするのに対して、Ｍｅａｎ−Ｓｈｉｆｔフィルタリングは一回の処理で平滑化が可能となる。
【００２２】
ここで、色情報ｒと空間情報ｓに対するカーネル幅を（ｈｒ，ｈｓ）とし、平滑化処理を行う。Ｍｅａｎ−Ｓｈｉｆｔフィルタリングによる平滑化結果を図３に、ホタテ領域の平滑化結果を図４に示す。ただし、カーネル幅（ｈｒ，ｈｓ）＝（２０，１５）とした。図３より、ホタテの形状を失うことなく砂の領域は平滑化されているのがわかる。本明細書では、全ての解析対象画像に対して平滑化処理した画像を用いることとする。
【００２３】
３．２ 認識可能領域
対象画像は、撮影時の照明による照度差が大きく、十分な照度が得られていない領域がある。このような領域では、正確な色情報や形状情報を得ることは困難である。そこで、十分な照度が得られている領域を認識可能領域とし、この領域に対してホタテ領域を抽出することとする。
【００２４】
認識可能領域を以下のように定義する。大きさ（Ｍ，Ｎ）の画像Ｉ、大きさ（Ｗ，Ｈ）で画像Ｉ中の局所領域をＩｌｏｃａｌとする（Ｉｌｏｃａｌ⊂Ｉ）。局所領域Ｉｌｏｃａｌに対して、輝度値の平均値Ｌａｖｅを求め、閾値ＴｈＬ≦Ｌａｖｅを満たすとき、認識可能領域とする。この処理を、局所領域Ｉｌｏｃａｌの移動幅ｋとし、対象画像Ｉ全体に対して行う。本稿では、局所領域Ｉｌｏｃａｌの大きさ（Ｗ’，Ｈ’）＝（６４，６４）、移動幅ｋ＝１６、輝度値の平均値に対する閾値ＴｈＬ＝７５とした。ただし、対象画像に写っているフレームの位置は安定しているため、画像周辺部は認識可能領域ではないとした。抽出された認識可能領域を図５に示す。図５より、照度が十分ではない領域が除去されていることがわかる。
【００２５】
４．ホタテ特徴のモデル化
本稿ではホタテ領域の「殻縁」と「形状」に注目して、これらを統合することで対象領域の抽出を図る。以下にて、各特徴のモデル化について詳述する。
【００２６】
４．１ 殻縁特徴
海底が砂場である場合、ほとんどのホタテは殻を砂で覆って身を隠している。しかし、ホタテは呼吸をする際に、殻を開閉するため、殻縁部（殻の周辺部）の砂が落ち、覆われていない領域ができる（図２）。また、ホタテの殻縁部は安定して白色である。このため、ホタテ領域の近傍を見たとき、殻縁部分は最も明るい領域であると考えられる。しかし、対象画像は照度差が大きく、固定閾値によって抽出するのは困難である。ここでは、これらの特徴を殻縁特徴とし可変閾値を用いることで照度差に対応した殻縁候補点の抽出手法を提案する。
【００２７】
殻縁特徴を定義するにあたり、大きさ（Ｗ’，Ｈ’）で画像Ｉの局所領域Ｉｌｏｃａｌ’を定義する。局所領域Ｉｌｏｃａｌ’が十分に大きく且つ、ホタテの殻縁領域が含まれているとき、図２より、殻縁領域がＩｌｏｃａｌ’を占める割合は小さい。また殻縁領域は白色であるため、局所領域Ｉｌｏｃａｌ’において、もっとも輝度値の高い領域であるといえる。
【００２８】
これらの特徴から以下のように殻縁候補点ＳＲＣを定義する。まず局所領域Ｉｌｏｃａｌ’における輝度値のヒストグラムを求める。このとき殻縁領域は、ヒストグラムの分布の中で輝度値が高く且つ他の領域分布に含まれず、十分に小さい。ここでヒストグラムの平均値Ｌａｖｅ’、標準偏差ＬＳＤ’、局所領域の中央座標（ｘ’０，ｙ’０）、座標（ｘ’０，ｙ’０）に対応する画像Ｉの座標（ｘ，ｙ）、殻縁候補点とする割合ｐとしたとき、座標（ｘ’０，ｙ’０）の殻縁候補点に対する閾値ＴｈＳＲ（ｘ’０，ｙ’０）を、
ＴｈＳＲ（ｘ’０，ｙ’０）＝Ｌａｖｅ’＋λＬＳＤ’ （１）
とする。ただしλは、ヒストグラムの分布が正規分布としたときに、殻縁候補点とする割合ｐにより決定され、正規分布表に従う。この閾値ＴｈＳＲ（ｘ’０，ｙ’０）を画像Ｉ（ｘ，ｙ）に対応する閾値とする。この処理を移動幅ｋ’により画像Ｉ全体に対して行う。このとき、閾値ＴｈＳＲは移動幅ｋ’の間隔が空くため、線形補間法により画像Ｉ全体の閾値ＴｈＳＲを決定する。画像Ｉ（ｘ、ｙ）が
ＴｈＳＲ（ｘ、ｙ）≦Ｉ（ｘ、ｙ） （２）
を満たすとき、殻縁候補点ＳＲＣとする。本明細書においては、局所領域Ｉｌｏｃａｌ’の大きさ（Ｗ’，Ｎ’）＝（６４，６４）、移動幅ｋ’＝１６、殻縁候補点とする割合ｐ＝０．０１とし、λ＝２．３２６で与えられる。
【００２９】
図４を局所領域としたときのヒストグラムを図６に、求められた閾値ＴｈＳＲの結果を図７に、殻縁候補点を抽出した結果を図８に示す。図６（ａ）の対象画像は図４（ａ）で
閾値ＴｈＳＲが２１４の場合を示す。また図６（ｂ）の対象画像は図４（ｂ）で閾値ＴｈＳＲが１４９の場合を示す。図７より、対象画像の照度差に対応しながら、閾値が決定されていることがわかる。また、図８からも、照度差に影響を受けることなく、殻縁候補点が抽出されていることがわかる。
【００３０】
４．２ 形状特徴
ホタテの殻は扇状の形状を有し、殻縁部分にも同様の特徴をみることができる。本稿では、ホタテの殻縁形状を楕円と見なし、楕円検出Ｈｏｕｇｈ変換を用いてモデル化を試みた。Ｈｏｕｇｈ変換とは、候補となる関数のパラメータ空間上に特徴点に従い投票することで検出される［１１］。ノイズに強く、対象の画像に適した手法である。ただし直線の場合２ 次元、楕円の場合５次元のパラメータ空間が必要となる。また、図２より対象となる殻縁の形状は、楕円を構成する特徴点が半分にも満たないことがほとんどである。このため、以下で述べるパラメータ空間に対して投票を行い楕円の検出を行う。ただし、本論文で用いる特徴点は次節で詳述する。
【００３１】
本稿では、楕円の中心座標（ｘ、ｙ）、半長径α、半短径β、長軸の傾きφの５個のパラメータで表し（図９）、楕円に対する関数ｆ（ｘ，ｙ，α，β，φ）を定義する。そして、対象画像の特徴点に対してＨｏｕｇｈ変換により楕円の検出を行う。しかし、対象となる殻縁の形状は、楕円を構成する曲線のうち半分にも満たない。そこで本明細書では、長軸の傾きφ＝０とし４次元のパラメータ空間に投票することで、高速化を図ることとした。また、ホタテは一定範囲の大きさ・形状であるため、楕円パラメータα、βが２２≦α、β≦３６、楕円率β／αが０．８５≦β／αを満たすものとした。
【００３２】
４．３ 殻縁特徴と形状特徴の統合
４．１節と４．２節では、それぞれ殻縁の色特徴と形状特徴を定義した。本節では、これらを統合する手法について述べる。
【００３３】
ホタテ殻の形状は扇状であり、殻縁はその形状に沿った白色の部分である。このため、４．１節で定義した殻縁候補点がホタテ領域のとき、殻の形状に沿って存在しているといえる。
【００３４】
楕円検出Ｈｏｕｇｈ変換によって検出される楕円とパラメータ空間の関係を図１０に示す。ここでＨｏｕｇｈ変換に用いられる半長径α、半短径βのパラメータ空間量子化幅を、それぞれΔα、Δβとする。このとき、対応するパラメータ空間に投票された特徴点は、楕円近傍領域Ｎ上に存在する。ただし領域Ｎは
ｆ（ｘ，ｙ，α−Δα／２，β−Δβ／２）≦Ｎ≦ｆ（ｘ，ｙ，α＋Δα／２，β＋Δβ／２） （３）
とする。パラメータ空間の投票数は、対応するパラメータの楕円近傍領域Ｎに存在する特徴点の数と同値である。一般的にＨｏｕｇｈ変換は、抽出したい物体のエッジ点を特徴点とし、抽出を行う。しかし、ここでは楕円を構成する特徴点を殻縁候補点とし、領域Ｎに含まれる殻縁候補点の面積をＳＳＲとするとき、形状特徴を満たす楕円のうち近傍領域Ｎに含まれる殻縁特徴が
Ｔｈｓｃａｌｌｏｐ≦ＳＳＲ （４）
を満たすとき、ホタテ領域とする。ここでＴｈｓｃａｌｌｏｐは、Ｈｏｕｇｈ変換においてパラメータ空間の投票数から、楕円として検出するか否かに対する閾値であり、且つその楕円近傍に含まれる殻縁候補点の面積ＳＳＲに対する閾値でもある。本稿では、パラメータ空間量子化幅Δα、Δβ＝２、閾値Ｔｈｓｃａｌｌｏｐ＝２０とした。またホタテ領域は、呼吸するために個体同士が重なることがない。このため、複数のホタテ領域が重なるとき、最も殻縁候補点の面積ＳＳＲが大きいものをホタテ領域とした。
【００３５】
５． 実験
５．１ 実験方法
抽出手法は以下のとおりである。
処理１．Ｍｅａｎ−Ｓｈｉｆｔフィルタリングによる平滑化。
処理２．処理１で得られた画像から認識可能領域を抽出。
処理３．処理２で得られた画像から殻縁候補点の抽出。
処理４．処理３で得られた画像からＨｏｕｇｈ変換によるホタテ領域を抽出。
【００３６】
まず、対象画像に対して、Ｍｅａｎ−Ｓｈｉｆｔフィルタリングによる平滑化した後、認識可能領域を抽出し、解析する領域を決定する。得られた画像に対して、殻縁特徴を満たす殻縁候補点を抽出する。最後に、殻縁候補点を特徴点とし、形状特徴を満たす楕円検出Ｈｏｕｇｈ変換により、ホタテ領域を決定する。
【００３７】
５．２ 実験結果
ホタテの抽出結果例を図１１、図１２に示す。殻縁が確認できるホタテ領域を抽出できていることがわかる。
【００３８】
６．考察
砂場という視覚的特徴が少ない環境において、ホタテの殻縁特徴と形状特徴を統合することで良好な結果が得られた。このような環境下でのエッジ点には、ホタテ領域以外の砂や照明による影など含まれることは容易に予想できる。その結果、Ｈｏｕｇｈ変換ではホタテ領域以外の特徴点が投票されることで、正しい領域を抽出することができない。本手法はＨｏｕｇｈ変換ではエッジ点ではなく、殻縁候補点を特徴点とすることで、図１２よりホタテの殻縁部に沿って正しくホタテ領域の抽出ができた。
【００３９】
７．おわりに
海底画像からホタテの数や大きさ、状態を自動的に計測可能なシステムの開発を目的とし、砂場環境の海底画像からホタテ領域を抽出する手法を提案した。対象画像は、砂や撮影環境による照度差を含む非整備環境下で撮影されたものであり、多ノイズを含む。これらの問題を解決するために、Ｍｅａｎ−Ｓｈｉｆｔフィルタリングを用いた平滑化及び認識可能領域を定義し、対応した。ホタテは、砂場環境下ではホタテ全体が砂に覆われており、視覚的特徴が乏しい。本手法は、砂場というホタテが身を隠している環境下において、照度差に対応した動的閾値を導入し得られたホタテの殻縁特徴と形状特徴を統合することで、抽出精度の向上を試みたものである。実画像を用いた抽出実験を通じて、本手法の有効性を検証した。また、自動計測システムの開発にはそれぞれの環境に適した手法を用いる必要があるが、本稿で提案した手法は、砂場以外の環境でも応用が可能なものである。
【００４０】
文献
［１］Food and Agricultural Organization, "The State of World Fisheries and Aquaculture," Food and Agri-cultural Organization, Italy, 2006.
［２］勝川俊、"水産資源の順応的管理に関する研究、"日本水産学会誌、vol. 73, no. ４, pp. 656-659, 2007.
［３］本多直人、渡辺俊広、"水中ビデオカメラを装着した表中層トロール網によるエチゼンクラゲの鉛直分布調査、"日本水産学会誌、vol. 73, no. 6, pp. 1042-1048, 2007．
［４］藤田薫、渡辺俊広、北川大二、"トロール網のグランドロープに対するズワイガニ類の行動、"日本水産学会誌、vol. 72, no. 4, pp. 695-701, 2006．
［５］北海道立網走水産試験場、"ホタテガイ地まき漁場におけるモニタリングマニュアル〜市場ニーズに対応した計画的生産を目指して〜、"北海道立網走水産試験場（オンライン）、http://www.shexp.pref.hokkaido.jp/exp/abashiri/saikin/manyuaru/ｍａｎｙｕａｒｕ.pdf.
［６］K. Enomoto, M. Toda, and Y. Kuwahara, "Scal-lop Detection from Gravel-Seabed Images for Fish-ery Investigation", Proc. 7th IAPR Conf. on Machine Vision Applications（MVA2009）, pp. 479-482, Kana-gawa, The Japan, May 2009.
［７］奥谷喬司（編著）、"日本近海産貝類図鑑、"東海大学出版会、pp.910-911、 2000.
［８］Y. Cheng, "Mean Shift, Mode Seeking, and Clus-tering," Proc. IEEE, vol. 17, no. 8, pp. 790-799,Aug.1995.
［９］D. Comaniciu and P. Meer, \Mean Shift: A RobustApproach Toward Feature Space Analysis," Proc.IEEE, vol. 24, no. 5, pp. 603-619, May 2002.
［１０］C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images," Proc. 6th IEEE Conf. on Conputer Vision, pp. 839-846， Bombay, The India, January 1998．
［１１］R. O. Duda and P. E. Hart, "Use of the Hough Trans-formation to Detect Lines and Curves in Pictures," Comm. ACM, vol. 15, pp. 11-15, Jan.1972.
【００４１】
［具体例］
実施の形態
図１３は、実施の形態に係る画像処理装置１００の内部構成を模式的に示す図である。画像処理装置１００は、前処理部１０、特徴画素抽出部２０、形状特徴抽出部３０、確信度算出部４０、検出対象領域抽出部５０、検出対象測定部６０、記憶部７０、および出力部８０を含む。記憶部７０はさらに、パラメータ記憶部７２と測定結果格納部７４とを含む。
【００４２】
前処理部１０は、検出対象の海洋資源であるホタテを被写体に含む画像を取得し、画像の輝度値の補正や平滑化処理等の前処理を実行する。詳細は後述するが、これは前提技術［３］に記載の手法に基づく。特徴画素抽出部２０は、前処理部１０が処理した画像を二値化して、ホタテの殻縁部を構成するドットを含むドットパターンを取得する。詳細は後述するが、これは前提技術［４．１］に記載の手法に基づく。
【００４３】
形状特徴抽出部３０は、特徴画素抽出部２０が取得したドットパターンにより形成された形状から、検出対象であるホタテの候補を抽出する。これは前提技術［４．２］に記載の手法に基づく。具体的には、特徴画素抽出部２０が取得したドットパターンに対して楕円を検出するためのＨｏｕｇｈ変換を行い、ドットパターンから楕円形状を検出する。図２に例示されるように、検出対象であるホタテの殻縁は略楕円形状である。そこで、Ｈｏｕｇｈ変換によって楕円形状を検出してホタテの候補とする。ここで、Ｈｏｕｇｈ変換に利用する楕円パラメータα、βの上限値である３６や下限値である２２、および楕円率の下限値である０．８５の各種パラメータはパラメータ記憶部７２に記憶されており、形状特徴抽出部３０はパラメータ記憶部７２からこれらのパラメータを取得してＨｏｕｇｈ変換を実行する。ここで示した楕円パラメータα、βの上限値や下限値、楕円率の下限値は一例であり、検出対象や検出に利用する画像の画素ピッチ等をもとに実験により定めればよい。
【００４４】
確信度算出部４０は、形状特徴抽出部３０が検出した検出対象であるホタテの候補の形状によって定まる所定の範囲内に含まれるドットの数を確信度として算出する。ここで「所定の範囲」とは、ホタテの候補の形状を構成するドットが略楕円形状となるか否かを判断するために設けられた基準範囲であり、具体的には前提技術［４．３］の式（３）で示されるドーナツ型の領域Ｎである。確信度算出部４０は、形状特徴抽出部３０が抽出したホタテの候補を構成するドットのうちこの領域Ｎ内に含まれるドットの数、すなわちホタテの殻縁候補点の面積ＳＳＲを確信度として算出する。
【００４５】
確信度が大きい候補は、確信度が小さい候補と比較してホタテの殻縁の形状を構成する画素が多いため、ホタテである蓋然性が高いと考えられる。ここで領域Ｎのように確信度の算出のために所定の範囲を設けることにより、例えばモデルとした楕円形状からの実際のホタテ貝の殻縁形状のずれや、ノイズの影響による殻縁形状の変動等を吸収しうる点で有利である。殻縁形状の多少の歪みは、その形状を構成するドットが領域Ｎにとどまっていれば確信度に反映されるからである。なお、式（３）中のパラメータ空間量子化幅ΔαおよびΔβはパラメータ記憶部７２に格納されており、確信度算出部４０はパラメータ記憶部７２からこれらのパラメータを取得して用いる。
【００４６】
ΔαおよびΔβの値は検出対象や検出に利用する画像をもとに実験により定めればよく、一例としてはΔα＝Δβ＝２である。ΔαやΔβの値を大きくすると領域Ｎの面積が拡大するため、楕円形状から外れた殻縁形状を持ったホタテも検出できるようになる。一方、ΔαやΔβの値を小さくすると領域Ｎの面積が縮小するため、楕円形状モデルへの当て嵌めの基準が厳しくなり、誤検出を抑制することができるようになる。
【００４７】
検出対象領域抽出部５０は、確信度算出部４０が算出した確信度が所定の閾値以上となる形状を識別して計数する。ここで「所定の閾値」とは前提技術［４．３］中のＴｈｓｃａｌｌｏｐであり、Ｈｏｕｇｈ変換においてパラメータ空間の投票数から楕円として検出するか否かを判別するための基準値であるとともに、その楕円近傍である領域Ｎ内に含まれる殻縁候補点の面積ＳＳＲに対する基準値でもある。
【００４８】
検出対象測定部６０は、検出対象領域抽出部５０が識別した楕円の大きさの分布を算出する。パラメータ記憶部７２には検出対象の海洋資源であるホタテを被写体に含む画像の画素ピッチも格納されており、検出対象測定部はパラメータ記憶部７２から取得した画素ピッチと検出対象領域抽出部５０が識別した楕円の長軸の画像状における長さとから、当該楕円の実際の長さを算出する。楕円の大きさはホタテ貝の大きさに対応するため、ホタテ貝の発育度を測る際に有用な情報となる。そこで検出対象測定部６０は、算出した楕円の大きさの分布を出力部８０に出力する。ここで出力部８０は、各種情報を画像処理装置１００のユーザに提示するためのインタフェースであり、各種情報を文字や表、あるいは画像にまとめる機能を持つ。出力部８０の出力先の例としてはモニタが挙げられる。あるいは、情報を印刷するプリンタに出力してもよいし、画像処理装置１００の設置されている場所から離れた場所に存在するモニタや携帯端末機に、送信機器（図示せず）を介して情報を送信してもよい。いずれにしても、画像処理装置１００のユーザがホタテ貝の大きさを俯瞰しうる点で有利である。
【００４９】
ところで、漁場においてホタテを飼育する際、１平方メートルあたり４個体以下が適正であるといわれている。そこで検出対象測定部６０は、検出対象領域抽出部５０が識別した楕円が、１平方メートルあたりに何個存在するかをカウントし、漁場におけるホタテの密度を算出する。
【００５０】
図１４は、実施の形態に係る前処理部１０の内部構成を模式的に示す図である。前処理部１０は、平滑化部１２、認識可能領域抽出部１４、および周辺領域除去部１６を含む。
【００５１】
平滑化部１２は、検出対象を被写体に含む画像のエッジ情報を残したまま平滑化する。これは前提技術［３．１］に記載のＭｅａｎ−Ｓｈｉｆｔフィルタリングを用いて実現できる。Ｍｅａｎ−Ｓｈｉｆｔフィルタリングに用いる色情報ｒと空間情報ｓに対するカーネル幅（ｈｒ，ｈｓ）の値はパラメータ記憶部７２に記憶されており、平滑化部１２はパラメータ記憶部７２からカーネル幅を取得してＭｅａｎ−Ｓｈｉｆｔフィルタリングを実行する。カーネル幅（ｈｒ，ｈｓ）の値は検出対象や検出に利用する画像の画素ピッチ等をもとに実験により定めればよく、例えば（ｈｒ，ｈｓ）＝（２０，１５）である。
【００５２】
認識可能領域抽出部１４は、平滑化部１２が出力した画像を取得し、その画像中で検出対象であるホタテを検出することが可能な程度に照度が得られている領域を抽出する。これは前提技術［３．２］に記載の手法に基づく。ここで認識可能領域を抽出するために必要な局所領域Ｉｌｏｃａｌの大きさ（Ｗ，Ｈ）や、輝度値の閾値ＴｈＬ、および移動幅ｋ等の各種パラメータはパラメータ記憶部７２に記憶されており、認識可能領域抽出部１４はパラメータ記憶部７２からこれらのパラメータを取得して認識可能領域の抽出を実行する。これらのパラメータの値は検出対象や検出に利用する画像の画素ピッチ等をもとに実験により定めればよい。
【００５３】
周辺領域除去部１６は、認識可能領域抽出部１４が出力した画像を取得し、その画像中の周辺部の領域を削除する。これは前提技術［３．２］に記載の手法に基づく。図３に示すように検出対象を被写体に含む画像のフレームの位置が安定している場合には、その画像の周辺部を認識可能領域ではないとして除去することができる。これは検出にかかる時間を短縮しうる点で有利である。除去する領域の大きさは検出対象や検出に利用する画像をもとに実験により定めればよいが、一例としては、画像の長辺の画素数の５％を、いわば「のりしろ」のような形で除去すればよい。
【００５４】
図１５は、実施の形態に係る特徴画素抽出部２０の内部構成を模式的に示す図である。特徴画素抽出部２０は、基準閾値算出部２２、閾値補間部２４、および二値化部２６を含む。
【００５５】
基準閾値算出部２２は、検出対象が撮像された画像を所定の大きさの複数の局所領域に分割し、各局所領域内の画素の統計量をもとに各局所領域における二値化のための基準閾値を算出する。ここで「所定の大きさの局所領域」とは、画像の全体ではなく画像の局所的な輝度情報の統計量を用いて適応的に閾値処理するために設けられた、局所的な閾値を決定するための基準領域であり、前提技術［４．１］に記載の手法に基づいて定める。より具体的には、基準閾値算出部２２は、各局所領域における二値化のための基準閾値を前提技術［４．１］中の式（１）を用いて算出する。
【００５６】
基準閾値算出部２２は、移動幅ｋ’で表される間隔をあけて各局所領域を設定する。したがって、局所領域が設定されない領域については基準閾値が算出されない。そこで閾値補間部２４は、基準閾値算出部２２が算出した離散的な基準閾値をもとに局所領域が設定されない領域についての閾値を補間計算によって求める。これは前提技術［４．１］に記載の線形補間法を用いてもよいし、スプライン補間等、既知の補間アルゴリズムを用いてもよい。なお、移動幅ｋ’が１ピクセルとして設定された場合、隣り合う局所領域間に間隔は開かず、画像中に局所領域は密に設定されることになる。この場合、閾値補間部２４は補間処理を省略しうる。
【００５７】
局所閾値を求めるために使用する各種パラメータはパラメータ記憶部７２に記憶されており、基準閾値算出部２２および閾値補間部２４はパラメータ記憶部７２からこれらのパラメータを取得して基準閾値の算出や閾値の補間計算を実行する。これらのパラメータの値は、検出対象や検出に利用する画像をもとに実験により定めればよい。
【００５８】
二値化部２６は、周辺領域除去部１６が出力した画像に対して、基準閾値算出部２２または閾値補間部２４が算出した閾値をもとに閾値処理を実行して二値化画像を生成する。これは前提技術［４．１］中の式（２）に基づいて実行される。このように、画像の全体ではなく画像の局所的な輝度情報から導出した統計量を用いて閾値処理を実行することにより、検出対象画像の局所的な照度差に対応した閾値を決定しうる点で有利である。
【００５９】
画像処理装置１００にはキーボードやマウス等の図示しないユーザインタフェースが備わっており、このユーザインタフェースを介してユーザはパラメータ記憶部７２に格納されている各種パラメータを変更することができる。
【００６０】
図１６は、実施の形態に係る画像処理装置１００における処理手順を示すフローチャートである。本フローチャートにおける処理は、画像処理装置１００が検出対象の画像を取得したときに開始する。
【００６１】
平滑化分１２は、検出対象を被写体に含む画像を平滑化する（Ｓ２）。認識可能領域抽出部１４は、平滑化部１２が出力した画像を取得から認識可能領域を抽出する（Ｓ４）。周辺領域除去部１６は、認識可能領域抽出部１４が出力した画像の周辺部の領域を削除する（Ｓ６）。基準閾値算出部２２は、検出対象が撮像された画像に設定された局所領域それぞれについて二値化のための基準閾値を算出する（Ｓ８）。閾値補間部２４は、基準閾値算出部２２が算出した基準閾値をもとに局所領域が設定されない領域についての閾値を補間計算によって求める（Ｓ１０）。二値化部２６は、周辺領域除去部１６が出力した画像に対して閾値処理を実行して二値化画像を生成する（Ｓ１２）。
【００６２】
形状特徴抽出部３０は、二値化部２６が生成した二値化画像から検出対象であるホタテの候補を抽出する（Ｓ１４）。確信度算出部４０は、形状特徴抽出部３０が検出した検出対象であるホタテの候補の確信度を算出する（Ｓ１６）。検出対象領域抽出部５０は、確信度算出部４０が算出した確信度が所定の閾値以上となる形状を抽出する（Ｓ１８）。検出対象測定部６０は、検出対象領域抽出部５０が識別した楕円の大きさの分布を算出して出力部８０に出力する（Ｓ２０）。検出対象測定部６０が楕円の大きさの分布を算出して出力部８０に出力すると、本フローチャートにおける処理は終了する。
【００６３】
以上、検出対象を被写体に含む、あるひとつの画像から検出対象であるホタテを抽出する方法について説明した。前提技術［１］に記載したように、漁獲面積は例えば５０ｋｍ２の程度の広さである。一方、検出対象を被写体に含む画像は１ｍ２から２ｍ２の程度の海底の小領域が撮像された画像である。そこで画像処理装置１００は、漁場中の異なる小領域で撮像された複数の画像を順次取得して検出対象の抽出を行ってその結果をまとめることにより、より広範囲な漁場の状況を俯瞰するための情報を作成する。以下、このことについて説明する。
【００６４】
測定結果格納部７４は、複数の検出対象画像それぞれについて検出対象測定部６０が算出した楕円の位置および大きさの分布を測定結果格納部７４に格納する。これにより、測定結果格納部７４には、漁場におけるホタテの大きさの分布と、ホタテの生息密度の分布とのデータベースが構築される。
【００６５】
図１７は、測定結果格納部７４のデータベースの構成を模式的に示す図である。図１７に示すように、検出対象の各画像にはそれぞれ固有の画像ＩＤ（Identification）が割り当てられている。データベースには、画像が撮像された位置の緯度および経度が各画像に対応づけられて格納されている。緯度および経度の情報は、例えばＧＰＳ（Global Positioning System）を用いて取得できる。なお、検出対象を被写体に含む画像が１ｍ２から２ｍ２の程度の小領域を撮像した画像である場合、緯度および経度における秒は、小数点以下第二位まで測定するのが望ましい。
【００６６】
測定結果格納部７４のデータベースには、各画像において検出されたホタテが、そのサイズ毎に計数された結果も格納される。ここでホタテのサイズとは、計測した楕円の長軸に対応するホタテの殻長である。図１７に示す例では、小さい順にサイズＡからサイズＤまでの４種類のサイズに分類する場合を示すが、分類の種類は４種類に限らず適宜定めればよい。データベースにはさらに、取得した画像全体をとおして集計した、サイズ毎に計数したホタテの数も格納される。
【００６７】
図１８（ａ）は、出力部８０が測定結果格納部７４のデータベースを参照して画像化した、漁場内でのホタテの密度分布の一例を示した図であり、図中の数字は１平方メートルあたりの個体数を表す。出力部８０は測定結果格納部７４のデータベースから各画像に含まれるホタテの合計を取得する。例えばその数が４体であり、画像の撮像面積は１ｍ２であるとすれば、その画像におけるホタテの生息密度は４体／ｍ２である。出力部８０は各画像の撮像位置をもとに漁場中の密度分布を、密度の違いを識別可能な態様で出力する。例えば密度によって異なる色を振り分けてカラー画像を生成すれば、密度分布を密度の違いを識別可能な画像が生成できる。あるいは、密度によって異なる濃度を振り分けてグレースケール画像を生成してもよい。または、地図における等高線に類する表現を用いてもよい。これによりユーザは、漁場中の広範囲についてホタテの生息密度が俯瞰できるため、ホタテの栽培状況の把握が容易となる点で有利である。
【００６８】
図１８（ｂ）は、出力部８０が測定結果格納部７４のデータベースを参照して画像化した、漁場内でのホタテの殻長分布の一例を示した図であり、図中の数字はホタテの拡張をミリメートル単位で表したものである。出力部８０は測定結果格納部７４のデータベースから各画像に含まれるホタテの個体数をサイズ毎に取得する。出力部８０は各画像の撮像位置をもとに漁場中の殻長分布を、殻長の違いを識別可能な態様で出力する。密度分布の場合と同様に、例えば殻長によって異なる色を振り分けてカラー画像を生成すれよい。これによりユーザは、漁場中の広範囲についてホタテの殻長分布が俯瞰でき、ホタテの収穫計画を立てる際の有用な情報となる。
【００６９】
図１３、図１４、図１５および図１７に示す画像処理装置１００およびその内部の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩ（Large Scale Integration）で実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００７０】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７１】
上記の例では、Ｈｏｕｇｈ変換を利用して画像中から楕円形状を検出する場合について説明したが、画像中から楕円形状を検出するのはＨｏｕｇｈ変換以外の既知の検出技術を利用してもよい。例えば、少なくとも楕円の一部を含むパターンを用いたテンプレートマッチングを用いてもよい。あるいは、ホタテ領域であることが既知である画像群と、ホタテが写っていないことが既知である画像群とを教師データとして機械学習手法を用いても実現できる。機械学習手法としては、例えばＳＶＭ（Support Vector Machine）やブースティング（Boosting）等が挙げられる。適切な教師データを取得して学習することにより、検出能力を向上しうる点で有利である。
【符号の説明】
【００７２】
１０ 前処理部、 １２ 平滑化部、 １４ 認識可能領域抽出部、 １６ 周辺領域除去部、 ２０ 特徴画素抽出部、 ２２ 基準閾値算出部、 ２４ 閾値補間部、 ２６ 二値化部、 ３０ 形状特徴抽出部、 ４０ 確信度算出部、 ５０ 検出対象領域抽出部、 ６０ 検出対象測定部、 ７０ 記憶部、 ７２ パラメータ記憶部、 ７４ 測定結果格納部、 ８０ 出力部、 １００ 画像処理装置。
【技術分野】
【０００１】
この発明は画像処理装置および画像処理方法に関し、特に砂場の海底画像からホタテ領域を抽出する装置および方法に関する。
【背景技術】
【０００２】
水産資源量の調査は、資源の枯渇の防止と漁業の効率的な操業を実現する上で、極めて重要である。各関係機関は必要な調査を行い、水産資源の個体数・発育の状態の把握に努めている。栽培漁業では資源量調査結果を元に、操業計画を立てる。
【０００３】
水産資源量調査は個体数だけではなく、種類、体長、位置、状態（生死）などを定量的に測定する必要がある。近年、デジタルカメラの普及と双胴船技術の発達により、水中の映像を容易に撮影することができつつある（非特許文献１参照）。画像を利用する資源量調査は、対象資源の漁獲量から資源量を推定する間接法とは違い、対象資源に影響を与えずに調査を行うことのできる直接法である。また、魚群探知機などの音響調査では観測が困難な貝などの底生生物を調査することが可能であり、視覚的推定が可能であるため、生死などの状態を把握することも可能である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】本多直人、渡辺俊広、"水中ビデオカメラを装着した表中層トロール網によるエチゼンクラゲの鉛直分布調査、"日本水産学会誌、vol. 73, no. 6, pp. 1042-1048, 2007．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、得られた画像を利用した水産資源の自動計数技術は確立されていない。例えばホタテ放流漁場では、個体数・発育状況を把握するために海底画像群の解析により資源量調査が行われることがあるが、これらの画像を用いた自動計測技術がないことから、画像中の対象資源を専門家が目視にて計測している。このため、得られた画像の解析に時間がかかることから、調査の広域化への大きな妨げとなっている。
【０００６】
本発明はこうした状況に鑑みてなされたものであり、その目的は、海底画像群から水産資源を調査する技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様は画像処理装置である。この装置は、検出対象を被写体に含む画像を二値化してドットパターンを取得する特徴画素抽出部と、前記ドットパターンにより形成された形状をもとに前記検出対象の候補を抽出する形状特徴抽出部と、前記検出対象の候補の形状によって定まる所定の範囲内に含まれる、当該候補の形状を構成するドットの数を確信度として算出する確信度算出部と、前記確信度が所定の閾値以上となる形状を識別して計数する検出対象領域抽出部とを含む。
【０００８】
本発明の別の態様も画像処理装置である。この装置は、検出対象であるホタテ貝を栽培する漁場を複数の小領域毎に撮像して得られた複数の画像それぞれに含まれるホタテ貝の存在位置を検出する検出対象領域抽出部と、前記複数の画像それぞれに含まれるホタテ貝の大きさを測定する検出対象測定部と、前記漁場内におけるホタテ貝の密度分布とホタテ貝の大きさの分布との少なくとも一方を、密度または大きさの違いを識別可能な態様で出力する出力部とを含む。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、サーバ、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、海底画像群から水産資源を調査する技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】砂場環境の海底画像を示す図である。
【図２】ホタテ領域を示す図である。
【図３】図１に示す画像に対するＭｅａｎ−Ｓｈｉｆｔフィルタリングによる平滑結果を示す図である。
【図４】図２に示すホタテ領域に対する平滑化の例を示す図である。
【図５】図３に示す対象画像の認識可能領域抽出結果を示す図である。
【図６】局所領域の輝度ヒストグラムと閾値ＴｈＳＲを示す図である。
【図７】図３に示す画像に対する閾値ＴｈＳＲの結果を示す図である。
【図８】殻縁候補点抽出結果を示す図である。
【図９】楕円のパラメータを示す図である。
【図１０】楕円とその近傍領域を示す図である。
【図１１】図１に示す画像に対する抽出実験の結果の例を示す図である。
【図１２】図２に示す画像に対するホタテ領域の抽出結果の例を示す図である。
【図１３】実施の形態に係る画像処理装置の内部構成を模式的に示す図である。
【図１４】実施の形態に係る前処理部の内部構成を模式的に示す図である。
【図１５】実施の形態に係る特徴画素抽出部の内部構成を模式的に示す図である。
【図１６】実施の形態に係る画像処理装置における処理手順を示すフローチャートである。
【図１７】測定結果格納部のデータベースの構成を模式的に示す図である。
【図１８】漁場内でのホタテの密度分布および殻長分布を例示する図である。
【発明を実施するための形態】
【００１２】
以下本発明を好適な実施の形態をもとに説明する。まず、実施の形態の基礎となる理論を前提技術として述べ、その後、具体的な実施の形態を説明する。
【００１３】
［前提技術］
１．はじめに
水産資源量の調査は、資源の枯渇の防止と漁業の効率的な操業を実現する上で、極めて重要である。各関係機関は必要な調査を行い、水産資源の個体数・発育の状態の把握に努めている［１］、［２］。栽培漁業では資源量調査結果を元に、操業計画を立てる。
【００１４】
水産資源量調査は個体数だけではなく、種類、体長、位置、状態（生死）などを定量的に測定する必要がある［２］。近年、デジタルカメラの普及と双胴船技術の発達により、水中の映像を容易に撮影することができつつある［３］、［４］。画像を利用する資源量調査は、対象資源の漁獲量から資源量を推定する間接法とは違い、対象資源に影響を与えずに調査を行うことのできる直接法である。また、魚群探知機などの音響調査では観測が困難な貝などの底生生物を調査することが可能であり、視覚的推定が可能であるため、生死などの状態を把握することも可能である。
【００１５】
一方で、得られた画像を利用した水産資源の自動計数技術は確立されていない。北海道、網走におけるホタテ放流漁場では、個体数・発育状況を把握するために海底画像群の解析により資源量調査を行っている［５］。この海域ではホタテは、主に砂場と礫場に生息している。北海道網走水産試験場が行った２００７年の調査では、漁獲面積約５８．５ｋｍ２中、５８０ｍ２の画像を所得している。しかし、これらの画像を用いた自動計測技術がないことから、画像中の対象資源を専門家が目視にて計測している。このため、得られた画像の解析に時間がかかることから、調査の広域化への大きな妨げとなっている。このため、ホタテを自動的に計測する技術が求められている。
【００１６】
著者ら［６］は、海底画像からホタテの数や大きさ、状態（生死）を自動的に計測可能なシステムの開発を目的として、礫場環境での抽出手法の提案し、その有効性を示している。本稿では、ホタテのもう１つの主な生活環境である砂場の海底画像を対象とする。対象となる砂場環境下において、ホタテは殻の上を砂で覆い身を隠しているため、殻の色や模様などは確認することはできない。画像中ではホタテの殻縁部分のみ確認することができる。このため、視覚的特徴が少ない条件から認識する必要がある。また対象画像は、対象資源を人間が目視にて計測するために撮影されたものであり、撮影時の照明による照度差や海中を浮遊する砂などがある多ノイズの非整備環境下で撮影されたものである。本稿では、これらの条件下で、ホタテ領域の抽出を試みた。
【００１７】
２．設計の指針
ホタテガイはウグイスガイ目イタヤガイ科に分類される二枚貝の一種である［７］。水深約８０ｍまでの砂場や礫場に生息している。ホタテの資源量調査のために撮影される海底画像の所得方法について説明する。まず、船舶から上部にカメラと撮影用の照明が１つ設置されているフレームを海底に沈める。機材を沈めた際、着底の瞬間に写真撮影を行う。この撮影方法では、カメラと海底までの高さがほぼ一定であり、傾きを補正する必要がないため、安定した画像を所得することができる。また砂や礫などの海底の環境にも影響されない。
【００１８】
本稿で対象となる砂場環境の海底画像例を図１、ホタテ領域の例を図２に示す。なお、対象画像は、サイズが１５３６×１０２４の２４ｂｉｔのカラー画像である。対象画像は、人間が目視でホタテを観測するために撮影されたものであるため、撮影時の照明による照度差などがある。このため、十分な照明が得られていない領域も存在する。また、対象環境は砂場であるため、対象画像はホタテ領域以外に多くのノイズを含む。これらの問題を解決するために前処理として、対象画像に適した平滑化手法と十分な照度のある領域の抽出手法を提案する。
【００１９】
ホタテ領域を他の領域と比較すると、（１）扇状の形状、（２）殻縁の白い領域、を確認できる。海底が砂場である場合、ほとんどのホタテは殻を砂で覆って身を隠している。しかし、ホタテは呼吸をする際に殻を開閉するため、殻縁部（殻の周辺部）の砂が落ち、殻縁部のみ確認することができる。ホタテの殻縁は白色であり、個体差はほとんどない。またホタテの個体同士は、同様の理由で重なることはない。これらの特徴を利用して、ホタテ領域の抽出を図ることにした。
【００２０】
３．前処理
ホタテ領域の特徴をモデル化するにあたって、図１より多ノイズを含む画像であり、撮影環境による照度差が大きいことがわかる。画像周辺部では十分な照度が得られず、色や形状を正しく認識することが困難である。本節では前処理として、対象画像に適した平滑化処理と、輝度の平均による認識可能領域を定義し、解析する領域を抽出する手法について述べる。
【００２１】
３．１ Ｍｅａｎ−Ｓｈｉｆｔフィルタリングによる平滑化
対象画像の背景は砂であり、ノイズを多く含むことから、ホタテ領域の特徴を失うことなく平滑化する必要がある。そこで本論文では、Ｍｅａｎ−Ｓｈｉｆｔフィルタリング［８］、［９］を用いて平滑化することとした。Ｍｅａｎ−Ｓｈｉｆｔフィルタリングはエッジ情報を残したまま平滑化する手法である。また、同様の平滑化処理としてバイラテラルフィルタ［１０］があるが、反復処理を必要とするのに対して、Ｍｅａｎ−Ｓｈｉｆｔフィルタリングは一回の処理で平滑化が可能となる。
【００２２】
ここで、色情報ｒと空間情報ｓに対するカーネル幅を（ｈｒ，ｈｓ）とし、平滑化処理を行う。Ｍｅａｎ−Ｓｈｉｆｔフィルタリングによる平滑化結果を図３に、ホタテ領域の平滑化結果を図４に示す。ただし、カーネル幅（ｈｒ，ｈｓ）＝（２０，１５）とした。図３より、ホタテの形状を失うことなく砂の領域は平滑化されているのがわかる。本明細書では、全ての解析対象画像に対して平滑化処理した画像を用いることとする。
【００２３】
３．２ 認識可能領域
対象画像は、撮影時の照明による照度差が大きく、十分な照度が得られていない領域がある。このような領域では、正確な色情報や形状情報を得ることは困難である。そこで、十分な照度が得られている領域を認識可能領域とし、この領域に対してホタテ領域を抽出することとする。
【００２４】
認識可能領域を以下のように定義する。大きさ（Ｍ，Ｎ）の画像Ｉ、大きさ（Ｗ，Ｈ）で画像Ｉ中の局所領域をＩｌｏｃａｌとする（Ｉｌｏｃａｌ⊂Ｉ）。局所領域Ｉｌｏｃａｌに対して、輝度値の平均値Ｌａｖｅを求め、閾値ＴｈＬ≦Ｌａｖｅを満たすとき、認識可能領域とする。この処理を、局所領域Ｉｌｏｃａｌの移動幅ｋとし、対象画像Ｉ全体に対して行う。本稿では、局所領域Ｉｌｏｃａｌの大きさ（Ｗ’，Ｈ’）＝（６４，６４）、移動幅ｋ＝１６、輝度値の平均値に対する閾値ＴｈＬ＝７５とした。ただし、対象画像に写っているフレームの位置は安定しているため、画像周辺部は認識可能領域ではないとした。抽出された認識可能領域を図５に示す。図５より、照度が十分ではない領域が除去されていることがわかる。
【００２５】
４．ホタテ特徴のモデル化
本稿ではホタテ領域の「殻縁」と「形状」に注目して、これらを統合することで対象領域の抽出を図る。以下にて、各特徴のモデル化について詳述する。
【００２６】
４．１ 殻縁特徴
海底が砂場である場合、ほとんどのホタテは殻を砂で覆って身を隠している。しかし、ホタテは呼吸をする際に、殻を開閉するため、殻縁部（殻の周辺部）の砂が落ち、覆われていない領域ができる（図２）。また、ホタテの殻縁部は安定して白色である。このため、ホタテ領域の近傍を見たとき、殻縁部分は最も明るい領域であると考えられる。しかし、対象画像は照度差が大きく、固定閾値によって抽出するのは困難である。ここでは、これらの特徴を殻縁特徴とし可変閾値を用いることで照度差に対応した殻縁候補点の抽出手法を提案する。
【００２７】
殻縁特徴を定義するにあたり、大きさ（Ｗ’，Ｈ’）で画像Ｉの局所領域Ｉｌｏｃａｌ’を定義する。局所領域Ｉｌｏｃａｌ’が十分に大きく且つ、ホタテの殻縁領域が含まれているとき、図２より、殻縁領域がＩｌｏｃａｌ’を占める割合は小さい。また殻縁領域は白色であるため、局所領域Ｉｌｏｃａｌ’において、もっとも輝度値の高い領域であるといえる。
【００２８】
これらの特徴から以下のように殻縁候補点ＳＲＣを定義する。まず局所領域Ｉｌｏｃａｌ’における輝度値のヒストグラムを求める。このとき殻縁領域は、ヒストグラムの分布の中で輝度値が高く且つ他の領域分布に含まれず、十分に小さい。ここでヒストグラムの平均値Ｌａｖｅ’、標準偏差ＬＳＤ’、局所領域の中央座標（ｘ’０，ｙ’０）、座標（ｘ’０，ｙ’０）に対応する画像Ｉの座標（ｘ，ｙ）、殻縁候補点とする割合ｐとしたとき、座標（ｘ’０，ｙ’０）の殻縁候補点に対する閾値ＴｈＳＲ（ｘ’０，ｙ’０）を、
ＴｈＳＲ（ｘ’０，ｙ’０）＝Ｌａｖｅ’＋λＬＳＤ’ （１）
とする。ただしλは、ヒストグラムの分布が正規分布としたときに、殻縁候補点とする割合ｐにより決定され、正規分布表に従う。この閾値ＴｈＳＲ（ｘ’０，ｙ’０）を画像Ｉ（ｘ，ｙ）に対応する閾値とする。この処理を移動幅ｋ’により画像Ｉ全体に対して行う。このとき、閾値ＴｈＳＲは移動幅ｋ’の間隔が空くため、線形補間法により画像Ｉ全体の閾値ＴｈＳＲを決定する。画像Ｉ（ｘ、ｙ）が
ＴｈＳＲ（ｘ、ｙ）≦Ｉ（ｘ、ｙ） （２）
を満たすとき、殻縁候補点ＳＲＣとする。本明細書においては、局所領域Ｉｌｏｃａｌ’の大きさ（Ｗ’，Ｎ’）＝（６４，６４）、移動幅ｋ’＝１６、殻縁候補点とする割合ｐ＝０．０１とし、λ＝２．３２６で与えられる。
【００２９】
図４を局所領域としたときのヒストグラムを図６に、求められた閾値ＴｈＳＲの結果を図７に、殻縁候補点を抽出した結果を図８に示す。図６（ａ）の対象画像は図４（ａ）で
閾値ＴｈＳＲが２１４の場合を示す。また図６（ｂ）の対象画像は図４（ｂ）で閾値ＴｈＳＲが１４９の場合を示す。図７より、対象画像の照度差に対応しながら、閾値が決定されていることがわかる。また、図８からも、照度差に影響を受けることなく、殻縁候補点が抽出されていることがわかる。
【００３０】
４．２ 形状特徴
ホタテの殻は扇状の形状を有し、殻縁部分にも同様の特徴をみることができる。本稿では、ホタテの殻縁形状を楕円と見なし、楕円検出Ｈｏｕｇｈ変換を用いてモデル化を試みた。Ｈｏｕｇｈ変換とは、候補となる関数のパラメータ空間上に特徴点に従い投票することで検出される［１１］。ノイズに強く、対象の画像に適した手法である。ただし直線の場合２ 次元、楕円の場合５次元のパラメータ空間が必要となる。また、図２より対象となる殻縁の形状は、楕円を構成する特徴点が半分にも満たないことがほとんどである。このため、以下で述べるパラメータ空間に対して投票を行い楕円の検出を行う。ただし、本論文で用いる特徴点は次節で詳述する。
【００３１】
本稿では、楕円の中心座標（ｘ、ｙ）、半長径α、半短径β、長軸の傾きφの５個のパラメータで表し（図９）、楕円に対する関数ｆ（ｘ，ｙ，α，β，φ）を定義する。そして、対象画像の特徴点に対してＨｏｕｇｈ変換により楕円の検出を行う。しかし、対象となる殻縁の形状は、楕円を構成する曲線のうち半分にも満たない。そこで本明細書では、長軸の傾きφ＝０とし４次元のパラメータ空間に投票することで、高速化を図ることとした。また、ホタテは一定範囲の大きさ・形状であるため、楕円パラメータα、βが２２≦α、β≦３６、楕円率β／αが０．８５≦β／αを満たすものとした。
【００３２】
４．３ 殻縁特徴と形状特徴の統合
４．１節と４．２節では、それぞれ殻縁の色特徴と形状特徴を定義した。本節では、これらを統合する手法について述べる。
【００３３】
ホタテ殻の形状は扇状であり、殻縁はその形状に沿った白色の部分である。このため、４．１節で定義した殻縁候補点がホタテ領域のとき、殻の形状に沿って存在しているといえる。
【００３４】
楕円検出Ｈｏｕｇｈ変換によって検出される楕円とパラメータ空間の関係を図１０に示す。ここでＨｏｕｇｈ変換に用いられる半長径α、半短径βのパラメータ空間量子化幅を、それぞれΔα、Δβとする。このとき、対応するパラメータ空間に投票された特徴点は、楕円近傍領域Ｎ上に存在する。ただし領域Ｎは
ｆ（ｘ，ｙ，α−Δα／２，β−Δβ／２）≦Ｎ≦ｆ（ｘ，ｙ，α＋Δα／２，β＋Δβ／２） （３）
とする。パラメータ空間の投票数は、対応するパラメータの楕円近傍領域Ｎに存在する特徴点の数と同値である。一般的にＨｏｕｇｈ変換は、抽出したい物体のエッジ点を特徴点とし、抽出を行う。しかし、ここでは楕円を構成する特徴点を殻縁候補点とし、領域Ｎに含まれる殻縁候補点の面積をＳＳＲとするとき、形状特徴を満たす楕円のうち近傍領域Ｎに含まれる殻縁特徴が
Ｔｈｓｃａｌｌｏｐ≦ＳＳＲ （４）
を満たすとき、ホタテ領域とする。ここでＴｈｓｃａｌｌｏｐは、Ｈｏｕｇｈ変換においてパラメータ空間の投票数から、楕円として検出するか否かに対する閾値であり、且つその楕円近傍に含まれる殻縁候補点の面積ＳＳＲに対する閾値でもある。本稿では、パラメータ空間量子化幅Δα、Δβ＝２、閾値Ｔｈｓｃａｌｌｏｐ＝２０とした。またホタテ領域は、呼吸するために個体同士が重なることがない。このため、複数のホタテ領域が重なるとき、最も殻縁候補点の面積ＳＳＲが大きいものをホタテ領域とした。
【００３５】
５． 実験
５．１ 実験方法
抽出手法は以下のとおりである。
処理１．Ｍｅａｎ−Ｓｈｉｆｔフィルタリングによる平滑化。
処理２．処理１で得られた画像から認識可能領域を抽出。
処理３．処理２で得られた画像から殻縁候補点の抽出。
処理４．処理３で得られた画像からＨｏｕｇｈ変換によるホタテ領域を抽出。
【００３６】
まず、対象画像に対して、Ｍｅａｎ−Ｓｈｉｆｔフィルタリングによる平滑化した後、認識可能領域を抽出し、解析する領域を決定する。得られた画像に対して、殻縁特徴を満たす殻縁候補点を抽出する。最後に、殻縁候補点を特徴点とし、形状特徴を満たす楕円検出Ｈｏｕｇｈ変換により、ホタテ領域を決定する。
【００３７】
５．２ 実験結果
ホタテの抽出結果例を図１１、図１２に示す。殻縁が確認できるホタテ領域を抽出できていることがわかる。
【００３８】
６．考察
砂場という視覚的特徴が少ない環境において、ホタテの殻縁特徴と形状特徴を統合することで良好な結果が得られた。このような環境下でのエッジ点には、ホタテ領域以外の砂や照明による影など含まれることは容易に予想できる。その結果、Ｈｏｕｇｈ変換ではホタテ領域以外の特徴点が投票されることで、正しい領域を抽出することができない。本手法はＨｏｕｇｈ変換ではエッジ点ではなく、殻縁候補点を特徴点とすることで、図１２よりホタテの殻縁部に沿って正しくホタテ領域の抽出ができた。
【００３９】
７．おわりに
海底画像からホタテの数や大きさ、状態を自動的に計測可能なシステムの開発を目的とし、砂場環境の海底画像からホタテ領域を抽出する手法を提案した。対象画像は、砂や撮影環境による照度差を含む非整備環境下で撮影されたものであり、多ノイズを含む。これらの問題を解決するために、Ｍｅａｎ−Ｓｈｉｆｔフィルタリングを用いた平滑化及び認識可能領域を定義し、対応した。ホタテは、砂場環境下ではホタテ全体が砂に覆われており、視覚的特徴が乏しい。本手法は、砂場というホタテが身を隠している環境下において、照度差に対応した動的閾値を導入し得られたホタテの殻縁特徴と形状特徴を統合することで、抽出精度の向上を試みたものである。実画像を用いた抽出実験を通じて、本手法の有効性を検証した。また、自動計測システムの開発にはそれぞれの環境に適した手法を用いる必要があるが、本稿で提案した手法は、砂場以外の環境でも応用が可能なものである。
【００４０】
文献
［１］Food and Agricultural Organization, "The State of World Fisheries and Aquaculture," Food and Agri-cultural Organization, Italy, 2006.
［２］勝川俊、"水産資源の順応的管理に関する研究、"日本水産学会誌、vol. 73, no. ４, pp. 656-659, 2007.
［３］本多直人、渡辺俊広、"水中ビデオカメラを装着した表中層トロール網によるエチゼンクラゲの鉛直分布調査、"日本水産学会誌、vol. 73, no. 6, pp. 1042-1048, 2007．
［４］藤田薫、渡辺俊広、北川大二、"トロール網のグランドロープに対するズワイガニ類の行動、"日本水産学会誌、vol. 72, no. 4, pp. 695-701, 2006．
［５］北海道立網走水産試験場、"ホタテガイ地まき漁場におけるモニタリングマニュアル〜市場ニーズに対応した計画的生産を目指して〜、"北海道立網走水産試験場（オンライン）、http://www.shexp.pref.hokkaido.jp/exp/abashiri/saikin/manyuaru/ｍａｎｙｕａｒｕ.pdf.
［６］K. Enomoto, M. Toda, and Y. Kuwahara, "Scal-lop Detection from Gravel-Seabed Images for Fish-ery Investigation", Proc. 7th IAPR Conf. on Machine Vision Applications（MVA2009）, pp. 479-482, Kana-gawa, The Japan, May 2009.
［７］奥谷喬司（編著）、"日本近海産貝類図鑑、"東海大学出版会、pp.910-911、 2000.
［８］Y. Cheng, "Mean Shift, Mode Seeking, and Clus-tering," Proc. IEEE, vol. 17, no. 8, pp. 790-799,Aug.1995.
［９］D. Comaniciu and P. Meer, \Mean Shift: A RobustApproach Toward Feature Space Analysis," Proc.IEEE, vol. 24, no. 5, pp. 603-619, May 2002.
［１０］C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images," Proc. 6th IEEE Conf. on Conputer Vision, pp. 839-846， Bombay, The India, January 1998．
［１１］R. O. Duda and P. E. Hart, "Use of the Hough Trans-formation to Detect Lines and Curves in Pictures," Comm. ACM, vol. 15, pp. 11-15, Jan.1972.
【００４１】
［具体例］
実施の形態
図１３は、実施の形態に係る画像処理装置１００の内部構成を模式的に示す図である。画像処理装置１００は、前処理部１０、特徴画素抽出部２０、形状特徴抽出部３０、確信度算出部４０、検出対象領域抽出部５０、検出対象測定部６０、記憶部７０、および出力部８０を含む。記憶部７０はさらに、パラメータ記憶部７２と測定結果格納部７４とを含む。
【００４２】
前処理部１０は、検出対象の海洋資源であるホタテを被写体に含む画像を取得し、画像の輝度値の補正や平滑化処理等の前処理を実行する。詳細は後述するが、これは前提技術［３］に記載の手法に基づく。特徴画素抽出部２０は、前処理部１０が処理した画像を二値化して、ホタテの殻縁部を構成するドットを含むドットパターンを取得する。詳細は後述するが、これは前提技術［４．１］に記載の手法に基づく。
【００４３】
形状特徴抽出部３０は、特徴画素抽出部２０が取得したドットパターンにより形成された形状から、検出対象であるホタテの候補を抽出する。これは前提技術［４．２］に記載の手法に基づく。具体的には、特徴画素抽出部２０が取得したドットパターンに対して楕円を検出するためのＨｏｕｇｈ変換を行い、ドットパターンから楕円形状を検出する。図２に例示されるように、検出対象であるホタテの殻縁は略楕円形状である。そこで、Ｈｏｕｇｈ変換によって楕円形状を検出してホタテの候補とする。ここで、Ｈｏｕｇｈ変換に利用する楕円パラメータα、βの上限値である３６や下限値である２２、および楕円率の下限値である０．８５の各種パラメータはパラメータ記憶部７２に記憶されており、形状特徴抽出部３０はパラメータ記憶部７２からこれらのパラメータを取得してＨｏｕｇｈ変換を実行する。ここで示した楕円パラメータα、βの上限値や下限値、楕円率の下限値は一例であり、検出対象や検出に利用する画像の画素ピッチ等をもとに実験により定めればよい。
【００４４】
確信度算出部４０は、形状特徴抽出部３０が検出した検出対象であるホタテの候補の形状によって定まる所定の範囲内に含まれるドットの数を確信度として算出する。ここで「所定の範囲」とは、ホタテの候補の形状を構成するドットが略楕円形状となるか否かを判断するために設けられた基準範囲であり、具体的には前提技術［４．３］の式（３）で示されるドーナツ型の領域Ｎである。確信度算出部４０は、形状特徴抽出部３０が抽出したホタテの候補を構成するドットのうちこの領域Ｎ内に含まれるドットの数、すなわちホタテの殻縁候補点の面積ＳＳＲを確信度として算出する。
【００４５】
確信度が大きい候補は、確信度が小さい候補と比較してホタテの殻縁の形状を構成する画素が多いため、ホタテである蓋然性が高いと考えられる。ここで領域Ｎのように確信度の算出のために所定の範囲を設けることにより、例えばモデルとした楕円形状からの実際のホタテ貝の殻縁形状のずれや、ノイズの影響による殻縁形状の変動等を吸収しうる点で有利である。殻縁形状の多少の歪みは、その形状を構成するドットが領域Ｎにとどまっていれば確信度に反映されるからである。なお、式（３）中のパラメータ空間量子化幅ΔαおよびΔβはパラメータ記憶部７２に格納されており、確信度算出部４０はパラメータ記憶部７２からこれらのパラメータを取得して用いる。
【００４６】
ΔαおよびΔβの値は検出対象や検出に利用する画像をもとに実験により定めればよく、一例としてはΔα＝Δβ＝２である。ΔαやΔβの値を大きくすると領域Ｎの面積が拡大するため、楕円形状から外れた殻縁形状を持ったホタテも検出できるようになる。一方、ΔαやΔβの値を小さくすると領域Ｎの面積が縮小するため、楕円形状モデルへの当て嵌めの基準が厳しくなり、誤検出を抑制することができるようになる。
【００４７】
検出対象領域抽出部５０は、確信度算出部４０が算出した確信度が所定の閾値以上となる形状を識別して計数する。ここで「所定の閾値」とは前提技術［４．３］中のＴｈｓｃａｌｌｏｐであり、Ｈｏｕｇｈ変換においてパラメータ空間の投票数から楕円として検出するか否かを判別するための基準値であるとともに、その楕円近傍である領域Ｎ内に含まれる殻縁候補点の面積ＳＳＲに対する基準値でもある。
【００４８】
検出対象測定部６０は、検出対象領域抽出部５０が識別した楕円の大きさの分布を算出する。パラメータ記憶部７２には検出対象の海洋資源であるホタテを被写体に含む画像の画素ピッチも格納されており、検出対象測定部はパラメータ記憶部７２から取得した画素ピッチと検出対象領域抽出部５０が識別した楕円の長軸の画像状における長さとから、当該楕円の実際の長さを算出する。楕円の大きさはホタテ貝の大きさに対応するため、ホタテ貝の発育度を測る際に有用な情報となる。そこで検出対象測定部６０は、算出した楕円の大きさの分布を出力部８０に出力する。ここで出力部８０は、各種情報を画像処理装置１００のユーザに提示するためのインタフェースであり、各種情報を文字や表、あるいは画像にまとめる機能を持つ。出力部８０の出力先の例としてはモニタが挙げられる。あるいは、情報を印刷するプリンタに出力してもよいし、画像処理装置１００の設置されている場所から離れた場所に存在するモニタや携帯端末機に、送信機器（図示せず）を介して情報を送信してもよい。いずれにしても、画像処理装置１００のユーザがホタテ貝の大きさを俯瞰しうる点で有利である。
【００４９】
ところで、漁場においてホタテを飼育する際、１平方メートルあたり４個体以下が適正であるといわれている。そこで検出対象測定部６０は、検出対象領域抽出部５０が識別した楕円が、１平方メートルあたりに何個存在するかをカウントし、漁場におけるホタテの密度を算出する。
【００５０】
図１４は、実施の形態に係る前処理部１０の内部構成を模式的に示す図である。前処理部１０は、平滑化部１２、認識可能領域抽出部１４、および周辺領域除去部１６を含む。
【００５１】
平滑化部１２は、検出対象を被写体に含む画像のエッジ情報を残したまま平滑化する。これは前提技術［３．１］に記載のＭｅａｎ−Ｓｈｉｆｔフィルタリングを用いて実現できる。Ｍｅａｎ−Ｓｈｉｆｔフィルタリングに用いる色情報ｒと空間情報ｓに対するカーネル幅（ｈｒ，ｈｓ）の値はパラメータ記憶部７２に記憶されており、平滑化部１２はパラメータ記憶部７２からカーネル幅を取得してＭｅａｎ−Ｓｈｉｆｔフィルタリングを実行する。カーネル幅（ｈｒ，ｈｓ）の値は検出対象や検出に利用する画像の画素ピッチ等をもとに実験により定めればよく、例えば（ｈｒ，ｈｓ）＝（２０，１５）である。
【００５２】
認識可能領域抽出部１４は、平滑化部１２が出力した画像を取得し、その画像中で検出対象であるホタテを検出することが可能な程度に照度が得られている領域を抽出する。これは前提技術［３．２］に記載の手法に基づく。ここで認識可能領域を抽出するために必要な局所領域Ｉｌｏｃａｌの大きさ（Ｗ，Ｈ）や、輝度値の閾値ＴｈＬ、および移動幅ｋ等の各種パラメータはパラメータ記憶部７２に記憶されており、認識可能領域抽出部１４はパラメータ記憶部７２からこれらのパラメータを取得して認識可能領域の抽出を実行する。これらのパラメータの値は検出対象や検出に利用する画像の画素ピッチ等をもとに実験により定めればよい。
【００５３】
周辺領域除去部１６は、認識可能領域抽出部１４が出力した画像を取得し、その画像中の周辺部の領域を削除する。これは前提技術［３．２］に記載の手法に基づく。図３に示すように検出対象を被写体に含む画像のフレームの位置が安定している場合には、その画像の周辺部を認識可能領域ではないとして除去することができる。これは検出にかかる時間を短縮しうる点で有利である。除去する領域の大きさは検出対象や検出に利用する画像をもとに実験により定めればよいが、一例としては、画像の長辺の画素数の５％を、いわば「のりしろ」のような形で除去すればよい。
【００５４】
図１５は、実施の形態に係る特徴画素抽出部２０の内部構成を模式的に示す図である。特徴画素抽出部２０は、基準閾値算出部２２、閾値補間部２４、および二値化部２６を含む。
【００５５】
基準閾値算出部２２は、検出対象が撮像された画像を所定の大きさの複数の局所領域に分割し、各局所領域内の画素の統計量をもとに各局所領域における二値化のための基準閾値を算出する。ここで「所定の大きさの局所領域」とは、画像の全体ではなく画像の局所的な輝度情報の統計量を用いて適応的に閾値処理するために設けられた、局所的な閾値を決定するための基準領域であり、前提技術［４．１］に記載の手法に基づいて定める。より具体的には、基準閾値算出部２２は、各局所領域における二値化のための基準閾値を前提技術［４．１］中の式（１）を用いて算出する。
【００５６】
基準閾値算出部２２は、移動幅ｋ’で表される間隔をあけて各局所領域を設定する。したがって、局所領域が設定されない領域については基準閾値が算出されない。そこで閾値補間部２４は、基準閾値算出部２２が算出した離散的な基準閾値をもとに局所領域が設定されない領域についての閾値を補間計算によって求める。これは前提技術［４．１］に記載の線形補間法を用いてもよいし、スプライン補間等、既知の補間アルゴリズムを用いてもよい。なお、移動幅ｋ’が１ピクセルとして設定された場合、隣り合う局所領域間に間隔は開かず、画像中に局所領域は密に設定されることになる。この場合、閾値補間部２４は補間処理を省略しうる。
【００５７】
局所閾値を求めるために使用する各種パラメータはパラメータ記憶部７２に記憶されており、基準閾値算出部２２および閾値補間部２４はパラメータ記憶部７２からこれらのパラメータを取得して基準閾値の算出や閾値の補間計算を実行する。これらのパラメータの値は、検出対象や検出に利用する画像をもとに実験により定めればよい。
【００５８】
二値化部２６は、周辺領域除去部１６が出力した画像に対して、基準閾値算出部２２または閾値補間部２４が算出した閾値をもとに閾値処理を実行して二値化画像を生成する。これは前提技術［４．１］中の式（２）に基づいて実行される。このように、画像の全体ではなく画像の局所的な輝度情報から導出した統計量を用いて閾値処理を実行することにより、検出対象画像の局所的な照度差に対応した閾値を決定しうる点で有利である。
【００５９】
画像処理装置１００にはキーボードやマウス等の図示しないユーザインタフェースが備わっており、このユーザインタフェースを介してユーザはパラメータ記憶部７２に格納されている各種パラメータを変更することができる。
【００６０】
図１６は、実施の形態に係る画像処理装置１００における処理手順を示すフローチャートである。本フローチャートにおける処理は、画像処理装置１００が検出対象の画像を取得したときに開始する。
【００６１】
平滑化分１２は、検出対象を被写体に含む画像を平滑化する（Ｓ２）。認識可能領域抽出部１４は、平滑化部１２が出力した画像を取得から認識可能領域を抽出する（Ｓ４）。周辺領域除去部１６は、認識可能領域抽出部１４が出力した画像の周辺部の領域を削除する（Ｓ６）。基準閾値算出部２２は、検出対象が撮像された画像に設定された局所領域それぞれについて二値化のための基準閾値を算出する（Ｓ８）。閾値補間部２４は、基準閾値算出部２２が算出した基準閾値をもとに局所領域が設定されない領域についての閾値を補間計算によって求める（Ｓ１０）。二値化部２６は、周辺領域除去部１６が出力した画像に対して閾値処理を実行して二値化画像を生成する（Ｓ１２）。
【００６２】
形状特徴抽出部３０は、二値化部２６が生成した二値化画像から検出対象であるホタテの候補を抽出する（Ｓ１４）。確信度算出部４０は、形状特徴抽出部３０が検出した検出対象であるホタテの候補の確信度を算出する（Ｓ１６）。検出対象領域抽出部５０は、確信度算出部４０が算出した確信度が所定の閾値以上となる形状を抽出する（Ｓ１８）。検出対象測定部６０は、検出対象領域抽出部５０が識別した楕円の大きさの分布を算出して出力部８０に出力する（Ｓ２０）。検出対象測定部６０が楕円の大きさの分布を算出して出力部８０に出力すると、本フローチャートにおける処理は終了する。
【００６３】
以上、検出対象を被写体に含む、あるひとつの画像から検出対象であるホタテを抽出する方法について説明した。前提技術［１］に記載したように、漁獲面積は例えば５０ｋｍ２の程度の広さである。一方、検出対象を被写体に含む画像は１ｍ２から２ｍ２の程度の海底の小領域が撮像された画像である。そこで画像処理装置１００は、漁場中の異なる小領域で撮像された複数の画像を順次取得して検出対象の抽出を行ってその結果をまとめることにより、より広範囲な漁場の状況を俯瞰するための情報を作成する。以下、このことについて説明する。
【００６４】
測定結果格納部７４は、複数の検出対象画像それぞれについて検出対象測定部６０が算出した楕円の位置および大きさの分布を測定結果格納部７４に格納する。これにより、測定結果格納部７４には、漁場におけるホタテの大きさの分布と、ホタテの生息密度の分布とのデータベースが構築される。
【００６５】
図１７は、測定結果格納部７４のデータベースの構成を模式的に示す図である。図１７に示すように、検出対象の各画像にはそれぞれ固有の画像ＩＤ（Identification）が割り当てられている。データベースには、画像が撮像された位置の緯度および経度が各画像に対応づけられて格納されている。緯度および経度の情報は、例えばＧＰＳ（Global Positioning System）を用いて取得できる。なお、検出対象を被写体に含む画像が１ｍ２から２ｍ２の程度の小領域を撮像した画像である場合、緯度および経度における秒は、小数点以下第二位まで測定するのが望ましい。
【００６６】
測定結果格納部７４のデータベースには、各画像において検出されたホタテが、そのサイズ毎に計数された結果も格納される。ここでホタテのサイズとは、計測した楕円の長軸に対応するホタテの殻長である。図１７に示す例では、小さい順にサイズＡからサイズＤまでの４種類のサイズに分類する場合を示すが、分類の種類は４種類に限らず適宜定めればよい。データベースにはさらに、取得した画像全体をとおして集計した、サイズ毎に計数したホタテの数も格納される。
【００６７】
図１８（ａ）は、出力部８０が測定結果格納部７４のデータベースを参照して画像化した、漁場内でのホタテの密度分布の一例を示した図であり、図中の数字は１平方メートルあたりの個体数を表す。出力部８０は測定結果格納部７４のデータベースから各画像に含まれるホタテの合計を取得する。例えばその数が４体であり、画像の撮像面積は１ｍ２であるとすれば、その画像におけるホタテの生息密度は４体／ｍ２である。出力部８０は各画像の撮像位置をもとに漁場中の密度分布を、密度の違いを識別可能な態様で出力する。例えば密度によって異なる色を振り分けてカラー画像を生成すれば、密度分布を密度の違いを識別可能な画像が生成できる。あるいは、密度によって異なる濃度を振り分けてグレースケール画像を生成してもよい。または、地図における等高線に類する表現を用いてもよい。これによりユーザは、漁場中の広範囲についてホタテの生息密度が俯瞰できるため、ホタテの栽培状況の把握が容易となる点で有利である。
【００６８】
図１８（ｂ）は、出力部８０が測定結果格納部７４のデータベースを参照して画像化した、漁場内でのホタテの殻長分布の一例を示した図であり、図中の数字はホタテの拡張をミリメートル単位で表したものである。出力部８０は測定結果格納部７４のデータベースから各画像に含まれるホタテの個体数をサイズ毎に取得する。出力部８０は各画像の撮像位置をもとに漁場中の殻長分布を、殻長の違いを識別可能な態様で出力する。密度分布の場合と同様に、例えば殻長によって異なる色を振り分けてカラー画像を生成すれよい。これによりユーザは、漁場中の広範囲についてホタテの殻長分布が俯瞰でき、ホタテの収穫計画を立てる際の有用な情報となる。
【００６９】
図１３、図１４、図１５および図１７に示す画像処理装置１００およびその内部の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩ（Large Scale Integration）で実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００７０】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７１】
上記の例では、Ｈｏｕｇｈ変換を利用して画像中から楕円形状を検出する場合について説明したが、画像中から楕円形状を検出するのはＨｏｕｇｈ変換以外の既知の検出技術を利用してもよい。例えば、少なくとも楕円の一部を含むパターンを用いたテンプレートマッチングを用いてもよい。あるいは、ホタテ領域であることが既知である画像群と、ホタテが写っていないことが既知である画像群とを教師データとして機械学習手法を用いても実現できる。機械学習手法としては、例えばＳＶＭ（Support Vector Machine）やブースティング（Boosting）等が挙げられる。適切な教師データを取得して学習することにより、検出能力を向上しうる点で有利である。
【符号の説明】
【００７２】
１０ 前処理部、 １２ 平滑化部、 １４ 認識可能領域抽出部、 １６ 周辺領域除去部、 ２０ 特徴画素抽出部、 ２２ 基準閾値算出部、 ２４ 閾値補間部、 ２６ 二値化部、 ３０ 形状特徴抽出部、 ４０ 確信度算出部、 ５０ 検出対象領域抽出部、 ６０ 検出対象測定部、 ７０ 記憶部、 ７２ パラメータ記憶部、 ７４ 測定結果格納部、 ８０ 出力部、 １００ 画像処理装置。
【特許請求の範囲】
【請求項１】
検出対象を被写体に含む画像を二値化してドットパターンを取得する特徴画素抽出部と、
前記ドットパターンにより形成された形状をもとに前記検出対象の候補を抽出する形状特徴抽出部と、
前記検出対象の候補の形状によって定まる所定の範囲内に含まれる、当該候補の形状を構成するドットの数を確信度として算出する確信度算出部と、
前記確信度が所定の閾値以上となる形状を識別して計数する検出対象領域抽出部とを含むことを特徴とする画像処理装置。
【請求項２】
前記検出対象はホタテ貝であり、
前記形状特徴抽出部は、前記ドットパターンにより形成された楕円形状を前記検出対象の候補として抽出するものであり、
本画像処理装置は、前記検出対象領域抽出部が識別した楕円の大きさの分布を算出する検出対象測定部をさらに含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出対象が撮像された画像を所定の大きさの複数の局所領域に分割し、各局所領域内の画素の統計量をもとに各局所領域における二値化の基準閾値を算出する基準閾値算出部をさらに含むことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
検出対象を被写体に含む画像を二値化してドットパターンを取得する機能と、
前記ドットパターンにより形成された形状をもとに前記検出対象の候補を抽出する機能と、
前記検出対象の候補の形状によって定まる所定の範囲内に含まれる、当該候補の形状を構成するドットの数を確信度として算出する機能と、
前記確信度が所定の閾値以上となる形状を識別して計数する機能とをコンピュータに実現させることを特徴とするプログラム。
【請求項５】
検出対象であるホタテ貝を栽培する漁場を複数の小領域毎に撮像して得られた複数の画像それぞれに含まれるホタテ貝の存在位置を検出する検出対象領域抽出部と、
前記複数の画像それぞれに含まれるホタテ貝の大きさを測定する検出対象測定部と、
前記漁場内におけるホタテ貝の密度分布とホタテ貝の大きさの分布との少なくとも一方を、密度または大きさの違いを識別可能な態様で出力する出力部とを含むことを特徴とする画像処理装置。
【請求項６】
検出対象であるホタテ貝を栽培する漁場を複数の小領域毎に撮像して得られた複数の画像それぞれに含まれるホタテ貝の存在位置およびホタテ貝の大きさを検出し、前記漁場内におけるホタテ貝の密度分布とホタテ貝の大きさの分布との少なくとも一方を、密度または大きさの違いを識別可能な態様で出力することをコンピュータに実現させることを特徴とするプログラム。
【請求項１】
検出対象を被写体に含む画像を二値化してドットパターンを取得する特徴画素抽出部と、
前記ドットパターンにより形成された形状をもとに前記検出対象の候補を抽出する形状特徴抽出部と、
前記検出対象の候補の形状によって定まる所定の範囲内に含まれる、当該候補の形状を構成するドットの数を確信度として算出する確信度算出部と、
前記確信度が所定の閾値以上となる形状を識別して計数する検出対象領域抽出部とを含むことを特徴とする画像処理装置。
【請求項２】
前記検出対象はホタテ貝であり、
前記形状特徴抽出部は、前記ドットパターンにより形成された楕円形状を前記検出対象の候補として抽出するものであり、
本画像処理装置は、前記検出対象領域抽出部が識別した楕円の大きさの分布を算出する検出対象測定部をさらに含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出対象が撮像された画像を所定の大きさの複数の局所領域に分割し、各局所領域内の画素の統計量をもとに各局所領域における二値化の基準閾値を算出する基準閾値算出部をさらに含むことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
検出対象を被写体に含む画像を二値化してドットパターンを取得する機能と、
前記ドットパターンにより形成された形状をもとに前記検出対象の候補を抽出する機能と、
前記検出対象の候補の形状によって定まる所定の範囲内に含まれる、当該候補の形状を構成するドットの数を確信度として算出する機能と、
前記確信度が所定の閾値以上となる形状を識別して計数する機能とをコンピュータに実現させることを特徴とするプログラム。
【請求項５】
検出対象であるホタテ貝を栽培する漁場を複数の小領域毎に撮像して得られた複数の画像それぞれに含まれるホタテ貝の存在位置を検出する検出対象領域抽出部と、
前記複数の画像それぞれに含まれるホタテ貝の大きさを測定する検出対象測定部と、
前記漁場内におけるホタテ貝の密度分布とホタテ貝の大きさの分布との少なくとも一方を、密度または大きさの違いを識別可能な態様で出力する出力部とを含むことを特徴とする画像処理装置。
【請求項６】
検出対象であるホタテ貝を栽培する漁場を複数の小領域毎に撮像して得られた複数の画像それぞれに含まれるホタテ貝の存在位置およびホタテ貝の大きさを検出し、前記漁場内におけるホタテ貝の密度分布とホタテ貝の大きさの分布との少なくとも一方を、密度または大きさの違いを識別可能な態様で出力することをコンピュータに実現させることを特徴とするプログラム。
【図６】
【図９】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図９】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１１３４３６（Ｐ２０１２−１１３４３６Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６０４５０（Ｐ２０１０−２６０４５０）
【出願日】平成２２年１１月２２日（２０１０．１１．２２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ＭＩＲＵ２０１０第１３回 画像の認識・理解シンポジウム論文集
【出願人】（５０８２３６２４０）公立大学法人公立はこだて未来大学 (16)
【出願人】（３１００１０５７５）地方独立行政法人北海道立総合研究機構 (51)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２２日（２０１０．１１．２２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ＭＩＲＵ２０１０第１３回 画像の認識・理解シンポジウム論文集
【出願人】（５０８２３６２４０）公立大学法人公立はこだて未来大学 (16)
【出願人】（３１００１０５７５）地方独立行政法人北海道立総合研究機構 (51)
【Ｆターム（参考）】
[ Back to top ]