物体識別装置
【課題】 パン同士が部分的に互いに接触していても、画像認識により各物体の種類を識別するにあたり、物体毎の領域に自動的に分離処理し得る物体識別装置を提供する。
【解決手段】 2以上のパンが接触した状態のカラー画像を二値化処理して2以上のパンの二値化画像を切り出し、抽出した輪郭線を多角形近似により近似多角形の各頂点P1〜P33の座標を得る。各頂点(P12)について前後の頂点(P11−9,P13−14)との位置関係に基づき屈曲状況を表すくびれベクトル(KH)を求める。一対の境界点候補を結ぶ境界線候補の長さL、境界線候補と各くびれベクトルとのなす角度θ、境界線候補を直径とする円形領域(E12−27)が全体画像領域と重複する領域占有率、くびれベクトルの深さDに基づいて境界線を確定する。境界線で領域分けして分離する。
【解決手段】 2以上のパンが接触した状態のカラー画像を二値化処理して2以上のパンの二値化画像を切り出し、抽出した輪郭線を多角形近似により近似多角形の各頂点P1〜P33の座標を得る。各頂点(P12)について前後の頂点(P11−9,P13−14)との位置関係に基づき屈曲状況を表すくびれベクトル(KH)を求める。一対の境界点候補を結ぶ境界線候補の長さL、境界線候補と各くびれベクトルとのなす角度θ、境界線候補を直径とする円形領域(E12−27)が全体画像領域と重複する領域占有率、くびれベクトルの深さDに基づいて境界線を確定する。境界線で領域分けして分離する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像された例えばパン等の物体を識別するための物体識別装置に関し、特に同一画像内に複数の物体が接触した状態にある場合に個々の物体毎に識別するために自動的に各物体に分離処理し得る技術に係る。
【背景技術】
【0002】
従来、例えば特許文献1では、画像情報に含まれる物体を識別するために、その物体の輪郭線を得る技術が提案されている。
又、特許文献2では、画像情報に含まれる輪郭等の形状特徴を抽出して、これに類似するモデルとの対比により識別する技術が提案されている。
さらに、特許文献3では、画像情報に含まれる錠剤の個数を検出する上で、2個の錠剤が部分的に接触していたとしても、正確に2個と識別する技術が提案されている。このものでは、互いに接触して塊領域を示す二値画像の内側の輪郭線に沿って配置させた多数の点の内から選択した2点を結ぶ連結線が、一部でも前記塊領域の領域外を通る場合はその2点はそれぞれ異なる錠剤に属する、つまり2個の錠剤があると識別するようにしている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平7−22089号公報
【特許文献2】特開2000−215315号公報
【特許文献3】特開2006−234519号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、近年、自家製のパンを販売するパン屋が増加傾向にあり、そのようなパン屋で製造・販売されるパンの種類も増加傾向にある。このようなパン屋では顧客が自己の欲するパンを陳列台からトレーに移し、トレーに載せた状態で代金計算が行われており、それに手間と時間を要している。すなわち、パンの種類は多種・多様であり、同一種類であっても外観が完全に同一とは限らない。従って、販売員は、トレー上のパンの種類を正確に見分け、それに基づいて例えばPOSレジスタに正確に入力する必要があり、これらに熟練作業が要求されることになる。このため、出願人において、トレー上のパンについてCCDカメラにより撮像し、この画像情報からトレー上のパンの種類と数を自動的に認識して、代金計算を自動化し得る技術の開発を進めている。
【0005】
このようなパンの識別において、顧客が陳列台からトレーに複数個のパンを載せる際に、それらの個々のパンを互いに接触させた状態でトレーを代金計算に持参する場合が考えられる。この場合、前記の画像情報からの自動認識を適用しようとしても、例えば2個のパンが接触して1つの輪郭を構成していると、たとえその輪郭から特徴量を得たとしても、本来は個々の種類のパンの特徴量についてモデル化されたものと合致せず、識別は困難又は不能となることが考えられる。このため、撮像前に販売員がトレー上のパンを互いに非接触状態になるように移動する作業を行わざるを得ず、その上に、衛生状態を維持しつつ前記移動作業とPOSレジスタの操作とを行わざるを得ず、手間を要することになると考えられる。
【0006】
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、物体同士が部分的に互いに接触した状態で撮像されているとしても、その画像に基づいて各物体を識別するにあたり、個々の物体に自動的に分離処理して区分し得る物体識別装置を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明では、同一平面上に載置された2以上の物体について撮像手段により撮像されたカラー画像を取り込み、このカラー画像を画像認識することにより前記物体の種類を識別する画像処理手段を備えた物体識別装置を対象にして次の特定事項を備えることとした。すなわち、前記画像処理手段として、前記カラー画像に含まれる2以上の物体が互いに接触した状態にあるときに個々の物体に属する領域に分離して区分けする分離処理部を備えたものとし、この分離処理部により分離された個々の物体に属する領域毎に前記物体の種類についての識別処理を実行するように構成する。そして、前記分離処理部として、前記カラー画像から前記2以上の物体の画像領域を二値化処理により抽出する機能と、抽出された二値化画像から前記2以上の物体の画像領域の輪郭線を抽出する機能と、抽出された輪郭線に沿って多角形近似処理によりその近似多角形を構成する各頂点を抽出する機能と、各頂点について前後に位置する頂点との関係で特定される屈曲状況をくびれベクトルにして求める機能と、境界点候補として一対の頂点を抽出しこの一対の境界点候補間を結ぶ境界線候補の長さ及びその境界線候補に対する前記一対の境界点候補のそれぞれにおける前記くびれベクトルがなす角度をパラメータとして演算する機能と、演算された境界線候補の長さがより短くかつ前記くびれベクトルがなす角度が180度により近い一対の境界点候補の組み合わせを一対の境界点として設定して境界線を確定する機能と、前記2以上の物体の画像領域を前記一対の境界点を結ぶ境界線で分離して領域分けする機能とを備えた構成とする(請求項1)。
【0008】
本発明の場合、2以上の物体が互いに接触した状態で撮像されていても、分離処理部によって、それら2以上の物体の画像領域の輪郭線抽出、その輪郭線に沿って多角形近似により得られる各頂点の抽出、抽出された各頂点についてくびれベクトルの演算を経た上で、境界点候補がくびれベクトルに基づいて抽出され、一対の境界点候補を結ぶ境界線候補からその長さや、境界線候補とくびれベクトルとのなす角度に基づいて境界線が確定される。そして、確定された境界線で2以上の物体が一体となった画像領域が領域分けされるため、領域分けされた個々の物体に対応する画像領域に基づき各物体の種類が確実に識別されることになる。従って、例えばパンを対象物体として画像識別により代金計算等を自動的に行うシステムを構築するにあたり、顧客が例えばトレー上に選択した複数のパン(物体)を撮像前に販売員がトレー上のパンを互いに非接触状態になるように移動する作業を行うことなく、衛生状態を維持した状態で、自動的に接触状態の複数のパンを個々のパンに属するそれぞれの領域に分離(区分け)した上で各パンの種類を画像識別により自動認識することができるようになる。これにより、パン屋等の小売り業において、大幅な省力化や自動化を図ることができるようになる。なお、前記の識別処理としては個々の物体に属するものとして領域分けされた画像領域に対応するカラー画像部分の形状に関する特徴量に基づき各物体の種類を識別するようにすればよい。
【0009】
前記発明の物体識別装置において、前記境界線を確定する機能として、境界点判定処理により境界点候補として一対の頂点を抽出する機能と、抽出された境界点候補に基づいて境界線確定処理により境界線を確定する機能とを備えることとし、前記境界点判定処理として、一対の頂点を構成する各くびれベクトルのベクトル量により表されるくびれ深さが所定の閾値以上であることで境界点候補を抽出する構成とすることができる(請求項2)。このようにすることにより、境界点候補の抽出、及び、この境界点候補の抽出による境界線の確定を、より確実に実現させ得ることになる。
【0010】
又、その場合、前記境界線確定処理として、前記境界線候補の長さ及び前記くびれベクトルがなす角度をパラメータとして境界線スコアを演算する演算式を備えることとし、この境界線スコアの値の大小に基づいて境界線を確定する構成とすることができる(請求項3)。このようにすることにより、境界線の確定をより確実なものとし得ることになる。
【0011】
さらに、前記演算式として、前記境界線候補を直径とする円形領域が前記2以上の物体の画像領域と重複する比率である領域占有率をもパラメータに加えて境界線スコアを演算するように構成することができる(請求項4)。あるいは、加えて、前記演算式として、前記くびれベクトルのくびれ深さをもパラメータに加えて境界線スコアを演算するように構成することができる(請求項5)。このようにすることにより、前記演算式に基づく境界線の確定がより一層確実なものとし得ることになる。
【発明の効果】
【0012】
以上、説明したように、本発明の物体識別装置によれば、2以上の物体が互いに接触した状態で撮像されていても、分離処理部によって、2以上の物体の画像領域において互いに接触している境界線を自動的に確定することができるようになる。そして、この確定された境界線で2以上の物体が一体となった画像領域を領域分けすることができるため、領域分けされた個々の物体に対応する画像領域に基づき各物体の種類を確実に識別することができるようになる。従って、例えばパンを対象物体として画像識別により代金計算等を自動的に行うシステムを構築するにあたり、顧客が例えばトレー上に選択した複数のパン(物体)を撮像前に販売員がトレー上のパンを互いに非接触状態になるように移動する作業を行うことなく、衛生状態を維持した状態で、自動的に個々のパンに分離(区分け)した上で各パンの種類を画像識別により自動認識することができるようになる。これにより、パン屋等の小売り業において、大幅な省力化や自動化を図ることができるようになる。
【0013】
特に、請求項2によれば、前記境界線を確定する機能として、境界点判定処理により境界点候補として一対の頂点を抽出する機能と、抽出された境界点候補に基づいて境界線確定処理により境界線を確定する機能とを備え、前記境界点判定処理として、一対の頂点を構成する各くびれベクトルのベクトル量により表されるくびれ深さが所定の閾値以上であることで境界点候補を抽出する構成とすることで、境界点候補の抽出、及び、この境界点候補の抽出による境界線の確定を、より確実に実現させることができるようになる。
【0014】
又、請求項3によれば、前記境界線確定処理として、前記境界線候補の長さ及び前記くびれベクトルがなす角度をパラメータとして境界線スコアを演算する演算式を備え、この境界線スコアの値の大小に基づいて境界線を確定する構成とすることで、境界線の確定をより確実なものとすることができるようになる。
【0015】
さらに、請求項4によれば、前記演算式として、前記境界線候補を直径とする円形領域が前記2以上の物体の画像領域と重複する比率である領域占有率をもパラメータに加えて境界線スコアを演算するように構成することで、あるいは、請求項5によれば、前記演算式として、前記くびれベクトルのくびれ深さをもパラメータにさらに加えて境界線スコアを演算するように構成することで、前記演算式に基づく境界線の確定をより一層確実なものとすることができるようになる。
【図面の簡単な説明】
【0016】
【図1】本発明の物体識別装置の実施形態を示す模式図である。
【図2】図1の物体識別装置を構成する画像処理装置を示すブロック図である。
【図3】画像処理の例を示すフローチャートである。
【図4】図3の画像処理に含まれる分離処理の例を示すフローチャートである。
【図5】図5(a)はトレー上に部分的に互いに接触した状態で載せられた2つの物体(パン)のカラー画像の例を示す平面図であり、図5(b)はそのカラー画像から二値化処理により得られた2つの物体(パン)を含む二値画像を示す平面図である。
【図6】図6(a)は図5(b)の二値画像から抽出した輪郭線を示す平面図であり、図6(b)は図6(a)の輪郭線から多角形近似処理により得られた多角形と各頂点を示す平面図である。
【図7】図6(b)の各頂点についてくびれベクトルを得るために検索範囲にある頂点を抽出する第1処理を説明するための平面説明図である。
【図8】第1処理により抽出された頂点によりくびれ方向ベクトルを得る第2処理を説明するための図7対応図である。
【図9】第2処理により得られたくびれ方向ベクトルからくびれベクトルを得る第3処理と、その後の境界点候補を抽出する第4処理とを説明するための図7対応図である。
【図10】第4処理により得られた境界点候補から境界線を確定する第5処理を説明するための図7対応図である。
【図11】第5処理により得られる境界線について最終確定させるための確認的条件を説明するための図7対応図である。
【図12】多数個の物体(パン)間における部分的接触を分離処理するための順序について例示する説明図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態を図面に基づいて説明する。
【0018】
図1は、本発明の実施形態に係る物体識別装置を示す。符号2は撮像手段であり、例えばCCDカメラにより構成され、トレー3上に載せられた物体(例えばパン;以下、本実施形態の物体はパンとして説明する)4を光源5からの照明下で真上から撮像するようになっている。物体4としては任意数のパンであり、本実施形態では説明の都合上2個のパン4a,4bが部分的に接触した状態でトレー3上に載せられているものとして、以下説明する。又、6は画像処理装置であり、7は画像処理装置6と通信接続された例えばPOSレジスタである。前記の画像処理装置6は、例えば、CPU,ROM,RAM,ハードディスク,通信インターフェースや、適宜の入力部・表示部を備えたパーソナルコンピュータにより構成されている。そして、前記ハードディスクには、オペレーティングシステムと、本実施形態による画像処理を実行するためのプログラムがインストールされており、以下説明する画像処理が実行可能となっている。前記の入力部としては例えばマウスやキーボード等、前記の表示部としては例えば液晶パネル等のディスプレイでもよいが、前記ディスプレイと、タッチパッド等の位置入力装置とを組み合わせたタッチパネル61を採用するようにしてもよい。POSレジスタ7は画像処理装置6からパン4a,4bの種類と個数との識別情報を受けて、合計代金等の表示や、販売管理・売上実績管理等の演算・入出力を実行するようになっている。POSとは、販売時点情報管理(Point of sale system)の略称である。なお、前記のトレー3として、半透明の透過素材の材料により形成されたものを用い、背後(裏面側)に設置したバックライト光源8からのバックライトを照射した状態で撮像するようにしてもよい。これにより、パン4a,4bの周囲に形成されることのある影を可及的に排除し得るようになる。
【0019】
前記画像処理装置6は、図2に示すように、撮像されてCCDカメラ2から取り込まれた画像(カラーデジタル画像)を記憶する画像記憶部62と、2個のパン4a,4bが部分的に接触して塊状になった状態で撮像された画像から個々のパン4a,4bに分離する、すなわち個々のパン4a,4bの境界線を確定して区分けする分離処理部63と、互いに分離された個々のパン4a,4b毎の種類を前記画像に基づいて識別する識別処理部64とを備えている。さらに、前記画像処理装置6は、前記識別処理部64による識別のために、パンの種類毎にモデル化された特徴量を組み合わせたテンプレート情報等が予め記憶登録されたマスタデータ記憶部65と、このマスタデータ記憶部65の登録情報を参照して識別処理部64により識別処理を実行する際に取得される新たな特徴量等について学習処理し、マスタデータ記憶部65の登録内容を更新する学習処理部66とを備えている。そして、識別処理部64による識別結果(パンの種類と個数)をPOSレジスタ7に出力するようになっている。以上の画像記憶部62、分離処理部63、識別処理部64及び学習処理部66等の各処理は前記の如く所定のプログラムにより実行されるようになっており、画像処理装置6はかかる各処理を実行する機能を備えたものとして構成されている。
【0020】
前記の画像処理装置6により実行される処理について図3を参照しつつ簡単に説明すると、次のようになる。すなわち、まず、例えばタッチパネル61から画像取り込み指令を入力操作することでCCDカメラ2により撮像された画像を取り込んで画像記憶部62に記録する(ステップS1)。この画像WIの例を図5(a)に示す。この例では各1個の2種類のパン4a,4bが部分的に互いに接触した状態になっている。次に、記録された画像に基づいてパン4a,4bの境界線を確定して各パン4a,4bに属する領域を区分けする分離処理を実行した上で(ステップS2)、各パン4a,4bの種類を識別処理し(ステップS3)、識別結果をタッチパネル61及び/又はPOSレジスタ7等に出力する(ステップS4)。
【0021】
次に、前記の分離処理(ステップS2)について、図4を参照しつつ詳細に説明する。画像記憶部62に記録された画像(初期画像;カラーデジタル画像)WIはトレー3上にパン4a,4bが載置された状態で撮像されたものであるので、まず、背景分離処理(ステップS11)及び二値化処理(ステップS12)を実行することで、背景であるトレー3の部分を分離してパン4a,4bの部分のみを切り出し、図5(b)に例示するようにパン4a,4bが互いに連続して塊状になった二値画像BIを得る。前記の二値化処理によって、背景のトレー3とパン4a,4bとの彩度差に応じて初期画像に表れる各画素の濃淡情報が所定の閾値で1と0とに二値化され、これにより、パン4a,4bの領域が白色又は黒色のいずれか一色のモノクロで表示された二値画像BIを得る。つまり二値化処理によって背景分離処理も行われる。
【0022】
次に、二値画像BIを対象にして輪郭抽出処理(ステップS13)を実行し、図6(a)に例示する輪郭線画像CIを得た後、輪郭線画像CIの輪郭線を対象にして多角形近似処理(ステップS14)を実行し、図6(b)に多角画像PIとして例示するように、前記輪郭線に沿って例えば左回りに折れ線近似して元の出発点に閉じることで近似多角形及びこの近似多角形を構成する各頂点P1〜P33を得る。具体的には、前記の多角画像PIとして、頂点P1〜P33と、隣接する頂点間を結んだ線分とで、パン4a,4bの双方を1つの領域として表現した画像が得られ、各頂点P1〜P33の頂点座標が得られることになる。以上の輪郭抽出処理及び多角形近似処理として、例えば画像処理用のオープンソースライブラリであるOpen CV(インテル社製品名)に含まれるcv Find Contourを輪郭抽出処理に、同cv Approx Poly による折れ線近似を多角形近似処理に、それぞれ利用することが可能である。
【0023】
次に、本実施形態での特徴的な処理部分である、パン4a,4bの境界線を確定するまでの境界点判定処理(ステップS15)及び境界線確定処理(ステップS16)に基づく処理を以下詳細に説明する。概略手順としては、前記の多角画像PI(具体的には各頂点座標)に基づいて各頂点について各種パラメータを抽出し、抽出した各種パラメータに基づいて境界線スコアBSを一対の頂点の組み合わせ毎に演算し、境界線スコアBSが高い一対の頂点の組み合わせを境界点候補として抽出し、かかる境界点候補から最終的に境界線を確定させるものである。前記の境界線スコアBSを得るための各種パラメータとしては、例えば、一対の境界点候補を結んだ境界線候補の長さL,一対の境界点候補のそれぞれのくびれ深さDi,前記境界線候補と一対の境界点候補のそれぞれのくびれベクトルの向きとのなす角度θi,一対の境界点候補を結んだ境界線候補を直径とする円領域が二値画像BIに重複する割合である領域占有率Rである。
【0024】
まず、第1処理(図7)、第2処理(図8)及び第3処理(図9)によりくびれベクトルを求め、くびれベクトルの深さDiと向きとを求める。第1処理では、各頂点から前後方向の両側に対し、例えば左回り方向YAにマイナス側(逆方向)及びプラス側(順方向)に対し、それぞれ隣接する頂点と同様方向の所定の検索範囲に存在する頂点を求める。具体的には、図7に示すように、例えば頂点P12からマイナス側に隣接する頂点P11に伸びる方向を中心方向C1としてその両側に所定角度αずつの検索範囲(−α〜+α)を設定し、この検索範囲に存在する頂点P11,P10,P9を抽出する。同様に、頂点P12からプラス側に隣接する頂点P13に伸びる方向を中心方向C2としてその両側に所定角度αずつの検索範囲(−α〜+α)を設定し、この検索範囲に存在する頂点P13,P14を抽出する。図7に例示したものでは、頂点P20からマイナス側の検索範囲に存在する頂点P19,P18を抽出し、プラス側の検索範囲に存在する頂点P21,P22,P23を抽出している。又、同様に、頂点P27からマイナス側の検索範囲に存在する頂点P26,P25,P24を抽出し、プラス側の検索範囲に存在する頂点P28,P30,P31を抽出している。前記の検索範囲(−α〜+α)としては、2つの頂点が連続して検索範囲外となる場合の直前の頂点が検索範囲内に入るように設定すればよい。例えば、頂点P27を起点とする場合には、頂点P29が検索範囲外になったとしても1つのみであり、頂点P32,P33が連続して検索範囲外となるようになっている。
【0025】
第2処理では、各頂点についてマイナス側及びプラス側の2つのくびれ方向ベクトルKH1,KH2を求める。すなわち、対象とする各頂点のマイナス側及びプラス側について、それぞれ検索範囲から抽出した各頂点へのベクトルを合成したベクトル和と同じ向きと、対象とする前記頂点から最も遠い頂点へのベクトルと同じベクトル量とで定義したくびれ方向ベクトルを求める。具体的には、図8に示すように、例えば頂点P12を起点としてマイナス側の検索範囲にある頂点P11へのベクトル,頂点P10へのベクトル及び頂点P9へのベクトルを合成したベクトル和VT1と同じ向きと、前記頂点P12から最も遠い頂点P9へのベクトルと同じベクトル量とを有するくびれ方向ベクトルKH1を求める。同様に、頂点P12を起点としてプラス側の検索範囲にある頂点P13へのベクトル及び頂点P14へのベクトルを合成したベクトル和VT2と同じ向きと、前記頂点P12から最も遠い頂点P14へのベクトルと同じベクトル量とを有するくびれ方向ベクトルKH2を求める。
【0026】
図8に例示したものでは、頂点P20について、頂点20を起点としてマイナス側に頂点P19へのベクトル及び頂点P18へのベクトルを合成したベクトル和VT1と同じ向きと、前記頂点P20から最も遠い頂点P18へのベクトルと同じベクトル量とを有するくびれ方向ベクトルKH1を求める一方、プラス側に頂点P21へのベクトル,頂点P22へのベクトル及び頂点P23へのベクトルを合成したベクトル和VT1と同じ向きと、前記頂点P20から最も遠い頂点P23へのベクトルと同じベクトル量とを有するくびれ方向ベクトルKH2を求める。同様に、頂点P27について、頂点27を起点としてマイナス側に頂点P26へのベクトル,頂点P25へのベクトル及び頂点P24へのベクトルを合成したベクトル和VT1と同じ向きと、前記頂点P27から最も遠い頂点P24へのベクトルと同じベクトル量とを有するくびれ方向ベクトルKH1を求める一方、プラス側に頂点P28へのベクトル,頂点P30へのベクトル及び頂点P31へのベクトルを合成したベクトル和VT1と同じ向きと、前記頂点P27から最も遠い頂点P31へのベクトルと同じベクトル量とを有するくびれ方向ベクトルKH2を求める。
【0027】
第3処理では、各頂点についてマイナス側及びプラス側の2つのくびれ方向ベクトルKH1,KH2からくびれベクトルKVを求める。具体的には、図9に示すように、例えば頂点P12を対象とした場合には、頂点P12を起点とする2つのくびれ方向ベクトルKH1,KH2を2辺とする三角形を仮想し、頂点P12を起点としてその2つのくびれ方向ベクトルKH1,KH2のなす角(挟角)の二等分線が延びる方向と、その二等分線が前記三角形の対辺と交わる交点までの長さとで表されるベクトルをくびれベクトルKVと定義する。そして、くびれベクトルKVの長さを、くびれベクトルKVの深さとする。
【0028】
図9に他に例示したものとしては、頂点P20を対象とした場合には、頂点P20を起点とする2つのくびれ方向ベクトルKH1,KH2を2辺とする三角形を仮想し、頂点P20を起点としてその2つのくびれ方向ベクトルKH1,KH2のなす角(挟角)の二等分線が延びる方向と、その二等分線が前記三角形の対辺と交わる交点までの長さとで表されるベクトルをくびれベクトルKVとして求める。又、頂点P27を対象とした場合には、頂点P27を起点とする2つのくびれ方向ベクトルKH1,KH2を2辺とする三角形を仮想し、頂点P27を起点としてその2つのくびれ方向ベクトルKH1,KH2のなす角(挟角)の二等分線が延びる方向と、その二等分線が前記三角形の対辺と交わる交点までの長さとで表されるベクトルをくびれベクトルKVとして求めればよい。
【0029】
以上の第1処理〜第3処理により、各頂点におけるくびれベクトルKV,KV,…が求められ、くびれベクトルの深さDiと向きとが求まる。次に、第4処理として、これら各頂点PiにおけるくびれベクトルKV,KV,…の深さDiと、2つのくびれ方向ベクトルKH1,KH2のなす角βiとに基づいて、境界点候補の抽出を行う。抽出の判定基準は次の2つがある。すなわち、第1の判定基準は、各頂点における2つのくびれ方向ベクトルKH1,KH2のなす角βi(マイナス側のくびれ方向ベクトルKH1からプラス側のくびれ方向ベクトルKH2に対し左回りYA方向に計測される角度)が所定の設定角度よりも小さいことであり、第2の判定基準は、くびれベクトルKVの深さDiが所定の閾値以上であることである。前記の設定角度としては、少なくとも180度未満の角度を設定し、好ましくは150度未満の角度を、通常は135度以下の角度を設定すればよい。くびれベクトルKVの深さDiは前記閾値以上で大きいほど、くびれが深く切れ込んでいる状況を表している。第4処理では、以上の第1及び第2の両判定基準に基づいて境界点候補を抽出する。
【0030】
そして、第5処理では、第4処理で抽出した境界点候補により得られる境界線候補について、それぞれ境界線スコアBSを演算し、境界線スコアBSの値が大きいものを境界線として決定する。境界線スコアBSは、図10に一対の境界点候補P12,P27について示すように、任意の一対の境界点候補毎に、その一対の境界点候補を結んだ境界線候補の長さL(一対の境界点候補の頂点座標間の長さ)、一対の境界点候補のそれぞれのくびれ深さDj,前記境界線候補と一対の境界点候補のそれぞれのくびれベクトルの向きとのなす角度θj,及び,一対の境界点候補を結んだ境界線候補を直径とする円領域が二値画像BI(図5(b)参照)に対し重複する割合である領域占有率Rという各パラメータに基づいて、次式(1)により演算する。ここで、境界点候補は相対向する一対であるため、添字j=1,2である。
BS=−Nl・logL
+Nd(logD1+logD2)
−Ns{log(cosθ1+2)+log(cosθ2+2)}
+Nr・logR …(1)
ここで、Nl,Nd,Ns,Nrは各パラメータについての係数である。
【0031】
以上の式(1)では、境界線候補Lが短いほど、くびれ深さDjが深いほど、角度θjが大きくて180度に等しいか近いほど、あるいは、領域占有率Rが100%に等しいか近いほど、それぞれ境界線スコアBSの値は大きいものとなる。例えば、図10にE12-27(頂点P12,P27間を結ぶ線分を直径とする円領域)として示す円領域の領域占有率Rは100%であるのに対し、E12-19(頂点P12,P19間を結ぶ線分を直径とする円領域)として示す円領域の領域占有率Rはほぼ70%であり、前者の方が境界線スコアBSの値は大きく表れることになる。以上の境界線スコアBSの値の大きさは、主として、第1項の境界線候補の長さLの短さと、第3項のθjが180度に等しいか近いかとに基づいて左右されるようになっている。従って、最小のパラメータとしてはこれら2種類のパラメータのみを用いて、境界線スコアBSの値を決定するようにしてもよい。あるいは、さらに前記の第4項の領域占有率Rに基づくパラメータをも加えて、境界線スコアBSの値を決定するようにしてもよい。
【0032】
前記の第5処理で境界線スコアBSの値の基づいて得られた境界線について、最終的に次の確認的条件をクリアしたものを最終確定させる。すなわち、(a)境界線を特定する一対の境界点は一対一で対応し、1つの境界点(例えば図11のP12)から2本の境界線が生じることはない、(b)2本の境界線(例えば図11のP16−P29を結ぶ線と、P12−P27を結ぶ線)が互いに交差することはない、(c)一対の境界点は互いに向かい合うくびれを構成すること、換言すれば前記のθjを用いたcosθjの値は所定の閾値以上であること、(d)互いに隣接する境界点同士を結ぶ2本の境界線(例えば図11のP12−P27を結ぶ線と、P11−P28を結ぶ線)は境界線スコアBSの値が少しでも大きい方を正解とすること、(e)相隣接する境界点同士を結ぶものは境界線ではないこと、という確認的条件を適用して最終的に境界線(図11ではP12−P27を結ぶ線)を確定させる。
【0033】
そして、最後に前記境界線を挟んで分離された2つの領域にある各画素に対し領域毎に異なる値を設定するラベリング処理(ステップS17;図4参照)を施して、パン4aの領域と、パン4bの領域とに互いに区分けする。この分離処理後の領域情報を識別処理部64に出力し、各領域毎のパン4a,4bの種類を識別処理する。
【0034】
以上では、2個のパン4a,4bが互いに接触している例を対象にして分離処理する場合について説明したが、多数個にわたり接触している場合には例えば次の方針に基づく順序で分離処理を実行させればよい。すなわち、図12に7個のパン4c,4d,4e,4f,4g,4h,4iが接触した例を示すように、まず、接触により閉鎖状態に区画形成された空白部同士の間にある境界線(例えば符号90,91で示す部位の境界線)を確定して分離処理することを繰り返し、次に、閉鎖状態の空白部が開放されるように該当する境界線(例えば符号92,93で示す部位の境界線)を確定して分離処理し、閉鎖状態の空白部の存在が無くなれば、最後に個々のパン4c,4d,4e,4f,4g,4h,4iに分離されるように残る境界線((例えば符号94〜99で示す部位の境界線)を確定して分離処理すればよい。
【0035】
本実施形態によれば、同一種類であっても焼き上がり形状の個体差が大きく、かつ、ほぼ円形の形状のものが多いとはいっても真円形状のものはなく、円形に近いものから楕円形に近いものまでいびつな形状を有するパンを識別対象や分離対象の物体4とする場合に、複数個が部分的に互いに接触した状態で撮像された画像に基づいて、個々の物体(パン4a,4b)4に自動的に分離して区分けすることができるようになる。これにより、互いに接触した状態では物体((パン4a,4b)4毎の識別が困難又は不能となる事態を回避して、個々の物体((パン4a,4b)4の各種類を自動的かつ確実に識別することができるようになって、例えば代金の自動計算や、売上実績の自動管理等を行うことができるようになる。以上より、例えばパンを対象物体として画像識別により代金計算等を自動的に行うシステムを構築するにあたり、顧客が例えばトレー上に選択した複数のパン(物体)を撮像前に販売員がトレー上のパンを互いに非接触状態になるように移動する作業を行うことなく、衛生状態を維持した状態で、自動的に接触状態の複数のパンを個々のパンに属するそれぞれの領域に分離(区分け)した上で各パンの種類を画像識別により自動認識することができるようになる。これにより、パン屋等の小売り業において、大幅な省力化や自動化を図ることができるようになる。
【0036】
<他の実施形態>
なお、本発明は上記実施形態に限定されるものではなく、その他種々の実施形態を包含するものである。すなわち、前記実施形態では、二値画像BIを対象にして分離処理を実行する例を示したが、これに限らず、初期画像WIであるカラーデジタル画像をそのまま、あるいは、グレースケール画像を対象にして分離処理を適用するようにしてもよく、この場合には、境界線スコアBSを得るための各種パラメータとして、本実施形態に例示したもの以外に、初期画像からエッジ画像を作成して境界線候補に沿った所定幅の領域でのエッジ画像の濃度値(エッジ強度)の平均値、及び/又は、初期画像から輝度画像を作成して前記の境界線候補に沿った所定幅の領域での輝度画像の濃度値(輝度)の平均値を追加して用いるようにしてもよい。
【符号の説明】
【0037】
2 CCDカメラ(撮像手段)
3 トレー
4 物体
4a,4b パン
5 光源
6 画像処理装置(画像処理手段)
63 分離処理部
64 識別処理部
【技術分野】
【0001】
本発明は、撮像された例えばパン等の物体を識別するための物体識別装置に関し、特に同一画像内に複数の物体が接触した状態にある場合に個々の物体毎に識別するために自動的に各物体に分離処理し得る技術に係る。
【背景技術】
【0002】
従来、例えば特許文献1では、画像情報に含まれる物体を識別するために、その物体の輪郭線を得る技術が提案されている。
又、特許文献2では、画像情報に含まれる輪郭等の形状特徴を抽出して、これに類似するモデルとの対比により識別する技術が提案されている。
さらに、特許文献3では、画像情報に含まれる錠剤の個数を検出する上で、2個の錠剤が部分的に接触していたとしても、正確に2個と識別する技術が提案されている。このものでは、互いに接触して塊領域を示す二値画像の内側の輪郭線に沿って配置させた多数の点の内から選択した2点を結ぶ連結線が、一部でも前記塊領域の領域外を通る場合はその2点はそれぞれ異なる錠剤に属する、つまり2個の錠剤があると識別するようにしている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平7−22089号公報
【特許文献2】特開2000−215315号公報
【特許文献3】特開2006−234519号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、近年、自家製のパンを販売するパン屋が増加傾向にあり、そのようなパン屋で製造・販売されるパンの種類も増加傾向にある。このようなパン屋では顧客が自己の欲するパンを陳列台からトレーに移し、トレーに載せた状態で代金計算が行われており、それに手間と時間を要している。すなわち、パンの種類は多種・多様であり、同一種類であっても外観が完全に同一とは限らない。従って、販売員は、トレー上のパンの種類を正確に見分け、それに基づいて例えばPOSレジスタに正確に入力する必要があり、これらに熟練作業が要求されることになる。このため、出願人において、トレー上のパンについてCCDカメラにより撮像し、この画像情報からトレー上のパンの種類と数を自動的に認識して、代金計算を自動化し得る技術の開発を進めている。
【0005】
このようなパンの識別において、顧客が陳列台からトレーに複数個のパンを載せる際に、それらの個々のパンを互いに接触させた状態でトレーを代金計算に持参する場合が考えられる。この場合、前記の画像情報からの自動認識を適用しようとしても、例えば2個のパンが接触して1つの輪郭を構成していると、たとえその輪郭から特徴量を得たとしても、本来は個々の種類のパンの特徴量についてモデル化されたものと合致せず、識別は困難又は不能となることが考えられる。このため、撮像前に販売員がトレー上のパンを互いに非接触状態になるように移動する作業を行わざるを得ず、その上に、衛生状態を維持しつつ前記移動作業とPOSレジスタの操作とを行わざるを得ず、手間を要することになると考えられる。
【0006】
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、物体同士が部分的に互いに接触した状態で撮像されているとしても、その画像に基づいて各物体を識別するにあたり、個々の物体に自動的に分離処理して区分し得る物体識別装置を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明では、同一平面上に載置された2以上の物体について撮像手段により撮像されたカラー画像を取り込み、このカラー画像を画像認識することにより前記物体の種類を識別する画像処理手段を備えた物体識別装置を対象にして次の特定事項を備えることとした。すなわち、前記画像処理手段として、前記カラー画像に含まれる2以上の物体が互いに接触した状態にあるときに個々の物体に属する領域に分離して区分けする分離処理部を備えたものとし、この分離処理部により分離された個々の物体に属する領域毎に前記物体の種類についての識別処理を実行するように構成する。そして、前記分離処理部として、前記カラー画像から前記2以上の物体の画像領域を二値化処理により抽出する機能と、抽出された二値化画像から前記2以上の物体の画像領域の輪郭線を抽出する機能と、抽出された輪郭線に沿って多角形近似処理によりその近似多角形を構成する各頂点を抽出する機能と、各頂点について前後に位置する頂点との関係で特定される屈曲状況をくびれベクトルにして求める機能と、境界点候補として一対の頂点を抽出しこの一対の境界点候補間を結ぶ境界線候補の長さ及びその境界線候補に対する前記一対の境界点候補のそれぞれにおける前記くびれベクトルがなす角度をパラメータとして演算する機能と、演算された境界線候補の長さがより短くかつ前記くびれベクトルがなす角度が180度により近い一対の境界点候補の組み合わせを一対の境界点として設定して境界線を確定する機能と、前記2以上の物体の画像領域を前記一対の境界点を結ぶ境界線で分離して領域分けする機能とを備えた構成とする(請求項1)。
【0008】
本発明の場合、2以上の物体が互いに接触した状態で撮像されていても、分離処理部によって、それら2以上の物体の画像領域の輪郭線抽出、その輪郭線に沿って多角形近似により得られる各頂点の抽出、抽出された各頂点についてくびれベクトルの演算を経た上で、境界点候補がくびれベクトルに基づいて抽出され、一対の境界点候補を結ぶ境界線候補からその長さや、境界線候補とくびれベクトルとのなす角度に基づいて境界線が確定される。そして、確定された境界線で2以上の物体が一体となった画像領域が領域分けされるため、領域分けされた個々の物体に対応する画像領域に基づき各物体の種類が確実に識別されることになる。従って、例えばパンを対象物体として画像識別により代金計算等を自動的に行うシステムを構築するにあたり、顧客が例えばトレー上に選択した複数のパン(物体)を撮像前に販売員がトレー上のパンを互いに非接触状態になるように移動する作業を行うことなく、衛生状態を維持した状態で、自動的に接触状態の複数のパンを個々のパンに属するそれぞれの領域に分離(区分け)した上で各パンの種類を画像識別により自動認識することができるようになる。これにより、パン屋等の小売り業において、大幅な省力化や自動化を図ることができるようになる。なお、前記の識別処理としては個々の物体に属するものとして領域分けされた画像領域に対応するカラー画像部分の形状に関する特徴量に基づき各物体の種類を識別するようにすればよい。
【0009】
前記発明の物体識別装置において、前記境界線を確定する機能として、境界点判定処理により境界点候補として一対の頂点を抽出する機能と、抽出された境界点候補に基づいて境界線確定処理により境界線を確定する機能とを備えることとし、前記境界点判定処理として、一対の頂点を構成する各くびれベクトルのベクトル量により表されるくびれ深さが所定の閾値以上であることで境界点候補を抽出する構成とすることができる(請求項2)。このようにすることにより、境界点候補の抽出、及び、この境界点候補の抽出による境界線の確定を、より確実に実現させ得ることになる。
【0010】
又、その場合、前記境界線確定処理として、前記境界線候補の長さ及び前記くびれベクトルがなす角度をパラメータとして境界線スコアを演算する演算式を備えることとし、この境界線スコアの値の大小に基づいて境界線を確定する構成とすることができる(請求項3)。このようにすることにより、境界線の確定をより確実なものとし得ることになる。
【0011】
さらに、前記演算式として、前記境界線候補を直径とする円形領域が前記2以上の物体の画像領域と重複する比率である領域占有率をもパラメータに加えて境界線スコアを演算するように構成することができる(請求項4)。あるいは、加えて、前記演算式として、前記くびれベクトルのくびれ深さをもパラメータに加えて境界線スコアを演算するように構成することができる(請求項5)。このようにすることにより、前記演算式に基づく境界線の確定がより一層確実なものとし得ることになる。
【発明の効果】
【0012】
以上、説明したように、本発明の物体識別装置によれば、2以上の物体が互いに接触した状態で撮像されていても、分離処理部によって、2以上の物体の画像領域において互いに接触している境界線を自動的に確定することができるようになる。そして、この確定された境界線で2以上の物体が一体となった画像領域を領域分けすることができるため、領域分けされた個々の物体に対応する画像領域に基づき各物体の種類を確実に識別することができるようになる。従って、例えばパンを対象物体として画像識別により代金計算等を自動的に行うシステムを構築するにあたり、顧客が例えばトレー上に選択した複数のパン(物体)を撮像前に販売員がトレー上のパンを互いに非接触状態になるように移動する作業を行うことなく、衛生状態を維持した状態で、自動的に個々のパンに分離(区分け)した上で各パンの種類を画像識別により自動認識することができるようになる。これにより、パン屋等の小売り業において、大幅な省力化や自動化を図ることができるようになる。
【0013】
特に、請求項2によれば、前記境界線を確定する機能として、境界点判定処理により境界点候補として一対の頂点を抽出する機能と、抽出された境界点候補に基づいて境界線確定処理により境界線を確定する機能とを備え、前記境界点判定処理として、一対の頂点を構成する各くびれベクトルのベクトル量により表されるくびれ深さが所定の閾値以上であることで境界点候補を抽出する構成とすることで、境界点候補の抽出、及び、この境界点候補の抽出による境界線の確定を、より確実に実現させることができるようになる。
【0014】
又、請求項3によれば、前記境界線確定処理として、前記境界線候補の長さ及び前記くびれベクトルがなす角度をパラメータとして境界線スコアを演算する演算式を備え、この境界線スコアの値の大小に基づいて境界線を確定する構成とすることで、境界線の確定をより確実なものとすることができるようになる。
【0015】
さらに、請求項4によれば、前記演算式として、前記境界線候補を直径とする円形領域が前記2以上の物体の画像領域と重複する比率である領域占有率をもパラメータに加えて境界線スコアを演算するように構成することで、あるいは、請求項5によれば、前記演算式として、前記くびれベクトルのくびれ深さをもパラメータにさらに加えて境界線スコアを演算するように構成することで、前記演算式に基づく境界線の確定をより一層確実なものとすることができるようになる。
【図面の簡単な説明】
【0016】
【図1】本発明の物体識別装置の実施形態を示す模式図である。
【図2】図1の物体識別装置を構成する画像処理装置を示すブロック図である。
【図3】画像処理の例を示すフローチャートである。
【図4】図3の画像処理に含まれる分離処理の例を示すフローチャートである。
【図5】図5(a)はトレー上に部分的に互いに接触した状態で載せられた2つの物体(パン)のカラー画像の例を示す平面図であり、図5(b)はそのカラー画像から二値化処理により得られた2つの物体(パン)を含む二値画像を示す平面図である。
【図6】図6(a)は図5(b)の二値画像から抽出した輪郭線を示す平面図であり、図6(b)は図6(a)の輪郭線から多角形近似処理により得られた多角形と各頂点を示す平面図である。
【図7】図6(b)の各頂点についてくびれベクトルを得るために検索範囲にある頂点を抽出する第1処理を説明するための平面説明図である。
【図8】第1処理により抽出された頂点によりくびれ方向ベクトルを得る第2処理を説明するための図7対応図である。
【図9】第2処理により得られたくびれ方向ベクトルからくびれベクトルを得る第3処理と、その後の境界点候補を抽出する第4処理とを説明するための図7対応図である。
【図10】第4処理により得られた境界点候補から境界線を確定する第5処理を説明するための図7対応図である。
【図11】第5処理により得られる境界線について最終確定させるための確認的条件を説明するための図7対応図である。
【図12】多数個の物体(パン)間における部分的接触を分離処理するための順序について例示する説明図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態を図面に基づいて説明する。
【0018】
図1は、本発明の実施形態に係る物体識別装置を示す。符号2は撮像手段であり、例えばCCDカメラにより構成され、トレー3上に載せられた物体(例えばパン;以下、本実施形態の物体はパンとして説明する)4を光源5からの照明下で真上から撮像するようになっている。物体4としては任意数のパンであり、本実施形態では説明の都合上2個のパン4a,4bが部分的に接触した状態でトレー3上に載せられているものとして、以下説明する。又、6は画像処理装置であり、7は画像処理装置6と通信接続された例えばPOSレジスタである。前記の画像処理装置6は、例えば、CPU,ROM,RAM,ハードディスク,通信インターフェースや、適宜の入力部・表示部を備えたパーソナルコンピュータにより構成されている。そして、前記ハードディスクには、オペレーティングシステムと、本実施形態による画像処理を実行するためのプログラムがインストールされており、以下説明する画像処理が実行可能となっている。前記の入力部としては例えばマウスやキーボード等、前記の表示部としては例えば液晶パネル等のディスプレイでもよいが、前記ディスプレイと、タッチパッド等の位置入力装置とを組み合わせたタッチパネル61を採用するようにしてもよい。POSレジスタ7は画像処理装置6からパン4a,4bの種類と個数との識別情報を受けて、合計代金等の表示や、販売管理・売上実績管理等の演算・入出力を実行するようになっている。POSとは、販売時点情報管理(Point of sale system)の略称である。なお、前記のトレー3として、半透明の透過素材の材料により形成されたものを用い、背後(裏面側)に設置したバックライト光源8からのバックライトを照射した状態で撮像するようにしてもよい。これにより、パン4a,4bの周囲に形成されることのある影を可及的に排除し得るようになる。
【0019】
前記画像処理装置6は、図2に示すように、撮像されてCCDカメラ2から取り込まれた画像(カラーデジタル画像)を記憶する画像記憶部62と、2個のパン4a,4bが部分的に接触して塊状になった状態で撮像された画像から個々のパン4a,4bに分離する、すなわち個々のパン4a,4bの境界線を確定して区分けする分離処理部63と、互いに分離された個々のパン4a,4b毎の種類を前記画像に基づいて識別する識別処理部64とを備えている。さらに、前記画像処理装置6は、前記識別処理部64による識別のために、パンの種類毎にモデル化された特徴量を組み合わせたテンプレート情報等が予め記憶登録されたマスタデータ記憶部65と、このマスタデータ記憶部65の登録情報を参照して識別処理部64により識別処理を実行する際に取得される新たな特徴量等について学習処理し、マスタデータ記憶部65の登録内容を更新する学習処理部66とを備えている。そして、識別処理部64による識別結果(パンの種類と個数)をPOSレジスタ7に出力するようになっている。以上の画像記憶部62、分離処理部63、識別処理部64及び学習処理部66等の各処理は前記の如く所定のプログラムにより実行されるようになっており、画像処理装置6はかかる各処理を実行する機能を備えたものとして構成されている。
【0020】
前記の画像処理装置6により実行される処理について図3を参照しつつ簡単に説明すると、次のようになる。すなわち、まず、例えばタッチパネル61から画像取り込み指令を入力操作することでCCDカメラ2により撮像された画像を取り込んで画像記憶部62に記録する(ステップS1)。この画像WIの例を図5(a)に示す。この例では各1個の2種類のパン4a,4bが部分的に互いに接触した状態になっている。次に、記録された画像に基づいてパン4a,4bの境界線を確定して各パン4a,4bに属する領域を区分けする分離処理を実行した上で(ステップS2)、各パン4a,4bの種類を識別処理し(ステップS3)、識別結果をタッチパネル61及び/又はPOSレジスタ7等に出力する(ステップS4)。
【0021】
次に、前記の分離処理(ステップS2)について、図4を参照しつつ詳細に説明する。画像記憶部62に記録された画像(初期画像;カラーデジタル画像)WIはトレー3上にパン4a,4bが載置された状態で撮像されたものであるので、まず、背景分離処理(ステップS11)及び二値化処理(ステップS12)を実行することで、背景であるトレー3の部分を分離してパン4a,4bの部分のみを切り出し、図5(b)に例示するようにパン4a,4bが互いに連続して塊状になった二値画像BIを得る。前記の二値化処理によって、背景のトレー3とパン4a,4bとの彩度差に応じて初期画像に表れる各画素の濃淡情報が所定の閾値で1と0とに二値化され、これにより、パン4a,4bの領域が白色又は黒色のいずれか一色のモノクロで表示された二値画像BIを得る。つまり二値化処理によって背景分離処理も行われる。
【0022】
次に、二値画像BIを対象にして輪郭抽出処理(ステップS13)を実行し、図6(a)に例示する輪郭線画像CIを得た後、輪郭線画像CIの輪郭線を対象にして多角形近似処理(ステップS14)を実行し、図6(b)に多角画像PIとして例示するように、前記輪郭線に沿って例えば左回りに折れ線近似して元の出発点に閉じることで近似多角形及びこの近似多角形を構成する各頂点P1〜P33を得る。具体的には、前記の多角画像PIとして、頂点P1〜P33と、隣接する頂点間を結んだ線分とで、パン4a,4bの双方を1つの領域として表現した画像が得られ、各頂点P1〜P33の頂点座標が得られることになる。以上の輪郭抽出処理及び多角形近似処理として、例えば画像処理用のオープンソースライブラリであるOpen CV(インテル社製品名)に含まれるcv Find Contourを輪郭抽出処理に、同cv Approx Poly による折れ線近似を多角形近似処理に、それぞれ利用することが可能である。
【0023】
次に、本実施形態での特徴的な処理部分である、パン4a,4bの境界線を確定するまでの境界点判定処理(ステップS15)及び境界線確定処理(ステップS16)に基づく処理を以下詳細に説明する。概略手順としては、前記の多角画像PI(具体的には各頂点座標)に基づいて各頂点について各種パラメータを抽出し、抽出した各種パラメータに基づいて境界線スコアBSを一対の頂点の組み合わせ毎に演算し、境界線スコアBSが高い一対の頂点の組み合わせを境界点候補として抽出し、かかる境界点候補から最終的に境界線を確定させるものである。前記の境界線スコアBSを得るための各種パラメータとしては、例えば、一対の境界点候補を結んだ境界線候補の長さL,一対の境界点候補のそれぞれのくびれ深さDi,前記境界線候補と一対の境界点候補のそれぞれのくびれベクトルの向きとのなす角度θi,一対の境界点候補を結んだ境界線候補を直径とする円領域が二値画像BIに重複する割合である領域占有率Rである。
【0024】
まず、第1処理(図7)、第2処理(図8)及び第3処理(図9)によりくびれベクトルを求め、くびれベクトルの深さDiと向きとを求める。第1処理では、各頂点から前後方向の両側に対し、例えば左回り方向YAにマイナス側(逆方向)及びプラス側(順方向)に対し、それぞれ隣接する頂点と同様方向の所定の検索範囲に存在する頂点を求める。具体的には、図7に示すように、例えば頂点P12からマイナス側に隣接する頂点P11に伸びる方向を中心方向C1としてその両側に所定角度αずつの検索範囲(−α〜+α)を設定し、この検索範囲に存在する頂点P11,P10,P9を抽出する。同様に、頂点P12からプラス側に隣接する頂点P13に伸びる方向を中心方向C2としてその両側に所定角度αずつの検索範囲(−α〜+α)を設定し、この検索範囲に存在する頂点P13,P14を抽出する。図7に例示したものでは、頂点P20からマイナス側の検索範囲に存在する頂点P19,P18を抽出し、プラス側の検索範囲に存在する頂点P21,P22,P23を抽出している。又、同様に、頂点P27からマイナス側の検索範囲に存在する頂点P26,P25,P24を抽出し、プラス側の検索範囲に存在する頂点P28,P30,P31を抽出している。前記の検索範囲(−α〜+α)としては、2つの頂点が連続して検索範囲外となる場合の直前の頂点が検索範囲内に入るように設定すればよい。例えば、頂点P27を起点とする場合には、頂点P29が検索範囲外になったとしても1つのみであり、頂点P32,P33が連続して検索範囲外となるようになっている。
【0025】
第2処理では、各頂点についてマイナス側及びプラス側の2つのくびれ方向ベクトルKH1,KH2を求める。すなわち、対象とする各頂点のマイナス側及びプラス側について、それぞれ検索範囲から抽出した各頂点へのベクトルを合成したベクトル和と同じ向きと、対象とする前記頂点から最も遠い頂点へのベクトルと同じベクトル量とで定義したくびれ方向ベクトルを求める。具体的には、図8に示すように、例えば頂点P12を起点としてマイナス側の検索範囲にある頂点P11へのベクトル,頂点P10へのベクトル及び頂点P9へのベクトルを合成したベクトル和VT1と同じ向きと、前記頂点P12から最も遠い頂点P9へのベクトルと同じベクトル量とを有するくびれ方向ベクトルKH1を求める。同様に、頂点P12を起点としてプラス側の検索範囲にある頂点P13へのベクトル及び頂点P14へのベクトルを合成したベクトル和VT2と同じ向きと、前記頂点P12から最も遠い頂点P14へのベクトルと同じベクトル量とを有するくびれ方向ベクトルKH2を求める。
【0026】
図8に例示したものでは、頂点P20について、頂点20を起点としてマイナス側に頂点P19へのベクトル及び頂点P18へのベクトルを合成したベクトル和VT1と同じ向きと、前記頂点P20から最も遠い頂点P18へのベクトルと同じベクトル量とを有するくびれ方向ベクトルKH1を求める一方、プラス側に頂点P21へのベクトル,頂点P22へのベクトル及び頂点P23へのベクトルを合成したベクトル和VT1と同じ向きと、前記頂点P20から最も遠い頂点P23へのベクトルと同じベクトル量とを有するくびれ方向ベクトルKH2を求める。同様に、頂点P27について、頂点27を起点としてマイナス側に頂点P26へのベクトル,頂点P25へのベクトル及び頂点P24へのベクトルを合成したベクトル和VT1と同じ向きと、前記頂点P27から最も遠い頂点P24へのベクトルと同じベクトル量とを有するくびれ方向ベクトルKH1を求める一方、プラス側に頂点P28へのベクトル,頂点P30へのベクトル及び頂点P31へのベクトルを合成したベクトル和VT1と同じ向きと、前記頂点P27から最も遠い頂点P31へのベクトルと同じベクトル量とを有するくびれ方向ベクトルKH2を求める。
【0027】
第3処理では、各頂点についてマイナス側及びプラス側の2つのくびれ方向ベクトルKH1,KH2からくびれベクトルKVを求める。具体的には、図9に示すように、例えば頂点P12を対象とした場合には、頂点P12を起点とする2つのくびれ方向ベクトルKH1,KH2を2辺とする三角形を仮想し、頂点P12を起点としてその2つのくびれ方向ベクトルKH1,KH2のなす角(挟角)の二等分線が延びる方向と、その二等分線が前記三角形の対辺と交わる交点までの長さとで表されるベクトルをくびれベクトルKVと定義する。そして、くびれベクトルKVの長さを、くびれベクトルKVの深さとする。
【0028】
図9に他に例示したものとしては、頂点P20を対象とした場合には、頂点P20を起点とする2つのくびれ方向ベクトルKH1,KH2を2辺とする三角形を仮想し、頂点P20を起点としてその2つのくびれ方向ベクトルKH1,KH2のなす角(挟角)の二等分線が延びる方向と、その二等分線が前記三角形の対辺と交わる交点までの長さとで表されるベクトルをくびれベクトルKVとして求める。又、頂点P27を対象とした場合には、頂点P27を起点とする2つのくびれ方向ベクトルKH1,KH2を2辺とする三角形を仮想し、頂点P27を起点としてその2つのくびれ方向ベクトルKH1,KH2のなす角(挟角)の二等分線が延びる方向と、その二等分線が前記三角形の対辺と交わる交点までの長さとで表されるベクトルをくびれベクトルKVとして求めればよい。
【0029】
以上の第1処理〜第3処理により、各頂点におけるくびれベクトルKV,KV,…が求められ、くびれベクトルの深さDiと向きとが求まる。次に、第4処理として、これら各頂点PiにおけるくびれベクトルKV,KV,…の深さDiと、2つのくびれ方向ベクトルKH1,KH2のなす角βiとに基づいて、境界点候補の抽出を行う。抽出の判定基準は次の2つがある。すなわち、第1の判定基準は、各頂点における2つのくびれ方向ベクトルKH1,KH2のなす角βi(マイナス側のくびれ方向ベクトルKH1からプラス側のくびれ方向ベクトルKH2に対し左回りYA方向に計測される角度)が所定の設定角度よりも小さいことであり、第2の判定基準は、くびれベクトルKVの深さDiが所定の閾値以上であることである。前記の設定角度としては、少なくとも180度未満の角度を設定し、好ましくは150度未満の角度を、通常は135度以下の角度を設定すればよい。くびれベクトルKVの深さDiは前記閾値以上で大きいほど、くびれが深く切れ込んでいる状況を表している。第4処理では、以上の第1及び第2の両判定基準に基づいて境界点候補を抽出する。
【0030】
そして、第5処理では、第4処理で抽出した境界点候補により得られる境界線候補について、それぞれ境界線スコアBSを演算し、境界線スコアBSの値が大きいものを境界線として決定する。境界線スコアBSは、図10に一対の境界点候補P12,P27について示すように、任意の一対の境界点候補毎に、その一対の境界点候補を結んだ境界線候補の長さL(一対の境界点候補の頂点座標間の長さ)、一対の境界点候補のそれぞれのくびれ深さDj,前記境界線候補と一対の境界点候補のそれぞれのくびれベクトルの向きとのなす角度θj,及び,一対の境界点候補を結んだ境界線候補を直径とする円領域が二値画像BI(図5(b)参照)に対し重複する割合である領域占有率Rという各パラメータに基づいて、次式(1)により演算する。ここで、境界点候補は相対向する一対であるため、添字j=1,2である。
BS=−Nl・logL
+Nd(logD1+logD2)
−Ns{log(cosθ1+2)+log(cosθ2+2)}
+Nr・logR …(1)
ここで、Nl,Nd,Ns,Nrは各パラメータについての係数である。
【0031】
以上の式(1)では、境界線候補Lが短いほど、くびれ深さDjが深いほど、角度θjが大きくて180度に等しいか近いほど、あるいは、領域占有率Rが100%に等しいか近いほど、それぞれ境界線スコアBSの値は大きいものとなる。例えば、図10にE12-27(頂点P12,P27間を結ぶ線分を直径とする円領域)として示す円領域の領域占有率Rは100%であるのに対し、E12-19(頂点P12,P19間を結ぶ線分を直径とする円領域)として示す円領域の領域占有率Rはほぼ70%であり、前者の方が境界線スコアBSの値は大きく表れることになる。以上の境界線スコアBSの値の大きさは、主として、第1項の境界線候補の長さLの短さと、第3項のθjが180度に等しいか近いかとに基づいて左右されるようになっている。従って、最小のパラメータとしてはこれら2種類のパラメータのみを用いて、境界線スコアBSの値を決定するようにしてもよい。あるいは、さらに前記の第4項の領域占有率Rに基づくパラメータをも加えて、境界線スコアBSの値を決定するようにしてもよい。
【0032】
前記の第5処理で境界線スコアBSの値の基づいて得られた境界線について、最終的に次の確認的条件をクリアしたものを最終確定させる。すなわち、(a)境界線を特定する一対の境界点は一対一で対応し、1つの境界点(例えば図11のP12)から2本の境界線が生じることはない、(b)2本の境界線(例えば図11のP16−P29を結ぶ線と、P12−P27を結ぶ線)が互いに交差することはない、(c)一対の境界点は互いに向かい合うくびれを構成すること、換言すれば前記のθjを用いたcosθjの値は所定の閾値以上であること、(d)互いに隣接する境界点同士を結ぶ2本の境界線(例えば図11のP12−P27を結ぶ線と、P11−P28を結ぶ線)は境界線スコアBSの値が少しでも大きい方を正解とすること、(e)相隣接する境界点同士を結ぶものは境界線ではないこと、という確認的条件を適用して最終的に境界線(図11ではP12−P27を結ぶ線)を確定させる。
【0033】
そして、最後に前記境界線を挟んで分離された2つの領域にある各画素に対し領域毎に異なる値を設定するラベリング処理(ステップS17;図4参照)を施して、パン4aの領域と、パン4bの領域とに互いに区分けする。この分離処理後の領域情報を識別処理部64に出力し、各領域毎のパン4a,4bの種類を識別処理する。
【0034】
以上では、2個のパン4a,4bが互いに接触している例を対象にして分離処理する場合について説明したが、多数個にわたり接触している場合には例えば次の方針に基づく順序で分離処理を実行させればよい。すなわち、図12に7個のパン4c,4d,4e,4f,4g,4h,4iが接触した例を示すように、まず、接触により閉鎖状態に区画形成された空白部同士の間にある境界線(例えば符号90,91で示す部位の境界線)を確定して分離処理することを繰り返し、次に、閉鎖状態の空白部が開放されるように該当する境界線(例えば符号92,93で示す部位の境界線)を確定して分離処理し、閉鎖状態の空白部の存在が無くなれば、最後に個々のパン4c,4d,4e,4f,4g,4h,4iに分離されるように残る境界線((例えば符号94〜99で示す部位の境界線)を確定して分離処理すればよい。
【0035】
本実施形態によれば、同一種類であっても焼き上がり形状の個体差が大きく、かつ、ほぼ円形の形状のものが多いとはいっても真円形状のものはなく、円形に近いものから楕円形に近いものまでいびつな形状を有するパンを識別対象や分離対象の物体4とする場合に、複数個が部分的に互いに接触した状態で撮像された画像に基づいて、個々の物体(パン4a,4b)4に自動的に分離して区分けすることができるようになる。これにより、互いに接触した状態では物体((パン4a,4b)4毎の識別が困難又は不能となる事態を回避して、個々の物体((パン4a,4b)4の各種類を自動的かつ確実に識別することができるようになって、例えば代金の自動計算や、売上実績の自動管理等を行うことができるようになる。以上より、例えばパンを対象物体として画像識別により代金計算等を自動的に行うシステムを構築するにあたり、顧客が例えばトレー上に選択した複数のパン(物体)を撮像前に販売員がトレー上のパンを互いに非接触状態になるように移動する作業を行うことなく、衛生状態を維持した状態で、自動的に接触状態の複数のパンを個々のパンに属するそれぞれの領域に分離(区分け)した上で各パンの種類を画像識別により自動認識することができるようになる。これにより、パン屋等の小売り業において、大幅な省力化や自動化を図ることができるようになる。
【0036】
<他の実施形態>
なお、本発明は上記実施形態に限定されるものではなく、その他種々の実施形態を包含するものである。すなわち、前記実施形態では、二値画像BIを対象にして分離処理を実行する例を示したが、これに限らず、初期画像WIであるカラーデジタル画像をそのまま、あるいは、グレースケール画像を対象にして分離処理を適用するようにしてもよく、この場合には、境界線スコアBSを得るための各種パラメータとして、本実施形態に例示したもの以外に、初期画像からエッジ画像を作成して境界線候補に沿った所定幅の領域でのエッジ画像の濃度値(エッジ強度)の平均値、及び/又は、初期画像から輝度画像を作成して前記の境界線候補に沿った所定幅の領域での輝度画像の濃度値(輝度)の平均値を追加して用いるようにしてもよい。
【符号の説明】
【0037】
2 CCDカメラ(撮像手段)
3 トレー
4 物体
4a,4b パン
5 光源
6 画像処理装置(画像処理手段)
63 分離処理部
64 識別処理部
【特許請求の範囲】
【請求項1】
同一平面上に載置された2以上の物体について撮像手段により撮像されたカラー画像を取り込み、このカラー画像を画像認識することにより前記物体の種類を識別する画像処理手段を備えた物体識別装置であって、
前記画像処理手段は、前記カラー画像に含まれる2以上の物体が互いに接触した状態にあるときに個々の物体に属する領域に分離して区分けする分離処理部を備え、この分離処理部により分離された個々の物体に属する領域毎に前記物体の種類についての識別処理を実行するように構成され、
前記分離処理部は、前記カラー画像から前記2以上の物体の画像領域を二値化処理により抽出する機能と、抽出された二値化画像から前記2以上の物体の画像領域の輪郭線を抽出する機能と、抽出された輪郭線に沿って多角形近似処理によりその近似多角形を構成する各頂点を抽出する機能と、各頂点について前後に位置する頂点との関係で特定される屈曲状況をくびれベクトルにして求める機能と、境界点候補として一対の頂点を抽出しこの一対の境界点候補間を結ぶ境界線候補の長さ及びその境界線候補に対する前記一対の境界点候補のそれぞれにおける前記くびれベクトルがなす角度をパラメータとして演算する機能と、演算された境界線候補の長さがより短くかつ前記くびれベクトルがなす角度が180度により近い一対の境界点候補の組み合わせを一対の境界点として設定して境界線を確定する機能と、前記2以上の物体の画像領域を前記一対の境界点を結ぶ境界線で分離して領域分けする機能とを備えている
ことを特徴とする物体識別装置。
【請求項2】
請求項1に記載の物体識別装置であって、
前記境界線を確定する機能として、境界点判定処理により境界点候補として一対の頂点を抽出する機能と、抽出された境界点候補に基づいて境界線確定処理により境界線を確定する機能とを備えており、
前記境界点判定処理として、一対の頂点を構成する各くびれベクトルのベクトル量により表されるくびれ深さが所定の閾値以上であることで境界点候補を抽出するように構成されている、物体識別装置。
【請求項3】
請求項2に記載の物体識別装置であって、
前記境界線確定処理として、前記境界線候補の長さ及び前記くびれベクトルがなす角度をパラメータとして境界線スコアを演算する演算式を備え、この境界線スコアの値の大小に基づいて境界線を確定するように構成されている、物体識別装置。
【請求項4】
請求項3に記載の物体識別装置であって、
前記演算式は、前記境界線候補を直径とする円形領域が前記2以上の物体の画像領域と重複する比率である領域占有率をもパラメータに加えて境界線スコアを演算するように構成されている、物体識別装置。
【請求項5】
請求項4に記載の物体識別装置であって、
前記演算式は、前記くびれベクトルのくびれ深さをもパラメータに加えて境界線スコアを演算するように構成されている、物体識別装置。
【請求項1】
同一平面上に載置された2以上の物体について撮像手段により撮像されたカラー画像を取り込み、このカラー画像を画像認識することにより前記物体の種類を識別する画像処理手段を備えた物体識別装置であって、
前記画像処理手段は、前記カラー画像に含まれる2以上の物体が互いに接触した状態にあるときに個々の物体に属する領域に分離して区分けする分離処理部を備え、この分離処理部により分離された個々の物体に属する領域毎に前記物体の種類についての識別処理を実行するように構成され、
前記分離処理部は、前記カラー画像から前記2以上の物体の画像領域を二値化処理により抽出する機能と、抽出された二値化画像から前記2以上の物体の画像領域の輪郭線を抽出する機能と、抽出された輪郭線に沿って多角形近似処理によりその近似多角形を構成する各頂点を抽出する機能と、各頂点について前後に位置する頂点との関係で特定される屈曲状況をくびれベクトルにして求める機能と、境界点候補として一対の頂点を抽出しこの一対の境界点候補間を結ぶ境界線候補の長さ及びその境界線候補に対する前記一対の境界点候補のそれぞれにおける前記くびれベクトルがなす角度をパラメータとして演算する機能と、演算された境界線候補の長さがより短くかつ前記くびれベクトルがなす角度が180度により近い一対の境界点候補の組み合わせを一対の境界点として設定して境界線を確定する機能と、前記2以上の物体の画像領域を前記一対の境界点を結ぶ境界線で分離して領域分けする機能とを備えている
ことを特徴とする物体識別装置。
【請求項2】
請求項1に記載の物体識別装置であって、
前記境界線を確定する機能として、境界点判定処理により境界点候補として一対の頂点を抽出する機能と、抽出された境界点候補に基づいて境界線確定処理により境界線を確定する機能とを備えており、
前記境界点判定処理として、一対の頂点を構成する各くびれベクトルのベクトル量により表されるくびれ深さが所定の閾値以上であることで境界点候補を抽出するように構成されている、物体識別装置。
【請求項3】
請求項2に記載の物体識別装置であって、
前記境界線確定処理として、前記境界線候補の長さ及び前記くびれベクトルがなす角度をパラメータとして境界線スコアを演算する演算式を備え、この境界線スコアの値の大小に基づいて境界線を確定するように構成されている、物体識別装置。
【請求項4】
請求項3に記載の物体識別装置であって、
前記演算式は、前記境界線候補を直径とする円形領域が前記2以上の物体の画像領域と重複する比率である領域占有率をもパラメータに加えて境界線スコアを演算するように構成されている、物体識別装置。
【請求項5】
請求項4に記載の物体識別装置であって、
前記演算式は、前記くびれベクトルのくびれ深さをもパラメータに加えて境界線スコアを演算するように構成されている、物体識別装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−198848(P2012−198848A)
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願番号】特願2011−63991(P2011−63991)
【出願日】平成23年3月23日(2011.3.23)
【出願人】(599024540)株式会社ブレイン (3)
【Fターム(参考)】
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願日】平成23年3月23日(2011.3.23)
【出願人】(599024540)株式会社ブレイン (3)
【Fターム(参考)】
[ Back to top ]