検品装置、検品システム、検品方法及びプログラム
【課題】 多くのコストをかけることなく、(1)品名の特定、及び(2)数量の計算、の２つの作業を人手によらずに自動化して行うことが可能な技術を提供する。
【解決手段】 検品装置は、撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定する品名特定手段と、前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する数量計算手段と、を含む。
【解決手段】 検品装置は、撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定する品名特定手段と、前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する数量計算手段と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、荷降ろし又は積み込み作業時における入荷検品又は出荷検品を自動化する検品装置、検品方法及びプログラムに関する。
【背景技術】
【０００２】
荷降ろしや荷物の積み込み作業時における検品作業を、人手によらずに自動化して行う技術が知られている。
【０００３】
特許文献１には、特徴的な図柄を有する既知の対象物を、搬送中に検品するための画像処理検品装置が開示されている。特許文献１に記載の画像処理装置において、撮像手段は、検品対象物を撮影する。画像メモリは、撮影された画像データを取り込む。抽出手段は、該画像メモリ上の画像データから、検品対象物に含まれる特徴的な塊状図形を抽出する。特徴量測定手段は、該抽出された各塊状図形の特徴量を測定する。特徴量ヒストグラムパターン作成手段は、求めた特徴量の値の組み合わせにより検品対象物の特徴量ヒストグラムパターンを作成する。識別手段は、この作成した特徴量ヒストグラムパターンを用いて、検品対象物を識別する。
【０００４】
特許文献１に記載の画像処理検品装置は、上記構成を採用することで、搬送系の影響によって検品対象物が回転や位置ずれを生じた場合でも、簡便な方法で、高い認識精度と高速性を保証する。
【０００５】
また、特許文献２には、配送元での出荷検品作業に用いられる配送元端末と、配送先での入荷検品作業に用いられる配送先端末とからなり、配送する商品を収納する収納箱にＲＦＩＤタグを設けた入出荷検品システムが開示されている。特許文献２に記載の入出荷検品システムの配送元端末において、箱番号入力手段は、収納箱の箱番号を入力する。商品番号入力手段は、収納箱に収納する前記商品の商品番号および数量を入力する。配送データ書き込み手段は、箱番号入力手段によって入力された前記箱番号と前記商品番号入力手段によって入力された商品番号および数量とを配送データとしてＲＦＩＤタグに書き込む。ＡＳＮデータ作成手段は、箱番号入力手段によって入力された箱番号と商品番号入力手段によって入力された商品番号および数量とを少なくとも含むＡＳＮデータを作成する。ＡＳＮデータ送信手段は、ＡＳＮデータ作成手段によって作成されたＡＳＮデータを配送先端末に送信する。
【０００６】
特許文献２に記載の入出荷検品システムは、上記構成を採用することで、収納箱に収納されている商品の詳細データをネットワーク上のホストコンピュータによって一元管理する必要をなくす等の効果を奏し、入荷検品作業の手間と時間とを削減する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０８−０９４３３５
【特許文献２】特開２００６−１０３９２９
【発明の概要】
【発明が解決しようとする課題】
【０００８】
検品作業は、(1)品名の特定、及び(2)数量の計算、という２つの作業から成り立っている。特許文献１に記載の画像処理検品装置によれば、撮影方向等の一定の条件を満たした画像を撮影できることを前提として、特徴量ヒストグラムパターンを用いて、検品対象物を識別することで品名を特定することができる。しかしながら該画像処理検品装置のみでは、品名を特定することはできても(2)の数量を計算する作業をすることができず、検品対象物の数量の計算は人手によらざるを得ない。
【０００９】
特許文献２に記載の入出荷検品システムによれば、上記(1)及び(2)の作業を、人手によらずに自動化して行うことができる。しかしながら特許文献２に記載の入出荷検品システムを実施するためには、配送する多数の商品の収納箱にＲＦＩＤタグを取り付ける等の必要があるため、取り付け作業にかかる人的なコストや、ＲＦＩＤタグ自体の金銭的なコスト等、多くのコストがかかる。
【００１０】
以上より、本発明の目的は、多くのコストをかけることなく、(1)品名の特定、及び(2)数量の計算、の２つの作業を人手によらずに自動化して行うことが可能な技術を提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明における検品装置は、撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定する品名特定手段と、前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する数量計算手段と、を含む。
【００１２】
また、上記目的を達成するため、本発明における検品システムは、画像を撮影する一又は二以上の画像撮影手段と、検品装置と、前記検品装置において特定した荷物の品名と、計算した荷物の数量を出力する出力手段と、を含む。
【００１３】
また、上記目的を達成するため、本発明における検品方法は、撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定し、前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する。
【００１４】
また、上記目的を達成するため、本発明におけるプログラムは、撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定し、前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する、処理をコンピュータに実行させる。
【発明の効果】
【００１５】
本発明によれば、多くのコストをかけることなく、(1)品名の特定、及び(2)数量の計算、の２つの作業を人手によらずに自動化して行うことが可能となる。
【図面の簡単な説明】
【００１６】
【図１】正面画像及び側面画像の定義について説明するための図である。
【図２】本発明の第１実施形態に係る検品システム１０００の構成を示すブロック図である。
【図３】本発明の第１実施形態に係る検品システム１０００の動作を示すフローチャート図である。
【図４】抽出した移動物体領域３００の側面画像のイメージ図である。
【図５】移動物体領域３００の側面画像中におけるパレット領域３１０及び荷物存在領域３２０を現すイメージ図である。
【図６】図５で示すイメージ図において、さらに特定した荷物領域３３０を現すイメージ図である。
【図７】荷物特徴量ＤＢ２４５が格納する、荷物画像の特徴量と品名とを関連付けたデータの例である。
【図８】積付方法ＤＢ２５５が格納する、荷物の品名と、荷物の梱包の大きさと、荷物の積み付け方法の番号とを関連付けたデータの例である。
【図９】図８に加えて、積付方法ＤＢ２５５が格納する荷物の積み付けに関するデータの例である。
【図１０】第２実施形態に係る検品システム２０００の構成を示すブロック図である。
【図１１】移動物体領域の正面画像において、荷物領域３３０を特定したイメージ図である。
【図１２】検品装置５００の構成を示すブロック図である。
【図１３】検品装置２００のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１７】
＜第１実施形態＞
まず、本発明の実施形態の理解を容易にするために、本発明の背景を詳細に説明する。
【００１８】
検品作業は、(1)品名の特定、(2)数量の計算、という２つの作業から成り立っている。(1)又は(2)の作業に関連する技術が多数存在する。例えば、品名を特定する技術として、画像認識技術や、バーコードリーダ又はＲＦＩＤタグを用いた技術等が存在する。また、数量を計算する技術として、ＲＦＩＤタグを用いた技術や、重量検知の技術等が存在する。特許文献２に記載のように、ＲＦＩＤタグは、(1)及び(2)の作業に利用することができるが、現実の運用では、ＲＦＩＤタグの取り付け及び取り外しの作業にかかる人的なコストが問題になる。また、ＲＦＩＤタグ自体や読取アンテナの設置工事等にかかる金銭的なコストが多額であり、問題となっていた。
【００１９】
コストを抑えるために、画像認識技術の活用を考えた場合、撮影方向等の一定の条件を満たした画像、例えば正面から撮影した画像を用いることができれば、品名を特定することはできる。しかしながら、検品作業を行う現場の環境によっては、必ずしも条件の良い画像が撮影できるとは限らない。また、検品作業を行う現場によっては、撮影距離が一定に保てず、画像上の検品対象物の大きさが変動することから、正確な数量を計算することができない。
【００２０】
上述の課題は、特許文献１又は特許文献２によっても解決することができない。
【００２１】
以下に説明される本発明の第１実施形態によれば、多くのコストをかけることなく、検品作業を人手によらずに自動化して行うことが可能となる。
【００２２】
まず、図１を用いて、本実施形態における正面画像及び側面画像の定義について説明する。
【００２３】
図１は、本実施形態における正面画像及び側面画像の定義について説明するための図である。図１は、荷物の移動の様子を上部から捉えた図である。図１において、矢印は荷物６００の移動方向を表す。本実施形態においては、荷物６００の移動方向に対して垂直な方向に設置された画像撮影部６１０で画像を撮影した場合の、当該撮影された画像を側面画像と定義する。また、荷物６００の移動方向に対して正面に設置された画像撮影部６２０で画像を撮影した場合の、当該撮影された画像を正面画像と定義する。
【００２４】
次に、図２を参考にして、本発明の第１実施形態に係る検品システム１０００の機能構成を説明する。
【００２５】
図２は、本発明の第１実施形態に係る検品システム１０００の構成を示すブロック図である。図２に示すように検品システム１０００は、検品対象である荷物を撮影する画像撮影部１００及び画像撮影部１１０と、撮影した画像を解析して品名を特定し、数量を計算する検品装置２００と、結果を出力する出力部７００とを含む。
【００２６】
画像撮影部１００及び１１０は、画像を撮影する装置であり、一般的な監視カメラ等で良い。
【００２７】
画像撮影部１００及び１１０は、別々の方向から同一の荷物を撮影できるように調整された状態で、現場に固定される。画像撮影部１００及び１１０は、必ずしも図１に示すように、荷物の移動方向に対して垂直方向及び正面方向に設置されている必要はない。画像撮影部１００及び１１０は、移動する荷物を撮影可能な任意の位置に設置されていても良い。画像撮影部１００及び１１０は、撮影した画像を画像情報として検品装置２００に出力する。
【００２８】
検品装置２００は、画像撮影部１００及び１１０から出力される画像情報を解析して、荷物の品名の特定及び数量の計算を行う。
【００２９】
検品装置２００は、移動物体抽出部２１０と、画像生成部２２０と、領域認識部２３０と、品名特定部２４０と、数量計算部２５０と、方向判定部２６０とを含む。また、検品装置２００は、パレット特徴量ＤＢ２３５と、荷物特徴量ＤＢ２４５と、積付方法ＤＢ２５５とを含む（なお、ＤＢはデータベースの略である。）。
【００３０】
移動物体抽出部２１０は、予め画像情報として背景画像が設定されている。移動物体抽出部２１０は、画像撮影部１００及び１１０から出力された撮影画像と、予め設定された背景画像との差分に基づいて、撮影画像中の移動物体領域を抽出する。具体的には、移動物体抽出部２１０は、出力された撮影画像と、予め設定された背景画像とを比較して、画像間の差分を取ることで、パレット及びパレット上に積み付けされた入荷される荷物や出荷される荷物の領域である、移動物体領域を抽出する。
【００３１】
移動物体抽出部２１０は、画像撮影部１００及び１１０から出力されたそれぞれの撮影画像から移動物体領域を抽出するので、結果として二つの移動物体領域が抽出される。
【００３２】
移動物体抽出部２１０は、抽出した二つの移動物体領域の画像情報を画像生成部２２０に出力する。
【００３３】
画像生成部２２０は、移動物体抽出部２１０から出力された二つの移動物体領域の画像から移動物体の立体形状を推定する。画像生成部２２０は、移動物体の立体形状の推定に、ステレオ視等の技術を利用しても良い。ステレオ視とは、異なる位置に配置された二つのカメラを用いて、それぞれの二次元画像上の対応する点の間で三角測量を行うことにより立体形状を推定する技術である。
【００３４】
画像生成部２２０は、推定した立体形状を、画像撮影手段１００及び１１０の設置条件に従って変換することで、あたかも移動方向に対して垂直の方向から移動物体を撮影したかのような、移動物体領域の側面画像を生成する。画像生成部２２０は、あたかも正面から移動物体を撮影したかのような正面画像を生成するように構成されても良い。本実施形態においては、画像生成部２２０は、移動物体領域の側面画像を生成するものとして説明する。
【００３５】
画像生成部２２０は、生成した移動物体領域の側面画像の情報を領域認識部２３０に出力する。
【００３６】
領域認識部２３０は、画像生成部２２０から出力された移動物体領域の側面画像に対し、パレット画像の特徴量でマッチングを行うことで、パレットの領域を認識する。パレットとは荷物を載せる台である。
【００３７】
具体的には、領域認識部２３０は、画像生成部２２０から出力された側面画像の移動物体領域内で、パレット画像の大きさを変えながら特徴量のマッチング処理を繰り返し、パレット画像の特徴量が一致する領域を特定する。領域認識部２３０は、移動物体領域の側面画像の下部からマッチング処理を行っても良い。画像の下部からマッチング処理を行うことで、領域認識部２３０は、効率的にパレットの位置を特定することができる。
【００３８】
一箇所でマッチングしたら、領域認識部２３０は、マッチングした領域の上部の領域で、さらにマッチング処理を繰り返しても良い。マッチング処理を繰り返すことにより、領域認識部２３０は、パレットだけを運んでいる場合と、パレットの上に荷物を載せている場合とを判別する。
【００３９】
パレット画像の特徴量は、パレット特徴量ＤＢ２３５に格納されているものとする。パレット特徴量ＤＢ２３５は、パレットの側面画像の特徴量の情報を記憶している。また、パレット特徴量ＤＢ２３５は、パレットの正面画像の特徴量の情報を記憶していても良い。
【００４０】
使用されるパレットは、必ずしも単一の形状及び色でなくても良い。領域認識部２３０は、記憶している特徴量のパレットと同一のパレットを認識するのみならず、特徴量の値にある程度の幅を持たせて、似ている形状及び色の物体をパレットとして認識しても良い。形状及び色が全く異なる複数のパレットを使用する場合には、パレット特徴量ＤＢ２３５は、使用するパレット毎に複数の特徴量を記憶していても良い。
【００４１】
なお、荷物が載せられている対象は、必ずしもパレットである必要はない。ベルトコンベアのように一定の特徴を持ったものであれば、領域認識部２３０は荷物が載せられている対象を認識することが可能である。その場合、パレット特徴量ＤＢ２３５は、ベルトコンベアの特徴量を格納していれば良い。
【００４２】
領域認識部２３０は、移動物体領域からパレット領域を除いた領域（移動物体領域におけるパレット領域の上部の領域）を、荷物が存在する可能性のある領域である荷物存在領域として認識する。領域認識部２３０は、認識した荷物存在領域の側面画像の画像情報を品名特定部２４０に出力する。
【００４３】
品名特定部２４０は、荷物存在領域の側面画像に対し、荷物画像の特徴量でマッチングを行うことで荷物領域を特定し、荷物の品名を特定する。
【００４４】
具体的には、品名特定部２４０は、側面画像の荷物存在領域内で、荷物画像の大きさを変えながら特徴量のマッチング処理を繰り返し、荷物画像の特徴量が一致する領域を特定する。
【００４５】
品名特定部２４０は、一つの荷物領域を特定すると処理を中止しても良いし、特定可能な限り複数の荷物領域を特定しても良い。
【００４６】
なお、本実施形態においては、パレットに積み付けされている荷物は一種類であり、複数の荷物が混載されておらず、各段には荷物がもれなく積まれていることを前提としている。荷物が一種類ではなく、段毎に荷物の種類及び積み付け方法が異なっていても良い。その場合には、品名特定部２４０は、段毎に複数の荷物画像の特徴量のマッチング処理を繰り返して、特徴量が一致する領域を特定しても良い。
【００４７】
荷物画像の特徴量は、荷物特徴量ＤＢ２４５に格納されているものとする。荷物特徴量ＤＢ２４５は、荷物画像の特徴量として、梱包（ダンボール等）の表面画像の特徴量の情報を格納していても良い。荷物特徴量ＤＢ２４５は、品名毎の荷物の側面画像又は正面画像の特徴量を格納していても良い。荷物特徴量ＤＢ２４５は、梱包の正面又は側面の形状、模様若しくは色彩又はこれらの結合に関する情報を特徴量として格納していても良い。例えば、荷物画像の特徴量は、梱包の色彩の分布情報等でも良い。複数の荷物が混載されている場合には、荷物特徴量ＤＢ２４５は、それぞれの異なる荷物毎に荷物画像の特徴量を格納していても良い
また、荷物特徴量ＤＢ２４５は、荷物画像の特徴量と、荷物の品名とを関連付けて格納する。品名特定部２４０は、荷物画像の特徴量が一致すると、荷物特徴量ＤＢ２４５を参照して、該一致した特徴量と関連づけられている品名を、その荷物の品名であると特定する。
【００４８】
品名特定部２４０は、荷物領域が特定された荷物存在領域を示す画像情報と、特定した荷物の品名を示す情報とを数量計算部２５０に出力する。
【００４９】
数量計算部２５０は、特定された品名に基づいて、荷物の積み付け方法を特定し、荷物存在領域及び特定した積み付け方法に基づいて荷物の数量を計算する。積付方法ＤＢ２５５は、品名毎の梱包の大きさを合わせて格納していても良い。
【００５０】
まず、数量計算部２５０は、品名と、荷物の積み付け方法とを関連付けて格納する積付方法ＤＢ２５５を参照し、積み付け方法を特定する。次に数量計算部２５０は、積付方法ＤＢ２５５を参照し、特定した積み付け方法で積み付けた場合の一段辺りの荷物の個数を特定する。
【００５１】
次に、数量計算部２５０は、マッチングした荷物画像の大きさ又は積付方法ＤＢ２５５が格納する梱包の大きさの情報を用いて、荷物存在領域における荷物の積まれた段数を特定する。または数量計算部２５０は、品名特定部２４０によって複数の荷物領域が特定された荷物存在領域の画像情報を参考にして、荷物が積まれた段数を特定しても良い。
【００５２】
数量計算部２５０は、特定した一段辺りの荷物の個数と、荷物が積まれた段数とを乗算して、荷物の数量を計算する。
【００５３】
別の方法として、数量計算部２５０は、画像生成部２２０が推定した移動物体の立体形状を用いて荷物の数量を計算しても良い。その場合、数量計算部２５０は、積付方法ＤＢ２５５を参照して特定した積付方法と、マッチングした荷物画像の大きさ及び梱包の大きさとから、立体形状の領域内における荷物の横並びの数及び段数を特定し、荷物の数量を計算しても良い。
【００５４】
方向判定部２６０は、時刻ｔにおいて撮影された撮影画像中の移動物体領域と、時刻ｔ＋１において撮影された撮影画像中の移動物体領域との位置を比較して、移動物体が右方向に移動しているか左方向に移動しているかを判定する。方向判定部２６０は、移動物体が右方向に移動していると判定した場合は入荷、左方向に移動していると判定した場合は出荷、などの設定により入荷又は出荷の状況判断を行う。
【００５５】
出力部７００は、検品装置２００にて特定された品名、計算された荷物の数量及び入荷又は出荷の状態を示す情報を出力する。
【００５６】
出力部７００は、ディスプレイのような表示装置であっても良いし、他の装置やシステムへ出力情報を送信する装置であっても良い。例えば、入荷検品や出荷検品の情報を管理するシステムと接続するためのコンピュータでも良い。
【００５７】
次に、図３を参照して、本発明の第１実施形態の動作について説明する。
【００５８】
図３は、本発明の第１実施形態に係る検品システム１０００の動作を示すフローチャート図である。図３に示すように、検品装置２００は、画像撮影部１００及び１１０から、撮影画像を受信する（ステップＡ１）。画像撮影部１００及び１１０は、荷物の移動方向に対して、例えばそれぞれ右斜め上部と左斜め上部に設置されている。
【００５９】
検品装置２００が画像撮影部１００及び１１０から撮影画像を受信すると、移動物体抽出部２１０は、それぞれの撮影画像に対して背景画像と差分を取る処理を行い、移動物体領域を抽出する（ステップＡ２）。移動物体抽出部２１０は、抽出した移動物体領域の画像情報を画像生成部２２０に出力する。
【００６０】
画像生成部２２０は、画像撮影部１００及び１１０のそれぞれの移動物体の見え方の違いから、移動物体の立体形状を推定し、移動物体領域の側面画像を生成する（ステップＡ３）。画像生成部２２０は、移動物体領域を画像撮影部１００及び１１０の設置条件に従って変換することで、あたかも移動物体領域に存する移動物体を側面から撮影した側面画像を生成する。画像生成部２２０は、生成した移動物体領域の側面画像の画像情報を領域認識部２３０に出力する。
【００６１】
領域認識部２３０は、移動物体抽出部２１０から画像情報が出力されると、移動物体領域の側面画像に対して、パレット画像の特徴量をマッチングさせてパレット領域を認識する（ステップＡ４）。パレット領域を認識すると、領域認識部２３０は、認識した領域の上部の領域に対してもパレット特徴量のマッチング処理を行う。上部領域でパレット特徴量がマッチングしない場合は、領域認識部２３０は、パレットに荷物が積み付けされていると判断し、当該上部領域を荷物存在領域であると認識する（ステップＡ４）。
【００６２】
上部領域でもパレット特徴量がマッチングした場合は、領域認識部２３０は、マッチング処理を繰り返して、移動物体上にパレットのみが積載されているかどうかを判断する。全てパレットであった場合は、検品装置２００における処理はそこで処理を終了する。
【００６３】
パレット上部に荷物が積み付けされていると判断した場合、領域認識部２３０は、荷物が積み付けされている領域である荷物存在領域の画像情報を品名特定部２４０に出力する。
【００６４】
品名特定部２４０は、荷物特徴量ＤＢ２４５から荷物画像の特徴量を取得し、荷物存在領域内においてマッチング処理を行う。マッチングした場合は、品名特定部２４０は、荷物特徴量ＤＢ２４５を参照して、該マッチングした荷物画像の特徴量に対応する品名を荷物の品名であると特定する（ステップＡ５）。
【００６５】
品名特定部２４０は、一つの荷物領域を特定したら処理を終了しても良いし、特定可能な限り、荷物存在領域全体に対してマッチング処理を繰り返しても良い。その場合、品名特定部２４０は、既にマッチングした領域の横方向や縦方向に対して同一の大きさの荷物画像の特徴量のマッチング処理を行っても良い。
【００６６】
荷物が複数段に積み付けされている場合、品名特定部２４０は、特定可能な限り複数段において荷物領域を特定することで、荷物の数量の計算の精度を高めても良い。複数の荷物領域（1つでも良い)が特定された後、品名特定部２４０は、荷物領域が特定された荷物存在領域の画像情報を数量計算部２５０へ出力する。
【００６７】
数量計算部２５０は、品名特定部２４０により特定された荷物の品名から積付方法ＤＢ２５５に登録されている積み付け方法の情報を取得する。数量計算部２５０は、取得した積み付け方法及び荷物存在領域の画像情報に基づいて荷物の数量を計算する（ステップＡ６）。その際に、数量計算部２５０は、品名特定部２４０でマッチングした画像領域の大きさや、積付方法ＤＢ２５５が別途格納している梱包の大きさなどの情報を利用して、積み付けの段数や横並びの個数を特定して、荷物の数量を計算する態様にしても良い。
【００６８】
方向判定部２６０は、移動物体抽出部２１０からの、移動物体領域が抽出された画像情報を時刻ｔと時刻ｔ＋１で比較して、移動物体の移動方向を推定する（ステップＡ７）。方向判定部２６０は、移動方向の推定処理を複数回実施して、推定精度を高めても良い。さらに、方向判定部２６０は、複数回実施後に、時刻ｔと時刻ｔ＋ｎの画像情報を比較して、移動方向の判定に誤りが無いかどうかを検証しても良い。
【００６９】
方向判定部２６０は、判定した移動方向及び事前の設定から、移動物体が入荷又は出荷のどちらかの状態であるかを判定する。
【００７０】
次に図４〜図９を参照して、図３の各ステップを、具体例を用いて説明する。
【００７１】
図３のステップＡ２において、移動物体抽出部２１０は、撮影画像から移動物体領域を抽出し、ステップＡ３において画像生成部２２０は、移動物体領域の側面画像を生成する。
【００７２】
図４は、抽出した移動物体領域３００の側面画像のイメージ図である。ここで側面とは、図１において定義したように、荷物の移動方向に対して垂直な方向から見た移動物体の面である。
【００７３】
図３のステップＡ４において、領域認識部２３０は、荷物存在領域内においてパレット領域及び荷物存在領域を認識する。
【００７４】
図５は、移動物体領域３００の側面画像中におけるパレット領域３１０及び荷物存在領域３２０を現すイメージ図である。図５に示すように、領域認識部２３０は、パレット領域３１０を認識すると、その上部領域に対してパレット画像の特徴量のマッチング処理を繰り返し、マッチングしなかった場合は当該上部領域を荷物存在領域３２０として認識する。
【００７５】
図３のステップＡ５において、品名特定部２４０は、品名の特定にあたり、まず荷物画像の特徴量のマッチング処理を行い、荷物領域を特定する。
【００７６】
図６は、図５で示すイメージ図において、さらに特定した荷物領域３３０を現すイメージ図である。図６に示すように、品名特定部２４０は、特定可能な限り荷物画像の特徴量のマッチング処理を繰り返して、複数の荷物領域３３０を特定しても良い。図６においては、品名特定部２４０は、６個の荷物領域を特定している。６個の荷物領域のうち、２つが荷物の正面画像の特徴量とマッチングした画像であり、４つが側面画像の特徴量とマッチングした画像である。
【００７７】
なお、図６において、移動物体領域３００中に荷物領域３３０が特定されていない空白の領域が存在するが、当該領域には荷物が存在していない訳ではない。例えば荷物の梱包の汚れ等の原因により、単に特徴量がマッチングしなかっただけであり、実際には荷物が存在している。
【００７８】
図７は、荷物特徴量ＤＢ２４５が格納する、荷物画像の特徴量と品名とを関連付けたデータの例である。図７に示すように、特徴量Ｘは品名Ａと、特徴量Ｙは品名Ｂと、特徴量Ｚは品名Ｃとそれぞれ対応している。本実施形態においては、例えば特徴量Ｘがマッチングし、品名特定部２４０は、荷物の品名は品名Ａであると特定する。
【００７９】
図３のステップＡ６において、数量計算部２５０は荷物の数量を計算する。
【００８０】
図８は、積付方法ＤＢ２５５が格納する、荷物の品名と、荷物の梱包の大きさと、荷物の積み付け方法の番号とを関連付けたデータの例である。図８に示すように、例えば品名Ａは、梱包の大きさ「475 / 300」と、積み付け方法を示す番号である「３」と対応している。
【００８１】
図９は、図８に加えて、積付方法ＤＢ２５５が格納する荷物の積み付けに関するデータの例である。図９で示すデータは、例えば積付方法番号「３」の場合、積み付け方法の名称が「ピンホール積み付け」であり、積み付けた場合の一段当たりの荷物の個数は「８個」であることを示す。
【００８２】
図９では積み付け方法として「ブロック積み付け」及び「ピンホール積み付け」が記載されているが、他には例えば「レンガ積み付け」や「交互積み付け」等がある。積付方法ＤＢ２５５は、積み付けの方法や梱包の大きさに応じて異なる一段辺りの荷物の個数を記憶している。
【００８３】
数量計算部２５０は、マッチングした荷物画像の大きさ又は積付方法ＤＢ２５５が格納する梱包の大きさの情報を用いる等の方法により、荷物存在領域における荷物の積まれた段数を特定する。数量計算部２５０は、特定した一段辺りの荷物の個数と、荷物が積まれた段数とを乗算して、荷物の数量を計算する。具体的には数量計算部２５０は、一段辺り８個の荷物が三段積まれており、荷物は計２４個であると計算する。
【００８４】
なお、積付方法ＤＢ２５５は、図８と図９とを結合した一つのデータを格納していても良い。また、上述の方法で荷物の数量を計算する場合には、積付方法ＤＢ２５５は、梱包の大きさのデータを保持していなくても良い。梱包の大きさのデータを保持している場合は、数量を計算する他の方法として、数量計算部２５０は、該データを用いて、例えば画像生成部２２０が推定した立体形状の情報に基づいて荷物の個数を計算しても良い。
【００８５】
以上説明したように、第１実施形態に係る検品システム１０００によれば、多くのコストをかけることなく、(1)品名の特定、及び(2)数量の計算、の２つの作業を人手によらずに自動化して行うことが可能となる。
【００８６】
具体的には、第１実施形態に係る検品システム１０００は、画像を活用することにより、荷物に対して何かを取り付けたり、取り外したりする必要がなく、また、人が装置を使用する必要も無いため、人的コスト及び金銭的コストが抑えられる。また、検品に必要な、品名と数量の２つの情報を、画像解析という一つの方法で取得することが可能となるため、装置の演算コストが最小限に抑えられる。
【００８７】
また、第１実施形態に係る検品システム１０００によれば、画像情報を記憶しておくことで、後から品名や数量のチェックが可能となる。
【００８８】
＜第２実施形態＞
次に、本発明の第２実施形態に係る検品システム２０００の機能構成を説明する。
【００８９】
図１０は、第２実施形態に係る検品システム２０００の構成を示すブロック図である。図１０に示すように、検品システム２０００は、第１実施形態における検品システム１０００と比較すると、検品装置２００に代えて検品装置４００を含む点で異なる。検品装置４００は、検品装置２００と比較すると、画像生成部２２０、領域認識部２３０、品名特定部２４０及び数量計算部２５０のそれぞれに代えて、画像生成部４２０、領域認識部４３０、品名特定部４４０及び数量計算部４５０を含む。
【００９０】
画像生成部４２０、領域認識部４３０、品名特定部４４０及び数量計算部４５０は、それぞれ画像生成部２２０、領域認識部２３０、品名特定部２４０及び数量計算部２５０と同様の機能に加え、以下に説明する機能を有する。
【００９１】
画像生成部４２０は、移動物体領域の側面画像の他に、移動物体領域について、推定した立体形状からさらに荷物の移動方向に対して正面から撮影された画像である正面画像を生成する。画像生成部４２０は、移動物体領域の側面画像の他に、生成した移動物体領域の正面画像の画像情報を領域認識部４３０に出力する。
【００９２】
領域認識部４３０は、移動物体領域の側面画像における荷物存在領域を認識するだけでなく、さらに移動物体領域の正面画像における荷物存在領域を認識する。領域認識部４３０は、認識した２つの荷物存在領域の画像情報を、品名特定部４４０に出力する。
【００９３】
品名特定部４４０は、２つの荷物存在領域のいずれか又は両方に対し荷物画像の特徴量をマッチングすることで品名を特定し、２つの荷物存在領域のそれぞれにおける複数の荷物領域を特定可能な限り特定する。品名特定部４４０は、複数の荷物領域が特定された２つの荷物存在領域の画像情報を、数量計算部４５０に出力する。
【００９４】
数量計算部４５０は、複数の荷物領域が特定された２つの荷物存在領域と、特定した積み付け方法に基づいて荷物の数量を計算する。
【００９５】
図１１は、移動物体領域の正面画像において、荷物領域３３０を特定したイメージ図である。数量計算部４５０は、図６において示される移動物体領域の側面画像と、図１１において示される移動物体領域の正面画像に基づいて荷物の数量を計算する。
【００９６】
数量計算部４５０は、図６と図１１とから、一部の荷物存在領域がかけていると判定し、図６及び図１１の荷物存在領域の見え方及び荷物の積み付け方法等の情報から、荷物はそれぞれ一段目に８個、二段目に８個、三段目に４個の計２０個であると計算する。
【００９７】
以上説明したように、第２実施形態に係る検品システム２０００によれば、荷物が積まれていない領域がある場合において正確に数量を計算することができる。
【００９８】
なお、本実施形態においては、側面画像と正面画像の２つの画像を用いる態様としたが、これに限られず、様々な方向から撮影された複数の画像を用いて、より正確に数量を計算しても良い。
【００９９】
＜第３実施形態＞
次に、図１２を参照して本発明の第３実施形態である検品装置５００の機能構成を説明する。
【０１００】
図１２は、検品装置５００の構成を示すブロック図である。図１２に示すように、検品装置５００は、移動物体抽出部５１０と、領域認識部５２０と、品名特定部５３０と、数量計算部５４０とを含む。なお、これらは上述した移動物体抽出部２１０と、領域認識部２３０と、品名特定部２４０と、数量計算部２５０と同様の構成である。
【０１０１】
移動物体抽出部５１０は、撮影された画像である撮影画像と、予め設定された背景画像との差分に基づいて、前記撮影画像中の移動物体領域を抽出する。
【０１０２】
領域認識部５２０は、移動物体領域の側面画像に対し、パレット画像の特徴量でマッチングを行うことで認識したパレット領域を、移動物体領域から除いて荷物存在領域を認識する。
【０１０３】
品名特定部５３０は、荷物存在領域の側面画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定する。
【０１０４】
数量計算部５４０は、特定された品名に基づいて、荷物の積み付け方法を特定し、荷物存在領域及び特定した積み付け方法に基づいて荷物の数量を計算する。
【０１０５】
以上説明したように、検品装置５００によれば、多くのコストをかけることなく、(1)品名の特定、及び(2)数量の計算、の２つの作業を人手によらずに自動化して行うことが可能となる。
【０１０６】
以上、各実施形態を参照して本発明を説明したが、本発明は以上の実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で同業者が理解し得る様々な変更をすることができる。
【０１０７】
図１３は、検品装置２００のハードウェア構成の一例を示すブロック図である。
【０１０８】
図１３に示すように、検品装置２００を構成する各部は、ＣＰＵ（Central Processing Unit）１と、ネットワーク接続用の通信ＩＦ２（通信インターフェース２）と、メモリ３と、プログラムを格納するハードディスク等の記憶装置４とを含む、コンピュータ装置によって実現される。ただし、検品装置２００の構成は、図１３に示すコンピュータ装置に限定されない。
【０１０９】
例えば、検品装置２００は、通信ＩＦ２を介して外部から画像を受信しても良い。
【０１１０】
ＣＰＵ１は、オペレーティングシステムを動作させて検品装置２００の全体を制御する。また、ＣＰＵ１は、例えばドライブ装置などに装着された記録媒体からメモリ３にプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
【０１１１】
例えば移動物体抽出部２１０、画像生成部２２０、領域認識部２３０、品名特定部２４０、数量計算部２５０及び方向判定部２６０は、ＣＰＵ１及びプログラムによって実現されても良い。
【０１１２】
記録装置４は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
【０１１３】
例えば、パレット特徴量ＤＢ２３５、荷物特徴量ＤＢ２４５及び積付方法ＤＢ２５５は、記録装置４によって実現されても良い。
【０１１４】
なお、これまでに説明した各実施形態において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア及びソフトウェアの任意の組み合わせによって実現される。また、検品装置２００の構成部の実現手段は特に限定されない。すなわち、検品装置２００は、物理的に結合した一つの装置により実現されても良いし、物理的に分離した二つ以上の装置を有線又は無線で接続し、これら複数の装置により実現されても良い。
【０１１５】
本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
【産業上の利用可能性】
【０１１６】
本発明は、物流拠点や倉庫業、製造工場からの出荷業務などで適用可能である。
【符号の説明】
【０１１７】
１ ＣＰＵ
２ 通信ＩＦ
３ メモリ
４ 記憶装置
１００、１１０、６１０、６２０ 画像撮影部
２００、４００、５００ 検品装置
２１０、５１０ 移動物体抽出部
２２０、４２０ 画像生成部
２３０、４３０、５２０ 領域認識部
２３５ パレット特徴量ＤＢ
２４０、４４０、５３０ 品名特定部
２４５ 荷物特徴量ＤＢ
２５０、４５０、５４０ 数量計算部
２５５ 積付方法ＤＢ
２６０ 方向判定部
７００ 出力部
１０００、２０００ 検品システム
【技術分野】
【０００１】
本発明は、荷降ろし又は積み込み作業時における入荷検品又は出荷検品を自動化する検品装置、検品方法及びプログラムに関する。
【背景技術】
【０００２】
荷降ろしや荷物の積み込み作業時における検品作業を、人手によらずに自動化して行う技術が知られている。
【０００３】
特許文献１には、特徴的な図柄を有する既知の対象物を、搬送中に検品するための画像処理検品装置が開示されている。特許文献１に記載の画像処理装置において、撮像手段は、検品対象物を撮影する。画像メモリは、撮影された画像データを取り込む。抽出手段は、該画像メモリ上の画像データから、検品対象物に含まれる特徴的な塊状図形を抽出する。特徴量測定手段は、該抽出された各塊状図形の特徴量を測定する。特徴量ヒストグラムパターン作成手段は、求めた特徴量の値の組み合わせにより検品対象物の特徴量ヒストグラムパターンを作成する。識別手段は、この作成した特徴量ヒストグラムパターンを用いて、検品対象物を識別する。
【０００４】
特許文献１に記載の画像処理検品装置は、上記構成を採用することで、搬送系の影響によって検品対象物が回転や位置ずれを生じた場合でも、簡便な方法で、高い認識精度と高速性を保証する。
【０００５】
また、特許文献２には、配送元での出荷検品作業に用いられる配送元端末と、配送先での入荷検品作業に用いられる配送先端末とからなり、配送する商品を収納する収納箱にＲＦＩＤタグを設けた入出荷検品システムが開示されている。特許文献２に記載の入出荷検品システムの配送元端末において、箱番号入力手段は、収納箱の箱番号を入力する。商品番号入力手段は、収納箱に収納する前記商品の商品番号および数量を入力する。配送データ書き込み手段は、箱番号入力手段によって入力された前記箱番号と前記商品番号入力手段によって入力された商品番号および数量とを配送データとしてＲＦＩＤタグに書き込む。ＡＳＮデータ作成手段は、箱番号入力手段によって入力された箱番号と商品番号入力手段によって入力された商品番号および数量とを少なくとも含むＡＳＮデータを作成する。ＡＳＮデータ送信手段は、ＡＳＮデータ作成手段によって作成されたＡＳＮデータを配送先端末に送信する。
【０００６】
特許文献２に記載の入出荷検品システムは、上記構成を採用することで、収納箱に収納されている商品の詳細データをネットワーク上のホストコンピュータによって一元管理する必要をなくす等の効果を奏し、入荷検品作業の手間と時間とを削減する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０８−０９４３３５
【特許文献２】特開２００６−１０３９２９
【発明の概要】
【発明が解決しようとする課題】
【０００８】
検品作業は、(1)品名の特定、及び(2)数量の計算、という２つの作業から成り立っている。特許文献１に記載の画像処理検品装置によれば、撮影方向等の一定の条件を満たした画像を撮影できることを前提として、特徴量ヒストグラムパターンを用いて、検品対象物を識別することで品名を特定することができる。しかしながら該画像処理検品装置のみでは、品名を特定することはできても(2)の数量を計算する作業をすることができず、検品対象物の数量の計算は人手によらざるを得ない。
【０００９】
特許文献２に記載の入出荷検品システムによれば、上記(1)及び(2)の作業を、人手によらずに自動化して行うことができる。しかしながら特許文献２に記載の入出荷検品システムを実施するためには、配送する多数の商品の収納箱にＲＦＩＤタグを取り付ける等の必要があるため、取り付け作業にかかる人的なコストや、ＲＦＩＤタグ自体の金銭的なコスト等、多くのコストがかかる。
【００１０】
以上より、本発明の目的は、多くのコストをかけることなく、(1)品名の特定、及び(2)数量の計算、の２つの作業を人手によらずに自動化して行うことが可能な技術を提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明における検品装置は、撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定する品名特定手段と、前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する数量計算手段と、を含む。
【００１２】
また、上記目的を達成するため、本発明における検品システムは、画像を撮影する一又は二以上の画像撮影手段と、検品装置と、前記検品装置において特定した荷物の品名と、計算した荷物の数量を出力する出力手段と、を含む。
【００１３】
また、上記目的を達成するため、本発明における検品方法は、撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定し、前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する。
【００１４】
また、上記目的を達成するため、本発明におけるプログラムは、撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定し、前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する、処理をコンピュータに実行させる。
【発明の効果】
【００１５】
本発明によれば、多くのコストをかけることなく、(1)品名の特定、及び(2)数量の計算、の２つの作業を人手によらずに自動化して行うことが可能となる。
【図面の簡単な説明】
【００１６】
【図１】正面画像及び側面画像の定義について説明するための図である。
【図２】本発明の第１実施形態に係る検品システム１０００の構成を示すブロック図である。
【図３】本発明の第１実施形態に係る検品システム１０００の動作を示すフローチャート図である。
【図４】抽出した移動物体領域３００の側面画像のイメージ図である。
【図５】移動物体領域３００の側面画像中におけるパレット領域３１０及び荷物存在領域３２０を現すイメージ図である。
【図６】図５で示すイメージ図において、さらに特定した荷物領域３３０を現すイメージ図である。
【図７】荷物特徴量ＤＢ２４５が格納する、荷物画像の特徴量と品名とを関連付けたデータの例である。
【図８】積付方法ＤＢ２５５が格納する、荷物の品名と、荷物の梱包の大きさと、荷物の積み付け方法の番号とを関連付けたデータの例である。
【図９】図８に加えて、積付方法ＤＢ２５５が格納する荷物の積み付けに関するデータの例である。
【図１０】第２実施形態に係る検品システム２０００の構成を示すブロック図である。
【図１１】移動物体領域の正面画像において、荷物領域３３０を特定したイメージ図である。
【図１２】検品装置５００の構成を示すブロック図である。
【図１３】検品装置２００のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１７】
＜第１実施形態＞
まず、本発明の実施形態の理解を容易にするために、本発明の背景を詳細に説明する。
【００１８】
検品作業は、(1)品名の特定、(2)数量の計算、という２つの作業から成り立っている。(1)又は(2)の作業に関連する技術が多数存在する。例えば、品名を特定する技術として、画像認識技術や、バーコードリーダ又はＲＦＩＤタグを用いた技術等が存在する。また、数量を計算する技術として、ＲＦＩＤタグを用いた技術や、重量検知の技術等が存在する。特許文献２に記載のように、ＲＦＩＤタグは、(1)及び(2)の作業に利用することができるが、現実の運用では、ＲＦＩＤタグの取り付け及び取り外しの作業にかかる人的なコストが問題になる。また、ＲＦＩＤタグ自体や読取アンテナの設置工事等にかかる金銭的なコストが多額であり、問題となっていた。
【００１９】
コストを抑えるために、画像認識技術の活用を考えた場合、撮影方向等の一定の条件を満たした画像、例えば正面から撮影した画像を用いることができれば、品名を特定することはできる。しかしながら、検品作業を行う現場の環境によっては、必ずしも条件の良い画像が撮影できるとは限らない。また、検品作業を行う現場によっては、撮影距離が一定に保てず、画像上の検品対象物の大きさが変動することから、正確な数量を計算することができない。
【００２０】
上述の課題は、特許文献１又は特許文献２によっても解決することができない。
【００２１】
以下に説明される本発明の第１実施形態によれば、多くのコストをかけることなく、検品作業を人手によらずに自動化して行うことが可能となる。
【００２２】
まず、図１を用いて、本実施形態における正面画像及び側面画像の定義について説明する。
【００２３】
図１は、本実施形態における正面画像及び側面画像の定義について説明するための図である。図１は、荷物の移動の様子を上部から捉えた図である。図１において、矢印は荷物６００の移動方向を表す。本実施形態においては、荷物６００の移動方向に対して垂直な方向に設置された画像撮影部６１０で画像を撮影した場合の、当該撮影された画像を側面画像と定義する。また、荷物６００の移動方向に対して正面に設置された画像撮影部６２０で画像を撮影した場合の、当該撮影された画像を正面画像と定義する。
【００２４】
次に、図２を参考にして、本発明の第１実施形態に係る検品システム１０００の機能構成を説明する。
【００２５】
図２は、本発明の第１実施形態に係る検品システム１０００の構成を示すブロック図である。図２に示すように検品システム１０００は、検品対象である荷物を撮影する画像撮影部１００及び画像撮影部１１０と、撮影した画像を解析して品名を特定し、数量を計算する検品装置２００と、結果を出力する出力部７００とを含む。
【００２６】
画像撮影部１００及び１１０は、画像を撮影する装置であり、一般的な監視カメラ等で良い。
【００２７】
画像撮影部１００及び１１０は、別々の方向から同一の荷物を撮影できるように調整された状態で、現場に固定される。画像撮影部１００及び１１０は、必ずしも図１に示すように、荷物の移動方向に対して垂直方向及び正面方向に設置されている必要はない。画像撮影部１００及び１１０は、移動する荷物を撮影可能な任意の位置に設置されていても良い。画像撮影部１００及び１１０は、撮影した画像を画像情報として検品装置２００に出力する。
【００２８】
検品装置２００は、画像撮影部１００及び１１０から出力される画像情報を解析して、荷物の品名の特定及び数量の計算を行う。
【００２９】
検品装置２００は、移動物体抽出部２１０と、画像生成部２２０と、領域認識部２３０と、品名特定部２４０と、数量計算部２５０と、方向判定部２６０とを含む。また、検品装置２００は、パレット特徴量ＤＢ２３５と、荷物特徴量ＤＢ２４５と、積付方法ＤＢ２５５とを含む（なお、ＤＢはデータベースの略である。）。
【００３０】
移動物体抽出部２１０は、予め画像情報として背景画像が設定されている。移動物体抽出部２１０は、画像撮影部１００及び１１０から出力された撮影画像と、予め設定された背景画像との差分に基づいて、撮影画像中の移動物体領域を抽出する。具体的には、移動物体抽出部２１０は、出力された撮影画像と、予め設定された背景画像とを比較して、画像間の差分を取ることで、パレット及びパレット上に積み付けされた入荷される荷物や出荷される荷物の領域である、移動物体領域を抽出する。
【００３１】
移動物体抽出部２１０は、画像撮影部１００及び１１０から出力されたそれぞれの撮影画像から移動物体領域を抽出するので、結果として二つの移動物体領域が抽出される。
【００３２】
移動物体抽出部２１０は、抽出した二つの移動物体領域の画像情報を画像生成部２２０に出力する。
【００３３】
画像生成部２２０は、移動物体抽出部２１０から出力された二つの移動物体領域の画像から移動物体の立体形状を推定する。画像生成部２２０は、移動物体の立体形状の推定に、ステレオ視等の技術を利用しても良い。ステレオ視とは、異なる位置に配置された二つのカメラを用いて、それぞれの二次元画像上の対応する点の間で三角測量を行うことにより立体形状を推定する技術である。
【００３４】
画像生成部２２０は、推定した立体形状を、画像撮影手段１００及び１１０の設置条件に従って変換することで、あたかも移動方向に対して垂直の方向から移動物体を撮影したかのような、移動物体領域の側面画像を生成する。画像生成部２２０は、あたかも正面から移動物体を撮影したかのような正面画像を生成するように構成されても良い。本実施形態においては、画像生成部２２０は、移動物体領域の側面画像を生成するものとして説明する。
【００３５】
画像生成部２２０は、生成した移動物体領域の側面画像の情報を領域認識部２３０に出力する。
【００３６】
領域認識部２３０は、画像生成部２２０から出力された移動物体領域の側面画像に対し、パレット画像の特徴量でマッチングを行うことで、パレットの領域を認識する。パレットとは荷物を載せる台である。
【００３７】
具体的には、領域認識部２３０は、画像生成部２２０から出力された側面画像の移動物体領域内で、パレット画像の大きさを変えながら特徴量のマッチング処理を繰り返し、パレット画像の特徴量が一致する領域を特定する。領域認識部２３０は、移動物体領域の側面画像の下部からマッチング処理を行っても良い。画像の下部からマッチング処理を行うことで、領域認識部２３０は、効率的にパレットの位置を特定することができる。
【００３８】
一箇所でマッチングしたら、領域認識部２３０は、マッチングした領域の上部の領域で、さらにマッチング処理を繰り返しても良い。マッチング処理を繰り返すことにより、領域認識部２３０は、パレットだけを運んでいる場合と、パレットの上に荷物を載せている場合とを判別する。
【００３９】
パレット画像の特徴量は、パレット特徴量ＤＢ２３５に格納されているものとする。パレット特徴量ＤＢ２３５は、パレットの側面画像の特徴量の情報を記憶している。また、パレット特徴量ＤＢ２３５は、パレットの正面画像の特徴量の情報を記憶していても良い。
【００４０】
使用されるパレットは、必ずしも単一の形状及び色でなくても良い。領域認識部２３０は、記憶している特徴量のパレットと同一のパレットを認識するのみならず、特徴量の値にある程度の幅を持たせて、似ている形状及び色の物体をパレットとして認識しても良い。形状及び色が全く異なる複数のパレットを使用する場合には、パレット特徴量ＤＢ２３５は、使用するパレット毎に複数の特徴量を記憶していても良い。
【００４１】
なお、荷物が載せられている対象は、必ずしもパレットである必要はない。ベルトコンベアのように一定の特徴を持ったものであれば、領域認識部２３０は荷物が載せられている対象を認識することが可能である。その場合、パレット特徴量ＤＢ２３５は、ベルトコンベアの特徴量を格納していれば良い。
【００４２】
領域認識部２３０は、移動物体領域からパレット領域を除いた領域（移動物体領域におけるパレット領域の上部の領域）を、荷物が存在する可能性のある領域である荷物存在領域として認識する。領域認識部２３０は、認識した荷物存在領域の側面画像の画像情報を品名特定部２４０に出力する。
【００４３】
品名特定部２４０は、荷物存在領域の側面画像に対し、荷物画像の特徴量でマッチングを行うことで荷物領域を特定し、荷物の品名を特定する。
【００４４】
具体的には、品名特定部２４０は、側面画像の荷物存在領域内で、荷物画像の大きさを変えながら特徴量のマッチング処理を繰り返し、荷物画像の特徴量が一致する領域を特定する。
【００４５】
品名特定部２４０は、一つの荷物領域を特定すると処理を中止しても良いし、特定可能な限り複数の荷物領域を特定しても良い。
【００４６】
なお、本実施形態においては、パレットに積み付けされている荷物は一種類であり、複数の荷物が混載されておらず、各段には荷物がもれなく積まれていることを前提としている。荷物が一種類ではなく、段毎に荷物の種類及び積み付け方法が異なっていても良い。その場合には、品名特定部２４０は、段毎に複数の荷物画像の特徴量のマッチング処理を繰り返して、特徴量が一致する領域を特定しても良い。
【００４７】
荷物画像の特徴量は、荷物特徴量ＤＢ２４５に格納されているものとする。荷物特徴量ＤＢ２４５は、荷物画像の特徴量として、梱包（ダンボール等）の表面画像の特徴量の情報を格納していても良い。荷物特徴量ＤＢ２４５は、品名毎の荷物の側面画像又は正面画像の特徴量を格納していても良い。荷物特徴量ＤＢ２４５は、梱包の正面又は側面の形状、模様若しくは色彩又はこれらの結合に関する情報を特徴量として格納していても良い。例えば、荷物画像の特徴量は、梱包の色彩の分布情報等でも良い。複数の荷物が混載されている場合には、荷物特徴量ＤＢ２４５は、それぞれの異なる荷物毎に荷物画像の特徴量を格納していても良い
また、荷物特徴量ＤＢ２４５は、荷物画像の特徴量と、荷物の品名とを関連付けて格納する。品名特定部２４０は、荷物画像の特徴量が一致すると、荷物特徴量ＤＢ２４５を参照して、該一致した特徴量と関連づけられている品名を、その荷物の品名であると特定する。
【００４８】
品名特定部２４０は、荷物領域が特定された荷物存在領域を示す画像情報と、特定した荷物の品名を示す情報とを数量計算部２５０に出力する。
【００４９】
数量計算部２５０は、特定された品名に基づいて、荷物の積み付け方法を特定し、荷物存在領域及び特定した積み付け方法に基づいて荷物の数量を計算する。積付方法ＤＢ２５５は、品名毎の梱包の大きさを合わせて格納していても良い。
【００５０】
まず、数量計算部２５０は、品名と、荷物の積み付け方法とを関連付けて格納する積付方法ＤＢ２５５を参照し、積み付け方法を特定する。次に数量計算部２５０は、積付方法ＤＢ２５５を参照し、特定した積み付け方法で積み付けた場合の一段辺りの荷物の個数を特定する。
【００５１】
次に、数量計算部２５０は、マッチングした荷物画像の大きさ又は積付方法ＤＢ２５５が格納する梱包の大きさの情報を用いて、荷物存在領域における荷物の積まれた段数を特定する。または数量計算部２５０は、品名特定部２４０によって複数の荷物領域が特定された荷物存在領域の画像情報を参考にして、荷物が積まれた段数を特定しても良い。
【００５２】
数量計算部２５０は、特定した一段辺りの荷物の個数と、荷物が積まれた段数とを乗算して、荷物の数量を計算する。
【００５３】
別の方法として、数量計算部２５０は、画像生成部２２０が推定した移動物体の立体形状を用いて荷物の数量を計算しても良い。その場合、数量計算部２５０は、積付方法ＤＢ２５５を参照して特定した積付方法と、マッチングした荷物画像の大きさ及び梱包の大きさとから、立体形状の領域内における荷物の横並びの数及び段数を特定し、荷物の数量を計算しても良い。
【００５４】
方向判定部２６０は、時刻ｔにおいて撮影された撮影画像中の移動物体領域と、時刻ｔ＋１において撮影された撮影画像中の移動物体領域との位置を比較して、移動物体が右方向に移動しているか左方向に移動しているかを判定する。方向判定部２６０は、移動物体が右方向に移動していると判定した場合は入荷、左方向に移動していると判定した場合は出荷、などの設定により入荷又は出荷の状況判断を行う。
【００５５】
出力部７００は、検品装置２００にて特定された品名、計算された荷物の数量及び入荷又は出荷の状態を示す情報を出力する。
【００５６】
出力部７００は、ディスプレイのような表示装置であっても良いし、他の装置やシステムへ出力情報を送信する装置であっても良い。例えば、入荷検品や出荷検品の情報を管理するシステムと接続するためのコンピュータでも良い。
【００５７】
次に、図３を参照して、本発明の第１実施形態の動作について説明する。
【００５８】
図３は、本発明の第１実施形態に係る検品システム１０００の動作を示すフローチャート図である。図３に示すように、検品装置２００は、画像撮影部１００及び１１０から、撮影画像を受信する（ステップＡ１）。画像撮影部１００及び１１０は、荷物の移動方向に対して、例えばそれぞれ右斜め上部と左斜め上部に設置されている。
【００５９】
検品装置２００が画像撮影部１００及び１１０から撮影画像を受信すると、移動物体抽出部２１０は、それぞれの撮影画像に対して背景画像と差分を取る処理を行い、移動物体領域を抽出する（ステップＡ２）。移動物体抽出部２１０は、抽出した移動物体領域の画像情報を画像生成部２２０に出力する。
【００６０】
画像生成部２２０は、画像撮影部１００及び１１０のそれぞれの移動物体の見え方の違いから、移動物体の立体形状を推定し、移動物体領域の側面画像を生成する（ステップＡ３）。画像生成部２２０は、移動物体領域を画像撮影部１００及び１１０の設置条件に従って変換することで、あたかも移動物体領域に存する移動物体を側面から撮影した側面画像を生成する。画像生成部２２０は、生成した移動物体領域の側面画像の画像情報を領域認識部２３０に出力する。
【００６１】
領域認識部２３０は、移動物体抽出部２１０から画像情報が出力されると、移動物体領域の側面画像に対して、パレット画像の特徴量をマッチングさせてパレット領域を認識する（ステップＡ４）。パレット領域を認識すると、領域認識部２３０は、認識した領域の上部の領域に対してもパレット特徴量のマッチング処理を行う。上部領域でパレット特徴量がマッチングしない場合は、領域認識部２３０は、パレットに荷物が積み付けされていると判断し、当該上部領域を荷物存在領域であると認識する（ステップＡ４）。
【００６２】
上部領域でもパレット特徴量がマッチングした場合は、領域認識部２３０は、マッチング処理を繰り返して、移動物体上にパレットのみが積載されているかどうかを判断する。全てパレットであった場合は、検品装置２００における処理はそこで処理を終了する。
【００６３】
パレット上部に荷物が積み付けされていると判断した場合、領域認識部２３０は、荷物が積み付けされている領域である荷物存在領域の画像情報を品名特定部２４０に出力する。
【００６４】
品名特定部２４０は、荷物特徴量ＤＢ２４５から荷物画像の特徴量を取得し、荷物存在領域内においてマッチング処理を行う。マッチングした場合は、品名特定部２４０は、荷物特徴量ＤＢ２４５を参照して、該マッチングした荷物画像の特徴量に対応する品名を荷物の品名であると特定する（ステップＡ５）。
【００６５】
品名特定部２４０は、一つの荷物領域を特定したら処理を終了しても良いし、特定可能な限り、荷物存在領域全体に対してマッチング処理を繰り返しても良い。その場合、品名特定部２４０は、既にマッチングした領域の横方向や縦方向に対して同一の大きさの荷物画像の特徴量のマッチング処理を行っても良い。
【００６６】
荷物が複数段に積み付けされている場合、品名特定部２４０は、特定可能な限り複数段において荷物領域を特定することで、荷物の数量の計算の精度を高めても良い。複数の荷物領域（1つでも良い)が特定された後、品名特定部２４０は、荷物領域が特定された荷物存在領域の画像情報を数量計算部２５０へ出力する。
【００６７】
数量計算部２５０は、品名特定部２４０により特定された荷物の品名から積付方法ＤＢ２５５に登録されている積み付け方法の情報を取得する。数量計算部２５０は、取得した積み付け方法及び荷物存在領域の画像情報に基づいて荷物の数量を計算する（ステップＡ６）。その際に、数量計算部２５０は、品名特定部２４０でマッチングした画像領域の大きさや、積付方法ＤＢ２５５が別途格納している梱包の大きさなどの情報を利用して、積み付けの段数や横並びの個数を特定して、荷物の数量を計算する態様にしても良い。
【００６８】
方向判定部２６０は、移動物体抽出部２１０からの、移動物体領域が抽出された画像情報を時刻ｔと時刻ｔ＋１で比較して、移動物体の移動方向を推定する（ステップＡ７）。方向判定部２６０は、移動方向の推定処理を複数回実施して、推定精度を高めても良い。さらに、方向判定部２６０は、複数回実施後に、時刻ｔと時刻ｔ＋ｎの画像情報を比較して、移動方向の判定に誤りが無いかどうかを検証しても良い。
【００６９】
方向判定部２６０は、判定した移動方向及び事前の設定から、移動物体が入荷又は出荷のどちらかの状態であるかを判定する。
【００７０】
次に図４〜図９を参照して、図３の各ステップを、具体例を用いて説明する。
【００７１】
図３のステップＡ２において、移動物体抽出部２１０は、撮影画像から移動物体領域を抽出し、ステップＡ３において画像生成部２２０は、移動物体領域の側面画像を生成する。
【００７２】
図４は、抽出した移動物体領域３００の側面画像のイメージ図である。ここで側面とは、図１において定義したように、荷物の移動方向に対して垂直な方向から見た移動物体の面である。
【００７３】
図３のステップＡ４において、領域認識部２３０は、荷物存在領域内においてパレット領域及び荷物存在領域を認識する。
【００７４】
図５は、移動物体領域３００の側面画像中におけるパレット領域３１０及び荷物存在領域３２０を現すイメージ図である。図５に示すように、領域認識部２３０は、パレット領域３１０を認識すると、その上部領域に対してパレット画像の特徴量のマッチング処理を繰り返し、マッチングしなかった場合は当該上部領域を荷物存在領域３２０として認識する。
【００７５】
図３のステップＡ５において、品名特定部２４０は、品名の特定にあたり、まず荷物画像の特徴量のマッチング処理を行い、荷物領域を特定する。
【００７６】
図６は、図５で示すイメージ図において、さらに特定した荷物領域３３０を現すイメージ図である。図６に示すように、品名特定部２４０は、特定可能な限り荷物画像の特徴量のマッチング処理を繰り返して、複数の荷物領域３３０を特定しても良い。図６においては、品名特定部２４０は、６個の荷物領域を特定している。６個の荷物領域のうち、２つが荷物の正面画像の特徴量とマッチングした画像であり、４つが側面画像の特徴量とマッチングした画像である。
【００７７】
なお、図６において、移動物体領域３００中に荷物領域３３０が特定されていない空白の領域が存在するが、当該領域には荷物が存在していない訳ではない。例えば荷物の梱包の汚れ等の原因により、単に特徴量がマッチングしなかっただけであり、実際には荷物が存在している。
【００７８】
図７は、荷物特徴量ＤＢ２４５が格納する、荷物画像の特徴量と品名とを関連付けたデータの例である。図７に示すように、特徴量Ｘは品名Ａと、特徴量Ｙは品名Ｂと、特徴量Ｚは品名Ｃとそれぞれ対応している。本実施形態においては、例えば特徴量Ｘがマッチングし、品名特定部２４０は、荷物の品名は品名Ａであると特定する。
【００７９】
図３のステップＡ６において、数量計算部２５０は荷物の数量を計算する。
【００８０】
図８は、積付方法ＤＢ２５５が格納する、荷物の品名と、荷物の梱包の大きさと、荷物の積み付け方法の番号とを関連付けたデータの例である。図８に示すように、例えば品名Ａは、梱包の大きさ「475 / 300」と、積み付け方法を示す番号である「３」と対応している。
【００８１】
図９は、図８に加えて、積付方法ＤＢ２５５が格納する荷物の積み付けに関するデータの例である。図９で示すデータは、例えば積付方法番号「３」の場合、積み付け方法の名称が「ピンホール積み付け」であり、積み付けた場合の一段当たりの荷物の個数は「８個」であることを示す。
【００８２】
図９では積み付け方法として「ブロック積み付け」及び「ピンホール積み付け」が記載されているが、他には例えば「レンガ積み付け」や「交互積み付け」等がある。積付方法ＤＢ２５５は、積み付けの方法や梱包の大きさに応じて異なる一段辺りの荷物の個数を記憶している。
【００８３】
数量計算部２５０は、マッチングした荷物画像の大きさ又は積付方法ＤＢ２５５が格納する梱包の大きさの情報を用いる等の方法により、荷物存在領域における荷物の積まれた段数を特定する。数量計算部２５０は、特定した一段辺りの荷物の個数と、荷物が積まれた段数とを乗算して、荷物の数量を計算する。具体的には数量計算部２５０は、一段辺り８個の荷物が三段積まれており、荷物は計２４個であると計算する。
【００８４】
なお、積付方法ＤＢ２５５は、図８と図９とを結合した一つのデータを格納していても良い。また、上述の方法で荷物の数量を計算する場合には、積付方法ＤＢ２５５は、梱包の大きさのデータを保持していなくても良い。梱包の大きさのデータを保持している場合は、数量を計算する他の方法として、数量計算部２５０は、該データを用いて、例えば画像生成部２２０が推定した立体形状の情報に基づいて荷物の個数を計算しても良い。
【００８５】
以上説明したように、第１実施形態に係る検品システム１０００によれば、多くのコストをかけることなく、(1)品名の特定、及び(2)数量の計算、の２つの作業を人手によらずに自動化して行うことが可能となる。
【００８６】
具体的には、第１実施形態に係る検品システム１０００は、画像を活用することにより、荷物に対して何かを取り付けたり、取り外したりする必要がなく、また、人が装置を使用する必要も無いため、人的コスト及び金銭的コストが抑えられる。また、検品に必要な、品名と数量の２つの情報を、画像解析という一つの方法で取得することが可能となるため、装置の演算コストが最小限に抑えられる。
【００８７】
また、第１実施形態に係る検品システム１０００によれば、画像情報を記憶しておくことで、後から品名や数量のチェックが可能となる。
【００８８】
＜第２実施形態＞
次に、本発明の第２実施形態に係る検品システム２０００の機能構成を説明する。
【００８９】
図１０は、第２実施形態に係る検品システム２０００の構成を示すブロック図である。図１０に示すように、検品システム２０００は、第１実施形態における検品システム１０００と比較すると、検品装置２００に代えて検品装置４００を含む点で異なる。検品装置４００は、検品装置２００と比較すると、画像生成部２２０、領域認識部２３０、品名特定部２４０及び数量計算部２５０のそれぞれに代えて、画像生成部４２０、領域認識部４３０、品名特定部４４０及び数量計算部４５０を含む。
【００９０】
画像生成部４２０、領域認識部４３０、品名特定部４４０及び数量計算部４５０は、それぞれ画像生成部２２０、領域認識部２３０、品名特定部２４０及び数量計算部２５０と同様の機能に加え、以下に説明する機能を有する。
【００９１】
画像生成部４２０は、移動物体領域の側面画像の他に、移動物体領域について、推定した立体形状からさらに荷物の移動方向に対して正面から撮影された画像である正面画像を生成する。画像生成部４２０は、移動物体領域の側面画像の他に、生成した移動物体領域の正面画像の画像情報を領域認識部４３０に出力する。
【００９２】
領域認識部４３０は、移動物体領域の側面画像における荷物存在領域を認識するだけでなく、さらに移動物体領域の正面画像における荷物存在領域を認識する。領域認識部４３０は、認識した２つの荷物存在領域の画像情報を、品名特定部４４０に出力する。
【００９３】
品名特定部４４０は、２つの荷物存在領域のいずれか又は両方に対し荷物画像の特徴量をマッチングすることで品名を特定し、２つの荷物存在領域のそれぞれにおける複数の荷物領域を特定可能な限り特定する。品名特定部４４０は、複数の荷物領域が特定された２つの荷物存在領域の画像情報を、数量計算部４５０に出力する。
【００９４】
数量計算部４５０は、複数の荷物領域が特定された２つの荷物存在領域と、特定した積み付け方法に基づいて荷物の数量を計算する。
【００９５】
図１１は、移動物体領域の正面画像において、荷物領域３３０を特定したイメージ図である。数量計算部４５０は、図６において示される移動物体領域の側面画像と、図１１において示される移動物体領域の正面画像に基づいて荷物の数量を計算する。
【００９６】
数量計算部４５０は、図６と図１１とから、一部の荷物存在領域がかけていると判定し、図６及び図１１の荷物存在領域の見え方及び荷物の積み付け方法等の情報から、荷物はそれぞれ一段目に８個、二段目に８個、三段目に４個の計２０個であると計算する。
【００９７】
以上説明したように、第２実施形態に係る検品システム２０００によれば、荷物が積まれていない領域がある場合において正確に数量を計算することができる。
【００９８】
なお、本実施形態においては、側面画像と正面画像の２つの画像を用いる態様としたが、これに限られず、様々な方向から撮影された複数の画像を用いて、より正確に数量を計算しても良い。
【００９９】
＜第３実施形態＞
次に、図１２を参照して本発明の第３実施形態である検品装置５００の機能構成を説明する。
【０１００】
図１２は、検品装置５００の構成を示すブロック図である。図１２に示すように、検品装置５００は、移動物体抽出部５１０と、領域認識部５２０と、品名特定部５３０と、数量計算部５４０とを含む。なお、これらは上述した移動物体抽出部２１０と、領域認識部２３０と、品名特定部２４０と、数量計算部２５０と同様の構成である。
【０１０１】
移動物体抽出部５１０は、撮影された画像である撮影画像と、予め設定された背景画像との差分に基づいて、前記撮影画像中の移動物体領域を抽出する。
【０１０２】
領域認識部５２０は、移動物体領域の側面画像に対し、パレット画像の特徴量でマッチングを行うことで認識したパレット領域を、移動物体領域から除いて荷物存在領域を認識する。
【０１０３】
品名特定部５３０は、荷物存在領域の側面画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定する。
【０１０４】
数量計算部５４０は、特定された品名に基づいて、荷物の積み付け方法を特定し、荷物存在領域及び特定した積み付け方法に基づいて荷物の数量を計算する。
【０１０５】
以上説明したように、検品装置５００によれば、多くのコストをかけることなく、(1)品名の特定、及び(2)数量の計算、の２つの作業を人手によらずに自動化して行うことが可能となる。
【０１０６】
以上、各実施形態を参照して本発明を説明したが、本発明は以上の実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で同業者が理解し得る様々な変更をすることができる。
【０１０７】
図１３は、検品装置２００のハードウェア構成の一例を示すブロック図である。
【０１０８】
図１３に示すように、検品装置２００を構成する各部は、ＣＰＵ（Central Processing Unit）１と、ネットワーク接続用の通信ＩＦ２（通信インターフェース２）と、メモリ３と、プログラムを格納するハードディスク等の記憶装置４とを含む、コンピュータ装置によって実現される。ただし、検品装置２００の構成は、図１３に示すコンピュータ装置に限定されない。
【０１０９】
例えば、検品装置２００は、通信ＩＦ２を介して外部から画像を受信しても良い。
【０１１０】
ＣＰＵ１は、オペレーティングシステムを動作させて検品装置２００の全体を制御する。また、ＣＰＵ１は、例えばドライブ装置などに装着された記録媒体からメモリ３にプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
【０１１１】
例えば移動物体抽出部２１０、画像生成部２２０、領域認識部２３０、品名特定部２４０、数量計算部２５０及び方向判定部２６０は、ＣＰＵ１及びプログラムによって実現されても良い。
【０１１２】
記録装置４は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
【０１１３】
例えば、パレット特徴量ＤＢ２３５、荷物特徴量ＤＢ２４５及び積付方法ＤＢ２５５は、記録装置４によって実現されても良い。
【０１１４】
なお、これまでに説明した各実施形態において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア及びソフトウェアの任意の組み合わせによって実現される。また、検品装置２００の構成部の実現手段は特に限定されない。すなわち、検品装置２００は、物理的に結合した一つの装置により実現されても良いし、物理的に分離した二つ以上の装置を有線又は無線で接続し、これら複数の装置により実現されても良い。
【０１１５】
本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
【産業上の利用可能性】
【０１１６】
本発明は、物流拠点や倉庫業、製造工場からの出荷業務などで適用可能である。
【符号の説明】
【０１１７】
１ ＣＰＵ
２ 通信ＩＦ
３ メモリ
４ 記憶装置
１００、１１０、６１０、６２０ 画像撮影部
２００、４００、５００ 検品装置
２１０、５１０ 移動物体抽出部
２２０、４２０ 画像生成部
２３０、４３０、５２０ 領域認識部
２３５ パレット特徴量ＤＢ
２４０、４４０、５３０ 品名特定部
２４５ 荷物特徴量ＤＢ
２５０、４５０、５４０ 数量計算部
２５５ 積付方法ＤＢ
２６０ 方向判定部
７００ 出力部
１０００、２０００ 検品システム
【特許請求の範囲】
【請求項１】
撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定する品名特定手段と、
前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する数量計算手段と、
を含む検品装置。
【請求項２】
撮影された画像である撮影画像と、予め設定された背景画像との差分に基づいて、前記撮影画像中の移動物体領域を抽出する移動物体抽出手段と、
前記移動物体領域の側面画像に対し、パレット画像の特徴量でマッチングを行うことで認識したパレット領域を、前記移動物体領域から除いて荷物存在領域を認識する領域認識手段と、
をさらに含み、
前記品名特定手段は、前記荷物存在領域の側面画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定し、
前記数量計算手段は、前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記荷物存在領域及び前記特定した積み付け方法に基づいて荷物の数量を計算する、
請求項１に記載の検品装置。
【請求項３】
前記移動物体抽出手段は、様々な方向に設置された複数の画像撮影手段によって撮影された画像のそれぞれから、複数の移動物体領域を抽出する手段であって、
前記複数の移動物体領域の画像から移動物体の立体形状を推定し、当該立体形状から、前記複数の画像撮影手段の設置条件に基づいて前記移動物体領域の側面画像を生成する画像生成手段と、
をさらに含む請求項１又は２に記載の検品装置。
【請求項４】
前記パレット画像の特徴量を格納するパレット特徴量ＤＢと、
前記荷物画像の特徴量と、荷物の品名とを関連付けて格納する荷物特徴量ＤＢと、
前記品名と、前記荷物の積み付け方法とを関連付けて記憶する積付方法ＤＢと、
をさらに含む請求項１〜３のいずれか一項に記載の検品装置。
【請求項５】
前記画像生成手段は、前記移動物体領域の側面画像の他に、前記移動物体領域について、前記立体形状からさらに荷物の移動方向に対して正面から撮影された画像である正面画像を生成し、
前記領域認識手段は、前記移動物体領域の側面画像における荷物存在領域を認識するだけでなく、さらに前記移動物体領域の正面画像における荷物存在領域を認識し、
前記数量計算手段は、前記側面画像における荷物存在領域、前記正面画像における荷物存在領域及び前記特定した積み付け方法に基づいて荷物の数量を計算する、
請求項３又は４に記載の検品装置。
【請求項６】
前記画像生成手段は、前記移動物体領域に関して様々な方向から撮影した複数の画像を生成し、
前記領域認識手段は、前記複数の移動物体領域の画像のそれぞれから荷物存在領域を認識し、
前記数量計算手段は、前記複数の荷物存在領域及び前記特定した積み付け方法に基づいて、荷物の数量を計算する、
請求項３〜５のいずれか一項に記載の検品装置。
【請求項７】
前記撮影画像中の移動物体領域と、当該撮影画像の撮影時間から一定時間経過した後の撮影画像中の移動物体領域との位置を比較して、荷物の移動方向を判定する方向判定手段と、
をさらに含む請求項２〜６のいずれか一項に記載の検品装置。
【請求項８】
画像を撮影する一又は二以上の画像撮影手段と、
請求項１〜７のいずれか一項に記載の検品装置と、
前記検品装置において特定した荷物の品名と、計算した荷物の数量を出力する出力手段と、
を含む検品システム。
【請求項９】
撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定し、
前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する、
検品方法。
【請求項１０】
撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定し、
前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する、
処理をコンピュータに実行させるプログラム。
【請求項１】
撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定する品名特定手段と、
前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する数量計算手段と、
を含む検品装置。
【請求項２】
撮影された画像である撮影画像と、予め設定された背景画像との差分に基づいて、前記撮影画像中の移動物体領域を抽出する移動物体抽出手段と、
前記移動物体領域の側面画像に対し、パレット画像の特徴量でマッチングを行うことで認識したパレット領域を、前記移動物体領域から除いて荷物存在領域を認識する領域認識手段と、
をさらに含み、
前記品名特定手段は、前記荷物存在領域の側面画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定し、
前記数量計算手段は、前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記荷物存在領域及び前記特定した積み付け方法に基づいて荷物の数量を計算する、
請求項１に記載の検品装置。
【請求項３】
前記移動物体抽出手段は、様々な方向に設置された複数の画像撮影手段によって撮影された画像のそれぞれから、複数の移動物体領域を抽出する手段であって、
前記複数の移動物体領域の画像から移動物体の立体形状を推定し、当該立体形状から、前記複数の画像撮影手段の設置条件に基づいて前記移動物体領域の側面画像を生成する画像生成手段と、
をさらに含む請求項１又は２に記載の検品装置。
【請求項４】
前記パレット画像の特徴量を格納するパレット特徴量ＤＢと、
前記荷物画像の特徴量と、荷物の品名とを関連付けて格納する荷物特徴量ＤＢと、
前記品名と、前記荷物の積み付け方法とを関連付けて記憶する積付方法ＤＢと、
をさらに含む請求項１〜３のいずれか一項に記載の検品装置。
【請求項５】
前記画像生成手段は、前記移動物体領域の側面画像の他に、前記移動物体領域について、前記立体形状からさらに荷物の移動方向に対して正面から撮影された画像である正面画像を生成し、
前記領域認識手段は、前記移動物体領域の側面画像における荷物存在領域を認識するだけでなく、さらに前記移動物体領域の正面画像における荷物存在領域を認識し、
前記数量計算手段は、前記側面画像における荷物存在領域、前記正面画像における荷物存在領域及び前記特定した積み付け方法に基づいて荷物の数量を計算する、
請求項３又は４に記載の検品装置。
【請求項６】
前記画像生成手段は、前記移動物体領域に関して様々な方向から撮影した複数の画像を生成し、
前記領域認識手段は、前記複数の移動物体領域の画像のそれぞれから荷物存在領域を認識し、
前記数量計算手段は、前記複数の荷物存在領域及び前記特定した積み付け方法に基づいて、荷物の数量を計算する、
請求項３〜５のいずれか一項に記載の検品装置。
【請求項７】
前記撮影画像中の移動物体領域と、当該撮影画像の撮影時間から一定時間経過した後の撮影画像中の移動物体領域との位置を比較して、荷物の移動方向を判定する方向判定手段と、
をさらに含む請求項２〜６のいずれか一項に記載の検品装置。
【請求項８】
画像を撮影する一又は二以上の画像撮影手段と、
請求項１〜７のいずれか一項に記載の検品装置と、
前記検品装置において特定した荷物の品名と、計算した荷物の数量を出力する出力手段と、
を含む検品システム。
【請求項９】
撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定し、
前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する、
検品方法。
【請求項１０】
撮影された画像である撮影画像に対し、荷物画像の特徴量でマッチングを行うことで荷物の品名を特定し、
前記特定された品名に基づいて、荷物の積み付け方法を特定し、前記特定した積み付け方法に基づいて荷物の数量を計算する、
処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−６７４９９（Ｐ２０１３−６７４９９Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０８２６３（Ｐ２０１１−２０８２６３）
【出願日】平成２３年９月２３日（２０１１．９．２３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２３日（２０１１．９．２３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]