３次元物体認識システム及びそれを用いた棚卸システム
【課題】物体の配置を認識し、個数をカウントする。
【解決手段】本発明は、物体までの距離を計測するセンサと、センサを移動させる移動機構と、センサと接続し、物体の少なくとも形状を格納する物体情報データベース、物体の配置パタンを格納する物体配置データベース、移動機構によるセンサの移動に伴うセンサからの、物体までの距離を計測したセンサデータとセンサデータを得たセンサの位置とを入力とし、センサの位置に応じてセンサデータを3次元空間内に統合した、物体の輪郭を示す統合データを出力するセンサデータ統合部、及び物体情報データベースに格納された物体の形状から物体モデルを作成し、物体配置データベースに格納された物体の配置パタンを参照して、作成した物体モデルと統合データとを比較して物体の実配置を示す物体実配置データを出力する物体比較演算部を有する計算機とを設ける。
【解決手段】本発明は、物体までの距離を計測するセンサと、センサを移動させる移動機構と、センサと接続し、物体の少なくとも形状を格納する物体情報データベース、物体の配置パタンを格納する物体配置データベース、移動機構によるセンサの移動に伴うセンサからの、物体までの距離を計測したセンサデータとセンサデータを得たセンサの位置とを入力とし、センサの位置に応じてセンサデータを3次元空間内に統合した、物体の輪郭を示す統合データを出力するセンサデータ統合部、及び物体情報データベースに格納された物体の形状から物体モデルを作成し、物体配置データベースに格納された物体の配置パタンを参照して、作成した物体モデルと統合データとを比較して物体の実配置を示す物体実配置データを出力する物体比較演算部を有する計算機とを設ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の状況を自動的に認識する３次元物体認識システム及びそれを用いた棚卸システムに関する。
【背景技術】
【０００２】
さまざまな分野における情報の増加に伴い、情報を如何に収集するか、また、どの様に管理し利用するかが非常に重要になってきている。物流現場においては、情報管理方法の一つとして、物品にバーコードを取り付けバーコードリーダで商品情報を読み取る、または、物品に電子タグを取り付け無線で商品情報を読み取り、商品出荷情報や在庫情報を企業間で共有することにより、検品や棚卸作業の省力化など、物流・工場・販売の現場に数々のメリットを提供することが可能である。
【０００３】
このような状況の中、自動的に物品数をカウントする棚卸システムとして、 棚に圧力センサを組み込むことにより、荷重で個数をカウントするものがある（特許文献１）。また、カメラ画像から物品の輪郭を抽出し、事前登録の特徴データファイルとの比較により物品個数をカウントするシステムもある（特許文献２）。
【０００４】
【特許文献１】特開平10-17121公報
【特許文献２】特開2001-88912公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
物品の棚卸し作業においては物品数のチェック及び位置管理が必須となる。現在の棚卸は、人手が必要で自動化されておらず、物品種別の管理に関してはバーコードを用いたものが主であり、個数の管理は人間の目視で行われているものが一般的である。RFIDなどの電子タグを無線で読み取ることにより、物品種別及び個数管理を同時に行う方法もあるが、読み落としの可能性があり、さらに導入にコストがかかることから、まだ実用化されていない。
【０００６】
物品の個数の管理については、特許文献１では、荷重で個数をカウントするため、重量測定のためのセンサを棚に取り付けておく必要があり、事前のインフラ整備が必須となる。また、全ての棚にセンサを取り付けるのは、特に広い倉庫においては現実的ではない。特許文献２では、カメラを動作させる装置を天井や壁面に取り付けておく必要があり、事前のインフラ整備が必須となる。また、カメラ動作が予め決まっているため、取得できるデータに制限がある上、カメラのみでの認識では特徴点抽出など計算も複雑である。
【０００７】
特許文献１及び特許文献２では、倉庫内の荷物（物品）の位置管理に関しては言及されていない。
【０００８】
そこで、本発明の目的は、物品の状況を自動的に認識する３次元物体認識システム、及びその３次元物体認識システムを用いて、荷物（物品）の倉庫内の位置を認識し、個数をカウントすることにある。
【課題を解決するための手段】
【０００９】
本発明の望ましい態様は次のような、３次元物体認識システムまたは棚卸システムである。
【００１０】
物体までの距離を計測するセンサと、センサを移動させる移動機構と、センサと接続し、物体の少なくとも形状を格納する物体情報データベース、物体の配置パタンを格納する物体配置データベース、移動機構によるセンサの移動に伴うセンサからの、物体までの距離を計測したセンサデータとセンサデータを得たセンサの位置とを入力とし、センサの位置に応じてセンサデータを3次元空間内に統合した、物体の輪郭を示す統合データを出力するセンサデータ統合部、及び物体情報データベースに格納された物体の形状から物体モデルを作成し、物体配置データベースに格納された物体の配置パタンを参照して、作成した物体モデルと統合データとを比較して物体の実配置を示す物体実配置データを出力する物体比較演算部を有する計算機とを設けた３次元物体認識システムまたは棚卸システムである。
【００１１】
本発明の望ましい他の態様は、計算機は、センサ位置と物体実配置データとから、大域の3次元空間内の物体の実配置を示す大域物体実配置データを出力する物体領域位置算出部を有する。
【００１２】
本発明の望ましいさらに他の態様は、物体領域位置算出部は、大域物体実配置データに、物体の数を含んで出力する。
【００１３】
本発明の望ましいさらに他の態様は、物体比較演算部は、物体の数をカウントする。
【００１４】
本発明の望ましいさらに他の態様は、移動機構が移動させるセンサに加えて、センサの位置を同定するための他のセンサを設ける。
【発明の効果】
【００１５】
本発明によれば、センサを移動し、センサから取得したデータから作成する物体3次元形状と、データベースに格納されている物体属性とを比較することにより、物体の存否を認識し、物体の個数をカウントすることが可能である。
【００１６】
また、このような３次元認識システムを用いることにより、物流倉庫内の荷物（物品）の配置を認識し、個数をカウントする棚卸システムを実現できる。
【発明を実施するための最良の形態】
【００１７】
以下、実施形態について、図面を参照しながら説明する。本実施形態は、物流倉庫などの物品を対象とした物体の３次元物体認識システムである。図１は、３次元物体認識システムの機能ブロック図である。図１を用いて、本実施形態の概略を説明する。移動機構２によりセンサ３を移動させ、センサ３は移動しながらセンサデータ１４１を順次取得する。センサ３は、対象物までの距離を測定する距離センサである。
【００１８】
センサデータ統合部１３２では、センサ３からのセンサデータ１４１とセンサ位置１４２とを入力とし、センサ位置１４２に応じてセンサデータ１４１を3次元空間内にプロットすることによりセンサデータ１４１を統合し、統合データ１４３を出力する。
【００１９】
物体比較演算部１３３では、物体の3次元形状をあらわす統合データ１４３、予め物体情報データベース１４４に登録されている物体の種別に対応した形状や属性、及び予め物体配置データベース１４５に登録されている物体の積み方（積み付けパタン）を入力とし、実際に計測された統合データ１４３と予めデータベース１４３及び１４４に登録されているデータとを比較することにより、実際どのような配置になっているか認識し、物体実配置データ１４６を出力する。
【００２０】
物体領域位置算出部１３４では、物体の実配置データ１４６と、その物体をセンシングした時のセンサ位置１４２とを入力とし、物体の実配置データ１４６が３次元空間内のどこにあるか算出し、物体の３次元空間内の配置を表す大域物体実配置データ１４７を出力する。
【００２１】
なお、統合データ１４３とセンサ位置１４２とから、統合データ１４３の３次元空間（後述する大域座標系）における対応位置を先に決定し、大域座標系において物体比較演算部１３３を実行してもよい。
【００２２】
図１を用いた概略説明の中の、センサ３、センサ位置１４２及び統合データ１４３について説明する。
【００２３】
センサ３について図４(a)を用いて説明する。計測位置(x,y,z)にあるセンサ３が正対する方向が計測の方向(α,β,γ)である。センサ３は、ある面上を所定の角度(たとえば、1°)ごとに障害物や物体などの対象物までの距離と角度とを（Ｌ,θ）として出力する。言い換えると、センサ３は、ある面上を所定の角度ごとに障害物や物体などの対象物をスキャンすることになる。図４(a)では、センサ３の計測範囲を計測の方向(α,β,γ)を中心に−90°〜＋90°の180°として示してある。センサ３が出力する角度θは、計測の方向(α,β,γ)とセンシングしている方向とがなす角度である。ｘ−ｙ平面を移動する移動機構２に搭載されるセンサ３の典型例は、移動機構２の所定の高さ、所定の計測方向にセンサ３が搭載され、ｚ軸に平行（ｘ−ｙ平面に直交）にスキャンするように搭載する。この場合は、計測位置の高さｚと計測の方向の仰角ベクトルγは一定となる。後述する距離センサ３の位置・姿勢データとは、計測位置(x,y,z)と計測の方向(α,β,γ)との組のデータである。
【００２４】
センサ位置１４２について説明する。移動機構２に搭載されたセンサ３の位置を認識するためには、移動機構２が移動する領域を表す地図データを参照して、ある基準位置からの、移動機構２の車輪の回転数の累積及び左右輪の回転数の累積の差より移動距離及び回転角度を求め、センサ３の現在の位置・姿勢を推定する方法がある。
【００２５】
ここでは、さらに移動機構２が移動する領域を表す地図データが無い場合の、センサ３の位置・姿勢を推定する方法を、図２及び図３を用いて説明する。地図データが無いので、地図を作成しながら、センサ３の現在の位置・姿勢を推定する。作成する地図を環境地図と呼ぶ。
【００２６】
図２は、移動機構２とその移動機構２に搭載したセンサ３（ここでは環境計測用の距離センサとして機能）とを接続した計算機１の機能ブロックを示す図である。移動機構２の位置・姿勢を推定するために、センサ３は、スキャン面がｘ−ｙ平面と平行になるように搭載する。移動制御部７０１から、移動機構２の行き先を指示することにより、移動機構２が移動する。距離データ取得部７０２では、センサ３を制御することにより、センサ３から距離データ７１０を取得する。ここでの距離データ７１０は、センサ３のある位置における計測範囲をスキャンしたデータ（Ｌ,θ）の集合である。
【００２７】
センサ位置・姿勢推定部７０３では、距離データ７１０、センサ位置姿勢データ７１１、及びそれまでに作成した環境地図７１２を入力として、新たに距離データ７１０を得た位置のセンサ３の位置・姿勢データ７１１を推定する。推定された位置・姿勢データ７１１は、環境地図７１２の座標空間における計測位置(x,y,z)と計測の方向(α,β,γ)との組として得られる。距離データ統合部７０４では、センサ位置・姿勢データ７１１、距離データ７１０、及びそれまでに作成した環境地図７１２を入力として、環境地図７１２にデータを追加更新する。
【００２８】
移動機構位置算出部７０３および距離データ統合部７０４の処理には、これら二つの計算を同時に実行するSLAM (Simultaneous Localization And Mapping)技術を用いる。具体的には、距離データ７１０と、それまでに作成した環境地図７１２とをマッチングすることで、センサ３の環境地図７１２上の位置を求め、これに基づき環境地図７１２を逐次更新していく。
【００２９】
図２で説明した環境地図７１２の作成を、図３を用いて説明する。センサ３は、移動する位置ごとに７１０−１、７１０−２、７１０−３、・・・のような距離データ７１０を得る。センサ３のスキャン面がｘ−ｙ平面と平行であり、センサ３はｘ−ｙ平面と平行に移動するため、環境地図７１２は、ｘ−ｙ平面の２次元の地図として得られる。距離データ７１０から、７１０−１に示すように対象物（物体や障害物）の輪郭（図の実線。厳密には後述するように点の集合。）が得られる。距離データ７１０−１に７１０−２の対象物の輪郭がマッチングする部分を重ね合わせ、環境地図７１２を得、さらに距離データ７１０−１と７１０−２とにより作成した環境地図７１２に７１０−３のマッチングする部分を重ね合わせ、環境地図７１２を更新する。このような処理を繰り返すことにより環境地図７１２を作成する。一方、前回の距離データ７１０を取得した位置・姿勢データ７１１を参照して、逐次更新される環境地図７１２と距離データ７１０とのマッチングにより、センサ３の環境地図７１２上の２次元位置を推定することができる。さらに、センサ３が設置されている高さを追加することにより、３次元センサ位置１４２が求められる。
【００３０】
以上では、センサ３が環境計測用の距離センサとして機能することを前提として説明したが、後述する対象物までの距離、角度を計測する機能としての物体計測用センサを用いても良い。ただし、環境計測時と物体計測時のセンサ３のスキャン面が異なるため、図１９で後述するように、環境測定用の距離センサ３aと物体計測用の距離センサ３ｂとを分けて計測するのが望ましい。
【００３１】
次に、統合データ１４３について図４を用いて説明する。図４(a)に示すように、センサ３を用いて計測した、物体計測データとしての距離データ(L,θ)（物体や障害物などの計測の対象物までの距離、角度）とセンサ３の位置・姿勢データ（計測位置(x,y,z)と向き(α,β,γ)の組）とより、対象物の位置の3次元座標値(x1,y1,z1)を求める。センサ３を移動しながら距離データを計測するので、移動に伴って異なる位置で取得した距離データが、図４(ｂ)に示すように、点の集まりとして得られる。それらの距離データを、同一座標系（たとえば、環境地図と同じ座標系）に変換し、纏めた、３次元空間における点の集合を、図４(ｃ)に示すように、統合データ１４３と呼ぶ。統合データ１４３は、以上の説明から明らかなように、センサ３が測定した物体や障害物などの対象物までの距離と角度とからなる点の集合(点群)であるので、センサ３から見える対象物の輪郭（３次元凹凸）を表す。
【００３２】
図５は、本実施形態の３次元物体認識システムを物流倉庫の棚卸しに適用した構成例である。本システムは、空間（物流倉庫の棚段）内に配置された物品４の棚卸しを対象とし、物品４の存否を認識する計算機１、移動機構２、センサ３により構成される。図５では、計算機１及びセンサ３は移動機構２に搭載されているが、計算機１を移動機構２に搭載せずに、計算機１と移動機構２及びセンサ３とを無線通信により接続した構成でも良い。
【００３３】
移動機構２は、前述のようにセンサ３により計測した自らの位置・姿勢を計算機１によって推定することができるので、センサ３を移動させるものであれば、手動による台車などでも良いが、棚卸しに要する時間を短くするためには計算機１から移動を制御できる台車が望ましい。なお、高さ方向に多くの棚段を持つ倉庫のような場合は、棚段上の物品４の輪郭が得られるように、センサ３の高さ方向（ｚ軸方向）の位置及び/又は計測の方向を可変にできる機構を移動機構２が備えることが望ましい。
【００３４】
センサ３は、物品までの距離を測定するレーザ距離センサである。物流倉庫にあっては、物品の種別を判別するために、物品の画像を取得するカメラ、ICタグを無線で読み取るRFIDリーダ、バーコードを読み取るバーコードリーダ等を備えていても良い。本実施形態では、物品の種別に対応した，梱包用の箱の形状や属性は、対象の物体の形状や属性として物体情報データベース１４４に登録されている。入庫後に物品を判別しても良いが、本実施形態では入庫時に、物品の種別に応じて、物品を配置する棚段などを含めたデータを物体情報データベース１４４に登録しておく。
【００３５】
図６は、本実施形態の３次元物体認識システムのハードウェア構成例を示す図である。計算機１は、ＣＰＵ１１、主記憶装置(メモリ)１２、ハードディスク等の記憶装置１３、及び、それらの構成要素を相互に接続するバス１４とからなる。又、バス１４を介して、ＣＰＵ１１の制御により動作するセンサ３が接続される。また、バス１４には、必要に応じて通信制御装置や入出力装置が接続される。
【００３６】
記憶装置１３は、センサデータ統合部１３２、物体比較演算部１３３及び物体領域位置算出部１３４の各処理部のプログラムを格納する。これらのプログラムは主記憶装置１２にロードされ、ＣＰＵ１１によって、それらの処理が実行される。
【００３７】
センサデータ統合部１３２は、センサデータ１４１とセンサ位置１４２を入力とし、３次元空間内にセンサ情報をプロットし、統合データ１４３を得る。再度、図４を用いて説明すると、センサ３が測定した、時刻tiにおける距離データ(距離L、角度θ)（図４(a)）の点列を、移動機構２によってセンサ３が移動している時刻t1〜tnに亘って同一３次元空間内に点列でプロットすることによって（図４(b)）、物体表面の形状を表す点群による統合データ１４３を作成する（図４(c)）。統合データ１４３が作成される３次元空間の座標系は、後述する局所座標系又は大域座標系である。
【００３８】
物体比較演算部１３３は、実測値である統合データ１４３と、物体の形状や属性を表す物体情報データベース１４４及び物体の配置を表す物体配置データベース１４５の内容とを比較することにより（物体情報データベース１４４及び物体の配置を表す物体配置データベース１４５の内容とから、物体のモデル及びその配置を想定し、想定した物体のモデル及び配置と統合データ１４３と比較することにより）、実際に物体がどのように配置されているかを示す、物体実配置データ１４６を出力する。物体実配置データ１４６は、物体種別ごとにどのような配置であるかを示すデータであるので、物体種別ごとに異なる座標系を用いることができる。物流倉庫の多くは、物品の入出庫のための通路の両側に棚段が設備されている。センサ３のこの通路を移動するので、両側の棚段に対するセンサ３の計測方向は反対側(180度異なる)になるので、物体種別ごとに異なる座標系を用いることにより、センサ位置と棚段上の物品との相対関係から物体実配置データ１４６を得ることができる。このような物体種別ごとに異なる座標系を局所座標系と呼ぶ。物体比較演算部１３３の詳細は後述する。
【００３９】
物体領域位置算出部１３４は、物体実配置データ１４６と物体を計測したときのセンサ位置１４２より、計測した物体が広大な倉庫等の３次元空間内のどこに配置されているかを示す、大域物体実配置データ１４７を出力する。物体実配置データ１４６が局所座標系で表現されている場合、物流倉庫における位置は統一した座標系で表現する必要がある。これを大域座標系と呼び、各物体実配置データ１４６を表現している局所座標系から座標変換することにより大域物体実配置データ１４７を得る。
【００４０】
センサデータ１４１は、既に説明したセンサ３にて取得した距離データである。
【００４１】
センサ位置１４２は、たとえば図２及び図３を用いて説明した、センサデータ１４１を取得したときの位置を表すデータであり、時刻tiにおけるセンサデータ１４１である距離データ(距離L、角度θ)と対応付けて格納される。センサ位置１４２は、前述のように、センサ３の３次元空間内における位置、姿勢である。
【００４２】
統合データ１４３は、図４を用いて既に説明したとおりである。
【００４３】
物体情報データベース１４４は、物体の属性を格納したものである。図７は、物体情報データベース１４４のデータ例を示す図である。物体情報データベース１４４には、物体の属性が格納されており、物体の種別２０１、形状（直方体、円柱、三角錐など）２０２、サイズとして直方体の場合は幅２０３、奥行き２０４、高さ２０５、などのデータが格納されている。本実施形態を適用する物流倉庫においては、棚卸しの他の入出庫管理などにも物体情報データベース１４４が利用されるので、重量、バーコードやRFIDによるID番号、物品画像、ロゴ等が格納されている場合もある。また、図７には図示していないが、物体の種別２０１に応じて予め定めた棚段を特定する情報（棚段番号など）も格納されている。さらに、後述するように物体の種別２０１に対応する各種パラメータを格納しておいても良い。
【００４４】
物体配置データベース１４５は、物体の種別や形状などに応じて予め定められた配置を格納したものである。図８は、物体配置データベース１４５のデータ例を示す図である。物体配置データベース１４５には、物体の配置パタン（積み付けパタン）を示すデータが格納されている。物体の形状やサイズにより、積み付け効率がよく荷崩れしにくいような配置パタンがある。例えば、配置パタン１（３０１）は、同じ段にある物体の向きは同一であり、段によって物体の向きが異なるパタンである。配置パタン２（３０２）は、同じ段にある物品の向きは同一であり、段によって物品の向きが異なり、かつ、ある位置に所定の隙間があるパタンである。配置パタン３（３０３）は、同じ段に異なる向きの物品が混在しているパタンである。配置パタンは、物体の種別に対応している。物流倉庫にあっては、物品としては同じであっても、物体としての梱包する箱の形状やサイズ、さらには重心位置が異なることがある。このような場合は、物体の種別が異なるものとする。
【００４５】
本実施形態では、物体の種別に応じて物体の形状や配置パタンが物体情報データベース１４４及び物体配置データベース１４５に格納されている。物流倉庫においては、物品の入出庫数の急変などにより、ある物品が所定の棚段以外に配置される場合がある。このような場合、物体の種別の識別、すなわち物体情報データベース１４４及び物体配置データベース１４５の内容の更新は、人手による外部からの入力によってもよいし、RFIDリーダやバーコードリーダにより読み取った物品IDやカメラで撮影した物体画像などに基づいても良い。
【００４６】
物体実配置データ１４６は、物体の実際の配置を示す。図９は、物体実配置データの例を示す図である。物体実配置データは、図９に示すように物体の種別に応じて、物体配置データベース１４５に格納されている配置パタンを参照して、センサ３による実計測データ(距離データ)から得た統合データに基づいて、実際の物体の配置パタンを示すデータである。図９に、ある種別の物体の物体実配置データ１（４００）と他の種別の物体の物体実配置データ２（４０１）を示す。ここで、物体実配置データ１（４００）及び物体実配置データ２（４０１）の各々の座標系（原点及びx軸、y軸、z軸の各方向）は前述のように局所座標系として異なっていても良い。
【００４７】
物流倉庫では、倉庫内に複数の棚段が並び、物体の種別ごとに棚段を割当てている場合、種別毎の物品(物体)を搭載したパレットが同じ棚段に置かれる場合などがある。前者の場合には物体の種別に対応した棚段ごとに物体実配置データがあり、後者の場合にはパレットごとに物体実配置データがある。棚段やパレット上の物品の実配置がわかれば、自動的に物品の個数もカウントできるが、物品を配置を認識するごとに物品の個数をカウントする処理について後述する。
【００４８】
大域物体実配置データ１４７は、物体の３次元空間内における配置を示す。図１０は、大域物体実配置データの例を示す図である。大域物体実配置データは、物体の種別に応じた局所座標系で表した物体実配置データを３次元空間の座標系である大域座標系に変換した、物体が３次元空間内のどこにあるのかを示すデータであり、図示するように、複数の物体の種別に応じた実配置データを、3次元空間内の位置に応じて配置したデータである。物流倉庫では、物体実配置データ１４６はパレットまたは棚段上にどのように物体が配置されているかを示すデータであるが、大域物体実配置データ１４７は、そのパレットや棚段の、3次元空間である倉庫内での物体の実配置を示す。
【００４９】
なお、局所、大域の２階層に限らず、適用対象により３階層、４階層のような多階層の座標系を用い、座標変換を繰り返し、物体配置を求めても良い。逆に、常に大域座標系を用いて物体実配置を定め、座標系に階層を持たせなくても良い。
【００５０】
図１１は、物体比較演算部１３３の処理フローチャートである。ここで説明する物体比較とは、統合データ１４３内に設定した物体設置領域(後述)内に、その領域に存在する可能性がある物体の3次元モデル（以下、物体モデル）を物体配置データベース１４５の配置パタンに従って仮置き(仮設置)し、物体モデル表面の点群密度により物体の有無（存否）を判断する。ここでは物体の形状は、物流分野の典型的な物品形状である直方体とし、物体配置データベース１４５の配置パタンに従って規則正しく並んでいるものとし、正面から見てカウント可能であるケース（正面から見えない位置にある物体は全て存在し欠損することはない）を対象として説明する。正面から見てとは、センサ３が計測した手前(センサ３側)から見ての意である。物流倉庫の棚段における物品の取り出しは、上から且つ手前からが通常である。したがって、手前(正面)から見えない位置にある物体（手前の物体により、センサ３により輪郭が捉えられない物体）は欠損していない。
【００５１】
まず、各種データを入力したり、各種パラメータを設定したりする（Ｓ１００）。図１２に、各種パラメータの設定処理のフローチャートを示す。センサデータ１４１を統合した統合データ１４３を入力する（Ｓ１０１）。統合データ１４３の座標系は、以下に示す物体設置領域などの座標系とが異なる局所座標系の場合があり、異なるの場合はいずれかのデータを座標変換する。物体の種別に対応した、物体の形状、物体のサイズなどを示す物体情報を物体情報データベース１４４から入力（Ｓ１０２）し、物体の配置パタン物体の配置パタンを物体配置データベース１４５から入力する（Ｓ１０３）。
【００５２】
次に、入力された統合データ１４３の中の、対象の種別の物体が設置される場所（物体設置領域）を設定する（Ｓ１０４）。設定される物体設置領域は、例えば棚上に物体が設置されるときは、その空間領域が棚の幅、奥行き及び高さにより表現される。物体設置領域は、たとえば図７の物体情報データベース１４４で説明したように、物体の種別に対応して棚段番号が特定されるので、棚段番号に対応した空間領域のサイズを予め計算機１に格納しておく。空間領域を大域座標系で表現して計算機１に格納している場合は、空間領域を表す座標値から、その幅、奥行き及び高さを求めるか、又は空間領域を表す座標値と統合データ１４３を表す座標値とのいずれかを座標変換し、座標系を合わせる。また前述したようにセンサ３により、棚段やパレットの輪郭も物体の輪郭と同様に計測されるので、統合データ１４３の中から棚段やパレットを認識する場合は、座標系は一致しているので、座標変換などは不要である。
【００５３】
物体の有無を判断するための点群密度の閾値を設定し（Ｓ１０５）、物体モデル内のどの領域において点群密度を調べるかを指定する物体モデル表面の調査領域を設定し（Ｓ１０６）、物体モデルを点群データに当てはまる場所を探す際の物体モデルの移動幅を示す移動ステップを設定する（Ｓ１０７）。点群密度の閾値、物体モデルの調査領域及び物体モデルの移動ステップなども、他のパラメータと同様に物体の種別に対応して予め計算機１に格納しておく。これらは、物体情報データベース１４４の項目として格納しておいても良い。点群密度の閾値、物体モデルの調査領域及び物体モデルの移動ステップについては、これらを用いる処理の説明と共に後述する。
【００５４】
図１１のフローチャートは、物体の種別一つに対応した処理を示しているので、図１２のパラメータの設定処理も物体の種別対応となる。物流倉庫にある多くの物品に関して処理を繰り返す場合は、たとえば物体情報データベース１４４の種別２０１を順次切り替えて図１１に示すフローチャートの処理を実行する。
【００５５】
図１１の説明に戻る。物体形状や配置パタンに従い、設定した物体設置領域の、最下段、最右、最前（最も手前）に物体モデル１つを仮設置する（Ｓ１１０）。物体モデルは、たとえば物体の種別が１であるとき、図７の物体情報データベース１４４から、その物体は幅Ｘ１、奥行きＹ１、高さＺ１の直方体である。
【００５６】
仮設置した物体モデルの調査領域の点群密度が設定した閾値を越えているかを判断する（Ｓ１１５）。物体モデルの形状が直方体であるとき、直方体の手前正面から奥行き方向に奥行きの例えば1/3の調査領域にある、点群で表されている統合データ１４３の点の個数をカウントし、点の数が設定した閾値、例えば100個を超えているかどうかを判断する。統合データ１４３は、図４(ｃ)に示したように、存在する物体は少なくとも手前正面の長方形部分が見え、配置によっては（センサ３の計測方向によっては）、奥行き方向が見える一方の側面及び／又は上面の長方形部分が見える。統合データ１４３は、物体の輪郭を表していることから、直方体の場合には、たとえば手前正面と側面との辺で距離データ（点群）が変化する。この変化部分を調査領域に含むようにする。円錐形の物体のような場合は、頂点を含む局面の点群を含むように調査領域を設定することが望ましい。また点群密度として設定する閾値は、移動機構２の移動速度や距離データの計測間隔に応じて設定する。逆に言えば、設定する閾値によって物体の存在を認識できる点群密度が得られるように、移動機構２の移動速度やセンサ３による距離データの計測間隔を制御する。
【００５７】
閾値を越えているならば、物体モデルを仮設置した位置に物体モデルに対応する物体があると判断し、仮設置していた物体モデルを仮設置した位置に設置し、物体の個数をカウントする（Ｓ１２０）。個数をカウントするカウンタは、説明を省略したが、パラメータ設定（Ｓ１００）の一環として初期化しておく。設置した物体モデルの奥に、物体モデルを仮設置する（Ｓ１２５）。仮設置した物体モデルの少なくとも一部が、物体設置領域の最奥限を超えたかを判断する（仮設置した物体モデルが物体設置領域の奥からはみ出したかを判断する）（Ｓ１３０）。最奥限を超えていなければ、物体モデルを仮設置した位置に物体モデルに対応する物体があるので、Ｓ１２０に戻り、物体モデルを設置する。Ｓ１２０及びＳ１２５の処理を繰り返すことにより、センサ３により輪郭が捉えられない、奥側にある物体も認識することができ、物体モデルを設置することができる。以上の繰返しにより、ある段のある位置の奥行き方向１列にある物体の存否を認識し、存在する物体の個数をカウントできる。
【００５８】
仮設置した物体モデルの少なくとも一部が、物体設置領域の最奥限を超えたならば、物体モデルを幅の長さ分左に移動し、その最前に仮設置する（Ｓ１３５）。可設置した物体モデルの少なくとも一部が物体設置領域の最左限（左端）を超えたかを判断し（Ｓ１４０）、超えていなければ、物体モデルを仮設置した位置から奥行き方向の１列の物体の存否を調べるために、Ｓ１１５へ戻る。
【００５９】
仮設置した物体モデルの少なくとも一部が物体設置領域の最左限を超えたならば、物体配置データベース１４５から入力した配置パタンを参照して、可設置した物体モデルの段より一段上の最右、最前に物体モデルを仮設置する（Ｓ１４５）。なお、図８に示す物体は位置データベース１４５の配置パタン１（３０１）や配置パタン２（３０２）に示すように、段により物体の向きが異なる場合は、Ｓ１４５で物体モデルの向きを変えて仮設置する。仮設置した物体モデルの少なくとも一部が物体設置領域の最上限を超えたかを判断し（Ｓ１５０）、超えていなければ、物体モデルを仮設置した位置から奥行き方向の１列の物体の存否を調べるために、Ｓ１１５へ戻る。超えていれば、一連の処理を終了する。
【００６０】
次に、仮設置した物体モデルの調査領域の点群密度が設定した閾値を越えていない場合について説明する閾値を越えていない場合は、物体モデルを仮設置した位置に物体モデルに対応する物体がないと判断し（Ｓ１１５）、物体モデルを、Ｓ１０７で設定した移動ステップ分、奥に移動し、物体モデルを仮設置する（Ｓ１５５）。奥行き方向の移動ステップは、物体設置領域の奥行き方向に所定の位置からずれて置かれている物体の存在を認識するために用いる。仮設置した物体モデルの少なくとも一部が、物体設置領域の最奥限を超えたかを判断する（Ｓ１６０）。最奥限を超えていなければ、物体モデルを仮設置した位置に物体モデルに対応する物体があるかどうかを調べるために、Ｓ１１５に戻る。
【００６１】
仮設置した物体モデルの少なくとも一部が、物体設置領域の最奥限を超えたならば、物体モデルを、Ｓ１０７で設定した移動ステップ分、左に移動し、その最前に仮設置する（Ｓ１６５）。可設置した物体モデルの少なくとも一部が物体設置領域の最左限（左端）を超えたかを判断するために、Ｓ１４０へ処理を移す。
【００６２】
奥方向への移動ステップと左方向への移動ステップとは同じ値を用いてもよいし、それぞれ異なる値を用いてもよい。ただし、移動ステップが小さ過ぎると、計算機１の処理時間が長くなるので、物体及び物体設置領域のサイズに応じて決定することが望ましい。たとえば、最下段、最右、最前に物体が存在しないとき、最前から奥行き方向に移動ステップ分ずつ刻んでいくと、（物体の奥行きの長さ）／（奥行き方向に移動ステップ）の回数は、Ｓ１１５において物体の存在を認識できないことになる。
【００６３】
センサ３が計測した距離データに基づく統合データ１４３は物体表面の凹凸（輪郭）を表す座標値である。したがって、物体モデルを仮設置したとき、物体の輪郭を表す座標値と物体モデルの座標値は必ずしも一致しない。僅かな差であっても一致しない場合には、Ｓ１１５で点群密度が閾値を超えていないと判断する可能性がある。そこで、座標値の一致から点群を検知するのではなく、物体モデルの座標値に許容幅を設け、その許容幅に含まれる点群を検知するようにする。換言すると、物体モデルを仮設置した位置を中心として前後（奥行き方向）、左右（幅方向）に許容幅にわたって移動させて、その間に検知した点群の数を閾値と比較する。
【００６４】
この許容幅は移動ステップの長さ以上であることが望ましい。たとえば、奥行き方向の移動ステップを４ｃｍとしたとき、物体モデルを仮設置した位置を中心に−２ｃｍ〜＋２ｃｍの４ｃｍを許容幅とすれば、移動ステップ分の移動に伴って、検知されるべき点群の検知漏れを防ぐことができる。
【００６５】
以上により、Ｓ１２０で物体モデルを設置した位置に物体があることを認識でき、且つその数をカウントすることができる。
【００６６】
なお、以上の説明では、物体モデルを、手前から奥、右から左、下から上、に向かって仮設置し、点群密度により物体の有無を調べたが、調べる順番はこれに限らず、左から右、上から下でも構わない。
【００６７】
以上の処理によって、物体モデルを少しずつずらしながら点群データに当てはめるため、物体が理想の位置からずれていても実配置データを求めることができる。
【００６８】
図１３は、物体比較演算部の他の処理フローチャートである。ここで説明する物体比較は、統合データ１４３内の物体設置領域の全域に、物体の3次元モデル（物体モデル）を仮置き(仮設置)し、各物体モデルの点群密度により物体の有無を判断する。なお、物体の種別対応に処理を実行すること、正面から見えない位置にある物体は欠損していないこと、点群を検知するときの許容幅などに関しては、図１１の処理フローチャートの説明と同様である。
【００６９】
各種データの入力、及び各種パラメータの設定は、図１２を用いて説明したとおりであるが（Ｓ１００）、移動ステップ設定（Ｓ１０７）は必要ない。
【００７０】
物体配置データベース１４５から入力した、物体種別に対応した配置パタンを参照して、物体設置領域の全域に（物体が欠損せずに揃っている状態となるように）、物体モデルを仮設置する（Ｓ２０５）。最下段、最右、最前にある仮設置モデルを検証対象として選択する（Ｓ２１０）。選択した物体モデル内の調査領域の点群密度が閾値を越えているかどうかを判断し（Ｓ２１５）、閾値を超えている場合は、該当位置に物体モデルを設置する（Ｓ２２０）。Ｓ２１５における閾値を越えているかどうかを判断することを検証と呼ぶ。物体モデルを設置する際に、物体の数をカウントすることは図１１の場合と同様である。配置パタンに従い、設置した物体モデルの奥に仮設置した物体モデルがあれば（物体モデルを設置した位置が最奥の設置位置でなければ）、仮設置した最奥の物体モデルに至るまで奥に向かって、物体モデルを設置する（Ｓ２２５）。この場合も、物体モデルの設置に応じて、物体の数をカウントする。なお、物体モデルの設置の仕方が配置パタンに依存するので、この点について後述する。
【００７１】
選択した物体モデルの調査領域の点群密度が閾値を越えていない場合、その物体モデルから見て物体設置領域の最奥に仮設置した物体モデルを検証したかを判断し（Ｓ２３０）、検証していなければ、一つ奥に仮設置した物体モデルを選択し（Ｓ２３５）、Ｓ２１５に戻る。
【００７２】
Ｓ２２５の処理又はＳ２３０の判断により、奥行き方向の１列の処理が終了したならば、最左に仮設置した物体モデルを検証したかを判断し（Ｓ２４０）、検証してなければ、一つ左の最前に仮設置した物体モデルを選択し（Ｓ２４５）、Ｓ２１５へ戻る。最左に仮設置した物体モデルを検証したならば、その一段の物体モデルの検証が終わったことであるので、最上段に仮設置した物体モデルを検証したかを判断する（Ｓ２５０）。検証してなければ、一段上、最右、最前に仮設置した物体モデルを選択し（Ｓ２５５）、Ｓ２１５へ戻る。最上段に仮設置した物体モデルを検証したと判断したならば、物体設置領域内に仮設置した物体モデルの検証が終了したことであり、一連の処理を終了する。
【００７３】
図１４は、図１３のＳ２２５における物体設置領域の奥行き方向への物体モデルの設置の仕方を説明する図である。ある一段について説明する。図中の「○」は物体があると判定し、物体モデルを設置した位置であり、「×」は物体がないと判定した位置であり、「・」は物体の有無（存否）をまだ検証していない、仮設置した物体モデルが設置されている位置を示す。
【００７４】
図１４のケース１は、最前列の仮設置した物体モデルの検証において、右から３番目のみに物体があると判定された例である。一つ奥の列（２列目）を検証し、１列目右から３番目の物体モデルに接している位置に物体モデルを設置する。更に、奥の列（３列目）を検証し、２列目の物体モデルに接している位置に物体モデルを設置する。
【００７５】
図１４のケース２は、２列目の真ん中に仮設置した物体モデルが、一列目の右の物体モデルに半分接している例である。背面（奥行き方向）に物体モデルを設置するために必要な接触割合を予め定める。例えば、その接触割合を２／３以上とした場合、２列目の真ん中に仮設置した物体モデルは接触部分が不足しているため、物体モデルを設置しない。３列目の右に仮設置した物体モデルは、２列目の右に設置した物体モデルに２／３接しているので、物体モデルを設置する。
【００７６】
図１４のケース３は、１列目の右から１番目、２番目、４番目に物体があると判定された例である。２列目の右に仮設置された物体モデルは、１列目の右から１番目と２番目とに設置した二つの物体モデルに４／５接しているので、物体モデルを設置する。
【００７７】
図１３に示した処理フローチャートによれば、物体種別に対応した配置パタンに従って、物体設置領域の全域に物体の3次元モデル当てはめ（物体モデルを仮設置し）、3次元モデルの点群密度で物体の有無を判断するため、図１４を用いて説明した、物体の向きが段により異なるような複雑な配置パタンにも対応できる。
【００７８】
物体比較演算部１３３では、図１１及び図１３を用いて説明した処理を配置パタンに応じて選択的に実行することにより、物体の実配置データ１４６と物体の個数を得ることができるので、これらを計算機１は表示装置などに出力することができる。また、物流倉庫における棚卸しに適用する場合は、帳簿データとの比較データとして、物体の実配置データ１４６と物体の個数とを用いる。
【００７９】
以上の物体比較演算部１３３の説明において、物体設置領域は物流倉庫における棚段のような、幅、高さ、奥行きのある直方体の領域を想定している。物流倉庫にあっては、特定の物品の入出庫個数の急激な変化により、ある棚段に複数種別の物品を、棚段をたとえば左右に分けて、又は物品を積み付ける段を異にして、積み付ける場合がある。このような場合は、各々の種別に対応した積み付け領域(段)を物体設置領域とする。
【００８０】
図１５及び図１６は、実データによる物体比較演算例である。センサ３による距離データを丸印で示してある。図１５(a)は、統合データ１４３の一例である。図１５(ｂ)は、図１２のＳ１０４にて設定された物体設置領域を示した図である。図１６(a)は、物体比較演算部１３３で、統合データに物体モデルを当てはめている様子を示した図である。図１６(ｂ)は、大域物体実配置データ１４７に物体個数を示した図である。
【００８１】
図１７は、移動機構が自律的に移動できるようにし（自らが、障害物などの環境を認識し、目的地までの移動経路を定めし、定めたいどう経路に従って移動できる）、物流倉庫などの物品の棚卸しデータベースを更新できるようにした棚卸しシステムの機能ブロック図である。
【００８２】
移動機構２に、周辺環境の距離を測定する距離センサ３aと物体を測定するセンサ３bを搭載し、距離センサ３aでは現在の距離データ（周辺環境）１４１１を取得し、センサ３ｂでは、センシング対象の物体を計測したセンサデータ（物体）１４１２を取得する。
【００８３】
センサ位置推定部１３１では、現在の距離データ（周辺環境）１４１１と周辺環境の距離データを統合して事前に作成した環境地図１４８とをマッチングすることにより、距離センサ３aの環境地図１４８上の位置を算出し、センサ位置１４２１を出力する。センサ位置１４２１は、環境地図１４８上の２次元座標値（x,y）で表わされる。センサ位置１４２１は、移動機構２に距離センサ３aとセンサ３bとが搭載されているので、移動機構２、距離センサ３a、及びセンサ３bの環境地図１４８上の位置と言える。なお、環境地図作成方法は図２及び図３を用いて説明したとおりである。
【００８４】
移動制御部１３５では、センサ位置１４２１と環境地図１４８と予め環境地図１４８上に作成した移動経路１４７を入力し、現在位置を示すセンサ位置１４２１と移動経路１４７とを照合し、移動機構２の現在位置からの進行方向を決定し、決定した方向に移動機構２が移動するように制御する。
【００８５】
センシング制御部１３６では、センシングパラメータ１４９に従いセンサ３ｂを制御し、センサデータ（物体）１４１２を得る。センサ３ｂは、複数個備えてもよいし、複数種類備えてもよく、これらのデータを同時に取得してもよい。センシングパラメータ１４９には、例えばセンサ３ｂに距離センサのパラメータの一例として、センシング時の角度分解能、フレームレート、センシング距離などが含まれ、例えばセンサ３ｂにカメラを用いた場合、フレームレート、シャッタースピード、ホワイトバランス、絞り等が含まれ、例えばセンサ３ｂにＲＦＩＤリーダを用いた場合、通信距離、通信範囲などが含まれる。また、センサ３ｂがロボットアームの先端に取り付けられている場合、センサ自体の動作(移動、回転)をパラメータとして所持してもよい。
【００８６】
センサデータ統合部１３２では、移動機構２による移動経路１４７に従った移動が終了した後、又は移動経路１４７を移動中に、センサデータ（物体）１４１２と、センサデータ（物体）を取得したときのセンサの２次元位置１４２１と、予め記憶したセンサ３ｂのセンシング時の高さを示すセンサ高さ１４２２より、センサデータ（物体）１４１２を異地点で計測したデータを一つの座標系に統合し、統合データ１４３を出力する。
【００８７】
物体比較演算１３３から物体領域位置算出部１３４までの流れは、図１と同一である。
【００８８】
棚卸データ更新部１３７では、物体領域位置算出部１３４で出力した大域物体実配置データ１４７と、物体種別データを格納する物体情報データベース１４４とを入力とし、物体種別、物体位置、物体個数、物体実配置、等のデータが格納される棚卸データ１５０を更新する。
【００８９】
図１８は、図１７に示した棚卸しシステムに、更に情報フィードバック機能を備えた棚卸しシステムの機能ブロック図である。図１７に示した流れに、移動経路設定部１３７とセンシングパラメータ設定部１３８が加わる。
【００９０】
移動経路設定部１３７では、棚卸データ１５０に含まれる物体位置情報をもとに、次回棚卸時の最適経路を設定する。例えば、棚卸したい物体を複数指定しそこを通る最適な経路を作成してもよいし、物体のある領域のみを棚卸するような経路を指定してもよい。図１６に経路例を後述する。また、移動機構２の移動速度を同時に設定してもよい。例えば、移動機構２をセンシングの必要な場所はゆっくり移動させ、移動するのみの場所は高速に移動させる。
【００９１】
センシングパラメータ設定部１３８では、センシング対象となる物体に応じたセンシングパラメータを設定する。例えば、センサ３ｂに距離センサを用いた場合、物体のサイズによって必要なセンシング精度が異なる。このため、サイズの大きい物体のある領域はセンシング時のフレームレートを落としたり解像度を下げたりし、サイズの小さい物体のある領域は、センシング時のフレームレートを上げたり解像度を上げたりする。また、棚卸し場所の明るさに応じてカメラの色調整を行ったり、暗い場所での棚卸しが必要な場合は、カメラではなく、赤外線カメラやレーザセンサの使用に切り替えたりする。また更に、物体の形状に応じて観察する場所を変える、例えば正面からだけではなく、センサ３ｂをロボットアーム先端に取り付け、物体上面からセンシングするためのセンサ動作をパラメータとしてもよい。
【００９２】
このように、物体の状況に応じて、移動経路やセンシングパラメータを変更することにより、例えば、計測の必要な場所のみに立ち寄り、計測することにより、移動距離や移動と計測の時間を短縮すること、計測対象によりセンシング方法を変えることにより、対象物を認識するのに十分な計測パラメータ、且つ、少ないデータ量や時間で計測すること、及び／又はセンサを動作自由度の高いロボットアームに取りつけてさまざまな角度から計測を行い、認識に必要な情報量を増やすことにより認識の精度を上げるなど、より最適な棚卸を実現することができる。
【００９３】
図１９は、図１７に示した棚卸しシステムのシステム構成例を示す図である。空間内に設置された物品４、自律移動機能を備えた移動機構２、周辺環境を測定する距離センサ３a、物品４の状態を測定するセンサ３ｂ、センサ３a及び３bを用いて物品４の自動棚卸しを行い且つ移動機構の動作制御を行う計算機１により構成される。
【００９４】
図２０は、自律移動による自動棚卸し時の経路例である。図２０（a）は、すべての棚の物体を棚卸対象とするときの経路の一例であり、全ての棚卸対象棚６１０にある物品の棚卸する際の移動経路６０１を表わしている。
【００９５】
図２０（ｂ）は、一部の棚の物体を棚卸するときの経路の一例であり、棚卸対象棚６１０と棚卸対象でない棚６１１とがあるときに棚卸する際の移動経路６０２を丸印内の数字６０３で表わしている。このように、棚卸の必要有無に応じて経路を設定することにより、効率的な棚卸ができる。
【００９６】
以上説明した実施形態によれば、センサを移動し、センサから取得したデータから作成する物体3次元形状と、データベースに格納されている物体属性(形状や積みつけパタンなど)とを比較することにより、物体の存否を認識し、物体の個数をカウントすることができる。
【００９７】
また、このような３次元物体認識システムを用いることにより、荷物（物品）の倉庫内の配置を認識し、個数をカウントすることができる。
【図面の簡単な説明】
【００９８】
【図１】３次元物体認識システムの機能ブロック図である。
【図２】移動機構とセンサとを接続した計算機の機能ブロック図である。
【図３】環境地図の作成を説明する図である。
【図４】統合データを説明する図である。
【図５】３次元物体認識システムを物流倉庫の棚卸しに適用した構成例である。
【図６】３次元物体認識システムのハードウェア構成例である。
【図７】物体情報データベースのデータ例を示す図である。
【図８】物体配置データベースのデータ例を示す図である。
【図９】物体実配置データの例を示す図である。
【図１０】大域物体実配置データの例を示す図である。
【図１１】物体比較演算部の処理フローチャートである。
【図１２】各種パラメータの設定処理のフローチャートである。
【図１３】物体比較演算部の他の処理フローチャートである。
【図１４】物体設置領域の奥行き方向への物体モデルの設置の仕方を説明する図である。
【図１５】実データによる物体比較演算例である。
【図１６】実データによる物体比較演算例である。
【図１７】棚卸しデータベースを更新する棚卸しシステムの機能ブロック図である。
【図１８】情報フィードバック機能を備えた棚卸しシステムの機能ブロック図である。
【図１９】棚卸しシステムのシステム構成例である。
【図２０】自律移動による自動棚卸し時の経路例である。
【符号の説明】
【００９９】
１：計算機、２：移動機構、３：センサ、４：物品、１３２：センサデータ統合部、１３３：物体比較演算部、１３４：物体領域位置算出部、１４４：物体情報データベース、１４５：物体配置データベース。
【技術分野】
【０００１】
本発明は、物体の状況を自動的に認識する３次元物体認識システム及びそれを用いた棚卸システムに関する。
【背景技術】
【０００２】
さまざまな分野における情報の増加に伴い、情報を如何に収集するか、また、どの様に管理し利用するかが非常に重要になってきている。物流現場においては、情報管理方法の一つとして、物品にバーコードを取り付けバーコードリーダで商品情報を読み取る、または、物品に電子タグを取り付け無線で商品情報を読み取り、商品出荷情報や在庫情報を企業間で共有することにより、検品や棚卸作業の省力化など、物流・工場・販売の現場に数々のメリットを提供することが可能である。
【０００３】
このような状況の中、自動的に物品数をカウントする棚卸システムとして、 棚に圧力センサを組み込むことにより、荷重で個数をカウントするものがある（特許文献１）。また、カメラ画像から物品の輪郭を抽出し、事前登録の特徴データファイルとの比較により物品個数をカウントするシステムもある（特許文献２）。
【０００４】
【特許文献１】特開平10-17121公報
【特許文献２】特開2001-88912公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
物品の棚卸し作業においては物品数のチェック及び位置管理が必須となる。現在の棚卸は、人手が必要で自動化されておらず、物品種別の管理に関してはバーコードを用いたものが主であり、個数の管理は人間の目視で行われているものが一般的である。RFIDなどの電子タグを無線で読み取ることにより、物品種別及び個数管理を同時に行う方法もあるが、読み落としの可能性があり、さらに導入にコストがかかることから、まだ実用化されていない。
【０００６】
物品の個数の管理については、特許文献１では、荷重で個数をカウントするため、重量測定のためのセンサを棚に取り付けておく必要があり、事前のインフラ整備が必須となる。また、全ての棚にセンサを取り付けるのは、特に広い倉庫においては現実的ではない。特許文献２では、カメラを動作させる装置を天井や壁面に取り付けておく必要があり、事前のインフラ整備が必須となる。また、カメラ動作が予め決まっているため、取得できるデータに制限がある上、カメラのみでの認識では特徴点抽出など計算も複雑である。
【０００７】
特許文献１及び特許文献２では、倉庫内の荷物（物品）の位置管理に関しては言及されていない。
【０００８】
そこで、本発明の目的は、物品の状況を自動的に認識する３次元物体認識システム、及びその３次元物体認識システムを用いて、荷物（物品）の倉庫内の位置を認識し、個数をカウントすることにある。
【課題を解決するための手段】
【０００９】
本発明の望ましい態様は次のような、３次元物体認識システムまたは棚卸システムである。
【００１０】
物体までの距離を計測するセンサと、センサを移動させる移動機構と、センサと接続し、物体の少なくとも形状を格納する物体情報データベース、物体の配置パタンを格納する物体配置データベース、移動機構によるセンサの移動に伴うセンサからの、物体までの距離を計測したセンサデータとセンサデータを得たセンサの位置とを入力とし、センサの位置に応じてセンサデータを3次元空間内に統合した、物体の輪郭を示す統合データを出力するセンサデータ統合部、及び物体情報データベースに格納された物体の形状から物体モデルを作成し、物体配置データベースに格納された物体の配置パタンを参照して、作成した物体モデルと統合データとを比較して物体の実配置を示す物体実配置データを出力する物体比較演算部を有する計算機とを設けた３次元物体認識システムまたは棚卸システムである。
【００１１】
本発明の望ましい他の態様は、計算機は、センサ位置と物体実配置データとから、大域の3次元空間内の物体の実配置を示す大域物体実配置データを出力する物体領域位置算出部を有する。
【００１２】
本発明の望ましいさらに他の態様は、物体領域位置算出部は、大域物体実配置データに、物体の数を含んで出力する。
【００１３】
本発明の望ましいさらに他の態様は、物体比較演算部は、物体の数をカウントする。
【００１４】
本発明の望ましいさらに他の態様は、移動機構が移動させるセンサに加えて、センサの位置を同定するための他のセンサを設ける。
【発明の効果】
【００１５】
本発明によれば、センサを移動し、センサから取得したデータから作成する物体3次元形状と、データベースに格納されている物体属性とを比較することにより、物体の存否を認識し、物体の個数をカウントすることが可能である。
【００１６】
また、このような３次元認識システムを用いることにより、物流倉庫内の荷物（物品）の配置を認識し、個数をカウントする棚卸システムを実現できる。
【発明を実施するための最良の形態】
【００１７】
以下、実施形態について、図面を参照しながら説明する。本実施形態は、物流倉庫などの物品を対象とした物体の３次元物体認識システムである。図１は、３次元物体認識システムの機能ブロック図である。図１を用いて、本実施形態の概略を説明する。移動機構２によりセンサ３を移動させ、センサ３は移動しながらセンサデータ１４１を順次取得する。センサ３は、対象物までの距離を測定する距離センサである。
【００１８】
センサデータ統合部１３２では、センサ３からのセンサデータ１４１とセンサ位置１４２とを入力とし、センサ位置１４２に応じてセンサデータ１４１を3次元空間内にプロットすることによりセンサデータ１４１を統合し、統合データ１４３を出力する。
【００１９】
物体比較演算部１３３では、物体の3次元形状をあらわす統合データ１４３、予め物体情報データベース１４４に登録されている物体の種別に対応した形状や属性、及び予め物体配置データベース１４５に登録されている物体の積み方（積み付けパタン）を入力とし、実際に計測された統合データ１４３と予めデータベース１４３及び１４４に登録されているデータとを比較することにより、実際どのような配置になっているか認識し、物体実配置データ１４６を出力する。
【００２０】
物体領域位置算出部１３４では、物体の実配置データ１４６と、その物体をセンシングした時のセンサ位置１４２とを入力とし、物体の実配置データ１４６が３次元空間内のどこにあるか算出し、物体の３次元空間内の配置を表す大域物体実配置データ１４７を出力する。
【００２１】
なお、統合データ１４３とセンサ位置１４２とから、統合データ１４３の３次元空間（後述する大域座標系）における対応位置を先に決定し、大域座標系において物体比較演算部１３３を実行してもよい。
【００２２】
図１を用いた概略説明の中の、センサ３、センサ位置１４２及び統合データ１４３について説明する。
【００２３】
センサ３について図４(a)を用いて説明する。計測位置(x,y,z)にあるセンサ３が正対する方向が計測の方向(α,β,γ)である。センサ３は、ある面上を所定の角度(たとえば、1°)ごとに障害物や物体などの対象物までの距離と角度とを（Ｌ,θ）として出力する。言い換えると、センサ３は、ある面上を所定の角度ごとに障害物や物体などの対象物をスキャンすることになる。図４(a)では、センサ３の計測範囲を計測の方向(α,β,γ)を中心に−90°〜＋90°の180°として示してある。センサ３が出力する角度θは、計測の方向(α,β,γ)とセンシングしている方向とがなす角度である。ｘ−ｙ平面を移動する移動機構２に搭載されるセンサ３の典型例は、移動機構２の所定の高さ、所定の計測方向にセンサ３が搭載され、ｚ軸に平行（ｘ−ｙ平面に直交）にスキャンするように搭載する。この場合は、計測位置の高さｚと計測の方向の仰角ベクトルγは一定となる。後述する距離センサ３の位置・姿勢データとは、計測位置(x,y,z)と計測の方向(α,β,γ)との組のデータである。
【００２４】
センサ位置１４２について説明する。移動機構２に搭載されたセンサ３の位置を認識するためには、移動機構２が移動する領域を表す地図データを参照して、ある基準位置からの、移動機構２の車輪の回転数の累積及び左右輪の回転数の累積の差より移動距離及び回転角度を求め、センサ３の現在の位置・姿勢を推定する方法がある。
【００２５】
ここでは、さらに移動機構２が移動する領域を表す地図データが無い場合の、センサ３の位置・姿勢を推定する方法を、図２及び図３を用いて説明する。地図データが無いので、地図を作成しながら、センサ３の現在の位置・姿勢を推定する。作成する地図を環境地図と呼ぶ。
【００２６】
図２は、移動機構２とその移動機構２に搭載したセンサ３（ここでは環境計測用の距離センサとして機能）とを接続した計算機１の機能ブロックを示す図である。移動機構２の位置・姿勢を推定するために、センサ３は、スキャン面がｘ−ｙ平面と平行になるように搭載する。移動制御部７０１から、移動機構２の行き先を指示することにより、移動機構２が移動する。距離データ取得部７０２では、センサ３を制御することにより、センサ３から距離データ７１０を取得する。ここでの距離データ７１０は、センサ３のある位置における計測範囲をスキャンしたデータ（Ｌ,θ）の集合である。
【００２７】
センサ位置・姿勢推定部７０３では、距離データ７１０、センサ位置姿勢データ７１１、及びそれまでに作成した環境地図７１２を入力として、新たに距離データ７１０を得た位置のセンサ３の位置・姿勢データ７１１を推定する。推定された位置・姿勢データ７１１は、環境地図７１２の座標空間における計測位置(x,y,z)と計測の方向(α,β,γ)との組として得られる。距離データ統合部７０４では、センサ位置・姿勢データ７１１、距離データ７１０、及びそれまでに作成した環境地図７１２を入力として、環境地図７１２にデータを追加更新する。
【００２８】
移動機構位置算出部７０３および距離データ統合部７０４の処理には、これら二つの計算を同時に実行するSLAM (Simultaneous Localization And Mapping)技術を用いる。具体的には、距離データ７１０と、それまでに作成した環境地図７１２とをマッチングすることで、センサ３の環境地図７１２上の位置を求め、これに基づき環境地図７１２を逐次更新していく。
【００２９】
図２で説明した環境地図７１２の作成を、図３を用いて説明する。センサ３は、移動する位置ごとに７１０−１、７１０−２、７１０−３、・・・のような距離データ７１０を得る。センサ３のスキャン面がｘ−ｙ平面と平行であり、センサ３はｘ−ｙ平面と平行に移動するため、環境地図７１２は、ｘ−ｙ平面の２次元の地図として得られる。距離データ７１０から、７１０−１に示すように対象物（物体や障害物）の輪郭（図の実線。厳密には後述するように点の集合。）が得られる。距離データ７１０−１に７１０−２の対象物の輪郭がマッチングする部分を重ね合わせ、環境地図７１２を得、さらに距離データ７１０−１と７１０−２とにより作成した環境地図７１２に７１０−３のマッチングする部分を重ね合わせ、環境地図７１２を更新する。このような処理を繰り返すことにより環境地図７１２を作成する。一方、前回の距離データ７１０を取得した位置・姿勢データ７１１を参照して、逐次更新される環境地図７１２と距離データ７１０とのマッチングにより、センサ３の環境地図７１２上の２次元位置を推定することができる。さらに、センサ３が設置されている高さを追加することにより、３次元センサ位置１４２が求められる。
【００３０】
以上では、センサ３が環境計測用の距離センサとして機能することを前提として説明したが、後述する対象物までの距離、角度を計測する機能としての物体計測用センサを用いても良い。ただし、環境計測時と物体計測時のセンサ３のスキャン面が異なるため、図１９で後述するように、環境測定用の距離センサ３aと物体計測用の距離センサ３ｂとを分けて計測するのが望ましい。
【００３１】
次に、統合データ１４３について図４を用いて説明する。図４(a)に示すように、センサ３を用いて計測した、物体計測データとしての距離データ(L,θ)（物体や障害物などの計測の対象物までの距離、角度）とセンサ３の位置・姿勢データ（計測位置(x,y,z)と向き(α,β,γ)の組）とより、対象物の位置の3次元座標値(x1,y1,z1)を求める。センサ３を移動しながら距離データを計測するので、移動に伴って異なる位置で取得した距離データが、図４(ｂ)に示すように、点の集まりとして得られる。それらの距離データを、同一座標系（たとえば、環境地図と同じ座標系）に変換し、纏めた、３次元空間における点の集合を、図４(ｃ)に示すように、統合データ１４３と呼ぶ。統合データ１４３は、以上の説明から明らかなように、センサ３が測定した物体や障害物などの対象物までの距離と角度とからなる点の集合(点群)であるので、センサ３から見える対象物の輪郭（３次元凹凸）を表す。
【００３２】
図５は、本実施形態の３次元物体認識システムを物流倉庫の棚卸しに適用した構成例である。本システムは、空間（物流倉庫の棚段）内に配置された物品４の棚卸しを対象とし、物品４の存否を認識する計算機１、移動機構２、センサ３により構成される。図５では、計算機１及びセンサ３は移動機構２に搭載されているが、計算機１を移動機構２に搭載せずに、計算機１と移動機構２及びセンサ３とを無線通信により接続した構成でも良い。
【００３３】
移動機構２は、前述のようにセンサ３により計測した自らの位置・姿勢を計算機１によって推定することができるので、センサ３を移動させるものであれば、手動による台車などでも良いが、棚卸しに要する時間を短くするためには計算機１から移動を制御できる台車が望ましい。なお、高さ方向に多くの棚段を持つ倉庫のような場合は、棚段上の物品４の輪郭が得られるように、センサ３の高さ方向（ｚ軸方向）の位置及び/又は計測の方向を可変にできる機構を移動機構２が備えることが望ましい。
【００３４】
センサ３は、物品までの距離を測定するレーザ距離センサである。物流倉庫にあっては、物品の種別を判別するために、物品の画像を取得するカメラ、ICタグを無線で読み取るRFIDリーダ、バーコードを読み取るバーコードリーダ等を備えていても良い。本実施形態では、物品の種別に対応した，梱包用の箱の形状や属性は、対象の物体の形状や属性として物体情報データベース１４４に登録されている。入庫後に物品を判別しても良いが、本実施形態では入庫時に、物品の種別に応じて、物品を配置する棚段などを含めたデータを物体情報データベース１４４に登録しておく。
【００３５】
図６は、本実施形態の３次元物体認識システムのハードウェア構成例を示す図である。計算機１は、ＣＰＵ１１、主記憶装置(メモリ)１２、ハードディスク等の記憶装置１３、及び、それらの構成要素を相互に接続するバス１４とからなる。又、バス１４を介して、ＣＰＵ１１の制御により動作するセンサ３が接続される。また、バス１４には、必要に応じて通信制御装置や入出力装置が接続される。
【００３６】
記憶装置１３は、センサデータ統合部１３２、物体比較演算部１３３及び物体領域位置算出部１３４の各処理部のプログラムを格納する。これらのプログラムは主記憶装置１２にロードされ、ＣＰＵ１１によって、それらの処理が実行される。
【００３７】
センサデータ統合部１３２は、センサデータ１４１とセンサ位置１４２を入力とし、３次元空間内にセンサ情報をプロットし、統合データ１４３を得る。再度、図４を用いて説明すると、センサ３が測定した、時刻tiにおける距離データ(距離L、角度θ)（図４(a)）の点列を、移動機構２によってセンサ３が移動している時刻t1〜tnに亘って同一３次元空間内に点列でプロットすることによって（図４(b)）、物体表面の形状を表す点群による統合データ１４３を作成する（図４(c)）。統合データ１４３が作成される３次元空間の座標系は、後述する局所座標系又は大域座標系である。
【００３８】
物体比較演算部１３３は、実測値である統合データ１４３と、物体の形状や属性を表す物体情報データベース１４４及び物体の配置を表す物体配置データベース１４５の内容とを比較することにより（物体情報データベース１４４及び物体の配置を表す物体配置データベース１４５の内容とから、物体のモデル及びその配置を想定し、想定した物体のモデル及び配置と統合データ１４３と比較することにより）、実際に物体がどのように配置されているかを示す、物体実配置データ１４６を出力する。物体実配置データ１４６は、物体種別ごとにどのような配置であるかを示すデータであるので、物体種別ごとに異なる座標系を用いることができる。物流倉庫の多くは、物品の入出庫のための通路の両側に棚段が設備されている。センサ３のこの通路を移動するので、両側の棚段に対するセンサ３の計測方向は反対側(180度異なる)になるので、物体種別ごとに異なる座標系を用いることにより、センサ位置と棚段上の物品との相対関係から物体実配置データ１４６を得ることができる。このような物体種別ごとに異なる座標系を局所座標系と呼ぶ。物体比較演算部１３３の詳細は後述する。
【００３９】
物体領域位置算出部１３４は、物体実配置データ１４６と物体を計測したときのセンサ位置１４２より、計測した物体が広大な倉庫等の３次元空間内のどこに配置されているかを示す、大域物体実配置データ１４７を出力する。物体実配置データ１４６が局所座標系で表現されている場合、物流倉庫における位置は統一した座標系で表現する必要がある。これを大域座標系と呼び、各物体実配置データ１４６を表現している局所座標系から座標変換することにより大域物体実配置データ１４７を得る。
【００４０】
センサデータ１４１は、既に説明したセンサ３にて取得した距離データである。
【００４１】
センサ位置１４２は、たとえば図２及び図３を用いて説明した、センサデータ１４１を取得したときの位置を表すデータであり、時刻tiにおけるセンサデータ１４１である距離データ(距離L、角度θ)と対応付けて格納される。センサ位置１４２は、前述のように、センサ３の３次元空間内における位置、姿勢である。
【００４２】
統合データ１４３は、図４を用いて既に説明したとおりである。
【００４３】
物体情報データベース１４４は、物体の属性を格納したものである。図７は、物体情報データベース１４４のデータ例を示す図である。物体情報データベース１４４には、物体の属性が格納されており、物体の種別２０１、形状（直方体、円柱、三角錐など）２０２、サイズとして直方体の場合は幅２０３、奥行き２０４、高さ２０５、などのデータが格納されている。本実施形態を適用する物流倉庫においては、棚卸しの他の入出庫管理などにも物体情報データベース１４４が利用されるので、重量、バーコードやRFIDによるID番号、物品画像、ロゴ等が格納されている場合もある。また、図７には図示していないが、物体の種別２０１に応じて予め定めた棚段を特定する情報（棚段番号など）も格納されている。さらに、後述するように物体の種別２０１に対応する各種パラメータを格納しておいても良い。
【００４４】
物体配置データベース１４５は、物体の種別や形状などに応じて予め定められた配置を格納したものである。図８は、物体配置データベース１４５のデータ例を示す図である。物体配置データベース１４５には、物体の配置パタン（積み付けパタン）を示すデータが格納されている。物体の形状やサイズにより、積み付け効率がよく荷崩れしにくいような配置パタンがある。例えば、配置パタン１（３０１）は、同じ段にある物体の向きは同一であり、段によって物体の向きが異なるパタンである。配置パタン２（３０２）は、同じ段にある物品の向きは同一であり、段によって物品の向きが異なり、かつ、ある位置に所定の隙間があるパタンである。配置パタン３（３０３）は、同じ段に異なる向きの物品が混在しているパタンである。配置パタンは、物体の種別に対応している。物流倉庫にあっては、物品としては同じであっても、物体としての梱包する箱の形状やサイズ、さらには重心位置が異なることがある。このような場合は、物体の種別が異なるものとする。
【００４５】
本実施形態では、物体の種別に応じて物体の形状や配置パタンが物体情報データベース１４４及び物体配置データベース１４５に格納されている。物流倉庫においては、物品の入出庫数の急変などにより、ある物品が所定の棚段以外に配置される場合がある。このような場合、物体の種別の識別、すなわち物体情報データベース１４４及び物体配置データベース１４５の内容の更新は、人手による外部からの入力によってもよいし、RFIDリーダやバーコードリーダにより読み取った物品IDやカメラで撮影した物体画像などに基づいても良い。
【００４６】
物体実配置データ１４６は、物体の実際の配置を示す。図９は、物体実配置データの例を示す図である。物体実配置データは、図９に示すように物体の種別に応じて、物体配置データベース１４５に格納されている配置パタンを参照して、センサ３による実計測データ(距離データ)から得た統合データに基づいて、実際の物体の配置パタンを示すデータである。図９に、ある種別の物体の物体実配置データ１（４００）と他の種別の物体の物体実配置データ２（４０１）を示す。ここで、物体実配置データ１（４００）及び物体実配置データ２（４０１）の各々の座標系（原点及びx軸、y軸、z軸の各方向）は前述のように局所座標系として異なっていても良い。
【００４７】
物流倉庫では、倉庫内に複数の棚段が並び、物体の種別ごとに棚段を割当てている場合、種別毎の物品(物体)を搭載したパレットが同じ棚段に置かれる場合などがある。前者の場合には物体の種別に対応した棚段ごとに物体実配置データがあり、後者の場合にはパレットごとに物体実配置データがある。棚段やパレット上の物品の実配置がわかれば、自動的に物品の個数もカウントできるが、物品を配置を認識するごとに物品の個数をカウントする処理について後述する。
【００４８】
大域物体実配置データ１４７は、物体の３次元空間内における配置を示す。図１０は、大域物体実配置データの例を示す図である。大域物体実配置データは、物体の種別に応じた局所座標系で表した物体実配置データを３次元空間の座標系である大域座標系に変換した、物体が３次元空間内のどこにあるのかを示すデータであり、図示するように、複数の物体の種別に応じた実配置データを、3次元空間内の位置に応じて配置したデータである。物流倉庫では、物体実配置データ１４６はパレットまたは棚段上にどのように物体が配置されているかを示すデータであるが、大域物体実配置データ１４７は、そのパレットや棚段の、3次元空間である倉庫内での物体の実配置を示す。
【００４９】
なお、局所、大域の２階層に限らず、適用対象により３階層、４階層のような多階層の座標系を用い、座標変換を繰り返し、物体配置を求めても良い。逆に、常に大域座標系を用いて物体実配置を定め、座標系に階層を持たせなくても良い。
【００５０】
図１１は、物体比較演算部１３３の処理フローチャートである。ここで説明する物体比較とは、統合データ１４３内に設定した物体設置領域(後述)内に、その領域に存在する可能性がある物体の3次元モデル（以下、物体モデル）を物体配置データベース１４５の配置パタンに従って仮置き(仮設置)し、物体モデル表面の点群密度により物体の有無（存否）を判断する。ここでは物体の形状は、物流分野の典型的な物品形状である直方体とし、物体配置データベース１４５の配置パタンに従って規則正しく並んでいるものとし、正面から見てカウント可能であるケース（正面から見えない位置にある物体は全て存在し欠損することはない）を対象として説明する。正面から見てとは、センサ３が計測した手前(センサ３側)から見ての意である。物流倉庫の棚段における物品の取り出しは、上から且つ手前からが通常である。したがって、手前(正面)から見えない位置にある物体（手前の物体により、センサ３により輪郭が捉えられない物体）は欠損していない。
【００５１】
まず、各種データを入力したり、各種パラメータを設定したりする（Ｓ１００）。図１２に、各種パラメータの設定処理のフローチャートを示す。センサデータ１４１を統合した統合データ１４３を入力する（Ｓ１０１）。統合データ１４３の座標系は、以下に示す物体設置領域などの座標系とが異なる局所座標系の場合があり、異なるの場合はいずれかのデータを座標変換する。物体の種別に対応した、物体の形状、物体のサイズなどを示す物体情報を物体情報データベース１４４から入力（Ｓ１０２）し、物体の配置パタン物体の配置パタンを物体配置データベース１４５から入力する（Ｓ１０３）。
【００５２】
次に、入力された統合データ１４３の中の、対象の種別の物体が設置される場所（物体設置領域）を設定する（Ｓ１０４）。設定される物体設置領域は、例えば棚上に物体が設置されるときは、その空間領域が棚の幅、奥行き及び高さにより表現される。物体設置領域は、たとえば図７の物体情報データベース１４４で説明したように、物体の種別に対応して棚段番号が特定されるので、棚段番号に対応した空間領域のサイズを予め計算機１に格納しておく。空間領域を大域座標系で表現して計算機１に格納している場合は、空間領域を表す座標値から、その幅、奥行き及び高さを求めるか、又は空間領域を表す座標値と統合データ１４３を表す座標値とのいずれかを座標変換し、座標系を合わせる。また前述したようにセンサ３により、棚段やパレットの輪郭も物体の輪郭と同様に計測されるので、統合データ１４３の中から棚段やパレットを認識する場合は、座標系は一致しているので、座標変換などは不要である。
【００５３】
物体の有無を判断するための点群密度の閾値を設定し（Ｓ１０５）、物体モデル内のどの領域において点群密度を調べるかを指定する物体モデル表面の調査領域を設定し（Ｓ１０６）、物体モデルを点群データに当てはまる場所を探す際の物体モデルの移動幅を示す移動ステップを設定する（Ｓ１０７）。点群密度の閾値、物体モデルの調査領域及び物体モデルの移動ステップなども、他のパラメータと同様に物体の種別に対応して予め計算機１に格納しておく。これらは、物体情報データベース１４４の項目として格納しておいても良い。点群密度の閾値、物体モデルの調査領域及び物体モデルの移動ステップについては、これらを用いる処理の説明と共に後述する。
【００５４】
図１１のフローチャートは、物体の種別一つに対応した処理を示しているので、図１２のパラメータの設定処理も物体の種別対応となる。物流倉庫にある多くの物品に関して処理を繰り返す場合は、たとえば物体情報データベース１４４の種別２０１を順次切り替えて図１１に示すフローチャートの処理を実行する。
【００５５】
図１１の説明に戻る。物体形状や配置パタンに従い、設定した物体設置領域の、最下段、最右、最前（最も手前）に物体モデル１つを仮設置する（Ｓ１１０）。物体モデルは、たとえば物体の種別が１であるとき、図７の物体情報データベース１４４から、その物体は幅Ｘ１、奥行きＹ１、高さＺ１の直方体である。
【００５６】
仮設置した物体モデルの調査領域の点群密度が設定した閾値を越えているかを判断する（Ｓ１１５）。物体モデルの形状が直方体であるとき、直方体の手前正面から奥行き方向に奥行きの例えば1/3の調査領域にある、点群で表されている統合データ１４３の点の個数をカウントし、点の数が設定した閾値、例えば100個を超えているかどうかを判断する。統合データ１４３は、図４(ｃ)に示したように、存在する物体は少なくとも手前正面の長方形部分が見え、配置によっては（センサ３の計測方向によっては）、奥行き方向が見える一方の側面及び／又は上面の長方形部分が見える。統合データ１４３は、物体の輪郭を表していることから、直方体の場合には、たとえば手前正面と側面との辺で距離データ（点群）が変化する。この変化部分を調査領域に含むようにする。円錐形の物体のような場合は、頂点を含む局面の点群を含むように調査領域を設定することが望ましい。また点群密度として設定する閾値は、移動機構２の移動速度や距離データの計測間隔に応じて設定する。逆に言えば、設定する閾値によって物体の存在を認識できる点群密度が得られるように、移動機構２の移動速度やセンサ３による距離データの計測間隔を制御する。
【００５７】
閾値を越えているならば、物体モデルを仮設置した位置に物体モデルに対応する物体があると判断し、仮設置していた物体モデルを仮設置した位置に設置し、物体の個数をカウントする（Ｓ１２０）。個数をカウントするカウンタは、説明を省略したが、パラメータ設定（Ｓ１００）の一環として初期化しておく。設置した物体モデルの奥に、物体モデルを仮設置する（Ｓ１２５）。仮設置した物体モデルの少なくとも一部が、物体設置領域の最奥限を超えたかを判断する（仮設置した物体モデルが物体設置領域の奥からはみ出したかを判断する）（Ｓ１３０）。最奥限を超えていなければ、物体モデルを仮設置した位置に物体モデルに対応する物体があるので、Ｓ１２０に戻り、物体モデルを設置する。Ｓ１２０及びＳ１２５の処理を繰り返すことにより、センサ３により輪郭が捉えられない、奥側にある物体も認識することができ、物体モデルを設置することができる。以上の繰返しにより、ある段のある位置の奥行き方向１列にある物体の存否を認識し、存在する物体の個数をカウントできる。
【００５８】
仮設置した物体モデルの少なくとも一部が、物体設置領域の最奥限を超えたならば、物体モデルを幅の長さ分左に移動し、その最前に仮設置する（Ｓ１３５）。可設置した物体モデルの少なくとも一部が物体設置領域の最左限（左端）を超えたかを判断し（Ｓ１４０）、超えていなければ、物体モデルを仮設置した位置から奥行き方向の１列の物体の存否を調べるために、Ｓ１１５へ戻る。
【００５９】
仮設置した物体モデルの少なくとも一部が物体設置領域の最左限を超えたならば、物体配置データベース１４５から入力した配置パタンを参照して、可設置した物体モデルの段より一段上の最右、最前に物体モデルを仮設置する（Ｓ１４５）。なお、図８に示す物体は位置データベース１４５の配置パタン１（３０１）や配置パタン２（３０２）に示すように、段により物体の向きが異なる場合は、Ｓ１４５で物体モデルの向きを変えて仮設置する。仮設置した物体モデルの少なくとも一部が物体設置領域の最上限を超えたかを判断し（Ｓ１５０）、超えていなければ、物体モデルを仮設置した位置から奥行き方向の１列の物体の存否を調べるために、Ｓ１１５へ戻る。超えていれば、一連の処理を終了する。
【００６０】
次に、仮設置した物体モデルの調査領域の点群密度が設定した閾値を越えていない場合について説明する閾値を越えていない場合は、物体モデルを仮設置した位置に物体モデルに対応する物体がないと判断し（Ｓ１１５）、物体モデルを、Ｓ１０７で設定した移動ステップ分、奥に移動し、物体モデルを仮設置する（Ｓ１５５）。奥行き方向の移動ステップは、物体設置領域の奥行き方向に所定の位置からずれて置かれている物体の存在を認識するために用いる。仮設置した物体モデルの少なくとも一部が、物体設置領域の最奥限を超えたかを判断する（Ｓ１６０）。最奥限を超えていなければ、物体モデルを仮設置した位置に物体モデルに対応する物体があるかどうかを調べるために、Ｓ１１５に戻る。
【００６１】
仮設置した物体モデルの少なくとも一部が、物体設置領域の最奥限を超えたならば、物体モデルを、Ｓ１０７で設定した移動ステップ分、左に移動し、その最前に仮設置する（Ｓ１６５）。可設置した物体モデルの少なくとも一部が物体設置領域の最左限（左端）を超えたかを判断するために、Ｓ１４０へ処理を移す。
【００６２】
奥方向への移動ステップと左方向への移動ステップとは同じ値を用いてもよいし、それぞれ異なる値を用いてもよい。ただし、移動ステップが小さ過ぎると、計算機１の処理時間が長くなるので、物体及び物体設置領域のサイズに応じて決定することが望ましい。たとえば、最下段、最右、最前に物体が存在しないとき、最前から奥行き方向に移動ステップ分ずつ刻んでいくと、（物体の奥行きの長さ）／（奥行き方向に移動ステップ）の回数は、Ｓ１１５において物体の存在を認識できないことになる。
【００６３】
センサ３が計測した距離データに基づく統合データ１４３は物体表面の凹凸（輪郭）を表す座標値である。したがって、物体モデルを仮設置したとき、物体の輪郭を表す座標値と物体モデルの座標値は必ずしも一致しない。僅かな差であっても一致しない場合には、Ｓ１１５で点群密度が閾値を超えていないと判断する可能性がある。そこで、座標値の一致から点群を検知するのではなく、物体モデルの座標値に許容幅を設け、その許容幅に含まれる点群を検知するようにする。換言すると、物体モデルを仮設置した位置を中心として前後（奥行き方向）、左右（幅方向）に許容幅にわたって移動させて、その間に検知した点群の数を閾値と比較する。
【００６４】
この許容幅は移動ステップの長さ以上であることが望ましい。たとえば、奥行き方向の移動ステップを４ｃｍとしたとき、物体モデルを仮設置した位置を中心に−２ｃｍ〜＋２ｃｍの４ｃｍを許容幅とすれば、移動ステップ分の移動に伴って、検知されるべき点群の検知漏れを防ぐことができる。
【００６５】
以上により、Ｓ１２０で物体モデルを設置した位置に物体があることを認識でき、且つその数をカウントすることができる。
【００６６】
なお、以上の説明では、物体モデルを、手前から奥、右から左、下から上、に向かって仮設置し、点群密度により物体の有無を調べたが、調べる順番はこれに限らず、左から右、上から下でも構わない。
【００６７】
以上の処理によって、物体モデルを少しずつずらしながら点群データに当てはめるため、物体が理想の位置からずれていても実配置データを求めることができる。
【００６８】
図１３は、物体比較演算部の他の処理フローチャートである。ここで説明する物体比較は、統合データ１４３内の物体設置領域の全域に、物体の3次元モデル（物体モデル）を仮置き(仮設置)し、各物体モデルの点群密度により物体の有無を判断する。なお、物体の種別対応に処理を実行すること、正面から見えない位置にある物体は欠損していないこと、点群を検知するときの許容幅などに関しては、図１１の処理フローチャートの説明と同様である。
【００６９】
各種データの入力、及び各種パラメータの設定は、図１２を用いて説明したとおりであるが（Ｓ１００）、移動ステップ設定（Ｓ１０７）は必要ない。
【００７０】
物体配置データベース１４５から入力した、物体種別に対応した配置パタンを参照して、物体設置領域の全域に（物体が欠損せずに揃っている状態となるように）、物体モデルを仮設置する（Ｓ２０５）。最下段、最右、最前にある仮設置モデルを検証対象として選択する（Ｓ２１０）。選択した物体モデル内の調査領域の点群密度が閾値を越えているかどうかを判断し（Ｓ２１５）、閾値を超えている場合は、該当位置に物体モデルを設置する（Ｓ２２０）。Ｓ２１５における閾値を越えているかどうかを判断することを検証と呼ぶ。物体モデルを設置する際に、物体の数をカウントすることは図１１の場合と同様である。配置パタンに従い、設置した物体モデルの奥に仮設置した物体モデルがあれば（物体モデルを設置した位置が最奥の設置位置でなければ）、仮設置した最奥の物体モデルに至るまで奥に向かって、物体モデルを設置する（Ｓ２２５）。この場合も、物体モデルの設置に応じて、物体の数をカウントする。なお、物体モデルの設置の仕方が配置パタンに依存するので、この点について後述する。
【００７１】
選択した物体モデルの調査領域の点群密度が閾値を越えていない場合、その物体モデルから見て物体設置領域の最奥に仮設置した物体モデルを検証したかを判断し（Ｓ２３０）、検証していなければ、一つ奥に仮設置した物体モデルを選択し（Ｓ２３５）、Ｓ２１５に戻る。
【００７２】
Ｓ２２５の処理又はＳ２３０の判断により、奥行き方向の１列の処理が終了したならば、最左に仮設置した物体モデルを検証したかを判断し（Ｓ２４０）、検証してなければ、一つ左の最前に仮設置した物体モデルを選択し（Ｓ２４５）、Ｓ２１５へ戻る。最左に仮設置した物体モデルを検証したならば、その一段の物体モデルの検証が終わったことであるので、最上段に仮設置した物体モデルを検証したかを判断する（Ｓ２５０）。検証してなければ、一段上、最右、最前に仮設置した物体モデルを選択し（Ｓ２５５）、Ｓ２１５へ戻る。最上段に仮設置した物体モデルを検証したと判断したならば、物体設置領域内に仮設置した物体モデルの検証が終了したことであり、一連の処理を終了する。
【００７３】
図１４は、図１３のＳ２２５における物体設置領域の奥行き方向への物体モデルの設置の仕方を説明する図である。ある一段について説明する。図中の「○」は物体があると判定し、物体モデルを設置した位置であり、「×」は物体がないと判定した位置であり、「・」は物体の有無（存否）をまだ検証していない、仮設置した物体モデルが設置されている位置を示す。
【００７４】
図１４のケース１は、最前列の仮設置した物体モデルの検証において、右から３番目のみに物体があると判定された例である。一つ奥の列（２列目）を検証し、１列目右から３番目の物体モデルに接している位置に物体モデルを設置する。更に、奥の列（３列目）を検証し、２列目の物体モデルに接している位置に物体モデルを設置する。
【００７５】
図１４のケース２は、２列目の真ん中に仮設置した物体モデルが、一列目の右の物体モデルに半分接している例である。背面（奥行き方向）に物体モデルを設置するために必要な接触割合を予め定める。例えば、その接触割合を２／３以上とした場合、２列目の真ん中に仮設置した物体モデルは接触部分が不足しているため、物体モデルを設置しない。３列目の右に仮設置した物体モデルは、２列目の右に設置した物体モデルに２／３接しているので、物体モデルを設置する。
【００７６】
図１４のケース３は、１列目の右から１番目、２番目、４番目に物体があると判定された例である。２列目の右に仮設置された物体モデルは、１列目の右から１番目と２番目とに設置した二つの物体モデルに４／５接しているので、物体モデルを設置する。
【００７７】
図１３に示した処理フローチャートによれば、物体種別に対応した配置パタンに従って、物体設置領域の全域に物体の3次元モデル当てはめ（物体モデルを仮設置し）、3次元モデルの点群密度で物体の有無を判断するため、図１４を用いて説明した、物体の向きが段により異なるような複雑な配置パタンにも対応できる。
【００７８】
物体比較演算部１３３では、図１１及び図１３を用いて説明した処理を配置パタンに応じて選択的に実行することにより、物体の実配置データ１４６と物体の個数を得ることができるので、これらを計算機１は表示装置などに出力することができる。また、物流倉庫における棚卸しに適用する場合は、帳簿データとの比較データとして、物体の実配置データ１４６と物体の個数とを用いる。
【００７９】
以上の物体比較演算部１３３の説明において、物体設置領域は物流倉庫における棚段のような、幅、高さ、奥行きのある直方体の領域を想定している。物流倉庫にあっては、特定の物品の入出庫個数の急激な変化により、ある棚段に複数種別の物品を、棚段をたとえば左右に分けて、又は物品を積み付ける段を異にして、積み付ける場合がある。このような場合は、各々の種別に対応した積み付け領域(段)を物体設置領域とする。
【００８０】
図１５及び図１６は、実データによる物体比較演算例である。センサ３による距離データを丸印で示してある。図１５(a)は、統合データ１４３の一例である。図１５(ｂ)は、図１２のＳ１０４にて設定された物体設置領域を示した図である。図１６(a)は、物体比較演算部１３３で、統合データに物体モデルを当てはめている様子を示した図である。図１６(ｂ)は、大域物体実配置データ１４７に物体個数を示した図である。
【００８１】
図１７は、移動機構が自律的に移動できるようにし（自らが、障害物などの環境を認識し、目的地までの移動経路を定めし、定めたいどう経路に従って移動できる）、物流倉庫などの物品の棚卸しデータベースを更新できるようにした棚卸しシステムの機能ブロック図である。
【００８２】
移動機構２に、周辺環境の距離を測定する距離センサ３aと物体を測定するセンサ３bを搭載し、距離センサ３aでは現在の距離データ（周辺環境）１４１１を取得し、センサ３ｂでは、センシング対象の物体を計測したセンサデータ（物体）１４１２を取得する。
【００８３】
センサ位置推定部１３１では、現在の距離データ（周辺環境）１４１１と周辺環境の距離データを統合して事前に作成した環境地図１４８とをマッチングすることにより、距離センサ３aの環境地図１４８上の位置を算出し、センサ位置１４２１を出力する。センサ位置１４２１は、環境地図１４８上の２次元座標値（x,y）で表わされる。センサ位置１４２１は、移動機構２に距離センサ３aとセンサ３bとが搭載されているので、移動機構２、距離センサ３a、及びセンサ３bの環境地図１４８上の位置と言える。なお、環境地図作成方法は図２及び図３を用いて説明したとおりである。
【００８４】
移動制御部１３５では、センサ位置１４２１と環境地図１４８と予め環境地図１４８上に作成した移動経路１４７を入力し、現在位置を示すセンサ位置１４２１と移動経路１４７とを照合し、移動機構２の現在位置からの進行方向を決定し、決定した方向に移動機構２が移動するように制御する。
【００８５】
センシング制御部１３６では、センシングパラメータ１４９に従いセンサ３ｂを制御し、センサデータ（物体）１４１２を得る。センサ３ｂは、複数個備えてもよいし、複数種類備えてもよく、これらのデータを同時に取得してもよい。センシングパラメータ１４９には、例えばセンサ３ｂに距離センサのパラメータの一例として、センシング時の角度分解能、フレームレート、センシング距離などが含まれ、例えばセンサ３ｂにカメラを用いた場合、フレームレート、シャッタースピード、ホワイトバランス、絞り等が含まれ、例えばセンサ３ｂにＲＦＩＤリーダを用いた場合、通信距離、通信範囲などが含まれる。また、センサ３ｂがロボットアームの先端に取り付けられている場合、センサ自体の動作(移動、回転)をパラメータとして所持してもよい。
【００８６】
センサデータ統合部１３２では、移動機構２による移動経路１４７に従った移動が終了した後、又は移動経路１４７を移動中に、センサデータ（物体）１４１２と、センサデータ（物体）を取得したときのセンサの２次元位置１４２１と、予め記憶したセンサ３ｂのセンシング時の高さを示すセンサ高さ１４２２より、センサデータ（物体）１４１２を異地点で計測したデータを一つの座標系に統合し、統合データ１４３を出力する。
【００８７】
物体比較演算１３３から物体領域位置算出部１３４までの流れは、図１と同一である。
【００８８】
棚卸データ更新部１３７では、物体領域位置算出部１３４で出力した大域物体実配置データ１４７と、物体種別データを格納する物体情報データベース１４４とを入力とし、物体種別、物体位置、物体個数、物体実配置、等のデータが格納される棚卸データ１５０を更新する。
【００８９】
図１８は、図１７に示した棚卸しシステムに、更に情報フィードバック機能を備えた棚卸しシステムの機能ブロック図である。図１７に示した流れに、移動経路設定部１３７とセンシングパラメータ設定部１３８が加わる。
【００９０】
移動経路設定部１３７では、棚卸データ１５０に含まれる物体位置情報をもとに、次回棚卸時の最適経路を設定する。例えば、棚卸したい物体を複数指定しそこを通る最適な経路を作成してもよいし、物体のある領域のみを棚卸するような経路を指定してもよい。図１６に経路例を後述する。また、移動機構２の移動速度を同時に設定してもよい。例えば、移動機構２をセンシングの必要な場所はゆっくり移動させ、移動するのみの場所は高速に移動させる。
【００９１】
センシングパラメータ設定部１３８では、センシング対象となる物体に応じたセンシングパラメータを設定する。例えば、センサ３ｂに距離センサを用いた場合、物体のサイズによって必要なセンシング精度が異なる。このため、サイズの大きい物体のある領域はセンシング時のフレームレートを落としたり解像度を下げたりし、サイズの小さい物体のある領域は、センシング時のフレームレートを上げたり解像度を上げたりする。また、棚卸し場所の明るさに応じてカメラの色調整を行ったり、暗い場所での棚卸しが必要な場合は、カメラではなく、赤外線カメラやレーザセンサの使用に切り替えたりする。また更に、物体の形状に応じて観察する場所を変える、例えば正面からだけではなく、センサ３ｂをロボットアーム先端に取り付け、物体上面からセンシングするためのセンサ動作をパラメータとしてもよい。
【００９２】
このように、物体の状況に応じて、移動経路やセンシングパラメータを変更することにより、例えば、計測の必要な場所のみに立ち寄り、計測することにより、移動距離や移動と計測の時間を短縮すること、計測対象によりセンシング方法を変えることにより、対象物を認識するのに十分な計測パラメータ、且つ、少ないデータ量や時間で計測すること、及び／又はセンサを動作自由度の高いロボットアームに取りつけてさまざまな角度から計測を行い、認識に必要な情報量を増やすことにより認識の精度を上げるなど、より最適な棚卸を実現することができる。
【００９３】
図１９は、図１７に示した棚卸しシステムのシステム構成例を示す図である。空間内に設置された物品４、自律移動機能を備えた移動機構２、周辺環境を測定する距離センサ３a、物品４の状態を測定するセンサ３ｂ、センサ３a及び３bを用いて物品４の自動棚卸しを行い且つ移動機構の動作制御を行う計算機１により構成される。
【００９４】
図２０は、自律移動による自動棚卸し時の経路例である。図２０（a）は、すべての棚の物体を棚卸対象とするときの経路の一例であり、全ての棚卸対象棚６１０にある物品の棚卸する際の移動経路６０１を表わしている。
【００９５】
図２０（ｂ）は、一部の棚の物体を棚卸するときの経路の一例であり、棚卸対象棚６１０と棚卸対象でない棚６１１とがあるときに棚卸する際の移動経路６０２を丸印内の数字６０３で表わしている。このように、棚卸の必要有無に応じて経路を設定することにより、効率的な棚卸ができる。
【００９６】
以上説明した実施形態によれば、センサを移動し、センサから取得したデータから作成する物体3次元形状と、データベースに格納されている物体属性(形状や積みつけパタンなど)とを比較することにより、物体の存否を認識し、物体の個数をカウントすることができる。
【００９７】
また、このような３次元物体認識システムを用いることにより、荷物（物品）の倉庫内の配置を認識し、個数をカウントすることができる。
【図面の簡単な説明】
【００９８】
【図１】３次元物体認識システムの機能ブロック図である。
【図２】移動機構とセンサとを接続した計算機の機能ブロック図である。
【図３】環境地図の作成を説明する図である。
【図４】統合データを説明する図である。
【図５】３次元物体認識システムを物流倉庫の棚卸しに適用した構成例である。
【図６】３次元物体認識システムのハードウェア構成例である。
【図７】物体情報データベースのデータ例を示す図である。
【図８】物体配置データベースのデータ例を示す図である。
【図９】物体実配置データの例を示す図である。
【図１０】大域物体実配置データの例を示す図である。
【図１１】物体比較演算部の処理フローチャートである。
【図１２】各種パラメータの設定処理のフローチャートである。
【図１３】物体比較演算部の他の処理フローチャートである。
【図１４】物体設置領域の奥行き方向への物体モデルの設置の仕方を説明する図である。
【図１５】実データによる物体比較演算例である。
【図１６】実データによる物体比較演算例である。
【図１７】棚卸しデータベースを更新する棚卸しシステムの機能ブロック図である。
【図１８】情報フィードバック機能を備えた棚卸しシステムの機能ブロック図である。
【図１９】棚卸しシステムのシステム構成例である。
【図２０】自律移動による自動棚卸し時の経路例である。
【符号の説明】
【００９９】
１：計算機、２：移動機構、３：センサ、４：物品、１３２：センサデータ統合部、１３３：物体比較演算部、１３４：物体領域位置算出部、１４４：物体情報データベース、１４５：物体配置データベース。
【特許請求の範囲】
【請求項１】
物体までの距離を計測するセンサと、前記センサを移動させる移動機構と、
前記センサと接続し、前記物体の少なくとも形状を格納する物体情報データベース、
前記物体の配置パタンを格納する物体配置データベース、
前記移動機構による前記センサの移動に伴う前記センサからの、前記物体までの距離を計測したセンサデータと前記センサデータを得た前記センサの位置とを入力とし、前記センサの位置に応じて前記センサデータを3次元空間内に統合した、前記物体の輪郭を示す統合データを出力するセンサデータ統合部、及び
前記物体情報データベースに格納された前記形状から物体モデルを作成し、前記物体配置データベースに格納された前記物体の配置パタンを参照して、前記作成した物体モデルと前記統合データとを比較して前記物体の実配置を示す物体実配置データを出力する物体比較演算部を有する計算機とを設けたことを特徴とする３次元物体認識システム。
【請求項２】
前記計算機は、前記センサ位置と前記物体実配置データとから、大域の3次元空間内の前記物体の実配置を示す大域物体実配置データを出力する物体領域位置算出部を有することを特徴とする請求項１記載の３次元物体認識システム。
【請求項３】
前記物体領域位置算出部は、前記大域物体実配置データに、前記物体の数を含んで出力することを特徴とする請求項２記載の３次元物体認識システム。
【請求項４】
前記計算機は、前記センサからの前記センサデータに基づいて、環境地図を作成する距離データ統合部、前記センサデータと前記環境地図とから前記センサの前記環境地図上の位置を推定するセンサ位置・姿勢推定部、前記推定した前記センサの位置と予め定めた移動経路に沿って前記移動機構を制御する移動制御部を有することを特徴とする請求項３記載の３次元物体認識システム。
【請求項５】
前記物体比較演算部は、前記物体の数をカウントすることを特徴とする請求項２記載の３次元物体認識システム。
【請求項６】
前記物体比較演算部は、前記物体の配置パタンを参照して、前記作成した物体モデルを移動し、前記移動した物体モデルの調査領域における前記統合データの点群が所定の閾値を越えているとき、前記移動した物体モデルの位置に前記物体が存在すると判断すること特徴とする請求項５記載の３次元物体認識システム。
【請求項７】
前記物体比較演算部は、前記物体の配置パタンに従って、前記作成した物体モデルを仮置きし、前記仮置きした物体モデルの調査領域における前記統合データの点群が所定の閾値を越えているとき、前記仮置きした物体モデルの位置に前記物体が存在すると判断すること特徴とする請求項５記載の３次元物体認識システム。
【請求項８】
前記移動機構が移動させる前記センサに加えて、前記センサの位置を同定するための他のセンサを設けたことを特徴とする請求項２記載の３次元物体認識システム。
【請求項９】
倉庫内の物品までの距離を計測するセンサと、前記センサを移動させる移動機構と、
前記センサと接続し、前記物品の少なくとも形状を格納する物体情報データベース、
前記物品の積み付けパタンを格納する物体配置データベース、
前記移動機構による前記センサの移動に伴う前記センサからの、前記物品までの距離を計測したセンサデータと前記センサデータを得た前記センサの位置とを入力とし、前記センサの位置に応じて前記センサデータを3次元空間内に統合した、前記物品の輪郭を示す統合データを出力するセンサデータ統合部、及び
前記物体情報データベースに格納された前記形状から物体モデルを作成し、前記物体配置データベースに格納された前記物品の配置パタンを参照して、前記作成した物体モデルと前記統合データとを比較して前記物品の実配置を示す物体実配置データを出力する物体比較演算部を有する計算機とを設けたことを特徴とする棚卸システム。
【請求項１０】
前記計算機は、前記センサ位置と前記物体実配置データとから、前記倉庫を表す3次元空間内の前記物品の実配置を示す大域物体実配置データを出力する物体領域位置算出部を有することを特徴とする請求項９記載の棚卸システム。
【請求項１１】
前記物体領域位置算出部は、前記大域物体実配置データに、前記物品の数を含んで出力することを特徴とする請求項１０記載の棚卸システム。
【請求項１２】
前記計算機は、前記センサからの前記センサデータに基づいて、前記倉庫内の環境地図を作成する距離データ統合部、前記センサデータと前記環境地図とから前記センサの前記環境地図上の位置を推定するセンサ位置・姿勢推定部、前記推定した前記センサの位置と前記倉庫内に予め定めた移動経路に沿って前記移動機構を制御する移動制御部を有することを特徴とする請求項１１記載の棚卸システム。
【請求項１３】
前記物体比較演算部は、前記物品の数をカウントすることを特徴とする請求項１０記載の棚卸システム。
【請求項１４】
前記物体比較演算部は、前記物品の配置パタンを参照して、前記作成した物体モデルを移動し、前記移動した物体モデルの調査領域における前記統合データの点群が所定の閾値を越えているとき、前記移動した物体モデルの位置に前記物品が存在すると判断すること特徴とする請求項１３記載の棚卸システム。
【請求項１５】
前記物体比較演算部は、前記物体の配置パタンに従って、前記作成した物体モデルを仮置きし、前記仮置きした物体モデルの調査領域における前記統合データの点群が所定の閾値を越えているとき、前記仮置きした物体モデルの位置に前記物品が存在すると判断すること特徴とする請求項１３記載の棚卸システム。
【請求項１６】
前記移動機構が移動させる前記センサに加えて、前記センサの位置を同定するための他のセンサを設けたことを特徴とする請求項１０記載の棚卸システム。
【請求項１】
物体までの距離を計測するセンサと、前記センサを移動させる移動機構と、
前記センサと接続し、前記物体の少なくとも形状を格納する物体情報データベース、
前記物体の配置パタンを格納する物体配置データベース、
前記移動機構による前記センサの移動に伴う前記センサからの、前記物体までの距離を計測したセンサデータと前記センサデータを得た前記センサの位置とを入力とし、前記センサの位置に応じて前記センサデータを3次元空間内に統合した、前記物体の輪郭を示す統合データを出力するセンサデータ統合部、及び
前記物体情報データベースに格納された前記形状から物体モデルを作成し、前記物体配置データベースに格納された前記物体の配置パタンを参照して、前記作成した物体モデルと前記統合データとを比較して前記物体の実配置を示す物体実配置データを出力する物体比較演算部を有する計算機とを設けたことを特徴とする３次元物体認識システム。
【請求項２】
前記計算機は、前記センサ位置と前記物体実配置データとから、大域の3次元空間内の前記物体の実配置を示す大域物体実配置データを出力する物体領域位置算出部を有することを特徴とする請求項１記載の３次元物体認識システム。
【請求項３】
前記物体領域位置算出部は、前記大域物体実配置データに、前記物体の数を含んで出力することを特徴とする請求項２記載の３次元物体認識システム。
【請求項４】
前記計算機は、前記センサからの前記センサデータに基づいて、環境地図を作成する距離データ統合部、前記センサデータと前記環境地図とから前記センサの前記環境地図上の位置を推定するセンサ位置・姿勢推定部、前記推定した前記センサの位置と予め定めた移動経路に沿って前記移動機構を制御する移動制御部を有することを特徴とする請求項３記載の３次元物体認識システム。
【請求項５】
前記物体比較演算部は、前記物体の数をカウントすることを特徴とする請求項２記載の３次元物体認識システム。
【請求項６】
前記物体比較演算部は、前記物体の配置パタンを参照して、前記作成した物体モデルを移動し、前記移動した物体モデルの調査領域における前記統合データの点群が所定の閾値を越えているとき、前記移動した物体モデルの位置に前記物体が存在すると判断すること特徴とする請求項５記載の３次元物体認識システム。
【請求項７】
前記物体比較演算部は、前記物体の配置パタンに従って、前記作成した物体モデルを仮置きし、前記仮置きした物体モデルの調査領域における前記統合データの点群が所定の閾値を越えているとき、前記仮置きした物体モデルの位置に前記物体が存在すると判断すること特徴とする請求項５記載の３次元物体認識システム。
【請求項８】
前記移動機構が移動させる前記センサに加えて、前記センサの位置を同定するための他のセンサを設けたことを特徴とする請求項２記載の３次元物体認識システム。
【請求項９】
倉庫内の物品までの距離を計測するセンサと、前記センサを移動させる移動機構と、
前記センサと接続し、前記物品の少なくとも形状を格納する物体情報データベース、
前記物品の積み付けパタンを格納する物体配置データベース、
前記移動機構による前記センサの移動に伴う前記センサからの、前記物品までの距離を計測したセンサデータと前記センサデータを得た前記センサの位置とを入力とし、前記センサの位置に応じて前記センサデータを3次元空間内に統合した、前記物品の輪郭を示す統合データを出力するセンサデータ統合部、及び
前記物体情報データベースに格納された前記形状から物体モデルを作成し、前記物体配置データベースに格納された前記物品の配置パタンを参照して、前記作成した物体モデルと前記統合データとを比較して前記物品の実配置を示す物体実配置データを出力する物体比較演算部を有する計算機とを設けたことを特徴とする棚卸システム。
【請求項１０】
前記計算機は、前記センサ位置と前記物体実配置データとから、前記倉庫を表す3次元空間内の前記物品の実配置を示す大域物体実配置データを出力する物体領域位置算出部を有することを特徴とする請求項９記載の棚卸システム。
【請求項１１】
前記物体領域位置算出部は、前記大域物体実配置データに、前記物品の数を含んで出力することを特徴とする請求項１０記載の棚卸システム。
【請求項１２】
前記計算機は、前記センサからの前記センサデータに基づいて、前記倉庫内の環境地図を作成する距離データ統合部、前記センサデータと前記環境地図とから前記センサの前記環境地図上の位置を推定するセンサ位置・姿勢推定部、前記推定した前記センサの位置と前記倉庫内に予め定めた移動経路に沿って前記移動機構を制御する移動制御部を有することを特徴とする請求項１１記載の棚卸システム。
【請求項１３】
前記物体比較演算部は、前記物品の数をカウントすることを特徴とする請求項１０記載の棚卸システム。
【請求項１４】
前記物体比較演算部は、前記物品の配置パタンを参照して、前記作成した物体モデルを移動し、前記移動した物体モデルの調査領域における前記統合データの点群が所定の閾値を越えているとき、前記移動した物体モデルの位置に前記物品が存在すると判断すること特徴とする請求項１３記載の棚卸システム。
【請求項１５】
前記物体比較演算部は、前記物体の配置パタンに従って、前記作成した物体モデルを仮置きし、前記仮置きした物体モデルの調査領域における前記統合データの点群が所定の閾値を越えているとき、前記仮置きした物体モデルの位置に前記物品が存在すると判断すること特徴とする請求項１３記載の棚卸システム。
【請求項１６】
前記移動機構が移動させる前記センサに加えて、前記センサの位置を同定するための他のセンサを設けたことを特徴とする請求項１０記載の棚卸システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１０−２３９５０（Ｐ２０１０−２３９５０Ａ）
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願番号】特願２００８−１８４６８６（Ｐ２００８−１８４６８６）
【出願日】平成２０年７月１６日（２００８．７．１６）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願日】平成２０年７月１６日（２００８．７．１６）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]