情報処理装置及びプログラム
【課題】一般物体認識により対象物の認識を行う情報処理装置において、当該対象物の読みこぼしを低減することが可能な情報処理装置及びプログラムを提供する。
【解決手段】対象物が載置される載置台の載置面を異なる複数の撮像方向から撮像する第１撮像手段と、前記第１撮像手段により前記複数の撮像方向の各々で撮像された第１撮像画像の各々から、当該第１撮像画像に含まれた前記対象物を表す対象画像の特徴量を読み取り、予め記憶された各対象物の特徴量と比較することで、当該対象画像に対応する対象物を前記第１撮像画像毎に認識する認識手段と、前記第１撮像画像毎での前記対象画像の認識結果に基づいて、前記載置台に載置された前記対象物の認識結果を決定する決定手段と、を備える。
【解決手段】対象物が載置される載置台の載置面を異なる複数の撮像方向から撮像する第１撮像手段と、前記第１撮像手段により前記複数の撮像方向の各々で撮像された第１撮像画像の各々から、当該第１撮像画像に含まれた前記対象物を表す対象画像の特徴量を読み取り、予め記憶された各対象物の特徴量と比較することで、当該対象画像に対応する対象物を前記第１撮像画像毎に認識する認識手段と、前記第１撮像画像毎での前記対象画像の認識結果に基づいて、前記載置台に載置された前記対象物の認識結果を決定する決定手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、物品（オブジェクト）を撮像した画像データから当該物品の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識する一般物体認識に係る技術が存在している。また、従来、この一般物体認識に係る技術を食器等の種別判別に用いた店舗用のシステムが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、上述した一般物体認識に係る技術では、複数の物品を一度に撮像することで、これら物品のそれぞれを認識することが可能である。しかしながら、これら物品の配置状態によっては、何れかの物品が撮像（撮影）の死角に位置する場合があるため、読みこぼしが発生する可能性があった。
【課題を解決するための手段】
【０００４】
実施の形態の情報処理装置は、第１撮像手段と、認識手段と、決定手段とを備える。第１撮像手段は、対象物が載置される載置台の載置面を異なる複数の撮像方向から撮像する。認識手段は、第１撮像手段により複数の撮像方向の各々で撮像された第１撮像画像の各々から、当該第１撮像画像に含まれた対象物を表す対象画像の特徴量を読み取り、予め記憶された各対象物の特徴量と比較することで、当該対象画像に対応する対象物を第１撮像画像毎に認識する。決定手段は、第１撮像画像毎での対象画像の認識結果に基づいて、載置台に載置された対象物の認識結果を決定する。
【図面の簡単な説明】
【０００５】
【図１】図１は、実施形態の決済システムの概要構成ブロック図である。
【図２】図２は、商品登録装置の外観斜視図である。
【図３】図３は、商品登録装置の概要構成ブロック図である。
【図４】図４は、商品識別用データベースのデータフォーマットの一例の説明図である。
【図５】図５は、商品事前登録シートの一例の説明図である。
【図６】図６は、商品登録装置の機能構成を示すブロック図である。
【図７】図７は、配置変更指示画面の一例を示す図である。
【図８】図８は、決済端末装置（ＰＯＳ端末装置）の概要構成ブロック図である。
【図９】図９は、実施形態の決済システムの処理タイミングチャートである。
【図１０】図１０は、商品識別処理の処理フローチャートである。
【図１１−１】図１１−１は、図２に示す一方の第１撮像部で撮像された第１画像の一例を示す図である。
【図１１−２】図１１−２は、図２に示す他方の第１撮像部で撮像された第１画像の一例を示す図である。
【図１１−３】図１１−３は、図２に示す第２撮像部で撮像された第１画像の一例を示す図である。
【図１２】図１２は、商品登録装置の他の構成例を示す図である。
【図１３】図１３は、商品登録装置の他の構成例を示す図である。
【発明を実施するための形態】
【０００６】
以下では、本実施形態に係る情報処理装置及びプログラムについて、図面を参照して説明する。なお、本実施形態では、情報処理装置及びプログラムを、一取引にかかる商品の認識及び登録を行う商品登録装置に適用した例について説明する。
【０００７】
図１は、実施形態の決済システム１０の概要構成ブロック図である。決済システム１０は、物体認識に係る技術を採用し、一又は複数の商品を特定し、商品登録を行うオブジェクト認識装置である商品登録装置１１と、一括登録がなされるのに伴って商品登録装置１１により発行された後述する商品事前登録シート１２を読み取って決済処理を行う複数の決済端末装置（ＰＯＳ端末装置）１３−１〜１３−ｎと、を備えている。
【０００８】
図２は、商品登録装置１１の外観斜視図である。商品登録装置１１は、詳細は後述するが、装置本体２１と、商品が載置される載置台２２と、載置台２２を図中右上方及び左上方から撮像する第１撮像部２３ａ（Ｒ、Ｌ）と、載置台２２を下方から撮像する第２撮像部２３ｂと、第１撮像部２３ａを所定位置に保持する第１保持部２４ａと、第２撮像部２３ｂを所定位置に保持する第２保持部２４ｂと、各種情報を表示するディスプレイ２５と、ディスプレイ２５の表示画面上に配置され、各種操作を行うためのタッチパネルセンサ２６と、後述する商品事前登録シート１２を印刷出力するプリンタ２７と、を備えている。以下、第１撮像部２３ａ（Ｒ、Ｌ）を特に区別しない場合には、単に第１撮像部２３ａと表記する。
【０００９】
載置台２２は、板状のガラスや透明樹脂等の光透過性の部材で形成されている。そのため、載置台２２に載置された商品Ｇを、当該載置台２２の下方（真下）から第２撮像部２３ｂにより撮像することが可能となっている。なお、図２では、箱状の支持台２８の上面に載置台２２を設けた例を示しているが、設置形態この例に限らないものとする。また、載置台２２上における商品の載置（配置）状態は特に問わないものとするが、各商品が接触しないよう間隔を設けて配置することが好ましい。
【００１０】
第１撮像部２３ａ及び第２撮像部２３ｂは、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有した撮像装置である。ここで、第１撮像部２３ａの各々は、載置台２２の上面を互いに異なる撮影方向から撮像する位置に保持されており、第１撮像部２３ａの各々又は複数の第１撮像部２３ａの組により、載置台２２の全域が撮像範囲に設定されている。また、第２撮像部２３ｂにより、載置台２２の全域が撮像範囲に設定されている。なお、第１撮像部２３ａ及び第２撮像部２３ｂは、有線又は無線により、装置本体２１に接続されているものとする。
【００１１】
図３は、商品登録装置１１の概要構成ブロック図である。商品登録装置１１は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）３１と、制御プログラム等を不揮発的に記憶するＲＯＭ（Read Only Memory）３２と、各種データを一時的に記憶し、ワーキングエリアを構成するＲＡＭ（Random Access Memory）３３と、を備えており、互いにバス接続されている。
【００１２】
さらに商品登録装置１１は、上述した第１撮像部２３ａ及び第２撮像部２３ｂが制御可能に接続されたＩ／Ｏポート３４と、上述したディスプレイ２５及びタッチパネルセンサ２６をＣＰＵ３１の制御下で制御するタッチパネルコントローラ３５と、上述したプリンタ２７をＣＰＵ３１の制御下で制御するプリンタコントローラ３６と、ハードディスクドライブ、ＳＳＤ（Solid State Drive）等として構成され、ＣＰＵ３１が実行するプログラムや大容量の各種データを更新可能に記憶する記憶装置３７をＣＰＵ３１の制御下で制御する記憶装置コントローラ３８と、を備えている。上記構成において、記憶装置３７は、商品識別用データベース４０を備えている。
【００１３】
図４は、商品識別用データベースのデータフォーマットの一例の説明図である。商品識別用データベース４０は、商品毎にユニークに割り当てられた商品コードを格納した商品コードデータ４１と、商品名等の商品に関する情報が格納された商品情報データ４２と、商品を含んで撮影された画像から抽出された特徴量に基づいて、商品をオブジェクト認識により識別するための商品識別データ４３と、を備えている。ここで、商品識別データ４３は、商品の輪郭、色、色の配置等の特徴量であり、基準となる商品から抽出された各種の特徴量が特徴量データとして予め格納されている。
【００１４】
なお、画像中に含まれる商品（オブジェクト；物体）の認識技術としては、例えば、下記の文献において詳しく解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００１５】
また、画像をオブジェクトごとに領域分割することによってオブジェクト認識を行う技術については、例えば、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００１６】
図５は、商品事前登録シートの一例の説明図である。商品登録装置１１は、オブジェクト認識が完了し、載置台２２上に載置されている商品が特定できると、プリンタ２７を介して特定した全ての商品に付いての情報を含む商品事前登録シート１２を印刷出力する。
【００１７】
商品事前登録シート１２は、図５に示すように、登録の対象となった商品の個数が印刷される登録商品数印刷領域５１と、商品の合計金額が印刷される合計金額印刷領域５２と、商品の商品コードが情報として全て含まれる２次元バーコードが印刷される２次元バーコード印刷領域５３と、各種コメント等が印刷されるコメント印刷領域５４と、を備えている。
【００１８】
具体的には、図５の例の場合、登録商品数印刷領域５１の情報から、登録した商品数は６点であり、合計金額印刷領域５２の情報から、その概算合計金額は１２６０円であり、コメント印刷領域５４の情報から、当該商品事前登録シート１２を持ってレジの担当者に渡してもらうように依頼されていることがわかる。
【００１９】
次に、ＣＰＵ３１が記憶装置３７に記憶されたプログラムを順次実行することで実現されるＣＰＵ３１の機能部について、図６を参照して説明する。図６は、商品登録装置１１の機能構成を示すブロック図である。図６に示すように、ＣＰＵ３１は、プログラムを順次実行することにより、画像取込部３１１、抽出部３１２、認識部３１３、比較判定部３１４、報知部３１５及びシート生成部３１６としての機能を備える。
【００２０】
画像取込部３１１は、各第１撮像部２３ａ及び第２撮像部２３ｂに撮像オン信号を出力して、第１撮像部２３ａ及び第２撮像部２３ｂに撮像動作を開始させ、これら第１撮像部２３ａ及び第２撮像部２３ｂの各々で撮像された撮像画像をＲＡＭ３３等に取り込む。なお、第１撮像部２３ａ（Ｒ、Ｌ）及び第２撮像部２３ｂの各々で撮像された撮像画像は、何れの撮像部で撮像されたものか識別可能に構成されているものとする。以下、第１撮像部２３ａ（Ｒ、Ｌ）の各々で撮像された撮像画像を「第１画像」、第２撮像部２３ｂで撮像された撮像画像を「第２画像」という。
【００２１】
抽出部３１２は、画像取込部３１１により取り込まれた第１画像及び第２画像の各々に含まれる商品Ｇの全部又は一部を表す画像を、パターンマッチング技術等を用いて検出する。具体的には、第１画像及び第２画像から商品の輪郭線を検出し、当該輪郭線に基づいて第１画像及び第２画像に含まれた商品の画像（対象画像）を抽出する。なお、第２画像からの対象画像の抽出については、各商品Ｇの底部となる画像領域の輪郭線を検出し、当該輪郭線に基づいて対象画像を抽出してもよい。
【００２２】
認識部３１３は、第１画像の各々から抽出された各対象画像から、当該対象画像（輪郭線）の形状や、表面の色、当該色の分布等を特徴量として読み取る。認識部３１３は、記憶装置３７に記憶されている商品識別用データベース４０を参照し、抽出した各対象画像の特徴量にマッチする（例えば、類似度が高い）商品識別データ４３を検索する。この検索の結果、特徴量のマッチングの度合が所定の基準値を上回る商品識別データ４３が存在する場合、認識部３１３は、対象画像の商品Ｇを認識（特定）できたと判断する。なお、対象画像の認識は第１画像に行われる。
【００２３】
また、認識部３１３は、第１画像の各々に含まれた対象画像の当該第１画像中における存在位置と、その第１画像が撮像された撮像方向とに基づいて、載置台２２上に載置された各商品Ｇの対象画像を第１画像毎に特定する。そして、認識部３１３は、第１画像の各々から導出した対象画像毎の認識結果を、載置台２２上に載置された対応する商品Ｇに対応付けることで、各商品Ｇについての認識結果を決定（集約）する。これにより、載置台２２上の同一位置に載置された商品Ｇを重複して認識してしまうことを防止することができる。
【００２４】
なお、載置台２２の同一位置に載置された商品Ｇの対象画像を特定する方法は特に問わず、例えば、第１画像を構成する画素の位置と、載置台２２上での位置とを予め対応付けて記憶したマッピングデータを用いて、載置台２２の同一位置に載置された商品Ｇの対象画像を特定してもよい。また、第１画像の各々に含まれた対象画像の位置関係を比較することで、載置台２２の同一位置に載置された商品Ｇの対象画像を特定してもよい。
【００２５】
また、認識部３１３は、認識結果を対応付けた商品Ｇに基づいて、当該商品Ｇの個数を種別毎に取得するとともに、種別毎に求めた商品Ｇの個数の合計値を、第１画像から認識した全商品Ｇの個数（総数）として取得する。
【００２６】
比較判定部３１４は、抽出部３１２により第２画像から抽出された対象画像の個数と、認識部３１３により第１画像から認識された商品Ｇの個数とを比較する。この比較の結果、第２画像から抽出された対象画像の個数が、第１画像から認識された商品Ｇの個数を上回ると判定した場合、比較判定部３１４は、載置台２２上に未認識の商品Ｇが存在すると判断し、報知部３１５に配置変更の報知を指示する。
【００２７】
また、上記比較の結果、第１画像から認識された商品Ｇの個数が、第２画像から抽出された対象画像の個数以上と判定した場合、比較判定部３１４は、載置台２２に載置された全ての商品Ｇが認識部３１３で認識されたと判断する。そして、比較判定部３１４は、認識部３１３が認識した各商品Ｇの商品コードデータ４１及び商品情報データ４２を商品識別用データベース４０から読み出し、認識部３１３が取得した商品Ｇの種別毎の個数、及び、認識部３１３が取得した商品Ｇの個数（以下、登録商品数という）とともに、シート生成部３１６に出力する。
【００２８】
上述したように、本実施形態では、第２撮像部２３ｂで撮像された第２画像から抽出される対象画像を、載置台２２に載置された商品の個数として取り扱う。その理由は、第２画像は、載置台２２の真下から商品Ｇを撮像したものであるため、各商品Ｇの底面（或いは影）によって載置台２２に載置された各商品Ｇの個数を容易に確認することができるからである。なお、第２画像から抽出された商品の個数を、第１画像から認識された商品Ｇの個数が上回った場合を容認するのは、商品Ｇの載置（配置）状態によっては、第１画像から得られる個数の方が、正確度が高いケースがあるためである。例えば、商品Ｇを積み重ねて載置台２２上に載置している場合では、第２画像では一つの底面（影）として検出されるため、第１画像から得られる個数を採用することで正確な個数を得ることができる。
【００２９】
報知部３１５は、比較判定部３１４からの指示に応じて、載置台２２に載置された商品Ｇの配置変更を促すための画面（以下、配置変更指示画面）を、ディスプレイ２５に表示させる。
【００３０】
ここで、図７は、配置変更指示画面の一例を示す図である。同図では、読みこぼしが発生している旨を提示することで、商品の配置変更を促している。商品登録装置１１のオペレータは、ディスプレイ２５に表示された配置変更指示画面に基づき、載置台２２上の商品の配置を変更する。これにより、認識部３１３で認識される商品数が変化するため、商品の読みこぼしを防止することができる。
【００３１】
なお、本実施形態では、商品の配置位置の変更を、ディスプレイ２５を用いて報知する形態としたが、これに限らず、音声出力やインジケータランプ等を用いて報知する形態としてもよい。
【００３２】
図６に戻り、シート生成部３１６は、比較判定部３１４から入力された商品コードデータ４１、商品情報データ４２、商品Ｇの種別毎の個数及び登録商品数に基づいて、商品事前登録シート１２の印刷用データを生成し、当該印刷用データの印刷をプリンタコントローラ３６に指示する。これにより、プリンタコントローラ３６では、図５に示したような商品事前登録シート１２をプリンタ２７から出力する。
【００３３】
具体的に、シート生成部３１６は、比較判定部３１４から入力された登録商品数を、印刷領域５１に配置する。また、シート生成部３１６は、商品Ｇの種別毎の個数と、当該商品Ｇの商品情報データ４２に含まれた単価とに基づいて、全商品Ｇの購入に係る合計金額を算出し、合計金額印刷領域５２に配置する。また、シート生成部３１６は、商品コードデータ４１及び商品情報データ４２から二次元コードを生成し、２次元バーコード印刷領域５３に配置する。
【００３４】
次に、決済端末装置について説明する。図８は、決済端末装置の概要構成ブロック図である。本実施形態において、決済端末装置（ＰＯＳ端末装置）１３−１〜１３−ｎは、同様の構成であるので、決済端末装置１３−１を例として説明する。
【００３５】
決済端末装置１３−１は、図８に示すように、ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、時計部６４、Ｉ／Ｏ（Input/Output）ポート６５、ネットワークインタフェース６８、キーボード６９、キーボードコントローラ７０、タッチパネルセンサ７１、ディスプレイ７２、タッチパネルコントローラ７３、レシート／ジャーナルプリンタ（図面ではＲ／Ｊプリンタと表記）７４、プリンタコントローラ７５、バーコードスキャナ７６、スキャナコントローラ７７、ＣＣＤスキャナ７８、スキャナコントローラ７９、記憶装置８０及び記憶装置コントローラ８２を備えている。
【００３６】
ここで、ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、時計部６４、Ｉ／Ｏ（Input/Output）ポート６５、ネットワークインタフェース６８、キーボードコントローラ７０、タッチパネルコントローラ７３、プリンタコントローラ７５、スキャナコントローラ７７、スキャナコントローラ７９及び記憶装置コントローラ８２は、アドレスバス、データバス等のバスラインを介して相互に接続されている。
【００３７】
ＣＰＵ６１は、決済端末装置１３−１全体を制御するものであり、ＲＯＭ６２に記憶されたコンピュータ読み取り可能な各種プログラムを実行することにより、決済端末装置１３−１を制御する。ＲＯＭ６２は、ＣＰＵ６１が実行する各種プログラムや各種データを記憶する。ＲＡＭ６３は、ＣＰＵ６１が実行する各種プログラムや各種データを一時的に記憶し、ワーキングエリアとして機能する。
【００３８】
時計部６４は、現在の日時を計時する。Ｉ／Ｏポート６５は、モードスイッチ６６からのモード選択信号を入力するとともにドロワ（図示せず）の引出しを自動開放させるドロワ開放装置６７に駆動信号を出力する。ネットワークインタフェース６８は、有線通信ネットワーク等を通じて接続される他の装置とのデータ通信を制御する。
【００３９】
キーボードコントローラ７０は、キーボード６９から操作キーに対応したキー信号を取込んでＣＰＵ６１に通知する。タッチパネルコントローラ７３は、タッチパネル付きのディスプレイ７２の駆動を制御してＣＰＵ６１から供給される表示データに対応した文字等をカラー表示させるとともに、ディスプレイ７２の画面に取り付けられたタッチパネルセンサ７１からの信号を取込んでＣＰＵ６１に通知する。プリンタコントローラ７５は、レシート／ジャーナルプリンタ７４の駆動を制御してＣＰＵ６１から供給される印字データをもとにレシート印字及びジャーナル印字を行わせる。
【００４０】
バーコードスキャナ７６は、商品に付されたバーコードを光学的に読み取るものである。スキャナコントローラ７７は、バーコードスキャナ７６で読み取られたデータの信号を取込んでＣＰＵ６１に入力する。ＣＣＤスキャナ７８は、前述の商品事前登録シート１２に記録された２次元コードを含む２次元バーコードを光学的に読み取るものである。スキャナコントローラ７９は、ＣＣＤスキャナ７８で読み取られたデータの信号を取込んでＣＰＵ６１に入力する。記憶装置コントローラ８２は、ＣＰＵ６１の制御下で記憶装置８０に対するデータの書き込み及び読み出しを制御する。
【００４１】
記憶装置８０は、例えばハードディスクドライブ装置、ＳＳＤ（Solid State Drive）等から構成されており、ＣＰＵ６１で動作するプログラム等の他、商品の各種情報を含む商品データを記憶する商品情報記憶部８１を備えている。商品情報記憶部８１に記憶される商品データとしては、例えば、商品の商品コード、商品名、単価等を含んでいる。
【００４２】
次に、実施形態の動作を説明する。図９は、実施形態の決済システムの処理タイミングチャートである。まず、商品登録装置１１のオペレータは、顧客が選んだ商品を図２に示したように、載置台２２に載置する。
【００４３】
そして、撮像準備が整ったことを自動で認識（例えば、第１撮像部２３ａ又は第２撮像部２３ｂの撮像画像において、動きが所定量以下となったことを検出）あるいは、タッチパネルセンサ２６をオペレータが操作することにより指示が入力されると、商品登録装置１１の画像取込部３１１は、第１撮像部２３ａ及び第２撮像部２３ｂに撮像オン信号を出力して、第１撮像部２３ａ及び第２撮像部２３ｂに撮像動作を開始させる（ステップＳ１１）。これにより、画像取込部３１１は、第１撮像部２３ａ及び第２撮像部２３ｂで撮像された第１画像及び第２画像をＲＡＭ３３等に取り込む。
【００４４】
次に商品登録装置１１の抽出部３１２及び認識部３１３は、載置台２２に載置されている商品Ｇを認識する商品認識処理を行う（ステップＳ１２）。
【００４５】
図１０は、商品識別処理の処理フローチャートである。まず、抽出部３１２は、画像取込部３１１により取り込まれた第１画像及び第２画像の各々から商品の輪郭線等を検出し、当該輪郭線に基づいて第１画像及び第２画像に含まれた対象画像を抽出する（ステップＳ２１）。次いで、認識部３１３は、第１画像の各々から抽出された対象画像毎に、当該対象画像の特徴量を読み取る（ステップＳ２２）。
【００４６】
続いて、認識部３１３は、記憶装置３７に記憶されている商品識別用データベース４０を参照し、各対象画像の特徴量にマッチする（例えば、類似度が高い）商品識別データ４３をそれぞれ検索する。そして、認識部３１３は、対象画像の各々について、特徴量のマッチングの度合いが所定の基準値以上となった商品が、その対象画像に対応すると認識する（ステップＳ２３）。
【００４７】
なお、特徴量のマッチングの度合いが所定の基準値以上となった商品が複数存在する場合には、これら商品を商品候補としてディスプレイ２５の表示画面に表示し、オペレータである店員に選択を促すオペレータ問い合わせ処理を行うものとする。また、何れの商品とも特徴量のマッチングの度合いが所定の基準値未満の場合には、オペレータである店員に手動登録を行うように促し、手動登録を行わせるものとする。
【００４８】
続いて、認識部３１３は、第１画像の各々に含まれた対象画像の当該第１画像中での存在位置と、その第１画像が撮像された撮像方向とに基づいて、載置台２２上に載置されている商品Ｇの対象画像を特定し、当該対象画像毎の認識結果を対応する商品Ｇに対応付けることで、載置台２２に載置された各商品Ｇの認識結果を決定する（ステップＳ２４）。次いで、認識部３１３は、ステップＳ２４の処理結果に基づいて、認識した商品Ｇの個数を種別毎に取得する（ステップＳ２５）とともに、種別毎に求めた商品Ｇの個数の合計値を、第１画像から認識した全商品Ｇの個数（総数）として取得する（ステップＳ２６）。
【００４９】
ここで、図１１−１、図１１−２は、図２に示した二台の第１撮像部２３ａで撮像された第１画像の一例を示す図であり、載置台２２に載置された同一の対象物（商品群）を表している。また、図１１−３は、第２撮像部２３ｂで撮像された第１画像の一例を示す図であり、図１１−１及び図１１−２と同一の対象物（商品群）を表している。なお、図１１−１は、載置台２２を右上方から撮像する第１撮像部２３ａ（Ｒ）で撮像された第１画像を示しており、図１１−２は、載置台２２を左上方から撮像する第１撮像部２３ａ（Ｌ）で撮像された第１画像を示している。
【００５０】
抽出部３１２は、ステップＳ２１において、図１１−１、図１１−２、図１１−３に含まれる対象画像を抽出する。例えば、図１１−１から対象画像ＯＢ１〜ＯＢ４を抽出する。また、図１１−２から対象画像ＯＢ１〜ＯＢ５を抽出する。また、図１１−３から対象画像ＯＢ１〜ＯＢ６を抽出する。
【００５１】
認識部３１３は、ステップＳ２２において、図１１−１及び図１１−２から抽出された対象画像ＯＢ１〜ＯＢ５の各々から、対象画像の形状（輪郭線）、表面の色、表面の色の分布等を特徴量として抽出する特徴量を読み取り、続くステップＳ２３において、この特徴量に基づいて各対象画像に対応する商品を認識する。例えば、図１１−１及び図１１−２の各々から、対象画像ＯＢ１が「すいか」、対象画像ＯＢ２が「メロン」、対象画像ＯＢ３〜ＯＢ５が「みかん」、と認識される。
【００５２】
また、認識部３１３は、ステップＳ２４において、第１画像の各々に含まれた対象画像の存在位置と、その第１画像が撮像された撮像方向とに基づいて、載置台２２上に載置された商品Ｇの対象画像を第１画像の各々から特定し、この対象画像から認識した認識結果を商品Ｇに対応付ける。ここで、図１１−１及び図１１−２の例では、各図において認識された対象画像ＯＢ１〜ＯＢ４の認識結果が、載置台２２上の対応する商品Ｇに対応付けられる。
【００５３】
そして、認識部３１３は、ステップＳ２５及びＳ２６において、ステップＳ２４での処理結果に基づき、認識した商品Ｇの個数を種別毎に取得するとともに、種別毎に求めた商品Ｇの個数の合計値を、第１画像から認識した全商品Ｇの個数（総数）として取得する。これにより、認識部３１３は、「すいか」を１個、「メロン」を１個、「みかん」を３個認識したことを取得し、図１１−１及び図１１−２の第１画像から合計５個の商品Ｇを認識したことを取得する。
【００５４】
図１０に戻り、比較判定部３１４は、ステップＳ２１で第２画像から抽出された対象画像の個数と、ステップＳ２６で取得された商品の個数、即ち第１画像から認識された全商品の個数とを比較する（ステップＳ２７）。
【００５５】
ステップＳ２７の比較の結果、第２画像から抽出された対象画像の個数が、第１画像から認識された商品Ｇの個数を上回ると判定した場合（ステップＳ２８；Ｎｏ）、比較判定部３１４は、載置台２２上に未認識の商品Ｇが存在すると判断する。そして、比較判定部３１４は、報知部３１５に報知を指示することで、配置変更指示画面（図７参照）をディスプレイ２５に表示させた後（ステップＳ２９）、図９のステップＳ１１に再び戻る。
【００５６】
例えば、上述した図１１−１及び図１１−２の第１画像と、図１１−３の第２画像とを比較すると、対象画像ＯＢ１と対象画像ＯＢ２とに挟まれた対象画像ＯＢ６（みかん）は、第１撮像部２３ａの死角になっているため、第１画像から抽出することはできない。そのため、図１１−３の第２画像から抽出された対象画像ＯＢ１〜ＯＢ６の個数（６個）は、図１１−１及び図１１−２から認識された商品Ｇの個数（５個）を上回ることになる。この場合、比較判定部３１４は、載置台２２上に未認識の商品Ｇが存在すると判断し、報知部３１５に報知を指示することで、配置変更指示画面（図７参照）をディスプレイ２５に表示させる。これにより、オペレータである店員に、載置台２２に載置された商品Ｇの配置変更を促す。
【００５７】
一方、ステップＳ２８において、第１画像から認識された商品Ｇの個数が、第２画像から抽出された対象画像の個数以上と判定した場合（ステップＳ２８；Ｙｅｓ）、比較判定部３１４は、載置台２２上の全ての商品Ｇが認識部３１３で認識されたと判断する。そして、比較判定部３１４は、認識部３１３が認識した各商品Ｇの商品コードデータ４１及び商品情報データ４２を商品識別用データベース４０から読み出し、ステップＳ２５で取得された商品Ｇの種別毎の個数、及び、ステップＳ２６で取得された認識済の商品Ｇの個数（登録商品数）とともに、シート生成部３１６に出力し（ステップＳ３０）、図９のステップＳ１３に移行する。
【００５８】
図９に戻り、商品認識処理（ステップＳ１２）が完了すると、シート生成部３１６は、比較判定部３１４から入力された商品コードデータ４１、商品情報データ４２、商品Ｇの種別毎の個数及び登録商品数に基づいて、商品事前登録シート１２の印刷用データを生成する（ステップＳ１３）。そして、シート生成部３１６は、印刷用データの印刷をプリンタコントローラ３６に指示することで、商品事前登録シート１２をプリンタ２７から印刷させる（ステップＳ１４）。
【００５９】
これにより、顧客は、商品事前登録シート１２を商品登録装置１１のオペレータである店員から受け取り、載置台２２に載置された商品と共に、決済端末装置１３−１のオペレータである店員に渡すこととなる。この結果、決済端末装置１３−１のオペレータである店員は、ＣＣＤスキャナ７８により商品事前登録シート１２の２次元バーコードの読み取りを行わせる（ステップＳ１５）。
【００６０】
そして、決済端末装置１３−１のＣＰＵ６１は、スキャナコントローラ７９を介して入力された２次元バーコードに含まれていた商品コードデータ４１に基づく、購入商品の種類及び数に基づいて決済処理を行い、レシートをレシート／ジャーナルプリンタ７４を介して出力することとなる（ステップＳ１６）。
【００６１】
以上の説明のように本実施形態によれば、複数の撮像方向から載置台２２を撮像した第１画像から、載置台２２に載置されている商品Ｇの対象画像を抽出し、当該対象画像の特徴量に基づいて、対象画像の各々に対応する商品を認識する。これにより、一の撮影方向からでは死角となる位置に配置された商品Ｇを、他の撮影方向から撮像された第１画像を用いて認識することができるため、商品の読みこぼしが発生するのを抑制することができる。また、第１画像毎での対象画像の認識結果に基づいて、載置台２２に載置された商品Ｇの認識結果を決定することで、載置台２２の同一位置に載置された商品Ｇを重複して認識してしまうことを防止できるため、認識精度を向上させることができる。
【００６２】
また、第１画像から認識した商品の個数と、第２画像から抽出された対象画像の個数とを比較し、この第２画像から抽出された対象画像の個数が、第１画像から認識した商品の個数を上回る場合に、載置台２２に未認識の商品Ｇが存在すると判断し、配置の変更を指示した配置変更画面をディスプレイ２５に表示する。これにより、第１画像でカバーしきれない位置に商品Ｇが配置されていることをオペレータである店員に報知できるため、読みこぼしの発生を未然に防止することができる。
【００６３】
ところで、上記実施形態における商品登録装置１１での撮像に係る構成は、種々の形態を採用することが可能である。例えば、図２では、載置台２２の上方に第１撮像部２３ａを２台設ける構成としたが、これに限らず、載置台２２に対する相対的な撮像位置又は撮像方向を変更可能に構成した１台の第１撮像部２３ａを設ける構成としてもよい。
【００６４】
第１撮像部２３ａを１台構成とする場合、例えば、図１２に示すように、第１撮像部２３ａの設置位置（図中矢印Ａ１参照）や、第１撮像部２３ａの撮像方向（図中矢印Ａ２参照）を、画像取込部３１１の指示に応じて変更可能な構成とすることで、載置台２２の上面を互いに異なる複数の撮像方向から撮像することができる。また、第１撮像部２３ａを固定し、画像取込部３１１の指示に応じて載置台２２を当該載置台２２の載置面と平行な平面上で移動や回転可能な構成（図中矢印Ａ３参照）とすることで、載置台２２の上面を互いに異なる複数の撮像方向から撮像することができる。
【００６５】
また、１台の第１撮像部２３ａと、１又は複数の反射鏡との組を用い、画像取込部３１１の指示に応じて第１撮像部２３ａ又は反射鏡の撮像方向／反射角度を変更可能な構成とすることで、載置台２２の上面を互いに異なる複数の撮像方向から撮像することができる。例えば、図１３に示すように、１台の第１撮像部２３ａと１台の反射鏡２９との組を用い、第１撮像部２３ａの撮像方向を方向Ｄ１と方向Ｄ２とに向けることで、載置台２２の上面を二つの撮像方向から撮像することができる。なお、撮像時の結像範囲（撮像範囲）が載置台２２となるよう、第１撮像部２３ａ及び反射鏡２９の角度調整が行われているものとする。
【００６６】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６７】
例えば、上記実施形態では、載置台２２に商品Ｇが直接載置される形態としたが、これに限らず、光透過性の容器や袋に収納された商品Ｇを載置台２２に載置する形態としてもよい。
【００６８】
また、上記実施形態では、認識する対象を商品等の物（オブジェクト）としたが、これに限らず、例えば商品に付されたバーコードや二次元コード等のシンボルコードとしてもよい。この場合、認識部３１３はシンボルコードに埋め込まれた情報を解読可能なデコード機能をさらに有するものとし、デコードしたシンボルコードの個数を第１画像から認識した商品の個数として取得するものとする。なお、シンボルコードの多重読みを防ぐため、上述した載置台２２上での同一位置の確認を同様に行うことが好ましい。
【００６９】
また、上記実施形態では、商品登録装置１１が商品識別用データベース４０を記憶する形態としたが、これに限らず、商品登録装置１１がアクセスすることが可能な外部装置に商品識別用データベース４０を記憶する形態としてもよい。
【００７０】
また、上記実施形態では、商品登録装置１１と、決済端末装置１３−１〜１３−ｎとの間のデータ連携を商品事前登録シート１２の紙媒体を用いて行っていたが、これに限らないものとする。例えば、同様のデータの遣り取りを、ブルートゥース（登録商標）等の無線ネットワークを介して無線通信で接続したり、イーサネット（登録商標）等の有線ネットワークを介して有線通信で接続したり、ＲＦＩＤ、ＵＳＢメモリなどの電子的な記録媒体（記録通信媒体）を用いて行う形態としてもよい。
【００７１】
また、上記実施形態では、商品事前登録シート１２において、商品コードや、商品情報を２次元バーコードに記録していたが、これに限らず、一または複数の１次元バーコードを用いて記録する形態としてもよい。
【００７２】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００７３】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【００７４】
１１ 商品登録装置
２１ 装置本体
２２ 載置台
２３ａ 第１撮像部
２３ｂ 第２撮像部
２４ａ 第１保持部
２４ｂ 第２保持部
２５ ディスプレイ
２６ タッチパネルセンサ
２７ プリンタ
３１ ＣＰＵ
３１１ 画像取込部
３１２ 抽出部
３１３ 認識部
３１４ 比較判定部
３１５ 報知部
３１６ シート生成部
３２ ＲＯＭ
３３ ＲＡＭ
３４ Ｉ／Ｏポート
３５ タッチパネルコントローラ
３６ プリンタコントローラ
３７ 記憶装置
３８ 記憶装置コントローラ
４０ 商品識別用データベース
４１ 商品コードデータ
４２ 商品情報データ
４３ 商品識別データ
【先行技術文献】
【特許文献】
【００７５】
【特許文献１】特開２００９−１７６２０９号公報
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、物品（オブジェクト）を撮像した画像データから当該物品の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識する一般物体認識に係る技術が存在している。また、従来、この一般物体認識に係る技術を食器等の種別判別に用いた店舗用のシステムが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、上述した一般物体認識に係る技術では、複数の物品を一度に撮像することで、これら物品のそれぞれを認識することが可能である。しかしながら、これら物品の配置状態によっては、何れかの物品が撮像（撮影）の死角に位置する場合があるため、読みこぼしが発生する可能性があった。
【課題を解決するための手段】
【０００４】
実施の形態の情報処理装置は、第１撮像手段と、認識手段と、決定手段とを備える。第１撮像手段は、対象物が載置される載置台の載置面を異なる複数の撮像方向から撮像する。認識手段は、第１撮像手段により複数の撮像方向の各々で撮像された第１撮像画像の各々から、当該第１撮像画像に含まれた対象物を表す対象画像の特徴量を読み取り、予め記憶された各対象物の特徴量と比較することで、当該対象画像に対応する対象物を第１撮像画像毎に認識する。決定手段は、第１撮像画像毎での対象画像の認識結果に基づいて、載置台に載置された対象物の認識結果を決定する。
【図面の簡単な説明】
【０００５】
【図１】図１は、実施形態の決済システムの概要構成ブロック図である。
【図２】図２は、商品登録装置の外観斜視図である。
【図３】図３は、商品登録装置の概要構成ブロック図である。
【図４】図４は、商品識別用データベースのデータフォーマットの一例の説明図である。
【図５】図５は、商品事前登録シートの一例の説明図である。
【図６】図６は、商品登録装置の機能構成を示すブロック図である。
【図７】図７は、配置変更指示画面の一例を示す図である。
【図８】図８は、決済端末装置（ＰＯＳ端末装置）の概要構成ブロック図である。
【図９】図９は、実施形態の決済システムの処理タイミングチャートである。
【図１０】図１０は、商品識別処理の処理フローチャートである。
【図１１−１】図１１−１は、図２に示す一方の第１撮像部で撮像された第１画像の一例を示す図である。
【図１１−２】図１１−２は、図２に示す他方の第１撮像部で撮像された第１画像の一例を示す図である。
【図１１−３】図１１−３は、図２に示す第２撮像部で撮像された第１画像の一例を示す図である。
【図１２】図１２は、商品登録装置の他の構成例を示す図である。
【図１３】図１３は、商品登録装置の他の構成例を示す図である。
【発明を実施するための形態】
【０００６】
以下では、本実施形態に係る情報処理装置及びプログラムについて、図面を参照して説明する。なお、本実施形態では、情報処理装置及びプログラムを、一取引にかかる商品の認識及び登録を行う商品登録装置に適用した例について説明する。
【０００７】
図１は、実施形態の決済システム１０の概要構成ブロック図である。決済システム１０は、物体認識に係る技術を採用し、一又は複数の商品を特定し、商品登録を行うオブジェクト認識装置である商品登録装置１１と、一括登録がなされるのに伴って商品登録装置１１により発行された後述する商品事前登録シート１２を読み取って決済処理を行う複数の決済端末装置（ＰＯＳ端末装置）１３−１〜１３−ｎと、を備えている。
【０００８】
図２は、商品登録装置１１の外観斜視図である。商品登録装置１１は、詳細は後述するが、装置本体２１と、商品が載置される載置台２２と、載置台２２を図中右上方及び左上方から撮像する第１撮像部２３ａ（Ｒ、Ｌ）と、載置台２２を下方から撮像する第２撮像部２３ｂと、第１撮像部２３ａを所定位置に保持する第１保持部２４ａと、第２撮像部２３ｂを所定位置に保持する第２保持部２４ｂと、各種情報を表示するディスプレイ２５と、ディスプレイ２５の表示画面上に配置され、各種操作を行うためのタッチパネルセンサ２６と、後述する商品事前登録シート１２を印刷出力するプリンタ２７と、を備えている。以下、第１撮像部２３ａ（Ｒ、Ｌ）を特に区別しない場合には、単に第１撮像部２３ａと表記する。
【０００９】
載置台２２は、板状のガラスや透明樹脂等の光透過性の部材で形成されている。そのため、載置台２２に載置された商品Ｇを、当該載置台２２の下方（真下）から第２撮像部２３ｂにより撮像することが可能となっている。なお、図２では、箱状の支持台２８の上面に載置台２２を設けた例を示しているが、設置形態この例に限らないものとする。また、載置台２２上における商品の載置（配置）状態は特に問わないものとするが、各商品が接触しないよう間隔を設けて配置することが好ましい。
【００１０】
第１撮像部２３ａ及び第２撮像部２３ｂは、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有した撮像装置である。ここで、第１撮像部２３ａの各々は、載置台２２の上面を互いに異なる撮影方向から撮像する位置に保持されており、第１撮像部２３ａの各々又は複数の第１撮像部２３ａの組により、載置台２２の全域が撮像範囲に設定されている。また、第２撮像部２３ｂにより、載置台２２の全域が撮像範囲に設定されている。なお、第１撮像部２３ａ及び第２撮像部２３ｂは、有線又は無線により、装置本体２１に接続されているものとする。
【００１１】
図３は、商品登録装置１１の概要構成ブロック図である。商品登録装置１１は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）３１と、制御プログラム等を不揮発的に記憶するＲＯＭ（Read Only Memory）３２と、各種データを一時的に記憶し、ワーキングエリアを構成するＲＡＭ（Random Access Memory）３３と、を備えており、互いにバス接続されている。
【００１２】
さらに商品登録装置１１は、上述した第１撮像部２３ａ及び第２撮像部２３ｂが制御可能に接続されたＩ／Ｏポート３４と、上述したディスプレイ２５及びタッチパネルセンサ２６をＣＰＵ３１の制御下で制御するタッチパネルコントローラ３５と、上述したプリンタ２７をＣＰＵ３１の制御下で制御するプリンタコントローラ３６と、ハードディスクドライブ、ＳＳＤ（Solid State Drive）等として構成され、ＣＰＵ３１が実行するプログラムや大容量の各種データを更新可能に記憶する記憶装置３７をＣＰＵ３１の制御下で制御する記憶装置コントローラ３８と、を備えている。上記構成において、記憶装置３７は、商品識別用データベース４０を備えている。
【００１３】
図４は、商品識別用データベースのデータフォーマットの一例の説明図である。商品識別用データベース４０は、商品毎にユニークに割り当てられた商品コードを格納した商品コードデータ４１と、商品名等の商品に関する情報が格納された商品情報データ４２と、商品を含んで撮影された画像から抽出された特徴量に基づいて、商品をオブジェクト認識により識別するための商品識別データ４３と、を備えている。ここで、商品識別データ４３は、商品の輪郭、色、色の配置等の特徴量であり、基準となる商品から抽出された各種の特徴量が特徴量データとして予め格納されている。
【００１４】
なお、画像中に含まれる商品（オブジェクト；物体）の認識技術としては、例えば、下記の文献において詳しく解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００１５】
また、画像をオブジェクトごとに領域分割することによってオブジェクト認識を行う技術については、例えば、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００１６】
図５は、商品事前登録シートの一例の説明図である。商品登録装置１１は、オブジェクト認識が完了し、載置台２２上に載置されている商品が特定できると、プリンタ２７を介して特定した全ての商品に付いての情報を含む商品事前登録シート１２を印刷出力する。
【００１７】
商品事前登録シート１２は、図５に示すように、登録の対象となった商品の個数が印刷される登録商品数印刷領域５１と、商品の合計金額が印刷される合計金額印刷領域５２と、商品の商品コードが情報として全て含まれる２次元バーコードが印刷される２次元バーコード印刷領域５３と、各種コメント等が印刷されるコメント印刷領域５４と、を備えている。
【００１８】
具体的には、図５の例の場合、登録商品数印刷領域５１の情報から、登録した商品数は６点であり、合計金額印刷領域５２の情報から、その概算合計金額は１２６０円であり、コメント印刷領域５４の情報から、当該商品事前登録シート１２を持ってレジの担当者に渡してもらうように依頼されていることがわかる。
【００１９】
次に、ＣＰＵ３１が記憶装置３７に記憶されたプログラムを順次実行することで実現されるＣＰＵ３１の機能部について、図６を参照して説明する。図６は、商品登録装置１１の機能構成を示すブロック図である。図６に示すように、ＣＰＵ３１は、プログラムを順次実行することにより、画像取込部３１１、抽出部３１２、認識部３１３、比較判定部３１４、報知部３１５及びシート生成部３１６としての機能を備える。
【００２０】
画像取込部３１１は、各第１撮像部２３ａ及び第２撮像部２３ｂに撮像オン信号を出力して、第１撮像部２３ａ及び第２撮像部２３ｂに撮像動作を開始させ、これら第１撮像部２３ａ及び第２撮像部２３ｂの各々で撮像された撮像画像をＲＡＭ３３等に取り込む。なお、第１撮像部２３ａ（Ｒ、Ｌ）及び第２撮像部２３ｂの各々で撮像された撮像画像は、何れの撮像部で撮像されたものか識別可能に構成されているものとする。以下、第１撮像部２３ａ（Ｒ、Ｌ）の各々で撮像された撮像画像を「第１画像」、第２撮像部２３ｂで撮像された撮像画像を「第２画像」という。
【００２１】
抽出部３１２は、画像取込部３１１により取り込まれた第１画像及び第２画像の各々に含まれる商品Ｇの全部又は一部を表す画像を、パターンマッチング技術等を用いて検出する。具体的には、第１画像及び第２画像から商品の輪郭線を検出し、当該輪郭線に基づいて第１画像及び第２画像に含まれた商品の画像（対象画像）を抽出する。なお、第２画像からの対象画像の抽出については、各商品Ｇの底部となる画像領域の輪郭線を検出し、当該輪郭線に基づいて対象画像を抽出してもよい。
【００２２】
認識部３１３は、第１画像の各々から抽出された各対象画像から、当該対象画像（輪郭線）の形状や、表面の色、当該色の分布等を特徴量として読み取る。認識部３１３は、記憶装置３７に記憶されている商品識別用データベース４０を参照し、抽出した各対象画像の特徴量にマッチする（例えば、類似度が高い）商品識別データ４３を検索する。この検索の結果、特徴量のマッチングの度合が所定の基準値を上回る商品識別データ４３が存在する場合、認識部３１３は、対象画像の商品Ｇを認識（特定）できたと判断する。なお、対象画像の認識は第１画像に行われる。
【００２３】
また、認識部３１３は、第１画像の各々に含まれた対象画像の当該第１画像中における存在位置と、その第１画像が撮像された撮像方向とに基づいて、載置台２２上に載置された各商品Ｇの対象画像を第１画像毎に特定する。そして、認識部３１３は、第１画像の各々から導出した対象画像毎の認識結果を、載置台２２上に載置された対応する商品Ｇに対応付けることで、各商品Ｇについての認識結果を決定（集約）する。これにより、載置台２２上の同一位置に載置された商品Ｇを重複して認識してしまうことを防止することができる。
【００２４】
なお、載置台２２の同一位置に載置された商品Ｇの対象画像を特定する方法は特に問わず、例えば、第１画像を構成する画素の位置と、載置台２２上での位置とを予め対応付けて記憶したマッピングデータを用いて、載置台２２の同一位置に載置された商品Ｇの対象画像を特定してもよい。また、第１画像の各々に含まれた対象画像の位置関係を比較することで、載置台２２の同一位置に載置された商品Ｇの対象画像を特定してもよい。
【００２５】
また、認識部３１３は、認識結果を対応付けた商品Ｇに基づいて、当該商品Ｇの個数を種別毎に取得するとともに、種別毎に求めた商品Ｇの個数の合計値を、第１画像から認識した全商品Ｇの個数（総数）として取得する。
【００２６】
比較判定部３１４は、抽出部３１２により第２画像から抽出された対象画像の個数と、認識部３１３により第１画像から認識された商品Ｇの個数とを比較する。この比較の結果、第２画像から抽出された対象画像の個数が、第１画像から認識された商品Ｇの個数を上回ると判定した場合、比較判定部３１４は、載置台２２上に未認識の商品Ｇが存在すると判断し、報知部３１５に配置変更の報知を指示する。
【００２７】
また、上記比較の結果、第１画像から認識された商品Ｇの個数が、第２画像から抽出された対象画像の個数以上と判定した場合、比較判定部３１４は、載置台２２に載置された全ての商品Ｇが認識部３１３で認識されたと判断する。そして、比較判定部３１４は、認識部３１３が認識した各商品Ｇの商品コードデータ４１及び商品情報データ４２を商品識別用データベース４０から読み出し、認識部３１３が取得した商品Ｇの種別毎の個数、及び、認識部３１３が取得した商品Ｇの個数（以下、登録商品数という）とともに、シート生成部３１６に出力する。
【００２８】
上述したように、本実施形態では、第２撮像部２３ｂで撮像された第２画像から抽出される対象画像を、載置台２２に載置された商品の個数として取り扱う。その理由は、第２画像は、載置台２２の真下から商品Ｇを撮像したものであるため、各商品Ｇの底面（或いは影）によって載置台２２に載置された各商品Ｇの個数を容易に確認することができるからである。なお、第２画像から抽出された商品の個数を、第１画像から認識された商品Ｇの個数が上回った場合を容認するのは、商品Ｇの載置（配置）状態によっては、第１画像から得られる個数の方が、正確度が高いケースがあるためである。例えば、商品Ｇを積み重ねて載置台２２上に載置している場合では、第２画像では一つの底面（影）として検出されるため、第１画像から得られる個数を採用することで正確な個数を得ることができる。
【００２９】
報知部３１５は、比較判定部３１４からの指示に応じて、載置台２２に載置された商品Ｇの配置変更を促すための画面（以下、配置変更指示画面）を、ディスプレイ２５に表示させる。
【００３０】
ここで、図７は、配置変更指示画面の一例を示す図である。同図では、読みこぼしが発生している旨を提示することで、商品の配置変更を促している。商品登録装置１１のオペレータは、ディスプレイ２５に表示された配置変更指示画面に基づき、載置台２２上の商品の配置を変更する。これにより、認識部３１３で認識される商品数が変化するため、商品の読みこぼしを防止することができる。
【００３１】
なお、本実施形態では、商品の配置位置の変更を、ディスプレイ２５を用いて報知する形態としたが、これに限らず、音声出力やインジケータランプ等を用いて報知する形態としてもよい。
【００３２】
図６に戻り、シート生成部３１６は、比較判定部３１４から入力された商品コードデータ４１、商品情報データ４２、商品Ｇの種別毎の個数及び登録商品数に基づいて、商品事前登録シート１２の印刷用データを生成し、当該印刷用データの印刷をプリンタコントローラ３６に指示する。これにより、プリンタコントローラ３６では、図５に示したような商品事前登録シート１２をプリンタ２７から出力する。
【００３３】
具体的に、シート生成部３１６は、比較判定部３１４から入力された登録商品数を、印刷領域５１に配置する。また、シート生成部３１６は、商品Ｇの種別毎の個数と、当該商品Ｇの商品情報データ４２に含まれた単価とに基づいて、全商品Ｇの購入に係る合計金額を算出し、合計金額印刷領域５２に配置する。また、シート生成部３１６は、商品コードデータ４１及び商品情報データ４２から二次元コードを生成し、２次元バーコード印刷領域５３に配置する。
【００３４】
次に、決済端末装置について説明する。図８は、決済端末装置の概要構成ブロック図である。本実施形態において、決済端末装置（ＰＯＳ端末装置）１３−１〜１３−ｎは、同様の構成であるので、決済端末装置１３−１を例として説明する。
【００３５】
決済端末装置１３−１は、図８に示すように、ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、時計部６４、Ｉ／Ｏ（Input/Output）ポート６５、ネットワークインタフェース６８、キーボード６９、キーボードコントローラ７０、タッチパネルセンサ７１、ディスプレイ７２、タッチパネルコントローラ７３、レシート／ジャーナルプリンタ（図面ではＲ／Ｊプリンタと表記）７４、プリンタコントローラ７５、バーコードスキャナ７６、スキャナコントローラ７７、ＣＣＤスキャナ７８、スキャナコントローラ７９、記憶装置８０及び記憶装置コントローラ８２を備えている。
【００３６】
ここで、ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、時計部６４、Ｉ／Ｏ（Input/Output）ポート６５、ネットワークインタフェース６８、キーボードコントローラ７０、タッチパネルコントローラ７３、プリンタコントローラ７５、スキャナコントローラ７７、スキャナコントローラ７９及び記憶装置コントローラ８２は、アドレスバス、データバス等のバスラインを介して相互に接続されている。
【００３７】
ＣＰＵ６１は、決済端末装置１３−１全体を制御するものであり、ＲＯＭ６２に記憶されたコンピュータ読み取り可能な各種プログラムを実行することにより、決済端末装置１３−１を制御する。ＲＯＭ６２は、ＣＰＵ６１が実行する各種プログラムや各種データを記憶する。ＲＡＭ６３は、ＣＰＵ６１が実行する各種プログラムや各種データを一時的に記憶し、ワーキングエリアとして機能する。
【００３８】
時計部６４は、現在の日時を計時する。Ｉ／Ｏポート６５は、モードスイッチ６６からのモード選択信号を入力するとともにドロワ（図示せず）の引出しを自動開放させるドロワ開放装置６７に駆動信号を出力する。ネットワークインタフェース６８は、有線通信ネットワーク等を通じて接続される他の装置とのデータ通信を制御する。
【００３９】
キーボードコントローラ７０は、キーボード６９から操作キーに対応したキー信号を取込んでＣＰＵ６１に通知する。タッチパネルコントローラ７３は、タッチパネル付きのディスプレイ７２の駆動を制御してＣＰＵ６１から供給される表示データに対応した文字等をカラー表示させるとともに、ディスプレイ７２の画面に取り付けられたタッチパネルセンサ７１からの信号を取込んでＣＰＵ６１に通知する。プリンタコントローラ７５は、レシート／ジャーナルプリンタ７４の駆動を制御してＣＰＵ６１から供給される印字データをもとにレシート印字及びジャーナル印字を行わせる。
【００４０】
バーコードスキャナ７６は、商品に付されたバーコードを光学的に読み取るものである。スキャナコントローラ７７は、バーコードスキャナ７６で読み取られたデータの信号を取込んでＣＰＵ６１に入力する。ＣＣＤスキャナ７８は、前述の商品事前登録シート１２に記録された２次元コードを含む２次元バーコードを光学的に読み取るものである。スキャナコントローラ７９は、ＣＣＤスキャナ７８で読み取られたデータの信号を取込んでＣＰＵ６１に入力する。記憶装置コントローラ８２は、ＣＰＵ６１の制御下で記憶装置８０に対するデータの書き込み及び読み出しを制御する。
【００４１】
記憶装置８０は、例えばハードディスクドライブ装置、ＳＳＤ（Solid State Drive）等から構成されており、ＣＰＵ６１で動作するプログラム等の他、商品の各種情報を含む商品データを記憶する商品情報記憶部８１を備えている。商品情報記憶部８１に記憶される商品データとしては、例えば、商品の商品コード、商品名、単価等を含んでいる。
【００４２】
次に、実施形態の動作を説明する。図９は、実施形態の決済システムの処理タイミングチャートである。まず、商品登録装置１１のオペレータは、顧客が選んだ商品を図２に示したように、載置台２２に載置する。
【００４３】
そして、撮像準備が整ったことを自動で認識（例えば、第１撮像部２３ａ又は第２撮像部２３ｂの撮像画像において、動きが所定量以下となったことを検出）あるいは、タッチパネルセンサ２６をオペレータが操作することにより指示が入力されると、商品登録装置１１の画像取込部３１１は、第１撮像部２３ａ及び第２撮像部２３ｂに撮像オン信号を出力して、第１撮像部２３ａ及び第２撮像部２３ｂに撮像動作を開始させる（ステップＳ１１）。これにより、画像取込部３１１は、第１撮像部２３ａ及び第２撮像部２３ｂで撮像された第１画像及び第２画像をＲＡＭ３３等に取り込む。
【００４４】
次に商品登録装置１１の抽出部３１２及び認識部３１３は、載置台２２に載置されている商品Ｇを認識する商品認識処理を行う（ステップＳ１２）。
【００４５】
図１０は、商品識別処理の処理フローチャートである。まず、抽出部３１２は、画像取込部３１１により取り込まれた第１画像及び第２画像の各々から商品の輪郭線等を検出し、当該輪郭線に基づいて第１画像及び第２画像に含まれた対象画像を抽出する（ステップＳ２１）。次いで、認識部３１３は、第１画像の各々から抽出された対象画像毎に、当該対象画像の特徴量を読み取る（ステップＳ２２）。
【００４６】
続いて、認識部３１３は、記憶装置３７に記憶されている商品識別用データベース４０を参照し、各対象画像の特徴量にマッチする（例えば、類似度が高い）商品識別データ４３をそれぞれ検索する。そして、認識部３１３は、対象画像の各々について、特徴量のマッチングの度合いが所定の基準値以上となった商品が、その対象画像に対応すると認識する（ステップＳ２３）。
【００４７】
なお、特徴量のマッチングの度合いが所定の基準値以上となった商品が複数存在する場合には、これら商品を商品候補としてディスプレイ２５の表示画面に表示し、オペレータである店員に選択を促すオペレータ問い合わせ処理を行うものとする。また、何れの商品とも特徴量のマッチングの度合いが所定の基準値未満の場合には、オペレータである店員に手動登録を行うように促し、手動登録を行わせるものとする。
【００４８】
続いて、認識部３１３は、第１画像の各々に含まれた対象画像の当該第１画像中での存在位置と、その第１画像が撮像された撮像方向とに基づいて、載置台２２上に載置されている商品Ｇの対象画像を特定し、当該対象画像毎の認識結果を対応する商品Ｇに対応付けることで、載置台２２に載置された各商品Ｇの認識結果を決定する（ステップＳ２４）。次いで、認識部３１３は、ステップＳ２４の処理結果に基づいて、認識した商品Ｇの個数を種別毎に取得する（ステップＳ２５）とともに、種別毎に求めた商品Ｇの個数の合計値を、第１画像から認識した全商品Ｇの個数（総数）として取得する（ステップＳ２６）。
【００４９】
ここで、図１１−１、図１１−２は、図２に示した二台の第１撮像部２３ａで撮像された第１画像の一例を示す図であり、載置台２２に載置された同一の対象物（商品群）を表している。また、図１１−３は、第２撮像部２３ｂで撮像された第１画像の一例を示す図であり、図１１−１及び図１１−２と同一の対象物（商品群）を表している。なお、図１１−１は、載置台２２を右上方から撮像する第１撮像部２３ａ（Ｒ）で撮像された第１画像を示しており、図１１−２は、載置台２２を左上方から撮像する第１撮像部２３ａ（Ｌ）で撮像された第１画像を示している。
【００５０】
抽出部３１２は、ステップＳ２１において、図１１−１、図１１−２、図１１−３に含まれる対象画像を抽出する。例えば、図１１−１から対象画像ＯＢ１〜ＯＢ４を抽出する。また、図１１−２から対象画像ＯＢ１〜ＯＢ５を抽出する。また、図１１−３から対象画像ＯＢ１〜ＯＢ６を抽出する。
【００５１】
認識部３１３は、ステップＳ２２において、図１１−１及び図１１−２から抽出された対象画像ＯＢ１〜ＯＢ５の各々から、対象画像の形状（輪郭線）、表面の色、表面の色の分布等を特徴量として抽出する特徴量を読み取り、続くステップＳ２３において、この特徴量に基づいて各対象画像に対応する商品を認識する。例えば、図１１−１及び図１１−２の各々から、対象画像ＯＢ１が「すいか」、対象画像ＯＢ２が「メロン」、対象画像ＯＢ３〜ＯＢ５が「みかん」、と認識される。
【００５２】
また、認識部３１３は、ステップＳ２４において、第１画像の各々に含まれた対象画像の存在位置と、その第１画像が撮像された撮像方向とに基づいて、載置台２２上に載置された商品Ｇの対象画像を第１画像の各々から特定し、この対象画像から認識した認識結果を商品Ｇに対応付ける。ここで、図１１−１及び図１１−２の例では、各図において認識された対象画像ＯＢ１〜ＯＢ４の認識結果が、載置台２２上の対応する商品Ｇに対応付けられる。
【００５３】
そして、認識部３１３は、ステップＳ２５及びＳ２６において、ステップＳ２４での処理結果に基づき、認識した商品Ｇの個数を種別毎に取得するとともに、種別毎に求めた商品Ｇの個数の合計値を、第１画像から認識した全商品Ｇの個数（総数）として取得する。これにより、認識部３１３は、「すいか」を１個、「メロン」を１個、「みかん」を３個認識したことを取得し、図１１−１及び図１１−２の第１画像から合計５個の商品Ｇを認識したことを取得する。
【００５４】
図１０に戻り、比較判定部３１４は、ステップＳ２１で第２画像から抽出された対象画像の個数と、ステップＳ２６で取得された商品の個数、即ち第１画像から認識された全商品の個数とを比較する（ステップＳ２７）。
【００５５】
ステップＳ２７の比較の結果、第２画像から抽出された対象画像の個数が、第１画像から認識された商品Ｇの個数を上回ると判定した場合（ステップＳ２８；Ｎｏ）、比較判定部３１４は、載置台２２上に未認識の商品Ｇが存在すると判断する。そして、比較判定部３１４は、報知部３１５に報知を指示することで、配置変更指示画面（図７参照）をディスプレイ２５に表示させた後（ステップＳ２９）、図９のステップＳ１１に再び戻る。
【００５６】
例えば、上述した図１１−１及び図１１−２の第１画像と、図１１−３の第２画像とを比較すると、対象画像ＯＢ１と対象画像ＯＢ２とに挟まれた対象画像ＯＢ６（みかん）は、第１撮像部２３ａの死角になっているため、第１画像から抽出することはできない。そのため、図１１−３の第２画像から抽出された対象画像ＯＢ１〜ＯＢ６の個数（６個）は、図１１−１及び図１１−２から認識された商品Ｇの個数（５個）を上回ることになる。この場合、比較判定部３１４は、載置台２２上に未認識の商品Ｇが存在すると判断し、報知部３１５に報知を指示することで、配置変更指示画面（図７参照）をディスプレイ２５に表示させる。これにより、オペレータである店員に、載置台２２に載置された商品Ｇの配置変更を促す。
【００５７】
一方、ステップＳ２８において、第１画像から認識された商品Ｇの個数が、第２画像から抽出された対象画像の個数以上と判定した場合（ステップＳ２８；Ｙｅｓ）、比較判定部３１４は、載置台２２上の全ての商品Ｇが認識部３１３で認識されたと判断する。そして、比較判定部３１４は、認識部３１３が認識した各商品Ｇの商品コードデータ４１及び商品情報データ４２を商品識別用データベース４０から読み出し、ステップＳ２５で取得された商品Ｇの種別毎の個数、及び、ステップＳ２６で取得された認識済の商品Ｇの個数（登録商品数）とともに、シート生成部３１６に出力し（ステップＳ３０）、図９のステップＳ１３に移行する。
【００５８】
図９に戻り、商品認識処理（ステップＳ１２）が完了すると、シート生成部３１６は、比較判定部３１４から入力された商品コードデータ４１、商品情報データ４２、商品Ｇの種別毎の個数及び登録商品数に基づいて、商品事前登録シート１２の印刷用データを生成する（ステップＳ１３）。そして、シート生成部３１６は、印刷用データの印刷をプリンタコントローラ３６に指示することで、商品事前登録シート１２をプリンタ２７から印刷させる（ステップＳ１４）。
【００５９】
これにより、顧客は、商品事前登録シート１２を商品登録装置１１のオペレータである店員から受け取り、載置台２２に載置された商品と共に、決済端末装置１３−１のオペレータである店員に渡すこととなる。この結果、決済端末装置１３−１のオペレータである店員は、ＣＣＤスキャナ７８により商品事前登録シート１２の２次元バーコードの読み取りを行わせる（ステップＳ１５）。
【００６０】
そして、決済端末装置１３−１のＣＰＵ６１は、スキャナコントローラ７９を介して入力された２次元バーコードに含まれていた商品コードデータ４１に基づく、購入商品の種類及び数に基づいて決済処理を行い、レシートをレシート／ジャーナルプリンタ７４を介して出力することとなる（ステップＳ１６）。
【００６１】
以上の説明のように本実施形態によれば、複数の撮像方向から載置台２２を撮像した第１画像から、載置台２２に載置されている商品Ｇの対象画像を抽出し、当該対象画像の特徴量に基づいて、対象画像の各々に対応する商品を認識する。これにより、一の撮影方向からでは死角となる位置に配置された商品Ｇを、他の撮影方向から撮像された第１画像を用いて認識することができるため、商品の読みこぼしが発生するのを抑制することができる。また、第１画像毎での対象画像の認識結果に基づいて、載置台２２に載置された商品Ｇの認識結果を決定することで、載置台２２の同一位置に載置された商品Ｇを重複して認識してしまうことを防止できるため、認識精度を向上させることができる。
【００６２】
また、第１画像から認識した商品の個数と、第２画像から抽出された対象画像の個数とを比較し、この第２画像から抽出された対象画像の個数が、第１画像から認識した商品の個数を上回る場合に、載置台２２に未認識の商品Ｇが存在すると判断し、配置の変更を指示した配置変更画面をディスプレイ２５に表示する。これにより、第１画像でカバーしきれない位置に商品Ｇが配置されていることをオペレータである店員に報知できるため、読みこぼしの発生を未然に防止することができる。
【００６３】
ところで、上記実施形態における商品登録装置１１での撮像に係る構成は、種々の形態を採用することが可能である。例えば、図２では、載置台２２の上方に第１撮像部２３ａを２台設ける構成としたが、これに限らず、載置台２２に対する相対的な撮像位置又は撮像方向を変更可能に構成した１台の第１撮像部２３ａを設ける構成としてもよい。
【００６４】
第１撮像部２３ａを１台構成とする場合、例えば、図１２に示すように、第１撮像部２３ａの設置位置（図中矢印Ａ１参照）や、第１撮像部２３ａの撮像方向（図中矢印Ａ２参照）を、画像取込部３１１の指示に応じて変更可能な構成とすることで、載置台２２の上面を互いに異なる複数の撮像方向から撮像することができる。また、第１撮像部２３ａを固定し、画像取込部３１１の指示に応じて載置台２２を当該載置台２２の載置面と平行な平面上で移動や回転可能な構成（図中矢印Ａ３参照）とすることで、載置台２２の上面を互いに異なる複数の撮像方向から撮像することができる。
【００６５】
また、１台の第１撮像部２３ａと、１又は複数の反射鏡との組を用い、画像取込部３１１の指示に応じて第１撮像部２３ａ又は反射鏡の撮像方向／反射角度を変更可能な構成とすることで、載置台２２の上面を互いに異なる複数の撮像方向から撮像することができる。例えば、図１３に示すように、１台の第１撮像部２３ａと１台の反射鏡２９との組を用い、第１撮像部２３ａの撮像方向を方向Ｄ１と方向Ｄ２とに向けることで、載置台２２の上面を二つの撮像方向から撮像することができる。なお、撮像時の結像範囲（撮像範囲）が載置台２２となるよう、第１撮像部２３ａ及び反射鏡２９の角度調整が行われているものとする。
【００６６】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６７】
例えば、上記実施形態では、載置台２２に商品Ｇが直接載置される形態としたが、これに限らず、光透過性の容器や袋に収納された商品Ｇを載置台２２に載置する形態としてもよい。
【００６８】
また、上記実施形態では、認識する対象を商品等の物（オブジェクト）としたが、これに限らず、例えば商品に付されたバーコードや二次元コード等のシンボルコードとしてもよい。この場合、認識部３１３はシンボルコードに埋め込まれた情報を解読可能なデコード機能をさらに有するものとし、デコードしたシンボルコードの個数を第１画像から認識した商品の個数として取得するものとする。なお、シンボルコードの多重読みを防ぐため、上述した載置台２２上での同一位置の確認を同様に行うことが好ましい。
【００６９】
また、上記実施形態では、商品登録装置１１が商品識別用データベース４０を記憶する形態としたが、これに限らず、商品登録装置１１がアクセスすることが可能な外部装置に商品識別用データベース４０を記憶する形態としてもよい。
【００７０】
また、上記実施形態では、商品登録装置１１と、決済端末装置１３−１〜１３−ｎとの間のデータ連携を商品事前登録シート１２の紙媒体を用いて行っていたが、これに限らないものとする。例えば、同様のデータの遣り取りを、ブルートゥース（登録商標）等の無線ネットワークを介して無線通信で接続したり、イーサネット（登録商標）等の有線ネットワークを介して有線通信で接続したり、ＲＦＩＤ、ＵＳＢメモリなどの電子的な記録媒体（記録通信媒体）を用いて行う形態としてもよい。
【００７１】
また、上記実施形態では、商品事前登録シート１２において、商品コードや、商品情報を２次元バーコードに記録していたが、これに限らず、一または複数の１次元バーコードを用いて記録する形態としてもよい。
【００７２】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００７３】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【００７４】
１１ 商品登録装置
２１ 装置本体
２２ 載置台
２３ａ 第１撮像部
２３ｂ 第２撮像部
２４ａ 第１保持部
２４ｂ 第２保持部
２５ ディスプレイ
２６ タッチパネルセンサ
２７ プリンタ
３１ ＣＰＵ
３１１ 画像取込部
３１２ 抽出部
３１３ 認識部
３１４ 比較判定部
３１５ 報知部
３１６ シート生成部
３２ ＲＯＭ
３３ ＲＡＭ
３４ Ｉ／Ｏポート
３５ タッチパネルコントローラ
３６ プリンタコントローラ
３７ 記憶装置
３８ 記憶装置コントローラ
４０ 商品識別用データベース
４１ 商品コードデータ
４２ 商品情報データ
４３ 商品識別データ
【先行技術文献】
【特許文献】
【００７５】
【特許文献１】特開２００９−１７６２０９号公報
【特許請求の範囲】
【請求項１】
対象物が載置される載置台の載置面を異なる複数の撮像方向から撮像する第１撮像手段と、
前記第１撮像手段により前記複数の撮像方向の各々で撮像された第１撮像画像の各々から、当該第１撮像画像に含まれた前記対象物を表す対象画像の特徴量を読み取り、予め記憶された各対象物の特徴量と比較することで、当該対象画像に対応する対象物を前記第１撮像画像毎に認識する認識手段と、
前記第１撮像画像毎での前記対象画像の認識結果に基づいて、前記載置台に載置された前記対象物の認識結果を決定する決定手段と、
を備える情報処理装置。
【請求項２】
前記載置台は、光透過性の部材で形成され、
前記載置台を当該載置台の下方から撮像する第２撮像手段を更に備える請求項１に記載の情報処理装置。
【請求項３】
前記第２撮像手段により撮像された第２撮像画像に含まれる前記対象画像の個数と、前記決定手段により認識結果が決定された前記対象物の個数と、を比較する比較手段と、
前記比較手段による比較の結果、前記第２撮像画像に含まれる前記対象画像の個数が、前記認識結果が決定された前記対象物の個数を上回った場合に、前記載置台に載置された前記対象物の配置変更を報知する報知手段と、
を備える請求項２に記載の情報処理装置。
【請求項４】
前記比較手段による比較の結果、前記認識結果が決定された前記対象物の個数が、前記第２撮像画像に含まれる前記対象画像の個数以上の場合に、当該認識結果を出力する出力手段と、
を備える請求項３に記載の情報処理装置。
【請求項５】
前記第１撮像手段は、互いに異なる撮像方向から撮像する複数台の撮像装置又は前記載置台に対する相対的な撮像位置又は撮像方向が変更可能に構成された１台の撮像装置と、当該撮像装置で撮像された前記第１撮像画像を取り込む取込手段とを有する請求項１〜４の何れか一項に記載の情報処理装置。
【請求項６】
コンピュータを、
対象物が載置される載置台の載置面を互いに異なる複数の撮像方向から撮像する第１撮像手段と、
前記第１撮像手段により前記複数の撮像方向の各々で撮像された第１撮像画像の各々から、当該第１撮像画像に含まれた前記対象物を表す対象画像の特徴量を読み取り、予め記憶された各対象物の特徴量と比較することで、当該対象画像に対応する対象物を前記第１撮像画像毎に認識する認識手段と、
前記第１撮像画像毎での前記対象画像の認識結果に基づいて、前記載置台に載置された前記対象物の認識結果を決定する決定手段と、
して機能させるためのプログラム。
【請求項１】
対象物が載置される載置台の載置面を異なる複数の撮像方向から撮像する第１撮像手段と、
前記第１撮像手段により前記複数の撮像方向の各々で撮像された第１撮像画像の各々から、当該第１撮像画像に含まれた前記対象物を表す対象画像の特徴量を読み取り、予め記憶された各対象物の特徴量と比較することで、当該対象画像に対応する対象物を前記第１撮像画像毎に認識する認識手段と、
前記第１撮像画像毎での前記対象画像の認識結果に基づいて、前記載置台に載置された前記対象物の認識結果を決定する決定手段と、
を備える情報処理装置。
【請求項２】
前記載置台は、光透過性の部材で形成され、
前記載置台を当該載置台の下方から撮像する第２撮像手段を更に備える請求項１に記載の情報処理装置。
【請求項３】
前記第２撮像手段により撮像された第２撮像画像に含まれる前記対象画像の個数と、前記決定手段により認識結果が決定された前記対象物の個数と、を比較する比較手段と、
前記比較手段による比較の結果、前記第２撮像画像に含まれる前記対象画像の個数が、前記認識結果が決定された前記対象物の個数を上回った場合に、前記載置台に載置された前記対象物の配置変更を報知する報知手段と、
を備える請求項２に記載の情報処理装置。
【請求項４】
前記比較手段による比較の結果、前記認識結果が決定された前記対象物の個数が、前記第２撮像画像に含まれる前記対象画像の個数以上の場合に、当該認識結果を出力する出力手段と、
を備える請求項３に記載の情報処理装置。
【請求項５】
前記第１撮像手段は、互いに異なる撮像方向から撮像する複数台の撮像装置又は前記載置台に対する相対的な撮像位置又は撮像方向が変更可能に構成された１台の撮像装置と、当該撮像装置で撮像された前記第１撮像画像を取り込む取込手段とを有する請求項１〜４の何れか一項に記載の情報処理装置。
【請求項６】
コンピュータを、
対象物が載置される載置台の載置面を互いに異なる複数の撮像方向から撮像する第１撮像手段と、
前記第１撮像手段により前記複数の撮像方向の各々で撮像された第１撮像画像の各々から、当該第１撮像画像に含まれた前記対象物を表す対象画像の特徴量を読み取り、予め記憶された各対象物の特徴量と比較することで、当該対象画像に対応する対象物を前記第１撮像画像毎に認識する認識手段と、
前記第１撮像画像毎での前記対象画像の認識結果に基づいて、前記載置台に載置された前記対象物の認識結果を決定する決定手段と、
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１−１】
【図１１−２】
【図１１−３】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１−１】
【図１１−２】
【図１１−３】
【図１２】
【図１３】
【公開番号】特開２０１３−５４６７３（Ｐ２０１３−５４６７３Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９４０５５（Ｐ２０１１−１９４０５５）
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]