商品読取装置及びプログラム
【課題】オペレータが意図したタイミングで画像認識を行うことが可能な商品読取装置及びプログラムを提供する。
【解決手段】時間的に連続する複数枚の画像を撮像する撮像手段と、前記画像に含まれる商品を画像認識し、当該商品の候補となる候補商品を導出する画像認識手段と、表示手段と、前記候補商品の各々を前記表示手段に表示させる表示制御手段と、前記表示手段に表示された候補商品の選択操作を受け付ける操作受付手段と、前記複数枚の画像からユーザーの動作を検出する動作検出手段と、前記動作検出手段で検出された動作が、所定の動作パターンに相当するか否かを判定する動作判定手段と、前記動作判定手段の判定結果に基づいて、前記画像認識手段及び前記表示制御手段の動作を制御する制御手段と、を備える。
【解決手段】時間的に連続する複数枚の画像を撮像する撮像手段と、前記画像に含まれる商品を画像認識し、当該商品の候補となる候補商品を導出する画像認識手段と、表示手段と、前記候補商品の各々を前記表示手段に表示させる表示制御手段と、前記表示手段に表示された候補商品の選択操作を受け付ける操作受付手段と、前記複数枚の画像からユーザーの動作を検出する動作検出手段と、前記動作検出手段で検出された動作が、所定の動作パターンに相当するか否かを判定する動作判定手段と、前記動作判定手段の判定結果に基づいて、前記画像認識手段及び前記表示制御手段の動作を制御する制御手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、商品読取装置及びプログラムに関する。
【背景技術】
【０００２】
従来、スーパーマーケット等の店舗では、商品に付されたバーコードをスキャナ装置等で読み取ることで、その商品を登録することが可能となっている。また、バーコードの付されていない商品については、店員等のオペレータがキー操作を行うことで、手動で登録することが行われているが、キー操作が煩雑であるという問題があった。
【０００３】
そこで、従来、画像認識技術を用いることで、商品を撮像した画像からその商品を認識し、候補となった一又は複数の商品のうち、オペレータにより選択された商品を登録する装置が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、商品の撮像の際に該商品を数秒間静止させる必要があるため、読取効率が低いという問題があった。また、オペレータが商品を移動させながら画像認識する場合、オペレータが意図しない不適切なタイミングで画像認識を行うと、画像認識可能な範囲外に商品がある等の理由により、認識効率が低下する可能性があった。
【課題を解決するための手段】
【０００５】
実施の形態の商品読取装置は、撮像手段と、画像認識手段と、表示手段と、表示制御手段と、操作受付手段と、動作検出手段と、動作判定手段と、制御手段とを備える。撮像手段は、時間的に連続する複数枚の画像を撮像する。画像認識手段は、画像に含まれる商品を画像認識し、当該商品の候補となる候補商品を導出する。表示制御手段は、候補商品の各々を表示手段に表示させる。操作受付手段は、表示手段に表示された候補商品の選択操作を受け付ける。動作検出手段は、複数枚の画像からユーザーの動作を検出する。動作判定手段は、動作検出手段で検出された動作が、所定の動作パターンに相当するか否かを判定する。制御手段は、動作判定手段の判定結果に基づいて、画像認識手段及び表示制御手段の動作を制御する。
【図面の簡単な説明】
【０００６】
【図１】図１は、第１の実施形態に係る商品読取装置を含んだチェックアウトシステムの一例を示す斜視図。
【図２】図２は、第１の実施形態に係る商品読取装置及び商品精算装置のハードウェア構成を模式的に示す図。
【図３】図３は、第１の実施形態に係る動作データベースのデータ構成の一例を模式的に示す図。
【図４】図４は、オペレータが行う動作例を示す図。
【図５】図５は、オペレータの動作例を模式的に示す図。
【図６】図６は、オペレータの動作例を模式的に示す図。
【図７】図７は、オペレータの動作例を模式的に示す図。
【図８】図８は、オペレータの動作例を模式的に示す図。
【図９】図９は、商品データベースのデータ構成の一例を模式的に示す図。
【図１０】図１０は、ＰＬＵファイルのデータ構成の一例を模式的に示す図。
【図１１】図１１は、第１の実施形態に係る商品読取装置の機能構成を示す図。
【図１２】図１２は、動作判定部の動作を説明するための図。
【図１３】図１３は、動作判定部の動作を説明するための図。
【図１４】図１４は、動作判定部の動作を説明するための図。
【図１５】図１５は、画像認識部の動作を説明するための図。
【図１６】図１６は、第１の実施形態に係る商品読取装置が実行する第１商品読取処理の手順を示すフローチャート。
【図１７】図１７は、図１６に示した画像認識処理の手順を示すフローチャート。
【図１８】図１８は、表示・操作部に表示された商品画像の一例を示す図。
【図１９】図１９は、第２の実施形態に係る商品読取装置のハードウェア構成を模式的に示す図。
【図２０】図２０は、第２の実施形態に係る動作データベースのデータ構成の一例を模式的に示す図。
【図２１】図２１は、第２の実施形態に係る商品読取装置の機能構成を示す図。
【図２２】図２２は、第２の実施形態に係る商品読取装置が実行する第２商品読取処理の手順を示すフローチャート。
【図２３】図２３は、表示・操作部に表示された確認画像の一例を示す図。
【図２４】図２４は、撮像部を二台構成とした例を説明するための図。
【発明を実施するための形態】
【０００７】
以下では、スーパーマーケット等の店舗に導入されたチェックアウトシステムを例に、本実施形態に係る商品読取装置及びプログラムを、図面を参照して説明する。
【０００８】
［第１の実施形態］
図１は、第１の実施形態に係る商品読取装置１０を含んだチェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品読取装置１０と、商品精算装置２０とを有する。
【０００９】
商品読取装置１０は、カウンタ台３１の略中央に配置され、ハウジング１１と、表示・操作部１２とを備えている。ハウジング１１は、矩形形状に形成されており、オペレータの操作側となる面の略中央に読取窓１３が設けられている。読取窓１３の奥側には、後述する撮像部５４（図２参照）が設けられている。
【００１０】
表示・操作部１２は、ハウジング１１の上部に設けられている。表示・操作部１２は、後述する表示・操作制御部７５（図１１参照）の制御の下、文字や画像等を表示するとともに、商品読取装置１０を操作するオペレータの操作入力を受け付ける。表示・操作部１２は、例えばタッチパネルディスプレイを用いて実現する。
【００１１】
カウンタ台３１の上面には、荷受け面３１１が形成されている。荷受け面３１１には、購入の対象となった商品Ｇを収納する買物カゴ４１が載置される。買物カゴ４１は、顧客によって持ち込まれる第１の買物カゴ４１ａと、第１の買物カゴ４１ａから商品読取装置１０を挟んだ位置に載置される第２の買物カゴ４１ｂとに分けられる。なお、買物カゴ４１は、いわゆるカゴ形状のものに限るものではなく、トレー状や箱状、袋状等であってもよい。
【００１２】
第１の買物カゴ４１ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ４１ａ内の商品Ｇは、商品読取装置１０を操作するオペレータにより第２の買物カゴ４１ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０の読取窓１３に提示される。このとき、読取窓１３内の撮像部５４（図２参照）は、ユーザー（以下、装置の操作者を含めてオペレータと称する）の手に把持された商品Ｇを撮像する。
【００１３】
商品読取装置１０では、商品Ｇが撮像された画像を用いることで、二種類の商品登録動作を行う。第１の商品登録動作として、商品読取装置１０は、撮像部５４で撮像された商品Ｇの画像から、その商品Ｇに付されたバーコード等のコードシンボルを読み取り、このコードシンボルに含まれた商品情報としての商品コードを、商品精算装置２０（ＰＯＳ端末２１）に出力することで商品の登録を行う。ここで、商品コードは、店舗で販売される各商品を識別するための識別情報であって、商品の種別毎に固有の商品コードが予め割り当てられている。なお、本実施形態では、店舗内で販売される一部の商品にコードシンボルが付されているものとする。
【００１４】
第２の商品登録動作として、商品読取装置１０は、撮像部５４で撮像された時間的に連続する複数枚の画像から、商品Ｇを把持するオペレータの動作を検出し、検出した動作が予め定められた所定の動作パターンに相当する場合に、画像中の商品Ｇを画像認識することで候補の商品を表示・操作部１２に提示する。そして、商品読取装置１０は、オペレータにより選択された候補に対応する商品の商品コードを、商品精算装置２０（ＰＯＳ端末２１）に出力することで商品の登録を行う。ここで、候補の商品は、後述するように、その商品を文字や画像（写真、イラスト、アイコン等）で表した商品画像として表示・操作部１２に表示される。
【００１５】
一方、商品精算装置２０は、カウンタ台３１とＬ字を形成するようにして配置されたチェックアウト台３２上に設けられている。商品精算装置２０は、ＰＯＳ端末２１とドロワ２２とを有し、ＰＯＳ端末２１はドロワ２２の上部に載置されている。ドロワ２２は、紙幣及び硬貨を収納し、ＰＯＳ端末２１によって開放動作の制御を受ける。
【００１６】
ＰＯＳ端末２１の上面には、オペレータによって押下操作されるキーボード２３が配置されている。キーボード２３は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー、仮締めキー、及び締めキー等（何れも図示せず）を含む。
【００１７】
キーボード２３を操作するオペレータから見てキーボード２３の奥側には、オペレータに向けて情報を表示する、タッチパネルディスプレイ等の表示・操作部２４が設けられている。表示・操作部２４よりもさらに奥側には、顧客用表示部２５が回転自在に立設されている。顧客用表示部２５は、その表示面に情報を表示する。なお、図１に示す顧客用表示部２５は、表示面を図１中手前側に向けているが、表示面が図１中奥側に向くように顧客用表示部２５を回転させることによって、顧客用表示部２５は顧客に向けて情報を表示する。
【００１８】
ＰＯＳ端末２１では、商品読取装置１０から入力される商品コードに基づき、当該商品コードに対応する商品の商品分類、商品名、単価等の情報を、図示しない売上マスタファイル等に登録する。また、ＰＯＳ端末２１では、一取引に係る各商品の単価や販売点数から、一取引分の合計金額を算出し、当該合計金額に基づいて精算を行う。
【００１９】
図２は、チェックアウトシステム１（商品読取装置１０及び商品精算装置２０）のハードウェア構成を模式的に示す図である。
【００２０】
商品読取装置１０は、情報処理を実行する情報処理部としてのマイクロコンピュータ５０を備える。マイクロコンピュータ５０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）５１に、ＲＯＭ（Read Only Memory）５２とＲＡＭ（Random Access Memory）５３とがバス接続されて構成されている。
【００２１】
ＣＰＵ５１は、ＲＯＭ５２や記憶部５６に記憶されたプログラムを実行し、後述する機能部（図１１参照）を実現する。ＲＯＭ５２は、ＣＰＵ５１によって実行される各種プログラムを記憶している。ＲＡＭ５３は、ＣＰＵ５１のワークエリアとして機能する。
【００２２】
また、ＣＰＵ５１には、上述した表示・操作部１２の他、撮像部５４、通信部５５及び記憶部５６が、各種の入出力回路（何れも図示せず）を介して接続されている。
【００２３】
撮像部５４は、カラーＣＣＤやカラーＣＯＭＳ等のイメージセンサであり、ＣＰＵ５１の制御の下で読取窓１３からの撮像を行う。例えば、撮像部５４では３０ｆｐｓで画像の撮像を行う。撮像部５４の撮像方向は、読取窓１３の前に提示される商品Ｇが、撮像範囲内に収まるよう調整されているものとする。
【００２４】
通信部５５は、ＰＯＳ端末２１の後述する第１通信部６４に接続するための通信インターフェースであって、ＰＯＳ端末２１との間で各種データの送受信を行う。
【００２５】
記憶部５６は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶装置であって、ＣＰＵ５１によって実行される各種のプログラムやデータを記憶している。また、記憶部５６は、後述する第１商品読取処理（図１６参照）に係るデータとして、予め定められた動作パターンとその動作パターンに対応するコマンドとを関連付けた動作データベース５６１、バーコードが付されていない各商品の特徴を示した特徴情報とその商品の商品コードと商品画像とを関連付けた商品データベース５６２を記憶している。
【００２６】
図３は、動作データベース５６１のデータ構成の一例を模式的に示す図である。同図に示すように、動作データベース５６１には、予め定められた一又は複数の動作パターンが、その動作パターンを識別する識別番号と、動作パターンに対応するコマンドと関連付けて記憶されている。コマンド欄には、後述する画像認識の実行と該画像認識で候補となった商品の提示とを指示する「認識提示コマンド」が格納されている。また、「認識提示コマンド」には、商品読取装置１０において、コードシンボルの読み取り時に行われる動作（以下、コードスキャン動作という）以外の、他の動作（以下、画像認識動作という）に相当する動作パターンが関連付けて登録されている。以下、図４〜図８を参照して、動作パターンについて説明する。
【００２７】
図４〜図８は、オペレータの動作例を模式的に示す図である。図１で説明したシステム構成の場合、コードスキャン動作は、例えば、図４に示すように商品読取装置１０の読取窓１３の前を、右から左に商品Ｇを通過させる動作が主となる。また、バーコードがうまく読めなかった場合には、図５に示すように商品読取装置１０の読取窓１３に商品Ｇを近づけるような動作が行われる。このような場合、「認識提示コマンド」には、図４や図５に示す動作以外の所定の動作パターンが関連付けられる。
【００２８】
図３の動作データベース５６１では、画像認識動作として、回転移動を表す動作パターンを識別番号１と関連付けて記憶している。この識別番号１の動作パターンは、図６に示すように、商品読取装置１０の読取窓１３の前で円を描くように商品Ｇが移動された場合に相当している。また、動作データベース５６１では、上下に振る（シェイク）動作を示す動作パターンを識別番号２と関連付けて記憶している。この識別番号２の動作パターンは、図７に示すように、商品読取装置１０の読取窓１３の前で、商品Ｇを上下（鉛直方向）に振る動作が行われた場合に相当している。さらに、動作データベース５６１では、回転を表す動作パターンを識別番号３と関連付けて記憶している。この識別番号３の動作パターンは、図８に示すように、商品読取装置１０の読取窓１３の前で、該読取窓１３を含む面に直交する回転軸ＡＸの周りに商品Ｇを回転させる動作が行われた場合に相当している。
【００２９】
「認識提示コマンド」には、コードスキャン動作との違いが判別しやすく、且つオペレータに過大な負荷をかけないものを、画像認識動作の動作パターンとして関連付けることが好ましい。図４や図５に示すコードスキャン動作は何れも軌跡が概ね水平な面上で描かれるような動作であるため、画像認識動作としては、図６、図７及び図８に示すように交差する動きを多く含むような動作であれば判別し易くなる。より具体的には、動き成分に鉛直方向の成分を含む動作である。なお、動作データベース５６１に登録する画像認識動作の動作パターンは、図３の例に限らず、任意の動作パターンを登録することが可能である。
【００３０】
図９は、商品データベース５６２のデータ構成の一例を模式的に示す図である。同図に示すように、商品データベース５６２には、店舗で販売される商品のうちバーコードが付されていない各商品の特徴を示した特徴情報と、その商品の商品コードと、商品画像とが関連付けて記憶されている。
【００３１】
ここで、特徴情報は、商品の形状や表面の色合い、模様等の商品を特徴付ける情報であって、商品の一部又は全体を撮像した画像や、後述する特徴ベクトル等を用いることができる。また、商品画像は、予め撮像された商品の画像や、商品を表すアイコン、商品名を示す文字列等である。
【００３２】
図２に戻り、商品精算装置２０も、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備えている。マイクロコンピュータ６０は、ＣＰＵ６１に、ＲＯＭ６２とＲＡＭ６３とがバス接続されて構成されている。
【００３３】
ＣＰＵ６１には、上述したドロワ２２、キーボード２３、表示・操作部２４及び顧客用表示部２５が、何れも各種の入出力回路（何れも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００３４】
また、ＣＰＵ６１には、第１通信部６４、第２通信部６５、プリンタ６６及び記憶部６７が接続されている。
【００３５】
第１通信部６４は、商品読取装置１０の通信部５５との間でデータ送受信を可能にする通信インターフェースである。第２通信部６５は、ストアコンピュータＳＣとの間でデータ送受信を可能にする通信インターフェースである。ここで、ストアコンピュータＳＣは、店舗のバックヤード等に設置されており、ＰＯＳ端末２１に配信されるＰＬＵファイル６７１を保持している。プリンタ６６は、サーマルプリンタ等の印刷装置であって、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００３６】
記憶部６７は、ＨＤＤやＳＳＤ等の記憶装置であって、ＣＰＵ６１が実行する各種プログラムや各種ファイルを記憶している。また、記憶部６７は、ストアコンピュータＳＣから配信されるＰＬＵファイル６７１を記憶している。ＰＬＵファイル６７１は、店舗で販売される商品の各々について、その商品の商品名や単価等を格納したファイルである。
【００３７】
図１０は、ＰＬＵファイル６７１のデータ構成の一例を模式的に示す図である。図１０に示すように、ＰＬＵファイル６７１には、商品毎に、その商品の商品コードと、商品が属する商品分類、商品名、単価等の商品に関する情報を商品情報として記憶している。ＣＰＵ６１は、商品読取装置１０から商品コードが入力されると、この商品コードに対応する商品情報をＰＬＵファイル６７１から読み出し、図示しない売上げマスタファイル等に登録する。
【００３８】
次に、商品読取装置１０のＣＰＵ５１が、プログラムを実行することで実現される各機能部について説明する。
【００３９】
図１１は、商品読取装置１０の機能構成を示す図である。同図に示すように、商品読取装置１０のＣＰＵ５１は、プログラムを実行することにより、画像取得部７１と、コードシンボル読取部７２と、動作判定部７３と、画像認識部７４と、表示・操作制御部７５と、制御部７６としての機能を備える。
【００４０】
画像取得部７１は、撮像部５４で撮像される画像をＲＡＭ５３等に順次取得する。コードシンボル読取部７２は、画像取得部７１により取得された画像の中から、商品Ｇに付されたコードシンボルを読み取る。また、コードシンボル読取部７２は、読み取ったコードシンボルをデコードすることで該コードシンボルに含まれた商品コードを取得し、取得した商品コードを制御部７６に出力する。
【００４１】
動作判定部７３は、画像取得部７１により取得された時間的に連続する複数毎の画像から、商品Ｇを把持するオペレータの動作を検出する。ここで、検出の対象となる動作は、撮像部５４の視野内における商品Ｇの一連の動きからなるものを指す。動作の検出方法としては、例えば、まず時間的に連続した２枚の画像の対応関係から、図１２に示すようにオプティカルフロー８１を導出し、導出したオプティカルフロー８１の平均を求める等により、図１３に示すように主要な動きベクトル８２を取得する。
【００４２】
動作判定部７３は、上記した動きベクトル８２の検出を画像取得部７１で新たな画像が取得される度に行い、得られた動きベクトル８２を逐次的に連結することで動作の軌跡を求める。動作判定部７３は、求めた軌跡と、動作データベース５６１に記憶された各動作パターンとを比較することで、何れかの動作パターンに相当するか否かを判定する。求めた動作の軌跡が、動作データベース５６１に記憶された何れかの動作パターンに相当する場合、動作判定部７３は、この動作パターンに関連付けられたコマンド（本実施形態の場合、認識提示コマンド）を制御部７６に出力する。なお、動作の検出は、公知の技術を用いることが可能であり、例えば下記の文献に記載された手法を用いて実現することができる。
Ross Cutler and Matthew Turk, “View-based interpretation of real-time optical flow for gesture recognition”, Proceedings of the Third IEEE International Conference on Automatic Face and Gesture Recognition, pp.416-421, 1998.
【００４３】
また、動作判定部７３では、上述した動作の判定に加えて、判定に用いた一連の画像の中から、画像認識に好適な画像を選択し、上記コマンドとともに制御部７６に出力する。これは、例えば、軌跡が撮像部５４の視野の中央を通過した時点の画像を選択したり、軌跡の特定の部分に対応する画像を選択したりする等の方法により行う。選択される画像は１枚に限定されるものではなく、複数枚選択してもよい。また、図１４に示すように、オプティカルフロー８１の大きさが所定の閾値を超えた画像の範囲を、被写体領域８３として抽出し、画像認識に好適な画像として、被写体領域８３のみを切り出した部分画像を出力してもよい。
【００４４】
なお、上記ではオプティカルフローから２次元の軌跡を求める例を示したが、これに限らず、モーションステレオの手法を用いることにより、３次元空間中での被写体の動きを求めることもできる。以下、２枚の画像における点の対応関係から、撮像部５４に対する被写体の相対的な動きを求める方法の概要について説明する。
【００４５】
３次元空間中の点とその画像面への投影像をそれぞれ斉次座標ｘ、Ｘで表すと、撮像部５４による投影の関係は投影行列Ｐを用いて下記式（１）で表わされる。
【００４６】
【数１】
【００４７】
ここで、投影行列Ｐは、撮像部５４の内部パラメータを表す３×３の上三角行列Ｋ、３×３の回転行列Ｒ、３次元の並行移動ベクトルｔを用いて、下記式（２）で表すことができる。
【００４８】
【数２】
【００４９】
ここで、Ｋは、具体的には下記式（３）のような行列で、ｆu、ｆvは焦点距離、ｕ0、ｖ0は光軸と画像面との交点（画像中心）の座標であり、これらのパラメータは予め求められているものとする。
【００５０】
【数３】
【００５１】
今、２枚の画像が与えられた時、それぞれの投影行列Ｐ1、Ｐ2を下記式（４）、（５）のように定義する。但し、Ｉは３×３の単位行列、０は３次元のゼロベクトルである。
【００５２】
【数４】
【００５３】
斉次座標Ｘで表わされる点の、２枚の画像上での斉次座標をｘ1、ｘ2とすると、Ｘとｘ1、ｘ2との間には投影行列Ｐ1、Ｐ2を用いて下記式（６）、（７）のような関係が成り立つ。
【００５４】
【数５】
【００５５】
ここでｚ1、ｚ2を下記式（８）、（９）のように定義すると、ｚ1とｚ2との間には、下記式（１０）の拘束条件が成り立つ。
【００５６】
【数６】
【００５７】
ただし、上記式（１０）においてＥは、基本行列(essential matrix)と呼ばれるもので、回転行列Ｒと並行移動ベクトルｔを用いて下記式（１１）で表わされる。ここで、ｔ1、ｔ2、ｔ3は並行移動ベクトルｔの要素である。
【００５８】
【数７】
【００５９】
オプティカルフローにより２枚の画像間での対応関係を求めると、一組の対応毎に上記式（１０）の拘束条件式が得られる。こうして得られる多数の拘束条件を充足するような上記式（１１）の基本行列Ｅを求め、この基本行列Ｅから回転行列Ｒと並行移動ベクトルｔを求めることにより、撮像部５４と被写体との相対的な動きを得ることができる。
【００６０】
従って、動作の判定は２次元の軌跡を用いるものに限定されるわけではなく、３次元空間中の軌跡や、被写体の回転角などを用いてもよい。なお、画像上での動きから被写体の３次元空間中での動きを求める手法としては、例えば下記の文献に記載された手法を用いることができる。下記文献に記載の手法を用いれば、最低５組の点の対応関係が分かれば撮像部５４と被写体との間の相対的な動きを求めることができる。
David Nister, “An Efficient Solution to the Five-Point Relative Pose Problem”, IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.26, No. 6, June 2004, pp. 756-770.
【００６１】
図１１に戻り、画像認識部７４は、動作判定部７３から制御部７６を介して入力される画像に対して画像認識を行うことで、当該画像に含まれた商品Ｇの候補となる商品を候補として導出する。画像認識処理については、例えば下記の文献に記載された手法を用いることができるが、これに限定されるものではなく、他の画像認識技術を用いてもよい。以下では、下記文献に記載された手法を用いて画像認識を行う際の手順について説明する。
中居友弘,伊藤聡,柴田智行,窪田進, “共起特徴とｋ近傍法による追加学習型オブジェクト認識システム”, 画像の認識・理解シンポジウム(MIRU2011),pp.1701-1702, 2011.
【００６２】
まず、画像認識部７４は、図１５のように画像を複数のブロックＢＬに分割し、当該ブロックＢＬ分の部分画像の特徴を表した特徴ベクトルをブロックＢＬ毎に導出する。ここで、特徴ベクトルの導出は、例えば下記の文献に記載された手法を用いることができる。
Satoshi Ito and Susumu Kubota, “Object classification using heterogeneous co-occurrence features”, Proceedings of the 11th European Conference of Computer Vision, vol.2, pp.209-222, 2010.
【００６３】
次に、画像認識部７４は、導出した特徴ベクトルの各々に対して、ｋ近傍法により、その特徴ベクトルに最も近いｋ個の学習サンプルを商品データベース５６２の中から検索する。この場合、学習サンプルは、商品データベース５６２に登録された各商品の特徴ベクトル（特徴情報）となる。全てのブロックＢＬに対してそれぞれｋ個の学習サンプルが求まるので、例えばブロックＢＬがＮ個ある場合はｋＮ個の学習サンプルが得られる。そこで、画像認識部７４は、ｋＮ個の学習サンプルを商品名毎に集計し、ｋＮで割ることで正規化した値を類似度として用いる。そして、画像認識部７４は、求めた類似度が所定の閾値を上回った学習サンプルの商品を候補とし、その商品の商品コードを制御部７６に出力する。
【００６４】
表示・操作制御部７５は、制御部７６の制御に従い、表示・操作部１２の表示画面に文字や画像等を表示させるとともに、表示・操作部１２のタッチパネルに対して操作された操作内容を制御部７６に出力する。
【００６５】
具体的に、表示・操作制御部７５は、制御部７６から入力される商品画像を、選択可能に表示・操作部１２に表示させる。また、表示・操作制御部７５は、表示・操作部１２に表示させた商品画像のうち、何れかの商品画像を選択する操作を受け付けると、その選択された商品画像を指示する情報を制御部７６に出力する。
【００６６】
制御部７６は、商品読取装置１０の各機能部の動作を統括的に制御する。制御部７６は、コードシンボル読取部７２からコードシンボルの読み取り成功を示す情報として、商品コードの入力を受け付けると、他の処理の進行の如何に関わらず、入力された商品コードを優先してＰＯＳ端末２１に出力することで、その商品コードに対応する商品の登録を行う。なお、制御部７６は、コードシンボル読取部７２から商品コードが入力された際に、動作判定部７３や画像認識部７４で処理が実行中の場合には、それらの処理をキャンセルすることで、画像認識部７４から商品コードが重複して入力されることを抑制する。
【００６７】
また、制御部７６は、動作判定部７３からオペレータ動作の判定結果として、コマンド及び画像の入力を受け付けた場合、このコマンドで指示された内容に従い、画像認識部７４及び表示・操作制御部７５を制御することで、候補となった商品の商品画像を表示・操作部１２に提示する。
【００６８】
具体的に、制御部７６は、動作判定部７３から受け付けた画像を画像認識部７４に出力することで、該画像認識部７４に画像認識を行わせる。画像認識部７４において画像認識が成功し、候補として一又は複数の商品の商品コードが入力されると、制御部７６は、入力された商品コードの各々に関連付けられた商品画像を商品データベース５６２から読み出し、表示・操作制御部７５に出力することで、表示・操作部１２に表示させる。そして、制御部７６は、表示・操作制御部７５を介して、商品画像の選択を受け付けると、この選択された商品画像に対応する商品の商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う。
【００６９】
次に、商品読取装置１０での商品読取動作について説明する。ここで、図１６は、商品読取装置１０が実行する商品読取処理（第１商品読取処理）の手順を示すフローチャートである。
【００７０】
まず、表示・操作部１２又はＰＯＳ端末２１から、一取引に係る商品登録の開始が指示されると、制御部７６は、撮像部５４に撮像オン信号を出力することで撮像を開始させる（ステップＳ１１）。続いて、制御部７６は、コードシンボル読取部７２を動作させることでコードシンボルの読み取り処理を開始させるとともに（ステップＳ１２）、動作判定部７３を動作させることでオペレータ動作の判定処理を開始させる（ステップＳ１５）。
【００７１】
ここで、オペレータの動作により商品Ｇが読取窓１３に提示されると、コードシンボル読取部７２は、画像取得部７１により順次取得される画像からコードシンボルの読み取りを試みる（ステップＳ１３；Ｎｏ）。コードシンボルが読み取れた場合（ステップＳ１３；Ｙｅｓ）、コードシンボル読取部７２は、読み取ったコードシンボルをデコードし、当該コードシンボルに含まれた商品コードを制御部７６に出力する。
【００７２】
制御部７６では、コードシンボル読取部７２から商品コードが入力されると、並列動作中の後述するステップＳ１６〜Ｓ１９の他の処理をキャンセルし（ステップＳ１４）、入力された商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う（ステップＳ２０）。なお、制御部７６は、ステップＳ１６〜Ｓ１９の処理をキャンセルした後、動作判定部７３を後述するステップＳ１６の処理に再び戻す。
【００７３】
一方、動作判定部７３では、画像取得部７１により時間的に連続する複数枚の画像が順次取得されると、これら複数枚の画像からオペレータの動作を順次検出し、動作データベース５６１に登録された何れかの動作パターンに相当する動作を検出するまで待機する（ステップＳ１６；Ｎｏ）。何れかの動作パターンに相当する動作を検出したと判定すると（ステップＳ１６；Ｙｅｓ）、動作判定部７３は、その動作パターンに関連付けられたコマンドと、この判定に用いた一又は複数の画像とを制御部７６に出力する。
【００７４】
制御部７６では、動作判定部７３からコマンド及び画像の入力を受け付けると、このコマンド内容に従い、入力された画像を画像認識部７４に出力することで、画像認識部７４に画像認識処理を実行させる（ステップＳ１７）。
【００７５】
ここで、図１７は、ステップＳ１７の画像認識処理の手順を示すフローチャートである。まず、画像認識部７４は、制御部７６から入力された画像を画像認識し、当該画像に含まれた商品Ｇの特徴情報と、商品データベース５６２に登録された各商品の特徴情報とを比較することで、当該商品に対する類似度をそれぞれ算出する（ステップＳ１７１）。
【００７６】
次いで、画像認識部７４は、ステップＳ１７１で算出した各商品との類似度のうち、所定の閾値を上回る商品が存在するか否かを判定する（ステップＳ１７２）。ここで、算出した類似度が何れも閾値以下の場合、画像認識部７４は認識失敗と判定し（ステップＳ１７２；Ｎｏ）、図１６のステップＳ１６に再び戻る。また、ステップＳ１７１で算出した各商品との類似度の中に、所定の閾値を上回る商品が存在する場合、画像認識部７４は認識成功と判定し（ステップＳ１７２；Ｙｅｓ）、該当する商品の商品コードを候補として制御部７６に出力した後（ステップＳ１７３）、図１６のステップＳ１８に移行する。
【００７７】
図１６に戻り、制御部７６は、ステップＳ１７の画像認識処理で画像認識部７４から出力された商品コードを受け付けると、該商品コードの各々に対応する商品画像を商品データベース５６２から読み出し、表示・操作制御部７５に出力することで、表示・操作部１２に商品画像を表示（提示）させる（ステップＳ１８）。
【００７８】
ここで、図１８は、表示・操作部１２に表示された商品画像の一例を示す図である。同図において、領域Ａ１１は、撮像部５４で撮像された画像を表示するための表示領域であって、制御部７６の制御の下、撮像部５４で撮像中の画像や、動作判定部７３から入力された画像等が表示される。また、領域Ａ１２は、候補となった各商品の商品画像を表示するための表示領域である。同図では６つの商品画像Ｇ１１〜Ｇ１６を表示した例を示している。
【００７９】
図１６に戻り、表示・操作制御部７５では、表示・操作部１２に表示された商品画像から、何れか一の商品画像が選択されるまで待機し（ステップＳ１９；Ｎｏ）、特定の商品画像が選択されると（ステップＳ１９；Ｙｅｓ）、この選択された商品画像を指示する情報を制御部７６に出力する。
【００８０】
制御部７６は、表示・操作制御部７５から特定の商品画像が指示されると、指示された商品画像に対応する商品コードを商品データベース５６２から読み出し、その商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う（ステップＳ２０）。なお、オペレータは商品画像を選択せずにキャンセルを行うこともでき、その場合は商品登録を行わずにステップＳ１６に再び戻る。
【００８１】
続いて、制御部７６は、表示・操作部１２又はＰＯＳ端末２１から、一取引に係る商品登録の終了が指示されたか否かを判定する（ステップＳ２１）。ここで、商品登録の終了が指示されない場合（ステップＳ２１；Ｎｏ）、制御部７６は、コードシンボル読取部７２及び動作判定部７３に係る処理を、ステップＳ１３、ステップＳ１６にそれぞれ戻すことで、次の商品の読み取りに備える。
【００８２】
また、ステップＳ２１において、商品登録の終了が指示された場合には（ステップＳ２１；Ｙｅｓ）、制御部７６は、撮像部５４に撮像オフ信号を出力することで撮像部５４による撮像を停止し（ステップＳ２２）、本処理を終了する。
【００８３】
以上のように、本実施形態の商品読取装置１０によれば、商品を把持するオペレータが所定の動作パターンで動作したことをトリガに、商品の画像認識を開始する。これにより、オペレータが意図したタイミングで画像認識を行うことができるため、認識効率を向上させることが可能となり、商品読取時の効率及び利便性を向上させることができる。
【００８４】
また、コードスキャン動作以外の画像認識動作を、画像認識及び候補の提示を指示する動作パターンとしたことで、コードスキャン動作が行われた際に、該商品の候補が表示・操作部１２に表示されてしまうことを抑制することができる。これにより、例えば、コードシンボルが付された商品と、コードシンボルが付されていない商品とが混合して販売される店舗において、コードスキャン動作が行われた場合に、候補が誤って選択される等のミスの発生を未然に防ぐことができるため、商品読取時の効率及び利便性を向上させることができる。
【００８５】
なお、本実施形態では、動作判定部７３からコマンド及び画像が入力された時点で、画像認識部７４を動作させる形態としたが、これに限らず、動作判定部７３で動作の検出が開始された時点で、画像認識部７４を動作させる形態としてもよい。
【００８６】
具体的には、動作判定部７３においてオペレータ動作の検出が開始されると、制御部７６は、画像取得部７１で取得された画像を画像認識部７４に出力することで画像認識を開始させ、動作判定部７３で動作パターンに相当するとの判定が行われた場合に、画像取得部７１で得られた候補の商品画像を表示・操作部１２に表示させる。これにより、動作判定部７３での判定結果を待たずに画像認識部７４を動作させることができるため、候補となった各商品の商品画像をより迅速に表示させることが可能となる。
【００８７】
［第２の実施形態］
次に、第２の実施形態の商品読取装置について説明する。第２の実施形態では、画像認識動作の検出に加えてコードスキャン動作を検出し、その動作に応じて候補の提示方法を異ならせる形態について説明する。なお、第１の実施形態と同様の部材については、同一の符号を付与し説明を省略する。
【００８８】
図１９は、第２の実施形態に係る商品読取装置１０ａのハードウェア構成を模式的に示す図である。商品読取装置１０ａは、情報処理を実行する情報処理部としてのマイクロコンピュータ５０として、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３とを備えている。また、ＣＰＵ５１には、表示・操作部１２、撮像部５４、通信部５５及び記憶部５６ａが、各種の入出力回路（何れも図示せず）を介して接続されている。
【００８９】
記憶部５６ａは、上述した記憶部５６と同様の記憶装置であって、ＣＰＵ５１によって実行される各種のプログラムやデータを記憶している。また、記憶部５６ａは、後述する第２商品読取処理（図２２参照）に係るデータとして、予め定められた動作パターンとその動作パターンに対応するコマンドとを関連付けた動作データベース５６１ａと、商品データベース５６２とを記憶している。
【００９０】
図２０は、動作データベース５６１ａのデータ構成の一例を模式的に示す図である。同図に示すように、動作データベース５６１ａには、予め定められた一又は複数の動作パターンが、その動作パターンを識別する識別番号と、動作パターンに対応するコマンドと関連付けて記憶されている。ここで、動作データベース５６１ａでは、コマンド欄に格納されるコマンドとして、上述した「認識提示コマンド」に加え、画像認識の実行を指示する「認識コマンド」を有する点が、図３で説明した動作データベース５６１と異なっている。
【００９１】
ここで、「認識コマンド」は、商品読取装置１０ａでのコードシンボル読取動作に相当する動作パターンと関連付けて登録されている。図１で説明したシステム構成の場合、例えば、図４に示した商品読取装置１０の読取窓１３の前を右から左に商品Ｇを通過させる動作や、図５に示した商品読取装置１０の読取窓１３に商品Ｇを近づけるような動作が、コードシンボル読取動作となる。そこで、図２０に示す動作データベース５６１ａでは、図４に示したコードシンボル読取動作に相当する動作パターンを、識別番号１１と関連付けて記憶している。また、図５に示したコードシンボル読取動作に相当する動作パターンを、識別番号１２と関連付けて記憶している。なお、動作データベース５６１ａに登録する画像認識動作の動作パターンは、図２０の例に限らず、任意の動作パターンを登録することが可能である。
【００９２】
次に、商品読取装置１０ａのＣＰＵ５１が、プログラムを実行することで実現される各機能部について説明する。図２１は、本実施形態に係る商品読取装置１０ａの機能構成を示す図である。同図に示すように、商品読取装置１０ａのＣＰＵ５１は、プログラムを実行することにより、画像取得部７１と、コードシンボル読取部７２と、動作判定部７３と、画像認識部７４と、表示・操作制御部７５と、制御部７６ａとしての機能を備える。
【００９３】
制御部７６ａは、第１の実施形態の制御部７６に対応し、商品読取装置１０ａの各機能部の動作を統括的に制御する。制御部７６ａは、コードシンボル読取部７２からコードシンボルの読み取り成功を示す情報として、商品コードの入力を受け付けると、他の処理の進行の如何に関わらず、入力された商品コードを優先してＰＯＳ端末２１に出力することで、その商品コードに対応する商品の登録を行う。なお、制御部７６ａは、コードシンボル読取部７２から商品コードが入力された際に、動作判定部７３や画像認識部７４で処理が実行中の場合には、それらの処理をキャンセルすることで、画像認識部７４から商品コードが重複して入力されることを抑制する。
【００９４】
また、制御部７６ａは、動作判定部７３からオペレータの動作の判定結果として、コマンド及び画像の入力を受け付けた場合、このコマンドで指示された内容に従い、画像認識部７４及び表示・操作制御部７５を制御することで、候補となった商品の商品画像を表示・操作部１２に提示する。
【００９５】
具体的に、制御部７６ａは、動作判定部７３から認識提示コマンドが入力された場合、動作判定部７３から受け付けた画像を画像認識部７４に出力することで、該画像認識部７４に画像認識を行わせる。画像認識部７４において画像認識が成功し、候補として一又は複数の商品が入力されると、制御部７６ａは、入力された商品コードの各々に関連付けられた商品画像を商品データベース５６２から読み出し、表示・操作制御部７５に出力することで、表示・操作部１２に表示させる。そして、制御部７６ａは、表示・操作制御部７５を介して、商品画像の選択を受け付けると、この選択された商品画像に対応する商品の商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う。
【００９６】
また、制御部７６ａは、動作判定部７３から認識コマンドが入力された場合、動作判定部７３から受け付けた画像を画像認識部７４に出力することで、該画像認識部７４に画像認識を行わせる。画像認識部７４において画像認識が成功し、候補として一又は複数の商品が入力されると、制御部７６ａは、入力された商品コードをＲＡＭ５３等に保持し、表示・操作制御部７５を制御することで、候補の提示を行うか否かを確認するための画像を表示・操作部１２に表示させる。制御部７６ａは、表示・操作制御部７５を介して、候補の提示指示を受け付けると、保持しておいた商品コードの各々に関連付けられた商品画像を商品データベース５６２から読み出し、表示・操作制御部７５に出力することで、表示・操作部１２に表示させる。そして、制御部７６ａは、表示・操作制御部７５を介して、商品画像の選択を受け付けると、この選択された商品画像に対応する商品の商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う。
【００９７】
次に、商品読取装置１０ａでの商品読取動作について説明する。ここで、図２２は、商品読取装置１０ａが実行する商品読取処理（第２商品読取処理）の手順を示すフローチャートである。
【００９８】
まず、表示・操作部１２又はＰＯＳ端末２１から、一取引に係る商品登録の開始が指示されると、制御部７６ａは、撮像部５４に撮像オン信号を出力することで撮像を開始させる（ステップＳ３１）。続いて、制御部７６ａは、コードシンボル読取部７２を動作させることでコードシンボルの読み取り処理を開始させるとともに（ステップＳ３２）、動作判定部７３を動作させることでオペレータ動作の判定処理を開始させる（ステップＳ３５）。
【００９９】
ここで、オペレータの動作により商品Ｇが読取窓１３に提示されると、コードシンボル読取部７２は、画像取得部７１により順次取得される画像からコードシンボルの読み取りを試みる（ステップＳ３３；Ｎｏ）。コードシンボルが読み取れた場合（ステップＳ３３；Ｙｅｓ）、コードシンボル読取部７２は、読み取ったコードシンボルをデコードし、当該コードシンボルに含まれた商品コードを制御部７６ａに出力する。
【０１００】
制御部７６ａでは、コードシンボル読取部７２から商品コードが入力されると、並列動作中の後述するステップＳ３６〜Ｓ４３の他の処理をキャンセルし（ステップＳ３４）、入力された商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う（ステップＳ４４）。なお、制御部７６ａは、ステップＳ３６〜Ｓ４３の処理をキャンセルした後、動作判定部７３を後述するステップＳ３６の処理に再び戻す。
【０１０１】
一方、動作判定部７３では、画像取得部７１により時間的に連続する複数枚の画像が順次取得されると、これら複数枚の画像からオペレータの動作を順次検出し、動作データベース５６１ａに登録された何れかの動作パターンに相当する動作を検出するまで待機する（ステップＳ３６；Ｎｏ）。何れかの動作パターンに相当する動作を検出したと判定すると（ステップＳ３６；Ｙｅｓ）、動作判定部７３は、その動作パターンに関連付けられたコマンドと、この判定に用いた一又は複数の画像とを制御部７６ａに出力する。
【０１０２】
制御部７６ａでは、動作判定部７３からコマンド及び画像の入力を受け付けると、このコマンドが認識提示コマンドか認識コマンドかを判別する（ステップＳ３７）。ここで、入力されたコマンドが認識提示コマンドであった場合（ステップＳ３７；Ｙｅｓ）、制御部７６ａは、このコマンド内容に従い、入力された画像を画像認識部７４に出力することで、画像認識部７４に画像認識処理を実行させる（ステップＳ３８）。なお、ステップＳ３８の画像認識処理は、図１７で説明した画像認識処理と同様であるため説明を省略する。
【０１０３】
制御部７６ａは、ステップＳ３８の画像認識処理で画像認識部７４から出力された商品コードを受け付けると、該商品コードの各々に対応する商品画像を商品データベース５６２から読み出し、表示・操作制御部７５に出力することで、表示・操作部１２に商品画像を表示（提示）させる（ステップＳ４２）。
【０１０４】
一方、ステップＳ３７において、動作判定部７３から入力されたコマンドが認識コマンドであった場合（ステップＳ３７；Ｎｏ）、制御部７６ａは、このコマンド内容に従い、入力された画像を画像認識部７４に出力することで、画像認識部７４に画像認識処理を実行させる（ステップＳ３９）。なお、ステップＳ３９の画像認識処理は、図１７で説明した画像認識処理と同様であるため説明を省略する。
【０１０５】
制御部７６ａは、ステップＳ３９の画像認識処理で画像認識部７４から出力された商品コードを受け付けると、該商品コードをＲＡＭ５３等に保持し、表示・操作制御部７５を制御することで、候補の提示を行うか否かを確認するための確認画像を表示・操作部１２に表示させる（ステップＳ４０）。
【０１０６】
ここで、図２３は、表示・操作部１２に表示された確認画像の一例を示す図である。同図において、領域Ａ１１は、上述した撮像部５４で撮像された画像を表示するための表示領域であって、制御部７６ａの制御の下、撮像部５４で撮像中の画像が表示される。また、領域Ａ１３には、候補の提示を行うか否かを確認するための確認画像が表示される領域であって、確認を促すメッセージとともに候補の提示を指示するためのボタンＢ１１が表示される。なお、図２３では、ボタンＢ１１が選択された場合に、候補の提示が指示されたものとする。
【０１０７】
図２２に戻り、表示・操作制御部７５では、表示・操作部１２から候補の提示が指示されるまで待機し（ステップＳ４１；Ｎｏ）、候補の提示が指示されると（ステップＳ４１；Ｙｅｓ）、表示・操作制御部７５は、候補の提示を指示する情報を制御部７６ａに出力する。制御部７６ａは、表示・操作制御部７５から候補の提示が指示されると、ステップＳ４２に移行し、保持しておいた商品コードの各々に関連付けられた商品画像を商品データベース５６２から読み出し、表示・操作制御部７５に出力することで、表示・操作部１２に表示させる（ステップＳ４２）。
【０１０８】
続いて、表示・操作制御部７５では、表示・操作部１２に表示された商品画像から、何れか一の商品画像が選択されるまで待機し（ステップＳ４３；Ｎｏ）、特定の商品画像が選択されると（ステップＳ４３；Ｙｅｓ）、この選択された商品画像を指示する情報を制御部７６ａに出力する。
【０１０９】
制御部７６ａは、表示・操作制御部７５から特定の商品画像が指示されると、指示された商品画像に対応する商品コードを商品データベース５６２から読み出し、その商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う（ステップＳ４４）。なお、オペレータは商品画像を選択せずにキャンセルを行うこともでき、その場合は商品登録を行わずにステップＳ３６に再び戻る。
【０１１０】
続いて、制御部７６ａは、表示・操作部１２又はＰＯＳ端末２１から、一取引に係る商品登録の終了が指示されたか否かを判定する（ステップＳ４５）。ここで、商品登録の終了が指示されない場合（ステップＳ４５；Ｎｏ）、制御部７６は、コードシンボル読取部７２及び動作判定部７３に係る処理を、ステップＳ３３、ステップＳ３６にそれぞれ戻すことで、次の商品の読み取りに備える。
【０１１１】
また、ステップＳ４５において、商品登録の終了が指示された場合には（ステップＳ４５；Ｙｅｓ）、制御部７６ａは、撮像部５４に撮像オフ信号を出力することで撮像部５４による撮像を停止し（ステップＳ４６）、本処理を終了する。
【０１１２】
以上のように、本実施形態の商品読取装置１０ａによれば、商品を把持するオペレータが所定の動作パターンで動作したことをトリガに、商品の画像認識を開始する。これにより、オペレータが意図したタイミングで画像認識を行うことができるため、認識効率を向上させることが可能となり、商品読取時の効率及び利便性を向上させることができる。
【０１１３】
また、画像認識動作時には、候補の提示を直ちに行い、コードスキャン動作時には、候補の提示をオペレータからの指示に応じて行う。これにより、商品に付されたコードシンボルを読取窓１３に提示するコードスキャン動作が行われた際には、該商品の候補の表示・操作部１２への表示を抑制できるため、候補が誤って選択される等のミスの発生を未然に防ぐことができる。また、オペレータからの要求に応じて候補を提示することで、コードシンボルの読み取りが不調のとき等に補助的に用いることができるため、商品読取時の効率及び利便性を向上させることができる。
【０１１４】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１５】
上記実施形態では、単一の撮像部５４で撮像された画像を用いて、コードシンボル読取部７２でのコードシンボル読み取りと、動作判定部７３でのオペレータ動作の検出とを行う形態としたが、これに限らないものとする。例えば、コードシンボル読取部７２及び動作判定部７３の各々に対し専用の撮像部５４を設け、これら撮像部５４の各々で撮像された画像を用いて、コードシンボル読み取りとオペレータの動作の検出とを行う形態としてもよい。なお、この場合、各撮像部５４の撮像範囲は、読取窓１３の前に商品Ｇが提示される位置において重なるよう調整されていることが好ましい。以下、複数の撮像部５４を用いる場合の一例として、二台の撮像部５４を用いる構成例について説明する。
【０１１６】
図２４は、撮像部５４を二台構成とした例を説明するための図であり、商品読取装置１０（或いは１０ａ）の読取窓１３部分での断面を模式的に示している。同図に示すように、商品読取装置１０の読取窓１３内には、二台の撮像部５４（５４ａ、５４ｂ）が設けられている。
【０１１７】
この例では、撮像部５４ａは、コードシンボル読取部７２でのコードシンボル読み取りに用いる画像を撮像し、撮像部５４ｂは、動作判定部７３でのオペレータ動作の検出に用いる画像を撮像することを想定している。
【０１１８】
ここで、撮像部５４ａの撮像方向は、読取窓１３の前に提示される商品Ｇが、撮像範囲Ａ２１内に収まるよう調整されている。また、撮像部５４ｂの撮像方向は、読取窓１３の前に提示される商品Ｇが、撮像範囲Ａ２２内に収まるよう調整されている。さらに、撮像部５４ａの撮像範囲Ａ２１と、撮像部５４ｂの撮像範囲Ａ２２とは、読取窓１３の前に商品Ｇが提示される位置において、一部又は全てが重なるよう調整されているものとする。
【０１１９】
このように、撮像部５４ａ、５４ｂの撮像範囲を商品Ｇが提示される位置において重複するよう構成することで、上記実施形態の作用・効果を効率的に享受することができる。なお、コードシンボルの読み取り用にレーザスキャナ等のスキャナ装置を用いる構成としてもよいが、この場合においても、商品Ｇが提示される位置において、該スキャナ装置のスキャン範囲と撮像部５４の撮像範囲とが重なるよう調整することが好ましい。
【０１２０】
また、上記実施形態では、動作データベース５６１及び商品データベース５６２を、商品読取装置１０が備える形態としたが、これに限らず、ＰＯＳ端末２１や他の装置が保持する動作データベース５６１及び商品データベース５６２を、商品読取装置１０が参照する形態としてもよい。
【０１２１】
また、上記実施形態では、商品読取装置１０と商品精算装置２０との２台構成としたが、これに限らず、商品読取装置１０及び商品精算装置２０の機能を備えた１台構成の装置（例えば、セルフレジ等）としてもよい。
【０１２２】
また、上記実施形態の商品読取装置１０（１０ａ）で実行されるプログラムは、商品読取装置１０（１０ａ）が備える記憶媒体（ＲＯＭ５２又は記憶部５６（５６ａ））に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【０１２３】
また、上記実施形態の商品読取装置１０（１０ａ）で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【０１２４】
１ チェックアウトシステム
１０、１０ａ 商品読取装置
１１ ハウジング
１２ 表示・操作部
１３ 読取窓
２０ 商品精算装置
２１ ＰＯＳ端末
２２ ドロワ
５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 撮像部
５５ 通信部
５６ 記憶部
５６１、５６１ａ 動作データベース
５６２ 商品データベース
７１ 画像取得部
７２ コードシンボル読取部
７３ 動作判定部
７４ 画像認識部
７５ 表示・操作制御部
７６、７６ａ 制御部
Ｇ 商品
【先行技術文献】
【特許文献】
【０１２５】
【特許文献１】特許第３２２３０６４号公報
【技術分野】
【０００１】
本発明の実施形態は、商品読取装置及びプログラムに関する。
【背景技術】
【０００２】
従来、スーパーマーケット等の店舗では、商品に付されたバーコードをスキャナ装置等で読み取ることで、その商品を登録することが可能となっている。また、バーコードの付されていない商品については、店員等のオペレータがキー操作を行うことで、手動で登録することが行われているが、キー操作が煩雑であるという問題があった。
【０００３】
そこで、従来、画像認識技術を用いることで、商品を撮像した画像からその商品を認識し、候補となった一又は複数の商品のうち、オペレータにより選択された商品を登録する装置が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、商品の撮像の際に該商品を数秒間静止させる必要があるため、読取効率が低いという問題があった。また、オペレータが商品を移動させながら画像認識する場合、オペレータが意図しない不適切なタイミングで画像認識を行うと、画像認識可能な範囲外に商品がある等の理由により、認識効率が低下する可能性があった。
【課題を解決するための手段】
【０００５】
実施の形態の商品読取装置は、撮像手段と、画像認識手段と、表示手段と、表示制御手段と、操作受付手段と、動作検出手段と、動作判定手段と、制御手段とを備える。撮像手段は、時間的に連続する複数枚の画像を撮像する。画像認識手段は、画像に含まれる商品を画像認識し、当該商品の候補となる候補商品を導出する。表示制御手段は、候補商品の各々を表示手段に表示させる。操作受付手段は、表示手段に表示された候補商品の選択操作を受け付ける。動作検出手段は、複数枚の画像からユーザーの動作を検出する。動作判定手段は、動作検出手段で検出された動作が、所定の動作パターンに相当するか否かを判定する。制御手段は、動作判定手段の判定結果に基づいて、画像認識手段及び表示制御手段の動作を制御する。
【図面の簡単な説明】
【０００６】
【図１】図１は、第１の実施形態に係る商品読取装置を含んだチェックアウトシステムの一例を示す斜視図。
【図２】図２は、第１の実施形態に係る商品読取装置及び商品精算装置のハードウェア構成を模式的に示す図。
【図３】図３は、第１の実施形態に係る動作データベースのデータ構成の一例を模式的に示す図。
【図４】図４は、オペレータが行う動作例を示す図。
【図５】図５は、オペレータの動作例を模式的に示す図。
【図６】図６は、オペレータの動作例を模式的に示す図。
【図７】図７は、オペレータの動作例を模式的に示す図。
【図８】図８は、オペレータの動作例を模式的に示す図。
【図９】図９は、商品データベースのデータ構成の一例を模式的に示す図。
【図１０】図１０は、ＰＬＵファイルのデータ構成の一例を模式的に示す図。
【図１１】図１１は、第１の実施形態に係る商品読取装置の機能構成を示す図。
【図１２】図１２は、動作判定部の動作を説明するための図。
【図１３】図１３は、動作判定部の動作を説明するための図。
【図１４】図１４は、動作判定部の動作を説明するための図。
【図１５】図１５は、画像認識部の動作を説明するための図。
【図１６】図１６は、第１の実施形態に係る商品読取装置が実行する第１商品読取処理の手順を示すフローチャート。
【図１７】図１７は、図１６に示した画像認識処理の手順を示すフローチャート。
【図１８】図１８は、表示・操作部に表示された商品画像の一例を示す図。
【図１９】図１９は、第２の実施形態に係る商品読取装置のハードウェア構成を模式的に示す図。
【図２０】図２０は、第２の実施形態に係る動作データベースのデータ構成の一例を模式的に示す図。
【図２１】図２１は、第２の実施形態に係る商品読取装置の機能構成を示す図。
【図２２】図２２は、第２の実施形態に係る商品読取装置が実行する第２商品読取処理の手順を示すフローチャート。
【図２３】図２３は、表示・操作部に表示された確認画像の一例を示す図。
【図２４】図２４は、撮像部を二台構成とした例を説明するための図。
【発明を実施するための形態】
【０００７】
以下では、スーパーマーケット等の店舗に導入されたチェックアウトシステムを例に、本実施形態に係る商品読取装置及びプログラムを、図面を参照して説明する。
【０００８】
［第１の実施形態］
図１は、第１の実施形態に係る商品読取装置１０を含んだチェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品読取装置１０と、商品精算装置２０とを有する。
【０００９】
商品読取装置１０は、カウンタ台３１の略中央に配置され、ハウジング１１と、表示・操作部１２とを備えている。ハウジング１１は、矩形形状に形成されており、オペレータの操作側となる面の略中央に読取窓１３が設けられている。読取窓１３の奥側には、後述する撮像部５４（図２参照）が設けられている。
【００１０】
表示・操作部１２は、ハウジング１１の上部に設けられている。表示・操作部１２は、後述する表示・操作制御部７５（図１１参照）の制御の下、文字や画像等を表示するとともに、商品読取装置１０を操作するオペレータの操作入力を受け付ける。表示・操作部１２は、例えばタッチパネルディスプレイを用いて実現する。
【００１１】
カウンタ台３１の上面には、荷受け面３１１が形成されている。荷受け面３１１には、購入の対象となった商品Ｇを収納する買物カゴ４１が載置される。買物カゴ４１は、顧客によって持ち込まれる第１の買物カゴ４１ａと、第１の買物カゴ４１ａから商品読取装置１０を挟んだ位置に載置される第２の買物カゴ４１ｂとに分けられる。なお、買物カゴ４１は、いわゆるカゴ形状のものに限るものではなく、トレー状や箱状、袋状等であってもよい。
【００１２】
第１の買物カゴ４１ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ４１ａ内の商品Ｇは、商品読取装置１０を操作するオペレータにより第２の買物カゴ４１ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０の読取窓１３に提示される。このとき、読取窓１３内の撮像部５４（図２参照）は、ユーザー（以下、装置の操作者を含めてオペレータと称する）の手に把持された商品Ｇを撮像する。
【００１３】
商品読取装置１０では、商品Ｇが撮像された画像を用いることで、二種類の商品登録動作を行う。第１の商品登録動作として、商品読取装置１０は、撮像部５４で撮像された商品Ｇの画像から、その商品Ｇに付されたバーコード等のコードシンボルを読み取り、このコードシンボルに含まれた商品情報としての商品コードを、商品精算装置２０（ＰＯＳ端末２１）に出力することで商品の登録を行う。ここで、商品コードは、店舗で販売される各商品を識別するための識別情報であって、商品の種別毎に固有の商品コードが予め割り当てられている。なお、本実施形態では、店舗内で販売される一部の商品にコードシンボルが付されているものとする。
【００１４】
第２の商品登録動作として、商品読取装置１０は、撮像部５４で撮像された時間的に連続する複数枚の画像から、商品Ｇを把持するオペレータの動作を検出し、検出した動作が予め定められた所定の動作パターンに相当する場合に、画像中の商品Ｇを画像認識することで候補の商品を表示・操作部１２に提示する。そして、商品読取装置１０は、オペレータにより選択された候補に対応する商品の商品コードを、商品精算装置２０（ＰＯＳ端末２１）に出力することで商品の登録を行う。ここで、候補の商品は、後述するように、その商品を文字や画像（写真、イラスト、アイコン等）で表した商品画像として表示・操作部１２に表示される。
【００１５】
一方、商品精算装置２０は、カウンタ台３１とＬ字を形成するようにして配置されたチェックアウト台３２上に設けられている。商品精算装置２０は、ＰＯＳ端末２１とドロワ２２とを有し、ＰＯＳ端末２１はドロワ２２の上部に載置されている。ドロワ２２は、紙幣及び硬貨を収納し、ＰＯＳ端末２１によって開放動作の制御を受ける。
【００１６】
ＰＯＳ端末２１の上面には、オペレータによって押下操作されるキーボード２３が配置されている。キーボード２３は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー、仮締めキー、及び締めキー等（何れも図示せず）を含む。
【００１７】
キーボード２３を操作するオペレータから見てキーボード２３の奥側には、オペレータに向けて情報を表示する、タッチパネルディスプレイ等の表示・操作部２４が設けられている。表示・操作部２４よりもさらに奥側には、顧客用表示部２５が回転自在に立設されている。顧客用表示部２５は、その表示面に情報を表示する。なお、図１に示す顧客用表示部２５は、表示面を図１中手前側に向けているが、表示面が図１中奥側に向くように顧客用表示部２５を回転させることによって、顧客用表示部２５は顧客に向けて情報を表示する。
【００１８】
ＰＯＳ端末２１では、商品読取装置１０から入力される商品コードに基づき、当該商品コードに対応する商品の商品分類、商品名、単価等の情報を、図示しない売上マスタファイル等に登録する。また、ＰＯＳ端末２１では、一取引に係る各商品の単価や販売点数から、一取引分の合計金額を算出し、当該合計金額に基づいて精算を行う。
【００１９】
図２は、チェックアウトシステム１（商品読取装置１０及び商品精算装置２０）のハードウェア構成を模式的に示す図である。
【００２０】
商品読取装置１０は、情報処理を実行する情報処理部としてのマイクロコンピュータ５０を備える。マイクロコンピュータ５０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）５１に、ＲＯＭ（Read Only Memory）５２とＲＡＭ（Random Access Memory）５３とがバス接続されて構成されている。
【００２１】
ＣＰＵ５１は、ＲＯＭ５２や記憶部５６に記憶されたプログラムを実行し、後述する機能部（図１１参照）を実現する。ＲＯＭ５２は、ＣＰＵ５１によって実行される各種プログラムを記憶している。ＲＡＭ５３は、ＣＰＵ５１のワークエリアとして機能する。
【００２２】
また、ＣＰＵ５１には、上述した表示・操作部１２の他、撮像部５４、通信部５５及び記憶部５６が、各種の入出力回路（何れも図示せず）を介して接続されている。
【００２３】
撮像部５４は、カラーＣＣＤやカラーＣＯＭＳ等のイメージセンサであり、ＣＰＵ５１の制御の下で読取窓１３からの撮像を行う。例えば、撮像部５４では３０ｆｐｓで画像の撮像を行う。撮像部５４の撮像方向は、読取窓１３の前に提示される商品Ｇが、撮像範囲内に収まるよう調整されているものとする。
【００２４】
通信部５５は、ＰＯＳ端末２１の後述する第１通信部６４に接続するための通信インターフェースであって、ＰＯＳ端末２１との間で各種データの送受信を行う。
【００２５】
記憶部５６は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶装置であって、ＣＰＵ５１によって実行される各種のプログラムやデータを記憶している。また、記憶部５６は、後述する第１商品読取処理（図１６参照）に係るデータとして、予め定められた動作パターンとその動作パターンに対応するコマンドとを関連付けた動作データベース５６１、バーコードが付されていない各商品の特徴を示した特徴情報とその商品の商品コードと商品画像とを関連付けた商品データベース５６２を記憶している。
【００２６】
図３は、動作データベース５６１のデータ構成の一例を模式的に示す図である。同図に示すように、動作データベース５６１には、予め定められた一又は複数の動作パターンが、その動作パターンを識別する識別番号と、動作パターンに対応するコマンドと関連付けて記憶されている。コマンド欄には、後述する画像認識の実行と該画像認識で候補となった商品の提示とを指示する「認識提示コマンド」が格納されている。また、「認識提示コマンド」には、商品読取装置１０において、コードシンボルの読み取り時に行われる動作（以下、コードスキャン動作という）以外の、他の動作（以下、画像認識動作という）に相当する動作パターンが関連付けて登録されている。以下、図４〜図８を参照して、動作パターンについて説明する。
【００２７】
図４〜図８は、オペレータの動作例を模式的に示す図である。図１で説明したシステム構成の場合、コードスキャン動作は、例えば、図４に示すように商品読取装置１０の読取窓１３の前を、右から左に商品Ｇを通過させる動作が主となる。また、バーコードがうまく読めなかった場合には、図５に示すように商品読取装置１０の読取窓１３に商品Ｇを近づけるような動作が行われる。このような場合、「認識提示コマンド」には、図４や図５に示す動作以外の所定の動作パターンが関連付けられる。
【００２８】
図３の動作データベース５６１では、画像認識動作として、回転移動を表す動作パターンを識別番号１と関連付けて記憶している。この識別番号１の動作パターンは、図６に示すように、商品読取装置１０の読取窓１３の前で円を描くように商品Ｇが移動された場合に相当している。また、動作データベース５６１では、上下に振る（シェイク）動作を示す動作パターンを識別番号２と関連付けて記憶している。この識別番号２の動作パターンは、図７に示すように、商品読取装置１０の読取窓１３の前で、商品Ｇを上下（鉛直方向）に振る動作が行われた場合に相当している。さらに、動作データベース５６１では、回転を表す動作パターンを識別番号３と関連付けて記憶している。この識別番号３の動作パターンは、図８に示すように、商品読取装置１０の読取窓１３の前で、該読取窓１３を含む面に直交する回転軸ＡＸの周りに商品Ｇを回転させる動作が行われた場合に相当している。
【００２９】
「認識提示コマンド」には、コードスキャン動作との違いが判別しやすく、且つオペレータに過大な負荷をかけないものを、画像認識動作の動作パターンとして関連付けることが好ましい。図４や図５に示すコードスキャン動作は何れも軌跡が概ね水平な面上で描かれるような動作であるため、画像認識動作としては、図６、図７及び図８に示すように交差する動きを多く含むような動作であれば判別し易くなる。より具体的には、動き成分に鉛直方向の成分を含む動作である。なお、動作データベース５６１に登録する画像認識動作の動作パターンは、図３の例に限らず、任意の動作パターンを登録することが可能である。
【００３０】
図９は、商品データベース５６２のデータ構成の一例を模式的に示す図である。同図に示すように、商品データベース５６２には、店舗で販売される商品のうちバーコードが付されていない各商品の特徴を示した特徴情報と、その商品の商品コードと、商品画像とが関連付けて記憶されている。
【００３１】
ここで、特徴情報は、商品の形状や表面の色合い、模様等の商品を特徴付ける情報であって、商品の一部又は全体を撮像した画像や、後述する特徴ベクトル等を用いることができる。また、商品画像は、予め撮像された商品の画像や、商品を表すアイコン、商品名を示す文字列等である。
【００３２】
図２に戻り、商品精算装置２０も、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備えている。マイクロコンピュータ６０は、ＣＰＵ６１に、ＲＯＭ６２とＲＡＭ６３とがバス接続されて構成されている。
【００３３】
ＣＰＵ６１には、上述したドロワ２２、キーボード２３、表示・操作部２４及び顧客用表示部２５が、何れも各種の入出力回路（何れも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００３４】
また、ＣＰＵ６１には、第１通信部６４、第２通信部６５、プリンタ６６及び記憶部６７が接続されている。
【００３５】
第１通信部６４は、商品読取装置１０の通信部５５との間でデータ送受信を可能にする通信インターフェースである。第２通信部６５は、ストアコンピュータＳＣとの間でデータ送受信を可能にする通信インターフェースである。ここで、ストアコンピュータＳＣは、店舗のバックヤード等に設置されており、ＰＯＳ端末２１に配信されるＰＬＵファイル６７１を保持している。プリンタ６６は、サーマルプリンタ等の印刷装置であって、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００３６】
記憶部６７は、ＨＤＤやＳＳＤ等の記憶装置であって、ＣＰＵ６１が実行する各種プログラムや各種ファイルを記憶している。また、記憶部６７は、ストアコンピュータＳＣから配信されるＰＬＵファイル６７１を記憶している。ＰＬＵファイル６７１は、店舗で販売される商品の各々について、その商品の商品名や単価等を格納したファイルである。
【００３７】
図１０は、ＰＬＵファイル６７１のデータ構成の一例を模式的に示す図である。図１０に示すように、ＰＬＵファイル６７１には、商品毎に、その商品の商品コードと、商品が属する商品分類、商品名、単価等の商品に関する情報を商品情報として記憶している。ＣＰＵ６１は、商品読取装置１０から商品コードが入力されると、この商品コードに対応する商品情報をＰＬＵファイル６７１から読み出し、図示しない売上げマスタファイル等に登録する。
【００３８】
次に、商品読取装置１０のＣＰＵ５１が、プログラムを実行することで実現される各機能部について説明する。
【００３９】
図１１は、商品読取装置１０の機能構成を示す図である。同図に示すように、商品読取装置１０のＣＰＵ５１は、プログラムを実行することにより、画像取得部７１と、コードシンボル読取部７２と、動作判定部７３と、画像認識部７４と、表示・操作制御部７５と、制御部７６としての機能を備える。
【００４０】
画像取得部７１は、撮像部５４で撮像される画像をＲＡＭ５３等に順次取得する。コードシンボル読取部７２は、画像取得部７１により取得された画像の中から、商品Ｇに付されたコードシンボルを読み取る。また、コードシンボル読取部７２は、読み取ったコードシンボルをデコードすることで該コードシンボルに含まれた商品コードを取得し、取得した商品コードを制御部７６に出力する。
【００４１】
動作判定部７３は、画像取得部７１により取得された時間的に連続する複数毎の画像から、商品Ｇを把持するオペレータの動作を検出する。ここで、検出の対象となる動作は、撮像部５４の視野内における商品Ｇの一連の動きからなるものを指す。動作の検出方法としては、例えば、まず時間的に連続した２枚の画像の対応関係から、図１２に示すようにオプティカルフロー８１を導出し、導出したオプティカルフロー８１の平均を求める等により、図１３に示すように主要な動きベクトル８２を取得する。
【００４２】
動作判定部７３は、上記した動きベクトル８２の検出を画像取得部７１で新たな画像が取得される度に行い、得られた動きベクトル８２を逐次的に連結することで動作の軌跡を求める。動作判定部７３は、求めた軌跡と、動作データベース５６１に記憶された各動作パターンとを比較することで、何れかの動作パターンに相当するか否かを判定する。求めた動作の軌跡が、動作データベース５６１に記憶された何れかの動作パターンに相当する場合、動作判定部７３は、この動作パターンに関連付けられたコマンド（本実施形態の場合、認識提示コマンド）を制御部７６に出力する。なお、動作の検出は、公知の技術を用いることが可能であり、例えば下記の文献に記載された手法を用いて実現することができる。
Ross Cutler and Matthew Turk, “View-based interpretation of real-time optical flow for gesture recognition”, Proceedings of the Third IEEE International Conference on Automatic Face and Gesture Recognition, pp.416-421, 1998.
【００４３】
また、動作判定部７３では、上述した動作の判定に加えて、判定に用いた一連の画像の中から、画像認識に好適な画像を選択し、上記コマンドとともに制御部７６に出力する。これは、例えば、軌跡が撮像部５４の視野の中央を通過した時点の画像を選択したり、軌跡の特定の部分に対応する画像を選択したりする等の方法により行う。選択される画像は１枚に限定されるものではなく、複数枚選択してもよい。また、図１４に示すように、オプティカルフロー８１の大きさが所定の閾値を超えた画像の範囲を、被写体領域８３として抽出し、画像認識に好適な画像として、被写体領域８３のみを切り出した部分画像を出力してもよい。
【００４４】
なお、上記ではオプティカルフローから２次元の軌跡を求める例を示したが、これに限らず、モーションステレオの手法を用いることにより、３次元空間中での被写体の動きを求めることもできる。以下、２枚の画像における点の対応関係から、撮像部５４に対する被写体の相対的な動きを求める方法の概要について説明する。
【００４５】
３次元空間中の点とその画像面への投影像をそれぞれ斉次座標ｘ、Ｘで表すと、撮像部５４による投影の関係は投影行列Ｐを用いて下記式（１）で表わされる。
【００４６】
【数１】
【００４７】
ここで、投影行列Ｐは、撮像部５４の内部パラメータを表す３×３の上三角行列Ｋ、３×３の回転行列Ｒ、３次元の並行移動ベクトルｔを用いて、下記式（２）で表すことができる。
【００４８】
【数２】
【００４９】
ここで、Ｋは、具体的には下記式（３）のような行列で、ｆu、ｆvは焦点距離、ｕ0、ｖ0は光軸と画像面との交点（画像中心）の座標であり、これらのパラメータは予め求められているものとする。
【００５０】
【数３】
【００５１】
今、２枚の画像が与えられた時、それぞれの投影行列Ｐ1、Ｐ2を下記式（４）、（５）のように定義する。但し、Ｉは３×３の単位行列、０は３次元のゼロベクトルである。
【００５２】
【数４】
【００５３】
斉次座標Ｘで表わされる点の、２枚の画像上での斉次座標をｘ1、ｘ2とすると、Ｘとｘ1、ｘ2との間には投影行列Ｐ1、Ｐ2を用いて下記式（６）、（７）のような関係が成り立つ。
【００５４】
【数５】
【００５５】
ここでｚ1、ｚ2を下記式（８）、（９）のように定義すると、ｚ1とｚ2との間には、下記式（１０）の拘束条件が成り立つ。
【００５６】
【数６】
【００５７】
ただし、上記式（１０）においてＥは、基本行列(essential matrix)と呼ばれるもので、回転行列Ｒと並行移動ベクトルｔを用いて下記式（１１）で表わされる。ここで、ｔ1、ｔ2、ｔ3は並行移動ベクトルｔの要素である。
【００５８】
【数７】
【００５９】
オプティカルフローにより２枚の画像間での対応関係を求めると、一組の対応毎に上記式（１０）の拘束条件式が得られる。こうして得られる多数の拘束条件を充足するような上記式（１１）の基本行列Ｅを求め、この基本行列Ｅから回転行列Ｒと並行移動ベクトルｔを求めることにより、撮像部５４と被写体との相対的な動きを得ることができる。
【００６０】
従って、動作の判定は２次元の軌跡を用いるものに限定されるわけではなく、３次元空間中の軌跡や、被写体の回転角などを用いてもよい。なお、画像上での動きから被写体の３次元空間中での動きを求める手法としては、例えば下記の文献に記載された手法を用いることができる。下記文献に記載の手法を用いれば、最低５組の点の対応関係が分かれば撮像部５４と被写体との間の相対的な動きを求めることができる。
David Nister, “An Efficient Solution to the Five-Point Relative Pose Problem”, IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.26, No. 6, June 2004, pp. 756-770.
【００６１】
図１１に戻り、画像認識部７４は、動作判定部７３から制御部７６を介して入力される画像に対して画像認識を行うことで、当該画像に含まれた商品Ｇの候補となる商品を候補として導出する。画像認識処理については、例えば下記の文献に記載された手法を用いることができるが、これに限定されるものではなく、他の画像認識技術を用いてもよい。以下では、下記文献に記載された手法を用いて画像認識を行う際の手順について説明する。
中居友弘,伊藤聡,柴田智行,窪田進, “共起特徴とｋ近傍法による追加学習型オブジェクト認識システム”, 画像の認識・理解シンポジウム(MIRU2011),pp.1701-1702, 2011.
【００６２】
まず、画像認識部７４は、図１５のように画像を複数のブロックＢＬに分割し、当該ブロックＢＬ分の部分画像の特徴を表した特徴ベクトルをブロックＢＬ毎に導出する。ここで、特徴ベクトルの導出は、例えば下記の文献に記載された手法を用いることができる。
Satoshi Ito and Susumu Kubota, “Object classification using heterogeneous co-occurrence features”, Proceedings of the 11th European Conference of Computer Vision, vol.2, pp.209-222, 2010.
【００６３】
次に、画像認識部７４は、導出した特徴ベクトルの各々に対して、ｋ近傍法により、その特徴ベクトルに最も近いｋ個の学習サンプルを商品データベース５６２の中から検索する。この場合、学習サンプルは、商品データベース５６２に登録された各商品の特徴ベクトル（特徴情報）となる。全てのブロックＢＬに対してそれぞれｋ個の学習サンプルが求まるので、例えばブロックＢＬがＮ個ある場合はｋＮ個の学習サンプルが得られる。そこで、画像認識部７４は、ｋＮ個の学習サンプルを商品名毎に集計し、ｋＮで割ることで正規化した値を類似度として用いる。そして、画像認識部７４は、求めた類似度が所定の閾値を上回った学習サンプルの商品を候補とし、その商品の商品コードを制御部７６に出力する。
【００６４】
表示・操作制御部７５は、制御部７６の制御に従い、表示・操作部１２の表示画面に文字や画像等を表示させるとともに、表示・操作部１２のタッチパネルに対して操作された操作内容を制御部７６に出力する。
【００６５】
具体的に、表示・操作制御部７５は、制御部７６から入力される商品画像を、選択可能に表示・操作部１２に表示させる。また、表示・操作制御部７５は、表示・操作部１２に表示させた商品画像のうち、何れかの商品画像を選択する操作を受け付けると、その選択された商品画像を指示する情報を制御部７６に出力する。
【００６６】
制御部７６は、商品読取装置１０の各機能部の動作を統括的に制御する。制御部７６は、コードシンボル読取部７２からコードシンボルの読み取り成功を示す情報として、商品コードの入力を受け付けると、他の処理の進行の如何に関わらず、入力された商品コードを優先してＰＯＳ端末２１に出力することで、その商品コードに対応する商品の登録を行う。なお、制御部７６は、コードシンボル読取部７２から商品コードが入力された際に、動作判定部７３や画像認識部７４で処理が実行中の場合には、それらの処理をキャンセルすることで、画像認識部７４から商品コードが重複して入力されることを抑制する。
【００６７】
また、制御部７６は、動作判定部７３からオペレータ動作の判定結果として、コマンド及び画像の入力を受け付けた場合、このコマンドで指示された内容に従い、画像認識部７４及び表示・操作制御部７５を制御することで、候補となった商品の商品画像を表示・操作部１２に提示する。
【００６８】
具体的に、制御部７６は、動作判定部７３から受け付けた画像を画像認識部７４に出力することで、該画像認識部７４に画像認識を行わせる。画像認識部７４において画像認識が成功し、候補として一又は複数の商品の商品コードが入力されると、制御部７６は、入力された商品コードの各々に関連付けられた商品画像を商品データベース５６２から読み出し、表示・操作制御部７５に出力することで、表示・操作部１２に表示させる。そして、制御部７６は、表示・操作制御部７５を介して、商品画像の選択を受け付けると、この選択された商品画像に対応する商品の商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う。
【００６９】
次に、商品読取装置１０での商品読取動作について説明する。ここで、図１６は、商品読取装置１０が実行する商品読取処理（第１商品読取処理）の手順を示すフローチャートである。
【００７０】
まず、表示・操作部１２又はＰＯＳ端末２１から、一取引に係る商品登録の開始が指示されると、制御部７６は、撮像部５４に撮像オン信号を出力することで撮像を開始させる（ステップＳ１１）。続いて、制御部７６は、コードシンボル読取部７２を動作させることでコードシンボルの読み取り処理を開始させるとともに（ステップＳ１２）、動作判定部７３を動作させることでオペレータ動作の判定処理を開始させる（ステップＳ１５）。
【００７１】
ここで、オペレータの動作により商品Ｇが読取窓１３に提示されると、コードシンボル読取部７２は、画像取得部７１により順次取得される画像からコードシンボルの読み取りを試みる（ステップＳ１３；Ｎｏ）。コードシンボルが読み取れた場合（ステップＳ１３；Ｙｅｓ）、コードシンボル読取部７２は、読み取ったコードシンボルをデコードし、当該コードシンボルに含まれた商品コードを制御部７６に出力する。
【００７２】
制御部７６では、コードシンボル読取部７２から商品コードが入力されると、並列動作中の後述するステップＳ１６〜Ｓ１９の他の処理をキャンセルし（ステップＳ１４）、入力された商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う（ステップＳ２０）。なお、制御部７６は、ステップＳ１６〜Ｓ１９の処理をキャンセルした後、動作判定部７３を後述するステップＳ１６の処理に再び戻す。
【００７３】
一方、動作判定部７３では、画像取得部７１により時間的に連続する複数枚の画像が順次取得されると、これら複数枚の画像からオペレータの動作を順次検出し、動作データベース５６１に登録された何れかの動作パターンに相当する動作を検出するまで待機する（ステップＳ１６；Ｎｏ）。何れかの動作パターンに相当する動作を検出したと判定すると（ステップＳ１６；Ｙｅｓ）、動作判定部７３は、その動作パターンに関連付けられたコマンドと、この判定に用いた一又は複数の画像とを制御部７６に出力する。
【００７４】
制御部７６では、動作判定部７３からコマンド及び画像の入力を受け付けると、このコマンド内容に従い、入力された画像を画像認識部７４に出力することで、画像認識部７４に画像認識処理を実行させる（ステップＳ１７）。
【００７５】
ここで、図１７は、ステップＳ１７の画像認識処理の手順を示すフローチャートである。まず、画像認識部７４は、制御部７６から入力された画像を画像認識し、当該画像に含まれた商品Ｇの特徴情報と、商品データベース５６２に登録された各商品の特徴情報とを比較することで、当該商品に対する類似度をそれぞれ算出する（ステップＳ１７１）。
【００７６】
次いで、画像認識部７４は、ステップＳ１７１で算出した各商品との類似度のうち、所定の閾値を上回る商品が存在するか否かを判定する（ステップＳ１７２）。ここで、算出した類似度が何れも閾値以下の場合、画像認識部７４は認識失敗と判定し（ステップＳ１７２；Ｎｏ）、図１６のステップＳ１６に再び戻る。また、ステップＳ１７１で算出した各商品との類似度の中に、所定の閾値を上回る商品が存在する場合、画像認識部７４は認識成功と判定し（ステップＳ１７２；Ｙｅｓ）、該当する商品の商品コードを候補として制御部７６に出力した後（ステップＳ１７３）、図１６のステップＳ１８に移行する。
【００７７】
図１６に戻り、制御部７６は、ステップＳ１７の画像認識処理で画像認識部７４から出力された商品コードを受け付けると、該商品コードの各々に対応する商品画像を商品データベース５６２から読み出し、表示・操作制御部７５に出力することで、表示・操作部１２に商品画像を表示（提示）させる（ステップＳ１８）。
【００７８】
ここで、図１８は、表示・操作部１２に表示された商品画像の一例を示す図である。同図において、領域Ａ１１は、撮像部５４で撮像された画像を表示するための表示領域であって、制御部７６の制御の下、撮像部５４で撮像中の画像や、動作判定部７３から入力された画像等が表示される。また、領域Ａ１２は、候補となった各商品の商品画像を表示するための表示領域である。同図では６つの商品画像Ｇ１１〜Ｇ１６を表示した例を示している。
【００７９】
図１６に戻り、表示・操作制御部７５では、表示・操作部１２に表示された商品画像から、何れか一の商品画像が選択されるまで待機し（ステップＳ１９；Ｎｏ）、特定の商品画像が選択されると（ステップＳ１９；Ｙｅｓ）、この選択された商品画像を指示する情報を制御部７６に出力する。
【００８０】
制御部７６は、表示・操作制御部７５から特定の商品画像が指示されると、指示された商品画像に対応する商品コードを商品データベース５６２から読み出し、その商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う（ステップＳ２０）。なお、オペレータは商品画像を選択せずにキャンセルを行うこともでき、その場合は商品登録を行わずにステップＳ１６に再び戻る。
【００８１】
続いて、制御部７６は、表示・操作部１２又はＰＯＳ端末２１から、一取引に係る商品登録の終了が指示されたか否かを判定する（ステップＳ２１）。ここで、商品登録の終了が指示されない場合（ステップＳ２１；Ｎｏ）、制御部７６は、コードシンボル読取部７２及び動作判定部７３に係る処理を、ステップＳ１３、ステップＳ１６にそれぞれ戻すことで、次の商品の読み取りに備える。
【００８２】
また、ステップＳ２１において、商品登録の終了が指示された場合には（ステップＳ２１；Ｙｅｓ）、制御部７６は、撮像部５４に撮像オフ信号を出力することで撮像部５４による撮像を停止し（ステップＳ２２）、本処理を終了する。
【００８３】
以上のように、本実施形態の商品読取装置１０によれば、商品を把持するオペレータが所定の動作パターンで動作したことをトリガに、商品の画像認識を開始する。これにより、オペレータが意図したタイミングで画像認識を行うことができるため、認識効率を向上させることが可能となり、商品読取時の効率及び利便性を向上させることができる。
【００８４】
また、コードスキャン動作以外の画像認識動作を、画像認識及び候補の提示を指示する動作パターンとしたことで、コードスキャン動作が行われた際に、該商品の候補が表示・操作部１２に表示されてしまうことを抑制することができる。これにより、例えば、コードシンボルが付された商品と、コードシンボルが付されていない商品とが混合して販売される店舗において、コードスキャン動作が行われた場合に、候補が誤って選択される等のミスの発生を未然に防ぐことができるため、商品読取時の効率及び利便性を向上させることができる。
【００８５】
なお、本実施形態では、動作判定部７３からコマンド及び画像が入力された時点で、画像認識部７４を動作させる形態としたが、これに限らず、動作判定部７３で動作の検出が開始された時点で、画像認識部７４を動作させる形態としてもよい。
【００８６】
具体的には、動作判定部７３においてオペレータ動作の検出が開始されると、制御部７６は、画像取得部７１で取得された画像を画像認識部７４に出力することで画像認識を開始させ、動作判定部７３で動作パターンに相当するとの判定が行われた場合に、画像取得部７１で得られた候補の商品画像を表示・操作部１２に表示させる。これにより、動作判定部７３での判定結果を待たずに画像認識部７４を動作させることができるため、候補となった各商品の商品画像をより迅速に表示させることが可能となる。
【００８７】
［第２の実施形態］
次に、第２の実施形態の商品読取装置について説明する。第２の実施形態では、画像認識動作の検出に加えてコードスキャン動作を検出し、その動作に応じて候補の提示方法を異ならせる形態について説明する。なお、第１の実施形態と同様の部材については、同一の符号を付与し説明を省略する。
【００８８】
図１９は、第２の実施形態に係る商品読取装置１０ａのハードウェア構成を模式的に示す図である。商品読取装置１０ａは、情報処理を実行する情報処理部としてのマイクロコンピュータ５０として、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３とを備えている。また、ＣＰＵ５１には、表示・操作部１２、撮像部５４、通信部５５及び記憶部５６ａが、各種の入出力回路（何れも図示せず）を介して接続されている。
【００８９】
記憶部５６ａは、上述した記憶部５６と同様の記憶装置であって、ＣＰＵ５１によって実行される各種のプログラムやデータを記憶している。また、記憶部５６ａは、後述する第２商品読取処理（図２２参照）に係るデータとして、予め定められた動作パターンとその動作パターンに対応するコマンドとを関連付けた動作データベース５６１ａと、商品データベース５６２とを記憶している。
【００９０】
図２０は、動作データベース５６１ａのデータ構成の一例を模式的に示す図である。同図に示すように、動作データベース５６１ａには、予め定められた一又は複数の動作パターンが、その動作パターンを識別する識別番号と、動作パターンに対応するコマンドと関連付けて記憶されている。ここで、動作データベース５６１ａでは、コマンド欄に格納されるコマンドとして、上述した「認識提示コマンド」に加え、画像認識の実行を指示する「認識コマンド」を有する点が、図３で説明した動作データベース５６１と異なっている。
【００９１】
ここで、「認識コマンド」は、商品読取装置１０ａでのコードシンボル読取動作に相当する動作パターンと関連付けて登録されている。図１で説明したシステム構成の場合、例えば、図４に示した商品読取装置１０の読取窓１３の前を右から左に商品Ｇを通過させる動作や、図５に示した商品読取装置１０の読取窓１３に商品Ｇを近づけるような動作が、コードシンボル読取動作となる。そこで、図２０に示す動作データベース５６１ａでは、図４に示したコードシンボル読取動作に相当する動作パターンを、識別番号１１と関連付けて記憶している。また、図５に示したコードシンボル読取動作に相当する動作パターンを、識別番号１２と関連付けて記憶している。なお、動作データベース５６１ａに登録する画像認識動作の動作パターンは、図２０の例に限らず、任意の動作パターンを登録することが可能である。
【００９２】
次に、商品読取装置１０ａのＣＰＵ５１が、プログラムを実行することで実現される各機能部について説明する。図２１は、本実施形態に係る商品読取装置１０ａの機能構成を示す図である。同図に示すように、商品読取装置１０ａのＣＰＵ５１は、プログラムを実行することにより、画像取得部７１と、コードシンボル読取部７２と、動作判定部７３と、画像認識部７４と、表示・操作制御部７５と、制御部７６ａとしての機能を備える。
【００９３】
制御部７６ａは、第１の実施形態の制御部７６に対応し、商品読取装置１０ａの各機能部の動作を統括的に制御する。制御部７６ａは、コードシンボル読取部７２からコードシンボルの読み取り成功を示す情報として、商品コードの入力を受け付けると、他の処理の進行の如何に関わらず、入力された商品コードを優先してＰＯＳ端末２１に出力することで、その商品コードに対応する商品の登録を行う。なお、制御部７６ａは、コードシンボル読取部７２から商品コードが入力された際に、動作判定部７３や画像認識部７４で処理が実行中の場合には、それらの処理をキャンセルすることで、画像認識部７４から商品コードが重複して入力されることを抑制する。
【００９４】
また、制御部７６ａは、動作判定部７３からオペレータの動作の判定結果として、コマンド及び画像の入力を受け付けた場合、このコマンドで指示された内容に従い、画像認識部７４及び表示・操作制御部７５を制御することで、候補となった商品の商品画像を表示・操作部１２に提示する。
【００９５】
具体的に、制御部７６ａは、動作判定部７３から認識提示コマンドが入力された場合、動作判定部７３から受け付けた画像を画像認識部７４に出力することで、該画像認識部７４に画像認識を行わせる。画像認識部７４において画像認識が成功し、候補として一又は複数の商品が入力されると、制御部７６ａは、入力された商品コードの各々に関連付けられた商品画像を商品データベース５６２から読み出し、表示・操作制御部７５に出力することで、表示・操作部１２に表示させる。そして、制御部７６ａは、表示・操作制御部７５を介して、商品画像の選択を受け付けると、この選択された商品画像に対応する商品の商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う。
【００９６】
また、制御部７６ａは、動作判定部７３から認識コマンドが入力された場合、動作判定部７３から受け付けた画像を画像認識部７４に出力することで、該画像認識部７４に画像認識を行わせる。画像認識部７４において画像認識が成功し、候補として一又は複数の商品が入力されると、制御部７６ａは、入力された商品コードをＲＡＭ５３等に保持し、表示・操作制御部７５を制御することで、候補の提示を行うか否かを確認するための画像を表示・操作部１２に表示させる。制御部７６ａは、表示・操作制御部７５を介して、候補の提示指示を受け付けると、保持しておいた商品コードの各々に関連付けられた商品画像を商品データベース５６２から読み出し、表示・操作制御部７５に出力することで、表示・操作部１２に表示させる。そして、制御部７６ａは、表示・操作制御部７５を介して、商品画像の選択を受け付けると、この選択された商品画像に対応する商品の商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う。
【００９７】
次に、商品読取装置１０ａでの商品読取動作について説明する。ここで、図２２は、商品読取装置１０ａが実行する商品読取処理（第２商品読取処理）の手順を示すフローチャートである。
【００９８】
まず、表示・操作部１２又はＰＯＳ端末２１から、一取引に係る商品登録の開始が指示されると、制御部７６ａは、撮像部５４に撮像オン信号を出力することで撮像を開始させる（ステップＳ３１）。続いて、制御部７６ａは、コードシンボル読取部７２を動作させることでコードシンボルの読み取り処理を開始させるとともに（ステップＳ３２）、動作判定部７３を動作させることでオペレータ動作の判定処理を開始させる（ステップＳ３５）。
【００９９】
ここで、オペレータの動作により商品Ｇが読取窓１３に提示されると、コードシンボル読取部７２は、画像取得部７１により順次取得される画像からコードシンボルの読み取りを試みる（ステップＳ３３；Ｎｏ）。コードシンボルが読み取れた場合（ステップＳ３３；Ｙｅｓ）、コードシンボル読取部７２は、読み取ったコードシンボルをデコードし、当該コードシンボルに含まれた商品コードを制御部７６ａに出力する。
【０１００】
制御部７６ａでは、コードシンボル読取部７２から商品コードが入力されると、並列動作中の後述するステップＳ３６〜Ｓ４３の他の処理をキャンセルし（ステップＳ３４）、入力された商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う（ステップＳ４４）。なお、制御部７６ａは、ステップＳ３６〜Ｓ４３の処理をキャンセルした後、動作判定部７３を後述するステップＳ３６の処理に再び戻す。
【０１０１】
一方、動作判定部７３では、画像取得部７１により時間的に連続する複数枚の画像が順次取得されると、これら複数枚の画像からオペレータの動作を順次検出し、動作データベース５６１ａに登録された何れかの動作パターンに相当する動作を検出するまで待機する（ステップＳ３６；Ｎｏ）。何れかの動作パターンに相当する動作を検出したと判定すると（ステップＳ３６；Ｙｅｓ）、動作判定部７３は、その動作パターンに関連付けられたコマンドと、この判定に用いた一又は複数の画像とを制御部７６ａに出力する。
【０１０２】
制御部７６ａでは、動作判定部７３からコマンド及び画像の入力を受け付けると、このコマンドが認識提示コマンドか認識コマンドかを判別する（ステップＳ３７）。ここで、入力されたコマンドが認識提示コマンドであった場合（ステップＳ３７；Ｙｅｓ）、制御部７６ａは、このコマンド内容に従い、入力された画像を画像認識部７４に出力することで、画像認識部７４に画像認識処理を実行させる（ステップＳ３８）。なお、ステップＳ３８の画像認識処理は、図１７で説明した画像認識処理と同様であるため説明を省略する。
【０１０３】
制御部７６ａは、ステップＳ３８の画像認識処理で画像認識部７４から出力された商品コードを受け付けると、該商品コードの各々に対応する商品画像を商品データベース５６２から読み出し、表示・操作制御部７５に出力することで、表示・操作部１２に商品画像を表示（提示）させる（ステップＳ４２）。
【０１０４】
一方、ステップＳ３７において、動作判定部７３から入力されたコマンドが認識コマンドであった場合（ステップＳ３７；Ｎｏ）、制御部７６ａは、このコマンド内容に従い、入力された画像を画像認識部７４に出力することで、画像認識部７４に画像認識処理を実行させる（ステップＳ３９）。なお、ステップＳ３９の画像認識処理は、図１７で説明した画像認識処理と同様であるため説明を省略する。
【０１０５】
制御部７６ａは、ステップＳ３９の画像認識処理で画像認識部７４から出力された商品コードを受け付けると、該商品コードをＲＡＭ５３等に保持し、表示・操作制御部７５を制御することで、候補の提示を行うか否かを確認するための確認画像を表示・操作部１２に表示させる（ステップＳ４０）。
【０１０６】
ここで、図２３は、表示・操作部１２に表示された確認画像の一例を示す図である。同図において、領域Ａ１１は、上述した撮像部５４で撮像された画像を表示するための表示領域であって、制御部７６ａの制御の下、撮像部５４で撮像中の画像が表示される。また、領域Ａ１３には、候補の提示を行うか否かを確認するための確認画像が表示される領域であって、確認を促すメッセージとともに候補の提示を指示するためのボタンＢ１１が表示される。なお、図２３では、ボタンＢ１１が選択された場合に、候補の提示が指示されたものとする。
【０１０７】
図２２に戻り、表示・操作制御部７５では、表示・操作部１２から候補の提示が指示されるまで待機し（ステップＳ４１；Ｎｏ）、候補の提示が指示されると（ステップＳ４１；Ｙｅｓ）、表示・操作制御部７５は、候補の提示を指示する情報を制御部７６ａに出力する。制御部７６ａは、表示・操作制御部７５から候補の提示が指示されると、ステップＳ４２に移行し、保持しておいた商品コードの各々に関連付けられた商品画像を商品データベース５６２から読み出し、表示・操作制御部７５に出力することで、表示・操作部１２に表示させる（ステップＳ４２）。
【０１０８】
続いて、表示・操作制御部７５では、表示・操作部１２に表示された商品画像から、何れか一の商品画像が選択されるまで待機し（ステップＳ４３；Ｎｏ）、特定の商品画像が選択されると（ステップＳ４３；Ｙｅｓ）、この選択された商品画像を指示する情報を制御部７６ａに出力する。
【０１０９】
制御部７６ａは、表示・操作制御部７５から特定の商品画像が指示されると、指示された商品画像に対応する商品コードを商品データベース５６２から読み出し、その商品コードをＰＯＳ端末２１に出力することで、商品の登録を行う（ステップＳ４４）。なお、オペレータは商品画像を選択せずにキャンセルを行うこともでき、その場合は商品登録を行わずにステップＳ３６に再び戻る。
【０１１０】
続いて、制御部７６ａは、表示・操作部１２又はＰＯＳ端末２１から、一取引に係る商品登録の終了が指示されたか否かを判定する（ステップＳ４５）。ここで、商品登録の終了が指示されない場合（ステップＳ４５；Ｎｏ）、制御部７６は、コードシンボル読取部７２及び動作判定部７３に係る処理を、ステップＳ３３、ステップＳ３６にそれぞれ戻すことで、次の商品の読み取りに備える。
【０１１１】
また、ステップＳ４５において、商品登録の終了が指示された場合には（ステップＳ４５；Ｙｅｓ）、制御部７６ａは、撮像部５４に撮像オフ信号を出力することで撮像部５４による撮像を停止し（ステップＳ４６）、本処理を終了する。
【０１１２】
以上のように、本実施形態の商品読取装置１０ａによれば、商品を把持するオペレータが所定の動作パターンで動作したことをトリガに、商品の画像認識を開始する。これにより、オペレータが意図したタイミングで画像認識を行うことができるため、認識効率を向上させることが可能となり、商品読取時の効率及び利便性を向上させることができる。
【０１１３】
また、画像認識動作時には、候補の提示を直ちに行い、コードスキャン動作時には、候補の提示をオペレータからの指示に応じて行う。これにより、商品に付されたコードシンボルを読取窓１３に提示するコードスキャン動作が行われた際には、該商品の候補の表示・操作部１２への表示を抑制できるため、候補が誤って選択される等のミスの発生を未然に防ぐことができる。また、オペレータからの要求に応じて候補を提示することで、コードシンボルの読み取りが不調のとき等に補助的に用いることができるため、商品読取時の効率及び利便性を向上させることができる。
【０１１４】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１５】
上記実施形態では、単一の撮像部５４で撮像された画像を用いて、コードシンボル読取部７２でのコードシンボル読み取りと、動作判定部７３でのオペレータ動作の検出とを行う形態としたが、これに限らないものとする。例えば、コードシンボル読取部７２及び動作判定部７３の各々に対し専用の撮像部５４を設け、これら撮像部５４の各々で撮像された画像を用いて、コードシンボル読み取りとオペレータの動作の検出とを行う形態としてもよい。なお、この場合、各撮像部５４の撮像範囲は、読取窓１３の前に商品Ｇが提示される位置において重なるよう調整されていることが好ましい。以下、複数の撮像部５４を用いる場合の一例として、二台の撮像部５４を用いる構成例について説明する。
【０１１６】
図２４は、撮像部５４を二台構成とした例を説明するための図であり、商品読取装置１０（或いは１０ａ）の読取窓１３部分での断面を模式的に示している。同図に示すように、商品読取装置１０の読取窓１３内には、二台の撮像部５４（５４ａ、５４ｂ）が設けられている。
【０１１７】
この例では、撮像部５４ａは、コードシンボル読取部７２でのコードシンボル読み取りに用いる画像を撮像し、撮像部５４ｂは、動作判定部７３でのオペレータ動作の検出に用いる画像を撮像することを想定している。
【０１１８】
ここで、撮像部５４ａの撮像方向は、読取窓１３の前に提示される商品Ｇが、撮像範囲Ａ２１内に収まるよう調整されている。また、撮像部５４ｂの撮像方向は、読取窓１３の前に提示される商品Ｇが、撮像範囲Ａ２２内に収まるよう調整されている。さらに、撮像部５４ａの撮像範囲Ａ２１と、撮像部５４ｂの撮像範囲Ａ２２とは、読取窓１３の前に商品Ｇが提示される位置において、一部又は全てが重なるよう調整されているものとする。
【０１１９】
このように、撮像部５４ａ、５４ｂの撮像範囲を商品Ｇが提示される位置において重複するよう構成することで、上記実施形態の作用・効果を効率的に享受することができる。なお、コードシンボルの読み取り用にレーザスキャナ等のスキャナ装置を用いる構成としてもよいが、この場合においても、商品Ｇが提示される位置において、該スキャナ装置のスキャン範囲と撮像部５４の撮像範囲とが重なるよう調整することが好ましい。
【０１２０】
また、上記実施形態では、動作データベース５６１及び商品データベース５６２を、商品読取装置１０が備える形態としたが、これに限らず、ＰＯＳ端末２１や他の装置が保持する動作データベース５６１及び商品データベース５６２を、商品読取装置１０が参照する形態としてもよい。
【０１２１】
また、上記実施形態では、商品読取装置１０と商品精算装置２０との２台構成としたが、これに限らず、商品読取装置１０及び商品精算装置２０の機能を備えた１台構成の装置（例えば、セルフレジ等）としてもよい。
【０１２２】
また、上記実施形態の商品読取装置１０（１０ａ）で実行されるプログラムは、商品読取装置１０（１０ａ）が備える記憶媒体（ＲＯＭ５２又は記憶部５６（５６ａ））に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【０１２３】
また、上記実施形態の商品読取装置１０（１０ａ）で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【０１２４】
１ チェックアウトシステム
１０、１０ａ 商品読取装置
１１ ハウジング
１２ 表示・操作部
１３ 読取窓
２０ 商品精算装置
２１ ＰＯＳ端末
２２ ドロワ
５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 撮像部
５５ 通信部
５６ 記憶部
５６１、５６１ａ 動作データベース
５６２ 商品データベース
７１ 画像取得部
７２ コードシンボル読取部
７３ 動作判定部
７４ 画像認識部
７５ 表示・操作制御部
７６、７６ａ 制御部
Ｇ 商品
【先行技術文献】
【特許文献】
【０１２５】
【特許文献１】特許第３２２３０６４号公報
【特許請求の範囲】
【請求項１】
時間的に連続する複数枚の画像を撮像する撮像手段と、
前記画像に含まれる商品を画像認識し、当該商品の候補となる候補商品を導出する画像認識手段と、
表示手段と、
前記候補商品の各々を前記表示手段に表示させる表示制御手段と、
前記表示手段に表示された候補商品の選択操作を受け付ける操作受付手段と、
前記複数枚の画像からユーザーの動作を検出する動作検出手段と、
前記動作検出手段で検出された動作が、所定の動作パターンに相当するか否かを判定する動作判定手段と、
前記動作判定手段の判定結果に基づいて、前記画像認識手段及び前記表示制御手段の動作を制御する制御手段と、
を備える商品読取装置。
【請求項２】
前記商品に付されたコードシンボルを読み取る読取手段と、
前記読取手段で読み取られたコードシンボルに含まれる商品情報又は前記操作受付手段で選択を受け付けた候補商品に対応する商品情報を出力する出力手段と、
を備える請求項１に記載の商品読取装置。
【請求項３】
前記動作パターンは、前記商品に付されたコードシンボルを前記読取手段に読み取らせる際の動作以外の所定の動作に相当する第１動作パターンを有し、
前記制御手段は、前記動作判定手段において前記ユーザーの動作が前記第１動作パターンに相当すると判定された場合に、前記画像認識手段に前記画像認識を行わせるとともに、前記表示制御手段に前記画像認識で導出された候補商品を表示させる請求項２に記載の商品読取装置。
【請求項４】
前記動作パターンは、前記商品に付されたコードシンボルを前記読取手段に読み取らせる際の動作に相当する第２動作パターンを有し、
前記制御手段は、前記動作判定手段において前記ユーザーの動作が前記第２動作パターンに相当すると判定された場合に、前記画像認識手段に前記画像認識を行わせた後、前記操作受付手段を介して表示が指示されるまで、前記画像認識で導出された候補画像の表示を前記表示制御手段に待機させる請求項２又は３に記載の商品読取装置。
【請求項５】
前記第１動作パターンは、前記第２動作パターンを構成する主要な動き方向に対して、交差する動き成分を含む請求項３又は４に記載の商品読取装置。
【請求項６】
前記第１動作パターンは、回転又はシェイク動作を表す請求項３〜５の何れか一項に記載の商品読取装置。
【請求項７】
前記制御手段は、前記読取手段での前記コードシンボルの読み取りが成功した場合に、前記画像認識手段、前記動作検出手段及び前記動作判定手段で実行中の処理を取り消す請求項２〜６の何れか一項に記載の商品読取装置。
【請求項８】
前記制御手段は、前記動作検出手段において前記ユーザーの動作の検出が開始されると、前記画像認識手段に前記画像認識を開始させ、前記動作判定手段で前記オペレータの動作が前記動作パターンに相当すると判定された場合に、当該画像認識で導出された候補画像を前記表示制御手段に表示させる請求項１〜７の何れか一項に記載の商品読取装置。
【請求項９】
撮像手段と、表示手段とを備えたコンピュータを、
前記撮像手段で撮像された画像に含まれる商品を画像認識し、当該商品の候補となる候補商品を導出する画像認識手段と、
前記候補商品の各々を前記表示手段に表示する表示制御手段と、
前記表示手段に表示された候補商品の選択操作を受け付ける操作受付手段と、
前記撮像手段で撮像された時間的に連続する複数枚の画像から、前記商品を把持したオペレータの動作を検出する動作検出手段と、
前記動作検出手段で検出された動作が、所定の動作パターンに相当するか否かを判定する動作判定手段と、
前記動作判定手段の判定結果に基づいて、前記画像認識手段及び前記表示制御手段の動作を制御する制御手段と、
して機能させるためのプログラム。
【請求項１】
時間的に連続する複数枚の画像を撮像する撮像手段と、
前記画像に含まれる商品を画像認識し、当該商品の候補となる候補商品を導出する画像認識手段と、
表示手段と、
前記候補商品の各々を前記表示手段に表示させる表示制御手段と、
前記表示手段に表示された候補商品の選択操作を受け付ける操作受付手段と、
前記複数枚の画像からユーザーの動作を検出する動作検出手段と、
前記動作検出手段で検出された動作が、所定の動作パターンに相当するか否かを判定する動作判定手段と、
前記動作判定手段の判定結果に基づいて、前記画像認識手段及び前記表示制御手段の動作を制御する制御手段と、
を備える商品読取装置。
【請求項２】
前記商品に付されたコードシンボルを読み取る読取手段と、
前記読取手段で読み取られたコードシンボルに含まれる商品情報又は前記操作受付手段で選択を受け付けた候補商品に対応する商品情報を出力する出力手段と、
を備える請求項１に記載の商品読取装置。
【請求項３】
前記動作パターンは、前記商品に付されたコードシンボルを前記読取手段に読み取らせる際の動作以外の所定の動作に相当する第１動作パターンを有し、
前記制御手段は、前記動作判定手段において前記ユーザーの動作が前記第１動作パターンに相当すると判定された場合に、前記画像認識手段に前記画像認識を行わせるとともに、前記表示制御手段に前記画像認識で導出された候補商品を表示させる請求項２に記載の商品読取装置。
【請求項４】
前記動作パターンは、前記商品に付されたコードシンボルを前記読取手段に読み取らせる際の動作に相当する第２動作パターンを有し、
前記制御手段は、前記動作判定手段において前記ユーザーの動作が前記第２動作パターンに相当すると判定された場合に、前記画像認識手段に前記画像認識を行わせた後、前記操作受付手段を介して表示が指示されるまで、前記画像認識で導出された候補画像の表示を前記表示制御手段に待機させる請求項２又は３に記載の商品読取装置。
【請求項５】
前記第１動作パターンは、前記第２動作パターンを構成する主要な動き方向に対して、交差する動き成分を含む請求項３又は４に記載の商品読取装置。
【請求項６】
前記第１動作パターンは、回転又はシェイク動作を表す請求項３〜５の何れか一項に記載の商品読取装置。
【請求項７】
前記制御手段は、前記読取手段での前記コードシンボルの読み取りが成功した場合に、前記画像認識手段、前記動作検出手段及び前記動作判定手段で実行中の処理を取り消す請求項２〜６の何れか一項に記載の商品読取装置。
【請求項８】
前記制御手段は、前記動作検出手段において前記ユーザーの動作の検出が開始されると、前記画像認識手段に前記画像認識を開始させ、前記動作判定手段で前記オペレータの動作が前記動作パターンに相当すると判定された場合に、当該画像認識で導出された候補画像を前記表示制御手段に表示させる請求項１〜７の何れか一項に記載の商品読取装置。
【請求項９】
撮像手段と、表示手段とを備えたコンピュータを、
前記撮像手段で撮像された画像に含まれる商品を画像認識し、当該商品の候補となる候補商品を導出する画像認識手段と、
前記候補商品の各々を前記表示手段に表示する表示制御手段と、
前記表示手段に表示された候補商品の選択操作を受け付ける操作受付手段と、
前記撮像手段で撮像された時間的に連続する複数枚の画像から、前記商品を把持したオペレータの動作を検出する動作検出手段と、
前記動作検出手段で検出された動作が、所定の動作パターンに相当するか否かを判定する動作判定手段と、
前記動作判定手段の判定結果に基づいて、前記画像認識手段及び前記表示制御手段の動作を制御する制御手段と、
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１３−８９０８７（Ｐ２０１３−８９０８７Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２３００３６（Ｐ２０１１−２３００３６）
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]