混雑度報知装置、プログラム、および混雑度報知方法
【課題】店舗全体での商品の登録業務の効率化を図るとともに、繁忙時の顧客の会計待ちの不満を軽減する。
【解決手段】実施形態の混雑度報知装置は、取込手段と、認識手段と、算出手段と、報知手段と、を備える。前記取込手段は、撮像画像を取り込む。前記認識手段は、前記取り込んだ撮像画像から収納部に収納された商品を認識する。前記算出手段は、前記認識した商品の個数から当該認識した商品の売上登録に要する登録時間を算出する。前記報知手段は、前記算出した登録時間を報知する。
【解決手段】実施形態の混雑度報知装置は、取込手段と、認識手段と、算出手段と、報知手段と、を備える。前記取込手段は、撮像画像を取り込む。前記認識手段は、前記取り込んだ撮像画像から収納部に収納された商品を認識する。前記算出手段は、前記認識した商品の個数から当該認識した商品の売上登録に要する登録時間を算出する。前記報知手段は、前記算出した登録時間を報知する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、混雑度報知装置、プログラム、および混雑度報知方法に関する。
【背景技術】
【０００２】
スーパーマーケット等の店舗に構築されたチェックアウトシステムでは、店舗の繁忙時に、ＰＯＳ（Point Of Sales）端末に、会計待ちの顧客の行列ができてしまう。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平４−１０２９９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そのため、店舗に設置されたＰＯＳ端末毎に、会計待ちの時間を店員や顧客が把握できるようにして、店舗全体での商品の登録業務の効率化を図るとともに、繁忙時の顧客の会計待ちの不満を軽減することが求められている。
【課題を解決するための手段】
【０００５】
実施形態の混雑度報知装置は、取込手段と、認識手段と、算出手段と、報知手段と、を備える。前記取込手段は、撮像画像を取り込む。前記認識手段は、前記取り込んだ撮像画像から収納部に収納された商品を認識する。前記算出手段は、前記認識した商品の個数から当該認識した商品の売上登録に要する登録時間を算出する。前記報知手段は、前記算出した登録時間を報知する。
【図面の簡単な説明】
【０００６】
【図１】チェックアウトシステムを示す斜視図。
【図２】カートの概要構成説明図。
【図３】ＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図。
【図４】ＰＬＵファイルのデータ構成を例示する概念図。
【図５】熟練度登録テーブルのデータ構成を例示する概念図である。
【図６】ＰＯＳ端末および商品読取装置の機能構成を示すブロック図。
【図７】チェックアウトシステムにおける混雑度報知処理の流れを示すフローチャート。
【図８】混雑度の報知例を示す図。
【図９】混雑度の報知例を示す図。
【図１０】混雑度の報知例を示す図。
【図１１】混雑度の報知例を示す図。
【発明を実施するための形態】
【０００７】
以下では、チェックアウトシステムを例に本実施形態にかかる混雑度報知装置、プログラム、および混雑度報知方法について、図面を参照して説明する。チェックアウトシステムは、商品に付されたバーコードや２次元コードなどのコードシンボルから商品情報の読み取りを行う商品読取装置と、読み取った商品情報が示す商品の登録、精算を行うＰＯＳ（Point Of Sales）端末と、を備えるシステムである。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００８】
図１は、チェックアウトシステムを示す斜視図である。図２は、カートの概要構成説明図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（ユーザ）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【０００９】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、カート２００から降ろされた商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。
【００１０】
店舗で買い物をする顧客は、図２に示すように、買物カゴ１５３をカート２００の荷台２０３，２０４に載置し、カート２００を移動させながら買い物をする。カート２００は、それぞれ買物カゴ１５３を載置することが可能な荷台２０３，２０４を有するフレーム２０５と、最下部に設けられた４個の車輪２０６と、フレーム２０５の後方部に取り付けられた取っ手２０７と、を備えている。なお、カート２００は、自ら収納部としての買物カゴ１５３を備える形態であっても良い。例えば、カート２００を構成するフレーム２０５同士の間に網が張られており、商品を外部から視認できる態様で収納するカート２００自体を収納部とする形態であってもよい。
【００１１】
顧客は、取っ手２０７を掴んで所望の方向にカート２００を押すことにより、カート２００を移動させることができる。顧客は、購入予定の全ての商品を買物カゴ１５３に収納すると、カート２００をカウンタ台１５１まで移動させ、荷台２０３，２０４に載置された買物カゴ１５３を荷受面１５２に載置する。
【００１２】
カウンタ台１５１の荷受面１５２には、カウンタ台１５１の後に行列を形成しているカート２００の荷台２０３，２０４に載置されている買物カゴ１５３、および荷受面１５２上に載置された買物カゴ１５３ａ内の商品の売上登録に要する時間など、ＰＯＳ端末１１の混雑度を報知するための混雑度表示デバイス３０１が設けられている。
【００１３】
ＰＯＳ端末１１による商品の登録および精算を待っている顧客の頭上には、チェックアウトシステム１上の空間、および店舗の繁忙時などにカウンタ台１５１の後に行列を形成しているカート２００の荷台２０３，２０４上の空間の画像を撮像するライブカメラ２０１が設置されている。ライブカメラ２０１は、図１および図２に示すように、レンズ２０２から取り込んだ画像を２次元ＣＣＤ（Charged Coupled Device）アレイ（図示せず）に結像させ、ＣＣＤアレイの出力を増幅、Ａ／Ｄ変換、フィルタリング等して動画として出力する構造のものである。ライブカメラ２０１は、荷受面１５２に載置された買物カゴ１５３ａおよび荷台２０３，２０４上に載置された買物カゴ１５３に収納された商品を含む画像を撮像する。
【００１４】
また、カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１５】
このような商品読取装置１０１は、商品読取部１１０（図３参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図３参照）を配置している。
【００１６】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図３参照）は商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ａの全部または一部を検出する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａの全部または一部が含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する。図３参照）を参照して、商品読取部１１０の撮像部１６４により撮像された商品Ａの全部または一部の画像から特定の物体である商品Ａを認識することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１７】
図３は、ＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。
【００１８】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４、混雑度表示デバイス３０１がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１９】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆを含む。
【００２０】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１や熟練度登録テーブルＦ２である。
【００２１】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定された商品マスタファイルである。図４は、ＰＬＵファイルのデータ構成を例示する概念図である。図４に示すように、ＰＬＵファイルＦ１は、商品Ａごとに、ユニークに割り当てられた商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品の売上登録にかかる情報と、その商品を撮像した商品画像と、を格納するファイルである。このようなＰＬＵファイルＦ１は、対象となる商品群（パン、青果、惣菜等）によって分けられている。
【００２２】
熟練度登録テーブルＦ２は、店舗で働く店員の各々について、商品Ａの売上登録の熟練度および商品Ａの売上登録に要する商品登録時間と、店員画像との関連付けが設定されたテーブルである。図５は、熟練度登録テーブルのデータ構成を例示する概念図である。図５に示す用ように、熟練度登録テーブルＦ２は、店舗で働く店員の各々について、店員を特定する店員ＩＤと、商品Ａの売上登録の熟練度を示す熟練度値（ａ、ｂ、およびｃのいずれか）と、当該熟練度値が示す熟練度に応じて設定された、１つの商品Ａの売上登録に要する商品登録時間と、商品Ａの売上登録の熟練度に合わせて店員が被る帽子の画像（店員画像）と、を対応付けて登録するものである。
【００２３】
商品登録時間とは、店員が一つの商品Ａに付されたバーコードや２次元コードなどのコードシンボルに組み込まれた商品情報を商品読取装置１０１に読み取らせ、ＰＯＳ端末１１によって、読み取られた商品情報が示す商品の売上登録を行うのに要する時間である。
【００２４】
また、熟練度値とは、商品登録時間の短長により判断された商品Ａの売上登録の熟練度を数値化したものである。本実施形態では、熟練度値として、熟練度が高い順に、「ａ」、「ｂ」、「ｃ」の３つの値が用意されており、熟練度値：「ａ」が、商品の売上登録の熟練度が高いことを示し、熟練度値：「ｂ」が、商品の売上登録の熟練度が普通（標準）であることを示し、熟練度値：「ｃ」が、商品の売上登録の熟練度が低いことを示すものである。
【００２５】
また、本実施形態では、商品Ａの売上登録の熟練度に合わせて店員が被る帽子の画像を店員画像としているが、商品Ａの売上登録の熟練度を識別することができる画像であれば、これに限定するものではなく、例えば、商品Ａの売上登録を行う店員の顔画像や、商品Ａの売上登録の熟練度に合わせて店員が着る制服の画像を、店員画像として適用してもよい。
【００２６】
図３に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２７】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１およびライブカメラ２０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。
【００２８】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５、ライブカメラ２０１が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２９】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。
【００３０】
音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
【００３１】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５およびライブカメラ２０１に接続して、ＰＯＳ端末１１およびライブカメラ２０１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像（商品Ａの全部または一部を含む画像）は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。また、ＣＰＵ１６１の制御の下、ライブカメラ２０１で撮像された画像は、接続インターフェース１７５を介して、商品読取部１１０に入力される。
【００３２】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図６を参照して説明する。図６は、ＰＯＳ端末および商品読取装置の機能構成を示すブロック図である。図６に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部６０１、検出部６０２、画像出力部６０３としての機能を備える。同様に、ＣＰＵ６１は、物体認識部６０４、登録時間算出部６０５、報知部６０６、商品登録部６０７としての機能を備える。
【００３３】
撮像画像取込部６０１は、接続インターフェース１７５を介してライブカメラ２０１に撮像オン信号を出力してライブカメラ２０１に撮像動作を開始させる。撮像画像取込部６０１は、撮像動作開始後に、接続インターフェース１７５を介して、ライブカメラ２０１が撮像して出力された画像を順次取り込む。撮像画像取込部６０１による画像の取り込みは、ライブカメラ２０１から出力された順に行われる。
【００３４】
また、撮像画像取込部６０１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像画像取込部６０１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を取り込む。撮像画像取込部６０１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００３５】
検出部６０２は、撮像画像取込部６０１によりライブカメラ２０１から取り込まれた画像に含まれる買物カゴ１５３の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、検出部６０２は、ライブカメラ２０１から取り込まれた画像を２値化した画像から輪郭線などを抽出する。次いで、検出部６０２は、ライブカメラ２０１から直近に取り込んだ画像から抽出された輪郭線と、ライブカメラ２０１から今回取り込んだ画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために荷受台１５２に載置された買物カゴ１５３ａまたはカウンタ台１５１の後に行列を形成しているカート２００の荷台２０３，２０４に載置された買物カゴ１５３の写り込みを検出する。
【００３６】
また、検出部６０２は、撮像画像取込部６０１により撮像部１６４から取り込まれたフレーム画像に含まれる商品Ａの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、検出部６０２は、買物カゴ１５３の検出と同様に、撮像部１６４から取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、検出部６０２は、撮像部１６４から直近に取り込んだフレーム画像から抽出された輪郭線と、撮像部１６４から今回取り込んだフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品Ａの写り込みを検出する。商品Ａを検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の抽出を行うことで、店員の手を把持していると想定される商品の輪郭抽出を試みる。このとき、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００３７】
画像出力部６０３は、撮像画像取込部６０１により取り込んだ画像（またはフレーム画像）を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部６０３は、撮像画像取込部６０１が取り込んだ画像（またはフレーム画像）を逐次ＰＯＳ端末１１へ出力しても良いが、本実施形態では、検出部６０２により買物カゴ１５３の全部または一部が検出された画像（または、商品の全部または一部が検出されたフレーム画像）をＰＯＳ端末１１へ出力するものとする。このように、検出部６０２により買物カゴ１５３の全部または一部が検出された画像（商品の全部または一部が検出されたフレーム画像）をＰＯＳ端末１１へ出力することで、買物カゴ１５３の全部または一部が検出されていない画像（商品の全部または一部が検出されていないフレーム画像）に対して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、買物カゴ１５３の全部または一部が含まれていない画像での処理を防止することで、処理時間の短縮を図ることができる。
【００３８】
物体認識部６０４は、ＰＬＵファイルＦ１の商品画像を参照して、ライブカメラ２０１により撮像された画像から、買物カゴ１５３内に収納された商品Ａを認識する。具体的には、物体認識部６０４は、ＰＬＵファイルＦ１の商品画像を参照して、ライブカメラ２０１により撮像された画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体としての商品Ａを認識する。なお、物体認識部６０４は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６０４の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から、荷受台１５２に載置された買物カゴ１５３内に収納された商品およびカート２００の荷台２０３，２０４に載置された買物カゴ１５３内に収納された商品を認識することができる。
【００３９】
また、物体認識部６０４は、熟練度登録テーブルＦ２の店員画像を参照して、ライブカメラ２０１により撮像された画像から、チェックアウトシステム１において商品Ａの売上登録を行う店員を認識する。具体的には、物体認識部６０４は、熟練度登録テーブルＦ２の店員画像を参照して、ライブ２０１により撮像された画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体としての店員を認識する。なお、物体認識部６０４は、処理時間の短縮を図るため、店員の輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６０４の認識結果により、熟練度登録テーブルＦ２に予め登録されている店員の中から、チェックアウトシステム１において商品Ａの売上登録を行う店員を認識することができる。
【００４０】
さらに、物体認識部６０４は、ＰＬＵファイルＦ１の商品画像を参照して、撮像部１６４により撮像されたフレーム画像から、読取窓１０３に向けられた商品Ａを認識する。具体的には、物体認識部６０４は、ＰＬＵファイルＦ１の商品画像を参照して、撮像部１６４により撮像されたフレーム画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体としての商品Ａを認識する。
【００４１】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
【００４２】
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
登録時間算出部６０５は、ライブカメラ２０１により撮像した画像から認識した商品Ａの商品個数を検出する。そして、登録時間算出部６０５は、検出した商品個数から、ライブカメラ２０１により撮像した画像から認識した商品Ａの売上登録に要する推定登録時間を、ＰＯＳ端末１１の混雑度として算出する。本実施形態では、登録時間算出部６０５は、熟練度登録テーブルＦ２から、ライブカメラ２０１により撮像した画像から認識した店員の店員ＩＤと対応付けられた商品登録時間を読み出す。そして、登録時間算出部６０５は、検出した商品個数に、読み出した商品登録時間を乗算した時間を、推定登録時間として算出する。これにより、ライブカメラ２０１により撮像した画像認識した商品Ａの売上登録に要する推定登録時間の算出を、ＰＯＳ端末１１を操作する店員の熟練度を考慮して算出することができる。
【００４３】
また、登録時間算出部６０５は、ライブカメラ２０１により撮像した画像から認識した商品Ａのうち、同一の買物カゴ１５３に収納された同一種類の商品を１つとして、異なる種類の商品Ａの商品個数を検出する。そして、登録時間算出部６０５は、異なる種類の商品Ａの商品個数に読み出した商品登録時間を乗算して、推定登録時間を算出する。これにより、ＰＯＳ端末１１を操作する店員が、同一の買物カゴ１５３に収納された同一種類の商品Ａの売上登録を、キーボード２２に含まれる乗算キーを用いて行った場合でも、ライブカメラ２０１により撮像した画像から認識した商品Ａの売上登録に要する推定登録時間を正確に算出することができる。
【００４４】
さらに、登録時間算出部６０５は、物体認識部６０４により、ＰＯＳ端末１１を操作する店員が複数認識された場合、算出した推定登録時間を、認識した店員の人数で除算する。これにより、物体認識部６０４により認識した商品Ａの売上登録に要する推定登録時間の算出を、ＰＯＳ端末１１を操作する店員の人数を考慮して算出することができる。例えば、商品読取装置１０１による商品Ａに付されたコードシンボルの読み取りと、ＰＯＳ端末１１による商品Ａの精算と、が二人制で行われている場合、算出した推定登録時間を２で除算することで、より正確な推定登録時間を算出することができる。
【００４５】
報知部６０６は、登録時間算出部６０５により算出した推定登録時間を、表示デバイス２３および混雑度表示デバイス３０１に表示するなどして、当該算出した推定登録時間を報知する。なお、本実施形態では、報知部６０６は、混雑度表示デバイス３０１に推定登録時間を表示して、当該推定登録時間を報知しているが、これに限定するものではない。例えば、報知部６０６は、店舗に設置されたスピーカによって推定登録時間を音声出力することで、推定登録時間を報知してもよい。
【００４６】
商品登録部６０７は、物体認識部６０４により認識された商品と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品として特定された商品の商品ＩＤ，商品分類、商品名、単価などを売上マスタファイル（図示しない）などに記録して商品の売上登録を行う。
【００４７】
次に、チェックアウトシステム１における混雑度報知処理の流れについて説明する。図７は、チェックアウトシステムにおける混雑度報知処理の流れを示すフローチャートである。
【００４８】
まず、商品読取装置１０１側の動作について説明する。撮像画像取込部６０１は、ライブカメラ２０１に撮像オン信号を出力してライブカメラ２０１による撮像を開始する（ステップＳ７０１）、次いで、撮像画像取込部６０１は、ライブカメラ２０１から出力された画像（撮像画像）を取り込む（ステップＳ７０２）。次いで、検出部６０２は、撮像画像取込部６０１により取り込まれた画像から買物カゴ１５３の全部または一部の検出を行う（ステップＳ７０３）。次いで、画像出力部６０３は、検出部６０２により買物カゴ１５３の全部または一部が検出された画像をＰＯＳ端末１１へ出力する（ステップＳ７０４）。
【００４９】
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（ステップＳ７０５）。業務を継続する場合（ステップＳ７０５：Ｎｏ）、ＣＰＵ１６１は、ステップＳ７０２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ７０５：Ｙｅｓ）、撮像画像取込部６０１は、ライブカメラ２０１に撮像オフ信号を出力してライブカメラ２０１による撮像を終了し（ステップＳ７０６）、処理を終了する。
【００５０】
次に、ＰＯＳ端末１１側の動作について説明する。ＣＰＵ６１は、商品読取装置１０１から出力された、買物カゴ１５３の全部または一部が検出された画像を受信する（ステップＳ７０７）。次いで、物体認識部６０４は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１から出力された画像から、特定の物体として商品Ａを認識する（ステップＳ７０８）。また、物体認識部６０４は、熟練度登録テーブルＦ２の店員画像を参照して、商品読取装置１０１から出力された画像から、特定の物体として店員を認識する。
【００５１】
次いで、登録時間算出部６０５は、物体認識部６０４により認識した商品Ａ（買物カゴ１５３内に収納された商品）の商品個数を検出する（ステップＳ７０９）。さらに、登録時間算出部６０５は、検出した商品個数に対して、熟練度登録テーブルＦ２において認識した店員の店員ＩＤと対応付けられた商品登録時間を乗算して、推定登録時間を算出する（ステップＳ７１０）。
【００５２】
報知部６０６は、登録時間算出部６０５により算出した推定登録時間や、当該推定登録時間に応じたＰＯＳ端末１１の混雑度を示す指標などを、表示デバイス２３および混雑度表示デバイス３０１に表示して、ＰＯＳ端末１１の混雑度を報知する（ステップＳ７１１）。
【００５３】
図８〜１１は、混雑度の報知例を示す図である。報知部６０６は、図８に示すように、登録時間算出部６０５により算出した推定登録時間８０１を含む混雑度報知画面８００を表示デバイス２３および混雑度表示デバイス３０１に表示する。また、報知部６０６は、図９〜１１に示すように、登録時間算出部６０５により算出した推定登録時間に応じた混雑度を表す指標９０１，１００１，１１０１を含む混雑度報知画面９００，１０００，１１００を表示デバイス２３および混雑度表示デバイス３０１に表示してもよい。
【００５４】
図７の説明に戻る。ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了などによる業務終了の有無を判定する（ステップＳ７１２）。業務を継続する場合（ステップＳ７１２：Ｎｏ）、ＣＰＵ６１は、ステップＳ７０７に処理を戻して処理を継続させる。業務を終了する場合（ステップＳ７１２：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００５５】
このように本実施形態のチェックアウトシステム１によれば、撮像画像を取り込み、取り込んだ撮像画像から収納部に収納された売上登録する商品を認識し、認識した商品の個数から当該認識した商品の売上登録に要する登録時間を算出し、算出した登録時間を報知することにより、ＰＯＳ端末１１毎の会計待ち時間を店員や顧客が把握できるので、店舗全体での商品の登録業務の効率化を図るとともに、繁忙時における顧客の会計待ちの不満を軽減することができる。
【００５６】
なお、本実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５７】
さらに、本実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５８】
本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各部（物体認識部６０４、登録時間算出部６０５、報知部６０６、商品登録部６０７）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部６０４、登録時間算出部６０５、報知部６０６、商品登録部６０７が主記憶装置上に生成されるようになっている。
【００５９】
本実施形態の商品読取装置１０１で実行されるプログラムは、上述した各部（撮像画像取込部６０１、検出部６０２、画像出力部６０３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部６０１、検出部６０２、画像出力部６０３が主記憶装置上に生成されるようになっている。
【００６０】
なお、本実施形態においては、ＰＯＳ端末１１のＣＰＵ６１に物体認識部６０４、登録時間算出部６０５、報知部６０６、商品登録部６０７としての機能を持たせているが、これに限定するものではなく、商品読取装置１０１のＣＰＵ１６１に物体認識部６０４、登録時間算出部６０５、報知部６０６、商品登録部６０７としての機能を持たせてもよい。
【００６１】
また、本実施形態においては、商品読取装置１０１のＣＰＵ１６１に撮像画像取込部６０１、検出部６０２、画像出力部６０３としての機能を持たせているが、これに限定するものではなく、ＰＯＳ端末１１のＣＰＵ６１に撮像画像取込部６０１、検出部６０２、画像出力部６０３としての機能を持たせてもよい。
【００６２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６３】
１１ ＰＯＳ端末
２３ 表示デバイス
１０１ 商品読取装置
２０１ ライブカメラ
３０２ 混雑度表示デバイス
６０１ 撮像画像取込部
６０２ 検出部
６０４ 物体認識部
６０５ 登録時間算出部
６０６ 報知部
【技術分野】
【０００１】
本発明の実施形態は、混雑度報知装置、プログラム、および混雑度報知方法に関する。
【背景技術】
【０００２】
スーパーマーケット等の店舗に構築されたチェックアウトシステムでは、店舗の繁忙時に、ＰＯＳ（Point Of Sales）端末に、会計待ちの顧客の行列ができてしまう。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平４−１０２９９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そのため、店舗に設置されたＰＯＳ端末毎に、会計待ちの時間を店員や顧客が把握できるようにして、店舗全体での商品の登録業務の効率化を図るとともに、繁忙時の顧客の会計待ちの不満を軽減することが求められている。
【課題を解決するための手段】
【０００５】
実施形態の混雑度報知装置は、取込手段と、認識手段と、算出手段と、報知手段と、を備える。前記取込手段は、撮像画像を取り込む。前記認識手段は、前記取り込んだ撮像画像から収納部に収納された商品を認識する。前記算出手段は、前記認識した商品の個数から当該認識した商品の売上登録に要する登録時間を算出する。前記報知手段は、前記算出した登録時間を報知する。
【図面の簡単な説明】
【０００６】
【図１】チェックアウトシステムを示す斜視図。
【図２】カートの概要構成説明図。
【図３】ＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図。
【図４】ＰＬＵファイルのデータ構成を例示する概念図。
【図５】熟練度登録テーブルのデータ構成を例示する概念図である。
【図６】ＰＯＳ端末および商品読取装置の機能構成を示すブロック図。
【図７】チェックアウトシステムにおける混雑度報知処理の流れを示すフローチャート。
【図８】混雑度の報知例を示す図。
【図９】混雑度の報知例を示す図。
【図１０】混雑度の報知例を示す図。
【図１１】混雑度の報知例を示す図。
【発明を実施するための形態】
【０００７】
以下では、チェックアウトシステムを例に本実施形態にかかる混雑度報知装置、プログラム、および混雑度報知方法について、図面を参照して説明する。チェックアウトシステムは、商品に付されたバーコードや２次元コードなどのコードシンボルから商品情報の読み取りを行う商品読取装置と、読み取った商品情報が示す商品の登録、精算を行うＰＯＳ（Point Of Sales）端末と、を備えるシステムである。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００８】
図１は、チェックアウトシステムを示す斜視図である。図２は、カートの概要構成説明図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（ユーザ）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【０００９】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、カート２００から降ろされた商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。
【００１０】
店舗で買い物をする顧客は、図２に示すように、買物カゴ１５３をカート２００の荷台２０３，２０４に載置し、カート２００を移動させながら買い物をする。カート２００は、それぞれ買物カゴ１５３を載置することが可能な荷台２０３，２０４を有するフレーム２０５と、最下部に設けられた４個の車輪２０６と、フレーム２０５の後方部に取り付けられた取っ手２０７と、を備えている。なお、カート２００は、自ら収納部としての買物カゴ１５３を備える形態であっても良い。例えば、カート２００を構成するフレーム２０５同士の間に網が張られており、商品を外部から視認できる態様で収納するカート２００自体を収納部とする形態であってもよい。
【００１１】
顧客は、取っ手２０７を掴んで所望の方向にカート２００を押すことにより、カート２００を移動させることができる。顧客は、購入予定の全ての商品を買物カゴ１５３に収納すると、カート２００をカウンタ台１５１まで移動させ、荷台２０３，２０４に載置された買物カゴ１５３を荷受面１５２に載置する。
【００１２】
カウンタ台１５１の荷受面１５２には、カウンタ台１５１の後に行列を形成しているカート２００の荷台２０３，２０４に載置されている買物カゴ１５３、および荷受面１５２上に載置された買物カゴ１５３ａ内の商品の売上登録に要する時間など、ＰＯＳ端末１１の混雑度を報知するための混雑度表示デバイス３０１が設けられている。
【００１３】
ＰＯＳ端末１１による商品の登録および精算を待っている顧客の頭上には、チェックアウトシステム１上の空間、および店舗の繁忙時などにカウンタ台１５１の後に行列を形成しているカート２００の荷台２０３，２０４上の空間の画像を撮像するライブカメラ２０１が設置されている。ライブカメラ２０１は、図１および図２に示すように、レンズ２０２から取り込んだ画像を２次元ＣＣＤ（Charged Coupled Device）アレイ（図示せず）に結像させ、ＣＣＤアレイの出力を増幅、Ａ／Ｄ変換、フィルタリング等して動画として出力する構造のものである。ライブカメラ２０１は、荷受面１５２に載置された買物カゴ１５３ａおよび荷台２０３，２０４上に載置された買物カゴ１５３に収納された商品を含む画像を撮像する。
【００１４】
また、カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１５】
このような商品読取装置１０１は、商品読取部１１０（図３参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図３参照）を配置している。
【００１６】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図３参照）は商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ａの全部または一部を検出する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａの全部または一部が含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する。図３参照）を参照して、商品読取部１１０の撮像部１６４により撮像された商品Ａの全部または一部の画像から特定の物体である商品Ａを認識することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１７】
図３は、ＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。
【００１８】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４、混雑度表示デバイス３０１がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１９】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆを含む。
【００２０】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１や熟練度登録テーブルＦ２である。
【００２１】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定された商品マスタファイルである。図４は、ＰＬＵファイルのデータ構成を例示する概念図である。図４に示すように、ＰＬＵファイルＦ１は、商品Ａごとに、ユニークに割り当てられた商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品の売上登録にかかる情報と、その商品を撮像した商品画像と、を格納するファイルである。このようなＰＬＵファイルＦ１は、対象となる商品群（パン、青果、惣菜等）によって分けられている。
【００２２】
熟練度登録テーブルＦ２は、店舗で働く店員の各々について、商品Ａの売上登録の熟練度および商品Ａの売上登録に要する商品登録時間と、店員画像との関連付けが設定されたテーブルである。図５は、熟練度登録テーブルのデータ構成を例示する概念図である。図５に示す用ように、熟練度登録テーブルＦ２は、店舗で働く店員の各々について、店員を特定する店員ＩＤと、商品Ａの売上登録の熟練度を示す熟練度値（ａ、ｂ、およびｃのいずれか）と、当該熟練度値が示す熟練度に応じて設定された、１つの商品Ａの売上登録に要する商品登録時間と、商品Ａの売上登録の熟練度に合わせて店員が被る帽子の画像（店員画像）と、を対応付けて登録するものである。
【００２３】
商品登録時間とは、店員が一つの商品Ａに付されたバーコードや２次元コードなどのコードシンボルに組み込まれた商品情報を商品読取装置１０１に読み取らせ、ＰＯＳ端末１１によって、読み取られた商品情報が示す商品の売上登録を行うのに要する時間である。
【００２４】
また、熟練度値とは、商品登録時間の短長により判断された商品Ａの売上登録の熟練度を数値化したものである。本実施形態では、熟練度値として、熟練度が高い順に、「ａ」、「ｂ」、「ｃ」の３つの値が用意されており、熟練度値：「ａ」が、商品の売上登録の熟練度が高いことを示し、熟練度値：「ｂ」が、商品の売上登録の熟練度が普通（標準）であることを示し、熟練度値：「ｃ」が、商品の売上登録の熟練度が低いことを示すものである。
【００２５】
また、本実施形態では、商品Ａの売上登録の熟練度に合わせて店員が被る帽子の画像を店員画像としているが、商品Ａの売上登録の熟練度を識別することができる画像であれば、これに限定するものではなく、例えば、商品Ａの売上登録を行う店員の顔画像や、商品Ａの売上登録の熟練度に合わせて店員が着る制服の画像を、店員画像として適用してもよい。
【００２６】
図３に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２７】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１およびライブカメラ２０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。
【００２８】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５、ライブカメラ２０１が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２９】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。
【００３０】
音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
【００３１】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５およびライブカメラ２０１に接続して、ＰＯＳ端末１１およびライブカメラ２０１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像（商品Ａの全部または一部を含む画像）は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。また、ＣＰＵ１６１の制御の下、ライブカメラ２０１で撮像された画像は、接続インターフェース１７５を介して、商品読取部１１０に入力される。
【００３２】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図６を参照して説明する。図６は、ＰＯＳ端末および商品読取装置の機能構成を示すブロック図である。図６に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部６０１、検出部６０２、画像出力部６０３としての機能を備える。同様に、ＣＰＵ６１は、物体認識部６０４、登録時間算出部６０５、報知部６０６、商品登録部６０７としての機能を備える。
【００３３】
撮像画像取込部６０１は、接続インターフェース１７５を介してライブカメラ２０１に撮像オン信号を出力してライブカメラ２０１に撮像動作を開始させる。撮像画像取込部６０１は、撮像動作開始後に、接続インターフェース１７５を介して、ライブカメラ２０１が撮像して出力された画像を順次取り込む。撮像画像取込部６０１による画像の取り込みは、ライブカメラ２０１から出力された順に行われる。
【００３４】
また、撮像画像取込部６０１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像画像取込部６０１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を取り込む。撮像画像取込部６０１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００３５】
検出部６０２は、撮像画像取込部６０１によりライブカメラ２０１から取り込まれた画像に含まれる買物カゴ１５３の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、検出部６０２は、ライブカメラ２０１から取り込まれた画像を２値化した画像から輪郭線などを抽出する。次いで、検出部６０２は、ライブカメラ２０１から直近に取り込んだ画像から抽出された輪郭線と、ライブカメラ２０１から今回取り込んだ画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために荷受台１５２に載置された買物カゴ１５３ａまたはカウンタ台１５１の後に行列を形成しているカート２００の荷台２０３，２０４に載置された買物カゴ１５３の写り込みを検出する。
【００３６】
また、検出部６０２は、撮像画像取込部６０１により撮像部１６４から取り込まれたフレーム画像に含まれる商品Ａの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、検出部６０２は、買物カゴ１５３の検出と同様に、撮像部１６４から取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、検出部６０２は、撮像部１６４から直近に取り込んだフレーム画像から抽出された輪郭線と、撮像部１６４から今回取り込んだフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品Ａの写り込みを検出する。商品Ａを検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の抽出を行うことで、店員の手を把持していると想定される商品の輪郭抽出を試みる。このとき、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００３７】
画像出力部６０３は、撮像画像取込部６０１により取り込んだ画像（またはフレーム画像）を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部６０３は、撮像画像取込部６０１が取り込んだ画像（またはフレーム画像）を逐次ＰＯＳ端末１１へ出力しても良いが、本実施形態では、検出部６０２により買物カゴ１５３の全部または一部が検出された画像（または、商品の全部または一部が検出されたフレーム画像）をＰＯＳ端末１１へ出力するものとする。このように、検出部６０２により買物カゴ１５３の全部または一部が検出された画像（商品の全部または一部が検出されたフレーム画像）をＰＯＳ端末１１へ出力することで、買物カゴ１５３の全部または一部が検出されていない画像（商品の全部または一部が検出されていないフレーム画像）に対して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、買物カゴ１５３の全部または一部が含まれていない画像での処理を防止することで、処理時間の短縮を図ることができる。
【００３８】
物体認識部６０４は、ＰＬＵファイルＦ１の商品画像を参照して、ライブカメラ２０１により撮像された画像から、買物カゴ１５３内に収納された商品Ａを認識する。具体的には、物体認識部６０４は、ＰＬＵファイルＦ１の商品画像を参照して、ライブカメラ２０１により撮像された画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体としての商品Ａを認識する。なお、物体認識部６０４は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６０４の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から、荷受台１５２に載置された買物カゴ１５３内に収納された商品およびカート２００の荷台２０３，２０４に載置された買物カゴ１５３内に収納された商品を認識することができる。
【００３９】
また、物体認識部６０４は、熟練度登録テーブルＦ２の店員画像を参照して、ライブカメラ２０１により撮像された画像から、チェックアウトシステム１において商品Ａの売上登録を行う店員を認識する。具体的には、物体認識部６０４は、熟練度登録テーブルＦ２の店員画像を参照して、ライブ２０１により撮像された画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体としての店員を認識する。なお、物体認識部６０４は、処理時間の短縮を図るため、店員の輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６０４の認識結果により、熟練度登録テーブルＦ２に予め登録されている店員の中から、チェックアウトシステム１において商品Ａの売上登録を行う店員を認識することができる。
【００４０】
さらに、物体認識部６０４は、ＰＬＵファイルＦ１の商品画像を参照して、撮像部１６４により撮像されたフレーム画像から、読取窓１０３に向けられた商品Ａを認識する。具体的には、物体認識部６０４は、ＰＬＵファイルＦ１の商品画像を参照して、撮像部１６４により撮像されたフレーム画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体としての商品Ａを認識する。
【００４１】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
【００４２】
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
登録時間算出部６０５は、ライブカメラ２０１により撮像した画像から認識した商品Ａの商品個数を検出する。そして、登録時間算出部６０５は、検出した商品個数から、ライブカメラ２０１により撮像した画像から認識した商品Ａの売上登録に要する推定登録時間を、ＰＯＳ端末１１の混雑度として算出する。本実施形態では、登録時間算出部６０５は、熟練度登録テーブルＦ２から、ライブカメラ２０１により撮像した画像から認識した店員の店員ＩＤと対応付けられた商品登録時間を読み出す。そして、登録時間算出部６０５は、検出した商品個数に、読み出した商品登録時間を乗算した時間を、推定登録時間として算出する。これにより、ライブカメラ２０１により撮像した画像認識した商品Ａの売上登録に要する推定登録時間の算出を、ＰＯＳ端末１１を操作する店員の熟練度を考慮して算出することができる。
【００４３】
また、登録時間算出部６０５は、ライブカメラ２０１により撮像した画像から認識した商品Ａのうち、同一の買物カゴ１５３に収納された同一種類の商品を１つとして、異なる種類の商品Ａの商品個数を検出する。そして、登録時間算出部６０５は、異なる種類の商品Ａの商品個数に読み出した商品登録時間を乗算して、推定登録時間を算出する。これにより、ＰＯＳ端末１１を操作する店員が、同一の買物カゴ１５３に収納された同一種類の商品Ａの売上登録を、キーボード２２に含まれる乗算キーを用いて行った場合でも、ライブカメラ２０１により撮像した画像から認識した商品Ａの売上登録に要する推定登録時間を正確に算出することができる。
【００４４】
さらに、登録時間算出部６０５は、物体認識部６０４により、ＰＯＳ端末１１を操作する店員が複数認識された場合、算出した推定登録時間を、認識した店員の人数で除算する。これにより、物体認識部６０４により認識した商品Ａの売上登録に要する推定登録時間の算出を、ＰＯＳ端末１１を操作する店員の人数を考慮して算出することができる。例えば、商品読取装置１０１による商品Ａに付されたコードシンボルの読み取りと、ＰＯＳ端末１１による商品Ａの精算と、が二人制で行われている場合、算出した推定登録時間を２で除算することで、より正確な推定登録時間を算出することができる。
【００４５】
報知部６０６は、登録時間算出部６０５により算出した推定登録時間を、表示デバイス２３および混雑度表示デバイス３０１に表示するなどして、当該算出した推定登録時間を報知する。なお、本実施形態では、報知部６０６は、混雑度表示デバイス３０１に推定登録時間を表示して、当該推定登録時間を報知しているが、これに限定するものではない。例えば、報知部６０６は、店舗に設置されたスピーカによって推定登録時間を音声出力することで、推定登録時間を報知してもよい。
【００４６】
商品登録部６０７は、物体認識部６０４により認識された商品と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品として特定された商品の商品ＩＤ，商品分類、商品名、単価などを売上マスタファイル（図示しない）などに記録して商品の売上登録を行う。
【００４７】
次に、チェックアウトシステム１における混雑度報知処理の流れについて説明する。図７は、チェックアウトシステムにおける混雑度報知処理の流れを示すフローチャートである。
【００４８】
まず、商品読取装置１０１側の動作について説明する。撮像画像取込部６０１は、ライブカメラ２０１に撮像オン信号を出力してライブカメラ２０１による撮像を開始する（ステップＳ７０１）、次いで、撮像画像取込部６０１は、ライブカメラ２０１から出力された画像（撮像画像）を取り込む（ステップＳ７０２）。次いで、検出部６０２は、撮像画像取込部６０１により取り込まれた画像から買物カゴ１５３の全部または一部の検出を行う（ステップＳ７０３）。次いで、画像出力部６０３は、検出部６０２により買物カゴ１５３の全部または一部が検出された画像をＰＯＳ端末１１へ出力する（ステップＳ７０４）。
【００４９】
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（ステップＳ７０５）。業務を継続する場合（ステップＳ７０５：Ｎｏ）、ＣＰＵ１６１は、ステップＳ７０２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ７０５：Ｙｅｓ）、撮像画像取込部６０１は、ライブカメラ２０１に撮像オフ信号を出力してライブカメラ２０１による撮像を終了し（ステップＳ７０６）、処理を終了する。
【００５０】
次に、ＰＯＳ端末１１側の動作について説明する。ＣＰＵ６１は、商品読取装置１０１から出力された、買物カゴ１５３の全部または一部が検出された画像を受信する（ステップＳ７０７）。次いで、物体認識部６０４は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１から出力された画像から、特定の物体として商品Ａを認識する（ステップＳ７０８）。また、物体認識部６０４は、熟練度登録テーブルＦ２の店員画像を参照して、商品読取装置１０１から出力された画像から、特定の物体として店員を認識する。
【００５１】
次いで、登録時間算出部６０５は、物体認識部６０４により認識した商品Ａ（買物カゴ１５３内に収納された商品）の商品個数を検出する（ステップＳ７０９）。さらに、登録時間算出部６０５は、検出した商品個数に対して、熟練度登録テーブルＦ２において認識した店員の店員ＩＤと対応付けられた商品登録時間を乗算して、推定登録時間を算出する（ステップＳ７１０）。
【００５２】
報知部６０６は、登録時間算出部６０５により算出した推定登録時間や、当該推定登録時間に応じたＰＯＳ端末１１の混雑度を示す指標などを、表示デバイス２３および混雑度表示デバイス３０１に表示して、ＰＯＳ端末１１の混雑度を報知する（ステップＳ７１１）。
【００５３】
図８〜１１は、混雑度の報知例を示す図である。報知部６０６は、図８に示すように、登録時間算出部６０５により算出した推定登録時間８０１を含む混雑度報知画面８００を表示デバイス２３および混雑度表示デバイス３０１に表示する。また、報知部６０６は、図９〜１１に示すように、登録時間算出部６０５により算出した推定登録時間に応じた混雑度を表す指標９０１，１００１，１１０１を含む混雑度報知画面９００，１０００，１１００を表示デバイス２３および混雑度表示デバイス３０１に表示してもよい。
【００５４】
図７の説明に戻る。ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了などによる業務終了の有無を判定する（ステップＳ７１２）。業務を継続する場合（ステップＳ７１２：Ｎｏ）、ＣＰＵ６１は、ステップＳ７０７に処理を戻して処理を継続させる。業務を終了する場合（ステップＳ７１２：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００５５】
このように本実施形態のチェックアウトシステム１によれば、撮像画像を取り込み、取り込んだ撮像画像から収納部に収納された売上登録する商品を認識し、認識した商品の個数から当該認識した商品の売上登録に要する登録時間を算出し、算出した登録時間を報知することにより、ＰＯＳ端末１１毎の会計待ち時間を店員や顧客が把握できるので、店舗全体での商品の登録業務の効率化を図るとともに、繁忙時における顧客の会計待ちの不満を軽減することができる。
【００５６】
なお、本実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５７】
さらに、本実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５８】
本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各部（物体認識部６０４、登録時間算出部６０５、報知部６０６、商品登録部６０７）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部６０４、登録時間算出部６０５、報知部６０６、商品登録部６０７が主記憶装置上に生成されるようになっている。
【００５９】
本実施形態の商品読取装置１０１で実行されるプログラムは、上述した各部（撮像画像取込部６０１、検出部６０２、画像出力部６０３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部６０１、検出部６０２、画像出力部６０３が主記憶装置上に生成されるようになっている。
【００６０】
なお、本実施形態においては、ＰＯＳ端末１１のＣＰＵ６１に物体認識部６０４、登録時間算出部６０５、報知部６０６、商品登録部６０７としての機能を持たせているが、これに限定するものではなく、商品読取装置１０１のＣＰＵ１６１に物体認識部６０４、登録時間算出部６０５、報知部６０６、商品登録部６０７としての機能を持たせてもよい。
【００６１】
また、本実施形態においては、商品読取装置１０１のＣＰＵ１６１に撮像画像取込部６０１、検出部６０２、画像出力部６０３としての機能を持たせているが、これに限定するものではなく、ＰＯＳ端末１１のＣＰＵ６１に撮像画像取込部６０１、検出部６０２、画像出力部６０３としての機能を持たせてもよい。
【００６２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６３】
１１ ＰＯＳ端末
２３ 表示デバイス
１０１ 商品読取装置
２０１ ライブカメラ
３０２ 混雑度表示デバイス
６０１ 撮像画像取込部
６０２ 検出部
６０４ 物体認識部
６０５ 登録時間算出部
６０６ 報知部
【特許請求の範囲】
【請求項１】
撮像画像を取り込む取込手段と、
前記取り込んだ撮像画像から収納部に収納された商品を認識する認識手段と、
前記認識した商品の個数から当該認識した商品の売上登録に要する登録時間を算出する算出手段と、
前記算出した登録時間を報知する報知手段と、
を備えた混雑度報知装置。
【請求項２】
前記算出手段は、前記認識した商品の個数に、１つの商品の売上登録に要する時間を乗算した時間を、前記登録時間として算出する請求項１に記載の混雑度報知装置。
【請求項３】
前記認識手段は、前記取り込んだ撮像画像から売上登録を行う店員を認識し、
前記算出手段は、前記認識した商品の個数に、前記認識した店員の熟練度に応じて設定された、１つの商品の売上登録に要する時間を乗算した時間を、前記登録時間として算出する請求項２に記載の混雑度報知装置。
【請求項４】
前記算出手段は、前記認識した商品のうち異なる種類の商品の個数に、前記時間を乗算して前記登録時間を算出する請求項１から３のいずれか一に記載の混雑度報知装置。
【請求項５】
コンピュータを、
商品を収納する収納部内を撮像した撮像画像から認識した商品の個数から、当該認識した商品の売上登録に要する登録時間を算出する算出手段と、
前記算出した登録時間を報知する報知手段と、
として機能させるためのプログラム。
【請求項６】
混雑度報知装置で実行される混雑度報知方法であって、
前記混雑度報知装置は、制御部を備え、
前記制御部は、
取込手段が、撮像画像を取り込む工程と、
認識手段が、前記取り込んだ撮像画像から収納部に収納された商品を認識する工程と、
算出手段が、前記認識した商品の個数から当該認識した商品の売上登録に要する登録時間を算出する工程と、
報知手段が、前記算出した登録時間を報知する工程と、
を含む混雑度報知方法。
【請求項１】
撮像画像を取り込む取込手段と、
前記取り込んだ撮像画像から収納部に収納された商品を認識する認識手段と、
前記認識した商品の個数から当該認識した商品の売上登録に要する登録時間を算出する算出手段と、
前記算出した登録時間を報知する報知手段と、
を備えた混雑度報知装置。
【請求項２】
前記算出手段は、前記認識した商品の個数に、１つの商品の売上登録に要する時間を乗算した時間を、前記登録時間として算出する請求項１に記載の混雑度報知装置。
【請求項３】
前記認識手段は、前記取り込んだ撮像画像から売上登録を行う店員を認識し、
前記算出手段は、前記認識した商品の個数に、前記認識した店員の熟練度に応じて設定された、１つの商品の売上登録に要する時間を乗算した時間を、前記登録時間として算出する請求項２に記載の混雑度報知装置。
【請求項４】
前記算出手段は、前記認識した商品のうち異なる種類の商品の個数に、前記時間を乗算して前記登録時間を算出する請求項１から３のいずれか一に記載の混雑度報知装置。
【請求項５】
コンピュータを、
商品を収納する収納部内を撮像した撮像画像から認識した商品の個数から、当該認識した商品の売上登録に要する登録時間を算出する算出手段と、
前記算出した登録時間を報知する報知手段と、
として機能させるためのプログラム。
【請求項６】
混雑度報知装置で実行される混雑度報知方法であって、
前記混雑度報知装置は、制御部を備え、
前記制御部は、
取込手段が、撮像画像を取り込む工程と、
認識手段が、前記取り込んだ撮像画像から収納部に収納された商品を認識する工程と、
算出手段が、前記認識した商品の個数から当該認識した商品の売上登録に要する登録時間を算出する工程と、
報知手段が、前記算出した登録時間を報知する工程と、
を含む混雑度報知方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−３７４５２（Ｐ２０１３−３７４５２Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７１４６４（Ｐ２０１１−１７１４６４）
【出願日】平成２３年８月５日（２０１１．８．５）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月５日（２０１１．８．５）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]