読取装置およびプログラム
【課題】商品を短時間で容易に売上登録することができる。
【解決手段】実施形態の読取装置は、撮像手段と、特定手段と、読取手段と、認識手段と、を備える。前記撮像手段は、商品を撮像して画像を取得する。前記特定手段は、前記撮像手段により取得された画像のうち、コードシンボルから商品情報を読み取るための第１領域および商品画像から商品情報を読み取るための第２領域のいずれの領域から商品情報を読取可能かを特定する。前記第１読取手段は、前記第１領域から商品情報を読取可能であることを特定した場合、前記撮像手段により取得された画像内のコードシンボルから商品情報を読み取る。前記第２読取手段は、前記第２領域から商品情報が読取可能であることを特定した場合、前記撮像手段により取得された画像から商品情報を読み取る。
【解決手段】実施形態の読取装置は、撮像手段と、特定手段と、読取手段と、認識手段と、を備える。前記撮像手段は、商品を撮像して画像を取得する。前記特定手段は、前記撮像手段により取得された画像のうち、コードシンボルから商品情報を読み取るための第１領域および商品画像から商品情報を読み取るための第２領域のいずれの領域から商品情報を読取可能かを特定する。前記第１読取手段は、前記第１領域から商品情報を読取可能であることを特定した場合、前記撮像手段により取得された画像内のコードシンボルから商品情報を読み取る。前記第２読取手段は、前記第２領域から商品情報が読取可能であることを特定した場合、前記撮像手段により取得された画像から商品情報を読み取る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、読取装置およびプログラムに関する。
【背景技術】
【０００２】
ＰＯＳ（Point Of Sales）システムの入力端末である商品処理装置は、データを入力するためのキーボード、商品に付されているバーコードからデータを読み取るスキャナ、キーボードから入力されたデータやスキャナにより読み取られたデータを表示する表示器などを備えている。そして、一般的な利用において、バーコードが付されていない商品の場合、商品処理装置のオペレータは、キーボードを利用してデータを入力することが必須となる。具体的には、オペレータは、キーボードを用いて、データを数値で入力するか、あるいは予め用意された選択肢から所望のデータを選択する、などの手間を必要としていた。そこで、取得した画像から登録対象の商品を認識する画像認識機能を用いることにより、オペレータがキーボードを用いてデータを入力する手間を低減させる商品処理装置が開発されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、画像認識機能を有する商品処理装置においては、当該商品処理装置のオペレータが、キーボード等の操作部を用いて、バーコードからデータを読み取る処理または画像認識機能によりデータを入力する処理にその都度切り替える必要がある。そのため、オペレータは、バーコードからデータを読み取る処理または画像認識機能によりデータを入力する処理に切り替える際に、一旦、商品を置き、操作部を用いて、バーコードからデータを読み取る処理または画像認識機能によりデータを入力する処理に切り替える操作を行わなければならないという煩わしさがある。
【課題を解決するための手段】
【０００４】
実施形態の読取装置は、撮像手段と、特定手段と、読取手段と、認識手段と、を備える。前記撮像手段は、商品を撮像して画像を取得する。前記特定手段は、前記撮像手段により取得された画像のうち、コードシンボルから商品情報を読み取るための第１領域および商品画像から商品情報を読み取るための第２領域のいずれの領域から商品情報を読取可能かを特定する。前記第１読取手段は、前記第１領域から商品情報を読取可能であることを特定した場合、前記撮像手段により取得された画像内のコードシンボルから商品情報を読み取る。前記第２読取手段は、前記第２領域から商品情報が読取可能であることを特定した場合、前記撮像手段により取得された画像から商品情報を読み取る。
【図面の簡単な説明】
【０００５】
【図１】図１は、本実施形態にかかるＰＯＳシステムの全体構成を示す斜視図である。
【図２】図２は、商品読取装置の概略的な縦断側面図である。
【図３】図３は、ＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図である。
【図４】図４は、商品マスタファイルのデータ構成を例示する概念図である。
【図５】図５は、ＰＯＳ端末および商品読取装置の機能構成を示すブロック図である。
【図６】図６は、本実施形態にかかるＰＯＳシステムの動作の一例を示すフローチャートである。
【図７】図７は、表示デバイスに表示するメッセージの一例を示す図である。
【図８】図８は、表示デバイスに表示するメッセージの一例を示す図である。
【図９】図９は、第２の実施形態にかかる商品読取装置の概略的な縦断側面図である。
【図１０】図１０は、第３の実施形態にかかる商品読取装置の概略的な縦断側面図である。
【図１１】図１１は、商品画像が含まれる領域を特定する処理を説明するための図である。
【発明を実施するための形態】
【０００６】
（第１の実施形態）
以下、本実施形態について図面を参照して説明する。図１は、本実施形態にかかるＰＯＳシステムの全体構成を示す斜視図である。図１に示すように、ＰＯＳ（Point Of Sales）システム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。そして、ＰＯＳ端末１１は、ドロワ２１の開放動作を制御する。ＰＯＳ端末１１は、オペレータ（ユーザ）によって押下操作されるキーボード２２を上面に配置している。また、ＰＯＳ端末１１は、キーボード２２を操作するオペレータから見てキーボード２２よりも奥側に、オペレータに向けて情報を表示する表示デバイス２３を設けている。表示デバイス２３は、表示面２３ａに情報を表示する。また、ＰＯＳ端末１１は、タッチパネル２６を表示面２３ａ上に積層配置している。また、ＰＯＳ端末１１は、表示デバイス２３よりもさらに奥側に、顧客用表示デバイス２４を回転自在に立設している。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客に向けて情報を表示する。
【０００７】
ＰＯＳシステム１は、ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１を配置している。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、パン店やドーナツ店等の店舗において用いられるトレーなどであっても良い。
【０００８】
カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には、第１読取窓１０３および当該第１読取窓１０３の上部に設けられた第２読取窓１０８が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【０００９】
このような商品読取装置１０１は、商品読取部１１０（図３参照）を備えている。商品読取部１１０は、第１読取窓１０３の奥側に第１撮像部１６４（図２参照）を配置し、第２読取窓１０８の奥側に第２撮像部１６８を配置している。
【００１０】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａが商品読取装置１０１の第１読取窓１０３または第２読取窓１０８に向けられる。この際、第１読取窓１０３の奥側に配置された第１撮像部１６４（図２参照）は、商品Ａに付されているバーコード等のコードシンボルから商品Ａを示す商品ＩＤ（商品情報）を光学的に読み取るための第１有効範囲Ａ１（図２参照）に撮像領域Ｂ１（図２参照）を有し、当該撮像領域Ｂ２（図２参照）に存在する商品Ａを撮像した画像（第１領域）を取得する。また、第２読取窓１０８の奥側に配置された第２撮像部１６８（図２参照）は、商品Ａの商品画像から当該商品Ａの商品ＩＤを読み取るための範囲であり、第１有効範囲Ａ１（図２参照）に隣接する第２有効範囲Ａ２（図２参照）に撮像領域Ｂ２を有し、当該撮像領域Ｂ２（図２参照）に存在する商品Ａを撮像して画像（第２領域）を取得する。商品読取装置１０１では、第１撮像部１６４（図２参照）または第２撮像部１６８（図２参照）により取得された画像に含まれる商品Ａの全部または一部の商品画像を検出する。商品読取装置１０１では、第１撮像部１６４（図２参照）により取得された画像（第１領域）および第２撮像部１６８（図２参照）により取得された画像（第２領域）の少なくとも一方に商品Ａの全部または一部の商品画像が含まれることを検出した場合、その撮像画像をＰＯＳ端末１１へ出力する。
【００１１】
ＰＯＳ端末１１は、商品読取装置１０１から出力された画像を受け取ると、受け取った画像のうち、第１撮像部１６４（図２参照）により取得された画像および第２撮像部１６８（図２参照）により取得された画像のうちいずれから商品ＩＤを読取可能かを特定する。そして、第１撮像部１６４（図２参照）により取得された画像から商品ＩＤが読取可能であることを特定した場合、ＰＯＳ端末１１は、第１撮像部１６４（図２参照）により取得された画像に含まれるバーコードや２次元コードなどのコードシンボルから、商品Ａを示す商品ＩＤ（商品情報）を読み取る。次いで、ＰＯＳ端末１１は、商品ＩＤに対応付けて商品Ａの売上登録に関わる情報（例えば、商品分類、商品名、単価、商品画像など）を記憶する商品マスタファイルＦ１（図４参照）から、読み取った商品ＩＤと対応付けられた情報を読み出す。そして、ＰＯＳ端末１１は、読み出した情報を、売上マスタファイル（図示しない）などに記録することにより商品Ａの売上登録を行う。
【００１２】
一方、ＰＯＳ端末１１は、第２撮像部１６８（図２参照）により取得された画像から商品ＩＤを読取可能であることを特定した場合、商品マスタファイルＦ１（図４参照）に記憶された商品画像を参照して、第２撮像部１６８（図２参照）により取得された画像に含まれる商品Ａの全部または一部の商品画像から特定の物体である商品Ａを認識する。次いで、ＰＯＳ端末１１は、商品マスタファイルＦ１（図４参照）から、認識した商品Ａの商品ＩＤなどの商品Ａに関わる情報を読み出す。これにより、ＰＯＳ端末１１は、第２撮像部１６８（図２参照）により取得された画像から商品ＩＤを読み取るものとする。そして、ＰＯＳ端末１１は、読み出した情報を、売上マスタファイル（図示しない）などに記録することにより商品Ａの売上登録を行う。
【００１３】
図２は、商品読取装置の概略的な縦断側面図である。商品読取装置１０１には、ハウジング１０２に商品読取部１１０が内蔵されている。商品読取部１１０は、第１有効範囲Ａ１に撮像領域Ｂ１を有し、当該撮像領域Ｂ１に存在する商品Ａに付されたコードシンボルから商品ＩＤを読み取るための画像（第１領域）を取得する第１撮像部１６４、および第１有効範囲Ａ１の上部に隣接する第２有効範囲Ａ２に撮像領域Ｂ２を有し、当該撮像領域Ｂ２に存在する商品Ａの商品画像から商品ＩＤを読み取るための画像（第２領域）を取得する第２撮像部１６８を備える。
【００１４】
第１撮像部１６４は、商品Ａが配置される第１有効範囲Ａ１側に配置された表側カバー部材１１７と、表側カバー部材１１７の反対側に配置され当該表側カバー部材１１７と組み合わせて配置される裏側カバー部材１１８とで形成された箱形の筐体１１２を有している。
【００１５】
筐体１１２内には、ＣＣＤ撮像素子を備える撮像ボード１１３と、第１有効範囲Ａ１および第２有効範囲Ａ２に照明光を照射する照明装置である照明ボード１１６と、ＣＣＤ（Charged Coupled Device）撮像素子（またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子）が取得した撮像画像に対して画像処理を行う画像処理ボード１１５と、を備えている。
【００１６】
表側カバー部材１１７は、第１有効範囲Ａ１側の筐体１１２のうち最も第１有効範囲Ａ１側に位置する表面板１１７ａが配置されるほか、表面板１１７ａの中央部には、内部に向けて凹設部１１７ｂが形成されている。凹設部１１７ｂは、奥に行くほどその断面積が減少する四角錘形の壁面を備えて形成され、凹設部１１７ｂの最奥部には開口部１１７ｃが開設されている。
【００１７】
撮像ボード１１３は、エリアイメージセンサであるＣＣＤ撮像素子およびＣＣＤ撮像素子の駆動回路を備えた撮像基板１１４と、ＣＣＤ撮像素子に第１有効範囲Ａ１の撮像画像を結像する結像レンズ１１９と、を備えている。
【００１８】
画像処理ボード１１５は、画像処理装置であって、撮像ボード１１３から出力された動画像データ中から商品画像を検出可能な１枚のフレームデータを認識する。そして、画像処理ボード１１５は、認識したフレームデータを出力する。
【００１９】
照明ボード１１６は、開口部１１７ｃの奥側に配置される。照明ボード１１６の基板１１６ａには、撮像ボード１１３の撮像用の開口部１１６ｃが開設されている。凹設部１１７ｂの最奥部の開口部１１７ｃ内に位置する照明ボード１１６の基板１１６ａ上には、複数のＬＥＤ発光素子１１６ｂが開口部１１６ｃを囲うように配置されている。これにより、複数のＬＥＤ発光素子１１６ｂは、撮像領域Ｂ１より広い照明領域（本実施形態では、撮像領域Ｂ１および撮像領域Ｂ２を含む領域）に光を照射する。なお、本実施形態では、第１撮像部１６４が有するＬＥＤ発光素子１１６ｂにより撮像領域Ｂ２に光を照射しているが、これに限定するものではなく、第２撮像部１６８に撮像領域Ｂ２に光を照射する照射部を設けて、撮像領域Ｂ２に光を照射しても良い。
【００２０】
このように構成された第１撮像部１６４は、開口部１１７ｃの位置を商品読取装置１０１のハウジング１０２に形成された第１読取窓１０３に位置合わせして、ハウジング１０２に内蔵されている。これにより、撮像ボード１１３は、その読取光軸Ｃ１が第１読取窓１０３の外部に位置する第１有効範囲Ａ１に向けられている。そして、結像レンズ１１９は、第１有効範囲Ａ１からの反射光がＣＣＤ撮像素子に焦点を結ぶような焦点距離を有している。これにより、撮像ボード１１３に設けられている撮像基板１１４と結像レンズ１１９とは、第１有効範囲Ａ１に位置する商品Ａの商品画像を取得する。
【００２１】
第２撮像部１６８は、商品Ａが配置される第２有効範囲Ａ２側に配置された表側カバー部材１２１と、表側カバー部材１２１の反対側に配置され当該表側カバー部材１２１と組み合わせて配置される裏側カバー部材１２２とで形成された箱形の筐体１２０を有している。
【００２２】
筐体１２０内には、カラーＣＣＤ撮像素子（またはカラーＣＭＯＳ撮像素子）を備える撮像ボード１２３と、カラーＣＣＤ撮像素子が取得した撮像画像に対して画像処理を行う画像処理ボード１２４と、を備えている。
【００２３】
表側カバー部材１２１は、第２有効範囲Ａ２側の筐体１２０のうち最も第２有効範囲Ａ２側に位置する表面板１２１ａが配置されるほか、表面板１２１ａの中央部には、内部に向けて凹設部１２１ｂが形成されている。凹設部１２１ｂは、奥に行くほどその断面積が減少する四角錘形の壁面を備えて形成され、凹設部１２１ｂの最奥部には開口部１２１ｃが開設されている。
【００２４】
撮像ボード１２３は、カラーＣＣＤ撮像素子およびカラーＣＣＤ撮像素子の駆動回路を備えた撮像基板１２５と、カラーＣＣＤ撮像素子に第２有効範囲Ａ２の撮像画像を結像する結像レンズ１２６と、を備えている。
【００２５】
画像処理ボード１２４は、画像処理装置であって、撮像ボード１２３から出力された動画像データ中から商品画像を検出可能な１枚のフレームデータを認識する。そして、画像処理ボード１２４は、認識したフレームデータを出力する。
【００２６】
さらに、第２撮像部１６８は、開口部１２１ｃに透明な保護カバー１２７を有している。
【００２７】
このように構成された第２撮像部１６８は、開口部１２１ｃの位置を商品読取装置１０１のハウジング１０２に形成された第２読取窓１０８に位置合わせして、ハウジング１０２に内蔵されている。これにより、撮像ボード１２３は、その読取光軸Ｃ２が第２読取窓１０８の外部に位置する第２有効範囲Ａ２に向けられている。そして、結像レンズ１２６は、第２有効範囲Ａ２からの反射光がカラーＣＣＤ撮像素子に焦点を結ぶような焦点距離を有している。これにより、撮像ボード１２３に設けられている撮像基板１２５と結像レンズ１２６とは、第２有効範囲Ａ２に位置する商品Ａの商品画像を取得する。
【００２８】
図３は、ＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されている。
【００２９】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００３０】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆを含む。
【００３１】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部または一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されている商品マスタファイルＦ１である。
【００３２】
商品マスタファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの商品画像とを対応付けて記憶するファイルである。図４は、商品マスタファイルのデータ構成を例示する概念図である。図４に示すように、商品マスタファイルＦ１は、商品Ａごとに、ユニークに割り当てられ商品Ａを識別するための商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品Ａの売上登録にかかる情報と、商品Ａの商品画像と、を対応付けて記憶するファイルである。
【００３３】
図３に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信される商品マスタファイルＦ１が格納されている。
【００３４】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字するプリンタ６６が接続されている。プリンタ６６は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００３５】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像装置１６７、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像装置１６７、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００３６】
撮像装置１６７は、第１有効範囲Ａ１および第２有効範囲Ａ２を撮像するものである。本実施形態では、撮像装置１６７は、第１有効範囲Ａ１に撮像領域Ｂ１を有する第１撮像部１６４、および第２有効範囲Ａ２に撮像領域Ｂ２を有する第２撮像部１６８を備える。第１撮像部１６４および第２撮像部１６８は、所定のフレームレート（例えば、５０００分の１秒）で撮像領域Ｂ１および撮像領域Ｂ２を撮像してフレーム画像（フレームデータ）を取得する。そして、ＣＰＵ１６１は、所定のフレームレートで順次撮像され、取得されたフレーム画像を、当該各フレーム画像を取得した撮像部（第１撮像部１６４および第２撮像部１６８）を識別する撮像部ＩＤを付加してＲＡＭ１６３に保存する。なお、第１撮像部１６４および第２撮像部１６８は、ＣＰＵ１６１によってフレーム画像を取得するフレームレートが可変可能である。また、第１撮像部１６４が備える照明ボード１１６も、ＣＰＵ１６１によってＬＥＤ発光素子１１６ｂを点灯する強度を可変可能である。
【００３７】
音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
【００３８】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１は、商品読取装置１０１の第１撮像部１６４および第２撮像部１６８によって取得されたフレーム画像を、接続インターフェース１７５を介して出力し、接続インターフェース６５を介してＰＯＳ端末１１に入力する。
【００３９】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図５を参照して説明する。図５は、ＰＯＳ端末および商品読取装置の機能構成を示すブロック図である。図５に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、取込部５０１、検出部５０２、出力部５０３としての機能を備える。同様に、ＣＰＵ６１は、読取部５０４、認識部５０５、登録部５０６、特定部５０７としての機能を備える。
【００４０】
取込部５０１は、撮像装置１６７に撮像オン信号を出力して撮像装置１６７に撮像動作を開始させる。取込部５０１は、撮像動作開始後に撮像装置１６７が取得してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。取込部５０１は、フレーム画像の取り込みを、ＲＡＭ１６３に保存された順に行う。
【００４１】
検出部５０２は、取込部５０１により取り込まれたフレーム画像に含まれる商品Ａの商品画像の全部または一部を、パターンマッチング技術や文字認識技術などを用いて検出する。
【００４２】
本実施形態では、検出部５０２は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、オペレータの手の写り込みが検出された場合、検出部５０２は、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。これにより、検出部５０２は、オペレータの手が把持していると想定される商品Ａの輪郭抽出を試みる。このとき、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、オペレータが商品Ａを把持していると判断する。
【００４３】
出力部５０３は、取込部５０１が取り込んだフレーム画像を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。出力部５０３は、取込部５０１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、検出部５０２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、検出部５０２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品Ａの全部または一部が含まれていないフレーム画像によって、当該フレーム画像に含まれるコードシンボルからの商品情報の読み取りや、商品マスタファイルＦ１を参照して実行する商品Ａの認識がＰＯＳ端末１１で行われることを防止できる。商品情報の読み取りや特定の物体（商品Ａ）の認識処理は処理時間を要することから、商品情報の読み取りや特定の物体の認識の見込みのない、商品Ａの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
【００４４】
特定部５０７は、撮像装置１６７により取得されたフレーム画像のうち、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像（第１領域）および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像（第２領域）のいずれのフレーム画像（領域）から商品情報を読取可能かを特定するものである。本実施形態では、特定部５０７は、出力部５０３により出力されたフレーム画像のうち、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像にのみ商品画像が含まれていた場合には、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像に含まれるコードシンボルから商品ＩＤを読取可能であることを特定する。一方、特定部５０７は、出力部５０３により出力されたフレーム画像のうち、第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像にのみ商品画像が含まれていた場合には、第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像に含まれる商品画像から商品ＩＤを読取可能であることを特定する。なお、特定部５０７は、フレーム画像に商品画像が含まれているか否かを判断する際、上述した検出部５０２と同様にして、パターンマッチング技術や文字認識技術などを用いて、フレーム画像に商品画像が含まれているか否かを判断するものとする。
【００４５】
また、特定部５０７は、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像の両方から商品ＩＤが読取可能である場合、商品Ａを第１有効範囲Ａ１または第２有効範囲Ａ２のいずれかに移動させることを促すメッセージなど、所定のメッセージを表示デバイス１０６に表示する。そして、特定部５０７は、所定のメッセージを表示した後、再度、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像のいずれのフレーム画像から商品情報を読取可能かを特定する。
【００４６】
なお、本実施形態では、特定部５０７は、所定のメッセージを表示デバイス１０６に表示しているが、所定のメッセージを報知するものであれば、これに限定するものではない。例えば、特定部５０７は、商品読取部１１０が有する音声出力部１６５を制御して、所定のメッセージを音声で出力しても良い。
【００４７】
また、本実施形態では、特定部５０７は、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像の両方から商品情報を読取可能である場合、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像のうち商品Ａの商品画像が先に含まれたフレーム画像を選択し、当該選択したフレーム画像を商品ＩＤを読取可能なフレーム画像として特定しても良い。なお、特定されたフレーム画像に付加されたし撮像部ＩＤを元に、特定されたフレーム画像が第１有効範囲Ａ１および第２有効範囲Ａ２のうちいずれの範囲を撮像したものかを把握することができる。
【００４８】
または、特定部５０７は、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像の両方から商品情報を読取可能である場合、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像のうち予め設定されたフレーム画像を選択し、当該選択したフレーム画像を商品ＩＤを読取可能なフレーム画像として特定しても良い。なお、特定されたフレーム画像に付加されたし撮像部ＩＤを元に、特定されたフレーム画像が第１有効範囲Ａ１および第２有効範囲Ａ２のうちいずれの範囲を撮像したものかを把握することができる。
【００４９】
読取部５０４（第１読取部）は、特定部５０７により第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像から商品ＩＤが読取可能であることを特定した場合、出力部５０３により出力されたフレーム画像のうち第１撮像部１６４により取得されたフレーム画像（第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像）から、バーコードや２次元コード等のコードシンボルを検出するとともに、検出したコードシンボルから、商品Ａを識別する商品ＩＤ（商品情報）を読み取る読取処理を行う。
【００５０】
認識部５０５（第２読取部）は、特定部５０７により第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像から商品ＩＤが読取可能であることを特定した場合、商品マスタファイルＦ１の商品画像を参照して、出力部５０３により出力されたフレーム画像のうち第２撮像部１６８により取得されたフレーム画像（第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像）に含まれる商品Ａの全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品Ａを認識する。次いで、認識部５０５は、商品マスタファイルＦ１から、認識した商品Ａの商品ＩＤを読み出す。これにより、認識部５０５は、第２撮像部１６８により取得されたフレーム画像から、商品ＩＤを読み取る。本実施形態では、認識部５０５は、一般物体認識により商品Ａの認識を行うものとする。なお、認識部５０５は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、認識部５０５の認識結果により、商品マスタファイルＦ１に予め登録されている商品の中から商品読取装置１０１が読み取った商品を特定できる。
【００５１】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００５２】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００５３】
登録部５０６は、商品マスタファイルＦ１から、読取部５０４により読み取られた商品ＩＤが示す商品Ａまたは認識部５０５により読み取られた商品ＩＤが示す商品Ａの売上登録にかかる情報（例えば、商品Ａの商品ＩＤ、商品分類、商品名、単価など）を読み出す。そして、登録部５０６は、読み出した情報を、売上マスタファイルなどに記録することにより、商品Ａの売上登録を行う。
【００５４】
次に、ＰＯＳシステム１の動作について詳細に説明する。図６は、本実施形態にかかるＰＯＳシステムの動作の一例を示すフローチャートである。図７および図８は、表示デバイスに表示するメッセージの一例を示す図である。
【００５５】
先ず、商品読取装置１０１側の動作について説明する。図６に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、取込部５０１は、第１撮像部１６４および第２撮像部１６８に撮像オン信号を出力して第１撮像部１６４および第２撮像部１６８による撮像を開始する（ステップＳ６０１）。次いで、取込部５０１は、第１撮像部１６４および第２撮像部１６８が取得してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ６０２）。次いで、検出部５０２は、取込部５０１が取り込んだ、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像それぞれから商品Ａの全部または一部の検出を行う（ステップＳ６０３）。次いで、出力部５０３は、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像のうち少なくとも一方から商品Ａの全部または一部が検出された場合、当該第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像をＰＯＳ端末１１へ出力する（ステップＳ６０４）。
【００５６】
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（ステップＳ６０５）。業務を継続する場合（ステップＳ６０５：Ｎｏ）、ＣＰＵ１６１は、ステップＳ６０２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ６０５：Ｙｅｓ）、取込部５０１は、第１撮像部１６４および第２撮像部１６８に撮像オフ信号を出力して第１撮像部１６４および第２撮像部１６８による撮像を終了し（ステップＳ６０６）、処理を終了する。
【００５７】
次に、ＰＯＳ端末１１側の動作について説明する。図６に示すように、キーボード２２の操作指示による商品登録の開始などに応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から出力された、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像を受信する（ステップＳ６０７）。次いで、特定部５０７は、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像のうち、商品Ａの商品ＩＤが読取可能なフレーム画像を特定する特定処理を行う（ステップＳ６０８）。そして、特定部５０７は、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像の両方から読取可能であるかを判断する（ステップＳ６０９）。
【００５８】
ここで、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像の両方から読取可能である場合（ステップＳ６０９：Ｙｅｓ）、特定部５０７は、商品Ａを第１有効範囲Ａ１または第２有効範囲Ａ２が位置する方向に移動させることを促す所定のメッセージを表示デバイス１０６に表示する（ステップＳ６１０）。所定のメッセージを表示デバイス１０６に表示した後、ＣＰＵ６１は、ステップＳ６０７へ処理を戻して処理を継続させる。
【００５９】
具体的には、特定部５０７は、店舗が販売する商品Ａの商品点数（つまり、商品マスタファイルＦ１に売上登録に関わる情報が記憶された商品Ａの数）に従って、商品Ａを第１有効範囲Ａ１または第２有効範囲Ａ２のいずれの方向に移動させるかを決定する。そして、特定部５０７は、決定した方向に商品Ａを移動させることを促すメッセージを表示デバイス１０６に表示する。
【００６０】
例えば、店舗で販売する商品Ａの商品点数が所定の点数よりも多い場合、特定部５０７は、図７に示すように、商品Ａを第１有効範囲Ａ１の方向に移動させることを促すメッセージ７０１を表示デバイス１０６に表示する。店舗で販売する商品Ａの商品点数が多数ある場合には、ＣＰＵ６１にかかる負荷が小さい読取部５０４による読取処理を行うようにする方が好ましい。よって、店舗で販売する商品Ａの商品点数が所定の点数よりも多い場合、特定部５０７は、商品Ａを第１有効範囲Ａ１に移動させることを促すメッセージを表示して、ＣＰＵ６１にかかる負荷が小さい読取部５０４による読取処理が行われるようにする。
【００６１】
一方、店舗で販売する商品Ａの商品点数が所定の点数よりも少ない場合、特定部５０７は、図８に示すように、商品Ａを第２有効範囲Ａ２の方向に移動させることを促すメッセージ８０１を表示デバイス１０６に表示する。店舗で販売する商品Ａの商品点数が少ない場合には、コードシンボルを撮像装置１６７に向けるなどの動作を必要としない認識部５０５による認識処理を行うようにする方が好ましい。よって、店舗で販売する商品Ａの商品点数が所定の点数よりも少ない場合、特定部５０７は、商品Ａを第２有効範囲Ａ２に移動させることを促すメッセージを表示して、商品Ａの売上登録の際にオペレータに要求される動作を少なくする。
【００６２】
図６に戻り、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像（第１領域）および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像（第２領域）の両方からは読取可能でないことが特定された場合（ステップＳ６０９：Ｎｏ）、読取部５０４は、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像（第１領域）から読取可能であることが特定されたか否かを判断する（ステップＳ６１１）。そして、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像（第１領域）から読取可能であることが特定された場合（ステップＳ６１１：Ｙｅｓ）、読取部５０４は、第１撮像部１６４の撮像部ＩＤが負荷されたフレーム画像に含まれるコードシンボルからの商品ＩＤの読取処理を行う（ステップＳ６１２）。なお、本実施形態では、読取部５０４は、フレーム画像に含まれるコードシンボルから商品ＩＤを読み取っているが、これに限定するものではなく、例えば、第１有効範囲Ａ１にレーザーを照射して商品Ａに付加されたバーコード等のコードシンボルから商品ＩＤ等の商品情報を読み取っても良い。また、読取部５０４は、商品Ａに付加された値引シールから割引額や割引率等の値引情報を読み取っても良い。
【００６３】
商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像（第１領域）から読み取れないことが特定された場合（ステップＳ６１１：Ｎｏ）、認識部５０５は、第２撮像部１６８の撮像部ＩＤが負荷されたフレーム画像から商品Ａを認識する認識処理を行う（ステップＳ６１３）。
【００６４】
読取部５０４により読取処理または認識部５０５による認識処理が行われると、登録部５０６は、読取部５０４により読み取られた商品ＩＤが示す商品Ａ、または認識部５０５により認識された商品Ａ（または商品Ａの認識結果の中から選択されて１つに特定された特定の物体である商品Ａ）の売上登録を行う（ステップＳ６１４）。
【００６５】
次いで、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了などによる業務終了の有無を判定する（ステップＳ６１５）。業務を継続する場合（ステップＳ６１５：Ｎｏ）、ＣＰＵ６１は、ステップＳ６０７へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ６１５：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００６６】
このように本実施形態のチェックアウトシステム１によれば、商品を撮像したフレーム画像を取得する撮像装置１６７と、取得されたフレーム画像のうち、コードシンボルから商品ＩＤを読み取るための第１領域および商品画像から商品ＩＤを読み取るための第２領域のいずれの領域から商品情報を読取可能かを特定する特定部５０７と、第１領域から商品情報を読取可能であることを特定した場合、撮像装置１６７により取得されたフレーム画像内のコードシンボルから商品を示す商品ＩＤを読み取る読取処理を行う読取部５０４と、第２領域から商品ＩＤが読取可能であることを特定した場合、フレーム画像から商品を認識する認識処理を行う認識部５０５と、を備えることにより、キーボード等の入力手段を使った読取部５０４により読取処理または認識部５０５による認識処理への切り替えの煩わしさや当該切り替えによる商品Ａの売上登録の遅延から開放されるので、商品Ａを短時間で容易に売上登録することができる。
【００６７】
（第２の実施形態）
本実施形態は、第２撮像部が、カウンタ台（荷受面）側に向けた撮像領域を有するものである。なお、以下の説明では、第１の実施形態と同様の箇所については説明を省略し、第１の実施形態と異なる箇所についてのみ説明する。
【００６８】
図９は、第２の実施形態にかかる商品読取装置の概略的な縦断側面図である。本実施形態にかかる第２撮像部９０１は、図９に示すように、当該第２撮像部９０１が有する撮像ボード１２３が、その読取光軸Ｃ２が荷受面１５２に向けられている。つまり、第２撮像部９０１は、その撮像領域Ｂ２にカウンタ台１５１の荷受面１５２を含めている。これにより、第２撮像部９０１により取得されたフレーム画像の背景を固定することができるので、第２撮像部９０１により取得されたフレーム画像から商品Ａの商品画像を検出する際の検出精度を向上させることができる。さらに、第１撮像部１６４により取得されたフレーム画像および第２撮像部９０１により取得されたフレーム画像のいずれに商品画像が含まれているかを判断する際の精度を向上させることができる。
【００６９】
ところで、第２撮像部９０１の撮像領域Ｂ２にカウンタ台１５１の荷受面１５２を含めた場合、第１撮像部１６４の撮像領域Ｂ１と第２撮像部９０１の撮像領域Ｂ２とが重なり合う部分が発生する。そのため、撮像領域Ｂ１と撮像領域Ｂ２とが重なり合っている領域に商品Ａがかざされた場合、第１撮像部１６４により取得されたフレーム画像および第２撮像部９０１により取得されたフレーム画像の両方に商品画像が含まれることとなる。この場合、特定部５０７は、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部９０１の撮像部ＩＤが付加されたフレーム画像のいずれに商品Ａの商品画像が含まれているか以って、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部９０１の撮像部ＩＤが付加されたフレーム画像のいずれから読取可能かを特定することはできない。
【００７０】
そこで、本実施形態では、特定部５０７は、商品画像が第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像に含まれかつ第２撮像部９０１の撮像部ＩＤが付加されたフレーム画像に含まれる場合には、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像から読取可能であることを特定する。一方、特定部５０７は、商品画像が第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像に含まれずかつ第２撮像部９０１の撮像部ＩＤが付加されたフレーム画像に含まれる場合には、商品Ａの商品ＩＤが、第２撮像部９０１の撮像部ＩＤが付加されたフレーム画像から読取可能であることを特定する。
【００７１】
このように本実施形態にかかるチェックアウトシステム１によれば、第２撮像部９０１がカウンタ台１５１の荷受面１５２側に向けた撮像領域Ｂ２を有することにより、第２撮像部９０１により取得されたフレーム画像の背景をある程度固定することができるので、第２撮像部９０１により取得されたフレーム画像から商品Ａの商品画像を検出する際の検出精度を向上させることができる。さらに、第１撮像部１６４により取得されたフレーム画像および第２撮像部９０１により取得されたフレーム画像のいずれに商品画像が含まれているかを判断する際の精度を向上させることができる。
【００７２】
（第３の実施形態）
本実施形態は、１つの撮像部によって、コードシンボルから商品ＩＤを読み取るための領域および商品画像から商品ＩＤを読み取るための領域を含むフレーム画像を取得するものである。なお、以下の説明では、第１の実施形態と同様の箇所については説明を省略し、第１の実施形態と異なる箇所についてのみ説明する。
【００７３】
図１０は、第３の実施形態にかかる商品読取装置の概略的な縦断側面図である。本実施形態にかかる撮像装置１６７は、第２撮像部１６８を有さず、第１撮像部１００１のみを有する。第１撮像部１００１は、第１有効範囲Ａ１および第２有効範囲Ａ２を撮像領域Ｂ３とするものである。本実施形態では、結像レンズ１１９の画角を調整することにより、第１撮像部１００１の撮像領域Ｂ３を、第１有効範囲Ａ１および第２有効範囲Ａ２を含むものとする。
【００７４】
ところで、本実施形態では、第１撮像部１００１により取得したフレーム画像に、コードシンボルから商品ＩＤを読み取るための画像（第１領域）および商品画像から商品ＩＤを読み取るための画像（第２領域）の両方が含まれることとなる。そのため、本実施形態においても、特定部５０７は、第２の実施形態と同様に、第１撮像部１００１の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８（９０１）の撮像部ＩＤが付加されたフレーム画像のいずれに商品Ａの商品画像が含まれているか以って、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像のいずれから読取可能かを特定することはできない。
【００７５】
そこで、本実施形態では、特定部５０７は、第１撮像部１００１により取得されたフレーム画像において、予め設定された領域（例えば、フレーム画像の下半分の領域）を、コードシンボルから商品ＩＤを読み取るための画像（第１領域）とし、当該予め設定された領域にのみ商品画像が含まれる場合には、商品Ａの商品ＩＤが領域１１０１（図１１参照）から読取可能であることを特定する。また、特定部５０７は、第１撮像部１００１により取得されたフレーム画像において、予め設定された領域（例えば、フレーム画像の上半分の領域）を、商品画像から商品ＩＤを読み取るための画像（第２領域）とし、当該予め設定された領域にのみ商品画像が含まれる場合には、商品Ａの商品ＩＤが領域１１０２（図１１参照）から読取可能であることを特定する。
【００７６】
図１１は、商品画像が含まれる領域を特定する処理を説明するための図である。本実施形態では、特定部５０７は、第１撮像部１００１により取得されたフレーム画像１１００において、フレーム画像１１００の下半分の領域１１０１を、コードシンボルから商品ＩＤを読み取るための画像（第１領域）とし、フレーム画像１１００の下半分の領域１１０１にのみ商品画像１１０４が含まれる場合には、商品Ａの商品ＩＤが領域１１０１から読取可能であることを特定する。一方、特定部５０７は、第１撮像部１００１により取得されたフレーム画像１１００において、フレーム画像１１００の上半分の領域１１０２を、商品画像から商品ＩＤを読み取るための画像（第２領域）とし、フレーム画像１１００の上半分の領域１１０２にのみ商品画像１１０４が含まれる場合には、商品Ａの商品ＩＤが、領域１１０２に含まれる商品画像１１０４から読取可能であることを特定する。
【００７７】
なお、第１撮像部１００１により取得されたフレーム画像１１００において、フレーム画像１１００の下半分の領域１１０１と、フレーム画像１１００の上半分の領域１１０２との境界１１０３に商品画像１１０４が存在する場合、特定部５０７は、商品Ａの商品ＩＤが、領域１１０１および領域１１０２の両方から読取可能であることを特定するものとする。
【００７８】
このように本実施形態にかかるチェックアウトシステム１によれば、コードシンボルから商品ＩＤを読み取るための領域および商品画像から商品ＩＤを読み取るための領域を含むフレーム画像を取得することにより、商品読取装置１０１をより安価に提供することができる。
【００７９】
本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００８０】
さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００８１】
本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各部（読取部５０４、認識部５０５、登録部５０６、特定部５０７、）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、読取部５０４、認識部５０５、登録部５０６、特定部５０７が主記憶装置上に生成されるようになっている。
【００８２】
本実施形態の商品読取装置１０１で実行されるプログラムは、上述した各部（取込部５０１、検出部５０２、出力部５０３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取込部５０１、検出部５０２、出力部５０３が主記憶装置上に生成されるようになっている。
【００８３】
なお、本実施形態においては、ＰＯＳ端末１１側に読取部５０４、認識部５０５、登録部５０６、特定部５０７を備えるようにしたが、これに限るものではなく、商品読取装置１０１側に読取部５０４、認識部５０５、登録部５０６、特定部５０７を備えるようにして一体的に構成しても良い。
【００８４】
また、本実施形態においては、商品読取装置１０１側に取込部５０１、検出部５０２を備えるようにしたが、これに限るものではなく、ＰＯＳ端末１１側に取込部５０１、検出部５０２を備えるようにして一体的に構成しても良い。この場合、ＰＯＳ端末１１が読取装置である。
【００８５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８６】
１１ ＰＯＳ端末
１０１ 商品読取装置
６１，１６１ ＣＰＵ
６２，１６２ ＲＯＭ
６３，１６３ ＲＡＭ
６４ ＨＤＤ
１０６ 表示デバイス
１６４，１００１ 第１撮像部
１６８，９０１ 第２撮像部
５０１ 取込部
５０２ 検出部
５０３ 出力部
５０４ 読取部
５０５ 認識部
５０７ 特定部
Ａ１ 第１有効範囲
Ａ２ 第２有効範囲
Ｂ１，Ｂ２ 撮像領域
【先行技術文献】
【特許文献】
【００８７】
【特許文献１】特開２０１１−７０３７６号公報
【技術分野】
【０００１】
本発明の実施形態は、読取装置およびプログラムに関する。
【背景技術】
【０００２】
ＰＯＳ（Point Of Sales）システムの入力端末である商品処理装置は、データを入力するためのキーボード、商品に付されているバーコードからデータを読み取るスキャナ、キーボードから入力されたデータやスキャナにより読み取られたデータを表示する表示器などを備えている。そして、一般的な利用において、バーコードが付されていない商品の場合、商品処理装置のオペレータは、キーボードを利用してデータを入力することが必須となる。具体的には、オペレータは、キーボードを用いて、データを数値で入力するか、あるいは予め用意された選択肢から所望のデータを選択する、などの手間を必要としていた。そこで、取得した画像から登録対象の商品を認識する画像認識機能を用いることにより、オペレータがキーボードを用いてデータを入力する手間を低減させる商品処理装置が開発されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、画像認識機能を有する商品処理装置においては、当該商品処理装置のオペレータが、キーボード等の操作部を用いて、バーコードからデータを読み取る処理または画像認識機能によりデータを入力する処理にその都度切り替える必要がある。そのため、オペレータは、バーコードからデータを読み取る処理または画像認識機能によりデータを入力する処理に切り替える際に、一旦、商品を置き、操作部を用いて、バーコードからデータを読み取る処理または画像認識機能によりデータを入力する処理に切り替える操作を行わなければならないという煩わしさがある。
【課題を解決するための手段】
【０００４】
実施形態の読取装置は、撮像手段と、特定手段と、読取手段と、認識手段と、を備える。前記撮像手段は、商品を撮像して画像を取得する。前記特定手段は、前記撮像手段により取得された画像のうち、コードシンボルから商品情報を読み取るための第１領域および商品画像から商品情報を読み取るための第２領域のいずれの領域から商品情報を読取可能かを特定する。前記第１読取手段は、前記第１領域から商品情報を読取可能であることを特定した場合、前記撮像手段により取得された画像内のコードシンボルから商品情報を読み取る。前記第２読取手段は、前記第２領域から商品情報が読取可能であることを特定した場合、前記撮像手段により取得された画像から商品情報を読み取る。
【図面の簡単な説明】
【０００５】
【図１】図１は、本実施形態にかかるＰＯＳシステムの全体構成を示す斜視図である。
【図２】図２は、商品読取装置の概略的な縦断側面図である。
【図３】図３は、ＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図である。
【図４】図４は、商品マスタファイルのデータ構成を例示する概念図である。
【図５】図５は、ＰＯＳ端末および商品読取装置の機能構成を示すブロック図である。
【図６】図６は、本実施形態にかかるＰＯＳシステムの動作の一例を示すフローチャートである。
【図７】図７は、表示デバイスに表示するメッセージの一例を示す図である。
【図８】図８は、表示デバイスに表示するメッセージの一例を示す図である。
【図９】図９は、第２の実施形態にかかる商品読取装置の概略的な縦断側面図である。
【図１０】図１０は、第３の実施形態にかかる商品読取装置の概略的な縦断側面図である。
【図１１】図１１は、商品画像が含まれる領域を特定する処理を説明するための図である。
【発明を実施するための形態】
【０００６】
（第１の実施形態）
以下、本実施形態について図面を参照して説明する。図１は、本実施形態にかかるＰＯＳシステムの全体構成を示す斜視図である。図１に示すように、ＰＯＳ（Point Of Sales）システム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。そして、ＰＯＳ端末１１は、ドロワ２１の開放動作を制御する。ＰＯＳ端末１１は、オペレータ（ユーザ）によって押下操作されるキーボード２２を上面に配置している。また、ＰＯＳ端末１１は、キーボード２２を操作するオペレータから見てキーボード２２よりも奥側に、オペレータに向けて情報を表示する表示デバイス２３を設けている。表示デバイス２３は、表示面２３ａに情報を表示する。また、ＰＯＳ端末１１は、タッチパネル２６を表示面２３ａ上に積層配置している。また、ＰＯＳ端末１１は、表示デバイス２３よりもさらに奥側に、顧客用表示デバイス２４を回転自在に立設している。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客に向けて情報を表示する。
【０００７】
ＰＯＳシステム１は、ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１を配置している。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、パン店やドーナツ店等の店舗において用いられるトレーなどであっても良い。
【０００８】
カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には、第１読取窓１０３および当該第１読取窓１０３の上部に設けられた第２読取窓１０８が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【０００９】
このような商品読取装置１０１は、商品読取部１１０（図３参照）を備えている。商品読取部１１０は、第１読取窓１０３の奥側に第１撮像部１６４（図２参照）を配置し、第２読取窓１０８の奥側に第２撮像部１６８を配置している。
【００１０】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａが商品読取装置１０１の第１読取窓１０３または第２読取窓１０８に向けられる。この際、第１読取窓１０３の奥側に配置された第１撮像部１６４（図２参照）は、商品Ａに付されているバーコード等のコードシンボルから商品Ａを示す商品ＩＤ（商品情報）を光学的に読み取るための第１有効範囲Ａ１（図２参照）に撮像領域Ｂ１（図２参照）を有し、当該撮像領域Ｂ２（図２参照）に存在する商品Ａを撮像した画像（第１領域）を取得する。また、第２読取窓１０８の奥側に配置された第２撮像部１６８（図２参照）は、商品Ａの商品画像から当該商品Ａの商品ＩＤを読み取るための範囲であり、第１有効範囲Ａ１（図２参照）に隣接する第２有効範囲Ａ２（図２参照）に撮像領域Ｂ２を有し、当該撮像領域Ｂ２（図２参照）に存在する商品Ａを撮像して画像（第２領域）を取得する。商品読取装置１０１では、第１撮像部１６４（図２参照）または第２撮像部１６８（図２参照）により取得された画像に含まれる商品Ａの全部または一部の商品画像を検出する。商品読取装置１０１では、第１撮像部１６４（図２参照）により取得された画像（第１領域）および第２撮像部１６８（図２参照）により取得された画像（第２領域）の少なくとも一方に商品Ａの全部または一部の商品画像が含まれることを検出した場合、その撮像画像をＰＯＳ端末１１へ出力する。
【００１１】
ＰＯＳ端末１１は、商品読取装置１０１から出力された画像を受け取ると、受け取った画像のうち、第１撮像部１６４（図２参照）により取得された画像および第２撮像部１６８（図２参照）により取得された画像のうちいずれから商品ＩＤを読取可能かを特定する。そして、第１撮像部１６４（図２参照）により取得された画像から商品ＩＤが読取可能であることを特定した場合、ＰＯＳ端末１１は、第１撮像部１６４（図２参照）により取得された画像に含まれるバーコードや２次元コードなどのコードシンボルから、商品Ａを示す商品ＩＤ（商品情報）を読み取る。次いで、ＰＯＳ端末１１は、商品ＩＤに対応付けて商品Ａの売上登録に関わる情報（例えば、商品分類、商品名、単価、商品画像など）を記憶する商品マスタファイルＦ１（図４参照）から、読み取った商品ＩＤと対応付けられた情報を読み出す。そして、ＰＯＳ端末１１は、読み出した情報を、売上マスタファイル（図示しない）などに記録することにより商品Ａの売上登録を行う。
【００１２】
一方、ＰＯＳ端末１１は、第２撮像部１６８（図２参照）により取得された画像から商品ＩＤを読取可能であることを特定した場合、商品マスタファイルＦ１（図４参照）に記憶された商品画像を参照して、第２撮像部１６８（図２参照）により取得された画像に含まれる商品Ａの全部または一部の商品画像から特定の物体である商品Ａを認識する。次いで、ＰＯＳ端末１１は、商品マスタファイルＦ１（図４参照）から、認識した商品Ａの商品ＩＤなどの商品Ａに関わる情報を読み出す。これにより、ＰＯＳ端末１１は、第２撮像部１６８（図２参照）により取得された画像から商品ＩＤを読み取るものとする。そして、ＰＯＳ端末１１は、読み出した情報を、売上マスタファイル（図示しない）などに記録することにより商品Ａの売上登録を行う。
【００１３】
図２は、商品読取装置の概略的な縦断側面図である。商品読取装置１０１には、ハウジング１０２に商品読取部１１０が内蔵されている。商品読取部１１０は、第１有効範囲Ａ１に撮像領域Ｂ１を有し、当該撮像領域Ｂ１に存在する商品Ａに付されたコードシンボルから商品ＩＤを読み取るための画像（第１領域）を取得する第１撮像部１６４、および第１有効範囲Ａ１の上部に隣接する第２有効範囲Ａ２に撮像領域Ｂ２を有し、当該撮像領域Ｂ２に存在する商品Ａの商品画像から商品ＩＤを読み取るための画像（第２領域）を取得する第２撮像部１６８を備える。
【００１４】
第１撮像部１６４は、商品Ａが配置される第１有効範囲Ａ１側に配置された表側カバー部材１１７と、表側カバー部材１１７の反対側に配置され当該表側カバー部材１１７と組み合わせて配置される裏側カバー部材１１８とで形成された箱形の筐体１１２を有している。
【００１５】
筐体１１２内には、ＣＣＤ撮像素子を備える撮像ボード１１３と、第１有効範囲Ａ１および第２有効範囲Ａ２に照明光を照射する照明装置である照明ボード１１６と、ＣＣＤ（Charged Coupled Device）撮像素子（またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子）が取得した撮像画像に対して画像処理を行う画像処理ボード１１５と、を備えている。
【００１６】
表側カバー部材１１７は、第１有効範囲Ａ１側の筐体１１２のうち最も第１有効範囲Ａ１側に位置する表面板１１７ａが配置されるほか、表面板１１７ａの中央部には、内部に向けて凹設部１１７ｂが形成されている。凹設部１１７ｂは、奥に行くほどその断面積が減少する四角錘形の壁面を備えて形成され、凹設部１１７ｂの最奥部には開口部１１７ｃが開設されている。
【００１７】
撮像ボード１１３は、エリアイメージセンサであるＣＣＤ撮像素子およびＣＣＤ撮像素子の駆動回路を備えた撮像基板１１４と、ＣＣＤ撮像素子に第１有効範囲Ａ１の撮像画像を結像する結像レンズ１１９と、を備えている。
【００１８】
画像処理ボード１１５は、画像処理装置であって、撮像ボード１１３から出力された動画像データ中から商品画像を検出可能な１枚のフレームデータを認識する。そして、画像処理ボード１１５は、認識したフレームデータを出力する。
【００１９】
照明ボード１１６は、開口部１１７ｃの奥側に配置される。照明ボード１１６の基板１１６ａには、撮像ボード１１３の撮像用の開口部１１６ｃが開設されている。凹設部１１７ｂの最奥部の開口部１１７ｃ内に位置する照明ボード１１６の基板１１６ａ上には、複数のＬＥＤ発光素子１１６ｂが開口部１１６ｃを囲うように配置されている。これにより、複数のＬＥＤ発光素子１１６ｂは、撮像領域Ｂ１より広い照明領域（本実施形態では、撮像領域Ｂ１および撮像領域Ｂ２を含む領域）に光を照射する。なお、本実施形態では、第１撮像部１６４が有するＬＥＤ発光素子１１６ｂにより撮像領域Ｂ２に光を照射しているが、これに限定するものではなく、第２撮像部１６８に撮像領域Ｂ２に光を照射する照射部を設けて、撮像領域Ｂ２に光を照射しても良い。
【００２０】
このように構成された第１撮像部１６４は、開口部１１７ｃの位置を商品読取装置１０１のハウジング１０２に形成された第１読取窓１０３に位置合わせして、ハウジング１０２に内蔵されている。これにより、撮像ボード１１３は、その読取光軸Ｃ１が第１読取窓１０３の外部に位置する第１有効範囲Ａ１に向けられている。そして、結像レンズ１１９は、第１有効範囲Ａ１からの反射光がＣＣＤ撮像素子に焦点を結ぶような焦点距離を有している。これにより、撮像ボード１１３に設けられている撮像基板１１４と結像レンズ１１９とは、第１有効範囲Ａ１に位置する商品Ａの商品画像を取得する。
【００２１】
第２撮像部１６８は、商品Ａが配置される第２有効範囲Ａ２側に配置された表側カバー部材１２１と、表側カバー部材１２１の反対側に配置され当該表側カバー部材１２１と組み合わせて配置される裏側カバー部材１２２とで形成された箱形の筐体１２０を有している。
【００２２】
筐体１２０内には、カラーＣＣＤ撮像素子（またはカラーＣＭＯＳ撮像素子）を備える撮像ボード１２３と、カラーＣＣＤ撮像素子が取得した撮像画像に対して画像処理を行う画像処理ボード１２４と、を備えている。
【００２３】
表側カバー部材１２１は、第２有効範囲Ａ２側の筐体１２０のうち最も第２有効範囲Ａ２側に位置する表面板１２１ａが配置されるほか、表面板１２１ａの中央部には、内部に向けて凹設部１２１ｂが形成されている。凹設部１２１ｂは、奥に行くほどその断面積が減少する四角錘形の壁面を備えて形成され、凹設部１２１ｂの最奥部には開口部１２１ｃが開設されている。
【００２４】
撮像ボード１２３は、カラーＣＣＤ撮像素子およびカラーＣＣＤ撮像素子の駆動回路を備えた撮像基板１２５と、カラーＣＣＤ撮像素子に第２有効範囲Ａ２の撮像画像を結像する結像レンズ１２６と、を備えている。
【００２５】
画像処理ボード１２４は、画像処理装置であって、撮像ボード１２３から出力された動画像データ中から商品画像を検出可能な１枚のフレームデータを認識する。そして、画像処理ボード１２４は、認識したフレームデータを出力する。
【００２６】
さらに、第２撮像部１６８は、開口部１２１ｃに透明な保護カバー１２７を有している。
【００２７】
このように構成された第２撮像部１６８は、開口部１２１ｃの位置を商品読取装置１０１のハウジング１０２に形成された第２読取窓１０８に位置合わせして、ハウジング１０２に内蔵されている。これにより、撮像ボード１２３は、その読取光軸Ｃ２が第２読取窓１０８の外部に位置する第２有効範囲Ａ２に向けられている。そして、結像レンズ１２６は、第２有効範囲Ａ２からの反射光がカラーＣＣＤ撮像素子に焦点を結ぶような焦点距離を有している。これにより、撮像ボード１２３に設けられている撮像基板１２５と結像レンズ１２６とは、第２有効範囲Ａ２に位置する商品Ａの商品画像を取得する。
【００２８】
図３は、ＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されている。
【００２９】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００３０】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆを含む。
【００３１】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部または一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されている商品マスタファイルＦ１である。
【００３２】
商品マスタファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの商品画像とを対応付けて記憶するファイルである。図４は、商品マスタファイルのデータ構成を例示する概念図である。図４に示すように、商品マスタファイルＦ１は、商品Ａごとに、ユニークに割り当てられ商品Ａを識別するための商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品Ａの売上登録にかかる情報と、商品Ａの商品画像と、を対応付けて記憶するファイルである。
【００３３】
図３に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信される商品マスタファイルＦ１が格納されている。
【００３４】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字するプリンタ６６が接続されている。プリンタ６６は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００３５】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像装置１６７、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像装置１６７、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００３６】
撮像装置１６７は、第１有効範囲Ａ１および第２有効範囲Ａ２を撮像するものである。本実施形態では、撮像装置１６７は、第１有効範囲Ａ１に撮像領域Ｂ１を有する第１撮像部１６４、および第２有効範囲Ａ２に撮像領域Ｂ２を有する第２撮像部１６８を備える。第１撮像部１６４および第２撮像部１６８は、所定のフレームレート（例えば、５０００分の１秒）で撮像領域Ｂ１および撮像領域Ｂ２を撮像してフレーム画像（フレームデータ）を取得する。そして、ＣＰＵ１６１は、所定のフレームレートで順次撮像され、取得されたフレーム画像を、当該各フレーム画像を取得した撮像部（第１撮像部１６４および第２撮像部１６８）を識別する撮像部ＩＤを付加してＲＡＭ１６３に保存する。なお、第１撮像部１６４および第２撮像部１６８は、ＣＰＵ１６１によってフレーム画像を取得するフレームレートが可変可能である。また、第１撮像部１６４が備える照明ボード１１６も、ＣＰＵ１６１によってＬＥＤ発光素子１１６ｂを点灯する強度を可変可能である。
【００３７】
音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
【００３８】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１は、商品読取装置１０１の第１撮像部１６４および第２撮像部１６８によって取得されたフレーム画像を、接続インターフェース１７５を介して出力し、接続インターフェース６５を介してＰＯＳ端末１１に入力する。
【００３９】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図５を参照して説明する。図５は、ＰＯＳ端末および商品読取装置の機能構成を示すブロック図である。図５に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、取込部５０１、検出部５０２、出力部５０３としての機能を備える。同様に、ＣＰＵ６１は、読取部５０４、認識部５０５、登録部５０６、特定部５０７としての機能を備える。
【００４０】
取込部５０１は、撮像装置１６７に撮像オン信号を出力して撮像装置１６７に撮像動作を開始させる。取込部５０１は、撮像動作開始後に撮像装置１６７が取得してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。取込部５０１は、フレーム画像の取り込みを、ＲＡＭ１６３に保存された順に行う。
【００４１】
検出部５０２は、取込部５０１により取り込まれたフレーム画像に含まれる商品Ａの商品画像の全部または一部を、パターンマッチング技術や文字認識技術などを用いて検出する。
【００４２】
本実施形態では、検出部５０２は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、オペレータの手の写り込みが検出された場合、検出部５０２は、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。これにより、検出部５０２は、オペレータの手が把持していると想定される商品Ａの輪郭抽出を試みる。このとき、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、オペレータが商品Ａを把持していると判断する。
【００４３】
出力部５０３は、取込部５０１が取り込んだフレーム画像を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。出力部５０３は、取込部５０１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、検出部５０２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、検出部５０２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品Ａの全部または一部が含まれていないフレーム画像によって、当該フレーム画像に含まれるコードシンボルからの商品情報の読み取りや、商品マスタファイルＦ１を参照して実行する商品Ａの認識がＰＯＳ端末１１で行われることを防止できる。商品情報の読み取りや特定の物体（商品Ａ）の認識処理は処理時間を要することから、商品情報の読み取りや特定の物体の認識の見込みのない、商品Ａの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
【００４４】
特定部５０７は、撮像装置１６７により取得されたフレーム画像のうち、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像（第１領域）および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像（第２領域）のいずれのフレーム画像（領域）から商品情報を読取可能かを特定するものである。本実施形態では、特定部５０７は、出力部５０３により出力されたフレーム画像のうち、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像にのみ商品画像が含まれていた場合には、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像に含まれるコードシンボルから商品ＩＤを読取可能であることを特定する。一方、特定部５０７は、出力部５０３により出力されたフレーム画像のうち、第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像にのみ商品画像が含まれていた場合には、第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像に含まれる商品画像から商品ＩＤを読取可能であることを特定する。なお、特定部５０７は、フレーム画像に商品画像が含まれているか否かを判断する際、上述した検出部５０２と同様にして、パターンマッチング技術や文字認識技術などを用いて、フレーム画像に商品画像が含まれているか否かを判断するものとする。
【００４５】
また、特定部５０７は、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像の両方から商品ＩＤが読取可能である場合、商品Ａを第１有効範囲Ａ１または第２有効範囲Ａ２のいずれかに移動させることを促すメッセージなど、所定のメッセージを表示デバイス１０６に表示する。そして、特定部５０７は、所定のメッセージを表示した後、再度、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像のいずれのフレーム画像から商品情報を読取可能かを特定する。
【００４６】
なお、本実施形態では、特定部５０７は、所定のメッセージを表示デバイス１０６に表示しているが、所定のメッセージを報知するものであれば、これに限定するものではない。例えば、特定部５０７は、商品読取部１１０が有する音声出力部１６５を制御して、所定のメッセージを音声で出力しても良い。
【００４７】
また、本実施形態では、特定部５０７は、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像の両方から商品情報を読取可能である場合、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像のうち商品Ａの商品画像が先に含まれたフレーム画像を選択し、当該選択したフレーム画像を商品ＩＤを読取可能なフレーム画像として特定しても良い。なお、特定されたフレーム画像に付加されたし撮像部ＩＤを元に、特定されたフレーム画像が第１有効範囲Ａ１および第２有効範囲Ａ２のうちいずれの範囲を撮像したものかを把握することができる。
【００４８】
または、特定部５０７は、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像の両方から商品情報を読取可能である場合、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像のうち予め設定されたフレーム画像を選択し、当該選択したフレーム画像を商品ＩＤを読取可能なフレーム画像として特定しても良い。なお、特定されたフレーム画像に付加されたし撮像部ＩＤを元に、特定されたフレーム画像が第１有効範囲Ａ１および第２有効範囲Ａ２のうちいずれの範囲を撮像したものかを把握することができる。
【００４９】
読取部５０４（第１読取部）は、特定部５０７により第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像から商品ＩＤが読取可能であることを特定した場合、出力部５０３により出力されたフレーム画像のうち第１撮像部１６４により取得されたフレーム画像（第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像）から、バーコードや２次元コード等のコードシンボルを検出するとともに、検出したコードシンボルから、商品Ａを識別する商品ＩＤ（商品情報）を読み取る読取処理を行う。
【００５０】
認識部５０５（第２読取部）は、特定部５０７により第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像から商品ＩＤが読取可能であることを特定した場合、商品マスタファイルＦ１の商品画像を参照して、出力部５０３により出力されたフレーム画像のうち第２撮像部１６８により取得されたフレーム画像（第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像）に含まれる商品Ａの全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品Ａを認識する。次いで、認識部５０５は、商品マスタファイルＦ１から、認識した商品Ａの商品ＩＤを読み出す。これにより、認識部５０５は、第２撮像部１６８により取得されたフレーム画像から、商品ＩＤを読み取る。本実施形態では、認識部５０５は、一般物体認識により商品Ａの認識を行うものとする。なお、認識部５０５は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、認識部５０５の認識結果により、商品マスタファイルＦ１に予め登録されている商品の中から商品読取装置１０１が読み取った商品を特定できる。
【００５１】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００５２】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００５３】
登録部５０６は、商品マスタファイルＦ１から、読取部５０４により読み取られた商品ＩＤが示す商品Ａまたは認識部５０５により読み取られた商品ＩＤが示す商品Ａの売上登録にかかる情報（例えば、商品Ａの商品ＩＤ、商品分類、商品名、単価など）を読み出す。そして、登録部５０６は、読み出した情報を、売上マスタファイルなどに記録することにより、商品Ａの売上登録を行う。
【００５４】
次に、ＰＯＳシステム１の動作について詳細に説明する。図６は、本実施形態にかかるＰＯＳシステムの動作の一例を示すフローチャートである。図７および図８は、表示デバイスに表示するメッセージの一例を示す図である。
【００５５】
先ず、商品読取装置１０１側の動作について説明する。図６に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、取込部５０１は、第１撮像部１６４および第２撮像部１６８に撮像オン信号を出力して第１撮像部１６４および第２撮像部１６８による撮像を開始する（ステップＳ６０１）。次いで、取込部５０１は、第１撮像部１６４および第２撮像部１６８が取得してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ６０２）。次いで、検出部５０２は、取込部５０１が取り込んだ、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像それぞれから商品Ａの全部または一部の検出を行う（ステップＳ６０３）。次いで、出力部５０３は、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像のうち少なくとも一方から商品Ａの全部または一部が検出された場合、当該第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像をＰＯＳ端末１１へ出力する（ステップＳ６０４）。
【００５６】
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（ステップＳ６０５）。業務を継続する場合（ステップＳ６０５：Ｎｏ）、ＣＰＵ１６１は、ステップＳ６０２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ６０５：Ｙｅｓ）、取込部５０１は、第１撮像部１６４および第２撮像部１６８に撮像オフ信号を出力して第１撮像部１６４および第２撮像部１６８による撮像を終了し（ステップＳ６０６）、処理を終了する。
【００５７】
次に、ＰＯＳ端末１１側の動作について説明する。図６に示すように、キーボード２２の操作指示による商品登録の開始などに応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から出力された、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像を受信する（ステップＳ６０７）。次いで、特定部５０７は、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像のうち、商品Ａの商品ＩＤが読取可能なフレーム画像を特定する特定処理を行う（ステップＳ６０８）。そして、特定部５０７は、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像の両方から読取可能であるかを判断する（ステップＳ６０９）。
【００５８】
ここで、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像の両方から読取可能である場合（ステップＳ６０９：Ｙｅｓ）、特定部５０７は、商品Ａを第１有効範囲Ａ１または第２有効範囲Ａ２が位置する方向に移動させることを促す所定のメッセージを表示デバイス１０６に表示する（ステップＳ６１０）。所定のメッセージを表示デバイス１０６に表示した後、ＣＰＵ６１は、ステップＳ６０７へ処理を戻して処理を継続させる。
【００５９】
具体的には、特定部５０７は、店舗が販売する商品Ａの商品点数（つまり、商品マスタファイルＦ１に売上登録に関わる情報が記憶された商品Ａの数）に従って、商品Ａを第１有効範囲Ａ１または第２有効範囲Ａ２のいずれの方向に移動させるかを決定する。そして、特定部５０７は、決定した方向に商品Ａを移動させることを促すメッセージを表示デバイス１０６に表示する。
【００６０】
例えば、店舗で販売する商品Ａの商品点数が所定の点数よりも多い場合、特定部５０７は、図７に示すように、商品Ａを第１有効範囲Ａ１の方向に移動させることを促すメッセージ７０１を表示デバイス１０６に表示する。店舗で販売する商品Ａの商品点数が多数ある場合には、ＣＰＵ６１にかかる負荷が小さい読取部５０４による読取処理を行うようにする方が好ましい。よって、店舗で販売する商品Ａの商品点数が所定の点数よりも多い場合、特定部５０７は、商品Ａを第１有効範囲Ａ１に移動させることを促すメッセージを表示して、ＣＰＵ６１にかかる負荷が小さい読取部５０４による読取処理が行われるようにする。
【００６１】
一方、店舗で販売する商品Ａの商品点数が所定の点数よりも少ない場合、特定部５０７は、図８に示すように、商品Ａを第２有効範囲Ａ２の方向に移動させることを促すメッセージ８０１を表示デバイス１０６に表示する。店舗で販売する商品Ａの商品点数が少ない場合には、コードシンボルを撮像装置１６７に向けるなどの動作を必要としない認識部５０５による認識処理を行うようにする方が好ましい。よって、店舗で販売する商品Ａの商品点数が所定の点数よりも少ない場合、特定部５０７は、商品Ａを第２有効範囲Ａ２に移動させることを促すメッセージを表示して、商品Ａの売上登録の際にオペレータに要求される動作を少なくする。
【００６２】
図６に戻り、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像（第１領域）および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像（第２領域）の両方からは読取可能でないことが特定された場合（ステップＳ６０９：Ｎｏ）、読取部５０４は、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像（第１領域）から読取可能であることが特定されたか否かを判断する（ステップＳ６１１）。そして、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像（第１領域）から読取可能であることが特定された場合（ステップＳ６１１：Ｙｅｓ）、読取部５０４は、第１撮像部１６４の撮像部ＩＤが負荷されたフレーム画像に含まれるコードシンボルからの商品ＩＤの読取処理を行う（ステップＳ６１２）。なお、本実施形態では、読取部５０４は、フレーム画像に含まれるコードシンボルから商品ＩＤを読み取っているが、これに限定するものではなく、例えば、第１有効範囲Ａ１にレーザーを照射して商品Ａに付加されたバーコード等のコードシンボルから商品ＩＤ等の商品情報を読み取っても良い。また、読取部５０４は、商品Ａに付加された値引シールから割引額や割引率等の値引情報を読み取っても良い。
【００６３】
商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像（第１領域）から読み取れないことが特定された場合（ステップＳ６１１：Ｎｏ）、認識部５０５は、第２撮像部１６８の撮像部ＩＤが負荷されたフレーム画像から商品Ａを認識する認識処理を行う（ステップＳ６１３）。
【００６４】
読取部５０４により読取処理または認識部５０５による認識処理が行われると、登録部５０６は、読取部５０４により読み取られた商品ＩＤが示す商品Ａ、または認識部５０５により認識された商品Ａ（または商品Ａの認識結果の中から選択されて１つに特定された特定の物体である商品Ａ）の売上登録を行う（ステップＳ６１４）。
【００６５】
次いで、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了などによる業務終了の有無を判定する（ステップＳ６１５）。業務を継続する場合（ステップＳ６１５：Ｎｏ）、ＣＰＵ６１は、ステップＳ６０７へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ６１５：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００６６】
このように本実施形態のチェックアウトシステム１によれば、商品を撮像したフレーム画像を取得する撮像装置１６７と、取得されたフレーム画像のうち、コードシンボルから商品ＩＤを読み取るための第１領域および商品画像から商品ＩＤを読み取るための第２領域のいずれの領域から商品情報を読取可能かを特定する特定部５０７と、第１領域から商品情報を読取可能であることを特定した場合、撮像装置１６７により取得されたフレーム画像内のコードシンボルから商品を示す商品ＩＤを読み取る読取処理を行う読取部５０４と、第２領域から商品ＩＤが読取可能であることを特定した場合、フレーム画像から商品を認識する認識処理を行う認識部５０５と、を備えることにより、キーボード等の入力手段を使った読取部５０４により読取処理または認識部５０５による認識処理への切り替えの煩わしさや当該切り替えによる商品Ａの売上登録の遅延から開放されるので、商品Ａを短時間で容易に売上登録することができる。
【００６７】
（第２の実施形態）
本実施形態は、第２撮像部が、カウンタ台（荷受面）側に向けた撮像領域を有するものである。なお、以下の説明では、第１の実施形態と同様の箇所については説明を省略し、第１の実施形態と異なる箇所についてのみ説明する。
【００６８】
図９は、第２の実施形態にかかる商品読取装置の概略的な縦断側面図である。本実施形態にかかる第２撮像部９０１は、図９に示すように、当該第２撮像部９０１が有する撮像ボード１２３が、その読取光軸Ｃ２が荷受面１５２に向けられている。つまり、第２撮像部９０１は、その撮像領域Ｂ２にカウンタ台１５１の荷受面１５２を含めている。これにより、第２撮像部９０１により取得されたフレーム画像の背景を固定することができるので、第２撮像部９０１により取得されたフレーム画像から商品Ａの商品画像を検出する際の検出精度を向上させることができる。さらに、第１撮像部１６４により取得されたフレーム画像および第２撮像部９０１により取得されたフレーム画像のいずれに商品画像が含まれているかを判断する際の精度を向上させることができる。
【００６９】
ところで、第２撮像部９０１の撮像領域Ｂ２にカウンタ台１５１の荷受面１５２を含めた場合、第１撮像部１６４の撮像領域Ｂ１と第２撮像部９０１の撮像領域Ｂ２とが重なり合う部分が発生する。そのため、撮像領域Ｂ１と撮像領域Ｂ２とが重なり合っている領域に商品Ａがかざされた場合、第１撮像部１６４により取得されたフレーム画像および第２撮像部９０１により取得されたフレーム画像の両方に商品画像が含まれることとなる。この場合、特定部５０７は、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部９０１の撮像部ＩＤが付加されたフレーム画像のいずれに商品Ａの商品画像が含まれているか以って、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部９０１の撮像部ＩＤが付加されたフレーム画像のいずれから読取可能かを特定することはできない。
【００７０】
そこで、本実施形態では、特定部５０７は、商品画像が第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像に含まれかつ第２撮像部９０１の撮像部ＩＤが付加されたフレーム画像に含まれる場合には、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像から読取可能であることを特定する。一方、特定部５０７は、商品画像が第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像に含まれずかつ第２撮像部９０１の撮像部ＩＤが付加されたフレーム画像に含まれる場合には、商品Ａの商品ＩＤが、第２撮像部９０１の撮像部ＩＤが付加されたフレーム画像から読取可能であることを特定する。
【００７１】
このように本実施形態にかかるチェックアウトシステム１によれば、第２撮像部９０１がカウンタ台１５１の荷受面１５２側に向けた撮像領域Ｂ２を有することにより、第２撮像部９０１により取得されたフレーム画像の背景をある程度固定することができるので、第２撮像部９０１により取得されたフレーム画像から商品Ａの商品画像を検出する際の検出精度を向上させることができる。さらに、第１撮像部１６４により取得されたフレーム画像および第２撮像部９０１により取得されたフレーム画像のいずれに商品画像が含まれているかを判断する際の精度を向上させることができる。
【００７２】
（第３の実施形態）
本実施形態は、１つの撮像部によって、コードシンボルから商品ＩＤを読み取るための領域および商品画像から商品ＩＤを読み取るための領域を含むフレーム画像を取得するものである。なお、以下の説明では、第１の実施形態と同様の箇所については説明を省略し、第１の実施形態と異なる箇所についてのみ説明する。
【００７３】
図１０は、第３の実施形態にかかる商品読取装置の概略的な縦断側面図である。本実施形態にかかる撮像装置１６７は、第２撮像部１６８を有さず、第１撮像部１００１のみを有する。第１撮像部１００１は、第１有効範囲Ａ１および第２有効範囲Ａ２を撮像領域Ｂ３とするものである。本実施形態では、結像レンズ１１９の画角を調整することにより、第１撮像部１００１の撮像領域Ｂ３を、第１有効範囲Ａ１および第２有効範囲Ａ２を含むものとする。
【００７４】
ところで、本実施形態では、第１撮像部１００１により取得したフレーム画像に、コードシンボルから商品ＩＤを読み取るための画像（第１領域）および商品画像から商品ＩＤを読み取るための画像（第２領域）の両方が含まれることとなる。そのため、本実施形態においても、特定部５０７は、第２の実施形態と同様に、第１撮像部１００１の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８（９０１）の撮像部ＩＤが付加されたフレーム画像のいずれに商品Ａの商品画像が含まれているか以って、商品Ａの商品ＩＤが、第１撮像部１６４の撮像部ＩＤが付加されたフレーム画像および第２撮像部１６８の撮像部ＩＤが付加されたフレーム画像のいずれから読取可能かを特定することはできない。
【００７５】
そこで、本実施形態では、特定部５０７は、第１撮像部１００１により取得されたフレーム画像において、予め設定された領域（例えば、フレーム画像の下半分の領域）を、コードシンボルから商品ＩＤを読み取るための画像（第１領域）とし、当該予め設定された領域にのみ商品画像が含まれる場合には、商品Ａの商品ＩＤが領域１１０１（図１１参照）から読取可能であることを特定する。また、特定部５０７は、第１撮像部１００１により取得されたフレーム画像において、予め設定された領域（例えば、フレーム画像の上半分の領域）を、商品画像から商品ＩＤを読み取るための画像（第２領域）とし、当該予め設定された領域にのみ商品画像が含まれる場合には、商品Ａの商品ＩＤが領域１１０２（図１１参照）から読取可能であることを特定する。
【００７６】
図１１は、商品画像が含まれる領域を特定する処理を説明するための図である。本実施形態では、特定部５０７は、第１撮像部１００１により取得されたフレーム画像１１００において、フレーム画像１１００の下半分の領域１１０１を、コードシンボルから商品ＩＤを読み取るための画像（第１領域）とし、フレーム画像１１００の下半分の領域１１０１にのみ商品画像１１０４が含まれる場合には、商品Ａの商品ＩＤが領域１１０１から読取可能であることを特定する。一方、特定部５０７は、第１撮像部１００１により取得されたフレーム画像１１００において、フレーム画像１１００の上半分の領域１１０２を、商品画像から商品ＩＤを読み取るための画像（第２領域）とし、フレーム画像１１００の上半分の領域１１０２にのみ商品画像１１０４が含まれる場合には、商品Ａの商品ＩＤが、領域１１０２に含まれる商品画像１１０４から読取可能であることを特定する。
【００７７】
なお、第１撮像部１００１により取得されたフレーム画像１１００において、フレーム画像１１００の下半分の領域１１０１と、フレーム画像１１００の上半分の領域１１０２との境界１１０３に商品画像１１０４が存在する場合、特定部５０７は、商品Ａの商品ＩＤが、領域１１０１および領域１１０２の両方から読取可能であることを特定するものとする。
【００７８】
このように本実施形態にかかるチェックアウトシステム１によれば、コードシンボルから商品ＩＤを読み取るための領域および商品画像から商品ＩＤを読み取るための領域を含むフレーム画像を取得することにより、商品読取装置１０１をより安価に提供することができる。
【００７９】
本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００８０】
さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００８１】
本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各部（読取部５０４、認識部５０５、登録部５０６、特定部５０７、）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、読取部５０４、認識部５０５、登録部５０６、特定部５０７が主記憶装置上に生成されるようになっている。
【００８２】
本実施形態の商品読取装置１０１で実行されるプログラムは、上述した各部（取込部５０１、検出部５０２、出力部５０３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取込部５０１、検出部５０２、出力部５０３が主記憶装置上に生成されるようになっている。
【００８３】
なお、本実施形態においては、ＰＯＳ端末１１側に読取部５０４、認識部５０５、登録部５０６、特定部５０７を備えるようにしたが、これに限るものではなく、商品読取装置１０１側に読取部５０４、認識部５０５、登録部５０６、特定部５０７を備えるようにして一体的に構成しても良い。
【００８４】
また、本実施形態においては、商品読取装置１０１側に取込部５０１、検出部５０２を備えるようにしたが、これに限るものではなく、ＰＯＳ端末１１側に取込部５０１、検出部５０２を備えるようにして一体的に構成しても良い。この場合、ＰＯＳ端末１１が読取装置である。
【００８５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８６】
１１ ＰＯＳ端末
１０１ 商品読取装置
６１，１６１ ＣＰＵ
６２，１６２ ＲＯＭ
６３，１６３ ＲＡＭ
６４ ＨＤＤ
１０６ 表示デバイス
１６４，１００１ 第１撮像部
１６８，９０１ 第２撮像部
５０１ 取込部
５０２ 検出部
５０３ 出力部
５０４ 読取部
５０５ 認識部
５０７ 特定部
Ａ１ 第１有効範囲
Ａ２ 第２有効範囲
Ｂ１，Ｂ２ 撮像領域
【先行技術文献】
【特許文献】
【００８７】
【特許文献１】特開２０１１−７０３７６号公報
【特許請求の範囲】
【請求項１】
商品を撮像して画像を取得する撮像手段と、
前記撮像手段により取得された画像のうち、コードシンボルから商品情報を読み取るための第１領域および商品画像から商品情報を読み取るための第２領域のいずれの領域から商品情報を読取可能かを特定する特定手段と、
前記第１領域から商品情報を読取可能であることを特定した場合、前記撮像手段により取得された画像内のコードシンボルから商品情報を読み取る第１読取手段と、
前記第２領域から商品情報が読取可能であることを特定した場合、前記撮像手段により取得された画像から商品情報を読み取る第２読取手段と、
を備えた読取装置。
【請求項２】
前記特定手段は、前記第１領域および前記第２領域の両方から商品情報が読取可能である場合、所定のメッセージを報知した後、前記撮像手段により取得された画像のうち、前記第１領域および前記第２領域のいずれの領域から商品情報を読取可能かを特定する請求項１に記載の読取装置。
【請求項３】
前記特定手段は、前記第１領域および前記第２領域の両方から商品情報が読取可能である場合、前記第１領域および前記第２領域のうち予め設定された領域を選択し、当該選択した領域を商品情報を読取可能な領域として特定する請求項１に記載の読取装置。
【請求項４】
前記撮像手段は、所定のフレームレートで商品を撮像し、
前記特定手段は、前記第１領域および前記第２領域の両方から商品情報が読取可能である場合、前記第１領域および前記第２領域のうち商品画像が先に含まれた領域を選択し、当該選択した領域を商品情報を読取可能な領域として特定する請求項１に記載の読取装置。
【請求項５】
前記撮像手段は、前記第１領域の画像を取得する第１撮像手段と、前記第２領域の画像を取得する第２撮像手段と、を有し
前記第１読取手段は、前記第１撮像手段により取得された画像内のコードシンボルから商品情報を読み取り、
前記第２読取手段は、前記第２撮像手段により取得された画像内の商品画像から商品情報を読み取る請求項１から４のいずれか一に記載の読取装置。
【請求項６】
コンピュータを、
商品を撮像して取得された画像のうち、コードシンボルから商品情報を読み取るための第１領域および商品画像から商品情報を読み取るための第２領域のいずれの領域から商品情報を読取可能かを特定する特定手段と、
前記第１領域から商品情報を読取可能であることを特定した場合、前記取得された画像内のコードシンボルから商品情報を読み取る第１読取手段と、
前記第２領域から商品情報が読取可能であることを特定した場合、前記取得された画像から商品情報を読み取る第２読取手段と、
として機能させるためのプログラム。
【請求項１】
商品を撮像して画像を取得する撮像手段と、
前記撮像手段により取得された画像のうち、コードシンボルから商品情報を読み取るための第１領域および商品画像から商品情報を読み取るための第２領域のいずれの領域から商品情報を読取可能かを特定する特定手段と、
前記第１領域から商品情報を読取可能であることを特定した場合、前記撮像手段により取得された画像内のコードシンボルから商品情報を読み取る第１読取手段と、
前記第２領域から商品情報が読取可能であることを特定した場合、前記撮像手段により取得された画像から商品情報を読み取る第２読取手段と、
を備えた読取装置。
【請求項２】
前記特定手段は、前記第１領域および前記第２領域の両方から商品情報が読取可能である場合、所定のメッセージを報知した後、前記撮像手段により取得された画像のうち、前記第１領域および前記第２領域のいずれの領域から商品情報を読取可能かを特定する請求項１に記載の読取装置。
【請求項３】
前記特定手段は、前記第１領域および前記第２領域の両方から商品情報が読取可能である場合、前記第１領域および前記第２領域のうち予め設定された領域を選択し、当該選択した領域を商品情報を読取可能な領域として特定する請求項１に記載の読取装置。
【請求項４】
前記撮像手段は、所定のフレームレートで商品を撮像し、
前記特定手段は、前記第１領域および前記第２領域の両方から商品情報が読取可能である場合、前記第１領域および前記第２領域のうち商品画像が先に含まれた領域を選択し、当該選択した領域を商品情報を読取可能な領域として特定する請求項１に記載の読取装置。
【請求項５】
前記撮像手段は、前記第１領域の画像を取得する第１撮像手段と、前記第２領域の画像を取得する第２撮像手段と、を有し
前記第１読取手段は、前記第１撮像手段により取得された画像内のコードシンボルから商品情報を読み取り、
前記第２読取手段は、前記第２撮像手段により取得された画像内の商品画像から商品情報を読み取る請求項１から４のいずれか一に記載の読取装置。
【請求項６】
コンピュータを、
商品を撮像して取得された画像のうち、コードシンボルから商品情報を読み取るための第１領域および商品画像から商品情報を読み取るための第２領域のいずれの領域から商品情報を読取可能かを特定する特定手段と、
前記第１領域から商品情報を読取可能であることを特定した場合、前記取得された画像内のコードシンボルから商品情報を読み取る第１読取手段と、
前記第２領域から商品情報が読取可能であることを特定した場合、前記取得された画像から商品情報を読み取る第２読取手段と、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−８９０８８（Ｐ２０１３−８９０８８Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２３００７５（Ｐ２０１１−２３００７５）
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]