そろばん認識装置、そろばんの数値認識方法、そろばん認識システム、そろばんの数値認識プログラム及びコンピュータ可読媒体
【課題】 既存のそろばんでの入力結果を画像認識し、認識した画像データを下にコンピュータ可読媒体として変換できるそろばん認識装置を提供する。
【解決手段】 コンピュータシステムＰＣと、そろばん１、固定台２、撮像手段３とから構成され、そろばん１に表示された数値を、コンピュータシステムＰＣで数値データとして認識するためのそろばん認識装置は、入力手段からそろばんに表示された数値の認識指示を受けると、前記撮像手段からのそろばん画像を取り込み、取り込んだ画像からそろばんの各桁における１珠及び５珠の認識を行い、認識結果を数値として表示する。
【解決手段】 コンピュータシステムＰＣと、そろばん１、固定台２、撮像手段３とから構成され、そろばん１に表示された数値を、コンピュータシステムＰＣで数値データとして認識するためのそろばん認識装置は、入力手段からそろばんに表示された数値の認識指示を受けると、前記撮像手段からのそろばん画像を取り込み、取り込んだ画像からそろばんの各桁における１珠及び５珠の認識を行い、認識結果を数値として表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、そろばん認識装置、そろばんの数値認識方法、そろばん認識システム及びそろばんの数値認識プログラムに関する。また、本発明は、そろばんの数値認識プログラムか格納されたコンピュータ可読媒体に関する。
【背景技術】
【０００２】
そろばんは電卓やコンピュータシステムなどの普及によりその有用性が低くなっている。しかしながら、そろばんを使うことは計算技術の向上だけに止まらず、指先を器用にすると同時に脳を活性化させる効果があり、注目されている（非特許文献１）。
【０００３】
例えば、特許文献１には、誰でも自宅で好きな時間にそろばんを習得でき、実際のそろばんの試験や練習に近い形式で演習できるシステムを提供することを課題として、複数のユーザ（生徒側）端末と双方向に通信可能に接続するサーバ機（塾側）を利用するそろばんネットワークシステムを利用し、前記ユーザ端末にはそろばん問題を表示する手段と、そろばん問題の表示から前記そろばん問題の解答入力までの時間を計測する手段と、入力された前記そろばん問題の解答と前記解答時間を関連付けて記憶する手段と、前記解答、得点（正解率）および解答時間を含む成績をサーバ機に送信する手段とを設け、前記サーバ機には複数のユーザの前記成績を記憶する手段と、適宜にユーザの成績を並び替え成績リストを作成する手段を設けることによって、自宅でそろばんの習得ができるようにしたものが記載されている。
【特許文献１】特開２００２−２２９４３６号公報（全文）
【非特許文献１】http://www.soroban.com/index_jp.html （平成１８年１０月３１日検索）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のシステムでは、そろばんで演算した結果を入力手段を通じてコンピュータに入力する方式であり、例えば、解答を得てから再びコンピュータシステムに入力する必要があった。そのため、そろばんで演算したものをわざわざ入力し直す手間がかかるとともに、入力ミスや、演習問題の演算から入力までのタイムラグなど解決すべき課題が残る。
さらに、特許文献１のシステムでは、そろばんでの入力結果を、そのまま入力装置として使用することができない。
【０００５】
従って、本発明の課題は、既存のそろばんでの入力結果を画像認識し、認識した画像データを下にコンピュータ可読媒体として変換できるそろばん認識装置を提供することである。
本発明の別の課題は、そろばんをコンピュータの入力手段として提供することである。
本発明の更に別の課題は、そろばんの演算結果をそのまま用いたそろばんの教育システムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決する本発明は、以下の項目に関する。
〔１〕 中央演算子、一時記憶装置、記憶装置、入力手段、表示手段を少なくとも有すコンピュータシステムと、そろばん、前記そろばんを固定するための固定手段、前記そろばんを撮像し、撮像したそろばんの画像を前記コンピュータシステムに画像データとして入力する撮像手段とから構成され、前記そろばんに表示された数値を、前記コンピュータシステムで数値データとして認識するためのそろばん認識装置であって、
前記そろばん認識装置は、
前記入力手段から、そろばんに表示された数値の認識指示を受けると、前記撮像手段からのそろばん画像を取り込み、
取り込んだ画像からそろばんの各桁における１珠及び５珠
の認識を行い、
認識結果を数値として表示することを特徴とする、そろばん認識装置。
【０００７】
〔２〕 前記そろばん認識装置は、そろばんの数値を認識するのに先立って、前記そろばんの定位点の位置を含む前記撮像手段からの画像に基づいて、そろばんの位置をキャリブレーションすることを特徴とする〔１〕に記載のそろばん認識装置。
【０００８】
〔３〕 前記そろばん認識装置は、珠の色と判断される点だけを色付けた二値画像を作成し、それを元に前記1珠、前記5珠の認識を行うことを特徴とする〔1〕または〔２〕に記載のそろばん認識装置。
【０００９】
〔４〕 前記１珠の認識を、出力画像の各桁において、領域０〜４で色付けされた点の総数をそれぞれカウントし、最も点の数が少ない前記領域のうちの一領域に珠がないと認識することを特徴とする〔１〕から〔３〕のいずれか１項に記載のそろばん認識装置。
【００１０】
〔５〕 前記５珠の認識を各桁における出力画像においてエリア１およびエリア２における色付けされた点の総数をそれぞれカウントし、点の数が多いほうに珠があると認識することを特徴とする〔１〕から〔４〕のいずれか１項に記載のそろばん認識装置。
【００１１】
〔６〕 前記そろばん認識装置は、さらに
音声または画面表示により、数値を表示する数値データ出力し、
音声または画面表示により、四則演算を表示する四則演算出力し、
数値データの出力と四則演算を繰り返し、
四則演算の終了を音声又は画面表示により示し、そして
演算結果を数値として記憶する、読み上げ・演算手段を有しており、
演算結果と数値認識結果とを照合して、適否を判断する
ことを特徴とする〔１〕から〔５〕のいずれか１項に記載のそろばん認識装置。
【００１２】
〔７〕 〔１〕から〔６〕のいずれか１項に記載のそろばん認識装置において、そろばんに表示された数値をコンピュータ可読データとして認識するそろばんの数値認識方法であって、
（１） 前記入力装置から数値認識指示を前記コンピュータシステムに送信する工程と、
（２） 前記撮像手段により前記そろばんを画像データとして撮像する工程と、
（３） 前記撮像手段により撮像された画像データを前記記憶装置に取り込む工程と、
（４） 前記取り込んだ画像データから第一桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（５） 前記取り込んだ画像データから第一桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（６） 前記第一桁目に１珠と５珠の数値を合計し、合計した数値を第一桁目の数値として記憶する工程と、
（７） 前記取り込んだ画像データから第二桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（８） 前記取り込んだ画像データから第二桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（９） 前記第二桁目に１珠と５珠の数値を合計し、合計した数値を第二桁目の数値として記憶する工程と、
（10） 前記取り込んだ画像データから第n桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（11） 前記取り込んだ画像データから第n桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
(12) 前記記憶した第一桁から第ｎ桁までの数値からそろばんに表示された数値を算出する工程と、
を含むことを特徴とする、そろばんの数値認識方法。
【００１３】
〔８〕 〔１〕から〔６〕のいずれか１項に記載のそろばん認識装置において、そろばんに表示された数値をコンピュータ可読データとして認識するそろばんの数値認識プログラムであって、
（１） 前記入力装置から数値認識指示を前記コンピュータシステムに送信する工程と、
（２） 前記撮像手段により前記そろばんを画像データとして撮像する工程と、
（３） 前記撮像手段により撮像された画像データを前記記憶装置に取り込む工程と、
（４） 前記取り込んだ画像データから第一桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（５） 前記取り込んだ画像データから第一桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（６） 前記第一桁目に１珠と５珠の数値を合計し、合計した数値を第一桁目の数値として記憶する工程と、
（７） 前記取り込んだ画像データから第二桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（８） 前記取り込んだ画像データから第二桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（９） 前記第二桁目に１珠と５珠の数値を合計し、合計した数値を第二桁目の数値として記憶する工程と、
（１０） 前記取り込んだ画像データから第n桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（１１） 前記取り込んだ画像データから第n桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
(１２) 前記記憶した第一桁から第ｎ桁までの数値からそろばんに表示された数値を算出する工程と、
を実行することを含むことを特徴とする、そろばんの数値認識プログラム。
〔９〕 〔８〕に記載のプログラムを含むコンピュータ可読媒体。
【００１４】
〔１０〕 音声または画面表示により、数値を表示する数値データ出力し、
音声または画面表示により、四則演算を表示する四則演算出力し、
数値データの出力と四則演算を繰り返し、
四則演算の終了を音声又は画面表示により示し、そして
演算結果を数値として記憶する、読み上げ・演算手段と、
四則演算の終了を示した後の時間を計測する時間計測手段と
を有するサーバと、前記サーバと通信回線を介して接続可能な複数の〔１〕から〔４〕のいずれか１項に記載のそろばん認識装置と
から構成された、そろばん認識システムであって、
前記サーバは、前記そろばん認識装置からの認識結果に要する時間、演算結果の適否を判断することを特徴とするそろばん認識システム。
【００１５】
〔１１〕 コンピュータ可読のそろばんの画像データから５珠の位置を認識するそろばん認識方法であって、
前記画像において桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ以内である領域であるエリア１と桁から珠の幅の半分以内の距離で、枠からの距離が珠の高さ以内である領域エリア２における色付けされた点の総数をそれぞれカウントし、エリア１に点の数が多い場合には５珠は下にあると判定し、エリア２に点の数が多い場合には５珠は上であると判定することを特徴とするそろばんの数値認識方法。
【００１６】
〔１２〕 コンピュータ可読のそろばんの画像データから１珠の位置を認識するそろばん認識方法であって、
各桁での1珠の空きのある位置を一番上の領域０、二番目の領域１、三番目の領域２、四番目の領域３および一番下の領域４とし、
前記画像において、領域０から領域４における色付けされた点の総数をそれぞれカウントし、最も点の数が少ない場所が珠のない位置と認識する、認識した領域の番号により判定することを特徴とするそろばんの数値認識方法。
【発明の効果】
【００１７】
本発明によると、簡単な構成で、そろばんで表示した結果をコンピュータ可読データとして認識可能である。従って、そろばんを用いた教育、そろばんを数値入力装置として使用、そろばんを用いたイベント等の各種用途に適用可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を添付図面に基づいて説明する。しかしながら、本発明は以下の実施の形態に限定されず幅広く適用可能である。
図１は、本発明のそろばん認識装置の概略を示す概略図であり、図２は、本発明のそろばん認識装置におけるコンピュータシステムを示す概略図であり、図３は本発明のそろばん認識装置で用いるそろばんを示した上面図であり、図４は、本発明のそろばん認識装置における固定手段を示す図面であって、図４（ａ）は上面図、図４（ｂ）は、側面図である。
【００１９】
図１に示す通り、本発明のそろばん認識装置は、コンピュータシステムＰＣと、そろばん１と、前記そろばん１を固定するための固定手段である固定台２と、前記そろばんを撮像し、撮像したそろばんの画像を前記コンピュータシステムに画像データとして入力する撮像手段３とから構成され、ユーザＵがそろばん１で計算した数値（そろばん上に表示された数値）を、前記コンピュータシステムＰＣで数値データとして認識する装置である。そして、コンピュータシステムＰＣと撮像手段３とはケーブルＣで接続されている。
【００２０】
コンピュータシステム（電子計算機ともいう）ＰＣは、図２に示す通り少なくとも中央演算子、一時記憶装置等の制御装置、ハードディスク等の記憶装置、認識の開始を指示するための入力手段、表示手段を有する通常のコンピュータシステムであり、オペレーティングシステムにより動作可能である。また、本発明の好ましい実施形態ではモデム、ルータ等を介して電子データを通信することが可能である。
【００２１】
そろばん１は、図３に示す通り、従来から使用されているそろばんであって、外枠である枠１１内に水平方向に設けられた梁１２と垂直方向に複数設けられた桁１５と各桁の梁で区切られた下側に各々４個づつ設けられた１珠１４と各桁の梁で区切られた上側に１個設けられた５珠１３から構成されている。
【００２２】
固定台２は、図４に示す通り、そろばん１と撮像手段３を各々固定するための手段であり、そろばん１を固定しかつ、後述する撮像手段３をそろばんの全体またはその一部を撮像できる位置に固定する。そろばんと画像入力装置を固定する台である。図４に示す例では、そろばん１をクリップなどの固定手段により固定している。そろばん１を操作するとそろばん１の位置が多かれ少なかれ移動したり回転したりするが、固定台２によって撮像手段３がそろばん１に追随して移動、回転するので、撮像手段３が取得する画像が移動、回転することがなくなる。画像が移動、回転しないために、撮像手段３であるカメラの重みやユーザＵの負荷によって形状が変わらない剛性があるものであれば、素材は特に限定されるものではない。
【００２３】
撮像手段３は、そろばん１の珠の位置を読み取るための元画像を取得するための装置であって、取得した画像はデジタルRGBデータである。取得した画像はケーブルＣを介してコンピュータＰＣへ転送され、認識処理される。本発明に使用できる撮像手段３は、上記の効果が得られるものであれば特に限定されないが、入手が容易でありなおかつ安価であるＵＳＢ接続のWEBカメラが例示される。
【００２４】
本発明の認識装置において、コンピュータシステムPCは、コンピュータシステムにおける入力手段からそろばん１に表示された数値の認識指示を受けると、前記入力手段からのそろばん１の撮像手段を介して画像を取り込み、取り込んだ画像からそろばん１の各桁における１珠及び５珠の認識を行い、認識結果を数値として表示するものである。
【００２５】
(動作：認識方法)
以下、本発明のそろばん認識装置におけるそろばん１で表示された数値を認識する認識方法を図５〜図７に基づいて説明する。図５は、本発明のそろばん認識装置の動作を示すフローチャートであり、図６は、本発明における５珠の認識方法を示す図面であり、そして図７は、本発明における１珠の認識方法を示す図面である。
【００２６】
なお、以下の動作例では、そろばんの教育装置としての実施形態を示すが、本発明はこのような特定の実施形態に限定されるものではなく幅広く適用されるものである。例えば、後述するようにそろばんの認識結果を数値入力装置としたり、本発明のそろばん認識装置をネットワークを介して使用したりすることも本発明の範囲内である。
【００２７】
図５に示す通り、まず、初期化処理を行う（Ｓ１）。初期化処理は、初期パラメータの設定、ウィンドウなどのディスプレイへの表示、問題の入力、正解の作成、入力画像と同じサイズの出力画像を作成する。
【００２８】
なお、所望に応じて、そろばんの数値を認識するのに先立って、前記そろばんの定位点の位置を含む前記撮像手段からの画像に基づいて、そろばんの位置をキャリブレーションすることもできる。定位点とは、そろばんの梁に３桁毎に付された印をいい、この定位点のいずれかを計算する際の基準点（１桁目）として使用する。
そのため、この基準点をどれであるかを認識することが好ましい。
【００２９】
Ｓ１で初期化が終了した後に、待ち受け処理を行う（Ｓ２）。待ち受け処理とは、ユーザからの終了通知を受け付けるための処理である。すなわち、そろばんで計算の終了後に認識を開始させる指示を行う。この終了通知は例えば入力手段により終了通知を行うことにより発生する。具体的には、終了通知を指示するためのボタンを入力装置として設けて、そのボタンを押すことなどで発生する。あるいは、撮像手段に所定の合図（ジェスチャ）を入力することにより終了通知を発生させることも可能である。終了通知を受け取ると、出力画像初期化（Ｓ３）に移行する。
【００３０】
次いで、撮像手段からＲＧＢデータとして画像を受けとり、メモリ上に確保する（入力画像取得：Ｓ４）。
【００３１】
そして、メモリ上に確保された入力画像の全画素あるいは一部でHSVデータなどに変換し、そのデータが珠の色データに近い場合は、出力画像のその点を色付けた二値画像を作成する（出力画像に珠の部分のみ転送：Ｓ５）。この操作を数回繰り返すことにより画像入力装置での突発的なノイズを抑え安定した出力画像を作成することができる。また珠の色データはあらかじめ設定しておくことも、実行時に珠の位置から取得することもできる。
【００３２】
出力画像で色づけされた箇所から縦方向の並びを認識して、それを桁の位置とする（桁の位置を認識：Ｓ6）
【００３３】
各桁で5珠の位置と、1珠の空きのある位置を認識する（Ｓ７）。なお、5珠の位置と、1珠の空きのある位置の認識は、いずれを先におこなってもよい。
各桁での5珠の位置は、図６に示す通り、上であるか下であるかの2通りであり、その判定は、例えば次の通り行うことができる。
【００３４】
出力画像においてエリア１およびエリア２における色付けされた点の総数をそれぞれカウントし、点の数が多いほうに珠があると認識する。なお、エリア１とは、桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ以内である領域である（図６における左のWxHの領域）。一方、エリア２とは桁から珠の幅の半分以内の距離で、枠からの距離が珠の高さ以内である領域である（図６における右のWxHの領域）。
【００３５】
珠のある位置がエリア１であれば5珠は下であると認識し（＋５）、一方エリア２であれば5珠は上である（＋０）と認識する。
【００３６】
一方、各桁での1珠の空きのある位置は図７に示す通り、0(一番上)〜4(一番下)の5通りであり、その判定は以下のように行う。
【００３７】
出力画像において領域０〜４における色付けされた点の総数をそれぞれカウントし、最も点の数が少ない場所が珠のない位置と認識する。具体的には、領域０は、桁から珠の幅の半分以内の距離で、梁からの距離が空きの高さ以内である領域であり、領域０と判定した場合、数値＋０をカウントする。
【００３８】
領域１は、桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ以上、珠の高さ＋空きの高さ以内である領域であり、領域１と判定した場合、数値＋１をカウントする。
【００３９】
領域２は、桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ×２以上、珠の高さ×２＋空きの高さ以内である領域であり、領域２と判定した場合、数値＋２をカウントする。
【００４０】
領域３は、桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ×３以上、珠の高さ×３＋空きの高さ以内である領域であり、領域３と判定した場合、数値＋３をカウントする。
【００４１】
領域４は、桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ×４以上、珠の高さ×４＋空きの高さ以内である領域であり、領域４と判定した場合、数値＋４をカウントする。
【００４２】
ついで、このような認識結果に基づいて、数値変換を行う（Ｓ８）。
各桁の5珠の位置および1珠の空きのある位置の認識結果を元に以下のような処理を行うことで数値へと変換する
１． 認識結果の数値を初期化 Num←0
２． 左端からの桁数を初期化Ki←0
３． Ki < 総桁数なら4へ、それ以外は8へ移行する。
４． 桁Kiでの1珠の空きの位置(0〜4)を加える。
Num←Num+(0〜4)。
５． 桁Kiでの5珠の位置が下であれば5を加える。
Num←Num+5。
６． 一桁くり上げる。
Num←Num×10。
Ki←Ki+1
７． 3に戻る。
８． 余分な桁上がりを戻す
Num←Num ÷10
９． このときのNumが認識結果の数値である
問題が与えられている場合、認識結果の数値と正解を比較し、正誤を判定する
【００４３】
このようにして、認識した結果を出力する。例えば、認識して、変換した結果得られた数値をディスプレイに出力することができる。そして、例えば特許文献１に記載の通り、問題が与えられている場合、その回答の正解・不正解および要した時間を出力する機能を持つことができる。
またディスプレイだけでなくクリップボードなど他の数値を扱うソフトウェア、例えば表計算ソフトウェアなどで使用できる形式で出力する機能を持つことができる。
【００４４】
以上説明した、本発明のそろばん認識装置は、種々の形態で適用することが可能である。例えば、本発明のそろばん認識装置をそろばんの教育装置として適用することが可能である。
【００４５】
例えば、コンピュータシステム上にそろばんの読み上げソフトウェアを導入して正解率、正解までに要する時間等の成績を記録することが可能である。
具体的には、音声または画面表示により、数値を表示する数値データ出力し、音声または画面表示により、四則演算を表示する四則演算出力し、数値データの出力と四則演算を繰り返し、四則演算の終了を音声又は画面表示により示し、そして演算結果を数値として記憶する、読み上げ・演算を行うプログラムを前記コンピュータシステムに導入し、演算結果と数値認識結果とを照合して、適否を判断することによって実施することができる。
【００４６】
この場合、数値および四則演算は、音声であっても画面上に表示される数字であってもよく、当該技術分野に周知の方法、例えば特許文献１に記載の方法でユーザに提示することができる。
【００４７】
また、本発明のより好ましい実施形態では、問題が出題されてから解答に要する時間を計測し、計測時間を成績として記録することも可能である。
また、本発明の別の好ましい実施形態では、問題が出題されてから所定時間のタイマー表示を行い、所定時間経過後に自動的に本発明による認識処理を行うことも可能である。この場合には、認識指示が自動的に行うことが可能であるというメリットも有している。
【００４８】
本発明のさらに別の好ましい実施形態では、そろばんの技術を競い合うコンテストに応用することが可能である。
具体的には、インターネット等の通信回線を介してそろばんの技術を競い合うコンテストに適用することが可能である。すなわち、場所を問わず、通信機能を有する本発明のそろばん認識装置を有する多数の人が同時にそろばんを操作し、その速度および正解・不正解を判断するのに本発明のそろばん認識装置を用いることが可能である。
【００４９】
そろばんの技術を競う場合、一般にそろばんをはじき終わってそろばんから手を離すまでの時間の速さと審判員による正誤の判定で評価がなされる。しかしその方法では一度にたくさんの参加者がある場合、特に会場が参加者によって異なる場合に、だれが一番速かったか判定するのが困難である。さらに正誤の判定を行うためにたくさんの審判員または時間が必要となる。
【００５０】
従来技術ではそこで参加者がそろばんをはじき終わった結果からその数値をPCにテンキーなどで入力して、その結果を1台のサーバに送信するという方法が考えられる。これにより、サーバへ送信した時刻からは速さが、入力した値からは正解・不正解が判断できる。
【００５１】
しかしこの方法ではPCに入力するための時間がかかり、そろばんのみの速さを競うことができない。また、PCへの入力時に誤った入力をしてしまう可能性もある。
これに対して、本発明のそろばん認識装置を用いた場合には、そろばんの操作終了を通知（例えばボタン押下など）したタイミングで、そろばんをカメラで撮影してその画像データを取り込み、その珠の位置を認識して数値に変換することが可能である。
【００５２】
そのための本発明のそろばん認識装置を用いることでPCへ入力するための時間もかからず、しかも自動なので誤った入力をすることがなくなる。これによりたくさんの参加者がたくさんの会場にいるケースでも正確な判定が行えるようになる。
【００５３】
この場合、前述の通りの問題を出題し、解答の集計を行う機能をサーバに持たせ、これらのサーバにコンテント参加者である本発明のそろばん認識装置を有するユーザが通信回線を用いてアクセスする。参加者全員に同じ問題が提示されコンテストがスタートする。
各参加者はその問題にそろばんで計算して終わったときに終了通知を行う。すると認識ソフトウェアによってPC上の数値に変換され、サーバにデータを送信する。サーバに送るデータは、そろばんを認識した結果の数値および終了通知を行った時刻、ID／名前など識別子で構成される。サーバは正解のもので終了通知を行った時刻が早いものから順にランキング付けして表示する。
【００５４】
また、本発明のそろばん認識装置は、既存のそろばんを置き換えるものではなく、既存のそろばんをそのまま用いて本発明のそろばん認識装置を構成することが可能であるという利点を有している。
【００５５】
本発明の技術的思想の中心となるところは、珠の位置を画像から認識するところにあり、そろばんのような数値を表現するものだけに止まらず、珠の位置によってABCといった文字を表現するといった用途にも応用が考えられる。また5珠と1珠を組み合わせた日本で一般的に普及しているそろばんだけでなく、珠の位置で数値を表現するものであれば、同様に本提案システムを適用することができる。また画像の入力にはカメラを用いたが他にも画像を取得できるものであれば同様に適用できるものである。
【図面の簡単な説明】
【００５６】
【図１】本発明のそろばん認識装置の概略を示す概略図である。
【図２】本発明のそろばん認識装置におけるコンピュータシステムを示す概略図である。
【図３】本発明のそろばん認識装置で用いるそろばんを示した上面図である。
【図４】本発明のそろばん認識装置における固定手段を示す図面であって、図４（ａ）は上面図、図４（ｂ）は、側面図である。
【図５】本発明のそろばん認識装置の動作を示すフローチャートである。
【図６】本発明における５珠の認識方法を示す図面である。
【図７】本発明における１珠の認識方法を示す図面である。
【符号の説明】
【００５７】
ＰＣ コンピュータシステム
Ｕ ユーザ
１ そろばん
２ 固定手段
３ 撮像手段
【技術分野】
【０００１】
本発明は、そろばん認識装置、そろばんの数値認識方法、そろばん認識システム及びそろばんの数値認識プログラムに関する。また、本発明は、そろばんの数値認識プログラムか格納されたコンピュータ可読媒体に関する。
【背景技術】
【０００２】
そろばんは電卓やコンピュータシステムなどの普及によりその有用性が低くなっている。しかしながら、そろばんを使うことは計算技術の向上だけに止まらず、指先を器用にすると同時に脳を活性化させる効果があり、注目されている（非特許文献１）。
【０００３】
例えば、特許文献１には、誰でも自宅で好きな時間にそろばんを習得でき、実際のそろばんの試験や練習に近い形式で演習できるシステムを提供することを課題として、複数のユーザ（生徒側）端末と双方向に通信可能に接続するサーバ機（塾側）を利用するそろばんネットワークシステムを利用し、前記ユーザ端末にはそろばん問題を表示する手段と、そろばん問題の表示から前記そろばん問題の解答入力までの時間を計測する手段と、入力された前記そろばん問題の解答と前記解答時間を関連付けて記憶する手段と、前記解答、得点（正解率）および解答時間を含む成績をサーバ機に送信する手段とを設け、前記サーバ機には複数のユーザの前記成績を記憶する手段と、適宜にユーザの成績を並び替え成績リストを作成する手段を設けることによって、自宅でそろばんの習得ができるようにしたものが記載されている。
【特許文献１】特開２００２−２２９４３６号公報（全文）
【非特許文献１】http://www.soroban.com/index_jp.html （平成１８年１０月３１日検索）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のシステムでは、そろばんで演算した結果を入力手段を通じてコンピュータに入力する方式であり、例えば、解答を得てから再びコンピュータシステムに入力する必要があった。そのため、そろばんで演算したものをわざわざ入力し直す手間がかかるとともに、入力ミスや、演習問題の演算から入力までのタイムラグなど解決すべき課題が残る。
さらに、特許文献１のシステムでは、そろばんでの入力結果を、そのまま入力装置として使用することができない。
【０００５】
従って、本発明の課題は、既存のそろばんでの入力結果を画像認識し、認識した画像データを下にコンピュータ可読媒体として変換できるそろばん認識装置を提供することである。
本発明の別の課題は、そろばんをコンピュータの入力手段として提供することである。
本発明の更に別の課題は、そろばんの演算結果をそのまま用いたそろばんの教育システムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決する本発明は、以下の項目に関する。
〔１〕 中央演算子、一時記憶装置、記憶装置、入力手段、表示手段を少なくとも有すコンピュータシステムと、そろばん、前記そろばんを固定するための固定手段、前記そろばんを撮像し、撮像したそろばんの画像を前記コンピュータシステムに画像データとして入力する撮像手段とから構成され、前記そろばんに表示された数値を、前記コンピュータシステムで数値データとして認識するためのそろばん認識装置であって、
前記そろばん認識装置は、
前記入力手段から、そろばんに表示された数値の認識指示を受けると、前記撮像手段からのそろばん画像を取り込み、
取り込んだ画像からそろばんの各桁における１珠及び５珠
の認識を行い、
認識結果を数値として表示することを特徴とする、そろばん認識装置。
【０００７】
〔２〕 前記そろばん認識装置は、そろばんの数値を認識するのに先立って、前記そろばんの定位点の位置を含む前記撮像手段からの画像に基づいて、そろばんの位置をキャリブレーションすることを特徴とする〔１〕に記載のそろばん認識装置。
【０００８】
〔３〕 前記そろばん認識装置は、珠の色と判断される点だけを色付けた二値画像を作成し、それを元に前記1珠、前記5珠の認識を行うことを特徴とする〔1〕または〔２〕に記載のそろばん認識装置。
【０００９】
〔４〕 前記１珠の認識を、出力画像の各桁において、領域０〜４で色付けされた点の総数をそれぞれカウントし、最も点の数が少ない前記領域のうちの一領域に珠がないと認識することを特徴とする〔１〕から〔３〕のいずれか１項に記載のそろばん認識装置。
【００１０】
〔５〕 前記５珠の認識を各桁における出力画像においてエリア１およびエリア２における色付けされた点の総数をそれぞれカウントし、点の数が多いほうに珠があると認識することを特徴とする〔１〕から〔４〕のいずれか１項に記載のそろばん認識装置。
【００１１】
〔６〕 前記そろばん認識装置は、さらに
音声または画面表示により、数値を表示する数値データ出力し、
音声または画面表示により、四則演算を表示する四則演算出力し、
数値データの出力と四則演算を繰り返し、
四則演算の終了を音声又は画面表示により示し、そして
演算結果を数値として記憶する、読み上げ・演算手段を有しており、
演算結果と数値認識結果とを照合して、適否を判断する
ことを特徴とする〔１〕から〔５〕のいずれか１項に記載のそろばん認識装置。
【００１２】
〔７〕 〔１〕から〔６〕のいずれか１項に記載のそろばん認識装置において、そろばんに表示された数値をコンピュータ可読データとして認識するそろばんの数値認識方法であって、
（１） 前記入力装置から数値認識指示を前記コンピュータシステムに送信する工程と、
（２） 前記撮像手段により前記そろばんを画像データとして撮像する工程と、
（３） 前記撮像手段により撮像された画像データを前記記憶装置に取り込む工程と、
（４） 前記取り込んだ画像データから第一桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（５） 前記取り込んだ画像データから第一桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（６） 前記第一桁目に１珠と５珠の数値を合計し、合計した数値を第一桁目の数値として記憶する工程と、
（７） 前記取り込んだ画像データから第二桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（８） 前記取り込んだ画像データから第二桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（９） 前記第二桁目に１珠と５珠の数値を合計し、合計した数値を第二桁目の数値として記憶する工程と、
（10） 前記取り込んだ画像データから第n桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（11） 前記取り込んだ画像データから第n桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
(12) 前記記憶した第一桁から第ｎ桁までの数値からそろばんに表示された数値を算出する工程と、
を含むことを特徴とする、そろばんの数値認識方法。
【００１３】
〔８〕 〔１〕から〔６〕のいずれか１項に記載のそろばん認識装置において、そろばんに表示された数値をコンピュータ可読データとして認識するそろばんの数値認識プログラムであって、
（１） 前記入力装置から数値認識指示を前記コンピュータシステムに送信する工程と、
（２） 前記撮像手段により前記そろばんを画像データとして撮像する工程と、
（３） 前記撮像手段により撮像された画像データを前記記憶装置に取り込む工程と、
（４） 前記取り込んだ画像データから第一桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（５） 前記取り込んだ画像データから第一桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（６） 前記第一桁目に１珠と５珠の数値を合計し、合計した数値を第一桁目の数値として記憶する工程と、
（７） 前記取り込んだ画像データから第二桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（８） 前記取り込んだ画像データから第二桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（９） 前記第二桁目に１珠と５珠の数値を合計し、合計した数値を第二桁目の数値として記憶する工程と、
（１０） 前記取り込んだ画像データから第n桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（１１） 前記取り込んだ画像データから第n桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
(１２) 前記記憶した第一桁から第ｎ桁までの数値からそろばんに表示された数値を算出する工程と、
を実行することを含むことを特徴とする、そろばんの数値認識プログラム。
〔９〕 〔８〕に記載のプログラムを含むコンピュータ可読媒体。
【００１４】
〔１０〕 音声または画面表示により、数値を表示する数値データ出力し、
音声または画面表示により、四則演算を表示する四則演算出力し、
数値データの出力と四則演算を繰り返し、
四則演算の終了を音声又は画面表示により示し、そして
演算結果を数値として記憶する、読み上げ・演算手段と、
四則演算の終了を示した後の時間を計測する時間計測手段と
を有するサーバと、前記サーバと通信回線を介して接続可能な複数の〔１〕から〔４〕のいずれか１項に記載のそろばん認識装置と
から構成された、そろばん認識システムであって、
前記サーバは、前記そろばん認識装置からの認識結果に要する時間、演算結果の適否を判断することを特徴とするそろばん認識システム。
【００１５】
〔１１〕 コンピュータ可読のそろばんの画像データから５珠の位置を認識するそろばん認識方法であって、
前記画像において桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ以内である領域であるエリア１と桁から珠の幅の半分以内の距離で、枠からの距離が珠の高さ以内である領域エリア２における色付けされた点の総数をそれぞれカウントし、エリア１に点の数が多い場合には５珠は下にあると判定し、エリア２に点の数が多い場合には５珠は上であると判定することを特徴とするそろばんの数値認識方法。
【００１６】
〔１２〕 コンピュータ可読のそろばんの画像データから１珠の位置を認識するそろばん認識方法であって、
各桁での1珠の空きのある位置を一番上の領域０、二番目の領域１、三番目の領域２、四番目の領域３および一番下の領域４とし、
前記画像において、領域０から領域４における色付けされた点の総数をそれぞれカウントし、最も点の数が少ない場所が珠のない位置と認識する、認識した領域の番号により判定することを特徴とするそろばんの数値認識方法。
【発明の効果】
【００１７】
本発明によると、簡単な構成で、そろばんで表示した結果をコンピュータ可読データとして認識可能である。従って、そろばんを用いた教育、そろばんを数値入力装置として使用、そろばんを用いたイベント等の各種用途に適用可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を添付図面に基づいて説明する。しかしながら、本発明は以下の実施の形態に限定されず幅広く適用可能である。
図１は、本発明のそろばん認識装置の概略を示す概略図であり、図２は、本発明のそろばん認識装置におけるコンピュータシステムを示す概略図であり、図３は本発明のそろばん認識装置で用いるそろばんを示した上面図であり、図４は、本発明のそろばん認識装置における固定手段を示す図面であって、図４（ａ）は上面図、図４（ｂ）は、側面図である。
【００１９】
図１に示す通り、本発明のそろばん認識装置は、コンピュータシステムＰＣと、そろばん１と、前記そろばん１を固定するための固定手段である固定台２と、前記そろばんを撮像し、撮像したそろばんの画像を前記コンピュータシステムに画像データとして入力する撮像手段３とから構成され、ユーザＵがそろばん１で計算した数値（そろばん上に表示された数値）を、前記コンピュータシステムＰＣで数値データとして認識する装置である。そして、コンピュータシステムＰＣと撮像手段３とはケーブルＣで接続されている。
【００２０】
コンピュータシステム（電子計算機ともいう）ＰＣは、図２に示す通り少なくとも中央演算子、一時記憶装置等の制御装置、ハードディスク等の記憶装置、認識の開始を指示するための入力手段、表示手段を有する通常のコンピュータシステムであり、オペレーティングシステムにより動作可能である。また、本発明の好ましい実施形態ではモデム、ルータ等を介して電子データを通信することが可能である。
【００２１】
そろばん１は、図３に示す通り、従来から使用されているそろばんであって、外枠である枠１１内に水平方向に設けられた梁１２と垂直方向に複数設けられた桁１５と各桁の梁で区切られた下側に各々４個づつ設けられた１珠１４と各桁の梁で区切られた上側に１個設けられた５珠１３から構成されている。
【００２２】
固定台２は、図４に示す通り、そろばん１と撮像手段３を各々固定するための手段であり、そろばん１を固定しかつ、後述する撮像手段３をそろばんの全体またはその一部を撮像できる位置に固定する。そろばんと画像入力装置を固定する台である。図４に示す例では、そろばん１をクリップなどの固定手段により固定している。そろばん１を操作するとそろばん１の位置が多かれ少なかれ移動したり回転したりするが、固定台２によって撮像手段３がそろばん１に追随して移動、回転するので、撮像手段３が取得する画像が移動、回転することがなくなる。画像が移動、回転しないために、撮像手段３であるカメラの重みやユーザＵの負荷によって形状が変わらない剛性があるものであれば、素材は特に限定されるものではない。
【００２３】
撮像手段３は、そろばん１の珠の位置を読み取るための元画像を取得するための装置であって、取得した画像はデジタルRGBデータである。取得した画像はケーブルＣを介してコンピュータＰＣへ転送され、認識処理される。本発明に使用できる撮像手段３は、上記の効果が得られるものであれば特に限定されないが、入手が容易でありなおかつ安価であるＵＳＢ接続のWEBカメラが例示される。
【００２４】
本発明の認識装置において、コンピュータシステムPCは、コンピュータシステムにおける入力手段からそろばん１に表示された数値の認識指示を受けると、前記入力手段からのそろばん１の撮像手段を介して画像を取り込み、取り込んだ画像からそろばん１の各桁における１珠及び５珠の認識を行い、認識結果を数値として表示するものである。
【００２５】
(動作：認識方法)
以下、本発明のそろばん認識装置におけるそろばん１で表示された数値を認識する認識方法を図５〜図７に基づいて説明する。図５は、本発明のそろばん認識装置の動作を示すフローチャートであり、図６は、本発明における５珠の認識方法を示す図面であり、そして図７は、本発明における１珠の認識方法を示す図面である。
【００２６】
なお、以下の動作例では、そろばんの教育装置としての実施形態を示すが、本発明はこのような特定の実施形態に限定されるものではなく幅広く適用されるものである。例えば、後述するようにそろばんの認識結果を数値入力装置としたり、本発明のそろばん認識装置をネットワークを介して使用したりすることも本発明の範囲内である。
【００２７】
図５に示す通り、まず、初期化処理を行う（Ｓ１）。初期化処理は、初期パラメータの設定、ウィンドウなどのディスプレイへの表示、問題の入力、正解の作成、入力画像と同じサイズの出力画像を作成する。
【００２８】
なお、所望に応じて、そろばんの数値を認識するのに先立って、前記そろばんの定位点の位置を含む前記撮像手段からの画像に基づいて、そろばんの位置をキャリブレーションすることもできる。定位点とは、そろばんの梁に３桁毎に付された印をいい、この定位点のいずれかを計算する際の基準点（１桁目）として使用する。
そのため、この基準点をどれであるかを認識することが好ましい。
【００２９】
Ｓ１で初期化が終了した後に、待ち受け処理を行う（Ｓ２）。待ち受け処理とは、ユーザからの終了通知を受け付けるための処理である。すなわち、そろばんで計算の終了後に認識を開始させる指示を行う。この終了通知は例えば入力手段により終了通知を行うことにより発生する。具体的には、終了通知を指示するためのボタンを入力装置として設けて、そのボタンを押すことなどで発生する。あるいは、撮像手段に所定の合図（ジェスチャ）を入力することにより終了通知を発生させることも可能である。終了通知を受け取ると、出力画像初期化（Ｓ３）に移行する。
【００３０】
次いで、撮像手段からＲＧＢデータとして画像を受けとり、メモリ上に確保する（入力画像取得：Ｓ４）。
【００３１】
そして、メモリ上に確保された入力画像の全画素あるいは一部でHSVデータなどに変換し、そのデータが珠の色データに近い場合は、出力画像のその点を色付けた二値画像を作成する（出力画像に珠の部分のみ転送：Ｓ５）。この操作を数回繰り返すことにより画像入力装置での突発的なノイズを抑え安定した出力画像を作成することができる。また珠の色データはあらかじめ設定しておくことも、実行時に珠の位置から取得することもできる。
【００３２】
出力画像で色づけされた箇所から縦方向の並びを認識して、それを桁の位置とする（桁の位置を認識：Ｓ6）
【００３３】
各桁で5珠の位置と、1珠の空きのある位置を認識する（Ｓ７）。なお、5珠の位置と、1珠の空きのある位置の認識は、いずれを先におこなってもよい。
各桁での5珠の位置は、図６に示す通り、上であるか下であるかの2通りであり、その判定は、例えば次の通り行うことができる。
【００３４】
出力画像においてエリア１およびエリア２における色付けされた点の総数をそれぞれカウントし、点の数が多いほうに珠があると認識する。なお、エリア１とは、桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ以内である領域である（図６における左のWxHの領域）。一方、エリア２とは桁から珠の幅の半分以内の距離で、枠からの距離が珠の高さ以内である領域である（図６における右のWxHの領域）。
【００３５】
珠のある位置がエリア１であれば5珠は下であると認識し（＋５）、一方エリア２であれば5珠は上である（＋０）と認識する。
【００３６】
一方、各桁での1珠の空きのある位置は図７に示す通り、0(一番上)〜4(一番下)の5通りであり、その判定は以下のように行う。
【００３７】
出力画像において領域０〜４における色付けされた点の総数をそれぞれカウントし、最も点の数が少ない場所が珠のない位置と認識する。具体的には、領域０は、桁から珠の幅の半分以内の距離で、梁からの距離が空きの高さ以内である領域であり、領域０と判定した場合、数値＋０をカウントする。
【００３８】
領域１は、桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ以上、珠の高さ＋空きの高さ以内である領域であり、領域１と判定した場合、数値＋１をカウントする。
【００３９】
領域２は、桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ×２以上、珠の高さ×２＋空きの高さ以内である領域であり、領域２と判定した場合、数値＋２をカウントする。
【００４０】
領域３は、桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ×３以上、珠の高さ×３＋空きの高さ以内である領域であり、領域３と判定した場合、数値＋３をカウントする。
【００４１】
領域４は、桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ×４以上、珠の高さ×４＋空きの高さ以内である領域であり、領域４と判定した場合、数値＋４をカウントする。
【００４２】
ついで、このような認識結果に基づいて、数値変換を行う（Ｓ８）。
各桁の5珠の位置および1珠の空きのある位置の認識結果を元に以下のような処理を行うことで数値へと変換する
１． 認識結果の数値を初期化 Num←0
２． 左端からの桁数を初期化Ki←0
３． Ki < 総桁数なら4へ、それ以外は8へ移行する。
４． 桁Kiでの1珠の空きの位置(0〜4)を加える。
Num←Num+(0〜4)。
５． 桁Kiでの5珠の位置が下であれば5を加える。
Num←Num+5。
６． 一桁くり上げる。
Num←Num×10。
Ki←Ki+1
７． 3に戻る。
８． 余分な桁上がりを戻す
Num←Num ÷10
９． このときのNumが認識結果の数値である
問題が与えられている場合、認識結果の数値と正解を比較し、正誤を判定する
【００４３】
このようにして、認識した結果を出力する。例えば、認識して、変換した結果得られた数値をディスプレイに出力することができる。そして、例えば特許文献１に記載の通り、問題が与えられている場合、その回答の正解・不正解および要した時間を出力する機能を持つことができる。
またディスプレイだけでなくクリップボードなど他の数値を扱うソフトウェア、例えば表計算ソフトウェアなどで使用できる形式で出力する機能を持つことができる。
【００４４】
以上説明した、本発明のそろばん認識装置は、種々の形態で適用することが可能である。例えば、本発明のそろばん認識装置をそろばんの教育装置として適用することが可能である。
【００４５】
例えば、コンピュータシステム上にそろばんの読み上げソフトウェアを導入して正解率、正解までに要する時間等の成績を記録することが可能である。
具体的には、音声または画面表示により、数値を表示する数値データ出力し、音声または画面表示により、四則演算を表示する四則演算出力し、数値データの出力と四則演算を繰り返し、四則演算の終了を音声又は画面表示により示し、そして演算結果を数値として記憶する、読み上げ・演算を行うプログラムを前記コンピュータシステムに導入し、演算結果と数値認識結果とを照合して、適否を判断することによって実施することができる。
【００４６】
この場合、数値および四則演算は、音声であっても画面上に表示される数字であってもよく、当該技術分野に周知の方法、例えば特許文献１に記載の方法でユーザに提示することができる。
【００４７】
また、本発明のより好ましい実施形態では、問題が出題されてから解答に要する時間を計測し、計測時間を成績として記録することも可能である。
また、本発明の別の好ましい実施形態では、問題が出題されてから所定時間のタイマー表示を行い、所定時間経過後に自動的に本発明による認識処理を行うことも可能である。この場合には、認識指示が自動的に行うことが可能であるというメリットも有している。
【００４８】
本発明のさらに別の好ましい実施形態では、そろばんの技術を競い合うコンテストに応用することが可能である。
具体的には、インターネット等の通信回線を介してそろばんの技術を競い合うコンテストに適用することが可能である。すなわち、場所を問わず、通信機能を有する本発明のそろばん認識装置を有する多数の人が同時にそろばんを操作し、その速度および正解・不正解を判断するのに本発明のそろばん認識装置を用いることが可能である。
【００４９】
そろばんの技術を競う場合、一般にそろばんをはじき終わってそろばんから手を離すまでの時間の速さと審判員による正誤の判定で評価がなされる。しかしその方法では一度にたくさんの参加者がある場合、特に会場が参加者によって異なる場合に、だれが一番速かったか判定するのが困難である。さらに正誤の判定を行うためにたくさんの審判員または時間が必要となる。
【００５０】
従来技術ではそこで参加者がそろばんをはじき終わった結果からその数値をPCにテンキーなどで入力して、その結果を1台のサーバに送信するという方法が考えられる。これにより、サーバへ送信した時刻からは速さが、入力した値からは正解・不正解が判断できる。
【００５１】
しかしこの方法ではPCに入力するための時間がかかり、そろばんのみの速さを競うことができない。また、PCへの入力時に誤った入力をしてしまう可能性もある。
これに対して、本発明のそろばん認識装置を用いた場合には、そろばんの操作終了を通知（例えばボタン押下など）したタイミングで、そろばんをカメラで撮影してその画像データを取り込み、その珠の位置を認識して数値に変換することが可能である。
【００５２】
そのための本発明のそろばん認識装置を用いることでPCへ入力するための時間もかからず、しかも自動なので誤った入力をすることがなくなる。これによりたくさんの参加者がたくさんの会場にいるケースでも正確な判定が行えるようになる。
【００５３】
この場合、前述の通りの問題を出題し、解答の集計を行う機能をサーバに持たせ、これらのサーバにコンテント参加者である本発明のそろばん認識装置を有するユーザが通信回線を用いてアクセスする。参加者全員に同じ問題が提示されコンテストがスタートする。
各参加者はその問題にそろばんで計算して終わったときに終了通知を行う。すると認識ソフトウェアによってPC上の数値に変換され、サーバにデータを送信する。サーバに送るデータは、そろばんを認識した結果の数値および終了通知を行った時刻、ID／名前など識別子で構成される。サーバは正解のもので終了通知を行った時刻が早いものから順にランキング付けして表示する。
【００５４】
また、本発明のそろばん認識装置は、既存のそろばんを置き換えるものではなく、既存のそろばんをそのまま用いて本発明のそろばん認識装置を構成することが可能であるという利点を有している。
【００５５】
本発明の技術的思想の中心となるところは、珠の位置を画像から認識するところにあり、そろばんのような数値を表現するものだけに止まらず、珠の位置によってABCといった文字を表現するといった用途にも応用が考えられる。また5珠と1珠を組み合わせた日本で一般的に普及しているそろばんだけでなく、珠の位置で数値を表現するものであれば、同様に本提案システムを適用することができる。また画像の入力にはカメラを用いたが他にも画像を取得できるものであれば同様に適用できるものである。
【図面の簡単な説明】
【００５６】
【図１】本発明のそろばん認識装置の概略を示す概略図である。
【図２】本発明のそろばん認識装置におけるコンピュータシステムを示す概略図である。
【図３】本発明のそろばん認識装置で用いるそろばんを示した上面図である。
【図４】本発明のそろばん認識装置における固定手段を示す図面であって、図４（ａ）は上面図、図４（ｂ）は、側面図である。
【図５】本発明のそろばん認識装置の動作を示すフローチャートである。
【図６】本発明における５珠の認識方法を示す図面である。
【図７】本発明における１珠の認識方法を示す図面である。
【符号の説明】
【００５７】
ＰＣ コンピュータシステム
Ｕ ユーザ
１ そろばん
２ 固定手段
３ 撮像手段
【特許請求の範囲】
【請求項１】
中央演算子、一時記憶装置、記憶装置、入力手段、表示手段を少なくとも有すコンピュータシステムと、そろばん、前記そろばんを固定するための固定手段、前記そろばんを撮像し、撮像したそろばんの画像を前記コンピュータシステムに画像データとして入力する撮像手段とから構成され、前記そろばんに表示された数値を、前記コンピュータシステムで数値データとして認識するためのそろばん認識装置であって、
前記そろばん認識装置は、
前記入力手段から、そろばんに表示された数値の認識指示を受けると、前記撮像手段からのそろばん画像を取り込み、
取り込んだ画像からそろばんの各桁における１珠及び５珠
の認識を行い、
認識結果を数値として表示することを特徴とする、そろばん認識装置。
【請求項２】
前記そろばん認識装置は、そろばんの数値を認識するのに先立って、前記そろばんの定位点の位置を含む前記撮像手段からの画像に基づいて、そろばんの位置をキャリブレーションすることを特徴とする請求項１に記載のそろばん認識装置。
【請求項３】
前記そろばん認識装置は、珠の色と判断される点だけを色付けた二値画像を作成し、それを元に前記1珠、前記5珠の認識を行うことを特徴とする請求項1または請求項２に記載のそろばん認識装置。
【請求項４】
前記１珠の認識を、出力画像の各桁において、領域０〜４で色付けされた点の総数をそれぞれカウントし、最も点の数が少ない前記領域のうちの一領域に珠がないと認識することを特徴とする請求項１から請求項３のいずれか１項に記載のそろばん認識装置。
【請求項５】
前記５珠の認識を各桁における出力画像においてエリア１およびエリア２における色付けされた点の総数をそれぞれカウントし、点の数が多いほうに珠があると認識することを特徴とする請求項１から請求項４のいずれか１項に記載のそろばん認識装置。
【請求項６】
前記そろばん認識装置は、さらに
音声または画面表示により、数値を表示する数値データ出力し、
音声または画面表示により、四則演算を表示する四則演算出力し、
数値データの出力と四則演算を繰り返し、
四則演算の終了を音声又は画面表示により示し、そして
演算結果を数値として記憶する、読み上げ・演算手段を有しており、
演算結果と数値認識結果とを照合して、適否を判断する
ことを特徴とする請求項１から請求項５のいずれか１項に記載のそろばん認識装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載のそろばん認識装置において、そろばんに表示された数値をコンピュータ可読データとして認識するそろばんの数値認識方法であって、
（１） 前記入力装置から数値認識指示を前記コンピュータシステムに送信する工程と、
（２） 前記撮像手段により前記そろばんを画像データとして撮像する工程と、
（３） 前記撮像手段により撮像された画像データを前記記憶装置に取り込む工程と、
（４） 前記取り込んだ画像データから第一桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（５） 前記取り込んだ画像データから第一桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（６） 前記第一桁目に１珠と５珠の数値を合計し、合計した数値を第一桁目の数値として記憶する工程と、
（７） 前記取り込んだ画像データから第二桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（８） 前記取り込んだ画像データから第二桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（９） 前記第二桁目に１珠と５珠の数値を合計し、合計した数値を第二桁目の数値として記憶する工程と、
（10） 前記取り込んだ画像データから第n桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（11） 前記取り込んだ画像データから第n桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
(12) 前記記憶した第一桁から第ｎ桁までの数値からそろばんに表示された数値を算出する工程と、
を含むことを特徴とする、そろばんの数値認識方法。
【請求項８】
請求項１から請求項６のいずれか１項に記載のそろばん認識装置において、そろばんに表示された数値をコンピュータ可読データとして認識するそろばんの数値認識プログラムであって、
（１） 前記入力装置から数値認識指示を前記コンピュータシステムに送信する工程と、
（２） 前記撮像手段により前記そろばんを画像データとして撮像する工程と、
（３） 前記撮像手段により撮像された画像データを前記記憶装置に取り込む工程と、
（４） 前記取り込んだ画像データから第一桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（５） 前記取り込んだ画像データから第一桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（６） 前記第一桁目に１珠と５珠の数値を合計し、合計した数値を第一桁目の数値として記憶する工程と、
（７） 前記取り込んだ画像データから第二桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（８） 前記取り込んだ画像データから第二桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（９） 前記第二桁目に１珠と５珠の数値を合計し、合計した数値を第二桁目の数値として記憶する工程と、
（１０） 前記取り込んだ画像データから第n桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（１１） 前記取り込んだ画像データから第n桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
(１２) 前記記憶した第一桁から第ｎ桁までの数値からそろばんに表示された数値を算出する工程と、
を実行することを含むことを特徴とする、そろばんの数値認識プログラム。
【請求項９】
請求項８に記載のプログラムを含むコンピュータ可読媒体。
【請求項１０】
音声または画面表示により、数値を表示する数値データ出力し、
音声または画面表示により、四則演算を表示する四則演算出力し、
数値データの出力と四則演算を繰り返し、
四則演算の終了を音声又は画面表示により示し、そして
演算結果を数値として記憶する、読み上げ・演算手段と、
四則演算の終了を示した後の時間を計測する時間計測手段と
を有するサーバと、前記サーバと通信回線を介して接続可能な複数の請求項１から請求項４のいずれか１項に記載のそろばん認識装置と
から構成された、そろばん認識システムであって、
前記サーバは、前記そろばん認識装置からの認識結果に要する時間、演算結果の適否を判断することを特徴とするそろばん認識システム。
【請求項１１】
コンピュータ可読のそろばんの画像データから５珠の位置を認識するそろばん認識方法であって、
前記画像において桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ以内である領域であるエリア１と桁から珠の幅の半分以内の距離で、枠からの距離が珠の高さ以内である領域エリア２における色付けされた点の総数をそれぞれカウントし、エリア１に点の数が多い場合には５珠は下にあると判定し、エリア２に点の数が多い場合には５珠は上であると判定することを特徴とするそろばんの数値認識方法。
【請求項１２】
コンピュータ可読のそろばんの画像データから１珠の位置を認識するそろばん認識方法であって、
各桁での1珠の空きのある位置を一番上の領域０、二番目の領域１、三番目の領域２、四番目の領域３および一番下の領域４とし、
前記画像において、領域０から領域４における色付けされた点の総数をそれぞれカウントし、最も点の数が少ない場所が珠のない位置と認識する、認識した領域の番号により判定することを特徴とするそろばんの数値認識方法。
【請求項１】
中央演算子、一時記憶装置、記憶装置、入力手段、表示手段を少なくとも有すコンピュータシステムと、そろばん、前記そろばんを固定するための固定手段、前記そろばんを撮像し、撮像したそろばんの画像を前記コンピュータシステムに画像データとして入力する撮像手段とから構成され、前記そろばんに表示された数値を、前記コンピュータシステムで数値データとして認識するためのそろばん認識装置であって、
前記そろばん認識装置は、
前記入力手段から、そろばんに表示された数値の認識指示を受けると、前記撮像手段からのそろばん画像を取り込み、
取り込んだ画像からそろばんの各桁における１珠及び５珠
の認識を行い、
認識結果を数値として表示することを特徴とする、そろばん認識装置。
【請求項２】
前記そろばん認識装置は、そろばんの数値を認識するのに先立って、前記そろばんの定位点の位置を含む前記撮像手段からの画像に基づいて、そろばんの位置をキャリブレーションすることを特徴とする請求項１に記載のそろばん認識装置。
【請求項３】
前記そろばん認識装置は、珠の色と判断される点だけを色付けた二値画像を作成し、それを元に前記1珠、前記5珠の認識を行うことを特徴とする請求項1または請求項２に記載のそろばん認識装置。
【請求項４】
前記１珠の認識を、出力画像の各桁において、領域０〜４で色付けされた点の総数をそれぞれカウントし、最も点の数が少ない前記領域のうちの一領域に珠がないと認識することを特徴とする請求項１から請求項３のいずれか１項に記載のそろばん認識装置。
【請求項５】
前記５珠の認識を各桁における出力画像においてエリア１およびエリア２における色付けされた点の総数をそれぞれカウントし、点の数が多いほうに珠があると認識することを特徴とする請求項１から請求項４のいずれか１項に記載のそろばん認識装置。
【請求項６】
前記そろばん認識装置は、さらに
音声または画面表示により、数値を表示する数値データ出力し、
音声または画面表示により、四則演算を表示する四則演算出力し、
数値データの出力と四則演算を繰り返し、
四則演算の終了を音声又は画面表示により示し、そして
演算結果を数値として記憶する、読み上げ・演算手段を有しており、
演算結果と数値認識結果とを照合して、適否を判断する
ことを特徴とする請求項１から請求項５のいずれか１項に記載のそろばん認識装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載のそろばん認識装置において、そろばんに表示された数値をコンピュータ可読データとして認識するそろばんの数値認識方法であって、
（１） 前記入力装置から数値認識指示を前記コンピュータシステムに送信する工程と、
（２） 前記撮像手段により前記そろばんを画像データとして撮像する工程と、
（３） 前記撮像手段により撮像された画像データを前記記憶装置に取り込む工程と、
（４） 前記取り込んだ画像データから第一桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（５） 前記取り込んだ画像データから第一桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（６） 前記第一桁目に１珠と５珠の数値を合計し、合計した数値を第一桁目の数値として記憶する工程と、
（７） 前記取り込んだ画像データから第二桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（８） 前記取り込んだ画像データから第二桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（９） 前記第二桁目に１珠と５珠の数値を合計し、合計した数値を第二桁目の数値として記憶する工程と、
（10） 前記取り込んだ画像データから第n桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（11） 前記取り込んだ画像データから第n桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
(12) 前記記憶した第一桁から第ｎ桁までの数値からそろばんに表示された数値を算出する工程と、
を含むことを特徴とする、そろばんの数値認識方法。
【請求項８】
請求項１から請求項６のいずれか１項に記載のそろばん認識装置において、そろばんに表示された数値をコンピュータ可読データとして認識するそろばんの数値認識プログラムであって、
（１） 前記入力装置から数値認識指示を前記コンピュータシステムに送信する工程と、
（２） 前記撮像手段により前記そろばんを画像データとして撮像する工程と、
（３） 前記撮像手段により撮像された画像データを前記記憶装置に取り込む工程と、
（４） 前記取り込んだ画像データから第一桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（５） 前記取り込んだ画像データから第一桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（６） 前記第一桁目に１珠と５珠の数値を合計し、合計した数値を第一桁目の数値として記憶する工程と、
（７） 前記取り込んだ画像データから第二桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（８） 前記取り込んだ画像データから第二桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（９） 前記第二桁目に１珠と５珠の数値を合計し、合計した数値を第二桁目の数値として記憶する工程と、
（１０） 前記取り込んだ画像データから第n桁目の１珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
（１１） 前記取り込んだ画像データから第n桁目の５珠を数値として認識し、認識した結果を数値データとして記憶する工程と、
(１２) 前記記憶した第一桁から第ｎ桁までの数値からそろばんに表示された数値を算出する工程と、
を実行することを含むことを特徴とする、そろばんの数値認識プログラム。
【請求項９】
請求項８に記載のプログラムを含むコンピュータ可読媒体。
【請求項１０】
音声または画面表示により、数値を表示する数値データ出力し、
音声または画面表示により、四則演算を表示する四則演算出力し、
数値データの出力と四則演算を繰り返し、
四則演算の終了を音声又は画面表示により示し、そして
演算結果を数値として記憶する、読み上げ・演算手段と、
四則演算の終了を示した後の時間を計測する時間計測手段と
を有するサーバと、前記サーバと通信回線を介して接続可能な複数の請求項１から請求項４のいずれか１項に記載のそろばん認識装置と
から構成された、そろばん認識システムであって、
前記サーバは、前記そろばん認識装置からの認識結果に要する時間、演算結果の適否を判断することを特徴とするそろばん認識システム。
【請求項１１】
コンピュータ可読のそろばんの画像データから５珠の位置を認識するそろばん認識方法であって、
前記画像において桁から珠の幅の半分以内の距離で、梁からの距離が珠の高さ以内である領域であるエリア１と桁から珠の幅の半分以内の距離で、枠からの距離が珠の高さ以内である領域エリア２における色付けされた点の総数をそれぞれカウントし、エリア１に点の数が多い場合には５珠は下にあると判定し、エリア２に点の数が多い場合には５珠は上であると判定することを特徴とするそろばんの数値認識方法。
【請求項１２】
コンピュータ可読のそろばんの画像データから１珠の位置を認識するそろばん認識方法であって、
各桁での1珠の空きのある位置を一番上の領域０、二番目の領域１、三番目の領域２、四番目の領域３および一番下の領域４とし、
前記画像において、領域０から領域４における色付けされた点の総数をそれぞれカウントし、最も点の数が少ない場所が珠のない位置と認識する、認識した領域の番号により判定することを特徴とするそろばんの数値認識方法。
【図３】
【図４】
【図５】
【図６】
【図７】
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図１】
【図２】
【公開番号】特開２００８−１２３４２１（Ｐ２００８−１２３４２１Ａ）
【公開日】平成２０年５月２９日（２００８．５．２９）
【国際特許分類】
【出願番号】特願２００６−３０９０１０（Ｐ２００６−３０９０１０）
【出願日】平成１８年１１月１５日（２００６．１１．１５）
【出願人】（５９２１６１３７２）日本システムウエア株式会社 (31)
【Ｆターム（参考）】
【公開日】平成２０年５月２９日（２００８．５．２９）
【国際特許分類】
【出願日】平成１８年１１月１５日（２００６．１１．１５）
【出願人】（５９２１６１３７２）日本システムウエア株式会社 (31)
【Ｆターム（参考）】
[ Back to top ]