画像データの処理方法、プログラム、および端末装置
【課題】画像から取得した数値情報を測定器または身体データの種別ごとに区別する。
【解決手段】画像データの処理方法は、捕捉された画像データを記憶装置(114)に格納させ(500)、画像データから数値情報を抽出し(518)、画像データから形状的特徴を抽出し(520)、記憶装置に格納された、複数の身体データ測定器各々の表示部に関する複数の形状的特徴の中から、抽出された形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された種別に基づいて数値情報によって表される測定データを決定し、決定された種別に対応付けて測定データを記憶装置に格納する(522,524)こと、を含む。
【解決手段】画像データの処理方法は、捕捉された画像データを記憶装置(114)に格納させ(500)、画像データから数値情報を抽出し(518)、画像データから形状的特徴を抽出し(520)、記憶装置に格納された、複数の身体データ測定器各々の表示部に関する複数の形状的特徴の中から、抽出された形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された種別に基づいて数値情報によって表される測定データを決定し、決定された種別に対応付けて測定データを記憶装置に格納する(522,524)こと、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データから数値情報を抽出する処理に関する。
【背景技術】
【０００２】
例えば個人の食事画像のような生活（ライフ）上の個人的な記録またはログを、ネットワークを介してサーバに蓄積してサーバに管理させることが知られている。また、例えば健康管理のために、測定機器を用いて測定された個人の身体データ（例えば、体重、体温、血圧、等）を、ネットワークを介してサーバに蓄積してサーバに管理させことが知られている。
【０００３】
既知のデータ測定および記録システムは、ディジタル測定器と、測定されたディジタル情報をパソコン・キーボード・インタフェースの情報に変換して出力するデータ読取装置と、パソコンとを含んでいる。パソコンは、その変換して出力されたパソコン・キーボード・インタフェースの情報を、テキスト・エディタで記録する。データ読取装置は、表示された測定値を撮影するビデオカメラと、ビデオ信号−ＲＧＢ変換部と、水平位置設定発信回路と、垂直・水平位置設定同期部とを含んでいる。データ読取装置は、さらに、明暗判断値設定スイッチと、設定位置明暗信号抽出部と、設定確認モニタと、明暗判断部と、明暗信号バッファと、明暗信号−数値変換部と、パソコン・キーボード・インタフェース変換部とを含んでいる。データ読取装置は、測定器に表示された測定値の画像を解析して、画像中の測定値を取得する。
【０００４】
測定器に無線機能を組み込み、例えば体重、血圧、等の身体データをその測定器で測定してその測定値をパーソナル・コンピュータに無線で転送して格納し、さらに、その測定値をネットワークを介してサーバに送信して蓄積してサーバに管理させるサービスが知られている。
【０００５】
既知の或るネットワーク・システムにおいて、機器が、その機器を特定するための第１の情報を含む第１の通知を管理サーバへ送信し、管理サーバが、画像パターンの種別を含む第２の通知を機器へ送信し、機器が第２の通知内の画像パターンを自身の有する表示画面に表示する。管理サーバは、機器が表示した画像パターンの探索を指示するための第３の通知をカメラ・サーバへ送信し、カメラ・サーバは撮影を指示するための第４の通知をカメラへ送信する。カメラは、第４の通知に応じて機器が表示した画像パターンを撮影すると、その撮影画像をカメラ・サーバへ送信する。カメラ・サーバは、撮影画像を評価して、カメラを特定するための第２の情報、及び、その評価の結果を含む第５の通知を、管理サーバに送信する。管理サーバは、第５の通知を受信すると、評価の結果に基づいて、第１の情報と第２の情報を対応付けて格納する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１２９７６号公報
【特許文献２】特開２００８−２１１４１２号公報
【非特許文献】
【０００７】
【非特許文献１】正藤慶一、“インテル、体重や血圧をパソコン上で管理する新サービスを公開〜「コンティニュア」の統一規格で異なるメーカーも通信可”、[online]、平成２１年４月１５日、Impress Watch 、[平成２３年３月４日検索]、インターネット<http://kaden.watch.impress.co.jp/docs/news/20090415_125414.html>
【発明の概要】
【発明が解決しようとする課題】
【０００８】
通常の身体に関する測定データをサーバが管理するサービスでは、ユーザがパーソナル・コンピュータでまたはそのキーボードで測定データを入力する。さらに、上述の既知のデータ測定および記録システムでは、測定器に表示された測定値の画像を解析して画像中の測定値を取得することができる。しかし、上述の既知のデータ測定および記録システムでは、画像から抽出された測定データが、例えば体温、血圧、等の身体データのいずれの測定データかを区別することができず、従って異なる複数の種別の測定データを管理することができない。
【０００９】
また、上述の既知のサービスでは、特定の測定器で測定したデータをユーザの入力操作なしで、サーバに無線で転送してサーバで管理することはできる。しかし、異なる測定器で測定した異なる複数の種別の身体データを、ユーザの入力操作なしで区別して、サーバが一元的に管理することはできない。
【００１０】
発明者は、ユーザによるデータの入力操作なしで、様々な身体データを区別して管理するために、画像から取得した測定値を測定器または身体データの種別ごとに区別できるようにすると有利である、と認識した。
【００１１】
実施形態の目的は、画像から取得した数値情報を測定器または身体データの種別ごとに区別できるようにすることである。
実施形態の別の目的は、ユーザによってデータの入力操作を行うことなく、異なる身体データを区別して管理することができるようにすることである。
【課題を解決するための手段】
【００１２】
実施形態の一観点によれば、情報処理装置が、捕捉された画像データを記憶装置に格納させ、その画像データから数値情報を抽出し、その画像データから形状的特徴を抽出し、その記憶装置に格納された、複数の身体データ測定器各々の表示部に関する複数の形状的特徴の中から、抽出されたその形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定されたその種別に基づいてその数値情報によって表される測定データを決定し、決定された種別に対応付けて測定データを記憶装置に格納する処理を実行する、画像データの処理方法が提供される。
【発明の効果】
【００１３】
実施形態の一観点によれば、画像から取得した数値情報を測定器または身体データの種別ごとに区別することができ、ユーザによってデータの入力操作を行うことなく、異なる身体データを区別して管理することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施形態による、ネットワークを介して接続されるサーバ装置、情報処理端末および携帯端末を含むシステムの例を示している。
【図２】図２は、図１の情報処理端末の概略的な構成（configuration）の例を示している。
【図３】図３は、図１の携帯端末の概略的な構成（configuration）の例を示している。
【図４】図４は、情報処理端末または携帯端末のプロセッサの概略的な構成（configuration）の例を示している。
【図５】図５は、情報処理端末または携帯端末のメモリまたはハードディスク・ドライブに格納される測定器のリストの例を示している。
【図６】図６は、情報処理端末または携帯端末のメモリまたはハードディスク・ドライブに格納される、図５における測定項目のリストの例を示している。
【図７】図７Ａは、表示領域を含む体温計の例を示している。図７Ｂは、カメラまたは撮像部によって撮影された図７Ａの体温計の表示領域の画像の例を示している。図７Ｃは、プロセッサによって抽出された図７Ｂの画像における数字の列とそれぞれの数字の外接矩形（破線）の例を示している。図７Ｄは、セグメントに対応する各画素グループの外接矩形（破線）の例を示している。
【図８】図８Ａは、表示領域を含む体重計の例を示している。図８Ｂは、カメラまたは撮像部によって撮影された図８Ａの体重計の表示領域の画像の例を示している。図８Ｃは、プロセッサによって抽出された図８Ｂの画像における数字の列とそれぞれの数字の外接矩形の例を示している。
【図９】図９Ａは、表示領域を含む血圧計の例を示している。図９Ｂは、カメラまたは撮像部によって撮影された図９Ａの血圧計の表示領域の画像の例を示している。
【図１０】図１０Ａは、表示領域を含む別の血圧計の例を示している。図１０Ｂは、カメラまたは撮像部によって撮影された図１０Ａの血圧計の表示領域の画像の例を示している。
【図１１】図１１は、情報処理端末または携帯端末のプロセッサによって実行される、測定値の表示画像の撮影からサーバ装置への測定データの送信までの処理のためのフローチャートの例を示している。
【図１２Ａ】図１２Ａおよび１２Ｂは、図１１のステップ５０２における測定器の表示部の画像を含む画像のノイズを除去する処理のためのフローチャートの例を示している。
【図１２Ｂ】(図12Aで説明)
【図１３】図１３は、図１１のステップ５０４における画像のフレームの画素をグループ化する処理のためのフローチャートの例を示している。
【図１４】図１４は、画像のフレームにおいて、表示領域の画素のグループ化の例を示している。
【図１５】図１５は、図１４の表示領域の画素に関するラベル番号、統計的情報、認識された数字を含むラベル・テーブルの例を示している。
【図１６Ａ】図１６Ａ〜１６Ｄは、図１３のステップ６７０のラベル付けの処理のためのフローチャートの例を示している。
【図１６Ｂ】(図16Aで説明)
【図１６Ｃ】(図16Aで説明)
【図１６Ｄ】(図16Aで説明)
【図１７】図１７は、図１６Ａ〜１６Ｃのステップ７８０におけるラベル・テーブルの登録の処理のためのフローチャートの例を示している。
【図１８】図１８は、図１１のステップ５０８における環状を表す画素グループを判定する処理のためのフローチャートの例を示している。
【図１９】図１９は、図１１のステップ５１０における表示領域の表示枠を表す画素グループを抽出する処理のためのフローチャートの例を示している。
【図２０】図２０は、図１１のステップ５１２における表示枠を表す画素グループの内側の画素グループを抽出する処理のためのフローチャートの例を示している。
【図２１Ａ】図２１Ａおよび２１Ｂは、図１１のステップ５１４における隣接関係にある画素グループを結合する処理のためのフローチャートの例を示している。
【図２１Ｂ】(図21Aで説明)
【図２２】図２２Ａは、２つの画素グループの外接矩形が位置的に部分的に重なる例を示している。図２２Ｂは、２つの画素グループの各々を３つの領域のブロックに分割する例を示している。
【図２３】図２３は、図１１のステップ５１６における画像の傾きを補正する処理のためのフローチャートの例を示している。
【図２４】図２４Ａおよび２４Ｂは、画像の傾きの補正の例を示している。
【図２５】図２５は、図１１のステップ５１８における認識された数字の列を抽出する処理のためのフローチャートの例を示している。
【図２６】図２６は、図１１のステップ５２０における使用測定器の表示部に固有の特徴またはパラメータを抽出する処理のためのフローチャートの例を示している。
【図２７】図２７は、図１１のステップ５２２における、抽出された表示部の特徴に対応する測定項目と、抽出された数字列によって表される測定値とを決定する処理のためのフローチャートの例を示している。
【図２８】図２８Ａは、表示部上の測定項目と測定値の表示の例を示している。図２８Ｂは、表示部上の測定項目と測定値の表示の別の例を示している。
【図２９】図２９は、情報処理端末または携帯端末の表示部に表示される測定データの履歴データの表示画面の例を示している。
【発明を実施するための形態】
【００１５】
発明の目的および利点は、請求の範囲に具体的に記載された構成要素および組み合わせによって実現され達成される。
前述の一般的な説明および以下の詳細な説明は、典型例および説明のためのものであって、本発明を限定するためのものではない、と理解される。
【００１６】
本発明の非限定的な実施形態を、図面を参照して説明する。図面において、同様のコンポーネントおよび要素には同じ参照番号が付されている。
【００１７】
既知のデータ測定および記録システムによって画像から抽出された測定値を、ネットワークを介してサーバに送信してサーバで管理することが考えられる。しかし、既知のデータ測定および記録システムでは、画像から抽出された測定データが、例えば体温または血圧、等の身体データのいずれの測定データかを区別することができず、従って異なる複数の種別の測定データを管理することができない。また、既知のサービスでは、異なる測定器で測定した様々な種別の身体データを、ユーザの入力操作なしで区別して、サーバにおいて一元的に管理することはできない。
【００１８】
発明者は、ユーザによるデータの入力操作なしで、様々な身体データを区別して管理するために、画像から取得した測定値を身体データの種別ごとに区別できるようにすると有利である、と認識した。また、発明者は、一般的なユーザが使用する測定器の種類は限られており、測定器ごとの測定値の表示画像の寸法形状的な特徴および測定項目のデータ形式に関する情報を予め取得することは容易である、と認識した。また、発明者は、測定値の表示画像における数字の列（数値情報）を正しく認識できれば、各測定器の測定値の表示の寸法形状的な特徴に関する既知の情報に基づいてその数字の列によって表される測定項目および測定値を決定することができる、と認識した。発明者は、それによって、その表示画像における測定項目、測定値および単位の画像を文字認識するための機能および精度は低くてよく、文字認識のための処理負荷が軽減できると認識した。
【００１９】
図１は、実施形態による、ネットワーク５を介して接続される、サーバ装置３０、情報処理端末１００、および携帯端末１０２を含むシステムの例を示している。
図１において、ネットワーク５は、インターネット、公衆交換電話網（ＰＳＴＮ）、パケット交換網（ＰＳＮ）、ＩＳＤＮ、および／または移動体通信網を含んでいてもよい。情報処理端末１００は、情報処理装置であり、ディジタル・カメラ２０２に接続されて、ディジタル・カメラ２０２からユーザによって撮影された測定器の表示部の画像のデータを捕捉しまたは取り込んで格納する。情報処理端末１００および携帯端末１０２は、格納された画像データから、測定器の測定値表示および測定項目に関する既知の情報を参照して、文字認識技術によって測定データを抽出し、画像データに含まれる撮影日時を取得してそれを測定日時として決定する。情報処理端末１００および携帯端末１０２は、その測定データをその測定日時の情報とともにネットワーク５を介してサーバ装置３０に送信する。サーバ装置３０は、測定データを測定日時情報とともに受信して格納し、そのような多数のデータを長い期間にわたって記録データとして管理する。
【００２０】
情報処理端末１００は、例えばＣＰＵ（Central Processing Unit）、主記憶装置、ハードディスク・ドライブ（ＨＤＤ）、半導体メモリ、バス、入力装置、出力装置、通信インタフェース、記録媒体読取用のドライブ、等を含むコンピュータ、パーソナル・コンピュータ、ＰＤＡ（Personal Digital Assistant）または装置であってもよい。携帯端末１０２は、例えば、ＣＰＵ（Central Processing Unit）、半導体メモリ、バス、入力装置、出力装置、通信インタフェース、記録媒体用インタフェース、撮像部、スピーカ、レシーバ、マイクロホン、等を含む携帯電話機であってもよい。
【００２１】
サーバ装置３０は、情報処理装置であり、例えば、プロセッサ３１２、ネットワーク・インタフェース（ＮＷ Ｉ／Ｆ）３４４、データベースを含む記憶装置１６、および記録媒体読み取り用のドライブ３２８を含んでいる。ドライブ３２８は、プログラムが記録された例えば光ディスクのような記録媒体１２９を読み取るためのものである。
【００２２】
図２は、図１の情報処理端末１００の概略的な構成（configuration）の例を示している。
図２において、情報処理端末１００は、プロセッサ１１２、メモリ１１４、入出力インタフェース（Ｉ／Ｏ）１１６、内部バス、等を含む例えばパーソナル・コンピュータのようなコンピュータまたは装置であってもよい。プロセッサ１１２は、コンピュータ用のＣＰＵ（Central Processing Unit）であってもよい。プロセッサ１１２およびメモリ１１４は、入出力インタフェース１１６に結合されている。メモリ１１４には、例えば、主記憶装置および半導体メモリ等が含まれる。情報処理端末１００は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された、表示装置（ＤＳＰ）１２２、入力部または入力装置１２６、記録媒体読み取り用のドライブ１２８、およびハードディスク・ドライブ（ＨＤＤ）１３０を含んでいる。入力部１２６は、例えば、キーボード、マウスまたはタッチパッドのようなポインティング・デバイス、およびタッチパネルを含んでいてもよい。ドライブ１２８は、プログラムが記録された例えば光ディスクのような記録媒体１２９を読み取るために設けられている。情報処理端末１００は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された、ＵＳＢインタフェース（ＵＳＢ Ｉ／Ｆ）１４２、およびネットワーク・インタフェース（ＮＷ Ｉ／Ｆ）１４４を含んでいる。情報処理端末１００において、ＵＳＢインタフェース１４２は、少なくともディジタル・カメラ２０２からの画像信号を入力する入力部としても機能してもよい。
【００２３】
プロセッサ１１２は、画像処理および画像認識の機能を含む例えば集積回路として実装された専用のプロセッサであってもよい。また、プロセッサ１１２は、メモリ１１４および／またはハードディスク・ドライブ１３０に格納されたアプリケーション・プログラムに従って動作するものであってもよい。アプリケーション・プログラムは、記録媒体１２９に格納されていて、ドライブ１２８によって記録媒体１２９から読み出されて情報処理端末１００にインストールされてもよい。
【００２４】
カメラ２０２は、ＵＳＢケーブルによって、ＵＳＢインタフェース１４２を介して情報処理端末１００に結合される。情報処理端末１００は、ネットワーク・インタフェース１４４を介し、さらに外部ネットワーク５を介して、サーバ装置３０に接続されてもよい。
【００２５】
図３は、図１の携帯端末１０２の概略的な構成（configuration）の例を示している。
図３において、携帯端末１０２は、例えば、プロセッサ１１２、メモリ１１４、入出力インタフェース（Ｉ／Ｏ）１１６、内部バス、等を含む例えば携帯電話機または携帯情報処理端末であってもよい。携帯端末１０２は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された、表示装置（ＤＳＰ）１２２、入力部または入力装置１２６、取り外し可能なメモリ１２９、および撮像部２０３を含んでいる。入力部１２６は、例えばキーおよびタッチパネルを含んでいてもよい。取り外し可能なメモリ１２９は、例えばＳＤメモリとその書き込み読み取り部を含んでいてもよい。携帯端末１０２は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された通信部１４６を含んでいる。携帯端末１０２は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された、マイクロホン１４０、スピーカ１４２、およびレシーバ１４４を含んでいてもよい。
【００２６】
プロセッサ１１２は、画像処理および画像認識の機能を含む例えば集積回路として実装された専用のプロセッサであってもよい。また、プロセッサ１１２は、メモリ１１４に格納されたアプリケーション・プログラムに従って動作するものであってもよい。アプリケーション・プログラムは、取り外し可能なメモリ１２９に格納されていて、取り外し可能なメモリ１２９から読み出されて携帯端末１０２にインストールされてもよい。
【００２７】
図４は、情報処理端末１００または携帯端末１０２のプロセッサ１１２の概略的な構成（configuration）の例を示している。
プロセッサ１１２は、例えば、制御部１１２０、ノイズ除去部１１２２、二値化部１１２４、グループ化部１１２６、環状判定部１１２８、グループ抽出部１１３０、グループ結合部１１３２、および画像補正部１１３４を含んでいてもよい。プロセッサ１１２は、さらに、例えば、数字抽出部１１３６、特徴抽出部１１３８、測定データ決定部１１４０、およびその他の処理部１１４４を含んでいてもよい。処理部１１４４には例えば通信処理部が含まれていてもよい。制御部１１２０は、ノイズ除去部１１２２、二値化部１１２４、グループ化部１１２６、環状判定部１１２８、グループ抽出部１１３０、グループ結合部１１３２、および画像補正部１１３４に制御信号を供給して、これらの要素の動作を制御してもよい。制御部１１２０は、さらに、数字抽出部１１３６、特徴抽出部１１３８、測定データ決定部１１４０、およびその他の処理部１１４４に制御信号を供給して、これらの要素の動作を制御してもよい。代替形態として、サーバ装置３０のプロセッサ１１２が、要素１１２２〜１１４０を含んでいてもよい。
【００２８】
図５は、情報処理端末１００または携帯端末１０２のメモリ１１４またはハードディスク・ドライブ１３０に格納される測定器のリストの例を示している。測定器のリストは、例えば、測定器の順序番号、測定器の種別（種類）、表示部の表示領域の縦の長さ（高さ）（Ｗｄ）および横の長さ（幅）（Ｈｄ）、測定値を表す文字（数字）の縦の高さ（Ｈｃ）、隣接文字の間隔（Ｐｃ）、文字の太さ（Ｔｃ）、を含んでいてもよい。測定器のリストは、さらに、測定器の測定項目（身体データ種別）の項目数、測定値の表示の行数、測定項目（身体データ種別）の項目名、使用状態（使用／不使用）、行の間隔（Ｐｌ）（図示せず）、値の許容範囲（図示せず）、等を含んでいてもよい。図５のテーブルにおけるデータは、健康データ管理サービス提供業者またはユーザによって予め作成されてもよい。測定器の種別（種類）は、例えば、体重計、体組成計（体脂肪率計、皮下脂肪率計、骨格筋率計、等）、体温計、血圧計、脈拍数計、等、またはこれらの組合せ（例えば、体重体組成計）であってもよい。測定器の種別は、製造業者によって付けられた測定器の名称でなくてよい。各測定項目は、例えば、体重、体組成（体脂肪率、皮下脂肪率、骨格筋率、等）、体温、最高血圧、最低血圧、脈拍数、等であってもよい。使用状態（使用／不使用）は、それぞれの測定器が使用されるかどうかを示す情報であり、ユーザが情報処理端末１００または携帯端末の入力部１２６を操作することによって、設定される。測定器のリストは、さらに、サーバ装置３０の記憶装置１６に格納されてもよい。
【００２９】
図６は、情報処理端末１００または携帯端末１０２のメモリ１１４またはハードディスク・ドライブ１３０に格納される、図５における測定項目のリストの例を示している。測定項目のリストは、測定項目名、測定項目のデータ形式（桁数、数字／文字、小数点位置）、測定項目の単位、測定項目の測定値の許容範囲、等を含んでいてもよい。メモリ１１４またはハードディスク・ドライブ１３０は、最新のおよび過去のユーザの測定データを格納する。測定項目のリストは、さらに、サーバ装置３０の記憶装置１６に格納されてもよい。
【００３０】
図７Ａは、表示領域４０４を含む体温計４０２の例を示している。図７Ｂは、カメラ２０２または撮像部２０３によって撮影された図７Ａの体温計４０２の表示部の表示領域４０４の画像４０８の例を示している。図７Ｃは、プロセッサ１１２によって抽出された図７Ｂの画像４０８における数字の列とそれぞれの数字の外接矩形の例を破線で示している。この場合、表示領域４０４は、１行に１つの測定項目を含んでいる。図７Ｄは、各セグメントに対応する各画素グループの外接矩形の例を破線で示している。外接矩形は、表示されたものではなく、処理上の仮想的なものである。
【００３１】
図８Ａは、表示領域４１４を含む体重計４１２の例を示している。図８Ｂは、カメラ２０２または撮像部２０３によって撮影された図８Ａの体重計４１２の表示領域４１４の画像４１８の例を示している。図８Ｃは、プロセッサ１１２によって抽出された図８Ｂの画像４１８における数字の列とそれぞれの数字の外接矩形の例を示している。この場合、表示領域４１４は、１行に１つの測定項目を含んでいる。
【００３２】
図９Ａは、表示領域４２４を含む血圧計の例を示している。図９Ｂは、カメラ２０２または撮像部２０３によって撮影された図９Ａの血圧計の表示領域４２４の画像４２８の例を示している。この場合、表示領域４２４は、複数の行に複数の測定項目を含んでいる。
【００３３】
図１０Ａは、表示領域４３４を含む別の血圧計の例を示している。図１０Ｂは、カメラ２０２または撮像部２０３によって撮影された図１０Ａの血圧計の表示領域４３４の画像４３８の例を示している。この場合、表示領域４３４は、１つの行に２つの測定項目を含んでいる。他の形態として、測定器は、ユーザの操作に従って、その表示部に複数の測定値を順に切り替えて表示するものであってもよい。例えば、測定器は、最高血圧、最低血圧、脈拍数の各測定値を順次切り替えて表示してもよい。
【００３４】
ユーザは、図７Ａ、８Ａ、９Ａ、１０Ａのような測定器で体温、体重、血圧等の身体の状態または物理的量を測った後、その表示領域４０４、４１４、４２４または４３４をカメラ２０２または携帯端末１０２の撮像部２０３を用いて撮像する。ユーザは、その撮影された画像４０８、４１８、１２８、４３８のデータを、情報処理端末１００または携帯端末１０２のメモリ１１４またはハードディスク・ドライブ１３０の記憶領域に格納する。情報処理端末１００または携帯端末１０２のプロセッサ１１２は、その格納された画像データを処理して、例えば図５Ｃまたは６Ｃのような測定値を表す１列以上の数字の列だけを抽出する。小数点は抽出されなくてもよい。
【００３５】
図１１は、情報処理端末１００または携帯端末１０２のプロセッサ１１２によって実行される、測定値の表示画像の撮影からサーバ装置３０への測定データの送信までの処理のためのフローチャートの例を示している。
【００３６】
ステップ５００において、プロセッサ１１２またはその処理部１１４４は、ユーザの操作に従って、カメラ２０２または撮像部２０３によって撮影された測定器の表示部の画像を含む画像のデータをメモリ１１４またはハードディスク・ドライブ１３０の画像記憶領域に格納する。その画像データは、カラー多階調画像データであってもよい。プロセッサ１１２またはその処理部１１４４は、必要に応じて、その画像データを処理して輝度成分Ｙの画像データを生成する。
【００３７】
ステップ５０２において、プロセッサ１１２またはそのノイズ除去部１１２２は、メモリ１１４またはハードディスク・ドライブ１３０において、測定器の表示部の画像を含む画像の輝度を調整し、フィルタを用いてその画像のノイズを除去する。ステップ５０４において、プロセッサ１１２または二値化部１１２４は、その画像を二値化して、二値化された輝度の画像データ（白黒、明暗）を生成する。
【００３８】
ステップ５０６において、プロセッサ１１２またはそのグループ化部１１２６は、二値化された画像の画素（例えば、黒または暗の画素）を、例えば１つ以上の画素グループにグループ化する。例えば、測定器の測定値の各桁の数字が７セグメント表示である場合、１つの数字を表す複数の画素が、７セグメント中の２つ以上のセグメントを表すそれぞれの画素グループにグループ化される。例えば、数字“１”を表す上下２つのセグメントを表す複数の画素が、画素の隣接関係に基づいて、２つの画素グループにグループ化される。例えば、数字“８”を表す７つのセグメントを表す複数の画素が、画素の隣接関係に基づいてそれに対応する７つの画素グループにグループ化される。
【００３９】
ステップ５０８において、プロセッサ１１２またはその環状判定部１１２８は、その画像における複数の画素グループから、環状を表す画素グループを判定して抽出する。ステップ５１０において、プロセッサ１１２または環状判定部１１２８は、画像におけるその環状の画素グループの中からその内側に他の画素グループを含むものを選択し、その最も内側の環状の画素グループを、測定器の表示領域または表示枠を表す画素グループとして決定する。
【００４０】
ステップ５１２において、プロセッサ１１２またはそのグループ抽出部１１３０は、画像における表示枠を表す画素グループの内側にある数字または数字セグメントを表す可能性のある画素グループを抽出する。ステップ５１４において、プロセッサ１１２またはそのグループ結合部１１３２は、画像における抽出された複数の画素グループの中で隣接関係にある画素グループを結合して、各数字を表す結合された画素グループの組をそれぞれ形成する。ステップ５１６において、プロセッサ１１２またはその補正部１１３４は、画像における数字セグメントを表す各画素グループの傾きを検出して、数字を表す画像の傾きを補正して傾きのない数字を形成する。
【００４１】
ステップ５１８において、プロセッサ１１２またはその数字抽出部１１３８は、画像における結合された画素グループの各組を文字認識技術によって認識する。プロセッサ１１２またはその数字抽出部１１３８は、複数の画素グループから数字だけを認識して数字だけを抽出してもよい。プロセッサ１１２またはその数字抽出部１１３８は、他の画素グループから隔てられた１つ以上の領域における１つ以上の数字の列（数字のストリング）を数値情報として抽出する。ステップ５２０において、プロセッサ１１２または特徴抽出部１１３８は、使用した測定器の表示部の画像における表示領域または表示枠の寸法形状および各数字の寸法形状、等を求めて、使用した測定器の表示部に固有の特徴（情報）またはパラメータを抽出する。
【００４２】
ステップ５２２において、プロセッサ１１２またはその測定データ決定部１１４０は、画像における抽出された測定器の表示部の特徴または形状的特徴を、メモリ１１４等に格納された測定器のリストのものと比較する。プロセッサ１１２または測定データ決定部１１４０は、そのリスト中から類似または近似している特徴を有する測定器の種別を、使用する測定器の種別として選択する。プロセッサ１１２または測定データ決定部１１４０は、さらに、その選択された測定器の種別に対応する１つ以上の測定項目（身体データ種別）を選択する。
【００４３】
プロセッサ１１２または測定データ決定部１１４０は、さらに、その決定された測定項目のデータ形式に基づいて、画像における抽出された数字の列（数値情報）によって表される測定値を測定データとして決定する。その際、選択された測定器の種別に対応する２つ以上の測定項目が存在する場合、数字列（数値情報）の桁数、数値（大きさ）が、各測定項目のデータ形式（桁数）、数値の許容範囲、出現順序を参照しまたはこれらと比較されて、数字列によって表される測定項目および測定値が決定される。また、複数の数字列が抽出された場合、各数字列が、互いに比較され、各測定項目のデータ形式（桁数等）、数値の許容範囲、出現順序を参照しまたはこれらと比較されて、数字列（数値情報）によって表される測定項目および測定値が決定されてもよい。
【００４４】
プロセッサ１１２または測定データ決定部１１４０は、さらに、その決定された測定項目および測定値を表示部１２２に表示してユーザに確認させ、確認された測定項目および測定値を測定データとして決定してもよい。プロセッサ１１２または測定データ決定部１１４０は、さらに、その測定器種別および測定項目（身体データ種別）に対応付けて測定値を測定日時情報とともにメモリ１１４またはハードディスク１３０に格納する。
【００４５】
ステップ５２４において、プロセッサ１１２または処理部１１４４は、その決定された測定器種別、測定項目および測定値（測定データ）を、ユーザの個人情報および日時情報とともに、ネットワーク５を介してサーバ装置３０に送信する。サーバ装置３０またはそのプロセッサ３１２は、測定器種別、測定項目および測定値（測定データ）を受信し、測定日時情報に従って測定器種別および測定項目に対応付けて測定値を記憶装置１６のデータベース（ＤＢ）に格納して、履歴データまたは記録データとして管理する。その後、サーバ装置３０またはプロセッサ３１２は、情報処理端末１００または携帯端末１０２からの要求に応答して、記憶装置１６に格納された履歴データまたは記録データを送信する。情報処理端末１００または携帯端末１０２の（プロセッサ１１２）は、履歴データまたは記録データを受信し、その表示部１２２上に、測定項目に対応付けて各測定値を測定日時情報の順に表示する。
【００４６】
図１２Ａおよび１２Ｂは、図１１のステップ５０２における、測定器の表示部の画像を含む画像のノイズを除去する処理のためのフローチャートの例を示している。
【００４７】
図７Ｂおよび８Ｂにおいて、撮影された画像（ピクチャ）のフレーム４０８、４１８における輝度補正用の中央の参照枠４２０の位置が破線で示されている。画像のフレーム４０８、４１８の横と縦のサイズは、ピクセル単位の横と縦のサイズｘｗ×ｙｈを有する。参照枠４２０は、例えばサイズ（ｘｗ／１０）×（ｙｈ／１０）を有する。参照枠４２０は、画像のフレーム４０８、４１８の中央領域における基準となる最大の輝度Ｙｍａｘを決定するために用いられる。ユーザは、ディジタル・カメラ２０２のモニタ画面または携帯端末１０２の表示部１２２の中央に測定器の表示領域４０４、４１４の中心が位置するように、測定器の表示領域を撮影する。それによって、測定器の表示領域４０４、４１４の中心は、撮影された測定器の表示領域４０４、４１４の概ね中心に位置する。
【００４８】
表示領域４０４、４１４の周辺またはその外側の領域の画素は、測定器への光の反射等によって不所望に明る過ぎることがあるので、画像全体の最大輝度を参照枠４２０内の最大輝度に制限するよう処理することが望ましい。
【００４９】
図１２Ａを参照すると、プロセッサ１１２は、ステップ６００においてその処理を開始する。ステップ６０２において、プロセッサ１１２は、最大輝度Ｙｍａｘを初期値０（ゼロ）（Ｙｍａｘ＝０）に、参照枠４２０の中心座標（ｘｃ，ｙｃ）を画像の中心座標（ｘｗ／２，ｙｈ／２）に設定する（（ｘｃ，ｙｃ）＝（ｘｗ／２，ｙｈ／２））。また、プロセッサ１１２は、参照枠４２０の左上の座標（ｘｔ，ｙｔ）を座標（ｘｃ−ｘｗ／２０，ｙｃ−ｙｈ／２０）に設定する（（ｘｔ，ｙｔ）＝（ｘｃ−ｘｗ／２０，ｙｃ−ｙｈ／２０））。また、プロセッサ１１２は、参照枠４２０の右下の座標（ｘｂ，ｙｂ）を座標（ｘｔ＋ｘｗ／１０，ｙｔ＋ｙｈ／１０）に設定する（（ｘｂ，ｙｂ）＝（ｘｔ＋ｘｗ／１０，ｙｔ＋ｙｈ／１０））。さらに、プロセッサ１１２は、参照枠４２０における最大の輝度Ｙｍａｘを決定する処理を実行するために、注目画素の座標（ｘ，ｙ）を、参照枠４２０の左上の初期値（ｘｔ，ｙｔ）に設定する（（ｘ，ｙ）＝（ｘｔ，ｙｔ））。
【００５０】
ステップ６０４において、プロセッサ１１２は、座標（ｘ，ｙ）の注目画素の輝度Ｙ（ｘ，ｙ）が現在の最大輝度Ｙｍａｘより大きいかどうかを判定する（Ｙ（ｘ，ｙ）＞Ｙｍａｘ？）。輝度Ｙ（ｘ，ｙ）が最大輝度Ｙｍａｘより大きいと判定された場合は、ステップ６０６において、最大輝度Ｙｍａｘ＝Ｙ（ｘ，ｙ）と設定する。輝度Ｙ（ｘ，ｙ）が最大輝度Ｙｍａｘより大きくないと判定された場合は、手順はステップ６０８に進む。
【００５１】
ステップ６０８において、プロセッサ１１２は、注目画素の座標ｘを１画素分だけ増分する（ｘ＝ｘ＋１）。ステップ６１０において、プロセッサ１１２は、座標ｘが参照枠４２０の右下の座標ｘｂより大きいかどうかを判定する（ｘ＞ｘｂ？）。座標ｘが参照枠４２０の座標ｘｂより大きくないと判定された場合は、手順はステップ６０４に戻る。座標ｘが参照枠４２０の座標ｘｂより大きいと判定された場合は、ステップ６１２において、プロセッサ１１２は、注目画素の座標ｘを初期値ｘ＝ｘｔと設定し、注目画素の座標ｙを１画素分だけ増分する（ｘ＝ｘｔ，ｙ＝ｙ＋１）。
【００５２】
ステップ６１４において、プロセッサ１１２は、注目画素の座標ｙが参照枠４２０の座標ｙｂより大きいかどうかを判定する（ｙ＞ｙｂ？）。座標ｙが参照枠４２０の右下の座標ｙｂより大きくないと判定された場合は、手順はステップ６０４に戻る。座標ｙが参照枠４２０の右下の座標ｙｂより大きいと判定された場合は、手順は図１２Ｂのステップ６１６に進む。ステップ６０２〜６１４によって、参照枠４２０内の画素の最大輝度が、基準となる最大輝度Ｙｍａｘとして決定される。
【００５３】
図１２Ｂを参照すると、ステップ６１６において、プロセッサ１１２は、注目画素の座標（ｘ，ｙ）を、画像のフレーム４０８または４１８の左上の座標の初期値（１，１）に設定する（（ｘ，ｙ）＝（１，１））。
【００５４】
ステップ６１８において、プロセッサ１１２は、座標（ｘ，ｙ）の注目画素の輝度Ｙ（ｘ，ｙ）が最大輝度Ｙｍａｘより大きいかどうかを判定する（Ｙ（ｘ，ｙ）＞Ｙｍａｘ？）。輝度Ｙ（ｘ，ｙ）が最大輝度Ｙｍａｘより大きいと判定された場合は、ステップ６２０において、最大輝度Ｙ（ｘ，ｙ）＝Ｙｍａｘと設定する。輝度Ｙ（ｘ，ｙ）が最大輝度Ｙｍａｘより大きくないと判定された場合は、手順はステップ６２２に進む。
【００５５】
ステップ６２２において、プロセッサ１１２は、注目画素の座標ｘを１画素分だけ増分する（ｘ＝ｘ＋１）。ステップ６２４において、プロセッサ１１２は、座標ｘが画像のフレーム４０８、４１８の右下の座標ｘｗより大きいかどうかを判定する（ｘ＞ｘｗ？）。座標ｘが座標ｘｗより大きくないと判定された場合は、手順はステップ６１８に戻る。座標ｘが座標ｘｗより大きいと判定された場合は、ステップ６２６において、プロセッサ１１２は、注目画素の座標ｘを初期値ｘ＝１と設定し、注目画素の座標ｙを１画素分だけ増分する（ｘ＝１，ｙ＝ｙ＋１）。
【００５６】
ステップ６２８において、プロセッサ１１２は、注目画素の座標ｙが画像のフレーム４０８、４１８の右下の座標ｙｈより大きいかどうかを判定する（ｙ＞ｙｈ？）。座標ｙが座標ｙｈより大きくないと判定された場合は、手順はステップ６１８に戻る。座標ｙが座標ｙｈより大きいと判定された場合は、手順はステップ６３０に進む。ステップ６１６〜６２８によって、画像のフレーム４０８、４１８において最大輝度Ｙ（ｘ，ｙ）を超える輝度Ｙ（ｘ，ｙ）が、最大輝度Ｙｍａｘに制限されるように補正される。
【００５７】
ステップ６３０において、プロセッサ１１２は、既知の形態で、例えば３×３のサイズの重み付け係数を有するフィルタで、画像のフレーム４０８、４１８を空間的に濾波してノイズを除去または低減する。その空間的濾波において、例えば３×３のマトリックスの注目画素および近隣画素の値と、そのフィルタにおける対応する行列位置の係数とが乗算され、その積の和によって、注目画素の値が補正される。
【００５８】
図１１を再び参照すると、ステップ５０４において、プロセッサ１１２は、画像のフレームにおける全ての座標（ｘ，ｙ）の画素の輝度Ｙ（ｘ，ｙ）を閾値Ｙｔｈで処理して、輝度Ｙ（ｘ，ｙ）を値“０”か“１”に二値化し、座標（ｘ，ｙ）の画素Ｐｘ（ｘ，ｙ）にその値（０、１）を設定する。この場合、値“０”は白または明の輝度を表し、値“１”は黒または暗の輝度を表す。閾値Ｙｔｈは、例えば、最大輝度Ｙｍａｘの１／２、即ちＹｔｈ＝Ｙｍａｘ／２と設定してもよい。プロセッサ１１２は、例えば、輝度Ｙ（ｘ，ｙ）が閾値Ｙｔｈかまたはそれより暗い場合には画素Ｐｘ（ｘ，ｙ）＝１（暗）と設定し、輝度Ｙ（ｘ，ｙ）が閾値Ｙｔｈより明るい場合には画素Ｐｘ（ｘ，ｙ）＝０（明）と設定してもよい。代替形態として、プロセッサ１１２は、例えば、輝度Ｙ（ｘ，ｙ）が閾値Ｙｔｈかまたはそれより明るい場合に画素Ｐｘ（ｘ，ｙ）＝１（明）と設定し、輝度Ｙ（ｘ，ｙ）が閾値Ｙｔｈより暗い場合に画素Ｐｘ（ｘ，ｙ）＝０（暗）と設定してもよい。画像の二値化によって、画像中の数字の認識が容易になる。
【００５９】
図１３は、図１１のステップ５０６における、画像のフレーム４０８、４１８、４２８、４３８の画素をグループ化する処理のためのフローチャートの例を示している。
【００６０】
図１４は、画像のフレーム（４０８、４１８、４２８、４３８）において、表示領域（４０４、４１４、４２４、４３４）の画素のグループ化の例を示している。
図１４において、隣接関係にある輝度１（暗）を表す複数の画素または１つのセグメントの複数の画素に、同じラベル番号またはグループ番号１１〜４５のいずれかが付けられている。この場合、一例として、測定器の表示部の二値画像において、上下２つの行に数値“５１．８”および“３２．４”の画像を含む画像の各画素に、ラベル番号が付与されている。
【００６１】
図１５は、図１４の画像における測定器の表示領域（４０４、４１４、４２４、４３４）の画素に関するラベル番号、統計的情報、認識された数字を含むラベル・テーブルの例を示している。
【００６２】
図１５において、左側の項目番号または行番号１〜３５は異なるラベル番号（列２）に対応し、上側の列番号１〜１３の項目は各ラベル番号の画素グループに関する統計的情報、寸法形状、形状的特徴、認識対象かどうか、認識結果（数字）、等の項目に対応する。列２〜８は、列１の各ラベル番号の画素グループに対する、画素の個数、画素の座標ｘの最小値（ｘｍｉｎ）、座標ｙの最小値（ｙｍｉｎ）、座標ｘの最大値（ｘｍａｘ）、座標ｙの最大値（ｙｍａｘ）、中心画素の座標ｘ（ｘｃ）、中心画素の座標ｙ（ｙｃ）を含んでいる。列９〜１２は、列１の各ラベル番号の画素グループに対して、環状かどうか、包囲（包囲線または輪郭線）かどうか、認識対象かどうか、ラベル結合番号、認識結果の数字を含んでいる。１つのラベル結合番号は、隣接関係にある複数の画素グループを、１つの数字を表す可能性がある組として結合するための識別番号である。
【００６３】
図１３を参照すると、プロセッサ１１２は、ステップ６６０においてその処理を開始する。ステップ６６２において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬを初期値ｉ＿ＬＢＬ＝１１、注目画素の座標（ｘ，ｙ）を初期値ｘ＝２、ｙ＝２と設定する。ここで、ラベル番号ｉ＿ＬＢＬは、輝度値“０”（明）、“１”（暗）と区別するために、１１以上の整数（ｉ＿ＬＢＬ≧１１）とする。
【００６４】
ステップ６６４において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬがラベル番号の上限の閾値ｉ＿ＬＢＬ＿ｍａｘより大きいかどうかを判定する。ラベル番号ｉ＿ＬＢＬが閾値ｉ＿ＬＢＬ＿ｍａｘより大きいと判定された場合は、手順はステップ６８０に進む。ラベル番号ｉ＿ＬＢＬが閾値ｉ＿ＬＢＬ＿ｍａｘより大きくないと判定された場合は、ステップ６６６において、プロセッサ１１２は、座標（ｘ，ｙ）の注目画素Ｐｘ（ｘ，ｙ）の値が二値化された“１”（暗）かどうかを判定する。この場合、輝度“１”は黒または暗いレベルを表し、輝度“０”は白または明るいレベルを表すものとする。注目画素Ｐｘ（ｘ，ｙ）に既にラベルが付与されている場合は、注目画素はＰｘ（ｘ，ｙ）≧１１の値を有する。注目画素Ｐｘ（ｘ，ｙ）が輝度１（暗）であると判定された場合は、プロセッサ１１２は、ステップ６７０において注目画素とその隣接画素に対してラベル付けを行う。その後、手順はステップ６７１に進む。ステップ６６６において画素Ｐｘ（ｘ，ｙ）が輝度１（暗）でない、即ち輝度０（ゼロ）（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ６７２に進む。
【００６５】
ステップ６７０において、画像において互いに隣接関係にある輝度１（暗）の画素Ｐｘ（ｘ，ｙ）のグループに同じ１つのラベル番号ｉ＿ＬＢＬ（≧１１）が付与される。ステップ６７０は、輝度１（暗）の画素グループのグループ数、即ちラベル番号ｉ＿ＬＢＬの数の回数だけ実行される。
【００６６】
ステップ６７１において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬを１だけ増分する（ｉ＿ＬＢＬ＝ｉ＿ＬＢＬ＋１）。
【００６７】
ステップ６７２において、プロセッサ１１２は、注目画素の座標ｘを１画素分だけ増分する（ｘ＝ｘ＋１）。ステップ６７４において、プロセッサ１１２は、座標ｘが画像のフレーム４０８、４１８の右下の座標ｘｗ以上かどうかを判定する（ｘ≧ｘｗ？）。座標ｘが座標ｘｗ以上でないと判定された場合は、手順はステップ６６４に戻る。座標ｘが座標ｘｗ以上であると判定された場合は、ステップ６７６において、プロセッサ１１２は、注目画素の座標ｘを初期値ｘ＝２に設定し、注目画素のｙ座標を１画素分だけ増分する（ｘ＝２，ｙ＝ｙ＋１）。
【００６８】
ステップ６７８において、プロセッサ１１２は、注目画素の座標ｙが画像のフレーム４０８、４１８の右下の座標ｙｈ以上かどうかを判定する（ｙ≧ｙｈ？）。座標ｙが座標ｙｈ以上でないと判定された場合は、手順はステップ６６４に戻る。座標ｙが座標ｙｈ以上であると判定された場合は、手順はステップ６８０に進む。
【００６９】
ステップ６６２〜６７８によって、画像のフレーム４０８、４１８の輝度１（暗）の全ての画素Ｐｘ（ｘ，ｙ）＝１がラベル番号（Ｐｘ（ｘ，ｙ）≧１１）に置換される。ステップ６８０において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬの総数または最大のラベル順序番号Ｉｔを、最後の最大の値のラベル番号Ｉｔ＝ｉ＿ＬＢＬ−１０と設定する。これは、ラベル番号ｉ＿ＬＢＬの初期値をｉ＿ＬＢＬ＝１１と設定したからである。
【００７０】
図１６Ａ〜１６Ｄは、図１３のステップ６７０のラベル付けの処理のためのフローチャートの例を示している。
【００７１】
図１６Ａを参照すると、プロセッサ１１２は、ステップ７００においてその処理を開始する。ステップ７０２において、プロセッサ１１２は、座標（ｘ，ｙ）の注目画素Ｐｘ（ｘ，ｙ）にラベル番号ｉ＿ＬＢＬを設定する（Ｐｘ（ｘ，ｙ）＝ｉ＿ＬＢＬ）。最初の画素Ｐｘ（ｘ，ｙ）は、例えばＰｘ（ｘ，ｙ）＝ｉ＿ＬＢＬ＝１１（ラベル番号）である。プロセッサ１１２は、図１５のラベルのテーブルにおいて、ラベル順序番号Ｉ（＝ｉ＿ＬＢＬ−１０）のラベル・テーブルの項目１（列１）として、ラベル番号Ｌ＿ＴＢＬ（Ｉ，１）＝Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１０，１）を現在の注目画素のラベル番号ｉ＿ＬＢＬと設定する。プロセッサ１１２は、ラベル順序番号Ｉ＝ｉ＿ＬＢＬ−１０のラベル・テーブルの項目２（列２）として、そのラベル番号ｉ＿ＬＢＬを有する画素の総数（画素数）Ｌ＿ＴＢＬ（Ｉ，２）を初期値Ｌ＿ＴＢＬ（Ｉ，２）＝１と設定する。プロセッサ１１２は、ラベル順序番号Ｉ＝ｉ＿ＬＢＬ−１０のラベル・テーブルの項目３、４（列３、４）として、ラベル番号ｉ＿ＬＢＬを有する画素の左側の最小ｘ座標Ｌ＿ＴＢＬ（Ｉ，３）およびラベルの上側の最小ｙ座標Ｌ＿ＴＢＬ（Ｉ，４）をそれぞれ座標ｘおよびｙと設定する。プロセッサ１１２は、ラベル順序番号Ｉ＝ｉ＿ＬＢＬ−１０のラベル・テーブルの項目５、６（列５、６）として、ラベル番号ｉ＿ＬＢＬを有する画素の右側の最大ｘ座標Ｌ＿ＴＢＬ（Ｉ，５）および下側の最大ｙ座標Ｌ＿ＴＢＬ（Ｉ，６）をそれぞれ座標ｘおよびｙと設定する。
【００７２】
ステップ７０４において、プロセッサ１１２は、処理のカウント（計数値）ｉ＿ＣＮＴを初期値ｉ＿ＣＮＴ＝０と設定し、座標パラメータ（ｘｓ，ｙｓ）を（ｘｓ，ｙｓ）＝（２，２）と設定する。ステップ７０５において、プロセッサ１１２は、座標（ｘｓ，ｙｓ）の注目画素Ｐ（ｘｓ，ｙｓ）が現在のラベル番号ｉ＿ＬＢＬかどうかを判定する（Ｐ（ｘｓ，ｙｓ）＝ｉ＿ＬＢＬ？）。画素Ｐ（ｘｓ，ｙｓ）＝ｉ＿ＬＢＬでないと判定された場合は、手順は図１６Ｄのステップ７６２に進む。画素Ｐ（ｘｓ，ｙｓ）＝ｉ＿ＬＢＬであると判定された場合は、手順は、ステップ７０６に進む。
【００７３】
ステップ７０６において、プロセッサ１１２は、座標（ｘｓ，ｙｓ）の注目画素に対する隣接の画素を選択するための座標パラメータｘｍ＝ｘｓ−１、ｘｐ＝ｘｓ＋１、ｙｍ＝ｙｓ−１、ｙｐ＝ｙｓ＋１を設定する。画素位置ｘｍ＝ｘｓ−１は注目画素の座標ｘｓの左側の位置を表す。画素位置ｘｐ＝ｘｓ＋１は注目画素の座標ｘｓの右側の位置を表す。画素位置ｙｍ＝ｙｓ−１は注目画素の座標ｙｓの上側の位置を表す。画素位置ｙｐ＝ｙｓ＋１は注目画素の座標ｙｓの下側の位置を表す。これらの４つの座標パラメータと注目画素の座標（ｘｓ，ｙｓ）とによって、３×３の座標位置のうちの８つの隣接画素の位置が選択される。
【００７４】
ステップ７０８において、プロセッサ１１２は、注目画素Ｐｘ（ｘ，ｙ）の左上の座標（ｘｍ，ｙｍ）の画素Ｐｘ（ｘｍ，ｙｍ）がＰｘ（ｘｍ，ｙｍ）＝１（暗）かどうかを判定する。隣接の画素Ｐｘ（ｘｍ，ｙｍ）が輝度１（暗）でない、即ち輝度０（ゼロ）（明）またはラベル番号（≧１１）と判定された場合は、手順は図１６Ｂのステップ７２２に進む。画素Ｐｘ（ｘｍ，ｙｍ）が輝度１（暗）と判定された場合は、ステップ７１０において、プロセッサ１１２は、画素Ｐｘ（ｘｍ，ｙｍ）の現在の値１を現在のラベル番号ｉ＿ＬＢＬ（≧１１）で置換して、画素Ｐｘ（ｘｍ，ｙｍ）を現在のラベル番号ｉ＿ＬＢＬ（≧１１）と設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順は図１６Ｂのステップ７２２に進む。
【００７５】
図１６Ｂのステップ７２２において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の上の座標（ｘ，ｙｍ）の画素Ｐｘ（ｘ，ｙｍ）がＰｘ（ｘ，ｙｍ）＝１（暗）かどうかを判定する。隣接の画素Ｐｘ（ｘ，ｙｍ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ７３２に進む。画素Ｐｘ（ｘ，ｙｍ）が輝度１（暗）と判定された場合は、ステップ７２４において、プロセッサ１１２は、画素Ｐｘ（ｘ，ｙｍ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順はステップ７３２に進む。
【００７６】
ステップ７３２において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の右上の座標（ｘｐ，ｙｍ）の画素Ｐｘ（ｘｐ，ｙｍ）が輝度１（暗）かどうかを判定する。隣接画素Ｐｘ（ｘｐ，ｙｍ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ７３８に進む。画素Ｐｘ（ｘｐ，ｙｍ）が輝度１（暗）と判定された場合は、ステップ７３４において、プロセッサ１１２は、画素Ｐｘ（ｘｐ，ｙｍ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順はステップ７３８に進む。
【００７７】
ステップ７３８において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の左の座標（ｘｍ，ｙ）の画素Ｐｘ（ｘｍ，ｙ）が輝度１（暗）かどうかを判定する。隣接の画素Ｐｘ（ｘｍ，ｙ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ７３８に進む。画素Ｐｘ（ｘｍ，ｙ）が輝度１（暗）と判定された場合は、ステップ７４０において、プロセッサ１１２は、画素Ｐｘ（ｘｍ，ｙ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順は図１６Ｃのステップ７４２に進む。
【００７８】
図１６Ｃのステップ７４２において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の右の座標（ｘ，ｙｐ）の画素Ｐｘ（ｘ，ｙｐ）が輝度１（暗）かどうかを判定する。画素Ｐｘ（ｘ，ｙｐ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ７４８に進む。画素Ｐｘ（ｘ，ｙｐ）が輝度１（暗）と判定された場合は、ステップ７４４において、プロセッサ１１２は、画素Ｐｘ（ｘ，ｙｐ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順はステップ７４８に進む。
【００７９】
ステップ７４８において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の左下の座標（ｘｍ，ｙｐ）の画素Ｐｘ（ｘｍ，ｙｐ）が輝度１（暗）かどうかを判定する。隣接の画素Ｐｘ（ｘｍ，ｙｐ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ７５２に進む。画素Ｐｘ（ｘｍ，ｙｐ）が輝度１（暗）と判定された場合は、ステップ７５０において、プロセッサ１１２は、画素Ｐｘ（ｘｍ，ｙｐ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順はステップ７５２に進む。
【００８０】
ステップ７５２において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の下の座標（ｘ，ｙｐ）の画素Ｐｘ（ｘ，ｙｐ）が輝度１（暗）かどうかを判定する。画素Ｐｘ（ｘ，ｙｐ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順は図１６Ｄのステップ７５８に進む。画素Ｐｘ（ｘ，ｙｐ）が輝度１（暗）と判定された場合は、ステップ７５４において、プロセッサ１１２は、画素Ｐｘ（ｘ，ｙｐ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順は図１６Ｄのステップ７５８に進む。
【００８１】
図１６Ｄのステップ７５８において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の右下の座標（ｘｐ，ｙｐ）の画素Ｐｘ（ｘｐ，ｙｐ）が輝度１（暗）かどうかを判定する。画素Ｐｘ（ｘｐ，ｙｐ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ７６２に進む。画素Ｐｘ（ｘｐ，ｙｐ）が輝度１（暗）と判定された場合は、ステップ７６０において、プロセッサ１１２は、画素Ｐｘ（ｘｐ，ｙｐ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順はステップ７６２に進む。
【００８２】
ステップ７６２において、プロセッサ１１２は、注目画素の座標ｘｓを１画素分だけ増分する（ｘｓ＝ｘｓ＋１）。ステップ７６４において、プロセッサ１１２は、座標ｘｓが画像のフレーム４０８、４１８の右下の座標ｘｗより小さいかどうかを判定する（ｘｓ＜ｘｗ？）。座標ｘｓが座標ｘｗより小さいと判定された場合は、手順は図１６Ａのステップ７０５に戻る。座標ｘｓが標ｘｗより小さくないと判定された場合は、ステップ７６６において、プロセッサ１１２は、注目画素の座標ｘｓを初期値ｘｓ＝２と設定し、注目画素の座標ｙを１画素分だけ増分する（ｘｓ＝２，ｙｓ＝ｙｓ＋１）。
【００８３】
ステップ７６８において、プロセッサ１１２は、注目画素の座標ｙが画像のフレーム４０８、４１８の右下のｙ座標ｙｈより小さいかどうかを判定する（ｙ＜ｙｈ？）。座標ｙが座標ｙｈより小さいと判定された場合は、手順は図１６Ａのステップ７０５に戻る。座標ｙが座標ｙｈより小さくないと判定された場合は、ステップ７７０において、プロセッサ１１２は、カウントｉ＿ＣＮＴが０より大きいかどうかを判定する。カウントｉ＿ＣＮＴが０より大きいと判定された場合は、手順は図１６Ａのステップ７０４に戻る。カウントｉ＿ＣＮＴが０より大きくないと判定された場合は、新しくラベル付けされた画素および新しくラベル付けされる画素が他に存在しないので、手順は図１６Ａ〜１６Ｄのルーチンを出る。
【００８４】
図１６Ａ〜１６Ｄの処理によって、画像における輝度１（暗）の全ての画素に、いずれかの画素グループのラベル番号が付けられる。ラベル番号の付与の処理は、これに限定されるものではない。
【００８５】
図１７は、図１６Ａ〜１６Ｃのステップ７８０における、ラベル・テーブルの登録の処理のためのフローチャートの例を示している。
【００８６】
図１７を参照すると、プロセッサ１１２は、ステップ７８０においてその処理を開始する。ステップ７８２において、プロセッサ１１２は、処理のカウントｉ＿ＣＮＴを１だけ増分し（ｉ＿ＣＮＴ＝ｉ＿ＣＮＴ＋１）、現在のラベル番号ｉ＿ＬＢＬの画素の画素数Ｌ＿ＴＢＬ（Ｉ，２）を１だけ増分する（Ｌ＿ＴＢＬ（Ｉ，２）＝Ｌ＿ＴＢＬ（Ｉ，２）＋１）に設定する。
【００８７】
ステップ７８４において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬが付与された隣接画素Ｐｘ（ｘ，ｙ）の座標ｘ（即ちｘｍ、ｘｓ、ｘｐのいずれか）が、ラベル番号ｉ＿ＬＢＬを有する現在の左側の最小ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，３）より小さいかどうかを判定する。隣接画素Ｐｘ（ｘ，ｙ）は、前の図１６Ａ〜１６Ｄのステップ７１０、７２４、７３４、７４０７４４、７５０、７５４、７６０においてラベル番号ｉ＿ＬＢＬが付与されたものである。座標ｘが最小ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，３）より小さくないと判定された場合は、手順はステップ７８８に進む。座標ｘが最小ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，３）より小さいと判定された場合は、ステップ７８６において、プロセッサ１１２は、最小ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，３）を現在の隣接画素の座標ｘと設定する（Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，３）＝ｘ）。その後、手順はステップ７８８に進む。
【００８８】
ステップ７８８において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬが付与された隣接画素Ｐｘ（ｘ，ｙ）の座標ｙ（即ちｙｍ、ｙｓ、ｙｐのいずれか）が、ラベル番号ｉ＿ＬＢＬを有する現在の上側の最小ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，４）より小さいかどうかを判定する。座標ｙが最小ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，４）より小さくないと判定された場合は、手順はステップ７９２に進む。座標ｙが最小ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，４）より小さいと判定された場合は、ステップ７９０において、プロセッサ１１２は、最小ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，４）を座標ｙと設定する（Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，４）＝ｙ）。その後、手順はステップ７９２に進む。
【００８９】
ステップ７９２において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬが付与された隣接画素Ｐｘ（ｘ，ｙ）の座標ｘ（即ちｘｍ、ｘｓまたはｘｐ）が、ラベル番号ｉ＿ＬＢＬを有する現在の右側の最大ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，５）より大きいかどうかを判定する。座標ｘが最大ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，５）より大きくないと判定された場合は、手順はステップ７９６に進む。座標ｘが最大ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，５）より大きいと判定された場合は、ステップ７９４において、プロセッサ１１２は、最大ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，５）を座標ｘと設定する（Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，５）＝ｘ）。その後、手順はステップ７９６に進む。
【００９０】
ステップ７９６において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬが付与された隣接画素Ｐｘ（ｘ，ｙ）の座標ｙ（即ちｙｍ、ｙｓまたはｙｐ）が、ラベル番号ｉ＿ＬＢＬを有する現在の下側の最大ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，６）より大きいかどうかを判定する。座標ｙが最大ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，６）より大きくないと判定された場合は、手順は図１７のルーチンを出る。座標ｙが最大ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，６）より大きいと判定された場合は、ステップ７９８において、プロセッサ１１２は、最大ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，６）を座標ｙと設定する（Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，６）＝ｙ）。その後、手順は図１７のルーチンを出る。
【００９１】
このようにして、或るラベル番号ｉ＿ＬＢＬを有する画素グループのうちで、最も左にある画素の座標ｘ、最も右にある画素の座標ｘ、最も上にある画素の座標ｙ、最も下にある画素の座標ｙが決定される。
【００９２】
図１８は、図１１のステップ５０８における、環状を表す画素グループを判定する処理のためのフローチャートの例を示している。
【００９３】
図１８を参照すると、プロセッサ１１２は、ステップ８００においてその処理を開始する。ステップ８０２において、プロセッサ１１２は、画素グループのラベル順序番号Ｉ＝ｉ＿ＬＢＬ−１０を初期値Ｉ＝１と設定する。ステップ８０４において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬをラベル・テーブル（図１５）のラベル番号ｉ＿ＴＢＬ（Ｉ，１）＝ｉ＿ＴＢＬ（ｉ＿ＬＢＬ−１０，１）と設定する。また、プロセッサ１１２は、そのラベル番号ｉ＿ＬＢＬの画素グループの中心ｘ座標を、その最大および最小のｘ座標Ｌ＿ＴＢＬ（Ｉ，３）とＬ＿ＴＢＬ（Ｉ，５）の中心として、ｘｃ＝（Ｌ＿ＴＢＬ（Ｉ，３）＋Ｌ＿ＴＢＬ（Ｉ，５））／２と設定する。さらに、プロセッサ１１２は、そのラベル番号ｉ＿ＬＢＬの画素グループの中心ｙ座標を、その最大および最小のｙ座標Ｌ＿ＴＢＬ（Ｉ，４）とＬ＿ＴＢＬ（Ｉ，６）の中心として、ｙｃ＝（Ｌ＿ＴＢＬ（Ｉ，４）＋Ｌ＿ＴＢＬ（Ｉ，６））／２と設定する。
【００９４】
ステップ８０６において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬの画素グループの中心座標（ｘｃ，ｙｃ）の画素のラベル番号がラベル番号ｉ＿ＬＢＬと同じかどうかを判定する（Ｐｘ（ｘｃ，ｙｃ）＝ｉ＿ＬＢＬ？）。中心座標の画素のラベル番号Ｐｘ（ｘｃ，ｙｃ）が画素グループのラベル番号ｉ＿ＬＢＬと同じでない場合、その画素グループは環状の形状を有する可能性があり、手順はステップ８０８に進む。中心座標の画素のラベル番号Ｐｘ（ｘｃ，ｙｃ）が画素グループのラベル番号ｉ＿ＬＢＬと同じであると判定された場合、その画素グループは環状でなく、手順はステップ８１６に進む。
【００９５】
ステップ８０８において、プロセッサ１１２は、画素グループが環状であるかどうかを確認するために、中心座標（ｘｃ，ｙｃ）を始点として、画像の上方向に画素グループのラベル番号ｉ＿ＬＢＬを有する輪郭線画素までトレース位置を移動する。ステップ８１０において、プロセッサ１１２は、その輪郭線画素を始点として、中心座標（ｘｃ，ｙｃ）を回転中心として、例えば正方向または負方向（時計回り）の回転または周方向に、ラベル番号ｉ＿ＬＢＬの画素グループの輪郭線に沿ってその画素グループをトレースする。トレース位置が始点に戻った場合には、プロセッサ１１２は、その画素グループが環状であると判定する。一方、位置が画素グループの外接矩形に達したり、またはトレース方向と逆方向に移動した場合には、プロセッサ１１２は、その画素グループは環状でないと判定する。
【００９６】
ステップ８１２において、プロセッサ１１２は、ラベル順序番号Ｉの画素グループが環状かどうかを判定する。画素グループが環状でないと判定された場合は、手順はステップ８１６に進む。画素グループが環状であると判定された場合は、ステップ８１４において、ラベルのテーブル（図１５）において、ラベル番号ｉ＿ＬＢＬを有する画素グループの環状パラメータＬ＿ＴＢＬ（Ｉ，９）をＬ＿ＴＢＬ（Ｉ，９）＝“環状”と設定する。
【００９７】
ステップ８１６において、プロセッサ１１２は、画素グループのラベル順序番号Ｉを１だけ増分する（Ｉ＝Ｉ＋１）。ステップ８１８において、プロセッサ１１２は、ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいかどうかを判定する。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きくないと判定された場合は、手順はステップ８０４に戻る。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいと判定された場合は、手順は図１８のルーチンを出る。
【００９８】
このようにして、全てのラベル番号ｉ＿ＬＢＬの画素グループについて、環状かどうかを判定して、環状である画素グループが特定される。
【００９９】
図１９は、図１１のステップ５１０における、表示領域（４０４、４１４、４２４、４３４）の表示枠を表す画素グループを抽出する処理のためのフローチャートの例を示している。
【０１００】
図１９を参照すると、プロセッサ１１２は、ステップ８５０においてその処理を開始する。ステップ８５２において、プロセッサ１１２は、画素グループのラベル順序番号Ｉを初期値Ｉ＝１と設定する。ステップ８５４において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬをラベル・テーブル（図１５）上のラベル番号Ｌ＿ＴＢＬ（Ｉ，１）と設定する（ｉ＿ＬＢＬ＝Ｌ＿ＴＢＬ（Ｉ，１））。
【０１０１】
ステップ８５６において、プロセッサ１１２は、ラベル・テーブル（図１５）においてラベル順序番号Ｉの環状パラメータＬ＿ＴＢＬ（Ｉ，９）が“環状”かどうかを判定する。それが“環状”でないと判定された場合は、手順はステップ８６６に進む。それが“環状”であると判定された場合は、ステップ８５８において、プロセッサ１１２は、画像においてそのラベル番号Ｌ＿ＴＢＬ（Ｉ，１）を有する画素グループの内側における別の画素グループの有無を検索する。ステップ８６２において、プロセッサ１１２は、そのラベル番号Ｌ＿ＴＢＬ（Ｉ，１）の画素グループの内側に別の画素グループが存在するかどうかを判定する。その画素グループの内側に別の画素グループが存在しないと判定された場合は、手順はステップ８６６に進む。その画素グループの内側に別の画素グループが存在すると判定された場合は、その画素グループが他の画素グループを包囲しているので、ステップ８６４において、プロセッサ１１２は、ラベル順序番号Ｉ即ちラベル番号Ｌ＿ＴＢＬ（Ｉ，１）の画素グループの包囲パラメータＬ＿ＴＢＬ（Ｉ，１０）＝“包囲”（または“輪郭”）と設定する。
【０１０２】
ステップ８６６において、プロセッサ１１２はラベル順序番号Ｉを１だけ増分する（Ｉ＝Ｉ＋１）。ステップ８６８において、プロセッサ１１２は、ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいかどうかを判定する。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きくないと判定された場合は、手順はステップ８５４に戻る。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きい、即ち全てのラベル番号ｉ＿ＬＢＬについて“環状”かどうかを判定したと判定された場合は、ステップ８７０において、プロセッサ１１２は、最も内側の“包囲”を表す画素グループを“表示枠”と決定する。プロセッサ１１２は、さらに、“表示枠”と決定された画素グループの横幅Ｗｄと縦の高さＨｄを求める。その後、手順は図１９のルーチンを出る。
【０１０３】
このようにして、測定器の表示部または表示領域の画像において、数字を表す画素グループを含んでいる最も内側にある環状の表示枠（４０４、４１４、４２４、４３４）の画素グループが抽出される。
【０１０４】
図２０は、図１１のステップ５１２における、“表示枠”を表す画素グループの内側にある画素グループを抽出する処理のためのフローチャートの例を示している。
【０１０５】
図２０を参照すると、プロセッサ１１２は、ステップ９００においてその処理を開始する。ステップ９０２において、プロセッサ１１２は、画素グループのラベル順序番号Ｉを初期値Ｉ＝１と設定する。ステップ９０４において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬをラベル・テーブル（図１５）のラベル番号ｉ＿ＬＢＬ＝Ｌ＿ＴＢＬ（Ｉ，１）と設定する。
【０１０６】
ステップ９０６において、プロセッサ１１２は、測定器の表示部の画像においてラベル番号Ｌ＿ＴＢＬ（Ｉ，１）の画素グループが表示枠（の画素グループ）の内側にあるかどうかを判定する。画素グループが表示枠の内側にないと判定された場合は、手順はステップ９１０に進む。画素グループが表示枠の内側にあると判定された場合は、ステップ９０８において、プロセッサ１１２は、そのラベル番号の対象パラメータＬ＿ＴＢＬ（Ｉ，１１）をＬ＿ＴＢＬ（Ｉ，１１）＝“対象”と設定する。それによって、表示枠の内側にある認識対象または抽出対象となる数字を表す可能性のある画素グループが抽出される。
【０１０７】
ステップ９１０において、プロセッサ１１２は、画素グループのラベル順序番号Ｉを１だけ増分する（Ｉ＝Ｉ＋１）。ステップ９１２において、プロセッサ１１２は、ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいかどうかを判定する。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きくないと判定された場合は、手順はステップ９０４に戻る。ラベル順序番号Ｉがラベル数Ｉｔ（最大ｉ＿ＬＢＬ−１０）より大きいと判定された場合は、手順は図２０のルーチンを出る。それによって、全ての画素グループについて、認識対象または抽出対象となる数字を表す可能性のある画素グループであるかどうかが決定される。
【０１０８】
図２１Ａおよび２１Ｂは、図１１のステップ５１４における、隣接関係にある画素グループを結合する処理のためのフローチャートの例を示している。
【０１０９】
図２１Ａを参照すると、プロセッサ１１２は、ステップ９５０においてその処理を開始する。ステップ９５２において、プロセッサ１１２は、画素グループのラベル順序番号Ｉを初期値Ｉ＝１と設定する。ステップ９５４において、プロセッサ１１２は、ラベル・テーブル（図１５）においてラベル順序番号Ｉのラベル番号ｉ＿ＬＢＬの画素グループの対象パラメータＬ＿ＴＢＬ（Ｉ，１１）が“対象”であるかどうかを判定する。その画素グループが“対象”でないと判定された場合は、手順はステップ９７４に進む。その画素グループが“対象”であると判定された場合は、ステップ９５８において、プロセッサ１１２は、別のラベル順序番号Ｊ＝Ｉ＋１を設定する。
【０１１０】
ステップ９５８において、プロセッサ１１２は、ラベル順序番号Ｉのラベル番号ｉ＿ＬＢＬの画素グループの対象パラメータＬ＿ＴＢＬ（Ｊ，１１）が“対象”であるかどうかを判定する。その画素グループが“対象”でないと判定された場合は、手順はステップ９７０に進む。その画素グループが“対象”であると判定された場合は、ステップ９６０において、プロセッサ１１２は、２つのラベル順序番号Ｉ、Ｊのラベル番号ｉ＿ＬＢＬの対象パラメータＬ＿ＴＢＬ（Ｉ，１１）とＬ＿ＴＢＬ（Ｊ，１１）の画素グループの外接矩形（例えば図７Ｄの破線）が位置的に部分的に重なるかどうかを判定する。
【０１１１】
図２２Ａは、２つの画素グループの外接矩形が位置的に部分的に重なる例を示している。
【０１１２】
それらが重なると判定された場合は、手順はステップ９６６に進む。それらが重ならないと判定された場合は、ステップ９６２において、プロセッサ１１２は、２つの画素グループの各々を複数の領域のブロックに分割し、２つのグループの各ブロックのうち互いに最も近いブロックの組合せを選択する。
【０１１３】
図２２Ｂは、隣接する２つの画素グループの各々を３つの領域のブロックに分割する例を示している。
【０１１４】
ステップ９６４において、プロセッサ１１２は、その組合せの２つの画素ブロックの間の距離が閾値より小さいかどうかを判定する。その距離が閾値より小さいと判定された場合は、手順はステップ９７０へ進む。その距離が閾値より小さくないと判定された場合は、手順はステップ９６６に進む。２つの画素グループの各々を複数の領域のブロックに分割してそれぞれの距離を比較することによって、一方の画素グループの全ての画素と他方の画素グループの全ての画素との間の各距離を閾値と比較する必要がなくなり、処理負荷が小さくなり、処理が高速化できる。
【０１１５】
ステップ９６６において、プロセッサ１１２は、その組合せの２つの画素グループを、１つの数字を表す可能性のある同じ結合関係にある画素グループとして結合する。そのために、２つの画素グループのラベル番号ｉ＿ＬＢＬのラベル結合パラメータｉ＿ＬＢＬ（Ｉ，１２）に、１つの画素グループのラベル番号または同じ結合関係にある他の画素グループの最も小さいラベル番号ｉ＿ＬＢＬを付与する。その後、手順は図２１Ｂのステップ９７０へ進む。
【０１１６】
図２１Ｂのステップ９７０において、プロセッサ１１２は、他方の画素グループのラベル順序番号Ｊを１だけ増分する（Ｊ＝Ｊ＋１）。ステップ９７２において、プロセッサ１１２は、ラベル順序番号Ｊがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいかどうかを判定する。ラベル順序番号Ｊがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きくないと判定された場合、手順はステップ９５８に戻る。ラベル順序番号Ｊがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいと判定された場合は、ステップ９７４において、プロセッサ１１２は、一方の画素グループのラベル順序番号Ｉを１だけ増分する（Ｉ＝Ｉ＋１）。ステップ９７６において、プロセッサ１１２は、ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいかどうかを判定する。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きくないと判定された場合、手順はステップ９５４に戻る。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいと判定された場合は、手順は図２２Ａおよび２２Ｂのルーチンを出る。
【０１１７】
図２３は、図１１のステップ５１６における、画像の傾きを補正する処理のためのフローチャートの例を示している。
図２４Ａおよび２４Ｂは、画像の傾きの補正の例を示している。
【０１１８】
図２３を参照すると、プロセッサ１１２は、ステップ１１００においてその処理を開始する。ステップ１１０２において、プロセッサ１１２は、画素グループの外接矩形の右辺（図２４）または左辺から水平方向の最も近い画素グループの画素までの距離から、画像の傾きθ（ｔａｎθまたはｃｏｔθ）を求める。
【０１１９】
ステップ１１０４において、プロセッサ１１２は、傾きθがあるかどうか（＝０°）かどうかを判定する。傾きがない（θ＝０°）と判定された場合は、手順は図２３Ａのルーチンを出る。傾きがある（θ≠０°）と判定された場合は、ステップ１１０６において、プロセッサ１１２は、画像における各画素グループの画素を傾き分（−θ）だけ水平方向に移動させて、傾きθを補正する。その後、手順は図２３のルーチンを出る。
それによって、図２４Ａおよび２４Ｂに示されているように、傾きθを有する図２４Ａの画像が、図２４Ｂの傾きのない画像に補正される。
【０１２０】
図２５は、図１１のステップ５１８における、認識された数字の列または数値情報を抽出する処理のためのフローチャートの例を示している。
【０１２１】
図２５を参照すると、プロセッサ１１２は、ステップ１１５０においてその処理を開始する。ステップ１１５２において、プロセッサ１１２は、ラベル・テーブル（図１５）において、数字を表す可能性のある結合された画素グループの組の外接矩形（図７Ｃ、８Ｃの破線）の縦と横の長さの比を求め、縦と横の比が閾値（例えば、７：１または７／１）より大きいかどうかを判定する。縦と横の比が閾値より大きいと判定された場合は、ステップ１１５４において、プロセッサ１１２は、ラベル・テーブルにおいてその画素グループの組を数字“１”と判定する。その後、手順は図２５のルーチンを出る。
【０１２２】
ステップ１１５２において縦と横の比が閾値より大きくないと判定された場合は、ステップ１１５６において、プロセッサ１１２は、結合された画素グループの組をその外接矩形（図７Ｃ、８Ｃの破線）に基づいて縦と横方向に複数の領域の画素ブロック（例えば、７×４個のブロック）に分割し、各画素ブロックにおいてラベル番号を有する画素数を求める。
【０１２３】
ステップ１１６２において、プロセッサ１１２は、画像における各位置の画素ブロックにおける画素（暗）数の割合または占有率（％）を、数字“０” 、“２”〜“９”を表すパターンの各位置のブロックにおける値１（暗）の割合または占有率（％）と比較する。数字“０” 、“２”〜“９”を表すパターンの各位置のブロックにおける値１（暗）の割合または占有率（％）は、メモリ１１４またはハードディスク・ドライブ１３０に予め格納されている。プロセッサ１１２は、画像の画素ブロックのパターンが、予め格納された各数字のブロックのパターンと許容誤差の範囲内で一致するかどうかを判定する。画像の画素ブロックのパターンが数字“０” 、“２”〜“９”のいずれかのブロックのパターンと許容誤差の範囲内で一致すると判定された場合は、ステップ１１６６において、プロセッサ１１２は、その画素グループの組を数字“０” 、“２”〜“９”のいずれかと判定する。ステップ１１６２において画像の画素ブロックのパターンが各数字のブロックのパターンと一致しないと判定された場合は、ステップ１１６４において、プロセッサ１１２は、認識結果を、測定値を表す数字ではないと判定する。プロセッサ１１２は、ラベル・テーブル（図１５）において、画素グループの組に対して、認識された結果の数字を格納する。例えば、小数点“．”、単位“℃”、“ｍｍＨｇ”、数字以外の文字および記号、小さい数字、等、を表す画素グループは、測定値を表す数字ではないと判定されてもよい。その後、手順は図２５のルーチンを出る。
【０１２４】
このようにして、簡易な数字認識のための処理形態で、測定器の表示部の画像から、測定値を表す個々の数字が抽出される。
【０１２５】
図２５のフローチャートは、同じラベル結合番号が付与された画素グループの組（各数字）について実行され、それによって、各数字を表す文字が認識されて抽出される。
【０１２６】
図２６は、図１１のステップ５２０における、使用した測定器の表示部に固有の特徴またはパラメータを抽出する処理のためのフローチャートの例を示している。
【０１２７】
図２６を参照すると、プロセッサ１１２は、ステップ１２００においてその処理を開始する。ステップ１２０２において、プロセッサ１１２は、各数字を表すものとして認識された結合関係にある画素グループの組（各数字）の外接矩形（図７Ｃ、８Ｃの破線）の縦と横の長さの最大値を求め、その平均値を数字の横幅Ｗｃと縦の高さＨｃとして求める。プロセッサ１１２は、数字の横幅Ｗｃと縦の高さＨｃをメモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１２８】
ステップ１２０４において、プロセッサ１１２は、数字の画素グループの数字（文字）の太さＴｃを求める。そのために、プロセッサ１１２は、各画素グループをｘおよび／またはｙ方向に走査し、黒の画像の連続画素の数が閾値の以下でかつ最も長い距離を数字（文字）の太さとして求め、その平均値を数字の太さＴｃとして決定してもよい。その閾値は、例えば、数字の横幅Ｗｃに１／３を乗じた値Ｗｃ／３であってもよい。プロセッサ１１２は、数字の太さＴｃをメモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１２９】
ステップ１２０６において、プロセッサ１１２は、数字として認識された組（即ち数字）の画素グループから文字の間隔Ｐｃと文字の行間隔Ｐｌを求める。そのために、プロセッサ１１２は、隣接の数字の画素グループの組の外接矩形（例えば、右辺）の間のｘ方向の間隔（ピッチ）を文字間隔として求め、その平均値を隣接の数字間の文字間隔Ｐｃとして決定してもよい。プロセッサ１１２は、隣接する２つの数字の間の間隔が、他の隣接の数字の間隔の平均より閾値（例えば、２倍、２Ｐｃ）以上離れている場合は、それらを互いに異なる測定項目の数字と判定し、文字間隔の平均値Ｐｃを求めるのに使用しないようにしてもよい。また、プロセッサ１１２は、隣接する数字の高さの中心座標ｙの平均値をｙ方向の行位置として求め、垂直方向の隣接する２つの行位置の間の距離の平均値をその２つの行の間の行間隔Ｐｌとして決定してもよい。プロセッサ１１２は、さらに、隣接の数字の平均の文字間隔Ｐｃを基準（＝１．０）として、他のパラメータ、例えば、数字の文字の横と縦の長さ、行の間隔、数字の太さ、等の寸法を正規化してもよい。プロセッサ１１２は、文字間隔Ｐｃおよび行間隔Ｐｌをメモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１３０】
ステップ１２０８において、プロセッサ１１２は、数字の文字間隔Ｐｃと、数字の垂直方向の行間隔Ｐｌとから、複数の数字を項目別に分けてグループ化する。１行の数字の文字間隔Ｐｃが閾値（例えば、２倍の文字間隔２Ｐｃ）以下の場合は、プロセッサ１１２は、その数字を１つの測定項目にグループ化する。一方、１行における隣接する２つの数字の文字間隔Ｐｃが閾値より大きい場合は、プロセッサ１１２は、その２つの数字を、その間隔によって識別される異なる測定項目に分離しグループ化する。プロセッサ１１２は、さらに、異なる行の数字を、行毎の異なる測定項目にグループ化する。このようにして、各測定項目の数値を表す桁数と数値を有する数字の列（数値情報）が決定される。この場合、数字以外の文字、記号、小数点、等は、無視されて処理の対象外とされてもよい。プロセッサ１１２は、その決定された項目別の数字の列（数値情報）をメモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１３１】
ステップ１２１０において、プロセッサ１１２は、平均の文字間隔Ｐｃ（＝１．０）を基準にして、表示領域または表示枠（４０４、４１４、４２４、４３４）の縦と横の長さ（Ｈｄ，Ｗｄ）を正規化して（Ｈｄ／Ｐｃ，Ｗｄ／Ｐｃ）、正規化された表示領域の寸法形状（Ｈｄ，Ｗｄ）を決定する。代替形態として、文字間隔Ｐｃの代わりに、平均の文字の高さＨｃを基準として、表示領域または表示枠の縦横の寸法形状（Ｈｄ，Ｗｄ）を正規化してもよい。プロセッサ１１２は、その決定された表示領域の寸法形状（Ｈｄ，Ｗｄ）をメモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１３２】
図２７は、図１１のステップ５２２における、抽出された表示部の特徴に対応する測定項目と、抽出された数字列によって表される測定値とを決定する処理のためのフローチャートの例を示している。
【０１３３】
図２７を参照すると、プロセッサ１１２は、ステップ１２５０においてその処理を開始する。ステップ１２５２において、プロセッサ１１２は、測定器のリスト（図５）を参照して、抽出された表示部の特徴に類似するリスト中の表示部の特徴を選択する。そのために、プロセッサ１１２は、画像の表示部の特徴として、表示領域（表示枠）の寸法形状（Ｈｄ，Ｗｄ）、文字のサイズ（高さＨｃ）、文字間隔（Ｐｃ）および文字の太さを、測定器のリスト（図５）における使用される各測定器の順序番号（Ｎｏ．１、４、７）のものと比較する。プロセッサ１１２は、抽出された表示部の寸法形状的な特徴に類似するまたはそれに近いリスト中の表示部の特徴またはそれに対応する測定器の順序番号を選択する。
【０１３４】
ステップ１２５４において、プロセッサ１１２は、測定器のリストにおいて選択された測定器の表示部の特徴または順序番号に対応する測定器種別をリスト中から決定または選択する。プロセッサ１１２は、その決定された測定器種別をメモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１３５】
ステップ１２５６において、プロセッサ１１２は、測定器のリストにおいてその選択された測定器種別に対応する測定項目を決定する。選択された測定器種別に対応する１つの測定項目だけが存在する場合は、測定器種別の選択によって測定項目が一意的に決定される。測定器種別に対応する２つ以上の測定項目が存在する場合は、可能性ある２つ以上の測定項目が仮に決定される。
【０１３６】
ステップ１２５８において、プロセッサ１１２は、測定項目のリスト（図６）を参照して、決定された測定項目に基づいて、抽出された数字列（数値情報）によって表される測定値を決定する。そのために、プロセッサ１１２は、数字列によって表される測定値（データ）を、その決定された測定項目のデータ形式に基づいて決定する。例えば、数字列（数値情報）が“３７０”であり、測定項目が体温である場合には、両者が３桁の数字であり、下位第１桁と第２桁の間に小数点があるので、測定値は“３７．０”または“３７．０℃”と決定される。
【０１３７】
測定器種別に対応する２つ以上の測定項目が存在する場合は、次のように処理してもよい。プロセッサ１１２は、画像における数字列（数値情報）の桁数、数値の大きさ、項目の出現順序を、測定項目のリスト（図６）における各測定項目のデータ形式（桁数）、出現順序、および任意に数値の許容範囲（図示せず）を参照しまたはこれらと比較してもよい。それによって、プロセッサ１１２は、数字列によって表される測定項目およびその測定値（データ）を決定する。その比較において、小数点は無視してもよい。プロセッサ１１２は、さらに、決定された測定項目に基づいて、測定項目のリスト（図６）を参照して、数字列によって表される小数点を含む数値および単位を測定値として決定する。また、プロセッサ１１２は、画像から抽出された２つ以上の数字列を、互いに比較し、測定項目のリスト中の各測定項目のデータ形式（桁数）、出現順序、および任意に数値の許容範囲を参照してまたはこれらと比較してもよい。それによって、プロセッサ１１２は、各数字列（数値情報）によって表される測定項目およびその測定値（データ）を決定しもよい。
【０１３８】
例えば、プロセッサ１１２は、画像から抽出された血圧に関する２組の数字列（数値情報）を比較して、大きい値の数字の列（数値情報）を最高血圧を表すものと決定し、小さい値の数字の列（数値情報）を最低血圧を表すものと決定してもよい。例えば、プロセッサ１１２は、画像から抽出された血圧と脈拍数に関する３組の数字の列（数値情報）を、測定器のリスト（図５）および測定項目のリスト（図６）と比較して、画像中の順におよびリスト中の出現順に最高血圧、最低血圧、脈拍を表すものと決定してもよい。
【０１３９】
例えば、画像から抽出された数字列“６５”について、測定項目“最高血圧”と“最低血圧”が選択され、画像中の出現順序が２番目であり、別の数字列“１２０”より小さいとする。一方、測定項目のリストにおいて、“最低血圧”が３桁の数字で、許容範囲が“４０〜８０”で、測定項目“最高血圧”の後に出現するとする。この場合、数字列“６５”に対して、測定項目のリスト中の“最低血圧”が測定項目として選択され、測定値として“６５”または“６５ｍｍＨｇ”が決定される。
【０１４０】
ステップ１１２５８の後、手順は、ステップ１２６０進むか、またはステップ１２６２に進んでもよい。
【０１４１】
ステップ１２６０において、プロセッサ１１２は、さらに、今回の測定値（データ）の数値を、補助データとしての基準数値と比較して、今回の測定値の数値が基準数値の許容範囲内にあるかを判定して、決定した測定器種別および測定項目が妥当かどうかを判定してもよい。補助データとしての基準数値は、例えば、ユーザの個人データに近い年齢、性別等の一般的な測定項目（身体データ種別）の数値であっても、またはユーザ個人によって設定された数値であっても、またはユーザ個人の前回もしくは数回前以内の過去の測定値であってもよい。測定項目における数値の許容範囲は、例えば一般的な基準数値の±１５％以内もしくは±特定の数値以内であっても、ユーザ個人の過去の測定値の±１０％以内もしくは±特定の数値以内であってもよい。ユーザの過去の測定データは、メモリ１１４またはハードディスク・ドライブ１３０およびサーバ装置３０に格納されている。例えば、測定項目が最高血圧の場合、その数値の許容範囲は、ユーザ個人の最高血圧１２０±１２（割合１０％）であってもよい。例えば、測定項目が体温の場合、その数値の許容範囲は、ユーザ個人の体温３６．８の±２．５（特定の数値）であってもよい。
【０１４２】
プロセッサ１１２は、測定値の数値が許容範囲にないと判定された場合、決定した測定器種別および項目名が妥当でないと判断してもよい。その場合、手順はステップ１２５６または１２５４に戻る。数値が許容範囲にないと判定された場合には、手順はステップ１２５６に戻って、プロセッサ１１２は、複数の測定項目の中から選択された表示部の特徴に対応する可能性のある別の測定項目を選択してもよい。それでもステップ１２６０において、再び、測定値の数値が基準数値の許容範囲にないと判定された場合には、手順はステップ１２５４に戻ってもよい。この場合、プロセッサ１１２は、ステップ１２５４において測定器のリストの中の表示部の特徴の中から、抽出された表示部の特徴に類似する別の表示部の特徴を決定し、ステップ１２５６においてそれに対応する測定項目を決定して、測定値を決定してもよい。このような上述の表示部の特徴の比較を繰り返して、測定器種別および測定項目がより妥当な別の測定器種別および測定項目が選択されるようにしてもよい。ステップ１２６０において、プロセッサ１１２は、１つの数字列に対してステップ１２５６を複数回実行することによって決定された各測定項目の測定値と各基準値との間の差に基づいて、より妥当な測定項目および測定値を決定してもよい。
【０１４３】
このようにして、ユーザの入力操作なしで、かつ高機能および高精度の文字認識技術を用いることなく、画像から抽出された数字の列（数値情報）からその数字の列によって表される測定項目および測定値が決定される。
【０１４４】
ステップ１２６２において、プロセッサ１１２は、画像データに含まれる撮影日時を取得して測定日時として決定し、決定された測定器種別と測定項目に対応付けて測定値をその測定日時の情報とともに、メモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１４５】
ステップ１２６４において、プロセッサ１１２は、決定された測定器種別、測定日時、測定項目（身体データ種別）および測定値を、測定日時情報および撮像画像とともに、表示装置１２２に表示して（図２８、２９）、ユーザに測定項目と測定値を確認させる。
【０１４６】
図２８Ａは、表示部１２２上の測定項目（体温）と測定値の表示１３１０の例を示している。図２８Ｂは、表示部１２２上の測定項目（体重）と測定値の表示１３２０の別の例を示している。
【０１４７】
ユーザは、表示された内容が正しければ、入力部１２６における確認用のキーを操作して、測定項目と測定値を測定データとして決定する。ユーザは、その測定項目と測定値に誤りがあれば、入力部１２６を操作して修正することができ、その修正された測定項目と測定値を確認して決定する。プロセッサ１１２は、ユーザの入力部１２６による操作に従って、測定器名、測定日時、測定データを決定しまたは修正する。プロセッサ１１２は、その決定された測定データを、メモリ１１４またはハードディスク・ドライブ１３０に今回の測定データとして格納する。
【０１４８】
ユーザは、同じ身体データを測定するために異なる種別の測定器を使用することがある。そのような場合でも、プロセッサ１１２は、表示装置１２２に共通の測定項目と測定値を表示するだけでよく、それぞれの測定器名または測定器種別を区別して表示しなくてもよい。例えば、プロセッサ１１２は、体温計Ａの測定値と体温計Ｂの測定値のいずれも、測定項目“体温”として表示すればよく、体温計Ａと体温計Ｂを区別して表示しなくてよい。
【０１４９】
図１１のステップ５２４において、プロセッサ１１２は、ユーザの入力部１２６による操作に従って、ユーザの個人情報（識別情報、氏名、性別、年齢、等）とともに、測定器の名称、測定日時、測定項目名、測定値（測定データ）をサーバ装置３０に送信する。
【０１５０】
サーバ装置３０のプロセッサ３１２は、受信したユーザの測定器の種別、測定日時、測定項目、測定値（測定データ）を記憶装置１６のデータベース（ＤＢ）にして、履歴データまたは記録データとして管理する。データベースには、ユーザの個人情報、測定日時、測定項目（身体データ種別）、測定値が蓄積されて管理される。測定に使用された測定器種別は蓄積されても、蓄積されなくてもよい。
【０１５１】
その後、サーバ装置３０またはプロセッサ３１２は、情報処理端末１００または携帯端末１０２からの要求に応答して、記憶装置１６に格納された履歴データまたは記録データを送信する。その履歴データには、測定データの分析結果および／または助言に関する情報を付加してもよい。情報処理端末１００または携帯端末１０２の（プロセッサ１１２）は、履歴データまたは記録データ等を受信する。
【０１５２】
図２９は、情報処理端末１００または携帯端末１０２の表示部１２２に表示される測定データの履歴データの表示画面の例を示している。
情報処理端末１００または携帯端末１０２の（プロセッサ１１２）は、受信した履歴データのファイルを図２９に示されているようにその表示部１２２上に表示する。図２９に示されているように、表示部１２２に測定項目に対応付けて各測定値が測定日時情報の順に表示される。さらに、前述したような付加情報が表示部１２２に表示されてもよい。
【０１５３】
図１１のフローチャートの少なくとも一部、例えばステップ５０２〜５２２の全てまたは一部は、サーバ装置３０のプロセッサ３１２に実行させることもできる。この場合、メモリ１１４の代わりに記憶装置１６が使用される。
【０１５４】
この場合、ステップ５００において、プロセッサ３１２またはその処理部１１４４は、ユーザの操作に従って情報処理端末１００または携帯端末１０２から、カメラ２０２または撮像部２０３によって撮影された測定器の表示部の画像を含む画像のデータを受信して記憶装置１６のデータベース（ＤＢ）に格納する。
【０１５５】
同様に、ステップ５０２は、プロセッサ３１２またはそのノイズ除去部１１２２によって実行される。ステップ５０４は、プロセッサ３１２またはその二値化部１１２４によって実行される。ステップ５０６は、プロセッサ３１２またはそのグループ化部１１２６によって実行される。ステップ５０８は、プロセッサ３１２またはその環状判定部１１２８によって実行される。ステップ５１０は、プロセッサ３１２または環状判定部１１２８によって実行される。ステップ５１２は、プロセッサ３１２またはそのグループ抽出部１１３０によって実行される。ステップ５１４は、プロセッサ３１２またはそのグループ結合部１１３２によって実行される。ステップ５１８は、プロセッサ３１２またはその数字抽出部１１３８によって実行される。ステップ５２０は、プロセッサ３１２または特徴抽出部１１３８によって実行される。
【０１５６】
ステップ５２２は、プロセッサ３１２またはその測定データ決定部１１４０によって実行される。ステップ５２２のステップ１２６４（図２７）において、プロセッサ３１２またはその測定データ決定部１１４０は、測定項目および測定値を情報処理端末１００または携帯端末１０２に送信して、その表示部１２２に表示させ、ユーザにそれを確認させ、誤っている場合には修正させる。ユーザは、情報処理端末１００または携帯端末１０２上で確認された測定項目および測定値を測定データとして決定して、メモリ１１４またはハードディスク１３０に格納させ、その決定された測定データをサーバ装置３０に送信する。
【０１５７】
ステップ５２４において、プロセッサ３１２または処理部１１４４は、受信したその決定された測定データとしての測定項目（身体データ種別）および測定値を、ユーザの個人情報および測定日時とともに、測定データを記憶装置１６のデータベース（ＤＢ）に格納して履歴データまたは記録データとして管理する。
【０１５８】
上述の実施形態によれば、通信機能のないより多種類の測定器の測定データを捕捉してサーバ装置３０に送信して、長い期間にわたる多種類の測定データを履歴データとしてサーバ装置３０に管理させることができる。それによって、ユーザに関するより多くの測定項目の測定データに基づいて、サーバ装置３０によってユーザの健康に関するより適切な分析を行い、より適した分析結果および助言を付加情報としてユーザに提示することができる。
【０１５９】
ここで挙げた全ての例および条件的表現は、発明者が技術促進に貢献した発明および概念を読者が理解するのを助けるためのものであり、ここで具体的に挙げたそのような例および条件に限定することなく解釈され、また、明細書におけるそのような例の編成は本発明の優劣を示すこととは関係ない、と理解される。本発明の実施形態を詳細に説明したが、本発明の精神および範囲から逸脱することなく、それに対して種々の変更、置換および変形を施すことができる、と理解される。
【０１６０】
以上の実施例を含む実施形態に関して、さらに以下の付記を開示する。
（付記１） 情報処理装置が、
捕捉された画像データを記憶装置に格納させ
前記画像データから数値情報を抽出し
前記画像データから形状的特徴を抽出し
前記記憶装置に格納された、複数の身体データ測定器各々の表示部に関する複数の形状的特徴の中から、抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された前記種別に基づいて前記数値情報によって表される測定データを決定し、決定された該種別に対応付けて該測定データを前記記憶装置に格納する
処理を実行すること
を特徴とする画像データの処理方法。
（付記２） 前記情報処理装置が、前記記憶装置に格納された前記複数の形状的特徴の中から、前記画像データから抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ種別を決定し、決定された身体データ種別に基づいて前記数値情報によって表される前記測定データを決定し、決定された該身体データ種別に対応付けて該測定データを前記記憶装置に格納する処理を実行することを特徴とする、付記１に記載の方法。
（付記３） 前記測定データを格納する際、前記測定データをさらに日時情報とともに格納することを特徴とする、付記１または２に記載の画像データの処理方法。
（付記４） 前記情報処理装置が、さらに、前記記憶装置に格納された該種別に対応付けられた該測定データを別の装置に送信する処理を実行することを特徴とする付記１乃至３のいずれかに記載の方法。
（付記５） 前記情報処理装置が、さらに、前記測定データを含む複数の測定データに関する履歴情報の要求に応答して、別の装置に送信された前記身体データ種別に対応付けられた前記測定データを前記別の装置から受信して、該複数の測定データを日時情報の順に表示装置に表示させる処理を実行すること、を特徴とする、付記２乃至４のいずれかに記載の方法。
（付記６） 決定された前記身体データ種別に基づいて前記数値情報によって表される前記測定データを決定する際に、前記数値情報が、身体データ種別によって表される値として許容範囲にあるかどうかを判定し、
前記数値情報が前記許容範囲にないと判定された場合には、選択された形状的特徴に対応する可能性のある別の身体データ種別を該身体データ種別として選択し、または、前記記憶装置に格納された前記複数の形状的特徴の中から、抽出された前記形状的特徴に類似する他の形状的特徴を決定し、該他の形状的特徴に基づいて該測定データを決定することを特徴とする、付記２または３に記載の方法。
（付記７） 捕捉された画像データを記憶装置に格納させ。
前記画像データから数値情報を抽出し。
前記画像データから形状的特徴を抽出し。
前記記憶装置に格納された、複数の身体データ測定器各々の表示部に関する複数の形状的特徴の中から、抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された前記種別に基づいて前記数値情報によって表される測定データを決定し、決定された該種別に対応付けて該測定データを前記記憶装置に格納する
処理を、情報処理装置に実行させるためのプログラム。
（付記８） 前記記憶装置に格納された前記複数の形状的特徴の中から、前記画像データから抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ種別を決定し、決定された身体データ種別に基づいて前記数値情報によって表される前記測定データを決定し、決定された該身体データ種別に対応付けて該測定データを前記記憶装置に格納する処理を、前記情報処理装置に実行させるための付記７に記載のプログラム。
（付記９） さらに、前記測定データを含む複数の測定データに関する履歴情報の要求に応答して、別の装置に送信された前記身体データ種別に対応付けられた前記測定データを前記別の装置から受信して、該複数の測定データを日時情報の順に表示装置に表示させる処理を、前記情報処理装置に実行させるための、付記８に記載のプログラム。
（付記１０） 複数の身体データ測定器の種別と、前記複数の測定器の種別にそれぞれ対応付けられた前記複数の身体データ測定器各々の表示部に関する複数の形状的特徴とを格納し、捕捉された画像データを格納する記憶部と、
前記画像データから数値情報を抽出する数字抽出部と、
前記画像データから形状的特徴を抽出する特徴抽出部と、
前記複数の形状的特徴の中から、抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された前記種別に基づいて前記数値情報によって表される測定データを決定し、決定された該種別に対応付けて該測定データを前記記憶装置に格納する処理部と、
を含むことを特徴とする、端末装置。
（付記１１） 前記記憶部は、前記複数の形状的特徴にそれぞれ対応付けられた複数の身体データ種別を格納し、
前記処理部は、前記複数の形状的特徴の中から、前記画像データから抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ種別を決定し、決定された身体データ種別に基づいて前記数値情報によって表される前記測定データを決定し、決定された該身体データ種別に対応付けて該測定データを前記記憶装置に格納すること、を特徴とする、付記１０に記載の端末装置。
【０１６１】
５ ネットワーク
３０ サーバ装置
３１２ データベース
３１２ プロセッサ
１００ 情報処理端末
１０２ 携帯端末
１１２ プロセッサ
１１４ メモリ
１３０ ハードディスク・ドライブ
２０２ ディジタル・カメラ
２０３ 撮像部
【技術分野】
【０００１】
本発明は、画像データから数値情報を抽出する処理に関する。
【背景技術】
【０００２】
例えば個人の食事画像のような生活（ライフ）上の個人的な記録またはログを、ネットワークを介してサーバに蓄積してサーバに管理させることが知られている。また、例えば健康管理のために、測定機器を用いて測定された個人の身体データ（例えば、体重、体温、血圧、等）を、ネットワークを介してサーバに蓄積してサーバに管理させことが知られている。
【０００３】
既知のデータ測定および記録システムは、ディジタル測定器と、測定されたディジタル情報をパソコン・キーボード・インタフェースの情報に変換して出力するデータ読取装置と、パソコンとを含んでいる。パソコンは、その変換して出力されたパソコン・キーボード・インタフェースの情報を、テキスト・エディタで記録する。データ読取装置は、表示された測定値を撮影するビデオカメラと、ビデオ信号−ＲＧＢ変換部と、水平位置設定発信回路と、垂直・水平位置設定同期部とを含んでいる。データ読取装置は、さらに、明暗判断値設定スイッチと、設定位置明暗信号抽出部と、設定確認モニタと、明暗判断部と、明暗信号バッファと、明暗信号−数値変換部と、パソコン・キーボード・インタフェース変換部とを含んでいる。データ読取装置は、測定器に表示された測定値の画像を解析して、画像中の測定値を取得する。
【０００４】
測定器に無線機能を組み込み、例えば体重、血圧、等の身体データをその測定器で測定してその測定値をパーソナル・コンピュータに無線で転送して格納し、さらに、その測定値をネットワークを介してサーバに送信して蓄積してサーバに管理させるサービスが知られている。
【０００５】
既知の或るネットワーク・システムにおいて、機器が、その機器を特定するための第１の情報を含む第１の通知を管理サーバへ送信し、管理サーバが、画像パターンの種別を含む第２の通知を機器へ送信し、機器が第２の通知内の画像パターンを自身の有する表示画面に表示する。管理サーバは、機器が表示した画像パターンの探索を指示するための第３の通知をカメラ・サーバへ送信し、カメラ・サーバは撮影を指示するための第４の通知をカメラへ送信する。カメラは、第４の通知に応じて機器が表示した画像パターンを撮影すると、その撮影画像をカメラ・サーバへ送信する。カメラ・サーバは、撮影画像を評価して、カメラを特定するための第２の情報、及び、その評価の結果を含む第５の通知を、管理サーバに送信する。管理サーバは、第５の通知を受信すると、評価の結果に基づいて、第１の情報と第２の情報を対応付けて格納する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１２９７６号公報
【特許文献２】特開２００８−２１１４１２号公報
【非特許文献】
【０００７】
【非特許文献１】正藤慶一、“インテル、体重や血圧をパソコン上で管理する新サービスを公開〜「コンティニュア」の統一規格で異なるメーカーも通信可”、[online]、平成２１年４月１５日、Impress Watch 、[平成２３年３月４日検索]、インターネット<http://kaden.watch.impress.co.jp/docs/news/20090415_125414.html>
【発明の概要】
【発明が解決しようとする課題】
【０００８】
通常の身体に関する測定データをサーバが管理するサービスでは、ユーザがパーソナル・コンピュータでまたはそのキーボードで測定データを入力する。さらに、上述の既知のデータ測定および記録システムでは、測定器に表示された測定値の画像を解析して画像中の測定値を取得することができる。しかし、上述の既知のデータ測定および記録システムでは、画像から抽出された測定データが、例えば体温、血圧、等の身体データのいずれの測定データかを区別することができず、従って異なる複数の種別の測定データを管理することができない。
【０００９】
また、上述の既知のサービスでは、特定の測定器で測定したデータをユーザの入力操作なしで、サーバに無線で転送してサーバで管理することはできる。しかし、異なる測定器で測定した異なる複数の種別の身体データを、ユーザの入力操作なしで区別して、サーバが一元的に管理することはできない。
【００１０】
発明者は、ユーザによるデータの入力操作なしで、様々な身体データを区別して管理するために、画像から取得した測定値を測定器または身体データの種別ごとに区別できるようにすると有利である、と認識した。
【００１１】
実施形態の目的は、画像から取得した数値情報を測定器または身体データの種別ごとに区別できるようにすることである。
実施形態の別の目的は、ユーザによってデータの入力操作を行うことなく、異なる身体データを区別して管理することができるようにすることである。
【課題を解決するための手段】
【００１２】
実施形態の一観点によれば、情報処理装置が、捕捉された画像データを記憶装置に格納させ、その画像データから数値情報を抽出し、その画像データから形状的特徴を抽出し、その記憶装置に格納された、複数の身体データ測定器各々の表示部に関する複数の形状的特徴の中から、抽出されたその形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定されたその種別に基づいてその数値情報によって表される測定データを決定し、決定された種別に対応付けて測定データを記憶装置に格納する処理を実行する、画像データの処理方法が提供される。
【発明の効果】
【００１３】
実施形態の一観点によれば、画像から取得した数値情報を測定器または身体データの種別ごとに区別することができ、ユーザによってデータの入力操作を行うことなく、異なる身体データを区別して管理することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施形態による、ネットワークを介して接続されるサーバ装置、情報処理端末および携帯端末を含むシステムの例を示している。
【図２】図２は、図１の情報処理端末の概略的な構成（configuration）の例を示している。
【図３】図３は、図１の携帯端末の概略的な構成（configuration）の例を示している。
【図４】図４は、情報処理端末または携帯端末のプロセッサの概略的な構成（configuration）の例を示している。
【図５】図５は、情報処理端末または携帯端末のメモリまたはハードディスク・ドライブに格納される測定器のリストの例を示している。
【図６】図６は、情報処理端末または携帯端末のメモリまたはハードディスク・ドライブに格納される、図５における測定項目のリストの例を示している。
【図７】図７Ａは、表示領域を含む体温計の例を示している。図７Ｂは、カメラまたは撮像部によって撮影された図７Ａの体温計の表示領域の画像の例を示している。図７Ｃは、プロセッサによって抽出された図７Ｂの画像における数字の列とそれぞれの数字の外接矩形（破線）の例を示している。図７Ｄは、セグメントに対応する各画素グループの外接矩形（破線）の例を示している。
【図８】図８Ａは、表示領域を含む体重計の例を示している。図８Ｂは、カメラまたは撮像部によって撮影された図８Ａの体重計の表示領域の画像の例を示している。図８Ｃは、プロセッサによって抽出された図８Ｂの画像における数字の列とそれぞれの数字の外接矩形の例を示している。
【図９】図９Ａは、表示領域を含む血圧計の例を示している。図９Ｂは、カメラまたは撮像部によって撮影された図９Ａの血圧計の表示領域の画像の例を示している。
【図１０】図１０Ａは、表示領域を含む別の血圧計の例を示している。図１０Ｂは、カメラまたは撮像部によって撮影された図１０Ａの血圧計の表示領域の画像の例を示している。
【図１１】図１１は、情報処理端末または携帯端末のプロセッサによって実行される、測定値の表示画像の撮影からサーバ装置への測定データの送信までの処理のためのフローチャートの例を示している。
【図１２Ａ】図１２Ａおよび１２Ｂは、図１１のステップ５０２における測定器の表示部の画像を含む画像のノイズを除去する処理のためのフローチャートの例を示している。
【図１２Ｂ】(図12Aで説明)
【図１３】図１３は、図１１のステップ５０４における画像のフレームの画素をグループ化する処理のためのフローチャートの例を示している。
【図１４】図１４は、画像のフレームにおいて、表示領域の画素のグループ化の例を示している。
【図１５】図１５は、図１４の表示領域の画素に関するラベル番号、統計的情報、認識された数字を含むラベル・テーブルの例を示している。
【図１６Ａ】図１６Ａ〜１６Ｄは、図１３のステップ６７０のラベル付けの処理のためのフローチャートの例を示している。
【図１６Ｂ】(図16Aで説明)
【図１６Ｃ】(図16Aで説明)
【図１６Ｄ】(図16Aで説明)
【図１７】図１７は、図１６Ａ〜１６Ｃのステップ７８０におけるラベル・テーブルの登録の処理のためのフローチャートの例を示している。
【図１８】図１８は、図１１のステップ５０８における環状を表す画素グループを判定する処理のためのフローチャートの例を示している。
【図１９】図１９は、図１１のステップ５１０における表示領域の表示枠を表す画素グループを抽出する処理のためのフローチャートの例を示している。
【図２０】図２０は、図１１のステップ５１２における表示枠を表す画素グループの内側の画素グループを抽出する処理のためのフローチャートの例を示している。
【図２１Ａ】図２１Ａおよび２１Ｂは、図１１のステップ５１４における隣接関係にある画素グループを結合する処理のためのフローチャートの例を示している。
【図２１Ｂ】(図21Aで説明)
【図２２】図２２Ａは、２つの画素グループの外接矩形が位置的に部分的に重なる例を示している。図２２Ｂは、２つの画素グループの各々を３つの領域のブロックに分割する例を示している。
【図２３】図２３は、図１１のステップ５１６における画像の傾きを補正する処理のためのフローチャートの例を示している。
【図２４】図２４Ａおよび２４Ｂは、画像の傾きの補正の例を示している。
【図２５】図２５は、図１１のステップ５１８における認識された数字の列を抽出する処理のためのフローチャートの例を示している。
【図２６】図２６は、図１１のステップ５２０における使用測定器の表示部に固有の特徴またはパラメータを抽出する処理のためのフローチャートの例を示している。
【図２７】図２７は、図１１のステップ５２２における、抽出された表示部の特徴に対応する測定項目と、抽出された数字列によって表される測定値とを決定する処理のためのフローチャートの例を示している。
【図２８】図２８Ａは、表示部上の測定項目と測定値の表示の例を示している。図２８Ｂは、表示部上の測定項目と測定値の表示の別の例を示している。
【図２９】図２９は、情報処理端末または携帯端末の表示部に表示される測定データの履歴データの表示画面の例を示している。
【発明を実施するための形態】
【００１５】
発明の目的および利点は、請求の範囲に具体的に記載された構成要素および組み合わせによって実現され達成される。
前述の一般的な説明および以下の詳細な説明は、典型例および説明のためのものであって、本発明を限定するためのものではない、と理解される。
【００１６】
本発明の非限定的な実施形態を、図面を参照して説明する。図面において、同様のコンポーネントおよび要素には同じ参照番号が付されている。
【００１７】
既知のデータ測定および記録システムによって画像から抽出された測定値を、ネットワークを介してサーバに送信してサーバで管理することが考えられる。しかし、既知のデータ測定および記録システムでは、画像から抽出された測定データが、例えば体温または血圧、等の身体データのいずれの測定データかを区別することができず、従って異なる複数の種別の測定データを管理することができない。また、既知のサービスでは、異なる測定器で測定した様々な種別の身体データを、ユーザの入力操作なしで区別して、サーバにおいて一元的に管理することはできない。
【００１８】
発明者は、ユーザによるデータの入力操作なしで、様々な身体データを区別して管理するために、画像から取得した測定値を身体データの種別ごとに区別できるようにすると有利である、と認識した。また、発明者は、一般的なユーザが使用する測定器の種類は限られており、測定器ごとの測定値の表示画像の寸法形状的な特徴および測定項目のデータ形式に関する情報を予め取得することは容易である、と認識した。また、発明者は、測定値の表示画像における数字の列（数値情報）を正しく認識できれば、各測定器の測定値の表示の寸法形状的な特徴に関する既知の情報に基づいてその数字の列によって表される測定項目および測定値を決定することができる、と認識した。発明者は、それによって、その表示画像における測定項目、測定値および単位の画像を文字認識するための機能および精度は低くてよく、文字認識のための処理負荷が軽減できると認識した。
【００１９】
図１は、実施形態による、ネットワーク５を介して接続される、サーバ装置３０、情報処理端末１００、および携帯端末１０２を含むシステムの例を示している。
図１において、ネットワーク５は、インターネット、公衆交換電話網（ＰＳＴＮ）、パケット交換網（ＰＳＮ）、ＩＳＤＮ、および／または移動体通信網を含んでいてもよい。情報処理端末１００は、情報処理装置であり、ディジタル・カメラ２０２に接続されて、ディジタル・カメラ２０２からユーザによって撮影された測定器の表示部の画像のデータを捕捉しまたは取り込んで格納する。情報処理端末１００および携帯端末１０２は、格納された画像データから、測定器の測定値表示および測定項目に関する既知の情報を参照して、文字認識技術によって測定データを抽出し、画像データに含まれる撮影日時を取得してそれを測定日時として決定する。情報処理端末１００および携帯端末１０２は、その測定データをその測定日時の情報とともにネットワーク５を介してサーバ装置３０に送信する。サーバ装置３０は、測定データを測定日時情報とともに受信して格納し、そのような多数のデータを長い期間にわたって記録データとして管理する。
【００２０】
情報処理端末１００は、例えばＣＰＵ（Central Processing Unit）、主記憶装置、ハードディスク・ドライブ（ＨＤＤ）、半導体メモリ、バス、入力装置、出力装置、通信インタフェース、記録媒体読取用のドライブ、等を含むコンピュータ、パーソナル・コンピュータ、ＰＤＡ（Personal Digital Assistant）または装置であってもよい。携帯端末１０２は、例えば、ＣＰＵ（Central Processing Unit）、半導体メモリ、バス、入力装置、出力装置、通信インタフェース、記録媒体用インタフェース、撮像部、スピーカ、レシーバ、マイクロホン、等を含む携帯電話機であってもよい。
【００２１】
サーバ装置３０は、情報処理装置であり、例えば、プロセッサ３１２、ネットワーク・インタフェース（ＮＷ Ｉ／Ｆ）３４４、データベースを含む記憶装置１６、および記録媒体読み取り用のドライブ３２８を含んでいる。ドライブ３２８は、プログラムが記録された例えば光ディスクのような記録媒体１２９を読み取るためのものである。
【００２２】
図２は、図１の情報処理端末１００の概略的な構成（configuration）の例を示している。
図２において、情報処理端末１００は、プロセッサ１１２、メモリ１１４、入出力インタフェース（Ｉ／Ｏ）１１６、内部バス、等を含む例えばパーソナル・コンピュータのようなコンピュータまたは装置であってもよい。プロセッサ１１２は、コンピュータ用のＣＰＵ（Central Processing Unit）であってもよい。プロセッサ１１２およびメモリ１１４は、入出力インタフェース１１６に結合されている。メモリ１１４には、例えば、主記憶装置および半導体メモリ等が含まれる。情報処理端末１００は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された、表示装置（ＤＳＰ）１２２、入力部または入力装置１２６、記録媒体読み取り用のドライブ１２８、およびハードディスク・ドライブ（ＨＤＤ）１３０を含んでいる。入力部１２６は、例えば、キーボード、マウスまたはタッチパッドのようなポインティング・デバイス、およびタッチパネルを含んでいてもよい。ドライブ１２８は、プログラムが記録された例えば光ディスクのような記録媒体１２９を読み取るために設けられている。情報処理端末１００は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された、ＵＳＢインタフェース（ＵＳＢ Ｉ／Ｆ）１４２、およびネットワーク・インタフェース（ＮＷ Ｉ／Ｆ）１４４を含んでいる。情報処理端末１００において、ＵＳＢインタフェース１４２は、少なくともディジタル・カメラ２０２からの画像信号を入力する入力部としても機能してもよい。
【００２３】
プロセッサ１１２は、画像処理および画像認識の機能を含む例えば集積回路として実装された専用のプロセッサであってもよい。また、プロセッサ１１２は、メモリ１１４および／またはハードディスク・ドライブ１３０に格納されたアプリケーション・プログラムに従って動作するものであってもよい。アプリケーション・プログラムは、記録媒体１２９に格納されていて、ドライブ１２８によって記録媒体１２９から読み出されて情報処理端末１００にインストールされてもよい。
【００２４】
カメラ２０２は、ＵＳＢケーブルによって、ＵＳＢインタフェース１４２を介して情報処理端末１００に結合される。情報処理端末１００は、ネットワーク・インタフェース１４４を介し、さらに外部ネットワーク５を介して、サーバ装置３０に接続されてもよい。
【００２５】
図３は、図１の携帯端末１０２の概略的な構成（configuration）の例を示している。
図３において、携帯端末１０２は、例えば、プロセッサ１１２、メモリ１１４、入出力インタフェース（Ｉ／Ｏ）１１６、内部バス、等を含む例えば携帯電話機または携帯情報処理端末であってもよい。携帯端末１０２は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された、表示装置（ＤＳＰ）１２２、入力部または入力装置１２６、取り外し可能なメモリ１２９、および撮像部２０３を含んでいる。入力部１２６は、例えばキーおよびタッチパネルを含んでいてもよい。取り外し可能なメモリ１２９は、例えばＳＤメモリとその書き込み読み取り部を含んでいてもよい。携帯端末１０２は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された通信部１４６を含んでいる。携帯端末１０２は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された、マイクロホン１４０、スピーカ１４２、およびレシーバ１４４を含んでいてもよい。
【００２６】
プロセッサ１１２は、画像処理および画像認識の機能を含む例えば集積回路として実装された専用のプロセッサであってもよい。また、プロセッサ１１２は、メモリ１１４に格納されたアプリケーション・プログラムに従って動作するものであってもよい。アプリケーション・プログラムは、取り外し可能なメモリ１２９に格納されていて、取り外し可能なメモリ１２９から読み出されて携帯端末１０２にインストールされてもよい。
【００２７】
図４は、情報処理端末１００または携帯端末１０２のプロセッサ１１２の概略的な構成（configuration）の例を示している。
プロセッサ１１２は、例えば、制御部１１２０、ノイズ除去部１１２２、二値化部１１２４、グループ化部１１２６、環状判定部１１２８、グループ抽出部１１３０、グループ結合部１１３２、および画像補正部１１３４を含んでいてもよい。プロセッサ１１２は、さらに、例えば、数字抽出部１１３６、特徴抽出部１１３８、測定データ決定部１１４０、およびその他の処理部１１４４を含んでいてもよい。処理部１１４４には例えば通信処理部が含まれていてもよい。制御部１１２０は、ノイズ除去部１１２２、二値化部１１２４、グループ化部１１２６、環状判定部１１２８、グループ抽出部１１３０、グループ結合部１１３２、および画像補正部１１３４に制御信号を供給して、これらの要素の動作を制御してもよい。制御部１１２０は、さらに、数字抽出部１１３６、特徴抽出部１１３８、測定データ決定部１１４０、およびその他の処理部１１４４に制御信号を供給して、これらの要素の動作を制御してもよい。代替形態として、サーバ装置３０のプロセッサ１１２が、要素１１２２〜１１４０を含んでいてもよい。
【００２８】
図５は、情報処理端末１００または携帯端末１０２のメモリ１１４またはハードディスク・ドライブ１３０に格納される測定器のリストの例を示している。測定器のリストは、例えば、測定器の順序番号、測定器の種別（種類）、表示部の表示領域の縦の長さ（高さ）（Ｗｄ）および横の長さ（幅）（Ｈｄ）、測定値を表す文字（数字）の縦の高さ（Ｈｃ）、隣接文字の間隔（Ｐｃ）、文字の太さ（Ｔｃ）、を含んでいてもよい。測定器のリストは、さらに、測定器の測定項目（身体データ種別）の項目数、測定値の表示の行数、測定項目（身体データ種別）の項目名、使用状態（使用／不使用）、行の間隔（Ｐｌ）（図示せず）、値の許容範囲（図示せず）、等を含んでいてもよい。図５のテーブルにおけるデータは、健康データ管理サービス提供業者またはユーザによって予め作成されてもよい。測定器の種別（種類）は、例えば、体重計、体組成計（体脂肪率計、皮下脂肪率計、骨格筋率計、等）、体温計、血圧計、脈拍数計、等、またはこれらの組合せ（例えば、体重体組成計）であってもよい。測定器の種別は、製造業者によって付けられた測定器の名称でなくてよい。各測定項目は、例えば、体重、体組成（体脂肪率、皮下脂肪率、骨格筋率、等）、体温、最高血圧、最低血圧、脈拍数、等であってもよい。使用状態（使用／不使用）は、それぞれの測定器が使用されるかどうかを示す情報であり、ユーザが情報処理端末１００または携帯端末の入力部１２６を操作することによって、設定される。測定器のリストは、さらに、サーバ装置３０の記憶装置１６に格納されてもよい。
【００２９】
図６は、情報処理端末１００または携帯端末１０２のメモリ１１４またはハードディスク・ドライブ１３０に格納される、図５における測定項目のリストの例を示している。測定項目のリストは、測定項目名、測定項目のデータ形式（桁数、数字／文字、小数点位置）、測定項目の単位、測定項目の測定値の許容範囲、等を含んでいてもよい。メモリ１１４またはハードディスク・ドライブ１３０は、最新のおよび過去のユーザの測定データを格納する。測定項目のリストは、さらに、サーバ装置３０の記憶装置１６に格納されてもよい。
【００３０】
図７Ａは、表示領域４０４を含む体温計４０２の例を示している。図７Ｂは、カメラ２０２または撮像部２０３によって撮影された図７Ａの体温計４０２の表示部の表示領域４０４の画像４０８の例を示している。図７Ｃは、プロセッサ１１２によって抽出された図７Ｂの画像４０８における数字の列とそれぞれの数字の外接矩形の例を破線で示している。この場合、表示領域４０４は、１行に１つの測定項目を含んでいる。図７Ｄは、各セグメントに対応する各画素グループの外接矩形の例を破線で示している。外接矩形は、表示されたものではなく、処理上の仮想的なものである。
【００３１】
図８Ａは、表示領域４１４を含む体重計４１２の例を示している。図８Ｂは、カメラ２０２または撮像部２０３によって撮影された図８Ａの体重計４１２の表示領域４１４の画像４１８の例を示している。図８Ｃは、プロセッサ１１２によって抽出された図８Ｂの画像４１８における数字の列とそれぞれの数字の外接矩形の例を示している。この場合、表示領域４１４は、１行に１つの測定項目を含んでいる。
【００３２】
図９Ａは、表示領域４２４を含む血圧計の例を示している。図９Ｂは、カメラ２０２または撮像部２０３によって撮影された図９Ａの血圧計の表示領域４２４の画像４２８の例を示している。この場合、表示領域４２４は、複数の行に複数の測定項目を含んでいる。
【００３３】
図１０Ａは、表示領域４３４を含む別の血圧計の例を示している。図１０Ｂは、カメラ２０２または撮像部２０３によって撮影された図１０Ａの血圧計の表示領域４３４の画像４３８の例を示している。この場合、表示領域４３４は、１つの行に２つの測定項目を含んでいる。他の形態として、測定器は、ユーザの操作に従って、その表示部に複数の測定値を順に切り替えて表示するものであってもよい。例えば、測定器は、最高血圧、最低血圧、脈拍数の各測定値を順次切り替えて表示してもよい。
【００３４】
ユーザは、図７Ａ、８Ａ、９Ａ、１０Ａのような測定器で体温、体重、血圧等の身体の状態または物理的量を測った後、その表示領域４０４、４１４、４２４または４３４をカメラ２０２または携帯端末１０２の撮像部２０３を用いて撮像する。ユーザは、その撮影された画像４０８、４１８、１２８、４３８のデータを、情報処理端末１００または携帯端末１０２のメモリ１１４またはハードディスク・ドライブ１３０の記憶領域に格納する。情報処理端末１００または携帯端末１０２のプロセッサ１１２は、その格納された画像データを処理して、例えば図５Ｃまたは６Ｃのような測定値を表す１列以上の数字の列だけを抽出する。小数点は抽出されなくてもよい。
【００３５】
図１１は、情報処理端末１００または携帯端末１０２のプロセッサ１１２によって実行される、測定値の表示画像の撮影からサーバ装置３０への測定データの送信までの処理のためのフローチャートの例を示している。
【００３６】
ステップ５００において、プロセッサ１１２またはその処理部１１４４は、ユーザの操作に従って、カメラ２０２または撮像部２０３によって撮影された測定器の表示部の画像を含む画像のデータをメモリ１１４またはハードディスク・ドライブ１３０の画像記憶領域に格納する。その画像データは、カラー多階調画像データであってもよい。プロセッサ１１２またはその処理部１１４４は、必要に応じて、その画像データを処理して輝度成分Ｙの画像データを生成する。
【００３７】
ステップ５０２において、プロセッサ１１２またはそのノイズ除去部１１２２は、メモリ１１４またはハードディスク・ドライブ１３０において、測定器の表示部の画像を含む画像の輝度を調整し、フィルタを用いてその画像のノイズを除去する。ステップ５０４において、プロセッサ１１２または二値化部１１２４は、その画像を二値化して、二値化された輝度の画像データ（白黒、明暗）を生成する。
【００３８】
ステップ５０６において、プロセッサ１１２またはそのグループ化部１１２６は、二値化された画像の画素（例えば、黒または暗の画素）を、例えば１つ以上の画素グループにグループ化する。例えば、測定器の測定値の各桁の数字が７セグメント表示である場合、１つの数字を表す複数の画素が、７セグメント中の２つ以上のセグメントを表すそれぞれの画素グループにグループ化される。例えば、数字“１”を表す上下２つのセグメントを表す複数の画素が、画素の隣接関係に基づいて、２つの画素グループにグループ化される。例えば、数字“８”を表す７つのセグメントを表す複数の画素が、画素の隣接関係に基づいてそれに対応する７つの画素グループにグループ化される。
【００３９】
ステップ５０８において、プロセッサ１１２またはその環状判定部１１２８は、その画像における複数の画素グループから、環状を表す画素グループを判定して抽出する。ステップ５１０において、プロセッサ１１２または環状判定部１１２８は、画像におけるその環状の画素グループの中からその内側に他の画素グループを含むものを選択し、その最も内側の環状の画素グループを、測定器の表示領域または表示枠を表す画素グループとして決定する。
【００４０】
ステップ５１２において、プロセッサ１１２またはそのグループ抽出部１１３０は、画像における表示枠を表す画素グループの内側にある数字または数字セグメントを表す可能性のある画素グループを抽出する。ステップ５１４において、プロセッサ１１２またはそのグループ結合部１１３２は、画像における抽出された複数の画素グループの中で隣接関係にある画素グループを結合して、各数字を表す結合された画素グループの組をそれぞれ形成する。ステップ５１６において、プロセッサ１１２またはその補正部１１３４は、画像における数字セグメントを表す各画素グループの傾きを検出して、数字を表す画像の傾きを補正して傾きのない数字を形成する。
【００４１】
ステップ５１８において、プロセッサ１１２またはその数字抽出部１１３８は、画像における結合された画素グループの各組を文字認識技術によって認識する。プロセッサ１１２またはその数字抽出部１１３８は、複数の画素グループから数字だけを認識して数字だけを抽出してもよい。プロセッサ１１２またはその数字抽出部１１３８は、他の画素グループから隔てられた１つ以上の領域における１つ以上の数字の列（数字のストリング）を数値情報として抽出する。ステップ５２０において、プロセッサ１１２または特徴抽出部１１３８は、使用した測定器の表示部の画像における表示領域または表示枠の寸法形状および各数字の寸法形状、等を求めて、使用した測定器の表示部に固有の特徴（情報）またはパラメータを抽出する。
【００４２】
ステップ５２２において、プロセッサ１１２またはその測定データ決定部１１４０は、画像における抽出された測定器の表示部の特徴または形状的特徴を、メモリ１１４等に格納された測定器のリストのものと比較する。プロセッサ１１２または測定データ決定部１１４０は、そのリスト中から類似または近似している特徴を有する測定器の種別を、使用する測定器の種別として選択する。プロセッサ１１２または測定データ決定部１１４０は、さらに、その選択された測定器の種別に対応する１つ以上の測定項目（身体データ種別）を選択する。
【００４３】
プロセッサ１１２または測定データ決定部１１４０は、さらに、その決定された測定項目のデータ形式に基づいて、画像における抽出された数字の列（数値情報）によって表される測定値を測定データとして決定する。その際、選択された測定器の種別に対応する２つ以上の測定項目が存在する場合、数字列（数値情報）の桁数、数値（大きさ）が、各測定項目のデータ形式（桁数）、数値の許容範囲、出現順序を参照しまたはこれらと比較されて、数字列によって表される測定項目および測定値が決定される。また、複数の数字列が抽出された場合、各数字列が、互いに比較され、各測定項目のデータ形式（桁数等）、数値の許容範囲、出現順序を参照しまたはこれらと比較されて、数字列（数値情報）によって表される測定項目および測定値が決定されてもよい。
【００４４】
プロセッサ１１２または測定データ決定部１１４０は、さらに、その決定された測定項目および測定値を表示部１２２に表示してユーザに確認させ、確認された測定項目および測定値を測定データとして決定してもよい。プロセッサ１１２または測定データ決定部１１４０は、さらに、その測定器種別および測定項目（身体データ種別）に対応付けて測定値を測定日時情報とともにメモリ１１４またはハードディスク１３０に格納する。
【００４５】
ステップ５２４において、プロセッサ１１２または処理部１１４４は、その決定された測定器種別、測定項目および測定値（測定データ）を、ユーザの個人情報および日時情報とともに、ネットワーク５を介してサーバ装置３０に送信する。サーバ装置３０またはそのプロセッサ３１２は、測定器種別、測定項目および測定値（測定データ）を受信し、測定日時情報に従って測定器種別および測定項目に対応付けて測定値を記憶装置１６のデータベース（ＤＢ）に格納して、履歴データまたは記録データとして管理する。その後、サーバ装置３０またはプロセッサ３１２は、情報処理端末１００または携帯端末１０２からの要求に応答して、記憶装置１６に格納された履歴データまたは記録データを送信する。情報処理端末１００または携帯端末１０２の（プロセッサ１１２）は、履歴データまたは記録データを受信し、その表示部１２２上に、測定項目に対応付けて各測定値を測定日時情報の順に表示する。
【００４６】
図１２Ａおよび１２Ｂは、図１１のステップ５０２における、測定器の表示部の画像を含む画像のノイズを除去する処理のためのフローチャートの例を示している。
【００４７】
図７Ｂおよび８Ｂにおいて、撮影された画像（ピクチャ）のフレーム４０８、４１８における輝度補正用の中央の参照枠４２０の位置が破線で示されている。画像のフレーム４０８、４１８の横と縦のサイズは、ピクセル単位の横と縦のサイズｘｗ×ｙｈを有する。参照枠４２０は、例えばサイズ（ｘｗ／１０）×（ｙｈ／１０）を有する。参照枠４２０は、画像のフレーム４０８、４１８の中央領域における基準となる最大の輝度Ｙｍａｘを決定するために用いられる。ユーザは、ディジタル・カメラ２０２のモニタ画面または携帯端末１０２の表示部１２２の中央に測定器の表示領域４０４、４１４の中心が位置するように、測定器の表示領域を撮影する。それによって、測定器の表示領域４０４、４１４の中心は、撮影された測定器の表示領域４０４、４１４の概ね中心に位置する。
【００４８】
表示領域４０４、４１４の周辺またはその外側の領域の画素は、測定器への光の反射等によって不所望に明る過ぎることがあるので、画像全体の最大輝度を参照枠４２０内の最大輝度に制限するよう処理することが望ましい。
【００４９】
図１２Ａを参照すると、プロセッサ１１２は、ステップ６００においてその処理を開始する。ステップ６０２において、プロセッサ１１２は、最大輝度Ｙｍａｘを初期値０（ゼロ）（Ｙｍａｘ＝０）に、参照枠４２０の中心座標（ｘｃ，ｙｃ）を画像の中心座標（ｘｗ／２，ｙｈ／２）に設定する（（ｘｃ，ｙｃ）＝（ｘｗ／２，ｙｈ／２））。また、プロセッサ１１２は、参照枠４２０の左上の座標（ｘｔ，ｙｔ）を座標（ｘｃ−ｘｗ／２０，ｙｃ−ｙｈ／２０）に設定する（（ｘｔ，ｙｔ）＝（ｘｃ−ｘｗ／２０，ｙｃ−ｙｈ／２０））。また、プロセッサ１１２は、参照枠４２０の右下の座標（ｘｂ，ｙｂ）を座標（ｘｔ＋ｘｗ／１０，ｙｔ＋ｙｈ／１０）に設定する（（ｘｂ，ｙｂ）＝（ｘｔ＋ｘｗ／１０，ｙｔ＋ｙｈ／１０））。さらに、プロセッサ１１２は、参照枠４２０における最大の輝度Ｙｍａｘを決定する処理を実行するために、注目画素の座標（ｘ，ｙ）を、参照枠４２０の左上の初期値（ｘｔ，ｙｔ）に設定する（（ｘ，ｙ）＝（ｘｔ，ｙｔ））。
【００５０】
ステップ６０４において、プロセッサ１１２は、座標（ｘ，ｙ）の注目画素の輝度Ｙ（ｘ，ｙ）が現在の最大輝度Ｙｍａｘより大きいかどうかを判定する（Ｙ（ｘ，ｙ）＞Ｙｍａｘ？）。輝度Ｙ（ｘ，ｙ）が最大輝度Ｙｍａｘより大きいと判定された場合は、ステップ６０６において、最大輝度Ｙｍａｘ＝Ｙ（ｘ，ｙ）と設定する。輝度Ｙ（ｘ，ｙ）が最大輝度Ｙｍａｘより大きくないと判定された場合は、手順はステップ６０８に進む。
【００５１】
ステップ６０８において、プロセッサ１１２は、注目画素の座標ｘを１画素分だけ増分する（ｘ＝ｘ＋１）。ステップ６１０において、プロセッサ１１２は、座標ｘが参照枠４２０の右下の座標ｘｂより大きいかどうかを判定する（ｘ＞ｘｂ？）。座標ｘが参照枠４２０の座標ｘｂより大きくないと判定された場合は、手順はステップ６０４に戻る。座標ｘが参照枠４２０の座標ｘｂより大きいと判定された場合は、ステップ６１２において、プロセッサ１１２は、注目画素の座標ｘを初期値ｘ＝ｘｔと設定し、注目画素の座標ｙを１画素分だけ増分する（ｘ＝ｘｔ，ｙ＝ｙ＋１）。
【００５２】
ステップ６１４において、プロセッサ１１２は、注目画素の座標ｙが参照枠４２０の座標ｙｂより大きいかどうかを判定する（ｙ＞ｙｂ？）。座標ｙが参照枠４２０の右下の座標ｙｂより大きくないと判定された場合は、手順はステップ６０４に戻る。座標ｙが参照枠４２０の右下の座標ｙｂより大きいと判定された場合は、手順は図１２Ｂのステップ６１６に進む。ステップ６０２〜６１４によって、参照枠４２０内の画素の最大輝度が、基準となる最大輝度Ｙｍａｘとして決定される。
【００５３】
図１２Ｂを参照すると、ステップ６１６において、プロセッサ１１２は、注目画素の座標（ｘ，ｙ）を、画像のフレーム４０８または４１８の左上の座標の初期値（１，１）に設定する（（ｘ，ｙ）＝（１，１））。
【００５４】
ステップ６１８において、プロセッサ１１２は、座標（ｘ，ｙ）の注目画素の輝度Ｙ（ｘ，ｙ）が最大輝度Ｙｍａｘより大きいかどうかを判定する（Ｙ（ｘ，ｙ）＞Ｙｍａｘ？）。輝度Ｙ（ｘ，ｙ）が最大輝度Ｙｍａｘより大きいと判定された場合は、ステップ６２０において、最大輝度Ｙ（ｘ，ｙ）＝Ｙｍａｘと設定する。輝度Ｙ（ｘ，ｙ）が最大輝度Ｙｍａｘより大きくないと判定された場合は、手順はステップ６２２に進む。
【００５５】
ステップ６２２において、プロセッサ１１２は、注目画素の座標ｘを１画素分だけ増分する（ｘ＝ｘ＋１）。ステップ６２４において、プロセッサ１１２は、座標ｘが画像のフレーム４０８、４１８の右下の座標ｘｗより大きいかどうかを判定する（ｘ＞ｘｗ？）。座標ｘが座標ｘｗより大きくないと判定された場合は、手順はステップ６１８に戻る。座標ｘが座標ｘｗより大きいと判定された場合は、ステップ６２６において、プロセッサ１１２は、注目画素の座標ｘを初期値ｘ＝１と設定し、注目画素の座標ｙを１画素分だけ増分する（ｘ＝１，ｙ＝ｙ＋１）。
【００５６】
ステップ６２８において、プロセッサ１１２は、注目画素の座標ｙが画像のフレーム４０８、４１８の右下の座標ｙｈより大きいかどうかを判定する（ｙ＞ｙｈ？）。座標ｙが座標ｙｈより大きくないと判定された場合は、手順はステップ６１８に戻る。座標ｙが座標ｙｈより大きいと判定された場合は、手順はステップ６３０に進む。ステップ６１６〜６２８によって、画像のフレーム４０８、４１８において最大輝度Ｙ（ｘ，ｙ）を超える輝度Ｙ（ｘ，ｙ）が、最大輝度Ｙｍａｘに制限されるように補正される。
【００５７】
ステップ６３０において、プロセッサ１１２は、既知の形態で、例えば３×３のサイズの重み付け係数を有するフィルタで、画像のフレーム４０８、４１８を空間的に濾波してノイズを除去または低減する。その空間的濾波において、例えば３×３のマトリックスの注目画素および近隣画素の値と、そのフィルタにおける対応する行列位置の係数とが乗算され、その積の和によって、注目画素の値が補正される。
【００５８】
図１１を再び参照すると、ステップ５０４において、プロセッサ１１２は、画像のフレームにおける全ての座標（ｘ，ｙ）の画素の輝度Ｙ（ｘ，ｙ）を閾値Ｙｔｈで処理して、輝度Ｙ（ｘ，ｙ）を値“０”か“１”に二値化し、座標（ｘ，ｙ）の画素Ｐｘ（ｘ，ｙ）にその値（０、１）を設定する。この場合、値“０”は白または明の輝度を表し、値“１”は黒または暗の輝度を表す。閾値Ｙｔｈは、例えば、最大輝度Ｙｍａｘの１／２、即ちＹｔｈ＝Ｙｍａｘ／２と設定してもよい。プロセッサ１１２は、例えば、輝度Ｙ（ｘ，ｙ）が閾値Ｙｔｈかまたはそれより暗い場合には画素Ｐｘ（ｘ，ｙ）＝１（暗）と設定し、輝度Ｙ（ｘ，ｙ）が閾値Ｙｔｈより明るい場合には画素Ｐｘ（ｘ，ｙ）＝０（明）と設定してもよい。代替形態として、プロセッサ１１２は、例えば、輝度Ｙ（ｘ，ｙ）が閾値Ｙｔｈかまたはそれより明るい場合に画素Ｐｘ（ｘ，ｙ）＝１（明）と設定し、輝度Ｙ（ｘ，ｙ）が閾値Ｙｔｈより暗い場合に画素Ｐｘ（ｘ，ｙ）＝０（暗）と設定してもよい。画像の二値化によって、画像中の数字の認識が容易になる。
【００５９】
図１３は、図１１のステップ５０６における、画像のフレーム４０８、４１８、４２８、４３８の画素をグループ化する処理のためのフローチャートの例を示している。
【００６０】
図１４は、画像のフレーム（４０８、４１８、４２８、４３８）において、表示領域（４０４、４１４、４２４、４３４）の画素のグループ化の例を示している。
図１４において、隣接関係にある輝度１（暗）を表す複数の画素または１つのセグメントの複数の画素に、同じラベル番号またはグループ番号１１〜４５のいずれかが付けられている。この場合、一例として、測定器の表示部の二値画像において、上下２つの行に数値“５１．８”および“３２．４”の画像を含む画像の各画素に、ラベル番号が付与されている。
【００６１】
図１５は、図１４の画像における測定器の表示領域（４０４、４１４、４２４、４３４）の画素に関するラベル番号、統計的情報、認識された数字を含むラベル・テーブルの例を示している。
【００６２】
図１５において、左側の項目番号または行番号１〜３５は異なるラベル番号（列２）に対応し、上側の列番号１〜１３の項目は各ラベル番号の画素グループに関する統計的情報、寸法形状、形状的特徴、認識対象かどうか、認識結果（数字）、等の項目に対応する。列２〜８は、列１の各ラベル番号の画素グループに対する、画素の個数、画素の座標ｘの最小値（ｘｍｉｎ）、座標ｙの最小値（ｙｍｉｎ）、座標ｘの最大値（ｘｍａｘ）、座標ｙの最大値（ｙｍａｘ）、中心画素の座標ｘ（ｘｃ）、中心画素の座標ｙ（ｙｃ）を含んでいる。列９〜１２は、列１の各ラベル番号の画素グループに対して、環状かどうか、包囲（包囲線または輪郭線）かどうか、認識対象かどうか、ラベル結合番号、認識結果の数字を含んでいる。１つのラベル結合番号は、隣接関係にある複数の画素グループを、１つの数字を表す可能性がある組として結合するための識別番号である。
【００６３】
図１３を参照すると、プロセッサ１１２は、ステップ６６０においてその処理を開始する。ステップ６６２において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬを初期値ｉ＿ＬＢＬ＝１１、注目画素の座標（ｘ，ｙ）を初期値ｘ＝２、ｙ＝２と設定する。ここで、ラベル番号ｉ＿ＬＢＬは、輝度値“０”（明）、“１”（暗）と区別するために、１１以上の整数（ｉ＿ＬＢＬ≧１１）とする。
【００６４】
ステップ６６４において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬがラベル番号の上限の閾値ｉ＿ＬＢＬ＿ｍａｘより大きいかどうかを判定する。ラベル番号ｉ＿ＬＢＬが閾値ｉ＿ＬＢＬ＿ｍａｘより大きいと判定された場合は、手順はステップ６８０に進む。ラベル番号ｉ＿ＬＢＬが閾値ｉ＿ＬＢＬ＿ｍａｘより大きくないと判定された場合は、ステップ６６６において、プロセッサ１１２は、座標（ｘ，ｙ）の注目画素Ｐｘ（ｘ，ｙ）の値が二値化された“１”（暗）かどうかを判定する。この場合、輝度“１”は黒または暗いレベルを表し、輝度“０”は白または明るいレベルを表すものとする。注目画素Ｐｘ（ｘ，ｙ）に既にラベルが付与されている場合は、注目画素はＰｘ（ｘ，ｙ）≧１１の値を有する。注目画素Ｐｘ（ｘ，ｙ）が輝度１（暗）であると判定された場合は、プロセッサ１１２は、ステップ６７０において注目画素とその隣接画素に対してラベル付けを行う。その後、手順はステップ６７１に進む。ステップ６６６において画素Ｐｘ（ｘ，ｙ）が輝度１（暗）でない、即ち輝度０（ゼロ）（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ６７２に進む。
【００６５】
ステップ６７０において、画像において互いに隣接関係にある輝度１（暗）の画素Ｐｘ（ｘ，ｙ）のグループに同じ１つのラベル番号ｉ＿ＬＢＬ（≧１１）が付与される。ステップ６７０は、輝度１（暗）の画素グループのグループ数、即ちラベル番号ｉ＿ＬＢＬの数の回数だけ実行される。
【００６６】
ステップ６７１において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬを１だけ増分する（ｉ＿ＬＢＬ＝ｉ＿ＬＢＬ＋１）。
【００６７】
ステップ６７２において、プロセッサ１１２は、注目画素の座標ｘを１画素分だけ増分する（ｘ＝ｘ＋１）。ステップ６７４において、プロセッサ１１２は、座標ｘが画像のフレーム４０８、４１８の右下の座標ｘｗ以上かどうかを判定する（ｘ≧ｘｗ？）。座標ｘが座標ｘｗ以上でないと判定された場合は、手順はステップ６６４に戻る。座標ｘが座標ｘｗ以上であると判定された場合は、ステップ６７６において、プロセッサ１１２は、注目画素の座標ｘを初期値ｘ＝２に設定し、注目画素のｙ座標を１画素分だけ増分する（ｘ＝２，ｙ＝ｙ＋１）。
【００６８】
ステップ６７８において、プロセッサ１１２は、注目画素の座標ｙが画像のフレーム４０８、４１８の右下の座標ｙｈ以上かどうかを判定する（ｙ≧ｙｈ？）。座標ｙが座標ｙｈ以上でないと判定された場合は、手順はステップ６６４に戻る。座標ｙが座標ｙｈ以上であると判定された場合は、手順はステップ６８０に進む。
【００６９】
ステップ６６２〜６７８によって、画像のフレーム４０８、４１８の輝度１（暗）の全ての画素Ｐｘ（ｘ，ｙ）＝１がラベル番号（Ｐｘ（ｘ，ｙ）≧１１）に置換される。ステップ６８０において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬの総数または最大のラベル順序番号Ｉｔを、最後の最大の値のラベル番号Ｉｔ＝ｉ＿ＬＢＬ−１０と設定する。これは、ラベル番号ｉ＿ＬＢＬの初期値をｉ＿ＬＢＬ＝１１と設定したからである。
【００７０】
図１６Ａ〜１６Ｄは、図１３のステップ６７０のラベル付けの処理のためのフローチャートの例を示している。
【００７１】
図１６Ａを参照すると、プロセッサ１１２は、ステップ７００においてその処理を開始する。ステップ７０２において、プロセッサ１１２は、座標（ｘ，ｙ）の注目画素Ｐｘ（ｘ，ｙ）にラベル番号ｉ＿ＬＢＬを設定する（Ｐｘ（ｘ，ｙ）＝ｉ＿ＬＢＬ）。最初の画素Ｐｘ（ｘ，ｙ）は、例えばＰｘ（ｘ，ｙ）＝ｉ＿ＬＢＬ＝１１（ラベル番号）である。プロセッサ１１２は、図１５のラベルのテーブルにおいて、ラベル順序番号Ｉ（＝ｉ＿ＬＢＬ−１０）のラベル・テーブルの項目１（列１）として、ラベル番号Ｌ＿ＴＢＬ（Ｉ，１）＝Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１０，１）を現在の注目画素のラベル番号ｉ＿ＬＢＬと設定する。プロセッサ１１２は、ラベル順序番号Ｉ＝ｉ＿ＬＢＬ−１０のラベル・テーブルの項目２（列２）として、そのラベル番号ｉ＿ＬＢＬを有する画素の総数（画素数）Ｌ＿ＴＢＬ（Ｉ，２）を初期値Ｌ＿ＴＢＬ（Ｉ，２）＝１と設定する。プロセッサ１１２は、ラベル順序番号Ｉ＝ｉ＿ＬＢＬ−１０のラベル・テーブルの項目３、４（列３、４）として、ラベル番号ｉ＿ＬＢＬを有する画素の左側の最小ｘ座標Ｌ＿ＴＢＬ（Ｉ，３）およびラベルの上側の最小ｙ座標Ｌ＿ＴＢＬ（Ｉ，４）をそれぞれ座標ｘおよびｙと設定する。プロセッサ１１２は、ラベル順序番号Ｉ＝ｉ＿ＬＢＬ−１０のラベル・テーブルの項目５、６（列５、６）として、ラベル番号ｉ＿ＬＢＬを有する画素の右側の最大ｘ座標Ｌ＿ＴＢＬ（Ｉ，５）および下側の最大ｙ座標Ｌ＿ＴＢＬ（Ｉ，６）をそれぞれ座標ｘおよびｙと設定する。
【００７２】
ステップ７０４において、プロセッサ１１２は、処理のカウント（計数値）ｉ＿ＣＮＴを初期値ｉ＿ＣＮＴ＝０と設定し、座標パラメータ（ｘｓ，ｙｓ）を（ｘｓ，ｙｓ）＝（２，２）と設定する。ステップ７０５において、プロセッサ１１２は、座標（ｘｓ，ｙｓ）の注目画素Ｐ（ｘｓ，ｙｓ）が現在のラベル番号ｉ＿ＬＢＬかどうかを判定する（Ｐ（ｘｓ，ｙｓ）＝ｉ＿ＬＢＬ？）。画素Ｐ（ｘｓ，ｙｓ）＝ｉ＿ＬＢＬでないと判定された場合は、手順は図１６Ｄのステップ７６２に進む。画素Ｐ（ｘｓ，ｙｓ）＝ｉ＿ＬＢＬであると判定された場合は、手順は、ステップ７０６に進む。
【００７３】
ステップ７０６において、プロセッサ１１２は、座標（ｘｓ，ｙｓ）の注目画素に対する隣接の画素を選択するための座標パラメータｘｍ＝ｘｓ−１、ｘｐ＝ｘｓ＋１、ｙｍ＝ｙｓ−１、ｙｐ＝ｙｓ＋１を設定する。画素位置ｘｍ＝ｘｓ−１は注目画素の座標ｘｓの左側の位置を表す。画素位置ｘｐ＝ｘｓ＋１は注目画素の座標ｘｓの右側の位置を表す。画素位置ｙｍ＝ｙｓ−１は注目画素の座標ｙｓの上側の位置を表す。画素位置ｙｐ＝ｙｓ＋１は注目画素の座標ｙｓの下側の位置を表す。これらの４つの座標パラメータと注目画素の座標（ｘｓ，ｙｓ）とによって、３×３の座標位置のうちの８つの隣接画素の位置が選択される。
【００７４】
ステップ７０８において、プロセッサ１１２は、注目画素Ｐｘ（ｘ，ｙ）の左上の座標（ｘｍ，ｙｍ）の画素Ｐｘ（ｘｍ，ｙｍ）がＰｘ（ｘｍ，ｙｍ）＝１（暗）かどうかを判定する。隣接の画素Ｐｘ（ｘｍ，ｙｍ）が輝度１（暗）でない、即ち輝度０（ゼロ）（明）またはラベル番号（≧１１）と判定された場合は、手順は図１６Ｂのステップ７２２に進む。画素Ｐｘ（ｘｍ，ｙｍ）が輝度１（暗）と判定された場合は、ステップ７１０において、プロセッサ１１２は、画素Ｐｘ（ｘｍ，ｙｍ）の現在の値１を現在のラベル番号ｉ＿ＬＢＬ（≧１１）で置換して、画素Ｐｘ（ｘｍ，ｙｍ）を現在のラベル番号ｉ＿ＬＢＬ（≧１１）と設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順は図１６Ｂのステップ７２２に進む。
【００７５】
図１６Ｂのステップ７２２において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の上の座標（ｘ，ｙｍ）の画素Ｐｘ（ｘ，ｙｍ）がＰｘ（ｘ，ｙｍ）＝１（暗）かどうかを判定する。隣接の画素Ｐｘ（ｘ，ｙｍ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ７３２に進む。画素Ｐｘ（ｘ，ｙｍ）が輝度１（暗）と判定された場合は、ステップ７２４において、プロセッサ１１２は、画素Ｐｘ（ｘ，ｙｍ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順はステップ７３２に進む。
【００７６】
ステップ７３２において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の右上の座標（ｘｐ，ｙｍ）の画素Ｐｘ（ｘｐ，ｙｍ）が輝度１（暗）かどうかを判定する。隣接画素Ｐｘ（ｘｐ，ｙｍ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ７３８に進む。画素Ｐｘ（ｘｐ，ｙｍ）が輝度１（暗）と判定された場合は、ステップ７３４において、プロセッサ１１２は、画素Ｐｘ（ｘｐ，ｙｍ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順はステップ７３８に進む。
【００７７】
ステップ７３８において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の左の座標（ｘｍ，ｙ）の画素Ｐｘ（ｘｍ，ｙ）が輝度１（暗）かどうかを判定する。隣接の画素Ｐｘ（ｘｍ，ｙ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ７３８に進む。画素Ｐｘ（ｘｍ，ｙ）が輝度１（暗）と判定された場合は、ステップ７４０において、プロセッサ１１２は、画素Ｐｘ（ｘｍ，ｙ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順は図１６Ｃのステップ７４２に進む。
【００７８】
図１６Ｃのステップ７４２において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の右の座標（ｘ，ｙｐ）の画素Ｐｘ（ｘ，ｙｐ）が輝度１（暗）かどうかを判定する。画素Ｐｘ（ｘ，ｙｐ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ７４８に進む。画素Ｐｘ（ｘ，ｙｐ）が輝度１（暗）と判定された場合は、ステップ７４４において、プロセッサ１１２は、画素Ｐｘ（ｘ，ｙｐ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順はステップ７４８に進む。
【００７９】
ステップ７４８において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の左下の座標（ｘｍ，ｙｐ）の画素Ｐｘ（ｘｍ，ｙｐ）が輝度１（暗）かどうかを判定する。隣接の画素Ｐｘ（ｘｍ，ｙｐ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ７５２に進む。画素Ｐｘ（ｘｍ，ｙｐ）が輝度１（暗）と判定された場合は、ステップ７５０において、プロセッサ１１２は、画素Ｐｘ（ｘｍ，ｙｐ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順はステップ７５２に進む。
【００８０】
ステップ７５２において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の下の座標（ｘ，ｙｐ）の画素Ｐｘ（ｘ，ｙｐ）が輝度１（暗）かどうかを判定する。画素Ｐｘ（ｘ，ｙｐ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順は図１６Ｄのステップ７５８に進む。画素Ｐｘ（ｘ，ｙｐ）が輝度１（暗）と判定された場合は、ステップ７５４において、プロセッサ１１２は、画素Ｐｘ（ｘ，ｙｐ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順は図１６Ｄのステップ７５８に進む。
【００８１】
図１６Ｄのステップ７５８において、プロセッサ１１２は、注目画素Ｐ（ｘ，ｙ）の右下の座標（ｘｐ，ｙｐ）の画素Ｐｘ（ｘｐ，ｙｐ）が輝度１（暗）かどうかを判定する。画素Ｐｘ（ｘｐ，ｙｐ）が輝度１（暗）でない、即ち輝度０（明）またはラベル番号（≧１１）と判定された場合は、手順はステップ７６２に進む。画素Ｐｘ（ｘｐ，ｙｐ）が輝度１（暗）と判定された場合は、ステップ７６０において、プロセッサ１１２は、画素Ｐｘ（ｘｐ，ｙｐ）に現在のラベル番号ｉ＿ＬＢＬを設定する。ステップ７８０において、プロセッサ１１２は、後で説明するようにラベル・テーブルの登録を実行する。その後、手順はステップ７６２に進む。
【００８２】
ステップ７６２において、プロセッサ１１２は、注目画素の座標ｘｓを１画素分だけ増分する（ｘｓ＝ｘｓ＋１）。ステップ７６４において、プロセッサ１１２は、座標ｘｓが画像のフレーム４０８、４１８の右下の座標ｘｗより小さいかどうかを判定する（ｘｓ＜ｘｗ？）。座標ｘｓが座標ｘｗより小さいと判定された場合は、手順は図１６Ａのステップ７０５に戻る。座標ｘｓが標ｘｗより小さくないと判定された場合は、ステップ７６６において、プロセッサ１１２は、注目画素の座標ｘｓを初期値ｘｓ＝２と設定し、注目画素の座標ｙを１画素分だけ増分する（ｘｓ＝２，ｙｓ＝ｙｓ＋１）。
【００８３】
ステップ７６８において、プロセッサ１１２は、注目画素の座標ｙが画像のフレーム４０８、４１８の右下のｙ座標ｙｈより小さいかどうかを判定する（ｙ＜ｙｈ？）。座標ｙが座標ｙｈより小さいと判定された場合は、手順は図１６Ａのステップ７０５に戻る。座標ｙが座標ｙｈより小さくないと判定された場合は、ステップ７７０において、プロセッサ１１２は、カウントｉ＿ＣＮＴが０より大きいかどうかを判定する。カウントｉ＿ＣＮＴが０より大きいと判定された場合は、手順は図１６Ａのステップ７０４に戻る。カウントｉ＿ＣＮＴが０より大きくないと判定された場合は、新しくラベル付けされた画素および新しくラベル付けされる画素が他に存在しないので、手順は図１６Ａ〜１６Ｄのルーチンを出る。
【００８４】
図１６Ａ〜１６Ｄの処理によって、画像における輝度１（暗）の全ての画素に、いずれかの画素グループのラベル番号が付けられる。ラベル番号の付与の処理は、これに限定されるものではない。
【００８５】
図１７は、図１６Ａ〜１６Ｃのステップ７８０における、ラベル・テーブルの登録の処理のためのフローチャートの例を示している。
【００８６】
図１７を参照すると、プロセッサ１１２は、ステップ７８０においてその処理を開始する。ステップ７８２において、プロセッサ１１２は、処理のカウントｉ＿ＣＮＴを１だけ増分し（ｉ＿ＣＮＴ＝ｉ＿ＣＮＴ＋１）、現在のラベル番号ｉ＿ＬＢＬの画素の画素数Ｌ＿ＴＢＬ（Ｉ，２）を１だけ増分する（Ｌ＿ＴＢＬ（Ｉ，２）＝Ｌ＿ＴＢＬ（Ｉ，２）＋１）に設定する。
【００８７】
ステップ７８４において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬが付与された隣接画素Ｐｘ（ｘ，ｙ）の座標ｘ（即ちｘｍ、ｘｓ、ｘｐのいずれか）が、ラベル番号ｉ＿ＬＢＬを有する現在の左側の最小ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，３）より小さいかどうかを判定する。隣接画素Ｐｘ（ｘ，ｙ）は、前の図１６Ａ〜１６Ｄのステップ７１０、７２４、７３４、７４０７４４、７５０、７５４、７６０においてラベル番号ｉ＿ＬＢＬが付与されたものである。座標ｘが最小ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，３）より小さくないと判定された場合は、手順はステップ７８８に進む。座標ｘが最小ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，３）より小さいと判定された場合は、ステップ７８６において、プロセッサ１１２は、最小ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，３）を現在の隣接画素の座標ｘと設定する（Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，３）＝ｘ）。その後、手順はステップ７８８に進む。
【００８８】
ステップ７８８において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬが付与された隣接画素Ｐｘ（ｘ，ｙ）の座標ｙ（即ちｙｍ、ｙｓ、ｙｐのいずれか）が、ラベル番号ｉ＿ＬＢＬを有する現在の上側の最小ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，４）より小さいかどうかを判定する。座標ｙが最小ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，４）より小さくないと判定された場合は、手順はステップ７９２に進む。座標ｙが最小ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，４）より小さいと判定された場合は、ステップ７９０において、プロセッサ１１２は、最小ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，４）を座標ｙと設定する（Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，４）＝ｙ）。その後、手順はステップ７９２に進む。
【００８９】
ステップ７９２において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬが付与された隣接画素Ｐｘ（ｘ，ｙ）の座標ｘ（即ちｘｍ、ｘｓまたはｘｐ）が、ラベル番号ｉ＿ＬＢＬを有する現在の右側の最大ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，５）より大きいかどうかを判定する。座標ｘが最大ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，５）より大きくないと判定された場合は、手順はステップ７９６に進む。座標ｘが最大ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，５）より大きいと判定された場合は、ステップ７９４において、プロセッサ１１２は、最大ｘ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，５）を座標ｘと設定する（Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，５）＝ｘ）。その後、手順はステップ７９６に進む。
【００９０】
ステップ７９６において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬが付与された隣接画素Ｐｘ（ｘ，ｙ）の座標ｙ（即ちｙｍ、ｙｓまたはｙｐ）が、ラベル番号ｉ＿ＬＢＬを有する現在の下側の最大ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，６）より大きいかどうかを判定する。座標ｙが最大ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，６）より大きくないと判定された場合は、手順は図１７のルーチンを出る。座標ｙが最大ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，６）より大きいと判定された場合は、ステップ７９８において、プロセッサ１１２は、最大ｙ座標Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，６）を座標ｙと設定する（Ｌ＿ＴＢＬ（ｉ＿ＬＢＬ−１，６）＝ｙ）。その後、手順は図１７のルーチンを出る。
【００９１】
このようにして、或るラベル番号ｉ＿ＬＢＬを有する画素グループのうちで、最も左にある画素の座標ｘ、最も右にある画素の座標ｘ、最も上にある画素の座標ｙ、最も下にある画素の座標ｙが決定される。
【００９２】
図１８は、図１１のステップ５０８における、環状を表す画素グループを判定する処理のためのフローチャートの例を示している。
【００９３】
図１８を参照すると、プロセッサ１１２は、ステップ８００においてその処理を開始する。ステップ８０２において、プロセッサ１１２は、画素グループのラベル順序番号Ｉ＝ｉ＿ＬＢＬ−１０を初期値Ｉ＝１と設定する。ステップ８０４において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬをラベル・テーブル（図１５）のラベル番号ｉ＿ＴＢＬ（Ｉ，１）＝ｉ＿ＴＢＬ（ｉ＿ＬＢＬ−１０，１）と設定する。また、プロセッサ１１２は、そのラベル番号ｉ＿ＬＢＬの画素グループの中心ｘ座標を、その最大および最小のｘ座標Ｌ＿ＴＢＬ（Ｉ，３）とＬ＿ＴＢＬ（Ｉ，５）の中心として、ｘｃ＝（Ｌ＿ＴＢＬ（Ｉ，３）＋Ｌ＿ＴＢＬ（Ｉ，５））／２と設定する。さらに、プロセッサ１１２は、そのラベル番号ｉ＿ＬＢＬの画素グループの中心ｙ座標を、その最大および最小のｙ座標Ｌ＿ＴＢＬ（Ｉ，４）とＬ＿ＴＢＬ（Ｉ，６）の中心として、ｙｃ＝（Ｌ＿ＴＢＬ（Ｉ，４）＋Ｌ＿ＴＢＬ（Ｉ，６））／２と設定する。
【００９４】
ステップ８０６において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬの画素グループの中心座標（ｘｃ，ｙｃ）の画素のラベル番号がラベル番号ｉ＿ＬＢＬと同じかどうかを判定する（Ｐｘ（ｘｃ，ｙｃ）＝ｉ＿ＬＢＬ？）。中心座標の画素のラベル番号Ｐｘ（ｘｃ，ｙｃ）が画素グループのラベル番号ｉ＿ＬＢＬと同じでない場合、その画素グループは環状の形状を有する可能性があり、手順はステップ８０８に進む。中心座標の画素のラベル番号Ｐｘ（ｘｃ，ｙｃ）が画素グループのラベル番号ｉ＿ＬＢＬと同じであると判定された場合、その画素グループは環状でなく、手順はステップ８１６に進む。
【００９５】
ステップ８０８において、プロセッサ１１２は、画素グループが環状であるかどうかを確認するために、中心座標（ｘｃ，ｙｃ）を始点として、画像の上方向に画素グループのラベル番号ｉ＿ＬＢＬを有する輪郭線画素までトレース位置を移動する。ステップ８１０において、プロセッサ１１２は、その輪郭線画素を始点として、中心座標（ｘｃ，ｙｃ）を回転中心として、例えば正方向または負方向（時計回り）の回転または周方向に、ラベル番号ｉ＿ＬＢＬの画素グループの輪郭線に沿ってその画素グループをトレースする。トレース位置が始点に戻った場合には、プロセッサ１１２は、その画素グループが環状であると判定する。一方、位置が画素グループの外接矩形に達したり、またはトレース方向と逆方向に移動した場合には、プロセッサ１１２は、その画素グループは環状でないと判定する。
【００９６】
ステップ８１２において、プロセッサ１１２は、ラベル順序番号Ｉの画素グループが環状かどうかを判定する。画素グループが環状でないと判定された場合は、手順はステップ８１６に進む。画素グループが環状であると判定された場合は、ステップ８１４において、ラベルのテーブル（図１５）において、ラベル番号ｉ＿ＬＢＬを有する画素グループの環状パラメータＬ＿ＴＢＬ（Ｉ，９）をＬ＿ＴＢＬ（Ｉ，９）＝“環状”と設定する。
【００９７】
ステップ８１６において、プロセッサ１１２は、画素グループのラベル順序番号Ｉを１だけ増分する（Ｉ＝Ｉ＋１）。ステップ８１８において、プロセッサ１１２は、ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいかどうかを判定する。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きくないと判定された場合は、手順はステップ８０４に戻る。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいと判定された場合は、手順は図１８のルーチンを出る。
【００９８】
このようにして、全てのラベル番号ｉ＿ＬＢＬの画素グループについて、環状かどうかを判定して、環状である画素グループが特定される。
【００９９】
図１９は、図１１のステップ５１０における、表示領域（４０４、４１４、４２４、４３４）の表示枠を表す画素グループを抽出する処理のためのフローチャートの例を示している。
【０１００】
図１９を参照すると、プロセッサ１１２は、ステップ８５０においてその処理を開始する。ステップ８５２において、プロセッサ１１２は、画素グループのラベル順序番号Ｉを初期値Ｉ＝１と設定する。ステップ８５４において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬをラベル・テーブル（図１５）上のラベル番号Ｌ＿ＴＢＬ（Ｉ，１）と設定する（ｉ＿ＬＢＬ＝Ｌ＿ＴＢＬ（Ｉ，１））。
【０１０１】
ステップ８５６において、プロセッサ１１２は、ラベル・テーブル（図１５）においてラベル順序番号Ｉの環状パラメータＬ＿ＴＢＬ（Ｉ，９）が“環状”かどうかを判定する。それが“環状”でないと判定された場合は、手順はステップ８６６に進む。それが“環状”であると判定された場合は、ステップ８５８において、プロセッサ１１２は、画像においてそのラベル番号Ｌ＿ＴＢＬ（Ｉ，１）を有する画素グループの内側における別の画素グループの有無を検索する。ステップ８６２において、プロセッサ１１２は、そのラベル番号Ｌ＿ＴＢＬ（Ｉ，１）の画素グループの内側に別の画素グループが存在するかどうかを判定する。その画素グループの内側に別の画素グループが存在しないと判定された場合は、手順はステップ８６６に進む。その画素グループの内側に別の画素グループが存在すると判定された場合は、その画素グループが他の画素グループを包囲しているので、ステップ８６４において、プロセッサ１１２は、ラベル順序番号Ｉ即ちラベル番号Ｌ＿ＴＢＬ（Ｉ，１）の画素グループの包囲パラメータＬ＿ＴＢＬ（Ｉ，１０）＝“包囲”（または“輪郭”）と設定する。
【０１０２】
ステップ８６６において、プロセッサ１１２はラベル順序番号Ｉを１だけ増分する（Ｉ＝Ｉ＋１）。ステップ８６８において、プロセッサ１１２は、ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいかどうかを判定する。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きくないと判定された場合は、手順はステップ８５４に戻る。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きい、即ち全てのラベル番号ｉ＿ＬＢＬについて“環状”かどうかを判定したと判定された場合は、ステップ８７０において、プロセッサ１１２は、最も内側の“包囲”を表す画素グループを“表示枠”と決定する。プロセッサ１１２は、さらに、“表示枠”と決定された画素グループの横幅Ｗｄと縦の高さＨｄを求める。その後、手順は図１９のルーチンを出る。
【０１０３】
このようにして、測定器の表示部または表示領域の画像において、数字を表す画素グループを含んでいる最も内側にある環状の表示枠（４０４、４１４、４２４、４３４）の画素グループが抽出される。
【０１０４】
図２０は、図１１のステップ５１２における、“表示枠”を表す画素グループの内側にある画素グループを抽出する処理のためのフローチャートの例を示している。
【０１０５】
図２０を参照すると、プロセッサ１１２は、ステップ９００においてその処理を開始する。ステップ９０２において、プロセッサ１１２は、画素グループのラベル順序番号Ｉを初期値Ｉ＝１と設定する。ステップ９０４において、プロセッサ１１２は、ラベル番号ｉ＿ＬＢＬをラベル・テーブル（図１５）のラベル番号ｉ＿ＬＢＬ＝Ｌ＿ＴＢＬ（Ｉ，１）と設定する。
【０１０６】
ステップ９０６において、プロセッサ１１２は、測定器の表示部の画像においてラベル番号Ｌ＿ＴＢＬ（Ｉ，１）の画素グループが表示枠（の画素グループ）の内側にあるかどうかを判定する。画素グループが表示枠の内側にないと判定された場合は、手順はステップ９１０に進む。画素グループが表示枠の内側にあると判定された場合は、ステップ９０８において、プロセッサ１１２は、そのラベル番号の対象パラメータＬ＿ＴＢＬ（Ｉ，１１）をＬ＿ＴＢＬ（Ｉ，１１）＝“対象”と設定する。それによって、表示枠の内側にある認識対象または抽出対象となる数字を表す可能性のある画素グループが抽出される。
【０１０７】
ステップ９１０において、プロセッサ１１２は、画素グループのラベル順序番号Ｉを１だけ増分する（Ｉ＝Ｉ＋１）。ステップ９１２において、プロセッサ１１２は、ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいかどうかを判定する。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きくないと判定された場合は、手順はステップ９０４に戻る。ラベル順序番号Ｉがラベル数Ｉｔ（最大ｉ＿ＬＢＬ−１０）より大きいと判定された場合は、手順は図２０のルーチンを出る。それによって、全ての画素グループについて、認識対象または抽出対象となる数字を表す可能性のある画素グループであるかどうかが決定される。
【０１０８】
図２１Ａおよび２１Ｂは、図１１のステップ５１４における、隣接関係にある画素グループを結合する処理のためのフローチャートの例を示している。
【０１０９】
図２１Ａを参照すると、プロセッサ１１２は、ステップ９５０においてその処理を開始する。ステップ９５２において、プロセッサ１１２は、画素グループのラベル順序番号Ｉを初期値Ｉ＝１と設定する。ステップ９５４において、プロセッサ１１２は、ラベル・テーブル（図１５）においてラベル順序番号Ｉのラベル番号ｉ＿ＬＢＬの画素グループの対象パラメータＬ＿ＴＢＬ（Ｉ，１１）が“対象”であるかどうかを判定する。その画素グループが“対象”でないと判定された場合は、手順はステップ９７４に進む。その画素グループが“対象”であると判定された場合は、ステップ９５８において、プロセッサ１１２は、別のラベル順序番号Ｊ＝Ｉ＋１を設定する。
【０１１０】
ステップ９５８において、プロセッサ１１２は、ラベル順序番号Ｉのラベル番号ｉ＿ＬＢＬの画素グループの対象パラメータＬ＿ＴＢＬ（Ｊ，１１）が“対象”であるかどうかを判定する。その画素グループが“対象”でないと判定された場合は、手順はステップ９７０に進む。その画素グループが“対象”であると判定された場合は、ステップ９６０において、プロセッサ１１２は、２つのラベル順序番号Ｉ、Ｊのラベル番号ｉ＿ＬＢＬの対象パラメータＬ＿ＴＢＬ（Ｉ，１１）とＬ＿ＴＢＬ（Ｊ，１１）の画素グループの外接矩形（例えば図７Ｄの破線）が位置的に部分的に重なるかどうかを判定する。
【０１１１】
図２２Ａは、２つの画素グループの外接矩形が位置的に部分的に重なる例を示している。
【０１１２】
それらが重なると判定された場合は、手順はステップ９６６に進む。それらが重ならないと判定された場合は、ステップ９６２において、プロセッサ１１２は、２つの画素グループの各々を複数の領域のブロックに分割し、２つのグループの各ブロックのうち互いに最も近いブロックの組合せを選択する。
【０１１３】
図２２Ｂは、隣接する２つの画素グループの各々を３つの領域のブロックに分割する例を示している。
【０１１４】
ステップ９６４において、プロセッサ１１２は、その組合せの２つの画素ブロックの間の距離が閾値より小さいかどうかを判定する。その距離が閾値より小さいと判定された場合は、手順はステップ９７０へ進む。その距離が閾値より小さくないと判定された場合は、手順はステップ９６６に進む。２つの画素グループの各々を複数の領域のブロックに分割してそれぞれの距離を比較することによって、一方の画素グループの全ての画素と他方の画素グループの全ての画素との間の各距離を閾値と比較する必要がなくなり、処理負荷が小さくなり、処理が高速化できる。
【０１１５】
ステップ９６６において、プロセッサ１１２は、その組合せの２つの画素グループを、１つの数字を表す可能性のある同じ結合関係にある画素グループとして結合する。そのために、２つの画素グループのラベル番号ｉ＿ＬＢＬのラベル結合パラメータｉ＿ＬＢＬ（Ｉ，１２）に、１つの画素グループのラベル番号または同じ結合関係にある他の画素グループの最も小さいラベル番号ｉ＿ＬＢＬを付与する。その後、手順は図２１Ｂのステップ９７０へ進む。
【０１１６】
図２１Ｂのステップ９７０において、プロセッサ１１２は、他方の画素グループのラベル順序番号Ｊを１だけ増分する（Ｊ＝Ｊ＋１）。ステップ９７２において、プロセッサ１１２は、ラベル順序番号Ｊがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいかどうかを判定する。ラベル順序番号Ｊがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きくないと判定された場合、手順はステップ９５８に戻る。ラベル順序番号Ｊがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいと判定された場合は、ステップ９７４において、プロセッサ１１２は、一方の画素グループのラベル順序番号Ｉを１だけ増分する（Ｉ＝Ｉ＋１）。ステップ９７６において、プロセッサ１１２は、ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいかどうかを判定する。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きくないと判定された場合、手順はステップ９５４に戻る。ラベル順序番号Ｉがラベル数Ｉｔ（最大ラベル番号ｉ＿ＬＢＬ−１０）より大きいと判定された場合は、手順は図２２Ａおよび２２Ｂのルーチンを出る。
【０１１７】
図２３は、図１１のステップ５１６における、画像の傾きを補正する処理のためのフローチャートの例を示している。
図２４Ａおよび２４Ｂは、画像の傾きの補正の例を示している。
【０１１８】
図２３を参照すると、プロセッサ１１２は、ステップ１１００においてその処理を開始する。ステップ１１０２において、プロセッサ１１２は、画素グループの外接矩形の右辺（図２４）または左辺から水平方向の最も近い画素グループの画素までの距離から、画像の傾きθ（ｔａｎθまたはｃｏｔθ）を求める。
【０１１９】
ステップ１１０４において、プロセッサ１１２は、傾きθがあるかどうか（＝０°）かどうかを判定する。傾きがない（θ＝０°）と判定された場合は、手順は図２３Ａのルーチンを出る。傾きがある（θ≠０°）と判定された場合は、ステップ１１０６において、プロセッサ１１２は、画像における各画素グループの画素を傾き分（−θ）だけ水平方向に移動させて、傾きθを補正する。その後、手順は図２３のルーチンを出る。
それによって、図２４Ａおよび２４Ｂに示されているように、傾きθを有する図２４Ａの画像が、図２４Ｂの傾きのない画像に補正される。
【０１２０】
図２５は、図１１のステップ５１８における、認識された数字の列または数値情報を抽出する処理のためのフローチャートの例を示している。
【０１２１】
図２５を参照すると、プロセッサ１１２は、ステップ１１５０においてその処理を開始する。ステップ１１５２において、プロセッサ１１２は、ラベル・テーブル（図１５）において、数字を表す可能性のある結合された画素グループの組の外接矩形（図７Ｃ、８Ｃの破線）の縦と横の長さの比を求め、縦と横の比が閾値（例えば、７：１または７／１）より大きいかどうかを判定する。縦と横の比が閾値より大きいと判定された場合は、ステップ１１５４において、プロセッサ１１２は、ラベル・テーブルにおいてその画素グループの組を数字“１”と判定する。その後、手順は図２５のルーチンを出る。
【０１２２】
ステップ１１５２において縦と横の比が閾値より大きくないと判定された場合は、ステップ１１５６において、プロセッサ１１２は、結合された画素グループの組をその外接矩形（図７Ｃ、８Ｃの破線）に基づいて縦と横方向に複数の領域の画素ブロック（例えば、７×４個のブロック）に分割し、各画素ブロックにおいてラベル番号を有する画素数を求める。
【０１２３】
ステップ１１６２において、プロセッサ１１２は、画像における各位置の画素ブロックにおける画素（暗）数の割合または占有率（％）を、数字“０” 、“２”〜“９”を表すパターンの各位置のブロックにおける値１（暗）の割合または占有率（％）と比較する。数字“０” 、“２”〜“９”を表すパターンの各位置のブロックにおける値１（暗）の割合または占有率（％）は、メモリ１１４またはハードディスク・ドライブ１３０に予め格納されている。プロセッサ１１２は、画像の画素ブロックのパターンが、予め格納された各数字のブロックのパターンと許容誤差の範囲内で一致するかどうかを判定する。画像の画素ブロックのパターンが数字“０” 、“２”〜“９”のいずれかのブロックのパターンと許容誤差の範囲内で一致すると判定された場合は、ステップ１１６６において、プロセッサ１１２は、その画素グループの組を数字“０” 、“２”〜“９”のいずれかと判定する。ステップ１１６２において画像の画素ブロックのパターンが各数字のブロックのパターンと一致しないと判定された場合は、ステップ１１６４において、プロセッサ１１２は、認識結果を、測定値を表す数字ではないと判定する。プロセッサ１１２は、ラベル・テーブル（図１５）において、画素グループの組に対して、認識された結果の数字を格納する。例えば、小数点“．”、単位“℃”、“ｍｍＨｇ”、数字以外の文字および記号、小さい数字、等、を表す画素グループは、測定値を表す数字ではないと判定されてもよい。その後、手順は図２５のルーチンを出る。
【０１２４】
このようにして、簡易な数字認識のための処理形態で、測定器の表示部の画像から、測定値を表す個々の数字が抽出される。
【０１２５】
図２５のフローチャートは、同じラベル結合番号が付与された画素グループの組（各数字）について実行され、それによって、各数字を表す文字が認識されて抽出される。
【０１２６】
図２６は、図１１のステップ５２０における、使用した測定器の表示部に固有の特徴またはパラメータを抽出する処理のためのフローチャートの例を示している。
【０１２７】
図２６を参照すると、プロセッサ１１２は、ステップ１２００においてその処理を開始する。ステップ１２０２において、プロセッサ１１２は、各数字を表すものとして認識された結合関係にある画素グループの組（各数字）の外接矩形（図７Ｃ、８Ｃの破線）の縦と横の長さの最大値を求め、その平均値を数字の横幅Ｗｃと縦の高さＨｃとして求める。プロセッサ１１２は、数字の横幅Ｗｃと縦の高さＨｃをメモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１２８】
ステップ１２０４において、プロセッサ１１２は、数字の画素グループの数字（文字）の太さＴｃを求める。そのために、プロセッサ１１２は、各画素グループをｘおよび／またはｙ方向に走査し、黒の画像の連続画素の数が閾値の以下でかつ最も長い距離を数字（文字）の太さとして求め、その平均値を数字の太さＴｃとして決定してもよい。その閾値は、例えば、数字の横幅Ｗｃに１／３を乗じた値Ｗｃ／３であってもよい。プロセッサ１１２は、数字の太さＴｃをメモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１２９】
ステップ１２０６において、プロセッサ１１２は、数字として認識された組（即ち数字）の画素グループから文字の間隔Ｐｃと文字の行間隔Ｐｌを求める。そのために、プロセッサ１１２は、隣接の数字の画素グループの組の外接矩形（例えば、右辺）の間のｘ方向の間隔（ピッチ）を文字間隔として求め、その平均値を隣接の数字間の文字間隔Ｐｃとして決定してもよい。プロセッサ１１２は、隣接する２つの数字の間の間隔が、他の隣接の数字の間隔の平均より閾値（例えば、２倍、２Ｐｃ）以上離れている場合は、それらを互いに異なる測定項目の数字と判定し、文字間隔の平均値Ｐｃを求めるのに使用しないようにしてもよい。また、プロセッサ１１２は、隣接する数字の高さの中心座標ｙの平均値をｙ方向の行位置として求め、垂直方向の隣接する２つの行位置の間の距離の平均値をその２つの行の間の行間隔Ｐｌとして決定してもよい。プロセッサ１１２は、さらに、隣接の数字の平均の文字間隔Ｐｃを基準（＝１．０）として、他のパラメータ、例えば、数字の文字の横と縦の長さ、行の間隔、数字の太さ、等の寸法を正規化してもよい。プロセッサ１１２は、文字間隔Ｐｃおよび行間隔Ｐｌをメモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１３０】
ステップ１２０８において、プロセッサ１１２は、数字の文字間隔Ｐｃと、数字の垂直方向の行間隔Ｐｌとから、複数の数字を項目別に分けてグループ化する。１行の数字の文字間隔Ｐｃが閾値（例えば、２倍の文字間隔２Ｐｃ）以下の場合は、プロセッサ１１２は、その数字を１つの測定項目にグループ化する。一方、１行における隣接する２つの数字の文字間隔Ｐｃが閾値より大きい場合は、プロセッサ１１２は、その２つの数字を、その間隔によって識別される異なる測定項目に分離しグループ化する。プロセッサ１１２は、さらに、異なる行の数字を、行毎の異なる測定項目にグループ化する。このようにして、各測定項目の数値を表す桁数と数値を有する数字の列（数値情報）が決定される。この場合、数字以外の文字、記号、小数点、等は、無視されて処理の対象外とされてもよい。プロセッサ１１２は、その決定された項目別の数字の列（数値情報）をメモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１３１】
ステップ１２１０において、プロセッサ１１２は、平均の文字間隔Ｐｃ（＝１．０）を基準にして、表示領域または表示枠（４０４、４１４、４２４、４３４）の縦と横の長さ（Ｈｄ，Ｗｄ）を正規化して（Ｈｄ／Ｐｃ，Ｗｄ／Ｐｃ）、正規化された表示領域の寸法形状（Ｈｄ，Ｗｄ）を決定する。代替形態として、文字間隔Ｐｃの代わりに、平均の文字の高さＨｃを基準として、表示領域または表示枠の縦横の寸法形状（Ｈｄ，Ｗｄ）を正規化してもよい。プロセッサ１１２は、その決定された表示領域の寸法形状（Ｈｄ，Ｗｄ）をメモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１３２】
図２７は、図１１のステップ５２２における、抽出された表示部の特徴に対応する測定項目と、抽出された数字列によって表される測定値とを決定する処理のためのフローチャートの例を示している。
【０１３３】
図２７を参照すると、プロセッサ１１２は、ステップ１２５０においてその処理を開始する。ステップ１２５２において、プロセッサ１１２は、測定器のリスト（図５）を参照して、抽出された表示部の特徴に類似するリスト中の表示部の特徴を選択する。そのために、プロセッサ１１２は、画像の表示部の特徴として、表示領域（表示枠）の寸法形状（Ｈｄ，Ｗｄ）、文字のサイズ（高さＨｃ）、文字間隔（Ｐｃ）および文字の太さを、測定器のリスト（図５）における使用される各測定器の順序番号（Ｎｏ．１、４、７）のものと比較する。プロセッサ１１２は、抽出された表示部の寸法形状的な特徴に類似するまたはそれに近いリスト中の表示部の特徴またはそれに対応する測定器の順序番号を選択する。
【０１３４】
ステップ１２５４において、プロセッサ１１２は、測定器のリストにおいて選択された測定器の表示部の特徴または順序番号に対応する測定器種別をリスト中から決定または選択する。プロセッサ１１２は、その決定された測定器種別をメモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１３５】
ステップ１２５６において、プロセッサ１１２は、測定器のリストにおいてその選択された測定器種別に対応する測定項目を決定する。選択された測定器種別に対応する１つの測定項目だけが存在する場合は、測定器種別の選択によって測定項目が一意的に決定される。測定器種別に対応する２つ以上の測定項目が存在する場合は、可能性ある２つ以上の測定項目が仮に決定される。
【０１３６】
ステップ１２５８において、プロセッサ１１２は、測定項目のリスト（図６）を参照して、決定された測定項目に基づいて、抽出された数字列（数値情報）によって表される測定値を決定する。そのために、プロセッサ１１２は、数字列によって表される測定値（データ）を、その決定された測定項目のデータ形式に基づいて決定する。例えば、数字列（数値情報）が“３７０”であり、測定項目が体温である場合には、両者が３桁の数字であり、下位第１桁と第２桁の間に小数点があるので、測定値は“３７．０”または“３７．０℃”と決定される。
【０１３７】
測定器種別に対応する２つ以上の測定項目が存在する場合は、次のように処理してもよい。プロセッサ１１２は、画像における数字列（数値情報）の桁数、数値の大きさ、項目の出現順序を、測定項目のリスト（図６）における各測定項目のデータ形式（桁数）、出現順序、および任意に数値の許容範囲（図示せず）を参照しまたはこれらと比較してもよい。それによって、プロセッサ１１２は、数字列によって表される測定項目およびその測定値（データ）を決定する。その比較において、小数点は無視してもよい。プロセッサ１１２は、さらに、決定された測定項目に基づいて、測定項目のリスト（図６）を参照して、数字列によって表される小数点を含む数値および単位を測定値として決定する。また、プロセッサ１１２は、画像から抽出された２つ以上の数字列を、互いに比較し、測定項目のリスト中の各測定項目のデータ形式（桁数）、出現順序、および任意に数値の許容範囲を参照してまたはこれらと比較してもよい。それによって、プロセッサ１１２は、各数字列（数値情報）によって表される測定項目およびその測定値（データ）を決定しもよい。
【０１３８】
例えば、プロセッサ１１２は、画像から抽出された血圧に関する２組の数字列（数値情報）を比較して、大きい値の数字の列（数値情報）を最高血圧を表すものと決定し、小さい値の数字の列（数値情報）を最低血圧を表すものと決定してもよい。例えば、プロセッサ１１２は、画像から抽出された血圧と脈拍数に関する３組の数字の列（数値情報）を、測定器のリスト（図５）および測定項目のリスト（図６）と比較して、画像中の順におよびリスト中の出現順に最高血圧、最低血圧、脈拍を表すものと決定してもよい。
【０１３９】
例えば、画像から抽出された数字列“６５”について、測定項目“最高血圧”と“最低血圧”が選択され、画像中の出現順序が２番目であり、別の数字列“１２０”より小さいとする。一方、測定項目のリストにおいて、“最低血圧”が３桁の数字で、許容範囲が“４０〜８０”で、測定項目“最高血圧”の後に出現するとする。この場合、数字列“６５”に対して、測定項目のリスト中の“最低血圧”が測定項目として選択され、測定値として“６５”または“６５ｍｍＨｇ”が決定される。
【０１４０】
ステップ１１２５８の後、手順は、ステップ１２６０進むか、またはステップ１２６２に進んでもよい。
【０１４１】
ステップ１２６０において、プロセッサ１１２は、さらに、今回の測定値（データ）の数値を、補助データとしての基準数値と比較して、今回の測定値の数値が基準数値の許容範囲内にあるかを判定して、決定した測定器種別および測定項目が妥当かどうかを判定してもよい。補助データとしての基準数値は、例えば、ユーザの個人データに近い年齢、性別等の一般的な測定項目（身体データ種別）の数値であっても、またはユーザ個人によって設定された数値であっても、またはユーザ個人の前回もしくは数回前以内の過去の測定値であってもよい。測定項目における数値の許容範囲は、例えば一般的な基準数値の±１５％以内もしくは±特定の数値以内であっても、ユーザ個人の過去の測定値の±１０％以内もしくは±特定の数値以内であってもよい。ユーザの過去の測定データは、メモリ１１４またはハードディスク・ドライブ１３０およびサーバ装置３０に格納されている。例えば、測定項目が最高血圧の場合、その数値の許容範囲は、ユーザ個人の最高血圧１２０±１２（割合１０％）であってもよい。例えば、測定項目が体温の場合、その数値の許容範囲は、ユーザ個人の体温３６．８の±２．５（特定の数値）であってもよい。
【０１４２】
プロセッサ１１２は、測定値の数値が許容範囲にないと判定された場合、決定した測定器種別および項目名が妥当でないと判断してもよい。その場合、手順はステップ１２５６または１２５４に戻る。数値が許容範囲にないと判定された場合には、手順はステップ１２５６に戻って、プロセッサ１１２は、複数の測定項目の中から選択された表示部の特徴に対応する可能性のある別の測定項目を選択してもよい。それでもステップ１２６０において、再び、測定値の数値が基準数値の許容範囲にないと判定された場合には、手順はステップ１２５４に戻ってもよい。この場合、プロセッサ１１２は、ステップ１２５４において測定器のリストの中の表示部の特徴の中から、抽出された表示部の特徴に類似する別の表示部の特徴を決定し、ステップ１２５６においてそれに対応する測定項目を決定して、測定値を決定してもよい。このような上述の表示部の特徴の比較を繰り返して、測定器種別および測定項目がより妥当な別の測定器種別および測定項目が選択されるようにしてもよい。ステップ１２６０において、プロセッサ１１２は、１つの数字列に対してステップ１２５６を複数回実行することによって決定された各測定項目の測定値と各基準値との間の差に基づいて、より妥当な測定項目および測定値を決定してもよい。
【０１４３】
このようにして、ユーザの入力操作なしで、かつ高機能および高精度の文字認識技術を用いることなく、画像から抽出された数字の列（数値情報）からその数字の列によって表される測定項目および測定値が決定される。
【０１４４】
ステップ１２６２において、プロセッサ１１２は、画像データに含まれる撮影日時を取得して測定日時として決定し、決定された測定器種別と測定項目に対応付けて測定値をその測定日時の情報とともに、メモリ１１４またはハードディスク・ドライブ１３０に格納する。
【０１４５】
ステップ１２６４において、プロセッサ１１２は、決定された測定器種別、測定日時、測定項目（身体データ種別）および測定値を、測定日時情報および撮像画像とともに、表示装置１２２に表示して（図２８、２９）、ユーザに測定項目と測定値を確認させる。
【０１４６】
図２８Ａは、表示部１２２上の測定項目（体温）と測定値の表示１３１０の例を示している。図２８Ｂは、表示部１２２上の測定項目（体重）と測定値の表示１３２０の別の例を示している。
【０１４７】
ユーザは、表示された内容が正しければ、入力部１２６における確認用のキーを操作して、測定項目と測定値を測定データとして決定する。ユーザは、その測定項目と測定値に誤りがあれば、入力部１２６を操作して修正することができ、その修正された測定項目と測定値を確認して決定する。プロセッサ１１２は、ユーザの入力部１２６による操作に従って、測定器名、測定日時、測定データを決定しまたは修正する。プロセッサ１１２は、その決定された測定データを、メモリ１１４またはハードディスク・ドライブ１３０に今回の測定データとして格納する。
【０１４８】
ユーザは、同じ身体データを測定するために異なる種別の測定器を使用することがある。そのような場合でも、プロセッサ１１２は、表示装置１２２に共通の測定項目と測定値を表示するだけでよく、それぞれの測定器名または測定器種別を区別して表示しなくてもよい。例えば、プロセッサ１１２は、体温計Ａの測定値と体温計Ｂの測定値のいずれも、測定項目“体温”として表示すればよく、体温計Ａと体温計Ｂを区別して表示しなくてよい。
【０１４９】
図１１のステップ５２４において、プロセッサ１１２は、ユーザの入力部１２６による操作に従って、ユーザの個人情報（識別情報、氏名、性別、年齢、等）とともに、測定器の名称、測定日時、測定項目名、測定値（測定データ）をサーバ装置３０に送信する。
【０１５０】
サーバ装置３０のプロセッサ３１２は、受信したユーザの測定器の種別、測定日時、測定項目、測定値（測定データ）を記憶装置１６のデータベース（ＤＢ）にして、履歴データまたは記録データとして管理する。データベースには、ユーザの個人情報、測定日時、測定項目（身体データ種別）、測定値が蓄積されて管理される。測定に使用された測定器種別は蓄積されても、蓄積されなくてもよい。
【０１５１】
その後、サーバ装置３０またはプロセッサ３１２は、情報処理端末１００または携帯端末１０２からの要求に応答して、記憶装置１６に格納された履歴データまたは記録データを送信する。その履歴データには、測定データの分析結果および／または助言に関する情報を付加してもよい。情報処理端末１００または携帯端末１０２の（プロセッサ１１２）は、履歴データまたは記録データ等を受信する。
【０１５２】
図２９は、情報処理端末１００または携帯端末１０２の表示部１２２に表示される測定データの履歴データの表示画面の例を示している。
情報処理端末１００または携帯端末１０２の（プロセッサ１１２）は、受信した履歴データのファイルを図２９に示されているようにその表示部１２２上に表示する。図２９に示されているように、表示部１２２に測定項目に対応付けて各測定値が測定日時情報の順に表示される。さらに、前述したような付加情報が表示部１２２に表示されてもよい。
【０１５３】
図１１のフローチャートの少なくとも一部、例えばステップ５０２〜５２２の全てまたは一部は、サーバ装置３０のプロセッサ３１２に実行させることもできる。この場合、メモリ１１４の代わりに記憶装置１６が使用される。
【０１５４】
この場合、ステップ５００において、プロセッサ３１２またはその処理部１１４４は、ユーザの操作に従って情報処理端末１００または携帯端末１０２から、カメラ２０２または撮像部２０３によって撮影された測定器の表示部の画像を含む画像のデータを受信して記憶装置１６のデータベース（ＤＢ）に格納する。
【０１５５】
同様に、ステップ５０２は、プロセッサ３１２またはそのノイズ除去部１１２２によって実行される。ステップ５０４は、プロセッサ３１２またはその二値化部１１２４によって実行される。ステップ５０６は、プロセッサ３１２またはそのグループ化部１１２６によって実行される。ステップ５０８は、プロセッサ３１２またはその環状判定部１１２８によって実行される。ステップ５１０は、プロセッサ３１２または環状判定部１１２８によって実行される。ステップ５１２は、プロセッサ３１２またはそのグループ抽出部１１３０によって実行される。ステップ５１４は、プロセッサ３１２またはそのグループ結合部１１３２によって実行される。ステップ５１８は、プロセッサ３１２またはその数字抽出部１１３８によって実行される。ステップ５２０は、プロセッサ３１２または特徴抽出部１１３８によって実行される。
【０１５６】
ステップ５２２は、プロセッサ３１２またはその測定データ決定部１１４０によって実行される。ステップ５２２のステップ１２６４（図２７）において、プロセッサ３１２またはその測定データ決定部１１４０は、測定項目および測定値を情報処理端末１００または携帯端末１０２に送信して、その表示部１２２に表示させ、ユーザにそれを確認させ、誤っている場合には修正させる。ユーザは、情報処理端末１００または携帯端末１０２上で確認された測定項目および測定値を測定データとして決定して、メモリ１１４またはハードディスク１３０に格納させ、その決定された測定データをサーバ装置３０に送信する。
【０１５７】
ステップ５２４において、プロセッサ３１２または処理部１１４４は、受信したその決定された測定データとしての測定項目（身体データ種別）および測定値を、ユーザの個人情報および測定日時とともに、測定データを記憶装置１６のデータベース（ＤＢ）に格納して履歴データまたは記録データとして管理する。
【０１５８】
上述の実施形態によれば、通信機能のないより多種類の測定器の測定データを捕捉してサーバ装置３０に送信して、長い期間にわたる多種類の測定データを履歴データとしてサーバ装置３０に管理させることができる。それによって、ユーザに関するより多くの測定項目の測定データに基づいて、サーバ装置３０によってユーザの健康に関するより適切な分析を行い、より適した分析結果および助言を付加情報としてユーザに提示することができる。
【０１５９】
ここで挙げた全ての例および条件的表現は、発明者が技術促進に貢献した発明および概念を読者が理解するのを助けるためのものであり、ここで具体的に挙げたそのような例および条件に限定することなく解釈され、また、明細書におけるそのような例の編成は本発明の優劣を示すこととは関係ない、と理解される。本発明の実施形態を詳細に説明したが、本発明の精神および範囲から逸脱することなく、それに対して種々の変更、置換および変形を施すことができる、と理解される。
【０１６０】
以上の実施例を含む実施形態に関して、さらに以下の付記を開示する。
（付記１） 情報処理装置が、
捕捉された画像データを記憶装置に格納させ
前記画像データから数値情報を抽出し
前記画像データから形状的特徴を抽出し
前記記憶装置に格納された、複数の身体データ測定器各々の表示部に関する複数の形状的特徴の中から、抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された前記種別に基づいて前記数値情報によって表される測定データを決定し、決定された該種別に対応付けて該測定データを前記記憶装置に格納する
処理を実行すること
を特徴とする画像データの処理方法。
（付記２） 前記情報処理装置が、前記記憶装置に格納された前記複数の形状的特徴の中から、前記画像データから抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ種別を決定し、決定された身体データ種別に基づいて前記数値情報によって表される前記測定データを決定し、決定された該身体データ種別に対応付けて該測定データを前記記憶装置に格納する処理を実行することを特徴とする、付記１に記載の方法。
（付記３） 前記測定データを格納する際、前記測定データをさらに日時情報とともに格納することを特徴とする、付記１または２に記載の画像データの処理方法。
（付記４） 前記情報処理装置が、さらに、前記記憶装置に格納された該種別に対応付けられた該測定データを別の装置に送信する処理を実行することを特徴とする付記１乃至３のいずれかに記載の方法。
（付記５） 前記情報処理装置が、さらに、前記測定データを含む複数の測定データに関する履歴情報の要求に応答して、別の装置に送信された前記身体データ種別に対応付けられた前記測定データを前記別の装置から受信して、該複数の測定データを日時情報の順に表示装置に表示させる処理を実行すること、を特徴とする、付記２乃至４のいずれかに記載の方法。
（付記６） 決定された前記身体データ種別に基づいて前記数値情報によって表される前記測定データを決定する際に、前記数値情報が、身体データ種別によって表される値として許容範囲にあるかどうかを判定し、
前記数値情報が前記許容範囲にないと判定された場合には、選択された形状的特徴に対応する可能性のある別の身体データ種別を該身体データ種別として選択し、または、前記記憶装置に格納された前記複数の形状的特徴の中から、抽出された前記形状的特徴に類似する他の形状的特徴を決定し、該他の形状的特徴に基づいて該測定データを決定することを特徴とする、付記２または３に記載の方法。
（付記７） 捕捉された画像データを記憶装置に格納させ。
前記画像データから数値情報を抽出し。
前記画像データから形状的特徴を抽出し。
前記記憶装置に格納された、複数の身体データ測定器各々の表示部に関する複数の形状的特徴の中から、抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された前記種別に基づいて前記数値情報によって表される測定データを決定し、決定された該種別に対応付けて該測定データを前記記憶装置に格納する
処理を、情報処理装置に実行させるためのプログラム。
（付記８） 前記記憶装置に格納された前記複数の形状的特徴の中から、前記画像データから抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ種別を決定し、決定された身体データ種別に基づいて前記数値情報によって表される前記測定データを決定し、決定された該身体データ種別に対応付けて該測定データを前記記憶装置に格納する処理を、前記情報処理装置に実行させるための付記７に記載のプログラム。
（付記９） さらに、前記測定データを含む複数の測定データに関する履歴情報の要求に応答して、別の装置に送信された前記身体データ種別に対応付けられた前記測定データを前記別の装置から受信して、該複数の測定データを日時情報の順に表示装置に表示させる処理を、前記情報処理装置に実行させるための、付記８に記載のプログラム。
（付記１０） 複数の身体データ測定器の種別と、前記複数の測定器の種別にそれぞれ対応付けられた前記複数の身体データ測定器各々の表示部に関する複数の形状的特徴とを格納し、捕捉された画像データを格納する記憶部と、
前記画像データから数値情報を抽出する数字抽出部と、
前記画像データから形状的特徴を抽出する特徴抽出部と、
前記複数の形状的特徴の中から、抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された前記種別に基づいて前記数値情報によって表される測定データを決定し、決定された該種別に対応付けて該測定データを前記記憶装置に格納する処理部と、
を含むことを特徴とする、端末装置。
（付記１１） 前記記憶部は、前記複数の形状的特徴にそれぞれ対応付けられた複数の身体データ種別を格納し、
前記処理部は、前記複数の形状的特徴の中から、前記画像データから抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ種別を決定し、決定された身体データ種別に基づいて前記数値情報によって表される前記測定データを決定し、決定された該身体データ種別に対応付けて該測定データを前記記憶装置に格納すること、を特徴とする、付記１０に記載の端末装置。
【０１６１】
５ ネットワーク
３０ サーバ装置
３１２ データベース
３１２ プロセッサ
１００ 情報処理端末
１０２ 携帯端末
１１２ プロセッサ
１１４ メモリ
１３０ ハードディスク・ドライブ
２０２ ディジタル・カメラ
２０３ 撮像部
【特許請求の範囲】
【請求項１】
情報処理装置が、
捕捉された画像データを記憶装置に格納させ、
前記画像データから数値情報を抽出し、
前記画像データから形状的特徴を抽出し、
前記記憶装置に格納された、複数の身体データ測定器各々の表示部に関する複数の形状的特徴の中から、抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された前記種別に基づいて前記数値情報によって表される測定データを決定し、決定された該種別に対応付けて該測定データを前記記憶装置に格納する
処理を実行すること
を特徴とする画像データの処理方法。
【請求項２】
前記情報処理装置が、前記記憶装置に格納された前記複数の形状的特徴の中から、前記画像データから抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ種別を決定し、決定された身体データ種別に基づいて前記数値情報によって表される前記測定データを決定し、決定された該身体データ種別に対応付けて該測定データを前記記憶装置に格納する処理を実行することを特徴とする、請求項１に記載の方法。
【請求項３】
前記情報処理装置が、さらに、前記測定データを含む複数の測定データに関する履歴情報の要求に応答して、別の装置に送信された前記身体データ種別に対応付けられた前記測定データを前記別の装置から受信して、該複数の測定データを日時情報の順に表示装置に表示させる処理を実行すること、を特徴とする、請求項２に記載の方法。
【請求項４】
捕捉された画像データを記憶装置に格納させ、
前記画像データから数値情報を抽出し、
前記画像データから形状的特徴を抽出し、
前記記憶装置に格納された、複数の身体データ測定器各々の表示部に関する複数の形状的特徴の中から、抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された前記種別に基づいて前記数値情報によって表される測定データを決定し、決定された該種別に対応付けて該測定データを前記記憶装置に格納する
処理を、情報処理装置に実行させるためのプログラム。
【請求項５】
前記記憶装置に格納された前記複数の形状的特徴の中から、前記画像データから抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ種別を決定し、決定された身体データ種別に基づいて前記数値情報によって表される前記測定データを決定し、決定された該身体データ種別に対応付けて該測定データを前記記憶装置に格納する処理を、前記情報処理装置に実行させるための請求項５に記載のプログラム。
【請求項６】
複数の身体データ測定器の種別と、前記複数の測定器の種別にそれぞれ対応付けられた前記複数の身体データ測定器各々の表示部に関する複数の形状的特徴とを格納し、捕捉された画像データを格納する記憶部と、
前記画像データから数値情報を抽出する数字抽出部と、
前記画像データから形状的特徴を抽出する特徴抽出部と、
前記複数の形状的特徴の中から、抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された前記種別に基づいて前記数値情報によって表される測定データを決定し、決定された該種別に対応付けて該測定データを前記記憶装置に格納する処理部と、
を含むことを特徴とする、端末装置。
【請求項７】
前記記憶部は、前記複数の形状的特徴にそれぞれ対応付けられた複数の身体データ種別を格納し、
前記処理部は、前記複数の形状的特徴の中から、前記画像データから抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ種別を決定し、決定された身体データ種別に基づいて前記数値情報によって表される前記測定データを決定し、決定された該身体データ種別に対応付けて該測定データを前記記憶装置に格納すること、を特徴とする、請求項６に記載の端末装置。
【請求項１】
情報処理装置が、
捕捉された画像データを記憶装置に格納させ、
前記画像データから数値情報を抽出し、
前記画像データから形状的特徴を抽出し、
前記記憶装置に格納された、複数の身体データ測定器各々の表示部に関する複数の形状的特徴の中から、抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された前記種別に基づいて前記数値情報によって表される測定データを決定し、決定された該種別に対応付けて該測定データを前記記憶装置に格納する
処理を実行すること
を特徴とする画像データの処理方法。
【請求項２】
前記情報処理装置が、前記記憶装置に格納された前記複数の形状的特徴の中から、前記画像データから抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ種別を決定し、決定された身体データ種別に基づいて前記数値情報によって表される前記測定データを決定し、決定された該身体データ種別に対応付けて該測定データを前記記憶装置に格納する処理を実行することを特徴とする、請求項１に記載の方法。
【請求項３】
前記情報処理装置が、さらに、前記測定データを含む複数の測定データに関する履歴情報の要求に応答して、別の装置に送信された前記身体データ種別に対応付けられた前記測定データを前記別の装置から受信して、該複数の測定データを日時情報の順に表示装置に表示させる処理を実行すること、を特徴とする、請求項２に記載の方法。
【請求項４】
捕捉された画像データを記憶装置に格納させ、
前記画像データから数値情報を抽出し、
前記画像データから形状的特徴を抽出し、
前記記憶装置に格納された、複数の身体データ測定器各々の表示部に関する複数の形状的特徴の中から、抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された前記種別に基づいて前記数値情報によって表される測定データを決定し、決定された該種別に対応付けて該測定データを前記記憶装置に格納する
処理を、情報処理装置に実行させるためのプログラム。
【請求項５】
前記記憶装置に格納された前記複数の形状的特徴の中から、前記画像データから抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ種別を決定し、決定された身体データ種別に基づいて前記数値情報によって表される前記測定データを決定し、決定された該身体データ種別に対応付けて該測定データを前記記憶装置に格納する処理を、前記情報処理装置に実行させるための請求項５に記載のプログラム。
【請求項６】
複数の身体データ測定器の種別と、前記複数の測定器の種別にそれぞれ対応付けられた前記複数の身体データ測定器各々の表示部に関する複数の形状的特徴とを格納し、捕捉された画像データを格納する記憶部と、
前記画像データから数値情報を抽出する数字抽出部と、
前記画像データから形状的特徴を抽出する特徴抽出部と、
前記複数の形状的特徴の中から、抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ測定器の種別を決定し、決定された前記種別に基づいて前記数値情報によって表される測定データを決定し、決定された該種別に対応付けて該測定データを前記記憶装置に格納する処理部と、
を含むことを特徴とする、端末装置。
【請求項７】
前記記憶部は、前記複数の形状的特徴にそれぞれ対応付けられた複数の身体データ種別を格納し、
前記処理部は、前記複数の形状的特徴の中から、前記画像データから抽出された前記形状的特徴に類似する形状的特徴を選択し、選択された形状的特徴に対応する身体データ種別を決定し、決定された身体データ種別に基づいて前記数値情報によって表される前記測定データを決定し、決定された該身体データ種別に対応付けて該測定データを前記記憶装置に格納すること、を特徴とする、請求項６に記載の端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１６Ｃ】
【図１６Ｄ】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１Ａ】
【図２１Ｂ】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１６Ｃ】
【図１６Ｄ】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１Ａ】
【図２１Ｂ】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１２−１８３２６９（Ｐ２０１２−１８３２６９Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−５０２７５（Ｐ２０１１−５０２７５）
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]