説明

携帯端末装置、スケジュール管理方法及びスケジュール管理プログラム

【課題】スケジュールを精度良くユーザに提示すること。
【解決手段】OCR部122は、撮像部121により撮像された画像から互いに隣接する枠領域及び枠領域に含まれる文字を認識する。枠領域登録部124は、OCR部122によって認識された文字である認識文字と当該認識文字を含む枠領域に隣接する枠領域群の各枠領域に含まれる文字とが所定の規則に従う数列を形成する場合に、当該認識文字を含む枠領域の座標または枠領域に対応する画像を当該認識文字に対応する日付と関連付けて枠領域記憶部112に登録する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、携帯端末装置、スケジュール管理方法及びスケジュール管理プログラムに関する。
【背景技術】
【0002】
従来、個人が自身のスケジュールを管理する際には、手帳やメモ帳などの紙媒体の他に、スケジュール記録機能を有した携帯電話等の携帯端末装置が使用される。個人は、行動予定を紙媒体に手書きで書き込んだり、携帯端末装置に入力したりすることで個人情報を管理し、必要に応じて紙媒体や携帯端末装置を参照して、自身のスケジュールを確認する。
【0003】
また、最近では、紙媒体に記載されたカレンダーの画像を利用して個人のスケジュールを管理する手法が知られている。このスケジュール管理手法では、まず、紙媒体に記載されたカレンダーの画像を撮像し、撮像したカレンダーの画像を予め定められた間隔で分割することによって各日付の画像を生成する。そして、各日付の画像が暦上で対応する日付と関連付けられて記憶され、現在の日付に対応する日付の画像が読み出され個人のスケジュールとして画面に出力される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−97188号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した従来の技術では、スケジュールを精度良くユーザに提示できないという問題がある。すなわち、上述した従来の技術では、撮像したカレンダーの画像を予め定められた間隔で分割して各日付の画像を生成するため、撮像対象となる紙媒体上のカレンダーのサイズが変更された場合には、カレンダー画像を分割した各日付の画像の内容も変更される。このため、各日付の画像の内容が劣化する。その結果、上述した従来の技術では、各日付の画像を個人のスケジュールとして精度良くユーザに提示できないおそれがある。
【0006】
開示の技術は、上記に鑑みてなされたものであって、スケジュールを精度良くユーザに提示することができる携帯端末装置、スケジュール管理方法及びスケジュール管理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本願の開示する携帯端末装置は、撮像された画像から互いに隣接する枠領域及び前記枠領域に含まれる文字を認識する認識部と、前記認識部によって認識された文字である認識文字と当該認識文字を含む枠領域に隣接する枠領域群の各枠領域に含まれる文字とが所定の規則に従う数列を形成する場合に、当該認識文字を含む前記枠領域の座標または前記枠領域に対応する画像を当該認識文字に対応する日付と関連付けて枠領域記憶部に登録する枠領域登録部とを備える。
【発明の効果】
【0008】
本願の開示する携帯端末装置の一つの態様によれば、スケジュールを精度良くユーザに提示することができるという効果を奏する。
【図面の簡単な説明】
【0009】
【図1】図1は、本実施例に係る携帯端末装置によるスケジュール管理方法を説明するための図である。
【図2】図2は、本実施例に係る携帯端末装置の構成を示すブロック図である。
【図3】図3は、スケジュール領域記憶部の一例を示す図である。
【図4】図4は、枠領域記憶部の一例を示す図である。
【図5】図5は、電子化文字記憶部の一例を示す図である。
【図6】図6は、枠領域の表示態様の一例を説明するための図である。
【図7】図7は、本実施例に係る携帯端末装置のハードウェア構成図である。
【図8】図8は、本実施例に係る携帯端末装置による画像登録処理の処理手順を示すフローチャートである。
【図9】図9は、本実施例に係る携帯端末装置による枠領域登録処理の処理手順を示すフローチャートである。
【図10】図10は、本実施例に係る携帯端末装置による日付判定処理の処理手順を示すフローチャートである。
【図11】図11は、本実施例に係る携帯端末装置による水平隣接文字および鉛直隣接文字の取得処理の処理手順を示すフローチャートである。
【図12】図12は、本実施例に係る携帯端末装置による等差数列判定処理の処理手順を示すフローチャートである。
【図13】図13は、本実施例に係る携帯端末装置によるスケジュール画像表示処理の処理手順を示すフローチャートである。
【図14】図14は、本実施例に係る携帯端末装置による電子化文字登録処理の処理手順を示すフローチャートである。
【図15】図15は、本実施例に係る携帯端末装置による画像更新処理の処理手順を示すフローチャートである。
【図16】図16は、本実施例に係る携帯端末装置による電子化文字更新処理の処理手順を示すフローチャートである。
【図17】図17は、スケジュール管理プログラムを実行するコンピュータを示す図である。
【発明を実施するための形態】
【0010】
以下に、本願の開示する携帯端末装置、スケジュール管理方法及びスケジュール管理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。
【実施例】
【0011】
まず、図1を用いて、本実施例に係る携帯端末装置によるスケジュール管理方法を説明する。図1は、本実施例に係る携帯端末装置によるスケジュール管理方法を説明するための図である。
【0012】
図1に示すように、本実施例に係る携帯端末装置は、互いに隣接する枠領域を含むスケジュール領域の画像を撮像する。図1に示す例では、携帯端末装置は、互いに隣接する枠領域10−1〜10−8を含むスケジュール領域であるカレンダー10の画像を撮像する。
【0013】
そして、携帯端末装置は、スケジュール領域の画像から枠領域及び枠領域に含まれる文字を認識する。図1に示す例では、携帯端末装置は、カレンダー10の画像から矩形状の枠領域10−1〜10−8及び枠領域10−1〜10−8に含まれる文字を認識する。
【0014】
例えば、携帯端末装置は、矩形状の枠領域10−1と枠領域10−1に含まれる文字「JANUARY」及び「2010」とを認識する。また、例えば、携帯端末装置は、矩形状の枠領域10−2と枠領域10−2に含まれる文字「11」及び「MON.」とを認識する。また、例えば、携帯端末装置は、矩形状の枠領域10−3と枠領域10−3に含まれる文字「12」、「TUE.」及び「10時〜部会」とを認識する。また、例えば、携帯端末装置は、矩形状の枠領域10−5と枠領域10−5に含まれる文字「14」、「THU.」及び「2時〜特許打合せ」とを認識する。
【0015】
そして、携帯端末装置は、認識された文字である認識文字と当該認識文字を含む枠領域に隣接する枠領域群の各枠領域に含まれる文字とが所定の規則に従う数列を形成するか否かを判定する。そして、携帯端末装置は、両文字が所定の規則に従う数列を形成する場合に、認識文字が暦上の日付であると判定する。図1に示す例では、認識文字「14」と「14」を含む枠領域10−5に隣接する枠領域群10−2〜10−4、10−6〜10−8の各枠領域に含まれる文字「11」、「12」、「13」、「15」、「16」及び「17」とが公差1の等差数列を形成する。この場合、携帯端末装置は、認識文字「14」が暦上の日付である「14日」であると判定する。
【0016】
そして、携帯端末装置は、暦上の日付であると判定された認識文字を含む枠領域の座標を当該認識文字が示す日付と関連付けて枠領域記憶部に登録する。例えば、図1に示す例では、携帯端末装置は、暦上の日付であると判定された認識文字「14」を含む矩形状の枠領域10−5の1つの対角線上に存在する2つの角部分の座標を日付「14日」と関連付けて枠領域記憶部に登録する。
【0017】
そして、携帯端末装置は、日付を取得する。例えば、携帯端末装置は、ユーザの入力操作等によりユーザが所望する日付を取得する。ここでは、携帯端末装置は、現在の日付「14日」を取得したものとする。
【0018】
そして、携帯端末装置は、取得された日付に関連付けられた枠領域の座標を枠領域記憶部から読み出し、読み出した枠領域の座標を用いてスケジュール領域の画像から枠領域を抽出して表示する。図1に示す例では、携帯端末装置は、取得された現在の日付「14日」に関連付けられた枠領域10−5の矩形の角部分の座標を枠領域記憶部から読み出す。そして、携帯端末装置は、読み出した枠領域10−5の矩形の角部分の座標を用いてカレンダー10の画像から枠領域10−5を抽出して表示する。
【0019】
このように、本実施例に係る携帯端末装置は、暦上の日付であると判定された認識文字を含む枠領域の座標を日付と関連付けて登録し、所望の日付に関連する枠領域の座標を用いてスケジュール領域の画像から枠領域を抽出して表示する。このため、本実施例に係る携帯端末装置は、スケジュール領域のサイズに追従する枠領域の座標を用いてスケジュール領域の画像から枠領域を抽出することができるので、スケジュール領域のサイズが変更された場合でも枠領域内の情報が変更されることがない。その結果、本実施例に係る携帯端末装置は、枠領域内のスケジュールを精度良くユーザに提示することができる。
【0020】
次に、図2を用いて、図1にて説明を行った携帯端末装置100の構成を説明する。図2は、本実施例に係る携帯端末装置100の構成を示すブロック図である。図2に示すように、携帯端末装置100は、カメラ部101と、操作部102と、表示部103と、記憶部110と、制御部120とを有する。カメラ部101は、後述する撮像部121からの指示に応じて撮像対象となるカレンダー等の画像を撮像する撮像装置であり、撮像した画像を制御部120へ出力する。
【0021】
操作部102は、携帯端末装置100を操作するユーザから各種データや操作指示を受け付けるテンキーやカーソルキー等の入力装置であり、受け付けた情報を制御部120へ送る。例えば、操作部102は、ユーザの入力操作によりユーザが所望する日付を取得し、取得した日付を制御部120へ送る。
【0022】
表示部103は、制御部120から送られた情報をユーザに出力表示する液晶ディスプレイ等の表示装置である。表示部103は、例えば、カレンダーの画像から抽出された枠領域の画像をユーザに出力表示する。
【0023】
記憶部110は、制御部120による各種処理の実行に必要なデータやプログラム等を格納する。特に、記憶部110は、スケジュール領域記憶部111と、枠領域記憶部112と、電子化文字記憶部113とを有する。
【0024】
スケジュール領域記憶部111は、カメラ部101によって撮像されたスケジュール領域であるカレンダーの画像を記憶する。図3に、スケジュール領域記憶部111の一例を示す。図3に示すように、スケジュール領域記憶部111は、画像ID、版数、カレンダー画像といった項目を有する。
【0025】
画像IDは、カレンダーの画像を一意に識別するための識別子である。版数は、カレンダーの画像の版数であり、カレンダーの画像の初回登録時に0となり、カレンダーの画像を更新登録が行われるたびに1ずつ増加する。カレンダー画像は、互いに隣接する枠領域を含むスケジュール領域であるカレンダーの画像である。
【0026】
枠領域記憶部112は、後述する日付判定部123により暦上の日付であると判定された文字を含む枠領域の座標を当該文字が示す日付と関連付けて記憶する。図4に、枠領域記憶部112の一例を示す。図4に示すように、枠領域記憶部112は、日付、画像ID、枠領域座標といった項目を有する。
【0027】
日付は、操作部102から受け付けた撮像対象のカレンダーの年月情報と日付判定部123により暦上の日付として判定された文字との組合せを基に生成された日付である。画像IDは、枠領域の抽出元であるカレンダーの画像を一意に識別するための識別子である。枠領域座標は、日付判定部123により暦上の日付であると判定された文字を含む枠領域の座標であり、例えば、矩形状の枠領域の1つの対角線上に存在する2つの角部分の座標である。
【0028】
電子化文字記憶部113は、カレンダーの画像から抽出された枠領域の画像内において暦上の日付を示す文字以外の文字を電子化文字として記憶する。図5に、電子化文字記憶部113の一例を示す。図5に示すように、電子化文字記憶部113は、日付、電子化文字といった項目を有する。
【0029】
日付は、操作部102から受け付けた撮像対象のカレンダーの年月情報と日付判定部123により暦上の日付として判定された文字との組合せを基に生成された日付である。電子化文字は、カレンダーの画像から抽出された枠領域の画像内における暦上の日付を示す文字以外の文字をテキスト化したものである。
【0030】
なお、記憶部110は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
【0031】
制御部120は、携帯端末装置100全体を制御する。特に、制御部120は、撮像部121と、OCR(Optical Character Recognition)部122と、日付判定部123と、枠領域登録部124と、表示制御部125と、座標変更受付部126と、電子化文字登録部127とを有する。
【0032】
撮像部121は、カメラ部101に指示してカレンダーの画像を撮像させ、カメラ部101から受け取った撮像画像を画像ID及び版数と対応付けてスケジュール領域記憶部111に登録する。具体的には、撮像部121は、操作部102から画像登録処理を行う旨の指示を受け付けると、撮像対象のカレンダーの年月情報を操作部102から取得する。そして、撮像部121は、カメラ部101がカレンダーに向けられた状態で操作部102の撮像ボタンに対する押下操作を受け付ける。そして、撮像部121は、押下操作に応じてカメラ部101に指示を行い、カメラ部101にカレンダーの画像を撮像させる。そして、撮像部121は、カメラ部101から受け取った撮像画像を画像ID及び版数と対応付けてスケジュール領域記憶部111に登録する。
【0033】
OCR部122は、撮像部121により撮像されたカレンダーの画像から互いに隣接すする枠領域及び枠領域に含まれる文字を認識する。OCR部122は、撮像部121により撮像されたカレンダーの画像に対して公知な文字認識手法を適用することで枠領域及び枠領域に含まれる文字を認識する。例えば、OCR部122は、カレンダーの画像に含まれる枠領域や文字を光学的に読み取り、予め定められたパターンとの照合を行うことにより矩形状の枠領域や枠領域内の文字を認識する。なお、以下では、OCR部122によって枠領域内から認識された文字を「認識文字」と呼ぶことがあるものとする。
【0034】
日付判定部123は、認識文字と当該認識文字を含む枠領域に隣接する枠領域群の各枠領域に含まれる文字とが所定の規則に従う数列を形成するか否かを判定することにより、認識文字が暦上の日付であるか否かを判定する。
【0035】
具体的には、日付判定部123は、認識文字が1〜31のいずれか一つの数字であるか否かを判定する。日付判定部123は、認識文字が1〜31のいずれの数字でもない場合には、認識文字を暦上の日付でないと判定する。
【0036】
一方、日付判定部123は、認識文字が1〜31のいずれか一つの数字である場合には、認識文字の文字種別を識別する。例えば、日付判定部123は、認識文字の文字種別がアラビア数字であるか或いは漢数字であるかを識別する。続いて、日付判定部123は、認識文字の中心座標を算出する。
【0037】
そして、日付判定部123は、認識文字の文字種別及び中心座標を用いて、認識文字を含む枠領域に隣接する枠領域群の各枠領域に含まれる文字を取得する処理を行う。なお、以下では、認識文字を含む枠領域に隣接する枠領域群の各枠領域に含まれる文字を「隣接文字」と呼ぶことがあるものとする。
【0038】
そして、日付判定部123は、隣接文字を取得する処理を行った後、認識文字と、取得した隣接文字とが等差数列を形成するか否かを判定する。そして、日付判定部123は、認識文字と隣接文字とが等差数列を形成する場合に、認識文字が暦上の日付であると判定する。一方、日付判定部123は、認識文字と隣接文字とが等差数列を形成しない場合に、認識文字が暦上の日付でないと判定する。
【0039】
枠領域登録部124は、日付判定部123により暦上の日付であると判定された認識文字を含む枠領域の座標を当該認識文字が示す日付と関連付けて枠領域記憶部112に登録する。例えば、枠領域登録部124は、暦上の日付であると判定された認識文字を含む矩形状の枠領域の1つの対角線上に存在する2つの角部分の座標を枠領域の座標として当該認識文字が示す日付と関連付けて枠領域記憶部112に登録する。
【0040】
また、枠領域登録部124は、後述する座標変更受付部126から変更後の枠領域の座標を受け付けると、変更後の枠領域の座標を認識文字が示す日付と関連付けて枠領域記憶部112に上書き登録する。
【0041】
表示制御部125は、操作部102から受け付けた日付に応じて枠領域の画像をスケジュール画像として表示部103に表示する。具体的には、表示制御部125は、スケジュール画像を表示する旨の指示を操作部102から受け付けると、現在の日付等のユーザの所望する日付を操作部102から取得する。そして、表示制御部125は、スケジュール領域記憶部111からカレンダーの画像を読み出す。そして、表示制御部125は、操作部102から取得した日付に関連付けられた枠領域の座標を枠領域記憶部112から読み出す。そして、表示制御部125は、読み出した枠領域の座標を用いてカレンダーの画像から枠領域を抽出し、抽出した枠領域の画像をスケジュール画像として表示部103に表示する。
【0042】
また、表示制御部125は、枠領域登録部124により変更後の枠領域の座標が枠領域記憶部112に上書き登録された場合には、操作部102から受け付けた日付に関連付けられた変更後の枠領域の座標を枠領域記憶部112から読み出す。そして、表示制御部125は、読み出した変更後の枠領域の座標を用いてカレンダーの画像から枠領域を抽出し、抽出した枠領域の画像をスケジュール画像として表示部103に表示する。なお、以下では、表示制御部125がカレンダーの画像から抽出した枠領域を「抽出枠領域」と呼ぶこととする。
【0043】
また、表示制御部125は、抽出枠領域の画像を後述する電子化文字登録部127に送付する。
【0044】
座標変更受付部126は、表示制御部125によって枠領域の画像が表示部103に表示されている場合に、枠領域の座標の変更を受け付け、受け付けた変更後の枠領域の座標を枠領域登録部124に送る。具体的には、座標変更受付部126は、表示制御部125によって枠領域の画像が表示部103に表示されている場合に、枠領域に重畳されたカーソル枠の拡大又は縮小を操作部102から受け付ける。そして、座標変更受付部126は、受け付けた拡大後のカーソル枠の座標又は縮小後のカーソル枠の座標を変更後の枠領域の座標として枠領域登録部124に送る。
【0045】
ここで、図6を用いて、表示制御部125が枠領域の画像を表示部103に表示する処理の一例について説明する。図6は、枠領域の表示態様の一例を説明するための図である。なお、ここでは、表示制御部125は、図3に示したスケジュール領域記憶部111からカレンダーの画像を読み出しているものとする。まず、表示制御部125は、ユーザの所望する日付「14日」を操作部102から受け付けているものとする。
【0046】
まず、表示制御部125は、操作部102から受け付けた日付「14日」に関連付けられた枠領域の座標(x1,y1,x2,y2)を枠領域記憶部112から読み出す。続いて、表示制御部125は、図6の左側に示すように、読み出した枠領域の座標(x1,y1,x2,y2)を用いてカレンダーの画像から枠領域20を抽出して表示部103に表示する。すなわち、表示制御部125は、相対向する2つの角部分(x1,y1)、(x2,y2)を含む矩形状の枠領域20をカレンダーの画像から抽出して表示部103に表示する。なお、表示制御部125は、枠領域20に重畳した状態でカーソル枠30を表示部103に表示する。
【0047】
また、表示制御部125によって枠領域20の画像が表示部103に表示されている場合に、座標変更受付部126は、枠領域20に重畳されたカーソル枠30の拡大を操作部102から受け付ける。そして、座標変更受付部126は、受け付けた拡大後のカーソル枠30の座標を変更後の枠領域20の座標として枠領域登録部124に送る。枠領域登録部124は、変更後の枠領域20の座標を座標変更受付部126から受け付けると、変更後の枠領域20の座標を日付「14日」と関連付けて枠領域記憶部112に上書き登録する。
【0048】
そして、表示制御部125は、枠領域登録部124により変更後の枠領域20の座標が枠領域記憶部112に上書き登録された場合には、操作部102から受け付けた日付に関連付けられた変更後の枠領域20の座標を枠領域記憶部112から読み出す。そして、表示制御部125は、図6の右側に示すように、読み出した変更後の枠領域20の座標を用いてカレンダーの画像から枠領域20を抽出し、抽出した枠領域20の画像をスケジュール画像として表示部103に表示する。これにより、表示部103を参照したユーザは、当初の枠領域20からはみ出た文字等を変更後の枠領域20の中に収容することができるので、スケジュールの見落としを確実に防止することができる。
【0049】
図2に戻り、電子化文字登録部127は、抽出枠領域の画像に含まれる文字を電子化文字として電子化文字記憶部113に登録する。具体的には、電子化文字登録部127は、抽出枠領域の画像を表示制御部125から受け取ると、受け取った抽出枠領域の画像をOCR部122に引き渡す。そして、電子化文字登録部127は、OCR部122にて抽出枠領域の画像から認識された日付を示す認識文字以外の文字を電子化文字として電子化文字記憶部113へ登録する。
【0050】
なお、制御部120は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路、または、CPU(Central Processing Unit)やMUP(Micro Processing Unit)などの電子回路である。
【0051】
次に、図7を用いて、図2に示した携帯端末装置100のハードウェア構成例について説明する。図7は、本実施例に係る携帯端末装置100のハードウェア構成図である。図7に示すように、携帯端末装置100は、カメラ部131と、操作部132と、表示部133と、アンテナ134と、無線通信部135と、マイク136と、スピーカ137と、音声入出力部138と、記憶部139と、プロセッサ140とを有する。
【0052】
カメラ部131、操作部132、表示部133、無線通信部135及び音声入出力部138は、プロセッサ140と接続される。また、アンテナ134は、無線通信部135と接続される。マイク136及びスピーカ137は、音声入出力部138と接続される。
【0053】
カメラ部131は、例えば、図2に示したカメラ部101に対応する。操作部132は、例えば、図2に示した操作部102に対応する。表示部133は、例えば、図2に示した表示部103に対応する。
【0054】
記憶部139及びプロセッサ140は、図2に示した制御部120の機能を実現する。具体的には、記憶部139のプログラム記憶部139aは、図2に示した制御部120による処理を実現する各種プログラムを記憶する。また、データ記憶部139bやRAM139cは、図2に示した記憶部110を記憶する。そして、プロセッサ140は、プログラム記憶部139aに格納されている各種プログラムを読み出して、例えば、RAM139c等に展開し、順次実行することで制御部120の各種機能を実現する。
【0055】
次に、図8を用いて、本実施例に係る携帯端末装置100による画像登録処理の処理手順について説明する。図8は、本実施例に係る携帯端末装置100による画像登録処理の処理手順を示すフローチャートである。
【0056】
図8に示すように、撮像部121は、操作部102から画像登録処理を行う旨の指示を受け付けたか否かを判定する(ステップS11)。撮像部121は、操作部102から画像登録処理を行う旨の指示を受け付けていない場合には(ステップS11否定)、その旨の指示を受け付けるまで待機する。
【0057】
一方、撮像部121は、操作部102から画像登録処理を行う旨の指示を受け付けると(ステップS11肯定)、撮像対象のカレンダーの年月情報を操作部102から取得する(ステップS12)。そして、撮像部121は、カメラ部101にカレンダーの画像を撮像させ(ステップS13)、撮像画像を画像ID及び版数と対応付けてスケジュール領域記憶部111に登録する(ステップS14)。
【0058】
そして、OCR部122、日付判定部123及び枠領域登録部124は、枠領域登録処理を行い(ステップS15)、画像登録処理を終了する。すなわち、OCR部122、日付判定部123及び枠領域登録部124は、カレンダーの画像から枠領域及び認識文字を認識し、暦上の日付であると判定された認識文字を含む枠領域の座標を日付と関連づけて登録する。
【0059】
次に、図9を用いて、本実施例に係る携帯端末装置100による枠領域登録処理の処理手順について説明する。図9は、本実施例に係る携帯端末装置100による枠領域登録処理の処理手順を示すフローチャートである。なお、図9に示すフローチャートは、図8に示すステップS15に対応する。
【0060】
図9に示すように、OCR部122は、撮像部121により撮像されたカレンダーの画像から枠領域及び枠領域に含まれる文字を認識する(ステップS21及びステップS22)。
【0061】
そして、日付判定部123は、OCR部122によって認識された枠領域を一つ選択し(ステップS23)、該枠領域内に認識文字が含まれるか否かを判定する(ステップS24)。
【0062】
そして、日付判定部123は、枠領域内に認識文字が含まれる場合には(ステップS24肯定)、該枠領域内に含まれる認識文字を一つ選択し(ステップS25)、日付判定処理を行う(ステップS26)。すなわち、日付判定部123は、認識文字と当該認識文字を含む枠領域に隣接する枠領域群の各枠領域に含まれる文字とが所定の規則に従う数列を形成するか否かを判定することにより、認識文字が暦上の日付であるか否かを判定する。
【0063】
そして、日付判定部123は、認識文字が暦上の日付でないと判定すると(ステップS27否定)、枠領域内に含まれる全認識文字を選択したか否かを判定する(ステップS28)。日付判定部123は、枠領域内に含まれる全認識文字を選択していない場合には(ステップS28否定)、ステップS25〜S27を繰り返す。
【0064】
一方、日付判定部123によって認識文字が暦上の日付であると判定された場合には(ステップS27肯定)、枠領域登録部124は、該認識文字を含む枠領域の座標を該認識文字が示す日付と関連付けて枠領域記憶部112に登録する(ステップS29)。なお、座標ではなく、該認識文字を含む枠領域の画像を切り出して、当該切り出した画像を該認識文字が示す日付と関連付けて枠領域記憶部112に登録することも考えられる。
【0065】
ステップS29の処理を終えた場合、枠領域内に認識文字が含まれていない場合(ステップS24否定)、或いは、枠領域内に含まれる全認識文字を選択した場合(ステップS28肯定)、日付判定部123は、処理をステップS30に進める。
【0066】
ステップS30において、日付判定部123は、OCR部122によって認識された全枠領域を選択したか否かを判定し(ステップS30)、選択していない場合には(ステップS30否定)、処理をステップS23に戻す。一方、日付判定部123は、OCR部122によって認識された全枠領域を選択したと判定すると(ステップS30肯定)、枠領域登録処理を終了する。
【0067】
次に、図10を用いて、本実施例に係る携帯端末装置100による日付判定処理の処理手順について説明する。なお、図10に示すフローチャートは、図9に示すステップS26に対応する。
【0068】
図10に示すように、日付判定部123は、ステップS25にて選択した認識文字が1〜31のいずれか一つの数字であるか否かを判定する(ステップS31)。日付判定部123は、認識文字が1〜31のいずれか一つの数字である場合には(ステップS31肯定)、認識文字の文字種別を識別する(ステップS32)。例えば、日付判定部123は、認識文字の文字種別がアラビア数字であるか或いは漢数字であるかを識別する。続いて、日付判定部123は、認識文字の中心座標を算出する(ステップS33)。
【0069】
そして、日付判定部123は、認識文字の文字種別及び中心座標を用いて隣接文字の取得処理を行い(ステップS34)、認識文字と、取得した隣接文字とが等差数列を形成するか否かを判定する等差数列判定処理を行う(ステップS35)。
【0070】
そして、日付判定部123は、認識文字と隣接文字とが等差数列を形成する場合に(ステップS36肯定)、認識文字が暦上の日付であると判定する(ステップS37)。一方、認識文字が1〜31のいずれの数字でもない場合(ステップS31否定)、或いは、認識文字と隣接文字とが等差数列を形成しない場合(ステップS36否定)、日付判定部123は、認識文字を暦上の日付でないと判定する(ステップS38)。
【0071】
次に、図11を用いて、本実施例に係る携帯端末装置100による隣接文字の取得処理の処理手順について説明する。なお、図11に示すフローチャートは、図10に示すステップS34に対応する。
【0072】
図11に示すように、日付判定部123は、OCR部122によって認識された認識文字を一つ選択し(ステップS41)、選択した認識文字が1〜31のいずれか一つの数字であるか否かを判定する(ステップS42)。日付判定部123は、選択した認識文字が1〜31のいずれか一つの数字である場合には(ステップS42肯定)、選択した認識文字の文字種別を識別し、該文字種別がステップS32で識別した認識文字の文字種別と一致するか否かを判定する(ステップS43)。
【0073】
そして、日付判定部123は、両認識文字の文字種別が一致する場合(ステップS43肯定)、選択した認識文字の中心座標を算出し該中心座標の水平成分がステップS33で算出した認識文字の中心座標の水平成分と一致するか否かを判定する(ステップS44)。日付判定部123は、両認識文字の中心座標の水平成分が一致する場合には(ステップS44肯定)、選択した認識文字をステップS25で選択した認識文字に対して鉛直方向に隣接する鉛直隣接文字として一時記憶領域に保存する(ステップS45)。
【0074】
一方、日付判定部123は、両認識文字の中心座標の水平成分が一致しない場合には(ステップS44否定)、両認識文字の中心座標の鉛直成分が一致するか否かを判定する(ステップS46)。日付判定部123は、両認識文字の中心座標の鉛直成分が一致する場合には(ステップS46肯定)、選択した認識文字をステップS25で選択した認識文字に対して水平方向に隣接する水平隣接文字として一時記憶領域に保存する(ステップS47)。
【0075】
ステップS45、S47の処理を終えた場合、選択した認識文字が1〜31のいずれの数字でもない場合(ステップS42否定)、或いは、両認識文字の文字種別が一致しない場合(ステップS43否定)、日付判定部123は、処理をステップS48に進める。
【0076】
ステップS48において、日付判定部123は、OCR部122によって認識された全認識文字を選択したか否かを判定し(ステップS48)、選択していない場合には(ステップS48否定)、処理をステップS41に戻す。一方、日付判定部123は、OCR部122によって認識された全認識文字を選択したと判定すると(ステップS48肯定)、隣接文字の取得処理を終了する。
【0077】
次に、図12を用いて、本実施例に係る携帯端末装置100による等差数列判定処理の処理手順について説明する。なお、図12に示すフローチャートは、図10に示すステップS35に対応する。
【0078】
図12に示すように、日付判定部123は、公差を示すパラメータである公差パラメータdを1に設定する(ステップS51)。続いて、日付判定部123は、ステップS25にて選択した認識文字を中心とした等差数列の前々項、前項、次項及び次々項を公差パラメータdを用いて算出する(ステップS52)。例えば、ステップS25にて選択した認識文字を「8」、公差パラメータdを「1」とすると、日付判定部123は、認識文字「8」を中心とした等差数列の前々項、前項、次項及び次々項として、「6」、「7」、「9」及び「10」をそれぞれ算出する。
【0079】
続いて、日付判定部123は、前々項及び前項が水平隣接文字に含まれるか否かを判定する(ステップS53)。日付判定部123は、前々項及び前項が水平隣接文字に含まれていない場合には(ステップS53否定)、前々項及び前項が鉛直隣接文字に含まれるか否かを判定する(ステップS54)。そして、日付判定部123は、前々項及び前項が水平隣接文字に含まれる場合(ステップS53肯定)、又は、前々項及び前項が鉛直隣接文字に含まれる場合(ステップS54肯定)、認識文字と隣接文字とが等差数列を形成すると判定する(ステップS62)。
【0080】
一方、日付判定部123は、前々項及び前項が水平隣接文字及び鉛直隣接文字のいずれにも含まれていない場合には(ステップS54否定)、前項及び次項が水平隣接文字に含まれるか否かを判定する(ステップS55)。日付判定部123は、前項及び次項が水平隣接文字に含まれていない場合には(ステップS55否定)、前項及び次項が鉛直隣接文字に含まれるか否かを判定する(ステップS56)。そして、日付判定部123は、前項及び次項が水平隣接文字に含まれる場合(ステップS55肯定)、又は、前項及び次項が鉛直隣接文字に含まれる場合(ステップS56肯定)、認識文字と隣接文字とが等差数列を形成すると判定する(ステップS62)。
【0081】
一方、日付判定部123は、前項及び次項が水平隣接文字及び鉛直隣接文字のいずれにも含まれていない場合には(ステップS56否定)、次項及び次々項が水平隣接文字に含まれるか否かを判定する(ステップS57)。日付判定部123は、次項及び次々項が水平隣接文字に含まれていない場合には(ステップS57否定)、次項及び次々項が鉛直隣接文字に含まれるか否かを判定する(ステップS58)。そして、日付判定部123は、次項及び次々項が水平隣接文字に含まれる場合(ステップS57肯定)、又は、次項及び次々項が鉛直隣接文字に含まれる場合(ステップS58肯定)、認識文字と隣接文字とが等差数列を形成すると判定する(ステップS62)。
【0082】
一方、日付判定部123は、次項及び次々項が水平隣接文字及び鉛直隣接文字のいずれにも含まれていない場合には(ステップS58否定)、公差パラメータdに「1」を加算する(ステップS59)。
【0083】
続いて、日付判定部123は、公差パラメータdが15以下であるか否かを判定し(ステップS60)、15以下である場合には(ステップS60肯定)、処理をステップS52に戻し、ステップS52〜S59を繰り返す。一方、日付判定部123は、公差パラメータdが16以上である場合には(ステップS60否定)、認識文字と隣接文字とが等差数列を形成しないと判定する。
【0084】
次に、図13を用いて、本実施例に係る携帯端末装置100によるスケジュール画像表示処理の処理手順について説明する。図13は、本実施例に係る携帯端末装置100によるスケジュール画像表示処理の処理手順を示すフローチャートである。
【0085】
図13に示すように、表示制御部125は、操作部102からスケジュール画像を表示する旨の指示を受け付けたか否かを判定する(ステップS71)。表示制御部125は、操作部102からスケジュール画像を表示する旨の指示を受け付けていない場合には(ステップS71否定)、その旨の指示を受け付けるまで待機する。
【0086】
一方、表示制御部125は、操作部102からスケジュール画像を表示する旨の指示を受け付けると(ステップS71肯定)、現在の日付等のユーザの所望する日付を操作部102から取得する(ステップS72)。そして、表示制御部125は、スケジュール領域記憶部111からカレンダーの画像を読み出す(ステップS73)。そして、表示制御部125は、操作部102から取得した日付に関連付けられた枠領域の座標を枠領域記憶部112から読み出す(ステップS74)。そして、表示制御部125は、読み出した枠領域の座標を用いてカレンダーの画像から枠領域を抽出し(ステップS75)、抽出した枠領域の画像をスケジュール画像として表示部103に表示する(ステップS76)。
【0087】
続いて、座標変更受付部126は、表示制御部125によって枠領域の画像が表示部103に表示されている場合に、枠領域の座標の変更を受け付ける(ステップS77)。そして、座標変更受付部126は、枠領域の座標の変更を受け付けると(ステップS77肯定)、受け付けた変更後の枠領域の座標を枠領域登録部124に送る。枠領域登録部124は、変更後の枠領域の座標を認識文字が示す日付と関連付けて枠領域記憶部112に上書き登録し(ステップS78)、処理をステップS74に戻す。表示制御部125は、操作部102から取得した日付に関連付けられた変更後の枠領域の座標を枠領域記憶部112から読み出し(ステップS74)、変更後の枠領域の座標を用いてカレンダーの画像から枠領域を抽出して再表示する(ステップS75及びS76)。
【0088】
一方、座標変更受付部126が枠領域の座標の変更を受け付けない場合には(ステップS77否定)、表示制御部125は、操作部102からスケジュール画像の表示終了指示を受け付けたか否かを判定する(ステップS79)。表示制御部125は、操作部102からスケジュール画像の表示終了指示を受け付けていない場合には(ステップS79否定)、処理をステップS76に戻す。一方、表示制御部125は、操作部102からスケジュール画像の表示終了指示を受け付けた場合には(ステップS79肯定)、スケジュール画像表示処理を終了する。
【0089】
次に、図14を用いて、本実施例に係る携帯端末装置100による電子化文字登録処理の処理手順について説明する。図14は、本実施例に係る携帯端末装置100による電子化文字登録処理の処理手順を示すフローチャートである。
【0090】
図14に示すように、表示制御部125は、電子化文字登録処理を行う旨の指示を操作部102から受け付けると(ステップS81肯定)、スケジュール領域記憶部111からカレンダーの画像を読み出す(ステップS82)。そして、表示制御部125は、枠領域記憶部112に記憶された枠領域の座標を一つ読み出し(ステップS83)、読み出した枠領域の座標を用いてカレンダーの画像から枠領域を抽出する(ステップS84)。そして、表示制御部125は、抽出枠領域の画像を電子化文字登録部127に送付する。
【0091】
続いて、電子化文字登録部127は、抽出枠領域の画像を表示制御部125から受け取ると、受け取った抽出枠領域の画像をOCR部122に引き渡す(ステップS85)。そして、電子化文字登録部127は、OCR部122にて抽出枠領域の画像から認識された日付を示す認識文字以外の文字を電子化文字として電子化文字記憶部113へ登録する(ステップS86)。
【0092】
続いて、表示制御部125は、枠領域記憶部112に記憶された全ての枠領域の座標を読み出したか否かを判定する(ステップS87)。表示制御部125は、全ての枠領域の座標を読み出していない場合には(ステップS87否定)、既に電子化文字の登録処理を行った枠領域とは異なる枠領域の座標を一つ読み出し(ステップS83)、電子化文字の登録処理を再度行う(ステップS84〜S86)。一方、表示制御部125は、枠領域記憶部112に記憶された全ての枠領域の座標を読み出した場合には(ステップS87肯定)、処理を終了する。
【0093】
次に、図15を用いて、本実施例に係る携帯端末装置100による画像更新処理の処理手順について説明する。図15は、本実施例に係る携帯端末装置100による画像更新処理の処理手順を示すフローチャートである。
【0094】
図15に示すように、表示制御部125は、画像更新処理を行う旨の指示を受け付けると(ステップS91肯定)、スケジュール領域記憶部111から前回のカレンダー画像を読み出して半透過の状態で表示部103に表示する(ステップS92)。そして、撮像部121は、カメラ部101に最新のカレンダーの画像を撮像させ(ステップS93)、前回のカレンダー画像を基準として最新のカレンダー画像の座標ずれや台形歪み等を補正する(ステップS94)。そして、撮像部121は、補正後の最新のカレンダー画像をスケジュール領域記憶部111に上書き登録し(ステップS95)、処理を終了する。
【0095】
次に、図16を用いて、本実施例に係る携帯端末装置100による電子化文字更新処理の処理手順について説明する。図16は、本実施例に係る携帯端末装置100による電子化文字更新処理の処理手順を示すフローチャートである。
【0096】
図16に示すように、表示制御部125は、電子化文字更新処理を行う旨の指示を操作部102から受け付けると(ステップS101肯定)、スケジュール領域記憶部111から最新のカレンダー画像を読み出す(ステップS102)。そして、表示制御部125は、枠領域の座標を一つ読み出し(ステップS103)、読み出した枠領域の座標を用いて最新のカレンダー画像から枠領域を抽出する(ステップS104)。そして、表示制御部125は、抽出枠領域の画像を電子化文字登録部127に送付する。
【0097】
続いて、電子化文字登録部127は、抽出枠領域の画像を表示制御部125から受け取ると、受け取った抽出枠領域の画像をOCR部122に引き渡す(ステップS105)。そして、電子化文字登録部127は、OCR部122にて抽出枠領域の画像から認識された日付を示す認識文字以外の文字を電子化文字として電子化文字記憶部113へ上書き登録する(ステップS106)。
【0098】
続いて、表示制御部125は、枠領域記憶部112に記憶された全ての枠領域の座標を読み出したか否かを判定する(ステップS107)。表示制御部125は、全ての枠領域の座標を読み出していない場合(ステップS107否定)、電子化文字の登録処理を行った枠領域とは別の枠領域の座標を一つ読み出し(ステップS103)、電子化文字の登録処理を再度行う(ステップS104〜S106)。一方、表示制御部125は、枠領域記憶部112に記憶された全ての枠領域の座標を読み出した場合には(ステップS107肯定)、処理を終了する。
【0099】
上述してきたように、本実施例に係る携帯端末装置100は、互いに隣接する枠領域を含むカレンダーの画像を撮像する。そして、携帯端末装置100は、撮像したカレンダーの画像から枠領域及び枠領域に含まれる文字を認識する。そして、携帯端末装置100は、認識文字と隣接文字とが所定の規則に従う数列を形成する場合に、該認識文字が暦上の日付であると判定する。そして、携帯端末装置100は、暦上の日付であると判定された認識文字を含む枠領域の座標を該認識文字が示す日付と関連付けて枠領域記憶部112に登録する。そして、携帯端末装置100は、ユーザの所望する日付を取得し、取得した日付に関連付けられた枠領域の座標を枠領域記憶部112から読み出し、読み出した枠領域の座標を用いてカレンダー画像から枠領域を抽出して表示部103に表示する。
【0100】
このため、本実施例によれば、カレンダーのサイズに追従する枠領域の座標を用いてカレンダー画像から枠領域を抽出することができるので、カレンダーのサイズが変更された場合でも枠領域内の情報の内容が変更されることがない。その結果、本実施例によれば、枠領域内のスケジュールを精度良くユーザに提示することができる。
【0101】
また、本実施例に係る携帯端末装置100は、枠領域が表示部103に表示されている場合に、枠領域の座標の変更を受け付ける。そして、携帯端末装置100は、受け付けた変更後の枠領域の座標を日付と関連付けて枠領域記憶部112に上書き登録する。そして、携帯端末装置100は、取得された日付に関連付けられた変更後の枠領域の座標を枠領域記憶部112から読み出し、読み出した変更後の枠領域の座標を用いてカレンダー画像から枠領域を抽出して表示部103に再表示する。
【0102】
このため、本実施例によれば、表示部103を参照したユーザが、当初の枠領域20からはみ出た文字等を変更後の枠領域内に収容することができるので、スケジュールの見落としを確実に防止することができる。
【0103】
また、本実施例に係る携帯端末装置100は、カレンダー画像から抽出された抽出枠領域の画像をOCR部122に引き渡す。そして、携帯端末装置100は、OCR部122にて抽出枠領域の画像から認識された日付を示す認識文字以外の文字を電子化文字として電子化文字記憶部113へ登録する。
【0104】
このため、本実施例によれば、枠領域内のスケジュールを電子化文字としてユーザに提示することができる。
【0105】
ところで、携帯端末装置100は、パーソナルコンピュータ、ワークステーション、携帯電話、PHS端末、移動体通信端末又はPDAなどの情報処理装置に、携帯端末装置100の各機能を搭載することによって実現することもできる。そこで、以下では、図17を用いて、本実施例に係る携帯端末装置100を実現するためのプログラムを実行するコンピュータの一例を説明する。
【0106】
図17は、スケジュール管理プログラムを実行するコンピュータを示す図である。同図に示すように、コンピュータ1000は、HDD(Hard Disk Drive)1100、RAM(Random Access Memory)1200およびCPU(Central Processing Unit)1300をバス2000で接続して構成される。
【0107】
このうち、HDD1100は、CPU1300による各種処理の実行に必要な情報を記憶する。RAM1200は、各種情報を一時的に記憶する。CPU1300は、各種演算処理を実行する。
【0108】
そして、HDD1100には、図17に示すように、上記の実施例に示した携帯端末装置100が有する各機能部と同様の機能を発揮するスケジュール管理プログラム1110と、スケジュール管理データ1120とがあらかじめ記憶されている。なお、このスケジュール管理プログラム1110を適宜分散させて、ネットワークを介して通信可能に接続された他のコンピュータの記憶部に記憶させておくこともできる。
【0109】
そして、CPU1300が、このスケジュール管理プログラム1110をHDD1100から読み出してRAM1200に展開することにより、図17に示すように、スケジュール管理プログラム1110はスケジュール管理プロセス1210として機能するようになる。すなわち、スケジュール管理プロセス1210は、スケジュール管理データ1120等をHDD1100から読み出して、RAM1200において自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種処理を実行する。なお、スケジュール管理プロセス1210は、図2に示した制御部120に対応する。
【0110】
なお、上記したスケジュール管理プログラム1110については、必ずしも最初からHDD1100に記憶させておく必要はなく、例えば、CD−ROM等の記憶媒体に記憶されたプログラムを、コンピュータ1000が読み出して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WAN等を介してコンピュータ1000に接続される他のコンピュータ(またはサーバ)などに各プログラムを記憶させておき、コンピュータ1000がこれらから各プログラムを読み出して実行するようにしてもよい。
【符号の説明】
【0111】
100 携帯端末装置
101 カメラ部
102 操作部
103 表示部
110 記憶部
111 スケジュール領域記憶部
112 枠領域記憶部
113 電子化文字記憶部
120 制御部
121 撮像部
122 OCR部
123 日付判定部
124 枠領域登録部
125 表示制御部
126 座標変更受付部
127 電子化文字登録部

【特許請求の範囲】
【請求項1】
撮像された画像から互いに隣接する枠領域及び前記枠領域に含まれる文字を認識する認識部と、
前記認識部によって認識された文字である認識文字と当該認識文字を含む枠領域に隣接する枠領域群の各枠領域に含まれる文字とが所定の規則に従う数列を形成する場合に、当該認識文字を含む前記枠領域の座標または前記枠領域に対応する画像を当該認識文字に対応する日付と関連付けて枠領域記憶部に登録する枠領域登録部と、
を備えたことを特徴とする携帯端末装置。
【請求項2】
撮像部を備えた携帯端末装置によって実行されるスケジュール管理方法であって、
前記撮像部によって撮像された画像から互いに隣接する枠領域及び前記枠領域に含まれる文字を認識する認識ステップと、
前記認識ステップによって認識された文字である認識文字と当該認識文字を含む枠領域に隣接する枠領域群の各枠領域に含まれる文字とが所定の規則に従う数列を形成する場合に、当該認識文字を含む前記枠領域の座標または前記枠領域に対応する画像を当該認識文字に対応する日付と関連付けて枠領域記憶部に登録する枠領域登録ステップと、
を含んだことを特徴とするスケジュール管理方法。
【請求項3】
撮像された画像から互いに隣接する枠領域及び前記枠領域に含まれる文字を認識する認識手順と、
前記認識手順によって認識された文字である認識文字と当該認識文字を含む枠領域に隣接する枠領域群の各枠領域に含まれる文字とが所定の規則に従う数列を形成する場合に、当該認識文字を含む前記枠領域の座標または前記枠領域に対応する画像を当該認識文字に対応する日付と関連付けて枠領域記憶部に登録する枠領域登録手順と、
を携帯端末装置に実行させることを特徴とするスケジュール管理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate