携帯電話機
【課題】簡単な操作で、正確にコードを読み取ることのできる携帯端末装置を提供する。
【解決手段】カメラ付き携帯電話機10は、対象となる画像情報を入力するカメラ12、バーコード読み取り時にON/OFFボタン21操作により発光する小型のライト13、情報を表示するLCD表示部15、装置全体を制御するCPUからなる制御部31を備え、制御部31は、自然画やバーコードなど被写体に応じて撮影手順を切り替え、バーコード撮影に切り替えられた場合、バーコードを認識を行うとともに、認識された結果をユーザに通知し、認識された内容に基づいて所定の処理を実行する。
【解決手段】カメラ付き携帯電話機10は、対象となる画像情報を入力するカメラ12、バーコード読み取り時にON/OFFボタン21操作により発光する小型のライト13、情報を表示するLCD表示部15、装置全体を制御するCPUからなる制御部31を備え、制御部31は、自然画やバーコードなど被写体に応じて撮影手順を切り替え、バーコード撮影に切り替えられた場合、バーコードを認識を行うとともに、認識された結果をユーザに通知し、認識された内容に基づいて所定の処理を実行する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラやカメラ付き携帯電話等の携帯端末装置に関する。
【背景技術】
【0002】
液晶パネルなどの画面表示装置や、キー入力などによる入力装置を有している昨今の携帯電話は、いわゆる電波の送受信を行う電話機としての機能のほかに、メールをやり取りできる機能や、ゲームを楽しめる機能などを備えるなど、多機能化の傾向が進んでいる。
【0003】
近年、小型で、低消費電力のイメージセンサが開発されたことに伴い、携帯電話機などの携帯型装置にカメラを内蔵することが可能となり、内蔵カメラにより撮影した画像を、電子メールで即座に送信できることが可能となっている。これらの内蔵カメラは、小型であることが優先され、一般的なデジタルカメラよりも解像度が低い。
【0004】
また、近年の携帯電話機は、インターネットに接続する機能を有している。インターネットに接続するには、URL(Uniform Resource Locator)をキーから入力する必要があり、携帯電話機のキーでは、長いURLを打ち込むために手間がかかっていた。そこで、URLを一意の番号で管理し、その番号に対応するバーコードを印刷したものをバーコードリーダで読み込むことにより、URLの入力の手間を省き、ユーザの使い勝手をよくする試みがなされている。このような装置では、別途バーコードリーダを携帯電話機に接続する必要がある。
【0005】
そこで、カメラを内蔵した携帯装置では、その内蔵カメラにより入力したバーコード画像に対してバーコードを認識できれば、別途バーコードリーダを用意しなくても、このようなサービスを利用することができる。
【0006】
例えば、特開2002−111909号公報には、写真モードとQRコード(2次元コード)読取モードを選択設定でき、設定モードに応じた処理がなされる情報提供サービスが開示されている。また、特開平9−259215号公報には、1次元コードはラインCCDで処理し、2次元コードはエリアCCDで処理して読取り精度を高めるコードリーダが記載されている。但し、バーコード種類に応じたカメラ画像取り込み領域の設定については記載はない。
【0007】
また、特開2001−197186号公報では、電話番号を2次元バーコードに置き換え、電話機に取付けたCCDスキャナーでこの2次元バーコードを読み取ることが記載されている。
【0008】
ところで、現在の内蔵カメラの解像度は、バーコードリーダに用いられるイメージセンサよりも解像度が低く、高精度でバーコードを認識することが困難であった。
また、バーコードの認識を困難にする原因として、入力画像中に撮影されるバーの幅が一定ではないということがある。これは、バーコードとカメラの距離関係は、入力するたびに変わってくるためである。接写するタイプのスキャナでは、常にバーコードを一定の大きさで入力できるので、バーの幅をあらかじめ決めておくことができるが、手で保持したカメラでバーコードを撮影する場合は、一定のバー幅をあらかじめ決めておくことはできない。
【0009】
バーの幅をイメージスキャナにより入力されたバーコード画像から決定し、バーコードを認識する手法が提案されている。例えば、特開2002−176509号公報では、カメラで取り込まれた画像に含まれるバーコードを認識し、取り込まれた画像が解読可能であればスピーカ音を発生し、バーコードデータを保存すると共に画像化して表示部に表示する装置が開示されている。
【0010】
【特許文献1】特開2002−111909号公報
【特許文献2】特開平9−259215号公報
【特許文献3】特開2001−197186号公報
【特許文献4】特開2002−176509号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながらこのような従来のカメラ付き携帯端末にあっては、以下のような問題点があった。
【0012】
例えば、1次元コードや2次元コードと読み取り対象となるコードの物理的な大きさが異なることから、比較的低い解像度である、カメラ付き携帯電話に用いられるカメラでは、コードの大きさにより適切な解像度を選ぶ必要があるという問題があった。
また、通常、人物や、風景を撮影するように設定されているカメラでは、バーコードのようなマクロモード撮影は想定されておらず、バーコード画像を読み取りに適したように撮影することができないという問題があった。
【0013】
さらに、カメラの画角が比較的狭いため、読み取り対象のコードをカメラの撮影範囲内に収めるのに困難さが伴うという問題があった。またこの場合、接写をする必要があり、このとき、装置本体等による影の影響を受けやすく、安定した画像が得られないという問題があった。
【0014】
本発明は、このような課題に鑑みてなされたものであって、簡単な操作で、正確にコードを読み取ることのできる携帯端末装置並びに情報読取プログラム及びそのプログラムを記録した記録媒体を提供することを目的とする。
また、本発明は、被写体にカメラ開口を容易に合わせることのできる携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明の携帯端末装置は、画像を撮像する撮像手段と、撮影対象をバーコードに切り替える撮影手順切替手段と、前記撮像手段により得られた画像の表示を行う表示手段と、前記撮影手順切替手段によりバーコード撮影に切り替えた場合、撮像された画像のバーコードを認識するコード認識手段とを備えることを特徴としている。
【0016】
前記撮影手順切替手段は、バーコード種別に応じて前記撮像手段における画像取り込み領域の変更を行うことがより好ましい。
【0017】
前記撮影手順切替手段は、階調特性、コントラスト、明るさ、ホワイトバランス、露出、焦点深度、輪郭強調、又は解像度のうち少なくともいずれか1つ以上を、自然画とバーコード画像とで切り替えることがより好ましい。
【0018】
前記撮影手順切替手段は、バーコード撮影切り替え時、前記コード認識手段を起動するまでは前記撮像手段から得られる高速なフレームレートにより前記表示手段に画像を表示し、前記コード認識手段を起動後は前記コード認識手段に必要なフレームレートにより画像を表示するフレームレート制御手段を備えることがより好ましい。
【0019】
さらに、被写体に対し照明を行う照明手段を備えることがより好ましく、また、前記照明手段をオン/オフする照明切替手段を備えるものであってもよい。
【0020】
さらに、前記コード認識手段により認識された結果を通知する通知手段を備えることが好ましい。
また、前記通知手段は、音、音声、又は前記表示手段へのメッセージ表示により認識結果の通知を行うものであってもよい。
【0021】
さらに、設定時間を計時するタイマ設定手段を備え、前記通知手段は、前記タイマ設定手段により設定された時間内にバーコードを認識できなかったとき、認識失敗を通知するものであってもよい。
【0022】
前記撮像手段は、エリア型固体撮像素子により動画/静止画撮像を撮像するものであってもよい。
【発明の効果】
【0023】
本発明によれば、カメラ付き携帯電話機などの携帯端末装置において、簡単な操作で、正確にコードを読み取ることができる。
また、被写体にカメラ開口を容易に合わせることができ、コード読み取りの操作性や使い勝手を向上させることができる携帯端末装置を実現することができる。
【発明を実施するための最良の形態】
【0024】
以下、添付図面を参照しながら本発明の好適な携帯端末装置の実施の形態について詳細に説明する。
【0025】
まず、本発明の基本的な考え方について説明する。本発明に係る携帯端末装置をカメラ付き携帯電話機に適用した場合を例に採る。
(1)本カメラ付き携帯電話機は、ユーザの操作によりON/OFFすることができる小型のライトを内蔵する。2次元バーコードなどのコードを読み取らせる場合、ユーザ操作によりON/OFFする。ユーザの操作によりライトをON/OFFすることで、レンズ特性による周辺光量が減少しても、端末本体により読み取りコードに影が重なったとしても、安定してコードを読み取ることができる。コード読み取り時に、常にライトをONさせる態様では、鏡面反射により悪影響が出る場合があるので、カメラで入力中の画像をLCD表示部で確認しながら、ライトON/OFFを切り替える。
【0026】
(2)本カメラ付き携帯電話機は、コードを読み取るときに、撮影中のコードの画像をリアルタイムにLCD表示部に表示させる。撮影中のコードの画像をリアルタイムに表示することで、ユーザは、バーコードが正しくカメラで撮影されているかを確認することができる。これにより、コードが画面からはみ出してしまったり、大きく歪んだ画像になってしまったりすることを防ぐことができ、操作性が向上する。また、読み取り後は、読取結果を画面にすぐに表示させることにより、読み取りの結果を瞬時に知ることができる。また、読み取りが完了したときに読み取り終了音「ピンポンとか、チリリンとか」を鳴らすことで、ユーザに知らせることもできる。
【0027】
(3)読み取り動作は、連続して取り込まれた画像ごとに連続的に動作し、読み取りが完了するまで続く。この時、読み取り処理にかかる時間が大きいので、画像の取り込みはせいぜい2FPS(frame per second)程度になり、表示も2FPS程度である。これだと、LCD表示部を見ながらコードを適切な位置に合わせることが困難になる。そこで、本カメラ付き携帯電話機では、ユーザの指示があるまでは、コードの読み取り処理は実行せず、滑らかな動画をLCD表示部に表示させる。これにより、ユーザはコードを適切な位置に合わせることができる。コードが適切な位置に合わさったら、ボタンを操作し、読み取りの処理を実行させる。このとき、表示が2FPS程度に落ちてしまうが、すでにコードは適切な位置において撮影されているので、読み取りがすぐに終了でき問題がない。
【0028】
(4)また、通常のカメラ付き携帯電話では、人物や風景を撮影することを目的に、色合いなどは、あくまでも自然になるように調整されているので、コード読み取りの用途には、不適である。そこで、本カメラ付き携帯電話機は、コード読み取り時には、通常のモードとは別に調整されたコード読み取り用のモードを用意し、これを使用することとする。例えば、コードの明と暗のコントラストが強調されるように、ホワイトバランスや、露出を調整したり、輪郭(エッジ部)をより強調するように補正係数を調整したり、解像度を調整した特別なバーコード読み取り用モードを用意する。ユーザが、コード読み取りを指定したときには、自動的に上記バーコード読み取り用モードに切り替える。
【0029】
(5)読み取るコードには、1次元コードや2次元コードなどの種類がある。これらコード種別ごとにコードが印刷されている大きさや、線の太さに違いがある。そこで、本カメラ付き携帯電話機は、1次元コードや2次元コードのどちらかを読み込ませるかを指定し、その指定に応じ、カメラの画像取り込み範囲を切り替える。また、表示時の倍率も最適にする。
【0030】
図1は、上記基本的な考え方に基づく本発明の実施の形態の携帯端末装置の外観を示す図であり、図1(A)はその正面図、図1(B)はその背面図である。本実施の形態の携帯端末装置は、コード読取装置をカメラ付き携帯電話機/PHS(Personal Handy−Phone System)の携帯通信端末に適用した例である。
【0031】
図1において、10は、カメラ付き携帯電話機(携帯端末装置)であり、携帯電話機本体10aは、無線通信を行うためのアンテナ11、本体10a背面に内蔵され対象となる画像情報を入力するカメラ12(撮像手段)、本体10a背面に内蔵され暗い場所やバーコード読み取り時にユーザ操作等により発光する小型のライト13(照明手段)、受話を行うための拡声用スピーカ14(通知手段の一部)、操作のためのガイダンスや受信情報,画像やテキスト情報などの情報を表示するLCD表示部15(表示手段,通知手段の一部)、電源のON/OFFを行う電源キー16、着信,発信,電話機能切り替え,動作決定等を行う電話機能キー17、各種機能を切り替えるためのモードキー18、上下左右の方向に選択対象を移動させるカーソルキー19、カメラ12の入力を決定するシャッターボタンであるシャッターキー20、ライト13をON/OFFするライトON/OFFボタン21(照明切替手段)、電話番号の入力等ダイヤルするためのメンブレンキー(Membrane key)からなるダイヤルキー22、及び音声を入力するためのマイク23を備えて構成される。
【0032】
カメラ12は、携帯電話機10に内蔵された例えば34万画素のCCD(Charge Coupled Device)(エリア型固体撮像素子)カメラである。カメラ12は、単焦点レンズを有し、通常撮影時とバーコード読み取り時とで焦点深度が切換えられる。詳細な構成については、図3により後述する。
【0033】
LCD表示部15は、ドットマトリクス構成のLCDディスプレイ,バックライトであるPDP,EL及び各ドライバ等で構成される。LCD表示部15には、撮影時、カメラ12から入力される画像情報が表示され、また、コード認識が完了した場合、文字あるいはアイコンなどのメッセージにより認識結果が表示される。また、非撮影時にはダイヤルキー22から入力された番号や、非電話機能のための各種画面、電話機能の動作状態を示すアイコン等が表示される。さらに、待機時には時刻が表示され、個人情報やシステムの状態などを表示する。
【0034】
電源キー16、電話機能キー17、モードキー18、カーソルキー19、シャッターキー20、ライトON/OFFボタン21及びダイヤルキー22は、いずれも手動で操作を行い、操作された内容を制御部31(図2)に情報として伝達する。本実施の形態では、シャッターキー20やライトON/OFFボタン21を独立のキーとしているが、これらのキーの機能を他のキー(例えばモードキー18)に割り当てる構成でもよい。
【0035】
図2は、バーコード読み取り装置をカメラ付き携帯電話機に組込んだ場合のブロック図である。
【0036】
図2において、携帯電話機10は、PDA(Personal Digital Assistants)等の携帯情報端末やPHS/携帯電話機であり、本装置全体を制御するCPUからなる制御部31(撮影手順切替手段,コード認識手段,情報処理手段,フレームレート制御手段,タイマ設定手段)、制御プログラムや固定データ等を記憶するROM,CPUの作業用記憶領域であるRAM等の半導体メモリ及びハードディスクなどからなり受信又は入力された文字情報、画像情報、音声信号を記憶する記憶メモリ32、対象となる画像情報を入力するカメラ33(撮像手段)、バーコード読み取り時等にユーザ操作により発光するライト34(照明手段)、文字情報や画像情報をユーザに表示する表示部35(表示手段,通知手段の一部)、ユーザからのキー操作情報を入力生成するキー入力部36、電波を送受信するアンテナ37、無線通信の送受信を制御する無線部38、音声信号を出力するスピーカ39(通知手段の一部)、ユーザから音声信号を入力するマイク40を備えて構成される。
【0037】
制御部31は、携帯電話機10全体を制御するとともに、バーコード読み取り機能を有し、キー操作に基づいて、カメラ33によるバーコード撮影、画像情報の表示、バーコード認識、認識した内容に基づく処理実行を行う。
【0038】
特に、制御部31は、自然画やバーコードなど被写体に応じて撮影手順を切り替える撮影手順切替手段と、バーコード撮影に切り替えられた場合、バーコードを認識(コード復号)を行うコード認識手段と、認識された結果をユーザに通知する通知手段と、認識された内容に基づいて所定の処理を行う情報処理手段としての機能を有する。
【0039】
また、バーコード撮影切り替え時、前記コード認識手段を起動するまではカメラ33から得られる高速なフレームレートにて表示部35に画像を表示し、起動後は前記コード認識手段に必要なフレームレートにて画像を表示する、フレームレート制御手段としての機能を有する。上記各機能の具体的内容については、図4のフローにより後述する。
【0040】
ROMは、制御部31が動作する際に必要なプログラム、通信制御データ等の固定データを記憶する読出し専用の半導体メモリである。RAMは、バーコード認識や通信に関するデータ、演算に使用するデータ及び演算結果等を一時的に記憶するいわゆるワーキングメモリとして使用される。携帯電話機10で処理されるプログラムは、このRAMに展開されて実行される。また、RAMの一部は、電気的に書換可能な不揮発性メモリであるEEPROM(electrically erasable programmable ROM)からなり、EEPROMに書き込むプログラムを変えることによって、特に携帯電話機10における各種の仕様を変更することができる。すなわち、最近ではシステム開発のデバッグごとにマスクROMを変更する時間損失を回避するため、プログラムROMを不揮発性メモリ、例えばEPROM,EEPROMとし、プログラム開発・修正時間の短縮の大幅な短縮を図っている。また、プログラムをダウンロードしてEEPROMのプログラム内容を書き換えるようにすれば機能のアップグレードや機能の変更を容易に行うことが可能になる。
【0041】
図3は、カメラ12のレンズ焦点深度切換機構を模式的に示す図であり、通常撮影時とバーコード読み取り時との焦点深度切換機構を示す。
【0042】
図3において、CCD等の固体撮像素子とその信号出力回路からなるカメラモジュール50と、内部にレンズ51を有し、カメラモジュール50上にネジ嵌合されるレンズユニット52と、レンズユニット52外周部に取り付けられ、該レンズユニット52を回動させるカメラレバー53を備えて構成される。
【0043】
レンズユニット52は、カメラモジュール50にネジで嵌合されており、カメラレバー53のツマミ53aを図3のA←→B方向に動かすと、レンズユニット52は、カメラモジュール50に対してX←→Y方向に移動する。これにより、レンズユニット52に装着されたレンズ51とカメラモジュール50との焦点距離が切換えられ、通常撮影とバーコード読み取り時の焦点深度が切換えられる。本実施の形態では、バーコード読み取り時に、制御部31からの駆動信号を受けたソレノイド等からなる駆動部(図示略)によりカメラレバー53がスライドし、自動で焦点深度が切換わる構成となっている。なお、カメラ本体10a(図1)にカメラレバー53のツマミ53aに連動するスライドツマミを設け、バーコード読み取り時等のマクロ撮影時にユーザが手動により切換える構成としてもよい。
【0044】
以下、上述のように構成されたカメラ付き携帯電話機の動作を説明する。
【0045】
図4は、携帯電話機10のバーコード読み取り動作を示すフローチャートであり、制御部31により実行される。図中、Sはフローの各ステップを示す。
【0046】
また、図5は、携帯電話機10のLCD表示部15のモード選択画面表示例を示す図である。
【0047】
待ち受け状態で、ユーザがモードキー18を押すと、図5(A)に示すモード選択画面が表示される。この状態でカーソルキー19により「バーコード」を選択しモードキー18又は電話機能キー17を押下して決定すると、バーコード読み取りモードに移行し、図5(B)に示すコード種別選択画面となる。
【0048】
ユーザの「バーコード」選択操作により図4に示すフローがスタートし、まず、ステップS1でバーコード読み取りモード設定を行う。このバーコード読み取りモード設定では、バーコード読み取りに必要な初期設定を行う。この初期設定では、バーコード読み取り処理以外の処理、例えば、カメラ撮影,スケジュール管理処理等の適切な終了とデータの保存、またバーコード読み取りに必要なプログラムの起動、図3に示したバーコード読み取り時の焦点深度切換機構の切換えを行う。
【0049】
ステップS2では、図5(B)に示すコード種別選択画面に対するユーザ指示を受けてコード種別を判別し、コード種別が1次元コードのときはステップS3に、2次元コードのときはステップS3に進む。
【0050】
バーコード読み取りモードが設定されると、コードの種類(1次元コード/2次元コード)をユーザに選択してもらう。前述したように、読み取るコードには、1次元コードや2次元コードなどの種類があり、コード種別ごとにコードが印刷されている大きさや、線の太さに違いがある。そこで、1次元コードや2次元コードのどちらかを読み込ませるかをユーザが指定し、その指定に応じてカメラの画像取り込み範囲及び、表示時の倍率も最適にする。
【0051】
1次元コードの場合は、ステップS3でカメラ及び表示の設定をあらかじめ決めてある値(設定値1)にする。
2次元コードの場合は、ステップS4で上記設定値1とは異なる値(設定値2)にする。
【0052】
図6は、1次元コード/2次元コードで画像取り込み範囲及び、表示時の倍率が異なることを説明する図である。
【0053】
図6に示すように、1次元コードであれば、カメラの撮影範囲を縦640×横480とし、表示は、このカメラ画像を等倍となるように設定する。一方、2次元コードであれば、カメラの撮影範囲を縦320×横240とし、表示は、このカメラ画像を縦横2倍となるように設定する。すなわち、1次元コードの場合は、情報量の多い1次元方向に長いバーコードがカメラの横方向の撮影範囲に収まるようにし、2次元コードの場合は、カメラの撮影範囲(カメラ取り込み範囲)を縦横1/2にした上で、このカメラ画像を縦横2倍で表示する。これ以外に、1次元コードと2次元コードで共通のカメラ設定として、エッジ成分の強調、コントラストの強調、などの設定がある。
【0054】
図4のフローに戻って、ステップS3のカメラ/表示設定1、あるいはステップS4のカメラ/表示設定2が行われると、ステップS5でイベント待ちの状態になり、各イベントにより処理を切り替える。
【0055】
ライトON/OFF操作イベントは、ユーザがライトON/OFFボタン21を押したときに発生し、ステップS5でこのイベントが読み込まれたときは、ステップS6に進み、設定に従いライト13をON/OFFする。
【0056】
読み取り開始操作イベントは、ユーザが読み取り開始ボタン(例えば電話機能キー17)を押したときに発生し、ステップS5でこのイベントが読み込まれたときは、ステップS7に進み、読み取り開始を示すフラグを設定する。また、図10で後述するように、カメラ12の位置を示すマークをLCD表示部15に表示する構成の場合には、読み取り開始後は、表示しないようにしてもよい。
【0057】
フレーム取り込みイベントは、カメラ12が1フレーム分画像を読み取り、該読み取りが終わった時に発生する。ステップS5でこのイベントが読み込まれたときは、ステップS8に進み、設定に従い読み込んだ画像をLCD表示部15に表示する。この時、カメラ12の位置を示すマーク71(図10参照)をLCD表示部15に同時に表示してもよい。
【0058】
ステップS9では、読み取り処理を開始するか否かを判別する。読み取り開始フラグが設定されていれば(ステップS9のYES)、ステップS10でコードの読み取り処理を開始する。読み取りが失敗のときは、ステップS5のイベント読み込みに戻る。
【0059】
ステップS11でコード読み取りが成功したか否かを判別し、コード読み取りが成功したときは(ステップS11のYES)、ステップS12で読み取り結果をLCD表示部15に表示し、ステップS13で確認音をスピーカ14で再生して本フローによるコード読み取りが完了する。読み取り完了を知らせる確認音の再生によりユーザの注意が喚起され、ユーザはバーコード読み取りが完了したことを知る。
【0060】
読み取り開始の前では、図4の破線で囲んだループを繰り返す。このとき、コード読み取り処理が行われていないので、高いフレームレートで滑らかな表示を行うことができる。
【0061】
図7は、上記バーコード読み取り処理による画面表示例を示す図であり、図7(A)はその読み取り前の撮影画面を、図7(B)はその読み取り中の撮影画面を、図7(C)はその読み取り後の認識結果の画面をそれぞれ示す。
【0062】
認識対象パターンが、2次元コードである例で説明するが、認識する対象画像は、1次元/2次元バーコードのようなシンボルパターンの他、文字パターンでもよい。
【0063】
読み取り開始の前では、高いフレームレートで滑らかな表示を行うことができるので、例えば、図7(A)に示すように、ユーザはコードが画面(撮影領域)からはみ出ている状態を画面で見ながら、コードが画面内に収まるようにカメラ12(携帯電話機の本体10a)を簡単に操作することができる。すなわち、読み取り前の撮影画面には、表示に際して遅延が非常に小さいため、ユーザは画面を見ながら自然な感覚でコードを画面内に収めるように操作することができる。そして、図7(B)に示すように、ユーザはコードが画面に収まったところで、読み取り開始操作をし、その後、読み取り結果が表示される(図7(C)参照)。
【0064】
図8は、上記バーコード読み取り処理による画面表示例を示す図であり、図8(A)はその読み取り前の撮影画面を、図8(B)はその読み取り中の撮影画面を、図8(C)はその読み取り後の認識結果の画面をそれぞれ示す。
【0065】
また、図8(A)に示すように、影などにより画像の一部が暗くなっていたりした場合は、コード読み取りが困難になる。コード読み取りは、カメラ12(携帯電話機の本体10a)を、読み取りコードに接写して撮影するため、影が生じやすい。
【0066】
本実施の形態では、ユーザは、画面を確認し、現在の入力画像の状況を確認できるので、図8(A)に示すようなコードに影がかかっている場合には、ライトON/OFFボタン21を操作してライト13をONにすれば、図8(B)に示すように影による影響がなくなり読み取りが成功する(図8(C)参照)。
【0067】
図9は、他の実施の形態の携帯端末装置の外観を示す図であり、図9(A)はその正面図、図9(B)はその背面図である。図1と同一構成部分には同一符号を付している。
図9において、カメラ付き携帯電話機60(携帯端末装置)は、本体10a背面のカメラ12の真後ろ(カメラ12開口の正反対の場所)に、カメラ位置を示すマーク61をシール/印刷等により付加している。
【0068】
ユーザがLCD表示部15の目視状態ではカメラ位置が見えないため、被写体までカメラ12を移動させづらい。特に、バーコード読み取りのように接写の場合には、顕著であった。
【0069】
本実施の形態では、カメラ12開口の真後ろにマーク61を付けているので、ユーザにとっては、このマーク61が被写体である読み取り対象のコードにカメラ12を合わせるときの目安となり操作が容易になる。
【0070】
また、カメラ12の位置によっては、図10に示すように上記マークをLCD表示部15(マーカー表示手段)に表示させてもよい。
【0071】
図10において、カメラ付き携帯電話機70(携帯端末装置)は、本体10a背面のカメラ12の真後ろ(カメラ12開口の正反対の場所)のLCD表示部15上に、カメラ位置を示すマーク71を表示する。
【0072】
LCD表示部15上に表示する場合は、シャッターと同時に消すことが好ましい。また、本構成の場合には、前記図4のステップS7の読み取り開始操作イベントにおいて、読み取り開始後は、表示しないようにしてもよい。また、前記図4のステップS8で読み込んだ画像をLCD表示部15に表示する場合、カメラ12の位置を示すマーク71を同時に表示してもよい。
【0073】
このように、カメラ12位置の対応する箇所にマーク71を付けているので、被写体である読み取り対象のコードにカメラ12を合わせるときの目安となり操作が容易になる。
また、別の実施の形態として、図11に例を示す。図11は、バーコード読み取り動作の別の実施例を示すフローチャートである。図4と同一処理部分には同一符号を付している。
【0074】
図11においては、図4におけるステップS7及びステップS9を省略したものとなっている。この場合、ステップS5において、フレーム取り込みイベントが読み込まれた後に、ステップS8にて画像を表示した後、ただちにステップS10へ進み、コード読み取り処理を実行する。
【0075】
この実施例では、コード読み取りを開始する前に高いフレームレートで画像を表示することはできないが、読み取り開始ボタン(例えば電話機能キー17)を押すなどの、ユーザの操作を省略することができ、操作数を簡素化できるというメリットがある。
【0076】
また、別の実施の形態としては、カメラから取り込んだ画像を記憶メモリに記憶し、画像を表示したあと、一旦停止し、ユーザにこの画像でコード読み取り処理を開始するか否かを選択できるようにしてもよい。ユーザがコード読み取り開始を選択すれば、コード読み取りを実施し、そうでなければ、記憶してある画像を破棄し、新たに画像をカメラから取り込みし直す。
【0077】
この実施の形態では、処理能力が著しく低い携帯端末であり、コード読み取り処理に1秒以上かかるような場合に有効である。ユーザは取り込まれた画像をじっくり見てからコード読み取り処理を開始するかどうかを判断することにより、明確に読み取りが失敗する画像(手ぶれなどで画像がボケているなど)では、コード読み取りを実行せず、画像を撮り直す。これにより、時間のかかるコード読み取り処理の実行回数を最小限にとどめることができるからである。
【0078】
以上のように、本実施の形態のカメラ付き携帯電話機10は、対象となる画像情報を入力するカメラ12、バーコード読み取り時にON/OFFボタン21操作により発光する小型のライト13、情報を表示するLCD表示部15、装置全体を制御するCPUからなる制御部31を備え、制御部31は、自然画やバーコードなど被写体に応じて撮影手順を切り替え、バーコード撮影に切り替えられた場合、バーコードを認識を行うとともに、認識された結果をユーザに通知し、認識された内容に基づいて所定の処理を実行するので、比較的低い解像度である、カメラ付き携帯電話機に用いられるカメラによるバーコード読み取りにおいて、バーコード撮影に適したバーコード読み取りモードに自動的に移行し、簡単な操作で、正確にコードを読み取ることができる。
【0079】
また、バーコード撮影切り替え時、コード認識処理を起動するまではカメラ33から得られる高速なフレームレートにて表示部35に画像を表示し、起動後はコード認識処理に必要なフレームレートにて画像を表示するので、読み取り動作は、連続して取り込まれた画像ごとに連続的に動作し、滑らかな動画をLCD表示部15に表示することができ、コードを適切な位置に合わせることができる。以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【0080】
なお、上記実施の形態では、携帯電話機に適用した例であるが、PDA等の携帯情報端末、パソコン等の情報処理装置など、カメラ(内蔵/外付け)を備えた装置であればどのような装置にも適用可能である。また、読み取り対象となるコードは、どのようなコードであってもよい。
【0081】
また、上記実施の形態では、携帯端末装置という名称を用いたが、これは説明の便宜上であり、通信端末装置、情報読取装置や情報読取方法等でもよいことは勿論である。
【0082】
また、上記実施の形態では、通知手段として表示部15への文字あるいはアイコンによるメッセージ表示、スピーカ14による読み取り終了音による通知の例について説明したが、通知方法は何でもよく、例えば音声であってもよい。音声で通知する場合は、携帯電話機に、音声データ生成チップ,D/Aコンバータ,アンプ及びスピーカ等からなる音声出力部を設け、音声データ生成チップを用いて読取完了/読取失敗にある旨のメッセージ内容の音声合成を行いスピーカにより音声出力する。また、表示部15にライト13を点灯したほうが良い旨のメッセージやバーコード種別を変更すべき旨のメッセージを表示したり、表示に加えて音声あるいは音響にて報知することも可能である。
【0083】
また、上記携帯端末装置を構成する各回路部、例えば記憶部や表示部の種類、数及び接続方法などは前述した実施の形態に限られない。
【0084】
また、以上説明した携帯端末装置は、これら携帯端末装置を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、図2に示されている制御部31のメインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてCD−ROMドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なCD−ROM等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムは制御部31のCPUがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。
【0085】
ここで、上記プログラムメディアは、携帯端末装置又は情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやCD−ROM、CD−R/RW、MO、MD、DVD−ROM、DVD−RAM、DVD−RW等の光ディスクのディスク系、PCカード、コンパクトフラッシュカード(登録商標)、スマートメディア(登録商標)、ICカード、SDカード(登録商標)、メモリースティック(登録商標)等のカード系、あるいはマスクROM、EPROM、EEPROM、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【0086】
さらに、インターネット接続プロバイダ又はサーバ端末400等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【図面の簡単な説明】
【0087】
【図1】本発明の実施の形態の携帯端末装置の外観を示す図である。
【図2】本実施の形態の携帯端末装置のバーコード読み取り装置をカメラ付き携帯電話機に組込んだ場合のブロック図である。
【図3】本実施の形態の携帯端末装置のカメラのレンズ焦点深度切換機構を模式的に示す図である。
【図4】本実施の形態の携帯端末装置のバーコード読み取り動作を示すフローチャートである。
【図5】本実施の形態の携帯端末装置のLCD表示部のモード選択画面表示例を示す図である。
【図6】本実施の形態の携帯端末装置の1次元コード/2次元コードで画像取り込み範囲及び、表示時の倍率が異なることを説明する図である。
【図7】本実施の形態の携帯端末装置のバーコード読み取り処理による画面表示例を示す図である。
【図8】本実施の形態の携帯端末装置のバーコード読み取り処理による画面表示例を示す図である。
【図9】他の実施の形態の携帯端末装置の外観を示す図である。
【図10】他の実施の形態の携帯端末装置の外観を示す図である。
【図11】他の実施の形態の携帯端末装置のバーコード読み取り動作を示すフローチャートである。
【符号の説明】
【0088】
10 カメラ付き携帯電話機(携帯端末装置)
10a 携帯電話機本体
11,37 アンテナ
12,33 カメラ(撮像手段)
13,34 ライト(照明手段)
14,39 スピーカ(通知手段の一部)
15,35 LCD表示部(表示手段,通知手段の一部)
16 電源キー
17 電話機能キー
18 モードキー
19 カーソルキー
20 シャッターキー
21 ライトON/OFFボタン(照明切替手段)
22 ダイヤルキー
23,40 マイク
31 制御部(撮影手順切替手段,コード認識手段,情報処理手段,フレームレート制御手段,タイマ設定手段)
32 記憶メモリ
36 キー入力部
50 カメラモジュール
51 レンズ
52 レンズユニット
53 カメラレバー
【技術分野】
【0001】
本発明は、デジタルカメラやカメラ付き携帯電話等の携帯端末装置に関する。
【背景技術】
【0002】
液晶パネルなどの画面表示装置や、キー入力などによる入力装置を有している昨今の携帯電話は、いわゆる電波の送受信を行う電話機としての機能のほかに、メールをやり取りできる機能や、ゲームを楽しめる機能などを備えるなど、多機能化の傾向が進んでいる。
【0003】
近年、小型で、低消費電力のイメージセンサが開発されたことに伴い、携帯電話機などの携帯型装置にカメラを内蔵することが可能となり、内蔵カメラにより撮影した画像を、電子メールで即座に送信できることが可能となっている。これらの内蔵カメラは、小型であることが優先され、一般的なデジタルカメラよりも解像度が低い。
【0004】
また、近年の携帯電話機は、インターネットに接続する機能を有している。インターネットに接続するには、URL(Uniform Resource Locator)をキーから入力する必要があり、携帯電話機のキーでは、長いURLを打ち込むために手間がかかっていた。そこで、URLを一意の番号で管理し、その番号に対応するバーコードを印刷したものをバーコードリーダで読み込むことにより、URLの入力の手間を省き、ユーザの使い勝手をよくする試みがなされている。このような装置では、別途バーコードリーダを携帯電話機に接続する必要がある。
【0005】
そこで、カメラを内蔵した携帯装置では、その内蔵カメラにより入力したバーコード画像に対してバーコードを認識できれば、別途バーコードリーダを用意しなくても、このようなサービスを利用することができる。
【0006】
例えば、特開2002−111909号公報には、写真モードとQRコード(2次元コード)読取モードを選択設定でき、設定モードに応じた処理がなされる情報提供サービスが開示されている。また、特開平9−259215号公報には、1次元コードはラインCCDで処理し、2次元コードはエリアCCDで処理して読取り精度を高めるコードリーダが記載されている。但し、バーコード種類に応じたカメラ画像取り込み領域の設定については記載はない。
【0007】
また、特開2001−197186号公報では、電話番号を2次元バーコードに置き換え、電話機に取付けたCCDスキャナーでこの2次元バーコードを読み取ることが記載されている。
【0008】
ところで、現在の内蔵カメラの解像度は、バーコードリーダに用いられるイメージセンサよりも解像度が低く、高精度でバーコードを認識することが困難であった。
また、バーコードの認識を困難にする原因として、入力画像中に撮影されるバーの幅が一定ではないということがある。これは、バーコードとカメラの距離関係は、入力するたびに変わってくるためである。接写するタイプのスキャナでは、常にバーコードを一定の大きさで入力できるので、バーの幅をあらかじめ決めておくことができるが、手で保持したカメラでバーコードを撮影する場合は、一定のバー幅をあらかじめ決めておくことはできない。
【0009】
バーの幅をイメージスキャナにより入力されたバーコード画像から決定し、バーコードを認識する手法が提案されている。例えば、特開2002−176509号公報では、カメラで取り込まれた画像に含まれるバーコードを認識し、取り込まれた画像が解読可能であればスピーカ音を発生し、バーコードデータを保存すると共に画像化して表示部に表示する装置が開示されている。
【0010】
【特許文献1】特開2002−111909号公報
【特許文献2】特開平9−259215号公報
【特許文献3】特開2001−197186号公報
【特許文献4】特開2002−176509号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながらこのような従来のカメラ付き携帯端末にあっては、以下のような問題点があった。
【0012】
例えば、1次元コードや2次元コードと読み取り対象となるコードの物理的な大きさが異なることから、比較的低い解像度である、カメラ付き携帯電話に用いられるカメラでは、コードの大きさにより適切な解像度を選ぶ必要があるという問題があった。
また、通常、人物や、風景を撮影するように設定されているカメラでは、バーコードのようなマクロモード撮影は想定されておらず、バーコード画像を読み取りに適したように撮影することができないという問題があった。
【0013】
さらに、カメラの画角が比較的狭いため、読み取り対象のコードをカメラの撮影範囲内に収めるのに困難さが伴うという問題があった。またこの場合、接写をする必要があり、このとき、装置本体等による影の影響を受けやすく、安定した画像が得られないという問題があった。
【0014】
本発明は、このような課題に鑑みてなされたものであって、簡単な操作で、正確にコードを読み取ることのできる携帯端末装置並びに情報読取プログラム及びそのプログラムを記録した記録媒体を提供することを目的とする。
また、本発明は、被写体にカメラ開口を容易に合わせることのできる携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明の携帯端末装置は、画像を撮像する撮像手段と、撮影対象をバーコードに切り替える撮影手順切替手段と、前記撮像手段により得られた画像の表示を行う表示手段と、前記撮影手順切替手段によりバーコード撮影に切り替えた場合、撮像された画像のバーコードを認識するコード認識手段とを備えることを特徴としている。
【0016】
前記撮影手順切替手段は、バーコード種別に応じて前記撮像手段における画像取り込み領域の変更を行うことがより好ましい。
【0017】
前記撮影手順切替手段は、階調特性、コントラスト、明るさ、ホワイトバランス、露出、焦点深度、輪郭強調、又は解像度のうち少なくともいずれか1つ以上を、自然画とバーコード画像とで切り替えることがより好ましい。
【0018】
前記撮影手順切替手段は、バーコード撮影切り替え時、前記コード認識手段を起動するまでは前記撮像手段から得られる高速なフレームレートにより前記表示手段に画像を表示し、前記コード認識手段を起動後は前記コード認識手段に必要なフレームレートにより画像を表示するフレームレート制御手段を備えることがより好ましい。
【0019】
さらに、被写体に対し照明を行う照明手段を備えることがより好ましく、また、前記照明手段をオン/オフする照明切替手段を備えるものであってもよい。
【0020】
さらに、前記コード認識手段により認識された結果を通知する通知手段を備えることが好ましい。
また、前記通知手段は、音、音声、又は前記表示手段へのメッセージ表示により認識結果の通知を行うものであってもよい。
【0021】
さらに、設定時間を計時するタイマ設定手段を備え、前記通知手段は、前記タイマ設定手段により設定された時間内にバーコードを認識できなかったとき、認識失敗を通知するものであってもよい。
【0022】
前記撮像手段は、エリア型固体撮像素子により動画/静止画撮像を撮像するものであってもよい。
【発明の効果】
【0023】
本発明によれば、カメラ付き携帯電話機などの携帯端末装置において、簡単な操作で、正確にコードを読み取ることができる。
また、被写体にカメラ開口を容易に合わせることができ、コード読み取りの操作性や使い勝手を向上させることができる携帯端末装置を実現することができる。
【発明を実施するための最良の形態】
【0024】
以下、添付図面を参照しながら本発明の好適な携帯端末装置の実施の形態について詳細に説明する。
【0025】
まず、本発明の基本的な考え方について説明する。本発明に係る携帯端末装置をカメラ付き携帯電話機に適用した場合を例に採る。
(1)本カメラ付き携帯電話機は、ユーザの操作によりON/OFFすることができる小型のライトを内蔵する。2次元バーコードなどのコードを読み取らせる場合、ユーザ操作によりON/OFFする。ユーザの操作によりライトをON/OFFすることで、レンズ特性による周辺光量が減少しても、端末本体により読み取りコードに影が重なったとしても、安定してコードを読み取ることができる。コード読み取り時に、常にライトをONさせる態様では、鏡面反射により悪影響が出る場合があるので、カメラで入力中の画像をLCD表示部で確認しながら、ライトON/OFFを切り替える。
【0026】
(2)本カメラ付き携帯電話機は、コードを読み取るときに、撮影中のコードの画像をリアルタイムにLCD表示部に表示させる。撮影中のコードの画像をリアルタイムに表示することで、ユーザは、バーコードが正しくカメラで撮影されているかを確認することができる。これにより、コードが画面からはみ出してしまったり、大きく歪んだ画像になってしまったりすることを防ぐことができ、操作性が向上する。また、読み取り後は、読取結果を画面にすぐに表示させることにより、読み取りの結果を瞬時に知ることができる。また、読み取りが完了したときに読み取り終了音「ピンポンとか、チリリンとか」を鳴らすことで、ユーザに知らせることもできる。
【0027】
(3)読み取り動作は、連続して取り込まれた画像ごとに連続的に動作し、読み取りが完了するまで続く。この時、読み取り処理にかかる時間が大きいので、画像の取り込みはせいぜい2FPS(frame per second)程度になり、表示も2FPS程度である。これだと、LCD表示部を見ながらコードを適切な位置に合わせることが困難になる。そこで、本カメラ付き携帯電話機では、ユーザの指示があるまでは、コードの読み取り処理は実行せず、滑らかな動画をLCD表示部に表示させる。これにより、ユーザはコードを適切な位置に合わせることができる。コードが適切な位置に合わさったら、ボタンを操作し、読み取りの処理を実行させる。このとき、表示が2FPS程度に落ちてしまうが、すでにコードは適切な位置において撮影されているので、読み取りがすぐに終了でき問題がない。
【0028】
(4)また、通常のカメラ付き携帯電話では、人物や風景を撮影することを目的に、色合いなどは、あくまでも自然になるように調整されているので、コード読み取りの用途には、不適である。そこで、本カメラ付き携帯電話機は、コード読み取り時には、通常のモードとは別に調整されたコード読み取り用のモードを用意し、これを使用することとする。例えば、コードの明と暗のコントラストが強調されるように、ホワイトバランスや、露出を調整したり、輪郭(エッジ部)をより強調するように補正係数を調整したり、解像度を調整した特別なバーコード読み取り用モードを用意する。ユーザが、コード読み取りを指定したときには、自動的に上記バーコード読み取り用モードに切り替える。
【0029】
(5)読み取るコードには、1次元コードや2次元コードなどの種類がある。これらコード種別ごとにコードが印刷されている大きさや、線の太さに違いがある。そこで、本カメラ付き携帯電話機は、1次元コードや2次元コードのどちらかを読み込ませるかを指定し、その指定に応じ、カメラの画像取り込み範囲を切り替える。また、表示時の倍率も最適にする。
【0030】
図1は、上記基本的な考え方に基づく本発明の実施の形態の携帯端末装置の外観を示す図であり、図1(A)はその正面図、図1(B)はその背面図である。本実施の形態の携帯端末装置は、コード読取装置をカメラ付き携帯電話機/PHS(Personal Handy−Phone System)の携帯通信端末に適用した例である。
【0031】
図1において、10は、カメラ付き携帯電話機(携帯端末装置)であり、携帯電話機本体10aは、無線通信を行うためのアンテナ11、本体10a背面に内蔵され対象となる画像情報を入力するカメラ12(撮像手段)、本体10a背面に内蔵され暗い場所やバーコード読み取り時にユーザ操作等により発光する小型のライト13(照明手段)、受話を行うための拡声用スピーカ14(通知手段の一部)、操作のためのガイダンスや受信情報,画像やテキスト情報などの情報を表示するLCD表示部15(表示手段,通知手段の一部)、電源のON/OFFを行う電源キー16、着信,発信,電話機能切り替え,動作決定等を行う電話機能キー17、各種機能を切り替えるためのモードキー18、上下左右の方向に選択対象を移動させるカーソルキー19、カメラ12の入力を決定するシャッターボタンであるシャッターキー20、ライト13をON/OFFするライトON/OFFボタン21(照明切替手段)、電話番号の入力等ダイヤルするためのメンブレンキー(Membrane key)からなるダイヤルキー22、及び音声を入力するためのマイク23を備えて構成される。
【0032】
カメラ12は、携帯電話機10に内蔵された例えば34万画素のCCD(Charge Coupled Device)(エリア型固体撮像素子)カメラである。カメラ12は、単焦点レンズを有し、通常撮影時とバーコード読み取り時とで焦点深度が切換えられる。詳細な構成については、図3により後述する。
【0033】
LCD表示部15は、ドットマトリクス構成のLCDディスプレイ,バックライトであるPDP,EL及び各ドライバ等で構成される。LCD表示部15には、撮影時、カメラ12から入力される画像情報が表示され、また、コード認識が完了した場合、文字あるいはアイコンなどのメッセージにより認識結果が表示される。また、非撮影時にはダイヤルキー22から入力された番号や、非電話機能のための各種画面、電話機能の動作状態を示すアイコン等が表示される。さらに、待機時には時刻が表示され、個人情報やシステムの状態などを表示する。
【0034】
電源キー16、電話機能キー17、モードキー18、カーソルキー19、シャッターキー20、ライトON/OFFボタン21及びダイヤルキー22は、いずれも手動で操作を行い、操作された内容を制御部31(図2)に情報として伝達する。本実施の形態では、シャッターキー20やライトON/OFFボタン21を独立のキーとしているが、これらのキーの機能を他のキー(例えばモードキー18)に割り当てる構成でもよい。
【0035】
図2は、バーコード読み取り装置をカメラ付き携帯電話機に組込んだ場合のブロック図である。
【0036】
図2において、携帯電話機10は、PDA(Personal Digital Assistants)等の携帯情報端末やPHS/携帯電話機であり、本装置全体を制御するCPUからなる制御部31(撮影手順切替手段,コード認識手段,情報処理手段,フレームレート制御手段,タイマ設定手段)、制御プログラムや固定データ等を記憶するROM,CPUの作業用記憶領域であるRAM等の半導体メモリ及びハードディスクなどからなり受信又は入力された文字情報、画像情報、音声信号を記憶する記憶メモリ32、対象となる画像情報を入力するカメラ33(撮像手段)、バーコード読み取り時等にユーザ操作により発光するライト34(照明手段)、文字情報や画像情報をユーザに表示する表示部35(表示手段,通知手段の一部)、ユーザからのキー操作情報を入力生成するキー入力部36、電波を送受信するアンテナ37、無線通信の送受信を制御する無線部38、音声信号を出力するスピーカ39(通知手段の一部)、ユーザから音声信号を入力するマイク40を備えて構成される。
【0037】
制御部31は、携帯電話機10全体を制御するとともに、バーコード読み取り機能を有し、キー操作に基づいて、カメラ33によるバーコード撮影、画像情報の表示、バーコード認識、認識した内容に基づく処理実行を行う。
【0038】
特に、制御部31は、自然画やバーコードなど被写体に応じて撮影手順を切り替える撮影手順切替手段と、バーコード撮影に切り替えられた場合、バーコードを認識(コード復号)を行うコード認識手段と、認識された結果をユーザに通知する通知手段と、認識された内容に基づいて所定の処理を行う情報処理手段としての機能を有する。
【0039】
また、バーコード撮影切り替え時、前記コード認識手段を起動するまではカメラ33から得られる高速なフレームレートにて表示部35に画像を表示し、起動後は前記コード認識手段に必要なフレームレートにて画像を表示する、フレームレート制御手段としての機能を有する。上記各機能の具体的内容については、図4のフローにより後述する。
【0040】
ROMは、制御部31が動作する際に必要なプログラム、通信制御データ等の固定データを記憶する読出し専用の半導体メモリである。RAMは、バーコード認識や通信に関するデータ、演算に使用するデータ及び演算結果等を一時的に記憶するいわゆるワーキングメモリとして使用される。携帯電話機10で処理されるプログラムは、このRAMに展開されて実行される。また、RAMの一部は、電気的に書換可能な不揮発性メモリであるEEPROM(electrically erasable programmable ROM)からなり、EEPROMに書き込むプログラムを変えることによって、特に携帯電話機10における各種の仕様を変更することができる。すなわち、最近ではシステム開発のデバッグごとにマスクROMを変更する時間損失を回避するため、プログラムROMを不揮発性メモリ、例えばEPROM,EEPROMとし、プログラム開発・修正時間の短縮の大幅な短縮を図っている。また、プログラムをダウンロードしてEEPROMのプログラム内容を書き換えるようにすれば機能のアップグレードや機能の変更を容易に行うことが可能になる。
【0041】
図3は、カメラ12のレンズ焦点深度切換機構を模式的に示す図であり、通常撮影時とバーコード読み取り時との焦点深度切換機構を示す。
【0042】
図3において、CCD等の固体撮像素子とその信号出力回路からなるカメラモジュール50と、内部にレンズ51を有し、カメラモジュール50上にネジ嵌合されるレンズユニット52と、レンズユニット52外周部に取り付けられ、該レンズユニット52を回動させるカメラレバー53を備えて構成される。
【0043】
レンズユニット52は、カメラモジュール50にネジで嵌合されており、カメラレバー53のツマミ53aを図3のA←→B方向に動かすと、レンズユニット52は、カメラモジュール50に対してX←→Y方向に移動する。これにより、レンズユニット52に装着されたレンズ51とカメラモジュール50との焦点距離が切換えられ、通常撮影とバーコード読み取り時の焦点深度が切換えられる。本実施の形態では、バーコード読み取り時に、制御部31からの駆動信号を受けたソレノイド等からなる駆動部(図示略)によりカメラレバー53がスライドし、自動で焦点深度が切換わる構成となっている。なお、カメラ本体10a(図1)にカメラレバー53のツマミ53aに連動するスライドツマミを設け、バーコード読み取り時等のマクロ撮影時にユーザが手動により切換える構成としてもよい。
【0044】
以下、上述のように構成されたカメラ付き携帯電話機の動作を説明する。
【0045】
図4は、携帯電話機10のバーコード読み取り動作を示すフローチャートであり、制御部31により実行される。図中、Sはフローの各ステップを示す。
【0046】
また、図5は、携帯電話機10のLCD表示部15のモード選択画面表示例を示す図である。
【0047】
待ち受け状態で、ユーザがモードキー18を押すと、図5(A)に示すモード選択画面が表示される。この状態でカーソルキー19により「バーコード」を選択しモードキー18又は電話機能キー17を押下して決定すると、バーコード読み取りモードに移行し、図5(B)に示すコード種別選択画面となる。
【0048】
ユーザの「バーコード」選択操作により図4に示すフローがスタートし、まず、ステップS1でバーコード読み取りモード設定を行う。このバーコード読み取りモード設定では、バーコード読み取りに必要な初期設定を行う。この初期設定では、バーコード読み取り処理以外の処理、例えば、カメラ撮影,スケジュール管理処理等の適切な終了とデータの保存、またバーコード読み取りに必要なプログラムの起動、図3に示したバーコード読み取り時の焦点深度切換機構の切換えを行う。
【0049】
ステップS2では、図5(B)に示すコード種別選択画面に対するユーザ指示を受けてコード種別を判別し、コード種別が1次元コードのときはステップS3に、2次元コードのときはステップS3に進む。
【0050】
バーコード読み取りモードが設定されると、コードの種類(1次元コード/2次元コード)をユーザに選択してもらう。前述したように、読み取るコードには、1次元コードや2次元コードなどの種類があり、コード種別ごとにコードが印刷されている大きさや、線の太さに違いがある。そこで、1次元コードや2次元コードのどちらかを読み込ませるかをユーザが指定し、その指定に応じてカメラの画像取り込み範囲及び、表示時の倍率も最適にする。
【0051】
1次元コードの場合は、ステップS3でカメラ及び表示の設定をあらかじめ決めてある値(設定値1)にする。
2次元コードの場合は、ステップS4で上記設定値1とは異なる値(設定値2)にする。
【0052】
図6は、1次元コード/2次元コードで画像取り込み範囲及び、表示時の倍率が異なることを説明する図である。
【0053】
図6に示すように、1次元コードであれば、カメラの撮影範囲を縦640×横480とし、表示は、このカメラ画像を等倍となるように設定する。一方、2次元コードであれば、カメラの撮影範囲を縦320×横240とし、表示は、このカメラ画像を縦横2倍となるように設定する。すなわち、1次元コードの場合は、情報量の多い1次元方向に長いバーコードがカメラの横方向の撮影範囲に収まるようにし、2次元コードの場合は、カメラの撮影範囲(カメラ取り込み範囲)を縦横1/2にした上で、このカメラ画像を縦横2倍で表示する。これ以外に、1次元コードと2次元コードで共通のカメラ設定として、エッジ成分の強調、コントラストの強調、などの設定がある。
【0054】
図4のフローに戻って、ステップS3のカメラ/表示設定1、あるいはステップS4のカメラ/表示設定2が行われると、ステップS5でイベント待ちの状態になり、各イベントにより処理を切り替える。
【0055】
ライトON/OFF操作イベントは、ユーザがライトON/OFFボタン21を押したときに発生し、ステップS5でこのイベントが読み込まれたときは、ステップS6に進み、設定に従いライト13をON/OFFする。
【0056】
読み取り開始操作イベントは、ユーザが読み取り開始ボタン(例えば電話機能キー17)を押したときに発生し、ステップS5でこのイベントが読み込まれたときは、ステップS7に進み、読み取り開始を示すフラグを設定する。また、図10で後述するように、カメラ12の位置を示すマークをLCD表示部15に表示する構成の場合には、読み取り開始後は、表示しないようにしてもよい。
【0057】
フレーム取り込みイベントは、カメラ12が1フレーム分画像を読み取り、該読み取りが終わった時に発生する。ステップS5でこのイベントが読み込まれたときは、ステップS8に進み、設定に従い読み込んだ画像をLCD表示部15に表示する。この時、カメラ12の位置を示すマーク71(図10参照)をLCD表示部15に同時に表示してもよい。
【0058】
ステップS9では、読み取り処理を開始するか否かを判別する。読み取り開始フラグが設定されていれば(ステップS9のYES)、ステップS10でコードの読み取り処理を開始する。読み取りが失敗のときは、ステップS5のイベント読み込みに戻る。
【0059】
ステップS11でコード読み取りが成功したか否かを判別し、コード読み取りが成功したときは(ステップS11のYES)、ステップS12で読み取り結果をLCD表示部15に表示し、ステップS13で確認音をスピーカ14で再生して本フローによるコード読み取りが完了する。読み取り完了を知らせる確認音の再生によりユーザの注意が喚起され、ユーザはバーコード読み取りが完了したことを知る。
【0060】
読み取り開始の前では、図4の破線で囲んだループを繰り返す。このとき、コード読み取り処理が行われていないので、高いフレームレートで滑らかな表示を行うことができる。
【0061】
図7は、上記バーコード読み取り処理による画面表示例を示す図であり、図7(A)はその読み取り前の撮影画面を、図7(B)はその読み取り中の撮影画面を、図7(C)はその読み取り後の認識結果の画面をそれぞれ示す。
【0062】
認識対象パターンが、2次元コードである例で説明するが、認識する対象画像は、1次元/2次元バーコードのようなシンボルパターンの他、文字パターンでもよい。
【0063】
読み取り開始の前では、高いフレームレートで滑らかな表示を行うことができるので、例えば、図7(A)に示すように、ユーザはコードが画面(撮影領域)からはみ出ている状態を画面で見ながら、コードが画面内に収まるようにカメラ12(携帯電話機の本体10a)を簡単に操作することができる。すなわち、読み取り前の撮影画面には、表示に際して遅延が非常に小さいため、ユーザは画面を見ながら自然な感覚でコードを画面内に収めるように操作することができる。そして、図7(B)に示すように、ユーザはコードが画面に収まったところで、読み取り開始操作をし、その後、読み取り結果が表示される(図7(C)参照)。
【0064】
図8は、上記バーコード読み取り処理による画面表示例を示す図であり、図8(A)はその読み取り前の撮影画面を、図8(B)はその読み取り中の撮影画面を、図8(C)はその読み取り後の認識結果の画面をそれぞれ示す。
【0065】
また、図8(A)に示すように、影などにより画像の一部が暗くなっていたりした場合は、コード読み取りが困難になる。コード読み取りは、カメラ12(携帯電話機の本体10a)を、読み取りコードに接写して撮影するため、影が生じやすい。
【0066】
本実施の形態では、ユーザは、画面を確認し、現在の入力画像の状況を確認できるので、図8(A)に示すようなコードに影がかかっている場合には、ライトON/OFFボタン21を操作してライト13をONにすれば、図8(B)に示すように影による影響がなくなり読み取りが成功する(図8(C)参照)。
【0067】
図9は、他の実施の形態の携帯端末装置の外観を示す図であり、図9(A)はその正面図、図9(B)はその背面図である。図1と同一構成部分には同一符号を付している。
図9において、カメラ付き携帯電話機60(携帯端末装置)は、本体10a背面のカメラ12の真後ろ(カメラ12開口の正反対の場所)に、カメラ位置を示すマーク61をシール/印刷等により付加している。
【0068】
ユーザがLCD表示部15の目視状態ではカメラ位置が見えないため、被写体までカメラ12を移動させづらい。特に、バーコード読み取りのように接写の場合には、顕著であった。
【0069】
本実施の形態では、カメラ12開口の真後ろにマーク61を付けているので、ユーザにとっては、このマーク61が被写体である読み取り対象のコードにカメラ12を合わせるときの目安となり操作が容易になる。
【0070】
また、カメラ12の位置によっては、図10に示すように上記マークをLCD表示部15(マーカー表示手段)に表示させてもよい。
【0071】
図10において、カメラ付き携帯電話機70(携帯端末装置)は、本体10a背面のカメラ12の真後ろ(カメラ12開口の正反対の場所)のLCD表示部15上に、カメラ位置を示すマーク71を表示する。
【0072】
LCD表示部15上に表示する場合は、シャッターと同時に消すことが好ましい。また、本構成の場合には、前記図4のステップS7の読み取り開始操作イベントにおいて、読み取り開始後は、表示しないようにしてもよい。また、前記図4のステップS8で読み込んだ画像をLCD表示部15に表示する場合、カメラ12の位置を示すマーク71を同時に表示してもよい。
【0073】
このように、カメラ12位置の対応する箇所にマーク71を付けているので、被写体である読み取り対象のコードにカメラ12を合わせるときの目安となり操作が容易になる。
また、別の実施の形態として、図11に例を示す。図11は、バーコード読み取り動作の別の実施例を示すフローチャートである。図4と同一処理部分には同一符号を付している。
【0074】
図11においては、図4におけるステップS7及びステップS9を省略したものとなっている。この場合、ステップS5において、フレーム取り込みイベントが読み込まれた後に、ステップS8にて画像を表示した後、ただちにステップS10へ進み、コード読み取り処理を実行する。
【0075】
この実施例では、コード読み取りを開始する前に高いフレームレートで画像を表示することはできないが、読み取り開始ボタン(例えば電話機能キー17)を押すなどの、ユーザの操作を省略することができ、操作数を簡素化できるというメリットがある。
【0076】
また、別の実施の形態としては、カメラから取り込んだ画像を記憶メモリに記憶し、画像を表示したあと、一旦停止し、ユーザにこの画像でコード読み取り処理を開始するか否かを選択できるようにしてもよい。ユーザがコード読み取り開始を選択すれば、コード読み取りを実施し、そうでなければ、記憶してある画像を破棄し、新たに画像をカメラから取り込みし直す。
【0077】
この実施の形態では、処理能力が著しく低い携帯端末であり、コード読み取り処理に1秒以上かかるような場合に有効である。ユーザは取り込まれた画像をじっくり見てからコード読み取り処理を開始するかどうかを判断することにより、明確に読み取りが失敗する画像(手ぶれなどで画像がボケているなど)では、コード読み取りを実行せず、画像を撮り直す。これにより、時間のかかるコード読み取り処理の実行回数を最小限にとどめることができるからである。
【0078】
以上のように、本実施の形態のカメラ付き携帯電話機10は、対象となる画像情報を入力するカメラ12、バーコード読み取り時にON/OFFボタン21操作により発光する小型のライト13、情報を表示するLCD表示部15、装置全体を制御するCPUからなる制御部31を備え、制御部31は、自然画やバーコードなど被写体に応じて撮影手順を切り替え、バーコード撮影に切り替えられた場合、バーコードを認識を行うとともに、認識された結果をユーザに通知し、認識された内容に基づいて所定の処理を実行するので、比較的低い解像度である、カメラ付き携帯電話機に用いられるカメラによるバーコード読み取りにおいて、バーコード撮影に適したバーコード読み取りモードに自動的に移行し、簡単な操作で、正確にコードを読み取ることができる。
【0079】
また、バーコード撮影切り替え時、コード認識処理を起動するまではカメラ33から得られる高速なフレームレートにて表示部35に画像を表示し、起動後はコード認識処理に必要なフレームレートにて画像を表示するので、読み取り動作は、連続して取り込まれた画像ごとに連続的に動作し、滑らかな動画をLCD表示部15に表示することができ、コードを適切な位置に合わせることができる。以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【0080】
なお、上記実施の形態では、携帯電話機に適用した例であるが、PDA等の携帯情報端末、パソコン等の情報処理装置など、カメラ(内蔵/外付け)を備えた装置であればどのような装置にも適用可能である。また、読み取り対象となるコードは、どのようなコードであってもよい。
【0081】
また、上記実施の形態では、携帯端末装置という名称を用いたが、これは説明の便宜上であり、通信端末装置、情報読取装置や情報読取方法等でもよいことは勿論である。
【0082】
また、上記実施の形態では、通知手段として表示部15への文字あるいはアイコンによるメッセージ表示、スピーカ14による読み取り終了音による通知の例について説明したが、通知方法は何でもよく、例えば音声であってもよい。音声で通知する場合は、携帯電話機に、音声データ生成チップ,D/Aコンバータ,アンプ及びスピーカ等からなる音声出力部を設け、音声データ生成チップを用いて読取完了/読取失敗にある旨のメッセージ内容の音声合成を行いスピーカにより音声出力する。また、表示部15にライト13を点灯したほうが良い旨のメッセージやバーコード種別を変更すべき旨のメッセージを表示したり、表示に加えて音声あるいは音響にて報知することも可能である。
【0083】
また、上記携帯端末装置を構成する各回路部、例えば記憶部や表示部の種類、数及び接続方法などは前述した実施の形態に限られない。
【0084】
また、以上説明した携帯端末装置は、これら携帯端末装置を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、図2に示されている制御部31のメインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてCD−ROMドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なCD−ROM等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムは制御部31のCPUがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。
【0085】
ここで、上記プログラムメディアは、携帯端末装置又は情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやCD−ROM、CD−R/RW、MO、MD、DVD−ROM、DVD−RAM、DVD−RW等の光ディスクのディスク系、PCカード、コンパクトフラッシュカード(登録商標)、スマートメディア(登録商標)、ICカード、SDカード(登録商標)、メモリースティック(登録商標)等のカード系、あるいはマスクROM、EPROM、EEPROM、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【0086】
さらに、インターネット接続プロバイダ又はサーバ端末400等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【図面の簡単な説明】
【0087】
【図1】本発明の実施の形態の携帯端末装置の外観を示す図である。
【図2】本実施の形態の携帯端末装置のバーコード読み取り装置をカメラ付き携帯電話機に組込んだ場合のブロック図である。
【図3】本実施の形態の携帯端末装置のカメラのレンズ焦点深度切換機構を模式的に示す図である。
【図4】本実施の形態の携帯端末装置のバーコード読み取り動作を示すフローチャートである。
【図5】本実施の形態の携帯端末装置のLCD表示部のモード選択画面表示例を示す図である。
【図6】本実施の形態の携帯端末装置の1次元コード/2次元コードで画像取り込み範囲及び、表示時の倍率が異なることを説明する図である。
【図7】本実施の形態の携帯端末装置のバーコード読み取り処理による画面表示例を示す図である。
【図8】本実施の形態の携帯端末装置のバーコード読み取り処理による画面表示例を示す図である。
【図9】他の実施の形態の携帯端末装置の外観を示す図である。
【図10】他の実施の形態の携帯端末装置の外観を示す図である。
【図11】他の実施の形態の携帯端末装置のバーコード読み取り動作を示すフローチャートである。
【符号の説明】
【0088】
10 カメラ付き携帯電話機(携帯端末装置)
10a 携帯電話機本体
11,37 アンテナ
12,33 カメラ(撮像手段)
13,34 ライト(照明手段)
14,39 スピーカ(通知手段の一部)
15,35 LCD表示部(表示手段,通知手段の一部)
16 電源キー
17 電話機能キー
18 モードキー
19 カーソルキー
20 シャッターキー
21 ライトON/OFFボタン(照明切替手段)
22 ダイヤルキー
23,40 マイク
31 制御部(撮影手順切替手段,コード認識手段,情報処理手段,フレームレート制御手段,タイマ設定手段)
32 記憶メモリ
36 キー入力部
50 カメラモジュール
51 レンズ
52 レンズユニット
53 カメラレバー
【特許請求の範囲】
【請求項1】
画像を撮像する撮像手段と、
撮影対象をバーコードに切り替える撮影手順切替手段と、
前記撮像手段により得られた画像の表示を行う表示手段と、
前記撮影手順切替手段によりバーコード撮影に切り替えた場合、撮像された画像のバーコードを認識するコード認識手段と
を備えることを特徴とする携帯端末装置。
【請求項2】
前記撮影手順切替手段は、バーコード種別に応じて前記撮像手段における画像取り込み領域の変更を行うことを特徴とする請求項1記載の携帯端末装置。
【請求項3】
前記撮影手順切替手段は、階調特性、コントラスト、明るさ、ホワイトバランス、露出、焦点深度、輪郭強調、又は解像度のうち少なくともいずれか1つ以上を、自然画とバーコード画像とで切り替えることを特徴とする請求項1又は2に記載の携帯端末装置。
【請求項4】
前記撮影手順切替手段は、バーコード撮影切り替え時、前記コード認識手段を起動するまでは前記撮像手段から得られる高速なフレームレートにより前記表示手段に画像を表示し、前記コード認識手段を起動後は前記コード認識手段に必要なフレームレートにより画像を表示するフレームレート制御手段を備えることを特徴とする請求項1記載の携帯端末装置。
【請求項5】
さらに、被写体に対し照明を行う照明手段を備えることを特徴とする請求項1記載の携帯端末装置。
【請求項6】
前記照明手段をオン/オフする照明切替手段を備えることを特徴とする請求項5記載の携帯端末装置。
【請求項7】
さらに、前記コード認識手段により認識された結果を通知する通知手段を備えることを特徴とする請求項1記載の携帯端末装置。
【請求項8】
前記通知手段は、音、音声、又は前記表示手段へのメッセージ表示により認識結果の通知を行うことを特徴とする請求項7記載の携帯端末装置。
【請求項9】
さらに、設定時間を計時するタイマ設定手段を備え、
前記通知手段は、前記タイマ設定手段により設定された時間内にバーコードを認識できなかったとき、認識失敗を通知することを特徴とする請求項1記載の携帯端末装置。
【請求項10】
前記撮像手段は、エリア型固体撮像素子により動画/静止画撮像を撮像することを特徴とする請求項1記載の携帯端末装置。
【請求項1】
画像を撮像する撮像手段と、
撮影対象をバーコードに切り替える撮影手順切替手段と、
前記撮像手段により得られた画像の表示を行う表示手段と、
前記撮影手順切替手段によりバーコード撮影に切り替えた場合、撮像された画像のバーコードを認識するコード認識手段と
を備えることを特徴とする携帯端末装置。
【請求項2】
前記撮影手順切替手段は、バーコード種別に応じて前記撮像手段における画像取り込み領域の変更を行うことを特徴とする請求項1記載の携帯端末装置。
【請求項3】
前記撮影手順切替手段は、階調特性、コントラスト、明るさ、ホワイトバランス、露出、焦点深度、輪郭強調、又は解像度のうち少なくともいずれか1つ以上を、自然画とバーコード画像とで切り替えることを特徴とする請求項1又は2に記載の携帯端末装置。
【請求項4】
前記撮影手順切替手段は、バーコード撮影切り替え時、前記コード認識手段を起動するまでは前記撮像手段から得られる高速なフレームレートにより前記表示手段に画像を表示し、前記コード認識手段を起動後は前記コード認識手段に必要なフレームレートにより画像を表示するフレームレート制御手段を備えることを特徴とする請求項1記載の携帯端末装置。
【請求項5】
さらに、被写体に対し照明を行う照明手段を備えることを特徴とする請求項1記載の携帯端末装置。
【請求項6】
前記照明手段をオン/オフする照明切替手段を備えることを特徴とする請求項5記載の携帯端末装置。
【請求項7】
さらに、前記コード認識手段により認識された結果を通知する通知手段を備えることを特徴とする請求項1記載の携帯端末装置。
【請求項8】
前記通知手段は、音、音声、又は前記表示手段へのメッセージ表示により認識結果の通知を行うことを特徴とする請求項7記載の携帯端末装置。
【請求項9】
さらに、設定時間を計時するタイマ設定手段を備え、
前記通知手段は、前記タイマ設定手段により設定された時間内にバーコードを認識できなかったとき、認識失敗を通知することを特徴とする請求項1記載の携帯端末装置。
【請求項10】
前記撮像手段は、エリア型固体撮像素子により動画/静止画撮像を撮像することを特徴とする請求項1記載の携帯端末装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2007−318775(P2007−318775A)
【公開日】平成19年12月6日(2007.12.6)
【国際特許分類】
【出願番号】特願2007−166740(P2007−166740)
【出願日】平成19年6月25日(2007.6.25)
【分割の表示】特願2002−214733(P2002−214733)の分割
【原出願日】平成14年7月24日(2002.7.24)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成19年12月6日(2007.12.6)
【国際特許分類】
【出願日】平成19年6月25日(2007.6.25)
【分割の表示】特願2002−214733(P2002−214733)の分割
【原出願日】平成14年7月24日(2002.7.24)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]