撮像方法及び撮像装置
【課題】 固定焦点レンズでバーコードを認識させようと思うと、ピントの合う距離以上離れて撮影すると、バーコードが小さく写るため、認識できない。また、画像を大きく写そうとすると、ピントがあわないため、認識率が低い。
【解決手段】 画素間引き読み出しのモニタモードからバーコード撮影モードに切り替えられた場合、走査モード切替部２１は、駆動タイミング制御部２２を介して、垂直走査回路１１及び水平走査回路１２による撮像素子１０の走査範囲を小さくし、かつモニタモードよりも読み出す画素の間隔を狭くするような駆動に切り替える。
【解決手段】 画素間引き読み出しのモニタモードからバーコード撮影モードに切り替えられた場合、走査モード切替部２１は、駆動タイミング制御部２２を介して、垂直走査回路１１及び水平走査回路１２による撮像素子１０の走査範囲を小さくし、かつモニタモードよりも読み出す画素の間隔を狭くするような駆動に切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いた撮像方法及び撮像装置に関し、特に撮影画像の解像度を上げ、かつ撮像素子からの読み出しを高速にする技術に関するものである。
【背景技術】
【０００２】
従来、固体撮像装置の１つとして、複数の画素から構成されるＭＯＳ型の撮像素子（イメージセンサ）と、垂直走査回路と、水平走査回路とを備えたものが知られている。撮像素子における各画素は、露光期間中の受光量に応じて電荷を蓄積するフォトダイオードと、フォトダイオードから出力される電荷を一時蓄積する電荷蓄積部とを有している。そして、フォトダイオードに蓄積された電荷が画素信号として読み出される。各画素は、垂直走査回路からのリードパルス及びリセットパルスにより１行ごとに順次選択され、１行分の画素信号が水平走査回路からの走査パルスにより１列ごとに出力される。
【０００３】
撮像素子では、選択行の画素セルにのみリセットパルスを与え、選択行の電荷蓄積部の電位を高電位にすることで、増幅トランジスタがＯＮ状態となって画素信号が出力される。逆に、非選択行の画素セルの電荷蓄積部における電位を低電位に保てば、増幅トランジスタがＯＦＦ状態となるので、非選択行の画素信号が出力されることはない。具体的には、リセットパルスによって電荷蓄積部の電位を電源電圧の電位に設定したうえ、フォトダイオードに蓄積された電荷をリードパルスによって電荷蓄積部へと読み出す。読み出された電荷に相当する画素信号が増幅トランジスタで増幅されて出力される。最後にリセットパルスによって電荷蓄積部の電荷をクリアする。これらの動作を各行の画素に対して連続的に行う。
【０００４】
垂直走査回路及び水平走査回路では、各々シフトレジスタを用いて、電荷を読み出す画素を選択している。具体的には、駆動タイミング制御部が垂直走査回路となるシフトレジスタへと垂直走査スタートパルスを入力し、これをシフトさせながら行の選択を行い、選択された行に対して上述のリセットパルス及びリードパルスを入力している。更に、水平走査回路となるシフトレジスタへと水平走査スタートパルスを入力し、これをシフトさせながら列の選択を行い、選択された列に対して走査パルスを送る。
【０００５】
これに関連して、第１の従来技術に係るシフトレジスタによれば、先行走査によって撮像素子の走査範囲を設定し、本走査時に任意の範囲を走査することができる。具体的には、先行走査時にシフトレジスタの１段目へスタートパルスを入力し、所望の位置まで当該スタートパルスをシフトさせた時点で、シフトレジスタ各段の情報を別途設けたメモリに転送する。本走査時には、メモリに記憶された情報をシフトレジスタ各段へ戻す。これにより、所望の位置から走査を開始することができる。走査を途中で止める場合には、メモリの記憶情報をクリアしたうえ、当該クリアされた情報をシフトレジスタ各段へ転送する（特許文献１参照）。
【０００６】
さて近年、小型のイメージセンサを搭載したカメラ付き携帯電話機が販売されている。それらの携帯電話機のカメラでは、あらゆる距離でピントが合うことが必要であるため、ピントが数十ｃｍから無限遠までで合うように設計された固定焦点レンズが多く使われている。通常の撮影を行う際、静止画撮影前のモニタリング時はＬＣＤ（Liquid Crystal Display）に撮影画像が表示され、その画像を見ながら構図を決めて静止画撮影を行うことが一般的である。また、静止画撮影時には高画質の画像を残すために全画素を読み出しているが、モニタリング時にはＬＣＤに画像を高フレームレートで表示するため、イメージセンサからの出力を間引いている。
【０００７】
また、最近の携帯電話機はバーコードを認識する機能を有しているものが多く、予めＵＲＬ（Uniform Resource Locator）や名刺の情報の入ったバーコードを作成しておけば、バーコードを読み込むことでインターネットに接続したり、アドレス交換したりする際に入力の手間を省くことが可能である。また入力間違いも防ぐことができる。しかし、携帯電話機に内蔵されているカメラはまだ解像度が良くないものもあるため、バーコードのような細かい画像を認識するためには工夫が必要である。
【０００８】
第２の従来技術によれば、カメラ付き携帯電話機でバーコードを読み取る際に、通常撮影時とは設定を変えてバーコード撮影用に最適化する。具体的には、コードの明と暗のコントラストが強調されるようにホワイトバランスや露出を調整したり、輪郭をより強調するように補正係数を調整したりする（特許文献２参照）。
【特許文献１】特開平６−３５０９３３号公報
【特許文献２】特開２００４−５６６９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
固定焦点レンズを使用して２次元バーコード等の小さな画像を撮影する場合、固定焦点レンズは遠くのものにピントが合いやすく、近くの被写体にはピントが合いにくいため、ピントの合う位置では被写体が小さく、被写体に接近して写すとピントが合わずぼけてしまうことがある。このため、固定焦点レンズでのバーコード認識率は低く、バーコード認識の機能が付いたカメラ付き携帯電話機にはマクロレンズやＡＦ（オートフォーカス）機能が必要になっている。しかしながら、コストの関係上、マクロレンズやＡＦ機能を搭載できない携帯電話機でもバーコード認識機能への対応が必要となっている。
【００１０】
本発明は、このような課題を解決するものであって、高解像度に読み出しができ、又は高解像度かつ高速に読み出しができるバーコード撮影時の撮像素子の駆動方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の撮像装置は、２次元に配置された複数の画素を有する撮像素子（センサ）と、当該撮像素子に蓄積された電荷を読み出すために当該撮像素子を駆動する垂直走査回路及び水平走査回路とを備える。そして、第１の画素間隔で撮像信号が形成されるモニタモードと、第１の画素間隔よりも狭い第２の画素間隔で撮像信号が形成される画像認識モード（例えば、バーコード撮影モード）との切り替えを行うこととする。
【００１２】
例えばバーコード撮影モードに切り替えられると、モニタモードよりも読み出す画素の間隔を狭くするセンサ駆動に切り替える。更に高速に駆動するためには、バーコード撮影モードに切り替えられた場合、垂直走査又は水平走査のスタートパルスを全画素領域よりも小さい範囲を駆動するように設定し、モニタモードよりも読み出す画素の間隔を狭くするセンサ駆動に切り替える。
【００１３】
また、バーコード撮影モードに切り替えたときには、画角が狭くなっているため被写体を読み出し範囲内に収めることが難しい。この課題を解決するためには、バーコード撮影に切り替えた直後は広い範囲を読み出しておき、被写体が検出されたら必要範囲だけ読み出すようにセンサ駆動を切り替える。
【００１４】
また、上記センサ駆動ではバーコード撮影時の画角が狭くなるため、手ぶれの影響が大きくなる。この課題を解決するためには、被写体の移動を検出し、移動量に応じて読み出し位置及び撮像範囲を変更する。
【発明の効果】
【００１５】
本発明によれば、ＡＦ機能やマクロレンズのない固定焦点レンズでも、撮像素子に相当するセンサの構造を変えることなく、スタートパルスによって、バーコード撮影に適した高解像度又は高フレームレートの撮像方法及び撮像装置を実現できる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態を、図面に基づいて詳細に説明する。
【００１７】
図１は、本発明に係る撮像装置の構成例を示している。図１の撮像装置は、撮像素子１０と、垂直走査回路１１と、水平走査回路１２と、ＤＳＰ（Digital Signal Processor）２０とを備えている。撮像素子１０は、例えばＭＯＳ型のイメージセンサであって、ｎ行ｍ列（ｎ及びｍはいずれも２以上の偶数）の画素配列を有している。垂直走査回路１１及び水平走査回路１２は、撮像素子１０から読み出しを行う画素を選択するように当該撮像素子１０を駆動するための回路であって、第１の従来技術として説明したシフトレジスタをそれぞれ備えている。すなわち、図１の垂直走査回路１１及び水平走査回路１２によれば、先行走査によって撮像素子１０の走査範囲を設定し、本走査時に任意の範囲を走査することができる。
【００１８】
ＤＳＰ２０は、走査モード切替部２１と、駆動タイミング制御部２２と、信号処理部２３と、画像出力部２４と、バーコード検出部２５と、バーコード認識部２６とを備えている。走査モード切替部２１は、バーコード撮影指令を受け取ると、撮像素子１０の駆動方式をモニタモードからバーコード撮影モードへと切り替える。駆動タイミング制御部２２は、垂直走査回路１１及び水平走査回路１２の各々の動作を制御するための回路であって、垂直走査スタートパルスＶＳＴＰ、垂直走査クロック信号ＶＣＬＫ及び垂直走査レンジ制御信号ＶＲＮＧを垂直走査回路１１へ、水平走査スタートパルスＨＳＴＰ、水平走査クロック信号ＨＣＬＫ及び水平走査レンジ制御信号ＨＲＮＧを水平走査回路１２へそれぞれ供給する。ここに、垂直走査レンジ制御信号ＶＲＮＧ及び水平走査レンジ制御信号ＨＲＮＧは、シフトレジスタ各段の情報を記憶するための前述のメモリの動作を制御するための信号である。信号処理部２３は、撮像素子１０から水平走査回路１２を経て得られた撮像信号ＰＩＸを受け取り、相関二重サンプリング、自動ゲイン調整、アナログ・ディジタル変換等の処理に加えて、ホワイトバランス調整、輪郭強調等の前処理を撮像信号ＰＩＸに施す。画像出力部２４は、不図示のＬＣＤへのディジタル画像出力を司る。バーコード検出部２５は、前のフレームで撮像された信号から被写体（バーコード）の位置及びサイズを検出したり、１フレーム前と２フレーム前に撮像された信号から被写体の移動方向と移動量とを検出したりする機能を有する。このようにして得られた情報は、走査モード切替部２１へ送られる。バーコード認識部２６は、検出されたバーコードの認識処理を行う。
【００１９】
なお、走査モード切替部２１はマイクロコードで実現することができる。駆動タイミング制御部２２や信号処理部２３はＤＳＰ２０の外部にあっても構わない。
【００２０】
図２は、撮像素子１０の全画素領域を画素読み出し範囲とする例を示している。この場合、垂直走査回路１１の走査範囲が１〜ｎに、水平走査回路１２の走査範囲が１〜ｍにそれぞれ設定される。ただし、モニタモードでは画素間引き読み出しが、バーコード撮影モードでは全画素読み出しがそれぞれ実行される。
【００２１】
図３は、図２に対応したモニタモードのタイミング図である。モニタモードではフレームレートを上げるために、読み出す画素を間引いている。図３によれば、以下に説明するように、垂直方向の画素を１行ずつ間引いて読み出すことになる。
【００２２】
まず、間引かない行においては、垂直走査回路１１に供給された垂直走査スタートパルスＶＳＴＰが垂直走査クロック信号ＶＣＬＫによってシフトされながら行が選択される。そして水平走査回路１２に水平走査スタートパルスＨＳＴＰが供給され、水平走査回路１２が水平走査クロック信号ＨＣＬＫによって水平走査スタートパルスＨＳＴＰをシフトしながら水平方向の１〜ｍ列の画素を選択し、選択された画素の画素信号が順次出力されることにより、画素読み出しが行われる。読み出された１つの画素信号又は複数の画素信号で１つの撮像信号ＰＩＸが構成される。ここで撮像信号ＰＩＸとは実際に表示デバイスに表示等される際の１ピクセルに相当する信号である。なお、実際のＭＯＳイメージセンサの読み出しにおいては、リードパルスやリセットパルスを含む複数のパルスの組み合わせによって画素信号が出力されるが、背景技術として既に説明しているのでここでは説明を省略する。一方、間引かれる行においては、水平走査スタートパルスＨＳＴＰが入力されないので、垂直走査回路１１によって行が選択されても、その行の画素は読み出されない。この２つの読み出し方法を周期的に繰り返すことによって、高フレームレートの撮像が実現できる。
【００２３】
図３を用いて更に詳細に説明する。まず垂直走査スタートパルス（ＶＳＴＰ）２０１が垂直走査回路１１のうち撮像素子１０の１行目に対応する位置に供給される。その結果、撮像素子１０の１行目が選択される。また、水平走査スタートパルス（ＨＳＴＰ）２０２が水平走査回路１２に供給される。その結果、１行１列の画素が選択され、読み出される。次に水平走査回路１２に水平走査クロック信号ＨＣＬＫが供給されることにより、水平走査スタートパルスＨＳＴＰが２列目に移動する。その結果、１行２列の画素が選択され、読み出される。以上の動作が繰り返され、水平走査回路１２にｍ個の水平走査クロック信号ＨＣＬＫが入力されることにより、１行目の１〜ｍ列の画素が全て読み出される。
【００２４】
次に垂直走査回路１１に垂直走査クロック信号（ＶＣＬＫ）２０３が供給されて、垂直走査スタートパルスＶＳＴＰが２行目に移動する。その結果、２行目が選択される。しかし、水平走査スタートパルスＨＳＴＰは供給されない。このため、画素が選択されることはなく、読み出しは行われない。
【００２５】
駆動タイミング制御部２２は、不図示のクロック発生回路から出力される基準クロック信号を分周することにより、垂直走査クロック信号ＶＣＬＫとして長いクロック信号と短いクロック信号との２種類を生成し、垂直走査回路１１へと供給している。垂直走査クロック信号（ＶＣＬＫ）２０３が短いクロック信号であるのは、２行目の読み出しを行わないので、垂直走査スタートパルスＶＳＴＰを３行目に素早く移動させ、フレームレートを上げるためである。
【００２６】
次に、垂直走査回路１１に垂直走査クロック信号（ＶＣＬＫ）２０４が供給されて、垂直走査スタートパルスＶＳＴＰが３行目に移動する。その結果、３行目が選択される。また、水平走査スタートパルス（ＨＳＴＰ）２０５が水平走査回路１２に供給される。その結果、３行１列の画素が選択され読み出される。その後、水平走査回路１２に水平走査クロック信号ＨＣＬＫが供給されるごとに水平走査スタートパルスＨＳＴＰが移動し、３行目の１〜ｍ列の画素が順次選択され、読み出される。
【００２７】
以上を繰り返すことにより、奇数行目の画素が読み出されるが、偶数行目の画素の読み出しは行われない。１フレームの画素の読み出しが終了すると、再び垂直走査スタートパルスＶＳＴＰが供給され、２フレーム目の画素の読み出しが開始される。
【００２８】
なお、要求されるフレームレートに応じて、読み出される行間隔は自由に設定可能である。例えば、更にフレームレートを上げるために３行に１行のみ読み出す場合には、垂直走査回路１１に垂直走査クロック信号ＶＣＬＫが３回供給されるごとに水平走査スタートパルスＨＳＴＰを１回供給するようにすればよい。間引きで読み出す際の駆動方法は他の駆動でもよい。また、水平方向にも画素間引きを行ってもよい。
【００２９】
図４は、図２に対応したバーコード撮影モードのタイミング図である。当初、図１の撮像装置はモニタモードにある。モニタモードにおいては、動画像をモニタリングするために、前述の画素間引き読み出しが行われている。ここで、ユーザの操作等によってバーコード撮影モードに切り替えられると、走査モード切替部２１は、撮像素子１０の駆動方式を画素間引き読み出しから全画素読み出しへと切り替える。
【００３０】
走査モード切替部２１によってバーコード撮影モードに切り替えられた場合、まず垂直走査回路１１及び水平走査回路１２の走査範囲を決定する。言い換えれば、何行目から読み出しを開始し、何行目に読み出しを終了するか、また、何列目から読み出しを開始し、何列目に読み出しを終了するかを決定する。図４の例においては、垂直走査回路１１は１〜ｎ、水平走査回路１２は１〜ｍの範囲を走査するように設定する。すなわち、全範囲の走査を行う。なお、垂直走査回路１１と水平走査回路１２との関係は、水平走査回路１２のシフトレジスタがｍ回シフトすると垂直走査回路１１のシフトレジスタが１回シフトするものとする。
【００３１】
垂直走査回路１１は１からｎまで、水平走査回路１２は１からｍまでそれぞれ走査したらリセットされるように設定されているため、各々のシフトレジスタで走査範囲の画素読み出しが終了したら、次のフレームの読み出しに移る。以下、詳細フローを説明する。
【００３２】
（１） 走査モード切替部２１はセンサ駆動を変更するための切り替え処理を行う。具体的には、読み出し方法の切り替えを行うための駆動切り替え信号を駆動タイミング制御部２２へと供給する。
【００３３】
（２） 垂直走査回路１１の走査範囲を１〜ｎに、水平走査回路１２の走査範囲を１〜ｍにそれぞれ設定する。
【００３４】
（３） 垂直走査スタートパルスＶＳＴＰを垂直走査回路１１の１段目に、水平走査スタートパルスＨＳＴＰを水平走査回路１２の１段目にそれぞれ入力する。垂直走査回路１１によって１行目が選択されている間、水平走査回路１２に水平走査クロック信号ＨＣＬＫが順次供給されることにより１〜ｍ列の画素が順次選択され、各画素から読み出しが行われる。ｍ列目の画素読み出しが終わると、水平走査回路１２中の水平走査スタートパルスＨＳＴＰはリセットされる。
【００３５】
（４） 垂直走査回路１１に垂直走査クロック信号ＶＣＬＫが供給されて２行目が選択されるとともに、水平走査回路１２の１段目に水平走査スタートパルスＨＳＴＰが入力される。そして、水平走査回路１２に水平走査クロック信号ＨＣＬＫが順次供給されることにより、２行目から１〜ｍ列の画素が順次選択され、各画素から信号の読み出しが行われる。
【００３６】
以上の処理を、行間引きを行うことなく、ｎ行目まで繰り返して行うことによって、ｎ×ｍの全画素を読み出すことができる。読み出されたｎ×ｍ個の画素信号は、ｎ×ｍ個の撮像信号ＰＩＸとして後段の画像処理へと入力される。
【００３７】
以上のとおり、図１の撮像装置においては、モニタモードで画素間引きを行ってフレームレートを上げる一方、バーコード撮影時には全画素読み出しを行うことによって解像度を高くし、ＡＦ機能やマクロレンズのない固定焦点レンズであっても、バーコードの認識率を向上させることが可能となる。
【００３８】
なお、全画素読み出しを行うことによって、バーコードの認識率は高まるものの、撮像領域内のバーコードが占める領域が小さ過ぎるとバーコードの認識は難しい。そのため、ユーザがどの領域内にバーコードを写せばよいかを示すガイドを、ＯＳＤ（On Screen Display）を用いてモニタ内に表示させると更に良い。
【００３９】
さて、図４のセンサ駆動ではバーコード認識に不要な部分まで撮像しているため、バーコード撮影モードでのフレームレートが遅くなる。そこで、フレームレートを落とさずに、バーコード認識率を向上させる方法を説明する。
【００４０】
図５は、図１の撮像装置のバーコード撮影モードにおける画素読み出し範囲をｊ行目からｋ行目までに制限した例を示している。つまり、走査範囲を垂直走査回路１１についてｊ〜ｋとし、画素読み出し範囲を狭くしている。ただし、水平方向についても画素読み出し範囲を狭くするものであっても構わない。
【００４１】
図６は、図５の画素読み出し範囲に対応したタイミング図である。走査モード切替部２１によってバーコード撮影モードに切り替えられた場合、まず垂直走査回路１１及び水平走査回路１２の走査範囲を決定する。図６の例においては、垂直走査回路１１はｊ〜ｋ、水平走査回路１２は１〜ｍの範囲を走査するように設定する。
【００４２】
垂直走査回路１１はｋまで、水平走査回路１２はｍまで走査されたらリセットされるように設定されているため、垂直走査回路１１がｊからｋまで走査されたら、次のフレームの読み出しのために垂直走査スタートパルスＶＳＴＰを生成する必要がある。また、水平走査回路１２が１からｍまで走査されたら、次の行の読み取りのために水平走査スタートパルスＨＳＴＰを発生させる必要がある。以下、詳細フローを説明する。
【００４３】
（１） 走査モード切替部２１はセンサ駆動を変更するための切り替え処理を行う。具体的には、読み出し方法の切り替えを行うための駆動切り替え信号を駆動タイミング制御部２２へと供給する。
【００４４】
（２） 垂直走査回路１１の走査範囲をｊ〜ｋに、水平走査回路１２の走査範囲を１〜ｍにそれぞれ設定する。
【００４５】
（３） 垂直走査スタートパルスＶＳＴＰを垂直走査回路１１のｊ段目に、水平走査スタートパルスＨＳＴＰを水平走査回路１２の１段目にそれぞれ入力する。垂直走査回路１１によってｊ行目が選択されている間、水平走査回路１２に水平走査クロック信号ＨＣＬＫが順次供給されることにより１〜ｍ列の画素が順次選択され、各画素から読み出しが行われる。ｍ列目の画素読み出しが終わると、水平走査回路１２中の水平走査スタートパルスＨＳＴＰはリセットされる。
【００４６】
（４） 垂直走査回路１１に垂直走査クロック信号ＶＣＬＫが供給されて（ｊ＋１）行目が選択されるとともに、水平走査回路１２の１段目に水平走査スタートパルスＨＳＴＰが入力される。そして、水平走査回路１２に水平走査クロック信号ＨＣＬＫが順次供給されることにより、（ｊ＋１）行目から１〜ｍ列の画素が順次選択され、各画素から信号の読み出しが行われる。
【００４７】
以上の処理を、行間引きを行うことなく、ｋ行目まで繰り返し行うことによって、（ｋ−ｊ＋１）×ｍの全画素を読み出すことができる。読み出された（ｋ−ｊ＋１）×ｍ個の画素信号は、（ｋ−ｊ＋１）×ｍ個の撮像信号ＰＩＸとして後段の画像処理へと入力される。そして、ｋ行目の読み出しが終了すると垂直走査スタートパルスＶＳＴＰが再び垂直走査回路１１に入力されることにより、次のフレームの読み出しがスタートする。
【００４８】
以上のとおり、図６のセンサ駆動によれば、バーコード撮影時に必要な領域における全画素読み出しを行うことによってモニタモードに比べて解像度を高くし、バーコードの認識率を向上させることが可能となる。更に、バーコード撮影モードにおいても読み出される画素の数はあまり多くならないので、素早くバーコード認識を行い、フレームレートを向上させることも可能となる。特にマクロレンズを持たない固定焦点レンズであれば、実際にバーコードが含まれる領域は小さくなり、読み出される画素数も少なくなる。また、バーコード撮像領域をＯＳＤで表示させなくとも、読み出されている領域内にできるだけ大きくバーコードを写せばよいので、ユーザがバーコード認識操作をやりやすくなる。
【００４９】
次に、バーコード検出部２５からの情報をもとにバーコード撮影モードにおける画素読み出し範囲を自動的に決定する方法を説明する。
【００５０】
図７（ａ）及び図７（ｂ）は、ユーザの操作性向上のため、被写体（バーコード）の位置及びサイズに関する情報をもとに画素読み出し範囲を変更する動作を示している。バーコード撮影に切り替えられた直後は、図７（ａ）のとおり、センサをｎ×ｍの全画素を読み出すような駆動に切り替える。そして、先行走査により、垂直走査回路１１の走査範囲を１〜ｎに、水平走査回路１２の走査範囲を１〜ｍにそれぞれ設定する。このときに撮影された画像から、バーコード検出部２５にてバーコードを検出する。バーコードが検出された場合には、図７（ｂ）のように、当該バーコード付近の範囲のみを読み出す駆動に切り替える。具体的には、検出したバーコードの位置及びサイズから画素読み出し範囲を決定する。読み出し範囲が１〜ｊと決定された場合、垂直走査回路１１の走査範囲を１〜ｊに、水平走査回路１２の走査範囲を１〜ｍにそれぞれ設定するのである。これにより、広い撮像範囲から必要範囲のみを自動的に読み出すので、撮影者がバーコードを狭い画角に収めなくてもよい。
【００５１】
図８（ａ）及び図８（ｂ）は、例えば手ぶれの影響を排除するため、被写体（バーコード）の移動方向及び移動量に関する情報をもとに画素読み出し範囲を変更する動作を示している。図８（ａ）によれば、垂直走査回路１１の走査範囲をｉ〜ｊに設定することにより、被写体であるバーコードが画素読み出し範囲の中に収まっている。ところが、手ぶれが生じると、垂直走査回路１１の走査範囲をｉ〜ｊに設定したままでは、図８（ｂ）に太い破線で示すように、被写体が画素読み出し範囲の中に収まらなくなる。そこで、バーコード検出部２５は、連続２フレームの画像から、例えば切り出しシンボルのような目印になる画像を認識し、その移動方向及び移動量を検出する。このように移動が検出されたら、走査モード切替部２１及び駆動タイミング制御部２２は、次のフレームの垂直方向の読み出し開始位置をｋ＝（ｊ＋移動量）に、読み出し終了位置をｌ＝（ｋ＋読み出し幅）に変更するのである。ここで、バーコード検出部２５で検出された移動方向がマイナス方向、移動量がｘであれば、垂直走査スタートパルスＶＳＴＰの入力位置を（ｉ＋ｘ）に変更し、移動方向がプラス方向、移動量がｘであれば垂直走査スタートパルスＶＳＴＰ入力位置を（ｉ−ｘ）に変更する。
【００５２】
以上のとおり、図８（ａ）及び図８（ｂ）にて説明したセンサ駆動によれば、前のフレームから移動量を検出し、読み出し開始位置を変更することによって被写体の移動に追従することができる。また、移動量検出については、従来の撮像装置においてもＭＰＥＧの圧縮符号化等で行っているので、ＭＰＥＧにおける動きベクトルを流用すれば回路規模の増大は少ない。被写体の動き検出に使用するフレームは何フレーム前の信号を使用しても構わない。例えば連続３フレームで移動を検出し、次のフレームから読み出し開始位置を変更してもよい。被写体の移動が検出されなかった場合は、走査モード切替部２１はセンサ駆動の切り替え処理を行わず、前フレームでのセンサ駆動を維持してもよい。また、水平方向にも読み出し範囲を狭くしている場合は、水平方向のみ及び垂直水平両方で動き検出をしてもよい。
【００５３】
さて、上述の実施形態はあくまで一例であり、これに限定されるものではなく、種々の変形が可能である。以下に変形例を説明する。
【００５４】
上述の実施形態はバーコード撮像モードにおいて全ての画素を読み出すこととしているが、必ずしも全ての画素を読み出す必要はない。本発明の特徴的な構成はモニタモードと比較してバーコード撮像モードにおいて同一領域内の撮像信号ＰＩＸの数を多くすること、言い換えれば、読み出された撮像信号ＰＩＸの間隔を狭くすることにあり、その最良の形態として全画素を読み出して撮像信号ＰＩＸの間隔を最小としている。
【００５５】
バーコード撮影用に調整された画像処理モードを用意し、コードの明暗を強調するように露出、階調特性、ホワイトバランス等を調整したり、輪郭を強調するように輪郭強調の補正係数を変更したりしてもよい。また、更にズーム処理を加えることにより、バーコードの占める領域を広くして認識率を高めてもよい。
【００５６】
また、上記実施形態では、垂直走査回路１１及び水平走査回路１２として任意の位置にスタートパルスを入力できるシフトレジスタを用いている。しかし、通常の１行目又は１列目のみにパルス入力が可能なシフトレジスタを用いてもよい。例えば、必要とされる領域に到達するまで水平走査スタートパルスＨＳＴＰを入力せずに垂直走査スタートパルスＶＳＴＰを空送りさせ、必要な領域内では水平走査スタートパルスＨＳＴＰを全て入力し、必要な領域の画素読み出しが終了した後には再び水平走査スタートパルスＨＳＴＰを入力しなければ、必要な領域で全ての画素が読み出される。
【００５７】
また、本発明の対象はバーコードだけでなく、テキスト（例えばＵＲＬ等）や、通常撮影時に任意の範囲を高解像度で撮影したい場合にも有効である。
【００５８】
本発明は、マクロレンズの搭載がコストと実装面積の上で難しい場合でも認識率の高いバーコード撮影が可能であり、カメラ付き携帯電話機において特に有効である。しかしながら、マクロレンズやＡＦ機能を同時に使用することによって、更に認識率を上げることも可能である。
【００５９】
上記実施形態ではモニタモードで画素間引き読み出しを行い、バーコード撮影モードで全画素読み出しを行う例を説明しているが、モニタモードにおいて画素混合読み出しを行う構成としてもよい。画素混合読み出しにおいては複数画素の信号を混合して１つの撮像信号ＰＩＸとする。画素混合読み出しにおいても全画素の読み出しを行う場合はあるが、全画素読み出しとの差異は１つの画素からの画素信号で１つの撮像信号ＰＩＸを構成しているか、複数の画素からの画素信号で１つの撮像信号ＰＩＸを構成しているかにある。すなわち、モニタモードにおいては全画素を読み出すとともに複数の画素からの画素信号で１つの撮像信号ＰＩＸを構成し（画素混合読み出しモード）、バーコード撮影モードにおいては全画素を読み出すとともに１つの画素からの画素信号で１つの撮像信号ＰＩＸを構成するような形態が考えられる。なお、画素混合読み出しは必ずしも全画素を読み出す必要はなく、画素間引きを行いながら読み出した画素信号を混合して１つの撮像信号ＰＩＸを構成するものであっても構わない。
【産業上の利用可能性】
【００６０】
本発明に係る撮像方法及び撮像装置は、バーコード認識機能やテキストリーダ機能付きの携帯電話機等の情報端末に有効である。また、高解像度で残したい画像を撮影する場合にも有効である。
【図面の簡単な説明】
【００６１】
【図１】本発明に係る撮像装置の構成例を示すブロック図である。
【図２】図１の撮像装置における画素読み出し範囲の一例を示す概念図である。
【図３】図２の画素読み出し範囲に対応したモニタモードのタイミング図である。
【図４】図２の画素読み出し範囲に対応したバーコード撮影モードのタイミング図である。
【図５】図１の撮像装置のバーコード撮影モードにおける画素読み出し範囲の一例を示す概念図である。
【図６】図５の画素読み出し範囲に対応したタイミング図である。
【図７】図１の撮像装置にて被写体であるバーコードの位置及びサイズに関する情報をもとに画素読み出し範囲を変更する動作を示す概念図である。
【図８】図１の撮像装置にて被写体であるバーコードの移動方向及び移動量に関する情報をもとに画素読み出し範囲を変更する動作を示す概念図である。
【符号の説明】
【００６２】
１０ 撮像素子
１１ 垂直走査回路
１２ 水平走査回路
２０ ＤＳＰ
２１ 走査モード切替部
２２ 駆動タイミング制御部
２３ 信号処理部
２４ 画像出力部
２５ バーコード検出部
２６ バーコード認識部
ＨＣＬＫ 水平走査クロック信号
ＨＲＮＧ 水平走査レンジ制御信号
ＨＳＴＰ 水平走査スタートパルス
ＰＩＸ 撮像信号
ＶＣＬＫ 垂直走査クロック信号
ＶＲＮＧ 垂直走査レンジ制御信号
ＶＳＴＰ 垂直走査スタートパルス
【技術分野】
【０００１】
本発明は、固体撮像素子を用いた撮像方法及び撮像装置に関し、特に撮影画像の解像度を上げ、かつ撮像素子からの読み出しを高速にする技術に関するものである。
【背景技術】
【０００２】
従来、固体撮像装置の１つとして、複数の画素から構成されるＭＯＳ型の撮像素子（イメージセンサ）と、垂直走査回路と、水平走査回路とを備えたものが知られている。撮像素子における各画素は、露光期間中の受光量に応じて電荷を蓄積するフォトダイオードと、フォトダイオードから出力される電荷を一時蓄積する電荷蓄積部とを有している。そして、フォトダイオードに蓄積された電荷が画素信号として読み出される。各画素は、垂直走査回路からのリードパルス及びリセットパルスにより１行ごとに順次選択され、１行分の画素信号が水平走査回路からの走査パルスにより１列ごとに出力される。
【０００３】
撮像素子では、選択行の画素セルにのみリセットパルスを与え、選択行の電荷蓄積部の電位を高電位にすることで、増幅トランジスタがＯＮ状態となって画素信号が出力される。逆に、非選択行の画素セルの電荷蓄積部における電位を低電位に保てば、増幅トランジスタがＯＦＦ状態となるので、非選択行の画素信号が出力されることはない。具体的には、リセットパルスによって電荷蓄積部の電位を電源電圧の電位に設定したうえ、フォトダイオードに蓄積された電荷をリードパルスによって電荷蓄積部へと読み出す。読み出された電荷に相当する画素信号が増幅トランジスタで増幅されて出力される。最後にリセットパルスによって電荷蓄積部の電荷をクリアする。これらの動作を各行の画素に対して連続的に行う。
【０００４】
垂直走査回路及び水平走査回路では、各々シフトレジスタを用いて、電荷を読み出す画素を選択している。具体的には、駆動タイミング制御部が垂直走査回路となるシフトレジスタへと垂直走査スタートパルスを入力し、これをシフトさせながら行の選択を行い、選択された行に対して上述のリセットパルス及びリードパルスを入力している。更に、水平走査回路となるシフトレジスタへと水平走査スタートパルスを入力し、これをシフトさせながら列の選択を行い、選択された列に対して走査パルスを送る。
【０００５】
これに関連して、第１の従来技術に係るシフトレジスタによれば、先行走査によって撮像素子の走査範囲を設定し、本走査時に任意の範囲を走査することができる。具体的には、先行走査時にシフトレジスタの１段目へスタートパルスを入力し、所望の位置まで当該スタートパルスをシフトさせた時点で、シフトレジスタ各段の情報を別途設けたメモリに転送する。本走査時には、メモリに記憶された情報をシフトレジスタ各段へ戻す。これにより、所望の位置から走査を開始することができる。走査を途中で止める場合には、メモリの記憶情報をクリアしたうえ、当該クリアされた情報をシフトレジスタ各段へ転送する（特許文献１参照）。
【０００６】
さて近年、小型のイメージセンサを搭載したカメラ付き携帯電話機が販売されている。それらの携帯電話機のカメラでは、あらゆる距離でピントが合うことが必要であるため、ピントが数十ｃｍから無限遠までで合うように設計された固定焦点レンズが多く使われている。通常の撮影を行う際、静止画撮影前のモニタリング時はＬＣＤ（Liquid Crystal Display）に撮影画像が表示され、その画像を見ながら構図を決めて静止画撮影を行うことが一般的である。また、静止画撮影時には高画質の画像を残すために全画素を読み出しているが、モニタリング時にはＬＣＤに画像を高フレームレートで表示するため、イメージセンサからの出力を間引いている。
【０００７】
また、最近の携帯電話機はバーコードを認識する機能を有しているものが多く、予めＵＲＬ（Uniform Resource Locator）や名刺の情報の入ったバーコードを作成しておけば、バーコードを読み込むことでインターネットに接続したり、アドレス交換したりする際に入力の手間を省くことが可能である。また入力間違いも防ぐことができる。しかし、携帯電話機に内蔵されているカメラはまだ解像度が良くないものもあるため、バーコードのような細かい画像を認識するためには工夫が必要である。
【０００８】
第２の従来技術によれば、カメラ付き携帯電話機でバーコードを読み取る際に、通常撮影時とは設定を変えてバーコード撮影用に最適化する。具体的には、コードの明と暗のコントラストが強調されるようにホワイトバランスや露出を調整したり、輪郭をより強調するように補正係数を調整したりする（特許文献２参照）。
【特許文献１】特開平６−３５０９３３号公報
【特許文献２】特開２００４−５６６９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
固定焦点レンズを使用して２次元バーコード等の小さな画像を撮影する場合、固定焦点レンズは遠くのものにピントが合いやすく、近くの被写体にはピントが合いにくいため、ピントの合う位置では被写体が小さく、被写体に接近して写すとピントが合わずぼけてしまうことがある。このため、固定焦点レンズでのバーコード認識率は低く、バーコード認識の機能が付いたカメラ付き携帯電話機にはマクロレンズやＡＦ（オートフォーカス）機能が必要になっている。しかしながら、コストの関係上、マクロレンズやＡＦ機能を搭載できない携帯電話機でもバーコード認識機能への対応が必要となっている。
【００１０】
本発明は、このような課題を解決するものであって、高解像度に読み出しができ、又は高解像度かつ高速に読み出しができるバーコード撮影時の撮像素子の駆動方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の撮像装置は、２次元に配置された複数の画素を有する撮像素子（センサ）と、当該撮像素子に蓄積された電荷を読み出すために当該撮像素子を駆動する垂直走査回路及び水平走査回路とを備える。そして、第１の画素間隔で撮像信号が形成されるモニタモードと、第１の画素間隔よりも狭い第２の画素間隔で撮像信号が形成される画像認識モード（例えば、バーコード撮影モード）との切り替えを行うこととする。
【００１２】
例えばバーコード撮影モードに切り替えられると、モニタモードよりも読み出す画素の間隔を狭くするセンサ駆動に切り替える。更に高速に駆動するためには、バーコード撮影モードに切り替えられた場合、垂直走査又は水平走査のスタートパルスを全画素領域よりも小さい範囲を駆動するように設定し、モニタモードよりも読み出す画素の間隔を狭くするセンサ駆動に切り替える。
【００１３】
また、バーコード撮影モードに切り替えたときには、画角が狭くなっているため被写体を読み出し範囲内に収めることが難しい。この課題を解決するためには、バーコード撮影に切り替えた直後は広い範囲を読み出しておき、被写体が検出されたら必要範囲だけ読み出すようにセンサ駆動を切り替える。
【００１４】
また、上記センサ駆動ではバーコード撮影時の画角が狭くなるため、手ぶれの影響が大きくなる。この課題を解決するためには、被写体の移動を検出し、移動量に応じて読み出し位置及び撮像範囲を変更する。
【発明の効果】
【００１５】
本発明によれば、ＡＦ機能やマクロレンズのない固定焦点レンズでも、撮像素子に相当するセンサの構造を変えることなく、スタートパルスによって、バーコード撮影に適した高解像度又は高フレームレートの撮像方法及び撮像装置を実現できる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態を、図面に基づいて詳細に説明する。
【００１７】
図１は、本発明に係る撮像装置の構成例を示している。図１の撮像装置は、撮像素子１０と、垂直走査回路１１と、水平走査回路１２と、ＤＳＰ（Digital Signal Processor）２０とを備えている。撮像素子１０は、例えばＭＯＳ型のイメージセンサであって、ｎ行ｍ列（ｎ及びｍはいずれも２以上の偶数）の画素配列を有している。垂直走査回路１１及び水平走査回路１２は、撮像素子１０から読み出しを行う画素を選択するように当該撮像素子１０を駆動するための回路であって、第１の従来技術として説明したシフトレジスタをそれぞれ備えている。すなわち、図１の垂直走査回路１１及び水平走査回路１２によれば、先行走査によって撮像素子１０の走査範囲を設定し、本走査時に任意の範囲を走査することができる。
【００１８】
ＤＳＰ２０は、走査モード切替部２１と、駆動タイミング制御部２２と、信号処理部２３と、画像出力部２４と、バーコード検出部２５と、バーコード認識部２６とを備えている。走査モード切替部２１は、バーコード撮影指令を受け取ると、撮像素子１０の駆動方式をモニタモードからバーコード撮影モードへと切り替える。駆動タイミング制御部２２は、垂直走査回路１１及び水平走査回路１２の各々の動作を制御するための回路であって、垂直走査スタートパルスＶＳＴＰ、垂直走査クロック信号ＶＣＬＫ及び垂直走査レンジ制御信号ＶＲＮＧを垂直走査回路１１へ、水平走査スタートパルスＨＳＴＰ、水平走査クロック信号ＨＣＬＫ及び水平走査レンジ制御信号ＨＲＮＧを水平走査回路１２へそれぞれ供給する。ここに、垂直走査レンジ制御信号ＶＲＮＧ及び水平走査レンジ制御信号ＨＲＮＧは、シフトレジスタ各段の情報を記憶するための前述のメモリの動作を制御するための信号である。信号処理部２３は、撮像素子１０から水平走査回路１２を経て得られた撮像信号ＰＩＸを受け取り、相関二重サンプリング、自動ゲイン調整、アナログ・ディジタル変換等の処理に加えて、ホワイトバランス調整、輪郭強調等の前処理を撮像信号ＰＩＸに施す。画像出力部２４は、不図示のＬＣＤへのディジタル画像出力を司る。バーコード検出部２５は、前のフレームで撮像された信号から被写体（バーコード）の位置及びサイズを検出したり、１フレーム前と２フレーム前に撮像された信号から被写体の移動方向と移動量とを検出したりする機能を有する。このようにして得られた情報は、走査モード切替部２１へ送られる。バーコード認識部２６は、検出されたバーコードの認識処理を行う。
【００１９】
なお、走査モード切替部２１はマイクロコードで実現することができる。駆動タイミング制御部２２や信号処理部２３はＤＳＰ２０の外部にあっても構わない。
【００２０】
図２は、撮像素子１０の全画素領域を画素読み出し範囲とする例を示している。この場合、垂直走査回路１１の走査範囲が１〜ｎに、水平走査回路１２の走査範囲が１〜ｍにそれぞれ設定される。ただし、モニタモードでは画素間引き読み出しが、バーコード撮影モードでは全画素読み出しがそれぞれ実行される。
【００２１】
図３は、図２に対応したモニタモードのタイミング図である。モニタモードではフレームレートを上げるために、読み出す画素を間引いている。図３によれば、以下に説明するように、垂直方向の画素を１行ずつ間引いて読み出すことになる。
【００２２】
まず、間引かない行においては、垂直走査回路１１に供給された垂直走査スタートパルスＶＳＴＰが垂直走査クロック信号ＶＣＬＫによってシフトされながら行が選択される。そして水平走査回路１２に水平走査スタートパルスＨＳＴＰが供給され、水平走査回路１２が水平走査クロック信号ＨＣＬＫによって水平走査スタートパルスＨＳＴＰをシフトしながら水平方向の１〜ｍ列の画素を選択し、選択された画素の画素信号が順次出力されることにより、画素読み出しが行われる。読み出された１つの画素信号又は複数の画素信号で１つの撮像信号ＰＩＸが構成される。ここで撮像信号ＰＩＸとは実際に表示デバイスに表示等される際の１ピクセルに相当する信号である。なお、実際のＭＯＳイメージセンサの読み出しにおいては、リードパルスやリセットパルスを含む複数のパルスの組み合わせによって画素信号が出力されるが、背景技術として既に説明しているのでここでは説明を省略する。一方、間引かれる行においては、水平走査スタートパルスＨＳＴＰが入力されないので、垂直走査回路１１によって行が選択されても、その行の画素は読み出されない。この２つの読み出し方法を周期的に繰り返すことによって、高フレームレートの撮像が実現できる。
【００２３】
図３を用いて更に詳細に説明する。まず垂直走査スタートパルス（ＶＳＴＰ）２０１が垂直走査回路１１のうち撮像素子１０の１行目に対応する位置に供給される。その結果、撮像素子１０の１行目が選択される。また、水平走査スタートパルス（ＨＳＴＰ）２０２が水平走査回路１２に供給される。その結果、１行１列の画素が選択され、読み出される。次に水平走査回路１２に水平走査クロック信号ＨＣＬＫが供給されることにより、水平走査スタートパルスＨＳＴＰが２列目に移動する。その結果、１行２列の画素が選択され、読み出される。以上の動作が繰り返され、水平走査回路１２にｍ個の水平走査クロック信号ＨＣＬＫが入力されることにより、１行目の１〜ｍ列の画素が全て読み出される。
【００２４】
次に垂直走査回路１１に垂直走査クロック信号（ＶＣＬＫ）２０３が供給されて、垂直走査スタートパルスＶＳＴＰが２行目に移動する。その結果、２行目が選択される。しかし、水平走査スタートパルスＨＳＴＰは供給されない。このため、画素が選択されることはなく、読み出しは行われない。
【００２５】
駆動タイミング制御部２２は、不図示のクロック発生回路から出力される基準クロック信号を分周することにより、垂直走査クロック信号ＶＣＬＫとして長いクロック信号と短いクロック信号との２種類を生成し、垂直走査回路１１へと供給している。垂直走査クロック信号（ＶＣＬＫ）２０３が短いクロック信号であるのは、２行目の読み出しを行わないので、垂直走査スタートパルスＶＳＴＰを３行目に素早く移動させ、フレームレートを上げるためである。
【００２６】
次に、垂直走査回路１１に垂直走査クロック信号（ＶＣＬＫ）２０４が供給されて、垂直走査スタートパルスＶＳＴＰが３行目に移動する。その結果、３行目が選択される。また、水平走査スタートパルス（ＨＳＴＰ）２０５が水平走査回路１２に供給される。その結果、３行１列の画素が選択され読み出される。その後、水平走査回路１２に水平走査クロック信号ＨＣＬＫが供給されるごとに水平走査スタートパルスＨＳＴＰが移動し、３行目の１〜ｍ列の画素が順次選択され、読み出される。
【００２７】
以上を繰り返すことにより、奇数行目の画素が読み出されるが、偶数行目の画素の読み出しは行われない。１フレームの画素の読み出しが終了すると、再び垂直走査スタートパルスＶＳＴＰが供給され、２フレーム目の画素の読み出しが開始される。
【００２８】
なお、要求されるフレームレートに応じて、読み出される行間隔は自由に設定可能である。例えば、更にフレームレートを上げるために３行に１行のみ読み出す場合には、垂直走査回路１１に垂直走査クロック信号ＶＣＬＫが３回供給されるごとに水平走査スタートパルスＨＳＴＰを１回供給するようにすればよい。間引きで読み出す際の駆動方法は他の駆動でもよい。また、水平方向にも画素間引きを行ってもよい。
【００２９】
図４は、図２に対応したバーコード撮影モードのタイミング図である。当初、図１の撮像装置はモニタモードにある。モニタモードにおいては、動画像をモニタリングするために、前述の画素間引き読み出しが行われている。ここで、ユーザの操作等によってバーコード撮影モードに切り替えられると、走査モード切替部２１は、撮像素子１０の駆動方式を画素間引き読み出しから全画素読み出しへと切り替える。
【００３０】
走査モード切替部２１によってバーコード撮影モードに切り替えられた場合、まず垂直走査回路１１及び水平走査回路１２の走査範囲を決定する。言い換えれば、何行目から読み出しを開始し、何行目に読み出しを終了するか、また、何列目から読み出しを開始し、何列目に読み出しを終了するかを決定する。図４の例においては、垂直走査回路１１は１〜ｎ、水平走査回路１２は１〜ｍの範囲を走査するように設定する。すなわち、全範囲の走査を行う。なお、垂直走査回路１１と水平走査回路１２との関係は、水平走査回路１２のシフトレジスタがｍ回シフトすると垂直走査回路１１のシフトレジスタが１回シフトするものとする。
【００３１】
垂直走査回路１１は１からｎまで、水平走査回路１２は１からｍまでそれぞれ走査したらリセットされるように設定されているため、各々のシフトレジスタで走査範囲の画素読み出しが終了したら、次のフレームの読み出しに移る。以下、詳細フローを説明する。
【００３２】
（１） 走査モード切替部２１はセンサ駆動を変更するための切り替え処理を行う。具体的には、読み出し方法の切り替えを行うための駆動切り替え信号を駆動タイミング制御部２２へと供給する。
【００３３】
（２） 垂直走査回路１１の走査範囲を１〜ｎに、水平走査回路１２の走査範囲を１〜ｍにそれぞれ設定する。
【００３４】
（３） 垂直走査スタートパルスＶＳＴＰを垂直走査回路１１の１段目に、水平走査スタートパルスＨＳＴＰを水平走査回路１２の１段目にそれぞれ入力する。垂直走査回路１１によって１行目が選択されている間、水平走査回路１２に水平走査クロック信号ＨＣＬＫが順次供給されることにより１〜ｍ列の画素が順次選択され、各画素から読み出しが行われる。ｍ列目の画素読み出しが終わると、水平走査回路１２中の水平走査スタートパルスＨＳＴＰはリセットされる。
【００３５】
（４） 垂直走査回路１１に垂直走査クロック信号ＶＣＬＫが供給されて２行目が選択されるとともに、水平走査回路１２の１段目に水平走査スタートパルスＨＳＴＰが入力される。そして、水平走査回路１２に水平走査クロック信号ＨＣＬＫが順次供給されることにより、２行目から１〜ｍ列の画素が順次選択され、各画素から信号の読み出しが行われる。
【００３６】
以上の処理を、行間引きを行うことなく、ｎ行目まで繰り返して行うことによって、ｎ×ｍの全画素を読み出すことができる。読み出されたｎ×ｍ個の画素信号は、ｎ×ｍ個の撮像信号ＰＩＸとして後段の画像処理へと入力される。
【００３７】
以上のとおり、図１の撮像装置においては、モニタモードで画素間引きを行ってフレームレートを上げる一方、バーコード撮影時には全画素読み出しを行うことによって解像度を高くし、ＡＦ機能やマクロレンズのない固定焦点レンズであっても、バーコードの認識率を向上させることが可能となる。
【００３８】
なお、全画素読み出しを行うことによって、バーコードの認識率は高まるものの、撮像領域内のバーコードが占める領域が小さ過ぎるとバーコードの認識は難しい。そのため、ユーザがどの領域内にバーコードを写せばよいかを示すガイドを、ＯＳＤ（On Screen Display）を用いてモニタ内に表示させると更に良い。
【００３９】
さて、図４のセンサ駆動ではバーコード認識に不要な部分まで撮像しているため、バーコード撮影モードでのフレームレートが遅くなる。そこで、フレームレートを落とさずに、バーコード認識率を向上させる方法を説明する。
【００４０】
図５は、図１の撮像装置のバーコード撮影モードにおける画素読み出し範囲をｊ行目からｋ行目までに制限した例を示している。つまり、走査範囲を垂直走査回路１１についてｊ〜ｋとし、画素読み出し範囲を狭くしている。ただし、水平方向についても画素読み出し範囲を狭くするものであっても構わない。
【００４１】
図６は、図５の画素読み出し範囲に対応したタイミング図である。走査モード切替部２１によってバーコード撮影モードに切り替えられた場合、まず垂直走査回路１１及び水平走査回路１２の走査範囲を決定する。図６の例においては、垂直走査回路１１はｊ〜ｋ、水平走査回路１２は１〜ｍの範囲を走査するように設定する。
【００４２】
垂直走査回路１１はｋまで、水平走査回路１２はｍまで走査されたらリセットされるように設定されているため、垂直走査回路１１がｊからｋまで走査されたら、次のフレームの読み出しのために垂直走査スタートパルスＶＳＴＰを生成する必要がある。また、水平走査回路１２が１からｍまで走査されたら、次の行の読み取りのために水平走査スタートパルスＨＳＴＰを発生させる必要がある。以下、詳細フローを説明する。
【００４３】
（１） 走査モード切替部２１はセンサ駆動を変更するための切り替え処理を行う。具体的には、読み出し方法の切り替えを行うための駆動切り替え信号を駆動タイミング制御部２２へと供給する。
【００４４】
（２） 垂直走査回路１１の走査範囲をｊ〜ｋに、水平走査回路１２の走査範囲を１〜ｍにそれぞれ設定する。
【００４５】
（３） 垂直走査スタートパルスＶＳＴＰを垂直走査回路１１のｊ段目に、水平走査スタートパルスＨＳＴＰを水平走査回路１２の１段目にそれぞれ入力する。垂直走査回路１１によってｊ行目が選択されている間、水平走査回路１２に水平走査クロック信号ＨＣＬＫが順次供給されることにより１〜ｍ列の画素が順次選択され、各画素から読み出しが行われる。ｍ列目の画素読み出しが終わると、水平走査回路１２中の水平走査スタートパルスＨＳＴＰはリセットされる。
【００４６】
（４） 垂直走査回路１１に垂直走査クロック信号ＶＣＬＫが供給されて（ｊ＋１）行目が選択されるとともに、水平走査回路１２の１段目に水平走査スタートパルスＨＳＴＰが入力される。そして、水平走査回路１２に水平走査クロック信号ＨＣＬＫが順次供給されることにより、（ｊ＋１）行目から１〜ｍ列の画素が順次選択され、各画素から信号の読み出しが行われる。
【００４７】
以上の処理を、行間引きを行うことなく、ｋ行目まで繰り返し行うことによって、（ｋ−ｊ＋１）×ｍの全画素を読み出すことができる。読み出された（ｋ−ｊ＋１）×ｍ個の画素信号は、（ｋ−ｊ＋１）×ｍ個の撮像信号ＰＩＸとして後段の画像処理へと入力される。そして、ｋ行目の読み出しが終了すると垂直走査スタートパルスＶＳＴＰが再び垂直走査回路１１に入力されることにより、次のフレームの読み出しがスタートする。
【００４８】
以上のとおり、図６のセンサ駆動によれば、バーコード撮影時に必要な領域における全画素読み出しを行うことによってモニタモードに比べて解像度を高くし、バーコードの認識率を向上させることが可能となる。更に、バーコード撮影モードにおいても読み出される画素の数はあまり多くならないので、素早くバーコード認識を行い、フレームレートを向上させることも可能となる。特にマクロレンズを持たない固定焦点レンズであれば、実際にバーコードが含まれる領域は小さくなり、読み出される画素数も少なくなる。また、バーコード撮像領域をＯＳＤで表示させなくとも、読み出されている領域内にできるだけ大きくバーコードを写せばよいので、ユーザがバーコード認識操作をやりやすくなる。
【００４９】
次に、バーコード検出部２５からの情報をもとにバーコード撮影モードにおける画素読み出し範囲を自動的に決定する方法を説明する。
【００５０】
図７（ａ）及び図７（ｂ）は、ユーザの操作性向上のため、被写体（バーコード）の位置及びサイズに関する情報をもとに画素読み出し範囲を変更する動作を示している。バーコード撮影に切り替えられた直後は、図７（ａ）のとおり、センサをｎ×ｍの全画素を読み出すような駆動に切り替える。そして、先行走査により、垂直走査回路１１の走査範囲を１〜ｎに、水平走査回路１２の走査範囲を１〜ｍにそれぞれ設定する。このときに撮影された画像から、バーコード検出部２５にてバーコードを検出する。バーコードが検出された場合には、図７（ｂ）のように、当該バーコード付近の範囲のみを読み出す駆動に切り替える。具体的には、検出したバーコードの位置及びサイズから画素読み出し範囲を決定する。読み出し範囲が１〜ｊと決定された場合、垂直走査回路１１の走査範囲を１〜ｊに、水平走査回路１２の走査範囲を１〜ｍにそれぞれ設定するのである。これにより、広い撮像範囲から必要範囲のみを自動的に読み出すので、撮影者がバーコードを狭い画角に収めなくてもよい。
【００５１】
図８（ａ）及び図８（ｂ）は、例えば手ぶれの影響を排除するため、被写体（バーコード）の移動方向及び移動量に関する情報をもとに画素読み出し範囲を変更する動作を示している。図８（ａ）によれば、垂直走査回路１１の走査範囲をｉ〜ｊに設定することにより、被写体であるバーコードが画素読み出し範囲の中に収まっている。ところが、手ぶれが生じると、垂直走査回路１１の走査範囲をｉ〜ｊに設定したままでは、図８（ｂ）に太い破線で示すように、被写体が画素読み出し範囲の中に収まらなくなる。そこで、バーコード検出部２５は、連続２フレームの画像から、例えば切り出しシンボルのような目印になる画像を認識し、その移動方向及び移動量を検出する。このように移動が検出されたら、走査モード切替部２１及び駆動タイミング制御部２２は、次のフレームの垂直方向の読み出し開始位置をｋ＝（ｊ＋移動量）に、読み出し終了位置をｌ＝（ｋ＋読み出し幅）に変更するのである。ここで、バーコード検出部２５で検出された移動方向がマイナス方向、移動量がｘであれば、垂直走査スタートパルスＶＳＴＰの入力位置を（ｉ＋ｘ）に変更し、移動方向がプラス方向、移動量がｘであれば垂直走査スタートパルスＶＳＴＰ入力位置を（ｉ−ｘ）に変更する。
【００５２】
以上のとおり、図８（ａ）及び図８（ｂ）にて説明したセンサ駆動によれば、前のフレームから移動量を検出し、読み出し開始位置を変更することによって被写体の移動に追従することができる。また、移動量検出については、従来の撮像装置においてもＭＰＥＧの圧縮符号化等で行っているので、ＭＰＥＧにおける動きベクトルを流用すれば回路規模の増大は少ない。被写体の動き検出に使用するフレームは何フレーム前の信号を使用しても構わない。例えば連続３フレームで移動を検出し、次のフレームから読み出し開始位置を変更してもよい。被写体の移動が検出されなかった場合は、走査モード切替部２１はセンサ駆動の切り替え処理を行わず、前フレームでのセンサ駆動を維持してもよい。また、水平方向にも読み出し範囲を狭くしている場合は、水平方向のみ及び垂直水平両方で動き検出をしてもよい。
【００５３】
さて、上述の実施形態はあくまで一例であり、これに限定されるものではなく、種々の変形が可能である。以下に変形例を説明する。
【００５４】
上述の実施形態はバーコード撮像モードにおいて全ての画素を読み出すこととしているが、必ずしも全ての画素を読み出す必要はない。本発明の特徴的な構成はモニタモードと比較してバーコード撮像モードにおいて同一領域内の撮像信号ＰＩＸの数を多くすること、言い換えれば、読み出された撮像信号ＰＩＸの間隔を狭くすることにあり、その最良の形態として全画素を読み出して撮像信号ＰＩＸの間隔を最小としている。
【００５５】
バーコード撮影用に調整された画像処理モードを用意し、コードの明暗を強調するように露出、階調特性、ホワイトバランス等を調整したり、輪郭を強調するように輪郭強調の補正係数を変更したりしてもよい。また、更にズーム処理を加えることにより、バーコードの占める領域を広くして認識率を高めてもよい。
【００５６】
また、上記実施形態では、垂直走査回路１１及び水平走査回路１２として任意の位置にスタートパルスを入力できるシフトレジスタを用いている。しかし、通常の１行目又は１列目のみにパルス入力が可能なシフトレジスタを用いてもよい。例えば、必要とされる領域に到達するまで水平走査スタートパルスＨＳＴＰを入力せずに垂直走査スタートパルスＶＳＴＰを空送りさせ、必要な領域内では水平走査スタートパルスＨＳＴＰを全て入力し、必要な領域の画素読み出しが終了した後には再び水平走査スタートパルスＨＳＴＰを入力しなければ、必要な領域で全ての画素が読み出される。
【００５７】
また、本発明の対象はバーコードだけでなく、テキスト（例えばＵＲＬ等）や、通常撮影時に任意の範囲を高解像度で撮影したい場合にも有効である。
【００５８】
本発明は、マクロレンズの搭載がコストと実装面積の上で難しい場合でも認識率の高いバーコード撮影が可能であり、カメラ付き携帯電話機において特に有効である。しかしながら、マクロレンズやＡＦ機能を同時に使用することによって、更に認識率を上げることも可能である。
【００５９】
上記実施形態ではモニタモードで画素間引き読み出しを行い、バーコード撮影モードで全画素読み出しを行う例を説明しているが、モニタモードにおいて画素混合読み出しを行う構成としてもよい。画素混合読み出しにおいては複数画素の信号を混合して１つの撮像信号ＰＩＸとする。画素混合読み出しにおいても全画素の読み出しを行う場合はあるが、全画素読み出しとの差異は１つの画素からの画素信号で１つの撮像信号ＰＩＸを構成しているか、複数の画素からの画素信号で１つの撮像信号ＰＩＸを構成しているかにある。すなわち、モニタモードにおいては全画素を読み出すとともに複数の画素からの画素信号で１つの撮像信号ＰＩＸを構成し（画素混合読み出しモード）、バーコード撮影モードにおいては全画素を読み出すとともに１つの画素からの画素信号で１つの撮像信号ＰＩＸを構成するような形態が考えられる。なお、画素混合読み出しは必ずしも全画素を読み出す必要はなく、画素間引きを行いながら読み出した画素信号を混合して１つの撮像信号ＰＩＸを構成するものであっても構わない。
【産業上の利用可能性】
【００６０】
本発明に係る撮像方法及び撮像装置は、バーコード認識機能やテキストリーダ機能付きの携帯電話機等の情報端末に有効である。また、高解像度で残したい画像を撮影する場合にも有効である。
【図面の簡単な説明】
【００６１】
【図１】本発明に係る撮像装置の構成例を示すブロック図である。
【図２】図１の撮像装置における画素読み出し範囲の一例を示す概念図である。
【図３】図２の画素読み出し範囲に対応したモニタモードのタイミング図である。
【図４】図２の画素読み出し範囲に対応したバーコード撮影モードのタイミング図である。
【図５】図１の撮像装置のバーコード撮影モードにおける画素読み出し範囲の一例を示す概念図である。
【図６】図５の画素読み出し範囲に対応したタイミング図である。
【図７】図１の撮像装置にて被写体であるバーコードの位置及びサイズに関する情報をもとに画素読み出し範囲を変更する動作を示す概念図である。
【図８】図１の撮像装置にて被写体であるバーコードの移動方向及び移動量に関する情報をもとに画素読み出し範囲を変更する動作を示す概念図である。
【符号の説明】
【００６２】
１０ 撮像素子
１１ 垂直走査回路
１２ 水平走査回路
２０ ＤＳＰ
２１ 走査モード切替部
２２ 駆動タイミング制御部
２３ 信号処理部
２４ 画像出力部
２５ バーコード検出部
２６ バーコード認識部
ＨＣＬＫ 水平走査クロック信号
ＨＲＮＧ 水平走査レンジ制御信号
ＨＳＴＰ 水平走査スタートパルス
ＰＩＸ 撮像信号
ＶＣＬＫ 垂直走査クロック信号
ＶＲＮＧ 垂直走査レンジ制御信号
ＶＳＴＰ 垂直走査スタートパルス
【特許請求の範囲】
【請求項１】
２次元に配置された複数の画素を有する撮像素子を用いて撮像を行う撮像方法であって、
第１の画素間隔で撮像信号が形成されるモニタモードにて撮像を行うステップと、
前記モニタモードから、第２の画素間隔で撮像信号が形成される画像認識モードへとモード切り替えを行うステップと、
前記画像認識モードにおいて撮像を行うとともに対象画像を認識するステップとを備え、
前記第１の画素間隔と比べて前記第２の画素間隔の方が狭いことを特徴とする撮像方法。
【請求項２】
請求項１記載の撮像方法において、
前記撮像素子の水平方向では前記第１の画素間隔と前記第２の画素間隔とが等しく、かつ前記撮像素子の垂直方向では前記第１の画素間隔と比べて前記第２の画素間隔の方が狭いことを特徴とする撮像方法。
【請求項３】
請求項１記載の撮像方法において、
前記撮像素子の垂直方向と水平方向との双方で、前記第１の画素間隔と比べて前記第２の画素間隔の方が狭いことを特徴とする撮像方法。
【請求項４】
請求項１記載の撮像方法において、
前記画像認識モードは、バーコードを撮影して認識処理を行うバーコード撮影モードであることを特徴とする撮像方法。
【請求項５】
請求項１記載の撮像方法において、
前記撮像信号が形成される前記撮像素子の領域は、前記モニタモードと比べて前記画像認識モードの方が小さいことを特徴とする撮像方法。
【請求項６】
請求項５記載の撮像方法において、
前記撮像信号が形成される前記撮像素子の領域は、前記撮像素子の水平方向では前記モニタモードと前記画像認識モードとで等しく、かつ前記撮像素子の垂直方向では前記画像認識モードの方が前記モニタモードより狭いことを特徴とする撮像方法。
【請求項７】
請求項５記載の撮像方法において、
前記画像認識モードでは、前記撮像信号が形成される前記撮像素子の領域内の全ての画素から画素信号を読み出し、１つの画素から読み出された画素信号によって１つの撮像信号が構成されることを特徴とする撮像方法。
【請求項８】
請求項５記載の撮像方法において、
前記モニタモードでは、前記撮像素子の所定の行を構成する画素を間引いて画素信号の読み出しを行う画素間引き読み出しによって撮像信号を形成することを特徴とする撮像方法。
【請求項９】
請求項５記載の撮像方法において、
前記モニタモードでは、前記撮像素子の複数の画素の各々から読み出された画素信号を混合して１つの撮像信号を構成する画素混合読み出しによって撮像信号を形成することを特徴とする撮像方法。
【請求項１０】
請求項５記載の撮像方法において、
前記撮像素子の全画素領域内から対象画像の位置を検出するステップを更に備え、
前記検出された対象画像の位置に応じて、前記撮像信号が形成される前記撮像素子の領域を決定することを特徴とする撮像方法。
【請求項１１】
請求項５記載の撮像方法において、
時系列的に連続する複数のフレームを用いて前記撮像信号から被写体の動きを検出するステップと、
前記検出された被写体の動きに応じて、前記撮像信号が形成される前記撮像素子の領域を移動するステップとを更に備えたことを特徴とする撮像方法。
【請求項１２】
請求項１１記載の撮像方法において、
前記被写体の動きを検出するステップは、ＭＰＥＧの圧縮符号化における動きベクトルを検出するステップであることを特徴とする撮像方法。
【請求項１３】
請求項１記載の撮像方法において、
前記モニタモードと前記画像認識モードとで、輪郭強調、階調特性、コントラスト、明るさ、ホワイトバランス、露出、ＵＶゲインのうち少なくとも１つを変更することを特徴とする撮像方法。
【請求項１４】
２次元に配置された複数の画素を有する撮像素子と、
前記撮像素子に蓄積された電荷を読み出すために前記撮像素子を駆動する垂直走査回路及び水平走査回路と、
第１の画素間隔で撮像信号が形成されるモニタモードと、第２の画素間隔で撮像信号が形成される画像認識モードとの切り替えを行うための切替手段と、
前記画像認識モードで撮像された対象画像の認識処理を行うための認識手段とを備え、
前記第１の画素間隔と比べて前記第２の画素間隔の方が狭いことを特徴とする撮像装置。
【請求項１５】
請求項１４記載の撮像装置において、
前記垂直走査回路及び前記水平走査回路の各々の動作を制御するための制御手段を更に備え、
前記制御手段は、前記撮像信号が形成される前記撮像素子の領域が前記モニタモードと比べて前記画像認識モードの方が小さくなるように制御することを特徴とする撮像装置。
【請求項１６】
請求項１５記載の撮像装置において、
前記撮像素子の全画素領域内から対象画像の位置を検出するための手段を更に備え、
前記検出された対象画像の位置に応じて、前記撮像信号が形成される前記撮像素子の領域を決定することを特徴とする撮像装置。
【請求項１７】
請求項１５記載の撮像装置において、
時系列的に連続する複数のフレームを用いて前記撮像信号から被写体の動きを検出するための手段を更に備え、
前記検出された被写体の動きに応じて、前記撮像信号が形成される前記撮像素子の領域を移動することを特徴とする撮像装置。
【請求項１】
２次元に配置された複数の画素を有する撮像素子を用いて撮像を行う撮像方法であって、
第１の画素間隔で撮像信号が形成されるモニタモードにて撮像を行うステップと、
前記モニタモードから、第２の画素間隔で撮像信号が形成される画像認識モードへとモード切り替えを行うステップと、
前記画像認識モードにおいて撮像を行うとともに対象画像を認識するステップとを備え、
前記第１の画素間隔と比べて前記第２の画素間隔の方が狭いことを特徴とする撮像方法。
【請求項２】
請求項１記載の撮像方法において、
前記撮像素子の水平方向では前記第１の画素間隔と前記第２の画素間隔とが等しく、かつ前記撮像素子の垂直方向では前記第１の画素間隔と比べて前記第２の画素間隔の方が狭いことを特徴とする撮像方法。
【請求項３】
請求項１記載の撮像方法において、
前記撮像素子の垂直方向と水平方向との双方で、前記第１の画素間隔と比べて前記第２の画素間隔の方が狭いことを特徴とする撮像方法。
【請求項４】
請求項１記載の撮像方法において、
前記画像認識モードは、バーコードを撮影して認識処理を行うバーコード撮影モードであることを特徴とする撮像方法。
【請求項５】
請求項１記載の撮像方法において、
前記撮像信号が形成される前記撮像素子の領域は、前記モニタモードと比べて前記画像認識モードの方が小さいことを特徴とする撮像方法。
【請求項６】
請求項５記載の撮像方法において、
前記撮像信号が形成される前記撮像素子の領域は、前記撮像素子の水平方向では前記モニタモードと前記画像認識モードとで等しく、かつ前記撮像素子の垂直方向では前記画像認識モードの方が前記モニタモードより狭いことを特徴とする撮像方法。
【請求項７】
請求項５記載の撮像方法において、
前記画像認識モードでは、前記撮像信号が形成される前記撮像素子の領域内の全ての画素から画素信号を読み出し、１つの画素から読み出された画素信号によって１つの撮像信号が構成されることを特徴とする撮像方法。
【請求項８】
請求項５記載の撮像方法において、
前記モニタモードでは、前記撮像素子の所定の行を構成する画素を間引いて画素信号の読み出しを行う画素間引き読み出しによって撮像信号を形成することを特徴とする撮像方法。
【請求項９】
請求項５記載の撮像方法において、
前記モニタモードでは、前記撮像素子の複数の画素の各々から読み出された画素信号を混合して１つの撮像信号を構成する画素混合読み出しによって撮像信号を形成することを特徴とする撮像方法。
【請求項１０】
請求項５記載の撮像方法において、
前記撮像素子の全画素領域内から対象画像の位置を検出するステップを更に備え、
前記検出された対象画像の位置に応じて、前記撮像信号が形成される前記撮像素子の領域を決定することを特徴とする撮像方法。
【請求項１１】
請求項５記載の撮像方法において、
時系列的に連続する複数のフレームを用いて前記撮像信号から被写体の動きを検出するステップと、
前記検出された被写体の動きに応じて、前記撮像信号が形成される前記撮像素子の領域を移動するステップとを更に備えたことを特徴とする撮像方法。
【請求項１２】
請求項１１記載の撮像方法において、
前記被写体の動きを検出するステップは、ＭＰＥＧの圧縮符号化における動きベクトルを検出するステップであることを特徴とする撮像方法。
【請求項１３】
請求項１記載の撮像方法において、
前記モニタモードと前記画像認識モードとで、輪郭強調、階調特性、コントラスト、明るさ、ホワイトバランス、露出、ＵＶゲインのうち少なくとも１つを変更することを特徴とする撮像方法。
【請求項１４】
２次元に配置された複数の画素を有する撮像素子と、
前記撮像素子に蓄積された電荷を読み出すために前記撮像素子を駆動する垂直走査回路及び水平走査回路と、
第１の画素間隔で撮像信号が形成されるモニタモードと、第２の画素間隔で撮像信号が形成される画像認識モードとの切り替えを行うための切替手段と、
前記画像認識モードで撮像された対象画像の認識処理を行うための認識手段とを備え、
前記第１の画素間隔と比べて前記第２の画素間隔の方が狭いことを特徴とする撮像装置。
【請求項１５】
請求項１４記載の撮像装置において、
前記垂直走査回路及び前記水平走査回路の各々の動作を制御するための制御手段を更に備え、
前記制御手段は、前記撮像信号が形成される前記撮像素子の領域が前記モニタモードと比べて前記画像認識モードの方が小さくなるように制御することを特徴とする撮像装置。
【請求項１６】
請求項１５記載の撮像装置において、
前記撮像素子の全画素領域内から対象画像の位置を検出するための手段を更に備え、
前記検出された対象画像の位置に応じて、前記撮像信号が形成される前記撮像素子の領域を決定することを特徴とする撮像装置。
【請求項１７】
請求項１５記載の撮像装置において、
時系列的に連続する複数のフレームを用いて前記撮像信号から被写体の動きを検出するための手段を更に備え、
前記検出された被写体の動きに応じて、前記撮像信号が形成される前記撮像素子の領域を移動することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−２３５７１９（Ｐ２００６−２３５７１９Ａ）
【公開日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願番号】特願２００５−４５６０６（Ｐ２００５−４５６０６）
【出願日】平成１７年２月２２日（２００５．２．２２）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願日】平成１７年２月２２日（２００５．２．２２）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]