説明

撮像素子及び撮像装置

【課題】
画像の画質劣化を抑えつつ、通信の感度低下や手ぶれの影響等を抑えて、可視光通信を行なう。
【解決手段】
撮像素子103上に画像取得用画素132と通信用受光部131を設け、画像取得用画素132は画像を撮像するために格子状に配列された画素配列とし、通信用受光部131は少なくとも2つの画像取得用画素を取り囲む領域よりも広範囲に広がっていると共に前記画像取得用画素の隙間に入り込む形状を有する構造とし、通信用受光部のサンプリングレートを画像取得用画素のサンプリングレートより速くする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像素子及び撮像装置に関し、具体的には、可視光通信における受信装置としての機能を有する撮像素子及び撮像装置に関する。
【背景技術】
【0002】
近年、可視光を利用した各種の情報伝送及び通信が注目されている。このような情報伝送及び通信は可視光通信と呼ばれ、可視光の波動性(明るさの強弱)を利用して情報を伝達し、通信を行うものである。
【0003】
可視光を発する装置は、オフィスや家の中の照明、道路上の照明、交通信号機や広告用電光掲示板、ディスプレー、電子機器の表示など、様々な場所に設置されている。近年、これら装置において可視光発光素子としてLEDが使用されるようになってきている。可視光発光素子にLEDが使用されることにより、従来の蛍光灯ではできなかった高速での点滅が可能となる。可視光発光素子を人の目には感じられない程のスピードで高速に点滅させることにより、可視光通信の送信装置としてデータを送信できるようになる(例えば非特許文献1参照)。
【0004】
このような可視光通信における受信装置として、被写体を撮像するイメージセンサを使用することが提案されている。しかしながら、イメージセンサはサンプリング速度の高速化が難しいという欠点がある(例えば非特許文献2参照)。
【0005】
上記欠点を克服する方法として以下の方法が提案されている。
【0006】
特許文献1では、イメージセンサを構成する複数の画素のうちの特定の画素をあらかじめ通信用画素と定め、専用の読み出し経路を設けることで読み出し速度を高速化する方法が提案されている。
【0007】
特許文献2では、イメージセンサを構成する複数の画素のうち、特定の画素をあらかじめ通信用画素と定め、イメージセンサからの読み出し時には通信用画素については1フレーム中で複数回の読み出しを行なうことにより読み出し速度を上げることが提案されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2006−166373
【特許文献2】WO2006−048987
【非特許文献】
【0009】
【非特許文献1】http://www.vlcc.net/modules/pico2/index.php?content_id=1(2009年3月2日検索)
【非特許文献2】http://www.vlcc.net/modules/pico2/index.php?content_id=28(2009年3月2日検索)
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、特許文献1に記載の方法では、一部の画素を専ら通信に使用してしまうので、その画素位置の画像データが取得できず、画像が劣化するという課題があった。
【0011】
また、通信用として使用する画素は通常の撮像用として使用する画素よりも読み出しサイクルが短いので、露光時間が少なくなり、感度が足りなくなるという課題もあった。
【0012】
さらに、比較的小さいエリアの点光源から通信信号である光を受光する場合には、手ぶれ等により撮像位置が変化してしまうと、受光していた画素に光が入らなくなり、通信ができなくなってしまう。また、広告用電光掲示板が発する光を通信信号として受光する場合には、被写体である広告用電光掲示板の表している広告には絵柄があるため、手ぶれ等により撮像位置が変化してしまうと被写体の明暗を通信信号の明暗であると誤認識してしまい、通信精度が得られないという課題があった。
【0013】
特許文献2に記載の方法では通常時と通信時とで読み出しモードを変更できるというメリットがあるものの、通信用に指定した画素は通信信号を読み出すごとにリセットされるため、通信時にはその位置の画像データが取得できず画像が劣化してしまうという課題があった。また、感度や手ぶれの影響に関しても特許文献1と同様の課題があった。
【0014】
本発明は上記課題を解決するためになされたものであり、画質を劣化させることなく画像を撮像しながら、画像を撮像するフレームレートより高速なサンプリングを行ないつつ、通信信号に対する感度の劣化を抑えることのできる撮像素子及び撮像装置を提供することを目的とする。また、本発明は、比較的小さいエリアの点光源から通信信号を受信する場合において手ぶれ等により撮像位置が変化してしまっても通信を確保できる撮像素子及び撮像装置を提供することを目的とする。さらに、本発明は、電光掲示板から通信信号を受信する場合において、手ぶれ等により電光掲示板の表している絵柄の撮像位置が変化してしまっても、絵柄の明暗の影響を受けにくく、通信精度を確保できる撮像素子及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明の撮像素子は、入力光を光電変換して電気信号に変換する撮像素子であって、被写体画像を撮像するための複数の画像取得用画素と、通信信号として発せられた可視光又は近赤外光を受光するための通信用受光部とを有し、前記複数の画像取得用画素は格子状に配列された画素配列であり、前記通信用受光部は、少なくとも2つの画像取得用画素を取り囲む領域よりも広範囲に広がっていると共に前記画像取得用画素の隙間に入り込む形状を有し、前記通信用受光部のサンプリングレートが前記画像取得用画素のサンプリングレートより速いという構成を有している。
【0016】
この構成により、通信用受光部が、画像取得用画素の隙間に入り込む形状を有しているので、画像取得用画素の配列を格子状に保つことができ、画像取得用画素による画像取得を妨げずに通信信号を受信できる。また、通信用受光部が少なくとも2つの画像取得用画素を取り囲む領域よりも広範囲に広がっているので、通信信号となる可視光又は近赤外光が小さい光源から発せられる場合に、当該小さい光源を広い範囲の通信用受光部において捉えることができる。さらに、通信用受光部が少なくとも2つの画像取得用画素を取り囲む領域よりも広範囲に広がっているので、通信信号となる可視光又は近赤外光が電光掲示板のように絵柄を有する画像である場合に、絵柄を構成する複数の画素からの光を広い範囲の通信用受光部で受光できる。
【0017】
また、本発明の撮像素子において、前記通信用受光部は、1つの信号線によって通信信号が読み出される構成を有している。
【0018】
この構成により、通信用受光部により得られた通信信号を容易に取得できる。
【0019】
また、本発明の撮像素子において、前記通信用受光部は、前記複数の画像取得用画素の各々を囲むように形成されているという構成を有している。
【0020】
この構成により、画像取得用画素による画像取得を妨げることなく通信用受光部の面積を広く確保できる。
【0021】
さらに、本発明の撮像装置は、レンズと、前記レンズを通して入力される光を光電変換して電気信号に変換する撮像素子と、前記撮像素子からの画像読み出しデータを処理する画像信号処理部と、前記撮像素子から得られる通信信号を処理する通信信号処理部とを有し、前記撮像素子は被写体を撮像するための複数の画像取得用画素と、通信信号として発せられた可視光又は近赤外光を受光する通信用受光部とを有し、前記複数の画像取得用画素は格子状に配列された画素配列であり、前記通信用受光部は、少なくとも2つの画像取得用画素を取り囲む領域よりも広範囲に広がっていると共に前記画像取得用画素の隙間に入り込む形状を有し、前記通信用受光部のサンプリングレートが前記画像取得用画素のサンプリングレートより速いという構成を有している。
【0022】
この構成により、通信用受光部が、画像取得用画素の隙間に入り込む形状を有しているので、画像取得用画素の配列を格子状に保つことができ、画像取得用画素による画像取得を妨げずに通信信号を受信できる。また、通信用受光部が少なくとも2つの画像取得用画素を取り囲む領域よりも広範囲に広がっているので、通信信号となる可視光又は近赤外光が小さい光源から発せられる場合に、当該小さい光源を広い範囲の通信用受光部において捉えることができる。さらに、通信用受光部が少なくとも2つの画像取得用画素を取り囲む領域よりも広範囲に広がっているので、通信信号となる可視光又は近赤外光が電光掲示板のように絵柄を有する画像である場合に、絵柄を構成する複数の画素からの光を広い範囲の通信用受光部で受光できる。
【0023】
また、本発明の撮像装置では、画像取得用の信号経路と、通信用の信号経路とが互いに独立しているという構成を有している。
【0024】
この構成により、画像取得用画素のサンプリングレートに影響を与えることなく通信用のサンプリングレートを高速化できる。
【0025】
さらに、本発明の撮像装置は、通常時には通信通知信号として発せられた可視光又は近赤外光を前記画像取得用画素にて受け取り、前記通信通知信号に基づいて前記可視光又は近赤外光の中に高速通信信号が含まれると判断したときに前記通信用受光部の動作を開始するという構成を有している。
【0026】
この構成により、高速で転送されている情報があるときのみ撮像素子の通信用受光部を動作できる。
【0027】
さらに、本発明の撮像装置は、前記通信通知信号に含まれる送信速度の情報に応じて前記通信用受光部のサンプリングレートを設定するという構成を有している。
【0028】
この構成により、転送されている情報の速度に合わせて撮像素子の通信用受光部の動作速度を設定できる。
【発明の効果】
【0029】
本発明は、通信用受光部が、少なくとも2つの画像取得用画素を取り囲む領域よりも広範囲に広がっていると共に前記画像取得用画素の隙間に入り込む形状を有しているので、通信時にも画像の劣化はなく、感度が十分に確保できるとともに、比較的小さい光源との通信の場合において手ぶれ等により撮像位置が変化してしまっても通信を確保でき、電光掲示板との通信の場合において手ぶれ等により撮像位置が変化してしまっても、通信精度を確保できるという効果を有する撮像素子及び撮像装置を提供することができるものである。
【図面の簡単な説明】
【0030】
【図1】本発明の第1の実施の形態における撮像素子の構成図
【図2】本発明の第1の実施の形態における撮像装置のブロック図
【図3】(a)本発明の第1の実施の形態におけるタイミング図 (b)(a)の部分拡大図
【図4】本発明の第1の実施の形態における撮像装置の使用説明図
【図5】本発明の第2の実施の形態における撮像装置のブロック図
【発明を実施するための形態】
【0031】
以下、本発明の実施の形態について、図面を用いて説明する。
【0032】
(第1の実施の形態)
本実施の形態では、撮像装置として、電子カメラモジュールを例に説明する。電子カメラモジュール100は、例えば携帯電話、デジタルカメラ、PDA(Personal Digital Assistant)等の携帯端末機器に搭載される。
【0033】
図1は、本発明の第1の実施の形態の撮像素子102の構成図であり、図2は、本発明の第1の実施の形態における電子カメラモジュール100のブロック図である。最初に図2を参照して本実施の形態の電子カメラモジュール100の全体構成について説明する。
【0034】
図2に示すように、第1の実施の形態の撮像装置である電子カメラモジュール100は、レンズ101と、撮像素子102と、信号処理部103とを有する。撮像素子102は、複数の画像取得用画素132と水平読み出し部133とを有する画像取得部130と、通信用受信部131とを備えている。信号処理部103は、画像信号処理部104と通信信号処理部120とを有し、画像信号処理部104は、さらに前処理部110と、輝度系信号処理部112と色差系信号処理部113と出力制御部114とを有する。
【0035】
レンズ101は被写体からの光学像を撮像素子102に結像する。レンズ101を通った光学像は撮像素子102に照射される。
【0036】
図1を参照して、撮像素子102について説明する。図1に示すように、撮像素子102は、図の横方向に並べられて図の縦方向に伸びる複数の列読み出し線1341〜1348(以下、特に各線を区別しない場合は符号「134」を用いる。)と、図の縦方向に並べられて図の横方向に伸びる複数の行選択信号線1351〜1358(以下、特に各線を区別しない場合は符号「135」を用いる。)と、複数の列読み出し線134と複数の行選択信号線135のそれぞれの交点に対応して設けられた複数の画像取得用画素132と、複数の列読み出し線134が接続される水平読み出し部133とを有する。画像取得用画素132は格子状に2次元配列されている。画像取得用画素132は、R画素、Gr画素、Gb画素、及びB画素からなり、各画素は、R画素とGr画素を持つラインとB画素とGb画素を持つラインがライン毎に交互に配置されたベイヤー配列にて配列されている。水平読み出し部133から画像読み出し信号線136が引き出されている。なお、図1では、説明の便宜のために8行8列の画像取得用画素132を示しているが、より多くの画像取得用画素を有する撮像素子にも本発明を適用できることはもちろんである。
【0037】
撮像素子102には、1つの通信用受光部131が設けられている。通信用受光部131は、すべての画像取得用画素132のうちの少なくとも一部の複数の画像取得用画素が存在する撮像面上の2次元エリア(即ち複数の画像取得用画素を取り囲むエリア)よりも広範囲に広がって配置されている。図1の例では、4行4列の画素範囲に広がって通信用受光部131が配置されている。そして、通信用受光部131は、複数の画像取得用画素132の各々の隙間に入り込むように形成されることで、格子状を呈している。図1の例では、通信用受光部131は、第2の行選択信号線1352から第6の行選択信号線1356及び第3の列読み出し線1343から第7の列読み出し線1347によって囲まれる領域に2次元配列された画像取得用画素132の各々の間に形成されることで、格子状に形成されている。また、通信用受光部131は、すべての画像取得用画素132のうちの少なくとも一部の2次元配列された複数の画像取得用画素132の各々を囲むように形成されている。図1の例では、通信用受光部131は、第2の行選択信号線1352と第6の行選択信号線1356及び第3の列読み出し線1343と第7の列読み出し線1347によって囲まれる領域に2次元配列された画像取得用画素132の各々を囲むように形成されている。通信用受光部131からは通信読み出し信号線137が引き出されている。
【0038】
R画素、Gr画素、B画素、Gb画素からなる画像取得用画素132の各画素で生成された信号は、各画素が行選択信号により選択さることで、列読み出し線134を通って水平読み出し部133に出力され、水平読み出し部133から画像読み出し信号として出力される。
【0039】
水平読み出し部133より出力された画像読み出し信号は、画像読み出し信号線136を介して信号処理部103の前処理部110に入力される。前処理部110に入力された信号は、前処理部110で前処理が施された後、輝度系信号処理部112及び色差系信号処理部113にそれぞれ入力される。輝度系信号処理部112では輝度に関する処理が施され、色差系信号処理部113では色差に関する処理が施される。輝度系信号処理部112で処理された信号及び色差系信号処理部113で処理された信号はそれぞれ出力制御部114に入力され、出力制御部114において同期信号とともに合成されて画像データとして外部へ出力される。
【0040】
通信用受光部131で受光された通信信号は、通信読み出し信号線137を介して通信信号処理部120に入力され、通信信号処理部120で処理されて、外部へ出力される。
【0041】
図3は、撮像素子102からの読み出し信号のタイミング図である。図3(a)に示すように、1枚の画像データ信号は垂直同期信号ごとに出力される。図3(b)は図3(a)の点線で囲まれた部分を拡大した図である。図3(b)に示すように、1枚の画像データはライン毎に1H、2H、3H・・・と順次出力される。通信データは、画像データの読み出し周期とは無関係に、1、2、3、4・・・と高速で読み出されて転送される。
【0042】
図1に示すように、通信信号用の読み出し経路は、通信用受光部131から通信読み出し信号線137を経て通信信号処理部120に至るという経路で構成される。また、画像取得用の読み出し経路は、画像取得用画素132から水平読み出し部133、画像読み出し信号線136を経て画像信号処理部104に至るという経路で構成される。このように、両経路は互いに独立している。
【0043】
図4は、電子カメラモジュール100を搭載した携帯電話500使用して、LEDで構成される電光掲示板を撮像している様子を示す図である。電光掲示板40は例えば広告を表示するのに用いられる。電光掲示板40は広告の表示とは別にユーザーに送りたい情報を通信信号として変調し、LEDの輝度の変化として発出している。電光掲示板40では、各画素の光源としてLEDを採用し、すべての画素のLEDの輝度が通信信号に対応するように高速で点滅している。この点滅速度は、人の目では認識できない程度に十分に速い速度である。ユーザーは携帯電話500を電光掲示板40に向けることで、通信用受光部131を使用して高速で点滅するLEDから情報を取得できる。
【0044】
この際、通信用受光部131が広範囲に広がって配置されているので、電光掲示板40の複数の画素の点滅を通信用受光部131で検知することになる。よって、手ぶれ等により携帯電話500が揺れて撮像範囲が若干変わっても、電光掲示板40が点灯しているときに通信用受光部131全体で受ける光量の変化は小さく、手ぶれの影響が少なくなる。これにより、通信精度が確保される。
【0045】
なお、本実施の形態の撮像素子又は撮像装置は、通信信号を発する光源が点光源である場合にも有効である。光源が点光源である場合には、当該点光源は可視光又は近赤外光の強弱によって通信信号を伝達し、撮像装置では通信用受光部にてその可視光又は近赤外光を受光することで通信信号を受信する。
【0046】
また、本実施の形態では、4行4列の画像取得用画素132に対応して、外郭が正方形の通信用受光部131が形成されているが、これに限られない。通信用受光部131は、少なくとも2つの画像取得用画素を取り囲む領域よりも広範囲に広がっていればよい。例えば、3行4列や5行4列等の画像取得用画素132に対応して長方形の通信用受光部を形成してもよい。また、2行2列や3行3列の画像取得用画素132に対応するより小さな通信用受光部を形成してもよい。さらに、5行5列や6行6列の画像取得用画素132に対応するより大きな通信用受光部を形成してもよい。また、画像取得用画素132が形成された全面の領域にわたって、画像取得用画素132を避けるように格子状に通信用受光部を形成してもよい。さらに、このような通信用受光部131が複数設けられていてもよい。
【0047】
以上のように、本実施の形態によれば、通信用受光部131が画像取得用画素132とは別に、画像取得用画素132を避けるようにして形成されているので、画像の取得において画像を劣化させることはなく、通信用受光部131については画像取得用画素132のサンプリングレートよりも高速のレートでサンプリングできる。また、通信用受光部131が複数の画像取得用画素132を取り囲む領域よりも広範囲に広がっているので、通信信号を発する光源が点光源のように小さな光源である場合に、通信信号の受信において撮像素子102が手ぶれによって揺れたとしても、小さい光源を広い受光範囲の一部において捉えることができるので、確実に通信信号を通信用受光部131で捉えることができ、通信を確保できる。さらに、信用受光部131が複数の画像取得用画素132を取り囲む領域よりも広範囲に広がっているので、通信信号を発する光源が電光掲示板のように絵柄を有するものである場合に、通信信号の受信において撮像素子102が手ぶれによって揺れたとしても、絵柄を構成する複数の画素からの光を通信用受光部131で受光できるので、被写体の絵柄による明暗の変化を通信信号と誤認識しにくくなり、通信精度が確保できる。さらに、通信信号用の読み出し経路と画像取得用の読み出し経路とは互いに独立しているので、画像取得用画素のサンプリングレートに影響を与えることなく通信用のサンプリングレートを高速化でき、通信信号を、画像読み出しサイクルとは関係なく、画像読み出しのためのライン周波数よりも高速に読み出すことできる。
【0048】
(第2の実施の形態)
図5は、本発明の第2の実施の形態における撮像装置のブロック図である。第1の実施の形態と同様の構成については、同一の符号を付してその説明は省略する。第2の実施の形態の撮像装置には、第1の実施の形態の撮像装置の構成に加えて、低速通信信号処理部140が設けられている。
【0049】
この撮像装置200も第1の実施の形態と同様に、電光掲示板を撮像することで、撮像素子102中の通信用受光部131によって電光掲示板のLEDの輝度変化から通信情報を取得する。ただし、本実施の形態の撮像装置200は、通信用受光部131での受光を開始する前に、撮像素子102中の画像取得用画素132によって、通信情報があることを検知する点で第1の実施の形態の撮像装置と異なる。このために、電光掲示板40は画像取得用画素132のサンプリング周期で検知できる周期の低速のLEDの輝度変化による信号を通信通知信号として発出する。
【0050】
撮像装置200の低速通信信号処理部140は、画像取得用画素132で得られたこの低速の輝度変化(通信通知信号)から、高速で転送されている情報があるか否かの情報を入手する。そして、低速通信信号処理部140にて高速で転送されている情報があると判断された場合にのみ、撮像素子102の通信用受光部131の読み出し動作を開始する。読み出された信号は、第1の実施の形態と同様に通信信号処理部120で処理される。
【0051】
第2の実施の形態の撮像装置200によれば、高速で転送されている情報があるときのみ撮像素子102の通信用受光部131が動作するので、消費電力が抑えられる。
【0052】
本実施の形態において、通信通知信号に通信速度に関する情報を含めてもよい。この場合、低速通信信号処理部140は、通信速度に関する情報を入手し、その速度に応じて撮像素子102の通信用受光部131の読み出し速度を最適化する。これにより、転送されている情報の速度に合わせて撮像素子102の通信用受光部131の動作速度を設定できるので、通信用受光部131を不必要に高速に動作させずに済み、消費電力が抑えられる。
【産業上の利用可能性】
【0053】
本発明にかかる撮像素子又は撮像装置は、通信時にも画像の劣化がなく、通信の感度の劣化や手ぶれ等による影響を少なくできるので、画像を取得しつつ、可視光や近赤外光による通信を行なうための撮像素子又は撮像装置等として有用である。
【符号の説明】
【0054】
100 電子カメラモジュール
101 レンズ
102 撮像素子
103 信号処理部
104 画像信号処理部
120 通信信号処理部
130 画像取得部
131 通信用受光部
132 画像取得用画素
140 低速通信信号処理部

【特許請求の範囲】
【請求項1】
入力光を光電変換して電気信号に変換する撮像素子であって、被写体画像を撮像するための複数の画像取得用画素と、通信信号として発せられた可視光又は近赤外光を受光するための通信用受光部とを有し、前記複数の画像取得用画素は格子状に配列された画素配列であり、前記通信用受光部は、少なくとも2つの画像取得用画素を取り囲む領域よりも広範囲に広がっていると共に前記画像取得用画素の隙間に入り込む形状を有し、前記通信用受光部のサンプリングレートが前記画像取得用画素のサンプリングレートより速いことを特徴とする撮像素子。
【請求項2】
前記通信用受光部は、1つの信号線によって通信信号が読み出されることを特徴とする請求項1に記載の撮像素子。
【請求項3】
前記通信用受光部は、前記少なくとも2つの画像取得用画素の各々を囲むように形成されていることを特徴とする請求項1又は2に記載の撮像素子。
【請求項4】
撮像装置であって、レンズと、前記レンズを通して入力される光を光電変換して電気信号に変換する撮像素子と、前記撮像素子からの画像読み出しデータを処理する画像信号処理部と、前記撮像素子から得られる通信信号を処理する通信信号処理部とを有し、
前記撮像素子は、被写体画像を撮像するための複数の画像取得用画素と、通信信号として発せられた可視光又は近赤外光を受光するための通信用受光部とを有し、前記複数の画像取得用画素は格子状に配列された画素配列であり、前記通信用受光部は、少なくとも2つの画像取得用画素を取り囲む領域よりも広範囲に広がっていると共に前記画像取得用画素の隙間に入り込む形状を有し、前記通信用受光部のサンプリングレートが前記画像取得用画素のサンプリングレートより速いことを特徴とする撮像装置。
【請求項5】
画像取得用の信号経路と、通信用の信号経路とが互いに独立していることを特徴とする請求項4に記載の撮像装置。
【請求項6】
通常時には通信通知信号として発せられた可視光又は近赤外光を前記画像取得用画素にて受け取り、前記通信通知信号に基づいて前記可視光又は近赤外光の中に高速通信信号が含まれると判断したときに前記通信用受光部の動作を開始することを特徴とする請求項4に記載の撮像装置。
【請求項7】
前記通信通知信号に含まれる送信速度の情報に応じて前記通信用受光部のサンプリングレートを設定することを特徴とする請求項6に記載の撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2010−268264(P2010−268264A)
【公開日】平成22年11月25日(2010.11.25)
【国際特許分類】
【出願番号】特願2009−118380(P2009−118380)
【出願日】平成21年5月15日(2009.5.15)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】