撮像装置、撮像方法及びプログラム
【課題】可視光通信用と画像撮影用の撮像部の視差を考慮し、且つ撮影条件等が異なる場合であっても正確に一方の撮像部で得た情報を他方の画像に正確に反映させる。
【解決手段】可視光通信用の第１の撮影部IS１と、第１の撮影部IS１と近接配置された画像撮影用の第２の撮影部IS２と、第１の撮影部IS１で得る画像中から可視光通信の光源箇所を特定し、情報を復調する可視光通信復調系15,16,26,27と、第１及び第２の撮影部IS１，IS２の各撮影画角と、第１及び第２の撮影部IS１，IS２の各解像度の比とにより可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正する座標変換処理部28と、可視光通信復調系15,16,26,27で復調した情報を、座標変換処理部28で補正した位置に応じて第２の撮影部IS２で得た画像上に合成する画像処理部31と、画像処理部31で合成した画像を表示する表示部21とを備える。
【解決手段】可視光通信用の第１の撮影部IS１と、第１の撮影部IS１と近接配置された画像撮影用の第２の撮影部IS２と、第１の撮影部IS１で得る画像中から可視光通信の光源箇所を特定し、情報を復調する可視光通信復調系15,16,26,27と、第１及び第２の撮影部IS１，IS２の各撮影画角と、第１及び第２の撮影部IS１，IS２の各解像度の比とにより可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正する座標変換処理部28と、可視光通信復調系15,16,26,27で復調した情報を、座標変換処理部28で補正した位置に応じて第２の撮影部IS２で得た画像上に合成する画像処理部31と、画像処理部31で合成した画像を表示する表示部21とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可視光通信技術を用いた撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【０００２】
ＬＥＤ等の光源を用い、可視光を高周波で点滅して発光させることで任意の情報を発信し、これをフォトダイオード等の受光素子あるいは固体イメージセンサで受信して、発光高に重畳されている情報を復調する可視光通信に関する技術が実用化に向けて種々考えられている。
【０００３】
近年広く一般に普及しているデジタルカメラあるいは携帯電話端末に搭載されたカメラ機能では、ＣＣＤやＣＭＯＳ等の固体イメージセンサを用いており、固体イメージセンサで可視光通信の受信機能を実現すれば、上記デジタルカメラあるいは携帯電話端末の用途をより広げることが可能となる。
【０００４】
ところで、上記可視光通信では、人間の肉眼では到底視認不可能な数千［Ｈｚ］のオーダーで輝度が変化するものであり、固体イメージセンサもそのオーダーに対応して少なくとも２倍のフレームレートで走査駆動されることになる。
【０００５】
そのように光源側の輝度変化を撮像するのには充分なフレームレートで走査駆動した場合、撮影画像中の可視光通信で輝度が変化している位置以外では全くの露光不足となるので、全体の画像をモニタ画面に表示させることはできない。
【０００６】
反対に、モニタ画面に表示させることを目的としたビデオフレームレート、例えば３０［フレーム／秒］で撮影を行なう場合には、当然ながら可視光通信での受信動作を行なうことは非常に困難である。
【０００７】
上記の如く予想される問題に対し、本願発明者は可視光通信用と画像撮影用の２系統の撮像部を備えてそれぞれの撮影動作を並列的に制御することにより、可視光通信と画像撮影とを両立可能とした提案を行なっている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−０２０２９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記特許文献に記載した技術においては、可視光通信用と画像撮影用とで、固体撮像素子で必要とされる解像度が大きく異なるため、可視光通信用の撮像部で得た画像中の光源の位置と、画像撮影用の撮像部で得た画像中の光源の位置とでは座標系が相違するので、両光源の位置を一致させる点において課題が残されている。
【００１０】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、可視光通信用と画像撮影用の２つの撮像部の撮影条件等が異なる場合であっても正確に一方の撮像部で得た情報を他方の画像に正確に反映させることにある。
【課題を解決するための手段】
【００１１】
請求項１記載の発明は、第１の撮影部と、上記第１の撮影部で得る画像中から時間的な輝度変化を生じている箇所を特定し、当該箇所での輝度変化から情報を復調する可視光通信受信手段と、上記第１の撮影部と平行した撮影光軸をもって近接配置された第２の撮影部と、上記第１及び第２の撮影部の各撮影画角と、上記第１及び第２の撮影部の各解像度の比とにより上記可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正する位置補正手段と、上記可視光通信受信手段で復調した情報を、上記位置補正手段で補正した位置に応じて上記第２の撮影部で得た画像上に合成する画像合成手段と、上記画像合成手段で合成した画像を表示する表示手段とを具備したことを特徴とする。
【００１２】
請求項２記載の発明は、上記請求項１記載の発明において、上記第２の撮影部は、撮影画角を可変するズーム機能を有し、上記第２の撮影部のズーム機能で設定されている撮影画角を取得する画角取得手段をさらに具備し、上記位置補正手段は、上記画角取得手段で得た第２の撮影部の撮影画角を用いて上記可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正することを特徴とする。
【００１３】
請求項３記載の発明は、上記請求項１記載の発明において、上記位置補正手段は、予め記憶しているルックアップテーブルを参照して上記可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正することを特徴とする。
【００１４】
請求項４記載の発明は、第１の撮影部と、上記第１の撮影部と平行した撮影光軸をもって近接配置された第２の撮影部とを備えた撮像装置での撮像方法であって、上記第１の撮影部で得る画像中から時間的な輝度変化を生じている箇所を特定し、当該箇所での輝度変化から情報を復調する可視光通信受信工程と、上記第１及び第２の撮影部の各撮影画角と、上記第１及び第２の撮影部の各解像度の比とにより上記可視光通信受信工程で特定した時間的な輝度変化を生じている箇所の位置を補正する位置補正工程と、上記可視光通信受信工程で復調した情報を、上記位置補正工程で補正した位置に応じて上記第２の撮影部で得た画像上に合成する画像合成工程と、上記画像合成工程で合成した画像を出力する表示工程とを有したことを特徴とする。
【００１５】
請求項５記載の発明は、第１の撮影部と、上記第１の撮影部と平行した撮影光軸をもって近接配置された第２の撮影部とを備えた撮像装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、上記第１の撮影部で得る画像中から時間的な輝度変化を生じている箇所を特定し、当該箇所での輝度変化から情報を復調する可視光通信受信手段、上記第１及び第２の撮影部の各撮影画角と、上記第１及び第２の撮影部の各解像度の比とにより上記可視光通信受信工程で特定した時間的な輝度変化を生じている箇所の位置を補正する位置補正手段、上記可視光通信受信手段で復調した情報を、上記位置補正手段で補正した位置に応じて上記第２の撮影部で得た画像上に合成する画像合成手段、及び上記画像合成手段で合成した画像を表示する表示手段として機能させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、可視光通信用と画像撮影用の２つの撮像部の撮影条件等が異なる場合であっても正確に一方の撮像部で得た情報を他方の画像に正確に反映させることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係るカメラ機能を備えた携帯電話端末の回路構成を示すブロック図。
【図２】同実施形態に係る可視光通信撮像時の処理内容を示すフローチャート。
【図３】同実施形態に係る撮影画像と通信画像の各光源位置座標の関係を例示する図。
【図４】同実施形態に係る撮影画像と通信画像の各光源位置座標の関係を例示する図。
【図５】同実施形態に係る撮影画像と通信画像の各光源位置座標の関係を例示する図。
【図６】同実施形態に係る撮影画像と通信画像の各光源位置座標の関係を例示する図。
【図７】同実施形態に係る合成表示画像を例示する図。
【図８】同実施形態に係るズーム撮影時の撮影画像と通信画像の各光源位置座標の関係を例示する図。
【図９】同実施形態に係るズーム撮影時の撮影画像と通信画像の各光源位置座標の関係を例示する図。
【発明を実施するための形態】
【００１８】
以下、本発明をカメラ機能を備えた携帯電話端末に適用した場合の一実施形態について図面を参照して詳細に説明する。
【００１９】
図１は、本実施形態に係る携帯電話端末１０の機能回路構成を示す。この携帯電話端末１０は、可視光通信用と画像撮影用の２系統の撮像部ＩＳ１，ＩＳ２を有する。
可視光通信用の撮像部ＩＳ１では、光学レンズ部１１で被写体の光像をイメージセンサ１２上に結像させる。イメージセンサ１２は、例えばＱＶＧＡ（１／４ＶＧＡ＝縦２４０画素×横３２０画素）サイズの撮影解像度を有するＣＭＯＳイメージセンサで構成される。
【００２０】
このイメージセンサ１２で取得された画像信号は、タイミングジェネレータ（ＴＧ）１４からのタイミングパルスに同期して動作する増幅器及びＡ／Ｄ変換器（Ａｍｐ．，Ａ／Ｄ）１３を介して増幅及びデジタル化された後に、マッチドフィルタ１５に入力される。
【００２１】
マッチドフィルタ１５は、順次入力される画像信号に対して相関処理を実行することにより、時間的に“１”“０”の輝度変化を生じている画素位置で、自己相関ピークと呼称される＋またはマイナスの強いピーク信号を出力するもので、その出力結果をフィルタバッファ１６に送る。上記自己相関ピークは、輝度変化の“１”“０”に対応している。
【００２２】
フィルタバッファ１６は、マッチドフィルタ１５の出力する自己相関ピークを画像中の位置情報と対応付けて順次保持する。
【００２３】
もう一方の画像撮影用の撮像部ＩＳ２では、光学レンズ部１７で被写体の光像をイメージセンサ１８上に結像させる。このイメージセンサ１８は、例えばＶＧＡ（縦４８０画素×横６４０画素）サイズの撮影解像度を有するＣＭＯＳイメージセンサで構成される。
【００２４】
イメージセンサ１８で取得された画像信号は、図示しない増幅器及びＡ／Ｄ変換器を介して増幅、デジタル化された後に、画像バッファ１９に保持される。この画像バッファ１９に保持される画像信号は、必要により後述する画像合成処理が施された後に表示バッファ２０に保持される。この表示バッファ２０の保持内容に基づいて表示部２１でイメージセンサ１８での撮影画像に基づいたモニタ画像が表示される。
【００２５】
また、後述するシャッタキーが操作された場合は、あらためてイメージセンサ１８で被写体の画像を撮影し、その画像データを画像バッファ１９から読出した後に適宜データ圧縮を含むデータファイル化処理を施してから、記録部２２に記録する。この記録部２２は、携帯電話端末１０が内蔵するフラッシュメモリ、あるいは携帯電話端末１０に対して着脱自在に装着される、フラッシュメモリを用いたメモリカードで構成される。
【００２６】
上記の各回路を制御部２３が統括して制御する。制御部２３は、この携帯電話端末１０全体の動作制御を司るものであり、ＣＰＵと、ワークメモリとして機能するメインメモリ、及び上記ＣＰＵの動作プログラムや各種固定データを記憶したプログラムメモリを有する。
【００２７】
この制御部２３に対して、上記フィルタバッファ１６、画像バッファ１９、表示バッファ２０、表示部２１、記録部２２が接続される他、上記イメージセンサ１２、イメージセンサ１８、操作部２４、データ通信部２５、通信データ記憶部２６、通信データ解析部２７、座標変換処理部２８、音声処理部２９、表示データ処理部３０、画像処理部３１、及びステッピングモータ（Ｍ）３２とも接続される。
【００２８】
可視光通信用の撮像部ＩＳ１の一部を構成するイメージセンサ１２は、可視光通信の信号受信時に制御部２３の指示タイミングに応じて例えば６０［ｋＨｚ］のサンプリング周期で画像信号を読出して出力する。
【００２９】
画像撮影用の撮像部ＩＳ２の一部を構成するイメージセンサ１８は、画像撮影時に制御部２３の指示タイミングに応じて例えば３０［Ｈｚ］のサンプリング周期で画像信号を読出して出力する。
【００３０】
データ通信部２５は、アンテナ３３を介して図示しない最寄りの基地局と、例えばＣＤＭＡ（符号分割多元接続）方式に則ってデータの送受を行なうことで、この携帯電話端末１０による音声通話及び各種デジタルデータの送受を実行する。
【００３１】
通信データ記憶部２６は、フィルタバッファ１６に保持される内容を記憶する一方で、その記憶内容からデータ解析によって復調された可視光通信の受信データを記憶する。
【００３２】
通信データ解析部２７は、通信データ記憶部２６に記憶される内容に対して予め定められた変復調方式、例えば２８．８［ｋＨｚ］の副搬送波（サブキャリア）を採用した４値ＰＰＭ（Ｐｕｌｓｅ−ｐｏｓｉｔｉｏｎ ｍｏｄｕｌａｔｉｏｎ）に従って復調処理を行なうことで重畳されていた通信データを解析し、解析結果である受信データを上記通信データ記憶部２６に記憶させる。
【００３３】
座標変換処理部２８は、後述する変換式データを予め記憶しており、その変換式データを用いた演算による座標変換処理を実行することで、復調した可視光通信の受信データを合成する撮影画像中の正しい座標位置を算出する。
【００３４】
音声処理部２９は、音声通話時に送話器であるマイクロホン３４から入力された音声信号をデジタル化して上記データ通信部２５へ送出する一方で、データ通信部２５を介して受信し、復号化した音声データをアナログ化して受話器であるスピーカ３５から拡声放音させる。
【００３５】
表示データ処理部３０は、通信データ記憶部２６に記憶された、可視光通信の受信データを表示用のフォントデータに変換する。
【００３６】
画像処理部３１は、可視光通信用の撮像部ＩＳ１で得た画像データに対し、上記表示データ処理部３０からのフォントデータを制御部２３から指定される座標位置上に合成処理し、合成結果である画像データを出力するもので、表示データ処理部３０から出力された画像データは上記表示部２１で表示される。
【００３７】
ステッピングモータ３２は、上記制御部２３の制御の下に、上記光学レンズ部１７を構成する複数の光学レンズ中、特にズーム角度（撮影画角）を可変するズームレンズの位置、及びフォーカス位置を可変するフォーカシングレンズの位置を、それぞれ撮影光軸に沿って個別に移動させる。
【００３８】
このステッピングモータ３０による該ズームレンズ、及びフォーカシングレンズの各駆動位置は、制御部２３にフィードバックされる。制御部２３は、該ズームレンズの駆動位置から撮影画角を、フォーカシングレンズの駆動位置から合焦距離をそれぞれ容易に取得できる。
【００３９】
次に上記実施形態の動作について説明する。
なお、以下の動作本実施形態では説明を簡略化するために、可視光通信用の撮像部ＩＳ１を構成する光学レンズ部１１及びイメージセンサ１２による撮影画角と、画像撮影用の撮像部ＩＳ２を構成する光学レンズ部１７及びイメージセンサ１８による撮影画角が等しく、且つこれら２つの撮像部ＩＳ１，ＩＳ２の撮影光軸が平行であるものとする。
【００４０】
したがって、これら２つの撮像部ＩＳ１，撮像部ＩＳ２で得られる画像は、イメージセンサ１２，１８の解像度の違いと、特に近い位置にある被写体を撮影する際にパララックス（視差）による影響を受ける点を除いて、基本的にほぼ同様の被写体の範囲を撮影する。
【００４１】
図２は、可視光通信を伴う画像撮影時の処理内容を示すもので、その動作制御は制御部２３が統括して行なう。
【００４２】
動作当初には、撮像部ＩＳ１での撮影動作を実行し、撮影した画像中から可視光通信による光源の位置を抽出して当該位置における輝度変化から情報を復調する（ステップＳ
１０１）。
【００４３】
なお、上記可視光通信における輝度変調、復調に係る技術の詳細は特開２００３−１７９５５６号公報にて公知であるので詳細な説明については省略するが、例えば被写体の画像範囲中にある可視光通信の光源が２８．８［ｋＨｚ］の副搬送波（サブキャリア）を採用した４値ＰＰＭであり、本携帯電話端末１０がその周波数の可視光通信を対象として受信を行なうものとする。
【００４４】
この場合、イメージセンサ１２ではサンプリング定理により搬送波の２倍以上の周波数、例えば６０［ｋＨｚ］で駆動されることで、その画像出力から可視光通信による時間的な輝度変化を復調することが可能となる。
【００４５】
マッチドフィルタ１５の出力をフィルタバッファ１６を介して通信データ記憶部２６で保持する。可視光通信用の撮影画像中から時間的な輝度変化を生じている位置が検出された場合、通信データ記憶部２６ではその検出結果から画像中の位置座標と対応付けて輝度変化を“１”“０”のデータの羅列として記憶する。
【００４６】
制御部２３は、通信データ記憶部２６の記憶内容に基づいて通信データ解析部２７で可視光通信による元の情報を復調させ、復調結果を通信データ記憶部２６を記憶させる。
【００４７】
上記撮像部ＩＳ１側の撮影及び復調動作と平行して、画像撮影用の撮像部ＩＳ２では所定のフレームレート、例えば３０［フレーム／秒］で画像を撮影し、その撮影結果を画像バッファ１９に保持する（ステップＳ１０２）。
【００４８】
次いで、通信データ記憶部２６にデータが記憶されているか否かにより、撮影画像中から可視光通信によるデータを復調できているか否かを判断する（ステップＳ１０３）。
【００４９】
ここで、通信データ記憶部２６にデータが記憶されておらず、可視光通信によるデータ復調が行なわれていないと判断した場合には、画像バッファ１９に保持される画像データのみをそのまま表示バッファ２０に保持させることで、表示部２１でのモニタ表示を実行（ステップＳ１０４）、さらに撮影を続行するべく上記ステップＳ１０１からの処理に戻る。
【００５０】
また、上記ステップＳ１０３で通信データ記憶部２６にデータが記憶されており、可視光通信によるデータ復調が行なわれていると判断した場合には、まず画像解析により信号光源を基点として撮影画像と通信画像の座標系を合致させる（ステップＳ１０５）。
【００５１】
図３（Ａ）は、画像撮影用の撮像部ＩＳ２で取得される画像Ａを例示するもので、上述した如くＶＧＡサイズ、すなわちタ画像データのサイズが横（ａ）６４０ドット×縦（ｂ）４８０ドットである。同図（Ａ）は、説明を容易にするために撮影画像中に写り込んでいる可視光通信の光源のみの画像Ａを示すもので、２つの光源の座標位置を（Ｘ1″，Ｙ1″）（Ｘ2″，Ｙ2″）とする。
【００５２】
図３（Ｂ）は、可視光通信用の撮像部ＩＳ１で取得される画像Ｂを示すもので、上述した如くＱＶＧＡ(１／４ＶＧＡ)サイズ、すなわちタ画像データのサイズが横（ａ′）３２０ドット×縦（ｂ′）２４０ドットである。画像Ｂ中に写り込んでいる可視光通信の２つの光源の座標位置を（Ｘ1′，Ｙ1′），（Ｘ2′，Ｙ2′）とする。
【００５３】
図３（Ａ）と図３（Ｂ）とからわかるように、可視光通信用の画像Ｂ中の配置を画像撮影用の画像Ａの配置に変換するための座標変換は、Ｘ座標系の画像補正係数ａ／ａ′、Ｙ座標系の画像補正係数ｂ／ｂ′を用いて
Ｘ″＝Ｘ′＊ａ／ａ′，
Ｙ″＝Ｙ′＊ｂ／ｂ′ ‥‥(1)
となる。上記２つの画像補正係数は、イメージセンサ１２とイメージセンサ１８の解像度で決定され、この携帯電話端末１０の設計段階で既知の値であるので、この変換式（１）を予め座標変換処理部２８に記憶しておくことで、容易に画像中の位置を変換できる。
【００５４】
次に、図４（Ａ）、図４（Ｂ）に示すようにデータ光源の位置を基点として撮影画像と通信画像の座標系の補正を行なう。図４（Ａ）は、画像撮影用の撮像部ＩＳ２で取得した画像Ａ′中の光源の座標を（ｘ１，ｙ１），（ｘ２，，ｙ２）で示すもので、この図４（Ａ）側の画像Ａの光源の位置を基点として、図４（Ｂ）に示す、可視光通信用の撮像部ＩＳ１で取得した画像Ｂ′の光源の位置を補正する。
【００５５】
すなわち、上記したＸ座標系の画像補正係数ａ／ａ′、Ｙ座標系の画像補正係数ｂ／ｂ′を用いて、
ｄｘ＝｜ｘ＊ａ／ａ′−ｐ｜，
ｄｙ＝｜ｙ＊ｂ／ｂ′−ｑ｜‥‥(2)
となる変換を行ない、画像Ｂ′に対する画像Ａ′の座標（ｘ1′，ｙ1′），（ｘ2′，ｙ2′）の座標補正を行なう変換式（２）を予め用意しておく。
【００５６】
解像度の高い撮像部ＩＳ２側で撮影された画像Ａ′中の光源の位置座標を基準として、上記変換式（２）を用い、解像度の低い可視光通信用の撮像部ＩＳ１側の画像Ｂ′中の光源の位置座標を補正する（ステップＳ１０６）。
【００５７】
上記座標の補正により生成された２つの画像Ａ″，Ｂ″を図５で示す。図５（Ａ）で示す画像Ａ″中、二人の人物Ｐ１，Ｐ２の各左胸部分にある、可視光通信の光源の位置座標が（ｘ1，ｙ1），（ｘ2，ｙ2）である。
【００５８】
これに対して、図５（Ｂ）に可視光通信用の撮像部ＩＳ１側の画像Ｂ″を示す。画像Ｂ″中の光源の位置座標が（ｘ1′，ｙ1′），（ｘ2′，ｙ2′）であり、この光源位置で得られた通信データを画像化して画像Ａ″上に合成して表示することを目的とする。
【００５９】
画像Ｂ″中の光源の位置座標が画像Ａ″中のどこの位置座標に該当するのかを変換式（１）で対応付けることで、上記画像の合成表示が実現できる。
【００６０】
図６（Ａ）は、上記変形式（１）を用いて図６（Ｂ）に示す画像Ｂ″に合わせるべく、上記画像Ａ″をその座標軸に沿った領域にブロック状に分割した画像Ａ゜を示す。
【００６１】
画像Ｂ″の座標に対する変換式（１）を行なって画像Ａ゜の座標値に適合化することで、可視光通信の光源の画像Ａ゜中での正しい位置座標を得ることができる（ステップＳ１０８）。
【００６２】
次いで、上記通信データ記憶部２６に記憶される復調された通信データを用い、表示データ処理部３０が画像合成用の文字フォントデータ列に変換して画像処理部３１に出力する（ステップＳ１０９）。
【００６３】
画像処理部３１は、この文字フォントデータ列を用い、それを包囲するような「吹き出し」画像を生成して画像Ａ゜上に合成することで図７に示すような合成画像を生成し、これを表示データとして表示バッファ２０に記憶させることで、表示部２１で表示させる（ステップＳ１１０）。
【００６４】
この図７では、画像中の人物Ｐ１の左胸部の位置座標（ｘ1″，ｙ1″）にある光源に対して第１の吹き出しで可視光通信による文字データ「株式会社ＡＢＣＤ 社員No.12345」が表示されている。
【００６５】
これとともに、画像中の人物Ｐ２の左胸部の位置座標（ｘ2″，ｙ2″）にある光源に対して第２の吹き出しで可視光通信による文字データ「株式会社ＡＢＣＤ 社員No.23456」が表示されている。
【００６６】
こうして合成画素を表示した上で、さらに撮影を続行するべく上記ステップＳ１０１からの処理に戻る。
【００６７】
このように本実施形態では、可視光通信用の撮像部ＩＳ１と画像撮影用の撮像部ＩＳ２の２つの撮像部の解像度が異なる場合であっても、座標変換を行なうことで正確に一方の撮像部で得た情報を他方の画像に正確に反映させることが可能となる。
【００６８】
なお、上記実施形態では、説明を容易にするために、可視光通信用の撮像部ＩＳ１と画像撮影用の撮像部ＩＳ２とが同一の撮影画角であり、両撮影部で撮影される被写体範囲が略同一であるものとして説明したが、画像撮影用の撮像部ＩＳ２側についてはズーム機能を有しており、操作部２４のズームキーの操作により撮影画角を所定の範囲内で任意に可変できる。
【００６９】
図８（Ａ）は、画像撮影用の撮像部ＩＳ２でのズーム倍率が最広角側を基準として「α」であった場合に得られる画像Ｄ′を示す。一方、図６（Ｂ）は画像撮影用の撮像部ＩＳ２の最広角側と同一の撮影画角を有する可視光通信用の撮像部ＩＳ１で取得される画像Ｂ″である。
【００７０】
この場合、上記変換式（１）に加えて、ズーム倍率αを考慮した変換式（１）′を用いることで、図９（Ａ）に示すような画像Ａ゜を得ることができる。ここで変換式（１）′に用いるズーム倍率αは、ステッピングモータ３２による光学レンズ部１７中のズームレンズの位置駆動に基づいてステッピングモータ３２の制御内容から制御部２３が取得し、座標変換処理部２８に与えられる。
【００７１】
なお、上記変換式（１）′においては、可視光通信用の撮像部ＩＳ１で得た画像に対し、画像の中心位置座標を基準として１／αの範囲のみを有効領域として切出し処理を行ない、その切出し結果をα倍することで可視光通信用の画像の新たな座標系とする。
【００７２】
当初の可視光通信用の画像中の光源位置が上記切出し範囲から外れてしまった場合には、該当する光源の位置が画像撮影用の撮像部ＩＳ２で取得する画像では撮影範囲外となっている（写っていない）ことになるので、その変換処理については省略するものとする。
【００７３】
また、上記ズーム機能は、所謂「光学ズーム」機能による場合について説明したものであるが、撮影画像の範囲を限定してその限定した範囲を画像処理により拡大し、拡大後の画像を表示する、所謂「デジタルズーム」機能を行なう場合には、上記変換式（１）による座標変換を行なった後、撮影画像の範囲を限定した際にその限定範囲内に光源が位置しているか否かにより可視光通信による通信データの表示を行なうか否かを判断すればよい。
【００７４】
このように、画像撮影用の撮像部ＩＳ２がズーム機能を有している場合には、その機能に対応した光源位置の座標変換を行なうことで、撮影画角が変化しても光源位置に正確に対応した通信データの表示を行なうことができると共に、ズーム動作によって表示範囲を外れる光源に関してはその表示に関する処理を省略することができ、通信データの表示に関する処理を効率化できる。
【００７５】
また、上記実施形態では変換式を用いて光源位置の座標変換を行なう場合について説明したが、本発明はこれに限らず、予め可視光通信用の撮像部と画像撮影用の撮像部ＩＳ２の各撮影条件の違いを考慮して作成したルックアップテーブルを予め座標変換処理部２８に記憶しておくか、あるいは撮影条件が変更される毎に新たにルックアップテーブルを作成して座標変換処理部２８に更新設定することにより、当該ルックアップテーブルを用いて変換後の位置座標を読出すように構成することも考えられる。
【００７６】
このような構成とすることにより、演算を行なう必要がないため、可視光通信用のデータを受信してから、その受信したデータを撮影画像上に合成して表示させるまでの時間を短縮できる。
【００７７】
さらに、上記実施形態では、可視光通信用の撮像部ＩＳ１に比して画像撮影用の撮像部ＩＳ２の法が、取得する画像の解像度が高いものとして説明したが、解像度の高低は上記順序に限るものではなく、可視光通信用の撮像部ＩＳ１の方が画像撮影用の撮像部ＩＳ２よりも高い解像度を有していてもよい。その場合、上記座標変換式、あるいはルックアップテーブルは解像度の高い方の画像を基準とし、解像度の低い方の画像の光源の位置座標を変換して解像度の高い方の画像に合わせるものとする。
【００７８】
なお、上記実施形態は、本発明をカメラ機能を備えた携帯電話端末に適用した場合について説明したものであるが、本発明はこれに限らず、デジタル（スチル）カメラやビデオムービーカメラ、監視カメラ、観光地等に固定設置される望遠鏡など、各種撮像機器、あるいは撮像機器に搭載されるコンピュータが実行する画像処理プログラム等に適用可能となる。
【００７９】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００８０】
１０…携帯電話端末、１１…光学レンズ部、１２…イメージセンサ、１３…増幅器及びＡ／Ｄ変換器(Ａｍｐ．，Ａ／Ｄ)、１４…タイミングジェネレータ（ＴＧ）、１５…マッチドフィルタ、１６…フィルタバッファ、１７…光学レンズ部、１８…イメージセンサ、１９…画像バッファ、２０…表示バッファ、２１…表示部、２２…記録部、２３…制御部、２４…操作部、２５…データ通信部、２６…通信データ記憶部、２７…通信データ解析部、２８…座標変換処理部、２９…音声処理部、３０…表示データ処理部、３１…画像処理部、３２…ステッピングモータ（Ｍ）、３３…アンテナ、３４…マイクロホン、３５…スピーカ、ＩＳ１…（可視光通信用）撮像部、ＩＳ２…（画像撮影用）撮像部。
【技術分野】
【０００１】
本発明は、可視光通信技術を用いた撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【０００２】
ＬＥＤ等の光源を用い、可視光を高周波で点滅して発光させることで任意の情報を発信し、これをフォトダイオード等の受光素子あるいは固体イメージセンサで受信して、発光高に重畳されている情報を復調する可視光通信に関する技術が実用化に向けて種々考えられている。
【０００３】
近年広く一般に普及しているデジタルカメラあるいは携帯電話端末に搭載されたカメラ機能では、ＣＣＤやＣＭＯＳ等の固体イメージセンサを用いており、固体イメージセンサで可視光通信の受信機能を実現すれば、上記デジタルカメラあるいは携帯電話端末の用途をより広げることが可能となる。
【０００４】
ところで、上記可視光通信では、人間の肉眼では到底視認不可能な数千［Ｈｚ］のオーダーで輝度が変化するものであり、固体イメージセンサもそのオーダーに対応して少なくとも２倍のフレームレートで走査駆動されることになる。
【０００５】
そのように光源側の輝度変化を撮像するのには充分なフレームレートで走査駆動した場合、撮影画像中の可視光通信で輝度が変化している位置以外では全くの露光不足となるので、全体の画像をモニタ画面に表示させることはできない。
【０００６】
反対に、モニタ画面に表示させることを目的としたビデオフレームレート、例えば３０［フレーム／秒］で撮影を行なう場合には、当然ながら可視光通信での受信動作を行なうことは非常に困難である。
【０００７】
上記の如く予想される問題に対し、本願発明者は可視光通信用と画像撮影用の２系統の撮像部を備えてそれぞれの撮影動作を並列的に制御することにより、可視光通信と画像撮影とを両立可能とした提案を行なっている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−０２０２９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記特許文献に記載した技術においては、可視光通信用と画像撮影用とで、固体撮像素子で必要とされる解像度が大きく異なるため、可視光通信用の撮像部で得た画像中の光源の位置と、画像撮影用の撮像部で得た画像中の光源の位置とでは座標系が相違するので、両光源の位置を一致させる点において課題が残されている。
【００１０】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、可視光通信用と画像撮影用の２つの撮像部の撮影条件等が異なる場合であっても正確に一方の撮像部で得た情報を他方の画像に正確に反映させることにある。
【課題を解決するための手段】
【００１１】
請求項１記載の発明は、第１の撮影部と、上記第１の撮影部で得る画像中から時間的な輝度変化を生じている箇所を特定し、当該箇所での輝度変化から情報を復調する可視光通信受信手段と、上記第１の撮影部と平行した撮影光軸をもって近接配置された第２の撮影部と、上記第１及び第２の撮影部の各撮影画角と、上記第１及び第２の撮影部の各解像度の比とにより上記可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正する位置補正手段と、上記可視光通信受信手段で復調した情報を、上記位置補正手段で補正した位置に応じて上記第２の撮影部で得た画像上に合成する画像合成手段と、上記画像合成手段で合成した画像を表示する表示手段とを具備したことを特徴とする。
【００１２】
請求項２記載の発明は、上記請求項１記載の発明において、上記第２の撮影部は、撮影画角を可変するズーム機能を有し、上記第２の撮影部のズーム機能で設定されている撮影画角を取得する画角取得手段をさらに具備し、上記位置補正手段は、上記画角取得手段で得た第２の撮影部の撮影画角を用いて上記可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正することを特徴とする。
【００１３】
請求項３記載の発明は、上記請求項１記載の発明において、上記位置補正手段は、予め記憶しているルックアップテーブルを参照して上記可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正することを特徴とする。
【００１４】
請求項４記載の発明は、第１の撮影部と、上記第１の撮影部と平行した撮影光軸をもって近接配置された第２の撮影部とを備えた撮像装置での撮像方法であって、上記第１の撮影部で得る画像中から時間的な輝度変化を生じている箇所を特定し、当該箇所での輝度変化から情報を復調する可視光通信受信工程と、上記第１及び第２の撮影部の各撮影画角と、上記第１及び第２の撮影部の各解像度の比とにより上記可視光通信受信工程で特定した時間的な輝度変化を生じている箇所の位置を補正する位置補正工程と、上記可視光通信受信工程で復調した情報を、上記位置補正工程で補正した位置に応じて上記第２の撮影部で得た画像上に合成する画像合成工程と、上記画像合成工程で合成した画像を出力する表示工程とを有したことを特徴とする。
【００１５】
請求項５記載の発明は、第１の撮影部と、上記第１の撮影部と平行した撮影光軸をもって近接配置された第２の撮影部とを備えた撮像装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、上記第１の撮影部で得る画像中から時間的な輝度変化を生じている箇所を特定し、当該箇所での輝度変化から情報を復調する可視光通信受信手段、上記第１及び第２の撮影部の各撮影画角と、上記第１及び第２の撮影部の各解像度の比とにより上記可視光通信受信工程で特定した時間的な輝度変化を生じている箇所の位置を補正する位置補正手段、上記可視光通信受信手段で復調した情報を、上記位置補正手段で補正した位置に応じて上記第２の撮影部で得た画像上に合成する画像合成手段、及び上記画像合成手段で合成した画像を表示する表示手段として機能させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、可視光通信用と画像撮影用の２つの撮像部の撮影条件等が異なる場合であっても正確に一方の撮像部で得た情報を他方の画像に正確に反映させることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係るカメラ機能を備えた携帯電話端末の回路構成を示すブロック図。
【図２】同実施形態に係る可視光通信撮像時の処理内容を示すフローチャート。
【図３】同実施形態に係る撮影画像と通信画像の各光源位置座標の関係を例示する図。
【図４】同実施形態に係る撮影画像と通信画像の各光源位置座標の関係を例示する図。
【図５】同実施形態に係る撮影画像と通信画像の各光源位置座標の関係を例示する図。
【図６】同実施形態に係る撮影画像と通信画像の各光源位置座標の関係を例示する図。
【図７】同実施形態に係る合成表示画像を例示する図。
【図８】同実施形態に係るズーム撮影時の撮影画像と通信画像の各光源位置座標の関係を例示する図。
【図９】同実施形態に係るズーム撮影時の撮影画像と通信画像の各光源位置座標の関係を例示する図。
【発明を実施するための形態】
【００１８】
以下、本発明をカメラ機能を備えた携帯電話端末に適用した場合の一実施形態について図面を参照して詳細に説明する。
【００１９】
図１は、本実施形態に係る携帯電話端末１０の機能回路構成を示す。この携帯電話端末１０は、可視光通信用と画像撮影用の２系統の撮像部ＩＳ１，ＩＳ２を有する。
可視光通信用の撮像部ＩＳ１では、光学レンズ部１１で被写体の光像をイメージセンサ１２上に結像させる。イメージセンサ１２は、例えばＱＶＧＡ（１／４ＶＧＡ＝縦２４０画素×横３２０画素）サイズの撮影解像度を有するＣＭＯＳイメージセンサで構成される。
【００２０】
このイメージセンサ１２で取得された画像信号は、タイミングジェネレータ（ＴＧ）１４からのタイミングパルスに同期して動作する増幅器及びＡ／Ｄ変換器（Ａｍｐ．，Ａ／Ｄ）１３を介して増幅及びデジタル化された後に、マッチドフィルタ１５に入力される。
【００２１】
マッチドフィルタ１５は、順次入力される画像信号に対して相関処理を実行することにより、時間的に“１”“０”の輝度変化を生じている画素位置で、自己相関ピークと呼称される＋またはマイナスの強いピーク信号を出力するもので、その出力結果をフィルタバッファ１６に送る。上記自己相関ピークは、輝度変化の“１”“０”に対応している。
【００２２】
フィルタバッファ１６は、マッチドフィルタ１５の出力する自己相関ピークを画像中の位置情報と対応付けて順次保持する。
【００２３】
もう一方の画像撮影用の撮像部ＩＳ２では、光学レンズ部１７で被写体の光像をイメージセンサ１８上に結像させる。このイメージセンサ１８は、例えばＶＧＡ（縦４８０画素×横６４０画素）サイズの撮影解像度を有するＣＭＯＳイメージセンサで構成される。
【００２４】
イメージセンサ１８で取得された画像信号は、図示しない増幅器及びＡ／Ｄ変換器を介して増幅、デジタル化された後に、画像バッファ１９に保持される。この画像バッファ１９に保持される画像信号は、必要により後述する画像合成処理が施された後に表示バッファ２０に保持される。この表示バッファ２０の保持内容に基づいて表示部２１でイメージセンサ１８での撮影画像に基づいたモニタ画像が表示される。
【００２５】
また、後述するシャッタキーが操作された場合は、あらためてイメージセンサ１８で被写体の画像を撮影し、その画像データを画像バッファ１９から読出した後に適宜データ圧縮を含むデータファイル化処理を施してから、記録部２２に記録する。この記録部２２は、携帯電話端末１０が内蔵するフラッシュメモリ、あるいは携帯電話端末１０に対して着脱自在に装着される、フラッシュメモリを用いたメモリカードで構成される。
【００２６】
上記の各回路を制御部２３が統括して制御する。制御部２３は、この携帯電話端末１０全体の動作制御を司るものであり、ＣＰＵと、ワークメモリとして機能するメインメモリ、及び上記ＣＰＵの動作プログラムや各種固定データを記憶したプログラムメモリを有する。
【００２７】
この制御部２３に対して、上記フィルタバッファ１６、画像バッファ１９、表示バッファ２０、表示部２１、記録部２２が接続される他、上記イメージセンサ１２、イメージセンサ１８、操作部２４、データ通信部２５、通信データ記憶部２６、通信データ解析部２７、座標変換処理部２８、音声処理部２９、表示データ処理部３０、画像処理部３１、及びステッピングモータ（Ｍ）３２とも接続される。
【００２８】
可視光通信用の撮像部ＩＳ１の一部を構成するイメージセンサ１２は、可視光通信の信号受信時に制御部２３の指示タイミングに応じて例えば６０［ｋＨｚ］のサンプリング周期で画像信号を読出して出力する。
【００２９】
画像撮影用の撮像部ＩＳ２の一部を構成するイメージセンサ１８は、画像撮影時に制御部２３の指示タイミングに応じて例えば３０［Ｈｚ］のサンプリング周期で画像信号を読出して出力する。
【００３０】
データ通信部２５は、アンテナ３３を介して図示しない最寄りの基地局と、例えばＣＤＭＡ（符号分割多元接続）方式に則ってデータの送受を行なうことで、この携帯電話端末１０による音声通話及び各種デジタルデータの送受を実行する。
【００３１】
通信データ記憶部２６は、フィルタバッファ１６に保持される内容を記憶する一方で、その記憶内容からデータ解析によって復調された可視光通信の受信データを記憶する。
【００３２】
通信データ解析部２７は、通信データ記憶部２６に記憶される内容に対して予め定められた変復調方式、例えば２８．８［ｋＨｚ］の副搬送波（サブキャリア）を採用した４値ＰＰＭ（Ｐｕｌｓｅ−ｐｏｓｉｔｉｏｎ ｍｏｄｕｌａｔｉｏｎ）に従って復調処理を行なうことで重畳されていた通信データを解析し、解析結果である受信データを上記通信データ記憶部２６に記憶させる。
【００３３】
座標変換処理部２８は、後述する変換式データを予め記憶しており、その変換式データを用いた演算による座標変換処理を実行することで、復調した可視光通信の受信データを合成する撮影画像中の正しい座標位置を算出する。
【００３４】
音声処理部２９は、音声通話時に送話器であるマイクロホン３４から入力された音声信号をデジタル化して上記データ通信部２５へ送出する一方で、データ通信部２５を介して受信し、復号化した音声データをアナログ化して受話器であるスピーカ３５から拡声放音させる。
【００３５】
表示データ処理部３０は、通信データ記憶部２６に記憶された、可視光通信の受信データを表示用のフォントデータに変換する。
【００３６】
画像処理部３１は、可視光通信用の撮像部ＩＳ１で得た画像データに対し、上記表示データ処理部３０からのフォントデータを制御部２３から指定される座標位置上に合成処理し、合成結果である画像データを出力するもので、表示データ処理部３０から出力された画像データは上記表示部２１で表示される。
【００３７】
ステッピングモータ３２は、上記制御部２３の制御の下に、上記光学レンズ部１７を構成する複数の光学レンズ中、特にズーム角度（撮影画角）を可変するズームレンズの位置、及びフォーカス位置を可変するフォーカシングレンズの位置を、それぞれ撮影光軸に沿って個別に移動させる。
【００３８】
このステッピングモータ３０による該ズームレンズ、及びフォーカシングレンズの各駆動位置は、制御部２３にフィードバックされる。制御部２３は、該ズームレンズの駆動位置から撮影画角を、フォーカシングレンズの駆動位置から合焦距離をそれぞれ容易に取得できる。
【００３９】
次に上記実施形態の動作について説明する。
なお、以下の動作本実施形態では説明を簡略化するために、可視光通信用の撮像部ＩＳ１を構成する光学レンズ部１１及びイメージセンサ１２による撮影画角と、画像撮影用の撮像部ＩＳ２を構成する光学レンズ部１７及びイメージセンサ１８による撮影画角が等しく、且つこれら２つの撮像部ＩＳ１，ＩＳ２の撮影光軸が平行であるものとする。
【００４０】
したがって、これら２つの撮像部ＩＳ１，撮像部ＩＳ２で得られる画像は、イメージセンサ１２，１８の解像度の違いと、特に近い位置にある被写体を撮影する際にパララックス（視差）による影響を受ける点を除いて、基本的にほぼ同様の被写体の範囲を撮影する。
【００４１】
図２は、可視光通信を伴う画像撮影時の処理内容を示すもので、その動作制御は制御部２３が統括して行なう。
【００４２】
動作当初には、撮像部ＩＳ１での撮影動作を実行し、撮影した画像中から可視光通信による光源の位置を抽出して当該位置における輝度変化から情報を復調する（ステップＳ
１０１）。
【００４３】
なお、上記可視光通信における輝度変調、復調に係る技術の詳細は特開２００３−１７９５５６号公報にて公知であるので詳細な説明については省略するが、例えば被写体の画像範囲中にある可視光通信の光源が２８．８［ｋＨｚ］の副搬送波（サブキャリア）を採用した４値ＰＰＭであり、本携帯電話端末１０がその周波数の可視光通信を対象として受信を行なうものとする。
【００４４】
この場合、イメージセンサ１２ではサンプリング定理により搬送波の２倍以上の周波数、例えば６０［ｋＨｚ］で駆動されることで、その画像出力から可視光通信による時間的な輝度変化を復調することが可能となる。
【００４５】
マッチドフィルタ１５の出力をフィルタバッファ１６を介して通信データ記憶部２６で保持する。可視光通信用の撮影画像中から時間的な輝度変化を生じている位置が検出された場合、通信データ記憶部２６ではその検出結果から画像中の位置座標と対応付けて輝度変化を“１”“０”のデータの羅列として記憶する。
【００４６】
制御部２３は、通信データ記憶部２６の記憶内容に基づいて通信データ解析部２７で可視光通信による元の情報を復調させ、復調結果を通信データ記憶部２６を記憶させる。
【００４７】
上記撮像部ＩＳ１側の撮影及び復調動作と平行して、画像撮影用の撮像部ＩＳ２では所定のフレームレート、例えば３０［フレーム／秒］で画像を撮影し、その撮影結果を画像バッファ１９に保持する（ステップＳ１０２）。
【００４８】
次いで、通信データ記憶部２６にデータが記憶されているか否かにより、撮影画像中から可視光通信によるデータを復調できているか否かを判断する（ステップＳ１０３）。
【００４９】
ここで、通信データ記憶部２６にデータが記憶されておらず、可視光通信によるデータ復調が行なわれていないと判断した場合には、画像バッファ１９に保持される画像データのみをそのまま表示バッファ２０に保持させることで、表示部２１でのモニタ表示を実行（ステップＳ１０４）、さらに撮影を続行するべく上記ステップＳ１０１からの処理に戻る。
【００５０】
また、上記ステップＳ１０３で通信データ記憶部２６にデータが記憶されており、可視光通信によるデータ復調が行なわれていると判断した場合には、まず画像解析により信号光源を基点として撮影画像と通信画像の座標系を合致させる（ステップＳ１０５）。
【００５１】
図３（Ａ）は、画像撮影用の撮像部ＩＳ２で取得される画像Ａを例示するもので、上述した如くＶＧＡサイズ、すなわちタ画像データのサイズが横（ａ）６４０ドット×縦（ｂ）４８０ドットである。同図（Ａ）は、説明を容易にするために撮影画像中に写り込んでいる可視光通信の光源のみの画像Ａを示すもので、２つの光源の座標位置を（Ｘ1″，Ｙ1″）（Ｘ2″，Ｙ2″）とする。
【００５２】
図３（Ｂ）は、可視光通信用の撮像部ＩＳ１で取得される画像Ｂを示すもので、上述した如くＱＶＧＡ(１／４ＶＧＡ)サイズ、すなわちタ画像データのサイズが横（ａ′）３２０ドット×縦（ｂ′）２４０ドットである。画像Ｂ中に写り込んでいる可視光通信の２つの光源の座標位置を（Ｘ1′，Ｙ1′），（Ｘ2′，Ｙ2′）とする。
【００５３】
図３（Ａ）と図３（Ｂ）とからわかるように、可視光通信用の画像Ｂ中の配置を画像撮影用の画像Ａの配置に変換するための座標変換は、Ｘ座標系の画像補正係数ａ／ａ′、Ｙ座標系の画像補正係数ｂ／ｂ′を用いて
Ｘ″＝Ｘ′＊ａ／ａ′，
Ｙ″＝Ｙ′＊ｂ／ｂ′ ‥‥(1)
となる。上記２つの画像補正係数は、イメージセンサ１２とイメージセンサ１８の解像度で決定され、この携帯電話端末１０の設計段階で既知の値であるので、この変換式（１）を予め座標変換処理部２８に記憶しておくことで、容易に画像中の位置を変換できる。
【００５４】
次に、図４（Ａ）、図４（Ｂ）に示すようにデータ光源の位置を基点として撮影画像と通信画像の座標系の補正を行なう。図４（Ａ）は、画像撮影用の撮像部ＩＳ２で取得した画像Ａ′中の光源の座標を（ｘ１，ｙ１），（ｘ２，，ｙ２）で示すもので、この図４（Ａ）側の画像Ａの光源の位置を基点として、図４（Ｂ）に示す、可視光通信用の撮像部ＩＳ１で取得した画像Ｂ′の光源の位置を補正する。
【００５５】
すなわち、上記したＸ座標系の画像補正係数ａ／ａ′、Ｙ座標系の画像補正係数ｂ／ｂ′を用いて、
ｄｘ＝｜ｘ＊ａ／ａ′−ｐ｜，
ｄｙ＝｜ｙ＊ｂ／ｂ′−ｑ｜‥‥(2)
となる変換を行ない、画像Ｂ′に対する画像Ａ′の座標（ｘ1′，ｙ1′），（ｘ2′，ｙ2′）の座標補正を行なう変換式（２）を予め用意しておく。
【００５６】
解像度の高い撮像部ＩＳ２側で撮影された画像Ａ′中の光源の位置座標を基準として、上記変換式（２）を用い、解像度の低い可視光通信用の撮像部ＩＳ１側の画像Ｂ′中の光源の位置座標を補正する（ステップＳ１０６）。
【００５７】
上記座標の補正により生成された２つの画像Ａ″，Ｂ″を図５で示す。図５（Ａ）で示す画像Ａ″中、二人の人物Ｐ１，Ｐ２の各左胸部分にある、可視光通信の光源の位置座標が（ｘ1，ｙ1），（ｘ2，ｙ2）である。
【００５８】
これに対して、図５（Ｂ）に可視光通信用の撮像部ＩＳ１側の画像Ｂ″を示す。画像Ｂ″中の光源の位置座標が（ｘ1′，ｙ1′），（ｘ2′，ｙ2′）であり、この光源位置で得られた通信データを画像化して画像Ａ″上に合成して表示することを目的とする。
【００５９】
画像Ｂ″中の光源の位置座標が画像Ａ″中のどこの位置座標に該当するのかを変換式（１）で対応付けることで、上記画像の合成表示が実現できる。
【００６０】
図６（Ａ）は、上記変形式（１）を用いて図６（Ｂ）に示す画像Ｂ″に合わせるべく、上記画像Ａ″をその座標軸に沿った領域にブロック状に分割した画像Ａ゜を示す。
【００６１】
画像Ｂ″の座標に対する変換式（１）を行なって画像Ａ゜の座標値に適合化することで、可視光通信の光源の画像Ａ゜中での正しい位置座標を得ることができる（ステップＳ１０８）。
【００６２】
次いで、上記通信データ記憶部２６に記憶される復調された通信データを用い、表示データ処理部３０が画像合成用の文字フォントデータ列に変換して画像処理部３１に出力する（ステップＳ１０９）。
【００６３】
画像処理部３１は、この文字フォントデータ列を用い、それを包囲するような「吹き出し」画像を生成して画像Ａ゜上に合成することで図７に示すような合成画像を生成し、これを表示データとして表示バッファ２０に記憶させることで、表示部２１で表示させる（ステップＳ１１０）。
【００６４】
この図７では、画像中の人物Ｐ１の左胸部の位置座標（ｘ1″，ｙ1″）にある光源に対して第１の吹き出しで可視光通信による文字データ「株式会社ＡＢＣＤ 社員No.12345」が表示されている。
【００６５】
これとともに、画像中の人物Ｐ２の左胸部の位置座標（ｘ2″，ｙ2″）にある光源に対して第２の吹き出しで可視光通信による文字データ「株式会社ＡＢＣＤ 社員No.23456」が表示されている。
【００６６】
こうして合成画素を表示した上で、さらに撮影を続行するべく上記ステップＳ１０１からの処理に戻る。
【００６７】
このように本実施形態では、可視光通信用の撮像部ＩＳ１と画像撮影用の撮像部ＩＳ２の２つの撮像部の解像度が異なる場合であっても、座標変換を行なうことで正確に一方の撮像部で得た情報を他方の画像に正確に反映させることが可能となる。
【００６８】
なお、上記実施形態では、説明を容易にするために、可視光通信用の撮像部ＩＳ１と画像撮影用の撮像部ＩＳ２とが同一の撮影画角であり、両撮影部で撮影される被写体範囲が略同一であるものとして説明したが、画像撮影用の撮像部ＩＳ２側についてはズーム機能を有しており、操作部２４のズームキーの操作により撮影画角を所定の範囲内で任意に可変できる。
【００６９】
図８（Ａ）は、画像撮影用の撮像部ＩＳ２でのズーム倍率が最広角側を基準として「α」であった場合に得られる画像Ｄ′を示す。一方、図６（Ｂ）は画像撮影用の撮像部ＩＳ２の最広角側と同一の撮影画角を有する可視光通信用の撮像部ＩＳ１で取得される画像Ｂ″である。
【００７０】
この場合、上記変換式（１）に加えて、ズーム倍率αを考慮した変換式（１）′を用いることで、図９（Ａ）に示すような画像Ａ゜を得ることができる。ここで変換式（１）′に用いるズーム倍率αは、ステッピングモータ３２による光学レンズ部１７中のズームレンズの位置駆動に基づいてステッピングモータ３２の制御内容から制御部２３が取得し、座標変換処理部２８に与えられる。
【００７１】
なお、上記変換式（１）′においては、可視光通信用の撮像部ＩＳ１で得た画像に対し、画像の中心位置座標を基準として１／αの範囲のみを有効領域として切出し処理を行ない、その切出し結果をα倍することで可視光通信用の画像の新たな座標系とする。
【００７２】
当初の可視光通信用の画像中の光源位置が上記切出し範囲から外れてしまった場合には、該当する光源の位置が画像撮影用の撮像部ＩＳ２で取得する画像では撮影範囲外となっている（写っていない）ことになるので、その変換処理については省略するものとする。
【００７３】
また、上記ズーム機能は、所謂「光学ズーム」機能による場合について説明したものであるが、撮影画像の範囲を限定してその限定した範囲を画像処理により拡大し、拡大後の画像を表示する、所謂「デジタルズーム」機能を行なう場合には、上記変換式（１）による座標変換を行なった後、撮影画像の範囲を限定した際にその限定範囲内に光源が位置しているか否かにより可視光通信による通信データの表示を行なうか否かを判断すればよい。
【００７４】
このように、画像撮影用の撮像部ＩＳ２がズーム機能を有している場合には、その機能に対応した光源位置の座標変換を行なうことで、撮影画角が変化しても光源位置に正確に対応した通信データの表示を行なうことができると共に、ズーム動作によって表示範囲を外れる光源に関してはその表示に関する処理を省略することができ、通信データの表示に関する処理を効率化できる。
【００７５】
また、上記実施形態では変換式を用いて光源位置の座標変換を行なう場合について説明したが、本発明はこれに限らず、予め可視光通信用の撮像部と画像撮影用の撮像部ＩＳ２の各撮影条件の違いを考慮して作成したルックアップテーブルを予め座標変換処理部２８に記憶しておくか、あるいは撮影条件が変更される毎に新たにルックアップテーブルを作成して座標変換処理部２８に更新設定することにより、当該ルックアップテーブルを用いて変換後の位置座標を読出すように構成することも考えられる。
【００７６】
このような構成とすることにより、演算を行なう必要がないため、可視光通信用のデータを受信してから、その受信したデータを撮影画像上に合成して表示させるまでの時間を短縮できる。
【００７７】
さらに、上記実施形態では、可視光通信用の撮像部ＩＳ１に比して画像撮影用の撮像部ＩＳ２の法が、取得する画像の解像度が高いものとして説明したが、解像度の高低は上記順序に限るものではなく、可視光通信用の撮像部ＩＳ１の方が画像撮影用の撮像部ＩＳ２よりも高い解像度を有していてもよい。その場合、上記座標変換式、あるいはルックアップテーブルは解像度の高い方の画像を基準とし、解像度の低い方の画像の光源の位置座標を変換して解像度の高い方の画像に合わせるものとする。
【００７８】
なお、上記実施形態は、本発明をカメラ機能を備えた携帯電話端末に適用した場合について説明したものであるが、本発明はこれに限らず、デジタル（スチル）カメラやビデオムービーカメラ、監視カメラ、観光地等に固定設置される望遠鏡など、各種撮像機器、あるいは撮像機器に搭載されるコンピュータが実行する画像処理プログラム等に適用可能となる。
【００７９】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００８０】
１０…携帯電話端末、１１…光学レンズ部、１２…イメージセンサ、１３…増幅器及びＡ／Ｄ変換器(Ａｍｐ．，Ａ／Ｄ)、１４…タイミングジェネレータ（ＴＧ）、１５…マッチドフィルタ、１６…フィルタバッファ、１７…光学レンズ部、１８…イメージセンサ、１９…画像バッファ、２０…表示バッファ、２１…表示部、２２…記録部、２３…制御部、２４…操作部、２５…データ通信部、２６…通信データ記憶部、２７…通信データ解析部、２８…座標変換処理部、２９…音声処理部、３０…表示データ処理部、３１…画像処理部、３２…ステッピングモータ（Ｍ）、３３…アンテナ、３４…マイクロホン、３５…スピーカ、ＩＳ１…（可視光通信用）撮像部、ＩＳ２…（画像撮影用）撮像部。
【特許請求の範囲】
【請求項１】
第１の撮影部と、
上記第１の撮影部で得る画像中から時間的な輝度変化を生じている箇所を特定し、当該箇所での輝度変化から情報を復調する可視光通信受信手段と、
上記第１の撮影部と平行した撮影光軸をもって近接配置された第２の撮影部と、
上記第１及び第２の撮影部の各撮影画角と、上記第１及び第２の撮影部の各解像度の比とにより上記可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正する位置補正手段と、
上記可視光通信受信手段で復調した情報を、上記位置補正手段で補正した位置に応じて上記第２の撮影部で得た画像上に合成する画像合成手段と、
上記画像合成手段で合成した画像を表示する表示手段と
を具備したことを特徴とする撮像装置。
【請求項２】
上記第２の撮影部は、撮影画角を可変するズーム機能を有し、
上記第２の撮影部のズーム機能で設定されている撮影画角を取得する画角取得手段をさらに具備し、
上記位置補正手段は、上記画角取得手段で得た第２の撮影部の撮影画角を用いて上記可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
上記位置補正手段は、予め記憶しているルックアップテーブルを参照して上記可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正する
ことを特徴とする請求項１記載の撮像装置。
【請求項４】
第１の撮影部と、上記第１の撮影部と平行した撮影光軸をもって近接配置された第２の撮影部とを備えた撮像装置での撮像方法であって、
上記第１の撮影部で得る画像中から時間的な輝度変化を生じている箇所を特定し、当該箇所での輝度変化から情報を復調する可視光通信受信工程と、
上記第１及び第２の撮影部の各撮影画角と、上記第１及び第２の撮影部の各解像度の比とにより上記可視光通信受信工程で特定した時間的な輝度変化を生じている箇所の位置を補正する位置補正工程と、
上記可視光通信受信工程で復調した情報を、上記位置補正工程で補正した位置に応じて上記第２の撮影部で得た画像上に合成する画像合成工程と、
上記画像合成工程で合成した画像を表示する表示工程と
を有したことを特徴とする撮像方法。
【請求項５】
第１の撮影部と、上記第１の撮影部と平行した撮影光軸をもって近接配置された第２の撮影部とを備えた撮像装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
上記第１の撮影部で得る画像中から時間的な輝度変化を生じている箇所を特定し、当該箇所での輝度変化から情報を復調する可視光通信受信手段、
上記第１及び第２の撮影部の各撮影画角と、上記第１及び第２の撮影部の各解像度の比とにより上記可視光通信受信工程で特定した時間的な輝度変化を生じている箇所の位置を補正する位置補正手段、
上記可視光通信受信手段で復調した情報を、上記位置補正手段で補正した位置に応じて上記第２の撮影部で得た画像上に合成する画像合成手段、及び
上記画像合成手段で合成した画像を表示する表示手段
として機能させることを特徴とする、コンピュータが読取り可能なプログラム。
【請求項１】
第１の撮影部と、
上記第１の撮影部で得る画像中から時間的な輝度変化を生じている箇所を特定し、当該箇所での輝度変化から情報を復調する可視光通信受信手段と、
上記第１の撮影部と平行した撮影光軸をもって近接配置された第２の撮影部と、
上記第１及び第２の撮影部の各撮影画角と、上記第１及び第２の撮影部の各解像度の比とにより上記可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正する位置補正手段と、
上記可視光通信受信手段で復調した情報を、上記位置補正手段で補正した位置に応じて上記第２の撮影部で得た画像上に合成する画像合成手段と、
上記画像合成手段で合成した画像を表示する表示手段と
を具備したことを特徴とする撮像装置。
【請求項２】
上記第２の撮影部は、撮影画角を可変するズーム機能を有し、
上記第２の撮影部のズーム機能で設定されている撮影画角を取得する画角取得手段をさらに具備し、
上記位置補正手段は、上記画角取得手段で得た第２の撮影部の撮影画角を用いて上記可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
上記位置補正手段は、予め記憶しているルックアップテーブルを参照して上記可視光通信受信手段で特定した時間的な輝度変化を生じている箇所の位置を補正する
ことを特徴とする請求項１記載の撮像装置。
【請求項４】
第１の撮影部と、上記第１の撮影部と平行した撮影光軸をもって近接配置された第２の撮影部とを備えた撮像装置での撮像方法であって、
上記第１の撮影部で得る画像中から時間的な輝度変化を生じている箇所を特定し、当該箇所での輝度変化から情報を復調する可視光通信受信工程と、
上記第１及び第２の撮影部の各撮影画角と、上記第１及び第２の撮影部の各解像度の比とにより上記可視光通信受信工程で特定した時間的な輝度変化を生じている箇所の位置を補正する位置補正工程と、
上記可視光通信受信工程で復調した情報を、上記位置補正工程で補正した位置に応じて上記第２の撮影部で得た画像上に合成する画像合成工程と、
上記画像合成工程で合成した画像を表示する表示工程と
を有したことを特徴とする撮像方法。
【請求項５】
第１の撮影部と、上記第１の撮影部と平行した撮影光軸をもって近接配置された第２の撮影部とを備えた撮像装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
上記第１の撮影部で得る画像中から時間的な輝度変化を生じている箇所を特定し、当該箇所での輝度変化から情報を復調する可視光通信受信手段、
上記第１及び第２の撮影部の各撮影画角と、上記第１及び第２の撮影部の各解像度の比とにより上記可視光通信受信工程で特定した時間的な輝度変化を生じている箇所の位置を補正する位置補正手段、
上記可視光通信受信手段で復調した情報を、上記位置補正手段で補正した位置に応じて上記第２の撮影部で得た画像上に合成する画像合成手段、及び
上記画像合成手段で合成した画像を表示する表示手段
として機能させることを特徴とする、コンピュータが読取り可能なプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２３８１９（Ｐ２０１１−２３８１９Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６５０３５（Ｐ２００９−１６５０３５）
【出願日】平成２１年７月１３日（２００９．７．１３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１３日（２００９．７．１３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]