撮像装置
【課題】撮像素子数に伴うハードウェア量の増加によるコストアップを抑制し、撮影画像のデータハンドリングを容易にする。
【解決手段】ＣＭＯＳセンサー１０２、１０３から出力される１ライン分の画像データをラインメモリ１０２、１０３に蓄積し、１つの画像処理回路１０６が時分割でラインメモリ１０２、１０３から画像データを取り出して、画像処理を施す。
【解決手段】ＣＭＯＳセンサー１０２、１０３から出力される１ライン分の画像データをラインメモリ１０２、１０３に蓄積し、１つの画像処理回路１０６が時分割でラインメモリ１０２、１０３から画像データを取り出して、画像処理を施す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像素子を用いた撮像装置に関する。
【背景技術】
【０００２】
複数の撮像素子を用いて全方位を撮影し、撮影で得られた複数の画像データを合成処理し、パノラマ画像を生成する撮像装置がある。
【０００３】
例えば、特許文献１では、ハードウェアを共有するために、複数のイメージセンサ、複数の画像プロセッサ、１つの圧縮エンジン、及びネットワークハードウェアで、パノラマ画像を撮影する構成が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、この撮像装置は複数の撮像素子を使用するため、撮像素子数に伴う画像処理のハードウェア量が多くなりコストが上がり、また、複数の画像データを別々に扱うためにデータハンドリングが煩雑となる問題があった。
【０００５】
本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、複数の撮像素子を使用する撮像装置において、撮像素子数に伴うハードウェア量の増加によるコストアップを抑制し、また、撮影画像のデータハンドリングが容易となり制御が簡単な撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、複数の撮像素子を用いて撮影する撮像装置において、複数の撮像素子からライン単位で出力される画像データを保存する、前記各撮像素子に対応した複数のラインメモリと、前記複数のラインメモリに保存されたライン単位の画像データを時分割で取り出して画像処理を施す画像処理手段を備えたことを最も主要な特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の画像処理ハードウェアを１つのハードウェアで構成して、複数のデータを１つのデータとして処理するので、撮像素子数に伴うハードウェア量の増加によるコストアップが抑制され、また、撮影画像のデータハンドリングが容易となり撮像装置を簡単に制御することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の撮像装置の全体構成を示す。
【図２】本発明の撮像装置の構成を示す。
【図３】従来の撮像装置の構成を示す。
【図４】本発明の画像データ転送と処理を説明する図である。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態について図面により詳細に説明する。撮像装置は、３６０度を一度に撮像、またはある所定の角度を個別に撮って、後でつなぎ合せることで、３６０度の画像を取得する。撮像装置においては、複数の撮像素子を利用し、合成する必要があるため、ハードウェアを追加すると、小型化の妨げとコスト上昇となるので、本発明では、ライン毎に処理することで、合成処理のし易さと、小型化を実現し、コスト上昇を抑制する。そのために、本発明では、撮像装置における撮影時の画像処理に際して、複数の画像データを１つの画像処理回路で処理する。
【実施例１】
【００１０】
図１は、本発明の実施形態の撮像装置の全体構成を示す。この実施形態の撮像装置１の撮像光学系は、各々半球画像を結像するための１８０度以上の画角を有する第の１魚眼レンズ１１、第２の魚眼レンズ１２を有し、半球画像の結像先には、例えば、２つのＣＭＯＳセンサー２１、２２を備えている。
【００１１】
２つのＣＭＯＳセンサー２１、２２が出力する２つの半球画像は、所定の画像処理が施された後、互いにオーバーラップ領域を有しており、撮像装置１内部のダイナミックメモリ４１に蓄えられた後、画像合成器４２によりオーバーラップ領域を基に全方位画像として合成されて再度ダイナミックメモリ４１に蓄えられた後、必要に応じてＵＳＢインターフェイス３１を通して、パーソナルコンピュータ２に全方位画像が転送される。
【００１２】
図２は、本発明の実施形態である撮像装置の構成を示し、図３は、従来の撮像装置の構成を示す。図３において、１０１は撮像制御回路、１０２、１０３はＣＭＯＳセンサー、１１０、１１１は画像処理回路、１０７はダイナミックメモリ、１０８は画像合成器、１０９はＵＳＢＩ／Ｆである。従来の撮像装置では、２つのＣＭＯＳセンサー１０２、１０３で撮影された画像データは、２つの画像処理回路１１０、１１１により、それぞれ画像処理される。画像処理の内容としては、黒レベル補正、色補間、欠陥画素補正等がある。
【００１３】
これに対して、本発明の実施形態の撮像装置では、ラインメモリ１０４、１０５を設け、２つのＣＭＯＳセンサー１０２、１０３で撮影された画像データを、１つの画像処理回路１０６により画像処理する。
【００１４】
すなわち、本発明では、ラインメモリ１０４、１０５を用いて、ＣＭＯＳセンサー１０２、１０３から出力される画像データを、いったん１ライン分をラインメモリ１０２、１０３に蓄積し、１つの画像処理回路１０６が時分割でラインメモリ１０２、１０３から１ライン分の画像データを取り出して、画像処理を施すことで、画像処理回路のハードウェア量を削減している。
【００１５】
撮像制御回路１０１は、シャッタボタン（図示しない）が押下されたタイミングで、ＣＭＯＳセンサー１０２、１０３に対して画像データの出力を指示するように構成されている。
【００１６】
上記した実施形態では、撮像装置が２つのＣＭＯＳセンサーから構成されているが、ＣＭＯＳセンサーが３以上で構成されている場合も同様である。
【００１７】
図４は、本発明の実施形態の画像データ転送と処理を説明する図である。横軸は時間軸であり、Ｖｓｙｎｃは垂直同期信号（２次元画像の１ページの先頭に１回だけ出力）、Ｈｓｙｎｃは水平同期信号（ライン単位の先頭に出力）、ＤＥはデータイネーブル信号（データ有効を示す）である。
【００１８】
図２に示す２つのＣＭＯＳセンサー１０２、１０３からはそれぞれ、同期信号と画像データＡ、Ｂが出力される。出力された画像データは、いったんラインメモリ１０４、１０５に蓄積され（Ａ（１）、Ｂ（１））、次のラインの信号が書き込まれる前に、画像処理回路１０６によって取り出される（Ａ（１）、Ｂ（１））。もしくは、タイミング的に上書きされる可能性がある場合は、ラインメモリの構成をトグル構成とすればよい。
【００１９】
画像処理回路１０６は、まずＣＭＯＳセンサー１０２の画像データＡを取り出して処理を施し、次に画像データＢを取り出して処理を施すように構成される。画像データの転送には画素単位に同期した画素クロック（図示せず）が存在し、ＣＭＯＳセンサー１０２、１０３から出力され、ラインメモリ１０４、１０５の書き込みクロックとして使用される。
【００２０】
本実施形態では、ラインメモリ１０４、１０５として、書き込みと読み出しのクロックを異なる周波数とすることが可能なラインメモリを使用し、書き込みクロックと比較し、２倍以上の読み出しクロックで読み出すことで、ライン単位でのリアルタイム処理を実現している。
【符号の説明】
【００２１】
１０１ 撮像制御回路
１０２、１０３ ＣＭＯＳセンサー
１０４、１０５ ラインメモリ
１０６ 画像処理回路
１０７ ダイナミックメモリ
１０８ 画像合成器
１０９ ＵＳＢＩ／Ｆ
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特開２００６−３３８１０号公報
【技術分野】
【０００１】
本発明は、複数の撮像素子を用いた撮像装置に関する。
【背景技術】
【０００２】
複数の撮像素子を用いて全方位を撮影し、撮影で得られた複数の画像データを合成処理し、パノラマ画像を生成する撮像装置がある。
【０００３】
例えば、特許文献１では、ハードウェアを共有するために、複数のイメージセンサ、複数の画像プロセッサ、１つの圧縮エンジン、及びネットワークハードウェアで、パノラマ画像を撮影する構成が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、この撮像装置は複数の撮像素子を使用するため、撮像素子数に伴う画像処理のハードウェア量が多くなりコストが上がり、また、複数の画像データを別々に扱うためにデータハンドリングが煩雑となる問題があった。
【０００５】
本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、複数の撮像素子を使用する撮像装置において、撮像素子数に伴うハードウェア量の増加によるコストアップを抑制し、また、撮影画像のデータハンドリングが容易となり制御が簡単な撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、複数の撮像素子を用いて撮影する撮像装置において、複数の撮像素子からライン単位で出力される画像データを保存する、前記各撮像素子に対応した複数のラインメモリと、前記複数のラインメモリに保存されたライン単位の画像データを時分割で取り出して画像処理を施す画像処理手段を備えたことを最も主要な特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の画像処理ハードウェアを１つのハードウェアで構成して、複数のデータを１つのデータとして処理するので、撮像素子数に伴うハードウェア量の増加によるコストアップが抑制され、また、撮影画像のデータハンドリングが容易となり撮像装置を簡単に制御することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の撮像装置の全体構成を示す。
【図２】本発明の撮像装置の構成を示す。
【図３】従来の撮像装置の構成を示す。
【図４】本発明の画像データ転送と処理を説明する図である。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態について図面により詳細に説明する。撮像装置は、３６０度を一度に撮像、またはある所定の角度を個別に撮って、後でつなぎ合せることで、３６０度の画像を取得する。撮像装置においては、複数の撮像素子を利用し、合成する必要があるため、ハードウェアを追加すると、小型化の妨げとコスト上昇となるので、本発明では、ライン毎に処理することで、合成処理のし易さと、小型化を実現し、コスト上昇を抑制する。そのために、本発明では、撮像装置における撮影時の画像処理に際して、複数の画像データを１つの画像処理回路で処理する。
【実施例１】
【００１０】
図１は、本発明の実施形態の撮像装置の全体構成を示す。この実施形態の撮像装置１の撮像光学系は、各々半球画像を結像するための１８０度以上の画角を有する第の１魚眼レンズ１１、第２の魚眼レンズ１２を有し、半球画像の結像先には、例えば、２つのＣＭＯＳセンサー２１、２２を備えている。
【００１１】
２つのＣＭＯＳセンサー２１、２２が出力する２つの半球画像は、所定の画像処理が施された後、互いにオーバーラップ領域を有しており、撮像装置１内部のダイナミックメモリ４１に蓄えられた後、画像合成器４２によりオーバーラップ領域を基に全方位画像として合成されて再度ダイナミックメモリ４１に蓄えられた後、必要に応じてＵＳＢインターフェイス３１を通して、パーソナルコンピュータ２に全方位画像が転送される。
【００１２】
図２は、本発明の実施形態である撮像装置の構成を示し、図３は、従来の撮像装置の構成を示す。図３において、１０１は撮像制御回路、１０２、１０３はＣＭＯＳセンサー、１１０、１１１は画像処理回路、１０７はダイナミックメモリ、１０８は画像合成器、１０９はＵＳＢＩ／Ｆである。従来の撮像装置では、２つのＣＭＯＳセンサー１０２、１０３で撮影された画像データは、２つの画像処理回路１１０、１１１により、それぞれ画像処理される。画像処理の内容としては、黒レベル補正、色補間、欠陥画素補正等がある。
【００１３】
これに対して、本発明の実施形態の撮像装置では、ラインメモリ１０４、１０５を設け、２つのＣＭＯＳセンサー１０２、１０３で撮影された画像データを、１つの画像処理回路１０６により画像処理する。
【００１４】
すなわち、本発明では、ラインメモリ１０４、１０５を用いて、ＣＭＯＳセンサー１０２、１０３から出力される画像データを、いったん１ライン分をラインメモリ１０２、１０３に蓄積し、１つの画像処理回路１０６が時分割でラインメモリ１０２、１０３から１ライン分の画像データを取り出して、画像処理を施すことで、画像処理回路のハードウェア量を削減している。
【００１５】
撮像制御回路１０１は、シャッタボタン（図示しない）が押下されたタイミングで、ＣＭＯＳセンサー１０２、１０３に対して画像データの出力を指示するように構成されている。
【００１６】
上記した実施形態では、撮像装置が２つのＣＭＯＳセンサーから構成されているが、ＣＭＯＳセンサーが３以上で構成されている場合も同様である。
【００１７】
図４は、本発明の実施形態の画像データ転送と処理を説明する図である。横軸は時間軸であり、Ｖｓｙｎｃは垂直同期信号（２次元画像の１ページの先頭に１回だけ出力）、Ｈｓｙｎｃは水平同期信号（ライン単位の先頭に出力）、ＤＥはデータイネーブル信号（データ有効を示す）である。
【００１８】
図２に示す２つのＣＭＯＳセンサー１０２、１０３からはそれぞれ、同期信号と画像データＡ、Ｂが出力される。出力された画像データは、いったんラインメモリ１０４、１０５に蓄積され（Ａ（１）、Ｂ（１））、次のラインの信号が書き込まれる前に、画像処理回路１０６によって取り出される（Ａ（１）、Ｂ（１））。もしくは、タイミング的に上書きされる可能性がある場合は、ラインメモリの構成をトグル構成とすればよい。
【００１９】
画像処理回路１０６は、まずＣＭＯＳセンサー１０２の画像データＡを取り出して処理を施し、次に画像データＢを取り出して処理を施すように構成される。画像データの転送には画素単位に同期した画素クロック（図示せず）が存在し、ＣＭＯＳセンサー１０２、１０３から出力され、ラインメモリ１０４、１０５の書き込みクロックとして使用される。
【００２０】
本実施形態では、ラインメモリ１０４、１０５として、書き込みと読み出しのクロックを異なる周波数とすることが可能なラインメモリを使用し、書き込みクロックと比較し、２倍以上の読み出しクロックで読み出すことで、ライン単位でのリアルタイム処理を実現している。
【符号の説明】
【００２１】
１０１ 撮像制御回路
１０２、１０３ ＣＭＯＳセンサー
１０４、１０５ ラインメモリ
１０６ 画像処理回路
１０７ ダイナミックメモリ
１０８ 画像合成器
１０９ ＵＳＢＩ／Ｆ
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特開２００６−３３８１０号公報
【特許請求の範囲】
【請求項１】
複数の撮像素子を用いて撮影する撮像装置において、複数の撮像素子からライン単位で出力される画像データを保存する、前記各撮像素子に対応した複数のラインメモリと、前記複数のラインメモリに保存されたライン単位の画像データを時分割で取り出して画像処理を施す画像処理手段を備えたことを特徴とする撮像装置。
【請求項２】
前記複数のラインメモリの読み出しクロックの周波数は、書き込みクロックの周波数のｎ倍（ｎ≧２）以上であることを特徴とする請求項１記載の撮像装置。
【請求項１】
複数の撮像素子を用いて撮影する撮像装置において、複数の撮像素子からライン単位で出力される画像データを保存する、前記各撮像素子に対応した複数のラインメモリと、前記複数のラインメモリに保存されたライン単位の画像データを時分割で取り出して画像処理を施す画像処理手段を備えたことを特徴とする撮像装置。
【請求項２】
前記複数のラインメモリの読み出しクロックの周波数は、書き込みクロックの周波数のｎ倍（ｎ≧２）以上であることを特徴とする請求項１記載の撮像装置。
【図２】
【図３】
【図４】
【図１】
【図３】
【図４】
【図１】
【公開番号】特開２０１３−５５５４１（Ｐ２０１３−５５５４１Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９２９８１（Ｐ２０１１−１９２９８１）
【出願日】平成２３年９月５日（２０１１．９．５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月５日（２０１１．９．５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]