撮像装置
【課題】複数のバス間で画像データを転送する際のバスの帯域の低減を避けることができる撮像装置を提供する。
【解決手段】固体撮像素子２は被写体を所定の撮像レートで撮像して撮像信号を生成する。プリプロセス回路４は撮像信号を画像データに変換する。ＪＰＥＧ処理回路８，１２および画像処理回路９，１３は画像データを画像処理する。データ転送制御部１７は、バスＢ１，Ｂ２間でデュアルポートメモリ１１を介して画像データを転送する際に、デュアルポートメモリ１１に対して同時に複数のアクセスが発生しないように画像データの転送タイミングを制御する。
【解決手段】固体撮像素子２は被写体を所定の撮像レートで撮像して撮像信号を生成する。プリプロセス回路４は撮像信号を画像データに変換する。ＪＰＥＧ処理回路８，１２および画像処理回路９，１３は画像データを画像処理する。データ転送制御部１７は、バスＢ１，Ｂ２間でデュアルポートメモリ１１を介して画像データを転送する際に、デュアルポートメモリ１１に対して同時に複数のアクセスが発生しないように画像データの転送タイミングを制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ等における連写撮影に１０数駒（フレーム）／秒以上の高速連写のスペックが要求されてきている。以下、デジタルカメラの一般的な処理を説明する。撮像素子から出力された撮像信号は、プリプロセス処理が施されて画像データに変換され、バッファメモリに格納される。続いて、バッファメモリから画像データを読み出し、画像データに対して画像処理を順次行い、最後に圧縮処理を行い、メモリカード等の外部メモリに圧縮後の画像データを記録する処理が行われる。また、この記録処理と並行して、バッファメモリから読み出した画像データに画像処理を行い、表示Ｉ／Ｆを介して表示装置へ画像データを出力し、画像を表示する処理も行われている。これらの処理を高速に実時間処理として行うと、バスにおけるデータ転送量が極めて多くなり、処理時間と共に消費電力が増大するという問題点が発生している。
【０００３】
この問題を解決する提案が特許文献１，２に開示されている。特許文献１に記載されている技術は、本線画像信号を生成する本線画処理手段と、本線画像信号とは独立したフレームレートのモニタ画像信号を生成するモニタ画処理手段とを設けたものである。本線画像信号とモニタ画像信号のフレームレートが独立しているので、本線画像信号のフレームレートを可変させて撮像を行っても、撮像時のモニタ画像を所定のフレームレートで表示できることを特徴としている。ただし、本線画像信号の処理の負荷が重く、高速連写や動画では、バスにおけるデータ転送量が極めて多いという課題に対しては十分対応しきれない場合が発生する。
【０００４】
また、特許文献２に記載されている技術は、画像処理を行う複数のブロックをほぼ同時に動作させることにより、処理の高速化を図るものである。この技術では、２つのバスのそれぞれに対してワークメモリ、カラー処理ブロック、およびＪＰＥＧ処理ブロックが接続されており、各バスに接続されたカラー処理ブロックおよびＪＰＥＧ処理ブロックで個別に画像データが処理された後、各バスに接続されたワークメモリに個別に画像データが格納される。
【特許文献１】国際公開第０３／０６３４７１号パンフレット
【特許文献２】特開２００５−１５９９９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
高速連写や動画において、バスにおけるデータ転送量が極めて多いという課題に答えるものとして、上記の特許文献２に記載された技術がある。しかし、上記のように複数のブロックを同時に動作させることにより処理の高速化を図ることができるものの、画像データを１つに纏めて記録する際には２つのバス間でデータ転送が必要になる。このデータ転送時には、両方のバスがデータ転送によって占有され、カラー処理ブロックおよびＪＰＥＧ処理ブロックの処理ができなくなり、高速化を阻害する要因となる。
【０００６】
本発明は、上述した課題に鑑みてなされたものであって、複数のバス間で画像データを転送する際のバスの帯域の低減を避けることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するためになされたもので、被写体を所定の撮像レートで撮像して撮像信号を生成する撮像手段と、前記撮像信号を画像データに変換する変換手段と、前記画像データを画像処理する複数の画像処理手段と、前記画像処理手段が接続された複数のバスと、前記複数のバス間で前記画像データを双方向に転送可能なデュアルポートメモリと、前記複数のバス間で前記デュアルポートメモリを介して前記画像データを転送する際に、前記デュアルポートメモリに対して同時に複数のアクセスが発生しないように前記画像データの転送タイミングを制御するデータ転送制御手段とを具備することを特徴とする撮像装置である。
【０００８】
また、本発明の撮像装置において、前記データ転送制御手段は、セマフォを管理することによって、前記デュアルポートメモリを介した前記画像データの転送タイミングを制御することを特徴とする。
【０００９】
また、本発明の撮像装置は、第１のバスに接続された前記画像処理手段によって処理され、前記デュアルポートメモリを介して第２のバスへ転送された前記画像データを記録媒体に記録する、前記第２のバスに接続された記録手段と、前記第１のバスに接続された前記画像処理手段によって処理された画像データに基づいて画像を表示する、前記第１のバスに接続された表示手段とをさらに具備することを特徴とする。
【００１０】
また、本発明の撮像装置は、前記画像データを記録媒体に記録する、前記第１のバスに接続された記録手段と、前記第１のバスに接続された前記画像処理手段によって処理された前記画像データを前記記録手段へ転送する第１の転送処理と、前記第２のバスに接続された前記画像処理手段によって処理された前記画像データを、前記デュアルポートメモリを介して前記記録手段へ転送する第２の転送処理とを、前記撮像レートに応じて切り替える切替手段とをさらに具備することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数のバス間でデュアルポートメモリを介して画像データを転送する際に、デュアルポートメモリに対して同時に複数のアクセスが発生しないように画像データの転送タイミングを制御することによって、複数のバス間で画像データを転送する際のバスの帯域の低減を避けることができるという効果が得られる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による撮像装置の構成を示している。以下、図中の各構成について説明する。撮像レンズ１は被写体からの光線を固体撮像素子２の撮像平面上に集光し、被写体像を結像する。固体撮像素子２は、被写体像を所定の撮像レート（フレームレート）で撮像し、撮像信号を生成する。撮像素子駆動回路３は固体撮像素子２の駆動制御等を行う。
【００１３】
プリプロセス回路４は、アナログの撮像信号を処理するアンプ、Ｓ／Ｈ（サンプルホールド）回路、信号レベルを調整するＡＧＣ（オートゲインコントロール）回路、およびＡ／Ｄ変換回路を備えており、アナログの撮像信号に対して各種処理を行った後、デジタル画像データに変換する。バッファメモリ５は、プリプロセス回路４から出力された画像データを記憶する。
【００１４】
本実施形態による撮像装置はバスＢ１，Ｂ２を備えている。バスＢ１には上位ブロック（外部メモリＩ／Ｆ６、外部メモリ７、ＪＰＥＧ処理回路８、画像処理回路９、およびバッファメモリ１０）が接続されており、バスＢ２には下位ブロック（ＪＰＥＧ処理回路１２、画像処理回路１３、バッファメモリ１４、表示Ｉ／Ｆ１５、および表示装置１６）が接続されている。また、バスＢ１，Ｂ２の両方に対してデュアルポートメモリ１１が接続されている。
【００１５】
撮像時に上位ブロックと下位ブロックの両方で並行して画像処理を行うことによって処理の高速化が図られている。より具体的には、上位ブロックと下位ブロックのそれぞれで画像データが処理され、下位ブロックで処理された画像データがデュアルポートメモリ１１を介してバスＢ１へ転送され、上位ブロックで処理された画像データと共に１つのファイルとして外部メモリ７に記録される。
【００１６】
外部メモリＩ／Ｆ６は、外部メモリ７への画像データの書き込み（記録）および外部メモリ７からの画像データの読み出し（再生）を行う。外部メモリ７は画像データを格納する記録媒体である。ＪＰＥＧ処理回路８は、画像データに対してＪＰＥＧによる圧縮／伸張（ＪＰＥＧ処理）を行う。画像処理回路９は、画像データに対して所定の画像処理を行う。バッファメモリ１０は、上位ブロックで処理される画像データを記憶する。デュアルポートメモリ１１は、バスＢ１に接続されたポートとバスＢ２に接続されたポートとを有し、バスＢ１，Ｂ２間で画像データを双方向に転送可能なメモリである。
【００１７】
ＪＰＥＧ処理回路１２は、画像データに対してＪＰＥＧによる圧縮／伸張（ＪＰＥＧ処理）を行う。画像処理回路１３は、画像データに対して所定の画像処理を行う。バッファメモリ１４は、下位ブロックで処理される画像データを記憶する。表示Ｉ／Ｆ１５は、下位ブロックで処理された画像データを表示装置１６へ出力する。表示装置１６は、表示Ｉ／Ｆ１５から出力された画像データに基づいて画像を表示する。
【００１８】
データ転送制御部１７は、バスＢ１，Ｂ２間でデュアルポートメモリ１１を介して画像データを転送する際に画像データの転送タイミングを制御する。特に本実施形態では、デュアルポートメモリ１１に対して同時に複数のアクセスが発生しないようにデータ転送制御部１７が画像データの転送タイミングを制御する。ＣＰＵ１８は撮像素子駆動回路３およびデータ転送制御部１７を制御するほか、撮像装置内の全体を制御する。
【００１９】
次に、本実施形態の画像処理について説明する。本実施形態では、本画像記録（等倍記録）用、縮小画像（サムネイル画像）記録用、および画像再生用の画像処理が用意されている。図２は本実施形態の画像処理のシーケンスを示している。図２（ａ）は本画像記録用の画像処理のシーケンスを示し、図２（ｂ）は縮小画像記録用の画像処理のシーケンスを示し、図２（ｃ）は画像再生用の画像処理のシーケンスを示している。
【００２０】
ＹＣ生成２１は、ＲＧＢの画像データから輝度データ（Ｙ）と色差データ（Ｃ）を生成する処理である。ＬＰＦ処理２２は高周波数領域のデータをカットする処理（ローパスフィルタ処理）である。縮小処理２３は、画素数を削減することによって画像のサイズを縮小する処理である。ＪＰＥＧ処理２４はＪＰＥＧによる圧縮／伸張処理である。画像処理回路９，１３は、ＹＣ生成２１、ＬＰＦ処理２２、および縮小処理２３のうち、ＣＰＵ１８によって設定された処理を行う。また、ＪＰＥＧ処理回路８，１２はＪＰＥＧ処理２４を行う。なお、図２に示したシーケンスでは、補間処理等の図示を省略している。
【００２１】
図２（ａ）に示す本画像記録用の画像処理では、ＹＣ生成２１が行われた後、ＪＰＥＧ処理２４によって画像データが記録に適したサイズに圧縮される。図２（ｂ）に示す縮小画像記録用の画像処理では、ＹＣ生成２１が行われた後、ＬＰＦ処理２２によって高周波数領域のデータがカットされ、縮小処理２３によって画像のサイズが縮小される。さらに、ＪＰＥＧ処理２４によって画像データが記録に適したサイズに圧縮される。図２（ｃ）に示す画像再生用の画像処理では、ＪＰＥＧ処理２４によって圧縮画像データが伸張された後、ＬＰＦ処理２２によって高周波数領域のデータがカットされ、縮小処理２３によって画像のサイズが縮小される。縮小処理２３が施された画像データは表示装置１６における画像表示に使用される。
【００２２】
次に、デュアルポートメモリ１１がバスＢ１，Ｂ２間で画像データを転送する方法を説明する。図３に示すように、上述した各種画像処理（ＪＰＥＧ処理を含む）を行うブロックをまとめて画像処理ブロック３１，３２とする。画像処理ブロック３１，３２が処理を行うと、デュアルポートメモリ１１に対する同時アクセスが発生しうる。
【００２３】
図４は、データに対する同時アクセスが発生する処理（処理ａ，ｂ）の従来の制御の様子を示している。同時アクセス（実際は時間のずれがある）が発生すると、先にアクセスした処理ａにＡｃｋ０信号が返され、データへのアクセスが行われる。また、遅れてアクセスした処理ｂにはＡｃｋ１信号が遅れて返されるので、アクセスのウェイトが発生する。先行した処理ａのアクセスが終了するとＡｃｋ１信号のウェイトが解除され、処理ｂによるアクセスが可能となる。
【００２４】
上記の制御を本実施形態に適用した場合、デュアルポートメモリ１１に対するアクセスのウェイトが発生している間は、バスＢ１，Ｂ２のいずれかが使えない状態となり、バスの帯域を圧迫する原因となる。この場合、バスＢ１，Ｂ２からの同時アクセスが発生しないようにすれば、バスＢ１またはバスＢ２が使えないことによるバスの帯域の圧迫を避けることができる。
【００２５】
以下、図５を参照しながら、画像データの転送タイミングを制御する方法を説明する。本実施形態では、排他制御の一種であるセマフォを用いて画像データの転送タイミングを制御する。このため、データ転送制御部１７は、０または１のセマフォビットを格納するセマフォ領域１７ａと、セマフォビットの値に基づいてデュアルポートメモリ１１に対するアクセスを管理するアクセス管理部１７ｂとを有する。
【００２６】
例えばバスＢ１からアクセス要求が発生し、わずかに遅れてバスＢ２からアクセス要求が発生したとする。ＣＰＵ１８はバスＢ１からのアクセス要求に答えてセマフォ領域１７ａからセマフォビットを読み出す。読み出したセマフォビットが“０”であれば、空き状態であることから、ＣＰＵ１８はセマフォビットを“１”にセットし、アクセス管理部１７ｂを介して、デュアルポートメモリ１１へのアクセスをバスＢ１に対して許可する。続いて、ＣＰＵ１８はバスＢ２からのアクセス要求に答えてセマフォ領域１７ａからセマフォビットを読み出す。このとき、読み出したセマフォビットが“１”になっているので、ＣＰＵ１８は、アクセス管理部１７ｂを介して、デュアルポートメモリ１１へのアクセスをバスＢ２に対して許可しない。
【００２７】
ただし、この場合、システムがＯＳにより管理されており、いくつかのタスクが同時並列的に動作している。例えば、画像処理、ＪＰＥＧ処理、記録処理等のタスクである。ある処理（タスク）がセマフォ管理により進められない場合、そのタスクはウェイト状態となり、次の優先順位を持ったタスクがＯＳによりスケジューリングされて実行されるので、バスの帯域を有効活用できる。つまり、２つのバスのうちの一方のバスのみがデュアルポートメモリ１１へアクセスし、もう一方のバスは自由に使用できる。
【００２８】
先にデュアルポートメモリ１１へアクセスしていた処理が終了すると、ＣＰＵ１８はセマフォ領域１７ａのセマフォビットをクリアする。これによって、バスＢ２からのアクセスが受け付けられるようになる。続いて、バスＢ２からデュアルポートメモリ１１へのアクセスを要求していた処理（タスク）がリスケジューリングされて実行される。
【００２９】
次に、本実施形態による撮像装置の全体の動作を説明する。以下で説明する動作の中で、デュアルポートメモリ１１を介したデータ転送を行う場合には、上述した制御を行うものとする。まず、図６および図７を参照しながら、撮像時における画像データの記録動作を説明する。以下の記録動作は撮像レートが高い場合（撮像レートが所定値以上の場合）の動作であり、撮像レートが低い場合の動作については後述する。
【００３０】
固体撮像素子２は、撮像素子駆動回路３によって設定された撮像レートで撮像を行い、撮像信号を生成してプリプロセス回路４へ出力する。プリプロセス回路４は、固体撮像素子２から出力された撮像信号に対して各種処理を行った後、画像データに変換し、バッファメモリ５へ出力する。
【００３１】
バッファメモリ５に格納された画像データはバッファメモリ１０に転送されると共に、バッファメモリ１４にも転送される。続いて、ＪＰＥＧ処理回路８および画像処理回路９を含む上位ブロックと、ＪＰＥＧ処理回路１２および画像処理回路１３を含む下位ブロックとで並行して画像データの処理が行われる。以下では、上位ブロックで本画像記録用の処理を行い、下位ブロックで縮小画像（サムネイル画像）記録用の処理を行う場合について説明するが、これに限らず、例えばフレーム毎に上位ブロックと下位ブロックで交互に画像データの処理を行うようにしてもよい。
【００３２】
画像処理回路９は、バッファメモリ１０から転送された画像データに対してＹＣ生成等の画像処理を行う。続いて、ＪＰＥＧ処理回路８は、画像処理回路９によって処理された画像データを圧縮し、バッファメモリ１０に画像データを再度格納する。一方、画像処理回路１３は、バッファメモリ１４から転送された画像データに対して、ＹＣ生成、ＬＰＦ処理、縮小処理等の画像処理を行う。続いて、ＪＰＥＧ処理回路１２は、画像処理回路１３によって処理された画像データを圧縮し、デュアルポートメモリ１１に画像データを格納する。図７に示すように、この画像データは、上位ブロックで処理されてバッファメモリ１０に格納された画像データと共に、ＣＰＵ１８による制御に従って、１つのファイルとして外部メモリＩ／Ｆ６を経由して外部メモリ７に記録される。
【００３３】
次に、図８を参照しながら、撮像時における画像表示動作を説明する。上述した画像データの記録動作と並行して以下の画像表示動作が行われる。撮像が行われてから、画像データがバッファメモリ１４に画像データが格納されるまでの動作は上述した通りである。画像処理回路１３は、バッファメモリ１４から転送された画像データに対して、表示用画像データの生成のため、ＹＣ生成、ＬＰＦ処理、縮小処理等の画像処理を行う。画像処理回路１３によって処理された画像データは表示Ｉ／Ｆ１５を経由して表示装置１６へ出力される。表示装置１６は、表示Ｉ／Ｆ１５から出力された画像データに基づいて画像を表示する。
【００３４】
次に、図９を参照しながら、撮像が終了した後の画像再生時における画像表示動作を説明する。外部メモリ７から外部メモリＩ／Ｆ６を経由して読み出された画像データはバッファメモリ１０に格納される。ＪＰＥＧ処理回路８はバッファメモリ１０から画像データを読み出して伸張し、デュアルポートメモリ１１に格納する。画像処理回路１３はデュアルポートメモリ１１から画像データを読み出して縮小処理等の画像処理を行い、バッファメモリ１４に画像データを格納する。この画像データは表示Ｉ／Ｆ１５を経由して表示装置１６へ出力される。表示装置１６は、表示Ｉ／Ｆ１５から出力された画像データに基づいて画像を表示する。
【００３５】
次に、図１０を参照しながら、撮像時における画像データの他の記録動作を説明する。以下の記録動作は撮像レートが低い場合（撮像レートが所定値未満の場合）の動作であり、撮像レートが高い場合の動作については前述した通りである。撮像レートが低い場合には、上位ブロックのみで画像データの記録処理を行う。したがって、デュアルポートメモリ１１を介した画像データの転送は行われない。なお、ＣＰＵ１８は、上位ブロックで画像データを処理し外部メモリ７へ転送する処理と、下位ブロックで画像データを処理しデュアルポートメモリ１１を介して外部メモリ７へ転送する処理とを、撮像レートに応じて切り替える制御を行う。
【００３６】
撮像が行われてから、画像データがバッファメモリ１０に画像データが格納されるまでの動作は前述した通りである。画像処理回路９は、バッファメモリ１０から転送された画像データに対してＹＣ生成等の画像処理を行う。続いて、ＪＰＥＧ処理回路８は、画像処理回路９によって処理された画像データを圧縮する。この画像データは、外部メモリＩ／Ｆ６を経由して外部メモリ７に記録される。
【００３７】
上述したように、本実施形態によれば、バスＢ１，Ｂ２間でデュアルポートメモリ１１を介して画像データを転送する際に、デュアルポートメモリ１１に対して同時に複数のアクセスが発生しないように画像データの転送タイミングを制御することによって、バスＢ１，Ｂ２間で画像データを転送する際のバスの帯域の低減を避けることができる。
【００３８】
また、撮像レートが高い場合には上位ブロックと下位ブロックの両方で並行して画像処理を行うことによって、全体の処理を高速化することができる。また、撮像レートが低い場合には上位ブロックのみで画像処理を行うことによって、消費電力を低減することができる。さらに、画像表示に使用する画像データについては、下位ブロックのみで画像処理を行うことによって、消費電力の増加を抑えることができる。
【００３９】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態による撮像装置の構成を示すブロック図である。
【図２】本発明の一実施形態における画像処理のシーケンスを示す参考図である。
【図３】本発明の一実施形態における画像データの転送方法を説明するためのブロック図である。
【図４】本発明の一実施形態における画像データの転送方法を説明するためのタイミングチャートである。
【図５】本発明の一実施形態における画像データの転送方法を説明するためのブロック図である。
【図６】本発明の一実施形態による撮像装置の動作を説明するためのブロック図である。
【図７】本発明の一実施形態による撮像装置の動作を説明するためのブロック図である。
【図８】本発明の一実施形態による撮像装置の動作を説明するためのブロック図である。
【図９】本発明の一実施形態による撮像装置の動作を説明するためのブロック図である。
【図１０】本発明の一実施形態による撮像装置の動作を説明するためのブロック図である。
【符号の説明】
【００４１】
１・・・撮像レンズ、２・・・固体撮像素子（撮像手段）、３・・・撮像素子駆動回路、４・・・プリプロセス回路（変換手段）、５，１０，１４・・・バッファメモリ、６・・・外部メモリＩ／Ｆ（記録手段）、７・・・外部メモリ、８，１２・・・ＪＰＥＧ処理回路（画像処理手段）、９，１３・・・画像処理回路（画像処理手段）、１１・・・デュアルポートメモリ、１５・・・表示Ｉ／Ｆ、１６・・・表示装置（表示手段）、１７・・・データ転送制御部（データ転送制御手段）、１７ａ・・・セマフォ領域、１７ｂ・・・アクセス管理部、１８・・・ＣＰＵ（切替手段）
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ等における連写撮影に１０数駒（フレーム）／秒以上の高速連写のスペックが要求されてきている。以下、デジタルカメラの一般的な処理を説明する。撮像素子から出力された撮像信号は、プリプロセス処理が施されて画像データに変換され、バッファメモリに格納される。続いて、バッファメモリから画像データを読み出し、画像データに対して画像処理を順次行い、最後に圧縮処理を行い、メモリカード等の外部メモリに圧縮後の画像データを記録する処理が行われる。また、この記録処理と並行して、バッファメモリから読み出した画像データに画像処理を行い、表示Ｉ／Ｆを介して表示装置へ画像データを出力し、画像を表示する処理も行われている。これらの処理を高速に実時間処理として行うと、バスにおけるデータ転送量が極めて多くなり、処理時間と共に消費電力が増大するという問題点が発生している。
【０００３】
この問題を解決する提案が特許文献１，２に開示されている。特許文献１に記載されている技術は、本線画像信号を生成する本線画処理手段と、本線画像信号とは独立したフレームレートのモニタ画像信号を生成するモニタ画処理手段とを設けたものである。本線画像信号とモニタ画像信号のフレームレートが独立しているので、本線画像信号のフレームレートを可変させて撮像を行っても、撮像時のモニタ画像を所定のフレームレートで表示できることを特徴としている。ただし、本線画像信号の処理の負荷が重く、高速連写や動画では、バスにおけるデータ転送量が極めて多いという課題に対しては十分対応しきれない場合が発生する。
【０００４】
また、特許文献２に記載されている技術は、画像処理を行う複数のブロックをほぼ同時に動作させることにより、処理の高速化を図るものである。この技術では、２つのバスのそれぞれに対してワークメモリ、カラー処理ブロック、およびＪＰＥＧ処理ブロックが接続されており、各バスに接続されたカラー処理ブロックおよびＪＰＥＧ処理ブロックで個別に画像データが処理された後、各バスに接続されたワークメモリに個別に画像データが格納される。
【特許文献１】国際公開第０３／０６３４７１号パンフレット
【特許文献２】特開２００５−１５９９９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
高速連写や動画において、バスにおけるデータ転送量が極めて多いという課題に答えるものとして、上記の特許文献２に記載された技術がある。しかし、上記のように複数のブロックを同時に動作させることにより処理の高速化を図ることができるものの、画像データを１つに纏めて記録する際には２つのバス間でデータ転送が必要になる。このデータ転送時には、両方のバスがデータ転送によって占有され、カラー処理ブロックおよびＪＰＥＧ処理ブロックの処理ができなくなり、高速化を阻害する要因となる。
【０００６】
本発明は、上述した課題に鑑みてなされたものであって、複数のバス間で画像データを転送する際のバスの帯域の低減を避けることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するためになされたもので、被写体を所定の撮像レートで撮像して撮像信号を生成する撮像手段と、前記撮像信号を画像データに変換する変換手段と、前記画像データを画像処理する複数の画像処理手段と、前記画像処理手段が接続された複数のバスと、前記複数のバス間で前記画像データを双方向に転送可能なデュアルポートメモリと、前記複数のバス間で前記デュアルポートメモリを介して前記画像データを転送する際に、前記デュアルポートメモリに対して同時に複数のアクセスが発生しないように前記画像データの転送タイミングを制御するデータ転送制御手段とを具備することを特徴とする撮像装置である。
【０００８】
また、本発明の撮像装置において、前記データ転送制御手段は、セマフォを管理することによって、前記デュアルポートメモリを介した前記画像データの転送タイミングを制御することを特徴とする。
【０００９】
また、本発明の撮像装置は、第１のバスに接続された前記画像処理手段によって処理され、前記デュアルポートメモリを介して第２のバスへ転送された前記画像データを記録媒体に記録する、前記第２のバスに接続された記録手段と、前記第１のバスに接続された前記画像処理手段によって処理された画像データに基づいて画像を表示する、前記第１のバスに接続された表示手段とをさらに具備することを特徴とする。
【００１０】
また、本発明の撮像装置は、前記画像データを記録媒体に記録する、前記第１のバスに接続された記録手段と、前記第１のバスに接続された前記画像処理手段によって処理された前記画像データを前記記録手段へ転送する第１の転送処理と、前記第２のバスに接続された前記画像処理手段によって処理された前記画像データを、前記デュアルポートメモリを介して前記記録手段へ転送する第２の転送処理とを、前記撮像レートに応じて切り替える切替手段とをさらに具備することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数のバス間でデュアルポートメモリを介して画像データを転送する際に、デュアルポートメモリに対して同時に複数のアクセスが発生しないように画像データの転送タイミングを制御することによって、複数のバス間で画像データを転送する際のバスの帯域の低減を避けることができるという効果が得られる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による撮像装置の構成を示している。以下、図中の各構成について説明する。撮像レンズ１は被写体からの光線を固体撮像素子２の撮像平面上に集光し、被写体像を結像する。固体撮像素子２は、被写体像を所定の撮像レート（フレームレート）で撮像し、撮像信号を生成する。撮像素子駆動回路３は固体撮像素子２の駆動制御等を行う。
【００１３】
プリプロセス回路４は、アナログの撮像信号を処理するアンプ、Ｓ／Ｈ（サンプルホールド）回路、信号レベルを調整するＡＧＣ（オートゲインコントロール）回路、およびＡ／Ｄ変換回路を備えており、アナログの撮像信号に対して各種処理を行った後、デジタル画像データに変換する。バッファメモリ５は、プリプロセス回路４から出力された画像データを記憶する。
【００１４】
本実施形態による撮像装置はバスＢ１，Ｂ２を備えている。バスＢ１には上位ブロック（外部メモリＩ／Ｆ６、外部メモリ７、ＪＰＥＧ処理回路８、画像処理回路９、およびバッファメモリ１０）が接続されており、バスＢ２には下位ブロック（ＪＰＥＧ処理回路１２、画像処理回路１３、バッファメモリ１４、表示Ｉ／Ｆ１５、および表示装置１６）が接続されている。また、バスＢ１，Ｂ２の両方に対してデュアルポートメモリ１１が接続されている。
【００１５】
撮像時に上位ブロックと下位ブロックの両方で並行して画像処理を行うことによって処理の高速化が図られている。より具体的には、上位ブロックと下位ブロックのそれぞれで画像データが処理され、下位ブロックで処理された画像データがデュアルポートメモリ１１を介してバスＢ１へ転送され、上位ブロックで処理された画像データと共に１つのファイルとして外部メモリ７に記録される。
【００１６】
外部メモリＩ／Ｆ６は、外部メモリ７への画像データの書き込み（記録）および外部メモリ７からの画像データの読み出し（再生）を行う。外部メモリ７は画像データを格納する記録媒体である。ＪＰＥＧ処理回路８は、画像データに対してＪＰＥＧによる圧縮／伸張（ＪＰＥＧ処理）を行う。画像処理回路９は、画像データに対して所定の画像処理を行う。バッファメモリ１０は、上位ブロックで処理される画像データを記憶する。デュアルポートメモリ１１は、バスＢ１に接続されたポートとバスＢ２に接続されたポートとを有し、バスＢ１，Ｂ２間で画像データを双方向に転送可能なメモリである。
【００１７】
ＪＰＥＧ処理回路１２は、画像データに対してＪＰＥＧによる圧縮／伸張（ＪＰＥＧ処理）を行う。画像処理回路１３は、画像データに対して所定の画像処理を行う。バッファメモリ１４は、下位ブロックで処理される画像データを記憶する。表示Ｉ／Ｆ１５は、下位ブロックで処理された画像データを表示装置１６へ出力する。表示装置１６は、表示Ｉ／Ｆ１５から出力された画像データに基づいて画像を表示する。
【００１８】
データ転送制御部１７は、バスＢ１，Ｂ２間でデュアルポートメモリ１１を介して画像データを転送する際に画像データの転送タイミングを制御する。特に本実施形態では、デュアルポートメモリ１１に対して同時に複数のアクセスが発生しないようにデータ転送制御部１７が画像データの転送タイミングを制御する。ＣＰＵ１８は撮像素子駆動回路３およびデータ転送制御部１７を制御するほか、撮像装置内の全体を制御する。
【００１９】
次に、本実施形態の画像処理について説明する。本実施形態では、本画像記録（等倍記録）用、縮小画像（サムネイル画像）記録用、および画像再生用の画像処理が用意されている。図２は本実施形態の画像処理のシーケンスを示している。図２（ａ）は本画像記録用の画像処理のシーケンスを示し、図２（ｂ）は縮小画像記録用の画像処理のシーケンスを示し、図２（ｃ）は画像再生用の画像処理のシーケンスを示している。
【００２０】
ＹＣ生成２１は、ＲＧＢの画像データから輝度データ（Ｙ）と色差データ（Ｃ）を生成する処理である。ＬＰＦ処理２２は高周波数領域のデータをカットする処理（ローパスフィルタ処理）である。縮小処理２３は、画素数を削減することによって画像のサイズを縮小する処理である。ＪＰＥＧ処理２４はＪＰＥＧによる圧縮／伸張処理である。画像処理回路９，１３は、ＹＣ生成２１、ＬＰＦ処理２２、および縮小処理２３のうち、ＣＰＵ１８によって設定された処理を行う。また、ＪＰＥＧ処理回路８，１２はＪＰＥＧ処理２４を行う。なお、図２に示したシーケンスでは、補間処理等の図示を省略している。
【００２１】
図２（ａ）に示す本画像記録用の画像処理では、ＹＣ生成２１が行われた後、ＪＰＥＧ処理２４によって画像データが記録に適したサイズに圧縮される。図２（ｂ）に示す縮小画像記録用の画像処理では、ＹＣ生成２１が行われた後、ＬＰＦ処理２２によって高周波数領域のデータがカットされ、縮小処理２３によって画像のサイズが縮小される。さらに、ＪＰＥＧ処理２４によって画像データが記録に適したサイズに圧縮される。図２（ｃ）に示す画像再生用の画像処理では、ＪＰＥＧ処理２４によって圧縮画像データが伸張された後、ＬＰＦ処理２２によって高周波数領域のデータがカットされ、縮小処理２３によって画像のサイズが縮小される。縮小処理２３が施された画像データは表示装置１６における画像表示に使用される。
【００２２】
次に、デュアルポートメモリ１１がバスＢ１，Ｂ２間で画像データを転送する方法を説明する。図３に示すように、上述した各種画像処理（ＪＰＥＧ処理を含む）を行うブロックをまとめて画像処理ブロック３１，３２とする。画像処理ブロック３１，３２が処理を行うと、デュアルポートメモリ１１に対する同時アクセスが発生しうる。
【００２３】
図４は、データに対する同時アクセスが発生する処理（処理ａ，ｂ）の従来の制御の様子を示している。同時アクセス（実際は時間のずれがある）が発生すると、先にアクセスした処理ａにＡｃｋ０信号が返され、データへのアクセスが行われる。また、遅れてアクセスした処理ｂにはＡｃｋ１信号が遅れて返されるので、アクセスのウェイトが発生する。先行した処理ａのアクセスが終了するとＡｃｋ１信号のウェイトが解除され、処理ｂによるアクセスが可能となる。
【００２４】
上記の制御を本実施形態に適用した場合、デュアルポートメモリ１１に対するアクセスのウェイトが発生している間は、バスＢ１，Ｂ２のいずれかが使えない状態となり、バスの帯域を圧迫する原因となる。この場合、バスＢ１，Ｂ２からの同時アクセスが発生しないようにすれば、バスＢ１またはバスＢ２が使えないことによるバスの帯域の圧迫を避けることができる。
【００２５】
以下、図５を参照しながら、画像データの転送タイミングを制御する方法を説明する。本実施形態では、排他制御の一種であるセマフォを用いて画像データの転送タイミングを制御する。このため、データ転送制御部１７は、０または１のセマフォビットを格納するセマフォ領域１７ａと、セマフォビットの値に基づいてデュアルポートメモリ１１に対するアクセスを管理するアクセス管理部１７ｂとを有する。
【００２６】
例えばバスＢ１からアクセス要求が発生し、わずかに遅れてバスＢ２からアクセス要求が発生したとする。ＣＰＵ１８はバスＢ１からのアクセス要求に答えてセマフォ領域１７ａからセマフォビットを読み出す。読み出したセマフォビットが“０”であれば、空き状態であることから、ＣＰＵ１８はセマフォビットを“１”にセットし、アクセス管理部１７ｂを介して、デュアルポートメモリ１１へのアクセスをバスＢ１に対して許可する。続いて、ＣＰＵ１８はバスＢ２からのアクセス要求に答えてセマフォ領域１７ａからセマフォビットを読み出す。このとき、読み出したセマフォビットが“１”になっているので、ＣＰＵ１８は、アクセス管理部１７ｂを介して、デュアルポートメモリ１１へのアクセスをバスＢ２に対して許可しない。
【００２７】
ただし、この場合、システムがＯＳにより管理されており、いくつかのタスクが同時並列的に動作している。例えば、画像処理、ＪＰＥＧ処理、記録処理等のタスクである。ある処理（タスク）がセマフォ管理により進められない場合、そのタスクはウェイト状態となり、次の優先順位を持ったタスクがＯＳによりスケジューリングされて実行されるので、バスの帯域を有効活用できる。つまり、２つのバスのうちの一方のバスのみがデュアルポートメモリ１１へアクセスし、もう一方のバスは自由に使用できる。
【００２８】
先にデュアルポートメモリ１１へアクセスしていた処理が終了すると、ＣＰＵ１８はセマフォ領域１７ａのセマフォビットをクリアする。これによって、バスＢ２からのアクセスが受け付けられるようになる。続いて、バスＢ２からデュアルポートメモリ１１へのアクセスを要求していた処理（タスク）がリスケジューリングされて実行される。
【００２９】
次に、本実施形態による撮像装置の全体の動作を説明する。以下で説明する動作の中で、デュアルポートメモリ１１を介したデータ転送を行う場合には、上述した制御を行うものとする。まず、図６および図７を参照しながら、撮像時における画像データの記録動作を説明する。以下の記録動作は撮像レートが高い場合（撮像レートが所定値以上の場合）の動作であり、撮像レートが低い場合の動作については後述する。
【００３０】
固体撮像素子２は、撮像素子駆動回路３によって設定された撮像レートで撮像を行い、撮像信号を生成してプリプロセス回路４へ出力する。プリプロセス回路４は、固体撮像素子２から出力された撮像信号に対して各種処理を行った後、画像データに変換し、バッファメモリ５へ出力する。
【００３１】
バッファメモリ５に格納された画像データはバッファメモリ１０に転送されると共に、バッファメモリ１４にも転送される。続いて、ＪＰＥＧ処理回路８および画像処理回路９を含む上位ブロックと、ＪＰＥＧ処理回路１２および画像処理回路１３を含む下位ブロックとで並行して画像データの処理が行われる。以下では、上位ブロックで本画像記録用の処理を行い、下位ブロックで縮小画像（サムネイル画像）記録用の処理を行う場合について説明するが、これに限らず、例えばフレーム毎に上位ブロックと下位ブロックで交互に画像データの処理を行うようにしてもよい。
【００３２】
画像処理回路９は、バッファメモリ１０から転送された画像データに対してＹＣ生成等の画像処理を行う。続いて、ＪＰＥＧ処理回路８は、画像処理回路９によって処理された画像データを圧縮し、バッファメモリ１０に画像データを再度格納する。一方、画像処理回路１３は、バッファメモリ１４から転送された画像データに対して、ＹＣ生成、ＬＰＦ処理、縮小処理等の画像処理を行う。続いて、ＪＰＥＧ処理回路１２は、画像処理回路１３によって処理された画像データを圧縮し、デュアルポートメモリ１１に画像データを格納する。図７に示すように、この画像データは、上位ブロックで処理されてバッファメモリ１０に格納された画像データと共に、ＣＰＵ１８による制御に従って、１つのファイルとして外部メモリＩ／Ｆ６を経由して外部メモリ７に記録される。
【００３３】
次に、図８を参照しながら、撮像時における画像表示動作を説明する。上述した画像データの記録動作と並行して以下の画像表示動作が行われる。撮像が行われてから、画像データがバッファメモリ１４に画像データが格納されるまでの動作は上述した通りである。画像処理回路１３は、バッファメモリ１４から転送された画像データに対して、表示用画像データの生成のため、ＹＣ生成、ＬＰＦ処理、縮小処理等の画像処理を行う。画像処理回路１３によって処理された画像データは表示Ｉ／Ｆ１５を経由して表示装置１６へ出力される。表示装置１６は、表示Ｉ／Ｆ１５から出力された画像データに基づいて画像を表示する。
【００３４】
次に、図９を参照しながら、撮像が終了した後の画像再生時における画像表示動作を説明する。外部メモリ７から外部メモリＩ／Ｆ６を経由して読み出された画像データはバッファメモリ１０に格納される。ＪＰＥＧ処理回路８はバッファメモリ１０から画像データを読み出して伸張し、デュアルポートメモリ１１に格納する。画像処理回路１３はデュアルポートメモリ１１から画像データを読み出して縮小処理等の画像処理を行い、バッファメモリ１４に画像データを格納する。この画像データは表示Ｉ／Ｆ１５を経由して表示装置１６へ出力される。表示装置１６は、表示Ｉ／Ｆ１５から出力された画像データに基づいて画像を表示する。
【００３５】
次に、図１０を参照しながら、撮像時における画像データの他の記録動作を説明する。以下の記録動作は撮像レートが低い場合（撮像レートが所定値未満の場合）の動作であり、撮像レートが高い場合の動作については前述した通りである。撮像レートが低い場合には、上位ブロックのみで画像データの記録処理を行う。したがって、デュアルポートメモリ１１を介した画像データの転送は行われない。なお、ＣＰＵ１８は、上位ブロックで画像データを処理し外部メモリ７へ転送する処理と、下位ブロックで画像データを処理しデュアルポートメモリ１１を介して外部メモリ７へ転送する処理とを、撮像レートに応じて切り替える制御を行う。
【００３６】
撮像が行われてから、画像データがバッファメモリ１０に画像データが格納されるまでの動作は前述した通りである。画像処理回路９は、バッファメモリ１０から転送された画像データに対してＹＣ生成等の画像処理を行う。続いて、ＪＰＥＧ処理回路８は、画像処理回路９によって処理された画像データを圧縮する。この画像データは、外部メモリＩ／Ｆ６を経由して外部メモリ７に記録される。
【００３７】
上述したように、本実施形態によれば、バスＢ１，Ｂ２間でデュアルポートメモリ１１を介して画像データを転送する際に、デュアルポートメモリ１１に対して同時に複数のアクセスが発生しないように画像データの転送タイミングを制御することによって、バスＢ１，Ｂ２間で画像データを転送する際のバスの帯域の低減を避けることができる。
【００３８】
また、撮像レートが高い場合には上位ブロックと下位ブロックの両方で並行して画像処理を行うことによって、全体の処理を高速化することができる。また、撮像レートが低い場合には上位ブロックのみで画像処理を行うことによって、消費電力を低減することができる。さらに、画像表示に使用する画像データについては、下位ブロックのみで画像処理を行うことによって、消費電力の増加を抑えることができる。
【００３９】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態による撮像装置の構成を示すブロック図である。
【図２】本発明の一実施形態における画像処理のシーケンスを示す参考図である。
【図３】本発明の一実施形態における画像データの転送方法を説明するためのブロック図である。
【図４】本発明の一実施形態における画像データの転送方法を説明するためのタイミングチャートである。
【図５】本発明の一実施形態における画像データの転送方法を説明するためのブロック図である。
【図６】本発明の一実施形態による撮像装置の動作を説明するためのブロック図である。
【図７】本発明の一実施形態による撮像装置の動作を説明するためのブロック図である。
【図８】本発明の一実施形態による撮像装置の動作を説明するためのブロック図である。
【図９】本発明の一実施形態による撮像装置の動作を説明するためのブロック図である。
【図１０】本発明の一実施形態による撮像装置の動作を説明するためのブロック図である。
【符号の説明】
【００４１】
１・・・撮像レンズ、２・・・固体撮像素子（撮像手段）、３・・・撮像素子駆動回路、４・・・プリプロセス回路（変換手段）、５，１０，１４・・・バッファメモリ、６・・・外部メモリＩ／Ｆ（記録手段）、７・・・外部メモリ、８，１２・・・ＪＰＥＧ処理回路（画像処理手段）、９，１３・・・画像処理回路（画像処理手段）、１１・・・デュアルポートメモリ、１５・・・表示Ｉ／Ｆ、１６・・・表示装置（表示手段）、１７・・・データ転送制御部（データ転送制御手段）、１７ａ・・・セマフォ領域、１７ｂ・・・アクセス管理部、１８・・・ＣＰＵ（切替手段）
【特許請求の範囲】
【請求項１】
被写体を所定の撮像レートで撮像して撮像信号を生成する撮像手段と、
前記撮像信号を画像データに変換する変換手段と、
前記画像データを画像処理する複数の画像処理手段と、
前記画像処理手段が接続された複数のバスと、
前記複数のバス間で前記画像データを双方向に転送可能なデュアルポートメモリと、
前記複数のバス間で前記デュアルポートメモリを介して前記画像データを転送する際に、前記デュアルポートメモリに対して同時に複数のアクセスが発生しないように前記画像データの転送タイミングを制御するデータ転送制御手段と、
を具備することを特徴とする撮像装置。
【請求項２】
前記データ転送制御手段は、セマフォを管理することによって、前記デュアルポートメモリを介した前記画像データの転送タイミングを制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
第１のバスに接続された前記画像処理手段によって処理され、前記デュアルポートメモリを介して第２のバスへ転送された前記画像データを記録媒体に記録する、前記第２のバスに接続された記録手段と、
前記第１のバスに接続された前記画像処理手段によって処理された画像データに基づいて画像を表示する、前記第１のバスに接続された表示手段と、
をさらに具備することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記画像データを記録媒体に記録する、前記第１のバスに接続された記録手段と、
前記第１のバスに接続された前記画像処理手段によって処理された前記画像データを前記記録手段へ転送する第１の転送処理と、前記第２のバスに接続された前記画像処理手段によって処理された前記画像データを、前記デュアルポートメモリを介して前記記録手段へ転送する第２の転送処理とを、前記撮像レートに応じて切り替える切替手段と、
をさらに具備することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項１】
被写体を所定の撮像レートで撮像して撮像信号を生成する撮像手段と、
前記撮像信号を画像データに変換する変換手段と、
前記画像データを画像処理する複数の画像処理手段と、
前記画像処理手段が接続された複数のバスと、
前記複数のバス間で前記画像データを双方向に転送可能なデュアルポートメモリと、
前記複数のバス間で前記デュアルポートメモリを介して前記画像データを転送する際に、前記デュアルポートメモリに対して同時に複数のアクセスが発生しないように前記画像データの転送タイミングを制御するデータ転送制御手段と、
を具備することを特徴とする撮像装置。
【請求項２】
前記データ転送制御手段は、セマフォを管理することによって、前記デュアルポートメモリを介した前記画像データの転送タイミングを制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
第１のバスに接続された前記画像処理手段によって処理され、前記デュアルポートメモリを介して第２のバスへ転送された前記画像データを記録媒体に記録する、前記第２のバスに接続された記録手段と、
前記第１のバスに接続された前記画像処理手段によって処理された画像データに基づいて画像を表示する、前記第１のバスに接続された表示手段と、
をさらに具備することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記画像データを記録媒体に記録する、前記第１のバスに接続された記録手段と、
前記第１のバスに接続された前記画像処理手段によって処理された前記画像データを前記記録手段へ転送する第１の転送処理と、前記第２のバスに接続された前記画像処理手段によって処理された前記画像データを、前記デュアルポートメモリを介して前記記録手段へ転送する第２の転送処理とを、前記撮像レートに応じて切り替える切替手段と、
をさらに具備することを特徴とする請求項１または請求項２に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−１７１３１１（Ｐ２００９−１７１３１１Ａ）
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願番号】特願２００８−８１０８（Ｐ２００８−８１０８）
【出願日】平成２０年１月１７日（２００８．１．１７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願日】平成２０年１月１７日（２００８．１．１７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]