画像処理システム及び撮像装置
【課題】
ＣＰＵどうしを接続することができず、ＣＰＵ間で直接データの受け渡しができない汎用のＣＰＵを複数用いて、複数のＣＰＵ間でデータの受け渡しをすることができないという不都合を解消し、複数のＣＰＵで画像処理を行うことで高速の画像処理が可能な画像処理システムを提供する。
【解決手段】
相互に直接、画像データの送受信を行うための通信回路を持たない複数の画像処理を行うＣＰＵと、前記複数のＣＰＵが同時にアクセス可能なＤｕａｌ Ｐｏｒｔ ＲＡＭを有し、前記複数のＣＰＵは前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して接続されていることを特徴とする画像処理システムを提供する。
ＣＰＵどうしを接続することができず、ＣＰＵ間で直接データの受け渡しができない汎用のＣＰＵを複数用いて、複数のＣＰＵ間でデータの受け渡しをすることができないという不都合を解消し、複数のＣＰＵで画像処理を行うことで高速の画像処理が可能な画像処理システムを提供する。
【解決手段】
相互に直接、画像データの送受信を行うための通信回路を持たない複数の画像処理を行うＣＰＵと、前記複数のＣＰＵが同時にアクセス可能なＤｕａｌ Ｐｏｒｔ ＲＡＭを有し、前記複数のＣＰＵは前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して接続されていることを特徴とする画像処理システムを提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタルカメラ等に採用される、画像処理システムに関する。特に、本発明は、複数の画像データの処理を高速化する画像処理システム及び撮像装置に関する。
【背景技術】
【０００２】
従来のフイルムカメラに代わり、イメージャーを用いて、被写体からの光を光電変換することにより撮像し、取得した画像信号をデジタル値の画像データとして変換し、メモリカード等の記憶媒体に記憶する撮像装置が普及している。
【０００３】
通常、このような撮像装置の多くは、一つのイメージャーと一つのＣＰＵを有する。
【０００４】
ここでいうイメージャーとは、ＣＭＯＳやＣＣＤなどの撮像素子であり、また、これらによって取得した画像信号を変換するのは、ＣＰＵである。ただし、かかるＣＰＵは画像の変換処理だけでなく、撮像装置内の各種デバイスの制御も同時に行っている。
【０００５】
このため、ＣＰＵには大きな負担がかかっている。イメージャーの画素数が飛躍的に増えた近年では、ＣＰＵにかかる負担はさらに大きくなり、画像処理の速度を遅くする原因となっており、ひいては連写速度向上の妨げとなっていた。
【０００６】
上述のような問題を解決するため、たとえば以下のような従来例がある。
【０００７】
特許文献１には、イメージャーの読出しの際、水平ラインを間引いて高速読出しを行い、画像読み出し時間を短縮し、連写速度を高速化する技術が記載されている。
【０００８】
特許文献２には、撮像手段から出力される一コマ分の画像データを連写可能最大コマ数分の一のデータ量となるように圧縮することで、連写速度を高速化する技術が記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１１−２６１８７９号公報
【００１０】
【特許文献２】特開平５−１６７９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら特許文献１に記載された発明にはライン指定をして間引き読み出しをすることが可能な特殊な撮像素子を使用する必要があり、汎用的な撮像素子を使用することができないという問題点があった。
【００１２】
また、特許文献２に記載された発明には、画像データを直接圧縮するため、解像度の劣化が顕著になってしまうという問題があった。
【００１３】
そこで、上記課題を解決する方法として、画像処理を行うＣＰＵを追加し、複数のＣＰＵで画像処理を行うことで処理時間を短縮する方法が考えられる。
【００１４】
画像処理を複数のＣＰＵで行うとはたとえば、連続撮影された画像を各ＣＰＵに振り分けて、複数のＣＰＵに複数の画像を並行して処理させたり、一つの画像データを複数に分割して各ＣＰＵに振り分け処理させたりするという方法がある。
【００１５】
しかしながら、単純に画像処理を行うＣＰＵを複数にしたとしても、上記のような処理方法を用いて、個々のＣＰＵにおける画像処理の負担を減らすことはできない。
【００１６】
ＣＰＵには、ＣＰＵどうしを接続して、ＣＰＵ間で直接データの受け渡しが可能な特殊なＣＰＵと、ＣＰＵどうしを接続することができず、ＣＰＵ間で直接データの受け渡しができない汎用のＣＰＵとがある。
【００１７】
ＣＰＵどうし直接接続して、データの受け渡しを行う必要があるのは、たとえばマスターＣＰＵとスレーブＣＰＵを有する構成の画像処置装置の場合において、外部記憶装置とつながっておらず、外部記憶装置の制御も行っていないスレーブＣＰＵが、画像処理後の最終データを外部記憶装置に書き込むため、外部記憶装置と接続し、制御を行っているマスターＣＰＵに画像処理後の最終データを受け渡す場合などである。
【００１８】
前述の特殊なＣＰＵを複数用いる構成とすれば、ＣＰＵどうし、データの受け渡しが可能なため、連続撮影された画像を各ＣＰＵに振り分けて、複数のＣＰＵに複数の画像を並行して処理させたり、または、一つの画像データを複数に分割して各ＣＰＵに振り分け処理させたりすることができる。
【００１９】
しかしながら、特殊なＣＰＵを複数用いる構成とすれば、当然、コスト高となってしまう。
【００２０】
本発明は、上述の問題点に鑑み、ＣＰＵどうしを接続することができず、ＣＰＵ間で直接データの受け渡しができない汎用のＣＰＵを複数用いて、複数のＣＰＵ間でデータの受け渡しをすることができないという不都合を解消し、複数のＣＰＵで画像処理を行うことで高速の画像処理が可能な画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
相互に直接、画像データの送受信を行うための通信回路を持たない、複数の、画像処理を行うＣＰＵと、前記複数のＣＰＵが同時にアクセス可能なＤｕａｌ Ｐｏｒｔ ＲＡＭを有し、前記複数のＣＰＵは前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して接続されていることを特徴とする、画像処理システムを提供する。
【００２２】
前記複数のＣＰＵは、画像処理と各種デバイスの制御を行う第１ＣＰＵと、画像処理のみを行う第２ＣＰＵであることを特徴とする請求項１に記載の画像処理システムを提供する。
【００２３】
前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭは中間デバイス中に構成され、前記中間デバイスは前記第１ＣＰＵの制御下で画像処理を行う前記第１ＣＰＵ若しくは前記第２ＣＰＵに画像データを送り出すことを特徴とする、請求項２に記載の画像処理システムを提供する。
【００２４】
前記中間デバイスにはＲＡＭが接続され、前記中間デバイスは前記第１ＣＰＵの制御下で、画像処理を行う前記第１ＣＰＵ若しくは前記第２ＣＰＵに、前記ＲＡＭから読み出した画像データを送り出すことを特徴とする、請求項３に記載の画像処理システムを提供する。
【００２５】
相互に直接、画像データの送受信を行うための通信回路を持たない、画像処理とデバイスの制御を行う第１ＣＰＵと、相互に直接、画像データの送受信を行うための通信回路を持たない、画像処理のみを行う第２ＣＰＵを有し、前記第１ＣＰＵと前記第２ＣＰＵが同時にアクセス可能なＤｕａｌ Ｐｏｒｔ ＲＡＭを有し、前記第１ＣＰＵと前記第２ＣＰＵは前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して接続され、前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭは中間デバイス中に構成され、前記中間デバイスにはＲＡＭが接続され、前記中間デバイスは前記第１ＣＰＵの制御下で、画像処理を行う前記第１ＣＰＵ若しくは前記第２ＣＰＵに前記ＲＡＭから読み出した画像データを送り出し、 前記第１ＣＰＵは外部記憶装置と接続することを特徴とする、撮像装置において、前記ＲＡＭに撮影された画像データがいったん保存され、前記ＲＡＭに保存された画像データは前記第１ＣＰＵの制御下で前記中間デバイスによって、画像処理を実行中でないＣＰＵに振り分けて送られ、前記第１ＣＰＵと前記第２ＣＰＵとで複数の画像データを並行して処理し、前記第２ＣＰＵから前記第１ＣＰＵへ、画像処理済みの画像データを前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して受け渡し、前記第１ＣＰＵから外部記憶装置に画像処理済みの画像データを書き込み、保存することを特徴とする撮像装置を提供する。
【発明の効果】
【００２６】
本発明の画像処理システムによれば、ＣＰＵどうしを接続することができず、ＣＰＵ間で直接データの受け渡しができない汎用のＣＰＵを複数用いて、複数のＣＰＵで画像処理を行うことにより、画像データの解像度を落とすことなく、複数の画像データの処理時間を短縮することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施例における画像処理システムのブロック図
【図２】Ｄｕａｌ Ｐｏｒｔ ＲＡＭの内部構造を示す概念図
【図３】本発明の実施例におけるフローチャート
【発明を実施するための形態】
【００２８】
図１は本発明にかかる画像処理システムの一例である撮像装置の概略構成を示すブロック図である。
【００２９】
図１において、１００は、本実施形態におけるデジタルカメラであり、被写体を撮影し、撮影した画像データを保存する。２００は、デジタルカメラ１００に装着可能な光学系である。本実施例において、デジタルカメラ１００は、光学系の交換が可能な構成となっており、デジタルカメラ１００と光学系２００とで全体としてレンズ交換式カメラシステムを構成している。
【００３０】
デジタルカメラ１００において、１０１はイメージャー、１０２はＦＰＧＡ、１０２０はＤｕａｌ Ｐｏｒｔ ＲＡＭ、１０３は第１ＣＰＵ、１０４は第２ＣＰＵ、１０５は外部記憶装置、１０６は外部表示装置、１０７は第１ＳＤＲＡＭ、１０８は第２ＳＤＲＡＭ、１０９は第３ＳＤＲＡＭである。
【００３１】
光学系２００は、レンズ光学系のほか、不図示のレンズＣＰＵ、絞りなどを有している。
【００３２】
イメージャー１０１は、レンズ系２００を通して入射した光を信号電荷に変換する、ＣＭＯＳやＣＣＤイメージャーである。
【００３３】
第１ＣＰＵ１０３は、撮影した画像データに対して、たとえばガンマ補正、ＹＣｂＣｒ変換、ノイズ除去等の各種画像処理を行い、さらに、不図示のＡＥ機構やＡＦ機構等の各種デバイスの制御も行うマスターＣＰＵである。
【００３４】
第２ＣＰＵ１０４は、第１ＣＰＵ１０３の制御下において、撮影した画像データに対して、ガンマ補正、ＹＣｂＣｒ変換、ノイズ除去等の各種画像処理を行うスレーブＣＰＵである。
【００３５】
第１ＳＤＲＡＭ１０７は第１ＣＰＵ１０３と接続した記憶装置である。第２ＳＤＲＡＭ１０８は第２ＣＰＵ１０４と接続した記憶装置である。第３ＳＤＲＡＭ１０９はＦＰＧＡ１０２と接続した記憶装置である。
【００３６】
外部記憶装置１０５は撮影画像を保存するためのメディアである。外部記録装置１０５としてはたとえば、デジタルカメラ１００に着脱自在なＳＤメモリカード（登録商標）マルチメディアカード（登録商標）ｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体を用いることができる。
【００３７】
外部表示装置１０６は、撮影した記録前の画像（プレビュー画像）やカメラに装填された外部記憶装置１０５から読み出した画像等を表示することができる。また、外部表示装置１０６は、カメラの動作モードやホワイトバランス、画像のピクセル数、感度等をマニュアル設定する際の各種のメニュー画面を表示させ、ユーザの操作に応じてマニュアル設定項目の設定が可能なユーザ・インターフェース用の画面を表示する。外部表示装置１０６としてはたとえば、液晶や有機ＥＬなどを用いることができる。
【００３８】
次に、以上の構成のうち、本発明において特徴的な構成について、説明する。
【００３９】
第１に、第１ＣＰＵ１０３、第２ＣＰＵ１０４はともに汎用のメモリとのアクセスを行う外部バスインターフェースを有する。本実施例においては、かかる外部バスによって、ＦＰＧＡ１０２を双方向ＲＡＭとして接続している。
【００４０】
元来、通信用のバスは、接続するデバイスの種類が事前に決まっており、デバイスは接続するバスインターフェースの仕様を満たす必要がある。外部バスインターフェースは汎用メモリと接続することを前提としており、本実施例のようにＣＰＵとＦＰＧＡを接続する場合には、ＲＡＭのような汎用メモリとして接続することで初めて、接続が可能となる。
【００４１】
本実施例において、ＲＡＭのような汎用メモリとして接続する、とはつまり第１ＣＰＵ１０３及び第２ＣＰＵ１０４にＦＰＧＡ１０２を集積回路として認識させず、ＲＡＭのような記憶装置として認識させることで、第１ＣＰＵ１０３および第２ＣＰＵ１０４とＦＰＧＡ１０２を外部バスインターフェースによって接続するということである。
【００４２】
本来ならば、第１ＣＰＵ１０３および第２ＣＰＵ１０４の通信手法として一般的な２線や３線のシリアル通信で大容量データの受け渡しを行わなくてはならず、これでは通信速度が遅すぎてしまい、たとえば連写で撮影をするときに問題となる。
【００４３】
しかしながら、本実施例においては、前述のとおり、第１ＣＰＵ１０３及び第２ＣＰＵ１０４にＦＰＧＡ１０２を集積回路として認識させず、ＲＡＭのような記憶装置として認識させることで、第１ＣＰＵ１０３および第２ＣＰＵ１０４とＦＰＧＡ１０２を外部バスインターフェースによって接続し、通信速度を落とさず、大容量データの受け渡しを行っている。
【００４４】
本実施例においては、ＦＰＧＡ１０２は内部回路によって第１ＣＰＵ１０３、第２ＣＰＵ１０４両方から同時にアクセス可能なＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０を構成している。
【００４５】
Ｄｕａｌ Ｐｏｒｔ ＲＡＭとはマルチポートＲＡＭ の一種で、２つのアクセスポートを持ち、かかる２つのアクセスポートから同時にアクセスが可能なＲＡＭのことである。
【００４６】
かかるＤｕａｌ Ｐｏｒｔ ＲＡＭの概念について、本実施例を例にして、図２に示す。
【００４７】
Ｄｕａｌ Ｐｏｒｔ ＲＡＭは前述のとおり、２つのアクセスポートを持ち、かかる２つのアクセスポートから同時にアクセスが可能なことが特徴である。この特徴は概念的には図２に示すように、一つのデバイス内に２つのＳｉｎｇｌｅ Ｐｏｒｔ ＲＡＭを有していることと同じであると説明できる。
【００４８】
つまり、本実施例におけるＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０内部は、図２に示すように、第１ＲＡＭ１０２１と第２ＲＡＭ１０２２の２つの仮想のＳｉｎｇｌｅ Ｐｏｒｔ ＲＡＭを有するような構成となっているものと考えることができる。
【００４９】
したがって、本実施例でのＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０と第１ＣＰＵ１０３及び第２ＣＰＵ１０４とが画像データのやり取りをするためにとっている構成は、以下のように考えることができる。ＦＰＧＡ１０２中の第１ＲＡＭ１０２１は第１ＣＰＵ１０３から書き込みを受け、第２ＣＰＵ１０４から読み出しを受けるような構成となっており、一方、第２ＲＡＭ１０２２が第２ＣＰＵ１０４から書き込みを受け、第１ＣＰＵ１０３から読み出しを受けるような構成となっている。したがって、本実施例では、第１ＣＰＵ１０３からＦＰＧＡ１０２中のＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に画像データを書き込み、第２ＣＰＵ１０４がＦＰＧＡ１０２中のＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０から画像を読み出すことも、反対に第２ＣＰＵ１０４からＦＰＧＡ１０２中のＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に画像データを書き込み、第１ＣＰＵ１０３がＦＰＧＡ１０２中のＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０から画像を読み出すことも、両方可能な構成となっている。
【００５０】
かかるＤｕａｌ Ｐｏｒｔ ＲＡＭの構成を用いて、本実施例中では、第２ＣＰＵ１０４がＦＰＧＡ１０２中のＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に画像処理済みの画像データを書きこみ、第１ＣＰＵ１０３が第２ＣＰＵ１０４が書き込んだ画像データをＦＰＧＡ１０２中のＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０から読み出している。これにより、第２ＣＰＵ１０４は画像処理を施した画像データを第１ＣＰＵ１０３に受け渡すことができる。これができなければ、いくら第２ＣＰＵ１０４が画像処理を行っても、処理した画像データを外部記憶装置１０５に保存したり、外部表示装置１０６に表示したりすることができない。なぜなら、これら外部記憶装置１０５や外部表示装置１０６を制御しているのはマスターＣＰＵである第１ＣＰＵ１０３だからである。
【００５１】
以上のような構成をとることで、ＣＰＵどうしを接続することができず、ＣＰＵ間で直接データの受け渡しができない汎用のＣＰＵどうしでも、画像データのような大容量データを受け渡しすることができる。
【００５２】
次に、第２の特徴について説明する。第３ＳＤＲＡＭ１０９はＦＰＧＡ１０２と接続している。第３ＳＤＲＡＭ１０９は前述のとおり、記憶装置であり、フレームバッファの役割を果たしている。すなわち、第３ＳＤＲＡＭ１０９には、たとえば連続撮影された画像データが次々と領域がいっぱいになるまで保存され、撮影された画像データを画像処理する場合には第３ＳＤＲＡＭ１０９から各ＣＰＵへと送られる。
【００５３】
第３ＳＤＲＡＭ１０９を、イメージャー１０１と接続したＦＰＧＡ１０２と接続して配置するのは、本発明の構成において、ＣＰＵ間で直接データの受け渡しができない汎用のＣＰＵを複数有し、かかる複数のＣＰＵ間で、画像データのような大容量データの受け渡しを効率的に行うためである。
【００５４】
通常、ＣＰＵを複数持たない従来の画像処理装置の場合、フレームバッファの役割を果たす記憶装置は、ＣＰＵに接続している。イメージャーは撮影した画像データをＣＰＵに出力し、ＣＰＵは自身と接続したフレームバッファの役割を果たす記憶装置に保存する。そして、ＣＰＵは記憶装置に保存された画像を読み出して画像処理を行う。
【００５５】
ＣＰＵが一つの場合は、以上のような構成で何ら問題なく、撮影画像の画像処理を行うことができる。しかしながら、本発明のように撮影画像を複数のＣＰＵで処理する場合には、フレームバッファの役割を果たす記憶装置の配置が問題となる。
【００５６】
たとえば、本発明において、イメージャー１０１と接続したＦＰＧＡ１０２と接続して、フレームバッファの役割を果たす第３ＳＤＲＡＭ１０９を配置せず、マスターＣＰＵである第１ＣＰＵ１０３と接続する第１ＳＤＲＡＭ１０７やスレーブＣＰＵである第２ＣＰＵ１０４と接続する第２ＳＤＲＡＭ１０８にフレームバッファの役割をさせた場合に問題となる。そこで、かかる問題について、第３ＳＤＲＡＭ１０９を配置せず第１ＳＤＲＡＭ１０７をフレームバッファとする場合と、第３ＳＤＲＡＭ１０９を配置せず第２ＳＤＲＡＭ１０８をフレームバッファをする場合の処理の流れを示して、以下に説明する。
【００５７】
まず、本発明において、第３ＳＤＲＡＭ１０９を配置せず、マスターＣＰＵである第１ＣＰＵ１０３と接続する第１ＳＤＲＡＭ１０７にフレームバッファの役割をさせた場合を例にとって考える。
【００５８】
以上のような構成において、撮影された画像データは、イメージャー１０１からＦＰＧＡ１０２を経て第１ＣＰＵ１０３に読み出され、次いで第１ＳＤＲＡＭ１０７に送られる。そして、第１ＣＰＵ１０３が画像処理中でない場合には、第１ＣＰＵ１０３が第１ＳＤＲＡＭ１０７から画像データを読み出し、かかる画像データに画像処理を施す。そして、次の画像データが撮影された場合には、次の画像データは先ほどと同様、イメージャー１０１から第１ＣＰＵ１０３に読み出され、次いで第１ＳＤＲＡＭ１０７に送られる。このとき、第１ＣＰＵ１０３が画像処理中であり、第２ＣＰＵ１０４が画像処理中でなかった場合、第１ＣＰＵ１０３は第１ＳＤＲＡＭ１０７に送られた画像データを読み出し、第２ＣＰＵへ送ることになる。つまり、第１ＣＰＵ１０３は第１ＳＤＲＡＭ１０７に送られた画像データを読み出し、Ｄｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に画像データを書き込み、第２ＣＰＵ１０４がＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０から画像データを読みだして、読みだした画像データに画像処理を施すことになる。すなわち、かかる構成では、第１ＣＰＵ１０３に画像処理をさせる場合に比べ、第２ＣＰＵ１０４に画像処理をさせる場合に画像データの受け渡しに時間がかかることになる。そのため、画像データの平行処理をするにあたり、非常に効率が悪くなるという問題がある。
【００５９】
更に、本発明において、第３ＳＤＲＡＭ１０９を配置せず、スレーブＣＰＵである第２ＣＰＵ１０４と接続する第２ＳＤＲＡＭ１０８にフレームバッファの役割をさせた場合を例にとって考える。
【００６０】
以上のような構成において、撮影された画像データは、イメージャー１０１からＦＰＧＡ１０２を経て第２ＣＰＵ１０４に読み出され、次いで第２ＳＤＲＡＭ１０８に送られる。そして、第１ＣＰＵ１０３が画像処理中でない場合には、第２ＣＰＵ１０４は第２ＳＤＲＡＭ１０８に送られた画像データを読み出し、第１ＣＰＵへ送ることになる。つまり、第２ＣＰＵ１０４は第１ＣＰＵ１０３の命令により、第２ＳＤＲＡＭ１０８に送られた画像データを読み出し、Ｄｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に画像データを書き込み、第１ＣＰＵ１０３がＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０から画像データを読みだして、読みだした画像データに画像処理を施すことになる。そして、次の画像データが撮影された場合には、先ほどと同様、画像データはイメージャー１０１からＦＰＧＡ１０２を経て第２ＣＰＵ１０４に読み出され、次いで第２ＳＤＲＡＭ１０８に送られる。そして、第１ＣＰＵ１０３が画像処理中であり、第２ＣＰＵ１０４が画像処理中でなかった場合には、第１ＣＰＵ１０３の命令により、第２ＣＰＵ１０４が第２ＳＤＲＡＭ１０８から画像データを読み出し、かかる画像データに画像処理を施すことになる。すなわち、かかる構成では、第２ＣＰＵ１０４に画像処理をさせる場合に比べ、第１ＣＰＵ１０３に画像処理をさせる場合に画像データの受け渡しに時間がかかることになる。そのため、第１ＳＤＲＡＭにフレームバッファの役割をさせた時同様、画像データの平行処理をするにあたり、非常に効率が悪くなるという問題がある。
【００６１】
対して、本発明の実施例のように、第３ＳＤＲＡＭ１０９を配置し、かかる第３ＳＤＲＡＭ１０９にフレームバッファの役割をさせた場合を例にとって考える。
【００６２】
本発明の実施例のような構成において、撮影された画像データは、イメージャー１０１からＦＰＧＡ１０２を経て第３ＳＤＲＡＭ１０９に送られる。そして、画像データを画像処理を行うＣＰＵに割り振るため、第１ＣＰＵ１０３がＦＰＧＡ１０２に第３ＳＤＲＡＭ１０９から画像データを読み出すよう命令する。このとき、第１ＣＰＵ１０３が画像処理中でない場合には、ＦＰＧＡ１０２は第３ＳＤＲＡＭ１０９から画像データを受け取ると、第１ＣＰＵ１０３に画像データを送り出し、第１ＣＰＵ１０３は、ＦＰＧＡ１０２から受け取った画像データに画像処理を施す。そして、次の画像データが撮影された場合には、先ほどと同様、イメージャー１０１からＦＰＧＡ１０２を経て第３ＳＤＲＡＭ１０９に送られる。そして、かかる画像データを、画像処理を行うＣＰＵに割り振るため、第１ＣＰＵ１０３がＦＰＧＡ１０２に第３ＳＤＲＡＭ１０９から画像データを読み出すよう命令する。このとき、第１ＣＰＵ１０３が画像処理中であり、第２ＣＰＵ１０４が画像処理中でなかった場合、ＦＰＧＡ１０２は第３ＳＤＲＡＭ１０９から画像データを受け取ると、第２ＣＰＵ１０４に画像データを送り出し、第２ＣＰＵ１０４は、ＦＰＧＡ１０２から受け取った画像データに画像処理を施すことになる。すなわち、第１ＳＤＲＡＭ１０７や第２ＳＤＲＡＭ１０８をフレームバッファにした場合のように、どちらか一方への画像データの受け渡しが遠回りになり、どちらか一方への画像データの受け渡しに時間がかかってしまうということがない。
【００６３】
以上の対比の結果をふまえ、本発明では、フレームバッファの役割を果たす第３ＳＤＲＡＭ１０９を、ＦＰＧＡ１０２と接続して配置する。こうすることで、前述したように、画像データはイメージャー１０１から、ＦＰＧＡ１０２と接続した第３ＳＤＲＡＭ１０９へと送られ、画像処理を施される際に、第１ＣＰＵ１０３の命令により、ＦＰＧＡ１０２から第１ＣＰＵ１０３若しくは第２ＣＰＵ１０４へと送ることができる。すなわち、本発明の実施例の構成では、第１ＣＰＵ１０３及び第２ＣＰＵ１０４いずれが画像処理を行う場合においても、画像データの読み出しの際、どちらかが不利になるということがなく、効率的に第１ＣＰＵ１０３と第２ＣＰＵ１０４の２つのＣＰＵに画像データを振り分けることができる。
【００６４】
次に、本発明を実施した撮像装置における、撮影時の画像データの処理方法の一例について、図３のフローチャートを用いて以下に述べる。
【００６５】
撮影動作が行われると、撮影された画像データはイメージャー１０１より１枚目から順に出力される。（ステップ＃１）
【００６６】
イメージャー１０１から出力された画像データは１枚目の画像データから順にＦＰＧＡ１０２を経て、第３ＳＤＲＡＭ１０９へと送られる（ステップ＃２）。かかるステップ２は、後に再度ＦＰＧＡ１０２へと送られた画像データが、ＦＰＧＡ１０２から第１ＣＰＵ１０３又は第２ＣＰＵ１０４へと読みだされるときの処理速度や転送速度の差を調整するためであり、また、前述のとおり、イメージャー１０１から送られた画像データがマスターＣＰＵ１０３とスレーブＣＰＵ１０４とに効率よく振り分けられるよう動作する、フレームバッファとしての役割をはたすためである。
【００６７】
次に、第１ＣＰＵ１０３は第１ＣＰＵ１０３自身が画像処理中か否かを判断する（ステップ＃３）。判定の結果、第１ＣＰＵ１０３が画像処理中であれば、ステップ＃８に進み、第１ＣＰＵ１０３が画像処理中でなければ、画像データは第３ＳＤＲＡＭ１０９から第１ＣＰＵ１０３に読みだされ（ステップ＃４）、第１ＣＰＵ１０３は読みだした画像データにたとえばガンマ補正、ＹＣｂＣｒ変換、ノイズ除去等の各種画像処理を施す（ステップ＃５）。画像処理を施された画像データは第１ＳＤＲＡＭ１０７へ送られ、一旦保存され（ステップ＃６）、最後に、第１ＳＤＲＡＭ１０７から読みだされて、外部表示装置１０６にプレビュー画像として表示されたり、外部記憶装置１０５に撮影画像として保存されたりする。（ステップ＃７）
【００６８】
ステップ＃３で第１ＣＰＵ１０３自身が画像処理中か否かを判断した結果、第１ＣＰＵ１０３が画像処理中であった場合には、第１ＣＰＵ１０３は第２ＣＰＵ１０４が画像処理中か否かを判断する（ステップ＃８）。判定の結果、第２ＣＰＵ１０４が画像処理中であれば、ステップ＃３に戻り、第２ＣＰＵ１０４が画像処理中でなければ、画像データは第２ＣＰＵ１０４に送られ（ステップ＃９）第２ＣＰＵ１０４は送られてきた画像データにたとえばガンマ補正、ＹＣｂＣｒ変換、ノイズ除去等の各種画像処理を施す（ステップ＃１０）。画像処理を施された画像データは一旦、バッファの役割を果たす第２ＳＤＲＡＭ１０８に書き込まれ、その後、Ｄｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に送られる（ステップ＃１１）。これは、先述のとおり、画像処理済みの画像データをマスターＣＰＵである第１ＣＰＵ１０３に受け渡すためである。
【００６９】
Ｄｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に書き込まれた画像データは、第１ＣＰＵ１０３によって読みだされる（ステップ＃１２）。第１ＣＰＵ１０３に読みだされた画像データは第１ＳＤＲＡＭ１０７へ送られ、一旦保存され（ステップ＃６）、最後に、第１ＳＤＲＡＭ１０７から読みだされて、外部表示装置１０６にプレビュー画像として表示されたり、外部記憶装置１０５に撮影画像として保存されたりする。（ステップ＃７）
【００７０】
こうすることで、第１ＣＰＵ１０３が画像処理作業中に第２ＣＰＵ１０４も画像処理作業を行うことができ、第１ＣＰＵ１０３と第２ＣＰＵ１０４は並行して別々の画像データの処理を行うことができる。
【００７１】
以上の実施例においてはレンズ交換式のデジタルカメラを用いたが、レンズ交換式でないデジタルカメラに本発明を用いても問題ない。
【符号の説明】
【００７２】
１００ デジタルカメラ
１０１ イメージャー
１０２ ＦＰＧＡ
１０３ 第１ＣＰＵ
１０４ 第２ＣＰＵ
１０５ 外部記憶装置
１０６ 外部表示装置
１０７ 第１ＳＤＲＡＭ
１０８ 第２ＳＤＲＡＭ
１０９ 第３ＳＤＲＡＭ
２００ 光学系
１０２０ Ｄｕａｌ Ｐｏｒｔ ＲＡＭ
１０２１ 第１ＲＡＭ
１０２２ 第２ＲＡＭ
【技術分野】
【０００１】
本発明はデジタルカメラ等に採用される、画像処理システムに関する。特に、本発明は、複数の画像データの処理を高速化する画像処理システム及び撮像装置に関する。
【背景技術】
【０００２】
従来のフイルムカメラに代わり、イメージャーを用いて、被写体からの光を光電変換することにより撮像し、取得した画像信号をデジタル値の画像データとして変換し、メモリカード等の記憶媒体に記憶する撮像装置が普及している。
【０００３】
通常、このような撮像装置の多くは、一つのイメージャーと一つのＣＰＵを有する。
【０００４】
ここでいうイメージャーとは、ＣＭＯＳやＣＣＤなどの撮像素子であり、また、これらによって取得した画像信号を変換するのは、ＣＰＵである。ただし、かかるＣＰＵは画像の変換処理だけでなく、撮像装置内の各種デバイスの制御も同時に行っている。
【０００５】
このため、ＣＰＵには大きな負担がかかっている。イメージャーの画素数が飛躍的に増えた近年では、ＣＰＵにかかる負担はさらに大きくなり、画像処理の速度を遅くする原因となっており、ひいては連写速度向上の妨げとなっていた。
【０００６】
上述のような問題を解決するため、たとえば以下のような従来例がある。
【０００７】
特許文献１には、イメージャーの読出しの際、水平ラインを間引いて高速読出しを行い、画像読み出し時間を短縮し、連写速度を高速化する技術が記載されている。
【０００８】
特許文献２には、撮像手段から出力される一コマ分の画像データを連写可能最大コマ数分の一のデータ量となるように圧縮することで、連写速度を高速化する技術が記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１１−２６１８７９号公報
【００１０】
【特許文献２】特開平５−１６７９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら特許文献１に記載された発明にはライン指定をして間引き読み出しをすることが可能な特殊な撮像素子を使用する必要があり、汎用的な撮像素子を使用することができないという問題点があった。
【００１２】
また、特許文献２に記載された発明には、画像データを直接圧縮するため、解像度の劣化が顕著になってしまうという問題があった。
【００１３】
そこで、上記課題を解決する方法として、画像処理を行うＣＰＵを追加し、複数のＣＰＵで画像処理を行うことで処理時間を短縮する方法が考えられる。
【００１４】
画像処理を複数のＣＰＵで行うとはたとえば、連続撮影された画像を各ＣＰＵに振り分けて、複数のＣＰＵに複数の画像を並行して処理させたり、一つの画像データを複数に分割して各ＣＰＵに振り分け処理させたりするという方法がある。
【００１５】
しかしながら、単純に画像処理を行うＣＰＵを複数にしたとしても、上記のような処理方法を用いて、個々のＣＰＵにおける画像処理の負担を減らすことはできない。
【００１６】
ＣＰＵには、ＣＰＵどうしを接続して、ＣＰＵ間で直接データの受け渡しが可能な特殊なＣＰＵと、ＣＰＵどうしを接続することができず、ＣＰＵ間で直接データの受け渡しができない汎用のＣＰＵとがある。
【００１７】
ＣＰＵどうし直接接続して、データの受け渡しを行う必要があるのは、たとえばマスターＣＰＵとスレーブＣＰＵを有する構成の画像処置装置の場合において、外部記憶装置とつながっておらず、外部記憶装置の制御も行っていないスレーブＣＰＵが、画像処理後の最終データを外部記憶装置に書き込むため、外部記憶装置と接続し、制御を行っているマスターＣＰＵに画像処理後の最終データを受け渡す場合などである。
【００１８】
前述の特殊なＣＰＵを複数用いる構成とすれば、ＣＰＵどうし、データの受け渡しが可能なため、連続撮影された画像を各ＣＰＵに振り分けて、複数のＣＰＵに複数の画像を並行して処理させたり、または、一つの画像データを複数に分割して各ＣＰＵに振り分け処理させたりすることができる。
【００１９】
しかしながら、特殊なＣＰＵを複数用いる構成とすれば、当然、コスト高となってしまう。
【００２０】
本発明は、上述の問題点に鑑み、ＣＰＵどうしを接続することができず、ＣＰＵ間で直接データの受け渡しができない汎用のＣＰＵを複数用いて、複数のＣＰＵ間でデータの受け渡しをすることができないという不都合を解消し、複数のＣＰＵで画像処理を行うことで高速の画像処理が可能な画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
相互に直接、画像データの送受信を行うための通信回路を持たない、複数の、画像処理を行うＣＰＵと、前記複数のＣＰＵが同時にアクセス可能なＤｕａｌ Ｐｏｒｔ ＲＡＭを有し、前記複数のＣＰＵは前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して接続されていることを特徴とする、画像処理システムを提供する。
【００２２】
前記複数のＣＰＵは、画像処理と各種デバイスの制御を行う第１ＣＰＵと、画像処理のみを行う第２ＣＰＵであることを特徴とする請求項１に記載の画像処理システムを提供する。
【００２３】
前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭは中間デバイス中に構成され、前記中間デバイスは前記第１ＣＰＵの制御下で画像処理を行う前記第１ＣＰＵ若しくは前記第２ＣＰＵに画像データを送り出すことを特徴とする、請求項２に記載の画像処理システムを提供する。
【００２４】
前記中間デバイスにはＲＡＭが接続され、前記中間デバイスは前記第１ＣＰＵの制御下で、画像処理を行う前記第１ＣＰＵ若しくは前記第２ＣＰＵに、前記ＲＡＭから読み出した画像データを送り出すことを特徴とする、請求項３に記載の画像処理システムを提供する。
【００２５】
相互に直接、画像データの送受信を行うための通信回路を持たない、画像処理とデバイスの制御を行う第１ＣＰＵと、相互に直接、画像データの送受信を行うための通信回路を持たない、画像処理のみを行う第２ＣＰＵを有し、前記第１ＣＰＵと前記第２ＣＰＵが同時にアクセス可能なＤｕａｌ Ｐｏｒｔ ＲＡＭを有し、前記第１ＣＰＵと前記第２ＣＰＵは前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して接続され、前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭは中間デバイス中に構成され、前記中間デバイスにはＲＡＭが接続され、前記中間デバイスは前記第１ＣＰＵの制御下で、画像処理を行う前記第１ＣＰＵ若しくは前記第２ＣＰＵに前記ＲＡＭから読み出した画像データを送り出し、 前記第１ＣＰＵは外部記憶装置と接続することを特徴とする、撮像装置において、前記ＲＡＭに撮影された画像データがいったん保存され、前記ＲＡＭに保存された画像データは前記第１ＣＰＵの制御下で前記中間デバイスによって、画像処理を実行中でないＣＰＵに振り分けて送られ、前記第１ＣＰＵと前記第２ＣＰＵとで複数の画像データを並行して処理し、前記第２ＣＰＵから前記第１ＣＰＵへ、画像処理済みの画像データを前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して受け渡し、前記第１ＣＰＵから外部記憶装置に画像処理済みの画像データを書き込み、保存することを特徴とする撮像装置を提供する。
【発明の効果】
【００２６】
本発明の画像処理システムによれば、ＣＰＵどうしを接続することができず、ＣＰＵ間で直接データの受け渡しができない汎用のＣＰＵを複数用いて、複数のＣＰＵで画像処理を行うことにより、画像データの解像度を落とすことなく、複数の画像データの処理時間を短縮することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施例における画像処理システムのブロック図
【図２】Ｄｕａｌ Ｐｏｒｔ ＲＡＭの内部構造を示す概念図
【図３】本発明の実施例におけるフローチャート
【発明を実施するための形態】
【００２８】
図１は本発明にかかる画像処理システムの一例である撮像装置の概略構成を示すブロック図である。
【００２９】
図１において、１００は、本実施形態におけるデジタルカメラであり、被写体を撮影し、撮影した画像データを保存する。２００は、デジタルカメラ１００に装着可能な光学系である。本実施例において、デジタルカメラ１００は、光学系の交換が可能な構成となっており、デジタルカメラ１００と光学系２００とで全体としてレンズ交換式カメラシステムを構成している。
【００３０】
デジタルカメラ１００において、１０１はイメージャー、１０２はＦＰＧＡ、１０２０はＤｕａｌ Ｐｏｒｔ ＲＡＭ、１０３は第１ＣＰＵ、１０４は第２ＣＰＵ、１０５は外部記憶装置、１０６は外部表示装置、１０７は第１ＳＤＲＡＭ、１０８は第２ＳＤＲＡＭ、１０９は第３ＳＤＲＡＭである。
【００３１】
光学系２００は、レンズ光学系のほか、不図示のレンズＣＰＵ、絞りなどを有している。
【００３２】
イメージャー１０１は、レンズ系２００を通して入射した光を信号電荷に変換する、ＣＭＯＳやＣＣＤイメージャーである。
【００３３】
第１ＣＰＵ１０３は、撮影した画像データに対して、たとえばガンマ補正、ＹＣｂＣｒ変換、ノイズ除去等の各種画像処理を行い、さらに、不図示のＡＥ機構やＡＦ機構等の各種デバイスの制御も行うマスターＣＰＵである。
【００３４】
第２ＣＰＵ１０４は、第１ＣＰＵ１０３の制御下において、撮影した画像データに対して、ガンマ補正、ＹＣｂＣｒ変換、ノイズ除去等の各種画像処理を行うスレーブＣＰＵである。
【００３５】
第１ＳＤＲＡＭ１０７は第１ＣＰＵ１０３と接続した記憶装置である。第２ＳＤＲＡＭ１０８は第２ＣＰＵ１０４と接続した記憶装置である。第３ＳＤＲＡＭ１０９はＦＰＧＡ１０２と接続した記憶装置である。
【００３６】
外部記憶装置１０５は撮影画像を保存するためのメディアである。外部記録装置１０５としてはたとえば、デジタルカメラ１００に着脱自在なＳＤメモリカード（登録商標）マルチメディアカード（登録商標）ｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体を用いることができる。
【００３７】
外部表示装置１０６は、撮影した記録前の画像（プレビュー画像）やカメラに装填された外部記憶装置１０５から読み出した画像等を表示することができる。また、外部表示装置１０６は、カメラの動作モードやホワイトバランス、画像のピクセル数、感度等をマニュアル設定する際の各種のメニュー画面を表示させ、ユーザの操作に応じてマニュアル設定項目の設定が可能なユーザ・インターフェース用の画面を表示する。外部表示装置１０６としてはたとえば、液晶や有機ＥＬなどを用いることができる。
【００３８】
次に、以上の構成のうち、本発明において特徴的な構成について、説明する。
【００３９】
第１に、第１ＣＰＵ１０３、第２ＣＰＵ１０４はともに汎用のメモリとのアクセスを行う外部バスインターフェースを有する。本実施例においては、かかる外部バスによって、ＦＰＧＡ１０２を双方向ＲＡＭとして接続している。
【００４０】
元来、通信用のバスは、接続するデバイスの種類が事前に決まっており、デバイスは接続するバスインターフェースの仕様を満たす必要がある。外部バスインターフェースは汎用メモリと接続することを前提としており、本実施例のようにＣＰＵとＦＰＧＡを接続する場合には、ＲＡＭのような汎用メモリとして接続することで初めて、接続が可能となる。
【００４１】
本実施例において、ＲＡＭのような汎用メモリとして接続する、とはつまり第１ＣＰＵ１０３及び第２ＣＰＵ１０４にＦＰＧＡ１０２を集積回路として認識させず、ＲＡＭのような記憶装置として認識させることで、第１ＣＰＵ１０３および第２ＣＰＵ１０４とＦＰＧＡ１０２を外部バスインターフェースによって接続するということである。
【００４２】
本来ならば、第１ＣＰＵ１０３および第２ＣＰＵ１０４の通信手法として一般的な２線や３線のシリアル通信で大容量データの受け渡しを行わなくてはならず、これでは通信速度が遅すぎてしまい、たとえば連写で撮影をするときに問題となる。
【００４３】
しかしながら、本実施例においては、前述のとおり、第１ＣＰＵ１０３及び第２ＣＰＵ１０４にＦＰＧＡ１０２を集積回路として認識させず、ＲＡＭのような記憶装置として認識させることで、第１ＣＰＵ１０３および第２ＣＰＵ１０４とＦＰＧＡ１０２を外部バスインターフェースによって接続し、通信速度を落とさず、大容量データの受け渡しを行っている。
【００４４】
本実施例においては、ＦＰＧＡ１０２は内部回路によって第１ＣＰＵ１０３、第２ＣＰＵ１０４両方から同時にアクセス可能なＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０を構成している。
【００４５】
Ｄｕａｌ Ｐｏｒｔ ＲＡＭとはマルチポートＲＡＭ の一種で、２つのアクセスポートを持ち、かかる２つのアクセスポートから同時にアクセスが可能なＲＡＭのことである。
【００４６】
かかるＤｕａｌ Ｐｏｒｔ ＲＡＭの概念について、本実施例を例にして、図２に示す。
【００４７】
Ｄｕａｌ Ｐｏｒｔ ＲＡＭは前述のとおり、２つのアクセスポートを持ち、かかる２つのアクセスポートから同時にアクセスが可能なことが特徴である。この特徴は概念的には図２に示すように、一つのデバイス内に２つのＳｉｎｇｌｅ Ｐｏｒｔ ＲＡＭを有していることと同じであると説明できる。
【００４８】
つまり、本実施例におけるＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０内部は、図２に示すように、第１ＲＡＭ１０２１と第２ＲＡＭ１０２２の２つの仮想のＳｉｎｇｌｅ Ｐｏｒｔ ＲＡＭを有するような構成となっているものと考えることができる。
【００４９】
したがって、本実施例でのＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０と第１ＣＰＵ１０３及び第２ＣＰＵ１０４とが画像データのやり取りをするためにとっている構成は、以下のように考えることができる。ＦＰＧＡ１０２中の第１ＲＡＭ１０２１は第１ＣＰＵ１０３から書き込みを受け、第２ＣＰＵ１０４から読み出しを受けるような構成となっており、一方、第２ＲＡＭ１０２２が第２ＣＰＵ１０４から書き込みを受け、第１ＣＰＵ１０３から読み出しを受けるような構成となっている。したがって、本実施例では、第１ＣＰＵ１０３からＦＰＧＡ１０２中のＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に画像データを書き込み、第２ＣＰＵ１０４がＦＰＧＡ１０２中のＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０から画像を読み出すことも、反対に第２ＣＰＵ１０４からＦＰＧＡ１０２中のＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に画像データを書き込み、第１ＣＰＵ１０３がＦＰＧＡ１０２中のＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０から画像を読み出すことも、両方可能な構成となっている。
【００５０】
かかるＤｕａｌ Ｐｏｒｔ ＲＡＭの構成を用いて、本実施例中では、第２ＣＰＵ１０４がＦＰＧＡ１０２中のＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に画像処理済みの画像データを書きこみ、第１ＣＰＵ１０３が第２ＣＰＵ１０４が書き込んだ画像データをＦＰＧＡ１０２中のＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０から読み出している。これにより、第２ＣＰＵ１０４は画像処理を施した画像データを第１ＣＰＵ１０３に受け渡すことができる。これができなければ、いくら第２ＣＰＵ１０４が画像処理を行っても、処理した画像データを外部記憶装置１０５に保存したり、外部表示装置１０６に表示したりすることができない。なぜなら、これら外部記憶装置１０５や外部表示装置１０６を制御しているのはマスターＣＰＵである第１ＣＰＵ１０３だからである。
【００５１】
以上のような構成をとることで、ＣＰＵどうしを接続することができず、ＣＰＵ間で直接データの受け渡しができない汎用のＣＰＵどうしでも、画像データのような大容量データを受け渡しすることができる。
【００５２】
次に、第２の特徴について説明する。第３ＳＤＲＡＭ１０９はＦＰＧＡ１０２と接続している。第３ＳＤＲＡＭ１０９は前述のとおり、記憶装置であり、フレームバッファの役割を果たしている。すなわち、第３ＳＤＲＡＭ１０９には、たとえば連続撮影された画像データが次々と領域がいっぱいになるまで保存され、撮影された画像データを画像処理する場合には第３ＳＤＲＡＭ１０９から各ＣＰＵへと送られる。
【００５３】
第３ＳＤＲＡＭ１０９を、イメージャー１０１と接続したＦＰＧＡ１０２と接続して配置するのは、本発明の構成において、ＣＰＵ間で直接データの受け渡しができない汎用のＣＰＵを複数有し、かかる複数のＣＰＵ間で、画像データのような大容量データの受け渡しを効率的に行うためである。
【００５４】
通常、ＣＰＵを複数持たない従来の画像処理装置の場合、フレームバッファの役割を果たす記憶装置は、ＣＰＵに接続している。イメージャーは撮影した画像データをＣＰＵに出力し、ＣＰＵは自身と接続したフレームバッファの役割を果たす記憶装置に保存する。そして、ＣＰＵは記憶装置に保存された画像を読み出して画像処理を行う。
【００５５】
ＣＰＵが一つの場合は、以上のような構成で何ら問題なく、撮影画像の画像処理を行うことができる。しかしながら、本発明のように撮影画像を複数のＣＰＵで処理する場合には、フレームバッファの役割を果たす記憶装置の配置が問題となる。
【００５６】
たとえば、本発明において、イメージャー１０１と接続したＦＰＧＡ１０２と接続して、フレームバッファの役割を果たす第３ＳＤＲＡＭ１０９を配置せず、マスターＣＰＵである第１ＣＰＵ１０３と接続する第１ＳＤＲＡＭ１０７やスレーブＣＰＵである第２ＣＰＵ１０４と接続する第２ＳＤＲＡＭ１０８にフレームバッファの役割をさせた場合に問題となる。そこで、かかる問題について、第３ＳＤＲＡＭ１０９を配置せず第１ＳＤＲＡＭ１０７をフレームバッファとする場合と、第３ＳＤＲＡＭ１０９を配置せず第２ＳＤＲＡＭ１０８をフレームバッファをする場合の処理の流れを示して、以下に説明する。
【００５７】
まず、本発明において、第３ＳＤＲＡＭ１０９を配置せず、マスターＣＰＵである第１ＣＰＵ１０３と接続する第１ＳＤＲＡＭ１０７にフレームバッファの役割をさせた場合を例にとって考える。
【００５８】
以上のような構成において、撮影された画像データは、イメージャー１０１からＦＰＧＡ１０２を経て第１ＣＰＵ１０３に読み出され、次いで第１ＳＤＲＡＭ１０７に送られる。そして、第１ＣＰＵ１０３が画像処理中でない場合には、第１ＣＰＵ１０３が第１ＳＤＲＡＭ１０７から画像データを読み出し、かかる画像データに画像処理を施す。そして、次の画像データが撮影された場合には、次の画像データは先ほどと同様、イメージャー１０１から第１ＣＰＵ１０３に読み出され、次いで第１ＳＤＲＡＭ１０７に送られる。このとき、第１ＣＰＵ１０３が画像処理中であり、第２ＣＰＵ１０４が画像処理中でなかった場合、第１ＣＰＵ１０３は第１ＳＤＲＡＭ１０７に送られた画像データを読み出し、第２ＣＰＵへ送ることになる。つまり、第１ＣＰＵ１０３は第１ＳＤＲＡＭ１０７に送られた画像データを読み出し、Ｄｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に画像データを書き込み、第２ＣＰＵ１０４がＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０から画像データを読みだして、読みだした画像データに画像処理を施すことになる。すなわち、かかる構成では、第１ＣＰＵ１０３に画像処理をさせる場合に比べ、第２ＣＰＵ１０４に画像処理をさせる場合に画像データの受け渡しに時間がかかることになる。そのため、画像データの平行処理をするにあたり、非常に効率が悪くなるという問題がある。
【００５９】
更に、本発明において、第３ＳＤＲＡＭ１０９を配置せず、スレーブＣＰＵである第２ＣＰＵ１０４と接続する第２ＳＤＲＡＭ１０８にフレームバッファの役割をさせた場合を例にとって考える。
【００６０】
以上のような構成において、撮影された画像データは、イメージャー１０１からＦＰＧＡ１０２を経て第２ＣＰＵ１０４に読み出され、次いで第２ＳＤＲＡＭ１０８に送られる。そして、第１ＣＰＵ１０３が画像処理中でない場合には、第２ＣＰＵ１０４は第２ＳＤＲＡＭ１０８に送られた画像データを読み出し、第１ＣＰＵへ送ることになる。つまり、第２ＣＰＵ１０４は第１ＣＰＵ１０３の命令により、第２ＳＤＲＡＭ１０８に送られた画像データを読み出し、Ｄｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に画像データを書き込み、第１ＣＰＵ１０３がＤｕａｌ Ｐｏｒｔ ＲＡＭ１０２０から画像データを読みだして、読みだした画像データに画像処理を施すことになる。そして、次の画像データが撮影された場合には、先ほどと同様、画像データはイメージャー１０１からＦＰＧＡ１０２を経て第２ＣＰＵ１０４に読み出され、次いで第２ＳＤＲＡＭ１０８に送られる。そして、第１ＣＰＵ１０３が画像処理中であり、第２ＣＰＵ１０４が画像処理中でなかった場合には、第１ＣＰＵ１０３の命令により、第２ＣＰＵ１０４が第２ＳＤＲＡＭ１０８から画像データを読み出し、かかる画像データに画像処理を施すことになる。すなわち、かかる構成では、第２ＣＰＵ１０４に画像処理をさせる場合に比べ、第１ＣＰＵ１０３に画像処理をさせる場合に画像データの受け渡しに時間がかかることになる。そのため、第１ＳＤＲＡＭにフレームバッファの役割をさせた時同様、画像データの平行処理をするにあたり、非常に効率が悪くなるという問題がある。
【００６１】
対して、本発明の実施例のように、第３ＳＤＲＡＭ１０９を配置し、かかる第３ＳＤＲＡＭ１０９にフレームバッファの役割をさせた場合を例にとって考える。
【００６２】
本発明の実施例のような構成において、撮影された画像データは、イメージャー１０１からＦＰＧＡ１０２を経て第３ＳＤＲＡＭ１０９に送られる。そして、画像データを画像処理を行うＣＰＵに割り振るため、第１ＣＰＵ１０３がＦＰＧＡ１０２に第３ＳＤＲＡＭ１０９から画像データを読み出すよう命令する。このとき、第１ＣＰＵ１０３が画像処理中でない場合には、ＦＰＧＡ１０２は第３ＳＤＲＡＭ１０９から画像データを受け取ると、第１ＣＰＵ１０３に画像データを送り出し、第１ＣＰＵ１０３は、ＦＰＧＡ１０２から受け取った画像データに画像処理を施す。そして、次の画像データが撮影された場合には、先ほどと同様、イメージャー１０１からＦＰＧＡ１０２を経て第３ＳＤＲＡＭ１０９に送られる。そして、かかる画像データを、画像処理を行うＣＰＵに割り振るため、第１ＣＰＵ１０３がＦＰＧＡ１０２に第３ＳＤＲＡＭ１０９から画像データを読み出すよう命令する。このとき、第１ＣＰＵ１０３が画像処理中であり、第２ＣＰＵ１０４が画像処理中でなかった場合、ＦＰＧＡ１０２は第３ＳＤＲＡＭ１０９から画像データを受け取ると、第２ＣＰＵ１０４に画像データを送り出し、第２ＣＰＵ１０４は、ＦＰＧＡ１０２から受け取った画像データに画像処理を施すことになる。すなわち、第１ＳＤＲＡＭ１０７や第２ＳＤＲＡＭ１０８をフレームバッファにした場合のように、どちらか一方への画像データの受け渡しが遠回りになり、どちらか一方への画像データの受け渡しに時間がかかってしまうということがない。
【００６３】
以上の対比の結果をふまえ、本発明では、フレームバッファの役割を果たす第３ＳＤＲＡＭ１０９を、ＦＰＧＡ１０２と接続して配置する。こうすることで、前述したように、画像データはイメージャー１０１から、ＦＰＧＡ１０２と接続した第３ＳＤＲＡＭ１０９へと送られ、画像処理を施される際に、第１ＣＰＵ１０３の命令により、ＦＰＧＡ１０２から第１ＣＰＵ１０３若しくは第２ＣＰＵ１０４へと送ることができる。すなわち、本発明の実施例の構成では、第１ＣＰＵ１０３及び第２ＣＰＵ１０４いずれが画像処理を行う場合においても、画像データの読み出しの際、どちらかが不利になるということがなく、効率的に第１ＣＰＵ１０３と第２ＣＰＵ１０４の２つのＣＰＵに画像データを振り分けることができる。
【００６４】
次に、本発明を実施した撮像装置における、撮影時の画像データの処理方法の一例について、図３のフローチャートを用いて以下に述べる。
【００６５】
撮影動作が行われると、撮影された画像データはイメージャー１０１より１枚目から順に出力される。（ステップ＃１）
【００６６】
イメージャー１０１から出力された画像データは１枚目の画像データから順にＦＰＧＡ１０２を経て、第３ＳＤＲＡＭ１０９へと送られる（ステップ＃２）。かかるステップ２は、後に再度ＦＰＧＡ１０２へと送られた画像データが、ＦＰＧＡ１０２から第１ＣＰＵ１０３又は第２ＣＰＵ１０４へと読みだされるときの処理速度や転送速度の差を調整するためであり、また、前述のとおり、イメージャー１０１から送られた画像データがマスターＣＰＵ１０３とスレーブＣＰＵ１０４とに効率よく振り分けられるよう動作する、フレームバッファとしての役割をはたすためである。
【００６７】
次に、第１ＣＰＵ１０３は第１ＣＰＵ１０３自身が画像処理中か否かを判断する（ステップ＃３）。判定の結果、第１ＣＰＵ１０３が画像処理中であれば、ステップ＃８に進み、第１ＣＰＵ１０３が画像処理中でなければ、画像データは第３ＳＤＲＡＭ１０９から第１ＣＰＵ１０３に読みだされ（ステップ＃４）、第１ＣＰＵ１０３は読みだした画像データにたとえばガンマ補正、ＹＣｂＣｒ変換、ノイズ除去等の各種画像処理を施す（ステップ＃５）。画像処理を施された画像データは第１ＳＤＲＡＭ１０７へ送られ、一旦保存され（ステップ＃６）、最後に、第１ＳＤＲＡＭ１０７から読みだされて、外部表示装置１０６にプレビュー画像として表示されたり、外部記憶装置１０５に撮影画像として保存されたりする。（ステップ＃７）
【００６８】
ステップ＃３で第１ＣＰＵ１０３自身が画像処理中か否かを判断した結果、第１ＣＰＵ１０３が画像処理中であった場合には、第１ＣＰＵ１０３は第２ＣＰＵ１０４が画像処理中か否かを判断する（ステップ＃８）。判定の結果、第２ＣＰＵ１０４が画像処理中であれば、ステップ＃３に戻り、第２ＣＰＵ１０４が画像処理中でなければ、画像データは第２ＣＰＵ１０４に送られ（ステップ＃９）第２ＣＰＵ１０４は送られてきた画像データにたとえばガンマ補正、ＹＣｂＣｒ変換、ノイズ除去等の各種画像処理を施す（ステップ＃１０）。画像処理を施された画像データは一旦、バッファの役割を果たす第２ＳＤＲＡＭ１０８に書き込まれ、その後、Ｄｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に送られる（ステップ＃１１）。これは、先述のとおり、画像処理済みの画像データをマスターＣＰＵである第１ＣＰＵ１０３に受け渡すためである。
【００６９】
Ｄｕａｌ Ｐｏｒｔ ＲＡＭ１０２０に書き込まれた画像データは、第１ＣＰＵ１０３によって読みだされる（ステップ＃１２）。第１ＣＰＵ１０３に読みだされた画像データは第１ＳＤＲＡＭ１０７へ送られ、一旦保存され（ステップ＃６）、最後に、第１ＳＤＲＡＭ１０７から読みだされて、外部表示装置１０６にプレビュー画像として表示されたり、外部記憶装置１０５に撮影画像として保存されたりする。（ステップ＃７）
【００７０】
こうすることで、第１ＣＰＵ１０３が画像処理作業中に第２ＣＰＵ１０４も画像処理作業を行うことができ、第１ＣＰＵ１０３と第２ＣＰＵ１０４は並行して別々の画像データの処理を行うことができる。
【００７１】
以上の実施例においてはレンズ交換式のデジタルカメラを用いたが、レンズ交換式でないデジタルカメラに本発明を用いても問題ない。
【符号の説明】
【００７２】
１００ デジタルカメラ
１０１ イメージャー
１０２ ＦＰＧＡ
１０３ 第１ＣＰＵ
１０４ 第２ＣＰＵ
１０５ 外部記憶装置
１０６ 外部表示装置
１０７ 第１ＳＤＲＡＭ
１０８ 第２ＳＤＲＡＭ
１０９ 第３ＳＤＲＡＭ
２００ 光学系
１０２０ Ｄｕａｌ Ｐｏｒｔ ＲＡＭ
１０２１ 第１ＲＡＭ
１０２２ 第２ＲＡＭ
【特許請求の範囲】
【請求項１】
相互に直接、画像データの送受信を行うための通信回路を持たない、複数の、画像処理を行うＣＰＵと、前記複数のＣＰＵが同時にアクセス可能なＤｕａｌ Ｐｏｒｔ ＲＡＭを有し、
前記複数のＣＰＵは前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して接続されていることを特徴とする、
画像処理システム。
【請求項２】
前記複数のＣＰＵは、画像処理と各種デバイスの制御を行う第１ＣＰＵと、画像処理のみを行う第２ＣＰＵであることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭは中間デバイス中に構成され、
前記中間デバイスは前記第１ＣＰＵの制御下で画像処理を行う前記第１ＣＰＵ若しくは前記第２ＣＰＵに画像データを送り出すことを特徴とする、
請求項２に記載の画像処理システム。
【請求項４】
前記中間デバイスにはＲＡＭが接続され、
前記中間デバイスは前記第１ＣＰＵの制御下で、画像処理を行う前記第１ＣＰＵ若しくは前記第２ＣＰＵに、前記ＲＡＭから読み出した画像データを送り出すことを特徴とする、請求項３に記載の画像処理システム。
【請求項５】
相互に直接、画像データの送受信を行うための通信回路を持たない、画像処理とデバイスの制御を行う第１ＣＰＵと、
相互に直接、画像データの送受信を行うための通信回路を持たない、画像処理のみを行う第２ＣＰＵを有し、
前記第１ＣＰＵと前記第２ＣＰＵが同時にアクセス可能なＤｕａｌ Ｐｏｒｔ ＲＡＭを有し、
前記第１ＣＰＵと前記第２ＣＰＵは前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して接続され、
前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭは中間デバイス中に構成され、
前記中間デバイスにはＲＡＭが接続され、
前記中間デバイスは前記第１ＣＰＵの制御下で、画像処理を行う前記第１ＣＰＵ若しくは前記第２ＣＰＵに前記ＲＡＭから読み出した画像データを送り出し、
前記第１ＣＰＵは外部記憶装置と接続することを特徴とする、撮像装置において、
前記ＲＡＭに撮影された画像データがいったん保存され、
前記ＲＡＭに保存された画像データは前記第１ＣＰＵの制御下で前記中間デバイスによって、画像処理を実行中でないＣＰＵに振り分けて送られ、
前記第１ＣＰＵと前記第２ＣＰＵとで複数の画像データを並行して処理し、
前記第２ＣＰＵから前記第１ＣＰＵへ、画像処理済みの画像データを前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して受け渡し、
前記第１ＣＰＵから外部記憶装置に画像処理済みの画像データを書き込み、保存することを特徴とする撮像装置。
【請求項１】
相互に直接、画像データの送受信を行うための通信回路を持たない、複数の、画像処理を行うＣＰＵと、前記複数のＣＰＵが同時にアクセス可能なＤｕａｌ Ｐｏｒｔ ＲＡＭを有し、
前記複数のＣＰＵは前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して接続されていることを特徴とする、
画像処理システム。
【請求項２】
前記複数のＣＰＵは、画像処理と各種デバイスの制御を行う第１ＣＰＵと、画像処理のみを行う第２ＣＰＵであることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭは中間デバイス中に構成され、
前記中間デバイスは前記第１ＣＰＵの制御下で画像処理を行う前記第１ＣＰＵ若しくは前記第２ＣＰＵに画像データを送り出すことを特徴とする、
請求項２に記載の画像処理システム。
【請求項４】
前記中間デバイスにはＲＡＭが接続され、
前記中間デバイスは前記第１ＣＰＵの制御下で、画像処理を行う前記第１ＣＰＵ若しくは前記第２ＣＰＵに、前記ＲＡＭから読み出した画像データを送り出すことを特徴とする、請求項３に記載の画像処理システム。
【請求項５】
相互に直接、画像データの送受信を行うための通信回路を持たない、画像処理とデバイスの制御を行う第１ＣＰＵと、
相互に直接、画像データの送受信を行うための通信回路を持たない、画像処理のみを行う第２ＣＰＵを有し、
前記第１ＣＰＵと前記第２ＣＰＵが同時にアクセス可能なＤｕａｌ Ｐｏｒｔ ＲＡＭを有し、
前記第１ＣＰＵと前記第２ＣＰＵは前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して接続され、
前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭは中間デバイス中に構成され、
前記中間デバイスにはＲＡＭが接続され、
前記中間デバイスは前記第１ＣＰＵの制御下で、画像処理を行う前記第１ＣＰＵ若しくは前記第２ＣＰＵに前記ＲＡＭから読み出した画像データを送り出し、
前記第１ＣＰＵは外部記憶装置と接続することを特徴とする、撮像装置において、
前記ＲＡＭに撮影された画像データがいったん保存され、
前記ＲＡＭに保存された画像データは前記第１ＣＰＵの制御下で前記中間デバイスによって、画像処理を実行中でないＣＰＵに振り分けて送られ、
前記第１ＣＰＵと前記第２ＣＰＵとで複数の画像データを並行して処理し、
前記第２ＣＰＵから前記第１ＣＰＵへ、画像処理済みの画像データを前記Ｄｕａｌ Ｐｏｒｔ ＲＡＭを介して受け渡し、
前記第１ＣＰＵから外部記憶装置に画像処理済みの画像データを書き込み、保存することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−２０９７９８（Ｐ２０１２−２０９７９８Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７４４８１（Ｐ２０１１−７４４８１）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１３１３２６）株式会社シグマ (167)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１３１３２６）株式会社シグマ (167)
【Ｆターム（参考）】
[ Back to top ]