画像処理装置
【課題】撮像点数をスケーラブルに変更することが可能な画像処理装置を提供する。
【解決手段】複数の撮像装置２０−１〜２０−ｎからの画像データをＦＰＧＡ上に構築された複数のＦＩＦＯ１１２−１〜１１２−ｎで一時的に保持する。レジスタ部１１４は、撮像装置２０−１〜２０−ｎからの同期信号を受信し、最後に撮像を開始した撮像装置からの同期信号が到達した場合、出力開始信号を制御部１１５へ出力する。制御部１１５は、出力開始信号を受け取ると、ＦＩＦＯ１１２−１〜１１２−ｎから所定の順序で画像データを出力する。
【解決手段】複数の撮像装置２０−１〜２０−ｎからの画像データをＦＰＧＡ上に構築された複数のＦＩＦＯ１１２−１〜１１２−ｎで一時的に保持する。レジスタ部１１４は、撮像装置２０−１〜２０−ｎからの同期信号を受信し、最後に撮像を開始した撮像装置からの同期信号が到達した場合、出力開始信号を制御部１１５へ出力する。制御部１１５は、出力開始信号を受け取ると、ＦＩＦＯ１１２−１〜１１２−ｎから所定の順序で画像データを出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば複数の撮像装置を用いたセキュリティシステムに用いられ、複数の撮像装置から画像データを取得し、その画像データに対して画像処理を施す画像処理装置に関する。
【背景技術】
【０００２】
近年、カメラ等の撮像装置で取得された画像データを用いたセキュリティシステムは、プラント、駅、空港及び店舗等で用いられている。この種のセキュリティシステムは、複数の撮像装置により総合的に監視エリアを監視する。このとき、セキュリティシステムは、複数の撮像装置からの画像データを自動的に画像処理することで、中央監視室の監視員の負担を軽減するようにしている。
【０００３】
ところで、従来のセキュリティシステムでは、複数の撮像装置で撮像された各画像データを画像処理装置で受信する。画像処理装置は、デコーダ等による複数の画像取得部及び画像処理部を有する。複数の撮像装置で撮像された各画像データは、複数の画像取得部でそれぞれ受信される。そして、各画像データは、画像処理部で自動的に画像処理が施される。このとき、画像処理部に用いられるＣＰＵ（Central Processing Unit）及びＦＰＧＡ（Field Programmable Gate Array）等のＬＳＩ（Large Scale Integration）は、接続可能な物理配線数の上限が決まっている。そのため、画像処理部へ伝送可能な画像データの数は制限されている。
【０００４】
この問題を解決するため、セキュリティシステムに、画像取得部から画像処理部へ出力されたデータを一時的に保持するメモリを設置し、画像処理部のＣＰＵの制御により、メモリに保持されたデータを画像処理部へ順次出力させる方法が提案されている（例えば、特許文献１参照）。しかしながら、この方法では、複数の撮像装置が接続された場合、メモリへのアクセス時間が撮像装置の台数に比してかかってしまう。このため、画像処理部で期待される時間内に全撮像装置から画像処理部への画像データの出力が完了しないおそれがある。
【０００５】
なお、上述のプラント、駅、空港及び店舗等の施設では、監視エリアが広大であり、かつ、監視エリアにおけるセキュリティレベルが時流と共に変化する。また、年度予算の関係上、段階的に撮像装置を増設する場合がある。このように、セキュリティシステムにおいては、撮像点数をスケーラブルに変更することへの要望がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−６５７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上のように、従来のセキュリティシステムでは、接続される撮像装置の台数によっては、動作に制限が生じる場合がある。そのため、セキュリティレベルの向上等のために撮像点数をスケーラブルに変更することは困難であった。
【０００８】
この発明は上記事情によりなされたもので、その目的は、撮像点数をスケーラブルに変更することが可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明に係る画像処理装置は、複数の撮像装置で撮像された複数の画像データの処理を行う画像処理装置において、それぞれが前記複数の画像データのいずれかを一時的に保持し、出力指示に応じて前記画像データを出力する複数の保持部と、前記複数の撮像装置が撮像を開始した際に生成する複数の同期信号を受信し、前記複数の同期信号のうち最後の同期信号を受信した場合、出力開始信号を生成するレジスタ部と、前記出力開始信号に応じて前記複数の保持部に対して、予め設定された出力順序で前記出力指示を与える制御部とをＦＰＧＡ（Field Programmable Gate Array）上に備える画像取得手段と、前記複数の保持部から前記出力指示に応じて出力された画像データに対して画像処理を施す画像処理部とを具備する。
【００１０】
上記構成による画像処理装置では、複数の撮像装置からの画像データをＦＰＧＡ上に構築された複数のＦＩＦＯで一時的に保持する。そして、撮像装置からの同期信号の到達タイミングに基づき、ＦＩＦＯから所定の順序で画像データを出力させるようにしている。これにより、画像処理装置は、複数台の撮像装置を仮想的に一台の撮像装置としてみなすことが可能となる。
【発明の効果】
【００１１】
この発明によれば、撮像点数をスケーラブルに増設することが可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。
【図２】図１の画像取得部における処理を示す図である。
【図３】図１の画像取得部に複数の水晶発振器が接続された場合のセキュリティシステムを示すブロック図である。
【図４】図１の画像取得部及び画像処理部にコンフィグレーションＲＯＭがそれぞれ接続された場合のセキュリティシステムを示すブロック図である。
【図５】図１の画像取得部にコンフィグレーションＲＯＭ及びダンピング抵抗が接続され、画像処理部にコンフィグレーションＲＯＭが接続された場合のセキュリティシステムを示すブロック図である。
【図６】本発明の第２の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。
【図７】図６の画像取得部における処理を示す図である。
【図８】図６の画像取得部が、ＦＩＦＯを有さず、外部メモリを有する場合のセキュリティシステムを示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら本発明に係る画像処理装置の実施の形態について詳細に説明する。
【００１４】
［第１の実施形態］
図１は、本発明の第１の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。図１におけるセキュリティシステムは、画像処理装置１０と撮像装置２０−１〜２０−ｎとを具備する。
【００１５】
撮像装置２０−１〜２０−ｎは、カメラ等であり、動画像を画像データとして所定時間ごと（例えば１／３０秒ごと、１／６０秒ごと等）に取得する。そして、撮像装置２０−１〜２０−ｎは、取得した画像データを画像処理装置１０へ順次出力する。また、撮像装置２０−１〜２０−ｎは、撮像を開始する際に同期信号を生成する。撮像装置２０−１〜２０−ｎは、この同期信号を画像処理装置１０へ出力する。なお、撮像装置２０からの出力データ量は、１フレーム当り、１９２０×１４４０画素から３２０×２４０画素までと幅広い。また、色情報の有無などを含めると多様な画像出力情報が存在する。さらに、近年、超解像度などの画素間の欠損データを補完することで精細な情報を出力することも可能である。このため、撮像装置から出力される画像データは、撮像対象物の状態によって出力データ数が伸縮するという特性がある。ここで、出力データ数とは、画素数及びフレームレート等のことをいう。
【００１６】
図１における画像処理装置１０は、画像取得部１１、水晶発振器１２、画像処理部１３及びコネクタ１４−１〜１４−ｎ（ｎは自然数）を具備する。水晶発振器１２は、画像取得部１１に設けられたＰＬＬ（Phase Locked Loop）によって画像取得部１１と接続している。
【００１７】
画像取得部１１は、ＦＰＧＡ（Field Programmable Gate Array）から成る。画像取得部１１は、ＦＰＧＡ上に論理回路が組み込まれることにより、入力インタフェース（ＩＦ）部１１１−１〜１１１−ｎ、ＦＩＦＯ（First-In First-Out）１１２−１〜１１２−ｎ、出力ＩＦ部１１３、レジスタ部１１４及び制御部１１５の機能を有する。
【００１８】
入力ＩＦ部１１１−１〜１１１−ｎは、コネクタ１４−１〜１４−ｎを介して入力された画像データを、ＦＩＦＯ１１２−１〜１１２−ｎへ出力する。また、入力ＩＦ部１１１−１〜１１１−ｎは、コネクタ１４−１〜１４−ｎを介して入力された同期信号を、レジスタ部１１４へ出力する。
【００１９】
ＦＩＦＯ１１２−１〜１１２−ｎは、入力ＩＦ部１１１−１〜１１１−ｎからの画像データを一時的に保持する。そして、ＦＩＦＯ１１２−１〜１１２−ｎは、制御部１１５からの出力指示に応じて、保持した画像データを入力された順に出力ＩＦ部１１３を介して画像処理部１３へ出力する。このとき出力する画像データの伝送ビットレートは、水晶発振器１２で生成されるクロック信号に基づいている。
【００２０】
レジスタ部１１４は、入力ＩＦ部１１１−１〜１１１−ｎからの同期信号を受信する。レジスタ部１１４は、同期信号を受信した場合、受信した同期信号が撮像装置２０−１〜２０−ｎのうちいずれから出力されたのかがわかるようにビットを立てる。そして、レジスタ部１１４は、最後に撮像を開始した撮像装置から、同期信号を受信した場合、出力開始信号を制御部１１５へ出力する。
【００２１】
制御部１１５は、レジスタ部１１４からの出力開始信号に応じて、ＦＩＦＯ１１２−１〜１１２−ｎに対して出力指示を与える。このとき、制御部１１５が出力指示を与える順序は予め設定されている。
【００２２】
また、制御部１１５は、ＦＩＦＯ１１２−１〜１１２−ｎごとに画像データの出力容量も指定して出力指示を与える。出力容量は、ＦＩＦＯ１１２−１〜１１２−ｎに接続された撮像装置２０−１〜２０−ｎの台数及び出力データ数により決定される。
【００２３】
画像処理部１３は、ＣＰＵ又はＦＰＧＡ等のＬＳＩである。画像処理部１３は、画像取得部１１からの画像データを、予め設定された周波数で検出する。そして、画像処理部１３は、検出した画像データに対して画像処理を施す。本実施形態では、予め設定された周波数とは、水晶発振器１２のクロック周波数に応じた周波数である。なお、画像処理部１３は、画像取得部１１から伝送ビットレートを受け取り、この伝送ビットレートに従って映像データを検出するようにしても良い。
【００２４】
次に、上記構成における動作を説明する。
【００２５】
図２は、本発明の第１の実施形態に係る画像処理装置１０の画像取得部１１における処理を示す模式図である。図２では、ラスタスキャン方式により画像データが転送される例を説明する。なお、本実施形態のデータ転送の方式は、ラスタスキャン方式に限定される訳ではない。
【００２６】
図２では、撮像装置２０−１乃至撮像装置２０−ｎが、画像処理装置１０に接続され、撮像装置２０−２が最後に撮像処理を開始する場合を例に説明する。
【００２７】
撮像装置２０−１での撮像が開始されると、画像データ１が取得されると共に、同期信号１が生成される。画像データ１と同期信号１とは、画像取得部１１へ出力される。ＦＩＦＯ１１２−１は、画像データ１を保持する。また、レジスタ部１１４は、同期信号１を受信し、撮像装置２０−１からの同期信号１を受信したことを示すビットを立てる。
【００２８】
また、撮像装置２０−ｎでの撮像が開始されると、画像データＮが取得されると共に、同期信号Ｎが生成される。画像データＮと同期信号Ｎとは、画像取得部１１へ出力される。ＦＩＦＯ１１２−ｎは、画像データＮを保持する。また、レジスタ部１１４は、同期信号Ｎを受信し、撮像装置２０−ｎからの同期信号Ｎを受信したことを示すビットを立てる。
【００２９】
そして、最後の撮像装置２０−２での撮像が開始されると、画像データ２が取得されると共に、同期信号２が生成される。画像データ２と同期信号２とは、画像取得部１１へ出力される。ＦＩＦＯ１１２−２は、画像データ２を保持する。また、レジスタ部１１４は、同期信号２を受信し、最後の撮像装置２０−２からの同期信号２を受信したことを示すビットを立てる。レジスタ部１１４は、最後の同期信号２を受信すると、出力開始信号を生成し、制御部１１５へ出力する。
【００３０】
制御部１１５は、出力開始信号を受け取った場合、画像データ１の１段目の走査線上の画像データ１１を出力するようにＦＩＦＯ１１２−１に対して出力指示を出す。続いて、制御部１１５は、画像データ２，３，４…の１段目の走査線上の映像データを出力するようにＦＩＦＯ１１２−２，１１２−３，１１２−４…に対して順次出力指示を出す。そして、制御部１１５は、画像データＮの１段目の走査線上の画像データＮ１を出力するようにＦＩＦＯ１１２−ｎに対して出力指示を与え、ＦＩＦＯ１１２−ｎから画像データＮ１が出力されると、画像データ１の２段目の走査線上の映像データ１２を出力するようにＦＩＦＯ１１２−１に対して出力指示を与える。なお、本実施形態では、最初にＦＩＦＯ１１２−１に対して出力指示を与え、その後にＦＩＦＯ１１２−２，１１２−３，…，１１２−ｎの順序で出力指示を与える例について説明したが、最初に出力指示を与えるＦＩＦＯ及び出力指示を与える順序は、これに限定される訳ではない。
【００３１】
このように、画像取得部１１は、画像データ１〜Ｎを走査線単位で画像処理部１３へ出力する。これにより、画像処理部１３は、撮像装置２０−１〜２０−ｎで撮像された映像データを走査線の１段目から順に受け取ることとなる。このとき、画像処理部１３は、図２に示すような、撮像装置２０−１〜２０−ｎで撮像された映像が横に配列された映像を受け取る。
【００３２】
以上のように、上記第１の実施形態では、画像取得部１１は、ＦＩＦＯ１１２−１〜１１２−ｎにより撮像装置２０−１〜２０−ｎからの画像データを一時的に保持する。そして、画像取得部１１は、同期信号の到達タイミングを利用して、ＦＩＦＯ１１２−１〜１１２−ｎから画像データを所定の順序で順次出力するようにしている。これにより、画像処理装置１０では、複数台の撮像装置を仮想的に一台の撮像装置としてみなすことが可能となる。
【００３３】
また、上記第１の実施形態では、画像取得部１１をＦＰＧＡで構築するようにしている。これにより、画像処理装置１０の作成後であっても、ＦＰＧＡを再構成することで様々な状況に容易に対応することが可能となる。すなわち、最初に出力指示を与えるＦＩＦＯ及び出力指示を与えるＦＩＦＯの順序を再設定することが可能となる。また、接続される撮像装置の出力データ数に合わせて、ＦＩＦＯから出力される画像データの出力容量等を再設定することが可能となる。また、接続される撮像装置の台数に合わせて、画像取得部１１に入力ＩＦ部、出力ＩＦ部、ＦＩＦＯ等の機能を新たに持たせることが可能となる。
【００３４】
また、上記第１の実施形態では、撮像を最後に開始した撮像装置からの同期信号を受信した場合、ＦＩＦＯからの画像データの出力を開始するようにしている。これにより、接続される複数の撮像装置のフレーム数及び同期信号の生成がそれぞれ異なる場合であっても、これらの撮像装置を仮想的に一台の撮像装置とみなすことが可能となる。
【００３５】
また、上記第１の実施形態では、画像取得部１１は、接続される撮像装置の数に応じた数のＦＩＦＯを有している。これにより、ＦＩＦＯへのアクセス時間が最小化されることとなる。
【００３６】
また、上記第１の実施形態では、画像処理部１３への物理配線数が単線化されている。このため、画像処理部小パッケージサイズの演算処理ＬＳＩ（ＣＰＵ、ＦＰＧＡ、ＡＳＩＣ、ＤＳＰ）を実装可能となる。これにより、画像処理装置１０の製造コストを抑えることが可能となる。
【００３７】
したがって、本発明に係る画像処理装置は拡張性を有することとなる。すなわち、セキュリティシステムのユーザは、撮像点数をスケーラブルに増設することができる。
【００３８】
なお、本実施形態の画像処理装置１０は、図１に示される構成に限定される訳ではない。例えば、図３〜図５に示す構成をしていても構わない。
【００３９】
図３は、画像取得部１１に複数の水晶発振器１２−１〜１２−３が接続された場合のセキュリティシステムを示すブロック図である。セキュリティシステムのユーザは、撮像装置２０の接続台数、出力データ数及び出力データ形式に応じて水晶発振器１２−１〜１２−３の中から適当なクロック周波数の水晶発振器を選択する。このとき、水晶発振器１２−１〜１２−３のクロック周波数は、それぞれ異なる周波数であり、例えば、水晶発振器１２−１のクロック周波数は２７ＭＨｚ、水晶発振器１２−２のクロック周波数は５４ＭＨｚ、水晶発振器１２−３のクロック周波数は１０８ＭＨｚである。ユーザは、選択した水晶発振器のクロック周波数に応じて、画像取得部１１のＦＰＧＡを再構成する。画像取得部１１は、再構成されたことにより変更したビットレートを画像処理部１３へ通知する。
【００４０】
これにより、画像処理装置１０は、接続される撮像装置２０の台数、出力データ数及び出力データ形式に応じて、画像取得部１１から画像処理部１３へ出力する画像データのデータ伝達のタイミングをスケーラブルに変動することが可能となる。これに伴い、低消費電力化及び不要な電磁波ノイズの発生を抑えることが可能である。
【００４１】
図４は、画像取得部１１にコンフィグレーションＲＯＭ（Read Only Memory）１５が接続され、画像処理部１３にコンフィグレーションＲＯＭ１６が接続された場合のセキュリティシステムを示すブロック図である。コンフィグレーションＲＯＭ１５には、画像取得部１１の論理回路を再構成するためのデータ変換フォーマットが予め記録されている。例えば、コンフィグレーションＲＯＭ１５には、接続される撮像装置２０がｎ個から（ｎ＋１）個になった場合、画像取得部１１が自身の論理回路を、入力ＩＦ部１１１−（ｎ＋１）及びＦＩＦＯ１１２−（ｎ＋１）を有するように自動的に再構成するためのフォーマットが記録されている。
【００４２】
また、コンフィグレーションＲＯＭ１６には、画像処理部１３の論理回路を再構成するためのデータ変換フォーマットが予め記録されている。例えば、コンフィグレーションＲＯＭ１６には、画像データの検出タイミングを切り替えるためのフォーマットが記録されている。画像処理部１３における画像データの検出タイミングは、このフォーマットにより、例えば、データにおける矩形波の立ち上がり時にのみデータを検出する状態から、矩形波の立ち上がり時及び立ち下がり時の両方でデータを検出する状態へと切り替わる。
【００４３】
図４に係る画像処理装置１０によれば、接続される撮像装置の台数が変更になった場合等であっても、自動的にＦＰＧＡの再構成をすることが可能となる。
【００４４】
図５は、画像取得部１１にコンフィグレーションＲＯＭ（Read Only Memory）１５及びダンピング抵抗１７が接続され、画像処理部１３にコンフィグレーションＲＯＭ１６が接続された場合のセキュリティシステムを示すブロック図である。画像取得部１１にダンピング抵抗１７を接続させることにより、伝送ビットレート及びクロック周波数を変更した際に生じるパターン配線抵抗に対応することが可能となる。
【００４５】
［第２の実施形態］
図６は、本発明の第２の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。図６におけるセキュリティシステムは、画像処理装置３０と撮像装置２０−１〜２０−ｎとを具備する。
【００４６】
撮像装置２０−１〜２０−ｎは、取得した画像データを画像処理装置３０へ順次出力する。また、撮像装置２０−１〜２０−ｎは、撮像を開始する際に生成した同期信号を画像処理装置３０へ出力する。
【００４７】
図６における画像処理装置３０は、画像取得部３１−１〜３１−ｎ（ｎは自然数）、水晶発振器３２、画像処理部３３及びコネクタ３４−１〜３４−ｎを具備する。水晶発振器３２は、画像取得部３１−１〜３１−ｎにそれぞれ設けられたＰＬＬ（Phase Locked Loop）によって画像取得部３１−１〜３１−ｎと接続している。
【００４８】
画像取得部３１−１〜３１−ｎは、ＦＰＧＡから成る。画像取得部３１−１〜３１−ｎは、ＦＰＧＡ上に論理回路が組み込まれることにより、入力ＩＦ部３１１−１〜３１１−ｎ、ＦＩＦＯ３１２−１〜３１２−ｎ、出力ＩＦ部３１３−１〜３１３−ｎ、レジスタ部３１４−１〜３１４−ｎ及び制御部３１５−１〜３１５−ｎの機能を有する。ここで、画像取得部３１−１〜３１−ｎの構成はそれぞれ同様であるため、以下では画像取得部３１−１を代表して説明する。
【００４９】
入力ＩＦ部３１１−１は、コネクタ３４−１を介して入力された画像データを、ＦＩＦＯ３１２−１へ出力する。また、入力ＩＦ部３１１−１は、コネクタ３４−１〜３４−ｎを介して入力された撮像装置２０−１〜２０−ｎからの同期信号を、レジスタ部３１４−１へ出力する。これらの同期信号は、撮像装置２０−１〜２０−ｎのいずれで生成されたものであるか識別可能な識別子を有している。
【００５０】
ＦＩＦＯ３１２−１は、入力ＩＦ部３１１−１からの画像データを一時的に保持する。そして、ＦＩＦＯ３１２−１は、制御部３１５−１からの出力指示に応じて、画像データを保持した順に出力ＩＦ部３１３−１を介して画像処理部３３へ出力する。このとき出力する画像データの伝送ビットレートは、水晶発振器３２で生成されるクロック信号による。
【００５１】
レジスタ部３１４−１は、入力ＩＦ部３１１−１からの同期信号を受信する。レジスタ部３１４−１は、同期信号を受信した場合、受信した同期信号が撮像装置２０−１〜２０−ｎのうちいずれで生成されたのかがわかるようにビットを立てる。そして、レジスタ部３１４−１は、最後に撮像を開始した撮像装置からの同期信号を受信した場合、出力開始信号を制御部３１５−１へ出力する。
【００５２】
制御部３１５−１は、レジスタ部３１４−１からの出力開始信号を受信した場合、この出力開始信号に基づいてＦＩＦＯ３１２−１に対して出力指示を与える。このとき、ＦＩＦＯ３１２−１〜３１２−ｎから出力される画像データの順序は予め設定されている。制御部３１５−１〜３１５−ｎは、画像データの出力順序に従った順序でＦＩＦＯ３１２−１〜３１２−ｎに対して出力指示を与える。
【００５３】
また、制御部３１５−１は、ＦＩＦＯ３１２−１から出力される画像データの出力容量も指定して出力指示を与える。出力容量は、ＦＩＦＯ３１２−１に接続された撮像装置２０−１の出力データ数により決定されるものである。
【００５４】
画像処理部３３は、ＣＰＵ又はＦＰＧＡ等のＬＳＩである。画像処理部３３は、画像取得部３１−１〜３１−ｎからの映像データを、予め設定された周波数で検出する。そして、画像処理部３３は、取得した画像データに対して画像処理を施す。本実施形態では、予め設定された周波数とは、水晶発振器３２のクロック周波数に応じた周波数である。
【００５５】
次に、上記構成における動作を説明する。
【００５６】
図７は、本発明の第２の実施形態に係る画像処理装置３０の画像取得部３１−１〜３１−ｎにおける処理を示す模式図である。図７では、ラスタスキャン方式により画像データが転送される例を説明する。なお、本実施形態のデータ転送の方式は、ラスタスキャン方式に限定される訳ではない。
【００５７】
図７では、撮像装置２０−１乃至撮像装置２０−ｎが、画像処理装置３０に接続され、撮像装置２０−２が最後に撮像処理を開始する場合を例に説明する。
【００５８】
撮像装置２０−１での撮像が開始されると、画像データ１が取得されると共に、同期信号１が生成される。画像データ１は画像取得部３１−１へ出力され、同期信号１は画像取得部３１−１〜３１−ｎへ出力される。ＦＩＦＯ３１２−１は、画像データ１を保持する。また、レジスタ部３１４−１〜３１４−ｎは、同期信号１を受信し、撮像装置２０−１からの同期信号１を受信したことを示すビットを立てる。
【００５９】
また、撮像装置２０−ｎでの撮像が開始されると、画像データＮが取得されると共に、同期信号Ｎが生成される。画像データＮは画像取得部３１−ｎへ出力され、同期信号Ｎは画像取得部３１−１〜３１−ｎへ出力される。ＦＩＦＯ３１２−ｎは、画像データＮを保持する。また、レジスタ部３１４−１〜３１４−ｎは、同期信号Ｎを受信し、撮像装置２０−ｎからの同期信号Ｎを受信したことを示すビットを立てる。
【００６０】
そして、最後の撮像装置２０−２での撮像が開始されると、画像データ２が取得されると共に、同期信号２が生成される。画像データ２は画像取得部３１−２へ出力され、同期信号２は画像取得部３１−１〜３１−ｎへ出力される。ＦＩＦＯ３１２−２は、画像データ２を保持する。また、レジスタ部３１４−１〜３１４−ｎは、同期信号２を受信し、最後の撮像装置２０−２からの同期信号２を受信したことを示すビットを立てる。レジスタ部３１４−１〜３１４−ｎは、最後の同期信号２を受信すると、出力開始信号を生成し、それぞれの画像取得部に配置された制御部３１５−１〜３１５−ｎへ出力する。
【００６１】
制御部３１５−１は、出力開始信号を受け取った場合、画像データ１の１段目の走査線上の画像データ１１を出力するようにＦＩＦＯ３１２−１に対して出力指示を出す。続いて、制御部３１５−２は、画像データ２の１段目の走査線上の画像データ１２を出力するようにＦＩＦＯ３１２−２に対して出力指示を出す。続いて、制御部３１５−３，３１５−４…３１５−ｎは、画像データ３，４…Ｎの１段目の走査線上の映像データを出力するようにＦＩＦＯ３１２−３，３１２−４…３１２−ｎに対して順次出力指示を与える。
【００６２】
そして、制御部３１５−１は、ＦＩＦＯ３１２−ｎから画像データＮ１が出力されると、画像データ１の１段目の走査線上の画像データ１２を出力するようにＦＩＦＯ３１２−１に対して出力指示を与える。なお、本実施形態では、最初に制御部３１５−１がＦＩＦＯ３１２−１に対して出力指示を与え、その後に制御部３１５−２，３１５−３…３１５−ｎがＦＩＦＯ３１２−２，３１２−３，…，３１２−ｎの順序で出力指示を与える例について説明したが、最初に出力指示を与えるＦＩＦＯ及び出力指示を与える順序は、これに限定される訳ではない。
【００６３】
制御部３１５−１〜３１５−ｎは、以上のようにＦＩＦＯ３１２−１〜３１２−ｎから映像データを出力させることで、走査線上の映像データを１段目から順に出力させる。
【００６４】
これにより画像処理部３３は、撮像装置２０−１〜２０−ｎで撮像された映像データを走査線の１段目から順に受け取ることとなる。このとき、画像処理部３３は、図６に示すような、撮像装置２０−１〜２０−ｎで撮像された映像が横に配列された映像を受け取る。
【００６５】
以上のように、上記第２の実施形態では、画像取得部３１−１〜３１−ｎがそれぞれＦＰＧＡで構成される。このため、大型のＦＰＧＡを用意する必要がなくなり、画像処理装置３０の製造コストをさらに抑えることが可能となる。
【００６６】
なお、本実施形態の画像処理装置３０は、図６に示される構成に限定される訳ではない。例えば、図８に示す構成をしていても構わない。
【００６７】
図８は、画像取得部３１−１〜３１−ｎがＦＩＦＯ３１２−１〜３１２−ｎを有さず、外部メモリ３１６−１〜３１６−ｎを有する場合のセキュリティシステムを示すブロック図である。外部メモリ３１６−１〜３１６−ｎでＦＩＦＯの代用を図ることで、ＦＰＧＡ上にＦＩＦＯを構築する必要がなくなるため、製造コストをさらに抑えることが可能となる。
【００６８】
［その他の実施形態］
なお、この発明は上記各実施形態に限定されるものではない。例えば、上記各実施形態では、撮像を最後に開始した撮像装置からの同期信号を受信した場合、ＦＩＦＯから画像データを順次出力する例について説明したが、本発明は上記実施形態に限定される訳ではない。例えば、画像取得部にタイマが接続され、一定の時間が経過した場合、ＦＩＦＯから画像データを順次出力するようにしても良い。このとき、同期信号を生成していない撮像装置は、無いものとして扱われ、画像取得部から画像処理部へ出力される画像データには、その撮像装置からの画像は含まれない。
【００６９】
さらに、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００７０】
１０…画像処理装置
１１…画像取得部
１１１−１〜１１１−ｎ…入力ＩＦ部
１１２−１〜１１２−ｎ…ＦＩＦＯ
１１３…出力ＩＦ部
１１４…レジスタ部
１１５…制御部
１２，１２−１，１２−２，１２−３…水晶発振器
１３…画像処理部
１４−１〜１４−ｎ…コネクタ
１５，１６…コンフィグレーションＲＯＭ
１７…ダンピング抵抗
２０−１〜２０−ｎ…撮像装置
３０…画像処理装置
３１−１〜３１−ｎ…画像取得部
３１１−１〜３１１−ｎ…入力ＩＦ部
３１２−１〜３１２−ｎ…ＦＩＦＯ
３１３−１〜３１３−ｎ…出力ＩＦ部
３１４−１〜３１４−ｎ…レジスタ部
３１５−１〜３１５−ｎ…制御部
３１６−１〜３１６−ｎ…外部メモリ
３２…水晶発振器
３３…画像処理部
３４−１〜３４−ｎ…コネクタ
【技術分野】
【０００１】
この発明は、例えば複数の撮像装置を用いたセキュリティシステムに用いられ、複数の撮像装置から画像データを取得し、その画像データに対して画像処理を施す画像処理装置に関する。
【背景技術】
【０００２】
近年、カメラ等の撮像装置で取得された画像データを用いたセキュリティシステムは、プラント、駅、空港及び店舗等で用いられている。この種のセキュリティシステムは、複数の撮像装置により総合的に監視エリアを監視する。このとき、セキュリティシステムは、複数の撮像装置からの画像データを自動的に画像処理することで、中央監視室の監視員の負担を軽減するようにしている。
【０００３】
ところで、従来のセキュリティシステムでは、複数の撮像装置で撮像された各画像データを画像処理装置で受信する。画像処理装置は、デコーダ等による複数の画像取得部及び画像処理部を有する。複数の撮像装置で撮像された各画像データは、複数の画像取得部でそれぞれ受信される。そして、各画像データは、画像処理部で自動的に画像処理が施される。このとき、画像処理部に用いられるＣＰＵ（Central Processing Unit）及びＦＰＧＡ（Field Programmable Gate Array）等のＬＳＩ（Large Scale Integration）は、接続可能な物理配線数の上限が決まっている。そのため、画像処理部へ伝送可能な画像データの数は制限されている。
【０００４】
この問題を解決するため、セキュリティシステムに、画像取得部から画像処理部へ出力されたデータを一時的に保持するメモリを設置し、画像処理部のＣＰＵの制御により、メモリに保持されたデータを画像処理部へ順次出力させる方法が提案されている（例えば、特許文献１参照）。しかしながら、この方法では、複数の撮像装置が接続された場合、メモリへのアクセス時間が撮像装置の台数に比してかかってしまう。このため、画像処理部で期待される時間内に全撮像装置から画像処理部への画像データの出力が完了しないおそれがある。
【０００５】
なお、上述のプラント、駅、空港及び店舗等の施設では、監視エリアが広大であり、かつ、監視エリアにおけるセキュリティレベルが時流と共に変化する。また、年度予算の関係上、段階的に撮像装置を増設する場合がある。このように、セキュリティシステムにおいては、撮像点数をスケーラブルに変更することへの要望がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−６５７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上のように、従来のセキュリティシステムでは、接続される撮像装置の台数によっては、動作に制限が生じる場合がある。そのため、セキュリティレベルの向上等のために撮像点数をスケーラブルに変更することは困難であった。
【０００８】
この発明は上記事情によりなされたもので、その目的は、撮像点数をスケーラブルに変更することが可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明に係る画像処理装置は、複数の撮像装置で撮像された複数の画像データの処理を行う画像処理装置において、それぞれが前記複数の画像データのいずれかを一時的に保持し、出力指示に応じて前記画像データを出力する複数の保持部と、前記複数の撮像装置が撮像を開始した際に生成する複数の同期信号を受信し、前記複数の同期信号のうち最後の同期信号を受信した場合、出力開始信号を生成するレジスタ部と、前記出力開始信号に応じて前記複数の保持部に対して、予め設定された出力順序で前記出力指示を与える制御部とをＦＰＧＡ（Field Programmable Gate Array）上に備える画像取得手段と、前記複数の保持部から前記出力指示に応じて出力された画像データに対して画像処理を施す画像処理部とを具備する。
【００１０】
上記構成による画像処理装置では、複数の撮像装置からの画像データをＦＰＧＡ上に構築された複数のＦＩＦＯで一時的に保持する。そして、撮像装置からの同期信号の到達タイミングに基づき、ＦＩＦＯから所定の順序で画像データを出力させるようにしている。これにより、画像処理装置は、複数台の撮像装置を仮想的に一台の撮像装置としてみなすことが可能となる。
【発明の効果】
【００１１】
この発明によれば、撮像点数をスケーラブルに増設することが可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。
【図２】図１の画像取得部における処理を示す図である。
【図３】図１の画像取得部に複数の水晶発振器が接続された場合のセキュリティシステムを示すブロック図である。
【図４】図１の画像取得部及び画像処理部にコンフィグレーションＲＯＭがそれぞれ接続された場合のセキュリティシステムを示すブロック図である。
【図５】図１の画像取得部にコンフィグレーションＲＯＭ及びダンピング抵抗が接続され、画像処理部にコンフィグレーションＲＯＭが接続された場合のセキュリティシステムを示すブロック図である。
【図６】本発明の第２の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。
【図７】図６の画像取得部における処理を示す図である。
【図８】図６の画像取得部が、ＦＩＦＯを有さず、外部メモリを有する場合のセキュリティシステムを示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら本発明に係る画像処理装置の実施の形態について詳細に説明する。
【００１４】
［第１の実施形態］
図１は、本発明の第１の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。図１におけるセキュリティシステムは、画像処理装置１０と撮像装置２０−１〜２０−ｎとを具備する。
【００１５】
撮像装置２０−１〜２０−ｎは、カメラ等であり、動画像を画像データとして所定時間ごと（例えば１／３０秒ごと、１／６０秒ごと等）に取得する。そして、撮像装置２０−１〜２０−ｎは、取得した画像データを画像処理装置１０へ順次出力する。また、撮像装置２０−１〜２０−ｎは、撮像を開始する際に同期信号を生成する。撮像装置２０−１〜２０−ｎは、この同期信号を画像処理装置１０へ出力する。なお、撮像装置２０からの出力データ量は、１フレーム当り、１９２０×１４４０画素から３２０×２４０画素までと幅広い。また、色情報の有無などを含めると多様な画像出力情報が存在する。さらに、近年、超解像度などの画素間の欠損データを補完することで精細な情報を出力することも可能である。このため、撮像装置から出力される画像データは、撮像対象物の状態によって出力データ数が伸縮するという特性がある。ここで、出力データ数とは、画素数及びフレームレート等のことをいう。
【００１６】
図１における画像処理装置１０は、画像取得部１１、水晶発振器１２、画像処理部１３及びコネクタ１４−１〜１４−ｎ（ｎは自然数）を具備する。水晶発振器１２は、画像取得部１１に設けられたＰＬＬ（Phase Locked Loop）によって画像取得部１１と接続している。
【００１７】
画像取得部１１は、ＦＰＧＡ（Field Programmable Gate Array）から成る。画像取得部１１は、ＦＰＧＡ上に論理回路が組み込まれることにより、入力インタフェース（ＩＦ）部１１１−１〜１１１−ｎ、ＦＩＦＯ（First-In First-Out）１１２−１〜１１２−ｎ、出力ＩＦ部１１３、レジスタ部１１４及び制御部１１５の機能を有する。
【００１８】
入力ＩＦ部１１１−１〜１１１−ｎは、コネクタ１４−１〜１４−ｎを介して入力された画像データを、ＦＩＦＯ１１２−１〜１１２−ｎへ出力する。また、入力ＩＦ部１１１−１〜１１１−ｎは、コネクタ１４−１〜１４−ｎを介して入力された同期信号を、レジスタ部１１４へ出力する。
【００１９】
ＦＩＦＯ１１２−１〜１１２−ｎは、入力ＩＦ部１１１−１〜１１１−ｎからの画像データを一時的に保持する。そして、ＦＩＦＯ１１２−１〜１１２−ｎは、制御部１１５からの出力指示に応じて、保持した画像データを入力された順に出力ＩＦ部１１３を介して画像処理部１３へ出力する。このとき出力する画像データの伝送ビットレートは、水晶発振器１２で生成されるクロック信号に基づいている。
【００２０】
レジスタ部１１４は、入力ＩＦ部１１１−１〜１１１−ｎからの同期信号を受信する。レジスタ部１１４は、同期信号を受信した場合、受信した同期信号が撮像装置２０−１〜２０−ｎのうちいずれから出力されたのかがわかるようにビットを立てる。そして、レジスタ部１１４は、最後に撮像を開始した撮像装置から、同期信号を受信した場合、出力開始信号を制御部１１５へ出力する。
【００２１】
制御部１１５は、レジスタ部１１４からの出力開始信号に応じて、ＦＩＦＯ１１２−１〜１１２−ｎに対して出力指示を与える。このとき、制御部１１５が出力指示を与える順序は予め設定されている。
【００２２】
また、制御部１１５は、ＦＩＦＯ１１２−１〜１１２−ｎごとに画像データの出力容量も指定して出力指示を与える。出力容量は、ＦＩＦＯ１１２−１〜１１２−ｎに接続された撮像装置２０−１〜２０−ｎの台数及び出力データ数により決定される。
【００２３】
画像処理部１３は、ＣＰＵ又はＦＰＧＡ等のＬＳＩである。画像処理部１３は、画像取得部１１からの画像データを、予め設定された周波数で検出する。そして、画像処理部１３は、検出した画像データに対して画像処理を施す。本実施形態では、予め設定された周波数とは、水晶発振器１２のクロック周波数に応じた周波数である。なお、画像処理部１３は、画像取得部１１から伝送ビットレートを受け取り、この伝送ビットレートに従って映像データを検出するようにしても良い。
【００２４】
次に、上記構成における動作を説明する。
【００２５】
図２は、本発明の第１の実施形態に係る画像処理装置１０の画像取得部１１における処理を示す模式図である。図２では、ラスタスキャン方式により画像データが転送される例を説明する。なお、本実施形態のデータ転送の方式は、ラスタスキャン方式に限定される訳ではない。
【００２６】
図２では、撮像装置２０−１乃至撮像装置２０−ｎが、画像処理装置１０に接続され、撮像装置２０−２が最後に撮像処理を開始する場合を例に説明する。
【００２７】
撮像装置２０−１での撮像が開始されると、画像データ１が取得されると共に、同期信号１が生成される。画像データ１と同期信号１とは、画像取得部１１へ出力される。ＦＩＦＯ１１２−１は、画像データ１を保持する。また、レジスタ部１１４は、同期信号１を受信し、撮像装置２０−１からの同期信号１を受信したことを示すビットを立てる。
【００２８】
また、撮像装置２０−ｎでの撮像が開始されると、画像データＮが取得されると共に、同期信号Ｎが生成される。画像データＮと同期信号Ｎとは、画像取得部１１へ出力される。ＦＩＦＯ１１２−ｎは、画像データＮを保持する。また、レジスタ部１１４は、同期信号Ｎを受信し、撮像装置２０−ｎからの同期信号Ｎを受信したことを示すビットを立てる。
【００２９】
そして、最後の撮像装置２０−２での撮像が開始されると、画像データ２が取得されると共に、同期信号２が生成される。画像データ２と同期信号２とは、画像取得部１１へ出力される。ＦＩＦＯ１１２−２は、画像データ２を保持する。また、レジスタ部１１４は、同期信号２を受信し、最後の撮像装置２０−２からの同期信号２を受信したことを示すビットを立てる。レジスタ部１１４は、最後の同期信号２を受信すると、出力開始信号を生成し、制御部１１５へ出力する。
【００３０】
制御部１１５は、出力開始信号を受け取った場合、画像データ１の１段目の走査線上の画像データ１１を出力するようにＦＩＦＯ１１２−１に対して出力指示を出す。続いて、制御部１１５は、画像データ２，３，４…の１段目の走査線上の映像データを出力するようにＦＩＦＯ１１２−２，１１２−３，１１２−４…に対して順次出力指示を出す。そして、制御部１１５は、画像データＮの１段目の走査線上の画像データＮ１を出力するようにＦＩＦＯ１１２−ｎに対して出力指示を与え、ＦＩＦＯ１１２−ｎから画像データＮ１が出力されると、画像データ１の２段目の走査線上の映像データ１２を出力するようにＦＩＦＯ１１２−１に対して出力指示を与える。なお、本実施形態では、最初にＦＩＦＯ１１２−１に対して出力指示を与え、その後にＦＩＦＯ１１２−２，１１２−３，…，１１２−ｎの順序で出力指示を与える例について説明したが、最初に出力指示を与えるＦＩＦＯ及び出力指示を与える順序は、これに限定される訳ではない。
【００３１】
このように、画像取得部１１は、画像データ１〜Ｎを走査線単位で画像処理部１３へ出力する。これにより、画像処理部１３は、撮像装置２０−１〜２０−ｎで撮像された映像データを走査線の１段目から順に受け取ることとなる。このとき、画像処理部１３は、図２に示すような、撮像装置２０−１〜２０−ｎで撮像された映像が横に配列された映像を受け取る。
【００３２】
以上のように、上記第１の実施形態では、画像取得部１１は、ＦＩＦＯ１１２−１〜１１２−ｎにより撮像装置２０−１〜２０−ｎからの画像データを一時的に保持する。そして、画像取得部１１は、同期信号の到達タイミングを利用して、ＦＩＦＯ１１２−１〜１１２−ｎから画像データを所定の順序で順次出力するようにしている。これにより、画像処理装置１０では、複数台の撮像装置を仮想的に一台の撮像装置としてみなすことが可能となる。
【００３３】
また、上記第１の実施形態では、画像取得部１１をＦＰＧＡで構築するようにしている。これにより、画像処理装置１０の作成後であっても、ＦＰＧＡを再構成することで様々な状況に容易に対応することが可能となる。すなわち、最初に出力指示を与えるＦＩＦＯ及び出力指示を与えるＦＩＦＯの順序を再設定することが可能となる。また、接続される撮像装置の出力データ数に合わせて、ＦＩＦＯから出力される画像データの出力容量等を再設定することが可能となる。また、接続される撮像装置の台数に合わせて、画像取得部１１に入力ＩＦ部、出力ＩＦ部、ＦＩＦＯ等の機能を新たに持たせることが可能となる。
【００３４】
また、上記第１の実施形態では、撮像を最後に開始した撮像装置からの同期信号を受信した場合、ＦＩＦＯからの画像データの出力を開始するようにしている。これにより、接続される複数の撮像装置のフレーム数及び同期信号の生成がそれぞれ異なる場合であっても、これらの撮像装置を仮想的に一台の撮像装置とみなすことが可能となる。
【００３５】
また、上記第１の実施形態では、画像取得部１１は、接続される撮像装置の数に応じた数のＦＩＦＯを有している。これにより、ＦＩＦＯへのアクセス時間が最小化されることとなる。
【００３６】
また、上記第１の実施形態では、画像処理部１３への物理配線数が単線化されている。このため、画像処理部小パッケージサイズの演算処理ＬＳＩ（ＣＰＵ、ＦＰＧＡ、ＡＳＩＣ、ＤＳＰ）を実装可能となる。これにより、画像処理装置１０の製造コストを抑えることが可能となる。
【００３７】
したがって、本発明に係る画像処理装置は拡張性を有することとなる。すなわち、セキュリティシステムのユーザは、撮像点数をスケーラブルに増設することができる。
【００３８】
なお、本実施形態の画像処理装置１０は、図１に示される構成に限定される訳ではない。例えば、図３〜図５に示す構成をしていても構わない。
【００３９】
図３は、画像取得部１１に複数の水晶発振器１２−１〜１２−３が接続された場合のセキュリティシステムを示すブロック図である。セキュリティシステムのユーザは、撮像装置２０の接続台数、出力データ数及び出力データ形式に応じて水晶発振器１２−１〜１２−３の中から適当なクロック周波数の水晶発振器を選択する。このとき、水晶発振器１２−１〜１２−３のクロック周波数は、それぞれ異なる周波数であり、例えば、水晶発振器１２−１のクロック周波数は２７ＭＨｚ、水晶発振器１２−２のクロック周波数は５４ＭＨｚ、水晶発振器１２−３のクロック周波数は１０８ＭＨｚである。ユーザは、選択した水晶発振器のクロック周波数に応じて、画像取得部１１のＦＰＧＡを再構成する。画像取得部１１は、再構成されたことにより変更したビットレートを画像処理部１３へ通知する。
【００４０】
これにより、画像処理装置１０は、接続される撮像装置２０の台数、出力データ数及び出力データ形式に応じて、画像取得部１１から画像処理部１３へ出力する画像データのデータ伝達のタイミングをスケーラブルに変動することが可能となる。これに伴い、低消費電力化及び不要な電磁波ノイズの発生を抑えることが可能である。
【００４１】
図４は、画像取得部１１にコンフィグレーションＲＯＭ（Read Only Memory）１５が接続され、画像処理部１３にコンフィグレーションＲＯＭ１６が接続された場合のセキュリティシステムを示すブロック図である。コンフィグレーションＲＯＭ１５には、画像取得部１１の論理回路を再構成するためのデータ変換フォーマットが予め記録されている。例えば、コンフィグレーションＲＯＭ１５には、接続される撮像装置２０がｎ個から（ｎ＋１）個になった場合、画像取得部１１が自身の論理回路を、入力ＩＦ部１１１−（ｎ＋１）及びＦＩＦＯ１１２−（ｎ＋１）を有するように自動的に再構成するためのフォーマットが記録されている。
【００４２】
また、コンフィグレーションＲＯＭ１６には、画像処理部１３の論理回路を再構成するためのデータ変換フォーマットが予め記録されている。例えば、コンフィグレーションＲＯＭ１６には、画像データの検出タイミングを切り替えるためのフォーマットが記録されている。画像処理部１３における画像データの検出タイミングは、このフォーマットにより、例えば、データにおける矩形波の立ち上がり時にのみデータを検出する状態から、矩形波の立ち上がり時及び立ち下がり時の両方でデータを検出する状態へと切り替わる。
【００４３】
図４に係る画像処理装置１０によれば、接続される撮像装置の台数が変更になった場合等であっても、自動的にＦＰＧＡの再構成をすることが可能となる。
【００４４】
図５は、画像取得部１１にコンフィグレーションＲＯＭ（Read Only Memory）１５及びダンピング抵抗１７が接続され、画像処理部１３にコンフィグレーションＲＯＭ１６が接続された場合のセキュリティシステムを示すブロック図である。画像取得部１１にダンピング抵抗１７を接続させることにより、伝送ビットレート及びクロック周波数を変更した際に生じるパターン配線抵抗に対応することが可能となる。
【００４５】
［第２の実施形態］
図６は、本発明の第２の実施形態に係るセキュリティシステムの機能構成を示すブロック図である。図６におけるセキュリティシステムは、画像処理装置３０と撮像装置２０−１〜２０−ｎとを具備する。
【００４６】
撮像装置２０−１〜２０−ｎは、取得した画像データを画像処理装置３０へ順次出力する。また、撮像装置２０−１〜２０−ｎは、撮像を開始する際に生成した同期信号を画像処理装置３０へ出力する。
【００４７】
図６における画像処理装置３０は、画像取得部３１−１〜３１−ｎ（ｎは自然数）、水晶発振器３２、画像処理部３３及びコネクタ３４−１〜３４−ｎを具備する。水晶発振器３２は、画像取得部３１−１〜３１−ｎにそれぞれ設けられたＰＬＬ（Phase Locked Loop）によって画像取得部３１−１〜３１−ｎと接続している。
【００４８】
画像取得部３１−１〜３１−ｎは、ＦＰＧＡから成る。画像取得部３１−１〜３１−ｎは、ＦＰＧＡ上に論理回路が組み込まれることにより、入力ＩＦ部３１１−１〜３１１−ｎ、ＦＩＦＯ３１２−１〜３１２−ｎ、出力ＩＦ部３１３−１〜３１３−ｎ、レジスタ部３１４−１〜３１４−ｎ及び制御部３１５−１〜３１５−ｎの機能を有する。ここで、画像取得部３１−１〜３１−ｎの構成はそれぞれ同様であるため、以下では画像取得部３１−１を代表して説明する。
【００４９】
入力ＩＦ部３１１−１は、コネクタ３４−１を介して入力された画像データを、ＦＩＦＯ３１２−１へ出力する。また、入力ＩＦ部３１１−１は、コネクタ３４−１〜３４−ｎを介して入力された撮像装置２０−１〜２０−ｎからの同期信号を、レジスタ部３１４−１へ出力する。これらの同期信号は、撮像装置２０−１〜２０−ｎのいずれで生成されたものであるか識別可能な識別子を有している。
【００５０】
ＦＩＦＯ３１２−１は、入力ＩＦ部３１１−１からの画像データを一時的に保持する。そして、ＦＩＦＯ３１２−１は、制御部３１５−１からの出力指示に応じて、画像データを保持した順に出力ＩＦ部３１３−１を介して画像処理部３３へ出力する。このとき出力する画像データの伝送ビットレートは、水晶発振器３２で生成されるクロック信号による。
【００５１】
レジスタ部３１４−１は、入力ＩＦ部３１１−１からの同期信号を受信する。レジスタ部３１４−１は、同期信号を受信した場合、受信した同期信号が撮像装置２０−１〜２０−ｎのうちいずれで生成されたのかがわかるようにビットを立てる。そして、レジスタ部３１４−１は、最後に撮像を開始した撮像装置からの同期信号を受信した場合、出力開始信号を制御部３１５−１へ出力する。
【００５２】
制御部３１５−１は、レジスタ部３１４−１からの出力開始信号を受信した場合、この出力開始信号に基づいてＦＩＦＯ３１２−１に対して出力指示を与える。このとき、ＦＩＦＯ３１２−１〜３１２−ｎから出力される画像データの順序は予め設定されている。制御部３１５−１〜３１５−ｎは、画像データの出力順序に従った順序でＦＩＦＯ３１２−１〜３１２−ｎに対して出力指示を与える。
【００５３】
また、制御部３１５−１は、ＦＩＦＯ３１２−１から出力される画像データの出力容量も指定して出力指示を与える。出力容量は、ＦＩＦＯ３１２−１に接続された撮像装置２０−１の出力データ数により決定されるものである。
【００５４】
画像処理部３３は、ＣＰＵ又はＦＰＧＡ等のＬＳＩである。画像処理部３３は、画像取得部３１−１〜３１−ｎからの映像データを、予め設定された周波数で検出する。そして、画像処理部３３は、取得した画像データに対して画像処理を施す。本実施形態では、予め設定された周波数とは、水晶発振器３２のクロック周波数に応じた周波数である。
【００５５】
次に、上記構成における動作を説明する。
【００５６】
図７は、本発明の第２の実施形態に係る画像処理装置３０の画像取得部３１−１〜３１−ｎにおける処理を示す模式図である。図７では、ラスタスキャン方式により画像データが転送される例を説明する。なお、本実施形態のデータ転送の方式は、ラスタスキャン方式に限定される訳ではない。
【００５７】
図７では、撮像装置２０−１乃至撮像装置２０−ｎが、画像処理装置３０に接続され、撮像装置２０−２が最後に撮像処理を開始する場合を例に説明する。
【００５８】
撮像装置２０−１での撮像が開始されると、画像データ１が取得されると共に、同期信号１が生成される。画像データ１は画像取得部３１−１へ出力され、同期信号１は画像取得部３１−１〜３１−ｎへ出力される。ＦＩＦＯ３１２−１は、画像データ１を保持する。また、レジスタ部３１４−１〜３１４−ｎは、同期信号１を受信し、撮像装置２０−１からの同期信号１を受信したことを示すビットを立てる。
【００５９】
また、撮像装置２０−ｎでの撮像が開始されると、画像データＮが取得されると共に、同期信号Ｎが生成される。画像データＮは画像取得部３１−ｎへ出力され、同期信号Ｎは画像取得部３１−１〜３１−ｎへ出力される。ＦＩＦＯ３１２−ｎは、画像データＮを保持する。また、レジスタ部３１４−１〜３１４−ｎは、同期信号Ｎを受信し、撮像装置２０−ｎからの同期信号Ｎを受信したことを示すビットを立てる。
【００６０】
そして、最後の撮像装置２０−２での撮像が開始されると、画像データ２が取得されると共に、同期信号２が生成される。画像データ２は画像取得部３１−２へ出力され、同期信号２は画像取得部３１−１〜３１−ｎへ出力される。ＦＩＦＯ３１２−２は、画像データ２を保持する。また、レジスタ部３１４−１〜３１４−ｎは、同期信号２を受信し、最後の撮像装置２０−２からの同期信号２を受信したことを示すビットを立てる。レジスタ部３１４−１〜３１４−ｎは、最後の同期信号２を受信すると、出力開始信号を生成し、それぞれの画像取得部に配置された制御部３１５−１〜３１５−ｎへ出力する。
【００６１】
制御部３１５−１は、出力開始信号を受け取った場合、画像データ１の１段目の走査線上の画像データ１１を出力するようにＦＩＦＯ３１２−１に対して出力指示を出す。続いて、制御部３１５−２は、画像データ２の１段目の走査線上の画像データ１２を出力するようにＦＩＦＯ３１２−２に対して出力指示を出す。続いて、制御部３１５−３，３１５−４…３１５−ｎは、画像データ３，４…Ｎの１段目の走査線上の映像データを出力するようにＦＩＦＯ３１２−３，３１２−４…３１２−ｎに対して順次出力指示を与える。
【００６２】
そして、制御部３１５−１は、ＦＩＦＯ３１２−ｎから画像データＮ１が出力されると、画像データ１の１段目の走査線上の画像データ１２を出力するようにＦＩＦＯ３１２−１に対して出力指示を与える。なお、本実施形態では、最初に制御部３１５−１がＦＩＦＯ３１２−１に対して出力指示を与え、その後に制御部３１５−２，３１５−３…３１５−ｎがＦＩＦＯ３１２−２，３１２−３，…，３１２−ｎの順序で出力指示を与える例について説明したが、最初に出力指示を与えるＦＩＦＯ及び出力指示を与える順序は、これに限定される訳ではない。
【００６３】
制御部３１５−１〜３１５−ｎは、以上のようにＦＩＦＯ３１２−１〜３１２−ｎから映像データを出力させることで、走査線上の映像データを１段目から順に出力させる。
【００６４】
これにより画像処理部３３は、撮像装置２０−１〜２０−ｎで撮像された映像データを走査線の１段目から順に受け取ることとなる。このとき、画像処理部３３は、図６に示すような、撮像装置２０−１〜２０−ｎで撮像された映像が横に配列された映像を受け取る。
【００６５】
以上のように、上記第２の実施形態では、画像取得部３１−１〜３１−ｎがそれぞれＦＰＧＡで構成される。このため、大型のＦＰＧＡを用意する必要がなくなり、画像処理装置３０の製造コストをさらに抑えることが可能となる。
【００６６】
なお、本実施形態の画像処理装置３０は、図６に示される構成に限定される訳ではない。例えば、図８に示す構成をしていても構わない。
【００６７】
図８は、画像取得部３１−１〜３１−ｎがＦＩＦＯ３１２−１〜３１２−ｎを有さず、外部メモリ３１６−１〜３１６−ｎを有する場合のセキュリティシステムを示すブロック図である。外部メモリ３１６−１〜３１６−ｎでＦＩＦＯの代用を図ることで、ＦＰＧＡ上にＦＩＦＯを構築する必要がなくなるため、製造コストをさらに抑えることが可能となる。
【００６８】
［その他の実施形態］
なお、この発明は上記各実施形態に限定されるものではない。例えば、上記各実施形態では、撮像を最後に開始した撮像装置からの同期信号を受信した場合、ＦＩＦＯから画像データを順次出力する例について説明したが、本発明は上記実施形態に限定される訳ではない。例えば、画像取得部にタイマが接続され、一定の時間が経過した場合、ＦＩＦＯから画像データを順次出力するようにしても良い。このとき、同期信号を生成していない撮像装置は、無いものとして扱われ、画像取得部から画像処理部へ出力される画像データには、その撮像装置からの画像は含まれない。
【００６９】
さらに、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００７０】
１０…画像処理装置
１１…画像取得部
１１１−１〜１１１−ｎ…入力ＩＦ部
１１２−１〜１１２−ｎ…ＦＩＦＯ
１１３…出力ＩＦ部
１１４…レジスタ部
１１５…制御部
１２，１２−１，１２−２，１２−３…水晶発振器
１３…画像処理部
１４−１〜１４−ｎ…コネクタ
１５，１６…コンフィグレーションＲＯＭ
１７…ダンピング抵抗
２０−１〜２０−ｎ…撮像装置
３０…画像処理装置
３１−１〜３１−ｎ…画像取得部
３１１−１〜３１１−ｎ…入力ＩＦ部
３１２−１〜３１２−ｎ…ＦＩＦＯ
３１３−１〜３１３−ｎ…出力ＩＦ部
３１４−１〜３１４−ｎ…レジスタ部
３１５−１〜３１５−ｎ…制御部
３１６−１〜３１６−ｎ…外部メモリ
３２…水晶発振器
３３…画像処理部
３４−１〜３４−ｎ…コネクタ
【特許請求の範囲】
【請求項１】
複数の撮像装置で撮像された複数の画像データの処理を行う画像処理装置において、
それぞれが前記複数の画像データのいずれかを一時的に保持し、出力指示に応じて前記画像データを出力する複数の保持部と、
前記複数の撮像装置が撮像を開始した際に生成する複数の同期信号を受信し、前記複数の同期信号のうち最後の同期信号を受信した場合、出力開始信号を生成するレジスタ部と、
前記出力開始信号に応じて前記複数の保持部に対して、予め設定された出力順序で前記出力指示を与える制御部と
をＦＰＧＡ（Field Programmable Gate Array）上に備える画像取得手段と、
前記複数の保持部から前記出力指示に応じて出力された画像データに対して画像処理を施す画像処理部と
を具備することを特徴とする画像処理装置。
【請求項２】
複数の撮像装置で撮像された複数の画像データの処理を行う画像処理装置において、
それぞれが前記複数の画像データのいずれかを取得し、前記複数の画像データが予め設定された出力順序で出力されるように、取得した画像データを順次出力する複数の画像取得部と、
前記複数の画像取得部からの画像データに対して画像処理を施す画像処理部と
を具備し、
前記画像取得部は、
前記複数の画像データのいずれかを一時的に保持し、出力指示に応じて前記画像データを前記画像処理部へ出力する保持部と、
ＦＰＧＡ（Field Programmable Gate Array）上に構成され、前記複数の撮像装置が撮像を開始した際に生成する複数の同期信号を受信し、前記複数の同期信号のうち最後の同期信号を受信した場合、出力開始信号を生成するレジスタ部と、
ＦＰＧＡ上に構成され、前記出力開始信号に応じて、前記出力順序に従って前記画像データが出力されるように、前記保持部に対して前記出力指示を与える制御部と
を備えることを特徴とする画像処理装置。
【請求項３】
前記制御部は、接続された撮像装置の特性に応じた容量の画像データが出力されるように、前記保持部に対して出力指示を与えることを特徴とする請求項１及び２のいずれかに記載の画像処理装置。
【請求項４】
前記複数の同期信号のうち、最初の同期信号を受信するとカウントを開始するタイマをさらに具備し、
前記制御部は、前記出力開始信号が生成されなくても、前記タイマのカウント値が予め設定されたカウント値に達した場合、前記出力指示を与えることを特徴とする請求項１及び２のいずれかに記載の画像処理装置。
【請求項５】
それぞれが固有のクロック周波数を有する複数の水晶発振器をさらに具備し、
前記画像取得手段は、前記複数の水晶発振器のうち選択された第１の水晶発振器のクロック周波数に基づいたビットレートで、前記画像データを前記画像処理部へ出力することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記画像処理部がＦＰＧＡにより成る場合、
前記画像取得手段の構成を再設定するための第１の変換フォーマットが予め記録された第１のコンフィグレーションＲＯＭと、
前記画像処理部の構成を再設定するための第２の変換フォーマットが予め設定された第２のコンフィグレーションＲＯＭと
をさらに具備し、
前記画像取得手段は、前記複数の撮像装置のうち少なくともいずれかの設定が変更になった場合、前記第１の変換フォーマットに基づいて構成の再設定を行い、
前記画像処理部は、前記画像取得手段の構成が再設定された場合、前記第２の変換フォーマットに基づいて構成の再設定を行うことを特徴とする請求項１のいずれかに記載の画像処理装置。
【請求項７】
前記画像処理部がＦＰＧＡにより成る場合、
それぞれが固有のクロック周波数を有する複数の水晶発振器と、
前記画像取得手段の構成を再設定するための第１の変換フォーマットが予め記録された第１のコンフィグレーションＲＯＭと、
前記画像処理部の構成を再設定するための第２の変換フォーマットが予め設定された第２のコンフィグレーションＲＯＭと
をさらに具備し、
前記画像取得手段は、前記複数の水晶発振器のうちいずれかの水晶発振器が選択された場合、前記第１の変換フォーマットに基づいて構成の再設定を行い、
前記画像処理部は、前記画像取得手段の構成が再設定された場合、前記第２の変換フォーマットに基づいて構成の再設定を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
ダンピング抵抗をさらに具備し、
前記画像取得手段は、前記ダンピング抵抗により、ビットレート及びクロック周波数の変更に伴うパターン配線抵抗に対応することを特徴とする請求項５、６及び７のいずれかに記載の画像処理装置。
【請求項９】
前記保持部は、ＦＰＧＡ上に構成されることを特徴とする請求項２記載の画像処理装置。
【請求項１】
複数の撮像装置で撮像された複数の画像データの処理を行う画像処理装置において、
それぞれが前記複数の画像データのいずれかを一時的に保持し、出力指示に応じて前記画像データを出力する複数の保持部と、
前記複数の撮像装置が撮像を開始した際に生成する複数の同期信号を受信し、前記複数の同期信号のうち最後の同期信号を受信した場合、出力開始信号を生成するレジスタ部と、
前記出力開始信号に応じて前記複数の保持部に対して、予め設定された出力順序で前記出力指示を与える制御部と
をＦＰＧＡ（Field Programmable Gate Array）上に備える画像取得手段と、
前記複数の保持部から前記出力指示に応じて出力された画像データに対して画像処理を施す画像処理部と
を具備することを特徴とする画像処理装置。
【請求項２】
複数の撮像装置で撮像された複数の画像データの処理を行う画像処理装置において、
それぞれが前記複数の画像データのいずれかを取得し、前記複数の画像データが予め設定された出力順序で出力されるように、取得した画像データを順次出力する複数の画像取得部と、
前記複数の画像取得部からの画像データに対して画像処理を施す画像処理部と
を具備し、
前記画像取得部は、
前記複数の画像データのいずれかを一時的に保持し、出力指示に応じて前記画像データを前記画像処理部へ出力する保持部と、
ＦＰＧＡ（Field Programmable Gate Array）上に構成され、前記複数の撮像装置が撮像を開始した際に生成する複数の同期信号を受信し、前記複数の同期信号のうち最後の同期信号を受信した場合、出力開始信号を生成するレジスタ部と、
ＦＰＧＡ上に構成され、前記出力開始信号に応じて、前記出力順序に従って前記画像データが出力されるように、前記保持部に対して前記出力指示を与える制御部と
を備えることを特徴とする画像処理装置。
【請求項３】
前記制御部は、接続された撮像装置の特性に応じた容量の画像データが出力されるように、前記保持部に対して出力指示を与えることを特徴とする請求項１及び２のいずれかに記載の画像処理装置。
【請求項４】
前記複数の同期信号のうち、最初の同期信号を受信するとカウントを開始するタイマをさらに具備し、
前記制御部は、前記出力開始信号が生成されなくても、前記タイマのカウント値が予め設定されたカウント値に達した場合、前記出力指示を与えることを特徴とする請求項１及び２のいずれかに記載の画像処理装置。
【請求項５】
それぞれが固有のクロック周波数を有する複数の水晶発振器をさらに具備し、
前記画像取得手段は、前記複数の水晶発振器のうち選択された第１の水晶発振器のクロック周波数に基づいたビットレートで、前記画像データを前記画像処理部へ出力することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記画像処理部がＦＰＧＡにより成る場合、
前記画像取得手段の構成を再設定するための第１の変換フォーマットが予め記録された第１のコンフィグレーションＲＯＭと、
前記画像処理部の構成を再設定するための第２の変換フォーマットが予め設定された第２のコンフィグレーションＲＯＭと
をさらに具備し、
前記画像取得手段は、前記複数の撮像装置のうち少なくともいずれかの設定が変更になった場合、前記第１の変換フォーマットに基づいて構成の再設定を行い、
前記画像処理部は、前記画像取得手段の構成が再設定された場合、前記第２の変換フォーマットに基づいて構成の再設定を行うことを特徴とする請求項１のいずれかに記載の画像処理装置。
【請求項７】
前記画像処理部がＦＰＧＡにより成る場合、
それぞれが固有のクロック周波数を有する複数の水晶発振器と、
前記画像取得手段の構成を再設定するための第１の変換フォーマットが予め記録された第１のコンフィグレーションＲＯＭと、
前記画像処理部の構成を再設定するための第２の変換フォーマットが予め設定された第２のコンフィグレーションＲＯＭと
をさらに具備し、
前記画像取得手段は、前記複数の水晶発振器のうちいずれかの水晶発振器が選択された場合、前記第１の変換フォーマットに基づいて構成の再設定を行い、
前記画像処理部は、前記画像取得手段の構成が再設定された場合、前記第２の変換フォーマットに基づいて構成の再設定を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
ダンピング抵抗をさらに具備し、
前記画像取得手段は、前記ダンピング抵抗により、ビットレート及びクロック周波数の変更に伴うパターン配線抵抗に対応することを特徴とする請求項５、６及び７のいずれかに記載の画像処理装置。
【請求項９】
前記保持部は、ＦＰＧＡ上に構成されることを特徴とする請求項２記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−６１４３８（Ｐ２０１１−６１４３８Ａ）
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願番号】特願２００９−２０８２６４（Ｐ２００９−２０８２６４）
【出願日】平成２１年９月９日（２００９．９．９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願日】平成２１年９月９日（２００９．９．９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]