画像認識表示システム及びこれに用いるカメラ
【課題】伝送路の使用帯域幅を削減しつつ高精度の画像認識を行う画像認識表示システムを提供すること。
【解決手段】カメラ１は、画像表示に用いる表示画像信号を生成する表示画像信号処理回路１３と、画像認識に用いる認識用画像信号を生成する認識用画像信号処理回路１４と、表示画像信号と認識用画像信号の差分信号を生成する差分回路１５とを備え、表示画像信号と差分信号を伝送路２へ送出する。画像認識処理装置３は、伝送路２を介して受信した表示画像信号と差分信号を加算して認識用画像信号を復元する加算回路３２と、認識用画像信号を用いて特定の被写体の認識処理を行う画像認識処理回路３３と、表示画像信号と認識処理の結果を合成して表示装置４へ出力する表示処理回路３４とを備える。
【解決手段】カメラ１は、画像表示に用いる表示画像信号を生成する表示画像信号処理回路１３と、画像認識に用いる認識用画像信号を生成する認識用画像信号処理回路１４と、表示画像信号と認識用画像信号の差分信号を生成する差分回路１５とを備え、表示画像信号と差分信号を伝送路２へ送出する。画像認識処理装置３は、伝送路２を介して受信した表示画像信号と差分信号を加算して認識用画像信号を復元する加算回路３２と、認識用画像信号を用いて特定の被写体の認識処理を行う画像認識処理回路３３と、表示画像信号と認識処理の結果を合成して表示装置４へ出力する表示処理回路３４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影した画像を画像認識処理装置へ伝送して特定の被写体を認識して表示する画像認識表示システムに関する。
【背景技術】
【０００２】
カメラ（撮像装置）で撮影した画像を画像認識処理装置へ伝送し、特定の被写体を認識して表示する場合、撮影した画像信号を効率良く伝送する必要がある。これに関連する技術として、特許文献１には、画像処理に必要な時間を確保しつつ、全体の遅延時間の増大を防止することを目的とする撮像システムが開示される。この撮像システムにおいて、カメラは、撮影した画像から画像処理に用いる画像特徴情報を生成する映像処理回路と、画像特徴情報を含む画像情報を中央制御装置に伝送する伝送処理回路とを備え、中央制御装置は、伝送された画像特徴情報を用いて特定被写体の抽出や認識の画像処理を行う画像処理回路を備える。ここに伝送処理回路は中央制御装置に画像情報を伝送するとき、画像処理に用いる画像特徴情報を当該映像フレーム内で先行して伝送するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２６７９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像認識表示システムの主な機能として、特定の被写体（人物や物体）を撮影して認識を行う機能と、撮影した結果や認識した結果を表示する機能がある。その際、撮影した画像に特定の被写体が含まれている場合、それらを精度よく認識するとともに、高画質に表示できることが好ましい。
【０００５】
前記特許文献１では、被写体認識に用いる画像特徴情報として撮影画像の縮小画像または輝度信号を伝送することが記載されている。しかしながら、縮小画像や輝度信号などの画像特徴情報では情報量が少ないため、画像認識の精度に限界がある。一方、高精度に画像認識を行うために画像特徴情報のデータ量を増大させると、伝送路には画像信号と増大した画像特徴情報を伝送せねばならず、伝送路の使用帯域幅が増大するという課題が生じる。
【０００６】
本発明の目的は、伝送路の使用帯域幅を削減しつつ高精度の画像認識を行う画像認識表示システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、カメラで撮影した画像を画像認識処理装置に伝送し、特定の被写体を画像認識して表示する画像認識表示システムにおいて、カメラは、被写体を撮影して電気信号に変換する撮像素子と、撮像素子の信号から画像表示に用いる表示画像信号を生成する表示画像信号処理回路と、撮像素子の信号から画像認識に用いる認識用画像信号を生成する認識用画像信号処理回路と、表示画像信号と認識用画像信号の差分信号を生成する差分回路と、表示画像信号と認識用画像信号のいずれか一方の画像信号と差分信号を伝送路を介して画像認識処理装置に伝送する伝送処理回路とを備える。画像認識処理装置は、カメラから伝送路を介して伝送された一方の画像信号と差分信号を受信する受信処理回路と、受信した一方の画像信号と差分信号を加算して表示画像信号と認識用画像信号のうち伝送されなかった他方の画像信号を復元する加算回路と、受信または復元された認識用画像信号を用いて特定の被写体の認識処理を行う画像認識処理回路と、受信または復元された表示画像信号と認識処理の結果を合成して表示装置へ出力する表示処理回路とを備える。
【０００８】
さらにカメラは、表示画像信号と認識用画像信号のうち一方の画像信号を圧縮して画像圧縮信号に変換する画像圧縮回路を有し、伝送処理回路から一方の画像信号に代えて画像圧縮信号を伝送し、画像認識処理装置は、受信処理回路で受信した画像圧縮信号を伸張して一方の画像信号に戻す画像伸張回路を有する。
【発明の効果】
【０００９】
本発明によれば、伝送路の使用帯域幅を削減しつつ高精度の画像認識を行うことのできる画像認識表示システムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】画像認識表示システムの第１の実施例を示すブロック図。
【図２】画像認識表示システムの第２の実施例を示すブロック図。
【図３】画像認識表示システムの第３の実施例を示すブロック図。
【図４】各実施例１〜３において使用される伝送帯域幅を示す模式図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面を用いて説明する。
【実施例１】
【００１２】
図１は、本発明による画像認識表示システムの第１の実施例を示すブロック図である。本実施例の画像認識表示システムは、画像を撮影する複数のカメラ（撮像装置）１ａ〜１ｄ、カメラからの信号を伝送するネットワークなどの伝送路２ａ〜２ｄ、カメラからの画像を認識し結果を表示させる画像認識処理装置３、及び画像を表示する表示装置４で構成される。画像認識処理装置３と表示装置４は一体構成としても良い。
【００１３】
カメラ（撮像装置）１ａにおいて、１１は画像を撮影するためのレンズ、１２はレンズ１１を介した光を電気信号に変換する撮像素子、１３は撮像素子１２の出力を人間が視認するために好適な信号（以下、「表示画像信号」と呼ぶ）へ処理する表示画像信号処理回路、１４は撮像素子１２の信号にパターンマッチングなどを行って画像認識を行うのに好適な信号（以下、「認識用画像信号」と呼ぶ）へ処理する認識用画像信号処理回路、１５は認識用画像信号Ｂと表示画像信号Ａの差分信号Ｃ（＝Ｂ−Ａ）を生成する差分回路、１６は表示画像信号Ａと差分信号Ｃを多重化して伝送路２ａ上に送出する伝送処理回路である。他のカメラ１ｂ〜１ｄも同様の構成である。
【００１４】
画像認識処理装置３において、３１は各カメラ１ａ〜１ｄからの伝送信号（表示画像信号Ａと差分信号Ｃ）を受信し、後述の加算回路３２と表示処理回路３４へ信号を振り分ける受信処理回路、３２は表示画像信号Ａと差分信号Ｃを加算して画像認識のための認識用画像信号Ｂを復元するための加算回路、３３は認識用画像信号Ｂを用いてパターンマッチングなどを行い特定の物体や人物の認識を行う画像認識処理回路、３４は表示する画像信号と認識結果を合成して表示装置４へ出力する表示処理回路である。
【００１５】
表示装置４では、表示処理回路３４から送られる画像信号を表示し、その一例を図示している。一般的に表示装置４での表示画像は、撮影された画像を人間の目で見て美しく見えるように処理するものである。よって、表示画像信号処理回路１３では、画像中の雑音除去や輪郭の処理などを行ない、見た目の原画像に印象が近くなるように処理する。これに対し認識用画像信号処理回路１４では、画像認識時の認識率を向上させるため、比較するパターンに照合しやすいように画像の濃淡処理などを行うものである。
【００１６】
次に図１における画像信号の流れを説明する。カメラ１ａにおいて、レンズ１１を介して撮像素子１２で撮影された画像信号は、表示画像信号処理回路１３にて人間が視認するために好適な表示画像信号Ａに処理され、伝送処理回路１６から伝送路２ａへ送出される。同時に撮像素子１２の出力から、認識用画像信号処理回路１４にて画像認識を行うに好適な認識用画像信号Ｂが生成され、さらに差分回路１５にて表示画像信号Ａとの差分信号Ｃが生成され、伝送処理回路１６から伝送路２ａへ送出される。
【００１７】
画像認識処理装置３では、伝送路２ａから入力した表示画像信号Ａは、受信処理回路３１を経由し表示処理回路３４へ送られる。また、伝送路２ａから入力した差分信号Ｃは、受信処理回路３１を経由し加算回路３２にて表示画像信号Ａと加算処理されて認識用画像信号Ｂが復元される。認識用画像信号Ｂは画像認識処理回路３３にてパターンマッチングなどの画像認識に用いられる。画像認識では、例えば画像中の所定の物体の認識が行われ、その認識結果Ｄが表示処理回路３４に出力される。
【００１８】
表示処理回路３４は、表示画像信号Ａと、画像認識処理回路３３からの認識結果Ｄを合成して、表示装置４に表示させる。例えば表示装置４の画面において、カメラ１ａ〜１ｄにて映し出された道路の画像中に、歩行者４１を認識した結果を示す認識枠４３と、走行車両４２を認識した結果を示す認識枠４４を合成して表示している。
【００１９】
本実施例によれば、表示画像信号と認識用画像信号をカメラ１ａ〜１ｄから画像認識処理装置３へ伝送する際、表示画像信号Ａと認識用画像信号Ｂをそのまま伝送するのではなく、認識用画像信号Ｂの代わりに両者の差分信号Ｃ（＝Ｂ−Ａ）を伝送する。これより伝送するデータ量を小さくし、伝送路２ａ〜２ｄの使用帯域幅を削減できる。あるいは、画像認識処理装置３の受信処理回路３１の受信能力（トータル受信データ量）を一定としたときに、接続するカメラの台数を増やすことが可能となる。画像認識処理装置３では完全に元の認識用画像信号Ｂに戻して認識処理できるので、画像認識の精度が維持され、また表示装置４では表示画像信号Ａを用いて高画質で画像表示が可能となる。なお、本実施例に用いた差分信号Ｃは、用途に応じて輝度信号のみ、あるいは色信号のみとしてもよく、特に限定するものではない。また、本実施例において接続するカメラ１ａ〜１ｄの台数は任意であり、１台としても良いことは言うまでもない。
【実施例２】
【００２０】
図２は、本発明による画像認識表示システムの第２の実施例を示すブロック図である。前記実施例１（図１）と同じ構成要素については、同一の符号を用いている。本実施例では実施例１（図１）の構成に対し、各カメラ１ａ〜１ｄにおいては画像信号を圧縮する画像圧縮回路１７と圧縮した画像を伸張する画像伸張回路１８を、また画像認識処理装置３においては圧縮した画像を伸張する画像伸張回路３５を追加している。ここに使用される画像圧縮伸張方式は、画像圧縮効率の良い例えばＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）方式が好ましい。
【００２１】
次に図２における画像信号の流れを説明する。カメラ１ａにおいて、レンズ１１を介して撮像素子１２で撮影された画像信号は、表示画像信号処理回路１３にて表示画像信号Ａとなり、さらに画像圧縮回路１７にて圧縮処理がなされる。その結果、時間当たりデータ量の小さい表示画像圧縮信号Ａｏに変換されて、伝送処理回路１６から伝送路２ａへ送出される。同時に撮像素子１２の出力から、認識用画像信号処理回路１４にて認識用画像信号Ｂが生成される。一方、画像圧縮回路１７で圧縮された表示画像圧縮信号Ａｏは、画像伸張回路１８にて伸張処理され表示画像信号Ａ’に戻される。ここに前記した画像圧縮伸張方式は一般に非可逆方式であり、完全には圧縮前の表示画像信号Ａに戻らないので表示画像信号Ａ’として区別する。差分回路１５では、認識用画像信号Ｂと表示画像信号Ａ’との差分信号Ｃ（＝Ｂ−Ａ’）が生成され、伝送処理回路１６から伝送路２ａへ送出される。なお、ここでの差分信号Ｃとして（Ｂ−Ａ）ではなく（Ｂ−Ａ’）を用いたのは、次の画像認識処理装置３において認識用画像信号Ｂを完全に復元させるためである。
【００２２】
画像認識処理装置３では、伝送路２ａから入力した表示画像圧縮信号Ａｏは、受信処理回路３１を経由して画像伸張回路３５にて画像伸張がなされる。この場合の伸張後の表示画像信号も、完全には圧縮前の表示画像信号Ａに戻らないので表示画像信号Ａ’として区別する。表示画像信号Ａ’は表示処理回路３４へ送られる。また、伝送路２ａから入力した差分信号Ｃは、受信処理回路３１を経由し加算回路３２にて画像伸張回路３５からの表示画像信号Ａ’と加算処理されて、認識用画像信号Ｂが復元される。加算の際、差分信号Ｃ＝Ｂ−Ａ’であるので、表示画像信号Ａ’は打ち消され完全に元の認識用画像信号Ｂが復元される。画像認識処理回路３３では認識用画像信号Ｂを用いて画像認識を行い、その認識結果Ｄが表示処理回路３４に出力される。表示処理回路３４は、表示画像信号Ａ’と認識結果Ｄを合成して、表示装置４に表示させる。
【００２３】
本実施例によれば、表示画像信号Ａを圧縮して表示画像圧縮信号Ａｏとして伝送する。また、実施例１と同様に認識用画像信号Ｂの代わりに表示画像信号Ａ’との差分信号Ｃ（＝Ｂ−Ａ’）を伝送する。これより、伝送するデータ量をさらに小さくし、伝送路２ａ〜２ｄの使用帯域幅を削減できる。あるいは、画像認識処理装置３の受信処理回路３１の受信能力を一定としたときに、接続するカメラの台数を増やすことが可能となる。本実施例では、画像圧縮伸張処理での非可逆性を考慮し、カメラ１ａ側にも画像伸張回路１８を設けて差分信号Ｃを生成している。その結果、画像認識処理装置３の画像認識回路３３では、欠落のない認識用画像信号Ｂを用いて認識処理を行い、実施例１（図１）と同等の認識結果Ｄを得ることができる。
【実施例３】
【００２４】
図３は、本発明による画像認識表示システムの第３の実施例を示すブロック図である。前記実施例１（図１）や実施例２（図２）と同じ構成要素については、同一の符号を用いている。本実施例では実施例２（図２）の構成に対し、各カメラ１ａ〜１ｄにおいては差分信号Ｃを圧縮する差分圧縮回路１９を、また画像認識処理装置３においては圧縮した差分信号Ｃｏを伸張する差分伸張回路３６を追加している。ここでの画像圧縮伸張方式も、前記したＪＰＥＧやＭＰＥＧ方式を使用することができる。
【００２５】
次に図３における画像信号の流れを説明する。カメラ１ａにおいて、撮像素子１２で撮影された画像信号は、表示画像信号処理回路１３にて表示画像信号Ａとなり、さらに画像圧縮回路１７にて表示画像圧縮信号Ａｏに変換されて、伝送処理回路１６から伝送路２ａへ送出される。同時に撮像素子１２の出力から、認識用画像信号処理回路１４にて認識用画像信号Ｂが生成され、差分回路１５にて画像伸張回路１８からの表示画像信号Ａ’との差分信号Ｃ（＝Ｂ−Ａ’）が生成される。差分信号Ｃは差分圧縮回路１９にて圧縮処理され、差分圧縮信号Ｃｏに変換されて伝送処理回路１６から伝送路２ａへ送出される。
【００２６】
画像認識処理装置３では、伝送路２ａから入力した表示画像圧縮信号Ａｏは、受信処理回路３１を経由して画像伸張回路３５にて画像伸張がなされ、表示画像信号Ａ’に戻されて表示処理回路３４へ送られる。また、伝送路２ａから入力した差分圧縮信号Ｃｏは、受信処理回路３１を経由して差分伸張回路３６にて伸張され差分信号Ｃ’に戻される。差分信号Ｃ’は加算回路３２にて表示画像信号Ａ’と加算処理されて、認識用画像信号Ｂ’が復元される（すなわち、Ｂ’＝Ｃ’＋Ａ’）。この場合の差分信号も、圧縮伸張処理に伴う非可逆性のため完全には圧縮前の差分信号Ｃに戻らないので、差分信号Ｃ’として区別する。またその影響で、認識用画像信号についても認識用画像信号Ｂ’として区別する。画像認識処理回路３３では認識用画像信号Ｂ’を用いて画像認識を行い、その認識結果Ｄ’が表示処理回路３４に出力される。表示処理回路３４は、表示画像信号Ａ’と認識結果Ｄ’を合成して、表示装置４に表示させる。
【００２７】
本実施例によれば、実施例２のように表示画像信号Ａを圧縮して表示画像圧縮信号Ａｏに変換するだけでなく、差分信号Ｃについても圧縮して差分圧縮信号Ｃｏに変換して伝送する。これより、伝送するデータ量をより一層小さくし、伝送路２ａ〜２ｄの使用帯域幅を削減できる。あるいは、画像認識処理装置３の受信処理回路３１の受信能力を一定としたときに、接続するカメラの台数を増やすことが可能となる。
【００２８】
図４は、前記各実施例において使用される伝送帯域幅を示す模式図である。伝送路２ａ〜２ｄには、表示画像信号Ａと認識用画像信号Ｂのデータが伝送されるが、それぞれの使用帯域幅を比較して示す。従来例は、表示画像信号Ａと認識用画像信号Ｂとを差分や圧縮などの処理を行わずにそのまま伝送した場合であり、双方とも同等の伝送帯域幅を必要とする。
【００２９】
これに対し実施例１（図１の構成）では、認識用画像信号Ｂについては表示画像信号Ａとの差分信号Ｃに置き換えて伝送する。このように差分信号Ｃに置き換えることで、認識用画像信号Ｂの使用帯域幅を小さくすることができる。実施例２（図２の構成）では、実施例１の構成に対し、さらに表示画像信号Ａを圧縮して表示画像圧縮信号Ａｏに変換して伝送する。画像信号を圧縮処理することで、大幅に帯域幅を削減することができる。実施例３（図３の構成）では、実施例２の構成に対し、さらに差分信号Ｃを圧縮して差分圧縮信号Ｃｏに変換して伝送する。差分信号を圧縮処理することで、これらの実施例の中で最も使用帯域幅を削減することができる。また、各実施例での伝送路２ａ〜２ｄの使用帯域幅が削減する結果、画像認識処理装置３に接続するカメラの台数を増やすことが可能となる。
【００３０】
以上本発明に係るいくつかの実施例を述べたが、本発明は上記した各実施例に限定されるものではなく、様々な変形例が含まれる。例えば、実施例１のカメラ１ａの差分回路１５では、認識用画像信号Ｂから表示画像信号Ａを引いて差分信号Ｃ（＝Ｂ−Ａ）を生成し、これを認識用画像信号Ｂに置き換えて伝送路２ａを伝送する構成とした。その変形例として、差分回路では表示画像信号Ａから認識用画像信号Ｂを引いて差分信号Ｃ（＝Ａ−Ｂ）を生成し、これを表示画像信号Ａに置き換えて伝送する構成としても良い。すなわち、伝送路２ａには認識用画像信号Ｂと差分信号Ｃを伝送する。その場合には画像認識処理装置３は、伝送された認識用画像信号Ｂと差分信号Ｃを加算回路にて加算処理し、表示画像信号Ａを復元する構成とする。実施例２、３においても同様の変形が可能である。
【００３１】
また実施例２、３では、画像圧縮伸張方式が非可逆方式であることを前提とし、カメラ１ａ内に画像伸張回路１８を設けたが、画像圧縮伸張方式が可逆方式であれば画像伸張回路１８を省略し、表示画像信号処理回路１３の出力である表示画像信号Ａを差分回路１５に直接入力する構成とすることができる。
【００３２】
上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００３３】
また、上記の各構成は、それらの一部又は全部がハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。
【符号の説明】
【００３４】
１ａ〜１ｄ…カメラ、
２ａ〜２ｄ…伝送路、
３…画像認識処理装置、
４…表示装置、
１１…レンズ、
１２…撮像素子、
１３…表示画像信号処理回路、
１４…認識用画像信号処理回路、
１５…差分回路、
１６…伝送処理回路、
１７…画像圧縮回路、
１８，３５…画像伸張回路、
１９…差分圧縮回路、
３１…受信処理回路、
３２…加算回路、
３３…画像認識処理回路、
３４…表示処理回路、
３６…差分伸張回路。
【技術分野】
【０００１】
本発明は、カメラで撮影した画像を画像認識処理装置へ伝送して特定の被写体を認識して表示する画像認識表示システムに関する。
【背景技術】
【０００２】
カメラ（撮像装置）で撮影した画像を画像認識処理装置へ伝送し、特定の被写体を認識して表示する場合、撮影した画像信号を効率良く伝送する必要がある。これに関連する技術として、特許文献１には、画像処理に必要な時間を確保しつつ、全体の遅延時間の増大を防止することを目的とする撮像システムが開示される。この撮像システムにおいて、カメラは、撮影した画像から画像処理に用いる画像特徴情報を生成する映像処理回路と、画像特徴情報を含む画像情報を中央制御装置に伝送する伝送処理回路とを備え、中央制御装置は、伝送された画像特徴情報を用いて特定被写体の抽出や認識の画像処理を行う画像処理回路を備える。ここに伝送処理回路は中央制御装置に画像情報を伝送するとき、画像処理に用いる画像特徴情報を当該映像フレーム内で先行して伝送するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２６７９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像認識表示システムの主な機能として、特定の被写体（人物や物体）を撮影して認識を行う機能と、撮影した結果や認識した結果を表示する機能がある。その際、撮影した画像に特定の被写体が含まれている場合、それらを精度よく認識するとともに、高画質に表示できることが好ましい。
【０００５】
前記特許文献１では、被写体認識に用いる画像特徴情報として撮影画像の縮小画像または輝度信号を伝送することが記載されている。しかしながら、縮小画像や輝度信号などの画像特徴情報では情報量が少ないため、画像認識の精度に限界がある。一方、高精度に画像認識を行うために画像特徴情報のデータ量を増大させると、伝送路には画像信号と増大した画像特徴情報を伝送せねばならず、伝送路の使用帯域幅が増大するという課題が生じる。
【０００６】
本発明の目的は、伝送路の使用帯域幅を削減しつつ高精度の画像認識を行う画像認識表示システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、カメラで撮影した画像を画像認識処理装置に伝送し、特定の被写体を画像認識して表示する画像認識表示システムにおいて、カメラは、被写体を撮影して電気信号に変換する撮像素子と、撮像素子の信号から画像表示に用いる表示画像信号を生成する表示画像信号処理回路と、撮像素子の信号から画像認識に用いる認識用画像信号を生成する認識用画像信号処理回路と、表示画像信号と認識用画像信号の差分信号を生成する差分回路と、表示画像信号と認識用画像信号のいずれか一方の画像信号と差分信号を伝送路を介して画像認識処理装置に伝送する伝送処理回路とを備える。画像認識処理装置は、カメラから伝送路を介して伝送された一方の画像信号と差分信号を受信する受信処理回路と、受信した一方の画像信号と差分信号を加算して表示画像信号と認識用画像信号のうち伝送されなかった他方の画像信号を復元する加算回路と、受信または復元された認識用画像信号を用いて特定の被写体の認識処理を行う画像認識処理回路と、受信または復元された表示画像信号と認識処理の結果を合成して表示装置へ出力する表示処理回路とを備える。
【０００８】
さらにカメラは、表示画像信号と認識用画像信号のうち一方の画像信号を圧縮して画像圧縮信号に変換する画像圧縮回路を有し、伝送処理回路から一方の画像信号に代えて画像圧縮信号を伝送し、画像認識処理装置は、受信処理回路で受信した画像圧縮信号を伸張して一方の画像信号に戻す画像伸張回路を有する。
【発明の効果】
【０００９】
本発明によれば、伝送路の使用帯域幅を削減しつつ高精度の画像認識を行うことのできる画像認識表示システムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】画像認識表示システムの第１の実施例を示すブロック図。
【図２】画像認識表示システムの第２の実施例を示すブロック図。
【図３】画像認識表示システムの第３の実施例を示すブロック図。
【図４】各実施例１〜３において使用される伝送帯域幅を示す模式図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面を用いて説明する。
【実施例１】
【００１２】
図１は、本発明による画像認識表示システムの第１の実施例を示すブロック図である。本実施例の画像認識表示システムは、画像を撮影する複数のカメラ（撮像装置）１ａ〜１ｄ、カメラからの信号を伝送するネットワークなどの伝送路２ａ〜２ｄ、カメラからの画像を認識し結果を表示させる画像認識処理装置３、及び画像を表示する表示装置４で構成される。画像認識処理装置３と表示装置４は一体構成としても良い。
【００１３】
カメラ（撮像装置）１ａにおいて、１１は画像を撮影するためのレンズ、１２はレンズ１１を介した光を電気信号に変換する撮像素子、１３は撮像素子１２の出力を人間が視認するために好適な信号（以下、「表示画像信号」と呼ぶ）へ処理する表示画像信号処理回路、１４は撮像素子１２の信号にパターンマッチングなどを行って画像認識を行うのに好適な信号（以下、「認識用画像信号」と呼ぶ）へ処理する認識用画像信号処理回路、１５は認識用画像信号Ｂと表示画像信号Ａの差分信号Ｃ（＝Ｂ−Ａ）を生成する差分回路、１６は表示画像信号Ａと差分信号Ｃを多重化して伝送路２ａ上に送出する伝送処理回路である。他のカメラ１ｂ〜１ｄも同様の構成である。
【００１４】
画像認識処理装置３において、３１は各カメラ１ａ〜１ｄからの伝送信号（表示画像信号Ａと差分信号Ｃ）を受信し、後述の加算回路３２と表示処理回路３４へ信号を振り分ける受信処理回路、３２は表示画像信号Ａと差分信号Ｃを加算して画像認識のための認識用画像信号Ｂを復元するための加算回路、３３は認識用画像信号Ｂを用いてパターンマッチングなどを行い特定の物体や人物の認識を行う画像認識処理回路、３４は表示する画像信号と認識結果を合成して表示装置４へ出力する表示処理回路である。
【００１５】
表示装置４では、表示処理回路３４から送られる画像信号を表示し、その一例を図示している。一般的に表示装置４での表示画像は、撮影された画像を人間の目で見て美しく見えるように処理するものである。よって、表示画像信号処理回路１３では、画像中の雑音除去や輪郭の処理などを行ない、見た目の原画像に印象が近くなるように処理する。これに対し認識用画像信号処理回路１４では、画像認識時の認識率を向上させるため、比較するパターンに照合しやすいように画像の濃淡処理などを行うものである。
【００１６】
次に図１における画像信号の流れを説明する。カメラ１ａにおいて、レンズ１１を介して撮像素子１２で撮影された画像信号は、表示画像信号処理回路１３にて人間が視認するために好適な表示画像信号Ａに処理され、伝送処理回路１６から伝送路２ａへ送出される。同時に撮像素子１２の出力から、認識用画像信号処理回路１４にて画像認識を行うに好適な認識用画像信号Ｂが生成され、さらに差分回路１５にて表示画像信号Ａとの差分信号Ｃが生成され、伝送処理回路１６から伝送路２ａへ送出される。
【００１７】
画像認識処理装置３では、伝送路２ａから入力した表示画像信号Ａは、受信処理回路３１を経由し表示処理回路３４へ送られる。また、伝送路２ａから入力した差分信号Ｃは、受信処理回路３１を経由し加算回路３２にて表示画像信号Ａと加算処理されて認識用画像信号Ｂが復元される。認識用画像信号Ｂは画像認識処理回路３３にてパターンマッチングなどの画像認識に用いられる。画像認識では、例えば画像中の所定の物体の認識が行われ、その認識結果Ｄが表示処理回路３４に出力される。
【００１８】
表示処理回路３４は、表示画像信号Ａと、画像認識処理回路３３からの認識結果Ｄを合成して、表示装置４に表示させる。例えば表示装置４の画面において、カメラ１ａ〜１ｄにて映し出された道路の画像中に、歩行者４１を認識した結果を示す認識枠４３と、走行車両４２を認識した結果を示す認識枠４４を合成して表示している。
【００１９】
本実施例によれば、表示画像信号と認識用画像信号をカメラ１ａ〜１ｄから画像認識処理装置３へ伝送する際、表示画像信号Ａと認識用画像信号Ｂをそのまま伝送するのではなく、認識用画像信号Ｂの代わりに両者の差分信号Ｃ（＝Ｂ−Ａ）を伝送する。これより伝送するデータ量を小さくし、伝送路２ａ〜２ｄの使用帯域幅を削減できる。あるいは、画像認識処理装置３の受信処理回路３１の受信能力（トータル受信データ量）を一定としたときに、接続するカメラの台数を増やすことが可能となる。画像認識処理装置３では完全に元の認識用画像信号Ｂに戻して認識処理できるので、画像認識の精度が維持され、また表示装置４では表示画像信号Ａを用いて高画質で画像表示が可能となる。なお、本実施例に用いた差分信号Ｃは、用途に応じて輝度信号のみ、あるいは色信号のみとしてもよく、特に限定するものではない。また、本実施例において接続するカメラ１ａ〜１ｄの台数は任意であり、１台としても良いことは言うまでもない。
【実施例２】
【００２０】
図２は、本発明による画像認識表示システムの第２の実施例を示すブロック図である。前記実施例１（図１）と同じ構成要素については、同一の符号を用いている。本実施例では実施例１（図１）の構成に対し、各カメラ１ａ〜１ｄにおいては画像信号を圧縮する画像圧縮回路１７と圧縮した画像を伸張する画像伸張回路１８を、また画像認識処理装置３においては圧縮した画像を伸張する画像伸張回路３５を追加している。ここに使用される画像圧縮伸張方式は、画像圧縮効率の良い例えばＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）方式が好ましい。
【００２１】
次に図２における画像信号の流れを説明する。カメラ１ａにおいて、レンズ１１を介して撮像素子１２で撮影された画像信号は、表示画像信号処理回路１３にて表示画像信号Ａとなり、さらに画像圧縮回路１７にて圧縮処理がなされる。その結果、時間当たりデータ量の小さい表示画像圧縮信号Ａｏに変換されて、伝送処理回路１６から伝送路２ａへ送出される。同時に撮像素子１２の出力から、認識用画像信号処理回路１４にて認識用画像信号Ｂが生成される。一方、画像圧縮回路１７で圧縮された表示画像圧縮信号Ａｏは、画像伸張回路１８にて伸張処理され表示画像信号Ａ’に戻される。ここに前記した画像圧縮伸張方式は一般に非可逆方式であり、完全には圧縮前の表示画像信号Ａに戻らないので表示画像信号Ａ’として区別する。差分回路１５では、認識用画像信号Ｂと表示画像信号Ａ’との差分信号Ｃ（＝Ｂ−Ａ’）が生成され、伝送処理回路１６から伝送路２ａへ送出される。なお、ここでの差分信号Ｃとして（Ｂ−Ａ）ではなく（Ｂ−Ａ’）を用いたのは、次の画像認識処理装置３において認識用画像信号Ｂを完全に復元させるためである。
【００２２】
画像認識処理装置３では、伝送路２ａから入力した表示画像圧縮信号Ａｏは、受信処理回路３１を経由して画像伸張回路３５にて画像伸張がなされる。この場合の伸張後の表示画像信号も、完全には圧縮前の表示画像信号Ａに戻らないので表示画像信号Ａ’として区別する。表示画像信号Ａ’は表示処理回路３４へ送られる。また、伝送路２ａから入力した差分信号Ｃは、受信処理回路３１を経由し加算回路３２にて画像伸張回路３５からの表示画像信号Ａ’と加算処理されて、認識用画像信号Ｂが復元される。加算の際、差分信号Ｃ＝Ｂ−Ａ’であるので、表示画像信号Ａ’は打ち消され完全に元の認識用画像信号Ｂが復元される。画像認識処理回路３３では認識用画像信号Ｂを用いて画像認識を行い、その認識結果Ｄが表示処理回路３４に出力される。表示処理回路３４は、表示画像信号Ａ’と認識結果Ｄを合成して、表示装置４に表示させる。
【００２３】
本実施例によれば、表示画像信号Ａを圧縮して表示画像圧縮信号Ａｏとして伝送する。また、実施例１と同様に認識用画像信号Ｂの代わりに表示画像信号Ａ’との差分信号Ｃ（＝Ｂ−Ａ’）を伝送する。これより、伝送するデータ量をさらに小さくし、伝送路２ａ〜２ｄの使用帯域幅を削減できる。あるいは、画像認識処理装置３の受信処理回路３１の受信能力を一定としたときに、接続するカメラの台数を増やすことが可能となる。本実施例では、画像圧縮伸張処理での非可逆性を考慮し、カメラ１ａ側にも画像伸張回路１８を設けて差分信号Ｃを生成している。その結果、画像認識処理装置３の画像認識回路３３では、欠落のない認識用画像信号Ｂを用いて認識処理を行い、実施例１（図１）と同等の認識結果Ｄを得ることができる。
【実施例３】
【００２４】
図３は、本発明による画像認識表示システムの第３の実施例を示すブロック図である。前記実施例１（図１）や実施例２（図２）と同じ構成要素については、同一の符号を用いている。本実施例では実施例２（図２）の構成に対し、各カメラ１ａ〜１ｄにおいては差分信号Ｃを圧縮する差分圧縮回路１９を、また画像認識処理装置３においては圧縮した差分信号Ｃｏを伸張する差分伸張回路３６を追加している。ここでの画像圧縮伸張方式も、前記したＪＰＥＧやＭＰＥＧ方式を使用することができる。
【００２５】
次に図３における画像信号の流れを説明する。カメラ１ａにおいて、撮像素子１２で撮影された画像信号は、表示画像信号処理回路１３にて表示画像信号Ａとなり、さらに画像圧縮回路１７にて表示画像圧縮信号Ａｏに変換されて、伝送処理回路１６から伝送路２ａへ送出される。同時に撮像素子１２の出力から、認識用画像信号処理回路１４にて認識用画像信号Ｂが生成され、差分回路１５にて画像伸張回路１８からの表示画像信号Ａ’との差分信号Ｃ（＝Ｂ−Ａ’）が生成される。差分信号Ｃは差分圧縮回路１９にて圧縮処理され、差分圧縮信号Ｃｏに変換されて伝送処理回路１６から伝送路２ａへ送出される。
【００２６】
画像認識処理装置３では、伝送路２ａから入力した表示画像圧縮信号Ａｏは、受信処理回路３１を経由して画像伸張回路３５にて画像伸張がなされ、表示画像信号Ａ’に戻されて表示処理回路３４へ送られる。また、伝送路２ａから入力した差分圧縮信号Ｃｏは、受信処理回路３１を経由して差分伸張回路３６にて伸張され差分信号Ｃ’に戻される。差分信号Ｃ’は加算回路３２にて表示画像信号Ａ’と加算処理されて、認識用画像信号Ｂ’が復元される（すなわち、Ｂ’＝Ｃ’＋Ａ’）。この場合の差分信号も、圧縮伸張処理に伴う非可逆性のため完全には圧縮前の差分信号Ｃに戻らないので、差分信号Ｃ’として区別する。またその影響で、認識用画像信号についても認識用画像信号Ｂ’として区別する。画像認識処理回路３３では認識用画像信号Ｂ’を用いて画像認識を行い、その認識結果Ｄ’が表示処理回路３４に出力される。表示処理回路３４は、表示画像信号Ａ’と認識結果Ｄ’を合成して、表示装置４に表示させる。
【００２７】
本実施例によれば、実施例２のように表示画像信号Ａを圧縮して表示画像圧縮信号Ａｏに変換するだけでなく、差分信号Ｃについても圧縮して差分圧縮信号Ｃｏに変換して伝送する。これより、伝送するデータ量をより一層小さくし、伝送路２ａ〜２ｄの使用帯域幅を削減できる。あるいは、画像認識処理装置３の受信処理回路３１の受信能力を一定としたときに、接続するカメラの台数を増やすことが可能となる。
【００２８】
図４は、前記各実施例において使用される伝送帯域幅を示す模式図である。伝送路２ａ〜２ｄには、表示画像信号Ａと認識用画像信号Ｂのデータが伝送されるが、それぞれの使用帯域幅を比較して示す。従来例は、表示画像信号Ａと認識用画像信号Ｂとを差分や圧縮などの処理を行わずにそのまま伝送した場合であり、双方とも同等の伝送帯域幅を必要とする。
【００２９】
これに対し実施例１（図１の構成）では、認識用画像信号Ｂについては表示画像信号Ａとの差分信号Ｃに置き換えて伝送する。このように差分信号Ｃに置き換えることで、認識用画像信号Ｂの使用帯域幅を小さくすることができる。実施例２（図２の構成）では、実施例１の構成に対し、さらに表示画像信号Ａを圧縮して表示画像圧縮信号Ａｏに変換して伝送する。画像信号を圧縮処理することで、大幅に帯域幅を削減することができる。実施例３（図３の構成）では、実施例２の構成に対し、さらに差分信号Ｃを圧縮して差分圧縮信号Ｃｏに変換して伝送する。差分信号を圧縮処理することで、これらの実施例の中で最も使用帯域幅を削減することができる。また、各実施例での伝送路２ａ〜２ｄの使用帯域幅が削減する結果、画像認識処理装置３に接続するカメラの台数を増やすことが可能となる。
【００３０】
以上本発明に係るいくつかの実施例を述べたが、本発明は上記した各実施例に限定されるものではなく、様々な変形例が含まれる。例えば、実施例１のカメラ１ａの差分回路１５では、認識用画像信号Ｂから表示画像信号Ａを引いて差分信号Ｃ（＝Ｂ−Ａ）を生成し、これを認識用画像信号Ｂに置き換えて伝送路２ａを伝送する構成とした。その変形例として、差分回路では表示画像信号Ａから認識用画像信号Ｂを引いて差分信号Ｃ（＝Ａ−Ｂ）を生成し、これを表示画像信号Ａに置き換えて伝送する構成としても良い。すなわち、伝送路２ａには認識用画像信号Ｂと差分信号Ｃを伝送する。その場合には画像認識処理装置３は、伝送された認識用画像信号Ｂと差分信号Ｃを加算回路にて加算処理し、表示画像信号Ａを復元する構成とする。実施例２、３においても同様の変形が可能である。
【００３１】
また実施例２、３では、画像圧縮伸張方式が非可逆方式であることを前提とし、カメラ１ａ内に画像伸張回路１８を設けたが、画像圧縮伸張方式が可逆方式であれば画像伸張回路１８を省略し、表示画像信号処理回路１３の出力である表示画像信号Ａを差分回路１５に直接入力する構成とすることができる。
【００３２】
上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００３３】
また、上記の各構成は、それらの一部又は全部がハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。
【符号の説明】
【００３４】
１ａ〜１ｄ…カメラ、
２ａ〜２ｄ…伝送路、
３…画像認識処理装置、
４…表示装置、
１１…レンズ、
１２…撮像素子、
１３…表示画像信号処理回路、
１４…認識用画像信号処理回路、
１５…差分回路、
１６…伝送処理回路、
１７…画像圧縮回路、
１８，３５…画像伸張回路、
１９…差分圧縮回路、
３１…受信処理回路、
３２…加算回路、
３３…画像認識処理回路、
３４…表示処理回路、
３６…差分伸張回路。
【特許請求の範囲】
【請求項１】
カメラで撮影した画像を画像認識処理装置に伝送し、特定の被写体を画像認識して表示する画像認識表示システムにおいて、
前記カメラは、
被写体を撮影して電気信号に変換する撮像素子と、
該撮像素子の信号から画像表示に用いる表示画像信号を生成する表示画像信号処理回路と、
該撮像素子の信号から画像認識に用いる認識用画像信号を生成する認識用画像信号処理回路と、
前記表示画像信号と前記認識用画像信号の差分信号を生成する差分回路と、
前記表示画像信号と前記認識用画像信号のいずれか一方の画像信号と前記差分信号を伝送路を介して前記画像認識処理装置に伝送する伝送処理回路とを備え、
前記画像認識処理装置は、
前記カメラから前記伝送路を介して伝送された前記一方の画像信号と前記差分信号を受信する受信処理回路と、
受信した前記一方の画像信号と前記差分信号を加算して前記表示画像信号と前記認識用画像信号のうち伝送されなかった他方の画像信号を復元する加算回路と、
受信または復元された前記認識用画像信号を用いて特定の被写体の認識処理を行う画像認識処理回路と、
受信または復元された前記表示画像信号と前記認識処理の結果を合成して表示装置へ出力する表示処理回路とを備えることを特徴とする画像認識表示システム。
【請求項２】
請求項１に記載の画像認識表示システムにおいて、
前記カメラは、前記表示画像信号と前記認識用画像信号のうち前記一方の画像信号を圧縮して画像圧縮信号に変換する画像圧縮回路を有し、前記伝送処理回路から前記一方の画像信号に代えて該画像圧縮信号を伝送し、
前記画像認識処理装置は、前記受信処理回路で受信した前記画像圧縮信号を伸張して前記一方の画像信号に戻す画像伸張回路を有することを特徴とする画像認識表示システム。
【請求項３】
請求項２に記載の画像認識表示システムにおいて、
前記カメラは、前記画像圧縮回路で変換した前記画像圧縮信号を伸張して前記一方の画像信号に戻す画像伸張回路を有し、前記差分回路は、該画像伸張回路で戻した前記一方の画像信号を用いて前記差分信号を生成することを特徴とする画像認識表示システム。
【請求項４】
請求項２または３に記載の画像認識表示システムにおいて、
前記カメラは、前記差分信号を圧縮して差分圧縮信号に変換する差分圧縮回路を有し、前記伝送処理回路から該差分圧縮信号を伝送し、
前記画像認識処理装置は、前記受信処理回路で受信した前記差分圧縮信号を伸張して前記差分信号に戻す差分伸張回路を有することを特徴とする画像認識表示システム。
【請求項５】
画像を撮影して撮影した画像を画像認識する画像認識処理装置に伝送するカメラにおいて、
被写体を撮影して電気信号に変換する撮像素子と、
該撮像素子の信号から画像表示に用いる表示画像信号を生成する表示画像信号処理回路と、
該撮像素子の信号から画像認識に用いる認識用画像信号を生成する認識用画像信号処理回路と、
前記表示画像信号と前記認識用画像信号の差分信号を生成する差分回路と、
前記表示画像信号と前記認識用画像信号のいずれか一方の画像信号と前記差分信号を伝送路を介して前記画像認識処理装置に伝送する伝送処理回路とを備えることを特徴とするカメラ。
【請求項６】
請求項５に記載のカメラにおいて、
前記表示画像信号と前記認識用画像信号のうち前記一方の画像信号を圧縮して画像圧縮信号に変換する画像圧縮回路を有し、前記伝送処理回路から前記一方の画像信号に代えて該画像圧縮信号を伝送することを特徴とするカメラ。
【請求項１】
カメラで撮影した画像を画像認識処理装置に伝送し、特定の被写体を画像認識して表示する画像認識表示システムにおいて、
前記カメラは、
被写体を撮影して電気信号に変換する撮像素子と、
該撮像素子の信号から画像表示に用いる表示画像信号を生成する表示画像信号処理回路と、
該撮像素子の信号から画像認識に用いる認識用画像信号を生成する認識用画像信号処理回路と、
前記表示画像信号と前記認識用画像信号の差分信号を生成する差分回路と、
前記表示画像信号と前記認識用画像信号のいずれか一方の画像信号と前記差分信号を伝送路を介して前記画像認識処理装置に伝送する伝送処理回路とを備え、
前記画像認識処理装置は、
前記カメラから前記伝送路を介して伝送された前記一方の画像信号と前記差分信号を受信する受信処理回路と、
受信した前記一方の画像信号と前記差分信号を加算して前記表示画像信号と前記認識用画像信号のうち伝送されなかった他方の画像信号を復元する加算回路と、
受信または復元された前記認識用画像信号を用いて特定の被写体の認識処理を行う画像認識処理回路と、
受信または復元された前記表示画像信号と前記認識処理の結果を合成して表示装置へ出力する表示処理回路とを備えることを特徴とする画像認識表示システム。
【請求項２】
請求項１に記載の画像認識表示システムにおいて、
前記カメラは、前記表示画像信号と前記認識用画像信号のうち前記一方の画像信号を圧縮して画像圧縮信号に変換する画像圧縮回路を有し、前記伝送処理回路から前記一方の画像信号に代えて該画像圧縮信号を伝送し、
前記画像認識処理装置は、前記受信処理回路で受信した前記画像圧縮信号を伸張して前記一方の画像信号に戻す画像伸張回路を有することを特徴とする画像認識表示システム。
【請求項３】
請求項２に記載の画像認識表示システムにおいて、
前記カメラは、前記画像圧縮回路で変換した前記画像圧縮信号を伸張して前記一方の画像信号に戻す画像伸張回路を有し、前記差分回路は、該画像伸張回路で戻した前記一方の画像信号を用いて前記差分信号を生成することを特徴とする画像認識表示システム。
【請求項４】
請求項２または３に記載の画像認識表示システムにおいて、
前記カメラは、前記差分信号を圧縮して差分圧縮信号に変換する差分圧縮回路を有し、前記伝送処理回路から該差分圧縮信号を伝送し、
前記画像認識処理装置は、前記受信処理回路で受信した前記差分圧縮信号を伸張して前記差分信号に戻す差分伸張回路を有することを特徴とする画像認識表示システム。
【請求項５】
画像を撮影して撮影した画像を画像認識する画像認識処理装置に伝送するカメラにおいて、
被写体を撮影して電気信号に変換する撮像素子と、
該撮像素子の信号から画像表示に用いる表示画像信号を生成する表示画像信号処理回路と、
該撮像素子の信号から画像認識に用いる認識用画像信号を生成する認識用画像信号処理回路と、
前記表示画像信号と前記認識用画像信号の差分信号を生成する差分回路と、
前記表示画像信号と前記認識用画像信号のいずれか一方の画像信号と前記差分信号を伝送路を介して前記画像認識処理装置に伝送する伝送処理回路とを備えることを特徴とするカメラ。
【請求項６】
請求項５に記載のカメラにおいて、
前記表示画像信号と前記認識用画像信号のうち前記一方の画像信号を圧縮して画像圧縮信号に変換する画像圧縮回路を有し、前記伝送処理回路から前記一方の画像信号に代えて該画像圧縮信号を伝送することを特徴とするカメラ。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１８６６８５（Ｐ２０１２−１８６６８５Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−４８８３９（Ｐ２０１１−４８８３９）
【出願日】平成２３年３月７日（２０１１．３．７）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月７日（２０１１．３．７）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
[ Back to top ]