画像送信装置および画像受信装置
【課題】データ通信回線の伝送容量が限られている場合でも、画像データを劣化の少ない状態で送信し、受信側では元の入力画像データを劣化のない状態で再現できるようにする。
【解決手段】画像送信装置１０における符号化部１２は、画像取得部１１で取得した画像データを構成する複数の色成分の一部を符号化対象の色成分として選択して符号化し、選択色成分をサイクリックに入れ替える。データ転送部１３は、選択色成分の符号化データをネットワーク３０に転送する。画像受信装置２０におけるデータ受信部２１は、選択色成分の符号化データをネットワーク３０を介して受信し、復号化部２２は受信された選択色成分の符号化データを復号化し、蓄積部２３は選択色成分の復号化データを蓄積する。合成部２４は、復号化された選択色成分の画像データと、色成分を異にする状態ですでに蓄積部に蓄積されている復号化された選択色成分の画像データとを合成して画像を再生する。
【解決手段】画像送信装置１０における符号化部１２は、画像取得部１１で取得した画像データを構成する複数の色成分の一部を符号化対象の色成分として選択して符号化し、選択色成分をサイクリックに入れ替える。データ転送部１３は、選択色成分の符号化データをネットワーク３０に転送する。画像受信装置２０におけるデータ受信部２１は、選択色成分の符号化データをネットワーク３０を介して受信し、復号化部２２は受信された選択色成分の符号化データを復号化し、蓄積部２３は選択色成分の復号化データを蓄積する。合成部２４は、復号化された選択色成分の画像データと、色成分を異にする状態ですでに蓄積部に蓄積されている復号化された選択色成分の画像データとを合成して画像を再生する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークなどの伝送容量が限られたデータ通信回線に接続された機器間で動画像を送受信するシステムにおける画像送信装置および画像受信装置に関する。
【背景技術】
【０００２】
従来、帯域の制限されたネットワークを介して画像データを送信する場合に、画像の注目領域の解像度を高く設定する一方、その他の領域の解像度を低く設定して画像データを符号化することにより、情報量を削減しつつ、所望の画質を確保するシステムが開示されている（例えば特許文献１参照）。
【特許文献１】特開平７−２８８８０６号公報（第５−１０頁、第１−１０図）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
近年、撮像素子の高画素化が進み、その結果として画像データのデータ量は益々増加している。このような状況下、ネットワークカメラなどネットワーク上に画像データを送信する装置において、画質劣化を最小限にとどめて動画像をネットワーク送信する技術が求められている。特許文献１のシステムでは、注目領域の解像度を高く設定した場合、その他の領域の解像度が著しく低く設定されてしまい、受信装置で画像を再生した場合に、画像の劣化が激しく内容を判別できない領域を含んでいる可能性がある。
【課題を解決するための手段】
【０００４】
本発明による画像送信装置は、
外部からの入力画像データを取得する画像取得部と、
前記画像取得部で取得した画像データの色情報を構成する複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを所定の方式で符号化するとともに、前記選択色成分をサイクリックに入れ替える符号化部と、
前記符号化部で符号化された選択色成分の画像データをデータ通信回線に転送するデータ転送部とを備えたものである。
【０００５】
また、本発明による画像受信装置は、
サイクリックに入れ替えられて符号化された選択色成分の画像データをデータ通信回線を介して受信するデータ受信部と、
前記データ受信部で受信された選択色成分の画像データを復号化する復号化部と、
前記復号化部で復号化された選択色成分の画像データを蓄積する蓄積部と、
前記復号化部で復号化された選択色成分の画像データと、色成分を異にする状態ですでに前記蓄積部に蓄積されている復号化された選択色成分の画像データとを合成して画像を再生する合成部とを備えたものである。
【０００６】
上記構成の画像送信装置において、符号化部は、入力画像データにおける複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを所定の方式で符号化した上で、データ転送部に渡す。データ転送部は、符号化された選択色成分の画像データをデータ通信回線を介して画像受信装置に転送する。符号化部は、選択色成分をサイクリックに入れ替えながら、符号化を繰り返す。この方式においては、符号化部による符号化の対象およびデータ転送部によるデータ転送の対象として、画像取得部における入力画像データの一部の色成分に限定している。したがって、処理すべき画像データの情報量が削減され、符号化率が抑圧され、その結果、データ通信回線の伝送容量が限られている場合でも、画像データを劣化の少ない状態で送信することが可能となる。
【０００７】
また、上記構成の画像受信装置において、合成部は、復号化部で復号化された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積部に蓄積されている復号化された過去の選択色成分の画像データとを合成して、画像を再生する。このような蓄積部を付帯する合成部の機能により、データ通信回線を介して送られてくる画像データが、入力画像データにおける複数の色成分のうちから選択された一部に限定されたもの（選択色成分の画像データ）であっても、元の入力画像データを劣化のない状態で再現することが可能となる。
【０００８】
上記構成の画像送信装置において、前記符号化部は、前記画像取得部で取得する画像データにおける選択色成分をＹ成分、Ｕ成分、Ｙ成分、Ｖ成分、Ｙ成分、Ｕ成分のようにフレーム毎に入れ替えて繰り返し符号化するという態様がある。
【０００９】
また上記構成の画像送信装置において、前記符号化部は、前記画像取得部で取得する画像データにおける選択色成分をＹ成分、ＵＶ成分、Ｙ成分、ＵＶ成分のようにフレーム毎に入れ替えて繰り返し符号化するという態様がある。
【００１０】
また上記構成の画像送信装置において、さらに、色成分分割パターンを変更可能な分割パターン設定部を備え、前記符号化部は、前記分割パターン設定部で設定した色成分分割パターンに則って前記画像取得部で取得した画像データの色成分を選択し、選択色成分をフレーム毎に入れ替えながら選択色成分の画像データを符号化し、前記符号化された選択色成分の画像データに前記分割パターン設定部による色成分分割パターン情報を付加して前記データ転送部より転送するという態様がある。このように構成した場合、データ通信回線の混雑状況の変化に応じて、分割パターン設定部での色成分分割パターンを適応的に設定することが可能となる。すなわち、データ通信回線の混雑状況の変化にかかわらず、画像データを劣化の少ない状態で送信することが可能となる。
【００１１】
また上記構成の画像送信装置において、さらに、前記画像取得部で取得した画像データから再生される画像の動き量を検出する動き検出部を備え、前記符号化部は、前記動き検出部で検出した画像の動き量が所定の閾値よりも大きくなった場合には、画像データの色成分の選択に代えて画像データのすべての色成分の画像データを符号化するという態様がある。画像の動きが速いときは、解像度が低いことに起因して画質劣化が生じても、視覚上はあまり問題とならない。そこで、画像の動き量が所定の閾値より大きいときは、色成分の選択をやめ、すべての色成分の画像データの符号化に切り替える。その結果として、画像処理の速度アップを図ることが可能となる。
【００１２】
また上記構成の画像送信装置において、さらに、前記画像取得部で取得した画像データから再生される画像の動き量を検出する動き検出部を備え、前記符号化部は、選択色成分の画像データを符号化したデータと、前記動き検出部による前記符号化を行った色成分とは異なる色成分の動き量の情報とを前記データ転送部により転送し、フレーム毎に符号化する色成分を入れ替えるという態様がある。選択色成分の符号化データとともに符号化を行った色成分とは異なる色成分の動き量の情報をデータ転送部より転送することにより、画像受信装置側において画像の動き量に応じて過去の選択色成分の画像データの動き補償などを行うことが可能となる。
【００１３】
そして、画像受信装置について、
選択色成分の画像データを符号化したデータと前記符号化を行った色成分とは異なる色成分の動き量を受信するデータ受信部と、
前記データ受信部で受信された選択色成分の画像データを復号化する復号化部と、
前記復号化部で復号化された選択色成分の画像データを蓄積する蓄積部と、
前記蓄積部に蓄積されている過去の画像データに対して、送られてきた画像の動き量を用いて動き補償処理を行う動き補償部と、
前記蓄積部に蓄積されている過去の画像データおよび前記復号化部による復号化データを、前記画像の動き量に応じて所定のアルゴリズムで平滑化する平滑化部と、
前記平滑化部で平滑化された現在の選択色成分の復号化データと選択色成分の動き補償後のデータとを合成して画像を再生する合成部とを備えた構成の画像受信装置がある。
【００１４】
現在の選択色成分の画像データと過去の選択色成分の画像データとは時間的に差異が生じているため、動きのある被写体では合成時に色ずれが生じるおそれがある。動き補償部および平滑化部は、この色ずれを緩和するものである。
【発明の効果】
【００１５】
本発明によれば、ネットワークなどのデータ通信回線を介して画像信号を伝送する際に、符号化ならびに伝送の対象とする画像データを一部の色成分に限定するように構成しているので、符号化対象の情報量を低減して符号化率を抑圧することが可能であり、画像劣化の少ない画像を伝送することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施の形態について説明する。なお、以下で説明する実施の形態のそれぞれはあくまで一例であり、様々な改変を行うことが可能である。
【００１７】
（実施の形態１）
図１は本発明の実施の形態１の画像通信装置Ａ１の全体構成を示すブロック図である。
【００１８】
この実施の形態は、ネットワークなどの伝送容量が限られたデータ通信回線を介して、膨大なデータ量を持つ画像を伝送するシステムである。ネットワークに限らず、画像送信装置と画像受信装置を接続する様々なデータ通信回線に応用できる。
【００１９】
本実施の形態の特徴は、１フレーム内に画像データの一部の色成分のみ（選択色成分の画像データ）を送信し、受信側で受信した現在の選択色成分の画像データと過去の選択色成分の画像データとを合成することにある。これによって、画像の情報量を削減し画像の符号化率を抑圧することができ、限られた伝送容量での画像通信時にも劣化の少ない画像を伝送することができる。
【００２０】
図１に示すように、本実施の形態の画像通信装置Ａ１は、画像送信装置１０と、画像受信装置２０と、画像送信装置１０と画像受信装置２０の間のデータ伝送を行うネットワーク３０の３つの部分で構成されている。また、画像送信装置１０には撮像装置４０が接続され、画像受信装置２０には表示装置５０が接続されている。画像送信装置１０には撮像装置４０だけでなく、画像データを出力する機器を接続できる。
【００２１】
画像送信装置１０は、画像取得部１１、符号化部１２およびデータ転送部１３からなる。
【００２２】
画像取得部１１は、撮像装置４０から入力された画像データをメモリに取り込む処理を行う。入力画像データはＹＵＶ形式とすることも、ＲＧＢ形式とすることも可能である。ＹＵＶは輝度・色差マルチプレクス信号のことであり、Ｙは輝度信号、Ｕは赤の色差信号、Ｖは青の色差信号である。
【００２３】
符号化部１２は、画像取得部１１のメモリから画像データを読み出し、ＲＯＭなどの記憶手段にあらかじめ設定した色成分分割パターンに従って、画像データの色情報を構成する複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを予測符号化、直交変換符号化、ベクトル量子化など既知の画像圧縮アルゴリズムで符号化し、その色成分の符号化データをデータ転送部１３に出力する。
【００２４】
データ転送部１３は、符号化された色成分の画像データをネットワーク３０に送信する。
【００２５】
上記構成において、符号化される色成分は、色成分分割パターンに従って順次に入れ替えられ、またサイクリックに更新されるようになっている。
【００２６】
画像受信装置２０は、データ受信部２１、復号化部２２、蓄積部２３および合成部２４からなる。
【００２７】
データ受信部２１は、ネットワーク３０から受信した選択色成分の符号化データを受信し、復号化部２２に出力する。復号化部２２は、選択色成分の符号化データを復号化し、蓄積部２３に出力する。合成部２４は、あらかじめ設定しておいた色成分分割パターン情報に従って、復号化部２２で復号化され蓄積部２３に蓄積された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積されている過去の復号化された色成分の画像データとを読み出して合成し、画像を復元する。
【００２８】
例えば入力画像データがＹＵＶ形式の場合に、色成分をＹ成分、Ｕ成分、Ｖ成分に分割してＹＵＶＹＵＶの順に送信している場合について、図２を用いて説明する。
【００２９】
いま、画像送信装置１０の画像取得部１１がｎフレーム目の画像データを取得したとする。符号化部１２はｎフレーム目の入力画像データのＹ成分Ｙn を符号化し、データ転送部１３に出力する。データ転送部１３はネットワーク３０に符号化データを送信する。ｎフレーム目の入力画像データのＹ成分Ｙn の符号化データを受信した画像受信装置２０の復号化部２２は、画像データを復号化し蓄積部２３に格納する。合成部２４では、蓄積部２３に格納してある現フレームで受信したｎフレーム目の画像データのＹ成分Ｙn と、１フレーム前に受信した（ｎ−１）フレーム目の画像データのＶ成分Ｖn-1 と、２フレーム前に受信した（ｎ−２）フレーム目の画像データのＵ成分Ｕn-2 とを合成して、ｎフレーム目の再生画像Ｐn を再生する。次いで、（ｎ＋１）フレーム目では、（ｎ−１）フレーム目の画像データのＶ成分Ｖn-1 と、ｎフレーム目の画像データのＹ成分Ｙn と、（ｎ＋１）フレーム目の画像データのＵ成分Ｕn+1 を合成して、（ｎ＋１）フレーム目の再生画像Ｐn+1 を再生し、順次更新する色成分を変更しながら同様の処理を繰り返す。
【００３０】
また、図３、図４のように、画像データの色成分を分割して送信してもよい。
【００３１】
図３の例では、画像データをＹ成分、Ｕ成分、Ｖ成分に分割してＹ・Ｕ・Ｙ・Ｖ・Ｙ・Ｕ・Ｙ・Ｖのように入れ替えながら送信している。この場合、（ｎ−２）フレーム目には入力画像データのＵ成分Ｕn-2 が、（ｎ−１）フレーム目には入力画像データのＹ成分Ｙn-1 の符号化データが送信されており、ｎフレーム目の再生画像は現フレームで受信した入力画像のＶ成分Ｖn と蓄積部２３に蓄積されている（ｎ−２）フレーム目の入力画像データのＵ成分Ｕn-2 と（ｎ−１）フレーム目の入力画像データのＹ成分Ｙn-1 の復号化データを合成した再生画像Ｐn となる。（ｎ＋１）フレーム目には入力画像データのＹ成分Ｙn+1 の符号化データが更新され、合成部２４は（ｎ＋１）フレーム目の入力画像データのＹ成分Ｙn+1 と、ｎフレーム目の入力画像のＶ成分Ｖn と、（ｎ−２）フレーム目の入力画像データのＵ成分Ｕn-2 を合成して画像を再生する。
【００３２】
図４の例では、画像データをＹ成分とＵＶ成分に分割して交互に送信している。この場合、ｎフレーム目に画像送信装置１０は入力画像データのＵＶ成分ＵＶn の符号化データをネットワーク３０に転送し、画像受信装置２０は、蓄積部２３に蓄積されている（ｎ−１）フレーム目に受信した画像データのＹ成分Ｙn-1 と現フレームで受信した画像データのＵＶ成分ＵＶn を合成して画像を再生する。（ｎ＋１）フレーム目には入力画像データのＹ成分Ｙn+1 が送信され、画像受信装置２０の合成部２４でｎフレーム目の画像データのＵＶ成分ＵＶn と、現フレームで受信した画像データのＹ成分Ｙn+1 を合成して画像を再生する。以後同様に交互にＹ成分とＵＶ成分の更新を繰り返す。
【００３３】
上記で説明した例に限らず、画像データのＹＵ成分とＹＶ成分を１フレームおきに送信するなど様々な色成分の分割方法と組み合わせが考えられる。ＹＵＶ形式の信号は、ＹＵＶ４４４に限らず、ＹＵＶ４２２やＹＵＶ４２０、ＹＵＶ４１１などのフォーマットを用いることでさらに情報量を削減することができる。画像取得部１１にはＲＧＢ形式の画像も入力可能であるし、画像取得部１１にＹＵＶ形式をＲＧＢ形式に変換する機能を持たせ、図５に示すように、Ｒ成分、Ｇ成分、Ｂ成分に分割して送信することもできる。
【００３４】
合成部２４は、画像データを再生するとともに、再生後の画像データを表示装置５０に出力する。
【００３５】
以上のように本実施の形態によれば、符号化部１２が１フレーム内で符号化の対象とする画像データについて入力画像データにおける複数の色成分の一部（選択色成分の画像データ）に限定し、その選択色成分の画像データを符号化してデータ転送部１３より画像受信装置２０に転送するように構成してあるので、処理すべき画像データの情報量が削減されて符号化率が抑圧され、その結果、ネットワーク３０の伝送容量が限られている場合でも、画像データを劣化の少ない状態で送信することができる。また、画像受信装置２０では受信した現在の選択色成分の画像データと過去の選択色成分の画像データとを合成するように構成してあるので、元の入力画像データを劣化のない状態で再現することができる。
【００３６】
（実施の形態２）
図６は本発明の実施の形態２の画像通信装置Ａ２の全体構成を示すブロック図である。図６において、実施の形態１の図１におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。本実施の形態においては、画像送信装置１０に分割パターン設定部１４が追加されている。この分割パターン設定部１４はレジスタなどの変更可能な記憶手段を持ち、この記憶手段に入力画像のデータ形式、色成分分割パターンを設定しておく。ここで色成分分割パターンとは、画像データの送受信を例えば図２のような色成分分割パターンで行うか、図３のような色成分分割パターンで行うかという情報である。
【００３７】
符号化部１２は、分割パターン設定部１４の設定に従って、画像取得部１１から読み出す画像データについて色情報を構成する複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを符号化する。データ転送部１３は、符号化された画像データに色成分分割パターン情報を付加してネットワーク３０に送信する。
【００３８】
画像受信装置２０における合成部２４は、画像データとともに送られてきた色成分分割パターン情報に従って、復号化部２２で復号化され蓄積部２３に蓄積された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積されている過去の復号化された色成分の画像データとを読み出して合成し、画像を復元する。
【００３９】
画像データの送信と再生の様子は実施の形態１と同様であるので、その説明を省略する。
【００４０】
以上のように本実施の形態によれば、分割パターン設定部１４において、ネットワーク３０の混雑状況の変化に応じて色成分分割パターンを設定することが可能であるので、ネットワーク３０の混雑状況の変化にかかわらず、画像データを劣化の少ない状態で送信することができる。
【００４１】
なお、データ転送部１３にネットワーク３０のトラフィック測定機能を持たせ、負荷状況に応じて色成分分割パターンを自動で変更するように構成することも可能である。このように構成した場合、ネットワーク３０の負荷が軽いときには１フレーム内に画像データの色成分すべてを送信し、ネットワーク３０が混雑しているときには一部の色成分を選択し、その選択色成分の画像データのみを送信するようにする。その結果として、ネットワーク３０の輻輳状況に応じて画像データの容量を増減することができる。
【００４２】
（実施の形態３）
図７は本発明の実施の形態３の画像通信装置Ａ３の全体構成を示すブロック図である。図７において、実施の形態１の図１におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。本実施の形態においては、画像送信装置１０に動き検出部１５が追加されている。画像取得部１１におけるメモリには１フレーム前の入力画像データを記憶しておき、動き検出部１５で現在のフレームでの入力画像データと１フレーム前の入力画像データの差分から画像の動き量を検出する。動き検出部１５の記憶部には、画像データの色成分分割パターン切り替えの閾値が設定記憶されるようになっている。符号化部１２は、ＲＯＭなどの記憶手段にあらかじめ色成分分割パターンが設定記憶されるようになっている。
【００４３】
符号化部１２は、動き検出部１５が検出した画像の動き量が色成分分割パターン切り替えの閾値以下の場合には、実施の形態１の場合と同様に、あらかじめ設定した色成分分割パターンに従って、画像データの複数の色成分の一部を選択し、その選択色成分の画像データを符号化を行い、一方、検出した画像の動き量が色成分分割パターン切り替えの閾値よりも大きい場合には、画像データの色成分を分割せずに、１フレームにおいてすべての色成分の画像データを符号化する。データ転送部１３では符号化された画像データに色成分分割パターン情報を付加してネットワーク３０に送信する。
【００４４】
画像受信装置２０における合成部２４は、ネットワーク３０から受信した符号化データが色成分分割されたものである場合は、実施の形態１の場合と同様に、あらかじめ設定しておいた色成分分割パターン情報に従って、復号化部２２で復号化され蓄積部２３に蓄積された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積されている過去の復号化された色成分の画像データとを読み出して合成し、画像を復元する。一方、ネットワーク３０から受信した符号化データが色成分分割されたものでなくすべての色成分を含むものである場合には、復号化部２２からの復号化された画像データをそのまま表示装置５０に出力する。
【００４５】
なお、画像送信装置１０に実施の形態２と同様の分割パターン設定部をもたせ、２つの色成分分割パターンを設定しておき、色成分分割パターン切り替えの閾値によって２つの色成分分割パターンを切り替えるようにしてもよい。
【００４６】
以上のように本実施の形態によれば、動き検出部１５によって画像の動きの速さを検出し、画像の動き量が所定の閾値より大きいときは、色成分の選択をやめ、すべての色成分の画像データの符号化に切り替える。これは、画像の動きが速いときは、解像度が低いことに起因して画質劣化が生じても、視覚上はあまり問題とならないことを利用したものである。その結果として、画像処理の速度アップを図ることができる。
【００４７】
（実施の形態４）
図８は本発明の実施の形態４の画像通信装置Ａ４の全体構成を示すブロック図である。図８において、実施の形態３の図７におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。
【００４８】
実施の形態３の場合において、合成部２４は、あらかじめ設定しておいた色成分分割パターン情報に従って、復号化部２２で復号化され蓄積部２３に蓄積された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積されている過去の復号化された色成分の画像データとを読み出して合成し、画像を復元する。このとき現フレームでの選択色成分の画像データと過去フレームでの選択色成分の画像データとは時間的に差異が生じているため、動きのある被写体では合成時に色ずれが生じるおそれがある。本実施の形態は、この色ずれを緩和するものである。
【００４９】
本実施の形態においては、画像受信装置２０に動き補償部２５および平滑化部２６が追加されている。
【００５０】
動き補償部２５は、蓄積部２３に蓄積されている過去のフレームの画像データに対して、画像データとともに送られてきた予測誤差と動きベクトルを用いて動き補償処理を行い、その動き補償後の画像データを平滑化部２６に出力するように構成されている。ここで、上記の画像データとともに送られてきた予測誤差と動きベクトルについて説明すると、これらは画像送信装置１０における動き検出部１５で算出され、データ転送部１３からネットワーク３０に送出されたものである。
【００５１】
平滑化部２６は、移動平均法などの平滑化フィルタを用いて、画像データとともに送られてきた画像の動き量に応じて、画像データをぼかす処理を行うように構成されている。
【００５２】
画像送信装置１０の動き検出部１５において、入力画像と１フレーム前の画像データから動きベクトルを検出し、１フレーム前の画像データと動きベクトルから予測画像を作成し、現在のフレームで送信を行わない色成分の予測画像と入力画像の差分である予測誤差と動きベクトルを動き量とともに画像データに付加して送信する。動きベクトルとは、入力画像をｍ×ｎブロックに区切り符号化しようとしているブロックに最も似ているブロックを予測画像の中から検出したとき、符号化対象のブロックから予測画像中の最も類似したブロックを示すベクトルである。図９に予測誤差と動きベクトルの模式図を示す。
【００５３】
データ転送部１３は、符号化された画像データをネットワーク３０に送信する際に、動き検出部１５で算出された予測誤差と動きベクトル、画像の動き量を付加して送信する。
【００５４】
例えば図２のように画像データをＹ成分、Ｕ成分、Ｖ成分に分割して送信しているときについて説明する。
【００５５】
ｎフレーム目の画像データのＹ成分Ｙn を送信する際には、ｎフレーム目の画像データのＶ成分Ｖn と（ｎ−１）フレーム目の画像データのＶ成分Ｖn-1 から作成した予測誤差と動きベクトル、および、ｎフレーム目の画像データのＵ成分Ｕn と（ｎ−１）フレーム目のＵ成分の予測画像Ｕn-1 ′（（ｎ−１）フレーム目の画像データのＵ成分Ｕn-1 と（ｎ−２）フレーム目の画像データのＵ成分Ｕn-2 から作成した予測画像）から作成した予測誤差と動きベクトルを付加して送信する。
【００５６】
これらの画像データを受信した画像受信装置２０では、動き補償部２５は、蓄積部２３に蓄積している（ｎ−１）フレーム目の画像データのＶ成分Ｖn-1 と（ｎ−２）フレーム目の画像データのＵ成分Ｕn-2 に対して、画像データとともに送られてきた予測誤差と動きベクトルを用いて動き補償処理を行う。
【００５７】
平滑化部２６では、動き補償後の（ｎ−１）フレーム目の画像データのＶ成分Ｖn-1 と（ｎ−２）フレーム目の画像データのＵ成分Ｕn-2 及び現フレームであるｎフレーム目の画像データのＹ成分Ｙn を画像データとともに受信した動き量に応じて平滑化する。そして、合成部２４では動き補償、平滑化後のｎフレーム目の画像データのＹ成分Ｙn 、（ｎ−１）フレーム目の画像データのＶ成分Ｖn-1 、（ｎ−２）フレーム目の画像データのＵ成分Ｕn-2 を合成して画像を再生する。
【００５８】
人間の目の視力は動きのある被写体に対しては低下する。そのため、過去フレームおよび現フレームの選択色成分の画像データをぼかした後、合成部２４で合成すれば、各選択色成分の時間的差異による色ずれを緩和することが可能となる。
【００５９】
なお、動き検出部１５で入力画像データをｍ×ｎブロックに区切り、そのブロックごとに動き量を検出して画像データに付加して送信し、平滑化部２６でｍ×ｎブロックごとに動き量に応じて平滑化を行うようにすれば、さらに自然な画像を再生できるようになる。ただし、ブロックのサイズが小さくなるにつれて情報量は増加するため、適当なサイズのブロック数を選択する必要がある。
【００６０】
また、ブロック毎に動き量に応じて平滑化を行うことで画像の一部分のみがぼけることを防ぐために、最も動き量が大きいブロックに合わせて画像全体を平滑化するようにしてもよい。また、動き量が大きい場合には色成分の彩度を落とし、色ずれを目立たなくするようにしてもよい。
【００６１】
なお、画像送信装置１０に分割パターン設定部をもたせ、設定した色成分分割パターンに従って符号化を行い、データ転送部１３から画像データ、動き量とともに色成分分割パターン情報を送付するようにしてもよい。
【産業上の利用可能性】
【００６２】
本発明の技術は、ネットワークなどの伝送容量が限られたデータ通信回線を介して動画像を送受信するシステムにおいて、画像データを劣化の少ない状態で送信する画像送信装置、また、元の入力画像データを劣化のない状態で再現する画像受信装置として有用である。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態１における画像通信装置の全体構成を示すブロック図
【図２】実施の形態１において画像データをＹ成分、Ｕ成分、Ｖ成分に分割し、Ｙ・Ｕ・Ｖの順番で送受信を行っている様子を表す図
【図３】実施の形態１において画像データをＹ成分、Ｕ成分、Ｖ成分に分割し、Ｙ・Ｕ・Ｙ・Ｖの順番で送受信を行っている様子を表す図
【図４】実施の形態１において画像データをＹ成分、ＵＶ成分に分割し、Ｙ・ＵＶの順番で送受信を行っている様子を表す図
【図５】実施の形態１において画像データをＲ成分、Ｇ成分、Ｂ成分に分割し、Ｒ・Ｇ・Ｂの順番で送受信を行っている様子を表す図
【図６】本発明の実施の形態２における画像通信装置の全体構成を示すブロック図
【図７】本発明の実施の形態３における画像通信装置の全体構成を示すブロック図
【図８】本発明の実施の形態４における画像通信装置の全体構成を示すブロック図
【図９】実施の形態４において動きベクトルと予測誤差を表す図
【符号の説明】
【００６４】
Ａ１〜Ａ４ 画像通信装置
１０ 画像送信装置
１１ 画像取得部
１２ 符号化部
１３ データ転送部
１４ 分割パターン設定部
１５ 動き検出部
２０ 画像受信装置
２１ データ受信部
２２ 復号化部
２３ 蓄積部
２４ 合成部
２５ 動き補償部
２６ 平滑化部
３０ ネットワーク
４０ 撮像装置
５０ 表示装置
【技術分野】
【０００１】
本発明は、ネットワークなどの伝送容量が限られたデータ通信回線に接続された機器間で動画像を送受信するシステムにおける画像送信装置および画像受信装置に関する。
【背景技術】
【０００２】
従来、帯域の制限されたネットワークを介して画像データを送信する場合に、画像の注目領域の解像度を高く設定する一方、その他の領域の解像度を低く設定して画像データを符号化することにより、情報量を削減しつつ、所望の画質を確保するシステムが開示されている（例えば特許文献１参照）。
【特許文献１】特開平７−２８８８０６号公報（第５−１０頁、第１−１０図）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
近年、撮像素子の高画素化が進み、その結果として画像データのデータ量は益々増加している。このような状況下、ネットワークカメラなどネットワーク上に画像データを送信する装置において、画質劣化を最小限にとどめて動画像をネットワーク送信する技術が求められている。特許文献１のシステムでは、注目領域の解像度を高く設定した場合、その他の領域の解像度が著しく低く設定されてしまい、受信装置で画像を再生した場合に、画像の劣化が激しく内容を判別できない領域を含んでいる可能性がある。
【課題を解決するための手段】
【０００４】
本発明による画像送信装置は、
外部からの入力画像データを取得する画像取得部と、
前記画像取得部で取得した画像データの色情報を構成する複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを所定の方式で符号化するとともに、前記選択色成分をサイクリックに入れ替える符号化部と、
前記符号化部で符号化された選択色成分の画像データをデータ通信回線に転送するデータ転送部とを備えたものである。
【０００５】
また、本発明による画像受信装置は、
サイクリックに入れ替えられて符号化された選択色成分の画像データをデータ通信回線を介して受信するデータ受信部と、
前記データ受信部で受信された選択色成分の画像データを復号化する復号化部と、
前記復号化部で復号化された選択色成分の画像データを蓄積する蓄積部と、
前記復号化部で復号化された選択色成分の画像データと、色成分を異にする状態ですでに前記蓄積部に蓄積されている復号化された選択色成分の画像データとを合成して画像を再生する合成部とを備えたものである。
【０００６】
上記構成の画像送信装置において、符号化部は、入力画像データにおける複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを所定の方式で符号化した上で、データ転送部に渡す。データ転送部は、符号化された選択色成分の画像データをデータ通信回線を介して画像受信装置に転送する。符号化部は、選択色成分をサイクリックに入れ替えながら、符号化を繰り返す。この方式においては、符号化部による符号化の対象およびデータ転送部によるデータ転送の対象として、画像取得部における入力画像データの一部の色成分に限定している。したがって、処理すべき画像データの情報量が削減され、符号化率が抑圧され、その結果、データ通信回線の伝送容量が限られている場合でも、画像データを劣化の少ない状態で送信することが可能となる。
【０００７】
また、上記構成の画像受信装置において、合成部は、復号化部で復号化された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積部に蓄積されている復号化された過去の選択色成分の画像データとを合成して、画像を再生する。このような蓄積部を付帯する合成部の機能により、データ通信回線を介して送られてくる画像データが、入力画像データにおける複数の色成分のうちから選択された一部に限定されたもの（選択色成分の画像データ）であっても、元の入力画像データを劣化のない状態で再現することが可能となる。
【０００８】
上記構成の画像送信装置において、前記符号化部は、前記画像取得部で取得する画像データにおける選択色成分をＹ成分、Ｕ成分、Ｙ成分、Ｖ成分、Ｙ成分、Ｕ成分のようにフレーム毎に入れ替えて繰り返し符号化するという態様がある。
【０００９】
また上記構成の画像送信装置において、前記符号化部は、前記画像取得部で取得する画像データにおける選択色成分をＹ成分、ＵＶ成分、Ｙ成分、ＵＶ成分のようにフレーム毎に入れ替えて繰り返し符号化するという態様がある。
【００１０】
また上記構成の画像送信装置において、さらに、色成分分割パターンを変更可能な分割パターン設定部を備え、前記符号化部は、前記分割パターン設定部で設定した色成分分割パターンに則って前記画像取得部で取得した画像データの色成分を選択し、選択色成分をフレーム毎に入れ替えながら選択色成分の画像データを符号化し、前記符号化された選択色成分の画像データに前記分割パターン設定部による色成分分割パターン情報を付加して前記データ転送部より転送するという態様がある。このように構成した場合、データ通信回線の混雑状況の変化に応じて、分割パターン設定部での色成分分割パターンを適応的に設定することが可能となる。すなわち、データ通信回線の混雑状況の変化にかかわらず、画像データを劣化の少ない状態で送信することが可能となる。
【００１１】
また上記構成の画像送信装置において、さらに、前記画像取得部で取得した画像データから再生される画像の動き量を検出する動き検出部を備え、前記符号化部は、前記動き検出部で検出した画像の動き量が所定の閾値よりも大きくなった場合には、画像データの色成分の選択に代えて画像データのすべての色成分の画像データを符号化するという態様がある。画像の動きが速いときは、解像度が低いことに起因して画質劣化が生じても、視覚上はあまり問題とならない。そこで、画像の動き量が所定の閾値より大きいときは、色成分の選択をやめ、すべての色成分の画像データの符号化に切り替える。その結果として、画像処理の速度アップを図ることが可能となる。
【００１２】
また上記構成の画像送信装置において、さらに、前記画像取得部で取得した画像データから再生される画像の動き量を検出する動き検出部を備え、前記符号化部は、選択色成分の画像データを符号化したデータと、前記動き検出部による前記符号化を行った色成分とは異なる色成分の動き量の情報とを前記データ転送部により転送し、フレーム毎に符号化する色成分を入れ替えるという態様がある。選択色成分の符号化データとともに符号化を行った色成分とは異なる色成分の動き量の情報をデータ転送部より転送することにより、画像受信装置側において画像の動き量に応じて過去の選択色成分の画像データの動き補償などを行うことが可能となる。
【００１３】
そして、画像受信装置について、
選択色成分の画像データを符号化したデータと前記符号化を行った色成分とは異なる色成分の動き量を受信するデータ受信部と、
前記データ受信部で受信された選択色成分の画像データを復号化する復号化部と、
前記復号化部で復号化された選択色成分の画像データを蓄積する蓄積部と、
前記蓄積部に蓄積されている過去の画像データに対して、送られてきた画像の動き量を用いて動き補償処理を行う動き補償部と、
前記蓄積部に蓄積されている過去の画像データおよび前記復号化部による復号化データを、前記画像の動き量に応じて所定のアルゴリズムで平滑化する平滑化部と、
前記平滑化部で平滑化された現在の選択色成分の復号化データと選択色成分の動き補償後のデータとを合成して画像を再生する合成部とを備えた構成の画像受信装置がある。
【００１４】
現在の選択色成分の画像データと過去の選択色成分の画像データとは時間的に差異が生じているため、動きのある被写体では合成時に色ずれが生じるおそれがある。動き補償部および平滑化部は、この色ずれを緩和するものである。
【発明の効果】
【００１５】
本発明によれば、ネットワークなどのデータ通信回線を介して画像信号を伝送する際に、符号化ならびに伝送の対象とする画像データを一部の色成分に限定するように構成しているので、符号化対象の情報量を低減して符号化率を抑圧することが可能であり、画像劣化の少ない画像を伝送することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施の形態について説明する。なお、以下で説明する実施の形態のそれぞれはあくまで一例であり、様々な改変を行うことが可能である。
【００１７】
（実施の形態１）
図１は本発明の実施の形態１の画像通信装置Ａ１の全体構成を示すブロック図である。
【００１８】
この実施の形態は、ネットワークなどの伝送容量が限られたデータ通信回線を介して、膨大なデータ量を持つ画像を伝送するシステムである。ネットワークに限らず、画像送信装置と画像受信装置を接続する様々なデータ通信回線に応用できる。
【００１９】
本実施の形態の特徴は、１フレーム内に画像データの一部の色成分のみ（選択色成分の画像データ）を送信し、受信側で受信した現在の選択色成分の画像データと過去の選択色成分の画像データとを合成することにある。これによって、画像の情報量を削減し画像の符号化率を抑圧することができ、限られた伝送容量での画像通信時にも劣化の少ない画像を伝送することができる。
【００２０】
図１に示すように、本実施の形態の画像通信装置Ａ１は、画像送信装置１０と、画像受信装置２０と、画像送信装置１０と画像受信装置２０の間のデータ伝送を行うネットワーク３０の３つの部分で構成されている。また、画像送信装置１０には撮像装置４０が接続され、画像受信装置２０には表示装置５０が接続されている。画像送信装置１０には撮像装置４０だけでなく、画像データを出力する機器を接続できる。
【００２１】
画像送信装置１０は、画像取得部１１、符号化部１２およびデータ転送部１３からなる。
【００２２】
画像取得部１１は、撮像装置４０から入力された画像データをメモリに取り込む処理を行う。入力画像データはＹＵＶ形式とすることも、ＲＧＢ形式とすることも可能である。ＹＵＶは輝度・色差マルチプレクス信号のことであり、Ｙは輝度信号、Ｕは赤の色差信号、Ｖは青の色差信号である。
【００２３】
符号化部１２は、画像取得部１１のメモリから画像データを読み出し、ＲＯＭなどの記憶手段にあらかじめ設定した色成分分割パターンに従って、画像データの色情報を構成する複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを予測符号化、直交変換符号化、ベクトル量子化など既知の画像圧縮アルゴリズムで符号化し、その色成分の符号化データをデータ転送部１３に出力する。
【００２４】
データ転送部１３は、符号化された色成分の画像データをネットワーク３０に送信する。
【００２５】
上記構成において、符号化される色成分は、色成分分割パターンに従って順次に入れ替えられ、またサイクリックに更新されるようになっている。
【００２６】
画像受信装置２０は、データ受信部２１、復号化部２２、蓄積部２３および合成部２４からなる。
【００２７】
データ受信部２１は、ネットワーク３０から受信した選択色成分の符号化データを受信し、復号化部２２に出力する。復号化部２２は、選択色成分の符号化データを復号化し、蓄積部２３に出力する。合成部２４は、あらかじめ設定しておいた色成分分割パターン情報に従って、復号化部２２で復号化され蓄積部２３に蓄積された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積されている過去の復号化された色成分の画像データとを読み出して合成し、画像を復元する。
【００２８】
例えば入力画像データがＹＵＶ形式の場合に、色成分をＹ成分、Ｕ成分、Ｖ成分に分割してＹＵＶＹＵＶの順に送信している場合について、図２を用いて説明する。
【００２９】
いま、画像送信装置１０の画像取得部１１がｎフレーム目の画像データを取得したとする。符号化部１２はｎフレーム目の入力画像データのＹ成分Ｙn を符号化し、データ転送部１３に出力する。データ転送部１３はネットワーク３０に符号化データを送信する。ｎフレーム目の入力画像データのＹ成分Ｙn の符号化データを受信した画像受信装置２０の復号化部２２は、画像データを復号化し蓄積部２３に格納する。合成部２４では、蓄積部２３に格納してある現フレームで受信したｎフレーム目の画像データのＹ成分Ｙn と、１フレーム前に受信した（ｎ−１）フレーム目の画像データのＶ成分Ｖn-1 と、２フレーム前に受信した（ｎ−２）フレーム目の画像データのＵ成分Ｕn-2 とを合成して、ｎフレーム目の再生画像Ｐn を再生する。次いで、（ｎ＋１）フレーム目では、（ｎ−１）フレーム目の画像データのＶ成分Ｖn-1 と、ｎフレーム目の画像データのＹ成分Ｙn と、（ｎ＋１）フレーム目の画像データのＵ成分Ｕn+1 を合成して、（ｎ＋１）フレーム目の再生画像Ｐn+1 を再生し、順次更新する色成分を変更しながら同様の処理を繰り返す。
【００３０】
また、図３、図４のように、画像データの色成分を分割して送信してもよい。
【００３１】
図３の例では、画像データをＹ成分、Ｕ成分、Ｖ成分に分割してＹ・Ｕ・Ｙ・Ｖ・Ｙ・Ｕ・Ｙ・Ｖのように入れ替えながら送信している。この場合、（ｎ−２）フレーム目には入力画像データのＵ成分Ｕn-2 が、（ｎ−１）フレーム目には入力画像データのＹ成分Ｙn-1 の符号化データが送信されており、ｎフレーム目の再生画像は現フレームで受信した入力画像のＶ成分Ｖn と蓄積部２３に蓄積されている（ｎ−２）フレーム目の入力画像データのＵ成分Ｕn-2 と（ｎ−１）フレーム目の入力画像データのＹ成分Ｙn-1 の復号化データを合成した再生画像Ｐn となる。（ｎ＋１）フレーム目には入力画像データのＹ成分Ｙn+1 の符号化データが更新され、合成部２４は（ｎ＋１）フレーム目の入力画像データのＹ成分Ｙn+1 と、ｎフレーム目の入力画像のＶ成分Ｖn と、（ｎ−２）フレーム目の入力画像データのＵ成分Ｕn-2 を合成して画像を再生する。
【００３２】
図４の例では、画像データをＹ成分とＵＶ成分に分割して交互に送信している。この場合、ｎフレーム目に画像送信装置１０は入力画像データのＵＶ成分ＵＶn の符号化データをネットワーク３０に転送し、画像受信装置２０は、蓄積部２３に蓄積されている（ｎ−１）フレーム目に受信した画像データのＹ成分Ｙn-1 と現フレームで受信した画像データのＵＶ成分ＵＶn を合成して画像を再生する。（ｎ＋１）フレーム目には入力画像データのＹ成分Ｙn+1 が送信され、画像受信装置２０の合成部２４でｎフレーム目の画像データのＵＶ成分ＵＶn と、現フレームで受信した画像データのＹ成分Ｙn+1 を合成して画像を再生する。以後同様に交互にＹ成分とＵＶ成分の更新を繰り返す。
【００３３】
上記で説明した例に限らず、画像データのＹＵ成分とＹＶ成分を１フレームおきに送信するなど様々な色成分の分割方法と組み合わせが考えられる。ＹＵＶ形式の信号は、ＹＵＶ４４４に限らず、ＹＵＶ４２２やＹＵＶ４２０、ＹＵＶ４１１などのフォーマットを用いることでさらに情報量を削減することができる。画像取得部１１にはＲＧＢ形式の画像も入力可能であるし、画像取得部１１にＹＵＶ形式をＲＧＢ形式に変換する機能を持たせ、図５に示すように、Ｒ成分、Ｇ成分、Ｂ成分に分割して送信することもできる。
【００３４】
合成部２４は、画像データを再生するとともに、再生後の画像データを表示装置５０に出力する。
【００３５】
以上のように本実施の形態によれば、符号化部１２が１フレーム内で符号化の対象とする画像データについて入力画像データにおける複数の色成分の一部（選択色成分の画像データ）に限定し、その選択色成分の画像データを符号化してデータ転送部１３より画像受信装置２０に転送するように構成してあるので、処理すべき画像データの情報量が削減されて符号化率が抑圧され、その結果、ネットワーク３０の伝送容量が限られている場合でも、画像データを劣化の少ない状態で送信することができる。また、画像受信装置２０では受信した現在の選択色成分の画像データと過去の選択色成分の画像データとを合成するように構成してあるので、元の入力画像データを劣化のない状態で再現することができる。
【００３６】
（実施の形態２）
図６は本発明の実施の形態２の画像通信装置Ａ２の全体構成を示すブロック図である。図６において、実施の形態１の図１におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。本実施の形態においては、画像送信装置１０に分割パターン設定部１４が追加されている。この分割パターン設定部１４はレジスタなどの変更可能な記憶手段を持ち、この記憶手段に入力画像のデータ形式、色成分分割パターンを設定しておく。ここで色成分分割パターンとは、画像データの送受信を例えば図２のような色成分分割パターンで行うか、図３のような色成分分割パターンで行うかという情報である。
【００３７】
符号化部１２は、分割パターン設定部１４の設定に従って、画像取得部１１から読み出す画像データについて色情報を構成する複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを符号化する。データ転送部１３は、符号化された画像データに色成分分割パターン情報を付加してネットワーク３０に送信する。
【００３８】
画像受信装置２０における合成部２４は、画像データとともに送られてきた色成分分割パターン情報に従って、復号化部２２で復号化され蓄積部２３に蓄積された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積されている過去の復号化された色成分の画像データとを読み出して合成し、画像を復元する。
【００３９】
画像データの送信と再生の様子は実施の形態１と同様であるので、その説明を省略する。
【００４０】
以上のように本実施の形態によれば、分割パターン設定部１４において、ネットワーク３０の混雑状況の変化に応じて色成分分割パターンを設定することが可能であるので、ネットワーク３０の混雑状況の変化にかかわらず、画像データを劣化の少ない状態で送信することができる。
【００４１】
なお、データ転送部１３にネットワーク３０のトラフィック測定機能を持たせ、負荷状況に応じて色成分分割パターンを自動で変更するように構成することも可能である。このように構成した場合、ネットワーク３０の負荷が軽いときには１フレーム内に画像データの色成分すべてを送信し、ネットワーク３０が混雑しているときには一部の色成分を選択し、その選択色成分の画像データのみを送信するようにする。その結果として、ネットワーク３０の輻輳状況に応じて画像データの容量を増減することができる。
【００４２】
（実施の形態３）
図７は本発明の実施の形態３の画像通信装置Ａ３の全体構成を示すブロック図である。図７において、実施の形態１の図１におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。本実施の形態においては、画像送信装置１０に動き検出部１５が追加されている。画像取得部１１におけるメモリには１フレーム前の入力画像データを記憶しておき、動き検出部１５で現在のフレームでの入力画像データと１フレーム前の入力画像データの差分から画像の動き量を検出する。動き検出部１５の記憶部には、画像データの色成分分割パターン切り替えの閾値が設定記憶されるようになっている。符号化部１２は、ＲＯＭなどの記憶手段にあらかじめ色成分分割パターンが設定記憶されるようになっている。
【００４３】
符号化部１２は、動き検出部１５が検出した画像の動き量が色成分分割パターン切り替えの閾値以下の場合には、実施の形態１の場合と同様に、あらかじめ設定した色成分分割パターンに従って、画像データの複数の色成分の一部を選択し、その選択色成分の画像データを符号化を行い、一方、検出した画像の動き量が色成分分割パターン切り替えの閾値よりも大きい場合には、画像データの色成分を分割せずに、１フレームにおいてすべての色成分の画像データを符号化する。データ転送部１３では符号化された画像データに色成分分割パターン情報を付加してネットワーク３０に送信する。
【００４４】
画像受信装置２０における合成部２４は、ネットワーク３０から受信した符号化データが色成分分割されたものである場合は、実施の形態１の場合と同様に、あらかじめ設定しておいた色成分分割パターン情報に従って、復号化部２２で復号化され蓄積部２３に蓄積された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積されている過去の復号化された色成分の画像データとを読み出して合成し、画像を復元する。一方、ネットワーク３０から受信した符号化データが色成分分割されたものでなくすべての色成分を含むものである場合には、復号化部２２からの復号化された画像データをそのまま表示装置５０に出力する。
【００４５】
なお、画像送信装置１０に実施の形態２と同様の分割パターン設定部をもたせ、２つの色成分分割パターンを設定しておき、色成分分割パターン切り替えの閾値によって２つの色成分分割パターンを切り替えるようにしてもよい。
【００４６】
以上のように本実施の形態によれば、動き検出部１５によって画像の動きの速さを検出し、画像の動き量が所定の閾値より大きいときは、色成分の選択をやめ、すべての色成分の画像データの符号化に切り替える。これは、画像の動きが速いときは、解像度が低いことに起因して画質劣化が生じても、視覚上はあまり問題とならないことを利用したものである。その結果として、画像処理の速度アップを図ることができる。
【００４７】
（実施の形態４）
図８は本発明の実施の形態４の画像通信装置Ａ４の全体構成を示すブロック図である。図８において、実施の形態３の図７におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。
【００４８】
実施の形態３の場合において、合成部２４は、あらかじめ設定しておいた色成分分割パターン情報に従って、復号化部２２で復号化され蓄積部２３に蓄積された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積されている過去の復号化された色成分の画像データとを読み出して合成し、画像を復元する。このとき現フレームでの選択色成分の画像データと過去フレームでの選択色成分の画像データとは時間的に差異が生じているため、動きのある被写体では合成時に色ずれが生じるおそれがある。本実施の形態は、この色ずれを緩和するものである。
【００４９】
本実施の形態においては、画像受信装置２０に動き補償部２５および平滑化部２６が追加されている。
【００５０】
動き補償部２５は、蓄積部２３に蓄積されている過去のフレームの画像データに対して、画像データとともに送られてきた予測誤差と動きベクトルを用いて動き補償処理を行い、その動き補償後の画像データを平滑化部２６に出力するように構成されている。ここで、上記の画像データとともに送られてきた予測誤差と動きベクトルについて説明すると、これらは画像送信装置１０における動き検出部１５で算出され、データ転送部１３からネットワーク３０に送出されたものである。
【００５１】
平滑化部２６は、移動平均法などの平滑化フィルタを用いて、画像データとともに送られてきた画像の動き量に応じて、画像データをぼかす処理を行うように構成されている。
【００５２】
画像送信装置１０の動き検出部１５において、入力画像と１フレーム前の画像データから動きベクトルを検出し、１フレーム前の画像データと動きベクトルから予測画像を作成し、現在のフレームで送信を行わない色成分の予測画像と入力画像の差分である予測誤差と動きベクトルを動き量とともに画像データに付加して送信する。動きベクトルとは、入力画像をｍ×ｎブロックに区切り符号化しようとしているブロックに最も似ているブロックを予測画像の中から検出したとき、符号化対象のブロックから予測画像中の最も類似したブロックを示すベクトルである。図９に予測誤差と動きベクトルの模式図を示す。
【００５３】
データ転送部１３は、符号化された画像データをネットワーク３０に送信する際に、動き検出部１５で算出された予測誤差と動きベクトル、画像の動き量を付加して送信する。
【００５４】
例えば図２のように画像データをＹ成分、Ｕ成分、Ｖ成分に分割して送信しているときについて説明する。
【００５５】
ｎフレーム目の画像データのＹ成分Ｙn を送信する際には、ｎフレーム目の画像データのＶ成分Ｖn と（ｎ−１）フレーム目の画像データのＶ成分Ｖn-1 から作成した予測誤差と動きベクトル、および、ｎフレーム目の画像データのＵ成分Ｕn と（ｎ−１）フレーム目のＵ成分の予測画像Ｕn-1 ′（（ｎ−１）フレーム目の画像データのＵ成分Ｕn-1 と（ｎ−２）フレーム目の画像データのＵ成分Ｕn-2 から作成した予測画像）から作成した予測誤差と動きベクトルを付加して送信する。
【００５６】
これらの画像データを受信した画像受信装置２０では、動き補償部２５は、蓄積部２３に蓄積している（ｎ−１）フレーム目の画像データのＶ成分Ｖn-1 と（ｎ−２）フレーム目の画像データのＵ成分Ｕn-2 に対して、画像データとともに送られてきた予測誤差と動きベクトルを用いて動き補償処理を行う。
【００５７】
平滑化部２６では、動き補償後の（ｎ−１）フレーム目の画像データのＶ成分Ｖn-1 と（ｎ−２）フレーム目の画像データのＵ成分Ｕn-2 及び現フレームであるｎフレーム目の画像データのＹ成分Ｙn を画像データとともに受信した動き量に応じて平滑化する。そして、合成部２４では動き補償、平滑化後のｎフレーム目の画像データのＹ成分Ｙn 、（ｎ−１）フレーム目の画像データのＶ成分Ｖn-1 、（ｎ−２）フレーム目の画像データのＵ成分Ｕn-2 を合成して画像を再生する。
【００５８】
人間の目の視力は動きのある被写体に対しては低下する。そのため、過去フレームおよび現フレームの選択色成分の画像データをぼかした後、合成部２４で合成すれば、各選択色成分の時間的差異による色ずれを緩和することが可能となる。
【００５９】
なお、動き検出部１５で入力画像データをｍ×ｎブロックに区切り、そのブロックごとに動き量を検出して画像データに付加して送信し、平滑化部２６でｍ×ｎブロックごとに動き量に応じて平滑化を行うようにすれば、さらに自然な画像を再生できるようになる。ただし、ブロックのサイズが小さくなるにつれて情報量は増加するため、適当なサイズのブロック数を選択する必要がある。
【００６０】
また、ブロック毎に動き量に応じて平滑化を行うことで画像の一部分のみがぼけることを防ぐために、最も動き量が大きいブロックに合わせて画像全体を平滑化するようにしてもよい。また、動き量が大きい場合には色成分の彩度を落とし、色ずれを目立たなくするようにしてもよい。
【００６１】
なお、画像送信装置１０に分割パターン設定部をもたせ、設定した色成分分割パターンに従って符号化を行い、データ転送部１３から画像データ、動き量とともに色成分分割パターン情報を送付するようにしてもよい。
【産業上の利用可能性】
【００６２】
本発明の技術は、ネットワークなどの伝送容量が限られたデータ通信回線を介して動画像を送受信するシステムにおいて、画像データを劣化の少ない状態で送信する画像送信装置、また、元の入力画像データを劣化のない状態で再現する画像受信装置として有用である。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態１における画像通信装置の全体構成を示すブロック図
【図２】実施の形態１において画像データをＹ成分、Ｕ成分、Ｖ成分に分割し、Ｙ・Ｕ・Ｖの順番で送受信を行っている様子を表す図
【図３】実施の形態１において画像データをＹ成分、Ｕ成分、Ｖ成分に分割し、Ｙ・Ｕ・Ｙ・Ｖの順番で送受信を行っている様子を表す図
【図４】実施の形態１において画像データをＹ成分、ＵＶ成分に分割し、Ｙ・ＵＶの順番で送受信を行っている様子を表す図
【図５】実施の形態１において画像データをＲ成分、Ｇ成分、Ｂ成分に分割し、Ｒ・Ｇ・Ｂの順番で送受信を行っている様子を表す図
【図６】本発明の実施の形態２における画像通信装置の全体構成を示すブロック図
【図７】本発明の実施の形態３における画像通信装置の全体構成を示すブロック図
【図８】本発明の実施の形態４における画像通信装置の全体構成を示すブロック図
【図９】実施の形態４において動きベクトルと予測誤差を表す図
【符号の説明】
【００６４】
Ａ１〜Ａ４ 画像通信装置
１０ 画像送信装置
１１ 画像取得部
１２ 符号化部
１３ データ転送部
１４ 分割パターン設定部
１５ 動き検出部
２０ 画像受信装置
２１ データ受信部
２２ 復号化部
２３ 蓄積部
２４ 合成部
２５ 動き補償部
２６ 平滑化部
３０ ネットワーク
４０ 撮像装置
５０ 表示装置
【特許請求の範囲】
【請求項１】
外部からの入力画像データを取得する画像取得部と、
前記画像取得部で取得した画像データの色情報を構成する複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを所定の方式で符号化するとともに、前記選択色成分をサイクリックに入れ替える符号化部と、
前記符号化部で符号化された選択色成分の画像データをデータ通信回線に転送するデータ転送部とを備えた画像送信装置。
【請求項２】
サイクリックに入れ替えられて符号化された選択色成分の画像データをデータ通信回線を介して受信するデータ受信部と、
前記データ受信部で受信された選択色成分の画像データを復号化する復号化部と、
前記復号化部で復号化された選択色成分の画像データを蓄積する蓄積部と、
前記復号化部で復号化された選択色成分の画像データと、色成分を異にする状態ですでに前記蓄積部に蓄積されている復号化された選択色成分の画像データとを合成して画像を再生する合成部とを備えた画像受信装置。
【請求項３】
前記符号化部は、前記画像取得部で取得する画像データにおける選択色成分をＹ成分、Ｕ成分、Ｙ成分、Ｖ成分、Ｙ成分、Ｕ成分のようにフレーム毎に入れ替えて繰り返し符号化する請求項１に記載の画像送信装置。
【請求項４】
前記符号化部は、前記画像取得部で取得する画像データにおける選択色成分をＹ成分、ＵＶ成分、Ｙ成分、ＵＶ成分のようにフレーム毎に入れ替えて繰り返し符号化する請求項１に記載の画像送信装置。
【請求項５】
さらに、色成分分割パターンを変更可能な分割パターン設定部を備え、
前記符号化部は、前記分割パターン設定部で設定した色成分分割パターンに則って前記画像取得部で取得した画像データの色成分を選択し、選択色成分をフレーム毎に入れ替えながら選択色成分の画像データを符号化し、前記符号化された選択色成分の画像データに前記分割パターン設定部による色成分分割パターン情報を付加して前記データ転送部より転送する請求項１に記載の画像送信装置。
【請求項６】
さらに、前記画像取得部で取得した画像データから再生される画像の動き量を検出する動き検出部を備え、
前記符号化部は、前記動き検出部で検出した画像の動き量が所定の閾値よりも大きくなった場合には、画像データの色成分の選択に代えて画像データのすべての色成分の画像データを符号化する請求項１に記載の画像送信装置。
【請求項７】
さらに、前記画像取得部で取得した画像データから再生される画像の動き量を検出する動き検出部を備え、
前記符号化部は、選択色成分の画像データを符号化したデータと、前記動き検出部による前記符号化を行った色成分とは異なる色成分の動き量の情報とを前記データ転送部により転送し、フレーム毎に符号化する色成分を入れ替える請求項１に記載の画像送信装置。
【請求項８】
選択色成分の画像データを符号化したデータと前記符号化を行った色成分とは異なる色成分の動き量を受信するデータ受信部と、
前記データ受信部で受信された選択色成分の画像データを復号化する復号化部と、
前記復号化部で復号化された選択色成分の画像データを蓄積する蓄積部と、
前記蓄積部に蓄積されている過去の画像データに対して、送られてきた画像の動き量を用いて動き補償処理を行う動き補償部と、
前記蓄積部に蓄積されている過去の画像データおよび前記復号化部による復号化データを、前記画像の動き量に応じて所定のアルゴリズムで平滑化する平滑化部と、
前記平滑化部で平滑化された現在の選択色成分の復号化データと選択色成分の動き補償後のデータとを合成して画像を再生する合成部とを備えた画像受信装置。
【請求項１】
外部からの入力画像データを取得する画像取得部と、
前記画像取得部で取得した画像データの色情報を構成する複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを所定の方式で符号化するとともに、前記選択色成分をサイクリックに入れ替える符号化部と、
前記符号化部で符号化された選択色成分の画像データをデータ通信回線に転送するデータ転送部とを備えた画像送信装置。
【請求項２】
サイクリックに入れ替えられて符号化された選択色成分の画像データをデータ通信回線を介して受信するデータ受信部と、
前記データ受信部で受信された選択色成分の画像データを復号化する復号化部と、
前記復号化部で復号化された選択色成分の画像データを蓄積する蓄積部と、
前記復号化部で復号化された選択色成分の画像データと、色成分を異にする状態ですでに前記蓄積部に蓄積されている復号化された選択色成分の画像データとを合成して画像を再生する合成部とを備えた画像受信装置。
【請求項３】
前記符号化部は、前記画像取得部で取得する画像データにおける選択色成分をＹ成分、Ｕ成分、Ｙ成分、Ｖ成分、Ｙ成分、Ｕ成分のようにフレーム毎に入れ替えて繰り返し符号化する請求項１に記載の画像送信装置。
【請求項４】
前記符号化部は、前記画像取得部で取得する画像データにおける選択色成分をＹ成分、ＵＶ成分、Ｙ成分、ＵＶ成分のようにフレーム毎に入れ替えて繰り返し符号化する請求項１に記載の画像送信装置。
【請求項５】
さらに、色成分分割パターンを変更可能な分割パターン設定部を備え、
前記符号化部は、前記分割パターン設定部で設定した色成分分割パターンに則って前記画像取得部で取得した画像データの色成分を選択し、選択色成分をフレーム毎に入れ替えながら選択色成分の画像データを符号化し、前記符号化された選択色成分の画像データに前記分割パターン設定部による色成分分割パターン情報を付加して前記データ転送部より転送する請求項１に記載の画像送信装置。
【請求項６】
さらに、前記画像取得部で取得した画像データから再生される画像の動き量を検出する動き検出部を備え、
前記符号化部は、前記動き検出部で検出した画像の動き量が所定の閾値よりも大きくなった場合には、画像データの色成分の選択に代えて画像データのすべての色成分の画像データを符号化する請求項１に記載の画像送信装置。
【請求項７】
さらに、前記画像取得部で取得した画像データから再生される画像の動き量を検出する動き検出部を備え、
前記符号化部は、選択色成分の画像データを符号化したデータと、前記動き検出部による前記符号化を行った色成分とは異なる色成分の動き量の情報とを前記データ転送部により転送し、フレーム毎に符号化する色成分を入れ替える請求項１に記載の画像送信装置。
【請求項８】
選択色成分の画像データを符号化したデータと前記符号化を行った色成分とは異なる色成分の動き量を受信するデータ受信部と、
前記データ受信部で受信された選択色成分の画像データを復号化する復号化部と、
前記復号化部で復号化された選択色成分の画像データを蓄積する蓄積部と、
前記蓄積部に蓄積されている過去の画像データに対して、送られてきた画像の動き量を用いて動き補償処理を行う動き補償部と、
前記蓄積部に蓄積されている過去の画像データおよび前記復号化部による復号化データを、前記画像の動き量に応じて所定のアルゴリズムで平滑化する平滑化部と、
前記平滑化部で平滑化された現在の選択色成分の復号化データと選択色成分の動き補償後のデータとを合成して画像を再生する合成部とを備えた画像受信装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−２９０６６２（Ｐ２００９−２９０６６２Ａ）
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願番号】特願２００８−１４２３９１（Ｐ２００８−１４２３９１）
【出願日】平成２０年５月３０日（２００８．５．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願日】平成２０年５月３０日（２００８．５．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]