画像配信方法、画像配信システム
【課題】画像データを使用する受信ノードを有するネットワークにおいて、受信ノードごとに必要とする解像度が異なるときに、ネットワーク帯域の使用量の抑制と、受信ノードのデータ処理負荷の軽減とを両立させた画像配信方法を提供する。
【解決手段】原画像を分割した画像領域に含まれる画素の画素データに基づく演算によって符号化データを導出し、当該符号化データの集合からなる複数の画像を作成し、当該複数の画像を配信する。配信を受けた受信ノードは、必要とする画像の解像度に応じて符号化データを組み合わせ、使用する画像を作成する。
【解決手段】原画像を分割した画像領域に含まれる画素の画素データに基づく演算によって符号化データを導出し、当該符号化データの集合からなる複数の画像を作成し、当該複数の画像を配信する。配信を受けた受信ノードは、必要とする画像の解像度に応じて符号化データを組み合わせ、使用する画像を作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク上の受信ノードに画像を配信する方法、および、ネットワーク上の画像配信システムに関する。
【背景技術】
【０００２】
車載ネットワーク内の機器が画像を利用する場合に、何らかの仕組みで画像データの配信を受けることがある。このような仕組みの例として、車両に搭載したカメラで動画像や静止画像等の画像を撮影し、カメラに接続された受信ノードに配信した後で、その画像を利用して運転手等にサービスを提供する場合がある。画像の利用方法としては、映像を直接的または加工して表示することや、記録装置に記録すること、他の機器で使用するために加工等することが考えられる。このような受信ノードとしては例えば、運転手から死角となる部分の画像を提供する表示装置、映像を記録する装置、あるいは画像認識装置などがある。画像認識装置では、配信された画像を処理して路面状況や周囲の交通を認識し、ドライビングコントロール装置等に情報を提供して適切に運転を制御させることができる。
【０００３】
上記のように画像を配信する場合、カメラと受信ノードとの間で画像データを送受信するために、車載ネットワークを利用する場合がある。ここで代表的な車載ネットワーク技術としては、ＣＡＮ，ＬＩＮ，ＦｌｅｘＲａｙ等が存在する。例えばＣＡＮでは、通信専用線を用いてバス型のネットワークを実現している。
【０００４】
しかし、このような車載ネットワークに複数の機器を接続して使用する場合、ネットワークの帯域には上限があるため、データ衝突が起こる可能性がある。もしもデータ衝突が発生すると、配信の遅延や失敗、ひいては利用者へのサービス低下につながりかねない。一般的に、画像データ、特に動画像はデータ量が多いため、上記のような現象を可及的に防止する必要がある。
【０００５】
データ伝送量を抑える一つの方法として、画像データを圧縮して配信することができる。例えば、特許文献１には、車載ネットワークの空き帯域幅を検知し、空きに応じて適切な圧縮方法を選択してデータを伝送する方法が記載されている。また、特許文献２では、車載ネットワーク構築のコストを下げるための技術が記載されている。
【０００６】
ところで、各々の受信ノードで必要とする画像の縦および横の画素数（以下では解像度と呼び、横方向画素数×縦方向画素数で表す）は、同一とは限らない。また、カメラで撮影した画像（以下、原画像）の解像度と一致しない場合もある。したがって、撮影した画像を各々の受信ノードに相応しい解像度に変換する必要がある。この変換作業を行うタイミングとして、次の二つのパターンが存在する。
【０００７】
（１）カメラ側は、原画像を元の解像度のままネットワークに配信する。受信ノード側で受け取った画像に変換作業を施して、必要な解像度の画像を得る。
【０００８】
（２）カメラ側は、原画像を受信ノードそれぞれが必要とする解像度に変換する。その後、解像度の異なる複数の画像を全てネットワークに配信する。
【特許文献１】特開２００４−１０４５２９号公報
【特許文献２】特開２００６−１２８７６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、前述したいずれのタイミングで解像度の変換を行っても、問題が起こる可能性がある。まず（１）の方法を用いた場合、受信ノード側にデータ処理能力が要求され、処理の負荷も増大する。一方（２）の方法を用いた場合、同一の被写体を異なる解像度で配信するため、ネットワーク帯域の使用量が増大してしまう。
【００１０】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、受信ノードごとに異なる解像度の画像データを配信する際に、ネットワーク帯域の使用量の抑制と、受信ノードのデータ処理負荷の軽減とを両立させた画像配信方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために本発明では、以下の方法によって画像配信を行う。すなわち本発明は、ネットワーク内での画像配信方法であって、画像取得工程と、分割工程と、符号化工程と、配信画像作成工程と、伝送工程と、使用画像作成工程とを有するものである。
【００１２】
画像取得工程では、原画像を取得する。本発明では、画像は、複数の画素からなる画像データとして表される。画素の色彩や明度の特性は、画素データによって表すことができる。例えば、色のＲＧＢ成分それぞれの階調のひとまとまりとしたものである。また、グレースケール画像の場合は白色および黒色を両端とする階調として表すことができる。分割工程では、原画像に含まれる画素を所定数の画素からなる画像領域に分割する。
【００１３】
符号化工程では、各画像領域において、画像領域を構成する所定数の画素の画素データから、所定数の画素と同数の符号化データを算出する。ここで符号化データとは、画素データと同様に取り扱うことができる値をいう。また、符号化データを作成する際には、符号化データを所定の方法で組み合わせることによって、元の画像領域を再現できるか、元の画像領域を縦または横方向に圧縮した画像を作成できるものとする。
【００１４】
配信画像作成工程では、符号化データごとに配信画像を作成する。伝送工程では、作成した配信画像を受信ノードに配信する。
【００１５】
使用画像作成工程では、受信ノードにおいて、配信画像に基づいて受信ノードで使用する使用画像を作成する。ここで使用画像とは、当該受信ノードで使用する解像度の画像をいう。また、配信画像が必要を満たしていればそのまま利用できる。なお、使用画像のサイズは受信ノードの解像度と完全に一致する必要はない。例えば、受信ノードが表示装置であり、取得した画像のサイズが当該表示装置の解像度よりわずかに小さい場合、表示装置の中央に画像を配置しても良い。
【００１６】
このように構成された本発明によれば、取得した画像を受信ノードに配信する際に、複数の配信画像に分解して受信ノードに伝送することになる。このとき受信ノードごとに異なる配信画像を作成することはないため、配信するデータは冗長にはならず、ネットワークの帯域を浪費しないで済む。
【００１７】
また、受信ノードでは、単純な計算によって使用画像を作成できるため、データ処理の負荷増大は抑制される。また、使用画像のサイズによっては配信された画像をそのまま使用できるため、受信ノード側のデータ処理負荷が小さくて済む。
【００１８】
本発明における画像取得工程では、原画像を取得する方法として、例えば、ネットワークの外部から画像データを受信しても良く、ネットワーク内に蓄積された画像を取り出し
ても良い。また、ネットワークに接続されたカメラでの撮影によることも可能である。
【００１９】
本発明においては、配信画像作成工程で得られた配信画像のいずれか１つを原画像として、さらに分割工程、符号化工程、および配信画像作成工程を施すことができる。このように構成された本発明によれば、分解の第一段階で得られた画像よりも小さいサイズの画像を必要とする受信ノードに対して、最適な解像度の画像を配信することができる。またこのとき、ネットワークの帯域使用量増加を抑え、かつ、受信ノードに過大な処理負荷をかけないというメリットはそのまま享受できる。
【００２０】
本発明における分割工程、符号化工程、配信画像作成工程は、例えば次のようにすることができる。すなわち、まず分割工程では、原画像を縦横それぞれ２画素からなる画像領域に分割し、各画像領域の画素データをａ、ｂ、ｃ、ｄとおく。次に符号化工程では、画像領域ごとに第１符号化データＡ、第２符号化データＢ、第３符号化データＣ、および第４符号化データＤを算出する。次に配信画像作成工程では、配信画像として、各画像領域の前記第１符号化データＡの集合（以下、第１画像と呼ぶ）、前記第２符号化データＢの集合（以下、第２画像と呼ぶ）、前記第３符号化データＣの集合（以下、第３画像と呼ぶ）、および前記第４符号化データＤの集合（以下、第４画像と呼ぶ）を作成する。
【００２１】
符号化工程で符号化データを算出する方法として、例えば、第１符号化データＡを式（１）により、第２符号化データＢを式（２）により、第３符号化データＣを式（３）により、第４符号化データＤを式（４）により、それぞれ求めることができる。
Ａ＝（ａ＋ｂ＋ｃ＋ｄ）／４ … 式（１）
Ｂ＝（（ａ＋ｂ）−（ｃ＋ｄ））／４ … 式（２）
Ｃ＝（（ａ−ｂ）＋（ｃ−ｄ））／４ … 式（３）
Ｄ＝（（ａ−ｂ）−（ｃ−ｄ））／４ … 式（４）
【００２２】
こうすれば、使用画像作成工程において、符号化データを以下の様に組み合わせることにより、必要に応じた画像を作成できる。まず、第１符号化データＡ〜第４符号化データＤの４つを組み合わせることで、元の画像領域の画素データａ〜ｄを求められ、原画像を再現できる。次に、第１符号化データＡと第２符号化データＢを組み合わせることで、元の画像領域の上半分および下半分の画素データの値の平均が求められ、横方向を１／２に圧縮した画像（以下、横圧縮画像と呼ぶ）を作成できる。次に、第１符号化データＡと第３符号化データＣを組み合わせることで、元の画像領域の左半分および右半分の画素データの値の平均が求められ、縦方向を１／２に圧縮した画像（以下、縦圧縮画像と呼ぶ）を作成できる。さらに、第１符号化データＡから、元の画像領域の画素データの値の平均が求められ、縦および横方向をそれぞれ１／２に圧縮した画像（以下、縦横圧縮画像と呼ぶ）を作成することができる。
【００２３】
また、別の符号化データ算出方法として、以下の式（５）〜式（８）によって求めることができる。
Ａ＝ａ… 式（５）
Ｂ＝ａ−ｂ … 式（６）
Ｃ＝ａ−ｃ … 式（７）
Ｄ＝ａ−ｄ … 式（８）
【００２４】
本発明における複数の受信ノードは、車両に搭載するものとして実現されても良い。また、本発明におけるネットワークは、車載ネットワークとして実現されても良い。その場合、ネットワーク上にカメラを配置し、カメラで撮影することによって原画像を取得することが可能である。
【００２５】
なお、本発明は、上記工程の少なくとも一部を含むネットワーク上のデータ伝送方法として捉えることができる。また、上記工程および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【００２６】
また、本発明は、上記の方法によって画像配信を行う画像配信装置として捉えることができる。さらに、上記の処理を実行する画像配信システムとしても捉えることができる。
【発明の効果】
【００２７】
本発明によれば、受信ノードごとに異なる解像度の画像データを配信する際に、ネットワーク帯域の使用量の抑制と、受信ノードのデータ処理負荷の軽減とを両立させた画像配信方法を提供することが可能となる。
【発明を実施するための最良の形態】
【００２８】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００２９】
（実施形態１）
まず、図１〜図７を参照して実施形態１に係る画像配信方法について説明する。ここでは、車体に搭載されたカメラにより画像を撮影し、取得した画像データを液晶表示装置および画像認識装置に配信するシステムを想定している。
【００３０】
＜車載ネットワークの構成＞
図１は本実施形態における車載ネットワークの構成を表すブロック図である。構成要素はカメラ１０１、データ処理部１０２、データ伝送部１０３、液晶表示装置１０４、画像認識装置１０５、ドライビングコントロール装置１０６である。
【００３１】
カメラ１０１は車体に搭載され、解像度がＳＸＧＡサイズ（１２８０×１０２４画素）の原画像を撮影することができる。データ処理部１０２は、原画像の画素データに基づいて、後述する配信画像を作成する。カメラ１０１とデータ処理部１０２は一体の装置であっても良く、別々に構成され原画像を送受信するものとしても良い。データ伝送部１０３は車載ネットワークであり、データ処理部１０２と受信ノードの間でデータを伝送する。
【００３２】
液晶表示装置１０４は車両に乗っている者に対して画像を提供するための受信ノードであり、ＶＧＡサイズ（６４０×４８０画素）の画像を表示できる。画像認識装置１０５は、画像を元に車両の周囲の状況を判断し、ドライビングコントロール装置１０６に伝えるための受信ノードである。画像認識装置１０５が処理できるのはＳＸＧＡサイズの画像である。ドライビングコントロール装置１０６は、画像認識装置１０５の状況判断に基づいて運転を制御する。
【００３３】
＜配信画像作成までの流れ＞
以降、必要に応じて図６のフローチャートのステップ番号（Ｓ６ｘｘ）を示しつつ、配信画像を作成するまでの処理について説明する。
【００３４】
（画像取得工程）
本工程は原画像を取得するための工程である。カメラ１０１は車両外部の映像を撮影し、Ａ／Ｄ変換を施すことによって１２８０×１０２４画素の画像を取得する（Ｓ６０１）。ここで撮影した画像の例を図２に示す。本実施形態においてはｍ＝１２８０，ｎ＝１０２４である。また、各画素の明度および色度を表現するために、画素のＲＧＢ各成分を０〜２５５までの階調で表したものを画素データと呼ぶ事とする。
【００３５】
（分割工程）
本工程は、データ処理の便宜のために原画像を分割する工程である。データ処理部１０２は、原画像を複数の画像領域に分割する（Ｓ６０２）。本実施形態では、１つの画像領域を縦２×横２画素の合計４画素からなるものとする。ここで、ｐ＝ｍ／２，ｑ＝ｎ／２とおくと、前述の図２に示したように、原画像をＲ１１〜Ｒｐｑまでの６４０×５１２個の画像領域に分割することができる。
【００３６】
分割した一つの画像領域の例を図３に示す。以降、左上の画素データ＝ａ、右上の画素データ＝ｂ、左下の画素データ＝ｃ、右下の画素データ＝ｄとする。
【００３７】
（符号化工程）
データ処理部１０２は、画素データａ〜ｄの値から、第１符号化データＡ〜第４符号化データＤを算出する（Ｓ６０３）。本実施形態においては以下の式（１）〜式（４）を使用する。
Ａ＝（ａ＋ｂ＋ｃ＋ｄ）／４ … 式（１）
Ｂ＝（（ａ＋ｂ）−（ｃ＋ｄ））／４ … 式（２）
Ｃ＝（（ａ−ｂ）＋（ｃ−ｄ））／４ … 式（３）
Ｄ＝（（ａ−ｂ）−（ｃ−ｄ））／４ … 式（４）
【００３８】
本工程の概念図を図４に示す。かかる演算を全ての画像領域で実行することによって、６４０×５１２個の各符号化データが得られる。
【００３９】
ここで、本実施形態での画素データはＲＧＢ成分の集合をいうため、各成分について演算を行う必要がある。例えば画素データａのＲＧＢ値が（ａｒ，ａｇ，ａｂ）、画素データｂが（ｂｒ，ｂｇ，ｂｂ）の場合、式（ａ＋ｂ）とは、ＲＧＢ値（ａｒ＋ｂｒ，ａｇ＋ｂｇ，ａｂ＋ｂｂ）を求める演算を意味する。
【００４０】
このように求めた符号化データを組み合わせることにより、画像を得る方法を以下に示す。まず、原画像を得るためには、画像領域における画素データａ〜ｄが分かればよい。具体的には式（５）〜式（８）を用いた演算を行う。
ａ＝（Ａ＋Ｂ＋Ｃ＋Ｄ） … 式（５）
ｂ＝（Ａ＋Ｂ−Ｃ−Ｄ） … 式（６）
ｃ＝（Ａ−Ｂ＋Ｃ−Ｄ） … 式（７）
ｄ＝（Ａ−Ｂ−Ｃ＋Ｄ） … 式（８）
【００４１】
次に、横圧縮画像を得るためには、画像領域の上半分の画素データの平均値と、下半分の平均値が分かればよい。具体的には式（９）、式（１０）を用いた演算を行う。
（ａ＋ｂ）／２＝Ａ＋Ｂ … 式（９）
（ｃ＋ｄ）／２＝Ａ−Ｂ … 式（１０）
【００４２】
次に、縦圧縮画像を得るためには、画像領域の左半分の画素データの平均値と、右半分の平均値が分かればよい。具体的には式（１１）、式（１２）を用いた演算を行う。
（ａ＋ｃ）／２＝Ａ＋Ｃ … 式（１１）
（ｂ＋ｄ）／２＝Ａ−Ｃ … 式（１２）
【００４３】
また、縦横圧縮画像を得るためには、４つの画素データの平均値が分かればよい。この平均値は、式（１）により求めた第１符号化データＡとして既に得られている。
【００４４】
（配信画像作成工程）
データ処理部１０２は、車載ネットワークに送出するための配信画像として第１画像〜第４画像を作成する（Ｓ６０４）。
【００４５】
配信画像の例として、第１符号化データＡから作成した第１画像を図５に示す。ここでは各画像領域の第１符号化データＡを元の画像領域の並び順と同様に配置することにより、６４０×５１２画素サイズの第１画像が得られる。同様に、第２符号化データＢから第２画像を、第３符号化データＣから第３画像を、第４符号化データＤから第４画像を作成できる。
【００４６】
＜画像を使用するまでの流れ＞
以降、必要に応じて図７のフローチャートのステップ番号（Ｓ７ｘｘ）を示しつつ、受信ノードが画像を使用するまでの処理について説明する。
【００４７】
（伝送工程）
データ処理部１０２は、配信画像作成工程で作成した第１画像〜第４画像を、データ伝送部１０３を経由して受信ノードである液晶表示装置１０４および画像認識装置１０５に送出（ブロードキャスト送信）する。なお、送出に際しては第１画像、第２画像、第３画像、第４画像の順序となるようにする（Ｓ７０１）。
【００４８】
ここでデータ伝送部１０３に送出されるデータ量について検討すると、各画像はそれぞれ６４０×５１２画素からなるため、４×（６４０×５１２）＝１３１０７２０画素となる。一方、原画像を送出した場合は１２８０×１０２４＝１３１０７２０画素である。すなわち、本実施形態の送出方法によってデータ転送量が増加することはないと言ってよい。
【００４９】
なお、画像を送出する際には上述の方法に限られることなく、車載ネットワークのトポロジーに応じて適切な方法を選択できる。例えば車載ネットワークとしてＣＡＮを使用していれば、マルチキャスト方式により受信ノードに画像を取得させても良い。また、画像を送出する際に、動画像であればＭＰＥＧ２、ＭＰＥＧ４等、静止画像であればＪＰＥＧ、ＪＰＥＧ２０００等のデータ圧縮技術を利用して、帯域の使用率を抑える事もできる。
【００５０】
（使用画像作成工程）
本工程では、各受信ノードが、配信画像に基づいて使用画像を作成する。各受信ノードの使用画像の解像度は異なるため、この処理は受信ノードごとに行われる。
【００５１】
まず、液晶表示装置１０４について説明する。伝送工程で最初に受信した第１画像から、実際に使用する画像を作成できるかどうかを判断する（Ｓ７０２）。この場合、第１画像のサイズ（６４０×５１２画素）が使用画像のサイズ（６４０×４８０画素）よりも大きいので、条件は満たされている（結果：Ｙ）。そのため、第２画像以降の配信画像は受信しない。
【００５２】
受信ノードで横圧縮画像、縦圧縮画像、または縦横圧縮画像を使用する場合は、引き続いて符号化データＡ〜Ｄに基づく演算を実行するが（Ｓ７０３）、ここでは第１画像がそのまま使用できるため、このステップは実行しない。
【００５３】
続いて画像のサイズ調整が必要かどうかを判断する（Ｓ７０４）。ここでは縦方向の画素数を減らす必要がある（結果：Ｎ）。そこで、第１画像の上下それぞれ１６画素分の列を切り取ることにより、必要なサイズの画像を取得する（Ｓ７０５）。その後、液晶表示装置は加工済みの画像を使用する（Ｓ７０６）。
【００５４】
このように、本実施形態において液晶表示装置１０４は第１画像のみを使用して処理を行う。従って液晶表示装置１０４は第２画像〜第４画像の受信を待つ必要は無く、第１画
像を受信した段階で本工程を実施できる。なお、受信に際してはヘッダ情報等を参照して第１画像のみを受信するようにしても良い。
【００５５】
ところで、画像サイズを縮小する方法として、原画像から単純に画素を抜き出す方法が知られている。例えば前述の図３で言うと、各画像領域から画素データａだけをサンプリングしたのち配列し、６４０×５１２画素サイズの画像を得る方法である。しかし、この方法ではエイリアシングの問題が起きる場合がある。すなわち、原画像とサンプリング間隔の関係よっては画像に歪みが生じることがある。一方、本実施形態の第１画像は４つの画素データの平均値を取っているので、このようなエイリアシングの問題は起きない。
【００５６】
次に、１２８０×１０２４画素サイズの画像を使用する画像認識装置１０５について検討する。この場合は原画像を復元して使用するため、第１画像〜第４画像までの全てを受信する必要がある。従って、受信ノードは第４画像まで受信した時点で（Ｓ７０１）、はじめて使用画像を作成できるようになる（Ｓ７０２の結果：Ｙ）。画像認識装置１０５は、第４画像まで受信した後に、前述した式（５）〜式（８）を用いて画素データａ〜ｄを算出し、元の画像領域を復元し、各画像領域を合わせて原画像を復元する（Ｓ７０３）。
【００５７】
画像認識装置１０５の場合は原画像のサイズと使用画像のサイズが一致しているため（Ｓ７０４の結果：Ｙ）、復元した原画像のサイズを調整することなく、そのまま使用できる（Ｓ７０６）。
【００５８】
本実施形態においては、受信ノードの画素サイズが６４０×４８０の場合（画像表示装置１０４）、および１２８０×１０２４の場合（画像認識装置１０５）について説明したが、仮に画素サイズが異なっていても、同様の処理フローで対処できる。例えば、横圧縮画像（６４０×１０２４画素サイズ）が必要であれば、前述した式（９）、式（１０）を用いて画像を作成できる。また、縦圧縮画像（１２８０×５１２画素サイズ）が必要であれば、前述した式（１１）、式（１２）を用いて画像を作成できる。
【００５９】
なお、横圧縮画像を使用する受信ノードにおいては、配信画像のうち第１画像と第２画像を受信した段階で使用画像作成工程に移行することができる。そのため、処理時間を短縮することが可能となる。また、ヘッダ等の情報を参照して使用する画像だけを選択的に受信しても良い。
【００６０】
また、縦圧縮画像を使用する受信ノードにおいては、第１画像〜第３画像までを受信した段階で、使用画像作成工程に移行することができる。
【００６１】
本実施形態によれば、このように単純な四則演算により使用画像を作成することができるため、受信ノード側でのデータ処理の負荷を抑制することができる。
【００６２】
なお、本実施形態においてカメラ１０１が撮影する原画像は、カメラ及び受信ノードの機能に応じて静止画像または動画像を選択することができる。動画像とした場合のフレームレートは、カメラや受信ノードの性能に応じて設定することができる。
【００６３】
また、本実施形態においては画素データをＲＧＢ値で表現したが、他の表色系を使用したり、グレースケール画像を利用しても良い。グレースケール画像を使用する場合は、例えば、画素が白色の時に２５５、黒色の時に０というように画素データを規定することができる。
【００６４】
（実施形態２）
以下に実施形態２について説明する。本実施形態は、実施形態１で作成した第１画像（
原画像の画素データから式（１）によって算出した符号化データＡの集合）を、さらに複数の画像に分解し伝送する方法である。
【００６５】
本実施形態に係る車載ネットワークの構成を図８に示す。実施形態１と比較すると、新たに画像記録装置８０７が加わっている。画像記録装置８０７は、ＱＶＧＡサイズ（３２０×２４０画素）の画像を記録できる記録装置である。
【００６６】
＜画像処理の流れ＞
カメラ１０１によって画像を取得する方法、および、データ処理部１０２において第１画像〜第４画像を作成する手順は実施形態１と同一であるため、説明を省略する。
【００６７】
続いてデータ処理部１０２は、第１画像（サイズは６４０×５１２画素）を原画像として、再度分割工程、符号化工程、配信画像作成工程を実行する。すなわち、まず第１画像を縦２×横２画素ごとに分割し、３２０×２５６個の画像領域を作成する。次に、各画像領域ごとに、前述した式（１）〜式（４）に画素データａ〜ｄの値を代入し、符号化データＡ〜Ｄを算出する。次に、各符号化データを、元の画像領域と同様の並び順に配置する。
【００６８】
このような処理により、３２０×２５６画素サイズの画像を４枚得ることができる。すなわち、符号化データＡに対応する第１−１画像、符号化データＢに対応する第１−２画像、符号化データＣに対応する第１−３画像、および符号化データＤに対応する第１−４画像である。
【００６９】
続いてデータ処理部１０２は、車載ネットワークを構成するデータ伝送部１０３を経由して、第１−１画像〜第１−４画像、および第２画像〜第４画像を配信する。このときのデータ伝送量は、４×（３２０×２５６）＋３×（６４０×５１２）＝１３１０７２０画素分である。これは実施形態１と同じ数値であり、データ伝送量の増加を抑制していると言える。
【００７０】
続いて、ＱＶＧＡサイズ（３２０×２４０画素）の画像を使用する画像記録装置８０７での処理について説明する。画像記録装置８０７が受信した第１−１画像のサイズでは大きいので、例えば上下８列ずつを切り取る等の加工をして使用する。
【００７１】
また、ＶＧＡサイズ（６４０×４８０画素）の画像を使用する液晶表示装置１０４においては、第１−１画像〜第１−４画像から、式（５）〜式（８）を用いて６４０×５１２画素サイズの第１画像を復元し、上下を切り取って使用する。
【００７２】
さらに、１２８０×１０２４画素サイズの画像を使用する画像認識装置１０５においても同様に第１画像を復元し、第２画像〜第４画像とあわせて原画像を復元する。
【００７３】
（実施形態３）
以下に実施形態３について説明する。本実施形態は、実施形態１とは異なる方法で符号化データを作成する場合である。
【００７４】
本実施形態において、車載ネットワークの構成や、原画像を画像領域に分割する方法は実施形態１と同一であり、説明は省略する。
【００７５】
本実施形態における符号化工程では、符号化データを作成する際の変換式が、実施形態１と異なっている。すなわち、画素データａ〜ｄを以下の式（９）〜式（１２）にあてはめ、第１符号化データＡ〜第４符号化データＤを算出する。
Ａ＝ａ… 式（９）
Ｂ＝ａ−ｂ … 式（１０）
Ｃ＝ａ−ｃ … 式（１１）
Ｄ＝ａ−ｄ … 式（１２）
【００７６】
続いて、各画像領域の第１符号化データＡを元の画像領域と同様に配列して、第１画像を作成する。同様に、第２符号化データＢから第２画像を、第３符号化データＣから第３画像を、第４符号化データＤから第４画像を作成する。
【００７７】
続いて、作成した第１画像〜第４画像を各受信ノードに伝送する。このときのデータ伝送量は、４×（６４０×５１２）＝１３１０７２０画素分であり、原画像のデータ伝送量や実施形態１でのデータ伝送量と同じである。
【００７８】
配信画像を取得した受信ノードは、原画像サイズの画像を使用する場合は、以下の式を用いて画素データを復元する。このように単純な計算によって原画像が復元できるため、受信ノードがデータ処理に要する負荷は軽い。
ａ＝Ａ
ｂ＝Ａ−Ｂ
ｃ＝Ａ−Ｃ
ｄ＝Ａ−Ｄ
【図面の簡単な説明】
【００７９】
【図１】実施形態１に係る車載ネットワークの構成を示すブロック図。
【図２】原画像を画像領域に分割する方法を表す図。
【図３】画像領域内での画素の配置を表す図。
【図４】画像領域内における符号化データ作成の概念図
【図５】符号化データから配信画像を作成する方法を表す図。
【図６】実施形態１に係る配信画像作成までの処理を示すフローチャート。
【図７】実施形態１に係る受信ノードでの処理を示すフローチャート。
【図８】実施形態２に係る車載ネットワークの構成を示すブロック図。
【符号の説明】
【００８０】
１０１ カメラ
１０２ データ処理部
１０３ データ伝送部
１０４ 液晶表示装置
１０５ 画像認識装置
８０７ 画像記録装置
【技術分野】
【０００１】
本発明は、ネットワーク上の受信ノードに画像を配信する方法、および、ネットワーク上の画像配信システムに関する。
【背景技術】
【０００２】
車載ネットワーク内の機器が画像を利用する場合に、何らかの仕組みで画像データの配信を受けることがある。このような仕組みの例として、車両に搭載したカメラで動画像や静止画像等の画像を撮影し、カメラに接続された受信ノードに配信した後で、その画像を利用して運転手等にサービスを提供する場合がある。画像の利用方法としては、映像を直接的または加工して表示することや、記録装置に記録すること、他の機器で使用するために加工等することが考えられる。このような受信ノードとしては例えば、運転手から死角となる部分の画像を提供する表示装置、映像を記録する装置、あるいは画像認識装置などがある。画像認識装置では、配信された画像を処理して路面状況や周囲の交通を認識し、ドライビングコントロール装置等に情報を提供して適切に運転を制御させることができる。
【０００３】
上記のように画像を配信する場合、カメラと受信ノードとの間で画像データを送受信するために、車載ネットワークを利用する場合がある。ここで代表的な車載ネットワーク技術としては、ＣＡＮ，ＬＩＮ，ＦｌｅｘＲａｙ等が存在する。例えばＣＡＮでは、通信専用線を用いてバス型のネットワークを実現している。
【０００４】
しかし、このような車載ネットワークに複数の機器を接続して使用する場合、ネットワークの帯域には上限があるため、データ衝突が起こる可能性がある。もしもデータ衝突が発生すると、配信の遅延や失敗、ひいては利用者へのサービス低下につながりかねない。一般的に、画像データ、特に動画像はデータ量が多いため、上記のような現象を可及的に防止する必要がある。
【０００５】
データ伝送量を抑える一つの方法として、画像データを圧縮して配信することができる。例えば、特許文献１には、車載ネットワークの空き帯域幅を検知し、空きに応じて適切な圧縮方法を選択してデータを伝送する方法が記載されている。また、特許文献２では、車載ネットワーク構築のコストを下げるための技術が記載されている。
【０００６】
ところで、各々の受信ノードで必要とする画像の縦および横の画素数（以下では解像度と呼び、横方向画素数×縦方向画素数で表す）は、同一とは限らない。また、カメラで撮影した画像（以下、原画像）の解像度と一致しない場合もある。したがって、撮影した画像を各々の受信ノードに相応しい解像度に変換する必要がある。この変換作業を行うタイミングとして、次の二つのパターンが存在する。
【０００７】
（１）カメラ側は、原画像を元の解像度のままネットワークに配信する。受信ノード側で受け取った画像に変換作業を施して、必要な解像度の画像を得る。
【０００８】
（２）カメラ側は、原画像を受信ノードそれぞれが必要とする解像度に変換する。その後、解像度の異なる複数の画像を全てネットワークに配信する。
【特許文献１】特開２００４−１０４５２９号公報
【特許文献２】特開２００６−１２８７６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、前述したいずれのタイミングで解像度の変換を行っても、問題が起こる可能性がある。まず（１）の方法を用いた場合、受信ノード側にデータ処理能力が要求され、処理の負荷も増大する。一方（２）の方法を用いた場合、同一の被写体を異なる解像度で配信するため、ネットワーク帯域の使用量が増大してしまう。
【００１０】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、受信ノードごとに異なる解像度の画像データを配信する際に、ネットワーク帯域の使用量の抑制と、受信ノードのデータ処理負荷の軽減とを両立させた画像配信方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために本発明では、以下の方法によって画像配信を行う。すなわち本発明は、ネットワーク内での画像配信方法であって、画像取得工程と、分割工程と、符号化工程と、配信画像作成工程と、伝送工程と、使用画像作成工程とを有するものである。
【００１２】
画像取得工程では、原画像を取得する。本発明では、画像は、複数の画素からなる画像データとして表される。画素の色彩や明度の特性は、画素データによって表すことができる。例えば、色のＲＧＢ成分それぞれの階調のひとまとまりとしたものである。また、グレースケール画像の場合は白色および黒色を両端とする階調として表すことができる。分割工程では、原画像に含まれる画素を所定数の画素からなる画像領域に分割する。
【００１３】
符号化工程では、各画像領域において、画像領域を構成する所定数の画素の画素データから、所定数の画素と同数の符号化データを算出する。ここで符号化データとは、画素データと同様に取り扱うことができる値をいう。また、符号化データを作成する際には、符号化データを所定の方法で組み合わせることによって、元の画像領域を再現できるか、元の画像領域を縦または横方向に圧縮した画像を作成できるものとする。
【００１４】
配信画像作成工程では、符号化データごとに配信画像を作成する。伝送工程では、作成した配信画像を受信ノードに配信する。
【００１５】
使用画像作成工程では、受信ノードにおいて、配信画像に基づいて受信ノードで使用する使用画像を作成する。ここで使用画像とは、当該受信ノードで使用する解像度の画像をいう。また、配信画像が必要を満たしていればそのまま利用できる。なお、使用画像のサイズは受信ノードの解像度と完全に一致する必要はない。例えば、受信ノードが表示装置であり、取得した画像のサイズが当該表示装置の解像度よりわずかに小さい場合、表示装置の中央に画像を配置しても良い。
【００１６】
このように構成された本発明によれば、取得した画像を受信ノードに配信する際に、複数の配信画像に分解して受信ノードに伝送することになる。このとき受信ノードごとに異なる配信画像を作成することはないため、配信するデータは冗長にはならず、ネットワークの帯域を浪費しないで済む。
【００１７】
また、受信ノードでは、単純な計算によって使用画像を作成できるため、データ処理の負荷増大は抑制される。また、使用画像のサイズによっては配信された画像をそのまま使用できるため、受信ノード側のデータ処理負荷が小さくて済む。
【００１８】
本発明における画像取得工程では、原画像を取得する方法として、例えば、ネットワークの外部から画像データを受信しても良く、ネットワーク内に蓄積された画像を取り出し
ても良い。また、ネットワークに接続されたカメラでの撮影によることも可能である。
【００１９】
本発明においては、配信画像作成工程で得られた配信画像のいずれか１つを原画像として、さらに分割工程、符号化工程、および配信画像作成工程を施すことができる。このように構成された本発明によれば、分解の第一段階で得られた画像よりも小さいサイズの画像を必要とする受信ノードに対して、最適な解像度の画像を配信することができる。またこのとき、ネットワークの帯域使用量増加を抑え、かつ、受信ノードに過大な処理負荷をかけないというメリットはそのまま享受できる。
【００２０】
本発明における分割工程、符号化工程、配信画像作成工程は、例えば次のようにすることができる。すなわち、まず分割工程では、原画像を縦横それぞれ２画素からなる画像領域に分割し、各画像領域の画素データをａ、ｂ、ｃ、ｄとおく。次に符号化工程では、画像領域ごとに第１符号化データＡ、第２符号化データＢ、第３符号化データＣ、および第４符号化データＤを算出する。次に配信画像作成工程では、配信画像として、各画像領域の前記第１符号化データＡの集合（以下、第１画像と呼ぶ）、前記第２符号化データＢの集合（以下、第２画像と呼ぶ）、前記第３符号化データＣの集合（以下、第３画像と呼ぶ）、および前記第４符号化データＤの集合（以下、第４画像と呼ぶ）を作成する。
【００２１】
符号化工程で符号化データを算出する方法として、例えば、第１符号化データＡを式（１）により、第２符号化データＢを式（２）により、第３符号化データＣを式（３）により、第４符号化データＤを式（４）により、それぞれ求めることができる。
Ａ＝（ａ＋ｂ＋ｃ＋ｄ）／４ … 式（１）
Ｂ＝（（ａ＋ｂ）−（ｃ＋ｄ））／４ … 式（２）
Ｃ＝（（ａ−ｂ）＋（ｃ−ｄ））／４ … 式（３）
Ｄ＝（（ａ−ｂ）−（ｃ−ｄ））／４ … 式（４）
【００２２】
こうすれば、使用画像作成工程において、符号化データを以下の様に組み合わせることにより、必要に応じた画像を作成できる。まず、第１符号化データＡ〜第４符号化データＤの４つを組み合わせることで、元の画像領域の画素データａ〜ｄを求められ、原画像を再現できる。次に、第１符号化データＡと第２符号化データＢを組み合わせることで、元の画像領域の上半分および下半分の画素データの値の平均が求められ、横方向を１／２に圧縮した画像（以下、横圧縮画像と呼ぶ）を作成できる。次に、第１符号化データＡと第３符号化データＣを組み合わせることで、元の画像領域の左半分および右半分の画素データの値の平均が求められ、縦方向を１／２に圧縮した画像（以下、縦圧縮画像と呼ぶ）を作成できる。さらに、第１符号化データＡから、元の画像領域の画素データの値の平均が求められ、縦および横方向をそれぞれ１／２に圧縮した画像（以下、縦横圧縮画像と呼ぶ）を作成することができる。
【００２３】
また、別の符号化データ算出方法として、以下の式（５）〜式（８）によって求めることができる。
Ａ＝ａ… 式（５）
Ｂ＝ａ−ｂ … 式（６）
Ｃ＝ａ−ｃ … 式（７）
Ｄ＝ａ−ｄ … 式（８）
【００２４】
本発明における複数の受信ノードは、車両に搭載するものとして実現されても良い。また、本発明におけるネットワークは、車載ネットワークとして実現されても良い。その場合、ネットワーク上にカメラを配置し、カメラで撮影することによって原画像を取得することが可能である。
【００２５】
なお、本発明は、上記工程の少なくとも一部を含むネットワーク上のデータ伝送方法として捉えることができる。また、上記工程および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【００２６】
また、本発明は、上記の方法によって画像配信を行う画像配信装置として捉えることができる。さらに、上記の処理を実行する画像配信システムとしても捉えることができる。
【発明の効果】
【００２７】
本発明によれば、受信ノードごとに異なる解像度の画像データを配信する際に、ネットワーク帯域の使用量の抑制と、受信ノードのデータ処理負荷の軽減とを両立させた画像配信方法を提供することが可能となる。
【発明を実施するための最良の形態】
【００２８】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００２９】
（実施形態１）
まず、図１〜図７を参照して実施形態１に係る画像配信方法について説明する。ここでは、車体に搭載されたカメラにより画像を撮影し、取得した画像データを液晶表示装置および画像認識装置に配信するシステムを想定している。
【００３０】
＜車載ネットワークの構成＞
図１は本実施形態における車載ネットワークの構成を表すブロック図である。構成要素はカメラ１０１、データ処理部１０２、データ伝送部１０３、液晶表示装置１０４、画像認識装置１０５、ドライビングコントロール装置１０６である。
【００３１】
カメラ１０１は車体に搭載され、解像度がＳＸＧＡサイズ（１２８０×１０２４画素）の原画像を撮影することができる。データ処理部１０２は、原画像の画素データに基づいて、後述する配信画像を作成する。カメラ１０１とデータ処理部１０２は一体の装置であっても良く、別々に構成され原画像を送受信するものとしても良い。データ伝送部１０３は車載ネットワークであり、データ処理部１０２と受信ノードの間でデータを伝送する。
【００３２】
液晶表示装置１０４は車両に乗っている者に対して画像を提供するための受信ノードであり、ＶＧＡサイズ（６４０×４８０画素）の画像を表示できる。画像認識装置１０５は、画像を元に車両の周囲の状況を判断し、ドライビングコントロール装置１０６に伝えるための受信ノードである。画像認識装置１０５が処理できるのはＳＸＧＡサイズの画像である。ドライビングコントロール装置１０６は、画像認識装置１０５の状況判断に基づいて運転を制御する。
【００３３】
＜配信画像作成までの流れ＞
以降、必要に応じて図６のフローチャートのステップ番号（Ｓ６ｘｘ）を示しつつ、配信画像を作成するまでの処理について説明する。
【００３４】
（画像取得工程）
本工程は原画像を取得するための工程である。カメラ１０１は車両外部の映像を撮影し、Ａ／Ｄ変換を施すことによって１２８０×１０２４画素の画像を取得する（Ｓ６０１）。ここで撮影した画像の例を図２に示す。本実施形態においてはｍ＝１２８０，ｎ＝１０２４である。また、各画素の明度および色度を表現するために、画素のＲＧＢ各成分を０〜２５５までの階調で表したものを画素データと呼ぶ事とする。
【００３５】
（分割工程）
本工程は、データ処理の便宜のために原画像を分割する工程である。データ処理部１０２は、原画像を複数の画像領域に分割する（Ｓ６０２）。本実施形態では、１つの画像領域を縦２×横２画素の合計４画素からなるものとする。ここで、ｐ＝ｍ／２，ｑ＝ｎ／２とおくと、前述の図２に示したように、原画像をＲ１１〜Ｒｐｑまでの６４０×５１２個の画像領域に分割することができる。
【００３６】
分割した一つの画像領域の例を図３に示す。以降、左上の画素データ＝ａ、右上の画素データ＝ｂ、左下の画素データ＝ｃ、右下の画素データ＝ｄとする。
【００３７】
（符号化工程）
データ処理部１０２は、画素データａ〜ｄの値から、第１符号化データＡ〜第４符号化データＤを算出する（Ｓ６０３）。本実施形態においては以下の式（１）〜式（４）を使用する。
Ａ＝（ａ＋ｂ＋ｃ＋ｄ）／４ … 式（１）
Ｂ＝（（ａ＋ｂ）−（ｃ＋ｄ））／４ … 式（２）
Ｃ＝（（ａ−ｂ）＋（ｃ−ｄ））／４ … 式（３）
Ｄ＝（（ａ−ｂ）−（ｃ−ｄ））／４ … 式（４）
【００３８】
本工程の概念図を図４に示す。かかる演算を全ての画像領域で実行することによって、６４０×５１２個の各符号化データが得られる。
【００３９】
ここで、本実施形態での画素データはＲＧＢ成分の集合をいうため、各成分について演算を行う必要がある。例えば画素データａのＲＧＢ値が（ａｒ，ａｇ，ａｂ）、画素データｂが（ｂｒ，ｂｇ，ｂｂ）の場合、式（ａ＋ｂ）とは、ＲＧＢ値（ａｒ＋ｂｒ，ａｇ＋ｂｇ，ａｂ＋ｂｂ）を求める演算を意味する。
【００４０】
このように求めた符号化データを組み合わせることにより、画像を得る方法を以下に示す。まず、原画像を得るためには、画像領域における画素データａ〜ｄが分かればよい。具体的には式（５）〜式（８）を用いた演算を行う。
ａ＝（Ａ＋Ｂ＋Ｃ＋Ｄ） … 式（５）
ｂ＝（Ａ＋Ｂ−Ｃ−Ｄ） … 式（６）
ｃ＝（Ａ−Ｂ＋Ｃ−Ｄ） … 式（７）
ｄ＝（Ａ−Ｂ−Ｃ＋Ｄ） … 式（８）
【００４１】
次に、横圧縮画像を得るためには、画像領域の上半分の画素データの平均値と、下半分の平均値が分かればよい。具体的には式（９）、式（１０）を用いた演算を行う。
（ａ＋ｂ）／２＝Ａ＋Ｂ … 式（９）
（ｃ＋ｄ）／２＝Ａ−Ｂ … 式（１０）
【００４２】
次に、縦圧縮画像を得るためには、画像領域の左半分の画素データの平均値と、右半分の平均値が分かればよい。具体的には式（１１）、式（１２）を用いた演算を行う。
（ａ＋ｃ）／２＝Ａ＋Ｃ … 式（１１）
（ｂ＋ｄ）／２＝Ａ−Ｃ … 式（１２）
【００４３】
また、縦横圧縮画像を得るためには、４つの画素データの平均値が分かればよい。この平均値は、式（１）により求めた第１符号化データＡとして既に得られている。
【００４４】
（配信画像作成工程）
データ処理部１０２は、車載ネットワークに送出するための配信画像として第１画像〜第４画像を作成する（Ｓ６０４）。
【００４５】
配信画像の例として、第１符号化データＡから作成した第１画像を図５に示す。ここでは各画像領域の第１符号化データＡを元の画像領域の並び順と同様に配置することにより、６４０×５１２画素サイズの第１画像が得られる。同様に、第２符号化データＢから第２画像を、第３符号化データＣから第３画像を、第４符号化データＤから第４画像を作成できる。
【００４６】
＜画像を使用するまでの流れ＞
以降、必要に応じて図７のフローチャートのステップ番号（Ｓ７ｘｘ）を示しつつ、受信ノードが画像を使用するまでの処理について説明する。
【００４７】
（伝送工程）
データ処理部１０２は、配信画像作成工程で作成した第１画像〜第４画像を、データ伝送部１０３を経由して受信ノードである液晶表示装置１０４および画像認識装置１０５に送出（ブロードキャスト送信）する。なお、送出に際しては第１画像、第２画像、第３画像、第４画像の順序となるようにする（Ｓ７０１）。
【００４８】
ここでデータ伝送部１０３に送出されるデータ量について検討すると、各画像はそれぞれ６４０×５１２画素からなるため、４×（６４０×５１２）＝１３１０７２０画素となる。一方、原画像を送出した場合は１２８０×１０２４＝１３１０７２０画素である。すなわち、本実施形態の送出方法によってデータ転送量が増加することはないと言ってよい。
【００４９】
なお、画像を送出する際には上述の方法に限られることなく、車載ネットワークのトポロジーに応じて適切な方法を選択できる。例えば車載ネットワークとしてＣＡＮを使用していれば、マルチキャスト方式により受信ノードに画像を取得させても良い。また、画像を送出する際に、動画像であればＭＰＥＧ２、ＭＰＥＧ４等、静止画像であればＪＰＥＧ、ＪＰＥＧ２０００等のデータ圧縮技術を利用して、帯域の使用率を抑える事もできる。
【００５０】
（使用画像作成工程）
本工程では、各受信ノードが、配信画像に基づいて使用画像を作成する。各受信ノードの使用画像の解像度は異なるため、この処理は受信ノードごとに行われる。
【００５１】
まず、液晶表示装置１０４について説明する。伝送工程で最初に受信した第１画像から、実際に使用する画像を作成できるかどうかを判断する（Ｓ７０２）。この場合、第１画像のサイズ（６４０×５１２画素）が使用画像のサイズ（６４０×４８０画素）よりも大きいので、条件は満たされている（結果：Ｙ）。そのため、第２画像以降の配信画像は受信しない。
【００５２】
受信ノードで横圧縮画像、縦圧縮画像、または縦横圧縮画像を使用する場合は、引き続いて符号化データＡ〜Ｄに基づく演算を実行するが（Ｓ７０３）、ここでは第１画像がそのまま使用できるため、このステップは実行しない。
【００５３】
続いて画像のサイズ調整が必要かどうかを判断する（Ｓ７０４）。ここでは縦方向の画素数を減らす必要がある（結果：Ｎ）。そこで、第１画像の上下それぞれ１６画素分の列を切り取ることにより、必要なサイズの画像を取得する（Ｓ７０５）。その後、液晶表示装置は加工済みの画像を使用する（Ｓ７０６）。
【００５４】
このように、本実施形態において液晶表示装置１０４は第１画像のみを使用して処理を行う。従って液晶表示装置１０４は第２画像〜第４画像の受信を待つ必要は無く、第１画
像を受信した段階で本工程を実施できる。なお、受信に際してはヘッダ情報等を参照して第１画像のみを受信するようにしても良い。
【００５５】
ところで、画像サイズを縮小する方法として、原画像から単純に画素を抜き出す方法が知られている。例えば前述の図３で言うと、各画像領域から画素データａだけをサンプリングしたのち配列し、６４０×５１２画素サイズの画像を得る方法である。しかし、この方法ではエイリアシングの問題が起きる場合がある。すなわち、原画像とサンプリング間隔の関係よっては画像に歪みが生じることがある。一方、本実施形態の第１画像は４つの画素データの平均値を取っているので、このようなエイリアシングの問題は起きない。
【００５６】
次に、１２８０×１０２４画素サイズの画像を使用する画像認識装置１０５について検討する。この場合は原画像を復元して使用するため、第１画像〜第４画像までの全てを受信する必要がある。従って、受信ノードは第４画像まで受信した時点で（Ｓ７０１）、はじめて使用画像を作成できるようになる（Ｓ７０２の結果：Ｙ）。画像認識装置１０５は、第４画像まで受信した後に、前述した式（５）〜式（８）を用いて画素データａ〜ｄを算出し、元の画像領域を復元し、各画像領域を合わせて原画像を復元する（Ｓ７０３）。
【００５７】
画像認識装置１０５の場合は原画像のサイズと使用画像のサイズが一致しているため（Ｓ７０４の結果：Ｙ）、復元した原画像のサイズを調整することなく、そのまま使用できる（Ｓ７０６）。
【００５８】
本実施形態においては、受信ノードの画素サイズが６４０×４８０の場合（画像表示装置１０４）、および１２８０×１０２４の場合（画像認識装置１０５）について説明したが、仮に画素サイズが異なっていても、同様の処理フローで対処できる。例えば、横圧縮画像（６４０×１０２４画素サイズ）が必要であれば、前述した式（９）、式（１０）を用いて画像を作成できる。また、縦圧縮画像（１２８０×５１２画素サイズ）が必要であれば、前述した式（１１）、式（１２）を用いて画像を作成できる。
【００５９】
なお、横圧縮画像を使用する受信ノードにおいては、配信画像のうち第１画像と第２画像を受信した段階で使用画像作成工程に移行することができる。そのため、処理時間を短縮することが可能となる。また、ヘッダ等の情報を参照して使用する画像だけを選択的に受信しても良い。
【００６０】
また、縦圧縮画像を使用する受信ノードにおいては、第１画像〜第３画像までを受信した段階で、使用画像作成工程に移行することができる。
【００６１】
本実施形態によれば、このように単純な四則演算により使用画像を作成することができるため、受信ノード側でのデータ処理の負荷を抑制することができる。
【００６２】
なお、本実施形態においてカメラ１０１が撮影する原画像は、カメラ及び受信ノードの機能に応じて静止画像または動画像を選択することができる。動画像とした場合のフレームレートは、カメラや受信ノードの性能に応じて設定することができる。
【００６３】
また、本実施形態においては画素データをＲＧＢ値で表現したが、他の表色系を使用したり、グレースケール画像を利用しても良い。グレースケール画像を使用する場合は、例えば、画素が白色の時に２５５、黒色の時に０というように画素データを規定することができる。
【００６４】
（実施形態２）
以下に実施形態２について説明する。本実施形態は、実施形態１で作成した第１画像（
原画像の画素データから式（１）によって算出した符号化データＡの集合）を、さらに複数の画像に分解し伝送する方法である。
【００６５】
本実施形態に係る車載ネットワークの構成を図８に示す。実施形態１と比較すると、新たに画像記録装置８０７が加わっている。画像記録装置８０７は、ＱＶＧＡサイズ（３２０×２４０画素）の画像を記録できる記録装置である。
【００６６】
＜画像処理の流れ＞
カメラ１０１によって画像を取得する方法、および、データ処理部１０２において第１画像〜第４画像を作成する手順は実施形態１と同一であるため、説明を省略する。
【００６７】
続いてデータ処理部１０２は、第１画像（サイズは６４０×５１２画素）を原画像として、再度分割工程、符号化工程、配信画像作成工程を実行する。すなわち、まず第１画像を縦２×横２画素ごとに分割し、３２０×２５６個の画像領域を作成する。次に、各画像領域ごとに、前述した式（１）〜式（４）に画素データａ〜ｄの値を代入し、符号化データＡ〜Ｄを算出する。次に、各符号化データを、元の画像領域と同様の並び順に配置する。
【００６８】
このような処理により、３２０×２５６画素サイズの画像を４枚得ることができる。すなわち、符号化データＡに対応する第１−１画像、符号化データＢに対応する第１−２画像、符号化データＣに対応する第１−３画像、および符号化データＤに対応する第１−４画像である。
【００６９】
続いてデータ処理部１０２は、車載ネットワークを構成するデータ伝送部１０３を経由して、第１−１画像〜第１−４画像、および第２画像〜第４画像を配信する。このときのデータ伝送量は、４×（３２０×２５６）＋３×（６４０×５１２）＝１３１０７２０画素分である。これは実施形態１と同じ数値であり、データ伝送量の増加を抑制していると言える。
【００７０】
続いて、ＱＶＧＡサイズ（３２０×２４０画素）の画像を使用する画像記録装置８０７での処理について説明する。画像記録装置８０７が受信した第１−１画像のサイズでは大きいので、例えば上下８列ずつを切り取る等の加工をして使用する。
【００７１】
また、ＶＧＡサイズ（６４０×４８０画素）の画像を使用する液晶表示装置１０４においては、第１−１画像〜第１−４画像から、式（５）〜式（８）を用いて６４０×５１２画素サイズの第１画像を復元し、上下を切り取って使用する。
【００７２】
さらに、１２８０×１０２４画素サイズの画像を使用する画像認識装置１０５においても同様に第１画像を復元し、第２画像〜第４画像とあわせて原画像を復元する。
【００７３】
（実施形態３）
以下に実施形態３について説明する。本実施形態は、実施形態１とは異なる方法で符号化データを作成する場合である。
【００７４】
本実施形態において、車載ネットワークの構成や、原画像を画像領域に分割する方法は実施形態１と同一であり、説明は省略する。
【００７５】
本実施形態における符号化工程では、符号化データを作成する際の変換式が、実施形態１と異なっている。すなわち、画素データａ〜ｄを以下の式（９）〜式（１２）にあてはめ、第１符号化データＡ〜第４符号化データＤを算出する。
Ａ＝ａ… 式（９）
Ｂ＝ａ−ｂ … 式（１０）
Ｃ＝ａ−ｃ … 式（１１）
Ｄ＝ａ−ｄ … 式（１２）
【００７６】
続いて、各画像領域の第１符号化データＡを元の画像領域と同様に配列して、第１画像を作成する。同様に、第２符号化データＢから第２画像を、第３符号化データＣから第３画像を、第４符号化データＤから第４画像を作成する。
【００７７】
続いて、作成した第１画像〜第４画像を各受信ノードに伝送する。このときのデータ伝送量は、４×（６４０×５１２）＝１３１０７２０画素分であり、原画像のデータ伝送量や実施形態１でのデータ伝送量と同じである。
【００７８】
配信画像を取得した受信ノードは、原画像サイズの画像を使用する場合は、以下の式を用いて画素データを復元する。このように単純な計算によって原画像が復元できるため、受信ノードがデータ処理に要する負荷は軽い。
ａ＝Ａ
ｂ＝Ａ−Ｂ
ｃ＝Ａ−Ｃ
ｄ＝Ａ−Ｄ
【図面の簡単な説明】
【００７９】
【図１】実施形態１に係る車載ネットワークの構成を示すブロック図。
【図２】原画像を画像領域に分割する方法を表す図。
【図３】画像領域内での画素の配置を表す図。
【図４】画像領域内における符号化データ作成の概念図
【図５】符号化データから配信画像を作成する方法を表す図。
【図６】実施形態１に係る配信画像作成までの処理を示すフローチャート。
【図７】実施形態１に係る受信ノードでの処理を示すフローチャート。
【図８】実施形態２に係る車載ネットワークの構成を示すブロック図。
【符号の説明】
【００８０】
１０１ カメラ
１０２ データ処理部
１０３ データ伝送部
１０４ 液晶表示装置
１０５ 画像認識装置
８０７ 画像記録装置
【特許請求の範囲】
【請求項１】
原画像を取得する画像取得工程と、
前記原画像を所定数の画素からなる画像領域に分割する分割工程と、
各々の画像領域について、前記所定数の画素と同数の符号化データを算出する符号化工程と、
前記符号化データごとに配信画像を作成する配信画像作成工程と、
前記配信画像を受信ノードに配信する伝送工程と、
前記受信ノードにおける使用画像を作成する使用画像作成工程と
を有する、ネットワーク内での画像配信方法であって、
任意の画像領域について、その画像領域から算出した符号化データを組み合わせることにより、この画像領域、または、この画像領域を縦もしくは横方向に圧縮した画像を作成可能であり、
前記使用画像作成工程は、前記使用画像に応じた組み合せによって前記符号化データから使用画像を作成する
ことを特徴とする画像配信方法。
【請求項２】
前記分割工程は、原画像を縦横それぞれ２画素からなる画像領域に分割するものであり、
前記符号化工程は、前記画像領域ごとに４種類の符号化データを算出するものであり、
前記配信画像作成工程で作成する配信画像は、各画像領域から同じ種類の符号化データを集合させたものである
ことを特徴とする請求項１に記載の画像配信方法。
【請求項３】
前記符号化工程は、前記画像領域の画素データａ〜ｄと式（１）〜式（４）から符号化データＡ〜Ｄを算出するものである
ことを特徴とする請求項２に記載の画像配信方法。
Ａ＝（ａ＋ｂ＋ｃ＋ｄ）／４ … 式（１）
Ｂ＝（（ａ＋ｂ）−（ｃ＋ｄ））／４ … 式（２）
Ｃ＝（（ａ−ｂ）＋（ｃ−ｄ））／４ … 式（３）
Ｄ＝（（ａ−ｂ）−（ｃ−ｄ））／４ … 式（４）
【請求項４】
前記符号化工程は、前記符号化データＡを集合させた配信画像を原画像として、更に前記分割工程、前記符号化工程、および前記配信画像作成工程を行うものである
ことを特徴とする請求項３に記載の画像配信方法
【請求項５】
前記画像取得工程は、ネットワークに接続された撮影機器を用いて前記原画像を取得するものである
ことを特徴とする請求項１〜４のいずれか１項に記載の画像配信方法。
【請求項６】
前記撮影機器および前記複数の受信ノードは車両に搭載するものであり、前記ネットワークは車載ネットワークである
ことを特徴とする請求項１〜５のいずれか１項に記載の画像配信方法。
【請求項７】
ネットワークで接続された画像配信部と複数の受信ノードで構成される画像配信システムであって、
前記画像配信部は、
原画像を取得する画像取得手段と、原画像を所定数の画素からなる画像領域に分割する分割手段と、各々の画像領域について前記所定数と同数の符号化データを算出する符号化手段と、前記符号化データごとに配信画像を作成する配信画像作成手段とを有し、
前記受信ノードは、使用画像の画素数に応じて符号化データを組み合わせて、前記画像領域および、前記画像領域を縦または横方向に圧縮した画像を作成する
ことを特徴とする画像配信システム。
【請求項１】
原画像を取得する画像取得工程と、
前記原画像を所定数の画素からなる画像領域に分割する分割工程と、
各々の画像領域について、前記所定数の画素と同数の符号化データを算出する符号化工程と、
前記符号化データごとに配信画像を作成する配信画像作成工程と、
前記配信画像を受信ノードに配信する伝送工程と、
前記受信ノードにおける使用画像を作成する使用画像作成工程と
を有する、ネットワーク内での画像配信方法であって、
任意の画像領域について、その画像領域から算出した符号化データを組み合わせることにより、この画像領域、または、この画像領域を縦もしくは横方向に圧縮した画像を作成可能であり、
前記使用画像作成工程は、前記使用画像に応じた組み合せによって前記符号化データから使用画像を作成する
ことを特徴とする画像配信方法。
【請求項２】
前記分割工程は、原画像を縦横それぞれ２画素からなる画像領域に分割するものであり、
前記符号化工程は、前記画像領域ごとに４種類の符号化データを算出するものであり、
前記配信画像作成工程で作成する配信画像は、各画像領域から同じ種類の符号化データを集合させたものである
ことを特徴とする請求項１に記載の画像配信方法。
【請求項３】
前記符号化工程は、前記画像領域の画素データａ〜ｄと式（１）〜式（４）から符号化データＡ〜Ｄを算出するものである
ことを特徴とする請求項２に記載の画像配信方法。
Ａ＝（ａ＋ｂ＋ｃ＋ｄ）／４ … 式（１）
Ｂ＝（（ａ＋ｂ）−（ｃ＋ｄ））／４ … 式（２）
Ｃ＝（（ａ−ｂ）＋（ｃ−ｄ））／４ … 式（３）
Ｄ＝（（ａ−ｂ）−（ｃ−ｄ））／４ … 式（４）
【請求項４】
前記符号化工程は、前記符号化データＡを集合させた配信画像を原画像として、更に前記分割工程、前記符号化工程、および前記配信画像作成工程を行うものである
ことを特徴とする請求項３に記載の画像配信方法
【請求項５】
前記画像取得工程は、ネットワークに接続された撮影機器を用いて前記原画像を取得するものである
ことを特徴とする請求項１〜４のいずれか１項に記載の画像配信方法。
【請求項６】
前記撮影機器および前記複数の受信ノードは車両に搭載するものであり、前記ネットワークは車載ネットワークである
ことを特徴とする請求項１〜５のいずれか１項に記載の画像配信方法。
【請求項７】
ネットワークで接続された画像配信部と複数の受信ノードで構成される画像配信システムであって、
前記画像配信部は、
原画像を取得する画像取得手段と、原画像を所定数の画素からなる画像領域に分割する分割手段と、各々の画像領域について前記所定数と同数の符号化データを算出する符号化手段と、前記符号化データごとに配信画像を作成する配信画像作成手段とを有し、
前記受信ノードは、使用画像の画素数に応じて符号化データを組み合わせて、前記画像領域および、前記画像領域を縦または横方向に圧縮した画像を作成する
ことを特徴とする画像配信システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２１７９７（Ｐ２０１０−２１７９７Ａ）
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００８−１８０５０６（Ｐ２００８−１８０５０６）
【出願日】平成２０年７月１０日（２００８．７．１０）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成２０年７月１０日（２００８．７．１０）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]