画像処理装置、画像処理プログラムおよび画像処理方法
【課題】複数の自然現象が混在する画像であっても、適切なサイズの領域ごとに自然現象を特定すること。
【解決手段】画像処理装置100は、予め決めた対象領域110について、まず、全領域を対象としてヒストグラム101を作成する。例示したヒストグラム101の場合、自然現象を特定できるような特徴が表れていない。そこで、画像処理装置100は、対象画像110の領域を4つに分割する。そして、4つに分割された各領域を対象としてヒストグラム102を作成する。ヒストグラム102の場合、右上の領域と、左下の領域には、自然現象を特定できるような特徴が表れている。したがって、2つの領域(右上、左下)については、そのまま自然現象を特定して、特定結果を保持する。反対に、右下の領域と、左上の領域には、自然現象を特定できるような特徴が表れていない。そこで、画像処理装置100は、2つの領域(右下、左上)をさらに4つに分割する。
【解決手段】画像処理装置100は、予め決めた対象領域110について、まず、全領域を対象としてヒストグラム101を作成する。例示したヒストグラム101の場合、自然現象を特定できるような特徴が表れていない。そこで、画像処理装置100は、対象画像110の領域を4つに分割する。そして、4つに分割された各領域を対象としてヒストグラム102を作成する。ヒストグラム102の場合、右上の領域と、左下の領域には、自然現象を特定できるような特徴が表れている。したがって、2つの領域(右上、左下)については、そのまま自然現象を特定して、特定結果を保持する。反対に、右下の領域と、左上の領域には、自然現象を特定できるような特徴が表れていない。そこで、画像処理装置100は、2つの領域(右下、左上)をさらに4つに分割する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、画像を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関する。
【背景技術】
【0002】
従来より、気象観測や気象予報などの用途から、気象衛星などの人工衛星から撮像した画像を利用して、どのような自然現象が起こっているのかを自動的に特定する技術が利用されている。従来の技術では、赤外線センサの撮像画像や可視光センサの撮像画像の輝度に基づいて、画像内に映っている自然現象がどのような現象であるかを特定している。
【0003】
通常、特定の自然現象(快晴・大雨・地雨(層雲系の雲から降る雨で、同程度の強さで長い間降る雨))を撮像した場合、画像内に含まれる画素の輝度に応じた分布は、自然現象ごとに異なる特徴(分布が示す極大値など)を表す。したがって、画像中の画素の輝度レベルの分布が特定の現象が観測された場合と同等の特徴を表しているかに基づいて、画像に映っている領域中でどのような現象が起きているかを推定し特定することができる。
【0004】
ところが、快晴の部分と地雨の部分とが近接しているなど、画像に映っている領域中に分布の特徴の異なる複数種類の現象が含まれる場合、輝度レベルの分布が示す特徴が不明確になり、実際にどのような現象かを特定できないことがあった。
【0005】
また、一般的に気象衛星の撮像画像のデータ量は膨大であり、処理対象となる領域も最大の場合、地球全体に及ぶことがある。したがって、実際の撮像画像を表示させるのではなく、撮像画像に映っている自然現象を特定する技術を利用することは、実際の撮像画像に代えて地図上に表示されることにより、少ないデータ量で分かりやすく状況を報知できるという側面もある。
【0006】
そこで、公知の技術として撮像画像すべてを処理するのではなく、利用者が関心のある領域を抽出して、抽出した領域のみ現象の特定結果を表示させる技術(たとえば、下記非特許文献1参照。)があった。その他にも、撮像画像の中から、利用者が関心のある領域を細かく分割して、分割された複数の領域を、同じ特徴を持つ領域ごとに分類するという技術があった(たとえば、下記非特許文献2参照。)。
【0007】
さらに、撮像画像のデータ量を軽減させるための技術として、撮像画像の1フレームの全輝度値の度数分布を領域毎にパターン分類した上で符号化する手法も開示されている(たとえば、下記特許文献1参照。)。その他にも、撮像画像に含まれる画素のうち、似た色を持つ隣接する画素をまとめたセルを構成して、撮像画像のデータ量を軽減させる技術も開示されている。具体的には、セルの状態が収束したかどうかを判定することによって、セルを構成する部分画像内の色の輝度差があるしきい値を超えた場合に分割条件を満たし、部分画像をさらに4分割する(たとえば、下記特許文献2参照。)。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平9−147101号公報
【特許文献2】特開2001−297329号公報
【非特許文献】
【0009】
【非特許文献1】河野公一、「ノア画像を用いた多次元ヒストグラムによる海域抽出に関する研究」、東北大学学位論文、平成15年3月24日
【非特許文献2】CodeZine,「画像を同じ特徴を持つ複数の領域に分ける方法」、http://codezine.jp/article/detail/167?p=2,<平成22年3月18日検索>
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、上記非特許文献1,2の技術を利用することによって、自然現象を特定する際の対象画像を細分化することはできるが、いずれの技術も利用者が個別に細分化対象となる箇所を指示する必要がある。また、どの程度細分化するかといった判断も利用者に委ねられている。したがって、細分化する機能を備えながら適正に細分化できない場合があるという問題があった。
【0011】
また、データ量を削減するための上記特許文献1,2の技術では、撮像画像に所定の符号化を施したり、しきい値に基づいて分割を行っている。結果として自然現象を特定する対象画像単位のデータ量の軽減は図れるが、従来の処理と比較して処理ステップが増加してしまっている。結果として、処理負荷が増加してしまっていた。
【0012】
また、たとえ画像が分割されたとしても、分割された各画像が同じ自然現象を含む場合、各画像についてそれぞれ自然現象を特定する処理を行うことになる。すなわち、同じ特定結果を得る場合であっても、自然現象を特定するまでの処理量が増えてしまうという問題があった。
【0013】
本開示技術は、上述した従来技術による問題点を解消するため、複数の自然現象が混在する画像であっても、適切なサイズの領域ごとに自然現象を特定することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0014】
上述した課題を解決し、目的を達成するため、本開示技術は、観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する処理と、検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する処理と、前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する処理と、分割された分割後の対象画像の輝度分布の特徴を検出させる処理と、前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する処理とを含むことを要件とする。
【発明の効果】
【0015】
本画像処理装置、画像処理プログラムおよび画像処理方法によれば、複数の自然現象が混在する画像であっても、適切なサイズの領域ごとに自然現象を特定することができるという効果を奏する。
【図面の簡単な説明】
【0016】
【図1】本実施の形態にかかる画像処理の一例を示す説明図である。
【図2】撮像画像を利用したヒストグラムの生成例を示す説明図である。
【図3】ヒストグラムを利用した自然現象の特定例を示す説明図である。
【図4】複数の自然現象が混在する場合のヒストグラム例を示す説明図である。
【図5】領域分割によるヒストグラムの変化を示す説明図である。
【図6】画像処理装置のハードウェア構成を示すブロック図である。
【図7】画像処理装置の機能的構成を示すブロック図である。
【図8】画像処理の手順を示すフローチャートである。
【図9】ヒストグラムのパターン特定処理を示す説明図である。
【図10】パターン特定結果に基づいた三次元ヒストグラムパターンの決定例を示す説明図である。
【図11】領域分割と位置情報との設定例を示す説明図である。
【図12】衛星画像の取得例を示す説明図である。
【図13】衛星画像を用いた画像処理の手順を示すフローチャートである。
【図14】画像処理結果の一例を示す説明図である。
【図15】しきい値Xとしきい値Yの設定例を示す説明図である。
【図16】任意の撮像画像についてのヒストグラムの生成例を示す説明図である。
【発明を実施するための形態】
【0017】
以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法の好適な実施の形態を詳細に説明する。
【0018】
図1は、本実施の形態にかかる画像処理の一例を示す説明図である。図1のように、本実施の形態は、画像処理装置100を利用して対象画像110に映っている自然現象を特定した特定情報120を作成する。対象画像110とは、気象衛星などの人工衛星によって地上を撮像した画像である。また、特定情報120は、対象画像110に映っている自然現象を特定した特定結果を表した情報である。
【0019】
本実施の形態でも、従来技術と同様に対象画像110に含まれる画素から、輝度の変化に応じたヒストグラムを作成して、ヒストグラムが表す特徴から自然現象を特定している。一方で、本実施の形態にかかる画像処理装置100は、従来技術と異なり、対象画像110に映っている自然現象の範囲に応じて自動的に対象画像110を適切に分割することができる。
【0020】
図2は、撮像画像を利用したヒストグラムの生成例を示す説明図である。気象衛星には通常複数種類のセンサが搭載されており、随時同じ領域を複数種類のセンサによって撮像している。したがって、図2のように、撮像画像として同じ領域を撮像した赤外線センサによる撮像画像210と、可視光センサによる撮像画像220が提供される。
【0021】
ヒストグラムは、各センサの撮像画像210,220の中の対象領域200に含まれる画素を輝度レベルに応じて作成される。また、図2のように、赤外線センサによる撮像画像210内の画素を対象として作成したヒストグラムを一次元ヒストグラム211と呼び、赤外線センサと可視光センサとによる各撮像画像210,220内の画素を対象として作成したヒストグラムを二次元ヒストグラム221と呼び、それぞれ異なる特徴が生じる。
【0022】
図3は、ヒストグラムを利用した自然現象の特定例を示す説明図である。図3のモデル図300を利用することによって、各センサによる撮像画像から作成したヒストグラムの特徴に応じて、撮像画像にどのような自然現象が映っているのかを特定することができる。図3のモデル図300では、可視光センサと赤外線センサから作成したヒストグラム301,302の特徴の組み合わせで特定できる自然現象を示している。
【0023】
モデル図300は、ヒストグラム301,302の最大値が輝度レベルのどの位置に表れるかに応じて、各センサのヒストグラム301,302がどのような特徴を持つかを判断している。具体的には、輝度レベルを低・中・高に3分割して、各ヒストグラム301,302の最大値がいずれのレベルであるかの判断結果の組み合わせに応じて、「快晴」、「薄曇」、「地雨」、「大雨」の四つの自然現象を特定することができる。具体的には、下記のようなレベルの組み合わせによって自然現象を特定することができる。
【0024】
赤外線センサ輝度レベル低:可視光センサ輝度レベル低=快晴領域
赤外線センサ輝度レベル高:可視光センサ輝度レベル低=薄曇領域
赤外線センサ輝度レベル低:可視光センサ輝度レベル高=地雨領域
赤外線センサ輝度レベル高:可視光センサ輝度レベル高=大雨領域
(なお、図3に示したモデル図300は一例であり、センサの種類や組み合わせによって、特定できる自然現象は異なる)
【0025】
したがって、図3に例示したヒストグラム301,302は、赤外線センサ、可視光センサ共に輝度レベル高を表しており、大雨領域が映っていることがわかる。各ヒストグラムの輝度レベルの組み合わせが「快晴」、「薄曇」、「地雨」、「大雨」の四つの領域以外になる場合は、各領域の中間的な現象とみなすことができる。
【0026】
図4は、複数の自然現象が混在する場合のヒストグラム例を示す説明図である。図4の領域400のような複数の自然現象が混在する場合、単一の自然現象が写るi海洋のヒストグラム410は、可視光センサの反射率が低いため輝度レベルが低となり、快晴状態であると特定できる。同様に、iii特定の現象域のヒストグラム430は、可視光センサの反射率が高いため輝度レベルが高となり、大雨状態であると特定できる。
【0027】
一方、ii現象の混在域のヒストグラム420では、複数の自然現象が存在するため、各自然現象を撮像した可視光センサの反射率が反映されてしまう。したがって、複数の輝度レベルに極大値が発生してしまい、いずれの自然現象を表す特徴であるかを特定できない。
【0028】
図5は、領域分割によるヒストグラムの変化を示す説明図である。図4にて説明したように、ii現象の混在域のヒストグラム420には、複数の自然現象を撮像した場合の特徴が反映されてしまっている。そこで、本実施の形態では、ii現象の混在域のように、自然現象を特定できないヒストグラム420が作成されてしまった領域に対して、自然現象ごとの特徴が表れるような小さなサイズとなるように領域分割を行う。
【0029】
たとえば、ii現象の混在域を、特定の自然現象が発生している領域ごとに領域分割して、それぞれヒストグラムを作成すると、ヒストグラム510〜530のような特徴が表れ得る。領域分割後の各領域のヒストグラム510〜530には、特定の自然現象を表す極大値が表れているため、発生している自然現象を特定することができる。したがって、本実施の形態では、上述したような領域分割を必要な箇所に限定して適用するため、効率的に自然現象を特定することができる。ここで、図1に戻り、本実施の形態にかかる画像処理装置100による領域分割について説明する。
【0030】
図1の画像処理装置100では、対象画像110について、まず、全領域を対象としてヒストグラム101を作成する。例示したヒストグラム101の場合、自然現象を特定できるような特徴が表れていない。そこで、画像処理装置100は、対象画像110の領域を4つに等分割する(分割の手法は適宜調整できる)。
【0031】
そして、画像処理装置100は、4つに等分割された各領域を対象としてヒストグラム102を作成する。ヒストグラム102の場合、右上の領域と、左下の領域には、自然現象を特定できるような特徴が表れている。したがって、2つの領域(右上、左下)については、そのまま自然現象を特定して、特定結果を保持する。反対に、右下の領域と、左上の領域には、自然現象を特定できるような特徴が表れていない。そこで、画像処理装置100は、2つの領域(右下、左上)をさらに4つに等分割する。
【0032】
先ほどの分割後と同様に、画像処理装置100は、さらに4つに等分割された各領域を対象としてヒストグラム103を作成する。ヒストグラム103の場合も、分割された各領域について、自然現象を特定できるような特徴が表れているか否かの判断が行われる。そして、画像処理装置100は、判断結果に応じて、自然現象の特定、もしくは、さらなる領域分割のいずれかの処理を行う。
【0033】
なお、画像処理装置100は、自然現象が特定できなかった場合の分割回数の上限を設定してもよい。たとえば、ヒストグラム103の場合、右下の領域を4分割した各領域のうち、未だに2つの領域の自然現象が特定できなかった。そこで、自然現象が特定できなかった領域をさらに4分割する。すなわち、最初に画像処理装置100に与えられた対象画像110と比較して、1/64のサイズに領域分割されていることになる。
【0034】
領域分割後の各領域(1/64サイズの領域)について、自然現象が特定できなかった場合、さらに、4分割してもよいが、分割後の領域を表すアドレスに多数のビットが必要になる場合や、分割される領域の数が多数になる場合などは、特定情報120を得るための処理量が増加したり、特定情報120自体のデータ量が増加したりといった問題が発生する可能性がある。したがって、所定回数以上分割した後に、自然現象が特定できなかった領域については、自然現象不明を表す表示を行ってもよい。何回まで分割を行うかは、特定情報120のデータ量の上限や、画像処理装置100に求める精度によって、利用者が適宜設定すればよい。
【0035】
以上説明したように、本実施の形態にかかる画像処理装置100は、自然現象が特定できるようなヒストグラムが作成できるまで、対象画像110の分割を繰り返す。また、分割の途中で、自然現象を特定できた領域に関しては、特定できた時点でのサイズごとの特定結果を保持する。したがって、対象画像110に映っている自然現象の状況に応じて、自然現象を特定する際の対象となる領域のサイズを変更することができる。自然現象は、分割後の領域ごとに特定され、特定情報120として出力される。特定情報120では、分割された領域ごとに、自然現象を表す情報(パターン名や識別子)と紐付けているため、各自然現象を表す色彩やアイコンなどを表示して、利用者に自然現象が把握し易いような可視化を行うこともできる。
【0036】
また、本実施の形態にかかる画像処理装置100では、あらかじめ自然現象ごとに用意した多次元ヒストグラムの分布の特徴を表すパターンの中から、対象画像110についてのヒストグラムが表す分布の特徴との一致判断を行っている。すなわち、複雑な変換処理や特徴抽出を行うことなく、従来技術と同じく、分布の極大値を検出するといった容易な処理のみで自然現象を特定している。また、特定結果は、あらかじめ用意されたパターンのいずれに該当するかを表せばよい。したがって、従来のヒストグラムでは特定できなかった領域についても自然現象が特定でき、なおかつ、特定された自然現象を少ないデータ量で表現することができる。
【0037】
以下には、上述した画像処理を実現する画像処理装置100の具体的な構成と処理内容について説明する。
【0038】
(画像処理装置のハードウェア構成)
図6は、画像処理装置のハードウェア構成を示すブロック図である。図6において、画像処理装置100は、CPU(Central Processing Unit)601と、ROM(Read‐Only Memory)602と、RAM(Random Access Memory)603と、磁気ディスクドライブ604と、磁気ディスク605と、光ディスクドライブ606と、光ディスク607と、ディスプレイ608と、I/F(Interface)609と、キーボード610と、マウス611と、スキャナ612と、プリンタ613と、を備えている。また、各構成部はバス600によってそれぞれ接続されている。
【0039】
ここで、CPU601は、画像処理装置100の全体の制御を司る。ROM602は、本実施の形態にかかる画像処理を実現する画像処理プログラムやブートプログラムなどの各種プログラムを記憶している。RAM603は、CPU601のワークエリアとして使用される。磁気ディスクドライブ604は、CPU601の制御にしたがって磁気ディスク605に対するデータのリード/ライトを制御する。磁気ディスク605は、磁気ディスクドライブ604の制御で書き込まれたデータを記憶する。
【0040】
光ディスクドライブ606は、CPU601の制御にしたがって光ディスク607に対するデータのリード/ライトを制御する。光ディスク607は、光ディスクドライブ606の制御で書き込まれたデータを記憶したり、光ディスク607に記憶されたデータをコンピュータに読み取らせたりする。
【0041】
ディスプレイ608は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ608は、たとえば、CRT、TFT液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
【0042】
インターフェース(以下、「I/F」と略する。)609は、通信回線を通じてLAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどのネットワーク614に接続され、このネットワーク614を介して他の装置に接続される。そして、I/F609は、ネットワーク614と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。I/F609には、たとえばモデムやLANアダプタなどを採用することができる。
【0043】
キーボード610は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス611は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
【0044】
スキャナ612は、画像を光学的に読み取り、画像処理装置100内に画像データを取り込む。なお、スキャナ612は、OCR(Optical Character Reader)機能を持たせてもよい。また、プリンタ613は、画像データや文書データを印刷する。プリンタ613には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。
【0045】
(画像処理装置の機能的構成)
図7は、画像処理装置の機能的構成を示すブロック図である。画像処理装置100は、検出部701と、特定部702と、分割部703と、制御部704と、出力部705と、作成部706と、を含む構成である。この制御部となる機能(検出部701〜作成部706)は、具体的には、たとえば、図6に示したROM602、RAM603、磁気ディスク605、光ディスク607などの記憶装置に記憶されたプログラムをCPU601に実行させることにより、または、I/F609により、その機能を実現する。
【0046】
検出部701は、対象画像110に含まれる画素の輝度ごとの出現頻度を表す分布から極大値を検出する機能を有する。極大値とは、分布が表す局所的な最大値を意味する。なお、上述したように、分布は、数式から得られたものではなく、対象画像110内に含まれている画素を輝度ごとに累積した累積結果である。したがって、検出部701も、数学的に極大値を検出しているのではなく、実際に分布が示す画素の値を比較して検出している。なお、対象画像110として同一の領域を撮像した複数のセンサによる撮像画像が提供されることがある。複数のセンサによる撮像画像であっても、同様に、各撮像画像に含まれる画素の輝度ごとの出現頻度を表す分布から極大値を検出すればよい。
【0047】
また、分布が表す画素数によっては、複数の極大値(たとえば、輝度レベル1の位置と、輝度レベル4の位置など)が含まれている場合もあり、検出部701は、分布に含まれているすべての極大値を検出する。また、検出部701は、分布が表す各値によっては極大値を特定できないことがある。極大値を特定できない場合には、極大値を特定できない旨を検出結果とする。なお、検出結果は、RAM603、磁気ディスク605、光ディスク607などの記憶領域に記憶される。
【0048】
特定部702は、検出部701によって検出された極大値に基づいて、対象画像110における画素の分布(すなわち、対象画像110に含まれる画素の輝度ごとの出現頻度を表す分布)の特徴が、どの自然現象を表しているかを特定する機能を有する。具体的には、画像処理装置100には、地上に発生する自然現象の中から、各自然現象の撮像画像に含まれる画素の輝度ごとの出現頻度を表す分布の特徴を表すパターンが用意されている。したがって、特定部702が、対象画像110における画素の分布の特徴と、分布の特徴が一致するパターンを特定する。特定されたパターンが表す自然現象が、すなわち、対象画像110に映っている自然現象となる。
【0049】
また、上述したように、対象画像110として複数のセンサによる撮像画像が提供されていることもある。分布の特徴はセンサによって異なるため、センサごとに一致するパターンを特定する必要がある。そして、特定部702は、特定結果の組み合わせによって自然現象を特定することができる。たとえば、赤外線センサではパターン1(IR)、可視光センサではパターン2(VIS)となるため、パターン1(IR)とパターン2(VIS)との組み合わせによって自然現象パターン2が特定される。結果として特定部702は、自然現象パターン2が表す自然現象(たとえば「快晴」)を対象画像110に映っている自然現象として特定する。なお、特定結果は、RAM603、磁気ディスク605、光ディスク607などの記憶領域に記憶される。
【0050】
分割部703は、自然現象が特定されなかった対象画像110を複数の対象画像110に分割する機能を有している。具体的には、分割部703は、特定部702によって自然現象を特定できなかった場合に、対象画像110を分割する。その他、分割部703は、検出部701によって極大値が検出されなかった場合にも、極大値が表れていなければ自然現象を特定できないため、対象画像110を分割する。分割後は、サイズの小さくなった各領域がそれぞれ新たな対象画像110となる。なお、分割結果は、RAM603、磁気ディスク605、光ディスク607などの記憶領域に記憶される。
【0051】
制御部704は、検出部701を制御して、検出処理を実行させる機能を有する。具体的には、制御部704は、分割部703によって対象画像110が分割され、あらたな対象画像110が設定されたのをトリガに、検出部701を制御して、各対象画像110について、それぞれ画像に含まれる画素の輝度に応じた分布から極大値を検出する。
【0052】
出力部705は、特定部702によって、いずれかの自然現象が特定されると、対象画像110ごとに、特定部702による特定結果を特定情報120として出力する機能を有する。したがって、対象画像110が分割部703によって分割されている場合には、分割後の各対象画像110についてそれぞれ自然現象を表す画像を作成する。出力形式としては、たとえば、ディスプレイ608への表示、プリンタ613への印刷出力、I/F609による外部装置への送信がある。また、出力する特定情報120をRAM603、磁気ディスク605、光ディスク607などの記憶領域に記憶することとしてもよい。
【0053】
作成部706は、特定結果を利用して特定された自然現象を表す画像を作成する機能を有する。すなわち、対象画像110について、特定部702によって特定された自然現象を表す画像を作成する。対象画像110が分割部703によって分割されている場合には、分割後の各対象画像110についてそれぞれ自然現象を表す画像を作成する。自然現象を表す画像とは、たとえば、対象画像110を、それぞれ自然現象を表す色や柄、アイコンなどによって表示した画像である。作成された画像は、RAM603、磁気ディスク605、光ディスク607などの記憶領域に記憶される。なお、出力部705は、作成部706によって、画像が作成されている場合には、特定情報120として、作成された画像を出力してもよい。
【0054】
(画像処理の手順)
図8は、画像処理の手順を示すフローチャートである。図8のフローチャートは、対象画像110に映っている自然現象を特定して、特定した自然現象を表す画像を出力するまでの手順を示している。図8の各処理を実行することによって、対象画像110内に複数の自然現象が映っている場合には、発生している自然現象が特定できるように、適宜細分化された特定情報120を出力することができる。
【0055】
図8において、画像処理装置100は、まず、対象画像110を取得したか否かを判断する(ステップS801)。そして、画像処理装置100は、対象画像110を取得するまで待機状態となる(ステップS801:Noのループ)。そして、対象画像110が取得されると(ステップS801:Yes)、画像処理装置100は、検出部701において、対象画像110に含まれる画素の輝度に応じた分布から極大値を検出する(ステップS802)。
【0056】
その後、画像処理装置100は、検出部701によって極大値が検出されたか否かを判断する(ステップS803)。ステップS803において、極大値が検出された場合(ステップS803:Yes)、画像処理装置100は、特定部702において、検出された極大値に基づいて、対象画像110と分布の特徴が一致する自然現象を特定する(ステップS804)。すなわち、ステップS804では、あらかじめ用意された様々な自然現象を撮像した画像に含まれる画素の輝度に応じた分布の特徴の中から、対象画像110が表す分布の特徴と一致するものを特定する。そして、分布の特徴が一致しているか否かの判断には、検出された極大値の特徴(値や輝度など)を利用している。
【0057】
そして、画像処理装置100は、今度は特定部702によって、分布の特徴が一致する自然現象が特定されたか否かを判断する(ステップS805)。ステップS805において、自然現象が特定されなかった場合(ステップS805:No)、画像処理装置100は、分割部703によって対象画像110を分割する(ステップS806)。ステップS806では、対象画像110をあらかじめ設定した手法によって分割する。たとえば、対象画像110を、4分割、3分割など指定数ごとに分割する。なお、分割後は、分割されたそれぞれの領域が対象画像110となる。
【0058】
また、画像処理装置100は、ステップS803において、極大値が検出されなかった場合にも(ステップS803:No)、分割部703によって対象画像110を分割する(ステップS806)。
【0059】
ステップS806によって、対象画像110が分割されると、画像処理装置100は、制御部704によって検出部701を制御して、分割後の各画像をあらたな対象画像110として、再度、ステップS802の処理を行って、あらたな対象画像110から極大値を検出する。
【0060】
ステップS806の分割処理は自然現象が特定されるまで繰り返し行われ、すべての対象画像110について、自然現象が特定されると(ステップS805:Yes)、画像処理装置100は、作成部706によって、対象画像110ごとに、特定された自然現象を表す画像を作成する(ステップS807)。そして、画像処理装置100は、出力部705から、ステップS807による作成画像を出力して(ステップS808)、一連の処理を終了する。
【0061】
以上説明したように、画像処理装置100では、対象画像110に含まれる画素の輝度ごとの出現頻度を表す分布から極大値を検出することによって、対象画像110に映っている自然現象を特定している。一般的には、対象画像110の分布の特徴を判断するにはヒストグラムが作成される。また、近年では、対象画像110として、赤外線センサ、可視光センサ、近赤外線センサの3つのセンサによって撮像された撮像画像を対象画像110として利用する手法が一般的である。したがって、以下には、3つのセンサによって撮像された対象画像110からヒストグラムを作成して自然現象を特定する際の手順について具体的に説明する。
【0062】
(ヒストグラムのパターン特定)
図9は、ヒストグラムのパターン特定処理を示す説明図である。また、図10は、パターン特定結果に基づいた三次元ヒストグラムパターンの決定例を示す説明図である。まず、図9を用いて対象画像110から作成されたヒストグラムがあらかじめ用意されたパターンの中のいずれと一致するか(もしくは近似する)を特定する手順について説明する。
【0063】
図9では、輝度レベルを3つのパターンに分類する例を示している。図9の各ヒストグラム910〜930は、しきい値Xを超える最大値が、輝度レベル低→中→高の3分割したいずれの領域に表れているかに応じてパターン分けされる。図9に例示した通り、輝度レベルを3分割したうちの高の領域が最大値となるヒストグラム910は、パターン1に分類される。同様に、輝度レベルの中の領域が最大値となるヒストグラム920は、パターン2、輝度レベルの低の領域が最大値となるヒストグラム930は、パターン3に分類される。
【0064】
図9のような分類は、各センサによって撮像された対象画像110についてそれぞれ行われる。3つのセンサ(3次元ヒストグラム)によって撮像されている場合であれば、3×3×3+1=28(+1はいずれにも一致しなかった場合)パターンとなる。また、最大値を特定する際に、しきい値Xに加えて、しきい値Yを上回ったか否かの判定結果を加えてもよい。しきい値Yの判定結果を加えると27×2(しきい値Yを上回ったか否かの2値)+1=55パターンとなる。
【0065】
図10では、3つのセンサによる三次元ヒストグラムの各パターンから28パターンのいずれに該当するかを特定する手順を示している。特定例1000に示すように、ある対象画像110について、センサごとにヒストグラムを作成したところ、可視光センサのヒストグラム1010はパターン1に、赤外線センサのヒストグラム1020はパターン2に、近赤外線センサのヒストグラム1030はパターン1に特定されている。
【0066】
したがって、組み合わせテーブル1001の中の三次元ヒストグラムのパターン4に特定される。三次元ヒストグラムのパターン4は特定の自然現象に紐づけられており、自然現象が特定されたことになる。また、図10に例示したような28パターンの特定結果は、1〜28までの数値で表現されるため、4ビットの数値で表現することができる。たとえ、しきい値Yの判定結果を加えたとしても、55パターンとなるため、いずれのパターンと一致するかを特定した特定結果は、1から55までの数値で表現されるため、6ビットの数値で表現することができる。
【0067】
図11は、領域分割と位置情報との設定例を示す説明図である。図11に示すように、対象画像1100のような分割がなされた場合、分割された各領域について、特定結果を表すには、領域の位置情報を表すビット+特定結果を表すビットがあればよい。対象領域1100において、1/16のサイズに分割された[1]〜[4]の位置情報は、2ビットで表すことができる。また、1/64のサイズに分割された[A]〜[D]の位置情報は、4ビットで表すことができる。したがって、上述のように、1〜28のパターンであれば、特定情報120は、下記のように表現することができる。
【0068】
[1]00+5ビット
[2]01+5ビット
[3]10+5ビット
[4]11+5ビット
[A]0010+5ビット(下位2ビットの12は[3]の位置情報を意味する
[B]0110+5ビット
[C]1010+5ビット
[D]1110+5ビット
【0069】
(衛星画像を利用した画像処理)
図12は、衛星画像の取得例を示す説明図である。つぎに、衛星画像を利用した画像処理の手順について説明する。気象衛星からは、所定サイズの衛星画像1200がセンサごとに随時送信される。画像処理装置100では、送信された衛星画像1200をそのまま利用する他にも、画像処理装置100の処理能力に応じて所定の処理サイズごとに分割した分割画像1201を対象画像110として処理を開始してもよい。
【0070】
図13は、衛星画像を用いた画像処理の手順を示すフローチャートである。図13のフローチャートは、画像処理装置100が、気象衛星が撮像した衛星画像1200(図12参照)を用いて、地上の気象状況を表す画像を出力するまでの手順を示している。図13の各処理を実行させることによって、撮像された地上で発生している自然現象と発生範囲に応じて、最適なサイズに分割された領域ごとに発生している自然現象に対応した表示が行われている。
【0071】
図13において、画像処理装置100は、まず、各センサの衛星画像を取得したか否かを判断する(ステップS1301)。ステップS1301では、各センサの衛星画像を取得したと判断されるまで待機し(ステップS1301:Noのループ)、衛星画像を取得すると(ステップS1301:Yes)、画像処理装置100が、各センサの衛星画像を領域分割して、多次元ヒストグラムを作成する(ステップS1302)。
【0072】
画像処理装置100は、ステップS1302によって作成された多次元ヒストグラムのパターンを決定する(ステップS1303)。その後、画像処理装置100は、ステップS1303によってパターンを決定した否かを判断する(ステップS1304)。ステップS1304において、パターンを決定していない判断された場合(ステップS1304:No)、画像処理装置100は、そのままステップS1308の処理に移行する。
【0073】
ステップS1304において、パターンを決定したと判断された場合(ステップS1304:Yes)、画像処理装置100は、パターンを決定していない領域をさらに4分割して、小領域を作成する(ステップS1305)。そして、画像処理装置100は、作成した小領域の多次元ヒストグラムを作成する(ステップS1306)。
【0074】
その後、画像処理装置100は、全ての小領域でパターンが決定した、もしくは、指定回数分割を繰り返したか否かを判断する(ステップS1307)。ステップS1307において、全ての小領域でパターンが決定した、もしくは、指定回数分割を繰り返した、のいずれにも該当しない場合(ステップS1307:No)、画像処理装置100は、ステップS1305の処理に移行して、再度、小領域を作成する。
【0075】
画像処理装置100は、ステップS1307において、全ての小領域でパターンが決定した、もしくは、指定回数分割を繰り返したと判断されるまで、小領域の作成を繰り返す(ステップS1307:Noのループ)。そして、全ての小領域でパターンが決定した、もしくは、指定回数分割を繰り返した場合(ステップS1307:Yes)、画像処理装置100は、パターン分けされた画像データを出力し(ステップS1308)、一連の処理を終了するか否かを判断する(ステップS1309)。
【0076】
画像処理装置100は、利用者や上位システムから終了指示を受け付けた場合、一連の処理を終了すると判断する。したがって、ステップS1309において、一連の処理を終了しないと判断された場合(ステップS1309:No)、画像処理装置100は、ステップS1301の処理に戻り、次の衛星画像が取得されるまで待機状態となる。一方、ステップS1309において、一連の処理を終了すると判断された場合(ステップS1309:Yes)、画像処理装置100は、そのまま一連の処理を終了する。
【0077】
図14は、画像処理結果の一例を示す説明図である。図13のフローチャートのステップS1308では、図14のようなパターン分けされた画像データ1400が出力される。図12にて説明したように、画像処理装置100では、地上を撮像した衛星画像1200を取得している。したがって、自然現象を特定した特定情報120を出力する際には、画像データ1400のように、表示領域のサイズを緯度経度の角度で表わしてもよい。なお、画像データ1400の表示例は一例であり、0.8°よりも大きい、もしくは、小さい緯度経度ごとに表示させてもよい。
【0078】
図15は、しきい値Xとしきい値Yの設定例を示す説明図である。また、図16は、任意の撮像画像についてのヒストグラムの生成例を示す説明図である。ヒストグラムを作成するとき、1つの輝度レベルごとに度数分布を計算するとパターンの特定が困難な場合は、例えば4つの輝度レベルごとに度数分布をカウントしてパターンの特定をしやすくしてもよい。図13のステップS1303,1306では、ヒストグラムが示す最大値からいずれのパターンに該当するかが特定される。該当するパターンを特定するには、画像処理装置100は、まず、ヒストグラムの最大値が、輝度レベルの低・中・高のいずれに該当するかを判断する。さらに、画像処理装置100は、ヒストグラムの最大値が示す画素の値としきい値X、しきい値Yとの関係を判断する。
【0079】
具体的には、しきい値X未満か、しきい値X以上しきい値Y未満か、しきい値Y以上かを判断する。そして、しきい値X未満の場合には、最大値として特徴をなしていないと判断して、パターンを決定できないものとする。各しきい値は、画素数の最大値との割合に応じて設定される。たとえば、図15の例では、しきい値Xは、画素数の最大値の1/8の値、しきい値Yは、画素数の最大値の1/4の値に設定している。
【0080】
また、図16のように、撮像画像は、気象衛星の種類やセンサの種類に応じて、画素数が一様ではない。同じ領域Xについて自然現象を特定する場合であっても、可視光センサの撮像画像1610と赤外線センサの撮像画像1620と近赤外線センサの撮像画像1630とでは、画素数が異なることがある。
【0081】
画素数の異なる各撮像画像1610〜1630を扱う場合には、画素数の絶対値に基づいてしきい値を設定すると正しくパターンを特定できない。したがって、ヒストグラム1611〜1631のように、画素数の相対値に基づいてしきい値を設定する(たとえばしきい値Xを画素20%に設定するなど)ことによって、適切なパターン分けが可能となる。
【0082】
以上説明したように、画像処理装置、画像処理プログラムおよび画像処理方法によれば、対象画像110に含まれる画素の輝度ごとの出現頻度を表す分布を利用して、自然現象が特定されるまで対象画像110の分割を繰り返す。すなわち、複数の自然現象が混在する画像であっても、対象画像110を適切なサイズの領域に分割し、分割後の各領域についてそれぞれ自然現象を特定した特定情報120が出力される。したがって、気象状況に応じて適切な必要最低量のデータによって発生している自然現象を把握させることができる。
【0083】
また、上記技術では、対象画像110における分布から極大値が検出できなかった場合には、即座に対象画像110を分割してもよい。極大値が検出できないとは、すなわち、対象画像110内の自然現象の混在を意味している。したがって、後段の特定処理を省略した効率的な処理を行うことができる。
【0084】
また、上記技術では、複数のセンサによって撮像された対象画像110を取得した場合には、センサごとに対象画像110内の分布の特徴を特定することによって、より詳細で正確な自然現象を特定することができる。また、各センサのうち、いずれか1つについて分布の特徴を得られた場合には、得られた特徴に基づいて、自然現象を特定するように設定することで、特定エラーの発生頻度を抑えることができる。
【0085】
また、上記技術では、あらかじめ気象衛星から提供された撮像画像の中の特定領域のみについて、上述したような特定処理を行うように設定してもよい。処理対象としてあらかじめ特定領域を設定しておくことによって、利用者が求める地域の自然現象を効率的に特定することができる。
【0086】
また、上記技術では、自然現象ごとに、撮像画像に発生する画素の分布について、極大値と該極大値が示す輝度との許容範囲を設定しておくことによって、検出された極大値から効率的に、対象画像110がいずれの自然現象と一致するかを特定することができる。
【0087】
また、上記技術では、分割数の上限を設定し、上限の分割でも特定できなかった場合には、該当する対象画像110について、特定不可とするように設定してもよい。分割回数の上限を設定することによって、特定情報120のデータ量の上限値を超えないように調整することができる。
【0088】
また、上記技術では、自然現象を表す画像を作成する作成機能を設けてもよい。自然現象を表す画像を作成することによって、利用者に特定された自然現象を視覚的に把握させることができる。
【0089】
なお、本実施の形態で説明した画像処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。本画像処理プログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本画像処理プログラムは、インターネットなどのネットワークを介して配布してもよい。
【0090】
また、本実施の形態で説明した画像処理装置100は、スタンダードセルやストラクチャードASIC(Application Specific Integrated Circuit)などの特定用途向けIC(以下、単に「ASIC」と称す。)やFPGAなどのPLD(Programmable Logic Device)によっても実現することができる。具体的には、たとえば、上述した画像処理装置100の機能(検出部701〜作成部706)をHDL記述によって機能定義し、そのHDL記述を論理合成してASICやPLDに与えることにより、画像処理装置100を製造することができる。
【0091】
上述した実施の形態に関し、さらに以下の付記を開示する。
【0092】
(付記1)観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する検出手段と、
前記検出手段によって検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する特定手段と、
前記特定手段によって前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する分割手段と、
前記検出手段を制御して、前記分割手段によって分割された分割後の対象画像の輝度分布の特徴を検出させる制御手段と、
前記特定手段によって、前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する出力手段と、
を備えることを特徴とする画像処理装置。
【0093】
(付記2)前記輝度分布の特徴は、輝度分布が特定の輝度において極大値をとることであり、
前記分割手段は、前記検出手段によって輝度分布の極大値が検出されなかった場合、前記対象画像を複数の対象画像に分割することを特徴とする付記1に記載の画像処理装置。
【0094】
(付記3)前記検出手段は、複数の異なる方式により観測範囲を撮像した複数の各対象画像の輝度分布の特徴を検出し、
前記特定手段は、前記検出手段によって検出された各対象画像の輝度分布の特徴と、複数の現象について各現象を前記複数の方式により撮像した各画像の輝度分布の特徴とに基づいて、前記各対象画像の輝度分布の特徴と一致する現象を特定し、
前記分割手段は、前記特定手段によって現象が特定されなかった場合、前記各対象画像をそれぞれ複数の対象画像に分割することを特徴とする付記1または2に記載の画像処理装置。
【0095】
(付記4)前記特定手段は、前記検出手段によって検出された各対象画像の輝度分布の特徴と、複数の現象について各現象を前記複数の方式により撮像した各画像の輝度分布の特徴とに基づいて、前記各対象画像の輝度分布の特徴が少なくとも一つ一致する現象を特定することを特徴とする付記3に記載の画像処理装置。
【0096】
(付記5)前記検出手段は、前記観測範囲を撮像した撮像画像の一部分を前記対象画像として、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出することを特徴とする付記1〜4のいずれか一つに記載の画像処理装置。
【0097】
(付記6)前記特定手段は、前記検出手段によって検出された対象画像の輝度分布の極大値に対応する輝度と、複数の現象の画像の輝度分布の極大値に対応する輝度とに基づいて、輝度分布の極大値に対応する輝度が前記対象画像と一致する現象を特定することを特徴とする付記1〜5のいずれか一つに記載の画像処理装置。
【0098】
(付記7)前記特定手段は、前記分割手段によって所定回数分割された後、自然現象を特定できなかった対象画像に対して、特定不可とすることを特徴とする付記1〜6のいずれか一つに記載の画像処理プログラム。
【0099】
(付記8)前記対象画像について、前記特定手段によって特定された自然現象を表す画像を作成する作成手段を備え、
前記出力手段は、前記作成手段によって作成された画像を出力することを特徴とする付記1〜7のいずれか一つに記載の画像処理装置。
【0100】
(付記9)観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する検出工程と、
前記検出工程によって検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する特定工程と、
前記特定工程によって前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する分割工程と、
前記分割工程によって分割された分割後の対象画像の輝度分布の特徴を前記検出工程により検出させる制御工程と、
前記特定工程によって、前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する出力工程と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【0101】
(付記10)検出手段と特定手段と分割手段と設定手段と出力手段とを備えたコンピュータが、
前記検出手段において、観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する検出工程と、
前記特定手段において、前記検出手段によって検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する特定工程と、
前記分割手段において、前記特定手段によって前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する分割工程と、
前記設定手段において、前記分割手段によって分割された分割後の対象画像の輝度分布の特徴を前記検出工程により検出させるよう設定する設定工程と、
前記出力手段において、前記特定手段によって前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する出力工程と、
を実行することを特徴とする画像処理方法。
【符号の説明】
【0102】
100 画像処理装置
110 対象画像
120 特定情報
701 検出部
702 特定部
703 分割部
704 制御部
705 出力部
706 作成部
【技術分野】
【0001】
この発明は、画像を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関する。
【背景技術】
【0002】
従来より、気象観測や気象予報などの用途から、気象衛星などの人工衛星から撮像した画像を利用して、どのような自然現象が起こっているのかを自動的に特定する技術が利用されている。従来の技術では、赤外線センサの撮像画像や可視光センサの撮像画像の輝度に基づいて、画像内に映っている自然現象がどのような現象であるかを特定している。
【0003】
通常、特定の自然現象(快晴・大雨・地雨(層雲系の雲から降る雨で、同程度の強さで長い間降る雨))を撮像した場合、画像内に含まれる画素の輝度に応じた分布は、自然現象ごとに異なる特徴(分布が示す極大値など)を表す。したがって、画像中の画素の輝度レベルの分布が特定の現象が観測された場合と同等の特徴を表しているかに基づいて、画像に映っている領域中でどのような現象が起きているかを推定し特定することができる。
【0004】
ところが、快晴の部分と地雨の部分とが近接しているなど、画像に映っている領域中に分布の特徴の異なる複数種類の現象が含まれる場合、輝度レベルの分布が示す特徴が不明確になり、実際にどのような現象かを特定できないことがあった。
【0005】
また、一般的に気象衛星の撮像画像のデータ量は膨大であり、処理対象となる領域も最大の場合、地球全体に及ぶことがある。したがって、実際の撮像画像を表示させるのではなく、撮像画像に映っている自然現象を特定する技術を利用することは、実際の撮像画像に代えて地図上に表示されることにより、少ないデータ量で分かりやすく状況を報知できるという側面もある。
【0006】
そこで、公知の技術として撮像画像すべてを処理するのではなく、利用者が関心のある領域を抽出して、抽出した領域のみ現象の特定結果を表示させる技術(たとえば、下記非特許文献1参照。)があった。その他にも、撮像画像の中から、利用者が関心のある領域を細かく分割して、分割された複数の領域を、同じ特徴を持つ領域ごとに分類するという技術があった(たとえば、下記非特許文献2参照。)。
【0007】
さらに、撮像画像のデータ量を軽減させるための技術として、撮像画像の1フレームの全輝度値の度数分布を領域毎にパターン分類した上で符号化する手法も開示されている(たとえば、下記特許文献1参照。)。その他にも、撮像画像に含まれる画素のうち、似た色を持つ隣接する画素をまとめたセルを構成して、撮像画像のデータ量を軽減させる技術も開示されている。具体的には、セルの状態が収束したかどうかを判定することによって、セルを構成する部分画像内の色の輝度差があるしきい値を超えた場合に分割条件を満たし、部分画像をさらに4分割する(たとえば、下記特許文献2参照。)。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平9−147101号公報
【特許文献2】特開2001−297329号公報
【非特許文献】
【0009】
【非特許文献1】河野公一、「ノア画像を用いた多次元ヒストグラムによる海域抽出に関する研究」、東北大学学位論文、平成15年3月24日
【非特許文献2】CodeZine,「画像を同じ特徴を持つ複数の領域に分ける方法」、http://codezine.jp/article/detail/167?p=2,<平成22年3月18日検索>
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、上記非特許文献1,2の技術を利用することによって、自然現象を特定する際の対象画像を細分化することはできるが、いずれの技術も利用者が個別に細分化対象となる箇所を指示する必要がある。また、どの程度細分化するかといった判断も利用者に委ねられている。したがって、細分化する機能を備えながら適正に細分化できない場合があるという問題があった。
【0011】
また、データ量を削減するための上記特許文献1,2の技術では、撮像画像に所定の符号化を施したり、しきい値に基づいて分割を行っている。結果として自然現象を特定する対象画像単位のデータ量の軽減は図れるが、従来の処理と比較して処理ステップが増加してしまっている。結果として、処理負荷が増加してしまっていた。
【0012】
また、たとえ画像が分割されたとしても、分割された各画像が同じ自然現象を含む場合、各画像についてそれぞれ自然現象を特定する処理を行うことになる。すなわち、同じ特定結果を得る場合であっても、自然現象を特定するまでの処理量が増えてしまうという問題があった。
【0013】
本開示技術は、上述した従来技術による問題点を解消するため、複数の自然現象が混在する画像であっても、適切なサイズの領域ごとに自然現象を特定することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0014】
上述した課題を解決し、目的を達成するため、本開示技術は、観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する処理と、検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する処理と、前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する処理と、分割された分割後の対象画像の輝度分布の特徴を検出させる処理と、前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する処理とを含むことを要件とする。
【発明の効果】
【0015】
本画像処理装置、画像処理プログラムおよび画像処理方法によれば、複数の自然現象が混在する画像であっても、適切なサイズの領域ごとに自然現象を特定することができるという効果を奏する。
【図面の簡単な説明】
【0016】
【図1】本実施の形態にかかる画像処理の一例を示す説明図である。
【図2】撮像画像を利用したヒストグラムの生成例を示す説明図である。
【図3】ヒストグラムを利用した自然現象の特定例を示す説明図である。
【図4】複数の自然現象が混在する場合のヒストグラム例を示す説明図である。
【図5】領域分割によるヒストグラムの変化を示す説明図である。
【図6】画像処理装置のハードウェア構成を示すブロック図である。
【図7】画像処理装置の機能的構成を示すブロック図である。
【図8】画像処理の手順を示すフローチャートである。
【図9】ヒストグラムのパターン特定処理を示す説明図である。
【図10】パターン特定結果に基づいた三次元ヒストグラムパターンの決定例を示す説明図である。
【図11】領域分割と位置情報との設定例を示す説明図である。
【図12】衛星画像の取得例を示す説明図である。
【図13】衛星画像を用いた画像処理の手順を示すフローチャートである。
【図14】画像処理結果の一例を示す説明図である。
【図15】しきい値Xとしきい値Yの設定例を示す説明図である。
【図16】任意の撮像画像についてのヒストグラムの生成例を示す説明図である。
【発明を実施するための形態】
【0017】
以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法の好適な実施の形態を詳細に説明する。
【0018】
図1は、本実施の形態にかかる画像処理の一例を示す説明図である。図1のように、本実施の形態は、画像処理装置100を利用して対象画像110に映っている自然現象を特定した特定情報120を作成する。対象画像110とは、気象衛星などの人工衛星によって地上を撮像した画像である。また、特定情報120は、対象画像110に映っている自然現象を特定した特定結果を表した情報である。
【0019】
本実施の形態でも、従来技術と同様に対象画像110に含まれる画素から、輝度の変化に応じたヒストグラムを作成して、ヒストグラムが表す特徴から自然現象を特定している。一方で、本実施の形態にかかる画像処理装置100は、従来技術と異なり、対象画像110に映っている自然現象の範囲に応じて自動的に対象画像110を適切に分割することができる。
【0020】
図2は、撮像画像を利用したヒストグラムの生成例を示す説明図である。気象衛星には通常複数種類のセンサが搭載されており、随時同じ領域を複数種類のセンサによって撮像している。したがって、図2のように、撮像画像として同じ領域を撮像した赤外線センサによる撮像画像210と、可視光センサによる撮像画像220が提供される。
【0021】
ヒストグラムは、各センサの撮像画像210,220の中の対象領域200に含まれる画素を輝度レベルに応じて作成される。また、図2のように、赤外線センサによる撮像画像210内の画素を対象として作成したヒストグラムを一次元ヒストグラム211と呼び、赤外線センサと可視光センサとによる各撮像画像210,220内の画素を対象として作成したヒストグラムを二次元ヒストグラム221と呼び、それぞれ異なる特徴が生じる。
【0022】
図3は、ヒストグラムを利用した自然現象の特定例を示す説明図である。図3のモデル図300を利用することによって、各センサによる撮像画像から作成したヒストグラムの特徴に応じて、撮像画像にどのような自然現象が映っているのかを特定することができる。図3のモデル図300では、可視光センサと赤外線センサから作成したヒストグラム301,302の特徴の組み合わせで特定できる自然現象を示している。
【0023】
モデル図300は、ヒストグラム301,302の最大値が輝度レベルのどの位置に表れるかに応じて、各センサのヒストグラム301,302がどのような特徴を持つかを判断している。具体的には、輝度レベルを低・中・高に3分割して、各ヒストグラム301,302の最大値がいずれのレベルであるかの判断結果の組み合わせに応じて、「快晴」、「薄曇」、「地雨」、「大雨」の四つの自然現象を特定することができる。具体的には、下記のようなレベルの組み合わせによって自然現象を特定することができる。
【0024】
赤外線センサ輝度レベル低:可視光センサ輝度レベル低=快晴領域
赤外線センサ輝度レベル高:可視光センサ輝度レベル低=薄曇領域
赤外線センサ輝度レベル低:可視光センサ輝度レベル高=地雨領域
赤外線センサ輝度レベル高:可視光センサ輝度レベル高=大雨領域
(なお、図3に示したモデル図300は一例であり、センサの種類や組み合わせによって、特定できる自然現象は異なる)
【0025】
したがって、図3に例示したヒストグラム301,302は、赤外線センサ、可視光センサ共に輝度レベル高を表しており、大雨領域が映っていることがわかる。各ヒストグラムの輝度レベルの組み合わせが「快晴」、「薄曇」、「地雨」、「大雨」の四つの領域以外になる場合は、各領域の中間的な現象とみなすことができる。
【0026】
図4は、複数の自然現象が混在する場合のヒストグラム例を示す説明図である。図4の領域400のような複数の自然現象が混在する場合、単一の自然現象が写るi海洋のヒストグラム410は、可視光センサの反射率が低いため輝度レベルが低となり、快晴状態であると特定できる。同様に、iii特定の現象域のヒストグラム430は、可視光センサの反射率が高いため輝度レベルが高となり、大雨状態であると特定できる。
【0027】
一方、ii現象の混在域のヒストグラム420では、複数の自然現象が存在するため、各自然現象を撮像した可視光センサの反射率が反映されてしまう。したがって、複数の輝度レベルに極大値が発生してしまい、いずれの自然現象を表す特徴であるかを特定できない。
【0028】
図5は、領域分割によるヒストグラムの変化を示す説明図である。図4にて説明したように、ii現象の混在域のヒストグラム420には、複数の自然現象を撮像した場合の特徴が反映されてしまっている。そこで、本実施の形態では、ii現象の混在域のように、自然現象を特定できないヒストグラム420が作成されてしまった領域に対して、自然現象ごとの特徴が表れるような小さなサイズとなるように領域分割を行う。
【0029】
たとえば、ii現象の混在域を、特定の自然現象が発生している領域ごとに領域分割して、それぞれヒストグラムを作成すると、ヒストグラム510〜530のような特徴が表れ得る。領域分割後の各領域のヒストグラム510〜530には、特定の自然現象を表す極大値が表れているため、発生している自然現象を特定することができる。したがって、本実施の形態では、上述したような領域分割を必要な箇所に限定して適用するため、効率的に自然現象を特定することができる。ここで、図1に戻り、本実施の形態にかかる画像処理装置100による領域分割について説明する。
【0030】
図1の画像処理装置100では、対象画像110について、まず、全領域を対象としてヒストグラム101を作成する。例示したヒストグラム101の場合、自然現象を特定できるような特徴が表れていない。そこで、画像処理装置100は、対象画像110の領域を4つに等分割する(分割の手法は適宜調整できる)。
【0031】
そして、画像処理装置100は、4つに等分割された各領域を対象としてヒストグラム102を作成する。ヒストグラム102の場合、右上の領域と、左下の領域には、自然現象を特定できるような特徴が表れている。したがって、2つの領域(右上、左下)については、そのまま自然現象を特定して、特定結果を保持する。反対に、右下の領域と、左上の領域には、自然現象を特定できるような特徴が表れていない。そこで、画像処理装置100は、2つの領域(右下、左上)をさらに4つに等分割する。
【0032】
先ほどの分割後と同様に、画像処理装置100は、さらに4つに等分割された各領域を対象としてヒストグラム103を作成する。ヒストグラム103の場合も、分割された各領域について、自然現象を特定できるような特徴が表れているか否かの判断が行われる。そして、画像処理装置100は、判断結果に応じて、自然現象の特定、もしくは、さらなる領域分割のいずれかの処理を行う。
【0033】
なお、画像処理装置100は、自然現象が特定できなかった場合の分割回数の上限を設定してもよい。たとえば、ヒストグラム103の場合、右下の領域を4分割した各領域のうち、未だに2つの領域の自然現象が特定できなかった。そこで、自然現象が特定できなかった領域をさらに4分割する。すなわち、最初に画像処理装置100に与えられた対象画像110と比較して、1/64のサイズに領域分割されていることになる。
【0034】
領域分割後の各領域(1/64サイズの領域)について、自然現象が特定できなかった場合、さらに、4分割してもよいが、分割後の領域を表すアドレスに多数のビットが必要になる場合や、分割される領域の数が多数になる場合などは、特定情報120を得るための処理量が増加したり、特定情報120自体のデータ量が増加したりといった問題が発生する可能性がある。したがって、所定回数以上分割した後に、自然現象が特定できなかった領域については、自然現象不明を表す表示を行ってもよい。何回まで分割を行うかは、特定情報120のデータ量の上限や、画像処理装置100に求める精度によって、利用者が適宜設定すればよい。
【0035】
以上説明したように、本実施の形態にかかる画像処理装置100は、自然現象が特定できるようなヒストグラムが作成できるまで、対象画像110の分割を繰り返す。また、分割の途中で、自然現象を特定できた領域に関しては、特定できた時点でのサイズごとの特定結果を保持する。したがって、対象画像110に映っている自然現象の状況に応じて、自然現象を特定する際の対象となる領域のサイズを変更することができる。自然現象は、分割後の領域ごとに特定され、特定情報120として出力される。特定情報120では、分割された領域ごとに、自然現象を表す情報(パターン名や識別子)と紐付けているため、各自然現象を表す色彩やアイコンなどを表示して、利用者に自然現象が把握し易いような可視化を行うこともできる。
【0036】
また、本実施の形態にかかる画像処理装置100では、あらかじめ自然現象ごとに用意した多次元ヒストグラムの分布の特徴を表すパターンの中から、対象画像110についてのヒストグラムが表す分布の特徴との一致判断を行っている。すなわち、複雑な変換処理や特徴抽出を行うことなく、従来技術と同じく、分布の極大値を検出するといった容易な処理のみで自然現象を特定している。また、特定結果は、あらかじめ用意されたパターンのいずれに該当するかを表せばよい。したがって、従来のヒストグラムでは特定できなかった領域についても自然現象が特定でき、なおかつ、特定された自然現象を少ないデータ量で表現することができる。
【0037】
以下には、上述した画像処理を実現する画像処理装置100の具体的な構成と処理内容について説明する。
【0038】
(画像処理装置のハードウェア構成)
図6は、画像処理装置のハードウェア構成を示すブロック図である。図6において、画像処理装置100は、CPU(Central Processing Unit)601と、ROM(Read‐Only Memory)602と、RAM(Random Access Memory)603と、磁気ディスクドライブ604と、磁気ディスク605と、光ディスクドライブ606と、光ディスク607と、ディスプレイ608と、I/F(Interface)609と、キーボード610と、マウス611と、スキャナ612と、プリンタ613と、を備えている。また、各構成部はバス600によってそれぞれ接続されている。
【0039】
ここで、CPU601は、画像処理装置100の全体の制御を司る。ROM602は、本実施の形態にかかる画像処理を実現する画像処理プログラムやブートプログラムなどの各種プログラムを記憶している。RAM603は、CPU601のワークエリアとして使用される。磁気ディスクドライブ604は、CPU601の制御にしたがって磁気ディスク605に対するデータのリード/ライトを制御する。磁気ディスク605は、磁気ディスクドライブ604の制御で書き込まれたデータを記憶する。
【0040】
光ディスクドライブ606は、CPU601の制御にしたがって光ディスク607に対するデータのリード/ライトを制御する。光ディスク607は、光ディスクドライブ606の制御で書き込まれたデータを記憶したり、光ディスク607に記憶されたデータをコンピュータに読み取らせたりする。
【0041】
ディスプレイ608は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ608は、たとえば、CRT、TFT液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
【0042】
インターフェース(以下、「I/F」と略する。)609は、通信回線を通じてLAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどのネットワーク614に接続され、このネットワーク614を介して他の装置に接続される。そして、I/F609は、ネットワーク614と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。I/F609には、たとえばモデムやLANアダプタなどを採用することができる。
【0043】
キーボード610は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス611は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
【0044】
スキャナ612は、画像を光学的に読み取り、画像処理装置100内に画像データを取り込む。なお、スキャナ612は、OCR(Optical Character Reader)機能を持たせてもよい。また、プリンタ613は、画像データや文書データを印刷する。プリンタ613には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。
【0045】
(画像処理装置の機能的構成)
図7は、画像処理装置の機能的構成を示すブロック図である。画像処理装置100は、検出部701と、特定部702と、分割部703と、制御部704と、出力部705と、作成部706と、を含む構成である。この制御部となる機能(検出部701〜作成部706)は、具体的には、たとえば、図6に示したROM602、RAM603、磁気ディスク605、光ディスク607などの記憶装置に記憶されたプログラムをCPU601に実行させることにより、または、I/F609により、その機能を実現する。
【0046】
検出部701は、対象画像110に含まれる画素の輝度ごとの出現頻度を表す分布から極大値を検出する機能を有する。極大値とは、分布が表す局所的な最大値を意味する。なお、上述したように、分布は、数式から得られたものではなく、対象画像110内に含まれている画素を輝度ごとに累積した累積結果である。したがって、検出部701も、数学的に極大値を検出しているのではなく、実際に分布が示す画素の値を比較して検出している。なお、対象画像110として同一の領域を撮像した複数のセンサによる撮像画像が提供されることがある。複数のセンサによる撮像画像であっても、同様に、各撮像画像に含まれる画素の輝度ごとの出現頻度を表す分布から極大値を検出すればよい。
【0047】
また、分布が表す画素数によっては、複数の極大値(たとえば、輝度レベル1の位置と、輝度レベル4の位置など)が含まれている場合もあり、検出部701は、分布に含まれているすべての極大値を検出する。また、検出部701は、分布が表す各値によっては極大値を特定できないことがある。極大値を特定できない場合には、極大値を特定できない旨を検出結果とする。なお、検出結果は、RAM603、磁気ディスク605、光ディスク607などの記憶領域に記憶される。
【0048】
特定部702は、検出部701によって検出された極大値に基づいて、対象画像110における画素の分布(すなわち、対象画像110に含まれる画素の輝度ごとの出現頻度を表す分布)の特徴が、どの自然現象を表しているかを特定する機能を有する。具体的には、画像処理装置100には、地上に発生する自然現象の中から、各自然現象の撮像画像に含まれる画素の輝度ごとの出現頻度を表す分布の特徴を表すパターンが用意されている。したがって、特定部702が、対象画像110における画素の分布の特徴と、分布の特徴が一致するパターンを特定する。特定されたパターンが表す自然現象が、すなわち、対象画像110に映っている自然現象となる。
【0049】
また、上述したように、対象画像110として複数のセンサによる撮像画像が提供されていることもある。分布の特徴はセンサによって異なるため、センサごとに一致するパターンを特定する必要がある。そして、特定部702は、特定結果の組み合わせによって自然現象を特定することができる。たとえば、赤外線センサではパターン1(IR)、可視光センサではパターン2(VIS)となるため、パターン1(IR)とパターン2(VIS)との組み合わせによって自然現象パターン2が特定される。結果として特定部702は、自然現象パターン2が表す自然現象(たとえば「快晴」)を対象画像110に映っている自然現象として特定する。なお、特定結果は、RAM603、磁気ディスク605、光ディスク607などの記憶領域に記憶される。
【0050】
分割部703は、自然現象が特定されなかった対象画像110を複数の対象画像110に分割する機能を有している。具体的には、分割部703は、特定部702によって自然現象を特定できなかった場合に、対象画像110を分割する。その他、分割部703は、検出部701によって極大値が検出されなかった場合にも、極大値が表れていなければ自然現象を特定できないため、対象画像110を分割する。分割後は、サイズの小さくなった各領域がそれぞれ新たな対象画像110となる。なお、分割結果は、RAM603、磁気ディスク605、光ディスク607などの記憶領域に記憶される。
【0051】
制御部704は、検出部701を制御して、検出処理を実行させる機能を有する。具体的には、制御部704は、分割部703によって対象画像110が分割され、あらたな対象画像110が設定されたのをトリガに、検出部701を制御して、各対象画像110について、それぞれ画像に含まれる画素の輝度に応じた分布から極大値を検出する。
【0052】
出力部705は、特定部702によって、いずれかの自然現象が特定されると、対象画像110ごとに、特定部702による特定結果を特定情報120として出力する機能を有する。したがって、対象画像110が分割部703によって分割されている場合には、分割後の各対象画像110についてそれぞれ自然現象を表す画像を作成する。出力形式としては、たとえば、ディスプレイ608への表示、プリンタ613への印刷出力、I/F609による外部装置への送信がある。また、出力する特定情報120をRAM603、磁気ディスク605、光ディスク607などの記憶領域に記憶することとしてもよい。
【0053】
作成部706は、特定結果を利用して特定された自然現象を表す画像を作成する機能を有する。すなわち、対象画像110について、特定部702によって特定された自然現象を表す画像を作成する。対象画像110が分割部703によって分割されている場合には、分割後の各対象画像110についてそれぞれ自然現象を表す画像を作成する。自然現象を表す画像とは、たとえば、対象画像110を、それぞれ自然現象を表す色や柄、アイコンなどによって表示した画像である。作成された画像は、RAM603、磁気ディスク605、光ディスク607などの記憶領域に記憶される。なお、出力部705は、作成部706によって、画像が作成されている場合には、特定情報120として、作成された画像を出力してもよい。
【0054】
(画像処理の手順)
図8は、画像処理の手順を示すフローチャートである。図8のフローチャートは、対象画像110に映っている自然現象を特定して、特定した自然現象を表す画像を出力するまでの手順を示している。図8の各処理を実行することによって、対象画像110内に複数の自然現象が映っている場合には、発生している自然現象が特定できるように、適宜細分化された特定情報120を出力することができる。
【0055】
図8において、画像処理装置100は、まず、対象画像110を取得したか否かを判断する(ステップS801)。そして、画像処理装置100は、対象画像110を取得するまで待機状態となる(ステップS801:Noのループ)。そして、対象画像110が取得されると(ステップS801:Yes)、画像処理装置100は、検出部701において、対象画像110に含まれる画素の輝度に応じた分布から極大値を検出する(ステップS802)。
【0056】
その後、画像処理装置100は、検出部701によって極大値が検出されたか否かを判断する(ステップS803)。ステップS803において、極大値が検出された場合(ステップS803:Yes)、画像処理装置100は、特定部702において、検出された極大値に基づいて、対象画像110と分布の特徴が一致する自然現象を特定する(ステップS804)。すなわち、ステップS804では、あらかじめ用意された様々な自然現象を撮像した画像に含まれる画素の輝度に応じた分布の特徴の中から、対象画像110が表す分布の特徴と一致するものを特定する。そして、分布の特徴が一致しているか否かの判断には、検出された極大値の特徴(値や輝度など)を利用している。
【0057】
そして、画像処理装置100は、今度は特定部702によって、分布の特徴が一致する自然現象が特定されたか否かを判断する(ステップS805)。ステップS805において、自然現象が特定されなかった場合(ステップS805:No)、画像処理装置100は、分割部703によって対象画像110を分割する(ステップS806)。ステップS806では、対象画像110をあらかじめ設定した手法によって分割する。たとえば、対象画像110を、4分割、3分割など指定数ごとに分割する。なお、分割後は、分割されたそれぞれの領域が対象画像110となる。
【0058】
また、画像処理装置100は、ステップS803において、極大値が検出されなかった場合にも(ステップS803:No)、分割部703によって対象画像110を分割する(ステップS806)。
【0059】
ステップS806によって、対象画像110が分割されると、画像処理装置100は、制御部704によって検出部701を制御して、分割後の各画像をあらたな対象画像110として、再度、ステップS802の処理を行って、あらたな対象画像110から極大値を検出する。
【0060】
ステップS806の分割処理は自然現象が特定されるまで繰り返し行われ、すべての対象画像110について、自然現象が特定されると(ステップS805:Yes)、画像処理装置100は、作成部706によって、対象画像110ごとに、特定された自然現象を表す画像を作成する(ステップS807)。そして、画像処理装置100は、出力部705から、ステップS807による作成画像を出力して(ステップS808)、一連の処理を終了する。
【0061】
以上説明したように、画像処理装置100では、対象画像110に含まれる画素の輝度ごとの出現頻度を表す分布から極大値を検出することによって、対象画像110に映っている自然現象を特定している。一般的には、対象画像110の分布の特徴を判断するにはヒストグラムが作成される。また、近年では、対象画像110として、赤外線センサ、可視光センサ、近赤外線センサの3つのセンサによって撮像された撮像画像を対象画像110として利用する手法が一般的である。したがって、以下には、3つのセンサによって撮像された対象画像110からヒストグラムを作成して自然現象を特定する際の手順について具体的に説明する。
【0062】
(ヒストグラムのパターン特定)
図9は、ヒストグラムのパターン特定処理を示す説明図である。また、図10は、パターン特定結果に基づいた三次元ヒストグラムパターンの決定例を示す説明図である。まず、図9を用いて対象画像110から作成されたヒストグラムがあらかじめ用意されたパターンの中のいずれと一致するか(もしくは近似する)を特定する手順について説明する。
【0063】
図9では、輝度レベルを3つのパターンに分類する例を示している。図9の各ヒストグラム910〜930は、しきい値Xを超える最大値が、輝度レベル低→中→高の3分割したいずれの領域に表れているかに応じてパターン分けされる。図9に例示した通り、輝度レベルを3分割したうちの高の領域が最大値となるヒストグラム910は、パターン1に分類される。同様に、輝度レベルの中の領域が最大値となるヒストグラム920は、パターン2、輝度レベルの低の領域が最大値となるヒストグラム930は、パターン3に分類される。
【0064】
図9のような分類は、各センサによって撮像された対象画像110についてそれぞれ行われる。3つのセンサ(3次元ヒストグラム)によって撮像されている場合であれば、3×3×3+1=28(+1はいずれにも一致しなかった場合)パターンとなる。また、最大値を特定する際に、しきい値Xに加えて、しきい値Yを上回ったか否かの判定結果を加えてもよい。しきい値Yの判定結果を加えると27×2(しきい値Yを上回ったか否かの2値)+1=55パターンとなる。
【0065】
図10では、3つのセンサによる三次元ヒストグラムの各パターンから28パターンのいずれに該当するかを特定する手順を示している。特定例1000に示すように、ある対象画像110について、センサごとにヒストグラムを作成したところ、可視光センサのヒストグラム1010はパターン1に、赤外線センサのヒストグラム1020はパターン2に、近赤外線センサのヒストグラム1030はパターン1に特定されている。
【0066】
したがって、組み合わせテーブル1001の中の三次元ヒストグラムのパターン4に特定される。三次元ヒストグラムのパターン4は特定の自然現象に紐づけられており、自然現象が特定されたことになる。また、図10に例示したような28パターンの特定結果は、1〜28までの数値で表現されるため、4ビットの数値で表現することができる。たとえ、しきい値Yの判定結果を加えたとしても、55パターンとなるため、いずれのパターンと一致するかを特定した特定結果は、1から55までの数値で表現されるため、6ビットの数値で表現することができる。
【0067】
図11は、領域分割と位置情報との設定例を示す説明図である。図11に示すように、対象画像1100のような分割がなされた場合、分割された各領域について、特定結果を表すには、領域の位置情報を表すビット+特定結果を表すビットがあればよい。対象領域1100において、1/16のサイズに分割された[1]〜[4]の位置情報は、2ビットで表すことができる。また、1/64のサイズに分割された[A]〜[D]の位置情報は、4ビットで表すことができる。したがって、上述のように、1〜28のパターンであれば、特定情報120は、下記のように表現することができる。
【0068】
[1]00+5ビット
[2]01+5ビット
[3]10+5ビット
[4]11+5ビット
[A]0010+5ビット(下位2ビットの12は[3]の位置情報を意味する
[B]0110+5ビット
[C]1010+5ビット
[D]1110+5ビット
【0069】
(衛星画像を利用した画像処理)
図12は、衛星画像の取得例を示す説明図である。つぎに、衛星画像を利用した画像処理の手順について説明する。気象衛星からは、所定サイズの衛星画像1200がセンサごとに随時送信される。画像処理装置100では、送信された衛星画像1200をそのまま利用する他にも、画像処理装置100の処理能力に応じて所定の処理サイズごとに分割した分割画像1201を対象画像110として処理を開始してもよい。
【0070】
図13は、衛星画像を用いた画像処理の手順を示すフローチャートである。図13のフローチャートは、画像処理装置100が、気象衛星が撮像した衛星画像1200(図12参照)を用いて、地上の気象状況を表す画像を出力するまでの手順を示している。図13の各処理を実行させることによって、撮像された地上で発生している自然現象と発生範囲に応じて、最適なサイズに分割された領域ごとに発生している自然現象に対応した表示が行われている。
【0071】
図13において、画像処理装置100は、まず、各センサの衛星画像を取得したか否かを判断する(ステップS1301)。ステップS1301では、各センサの衛星画像を取得したと判断されるまで待機し(ステップS1301:Noのループ)、衛星画像を取得すると(ステップS1301:Yes)、画像処理装置100が、各センサの衛星画像を領域分割して、多次元ヒストグラムを作成する(ステップS1302)。
【0072】
画像処理装置100は、ステップS1302によって作成された多次元ヒストグラムのパターンを決定する(ステップS1303)。その後、画像処理装置100は、ステップS1303によってパターンを決定した否かを判断する(ステップS1304)。ステップS1304において、パターンを決定していない判断された場合(ステップS1304:No)、画像処理装置100は、そのままステップS1308の処理に移行する。
【0073】
ステップS1304において、パターンを決定したと判断された場合(ステップS1304:Yes)、画像処理装置100は、パターンを決定していない領域をさらに4分割して、小領域を作成する(ステップS1305)。そして、画像処理装置100は、作成した小領域の多次元ヒストグラムを作成する(ステップS1306)。
【0074】
その後、画像処理装置100は、全ての小領域でパターンが決定した、もしくは、指定回数分割を繰り返したか否かを判断する(ステップS1307)。ステップS1307において、全ての小領域でパターンが決定した、もしくは、指定回数分割を繰り返した、のいずれにも該当しない場合(ステップS1307:No)、画像処理装置100は、ステップS1305の処理に移行して、再度、小領域を作成する。
【0075】
画像処理装置100は、ステップS1307において、全ての小領域でパターンが決定した、もしくは、指定回数分割を繰り返したと判断されるまで、小領域の作成を繰り返す(ステップS1307:Noのループ)。そして、全ての小領域でパターンが決定した、もしくは、指定回数分割を繰り返した場合(ステップS1307:Yes)、画像処理装置100は、パターン分けされた画像データを出力し(ステップS1308)、一連の処理を終了するか否かを判断する(ステップS1309)。
【0076】
画像処理装置100は、利用者や上位システムから終了指示を受け付けた場合、一連の処理を終了すると判断する。したがって、ステップS1309において、一連の処理を終了しないと判断された場合(ステップS1309:No)、画像処理装置100は、ステップS1301の処理に戻り、次の衛星画像が取得されるまで待機状態となる。一方、ステップS1309において、一連の処理を終了すると判断された場合(ステップS1309:Yes)、画像処理装置100は、そのまま一連の処理を終了する。
【0077】
図14は、画像処理結果の一例を示す説明図である。図13のフローチャートのステップS1308では、図14のようなパターン分けされた画像データ1400が出力される。図12にて説明したように、画像処理装置100では、地上を撮像した衛星画像1200を取得している。したがって、自然現象を特定した特定情報120を出力する際には、画像データ1400のように、表示領域のサイズを緯度経度の角度で表わしてもよい。なお、画像データ1400の表示例は一例であり、0.8°よりも大きい、もしくは、小さい緯度経度ごとに表示させてもよい。
【0078】
図15は、しきい値Xとしきい値Yの設定例を示す説明図である。また、図16は、任意の撮像画像についてのヒストグラムの生成例を示す説明図である。ヒストグラムを作成するとき、1つの輝度レベルごとに度数分布を計算するとパターンの特定が困難な場合は、例えば4つの輝度レベルごとに度数分布をカウントしてパターンの特定をしやすくしてもよい。図13のステップS1303,1306では、ヒストグラムが示す最大値からいずれのパターンに該当するかが特定される。該当するパターンを特定するには、画像処理装置100は、まず、ヒストグラムの最大値が、輝度レベルの低・中・高のいずれに該当するかを判断する。さらに、画像処理装置100は、ヒストグラムの最大値が示す画素の値としきい値X、しきい値Yとの関係を判断する。
【0079】
具体的には、しきい値X未満か、しきい値X以上しきい値Y未満か、しきい値Y以上かを判断する。そして、しきい値X未満の場合には、最大値として特徴をなしていないと判断して、パターンを決定できないものとする。各しきい値は、画素数の最大値との割合に応じて設定される。たとえば、図15の例では、しきい値Xは、画素数の最大値の1/8の値、しきい値Yは、画素数の最大値の1/4の値に設定している。
【0080】
また、図16のように、撮像画像は、気象衛星の種類やセンサの種類に応じて、画素数が一様ではない。同じ領域Xについて自然現象を特定する場合であっても、可視光センサの撮像画像1610と赤外線センサの撮像画像1620と近赤外線センサの撮像画像1630とでは、画素数が異なることがある。
【0081】
画素数の異なる各撮像画像1610〜1630を扱う場合には、画素数の絶対値に基づいてしきい値を設定すると正しくパターンを特定できない。したがって、ヒストグラム1611〜1631のように、画素数の相対値に基づいてしきい値を設定する(たとえばしきい値Xを画素20%に設定するなど)ことによって、適切なパターン分けが可能となる。
【0082】
以上説明したように、画像処理装置、画像処理プログラムおよび画像処理方法によれば、対象画像110に含まれる画素の輝度ごとの出現頻度を表す分布を利用して、自然現象が特定されるまで対象画像110の分割を繰り返す。すなわち、複数の自然現象が混在する画像であっても、対象画像110を適切なサイズの領域に分割し、分割後の各領域についてそれぞれ自然現象を特定した特定情報120が出力される。したがって、気象状況に応じて適切な必要最低量のデータによって発生している自然現象を把握させることができる。
【0083】
また、上記技術では、対象画像110における分布から極大値が検出できなかった場合には、即座に対象画像110を分割してもよい。極大値が検出できないとは、すなわち、対象画像110内の自然現象の混在を意味している。したがって、後段の特定処理を省略した効率的な処理を行うことができる。
【0084】
また、上記技術では、複数のセンサによって撮像された対象画像110を取得した場合には、センサごとに対象画像110内の分布の特徴を特定することによって、より詳細で正確な自然現象を特定することができる。また、各センサのうち、いずれか1つについて分布の特徴を得られた場合には、得られた特徴に基づいて、自然現象を特定するように設定することで、特定エラーの発生頻度を抑えることができる。
【0085】
また、上記技術では、あらかじめ気象衛星から提供された撮像画像の中の特定領域のみについて、上述したような特定処理を行うように設定してもよい。処理対象としてあらかじめ特定領域を設定しておくことによって、利用者が求める地域の自然現象を効率的に特定することができる。
【0086】
また、上記技術では、自然現象ごとに、撮像画像に発生する画素の分布について、極大値と該極大値が示す輝度との許容範囲を設定しておくことによって、検出された極大値から効率的に、対象画像110がいずれの自然現象と一致するかを特定することができる。
【0087】
また、上記技術では、分割数の上限を設定し、上限の分割でも特定できなかった場合には、該当する対象画像110について、特定不可とするように設定してもよい。分割回数の上限を設定することによって、特定情報120のデータ量の上限値を超えないように調整することができる。
【0088】
また、上記技術では、自然現象を表す画像を作成する作成機能を設けてもよい。自然現象を表す画像を作成することによって、利用者に特定された自然現象を視覚的に把握させることができる。
【0089】
なお、本実施の形態で説明した画像処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。本画像処理プログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本画像処理プログラムは、インターネットなどのネットワークを介して配布してもよい。
【0090】
また、本実施の形態で説明した画像処理装置100は、スタンダードセルやストラクチャードASIC(Application Specific Integrated Circuit)などの特定用途向けIC(以下、単に「ASIC」と称す。)やFPGAなどのPLD(Programmable Logic Device)によっても実現することができる。具体的には、たとえば、上述した画像処理装置100の機能(検出部701〜作成部706)をHDL記述によって機能定義し、そのHDL記述を論理合成してASICやPLDに与えることにより、画像処理装置100を製造することができる。
【0091】
上述した実施の形態に関し、さらに以下の付記を開示する。
【0092】
(付記1)観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する検出手段と、
前記検出手段によって検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する特定手段と、
前記特定手段によって前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する分割手段と、
前記検出手段を制御して、前記分割手段によって分割された分割後の対象画像の輝度分布の特徴を検出させる制御手段と、
前記特定手段によって、前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する出力手段と、
を備えることを特徴とする画像処理装置。
【0093】
(付記2)前記輝度分布の特徴は、輝度分布が特定の輝度において極大値をとることであり、
前記分割手段は、前記検出手段によって輝度分布の極大値が検出されなかった場合、前記対象画像を複数の対象画像に分割することを特徴とする付記1に記載の画像処理装置。
【0094】
(付記3)前記検出手段は、複数の異なる方式により観測範囲を撮像した複数の各対象画像の輝度分布の特徴を検出し、
前記特定手段は、前記検出手段によって検出された各対象画像の輝度分布の特徴と、複数の現象について各現象を前記複数の方式により撮像した各画像の輝度分布の特徴とに基づいて、前記各対象画像の輝度分布の特徴と一致する現象を特定し、
前記分割手段は、前記特定手段によって現象が特定されなかった場合、前記各対象画像をそれぞれ複数の対象画像に分割することを特徴とする付記1または2に記載の画像処理装置。
【0095】
(付記4)前記特定手段は、前記検出手段によって検出された各対象画像の輝度分布の特徴と、複数の現象について各現象を前記複数の方式により撮像した各画像の輝度分布の特徴とに基づいて、前記各対象画像の輝度分布の特徴が少なくとも一つ一致する現象を特定することを特徴とする付記3に記載の画像処理装置。
【0096】
(付記5)前記検出手段は、前記観測範囲を撮像した撮像画像の一部分を前記対象画像として、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出することを特徴とする付記1〜4のいずれか一つに記載の画像処理装置。
【0097】
(付記6)前記特定手段は、前記検出手段によって検出された対象画像の輝度分布の極大値に対応する輝度と、複数の現象の画像の輝度分布の極大値に対応する輝度とに基づいて、輝度分布の極大値に対応する輝度が前記対象画像と一致する現象を特定することを特徴とする付記1〜5のいずれか一つに記載の画像処理装置。
【0098】
(付記7)前記特定手段は、前記分割手段によって所定回数分割された後、自然現象を特定できなかった対象画像に対して、特定不可とすることを特徴とする付記1〜6のいずれか一つに記載の画像処理プログラム。
【0099】
(付記8)前記対象画像について、前記特定手段によって特定された自然現象を表す画像を作成する作成手段を備え、
前記出力手段は、前記作成手段によって作成された画像を出力することを特徴とする付記1〜7のいずれか一つに記載の画像処理装置。
【0100】
(付記9)観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する検出工程と、
前記検出工程によって検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する特定工程と、
前記特定工程によって前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する分割工程と、
前記分割工程によって分割された分割後の対象画像の輝度分布の特徴を前記検出工程により検出させる制御工程と、
前記特定工程によって、前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する出力工程と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【0101】
(付記10)検出手段と特定手段と分割手段と設定手段と出力手段とを備えたコンピュータが、
前記検出手段において、観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する検出工程と、
前記特定手段において、前記検出手段によって検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する特定工程と、
前記分割手段において、前記特定手段によって前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する分割工程と、
前記設定手段において、前記分割手段によって分割された分割後の対象画像の輝度分布の特徴を前記検出工程により検出させるよう設定する設定工程と、
前記出力手段において、前記特定手段によって前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する出力工程と、
を実行することを特徴とする画像処理方法。
【符号の説明】
【0102】
100 画像処理装置
110 対象画像
120 特定情報
701 検出部
702 特定部
703 分割部
704 制御部
705 出力部
706 作成部
【特許請求の範囲】
【請求項1】
観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する検出手段と、
前記検出手段によって検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する特定手段と、
前記特定手段によって前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する分割手段と、
前記検出手段を制御して、前記分割手段によって分割された分割後の対象画像の輝度分布の特徴を検出させる制御手段と、
前記特定手段によって、前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記輝度分布の特徴は、輝度分布が特定の輝度において極大値をとることであり、
前記分割手段は、前記検出手段によって輝度分布の極大値が検出されなかった場合、前記対象画像を複数の対象画像に分割することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記検出手段は、複数の異なる方式により観測範囲を撮像した複数の各対象画像の輝度分布の特徴を検出し、
前記特定手段は、前記検出手段によって検出された各対象画像の輝度分布の特徴と、複数の現象について各現象を前記複数の方式により撮像した各画像の輝度分布の特徴とに基づいて、前記各対象画像の輝度分布の特徴と一致する現象を特定し、
前記分割手段は、前記特定手段によって現象が特定されなかった場合、前記各対象画像をそれぞれ複数の対象画像に分割することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記特定手段は、前記検出手段によって検出された対象画像の輝度分布の極大値に対応する輝度と、複数の現象の画像の輝度分布の極大値に対応する輝度とに基づいて、輝度分布の極大値に対応する輝度が前記対象画像と一致する現象を特定することを特徴とする請求項1〜3のいずれか一つに記載の画像処理装置。
【請求項5】
観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する検出工程と、
前記検出工程によって検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する特定工程と、
前記特定工程によって前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する分割工程と、
前記分割工程によって分割された分割後の対象画像の輝度分布の特徴を前記検出工程により検出させる制御工程と、
前記特定工程によって、前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する出力工程と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項6】
検出手段と特定手段と分割手段と設定手段と出力手段とを備えたコンピュータが、
前記検出手段において、観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する検出工程と、
前記特定手段において、前記検出手段によって検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する特定工程と、
前記分割手段において、前記特定手段によって前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する分割工程と、
前記設定手段において、前記分割手段によって分割された分割後の対象画像の輝度分布の特徴を前記検出工程により検出させるよう設定する設定工程と、
前記出力手段において、前記特定手段によって前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する出力工程と、
を実行することを特徴とする画像処理方法。
【請求項1】
観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する検出手段と、
前記検出手段によって検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する特定手段と、
前記特定手段によって前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する分割手段と、
前記検出手段を制御して、前記分割手段によって分割された分割後の対象画像の輝度分布の特徴を検出させる制御手段と、
前記特定手段によって、前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記輝度分布の特徴は、輝度分布が特定の輝度において極大値をとることであり、
前記分割手段は、前記検出手段によって輝度分布の極大値が検出されなかった場合、前記対象画像を複数の対象画像に分割することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記検出手段は、複数の異なる方式により観測範囲を撮像した複数の各対象画像の輝度分布の特徴を検出し、
前記特定手段は、前記検出手段によって検出された各対象画像の輝度分布の特徴と、複数の現象について各現象を前記複数の方式により撮像した各画像の輝度分布の特徴とに基づいて、前記各対象画像の輝度分布の特徴と一致する現象を特定し、
前記分割手段は、前記特定手段によって現象が特定されなかった場合、前記各対象画像をそれぞれ複数の対象画像に分割することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記特定手段は、前記検出手段によって検出された対象画像の輝度分布の極大値に対応する輝度と、複数の現象の画像の輝度分布の極大値に対応する輝度とに基づいて、輝度分布の極大値に対応する輝度が前記対象画像と一致する現象を特定することを特徴とする請求項1〜3のいずれか一つに記載の画像処理装置。
【請求項5】
観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する検出工程と、
前記検出工程によって検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する特定工程と、
前記特定工程によって前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する分割工程と、
前記分割工程によって分割された分割後の対象画像の輝度分布の特徴を前記検出工程により検出させる制御工程と、
前記特定工程によって、前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する出力工程と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項6】
検出手段と特定手段と分割手段と設定手段と出力手段とを備えたコンピュータが、
前記検出手段において、観測範囲を撮像した対象画像について、該対象画像に含まれる画素の輝度ごとの出現頻度を表す輝度分布の特徴を検出する検出工程と、
前記特定手段において、前記検出手段によって検出された輝度分布の特徴と、複数の現象について各現象を撮像した画像の輝度分布の特徴とに基づいて、前記対象画像の輝度分布の特徴と一致する現象を特定する特定工程と、
前記分割手段において、前記特定手段によって前記一致する現象が特定されなかった場合、前記対象画像を複数の対象画像に分割する分割工程と、
前記設定手段において、前記分割手段によって分割された分割後の対象画像の輝度分布の特徴を前記検出工程により検出させるよう設定する設定工程と、
前記出力手段において、前記特定手段によって前記分割後の対象画像の輝度分布の特徴と一致する現象が特定された場合、特定された結果を出力する出力工程と、
を実行することを特徴とする画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2011−215925(P2011−215925A)
【公開日】平成23年10月27日(2011.10.27)
【国際特許分類】
【出願番号】特願2010−83902(P2010−83902)
【出願日】平成22年3月31日(2010.3.31)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
【公開日】平成23年10月27日(2011.10.27)
【国際特許分類】
【出願日】平成22年3月31日(2010.3.31)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
[ Back to top ]