画像表示装置及び画像表示方法
【課題】マルチバンドカメラから取得されたマルチバンド画像に対し、スペクトルの表示や色度値の表現等を行うためのGUI表示方法を提案し、ユーザの画像評価の負荷を軽減すること。
【解決手段】コンピュータ11によって、2つ以上のバンドを撮影できるマルチバンドカメラ1で取得したマルチバンド画像12の内のあるバンドの画像を表示し、その画像上で、少なくとも1画素以上が指定されたとき、スペクトル計算部13によって、上記マルチバンド画像における上記指定された少なくとも1画素以上の信号値から、分光スペクトルを推定し、その推定した分光スペクトルから色度情報を求め、該色度情報の色度値を色度図としてスペクトル出力用画面14に表示する。そして、この表示した色度図において、任意の部分の指定を受けると、その指定された任意の部分の拡大表示を行う。
【解決手段】コンピュータ11によって、2つ以上のバンドを撮影できるマルチバンドカメラ1で取得したマルチバンド画像12の内のあるバンドの画像を表示し、その画像上で、少なくとも1画素以上が指定されたとき、スペクトル計算部13によって、上記マルチバンド画像における上記指定された少なくとも1画素以上の信号値から、分光スペクトルを推定し、その推定した分光スペクトルから色度情報を求め、該色度情報の色度値を色度図としてスペクトル出力用画面14に表示する。そして、この表示した色度図において、任意の部分の指定を受けると、その指定された任意の部分の拡大表示を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マルチバンドカメラにより取得されたマルチバンド画像からスペクトルグラフ表示、色度値表示、及び、複数の対象点どうしの相互の相対値を表示する画像表示装置及び画像表示方法に関する。
【背景技術】
【0002】
マルチバンドカメラとは一般に、通常の3バンドカラーのカメラのR,G,Bフィルタと比べて、より特定の波長透過特性を持つ複数のバンド数で撮影するカメラを指す。バンドを切り替える手段は、例えば、特許文献1に開示されているような波長可変フィルタであったり、特許文献2に開示されているような回転フィルタを用いる。装置、目的によってバンド数は異なるが、各バンドでの透過率特性は例えば上記特許文献1の図2に示されるようになっている。
【0003】
撮影した画像は一般にバンド数だけ存在するので、上記特許文献1の図2では16バンドによる16枚の画像になり、上記特許文献2の図8に示す回転フィルタを用いた場合には10バンドによる10枚の画像になる。
【0004】
マルチバンドカメラで撮像されたマルチバンド画像は、バンド毎に画像として表示することができる。
【0005】
上記特許文献1においても、また上記特許文献2でも、スペクトルを推定する方法については述べられているが、実際にソフトウエアから操作する方法については触れられていない。
【特許文献1】特開2001−099710号公報
【特許文献2】特開平11−096333号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
スペクトルの表示は一般に、撮影した画像の全体ではなく、着目している特定の場所を対象に行う。その為には、指定は任意の場所をソフトウエアから指定し、その場所だけでスペクトルを表示できた方が良い。
【0007】
また、380nmから780nmを1nmおきに撮影し、401バンドの画像を撮った場合は、1nmずつの401バンドの画像から精度良くスペクトルを推定できるが、401バンドよりも少ない、即ち1nmよりも粗いサンプリング波長間隔で画像を撮った場合は、サンプリング波長間の広い、少ない画像データから401バンドの場合と略同等のスペクトルを推定する必要がある。推定方法によっても、スペクトルが異なることが考えられるため、任意に推定方法を選ぶことができたほうが良い。
【0008】
さらに、エリアを複数指定した場合や複数の画像からスペクトルを表示する場合は、スペクトル同士の比較も望まれる。
【0009】
スペクトルが求められると、それを利用し測色値を計算することができる。ここでもやはり、エリアを複数定義している場合は、ある基準に対してΔEなど色差を計算し、表示することができると、ユーザの画像に対する理解を深めることができる。さらに、基準のエリアから、画像の各ピクセルがどの位の色差(ΔE)になっているか、一目でわかるような表示方法が望まれる。
【0010】
本発明は、上記の点に鑑みてなされたもので、マルチバンドカメラから取得されたマルチバンド画像に対し、スペクトルの表示や色度値の表現等を行うためのGUI表示方法を提案し、ユーザの画像評価の負荷を軽減することが可能な画像表示装置及び画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記の目的を達成するために、本発明の第1の態様による画像表示装置は、
2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示装置において、
上記マルチバンド画像の内のあるバンドの画像を表示する画像表示手段と、
上記画像表示手段に表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する画素指定手段と、
上記マルチバンド画像における上記画素指定手段によって指定された上記少なくとも1画素以上の信号値から、分光スペクトルを推定するスペクトル推定手段と、
上記スペクトル推定手段で推定した分光スペクトルから、色度情報を求める色度情報算出手段と、
上記スペクトル推定手段で推定した分光スペクトルを表示すると共に、上記色度情報算出手段で求めた上記色度情報の色度値を色度図として表示するスペクトル表示手段と、
を具備し、
上記スペクトル表示手段は、上記表示した色度図において、任意の部分の拡大表示機能を備えることを特徴とする。
【0012】
また、上記の目的を達成するために、本発明の第2の態様による画像表示方法は、
2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示方法において、
上記マルチバンド画像の内のあるバンドの画像を表示する工程と、
その表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する工程と、
上記マルチバンド画像における上記指定された上記少なくとも1画素以上の信号値から、分光スペクトルを推定する工程と、
その推定した分光スペクトルから、色度情報を求める工程と、
上記推定した分光スペクトルを表示すると共に、上記求めた色度情報の色度値を色度図として表示する工程と、
を有し、
上記表示する工程は、上記表示した色度図において、任意の部分の拡大表示を行う工程を含むことを特徴とする。
【発明の効果】
【0013】
本発明によれば、マルチバンドカメラから取得されたマルチバンド画像に対し、スペクトルの表示や色度値の表現等を行うためのGUI表示方法を提案し、ユーザの画像評価の負荷を軽減することが可能な画像表示装置及び画像表示方法を提供することができる。
【発明を実施するための最良の形態】
【0014】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【0015】
[第1実施形態]
まず、本発明の第1実施形態として、画像上の任意の場所を対象とした、信号レベルのスペクトルを表示する方法を説明する。
【0016】
本実施形態に係る画像表示装置の構成を示す図1(A)において、マルチバンドカメラ1は、コンピュータ11によって制御されている。マルチバンドカメラ1は一般に、撮像素子であるCCDを内蔵し、画像を撮影して電子データとして画像データをコンピュータ11に送る。撮影された画像は、マルチバンド画像12としてコンピュータ11の管理するメモリ上にある。なお、画像はその都度撮影されても良いし、過去に撮影した画像をハードディスク等の記憶媒体から読み出してきてメモリ上にマルチバンド画像12として展開されていても良い。従って、本実施形態の処理を行う時は必ずしもマルチバンドカメラ1が無くても良い。
【0017】
コンピュータ11は、上記マルチバンド画像12から、スペクトル計算部13によってスペクトルを計算し、スペクトル出力用画面14にグラフ表示を行う。本実施形態では、コンピュータ11はIBM社のPC−AT互換機を用い、OSとしてWindows(登録商標)2000を利用する。スペクトル出力用画面14はWindows2000の管理するウィンドウ画面であり、その画面はCRTなどのモニタに表示される。
【0018】
マルチバンドカメラ1は18バンドとすると、上記マルチバンド画像12は18枚のバンド画像でなり、コンピュータ11はユーザの指定に従ったバンドの画像を表示する。例えば、バンド6の画像が図2のように表示する。ユーザは、このバンド画像画面15を見ながら、スペクトルを表示したい場所を特定する。この図2の例では、コンピュータ11のポインティングデバイスであるマウスのドラッグ&ドロップ機能(矩形の左上、右下を指定する方法)を使って、矩形を5つ指定している。なお、エリアの数や形はユーザによって異なる形でも良く、この実施形態の範疇に入る。
【0019】
そしてユーザが、図示していない「信号値のスペクトル表示」のメニューを選択すると、コンピュータ11は、図3のようなGUI(グラフィカルユーザインターフェース)、即ち補間方法選択画面16を表示して、補間の方法を選択させる。
【0020】
このような補間方法選択画面16で、直線補間が選択された場合には、コンピュータ11は、スペクトル計算部13により、それぞれの矩形内の画素値、つまり、これはマルチバンドカメラ1のCCD素子の信号値、の平均値を算出する。そして、その輝度をバンド毎にプロットして直線で結んだグラフをスペクトル出力用画面14として、図1(B)に示すように表示する。なお、このグラフの縦軸は信号の強度である。CCD素子の出力が16bitであるときは、信号強度(輝度)として、0から65535までの値をとることができる。また、横軸は波長を表している。この例では、バンド1が380nm、バンド2が418nmの中心波長であり、同様にバンド18まで中心波長を表す波長での輝度をプロットしていく。そして、選択された補間方法は、この例では直線補間であったので、バンド間は直線で補間する。なお、該スペクトル出力用画面14の右上には、エリア選択リストボックス141が配されており、このエリア選択リストボックス141で選択することで、上記バンド画像画面15で特定された各エリアごとの信号強度のスペクトルを、適宜切り替えながら観察することができるようになっている。
【0021】
また、ユーザが図3の補間方法選択画面16で、スプライン補正を選択したときには、補正間隔を10nm、5nm、1nmのうちから選択して、直線補間のときと同様に、バンド1〜バンド18でのx座標、y座標を求めてからスプライン補正を行う。
【0022】
以上のようにして、画像上の任意の場所について、信号レベルのスペクトルを表示することができる。
【0023】
画像上の任意の場所について、分光スペクトルを表示する方法を、本実施形態の変形例として説明する。
【0024】
この場合は、図4に示すように、図1(A)と同様の構成に加えて、参照画像17を利用する。また、スペクトル計算部13が分光スペクトルを計算するものとなっている。
【0025】
即ち、分光スペクトルは、通常の物体に対しては分光反射率、顕微鏡等のように透過物体を観察する場合は分光透過率のスペクトルとしてグラフ表示を行う。従って、反射率か透過率を計算するための基準となる画像、つまり参照画像17が必要となる。ここで、反射率スペクトルを求める場合は、参照画像17の対象は標準白色板を撮影したものになる。また、透過率スペクトルを求める場合の参照画像17は、観察するものを取り除き、照明光だけの画像を用いる。
【0026】
つまり、参照画像17は、マルチバンド画像12を撮影する時と同じ手順で、撮影の対象を標準白色板などに代えて撮影する。従って、撮影は、マルチバンド画像12の撮影の他に、そのような標準白色板などの撮影を1回、余分に行うことが必要となる。しかしながら、マルチバンド画像12の中に、参照する場所を一緒に写し込むことができれば、マルチバンド撮影する撮影対象の撮影のみで良い。
【0027】
以下に、その方法を説明する。図5(A)は、撮影対象を撮影したマルチバンド画像12の内、ユーザに指定された或いは初期画像として設定されたバンドの画像を表示したバンド画像画面15を示す図である。この例では、色票が撮影対象になっている。もし、この色票の中に、反射率が極めて100%に近いものがあった場合は、これを標準白色板と同様な扱いと定義することができる。この例では、図5(A)の左下の矩形がその場所であり、ユーザはマウスのドラッグ&ドロップ操作で、その場所を指定する。或いは、コンピュータ11で自動的にその場所を認識しても良い。この例では、指定された場所が矩形151で図示されている。コンピュータ11は、その矩形151の信号値(輝度)の平均値を使って参照画像17を作成する。なお、こうして作成された参照画像17を、図5(B)に示すような参照画像画面18に表示して、ユーザに確認を受けることができる。
【0028】
なお、参照画像17は、光源に対して反射率が100%の対象物が理想であるため、信号値(輝度)の明るいところを探すためには、図6のようなGUI、即ちバンド選択画面19を表示し、マウス位置の1つ、或いは複数の画素をエリアとして定義し、その画素の信号値(輝度)を表示すると、評価を行い易い。ここで、図6の中央左側の「Level」以下はバンド番号191を表し、バンド1〜バンド18が表示されている。「Level」の右側の数値「(1974,0)」は、現在のバンド画像画面15に表示された画像上のマウス位置を表す。その下の数字で信号値を表示している。例えば、バンド1では「176(1/256)」と表示されているが、これは、16bitデータとして信号値が176であることを示している。また括弧内の数値は、コンピュータ11のディスプレイは0〜255の256階調で輝度を表すことが多いため、この256階調換算で値が幾つになるかを示している。この場合は1である。
【0029】
上記スペクトル計算部13では、分光反射/透過率を計算して、スペクトル出力用画面14へ表示を行う。その方法を手順に従って説明する。対象のマルチバンド画像12に対して、分光反射/透過率のスペクトルを表示する対象の場所を指定する。図2はその様子を表し、入力方法は前述した手順で行う。この画像には参照画像17が対になっている。作成方法は前述したように対象画像の一部から作るか、参照板だけの画像を改めて撮影する。
【0030】
次に反射率/透過率を求める。この例では色票を使っているため、反射率である。反射率は次の式で求めることができる。
【0031】
対象画像の指定バンドの反射率=(対象画像の指定バンドの指定エリアの平均値)/(参照画像の指定バンドの指定エリアの平均値)
図2の例では、バンド数は18なので、バンド毎に値を求める。また、指定エリアが5つあるので、それぞれのエリアで反射率を求める。例えば、図2の左下のエリア1は白色板であったとして、この場所から参照画像17を前述した方法で作成した場合は、全てのバンドにおいてエリア1の反射率は1になる。それ以外のエリアでは一般に参照画像17よりも信号値は小さいはずなので、0≦反射率≦1.0を示すのが普通である。
【0032】
そして、求めた反射率をスペクトル出力用画面14にグラフとして表示する。なお、この場合も、ユーザが図7に表すようなGUI、即ち補間方法選択画面20で補間の方法を選択できるようにする。図7に示す状態では、直線補間が選ばれている。グラフにプロットする方法は、前述の信号レベルのスペクトルをグラフ表示させた時と同様な手順になる。つまり、図1(B)のグラフで横軸に各バンドで用いたフィルタの中心波長の位置を波長換算で求め、縦軸に反射率として値をプロットする。従って、前述の場合は縦軸は信号値であったが、分光反射率では、一般に1.0を最大値とした反射率で描画を行う。直線補間では、プロットの間を前述したように直線で補間し、スペクトルグラフを完成させる。
【0033】
また、図7の補間方法選択画面20で、補間方法としてスプライン補正を選択したときは、補間を10nm、5nm、1nmで行うか選択させた後、スプライン曲線で近似を行えば良い。
【0034】
なお、図5(A)及び(B)を参照して、ユーザが目で確認しながら、参照画像17を作成する方法を説明したが、それ以外に参照画像17を作成する変形例について述べる。
【0035】
参照板は照明光を理想的には100%反射するようにしたものであるため、図5(A)に示すバンド画像画面15で表示されるバンド画像内に参照板に相当する場所があれば、その場所の信号輝度は他と比べて高いはずである。従って、図5(A)のようなバンド画像において全ての画素の信号値(輝度)を調べて、明るい順に並べる。その中で明るい方から例えば、30画素分を参照板位置での画素情報として、その30画素の信号値の平均値から図5(B)の参照画像画面18に示すような参照画像17を作成することができる。
【0036】
もう1つの変形例として、露出オーバの部分を除いて、参照画像17を作成する方法を説明する。図5(A)に示すバンド画像画面15で表示されるようなバンド画像は、適度な露出時間を設定して撮影したつもりでも、部分的に非常に明るい部分が存在してしまう可能性がある。例えば、参照板では参照板自身の材質、照明位置が調整されているので、正反射部分が除かれている場合が多いが、正式な参照板が用意できなかった場合や、照明条件を適切にできなかった場合は、参照としたい画像の部分に正反射部分を含むことが考えられる。この場合は、前述した方法で、バンド画像の全ての画素の信号値(輝度)を調べて、明るい順に並べるが、その後で、一定の輝度以上のものを取り除く。例えば、信号値の最大値が255であった場合は、並べられた画素のうち、240以上の信号値は正反射部分として除外する。そして、残った画素の中から、明るい輝度の30画素分を同様な方法で参照画像17を作成することができる。なお、この例ではスレッシュホールドを240としたが、マルチバンド画像12の入力手段、信号値の幅、撮影物、ユーザの指定で他の値にしても同様な方法が成り立つ。
【0037】
次に、上記特許文献2に開示されているようなスペクトル推定方法で、分光スペクトルの推定を行う例について述べる。
【0038】
図8は、その場合の構成を示す図で、マルチバンドカメラ1、コンピュータ11、マルチバンド画像12、及び、スペクトル出力用画面14の構成と機能は図1(A)と同じである。分光スペクトルの推定は、スペクトル計算部13で行う。ここでの推定方法は、上記特許文献2で記述されている。また、その推定の為に必要なファイルが特性ファイル21として用意され、その特性ファイル21をスペクトル計算部13が参照する。
【0039】
次に手順を示す。画像は今までと同様に、図2のような形で表示され、スペクトルを計算したい場所を特定する。図2では5つのエリアが指定されている。そして、その後、ユーザが分光反射/透過率のスペクトル表示メニューを選択したとき、図7の補間方法選択画面20を表示し、補間方法として、3番目の「推定」が選択されると、先に選択した5つのエリアで上記特許文献2の方法でスペクトルの推定を行う。その結果は、図1(B)のようなグラフで表示される。ただし、この場合は縦軸は反射率であり、一般的には最大値を1.0とした0〜1.0の値になる。
【0040】
なお、以上のいずれの方法でもエリアは、図2に示すようなバンド画像画面15を使って予め指定しておいた。しかしながら、推定処理が高速に実行され、ユーザにストレスを感じさせない程度であるならば、マウスで1画素、或いは複数の画素を選択させて、その位置のスペクトルをリアルタイムで計算して表示するようにしても良い。或いは、それらの混合で例えば、エリア1〜エリア5は予め指定しておき、エリア6は現在のマウス位置にしてスペクトルを表示するというようにしても良い。
【0041】
また、エリアが複数ある場合のスペクトルの比較は、図1(B)のようにグラフをエリア毎に表示しエリアの選択を変えることで行っていたが、図1(B)のウィンドウをエリア毎に作成し、それらを並べてタイル表示として、比較できるようにしても良い。或いは、1つのウィンドウにエリア毎に色を変えるなどの工夫をして同時に表示しても良い。さらに、相対的に信号値や分光反射/透過率のスペクトルを比較する場合は、図9に示すように、あるエリアを基準とした相対値を表示しても良い。この図では、エリア1を基準とした信号値(輝度)の相対値を縦軸として、グラフ表示を行っている。
【0042】
また、図10に示すように、図4の構成と図8の構成を組み合わせ、適宜ユーザが選択できるようにしても良い。
【0043】
以上のような方法によって、画像の中でスペクトルを求めたい場所を特定し、グラフを表示することができる。推定方法が複数である場合もそれらを選択することが可能である。また、参照画像17を作成する場合も、指定したエリアから作成することができる。以上のような方法によって、スペクトルを表示したい場所を画像を見ながら指定し、そのエリアでのスペクトルを表示することができる。また、グラフを描画する対象のエリアは次々に変えることができるので、エリア毎のスペクトルの違いを一目にして区別することができる効果がある。
【0044】
[第2実施形態]
次に、本発明の第2実施形態を説明する。本実施形態は、マルチバンドカメラ1で撮影したマルチバンド画像に対し、特定のエリアを指定し、その場所の色度値、色度図を表示するというものである。
【0045】
色度値は、分光反射率/透過率のスペクトルから推定するため、構成は上記第1実施形態と同様であり、スペクトル計算部13により上記第1実施形態で説明した方法で分光反射率/透過率のスペクトルを計算した後、後述する方法で色度値が求められる。そして結果は、スペクトル出力用画面14と同様に同じウィンドウ、或いは別ウィンドウで画面に表示される。色度値は前述したように分光反射率/透過率のスペクトルから求められるため、その推定方法によって、図1(A)、図4、図8、または図10の構成が考えられる。
【0046】
次に、色度値XYZ、xyz、L*,a*,b*を表示する方法を説明する。
【0047】
まず、測色したい部分を指定して、その場所の分光反射/透過率スペクトルを推定する。その方法は、上記第1実施形態で説明した通りである。その結果、推定された分光反射/透過率スペクトルをR(λ)であったとする。この形態ではλは380[nm]〜780[nm]まで、1[nm]間隔で求められたとする。この時の照明光をS(λ)とすると、
X=KΣS(λ)x(λ)R(λ)
Y=KΣS(λ)y(λ)R(λ)
Z=KΣS(λ)z(λ)R(λ)
K=100/(ΣS(λ)y(λ))
で表される。ただし、x(λ)、y(λ)、z(λ)はXYZ表色系における等色関数の値であり、Σはλを380〜780とする。ここで求まったXYZより、xyzは次の式で求めることができる。
【0048】
x=X/(X+Y+Z)
y=Y/(X+Y+Z)
z=Z/(X+Y+Z)
さらに、レンダリング照明光をe(λ)として、L*,a*,b*を求めると、次の公式で表すことができる。
【数1】
【0049】
以上の公式から求めた値を、図11に示すようなウィンドウ22に表示する。このウィンドウ22の右側では、エリア1に対して、(x,y)が(0.313,0.329)、Yが99.993、(L*,a*,b*)が(99.997,0.000,0.002)であることを示している。さらに(x,y)の値は、ウィンドウ22の左側の色度図221上にプロットされている。この例では、エリアを2つ定義しているため、それぞれがプロットされている(点222−1,222−2)。
【0050】
色度図221は、ユーザの利便性を考え、該色度図221中の可視領域である釣鐘223内に、コンピュータ11で表すことのできる最も近い色をカラーで表示している(釣鐘223の右下が赤、左下が青、上が緑)。一方、グレースケールで使いたいユーザは、図12のウィンドウ23に示すように、色度図231を、単に釣鐘232の外側を黒、内側を灰色とし、さらに、(x,y)が正確に読み取れるように目盛りを付けたものとして表示する。この図11のようなウィンドウ22と図12のようなウィンドウ23とは、マウスの右クリックのメニューなどの指示により切り替えるようにすると便利である。また、ここでは図示していないが、カラー表示上で目盛り付きの色度図を選択させても良い。さらに、色度図221,231の部分的な情報を細かく見たい場合は、マウスの右クリックによるメニュー選択によって、図13に示すように色度図221,231の部分的な拡大図が表示できると便利である。
【0051】
なお、以上の方法では、エリアは、図2に示すようなバンド画像画面15を使って予め指定しておいた。しかしながら、推定処理が高速に実行され、ユーザにストレスを感じさせない程度であるならば、マウスで1画素、或いは複数の画素を選択させて、その位置の色度値、色度図をリアルタイムで表示するようにしても良い。或いは、それらの混合で例えば、エリア1〜エリア5は予め指定しておき、エリア6は現在のマウス位置にして色度値、色度図を表示するというようにしても良い。さらにこの経過で、分光反射/透過率スペクトルも算出しているので、そのグラフを同時に同じウィンドウか別ウィンドウで表示することもできる。
【0052】
以上のような方法によって、マルチバンドカメラ1で撮影した画像に対し、特定のエリアを指定し、その場所の色度値、色度図を表示することができる。エリアを複数設定した場合はその違いについて、色度図上でプロット位置を同時に表示して比較することができる効果がある。
【0053】
[第3実施形態]
次に、本発明の第3実施形態を説明する。本実施形態は、マルチバンドカメラ1で撮影した画像に対し、特定のエリアを指定し、その場所を基準に他のエリアとの色差を表示するというものである。
【0054】
本実施形態における構成は、上記第2実施形態と同様である。
【0055】
本実施形態では、色差を画像として表示する。まず、基準となるエリアを指定して色度値を求める。その方法は、上記第2実施形態で説明したとおりである。例えば、図5(A)に示すバンド画像画面15で基準エリアを指定し、色度値を求める。その値を(Lo*,ao*,bo*)とする。一方、色差ΔEは、公式より、
ΔE=((Lo*−L1*)2+(ao*−a1*)2+(bo*−b1*)2)1/2
で表される。(L1*,a1*,b1*)は、比較対象の場所の色度値である。
【0056】
本実施形態では、エリア1を基準とした色差を、画面の全ピクセルに対して行い、その結果を画像として表す。今、左上の画素をI0とし、順にI2、I3、として表し、右下の画素をInとする。もし、画像が2048×2048ピクセルであった時はn=4194303である。この時の全ピクセルに対して色差を求めるので、その時の色差をΔE0〜ΔEnとして求める。次に、この中で最大の色差の値をΔEmax、最小の色差の値をΔEminとすると、i番目の画素で画像に表示するグレースケール上のピクセル値Diは次の式で表すことができる。
【0057】
Di=(ΔEi−ΔEmin)/(ΔEmax−ΔEmin)×255
ただし、0≦i≦nであり、ウィンドウ画像上で表すことのできる階調は0〜255であるとする。よって、元の画像ウィンドウの画素Iiに対して、ピクセル値Diで置き換えると、基準エリアに対する色差の画像表示を行うことができる。
【0058】
図14にその例を示す。この例では、基準エリアを予め矩形として決めるのではなく、リアルタイムでマウスポインタ24の位置の1画素或いは周囲の数画素で構成するエリアを基準エリアとしている。図14(A)で基準エリアをマウスで指定している様子を示している。図14(B)ではその結果として、色差画像を表示している。
【0059】
次に、その変形例として、色差ΔEが指定した基準値、つまり、スレッシュホールドよりも小さい、或いは大きい場合にのみ、元の画像とは異なる色をつける方法について述べる。
【0060】
基準のエリアを決めて画像像の全画素について色差ΔEを求めるところは、前述した方法と全く同じである。そして、画素I0〜Inに対して求まった色差をΔE0〜ΔEnであったとする。ここで、スレッシュホールドとなる基準の色差ΔEsよりも各画素の色差ΔEiが大きいか小さいかを判定する。ここでは、基準値よりも小さい場合は、その画素を赤((R,G,B)=(255,0,0))で塗りつぶし、それ以上だった場合は何もせず、元の画像(画素)を表示するものとする。その結果を図15に示す。この図で赤に塗りつぶされている部分(ハッチングして示す部分)は色差が基準値よりも小さく、基準エリアと色が近いことが分かる。同様に、あるスレッシュホールドよりも大きいところだけ色づけを行えば、基準エリアとの色差が大きい場所を調べることができる。
【0061】
なお、この例でも今までと同様に、推定処理が速くユーザのストレスを感じさせない程度なら、マウスで1画素、或いは複数の画素を選択させて、色差を表した画像をリアルタイムで表示しても良い。
【0062】
以上のような方法によって、マルチバンドカメラ1で撮影した画像に対し、特定のエリアを指定し、その場所を基準に他のエリアとの色差を表示することができる。また、基準エリア以外を画素単位にして色差を画像として表示することができる。これによってユーザは色差について、その大きさ、画像上での位置を明確にしながら比較、評価することができる効果がある。
【0063】
以上、実施形態に基づいて説明したような本発明によって、マルチバンドカメラ1のデータを扱うソフトウエアのGUIで、着目するエリアを1つ、或いは複数指定して、その場所の推定されたスペクトルを適時観察することができる。また、ここでのスペクトルとはマルチスペクトルカメラのCCD素子など入力手段側で得られた信号値(輝度)でも良いし、分光反射率、或いは分光透過率でも良い。ユーザは指定したエリアのスペクトルを観察するだけではなく、エリアどうしの相対値をグラフとしてみることもできる。
【0064】
また、分光反射/透過率スペクトルが求まると、測色値、色度値を求めて、その値や色度図を表示することができる。特に、色度値では基準となるエリア(1画素でも良い)からの相対値を色差(ΔE)として求めて、指定よりも小さい色差、或いは大きい色差をグレースケールとは別の色を着色して画像表示することで、撮影された画像の評価をユーザは視覚的に行うことができる。特に、スペクトルの推定、測色値、色度値、色差のどのようなデータでもターゲット、基準エリアの場所を画像上でマウスで指定することにより、リアルタイムでこれらの値、グラフ、画像を観察することで、ユーザが行うマルチバンドカメラ1で撮られた画像の評価をやり易くする効果がある。
【0065】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【0066】
(付記)
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【0067】
(1) 2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示装置において、
上記マルチバンド画像の内のあるバンドの画像を表示する画像表示手段と、
上記画像表示手段に表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する画素指定手段と、
上記マルチバンド画像における上記画素指定手段によって指定された上記少なくとも1画素以上の信号値から、スペクトルを推定するスペクトル推定手段と、
上記スペクトル推定手段で推定したスペクトルを表示するスペクトル表示手段と、
を具備することを特徴とする画像表示装置。
【0068】
(対応する実施形態)
この(1)に記載の画像表示装置に関する実施形態は、第1乃至第3実施形態が対応する。ここで、それらの実施形態において、コンピュータ11が上記画像表示手段及び画素指定手段に対応し、スペクトル計算部13が上記スペクトル推定手段に対応し、スペクトル出力用画面14が上記スペクトル表示手段に対応する。
(作用効果)
この(1)に記載の画像表示装置によれば、画像の中でスペクトルを求めたい場所を特定し、グラフを表示することができる。
【0069】
(2) 上記スペクトルは、信号値の輝度スペクトルであることを特徴とする(1)に記載の画像表示装置。
【0070】
(対応する実施形態)
この(2)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(2)に記載の画像表示装置によれば、マルチバンド画像の中でスペクトルを求めたい場所の信号値の輝度スペクトルのグラフを表示することができる。
【0071】
(3) 上記スペクトルは、分光スペクトルであることを特徴とする(1)に記載の画像表示装置。
【0072】
(対応する実施形態)
この(3)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(3)に記載の画像表示装置によれば、マルチバンド画像の中でスペクトルを求めたい場所の信号値の分光反射/透過率スペクトルのグラフを表示することができる。
【0073】
(4) 上記スペクトル推定手段は、上記マルチバンド画像の各バンド画像間の輝度データを補間することによってスペクトルを求めることを特徴とする(1)に記載の画像表示装置。
【0074】
(対応する実施形態)
この(4)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(4)に記載の画像表示装置によれば、マルチバンド画像の各バンド画像間の輝度データを補間してスペクトルを求めることで、切れ目のないグラフを表示することができる。
【0075】
(5) 上記補間は、線形補間であることを特徴とする(4)に記載の画像表示装置。
【0076】
(対応する実施形態)
この(5)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
【0077】
(6) 上記補間は、スプライン曲線補間であることを特徴とする(4)に記載の画像表示装置。
【0078】
(対応する実施形態)
この(6)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
【0079】
(7) 上記スペクトル推定手段は、上記マルチバンド画像に対応する参照画像を用い、上記マルチバンド画像及び上記参照画像の両者に対応した上記少なくとも1画素以上の信号値から、スペクトルを推定することを特徴とする(3)に記載の画像表示装置。
【0080】
(対応する実施形態)
この(7)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
【0081】
(8) 上記マルチバンド画像の少なくとも1画素以上の信号値から、上記参照画像を作成する参照画像作成手段を更に具備することを特徴とする(7)に記載の画像表示装置。
【0082】
(対応する実施形態)
この(8)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。ここで、その実施形態におけるコンピュータ11が上記参照画像作成手段に対応する。
(作用効果)
この(8)に記載の画像表示装置によれば、マルチバンド画像から参照画像を作成するので、別途、参照画像を撮像する必要がない。
【0083】
(9) 上記参照画像作成手段は、
上記画像表示手段に表示された上記あるバンドの画像上で、所望のエリアの形状と位置の指定を受けて、使用する画素を選択する画素選択手段と、
上記画素選択手段によって選択された使用する画素の値から上記参照画像を作成する作成手段と、
を有することを特徴とする(8)に記載の画像表示装置。
【0084】
(対応する実施形態)
この(9)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。ここで、その実施形態におけるコンピュータ11が上記画素選択手段及び作成手段に対応する。
(作用効果)
この(9)に記載の画像表示装置によれば、参照画像を作成する場合も指定したエリアから作成することができる。
【0085】
(10) 上記作成手段は、上記画素選択手段によって選択された使用する画素の値の平均値を元に上記参照画像を作成することを特徴とする(9)に記載の画像表示装置。
【0086】
(対応する実施形態)
この(10)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
【0087】
(11) 上記参照画像作成手段は、上記マルチバンド画像の内のあるバンドの全画素から輝度値の高い画素の場所を自動的に求めて画素値を決め、その画素値を元に上記参照画像を作成することを特徴とする(8)に記載の画像表示装置。
【0088】
(対応する実施形態)
この(11)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(11)に記載の画像表示装置によれば、ユーザの手補煩わすことなく自動的に参照画像を作成できる。
【0089】
(12) 上記参照画像作成手段は、上記輝度値の高い画素の場所を求める際に、輝度の高さのスレッシュホールドを設定し、それよりも輝度値の高い画素は露出オーバとして取り除き、上記スレッシュホールド以下の輝度値を持つ画素の中から上記輝度値の高い画素の場所を求めることを特徴とする(11)に記載の画像表示装置。
【0090】
(対応する実施形態)
この(12)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(12)に記載の画像表示装置によれば、不適切な画素の輝度値を除くことで、より適切な参照画像を作成することができる。
【0091】
(13) 上記参照画像作成手段は、指定した1つ以上の画素の輝度情報を全バンドにおいて一目で確認可能に提示する手段を有することを特徴とする(8)に記載の画像表示装置。
【0092】
(対応する実施形態)
この(13)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。ここで、その実施形態において、コンピュータ11、スペクトル計算部13、及びスペクトル出力用画面14が上記一目で確認可能に提示する手段に対応する。
(作用効果)
この(13)に記載の画像表示装置によれば、グラフを描画する対象のエリアは次々に変えることができるので、エリア毎のスペクトルの違いを一目にして区別することができるようになる。
【0093】
(14) 上記スペクトル推定手段で推定した分光スペクトルから、色度情報を求める色度情報算出手段を更に具備することを特徴とする(3)に記載の画像表示装置。
【0094】
(対応する実施形態)
この(14)に記載の画像表示装置に関する実施形態は、第2実施形態が対応する。ここで、その実施形態において、スペクトル計算部13が上記色度情報算出手段に対応する。
(作用効果)
この(14)に記載の画像表示装置によれば、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度情報を表示することができる。また、エリアを複数設定した場合はその違いについて、色度図上でプロット位置を同時に表示して比較することができる効果がある。
【0095】
(15) 上記スペクトル表示手段は、上記色度情報算出手段で求めた上記色度情報の色度値(x,y)を色度図として表示することを特徴とする(14)に記載の画像表示装置。
【0096】
(対応する実施形態)
この(15)に記載の画像表示装置に関する実施形態は、第2実施形態が対応する。
(作用効果)
この(15)に記載の画像表示装置によれば、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度値、色度図を表示することができる。
【0097】
(16) 上記スペクトル表示手段は、上記表示した色度図において、任意の部分の拡大表示機能を備えることを特徴とする(15)に記載の画像表示装置。
【0098】
(対応する実施形態)
この(16)に記載の画像表示装置に関する実施形態は、第2実施形態が対応する。
(作用効果)
この(16)に記載の画像表示装置によれば、色度図の部分的な情報を細かく見ることができる。
【0099】
(17) 上記色度情報算出手段は、同一の画像或いは異なる画像で2つ以上の色度情報を求め、それを比較する機能を備えることを特徴とする(14)に記載の画像表示装置。
【0100】
(対応する実施形態)
この(17)に記載の画像表示装置に関する実施形態は、第3実施形態が対応する。
(作用効果)
この(17)に記載の画像表示装置によれば、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所を基準に他のエリアとの色差を表示することができる。
【0101】
(18) 上記色度情報算出手段における2つ以上の色度情報の比較方法は、色度値(x,y及びL*,a*,b*)の数値を比較することであることを特徴とする(17)に記載の画像表示装置。
【0102】
(対応する実施形態)
この(18)に記載の画像表示装置に関する実施形態は、第3実施形態が対応する。
(作用効果)
この(18)に記載の画像表示装置によれば、ユーザは、色差について、その大きさを明確にしながら比較、評価することができる。
【0103】
(19) 上記色度値の比較は、着目する1つ以上のある画素の色度値を基準値として、他の画素はその基準値との色差を求めるものであり、
上記スペクトル表示手段は、その求めた色差を画像で表現する、
ことを特徴とする(18)に記載の画像表示装置。
【0104】
(対応する実施形態)
この(19)に記載の画像表示装置に関する実施形態は、第3実施形態が対応する。
(作用効果)
この(19)に記載の画像表示装置によれば、基準エリア以外を画素単位にして色差を画像として表示することができる。これによってユーザは、色差について、その大きさ、画像上での位置を明確にしながら比較、評価することができる。
【0105】
(20) 上記画素指定手段は、
上記画像表示手段に表示された上記あるバンドの画像上の任意の位置にポインタを移動させる移動手段を有し、
該移動手段による上記ポインタの移動に合わせて、そのポインタが指し示す位置の画素を自動的に指定する、
ことを特徴とする(1)、(12)、(13)、(14)、(15)、(17)、(18)、及び(19)の何れかに記載の画像表示装置。
【0106】
(対応する実施形態)
この(20)に記載の画像表示装置に関する実施形態は、第1乃至第3実施形態が対応する。ここで、それらの実施形態において、コンピュータ11が上記移動手段に対応する。
(作用効果)
この(20)に記載の画像表示装置によれば、ポインタの移動に伴ってリアルタイムに、その位置のスペクトルを表示できる。
【0107】
(21) 2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示装置において、
上記マルチバンド画像の内のあるバンドの画像を表示する画像表示手段と、
上記画像表示手段に表示された上記あるバンドの画像から少なくとも2つ以上の指定画素を指定する画素指定手段と、
上記画素指定手段によって指定された指定画素各々のスペクトルを求めるスペクトル算出手段と、
上記画素指定手段によって指定された指定画素の内、基準となる1つの指定画素の上記スペクトル算出手段で求められたスペクトルを選択し、その選択されたスペクトルと他の指定画素の上記スペクトル算出手段で求められたスペクトルとの相対値を表示する表示手段と、
を具備することを特徴とする画像表示装置。
【0108】
(対応する実施形態)
この(21)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。ここで、その実施形態において、コンピュータ11が上記画像表示手段及び画素指定手段に対応し、スペクトル計算部13が上記スペクトル算出手段に対応し、スペクトル出力用画面14が上記表示手段に対応する。
(作用効果)
この(21)に記載の画像表示装置によれば、画像の中でスペクトルを求めたいエリアを複数指定したとき、エリア毎のスペクトルの違いを一目にして区別することができる。
【0109】
(22) 2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示方法において、
上記マルチバンド画像の内のあるバンドの画像を表示する工程と、
その表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する工程と、
上記マルチバンド画像における上記指定された上記少なくとも1画素以上の信号値から、スペクトルを推定する工程と、
その推定したスペクトルを表示する工程と、
を有することを特徴とする画像表示方法。
【0110】
(対応する実施形態)
この(22)に記載の画像表示方法に関する実施形態は、第1乃至第3実施形態が対応する。
(作用効果)
この(22)に記載の画像表示方法によれば、画像の中でスペクトルを求めたい場所を特定し、グラフを表示することができる。
【0111】
(23) 上記スペクトルは、信号値の輝度スペクトルであることを特徴とする(22)に記載の画像表示方法。
【0112】
(対応する実施形態)
この(23)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(23)に記載の画像表示方法によれば、マルチバンド画像の中でスペクトルを求めたい場所の信号値の輝度スペクトルのグラフを表示することができる。
【0113】
(24) 上記スペクトルは、分光スペクトルであることを特徴とする(22)に記載の画像表示方法。
【0114】
(対応する実施形態)
この(24)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(24)に記載の画像表示方法によれば、マルチバンド画像の中でスペクトルを求めたい場所の信号値の分光反射/透過率スペクトルのグラフを表示することができる。
【0115】
(25) 上記スペクトルを推定する工程は、上記マルチバンド画像の各バンド画像間の輝度データを補間することによってスペクトルを求めることを特徴とする(22)に記載の画像表示方法。
【0116】
(対応する実施形態)
この(25)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(25)に記載の画像表示方法によれば、マルチバンド画像の各バンド画像間の輝度データを補間してスペクトルを求めることで、切れ目のないグラフを表示することができる。
【0117】
(26) 上記補間は、線形補間であることを特徴とする(25)に記載の画像表示方法。
【0118】
(対応する実施形態)
この(26)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
【0119】
(27) 上記補間は、スプライン曲線補間であることを特徴とする(25)に記載の画像表示方法。
【0120】
(対応する実施形態)
この(27)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
【0121】
(28) 上記スペクトルを推定する工程は、上記マルチバンド画像に対応する参照画像を用い、上記マルチバンド画像及び上記参照画像の両者に対応した上記少なくとも1画素以上の信号値から、スペクトルを推定することを特徴とする(24)に記載の画像表示方法。
【0122】
(対応する実施形態)
この(28)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
【0123】
(29) 上記マルチバンド画像の少なくとも1画素以上の信号値から、上記参照画像を作成する工程を更に具備することを特徴とする(28)に記載の画像表示方法。
【0124】
(対応する実施形態)
この(29)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(29)に記載の画像表示方法によれば、マルチバンド画像から参照画像を作成するので、別途、参照画像を撮像する必要がない。
【0125】
(30) 上記参照画像を作成する工程は、
上記表示された上記あるバンドの画像上で、所望のエリアの形状と位置の指定を受けて、使用する画素を選択する工程と、
その選択された使用する画素の値から上記参照画像を作成する工程と、
を有することを特徴とする(29)に記載の画像表示方法。
【0126】
(対応する実施形態)
この(30)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(30)に記載の画像表示方法によれば、参照画像を作成する場合も指定したエリアから作成することができる。
【0127】
(31) 上記参照画像を作成する工程は、上記選択された使用する画素の値の平均値を元に上記参照画像を作成することを特徴とする(30)に記載の画像表示方法。
【0128】
(対応する実施形態)
この(31)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
【0129】
(32) 上記参照画像を作成する工程は、上記マルチバンド画像の内のあるバンドの全画素から輝度値の高い画素の場所を自動的に求めて画素値を決め、その画素値を元に上記参照画像を作成することを特徴とする(29)に記載の画像表示方法。
【0130】
(対応する実施形態)
この(32)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(32)に記載の画像表示方法によれば、ユーザの手補煩わすことなく自動的に参照画像を作成できる。
【0131】
(33) 上記参照画像を作成する工程は、上記輝度値の高い画素の場所を求める際に、輝度の高さのスレッシュホールドを設定し、それよりも輝度値の高い画素は露出オーバとして取り除き、上記スレッシュホールド以下の輝度値を持つ画素の中から上記輝度値の高い画素の場所を求めることを特徴とする(32)に記載の画像表示方法。
【0132】
(対応する実施形態)
この(33)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(33)に記載の画像表示方法によれば、不適切な画素の輝度値を除くことで、より適切な参照画像を作成することができる。
【0133】
(34) 上記参照画像を作成する工程は、指定した1つ以上の画素の輝度情報を全バンドにおいて一目で確認可能に提示する工程を有することを特徴とする(29)に記載の画像表示方法。
【0134】
(対応する実施形態)
この(34)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(34)に記載の画像表示方法によれば、グラフを描画する対象のエリアは次々に変えることができるので、エリア毎のスペクトルの違いを一目にして区別することができるようになる。
【0135】
(35) 上記スペクトルを推定する工程で推定した分光スペクトルから、色度情報を求める工程を更に有することを特徴とする(24)に記載の画像表示方法。
【0136】
(対応する実施形態)
この(35)に記載の画像表示方法に関する実施形態は、第2実施形態が対応する。
(作用効果)
この(35)に記載の画像表示方法によれば、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度情報を表示することができる。また、エリアを複数設定した場合はその違いについて、色度図上でプロット位置を同時に表示して比較することができる効果がある。
【0137】
(36) 上記色度情報を求める工程で求めた上記色度情報の色度値(x,y)を色度図として表示することを特徴とする(35)に記載の画像表示方法。
【0138】
(対応する実施形態)
この(36)に記載の画像表示方法に関する実施形態は、第2実施形態が対応する。
(作用効果)
この(36)に記載の画像表示方法によれば、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度値、色度図を表示することができる。
【0139】
(37) 上記表示した色度図において、任意の部分を拡大表示することを特徴とする(36)に記載の画像表示方法。
【0140】
(対応する実施形態)
この(37)に記載の画像表示方法に関する実施形態は、第2実施形態が対応する。
(作用効果)
この(37)に記載の画像表示方法によれば、色度図の部分的な情報を細かく見ることができる。
【0141】
(38) 上記色度情報を求める工程は、同一の画像或いは異なる画像で2つ以上の色度情報を求め、それを比較することを特徴とする(35)に記載の画像表示方法。
【0142】
(対応する実施形態)
この(38)に記載の画像表示方法に関する実施形態は、第3実施形態が対応する。
(作用効果)
この(38)に記載の画像表示方法によれば、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所を基準に他のエリアとの色差を表示することができる。
【0143】
(39) 上記色度情報を求める工程における2つ以上の色度情報の比較方法は、色度値(x,y及びL*,a*,b*)の数値を比較することであることを特徴とする(38)に記載の画像表示方法。
【0144】
(対応する実施形態)
この(39)に記載の画像表示方法に関する実施形態は、第3実施形態が対応する。
(作用効果)
この(39)に記載の画像表示方法によれば、ユーザは、色差について、その大きさを明確にしながら比較、評価することができる。
【0145】
(40) 上記色度値の比較は、着目する1つ以上のある画素の色度値を基準値として、他の画素はその基準値との色差を求めるものであり、
その求めた色差を画像で表現する、
ことを特徴とする(39)に記載の画像表示方法。
【0146】
(対応する実施形態)
この(40)に記載の画像表示方法に関する実施形態は、第3実施形態が対応する。
(作用効果)
この(40)に記載の画像表示方法によれば、基準エリア以外を画素単位にして色差を画像として表示することができる。これによってユーザは、色差について、その大きさ、画像上での位置を明確にしながら比較、評価することができる。
【0147】
(41) 上記少なくとも1画素以上を指定する工程は、
上記表示された上記あるバンドの画像上の任意の位置にポインタを移動させ、
そのポインタの移動に合わせて、そのポインタが指し示す位置の画素を自動的に指定する、
ことを特徴とする(22)、(33)、(34)、(35)、(36)、(38)、(39)、及び(40)の何れかに記載の画像表示方法。
【0148】
(対応する実施形態)
この(41)に記載の画像表示方法に関する実施形態は、第1乃至第3実施形態が対応する。
(作用効果)
この(41)に記載の画像表示方法によれば、ポインタの移動に伴ってリアルタイムに、その位置のスペクトルを表示できる。
【0149】
(42) 2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示方法において、
上記マルチバンド画像の内のあるバンドの画像を表示する工程と、
その表示された上記あるバンドの画像から少なくとも2つ以上の指定画素を指定する工程と、
その指定された指定画素各々のスペクトルを求める工程と、
上記指定された指定画素の内、基準となる1つの指定画素の上記求められたスペクトルを選択し、その選択されたスペクトルと他の指定画素の上記スペクトルとの相対値(比)を表示する工程と、
を有することを特徴とする画像表示方法。
【0150】
(対応する実施形態)
この(42)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(42)に記載の画像表示方法によれば、画像の中でスペクトルを求めたいエリアを複数指定したとき、エリア毎のスペクトルの違いを一目にして区別することができる。
【0151】
(43) 2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示装置において、
上記マルチバンド画像の内のあるバンドの画像を表示する画像表示手段と、
上記画像表示手段に表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する画素指定手段と、
上記マルチバンド画像における上記画素指定手段によって指定された上記少なくとも1画素以上の信号値から、分光スペクトルを推定するスペクトル推定手段と、
上記スペクトル推定手段で推定した分光スペクトルから、色度情報を求める色度情報算出手段と、
上記スペクトル推定手段で推定した分光スペクトルを表示すると共に、上記色度情報算出手段で求めた上記色度情報の色度値を色度図として表示するスペクトル表示手段と、
を具備し、
上記スペクトル表示手段は、上記表示した色度図において、任意の部分の拡大表示機能を備えることを特徴とする画像表示装置。
【0152】
(対応する実施形態)
この(43)に記載の画像表示装置に関する実施形態は、第2実施形態が対応する。ここで、その実施形態において、コンピュータ11が上記画像表示手段及び画素指定手段に対応し、スペクトル計算部13が上記スペクトル推定手段及び上記色度情報算出手段に対応し、コンピュータ、スペクトル計算部13及びスペクトル出力用画面14が上記スペクトル表示手段に対応する。
(作用効果)
この(43)に記載の画像表示装置によれば、画像の中でスペクトルを求めたい場所を特定し、グラフを表示することができる。また、マルチバンド画像の中でスペクトルを求めたい場所の信号値の分光反射/透過率スペクトルのグラフを表示することができる。更に、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度情報を表示することができる。そして、エリアを複数設定した場合はその違いについて、色度図上でプロット位置を同時に表示して比較することができる効果がある。更に、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度値、色度図を表示することができる。そして、色度図において、任意の部分の拡大表示が行えるので、色度図の部分的な情報を細かく見ることができる。
【0153】
(44) 2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示方法において、
上記マルチバンド画像の内のあるバンドの画像を表示する工程と、
その表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する工程と、
上記マルチバンド画像における上記指定された上記少なくとも1画素以上の信号値から、分光スペクトルを推定する工程と、
その推定した分光スペクトルから、色度情報を求める工程と、
上記推定した分光スペクトルを表示すると共に、上記求めた色度情報の色度値を色度図として表示する工程と、
を有し、
上記表示する工程は、上記表示した色度図において、任意の部分の拡大表示を行う工程を含むことを特徴とする画像表示方法。
【0154】
(対応する実施形態)
この(44)に記載の画像表示方法に関する実施形態は、第2実施形態が対応する。
(作用効果)
この(44)に記載の画像表示方法によれば、画像の中でスペクトルを求めたい場所を特定し、グラフを表示することができる。また、マルチバンド画像の中でスペクトルを求めたい場所の信号値の分光反射/透過率スペクトルのグラフを表示することができる。更に、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度情報を表示することができる。そして、エリアを複数設定した場合はその違いについて、色度図上でプロット位置を同時に表示して比較することができる効果がある。更に、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度値、色度図を表示することができる。そして、色度図において、任意の部分の拡大表示が行えるので、色度図の部分的な情報を細かく見ることができる。
【図面の簡単な説明】
【0155】
【図1】(A)は本発明の第1実施形態に係る画像表示装置の構成を示す図であり、(B)はスペクトル出力用画面を示す図である。
【図2】バンド画像画面を示す図である。
【図3】補間方法選択画面を示す図である。
【図4】第1実施形態に係る画像表示装置の変形例の構成を示す図である。
【図5】(A)は色票を撮影した場合のバンド画像を表示したバンド画像画面を示す図であり、(B)は作成した参照画像を表示した参照画像画面を示す図である。
【図6】バンド選択画面を示す図である。
【図7】変形例における補間方法選択画面を示す図である。
【図8】第1実施形態に係る画像表示装置の別の変形例の構成を示す図である。
【図9】エリア1を基準とした信号値(輝度)の相対値を表示するグラフを示す図である。
【図10】第1実施形態に係る画像表示装置の更に別の変形例の構成を示す図である。
【図11】本発明の第2実施形態に係る画像表示装置における表示例を示す図である。
【図12】第2実施形態に係る画像表示装置における別の表示例を示す図である。
【図13】第2実施形態に係る画像表示装置における更に別の表示例を示す図である。
【図14】(A)は本発明の第3実施形態に係る画像表示装置において基準エリアをマウスで指定している様子を示す図であり、(B)はその結果として表示される色差画像を示す図である。
【図15】第3実施形態に係る画像表示装置における別の表示例を示す図である。
【符号の説明】
【0156】
1…マルチバンドカメラ、 11…コンピュータ、 12…マルチバンド画像、 13…スペクトル計算部、 14…スペクトル出力用画面、 15…バンド画像画面、 16…補間方法選択画面、 17…参照画像、 18…参照画像画面、 19…バンド選択画面、 20…補間方法選択画面、 21…特性ファイル、 22,23…ウィンドウ、 24…マウスポインタ、 141…エリア選択リストボックス、 151…矩形、 191…バンド番号、 221…色度図、 222−1,222−2…点、 223,232…釣鐘、 231…色度図。
【技術分野】
【0001】
本発明は、マルチバンドカメラにより取得されたマルチバンド画像からスペクトルグラフ表示、色度値表示、及び、複数の対象点どうしの相互の相対値を表示する画像表示装置及び画像表示方法に関する。
【背景技術】
【0002】
マルチバンドカメラとは一般に、通常の3バンドカラーのカメラのR,G,Bフィルタと比べて、より特定の波長透過特性を持つ複数のバンド数で撮影するカメラを指す。バンドを切り替える手段は、例えば、特許文献1に開示されているような波長可変フィルタであったり、特許文献2に開示されているような回転フィルタを用いる。装置、目的によってバンド数は異なるが、各バンドでの透過率特性は例えば上記特許文献1の図2に示されるようになっている。
【0003】
撮影した画像は一般にバンド数だけ存在するので、上記特許文献1の図2では16バンドによる16枚の画像になり、上記特許文献2の図8に示す回転フィルタを用いた場合には10バンドによる10枚の画像になる。
【0004】
マルチバンドカメラで撮像されたマルチバンド画像は、バンド毎に画像として表示することができる。
【0005】
上記特許文献1においても、また上記特許文献2でも、スペクトルを推定する方法については述べられているが、実際にソフトウエアから操作する方法については触れられていない。
【特許文献1】特開2001−099710号公報
【特許文献2】特開平11−096333号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
スペクトルの表示は一般に、撮影した画像の全体ではなく、着目している特定の場所を対象に行う。その為には、指定は任意の場所をソフトウエアから指定し、その場所だけでスペクトルを表示できた方が良い。
【0007】
また、380nmから780nmを1nmおきに撮影し、401バンドの画像を撮った場合は、1nmずつの401バンドの画像から精度良くスペクトルを推定できるが、401バンドよりも少ない、即ち1nmよりも粗いサンプリング波長間隔で画像を撮った場合は、サンプリング波長間の広い、少ない画像データから401バンドの場合と略同等のスペクトルを推定する必要がある。推定方法によっても、スペクトルが異なることが考えられるため、任意に推定方法を選ぶことができたほうが良い。
【0008】
さらに、エリアを複数指定した場合や複数の画像からスペクトルを表示する場合は、スペクトル同士の比較も望まれる。
【0009】
スペクトルが求められると、それを利用し測色値を計算することができる。ここでもやはり、エリアを複数定義している場合は、ある基準に対してΔEなど色差を計算し、表示することができると、ユーザの画像に対する理解を深めることができる。さらに、基準のエリアから、画像の各ピクセルがどの位の色差(ΔE)になっているか、一目でわかるような表示方法が望まれる。
【0010】
本発明は、上記の点に鑑みてなされたもので、マルチバンドカメラから取得されたマルチバンド画像に対し、スペクトルの表示や色度値の表現等を行うためのGUI表示方法を提案し、ユーザの画像評価の負荷を軽減することが可能な画像表示装置及び画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記の目的を達成するために、本発明の第1の態様による画像表示装置は、
2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示装置において、
上記マルチバンド画像の内のあるバンドの画像を表示する画像表示手段と、
上記画像表示手段に表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する画素指定手段と、
上記マルチバンド画像における上記画素指定手段によって指定された上記少なくとも1画素以上の信号値から、分光スペクトルを推定するスペクトル推定手段と、
上記スペクトル推定手段で推定した分光スペクトルから、色度情報を求める色度情報算出手段と、
上記スペクトル推定手段で推定した分光スペクトルを表示すると共に、上記色度情報算出手段で求めた上記色度情報の色度値を色度図として表示するスペクトル表示手段と、
を具備し、
上記スペクトル表示手段は、上記表示した色度図において、任意の部分の拡大表示機能を備えることを特徴とする。
【0012】
また、上記の目的を達成するために、本発明の第2の態様による画像表示方法は、
2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示方法において、
上記マルチバンド画像の内のあるバンドの画像を表示する工程と、
その表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する工程と、
上記マルチバンド画像における上記指定された上記少なくとも1画素以上の信号値から、分光スペクトルを推定する工程と、
その推定した分光スペクトルから、色度情報を求める工程と、
上記推定した分光スペクトルを表示すると共に、上記求めた色度情報の色度値を色度図として表示する工程と、
を有し、
上記表示する工程は、上記表示した色度図において、任意の部分の拡大表示を行う工程を含むことを特徴とする。
【発明の効果】
【0013】
本発明によれば、マルチバンドカメラから取得されたマルチバンド画像に対し、スペクトルの表示や色度値の表現等を行うためのGUI表示方法を提案し、ユーザの画像評価の負荷を軽減することが可能な画像表示装置及び画像表示方法を提供することができる。
【発明を実施するための最良の形態】
【0014】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【0015】
[第1実施形態]
まず、本発明の第1実施形態として、画像上の任意の場所を対象とした、信号レベルのスペクトルを表示する方法を説明する。
【0016】
本実施形態に係る画像表示装置の構成を示す図1(A)において、マルチバンドカメラ1は、コンピュータ11によって制御されている。マルチバンドカメラ1は一般に、撮像素子であるCCDを内蔵し、画像を撮影して電子データとして画像データをコンピュータ11に送る。撮影された画像は、マルチバンド画像12としてコンピュータ11の管理するメモリ上にある。なお、画像はその都度撮影されても良いし、過去に撮影した画像をハードディスク等の記憶媒体から読み出してきてメモリ上にマルチバンド画像12として展開されていても良い。従って、本実施形態の処理を行う時は必ずしもマルチバンドカメラ1が無くても良い。
【0017】
コンピュータ11は、上記マルチバンド画像12から、スペクトル計算部13によってスペクトルを計算し、スペクトル出力用画面14にグラフ表示を行う。本実施形態では、コンピュータ11はIBM社のPC−AT互換機を用い、OSとしてWindows(登録商標)2000を利用する。スペクトル出力用画面14はWindows2000の管理するウィンドウ画面であり、その画面はCRTなどのモニタに表示される。
【0018】
マルチバンドカメラ1は18バンドとすると、上記マルチバンド画像12は18枚のバンド画像でなり、コンピュータ11はユーザの指定に従ったバンドの画像を表示する。例えば、バンド6の画像が図2のように表示する。ユーザは、このバンド画像画面15を見ながら、スペクトルを表示したい場所を特定する。この図2の例では、コンピュータ11のポインティングデバイスであるマウスのドラッグ&ドロップ機能(矩形の左上、右下を指定する方法)を使って、矩形を5つ指定している。なお、エリアの数や形はユーザによって異なる形でも良く、この実施形態の範疇に入る。
【0019】
そしてユーザが、図示していない「信号値のスペクトル表示」のメニューを選択すると、コンピュータ11は、図3のようなGUI(グラフィカルユーザインターフェース)、即ち補間方法選択画面16を表示して、補間の方法を選択させる。
【0020】
このような補間方法選択画面16で、直線補間が選択された場合には、コンピュータ11は、スペクトル計算部13により、それぞれの矩形内の画素値、つまり、これはマルチバンドカメラ1のCCD素子の信号値、の平均値を算出する。そして、その輝度をバンド毎にプロットして直線で結んだグラフをスペクトル出力用画面14として、図1(B)に示すように表示する。なお、このグラフの縦軸は信号の強度である。CCD素子の出力が16bitであるときは、信号強度(輝度)として、0から65535までの値をとることができる。また、横軸は波長を表している。この例では、バンド1が380nm、バンド2が418nmの中心波長であり、同様にバンド18まで中心波長を表す波長での輝度をプロットしていく。そして、選択された補間方法は、この例では直線補間であったので、バンド間は直線で補間する。なお、該スペクトル出力用画面14の右上には、エリア選択リストボックス141が配されており、このエリア選択リストボックス141で選択することで、上記バンド画像画面15で特定された各エリアごとの信号強度のスペクトルを、適宜切り替えながら観察することができるようになっている。
【0021】
また、ユーザが図3の補間方法選択画面16で、スプライン補正を選択したときには、補正間隔を10nm、5nm、1nmのうちから選択して、直線補間のときと同様に、バンド1〜バンド18でのx座標、y座標を求めてからスプライン補正を行う。
【0022】
以上のようにして、画像上の任意の場所について、信号レベルのスペクトルを表示することができる。
【0023】
画像上の任意の場所について、分光スペクトルを表示する方法を、本実施形態の変形例として説明する。
【0024】
この場合は、図4に示すように、図1(A)と同様の構成に加えて、参照画像17を利用する。また、スペクトル計算部13が分光スペクトルを計算するものとなっている。
【0025】
即ち、分光スペクトルは、通常の物体に対しては分光反射率、顕微鏡等のように透過物体を観察する場合は分光透過率のスペクトルとしてグラフ表示を行う。従って、反射率か透過率を計算するための基準となる画像、つまり参照画像17が必要となる。ここで、反射率スペクトルを求める場合は、参照画像17の対象は標準白色板を撮影したものになる。また、透過率スペクトルを求める場合の参照画像17は、観察するものを取り除き、照明光だけの画像を用いる。
【0026】
つまり、参照画像17は、マルチバンド画像12を撮影する時と同じ手順で、撮影の対象を標準白色板などに代えて撮影する。従って、撮影は、マルチバンド画像12の撮影の他に、そのような標準白色板などの撮影を1回、余分に行うことが必要となる。しかしながら、マルチバンド画像12の中に、参照する場所を一緒に写し込むことができれば、マルチバンド撮影する撮影対象の撮影のみで良い。
【0027】
以下に、その方法を説明する。図5(A)は、撮影対象を撮影したマルチバンド画像12の内、ユーザに指定された或いは初期画像として設定されたバンドの画像を表示したバンド画像画面15を示す図である。この例では、色票が撮影対象になっている。もし、この色票の中に、反射率が極めて100%に近いものがあった場合は、これを標準白色板と同様な扱いと定義することができる。この例では、図5(A)の左下の矩形がその場所であり、ユーザはマウスのドラッグ&ドロップ操作で、その場所を指定する。或いは、コンピュータ11で自動的にその場所を認識しても良い。この例では、指定された場所が矩形151で図示されている。コンピュータ11は、その矩形151の信号値(輝度)の平均値を使って参照画像17を作成する。なお、こうして作成された参照画像17を、図5(B)に示すような参照画像画面18に表示して、ユーザに確認を受けることができる。
【0028】
なお、参照画像17は、光源に対して反射率が100%の対象物が理想であるため、信号値(輝度)の明るいところを探すためには、図6のようなGUI、即ちバンド選択画面19を表示し、マウス位置の1つ、或いは複数の画素をエリアとして定義し、その画素の信号値(輝度)を表示すると、評価を行い易い。ここで、図6の中央左側の「Level」以下はバンド番号191を表し、バンド1〜バンド18が表示されている。「Level」の右側の数値「(1974,0)」は、現在のバンド画像画面15に表示された画像上のマウス位置を表す。その下の数字で信号値を表示している。例えば、バンド1では「176(1/256)」と表示されているが、これは、16bitデータとして信号値が176であることを示している。また括弧内の数値は、コンピュータ11のディスプレイは0〜255の256階調で輝度を表すことが多いため、この256階調換算で値が幾つになるかを示している。この場合は1である。
【0029】
上記スペクトル計算部13では、分光反射/透過率を計算して、スペクトル出力用画面14へ表示を行う。その方法を手順に従って説明する。対象のマルチバンド画像12に対して、分光反射/透過率のスペクトルを表示する対象の場所を指定する。図2はその様子を表し、入力方法は前述した手順で行う。この画像には参照画像17が対になっている。作成方法は前述したように対象画像の一部から作るか、参照板だけの画像を改めて撮影する。
【0030】
次に反射率/透過率を求める。この例では色票を使っているため、反射率である。反射率は次の式で求めることができる。
【0031】
対象画像の指定バンドの反射率=(対象画像の指定バンドの指定エリアの平均値)/(参照画像の指定バンドの指定エリアの平均値)
図2の例では、バンド数は18なので、バンド毎に値を求める。また、指定エリアが5つあるので、それぞれのエリアで反射率を求める。例えば、図2の左下のエリア1は白色板であったとして、この場所から参照画像17を前述した方法で作成した場合は、全てのバンドにおいてエリア1の反射率は1になる。それ以外のエリアでは一般に参照画像17よりも信号値は小さいはずなので、0≦反射率≦1.0を示すのが普通である。
【0032】
そして、求めた反射率をスペクトル出力用画面14にグラフとして表示する。なお、この場合も、ユーザが図7に表すようなGUI、即ち補間方法選択画面20で補間の方法を選択できるようにする。図7に示す状態では、直線補間が選ばれている。グラフにプロットする方法は、前述の信号レベルのスペクトルをグラフ表示させた時と同様な手順になる。つまり、図1(B)のグラフで横軸に各バンドで用いたフィルタの中心波長の位置を波長換算で求め、縦軸に反射率として値をプロットする。従って、前述の場合は縦軸は信号値であったが、分光反射率では、一般に1.0を最大値とした反射率で描画を行う。直線補間では、プロットの間を前述したように直線で補間し、スペクトルグラフを完成させる。
【0033】
また、図7の補間方法選択画面20で、補間方法としてスプライン補正を選択したときは、補間を10nm、5nm、1nmで行うか選択させた後、スプライン曲線で近似を行えば良い。
【0034】
なお、図5(A)及び(B)を参照して、ユーザが目で確認しながら、参照画像17を作成する方法を説明したが、それ以外に参照画像17を作成する変形例について述べる。
【0035】
参照板は照明光を理想的には100%反射するようにしたものであるため、図5(A)に示すバンド画像画面15で表示されるバンド画像内に参照板に相当する場所があれば、その場所の信号輝度は他と比べて高いはずである。従って、図5(A)のようなバンド画像において全ての画素の信号値(輝度)を調べて、明るい順に並べる。その中で明るい方から例えば、30画素分を参照板位置での画素情報として、その30画素の信号値の平均値から図5(B)の参照画像画面18に示すような参照画像17を作成することができる。
【0036】
もう1つの変形例として、露出オーバの部分を除いて、参照画像17を作成する方法を説明する。図5(A)に示すバンド画像画面15で表示されるようなバンド画像は、適度な露出時間を設定して撮影したつもりでも、部分的に非常に明るい部分が存在してしまう可能性がある。例えば、参照板では参照板自身の材質、照明位置が調整されているので、正反射部分が除かれている場合が多いが、正式な参照板が用意できなかった場合や、照明条件を適切にできなかった場合は、参照としたい画像の部分に正反射部分を含むことが考えられる。この場合は、前述した方法で、バンド画像の全ての画素の信号値(輝度)を調べて、明るい順に並べるが、その後で、一定の輝度以上のものを取り除く。例えば、信号値の最大値が255であった場合は、並べられた画素のうち、240以上の信号値は正反射部分として除外する。そして、残った画素の中から、明るい輝度の30画素分を同様な方法で参照画像17を作成することができる。なお、この例ではスレッシュホールドを240としたが、マルチバンド画像12の入力手段、信号値の幅、撮影物、ユーザの指定で他の値にしても同様な方法が成り立つ。
【0037】
次に、上記特許文献2に開示されているようなスペクトル推定方法で、分光スペクトルの推定を行う例について述べる。
【0038】
図8は、その場合の構成を示す図で、マルチバンドカメラ1、コンピュータ11、マルチバンド画像12、及び、スペクトル出力用画面14の構成と機能は図1(A)と同じである。分光スペクトルの推定は、スペクトル計算部13で行う。ここでの推定方法は、上記特許文献2で記述されている。また、その推定の為に必要なファイルが特性ファイル21として用意され、その特性ファイル21をスペクトル計算部13が参照する。
【0039】
次に手順を示す。画像は今までと同様に、図2のような形で表示され、スペクトルを計算したい場所を特定する。図2では5つのエリアが指定されている。そして、その後、ユーザが分光反射/透過率のスペクトル表示メニューを選択したとき、図7の補間方法選択画面20を表示し、補間方法として、3番目の「推定」が選択されると、先に選択した5つのエリアで上記特許文献2の方法でスペクトルの推定を行う。その結果は、図1(B)のようなグラフで表示される。ただし、この場合は縦軸は反射率であり、一般的には最大値を1.0とした0〜1.0の値になる。
【0040】
なお、以上のいずれの方法でもエリアは、図2に示すようなバンド画像画面15を使って予め指定しておいた。しかしながら、推定処理が高速に実行され、ユーザにストレスを感じさせない程度であるならば、マウスで1画素、或いは複数の画素を選択させて、その位置のスペクトルをリアルタイムで計算して表示するようにしても良い。或いは、それらの混合で例えば、エリア1〜エリア5は予め指定しておき、エリア6は現在のマウス位置にしてスペクトルを表示するというようにしても良い。
【0041】
また、エリアが複数ある場合のスペクトルの比較は、図1(B)のようにグラフをエリア毎に表示しエリアの選択を変えることで行っていたが、図1(B)のウィンドウをエリア毎に作成し、それらを並べてタイル表示として、比較できるようにしても良い。或いは、1つのウィンドウにエリア毎に色を変えるなどの工夫をして同時に表示しても良い。さらに、相対的に信号値や分光反射/透過率のスペクトルを比較する場合は、図9に示すように、あるエリアを基準とした相対値を表示しても良い。この図では、エリア1を基準とした信号値(輝度)の相対値を縦軸として、グラフ表示を行っている。
【0042】
また、図10に示すように、図4の構成と図8の構成を組み合わせ、適宜ユーザが選択できるようにしても良い。
【0043】
以上のような方法によって、画像の中でスペクトルを求めたい場所を特定し、グラフを表示することができる。推定方法が複数である場合もそれらを選択することが可能である。また、参照画像17を作成する場合も、指定したエリアから作成することができる。以上のような方法によって、スペクトルを表示したい場所を画像を見ながら指定し、そのエリアでのスペクトルを表示することができる。また、グラフを描画する対象のエリアは次々に変えることができるので、エリア毎のスペクトルの違いを一目にして区別することができる効果がある。
【0044】
[第2実施形態]
次に、本発明の第2実施形態を説明する。本実施形態は、マルチバンドカメラ1で撮影したマルチバンド画像に対し、特定のエリアを指定し、その場所の色度値、色度図を表示するというものである。
【0045】
色度値は、分光反射率/透過率のスペクトルから推定するため、構成は上記第1実施形態と同様であり、スペクトル計算部13により上記第1実施形態で説明した方法で分光反射率/透過率のスペクトルを計算した後、後述する方法で色度値が求められる。そして結果は、スペクトル出力用画面14と同様に同じウィンドウ、或いは別ウィンドウで画面に表示される。色度値は前述したように分光反射率/透過率のスペクトルから求められるため、その推定方法によって、図1(A)、図4、図8、または図10の構成が考えられる。
【0046】
次に、色度値XYZ、xyz、L*,a*,b*を表示する方法を説明する。
【0047】
まず、測色したい部分を指定して、その場所の分光反射/透過率スペクトルを推定する。その方法は、上記第1実施形態で説明した通りである。その結果、推定された分光反射/透過率スペクトルをR(λ)であったとする。この形態ではλは380[nm]〜780[nm]まで、1[nm]間隔で求められたとする。この時の照明光をS(λ)とすると、
X=KΣS(λ)x(λ)R(λ)
Y=KΣS(λ)y(λ)R(λ)
Z=KΣS(λ)z(λ)R(λ)
K=100/(ΣS(λ)y(λ))
で表される。ただし、x(λ)、y(λ)、z(λ)はXYZ表色系における等色関数の値であり、Σはλを380〜780とする。ここで求まったXYZより、xyzは次の式で求めることができる。
【0048】
x=X/(X+Y+Z)
y=Y/(X+Y+Z)
z=Z/(X+Y+Z)
さらに、レンダリング照明光をe(λ)として、L*,a*,b*を求めると、次の公式で表すことができる。
【数1】
【0049】
以上の公式から求めた値を、図11に示すようなウィンドウ22に表示する。このウィンドウ22の右側では、エリア1に対して、(x,y)が(0.313,0.329)、Yが99.993、(L*,a*,b*)が(99.997,0.000,0.002)であることを示している。さらに(x,y)の値は、ウィンドウ22の左側の色度図221上にプロットされている。この例では、エリアを2つ定義しているため、それぞれがプロットされている(点222−1,222−2)。
【0050】
色度図221は、ユーザの利便性を考え、該色度図221中の可視領域である釣鐘223内に、コンピュータ11で表すことのできる最も近い色をカラーで表示している(釣鐘223の右下が赤、左下が青、上が緑)。一方、グレースケールで使いたいユーザは、図12のウィンドウ23に示すように、色度図231を、単に釣鐘232の外側を黒、内側を灰色とし、さらに、(x,y)が正確に読み取れるように目盛りを付けたものとして表示する。この図11のようなウィンドウ22と図12のようなウィンドウ23とは、マウスの右クリックのメニューなどの指示により切り替えるようにすると便利である。また、ここでは図示していないが、カラー表示上で目盛り付きの色度図を選択させても良い。さらに、色度図221,231の部分的な情報を細かく見たい場合は、マウスの右クリックによるメニュー選択によって、図13に示すように色度図221,231の部分的な拡大図が表示できると便利である。
【0051】
なお、以上の方法では、エリアは、図2に示すようなバンド画像画面15を使って予め指定しておいた。しかしながら、推定処理が高速に実行され、ユーザにストレスを感じさせない程度であるならば、マウスで1画素、或いは複数の画素を選択させて、その位置の色度値、色度図をリアルタイムで表示するようにしても良い。或いは、それらの混合で例えば、エリア1〜エリア5は予め指定しておき、エリア6は現在のマウス位置にして色度値、色度図を表示するというようにしても良い。さらにこの経過で、分光反射/透過率スペクトルも算出しているので、そのグラフを同時に同じウィンドウか別ウィンドウで表示することもできる。
【0052】
以上のような方法によって、マルチバンドカメラ1で撮影した画像に対し、特定のエリアを指定し、その場所の色度値、色度図を表示することができる。エリアを複数設定した場合はその違いについて、色度図上でプロット位置を同時に表示して比較することができる効果がある。
【0053】
[第3実施形態]
次に、本発明の第3実施形態を説明する。本実施形態は、マルチバンドカメラ1で撮影した画像に対し、特定のエリアを指定し、その場所を基準に他のエリアとの色差を表示するというものである。
【0054】
本実施形態における構成は、上記第2実施形態と同様である。
【0055】
本実施形態では、色差を画像として表示する。まず、基準となるエリアを指定して色度値を求める。その方法は、上記第2実施形態で説明したとおりである。例えば、図5(A)に示すバンド画像画面15で基準エリアを指定し、色度値を求める。その値を(Lo*,ao*,bo*)とする。一方、色差ΔEは、公式より、
ΔE=((Lo*−L1*)2+(ao*−a1*)2+(bo*−b1*)2)1/2
で表される。(L1*,a1*,b1*)は、比較対象の場所の色度値である。
【0056】
本実施形態では、エリア1を基準とした色差を、画面の全ピクセルに対して行い、その結果を画像として表す。今、左上の画素をI0とし、順にI2、I3、として表し、右下の画素をInとする。もし、画像が2048×2048ピクセルであった時はn=4194303である。この時の全ピクセルに対して色差を求めるので、その時の色差をΔE0〜ΔEnとして求める。次に、この中で最大の色差の値をΔEmax、最小の色差の値をΔEminとすると、i番目の画素で画像に表示するグレースケール上のピクセル値Diは次の式で表すことができる。
【0057】
Di=(ΔEi−ΔEmin)/(ΔEmax−ΔEmin)×255
ただし、0≦i≦nであり、ウィンドウ画像上で表すことのできる階調は0〜255であるとする。よって、元の画像ウィンドウの画素Iiに対して、ピクセル値Diで置き換えると、基準エリアに対する色差の画像表示を行うことができる。
【0058】
図14にその例を示す。この例では、基準エリアを予め矩形として決めるのではなく、リアルタイムでマウスポインタ24の位置の1画素或いは周囲の数画素で構成するエリアを基準エリアとしている。図14(A)で基準エリアをマウスで指定している様子を示している。図14(B)ではその結果として、色差画像を表示している。
【0059】
次に、その変形例として、色差ΔEが指定した基準値、つまり、スレッシュホールドよりも小さい、或いは大きい場合にのみ、元の画像とは異なる色をつける方法について述べる。
【0060】
基準のエリアを決めて画像像の全画素について色差ΔEを求めるところは、前述した方法と全く同じである。そして、画素I0〜Inに対して求まった色差をΔE0〜ΔEnであったとする。ここで、スレッシュホールドとなる基準の色差ΔEsよりも各画素の色差ΔEiが大きいか小さいかを判定する。ここでは、基準値よりも小さい場合は、その画素を赤((R,G,B)=(255,0,0))で塗りつぶし、それ以上だった場合は何もせず、元の画像(画素)を表示するものとする。その結果を図15に示す。この図で赤に塗りつぶされている部分(ハッチングして示す部分)は色差が基準値よりも小さく、基準エリアと色が近いことが分かる。同様に、あるスレッシュホールドよりも大きいところだけ色づけを行えば、基準エリアとの色差が大きい場所を調べることができる。
【0061】
なお、この例でも今までと同様に、推定処理が速くユーザのストレスを感じさせない程度なら、マウスで1画素、或いは複数の画素を選択させて、色差を表した画像をリアルタイムで表示しても良い。
【0062】
以上のような方法によって、マルチバンドカメラ1で撮影した画像に対し、特定のエリアを指定し、その場所を基準に他のエリアとの色差を表示することができる。また、基準エリア以外を画素単位にして色差を画像として表示することができる。これによってユーザは色差について、その大きさ、画像上での位置を明確にしながら比較、評価することができる効果がある。
【0063】
以上、実施形態に基づいて説明したような本発明によって、マルチバンドカメラ1のデータを扱うソフトウエアのGUIで、着目するエリアを1つ、或いは複数指定して、その場所の推定されたスペクトルを適時観察することができる。また、ここでのスペクトルとはマルチスペクトルカメラのCCD素子など入力手段側で得られた信号値(輝度)でも良いし、分光反射率、或いは分光透過率でも良い。ユーザは指定したエリアのスペクトルを観察するだけではなく、エリアどうしの相対値をグラフとしてみることもできる。
【0064】
また、分光反射/透過率スペクトルが求まると、測色値、色度値を求めて、その値や色度図を表示することができる。特に、色度値では基準となるエリア(1画素でも良い)からの相対値を色差(ΔE)として求めて、指定よりも小さい色差、或いは大きい色差をグレースケールとは別の色を着色して画像表示することで、撮影された画像の評価をユーザは視覚的に行うことができる。特に、スペクトルの推定、測色値、色度値、色差のどのようなデータでもターゲット、基準エリアの場所を画像上でマウスで指定することにより、リアルタイムでこれらの値、グラフ、画像を観察することで、ユーザが行うマルチバンドカメラ1で撮られた画像の評価をやり易くする効果がある。
【0065】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【0066】
(付記)
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【0067】
(1) 2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示装置において、
上記マルチバンド画像の内のあるバンドの画像を表示する画像表示手段と、
上記画像表示手段に表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する画素指定手段と、
上記マルチバンド画像における上記画素指定手段によって指定された上記少なくとも1画素以上の信号値から、スペクトルを推定するスペクトル推定手段と、
上記スペクトル推定手段で推定したスペクトルを表示するスペクトル表示手段と、
を具備することを特徴とする画像表示装置。
【0068】
(対応する実施形態)
この(1)に記載の画像表示装置に関する実施形態は、第1乃至第3実施形態が対応する。ここで、それらの実施形態において、コンピュータ11が上記画像表示手段及び画素指定手段に対応し、スペクトル計算部13が上記スペクトル推定手段に対応し、スペクトル出力用画面14が上記スペクトル表示手段に対応する。
(作用効果)
この(1)に記載の画像表示装置によれば、画像の中でスペクトルを求めたい場所を特定し、グラフを表示することができる。
【0069】
(2) 上記スペクトルは、信号値の輝度スペクトルであることを特徴とする(1)に記載の画像表示装置。
【0070】
(対応する実施形態)
この(2)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(2)に記載の画像表示装置によれば、マルチバンド画像の中でスペクトルを求めたい場所の信号値の輝度スペクトルのグラフを表示することができる。
【0071】
(3) 上記スペクトルは、分光スペクトルであることを特徴とする(1)に記載の画像表示装置。
【0072】
(対応する実施形態)
この(3)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(3)に記載の画像表示装置によれば、マルチバンド画像の中でスペクトルを求めたい場所の信号値の分光反射/透過率スペクトルのグラフを表示することができる。
【0073】
(4) 上記スペクトル推定手段は、上記マルチバンド画像の各バンド画像間の輝度データを補間することによってスペクトルを求めることを特徴とする(1)に記載の画像表示装置。
【0074】
(対応する実施形態)
この(4)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(4)に記載の画像表示装置によれば、マルチバンド画像の各バンド画像間の輝度データを補間してスペクトルを求めることで、切れ目のないグラフを表示することができる。
【0075】
(5) 上記補間は、線形補間であることを特徴とする(4)に記載の画像表示装置。
【0076】
(対応する実施形態)
この(5)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
【0077】
(6) 上記補間は、スプライン曲線補間であることを特徴とする(4)に記載の画像表示装置。
【0078】
(対応する実施形態)
この(6)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
【0079】
(7) 上記スペクトル推定手段は、上記マルチバンド画像に対応する参照画像を用い、上記マルチバンド画像及び上記参照画像の両者に対応した上記少なくとも1画素以上の信号値から、スペクトルを推定することを特徴とする(3)に記載の画像表示装置。
【0080】
(対応する実施形態)
この(7)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
【0081】
(8) 上記マルチバンド画像の少なくとも1画素以上の信号値から、上記参照画像を作成する参照画像作成手段を更に具備することを特徴とする(7)に記載の画像表示装置。
【0082】
(対応する実施形態)
この(8)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。ここで、その実施形態におけるコンピュータ11が上記参照画像作成手段に対応する。
(作用効果)
この(8)に記載の画像表示装置によれば、マルチバンド画像から参照画像を作成するので、別途、参照画像を撮像する必要がない。
【0083】
(9) 上記参照画像作成手段は、
上記画像表示手段に表示された上記あるバンドの画像上で、所望のエリアの形状と位置の指定を受けて、使用する画素を選択する画素選択手段と、
上記画素選択手段によって選択された使用する画素の値から上記参照画像を作成する作成手段と、
を有することを特徴とする(8)に記載の画像表示装置。
【0084】
(対応する実施形態)
この(9)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。ここで、その実施形態におけるコンピュータ11が上記画素選択手段及び作成手段に対応する。
(作用効果)
この(9)に記載の画像表示装置によれば、参照画像を作成する場合も指定したエリアから作成することができる。
【0085】
(10) 上記作成手段は、上記画素選択手段によって選択された使用する画素の値の平均値を元に上記参照画像を作成することを特徴とする(9)に記載の画像表示装置。
【0086】
(対応する実施形態)
この(10)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
【0087】
(11) 上記参照画像作成手段は、上記マルチバンド画像の内のあるバンドの全画素から輝度値の高い画素の場所を自動的に求めて画素値を決め、その画素値を元に上記参照画像を作成することを特徴とする(8)に記載の画像表示装置。
【0088】
(対応する実施形態)
この(11)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(11)に記載の画像表示装置によれば、ユーザの手補煩わすことなく自動的に参照画像を作成できる。
【0089】
(12) 上記参照画像作成手段は、上記輝度値の高い画素の場所を求める際に、輝度の高さのスレッシュホールドを設定し、それよりも輝度値の高い画素は露出オーバとして取り除き、上記スレッシュホールド以下の輝度値を持つ画素の中から上記輝度値の高い画素の場所を求めることを特徴とする(11)に記載の画像表示装置。
【0090】
(対応する実施形態)
この(12)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(12)に記載の画像表示装置によれば、不適切な画素の輝度値を除くことで、より適切な参照画像を作成することができる。
【0091】
(13) 上記参照画像作成手段は、指定した1つ以上の画素の輝度情報を全バンドにおいて一目で確認可能に提示する手段を有することを特徴とする(8)に記載の画像表示装置。
【0092】
(対応する実施形態)
この(13)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。ここで、その実施形態において、コンピュータ11、スペクトル計算部13、及びスペクトル出力用画面14が上記一目で確認可能に提示する手段に対応する。
(作用効果)
この(13)に記載の画像表示装置によれば、グラフを描画する対象のエリアは次々に変えることができるので、エリア毎のスペクトルの違いを一目にして区別することができるようになる。
【0093】
(14) 上記スペクトル推定手段で推定した分光スペクトルから、色度情報を求める色度情報算出手段を更に具備することを特徴とする(3)に記載の画像表示装置。
【0094】
(対応する実施形態)
この(14)に記載の画像表示装置に関する実施形態は、第2実施形態が対応する。ここで、その実施形態において、スペクトル計算部13が上記色度情報算出手段に対応する。
(作用効果)
この(14)に記載の画像表示装置によれば、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度情報を表示することができる。また、エリアを複数設定した場合はその違いについて、色度図上でプロット位置を同時に表示して比較することができる効果がある。
【0095】
(15) 上記スペクトル表示手段は、上記色度情報算出手段で求めた上記色度情報の色度値(x,y)を色度図として表示することを特徴とする(14)に記載の画像表示装置。
【0096】
(対応する実施形態)
この(15)に記載の画像表示装置に関する実施形態は、第2実施形態が対応する。
(作用効果)
この(15)に記載の画像表示装置によれば、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度値、色度図を表示することができる。
【0097】
(16) 上記スペクトル表示手段は、上記表示した色度図において、任意の部分の拡大表示機能を備えることを特徴とする(15)に記載の画像表示装置。
【0098】
(対応する実施形態)
この(16)に記載の画像表示装置に関する実施形態は、第2実施形態が対応する。
(作用効果)
この(16)に記載の画像表示装置によれば、色度図の部分的な情報を細かく見ることができる。
【0099】
(17) 上記色度情報算出手段は、同一の画像或いは異なる画像で2つ以上の色度情報を求め、それを比較する機能を備えることを特徴とする(14)に記載の画像表示装置。
【0100】
(対応する実施形態)
この(17)に記載の画像表示装置に関する実施形態は、第3実施形態が対応する。
(作用効果)
この(17)に記載の画像表示装置によれば、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所を基準に他のエリアとの色差を表示することができる。
【0101】
(18) 上記色度情報算出手段における2つ以上の色度情報の比較方法は、色度値(x,y及びL*,a*,b*)の数値を比較することであることを特徴とする(17)に記載の画像表示装置。
【0102】
(対応する実施形態)
この(18)に記載の画像表示装置に関する実施形態は、第3実施形態が対応する。
(作用効果)
この(18)に記載の画像表示装置によれば、ユーザは、色差について、その大きさを明確にしながら比較、評価することができる。
【0103】
(19) 上記色度値の比較は、着目する1つ以上のある画素の色度値を基準値として、他の画素はその基準値との色差を求めるものであり、
上記スペクトル表示手段は、その求めた色差を画像で表現する、
ことを特徴とする(18)に記載の画像表示装置。
【0104】
(対応する実施形態)
この(19)に記載の画像表示装置に関する実施形態は、第3実施形態が対応する。
(作用効果)
この(19)に記載の画像表示装置によれば、基準エリア以外を画素単位にして色差を画像として表示することができる。これによってユーザは、色差について、その大きさ、画像上での位置を明確にしながら比較、評価することができる。
【0105】
(20) 上記画素指定手段は、
上記画像表示手段に表示された上記あるバンドの画像上の任意の位置にポインタを移動させる移動手段を有し、
該移動手段による上記ポインタの移動に合わせて、そのポインタが指し示す位置の画素を自動的に指定する、
ことを特徴とする(1)、(12)、(13)、(14)、(15)、(17)、(18)、及び(19)の何れかに記載の画像表示装置。
【0106】
(対応する実施形態)
この(20)に記載の画像表示装置に関する実施形態は、第1乃至第3実施形態が対応する。ここで、それらの実施形態において、コンピュータ11が上記移動手段に対応する。
(作用効果)
この(20)に記載の画像表示装置によれば、ポインタの移動に伴ってリアルタイムに、その位置のスペクトルを表示できる。
【0107】
(21) 2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示装置において、
上記マルチバンド画像の内のあるバンドの画像を表示する画像表示手段と、
上記画像表示手段に表示された上記あるバンドの画像から少なくとも2つ以上の指定画素を指定する画素指定手段と、
上記画素指定手段によって指定された指定画素各々のスペクトルを求めるスペクトル算出手段と、
上記画素指定手段によって指定された指定画素の内、基準となる1つの指定画素の上記スペクトル算出手段で求められたスペクトルを選択し、その選択されたスペクトルと他の指定画素の上記スペクトル算出手段で求められたスペクトルとの相対値を表示する表示手段と、
を具備することを特徴とする画像表示装置。
【0108】
(対応する実施形態)
この(21)に記載の画像表示装置に関する実施形態は、第1実施形態が対応する。ここで、その実施形態において、コンピュータ11が上記画像表示手段及び画素指定手段に対応し、スペクトル計算部13が上記スペクトル算出手段に対応し、スペクトル出力用画面14が上記表示手段に対応する。
(作用効果)
この(21)に記載の画像表示装置によれば、画像の中でスペクトルを求めたいエリアを複数指定したとき、エリア毎のスペクトルの違いを一目にして区別することができる。
【0109】
(22) 2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示方法において、
上記マルチバンド画像の内のあるバンドの画像を表示する工程と、
その表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する工程と、
上記マルチバンド画像における上記指定された上記少なくとも1画素以上の信号値から、スペクトルを推定する工程と、
その推定したスペクトルを表示する工程と、
を有することを特徴とする画像表示方法。
【0110】
(対応する実施形態)
この(22)に記載の画像表示方法に関する実施形態は、第1乃至第3実施形態が対応する。
(作用効果)
この(22)に記載の画像表示方法によれば、画像の中でスペクトルを求めたい場所を特定し、グラフを表示することができる。
【0111】
(23) 上記スペクトルは、信号値の輝度スペクトルであることを特徴とする(22)に記載の画像表示方法。
【0112】
(対応する実施形態)
この(23)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(23)に記載の画像表示方法によれば、マルチバンド画像の中でスペクトルを求めたい場所の信号値の輝度スペクトルのグラフを表示することができる。
【0113】
(24) 上記スペクトルは、分光スペクトルであることを特徴とする(22)に記載の画像表示方法。
【0114】
(対応する実施形態)
この(24)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(24)に記載の画像表示方法によれば、マルチバンド画像の中でスペクトルを求めたい場所の信号値の分光反射/透過率スペクトルのグラフを表示することができる。
【0115】
(25) 上記スペクトルを推定する工程は、上記マルチバンド画像の各バンド画像間の輝度データを補間することによってスペクトルを求めることを特徴とする(22)に記載の画像表示方法。
【0116】
(対応する実施形態)
この(25)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(25)に記載の画像表示方法によれば、マルチバンド画像の各バンド画像間の輝度データを補間してスペクトルを求めることで、切れ目のないグラフを表示することができる。
【0117】
(26) 上記補間は、線形補間であることを特徴とする(25)に記載の画像表示方法。
【0118】
(対応する実施形態)
この(26)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
【0119】
(27) 上記補間は、スプライン曲線補間であることを特徴とする(25)に記載の画像表示方法。
【0120】
(対応する実施形態)
この(27)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
【0121】
(28) 上記スペクトルを推定する工程は、上記マルチバンド画像に対応する参照画像を用い、上記マルチバンド画像及び上記参照画像の両者に対応した上記少なくとも1画素以上の信号値から、スペクトルを推定することを特徴とする(24)に記載の画像表示方法。
【0122】
(対応する実施形態)
この(28)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
【0123】
(29) 上記マルチバンド画像の少なくとも1画素以上の信号値から、上記参照画像を作成する工程を更に具備することを特徴とする(28)に記載の画像表示方法。
【0124】
(対応する実施形態)
この(29)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(29)に記載の画像表示方法によれば、マルチバンド画像から参照画像を作成するので、別途、参照画像を撮像する必要がない。
【0125】
(30) 上記参照画像を作成する工程は、
上記表示された上記あるバンドの画像上で、所望のエリアの形状と位置の指定を受けて、使用する画素を選択する工程と、
その選択された使用する画素の値から上記参照画像を作成する工程と、
を有することを特徴とする(29)に記載の画像表示方法。
【0126】
(対応する実施形態)
この(30)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(30)に記載の画像表示方法によれば、参照画像を作成する場合も指定したエリアから作成することができる。
【0127】
(31) 上記参照画像を作成する工程は、上記選択された使用する画素の値の平均値を元に上記参照画像を作成することを特徴とする(30)に記載の画像表示方法。
【0128】
(対応する実施形態)
この(31)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
【0129】
(32) 上記参照画像を作成する工程は、上記マルチバンド画像の内のあるバンドの全画素から輝度値の高い画素の場所を自動的に求めて画素値を決め、その画素値を元に上記参照画像を作成することを特徴とする(29)に記載の画像表示方法。
【0130】
(対応する実施形態)
この(32)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(32)に記載の画像表示方法によれば、ユーザの手補煩わすことなく自動的に参照画像を作成できる。
【0131】
(33) 上記参照画像を作成する工程は、上記輝度値の高い画素の場所を求める際に、輝度の高さのスレッシュホールドを設定し、それよりも輝度値の高い画素は露出オーバとして取り除き、上記スレッシュホールド以下の輝度値を持つ画素の中から上記輝度値の高い画素の場所を求めることを特徴とする(32)に記載の画像表示方法。
【0132】
(対応する実施形態)
この(33)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(33)に記載の画像表示方法によれば、不適切な画素の輝度値を除くことで、より適切な参照画像を作成することができる。
【0133】
(34) 上記参照画像を作成する工程は、指定した1つ以上の画素の輝度情報を全バンドにおいて一目で確認可能に提示する工程を有することを特徴とする(29)に記載の画像表示方法。
【0134】
(対応する実施形態)
この(34)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(34)に記載の画像表示方法によれば、グラフを描画する対象のエリアは次々に変えることができるので、エリア毎のスペクトルの違いを一目にして区別することができるようになる。
【0135】
(35) 上記スペクトルを推定する工程で推定した分光スペクトルから、色度情報を求める工程を更に有することを特徴とする(24)に記載の画像表示方法。
【0136】
(対応する実施形態)
この(35)に記載の画像表示方法に関する実施形態は、第2実施形態が対応する。
(作用効果)
この(35)に記載の画像表示方法によれば、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度情報を表示することができる。また、エリアを複数設定した場合はその違いについて、色度図上でプロット位置を同時に表示して比較することができる効果がある。
【0137】
(36) 上記色度情報を求める工程で求めた上記色度情報の色度値(x,y)を色度図として表示することを特徴とする(35)に記載の画像表示方法。
【0138】
(対応する実施形態)
この(36)に記載の画像表示方法に関する実施形態は、第2実施形態が対応する。
(作用効果)
この(36)に記載の画像表示方法によれば、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度値、色度図を表示することができる。
【0139】
(37) 上記表示した色度図において、任意の部分を拡大表示することを特徴とする(36)に記載の画像表示方法。
【0140】
(対応する実施形態)
この(37)に記載の画像表示方法に関する実施形態は、第2実施形態が対応する。
(作用効果)
この(37)に記載の画像表示方法によれば、色度図の部分的な情報を細かく見ることができる。
【0141】
(38) 上記色度情報を求める工程は、同一の画像或いは異なる画像で2つ以上の色度情報を求め、それを比較することを特徴とする(35)に記載の画像表示方法。
【0142】
(対応する実施形態)
この(38)に記載の画像表示方法に関する実施形態は、第3実施形態が対応する。
(作用効果)
この(38)に記載の画像表示方法によれば、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所を基準に他のエリアとの色差を表示することができる。
【0143】
(39) 上記色度情報を求める工程における2つ以上の色度情報の比較方法は、色度値(x,y及びL*,a*,b*)の数値を比較することであることを特徴とする(38)に記載の画像表示方法。
【0144】
(対応する実施形態)
この(39)に記載の画像表示方法に関する実施形態は、第3実施形態が対応する。
(作用効果)
この(39)に記載の画像表示方法によれば、ユーザは、色差について、その大きさを明確にしながら比較、評価することができる。
【0145】
(40) 上記色度値の比較は、着目する1つ以上のある画素の色度値を基準値として、他の画素はその基準値との色差を求めるものであり、
その求めた色差を画像で表現する、
ことを特徴とする(39)に記載の画像表示方法。
【0146】
(対応する実施形態)
この(40)に記載の画像表示方法に関する実施形態は、第3実施形態が対応する。
(作用効果)
この(40)に記載の画像表示方法によれば、基準エリア以外を画素単位にして色差を画像として表示することができる。これによってユーザは、色差について、その大きさ、画像上での位置を明確にしながら比較、評価することができる。
【0147】
(41) 上記少なくとも1画素以上を指定する工程は、
上記表示された上記あるバンドの画像上の任意の位置にポインタを移動させ、
そのポインタの移動に合わせて、そのポインタが指し示す位置の画素を自動的に指定する、
ことを特徴とする(22)、(33)、(34)、(35)、(36)、(38)、(39)、及び(40)の何れかに記載の画像表示方法。
【0148】
(対応する実施形態)
この(41)に記載の画像表示方法に関する実施形態は、第1乃至第3実施形態が対応する。
(作用効果)
この(41)に記載の画像表示方法によれば、ポインタの移動に伴ってリアルタイムに、その位置のスペクトルを表示できる。
【0149】
(42) 2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示方法において、
上記マルチバンド画像の内のあるバンドの画像を表示する工程と、
その表示された上記あるバンドの画像から少なくとも2つ以上の指定画素を指定する工程と、
その指定された指定画素各々のスペクトルを求める工程と、
上記指定された指定画素の内、基準となる1つの指定画素の上記求められたスペクトルを選択し、その選択されたスペクトルと他の指定画素の上記スペクトルとの相対値(比)を表示する工程と、
を有することを特徴とする画像表示方法。
【0150】
(対応する実施形態)
この(42)に記載の画像表示方法に関する実施形態は、第1実施形態が対応する。
(作用効果)
この(42)に記載の画像表示方法によれば、画像の中でスペクトルを求めたいエリアを複数指定したとき、エリア毎のスペクトルの違いを一目にして区別することができる。
【0151】
(43) 2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示装置において、
上記マルチバンド画像の内のあるバンドの画像を表示する画像表示手段と、
上記画像表示手段に表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する画素指定手段と、
上記マルチバンド画像における上記画素指定手段によって指定された上記少なくとも1画素以上の信号値から、分光スペクトルを推定するスペクトル推定手段と、
上記スペクトル推定手段で推定した分光スペクトルから、色度情報を求める色度情報算出手段と、
上記スペクトル推定手段で推定した分光スペクトルを表示すると共に、上記色度情報算出手段で求めた上記色度情報の色度値を色度図として表示するスペクトル表示手段と、
を具備し、
上記スペクトル表示手段は、上記表示した色度図において、任意の部分の拡大表示機能を備えることを特徴とする画像表示装置。
【0152】
(対応する実施形態)
この(43)に記載の画像表示装置に関する実施形態は、第2実施形態が対応する。ここで、その実施形態において、コンピュータ11が上記画像表示手段及び画素指定手段に対応し、スペクトル計算部13が上記スペクトル推定手段及び上記色度情報算出手段に対応し、コンピュータ、スペクトル計算部13及びスペクトル出力用画面14が上記スペクトル表示手段に対応する。
(作用効果)
この(43)に記載の画像表示装置によれば、画像の中でスペクトルを求めたい場所を特定し、グラフを表示することができる。また、マルチバンド画像の中でスペクトルを求めたい場所の信号値の分光反射/透過率スペクトルのグラフを表示することができる。更に、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度情報を表示することができる。そして、エリアを複数設定した場合はその違いについて、色度図上でプロット位置を同時に表示して比較することができる効果がある。更に、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度値、色度図を表示することができる。そして、色度図において、任意の部分の拡大表示が行えるので、色度図の部分的な情報を細かく見ることができる。
【0153】
(44) 2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示方法において、
上記マルチバンド画像の内のあるバンドの画像を表示する工程と、
その表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する工程と、
上記マルチバンド画像における上記指定された上記少なくとも1画素以上の信号値から、分光スペクトルを推定する工程と、
その推定した分光スペクトルから、色度情報を求める工程と、
上記推定した分光スペクトルを表示すると共に、上記求めた色度情報の色度値を色度図として表示する工程と、
を有し、
上記表示する工程は、上記表示した色度図において、任意の部分の拡大表示を行う工程を含むことを特徴とする画像表示方法。
【0154】
(対応する実施形態)
この(44)に記載の画像表示方法に関する実施形態は、第2実施形態が対応する。
(作用効果)
この(44)に記載の画像表示方法によれば、画像の中でスペクトルを求めたい場所を特定し、グラフを表示することができる。また、マルチバンド画像の中でスペクトルを求めたい場所の信号値の分光反射/透過率スペクトルのグラフを表示することができる。更に、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度情報を表示することができる。そして、エリアを複数設定した場合はその違いについて、色度図上でプロット位置を同時に表示して比較することができる効果がある。更に、マルチバンドカメラで撮影した画像に対し、特定のエリアを指定し、その場所の色度値、色度図を表示することができる。そして、色度図において、任意の部分の拡大表示が行えるので、色度図の部分的な情報を細かく見ることができる。
【図面の簡単な説明】
【0155】
【図1】(A)は本発明の第1実施形態に係る画像表示装置の構成を示す図であり、(B)はスペクトル出力用画面を示す図である。
【図2】バンド画像画面を示す図である。
【図3】補間方法選択画面を示す図である。
【図4】第1実施形態に係る画像表示装置の変形例の構成を示す図である。
【図5】(A)は色票を撮影した場合のバンド画像を表示したバンド画像画面を示す図であり、(B)は作成した参照画像を表示した参照画像画面を示す図である。
【図6】バンド選択画面を示す図である。
【図7】変形例における補間方法選択画面を示す図である。
【図8】第1実施形態に係る画像表示装置の別の変形例の構成を示す図である。
【図9】エリア1を基準とした信号値(輝度)の相対値を表示するグラフを示す図である。
【図10】第1実施形態に係る画像表示装置の更に別の変形例の構成を示す図である。
【図11】本発明の第2実施形態に係る画像表示装置における表示例を示す図である。
【図12】第2実施形態に係る画像表示装置における別の表示例を示す図である。
【図13】第2実施形態に係る画像表示装置における更に別の表示例を示す図である。
【図14】(A)は本発明の第3実施形態に係る画像表示装置において基準エリアをマウスで指定している様子を示す図であり、(B)はその結果として表示される色差画像を示す図である。
【図15】第3実施形態に係る画像表示装置における別の表示例を示す図である。
【符号の説明】
【0156】
1…マルチバンドカメラ、 11…コンピュータ、 12…マルチバンド画像、 13…スペクトル計算部、 14…スペクトル出力用画面、 15…バンド画像画面、 16…補間方法選択画面、 17…参照画像、 18…参照画像画面、 19…バンド選択画面、 20…補間方法選択画面、 21…特性ファイル、 22,23…ウィンドウ、 24…マウスポインタ、 141…エリア選択リストボックス、 151…矩形、 191…バンド番号、 221…色度図、 222−1,222−2…点、 223,232…釣鐘、 231…色度図。
【特許請求の範囲】
【請求項1】
2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示装置において、
上記マルチバンド画像の内のあるバンドの画像を表示する画像表示手段と、
上記画像表示手段に表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する画素指定手段と、
上記マルチバンド画像における上記画素指定手段によって指定された上記少なくとも1画素以上の信号値から、分光スペクトルを推定するスペクトル推定手段と、
上記スペクトル推定手段で推定した分光スペクトルから、色度情報を求める色度情報算出手段と、
上記スペクトル推定手段で推定した分光スペクトルを表示すると共に、上記色度情報算出手段で求めた上記色度情報の色度値を色度図として表示するスペクトル表示手段と、
を具備し、
上記スペクトル表示手段は、上記表示した色度図において、任意の部分の拡大表示機能を備えることを特徴とする画像表示装置。
【請求項2】
2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示方法において、
上記マルチバンド画像の内のあるバンドの画像を表示する工程と、
その表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する工程と、
上記マルチバンド画像における上記指定された上記少なくとも1画素以上の信号値から、分光スペクトルを推定する工程と、
その推定した分光スペクトルから、色度情報を求める工程と、
上記推定した分光スペクトルを表示すると共に、上記求めた色度情報の色度値を色度図として表示する工程と、
を有し、
上記表示する工程は、上記表示した色度図において、任意の部分の拡大表示を行う工程を含むことを特徴とする画像表示方法。
【請求項1】
2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示装置において、
上記マルチバンド画像の内のあるバンドの画像を表示する画像表示手段と、
上記画像表示手段に表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する画素指定手段と、
上記マルチバンド画像における上記画素指定手段によって指定された上記少なくとも1画素以上の信号値から、分光スペクトルを推定するスペクトル推定手段と、
上記スペクトル推定手段で推定した分光スペクトルから、色度情報を求める色度情報算出手段と、
上記スペクトル推定手段で推定した分光スペクトルを表示すると共に、上記色度情報算出手段で求めた上記色度情報の色度値を色度図として表示するスペクトル表示手段と、
を具備し、
上記スペクトル表示手段は、上記表示した色度図において、任意の部分の拡大表示機能を備えることを特徴とする画像表示装置。
【請求項2】
2つ以上のバンドを撮影できるマルチバンドカメラで取得したマルチバンド画像を表示する画像表示方法において、
上記マルチバンド画像の内のあるバンドの画像を表示する工程と、
その表示された上記あるバンドの画像上で、少なくとも1画素以上を指定する工程と、
上記マルチバンド画像における上記指定された上記少なくとも1画素以上の信号値から、分光スペクトルを推定する工程と、
その推定した分光スペクトルから、色度情報を求める工程と、
上記推定した分光スペクトルを表示すると共に、上記求めた色度情報の色度値を色度図として表示する工程と、
を有し、
上記表示する工程は、上記表示した色度図において、任意の部分の拡大表示を行う工程を含むことを特徴とする画像表示方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2008−151781(P2008−151781A)
【公開日】平成20年7月3日(2008.7.3)
【国際特許分類】
【出願番号】特願2007−312811(P2007−312811)
【出願日】平成19年12月3日(2007.12.3)
【分割の表示】特願2003−348625(P2003−348625)の分割
【原出願日】平成15年10月7日(2003.10.7)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成20年7月3日(2008.7.3)
【国際特許分類】
【出願日】平成19年12月3日(2007.12.3)
【分割の表示】特願2003−348625(P2003−348625)の分割
【原出願日】平成15年10月7日(2003.10.7)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]