カメラ
【課題】高精度の色再現や検査、判定が可能であり、操作性に優れたカメラ等を提供する。
【解決手段】被写体を照明するためのLED6a〜6fと、被写体像を結像するための撮影光学系7と、撮影光学系7により結像された被写体像を撮像して画像信号を出力するためのCCD8と、複数の異なる態様で被写体の画像をキャプチャする複数のキャプチャモードから所望のキャプチャモードを選択するための操作スイッチ14と、を有し、分光画像を取得し得るように構成された撮影装置1、を備えたカメラにおいて、操作スイッチ14により複数のキャプチャモードの内の被写体の分光画像を取得する分光画像取得モード以外のキャプチャモードが選択されているときには、LED6a〜6fのオン/オフ動作を行い得るように構成されている。
【解決手段】被写体を照明するためのLED6a〜6fと、被写体像を結像するための撮影光学系7と、撮影光学系7により結像された被写体像を撮像して画像信号を出力するためのCCD8と、複数の異なる態様で被写体の画像をキャプチャする複数のキャプチャモードから所望のキャプチャモードを選択するための操作スイッチ14と、を有し、分光画像を取得し得るように構成された撮影装置1、を備えたカメラにおいて、操作スイッチ14により複数のキャプチャモードの内の被写体の分光画像を取得する分光画像取得モード以外のキャプチャモードが選択されているときには、LED6a〜6fのオン/オフ動作を行い得るように構成されている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体の分光スペクトル画像情報を取得し、取得画像から被写体の画像の高精度の色再現や検査、判定等を行うカメラに関する。
【背景技術】
【0002】
近年、健康に対する関心が高まり、さらに、審美の追求からホワイトニングへの要求が高まっている。従来、皮膚科、エスティティックサロン、美容カウンセリングなどでは肌診断用カメラが用いられ診断に供されてきた。特に皮膚科の場合、皮膚表面の診断として、皮溝や皮丘の画像から特徴を捉えカウンセリングが行われている。なお、上記肌診断用カメラに関しては、特開平8−149352号公報や、特開平7−322103号公報等に提案がなされている。
【0003】
一方、歯科治療における歯冠修復に関しては、従来では修復歯の色を決定するに際して、シェードガイドによって患者本人の歯の色と比較することにより色の等級の判定が行われている。
【0004】
上述のように皮膚科、歯科をはじめとした各分野において正確な色再現が求められているが、従来の高精度な色再現システムとして特開2000−152269号公報に開示されたシステムは、外部照明下の被写体をマルチスペクトル下で撮影するカメラを適用するものである。このシステムでは、被写体分光スペクトルの高精度な推定のために多数の回転可能な分光フィルタを用い、その回転によって多バンドのデータを取得し、高色再現を実現可能とするものである。
【0005】
分光画像を取得する技術は、その他にも種々のものが提案されている。
【0006】
例えば、特開平9−172649号公報には、複数の光学バンドパスフィルタを円周上に並べて構成した回転フィルタを用いて、時分割でマルチバンド撮影する装置が記載されている。
【0007】
また、特開2002−296114号公報には、分光波長帯域を多分割するフィルタ(くし形フィルタ)を用いて、簡易にマルチバンド撮影する装置が記載されている。
【0008】
さらに、特開2003−087806号公報には、単板CCDと6バンド以上のカラーフィルタアレイとを組み合わせることにより、同時に多バンドの画像を撮影することが可能なマルチスペクトルカメラの構成が記載されている。
【0009】
そして、特開2003−023643号公報には、ハーフミラーとダイクロイックミラーとを用いて、3板CCDで、6バンドの画像を同時に撮影することが可能なマルチスペクトルカメラの構成が記載されている。
【0010】
上述した皮膚科、歯科、さらに、正確な色再現を求める他の分野として、例えば、自動車の塗装色、建物の塗装色、食料品の分光特性、衣料品の染色などでは色を忠実に色再現して、検査、確認や判別に供することが求められている。また、それらの装置に対しては、検査作業性から小型軽量、さらには、ハンディであることも要求されている。
【特許文献1】特開平8−149352号公報
【特許文献2】特開平7−322103号公報
【特許文献3】特開2000−152269号公報
【特許文献4】特開平9−172649号公報
【特許文献5】特開2002−296114号公報
【特許文献6】特開2003−087806号公報
【特許文献7】特開2003−023643号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながら、上述した上記特開平8−149352号公報や特開平7−322103号公報等の肌診断用カメラの例は、ハンディなものではあるが、再現性、高色再現について十分なものとはいえない。また、上記特開2000−152269号公報に開示された回転フィルタ型を適用する高色再現システムは、固定配置型で重量が重く、さらには、外部照明のため、色再現処理のためには、別途照明センサが必要であった。
【0012】
本発明は上記事情に鑑みてなされたものであり、高精度の色再現や検査、判定が可能であり、操作性に優れたカメラを提供することを目的としている。
【課題を解決するための手段】
【0013】
上記の目的を達成するために、第1の発明によるカメラは、被写体を照明するための照明光源と、被写体像を結像するための撮影光学系と、上記撮影光学系により結像された被写体像を撮像して画像信号を出力するための撮像素子部と、複数の異なる態様で被写体の画像をキャプチャする複数のキャプチャモードから所望のキャプチャモードを選択するための撮影操作部と、を有し、分光画像を取得し得るように構成された画像撮影部、を具備したカメラであって、上記撮影操作部により上記複数のキャプチャモードの内の被写体の分光画像を取得する分光画像取得モード以外のキャプチャモードが選択されているときには、上記照明光源のオン/オフ動作を行い得るように構成されたものである。
【0014】
また、第2の発明によるカメラは、上記第1の発明によるカメラにおいて、上記複数のキャプチャモードに対応するモード関連情報を表示するためのモード表示手段をさらに具備し、上記撮影操作部により複数のキャプチャモードの何れかが選択されると、上記モード表示手段は、選択されたキャプチャモードに対応する上記モード関連情報を表示するように構成されたものである。
【0015】
さらに、第3の発明によるカメラは、上記第1または第2の発明によるカメラにおいて、上記撮影操作部は、被写体の撮影範囲を設定するための撮影範囲設定手段を有して構成されたものであり、上記照明光源のオン/オフ動作は、上記撮影範囲設定手段により設定された撮影範囲と連動して行われるように構成されたものである。
【0016】
第4の発明によるカメラは、上記第1から第3の発明によるカメラにおいて、被写体を照明するためのものであって上記画像撮影部に着脱可能に装着され得る外部光源をさらに具備し、上記照明光源のオン/オフ動作は、上記外部光源の着脱に連動して行われるように構成されたものである。
【発明の効果】
【0017】
本発明のカメラによれば、高精度の色再現や検査、判定が可能であり、操作性に優れたものとなる。
【発明を実施するための最良の形態】
【0018】
以下、図面を参照して本発明の実施の形態を説明する。
【0019】
[実施形態に係る第1の構成]
図1から図16、図70から図88、および図99は本発明の実施形態に係る第1の構成を示したものであり、図1は画像処理システムの構成を示すブロック図である。
【0020】
この画像処理システムは、可視光域において互いに独立して異なる複数の波長帯域の照明光により被写体を照明して被写体分光画像を撮影可能な撮影装置1と、この撮影装置1と接続されていて該撮影装置1から出力される被写体分光画像を処理する処理装置2と、を有して構成されていて、該処理装置2は、必要に応じてネットワーク3に接続することができるように構成されている。
【0021】
上記撮影装置1は、本構成においては、内蔵する光源を分光画像取得に使用するために照明光点灯モードにして、6種類の波長帯域の照明光(6原色の照明光)を被写体に順次照射し、6枚の被写体分光画像を静止画として取り込む撮像と、6原色の照明光から1以上の照明光を各選択してRGBの3色の照明光としこれらを順次に照射することにより面順次式の動画として取り込む撮像と、を行うことができるようになっている。
【0022】
なお、照明光点灯モードはこれに限らず、全色連続点灯するモードや、選択的に順次点灯するモードや、1色連続点灯するモードなど、各種のモードがあり、この画像処理システムをこれらのモードに設定することが可能となっている。
【0023】
上記撮影装置1は、後述する照明光を被写体に投写するとともに被写体からの反射光を入射するための投射口5aを備えた筐体5と、この筐体5の投射口5a側に着脱可能に取り付けられており該投射口5aを介して被写体に投射する照明光に外光が混入することのないように遮光するための柔軟性を有する素材により略筒状に形成された当て付け部4と、上記筐体5内に組み込まれていて点灯されることにより被写体を照明するための照明光を発光する発光素子である第1LED6a〜第6LED6fと、上記筐体5内に組み込まれていてこれら第1LED6a〜第6LED6fにより照明された被写体像を結像するための撮影光学系7と、この撮影光学系7により結像された被写体像を撮像して画像信号を出力する撮像素子部に含まれる撮像素子たるCCD8と、このCCD8から出力されるアナログ信号をデジタル信号に変換するA/D変換器9と、このA/D変換器9から出力され後述するバス10を介して伝送される被写体分光画像を一旦記憶するとともに後述するCPU18による作業領域としても用いられるメモリ11と、使用者が分光画像撮影動作の開始を指示入力したり動画像撮影動作の開始や終了を指示入力したりするための各種の操作スイッチや操作ボタンを含んでなる撮影操作部でありモード選択手段たる操作スイッチ14と、この操作スイッチ14からの指示入力を後述するCPU18に伝達するとともに該CPU18からの指令により上記第1LED6a〜第6LED6fの発光制御に関する命令等を行ったりこの撮影装置1の撮像動作に関する制御を行ったりするカメラ制御I/F12と、このカメラ制御I/F12からの指令に基づき上記第1LED6a〜第6LED6fの発光開始タイミングや発光終了タイミングなどの発光動作に係る制御を行うLEDドライバ13と、上記CCD8により撮像される動画像や上記メモリ11に記憶された被写体分光画像(静止画像)を後述するLCDモニタ16に表示するための制御を行うモニタI/F15と、このモニタI/F15から出力される画像を表示するとともに操作指示や状態表示を行い得るように構成された表示手段でありモード表示手段、設定状態表示手段を兼ねたLCDモニタ16と、上記メモリ11に記憶された被写体分光画像や後述するCPU18からの制御データ等を上記処理装置2に出力しあるいは該処理装置2からの通信データを入力するための外部I/F17と、上記A/D変換器9、メモリ11、カメラ制御I/F12、モニタI/F15、外部I/F17、後述するCPU18等を互いに接続するバス10と、例えば着脱式に構成されたバッテリ20aと、このバッテリ20aから供給される電源を適宜の電圧等に変換して上述したような各回路へ供給する電源回路20bと、上述した各回路を含むこの撮影装置1を統括的に制御する制御部たるCPU18と、を有して構成されている。
【0024】
なお、撮影操作部は、撮影装置1に付随して設けられていて、手の指で押下することにより操作されるのが一般的である。このような操作ではいわゆる手ブレが発生して、鮮明な画像を得られないことがある。従って、より精度の高い画像を得ようとする場合には、この手ブレを極力抑制することが必要となる。
【0025】
この手ブレを抑制する手段の一つとしては、撮影装置1のブレ、または撮影された画像のブレを検出して、ブレが検出された場合に警告を行い、必要な措置を講ずるように促すことが考えられる。すなわち、例えば、手ブレ等を検出するためのブレ検出手段を設けて、このブレ検出手段により、画像処理を行うのに相応しくないブレが生じていると判定された場合には、撮影装置1の表示手段を警告報知手段として用いて、図70に一例を示すような、手ブレアラーム表示211を行うことが考えられる。
【0026】
図70は、手ブレのアラーム表示例を示す図である。
【0027】
上記操作スイッチ14やLCDモニタ16は、例えばこの図70に示すような操作パネル内に配置されたものとなっている。操作スイッチ14は、複数のスイッチ14bと、後述する撮影範囲設定レバー14cと、を含んでいる。この撮影範囲設定レバー14cの上部には、該撮影範囲設定レバー14cの操作に応じて変更される後述するようなキャプチャモードを示すマーク205,206,207が設けられている。
【0028】
また、LCDモニタ16には、被写体の画像を表示する表示領域201が設けられているとともに、その例えば左上に、上記撮影範囲設定レバー14cにより設定されたキャプチャモードがマーク202として表示されている。さらに、上記表示領域201の例えば右上には、後述するような照明光源点灯マーク242が必要に応じて表示されるようになっている。そして、上記表示領域201の例えば中央部に、上記手ブレアラーム表示211が、必要に応じて表示される。
【0029】
これにより、撮影者は、撮影し直したり、あるいは次に述べるようなフットスイッチ213等の外部操作部を用いた手ブレ防止対策をとったりすることができ、ブレのない画像を取得して画像処理を行うことが可能となる。
【0030】
すなわち、手ブレの解決策の一つとしては、撮影装置1以外の場所に配置された遠隔指示手段である外部操作部から、遠隔操作によって撮影の指示操作等を行うことにより、撮影装置1のブレをなくす手段が挙げられる。具体的には、図71に示すように、撮影装置1からケーブル214を介して操作スイッチを引き出し、フットスイッチ213にすることが考えられる。この場合には、撮影装置1の表示手段たるLCDモニタ16に、フットスイッチが接続されていることを示すマーク215などを表示することにより、該フットスイッチ213を利用可能であることを明示するようにすると良い。図71は、フットスイッチ接続マークの表示例を示す図である。これにより、手ブレを生じる心配をすることなく、安心して操作を行うことができる。
【0031】
また、遠隔的な操作入力をフットスイッチ213により行うに限らず、例えば音声入力により行うようにしても構わない。すなわち、図72に示すように、撮影装置1にケーブル217を介して外部操作部であり音声指示手段たるマイク216を接続して、該マイク216から音声を入力するように構成するとともに、さらに、該撮影装置1内に音声認識回路等を設けて、入力された音声を認識して指示された操作を解釈し、該操作を行うようにすることが考えられる。この場合には、撮影装置1の表示手段たるLCDモニタ16に、マイク216が接続されていることを示すマーク218などを表示することにより、該マイク216を利用可能であることを明示するようにすると良い。ここに、図72は、マイク接続マークの表示例を示す図である。
【0032】
さらに、撮影装置1を使用する場所が、高所などの人的悪条件下にある場合などに、遠隔地に配置された遠隔指示手段である外部操作部からネットワーク経由で制御するように切り替えることも可能である。この場合にも、遠隔操作を利用可能であることを明示するために、撮影装置1の表示手段たるLCDモニタ16に、その旨のマーク219などを表示すると良い。このときに表示するマーク等は、図73に例を示すように、ネットワーク経由であることをより具体的に明示するものであるとなお良い。図73は、LAN接続マークの表示例を示す図である。すなわち、この図73に示す例は、ネットワークがいわゆるローカルエリアネットワーク(LAN)であることを示すマーク219となっている。また、このときには、外部操作部に、撮影装置1の動作を確認するための動作確認手段を設けることが望ましい。この動作確認手段としては、モニタ等の表示による確認が考えられるが、これに限らず、ランプの点灯や、音声による確認なども採用することが可能である。さらに、外部操作部に、撮影装置1の撮影データを確認するための撮影データ確認手段を設けると良い。この場合の撮影データ確認手段としては、基本的にモニタ等の表示手段を採用することになる。
【0033】
加えて、この撮影装置1は、表示手段たるLCDモニタ16に表示した情報、つまり、例えばモード表示した情報や状態表示した情報などの、全てまたは一部を、画像データの付加データとして、上記処理装置2やその他の外部機器へ転送することができるように構成されている。
【0034】
上記処理装置2は、例えばパーソナルコンピュータ等でなり、上記外部I/F17から出力される被写体分光画像を受信して、後述するように入力プロファイルを用いてXYZ三刺激値を算出し、さらにこのXYZ三刺激値からディスプレイプロファイルを用いて被写体が与えると推定されるXYZ三刺激値とほぼ同一のXYZ三刺激値を後述するディスプレイ22により得られるような表示用信号を生成する演算装置21と、この演算装置21から出力される表示用信号により高度な色再現がなされた画像を表示するディスプレイ22と、を有し、さらに、特に図示はしないが上記ネットワーク3に接続するためのネットワークインタフェース等も備えて構成されている。
【0035】
なお、データ転送中は、その状態が明確になるように、表示手段たるLCDモニタ16に、例えば図74に示すような、データ転送中マーク221を表示するようになっている。図74は、データ転送中マークの表示例を示す図である。もちろん、データ転送中である旨の表示は、この図74に示すような表示に限るものではない。
【0036】
また、上記撮影装置1と処理装置2とは、有線により接続されていても良いし、例えばBluetoothや無線LANなどの無線により接続されていても構わないし、あるいは一体に構成されていても良い。
【0037】
上記撮影装置1は、図1に示したように、バッテリ20aを備えたものとして構成されている。このバッテリ20aは、該撮影装置1が有線により接続されている場合には電源供給を受けることができるために必ずしも必須ではないが、無線により接続されている場合にはほぼ必須の要件であるといえる(ただし、無線を介して電源供給を行う技術も開発されているために、これが実用化されれば必須である度合いがいくらか緩和される。)。従って、バッテリ20aの現在の電池残量が、フル充電時の電池残量(つまり電池容量)に対して、どの程度になっているかを知ることは重要である。そのために、例えば図75に示すような、バッテリ残量を示すマーク222を表示手段たるLCDモニタ16に表示するようになっている。図75は、バッテリ残量マークの表示例を示す図である。この例においては、電池の絵と文字とにより、バッテリが100%の充電状態であることが示されている。このときにも、バッテリ残量の表示は、この図75に示すような表示に限るものではない。さらに、バッテリ20aに関する情報としては、バッテリ残量に限らず、その他の情報も表示するようにしても構わない。
【0038】
図3は、CCD8の分光感度特性およびLED6a〜6fの発光スペクトルと、これら両方による分光特性と、を示す線図である。
【0039】
発光素子である上記第1LED6a〜第6LED6fは、図3(A)に示すように、それぞれ異なる独立した発光スペクトルを有したものとなっていて、曲線fL1により示される第1LED6aの光は例えばやや紫がかった青、曲線fL2により示される第1LED6bの光は例えばやや緑がかった青、曲線fL3により示される第1LED6cの光は例えばやや青がかった緑、曲線fL4により示される第1LED6dの光は例えばやや黄がかった緑、曲線fL5により示される第1LED6eの光は例えばオレンジ、曲線fL6により示される第1LED6fの光は例えば赤、などとなっている。
【0040】
なお、図示の例では、第1LED6a〜第6LED6fの各発光スペクトルは、互いに重なり合うことなく完全に分離されているが、一部が重なり合うような発光スペクトルであっても構わない。もちろん、LEDの種類も6種類に限るものではなく、適宜の種類数のLEDの組み合わせを採用することができる。
【0041】
ここに、各LEDによる照明光のスペクトル配列は、均等波長間隔(波長方向に均等な間隔で例えばピークが並ぶもの)、均等波長比間隔(波長方向に一定の比率間隔でピーク等が並ぶもの)、特定目的用の特定配列(特定の目的に沿って波長方向に特定の配列でピーク等が並ぶもの)、特定波長色逓倍設定(特定波長を基本波長として逓倍波長位置にピーク等が並ぶもの)、特定偏光色配置(波長方向に沿って並ぶピークで表される各光が特定方向に偏光しているもの)、可視域外光配置(波長方向に沿って並ぶピークで表される光が可視域外の領域にも達しているもの)等の何れであっても採用することが可能であり、使用目的に最も合致するものを選ぶようにすると良い。
【0042】
また、ここでは、発光素子として、軽量、小型、かつ比較的安価で入手容易でありながら高輝度の半導体発光素子であるLEDを用いているが、これに限らず、例えばLD(レーザダイオード)等の半導体レーザーやその他の発光素子を用いることも可能である。
【0043】
一方、上記CCD8は、本構成においては、モノクロタイプのCCDを使用しており、そのセンサ感度は、図3(A)の曲線fS に示すように可視光域をほぼカバーするようなものとなっている。なお、ここでは撮像素子としてモノクロタイプのCCDを用いているが、これに限るものではなく、後述する構成において述べるようにカラータイプのCCDを用いても良いし、CCDに限らずCMOSタイプやその他の各種の撮像素子を広く使用することが可能である。
【0044】
そして、上記第1LED6a〜第6LED6fによって照明された被写体の像をこのCCD8により受光するときの分光感度特性は、例えば図3(B)に示す曲線fSL1 〜fSL6 のようになっている。このようなトータルの分光感度特性の波長による相異は、後段で電気的に処理されたり、あるいは撮影装置1に係る入力プロファイルなどとして補正されたりすることになる。
【0045】
また、図2はLEDの配置例や構成例を示す図である。
【0046】
図2(A)は、6種類の原色で構成される上記第1LED6a〜第6LED6fを、リング状に順次3セット(各色3個ずつ)配置した例を示している。なお、図示の配置順は一例を示したのみであり、これに限らず、逆順やランダム配置などの任意の配列を広く適用することが可能である。
【0047】
次に、図2(B)は、リング状に発光部6Aを複数配置していて、かつ、各発光部6A内に6種類の原色を包含するように上記第1LED6a〜第6LED6fを配置した例を示している。なお、図示の例では、1つの発光部6A内に6原色の全てを配置しているが、これに限らず、3原色ずつを配置するなどの6原色が複数の発光部6Aに分かれるようにしても構わない。
【0048】
さらに、図2(C)は、上記第1LED6a〜第6LED6fのそれぞれにファイババンドル6Bの一端側6Ba〜6Bfを接続し、他端側6Bgをリング状に形成したものである。これにより、LED6a〜6fから発光された照明光は、バンドルファイバ端6Ba〜6Bfに入射する。バンドルファイバ端は複数のさらに細いファイバから構成されており、バンドルファイバの射出部6Bgでは各LEDからのこれら細いファイバは互いに混ぜ合わされてリング状の均一な光源として被写体に照射され、被写体による全反射の影響を低減することができる。
【0049】
なお、LEDの配置は、図2に示したような例に限らず、CCD8による撮像に支障を来すことのない限りは、リング状配置、十字状配置、矩形状配置、ランダム配置、左右(または、上下、または、対向)配置、平行配置、多箇所配置などの適宜の配置を採用することが可能である。
【0050】
次に、この撮影装置1では、2種類の画像取得モードがあることについて説明する。
【0051】
この撮影装置1において取り得る画像取得モードは、モニタモードと、キャプチャモードと、である。
【0052】
上記モニタモードは、被写体に対する撮影範囲を決定する等を行うために、LCDモニタ16などの表示手段に画像を表示するものである。
【0053】
また、上記キャプチャモードは、必要となる被写体の画像データを取得するモードである。このキャプチャモードでは、分光画像を取得することができる(分光画像キャプチャモード)他、動画像、通常のRGB画像(RGBキャプチャモード)、コマ撮影画像、などを取得することもできるようになっている。
【0054】
上述したように、この撮影装置1は、通常のRGB画像としての動画と、高度な色再現を可能とする6原色の被写体分光画像としての静止画と、を撮像することができるようになっており、動画はモニタ用として画像を取得するモニタモードにおいて、静止画は画像データを取り込むキャプチャモードの内の分光画像キャプチャモードにおいて、それぞれ撮像されるようになっている。
【0055】
これら2つのモード、すなわち、モニタモードとキャプチャモードとは、上記操作スイッチ14に含まれている押下式のボタンスイッチでなる撮影ボタン14a(図16参照)を押すことにより切り替えられるように構成されている。
【0056】
すなわち、まず、電源スイッチをオンにするなどによりモニタモードが自動的に設定され、被写体像が動画としてLCDモニタ16上に表示される。この状態で、分光画像を撮影したい被写体部分を探して、撮影装置1の位置決めを行う。こうして、撮影したい被写体部分が撮像範囲内に入って位置決めがなされたところで、上記撮影ボタン14a(図16参照)を押すことにより、分光画像キャプチャモードに切り替って被写体分光画像が静止画として取得される。
【0057】
被写体分光画像が取得された後は、再びモニタモードに復帰して、次に分光画像を取得したい被写体部分を探すことができるような構成となっている。
【0058】
また、各モードの状態は、図76に示すように、表示手段たるLCDモニタ16上に表示されるようになっている。図76は、キャプチャモードとモニタモードの第1の表示例を示す図である。すなわち、モニタモードにおいては、図76(B)に示すようないわゆるムービーカメラのマーク225がLCDモニタ16上に表示され、また、分光画像キャプチャモードにおいては図76(A)に示すようないわゆるスチルカメラのマーク224がLCDモニタ16上に表示されるようになっている。
【0059】
なお、このような表示を行うためのLCDモニタ16は、カラーであることが望ましいが、モノクロであっても構わない。
【0060】
また、表示手段としては、LCDに限るものではなく、図示はしないが、例えばLEDパネルやELパネルなどの、画像に係る情報を表示することができるものであるならば、広く適用することが可能である。
【0061】
これに限らず、さらに、その他の表示を行うようにすることも可能である。
【0062】
まず、図77は、キャプチャモードとモニタモードの第2の表示例を示す図である。この図77に示す例は、キャプチャモードを示すマーク226として上記スチルカメラの絵が、また、モニタモードを示すマーク227として上記ムービーカメラの絵が、それぞれ点灯/消灯可能に表示される例である。図77(A)はキャプチャモードとなっているときの表示例を、図77(B)はモニタモードとなっているときの表示例を、それぞれ示している。
【0063】
次に、図78は、キャプチャモードとモニタモードの第3の表示例を示す図である。この図78に示す例は、キャプチャモードを示すマーク228として上記スチルカメラの絵が、また、モニタモードを示すマーク229として上記ムービーカメラの絵が、それぞれ表示されていて、これらの各マーク228,229の下に何れのモードが選択されているかを示すLED231,232が点灯/消灯可能に配置された例となっている。図78(A)はキャプチャモードとなっているときの表示例を、図78(B)はモニタモードとなっているときの表示例を、それぞれ示している。
【0064】
さらに、図79は、キャプチャモードとモニタモードの第4の表示例を示す図である。この図79は、異なる色のランプを配置して、点灯しているランプの色により、モードを表示するタイプのものとなっている。図79(A)は、例えば黄色のランプ233を点灯させることにより、キャプチャモードとなっていることを示している。また、図79(B)は、例えばオレンジ色のランプ234を点灯させることにより、モニタモードになっていることを示している。
【0065】
加えて、表示をマークにより行うに限らず、例えば、「モニタ」,「キャプチャ」等の文字を表示させることにより行うようにしても構わない。
【0066】
なお、表示手段たるLCDモニタ16に表示される項目として、上述したようなモードの他に、図80に一例を示すように、メモリ残量をマーク236として、撮影可能残り枚数を文字237として、残り使用時間を文字238として、それぞれ表示することも可能である。ここに、図80は、各種の状態を表示する例を示す図である。なお、これらの表示もこの図80に示す例に限るものではないことは同様である。
【0067】
そして、図示はしないが、別途の設定を行うことにより、取得した分光画像を用いた色再現表示や分光画像を解析した結果の表示などを、分光画像の取得直後に該LCDモニタ16、あるいは上記ディスプレイ22に行うことも可能となっている。
【0068】
次に、図4から図6を参照して、画像処理システムにおける分光画像キャプチャモードの動作について説明する。図4は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図5は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート、図6は6バンド分光画像取得における各フレームのバンド特性を示す線図である。
【0069】
撮影ボタン14a(図16参照)が押されることによりモニタモードから分光画像キャプチャモードに切り替わると、分光画像の撮像を開始するか否かを判断する(ステップS1)。撮影ボタン14aの押圧により直ちに分光画像の撮像が開始される場合にはこの判断動作を行わなくても構わないが、撮影ボタン14aが例えば2段式の押圧ボタンで構成されていて、1段目の半押し状態で焦点調節や露光量調節等を行い、2段目の全押し状態で露光を開始する場合には、このステップS1において2段目が押圧されたか否かを判断する。
【0070】
次に、変数nに1を設定して(ステップS2)、第nLEDを点灯させる(ステップS3)。ここではn=1に設定されているために、第1LED6aを点灯させることになる。第1LED6aによる照明光は、筐体5の投射口5aを介して被写体に照射される。このときに、当て付け部4が被写体の表面に柔軟に当て付いて外光の侵入を防いでいるために、被写体には第1LED6aからの照明光のみが投射されることになる。被写体からの反射光は、撮影光学系7によりCCD8の表面に結像される。
【0071】
この第1LED6aの点灯が開始された後に、CCD8による撮像、より詳しくは電荷の蓄積、を開始する(図5参照)(ステップS4)。
【0072】
CCD8による撮像が終了したら、その後に第1LED6aを消灯し(ステップS5)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第nメモリ:ここでは第1メモリ)に記憶させる(ステップS6)。6バンド分光画像を撮像する場合には、メモリ11内に第1メモリから第6メモリまでの記憶領域が設けられており、これらの記憶領域に各分光画像が順次格納されるようになっている。
【0073】
その後、nをインクリメントする(ステップS7)。ここではnが1から2にインクリメントされることになる。
【0074】
nが7以上になったか否かを判断して(ステップS8)、ここではまだ2であるために上記ステップS3に戻り、第2LED6bを点灯して上述したようなステップS3からステップS7までの動作を行う。
【0075】
このようにして、n=6のときに第6LED6fを点灯してステップS6までの動作を終了すると、図6に示すようなバンド特性の6バンド分光画像が取得され、メモリ11に保存されたことになる。そして、ステップS7でn=7にインクリメントされるために、ステップS8の判断においてnが7に達したとして、この6バンド分光画像取得の動作を終了する。
【0076】
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
【0077】
次に、図7から図9を参照して、画像処理システムにおけるモニタモードの動作について説明する。図7はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図8はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート、図9はモニタ用画像取得における各フレームのバンド特性を示す線図である。
【0078】
このモニタモードは、第1LED6a〜第6LED6fによる6原色の照明光から、青(B)の範疇に相当する第1LED6aおよび第2LED6bを発光させる状態と、緑(G)の範疇に相当する第3LED6cおよび第4LED6dを発光させる状態と、赤(R)の範疇に相当する第5LED6eおよび第6LED6fを発光させる状態と、を順次取らせることにより、RGB画像を面順次式で動画像として取得するモードとなっている。
【0079】
なお、ここでは、一般のRGB画像用を想定して発光原色を選定しているが、これに限らず、特殊な用途等に応じた他の発光原色の選定も行うことが可能である。
【0080】
電源スイッチがオンされることによりモニタモードが設定されるか、あるいは分光画像キャプチャモードが終了することによりモニタモードに復帰すると、モニタ用画像の撮像を開始するのを待機する(ステップS11)。
【0081】
ここでは直ちに撮像が開始され、変数nに1を設定して(ステップS12)、第nLEDおよび第n+1LEDを点灯させる(ステップS13)。ここではn=1に設定されているために、第1LED6aおよび第2LED6bを点灯させることになる。
【0082】
これら第1LED6aおよび第2LED6bの点灯が開始された後に、CCD8による撮像を開始する(図8参照)(ステップS14)。
【0083】
CCD8による撮像が終了したら、その後に第1LED6aおよび第2LED6bを消灯し(ステップS15)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第nメモリ:ここでは第1メモリ)に記憶させる(ステップS16)。
【0084】
その後、nを2だけ増加させる(ステップS17)。ここではnが1から3に増加されることになる。
【0085】
nが7以上になったか否かを判断して(ステップS18)、ここではまだ3であるために上記ステップS13に戻り、第3LED6cおよび第4LED6dを点灯して、上述したようなステップS13からステップS17までの動作を行う。
【0086】
これによりn=5となって、さらに上記ステップS13に戻って第5LED6eおよび第6LED6fを点灯してステップS16までの動作を終了すると、図9に示すようなバンド特性のRGB画像がB,G,Rの順に取得され、メモリ11の第1メモリ、第3メモリ、第5メモリに各保存されたことになる。そして、ステップS17でn=7にインクリメントされるために、ステップS18の判断においてnが7に達したと判断される。
【0087】
こうして、RGB画像を取得した後に、上記ステップS11に戻って、次のRGB画像を取得するかを判断する。モニタモードが引き続いて設定されている場合には、次のRGB画像の取得を行い、これを連続的に繰り返すことで、RGB動画像を得ることができる。
【0088】
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
【0089】
このようにしてメモリ11に記憶された画像データは、その後に読み出されてモニタ表示用の画像信号に変換され、モニタI/F15を介してLCDモニタ16に出力されて表示される。また、この画像処理システムの設定を変更することにより、処理装置2のディスプレイ22に表示することも可能となっている。
【0090】
なお、ここでは照度を確保するために、6原色のLEDを2つずつに分けて3つの素子群、つまりR素子群、G素子群、B素子群でなるグループを構成したが、これに限らず、例えば、B(青)については第1LED6aを、G(緑)については第3LED6cを、R(赤)については第5LED6eをそれぞれ発光させる、各1色の発光を行うようしても良い。このときには、これらのLEDの分光特性が、RGB発光に適するようなものを選定するようにすると良い。
【0091】
さらに、単一あるいは複数の特定の原色のLEDのみを点灯して、モノクロモニタ画像を取得することにより、モニタ表示を高速に行うことも可能である。
【0092】
図10は、6原色のLEDが各3つずつ設けられているときの点灯のさせ方の例を示す図である。
【0093】
発光モード(LED発光モード)としては、全てのLEDを点灯する場合、1つの原色の1つのLEDのみを単一点灯する場合、1つの原色について3つのLEDを点灯させる単一原色点灯の場合、6原色のLEDを各1個ずつ点灯させる場合、18個でなる6原色のLEDの内の例えば青(B)に属する6個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば緑(G)に属する6個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば赤(R)に属する6個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば青(B)に属する3個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば緑(G)に属する3個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば赤(R)に属する3個のLEDを点灯させる場合、などが例として挙げられる。こうして、色毎にまとめた素子群を同時に発光させたり、位置毎にまとめた素子群を同時に発光させたりすることができるようになっている。
【0094】
なお、本構成の撮影装置1は、被写体を撮像するときに、接触で行うことも非接触で行うことも何れも可能であるが、画像を正確に色再現するためには、この撮影装置1以外から発生する光の影響を受けることのないようにする必要がある。
【0095】
従って、非接触で被写体を撮像する場合には、外光照明を消灯する必要がある。
【0096】
ここで、被写体を撮影する場合の撮影エリアは、応用分野によって様々となっているが、一般的な観点からキャプチャモードの撮影エリアを区分すると、被写体の全体を撮影する全体キャプチャモードと、着目点を撮影する部分キャプチャモードと、に大別されると考えられる。
【0097】
応用分野の一つとして歯科を例にとると、この歯科の分野で求められる画像の例としては、歯1〜3本の画像、全顎画像、顔貌画像の3種が挙げられる。このような画像が必要となるのは、治療内容および治療効果を確認するためや、あるいは患者に対するインフォームドコンセントに有効に活用するためである。従って、この撮影装置1においては、これらの画像に対応するキャプチャモードを設定することができるように構成されている。すなわち、撮影装置1において設定可能なキャプチャモードは、次の(1)〜(4)に示すようなものとなっている。
【0098】
(1)歯1〜3本の画像モード(部分キャプチャモード)
このモードは、図81に例を示すように、患部の状況や治療前後の状況を観察するために歯の拡大撮影を行うモード(接写撮影モード)となっている。図81は、接写撮影モードの様子を示す図である。ここでは、色による評価も重要であるために、高度に色再現を行うべく、上述したような方法によって画像を取得して、色再現を行うモードである。このときには、図81(A)に示すように、撮影者は被写体に最も近接して撮影を行い、その結果が処理装置2のディスプレイ22に表示されるとともに、LCDモニタ16にも図81(B)に示すように表示されている。
【0099】
(2)全顎画像モード(全体キャプチャモード)
このモードは、図82に例を示すように、治療する歯とそれ以外の歯とのバランスを確認するために全顎撮影を行うモード(近傍撮影モード)となっている。図82は、近傍撮影モードの様子を示す図である。このモードでは、照明系はオフとなるように構成されている。この場合は、必ずしも高色再現である必要はないが、必要に応じて、例えば図60に示したような高色再現用の光源ユニットを接続して撮影することも可能である。このときには、図82(A)に示すように、撮影者は被写体にやや近接して撮影を行い、その結果が処理装置2のディスプレイ22に表示されるとともに、LCDモニタ16にも図82(B)に示すように表示されている。
【0100】
(3)顔貌画像モード(全体キャプチャモード)
このモードは、図83に例を示すように、顔全体としてのバランスを観察するために顔貌撮影を行うモード(顔撮影モード)となっている。図83は、顔撮影モードの様子を示す図である。このモードでは、照明系はオフとなるように構成されている。このときには、図83(A)に示すように、撮影者は被写体を適宜の距離から撮影し、その結果が処理装置2のディスプレイ22に表示されるとともに、LCDモニタ16にも図83(B)に示すように表示されている。
【0101】
(4)全身画像モード(全体キャプチャモード)
このモードは、図示はしないが、全身としてのバランスを観察するために全身撮影を行うモードとなっている。このときには、撮影者は被写体からやや離れて撮影を行い、その結果が処理装置2のディスプレイ22に表示されるとともに、LCDモニタ16にも表示される。
【0102】
上述したような各モードの内の、上記部分キャプチャモード(つまり(1)のモード)により得られる画像は分光画像であり、上記全体キャプチャモード(つまり(2)〜(4)のモード)により得られる画像は通常撮影画像である。この通常撮影画像を取得する際の照明光としては、一般の室内光などを用いることが可能であるために、照明光源を非点灯としても構わない。すなわち、この例では、部分キャプチャモードのときにのみ照明光源を点灯(オン)し、全体キャプチャモードのときには照明光源を消灯(オフ)するようになっている。
【0103】
なお、上記(1)〜(4)までの全てのモードに設定可能である必要はなく、2つ以上のモードに設定することができれば良い。
【0104】
次に、上述したような(1)〜(4)までの内の、(1)〜(3)の3モードを設定するための構成やその動作について説明する(すなわち、ここでは(1)〜(3)の3モードを設定し得る構成を例に説明する)。
【0105】
図84は、キャプチャモードを設定する様子を示す図である。
【0106】
この図84に示す例では、複数のキャプチャモードから1つのキャプチャモードを設定するための手段として、撮影範囲設定手段たる上記撮影範囲設定レバー14cが設けられている。
【0107】
この撮影範囲設定レバー14cは、例えば、手動で横方向にスライドさせるレバー操作により、設定を行うように構成されたものとなっている。そして、この撮影範囲設定レバー14cは、撮影光学系7のフォーカスレンズを調整するためのフォーカス調整レバーに直結しているか、または該フォーカス調整レバーに連動するように構成されている。
【0108】
なお、この撮影範囲設定レバー14cは、手動で操作する際に、ノッチ機構等により所定の位置に位置決めされるように構成しても良い。また、この撮影範囲設定レバー14cを、フォーカス調整レバーを介することなく、フォーカスレンズに直結させるかあるいはフォーカスレンズと連動させるように構成しても良い。
【0109】
さらに、フォーカス調整やズーム動作などを、マニュアルにより行う(マニュアル設定手段)ようにしても良いし、自動的に行う(自動設定手段)ようにしても構わない。
【0110】
自動的に操作を行う例としては、遠隔医療などで代表されるような遠隔からの調整/操作が挙げられ、このときには、ある一定の手順が想定される用途において、手順の進捗に応じて測定エリアを自動的に変更したり、あるいは焦点位置が所定位置になるようにフォーカス調整を自動的に行ったり、さらには自動焦点調整機構によりフォーカス位置を自動的に検出してその位置に焦点位置を移動させたり、などを行うことが考えられる。
【0111】
上記撮影範囲設定レバー14cの例えば上側には、対応するキャプチャモードを示すマーク205,206,207が付されており、ここでは上記(1)の歯1〜3本の画像モードに対応するマーク205が左側に、上記(2)の全顎画像モードに対応するマーク206が中央に、上記(3)の顔貌画像モードに対応するマーク207が右側に、それぞれ表示されている。なお、ここでは設定の目印としてマークを表示するようにしたが、これに限らず、例えば文字を表示するようにしても構わない。
【0112】
さらに、この撮影範囲設定レバー14cにより設定されたキャプチャモードは、表示領域201の例えば左上に、マーク202として表示されるようになっている。この例では、マーク202として、上記マーク205,206,207の何れか該当するものと同一のデザインのマークを表示するようになっている。
【0113】
また、歯科においては、治療前後の比較を行うことが重要である。このためには、例えば治療前に撮影を行い、さらに治療後に撮影を行う必要があるが、このときには撮影の度に、撮影対象となる治療部位の撮影される大きさや位置が変わってしまうことがある。従って、そのままでは、画像同士を比較するのにやや困難を伴い、有効な評価を行ったり、治療効果を確認したりするときの信頼性が低下してしまう。こうしたことのないように、撮影を行う毎に、正確に位置決めすることが重要となる。本構成では、図85に示すように、撮影範囲表示手段たるモニタ(LCDモニタ16など)にガイド表示手段たる位置決めガイド241を表示して、ポジショニングを行う際の補助となるようにしている。図85は、位置決めガイドの表示例を示す図である。なお、この図85に示す例では、ガイド手段たる位置決めガイド241を矩形にしているが、これに限らず、例えば全顎の形状線などをガイド手段とするようにしても構わないし、文字またはマークを用いて撮影範囲の位置を明確に表示するような手段も広く適用することが可能である。さらに進んだケースとして、モニタ画像を比較対象となる前回の画像と比較する画像処理等を行うことにより、位置決め判断を行って、その判断結果に基づいて、「左」、「右」、「上」、「下」、「前」、「後」などの指示を撮影者に対して行うように構成しても良い。
【0114】
加えて、図示はしないが、オートフォーカス手段たるAF(オートフォーカス)機構により測距を行った距離情報を、画像の付加データとして記録しておき、前回の画像の付加データから被写体までの距離情報を取得して、現在撮影しようとしている被写体までの距離が前回の距離と等しくなるように撮影者に対して指示するようにしても構わない。
【0115】
さらに、上記AF機構から取得された距離情報に基づいて、上記(1)〜(4)の何れのモードで撮影するかの自動的な設定、つまり撮影範囲の自動的な設定を行うようにしても良い。
【0116】
ここでは歯科の分野を例にとって、3種類の撮影範囲に対応するキャプチャモードを説明したが、これに限らず、他の分野においても、同様に複数の撮影範囲に対応するキャプチャモードを設定することが可能である。このときの撮影範囲は、もちろん、分野に応じて、上記歯科の分野とは異なる種類の撮影範囲となると考えられる。このような異なる種類の撮影範囲に対しても、上述したのと同様の機構や動作を適用することができる。
【0117】
上述したように、本システムにおける照明光源は、モードに連動して点灯/非点灯の状態を取るように構成されている。この照明光源の点灯/非点灯の状態は、図86に示すように、表示手段たるLCDモニタ16に上記照明光源点灯マーク242として表示されるようになっていて、この表示を見ることにより確認することが可能となっている。図86は、照明光源点灯マークの表示例を示す図である。なお、上述と同様に、照明光源の点灯/非点灯の状態は、LCDモニタ16により表示するに限るものではなく、その他の手段を用いることも可能である。
【0118】
また、内蔵する照明光源は、外部光源を接続したときには、一般的に、非点灯となるように構成されている(すなわち、外部光源の着脱に連動している。)。ただし、被写体の状況などに応じて、必要である場合には、外部光源に代えて、または外部光源とともに、内蔵する照明光源を点灯するようにしても構わない。
【0119】
そして、上記画像撮影部により行われる撮影動作が、分光画像を取得しない撮影動作であるときには、上記照明光源のオン/オフ動作を所望に切り替えることができるように構成されている。
【0120】
また、塗装面、皮膚面、近接画像などの接触で撮影を行うことができる被写体の場合には、上述したように、略円筒状に形成された当て付け部4を被写体に柔軟に当て付けることができるために(図1参照)、遮光性を確保することが可能となる。なお、当て付け部4の形状は、遮光性確保のため各種アプリケーションや各被写体によって異なっても良い。
【0121】
当て付け部4は、接触式である場合に用いるものであるために、例えば、被写体が塗装板などである場合には汚れが転写するのを防止する観点などから、図11に示すように、着脱可能でディスポーザブルな部材となっている。図11は、筐体5の投射口5aに対して着脱可能に構成された当て付け部4を示す斜視図である。
【0122】
この当て付け部4は、被写体が高温または低温のものである場合に向けて断熱素材により形成したり、被写体が静電気を帯びる性質のものであったり導電性を有する電気関連のものであったりする場合に向けて絶縁性素材により形成したり、被写体が溶液が浸漬しているものである場合に向けて防溶液性の素材により形成しかつ照明光を投影し反射光を受光するためのガラス窓などを形成したりすることが可能である。当て付け部4は着脱可能な単体の部品であるために、このような各種の素材で種々の形状に形成するのを容易に行うことができる。さらに、被写体の表面を肉眼で観察するために、当て付け部4に開閉可能な観察用窓等を設けることも容易に可能である。
【0123】
なお、本構成において、LEDにより発光される複数の原色の内の、特定の一または複数の原色を用いることによって、特定用途の検査や判別に利用することも可能である。
【0124】
続いて、処理装置2における色再現について説明する。
【0125】
上述したような撮影装置1における撮像動作によりメモリ11内に記録された被写体分光画像は、外部I/F17を介して処理装置2に送信され、該処理装置2に内蔵される画像メモリ部32(図12参照)に記録されて、所定のソフトウェアによって動作する演算装置21により、色再現や画像処理が行われるようになっている。その処理結果は、該処理装置2のディスプレイ22に表示されるか、あるいは上記LCDモニタ16に転送されて表示される。
【0126】
図12は、処理装置2におけるディスプレイ22に表示するための色再現を行う構成を示すブロック図である。
【0127】
この処理装置2は、撮影装置1から入力される被写体分光画像が上記第1LED6a〜第6LED6fの何れにより照明されたものであるかに応じて画像メモリ部32内の記憶領域を振り分ける画像振り分け部31と、この画像振り分け部31により振り分けられた被写体分光画像をそれぞれ記憶する記憶領域である第1メモリ32a〜第6メモリ32fを備えた画像メモリ部32と、この画像メモリ部32に記憶された被写体分光画像を読み出してディスプレイ22において高度に色再現された画像を表示するためのディスプレイ画像データを算出し出力する色再現演算部33と、を有し、これらは例えば図1に示した演算装置21に含まれていて、さらに、上記色再現演算部33から出力されるディスプレイ画像データに基づき高度に色再現された画像を表示する上記ディスプレイ22を有して構成されている。
【0128】
上記色再現演算部33は、撮影装置1に関するプロファイルを記憶する入力プロファイル記憶部33bと、上記画像メモリ部32の第1メモリ32a〜第6メモリ32fに記憶された被写体分光画像を読み出して上記入力プロファイル記憶部33bに記憶されている入力プロファイルと内部に設定された所定の等色関数とを用いて推定演算を行うことによりXYZ三刺激値の画像データを生成するXYZ推定演算部33aと、上記ディスプレイ22に関するプロファイルを記憶するディスプレイプロファイル記憶部33dと、上記XYZ推定演算部33aにより推定されたXYZ三刺激値の画像データと上記ディスプレイプロファイル記憶部33dに記憶されているディスプレイプロファイルとを用いて演算を行うことにより上記ディスプレイ22に出力するためのディスプレイ画像データを生成するディスプレイ値変換部33cと、を有して構成されている。
【0129】
上記入力プロファイル記憶部33bに記憶されている入力プロファイルは、例えば特開2000−341499号公報に記載されているようなものであって、撮像に用いたCCD8の分光感度を含む撮影装置1の特性や設定(画像入力装置)、被写体を撮影するときの照明光のスペクトルデータ(撮影照明光情報)、生成した被写体画像を観察するディスプレイ22が設置されている場所の照明光のスペクトルデータ(観察照明光情報)、撮影した被写体の分光反射率の統計的性質等の情報(被写体特性情報)、等の情報に基づき算出されたものである。
【0130】
図14は、処理装置2において入力プロファイルを生成する構成例を示すブロック図である。
【0131】
上記入力プロファイルは、図14に示すように、撮影装置1から取得した各データ等に基づき処理装置2において生成するようにしても良い。
【0132】
撮影装置1において取得されるデータとしては、照明光スペクトルデータ、カメラ特性データ、被写体特性データなどが例として挙げられる。
【0133】
上記照明スペクトルデータは、例えば被写体を撮像するときの照明に関するスペクトルデータであり、接触式である場合には撮影装置1に内蔵した各LED6a〜6fのスペクトルデータとなる。非接触式の場合には、さらに、被写体を撮影する場合の外部照明のスペクトルデータなども含むことになる。
【0134】
上記カメラ特性データは、フォーカス値などを含む撮影光学系7の特性、CCD8の撮像特性、シャッタ速度、絞り値、などの諸特性を含んで構成されている。
【0135】
上記被写体特性は、被写体が例えば歯、皮膚、塗料などである場合の分光統計データ等で構成されていて、高精度な入力プロファイルを作成するために、操作スイッチ14などに被写体指定操作部を設けて、被写体を指定するための被写体指定信号を入力するようにしても良い。
【0136】
これらのデータに基づいて入力プロファイルを生成する処理装置2の構成は、図14に示すように、上記照明スペクトルデータ、カメラ特性データ、被写体特性データを読み込んで演算を行うことにより入力プロファイルを生成する入力プロファイル演算部33eと、この入力プロファイル演算部33eにより生成された入力プロファイルを記憶する上記入力プロファイル記憶部33bと、を有して構成されている。
【0137】
このような構成により、処理装置に接続される撮影装置1を異なる個体、機種などのものに変更(撮影光学系7の変更等)したり、撮影を行う環境照明が変化したり、撮影対象となる被写体を様々に変化させたりしても、適応的に、高度な色再現を行うことが可能となる。
【0138】
また、上記ディスプレイプロファイル記憶部33dに記憶されているディスプレイプロファイルは、ディスプレイ22の表示原色値(例えばディスプレイ22がRGBモニタである場合にはRGB原色値)の色度値、ディスプレイ22のトーンカーブ、等の情報に基づき算出されたものである。なお、ディスプレイは、特開2000−338950号公報に記載されているような多原色の色再現システムを用いても構わない。
【0139】
また、図13は、取得された被写体分光画像に基づき被写体に関する画像判別を行うための構成例を示すブロック図である。
【0140】
上記画像メモリ部32の第1〜第6メモリ32a〜32fに記憶された被写体分光画像は、画像判別演算部34により読み出されて被写体に関する画像判別が行われ、その判別結果が出力されて上記ディスプレイ22に表示されるようになっている。また、画像の判別演算がネットワークを介して行われ、結果がLCDモニタ16に表示されるように構成されていても構わない。
【0141】
上記画像判別演算部34は、被写体に関する各種の分類/判定などを行うための判別関数を記憶する判別関数記憶部34bと、上記画像メモリ部32の第1〜第6メモリ32a〜32fに記憶された6枚の被写体分光画像の全部またはその内から選択される1枚以上の被写体分光画像を、この判別関数を用いて演算することにより判別結果を算出し上記ディスプレイ22に表示するための判別結果表示用画像データを生成する判別演算部34aと、を有して構成されている。
【0142】
なお、上記判別関数は、この画像処理システムをどのような用途に用いるかによって、種々の置き換えを行うことが可能である。従って、上記判別関数記憶部34bを、書き換え可能または追記可能な記憶媒体により構成して、用途に応じて使用する判別関数を書き加え、あるいは書き換えるようにすると良い。このような判別関数の具体的な例としては、特開平7−120324号公報に記載されたような処理を行う関数を例に挙げることができる。
【0143】
この図13に示す画像判別演算部34は、上記図12に示した色再現演算部33に代えて処理装置2に備えさせるようにしても良い。あるいは、図12に示した色再現演算部33とともに該処理装置2内に設けて、これらにより処理を並列して同時に行わせたり、または、必要なものだけを選択的に切り替えて処理を行わせるようにしても構わない。
【0144】
次に、図15は、撮影装置1のLCDモニタ16における表示例を示す図である。この表示モニタとしては、例えば上記LCDモニタ16を用いることができるが、これに限らず、ELパネル、LEDパネルなどを用いたものであっても構わない。さらに、表示モニタは、モノクロ表示を行うものでも、あるいはカラー表示を行うものでも、何れでも良い。
【0145】
表示モニタたる例えばLCDモニタ16は、例えば図15(A)に示すように、撮影装置1の筐体5の背面側の、把持部5bの上部に配設されていて、図15(B)や図15(C)に示すような画像を表示するようになっている。なお、ここでは、手を被写体として撮像している例を示している。
【0146】
まず、図15(B)は、上記モニタモードにより撮像された動画像を表示しているときの様子を示しており、これにより、LCDモニタ16がファインダとしての機能を果たすようになっている。
【0147】
次に、図15(C)は、例えば上記画像判別演算部34による被写体画像の判別結果を表示している様子を示している。ここでは、被写体のID番号(例えば医療分野の診断支援システムにおける患者番号など)と、画像判別により得られた数値解析結果のグラフ(例えば治療経過など)と、が表示されている。LCDモニタ16には、これらに限らず、色再現画像、患者カルテ、各種データ、図表などの、種々の情報を表示することが可能となっている。
【0148】
こうして、上記LCDモニタ16は、撮影部位を選択するときのファインダとして機能したり、色再現結果や分類/判定などの結果を表示するときのモニタとして機能したりするようになっている。
【0149】
また、LCDモニタ16等の表示モニタには、操作者の操作を支援するための各種情報も表示され得るようになっている。ここに、表示される各種情報としては、例えば、「電源のオン状態」、「モニタモード/キャプチャモードの切替状態」、「1歯/全顎(上・下顎別)/顔/全身の各キャプチャモードの切替状態」が表示されるようになっている。これらの各種情報の表示は、各モードが選択されたときに、LCDモニタ16等の表示モニタの画面に選択されたモードに対応するアイコンや文字等を表示することにより行われる。
【0150】
特に、上記キャプチャモードに関しては、上述したように、フォーカス動作と連動させるようになっており、オートフォーカスの場合には、測距データからモードを表示するように構成することが考えられる。また、マニュアルフォーカスの場合には、フォーカス調整レバー(フォーカスリング)の操作位置に応じてキャプチャモードが連動するように構成することが考えられる。このマニュアルフォーカス時には、フォーカス調整レバー(フォーカスリング)の対応する操作位置にも、キャプチャモードを示すマークや文字を表示すると良い。
【0151】
さらに、操作者の操作を支援するための各種情報として、内蔵する照明光源の点灯/非点灯状態が、上記LCDモニタ16等の表示モニタに表示され得るようになっている。この内蔵照明光源の点灯/非点灯状態は、画角(撮影範囲設定手段により設定された撮影範囲)に連動して切り換わるとともに、さらに、上述したように、外部光源が接続されているか否かに応じて切り換わるようになっている(すなわち、一般的には、外部光源接続時には、内蔵の照明光源は非点灯となる。)。
【0152】
一方、処理装置2のディスプレイ22は、ハンディタイプの撮影装置1に設けられたLCDモニタ16よりも大面積で高精細なタイプのものである場合が多いために、該処理装置2において目的に応じて実行される処理ソフトウェアの、起動表示、条件設定表示、被写体IDなどの情報を入力するためのGUI表示や、患者の経歴表示、前回情報等の被写体情報表示、処理結果表示などを行うようにしても良い。
【0153】
上記ネットワーク3には、例えば外部データベースが接続されており、この外部データベースから被写体情報を処理装置2に取得したり、あるいは、処理装置2において行った処理結果を外部データベースへ格納するなどを行うようにしても良い。このときには、セキュリティーを確保するために、処理装置2と外部システムとをネットワーク3を介して接続する際に相互認証を行ったり、被写体データにセキュリティーレベルを設けてレベルに応じた認証を行ったりするように構成することも可能である。
【0154】
次に、図16は、画像処理システムを使用するときの様子の一例を示す図である。
【0155】
上記撮影装置1は、軽量小型となるように構成されており、例えば片手で把持部5bを把持して、撮像系が設けられた筐体5の先端側を、当て付け部4を介して被写体の撮影対象部位に当てることにより、撮像を行うことができるようになっている。
【0156】
上記当て付け部4は、上述したように、着脱可能でディスポーザブルな部材となっていて、外部からの光が被写体の撮影対象部位に当たるのを遮蔽している。
【0157】
上記把持部5bの上部、例えば人差指で操作可能な位置に、上記操作スイッチ14に含まれる撮影ボタン14aが設けられており、上記LCDモニタ16で撮影しようとする部位を特定した後に、この撮影ボタン14aを押下することにより、上述したようにモニタモードから分光画像キャプチャモードに移行して、分光画像の撮像が行われるようになっている。
【0158】
取得された分光画像は、処理装置2においてデータ処理が行われディスプレイ22に表示されるが、必要に応じて設定等を行うことにより、撮影装置1のLCDモニタ16に処理装置2における処理結果を表示するようにしても良いのは上述した通りである。
【0159】
なお、この図16に示す例においては、処理装置2を、ディスプレイ付きのノート型のパーソナルコンピュータとして図示している。このような場合には、ノート型のパーソナルコンピュータに備えられているRS−232C、USB、IEEE1394などのインターフェース(I/F)を介して、上記ネットワーク3に接続するようにすると良い。
【0160】
このような第1の構成によれば、画像処理システムの撮影装置内に可視光域において各異なる分光分布を有する6種類のLEDを設けて、外光を遮断しながらこれらを発光させることにより、被写体分光画像を撮像することができる。このとき、光源としてLED等の小型軽量な半導体発光素子を用いているために、撮影装置を小型化することができ、ハンディタイプのものを作成することも可能となる。
【0161】
また、処理装置によって処理を行うことにより、高度に色再現された画像をディスプレイに表示することが可能となる。
【0162】
さらに、LEDの発光順序や発光させるLEDを指定することにより、通常のRGB動画像を始めとして、種々の目的に用いる画像を撮像することが可能となる。
【0163】
加えて、モノクロCCDを用いているために、コストをやや低減することができるとともに、各色の画像データが欠落画素を生じさせることなく1画面ずつ取得されるために、補間処理を省略することが可能となる。
【0164】
なお、分光画像を得ることが可能な画像撮影部としては、本構成を含む各構成に示したようなマルチバンド照明と撮像素子とを用いる構成だけでなく、その他の種々の構成を用いることができる。画像撮影部に適用可能な技術としては、例えば、上述したような特開平9−172649号公報、上記特開2002−296114号公報、上記特開2003−023643号公報、上記特開2003−087806号公報に記載の技術が挙げられる。
【0165】
また、撮影装置を実際に使用して画像を取得しようとする場合には、複数の段階からなる作業ステップ(操作手順)を伴って実施されることになる。この画像処理システムでは、作業を容易にすることを目的として、撮影装置の表示手段に次の作業ステップや進捗状況などを、例えば後述するようなプログレスバー等を用いることにより明示することも可能となっている。これにより、円滑な作業進捗を図ることができる。この作業ステップは、適用分野によって様々であるが、分野に応じた作業ステップを内蔵メモリに記憶することにより、対応することが可能である。あるいは、複数の分野に対応する作業ステップを内蔵メモリに予め記憶させておき、これらから選択したり設定したりするように構成しても良い。
【0166】
図87は、作業ステップを表示している様子を示す図である。
【0167】
この例では、LCDモニタ16等の表示モニタに、現在の作業ステップが進捗状況表示手段たる文字243として表示されており、ここでは5番目のステップ[STEP 5」であることが表示されている。
【0168】
また、図88は、作業の進捗状況を表示している様子を示す図である。
【0169】
この例では、LCDモニタ16等の表示モニタに、現在の作業の進捗状況が進捗状況表示手段たるプログレスバー244として表示されている。
【0170】
なお、作業ステップや進捗状況の表示は、これらの文字やバーにより行うに限るものではない。LCDモニタ16を例えば操作指示手段、測定手順指示手段として用いて、あるいはスピーカ等を操作指示手段、測定手順指示手段として設けて、次の操作手順を表示したり音声により指示したりするようにしても良い。
【0171】
さらに、画像処理システムの設定状態を、LCDモニタ16等の表示モニタに表示するようにすると良い。図99は、設定状態の表示例を示す図である。
【0172】
この図99に示す例では、文字271により、光源の種類が「D65」であること、文字272により色空間が「Lab]であること、文字273(6band)により原色数が「6」であること、がそれぞれ表示されている。
【0173】
このような設定状態の表示としては、以下のような例が挙げられる。
【0174】
まず、照明設定としては、原色数(例えば、6色)、点灯(例えば、オン)を表示することが考えられる。
【0175】
また、撮影設定としては、シャッタ速度、F値、ズーム位置、などを表示することが考えられる。
【0176】
そして、色再現の設定としては、光源(例えば、D65,A,B,Cなど)、視野角(例えば、2度)、色空間(例えば、XYZ,Lab)、測定対象(例えば、物体色)、色差閾値(例えば、0.1)、歯色基準(例えば、Std01)、などを表示することが考えられる。
【0177】
このように設定状態を表示することにより、撮影者は容易にシステムの状態を把握することが可能となる。
【0178】
[実施形態に係る第2の構成]
図17から図20、および図100は本発明の実施形態に係る第2の構成を示したものであり、図17は画像処理システムの構成を示すブロック図、図18はフルモードと読み出し2倍速モードとにおける読み出しの様子を示すタイミングチャート、図19は2/4ライン2倍速モードと2/8ライン4倍速モードとにおける読み出されるラインの様子を示す図、図20は撮影モードを設定する際の動作を示すフローチャートである。
【0179】
この第2の構成において、上述の第1の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0180】
この第2の構成は、上述した第1の構成を基本構成として、さらに、前面にカラーフィルタアレイ(CFA)19を備えたカラーCCDからの画像読み出し速度を調整することができるように構成したものである。
【0181】
画像読み出し速度は表示速度に関連しており、表示速度を読み出し速度以上に速くすることはできない。
【0182】
一般的に、画像をモニタする場合には、30画像/秒程度以上の表示間隔が望ましいが、原色数Nが増加するとそれに伴って比例的に表示間隔が長くなり、ちらつき状態が生じたり、あるいは各原色画像所得時間差による大きな画像位置ずれが生じたりすることがある。
【0183】
従って、本構成は、表示間隔が長くなるのを回避して、読み出し原色数Nによることなく表示間隔を一定にするために、図17に示すように、カメラ制御I/F12AによりCCD8Aからの画像読み出し速度を調整するようにした高速読み出しモードである。
【0184】
図20を参照して、撮影モードを設定する際の動作について説明する。
【0185】
操作スイッチ14から撮影モードを選択する操作入力があると(ステップS21)、CPU18がそれを検出して、メモリ11内の記録エリアの一部に、設定する撮影モードやそれに関連する情報等を記録するとともに(ステップS22)、カメラ制御I/F12Aに撮影モードを変更するように制御を行わせる命令を発行する(ステップS23)。
【0186】
カメラ制御I/F12Aは、この指令を受けて、CCD8Aの駆動を制御し、撮影モードを変更するようになっている。このときには、カメラ制御I/F12は、CCD8Aの動作に連動させてLEDドライバ13を制御することにより、各LED6a〜6fの発光量も合わせて調整するようになっている。
【0187】
この撮影装置1において設定可能な撮影モードは、例えば、次のようになっている。
【0188】
(1)フルモード
(2)読み出し2倍速モード
(3)2/4ライン2倍速モード
(4)2/8ライン4倍速モード
(5)2/16ライン8倍速モード
(6)第1の中央部走査モード
(7)第2の中央部走査モード
(8)第3の中央部走査モード
(9)第4の中央部走査モード
(10)第1の中央部高速走査モード
(11)第2の中央部高速走査モード
「フルモード」は、図18(A)に示すように、CCD8Aの全走査ラインの全画素について通常の速度で順次読み出しを行っていく通常のモードである。なお、ここでは第1LED6a、第3LED6c、第5LED6eを同時に発光させるフレームと、第2LED6b、第4LED6d、第6LED6fを同時に発光させるフレームと、により各フレームが構成されているが、このような発光により6原色画像を取り込む手段については、後の第3の構成で説明する。
【0189】
「読み出し速度2倍速モード」は、図18(A)に示す通常のモードに対して、図18(B)に示すように、CCD8Aの全走査ラインの全画素について通常の2倍の速度で順次読み出しを行っていくモードとなっている。なお、ここでは2倍速の読み出しを例に挙げたが、これに限らず適宜の倍数でも良いし、さらには可変倍としても構わない。
【0190】
「2/4ライン2倍速モード」は、4ライン毎に2ラインのみを走査することにより、1フレームを読み出すのに要する時間を半分にするものであり、垂直方向の分解能は半分になるものの、全有効エリアの画像を取得することが可能となっている。
【0191】
「2/8ライン4倍速モード」は、さらに、8ライン毎に2ラインのみを走査することにより、1フレームを読み出すのに要する時間を通常モードの1/4にするものである。
【0192】
「2/16ライン8倍速モード」は、同様に、16ライン毎に2ラインのみを走査することにより、1フレームを読み出すのに要する時間を通常モードの1/8にするものである。
【0193】
「第1の中央部走査モード」は、図19(A)に示すように、全走査ラインのライン数をSとしたときに、有効エリアの内の、中央部のS/2ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を半分にするものである。
【0194】
「第2の中央部走査モード」は、図19(B)に示すように、全走査ラインのライン数をSとしたときに、有効エリアの内の、中央部のS/4ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を1/4にするものである。
【0195】
「第3の中央部走査モード」は、同様に、有効エリアの内の、中央部のS/8ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を1/8にするものである。
【0196】
「第4の中央部走査モード」は、同様に、有効エリアの内の、中央部のS/16ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を1/16にするものである。
【0197】
「第1の中央部高速走査モード」は、上記図19(A)に示したような、有効エリアの内の中央部のS/2ラインの部分のみを、通常の2倍の速度で走査することにより、1フレームを読み出すのに要する時間を1/4にするものである。
【0198】
「第2の中央部高速走査モード」は、上記図19(B)に示したような、有効エリアの内の中央部のS/4ラインの部分のみを、通常の2倍の速度で走査することにより、1フレームを読み出すのに要する時間を1/8にするものである。
【0199】
これらに限らず、さらに他の手段による高速スキャンを行うことも可能であり、上記を含めて以下のようにまとめることができる。
【0200】
まず第1は、単純なスキャン速度の高速化である。これは、例えば、読み出し開始を指示するトリガー信号のタイミングを調整することにより行うことができる。例えば、1フレームの表示時間を1/30秒とする例では、各原色(N原色とする)の読み出し時間が1/30/Nとなるようにトリガー信号のタイミングを設定することにより達成される。
【0201】
第2に、間引きスキャンによる高速化である。上記第1の高速化手段では、撮像素子によって高速化に限界が生じる。これに対して、この間引きを行う場合には、画質は低下するものの、安定した走査を行って高速化を図ることができるために、フレームレートが下がることはなく、表示にちらつきを生じさせることがない。この間引きの例としては、上述したような、ライン単位で一定周期、または一定範囲で間引く手段以外に、画素単位で間引くことも可能であり、撮像素子がXYアドレス型のものである場合には、きめ細かく所望の画素のみを読み出すことも可能となる。
【0202】
第3に、原色に応じてフレームレートを異ならせることによる高速化である。通常のRGBカラーフィルタ等を備えたCCDにおいても、輝度信号に近い緑(G)の画素は、赤(R)や青(B)の画素の2倍の数だけ配設されていることが多い。このような点を考慮して、6原色の内の緑(G)に近いフレームは、それ以外の色のフレームの2倍の数だけ読み出すようにすることが考えられる。もちろん、これに限らず、使用目的に応じて、特定の原色のフレームを多く読み出すようにしたり、必要度に応じて読み出すレートを段階的に異ならせたりすると良い。
【0203】
上述したような高速読み出しモードが設定されているか否かは、図100に示すように、表示手段たるLCDモニタ16に高速読み出しマーク275として表示されるようになっていて、この表示を見ることにより確認することが可能となっている。図100は、高速読み出しマークの表示例を示す図である。なお、高速読み出しモードの表示は、この図100に示すものに限らないことは勿論であり、また、LCDモニタ16に限らず、その他の手段により表示することも可能である。例えば、複数の高速読み出しモードの内の、どのモードが設定されているかを見分けることができるように、夫々を異なる表示としても良い。
【0204】
このような第2の構成によれば、上述した第1の構成とほぼ同様の効果を奏するとともに、読み出し速度を変更することにより、一定の表示速度を確保することが可能となり、高度な色再現時にも動きが自然な動画像を表示することが可能となる。
【0205】
[実施形態に係る第3の構成]
図21から図36は本発明の実施形態に係る第3の構成を示したものであり、図21は画像処理システムの構成を示すブロック図、図22は画像処理システムを使用するときの様子の一例を示す図である。この第3の構成において、上述の第1,2の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0206】
この第3の構成は、上述した第1の構成を基本構成として、さらに、CCDの撮像面上に3バンドのカラーフィルタアレイを配設した構成としたものである。
【0207】
すなわち、図21や図22に示すように、撮影装置1は、撮影光学系7により被写体像が結像される光路上のCCD8の近傍に、例えばRGB3バンドのカラーフィルタアレイ(図中、CFAと省略する。)19が配設されていて、撮像素子部としていわゆる単板式のカラー撮像素子が構成されている。
【0208】
従って、図示はしないが、通常のカメラと同様に、キャプチャモードとして通常のRGB画像を取得することも可能である。このときの被写体の照明は、撮影装置1を照明光消灯モードに設定して照明光源をオフにし、一般の室内光や、太陽光などの環境光を用いるようにしても良い。あるいは、撮影装置1に内蔵されている複数のLEDを組み合わせることにより、白色光源とみなせるスペクトルの光源を構成し、連続点灯して被写体に照射するようにしても構わない。
【0209】
図23は、LED6a〜6fの発光スペクトルとカラーフィルタアレイ19を通したCCD8の分光感度特性とを示す線図である。
【0210】
第1の構成においても示したような、曲線fL1〜fL6により示される6原色LEDの発光スペクトルに対して、カラーフィルタアレイ19の透過率分布とCCD8の受光感度分布とにより得られるトータルの分光感度特性は、図示の曲線fSB,fSG,fSRとなっている。
【0211】
これらの内の青色カラーフィルタに該当する分光バンド域を示す曲線fSBは曲線fL1,fL2の2つを包含して第1LED6aと第2LED6bの発光による光を感受することができ、緑色カラーフィルタに該当する分光バンド域を示す曲線fSGは曲線fL3,fL4の2つを包含して第3LED6cと第4LED6dの発光による光を感受することができ、赤色カラーフィルタに該当する分光バンド域を示す曲線fSRは曲線fL5,fL6の2つを包含して第5LED6eと第6LED6fの発光による光を感受することができるように構成されている。
【0212】
ただし、トータルの分光感度特性が互いに独立して分離している必要はなく、周辺部分において互いに一部が重なり合うようになっていても構わない。さらに、第1の構成と同様に、第1LED6a〜第6LED6fの各発光スペクトルも、一部が重なり合うような発光スペクトルであっても構わない。もちろん、LEDの種類も6種類に限るものではなく、適宜の種類数のLEDの組み合わせを採用することができるのも同様である。
【0213】
次に、画像を取得するときの動作について説明する。
【0214】
この画像処理システムにおいては、上述した第1の構成と同様に、画像を取得する際に、モニタモードと分光画像キャプチャモードとを切り替えて行うようになっている。
【0215】
図24、図26、図27を参照して、分光画像キャプチャモードの動作について説明する。図24は6バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図26は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図27は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
【0216】
第1の構成において説明したように、撮影ボタン14aが押下されて分光画像キャプチャモードに切り替わると、分光画像の撮像を開始する判断を行う(ステップS31)。
【0217】
ここで分光画像の撮像が開始されると、フレームNの画像の取り込みを行って、その後にフレームN+1の画像の取り込みを行う。
【0218】
まず、フレームNの画像の取り込みが開始されると、第1LED6a,第3LED6c,第5LED6eを同時に点灯させ(図24(A)参照)(ステップS32)、点灯が開始された後にCCD8による撮像を開始する(図27参照)(ステップS33)。
【0219】
CCD8による撮像が終了したら、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(フレームメモリ)に記憶させる(ステップS34)。
【0220】
そして、該フレームメモリに記憶された各画像データを、原色毎に分類して、該メモリ11内の所定の記憶領域(第1,第3,第5メモリ)に記憶させる(ステップS35)。
【0221】
その後に各LED6a,6c,6eを消灯することで(ステップS36)、フレームNの画像取り込みが終了する。
【0222】
次のフレームN+1の画像の取り込みは、点灯させるLEDや撮像した画像データを転送するメモリ領域が異なるだけで、基本的にはフレームNの画像の取り込みと同様である。
【0223】
すなわち、第2LED6b,第4LED6d,第6LED6fを同時に点灯させ(図24(B)参照)(ステップS37)、点灯が開始された後に、CCD8による撮像を開始する(図27参照)(ステップS38)。
【0224】
CCD8による撮像が終了したら、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(フレームメモリ)に記憶させる(ステップS39)。
【0225】
そして、該フレームメモリに記憶された各画像データを、原色毎に分類して、該メモリ11内の所定の記憶領域(第2,第4,第6メモリ)に記憶させる(ステップS40)。
【0226】
その後に各LED6b,6d,6fを消灯することで(ステップS41)、フレームN+1の画像取り込みが終了する。
【0227】
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
【0228】
また、上記ステップS35やステップS40において第1〜第6メモリに記憶された各原色の画像は、カラーフィルタアレイ19の原色配列に応じた画素の欠落が生じているために、必要に応じて、撮影装置1または処理装置2において補間処理が行われることになる。
【0229】
こうしてメモリ11に記憶された6バンドの被写体分光画像は、処理装置2に送られて、処理プログラムにより色再現や画像処理が行われる。この処理結果は、他の処理プログラムによってディスプレイ22に表示されるか、または撮影装置1に転送されてLCDモニタ16に表示される。
【0230】
次に、図25、図28、図29を参照して、モニタモードの動作について説明する。図25はモニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図28はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図29はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
【0231】
なお、本構成においても上述した各構成と同様に、一般のRGB画像用を想定して、第1LED6aおよび第2LED6bが青(B)の範疇に相当し、第3LED6cおよび第4LED6dが緑(G)の範疇に相当し、第5LED6eおよび第6LED6fが赤(R)の範疇に相当するように、各発光原色の選定を行っている。
【0232】
電源スイッチがオンされることによりモニタモードが設定されるか、あるいは分光画像キャプチャモードが終了することによりモニタモードに復帰すると、モニタ用画像の撮像を開始するのを待機する(ステップS51)。
【0233】
ここでは直ちに撮像が開始され、全てのLED6a〜6fを点灯させる(図25参照)(ステップS52)。全LED6a〜6fの点灯が開始された後に、CCD8による撮像を開始する(図29参照)(ステップS53)。
【0234】
CCD8による撮像が終了したら、その後に全LED6a〜6fを消灯し(ステップS54)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第1,第3,第5メモリ)に記憶させる(ステップS55)。
【0235】
モニタモードが設定されている間は、上記ステップS51に戻ってこのような動作を繰り返すことにより、動画像を取得するようになっている。
【0236】
このようにして得られた画像は、モニタ用の画像データに変換されて、モニタI/F15を介してLCDモニタ16に表示される。このときには、設定によって、処理装置2のディスプレイ22にモニタ用画像を表示することもできるようになっている。
【0237】
なお、図29に示したタイミングチャートでは、CCD8による撮像毎にLED6a〜6fの全点灯と全消灯とを行って消費電力の低減を図っているが、モニタモードが設定されている間は、LED6a〜6fを連続的に点灯させるようにしても構わない。
【0238】
また、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
【0239】
なお、モニタ画像取得方法として、本構成における6バンドの分光画像キャプチャモードを連続させることにより、6バンドの分光画像の第1と第2バンドのメモリ加算、第3と第4バンドのメモリ加算、第5と第6バンドのメモリ加算を同時に行うことによってモニタ画像を生成することも可能である。この場合は、撮影部アルゴリズムを変えることなくメモリ加算を行うだけでモニタ画像を生成することができる。これは、連続した分光画像測定時のモニタ方法として有効である。
【0240】
次に、図30から図36は、この第3の構成の変形例を示しており、図30は8バンドの分光画像を生成するときのLEDの発光スペクトルとカラーフィルタアレイを通したCCDの分光感度特性とを示す線図である。
【0241】
この変形例は、カラーフィルタアレイ19を介したCCD8によるRGBの検出バンド同士の間にまたがるような発光分光特性のLEDを設けることにより、LEDは6原色(6バンド)の発光を行うだけであるのに、検出としては8バンドの出力を得られるようにしたものである。
【0242】
すなわち、図30(A)に示すように、カラーフィルタアレイ19の透過率分布とCCD8の受光感度分布とにより得られるトータルの分光感度特性を示す曲線fSB,fSG,fSRに対して、各LED6a〜6fによる発光の分光特性(各々曲線fL1' 〜fL6' で示す)は、次のようになっている。
【0243】
まず、青色カラーフィルタに該当する分光バンド域を示す曲線fSB内には、曲線fL1' ,fL2' の2つが包含されていて、曲線fL3' も一部が包含されている。
【0244】
緑色カラーフィルタに該当する分光バンド域を示す曲線fSG内には、曲線fL4' が包含されていて、さらに、上記曲線fL3' の一部と、曲線fL5' の一部と、が包含されている。
【0245】
赤色カラーフィルタに該当する分光バンド域を示す曲線fSR内には、曲線fL6' が包含されていて、さらに、上記曲線fL5' の一部が包含されている。
【0246】
こうして、第3LED6cによる発光の分光特性(曲線fL3' )は青色カラーフィルタのバンドと緑色カラーフィルタのバンドとにまたがり、第5LED6eによる発光の分光特性(曲線fL5' )は緑色カラーフィルタのバンドと赤色カラーフィルタのバンドとにまたがるように構成されている。
【0247】
このような構成により、各LED6a〜6fにより発光された光をカラーフィルタアレイ19を介してCCD8により受光したときのトータルの分光感度特性は、図30(B)に示すように、曲線fSL1'(曲線fL1' および曲線fSBによる)、曲線fSL2'(曲線fL2' および曲線fSBによる)、曲線fSL3'(曲線fL3' および曲線fSBによる)、曲線fSL4'(曲線fL3' および曲線fSGによる)、曲線fSL5'(曲線fL4' および曲線fSGによる)、曲線fSL6'(曲線fL5' および曲線fSGによる)、曲線fSL7'(曲線fL5' および曲線fSRによる)、曲線fSL8'(曲線fL6' および曲線fSRによる)の合計8バンドとなる。
【0248】
次に、図31から図33を参照して、8バンドの分光画像を取得する動作について説明する。図31は8バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図32は8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図33は8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
【0249】
なお、この変形例においては、8バンドの分光画像を撮像するために、メモリ11にはこれらに各対応して第1〜第8メモリの記憶領域が設けられている。
【0250】
撮影ボタン14aが押下されて分光画像キャプチャモードに切り替わると、分光画像の撮像を開始する判断を行う(ステップS61)。
【0251】
分光画像の撮像が開始されると、まず、図31(A)に示すようなフレームNの画像の取り込み動作が開始され、第1LED6aと第4LED6dとを同時に点灯させ(ステップS62)、点灯が開始された後に、CCD8による撮像を開始する(図33参照)(ステップS63)。
【0252】
CCD8による撮像が終了したら、その後にLED6a,6dを消灯し(ステップS64)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第1,第2メモリ)に記憶させる(ステップS65)。これにより、フレームNの画像取り込み動作(2バンドの被写体分光画像の取得)が終了する。
【0253】
次に、図31(B)に示すようなフレームN+1の画像の取り込み動作が開始され、第2LED6bと第5LED6eとを同時に点灯させ(ステップS66)、点灯が開始された後に、CCD8による撮像を開始する(図33参照)(ステップS67)。
【0254】
CCD8による撮像が終了したら、その後にLED6b,6eを消灯し(ステップS68)、CCD8から画像データを読み出して、上記メモリ11内の所定の記憶領域(第3,第4,第5メモリ)に記憶させる(ステップS69)。これにより、フレームN+1の画像取り込み動作(3バンドの被写体分光画像の取得)が終了する。
【0255】
さらに、図31(C)に示すようなフレームN+2の画像の取り込み動作が開始され、第3LED6cと第6LED6fとを同時に点灯させ(ステップS70)、点灯が開始された後に、CCD8による撮像を開始する(図33参照)(ステップS71)。
【0256】
CCD8による撮像が終了したら、その後にLED6c,6fを消灯し(ステップS72)、CCD8から画像データを読み出して、上記メモリ11内の所定の記憶領域(第6,第7,第8メモリ)に記憶させる(ステップS73)。これにより、フレームN+2の画像取り込み動作(3バンドの被写体分光画像の取得)が終了する。
【0257】
分光画像を動画的に連続して取り込む場合には、このようなフレームNからフレームN+2までの動作を繰り返して行うことになる。
【0258】
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
【0259】
こうしてメモリ11に記憶された6バンドの被写体分光画像は、処理装置2に送られて、処理プログラムにより色再現や画像処理が行われる。この処理結果は、他の処理プログラムによってディスプレイ22に表示されるか、または撮影装置1に転送されてLCDモニタ16に表示される。
【0260】
続いて、図34から図36を参照して、モニタ用画像を取得する動作について説明する。図34はモニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図35はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図36はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
【0261】
電源スイッチがオンされることによりモニタモードが設定されるか、あるいは分光画像キャプチャモードが終了することによりモニタモードに復帰すると、モニタ用画像の撮像を開始するのを待機する(ステップS81)。
【0262】
ここでは直ちに撮像が開始され、全てのLED6a〜6fを点灯させる(図34参照)(ステップS82)。全LED6a〜6fの点灯が開始された後に、CCD8による撮像を開始する(図36参照)(ステップS83)。
【0263】
CCD8による撮像が終了したら、その後に全LED6a〜6fを消灯し(ステップS84)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域に記憶させる(ステップS85)。
【0264】
ここでは、CCD8による撮像毎にLED6a〜6fの全点灯と全消灯とを行って消費電力の低減を図っているが、上記図29において説明したのと同様に、モニタモードが設定されている間は、LED6a〜6fを連続的に点灯させるようにしても構わない。
【0265】
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
【0266】
その後、モニタモードが解除されるまで、上記ステップS81に戻って、上述したような動作を繰り返して行うことにより、動画像用の画像データを連続的に取得するようになっている。
【0267】
このようにして得られた画像は、モニタ用の画像データに変換されて、モニタI/F15を介してLCDモニタ16に表示される。このときには、設定によって、処理装置2のディスプレイ22にモニタ用画像を表示することもできるようになっている。
【0268】
なお、上述では、撮像素子として、3バンドのカラーフィルタアレイとの組み合わせによる単板撮像素子を例に挙げたが、これに限らず、入射光を複数の波長帯域の光に分離する分光ミラーや分光プリズム等の分光部と、この分光部により分光された複数の波長帯域の光を撮像する複数の撮像素子と、を有して構成される3板式の3バンド撮像素子であっても良いし、あるいは2板式の撮像素子であっても構わない。さらに、カラーフィルタとしては、RGB3バンドによる原色系フィルタに限るものではなく、補色系フィルタのものであってももちろん構わない。
【0269】
また、上述では6バンドの発光スペクトルのLEDから8バンドの被写体分光画像データを取得しているが、これに限らず、組み合わせにより任意の被写体分光画像データを取得するようにしても良い。例えば、光源として第3LEDと第5LEDのみ、すなわち2バンドの光源のみであっても、図31にfSL3',fSL4',fSL6',fSL7'で示すように、4バンドの被写体分光画像を得ることができる。この他、様々な組み合わせが可能である。
【0270】
このような第3の構成によれば、上述した第1,2の構成とほぼ同様の効果を奏するとともに、カラー撮像素子を用いることにより、被写体分光画像を取得するのに必要な撮像回数を減少させることができ、高度な色再現の動画像などもより容易に実現可能となる。
【0271】
さらに、LEDの発光スペクトルが、カラー撮像素子による受光の分光感度分布にまたがるように構成することにより、6バンドの発光スペクトルのLEDを用いながら、8バンドの被写体分光画像データを取得することが可能となる。
【0272】
[実施形態に係る第4の構成]
図37から図42、および図89は本発明の実施形態に係る第4の構成を示したものであり、図37は画像処理システムの構成を示すブロック図である。この第4の構成において、上述の第1〜3の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0273】
この第4の構成は、上述した第3の構成を基本構成として、さらに、スペクトル検出センサを付加した構成としたものである。
【0274】
すなわち、図37に示すように、画像処理システムの撮影装置1は、光のスペクトル分布を検出するスペクトル検出センサ41と、このスペクトル検出センサ41へ検出光を導入するプローブ42と、上記スペクトル検出センサ41からの出力をデジタル信号に変換するとともに処理して出力するセンサI/F43と、被写体特性を記憶する被写体特性メモリ44と、カメラ特性を記憶するカメラ特性メモリ45と、を図21に示した第3の構成に加えてさらに有して構成されている。
【0275】
上記スペクトル検出センサ41は、第1LED6a〜第6LED6fを用いてCCD8により6バンド分光画像を取得する構成とは異なり、光を画像として取り込むのではなくスペクトルのみを検出するものである。
【0276】
このスペクトル検出センサ41は、光検出範囲が可視光域全域(380nm〜800nm)をカバーするものとなっていて、グレーティング方式により検出を行い、分解能は5nmである。従って、詳細なスペクトルデータを取得することが可能となっている。なお、ここではグレーティング方式のスペクトル検出センサを例に挙げているが、それ以外の方式のものであっても構わない。
【0277】
上記プローブ42は、例えばフレキシブルな光ファイバ(または光ファイババンドル)を使用しているが、これに限らず、検出光を導光することができるようなものであれば、広く使用することが可能である。
【0278】
このような構成を用いて、被写体からの光を検出すると該被写体の光スペクトルを検出することができる一方で、被写体の代わりに標準白色板を置くことにより、照明光のスペクトル特性を測定することも可能となる。
【0279】
より詳しくは、上記当て付け部4等を用いて外部の照明光を遮断し、第1LED6a〜第6LED6fを順次発光させて検出することにより、各LED6a〜6fのスペクトル特性を測定することができる。これにより、これらの発光素子自体の劣化や、温度等の環境変化によるスペクトル特性の変化を検出することができる。ひいては、特性の変化を反映した照明スペクトルのプロファイルを得ることができるために、より正確な高色再現を実現することが可能となる。
【0280】
さらに、外部の照明光を検出して、環境照明光のスペクトル特性を測定することも可能である。
【0281】
次に、図38は、スペクトル検出センサを複数配設した画像処理システムを使用するときの様子の一例を示す図である。
【0282】
この図38には、スペクトル検出センサのより具体的な配設例を示していて、ここでは2つのスペクトル検出センサ、すなわち、第1のスペクトル検出センサ47と第2のスペクトル検出センサ46とが用いられている。
【0283】
第1のスペクトル検出センサ47は、被写体部分の分光スペクトルを検出するために配設されたものであり、プローブとなる光ファイバ49の先端が、第1LED6a〜第6LED6fの近傍の、筐体5の投射口5aを介して被写体光を入射することができる位置に配設されている。
【0284】
この第1のスペクトル検出センサ47は、上述したように、被写体の代わりに標準白色板を配することにより、第1LED6a〜第6LED6fの照明スペクトルを検出するのに用いることができるとともに、後述するように先端にレンズ等を配設することにより、被写体のスポット(特定部分)の分光反射スペクトルを直接的に取得することも可能となっている。
【0285】
これにより、第1のスペクトル検出センサ47を用いて、自動車の塗装色、建物の塗装色、食料品の分光特性、衣料品の染色などのスペクトルデータを直接取得すれば、それぞれの検査や確認のためのデータとして利用することが可能となる。
【0286】
また、第2のスペクトル検出センサ46は、被写体がおかれた環境の照明光スペクトルを検出することができるように設けられたものであり、プローブとなる光ファイバ48の先端が、筐体5の外面に露呈するとともに、その先端を覆うように白色で半透過性を有する積分球48cが取り付けられている。この第2のスペクトル検出センサ46を用いることにより、撮影装置1から離間した位置にある被写体を、太陽光や室内光のみで撮影するときの照明スペクトルを取得することが可能となる。これにより、被写体像の撮影と同時に、そのときの環境照明光に係る照明スペクトルのプロファイルを作成することが可能であるために、環境照明光が変化したとしてもそれに対応して、リアルタイムな高色再現を自動的に行うことができる。
【0287】
さらに、撮影装置1の周辺環境光のスペクトルを検出して、撮影装置1自体に内蔵するLEDのスペクトルと比較することにより、周辺環境光とLED光との何れを用いて撮像を行うかを適応的に切り替えることも可能となる。例えば、RGBの動画像を撮像するときには周辺環境光を用いることが可能であるために、この場合には内蔵するLEDを発光させないことにより、消費電力の低減を図ることなども可能となる。
【0288】
図39は、スペクトル検出センサ41の構成例を示す断面図である。
【0289】
上記プローブ42は、入射端42aから光を入射して、出射端42bから出射するものである。
【0290】
スペクトル検出センサ41は、箱体41aと、この箱体41aの一端部に開口して設けられていて上記プローブ42の出射端42bから出射される光をスリット光として入射するための入射光スリット41bと、上記箱体41aの内部に配設されていて上記入射光スリット41bから入射したスリット光を波長に応じて分光し異なる方向に反射して集光させるグレーティング41cと、上記箱体41aに取り付けられていて上記グレーティング41cにより波長に応じて異なる位置に集光される光を受光してその強度に応じた信号を出力するフォトダイオードアレイ41dと、を有して構成されている。
【0291】
これにより、フォトダイオードアレイ41dは、受光位置に応じて異なる波長の光を光電変換し、強度に応じた信号を出力することになる。
【0292】
上記センサI/F43は、このフォトダイオードアレイ41dから出力されるアナログ信号をデジタル信号に変換するためのA/D変換器43aを有して構成されていて、変換後のデジタル信号を上記バス10を介してCPU18等へ出力するようになっている。CPU18は、このデジタル信号を各波長の強度を示すスペクトル情報として受けて、解析等を行うようになっている。
【0293】
図40は、スペクトル検出センサ47に接続される光ファイバ49の入射端49aの様子を示す断面図である。なお、この図40においては、撮影光学系7等の図示を省略している。
【0294】
光ファイバ49の入射端49aには、ある角度範囲からの光が入射するようになっている。図示の例では、筐体5の投射口5aを介して入射する、撮影対象である被写体表面からの反射光が、上記入射端49aに到達するように設置されている。
【0295】
この図40に示す構成は、上述したような、被写体として標準白色板を用い、LED照明のスペクトルを検出して経年変化による色の変化情報を取得するなどに用いることができるものである。
【0296】
また、図41は、スペクトル検出センサ47に接続される光ファイバ49の入射端49aの近傍にセンサ用光学系49cを配設した構成例を示す断面図である。なお、この図41においても、撮影光学系7等の図示を省略している。
【0297】
この図41に示すように、スペクトル検出センサ47に接続される光ファイバ49の入射端49aにレンズ等でなるセンサ用光学系49cを設けることにより、入射端49aへ入射する光束を被写体のある範囲からの光に制限することができる。これにより、上述したように、被写体の特定位置のスペクトルを高い波長分解能で測定することが可能となる。
【0298】
図42は、環境光取得用に設けられたスペクトル検出センサ46に接続される光ファイバ48の入射端48aの様子を示す断面図である。なお、この図42においても、撮影光学系7等の図示を省略している。
【0299】
上述したように、入力用の光ファイバ48の入射端48aは、筐体5の外面に露呈しており、この入射端48aを取り囲むように、白色で半透過性を有する積分球48cが取り付けられている。
【0300】
このような構成において、環境照明光がこの積分球48cに照射されると、拡散して透過され、光ファイバ48の入射端48aから入射する。この入射光は、該光ファイバ48により伝達されて、スペクトル検出センサ46によりスペクトルの測定が行われる。
【0301】
このような第4の構成によれば、上述した第1〜3の構成とほぼ同様の効果を奏するとともに、スペクトル検出センサを設けることにより、被写体光のスペクトル分布を得ることができ、LEDのスペクトル分布を取得して、より正確な色再現をリアルタイムに行うことも可能となる。
【0302】
また、センサ用光学系を用いることにより、被写体の特定部分のスペクトル分布を取得することも可能となる。このセンサ用光学系は、上述したように、例えば5nmの分解能をもつものとなっているために、被写体の特定部位について、より詳細なスペクトルデータを取得することが可能となり、より精密な診断や判定を行うことができる。
【0303】
さらに、環境照明光のスペクトルを検出することもできるために、環境照明光に係る照明スペクトルのプロファイルをリアルタイムに取得することも可能となる。
【0304】
加えて、マクロ撮影モード時に、上記スペクトル検出センサ41により漏れ光の有無を検出することも可能である。そして、漏れ光を検出した場合には、撮影者に対する警告を、警告報知手段を用いて表示や音により行うようにすると良い。表示による警告は、表示手段(例えば、設定状態表示手段)に警告表示するようにすれば良いし、音による警告は、アラーム音などの警報を鳴らすようにすれば良い。図89は、漏れ光のアラーム表示の例を示す図である。この例では、LCDモニタ16等の表示モニタに、例えば上から下に向かうジグザグの矢印として漏れ光アラーム245を表示することにより、漏れ光があることを警告するようになっている。
【0305】
なお、警告報知手段は、漏れ光が検出されたときの警告報知に限らず、撮影時の位置がずれたときの警告報知、撮影光学系に曇りが生じたときの警告報知、などを行うものであっても良い。
【0306】
[実施形態に係る第5の構成]
次に、本発明の実施形態に係る第5の構成の画像処理システムについて説明する。この第5の構成において、上述の第1〜4の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0307】
図43は、本発明の実施形態に係る第5の構成の画像処理システムである歯科用画像処理システムのシステム構成図である。図44は上記歯科用画像処理システムに適用される撮影装置のブロック構成図である。
【0308】
本第5の構成の歯科用画像処理システム50は、義歯,差し歯等の製作に際して患者59の歯の分光画像情報を取得し、高精度の色再現を行い、その分光画像情報をネットワーク3により歯科技工所55と情報交換することにより、審美としての歯冠修復やホワイトニング処理を支援可能とするシステムである。
【0309】
本構成の歯科用画像処理システム50は、図43に示すように患者の歯の分光画像およびモニタ画像の画像データを取得するための画像撮影部である撮影装置(ハンドヘルドマルチスペクトルカメラ,HMSC)1Aと、画像メモリを有し、上記撮影装置1Aで得られた画像データを演算,管理するための画像処理部である処理装置2Aと、カメラ撮影操作のためのタッチパネル式入力操作装置53と、色再現状態を表示するためのキャリブレーションモニタ54と、上記処理装置2Aと歯科技工所(通信装置)55とを結ぶネットワーク3と、歯科技工所55に備えられる修復材料配合比計算データベース56とを有してなる。
【0310】
なお、修復材料配合比計算データベース56は、歯科治療情報、患者登録データベース、症例データベースなど歯科に有用な機能を有する歯科用データベース内に、あるいは、これと並列に置かれても良い。さらに、修復材料配合比計算データベース56、あるいは当該歯科用データベースは歯科技工所55に限定されることはなく、特定のウェブサイトに置かれても良い。
【0311】
また、図示はしないが技工所に撮影装置1Aを備えることにより、作成した補綴物等の確認や評価が技工所でも実施できる。さらに、補綴物を歯科医に送付する前に、ネットワーク経由で歯科医に画像などの情報を伝達することにより、より確実に補綴物の適正を確保できる。すなわち、本システムにおいて双方向でのデータやり取りが可能となり、迅速且つ精度の高い補綴物の製作が可能となる。
【0312】
さらに、情報はネットワーク経由で略リアルタイムで伝送可能であることから、患者の歯の治療が難しい場合など、患者が歯科医院に滞在する時間中に技工所とのやり取りを行い、場合によっては技工士の所望する追加情報(画像など)取得のため再度、患者の診療や患者からの希望など収集することが時を待たずに行うことができ、迅速な治療行為に繋げることができ、患者サービスの向上に貢献できる。
【0313】
上記撮影装置1Aにおいては、それぞれ異なる分光分布特性を有する複数個のLEDからなるLED群6Xを光源として、その光源により照明される被写体像(この場合、患者59の歯の像)が撮影光学系7を介して取り込まれ、撮像素子であるCCD8によって撮像信号に変換され、メモリ11に画像データとして記憶される。その画像データは、外部I/F17を介して処理装置2Aの画像メモリに転送される。この撮影装置1Aの構成は、前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様となっており、図44ではそれらの同一構成要素に同一の符号を付して示している。
【0314】
上記処理装置2Aは、図44に示すように画像処理部であって、前記第1の構成等の画像処理システムの画像処理部2に適用したものと同様の演算装置21およびディスプレイ装置22に加えて、さらに、歯科用ファイリングシステム23を有して構成されている。
【0315】
上記演算装置21は、撮影装置1Aにより取り込まれた分光画像データ等に基づいて被写体の色再現演算処理や画像判定演算処理(定量的判定)を行う。上記画像判定演算処理は、例えば、患者の歯の白さの等級判定や色あい判別、皮膚表面の皮溝や皮丘の相関、エントロピー解析等を行う処理となっている。なお、この演算装置21は、前記第1の構成の画像処理システムに適用された処理装置2Aの演算装置21と同様の構成,機能を有している。
【0316】
上記歯科用ファイリングシステム23は、患者の歯の漂白前後の数値管理や漂白頻度や義歯や歯冠修復材などの配合計算結果のデータファイリングを行うシステムであって、画像ファイリングソフトウェアを内蔵している。なお、上記ファイリングシステム23の所定のメモリ部には、上記撮影装置1で操作スイッチ14の操作により撮影された画像データが上記画像ファイリングソフトウェアの所定箇所に記録され、取り込まれる。
【0317】
次に、上述した構成を有する本構成の歯科用画像処理システム50による処理動作について説明する。
【0318】
歯科医院において上記歯科用画像処理システム50を適用して患者59の歯の色に合った歯冠修復材や義歯を製作する際、まず、患者59の歯の白さや色合いが測定される。患者59は、固定台58に顎部を載せて頭部を固定状態とする。上記固定台58には、撮影装置51が取り付けられている。ディスポーザブルの遮光性を備えた当て付け部4を患者59の口に当て付けて、口内の義歯を入れようとしている歯部周辺を、撮影装置1により撮影可能な状態とする。なお、上述のように撮影装置51を固定することにより、撮影時の被写体位置のずれを防止することができる。
【0319】
タッチパネル式入力操作装置53を操作することにより撮影装置1のLED群6Xの発光モードを選択指定する。この発光モードは、例えば、LED群6Xを単一の原色のLED毎に順次点灯させるモードや、LEDを選択して点灯させるモードや、全LEDを同時に点灯させるモード等がある。その発光モードにより分光画像キャプチャモード,モニタモードの指定、あるいは、分光画像キャプチャモードにおける分光バンド数の指定がなされる。
【0320】
その後、入力操作装置53を操作して、LED群6Xの点灯を開始させる。この操作は、撮影装置1の操作スイッチ14により行うことも可能である。
【0321】
上記分光画像キャプチャモードが選択されている場合、LED群6Xの点灯により患者59の歯の被写体像信号がCCD8を介して取り込まれ、分光画像データとしてメモリ11に記憶される。上記分光画像データは、処理装置2に転送され、色再現演算部33(図12)においてXYZ推定演算が行われる。その演算結果による患者59の歯の高精度の色再現画像がディスプレイ22、または、キャリブレーションモニタ54に表示される。
【0322】
また、モニタモードが選択されている場合には、通常の表示画像がディスプレイ22に表示される。なお、上記分光画像キャプチャモードとこのモニタモードとは、入力操作装置53により切り換え可能である。
【0323】
さらに、上記分光画像データに基づいて処理装置2Aの画像判別演算部34(図13)において判別演算が行われ、患者59の歯の色の濃淡に関する等級データが求められる。この等級データは、歯の色の濃淡を比較するためのシェードガイド上の等級であり、その値は、キャリブレーションモニタ54に表示される。また、処理装置2Aでは、上記等級データに基づいて使用する修復材料の配合計算が行われ、修復材料配合データが求められる。
【0324】
患者59の歯に関する上記色再現画像データおよび歯の色の濃淡に関する等級データである検査データと、修復材料配合データとは、ネットワーク3を介して歯科技工所55のコンピュータ部に転送される。
【0325】
上記歯科技工所55では、上記検査データと修復材料配合データとに基づいて修復材料配合比計算データベース56より具体的な配合比が検索される。その配合比に基づいて歯冠修復や義歯が製作される。製作された義歯は、上記歯科医院に配送され、患者59に手渡されることになる。
【0326】
上記治療過程において、患者59に対して入力操作装置53を介してキャリブレーションモニタ54に歯の色に関するデータや色再現画像を表示して、患者59に治療の過程を示し、了解をとることができる。
【0327】
なお、この歯科用画像処理システム50は、患者59の歯冠修復や義歯を製作する以外にも歯の漂白治療にも適用できる。すなわち、漂白処理前後の状態の患者59の歯を上記撮影装置1Aにより撮影し、上述した画像演算処理を行うことによって、漂白結果を示す上記色再現画像データおよび歯の色の濃淡に関する等級データが求められる。この漂白治療前後の数値データは、キャリブレーションモニタ54に表示され、患者59に対するインフォームドコンセントに有効である。さらに、経時変化や漂白頻度による治療過程における色再現画像データや上記等級データの変化をビジュアルで確認することが可能である。また、上記治療過程でのデータを蓄積していくことも可能である。
【0328】
本第5の構成の歯科用画像処理システム50を適用した場合、上記処理装置2Aで求められた上記高精度色再現画像や上記等級データは、通常の室内光の影響を受けることのない再現性の良い画像データ、または、等級データが得られるので、従来のシェードガイドによる比較データを適用した場合のように個人差がなく、環境光の影響を受けることなく、さらに、使用するカメラやフィルムにより左右されることもない。また、治療の過程をキャリブレーションモニタ54で観察することができるので、患者59に対するインフォームドコンセントに有効である。
【0329】
また、入力操作装置53としてタッチパネル式のものを適用し、さらに、撮影装置1Aの撮影部先端にディスポーザブルな遮光筒(当て付け部4)を装着することができる。
【0330】
上述した歯科用画像処理システム50は、歯科用以外にも適用可能である。例えば、皮膚科システムに適用した場合、治療中の皮膚の状態を撮影し、より正確な色再現画像データを得ることができ、照明によるばらつきのない皮膚の状態の変化を記録していくことができる。また、肌評価システムに適用することも可能であり、通常の標準照明下における肌の色の正確な再現を可能とし、さらには特殊な照明下での肌の状態も再現することが可能である。
【0331】
[実施形態に係る第6の構成]
次に、本発明の実施形態に係る第6の構成である画像処理システムについて、図45〜図48、および図90〜図95を参照して説明する。この第6の構成において、上述の第1〜5の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0332】
なお、図45は、本構成の画像処理システムの構成を示す図である。図46は、上記画像処理システムのブロック構成図である。図47,図48は、上記画像処理システムの撮影装置における撮影処理のフローチャートであり、上記図47は、撮影待機処理ルーチンのフローチャートを示し、上記図48は、撮影ルーチンのフローチャートを示す。
【0333】
本構成の画像処理システムは、図45,図46に示すように画像撮影部であって、LED照明光、または、ストロボ照明光による撮影が可能な撮影装置1Bと、画像メモリを有し、上記撮影装置1Bで撮影された分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置2Bとを有してなる。
【0334】
上記撮影装置1Bは、前記第4の構成の画像処理システムに適用したカラーCCD,照明光センサが組み込まれた前記撮影装置1(図38)と同様の構成,機能を有しており、さらに、外部ストロボ装置であるストロボ発光装置65が着脱可能である。なお、図46には、撮影装置1Bの各構成要素で上記撮影装置1と同一のものを、同一の符号により示している。
【0335】
上記処理装置2Bは、前記第4の構成の画像処理システムに適用した処理装置2と同様の構成,機能を有している。
【0336】
上記撮影装置1Bでは、接近した被写体に対しては、内蔵のLED照明により撮影が可能であるが、被写体までの距離が数cm〜数m程度の場合、上記内蔵LED照明光が届かなくなるので、そのときは、ストロボ発光装置65を装着し、ストロボ発光管を発光させることによって撮影を行うことができる。
【0337】
このストロボ発光装置65のような外部光源を装着しているときには、表示手段に装着している旨を表示することができるようになっている。図90は、照明ユニットの装着に関する表示の例を示す図である。
【0338】
図90(A)は、外部照明ユニットを装着するように促すマーク246を表示する例となっている。そして、外部照明ユニットが装着されているときには、図90(B)に示すようなマーク247を表示するようになっている。
【0339】
また、外部光源は、異なる種類のものの中から選択することができるために、最適な装置を用いることが可能である。このときには、選択された外部光源に対応した動作を行うように設定される。
【0340】
さらに、最適な分光画像を取得するために、各種アプリケーションや各被写体毎に照明系や撮像系を特化することも可能である。この場合には、本撮影装置の基本的な構成は変更せず、照明系や撮像系だけを着脱式とすることにより、被写体毎に複数台の撮影装置を用意するよりも、低価格化を図ることができる。
【0341】
図91〜図95は、着脱ユニットの構成例を示している。
【0342】
図91は、「照明光学系」のみを着脱ユニット251Aとした例を示す図である。このユニット251Aは、機械的結合253を介して撮影装置1の本体に結合されるようになっている。なお、照明光学系252は、LED6a〜6f等から発光された光を被写体に向けて照射するための光学系であり、照明光源に含まれる。なお、撮影装置1の筐体5と把持部5bとは、機構255により、例えば回動可能となるように構成されている(後述する図95参照)。
【0343】
なお、照明光学系の方式構成は、図示のものに限らず、塗装、歯科、皮膚科、などの各種アプリケーションの種類や、各被写体の種類などによって最適化することにより、低コストで好適な応用が可能となることはいうまでもない。
【0344】
図92は、「光源であるLED」および「照明光学系」を一体として着脱ユニット251Bを構成した例を示す図である。このユニット251Bは、機械的結合253および電気的結合を介して、撮影装置の本体に結合されるようになっている。ここに、電気的結合は、ユニット251B側に設けられた電気接点254aと、撮影装置1の本体側に設けられた電気接点254bと、を含んで構成されている。そして、この電気的結合は、上記LED6a〜6fの制御や電源供給等に用いられるようになっている。なお、光源であるLED6a〜6fと照明光学系252とは、照明光源に含まれる。
【0345】
なお、光源であるLEDや照明光学系の方式構成は、図示のものに限らず、塗装、歯科、皮膚科、などの各種アプリケーションの種類や、各被写体の種類などによって最適化することにより、低コストで好適な応用が可能となることはいうまでもない。
【0346】
図93は、「光源であるLED」、「照明光学系」、および「撮影光学系」を一体として着脱ユニット251Cを構成した例を示す図である。このユニット251Cは、上述したような機械的結合253および電気的結合を介して、撮影装置1の本体に結合されるようになっている。
【0347】
なお、光源であるLED、照明光学系、撮影光学系の方式構成は、図示のものに限らず、塗装、歯科、皮膚科、などの各種アプリケーションの種類や、各被写体の種類などによって最適化することにより、低コストで好適な応用が可能となることはいうまでもない。
【0348】
図94は、「光源であるLED」、「照明光学系」、「撮影光学系」、および「撮像素子」を一体として着脱ユニット251Dを構成した例を示す図である。このユニット251Dは、上述したような機械的結合253および電気的結合を介して、撮影装置1の本体に結合されるようになっている。ここに、電気接点254a,254bを含んで構成される上記電気的結合は、LED6a〜6fの制御や電源供給等に用いられるとともに、さらに、撮像素子たるCCD8の駆動や該CCD8からの撮像信号の送信等に用いられるようになっている。
【0349】
なお、光源であるLED、照明光学系、撮影光学系、撮像素子の方式構成は、図示のものに限らず、塗装、歯科、皮膚科、などの各種アプリケーションの種類や、各被写体の種類などによって最適化することにより、低コストで好適な応用が可能となることはいうまでもない。
【0350】
図95は、上記図94に示したようなユニット251Dとほぼ同様に構成されたユニット251Eの先端側に、さらに別体の当付アダプタ4Aを着脱可能に結合することができる例を示す図である。この当付アダプタ4Aは、この例では、撮影装置1の先端を被写体に対して当て付ける際に用いられるものであり、外光が被写体に照射されるのを防ぐ遮光機能を有するものとなっている。
【0351】
このように、照明光源と、上記撮影光学系と、上記撮像素子部と、上記撮影操作部と、の内の何れか1つ以上を、着脱自在の着脱ユニットとして構成することが可能となっている。
【0352】
また、各着脱ユニットは着脱式であるために、予め複数種類を用意して、適用する用途に応じて、より適切な着脱ユニットを使うような使い分けを行うことができる。また、着脱ユニットに記憶素子を組み込んで、ID番号、種類、使用時間、初期情報(光源出力、波長、電気的条件(所定光量の発光を行うために必要な電流値、点灯パターン、順方向電圧など)、劣化情報などの各種情報を予め記憶させておき、使用時に記憶素子から読み出して、読み出した情報に基づき最適な画像撮影を行うための条件設定を行うことができる。また、使用の過程で発生する各種情報を、上記記憶素子に記録することも可能となる。そして、装着された着脱ユニットの種類を、上記LCDモニタ16等の表示手段をモード表示手段として用いて表示することも可能であり、この場合には、より明確に種類を確認することが可能となる。
【0353】
着脱ユニットは、これらの例に限らず、その他の構成を採用してユニット化することも可能である。このときに、例えば、照明光源の近傍に温度検出手段たる温度検出器を設けて、照明光源の温度を測定し、測定結果を照明光源の温度特性に照らし合わせて、最適な照明特性になるように光源を駆動することが考えられる。このような制御を行うことにより、輝度バラツキの要因となる温度変化を検出して補正することが可能となるために、測定精度を向上することができる。また、被写体からの光を分光検出するための分光検出手段を、着脱ユニット内に設けることも可能である。
【0354】
撮影装置1Bの装置本体を構成する筐体5の前方部に上記ストロボ発光装置65は装着可能となっているが、上記ストロボ発光装置65が装着されない状態では、積分球48cが外部に露出しているので撮影装置1Bに内蔵されるスペクトル検出センサ46によって、環境光のスペクトル検出が行われる。また、上記ストロボ発光装置65が装着された状態では、ストロボ光の一部が積分球48cに導光されるのでスペクトル検出センサ46によってストロボ光のスペクトル検出が行われる。
【0355】
上記ストロボ発光装置65は、図46に示すように撮影装置1Bの筐体5の前面部に着脱可能な装着部65aと、反射傘63と、リング状ストロボ発光管62と、発光チャージ用コンデンサを有するストロボ発光回路(図示せず)と、撮影装置1B側とストロボ発光回路との電気的接続(電源・制御信号)用接続ケーブル64とを有してなる。
【0356】
なお、ストロボ発光装置65を装着後、撮影装置1Bとストロボ発光装置65との間の電気接続は、上記接続ケーブル64によりコネクタを介して行われるが、それ以外にもストロボ装置の装着部に接続用電極部を配置して、ストロボ発光装置65を筐体5に装着したとき、その電極部が自動的に接続状態となる構造を採用してもよい。
【0357】
上記接続ケーブル64による電気的接続状態、あるいは、ストロボ発光装置65を筐体5に装着したことによる電気的接続状態は、カメラ制御I/F12を介して撮影装置1B側CPU18で認識され、ストロボの識別コードが検知される。そのストロボの識別コードによって現在記憶されている撮影装置のシステム構成が更新される。
【0358】
上記反射傘の後方の一部が開口しており、ストロボ光を後方に導く導光路66を形成している。ストロボが発光した場合、ストロボ光の一部は、上記導光路66を通過してスペクトル検出センサ46の光ファイバー48の先端に設けられている検出部である積分球48cに入射し、スペクトル検出センサ46によりストロボ光のスペクトル成分が検出される。
【0359】
次に、上述した構成を有する本第6の構成の画像処理システムの撮影装置1Bによる撮影処理動作について、図47,図48のフローチャートに沿って説明する。
【0360】
撮影装置1Bによって被写体の分光画像データを取得する場合、まず、撮影装置1Bの電源スイッチを投入する。その電源スイッチ投入により、図47の撮影準備処理ルーチンがCPU18の制御のもとでスタートする。
【0361】
ステップS101においてシステム構成データをCPU18が取り込み、ステップS102においてパラメータ設定(初期化)がなされる。ステップS103においてストロボ発光装置65が撮影装置1Bに装着されているかどうかがチェックされる。ストロボ未装着の場合、そのまま、ステップS106にジャンプするが、ストロボ装着の場合、ステップS104に進む。
【0362】
ステップS104においてストロボ発光回路へ電源供給がなされ、発光チャージ用コンデンサの充電が開始される。ステップS105において充電完了が確認されると、ステップS106に進み、LCDモニタ16に撮影準備完了の表示を行い、ステップS107においてLCDモニタ16をモニタ画面表示状態として待機する。
【0363】
続いて、撮影装置1Bの撮影ボタン14aが撮影者により押圧操作され、撮影開始指示信号が入力されると、図48の撮影処理ルーチンがCPU18の制御のもとでスタートする。
【0364】
ステップS111においてストロボ装着の有無をチェックし、ストロボ非装着の場合は、ステップS116にジャンプし、ストロボ装着の場合は、ステップS112に進む。
【0365】
ステップS112でCDD8の露光が開始される。さらに、ステップS113においてストロボ発光装置65のストロボ発光が開始される。そして、ステップS114においてストロボ発光光の一部が導光部66を通して積分球48cからスペクトル検出センサ46に取り込まれ、ストロボ発光光の分光スペクトルデータが取得される。所要の露光時間が経過した後に、ステップS115において露光を終了し、本撮影処理が終了する。
【0366】
一方、ステップS116にジャンプした場合、ストロボ発光装置65が未装着状態であるのでスペクトル検出センサ46により環境光の分光スペクトルデータが取得される。ステップS117においてLED群6Xが所望の前述した発光モードで点灯され、CCD8の露光が開始される。ステップS118で露光が終了すると、本撮影処理は終了する。
【0367】
なお、撮影装置1Bには、図46には示されていないが前記図38に示すようなスペクトル検出センサ47が内蔵されており、そのスペクトル検出センサ47によってLED群6Xの照明光の分光スペクトルデータも同時に取得される。
【0368】
上記撮影処理が終了した後、撮影装置1Bのメモリ11に取り込まれた撮影画像データおよび照明光分光スペクトルデータは、外部I/F17を介して処理装置2Bに転送され、そこで、上記撮影画像データに対して上記照明光分光スペクトルデータ、さらに、カメラ特性データや被写体特性データを加味して分光画像データが演算により求められる。
【0369】
上述した本第6の構成の画像処理システムによれば、被写体距離が比較的に遠距離であり、LED群6Xの発光光では輝度が不足する場合であってもストロボ発光装置65を撮影装置1Bに装着することによって被写体を撮影することができる。しかも、ストロボ発光毎に取得されるストロボ光の分光スペクトルデータに基づいて分光画像データが演算されるので、ストロボ発光装置65自体の発光スペクトルのばらつきや発光回毎のスペクトルのばらつきが補正された分光画像データに基づいた高精度の色再現が可能になる。
【0370】
[実施形態に係る第7の構成]
次に、本発明の実施形態に係る第7の構成の画像処理システムについて、図49〜図52を参照して説明する。この第7の構成において、上述の第1〜6の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0371】
図49は、本構成の画像処理システムのブロック構成図である。図50(A),図50(B)は、正反射する被写体を各色のLED光で照明したときの状態を示す図であり、図50(A)は、上記結像時の正反射する被写体と各色のLEDとCCDの配置を示し、図50(B)は、CCDに結像する正反射部分のある画像を示す図である。図51は、CCDの結像面上の各色のLEDの照明による正反射部分が存在する被写体像と、上記画像処理システムの撮影装置で上記被写体像から正反射部分を削除処理した被写体像を示す図である。図52は、上記撮影装置における正反射部分削除処理のフローチャートである。
【0372】
本構成の画像処理システムは、図49に示すように正反射の影響のない分光画像を撮影可能である画像撮影部としての撮影装置1Cと、画像メモリを有し、上記撮影装置1Cで撮影された被写体分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置2Cとを有してなる。
【0373】
上記処理装置2Cは、前記第1の構成等の画像処理システムに適用された処理装置2と同様の構成,機能を有しており、パーソナルコンピュータを用いてもよい。
【0374】
上記撮影装置1Cは、図49に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有しているが、特に本撮影装置1Cにおいては、後述するように取得した正反射画像データの処理動作が行われる。なお、撮影装置1Cの各構成要素で上記撮影装置1と同一のものには、同一の符号を付して説明する。
【0375】
上記撮影装置1Cでは、被写体71が正反射するような光沢のある曲面を持つ被写体であった場合でも、その画像データからLED群6Xの各LEDからの照明光による正反射した高輝度部分を削除することで、正反射部分のない画像データを合成処理により求めることができる。以下、その画像処理について説明する。
【0376】
例えば、上述した正反射する被写体71に対して、一例としてそれぞれ異なるリング状の位置に配置されるLED6a1,6a2,6a3,6a4の照明光を照射した場合、上記各LEDから同じ波長の光が発光される。それぞれ被写体71で正反射すると、CCD8の結像面上の異なった位置に色づいた高輝度点が結像される。すなわち、図50(B)の画像Z上、異なった位置にLED6a1,6a2,6a3,6a4に対応する高輝度ポイントPa,Pb,Pc,Pdが生じることになる。
【0377】
撮影装置1Cにおいては、上記正反射による高輝度ポイントPa,Pb,Pc,Pdが正反射部削除処理により除去される。その削除処理について、図51により説明すると、まず、LED6a1の発光光による被写体71の正反射像は、CCD結像面Z1 上で高輝度点Paで示される。同様にLED6a2,6a3,6a4の各発光光による被写体71の正反射像は、CCD結像面Z2 ,Z3 ,Z4 上でそれぞれ高輝度点Pb,Pc,Pdで示される。上記高輝度点Pa,Pb,Pc,Pdの画素データを除いた残りの画像データを加算、または、平均化することによって正反射の高輝度部分のない補正された被写体71の分光画像データ(CCD結像面上Z0 )が得られる。
【0378】
上記正反射部削除処理について、図52のフローチャートを用いて説明する。まず、ステップS131でLED6a1を点灯させ、ステップS132でそのときの画像データを取得する。その後、ステップS133〜S138において順次LED6a2,LED6a3,LED6a4を点灯させて、各LED発光時の各画像データを取得する。ステップS139において上記各取得画像データから高輝度部分を除いた画像データを生成することによって正反射が除去された分光画像データを得る。なお、上述した例は、LED光源が4つの場合を示しているが他の光源数の場合も同様に処理することができる。
【0379】
本第7の構成の画像処理システムにおける撮影装置1Cによれば、被写体71が正反射するような被写体であったとしても取得した画像データに上述した正反射削除処理を施すことによって、正反射部分のない分光画像データを得ることができる。
【0380】
[実施形態に係る第8の構成]
次に、本発明の実施形態に係る第8の構成である画像処理システムについて、図53、図54、および図96を用いて説明する。この第8の構成において、上述の第1〜7の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0381】
なお、図53は、本構成の画像処理システムのブロック構成図であり、図54は、正反射被写体における光の反射状態を示す図である。
【0382】
本構成の画像処理システムは、図53に示すように正反射する被写体の分光画像を撮影可能な画像撮影部としての撮影装置1Dと、上記撮影装置1Dで撮影された被写体の分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置2Dとを有してなる。
【0383】
上記処理装置2Dは、前記第1の構成等の画像処理システムに適用された処理装置2と同様の構成,機能を有しており、パーソナルコンピュータを用いてもよい。
【0384】
上記撮影装置1Dは、図53に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有しており、さらに、正反射光をカットするために照明光源であるLED群6Xの前面に回転可能な反射光除去手段である第1の偏光板75が配置され、CCD8の前面に反射光除去手段である第2の偏光板76が配置されている。
【0385】
なお、上記撮影装置1Dの各構成要素で上記撮影装置1と同一のものには、同一の符号を付して説明する。
【0386】
分光画像データを取得する場合、被写体表面の分光反射率に基づく拡散反射光を検出して分光画像データが求められる。しかし、被写体71の表面が鏡面に近い表面であった場合、図54に示すようにLED6aからの被写体71に向けて発光された照明光は、被写体表面の、例えば、点Qa,Qbにおいて拡散反射光R1 ,R3 (図54中、短い矢印で示す)として反射するが、一部が正反射光R2 ,R4 (図54中、長い矢印で示す)として反射する。この正反射光R2 ,R4 は、照明光の入射角と対称方向に反射し、照明光のスペクトルと略同じスペクトルを有している。そして、この正反射光R2 ,R4 成分は、上記拡散反射光R1 ,R3 成分よりも大きく、物体の分光反射率測定の妨げになる。上記正反射光R4 は、その反射方向がCCD8側に向いていないので影響はないが、他方の正反射光R2 は、撮影光学系7を透過してCCD8に取り込まれ、撮影画像中、点Qaの部分が高輝度点として撮影されてしまう。したがって、被写体71の表面の状態により生じる正反射光成分を取り除かなければ、適正な分光画像データを取得することができない。
【0387】
そこで、本構成の撮影装置1Dにおいては、上述したようにLED群6Xの前面に第1の偏光板75を配置し、CCD8の前面に第2の偏光板76を配置することによって、上記正反射光成分をカットし、CCD8に入射しないようにしている。すなわち、上記第1の偏光板75によってLED群6Xからの照明光を偏光させる。被写体71の表面で拡散反射した光は、その偏光方向が様々になるが、正反射した光は、一方向の偏光状態を維持したまま撮影光学系7に入射する。上記第1の偏光板75は、第2の偏光板76に対して回転調整して配置されており、上記偏光した正反射光は、第2の偏光板76で除去される。そして、拡散反射光のみがCCD8側に入射し、正反射による高輝度部分のない被写体像が撮影される。
【0388】
図96は、偏光板の挿入状態を表示手段に表示する例を示す図である。
【0389】
この例では、第1の偏光板75および第2の偏光板76の両方が、各光路上に挿入されているか否かを確認することができるとともに、これらの偏光板75,76が相対的にどのような回転角度で挿入されているかを確認することができるように、文字を含むマーク261が表示されるようになっている。この例では、偏光板75と偏光板76とが、相対的に90度の角度をもって光路中に挿入されていることが示されている。なお、偏光板75,76の挿入状態の表示は、この図96に示すような例に限るものではない。
【0390】
上述のように本第8の構成の画像処理システムの撮影装置1Dを適用した場合、被写体71が光沢のある表面を有していたとしても撮影画像に正反射光による高輝度部が生じることがなく、適正な分光画像データを取得して、高精度の色再現が可能となる。
【0391】
なお、上記撮影装置1Dにおいては、第2の偏光板76を撮影光学系7とCCD8との間に配置したが、撮影光学7の前面の被写体71側に配置する構成を採用しても同様の効果が得られる。
【0392】
[実施形態に係る第9の構成]
次に、本発明の実施形態に係る第9の構成である画像処理システムについて、図55,図56を用いて説明する。この第9の構成において、上述の第1〜8の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0393】
なお、図55は、本構成の画像処理システムのブロック構成図であり、図56は、上記画像処理システムの撮影装置におけるCCDの前面に配置される第2偏光板の正面図である。
【0394】
本構成の画像処理システムは、図55に示すように正反射する被写体の可視光および近赤外光による分光画像を撮影可能である画像撮影部としての撮影装置1Eと、上記撮影装置1Eで撮影された被写体の分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置2Eとを有してなる。
【0395】
上記処理装置2Eは、前記第1の構成等の画像処理システムに適用された処理装置2と同様の構成,機能を有しており、パーソナルコンピュータを用いてもよい。
【0396】
上記撮影装置1Eは、図55に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、上記撮影装置1Eには、照明光源として可視光光源であるLED群6Xの他に近赤外光光源であるLED6gが撮影光学系7の周囲に配置されている。また、正反射光をカットするために上記LED群6Xの前面部に反射光除去手段である第1の偏光板81と、上記LED6gの前面部に第1の偏光板82が配置されている。また、CCD8の前面部には、反射光除去手段である第2の偏光板83と84が装着された回転可能な偏光板ダイヤル85(図56)が配置されている。
【0397】
なお、上記撮影装置1Eの構成要素で上記撮影装置1と同一のものには同一の符号を付して適宜説明を省略し、以下では、主として異なる処理部分について説明する。
【0398】
この撮影装置1Eにおいては、LED群6Xを点灯させることにより可視光による分光画像データを取得することができ、さらに、LED6gを点灯させることにより近赤外光による分光画像データを取得することができる。
【0399】
そのとき、被写体が光沢のある被写体71であった場合、正反射光が取り込まれて画像データに高輝度部が生じるが、この撮影装置1Eでは、可視光による被写体画像に限らず近赤外光による被写体画像に対しても上記正反射光を除去することが可能であり、いずれの場合にも高輝度部のない適正な分光画像データを取り込むことができる。
【0400】
撮影装置1Eにおいては、上記偏光板ダイヤル85には、可視光用の第2の偏光板83と近赤外光用の第2の偏光板84とが装着されている。
【0401】
撮影装置1Eにより可視光による撮影を行う場合は、偏光板ダイヤル85を例えば矢印D1 方向に手動で回転させて、可視光用第2の偏光板83をCCD8に対向するように切り換える。上記切り換え後、撮影装置筐体外に突出している近赤外用第2の偏光板84を回転操作することにより中央の回転ローラ86を介して上記可視光用第2の偏光板83を回転させて、上記可視光用第1の偏光板81に対する調整を行う。
【0402】
そこで、可視光LED群6Xを所定の発光モードにしたがって点灯させると、第1の偏光板81を透過した光が被写体71で反射され、撮影光学系7に入射する。反射光のうち拡散光成分は、第2の偏光板83を透過するが、正反射光成分は、第2の偏光板83で除去される。したがって、正反射による高輝度部のない可視光による被写体像がCCD8によって撮像信号に変換され、分光画像データとして取り込まれる。
【0403】
一方、近赤外光による撮影を行う場合は、偏光板ダイヤル85を手動で回転させて近赤外光用第2の偏光板84をCCD8に対向させる。そして、撮影装置筐体外に突出している可視光用第2の偏光板83を回転操作することにより中央の回転ローラ86を介して上記近赤外光用第2の偏光板84を回転させ、上記近赤外光用第1の偏光板82に対する調整を行う。
【0404】
そこで、近赤外光LED6gを所定の発光モードにしたがって点灯させると、第1の偏光板82を透過した近赤外光が被写体71で反射され、撮影光学系7に入射する。その近赤外反射光のうち拡散光成分は、第2の偏光板84を透過するが、正反射光成分は、第2の偏光板84で除去される。したがって、正反射による高輝度部のない近赤外光による被写体像がCCD8によって撮像信号に変換され、分光画像データとして取り込まれる。
【0405】
上述した本第9の構成の画像処理システムの撮影装置1Eによると、可視光光源による撮影の他に近赤外光光源による撮影を行うことが可能であり、しかも、正反射する光沢のある被写体に対しても上記双方の光源のいずれでも正反射の影響を抑えた高輝度部のない被写体画像を取り込んで分光画像データを取得することができ、高精度の色再現が可能である。
【0406】
特に上記撮影装置1Eに適用される偏光板は、可視光と近赤外光とにわたる全波長で偏光特性を持つような高価な偏光板を用いる必要がなく、可視光光源に対しては、安価な可視光用第1の偏光板81と第2の偏光板83を適用し、近赤外光光源に対しては、近赤外光用の第1の偏光板82と第2の偏光板84を適用するので、部品コストを抑えることができる。
【0407】
[実施形態に係る第10の構成]
次に、本発明の実施形態に係る第10の構成である画像処理システムについて、図57〜図59を用いて説明する。この第10の構成において、上述の第1〜9の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0408】
なお、図57は、本構成の画像処理システムのブロック構成図であり、図58(A),図58(B)は、上記画像処理システムの撮影装置におけるLED光源によるシェーディング状態の補正前を示す図であり、図59(A),図59(B)は、上記画像処理システムの撮影装置におけるLED光源によるシェーディング状態の補正後を示す図である。
【0409】
本構成の画像処理システムは、画像撮影部としての撮影装置1Fと、上記撮影装置1Fで撮影された被写体の分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置(図示せず)とを有してなる。
【0410】
上記撮影装置1Fは、図57に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、上記撮影装置1Fには、照明光源であるLED群6Xの前面部に照明ムラを軽減する光学部材であるシェーディング補正レンズ88が装着されている。
【0411】
なお、上記撮影装置1Fの構成要素で上記撮影装置1と同一のものには同一の符号を付して説明する。
【0412】
上記撮影装置1Fにおいて、上記シェーディング補正レンズ88が装着されない状態では、例えば、互いに異なる位置に配置されているLED群6Xの中のLED6aとLED6dを別々に点灯させた場合、被写体への照明状態は、図58(A),図58(B)に示すように画面G1 の左上、と、画面G2 の右上のように異なる部分が他の部分より明るく照明される。これを補正しないと画面上の各位置によって観測されるスペクトルの強度分布が異なるために正確な測定ができないという問題が生じる。
【0413】
そこで、撮影装置1Fにおいては、上述したようにLED群6Xの前面部にシェーディング補正レンズ88を装着する。このシェーディング補正レンズ88を装着することによってLED6a、または、6dからの照明光が調整され、図59(A),図59(B)の画面G3 ,G4 に示すようにそれぞれ明るい部分が画面中央に集まるように補正される。この照明光の補正によって光源位置による影響が軽減され、画面内の位置によるスペクトル強度分布の誤差がなくなり、正しい測定がなされる。高精度の分光画像データを取得することが可能になる。
【0414】
なお、上記構成の撮影装置1Fの構成を採用してもまだ照明位置に影響されるシェーディングが残る場合がある。その場合は白紙などを被写体として撮影を行い、得られた画像データを基にしてLED群6Xの各LED毎の画面位置に対するシェーディング補正データを算出する。そして、上記各LED毎に電気的なシェーディング補正を行うようにすれば、さらに正確な補正が可能となる。
【0415】
上述の例では光学的なシェーディング補正と画像処理的なシェーディング補正を併用したが、上記シェーディング補正光学系88を用いることなく、画像処理のみによるシェーディング補正を施しても同程度の補正効果を得ることができる。
【0416】
また、上記シェーディング補正光学系(レンズ)88に代えて拡散板を利用してシェーディング補正を行うことも可能である。
【0417】
[実施形態に係る第11の構成]
次に、本発明の実施形態に係る第11の構成である画像処理システムについて、図60,図61を用いて説明する。この第11の構成において、上述の第1〜10の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0418】
なお、図60は、本構成の画像処理システムのブロック構成図であり、図61は、上記画像処理システムにおける撮影装置のLED光源部の配置図である。
【0419】
本構成の画像処理システムは、画像撮影部としての撮影装置1Gと、撮影室となる暗室91と、上記撮影装置1Gで撮影された被写体の分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置(図示せず)とを有してなる。
【0420】
上記撮影装置1Gは、図60に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、上記撮影装置1Gには、暗室91内の照明光源との接続端子部(接点部)90が配設されている。なお、上記撮影装置1Gの構成要素で上記撮影装置1等と同一の要素には同一の符号を付して説明する。
【0421】
また、上記処理装置も前記第1の構成等の画像処理システムに適用された処理装置2と同様の構成を有しており、パーソナルコンピュータを用いてもよい。
【0422】
上記暗室91は、例えば、患者59が入れるだけのスペ−スを有し、外部から遮光された構造を有する。その内部に外部照明装置としての複数個の照明装置92が配置されている。
【0423】
上記照明装置92には、図61に示すように撮影装置1Gに内蔵されるLED群6Xである第1LED6a〜第6LED6fのそれぞれと同一の発光波長を有するLED96a〜LED96fがそれぞれ複数組、配されている。図中、丸印は、各LEDを示しており、その丸印の同一の模様標識のものは、同一発光波長のLEDを示している。図61に示されるように上記複数組のLED96a〜LED96fは、偏ることなく均等に照明装置92内に分布されており、概ね面発光が可能な状態になる。上記LED96a〜LED96fへの電源は、接続コネクタ93を介して供給される。接続コネクタ93は、撮影装置1Gが暗室91に装着されたとき、撮影装置1G側の接続端子部90と接続状態となる。
【0424】
上述のような構成を有する撮影装置1Gにより撮影を行う場合、まず、撮影装置1Gを暗室91に装着し、照明装置92の各LEDを点灯可能状態にセットする。そして、被写体となる患者59を暗室91内に入れる。
【0425】
そこで、上記照明装置92の各LEDを点灯して患者59の所要部位を撮影し、所望の分光画像データを得るが、そのときの上記照明装置92の各LEDの点灯順は、撮影装置1Gの発光モードに従って点灯される撮影装置1G内蔵のLED群6Xの点灯タイミングで点灯される。
【0426】
上述した本第11の構成の画像処理システムによると、被写体サイズが大きい場合であっても環境光の影響のない状態で正確な色測定が可能であり、高精度の色再現が可能になる。また、暗室91は、撮影装置1のコネクタ部93を有する装着部と照明装置92とを設けるだけの簡単な装置でよく、大形の被写体を撮影することが可能な安価な画像処理システムが得られる。
【0427】
上記撮影装置1Gの撮影光学系7に広角の撮影光学系を適用すれば、撮影範囲が広がり、より大きな被写体、例えば、車体など大型の物品の撮影が可能となる。
【0428】
[実施形態に係る第12の構成]
次に、本発明の実施形態に係る第12の構成である画像処理システムについて、図62のブロック構成図を用いて説明する。この第12の構成において、上述の第1〜11の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0429】
本構成の画像処理システムは、画像撮影部としての撮影装置1Hと、上記撮影装置1Hで撮影された被写体の分光画像信号より高精度色再現画像データを求め、さらに、上記画像データに基づいて被写体の状態を判断するための画像処理部である処理装置2Hとを有してなる。
【0430】
上記撮影装置1Hは、図62に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、撮影装置1Hには、照明光源として可視光光源である複数のLED群6Xの他に中心波長780nm〜900nmの近赤外光光源である複数のLED6hが撮影光学系7の周囲に配置されている。なお、上記撮影装置1Hの構成要素で上記撮影装置1と同一のものには同一の符号を付して説明する。
【0431】
また、上記処理装置2Hは、前記第1の構成等の画像処理システムに適用された処理装置2と同一のものであり、パーソナルコンピュータを用いてもよい。
【0432】
上記撮影装置1Hにおいては、可視光光源であるLED群6Xを所定の発光モードにより点灯した場合、可視光による分光画像データが取得される。また、近赤外光光源であるLED6hを点灯させ、被写体である患者95の体表を照射した場合、近赤外光による分光画像データが得られる。
【0433】
上記近赤外光による撮影時には、上記撮影装置1Hを近赤外光撮影モードにしてLED6hを連続点灯させる。その状態で患者95の体表の30フレーム/秒の画像データを取り込み、表示を行う。その取得された画像は、LCDモニタ16、および、処理装置2Hのディスプレイ22にモノクロ画像として表示される。
【0434】
上記LED6hの中心波長780nm〜900nmの近赤外光は、可視光に比較して体表の深部へ到達するので、皮下の血管95aの状態が撮影できる。例えば、血流観察モードに設定した場合、上記30フレーム/秒の動画データにより皮下の血管95aの血流状態をディスプレイ22上で観察することができる。また、撮影装置のLCDモニタ16上でも血流状態を直接、モノクロ画像で観察可能である。
【0435】
本第12の構成の画像処理システムにおいて、血流状態の判定処理を自動的に行わせることも可能であり、撮影者が撮影装置1Hの操作スイッチ14を押圧操作することによって上記LED6hを所定の時間点灯させ、撮影された近赤外光による動画像データを処理装置2Hに転送する。処理装置2Hにおいて上記動画データを演算処理することにより血流状態が判別される。
【0436】
なお、本第12の構成の画像処理システムにより上記血流状態の判別処理の他に上記血流状態の動画データを演算処理することにより脈拍数、または、心拍数を求めることも可能である。
【0437】
[実施形態に係る第13の構成]
次に、本発明の実施形態に係る第13の構成である画像処理システムについて、図63のブロック構成図を用いて説明する。この第13の構成において、上述の第1〜12の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0438】
本構成の画像処理システムは、画像撮影部としての撮影装置1Jと、上記撮影装置1Jで撮影された被写体の分光画像信号より高精度色再現画像データを求め、さらに、上記画像データに基づいて被写体の表面状態を判断するための画像処理部である処理装置2Jとを有してなる。
【0439】
上記撮影装置1Jは、図63に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、撮影装置1Jには、照明光源として可視光光源である複数のLED群6Xの他に中心波長300nm〜380nmの紫外線光源である複数のLED6jが撮影光学系7の周囲に配置されている。上記撮影装置1Jの構成要素で上記撮影装置1と同一のものには同一の符号を付して、以下、説明する。
【0440】
なお、上記処理装置2Jは、前記第1の構成等の画像処理システムに適用された処理装置2と同一である。
【0441】
上記撮影装置1Jにおいては、可視光光源であるLED群6Xを所定の発光モードにより点灯した場合、可視光による分光画像データが取得される。また、紫外線光源であるLED6jを点灯させ、被写体である被検査部材98の表面98aを照射した場合、紫外線による分光画像データが得られる。
【0442】
上記紫外線による撮影を行う場合、撮影装置1Jを紫外線撮影モードにしてLED6jを点灯させ、その状態で被検査部材98の表面98aの画像データを取り込み、表示を行う。その取得された画像は、LCDモニタ16、および、処理装置2Jのディスプレイ22にモノクロ画像として表示される。
【0443】
上記LED6jの中心波長300nm〜380nmの紫外線は、可視光に比較して被写体表層のより浅いところで散乱反射するので、表面の細かな傷など被写体表面の状態を上記撮影画像により観察できる。
【0444】
なお、上記第12,13の構成に適用する撮影装置1Hと1Jとを組み合わせた変形例の撮影装置を提案することができる。この変形例の撮影装置では、光源として可視光のLED群6Xの他に近赤外光光源であるLED6hおよび紫外線光源であるLED6jが撮影光学系7の周囲に配置される。
【0445】
上記変形例の撮影装置によれば、広範囲の種類の被写体の分光画像データを得ることができるために、患者の血流観察と被検出部材の表面傷検査などとを、同一の撮影装置により行うことが可能となる。
【0446】
ここで図97は、上記第12の構成および第13の構成に適用される、赤外線や紫外線の発光を表示する例を示す図である。
【0447】
選択可能なLED発光モードは、赤外光を発光させる赤外モードと、紫外光を発光させる紫外モードと、を含んでいる。そして、発光が行われているLED発光モードの種類と、該LED発光モードの種類毎の波長情報と、を表示するようになっている。
【0448】
具体的に、この例では、波長900nmの近赤外線が発光中であることを「IR 900」という文字262により表示するとともに、さらに、波長340nmの紫外線が発光中であることを「UV 340」という文字263により表示して、明示するようになっている。もちろん、赤外線や紫外線の発光の表示は、この図97に示す例に限るものではない。
【0449】
[実施形態に係る第14の構成]
次に、本発明の実施形態に係る第14の構成である画像処理システムについて、図64のブロック構成図を用いて説明する。この第14の構成において、上述の第1〜13の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0450】
本構成の画像処理システムは、画像撮影部としての撮影装置1Kと、上記撮影装置1Kで撮影された被写体の分光画像信号より高精度色再現画像データを求めるための画像処理部である処理装置2Kとを有してなる。
【0451】
上記撮影装置1Kは、図64に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有しているが、さらに、撮影装置1Kには、筐体5の投射口5aにおいて支持軸102により回動自在に支持され、キャリブレーション用基準色を配した色票101が配置されている。
【0452】
なお、上記撮影装置1Kの構成要素で上記撮影装置1と同一のものには同一の符号を付して説明する。
【0453】
上記処理装置2Kは、前記第1の構成等の画像処理システムに適用された処理装置2と同一である。
【0454】
本構成の撮影装置1Kでは従来は面倒であった色標の保管管理が不要となり、また、色標の汚れ発生や外光による劣化を防止できるように、上述した色票101を筐体5内に内蔵し、使用しないときには、筐体5の内部に撮影光学系7の投射口5aから退避させて収納させる。この収納状態では、色票101は、LED群6Xの照射光路外に退避されており、被写体103への照射光を阻害することはない。そして、キャリブレーション時にのみ、図64に示すように撮影光学系7の投射口5aまで回動させる。その状態で色票101の画像データをCCD8を介して取り込み、色のキャリブレーションのための分光画像データが取得される。
【0455】
本第14の構成の撮影装置1Kによれば、色票101の保管管理が不要であり、また、手で扱われないために汚れが付きにくく、また、外光に曝されて色が劣化することがなく、常に正確な色のキャリブレーションが可能である。
【0456】
なお、上記構成の撮影装置1Kにおいては、色票101が筐体5に回動可能に支持されていたが、それに代えて筐体5の投射口5aに着脱されるレンズキャップ(図示せず)の内面に色票を貼付した構成を採用することも可能である。この場合、レンズキャップを装着した状態で上記キャリブレーションが行われる。
【0457】
[実施形態に係る第15の構成]
次に、本発明の実施形態に係る第15の構成である画像処理システムについて、図65のシステム構成図を用いて説明する。この第15の構成において、上述の第1〜14の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0458】
本構成の画像処理システムは、画像撮影部としての撮影装置1Lと、上記撮影装置1Lにケーブル112を介して接続される携帯電話器110と、上記携帯電話器110と通信可能な院内処理システム119とを有してなる。
【0459】
上記院内処理システム119は、院内通信装置115と、処理装置116と、データベース117と、モニタ118とを有してなる。
【0460】
上記撮影装置1Kは、図65に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と同様の構成を有している。上記撮影装置1Kの同一の構成要素には、同一の符号を付して説明する。
【0461】
上記携帯電話110は、撮影装置1Lで取得した患者の患部を撮影した分光画像データを公衆通信回線により上記院内処理システム119の院内通信装置115に送信する。なお、携帯電話110には、LCDモニタ111が設けられている。
【0462】
上記院内処理システム119の処理装置116は、院内通信装置115を介して受信した上記患部の分光画像信号より高精度色再現画像データを求めるための画像処理部であって、前記第1の構成等に適用された処理装置2と同様の構成を有する。
【0463】
上述した構成を有する本第15の構成の画像処理システムにおける分光画像データ処理動作について、携帯電話110の処理と、院内処理システム119の処理と、撮影装置1Lの処理とのそれぞれの処理ステップに分けて、以下、説明する。
【0464】
上記携帯電話110の処理ステップから説明すると、まず、上記携帯電話110が撮影装置1Lに接続されると、撮影装置1LのIDを確認する。不正ならば、エラーメッセージを出力する。携帯電話110と撮影装置1Lとが適合すれば、携帯電話110が撮影モードに設定され、携帯電話のモニタ111が撮影装置1Lのモニタとして機能し、携帯電話の操作ボタンが撮影装置1Lの操作スイッチとして機能するように設定される。
【0465】
予め設定済みの院内処理システム119に対して公衆回線を介して接続要求が出力される。院内処理システム119での認証が終了すると接続が確立する。
【0466】
続いて、撮影装置1Lからのモニタ画像が携帯電話110のモニタ111に表示され、撮影準備が完了する。
【0467】
ユーザにより撮影装置1Lの撮影ボタン14aが押圧操作されると、撮影装置1Lからの撮影画像データが出力されるのを待つ。撮影画像データが出力されるとその画像データをモニタ111に表示する。上記画像データを院内処理システム119側に送信し、ユーザの操作待ち状態となる。
【0468】
ユーザの操作により、院内処理システム119の画像データベース検索要求がなされると、院内処理システム119のデータベース117にアクセスし、データベース117の情報が取得され、モニタ118に表示される
さらに、ユーザの操作により、データベース117に対して検索要求が出される。データベースからの検索結果が受信され、モニタ111に表示される。
【0469】
次に、院内処理システム119側における処理ステップを説明すると、まず、携帯電話110からの接続要求を受け、携帯電話のIDを確認する。不正ならエラーメッセージを出力し接続が切断される。さらに、撮影装置1LのIDを確認する。不正ならエラーメッセージが出力され、接続が切断される。
【0470】
続いて、認証情報を要求し、ユーザが入力した認証情報を確認する。不正ならエラーメッセージを出力し接続が切断される。不正でなければ、接続が確立され、携帯電話110からの送信待ちの状態となる。
【0471】
撮影装置1Lによって撮影が行われると、携帯電話110からの画像データを受信する。
【0472】
上記受信した画像データを携帯電話のID、撮影装置のID、使用者の認証情報とともにデータベース117に記録し、携帯電話110からの送信待ちの状態となる。
【0473】
携帯電話110からデータベース117に対する検索要求を受信すると、117に対して検索を行い、検索結果が携帯電話110に送信され、携帯電話110からの送信待ちの状態となる。
【0474】
次に、撮影装置1Lにおける処理ステップについて説明すると、携帯電話110が接続されると、携帯電話110のIDが確認される。
【0475】
撮像装置1Lからの画像データがモニタ画像データとして携帯電話110に送信される撮影可能状態となり、撮影ボタン14aの操作、あるいは、携帯電話110からの撮影要求を待つ。
【0476】
ユーザによる撮影実行操作が行われると、所定のシーケンスで撮影装置1Lの光源部のLED群6Xを点灯し、撮影が実行され、取得された撮影画像データが携帯電話110側に送信される。
【0477】
上述した本第15の構成の画像処理システムの構成により、撮影装置1Lに液晶モニタを配置する必要がなくなり、撮影装置1Lを安価に構成できる。また、院内処理システム119への接続の際にケーブルを使う必要が無いので、撮影時のハンドリングの自由度が高くなる。また、通信回線として公衆回線を用いることができるため、使用できる場所の範囲が広がる。携帯電話110の操作ボタンを使用できるので、名前や症状などのより複雑な文字情報を入力することができる。
【0478】
さらに、携帯電話110のマイクを利用して音声データを画像データとともに入力するようにしてもよい。この場合は、音声による所見などの情報入力が可能となるほか、操作を音声で行うことも可能になり、使い勝手がさらに向上する。
【0479】
なお、上記携帯電話110には、院内で用いられているPHSを適用してもよく、さらには、LANの端末装置、または、PDA装置を利用してもよい。
【0480】
[実施形態に係る第16の構成]
次に、本発明の実施形態に係る第16の構成である画像処理システムについて、図66の上記画像処理システムに適用される画像撮影部の構成を示す図を用いて説明する。この第16の構成において、上述の第1〜15の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0481】
本構成の画像処理システムは、本システムの画像撮像部をユニットとした照明ユニットを着脱式としたもので、図66に示すように画像撮影部としてのLED照明ユニット127が装着可能なカメラ付き携帯電話121と、上記携帯電話器110と通信可能な院内処理システム119と、を有してなる。
【0482】
また、照明ユニットは着脱式であるために、予め複数種類を用意して、適用する用途に応じて、より適切な照明ユニットを使うような使い分けを行うことができる。また、照明ユニットに記憶素子を組み込んで、ID番号、種類、使用時間、初期情報(光源出力、波長、電気的条件(所定光量の発光を行うために必要な電流値、点灯パターン、順方向電圧など)、劣化情報などの各種情報を予め記憶させておき、使用時に記憶素子から読み出して、読み出した情報に基づき最適な画像撮影を行うための条件設定を行うことができる。また、使用の過程で発生する各種情報を、上記記憶素子に記録することも可能となる。そして、装着された照明ユニットの種類を、上記LCDモニタ16等の表示手段をモード表示手段として用いて表示することも可能であり、この場合には、より明確に種類を確認することが可能となる。
【0483】
上記院内処理システム119は、前記図65に示す第15の構成に適用したシステムと同一のものであって、院内通信装置115と、処理装置116と、データベース117と、モニタ118とを有してなる。
【0484】
上記カメラ付き携帯電話121は、LED照明ユニット127が装着された状態では、前記第1の構成の画像処理システムに適用された撮影装置1(図1)の撮影処理部と同様の撮影処理機能を有する。すなわち、上記カメラ付き携帯電話121は、撮影光学系であるカメラレンズ122と、LCDモニタ124と、操作スイッチ123と、アンテナ126と、接続コネクタ部を有し、内部にCCD、A/D変換回路、画像データメモリ、カメラ制御I/F、データ送受信回路、モニタI/F、外部I/F、本携帯電話の制御を司るCPU等が内蔵されている。
【0485】
また、上記カメラ付き携帯電話121の装着可能なLED照明ユニット127は、ユニット固定金具131により上記携帯電話121の本体に固定され、装着状態で携帯電話のカメラレンズ122に対向して位置するクローズアップレンズ128と、このクローズアップレンズ128の外周に沿って配置されるLED群129と、LED群129の外側に設けられる遮光筒132と、携帯電話121のコネクタ部に接続される接続ケーブル125とを有してなる。
【0486】
上記LED群129は、前記第1の構成における撮影装置1に設けられるLED群6Xと同様のそれぞれ異なる分光分布特性を有するLED群であって、異なる波長の青色光源のLED6a,6bと、異なる波長の緑色光源のLED6a,6bと、異なる波長の赤色光源のLED6a,6bと同等の6種類のLEDの複数組のLED群とする。
【0487】
次に、上述した構成を有する本第16の構成の画像処理システムによる撮影動作について説明する。
【0488】
カメラ付き携帯電話121に装着したLED照明ユニット127を被写体である患者の体表に向けた状態で操作スイッチ123を操作し、LED群129を選択された発光モードによる所定の発光順に従って点灯させ、携帯電話121に設けられるCCD(図示せず)によって上記各LED発光時に対応した患者の体表の撮影画像データを取り込む。その画像データは、携帯電話121内のメモリに一旦記憶される。
【0489】
その後、操作スイッチ123を操作してアンテナ126から公衆回線を介して院内処理システム119に分光画像データを送信する。院内処理システム119側では、上記分光画像データに基づいた画像処理を行い、高色再現処理が行われる。
【0490】
なお、携帯電話121と院内処理システム119とのデータの授受は、前記第11の構成の場合と同様である。
【0491】
本第12の構成の画像処理システムによると、専用の撮影装置を必要とせず、従来のカメラ付き携帯電話にLED照明ユニット127を装着するだけで画像処理システムの撮影装置として利用することができ、公衆回線を利用した安価なシステムを提供できる。
【0492】
また、上記携帯電話121に代えて、他のカメラ機能付きの端末装置を適用することも可能であり、端末装置の例としては、例えば、LANの端末装置、PDA装置、などが挙げられる。
【0493】
[実施形態に係る第17の構成]
次に、本発明の実施形態に係る第17の構成である画像処理システムについて、図67および図98を参照して説明する。図67は、上記画像処理システムに適用される撮影装置のブロック構成図である。この第17の構成において、上述の第1〜16の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0494】
本構成の画像処理システムは、画像撮影部としての撮影装置1Mと、上記撮影装置1Mで撮影された被写体の分光画像信号より高精度色再現画像データを求めるための画像処理部としての処理装置(図示せず)とを有してなる。
【0495】
上記撮影装置1Mは、図67に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、撮影装置1Mには、撮影装置1Mと被写体142との離間距離である撮影距離Lを測定する測距手段である測距センサ141が設けられている。なお、上記撮影装置1Mの構成要素のうち、上記撮影装置1と同一のものには同一の符号を付して説明する。
【0496】
上記適用される処理装置は、前記第1の構成等の画像処理システムに適用された処理装置2と同一である。
【0497】
本構成の画像処理システムにおける撮影動作は、次の処理ステップにしたがって行われる。
【0498】
まず、使用者は、患者の身体である被写体142に対して撮影装置1Mをセットし、撮影距離を測距センサ141により測定し、その測定結果を登録する。目標撮影距離からの差分を符号付きでモニタ16に表示させる。使用者は、上記モニタ16の表示を見ながら撮影装置1Mを移動させる。目標撮影距離に一致したらその旨の表示がモニタ16になされ、撮影装置1Mは、撮影可能状態で待機する。使用者が撮影ボタン14aを操作すると、撮影が開始される。
【0499】
本第17の構成の画像処理システムでは、撮影装置1Mの上述した被写体距離測定機能を用いて被写体距離を定めることにより、患者の身体の被写体142の同じ部位を撮影する場合、前回撮影した画像データと比較する際に画像の大きさが同じになり、比較検討が非常に行いやすくなる。
【0500】
次に、本第17の構成の画像処理システムの撮影装置の変形例について以下に説明する。
【0501】
この変形例の撮影装置1Mでは、次のような処理ステップで撮影が行われる。すなわち、使用者が比較したい前回撮影した画像データを指定し、指定された画像データから所望の撮影距離情報が取得され、モニタ16に表示される。
【0502】
使用者が概略の距離を目測で決めて撮影した際の実撮影距離情報を撮影装置1Mで取得し、実撮影距離と所望の撮影距離とから倍率補正係数が算出される。その倍率補正係数から実際に撮影された画像の倍率が補正された状態の同サイズの画像が表示される。
【0503】
この変形例の撮影装置1Mの機能を用いることで、使用者は、被写体142までの距離を概略設定すれば、前回の画像と同じ倍率での画像データを観察することができる。
【0504】
なお、上述した測定モードの表示を行うようにしても良い。図98は、測定モードの表示例を示す図である。この例では、温度検出、聴診、脈拍検出、測距の各測定モードが有効であるか否かを、各アイコン265,266,267,268により表示手段たるLCDモニタ16に表示するものとなっている。もちろん、測定モードの表示は、この図98に示すような例に限るものではない。
【0505】
[実施形態に係る第18の構成]
次に、本発明の実施形態に係る第18の構成である画像処理システムについて、図68の上記システムによる診察状態を示す図を用いて説明する。この第18の構成において、上述の第1〜17の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0506】
本構成の画像処理システムは、画像撮影部としての撮影装置1Nと、デジタイザ付き診察台153と、上記撮影装置1Nで撮影された被写体の分光画像信号より高精度色再現画像データを求めるための画像処理部である処理装置(図示せず)とを有してなる。
【0507】
上記撮影装置1Nは、図68に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、撮影装置1Nには、撮影装置1Nの鏡筒先端部に撮影装置1Nの座標を検出するための被写体部位検出手段である位置検出コイル151が内蔵され、また、撮影装置1Nの姿勢を検出するための重力等を利用した角度検出センサ152が組み込まれている。
【0508】
なお、上記撮影装置1Nの構成要素のうち、上記撮影装置1と同一のものには同一の符号を付して説明する。
【0509】
また、上記処理装置は、前記第1の構成等の画像処理システムに適用された処理装置2と同一である。
【0510】
本構成の撮影装置1Nは、診療所等での診察時に使用されることを想定している。上記テジタイザ付き診察台153には複数箇所から磁場を発生するデジタイザ装置が取り付けられており、上記撮影装置1Nの検出コイル151の位置が検出され、撮影装置1Nの位置が検知できる。さらに、撮影装置1Nの角度検出センサ152により、水平に対する撮影装置1Nの向いている方向を検出することができる。
【0511】
上記撮影装置1Nにより撮影を行う場合、診療を受けようとする被写体の患者154は、上記デジタイザ付き診察台153の上の所定位置に横たわる。この状態で撮影装置1Nにより撮影を行い、その撮影時の患者154と撮影装置1Nの相対的な位置座標、および、その撮影時に撮影装置1Nの向いている撮影装置1Nの傾きが検出される。それらの検出データが画像データとともに記録される。上記検出データより患者のどの部位を撮影したのかが自動的に記録される。したがって、画像データを取得したとき毎の撮影患部位置と撮影方向とを確認することが可能であり、撮影部位のずれや撮影方向の変化を防止することでき、正しい画像取得がなされる。
【0512】
[実施形態に係る第19の構成]
次に、本発明の実施形態に係る第19の構成である画像処理システムについて、図69の上記システムによる撮影状態を示す図を用いて説明する。この第19の構成において、上述の第1〜18の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0513】
本構成の画像処理システムは、画像撮影部としての撮影装置1Pと、上記撮影装置1Pで撮影された被写体の分光画像信号より高精度色再現画像データを求めるための画像処理部である処理装置(図示せず)と、診察椅子161と、を有してなる。
【0514】
上記撮影装置1Pは、前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、上記撮影装置1Pには、被写体に向けて特殊の光パターンを投影する被写体部位検出手段である光パターン投影装置(図示せず)が内蔵されている。ただし、上記光パターン投影装置は、上記撮影装置1Pに内蔵せず、固定配置されていてもよい。
【0515】
なお、上記撮影装置1Pの構成要素で上記撮影装置1と同一のものには、同一の符号を付して説明する。
【0516】
また、上記処理装置は、前記第1の構成等の画像処理システムに適用された処理装置2と同一とする。
【0517】
前記第18の構成では、撮影位置を特定するためにデジタイザを適用したが、本第19の構成では、特殊の光パターンを患者に投影した状態で撮影した画像を参照して分光画像データの撮影部位が特定される。
【0518】
すなわち、本構成の画像処理システムの撮影装置1Pで撮影を行う場合、図69に示すように、診察台161に被写体である患者162を座らせる。そこで、上記撮影装置1Pを患者162の患部162aが撮影可能な位置にセットする。そこで、上記光パターン投影装置により特徴のある光パターンを患者162に投影し、その光パターン投影状態での患部162aまわりをモニタモードで一旦撮影する。撮影装置1Pを動かさないまま、引き続いて分光画像キャプチャモードにおいてLED群6Xの照明光で撮影を行って、分光画像データを取得する。
【0519】
上述のように本構成の画像処理システムによると、上記光パターンの投影画像により分光画像データを取得した撮影部位を確実に特定することができる。
【0520】
なお、上記第19の構成の画像処理システムの撮影装置に対する変形例として、次のような変形例の撮影装置を提案することができる。
【0521】
すなわち、本変形例の撮影装置は、装置本体の先端に体温測定用の温度センサ、脈拍を検出するための脈拍センサ、および、血圧測定時のコロトコフ音、胸部での呼吸音と心音および腹部での腸雑音などを検出するためのマイクロフォン(センサ)を備えており、聴診機能を有する。これらのセンサにより、被写体の分光画像データの他に体温、脈拍、心音等のデータを取得することができる。患者の患部の撮影時における上記体温、脈拍、心音等のデータは、分光画像データと関連付けてメモリに同時に保存される。これにより、日々、上記撮影装置の上記センサで測定された体温、脈拍、心音等の測定データは、公衆回線を介して関係診療機関に送信することが可能になるので、在宅での緻密な健康管理が実現可能となる。
【0522】
なお、上述した各構成の画像処理システムにおいて、画像撮影部である撮影装置と、画像処理部である処理装置とは、分離した状態で設けられていたが、両者を一体化して単一の携帯可能な装置としてまとめて構成することは、勿論可能であり、この場合、撮影しながら同時に画像処理の操作が行えるなど、使用目的によっては、非常に扱いやすい画像処理システムとなる。
【0523】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【図面の簡単な説明】
【0524】
【図1】本発明の実施形態に係る第1の構成における画像処理システムの構成を示すブロック図。
【図2】上記実施形態に係る第1の構成におけるLEDの配置例や構成例を示す図。
【図3】上記実施形態に係る第1の構成における、CCDの分光感度特性およびLEDの発光スペクトルと、これら両方による分光特性と、を示す線図。
【図4】上記実施形態に係る第1の構成の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
【図5】上記実施形態に係る第1の構成の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
【図6】上記実施形態に係る第1の構成の6バンド分光画像取得における各フレームのバンド特性を示す線図。
【図7】上記実施形態に係る第1の構成のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
【図8】上記実施形態に係る第1の構成のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
【図9】上記実施形態に係る第1の構成のモニタ用画像取得における各フレームのバンド特性を示す線図。
【図10】上記実施形態に係る第1の構成における、6原色のLEDが各3つずつ設けられているときの点灯のさせ方の例を示す図。
【図11】上記実施形態に係る第1の構成において、筐体の投射口に対して着脱可能に構成された当て付け部を示す斜視図。
【図12】上記実施形態に係る第1の構成の処理装置におけるディスプレイに表示するための色再現を行う構成を示すブロック図。
【図13】上記実施形態に係る第1の構成において、取得された被写体分光画像に基づき被写体に関する画像判別を行うための構成例を示すブロック図。
【図14】上記実施形態に係る第1の構成の処理装置において入力プロファイルを生成する構成例を示すブロック図。
【図15】上記実施形態に係る第1の構成の撮影装置のLCDモニタにおける表示例を示す図。
【図16】上記実施形態に係る第1の構成の画像処理システムを使用するときの様子の一例を示す図。
【図17】本発明の実施形態に係る第2の構成における画像処理システムの構成を示すブロック図。
【図18】上記実施形態に係る第2の構成において、フルモードと読み出し2倍速モードとにおける読み出しの様子を示すタイミングチャート。
【図19】上記実施形態に係る第2の構成において、2/4ライン2倍速モードと2/8ライン4倍速モードとにおける読み出されるラインの様子を示す図。
【図20】上記実施形態に係る第2の構成において、撮影モードを設定する際の動作を示すフローチャート。
【図21】本発明の実施形態に係る第3の構成における画像処理システムの構成を示すブロック図。
【図22】上記実施形態に係る第3の構成の画像処理システムを使用するときの様子の一例を示す図。
【図23】上記実施形態に係る第3の構成における、LEDの発光スペクトルとカラーフィルタアレイを通したCCDの分光感度特性とを示す線図。
【図24】上記実施形態に係る第3の構成において、6バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
【図25】上記実施形態に係る第3の構成において、モニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
【図26】上記実施形態に係る第3の構成の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
【図27】上記実施形態に係る第3の構成の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
【図28】上記実施形態に係る第3の構成のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
【図29】上記実施形態に係る第3の構成のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
【図30】上記実施形態に係る第3の構成における、8バンドの分光画像を生成するときのLEDの発光スペクトルとカラーフィルタアレイを通したCCDの分光感度特性とを示す線図。
【図31】上記実施形態に係る第3の構成において、8バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
【図32】上記実施形態に係る第3の構成の8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
【図33】上記実施形態に係る第3の構成の8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
【図34】上記実施形態に係る第3の構成において、モニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
【図35】上記実施形態に係る第3の構成のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
【図36】上記実施形態に係る第3の構成のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
【図37】本発明の実施形態に係る第4の構成における画像処理システムの構成を示すブロック図。
【図38】上記実施形態に係る第4の構成において、スペクトル検出センサを複数配設した画像処理システムを使用するときの様子の一例を示す図。
【図39】上記実施形態に係る第4の構成におけるスペクトル検出センサの構成例を示す断面図。
【図40】上記実施形態に係る第4の構成のスペクトル検出センサに接続される光ファイバの入射端の様子を示す断面図。
【図41】上記実施形態に係る第4の構成のスペクトル検出センサに接続される光ファイバの入射端の近傍にセンサ用光学系を配設した構成例を示す断面図。
【図42】上記実施形態に係る第4の構成において、環境光取得用に設けられたスペクトル検出センサに接続される光ファイバの入射端の様子を示す断面図。
【図43】本発明の実施形態に係る第5の構成の歯科用画像処理システムのシステム構成図。
【図44】上記図43の歯科用画像処理システムに適用される撮影装置のブロック構成図。
【図45】本発明の実施形態に係る第6の構成の画像処理システムの構成を示す図。
【図46】上記図45の画像処理システムのブロック構成図。
【図47】上記図45の画像処理システムの撮影装置における撮影処理のうちの撮影待機処理ルーチンのフローチャート。
【図48】上記図45の画像処理システムの撮影装置における撮影処理のうちの撮影ルーチンのフローチャート。
【図49】本発明の実施形態に係る第7の構成の画像処理システムのブロック構成図。
【図50】上記図49の画像処理システムの撮影装置によって正反射被写体を各色のLED光で照明したときの状態を示す図であって、図50(A)は、上記結像時の正反射被写体と各色のLEDとCCDの配置を示し、図50(B)は、正反射部分のある画像を示す図。
【図51】上記図49の画像処理システムの撮影装置によって正反射被写体を各色のLED光で照明したときのCCDに結像する各色のLEDの照明による正反射部分が存在する被写体像と、上記画像処理システムの撮影装置で上記被写体像から正反射部分を削除した被写体像とを示す図。
【図52】上記図49の画像処理システムの撮影装置における正反射部分削除処理のフローチャート。
【図53】本発明の実施形態に係る第8の構成の画像処理システムのブロック構成図。
【図54】上記図53の画像処理システムの撮影装置により、正反射被写体を撮影した場合における上記正反射被写体上での光の反射状態を示す図。
【図55】本発明の実施形態に係る第9の構成の画像処理システムのブロック構成図。
【図56】上記図55の画像処理システムの撮影装置においてCCDの前面に配置される第2偏光板の正面図。
【図57】本発明の実施形態に係る第10の構成の画像処理システムのブロック構成図。
【図58】上記図57の画像処理システムの撮影装置におけるLED光源によるシェーディング状態の補正前を示す図であって、図58(A),図58(B)は、それぞれ異なるLEDのシェーディング状態を示す。
【図59】上記図57の画像処理システムの撮影装置におけるLED光源によるシェーディング状態の補正後を示す図であって、図59(A),図59(B)は、それぞれ異なるLEDのシェーディング補正状態を示す。
【図60】本発明の実施形態に係る第11の構成の画像処理システムのブロック構成図。
【図61】上記図60の画像処理システムにおける撮影装置のLED光源部の配置図。
【図62】本発明の実施形態に係る第12の構成である画像処理システムのブロック構成図。
【図63】本発明の実施形態に係る第13の構成である画像処理システムのブロック構成図。
【図64】本発明の実施形態に係る第14の構成である画像処理システムのブロック構成図。
【図65】本発明の実施形態に係る第15の構成である画像処理システムのシステム構成図。
【図66】本発明の実施形態に係る第16の構成である画像処理システムに適用される画像撮影部のブロック構成図。
【図67】本発明の実施形態に係る第17の構成である画像処理システムのに適用される撮影装置のブロック構成図。
【図68】本発明の実施形態に係る第18の構成である画像処理システムによる診察状態を示す図。
【図69】本発明の実施形態に係る第19の構成である画像処理システムによる診察状態を示す図。
【図70】上記実施形態に係る第1の構成において、手ブレのアラーム表示例を示す図。
【図71】上記実施形態に係る第1の構成において、フットスイッチ接続マークの表示例を示す図。
【図72】上記実施形態に係る第1の構成において、マイク接続マークの表示例を示す図。
【図73】上記実施形態に係る第1の構成において、LAN接続マークの表示例を示す図。
【図74】上記実施形態に係る第1の構成において、データ転送中マークの表示例を示す図。
【図75】上記実施形態に係る第1の構成において、バッテリ残量マークの表示例を示す図。
【図76】上記実施形態に係る第1の構成において、キャプチャモードとモニタモードの第1の表示例を示す図。
【図77】上記実施形態に係る第1の構成において、キャプチャモードとモニタモードの第2の表示例を示す図。
【図78】上記実施形態に係る第1の構成において、キャプチャモードとモニタモードの第3の表示例を示す図。
【図79】上記実施形態に係る第1の構成において、キャプチャモードとモニタモードの第4の表示例を示す図。
【図80】上記実施形態に係る第1の構成において、各種の状態を表示する例を示す図。
【図81】上記実施形態に係る第1の構成において、接写撮影モードの様子を示す図。
【図82】上記実施形態に係る第1の構成において、近傍撮影モードの様子を示す図。
【図83】上記実施形態に係る第1の構成において、顔撮影モードの様子を示す図。
【図84】上記実施形態に係る第1の構成において、キャプチャモードを設定する様子を示す図。
【図85】上記実施形態に係る第1の構成において、位置決めガイドの表示例を示す図。
【図86】上記実施形態に係る第1の構成において、照明光源点灯マークの表示例を示す図。
【図87】上記実施形態に係る第1の構成において、作業ステップを表示している様子を示す図。
【図88】上記実施形態に係る第1の構成において、作業の進捗状況を表示している様子を示す図。
【図89】上記実施形態に係る第4の構成において、漏れ光のアラーム表示の例を示す図。
【図90】上記実施形態に係る第6の構成において、照明ユニットの装着に関する表示の例を示す図。
【図91】上記実施形態に係る第6の構成において、「照明光学系」のみを着脱ユニットとした例を示す図。
【図92】上記実施形態に係る第6の構成において、「光源であるLED」および「照明光学系」を一体として着脱ユニットを構成した例を示す図。
【図93】上記実施形態に係る第6の構成において、「光源であるLED」、「照明光学系」、および「撮影光学系」を一体として着脱ユニットを構成した例を示す図。
【図94】上記実施形態に係る第6の構成において、「光源であるLED」、「照明光学系」、「撮影光学系」、および「撮像素子」を一体として着脱ユニットを構成した例を示す図。
【図95】上記実施形態に係る第6の構成において、上記図94に示したようなユニットの先端側に、さらに別体の当付アダプタを着脱可能に結合することができる例を示す図。
【図96】上記実施形態に係る第8の構成において、偏光板の挿入状態を表示手段に表示する例を示す図。
【図97】上記実施形態に係る第12の構成および第13の構成に適用される、赤外線や紫外線の発光を表示する例を示す図である。
【図98】上記実施形態に係る第17の構成において、測定モードの表示例を示す図。
【図99】上記実施形態に係る第1の構成において、設定状態の表示例を示す図。
【図100】上記実施形態に係る第2の構成において、高速読み出しマークの表示例を示す図。
【符号の説明】
【0525】
1,1A,1B,1C,1D,1E,1F,1G,1H,1J,1K,1L,1M,1N,1P…撮影装置(画像撮影部)
2,2A,2B,2C,2D,2E,2H,2J,2K…処理装置(画像処理部)
3…ネットワーク
4…当て付け部
4A…当付アダプタ
5…筐体
5a…投射口
5b…把持部
6a〜6f…LED(発光素子)
6A…発光部
6B…ファイババンドル
6X…LED群(照明光源)
7…撮影光学系
8,8A…CCD(撮像素子部に含まれる撮像素子)
9…A/D変換器
10…バス
11…メモリ
12,12A…カメラ制御I/F
13…LEDドライバ
14…操作スイッチ(撮影操作部)
14a…撮影ボタン(押下式のボタンスイッチ)
14c…撮影範囲設定レバー(撮影範囲設定手段)
15…モニタI/F
16…LCDモニタ
17…外部I/F
18…CPU(制御部)
19…カラーフィルタアレイ(CFA)(撮像素子部の一部)
20a…バッテリ
20b…電源回路
21…演算装置
22…ディスプレイ
31…画像振り分け部
32…画像メモリ部
33…色再現演算部(演算部)
33a…XYZ推定演算部
33b…入力プロファイル記憶部
33c…ディスプレイ値変換部
33d…ディスプレイプロファイル記憶部
33e…入力プロファイル演算部
34…画像判別演算部(演算部)
34a…判別演算部
34b…判別関数記憶部
41…スペクトル検出センサ
42…プローブ
43…センサI/F
44…被写体特性メモリ
45…カメラ特性メモリ
46…第2のスペクトル検出センサ
47…第1のスペクトル検出センサ
48,49…光ファイバ
75,81,82…第1の偏光板(反射光除去手段)
76,83,84…第2の偏光板(反射光除去手段)
88…シェーディング補正レンズ
92…照明装置(外部照明装置)
101…色標
127…LED照明ユニット(ユニット化された照明光源)
141…測距センサ(測距手段)
151…位置検出コイル
201…表示領域
202,205,206,207,215,218,219,222,224,225,226,227,228,229,236,246,247,261…マーク
211…手ブレアラーム表示
213…フットスイッチ(外部操作部、遠隔指示手段)
216…マイク(外部操作部、遠隔指示手段)
221…データ転送中マーク
231,232…LED
233,234…ランプ
237,238,243,262,263,271,272,273…文字
241…位置決めガイド(ガイド手段)
242…照明光源点灯マーク
244…プログレスバー(進捗状況表示手段)
245…漏れ光アラーム
251A,251B,251C,251D,251E…ユニット
252…照明光学系
265,266,267,268…アイコン
275…高速読み出しマーク
【技術分野】
【0001】
本発明は、被写体の分光スペクトル画像情報を取得し、取得画像から被写体の画像の高精度の色再現や検査、判定等を行うカメラに関する。
【背景技術】
【0002】
近年、健康に対する関心が高まり、さらに、審美の追求からホワイトニングへの要求が高まっている。従来、皮膚科、エスティティックサロン、美容カウンセリングなどでは肌診断用カメラが用いられ診断に供されてきた。特に皮膚科の場合、皮膚表面の診断として、皮溝や皮丘の画像から特徴を捉えカウンセリングが行われている。なお、上記肌診断用カメラに関しては、特開平8−149352号公報や、特開平7−322103号公報等に提案がなされている。
【0003】
一方、歯科治療における歯冠修復に関しては、従来では修復歯の色を決定するに際して、シェードガイドによって患者本人の歯の色と比較することにより色の等級の判定が行われている。
【0004】
上述のように皮膚科、歯科をはじめとした各分野において正確な色再現が求められているが、従来の高精度な色再現システムとして特開2000−152269号公報に開示されたシステムは、外部照明下の被写体をマルチスペクトル下で撮影するカメラを適用するものである。このシステムでは、被写体分光スペクトルの高精度な推定のために多数の回転可能な分光フィルタを用い、その回転によって多バンドのデータを取得し、高色再現を実現可能とするものである。
【0005】
分光画像を取得する技術は、その他にも種々のものが提案されている。
【0006】
例えば、特開平9−172649号公報には、複数の光学バンドパスフィルタを円周上に並べて構成した回転フィルタを用いて、時分割でマルチバンド撮影する装置が記載されている。
【0007】
また、特開2002−296114号公報には、分光波長帯域を多分割するフィルタ(くし形フィルタ)を用いて、簡易にマルチバンド撮影する装置が記載されている。
【0008】
さらに、特開2003−087806号公報には、単板CCDと6バンド以上のカラーフィルタアレイとを組み合わせることにより、同時に多バンドの画像を撮影することが可能なマルチスペクトルカメラの構成が記載されている。
【0009】
そして、特開2003−023643号公報には、ハーフミラーとダイクロイックミラーとを用いて、3板CCDで、6バンドの画像を同時に撮影することが可能なマルチスペクトルカメラの構成が記載されている。
【0010】
上述した皮膚科、歯科、さらに、正確な色再現を求める他の分野として、例えば、自動車の塗装色、建物の塗装色、食料品の分光特性、衣料品の染色などでは色を忠実に色再現して、検査、確認や判別に供することが求められている。また、それらの装置に対しては、検査作業性から小型軽量、さらには、ハンディであることも要求されている。
【特許文献1】特開平8−149352号公報
【特許文献2】特開平7−322103号公報
【特許文献3】特開2000−152269号公報
【特許文献4】特開平9−172649号公報
【特許文献5】特開2002−296114号公報
【特許文献6】特開2003−087806号公報
【特許文献7】特開2003−023643号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながら、上述した上記特開平8−149352号公報や特開平7−322103号公報等の肌診断用カメラの例は、ハンディなものではあるが、再現性、高色再現について十分なものとはいえない。また、上記特開2000−152269号公報に開示された回転フィルタ型を適用する高色再現システムは、固定配置型で重量が重く、さらには、外部照明のため、色再現処理のためには、別途照明センサが必要であった。
【0012】
本発明は上記事情に鑑みてなされたものであり、高精度の色再現や検査、判定が可能であり、操作性に優れたカメラを提供することを目的としている。
【課題を解決するための手段】
【0013】
上記の目的を達成するために、第1の発明によるカメラは、被写体を照明するための照明光源と、被写体像を結像するための撮影光学系と、上記撮影光学系により結像された被写体像を撮像して画像信号を出力するための撮像素子部と、複数の異なる態様で被写体の画像をキャプチャする複数のキャプチャモードから所望のキャプチャモードを選択するための撮影操作部と、を有し、分光画像を取得し得るように構成された画像撮影部、を具備したカメラであって、上記撮影操作部により上記複数のキャプチャモードの内の被写体の分光画像を取得する分光画像取得モード以外のキャプチャモードが選択されているときには、上記照明光源のオン/オフ動作を行い得るように構成されたものである。
【0014】
また、第2の発明によるカメラは、上記第1の発明によるカメラにおいて、上記複数のキャプチャモードに対応するモード関連情報を表示するためのモード表示手段をさらに具備し、上記撮影操作部により複数のキャプチャモードの何れかが選択されると、上記モード表示手段は、選択されたキャプチャモードに対応する上記モード関連情報を表示するように構成されたものである。
【0015】
さらに、第3の発明によるカメラは、上記第1または第2の発明によるカメラにおいて、上記撮影操作部は、被写体の撮影範囲を設定するための撮影範囲設定手段を有して構成されたものであり、上記照明光源のオン/オフ動作は、上記撮影範囲設定手段により設定された撮影範囲と連動して行われるように構成されたものである。
【0016】
第4の発明によるカメラは、上記第1から第3の発明によるカメラにおいて、被写体を照明するためのものであって上記画像撮影部に着脱可能に装着され得る外部光源をさらに具備し、上記照明光源のオン/オフ動作は、上記外部光源の着脱に連動して行われるように構成されたものである。
【発明の効果】
【0017】
本発明のカメラによれば、高精度の色再現や検査、判定が可能であり、操作性に優れたものとなる。
【発明を実施するための最良の形態】
【0018】
以下、図面を参照して本発明の実施の形態を説明する。
【0019】
[実施形態に係る第1の構成]
図1から図16、図70から図88、および図99は本発明の実施形態に係る第1の構成を示したものであり、図1は画像処理システムの構成を示すブロック図である。
【0020】
この画像処理システムは、可視光域において互いに独立して異なる複数の波長帯域の照明光により被写体を照明して被写体分光画像を撮影可能な撮影装置1と、この撮影装置1と接続されていて該撮影装置1から出力される被写体分光画像を処理する処理装置2と、を有して構成されていて、該処理装置2は、必要に応じてネットワーク3に接続することができるように構成されている。
【0021】
上記撮影装置1は、本構成においては、内蔵する光源を分光画像取得に使用するために照明光点灯モードにして、6種類の波長帯域の照明光(6原色の照明光)を被写体に順次照射し、6枚の被写体分光画像を静止画として取り込む撮像と、6原色の照明光から1以上の照明光を各選択してRGBの3色の照明光としこれらを順次に照射することにより面順次式の動画として取り込む撮像と、を行うことができるようになっている。
【0022】
なお、照明光点灯モードはこれに限らず、全色連続点灯するモードや、選択的に順次点灯するモードや、1色連続点灯するモードなど、各種のモードがあり、この画像処理システムをこれらのモードに設定することが可能となっている。
【0023】
上記撮影装置1は、後述する照明光を被写体に投写するとともに被写体からの反射光を入射するための投射口5aを備えた筐体5と、この筐体5の投射口5a側に着脱可能に取り付けられており該投射口5aを介して被写体に投射する照明光に外光が混入することのないように遮光するための柔軟性を有する素材により略筒状に形成された当て付け部4と、上記筐体5内に組み込まれていて点灯されることにより被写体を照明するための照明光を発光する発光素子である第1LED6a〜第6LED6fと、上記筐体5内に組み込まれていてこれら第1LED6a〜第6LED6fにより照明された被写体像を結像するための撮影光学系7と、この撮影光学系7により結像された被写体像を撮像して画像信号を出力する撮像素子部に含まれる撮像素子たるCCD8と、このCCD8から出力されるアナログ信号をデジタル信号に変換するA/D変換器9と、このA/D変換器9から出力され後述するバス10を介して伝送される被写体分光画像を一旦記憶するとともに後述するCPU18による作業領域としても用いられるメモリ11と、使用者が分光画像撮影動作の開始を指示入力したり動画像撮影動作の開始や終了を指示入力したりするための各種の操作スイッチや操作ボタンを含んでなる撮影操作部でありモード選択手段たる操作スイッチ14と、この操作スイッチ14からの指示入力を後述するCPU18に伝達するとともに該CPU18からの指令により上記第1LED6a〜第6LED6fの発光制御に関する命令等を行ったりこの撮影装置1の撮像動作に関する制御を行ったりするカメラ制御I/F12と、このカメラ制御I/F12からの指令に基づき上記第1LED6a〜第6LED6fの発光開始タイミングや発光終了タイミングなどの発光動作に係る制御を行うLEDドライバ13と、上記CCD8により撮像される動画像や上記メモリ11に記憶された被写体分光画像(静止画像)を後述するLCDモニタ16に表示するための制御を行うモニタI/F15と、このモニタI/F15から出力される画像を表示するとともに操作指示や状態表示を行い得るように構成された表示手段でありモード表示手段、設定状態表示手段を兼ねたLCDモニタ16と、上記メモリ11に記憶された被写体分光画像や後述するCPU18からの制御データ等を上記処理装置2に出力しあるいは該処理装置2からの通信データを入力するための外部I/F17と、上記A/D変換器9、メモリ11、カメラ制御I/F12、モニタI/F15、外部I/F17、後述するCPU18等を互いに接続するバス10と、例えば着脱式に構成されたバッテリ20aと、このバッテリ20aから供給される電源を適宜の電圧等に変換して上述したような各回路へ供給する電源回路20bと、上述した各回路を含むこの撮影装置1を統括的に制御する制御部たるCPU18と、を有して構成されている。
【0024】
なお、撮影操作部は、撮影装置1に付随して設けられていて、手の指で押下することにより操作されるのが一般的である。このような操作ではいわゆる手ブレが発生して、鮮明な画像を得られないことがある。従って、より精度の高い画像を得ようとする場合には、この手ブレを極力抑制することが必要となる。
【0025】
この手ブレを抑制する手段の一つとしては、撮影装置1のブレ、または撮影された画像のブレを検出して、ブレが検出された場合に警告を行い、必要な措置を講ずるように促すことが考えられる。すなわち、例えば、手ブレ等を検出するためのブレ検出手段を設けて、このブレ検出手段により、画像処理を行うのに相応しくないブレが生じていると判定された場合には、撮影装置1の表示手段を警告報知手段として用いて、図70に一例を示すような、手ブレアラーム表示211を行うことが考えられる。
【0026】
図70は、手ブレのアラーム表示例を示す図である。
【0027】
上記操作スイッチ14やLCDモニタ16は、例えばこの図70に示すような操作パネル内に配置されたものとなっている。操作スイッチ14は、複数のスイッチ14bと、後述する撮影範囲設定レバー14cと、を含んでいる。この撮影範囲設定レバー14cの上部には、該撮影範囲設定レバー14cの操作に応じて変更される後述するようなキャプチャモードを示すマーク205,206,207が設けられている。
【0028】
また、LCDモニタ16には、被写体の画像を表示する表示領域201が設けられているとともに、その例えば左上に、上記撮影範囲設定レバー14cにより設定されたキャプチャモードがマーク202として表示されている。さらに、上記表示領域201の例えば右上には、後述するような照明光源点灯マーク242が必要に応じて表示されるようになっている。そして、上記表示領域201の例えば中央部に、上記手ブレアラーム表示211が、必要に応じて表示される。
【0029】
これにより、撮影者は、撮影し直したり、あるいは次に述べるようなフットスイッチ213等の外部操作部を用いた手ブレ防止対策をとったりすることができ、ブレのない画像を取得して画像処理を行うことが可能となる。
【0030】
すなわち、手ブレの解決策の一つとしては、撮影装置1以外の場所に配置された遠隔指示手段である外部操作部から、遠隔操作によって撮影の指示操作等を行うことにより、撮影装置1のブレをなくす手段が挙げられる。具体的には、図71に示すように、撮影装置1からケーブル214を介して操作スイッチを引き出し、フットスイッチ213にすることが考えられる。この場合には、撮影装置1の表示手段たるLCDモニタ16に、フットスイッチが接続されていることを示すマーク215などを表示することにより、該フットスイッチ213を利用可能であることを明示するようにすると良い。図71は、フットスイッチ接続マークの表示例を示す図である。これにより、手ブレを生じる心配をすることなく、安心して操作を行うことができる。
【0031】
また、遠隔的な操作入力をフットスイッチ213により行うに限らず、例えば音声入力により行うようにしても構わない。すなわち、図72に示すように、撮影装置1にケーブル217を介して外部操作部であり音声指示手段たるマイク216を接続して、該マイク216から音声を入力するように構成するとともに、さらに、該撮影装置1内に音声認識回路等を設けて、入力された音声を認識して指示された操作を解釈し、該操作を行うようにすることが考えられる。この場合には、撮影装置1の表示手段たるLCDモニタ16に、マイク216が接続されていることを示すマーク218などを表示することにより、該マイク216を利用可能であることを明示するようにすると良い。ここに、図72は、マイク接続マークの表示例を示す図である。
【0032】
さらに、撮影装置1を使用する場所が、高所などの人的悪条件下にある場合などに、遠隔地に配置された遠隔指示手段である外部操作部からネットワーク経由で制御するように切り替えることも可能である。この場合にも、遠隔操作を利用可能であることを明示するために、撮影装置1の表示手段たるLCDモニタ16に、その旨のマーク219などを表示すると良い。このときに表示するマーク等は、図73に例を示すように、ネットワーク経由であることをより具体的に明示するものであるとなお良い。図73は、LAN接続マークの表示例を示す図である。すなわち、この図73に示す例は、ネットワークがいわゆるローカルエリアネットワーク(LAN)であることを示すマーク219となっている。また、このときには、外部操作部に、撮影装置1の動作を確認するための動作確認手段を設けることが望ましい。この動作確認手段としては、モニタ等の表示による確認が考えられるが、これに限らず、ランプの点灯や、音声による確認なども採用することが可能である。さらに、外部操作部に、撮影装置1の撮影データを確認するための撮影データ確認手段を設けると良い。この場合の撮影データ確認手段としては、基本的にモニタ等の表示手段を採用することになる。
【0033】
加えて、この撮影装置1は、表示手段たるLCDモニタ16に表示した情報、つまり、例えばモード表示した情報や状態表示した情報などの、全てまたは一部を、画像データの付加データとして、上記処理装置2やその他の外部機器へ転送することができるように構成されている。
【0034】
上記処理装置2は、例えばパーソナルコンピュータ等でなり、上記外部I/F17から出力される被写体分光画像を受信して、後述するように入力プロファイルを用いてXYZ三刺激値を算出し、さらにこのXYZ三刺激値からディスプレイプロファイルを用いて被写体が与えると推定されるXYZ三刺激値とほぼ同一のXYZ三刺激値を後述するディスプレイ22により得られるような表示用信号を生成する演算装置21と、この演算装置21から出力される表示用信号により高度な色再現がなされた画像を表示するディスプレイ22と、を有し、さらに、特に図示はしないが上記ネットワーク3に接続するためのネットワークインタフェース等も備えて構成されている。
【0035】
なお、データ転送中は、その状態が明確になるように、表示手段たるLCDモニタ16に、例えば図74に示すような、データ転送中マーク221を表示するようになっている。図74は、データ転送中マークの表示例を示す図である。もちろん、データ転送中である旨の表示は、この図74に示すような表示に限るものではない。
【0036】
また、上記撮影装置1と処理装置2とは、有線により接続されていても良いし、例えばBluetoothや無線LANなどの無線により接続されていても構わないし、あるいは一体に構成されていても良い。
【0037】
上記撮影装置1は、図1に示したように、バッテリ20aを備えたものとして構成されている。このバッテリ20aは、該撮影装置1が有線により接続されている場合には電源供給を受けることができるために必ずしも必須ではないが、無線により接続されている場合にはほぼ必須の要件であるといえる(ただし、無線を介して電源供給を行う技術も開発されているために、これが実用化されれば必須である度合いがいくらか緩和される。)。従って、バッテリ20aの現在の電池残量が、フル充電時の電池残量(つまり電池容量)に対して、どの程度になっているかを知ることは重要である。そのために、例えば図75に示すような、バッテリ残量を示すマーク222を表示手段たるLCDモニタ16に表示するようになっている。図75は、バッテリ残量マークの表示例を示す図である。この例においては、電池の絵と文字とにより、バッテリが100%の充電状態であることが示されている。このときにも、バッテリ残量の表示は、この図75に示すような表示に限るものではない。さらに、バッテリ20aに関する情報としては、バッテリ残量に限らず、その他の情報も表示するようにしても構わない。
【0038】
図3は、CCD8の分光感度特性およびLED6a〜6fの発光スペクトルと、これら両方による分光特性と、を示す線図である。
【0039】
発光素子である上記第1LED6a〜第6LED6fは、図3(A)に示すように、それぞれ異なる独立した発光スペクトルを有したものとなっていて、曲線fL1により示される第1LED6aの光は例えばやや紫がかった青、曲線fL2により示される第1LED6bの光は例えばやや緑がかった青、曲線fL3により示される第1LED6cの光は例えばやや青がかった緑、曲線fL4により示される第1LED6dの光は例えばやや黄がかった緑、曲線fL5により示される第1LED6eの光は例えばオレンジ、曲線fL6により示される第1LED6fの光は例えば赤、などとなっている。
【0040】
なお、図示の例では、第1LED6a〜第6LED6fの各発光スペクトルは、互いに重なり合うことなく完全に分離されているが、一部が重なり合うような発光スペクトルであっても構わない。もちろん、LEDの種類も6種類に限るものではなく、適宜の種類数のLEDの組み合わせを採用することができる。
【0041】
ここに、各LEDによる照明光のスペクトル配列は、均等波長間隔(波長方向に均等な間隔で例えばピークが並ぶもの)、均等波長比間隔(波長方向に一定の比率間隔でピーク等が並ぶもの)、特定目的用の特定配列(特定の目的に沿って波長方向に特定の配列でピーク等が並ぶもの)、特定波長色逓倍設定(特定波長を基本波長として逓倍波長位置にピーク等が並ぶもの)、特定偏光色配置(波長方向に沿って並ぶピークで表される各光が特定方向に偏光しているもの)、可視域外光配置(波長方向に沿って並ぶピークで表される光が可視域外の領域にも達しているもの)等の何れであっても採用することが可能であり、使用目的に最も合致するものを選ぶようにすると良い。
【0042】
また、ここでは、発光素子として、軽量、小型、かつ比較的安価で入手容易でありながら高輝度の半導体発光素子であるLEDを用いているが、これに限らず、例えばLD(レーザダイオード)等の半導体レーザーやその他の発光素子を用いることも可能である。
【0043】
一方、上記CCD8は、本構成においては、モノクロタイプのCCDを使用しており、そのセンサ感度は、図3(A)の曲線fS に示すように可視光域をほぼカバーするようなものとなっている。なお、ここでは撮像素子としてモノクロタイプのCCDを用いているが、これに限るものではなく、後述する構成において述べるようにカラータイプのCCDを用いても良いし、CCDに限らずCMOSタイプやその他の各種の撮像素子を広く使用することが可能である。
【0044】
そして、上記第1LED6a〜第6LED6fによって照明された被写体の像をこのCCD8により受光するときの分光感度特性は、例えば図3(B)に示す曲線fSL1 〜fSL6 のようになっている。このようなトータルの分光感度特性の波長による相異は、後段で電気的に処理されたり、あるいは撮影装置1に係る入力プロファイルなどとして補正されたりすることになる。
【0045】
また、図2はLEDの配置例や構成例を示す図である。
【0046】
図2(A)は、6種類の原色で構成される上記第1LED6a〜第6LED6fを、リング状に順次3セット(各色3個ずつ)配置した例を示している。なお、図示の配置順は一例を示したのみであり、これに限らず、逆順やランダム配置などの任意の配列を広く適用することが可能である。
【0047】
次に、図2(B)は、リング状に発光部6Aを複数配置していて、かつ、各発光部6A内に6種類の原色を包含するように上記第1LED6a〜第6LED6fを配置した例を示している。なお、図示の例では、1つの発光部6A内に6原色の全てを配置しているが、これに限らず、3原色ずつを配置するなどの6原色が複数の発光部6Aに分かれるようにしても構わない。
【0048】
さらに、図2(C)は、上記第1LED6a〜第6LED6fのそれぞれにファイババンドル6Bの一端側6Ba〜6Bfを接続し、他端側6Bgをリング状に形成したものである。これにより、LED6a〜6fから発光された照明光は、バンドルファイバ端6Ba〜6Bfに入射する。バンドルファイバ端は複数のさらに細いファイバから構成されており、バンドルファイバの射出部6Bgでは各LEDからのこれら細いファイバは互いに混ぜ合わされてリング状の均一な光源として被写体に照射され、被写体による全反射の影響を低減することができる。
【0049】
なお、LEDの配置は、図2に示したような例に限らず、CCD8による撮像に支障を来すことのない限りは、リング状配置、十字状配置、矩形状配置、ランダム配置、左右(または、上下、または、対向)配置、平行配置、多箇所配置などの適宜の配置を採用することが可能である。
【0050】
次に、この撮影装置1では、2種類の画像取得モードがあることについて説明する。
【0051】
この撮影装置1において取り得る画像取得モードは、モニタモードと、キャプチャモードと、である。
【0052】
上記モニタモードは、被写体に対する撮影範囲を決定する等を行うために、LCDモニタ16などの表示手段に画像を表示するものである。
【0053】
また、上記キャプチャモードは、必要となる被写体の画像データを取得するモードである。このキャプチャモードでは、分光画像を取得することができる(分光画像キャプチャモード)他、動画像、通常のRGB画像(RGBキャプチャモード)、コマ撮影画像、などを取得することもできるようになっている。
【0054】
上述したように、この撮影装置1は、通常のRGB画像としての動画と、高度な色再現を可能とする6原色の被写体分光画像としての静止画と、を撮像することができるようになっており、動画はモニタ用として画像を取得するモニタモードにおいて、静止画は画像データを取り込むキャプチャモードの内の分光画像キャプチャモードにおいて、それぞれ撮像されるようになっている。
【0055】
これら2つのモード、すなわち、モニタモードとキャプチャモードとは、上記操作スイッチ14に含まれている押下式のボタンスイッチでなる撮影ボタン14a(図16参照)を押すことにより切り替えられるように構成されている。
【0056】
すなわち、まず、電源スイッチをオンにするなどによりモニタモードが自動的に設定され、被写体像が動画としてLCDモニタ16上に表示される。この状態で、分光画像を撮影したい被写体部分を探して、撮影装置1の位置決めを行う。こうして、撮影したい被写体部分が撮像範囲内に入って位置決めがなされたところで、上記撮影ボタン14a(図16参照)を押すことにより、分光画像キャプチャモードに切り替って被写体分光画像が静止画として取得される。
【0057】
被写体分光画像が取得された後は、再びモニタモードに復帰して、次に分光画像を取得したい被写体部分を探すことができるような構成となっている。
【0058】
また、各モードの状態は、図76に示すように、表示手段たるLCDモニタ16上に表示されるようになっている。図76は、キャプチャモードとモニタモードの第1の表示例を示す図である。すなわち、モニタモードにおいては、図76(B)に示すようないわゆるムービーカメラのマーク225がLCDモニタ16上に表示され、また、分光画像キャプチャモードにおいては図76(A)に示すようないわゆるスチルカメラのマーク224がLCDモニタ16上に表示されるようになっている。
【0059】
なお、このような表示を行うためのLCDモニタ16は、カラーであることが望ましいが、モノクロであっても構わない。
【0060】
また、表示手段としては、LCDに限るものではなく、図示はしないが、例えばLEDパネルやELパネルなどの、画像に係る情報を表示することができるものであるならば、広く適用することが可能である。
【0061】
これに限らず、さらに、その他の表示を行うようにすることも可能である。
【0062】
まず、図77は、キャプチャモードとモニタモードの第2の表示例を示す図である。この図77に示す例は、キャプチャモードを示すマーク226として上記スチルカメラの絵が、また、モニタモードを示すマーク227として上記ムービーカメラの絵が、それぞれ点灯/消灯可能に表示される例である。図77(A)はキャプチャモードとなっているときの表示例を、図77(B)はモニタモードとなっているときの表示例を、それぞれ示している。
【0063】
次に、図78は、キャプチャモードとモニタモードの第3の表示例を示す図である。この図78に示す例は、キャプチャモードを示すマーク228として上記スチルカメラの絵が、また、モニタモードを示すマーク229として上記ムービーカメラの絵が、それぞれ表示されていて、これらの各マーク228,229の下に何れのモードが選択されているかを示すLED231,232が点灯/消灯可能に配置された例となっている。図78(A)はキャプチャモードとなっているときの表示例を、図78(B)はモニタモードとなっているときの表示例を、それぞれ示している。
【0064】
さらに、図79は、キャプチャモードとモニタモードの第4の表示例を示す図である。この図79は、異なる色のランプを配置して、点灯しているランプの色により、モードを表示するタイプのものとなっている。図79(A)は、例えば黄色のランプ233を点灯させることにより、キャプチャモードとなっていることを示している。また、図79(B)は、例えばオレンジ色のランプ234を点灯させることにより、モニタモードになっていることを示している。
【0065】
加えて、表示をマークにより行うに限らず、例えば、「モニタ」,「キャプチャ」等の文字を表示させることにより行うようにしても構わない。
【0066】
なお、表示手段たるLCDモニタ16に表示される項目として、上述したようなモードの他に、図80に一例を示すように、メモリ残量をマーク236として、撮影可能残り枚数を文字237として、残り使用時間を文字238として、それぞれ表示することも可能である。ここに、図80は、各種の状態を表示する例を示す図である。なお、これらの表示もこの図80に示す例に限るものではないことは同様である。
【0067】
そして、図示はしないが、別途の設定を行うことにより、取得した分光画像を用いた色再現表示や分光画像を解析した結果の表示などを、分光画像の取得直後に該LCDモニタ16、あるいは上記ディスプレイ22に行うことも可能となっている。
【0068】
次に、図4から図6を参照して、画像処理システムにおける分光画像キャプチャモードの動作について説明する。図4は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図5は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート、図6は6バンド分光画像取得における各フレームのバンド特性を示す線図である。
【0069】
撮影ボタン14a(図16参照)が押されることによりモニタモードから分光画像キャプチャモードに切り替わると、分光画像の撮像を開始するか否かを判断する(ステップS1)。撮影ボタン14aの押圧により直ちに分光画像の撮像が開始される場合にはこの判断動作を行わなくても構わないが、撮影ボタン14aが例えば2段式の押圧ボタンで構成されていて、1段目の半押し状態で焦点調節や露光量調節等を行い、2段目の全押し状態で露光を開始する場合には、このステップS1において2段目が押圧されたか否かを判断する。
【0070】
次に、変数nに1を設定して(ステップS2)、第nLEDを点灯させる(ステップS3)。ここではn=1に設定されているために、第1LED6aを点灯させることになる。第1LED6aによる照明光は、筐体5の投射口5aを介して被写体に照射される。このときに、当て付け部4が被写体の表面に柔軟に当て付いて外光の侵入を防いでいるために、被写体には第1LED6aからの照明光のみが投射されることになる。被写体からの反射光は、撮影光学系7によりCCD8の表面に結像される。
【0071】
この第1LED6aの点灯が開始された後に、CCD8による撮像、より詳しくは電荷の蓄積、を開始する(図5参照)(ステップS4)。
【0072】
CCD8による撮像が終了したら、その後に第1LED6aを消灯し(ステップS5)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第nメモリ:ここでは第1メモリ)に記憶させる(ステップS6)。6バンド分光画像を撮像する場合には、メモリ11内に第1メモリから第6メモリまでの記憶領域が設けられており、これらの記憶領域に各分光画像が順次格納されるようになっている。
【0073】
その後、nをインクリメントする(ステップS7)。ここではnが1から2にインクリメントされることになる。
【0074】
nが7以上になったか否かを判断して(ステップS8)、ここではまだ2であるために上記ステップS3に戻り、第2LED6bを点灯して上述したようなステップS3からステップS7までの動作を行う。
【0075】
このようにして、n=6のときに第6LED6fを点灯してステップS6までの動作を終了すると、図6に示すようなバンド特性の6バンド分光画像が取得され、メモリ11に保存されたことになる。そして、ステップS7でn=7にインクリメントされるために、ステップS8の判断においてnが7に達したとして、この6バンド分光画像取得の動作を終了する。
【0076】
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
【0077】
次に、図7から図9を参照して、画像処理システムにおけるモニタモードの動作について説明する。図7はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図8はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート、図9はモニタ用画像取得における各フレームのバンド特性を示す線図である。
【0078】
このモニタモードは、第1LED6a〜第6LED6fによる6原色の照明光から、青(B)の範疇に相当する第1LED6aおよび第2LED6bを発光させる状態と、緑(G)の範疇に相当する第3LED6cおよび第4LED6dを発光させる状態と、赤(R)の範疇に相当する第5LED6eおよび第6LED6fを発光させる状態と、を順次取らせることにより、RGB画像を面順次式で動画像として取得するモードとなっている。
【0079】
なお、ここでは、一般のRGB画像用を想定して発光原色を選定しているが、これに限らず、特殊な用途等に応じた他の発光原色の選定も行うことが可能である。
【0080】
電源スイッチがオンされることによりモニタモードが設定されるか、あるいは分光画像キャプチャモードが終了することによりモニタモードに復帰すると、モニタ用画像の撮像を開始するのを待機する(ステップS11)。
【0081】
ここでは直ちに撮像が開始され、変数nに1を設定して(ステップS12)、第nLEDおよび第n+1LEDを点灯させる(ステップS13)。ここではn=1に設定されているために、第1LED6aおよび第2LED6bを点灯させることになる。
【0082】
これら第1LED6aおよび第2LED6bの点灯が開始された後に、CCD8による撮像を開始する(図8参照)(ステップS14)。
【0083】
CCD8による撮像が終了したら、その後に第1LED6aおよび第2LED6bを消灯し(ステップS15)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第nメモリ:ここでは第1メモリ)に記憶させる(ステップS16)。
【0084】
その後、nを2だけ増加させる(ステップS17)。ここではnが1から3に増加されることになる。
【0085】
nが7以上になったか否かを判断して(ステップS18)、ここではまだ3であるために上記ステップS13に戻り、第3LED6cおよび第4LED6dを点灯して、上述したようなステップS13からステップS17までの動作を行う。
【0086】
これによりn=5となって、さらに上記ステップS13に戻って第5LED6eおよび第6LED6fを点灯してステップS16までの動作を終了すると、図9に示すようなバンド特性のRGB画像がB,G,Rの順に取得され、メモリ11の第1メモリ、第3メモリ、第5メモリに各保存されたことになる。そして、ステップS17でn=7にインクリメントされるために、ステップS18の判断においてnが7に達したと判断される。
【0087】
こうして、RGB画像を取得した後に、上記ステップS11に戻って、次のRGB画像を取得するかを判断する。モニタモードが引き続いて設定されている場合には、次のRGB画像の取得を行い、これを連続的に繰り返すことで、RGB動画像を得ることができる。
【0088】
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
【0089】
このようにしてメモリ11に記憶された画像データは、その後に読み出されてモニタ表示用の画像信号に変換され、モニタI/F15を介してLCDモニタ16に出力されて表示される。また、この画像処理システムの設定を変更することにより、処理装置2のディスプレイ22に表示することも可能となっている。
【0090】
なお、ここでは照度を確保するために、6原色のLEDを2つずつに分けて3つの素子群、つまりR素子群、G素子群、B素子群でなるグループを構成したが、これに限らず、例えば、B(青)については第1LED6aを、G(緑)については第3LED6cを、R(赤)については第5LED6eをそれぞれ発光させる、各1色の発光を行うようしても良い。このときには、これらのLEDの分光特性が、RGB発光に適するようなものを選定するようにすると良い。
【0091】
さらに、単一あるいは複数の特定の原色のLEDのみを点灯して、モノクロモニタ画像を取得することにより、モニタ表示を高速に行うことも可能である。
【0092】
図10は、6原色のLEDが各3つずつ設けられているときの点灯のさせ方の例を示す図である。
【0093】
発光モード(LED発光モード)としては、全てのLEDを点灯する場合、1つの原色の1つのLEDのみを単一点灯する場合、1つの原色について3つのLEDを点灯させる単一原色点灯の場合、6原色のLEDを各1個ずつ点灯させる場合、18個でなる6原色のLEDの内の例えば青(B)に属する6個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば緑(G)に属する6個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば赤(R)に属する6個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば青(B)に属する3個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば緑(G)に属する3個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば赤(R)に属する3個のLEDを点灯させる場合、などが例として挙げられる。こうして、色毎にまとめた素子群を同時に発光させたり、位置毎にまとめた素子群を同時に発光させたりすることができるようになっている。
【0094】
なお、本構成の撮影装置1は、被写体を撮像するときに、接触で行うことも非接触で行うことも何れも可能であるが、画像を正確に色再現するためには、この撮影装置1以外から発生する光の影響を受けることのないようにする必要がある。
【0095】
従って、非接触で被写体を撮像する場合には、外光照明を消灯する必要がある。
【0096】
ここで、被写体を撮影する場合の撮影エリアは、応用分野によって様々となっているが、一般的な観点からキャプチャモードの撮影エリアを区分すると、被写体の全体を撮影する全体キャプチャモードと、着目点を撮影する部分キャプチャモードと、に大別されると考えられる。
【0097】
応用分野の一つとして歯科を例にとると、この歯科の分野で求められる画像の例としては、歯1〜3本の画像、全顎画像、顔貌画像の3種が挙げられる。このような画像が必要となるのは、治療内容および治療効果を確認するためや、あるいは患者に対するインフォームドコンセントに有効に活用するためである。従って、この撮影装置1においては、これらの画像に対応するキャプチャモードを設定することができるように構成されている。すなわち、撮影装置1において設定可能なキャプチャモードは、次の(1)〜(4)に示すようなものとなっている。
【0098】
(1)歯1〜3本の画像モード(部分キャプチャモード)
このモードは、図81に例を示すように、患部の状況や治療前後の状況を観察するために歯の拡大撮影を行うモード(接写撮影モード)となっている。図81は、接写撮影モードの様子を示す図である。ここでは、色による評価も重要であるために、高度に色再現を行うべく、上述したような方法によって画像を取得して、色再現を行うモードである。このときには、図81(A)に示すように、撮影者は被写体に最も近接して撮影を行い、その結果が処理装置2のディスプレイ22に表示されるとともに、LCDモニタ16にも図81(B)に示すように表示されている。
【0099】
(2)全顎画像モード(全体キャプチャモード)
このモードは、図82に例を示すように、治療する歯とそれ以外の歯とのバランスを確認するために全顎撮影を行うモード(近傍撮影モード)となっている。図82は、近傍撮影モードの様子を示す図である。このモードでは、照明系はオフとなるように構成されている。この場合は、必ずしも高色再現である必要はないが、必要に応じて、例えば図60に示したような高色再現用の光源ユニットを接続して撮影することも可能である。このときには、図82(A)に示すように、撮影者は被写体にやや近接して撮影を行い、その結果が処理装置2のディスプレイ22に表示されるとともに、LCDモニタ16にも図82(B)に示すように表示されている。
【0100】
(3)顔貌画像モード(全体キャプチャモード)
このモードは、図83に例を示すように、顔全体としてのバランスを観察するために顔貌撮影を行うモード(顔撮影モード)となっている。図83は、顔撮影モードの様子を示す図である。このモードでは、照明系はオフとなるように構成されている。このときには、図83(A)に示すように、撮影者は被写体を適宜の距離から撮影し、その結果が処理装置2のディスプレイ22に表示されるとともに、LCDモニタ16にも図83(B)に示すように表示されている。
【0101】
(4)全身画像モード(全体キャプチャモード)
このモードは、図示はしないが、全身としてのバランスを観察するために全身撮影を行うモードとなっている。このときには、撮影者は被写体からやや離れて撮影を行い、その結果が処理装置2のディスプレイ22に表示されるとともに、LCDモニタ16にも表示される。
【0102】
上述したような各モードの内の、上記部分キャプチャモード(つまり(1)のモード)により得られる画像は分光画像であり、上記全体キャプチャモード(つまり(2)〜(4)のモード)により得られる画像は通常撮影画像である。この通常撮影画像を取得する際の照明光としては、一般の室内光などを用いることが可能であるために、照明光源を非点灯としても構わない。すなわち、この例では、部分キャプチャモードのときにのみ照明光源を点灯(オン)し、全体キャプチャモードのときには照明光源を消灯(オフ)するようになっている。
【0103】
なお、上記(1)〜(4)までの全てのモードに設定可能である必要はなく、2つ以上のモードに設定することができれば良い。
【0104】
次に、上述したような(1)〜(4)までの内の、(1)〜(3)の3モードを設定するための構成やその動作について説明する(すなわち、ここでは(1)〜(3)の3モードを設定し得る構成を例に説明する)。
【0105】
図84は、キャプチャモードを設定する様子を示す図である。
【0106】
この図84に示す例では、複数のキャプチャモードから1つのキャプチャモードを設定するための手段として、撮影範囲設定手段たる上記撮影範囲設定レバー14cが設けられている。
【0107】
この撮影範囲設定レバー14cは、例えば、手動で横方向にスライドさせるレバー操作により、設定を行うように構成されたものとなっている。そして、この撮影範囲設定レバー14cは、撮影光学系7のフォーカスレンズを調整するためのフォーカス調整レバーに直結しているか、または該フォーカス調整レバーに連動するように構成されている。
【0108】
なお、この撮影範囲設定レバー14cは、手動で操作する際に、ノッチ機構等により所定の位置に位置決めされるように構成しても良い。また、この撮影範囲設定レバー14cを、フォーカス調整レバーを介することなく、フォーカスレンズに直結させるかあるいはフォーカスレンズと連動させるように構成しても良い。
【0109】
さらに、フォーカス調整やズーム動作などを、マニュアルにより行う(マニュアル設定手段)ようにしても良いし、自動的に行う(自動設定手段)ようにしても構わない。
【0110】
自動的に操作を行う例としては、遠隔医療などで代表されるような遠隔からの調整/操作が挙げられ、このときには、ある一定の手順が想定される用途において、手順の進捗に応じて測定エリアを自動的に変更したり、あるいは焦点位置が所定位置になるようにフォーカス調整を自動的に行ったり、さらには自動焦点調整機構によりフォーカス位置を自動的に検出してその位置に焦点位置を移動させたり、などを行うことが考えられる。
【0111】
上記撮影範囲設定レバー14cの例えば上側には、対応するキャプチャモードを示すマーク205,206,207が付されており、ここでは上記(1)の歯1〜3本の画像モードに対応するマーク205が左側に、上記(2)の全顎画像モードに対応するマーク206が中央に、上記(3)の顔貌画像モードに対応するマーク207が右側に、それぞれ表示されている。なお、ここでは設定の目印としてマークを表示するようにしたが、これに限らず、例えば文字を表示するようにしても構わない。
【0112】
さらに、この撮影範囲設定レバー14cにより設定されたキャプチャモードは、表示領域201の例えば左上に、マーク202として表示されるようになっている。この例では、マーク202として、上記マーク205,206,207の何れか該当するものと同一のデザインのマークを表示するようになっている。
【0113】
また、歯科においては、治療前後の比較を行うことが重要である。このためには、例えば治療前に撮影を行い、さらに治療後に撮影を行う必要があるが、このときには撮影の度に、撮影対象となる治療部位の撮影される大きさや位置が変わってしまうことがある。従って、そのままでは、画像同士を比較するのにやや困難を伴い、有効な評価を行ったり、治療効果を確認したりするときの信頼性が低下してしまう。こうしたことのないように、撮影を行う毎に、正確に位置決めすることが重要となる。本構成では、図85に示すように、撮影範囲表示手段たるモニタ(LCDモニタ16など)にガイド表示手段たる位置決めガイド241を表示して、ポジショニングを行う際の補助となるようにしている。図85は、位置決めガイドの表示例を示す図である。なお、この図85に示す例では、ガイド手段たる位置決めガイド241を矩形にしているが、これに限らず、例えば全顎の形状線などをガイド手段とするようにしても構わないし、文字またはマークを用いて撮影範囲の位置を明確に表示するような手段も広く適用することが可能である。さらに進んだケースとして、モニタ画像を比較対象となる前回の画像と比較する画像処理等を行うことにより、位置決め判断を行って、その判断結果に基づいて、「左」、「右」、「上」、「下」、「前」、「後」などの指示を撮影者に対して行うように構成しても良い。
【0114】
加えて、図示はしないが、オートフォーカス手段たるAF(オートフォーカス)機構により測距を行った距離情報を、画像の付加データとして記録しておき、前回の画像の付加データから被写体までの距離情報を取得して、現在撮影しようとしている被写体までの距離が前回の距離と等しくなるように撮影者に対して指示するようにしても構わない。
【0115】
さらに、上記AF機構から取得された距離情報に基づいて、上記(1)〜(4)の何れのモードで撮影するかの自動的な設定、つまり撮影範囲の自動的な設定を行うようにしても良い。
【0116】
ここでは歯科の分野を例にとって、3種類の撮影範囲に対応するキャプチャモードを説明したが、これに限らず、他の分野においても、同様に複数の撮影範囲に対応するキャプチャモードを設定することが可能である。このときの撮影範囲は、もちろん、分野に応じて、上記歯科の分野とは異なる種類の撮影範囲となると考えられる。このような異なる種類の撮影範囲に対しても、上述したのと同様の機構や動作を適用することができる。
【0117】
上述したように、本システムにおける照明光源は、モードに連動して点灯/非点灯の状態を取るように構成されている。この照明光源の点灯/非点灯の状態は、図86に示すように、表示手段たるLCDモニタ16に上記照明光源点灯マーク242として表示されるようになっていて、この表示を見ることにより確認することが可能となっている。図86は、照明光源点灯マークの表示例を示す図である。なお、上述と同様に、照明光源の点灯/非点灯の状態は、LCDモニタ16により表示するに限るものではなく、その他の手段を用いることも可能である。
【0118】
また、内蔵する照明光源は、外部光源を接続したときには、一般的に、非点灯となるように構成されている(すなわち、外部光源の着脱に連動している。)。ただし、被写体の状況などに応じて、必要である場合には、外部光源に代えて、または外部光源とともに、内蔵する照明光源を点灯するようにしても構わない。
【0119】
そして、上記画像撮影部により行われる撮影動作が、分光画像を取得しない撮影動作であるときには、上記照明光源のオン/オフ動作を所望に切り替えることができるように構成されている。
【0120】
また、塗装面、皮膚面、近接画像などの接触で撮影を行うことができる被写体の場合には、上述したように、略円筒状に形成された当て付け部4を被写体に柔軟に当て付けることができるために(図1参照)、遮光性を確保することが可能となる。なお、当て付け部4の形状は、遮光性確保のため各種アプリケーションや各被写体によって異なっても良い。
【0121】
当て付け部4は、接触式である場合に用いるものであるために、例えば、被写体が塗装板などである場合には汚れが転写するのを防止する観点などから、図11に示すように、着脱可能でディスポーザブルな部材となっている。図11は、筐体5の投射口5aに対して着脱可能に構成された当て付け部4を示す斜視図である。
【0122】
この当て付け部4は、被写体が高温または低温のものである場合に向けて断熱素材により形成したり、被写体が静電気を帯びる性質のものであったり導電性を有する電気関連のものであったりする場合に向けて絶縁性素材により形成したり、被写体が溶液が浸漬しているものである場合に向けて防溶液性の素材により形成しかつ照明光を投影し反射光を受光するためのガラス窓などを形成したりすることが可能である。当て付け部4は着脱可能な単体の部品であるために、このような各種の素材で種々の形状に形成するのを容易に行うことができる。さらに、被写体の表面を肉眼で観察するために、当て付け部4に開閉可能な観察用窓等を設けることも容易に可能である。
【0123】
なお、本構成において、LEDにより発光される複数の原色の内の、特定の一または複数の原色を用いることによって、特定用途の検査や判別に利用することも可能である。
【0124】
続いて、処理装置2における色再現について説明する。
【0125】
上述したような撮影装置1における撮像動作によりメモリ11内に記録された被写体分光画像は、外部I/F17を介して処理装置2に送信され、該処理装置2に内蔵される画像メモリ部32(図12参照)に記録されて、所定のソフトウェアによって動作する演算装置21により、色再現や画像処理が行われるようになっている。その処理結果は、該処理装置2のディスプレイ22に表示されるか、あるいは上記LCDモニタ16に転送されて表示される。
【0126】
図12は、処理装置2におけるディスプレイ22に表示するための色再現を行う構成を示すブロック図である。
【0127】
この処理装置2は、撮影装置1から入力される被写体分光画像が上記第1LED6a〜第6LED6fの何れにより照明されたものであるかに応じて画像メモリ部32内の記憶領域を振り分ける画像振り分け部31と、この画像振り分け部31により振り分けられた被写体分光画像をそれぞれ記憶する記憶領域である第1メモリ32a〜第6メモリ32fを備えた画像メモリ部32と、この画像メモリ部32に記憶された被写体分光画像を読み出してディスプレイ22において高度に色再現された画像を表示するためのディスプレイ画像データを算出し出力する色再現演算部33と、を有し、これらは例えば図1に示した演算装置21に含まれていて、さらに、上記色再現演算部33から出力されるディスプレイ画像データに基づき高度に色再現された画像を表示する上記ディスプレイ22を有して構成されている。
【0128】
上記色再現演算部33は、撮影装置1に関するプロファイルを記憶する入力プロファイル記憶部33bと、上記画像メモリ部32の第1メモリ32a〜第6メモリ32fに記憶された被写体分光画像を読み出して上記入力プロファイル記憶部33bに記憶されている入力プロファイルと内部に設定された所定の等色関数とを用いて推定演算を行うことによりXYZ三刺激値の画像データを生成するXYZ推定演算部33aと、上記ディスプレイ22に関するプロファイルを記憶するディスプレイプロファイル記憶部33dと、上記XYZ推定演算部33aにより推定されたXYZ三刺激値の画像データと上記ディスプレイプロファイル記憶部33dに記憶されているディスプレイプロファイルとを用いて演算を行うことにより上記ディスプレイ22に出力するためのディスプレイ画像データを生成するディスプレイ値変換部33cと、を有して構成されている。
【0129】
上記入力プロファイル記憶部33bに記憶されている入力プロファイルは、例えば特開2000−341499号公報に記載されているようなものであって、撮像に用いたCCD8の分光感度を含む撮影装置1の特性や設定(画像入力装置)、被写体を撮影するときの照明光のスペクトルデータ(撮影照明光情報)、生成した被写体画像を観察するディスプレイ22が設置されている場所の照明光のスペクトルデータ(観察照明光情報)、撮影した被写体の分光反射率の統計的性質等の情報(被写体特性情報)、等の情報に基づき算出されたものである。
【0130】
図14は、処理装置2において入力プロファイルを生成する構成例を示すブロック図である。
【0131】
上記入力プロファイルは、図14に示すように、撮影装置1から取得した各データ等に基づき処理装置2において生成するようにしても良い。
【0132】
撮影装置1において取得されるデータとしては、照明光スペクトルデータ、カメラ特性データ、被写体特性データなどが例として挙げられる。
【0133】
上記照明スペクトルデータは、例えば被写体を撮像するときの照明に関するスペクトルデータであり、接触式である場合には撮影装置1に内蔵した各LED6a〜6fのスペクトルデータとなる。非接触式の場合には、さらに、被写体を撮影する場合の外部照明のスペクトルデータなども含むことになる。
【0134】
上記カメラ特性データは、フォーカス値などを含む撮影光学系7の特性、CCD8の撮像特性、シャッタ速度、絞り値、などの諸特性を含んで構成されている。
【0135】
上記被写体特性は、被写体が例えば歯、皮膚、塗料などである場合の分光統計データ等で構成されていて、高精度な入力プロファイルを作成するために、操作スイッチ14などに被写体指定操作部を設けて、被写体を指定するための被写体指定信号を入力するようにしても良い。
【0136】
これらのデータに基づいて入力プロファイルを生成する処理装置2の構成は、図14に示すように、上記照明スペクトルデータ、カメラ特性データ、被写体特性データを読み込んで演算を行うことにより入力プロファイルを生成する入力プロファイル演算部33eと、この入力プロファイル演算部33eにより生成された入力プロファイルを記憶する上記入力プロファイル記憶部33bと、を有して構成されている。
【0137】
このような構成により、処理装置に接続される撮影装置1を異なる個体、機種などのものに変更(撮影光学系7の変更等)したり、撮影を行う環境照明が変化したり、撮影対象となる被写体を様々に変化させたりしても、適応的に、高度な色再現を行うことが可能となる。
【0138】
また、上記ディスプレイプロファイル記憶部33dに記憶されているディスプレイプロファイルは、ディスプレイ22の表示原色値(例えばディスプレイ22がRGBモニタである場合にはRGB原色値)の色度値、ディスプレイ22のトーンカーブ、等の情報に基づき算出されたものである。なお、ディスプレイは、特開2000−338950号公報に記載されているような多原色の色再現システムを用いても構わない。
【0139】
また、図13は、取得された被写体分光画像に基づき被写体に関する画像判別を行うための構成例を示すブロック図である。
【0140】
上記画像メモリ部32の第1〜第6メモリ32a〜32fに記憶された被写体分光画像は、画像判別演算部34により読み出されて被写体に関する画像判別が行われ、その判別結果が出力されて上記ディスプレイ22に表示されるようになっている。また、画像の判別演算がネットワークを介して行われ、結果がLCDモニタ16に表示されるように構成されていても構わない。
【0141】
上記画像判別演算部34は、被写体に関する各種の分類/判定などを行うための判別関数を記憶する判別関数記憶部34bと、上記画像メモリ部32の第1〜第6メモリ32a〜32fに記憶された6枚の被写体分光画像の全部またはその内から選択される1枚以上の被写体分光画像を、この判別関数を用いて演算することにより判別結果を算出し上記ディスプレイ22に表示するための判別結果表示用画像データを生成する判別演算部34aと、を有して構成されている。
【0142】
なお、上記判別関数は、この画像処理システムをどのような用途に用いるかによって、種々の置き換えを行うことが可能である。従って、上記判別関数記憶部34bを、書き換え可能または追記可能な記憶媒体により構成して、用途に応じて使用する判別関数を書き加え、あるいは書き換えるようにすると良い。このような判別関数の具体的な例としては、特開平7−120324号公報に記載されたような処理を行う関数を例に挙げることができる。
【0143】
この図13に示す画像判別演算部34は、上記図12に示した色再現演算部33に代えて処理装置2に備えさせるようにしても良い。あるいは、図12に示した色再現演算部33とともに該処理装置2内に設けて、これらにより処理を並列して同時に行わせたり、または、必要なものだけを選択的に切り替えて処理を行わせるようにしても構わない。
【0144】
次に、図15は、撮影装置1のLCDモニタ16における表示例を示す図である。この表示モニタとしては、例えば上記LCDモニタ16を用いることができるが、これに限らず、ELパネル、LEDパネルなどを用いたものであっても構わない。さらに、表示モニタは、モノクロ表示を行うものでも、あるいはカラー表示を行うものでも、何れでも良い。
【0145】
表示モニタたる例えばLCDモニタ16は、例えば図15(A)に示すように、撮影装置1の筐体5の背面側の、把持部5bの上部に配設されていて、図15(B)や図15(C)に示すような画像を表示するようになっている。なお、ここでは、手を被写体として撮像している例を示している。
【0146】
まず、図15(B)は、上記モニタモードにより撮像された動画像を表示しているときの様子を示しており、これにより、LCDモニタ16がファインダとしての機能を果たすようになっている。
【0147】
次に、図15(C)は、例えば上記画像判別演算部34による被写体画像の判別結果を表示している様子を示している。ここでは、被写体のID番号(例えば医療分野の診断支援システムにおける患者番号など)と、画像判別により得られた数値解析結果のグラフ(例えば治療経過など)と、が表示されている。LCDモニタ16には、これらに限らず、色再現画像、患者カルテ、各種データ、図表などの、種々の情報を表示することが可能となっている。
【0148】
こうして、上記LCDモニタ16は、撮影部位を選択するときのファインダとして機能したり、色再現結果や分類/判定などの結果を表示するときのモニタとして機能したりするようになっている。
【0149】
また、LCDモニタ16等の表示モニタには、操作者の操作を支援するための各種情報も表示され得るようになっている。ここに、表示される各種情報としては、例えば、「電源のオン状態」、「モニタモード/キャプチャモードの切替状態」、「1歯/全顎(上・下顎別)/顔/全身の各キャプチャモードの切替状態」が表示されるようになっている。これらの各種情報の表示は、各モードが選択されたときに、LCDモニタ16等の表示モニタの画面に選択されたモードに対応するアイコンや文字等を表示することにより行われる。
【0150】
特に、上記キャプチャモードに関しては、上述したように、フォーカス動作と連動させるようになっており、オートフォーカスの場合には、測距データからモードを表示するように構成することが考えられる。また、マニュアルフォーカスの場合には、フォーカス調整レバー(フォーカスリング)の操作位置に応じてキャプチャモードが連動するように構成することが考えられる。このマニュアルフォーカス時には、フォーカス調整レバー(フォーカスリング)の対応する操作位置にも、キャプチャモードを示すマークや文字を表示すると良い。
【0151】
さらに、操作者の操作を支援するための各種情報として、内蔵する照明光源の点灯/非点灯状態が、上記LCDモニタ16等の表示モニタに表示され得るようになっている。この内蔵照明光源の点灯/非点灯状態は、画角(撮影範囲設定手段により設定された撮影範囲)に連動して切り換わるとともに、さらに、上述したように、外部光源が接続されているか否かに応じて切り換わるようになっている(すなわち、一般的には、外部光源接続時には、内蔵の照明光源は非点灯となる。)。
【0152】
一方、処理装置2のディスプレイ22は、ハンディタイプの撮影装置1に設けられたLCDモニタ16よりも大面積で高精細なタイプのものである場合が多いために、該処理装置2において目的に応じて実行される処理ソフトウェアの、起動表示、条件設定表示、被写体IDなどの情報を入力するためのGUI表示や、患者の経歴表示、前回情報等の被写体情報表示、処理結果表示などを行うようにしても良い。
【0153】
上記ネットワーク3には、例えば外部データベースが接続されており、この外部データベースから被写体情報を処理装置2に取得したり、あるいは、処理装置2において行った処理結果を外部データベースへ格納するなどを行うようにしても良い。このときには、セキュリティーを確保するために、処理装置2と外部システムとをネットワーク3を介して接続する際に相互認証を行ったり、被写体データにセキュリティーレベルを設けてレベルに応じた認証を行ったりするように構成することも可能である。
【0154】
次に、図16は、画像処理システムを使用するときの様子の一例を示す図である。
【0155】
上記撮影装置1は、軽量小型となるように構成されており、例えば片手で把持部5bを把持して、撮像系が設けられた筐体5の先端側を、当て付け部4を介して被写体の撮影対象部位に当てることにより、撮像を行うことができるようになっている。
【0156】
上記当て付け部4は、上述したように、着脱可能でディスポーザブルな部材となっていて、外部からの光が被写体の撮影対象部位に当たるのを遮蔽している。
【0157】
上記把持部5bの上部、例えば人差指で操作可能な位置に、上記操作スイッチ14に含まれる撮影ボタン14aが設けられており、上記LCDモニタ16で撮影しようとする部位を特定した後に、この撮影ボタン14aを押下することにより、上述したようにモニタモードから分光画像キャプチャモードに移行して、分光画像の撮像が行われるようになっている。
【0158】
取得された分光画像は、処理装置2においてデータ処理が行われディスプレイ22に表示されるが、必要に応じて設定等を行うことにより、撮影装置1のLCDモニタ16に処理装置2における処理結果を表示するようにしても良いのは上述した通りである。
【0159】
なお、この図16に示す例においては、処理装置2を、ディスプレイ付きのノート型のパーソナルコンピュータとして図示している。このような場合には、ノート型のパーソナルコンピュータに備えられているRS−232C、USB、IEEE1394などのインターフェース(I/F)を介して、上記ネットワーク3に接続するようにすると良い。
【0160】
このような第1の構成によれば、画像処理システムの撮影装置内に可視光域において各異なる分光分布を有する6種類のLEDを設けて、外光を遮断しながらこれらを発光させることにより、被写体分光画像を撮像することができる。このとき、光源としてLED等の小型軽量な半導体発光素子を用いているために、撮影装置を小型化することができ、ハンディタイプのものを作成することも可能となる。
【0161】
また、処理装置によって処理を行うことにより、高度に色再現された画像をディスプレイに表示することが可能となる。
【0162】
さらに、LEDの発光順序や発光させるLEDを指定することにより、通常のRGB動画像を始めとして、種々の目的に用いる画像を撮像することが可能となる。
【0163】
加えて、モノクロCCDを用いているために、コストをやや低減することができるとともに、各色の画像データが欠落画素を生じさせることなく1画面ずつ取得されるために、補間処理を省略することが可能となる。
【0164】
なお、分光画像を得ることが可能な画像撮影部としては、本構成を含む各構成に示したようなマルチバンド照明と撮像素子とを用いる構成だけでなく、その他の種々の構成を用いることができる。画像撮影部に適用可能な技術としては、例えば、上述したような特開平9−172649号公報、上記特開2002−296114号公報、上記特開2003−023643号公報、上記特開2003−087806号公報に記載の技術が挙げられる。
【0165】
また、撮影装置を実際に使用して画像を取得しようとする場合には、複数の段階からなる作業ステップ(操作手順)を伴って実施されることになる。この画像処理システムでは、作業を容易にすることを目的として、撮影装置の表示手段に次の作業ステップや進捗状況などを、例えば後述するようなプログレスバー等を用いることにより明示することも可能となっている。これにより、円滑な作業進捗を図ることができる。この作業ステップは、適用分野によって様々であるが、分野に応じた作業ステップを内蔵メモリに記憶することにより、対応することが可能である。あるいは、複数の分野に対応する作業ステップを内蔵メモリに予め記憶させておき、これらから選択したり設定したりするように構成しても良い。
【0166】
図87は、作業ステップを表示している様子を示す図である。
【0167】
この例では、LCDモニタ16等の表示モニタに、現在の作業ステップが進捗状況表示手段たる文字243として表示されており、ここでは5番目のステップ[STEP 5」であることが表示されている。
【0168】
また、図88は、作業の進捗状況を表示している様子を示す図である。
【0169】
この例では、LCDモニタ16等の表示モニタに、現在の作業の進捗状況が進捗状況表示手段たるプログレスバー244として表示されている。
【0170】
なお、作業ステップや進捗状況の表示は、これらの文字やバーにより行うに限るものではない。LCDモニタ16を例えば操作指示手段、測定手順指示手段として用いて、あるいはスピーカ等を操作指示手段、測定手順指示手段として設けて、次の操作手順を表示したり音声により指示したりするようにしても良い。
【0171】
さらに、画像処理システムの設定状態を、LCDモニタ16等の表示モニタに表示するようにすると良い。図99は、設定状態の表示例を示す図である。
【0172】
この図99に示す例では、文字271により、光源の種類が「D65」であること、文字272により色空間が「Lab]であること、文字273(6band)により原色数が「6」であること、がそれぞれ表示されている。
【0173】
このような設定状態の表示としては、以下のような例が挙げられる。
【0174】
まず、照明設定としては、原色数(例えば、6色)、点灯(例えば、オン)を表示することが考えられる。
【0175】
また、撮影設定としては、シャッタ速度、F値、ズーム位置、などを表示することが考えられる。
【0176】
そして、色再現の設定としては、光源(例えば、D65,A,B,Cなど)、視野角(例えば、2度)、色空間(例えば、XYZ,Lab)、測定対象(例えば、物体色)、色差閾値(例えば、0.1)、歯色基準(例えば、Std01)、などを表示することが考えられる。
【0177】
このように設定状態を表示することにより、撮影者は容易にシステムの状態を把握することが可能となる。
【0178】
[実施形態に係る第2の構成]
図17から図20、および図100は本発明の実施形態に係る第2の構成を示したものであり、図17は画像処理システムの構成を示すブロック図、図18はフルモードと読み出し2倍速モードとにおける読み出しの様子を示すタイミングチャート、図19は2/4ライン2倍速モードと2/8ライン4倍速モードとにおける読み出されるラインの様子を示す図、図20は撮影モードを設定する際の動作を示すフローチャートである。
【0179】
この第2の構成において、上述の第1の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0180】
この第2の構成は、上述した第1の構成を基本構成として、さらに、前面にカラーフィルタアレイ(CFA)19を備えたカラーCCDからの画像読み出し速度を調整することができるように構成したものである。
【0181】
画像読み出し速度は表示速度に関連しており、表示速度を読み出し速度以上に速くすることはできない。
【0182】
一般的に、画像をモニタする場合には、30画像/秒程度以上の表示間隔が望ましいが、原色数Nが増加するとそれに伴って比例的に表示間隔が長くなり、ちらつき状態が生じたり、あるいは各原色画像所得時間差による大きな画像位置ずれが生じたりすることがある。
【0183】
従って、本構成は、表示間隔が長くなるのを回避して、読み出し原色数Nによることなく表示間隔を一定にするために、図17に示すように、カメラ制御I/F12AによりCCD8Aからの画像読み出し速度を調整するようにした高速読み出しモードである。
【0184】
図20を参照して、撮影モードを設定する際の動作について説明する。
【0185】
操作スイッチ14から撮影モードを選択する操作入力があると(ステップS21)、CPU18がそれを検出して、メモリ11内の記録エリアの一部に、設定する撮影モードやそれに関連する情報等を記録するとともに(ステップS22)、カメラ制御I/F12Aに撮影モードを変更するように制御を行わせる命令を発行する(ステップS23)。
【0186】
カメラ制御I/F12Aは、この指令を受けて、CCD8Aの駆動を制御し、撮影モードを変更するようになっている。このときには、カメラ制御I/F12は、CCD8Aの動作に連動させてLEDドライバ13を制御することにより、各LED6a〜6fの発光量も合わせて調整するようになっている。
【0187】
この撮影装置1において設定可能な撮影モードは、例えば、次のようになっている。
【0188】
(1)フルモード
(2)読み出し2倍速モード
(3)2/4ライン2倍速モード
(4)2/8ライン4倍速モード
(5)2/16ライン8倍速モード
(6)第1の中央部走査モード
(7)第2の中央部走査モード
(8)第3の中央部走査モード
(9)第4の中央部走査モード
(10)第1の中央部高速走査モード
(11)第2の中央部高速走査モード
「フルモード」は、図18(A)に示すように、CCD8Aの全走査ラインの全画素について通常の速度で順次読み出しを行っていく通常のモードである。なお、ここでは第1LED6a、第3LED6c、第5LED6eを同時に発光させるフレームと、第2LED6b、第4LED6d、第6LED6fを同時に発光させるフレームと、により各フレームが構成されているが、このような発光により6原色画像を取り込む手段については、後の第3の構成で説明する。
【0189】
「読み出し速度2倍速モード」は、図18(A)に示す通常のモードに対して、図18(B)に示すように、CCD8Aの全走査ラインの全画素について通常の2倍の速度で順次読み出しを行っていくモードとなっている。なお、ここでは2倍速の読み出しを例に挙げたが、これに限らず適宜の倍数でも良いし、さらには可変倍としても構わない。
【0190】
「2/4ライン2倍速モード」は、4ライン毎に2ラインのみを走査することにより、1フレームを読み出すのに要する時間を半分にするものであり、垂直方向の分解能は半分になるものの、全有効エリアの画像を取得することが可能となっている。
【0191】
「2/8ライン4倍速モード」は、さらに、8ライン毎に2ラインのみを走査することにより、1フレームを読み出すのに要する時間を通常モードの1/4にするものである。
【0192】
「2/16ライン8倍速モード」は、同様に、16ライン毎に2ラインのみを走査することにより、1フレームを読み出すのに要する時間を通常モードの1/8にするものである。
【0193】
「第1の中央部走査モード」は、図19(A)に示すように、全走査ラインのライン数をSとしたときに、有効エリアの内の、中央部のS/2ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を半分にするものである。
【0194】
「第2の中央部走査モード」は、図19(B)に示すように、全走査ラインのライン数をSとしたときに、有効エリアの内の、中央部のS/4ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を1/4にするものである。
【0195】
「第3の中央部走査モード」は、同様に、有効エリアの内の、中央部のS/8ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を1/8にするものである。
【0196】
「第4の中央部走査モード」は、同様に、有効エリアの内の、中央部のS/16ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を1/16にするものである。
【0197】
「第1の中央部高速走査モード」は、上記図19(A)に示したような、有効エリアの内の中央部のS/2ラインの部分のみを、通常の2倍の速度で走査することにより、1フレームを読み出すのに要する時間を1/4にするものである。
【0198】
「第2の中央部高速走査モード」は、上記図19(B)に示したような、有効エリアの内の中央部のS/4ラインの部分のみを、通常の2倍の速度で走査することにより、1フレームを読み出すのに要する時間を1/8にするものである。
【0199】
これらに限らず、さらに他の手段による高速スキャンを行うことも可能であり、上記を含めて以下のようにまとめることができる。
【0200】
まず第1は、単純なスキャン速度の高速化である。これは、例えば、読み出し開始を指示するトリガー信号のタイミングを調整することにより行うことができる。例えば、1フレームの表示時間を1/30秒とする例では、各原色(N原色とする)の読み出し時間が1/30/Nとなるようにトリガー信号のタイミングを設定することにより達成される。
【0201】
第2に、間引きスキャンによる高速化である。上記第1の高速化手段では、撮像素子によって高速化に限界が生じる。これに対して、この間引きを行う場合には、画質は低下するものの、安定した走査を行って高速化を図ることができるために、フレームレートが下がることはなく、表示にちらつきを生じさせることがない。この間引きの例としては、上述したような、ライン単位で一定周期、または一定範囲で間引く手段以外に、画素単位で間引くことも可能であり、撮像素子がXYアドレス型のものである場合には、きめ細かく所望の画素のみを読み出すことも可能となる。
【0202】
第3に、原色に応じてフレームレートを異ならせることによる高速化である。通常のRGBカラーフィルタ等を備えたCCDにおいても、輝度信号に近い緑(G)の画素は、赤(R)や青(B)の画素の2倍の数だけ配設されていることが多い。このような点を考慮して、6原色の内の緑(G)に近いフレームは、それ以外の色のフレームの2倍の数だけ読み出すようにすることが考えられる。もちろん、これに限らず、使用目的に応じて、特定の原色のフレームを多く読み出すようにしたり、必要度に応じて読み出すレートを段階的に異ならせたりすると良い。
【0203】
上述したような高速読み出しモードが設定されているか否かは、図100に示すように、表示手段たるLCDモニタ16に高速読み出しマーク275として表示されるようになっていて、この表示を見ることにより確認することが可能となっている。図100は、高速読み出しマークの表示例を示す図である。なお、高速読み出しモードの表示は、この図100に示すものに限らないことは勿論であり、また、LCDモニタ16に限らず、その他の手段により表示することも可能である。例えば、複数の高速読み出しモードの内の、どのモードが設定されているかを見分けることができるように、夫々を異なる表示としても良い。
【0204】
このような第2の構成によれば、上述した第1の構成とほぼ同様の効果を奏するとともに、読み出し速度を変更することにより、一定の表示速度を確保することが可能となり、高度な色再現時にも動きが自然な動画像を表示することが可能となる。
【0205】
[実施形態に係る第3の構成]
図21から図36は本発明の実施形態に係る第3の構成を示したものであり、図21は画像処理システムの構成を示すブロック図、図22は画像処理システムを使用するときの様子の一例を示す図である。この第3の構成において、上述の第1,2の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0206】
この第3の構成は、上述した第1の構成を基本構成として、さらに、CCDの撮像面上に3バンドのカラーフィルタアレイを配設した構成としたものである。
【0207】
すなわち、図21や図22に示すように、撮影装置1は、撮影光学系7により被写体像が結像される光路上のCCD8の近傍に、例えばRGB3バンドのカラーフィルタアレイ(図中、CFAと省略する。)19が配設されていて、撮像素子部としていわゆる単板式のカラー撮像素子が構成されている。
【0208】
従って、図示はしないが、通常のカメラと同様に、キャプチャモードとして通常のRGB画像を取得することも可能である。このときの被写体の照明は、撮影装置1を照明光消灯モードに設定して照明光源をオフにし、一般の室内光や、太陽光などの環境光を用いるようにしても良い。あるいは、撮影装置1に内蔵されている複数のLEDを組み合わせることにより、白色光源とみなせるスペクトルの光源を構成し、連続点灯して被写体に照射するようにしても構わない。
【0209】
図23は、LED6a〜6fの発光スペクトルとカラーフィルタアレイ19を通したCCD8の分光感度特性とを示す線図である。
【0210】
第1の構成においても示したような、曲線fL1〜fL6により示される6原色LEDの発光スペクトルに対して、カラーフィルタアレイ19の透過率分布とCCD8の受光感度分布とにより得られるトータルの分光感度特性は、図示の曲線fSB,fSG,fSRとなっている。
【0211】
これらの内の青色カラーフィルタに該当する分光バンド域を示す曲線fSBは曲線fL1,fL2の2つを包含して第1LED6aと第2LED6bの発光による光を感受することができ、緑色カラーフィルタに該当する分光バンド域を示す曲線fSGは曲線fL3,fL4の2つを包含して第3LED6cと第4LED6dの発光による光を感受することができ、赤色カラーフィルタに該当する分光バンド域を示す曲線fSRは曲線fL5,fL6の2つを包含して第5LED6eと第6LED6fの発光による光を感受することができるように構成されている。
【0212】
ただし、トータルの分光感度特性が互いに独立して分離している必要はなく、周辺部分において互いに一部が重なり合うようになっていても構わない。さらに、第1の構成と同様に、第1LED6a〜第6LED6fの各発光スペクトルも、一部が重なり合うような発光スペクトルであっても構わない。もちろん、LEDの種類も6種類に限るものではなく、適宜の種類数のLEDの組み合わせを採用することができるのも同様である。
【0213】
次に、画像を取得するときの動作について説明する。
【0214】
この画像処理システムにおいては、上述した第1の構成と同様に、画像を取得する際に、モニタモードと分光画像キャプチャモードとを切り替えて行うようになっている。
【0215】
図24、図26、図27を参照して、分光画像キャプチャモードの動作について説明する。図24は6バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図26は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図27は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
【0216】
第1の構成において説明したように、撮影ボタン14aが押下されて分光画像キャプチャモードに切り替わると、分光画像の撮像を開始する判断を行う(ステップS31)。
【0217】
ここで分光画像の撮像が開始されると、フレームNの画像の取り込みを行って、その後にフレームN+1の画像の取り込みを行う。
【0218】
まず、フレームNの画像の取り込みが開始されると、第1LED6a,第3LED6c,第5LED6eを同時に点灯させ(図24(A)参照)(ステップS32)、点灯が開始された後にCCD8による撮像を開始する(図27参照)(ステップS33)。
【0219】
CCD8による撮像が終了したら、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(フレームメモリ)に記憶させる(ステップS34)。
【0220】
そして、該フレームメモリに記憶された各画像データを、原色毎に分類して、該メモリ11内の所定の記憶領域(第1,第3,第5メモリ)に記憶させる(ステップS35)。
【0221】
その後に各LED6a,6c,6eを消灯することで(ステップS36)、フレームNの画像取り込みが終了する。
【0222】
次のフレームN+1の画像の取り込みは、点灯させるLEDや撮像した画像データを転送するメモリ領域が異なるだけで、基本的にはフレームNの画像の取り込みと同様である。
【0223】
すなわち、第2LED6b,第4LED6d,第6LED6fを同時に点灯させ(図24(B)参照)(ステップS37)、点灯が開始された後に、CCD8による撮像を開始する(図27参照)(ステップS38)。
【0224】
CCD8による撮像が終了したら、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(フレームメモリ)に記憶させる(ステップS39)。
【0225】
そして、該フレームメモリに記憶された各画像データを、原色毎に分類して、該メモリ11内の所定の記憶領域(第2,第4,第6メモリ)に記憶させる(ステップS40)。
【0226】
その後に各LED6b,6d,6fを消灯することで(ステップS41)、フレームN+1の画像取り込みが終了する。
【0227】
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
【0228】
また、上記ステップS35やステップS40において第1〜第6メモリに記憶された各原色の画像は、カラーフィルタアレイ19の原色配列に応じた画素の欠落が生じているために、必要に応じて、撮影装置1または処理装置2において補間処理が行われることになる。
【0229】
こうしてメモリ11に記憶された6バンドの被写体分光画像は、処理装置2に送られて、処理プログラムにより色再現や画像処理が行われる。この処理結果は、他の処理プログラムによってディスプレイ22に表示されるか、または撮影装置1に転送されてLCDモニタ16に表示される。
【0230】
次に、図25、図28、図29を参照して、モニタモードの動作について説明する。図25はモニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図28はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図29はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
【0231】
なお、本構成においても上述した各構成と同様に、一般のRGB画像用を想定して、第1LED6aおよび第2LED6bが青(B)の範疇に相当し、第3LED6cおよび第4LED6dが緑(G)の範疇に相当し、第5LED6eおよび第6LED6fが赤(R)の範疇に相当するように、各発光原色の選定を行っている。
【0232】
電源スイッチがオンされることによりモニタモードが設定されるか、あるいは分光画像キャプチャモードが終了することによりモニタモードに復帰すると、モニタ用画像の撮像を開始するのを待機する(ステップS51)。
【0233】
ここでは直ちに撮像が開始され、全てのLED6a〜6fを点灯させる(図25参照)(ステップS52)。全LED6a〜6fの点灯が開始された後に、CCD8による撮像を開始する(図29参照)(ステップS53)。
【0234】
CCD8による撮像が終了したら、その後に全LED6a〜6fを消灯し(ステップS54)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第1,第3,第5メモリ)に記憶させる(ステップS55)。
【0235】
モニタモードが設定されている間は、上記ステップS51に戻ってこのような動作を繰り返すことにより、動画像を取得するようになっている。
【0236】
このようにして得られた画像は、モニタ用の画像データに変換されて、モニタI/F15を介してLCDモニタ16に表示される。このときには、設定によって、処理装置2のディスプレイ22にモニタ用画像を表示することもできるようになっている。
【0237】
なお、図29に示したタイミングチャートでは、CCD8による撮像毎にLED6a〜6fの全点灯と全消灯とを行って消費電力の低減を図っているが、モニタモードが設定されている間は、LED6a〜6fを連続的に点灯させるようにしても構わない。
【0238】
また、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
【0239】
なお、モニタ画像取得方法として、本構成における6バンドの分光画像キャプチャモードを連続させることにより、6バンドの分光画像の第1と第2バンドのメモリ加算、第3と第4バンドのメモリ加算、第5と第6バンドのメモリ加算を同時に行うことによってモニタ画像を生成することも可能である。この場合は、撮影部アルゴリズムを変えることなくメモリ加算を行うだけでモニタ画像を生成することができる。これは、連続した分光画像測定時のモニタ方法として有効である。
【0240】
次に、図30から図36は、この第3の構成の変形例を示しており、図30は8バンドの分光画像を生成するときのLEDの発光スペクトルとカラーフィルタアレイを通したCCDの分光感度特性とを示す線図である。
【0241】
この変形例は、カラーフィルタアレイ19を介したCCD8によるRGBの検出バンド同士の間にまたがるような発光分光特性のLEDを設けることにより、LEDは6原色(6バンド)の発光を行うだけであるのに、検出としては8バンドの出力を得られるようにしたものである。
【0242】
すなわち、図30(A)に示すように、カラーフィルタアレイ19の透過率分布とCCD8の受光感度分布とにより得られるトータルの分光感度特性を示す曲線fSB,fSG,fSRに対して、各LED6a〜6fによる発光の分光特性(各々曲線fL1' 〜fL6' で示す)は、次のようになっている。
【0243】
まず、青色カラーフィルタに該当する分光バンド域を示す曲線fSB内には、曲線fL1' ,fL2' の2つが包含されていて、曲線fL3' も一部が包含されている。
【0244】
緑色カラーフィルタに該当する分光バンド域を示す曲線fSG内には、曲線fL4' が包含されていて、さらに、上記曲線fL3' の一部と、曲線fL5' の一部と、が包含されている。
【0245】
赤色カラーフィルタに該当する分光バンド域を示す曲線fSR内には、曲線fL6' が包含されていて、さらに、上記曲線fL5' の一部が包含されている。
【0246】
こうして、第3LED6cによる発光の分光特性(曲線fL3' )は青色カラーフィルタのバンドと緑色カラーフィルタのバンドとにまたがり、第5LED6eによる発光の分光特性(曲線fL5' )は緑色カラーフィルタのバンドと赤色カラーフィルタのバンドとにまたがるように構成されている。
【0247】
このような構成により、各LED6a〜6fにより発光された光をカラーフィルタアレイ19を介してCCD8により受光したときのトータルの分光感度特性は、図30(B)に示すように、曲線fSL1'(曲線fL1' および曲線fSBによる)、曲線fSL2'(曲線fL2' および曲線fSBによる)、曲線fSL3'(曲線fL3' および曲線fSBによる)、曲線fSL4'(曲線fL3' および曲線fSGによる)、曲線fSL5'(曲線fL4' および曲線fSGによる)、曲線fSL6'(曲線fL5' および曲線fSGによる)、曲線fSL7'(曲線fL5' および曲線fSRによる)、曲線fSL8'(曲線fL6' および曲線fSRによる)の合計8バンドとなる。
【0248】
次に、図31から図33を参照して、8バンドの分光画像を取得する動作について説明する。図31は8バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図32は8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図33は8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
【0249】
なお、この変形例においては、8バンドの分光画像を撮像するために、メモリ11にはこれらに各対応して第1〜第8メモリの記憶領域が設けられている。
【0250】
撮影ボタン14aが押下されて分光画像キャプチャモードに切り替わると、分光画像の撮像を開始する判断を行う(ステップS61)。
【0251】
分光画像の撮像が開始されると、まず、図31(A)に示すようなフレームNの画像の取り込み動作が開始され、第1LED6aと第4LED6dとを同時に点灯させ(ステップS62)、点灯が開始された後に、CCD8による撮像を開始する(図33参照)(ステップS63)。
【0252】
CCD8による撮像が終了したら、その後にLED6a,6dを消灯し(ステップS64)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第1,第2メモリ)に記憶させる(ステップS65)。これにより、フレームNの画像取り込み動作(2バンドの被写体分光画像の取得)が終了する。
【0253】
次に、図31(B)に示すようなフレームN+1の画像の取り込み動作が開始され、第2LED6bと第5LED6eとを同時に点灯させ(ステップS66)、点灯が開始された後に、CCD8による撮像を開始する(図33参照)(ステップS67)。
【0254】
CCD8による撮像が終了したら、その後にLED6b,6eを消灯し(ステップS68)、CCD8から画像データを読み出して、上記メモリ11内の所定の記憶領域(第3,第4,第5メモリ)に記憶させる(ステップS69)。これにより、フレームN+1の画像取り込み動作(3バンドの被写体分光画像の取得)が終了する。
【0255】
さらに、図31(C)に示すようなフレームN+2の画像の取り込み動作が開始され、第3LED6cと第6LED6fとを同時に点灯させ(ステップS70)、点灯が開始された後に、CCD8による撮像を開始する(図33参照)(ステップS71)。
【0256】
CCD8による撮像が終了したら、その後にLED6c,6fを消灯し(ステップS72)、CCD8から画像データを読み出して、上記メモリ11内の所定の記憶領域(第6,第7,第8メモリ)に記憶させる(ステップS73)。これにより、フレームN+2の画像取り込み動作(3バンドの被写体分光画像の取得)が終了する。
【0257】
分光画像を動画的に連続して取り込む場合には、このようなフレームNからフレームN+2までの動作を繰り返して行うことになる。
【0258】
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
【0259】
こうしてメモリ11に記憶された6バンドの被写体分光画像は、処理装置2に送られて、処理プログラムにより色再現や画像処理が行われる。この処理結果は、他の処理プログラムによってディスプレイ22に表示されるか、または撮影装置1に転送されてLCDモニタ16に表示される。
【0260】
続いて、図34から図36を参照して、モニタ用画像を取得する動作について説明する。図34はモニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図35はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図36はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
【0261】
電源スイッチがオンされることによりモニタモードが設定されるか、あるいは分光画像キャプチャモードが終了することによりモニタモードに復帰すると、モニタ用画像の撮像を開始するのを待機する(ステップS81)。
【0262】
ここでは直ちに撮像が開始され、全てのLED6a〜6fを点灯させる(図34参照)(ステップS82)。全LED6a〜6fの点灯が開始された後に、CCD8による撮像を開始する(図36参照)(ステップS83)。
【0263】
CCD8による撮像が終了したら、その後に全LED6a〜6fを消灯し(ステップS84)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域に記憶させる(ステップS85)。
【0264】
ここでは、CCD8による撮像毎にLED6a〜6fの全点灯と全消灯とを行って消費電力の低減を図っているが、上記図29において説明したのと同様に、モニタモードが設定されている間は、LED6a〜6fを連続的に点灯させるようにしても構わない。
【0265】
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
【0266】
その後、モニタモードが解除されるまで、上記ステップS81に戻って、上述したような動作を繰り返して行うことにより、動画像用の画像データを連続的に取得するようになっている。
【0267】
このようにして得られた画像は、モニタ用の画像データに変換されて、モニタI/F15を介してLCDモニタ16に表示される。このときには、設定によって、処理装置2のディスプレイ22にモニタ用画像を表示することもできるようになっている。
【0268】
なお、上述では、撮像素子として、3バンドのカラーフィルタアレイとの組み合わせによる単板撮像素子を例に挙げたが、これに限らず、入射光を複数の波長帯域の光に分離する分光ミラーや分光プリズム等の分光部と、この分光部により分光された複数の波長帯域の光を撮像する複数の撮像素子と、を有して構成される3板式の3バンド撮像素子であっても良いし、あるいは2板式の撮像素子であっても構わない。さらに、カラーフィルタとしては、RGB3バンドによる原色系フィルタに限るものではなく、補色系フィルタのものであってももちろん構わない。
【0269】
また、上述では6バンドの発光スペクトルのLEDから8バンドの被写体分光画像データを取得しているが、これに限らず、組み合わせにより任意の被写体分光画像データを取得するようにしても良い。例えば、光源として第3LEDと第5LEDのみ、すなわち2バンドの光源のみであっても、図31にfSL3',fSL4',fSL6',fSL7'で示すように、4バンドの被写体分光画像を得ることができる。この他、様々な組み合わせが可能である。
【0270】
このような第3の構成によれば、上述した第1,2の構成とほぼ同様の効果を奏するとともに、カラー撮像素子を用いることにより、被写体分光画像を取得するのに必要な撮像回数を減少させることができ、高度な色再現の動画像などもより容易に実現可能となる。
【0271】
さらに、LEDの発光スペクトルが、カラー撮像素子による受光の分光感度分布にまたがるように構成することにより、6バンドの発光スペクトルのLEDを用いながら、8バンドの被写体分光画像データを取得することが可能となる。
【0272】
[実施形態に係る第4の構成]
図37から図42、および図89は本発明の実施形態に係る第4の構成を示したものであり、図37は画像処理システムの構成を示すブロック図である。この第4の構成において、上述の第1〜3の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0273】
この第4の構成は、上述した第3の構成を基本構成として、さらに、スペクトル検出センサを付加した構成としたものである。
【0274】
すなわち、図37に示すように、画像処理システムの撮影装置1は、光のスペクトル分布を検出するスペクトル検出センサ41と、このスペクトル検出センサ41へ検出光を導入するプローブ42と、上記スペクトル検出センサ41からの出力をデジタル信号に変換するとともに処理して出力するセンサI/F43と、被写体特性を記憶する被写体特性メモリ44と、カメラ特性を記憶するカメラ特性メモリ45と、を図21に示した第3の構成に加えてさらに有して構成されている。
【0275】
上記スペクトル検出センサ41は、第1LED6a〜第6LED6fを用いてCCD8により6バンド分光画像を取得する構成とは異なり、光を画像として取り込むのではなくスペクトルのみを検出するものである。
【0276】
このスペクトル検出センサ41は、光検出範囲が可視光域全域(380nm〜800nm)をカバーするものとなっていて、グレーティング方式により検出を行い、分解能は5nmである。従って、詳細なスペクトルデータを取得することが可能となっている。なお、ここではグレーティング方式のスペクトル検出センサを例に挙げているが、それ以外の方式のものであっても構わない。
【0277】
上記プローブ42は、例えばフレキシブルな光ファイバ(または光ファイババンドル)を使用しているが、これに限らず、検出光を導光することができるようなものであれば、広く使用することが可能である。
【0278】
このような構成を用いて、被写体からの光を検出すると該被写体の光スペクトルを検出することができる一方で、被写体の代わりに標準白色板を置くことにより、照明光のスペクトル特性を測定することも可能となる。
【0279】
より詳しくは、上記当て付け部4等を用いて外部の照明光を遮断し、第1LED6a〜第6LED6fを順次発光させて検出することにより、各LED6a〜6fのスペクトル特性を測定することができる。これにより、これらの発光素子自体の劣化や、温度等の環境変化によるスペクトル特性の変化を検出することができる。ひいては、特性の変化を反映した照明スペクトルのプロファイルを得ることができるために、より正確な高色再現を実現することが可能となる。
【0280】
さらに、外部の照明光を検出して、環境照明光のスペクトル特性を測定することも可能である。
【0281】
次に、図38は、スペクトル検出センサを複数配設した画像処理システムを使用するときの様子の一例を示す図である。
【0282】
この図38には、スペクトル検出センサのより具体的な配設例を示していて、ここでは2つのスペクトル検出センサ、すなわち、第1のスペクトル検出センサ47と第2のスペクトル検出センサ46とが用いられている。
【0283】
第1のスペクトル検出センサ47は、被写体部分の分光スペクトルを検出するために配設されたものであり、プローブとなる光ファイバ49の先端が、第1LED6a〜第6LED6fの近傍の、筐体5の投射口5aを介して被写体光を入射することができる位置に配設されている。
【0284】
この第1のスペクトル検出センサ47は、上述したように、被写体の代わりに標準白色板を配することにより、第1LED6a〜第6LED6fの照明スペクトルを検出するのに用いることができるとともに、後述するように先端にレンズ等を配設することにより、被写体のスポット(特定部分)の分光反射スペクトルを直接的に取得することも可能となっている。
【0285】
これにより、第1のスペクトル検出センサ47を用いて、自動車の塗装色、建物の塗装色、食料品の分光特性、衣料品の染色などのスペクトルデータを直接取得すれば、それぞれの検査や確認のためのデータとして利用することが可能となる。
【0286】
また、第2のスペクトル検出センサ46は、被写体がおかれた環境の照明光スペクトルを検出することができるように設けられたものであり、プローブとなる光ファイバ48の先端が、筐体5の外面に露呈するとともに、その先端を覆うように白色で半透過性を有する積分球48cが取り付けられている。この第2のスペクトル検出センサ46を用いることにより、撮影装置1から離間した位置にある被写体を、太陽光や室内光のみで撮影するときの照明スペクトルを取得することが可能となる。これにより、被写体像の撮影と同時に、そのときの環境照明光に係る照明スペクトルのプロファイルを作成することが可能であるために、環境照明光が変化したとしてもそれに対応して、リアルタイムな高色再現を自動的に行うことができる。
【0287】
さらに、撮影装置1の周辺環境光のスペクトルを検出して、撮影装置1自体に内蔵するLEDのスペクトルと比較することにより、周辺環境光とLED光との何れを用いて撮像を行うかを適応的に切り替えることも可能となる。例えば、RGBの動画像を撮像するときには周辺環境光を用いることが可能であるために、この場合には内蔵するLEDを発光させないことにより、消費電力の低減を図ることなども可能となる。
【0288】
図39は、スペクトル検出センサ41の構成例を示す断面図である。
【0289】
上記プローブ42は、入射端42aから光を入射して、出射端42bから出射するものである。
【0290】
スペクトル検出センサ41は、箱体41aと、この箱体41aの一端部に開口して設けられていて上記プローブ42の出射端42bから出射される光をスリット光として入射するための入射光スリット41bと、上記箱体41aの内部に配設されていて上記入射光スリット41bから入射したスリット光を波長に応じて分光し異なる方向に反射して集光させるグレーティング41cと、上記箱体41aに取り付けられていて上記グレーティング41cにより波長に応じて異なる位置に集光される光を受光してその強度に応じた信号を出力するフォトダイオードアレイ41dと、を有して構成されている。
【0291】
これにより、フォトダイオードアレイ41dは、受光位置に応じて異なる波長の光を光電変換し、強度に応じた信号を出力することになる。
【0292】
上記センサI/F43は、このフォトダイオードアレイ41dから出力されるアナログ信号をデジタル信号に変換するためのA/D変換器43aを有して構成されていて、変換後のデジタル信号を上記バス10を介してCPU18等へ出力するようになっている。CPU18は、このデジタル信号を各波長の強度を示すスペクトル情報として受けて、解析等を行うようになっている。
【0293】
図40は、スペクトル検出センサ47に接続される光ファイバ49の入射端49aの様子を示す断面図である。なお、この図40においては、撮影光学系7等の図示を省略している。
【0294】
光ファイバ49の入射端49aには、ある角度範囲からの光が入射するようになっている。図示の例では、筐体5の投射口5aを介して入射する、撮影対象である被写体表面からの反射光が、上記入射端49aに到達するように設置されている。
【0295】
この図40に示す構成は、上述したような、被写体として標準白色板を用い、LED照明のスペクトルを検出して経年変化による色の変化情報を取得するなどに用いることができるものである。
【0296】
また、図41は、スペクトル検出センサ47に接続される光ファイバ49の入射端49aの近傍にセンサ用光学系49cを配設した構成例を示す断面図である。なお、この図41においても、撮影光学系7等の図示を省略している。
【0297】
この図41に示すように、スペクトル検出センサ47に接続される光ファイバ49の入射端49aにレンズ等でなるセンサ用光学系49cを設けることにより、入射端49aへ入射する光束を被写体のある範囲からの光に制限することができる。これにより、上述したように、被写体の特定位置のスペクトルを高い波長分解能で測定することが可能となる。
【0298】
図42は、環境光取得用に設けられたスペクトル検出センサ46に接続される光ファイバ48の入射端48aの様子を示す断面図である。なお、この図42においても、撮影光学系7等の図示を省略している。
【0299】
上述したように、入力用の光ファイバ48の入射端48aは、筐体5の外面に露呈しており、この入射端48aを取り囲むように、白色で半透過性を有する積分球48cが取り付けられている。
【0300】
このような構成において、環境照明光がこの積分球48cに照射されると、拡散して透過され、光ファイバ48の入射端48aから入射する。この入射光は、該光ファイバ48により伝達されて、スペクトル検出センサ46によりスペクトルの測定が行われる。
【0301】
このような第4の構成によれば、上述した第1〜3の構成とほぼ同様の効果を奏するとともに、スペクトル検出センサを設けることにより、被写体光のスペクトル分布を得ることができ、LEDのスペクトル分布を取得して、より正確な色再現をリアルタイムに行うことも可能となる。
【0302】
また、センサ用光学系を用いることにより、被写体の特定部分のスペクトル分布を取得することも可能となる。このセンサ用光学系は、上述したように、例えば5nmの分解能をもつものとなっているために、被写体の特定部位について、より詳細なスペクトルデータを取得することが可能となり、より精密な診断や判定を行うことができる。
【0303】
さらに、環境照明光のスペクトルを検出することもできるために、環境照明光に係る照明スペクトルのプロファイルをリアルタイムに取得することも可能となる。
【0304】
加えて、マクロ撮影モード時に、上記スペクトル検出センサ41により漏れ光の有無を検出することも可能である。そして、漏れ光を検出した場合には、撮影者に対する警告を、警告報知手段を用いて表示や音により行うようにすると良い。表示による警告は、表示手段(例えば、設定状態表示手段)に警告表示するようにすれば良いし、音による警告は、アラーム音などの警報を鳴らすようにすれば良い。図89は、漏れ光のアラーム表示の例を示す図である。この例では、LCDモニタ16等の表示モニタに、例えば上から下に向かうジグザグの矢印として漏れ光アラーム245を表示することにより、漏れ光があることを警告するようになっている。
【0305】
なお、警告報知手段は、漏れ光が検出されたときの警告報知に限らず、撮影時の位置がずれたときの警告報知、撮影光学系に曇りが生じたときの警告報知、などを行うものであっても良い。
【0306】
[実施形態に係る第5の構成]
次に、本発明の実施形態に係る第5の構成の画像処理システムについて説明する。この第5の構成において、上述の第1〜4の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0307】
図43は、本発明の実施形態に係る第5の構成の画像処理システムである歯科用画像処理システムのシステム構成図である。図44は上記歯科用画像処理システムに適用される撮影装置のブロック構成図である。
【0308】
本第5の構成の歯科用画像処理システム50は、義歯,差し歯等の製作に際して患者59の歯の分光画像情報を取得し、高精度の色再現を行い、その分光画像情報をネットワーク3により歯科技工所55と情報交換することにより、審美としての歯冠修復やホワイトニング処理を支援可能とするシステムである。
【0309】
本構成の歯科用画像処理システム50は、図43に示すように患者の歯の分光画像およびモニタ画像の画像データを取得するための画像撮影部である撮影装置(ハンドヘルドマルチスペクトルカメラ,HMSC)1Aと、画像メモリを有し、上記撮影装置1Aで得られた画像データを演算,管理するための画像処理部である処理装置2Aと、カメラ撮影操作のためのタッチパネル式入力操作装置53と、色再現状態を表示するためのキャリブレーションモニタ54と、上記処理装置2Aと歯科技工所(通信装置)55とを結ぶネットワーク3と、歯科技工所55に備えられる修復材料配合比計算データベース56とを有してなる。
【0310】
なお、修復材料配合比計算データベース56は、歯科治療情報、患者登録データベース、症例データベースなど歯科に有用な機能を有する歯科用データベース内に、あるいは、これと並列に置かれても良い。さらに、修復材料配合比計算データベース56、あるいは当該歯科用データベースは歯科技工所55に限定されることはなく、特定のウェブサイトに置かれても良い。
【0311】
また、図示はしないが技工所に撮影装置1Aを備えることにより、作成した補綴物等の確認や評価が技工所でも実施できる。さらに、補綴物を歯科医に送付する前に、ネットワーク経由で歯科医に画像などの情報を伝達することにより、より確実に補綴物の適正を確保できる。すなわち、本システムにおいて双方向でのデータやり取りが可能となり、迅速且つ精度の高い補綴物の製作が可能となる。
【0312】
さらに、情報はネットワーク経由で略リアルタイムで伝送可能であることから、患者の歯の治療が難しい場合など、患者が歯科医院に滞在する時間中に技工所とのやり取りを行い、場合によっては技工士の所望する追加情報(画像など)取得のため再度、患者の診療や患者からの希望など収集することが時を待たずに行うことができ、迅速な治療行為に繋げることができ、患者サービスの向上に貢献できる。
【0313】
上記撮影装置1Aにおいては、それぞれ異なる分光分布特性を有する複数個のLEDからなるLED群6Xを光源として、その光源により照明される被写体像(この場合、患者59の歯の像)が撮影光学系7を介して取り込まれ、撮像素子であるCCD8によって撮像信号に変換され、メモリ11に画像データとして記憶される。その画像データは、外部I/F17を介して処理装置2Aの画像メモリに転送される。この撮影装置1Aの構成は、前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様となっており、図44ではそれらの同一構成要素に同一の符号を付して示している。
【0314】
上記処理装置2Aは、図44に示すように画像処理部であって、前記第1の構成等の画像処理システムの画像処理部2に適用したものと同様の演算装置21およびディスプレイ装置22に加えて、さらに、歯科用ファイリングシステム23を有して構成されている。
【0315】
上記演算装置21は、撮影装置1Aにより取り込まれた分光画像データ等に基づいて被写体の色再現演算処理や画像判定演算処理(定量的判定)を行う。上記画像判定演算処理は、例えば、患者の歯の白さの等級判定や色あい判別、皮膚表面の皮溝や皮丘の相関、エントロピー解析等を行う処理となっている。なお、この演算装置21は、前記第1の構成の画像処理システムに適用された処理装置2Aの演算装置21と同様の構成,機能を有している。
【0316】
上記歯科用ファイリングシステム23は、患者の歯の漂白前後の数値管理や漂白頻度や義歯や歯冠修復材などの配合計算結果のデータファイリングを行うシステムであって、画像ファイリングソフトウェアを内蔵している。なお、上記ファイリングシステム23の所定のメモリ部には、上記撮影装置1で操作スイッチ14の操作により撮影された画像データが上記画像ファイリングソフトウェアの所定箇所に記録され、取り込まれる。
【0317】
次に、上述した構成を有する本構成の歯科用画像処理システム50による処理動作について説明する。
【0318】
歯科医院において上記歯科用画像処理システム50を適用して患者59の歯の色に合った歯冠修復材や義歯を製作する際、まず、患者59の歯の白さや色合いが測定される。患者59は、固定台58に顎部を載せて頭部を固定状態とする。上記固定台58には、撮影装置51が取り付けられている。ディスポーザブルの遮光性を備えた当て付け部4を患者59の口に当て付けて、口内の義歯を入れようとしている歯部周辺を、撮影装置1により撮影可能な状態とする。なお、上述のように撮影装置51を固定することにより、撮影時の被写体位置のずれを防止することができる。
【0319】
タッチパネル式入力操作装置53を操作することにより撮影装置1のLED群6Xの発光モードを選択指定する。この発光モードは、例えば、LED群6Xを単一の原色のLED毎に順次点灯させるモードや、LEDを選択して点灯させるモードや、全LEDを同時に点灯させるモード等がある。その発光モードにより分光画像キャプチャモード,モニタモードの指定、あるいは、分光画像キャプチャモードにおける分光バンド数の指定がなされる。
【0320】
その後、入力操作装置53を操作して、LED群6Xの点灯を開始させる。この操作は、撮影装置1の操作スイッチ14により行うことも可能である。
【0321】
上記分光画像キャプチャモードが選択されている場合、LED群6Xの点灯により患者59の歯の被写体像信号がCCD8を介して取り込まれ、分光画像データとしてメモリ11に記憶される。上記分光画像データは、処理装置2に転送され、色再現演算部33(図12)においてXYZ推定演算が行われる。その演算結果による患者59の歯の高精度の色再現画像がディスプレイ22、または、キャリブレーションモニタ54に表示される。
【0322】
また、モニタモードが選択されている場合には、通常の表示画像がディスプレイ22に表示される。なお、上記分光画像キャプチャモードとこのモニタモードとは、入力操作装置53により切り換え可能である。
【0323】
さらに、上記分光画像データに基づいて処理装置2Aの画像判別演算部34(図13)において判別演算が行われ、患者59の歯の色の濃淡に関する等級データが求められる。この等級データは、歯の色の濃淡を比較するためのシェードガイド上の等級であり、その値は、キャリブレーションモニタ54に表示される。また、処理装置2Aでは、上記等級データに基づいて使用する修復材料の配合計算が行われ、修復材料配合データが求められる。
【0324】
患者59の歯に関する上記色再現画像データおよび歯の色の濃淡に関する等級データである検査データと、修復材料配合データとは、ネットワーク3を介して歯科技工所55のコンピュータ部に転送される。
【0325】
上記歯科技工所55では、上記検査データと修復材料配合データとに基づいて修復材料配合比計算データベース56より具体的な配合比が検索される。その配合比に基づいて歯冠修復や義歯が製作される。製作された義歯は、上記歯科医院に配送され、患者59に手渡されることになる。
【0326】
上記治療過程において、患者59に対して入力操作装置53を介してキャリブレーションモニタ54に歯の色に関するデータや色再現画像を表示して、患者59に治療の過程を示し、了解をとることができる。
【0327】
なお、この歯科用画像処理システム50は、患者59の歯冠修復や義歯を製作する以外にも歯の漂白治療にも適用できる。すなわち、漂白処理前後の状態の患者59の歯を上記撮影装置1Aにより撮影し、上述した画像演算処理を行うことによって、漂白結果を示す上記色再現画像データおよび歯の色の濃淡に関する等級データが求められる。この漂白治療前後の数値データは、キャリブレーションモニタ54に表示され、患者59に対するインフォームドコンセントに有効である。さらに、経時変化や漂白頻度による治療過程における色再現画像データや上記等級データの変化をビジュアルで確認することが可能である。また、上記治療過程でのデータを蓄積していくことも可能である。
【0328】
本第5の構成の歯科用画像処理システム50を適用した場合、上記処理装置2Aで求められた上記高精度色再現画像や上記等級データは、通常の室内光の影響を受けることのない再現性の良い画像データ、または、等級データが得られるので、従来のシェードガイドによる比較データを適用した場合のように個人差がなく、環境光の影響を受けることなく、さらに、使用するカメラやフィルムにより左右されることもない。また、治療の過程をキャリブレーションモニタ54で観察することができるので、患者59に対するインフォームドコンセントに有効である。
【0329】
また、入力操作装置53としてタッチパネル式のものを適用し、さらに、撮影装置1Aの撮影部先端にディスポーザブルな遮光筒(当て付け部4)を装着することができる。
【0330】
上述した歯科用画像処理システム50は、歯科用以外にも適用可能である。例えば、皮膚科システムに適用した場合、治療中の皮膚の状態を撮影し、より正確な色再現画像データを得ることができ、照明によるばらつきのない皮膚の状態の変化を記録していくことができる。また、肌評価システムに適用することも可能であり、通常の標準照明下における肌の色の正確な再現を可能とし、さらには特殊な照明下での肌の状態も再現することが可能である。
【0331】
[実施形態に係る第6の構成]
次に、本発明の実施形態に係る第6の構成である画像処理システムについて、図45〜図48、および図90〜図95を参照して説明する。この第6の構成において、上述の第1〜5の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0332】
なお、図45は、本構成の画像処理システムの構成を示す図である。図46は、上記画像処理システムのブロック構成図である。図47,図48は、上記画像処理システムの撮影装置における撮影処理のフローチャートであり、上記図47は、撮影待機処理ルーチンのフローチャートを示し、上記図48は、撮影ルーチンのフローチャートを示す。
【0333】
本構成の画像処理システムは、図45,図46に示すように画像撮影部であって、LED照明光、または、ストロボ照明光による撮影が可能な撮影装置1Bと、画像メモリを有し、上記撮影装置1Bで撮影された分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置2Bとを有してなる。
【0334】
上記撮影装置1Bは、前記第4の構成の画像処理システムに適用したカラーCCD,照明光センサが組み込まれた前記撮影装置1(図38)と同様の構成,機能を有しており、さらに、外部ストロボ装置であるストロボ発光装置65が着脱可能である。なお、図46には、撮影装置1Bの各構成要素で上記撮影装置1と同一のものを、同一の符号により示している。
【0335】
上記処理装置2Bは、前記第4の構成の画像処理システムに適用した処理装置2と同様の構成,機能を有している。
【0336】
上記撮影装置1Bでは、接近した被写体に対しては、内蔵のLED照明により撮影が可能であるが、被写体までの距離が数cm〜数m程度の場合、上記内蔵LED照明光が届かなくなるので、そのときは、ストロボ発光装置65を装着し、ストロボ発光管を発光させることによって撮影を行うことができる。
【0337】
このストロボ発光装置65のような外部光源を装着しているときには、表示手段に装着している旨を表示することができるようになっている。図90は、照明ユニットの装着に関する表示の例を示す図である。
【0338】
図90(A)は、外部照明ユニットを装着するように促すマーク246を表示する例となっている。そして、外部照明ユニットが装着されているときには、図90(B)に示すようなマーク247を表示するようになっている。
【0339】
また、外部光源は、異なる種類のものの中から選択することができるために、最適な装置を用いることが可能である。このときには、選択された外部光源に対応した動作を行うように設定される。
【0340】
さらに、最適な分光画像を取得するために、各種アプリケーションや各被写体毎に照明系や撮像系を特化することも可能である。この場合には、本撮影装置の基本的な構成は変更せず、照明系や撮像系だけを着脱式とすることにより、被写体毎に複数台の撮影装置を用意するよりも、低価格化を図ることができる。
【0341】
図91〜図95は、着脱ユニットの構成例を示している。
【0342】
図91は、「照明光学系」のみを着脱ユニット251Aとした例を示す図である。このユニット251Aは、機械的結合253を介して撮影装置1の本体に結合されるようになっている。なお、照明光学系252は、LED6a〜6f等から発光された光を被写体に向けて照射するための光学系であり、照明光源に含まれる。なお、撮影装置1の筐体5と把持部5bとは、機構255により、例えば回動可能となるように構成されている(後述する図95参照)。
【0343】
なお、照明光学系の方式構成は、図示のものに限らず、塗装、歯科、皮膚科、などの各種アプリケーションの種類や、各被写体の種類などによって最適化することにより、低コストで好適な応用が可能となることはいうまでもない。
【0344】
図92は、「光源であるLED」および「照明光学系」を一体として着脱ユニット251Bを構成した例を示す図である。このユニット251Bは、機械的結合253および電気的結合を介して、撮影装置の本体に結合されるようになっている。ここに、電気的結合は、ユニット251B側に設けられた電気接点254aと、撮影装置1の本体側に設けられた電気接点254bと、を含んで構成されている。そして、この電気的結合は、上記LED6a〜6fの制御や電源供給等に用いられるようになっている。なお、光源であるLED6a〜6fと照明光学系252とは、照明光源に含まれる。
【0345】
なお、光源であるLEDや照明光学系の方式構成は、図示のものに限らず、塗装、歯科、皮膚科、などの各種アプリケーションの種類や、各被写体の種類などによって最適化することにより、低コストで好適な応用が可能となることはいうまでもない。
【0346】
図93は、「光源であるLED」、「照明光学系」、および「撮影光学系」を一体として着脱ユニット251Cを構成した例を示す図である。このユニット251Cは、上述したような機械的結合253および電気的結合を介して、撮影装置1の本体に結合されるようになっている。
【0347】
なお、光源であるLED、照明光学系、撮影光学系の方式構成は、図示のものに限らず、塗装、歯科、皮膚科、などの各種アプリケーションの種類や、各被写体の種類などによって最適化することにより、低コストで好適な応用が可能となることはいうまでもない。
【0348】
図94は、「光源であるLED」、「照明光学系」、「撮影光学系」、および「撮像素子」を一体として着脱ユニット251Dを構成した例を示す図である。このユニット251Dは、上述したような機械的結合253および電気的結合を介して、撮影装置1の本体に結合されるようになっている。ここに、電気接点254a,254bを含んで構成される上記電気的結合は、LED6a〜6fの制御や電源供給等に用いられるとともに、さらに、撮像素子たるCCD8の駆動や該CCD8からの撮像信号の送信等に用いられるようになっている。
【0349】
なお、光源であるLED、照明光学系、撮影光学系、撮像素子の方式構成は、図示のものに限らず、塗装、歯科、皮膚科、などの各種アプリケーションの種類や、各被写体の種類などによって最適化することにより、低コストで好適な応用が可能となることはいうまでもない。
【0350】
図95は、上記図94に示したようなユニット251Dとほぼ同様に構成されたユニット251Eの先端側に、さらに別体の当付アダプタ4Aを着脱可能に結合することができる例を示す図である。この当付アダプタ4Aは、この例では、撮影装置1の先端を被写体に対して当て付ける際に用いられるものであり、外光が被写体に照射されるのを防ぐ遮光機能を有するものとなっている。
【0351】
このように、照明光源と、上記撮影光学系と、上記撮像素子部と、上記撮影操作部と、の内の何れか1つ以上を、着脱自在の着脱ユニットとして構成することが可能となっている。
【0352】
また、各着脱ユニットは着脱式であるために、予め複数種類を用意して、適用する用途に応じて、より適切な着脱ユニットを使うような使い分けを行うことができる。また、着脱ユニットに記憶素子を組み込んで、ID番号、種類、使用時間、初期情報(光源出力、波長、電気的条件(所定光量の発光を行うために必要な電流値、点灯パターン、順方向電圧など)、劣化情報などの各種情報を予め記憶させておき、使用時に記憶素子から読み出して、読み出した情報に基づき最適な画像撮影を行うための条件設定を行うことができる。また、使用の過程で発生する各種情報を、上記記憶素子に記録することも可能となる。そして、装着された着脱ユニットの種類を、上記LCDモニタ16等の表示手段をモード表示手段として用いて表示することも可能であり、この場合には、より明確に種類を確認することが可能となる。
【0353】
着脱ユニットは、これらの例に限らず、その他の構成を採用してユニット化することも可能である。このときに、例えば、照明光源の近傍に温度検出手段たる温度検出器を設けて、照明光源の温度を測定し、測定結果を照明光源の温度特性に照らし合わせて、最適な照明特性になるように光源を駆動することが考えられる。このような制御を行うことにより、輝度バラツキの要因となる温度変化を検出して補正することが可能となるために、測定精度を向上することができる。また、被写体からの光を分光検出するための分光検出手段を、着脱ユニット内に設けることも可能である。
【0354】
撮影装置1Bの装置本体を構成する筐体5の前方部に上記ストロボ発光装置65は装着可能となっているが、上記ストロボ発光装置65が装着されない状態では、積分球48cが外部に露出しているので撮影装置1Bに内蔵されるスペクトル検出センサ46によって、環境光のスペクトル検出が行われる。また、上記ストロボ発光装置65が装着された状態では、ストロボ光の一部が積分球48cに導光されるのでスペクトル検出センサ46によってストロボ光のスペクトル検出が行われる。
【0355】
上記ストロボ発光装置65は、図46に示すように撮影装置1Bの筐体5の前面部に着脱可能な装着部65aと、反射傘63と、リング状ストロボ発光管62と、発光チャージ用コンデンサを有するストロボ発光回路(図示せず)と、撮影装置1B側とストロボ発光回路との電気的接続(電源・制御信号)用接続ケーブル64とを有してなる。
【0356】
なお、ストロボ発光装置65を装着後、撮影装置1Bとストロボ発光装置65との間の電気接続は、上記接続ケーブル64によりコネクタを介して行われるが、それ以外にもストロボ装置の装着部に接続用電極部を配置して、ストロボ発光装置65を筐体5に装着したとき、その電極部が自動的に接続状態となる構造を採用してもよい。
【0357】
上記接続ケーブル64による電気的接続状態、あるいは、ストロボ発光装置65を筐体5に装着したことによる電気的接続状態は、カメラ制御I/F12を介して撮影装置1B側CPU18で認識され、ストロボの識別コードが検知される。そのストロボの識別コードによって現在記憶されている撮影装置のシステム構成が更新される。
【0358】
上記反射傘の後方の一部が開口しており、ストロボ光を後方に導く導光路66を形成している。ストロボが発光した場合、ストロボ光の一部は、上記導光路66を通過してスペクトル検出センサ46の光ファイバー48の先端に設けられている検出部である積分球48cに入射し、スペクトル検出センサ46によりストロボ光のスペクトル成分が検出される。
【0359】
次に、上述した構成を有する本第6の構成の画像処理システムの撮影装置1Bによる撮影処理動作について、図47,図48のフローチャートに沿って説明する。
【0360】
撮影装置1Bによって被写体の分光画像データを取得する場合、まず、撮影装置1Bの電源スイッチを投入する。その電源スイッチ投入により、図47の撮影準備処理ルーチンがCPU18の制御のもとでスタートする。
【0361】
ステップS101においてシステム構成データをCPU18が取り込み、ステップS102においてパラメータ設定(初期化)がなされる。ステップS103においてストロボ発光装置65が撮影装置1Bに装着されているかどうかがチェックされる。ストロボ未装着の場合、そのまま、ステップS106にジャンプするが、ストロボ装着の場合、ステップS104に進む。
【0362】
ステップS104においてストロボ発光回路へ電源供給がなされ、発光チャージ用コンデンサの充電が開始される。ステップS105において充電完了が確認されると、ステップS106に進み、LCDモニタ16に撮影準備完了の表示を行い、ステップS107においてLCDモニタ16をモニタ画面表示状態として待機する。
【0363】
続いて、撮影装置1Bの撮影ボタン14aが撮影者により押圧操作され、撮影開始指示信号が入力されると、図48の撮影処理ルーチンがCPU18の制御のもとでスタートする。
【0364】
ステップS111においてストロボ装着の有無をチェックし、ストロボ非装着の場合は、ステップS116にジャンプし、ストロボ装着の場合は、ステップS112に進む。
【0365】
ステップS112でCDD8の露光が開始される。さらに、ステップS113においてストロボ発光装置65のストロボ発光が開始される。そして、ステップS114においてストロボ発光光の一部が導光部66を通して積分球48cからスペクトル検出センサ46に取り込まれ、ストロボ発光光の分光スペクトルデータが取得される。所要の露光時間が経過した後に、ステップS115において露光を終了し、本撮影処理が終了する。
【0366】
一方、ステップS116にジャンプした場合、ストロボ発光装置65が未装着状態であるのでスペクトル検出センサ46により環境光の分光スペクトルデータが取得される。ステップS117においてLED群6Xが所望の前述した発光モードで点灯され、CCD8の露光が開始される。ステップS118で露光が終了すると、本撮影処理は終了する。
【0367】
なお、撮影装置1Bには、図46には示されていないが前記図38に示すようなスペクトル検出センサ47が内蔵されており、そのスペクトル検出センサ47によってLED群6Xの照明光の分光スペクトルデータも同時に取得される。
【0368】
上記撮影処理が終了した後、撮影装置1Bのメモリ11に取り込まれた撮影画像データおよび照明光分光スペクトルデータは、外部I/F17を介して処理装置2Bに転送され、そこで、上記撮影画像データに対して上記照明光分光スペクトルデータ、さらに、カメラ特性データや被写体特性データを加味して分光画像データが演算により求められる。
【0369】
上述した本第6の構成の画像処理システムによれば、被写体距離が比較的に遠距離であり、LED群6Xの発光光では輝度が不足する場合であってもストロボ発光装置65を撮影装置1Bに装着することによって被写体を撮影することができる。しかも、ストロボ発光毎に取得されるストロボ光の分光スペクトルデータに基づいて分光画像データが演算されるので、ストロボ発光装置65自体の発光スペクトルのばらつきや発光回毎のスペクトルのばらつきが補正された分光画像データに基づいた高精度の色再現が可能になる。
【0370】
[実施形態に係る第7の構成]
次に、本発明の実施形態に係る第7の構成の画像処理システムについて、図49〜図52を参照して説明する。この第7の構成において、上述の第1〜6の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0371】
図49は、本構成の画像処理システムのブロック構成図である。図50(A),図50(B)は、正反射する被写体を各色のLED光で照明したときの状態を示す図であり、図50(A)は、上記結像時の正反射する被写体と各色のLEDとCCDの配置を示し、図50(B)は、CCDに結像する正反射部分のある画像を示す図である。図51は、CCDの結像面上の各色のLEDの照明による正反射部分が存在する被写体像と、上記画像処理システムの撮影装置で上記被写体像から正反射部分を削除処理した被写体像を示す図である。図52は、上記撮影装置における正反射部分削除処理のフローチャートである。
【0372】
本構成の画像処理システムは、図49に示すように正反射の影響のない分光画像を撮影可能である画像撮影部としての撮影装置1Cと、画像メモリを有し、上記撮影装置1Cで撮影された被写体分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置2Cとを有してなる。
【0373】
上記処理装置2Cは、前記第1の構成等の画像処理システムに適用された処理装置2と同様の構成,機能を有しており、パーソナルコンピュータを用いてもよい。
【0374】
上記撮影装置1Cは、図49に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有しているが、特に本撮影装置1Cにおいては、後述するように取得した正反射画像データの処理動作が行われる。なお、撮影装置1Cの各構成要素で上記撮影装置1と同一のものには、同一の符号を付して説明する。
【0375】
上記撮影装置1Cでは、被写体71が正反射するような光沢のある曲面を持つ被写体であった場合でも、その画像データからLED群6Xの各LEDからの照明光による正反射した高輝度部分を削除することで、正反射部分のない画像データを合成処理により求めることができる。以下、その画像処理について説明する。
【0376】
例えば、上述した正反射する被写体71に対して、一例としてそれぞれ異なるリング状の位置に配置されるLED6a1,6a2,6a3,6a4の照明光を照射した場合、上記各LEDから同じ波長の光が発光される。それぞれ被写体71で正反射すると、CCD8の結像面上の異なった位置に色づいた高輝度点が結像される。すなわち、図50(B)の画像Z上、異なった位置にLED6a1,6a2,6a3,6a4に対応する高輝度ポイントPa,Pb,Pc,Pdが生じることになる。
【0377】
撮影装置1Cにおいては、上記正反射による高輝度ポイントPa,Pb,Pc,Pdが正反射部削除処理により除去される。その削除処理について、図51により説明すると、まず、LED6a1の発光光による被写体71の正反射像は、CCD結像面Z1 上で高輝度点Paで示される。同様にLED6a2,6a3,6a4の各発光光による被写体71の正反射像は、CCD結像面Z2 ,Z3 ,Z4 上でそれぞれ高輝度点Pb,Pc,Pdで示される。上記高輝度点Pa,Pb,Pc,Pdの画素データを除いた残りの画像データを加算、または、平均化することによって正反射の高輝度部分のない補正された被写体71の分光画像データ(CCD結像面上Z0 )が得られる。
【0378】
上記正反射部削除処理について、図52のフローチャートを用いて説明する。まず、ステップS131でLED6a1を点灯させ、ステップS132でそのときの画像データを取得する。その後、ステップS133〜S138において順次LED6a2,LED6a3,LED6a4を点灯させて、各LED発光時の各画像データを取得する。ステップS139において上記各取得画像データから高輝度部分を除いた画像データを生成することによって正反射が除去された分光画像データを得る。なお、上述した例は、LED光源が4つの場合を示しているが他の光源数の場合も同様に処理することができる。
【0379】
本第7の構成の画像処理システムにおける撮影装置1Cによれば、被写体71が正反射するような被写体であったとしても取得した画像データに上述した正反射削除処理を施すことによって、正反射部分のない分光画像データを得ることができる。
【0380】
[実施形態に係る第8の構成]
次に、本発明の実施形態に係る第8の構成である画像処理システムについて、図53、図54、および図96を用いて説明する。この第8の構成において、上述の第1〜7の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0381】
なお、図53は、本構成の画像処理システムのブロック構成図であり、図54は、正反射被写体における光の反射状態を示す図である。
【0382】
本構成の画像処理システムは、図53に示すように正反射する被写体の分光画像を撮影可能な画像撮影部としての撮影装置1Dと、上記撮影装置1Dで撮影された被写体の分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置2Dとを有してなる。
【0383】
上記処理装置2Dは、前記第1の構成等の画像処理システムに適用された処理装置2と同様の構成,機能を有しており、パーソナルコンピュータを用いてもよい。
【0384】
上記撮影装置1Dは、図53に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有しており、さらに、正反射光をカットするために照明光源であるLED群6Xの前面に回転可能な反射光除去手段である第1の偏光板75が配置され、CCD8の前面に反射光除去手段である第2の偏光板76が配置されている。
【0385】
なお、上記撮影装置1Dの各構成要素で上記撮影装置1と同一のものには、同一の符号を付して説明する。
【0386】
分光画像データを取得する場合、被写体表面の分光反射率に基づく拡散反射光を検出して分光画像データが求められる。しかし、被写体71の表面が鏡面に近い表面であった場合、図54に示すようにLED6aからの被写体71に向けて発光された照明光は、被写体表面の、例えば、点Qa,Qbにおいて拡散反射光R1 ,R3 (図54中、短い矢印で示す)として反射するが、一部が正反射光R2 ,R4 (図54中、長い矢印で示す)として反射する。この正反射光R2 ,R4 は、照明光の入射角と対称方向に反射し、照明光のスペクトルと略同じスペクトルを有している。そして、この正反射光R2 ,R4 成分は、上記拡散反射光R1 ,R3 成分よりも大きく、物体の分光反射率測定の妨げになる。上記正反射光R4 は、その反射方向がCCD8側に向いていないので影響はないが、他方の正反射光R2 は、撮影光学系7を透過してCCD8に取り込まれ、撮影画像中、点Qaの部分が高輝度点として撮影されてしまう。したがって、被写体71の表面の状態により生じる正反射光成分を取り除かなければ、適正な分光画像データを取得することができない。
【0387】
そこで、本構成の撮影装置1Dにおいては、上述したようにLED群6Xの前面に第1の偏光板75を配置し、CCD8の前面に第2の偏光板76を配置することによって、上記正反射光成分をカットし、CCD8に入射しないようにしている。すなわち、上記第1の偏光板75によってLED群6Xからの照明光を偏光させる。被写体71の表面で拡散反射した光は、その偏光方向が様々になるが、正反射した光は、一方向の偏光状態を維持したまま撮影光学系7に入射する。上記第1の偏光板75は、第2の偏光板76に対して回転調整して配置されており、上記偏光した正反射光は、第2の偏光板76で除去される。そして、拡散反射光のみがCCD8側に入射し、正反射による高輝度部分のない被写体像が撮影される。
【0388】
図96は、偏光板の挿入状態を表示手段に表示する例を示す図である。
【0389】
この例では、第1の偏光板75および第2の偏光板76の両方が、各光路上に挿入されているか否かを確認することができるとともに、これらの偏光板75,76が相対的にどのような回転角度で挿入されているかを確認することができるように、文字を含むマーク261が表示されるようになっている。この例では、偏光板75と偏光板76とが、相対的に90度の角度をもって光路中に挿入されていることが示されている。なお、偏光板75,76の挿入状態の表示は、この図96に示すような例に限るものではない。
【0390】
上述のように本第8の構成の画像処理システムの撮影装置1Dを適用した場合、被写体71が光沢のある表面を有していたとしても撮影画像に正反射光による高輝度部が生じることがなく、適正な分光画像データを取得して、高精度の色再現が可能となる。
【0391】
なお、上記撮影装置1Dにおいては、第2の偏光板76を撮影光学系7とCCD8との間に配置したが、撮影光学7の前面の被写体71側に配置する構成を採用しても同様の効果が得られる。
【0392】
[実施形態に係る第9の構成]
次に、本発明の実施形態に係る第9の構成である画像処理システムについて、図55,図56を用いて説明する。この第9の構成において、上述の第1〜8の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0393】
なお、図55は、本構成の画像処理システムのブロック構成図であり、図56は、上記画像処理システムの撮影装置におけるCCDの前面に配置される第2偏光板の正面図である。
【0394】
本構成の画像処理システムは、図55に示すように正反射する被写体の可視光および近赤外光による分光画像を撮影可能である画像撮影部としての撮影装置1Eと、上記撮影装置1Eで撮影された被写体の分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置2Eとを有してなる。
【0395】
上記処理装置2Eは、前記第1の構成等の画像処理システムに適用された処理装置2と同様の構成,機能を有しており、パーソナルコンピュータを用いてもよい。
【0396】
上記撮影装置1Eは、図55に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、上記撮影装置1Eには、照明光源として可視光光源であるLED群6Xの他に近赤外光光源であるLED6gが撮影光学系7の周囲に配置されている。また、正反射光をカットするために上記LED群6Xの前面部に反射光除去手段である第1の偏光板81と、上記LED6gの前面部に第1の偏光板82が配置されている。また、CCD8の前面部には、反射光除去手段である第2の偏光板83と84が装着された回転可能な偏光板ダイヤル85(図56)が配置されている。
【0397】
なお、上記撮影装置1Eの構成要素で上記撮影装置1と同一のものには同一の符号を付して適宜説明を省略し、以下では、主として異なる処理部分について説明する。
【0398】
この撮影装置1Eにおいては、LED群6Xを点灯させることにより可視光による分光画像データを取得することができ、さらに、LED6gを点灯させることにより近赤外光による分光画像データを取得することができる。
【0399】
そのとき、被写体が光沢のある被写体71であった場合、正反射光が取り込まれて画像データに高輝度部が生じるが、この撮影装置1Eでは、可視光による被写体画像に限らず近赤外光による被写体画像に対しても上記正反射光を除去することが可能であり、いずれの場合にも高輝度部のない適正な分光画像データを取り込むことができる。
【0400】
撮影装置1Eにおいては、上記偏光板ダイヤル85には、可視光用の第2の偏光板83と近赤外光用の第2の偏光板84とが装着されている。
【0401】
撮影装置1Eにより可視光による撮影を行う場合は、偏光板ダイヤル85を例えば矢印D1 方向に手動で回転させて、可視光用第2の偏光板83をCCD8に対向するように切り換える。上記切り換え後、撮影装置筐体外に突出している近赤外用第2の偏光板84を回転操作することにより中央の回転ローラ86を介して上記可視光用第2の偏光板83を回転させて、上記可視光用第1の偏光板81に対する調整を行う。
【0402】
そこで、可視光LED群6Xを所定の発光モードにしたがって点灯させると、第1の偏光板81を透過した光が被写体71で反射され、撮影光学系7に入射する。反射光のうち拡散光成分は、第2の偏光板83を透過するが、正反射光成分は、第2の偏光板83で除去される。したがって、正反射による高輝度部のない可視光による被写体像がCCD8によって撮像信号に変換され、分光画像データとして取り込まれる。
【0403】
一方、近赤外光による撮影を行う場合は、偏光板ダイヤル85を手動で回転させて近赤外光用第2の偏光板84をCCD8に対向させる。そして、撮影装置筐体外に突出している可視光用第2の偏光板83を回転操作することにより中央の回転ローラ86を介して上記近赤外光用第2の偏光板84を回転させ、上記近赤外光用第1の偏光板82に対する調整を行う。
【0404】
そこで、近赤外光LED6gを所定の発光モードにしたがって点灯させると、第1の偏光板82を透過した近赤外光が被写体71で反射され、撮影光学系7に入射する。その近赤外反射光のうち拡散光成分は、第2の偏光板84を透過するが、正反射光成分は、第2の偏光板84で除去される。したがって、正反射による高輝度部のない近赤外光による被写体像がCCD8によって撮像信号に変換され、分光画像データとして取り込まれる。
【0405】
上述した本第9の構成の画像処理システムの撮影装置1Eによると、可視光光源による撮影の他に近赤外光光源による撮影を行うことが可能であり、しかも、正反射する光沢のある被写体に対しても上記双方の光源のいずれでも正反射の影響を抑えた高輝度部のない被写体画像を取り込んで分光画像データを取得することができ、高精度の色再現が可能である。
【0406】
特に上記撮影装置1Eに適用される偏光板は、可視光と近赤外光とにわたる全波長で偏光特性を持つような高価な偏光板を用いる必要がなく、可視光光源に対しては、安価な可視光用第1の偏光板81と第2の偏光板83を適用し、近赤外光光源に対しては、近赤外光用の第1の偏光板82と第2の偏光板84を適用するので、部品コストを抑えることができる。
【0407】
[実施形態に係る第10の構成]
次に、本発明の実施形態に係る第10の構成である画像処理システムについて、図57〜図59を用いて説明する。この第10の構成において、上述の第1〜9の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0408】
なお、図57は、本構成の画像処理システムのブロック構成図であり、図58(A),図58(B)は、上記画像処理システムの撮影装置におけるLED光源によるシェーディング状態の補正前を示す図であり、図59(A),図59(B)は、上記画像処理システムの撮影装置におけるLED光源によるシェーディング状態の補正後を示す図である。
【0409】
本構成の画像処理システムは、画像撮影部としての撮影装置1Fと、上記撮影装置1Fで撮影された被写体の分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置(図示せず)とを有してなる。
【0410】
上記撮影装置1Fは、図57に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、上記撮影装置1Fには、照明光源であるLED群6Xの前面部に照明ムラを軽減する光学部材であるシェーディング補正レンズ88が装着されている。
【0411】
なお、上記撮影装置1Fの構成要素で上記撮影装置1と同一のものには同一の符号を付して説明する。
【0412】
上記撮影装置1Fにおいて、上記シェーディング補正レンズ88が装着されない状態では、例えば、互いに異なる位置に配置されているLED群6Xの中のLED6aとLED6dを別々に点灯させた場合、被写体への照明状態は、図58(A),図58(B)に示すように画面G1 の左上、と、画面G2 の右上のように異なる部分が他の部分より明るく照明される。これを補正しないと画面上の各位置によって観測されるスペクトルの強度分布が異なるために正確な測定ができないという問題が生じる。
【0413】
そこで、撮影装置1Fにおいては、上述したようにLED群6Xの前面部にシェーディング補正レンズ88を装着する。このシェーディング補正レンズ88を装着することによってLED6a、または、6dからの照明光が調整され、図59(A),図59(B)の画面G3 ,G4 に示すようにそれぞれ明るい部分が画面中央に集まるように補正される。この照明光の補正によって光源位置による影響が軽減され、画面内の位置によるスペクトル強度分布の誤差がなくなり、正しい測定がなされる。高精度の分光画像データを取得することが可能になる。
【0414】
なお、上記構成の撮影装置1Fの構成を採用してもまだ照明位置に影響されるシェーディングが残る場合がある。その場合は白紙などを被写体として撮影を行い、得られた画像データを基にしてLED群6Xの各LED毎の画面位置に対するシェーディング補正データを算出する。そして、上記各LED毎に電気的なシェーディング補正を行うようにすれば、さらに正確な補正が可能となる。
【0415】
上述の例では光学的なシェーディング補正と画像処理的なシェーディング補正を併用したが、上記シェーディング補正光学系88を用いることなく、画像処理のみによるシェーディング補正を施しても同程度の補正効果を得ることができる。
【0416】
また、上記シェーディング補正光学系(レンズ)88に代えて拡散板を利用してシェーディング補正を行うことも可能である。
【0417】
[実施形態に係る第11の構成]
次に、本発明の実施形態に係る第11の構成である画像処理システムについて、図60,図61を用いて説明する。この第11の構成において、上述の第1〜10の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0418】
なお、図60は、本構成の画像処理システムのブロック構成図であり、図61は、上記画像処理システムにおける撮影装置のLED光源部の配置図である。
【0419】
本構成の画像処理システムは、画像撮影部としての撮影装置1Gと、撮影室となる暗室91と、上記撮影装置1Gで撮影された被写体の分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置(図示せず)とを有してなる。
【0420】
上記撮影装置1Gは、図60に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、上記撮影装置1Gには、暗室91内の照明光源との接続端子部(接点部)90が配設されている。なお、上記撮影装置1Gの構成要素で上記撮影装置1等と同一の要素には同一の符号を付して説明する。
【0421】
また、上記処理装置も前記第1の構成等の画像処理システムに適用された処理装置2と同様の構成を有しており、パーソナルコンピュータを用いてもよい。
【0422】
上記暗室91は、例えば、患者59が入れるだけのスペ−スを有し、外部から遮光された構造を有する。その内部に外部照明装置としての複数個の照明装置92が配置されている。
【0423】
上記照明装置92には、図61に示すように撮影装置1Gに内蔵されるLED群6Xである第1LED6a〜第6LED6fのそれぞれと同一の発光波長を有するLED96a〜LED96fがそれぞれ複数組、配されている。図中、丸印は、各LEDを示しており、その丸印の同一の模様標識のものは、同一発光波長のLEDを示している。図61に示されるように上記複数組のLED96a〜LED96fは、偏ることなく均等に照明装置92内に分布されており、概ね面発光が可能な状態になる。上記LED96a〜LED96fへの電源は、接続コネクタ93を介して供給される。接続コネクタ93は、撮影装置1Gが暗室91に装着されたとき、撮影装置1G側の接続端子部90と接続状態となる。
【0424】
上述のような構成を有する撮影装置1Gにより撮影を行う場合、まず、撮影装置1Gを暗室91に装着し、照明装置92の各LEDを点灯可能状態にセットする。そして、被写体となる患者59を暗室91内に入れる。
【0425】
そこで、上記照明装置92の各LEDを点灯して患者59の所要部位を撮影し、所望の分光画像データを得るが、そのときの上記照明装置92の各LEDの点灯順は、撮影装置1Gの発光モードに従って点灯される撮影装置1G内蔵のLED群6Xの点灯タイミングで点灯される。
【0426】
上述した本第11の構成の画像処理システムによると、被写体サイズが大きい場合であっても環境光の影響のない状態で正確な色測定が可能であり、高精度の色再現が可能になる。また、暗室91は、撮影装置1のコネクタ部93を有する装着部と照明装置92とを設けるだけの簡単な装置でよく、大形の被写体を撮影することが可能な安価な画像処理システムが得られる。
【0427】
上記撮影装置1Gの撮影光学系7に広角の撮影光学系を適用すれば、撮影範囲が広がり、より大きな被写体、例えば、車体など大型の物品の撮影が可能となる。
【0428】
[実施形態に係る第12の構成]
次に、本発明の実施形態に係る第12の構成である画像処理システムについて、図62のブロック構成図を用いて説明する。この第12の構成において、上述の第1〜11の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0429】
本構成の画像処理システムは、画像撮影部としての撮影装置1Hと、上記撮影装置1Hで撮影された被写体の分光画像信号より高精度色再現画像データを求め、さらに、上記画像データに基づいて被写体の状態を判断するための画像処理部である処理装置2Hとを有してなる。
【0430】
上記撮影装置1Hは、図62に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、撮影装置1Hには、照明光源として可視光光源である複数のLED群6Xの他に中心波長780nm〜900nmの近赤外光光源である複数のLED6hが撮影光学系7の周囲に配置されている。なお、上記撮影装置1Hの構成要素で上記撮影装置1と同一のものには同一の符号を付して説明する。
【0431】
また、上記処理装置2Hは、前記第1の構成等の画像処理システムに適用された処理装置2と同一のものであり、パーソナルコンピュータを用いてもよい。
【0432】
上記撮影装置1Hにおいては、可視光光源であるLED群6Xを所定の発光モードにより点灯した場合、可視光による分光画像データが取得される。また、近赤外光光源であるLED6hを点灯させ、被写体である患者95の体表を照射した場合、近赤外光による分光画像データが得られる。
【0433】
上記近赤外光による撮影時には、上記撮影装置1Hを近赤外光撮影モードにしてLED6hを連続点灯させる。その状態で患者95の体表の30フレーム/秒の画像データを取り込み、表示を行う。その取得された画像は、LCDモニタ16、および、処理装置2Hのディスプレイ22にモノクロ画像として表示される。
【0434】
上記LED6hの中心波長780nm〜900nmの近赤外光は、可視光に比較して体表の深部へ到達するので、皮下の血管95aの状態が撮影できる。例えば、血流観察モードに設定した場合、上記30フレーム/秒の動画データにより皮下の血管95aの血流状態をディスプレイ22上で観察することができる。また、撮影装置のLCDモニタ16上でも血流状態を直接、モノクロ画像で観察可能である。
【0435】
本第12の構成の画像処理システムにおいて、血流状態の判定処理を自動的に行わせることも可能であり、撮影者が撮影装置1Hの操作スイッチ14を押圧操作することによって上記LED6hを所定の時間点灯させ、撮影された近赤外光による動画像データを処理装置2Hに転送する。処理装置2Hにおいて上記動画データを演算処理することにより血流状態が判別される。
【0436】
なお、本第12の構成の画像処理システムにより上記血流状態の判別処理の他に上記血流状態の動画データを演算処理することにより脈拍数、または、心拍数を求めることも可能である。
【0437】
[実施形態に係る第13の構成]
次に、本発明の実施形態に係る第13の構成である画像処理システムについて、図63のブロック構成図を用いて説明する。この第13の構成において、上述の第1〜12の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0438】
本構成の画像処理システムは、画像撮影部としての撮影装置1Jと、上記撮影装置1Jで撮影された被写体の分光画像信号より高精度色再現画像データを求め、さらに、上記画像データに基づいて被写体の表面状態を判断するための画像処理部である処理装置2Jとを有してなる。
【0439】
上記撮影装置1Jは、図63に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、撮影装置1Jには、照明光源として可視光光源である複数のLED群6Xの他に中心波長300nm〜380nmの紫外線光源である複数のLED6jが撮影光学系7の周囲に配置されている。上記撮影装置1Jの構成要素で上記撮影装置1と同一のものには同一の符号を付して、以下、説明する。
【0440】
なお、上記処理装置2Jは、前記第1の構成等の画像処理システムに適用された処理装置2と同一である。
【0441】
上記撮影装置1Jにおいては、可視光光源であるLED群6Xを所定の発光モードにより点灯した場合、可視光による分光画像データが取得される。また、紫外線光源であるLED6jを点灯させ、被写体である被検査部材98の表面98aを照射した場合、紫外線による分光画像データが得られる。
【0442】
上記紫外線による撮影を行う場合、撮影装置1Jを紫外線撮影モードにしてLED6jを点灯させ、その状態で被検査部材98の表面98aの画像データを取り込み、表示を行う。その取得された画像は、LCDモニタ16、および、処理装置2Jのディスプレイ22にモノクロ画像として表示される。
【0443】
上記LED6jの中心波長300nm〜380nmの紫外線は、可視光に比較して被写体表層のより浅いところで散乱反射するので、表面の細かな傷など被写体表面の状態を上記撮影画像により観察できる。
【0444】
なお、上記第12,13の構成に適用する撮影装置1Hと1Jとを組み合わせた変形例の撮影装置を提案することができる。この変形例の撮影装置では、光源として可視光のLED群6Xの他に近赤外光光源であるLED6hおよび紫外線光源であるLED6jが撮影光学系7の周囲に配置される。
【0445】
上記変形例の撮影装置によれば、広範囲の種類の被写体の分光画像データを得ることができるために、患者の血流観察と被検出部材の表面傷検査などとを、同一の撮影装置により行うことが可能となる。
【0446】
ここで図97は、上記第12の構成および第13の構成に適用される、赤外線や紫外線の発光を表示する例を示す図である。
【0447】
選択可能なLED発光モードは、赤外光を発光させる赤外モードと、紫外光を発光させる紫外モードと、を含んでいる。そして、発光が行われているLED発光モードの種類と、該LED発光モードの種類毎の波長情報と、を表示するようになっている。
【0448】
具体的に、この例では、波長900nmの近赤外線が発光中であることを「IR 900」という文字262により表示するとともに、さらに、波長340nmの紫外線が発光中であることを「UV 340」という文字263により表示して、明示するようになっている。もちろん、赤外線や紫外線の発光の表示は、この図97に示す例に限るものではない。
【0449】
[実施形態に係る第14の構成]
次に、本発明の実施形態に係る第14の構成である画像処理システムについて、図64のブロック構成図を用いて説明する。この第14の構成において、上述の第1〜13の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0450】
本構成の画像処理システムは、画像撮影部としての撮影装置1Kと、上記撮影装置1Kで撮影された被写体の分光画像信号より高精度色再現画像データを求めるための画像処理部である処理装置2Kとを有してなる。
【0451】
上記撮影装置1Kは、図64に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有しているが、さらに、撮影装置1Kには、筐体5の投射口5aにおいて支持軸102により回動自在に支持され、キャリブレーション用基準色を配した色票101が配置されている。
【0452】
なお、上記撮影装置1Kの構成要素で上記撮影装置1と同一のものには同一の符号を付して説明する。
【0453】
上記処理装置2Kは、前記第1の構成等の画像処理システムに適用された処理装置2と同一である。
【0454】
本構成の撮影装置1Kでは従来は面倒であった色標の保管管理が不要となり、また、色標の汚れ発生や外光による劣化を防止できるように、上述した色票101を筐体5内に内蔵し、使用しないときには、筐体5の内部に撮影光学系7の投射口5aから退避させて収納させる。この収納状態では、色票101は、LED群6Xの照射光路外に退避されており、被写体103への照射光を阻害することはない。そして、キャリブレーション時にのみ、図64に示すように撮影光学系7の投射口5aまで回動させる。その状態で色票101の画像データをCCD8を介して取り込み、色のキャリブレーションのための分光画像データが取得される。
【0455】
本第14の構成の撮影装置1Kによれば、色票101の保管管理が不要であり、また、手で扱われないために汚れが付きにくく、また、外光に曝されて色が劣化することがなく、常に正確な色のキャリブレーションが可能である。
【0456】
なお、上記構成の撮影装置1Kにおいては、色票101が筐体5に回動可能に支持されていたが、それに代えて筐体5の投射口5aに着脱されるレンズキャップ(図示せず)の内面に色票を貼付した構成を採用することも可能である。この場合、レンズキャップを装着した状態で上記キャリブレーションが行われる。
【0457】
[実施形態に係る第15の構成]
次に、本発明の実施形態に係る第15の構成である画像処理システムについて、図65のシステム構成図を用いて説明する。この第15の構成において、上述の第1〜14の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0458】
本構成の画像処理システムは、画像撮影部としての撮影装置1Lと、上記撮影装置1Lにケーブル112を介して接続される携帯電話器110と、上記携帯電話器110と通信可能な院内処理システム119とを有してなる。
【0459】
上記院内処理システム119は、院内通信装置115と、処理装置116と、データベース117と、モニタ118とを有してなる。
【0460】
上記撮影装置1Kは、図65に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と同様の構成を有している。上記撮影装置1Kの同一の構成要素には、同一の符号を付して説明する。
【0461】
上記携帯電話110は、撮影装置1Lで取得した患者の患部を撮影した分光画像データを公衆通信回線により上記院内処理システム119の院内通信装置115に送信する。なお、携帯電話110には、LCDモニタ111が設けられている。
【0462】
上記院内処理システム119の処理装置116は、院内通信装置115を介して受信した上記患部の分光画像信号より高精度色再現画像データを求めるための画像処理部であって、前記第1の構成等に適用された処理装置2と同様の構成を有する。
【0463】
上述した構成を有する本第15の構成の画像処理システムにおける分光画像データ処理動作について、携帯電話110の処理と、院内処理システム119の処理と、撮影装置1Lの処理とのそれぞれの処理ステップに分けて、以下、説明する。
【0464】
上記携帯電話110の処理ステップから説明すると、まず、上記携帯電話110が撮影装置1Lに接続されると、撮影装置1LのIDを確認する。不正ならば、エラーメッセージを出力する。携帯電話110と撮影装置1Lとが適合すれば、携帯電話110が撮影モードに設定され、携帯電話のモニタ111が撮影装置1Lのモニタとして機能し、携帯電話の操作ボタンが撮影装置1Lの操作スイッチとして機能するように設定される。
【0465】
予め設定済みの院内処理システム119に対して公衆回線を介して接続要求が出力される。院内処理システム119での認証が終了すると接続が確立する。
【0466】
続いて、撮影装置1Lからのモニタ画像が携帯電話110のモニタ111に表示され、撮影準備が完了する。
【0467】
ユーザにより撮影装置1Lの撮影ボタン14aが押圧操作されると、撮影装置1Lからの撮影画像データが出力されるのを待つ。撮影画像データが出力されるとその画像データをモニタ111に表示する。上記画像データを院内処理システム119側に送信し、ユーザの操作待ち状態となる。
【0468】
ユーザの操作により、院内処理システム119の画像データベース検索要求がなされると、院内処理システム119のデータベース117にアクセスし、データベース117の情報が取得され、モニタ118に表示される
さらに、ユーザの操作により、データベース117に対して検索要求が出される。データベースからの検索結果が受信され、モニタ111に表示される。
【0469】
次に、院内処理システム119側における処理ステップを説明すると、まず、携帯電話110からの接続要求を受け、携帯電話のIDを確認する。不正ならエラーメッセージを出力し接続が切断される。さらに、撮影装置1LのIDを確認する。不正ならエラーメッセージが出力され、接続が切断される。
【0470】
続いて、認証情報を要求し、ユーザが入力した認証情報を確認する。不正ならエラーメッセージを出力し接続が切断される。不正でなければ、接続が確立され、携帯電話110からの送信待ちの状態となる。
【0471】
撮影装置1Lによって撮影が行われると、携帯電話110からの画像データを受信する。
【0472】
上記受信した画像データを携帯電話のID、撮影装置のID、使用者の認証情報とともにデータベース117に記録し、携帯電話110からの送信待ちの状態となる。
【0473】
携帯電話110からデータベース117に対する検索要求を受信すると、117に対して検索を行い、検索結果が携帯電話110に送信され、携帯電話110からの送信待ちの状態となる。
【0474】
次に、撮影装置1Lにおける処理ステップについて説明すると、携帯電話110が接続されると、携帯電話110のIDが確認される。
【0475】
撮像装置1Lからの画像データがモニタ画像データとして携帯電話110に送信される撮影可能状態となり、撮影ボタン14aの操作、あるいは、携帯電話110からの撮影要求を待つ。
【0476】
ユーザによる撮影実行操作が行われると、所定のシーケンスで撮影装置1Lの光源部のLED群6Xを点灯し、撮影が実行され、取得された撮影画像データが携帯電話110側に送信される。
【0477】
上述した本第15の構成の画像処理システムの構成により、撮影装置1Lに液晶モニタを配置する必要がなくなり、撮影装置1Lを安価に構成できる。また、院内処理システム119への接続の際にケーブルを使う必要が無いので、撮影時のハンドリングの自由度が高くなる。また、通信回線として公衆回線を用いることができるため、使用できる場所の範囲が広がる。携帯電話110の操作ボタンを使用できるので、名前や症状などのより複雑な文字情報を入力することができる。
【0478】
さらに、携帯電話110のマイクを利用して音声データを画像データとともに入力するようにしてもよい。この場合は、音声による所見などの情報入力が可能となるほか、操作を音声で行うことも可能になり、使い勝手がさらに向上する。
【0479】
なお、上記携帯電話110には、院内で用いられているPHSを適用してもよく、さらには、LANの端末装置、または、PDA装置を利用してもよい。
【0480】
[実施形態に係る第16の構成]
次に、本発明の実施形態に係る第16の構成である画像処理システムについて、図66の上記画像処理システムに適用される画像撮影部の構成を示す図を用いて説明する。この第16の構成において、上述の第1〜15の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0481】
本構成の画像処理システムは、本システムの画像撮像部をユニットとした照明ユニットを着脱式としたもので、図66に示すように画像撮影部としてのLED照明ユニット127が装着可能なカメラ付き携帯電話121と、上記携帯電話器110と通信可能な院内処理システム119と、を有してなる。
【0482】
また、照明ユニットは着脱式であるために、予め複数種類を用意して、適用する用途に応じて、より適切な照明ユニットを使うような使い分けを行うことができる。また、照明ユニットに記憶素子を組み込んで、ID番号、種類、使用時間、初期情報(光源出力、波長、電気的条件(所定光量の発光を行うために必要な電流値、点灯パターン、順方向電圧など)、劣化情報などの各種情報を予め記憶させておき、使用時に記憶素子から読み出して、読み出した情報に基づき最適な画像撮影を行うための条件設定を行うことができる。また、使用の過程で発生する各種情報を、上記記憶素子に記録することも可能となる。そして、装着された照明ユニットの種類を、上記LCDモニタ16等の表示手段をモード表示手段として用いて表示することも可能であり、この場合には、より明確に種類を確認することが可能となる。
【0483】
上記院内処理システム119は、前記図65に示す第15の構成に適用したシステムと同一のものであって、院内通信装置115と、処理装置116と、データベース117と、モニタ118とを有してなる。
【0484】
上記カメラ付き携帯電話121は、LED照明ユニット127が装着された状態では、前記第1の構成の画像処理システムに適用された撮影装置1(図1)の撮影処理部と同様の撮影処理機能を有する。すなわち、上記カメラ付き携帯電話121は、撮影光学系であるカメラレンズ122と、LCDモニタ124と、操作スイッチ123と、アンテナ126と、接続コネクタ部を有し、内部にCCD、A/D変換回路、画像データメモリ、カメラ制御I/F、データ送受信回路、モニタI/F、外部I/F、本携帯電話の制御を司るCPU等が内蔵されている。
【0485】
また、上記カメラ付き携帯電話121の装着可能なLED照明ユニット127は、ユニット固定金具131により上記携帯電話121の本体に固定され、装着状態で携帯電話のカメラレンズ122に対向して位置するクローズアップレンズ128と、このクローズアップレンズ128の外周に沿って配置されるLED群129と、LED群129の外側に設けられる遮光筒132と、携帯電話121のコネクタ部に接続される接続ケーブル125とを有してなる。
【0486】
上記LED群129は、前記第1の構成における撮影装置1に設けられるLED群6Xと同様のそれぞれ異なる分光分布特性を有するLED群であって、異なる波長の青色光源のLED6a,6bと、異なる波長の緑色光源のLED6a,6bと、異なる波長の赤色光源のLED6a,6bと同等の6種類のLEDの複数組のLED群とする。
【0487】
次に、上述した構成を有する本第16の構成の画像処理システムによる撮影動作について説明する。
【0488】
カメラ付き携帯電話121に装着したLED照明ユニット127を被写体である患者の体表に向けた状態で操作スイッチ123を操作し、LED群129を選択された発光モードによる所定の発光順に従って点灯させ、携帯電話121に設けられるCCD(図示せず)によって上記各LED発光時に対応した患者の体表の撮影画像データを取り込む。その画像データは、携帯電話121内のメモリに一旦記憶される。
【0489】
その後、操作スイッチ123を操作してアンテナ126から公衆回線を介して院内処理システム119に分光画像データを送信する。院内処理システム119側では、上記分光画像データに基づいた画像処理を行い、高色再現処理が行われる。
【0490】
なお、携帯電話121と院内処理システム119とのデータの授受は、前記第11の構成の場合と同様である。
【0491】
本第12の構成の画像処理システムによると、専用の撮影装置を必要とせず、従来のカメラ付き携帯電話にLED照明ユニット127を装着するだけで画像処理システムの撮影装置として利用することができ、公衆回線を利用した安価なシステムを提供できる。
【0492】
また、上記携帯電話121に代えて、他のカメラ機能付きの端末装置を適用することも可能であり、端末装置の例としては、例えば、LANの端末装置、PDA装置、などが挙げられる。
【0493】
[実施形態に係る第17の構成]
次に、本発明の実施形態に係る第17の構成である画像処理システムについて、図67および図98を参照して説明する。図67は、上記画像処理システムに適用される撮影装置のブロック構成図である。この第17の構成において、上述の第1〜16の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0494】
本構成の画像処理システムは、画像撮影部としての撮影装置1Mと、上記撮影装置1Mで撮影された被写体の分光画像信号より高精度色再現画像データを求めるための画像処理部としての処理装置(図示せず)とを有してなる。
【0495】
上記撮影装置1Mは、図67に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、撮影装置1Mには、撮影装置1Mと被写体142との離間距離である撮影距離Lを測定する測距手段である測距センサ141が設けられている。なお、上記撮影装置1Mの構成要素のうち、上記撮影装置1と同一のものには同一の符号を付して説明する。
【0496】
上記適用される処理装置は、前記第1の構成等の画像処理システムに適用された処理装置2と同一である。
【0497】
本構成の画像処理システムにおける撮影動作は、次の処理ステップにしたがって行われる。
【0498】
まず、使用者は、患者の身体である被写体142に対して撮影装置1Mをセットし、撮影距離を測距センサ141により測定し、その測定結果を登録する。目標撮影距離からの差分を符号付きでモニタ16に表示させる。使用者は、上記モニタ16の表示を見ながら撮影装置1Mを移動させる。目標撮影距離に一致したらその旨の表示がモニタ16になされ、撮影装置1Mは、撮影可能状態で待機する。使用者が撮影ボタン14aを操作すると、撮影が開始される。
【0499】
本第17の構成の画像処理システムでは、撮影装置1Mの上述した被写体距離測定機能を用いて被写体距離を定めることにより、患者の身体の被写体142の同じ部位を撮影する場合、前回撮影した画像データと比較する際に画像の大きさが同じになり、比較検討が非常に行いやすくなる。
【0500】
次に、本第17の構成の画像処理システムの撮影装置の変形例について以下に説明する。
【0501】
この変形例の撮影装置1Mでは、次のような処理ステップで撮影が行われる。すなわち、使用者が比較したい前回撮影した画像データを指定し、指定された画像データから所望の撮影距離情報が取得され、モニタ16に表示される。
【0502】
使用者が概略の距離を目測で決めて撮影した際の実撮影距離情報を撮影装置1Mで取得し、実撮影距離と所望の撮影距離とから倍率補正係数が算出される。その倍率補正係数から実際に撮影された画像の倍率が補正された状態の同サイズの画像が表示される。
【0503】
この変形例の撮影装置1Mの機能を用いることで、使用者は、被写体142までの距離を概略設定すれば、前回の画像と同じ倍率での画像データを観察することができる。
【0504】
なお、上述した測定モードの表示を行うようにしても良い。図98は、測定モードの表示例を示す図である。この例では、温度検出、聴診、脈拍検出、測距の各測定モードが有効であるか否かを、各アイコン265,266,267,268により表示手段たるLCDモニタ16に表示するものとなっている。もちろん、測定モードの表示は、この図98に示すような例に限るものではない。
【0505】
[実施形態に係る第18の構成]
次に、本発明の実施形態に係る第18の構成である画像処理システムについて、図68の上記システムによる診察状態を示す図を用いて説明する。この第18の構成において、上述の第1〜17の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0506】
本構成の画像処理システムは、画像撮影部としての撮影装置1Nと、デジタイザ付き診察台153と、上記撮影装置1Nで撮影された被写体の分光画像信号より高精度色再現画像データを求めるための画像処理部である処理装置(図示せず)とを有してなる。
【0507】
上記撮影装置1Nは、図68に示すように前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、撮影装置1Nには、撮影装置1Nの鏡筒先端部に撮影装置1Nの座標を検出するための被写体部位検出手段である位置検出コイル151が内蔵され、また、撮影装置1Nの姿勢を検出するための重力等を利用した角度検出センサ152が組み込まれている。
【0508】
なお、上記撮影装置1Nの構成要素のうち、上記撮影装置1と同一のものには同一の符号を付して説明する。
【0509】
また、上記処理装置は、前記第1の構成等の画像処理システムに適用された処理装置2と同一である。
【0510】
本構成の撮影装置1Nは、診療所等での診察時に使用されることを想定している。上記テジタイザ付き診察台153には複数箇所から磁場を発生するデジタイザ装置が取り付けられており、上記撮影装置1Nの検出コイル151の位置が検出され、撮影装置1Nの位置が検知できる。さらに、撮影装置1Nの角度検出センサ152により、水平に対する撮影装置1Nの向いている方向を検出することができる。
【0511】
上記撮影装置1Nにより撮影を行う場合、診療を受けようとする被写体の患者154は、上記デジタイザ付き診察台153の上の所定位置に横たわる。この状態で撮影装置1Nにより撮影を行い、その撮影時の患者154と撮影装置1Nの相対的な位置座標、および、その撮影時に撮影装置1Nの向いている撮影装置1Nの傾きが検出される。それらの検出データが画像データとともに記録される。上記検出データより患者のどの部位を撮影したのかが自動的に記録される。したがって、画像データを取得したとき毎の撮影患部位置と撮影方向とを確認することが可能であり、撮影部位のずれや撮影方向の変化を防止することでき、正しい画像取得がなされる。
【0512】
[実施形態に係る第19の構成]
次に、本発明の実施形態に係る第19の構成である画像処理システムについて、図69の上記システムによる撮影状態を示す図を用いて説明する。この第19の構成において、上述の第1〜18の構成と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0513】
本構成の画像処理システムは、画像撮影部としての撮影装置1Pと、上記撮影装置1Pで撮影された被写体の分光画像信号より高精度色再現画像データを求めるための画像処理部である処理装置(図示せず)と、診察椅子161と、を有してなる。
【0514】
上記撮影装置1Pは、前記第1〜4の構成の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、上記撮影装置1Pには、被写体に向けて特殊の光パターンを投影する被写体部位検出手段である光パターン投影装置(図示せず)が内蔵されている。ただし、上記光パターン投影装置は、上記撮影装置1Pに内蔵せず、固定配置されていてもよい。
【0515】
なお、上記撮影装置1Pの構成要素で上記撮影装置1と同一のものには、同一の符号を付して説明する。
【0516】
また、上記処理装置は、前記第1の構成等の画像処理システムに適用された処理装置2と同一とする。
【0517】
前記第18の構成では、撮影位置を特定するためにデジタイザを適用したが、本第19の構成では、特殊の光パターンを患者に投影した状態で撮影した画像を参照して分光画像データの撮影部位が特定される。
【0518】
すなわち、本構成の画像処理システムの撮影装置1Pで撮影を行う場合、図69に示すように、診察台161に被写体である患者162を座らせる。そこで、上記撮影装置1Pを患者162の患部162aが撮影可能な位置にセットする。そこで、上記光パターン投影装置により特徴のある光パターンを患者162に投影し、その光パターン投影状態での患部162aまわりをモニタモードで一旦撮影する。撮影装置1Pを動かさないまま、引き続いて分光画像キャプチャモードにおいてLED群6Xの照明光で撮影を行って、分光画像データを取得する。
【0519】
上述のように本構成の画像処理システムによると、上記光パターンの投影画像により分光画像データを取得した撮影部位を確実に特定することができる。
【0520】
なお、上記第19の構成の画像処理システムの撮影装置に対する変形例として、次のような変形例の撮影装置を提案することができる。
【0521】
すなわち、本変形例の撮影装置は、装置本体の先端に体温測定用の温度センサ、脈拍を検出するための脈拍センサ、および、血圧測定時のコロトコフ音、胸部での呼吸音と心音および腹部での腸雑音などを検出するためのマイクロフォン(センサ)を備えており、聴診機能を有する。これらのセンサにより、被写体の分光画像データの他に体温、脈拍、心音等のデータを取得することができる。患者の患部の撮影時における上記体温、脈拍、心音等のデータは、分光画像データと関連付けてメモリに同時に保存される。これにより、日々、上記撮影装置の上記センサで測定された体温、脈拍、心音等の測定データは、公衆回線を介して関係診療機関に送信することが可能になるので、在宅での緻密な健康管理が実現可能となる。
【0522】
なお、上述した各構成の画像処理システムにおいて、画像撮影部である撮影装置と、画像処理部である処理装置とは、分離した状態で設けられていたが、両者を一体化して単一の携帯可能な装置としてまとめて構成することは、勿論可能であり、この場合、撮影しながら同時に画像処理の操作が行えるなど、使用目的によっては、非常に扱いやすい画像処理システムとなる。
【0523】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【図面の簡単な説明】
【0524】
【図1】本発明の実施形態に係る第1の構成における画像処理システムの構成を示すブロック図。
【図2】上記実施形態に係る第1の構成におけるLEDの配置例や構成例を示す図。
【図3】上記実施形態に係る第1の構成における、CCDの分光感度特性およびLEDの発光スペクトルと、これら両方による分光特性と、を示す線図。
【図4】上記実施形態に係る第1の構成の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
【図5】上記実施形態に係る第1の構成の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
【図6】上記実施形態に係る第1の構成の6バンド分光画像取得における各フレームのバンド特性を示す線図。
【図7】上記実施形態に係る第1の構成のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
【図8】上記実施形態に係る第1の構成のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
【図9】上記実施形態に係る第1の構成のモニタ用画像取得における各フレームのバンド特性を示す線図。
【図10】上記実施形態に係る第1の構成における、6原色のLEDが各3つずつ設けられているときの点灯のさせ方の例を示す図。
【図11】上記実施形態に係る第1の構成において、筐体の投射口に対して着脱可能に構成された当て付け部を示す斜視図。
【図12】上記実施形態に係る第1の構成の処理装置におけるディスプレイに表示するための色再現を行う構成を示すブロック図。
【図13】上記実施形態に係る第1の構成において、取得された被写体分光画像に基づき被写体に関する画像判別を行うための構成例を示すブロック図。
【図14】上記実施形態に係る第1の構成の処理装置において入力プロファイルを生成する構成例を示すブロック図。
【図15】上記実施形態に係る第1の構成の撮影装置のLCDモニタにおける表示例を示す図。
【図16】上記実施形態に係る第1の構成の画像処理システムを使用するときの様子の一例を示す図。
【図17】本発明の実施形態に係る第2の構成における画像処理システムの構成を示すブロック図。
【図18】上記実施形態に係る第2の構成において、フルモードと読み出し2倍速モードとにおける読み出しの様子を示すタイミングチャート。
【図19】上記実施形態に係る第2の構成において、2/4ライン2倍速モードと2/8ライン4倍速モードとにおける読み出されるラインの様子を示す図。
【図20】上記実施形態に係る第2の構成において、撮影モードを設定する際の動作を示すフローチャート。
【図21】本発明の実施形態に係る第3の構成における画像処理システムの構成を示すブロック図。
【図22】上記実施形態に係る第3の構成の画像処理システムを使用するときの様子の一例を示す図。
【図23】上記実施形態に係る第3の構成における、LEDの発光スペクトルとカラーフィルタアレイを通したCCDの分光感度特性とを示す線図。
【図24】上記実施形態に係る第3の構成において、6バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
【図25】上記実施形態に係る第3の構成において、モニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
【図26】上記実施形態に係る第3の構成の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
【図27】上記実施形態に係る第3の構成の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
【図28】上記実施形態に係る第3の構成のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
【図29】上記実施形態に係る第3の構成のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
【図30】上記実施形態に係る第3の構成における、8バンドの分光画像を生成するときのLEDの発光スペクトルとカラーフィルタアレイを通したCCDの分光感度特性とを示す線図。
【図31】上記実施形態に係る第3の構成において、8バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
【図32】上記実施形態に係る第3の構成の8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
【図33】上記実施形態に係る第3の構成の8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
【図34】上記実施形態に係る第3の構成において、モニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
【図35】上記実施形態に係る第3の構成のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
【図36】上記実施形態に係る第3の構成のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
【図37】本発明の実施形態に係る第4の構成における画像処理システムの構成を示すブロック図。
【図38】上記実施形態に係る第4の構成において、スペクトル検出センサを複数配設した画像処理システムを使用するときの様子の一例を示す図。
【図39】上記実施形態に係る第4の構成におけるスペクトル検出センサの構成例を示す断面図。
【図40】上記実施形態に係る第4の構成のスペクトル検出センサに接続される光ファイバの入射端の様子を示す断面図。
【図41】上記実施形態に係る第4の構成のスペクトル検出センサに接続される光ファイバの入射端の近傍にセンサ用光学系を配設した構成例を示す断面図。
【図42】上記実施形態に係る第4の構成において、環境光取得用に設けられたスペクトル検出センサに接続される光ファイバの入射端の様子を示す断面図。
【図43】本発明の実施形態に係る第5の構成の歯科用画像処理システムのシステム構成図。
【図44】上記図43の歯科用画像処理システムに適用される撮影装置のブロック構成図。
【図45】本発明の実施形態に係る第6の構成の画像処理システムの構成を示す図。
【図46】上記図45の画像処理システムのブロック構成図。
【図47】上記図45の画像処理システムの撮影装置における撮影処理のうちの撮影待機処理ルーチンのフローチャート。
【図48】上記図45の画像処理システムの撮影装置における撮影処理のうちの撮影ルーチンのフローチャート。
【図49】本発明の実施形態に係る第7の構成の画像処理システムのブロック構成図。
【図50】上記図49の画像処理システムの撮影装置によって正反射被写体を各色のLED光で照明したときの状態を示す図であって、図50(A)は、上記結像時の正反射被写体と各色のLEDとCCDの配置を示し、図50(B)は、正反射部分のある画像を示す図。
【図51】上記図49の画像処理システムの撮影装置によって正反射被写体を各色のLED光で照明したときのCCDに結像する各色のLEDの照明による正反射部分が存在する被写体像と、上記画像処理システムの撮影装置で上記被写体像から正反射部分を削除した被写体像とを示す図。
【図52】上記図49の画像処理システムの撮影装置における正反射部分削除処理のフローチャート。
【図53】本発明の実施形態に係る第8の構成の画像処理システムのブロック構成図。
【図54】上記図53の画像処理システムの撮影装置により、正反射被写体を撮影した場合における上記正反射被写体上での光の反射状態を示す図。
【図55】本発明の実施形態に係る第9の構成の画像処理システムのブロック構成図。
【図56】上記図55の画像処理システムの撮影装置においてCCDの前面に配置される第2偏光板の正面図。
【図57】本発明の実施形態に係る第10の構成の画像処理システムのブロック構成図。
【図58】上記図57の画像処理システムの撮影装置におけるLED光源によるシェーディング状態の補正前を示す図であって、図58(A),図58(B)は、それぞれ異なるLEDのシェーディング状態を示す。
【図59】上記図57の画像処理システムの撮影装置におけるLED光源によるシェーディング状態の補正後を示す図であって、図59(A),図59(B)は、それぞれ異なるLEDのシェーディング補正状態を示す。
【図60】本発明の実施形態に係る第11の構成の画像処理システムのブロック構成図。
【図61】上記図60の画像処理システムにおける撮影装置のLED光源部の配置図。
【図62】本発明の実施形態に係る第12の構成である画像処理システムのブロック構成図。
【図63】本発明の実施形態に係る第13の構成である画像処理システムのブロック構成図。
【図64】本発明の実施形態に係る第14の構成である画像処理システムのブロック構成図。
【図65】本発明の実施形態に係る第15の構成である画像処理システムのシステム構成図。
【図66】本発明の実施形態に係る第16の構成である画像処理システムに適用される画像撮影部のブロック構成図。
【図67】本発明の実施形態に係る第17の構成である画像処理システムのに適用される撮影装置のブロック構成図。
【図68】本発明の実施形態に係る第18の構成である画像処理システムによる診察状態を示す図。
【図69】本発明の実施形態に係る第19の構成である画像処理システムによる診察状態を示す図。
【図70】上記実施形態に係る第1の構成において、手ブレのアラーム表示例を示す図。
【図71】上記実施形態に係る第1の構成において、フットスイッチ接続マークの表示例を示す図。
【図72】上記実施形態に係る第1の構成において、マイク接続マークの表示例を示す図。
【図73】上記実施形態に係る第1の構成において、LAN接続マークの表示例を示す図。
【図74】上記実施形態に係る第1の構成において、データ転送中マークの表示例を示す図。
【図75】上記実施形態に係る第1の構成において、バッテリ残量マークの表示例を示す図。
【図76】上記実施形態に係る第1の構成において、キャプチャモードとモニタモードの第1の表示例を示す図。
【図77】上記実施形態に係る第1の構成において、キャプチャモードとモニタモードの第2の表示例を示す図。
【図78】上記実施形態に係る第1の構成において、キャプチャモードとモニタモードの第3の表示例を示す図。
【図79】上記実施形態に係る第1の構成において、キャプチャモードとモニタモードの第4の表示例を示す図。
【図80】上記実施形態に係る第1の構成において、各種の状態を表示する例を示す図。
【図81】上記実施形態に係る第1の構成において、接写撮影モードの様子を示す図。
【図82】上記実施形態に係る第1の構成において、近傍撮影モードの様子を示す図。
【図83】上記実施形態に係る第1の構成において、顔撮影モードの様子を示す図。
【図84】上記実施形態に係る第1の構成において、キャプチャモードを設定する様子を示す図。
【図85】上記実施形態に係る第1の構成において、位置決めガイドの表示例を示す図。
【図86】上記実施形態に係る第1の構成において、照明光源点灯マークの表示例を示す図。
【図87】上記実施形態に係る第1の構成において、作業ステップを表示している様子を示す図。
【図88】上記実施形態に係る第1の構成において、作業の進捗状況を表示している様子を示す図。
【図89】上記実施形態に係る第4の構成において、漏れ光のアラーム表示の例を示す図。
【図90】上記実施形態に係る第6の構成において、照明ユニットの装着に関する表示の例を示す図。
【図91】上記実施形態に係る第6の構成において、「照明光学系」のみを着脱ユニットとした例を示す図。
【図92】上記実施形態に係る第6の構成において、「光源であるLED」および「照明光学系」を一体として着脱ユニットを構成した例を示す図。
【図93】上記実施形態に係る第6の構成において、「光源であるLED」、「照明光学系」、および「撮影光学系」を一体として着脱ユニットを構成した例を示す図。
【図94】上記実施形態に係る第6の構成において、「光源であるLED」、「照明光学系」、「撮影光学系」、および「撮像素子」を一体として着脱ユニットを構成した例を示す図。
【図95】上記実施形態に係る第6の構成において、上記図94に示したようなユニットの先端側に、さらに別体の当付アダプタを着脱可能に結合することができる例を示す図。
【図96】上記実施形態に係る第8の構成において、偏光板の挿入状態を表示手段に表示する例を示す図。
【図97】上記実施形態に係る第12の構成および第13の構成に適用される、赤外線や紫外線の発光を表示する例を示す図である。
【図98】上記実施形態に係る第17の構成において、測定モードの表示例を示す図。
【図99】上記実施形態に係る第1の構成において、設定状態の表示例を示す図。
【図100】上記実施形態に係る第2の構成において、高速読み出しマークの表示例を示す図。
【符号の説明】
【0525】
1,1A,1B,1C,1D,1E,1F,1G,1H,1J,1K,1L,1M,1N,1P…撮影装置(画像撮影部)
2,2A,2B,2C,2D,2E,2H,2J,2K…処理装置(画像処理部)
3…ネットワーク
4…当て付け部
4A…当付アダプタ
5…筐体
5a…投射口
5b…把持部
6a〜6f…LED(発光素子)
6A…発光部
6B…ファイババンドル
6X…LED群(照明光源)
7…撮影光学系
8,8A…CCD(撮像素子部に含まれる撮像素子)
9…A/D変換器
10…バス
11…メモリ
12,12A…カメラ制御I/F
13…LEDドライバ
14…操作スイッチ(撮影操作部)
14a…撮影ボタン(押下式のボタンスイッチ)
14c…撮影範囲設定レバー(撮影範囲設定手段)
15…モニタI/F
16…LCDモニタ
17…外部I/F
18…CPU(制御部)
19…カラーフィルタアレイ(CFA)(撮像素子部の一部)
20a…バッテリ
20b…電源回路
21…演算装置
22…ディスプレイ
31…画像振り分け部
32…画像メモリ部
33…色再現演算部(演算部)
33a…XYZ推定演算部
33b…入力プロファイル記憶部
33c…ディスプレイ値変換部
33d…ディスプレイプロファイル記憶部
33e…入力プロファイル演算部
34…画像判別演算部(演算部)
34a…判別演算部
34b…判別関数記憶部
41…スペクトル検出センサ
42…プローブ
43…センサI/F
44…被写体特性メモリ
45…カメラ特性メモリ
46…第2のスペクトル検出センサ
47…第1のスペクトル検出センサ
48,49…光ファイバ
75,81,82…第1の偏光板(反射光除去手段)
76,83,84…第2の偏光板(反射光除去手段)
88…シェーディング補正レンズ
92…照明装置(外部照明装置)
101…色標
127…LED照明ユニット(ユニット化された照明光源)
141…測距センサ(測距手段)
151…位置検出コイル
201…表示領域
202,205,206,207,215,218,219,222,224,225,226,227,228,229,236,246,247,261…マーク
211…手ブレアラーム表示
213…フットスイッチ(外部操作部、遠隔指示手段)
216…マイク(外部操作部、遠隔指示手段)
221…データ転送中マーク
231,232…LED
233,234…ランプ
237,238,243,262,263,271,272,273…文字
241…位置決めガイド(ガイド手段)
242…照明光源点灯マーク
244…プログレスバー(進捗状況表示手段)
245…漏れ光アラーム
251A,251B,251C,251D,251E…ユニット
252…照明光学系
265,266,267,268…アイコン
275…高速読み出しマーク
【特許請求の範囲】
【請求項1】
被写体を照明するための照明光源と、被写体像を結像するための撮影光学系と、上記撮影光学系により結像された被写体像を撮像して画像信号を出力するための撮像素子部と、複数の異なる態様で被写体の画像をキャプチャする複数のキャプチャモードから所望のキャプチャモードを選択するための撮影操作部と、を有し、分光画像を取得し得るように構成された画像撮影部、を具備したカメラであって、
上記撮影操作部により上記複数のキャプチャモードの内の被写体の分光画像を取得する分光画像取得モード以外のキャプチャモードが選択されているときには、上記照明光源のオン/オフ動作を行い得るように構成されたものであることを特徴とするカメラ。
【請求項2】
上記複数のキャプチャモードに対応するモード関連情報を表示するためのモード表示手段をさらに具備し、
上記撮影操作部により複数のキャプチャモードの何れかが選択されると、上記モード表示手段は、選択されたキャプチャモードに対応する上記モード関連情報を表示するように構成されたものであることを特徴とする請求項1に記載のカメラ。
【請求項3】
上記撮影操作部は、被写体の撮影範囲を設定するための撮影範囲設定手段を有して構成されたものであり、
上記照明光源のオン/オフ動作は、上記撮影範囲設定手段により設定された撮影範囲と連動して行われるように構成されたものであることを特徴とする請求項1または請求項2に記載のカメラ。
【請求項4】
被写体を照明するためのものであって、上記画像撮影部に着脱可能に装着され得る外部光源をさらに具備し、
上記照明光源のオン/オフ動作は、上記外部光源の着脱に連動して行われるように構成されたものであることを特徴とする請求項1から請求項3の何れか一項に記載のカメラ。
【請求項1】
被写体を照明するための照明光源と、被写体像を結像するための撮影光学系と、上記撮影光学系により結像された被写体像を撮像して画像信号を出力するための撮像素子部と、複数の異なる態様で被写体の画像をキャプチャする複数のキャプチャモードから所望のキャプチャモードを選択するための撮影操作部と、を有し、分光画像を取得し得るように構成された画像撮影部、を具備したカメラであって、
上記撮影操作部により上記複数のキャプチャモードの内の被写体の分光画像を取得する分光画像取得モード以外のキャプチャモードが選択されているときには、上記照明光源のオン/オフ動作を行い得るように構成されたものであることを特徴とするカメラ。
【請求項2】
上記複数のキャプチャモードに対応するモード関連情報を表示するためのモード表示手段をさらに具備し、
上記撮影操作部により複数のキャプチャモードの何れかが選択されると、上記モード表示手段は、選択されたキャプチャモードに対応する上記モード関連情報を表示するように構成されたものであることを特徴とする請求項1に記載のカメラ。
【請求項3】
上記撮影操作部は、被写体の撮影範囲を設定するための撮影範囲設定手段を有して構成されたものであり、
上記照明光源のオン/オフ動作は、上記撮影範囲設定手段により設定された撮影範囲と連動して行われるように構成されたものであることを特徴とする請求項1または請求項2に記載のカメラ。
【請求項4】
被写体を照明するためのものであって、上記画像撮影部に着脱可能に装着され得る外部光源をさらに具備し、
上記照明光源のオン/オフ動作は、上記外部光源の着脱に連動して行われるように構成されたものであることを特徴とする請求項1から請求項3の何れか一項に記載のカメラ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図60】
【図61】
【図62】
【図63】
【図64】
【図65】
【図66】
【図67】
【図68】
【図69】
【図70】
【図71】
【図72】
【図73】
【図74】
【図75】
【図76】
【図77】
【図78】
【図79】
【図80】
【図81】
【図82】
【図83】
【図84】
【図85】
【図86】
【図87】
【図88】
【図89】
【図90】
【図91】
【図92】
【図93】
【図94】
【図95】
【図96】
【図97】
【図98】
【図99】
【図100】
【図58】
【図59】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図60】
【図61】
【図62】
【図63】
【図64】
【図65】
【図66】
【図67】
【図68】
【図69】
【図70】
【図71】
【図72】
【図73】
【図74】
【図75】
【図76】
【図77】
【図78】
【図79】
【図80】
【図81】
【図82】
【図83】
【図84】
【図85】
【図86】
【図87】
【図88】
【図89】
【図90】
【図91】
【図92】
【図93】
【図94】
【図95】
【図96】
【図97】
【図98】
【図99】
【図100】
【図58】
【図59】
【公開番号】特開2008−102137(P2008−102137A)
【公開日】平成20年5月1日(2008.5.1)
【国際特許分類】
【出願番号】特願2007−268274(P2007−268274)
【出願日】平成19年10月15日(2007.10.15)
【分割の表示】特願2005−517283(P2005−517283)の分割
【原出願日】平成17年1月21日(2005.1.21)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成20年5月1日(2008.5.1)
【国際特許分類】
【出願日】平成19年10月15日(2007.10.15)
【分割の表示】特願2005−517283(P2005−517283)の分割
【原出願日】平成17年1月21日(2005.1.21)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]