撮像装置及び撮像方法
【課題】 第１の処理領域では、第２の処理領域に対して相対的な拡大処理を行いつつ、撮像した画像に比べて解像度の低下を抑止する撮像装置及び撮像方法等を提供すること。
【解決手段】 撮像装置は、撮像光学系により結像される被写体像から画像信号を生成する複数の画素を有する撮像素子２４０と、複数の画素分の画像信号からなる原画像に対して変倍処理を施す変倍処理部３４０と、変倍処理後の画像を変倍画像として出力する出力部３５０と、を含み、変倍処理部３４０は変倍画像上の注目画素の位置に応じて異なる変倍率で変倍処理を行い、撮像素子２４０は、複数の画素として、変倍画像の画素数よりも多い画素を有する。
【解決手段】 撮像装置は、撮像光学系により結像される被写体像から画像信号を生成する複数の画素を有する撮像素子２４０と、複数の画素分の画像信号からなる原画像に対して変倍処理を施す変倍処理部３４０と、変倍処理後の画像を変倍画像として出力する出力部３５０と、を含み、変倍処理部３４０は変倍画像上の注目画素の位置に応じて異なる変倍率で変倍処理を行い、撮像素子２４０は、複数の画素として、変倍画像の画素数よりも多い画素を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法等に関する。
【背景技術】
【０００２】
内視鏡システムのような撮像装置においては、例えば大腸の診断時にヒダの裏側にある病変等を見逃さないため、出来るだけ広角な光学系が望ましい。従来の内視鏡システムで使用される光学系の画角は一般的に１４０〜１７０度程度であるが、例えば特許文献１に示すような、１８０度以上の画角を持つ超広角の光学系を使用することで、より病変の見逃しを少なくすることが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３４５５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、前述したような超広角の光学系においては、一般的に歪曲収差が非常に大きくなる。この結果、画像周辺部での局所的な倍率が画像中心部と比較して小さくなるため、例えば画像の周辺部に病変等が存在する場合はそのサイズが非常に小さくなってしまい、観察が困難になる。このような問題を避けるには、例えば画像の周辺部を画像処理で拡大することが考えられるが、この場合、病変のサイズは大きくなるが画像がボケてしまうため、画質が悪化するという課題があった。
【０００５】
本発明の幾つかの態様によれば、第１の処理領域では、第２の処理領域に対して相対的な拡大処理を行いつつ、撮像した画像に比べて解像度の低下を抑止する撮像装置及び撮像方法等を提供することができる。
【０００６】
また、本発明の幾つかの態様によれば、撮像した画像に比べて解像度を落とすことなく、局所倍率の小さい領域を局所倍率の大きい領域に対して相対的に拡大する撮像装置及び撮像方法等を提供することができる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、撮像光学系により結像される被写体像から画像信号を生成する複数の画素を有する撮像素子と、前記複数の画素分の画像信号からなる原画像に対して変倍処理を施す変倍処理部と、前記変倍処理後の画像を変倍画像として出力する出力部と、を含み、前記変倍処理部は、前記変倍画像上の注目画素の位置に応じて異なる変倍率で前記変倍処理を行い、前記撮像素子は、前記複数の画素として、前記変倍画像の画素数よりも多い画素を有する撮像装置に関係する。
【０００８】
本発明の一態様では、変倍処理部は変倍画像上の注目画素の位置に応じて異なる変倍率で変倍処理を行い、撮像素子は変倍画像の画素数よりも多い画素を有する。よって、原画像として変倍画像よりも画素数の多い画像を取得しつつ、位置に応じて変倍率を異ならせて変倍処理を行うことになるため、歪みを解消するとともに、位置によっては解像度を原画像に比べて落とすことなく変倍画像を取得すること等が可能になる。
【０００９】
また、本発明の他の態様は、撮像光学系により結像される被写体像から画像信号を生成する複数の画素での、前記画像信号に基づいて原画像を取得し、前記原画像に対して、注目画素の位置に応じて異なる変倍率で変倍処理を行うことで、前記原画像の画素数よりも少ない画素数の画像である変倍画像を取得し、前記変倍処理後の画像を前記変倍画像として出力する撮像方法に関係する。
【図面の簡単な説明】
【００１０】
【図１】本実施形態のシステム構成例。
【図２】被写界深度を説明する図。
【図３】球面上の病変部１及び病変部２を撮像する例。
【図４】病変部１及び病変部２を撮像した原画像の例。
【図５】病変部１及び病変部２を撮像した原画像に対して変倍処理を施した変倍画像の例。
【図６】画像左上の点を原点に取った場合の変倍画像の例。
【図７】光軸に対応する点を原点に取った場合の変倍画像の例。
【図８】光軸に対応する点を原点に取った場合の原画像の例。
【図９】ｉｈＯｕｔとｉｈＲａｔｉｏの関係を説明する図。
【図１０】ｓｈｉｆｔＹとｉｎＳｈｉｆｔＹの関係を説明する図。
【図１１】バイリニア法を説明する図。
【図１２】ｓｈｉｆｔＸ＝０の場合の処理を説明するための変倍画像の例。
【図１３】ｓｈｉｆｔＸ＝０の場合の処理を説明するための原画像の例。
【図１４】本実施形態における局所倍率を説明するための図。
【図１５】ｓｈｉｆｔＹとｉｎＳｈｉｆｔＹの関係を説明する他の図。
【図１６】従来の光学系と本実施形態の広角の光学系の特性を説明する図。
【図１７】撮像光学系の光軸に対する前方領域、側方領域及び後方領域を説明する図。
【図１８】画素間引き処理における対象画素を説明する図。
【発明を実施するための形態】
【００１１】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１２】
１．本実施形態の手法
【００１３】
まず、本実施形態の手法について説明する。内視鏡装置等の撮像装置では、従来の撮像光学系の画角（例えば１４０°〜１７０°）に比べて広い画角（１８０°以上）の光学系が用いることが考えられる。これは、大腸等の撮影を行う際に、ヒダの裏側等まで十分に撮像範囲に収まるようにすることで、従来の光学系では撮像が困難だった部位にある病変部等を撮像可能にするためのものである。
【００１４】
画角の広い光学系を用いた場合には、歪曲収差等の影響が大きくなり、画像に歪みが生じる。例えば、画像の中心部に比べて周辺部がつぶれてしまうようなケースが考えられる。これに対処するため、例えば局所倍率が小さい領域（例えば周辺部）を拡大することにより、画像の歪みを解消し、見やすい画像を取得する手法が考えられる。
【００１５】
しかし、このような手法ではつぶれた領域を拡大することになるため、病変サイズは大きくなるものの、拡大対象となる領域での画像の解像度が低下することになり、ボケ等の要因になってしまうという問題がある。
【００１６】
そこで、本出願人は以下の手法を提案する。まず、撮像素子により撮像する画像（原画像）は、表示部に表示される画像（変倍画像）に比べて解像度が高い（画素数が多い）ものとする。そして、局所倍率が小さくつぶれてしまった領域に対しては、ほぼ１倍の倍率で変倍処理を行う。それに対して、局所倍率が大きくつぶれていない領域に対しては、β倍の倍率で縮小処理を行う。ここで、変倍画像に対する原画像の１辺の長さの比をα（上述の設定よりα＞１）とすると、β＜（１／α）となる。つまり、原画像の全領域に対して均等に１／α倍の縮小処理を行ったときに、変倍画像と原画像の歪み具合が同等になるのであるが、本実施形態では、周辺部では縮小度合いを小さく（望ましくは１倍に）し、中心部では１／α倍よりも縮小度合いを大きくすることで、歪みを解消している。中心部に対して周辺部を相対的に拡大するという点では、上述の手法と同様であるが、本実施形態では、原画像を解像度の高い画像としているため周辺部の倍率を等倍に近い値に設定できることになり、結果として周辺部の解像度を落とすことを抑止できるという利点がある。なお、周辺部の倍率（変倍率）は１倍そのものに限定されるわけではない。
【００１７】
以下、システム構成例、画角と被写界深度の関係について説明した後、変倍処理について詳しく説明する。
【００１８】
２．システム構成例
【００１９】
本実施形態に係る撮像装置の具体例である内視鏡システムについて、図１を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。
【００２０】
光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を備えている。
【００２１】
撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光した反射光を検出するための撮像素子２４０を備えている。本実施の形態において、対物レンズ２３０は例えば画角が２２０度程度の超広角レンズである。撮像素子２４０は例えばベイヤ配列の色フィルタを持つ撮像素子である。
【００２２】
処理部３００はＡＤ変換部３１０と、画像処理部３２０と、制御部３３０と、変倍処理部３４０と、出力部３５０を備えている。ただし、処理部３００は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。ＡＤ変換部３１０は、撮像素子２４０から出力されるアナログ信号をデジタルの画像信号（以下、単に画像と呼ぶ）に変換して画像処理部３２０に出力する。画像処理部３２０は、ＡＤ変換部３１０から出力された画像に対してホワイトバランス、デモザイキング処理、色変換、階調変換等の各種の画像処理を施し、変倍処理部３４０に画像を出力する。変倍処理部３４０は、画像処理部３２０から出力された画像に対して変倍処理を行い、出力部３５０に画像を出力する。変倍処理部３４０の詳細については後述する。出力部３５０は、変倍処理部３４０から出力された画像を、表示部４００に対応した画像の形式（デジタル信号、アナログ信号のどちらでもよい）に変換し、表示部４００に出力する。表示部４００は例えば液晶モニタであり、出力部３５０から出力される画像を表示する。
【００２３】
制御部３３０は、画像処理部３２０、変倍処理部３４０、外部Ｉ／Ｆ部５００と双方向に接続されており、外部Ｉ／Ｆ部５００からの入力情報に従ってこれらを制御する。外部Ｉ／Ｆ部５００は、この撮像装置に対するユーザからの入力等を行うためのインターフェースであり、撮影の開始／終了を行うためのスタートボタンや、各種の撮影条件、表示条件を調整するための調整ボタンなどを含んで構成されている。
【００２４】
３．画角と被写界深度の関係
【００２５】
ここで内視鏡システムにおける、対物レンズ（以下、光学系と呼ぶ）の画角と被写界深度の関係について説明する。
【００２６】
内視鏡システムにおいては、ドクターの診断に支障をきたさないため、広い被写界深度が必要である。このため、従来の内視鏡システムでは比較的Ｆナンバーが大きい光学系を使用して、被写界深度を広くすることでこのような性能を達成している。しかし近年、内視鏡システムにおいても数十万画素程度の高画素の撮像素子が使用されるようになっている。光学系が一定の場合、その被写界深度は許容錯乱円の大きさによって決定されるが、高画素の撮像素子では画素ピッチと共に許容錯乱円も小さくなるため撮像装置の被写界深度は狭くなる。また、被写界深度を広くするために光学系のＦナンバーを大きくすると、回折の影響により光学系の結像性能が劣化する。このため、ドクターの診断に支障をきたさない被写界深度を維持するには、撮像素子の画素数にある程度の上限が存在する。
【００２７】
一方、被写界深度は撮像素子の画素数や光学系のＦナンバーだけでなく、光学系の焦点距離によっても大きく変動し、焦点距離が短くなるほど被写界深度は広くなる。本実施形態が備えるような超広角の光学系では、撮像素子のサイズが同じと仮定した場合、画角が１４０〜１７０度程度の従来の光学系に対して焦点距離が２/３程度になることが経験的に知られている。この結果、本実施形態のような超広角の光学系を備える内視鏡システムでは、ドクターの診断に支障をきたさない被写界深度を維持しながら、従来の内視鏡システムと比較して画素ピッチの小型化（撮像素子の高画素化）が可能になる。
【００２８】
このことを説明するため、まず被写界深度について図２を用いて詳細に説明する。ここで右向きの矢印は正の値のベクトルを表し、左向きの矢印は負の値のベクトルを表している。まず光学系の後側焦点位置からＸＢ’の位置に画素ピッチ（１画素の縦横の寸法）がＰの撮像素子を配置した場合を考える。この時、撮像素子の撮像面上で光学系の結像性能が最も良くなる被写体の位置（フォーカス位置）は、光学系の前側焦点位置からＸＢの位置として表される。ＸＢは以下のニュートンの結像式からＸＢ’が決まると一義的に算出される。ここでｆは光学系の焦点距離である。
【００２９】
XB・XB’=-f2 ・・・・・（１）
【００３０】
被写体をＸＢからＸＮの位置まで移動させると、その時の像面位置ＸＮ’は撮像面から光学系と反対方向に移動する。しかし撮像面における錯乱円の直径が、撮像装置の分解能Ｋ・Ｐ（ただしＫはフィルタ配列や補間処理によって決まる係数）より小さい場合、ＸＮの物体はピントが合っていると見なすことができる。撮像面における錯乱円の直径がＫ・Ｐ以下になる範囲を近点側の被写界深度と定義し、錯乱円の直径がＫ・Ｐと一致する被写体の位置を近点と呼ぶことにする。今後は近点の位置を、前側焦点位置からＸＮの位置として表す。遠点側も被写界深度の定義は同様であり、遠点側で錯乱円の直径がＫ・Ｐと一致する被写体の位置を遠点と呼ぶ。今後は遠点の位置を、前側焦点位置からＸＦの位置として表す。
【００３１】
被写体が近点にある時の撮像面における錯乱円の直径は、光学系の開口数ＮＡ’ = ｓｉｎ ｕ’（ここでｕ’は図２に示す撮像面へ入射する光線と光軸のなす角）を用いて下式（２）のように近似できる。
【００３２】
錯乱円の直径＝2（XN’-XB’）×NA’ ・・・・・（２）
【００３３】
近点で錯乱円の直径はＫ・Ｐに一致するため、下式（３）が成り立つ。
2（XN’-XB’）・NA’=K・P ・・・・・（３）
【００３４】
Ｆナンバーと開口数の関係式である下式（４）を用いて式（３）を変形すると、下式（５）となる。ここでＦは光学系のＦナンバーである。
【数１】
XN’-XB’=K・P・F ・・・・・（５）
【００３５】
さらに上式（１）で示したニュートンの式を用いて上式（５）を変形すると、下式（６）に示す近点側の被写界深度の関係式が成立する。
【数２】
【００３６】
近点側と同様の方法で遠点側の被写界深度の関係式を算出すると下式（７）のようになる。
【数３】
【００３７】
式（６）、（７）はさらに下式（８）、（９）のように変形でき、これらを用いて近点の位置ＸＮ及び遠点の位置ＸＦを算出できる。以下ではこの近点と遠点の間の範囲を被写界深度と呼ぶことにする。
【数４】
【数５】
【００３８】
図１６に上式（８）、（９）を用いて被写界深度を算出した一例を示す。ここでは従来の内視鏡システムにおける光学系の焦点距離を１.８ｍｍ、超広角の内視鏡システムにおける光学系の焦点距離を１.２ｍｍ（従来の光学系の焦点距離の２/３に相当）として計算を行った。その他の値は図１６に示すとおりである。この結果、超広角の内視鏡システムでは画素ピッチが従来の内視鏡システムの半分になっているにもかかわらず、より広い被写界深度を達成できていることがわかる。ここで厳密には、画素ピッチを小さくした場合は回折の影響が大きくなるため、光学系が十分な結像性能を得るにはＦナンバーを小さくする必要がある。しかし、このような調整を行った場合も、超広角の内視鏡システムでは、従来の内視鏡システムと比較して画素ピッチの小型化（撮像素子の高画素化）が可能であるという定性的な結果に変わりはない。
【００３９】
４．変倍処理
【００４０】
次に、本実施形態における変倍処理部３４０の詳細について説明する。ここでは説明を簡易にするため、撮像素子２４０の水平および垂直方向の画素数をα・Ｎ画素、出力部３５０から出力される画像の水平および垂直方向の画素数をＮ画素として説明を行う。出力部３５０から出力される画像の画素数（Ｎ画素×Ｎ画素）は、例えば表示装置４００で最終的に表示される画像の画素数などから決まる値である。また、αは１よりも大きい任意の値であり、このため撮像素子２４０で取得される画像（α・Ｎ画素×α・Ｎ画素）は、出力部３５０から出力される画像（出力画像）よりも解像度の高い画像となる。
【００４１】
図３は球面状の被写体の上に位置する病変部１と病変部２を、撮像部２００で撮影している状態を表した図である。また、図４はこの状態で画像処理部３２０から変倍処理部３４０に出力される画像を表した図である。画像処理部３２０から変倍処理部３４０に出力される画像の画素数は、撮像素子２４０の画素数と同じα・Ｎ×α・Ｎ画素である。本実施形態で使用されているような超広角の光学系では、歪曲収差が非常に大きいため、画像周辺部の局所的倍率は画像中心部と比較して小さくなる。この結果、画像の周辺部に位置する病変部２は、画像の中心に位置する病変部１と比較して、画像上のサイズが非常に小さくなる。
【００４２】
図１４は前述した局所倍率の概念を示した図である。ここでは例えば対物レンズの入射瞳を球面状の被写体の中心付近に配置し、球面状の被写体上での微小な距離Δｄ１およびΔｄ２と、これに対応する撮像素子上の距離Δｄ’１およびΔｄ’２の比を局所倍率とすればよい。ここでΔｄ１とΔｄ２は同じ距離である。本実施形態では前述のように歪曲収差が非常に大きいため、画像周辺部の局所倍率Δｄ’２/Δｄ２は、画像中心部の局所倍率Δｄ’１/Δｄ１と比較して小さくなる。
【００４３】
変倍処理部３４０はまず変倍処理後の画像に対して、画素値を算出したい注目画素の座標（ｏｕｔＸ,ｏｕｔＹ）を取得する。ここで変倍処理後の画像は図６に示すようにＮ×Ｎ画素の画像であり、（ｏｕｔＸ,ｏｕｔＹ）は左上画素を基準とした座標である。次に変倍処理部３４０は図７に示すように、注目画素の座標（ｏｕｔＸ,ｏｕｔＹ）を、下式（１０）を用いて画像中心（光学系の光軸に対応する画像上の点）を基準とした座標（ｓｈｉｆｔＸ,ｓｈｉｆｔＹ）に変換する。ここで（ｏｕｔＣｅｎｔＸ,ｏｕｔＣｅｎｔＹ）は、変倍処理後の画像中心の座標である。
【００４４】
shiftX=outX-outCentX
shiftY=outY-outCentY ・・・・・（１０）
【００４５】
次に変倍処理部３４０は、下式（１１）を用いてｉｈＯｕｔを算出する。ここでｉｈＯｕｔ_ｍａｘは変倍処理後の画像における画像中心からの最大距離であり、ｉｈＯｕｔは画像中心から注目画素までの距離とｉｈＯｕｔ_ｍａｘとの比である。
【数６】
【００４６】
次に変倍処理部３４０は、ｉｈＯｕｔを用いてｉｈＲａｔｉｏを算出する。ｉｈＲａｔｉｏはｉｈＯｕｔで決まる値であり、例えば図９に示すようなｉｈＯｕｔとｉｈＲａｔｉｏの関係を表すデータがＬＵＴとしてメモリに保存されている。このＬＵＴ用いて線形補間等の処理を行うことで、すべてのｉｈＯｕｔの値に対応するｉｈＲａｔｉｏを算出することができる。
【００４７】
次に変倍処理部３４０は、算出したｉｈＲａｔｉｏから下式（１２）を用いて、変倍処理後の画像の座標（ｓｈｉｆｔＸ,ｓｈｉｆｔＹ）に対応する変倍処理前の画像の座標（ｉｎＳｈｉｆｔＸ,ｉｎＳｈｉｆｔＹ）を算出する。（ｉｎＳｈｉｆｔＸ,ｉｎＳｈｉｆｔＹ）は、図８に示すように変倍処理前の画像中心を基準とした座標である。
【００４８】
inShiftX=shiftX*ihRatio*α
inShiftY=shiftY*ihRatio*α ・・・・・（１２）
【００４９】
次に変倍処理部３４０は、算出した座標（ｉｎＳｈｉｆｔＸ,ｉｎＳｈｉｆｔＹ）を、下式（１３）を用いて、画像の左上画素を基準とした座標（ｉｎＸ,ｉｎＹ）に変換する。ここで（ｉｎＣｅｎｔＸ,ｉｎＣｅｎｔＹ）は、変倍処理前の画像の中心座標である。この座標（ｉｎＸ,ｉｎＹ）が、変倍処理後の注目画素の座標（ｏｕｔＸ,ｏｕｔＹ）に対応する変倍処理前の画像の座標である。
【００５０】
inX=inShiftX+inCentX
inY=inShiftY+inCentY ・・・・・（１３）
【００５１】
次に変倍処理部３４０は、算出した変倍処理前の画像の座標（ｉｎＸ,ｉｎＹ）から、変倍処理後の注目画素（ｏｕｔＸ,ｏｕｔＹ）の画素値Ｉ（ｏｕｔＸ,ｏｕｔＹ）を算出する。ここでは例えばニアレストネイバー法やバイリニア法など補間処理を用いて注目画素の画素値を算出すればよい。ニアレストネイバー法では、例えば図１１に示すように変倍処理前の画像において、算出した（ｉｎＸ,ｉｎＹ）からの距離が最も近い画素ｐ１１の画素値を変倍処理後の注目画素の画素値Ｉ（ｏｕｔＸ,ｏｕｔＹ）とすればよい。また、バイリニア法では変倍処理前の画像において、算出した（ｉｎＸ,ｉｎＹ）の周辺４画素の画素値を用いて以下の（１４）式で注目画素の画素値Ｉ（ｏｕｔＸ,ｏｕｔＹ）を算出すればよい。さらに、その他の既存の補間処理を用いても、注目画素の画素値Ｉ（ｏｕｔＸ，ｏｕｔＹ）を算出することが可能であることは言うまでもない。
I（outX,outY）=（floor（inX）+1-inX）*（floor（inY）+1-inY）*p00
+（floor（inX）+1-inX）*（inY-floor（inY））*p10
+（inX-floor（inX））*（floor（inY）+1-inY）*p01
+（inX-floor（inX））*（inY-floor（inY））*p11 ・・・・・（１４）
【００５２】
ここで、図９に示したｉｈＯｕｔとｉｈＲａｔｉｏの関係を表すデータを算出するための手法について説明する。ここでは説明を簡単にするため、ｓｈｉｆｔＸ＝０とした場合のｓｈｉｆｔＹと、それに対応するｉｎＳｈｉｆｔＹを用いて説明を行う。図１０は本実施形態において、ｓｈｉｆｔＸ＝０とした場合のｓｈｉｆｔＹと、それに対応するｉｎＳｈｉｆｔＹの関係を示した図である。式（１２）から分かるようにｓｈｉｆｔＸ＝０とした場合はｉｎＳｈｉｆｔＸ＝０となる。このため図１０は図１２と図１３に示すように画像中心を基準とした垂直方向の直線上でのｓｈｉｆｔＹとｉｎＳｈｉｆｔＹの関係を示している。ここでｓｈｉｆｔＹは、画像中心を基準とした変倍処理後の画像の座標であるから、取りうる値は０からＮ／２の範囲の値である。またｉｎＳｈｉｆｔＹは、画像中心を基準とした変倍処理前の画像の座標であるから、取りうる値は０から（α・Ｎ）／２の範囲の値である。
【００５３】
本実施形態では、画像の周辺部に位置する病変部２の画像上のサイズが相対的に拡大され、なおかつ拡大処理に伴う解像力の劣化がほとんど無い出力画像を得ることを目的としている。この様な目的を達成するため、本実施形態では、図９に示す画像周辺部においては変倍率が１となるように、画像中心部においては変倍率がβとなるように、ｉｈＯｕｔに対応するｉｈＲａｔｉｏの値を決定している。ここでβは１／αよりも小さな任意の正の値である。また、変倍率とは、変倍処理後の画像に対する変倍処理前の画像の、半径方向（注目画素から画像中心に向かう方向）における画素数の比を示している。すなわち、例えば変倍率が１であれば変倍処理後の画像と変倍処理前の画像の半径方向の画素数は同じであり、変倍率が０.５であれば変倍処理後の画像の半径方向の画素数は変倍処理前の画像の半分となる。
【００５４】
まず画像周辺部では、ｓｈｉｆｔＹの値がＮ／２-ｉの時にｉｎＳｈｉｆｔＹの値が（α・Ｎ）／２-ｉとなるようにｉｈＲａｔｉｏの値を算出する。ここでｉは任意の正の数である。このようにｉｈＲａｔｉｏを算出することで、画像周辺部においては変倍処理前の画像の半径方向の画素数と、変倍処理後の画像の半径方向の画素数が等しくなるため、変倍処理後の画像の解像力は変倍処理前の画像の解像力と等しくなる。具体的には、式（１２）のｉｎＳｈｉｆｔＹに（α・Ｎ）／２-ｉを代入し、ｓｈｉｆｔＹにＮ／２-ｉを代入して式の変形を行うことで、任意の値ｉに対するｉｈＲａｔｉｏは下式（１５）で与えられる。
【数７】
【００５５】
次に画像中心部では、ｓｈｉｆｔＹの値がβ・ｉの時にｉｎＳｈｉｆｔＹの値がｉとなるようにｉｈＲａｔｉｏの値を算出する。ここでｉは任意の正の数である。このようにｉｈＲａｔｉｏを算出することで、画像中心部においては変倍処理後の画像の半径方向の画素数が、変倍処理前の画像の半径方向の画素数のβ倍になる（β倍の縮小処理が行われる）ため、変倍処理後の画像の解像力は変倍処理前の画像の解像力のβ倍になる。具体的には、（１２）式のｉｎＳｈｉｆｔＹにｉを代入し、ｓｈｉｆｔＹにβ・ｉを代入して式の変形を行うことで、任意の値ｉに対するｉｈＲａｔｉｏは下式（１６）で与えられる。
【数８】
【００５６】
また、画像中心部と画像周辺部の間の範囲におけるｉｈＲａｔｉｏの値は、変倍処理後の画像が不自然な画像とならないように、例えば図９に示したようにｉｈＲａｔｉｏが連続的に変化するような直線でつなげばよい。
【００５７】
本実施形態では、画像中心に対して軸対象に同様の処理が行われるため、変倍処理後の画像は図５に示すように画像中心部では変倍処理前の画像が縮小され、画像周辺部では変倍処理前の解像力が維持されたような画像となる。このため表示部４００で表示される画像は、画像中心部と比べて相対的に画像周辺部が拡大されながら、拡大処理に伴う解像力の劣化が無い画像となる。この結果、画像周辺部に病変が位置する場合も、ユーザは光学系の歪曲収差の影響が低減された、高画質な画像を観察することが可能になる。
【００５８】
さらに本実施形態では、図９に示したｉｈＯｕｔとｉｈＲａｔｉｏの関係を表すＬＵＴの値を調整することで、変倍処理後の画像中心部と画像周辺部の倍率をそれぞれ調整することが可能である。ここでは例えば画像周辺部において、変倍処理後の画像が変倍処理前の画像よりも大きく拡大されるような（変倍率が１より大きくなるような）変倍処理を行っても良い。この場合は、画像周辺部の解像力が変倍前の画像の解像力よりも向上することは無いが、本実施形態のように出力部３５０から出力される画像の画素数よりも十分に画素数の多い撮像素子を使用することで、出力部３５０から出力される画像の画素数と同等以下の画素数の撮像素子を使用する場合に比べて、変倍処理後の画像周辺部の画質の劣化を低減することができる。また、本実施形態では画像中心部および画像周辺部の境界で変倍率が急峻に変化するような変倍処理となっているが、変倍率がなだらかに変化するようにｉｈＲａｔｉｏの値を調整してもよい。
【００５９】
さらに本実施形態では、例えば予めｉｈＯｕｔに対するｉｈＲａｔｉｏの特性が異なる幾つかのＬＵＴを用意しておき、ユーザが外部Ｉ／Ｆ部５００からモードを選択することで、異なるＬＵＴが選択されるようにしても良い。このような処理を行うことで、ユーザの好みに応じた異なる変倍処理を行うことが可能になる。
【００６０】
また、以上の説明では画像周辺部の変倍率を１倍として説明したが、これに限定されるものではない。画像周辺部の変倍率をγ倍（γは例えば０.８〜１.２倍程度の任意の値）としてもよい。この場合、画像の最周辺部（ｉ＝０の部分）では、γの値にかかわらずｉｈＲａｔｉｏ＝１となるため、上式（１２）はそのまま用いることができる。また、画像周辺部では、ｓｈｉｆｔＹの値がＮ／２-γ・ｉの時にｉｎＳｈｉｆｔＹの値が（α・Ｎ）／２-ｉとなるようにｉｈＲａｔｉｏの値を算出する。ここでｉは任意の正の数である。このようにｉｈＲａｔｉｏを算出することで、画像周辺部においては変倍処理後の画像の半径方向の画素数が、変倍処理前の画像の半径方向の画素数のγ倍になる（γ倍の拡大もしくは縮小処理が行われる）。具体的には、（１２）式のｉｎＳｈｉｆｔＹに（α・Ｎ）／２-ｉを代入し、ｓｈｉｆｔＹにＮ／２-γ・ｉを代入して式の変形を行うことで、任意の値ｉに対するｉｈＲａｔｉｏは下式（１７）で与えられる。
【数９】
【００６１】
この時のｓｈｉｆｔＹとｉｎＳｈｉｆｔＹの関係は図１５のようになる。
【００６２】
以上の本実施形態では、撮像装置は、図１に示したように撮像光学系により結像される被写体像から画像信号を生成する複数の画素を有する撮像素子２４０と、複数の画素分の画像信号からなる原画像に対して変倍処理を施す変倍処理部３４０と、変倍処理後の画像を変倍画像として出力する出力部３５０と、を含む。そして変倍処理部３４０は、変倍画像上の注目画素の位置に応じて異なる変倍処理を行う。また、撮像素子２４０は、複数の画素として変倍画像の画素数よりも多い画素を有する。
【００６３】
これにより、出力される変倍画像（例えば図５）に比べて画素数の多い原画像（例えば図６）を撮像した上で、原画像に対して変倍処理を施すことで、変倍画像を取得することが可能になる。変倍処理の際に注目画素の位置に応じて異なる変倍処理（例えば変倍処理に用いられる倍率である変倍率を異ならせる等の処理）を行うことで、画像上における注目画素の位置に基づいた処理が可能になる。これは例えば、画像中心部では変倍率を小さくし、画像周辺部では変倍率を大きくする（例えば１倍等）処理等が考えられる。つまり、注目画素の位置に応じた処理を行うことで、原画像における歪みを解消した変倍画像を取得すること等が可能になる。
【００６４】
その際、原画像を変倍画像よりも大きいものとしておけば、歪みによりつぶれてしまった領域を相対的に拡大する場合に、絶対的な拡大処理を行わなくてもよくなるため、対象領域の画質の劣化を抑止することができる。もし、原画像と変倍画像が同じ大きさであったら、つぶれた領域を大きく表示しようとした場合、例えば５０ピクセルの領域を１００ピクセルに引き延ばすような処理が必要になる。しかし、元々５０ピクセル分の情報しか持っていないものを１００ピクセルに引き延ばしたのでは画質が劣化することになる。その点、原画像において１００ピクセルの大きさを持っていれば（原画像全体が大きいので画像の中では小さくつぶれて見える）、１００ピクセルの領域をそのまま用いれば、変倍画像において１００ピクセルの大きさで表示することができる（変倍画像全体が小さいので相対的に拡大される）ため、画質の劣化はない。
【００６５】
また、変倍画像上の任意の一辺における画素数に対する、原画像上の対応する一辺における画素数の比をαとし、β及びγをβ＜（１／α）＜γを満たす値とする。この場合、変倍処理部３４０は、変倍画像内の第１の処理領域に属する注目画素の位置における変倍率をγ倍に設定するとともに、第１の処理領域とは異なる第２の処理領域に属する注目画素の位置における変倍率をβ倍に設定してもよい。
【００６６】
ここでαは原画像と変倍画像の一辺の長さの比を表し、例えば原画像が２００ピクセル×２００ピクセルの正方形であり、変倍画像が１００ピクセル×１００ピクセルの正方形であるとすればαは２００／１００＝２となる。
【００６７】
これにより、第１の処理領域においては、変倍率を１／αよりも大きく設定するとともに、第２の処理領域においては、変倍率を１／αよりも小さく設定することが可能になる。原画像と変倍画像の一辺の長さの比がαであるから、原画像の全領域に対して１／α倍の倍率で変倍処理（α＞１であるから実際には縮小処理）を行うことで、原画像の大きさを変倍画像にあわせることが可能になる。しかし、全体を同じ変倍率で変倍処理しても、歪みを解消することはできない。そこで、１／α倍に対して、それよりも小さい倍率での変倍処理（強い縮小処理）をかける第２の処理領域を設けるとともに、１／α倍よりも大きい倍率での変倍処理（弱い縮小処理或いは拡大処理）をかける第１の処理領域を設ける。これにより、第１の処理領域は第２の処理領域に比べて相対的に拡大されることになり、歪みを解消することができる。
【００６８】
また、δをγ＞δ＞βを満たす値とする。この場合、第１の処理領域及び第２の処理領域とは異なる第３の処理領域に対応する変倍率をδ倍に設定してもよい。
【００６９】
これにより、変倍率を２通りに限定することなく、領域の位置に応じて柔軟に設定することが可能になる。よって、領域の境目等における画像の急激な変化等を抑止し、見やすい画像を提供すること等ができる。
【００７０】
また、変倍処理部３４０は、第１の処理領域に属する注目画素の位置における変倍率γとして、１を含む所定の数値範囲において設定される値を用いてもよい。具体的には例えば、０．５〜２．０の範囲において設定される値を用いてもよい。望ましくは例えば、０．８〜１．２の範囲において設定される値を用いる。
【００７１】
これにより、γとして１或いはそれに近い値を用いることが可能になる。γ＝１とは第１の処理領域に属する注目画素の位置における変倍率を１とすることであるから、第１の処理領域では、原画像と変倍画像で半径方向の画素数が等しくなる。このため、画質の劣化や情報の欠落を抑止することができる。ただし、γは１に限定されるものではなく、変倍画像の画質が大きく劣化しない範囲において変更可能である。例えば、ある程度の縮小（捨てられる画素が生じるため、情報の欠落につながる）を行ってもよいし、ある程度の拡大（画像を引き延ばすことになるため、画質の劣化につながる）を行ってもよい。
【００７２】
また、変倍処理部３４０は、注目画素と、撮像光学系の光軸に対応する変倍画像上の点との間の距離に基づいて、注目画素の位置における変倍率を設定してもよい。
【００７３】
ここで、撮像光学系の光軸に対応する変倍画像上の点とは、一般的には変倍画像の中心点に相当する。図６における（ｏｕｔＣｅｎｔＸ，ｏｕｔＣｅｎｔＹ）或いは、図７における（０，０）のことである。ただし、これに限定されるものではない。
【００７４】
これにより、光軸に対応する点と、注目画素との間の距離に応じて変倍率を設定することが可能になる。現在用いられる画角の広い光学系（例えば魚眼レンズ等）では、光軸に対応する点に近い領域に比べて、遠い領域の方が歪曲収差等の影響を受け小さくつぶれてしまう。例えば、本来同じ大きさの病変部が図４に示したように、中心部では適切に表示されるのに対して、周辺部では小さくつぶれることになる。つまり、光軸に対応する点からの距離に応じて変倍率を設定することで、通常用いられる光学系に即した変倍率の設定が可能になる。
【００７５】
また、変倍処理部３４０は、撮像光学系の光軸に対応する点との間の距離が大きい領域を画像周辺部領域とし、撮像光学系の光軸に対応する点との間の距離が画像周辺部領域よりも小さい領域を画像中心部領域としてもよい。そして、画像周辺部領域と画像中心部領域とで異なる変倍率を設定する。
【００７６】
これにより、画像周辺部領域及び画像中心部領域という２つの領域を、光軸に対応する点からの距離という観点から定義することが可能になる。つまり、図６や図７において、画像中心部領域であるか、画像周辺部領域であるかは、あくまで光軸に対応する点（ｏｕｔＣｅｎｔＸ，ｏｕｔＣｅｎｔＹ）や（０，０）に基づいて決定されるものであり、見かけ上の中心である（Ｎ／２，Ｎ／２）とは関係がないものである。これは、画像の歪みは、（ｏｕｔＣｅｎｔＸ，ｏｕｔＣｅｎｔＹ）や（０，０）に基づいて決定され、（Ｎ／２，Ｎ／２）とは関係がないことによる。
【００７７】
また、上述したようにα及びγを（１／α）＜γを満たす値とする。この場合、変倍処理部３４０は、画像周辺部領域に対応する原画像上の領域に属する画素のうち、１／γ画素に１画素の割合で抽出した画素の画素値に基づいて、変倍画像上の画像周辺部領域に属する注目画素の画素値を決定する処理を行うことで、画像周辺部領域での変倍率をγ倍に設定する。
【００７８】
ここで、γは（１／α）＜γという設定であるため、１より大きい可能性もあり、その場合１／γは１以下の値となる。そのためここでは、「１／γ画素に１画素の割合で抽出」する処理を以下のように定義する。まず（１／γ）＞１の時には、そのまま間引き処理を行う。そして、（１／γ）＜１の時には、１画素をγ画素に引き延ばす拡大処理を行う。例えばγ＝２である場合には、「０．５画素に１画素の割合で抽出する」ことになるため、これは１画素を２画素に引き延ばす拡大処理を行えばよい。なお、これらの処理は、上述したようにニアレストネイバー法等を用いて行えばよい。
【００７９】
これにより、具体的な処理として、画素間引き（或いは引き延ばしによる拡大）を行うことで、変倍処理を実現することが可能になる。なお、ここで「１／γ画素に１画素の割合で抽出」する際の１／γ画素の数え方は、光軸に対応する原画像上の点から、注目画素に対応する原画像上の点を結ぶベクトル方向に算出するものとする。よって例えば、図１２、図１３のように光軸に対応する原画像上の点も、注目画素に対応する原画像上の点も、同一の縦軸上にあるとすれば、当該縦軸上に沿った方向において、１／γ画素に１画素の割合で抽出した画素を用いることになる。斜め方向においては例えば図１８に示したように、光軸に対応する点をＢ１、画像周辺部領域をＢ２、光軸に対応する点と注目画素に対応する点を結ぶベクトルをＢ３とした場合には、色をつけた画素の中から、１／γ画素に１画素を抽出することになる。実際の処理は上述したように例えば、ニアレストネイバー法等を用いればよい。なお、γは上述したように１を想定しており、γ＝１が成り立つ場合には、１画素あたり１画素を抽出することになり、原画像と変倍画像において画像周辺部領域の半径方向の大きさが同じ（等倍）になる。
また、上述したようにα及びβをβ＜（１／α）を満たす値とする。この場合、変倍処理部３４０は、画像周辺部領域に対応する原画像上の領域に属する画素のうち、１／β画素に１画素の割合で抽出した画素の画素値に基づいて、変倍画像上の画像周辺部領域に属する注目画素の画素値を決定する処理を行うことで、画像周辺部領域での変倍率をβ倍に設定する。
【００８０】
ここで、β＜（１／α）＜１であるため、上述したγのような拡大処理を考慮する必要はない。
【００８１】
これにより、具体的な処理として、画素間引きを行うことで、変倍処理を実現することが可能になる。具体的な手法については、上述したγのケースと同様であるため、詳細な説明は省略する。
【００８２】
また、撮像素子２４０は、原画像に対応する画像信号として、撮像光学系の歪曲収差の影響によって、原画像上の位置に応じて局所倍率が異なる画像信号を取得する。そして、変倍処理部３４０は、変倍画像上の注目画素に対応する原画像上の注目点の局所倍率に基づいて変倍率を設定する。
【００８３】
ここで、局所倍率は、図１４におけるΔｄ１とΔｄ’１の比、或いはΔｄ２とΔｄ’２の比として定義される。図１４の例では実線で描かれたΔｄ１に関する局所倍率に比べて、点線で描かれたΔｄ２に関する局所倍率の方が小さくなる。
【００８４】
これにより、局所倍率に基づいた変倍処理が可能になる。局所倍率の大小により、対象領域が大きく表示されるか、小さくつぶれてしまうかが決まるため、局所倍率に基づく処理を行うことで、つぶれた領域に対して適切な歪み補正を行うことが可能になる。
【００８５】
また、変倍処理部３４０は、局所倍率が他の領域に比べて小さい領域における変倍率を、当該他の領域における変倍率に比べて大きく設定する。
【００８６】
これにより、局所倍率が相対的に小さい領域、つまり小さくつぶれてしまっている領域では、局所倍率が相対的に大きい領域、つまりあまりつぶれていない領域に比べて変倍率を大きく設定できる。そのため、つぶれた領域に対して適切な歪み補正を行うことが可能になる。
【００８７】
また、画像周辺部領域に対応する原画像上の注目点の局所倍率が、画像中心部領域に対応する原画像上の注目点の局所倍率に比べて小さい場合に、変倍処理部３４０は、画像周辺部領域の変倍率を画像中心部領域の変倍率に比べて大きく設定する。
【００８８】
これにより、画像周辺部領域を画像中心部領域に比べて相対的に拡大することが可能になり、歪みを解消することができる。これは言い換えれば、局所倍率の大小によって、画像周辺部領域と画像中心部領域を定義しているとも言える。
【００８９】
また、撮像装置は表示部４００をさらに含んでもよい。そして変倍処理部３４０は、表示部に変倍画像の全体を表示する場合であっても、第１の処理領域に属する注目画素の位置における変倍率をγ倍に設定する。
【００９０】
これにより、画像全体を表示した上で、特定の領域（第１の処理領域）の倍率をγ倍に設定することが可能になる。γは上述してきたように１程度の値を想定している。デジタルスチルカメラの背面液晶のように、撮像光学系で取得された画像の画素数に比べて、表示部での画素数が少なくなるシステムは知られている。しかし、そのようなシステムでは、画像全体を縮小する程度は大きく（つまり変倍率はかなり小さく）、１倍に近い倍率の領域を設定することは考えられない。１倍に近い画像（撮像光学系で得られたものと同等に高精細な画像）を表示するためには当該領域のみを表示部全体に拡大して表示する等の処理が必要であった。その点、本実施形態の手法では、１倍に近い倍率の領域を設定しつつも、特定の領域だけを表示するのではなく、画像全体を表示するように他の領域の変倍率を調整することが可能である。
【００９１】
また、撮像素子２４０は、原画像に対応する画像信号として、撮像光学系の歪曲収差の影響により歪みが生じた画像信号を取得してもよい。
【００９２】
これにより、撮像素子２４０において、歪曲収差の影響による歪みを持つ画像を取得することが可能になる。歪曲収差については樽型等、その歪み方について広く知られているため、そのような光学的な特性を考慮することで、効率的に歪み補正を行うことが可能になる。
【００９３】
また、撮像光学系は、画角が１８０°以上であってもよい。
【００９４】
これにより、従来より広い画角の撮像光学系を用いることが可能になる。例えば内視鏡用途に用いるのであれば、大腸等のヒダの裏側にある病変部等の探索に効果を発揮する。
【００９５】
また、撮像光学系の光軸を含む領域を前方領域とし、光軸に直交する軸を含む領域を側方領域とした場合に、撮像光学系は前方領域又は側方領域に設定される撮像領域を撮像可能な光学系であってもよい。
【００９６】
ここで、前方領域及び側方領域は図１７のように定義される。図１７のＣ１が前方領域となり、Ｃ２及びＣ３が側方領域である。また、図１７では平面的に描いたが、当然領域は３次元的な広がりを持っていてもよい。
【００９７】
これにより、前方のみならず、側方に対しても撮像領域を設定可能になるため、広い領域を撮像することができる。
【００９８】
また、撮像光学系の光軸方向と反対方向の軸を含む領域を後方領域とした場合に、撮像光学系は後方領域内に設定される撮像領域を撮像可能な光学系であってもよい。
【００９９】
ここで、後方領域は図１７のＣ４のように定義される。後方領域が３次元的な広がりを持ってもよいのは上述した例と同様である。
【０１００】
これにより、後方に対しても撮像領域を設定可能になる。より広い範囲を撮像可能になるため、例えば内視鏡用途等では、病変部のサーチ等を効率的に行うことができる。
【０１０１】
また、変倍処理部３４０は、ユーザによる変倍モード切替指示に基づいて、変倍処理における処理内容を切り替えてもよい。
【０１０２】
これにより、ユーザの操作指示を反映した変倍処理を行うことが可能になり、より柔軟に変倍処理を行うことができる。例えば、変倍処理により画質が劣化したとしても、人の目で見てその劣化を認識できないレベルであれば、当該変倍処理は妥当なものと言える。よって、ユーザの変倍処理後の変倍画像を試験的に提示し、ユーザが許容できる範囲をユーザの目で認識した結果に基づいて設定させるような処理を行ってもよい。
【０１０３】
また、撮像装置は内視鏡装置であってもよい。
【０１０４】
これにより、上述してきた撮像装置として内視鏡装置を用いることが可能になる。内視鏡装置においては、病変部のサーチ等が行われるため、広範囲を観察することによるメリットが大きい。また、大腸のヒダ構造のように、視界を遮蔽するような構造を持つ部位が生体内にはあるため、そのような部位を観察する際には、それぞれのヒダの裏側に撮像部を挿入しなくても済むように広い画角を撮像可能であることが望ましい。本実施形態の撮像装置を内視鏡装置に用いることで上述したような要望に応えることが可能になる。
【０１０５】
また、以上の本実施形態は、撮像光学系により結像される被写体像から画像信号を生成する複数の画素での画像信号に基づいて原画像を取得し、原画像に対して、注目画素の位置に応じて異なる変倍率で変倍処理を行うことで、原画像の画素数よりも少ない画素数の画像である前記変倍画像を取得し、変倍処理後の画像を変倍画像として出力する撮像方法に関係する。
【０１０６】
これにより、撮像装置に限定されず、本実施形態の手法を用いた撮像方法を実現することが可能になる。
【０１０７】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像装置等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１０８】
１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 対物レンズ、
２４０ 撮像素子、３００ 処理部、３１０ ＡＤ変換部、３２０ 画像処理部、
３３０ 制御部、３４０ 変倍処理部、３５０ 出力部、４００ 表示部、
５００ 外部Ｉ／Ｆ部
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法等に関する。
【背景技術】
【０００２】
内視鏡システムのような撮像装置においては、例えば大腸の診断時にヒダの裏側にある病変等を見逃さないため、出来るだけ広角な光学系が望ましい。従来の内視鏡システムで使用される光学系の画角は一般的に１４０〜１７０度程度であるが、例えば特許文献１に示すような、１８０度以上の画角を持つ超広角の光学系を使用することで、より病変の見逃しを少なくすることが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３４５５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、前述したような超広角の光学系においては、一般的に歪曲収差が非常に大きくなる。この結果、画像周辺部での局所的な倍率が画像中心部と比較して小さくなるため、例えば画像の周辺部に病変等が存在する場合はそのサイズが非常に小さくなってしまい、観察が困難になる。このような問題を避けるには、例えば画像の周辺部を画像処理で拡大することが考えられるが、この場合、病変のサイズは大きくなるが画像がボケてしまうため、画質が悪化するという課題があった。
【０００５】
本発明の幾つかの態様によれば、第１の処理領域では、第２の処理領域に対して相対的な拡大処理を行いつつ、撮像した画像に比べて解像度の低下を抑止する撮像装置及び撮像方法等を提供することができる。
【０００６】
また、本発明の幾つかの態様によれば、撮像した画像に比べて解像度を落とすことなく、局所倍率の小さい領域を局所倍率の大きい領域に対して相対的に拡大する撮像装置及び撮像方法等を提供することができる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、撮像光学系により結像される被写体像から画像信号を生成する複数の画素を有する撮像素子と、前記複数の画素分の画像信号からなる原画像に対して変倍処理を施す変倍処理部と、前記変倍処理後の画像を変倍画像として出力する出力部と、を含み、前記変倍処理部は、前記変倍画像上の注目画素の位置に応じて異なる変倍率で前記変倍処理を行い、前記撮像素子は、前記複数の画素として、前記変倍画像の画素数よりも多い画素を有する撮像装置に関係する。
【０００８】
本発明の一態様では、変倍処理部は変倍画像上の注目画素の位置に応じて異なる変倍率で変倍処理を行い、撮像素子は変倍画像の画素数よりも多い画素を有する。よって、原画像として変倍画像よりも画素数の多い画像を取得しつつ、位置に応じて変倍率を異ならせて変倍処理を行うことになるため、歪みを解消するとともに、位置によっては解像度を原画像に比べて落とすことなく変倍画像を取得すること等が可能になる。
【０００９】
また、本発明の他の態様は、撮像光学系により結像される被写体像から画像信号を生成する複数の画素での、前記画像信号に基づいて原画像を取得し、前記原画像に対して、注目画素の位置に応じて異なる変倍率で変倍処理を行うことで、前記原画像の画素数よりも少ない画素数の画像である変倍画像を取得し、前記変倍処理後の画像を前記変倍画像として出力する撮像方法に関係する。
【図面の簡単な説明】
【００１０】
【図１】本実施形態のシステム構成例。
【図２】被写界深度を説明する図。
【図３】球面上の病変部１及び病変部２を撮像する例。
【図４】病変部１及び病変部２を撮像した原画像の例。
【図５】病変部１及び病変部２を撮像した原画像に対して変倍処理を施した変倍画像の例。
【図６】画像左上の点を原点に取った場合の変倍画像の例。
【図７】光軸に対応する点を原点に取った場合の変倍画像の例。
【図８】光軸に対応する点を原点に取った場合の原画像の例。
【図９】ｉｈＯｕｔとｉｈＲａｔｉｏの関係を説明する図。
【図１０】ｓｈｉｆｔＹとｉｎＳｈｉｆｔＹの関係を説明する図。
【図１１】バイリニア法を説明する図。
【図１２】ｓｈｉｆｔＸ＝０の場合の処理を説明するための変倍画像の例。
【図１３】ｓｈｉｆｔＸ＝０の場合の処理を説明するための原画像の例。
【図１４】本実施形態における局所倍率を説明するための図。
【図１５】ｓｈｉｆｔＹとｉｎＳｈｉｆｔＹの関係を説明する他の図。
【図１６】従来の光学系と本実施形態の広角の光学系の特性を説明する図。
【図１７】撮像光学系の光軸に対する前方領域、側方領域及び後方領域を説明する図。
【図１８】画素間引き処理における対象画素を説明する図。
【発明を実施するための形態】
【００１１】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１２】
１．本実施形態の手法
【００１３】
まず、本実施形態の手法について説明する。内視鏡装置等の撮像装置では、従来の撮像光学系の画角（例えば１４０°〜１７０°）に比べて広い画角（１８０°以上）の光学系が用いることが考えられる。これは、大腸等の撮影を行う際に、ヒダの裏側等まで十分に撮像範囲に収まるようにすることで、従来の光学系では撮像が困難だった部位にある病変部等を撮像可能にするためのものである。
【００１４】
画角の広い光学系を用いた場合には、歪曲収差等の影響が大きくなり、画像に歪みが生じる。例えば、画像の中心部に比べて周辺部がつぶれてしまうようなケースが考えられる。これに対処するため、例えば局所倍率が小さい領域（例えば周辺部）を拡大することにより、画像の歪みを解消し、見やすい画像を取得する手法が考えられる。
【００１５】
しかし、このような手法ではつぶれた領域を拡大することになるため、病変サイズは大きくなるものの、拡大対象となる領域での画像の解像度が低下することになり、ボケ等の要因になってしまうという問題がある。
【００１６】
そこで、本出願人は以下の手法を提案する。まず、撮像素子により撮像する画像（原画像）は、表示部に表示される画像（変倍画像）に比べて解像度が高い（画素数が多い）ものとする。そして、局所倍率が小さくつぶれてしまった領域に対しては、ほぼ１倍の倍率で変倍処理を行う。それに対して、局所倍率が大きくつぶれていない領域に対しては、β倍の倍率で縮小処理を行う。ここで、変倍画像に対する原画像の１辺の長さの比をα（上述の設定よりα＞１）とすると、β＜（１／α）となる。つまり、原画像の全領域に対して均等に１／α倍の縮小処理を行ったときに、変倍画像と原画像の歪み具合が同等になるのであるが、本実施形態では、周辺部では縮小度合いを小さく（望ましくは１倍に）し、中心部では１／α倍よりも縮小度合いを大きくすることで、歪みを解消している。中心部に対して周辺部を相対的に拡大するという点では、上述の手法と同様であるが、本実施形態では、原画像を解像度の高い画像としているため周辺部の倍率を等倍に近い値に設定できることになり、結果として周辺部の解像度を落とすことを抑止できるという利点がある。なお、周辺部の倍率（変倍率）は１倍そのものに限定されるわけではない。
【００１７】
以下、システム構成例、画角と被写界深度の関係について説明した後、変倍処理について詳しく説明する。
【００１８】
２．システム構成例
【００１９】
本実施形態に係る撮像装置の具体例である内視鏡システムについて、図１を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。
【００２０】
光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を備えている。
【００２１】
撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光した反射光を検出するための撮像素子２４０を備えている。本実施の形態において、対物レンズ２３０は例えば画角が２２０度程度の超広角レンズである。撮像素子２４０は例えばベイヤ配列の色フィルタを持つ撮像素子である。
【００２２】
処理部３００はＡＤ変換部３１０と、画像処理部３２０と、制御部３３０と、変倍処理部３４０と、出力部３５０を備えている。ただし、処理部３００は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。ＡＤ変換部３１０は、撮像素子２４０から出力されるアナログ信号をデジタルの画像信号（以下、単に画像と呼ぶ）に変換して画像処理部３２０に出力する。画像処理部３２０は、ＡＤ変換部３１０から出力された画像に対してホワイトバランス、デモザイキング処理、色変換、階調変換等の各種の画像処理を施し、変倍処理部３４０に画像を出力する。変倍処理部３４０は、画像処理部３２０から出力された画像に対して変倍処理を行い、出力部３５０に画像を出力する。変倍処理部３４０の詳細については後述する。出力部３５０は、変倍処理部３４０から出力された画像を、表示部４００に対応した画像の形式（デジタル信号、アナログ信号のどちらでもよい）に変換し、表示部４００に出力する。表示部４００は例えば液晶モニタであり、出力部３５０から出力される画像を表示する。
【００２３】
制御部３３０は、画像処理部３２０、変倍処理部３４０、外部Ｉ／Ｆ部５００と双方向に接続されており、外部Ｉ／Ｆ部５００からの入力情報に従ってこれらを制御する。外部Ｉ／Ｆ部５００は、この撮像装置に対するユーザからの入力等を行うためのインターフェースであり、撮影の開始／終了を行うためのスタートボタンや、各種の撮影条件、表示条件を調整するための調整ボタンなどを含んで構成されている。
【００２４】
３．画角と被写界深度の関係
【００２５】
ここで内視鏡システムにおける、対物レンズ（以下、光学系と呼ぶ）の画角と被写界深度の関係について説明する。
【００２６】
内視鏡システムにおいては、ドクターの診断に支障をきたさないため、広い被写界深度が必要である。このため、従来の内視鏡システムでは比較的Ｆナンバーが大きい光学系を使用して、被写界深度を広くすることでこのような性能を達成している。しかし近年、内視鏡システムにおいても数十万画素程度の高画素の撮像素子が使用されるようになっている。光学系が一定の場合、その被写界深度は許容錯乱円の大きさによって決定されるが、高画素の撮像素子では画素ピッチと共に許容錯乱円も小さくなるため撮像装置の被写界深度は狭くなる。また、被写界深度を広くするために光学系のＦナンバーを大きくすると、回折の影響により光学系の結像性能が劣化する。このため、ドクターの診断に支障をきたさない被写界深度を維持するには、撮像素子の画素数にある程度の上限が存在する。
【００２７】
一方、被写界深度は撮像素子の画素数や光学系のＦナンバーだけでなく、光学系の焦点距離によっても大きく変動し、焦点距離が短くなるほど被写界深度は広くなる。本実施形態が備えるような超広角の光学系では、撮像素子のサイズが同じと仮定した場合、画角が１４０〜１７０度程度の従来の光学系に対して焦点距離が２/３程度になることが経験的に知られている。この結果、本実施形態のような超広角の光学系を備える内視鏡システムでは、ドクターの診断に支障をきたさない被写界深度を維持しながら、従来の内視鏡システムと比較して画素ピッチの小型化（撮像素子の高画素化）が可能になる。
【００２８】
このことを説明するため、まず被写界深度について図２を用いて詳細に説明する。ここで右向きの矢印は正の値のベクトルを表し、左向きの矢印は負の値のベクトルを表している。まず光学系の後側焦点位置からＸＢ’の位置に画素ピッチ（１画素の縦横の寸法）がＰの撮像素子を配置した場合を考える。この時、撮像素子の撮像面上で光学系の結像性能が最も良くなる被写体の位置（フォーカス位置）は、光学系の前側焦点位置からＸＢの位置として表される。ＸＢは以下のニュートンの結像式からＸＢ’が決まると一義的に算出される。ここでｆは光学系の焦点距離である。
【００２９】
XB・XB’=-f2 ・・・・・（１）
【００３０】
被写体をＸＢからＸＮの位置まで移動させると、その時の像面位置ＸＮ’は撮像面から光学系と反対方向に移動する。しかし撮像面における錯乱円の直径が、撮像装置の分解能Ｋ・Ｐ（ただしＫはフィルタ配列や補間処理によって決まる係数）より小さい場合、ＸＮの物体はピントが合っていると見なすことができる。撮像面における錯乱円の直径がＫ・Ｐ以下になる範囲を近点側の被写界深度と定義し、錯乱円の直径がＫ・Ｐと一致する被写体の位置を近点と呼ぶことにする。今後は近点の位置を、前側焦点位置からＸＮの位置として表す。遠点側も被写界深度の定義は同様であり、遠点側で錯乱円の直径がＫ・Ｐと一致する被写体の位置を遠点と呼ぶ。今後は遠点の位置を、前側焦点位置からＸＦの位置として表す。
【００３１】
被写体が近点にある時の撮像面における錯乱円の直径は、光学系の開口数ＮＡ’ = ｓｉｎ ｕ’（ここでｕ’は図２に示す撮像面へ入射する光線と光軸のなす角）を用いて下式（２）のように近似できる。
【００３２】
錯乱円の直径＝2（XN’-XB’）×NA’ ・・・・・（２）
【００３３】
近点で錯乱円の直径はＫ・Ｐに一致するため、下式（３）が成り立つ。
2（XN’-XB’）・NA’=K・P ・・・・・（３）
【００３４】
Ｆナンバーと開口数の関係式である下式（４）を用いて式（３）を変形すると、下式（５）となる。ここでＦは光学系のＦナンバーである。
【数１】
XN’-XB’=K・P・F ・・・・・（５）
【００３５】
さらに上式（１）で示したニュートンの式を用いて上式（５）を変形すると、下式（６）に示す近点側の被写界深度の関係式が成立する。
【数２】
【００３６】
近点側と同様の方法で遠点側の被写界深度の関係式を算出すると下式（７）のようになる。
【数３】
【００３７】
式（６）、（７）はさらに下式（８）、（９）のように変形でき、これらを用いて近点の位置ＸＮ及び遠点の位置ＸＦを算出できる。以下ではこの近点と遠点の間の範囲を被写界深度と呼ぶことにする。
【数４】
【数５】
【００３８】
図１６に上式（８）、（９）を用いて被写界深度を算出した一例を示す。ここでは従来の内視鏡システムにおける光学系の焦点距離を１.８ｍｍ、超広角の内視鏡システムにおける光学系の焦点距離を１.２ｍｍ（従来の光学系の焦点距離の２/３に相当）として計算を行った。その他の値は図１６に示すとおりである。この結果、超広角の内視鏡システムでは画素ピッチが従来の内視鏡システムの半分になっているにもかかわらず、より広い被写界深度を達成できていることがわかる。ここで厳密には、画素ピッチを小さくした場合は回折の影響が大きくなるため、光学系が十分な結像性能を得るにはＦナンバーを小さくする必要がある。しかし、このような調整を行った場合も、超広角の内視鏡システムでは、従来の内視鏡システムと比較して画素ピッチの小型化（撮像素子の高画素化）が可能であるという定性的な結果に変わりはない。
【００３９】
４．変倍処理
【００４０】
次に、本実施形態における変倍処理部３４０の詳細について説明する。ここでは説明を簡易にするため、撮像素子２４０の水平および垂直方向の画素数をα・Ｎ画素、出力部３５０から出力される画像の水平および垂直方向の画素数をＮ画素として説明を行う。出力部３５０から出力される画像の画素数（Ｎ画素×Ｎ画素）は、例えば表示装置４００で最終的に表示される画像の画素数などから決まる値である。また、αは１よりも大きい任意の値であり、このため撮像素子２４０で取得される画像（α・Ｎ画素×α・Ｎ画素）は、出力部３５０から出力される画像（出力画像）よりも解像度の高い画像となる。
【００４１】
図３は球面状の被写体の上に位置する病変部１と病変部２を、撮像部２００で撮影している状態を表した図である。また、図４はこの状態で画像処理部３２０から変倍処理部３４０に出力される画像を表した図である。画像処理部３２０から変倍処理部３４０に出力される画像の画素数は、撮像素子２４０の画素数と同じα・Ｎ×α・Ｎ画素である。本実施形態で使用されているような超広角の光学系では、歪曲収差が非常に大きいため、画像周辺部の局所的倍率は画像中心部と比較して小さくなる。この結果、画像の周辺部に位置する病変部２は、画像の中心に位置する病変部１と比較して、画像上のサイズが非常に小さくなる。
【００４２】
図１４は前述した局所倍率の概念を示した図である。ここでは例えば対物レンズの入射瞳を球面状の被写体の中心付近に配置し、球面状の被写体上での微小な距離Δｄ１およびΔｄ２と、これに対応する撮像素子上の距離Δｄ’１およびΔｄ’２の比を局所倍率とすればよい。ここでΔｄ１とΔｄ２は同じ距離である。本実施形態では前述のように歪曲収差が非常に大きいため、画像周辺部の局所倍率Δｄ’２/Δｄ２は、画像中心部の局所倍率Δｄ’１/Δｄ１と比較して小さくなる。
【００４３】
変倍処理部３４０はまず変倍処理後の画像に対して、画素値を算出したい注目画素の座標（ｏｕｔＸ,ｏｕｔＹ）を取得する。ここで変倍処理後の画像は図６に示すようにＮ×Ｎ画素の画像であり、（ｏｕｔＸ,ｏｕｔＹ）は左上画素を基準とした座標である。次に変倍処理部３４０は図７に示すように、注目画素の座標（ｏｕｔＸ,ｏｕｔＹ）を、下式（１０）を用いて画像中心（光学系の光軸に対応する画像上の点）を基準とした座標（ｓｈｉｆｔＸ,ｓｈｉｆｔＹ）に変換する。ここで（ｏｕｔＣｅｎｔＸ,ｏｕｔＣｅｎｔＹ）は、変倍処理後の画像中心の座標である。
【００４４】
shiftX=outX-outCentX
shiftY=outY-outCentY ・・・・・（１０）
【００４５】
次に変倍処理部３４０は、下式（１１）を用いてｉｈＯｕｔを算出する。ここでｉｈＯｕｔ_ｍａｘは変倍処理後の画像における画像中心からの最大距離であり、ｉｈＯｕｔは画像中心から注目画素までの距離とｉｈＯｕｔ_ｍａｘとの比である。
【数６】
【００４６】
次に変倍処理部３４０は、ｉｈＯｕｔを用いてｉｈＲａｔｉｏを算出する。ｉｈＲａｔｉｏはｉｈＯｕｔで決まる値であり、例えば図９に示すようなｉｈＯｕｔとｉｈＲａｔｉｏの関係を表すデータがＬＵＴとしてメモリに保存されている。このＬＵＴ用いて線形補間等の処理を行うことで、すべてのｉｈＯｕｔの値に対応するｉｈＲａｔｉｏを算出することができる。
【００４７】
次に変倍処理部３４０は、算出したｉｈＲａｔｉｏから下式（１２）を用いて、変倍処理後の画像の座標（ｓｈｉｆｔＸ,ｓｈｉｆｔＹ）に対応する変倍処理前の画像の座標（ｉｎＳｈｉｆｔＸ,ｉｎＳｈｉｆｔＹ）を算出する。（ｉｎＳｈｉｆｔＸ,ｉｎＳｈｉｆｔＹ）は、図８に示すように変倍処理前の画像中心を基準とした座標である。
【００４８】
inShiftX=shiftX*ihRatio*α
inShiftY=shiftY*ihRatio*α ・・・・・（１２）
【００４９】
次に変倍処理部３４０は、算出した座標（ｉｎＳｈｉｆｔＸ,ｉｎＳｈｉｆｔＹ）を、下式（１３）を用いて、画像の左上画素を基準とした座標（ｉｎＸ,ｉｎＹ）に変換する。ここで（ｉｎＣｅｎｔＸ,ｉｎＣｅｎｔＹ）は、変倍処理前の画像の中心座標である。この座標（ｉｎＸ,ｉｎＹ）が、変倍処理後の注目画素の座標（ｏｕｔＸ,ｏｕｔＹ）に対応する変倍処理前の画像の座標である。
【００５０】
inX=inShiftX+inCentX
inY=inShiftY+inCentY ・・・・・（１３）
【００５１】
次に変倍処理部３４０は、算出した変倍処理前の画像の座標（ｉｎＸ,ｉｎＹ）から、変倍処理後の注目画素（ｏｕｔＸ,ｏｕｔＹ）の画素値Ｉ（ｏｕｔＸ,ｏｕｔＹ）を算出する。ここでは例えばニアレストネイバー法やバイリニア法など補間処理を用いて注目画素の画素値を算出すればよい。ニアレストネイバー法では、例えば図１１に示すように変倍処理前の画像において、算出した（ｉｎＸ,ｉｎＹ）からの距離が最も近い画素ｐ１１の画素値を変倍処理後の注目画素の画素値Ｉ（ｏｕｔＸ,ｏｕｔＹ）とすればよい。また、バイリニア法では変倍処理前の画像において、算出した（ｉｎＸ,ｉｎＹ）の周辺４画素の画素値を用いて以下の（１４）式で注目画素の画素値Ｉ（ｏｕｔＸ,ｏｕｔＹ）を算出すればよい。さらに、その他の既存の補間処理を用いても、注目画素の画素値Ｉ（ｏｕｔＸ，ｏｕｔＹ）を算出することが可能であることは言うまでもない。
I（outX,outY）=（floor（inX）+1-inX）*（floor（inY）+1-inY）*p00
+（floor（inX）+1-inX）*（inY-floor（inY））*p10
+（inX-floor（inX））*（floor（inY）+1-inY）*p01
+（inX-floor（inX））*（inY-floor（inY））*p11 ・・・・・（１４）
【００５２】
ここで、図９に示したｉｈＯｕｔとｉｈＲａｔｉｏの関係を表すデータを算出するための手法について説明する。ここでは説明を簡単にするため、ｓｈｉｆｔＸ＝０とした場合のｓｈｉｆｔＹと、それに対応するｉｎＳｈｉｆｔＹを用いて説明を行う。図１０は本実施形態において、ｓｈｉｆｔＸ＝０とした場合のｓｈｉｆｔＹと、それに対応するｉｎＳｈｉｆｔＹの関係を示した図である。式（１２）から分かるようにｓｈｉｆｔＸ＝０とした場合はｉｎＳｈｉｆｔＸ＝０となる。このため図１０は図１２と図１３に示すように画像中心を基準とした垂直方向の直線上でのｓｈｉｆｔＹとｉｎＳｈｉｆｔＹの関係を示している。ここでｓｈｉｆｔＹは、画像中心を基準とした変倍処理後の画像の座標であるから、取りうる値は０からＮ／２の範囲の値である。またｉｎＳｈｉｆｔＹは、画像中心を基準とした変倍処理前の画像の座標であるから、取りうる値は０から（α・Ｎ）／２の範囲の値である。
【００５３】
本実施形態では、画像の周辺部に位置する病変部２の画像上のサイズが相対的に拡大され、なおかつ拡大処理に伴う解像力の劣化がほとんど無い出力画像を得ることを目的としている。この様な目的を達成するため、本実施形態では、図９に示す画像周辺部においては変倍率が１となるように、画像中心部においては変倍率がβとなるように、ｉｈＯｕｔに対応するｉｈＲａｔｉｏの値を決定している。ここでβは１／αよりも小さな任意の正の値である。また、変倍率とは、変倍処理後の画像に対する変倍処理前の画像の、半径方向（注目画素から画像中心に向かう方向）における画素数の比を示している。すなわち、例えば変倍率が１であれば変倍処理後の画像と変倍処理前の画像の半径方向の画素数は同じであり、変倍率が０.５であれば変倍処理後の画像の半径方向の画素数は変倍処理前の画像の半分となる。
【００５４】
まず画像周辺部では、ｓｈｉｆｔＹの値がＮ／２-ｉの時にｉｎＳｈｉｆｔＹの値が（α・Ｎ）／２-ｉとなるようにｉｈＲａｔｉｏの値を算出する。ここでｉは任意の正の数である。このようにｉｈＲａｔｉｏを算出することで、画像周辺部においては変倍処理前の画像の半径方向の画素数と、変倍処理後の画像の半径方向の画素数が等しくなるため、変倍処理後の画像の解像力は変倍処理前の画像の解像力と等しくなる。具体的には、式（１２）のｉｎＳｈｉｆｔＹに（α・Ｎ）／２-ｉを代入し、ｓｈｉｆｔＹにＮ／２-ｉを代入して式の変形を行うことで、任意の値ｉに対するｉｈＲａｔｉｏは下式（１５）で与えられる。
【数７】
【００５５】
次に画像中心部では、ｓｈｉｆｔＹの値がβ・ｉの時にｉｎＳｈｉｆｔＹの値がｉとなるようにｉｈＲａｔｉｏの値を算出する。ここでｉは任意の正の数である。このようにｉｈＲａｔｉｏを算出することで、画像中心部においては変倍処理後の画像の半径方向の画素数が、変倍処理前の画像の半径方向の画素数のβ倍になる（β倍の縮小処理が行われる）ため、変倍処理後の画像の解像力は変倍処理前の画像の解像力のβ倍になる。具体的には、（１２）式のｉｎＳｈｉｆｔＹにｉを代入し、ｓｈｉｆｔＹにβ・ｉを代入して式の変形を行うことで、任意の値ｉに対するｉｈＲａｔｉｏは下式（１６）で与えられる。
【数８】
【００５６】
また、画像中心部と画像周辺部の間の範囲におけるｉｈＲａｔｉｏの値は、変倍処理後の画像が不自然な画像とならないように、例えば図９に示したようにｉｈＲａｔｉｏが連続的に変化するような直線でつなげばよい。
【００５７】
本実施形態では、画像中心に対して軸対象に同様の処理が行われるため、変倍処理後の画像は図５に示すように画像中心部では変倍処理前の画像が縮小され、画像周辺部では変倍処理前の解像力が維持されたような画像となる。このため表示部４００で表示される画像は、画像中心部と比べて相対的に画像周辺部が拡大されながら、拡大処理に伴う解像力の劣化が無い画像となる。この結果、画像周辺部に病変が位置する場合も、ユーザは光学系の歪曲収差の影響が低減された、高画質な画像を観察することが可能になる。
【００５８】
さらに本実施形態では、図９に示したｉｈＯｕｔとｉｈＲａｔｉｏの関係を表すＬＵＴの値を調整することで、変倍処理後の画像中心部と画像周辺部の倍率をそれぞれ調整することが可能である。ここでは例えば画像周辺部において、変倍処理後の画像が変倍処理前の画像よりも大きく拡大されるような（変倍率が１より大きくなるような）変倍処理を行っても良い。この場合は、画像周辺部の解像力が変倍前の画像の解像力よりも向上することは無いが、本実施形態のように出力部３５０から出力される画像の画素数よりも十分に画素数の多い撮像素子を使用することで、出力部３５０から出力される画像の画素数と同等以下の画素数の撮像素子を使用する場合に比べて、変倍処理後の画像周辺部の画質の劣化を低減することができる。また、本実施形態では画像中心部および画像周辺部の境界で変倍率が急峻に変化するような変倍処理となっているが、変倍率がなだらかに変化するようにｉｈＲａｔｉｏの値を調整してもよい。
【００５９】
さらに本実施形態では、例えば予めｉｈＯｕｔに対するｉｈＲａｔｉｏの特性が異なる幾つかのＬＵＴを用意しておき、ユーザが外部Ｉ／Ｆ部５００からモードを選択することで、異なるＬＵＴが選択されるようにしても良い。このような処理を行うことで、ユーザの好みに応じた異なる変倍処理を行うことが可能になる。
【００６０】
また、以上の説明では画像周辺部の変倍率を１倍として説明したが、これに限定されるものではない。画像周辺部の変倍率をγ倍（γは例えば０.８〜１.２倍程度の任意の値）としてもよい。この場合、画像の最周辺部（ｉ＝０の部分）では、γの値にかかわらずｉｈＲａｔｉｏ＝１となるため、上式（１２）はそのまま用いることができる。また、画像周辺部では、ｓｈｉｆｔＹの値がＮ／２-γ・ｉの時にｉｎＳｈｉｆｔＹの値が（α・Ｎ）／２-ｉとなるようにｉｈＲａｔｉｏの値を算出する。ここでｉは任意の正の数である。このようにｉｈＲａｔｉｏを算出することで、画像周辺部においては変倍処理後の画像の半径方向の画素数が、変倍処理前の画像の半径方向の画素数のγ倍になる（γ倍の拡大もしくは縮小処理が行われる）。具体的には、（１２）式のｉｎＳｈｉｆｔＹに（α・Ｎ）／２-ｉを代入し、ｓｈｉｆｔＹにＮ／２-γ・ｉを代入して式の変形を行うことで、任意の値ｉに対するｉｈＲａｔｉｏは下式（１７）で与えられる。
【数９】
【００６１】
この時のｓｈｉｆｔＹとｉｎＳｈｉｆｔＹの関係は図１５のようになる。
【００６２】
以上の本実施形態では、撮像装置は、図１に示したように撮像光学系により結像される被写体像から画像信号を生成する複数の画素を有する撮像素子２４０と、複数の画素分の画像信号からなる原画像に対して変倍処理を施す変倍処理部３４０と、変倍処理後の画像を変倍画像として出力する出力部３５０と、を含む。そして変倍処理部３４０は、変倍画像上の注目画素の位置に応じて異なる変倍処理を行う。また、撮像素子２４０は、複数の画素として変倍画像の画素数よりも多い画素を有する。
【００６３】
これにより、出力される変倍画像（例えば図５）に比べて画素数の多い原画像（例えば図６）を撮像した上で、原画像に対して変倍処理を施すことで、変倍画像を取得することが可能になる。変倍処理の際に注目画素の位置に応じて異なる変倍処理（例えば変倍処理に用いられる倍率である変倍率を異ならせる等の処理）を行うことで、画像上における注目画素の位置に基づいた処理が可能になる。これは例えば、画像中心部では変倍率を小さくし、画像周辺部では変倍率を大きくする（例えば１倍等）処理等が考えられる。つまり、注目画素の位置に応じた処理を行うことで、原画像における歪みを解消した変倍画像を取得すること等が可能になる。
【００６４】
その際、原画像を変倍画像よりも大きいものとしておけば、歪みによりつぶれてしまった領域を相対的に拡大する場合に、絶対的な拡大処理を行わなくてもよくなるため、対象領域の画質の劣化を抑止することができる。もし、原画像と変倍画像が同じ大きさであったら、つぶれた領域を大きく表示しようとした場合、例えば５０ピクセルの領域を１００ピクセルに引き延ばすような処理が必要になる。しかし、元々５０ピクセル分の情報しか持っていないものを１００ピクセルに引き延ばしたのでは画質が劣化することになる。その点、原画像において１００ピクセルの大きさを持っていれば（原画像全体が大きいので画像の中では小さくつぶれて見える）、１００ピクセルの領域をそのまま用いれば、変倍画像において１００ピクセルの大きさで表示することができる（変倍画像全体が小さいので相対的に拡大される）ため、画質の劣化はない。
【００６５】
また、変倍画像上の任意の一辺における画素数に対する、原画像上の対応する一辺における画素数の比をαとし、β及びγをβ＜（１／α）＜γを満たす値とする。この場合、変倍処理部３４０は、変倍画像内の第１の処理領域に属する注目画素の位置における変倍率をγ倍に設定するとともに、第１の処理領域とは異なる第２の処理領域に属する注目画素の位置における変倍率をβ倍に設定してもよい。
【００６６】
ここでαは原画像と変倍画像の一辺の長さの比を表し、例えば原画像が２００ピクセル×２００ピクセルの正方形であり、変倍画像が１００ピクセル×１００ピクセルの正方形であるとすればαは２００／１００＝２となる。
【００６７】
これにより、第１の処理領域においては、変倍率を１／αよりも大きく設定するとともに、第２の処理領域においては、変倍率を１／αよりも小さく設定することが可能になる。原画像と変倍画像の一辺の長さの比がαであるから、原画像の全領域に対して１／α倍の倍率で変倍処理（α＞１であるから実際には縮小処理）を行うことで、原画像の大きさを変倍画像にあわせることが可能になる。しかし、全体を同じ変倍率で変倍処理しても、歪みを解消することはできない。そこで、１／α倍に対して、それよりも小さい倍率での変倍処理（強い縮小処理）をかける第２の処理領域を設けるとともに、１／α倍よりも大きい倍率での変倍処理（弱い縮小処理或いは拡大処理）をかける第１の処理領域を設ける。これにより、第１の処理領域は第２の処理領域に比べて相対的に拡大されることになり、歪みを解消することができる。
【００６８】
また、δをγ＞δ＞βを満たす値とする。この場合、第１の処理領域及び第２の処理領域とは異なる第３の処理領域に対応する変倍率をδ倍に設定してもよい。
【００６９】
これにより、変倍率を２通りに限定することなく、領域の位置に応じて柔軟に設定することが可能になる。よって、領域の境目等における画像の急激な変化等を抑止し、見やすい画像を提供すること等ができる。
【００７０】
また、変倍処理部３４０は、第１の処理領域に属する注目画素の位置における変倍率γとして、１を含む所定の数値範囲において設定される値を用いてもよい。具体的には例えば、０．５〜２．０の範囲において設定される値を用いてもよい。望ましくは例えば、０．８〜１．２の範囲において設定される値を用いる。
【００７１】
これにより、γとして１或いはそれに近い値を用いることが可能になる。γ＝１とは第１の処理領域に属する注目画素の位置における変倍率を１とすることであるから、第１の処理領域では、原画像と変倍画像で半径方向の画素数が等しくなる。このため、画質の劣化や情報の欠落を抑止することができる。ただし、γは１に限定されるものではなく、変倍画像の画質が大きく劣化しない範囲において変更可能である。例えば、ある程度の縮小（捨てられる画素が生じるため、情報の欠落につながる）を行ってもよいし、ある程度の拡大（画像を引き延ばすことになるため、画質の劣化につながる）を行ってもよい。
【００７２】
また、変倍処理部３４０は、注目画素と、撮像光学系の光軸に対応する変倍画像上の点との間の距離に基づいて、注目画素の位置における変倍率を設定してもよい。
【００７３】
ここで、撮像光学系の光軸に対応する変倍画像上の点とは、一般的には変倍画像の中心点に相当する。図６における（ｏｕｔＣｅｎｔＸ，ｏｕｔＣｅｎｔＹ）或いは、図７における（０，０）のことである。ただし、これに限定されるものではない。
【００７４】
これにより、光軸に対応する点と、注目画素との間の距離に応じて変倍率を設定することが可能になる。現在用いられる画角の広い光学系（例えば魚眼レンズ等）では、光軸に対応する点に近い領域に比べて、遠い領域の方が歪曲収差等の影響を受け小さくつぶれてしまう。例えば、本来同じ大きさの病変部が図４に示したように、中心部では適切に表示されるのに対して、周辺部では小さくつぶれることになる。つまり、光軸に対応する点からの距離に応じて変倍率を設定することで、通常用いられる光学系に即した変倍率の設定が可能になる。
【００７５】
また、変倍処理部３４０は、撮像光学系の光軸に対応する点との間の距離が大きい領域を画像周辺部領域とし、撮像光学系の光軸に対応する点との間の距離が画像周辺部領域よりも小さい領域を画像中心部領域としてもよい。そして、画像周辺部領域と画像中心部領域とで異なる変倍率を設定する。
【００７６】
これにより、画像周辺部領域及び画像中心部領域という２つの領域を、光軸に対応する点からの距離という観点から定義することが可能になる。つまり、図６や図７において、画像中心部領域であるか、画像周辺部領域であるかは、あくまで光軸に対応する点（ｏｕｔＣｅｎｔＸ，ｏｕｔＣｅｎｔＹ）や（０，０）に基づいて決定されるものであり、見かけ上の中心である（Ｎ／２，Ｎ／２）とは関係がないものである。これは、画像の歪みは、（ｏｕｔＣｅｎｔＸ，ｏｕｔＣｅｎｔＹ）や（０，０）に基づいて決定され、（Ｎ／２，Ｎ／２）とは関係がないことによる。
【００７７】
また、上述したようにα及びγを（１／α）＜γを満たす値とする。この場合、変倍処理部３４０は、画像周辺部領域に対応する原画像上の領域に属する画素のうち、１／γ画素に１画素の割合で抽出した画素の画素値に基づいて、変倍画像上の画像周辺部領域に属する注目画素の画素値を決定する処理を行うことで、画像周辺部領域での変倍率をγ倍に設定する。
【００７８】
ここで、γは（１／α）＜γという設定であるため、１より大きい可能性もあり、その場合１／γは１以下の値となる。そのためここでは、「１／γ画素に１画素の割合で抽出」する処理を以下のように定義する。まず（１／γ）＞１の時には、そのまま間引き処理を行う。そして、（１／γ）＜１の時には、１画素をγ画素に引き延ばす拡大処理を行う。例えばγ＝２である場合には、「０．５画素に１画素の割合で抽出する」ことになるため、これは１画素を２画素に引き延ばす拡大処理を行えばよい。なお、これらの処理は、上述したようにニアレストネイバー法等を用いて行えばよい。
【００７９】
これにより、具体的な処理として、画素間引き（或いは引き延ばしによる拡大）を行うことで、変倍処理を実現することが可能になる。なお、ここで「１／γ画素に１画素の割合で抽出」する際の１／γ画素の数え方は、光軸に対応する原画像上の点から、注目画素に対応する原画像上の点を結ぶベクトル方向に算出するものとする。よって例えば、図１２、図１３のように光軸に対応する原画像上の点も、注目画素に対応する原画像上の点も、同一の縦軸上にあるとすれば、当該縦軸上に沿った方向において、１／γ画素に１画素の割合で抽出した画素を用いることになる。斜め方向においては例えば図１８に示したように、光軸に対応する点をＢ１、画像周辺部領域をＢ２、光軸に対応する点と注目画素に対応する点を結ぶベクトルをＢ３とした場合には、色をつけた画素の中から、１／γ画素に１画素を抽出することになる。実際の処理は上述したように例えば、ニアレストネイバー法等を用いればよい。なお、γは上述したように１を想定しており、γ＝１が成り立つ場合には、１画素あたり１画素を抽出することになり、原画像と変倍画像において画像周辺部領域の半径方向の大きさが同じ（等倍）になる。
また、上述したようにα及びβをβ＜（１／α）を満たす値とする。この場合、変倍処理部３４０は、画像周辺部領域に対応する原画像上の領域に属する画素のうち、１／β画素に１画素の割合で抽出した画素の画素値に基づいて、変倍画像上の画像周辺部領域に属する注目画素の画素値を決定する処理を行うことで、画像周辺部領域での変倍率をβ倍に設定する。
【００８０】
ここで、β＜（１／α）＜１であるため、上述したγのような拡大処理を考慮する必要はない。
【００８１】
これにより、具体的な処理として、画素間引きを行うことで、変倍処理を実現することが可能になる。具体的な手法については、上述したγのケースと同様であるため、詳細な説明は省略する。
【００８２】
また、撮像素子２４０は、原画像に対応する画像信号として、撮像光学系の歪曲収差の影響によって、原画像上の位置に応じて局所倍率が異なる画像信号を取得する。そして、変倍処理部３４０は、変倍画像上の注目画素に対応する原画像上の注目点の局所倍率に基づいて変倍率を設定する。
【００８３】
ここで、局所倍率は、図１４におけるΔｄ１とΔｄ’１の比、或いはΔｄ２とΔｄ’２の比として定義される。図１４の例では実線で描かれたΔｄ１に関する局所倍率に比べて、点線で描かれたΔｄ２に関する局所倍率の方が小さくなる。
【００８４】
これにより、局所倍率に基づいた変倍処理が可能になる。局所倍率の大小により、対象領域が大きく表示されるか、小さくつぶれてしまうかが決まるため、局所倍率に基づく処理を行うことで、つぶれた領域に対して適切な歪み補正を行うことが可能になる。
【００８５】
また、変倍処理部３４０は、局所倍率が他の領域に比べて小さい領域における変倍率を、当該他の領域における変倍率に比べて大きく設定する。
【００８６】
これにより、局所倍率が相対的に小さい領域、つまり小さくつぶれてしまっている領域では、局所倍率が相対的に大きい領域、つまりあまりつぶれていない領域に比べて変倍率を大きく設定できる。そのため、つぶれた領域に対して適切な歪み補正を行うことが可能になる。
【００８７】
また、画像周辺部領域に対応する原画像上の注目点の局所倍率が、画像中心部領域に対応する原画像上の注目点の局所倍率に比べて小さい場合に、変倍処理部３４０は、画像周辺部領域の変倍率を画像中心部領域の変倍率に比べて大きく設定する。
【００８８】
これにより、画像周辺部領域を画像中心部領域に比べて相対的に拡大することが可能になり、歪みを解消することができる。これは言い換えれば、局所倍率の大小によって、画像周辺部領域と画像中心部領域を定義しているとも言える。
【００８９】
また、撮像装置は表示部４００をさらに含んでもよい。そして変倍処理部３４０は、表示部に変倍画像の全体を表示する場合であっても、第１の処理領域に属する注目画素の位置における変倍率をγ倍に設定する。
【００９０】
これにより、画像全体を表示した上で、特定の領域（第１の処理領域）の倍率をγ倍に設定することが可能になる。γは上述してきたように１程度の値を想定している。デジタルスチルカメラの背面液晶のように、撮像光学系で取得された画像の画素数に比べて、表示部での画素数が少なくなるシステムは知られている。しかし、そのようなシステムでは、画像全体を縮小する程度は大きく（つまり変倍率はかなり小さく）、１倍に近い倍率の領域を設定することは考えられない。１倍に近い画像（撮像光学系で得られたものと同等に高精細な画像）を表示するためには当該領域のみを表示部全体に拡大して表示する等の処理が必要であった。その点、本実施形態の手法では、１倍に近い倍率の領域を設定しつつも、特定の領域だけを表示するのではなく、画像全体を表示するように他の領域の変倍率を調整することが可能である。
【００９１】
また、撮像素子２４０は、原画像に対応する画像信号として、撮像光学系の歪曲収差の影響により歪みが生じた画像信号を取得してもよい。
【００９２】
これにより、撮像素子２４０において、歪曲収差の影響による歪みを持つ画像を取得することが可能になる。歪曲収差については樽型等、その歪み方について広く知られているため、そのような光学的な特性を考慮することで、効率的に歪み補正を行うことが可能になる。
【００９３】
また、撮像光学系は、画角が１８０°以上であってもよい。
【００９４】
これにより、従来より広い画角の撮像光学系を用いることが可能になる。例えば内視鏡用途に用いるのであれば、大腸等のヒダの裏側にある病変部等の探索に効果を発揮する。
【００９５】
また、撮像光学系の光軸を含む領域を前方領域とし、光軸に直交する軸を含む領域を側方領域とした場合に、撮像光学系は前方領域又は側方領域に設定される撮像領域を撮像可能な光学系であってもよい。
【００９６】
ここで、前方領域及び側方領域は図１７のように定義される。図１７のＣ１が前方領域となり、Ｃ２及びＣ３が側方領域である。また、図１７では平面的に描いたが、当然領域は３次元的な広がりを持っていてもよい。
【００９７】
これにより、前方のみならず、側方に対しても撮像領域を設定可能になるため、広い領域を撮像することができる。
【００９８】
また、撮像光学系の光軸方向と反対方向の軸を含む領域を後方領域とした場合に、撮像光学系は後方領域内に設定される撮像領域を撮像可能な光学系であってもよい。
【００９９】
ここで、後方領域は図１７のＣ４のように定義される。後方領域が３次元的な広がりを持ってもよいのは上述した例と同様である。
【０１００】
これにより、後方に対しても撮像領域を設定可能になる。より広い範囲を撮像可能になるため、例えば内視鏡用途等では、病変部のサーチ等を効率的に行うことができる。
【０１０１】
また、変倍処理部３４０は、ユーザによる変倍モード切替指示に基づいて、変倍処理における処理内容を切り替えてもよい。
【０１０２】
これにより、ユーザの操作指示を反映した変倍処理を行うことが可能になり、より柔軟に変倍処理を行うことができる。例えば、変倍処理により画質が劣化したとしても、人の目で見てその劣化を認識できないレベルであれば、当該変倍処理は妥当なものと言える。よって、ユーザの変倍処理後の変倍画像を試験的に提示し、ユーザが許容できる範囲をユーザの目で認識した結果に基づいて設定させるような処理を行ってもよい。
【０１０３】
また、撮像装置は内視鏡装置であってもよい。
【０１０４】
これにより、上述してきた撮像装置として内視鏡装置を用いることが可能になる。内視鏡装置においては、病変部のサーチ等が行われるため、広範囲を観察することによるメリットが大きい。また、大腸のヒダ構造のように、視界を遮蔽するような構造を持つ部位が生体内にはあるため、そのような部位を観察する際には、それぞれのヒダの裏側に撮像部を挿入しなくても済むように広い画角を撮像可能であることが望ましい。本実施形態の撮像装置を内視鏡装置に用いることで上述したような要望に応えることが可能になる。
【０１０５】
また、以上の本実施形態は、撮像光学系により結像される被写体像から画像信号を生成する複数の画素での画像信号に基づいて原画像を取得し、原画像に対して、注目画素の位置に応じて異なる変倍率で変倍処理を行うことで、原画像の画素数よりも少ない画素数の画像である前記変倍画像を取得し、変倍処理後の画像を変倍画像として出力する撮像方法に関係する。
【０１０６】
これにより、撮像装置に限定されず、本実施形態の手法を用いた撮像方法を実現することが可能になる。
【０１０７】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像装置等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１０８】
１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 対物レンズ、
２４０ 撮像素子、３００ 処理部、３１０ ＡＤ変換部、３２０ 画像処理部、
３３０ 制御部、３４０ 変倍処理部、３５０ 出力部、４００ 表示部、
５００ 外部Ｉ／Ｆ部
【特許請求の範囲】
【請求項１】
撮像光学系により結像される被写体像から画像信号を生成する複数の画素を有する撮像素子と、
前記複数の画素分の画像信号からなる原画像に対して変倍処理を施す変倍処理部と、
前記変倍処理後の画像を変倍画像として出力する出力部と、
を含み、
前記変倍処理部は、
前記変倍画像上の注目画素の位置に応じて異なる変倍率で前記変倍処理を行い、
前記撮像素子は、
前記複数の画素として、前記変倍画像の画素数よりも多い画素を有することを特徴とする撮像装置。
【請求項２】
請求項１において、
前記変倍画像上の任意の一辺における画素数に対する、前記原画像上の対応する一辺における画素数の比をαとし、β及びγをβ＜（１／α）＜γを満たす値とした場合に、
前記変倍処理部は、
前記変倍画像内の第１の処理領域に属する注目画素の位置における変倍率をγ倍に設定するとともに、前記第１の処理領域とは異なる前記変倍画像内の第２の処理領域に属する注目画素の位置における変倍率をβ倍に設定することを特徴とする撮像装置。
【請求項３】
請求項２において、
δをγ＞δ＞βを満たす値とした場合に、
前記変倍処理部は、
前記第１の処理領域及び前記第２の領域以外の領域である第３の処理領域に対応する変倍率をδ倍に設定することを特徴とする撮像装置。
【請求項４】
請求項２において、
前記変倍処理部は、
前記第１の処理領域に属する注目画素の位置における変倍率γとして、１を含む所定の数値範囲において設定される値を用いることを特徴とする撮像装置。
【請求項５】
請求項４において、
前記変倍処理部は、
前記第１の処理領域に属する注目画素の位置における変倍率γとして、０．５〜２．０の範囲において設定される値を用いることを特徴とする撮像装置。
【請求項６】
請求項５において、
前記変倍処理部は、
前記第１の処理領域に属する注目画素の位置における変倍率γとして、０．８〜１．２の範囲において設定される値を用いることを特徴とする撮像装置。
【請求項７】
請求項１において、
前記変倍処理部は、
前記注目画素と前記撮像光学系の光軸に対応する変倍画像上の点との間の距離に基づいて、前記注目画素の位置での変倍率を設定することを特徴とする撮像装置。
【請求項８】
請求項７において、
前記変倍処理部は、
前記注目画素と前記撮像光学系の光軸に対応する前記変倍画像上の点との間の距離が大きい領域を画像周辺部領域とし、前記注目画素と前記撮像光学系の光軸に対応する変倍画像上の点との間の距離が前記画像周辺部領域に比べて小さい領域を画像中心部領域として、前記画像周辺部領域と前記画像中心部領域とで異なる変倍率を設定することを特徴とする撮像装置。
【請求項９】
請求項８において、
前記変倍画像上の任意の一辺における画素数に対する、前記原画像上の対応する一辺における画素数の比をαとし、γを（１／α）＜γを満たす値とした場合に、
前記変倍処理部は、
前記画像周辺部領域に対応する前記原画像上の領域に属する画素のうち、１／γ画素に１画素の割合で抽出した画素の画素値に基づいて、前記変倍画像上の前記画像周辺部領域に属する注目画素の画素値を決定する処理を行うことで、前記画像周辺部領域での変倍率をγ倍に設定することを特徴とする撮像装置。
【請求項１０】
請求項８において、
前記変倍画像上の任意の一辺における画素数に対する、前記原画像上の対応する一辺における画素数の比をαとし、βをβ＜（１／α）を満たす値とした場合に、
前記変倍処理部は、
前記画像中心部領域に対応する前記原画像上の領域に属する画素のうち、１／β画素に１画素の割合で抽出した画素の画素値に基づいて、前記変倍画像上の前記画像中心部領域に属する注目画素の画素値を決定する処理を行うことで、前記画像中心部領域での変倍率をβ倍に設定することを特徴とする撮像装置。
【請求項１１】
請求項１において、
前記撮像素子は、
前記原画像に対応する画像信号として、前記撮像光学系の歪曲収差の影響によって、前記原画像上の位置に応じて前記撮像光学系の局所的な倍率である局所倍率が異なる画像信号を取得し、
前記変倍処理部は、
前記変倍画像上の注目画素に対応する前記原画像上の注目点の局所倍率に基づいて、前記注目画素の変倍率を設定することを特徴とする撮像装置。
【請求項１２】
請求項１１において、
前記変倍処理部は、
前記変倍画像上の注目画素に対応する前記原画像上の注目点の局所倍率が、前記原画像上の他の領域での前記局所倍率より小さい場合に、前記変倍処理の前記変倍率を前記原画像上の他の領域に比べて大きく設定することを特徴とする撮像装置。
【請求項１３】
請求項１２において、
前記変倍画像上の周辺部に位置する注目画素に対応する前記原画像上の注目点の局所倍率が、前記変倍画像上の中心部に位置する注目画素に対応する前記原画像上の注目点の局所倍率よりも小さい場合に、
前記変倍処理部は、
前記変倍画像の周辺部に位置する前記注目画素の変倍率の値を、前記変倍画像の中央部に位置する前記処理領域の変倍率の値よりも大きくすることを特徴とする撮像装置。
【請求項１４】
請求項２において、
前記変倍画像を表示する表示部をさらに含み、
前記変倍処理部は、
前記表示部に前記変倍画像の全体を表示する場合であっても、前記第１の処理領域に属する注目画素の位置における変倍率を前記γ倍に設定することを特徴とする撮像装置。
【請求項１５】
請求項１において、
前記撮像素子は、
前記原画像に対応する画像信号として、前記撮像光学系の歪曲収差の影響により歪みが生じた画像信号を取得することを特徴とする撮像装置。
【請求項１６】
請求項１において、
前記撮像光学系は、画角が１８０度以上であることを特徴とする撮像装置。
【請求項１７】
請求項１において、
前記撮像光学系の光軸を含む領域を前方領域とし、前記光軸に直交する軸を含む領域を側方領域とした場合に、
前記撮像光学系は、
前記前方領域又は前記側方領域内に設定される撮像領域を撮像可能な光学系であることを特徴とする撮像装置。
【請求項１８】
請求項１７において、
前記撮像光学系の光軸方向と反対方向の軸を含む領域を後方領域とした場合に、
前記撮像光学系は、
前記後方領域内に設定される撮像領域を撮像可能な光学系であることを特徴とする撮像装置。
【請求項１９】
請求項１において、
前記変倍処理部は、
ユーザによる変倍モード切り替え指示に基づいて前記変倍処理における処理内容を切り替えることを特徴とする撮像装置。
【請求項２０】
請求項１において、
前記撮像装置は、内視鏡装置であることを特徴とする撮像装置。
【請求項２１】
撮像光学系により結像される被写体像から画像信号を生成する複数の画素での、前記画像信号に基づいて原画像を取得し、
前記原画像に対して、注目画素の位置に応じて異なる変倍率で変倍処理を行うことで、前記原画像の画素数よりも少ない画素数の画像である変倍画像を取得し、
前記変倍処理後の画像を前記変倍画像として出力することを特徴とする撮像方法。
【請求項２２】
請求項２１において、
前記変倍画像上の任意の一辺における画素数に対する、前記原画像上の対応する一辺における画素数の比をαとし、β及びγをβ＜（１／α）＜γを満たす値とした場合に、
前記変倍画像内の第１の処理領域に属する注目画素の位置における変倍率をγ倍に設定し、
前記第１の処理領域とは異なる前記変倍画像内の第２の処理領域に属する注目画素の位置における変倍率をβ倍に設定することを特徴とする撮像方法。
【請求項１】
撮像光学系により結像される被写体像から画像信号を生成する複数の画素を有する撮像素子と、
前記複数の画素分の画像信号からなる原画像に対して変倍処理を施す変倍処理部と、
前記変倍処理後の画像を変倍画像として出力する出力部と、
を含み、
前記変倍処理部は、
前記変倍画像上の注目画素の位置に応じて異なる変倍率で前記変倍処理を行い、
前記撮像素子は、
前記複数の画素として、前記変倍画像の画素数よりも多い画素を有することを特徴とする撮像装置。
【請求項２】
請求項１において、
前記変倍画像上の任意の一辺における画素数に対する、前記原画像上の対応する一辺における画素数の比をαとし、β及びγをβ＜（１／α）＜γを満たす値とした場合に、
前記変倍処理部は、
前記変倍画像内の第１の処理領域に属する注目画素の位置における変倍率をγ倍に設定するとともに、前記第１の処理領域とは異なる前記変倍画像内の第２の処理領域に属する注目画素の位置における変倍率をβ倍に設定することを特徴とする撮像装置。
【請求項３】
請求項２において、
δをγ＞δ＞βを満たす値とした場合に、
前記変倍処理部は、
前記第１の処理領域及び前記第２の領域以外の領域である第３の処理領域に対応する変倍率をδ倍に設定することを特徴とする撮像装置。
【請求項４】
請求項２において、
前記変倍処理部は、
前記第１の処理領域に属する注目画素の位置における変倍率γとして、１を含む所定の数値範囲において設定される値を用いることを特徴とする撮像装置。
【請求項５】
請求項４において、
前記変倍処理部は、
前記第１の処理領域に属する注目画素の位置における変倍率γとして、０．５〜２．０の範囲において設定される値を用いることを特徴とする撮像装置。
【請求項６】
請求項５において、
前記変倍処理部は、
前記第１の処理領域に属する注目画素の位置における変倍率γとして、０．８〜１．２の範囲において設定される値を用いることを特徴とする撮像装置。
【請求項７】
請求項１において、
前記変倍処理部は、
前記注目画素と前記撮像光学系の光軸に対応する変倍画像上の点との間の距離に基づいて、前記注目画素の位置での変倍率を設定することを特徴とする撮像装置。
【請求項８】
請求項７において、
前記変倍処理部は、
前記注目画素と前記撮像光学系の光軸に対応する前記変倍画像上の点との間の距離が大きい領域を画像周辺部領域とし、前記注目画素と前記撮像光学系の光軸に対応する変倍画像上の点との間の距離が前記画像周辺部領域に比べて小さい領域を画像中心部領域として、前記画像周辺部領域と前記画像中心部領域とで異なる変倍率を設定することを特徴とする撮像装置。
【請求項９】
請求項８において、
前記変倍画像上の任意の一辺における画素数に対する、前記原画像上の対応する一辺における画素数の比をαとし、γを（１／α）＜γを満たす値とした場合に、
前記変倍処理部は、
前記画像周辺部領域に対応する前記原画像上の領域に属する画素のうち、１／γ画素に１画素の割合で抽出した画素の画素値に基づいて、前記変倍画像上の前記画像周辺部領域に属する注目画素の画素値を決定する処理を行うことで、前記画像周辺部領域での変倍率をγ倍に設定することを特徴とする撮像装置。
【請求項１０】
請求項８において、
前記変倍画像上の任意の一辺における画素数に対する、前記原画像上の対応する一辺における画素数の比をαとし、βをβ＜（１／α）を満たす値とした場合に、
前記変倍処理部は、
前記画像中心部領域に対応する前記原画像上の領域に属する画素のうち、１／β画素に１画素の割合で抽出した画素の画素値に基づいて、前記変倍画像上の前記画像中心部領域に属する注目画素の画素値を決定する処理を行うことで、前記画像中心部領域での変倍率をβ倍に設定することを特徴とする撮像装置。
【請求項１１】
請求項１において、
前記撮像素子は、
前記原画像に対応する画像信号として、前記撮像光学系の歪曲収差の影響によって、前記原画像上の位置に応じて前記撮像光学系の局所的な倍率である局所倍率が異なる画像信号を取得し、
前記変倍処理部は、
前記変倍画像上の注目画素に対応する前記原画像上の注目点の局所倍率に基づいて、前記注目画素の変倍率を設定することを特徴とする撮像装置。
【請求項１２】
請求項１１において、
前記変倍処理部は、
前記変倍画像上の注目画素に対応する前記原画像上の注目点の局所倍率が、前記原画像上の他の領域での前記局所倍率より小さい場合に、前記変倍処理の前記変倍率を前記原画像上の他の領域に比べて大きく設定することを特徴とする撮像装置。
【請求項１３】
請求項１２において、
前記変倍画像上の周辺部に位置する注目画素に対応する前記原画像上の注目点の局所倍率が、前記変倍画像上の中心部に位置する注目画素に対応する前記原画像上の注目点の局所倍率よりも小さい場合に、
前記変倍処理部は、
前記変倍画像の周辺部に位置する前記注目画素の変倍率の値を、前記変倍画像の中央部に位置する前記処理領域の変倍率の値よりも大きくすることを特徴とする撮像装置。
【請求項１４】
請求項２において、
前記変倍画像を表示する表示部をさらに含み、
前記変倍処理部は、
前記表示部に前記変倍画像の全体を表示する場合であっても、前記第１の処理領域に属する注目画素の位置における変倍率を前記γ倍に設定することを特徴とする撮像装置。
【請求項１５】
請求項１において、
前記撮像素子は、
前記原画像に対応する画像信号として、前記撮像光学系の歪曲収差の影響により歪みが生じた画像信号を取得することを特徴とする撮像装置。
【請求項１６】
請求項１において、
前記撮像光学系は、画角が１８０度以上であることを特徴とする撮像装置。
【請求項１７】
請求項１において、
前記撮像光学系の光軸を含む領域を前方領域とし、前記光軸に直交する軸を含む領域を側方領域とした場合に、
前記撮像光学系は、
前記前方領域又は前記側方領域内に設定される撮像領域を撮像可能な光学系であることを特徴とする撮像装置。
【請求項１８】
請求項１７において、
前記撮像光学系の光軸方向と反対方向の軸を含む領域を後方領域とした場合に、
前記撮像光学系は、
前記後方領域内に設定される撮像領域を撮像可能な光学系であることを特徴とする撮像装置。
【請求項１９】
請求項１において、
前記変倍処理部は、
ユーザによる変倍モード切り替え指示に基づいて前記変倍処理における処理内容を切り替えることを特徴とする撮像装置。
【請求項２０】
請求項１において、
前記撮像装置は、内視鏡装置であることを特徴とする撮像装置。
【請求項２１】
撮像光学系により結像される被写体像から画像信号を生成する複数の画素での、前記画像信号に基づいて原画像を取得し、
前記原画像に対して、注目画素の位置に応じて異なる変倍率で変倍処理を行うことで、前記原画像の画素数よりも少ない画素数の画像である変倍画像を取得し、
前記変倍処理後の画像を前記変倍画像として出力することを特徴とする撮像方法。
【請求項２２】
請求項２１において、
前記変倍画像上の任意の一辺における画素数に対する、前記原画像上の対応する一辺における画素数の比をαとし、β及びγをβ＜（１／α）＜γを満たす値とした場合に、
前記変倍画像内の第１の処理領域に属する注目画素の位置における変倍率をγ倍に設定し、
前記第１の処理領域とは異なる前記変倍画像内の第２の処理領域に属する注目画素の位置における変倍率をβ倍に設定することを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−２２２６５８（Ｐ２０１２−２２２６５８Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８７４７７（Ｐ２０１１−８７４７７）
【出願日】平成２３年４月１１日（２０１１．４．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１１日（２０１１．４．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]