画像処理装置、内視鏡装置及びプログラム
【課題】 光学系により被写体像が結像されない領域の情報による階調変換処理への影響を抑止することで、適切な階調変換処理を行う画像処理装置、内視鏡装置及びプログラム等を提供すること。
【解決手段】 画像処理装置は、結像領域においては光学系により被写体像が結像され、非結像領域においては被写体像が非結像の撮像素子１０２１から、被写体像の信号を部分的に含む画像信号を取得する画像信号取得部１０２と、画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部１０４と、設定された処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部１０６とを含む。
【解決手段】 画像処理装置は、結像領域においては光学系により被写体像が結像され、非結像領域においては被写体像が非結像の撮像素子１０２１から、被写体像の信号を部分的に含む画像信号を取得する画像信号取得部１０２と、画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部１０４と、設定された処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部１０６とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、内視鏡装置及びプログラム等に関する。
【背景技術】
【０００２】
従来、画像処理装置は、レンズを通じた光が撮像素子上に結像されることで信号を取得し、所定の画像処理を行って画像を生成し、表示装置等に出力する。しかし、レンズにより結像される領域（ここでは結像領域と呼ぶ）と、撮像素子が並んでいて信号が得られる領域（ここでは画像領域と呼ぶ）とは必ずしも一致しない。
【０００３】
また、画像領域の中でも結像領域に含まれない領域の画素値は、像から得られるものではなくノイズ等の意味のないデータが入っていることになる。そのため、画像領域の中にマスク領域を予め設定し、得られた画像に対してマスク領域をつぶすマスク処理を行い最終的な画像を出力する手法が知られている。例えば、特許文献１では、電子スコープがマスク信号を生成し、画像処理後の信号にマスク処理を行う方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０７０７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
マスク処理をかけたマスク領域は、最終的にはマスクがかかっているのでユーザにとっては意味のない領域になる。一方、各画像処理は画像領域に対して行われている。階調変換など画像全体の情報を元に行う処理の場合には、最終的にマスクがかかってつぶされる領域の情報も用いた上で処理が行われてしまう。例えば、階調変換を行う場合、表示されない画像領域に非常に明るい部分があるとすると、画像全体としては明るいので、全体的に暗くする方向の階調変換が行われ、実際に出力される領域が暗くなってしまい、適切な階調変換処理がなされない。
【０００６】
本発明の幾つかの態様によれば、光学系により被写体像が結像されない領域の情報による階調変換処理への影響を抑止することで、適切な階調変換処理を行う画像処理装置、内視鏡装置及びプログラム等を提供することができる。
【０００７】
また、本発明の幾つかの態様によれば、結像領域と画像領域との共通部分の部分集合である処理領域の情報を用いることで、適切な階調変換処理を行う画像処理装置、内視鏡装置及びプログラム等を提供することができる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、結像領域においては光学系により被写体像が結像され、非結像領域においては前記被写体像が非結像の撮像素子から、前記被写体像の信号を部分的に含む画像信号を取得する画像信号取得部と、前記画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部と、設定された前記処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部と、を含む画像処理装置に関係する。
【０００９】
本発明の一態様では、結像領域の内側に処理領域を設定し、処理領域内の画素の画素値に基づいて階調変換処理を行う。よって、光学系により被写体像が結像される領域に対応する画素の画素値に基づく階調変換処理が行われるため、被写体像が結像されない領域に対応する画素の画素値まで用いる場合の階調変換処理に比べて、適切な処理を行うこと等が可能になる。
【００１０】
本発明の他の態様は、結像領域においては光学系により被写体像が結像され、非結像領域においては前記被写体像が非結像の撮像素子から、前記被写体像の信号を部分的に含む画像信号を取得する画像信号取得部と、前記画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部と、設定された前記処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部と、を含む内視鏡装置に関係する。
【００１１】
本発明の他の態様は、結像領域においては光学系により被写体像が結像され、非結像領域においては前記被写体像が非結像の撮像素子から、前記被写体像の信号を部分的に含む画像信号を取得する画像信号取得部と、前記画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部と、設定された前記処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態のシステム構成例。
【図２】図２（Ａ）〜図２（Ｄ）は結像領域、画像領域及び被写体像領域を説明する図。
【図３】図３（Ａ）〜図３（Ｄ）は処理領域、マスク領域及び表示領域を説明する図。
【図４】区間情報による処理領域の設定手法を説明する図。
【図５】本実施形態の画像処理を説明するためのフローチャート。
【図６】第２の実施形態のシステム構成例。
【図７】極座標を用いた処理領域の設定手法を説明する図。
【図８】図８（Ａ）〜図８（Ｃ）は第２の実施形態における結像領域及び画像領域を説明する図。
【図９】図９（Ａ）〜図９（Ｄ）は第２の実施形態における処理領域、マスク領域及び表示領域を説明する図。
【図１０】図１０（Ａ）、図１０（Ｂ）は管路により死角部分が生ずることを説明する図。
【図１１】図１１（Ａ）、図１１（Ｂ）は従来の階調変換処理を説明する図、図１１（Ｃ）、図１１（Ｄ）は本実施形態における階調変換処理を説明する図。
【図１２】第３の実施形態のシステム構成例。
【図１３】図１３（Ａ）〜図１３（Ｃ）は参照画像を用いた処理領域の設定手法を説明する図。
【図１４】前方領域、側方領域及び後方領域を説明する図。
【発明を実施するための形態】
【００１３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１４】
１．本実施形態の手法
まず、本実施形態の手法について説明する。図２（Ａ）に示したように、画像処理装置は、レンズを通過した光が撮像素子上で結像されることにより画像信号を取得する。しかし、レンズの形状を考慮すれば、レンズを通過した光が結像する領域は円形になると考えられる（この円形の領域を結像領域と呼ぶ）のに対して、撮像素子は方形である場合がほとんどである（この撮像素子に対応する方形の領域を画像領域と呼ぶ）。
【００１５】
よって、結像領域と画像領域とは形状が一致しないため、一般的には、結像領域に含まれながら画像領域に含まれない領域と、画像領域に含まれながら結像領域に含まれない領域が存在することになる。画像を形成する画像信号は、撮像素子の一画素一画素の信号に基づいて取得されることから、画像領域分の領域で画像信号が取得されることになる。
【００１６】
つまり、結像領域に含まれながら画像領域に含まれない領域では、被写体の像を含む光は入射しているが対応する撮像素子の画素が存在しないため、画像信号には寄与しない。それに対して、画像領域に含まれながら結像領域に含まれない領域（以下適宜、非結像領域と呼ぶが、非結像領域とは結像領域に含まれない領域全体を指してもよい）では、被写体の像を含む光が来ていないのに、画像信号は取得されることになる。よって後者の領域では、意味のないデータ（例えば光が来ないことによる暗い画素値や、或いはノイズ等に基づく画素値）が取得されてしまうことになる。
【００１７】
従って画像領域全体を考えたときに、結像領域にも画像領域にも含まれる領域（以下、被写体像領域と呼ぶ。例えば図２（Ｄ））に関しては、被写体像の情報を反映した意味のあるデータが取得されるのに対して、非結像領域では意味のないデータが取得される。この意味のあるデータと意味のないデータを等価に扱って画像処理を行うことは適切でない場合がある。
【００１８】
例えば、階調変換処理においては、画像全体の明るさ（例えば画素値や輝度値等）をみて、明るさの偏りをなくすような処理が行われる（具体例としては図１１（Ａ）〜図１１（Ｂ）のような処理となる）。つまり、暗い画素が多い場合には、全体として明るくするような処理となり、明るい画素が多い場合には、全体として暗くするような処理となる。このとき上述したように、非結像領域では、レンズからの光が到達しないことから暗い画像が得られることが想定される。そのため、被写体像領域に対応する意味のあるデータの明るさはそれほど暗いわけではなくても、意味のないデータの暗さの影響を受けて、画像全体を明るくするような処理が行われてしまう。それでは、意味のあるデータ部分が白飛びするような不適切な処理が起こりかねない。
【００１９】
よって、本出願人は図３（Ａ）〜図３（Ｂ）に示したように、被写体像領域に含まれるような処理領域を設定し、当該処理領域の画素値を用いて（つまり、画像領域に含まれ且つ処理領域に含まれない画素の画素値は用いずに）階調変換処理を行う手法を提案する。このようにすることで、意味のあるデータ（被写体像の情報が反映されたデータ）を用いて、意味のないデータを用いないことになるため、意味のないデータによる階調変換処理への悪影響を抑止することが可能になる。
【００２０】
以下、第１の実施形態及び第２の実施形態では、処理領域のデータが予め与えられているケースについて説明する。特に第１の実施形態では処理領域の情報を、ランレングスを用いて保持する手法について説明する。第２の実施形態では超広角の内視鏡装置を想定した上で、極座標を用いて処理領域の情報を保持する手法について説明する。また、第３の実施形態では、処理領域を参照画像から取得する手法について説明する。
【００２１】
２．第１の実施形態
図１に本実施形態にかかる画像処理装置の構成例を示す。画像処理装置は、光学系１０１と、画像信号取得部１０２と、バッファ１０３と、処理領域設定部１０４と、前処理部１０５と、階調変換部１０６と、後処理部１０７と、マスク処理部１０８と、画像出力部１０９と、制御部１１０と、外部Ｉ／Ｆ部１１１とを含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。
【００２２】
画像信号取得部１０２は撮像素子１０２１とＡ／Ｄ変換部１０２２を含み、光学系１０１、撮像素子１０２１を介して撮影されたアナログの信号は、Ａ／Ｄ変換部１０２２にてデジタルの信号へ変換される。Ａ／Ｄ変換部１０２２はバッファ１０３へ接続されている。バッファ１０３は前処理部１０５へ接続されている。処理領域設定部１０４は階調変換部１０６へ接続されている。前処理部１０５は階調変換部１０６へ接続されている。階調変換部１０６は後処理部１０７へ接続されている。後処理部１０７はマスク処理部１０８へ接続されている。マスク処理部１０８は画像出力部１０９へ接続されている。
【００２３】
また、マイクロコンピュータなどの制御部１１０はＡ／Ｄ変換部１０２２、処理領域設定部１０４、前処理部１０５、階調変換部１０６、後処理部１０７、マスク処理部１０８、画像出力部１０９と双方向に接続されている。
【００２４】
また、電源スイッチ、変数設定を行うためのインターフェースを備えた外部Ｉ／Ｆ部１１１も制御部１１０に双方向に接続されている。外部Ｉ／Ｆ部１１１を介して撮像サイズなどの撮影条件が設定される。
【００２５】
被写体から反射した反射光が光学系１０１により集光され、ＲＧＢ三原色の光をそれぞれ透過する色フィルタがＢａｙｅｒ型に配置された撮像素子１０２１上に像が結像される（図２（Ａ））。撮像素子１０２１により光電変換を行い、アナログ信号を取得する。
【００２６】
Ａ／Ｄ変換部１０２２は、アナログ信号をデジタル信号へ変換し、画像信号としてバッファ１０３に格納する。この画像信号の取得される領域を画像領域（図２の（Ｃ））と呼ぶこととする。前処理部１０５は、バッファ１０３に格納した画像信号を読み出し、黒補正やゲインコントロールなどの画像処理を行う。
【００２７】
処理領域設定部１０４は、予め格納されている処理領域、または、外部Ｉ／Ｆ１１１から設定される処理領域を設定する。処理領域としては例えば図３（Ａ）のような領域が考えられる。そして、処理領域は図３（Ｂ）に示したように結像領域の内側（狭義には被写体像領域の内側）に設定されることになる。処理領域設定部１０４で設定される処理領域は、図４に示すように、処理領域または処理領域以外の領域が連続して表れる画素数を持つランレングスの状態で保持される。図４に示すように、ｐ０は左上の画素から右に連続して存在する非処理領域の画素数、ｑ０はその次の画素からの連続する処理領域の画素数、ｐ１はその次の画素から連続する非処理領域の画素数、といったように、以下例えばｐ０〜ｐ９、ｑ０〜ｑ８のようなデータで保持される。ランレングスは同じデータが続く場合には特にメモリの圧縮効果が高く、データの保持に用いるメモリを比較的少なくすることができる。
【００２８】
また、処理領域の設定手法はランレングスに限定されるものではなく、その他の２値画像圧縮方法で圧縮したデータとして保持してもかまわない。また、画像の１画素が対応する１ｂｉｔ以上のメモリを全画素分保持し、処理領域または処理領域以外の領域（非処理領域）を示す値を保持してもよい。全画素分のメモリを準備しておくことで、処理領域か否かの演算処理をなくすことができ、処理速度を早くすることができる。
【００２９】
階調変換部１０６は、画像領域から処理領域設定部１０４で設定された処理領域を抽出し、処理領域の画像信号に対して階調変換処理を行う。具体的には、処理領域の画像信号の画素値のヒストグラムを作成する。作成したヒストグラムが平滑化するように階調変換処理を行う。階調変換処理の詳細は後述する。
【００３０】
後処理部１０７は、階調変換部１０６で階調変換された画像信号に対して、色補正やエッジ強調などの画像処理を行う。後処理部における処理は処理領域だけでなく、画像領域に対して行ってもよい。
【００３１】
マスク処理部１０８は、処理領域の画像信号に対して、予め設定されているマスク領域のマスクをかける。ここでのマスクをかける処理は、マスク領域に含まれない領域はそのまま透過し、マスク領域に含まれる領域の画像信号を黒相当の信号値に変換する処理である。なお、マスク領域に含まれない領域（＝透過される領域、表示領域）は処理領域の部分集合である。両者の領域が全く同じでもかまわない。マスク領域の例を図３（Ｃ）に、表示領域と処理領域との関係を図３（Ｄ）に示す。
【００３２】
画像出力部１０９では、マスクをかけた後の画像信号をメモリカードなどの記録媒体に画像を記録保存したり、不図示の表示部に画像を出力したりする。
【００３３】
階調変換部１０６で行われる階調変換処理について、図１１（Ａ）〜図１１（Ｄ）を用いて詳しく説明する。通常、処理領域以外の領域は結像されない領域を多く含んでいるので暗い（小さい）画素信号しか得られない。画像領域全体に対してヒストグラムを作成すると、例えば図１１（Ａ）のように暗部の画素が多いヒストグラムが得られる。このヒストグラムを平滑化するような階調変換を行うと、明るくなる方向に階調変換が行われ、本来必要な領域である処理領域が明るくなりすぎてしまう（図１１（Ｂ））。しかし本実施形態のように、処理領域のみからヒストグラムを作成し（図１１（Ｃ））階調変換処理を行うことで、処理領域が過度に明るくなりすぎるのを防ぐことができ、適切なレンジでの階調変換を行うことができる（図１１（Ｄ））。
【００３４】
また、処理領域以外の領域は結像されない領域を多く含んでいるので暗い（画素値の小さい）画素信号しか得られないが数画素のノイズ（明るい画素）が存在することが多い。画像領域全体に対して階調変換を行うと、これらノイズが更に増幅されてしまう問題がある。本実施形態のように処理領域にのみ階調変換を行うことで、処理領域以外のノイズの増幅を抑えることができる。このようなノイズが存在する場合には、マスク処理部１０８でマスク処理をかける場合に、マスク領域は処理領域に少し食い込むようにマージンをもって設定しないとマスク領域の境界部分でノイズが気になる画像となってしまう。なお、処理領域以外の領域に階調変換を行わないように設定すれば、ノイズが増幅されることもないので、マスク領域を結像領域に一致する大きさ或いはそれに近い大きさに設定しても良好な画像が得られる。
【００３５】
上述の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。別途ソフトウェアにて処理する構成も可能である。また、上述の実施形態では撮像素子を原色Ｂａｙｅｒ配列型としていたがこれに限定される必要はなく、補色等の撮像素子でもかまわない。更に、階調変換処理はヒストグラムを平滑化する適応階調変換処理を例にしたがそれに限定されず、人間の視覚特性（局所的な色順応）を利用した適応階調変換を用いても良い。
【００３６】
局所領域を用いた階調変換について説明する。階調変換部１０６は、前処理部１０５から入力された画像のうち、処理領域設定部１０４で設定された処理領域に対して処理を行う。この際に、処理領域を局所領域に分割する。例えば、処理領域に対応する画像信号を所定サイズの矩形領域に分割し、分割した各矩形領域を局所領域とすればよい。矩形領域のサイズは適宜設定できるが、例えば１６×１６画素単位等でもよい。そして、図１１（Ｃ）に示したようなヒストグラムを算出する際に、局所領域ごとのヒストグラムを算出する。局所領域ごとに求められたヒストグラムに基づいて階調変換の特性を決定し、決定された特性に基づいて階調変換を行う。
【００３７】
次に、図５にソフトウェア処理に関するフローを示す。本実施形態では、処理の一部または全部をソフトウェアで構成することとしてもよく、この場合、例えばコンピュータシステムのＣＰＵが画像処理プログラムを実行する。
【００３８】
この処理が開始されると、Ｓ１０１で、処理領域やマスク領域等のパラメータ情報が入力される。Ｓ１０２で、画像を入力し、Ｓ１０３にて、公知のＯＢクランプ処理やゲイン補正処理、ＷＢ補正処理等の画像処理を行う。Ｓ１０４で、画像の各画素が処理領域内かどうか判定する。画素が処理領域内のときはＳ１０５へ分岐し、処理領域外のときはＳ１０６へ分岐する。
【００３９】
Ｓ１０５で、画素値の情報を蓄積し、ヒストグラムを作成し、Ｓ１０６へ移行する。Ｓ１０６では、入力された画像の画素が残っているか判定する。まだ画素が残っている場合にはＳ１０３に戻る。
【００４０】
Ｓ１０６で入力した画素が終了したと判定された場合には、Ｓ１０７へ移行し、Ｓ１０５において蓄積されたヒストグラムを元に、階調変換を行う。Ｓ１０８で、色処理や輪郭強調等の画像処理を行い、Ｓ１０９で、画像の各画素がＳ１０１で入力されたマスク領域内かどうか判定する。マスク領域内の場合にはＳ１１０へ分岐し、マスク領域外のときはＳ１１１へ分岐する。
【００４１】
Ｓ１１０では、画素値をゼロあるいは黒相当の画素値に変更し、Ｓ１１１へ移行する。Ｓ１１１では、入力された画像の画素が残っているか判定する。まだ画素が残っている場合にはＳ１０７に戻る。Ｓ１１１で入力した画素が終了したと判定された場合には、Ｓ１１２にて、画像を出力し終了する。
【００４２】
なお、Ｓ１０７の前に、画素が処理領域か否かの分岐を入れて、処理領域のときのみＳ１０７の階調変換処理やＳ１０８の後処理を行うようにしてもよい。
【００４３】
以上の本実施形態では、図１に示したように、画像処理装置は画像信号を取得する画像信号取得部１０２と、処理領域を設定する処理領域設定部１０４と、階調変換処理を行う階調変換部１０６とを含む。撮像素子１０２１は、結像領域においては光学系１０１により被写体像が結像され、非結像領域においては被写体像が結像されない。画像信号取得部１０２は、当該撮像素子１０２１から被写体像の信号を部分的に含む画像信号を取得する。処理領域設定部１０４は、撮像素子１０２１から取得される画像（画像領域の画像）のうち、結像領域の内側に対して、処理領域を設定する。階調変換部１０６は、処理領域内の画素の画素値に基づいて階調変換処理を行う。
【００４４】
ここで、図２（Ｂ）に示したように、本実施形態においては結像領域とは、光学系１０１を通過した光が結像する領域を表し、通常は光学系１０１に含まれるレンズの形状に従って円形状になる。それに対して、撮像素子は通常は方形であり、撮像素子に対応する画像信号を取得することができる領域である画像領域は図２（Ｃ）に示したように方形となる。本実施形態における非結像領域とは、結像領域に含まれない領域を指すものとし、必ずしも画像領域に含まれる必要はないものとするが、これに限定されるものではない。また、結像領域と、画像領域の共通部分を被写体像領域（図２（Ｄ））とする。
【００４５】
本実施形態においては、処理領域は結像領域の内側に設けられるものとしたが、狭義には被写体像領域の内側に設けられる。なぜなら、結像領域に含まれながら被写体像領域に含まれない領域とは、撮像素子１０２１に対応する画像領域にも含まれないことになり、当該領域においては画像信号が取得されない。つまり、本実施形態での処理領域は階調変換処理に用いられる領域のことであるから、画像信号が取得されない領域を処理領域に設定したとしても、その後の階調変換に寄与しないことになり意味がないからである。しかし、処理領域のうち画像信号が取得された部分を用いて階調変換処理を行うものとすれば、被写体領域からはみ出す領域（且つ結像領域に含まれる領域）を処理領域に設定することを妨げるものではない。
【００４６】
なお、処理領域とは、画像出力部１０９で出力される（例えば表示される）画像に対応する領域（例えば、図３（Ｄ）で示した表示領域）を少なくとも含む大きさの領域である。公知の階調変換処理の一例として、画像領域を複数の局所領域に分割し、局所領域ごとに処理を行う場合がある。その場合、画像領域を複数の局所領域に分割した結果、ある局所領域が結像領域の内側に設定されることがあり得る。しかし、このような局所領域は表示領域を含む大きさの領域とはならないため、本実施形態における処理領域には含まれない。本実施形態での処理領域とは、結像領域の内側に設定され、且つ、それ単体で表示領域に対応しうるものを指すものとする。
【００４７】
これにより、階調変換処理に用いられる領域である処理領域を、結像領域の内側に設定することができるため、被写体の像を含む光が届いている画素の画素値を用いつつ、被写体の像を含む光が届いていない画素の画素値を用いずに階調変換処理を行うことが可能になる。上述したように、撮像素子１０２１に対応する画像領域の中には、結像領域に含まれないため、被写体の像を含む光が届かない領域が存在する。そのような領域は意味のない画素値が得られている（一般的には光が届かないため暗かったり、或いはノイズがのっていたりする）ため、階調変換処理に用いてしまうと、誤った傾向の処理を行ってしまう可能性がある。本実施形態の手法を用いることで、意味のある（つまりは被写体像の光が届いている）画素値を用いて処理が可能になるため、適切な階調変換処理を行うことができる。
【００４８】
また、画像処理装置は、処理領域以外の非処理領域を少なくともマスクするマスク処理を施すマスク処理部１０８を含んでもよい。また、マスク処理部１０８によりマスク処理が施された画像を表示画像として取得する画像出力部１０９を含んでもよい。
【００４９】
ここで、非処理領域とは、処理領域以外の領域を表す。非処理領域がマスク処理の対象となるものであり、当該マスク処理は画像信号が取得されない画素に対して行われても意味のないものであることに鑑みれば、非処理領域は処理領域に含まれず、且つ、画像領域に含まれる領域として設定されるものとする。ただし、これに限定されるものではない。
【００５０】
これにより、非処理領域をマスクするマスク処理を施した上で、マスク処理後の画像を取得することが可能になる。なお、ここではマスク処理とは画像をつぶして見えなくする（例えば黒い画素で置き換える等）の処理を指すものとする。そのため、マスク処理が施されていない領域とは図３（Ｄ）の表示領域に対応することになる。処理領域が結像領域の内側に設定されることから、非処理領域とは、基本的に非結像領域に対応する領域となる。もちろん、非処理領域であり且つ結像領域である領域は存在しうるが、処理領域の大きさを結像領域（被写体像領域）に近づけるほど、より多くの画素値を用いて階調変換処理を行えることに鑑みれば、非処理領域に含まれる結像領域は広くないことが想定される。よって、非処理領域をマスクすることで、画像領域内の非結像領域に対応する領域をマスクすることが可能になり、被写体像の光が届いていない意味のない画素値を黒くつぶす等の処理ができる。
【００５１】
また、画像出力部１０９は、マスク処理が施された画像のうち、マスク処理によりマスクされる領域であるマスク領域を除いた画像を取得してもよい。
【００５２】
これにより、マスクされている部分の画像を取得しなくてもよいことになり、データ量の削減等が可能になる。マスクされている領域とは、例えば黒でつぶされている領域であり、ユーザに対して何ら情報を提示するものではない。よって、黒い画像を取得しても特に有益ではない以上、黒い部分を初めから削除した画像（図３（Ｄ）の例でいえば表示領域に対応する８角形の画像）を取得してもよい。
【００５３】
また、マスク処理部１０８は、非処理領域を含み、且つ処理領域の周縁領域を含む領域をマスク領域として設定してもよい。
【００５４】
これにより、図３（Ｄ）に示したように、表示領域にマージンを持たせることが可能になる。図３（Ａ）〜図３（Ｄ）の例では、処理領域が既に被写体像領域よりも狭く（マージンを持って）設定されているが、そうでない場合には、処理領域の境界部分がすぐ非結像領域であるケースが考えられる。その場合、非結像領域にはノイズがのっている可能性が大いにあり、更に階調変換処理によって当該ノイズが強調されてしまっていることがあり得る。つまり、非処理領域に対してのみマスク処理を行ったのでは、処理領域との境界部分に存在するノイズが表示領域に含まれ、目立ってしまうことが考えられる。そこで、本実施形態では表示領域にマージンを持たせることで目立つノイズが表示されてしまうことを抑止している。
【００５５】
また、階調変換部１０６は、画像に対して局所領域を設定し、設定された局所領域に基づいて（例えば局所領域に適応的な）階調変換処理を行ってもよい。
【００５６】
これにより、スペースバリアントな階調変換処理が可能になる。画像全体を見た場合に、比較的画素値の小さい領域と、比較的画素値の大きい領域とがあったとき、局所領域を設定しないとすると、中間的な処理が全体に施されることになるが、局所領域を設定することで、各領域の特徴を反映させた処理が可能になる。
【００５７】
また、階調変換部１０６は、処理領域の画素値のヒストグラムを平滑化する処理を行ってもよい。
【００５８】
これにより、図１１（Ｃ）〜図１１（Ｄ）に示したような処理が可能になる。全体を平滑化することにより、小さい画素値が持ち上げられ、大きい画素値が下げられることになる。
【００５９】
また、処理領域設定部１０４は、画像領域の画像の各行における処理領域の始点に対応する画素位置を第１の画素位置とし、画像領域の画像の各行における処理領域の終点に対応する画素位置を第２の画素位置とした場合に、第１の画素位置と第２の画素位置を特定するための区間情報により、処理領域を設定してもよい。そして、区間情報とは、具体的には始点から終点までの画素数により表される情報であってもよい。
【００６０】
これにより、図４に示したような処理が可能になる。後述するように、処理領域に対応する画素には１を割り当て、非処理領域に対応する画素には０を割り当てることで処理領域に関する情報を保持してもよい。しかし、処理領域、非処理領域ともにある程度の画素数が連続して並ぶことで構成されることが想定される。つまり、一回処理領域に含まれる画素が現れたら、同じ行においてはある程度の画素数分だけ処理領域が続く。よって、始点及び終点の情報を保持することにより、より少ないデータサイズで処理領域の情報を保持することが可能になる。具体的には、始点から終点までの画素数により表される情報であってもよい。例えば、ランレングス符号化に用いられる手法のように、「ＡＡＡＡＡＢＢＢＣＣＣＣ」という情報を「Ａ５Ｂ３Ｃ４」という形で保持することが考えられる。ここでは、処理領域と非処理領域の２値しかとらないのであるから、上述した例のようにＡ，Ｂ，Ｃを記述する必要も必ずしも無く、始点から終点までの画素数を表す数値を並べて記述するだけでもよい。
【００６１】
また、処理領域設定部１０４は、画像の各画素に対して設定された処理領域判定情報に基づいて処理領域を設定してもよい。
【００６２】
これにより、画素ごとに設定された処理領域判定情報を用いて処理領域を表現することが可能になる。これは上述したように、処理領域である画素に１を割り当て、非処理領域である画素に０を割り当てるような手法により実現できる。上述した区間情報や後述する極座標を用いた形式に比べて、データサイズは大きくなるものの、目的の画素が処理領域か否かを簡単に判定することができる。例えば、区間情報を用いた場合、始点から終点までの画素数しか保持していないため、目的の画素が左上の画素から数えて何画素目に相当するかを演算した上で、区間情報により表される画素数と比較する等の処理が必要になってくる。その点、処理領域判定情報を画素ごとに保持しておけば、目的の画素の処理領域判定情報を参照するだけで、処理領域に含まれるか否かを判定することが可能である。
【００６３】
また、光学系は、画角が１８０°以上であってもよい。
【００６４】
これにより、従来より広い画角の撮像光学系を用いることが可能になる。例えば内視鏡用途に用いるのであれば、大腸等のヒダの裏側にある病変部等の探索に効果を発揮する。
【００６５】
また、光学系の光軸を含む領域を前方領域とし、光軸に直交する軸を含む領域を側方領域とした場合に、光学系は前方領域又は側方領域に設定される撮像領域を撮像可能な光学系であってもよい。
【００６６】
ここで、前方領域及び側方領域は図１４のように定義される。図１４の矢印が光軸を表し、Ｃ１が前方領域となり、Ｃ２及びＣ３が側方領域となる。また、図１４では平面的に描いたが、当然領域は３次元的な広がりを持っていてもよい。
【００６７】
これにより、前方のみならず、側方に対しても撮像領域を設定可能になるため、広い領域を撮像することができる。
【００６８】
また、光学系の光軸方向と反対方向の軸を含む領域を後方領域とした場合に、撮像光学系は後方領域内に設定される撮像領域を撮像可能な光学系であってもよい。
【００６９】
ここで、後方領域は図１４のＣ４のように定義される。後方領域が３次元的な広がりを持ってもよいのは上述した例と同様である。
【００７０】
これにより、後方に対しても撮像領域を設定可能になる。より広い範囲を撮像可能になるため、例えば内視鏡用途等では、病変部のサーチ等を効率的に行うことができる。
【００７１】
また、画像信号取得部１０２は、光学系の視野範囲の一部を遮る障害物によって発生する死角部分によって非結像領域が生じた画像信号を取得してもよい。具体的には図１０（Ａ）、図１０（Ｂ）に示すように、光学系は内視鏡装置の挿入部の先端に設けられており、障害物とは内視鏡装置の挿入部の先端部に形成された管路の開口部であってもよい。なお、図１０（Ａ）は挿入部の先端を前方から見た図であり、図１０（Ｂ）は挿入部の先端を側方から見た図である。
【００７２】
これにより、画像信号取得部１０２では、図８（Ａ）〜図８（Ｂ）のような画像を取得することが可能になる。特に、図１０（Ｂ）に示したように前方視野に加えて側方視野を撮像可能な光学系を持つ内視鏡装置においては、処置を行う鉗子等を通す管（或いは送気・送水用の管）を持たせた場合に、当該管が側方視野用の光学系にとって障害物となってしまうことが想定される。その場合には、側方視野に対応する画像は３６０度取得できるわけではなく、図８（Ｂ）のように欠けが生じる。よって、そのような欠け部分を含まないように適切に処理領域を設定する必要がある。
【００７３】
また、以上の本実施形態は、画像信号を取得する画像信号取得部１０２と、処理領域を設定する処理領域設定部１０４と、階調変換処理を行う階調変換部１０６としてコンピュータを機能させるプログラムに関係する。撮像素子１０２１は、結像領域においては光学系１０１により被写体像が結像され、非結像領域においては被写体像が結像されない。画像信号取得部１０２は、当該撮像素子１０２１から被写体像の信号を部分的に含む画像信号を取得する。処理領域設定部１０４は、撮像素子１０２１から取得される画像（画像領域の画像）のうち、結像領域の内側に対して、処理領域を設定する。階調変換部１０６は、処理領域内の画素の画素値に基づいて階調変換処理を行う。
【００７４】
これにより、上述した処理をプログラムによりソフトウェア的に実現することが可能になる。内視鏡装置の場合であれば、画像信号をまとめて取得しておき、あとでまとめて処理を行うようなカプセル内視鏡を実現することも可能になる。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記憶媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリやＲＡＭ等のメモリなど、情報処理装置等によって読み取り可能な種々の記録媒体を想定できる。例えば、ＰＣ等の機器によって読み取り可能な種々の記録媒体にプログラムが記憶され、ＰＣ等の処理部（例えばＣＰＵ）において実行されるケースが考えられる。
【００７５】
３．第２の実施形態
図６に、本実施形態の画像処理装置を含む内視鏡装置の構成例を示す。内視鏡装置は、照明部２００と、撮像部２１０と、プロセッサ部２２０と、表示装置２３０と、Ｉ／Ｆ部２４０とを含む。第１の実施形態とは異なり、画像出力部２２７から出力された画像は表示装置２３０で表示される。
【００７６】
照明部２００は、白色光光源Ｓ０２や集光レンズＳ０３を含む光源装置Ｓ０１と、ライトガイドファイバＳ０５や照明光学系Ｓ０６を含む。撮像部２１０は、集光レンズＳ０７、撮像素子Ｓ０８、Ａ／Ｄ変換部２１１を含む。
【００７７】
プロセッサ部２２０は、第１の実施形態において図１で示した画像処理装置に対応し、バッファ２２１と、処理領域設定部２２２と、前処理部２２３と、階調変換部２２４と、後処理部２２５と、マスク処理部２２６と、画像出力部２２７と、制御部２２８とを含む。制御部２２８はマイクロコンピュータやＣＰＵ等を備えている。Ｉ／Ｆ部２４０は電源スイッチ、変数設定などを行うためのインターフェースを備えている。
【００７８】
白色光光源Ｓ０２から白色光が発光される。白色光が集光レンズＳ０３に達し集光される。集光された白色光はライトガイドファイバＳ０５を通って照明光学系Ｓ０６から被写体に照射される。被写体から反射した反射光が集光レンズＳ０７により集光され、ＲＧＢ三原色の光をそれぞれ透過する色フィルタがＢａｙｅｒ型に配置された撮像素子Ｓ０８に到達し光電変換を行いアナログの信号となりＡ／Ｄ変換部２１１へ送られる。Ａ／Ｄ変換部２１１ではアナログの信号をデジタルの信号に変換し、画像としてバッファ２２１へ格納する。
【００７９】
上述の集光レンズＳ０７は挿入部先端から突出しており、前方および側方が観察できる、例えば視野角が２３０°のレンズを用いる。一方、図１０（Ａ）のように、撮像部の先端には、レンズと照明と、処置具を出したり送水送気を行うための鉗子口が配置されていて、図１０（Ｂ）のように、側方視野に照明を当てるために先端付近の側面に照明を配置する必要がある。また、内視鏡を体内に挿入したまま処置や生検などをする際には、鉗子などの処置具を用いたり送水や送気を行ったりするが、それら処置具の通り道を確保する必要がある。そのため側方視野にかかってしまう位置に外装を配置せざるを得ない。このとき図８（Ａ）〜図８（Ｃ）のように側方視野が３６０度ではなく欠ける領域が生じる。
【００８０】
画像領域中のこの欠けた領域からは意味のないデータしか得られない。前方視野と３６０度の側方視野全部を元に階調変換を行うとこの意味のないデータも反映された階調変換がなされてしまう。そこでこの欠けた領域を除いた処理領域を処理領域設定部２２２にて予め設定しておく。
【００８１】
処理領域を図７に示したような極座標で保持しておく。予め保持しておくデータとしては、中心座標（ｘ０,ｙ０）及び半径Ｒが考えられる。また、各画素の座標（ｘ，ｙ）として下式（１）、（２）で表されるｋとθを保持する。
【数１】
【数２】
【００８２】
また、処理領域とそれ以外の領域との境界を表す関数をｆ（θ）とするとき、処理領域以外の領域は下式（３）で求められる。
【００８３】
ｆ（θ）＞ｋ ・・・・・（３）
【００８４】
特に、欠けた領域が扇形の場合、処理領域をシンプルに保持することも可能である。更に前方視野の半径をｒ、欠けている側方視野の角度をθ１〜θ２とすると、処理領域は下式（４）で求められる。
【００８５】
ｋ＜ｒ または （ｒ＜ｋ≦Ｒかつ（θ≦θ１またはθ２≦θ）） ・・・・・（４）
【００８６】
処理領域が設定された後の処理は、第１の実施形態と同様であるため、詳細な説明は省略する。処理領域、マスク領域及び表示領域の関係についても第１の実施形態と同様であり、図９（Ａ）〜図９（Ｄ）に示したとおりである。また、本実施形態のプロセッサ部２２０における処理もソフトウェア的に実現されてもよい。その場合の処理も第１の実施形態において図５で示したフローチャートと同様であるため、詳細な説明は省略する。
【００８７】
以上の本実施形態では、処理領域設定部２２２は、画像領域の画像のうち結像領域の画像の中心座標からの距離により、処理領域を設定してもよい。
【００８８】
これにより、上述した式（１）〜（４）のように、極座標の形で処理領域に関する情報を保持することが可能になる。第１の実施形態では８角形の処理領域を設定しているが、処理領域を円形（及び円形に準ずる形状）に設定する場合には、処理領域を極座標を用いて設定することで容易に表現することが可能になる。
【００８９】
また、処理領域設定部２２２は、中心座標からの距離を中心座標に対して設定される基準方向に対する角度に基づいて変更してもよい。特に、光学系の視野範囲を遮る障害物によって発生する死角部分により非結像領域が生じる場合には、障害物の存在方向に対応する角度における距離を、障害物の非存在方向に対応する角度における距離に比べて短く設定してもよい。
【００９０】
これにより、極座標での距離を角度に応じて変更することが可能になるため、円形状に限定されず任意の形状の処理範囲を極座標を用いて表現することが可能になる。ただし、処理負荷等を考慮すれば、円形状から大幅に離れる形状は極座標により表現するメリットは小さい。よって、例えば図９（Ａ）に示したように、前方領域と側方領域を取得する光学系を有する場合のような、円形状に準ずる形状に対して用いると利点が大きい。特に、欠けた範囲が扇形であるものとできる場合には、処理領域を上述した式（４）のように簡潔に記述することができる。
【００９１】
また、以上の本実施形態は、図６に示したように、画像信号を取得する画像信号取得部（撮像部２１０）と、処理領域を設定する処理領域設定部２２２と、階調変換処理を行う階調変換部２２４とを含む内視鏡装置に関係する。撮像素子Ｓ０８は、結像領域においては光学系（照明部２００）により被写体像が結像され、非結像領域においては被写体像が結像されない。画像信号取得部は、当該撮像素子Ｓ０８から被写体像の信号を部分的に含む画像信号を取得する。処理領域設定部２２２は、撮像素子Ｓ０８から取得される画像（画像領域の画像）のうち、結像領域の内側に対して、処理領域を設定する。階調変換部２２４は、処理領域内の画素の画素値に基づいて階調変換処理を行う。
【００９２】
これにより、上述してきた処理を実行可能な内視鏡装置を実現することが可能になる。内視鏡装置で取得された画像とは、生体内を撮像した画像であることが想定され、特に病変部等を観察し発見することを目的とすることが多い。そのため、階調変換処理が適切に行われず、白飛び等を発生させてしまった場合には、病変部の見逃し等につながり好ましくない。よって、処理領域を設定し適切に階調変換処理を行うことは、内視鏡装置において特に意義を有する。
【００９３】
また、画像信号取得部（撮像部２１０）は、光学系の視野範囲の一部を遮る障害物によって発生する死角部分によって非結像領域が生じた画像信号を取得してもよい。
【００９４】
これにより、内視鏡装置においても、視野の一部が欠けた画像信号から取得された画像に対して適切に処理領域を設定することが可能になる。内視鏡装置においては、病変部の観察だけでなく器具を用いた処置を行う必要があるため、図１０（Ｂ）に示したように鉗子を通す管等が側方視野用の光学系に対する障害物になってしまう。よって、そのような場合にも適切に処理領域を設定することが必要となる。
【００９５】
４．第３の実施形態
図１２に本実施形態の画像処理装置の構成例を示す。第１の実施形態（図１）に比べて、Ａ／Ｄ変換部１０２２が前処理部１０５に接続され、前処理部１０５がバッファ１０３に接続されている点が異なる。また、バッファ１０３は、処理領域設定部１０４と、階調変換部１０６に接続されている。
【００９６】
本実施形態においては、画像信号取得部１０２が動作する動作モードとして、参照画像取得モードと通常動作モードの２つの動作モードがある。各動作モードの切り替えは、外部Ｉ／Ｆ部１１１に具備された参照画像取得ボタンが押されることで行われる。参照画像取得ボタンが押されるまでは、初期モードとして通常動作モードが設定されている。参照画像取得ボタンがユーザにより押されると、参照画像取得モードへと切り替わり前処理部１０５より出力される画像信号が参照画像としてバッファ１０３に保存される。そして、保存された参照画像に基づいて処理領域設定部１０４は処理領域を設定する。処理領域が設定されると自動的に通常動作モードへと切り替わり、以後設定された処理領域に基づき、階調変換部１０６は階調変換処理を入力された画像信号に対し行う。また、参照画像取得ボタンが再び押されると前処理部１０５より出力される画像信号を同様に取得し、参照画像としてバッファ１０３に上書き保存する。
【００９７】
参照画像取得モードについて具体的に説明する。例えば、参照画像とはホワイトバランスキャップ（白い被写体）を撮影したホワイトバランス画像であり、ユーザはホワイトバランスキャップを光学系１０１の先端にかぶせて参照画像取得ボタンを押す。ホワイトバランスキャップは、可視光領域においてほぼ一様な分光反射率を有している。ホワイトバランス画像は、ホワイトバランス係数を算出するのに用いられる。ホワイトバランス係数とは、白い被写体を撮影した場合に画像信号のＲＧＢがそれぞれ等しくなるよう、Ｒ信号およびＢ信号に対して乗算する係数である。
【００９８】
バッファ１０３は、参照画像取得ボタンが押されると画像信号取得部１０２より出力されるホワイトバランス画像を参照画像として保存する。
【００９９】
処理領域設定部１０４は、バッファ１０３に参照画像が保存されると、参照画像に基づき、画像信号上に処理領域を設定する。具体的には処理領域設定部１０４は、参照画像を所定の閾値に基づき二値化し、二値化した参照画像に基づき処理領域を設定する。例えば、参照画像はＲＧＢのチャンネルを有したカラー画像であり、処理領域設定部１０４は参照画像のＧ信号（図１３（Ａ））と所定の閾値とを比較し、所定の閾値以上である画素を処理領域として設定する（図１３（Ｂ））。ここで、参照画像の輝度信号が所定の閾値以上である画素を処理領域として設定してもかまわない。
【０１００】
本実施例の変形例として、処理領域設定部１０４は、参照画像のエッジを検出し、検出した参照画像のエッジに基づき処理領域を設定する。例えば、参照画像のＧ信号に対して公知のラプラシアンフィルタによるフィルタリング処理を行い、フィルタリング処理結果が所定の閾値以上である画素をエッジとして検出する（図１３（Ｃ））。ここで、参照画像の輝度信号に対してフィルタリング処理を行ってもかまわない。また、Ｃａｎｎｙエッジ検出処理など公知のエッジ検出処理を用いてエッジを検出してもかまわない。
【０１０１】
ただし、キャップの形状等の問題から、図１３（Ｃ）のＡ２に示したように、本来検出すべきエッジ（Ａ１）以外のエッジを検出してしまうことも考えられる。その場合には、検出したエッジを公知のラベリング処理によりラベリングし、ラベリングしたエッジ毎に、閉領域を形成しているかを判定し、形成している場合閉領域の面積をそれぞれ取得する。そして、閉領域の面積の最大値が所定の閾値以上である場合、当該閉領域を処理領域として設定する。閉領域を形成するエッジが存在しない場合、また閉領域の面積の最大値が所定の閾値未満であった場合、処理領域を設定せず、処理領域を設定できなかった旨のメッセージをユーザに通知する。設定できなかった場合は、第１の実施の形態例と同様に、予め保持されている処理領域を設定しても良い。
【０１０２】
次に、通常動作モードについて説明する。第１の実施の形態例と同様に、前処理部１０５以降の処理を行う。処理領域設定部１０４で処理領域が設定できていない場合には、階調変換部１０６では画像信号全体に対し階調変換処理を行う。
【０１０３】
その後の処理については、第１の実施形態と同様であるため、詳細な説明は省略する。
【０１０４】
以上の本実施形態では、処理領域設定部１０４は、画像信号取得部１０２があらかじめ取得した参照画像に基づいて処理領域を設定してもよい。
【０１０５】
これにより、光学系の製造ばらつき等による差異を吸収することが可能になる。本来、結像領域の大きさや画像領域の大きさ（撮像素子の大きさ）は設計により求めることができる。そのため、設計通りの光学系等が実現されていれば、当該設計に基づいて処理領域をあらかじめ決めておくことができる。しかし、製造工程におけるばらつき等により、あらかじめ設定した処理領域が適切でなくなってしまうケースも考えられる。よって、そのようなケースに対応するために、参照用の画像（参照画像）を取得し、取得した参照画像に基づいて処理領域を設定してもよい。
【０１０６】
また、画像信号取得部１０２は、参照画像として、所定のチャートを撮像した画像を取得してもよい。そして、所定のチャートを撮像した画像とは、照明光に対する白を規定する分光反射率を有するチャートを撮像した画像（ホワイトバランス画像）であってもよい。
【０１０７】
ここでチャートとは、カラーチャートを指すものとする。つまり色味の基準となるものであり、例えば白いチャートとは当該チャートを撮像した際に画素値が最大値を取るように設定することで、白さの度合いを調節することができるような基準である。
【０１０８】
これにより、参照画像として所定チャートを撮像した画像を用いることが可能になる。具体的には白いキャップを撮像部に対してはめた状態で取得されたホワイトバランス画像を用いることが考えられる。つまり、光が届く範囲では画像全体として白い画像が得られることが想定されるため、光が届かず暗くなっている領域との判別処理を行うことで処理領域として設定すべき領域を決定することが可能になる。
【０１０９】
また、処理領域設定部１０４は、参照画像の画素値が所定の閾値以上となる領域を処理領域として設定してもよい。
【０１１０】
これにより、閾値判断により処理領域を設定することが可能になる。具体的には図１３（Ａ）の画像に対して閾値判断を行うことで、図１３（Ｂ）のように、処理領域（白い部分）を設定することができる。
【０１１１】
また、処理領域設定部１０４は、参照画像の画素値に基づいてエッジ検出を行い、検出したエッジに基づいて処理領域を設定してもよい。
【０１１２】
これにより、エッジ検出により処理領域を設定することが可能になる。図１３（Ａ）のような画像が得られた場合、比較的明るい領域（光が届いている領域）と暗い領域とのエッジが検出できるため、当該エッジを処理領域と非処理領域の境界とすればよい。ただし、ホワイトバランス画像がキャップをはめて撮像するという特性上、図１３（Ａ）のようにキャップの形状に応じた濃淡が生じてしまうことが想定され、それに基づいて、図１３（Ｃ）のＡ２のように、キャップの形状によるエッジが検出されてしまう可能性がある。その場合には、閉領域を形成するエッジを検出し、当該閉領域の面積が最も大きいもの（且つ閾値以上のもの）を採用すればよい。図１３（Ｃ）でいえばＡ１とＡ２が検出されるが、処理領域の境界として採用されるのはＡ１となる。
【０１１３】
以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１１４】
１０１ 光学系、１０２ 画像信号取得部、１０３ バッファ、
１０４ 処理領域設定部、１０５ 前処理部、１０６ 階調変換部、１０７ 後処理部、
１０８ マスク処理部、１０９ 画像出力部、１１０ 制御部、１１１ 外部Ｉ／Ｆ部、
２００ 照明部、２１０ 撮像部、２１１ Ａ／Ｄ変換部、２２０ プロセッサ部、
２２１ バッファ、２２２ 処理領域設定部、２２３ 前処理部、２２４ 階調変換部、
２２５ 後処理部、２２６ マスク処理部、２２７ 画像出力部、２２８ 制御部、
２３０ 表示装置、２４０ 外部Ｉ／Ｆ部、
１０２１ 撮像素子、１０２２ Ａ／Ｄ変換部、
Ｓ０１ 光源装置、Ｓ０２ 白色光光源、Ｓ０３ 集光レンズ、
Ｓ０５ ライトガイドファイバ、Ｓ０６ 照明光学系、Ｓ０７ 集光レンズ、
Ｓ０８ 撮像素子
【技術分野】
【０００１】
本発明は、画像処理装置、内視鏡装置及びプログラム等に関する。
【背景技術】
【０００２】
従来、画像処理装置は、レンズを通じた光が撮像素子上に結像されることで信号を取得し、所定の画像処理を行って画像を生成し、表示装置等に出力する。しかし、レンズにより結像される領域（ここでは結像領域と呼ぶ）と、撮像素子が並んでいて信号が得られる領域（ここでは画像領域と呼ぶ）とは必ずしも一致しない。
【０００３】
また、画像領域の中でも結像領域に含まれない領域の画素値は、像から得られるものではなくノイズ等の意味のないデータが入っていることになる。そのため、画像領域の中にマスク領域を予め設定し、得られた画像に対してマスク領域をつぶすマスク処理を行い最終的な画像を出力する手法が知られている。例えば、特許文献１では、電子スコープがマスク信号を生成し、画像処理後の信号にマスク処理を行う方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０７０７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
マスク処理をかけたマスク領域は、最終的にはマスクがかかっているのでユーザにとっては意味のない領域になる。一方、各画像処理は画像領域に対して行われている。階調変換など画像全体の情報を元に行う処理の場合には、最終的にマスクがかかってつぶされる領域の情報も用いた上で処理が行われてしまう。例えば、階調変換を行う場合、表示されない画像領域に非常に明るい部分があるとすると、画像全体としては明るいので、全体的に暗くする方向の階調変換が行われ、実際に出力される領域が暗くなってしまい、適切な階調変換処理がなされない。
【０００６】
本発明の幾つかの態様によれば、光学系により被写体像が結像されない領域の情報による階調変換処理への影響を抑止することで、適切な階調変換処理を行う画像処理装置、内視鏡装置及びプログラム等を提供することができる。
【０００７】
また、本発明の幾つかの態様によれば、結像領域と画像領域との共通部分の部分集合である処理領域の情報を用いることで、適切な階調変換処理を行う画像処理装置、内視鏡装置及びプログラム等を提供することができる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、結像領域においては光学系により被写体像が結像され、非結像領域においては前記被写体像が非結像の撮像素子から、前記被写体像の信号を部分的に含む画像信号を取得する画像信号取得部と、前記画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部と、設定された前記処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部と、を含む画像処理装置に関係する。
【０００９】
本発明の一態様では、結像領域の内側に処理領域を設定し、処理領域内の画素の画素値に基づいて階調変換処理を行う。よって、光学系により被写体像が結像される領域に対応する画素の画素値に基づく階調変換処理が行われるため、被写体像が結像されない領域に対応する画素の画素値まで用いる場合の階調変換処理に比べて、適切な処理を行うこと等が可能になる。
【００１０】
本発明の他の態様は、結像領域においては光学系により被写体像が結像され、非結像領域においては前記被写体像が非結像の撮像素子から、前記被写体像の信号を部分的に含む画像信号を取得する画像信号取得部と、前記画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部と、設定された前記処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部と、を含む内視鏡装置に関係する。
【００１１】
本発明の他の態様は、結像領域においては光学系により被写体像が結像され、非結像領域においては前記被写体像が非結像の撮像素子から、前記被写体像の信号を部分的に含む画像信号を取得する画像信号取得部と、前記画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部と、設定された前記処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態のシステム構成例。
【図２】図２（Ａ）〜図２（Ｄ）は結像領域、画像領域及び被写体像領域を説明する図。
【図３】図３（Ａ）〜図３（Ｄ）は処理領域、マスク領域及び表示領域を説明する図。
【図４】区間情報による処理領域の設定手法を説明する図。
【図５】本実施形態の画像処理を説明するためのフローチャート。
【図６】第２の実施形態のシステム構成例。
【図７】極座標を用いた処理領域の設定手法を説明する図。
【図８】図８（Ａ）〜図８（Ｃ）は第２の実施形態における結像領域及び画像領域を説明する図。
【図９】図９（Ａ）〜図９（Ｄ）は第２の実施形態における処理領域、マスク領域及び表示領域を説明する図。
【図１０】図１０（Ａ）、図１０（Ｂ）は管路により死角部分が生ずることを説明する図。
【図１１】図１１（Ａ）、図１１（Ｂ）は従来の階調変換処理を説明する図、図１１（Ｃ）、図１１（Ｄ）は本実施形態における階調変換処理を説明する図。
【図１２】第３の実施形態のシステム構成例。
【図１３】図１３（Ａ）〜図１３（Ｃ）は参照画像を用いた処理領域の設定手法を説明する図。
【図１４】前方領域、側方領域及び後方領域を説明する図。
【発明を実施するための形態】
【００１３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１４】
１．本実施形態の手法
まず、本実施形態の手法について説明する。図２（Ａ）に示したように、画像処理装置は、レンズを通過した光が撮像素子上で結像されることにより画像信号を取得する。しかし、レンズの形状を考慮すれば、レンズを通過した光が結像する領域は円形になると考えられる（この円形の領域を結像領域と呼ぶ）のに対して、撮像素子は方形である場合がほとんどである（この撮像素子に対応する方形の領域を画像領域と呼ぶ）。
【００１５】
よって、結像領域と画像領域とは形状が一致しないため、一般的には、結像領域に含まれながら画像領域に含まれない領域と、画像領域に含まれながら結像領域に含まれない領域が存在することになる。画像を形成する画像信号は、撮像素子の一画素一画素の信号に基づいて取得されることから、画像領域分の領域で画像信号が取得されることになる。
【００１６】
つまり、結像領域に含まれながら画像領域に含まれない領域では、被写体の像を含む光は入射しているが対応する撮像素子の画素が存在しないため、画像信号には寄与しない。それに対して、画像領域に含まれながら結像領域に含まれない領域（以下適宜、非結像領域と呼ぶが、非結像領域とは結像領域に含まれない領域全体を指してもよい）では、被写体の像を含む光が来ていないのに、画像信号は取得されることになる。よって後者の領域では、意味のないデータ（例えば光が来ないことによる暗い画素値や、或いはノイズ等に基づく画素値）が取得されてしまうことになる。
【００１７】
従って画像領域全体を考えたときに、結像領域にも画像領域にも含まれる領域（以下、被写体像領域と呼ぶ。例えば図２（Ｄ））に関しては、被写体像の情報を反映した意味のあるデータが取得されるのに対して、非結像領域では意味のないデータが取得される。この意味のあるデータと意味のないデータを等価に扱って画像処理を行うことは適切でない場合がある。
【００１８】
例えば、階調変換処理においては、画像全体の明るさ（例えば画素値や輝度値等）をみて、明るさの偏りをなくすような処理が行われる（具体例としては図１１（Ａ）〜図１１（Ｂ）のような処理となる）。つまり、暗い画素が多い場合には、全体として明るくするような処理となり、明るい画素が多い場合には、全体として暗くするような処理となる。このとき上述したように、非結像領域では、レンズからの光が到達しないことから暗い画像が得られることが想定される。そのため、被写体像領域に対応する意味のあるデータの明るさはそれほど暗いわけではなくても、意味のないデータの暗さの影響を受けて、画像全体を明るくするような処理が行われてしまう。それでは、意味のあるデータ部分が白飛びするような不適切な処理が起こりかねない。
【００１９】
よって、本出願人は図３（Ａ）〜図３（Ｂ）に示したように、被写体像領域に含まれるような処理領域を設定し、当該処理領域の画素値を用いて（つまり、画像領域に含まれ且つ処理領域に含まれない画素の画素値は用いずに）階調変換処理を行う手法を提案する。このようにすることで、意味のあるデータ（被写体像の情報が反映されたデータ）を用いて、意味のないデータを用いないことになるため、意味のないデータによる階調変換処理への悪影響を抑止することが可能になる。
【００２０】
以下、第１の実施形態及び第２の実施形態では、処理領域のデータが予め与えられているケースについて説明する。特に第１の実施形態では処理領域の情報を、ランレングスを用いて保持する手法について説明する。第２の実施形態では超広角の内視鏡装置を想定した上で、極座標を用いて処理領域の情報を保持する手法について説明する。また、第３の実施形態では、処理領域を参照画像から取得する手法について説明する。
【００２１】
２．第１の実施形態
図１に本実施形態にかかる画像処理装置の構成例を示す。画像処理装置は、光学系１０１と、画像信号取得部１０２と、バッファ１０３と、処理領域設定部１０４と、前処理部１０５と、階調変換部１０６と、後処理部１０７と、マスク処理部１０８と、画像出力部１０９と、制御部１１０と、外部Ｉ／Ｆ部１１１とを含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。
【００２２】
画像信号取得部１０２は撮像素子１０２１とＡ／Ｄ変換部１０２２を含み、光学系１０１、撮像素子１０２１を介して撮影されたアナログの信号は、Ａ／Ｄ変換部１０２２にてデジタルの信号へ変換される。Ａ／Ｄ変換部１０２２はバッファ１０３へ接続されている。バッファ１０３は前処理部１０５へ接続されている。処理領域設定部１０４は階調変換部１０６へ接続されている。前処理部１０５は階調変換部１０６へ接続されている。階調変換部１０６は後処理部１０７へ接続されている。後処理部１０７はマスク処理部１０８へ接続されている。マスク処理部１０８は画像出力部１０９へ接続されている。
【００２３】
また、マイクロコンピュータなどの制御部１１０はＡ／Ｄ変換部１０２２、処理領域設定部１０４、前処理部１０５、階調変換部１０６、後処理部１０７、マスク処理部１０８、画像出力部１０９と双方向に接続されている。
【００２４】
また、電源スイッチ、変数設定を行うためのインターフェースを備えた外部Ｉ／Ｆ部１１１も制御部１１０に双方向に接続されている。外部Ｉ／Ｆ部１１１を介して撮像サイズなどの撮影条件が設定される。
【００２５】
被写体から反射した反射光が光学系１０１により集光され、ＲＧＢ三原色の光をそれぞれ透過する色フィルタがＢａｙｅｒ型に配置された撮像素子１０２１上に像が結像される（図２（Ａ））。撮像素子１０２１により光電変換を行い、アナログ信号を取得する。
【００２６】
Ａ／Ｄ変換部１０２２は、アナログ信号をデジタル信号へ変換し、画像信号としてバッファ１０３に格納する。この画像信号の取得される領域を画像領域（図２の（Ｃ））と呼ぶこととする。前処理部１０５は、バッファ１０３に格納した画像信号を読み出し、黒補正やゲインコントロールなどの画像処理を行う。
【００２７】
処理領域設定部１０４は、予め格納されている処理領域、または、外部Ｉ／Ｆ１１１から設定される処理領域を設定する。処理領域としては例えば図３（Ａ）のような領域が考えられる。そして、処理領域は図３（Ｂ）に示したように結像領域の内側（狭義には被写体像領域の内側）に設定されることになる。処理領域設定部１０４で設定される処理領域は、図４に示すように、処理領域または処理領域以外の領域が連続して表れる画素数を持つランレングスの状態で保持される。図４に示すように、ｐ０は左上の画素から右に連続して存在する非処理領域の画素数、ｑ０はその次の画素からの連続する処理領域の画素数、ｐ１はその次の画素から連続する非処理領域の画素数、といったように、以下例えばｐ０〜ｐ９、ｑ０〜ｑ８のようなデータで保持される。ランレングスは同じデータが続く場合には特にメモリの圧縮効果が高く、データの保持に用いるメモリを比較的少なくすることができる。
【００２８】
また、処理領域の設定手法はランレングスに限定されるものではなく、その他の２値画像圧縮方法で圧縮したデータとして保持してもかまわない。また、画像の１画素が対応する１ｂｉｔ以上のメモリを全画素分保持し、処理領域または処理領域以外の領域（非処理領域）を示す値を保持してもよい。全画素分のメモリを準備しておくことで、処理領域か否かの演算処理をなくすことができ、処理速度を早くすることができる。
【００２９】
階調変換部１０６は、画像領域から処理領域設定部１０４で設定された処理領域を抽出し、処理領域の画像信号に対して階調変換処理を行う。具体的には、処理領域の画像信号の画素値のヒストグラムを作成する。作成したヒストグラムが平滑化するように階調変換処理を行う。階調変換処理の詳細は後述する。
【００３０】
後処理部１０７は、階調変換部１０６で階調変換された画像信号に対して、色補正やエッジ強調などの画像処理を行う。後処理部における処理は処理領域だけでなく、画像領域に対して行ってもよい。
【００３１】
マスク処理部１０８は、処理領域の画像信号に対して、予め設定されているマスク領域のマスクをかける。ここでのマスクをかける処理は、マスク領域に含まれない領域はそのまま透過し、マスク領域に含まれる領域の画像信号を黒相当の信号値に変換する処理である。なお、マスク領域に含まれない領域（＝透過される領域、表示領域）は処理領域の部分集合である。両者の領域が全く同じでもかまわない。マスク領域の例を図３（Ｃ）に、表示領域と処理領域との関係を図３（Ｄ）に示す。
【００３２】
画像出力部１０９では、マスクをかけた後の画像信号をメモリカードなどの記録媒体に画像を記録保存したり、不図示の表示部に画像を出力したりする。
【００３３】
階調変換部１０６で行われる階調変換処理について、図１１（Ａ）〜図１１（Ｄ）を用いて詳しく説明する。通常、処理領域以外の領域は結像されない領域を多く含んでいるので暗い（小さい）画素信号しか得られない。画像領域全体に対してヒストグラムを作成すると、例えば図１１（Ａ）のように暗部の画素が多いヒストグラムが得られる。このヒストグラムを平滑化するような階調変換を行うと、明るくなる方向に階調変換が行われ、本来必要な領域である処理領域が明るくなりすぎてしまう（図１１（Ｂ））。しかし本実施形態のように、処理領域のみからヒストグラムを作成し（図１１（Ｃ））階調変換処理を行うことで、処理領域が過度に明るくなりすぎるのを防ぐことができ、適切なレンジでの階調変換を行うことができる（図１１（Ｄ））。
【００３４】
また、処理領域以外の領域は結像されない領域を多く含んでいるので暗い（画素値の小さい）画素信号しか得られないが数画素のノイズ（明るい画素）が存在することが多い。画像領域全体に対して階調変換を行うと、これらノイズが更に増幅されてしまう問題がある。本実施形態のように処理領域にのみ階調変換を行うことで、処理領域以外のノイズの増幅を抑えることができる。このようなノイズが存在する場合には、マスク処理部１０８でマスク処理をかける場合に、マスク領域は処理領域に少し食い込むようにマージンをもって設定しないとマスク領域の境界部分でノイズが気になる画像となってしまう。なお、処理領域以外の領域に階調変換を行わないように設定すれば、ノイズが増幅されることもないので、マスク領域を結像領域に一致する大きさ或いはそれに近い大きさに設定しても良好な画像が得られる。
【００３５】
上述の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。別途ソフトウェアにて処理する構成も可能である。また、上述の実施形態では撮像素子を原色Ｂａｙｅｒ配列型としていたがこれに限定される必要はなく、補色等の撮像素子でもかまわない。更に、階調変換処理はヒストグラムを平滑化する適応階調変換処理を例にしたがそれに限定されず、人間の視覚特性（局所的な色順応）を利用した適応階調変換を用いても良い。
【００３６】
局所領域を用いた階調変換について説明する。階調変換部１０６は、前処理部１０５から入力された画像のうち、処理領域設定部１０４で設定された処理領域に対して処理を行う。この際に、処理領域を局所領域に分割する。例えば、処理領域に対応する画像信号を所定サイズの矩形領域に分割し、分割した各矩形領域を局所領域とすればよい。矩形領域のサイズは適宜設定できるが、例えば１６×１６画素単位等でもよい。そして、図１１（Ｃ）に示したようなヒストグラムを算出する際に、局所領域ごとのヒストグラムを算出する。局所領域ごとに求められたヒストグラムに基づいて階調変換の特性を決定し、決定された特性に基づいて階調変換を行う。
【００３７】
次に、図５にソフトウェア処理に関するフローを示す。本実施形態では、処理の一部または全部をソフトウェアで構成することとしてもよく、この場合、例えばコンピュータシステムのＣＰＵが画像処理プログラムを実行する。
【００３８】
この処理が開始されると、Ｓ１０１で、処理領域やマスク領域等のパラメータ情報が入力される。Ｓ１０２で、画像を入力し、Ｓ１０３にて、公知のＯＢクランプ処理やゲイン補正処理、ＷＢ補正処理等の画像処理を行う。Ｓ１０４で、画像の各画素が処理領域内かどうか判定する。画素が処理領域内のときはＳ１０５へ分岐し、処理領域外のときはＳ１０６へ分岐する。
【００３９】
Ｓ１０５で、画素値の情報を蓄積し、ヒストグラムを作成し、Ｓ１０６へ移行する。Ｓ１０６では、入力された画像の画素が残っているか判定する。まだ画素が残っている場合にはＳ１０３に戻る。
【００４０】
Ｓ１０６で入力した画素が終了したと判定された場合には、Ｓ１０７へ移行し、Ｓ１０５において蓄積されたヒストグラムを元に、階調変換を行う。Ｓ１０８で、色処理や輪郭強調等の画像処理を行い、Ｓ１０９で、画像の各画素がＳ１０１で入力されたマスク領域内かどうか判定する。マスク領域内の場合にはＳ１１０へ分岐し、マスク領域外のときはＳ１１１へ分岐する。
【００４１】
Ｓ１１０では、画素値をゼロあるいは黒相当の画素値に変更し、Ｓ１１１へ移行する。Ｓ１１１では、入力された画像の画素が残っているか判定する。まだ画素が残っている場合にはＳ１０７に戻る。Ｓ１１１で入力した画素が終了したと判定された場合には、Ｓ１１２にて、画像を出力し終了する。
【００４２】
なお、Ｓ１０７の前に、画素が処理領域か否かの分岐を入れて、処理領域のときのみＳ１０７の階調変換処理やＳ１０８の後処理を行うようにしてもよい。
【００４３】
以上の本実施形態では、図１に示したように、画像処理装置は画像信号を取得する画像信号取得部１０２と、処理領域を設定する処理領域設定部１０４と、階調変換処理を行う階調変換部１０６とを含む。撮像素子１０２１は、結像領域においては光学系１０１により被写体像が結像され、非結像領域においては被写体像が結像されない。画像信号取得部１０２は、当該撮像素子１０２１から被写体像の信号を部分的に含む画像信号を取得する。処理領域設定部１０４は、撮像素子１０２１から取得される画像（画像領域の画像）のうち、結像領域の内側に対して、処理領域を設定する。階調変換部１０６は、処理領域内の画素の画素値に基づいて階調変換処理を行う。
【００４４】
ここで、図２（Ｂ）に示したように、本実施形態においては結像領域とは、光学系１０１を通過した光が結像する領域を表し、通常は光学系１０１に含まれるレンズの形状に従って円形状になる。それに対して、撮像素子は通常は方形であり、撮像素子に対応する画像信号を取得することができる領域である画像領域は図２（Ｃ）に示したように方形となる。本実施形態における非結像領域とは、結像領域に含まれない領域を指すものとし、必ずしも画像領域に含まれる必要はないものとするが、これに限定されるものではない。また、結像領域と、画像領域の共通部分を被写体像領域（図２（Ｄ））とする。
【００４５】
本実施形態においては、処理領域は結像領域の内側に設けられるものとしたが、狭義には被写体像領域の内側に設けられる。なぜなら、結像領域に含まれながら被写体像領域に含まれない領域とは、撮像素子１０２１に対応する画像領域にも含まれないことになり、当該領域においては画像信号が取得されない。つまり、本実施形態での処理領域は階調変換処理に用いられる領域のことであるから、画像信号が取得されない領域を処理領域に設定したとしても、その後の階調変換に寄与しないことになり意味がないからである。しかし、処理領域のうち画像信号が取得された部分を用いて階調変換処理を行うものとすれば、被写体領域からはみ出す領域（且つ結像領域に含まれる領域）を処理領域に設定することを妨げるものではない。
【００４６】
なお、処理領域とは、画像出力部１０９で出力される（例えば表示される）画像に対応する領域（例えば、図３（Ｄ）で示した表示領域）を少なくとも含む大きさの領域である。公知の階調変換処理の一例として、画像領域を複数の局所領域に分割し、局所領域ごとに処理を行う場合がある。その場合、画像領域を複数の局所領域に分割した結果、ある局所領域が結像領域の内側に設定されることがあり得る。しかし、このような局所領域は表示領域を含む大きさの領域とはならないため、本実施形態における処理領域には含まれない。本実施形態での処理領域とは、結像領域の内側に設定され、且つ、それ単体で表示領域に対応しうるものを指すものとする。
【００４７】
これにより、階調変換処理に用いられる領域である処理領域を、結像領域の内側に設定することができるため、被写体の像を含む光が届いている画素の画素値を用いつつ、被写体の像を含む光が届いていない画素の画素値を用いずに階調変換処理を行うことが可能になる。上述したように、撮像素子１０２１に対応する画像領域の中には、結像領域に含まれないため、被写体の像を含む光が届かない領域が存在する。そのような領域は意味のない画素値が得られている（一般的には光が届かないため暗かったり、或いはノイズがのっていたりする）ため、階調変換処理に用いてしまうと、誤った傾向の処理を行ってしまう可能性がある。本実施形態の手法を用いることで、意味のある（つまりは被写体像の光が届いている）画素値を用いて処理が可能になるため、適切な階調変換処理を行うことができる。
【００４８】
また、画像処理装置は、処理領域以外の非処理領域を少なくともマスクするマスク処理を施すマスク処理部１０８を含んでもよい。また、マスク処理部１０８によりマスク処理が施された画像を表示画像として取得する画像出力部１０９を含んでもよい。
【００４９】
ここで、非処理領域とは、処理領域以外の領域を表す。非処理領域がマスク処理の対象となるものであり、当該マスク処理は画像信号が取得されない画素に対して行われても意味のないものであることに鑑みれば、非処理領域は処理領域に含まれず、且つ、画像領域に含まれる領域として設定されるものとする。ただし、これに限定されるものではない。
【００５０】
これにより、非処理領域をマスクするマスク処理を施した上で、マスク処理後の画像を取得することが可能になる。なお、ここではマスク処理とは画像をつぶして見えなくする（例えば黒い画素で置き換える等）の処理を指すものとする。そのため、マスク処理が施されていない領域とは図３（Ｄ）の表示領域に対応することになる。処理領域が結像領域の内側に設定されることから、非処理領域とは、基本的に非結像領域に対応する領域となる。もちろん、非処理領域であり且つ結像領域である領域は存在しうるが、処理領域の大きさを結像領域（被写体像領域）に近づけるほど、より多くの画素値を用いて階調変換処理を行えることに鑑みれば、非処理領域に含まれる結像領域は広くないことが想定される。よって、非処理領域をマスクすることで、画像領域内の非結像領域に対応する領域をマスクすることが可能になり、被写体像の光が届いていない意味のない画素値を黒くつぶす等の処理ができる。
【００５１】
また、画像出力部１０９は、マスク処理が施された画像のうち、マスク処理によりマスクされる領域であるマスク領域を除いた画像を取得してもよい。
【００５２】
これにより、マスクされている部分の画像を取得しなくてもよいことになり、データ量の削減等が可能になる。マスクされている領域とは、例えば黒でつぶされている領域であり、ユーザに対して何ら情報を提示するものではない。よって、黒い画像を取得しても特に有益ではない以上、黒い部分を初めから削除した画像（図３（Ｄ）の例でいえば表示領域に対応する８角形の画像）を取得してもよい。
【００５３】
また、マスク処理部１０８は、非処理領域を含み、且つ処理領域の周縁領域を含む領域をマスク領域として設定してもよい。
【００５４】
これにより、図３（Ｄ）に示したように、表示領域にマージンを持たせることが可能になる。図３（Ａ）〜図３（Ｄ）の例では、処理領域が既に被写体像領域よりも狭く（マージンを持って）設定されているが、そうでない場合には、処理領域の境界部分がすぐ非結像領域であるケースが考えられる。その場合、非結像領域にはノイズがのっている可能性が大いにあり、更に階調変換処理によって当該ノイズが強調されてしまっていることがあり得る。つまり、非処理領域に対してのみマスク処理を行ったのでは、処理領域との境界部分に存在するノイズが表示領域に含まれ、目立ってしまうことが考えられる。そこで、本実施形態では表示領域にマージンを持たせることで目立つノイズが表示されてしまうことを抑止している。
【００５５】
また、階調変換部１０６は、画像に対して局所領域を設定し、設定された局所領域に基づいて（例えば局所領域に適応的な）階調変換処理を行ってもよい。
【００５６】
これにより、スペースバリアントな階調変換処理が可能になる。画像全体を見た場合に、比較的画素値の小さい領域と、比較的画素値の大きい領域とがあったとき、局所領域を設定しないとすると、中間的な処理が全体に施されることになるが、局所領域を設定することで、各領域の特徴を反映させた処理が可能になる。
【００５７】
また、階調変換部１０６は、処理領域の画素値のヒストグラムを平滑化する処理を行ってもよい。
【００５８】
これにより、図１１（Ｃ）〜図１１（Ｄ）に示したような処理が可能になる。全体を平滑化することにより、小さい画素値が持ち上げられ、大きい画素値が下げられることになる。
【００５９】
また、処理領域設定部１０４は、画像領域の画像の各行における処理領域の始点に対応する画素位置を第１の画素位置とし、画像領域の画像の各行における処理領域の終点に対応する画素位置を第２の画素位置とした場合に、第１の画素位置と第２の画素位置を特定するための区間情報により、処理領域を設定してもよい。そして、区間情報とは、具体的には始点から終点までの画素数により表される情報であってもよい。
【００６０】
これにより、図４に示したような処理が可能になる。後述するように、処理領域に対応する画素には１を割り当て、非処理領域に対応する画素には０を割り当てることで処理領域に関する情報を保持してもよい。しかし、処理領域、非処理領域ともにある程度の画素数が連続して並ぶことで構成されることが想定される。つまり、一回処理領域に含まれる画素が現れたら、同じ行においてはある程度の画素数分だけ処理領域が続く。よって、始点及び終点の情報を保持することにより、より少ないデータサイズで処理領域の情報を保持することが可能になる。具体的には、始点から終点までの画素数により表される情報であってもよい。例えば、ランレングス符号化に用いられる手法のように、「ＡＡＡＡＡＢＢＢＣＣＣＣ」という情報を「Ａ５Ｂ３Ｃ４」という形で保持することが考えられる。ここでは、処理領域と非処理領域の２値しかとらないのであるから、上述した例のようにＡ，Ｂ，Ｃを記述する必要も必ずしも無く、始点から終点までの画素数を表す数値を並べて記述するだけでもよい。
【００６１】
また、処理領域設定部１０４は、画像の各画素に対して設定された処理領域判定情報に基づいて処理領域を設定してもよい。
【００６２】
これにより、画素ごとに設定された処理領域判定情報を用いて処理領域を表現することが可能になる。これは上述したように、処理領域である画素に１を割り当て、非処理領域である画素に０を割り当てるような手法により実現できる。上述した区間情報や後述する極座標を用いた形式に比べて、データサイズは大きくなるものの、目的の画素が処理領域か否かを簡単に判定することができる。例えば、区間情報を用いた場合、始点から終点までの画素数しか保持していないため、目的の画素が左上の画素から数えて何画素目に相当するかを演算した上で、区間情報により表される画素数と比較する等の処理が必要になってくる。その点、処理領域判定情報を画素ごとに保持しておけば、目的の画素の処理領域判定情報を参照するだけで、処理領域に含まれるか否かを判定することが可能である。
【００６３】
また、光学系は、画角が１８０°以上であってもよい。
【００６４】
これにより、従来より広い画角の撮像光学系を用いることが可能になる。例えば内視鏡用途に用いるのであれば、大腸等のヒダの裏側にある病変部等の探索に効果を発揮する。
【００６５】
また、光学系の光軸を含む領域を前方領域とし、光軸に直交する軸を含む領域を側方領域とした場合に、光学系は前方領域又は側方領域に設定される撮像領域を撮像可能な光学系であってもよい。
【００６６】
ここで、前方領域及び側方領域は図１４のように定義される。図１４の矢印が光軸を表し、Ｃ１が前方領域となり、Ｃ２及びＣ３が側方領域となる。また、図１４では平面的に描いたが、当然領域は３次元的な広がりを持っていてもよい。
【００６７】
これにより、前方のみならず、側方に対しても撮像領域を設定可能になるため、広い領域を撮像することができる。
【００６８】
また、光学系の光軸方向と反対方向の軸を含む領域を後方領域とした場合に、撮像光学系は後方領域内に設定される撮像領域を撮像可能な光学系であってもよい。
【００６９】
ここで、後方領域は図１４のＣ４のように定義される。後方領域が３次元的な広がりを持ってもよいのは上述した例と同様である。
【００７０】
これにより、後方に対しても撮像領域を設定可能になる。より広い範囲を撮像可能になるため、例えば内視鏡用途等では、病変部のサーチ等を効率的に行うことができる。
【００７１】
また、画像信号取得部１０２は、光学系の視野範囲の一部を遮る障害物によって発生する死角部分によって非結像領域が生じた画像信号を取得してもよい。具体的には図１０（Ａ）、図１０（Ｂ）に示すように、光学系は内視鏡装置の挿入部の先端に設けられており、障害物とは内視鏡装置の挿入部の先端部に形成された管路の開口部であってもよい。なお、図１０（Ａ）は挿入部の先端を前方から見た図であり、図１０（Ｂ）は挿入部の先端を側方から見た図である。
【００７２】
これにより、画像信号取得部１０２では、図８（Ａ）〜図８（Ｂ）のような画像を取得することが可能になる。特に、図１０（Ｂ）に示したように前方視野に加えて側方視野を撮像可能な光学系を持つ内視鏡装置においては、処置を行う鉗子等を通す管（或いは送気・送水用の管）を持たせた場合に、当該管が側方視野用の光学系にとって障害物となってしまうことが想定される。その場合には、側方視野に対応する画像は３６０度取得できるわけではなく、図８（Ｂ）のように欠けが生じる。よって、そのような欠け部分を含まないように適切に処理領域を設定する必要がある。
【００７３】
また、以上の本実施形態は、画像信号を取得する画像信号取得部１０２と、処理領域を設定する処理領域設定部１０４と、階調変換処理を行う階調変換部１０６としてコンピュータを機能させるプログラムに関係する。撮像素子１０２１は、結像領域においては光学系１０１により被写体像が結像され、非結像領域においては被写体像が結像されない。画像信号取得部１０２は、当該撮像素子１０２１から被写体像の信号を部分的に含む画像信号を取得する。処理領域設定部１０４は、撮像素子１０２１から取得される画像（画像領域の画像）のうち、結像領域の内側に対して、処理領域を設定する。階調変換部１０６は、処理領域内の画素の画素値に基づいて階調変換処理を行う。
【００７４】
これにより、上述した処理をプログラムによりソフトウェア的に実現することが可能になる。内視鏡装置の場合であれば、画像信号をまとめて取得しておき、あとでまとめて処理を行うようなカプセル内視鏡を実現することも可能になる。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記憶媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリやＲＡＭ等のメモリなど、情報処理装置等によって読み取り可能な種々の記録媒体を想定できる。例えば、ＰＣ等の機器によって読み取り可能な種々の記録媒体にプログラムが記憶され、ＰＣ等の処理部（例えばＣＰＵ）において実行されるケースが考えられる。
【００７５】
３．第２の実施形態
図６に、本実施形態の画像処理装置を含む内視鏡装置の構成例を示す。内視鏡装置は、照明部２００と、撮像部２１０と、プロセッサ部２２０と、表示装置２３０と、Ｉ／Ｆ部２４０とを含む。第１の実施形態とは異なり、画像出力部２２７から出力された画像は表示装置２３０で表示される。
【００７６】
照明部２００は、白色光光源Ｓ０２や集光レンズＳ０３を含む光源装置Ｓ０１と、ライトガイドファイバＳ０５や照明光学系Ｓ０６を含む。撮像部２１０は、集光レンズＳ０７、撮像素子Ｓ０８、Ａ／Ｄ変換部２１１を含む。
【００７７】
プロセッサ部２２０は、第１の実施形態において図１で示した画像処理装置に対応し、バッファ２２１と、処理領域設定部２２２と、前処理部２２３と、階調変換部２２４と、後処理部２２５と、マスク処理部２２６と、画像出力部２２７と、制御部２２８とを含む。制御部２２８はマイクロコンピュータやＣＰＵ等を備えている。Ｉ／Ｆ部２４０は電源スイッチ、変数設定などを行うためのインターフェースを備えている。
【００７８】
白色光光源Ｓ０２から白色光が発光される。白色光が集光レンズＳ０３に達し集光される。集光された白色光はライトガイドファイバＳ０５を通って照明光学系Ｓ０６から被写体に照射される。被写体から反射した反射光が集光レンズＳ０７により集光され、ＲＧＢ三原色の光をそれぞれ透過する色フィルタがＢａｙｅｒ型に配置された撮像素子Ｓ０８に到達し光電変換を行いアナログの信号となりＡ／Ｄ変換部２１１へ送られる。Ａ／Ｄ変換部２１１ではアナログの信号をデジタルの信号に変換し、画像としてバッファ２２１へ格納する。
【００７９】
上述の集光レンズＳ０７は挿入部先端から突出しており、前方および側方が観察できる、例えば視野角が２３０°のレンズを用いる。一方、図１０（Ａ）のように、撮像部の先端には、レンズと照明と、処置具を出したり送水送気を行うための鉗子口が配置されていて、図１０（Ｂ）のように、側方視野に照明を当てるために先端付近の側面に照明を配置する必要がある。また、内視鏡を体内に挿入したまま処置や生検などをする際には、鉗子などの処置具を用いたり送水や送気を行ったりするが、それら処置具の通り道を確保する必要がある。そのため側方視野にかかってしまう位置に外装を配置せざるを得ない。このとき図８（Ａ）〜図８（Ｃ）のように側方視野が３６０度ではなく欠ける領域が生じる。
【００８０】
画像領域中のこの欠けた領域からは意味のないデータしか得られない。前方視野と３６０度の側方視野全部を元に階調変換を行うとこの意味のないデータも反映された階調変換がなされてしまう。そこでこの欠けた領域を除いた処理領域を処理領域設定部２２２にて予め設定しておく。
【００８１】
処理領域を図７に示したような極座標で保持しておく。予め保持しておくデータとしては、中心座標（ｘ０,ｙ０）及び半径Ｒが考えられる。また、各画素の座標（ｘ，ｙ）として下式（１）、（２）で表されるｋとθを保持する。
【数１】
【数２】
【００８２】
また、処理領域とそれ以外の領域との境界を表す関数をｆ（θ）とするとき、処理領域以外の領域は下式（３）で求められる。
【００８３】
ｆ（θ）＞ｋ ・・・・・（３）
【００８４】
特に、欠けた領域が扇形の場合、処理領域をシンプルに保持することも可能である。更に前方視野の半径をｒ、欠けている側方視野の角度をθ１〜θ２とすると、処理領域は下式（４）で求められる。
【００８５】
ｋ＜ｒ または （ｒ＜ｋ≦Ｒかつ（θ≦θ１またはθ２≦θ）） ・・・・・（４）
【００８６】
処理領域が設定された後の処理は、第１の実施形態と同様であるため、詳細な説明は省略する。処理領域、マスク領域及び表示領域の関係についても第１の実施形態と同様であり、図９（Ａ）〜図９（Ｄ）に示したとおりである。また、本実施形態のプロセッサ部２２０における処理もソフトウェア的に実現されてもよい。その場合の処理も第１の実施形態において図５で示したフローチャートと同様であるため、詳細な説明は省略する。
【００８７】
以上の本実施形態では、処理領域設定部２２２は、画像領域の画像のうち結像領域の画像の中心座標からの距離により、処理領域を設定してもよい。
【００８８】
これにより、上述した式（１）〜（４）のように、極座標の形で処理領域に関する情報を保持することが可能になる。第１の実施形態では８角形の処理領域を設定しているが、処理領域を円形（及び円形に準ずる形状）に設定する場合には、処理領域を極座標を用いて設定することで容易に表現することが可能になる。
【００８９】
また、処理領域設定部２２２は、中心座標からの距離を中心座標に対して設定される基準方向に対する角度に基づいて変更してもよい。特に、光学系の視野範囲を遮る障害物によって発生する死角部分により非結像領域が生じる場合には、障害物の存在方向に対応する角度における距離を、障害物の非存在方向に対応する角度における距離に比べて短く設定してもよい。
【００９０】
これにより、極座標での距離を角度に応じて変更することが可能になるため、円形状に限定されず任意の形状の処理範囲を極座標を用いて表現することが可能になる。ただし、処理負荷等を考慮すれば、円形状から大幅に離れる形状は極座標により表現するメリットは小さい。よって、例えば図９（Ａ）に示したように、前方領域と側方領域を取得する光学系を有する場合のような、円形状に準ずる形状に対して用いると利点が大きい。特に、欠けた範囲が扇形であるものとできる場合には、処理領域を上述した式（４）のように簡潔に記述することができる。
【００９１】
また、以上の本実施形態は、図６に示したように、画像信号を取得する画像信号取得部（撮像部２１０）と、処理領域を設定する処理領域設定部２２２と、階調変換処理を行う階調変換部２２４とを含む内視鏡装置に関係する。撮像素子Ｓ０８は、結像領域においては光学系（照明部２００）により被写体像が結像され、非結像領域においては被写体像が結像されない。画像信号取得部は、当該撮像素子Ｓ０８から被写体像の信号を部分的に含む画像信号を取得する。処理領域設定部２２２は、撮像素子Ｓ０８から取得される画像（画像領域の画像）のうち、結像領域の内側に対して、処理領域を設定する。階調変換部２２４は、処理領域内の画素の画素値に基づいて階調変換処理を行う。
【００９２】
これにより、上述してきた処理を実行可能な内視鏡装置を実現することが可能になる。内視鏡装置で取得された画像とは、生体内を撮像した画像であることが想定され、特に病変部等を観察し発見することを目的とすることが多い。そのため、階調変換処理が適切に行われず、白飛び等を発生させてしまった場合には、病変部の見逃し等につながり好ましくない。よって、処理領域を設定し適切に階調変換処理を行うことは、内視鏡装置において特に意義を有する。
【００９３】
また、画像信号取得部（撮像部２１０）は、光学系の視野範囲の一部を遮る障害物によって発生する死角部分によって非結像領域が生じた画像信号を取得してもよい。
【００９４】
これにより、内視鏡装置においても、視野の一部が欠けた画像信号から取得された画像に対して適切に処理領域を設定することが可能になる。内視鏡装置においては、病変部の観察だけでなく器具を用いた処置を行う必要があるため、図１０（Ｂ）に示したように鉗子を通す管等が側方視野用の光学系に対する障害物になってしまう。よって、そのような場合にも適切に処理領域を設定することが必要となる。
【００９５】
４．第３の実施形態
図１２に本実施形態の画像処理装置の構成例を示す。第１の実施形態（図１）に比べて、Ａ／Ｄ変換部１０２２が前処理部１０５に接続され、前処理部１０５がバッファ１０３に接続されている点が異なる。また、バッファ１０３は、処理領域設定部１０４と、階調変換部１０６に接続されている。
【００９６】
本実施形態においては、画像信号取得部１０２が動作する動作モードとして、参照画像取得モードと通常動作モードの２つの動作モードがある。各動作モードの切り替えは、外部Ｉ／Ｆ部１１１に具備された参照画像取得ボタンが押されることで行われる。参照画像取得ボタンが押されるまでは、初期モードとして通常動作モードが設定されている。参照画像取得ボタンがユーザにより押されると、参照画像取得モードへと切り替わり前処理部１０５より出力される画像信号が参照画像としてバッファ１０３に保存される。そして、保存された参照画像に基づいて処理領域設定部１０４は処理領域を設定する。処理領域が設定されると自動的に通常動作モードへと切り替わり、以後設定された処理領域に基づき、階調変換部１０６は階調変換処理を入力された画像信号に対し行う。また、参照画像取得ボタンが再び押されると前処理部１０５より出力される画像信号を同様に取得し、参照画像としてバッファ１０３に上書き保存する。
【００９７】
参照画像取得モードについて具体的に説明する。例えば、参照画像とはホワイトバランスキャップ（白い被写体）を撮影したホワイトバランス画像であり、ユーザはホワイトバランスキャップを光学系１０１の先端にかぶせて参照画像取得ボタンを押す。ホワイトバランスキャップは、可視光領域においてほぼ一様な分光反射率を有している。ホワイトバランス画像は、ホワイトバランス係数を算出するのに用いられる。ホワイトバランス係数とは、白い被写体を撮影した場合に画像信号のＲＧＢがそれぞれ等しくなるよう、Ｒ信号およびＢ信号に対して乗算する係数である。
【００９８】
バッファ１０３は、参照画像取得ボタンが押されると画像信号取得部１０２より出力されるホワイトバランス画像を参照画像として保存する。
【００９９】
処理領域設定部１０４は、バッファ１０３に参照画像が保存されると、参照画像に基づき、画像信号上に処理領域を設定する。具体的には処理領域設定部１０４は、参照画像を所定の閾値に基づき二値化し、二値化した参照画像に基づき処理領域を設定する。例えば、参照画像はＲＧＢのチャンネルを有したカラー画像であり、処理領域設定部１０４は参照画像のＧ信号（図１３（Ａ））と所定の閾値とを比較し、所定の閾値以上である画素を処理領域として設定する（図１３（Ｂ））。ここで、参照画像の輝度信号が所定の閾値以上である画素を処理領域として設定してもかまわない。
【０１００】
本実施例の変形例として、処理領域設定部１０４は、参照画像のエッジを検出し、検出した参照画像のエッジに基づき処理領域を設定する。例えば、参照画像のＧ信号に対して公知のラプラシアンフィルタによるフィルタリング処理を行い、フィルタリング処理結果が所定の閾値以上である画素をエッジとして検出する（図１３（Ｃ））。ここで、参照画像の輝度信号に対してフィルタリング処理を行ってもかまわない。また、Ｃａｎｎｙエッジ検出処理など公知のエッジ検出処理を用いてエッジを検出してもかまわない。
【０１０１】
ただし、キャップの形状等の問題から、図１３（Ｃ）のＡ２に示したように、本来検出すべきエッジ（Ａ１）以外のエッジを検出してしまうことも考えられる。その場合には、検出したエッジを公知のラベリング処理によりラベリングし、ラベリングしたエッジ毎に、閉領域を形成しているかを判定し、形成している場合閉領域の面積をそれぞれ取得する。そして、閉領域の面積の最大値が所定の閾値以上である場合、当該閉領域を処理領域として設定する。閉領域を形成するエッジが存在しない場合、また閉領域の面積の最大値が所定の閾値未満であった場合、処理領域を設定せず、処理領域を設定できなかった旨のメッセージをユーザに通知する。設定できなかった場合は、第１の実施の形態例と同様に、予め保持されている処理領域を設定しても良い。
【０１０２】
次に、通常動作モードについて説明する。第１の実施の形態例と同様に、前処理部１０５以降の処理を行う。処理領域設定部１０４で処理領域が設定できていない場合には、階調変換部１０６では画像信号全体に対し階調変換処理を行う。
【０１０３】
その後の処理については、第１の実施形態と同様であるため、詳細な説明は省略する。
【０１０４】
以上の本実施形態では、処理領域設定部１０４は、画像信号取得部１０２があらかじめ取得した参照画像に基づいて処理領域を設定してもよい。
【０１０５】
これにより、光学系の製造ばらつき等による差異を吸収することが可能になる。本来、結像領域の大きさや画像領域の大きさ（撮像素子の大きさ）は設計により求めることができる。そのため、設計通りの光学系等が実現されていれば、当該設計に基づいて処理領域をあらかじめ決めておくことができる。しかし、製造工程におけるばらつき等により、あらかじめ設定した処理領域が適切でなくなってしまうケースも考えられる。よって、そのようなケースに対応するために、参照用の画像（参照画像）を取得し、取得した参照画像に基づいて処理領域を設定してもよい。
【０１０６】
また、画像信号取得部１０２は、参照画像として、所定のチャートを撮像した画像を取得してもよい。そして、所定のチャートを撮像した画像とは、照明光に対する白を規定する分光反射率を有するチャートを撮像した画像（ホワイトバランス画像）であってもよい。
【０１０７】
ここでチャートとは、カラーチャートを指すものとする。つまり色味の基準となるものであり、例えば白いチャートとは当該チャートを撮像した際に画素値が最大値を取るように設定することで、白さの度合いを調節することができるような基準である。
【０１０８】
これにより、参照画像として所定チャートを撮像した画像を用いることが可能になる。具体的には白いキャップを撮像部に対してはめた状態で取得されたホワイトバランス画像を用いることが考えられる。つまり、光が届く範囲では画像全体として白い画像が得られることが想定されるため、光が届かず暗くなっている領域との判別処理を行うことで処理領域として設定すべき領域を決定することが可能になる。
【０１０９】
また、処理領域設定部１０４は、参照画像の画素値が所定の閾値以上となる領域を処理領域として設定してもよい。
【０１１０】
これにより、閾値判断により処理領域を設定することが可能になる。具体的には図１３（Ａ）の画像に対して閾値判断を行うことで、図１３（Ｂ）のように、処理領域（白い部分）を設定することができる。
【０１１１】
また、処理領域設定部１０４は、参照画像の画素値に基づいてエッジ検出を行い、検出したエッジに基づいて処理領域を設定してもよい。
【０１１２】
これにより、エッジ検出により処理領域を設定することが可能になる。図１３（Ａ）のような画像が得られた場合、比較的明るい領域（光が届いている領域）と暗い領域とのエッジが検出できるため、当該エッジを処理領域と非処理領域の境界とすればよい。ただし、ホワイトバランス画像がキャップをはめて撮像するという特性上、図１３（Ａ）のようにキャップの形状に応じた濃淡が生じてしまうことが想定され、それに基づいて、図１３（Ｃ）のＡ２のように、キャップの形状によるエッジが検出されてしまう可能性がある。その場合には、閉領域を形成するエッジを検出し、当該閉領域の面積が最も大きいもの（且つ閾値以上のもの）を採用すればよい。図１３（Ｃ）でいえばＡ１とＡ２が検出されるが、処理領域の境界として採用されるのはＡ１となる。
【０１１３】
以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１１４】
１０１ 光学系、１０２ 画像信号取得部、１０３ バッファ、
１０４ 処理領域設定部、１０５ 前処理部、１０６ 階調変換部、１０７ 後処理部、
１０８ マスク処理部、１０９ 画像出力部、１１０ 制御部、１１１ 外部Ｉ／Ｆ部、
２００ 照明部、２１０ 撮像部、２１１ Ａ／Ｄ変換部、２２０ プロセッサ部、
２２１ バッファ、２２２ 処理領域設定部、２２３ 前処理部、２２４ 階調変換部、
２２５ 後処理部、２２６ マスク処理部、２２７ 画像出力部、２２８ 制御部、
２３０ 表示装置、２４０ 外部Ｉ／Ｆ部、
１０２１ 撮像素子、１０２２ Ａ／Ｄ変換部、
Ｓ０１ 光源装置、Ｓ０２ 白色光光源、Ｓ０３ 集光レンズ、
Ｓ０５ ライトガイドファイバ、Ｓ０６ 照明光学系、Ｓ０７ 集光レンズ、
Ｓ０８ 撮像素子
【特許請求の範囲】
【請求項１】
結像領域においては光学系により被写体像が結像され、非結像領域においては前記被写体像が非結像の撮像素子から、前記被写体像の信号を部分的に含む画像信号を取得する画像信号取得部と、
前記画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部と、
設定された前記処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記処理領域以外の領域である非処理領域を少なくともマスクするマスク処理を施すマスク処理部を含むことを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記マスク処理部による前記マスク処理が施された画像を、表示部に表示される表示画像として出力する画像出力部を含むことを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記画像出力部は、
前記マスク処理が施された前記画像領域の画像のうち、前記マスク処理によりマスクされる領域であるマスク領域を除いた画像を、前記表示部に表示される前記表示画像として出力することを特徴とする画像処理装置。
【請求項５】
請求項３において、
前記マスク処理部は、
前記非処理領域を含み、且つ、前記処理領域の周縁領域を含む領域を、前記マスク処理によりマスクされるマスク領域として設定することを特徴とする画像処理装置。
【請求項６】
請求項１において、
前記階調変換部は
前記画像領域の画像又は前記処理領域の画像に対して局所領域を設定し、設定された前記局所領域に基づいて前記階調変換処理を行うことを特徴とする画像処理装置。
【請求項７】
請求項１において、
前記階調変換部は
前記階調変換処理として、前記処理領域の画素値のヒストグラムを平滑化する処理を行うことを特徴とする画像処理装置。
【請求項８】
請求項１において、
前記処理領域設定部は
前記画像領域の画像の各行における前記処理領域の始点に対応する画素位置を第１の画素位置とし、前記画像領域の画像の各行における前記処理領域の終点に対応する画素位置を第２の画素位置とした場合に、前記第１の画素位置と前記第２の画素位置を特定するための区間情報に基づいて、前記処理領域を設定することを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記区間情報は前記始点に対応する前記第１の画素位置から前記終点に対応する前記第２の画素位置までの画素数により表される情報であることを特徴とする画像処理装置。
【請求項１０】
請求項１において、
前記処理領域設定部は
前記画像領域の画像のうち前記結像領域の画像の中心座標からの距離により、前記処理領域を設定することを特徴とする画像処理装置。
【請求項１１】
請求項１０において、
前記処理領域設定部は、
前記中心座標からの前記距離を、前記中心座標に対して設定される基準方向に対する角度に基づいて変更することを特徴とする画像処理装置。
【請求項１２】
請求項１１において、
前記光学系の視野範囲の一部を遮る障害物によって発生する死角部分によって、前記非結像領域が生じる場合に、
前記処理領域設定部は、
前記死角部分を発生させる前記障害物の存在方向に対応する前記角度における前記距離を、前記障害物の非存在方向に対応する前記角度における前記距離に比べて短く設定することを特徴とする画像処理装置。
【請求項１３】
請求項１において、
前記処理領域設定部は
前記画像領域の画像の各画素に対して設定された処理領域判定情報に基づいて、前記処理領域を設定することを特徴とする画像処理装置。
【請求項１４】
請求項１において、
前記処理領域設定部は
前記画像信号取得部があらかじめ取得した参照画像に基づいて、前記処理領域を設定することを特徴とする画像処理装置。
【請求項１５】
請求項１４において、
前記画像信号取得部は、
所定チャートを撮像した画像を、前記参照画像として取得することを特徴とする画像処理装置。
【請求項１６】
請求項１５において、
前記画像信号取得部は、
照明光に対する白を規定する分光反射率を有する前記チャートを撮像した画像を、前記参照画像として取得することを特徴とする画像処理装置。
【請求項１７】
請求項１４において、
前記処理領域設定部は、
前記参照画像の画素値が所定の閾値以上となる領域を、前記処理領域として設定することを特徴とする画像処理装置。
【請求項１８】
請求項１４において、
前記処理領域設定部は、
前記参照画像の画素値に基づきエッジの検出を行い、検出した前記エッジに基づいて前記処理領域を設定することを特徴とする画像処理装置。
【請求項１９】
請求項１において、
前記光学系は、画角が１８０度以上であることを特徴とする画像処理装置。
【請求項２０】
請求項１において、
前記光学系の光軸を含む領域を前方領域とし、前記光軸に直交する軸を含む領域を側方領域とした場合に、
前記光学系は、
前記前方領域又は前記側方領域内に設定される撮像領域を撮像可能な前記光学系であることを特徴とする画像処理装置。
【請求項２１】
請求項２０において、
前記光学系の前記光軸の方向と反対方向の軸を含む領域を後方領域とした場合に、
前記光学系は、
前記後方領域内に設定される撮像領域を撮像可能な前記光学系であることを特徴とする画像処理装置。
【請求項２２】
請求項１において、
前記画像信号取得部は、
前記光学系の視野範囲の一部を遮る障害物によって発生する死角部分によって、前記非結像領域が生じた前記画像信号を取得することを特徴とする画像処理装置。
【請求項２３】
請求項２２において、
前記光学系は、
内視鏡装置の挿入部の先端に設けられており、
前記障害物は、
前記内視鏡装置の前記挿入部の先端部に形成された、管路の開口部であることを特徴とする画像処理装置。
【請求項２４】
結像領域においては光学系により被写体像が結像され、非結像領域においては前記被写体像が非結像の撮像素子から、前記被写体像の信号を部分的に含む画像信号を取得する画像信号取得部と、
前記画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部と、
設定された前記処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部と、
を含むことを特徴とする内視鏡装置。
【請求項２５】
請求項２４において、
前記画像信号取得部は、
前記光学系の視野範囲の一部を遮る障害物によって発生する死角部分によって、前記非結像領域が生じた前記画像信号を取得することを特徴とする内視鏡装置。
【請求項２６】
結像領域においては光学系により被写体像が結像され、非結像領域においては前記被写体像が非結像の撮像素子から、前記被写体像の信号を部分的に含む画像信号を取得する画像信号取得部と、
前記画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部と、
設定された前記処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１】
結像領域においては光学系により被写体像が結像され、非結像領域においては前記被写体像が非結像の撮像素子から、前記被写体像の信号を部分的に含む画像信号を取得する画像信号取得部と、
前記画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部と、
設定された前記処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記処理領域以外の領域である非処理領域を少なくともマスクするマスク処理を施すマスク処理部を含むことを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記マスク処理部による前記マスク処理が施された画像を、表示部に表示される表示画像として出力する画像出力部を含むことを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記画像出力部は、
前記マスク処理が施された前記画像領域の画像のうち、前記マスク処理によりマスクされる領域であるマスク領域を除いた画像を、前記表示部に表示される前記表示画像として出力することを特徴とする画像処理装置。
【請求項５】
請求項３において、
前記マスク処理部は、
前記非処理領域を含み、且つ、前記処理領域の周縁領域を含む領域を、前記マスク処理によりマスクされるマスク領域として設定することを特徴とする画像処理装置。
【請求項６】
請求項１において、
前記階調変換部は
前記画像領域の画像又は前記処理領域の画像に対して局所領域を設定し、設定された前記局所領域に基づいて前記階調変換処理を行うことを特徴とする画像処理装置。
【請求項７】
請求項１において、
前記階調変換部は
前記階調変換処理として、前記処理領域の画素値のヒストグラムを平滑化する処理を行うことを特徴とする画像処理装置。
【請求項８】
請求項１において、
前記処理領域設定部は
前記画像領域の画像の各行における前記処理領域の始点に対応する画素位置を第１の画素位置とし、前記画像領域の画像の各行における前記処理領域の終点に対応する画素位置を第２の画素位置とした場合に、前記第１の画素位置と前記第２の画素位置を特定するための区間情報に基づいて、前記処理領域を設定することを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記区間情報は前記始点に対応する前記第１の画素位置から前記終点に対応する前記第２の画素位置までの画素数により表される情報であることを特徴とする画像処理装置。
【請求項１０】
請求項１において、
前記処理領域設定部は
前記画像領域の画像のうち前記結像領域の画像の中心座標からの距離により、前記処理領域を設定することを特徴とする画像処理装置。
【請求項１１】
請求項１０において、
前記処理領域設定部は、
前記中心座標からの前記距離を、前記中心座標に対して設定される基準方向に対する角度に基づいて変更することを特徴とする画像処理装置。
【請求項１２】
請求項１１において、
前記光学系の視野範囲の一部を遮る障害物によって発生する死角部分によって、前記非結像領域が生じる場合に、
前記処理領域設定部は、
前記死角部分を発生させる前記障害物の存在方向に対応する前記角度における前記距離を、前記障害物の非存在方向に対応する前記角度における前記距離に比べて短く設定することを特徴とする画像処理装置。
【請求項１３】
請求項１において、
前記処理領域設定部は
前記画像領域の画像の各画素に対して設定された処理領域判定情報に基づいて、前記処理領域を設定することを特徴とする画像処理装置。
【請求項１４】
請求項１において、
前記処理領域設定部は
前記画像信号取得部があらかじめ取得した参照画像に基づいて、前記処理領域を設定することを特徴とする画像処理装置。
【請求項１５】
請求項１４において、
前記画像信号取得部は、
所定チャートを撮像した画像を、前記参照画像として取得することを特徴とする画像処理装置。
【請求項１６】
請求項１５において、
前記画像信号取得部は、
照明光に対する白を規定する分光反射率を有する前記チャートを撮像した画像を、前記参照画像として取得することを特徴とする画像処理装置。
【請求項１７】
請求項１４において、
前記処理領域設定部は、
前記参照画像の画素値が所定の閾値以上となる領域を、前記処理領域として設定することを特徴とする画像処理装置。
【請求項１８】
請求項１４において、
前記処理領域設定部は、
前記参照画像の画素値に基づきエッジの検出を行い、検出した前記エッジに基づいて前記処理領域を設定することを特徴とする画像処理装置。
【請求項１９】
請求項１において、
前記光学系は、画角が１８０度以上であることを特徴とする画像処理装置。
【請求項２０】
請求項１において、
前記光学系の光軸を含む領域を前方領域とし、前記光軸に直交する軸を含む領域を側方領域とした場合に、
前記光学系は、
前記前方領域又は前記側方領域内に設定される撮像領域を撮像可能な前記光学系であることを特徴とする画像処理装置。
【請求項２１】
請求項２０において、
前記光学系の前記光軸の方向と反対方向の軸を含む領域を後方領域とした場合に、
前記光学系は、
前記後方領域内に設定される撮像領域を撮像可能な前記光学系であることを特徴とする画像処理装置。
【請求項２２】
請求項１において、
前記画像信号取得部は、
前記光学系の視野範囲の一部を遮る障害物によって発生する死角部分によって、前記非結像領域が生じた前記画像信号を取得することを特徴とする画像処理装置。
【請求項２３】
請求項２２において、
前記光学系は、
内視鏡装置の挿入部の先端に設けられており、
前記障害物は、
前記内視鏡装置の前記挿入部の先端部に形成された、管路の開口部であることを特徴とする画像処理装置。
【請求項２４】
結像領域においては光学系により被写体像が結像され、非結像領域においては前記被写体像が非結像の撮像素子から、前記被写体像の信号を部分的に含む画像信号を取得する画像信号取得部と、
前記画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部と、
設定された前記処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部と、
を含むことを特徴とする内視鏡装置。
【請求項２５】
請求項２４において、
前記画像信号取得部は、
前記光学系の視野範囲の一部を遮る障害物によって発生する死角部分によって、前記非結像領域が生じた前記画像信号を取得することを特徴とする内視鏡装置。
【請求項２６】
結像領域においては光学系により被写体像が結像され、非結像領域においては前記被写体像が非結像の撮像素子から、前記被写体像の信号を部分的に含む画像信号を取得する画像信号取得部と、
前記画像信号が取得された画像領域の画像のうち、階調変換処理に用いる画素を含む処理領域を、前記結像領域の内側に設定する処理領域設定部と、
設定された前記処理領域内の画素の画素値に基づいて、階調変換処理を行う階調変換部として、
コンピュータを機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図１２】
【図７】
【図８】
【図９】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図１２】
【図７】
【図８】
【図９】
【図１３】
【図１４】
【公開番号】特開２０１３−１７６３８（Ｐ２０１３−１７６３８Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５３１３１（Ｐ２０１１−１５３１３１）
【出願日】平成２３年７月１１日（２０１１．７．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１１日（２０１１．７．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]