撮像装置
【課題】複数の出力を有した撮像素子を採用したカメラにおいて、フレームメモリ等を使用せず、小規模なラインメモリのみでフレームレートの切換えや上下及び左右反転出力を可能とする。また、出力モードに応じて適切な欠陥画素補間を行う。
【解決手段】フレームレートの変更のため撮像素子の出力チャンネル数の切換えを行う。出力チャンネル数に応じて、チャンネルの合成方法を切換え、フレームレートに応じたカメラリンクフォーマットとすることで、撮像装置としてのフレームレートの切換えを実現する。また、登録した欠陥画素の座標から出力モード切換えごとに補間座標を再計算する。
【解決手段】フレームレートの変更のため撮像素子の出力チャンネル数の切換えを行う。出力チャンネル数に応じて、チャンネルの合成方法を切換え、フレームレートに応じたカメラリンクフォーマットとすることで、撮像装置としてのフレームレートの切換えを実現する。また、登録した欠陥画素の座標から出力モード切換えごとに補間座標を再計算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数に分割された撮像領域と複数の出力部を有する撮像素子を使用した撮像装置に関わり、特に、フレームレートの切換えや反転出力の切換え方法と、欠陥画素の補間に関するものである。
【背景技術】
【０００２】
近年、有効画素数が多い（高画素の）撮像素子が生産可能となり高精細な映像を取得可能な撮像装置が実現してきている。しかし画素数が多いと、従来通りの読み出し速度では、各画素から映像信号を読み出すための時間がかかり、フレームレートが小さい撮像装置となってしまう。従って、高画素の撮像素子を使用した撮像装置の高フレームレート化を実現するため、複数の出力を有した撮像素子が製品化されている。例えば、有効画素が２０４８×２０４８画素の撮像素子の出力を１２８×２０４８画素単位に１６チャンネル（ｃｈ）に分割して出力することで、高フレームレートを実現している。また、１６ｃｈの内の１部のチャンネルを使って（例えば、８ｃｈ、４ｃｈ、２ｃｈ）出力チャンネル数を減らして、フレームレートを下げることも可能である。
また、マシンビジョンのインターフェースの１つであるカメラリンクインターフェースでは、ＴＡＰ数や出力周波数の選択で、フレームレートの変更が可能ある。ＴＡＰ数を増やすことにより、高フレームレート化が実現可能である。しかし、ケーブルの本数が増え、取り込みボードが限定される。出力周波数を上げることも高フレームレート化に貢献するが、ケーブル長や取り込みボードが限定される。
その他、登録された欠陥画素の座標を用いて、欠陥画素の補間を行う撮像装置もある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−４２８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１には、パーシャルスキャンする画素領域の位置を選択し、撮像素子を駆動する水平パルス及び垂直パルスの走査速度を切り替える技術が開示されている。しかし、特許文献１は、画像情報を必要とする複数の画素領域と、画像情報を必要としない複数の画素領域とを設定するパーシャルスキャンに関連する技術であり、高画素の撮像素子を使用する撮像装置の高フレームレート化のためには効を奏さない。
本発明の目的は、複数の出力を有した撮像素子を採用したカメラにおいて、フレームメモリ等を使用せず、小規模なラインメモリのみでフレームレートの切換えや上下及び左右反転出力を可能とする。また、出力モードに応じて適切な欠陥画素補間を行う。
【課題を解決するための手段】
【０００５】
上記の目的を達成するため、本発明の撮像装置は、複数に分割された撮像領域と該複数の撮像領域毎に映像信号をそれぞれ出力する出力チャンネルとを有する撮像素子、該撮像素子から該映像信号を出力する出力チャンネルの数及び出力順序の切換えを行う撮像素子設定部、前記撮像素子から出力される前記複数の映像信号の合成を行う合成処理部、及び、該合成された信号をカメラリンク出力フォーマットに変換する画像出力部とを備え、前記撮像素子の出力チャンネルの数の切換えと前記合成処理部の合成方法の組み合わせにより、フレームレートの切換えを行うことを第１の特徴とする。
上記第１の特徴の撮像装置において、前記撮像素子の上下及び左右出力切換えと前記合成処理部の前記成方法の組み合わせにより、上下及び左右反転出力機能を有することを第２の特徴とする。
上記第２の特徴の撮像装置において、前記フレームレートの切換え、前記上下及び左右反転出力の切換え、パーシャルスキャン等の切換えを行い、かつ、適切な欠陥画素補間を行うことを第３の特徴とする。
【発明の効果】
【０００６】
本発明によれば、複数の出力を有した撮像素子を採用したカメラにおいて、フレームメモリ等を使用せず、小規模なラインメモリのみでフレームレートの切換えや上下及び左右反転出力を可能とする。また、出力モードに応じて適切な欠陥画素補間を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の撮像装置の一実施例の構成を示すブロック図である。
【図２】本発明の撮像装置の一実施例における撮像素子１０１の出力チャンネル数とカメラリンク出力モードの関係を表にしたものである。
【図３】本発明の撮像装置の一実施例における出力モードごとの合成処理方法を説明するための図である。
【発明を実施するための形態】
【０００８】
本発明は、複数の出力を有した撮像素子を採用したカメラにおいて、フレームメモリ等を使用せず、小規模なラインメモリのみでフレームレートの切換えや上下及び左右反転出力を可能とする。また、出力モードに応じて適切な欠陥画素補間を行う撮像装置である。
このため、本発明の撮像装置は、フレームレートの変更や切換えのため、撮像素子の出力チャンネル数の切換えを行う。また、撮像素子の出力チャンネル数に応じて、チャンネルの合成方法を切換え、フレームレートに応じたカメラリンクフォーマットとする。この結果、フレームレートの切換え及び出力モードの切換えが可能な撮像装置を実現する。また、本発明の撮像装置は、登録した欠陥画素の座標から、出力モードを切換える都度、補間座標を再計算するものである。
【０００９】
本発明の一実施形態について、以下、図面等を用いて説明する。
なお、以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。
また、各図の説明において、同一の機能を有する構成要素には同一の参照番号を付し、重複を避け、できるだけ説明を省略する。
【００１０】
図１によって、本発明の撮像装置の一実施例を説明する。図１は、本発明の撮像装置の一実施例の構成を示すブロック図である。１０は撮像装置、１０１は撮像素子、１０３はシリアル信号をパラレル信号に変換するシリパラ変換部、１０４は合成処理部、１０５は欠陥画素補間部、１０６は画像出力部、１０８はフレームレート切換え部である。また、合成処理部において、１４１はラインメモリ書き込みｃｈセレクタ、１４３はラインメモリ（ラインメモリ１〜ラインメモリ１６）、１４５はＴＡＰセレクタ（ＴＡＰ１〜ＴＡＰ８）である。例えば、撮像素子１０１の有効画素数は、２０４８×２０４８画素である。また、フレームレート切換え部１０８は、撮像素子１０１、合成処理部１０４、欠陥画素補間部１０５、および画像出力部１０６の、撮像素子制御、合成処理制御、欠陥画素補間制御、および出力方法切換えを、図示しない操作部等の指示により設定された条件に従って実行する。
【００１１】
図１の撮像装置１０において、撮像素子１０１は、ｃｈ１〜ｃｈ１６の１６のチャンネルに分割して、それぞれ１２８×２０４８画素の画素領域の映像信号を、シリパラ変換部１０３に出力する。
シリパラ変換部１０３は、撮像素子１０１から入力される１６チャンネルの映像信号をそれぞれパラレルデータに変換して、それぞれを合成処理部１０４に出力する。
合成処理部１０４は、ラインメモリ書き込みｃｈセレクタ１４１、１６のラインメモリ１４３、８個のＴＡＰセレクタ１４５によって、シリパラ変換部１０３から入力された１６のチャンネルの映像信号をそれぞれパラレルデータに変換して、それぞれを合成処理部１０５に出力する。具体的には、シリパラ変換部１０３から入力された複数チャンネルの映像信号を、ラインメモリ書き込みｃｈセレクタ１４１の選択に応じてラインメモリ１４３へそれぞれ出力し、ＴＡＰセレクタ１４５によって合成され、欠陥画素補間部１０５へ出力する。
欠陥画素補間部１０５は、入力されたそれぞれのＴＡＰの映像信号について後述する欠陥画素補間を実行し、それぞれのＴＡＰの映像信号ごとに画像出力部１０６に出力する。
画像出力部１０６は、入力されたそれぞれのＴＡＰの映像信号について周知の映像処理を実行して、それぞれのＴＡＰの映像信号ごとに撮像装置１０のカメラリンク端子から外部に出力する。
【００１２】
図２及び図３によって、本発明の撮像装置の一実施例におけるカメラリンク出力モードについて説明する。
図２は、本発明の撮像装置の一実施例における撮像素子１０１の出力チャンネル数とカメラリンク出力モードの関係を表にしたものである。
図２において、撮像素子出力が“４０ＭＨｚ×２ｃｈ”の場合には、フレームレートが“１８．７５ｆｐｓ”、カメラリンク出力モードは、“４０ＭＨｚ×２ＴＡＰ（基本設定）”である。また、撮像素子出力が“４０ＭＨｚ×４ｃｈ”の場合には、フレームレートが“３７．５ｆｐｓ”、カメラリンク出力モードは、“８０ＭＨｚ×２ＴＡＰ（基本設定）”、若しくは、カメラリンク出力モードが、“４０ＭＨｚ×４ＴＡＰ（中設定）”である。さらに、撮像素子出力が“４０ＭＨｚ×８ｃｈ”の場合には、フレームレートが“７５．０ｆｐｓ”、カメラリンク出力モードは、“８０ＭＨｚ×４ＴＡＰ（中設定）”、若しくは、カメラリンク出力モードが、“４０ＭＨｚ×８ＴＡＰ（最大設定）”である。またさらに、撮像素子出力が“４０ＭＨｚ×１６ｃｈ”の場合には、フレームレートが“１５０．０ｆｐｓ”、カメラリンク出力モードは、“８０ＭＨｚ×８ＴＡＰ（最大設定）”である。
また図３は、本発明の撮像装置の一実施例における出力モードごとの合成処理方法を説明するための図である。
【００１３】
図２および図３において、カメラリンク出力モードが４０ＭＨｚ×２ＴＡＰのときには、撮像素子１０１の出力を４０ＭＨｚ×２ｃｈとする。この場合、撮像素子１０１のｃｈ１とｃｈ９から、１０２４×２０４８画素の映像信号がそれぞれ出力される。そして、ｃｈ１及びｃｈ９から出力された映像信号は、合成処理部１０４で合成される。最後に、画像出力部１０６のＴＡＰ１とＴＡＰ２から４０ＭＨｚで１０２４×２０４８画素の映像信号がそれぞれ出力される。
【００１４】
カメラリンク出力モードが８０ＭＨｚ×２ＴＡＰのときには、撮像素子１０１の出力を４０ＭＨｚ×４ｃｈとする。この場合、撮像素子１０１のｃｈ１、ｃｈ５、ｃｈ９、及びｃｈ１３から、５１２×２０４８画素の映像信号がそれぞれ出力される。そして、ｃｈ１とｃｈ５から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ１から８０ＭＨｚで出力される。同様に、ｃｈ９とｃｈ１３から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ２から８０ＭＨｚで出力される。
【００１５】
カメラリンク出力モードが４０ＭＨｚ×４ＴＡＰのときには、撮像素子１０１の出力を４０ＭＨｚ×４ｃｈとする。この場合、撮像素子１０１のｃｈ１、ｃｈ５、ｃｈ９、及びｃｈ１３から、５１２×２０４８画素の映像信号がそれぞれ出力される。そして、ｃｈ１から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ１から４０ＭＨｚで出力される。同様に、ｃｈ５から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ２から４０ＭＨｚで出力される。また同様に、ｃｈ９から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ３から４０ＭＨｚで出力される。さらに同様に、ｃｈ１３から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ４から４０ＭＨｚで出力される。
【００１６】
カメラリンク出力モードが８０ＭＨｚ×４ＴＡＰのときには、撮像素子１０１の出力を４０ＭＨｚ×８ｃｈとする。この場合、撮像素子１０１のｃｈ１、ｃｈ３、ｃｈ５、ｃｈ７、ｃｈ９、ｃｈ１１、ｃｈ１３、及びｃｈ１５から、２５６×２０４８画素の映像信号がそれぞれ出力される。そして、ｃｈ１から出力された映像信号とｃｈ３から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ１から８０ＭＨｚで出力される。同様に、ｃｈ５から出力された映像信号とｃｈ７から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ２から８０ＭＨｚで出力される。また同様に、ｃｈ９から出力された映像信号とｃｈ１１から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ３から８０ＭＨｚで出力される。さらに同様に、ｃｈ１３から出力された映像信号とｃｈ１５から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ４から８０ＭＨｚで出力される。
【００１７】
カメラリンク出力モードが４０ＭＨｚ×８ＴＡＰのときには、撮像素子１０１の出力を４０ＭＨｚ×８ｃｈとする。この場合、撮像素子１０１のｃｈ１、ｃｈ３、ｃｈ５、ｃｈ７、ｃｈ９、ｃｈ１１、及びｃｈ１３から、２５６×２０４８画素の映像信号がそれぞれ出力される。そして、ｃｈ１から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ１から４０ＭＨｚで出力される。同様に、ｃｈ３から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ２から４０ＭＨｚで出力される。また同様に、ｃｈ５から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ３から４０ＭＨｚで出力される。さらに同様に、ｃｈ７から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ４から４０ＭＨｚで出力される。また、ｃｈ９から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ５から４０ＭＨｚで出力される。同様に、ｃｈ１１から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ６から４０ＭＨｚで出力される。また同様に、ｃｈ１３から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ７から４０ＭＨｚで出力される。さらに同様に、ｃｈ１５から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ８から４０ＭＨｚで出力される。
【００１８】
カメラリンク出力モードが８０ＭＨｚ×８ＴＡＰのときには、撮像素子１０１の出力を４０ＭＨｚ×１６ｃｈとする。この場合、撮像素子１０１のｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４、ｃｈ５、ｃｈ６、ｃｈ７、ｃｈ８、ｃｈ９、ｃｈ１０、ｃｈ１１、ｃｈ１２、ｃｈ１３、ｃｈ１４、ｃｈ１５、及びｃｈ１６から、１２８×２０４８画素の映像信号がそれぞれ出力される。
ｃｈ１とｃｈ２から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ１から８０ＭＨｚで出力される。ｃｈ３とｃｈ４から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ２から８０ＭＨｚで出力される。ｃｈ５とｃｈ６から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ３から８０ＭＨｚで出力される。ｃｈ７とｃｈ８から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ４から８０ＭＨｚで出力される。
ｃｈ９とｃｈ１０から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ５から８０ＭＨｚで出力される。ｃｈ１１とｃｈ１２から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ６から８０ＭＨｚで出力される。ｃｈ１３とｃｈ１４から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ７から８０ＭＨｚで出力される。ｃｈ１５とｃｈ１６から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ８から８０ＭＨｚで出力される。
【００１９】
なお、本発明の撮像装置の撮像素子は、左右反転出力機能を有する。ただし、反転するのは、チャンネル内のデータであり、１画面分の反転出力を行うためには、チャンネル全体の画像データを置き換える必要がある。例えば、８０ＭＨｚ×８ＴＡＰの場合には、ｃｈ１６とｃｈ１５から出力された映像信号を合成してＴＡＰ１から、ｃｈ１４とｃｈ１３から出力された映像信号を合成してＴＡＰ２から、ｃｈ１２とｃｈ１１から出力された映像信号を合成してＴＡＰ３から、ｃｈ１０とｃｈ９から出力された映像信号を合成してＴＡＰ４から、ｃｈ８とｃｈ７から出力された映像信号を合成してＴＡＰ５から、ｃｈ６とｃｈ５から出力された映像信号を合成してＴＡＰ６から、ｃｈ４とｃｈ３から出力された映像信号を合成してＴＡＰ７から、ｃｈ２とｃｈ１から出力された映像信号を合成してＴＡＰ８から、それぞれ８０ＭＨｚで出力する。
その他の出力モードに関しても同様の置き換えを行う。
【００２０】
次に、欠陥画素補間部１０５における欠陥画素の補間方法について説明する。上述のような出力モードの切換えを行ったときには、登録された欠陥画素の座標を用いて、出力ＴＡＰごとに欠陥画素の補間位置を変換する必要がある。登録座標を（Ｘin，Ｙin）、上下左右反転設定考慮後の補間座標を（Ｘflip，Ｙflip）とすると、
（１）上下及び左右反転無しの場合には、
Ｘflip＝Ｘin， Ｙflip＝Ｙin
（２）左右反転のみの場合には、
Ｘflip＝２０４９−Ｘin，Ｙflip＝Ｙin
（３）上下反転のみの場合には、
Ｘflip＝Ｘin，Ｙflip＝２０４９−Ｙin
（４）上下及び左右反転ありの場合には、
Ｘflip＝２０４９−Ｘin，Ｙflip＝２０４９−Ｙin
となる。
パーシャルスキャン設定考慮後の補間座標を（Ｘpar，Ｙpar）、パーシャルスキャンの開始位置をＹstart、幅をＹwidthとすると、
Ｘpar＝Ｘflip，Ｙpar＝Ｙflip−Ｙstart＋１（ＹflipがＹstart以上、Ｙstart＋Ｙwidth未満）
となる。
ＴＡＰ１の補間座標を（Ｘtap1，Ｙtap1）、ＴＡＰ２の補間座標を（Ｘtap2，Ｙtap2）、ＴＡＰ３の補間座標を（Ｘtap3，Ｙtap3）、ＴＡＰ４の補間座標を（Ｘtap4，Ｙtap4）、ＴＡＰ５の補間座標を（Ｘtap5、Ｙtap5）、ＴＡＰ６の補間座標を（Ｘtap6，Ｙtap6）、ＴＡＰ７の補間座標を（Ｘtap7，Ｙtap7）、ＴＡＰ８の補間座標を（Ｘtap8，Ｙtap8）とする。
【００２１】
２ＴＡＰ出力の場合には、（Ｘtap1，Ｙtap1）、（Ｘtap2，Ｙtap2）を設定する。
Ｘparが１から１０２４までは、
Ｘtap1＝Ｘpar，Ｙtap1＝Ｙpar
Ｘparが１０２５から２０４８までは、
Ｘtap2＝Ｘpar−1024，Ｙtap2＝Ｙpar
となる。
【００２２】
４ＴＡＰ出力の場合には、（Ｘtap1，Ｙtap1）、（Ｘtap2，Ｙtap2）、（Ｘtap3，Ｙtap3）、（Ｘtap4，Ｙtap4）を設定する。
Ｘparが１から５１２までは、
Ｘtap1＝Ｘpar，Ｙtap1＝Ｙpar
Ｘparが５１３から１０２４までは、
Ｘtap2＝Ｘpar−512，Ｙtap2＝Ｙpar
Ｘparが１０２５から１５３６までは、
Ｘtap3＝Ｘpar−１０２４，Ｙtap3＝Ｙpar
Ｘparが１５３７から２０４８までは、
Ｘtap4＝Ｘpar−１５３６，Ｙtap4＝Ｙpar
となる。
【００２３】
８ＴＡＰ出力の場合には、（Ｘtap1，Ｙtap1）、（Ｘtap2，Ｙtap2）、（Ｘtap3，Ｙtap3）、（Ｘtap4，Ｙtap4）、（Ｘtap5，Ｙtap5）、（Ｘtap6，Ｙtap6）、（Ｘtap7，Ｙtap7）、（Ｘtap8，Ｙtap8）を設定する。
Ｘparが１から２５６までは、
Ｘtap1＝Ｘpar，Ｙtap1＝Ｙpar
Ｘparが２５７から５１２までは、
Ｘtap2＝Ｘpar−２５６，Ｙtap2＝Ｙpar
Ｘparが５１３から７６８までは、
Ｘtap3＝Ｘpar−５１２，Ｙtap3＝Ｙpar
Ｘparが７６９から１０２４までは、
Ｘtap4＝Ｘpar−７６８，Ｙtap4＝Ｙpar
Ｘparが１０２５から１２８０までは、
Ｘtap5＝Ｘpar−１０２４，Ｙtap5＝Ｙpar
Ｘparが１２８１から１５３６までは、
Ｘtap6＝Ｘpar−１２８０，Ｙtap6＝Ｙpar
Ｘparが１５３７から１７９２までは、
Ｘtap7＝Ｘpar−１５２６，Ｙtap7＝Ｙpar
Ｘparが１７９２から２０４８までは、
Ｘtap8＝Ｘpar−１７９２，Ｙtap8＝Ｙpar
となる。
【００２４】
上記実施例によれば、小規模なラインメモリのみでフレームレートの切換えや上下及び左右反転出力が可能となる。また、一度登録した欠陥画像の座標を用いて、出力モードごとに補間画素を再計算し設定することで、適切な欠陥画素補間が可能となる。
【符号の説明】
【００２５】
１０：撮像装置、 １０１：撮像素子、 １０２：撮像素子設定部、 １０３：シリパラ変換部、 １０４：合成処理部、 １０５：欠陥画素補間部、 １０６：画像出力部、 １０８：フレームレート切換え部、 １４１：ラインメモリ書き込みｃｈセレクタ、 １４３：ラインメモリ、 １４５：ＴＡＰセレクタ。
【技術分野】
【０００１】
本発明は、複数に分割された撮像領域と複数の出力部を有する撮像素子を使用した撮像装置に関わり、特に、フレームレートの切換えや反転出力の切換え方法と、欠陥画素の補間に関するものである。
【背景技術】
【０００２】
近年、有効画素数が多い（高画素の）撮像素子が生産可能となり高精細な映像を取得可能な撮像装置が実現してきている。しかし画素数が多いと、従来通りの読み出し速度では、各画素から映像信号を読み出すための時間がかかり、フレームレートが小さい撮像装置となってしまう。従って、高画素の撮像素子を使用した撮像装置の高フレームレート化を実現するため、複数の出力を有した撮像素子が製品化されている。例えば、有効画素が２０４８×２０４８画素の撮像素子の出力を１２８×２０４８画素単位に１６チャンネル（ｃｈ）に分割して出力することで、高フレームレートを実現している。また、１６ｃｈの内の１部のチャンネルを使って（例えば、８ｃｈ、４ｃｈ、２ｃｈ）出力チャンネル数を減らして、フレームレートを下げることも可能である。
また、マシンビジョンのインターフェースの１つであるカメラリンクインターフェースでは、ＴＡＰ数や出力周波数の選択で、フレームレートの変更が可能ある。ＴＡＰ数を増やすことにより、高フレームレート化が実現可能である。しかし、ケーブルの本数が増え、取り込みボードが限定される。出力周波数を上げることも高フレームレート化に貢献するが、ケーブル長や取り込みボードが限定される。
その他、登録された欠陥画素の座標を用いて、欠陥画素の補間を行う撮像装置もある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−４２８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１には、パーシャルスキャンする画素領域の位置を選択し、撮像素子を駆動する水平パルス及び垂直パルスの走査速度を切り替える技術が開示されている。しかし、特許文献１は、画像情報を必要とする複数の画素領域と、画像情報を必要としない複数の画素領域とを設定するパーシャルスキャンに関連する技術であり、高画素の撮像素子を使用する撮像装置の高フレームレート化のためには効を奏さない。
本発明の目的は、複数の出力を有した撮像素子を採用したカメラにおいて、フレームメモリ等を使用せず、小規模なラインメモリのみでフレームレートの切換えや上下及び左右反転出力を可能とする。また、出力モードに応じて適切な欠陥画素補間を行う。
【課題を解決するための手段】
【０００５】
上記の目的を達成するため、本発明の撮像装置は、複数に分割された撮像領域と該複数の撮像領域毎に映像信号をそれぞれ出力する出力チャンネルとを有する撮像素子、該撮像素子から該映像信号を出力する出力チャンネルの数及び出力順序の切換えを行う撮像素子設定部、前記撮像素子から出力される前記複数の映像信号の合成を行う合成処理部、及び、該合成された信号をカメラリンク出力フォーマットに変換する画像出力部とを備え、前記撮像素子の出力チャンネルの数の切換えと前記合成処理部の合成方法の組み合わせにより、フレームレートの切換えを行うことを第１の特徴とする。
上記第１の特徴の撮像装置において、前記撮像素子の上下及び左右出力切換えと前記合成処理部の前記成方法の組み合わせにより、上下及び左右反転出力機能を有することを第２の特徴とする。
上記第２の特徴の撮像装置において、前記フレームレートの切換え、前記上下及び左右反転出力の切換え、パーシャルスキャン等の切換えを行い、かつ、適切な欠陥画素補間を行うことを第３の特徴とする。
【発明の効果】
【０００６】
本発明によれば、複数の出力を有した撮像素子を採用したカメラにおいて、フレームメモリ等を使用せず、小規模なラインメモリのみでフレームレートの切換えや上下及び左右反転出力を可能とする。また、出力モードに応じて適切な欠陥画素補間を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の撮像装置の一実施例の構成を示すブロック図である。
【図２】本発明の撮像装置の一実施例における撮像素子１０１の出力チャンネル数とカメラリンク出力モードの関係を表にしたものである。
【図３】本発明の撮像装置の一実施例における出力モードごとの合成処理方法を説明するための図である。
【発明を実施するための形態】
【０００８】
本発明は、複数の出力を有した撮像素子を採用したカメラにおいて、フレームメモリ等を使用せず、小規模なラインメモリのみでフレームレートの切換えや上下及び左右反転出力を可能とする。また、出力モードに応じて適切な欠陥画素補間を行う撮像装置である。
このため、本発明の撮像装置は、フレームレートの変更や切換えのため、撮像素子の出力チャンネル数の切換えを行う。また、撮像素子の出力チャンネル数に応じて、チャンネルの合成方法を切換え、フレームレートに応じたカメラリンクフォーマットとする。この結果、フレームレートの切換え及び出力モードの切換えが可能な撮像装置を実現する。また、本発明の撮像装置は、登録した欠陥画素の座標から、出力モードを切換える都度、補間座標を再計算するものである。
【０００９】
本発明の一実施形態について、以下、図面等を用いて説明する。
なお、以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。
また、各図の説明において、同一の機能を有する構成要素には同一の参照番号を付し、重複を避け、できるだけ説明を省略する。
【００１０】
図１によって、本発明の撮像装置の一実施例を説明する。図１は、本発明の撮像装置の一実施例の構成を示すブロック図である。１０は撮像装置、１０１は撮像素子、１０３はシリアル信号をパラレル信号に変換するシリパラ変換部、１０４は合成処理部、１０５は欠陥画素補間部、１０６は画像出力部、１０８はフレームレート切換え部である。また、合成処理部において、１４１はラインメモリ書き込みｃｈセレクタ、１４３はラインメモリ（ラインメモリ１〜ラインメモリ１６）、１４５はＴＡＰセレクタ（ＴＡＰ１〜ＴＡＰ８）である。例えば、撮像素子１０１の有効画素数は、２０４８×２０４８画素である。また、フレームレート切換え部１０８は、撮像素子１０１、合成処理部１０４、欠陥画素補間部１０５、および画像出力部１０６の、撮像素子制御、合成処理制御、欠陥画素補間制御、および出力方法切換えを、図示しない操作部等の指示により設定された条件に従って実行する。
【００１１】
図１の撮像装置１０において、撮像素子１０１は、ｃｈ１〜ｃｈ１６の１６のチャンネルに分割して、それぞれ１２８×２０４８画素の画素領域の映像信号を、シリパラ変換部１０３に出力する。
シリパラ変換部１０３は、撮像素子１０１から入力される１６チャンネルの映像信号をそれぞれパラレルデータに変換して、それぞれを合成処理部１０４に出力する。
合成処理部１０４は、ラインメモリ書き込みｃｈセレクタ１４１、１６のラインメモリ１４３、８個のＴＡＰセレクタ１４５によって、シリパラ変換部１０３から入力された１６のチャンネルの映像信号をそれぞれパラレルデータに変換して、それぞれを合成処理部１０５に出力する。具体的には、シリパラ変換部１０３から入力された複数チャンネルの映像信号を、ラインメモリ書き込みｃｈセレクタ１４１の選択に応じてラインメモリ１４３へそれぞれ出力し、ＴＡＰセレクタ１４５によって合成され、欠陥画素補間部１０５へ出力する。
欠陥画素補間部１０５は、入力されたそれぞれのＴＡＰの映像信号について後述する欠陥画素補間を実行し、それぞれのＴＡＰの映像信号ごとに画像出力部１０６に出力する。
画像出力部１０６は、入力されたそれぞれのＴＡＰの映像信号について周知の映像処理を実行して、それぞれのＴＡＰの映像信号ごとに撮像装置１０のカメラリンク端子から外部に出力する。
【００１２】
図２及び図３によって、本発明の撮像装置の一実施例におけるカメラリンク出力モードについて説明する。
図２は、本発明の撮像装置の一実施例における撮像素子１０１の出力チャンネル数とカメラリンク出力モードの関係を表にしたものである。
図２において、撮像素子出力が“４０ＭＨｚ×２ｃｈ”の場合には、フレームレートが“１８．７５ｆｐｓ”、カメラリンク出力モードは、“４０ＭＨｚ×２ＴＡＰ（基本設定）”である。また、撮像素子出力が“４０ＭＨｚ×４ｃｈ”の場合には、フレームレートが“３７．５ｆｐｓ”、カメラリンク出力モードは、“８０ＭＨｚ×２ＴＡＰ（基本設定）”、若しくは、カメラリンク出力モードが、“４０ＭＨｚ×４ＴＡＰ（中設定）”である。さらに、撮像素子出力が“４０ＭＨｚ×８ｃｈ”の場合には、フレームレートが“７５．０ｆｐｓ”、カメラリンク出力モードは、“８０ＭＨｚ×４ＴＡＰ（中設定）”、若しくは、カメラリンク出力モードが、“４０ＭＨｚ×８ＴＡＰ（最大設定）”である。またさらに、撮像素子出力が“４０ＭＨｚ×１６ｃｈ”の場合には、フレームレートが“１５０．０ｆｐｓ”、カメラリンク出力モードは、“８０ＭＨｚ×８ＴＡＰ（最大設定）”である。
また図３は、本発明の撮像装置の一実施例における出力モードごとの合成処理方法を説明するための図である。
【００１３】
図２および図３において、カメラリンク出力モードが４０ＭＨｚ×２ＴＡＰのときには、撮像素子１０１の出力を４０ＭＨｚ×２ｃｈとする。この場合、撮像素子１０１のｃｈ１とｃｈ９から、１０２４×２０４８画素の映像信号がそれぞれ出力される。そして、ｃｈ１及びｃｈ９から出力された映像信号は、合成処理部１０４で合成される。最後に、画像出力部１０６のＴＡＰ１とＴＡＰ２から４０ＭＨｚで１０２４×２０４８画素の映像信号がそれぞれ出力される。
【００１４】
カメラリンク出力モードが８０ＭＨｚ×２ＴＡＰのときには、撮像素子１０１の出力を４０ＭＨｚ×４ｃｈとする。この場合、撮像素子１０１のｃｈ１、ｃｈ５、ｃｈ９、及びｃｈ１３から、５１２×２０４８画素の映像信号がそれぞれ出力される。そして、ｃｈ１とｃｈ５から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ１から８０ＭＨｚで出力される。同様に、ｃｈ９とｃｈ１３から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ２から８０ＭＨｚで出力される。
【００１５】
カメラリンク出力モードが４０ＭＨｚ×４ＴＡＰのときには、撮像素子１０１の出力を４０ＭＨｚ×４ｃｈとする。この場合、撮像素子１０１のｃｈ１、ｃｈ５、ｃｈ９、及びｃｈ１３から、５１２×２０４８画素の映像信号がそれぞれ出力される。そして、ｃｈ１から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ１から４０ＭＨｚで出力される。同様に、ｃｈ５から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ２から４０ＭＨｚで出力される。また同様に、ｃｈ９から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ３から４０ＭＨｚで出力される。さらに同様に、ｃｈ１３から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ４から４０ＭＨｚで出力される。
【００１６】
カメラリンク出力モードが８０ＭＨｚ×４ＴＡＰのときには、撮像素子１０１の出力を４０ＭＨｚ×８ｃｈとする。この場合、撮像素子１０１のｃｈ１、ｃｈ３、ｃｈ５、ｃｈ７、ｃｈ９、ｃｈ１１、ｃｈ１３、及びｃｈ１５から、２５６×２０４８画素の映像信号がそれぞれ出力される。そして、ｃｈ１から出力された映像信号とｃｈ３から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ１から８０ＭＨｚで出力される。同様に、ｃｈ５から出力された映像信号とｃｈ７から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ２から８０ＭＨｚで出力される。また同様に、ｃｈ９から出力された映像信号とｃｈ１１から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ３から８０ＭＨｚで出力される。さらに同様に、ｃｈ１３から出力された映像信号とｃｈ１５から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ４から８０ＭＨｚで出力される。
【００１７】
カメラリンク出力モードが４０ＭＨｚ×８ＴＡＰのときには、撮像素子１０１の出力を４０ＭＨｚ×８ｃｈとする。この場合、撮像素子１０１のｃｈ１、ｃｈ３、ｃｈ５、ｃｈ７、ｃｈ９、ｃｈ１１、及びｃｈ１３から、２５６×２０４８画素の映像信号がそれぞれ出力される。そして、ｃｈ１から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ１から４０ＭＨｚで出力される。同様に、ｃｈ３から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ２から４０ＭＨｚで出力される。また同様に、ｃｈ５から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ３から４０ＭＨｚで出力される。さらに同様に、ｃｈ７から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ４から４０ＭＨｚで出力される。また、ｃｈ９から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ５から４０ＭＨｚで出力される。同様に、ｃｈ１１から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ６から４０ＭＨｚで出力される。また同様に、ｃｈ１３から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ７から４０ＭＨｚで出力される。さらに同様に、ｃｈ１５から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ８から４０ＭＨｚで出力される。
【００１８】
カメラリンク出力モードが８０ＭＨｚ×８ＴＡＰのときには、撮像素子１０１の出力を４０ＭＨｚ×１６ｃｈとする。この場合、撮像素子１０１のｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４、ｃｈ５、ｃｈ６、ｃｈ７、ｃｈ８、ｃｈ９、ｃｈ１０、ｃｈ１１、ｃｈ１２、ｃｈ１３、ｃｈ１４、ｃｈ１５、及びｃｈ１６から、１２８×２０４８画素の映像信号がそれぞれ出力される。
ｃｈ１とｃｈ２から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ１から８０ＭＨｚで出力される。ｃｈ３とｃｈ４から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ２から８０ＭＨｚで出力される。ｃｈ５とｃｈ６から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ３から８０ＭＨｚで出力される。ｃｈ７とｃｈ８から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ４から８０ＭＨｚで出力される。
ｃｈ９とｃｈ１０から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ５から８０ＭＨｚで出力される。ｃｈ１１とｃｈ１２から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ６から８０ＭＨｚで出力される。ｃｈ１３とｃｈ１４から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ７から８０ＭＨｚで出力される。ｃｈ１５とｃｈ１６から出力された映像信号は、合成処理部１０４で合成され、画像出力部１０６のＴＡＰ８から８０ＭＨｚで出力される。
【００１９】
なお、本発明の撮像装置の撮像素子は、左右反転出力機能を有する。ただし、反転するのは、チャンネル内のデータであり、１画面分の反転出力を行うためには、チャンネル全体の画像データを置き換える必要がある。例えば、８０ＭＨｚ×８ＴＡＰの場合には、ｃｈ１６とｃｈ１５から出力された映像信号を合成してＴＡＰ１から、ｃｈ１４とｃｈ１３から出力された映像信号を合成してＴＡＰ２から、ｃｈ１２とｃｈ１１から出力された映像信号を合成してＴＡＰ３から、ｃｈ１０とｃｈ９から出力された映像信号を合成してＴＡＰ４から、ｃｈ８とｃｈ７から出力された映像信号を合成してＴＡＰ５から、ｃｈ６とｃｈ５から出力された映像信号を合成してＴＡＰ６から、ｃｈ４とｃｈ３から出力された映像信号を合成してＴＡＰ７から、ｃｈ２とｃｈ１から出力された映像信号を合成してＴＡＰ８から、それぞれ８０ＭＨｚで出力する。
その他の出力モードに関しても同様の置き換えを行う。
【００２０】
次に、欠陥画素補間部１０５における欠陥画素の補間方法について説明する。上述のような出力モードの切換えを行ったときには、登録された欠陥画素の座標を用いて、出力ＴＡＰごとに欠陥画素の補間位置を変換する必要がある。登録座標を（Ｘin，Ｙin）、上下左右反転設定考慮後の補間座標を（Ｘflip，Ｙflip）とすると、
（１）上下及び左右反転無しの場合には、
Ｘflip＝Ｘin， Ｙflip＝Ｙin
（２）左右反転のみの場合には、
Ｘflip＝２０４９−Ｘin，Ｙflip＝Ｙin
（３）上下反転のみの場合には、
Ｘflip＝Ｘin，Ｙflip＝２０４９−Ｙin
（４）上下及び左右反転ありの場合には、
Ｘflip＝２０４９−Ｘin，Ｙflip＝２０４９−Ｙin
となる。
パーシャルスキャン設定考慮後の補間座標を（Ｘpar，Ｙpar）、パーシャルスキャンの開始位置をＹstart、幅をＹwidthとすると、
Ｘpar＝Ｘflip，Ｙpar＝Ｙflip−Ｙstart＋１（ＹflipがＹstart以上、Ｙstart＋Ｙwidth未満）
となる。
ＴＡＰ１の補間座標を（Ｘtap1，Ｙtap1）、ＴＡＰ２の補間座標を（Ｘtap2，Ｙtap2）、ＴＡＰ３の補間座標を（Ｘtap3，Ｙtap3）、ＴＡＰ４の補間座標を（Ｘtap4，Ｙtap4）、ＴＡＰ５の補間座標を（Ｘtap5、Ｙtap5）、ＴＡＰ６の補間座標を（Ｘtap6，Ｙtap6）、ＴＡＰ７の補間座標を（Ｘtap7，Ｙtap7）、ＴＡＰ８の補間座標を（Ｘtap8，Ｙtap8）とする。
【００２１】
２ＴＡＰ出力の場合には、（Ｘtap1，Ｙtap1）、（Ｘtap2，Ｙtap2）を設定する。
Ｘparが１から１０２４までは、
Ｘtap1＝Ｘpar，Ｙtap1＝Ｙpar
Ｘparが１０２５から２０４８までは、
Ｘtap2＝Ｘpar−1024，Ｙtap2＝Ｙpar
となる。
【００２２】
４ＴＡＰ出力の場合には、（Ｘtap1，Ｙtap1）、（Ｘtap2，Ｙtap2）、（Ｘtap3，Ｙtap3）、（Ｘtap4，Ｙtap4）を設定する。
Ｘparが１から５１２までは、
Ｘtap1＝Ｘpar，Ｙtap1＝Ｙpar
Ｘparが５１３から１０２４までは、
Ｘtap2＝Ｘpar−512，Ｙtap2＝Ｙpar
Ｘparが１０２５から１５３６までは、
Ｘtap3＝Ｘpar−１０２４，Ｙtap3＝Ｙpar
Ｘparが１５３７から２０４８までは、
Ｘtap4＝Ｘpar−１５３６，Ｙtap4＝Ｙpar
となる。
【００２３】
８ＴＡＰ出力の場合には、（Ｘtap1，Ｙtap1）、（Ｘtap2，Ｙtap2）、（Ｘtap3，Ｙtap3）、（Ｘtap4，Ｙtap4）、（Ｘtap5，Ｙtap5）、（Ｘtap6，Ｙtap6）、（Ｘtap7，Ｙtap7）、（Ｘtap8，Ｙtap8）を設定する。
Ｘparが１から２５６までは、
Ｘtap1＝Ｘpar，Ｙtap1＝Ｙpar
Ｘparが２５７から５１２までは、
Ｘtap2＝Ｘpar−２５６，Ｙtap2＝Ｙpar
Ｘparが５１３から７６８までは、
Ｘtap3＝Ｘpar−５１２，Ｙtap3＝Ｙpar
Ｘparが７６９から１０２４までは、
Ｘtap4＝Ｘpar−７６８，Ｙtap4＝Ｙpar
Ｘparが１０２５から１２８０までは、
Ｘtap5＝Ｘpar−１０２４，Ｙtap5＝Ｙpar
Ｘparが１２８１から１５３６までは、
Ｘtap6＝Ｘpar−１２８０，Ｙtap6＝Ｙpar
Ｘparが１５３７から１７９２までは、
Ｘtap7＝Ｘpar−１５２６，Ｙtap7＝Ｙpar
Ｘparが１７９２から２０４８までは、
Ｘtap8＝Ｘpar−１７９２，Ｙtap8＝Ｙpar
となる。
【００２４】
上記実施例によれば、小規模なラインメモリのみでフレームレートの切換えや上下及び左右反転出力が可能となる。また、一度登録した欠陥画像の座標を用いて、出力モードごとに補間画素を再計算し設定することで、適切な欠陥画素補間が可能となる。
【符号の説明】
【００２５】
１０：撮像装置、 １０１：撮像素子、 １０２：撮像素子設定部、 １０３：シリパラ変換部、 １０４：合成処理部、 １０５：欠陥画素補間部、 １０６：画像出力部、 １０８：フレームレート切換え部、 １４１：ラインメモリ書き込みｃｈセレクタ、 １４３：ラインメモリ、 １４５：ＴＡＰセレクタ。
【特許請求の範囲】
【請求項１】
複数に分割された撮像領域と該複数の撮像領域毎に映像信号をそれぞれ出力する出力チャンネルとを有する撮像素子、該撮像素子から該映像信号を出力する出力チャンネルの数及び出力順序の切換えを行う撮像素子設定部、前記撮像素子から出力される前記複数の映像信号の合成を行う合成処理部、該合成された信号をカメラリンク出力フォーマットに変換する画像出力部とを備え、前記撮像素子の出力チャンネルの数の切換えと前記合成処理部の合成方法の組み合わせにより、フレームレートの切換えを行うことを特徴とする撮像装置。
【請求項１】
複数に分割された撮像領域と該複数の撮像領域毎に映像信号をそれぞれ出力する出力チャンネルとを有する撮像素子、該撮像素子から該映像信号を出力する出力チャンネルの数及び出力順序の切換えを行う撮像素子設定部、前記撮像素子から出力される前記複数の映像信号の合成を行う合成処理部、該合成された信号をカメラリンク出力フォーマットに変換する画像出力部とを備え、前記撮像素子の出力チャンネルの数の切換えと前記合成処理部の合成方法の組み合わせにより、フレームレートの切換えを行うことを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１３−７０１２８（Ｐ２０１３−７０１２８Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０５５２６（Ｐ２０１１−２０５５２６）
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]