コークス炉壁観察装置のカメラ校正方法およびプログラム
【課題】校正用ターゲットを用いることなく、カメラ校正を実施することができるコークス炉壁観察装置のカメラ校正方法およびプログラムを提供する。
【解決手段】カメラ30をコークス炉10内に挿入し、炉壁画像OIを撮影し、炉壁画像OIを視点変換処理して視点変換画像TIを生成するコークス炉壁観察装置における、カメラ30の取り付けを校正するために、コークス炉10の形状を指標としてカメラ校正を行う。カメラ30の取り付け誤差の影響のない視点変換画像TIを生成することができ、炉壁全体画像WIの合成を行っても視点変換画像TIの繋ぎ目で不一致が生じることがない。校正用ターゲットを高温となるコークス炉内に設置する必要がない。
【解決手段】カメラ30をコークス炉10内に挿入し、炉壁画像OIを撮影し、炉壁画像OIを視点変換処理して視点変換画像TIを生成するコークス炉壁観察装置における、カメラ30の取り付けを校正するために、コークス炉10の形状を指標としてカメラ校正を行う。カメラ30の取り付け誤差の影響のない視点変換画像TIを生成することができ、炉壁全体画像WIの合成を行っても視点変換画像TIの繋ぎ目で不一致が生じることがない。校正用ターゲットを高温となるコークス炉内に設置する必要がない。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コークス炉壁観察装置のカメラ校正方法およびプログラムに関する。さらに詳しくは、コークス炉内にカメラを挿入し、その画像を用いて炉壁の状態を観察するコークス炉観察装置において、カメラの取り付けを校正するためのカメラ校正方法およびプログラムに関する。
【背景技術】
【0002】
製鉄に用いるコークスを製造するために、幅数十センチメートル、高さ数メートル、奥行き十数メートルのレンガ造りのコークス炉が用いられる。コークスの製造は、コークス炉の上面に設けられた石炭挿入口から炉内に石炭を挿入し、高温に熱せられた炉内で石炭を乾留することにより行われる。完成したコークスは、コークス炉両端の炉入口および炉出口を開放した後に押出機が炉入口から挿入され、炉出口側に配置されたバケットに押し出される。その際に炉内ではレンガが剥落したり、カーボンが付着したりして、炉壁が損傷する。製鉄所の主要設備であるコークス炉の安定操業と長寿命化の為には、炉壁の状態を随時観察し、損傷箇所を早期発見し、修繕する必要がある。
【0003】
従来、コークス炉の炉壁の観察は目視観察によるものが一般的であり、作業員が操業の合間に、コークス炉の両端から、あるいは石炭挿入口から直接観察を行っていた。そのため、狭窄な炉内を観察できる範囲は限られており、特に炉壁中心部の観察は困難であった。また、高温に保たれたコークス炉の観察は作業員にとって危険な作業でもあった。
【0004】
この問題に対する解決策として、熱対策したカメラを炉内に挿入し、炉壁を撮影した映像を観察する方法がある(例えば特許文献1)。カメラの映像により炉壁の状態を観察することができるので、炉壁中心部においても観察することができ、作業員にとっても確認作業を安全に行うことができる。
しかるに、特許文献1の方法では、図20(A)に示すようにカメラの向きを炉壁に対して正面としているため、幅が数十センチメートルのコークス炉の場合、カメラと炉壁との距離が短く、カメラで撮影できる視野が限られ、炉壁全体について迅速に観察することは困難であった。
また、カメラで撮影した映像は録画されるが、その録画された映像を観察する場合、映像をはじめから再生する必要があるため、確認作業に時間のかかるものであり、一見して炉壁全体の状況を把握できるものではなかった。
【0005】
これに対して特許文献2のコークス炉の内壁観察方法は、図20(B)に示すように、カメラの向きを炉壁に対して斜めとし、カメラをコークス炉内に挿入し、カメラの位置と対応付けながら炉壁の画像を斜視像として順次撮影する方法である。さらに、その斜視像を画像処理して炉壁を正面から見た視点変換画像を生成し、カメラ位置に従って視点変換画像を張り合わせることで、炉壁全体画像の合成を行うようにしている。
図20(B)に示すように、カメラの向きを炉壁に対して斜めとすれば、撮影できる視野を広くすることができ、炉壁全体について迅速に観察することが可能となる。また、合成された炉壁全体画像により一見して炉壁全体の状況を把握することが可能となる。
【0006】
しかるに、視点変換画像を生成するには、カメラの光軸と炉壁とのなす角度を用いて画像処理の演算を行う必要があるが、カメラをカメラ挿入用の装置に取り付ける際、実際には設計された角度から誤差を持って取り付けられ、また、カメラ挿入時の振動などにより徐々に取り付け誤差が生じてくるため、このカメラの取り付けを校正せず、設計値に従って視点変換の画像処理を行うと、炉壁の正面に対して取り付け誤差分だけずれた視点から見た視点変換画像を生成してしまうという問題がある。
また、この誤差を含んだ視点変換画像を張り合わせて炉壁全体画像の合成を行うと、視点変換画像の繋ぎ目で不一致を生じ、炉壁状態の観察に支障が出るという問題がある。
【0007】
ここで、カメラの取り付け誤差を解消するために、カメラの取り付けを定期的に調整することが考えられるが、カメラは熱対策のため冷却ボックスなどに囲まれているため頻繁に調整することは困難である。
そこで、ソフトウェア側でカメラの取り付けを校正することが考えられるが、一般に行われる校正用ターゲットを用いての校正は、高温となるコークス炉内に校正用ターゲットを設置することができないため実施することができない。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開昭63−252242号公報
【特許文献2】特許第2664494号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明は上記事情に鑑み、校正用ターゲットを用いることなく、カメラ校正を実施することができるコークス炉壁観察装置のカメラ校正方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
第1発明のコークス炉壁観察装置のカメラ校正方法は、カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付けを校正するためのカメラ校正方法であって、前記コークス炉の形状を指標としてカメラ校正を行うことを特徴とする。
第2発明のコークス炉壁観察装置のレンガ目地カメラ校正方法は、カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付けを校正するためのカメラ校正方法であって、前記炉壁のレンガ目地を指標としてカメラ校正を行うことを特徴とする。
第3発明のコークス炉壁観察装置のレンガ目地カメラ校正方法は、第2発明において、前記カメラで前記炉壁画像を撮影し、該炉壁画像を視点変換処理して前記視点変換画像を生成し、該視点変換画像に表示される前記レンガ目地を指標としてカメラ校正を行うことを特徴とする。
第4発明のコークス炉壁観察装置のレンガ目地カメラ校正方法は、第3発明において、前記カメラの左右の回転の量を、前記レンガ目地の複数の水平な線が、前記視点変換画像において互いに平行に表示されるように調整を行うことを特徴とする。
第5発明のコークス炉壁観察装置のレンガ目地カメラ校正方法は、第3または第4発明において、前記カメラの上下の回転の量を、前記レンガ目地の垂直および水平な線が、前記視点変換画像において垂直および水平に表示されるように調整を行うことを特徴とする。
第6発明のコークス炉壁観察装置のレンガ目地カメラ校正方法は、第3,第4または第5発明において、前記カメラの光軸周りの回転の量を、前記レンガ目地の複数の垂直な線が、前記視点変換画像において互いに平行に表示されるように調整を行うことを特徴とする。
第7発明のコークス炉壁観察装置のレンガ目地カメラ校正方法は、第3,第4,第5または第6発明において、前記カメラに取り付けられたレンズの歪曲の量を、前記レンガ目地の垂直および水平な線が、前記視点変換画像において直線に表示されるように調整を行うことを特徴とする。
第8発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、コークス炉内に挿入されたカメラで撮影された、該コークス炉内の炉壁の斜視像である炉壁画像を取り込むことのできるコンピュータに、前記カメラの取り付けを校正するための処理を行わせるプログラムであって、前記炉壁画像を取り込み、入力されたカメラ校正の量を表すカメラ校正パラメータに従ってカメラ校正処理をするとともに、視点変換処理をして、前記炉壁画像から校正後の前記炉壁を正面から見た視点変換画像を生成し、該校正後の視点変換画像を表示する処理をコンピュータに行わせることを特徴とする。
第9発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第8発明において、前記カメラ校正パラメータの1つが、前記カメラの左右の回転の量を表すパン校正パラメータであり、入力された前記パン校正パラメータの値に従って、前記炉壁画像から前記カメラの左右の回転を校正した前記校正後の視点変換画像を生成することを特徴とする。
第10発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第9発明において、前記カメラの光学中心から前記炉壁上へ垂線を下ろした時の交点を通る前記コークス炉の垂直軸を回転軸とし、該回転軸周りの回転量が前記パン校正パラメータであり、前記炉壁画像を視点変換処理して視点変換画像を生成した後に、入力された前記パン校正パラメータの値に従って、前記視点変換画像を前記回転軸周りに回転させた前記校正後の視点変換画像を生成することを特徴とする。
第11発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第8または第9発明において、前記カメラ校正パラメータの1つが、前記カメラの上下の回転の量を表すチルト校正パラメータであり、入力された前記チルト校正パラメータの値に従って、前記炉壁画像から前記カメラの上下の回転を校正した前記校正後の視点変換画像を生成することを特徴とする。
第12発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第11発明において、前記カメラの光学中心から前記炉壁上へ垂線を下ろした時の交点を通る前記コークス炉の炉幅方向の軸を回転軸とし、該回転軸周りの回転量を前記チルト校正パラメータとし、前記炉壁画像を視点変換処理して視点変換画像を生成した後に、入力された前記チルト校正パラメータの値に従って、前記視点変換画像を前記回転軸周りに回転させた前記校正後の視点変換画像を生成することを特徴とする。
第13発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第8,第9または第11発明において、前記カメラ校正パラメータの1つが、前記カメラの光軸周りの回転の量を表すロール校正パラメータであり、入力された前記ロール校正パラメータの値に従って、前記炉壁画像から前記カメラの光軸周りの回転を校正した前記校正後の視点変換画像を生成することを特徴とする。
第14発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第13発明において、前記カメラの光軸を回転軸とし、該回転軸周りの回転量を前記ロール校正パラメータとし、入力された前記ロール校正パラメータの値に従って、前記炉壁画像を前記回転軸周りに回転させた校正後の炉壁画像を生成した後に、該校正後の炉壁画像を視点変換処理して前記校正後の視点変換画像を生成することを特徴とする。
第15発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第8,第9,第11または第13発明において、前記カメラ校正パラメータの1つが、前記カメラに取り付けられたレンズの歪曲の量を表す歪曲校正パラメータであり、入力された前記歪曲校正パラメータの値に従って、前記炉壁画像から前記カメラのレンズの歪を校正した前記校正後の視点変換画像を生成することを特徴とする。
第16発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第15発明において、前記カメラに取り付けられたレンズの歪曲の量を前記歪曲校正パラメータとし、入力された前記歪曲校正パラメータの値に従って、前記炉壁画像の歪曲を調整した校正後の炉壁画像を生成した後に、該校正後の炉壁画像を視点変換処理して前記校正後の視点変換画像を生成することを特徴とする。
第17発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第8、第9、第10、第11、第12、第13,第14,第15または第16発明において、前記校正後の視点変換画像の前面に、マス目状のグリッドを表示することを特徴とする。
第18発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第8、第9、第10、第11、第12、第13,第14,第15,第16または第17発明において、前記カメラ校正パラメータを用いて、前記校正後の視点変換画像から前記炉壁画像への座標変換の情報を算出し、該座標変換の情報を記憶装置に保存することを特徴とする。
第19発明のコークス炉壁観察装置の炉入口カメラ校正方法は、カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付けを校正するためのカメラ校正方法であって、前記コークス炉の炉入口を指標としてカメラ校正を行うことを特徴とする。
第20発明のコークス炉壁観察装置の炉入口カメラ校正方法は、第19発明において、前記カメラで実際の炉壁画像を撮影し、前記コークス炉の設計値と、前記カメラの前記コークス炉内におけるカメラ位置から仮想の炉入口を算出し、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するようにカメラ校正を行うことを特徴とする。
第21発明のコークス炉壁観察装置の炉入口カメラ校正方法は、第20発明において、前記カメラの前記取り付け誤差がない状態からの左右の回転の量を、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するように調整を行うことを特徴とする。
第22発明のコークス炉壁観察装置の炉入口カメラ校正方法は、第20または第21発明において、前記カメラの前記取り付け誤差がない状態からの上下の回転の量を、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するように調整を行うことを特徴とする。
第23発明のコークス炉壁観察装置の炉入口カメラ校正方法は、第20,第21または第22発明において、前記カメラの前記取り付け誤差がない状態からの光軸周りの回転の量を、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するように調整を行うことを特徴とする。
第24発明のコークス炉壁観察装置の炉入口カメラ校正方法は、第20,第21,第22または第23発明において、前記カメラに取り付けられたレンズの歪曲の量を、前記炉入口または前記炉壁のレンガ目地が、前記実際の炉壁画像において直線に表示されるように調整を行うことを特徴とする。
第25発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、コークス炉内に挿入されたカメラで撮影された、該コークス炉内の炉壁の斜視像である炉壁画像と、前記カメラの前記コークス炉内におけるカメラ位置を取り込むことのできるコンピュータに、前記カメラの取り付けを校正するための処理を行わせるプログラムであって、前記炉壁画像と前記カメラ位置を取り込み、前記炉壁画像に表示される前記炉入口の座標を決定し、前記コークス炉の設計値と、前記カメラ位置から仮想の炉入口の座標を算出し、前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標が一致する、前記カメラの取り付け誤差を表す取り付け誤差パラメータを決定する処理をコンピュータに行わせることを特徴とする。
第26発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25発明において、前記炉壁画像を画像解析し、前記炉壁画像に表示される前記炉入口の座標を検出することを特徴とする。
第27発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25発明において、前記炉壁画像を表示し、前記炉壁画像における座標の指定を受け、該指定された座標を、前記炉壁画像に表示される前記炉入口の座標とすることを特徴とする。
第28発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25、第26または第27発明において、前記取り付け誤差パラメータを順次変化させながら、前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標が一致する、前記取り付け誤差パラメータを探索することを特徴とする。
第29発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25,第26,第27または第28発明において、前記取り付け誤差パラメータの1つが、前記カメラの前記取り付け誤差がない状態からの左右の回転の量を表すパン取り付け誤差パラメータであることを特徴とする。
第30発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25,第26,第27,第28または第29発明において、前記取り付け誤差パラメータの1つが、前記カメラの前記取り付け誤差がない状態からの上下の回転の量を表すチルト取り付け誤差パラメータであることを特徴とする。
第31発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25,第26,第27,第28,第29または第30発明において、前記取り付け誤差パラメータの1つが、前記カメラの前記取り付け誤差がない状態からの光軸周りの回転の量を表すロール取り付け誤差パラメータであることを特徴とする。
第32発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25,第26,第27,第28,第29,第30または第31発明において、前記炉壁画像に表示される前記炉入口または前記炉壁のレンガ目地が直線となる、前記カメラに取り付けられたレンズの歪曲の量を決定することを特徴とする。
第33発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25,第26,第27,第28,第29,第30,第31または第32発明において、前記取り付け誤差パラメータを用いて、校正後の前記炉壁を正面から見た視点変換画像から前記炉壁画像への座標変換の情報を算出し、該座標変換の情報を記憶装置に保存することを特徴とする。
第34発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25,第26,第27,第28,第29,第30,第31,第32または第33発明において、前記取り付け誤差パラメータを記憶装置に保存することを特徴とする。
【発明の効果】
【0011】
第1発明によれば、カメラの取り付けを校正するため、カメラの取り付け誤差の影響のない視点変換画像を生成することができ、炉壁全体画像の合成を行っても視点変換画像の繋ぎ目で不一致が生じることがない。また、コークス炉の形状を指標としてカメラ校正を行うため、校正用ターゲットを高温となるコークス炉内に設置する必要がない。
第2発明によれば、カメラの取り付けを校正するため、カメラの取り付け誤差の影響のない視点変換画像を生成することができ、炉壁全体画像の合成を行っても視点変換画像の繋ぎ目で不一致が生じることがない。また、炉壁のレンガ目地を指標としてカメラ校正を行うため、校正用ターゲットを高温となるコークス炉内に設置する必要がない。
第3発明によれば、視点変換画像に表示されるレンガ目地を指標としてカメラ校正を行うため、視点変換画像を確認しながらカメラ校正を行うことができ、校正用ターゲットを使用せず、画像処理の専門知識がなくてもカメラ校正ができる。
第4発明によれば、カメラの左右の回転の量を調整するので、カメラの左右の回転の取り付けを校正することができる。また、レンガ目地の水平な線が視点変換画像において互いに平行に表示されるように調整すればよいので、指標が分かりやすく、カメラ校正が容易にできる。
第5発明によれば、カメラの上下の回転の量を調整するので、カメラの上下の回転の取り付けを校正することができる。また、レンガ目地の垂直および水平な線が視点変換画像において垂直および水平に表示されるように調整すればよいので、指標が分かりやすく、カメラ校正が容易にできる。
第6発明によれば、カメラの光軸周りの回転の量を調整するので、カメラの光軸周りの回転の取り付けを校正することができる。また、レンガ目地の垂直な線が視点変換画像において互いに平行に表示されるように調整すればよいので、指標が分かりやすく、カメラ校正が容易にできる。
第7発明によれば、レンズの歪曲の量を調整するので、レンズにより生じる歪曲を校正することができる。また、レンガ目地の垂直および水平な線が視点変換画像において直線に表示されるように調整すればよいので、指標が分かりやすく、カメラ校正が容易にできる。
第8発明によれば、入力されたカメラ校正パラメータに従って校正後の視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラ校正パラメータを決定することができ、校正用ターゲットを使用せず、画像処理の専門知識がなくても容易にカメラ校正ができる。また、校正用ターゲットを用いないため、校正用ターゲットを高温となるコークス炉内に設置する必要がない。
第9発明によれば、入力されたパン校正パラメータに従ってパン校正後の視点変換画像を表示するので、表示された視点変換画像を確認しながらパン校正パラメータを決定することができ、カメラ校正が容易にできる。
第10発明によれば、コークス炉の垂直軸を回転軸として回転させた視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラの左右の回転を校正することができる。また、視点変換画像のみに対する演算であるので処理を単純にすることができる。
第11発明によれば、入力されたチルト校正パラメータに従ってチルト校正後の視点変換画像を表示するので、表示された視点変換画像を確認しながらチルト校正パラメータを決定することができ、カメラ校正が容易にできる。
第12発明によれば、コークス炉の炉幅方向の軸を回転軸として回転させた視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラの上下の回転を校正することができる。また、視点変換画像の単純な回転であるので処理を単純にすることができる。
第13発明によれば、入力されたロール校正パラメータに従ってロール校正後の視点変換画像を表示するので、表示された視点変換画像を確認しながらロール校正パラメータを決定することができ、カメラ校正が容易にできる。
第14発明によれば、カメラの光軸を回転軸として回転させた視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラの光軸周りの回転を校正することができる。また、炉壁画像の単純な回転であるので処理を単純にすることができる。
第15発明によれば、入力された歪曲校正パラメータに従って歪曲校正後の視点変換画像を表示するので、表示された視点変換画像を確認しながら歪曲校正パラメータを決定することができ、カメラ校正が容易にできる。
第16発明によれば、レンズの歪曲を調整した視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラの光軸周りの回転を校正することができる。また、炉壁画像のみに対する演算であるので処理を単純にすることができる。
第17発明によれば、校正後の視点変換画像の前面にグリッドを表示するので、視点変換画像に表示されるレンガ目地が垂直または水平になっていることが確認しやすく、視点変換画像を確認しながらカメラ校正を行うことが容易となる。
第18発明によれば、校正後の視点変換画像から炉壁画像への座標変換の情報を保存するので、通常運用時の視点変換処理においては、この座標変換の情報を参照するのみで座標変換の演算をする必要がなく、カメラ校正後の視点変換画像を高速に生成することができる。
第19発明によれば、カメラの取り付けを校正するため、カメラの取り付け誤差の影響のない視点変換画像を生成することができ、炉壁全体画像の合成を行っても視点変換画像の繋ぎ目で不一致が生じることがない。また、コークス炉の炉入口を指標としてカメラ校正を行うため、校正用ターゲットを高温となるコークス炉内に設置する必要がない。
第20発明によれば、実際の炉壁画像に表示される炉入口と仮想の炉入口が一致するようにカメラ校正を行うため、校正用ターゲットを使用せず、画像処理の専門知識がなくてもカメラ校正ができる。また、炉壁画像とコークス炉の設計値とカメラ位置とからカメラ校正を行うので、オペレータの操作が少なく、カメラ校正の作業が容易である。
第21発明によれば、カメラの左右の回転の量を調整するので、カメラの左右の回転を校正することができる。
第22発明によれば、カメラの上下の回転の量を調整するので、カメラの上下の回転を校正することができる。
第23発明によれば、カメラの光軸周りの回転の量を調整するので、カメラの光軸周りの回転を校正することができる。
第24発明によれば、レンズの歪曲の量を調整するので、レンズにより生じる歪曲を校正することができる。
第25発明によれば、炉壁画像に表示される炉入口の座標と仮想の炉入口の座標が一致する取り付け誤差パラメータを決定するので、校正用ターゲットを使用せず、画像処理の専門知識がなくてもカメラ校正ができる。また、炉壁画像とコークス炉の設計値とカメラ位置とから取り付け誤差パラメータを決定するので、オペレータの操作が少なく、カメラ校正の作業が容易である。
第26発明によれば、画像解析して炉入口の座標を検出するので、さらにオペレータの操作が少なく、カメラ校正の作業が容易である。
第27発明によれば、オペレータの操作により炉入口の座標を決定するので、画像解析の必要がなく、処理を単純にすることができる。
第28発明によれば、取り付け誤差パラメータを順次変化させながら探索するので、解析的に解く必要がなく、処理を単純にすることができる。
第29発明によれば、パン取り付け誤差パラメータを決定するので、カメラの左右の回転を校正することができる。
第30発明によれば、チルト取り付け誤差パラメータを決定するので、カメラの上下の回転を校正することができる。
第31発明によれば、ロール取り付け誤差パラメータを決定するので、カメラの光軸周りの回転を校正することができる。
第32発明によれば、レンズの歪曲の量を決定するので、レンズにより生じる歪曲を校正することができる。
第33発明によれば、校正後の視点変換画像から炉壁画像への座標変換の情報を保存するので、通常運用時の視点変換処理においては、この座標変換の情報を参照するのみで座標変換の演算をする必要がなく、カメラ校正後の視点変換画像を高速に生成することができる。
第34発明によれば、取り付け誤差パラメータを保存するので、ハードウェア側でカメラの取り付けを調整する場合に、取り付け誤差パラメータを調整の参考とすることができ、調整作業が容易となる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態に係るコークス炉壁観察装置の構成図であり、(A)は平面図、(B)は側面図である。
【図2】炉壁画像の一例の説明図である。
【図3】視点変換画像の座標から炉壁画像の座標への座標変換の説明図である。
【図4】カメラ、その光学系および炉壁の位置関係の説明図である。
【図5】カメラ、その光学系および炉壁の位置関係の説明図であり、(A)は平面図、(B)は側面図である。
【図6】座標変換テーブルの一例の説明図である。
【図7】視点変換画像の一例の説明図である。
【図8】炉壁全体画像の一例の説明図である。
【図9】取り付け誤差を含んだカメラ、その光学系および炉壁の位置関係の説明図である。
【図10】パン校正の説明図であり、(A)はパン校正前後の視点変換画像、(B)はパン校正における回転軸の説明図である。
【図11】チルト校正の説明図であり、(A)はチルト校正前後の視点変換画像、(B)はチルト校正における回転軸の説明図である。
【図12】ロール校正の説明図であり、(A)はロール校正前後の視点変換画像、(B)はロール校正における回転軸の説明図である。
【図13】歪曲校正前後の視点変換画像である。
【図14】レンガ目地カメラ校正プログラムのフローチャートである。
【図15】レンガ目地カメラ校正画面の画面イメージである。
【図16】レンガ目地カメラ校正方法の説明図である。
【図17】(A)は炉壁画像座標系、(B)は炉内座標系、カメラ座標系の説明図である。
【図18】取り付け誤差の決定方法の説明図であり、(A)は炉壁座標系における炉入口の四隅の座標、(B)は炉内座標系における炉入口の四隅の座標である。
【図19】炉入口カメラ校正プログラムのフローチャートである。
【図20】従来技術のカメラの取り付け向きの説明図である。
【発明を実施するための形態】
【0013】
[1]コークス炉壁観察装置
つぎに、本発明の実施形態を図面に基づき説明する。
図1に示すように、コークス炉10は高さ数メートル、奥行き十数メートルの対となるレンガ造りの炉壁11が数十センチメートルの間隔を隔てて設けられた、狭窄な炉である。コークス炉10内で製造されたコークスCは、コークス炉10の片側の炉入口12から押出機20が挿入されることにより反対側の炉出口13へと押し出される。
押出機20は、押板21とビーム22とからなり、ビーム22が図示しない駆動装置に接続されており、この駆動装置の動作により押板21がコークス炉10の炉入口12から炉出口13まで移動自在となっている。押板21がコークス炉10の断面と同形状をしているため、押板21の移動によりコークスCを押し出すことができる。
【0014】
本発明の一実施形態に係るコークス炉壁観察装置は、押出機20の押板21に取り付けられたカメラ30と、押出機20のビーム22の移動量からカメラ位置を計測するエンコーダ40と、カメラ30からの炉壁画像とエンコーダ40からのカメラ位置情報を取り込み、画像処理を行うコンピュータ50とからなる。
【0015】
カメラ30は、押板21の背面に取り付けられており、コークスCの押出方向と逆方向(図1の右方向)を向くように取り付けられている。これは、カメラ30を押板21の前面に取り付けるとコークスCに阻まれて炉壁11の撮影ができないからである。カメラ30には、1台のカメラで両側の炉壁を撮影できるように、広角のレンズが取り付けられている。また、押出機20は赤熱したコークス炉10内(1000℃程度)に挿入されるため、カメラ30には冷却ボックスの中に設置するなどの熱対策が施されている。
【0016】
エンコーダ40は、ビーム22の挿入距離を計測することが可能な位置検出装置であり、ビーム22の挿入距離から、カメラ30のコークス炉10内の炉長方向の挿入位置を計測するものである。
【0017】
カメラ30およびエンコーダ40はコンピュータ50とケーブル31、41を介して接続されており、カメラ30で撮影された炉壁画像、およびエンコーダ40で計測されたカメラ位置情報はコンピュータ50に取込可能となっている。
コンピュータ50は主に、CPU51、メモリ52、ハードディスク53、モニタ54からなり、炉壁画像とカメラ位置情報から後述する画像処理を行い、その結果をモニタ54に表示する。
【0018】
[2]コークス炉壁観察方法
つぎに、本発明の一実施形態に係るコークス炉壁観察装置を用いた炉壁観察について説明する。
炉壁観察は大きく分けて、(1)炉壁画像から視点変換画像を生成し、その視点変換画像を押出機移動中に観察する即時観察、(2)視点変換画像から炉壁全体画像を合成、保存し、その炉壁全体画像を押出機の運用とは別の時期に観察する後日観察の2種類を行う。
【0019】
[2.1]即時観察
即時観察は、押出機20の運転者などが、コークス押出のための押出機の通常運用を行う際に同時に行う観察である。
【0020】
まず、押出機20とともにカメラ30をコークス炉10内に挿入し、カメラ30で撮影した炉壁画像OI(図2参照)を、ケーブル31を介してコンピュータ50のメモリ52に取り込む。
この際に得られる炉壁画像OIは、図2に示すように、カメラ30はコークスCの押出方向と逆方向を向くように取り付けられているため、炉壁画像OIの中央には炉入口12が映し出される。また、カメラ30には広角レンズが取り付けられているため左右の炉壁11が、炉壁画像OIの左右に映し出される。なお図中、14はコークス炉の天井、15はコークス炉の底である。実際には、押出機20のビーム22も映し出されるが、説明のため省略してある。
【0021】
炉壁画像OIにより炉壁11の状態を観察することが可能であるが、炉壁画像OIにおいて炉壁11は斜視像として映し出されるため、これを炉壁11の正面から見た画像とした方が、観察が行いやすい。
そこで、CPU51によりメモリ52に記憶された炉壁画像OIを視点変換処理して、炉壁11を正面から見た視点変換画像TIを生成する。
【0022】
[2.1.1]視点変換処理
視点変換処理は例えば以下のように行われる。
一般に、画像処理により画像を変換して新たな画像を生成する場合、変換後の画像の各画素が変換前の画像のどの画素を参照すればよいかが分かればよい。すなわち、本実施形態の場合、視点変換画像TIの各画素が炉壁画像OIのどの画素を参照すればよいかが分かればよい。そのためには、図3に示すように、視点変換画像TI上の座標から炉壁画像OI上の座標を参照するための座標変換を導くことが必要である。
ここで、カメラ30がCCDカメラである場合、視点変換画像TI上の座標から炉壁画像OI上の座標への座標変換とは、炉壁11上のある点から出た光がカメラ30のCCD上のどこへ到達するか、という問題に置き換えることができる。つまり、カメラ30、その光学系および炉壁11の特性値および位置関係から座標変換を導くことができる。
【0023】
図4において、sx はカメラ30のCCDの幅[mm]、sy はCCDの高さ[mm]、f はCCD面から光学中心までの距離[mm]、d はカメラ30と炉壁11との距離[mm]、A は光学中心から炉壁11上へ垂線を下ろした時の交点、B はカメラ30で撮影可能な炉壁11上の最近接位置、D は点A から点B までの距離(最近接距離)である。
以上の通りに定義した場合、最近接距離 D[pixel] は、炉壁画像OI上での画素スケールを k[mm/pixel]とすると次式で与えられる(図5(A)参照)。
【数1】
【0024】
炉壁11上(すなわち視点変換画像TI上)のある点(x,y)[pixel]を出た光は、光学中心を通り、CCD面上(すなわち炉壁画像OI上)の点(u,v)[pixel]に到達する。
このように、光学中心を通る光線のみで撮像系をモデル化する手法をピンホールカメラモデルによるモデル化という。
図5(A)より、x から u への変換は以下の通りに記述できる。
【数2】
ここで、nx はCCDの幅方向の画素数であり、k’=sx/nx である。
また、図5(B)より、y から v への変換は以下の通りに記述できる。
【数3】
ここで、ny はCCDの高さ方向の画素数であり、k’’=sy/ny である。
これら数2、数3が視点変換画像TI上の座標から炉壁画像OI上の座標への座標変換となる。
【0025】
数2、数3で表わされる座標変換を、視点変換画像TIの全画素について計算し、求めた座標から炉壁画像OI上の色情報を参照して視点変換画像TIの色情報とすることで、視点変換画像TIを生成することができる。
しかしながら、この座標変換に要する計算コストは非常に大きい。またカメラ30などのハードウェアや、カメラ30と炉壁11との距離が変化しない限り、座標変換のためのパラメータも変化しないため、視点変換画像TIを生成するたびに同じ計算を繰り返すことは無駄である。
そこで、視点変換画像TIの全画素について一度だけ座標変換の演算を行い、その結果を保存しておくことが好ましい。より具体的には、視点変換画像TIの各画素 (x,y) に対応する炉壁画像OI上の座標 (u,v) をテーブル(以下、座標変換テーブルとする。)として生成し、ハードディスク53に保存しておく。座標変換テーブルは、例えば図6(A)および(B)に示すようなテーブルであって、視点変換画像TI上の座標を示す視点変換画像座標行c1と壁画像OI上の座標を示す炉壁画像座標行c2とからなり、視点変換画像座標 (x,y) に対応する炉壁画像座標 (u,v) の値が炉壁画像座標行c2に記録されている。
なお、図6においては視点変換画像TIを 1000×1000[pixel] とし、炉壁画像座標 (u,v) として例示的な値を示している。
通常運用時の視点変換処理においてはこの座標変換テーブルを参照し、視点変換画像TIの各画素の色情報を炉壁画像OIの対応する画素の色情報とすることで、視点変換処理を高速に行うことができる。
【0026】
なお、座標変換テーブルにサブピクセル単位(画素をより細分化した単位)での座標を格納しておけば、その座標の4近傍画素の色情報を内挿することにより、より鮮明な視点変換画像TIを生成することができる。
【0027】
[2.1.2]視点変換画像
以上の視点変換処理で生成された視点変換画像TIは図7に示すようになる。図7は片方の炉壁11に対する視点変換画像TIであるが、同様の視点変換画像TIを、左右の炉壁11それぞれに対して1枚得ることができる。図7に示される視点変換画像TIとして映し出される炉壁11の範囲は、図4に示す視野Vに対応する。カメラ30の手前側の手前側画像では、カメラ30の上下の視野角の範囲外となる視野範囲外領域O(上下一対の三角形の領域)が現れる。そのため、視点変換画像TIは、その手前側画像は高さ方向の視野が狭く、カメラ30から奥側の奥側画像は高さ方向の視野が広くなる。なお、視点変換画像TIに表示される複数の垂直および水平な線は炉壁11のレンガ目地16である。
【0028】
以上の炉壁画像OIの撮影と、視点変換画像TIの生成は、押出機20の移動中に所定の間隔で行われ、それにより得られる炉壁画像OIと視点変換画像TIはコンピュータ50のモニタ54に随時表示される。押出機20の運転者は、押出機20を運転しながら、モニタ54に映し出される画像から炉壁11の状態を観察する。
【0029】
なお、押出機20を移動する間、所定の間隔で生成される視点変換画像TIは、後述する炉壁全体画像WIの合成のために、エンコーダ40から得られるカメラ位置情報とともにメモリ52に一時記憶されていく。
【0030】
[2.2]後日観察
後日観察は、視点変換画像TIから炉壁11全体の画像を合成し、それを炉壁全体画像WIとして保存しておき、押出機の運用とは別の時期にその炉壁全体画像WIを用いて行う観察である。炉壁全体画像WIは、一見して炉壁11全体の状況を把握することを容易にするために生成される。
【0031】
前述の即時観察において、押出機20の移動が炉入口12から炉出口13まで完了すると、コークス炉10の全長にわたり、炉長方向の所定間隔ごとに視点変換画像TIが生成され、その視点変換画像TIに対応するカメラ位置情報とともにメモリ52に一時記憶された状態となる。
CPU51は、このメモリ52に一時記憶された視点変換画像TIを、それに対応するカメラ位置情報をもとに適当な位置に配置し、つなぎ合せることで、炉壁全体画像WIを合成する。
【0032】
合成された炉壁全体画像WIは図8に示すようになる。炉壁全体画像WIは、複数の視点変換画像TIがそれに対応するカメラ位置情報にもとづいて配置され、つなぎ合わされることで、コークス炉10の全長にわたった、炉壁11全体の画像となる。
【0033】
また、炉壁全体画像WIは、ハードディスク53に記憶され、押出機の運用とは別の時期に炉壁11の状態を観察する際に、モニタ54に表示され、観察が行われる。
【0034】
[3]レンガ目地カメラ校正
前述の視点変換処理は、カメラ30の光軸が炉壁11に対して平行、かつ、押出機20の押出方向に対して平行である理想的な状態として演算を行っている。
しかし、カメラ30を押出機20に取り付ける際、実際には理想的な取り付け角度から誤差を持って取り付けられてしまう。また、押出機20は移動により振動するので、その振動により徐々に取り付け誤差が生じてくる。このカメラ30の取り付けを校正せず、数2、数3のみに従った視点変換処理を行うと、炉壁11の正面に対して取り付け誤差分だけずれた視点から見た視点変換画像TIを生成してしまう。
この誤差を含んだ視点変換画像TIを張り合わせて炉壁全体画像WIの合成を行うと、視点変換画像TIの繋ぎ目で不一致を生じ、炉壁状態の観察に支障が出る。
また、本実施形態において、カメラ30には広角レンズが取り付けられているが、安価な広角レンズを取り付けた場合、レンズの外周は画像に歪曲が生じる場合がある。
【0035】
そこで、新たにカメラ30を押出機20に取り付けた後、あるいは押出機20の振動によりカメラ30の取り付けに誤差が生じた場合に、カメラ校正を行うことで、カメラ30の取り付けの校正を行う。
【0036】
一般に、ソフトウェアでカメラ校正を行う場合、校正用ターゲットを設置し、その校正用ターゲットを指標としてカメラ校正を行う。ところが、コークス炉10では炉内が高温に熱せられた状態であるので、校正用ターゲットを設置する事が出来ない。そこで、カメラ校正の指標としてレンガ目地16を用いる。以下、このレンガ目地16を指標としたカメラ校正を、レンガ目地カメラ校正と称する。
【0037】
[3.1]レンガ目地カメラ校正の原理
本実施形態において、カメラ30の光軸は、理想的には炉壁11およびカメラ30の進行方向に対して平行であるので、カメラ30の取り付け誤差をこの理想的な光軸に対するパン、チルト、ロールの3軸回転として扱う。パンとはカメラ30の左右の回転、チルトとはカメラ30の上下の回転、ロールとはカメラ30の光軸周りの回転である。
【0038】
図9に示すように、カメラ30が理想的に取り付けられた場合の炉壁11を理想炉壁IWとして定義し、3軸周りの校正を含んだ視点変換を、実際の炉壁11である実炉壁RWから理想炉壁IWへの変換と、理想炉壁IWからカメラ30のCCD面への変換とに分けて考える。
より詳細には、カメラ30のパンとチルトの校正により、実炉壁RWから理想炉壁IWへの変換を行い、ついで前述の視点変換とロールと歪曲の校正により、理想炉壁IWからCCD面への変換を行う。ここで、ロールの校正を理想炉壁IWからCCD面への変換において行うのは、この方が単純な画像の回転となり、変換が容易であるためである。
以下、各校正について説明する。
【0039】
[3.1.1]パン校正
図10(A)に示すように、パン校正前の視点変換画像TIは、奥もしくは手前方向にあおられた画像となる。パンの校正は、図10(B)に示される点A(図9における点A と同一)を通り y軸に平行な直線(コークス炉10における垂直軸)を回転軸とし、その回転軸周りの回転として行われる。したがって、パン校正後のある点(x,y)[pixel]に対応するパン校正前の点(u,v)[pixel]は以下の通りに記述できる。
【数4】
【数5】
ここで、式中の α は回転軸周りの回転量を表すパン校正パラメータである。
【0040】
[3.1.2]チルト校正
図11(A)に示すように、チルト校正前の視点変換画像TIは、画像平面内で回転した画像となる。チルトの校正は、図11(B)に示される点A を通り画像平面に垂直な直線(コークス炉10における炉幅方向の軸)を回転軸とし、その回転軸周りの回転として行われる。したがって、チルト校正後のある点(x,y)[pixel]に対応するチルト校正前の点(u,v)[pixel]は以下の通りに記述できる。
【数6】
【数7】
ここで、式中の θ は回転軸周りの回転量を表すチルト校正パラメータである。
【0041】
[3.1.3]ロール校正
図12(A)に示すように、ロール校正前の炉壁画像OIは、画像平面内で回転した画像となる。ロールの校正は、図12(B)に示される炉壁画像OIの中心を通り画像平面に垂直な直線(カメラ光軸)を回転軸とし、その回転軸周りの回転として行われる。したがって、ロール校正後のある点(x,y)[pixel]に対応するロール校正前の点(u,v)[pixel]は以下の通りに記述できる。
【数8】
【数9】
ここで、式中の φ は回転軸周りの回転量を表すロール校正パラメータである。
【0042】
[3.1.4]歪曲校正
図13に示すように、歪曲校正前の炉壁画像OIは、樽型や糸巻き型に歪曲した画像となる。歪曲の原点を炉壁画像OIの中心とすると、歪曲校正後のある点(x,y)[pixel]に対応する歪曲校正前の点(u,v)[pixel]は一般に以下の通りに近似できる。
【数10】
【数11】
ここで、式中の κ は歪曲の量を表す歪曲校正パラメータである。
【0043】
以上の数4から数11で表されるパン、チルト、ロールおよび歪曲校正と、数2および数3で表される視点変換を行うことにより、校正後の視点変換画像から炉壁画像への座標変換を算出することができる。
すなわち、視点変換画像TI上のある点(x,y)[pixel]に対応する炉壁画像OI上の点を(u,v)[pixel]とすると、x から u への変換は、歪曲校正の数10、ロール校正の数8、視点変換の数2、チルト校正の数6、パン校正の数4をこの順に、各式の出力 u を次の式の入力 x とした演算であり、y から v への変換は、歪曲校正の数11、ロール校正の数9、視点変換の数3、チルト校正の数7、パン校正の数5をこの順に、各式の出力 v を次の式の入力 y とした演算である。
【0044】
そして、数4から数11中の α、θ、φ、κ の各校正パラメータ(以下、カメラ校正パラメータとする。)の値を適切に決定することによりカメラ校正が可能となり、カメラ校正後の視点変換画像を生成することができる。
カメラ校正パラメータの値を決定するためには、後に詳説するように、カメラ校正処理をするとともに視点変換処理を行い、視点変換画像TIを生成して、その生成された視点変換画像TIを観察して誤差の影響がなくなるようにカメラ校正パラメータを調整することで行う。この際、カメラ校正パラメータを調整する指標となるのが視点変換画像に表示されるレンガ目地16である。
【0045】
[3.2]レンガ目地カメラ校正プログラム
レンガ目地カメラ校正を行うために、カメラ30で撮影した炉壁画像OIを取り込み、入力されたカメラ校正パラメータに従ってカメラ校正処理をするとともに、視点変換処理をして、炉壁画像OIから視点変換画像TIを生成し、その視点変換画像TIを表示することが可能なレンガ目地カメラ校正プログラムを用いる。
【0046】
図14に示すフローチャートおよび図15に示す画面イメージに基づいて本発明の一実施形態に係るレンガ目地カメラ校正プログラムの処理を説明する。
まず、オペレータがレンガ目地カメラ校正プログラムを起動すると、CPU51はモニタ54にレンガ目地カメラ校正画面60を表示するとともに、カメラ校正パラメータ α、θ、φ、κ を初期化する(ステップSTA1)。初期化は、カメラ校正が必要のない場合の各カメラ校正パラメータの値は 0 であるので、各カメラ校正パラメータの値を 0 とすればよい。
【0047】
つぎに、オペレータが押出機20をコークス炉10内に挿入し、レンガ目地カメラ校正画面60の炉壁画像撮影ボタン61を押下すると、カメラ30は炉壁画像OIを撮影し、CPU51はその炉壁画像OIをケーブル31を介して取り込み、メモリ52に一時記憶するとともに、画像表示部66に表示する(ステップSTA2)。
【0048】
レンガ目地カメラ校正画面60には、画像表示部66に表示する画像を、炉壁画像OIと左右の炉壁11の視点変換画像TI(右炉壁視点変換画像および左炉壁視点変換画像)とを切り替える画像切替オプションボタン62が表示されている。オペレータが画像切替オプションボタン62で一方の視点変換画像TI(図15においては右炉壁視点変換画像)を選択すると、CPU51はカメラ校正処理STA3および視点変換画像生成STA4を行い、画像表示部66に視点変換画像TIを表示する(ステップSTA5)。
この段階では、カメラ校正パラメータは初期化されている状態であるので、画像表示部66には、カメラ校正前の視点変換画像TIが表示されることになる。
【0049】
オペレータは、画像表示部66に表示された視点変換画像TIを確認し、カメラ校正が必要であるか否かを決定する(ステップSTA6)。ここで、カメラ校正の要否を決める指標となるのが、レンガ目地16であり、このレンガ目地16が垂直または水平あるいは直線なっている状態であればカメラ校正が完了となる。
【0050】
オペレータが、カメラ校正が必要であると判断した場合には、カメラ校正パラメータ調整スライドバー63を動かして、各カメラ校正パラメータを調整する(ステップSTA7)。
より詳細には、図16に示すように、画像表示部66に表示された視点変換画像TIのレンガ目地16の垂直および水平な線が歪曲している場合には、直線に表示されるように歪曲校正パラメータを調整する(図16(A)参照)。レンガ目地16の複数の垂直な線が互いに平行でない場合には、互いに平行に表示されるようにロール校正パラメータを調整する(図16(B)参照)。レンガ目地16の垂直および水平な線が傾いている場合には、レンガ目地16が垂直および水平に表示されるようにチルト校正パラメータを調整する(図16(C)参照)。レンガ目地16の複数の水平な線が互いに平行でない場合には、互いに平行に表示されるようにパン校正パラメータを調整する(図16(D)参照)。
このように、カメラ校正の指標が分かりやすいのでカメラ校正が容易にできる。
【0051】
また、画像表示部66にはマス目状のグリッド67が表示されている。このグリッド67により、レンガ目地16が垂直または水平あるいは直線になっていることが確認しやすく、カメラ校正パラメータの調整が容易となる。
【0052】
カメラ校正パラメータが変更された場合には、CPU51は変更後のカメラ校正パラメータを用いて再度カメラ校正処理STA3を行う。
カメラ校正処理STA3では、数10および数11で表される歪曲校正STA3.1、数8および数9で表されるロール校正STA3.2、数2および数3で表される視点変換STA3.3、数6および数7で表されるチルト校正STA3.4、数4および数5で表されるパン校正STA3.5をこの順で行う。
これらの処理は、炉壁画像OIもしくは視点変換画像TIのみに対する演算であるので処理を単純にすることができる。
【0053】
そして上記演算結果で座標変換テーブルを更新する(ステップSTA3.6)。視点変換画像上TIの全ての点(x,y)について座標変換テーブルを更新するため、CPU51はカメラ校正処理STA3を全ての点(x,y)について順に繰り返し実行する(ループRA1)。
【0054】
CPU51は、更新された座標変換テーブルを用いて、視点変換画像TIの各画素の色情報を炉壁画像OIの対応する画素の色情報とすることで、視点変換処理TIを生成し(ステップSTA4)、生成した視点変換画像TIを画像表示部66に表示する(ステップSTA5)。
【0055】
オペレータは、画像表示部66に表示されたカメラ校正後の視点変換画像TIを再度確認し、カメラ校正の要否を決定する(ステップSTA6)。カメラ校正が必要であると判断する場合には、再度カメラ校正パラメータ入力STA7を行い、CPU51により再度更新された視点変換画像TIを確認するという作業を繰り返す。
オペレータは、一方の炉壁の視点変換画像についてカメラ校正が完了したと判断した場合には、画像切替オプションボタン62で他方の視点変換画像に切り替え、同様のカメラ校正作業を行い、そのカメラ校正も完了したと判断した場合には、座標変換テーブル保存ボタン64を押下する。そうすると、CPU51はカメラ校正処理STA3により更新された座標変換テーブルをハードディスク53に保存する(ステップSTA8)。
最後にオペレータは終了ボタン65を押下し、CPU51はレンガ目地カメラ校正プログラムを終了する。
【0056】
通常運用時の視点変換処理においては、この更新後の座標変換テーブルを参照することで、カメラ校正後の視点変換画像TIを生成することができる。そのため、カメラ校正後の視点変換画像TIを高速に生成することができる。
【0057】
以上のように、レンガ目地カメラ校正により、カメラ30の取り付け誤差およびレンズ歪の影響のない視点変換画像TIを生成することができ、炉壁全体画像WIの合成を行っても視点変換画像TIの繋ぎ目で不一致が生じることがない。
また、レンガ目地16を指標としてカメラ校正を行うため、一般的に用いられる校正用ターゲットを高温となるコークス炉内に設置する必要がない。
さらに、モニタ54に表示された視点変換画像を確認しながらカメラ校正パラメータ決定することができるので、校正用ターゲット使用せず、画像処理の専門知識がなくても容易にカメラ校正ができる。
【0058】
[4]炉入口カメラ校正
前述のレンガ目地カメラ校正は炉壁11のレンガ目地16を指標としてカメラ校正を行うが、コークス炉10の炉入口12を指標としてもカメラ校正を行うことができる。以下、炉入口12を指標としたカメラ校正を、炉入口カメラ校正と称する。
【0059】
[4.1]炉入口カメラ校正の原理
炉入口カメラ校正は、主に以下の3つのステップで行う。
(1)まず、カメラ30の取り付け誤差を理想的な光軸に対するパン、チルト、ロールの3軸回転として、カメラ30とコークス炉10の設計値およびカメラ位置から、仮想の炉入口12を幾何学的に算出する。
(2)つぎに、実際に撮影された炉壁画像OIに表示される炉入口12と、幾何学的に算出された仮想の炉入口12が一致するようにパン、チルト、ロールの3軸回転(取り付け誤差)を決定する。
(3)最後に、決定した取り付け誤差から、炉壁11上(視点変換画像TI上)のある点に対応する炉壁画像OI上の点を幾何学的に算出し、その結果から視点変換画像TIを生成する。
以下、(1)から(3)の3つのステップについて詳説する。
【0060】
[4.1.1]ステップ(1)
図17(A)に示すように、炉壁画像OI上の位置を表す炉壁画像座標系(u,v) を、原点を炉壁画像OIの中心として定義する。また、図17(B)に示すように、コークス炉10内の位置を表す炉内座標系(XO,YO,ZO) と、カメラ30の撮像系を表すカメラ座標系(XC,YC,ZC) を定義する。炉壁座標系とカメラ座標系の原点はどちらもカメラ30の光学中心とする。炉内座標系の ZO軸は、炉壁11に対して平行、かつ、コークス炉10の水平面に対して平行であり、取り付け誤差のない理想的な状態のカメラ30の光軸を表す。そして XO軸は炉幅方向を、YO軸はコークス炉10の垂直方向を表す。カメラ座標系の ZC軸は、取り付け誤差を含んだ実際のカメラ30の光軸を表す。そして XC軸はカメラ30の左右方向を、YC軸はカメラ30の上下方向を表す。
【0061】
炉内座標系からカメラ座標系への座標変換は、3次元の回転として以下の式で表される。
【数12】
ここで、式中の η は XO軸周りの回転角度[度](取り付け誤差のチルト成分)、ζ は YO軸周りの回転角度[度](取り付け誤差のパン成分)、ξ は ZO軸周りの回転角度[度](取り付け誤差のロール成分)である。
【0062】
カメラ座標系を、カメラ30の光学中心(座標系の原点)を投影中心とする中心投影変換によりカメラ30のCCD面上に投影することで、炉壁画像座標系に座標変換する。この座標変換は、以下の式で表される。
【数13】
【数14】
ここで、ku はCCD面上での水平方向の画素スケール[mm/pixel]、kv はCCD面上での垂直方向の画素スケール[mm/pixel]である。
【0063】
[4.1.2]ステップ(2)
数12における座標変換は、未知数が取り付け誤差のη、ζ、ξの3変数であるから、変換前後で対応する点を数点調べて、連立方程式を立てて解くことにより、取り付け誤差を求めることができる。しかしながら、数12を展開すると大変複雑な式となり、実際には解析的に解く事は困難である。そこで取り付け誤差η、ζ、ξの採りうる値の範囲を限定し、探索的に解くことが好ましい。
例えば、取り付け誤差は各軸周りに±10°以内の範囲に収まると仮定すると、取り付け誤差を各軸に対して0.1°単位で全数探索しても8,000,000パターンであり、一般的なコンピュータでも数秒で探索を完了できる。さらに最適探索手法を取り入れれば、十分に短時間で探索が可能である。
【0064】
図18(A)に示すように、カメラ30を炉入口12からあるカメラ位置まで挿入した時の、炉壁画像OIに表示された炉入口12の四隅 a1,a2,a3,a4 の座標が、炉壁画像座標系でa1(a1u,a1v)、a2(a2u,a2v)、a3(a3u,a3v)、a4(a4u,a4v)であるとする。
また図18(B)に示すように、コークス炉10の設計値およびカメラ位置から算出される炉入口12の四隅 b1,b2,b3,b4 の座標が、炉内座標系でb1(b1x,b1y,b1z)、b2(b2x,b2y,b2z)、b3(b3x,b3y,b3z)、b4(b4x,b4y,b4z)であるとする。
【0065】
取り付け誤差がある場合に、炉内座標系での炉入口12の四隅の座標 b1,b2,b3,b4 を、数12を用い η=0、ζ=0、ξ=0 としてカメラ座標系へ変換し、さらに数13、数14を用い炉壁画像座標系へ変換し、これをc1(c1u,c1v)、c2(c2u,c2v)、c3(c3u,c3v)、c4(c4u,c4v)とすると、a1,a2,a3,a4 と c1,c2,c3,c4 にはずれが生じるはずである。
そこで、a1,a2,a3,a4 と c1,c2,c3,c4 のずれが最小となるη、ζ、ξを探索することにより取り付け誤差を求める。
ここで、a1,a2,a3,a4 と c1,c2,c3,c4 のずれを評価するための評価値は、例えば炉壁画像座標系における炉入口12の四隅の各座標のずれの二乗和とすればよい。この場合、この評価値を最小化する取り付け誤差η、ζ、ξが解となる。
【0066】
[4.1.3]ステップ(3)
取り付け誤差η、ζ、ξを決定する事により、炉内座標系での任意の点が炉壁画像座標系でのどの点に対応するかを、数12から数14を用いて求めることができる。
そこで、炉内座標系における炉壁11上の視点変換画像TIに相当するエリアを、視点変換画像TIの画素に対応するピッチで走査しながら、炉壁画像座標系での対応する座標を演算し、視点変換画像TIの各画素の色情報を炉壁画像OIの対応する画素の色情報とすることで、視点変換画像TIを生成する。
【0067】
[4.2]炉入口カメラ校正プログラム
つぎに、図19に示すフローチャートに基づいて本発明の一実施形態に係る炉入口カメラ校正プログラムの処理を説明する。
まず、CPU51は取り付け誤差パラメータη、ζ、ξを初期化する(ステップSTB1)。ここで、η はチルト取り付け誤差パラメータ、ζ パン取り付け誤差パラメータ、ξ はロール取り付け誤差パラメータである。初期化は、取り付け誤差がない状態であるとして各値を 0 としてもよいし、以前に実行した炉入口カメラ校正プログラムにおいて取り付け誤差パラメータの結果を記憶しているのであれば、その値で初期化してもよい。あるいは、ステップSTB4における取り付け誤差探索の探索方法に適した値に初期化を行う。
【0068】
つぎに、オペレータが押出機20をコークス炉10内に挿入し、カメラ30で炉壁画像OIを撮影する。CPU51はその炉壁画像OIと、エンコーダ40で計測されたカメラ位置情報を、ケーブル31、41を介して取り込み、メモリ52に一時記憶する(ステップSTB2)。
【0069】
CPU51は、メモリ52に一時記憶された炉壁画像OIに対して、カメラ30に取り付けられたレンズの歪曲校正を行う(ステップSTB3)。歪曲校正は、歪曲の原点を炉壁画像OIの中心とし、歪曲校正後のある点(u,v)[pixel]に対応する歪曲校正前の点(x,y)[pixel]を表した以下の式を用いた座標変換により行う。
【数15】
【数16】
ここで、式中の κ は歪曲の量を表す歪曲校正パラメータである。この κ は、炉壁画像OIにおいて炉入口12や炉壁11のレンガ目地16などが直線として表示されるように解析的に決定する。
【0070】
CPU51は、歪曲校正後の炉壁画像OIを画像解析し、炉壁画像座標系における炉入口12の四隅の座標を検出する(ステップSTB4)。あるいは、CPU51は、炉壁画像OIをモニタ54に表示し、オペレータが炉入口12の四隅を指定する事で炉壁画像座標系での座標を決定する実施形態としてもよい。
画像解析により座標を検出した場合には、オペレータの作業が少なくなるので、カメラ校正の作業が容易となる。一方、オペレータが指定する場合には、画像解析の必要がないので、処理を単純にすることができる。
【0071】
つぎにCPU51は、あらかじめ設定されたコークス炉10の設計値およびメモリ52に一時記憶されたカメラ位置から炉内座標系での仮想の炉入口12の四隅の座標を算出する。そして、その炉内座標系での座標を、数12から数14を用いて炉壁画像座標系へ変換し、ステップSTB4で決定された座標とのずれが最小となる取り付け誤差パラメータの値を決定する(ステップSTB5)。
ここで前述のとおり、ステップSTB5の処理は、取り付け誤差パラメータη、ζ、ξを順次変化させながら、ずれが最小となる値を探索する。そのため数12から数14を解析的に解く必要がなく、処理を単純にすることができる。
【0072】
CPU51は、ステップSTB5で決定された取り付け誤差パラメータη、ζ、ξの値と数12から数14を用いて、炉内座標系における炉壁11上の視点変換画像TIの全ての点 (x,y) に相当する座標について走査しながら、炉壁画像座標系での対応する座標 (u,v) を演算し、座標変換テーブルを生成する。そして、生成した座標変換テーブルをハードディスク53に保存する(ステップSTB6)。ここで、取り付け誤差パラメータや歪曲校正パラメータの値もハードディスク53に保存する実施形態としてもよい。
【0073】
通常運用時の視点変換処理においては、この更新後の座標変換テーブルを参照することで、カメラ校正後の視点変換画像TIを生成することができる。そのため、カメラ校正後の視点変換画像TIを高速に生成することができる。
また、取り付け誤差パラメータを保存する場合には、ハードウェア側でカメラの取り付けを調整する場合に、取り付け誤差パラメータを調整の参考とすることができ、調整作業が容易となる。
【0074】
以上のように、炉入口カメラ校正により、カメラ30の取り付け誤差の影響のない視点変換画像TIを生成することができ、炉壁全体画像WIの合成を行っても視点変換画像TIの繋ぎ目で不一致が生じることがない。
また、炉入口12を指標としてカメラ校正を行うため、一般的に用いられる校正用ターゲットを高温となるコークス炉内に設置する必要がない。そして、校正用ターゲットを用いないため画像処理の専門知識がなくてもカメラ校正ができる。
さらに、オペレータの操作が少ないので、カメラ校正の作業が容易である。
【符号の説明】
【0075】
OI 炉壁画像
TI 視点変換画像
WI 炉壁全体画像
V 視野
O 視野範囲外領域
10 コークス炉
11 炉壁
12 炉入口
16 レンガ目地
20 押出機
30 カメラ
40 エンコーダ
50 コンピュータ
60 レンガ目地カメラ校正画面
【技術分野】
【0001】
本発明は、コークス炉壁観察装置のカメラ校正方法およびプログラムに関する。さらに詳しくは、コークス炉内にカメラを挿入し、その画像を用いて炉壁の状態を観察するコークス炉観察装置において、カメラの取り付けを校正するためのカメラ校正方法およびプログラムに関する。
【背景技術】
【0002】
製鉄に用いるコークスを製造するために、幅数十センチメートル、高さ数メートル、奥行き十数メートルのレンガ造りのコークス炉が用いられる。コークスの製造は、コークス炉の上面に設けられた石炭挿入口から炉内に石炭を挿入し、高温に熱せられた炉内で石炭を乾留することにより行われる。完成したコークスは、コークス炉両端の炉入口および炉出口を開放した後に押出機が炉入口から挿入され、炉出口側に配置されたバケットに押し出される。その際に炉内ではレンガが剥落したり、カーボンが付着したりして、炉壁が損傷する。製鉄所の主要設備であるコークス炉の安定操業と長寿命化の為には、炉壁の状態を随時観察し、損傷箇所を早期発見し、修繕する必要がある。
【0003】
従来、コークス炉の炉壁の観察は目視観察によるものが一般的であり、作業員が操業の合間に、コークス炉の両端から、あるいは石炭挿入口から直接観察を行っていた。そのため、狭窄な炉内を観察できる範囲は限られており、特に炉壁中心部の観察は困難であった。また、高温に保たれたコークス炉の観察は作業員にとって危険な作業でもあった。
【0004】
この問題に対する解決策として、熱対策したカメラを炉内に挿入し、炉壁を撮影した映像を観察する方法がある(例えば特許文献1)。カメラの映像により炉壁の状態を観察することができるので、炉壁中心部においても観察することができ、作業員にとっても確認作業を安全に行うことができる。
しかるに、特許文献1の方法では、図20(A)に示すようにカメラの向きを炉壁に対して正面としているため、幅が数十センチメートルのコークス炉の場合、カメラと炉壁との距離が短く、カメラで撮影できる視野が限られ、炉壁全体について迅速に観察することは困難であった。
また、カメラで撮影した映像は録画されるが、その録画された映像を観察する場合、映像をはじめから再生する必要があるため、確認作業に時間のかかるものであり、一見して炉壁全体の状況を把握できるものではなかった。
【0005】
これに対して特許文献2のコークス炉の内壁観察方法は、図20(B)に示すように、カメラの向きを炉壁に対して斜めとし、カメラをコークス炉内に挿入し、カメラの位置と対応付けながら炉壁の画像を斜視像として順次撮影する方法である。さらに、その斜視像を画像処理して炉壁を正面から見た視点変換画像を生成し、カメラ位置に従って視点変換画像を張り合わせることで、炉壁全体画像の合成を行うようにしている。
図20(B)に示すように、カメラの向きを炉壁に対して斜めとすれば、撮影できる視野を広くすることができ、炉壁全体について迅速に観察することが可能となる。また、合成された炉壁全体画像により一見して炉壁全体の状況を把握することが可能となる。
【0006】
しかるに、視点変換画像を生成するには、カメラの光軸と炉壁とのなす角度を用いて画像処理の演算を行う必要があるが、カメラをカメラ挿入用の装置に取り付ける際、実際には設計された角度から誤差を持って取り付けられ、また、カメラ挿入時の振動などにより徐々に取り付け誤差が生じてくるため、このカメラの取り付けを校正せず、設計値に従って視点変換の画像処理を行うと、炉壁の正面に対して取り付け誤差分だけずれた視点から見た視点変換画像を生成してしまうという問題がある。
また、この誤差を含んだ視点変換画像を張り合わせて炉壁全体画像の合成を行うと、視点変換画像の繋ぎ目で不一致を生じ、炉壁状態の観察に支障が出るという問題がある。
【0007】
ここで、カメラの取り付け誤差を解消するために、カメラの取り付けを定期的に調整することが考えられるが、カメラは熱対策のため冷却ボックスなどに囲まれているため頻繁に調整することは困難である。
そこで、ソフトウェア側でカメラの取り付けを校正することが考えられるが、一般に行われる校正用ターゲットを用いての校正は、高温となるコークス炉内に校正用ターゲットを設置することができないため実施することができない。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開昭63−252242号公報
【特許文献2】特許第2664494号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明は上記事情に鑑み、校正用ターゲットを用いることなく、カメラ校正を実施することができるコークス炉壁観察装置のカメラ校正方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
第1発明のコークス炉壁観察装置のカメラ校正方法は、カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付けを校正するためのカメラ校正方法であって、前記コークス炉の形状を指標としてカメラ校正を行うことを特徴とする。
第2発明のコークス炉壁観察装置のレンガ目地カメラ校正方法は、カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付けを校正するためのカメラ校正方法であって、前記炉壁のレンガ目地を指標としてカメラ校正を行うことを特徴とする。
第3発明のコークス炉壁観察装置のレンガ目地カメラ校正方法は、第2発明において、前記カメラで前記炉壁画像を撮影し、該炉壁画像を視点変換処理して前記視点変換画像を生成し、該視点変換画像に表示される前記レンガ目地を指標としてカメラ校正を行うことを特徴とする。
第4発明のコークス炉壁観察装置のレンガ目地カメラ校正方法は、第3発明において、前記カメラの左右の回転の量を、前記レンガ目地の複数の水平な線が、前記視点変換画像において互いに平行に表示されるように調整を行うことを特徴とする。
第5発明のコークス炉壁観察装置のレンガ目地カメラ校正方法は、第3または第4発明において、前記カメラの上下の回転の量を、前記レンガ目地の垂直および水平な線が、前記視点変換画像において垂直および水平に表示されるように調整を行うことを特徴とする。
第6発明のコークス炉壁観察装置のレンガ目地カメラ校正方法は、第3,第4または第5発明において、前記カメラの光軸周りの回転の量を、前記レンガ目地の複数の垂直な線が、前記視点変換画像において互いに平行に表示されるように調整を行うことを特徴とする。
第7発明のコークス炉壁観察装置のレンガ目地カメラ校正方法は、第3,第4,第5または第6発明において、前記カメラに取り付けられたレンズの歪曲の量を、前記レンガ目地の垂直および水平な線が、前記視点変換画像において直線に表示されるように調整を行うことを特徴とする。
第8発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、コークス炉内に挿入されたカメラで撮影された、該コークス炉内の炉壁の斜視像である炉壁画像を取り込むことのできるコンピュータに、前記カメラの取り付けを校正するための処理を行わせるプログラムであって、前記炉壁画像を取り込み、入力されたカメラ校正の量を表すカメラ校正パラメータに従ってカメラ校正処理をするとともに、視点変換処理をして、前記炉壁画像から校正後の前記炉壁を正面から見た視点変換画像を生成し、該校正後の視点変換画像を表示する処理をコンピュータに行わせることを特徴とする。
第9発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第8発明において、前記カメラ校正パラメータの1つが、前記カメラの左右の回転の量を表すパン校正パラメータであり、入力された前記パン校正パラメータの値に従って、前記炉壁画像から前記カメラの左右の回転を校正した前記校正後の視点変換画像を生成することを特徴とする。
第10発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第9発明において、前記カメラの光学中心から前記炉壁上へ垂線を下ろした時の交点を通る前記コークス炉の垂直軸を回転軸とし、該回転軸周りの回転量が前記パン校正パラメータであり、前記炉壁画像を視点変換処理して視点変換画像を生成した後に、入力された前記パン校正パラメータの値に従って、前記視点変換画像を前記回転軸周りに回転させた前記校正後の視点変換画像を生成することを特徴とする。
第11発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第8または第9発明において、前記カメラ校正パラメータの1つが、前記カメラの上下の回転の量を表すチルト校正パラメータであり、入力された前記チルト校正パラメータの値に従って、前記炉壁画像から前記カメラの上下の回転を校正した前記校正後の視点変換画像を生成することを特徴とする。
第12発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第11発明において、前記カメラの光学中心から前記炉壁上へ垂線を下ろした時の交点を通る前記コークス炉の炉幅方向の軸を回転軸とし、該回転軸周りの回転量を前記チルト校正パラメータとし、前記炉壁画像を視点変換処理して視点変換画像を生成した後に、入力された前記チルト校正パラメータの値に従って、前記視点変換画像を前記回転軸周りに回転させた前記校正後の視点変換画像を生成することを特徴とする。
第13発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第8,第9または第11発明において、前記カメラ校正パラメータの1つが、前記カメラの光軸周りの回転の量を表すロール校正パラメータであり、入力された前記ロール校正パラメータの値に従って、前記炉壁画像から前記カメラの光軸周りの回転を校正した前記校正後の視点変換画像を生成することを特徴とする。
第14発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第13発明において、前記カメラの光軸を回転軸とし、該回転軸周りの回転量を前記ロール校正パラメータとし、入力された前記ロール校正パラメータの値に従って、前記炉壁画像を前記回転軸周りに回転させた校正後の炉壁画像を生成した後に、該校正後の炉壁画像を視点変換処理して前記校正後の視点変換画像を生成することを特徴とする。
第15発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第8,第9,第11または第13発明において、前記カメラ校正パラメータの1つが、前記カメラに取り付けられたレンズの歪曲の量を表す歪曲校正パラメータであり、入力された前記歪曲校正パラメータの値に従って、前記炉壁画像から前記カメラのレンズの歪を校正した前記校正後の視点変換画像を生成することを特徴とする。
第16発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第15発明において、前記カメラに取り付けられたレンズの歪曲の量を前記歪曲校正パラメータとし、入力された前記歪曲校正パラメータの値に従って、前記炉壁画像の歪曲を調整した校正後の炉壁画像を生成した後に、該校正後の炉壁画像を視点変換処理して前記校正後の視点変換画像を生成することを特徴とする。
第17発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第8、第9、第10、第11、第12、第13,第14,第15または第16発明において、前記校正後の視点変換画像の前面に、マス目状のグリッドを表示することを特徴とする。
第18発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第8、第9、第10、第11、第12、第13,第14,第15,第16または第17発明において、前記カメラ校正パラメータを用いて、前記校正後の視点変換画像から前記炉壁画像への座標変換の情報を算出し、該座標変換の情報を記憶装置に保存することを特徴とする。
第19発明のコークス炉壁観察装置の炉入口カメラ校正方法は、カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付けを校正するためのカメラ校正方法であって、前記コークス炉の炉入口を指標としてカメラ校正を行うことを特徴とする。
第20発明のコークス炉壁観察装置の炉入口カメラ校正方法は、第19発明において、前記カメラで実際の炉壁画像を撮影し、前記コークス炉の設計値と、前記カメラの前記コークス炉内におけるカメラ位置から仮想の炉入口を算出し、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するようにカメラ校正を行うことを特徴とする。
第21発明のコークス炉壁観察装置の炉入口カメラ校正方法は、第20発明において、前記カメラの前記取り付け誤差がない状態からの左右の回転の量を、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するように調整を行うことを特徴とする。
第22発明のコークス炉壁観察装置の炉入口カメラ校正方法は、第20または第21発明において、前記カメラの前記取り付け誤差がない状態からの上下の回転の量を、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するように調整を行うことを特徴とする。
第23発明のコークス炉壁観察装置の炉入口カメラ校正方法は、第20,第21または第22発明において、前記カメラの前記取り付け誤差がない状態からの光軸周りの回転の量を、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するように調整を行うことを特徴とする。
第24発明のコークス炉壁観察装置の炉入口カメラ校正方法は、第20,第21,第22または第23発明において、前記カメラに取り付けられたレンズの歪曲の量を、前記炉入口または前記炉壁のレンガ目地が、前記実際の炉壁画像において直線に表示されるように調整を行うことを特徴とする。
第25発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、コークス炉内に挿入されたカメラで撮影された、該コークス炉内の炉壁の斜視像である炉壁画像と、前記カメラの前記コークス炉内におけるカメラ位置を取り込むことのできるコンピュータに、前記カメラの取り付けを校正するための処理を行わせるプログラムであって、前記炉壁画像と前記カメラ位置を取り込み、前記炉壁画像に表示される前記炉入口の座標を決定し、前記コークス炉の設計値と、前記カメラ位置から仮想の炉入口の座標を算出し、前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標が一致する、前記カメラの取り付け誤差を表す取り付け誤差パラメータを決定する処理をコンピュータに行わせることを特徴とする。
第26発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25発明において、前記炉壁画像を画像解析し、前記炉壁画像に表示される前記炉入口の座標を検出することを特徴とする。
第27発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25発明において、前記炉壁画像を表示し、前記炉壁画像における座標の指定を受け、該指定された座標を、前記炉壁画像に表示される前記炉入口の座標とすることを特徴とする。
第28発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25、第26または第27発明において、前記取り付け誤差パラメータを順次変化させながら、前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標が一致する、前記取り付け誤差パラメータを探索することを特徴とする。
第29発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25,第26,第27または第28発明において、前記取り付け誤差パラメータの1つが、前記カメラの前記取り付け誤差がない状態からの左右の回転の量を表すパン取り付け誤差パラメータであることを特徴とする。
第30発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25,第26,第27,第28または第29発明において、前記取り付け誤差パラメータの1つが、前記カメラの前記取り付け誤差がない状態からの上下の回転の量を表すチルト取り付け誤差パラメータであることを特徴とする。
第31発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25,第26,第27,第28,第29または第30発明において、前記取り付け誤差パラメータの1つが、前記カメラの前記取り付け誤差がない状態からの光軸周りの回転の量を表すロール取り付け誤差パラメータであることを特徴とする。
第32発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25,第26,第27,第28,第29,第30または第31発明において、前記炉壁画像に表示される前記炉入口または前記炉壁のレンガ目地が直線となる、前記カメラに取り付けられたレンズの歪曲の量を決定することを特徴とする。
第33発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25,第26,第27,第28,第29,第30,第31または第32発明において、前記取り付け誤差パラメータを用いて、校正後の前記炉壁を正面から見た視点変換画像から前記炉壁画像への座標変換の情報を算出し、該座標変換の情報を記憶装置に保存することを特徴とする。
第34発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第25,第26,第27,第28,第29,第30,第31,第32または第33発明において、前記取り付け誤差パラメータを記憶装置に保存することを特徴とする。
【発明の効果】
【0011】
第1発明によれば、カメラの取り付けを校正するため、カメラの取り付け誤差の影響のない視点変換画像を生成することができ、炉壁全体画像の合成を行っても視点変換画像の繋ぎ目で不一致が生じることがない。また、コークス炉の形状を指標としてカメラ校正を行うため、校正用ターゲットを高温となるコークス炉内に設置する必要がない。
第2発明によれば、カメラの取り付けを校正するため、カメラの取り付け誤差の影響のない視点変換画像を生成することができ、炉壁全体画像の合成を行っても視点変換画像の繋ぎ目で不一致が生じることがない。また、炉壁のレンガ目地を指標としてカメラ校正を行うため、校正用ターゲットを高温となるコークス炉内に設置する必要がない。
第3発明によれば、視点変換画像に表示されるレンガ目地を指標としてカメラ校正を行うため、視点変換画像を確認しながらカメラ校正を行うことができ、校正用ターゲットを使用せず、画像処理の専門知識がなくてもカメラ校正ができる。
第4発明によれば、カメラの左右の回転の量を調整するので、カメラの左右の回転の取り付けを校正することができる。また、レンガ目地の水平な線が視点変換画像において互いに平行に表示されるように調整すればよいので、指標が分かりやすく、カメラ校正が容易にできる。
第5発明によれば、カメラの上下の回転の量を調整するので、カメラの上下の回転の取り付けを校正することができる。また、レンガ目地の垂直および水平な線が視点変換画像において垂直および水平に表示されるように調整すればよいので、指標が分かりやすく、カメラ校正が容易にできる。
第6発明によれば、カメラの光軸周りの回転の量を調整するので、カメラの光軸周りの回転の取り付けを校正することができる。また、レンガ目地の垂直な線が視点変換画像において互いに平行に表示されるように調整すればよいので、指標が分かりやすく、カメラ校正が容易にできる。
第7発明によれば、レンズの歪曲の量を調整するので、レンズにより生じる歪曲を校正することができる。また、レンガ目地の垂直および水平な線が視点変換画像において直線に表示されるように調整すればよいので、指標が分かりやすく、カメラ校正が容易にできる。
第8発明によれば、入力されたカメラ校正パラメータに従って校正後の視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラ校正パラメータを決定することができ、校正用ターゲットを使用せず、画像処理の専門知識がなくても容易にカメラ校正ができる。また、校正用ターゲットを用いないため、校正用ターゲットを高温となるコークス炉内に設置する必要がない。
第9発明によれば、入力されたパン校正パラメータに従ってパン校正後の視点変換画像を表示するので、表示された視点変換画像を確認しながらパン校正パラメータを決定することができ、カメラ校正が容易にできる。
第10発明によれば、コークス炉の垂直軸を回転軸として回転させた視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラの左右の回転を校正することができる。また、視点変換画像のみに対する演算であるので処理を単純にすることができる。
第11発明によれば、入力されたチルト校正パラメータに従ってチルト校正後の視点変換画像を表示するので、表示された視点変換画像を確認しながらチルト校正パラメータを決定することができ、カメラ校正が容易にできる。
第12発明によれば、コークス炉の炉幅方向の軸を回転軸として回転させた視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラの上下の回転を校正することができる。また、視点変換画像の単純な回転であるので処理を単純にすることができる。
第13発明によれば、入力されたロール校正パラメータに従ってロール校正後の視点変換画像を表示するので、表示された視点変換画像を確認しながらロール校正パラメータを決定することができ、カメラ校正が容易にできる。
第14発明によれば、カメラの光軸を回転軸として回転させた視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラの光軸周りの回転を校正することができる。また、炉壁画像の単純な回転であるので処理を単純にすることができる。
第15発明によれば、入力された歪曲校正パラメータに従って歪曲校正後の視点変換画像を表示するので、表示された視点変換画像を確認しながら歪曲校正パラメータを決定することができ、カメラ校正が容易にできる。
第16発明によれば、レンズの歪曲を調整した視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラの光軸周りの回転を校正することができる。また、炉壁画像のみに対する演算であるので処理を単純にすることができる。
第17発明によれば、校正後の視点変換画像の前面にグリッドを表示するので、視点変換画像に表示されるレンガ目地が垂直または水平になっていることが確認しやすく、視点変換画像を確認しながらカメラ校正を行うことが容易となる。
第18発明によれば、校正後の視点変換画像から炉壁画像への座標変換の情報を保存するので、通常運用時の視点変換処理においては、この座標変換の情報を参照するのみで座標変換の演算をする必要がなく、カメラ校正後の視点変換画像を高速に生成することができる。
第19発明によれば、カメラの取り付けを校正するため、カメラの取り付け誤差の影響のない視点変換画像を生成することができ、炉壁全体画像の合成を行っても視点変換画像の繋ぎ目で不一致が生じることがない。また、コークス炉の炉入口を指標としてカメラ校正を行うため、校正用ターゲットを高温となるコークス炉内に設置する必要がない。
第20発明によれば、実際の炉壁画像に表示される炉入口と仮想の炉入口が一致するようにカメラ校正を行うため、校正用ターゲットを使用せず、画像処理の専門知識がなくてもカメラ校正ができる。また、炉壁画像とコークス炉の設計値とカメラ位置とからカメラ校正を行うので、オペレータの操作が少なく、カメラ校正の作業が容易である。
第21発明によれば、カメラの左右の回転の量を調整するので、カメラの左右の回転を校正することができる。
第22発明によれば、カメラの上下の回転の量を調整するので、カメラの上下の回転を校正することができる。
第23発明によれば、カメラの光軸周りの回転の量を調整するので、カメラの光軸周りの回転を校正することができる。
第24発明によれば、レンズの歪曲の量を調整するので、レンズにより生じる歪曲を校正することができる。
第25発明によれば、炉壁画像に表示される炉入口の座標と仮想の炉入口の座標が一致する取り付け誤差パラメータを決定するので、校正用ターゲットを使用せず、画像処理の専門知識がなくてもカメラ校正ができる。また、炉壁画像とコークス炉の設計値とカメラ位置とから取り付け誤差パラメータを決定するので、オペレータの操作が少なく、カメラ校正の作業が容易である。
第26発明によれば、画像解析して炉入口の座標を検出するので、さらにオペレータの操作が少なく、カメラ校正の作業が容易である。
第27発明によれば、オペレータの操作により炉入口の座標を決定するので、画像解析の必要がなく、処理を単純にすることができる。
第28発明によれば、取り付け誤差パラメータを順次変化させながら探索するので、解析的に解く必要がなく、処理を単純にすることができる。
第29発明によれば、パン取り付け誤差パラメータを決定するので、カメラの左右の回転を校正することができる。
第30発明によれば、チルト取り付け誤差パラメータを決定するので、カメラの上下の回転を校正することができる。
第31発明によれば、ロール取り付け誤差パラメータを決定するので、カメラの光軸周りの回転を校正することができる。
第32発明によれば、レンズの歪曲の量を決定するので、レンズにより生じる歪曲を校正することができる。
第33発明によれば、校正後の視点変換画像から炉壁画像への座標変換の情報を保存するので、通常運用時の視点変換処理においては、この座標変換の情報を参照するのみで座標変換の演算をする必要がなく、カメラ校正後の視点変換画像を高速に生成することができる。
第34発明によれば、取り付け誤差パラメータを保存するので、ハードウェア側でカメラの取り付けを調整する場合に、取り付け誤差パラメータを調整の参考とすることができ、調整作業が容易となる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態に係るコークス炉壁観察装置の構成図であり、(A)は平面図、(B)は側面図である。
【図2】炉壁画像の一例の説明図である。
【図3】視点変換画像の座標から炉壁画像の座標への座標変換の説明図である。
【図4】カメラ、その光学系および炉壁の位置関係の説明図である。
【図5】カメラ、その光学系および炉壁の位置関係の説明図であり、(A)は平面図、(B)は側面図である。
【図6】座標変換テーブルの一例の説明図である。
【図7】視点変換画像の一例の説明図である。
【図8】炉壁全体画像の一例の説明図である。
【図9】取り付け誤差を含んだカメラ、その光学系および炉壁の位置関係の説明図である。
【図10】パン校正の説明図であり、(A)はパン校正前後の視点変換画像、(B)はパン校正における回転軸の説明図である。
【図11】チルト校正の説明図であり、(A)はチルト校正前後の視点変換画像、(B)はチルト校正における回転軸の説明図である。
【図12】ロール校正の説明図であり、(A)はロール校正前後の視点変換画像、(B)はロール校正における回転軸の説明図である。
【図13】歪曲校正前後の視点変換画像である。
【図14】レンガ目地カメラ校正プログラムのフローチャートである。
【図15】レンガ目地カメラ校正画面の画面イメージである。
【図16】レンガ目地カメラ校正方法の説明図である。
【図17】(A)は炉壁画像座標系、(B)は炉内座標系、カメラ座標系の説明図である。
【図18】取り付け誤差の決定方法の説明図であり、(A)は炉壁座標系における炉入口の四隅の座標、(B)は炉内座標系における炉入口の四隅の座標である。
【図19】炉入口カメラ校正プログラムのフローチャートである。
【図20】従来技術のカメラの取り付け向きの説明図である。
【発明を実施するための形態】
【0013】
[1]コークス炉壁観察装置
つぎに、本発明の実施形態を図面に基づき説明する。
図1に示すように、コークス炉10は高さ数メートル、奥行き十数メートルの対となるレンガ造りの炉壁11が数十センチメートルの間隔を隔てて設けられた、狭窄な炉である。コークス炉10内で製造されたコークスCは、コークス炉10の片側の炉入口12から押出機20が挿入されることにより反対側の炉出口13へと押し出される。
押出機20は、押板21とビーム22とからなり、ビーム22が図示しない駆動装置に接続されており、この駆動装置の動作により押板21がコークス炉10の炉入口12から炉出口13まで移動自在となっている。押板21がコークス炉10の断面と同形状をしているため、押板21の移動によりコークスCを押し出すことができる。
【0014】
本発明の一実施形態に係るコークス炉壁観察装置は、押出機20の押板21に取り付けられたカメラ30と、押出機20のビーム22の移動量からカメラ位置を計測するエンコーダ40と、カメラ30からの炉壁画像とエンコーダ40からのカメラ位置情報を取り込み、画像処理を行うコンピュータ50とからなる。
【0015】
カメラ30は、押板21の背面に取り付けられており、コークスCの押出方向と逆方向(図1の右方向)を向くように取り付けられている。これは、カメラ30を押板21の前面に取り付けるとコークスCに阻まれて炉壁11の撮影ができないからである。カメラ30には、1台のカメラで両側の炉壁を撮影できるように、広角のレンズが取り付けられている。また、押出機20は赤熱したコークス炉10内(1000℃程度)に挿入されるため、カメラ30には冷却ボックスの中に設置するなどの熱対策が施されている。
【0016】
エンコーダ40は、ビーム22の挿入距離を計測することが可能な位置検出装置であり、ビーム22の挿入距離から、カメラ30のコークス炉10内の炉長方向の挿入位置を計測するものである。
【0017】
カメラ30およびエンコーダ40はコンピュータ50とケーブル31、41を介して接続されており、カメラ30で撮影された炉壁画像、およびエンコーダ40で計測されたカメラ位置情報はコンピュータ50に取込可能となっている。
コンピュータ50は主に、CPU51、メモリ52、ハードディスク53、モニタ54からなり、炉壁画像とカメラ位置情報から後述する画像処理を行い、その結果をモニタ54に表示する。
【0018】
[2]コークス炉壁観察方法
つぎに、本発明の一実施形態に係るコークス炉壁観察装置を用いた炉壁観察について説明する。
炉壁観察は大きく分けて、(1)炉壁画像から視点変換画像を生成し、その視点変換画像を押出機移動中に観察する即時観察、(2)視点変換画像から炉壁全体画像を合成、保存し、その炉壁全体画像を押出機の運用とは別の時期に観察する後日観察の2種類を行う。
【0019】
[2.1]即時観察
即時観察は、押出機20の運転者などが、コークス押出のための押出機の通常運用を行う際に同時に行う観察である。
【0020】
まず、押出機20とともにカメラ30をコークス炉10内に挿入し、カメラ30で撮影した炉壁画像OI(図2参照)を、ケーブル31を介してコンピュータ50のメモリ52に取り込む。
この際に得られる炉壁画像OIは、図2に示すように、カメラ30はコークスCの押出方向と逆方向を向くように取り付けられているため、炉壁画像OIの中央には炉入口12が映し出される。また、カメラ30には広角レンズが取り付けられているため左右の炉壁11が、炉壁画像OIの左右に映し出される。なお図中、14はコークス炉の天井、15はコークス炉の底である。実際には、押出機20のビーム22も映し出されるが、説明のため省略してある。
【0021】
炉壁画像OIにより炉壁11の状態を観察することが可能であるが、炉壁画像OIにおいて炉壁11は斜視像として映し出されるため、これを炉壁11の正面から見た画像とした方が、観察が行いやすい。
そこで、CPU51によりメモリ52に記憶された炉壁画像OIを視点変換処理して、炉壁11を正面から見た視点変換画像TIを生成する。
【0022】
[2.1.1]視点変換処理
視点変換処理は例えば以下のように行われる。
一般に、画像処理により画像を変換して新たな画像を生成する場合、変換後の画像の各画素が変換前の画像のどの画素を参照すればよいかが分かればよい。すなわち、本実施形態の場合、視点変換画像TIの各画素が炉壁画像OIのどの画素を参照すればよいかが分かればよい。そのためには、図3に示すように、視点変換画像TI上の座標から炉壁画像OI上の座標を参照するための座標変換を導くことが必要である。
ここで、カメラ30がCCDカメラである場合、視点変換画像TI上の座標から炉壁画像OI上の座標への座標変換とは、炉壁11上のある点から出た光がカメラ30のCCD上のどこへ到達するか、という問題に置き換えることができる。つまり、カメラ30、その光学系および炉壁11の特性値および位置関係から座標変換を導くことができる。
【0023】
図4において、sx はカメラ30のCCDの幅[mm]、sy はCCDの高さ[mm]、f はCCD面から光学中心までの距離[mm]、d はカメラ30と炉壁11との距離[mm]、A は光学中心から炉壁11上へ垂線を下ろした時の交点、B はカメラ30で撮影可能な炉壁11上の最近接位置、D は点A から点B までの距離(最近接距離)である。
以上の通りに定義した場合、最近接距離 D[pixel] は、炉壁画像OI上での画素スケールを k[mm/pixel]とすると次式で与えられる(図5(A)参照)。
【数1】
【0024】
炉壁11上(すなわち視点変換画像TI上)のある点(x,y)[pixel]を出た光は、光学中心を通り、CCD面上(すなわち炉壁画像OI上)の点(u,v)[pixel]に到達する。
このように、光学中心を通る光線のみで撮像系をモデル化する手法をピンホールカメラモデルによるモデル化という。
図5(A)より、x から u への変換は以下の通りに記述できる。
【数2】
ここで、nx はCCDの幅方向の画素数であり、k’=sx/nx である。
また、図5(B)より、y から v への変換は以下の通りに記述できる。
【数3】
ここで、ny はCCDの高さ方向の画素数であり、k’’=sy/ny である。
これら数2、数3が視点変換画像TI上の座標から炉壁画像OI上の座標への座標変換となる。
【0025】
数2、数3で表わされる座標変換を、視点変換画像TIの全画素について計算し、求めた座標から炉壁画像OI上の色情報を参照して視点変換画像TIの色情報とすることで、視点変換画像TIを生成することができる。
しかしながら、この座標変換に要する計算コストは非常に大きい。またカメラ30などのハードウェアや、カメラ30と炉壁11との距離が変化しない限り、座標変換のためのパラメータも変化しないため、視点変換画像TIを生成するたびに同じ計算を繰り返すことは無駄である。
そこで、視点変換画像TIの全画素について一度だけ座標変換の演算を行い、その結果を保存しておくことが好ましい。より具体的には、視点変換画像TIの各画素 (x,y) に対応する炉壁画像OI上の座標 (u,v) をテーブル(以下、座標変換テーブルとする。)として生成し、ハードディスク53に保存しておく。座標変換テーブルは、例えば図6(A)および(B)に示すようなテーブルであって、視点変換画像TI上の座標を示す視点変換画像座標行c1と壁画像OI上の座標を示す炉壁画像座標行c2とからなり、視点変換画像座標 (x,y) に対応する炉壁画像座標 (u,v) の値が炉壁画像座標行c2に記録されている。
なお、図6においては視点変換画像TIを 1000×1000[pixel] とし、炉壁画像座標 (u,v) として例示的な値を示している。
通常運用時の視点変換処理においてはこの座標変換テーブルを参照し、視点変換画像TIの各画素の色情報を炉壁画像OIの対応する画素の色情報とすることで、視点変換処理を高速に行うことができる。
【0026】
なお、座標変換テーブルにサブピクセル単位(画素をより細分化した単位)での座標を格納しておけば、その座標の4近傍画素の色情報を内挿することにより、より鮮明な視点変換画像TIを生成することができる。
【0027】
[2.1.2]視点変換画像
以上の視点変換処理で生成された視点変換画像TIは図7に示すようになる。図7は片方の炉壁11に対する視点変換画像TIであるが、同様の視点変換画像TIを、左右の炉壁11それぞれに対して1枚得ることができる。図7に示される視点変換画像TIとして映し出される炉壁11の範囲は、図4に示す視野Vに対応する。カメラ30の手前側の手前側画像では、カメラ30の上下の視野角の範囲外となる視野範囲外領域O(上下一対の三角形の領域)が現れる。そのため、視点変換画像TIは、その手前側画像は高さ方向の視野が狭く、カメラ30から奥側の奥側画像は高さ方向の視野が広くなる。なお、視点変換画像TIに表示される複数の垂直および水平な線は炉壁11のレンガ目地16である。
【0028】
以上の炉壁画像OIの撮影と、視点変換画像TIの生成は、押出機20の移動中に所定の間隔で行われ、それにより得られる炉壁画像OIと視点変換画像TIはコンピュータ50のモニタ54に随時表示される。押出機20の運転者は、押出機20を運転しながら、モニタ54に映し出される画像から炉壁11の状態を観察する。
【0029】
なお、押出機20を移動する間、所定の間隔で生成される視点変換画像TIは、後述する炉壁全体画像WIの合成のために、エンコーダ40から得られるカメラ位置情報とともにメモリ52に一時記憶されていく。
【0030】
[2.2]後日観察
後日観察は、視点変換画像TIから炉壁11全体の画像を合成し、それを炉壁全体画像WIとして保存しておき、押出機の運用とは別の時期にその炉壁全体画像WIを用いて行う観察である。炉壁全体画像WIは、一見して炉壁11全体の状況を把握することを容易にするために生成される。
【0031】
前述の即時観察において、押出機20の移動が炉入口12から炉出口13まで完了すると、コークス炉10の全長にわたり、炉長方向の所定間隔ごとに視点変換画像TIが生成され、その視点変換画像TIに対応するカメラ位置情報とともにメモリ52に一時記憶された状態となる。
CPU51は、このメモリ52に一時記憶された視点変換画像TIを、それに対応するカメラ位置情報をもとに適当な位置に配置し、つなぎ合せることで、炉壁全体画像WIを合成する。
【0032】
合成された炉壁全体画像WIは図8に示すようになる。炉壁全体画像WIは、複数の視点変換画像TIがそれに対応するカメラ位置情報にもとづいて配置され、つなぎ合わされることで、コークス炉10の全長にわたった、炉壁11全体の画像となる。
【0033】
また、炉壁全体画像WIは、ハードディスク53に記憶され、押出機の運用とは別の時期に炉壁11の状態を観察する際に、モニタ54に表示され、観察が行われる。
【0034】
[3]レンガ目地カメラ校正
前述の視点変換処理は、カメラ30の光軸が炉壁11に対して平行、かつ、押出機20の押出方向に対して平行である理想的な状態として演算を行っている。
しかし、カメラ30を押出機20に取り付ける際、実際には理想的な取り付け角度から誤差を持って取り付けられてしまう。また、押出機20は移動により振動するので、その振動により徐々に取り付け誤差が生じてくる。このカメラ30の取り付けを校正せず、数2、数3のみに従った視点変換処理を行うと、炉壁11の正面に対して取り付け誤差分だけずれた視点から見た視点変換画像TIを生成してしまう。
この誤差を含んだ視点変換画像TIを張り合わせて炉壁全体画像WIの合成を行うと、視点変換画像TIの繋ぎ目で不一致を生じ、炉壁状態の観察に支障が出る。
また、本実施形態において、カメラ30には広角レンズが取り付けられているが、安価な広角レンズを取り付けた場合、レンズの外周は画像に歪曲が生じる場合がある。
【0035】
そこで、新たにカメラ30を押出機20に取り付けた後、あるいは押出機20の振動によりカメラ30の取り付けに誤差が生じた場合に、カメラ校正を行うことで、カメラ30の取り付けの校正を行う。
【0036】
一般に、ソフトウェアでカメラ校正を行う場合、校正用ターゲットを設置し、その校正用ターゲットを指標としてカメラ校正を行う。ところが、コークス炉10では炉内が高温に熱せられた状態であるので、校正用ターゲットを設置する事が出来ない。そこで、カメラ校正の指標としてレンガ目地16を用いる。以下、このレンガ目地16を指標としたカメラ校正を、レンガ目地カメラ校正と称する。
【0037】
[3.1]レンガ目地カメラ校正の原理
本実施形態において、カメラ30の光軸は、理想的には炉壁11およびカメラ30の進行方向に対して平行であるので、カメラ30の取り付け誤差をこの理想的な光軸に対するパン、チルト、ロールの3軸回転として扱う。パンとはカメラ30の左右の回転、チルトとはカメラ30の上下の回転、ロールとはカメラ30の光軸周りの回転である。
【0038】
図9に示すように、カメラ30が理想的に取り付けられた場合の炉壁11を理想炉壁IWとして定義し、3軸周りの校正を含んだ視点変換を、実際の炉壁11である実炉壁RWから理想炉壁IWへの変換と、理想炉壁IWからカメラ30のCCD面への変換とに分けて考える。
より詳細には、カメラ30のパンとチルトの校正により、実炉壁RWから理想炉壁IWへの変換を行い、ついで前述の視点変換とロールと歪曲の校正により、理想炉壁IWからCCD面への変換を行う。ここで、ロールの校正を理想炉壁IWからCCD面への変換において行うのは、この方が単純な画像の回転となり、変換が容易であるためである。
以下、各校正について説明する。
【0039】
[3.1.1]パン校正
図10(A)に示すように、パン校正前の視点変換画像TIは、奥もしくは手前方向にあおられた画像となる。パンの校正は、図10(B)に示される点A(図9における点A と同一)を通り y軸に平行な直線(コークス炉10における垂直軸)を回転軸とし、その回転軸周りの回転として行われる。したがって、パン校正後のある点(x,y)[pixel]に対応するパン校正前の点(u,v)[pixel]は以下の通りに記述できる。
【数4】
【数5】
ここで、式中の α は回転軸周りの回転量を表すパン校正パラメータである。
【0040】
[3.1.2]チルト校正
図11(A)に示すように、チルト校正前の視点変換画像TIは、画像平面内で回転した画像となる。チルトの校正は、図11(B)に示される点A を通り画像平面に垂直な直線(コークス炉10における炉幅方向の軸)を回転軸とし、その回転軸周りの回転として行われる。したがって、チルト校正後のある点(x,y)[pixel]に対応するチルト校正前の点(u,v)[pixel]は以下の通りに記述できる。
【数6】
【数7】
ここで、式中の θ は回転軸周りの回転量を表すチルト校正パラメータである。
【0041】
[3.1.3]ロール校正
図12(A)に示すように、ロール校正前の炉壁画像OIは、画像平面内で回転した画像となる。ロールの校正は、図12(B)に示される炉壁画像OIの中心を通り画像平面に垂直な直線(カメラ光軸)を回転軸とし、その回転軸周りの回転として行われる。したがって、ロール校正後のある点(x,y)[pixel]に対応するロール校正前の点(u,v)[pixel]は以下の通りに記述できる。
【数8】
【数9】
ここで、式中の φ は回転軸周りの回転量を表すロール校正パラメータである。
【0042】
[3.1.4]歪曲校正
図13に示すように、歪曲校正前の炉壁画像OIは、樽型や糸巻き型に歪曲した画像となる。歪曲の原点を炉壁画像OIの中心とすると、歪曲校正後のある点(x,y)[pixel]に対応する歪曲校正前の点(u,v)[pixel]は一般に以下の通りに近似できる。
【数10】
【数11】
ここで、式中の κ は歪曲の量を表す歪曲校正パラメータである。
【0043】
以上の数4から数11で表されるパン、チルト、ロールおよび歪曲校正と、数2および数3で表される視点変換を行うことにより、校正後の視点変換画像から炉壁画像への座標変換を算出することができる。
すなわち、視点変換画像TI上のある点(x,y)[pixel]に対応する炉壁画像OI上の点を(u,v)[pixel]とすると、x から u への変換は、歪曲校正の数10、ロール校正の数8、視点変換の数2、チルト校正の数6、パン校正の数4をこの順に、各式の出力 u を次の式の入力 x とした演算であり、y から v への変換は、歪曲校正の数11、ロール校正の数9、視点変換の数3、チルト校正の数7、パン校正の数5をこの順に、各式の出力 v を次の式の入力 y とした演算である。
【0044】
そして、数4から数11中の α、θ、φ、κ の各校正パラメータ(以下、カメラ校正パラメータとする。)の値を適切に決定することによりカメラ校正が可能となり、カメラ校正後の視点変換画像を生成することができる。
カメラ校正パラメータの値を決定するためには、後に詳説するように、カメラ校正処理をするとともに視点変換処理を行い、視点変換画像TIを生成して、その生成された視点変換画像TIを観察して誤差の影響がなくなるようにカメラ校正パラメータを調整することで行う。この際、カメラ校正パラメータを調整する指標となるのが視点変換画像に表示されるレンガ目地16である。
【0045】
[3.2]レンガ目地カメラ校正プログラム
レンガ目地カメラ校正を行うために、カメラ30で撮影した炉壁画像OIを取り込み、入力されたカメラ校正パラメータに従ってカメラ校正処理をするとともに、視点変換処理をして、炉壁画像OIから視点変換画像TIを生成し、その視点変換画像TIを表示することが可能なレンガ目地カメラ校正プログラムを用いる。
【0046】
図14に示すフローチャートおよび図15に示す画面イメージに基づいて本発明の一実施形態に係るレンガ目地カメラ校正プログラムの処理を説明する。
まず、オペレータがレンガ目地カメラ校正プログラムを起動すると、CPU51はモニタ54にレンガ目地カメラ校正画面60を表示するとともに、カメラ校正パラメータ α、θ、φ、κ を初期化する(ステップSTA1)。初期化は、カメラ校正が必要のない場合の各カメラ校正パラメータの値は 0 であるので、各カメラ校正パラメータの値を 0 とすればよい。
【0047】
つぎに、オペレータが押出機20をコークス炉10内に挿入し、レンガ目地カメラ校正画面60の炉壁画像撮影ボタン61を押下すると、カメラ30は炉壁画像OIを撮影し、CPU51はその炉壁画像OIをケーブル31を介して取り込み、メモリ52に一時記憶するとともに、画像表示部66に表示する(ステップSTA2)。
【0048】
レンガ目地カメラ校正画面60には、画像表示部66に表示する画像を、炉壁画像OIと左右の炉壁11の視点変換画像TI(右炉壁視点変換画像および左炉壁視点変換画像)とを切り替える画像切替オプションボタン62が表示されている。オペレータが画像切替オプションボタン62で一方の視点変換画像TI(図15においては右炉壁視点変換画像)を選択すると、CPU51はカメラ校正処理STA3および視点変換画像生成STA4を行い、画像表示部66に視点変換画像TIを表示する(ステップSTA5)。
この段階では、カメラ校正パラメータは初期化されている状態であるので、画像表示部66には、カメラ校正前の視点変換画像TIが表示されることになる。
【0049】
オペレータは、画像表示部66に表示された視点変換画像TIを確認し、カメラ校正が必要であるか否かを決定する(ステップSTA6)。ここで、カメラ校正の要否を決める指標となるのが、レンガ目地16であり、このレンガ目地16が垂直または水平あるいは直線なっている状態であればカメラ校正が完了となる。
【0050】
オペレータが、カメラ校正が必要であると判断した場合には、カメラ校正パラメータ調整スライドバー63を動かして、各カメラ校正パラメータを調整する(ステップSTA7)。
より詳細には、図16に示すように、画像表示部66に表示された視点変換画像TIのレンガ目地16の垂直および水平な線が歪曲している場合には、直線に表示されるように歪曲校正パラメータを調整する(図16(A)参照)。レンガ目地16の複数の垂直な線が互いに平行でない場合には、互いに平行に表示されるようにロール校正パラメータを調整する(図16(B)参照)。レンガ目地16の垂直および水平な線が傾いている場合には、レンガ目地16が垂直および水平に表示されるようにチルト校正パラメータを調整する(図16(C)参照)。レンガ目地16の複数の水平な線が互いに平行でない場合には、互いに平行に表示されるようにパン校正パラメータを調整する(図16(D)参照)。
このように、カメラ校正の指標が分かりやすいのでカメラ校正が容易にできる。
【0051】
また、画像表示部66にはマス目状のグリッド67が表示されている。このグリッド67により、レンガ目地16が垂直または水平あるいは直線になっていることが確認しやすく、カメラ校正パラメータの調整が容易となる。
【0052】
カメラ校正パラメータが変更された場合には、CPU51は変更後のカメラ校正パラメータを用いて再度カメラ校正処理STA3を行う。
カメラ校正処理STA3では、数10および数11で表される歪曲校正STA3.1、数8および数9で表されるロール校正STA3.2、数2および数3で表される視点変換STA3.3、数6および数7で表されるチルト校正STA3.4、数4および数5で表されるパン校正STA3.5をこの順で行う。
これらの処理は、炉壁画像OIもしくは視点変換画像TIのみに対する演算であるので処理を単純にすることができる。
【0053】
そして上記演算結果で座標変換テーブルを更新する(ステップSTA3.6)。視点変換画像上TIの全ての点(x,y)について座標変換テーブルを更新するため、CPU51はカメラ校正処理STA3を全ての点(x,y)について順に繰り返し実行する(ループRA1)。
【0054】
CPU51は、更新された座標変換テーブルを用いて、視点変換画像TIの各画素の色情報を炉壁画像OIの対応する画素の色情報とすることで、視点変換処理TIを生成し(ステップSTA4)、生成した視点変換画像TIを画像表示部66に表示する(ステップSTA5)。
【0055】
オペレータは、画像表示部66に表示されたカメラ校正後の視点変換画像TIを再度確認し、カメラ校正の要否を決定する(ステップSTA6)。カメラ校正が必要であると判断する場合には、再度カメラ校正パラメータ入力STA7を行い、CPU51により再度更新された視点変換画像TIを確認するという作業を繰り返す。
オペレータは、一方の炉壁の視点変換画像についてカメラ校正が完了したと判断した場合には、画像切替オプションボタン62で他方の視点変換画像に切り替え、同様のカメラ校正作業を行い、そのカメラ校正も完了したと判断した場合には、座標変換テーブル保存ボタン64を押下する。そうすると、CPU51はカメラ校正処理STA3により更新された座標変換テーブルをハードディスク53に保存する(ステップSTA8)。
最後にオペレータは終了ボタン65を押下し、CPU51はレンガ目地カメラ校正プログラムを終了する。
【0056】
通常運用時の視点変換処理においては、この更新後の座標変換テーブルを参照することで、カメラ校正後の視点変換画像TIを生成することができる。そのため、カメラ校正後の視点変換画像TIを高速に生成することができる。
【0057】
以上のように、レンガ目地カメラ校正により、カメラ30の取り付け誤差およびレンズ歪の影響のない視点変換画像TIを生成することができ、炉壁全体画像WIの合成を行っても視点変換画像TIの繋ぎ目で不一致が生じることがない。
また、レンガ目地16を指標としてカメラ校正を行うため、一般的に用いられる校正用ターゲットを高温となるコークス炉内に設置する必要がない。
さらに、モニタ54に表示された視点変換画像を確認しながらカメラ校正パラメータ決定することができるので、校正用ターゲット使用せず、画像処理の専門知識がなくても容易にカメラ校正ができる。
【0058】
[4]炉入口カメラ校正
前述のレンガ目地カメラ校正は炉壁11のレンガ目地16を指標としてカメラ校正を行うが、コークス炉10の炉入口12を指標としてもカメラ校正を行うことができる。以下、炉入口12を指標としたカメラ校正を、炉入口カメラ校正と称する。
【0059】
[4.1]炉入口カメラ校正の原理
炉入口カメラ校正は、主に以下の3つのステップで行う。
(1)まず、カメラ30の取り付け誤差を理想的な光軸に対するパン、チルト、ロールの3軸回転として、カメラ30とコークス炉10の設計値およびカメラ位置から、仮想の炉入口12を幾何学的に算出する。
(2)つぎに、実際に撮影された炉壁画像OIに表示される炉入口12と、幾何学的に算出された仮想の炉入口12が一致するようにパン、チルト、ロールの3軸回転(取り付け誤差)を決定する。
(3)最後に、決定した取り付け誤差から、炉壁11上(視点変換画像TI上)のある点に対応する炉壁画像OI上の点を幾何学的に算出し、その結果から視点変換画像TIを生成する。
以下、(1)から(3)の3つのステップについて詳説する。
【0060】
[4.1.1]ステップ(1)
図17(A)に示すように、炉壁画像OI上の位置を表す炉壁画像座標系(u,v) を、原点を炉壁画像OIの中心として定義する。また、図17(B)に示すように、コークス炉10内の位置を表す炉内座標系(XO,YO,ZO) と、カメラ30の撮像系を表すカメラ座標系(XC,YC,ZC) を定義する。炉壁座標系とカメラ座標系の原点はどちらもカメラ30の光学中心とする。炉内座標系の ZO軸は、炉壁11に対して平行、かつ、コークス炉10の水平面に対して平行であり、取り付け誤差のない理想的な状態のカメラ30の光軸を表す。そして XO軸は炉幅方向を、YO軸はコークス炉10の垂直方向を表す。カメラ座標系の ZC軸は、取り付け誤差を含んだ実際のカメラ30の光軸を表す。そして XC軸はカメラ30の左右方向を、YC軸はカメラ30の上下方向を表す。
【0061】
炉内座標系からカメラ座標系への座標変換は、3次元の回転として以下の式で表される。
【数12】
ここで、式中の η は XO軸周りの回転角度[度](取り付け誤差のチルト成分)、ζ は YO軸周りの回転角度[度](取り付け誤差のパン成分)、ξ は ZO軸周りの回転角度[度](取り付け誤差のロール成分)である。
【0062】
カメラ座標系を、カメラ30の光学中心(座標系の原点)を投影中心とする中心投影変換によりカメラ30のCCD面上に投影することで、炉壁画像座標系に座標変換する。この座標変換は、以下の式で表される。
【数13】
【数14】
ここで、ku はCCD面上での水平方向の画素スケール[mm/pixel]、kv はCCD面上での垂直方向の画素スケール[mm/pixel]である。
【0063】
[4.1.2]ステップ(2)
数12における座標変換は、未知数が取り付け誤差のη、ζ、ξの3変数であるから、変換前後で対応する点を数点調べて、連立方程式を立てて解くことにより、取り付け誤差を求めることができる。しかしながら、数12を展開すると大変複雑な式となり、実際には解析的に解く事は困難である。そこで取り付け誤差η、ζ、ξの採りうる値の範囲を限定し、探索的に解くことが好ましい。
例えば、取り付け誤差は各軸周りに±10°以内の範囲に収まると仮定すると、取り付け誤差を各軸に対して0.1°単位で全数探索しても8,000,000パターンであり、一般的なコンピュータでも数秒で探索を完了できる。さらに最適探索手法を取り入れれば、十分に短時間で探索が可能である。
【0064】
図18(A)に示すように、カメラ30を炉入口12からあるカメラ位置まで挿入した時の、炉壁画像OIに表示された炉入口12の四隅 a1,a2,a3,a4 の座標が、炉壁画像座標系でa1(a1u,a1v)、a2(a2u,a2v)、a3(a3u,a3v)、a4(a4u,a4v)であるとする。
また図18(B)に示すように、コークス炉10の設計値およびカメラ位置から算出される炉入口12の四隅 b1,b2,b3,b4 の座標が、炉内座標系でb1(b1x,b1y,b1z)、b2(b2x,b2y,b2z)、b3(b3x,b3y,b3z)、b4(b4x,b4y,b4z)であるとする。
【0065】
取り付け誤差がある場合に、炉内座標系での炉入口12の四隅の座標 b1,b2,b3,b4 を、数12を用い η=0、ζ=0、ξ=0 としてカメラ座標系へ変換し、さらに数13、数14を用い炉壁画像座標系へ変換し、これをc1(c1u,c1v)、c2(c2u,c2v)、c3(c3u,c3v)、c4(c4u,c4v)とすると、a1,a2,a3,a4 と c1,c2,c3,c4 にはずれが生じるはずである。
そこで、a1,a2,a3,a4 と c1,c2,c3,c4 のずれが最小となるη、ζ、ξを探索することにより取り付け誤差を求める。
ここで、a1,a2,a3,a4 と c1,c2,c3,c4 のずれを評価するための評価値は、例えば炉壁画像座標系における炉入口12の四隅の各座標のずれの二乗和とすればよい。この場合、この評価値を最小化する取り付け誤差η、ζ、ξが解となる。
【0066】
[4.1.3]ステップ(3)
取り付け誤差η、ζ、ξを決定する事により、炉内座標系での任意の点が炉壁画像座標系でのどの点に対応するかを、数12から数14を用いて求めることができる。
そこで、炉内座標系における炉壁11上の視点変換画像TIに相当するエリアを、視点変換画像TIの画素に対応するピッチで走査しながら、炉壁画像座標系での対応する座標を演算し、視点変換画像TIの各画素の色情報を炉壁画像OIの対応する画素の色情報とすることで、視点変換画像TIを生成する。
【0067】
[4.2]炉入口カメラ校正プログラム
つぎに、図19に示すフローチャートに基づいて本発明の一実施形態に係る炉入口カメラ校正プログラムの処理を説明する。
まず、CPU51は取り付け誤差パラメータη、ζ、ξを初期化する(ステップSTB1)。ここで、η はチルト取り付け誤差パラメータ、ζ パン取り付け誤差パラメータ、ξ はロール取り付け誤差パラメータである。初期化は、取り付け誤差がない状態であるとして各値を 0 としてもよいし、以前に実行した炉入口カメラ校正プログラムにおいて取り付け誤差パラメータの結果を記憶しているのであれば、その値で初期化してもよい。あるいは、ステップSTB4における取り付け誤差探索の探索方法に適した値に初期化を行う。
【0068】
つぎに、オペレータが押出機20をコークス炉10内に挿入し、カメラ30で炉壁画像OIを撮影する。CPU51はその炉壁画像OIと、エンコーダ40で計測されたカメラ位置情報を、ケーブル31、41を介して取り込み、メモリ52に一時記憶する(ステップSTB2)。
【0069】
CPU51は、メモリ52に一時記憶された炉壁画像OIに対して、カメラ30に取り付けられたレンズの歪曲校正を行う(ステップSTB3)。歪曲校正は、歪曲の原点を炉壁画像OIの中心とし、歪曲校正後のある点(u,v)[pixel]に対応する歪曲校正前の点(x,y)[pixel]を表した以下の式を用いた座標変換により行う。
【数15】
【数16】
ここで、式中の κ は歪曲の量を表す歪曲校正パラメータである。この κ は、炉壁画像OIにおいて炉入口12や炉壁11のレンガ目地16などが直線として表示されるように解析的に決定する。
【0070】
CPU51は、歪曲校正後の炉壁画像OIを画像解析し、炉壁画像座標系における炉入口12の四隅の座標を検出する(ステップSTB4)。あるいは、CPU51は、炉壁画像OIをモニタ54に表示し、オペレータが炉入口12の四隅を指定する事で炉壁画像座標系での座標を決定する実施形態としてもよい。
画像解析により座標を検出した場合には、オペレータの作業が少なくなるので、カメラ校正の作業が容易となる。一方、オペレータが指定する場合には、画像解析の必要がないので、処理を単純にすることができる。
【0071】
つぎにCPU51は、あらかじめ設定されたコークス炉10の設計値およびメモリ52に一時記憶されたカメラ位置から炉内座標系での仮想の炉入口12の四隅の座標を算出する。そして、その炉内座標系での座標を、数12から数14を用いて炉壁画像座標系へ変換し、ステップSTB4で決定された座標とのずれが最小となる取り付け誤差パラメータの値を決定する(ステップSTB5)。
ここで前述のとおり、ステップSTB5の処理は、取り付け誤差パラメータη、ζ、ξを順次変化させながら、ずれが最小となる値を探索する。そのため数12から数14を解析的に解く必要がなく、処理を単純にすることができる。
【0072】
CPU51は、ステップSTB5で決定された取り付け誤差パラメータη、ζ、ξの値と数12から数14を用いて、炉内座標系における炉壁11上の視点変換画像TIの全ての点 (x,y) に相当する座標について走査しながら、炉壁画像座標系での対応する座標 (u,v) を演算し、座標変換テーブルを生成する。そして、生成した座標変換テーブルをハードディスク53に保存する(ステップSTB6)。ここで、取り付け誤差パラメータや歪曲校正パラメータの値もハードディスク53に保存する実施形態としてもよい。
【0073】
通常運用時の視点変換処理においては、この更新後の座標変換テーブルを参照することで、カメラ校正後の視点変換画像TIを生成することができる。そのため、カメラ校正後の視点変換画像TIを高速に生成することができる。
また、取り付け誤差パラメータを保存する場合には、ハードウェア側でカメラの取り付けを調整する場合に、取り付け誤差パラメータを調整の参考とすることができ、調整作業が容易となる。
【0074】
以上のように、炉入口カメラ校正により、カメラ30の取り付け誤差の影響のない視点変換画像TIを生成することができ、炉壁全体画像WIの合成を行っても視点変換画像TIの繋ぎ目で不一致が生じることがない。
また、炉入口12を指標としてカメラ校正を行うため、一般的に用いられる校正用ターゲットを高温となるコークス炉内に設置する必要がない。そして、校正用ターゲットを用いないため画像処理の専門知識がなくてもカメラ校正ができる。
さらに、オペレータの操作が少ないので、カメラ校正の作業が容易である。
【符号の説明】
【0075】
OI 炉壁画像
TI 視点変換画像
WI 炉壁全体画像
V 視野
O 視野範囲外領域
10 コークス炉
11 炉壁
12 炉入口
16 レンガ目地
20 押出機
30 カメラ
40 エンコーダ
50 コンピュータ
60 レンガ目地カメラ校正画面
【特許請求の範囲】
【請求項1】
カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付けを校正するためのカメラ校正方法であって、
前記コークス炉の形状を指標としてカメラ校正を行う
ことを特徴とするコークス炉壁観察装置のカメラ校正方法。
【請求項2】
カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付けを校正するためのカメラ校正方法であって、
前記炉壁のレンガ目地を指標としてカメラ校正を行う
ことを特徴とするコークス炉壁観察装置のレンガ目地カメラ校正方法。
【請求項3】
前記カメラで前記炉壁画像を撮影し、
該炉壁画像を視点変換処理して前記視点変換画像を生成し、
該視点変換画像に表示される前記レンガ目地を指標としてカメラ校正を行う
ことを特徴とする請求項2記載のコークス炉壁観察装置のレンガ目地カメラ校正方法。
【請求項4】
前記カメラの左右の回転の量を、
前記レンガ目地の複数の水平な線が、前記視点変換画像において互いに平行に表示されるように調整を行う
ことを特徴とする請求項3記載のコークス炉壁観察装置のレンガ目地カメラ校正方法。
【請求項5】
前記カメラの上下の回転の量を、
前記レンガ目地の垂直および水平な線が、前記視点変換画像において垂直および水平に表示されるように調整を行う
ことを特徴とする請求項3または4記載のコークス炉壁観察装置のレンガ目地カメラ校正方法。
【請求項6】
前記カメラの光軸周りの回転の量を、
前記レンガ目地の複数の垂直な線が、前記視点変換画像において互いに平行に表示されるように調整を行う
ことを特徴とする請求項3,4または5記載のコークス炉壁観察装置のレンガ目地カメラ校正方法。
【請求項7】
前記カメラに取り付けられたレンズの歪曲の量を、
前記レンガ目地の垂直および水平な線が、前記視点変換画像において直線に表示されるように調整を行う
ことを特徴とする請求項3,4,5または6記載のコークス炉壁観察装置のレンガ目地カメラ校正方法。
【請求項8】
コークス炉内に挿入されたカメラで撮影された、該コークス炉内の炉壁の斜視像である炉壁画像を取り込むことのできるコンピュータに、前記カメラの取り付けを校正するための処理を行わせるプログラムであって、
前記炉壁画像を取り込み、
入力されたカメラ校正の量を表すカメラ校正パラメータに従ってカメラ校正処理をするとともに、視点変換処理をして、前記炉壁画像から校正後の前記炉壁を正面から見た視点変換画像を生成し、
該校正後の視点変換画像を表示する
処理をコンピュータに行わせる
ことを特徴とするコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項9】
前記カメラ校正パラメータの1つが、前記カメラの左右の回転の量を表すパン校正パラメータであり、
入力された前記パン校正パラメータの値に従って、前記炉壁画像から前記カメラの左右の回転を校正した前記校正後の視点変換画像を生成する
ことを特徴とする請求項8記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項10】
前記カメラの光学中心から前記炉壁上へ垂線を下ろした時の交点を通る前記コークス炉の垂直軸を回転軸とし、該回転軸周りの回転量が前記パン校正パラメータであり、
前記炉壁画像を視点変換処理して視点変換画像を生成した後に、
入力された前記パン校正パラメータの値に従って、前記視点変換画像を前記回転軸周りに回転させた前記校正後の視点変換画像を生成する
ことを特徴とする請求項9記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項11】
前記カメラ校正パラメータの1つが、前記カメラの上下の回転の量を表すチルト校正パラメータであり、
入力された前記チルト校正パラメータの値に従って、前記炉壁画像から前記カメラの上下の回転を校正した前記校正後の視点変換画像を生成する
ことを特徴とする請求項8または9記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項12】
前記カメラの光学中心から前記炉壁上へ垂線を下ろした時の交点を通る前記コークス炉の炉幅方向の軸を回転軸とし、該回転軸周りの回転量を前記チルト校正パラメータとし、
前記炉壁画像を視点変換処理して視点変換画像を生成した後に、
入力された前記チルト校正パラメータの値に従って、前記視点変換画像を前記回転軸周りに回転させた前記校正後の視点変換画像を生成する
ことを特徴とする請求項11記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項13】
前記カメラ校正パラメータの1つが、前記カメラの光軸周りの回転の量を表すロール校正パラメータであり、
入力された前記ロール校正パラメータの値に従って、前記炉壁画像から前記カメラの光軸周りの回転を校正した前記校正後の視点変換画像を生成する
ことを特徴とする請求項8,9または11記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項14】
前記カメラの光軸を回転軸とし、該回転軸周りの回転量を前記ロール校正パラメータとし、
入力された前記ロール校正パラメータの値に従って、前記炉壁画像を前記回転軸周りに回転させた校正後の炉壁画像を生成した後に、
該校正後の炉壁画像を視点変換処理して前記校正後の視点変換画像を生成する
ことを特徴とする請求項13記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項15】
前記カメラ校正パラメータの1つが、前記カメラに取り付けられたレンズの歪曲の量を表す歪曲校正パラメータであり、
入力された前記歪曲校正パラメータの値に従って、前記炉壁画像から前記カメラのレンズの歪を校正した前記校正後の視点変換画像を生成する
ことを特徴とする請求項8,9,11または13記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項16】
前記カメラに取り付けられたレンズの歪曲の量を前記歪曲校正パラメータとし、
入力された前記歪曲校正パラメータの値に従って、前記炉壁画像の歪曲を調整した校正後の炉壁画像を生成した後に、
該校正後の炉壁画像を視点変換処理して前記校正後の視点変換画像を生成する
ことを特徴とする請求項15記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項17】
前記校正後の視点変換画像の前面に、マス目状のグリッドを表示する
ことを特徴とする請求項8、9、10、11、12、13,14,15または16記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項18】
前記カメラ校正パラメータを用いて、前記校正後の視点変換画像から前記炉壁画像への座標変換の情報を算出し、
該座標変換の情報を記憶装置に保存する
ことを特徴とする請求項8、9、10、11、12、13,14,15,16または17記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項19】
カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付けを校正するためのカメラ校正方法であって、
前記コークス炉の炉入口を指標としてカメラ校正を行う
ことを特徴とするコークス炉壁観察装置の炉入口カメラ校正方法。
【請求項20】
前記カメラで実際の炉壁画像を撮影し、
前記コークス炉の設計値と、前記カメラの前記コークス炉内におけるカメラ位置から仮想の炉入口を算出し、
前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するようにカメラ校正を行う
ことを特徴とする請求項19記載のコークス炉壁観察装置の炉入口カメラ校正方法。
【請求項21】
前記カメラの前記取り付け誤差がない状態からの左右の回転の量を、
前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するように調整を行う
ことを特徴とする請求項20記載のコークス炉壁観察装置の炉入口カメラ校正方法。
【請求項22】
前記カメラの前記取り付け誤差がない状態からの上下の回転の量を、
前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するように調整を行う
ことを特徴とする請求項20または21記載のコークス炉壁観察装置の炉入口カメラ校正方法。
【請求項23】
前記カメラの前記取り付け誤差がない状態からの光軸周りの回転の量を、
前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するように調整を行う
ことを特徴とする請求項20,21または22記載のコークス炉壁観察装置の炉入口カメラ校正方法。
【請求項24】
前記カメラに取り付けられたレンズの歪曲の量を、
前記炉入口または前記炉壁のレンガ目地が、前記実際の炉壁画像において直線に表示されるように調整を行う
ことを特徴とする請求項20,21,22または23記載のコークス炉壁観察装置の炉入口カメラ校正方法。
【請求項25】
コークス炉内に挿入されたカメラで撮影された、該コークス炉内の炉壁の斜視像である炉壁画像と、前記カメラの前記コークス炉内におけるカメラ位置を取り込むことのできるコンピュータに、前記カメラの取り付けを校正するための処理を行わせるプログラムであって、
前記炉壁画像と前記カメラ位置を取り込み、
前記炉壁画像に表示される前記炉入口の座標を決定し、
前記コークス炉の設計値と、前記カメラ位置から仮想の炉入口の座標を算出し、
前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標が一致する、前記カメラの取り付け誤差を表す取り付け誤差パラメータを決定する
処理をコンピュータに行わせる
ことを特徴とするコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項26】
前記炉壁画像を画像解析し、前記炉壁画像に表示される前記炉入口の座標を検出する
ことを特徴とする請求項25記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項27】
前記炉壁画像を表示し、
前記炉壁画像における座標の指定を受け、
該指定された座標を、前記炉壁画像に表示される前記炉入口の座標とする
ことを特徴とする請求項25記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項28】
前記取り付け誤差パラメータを順次変化させながら、
前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標が一致する、前記取り付け誤差パラメータを探索する
ことを特徴とする請求項25、26または27記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項29】
前記取り付け誤差パラメータの1つが、前記カメラの前記取り付け誤差がない状態からの左右の回転の量を表すパン取り付け誤差パラメータである
ことを特徴とする請求項25,26,27または28記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項30】
前記取り付け誤差パラメータの1つが、前記カメラの前記取り付け誤差がない状態からの上下の回転の量を表すチルト取り付け誤差パラメータである
ことを特徴とする請求項25,26,27,28または29記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項31】
前記取り付け誤差パラメータの1つが、前記カメラの前記取り付け誤差がない状態からの光軸周りの回転の量を表すロール取り付け誤差パラメータである
ことを特徴とする請求項25,26,27,28,29または30記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項32】
前記炉壁画像に表示される前記炉入口または前記炉壁のレンガ目地が直線となる、前記カメラに取り付けられたレンズの歪曲の量を決定する
ことを特徴とする請求項25,26,27,28,29,30または31記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項33】
前記取り付け誤差パラメータを用いて、校正後の前記炉壁を正面から見た視点変換画像から前記炉壁画像への座標変換の情報を算出し、
該座標変換の情報を記憶装置に保存する
ことを特徴とする請求項25,26,27,28,29,30,31または32記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項34】
前記取り付け誤差パラメータを記憶装置に保存する
ことを特徴とする請求項25,26,27,28,29,30,31,32または33記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項1】
カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付けを校正するためのカメラ校正方法であって、
前記コークス炉の形状を指標としてカメラ校正を行う
ことを特徴とするコークス炉壁観察装置のカメラ校正方法。
【請求項2】
カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付けを校正するためのカメラ校正方法であって、
前記炉壁のレンガ目地を指標としてカメラ校正を行う
ことを特徴とするコークス炉壁観察装置のレンガ目地カメラ校正方法。
【請求項3】
前記カメラで前記炉壁画像を撮影し、
該炉壁画像を視点変換処理して前記視点変換画像を生成し、
該視点変換画像に表示される前記レンガ目地を指標としてカメラ校正を行う
ことを特徴とする請求項2記載のコークス炉壁観察装置のレンガ目地カメラ校正方法。
【請求項4】
前記カメラの左右の回転の量を、
前記レンガ目地の複数の水平な線が、前記視点変換画像において互いに平行に表示されるように調整を行う
ことを特徴とする請求項3記載のコークス炉壁観察装置のレンガ目地カメラ校正方法。
【請求項5】
前記カメラの上下の回転の量を、
前記レンガ目地の垂直および水平な線が、前記視点変換画像において垂直および水平に表示されるように調整を行う
ことを特徴とする請求項3または4記載のコークス炉壁観察装置のレンガ目地カメラ校正方法。
【請求項6】
前記カメラの光軸周りの回転の量を、
前記レンガ目地の複数の垂直な線が、前記視点変換画像において互いに平行に表示されるように調整を行う
ことを特徴とする請求項3,4または5記載のコークス炉壁観察装置のレンガ目地カメラ校正方法。
【請求項7】
前記カメラに取り付けられたレンズの歪曲の量を、
前記レンガ目地の垂直および水平な線が、前記視点変換画像において直線に表示されるように調整を行う
ことを特徴とする請求項3,4,5または6記載のコークス炉壁観察装置のレンガ目地カメラ校正方法。
【請求項8】
コークス炉内に挿入されたカメラで撮影された、該コークス炉内の炉壁の斜視像である炉壁画像を取り込むことのできるコンピュータに、前記カメラの取り付けを校正するための処理を行わせるプログラムであって、
前記炉壁画像を取り込み、
入力されたカメラ校正の量を表すカメラ校正パラメータに従ってカメラ校正処理をするとともに、視点変換処理をして、前記炉壁画像から校正後の前記炉壁を正面から見た視点変換画像を生成し、
該校正後の視点変換画像を表示する
処理をコンピュータに行わせる
ことを特徴とするコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項9】
前記カメラ校正パラメータの1つが、前記カメラの左右の回転の量を表すパン校正パラメータであり、
入力された前記パン校正パラメータの値に従って、前記炉壁画像から前記カメラの左右の回転を校正した前記校正後の視点変換画像を生成する
ことを特徴とする請求項8記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項10】
前記カメラの光学中心から前記炉壁上へ垂線を下ろした時の交点を通る前記コークス炉の垂直軸を回転軸とし、該回転軸周りの回転量が前記パン校正パラメータであり、
前記炉壁画像を視点変換処理して視点変換画像を生成した後に、
入力された前記パン校正パラメータの値に従って、前記視点変換画像を前記回転軸周りに回転させた前記校正後の視点変換画像を生成する
ことを特徴とする請求項9記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項11】
前記カメラ校正パラメータの1つが、前記カメラの上下の回転の量を表すチルト校正パラメータであり、
入力された前記チルト校正パラメータの値に従って、前記炉壁画像から前記カメラの上下の回転を校正した前記校正後の視点変換画像を生成する
ことを特徴とする請求項8または9記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項12】
前記カメラの光学中心から前記炉壁上へ垂線を下ろした時の交点を通る前記コークス炉の炉幅方向の軸を回転軸とし、該回転軸周りの回転量を前記チルト校正パラメータとし、
前記炉壁画像を視点変換処理して視点変換画像を生成した後に、
入力された前記チルト校正パラメータの値に従って、前記視点変換画像を前記回転軸周りに回転させた前記校正後の視点変換画像を生成する
ことを特徴とする請求項11記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項13】
前記カメラ校正パラメータの1つが、前記カメラの光軸周りの回転の量を表すロール校正パラメータであり、
入力された前記ロール校正パラメータの値に従って、前記炉壁画像から前記カメラの光軸周りの回転を校正した前記校正後の視点変換画像を生成する
ことを特徴とする請求項8,9または11記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項14】
前記カメラの光軸を回転軸とし、該回転軸周りの回転量を前記ロール校正パラメータとし、
入力された前記ロール校正パラメータの値に従って、前記炉壁画像を前記回転軸周りに回転させた校正後の炉壁画像を生成した後に、
該校正後の炉壁画像を視点変換処理して前記校正後の視点変換画像を生成する
ことを特徴とする請求項13記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項15】
前記カメラ校正パラメータの1つが、前記カメラに取り付けられたレンズの歪曲の量を表す歪曲校正パラメータであり、
入力された前記歪曲校正パラメータの値に従って、前記炉壁画像から前記カメラのレンズの歪を校正した前記校正後の視点変換画像を生成する
ことを特徴とする請求項8,9,11または13記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項16】
前記カメラに取り付けられたレンズの歪曲の量を前記歪曲校正パラメータとし、
入力された前記歪曲校正パラメータの値に従って、前記炉壁画像の歪曲を調整した校正後の炉壁画像を生成した後に、
該校正後の炉壁画像を視点変換処理して前記校正後の視点変換画像を生成する
ことを特徴とする請求項15記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項17】
前記校正後の視点変換画像の前面に、マス目状のグリッドを表示する
ことを特徴とする請求項8、9、10、11、12、13,14,15または16記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項18】
前記カメラ校正パラメータを用いて、前記校正後の視点変換画像から前記炉壁画像への座標変換の情報を算出し、
該座標変換の情報を記憶装置に保存する
ことを特徴とする請求項8、9、10、11、12、13,14,15,16または17記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
【請求項19】
カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付けを校正するためのカメラ校正方法であって、
前記コークス炉の炉入口を指標としてカメラ校正を行う
ことを特徴とするコークス炉壁観察装置の炉入口カメラ校正方法。
【請求項20】
前記カメラで実際の炉壁画像を撮影し、
前記コークス炉の設計値と、前記カメラの前記コークス炉内におけるカメラ位置から仮想の炉入口を算出し、
前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するようにカメラ校正を行う
ことを特徴とする請求項19記載のコークス炉壁観察装置の炉入口カメラ校正方法。
【請求項21】
前記カメラの前記取り付け誤差がない状態からの左右の回転の量を、
前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するように調整を行う
ことを特徴とする請求項20記載のコークス炉壁観察装置の炉入口カメラ校正方法。
【請求項22】
前記カメラの前記取り付け誤差がない状態からの上下の回転の量を、
前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するように調整を行う
ことを特徴とする請求項20または21記載のコークス炉壁観察装置の炉入口カメラ校正方法。
【請求項23】
前記カメラの前記取り付け誤差がない状態からの光軸周りの回転の量を、
前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口が一致するように調整を行う
ことを特徴とする請求項20,21または22記載のコークス炉壁観察装置の炉入口カメラ校正方法。
【請求項24】
前記カメラに取り付けられたレンズの歪曲の量を、
前記炉入口または前記炉壁のレンガ目地が、前記実際の炉壁画像において直線に表示されるように調整を行う
ことを特徴とする請求項20,21,22または23記載のコークス炉壁観察装置の炉入口カメラ校正方法。
【請求項25】
コークス炉内に挿入されたカメラで撮影された、該コークス炉内の炉壁の斜視像である炉壁画像と、前記カメラの前記コークス炉内におけるカメラ位置を取り込むことのできるコンピュータに、前記カメラの取り付けを校正するための処理を行わせるプログラムであって、
前記炉壁画像と前記カメラ位置を取り込み、
前記炉壁画像に表示される前記炉入口の座標を決定し、
前記コークス炉の設計値と、前記カメラ位置から仮想の炉入口の座標を算出し、
前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標が一致する、前記カメラの取り付け誤差を表す取り付け誤差パラメータを決定する
処理をコンピュータに行わせる
ことを特徴とするコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項26】
前記炉壁画像を画像解析し、前記炉壁画像に表示される前記炉入口の座標を検出する
ことを特徴とする請求項25記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項27】
前記炉壁画像を表示し、
前記炉壁画像における座標の指定を受け、
該指定された座標を、前記炉壁画像に表示される前記炉入口の座標とする
ことを特徴とする請求項25記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項28】
前記取り付け誤差パラメータを順次変化させながら、
前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標が一致する、前記取り付け誤差パラメータを探索する
ことを特徴とする請求項25、26または27記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項29】
前記取り付け誤差パラメータの1つが、前記カメラの前記取り付け誤差がない状態からの左右の回転の量を表すパン取り付け誤差パラメータである
ことを特徴とする請求項25,26,27または28記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項30】
前記取り付け誤差パラメータの1つが、前記カメラの前記取り付け誤差がない状態からの上下の回転の量を表すチルト取り付け誤差パラメータである
ことを特徴とする請求項25,26,27,28または29記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項31】
前記取り付け誤差パラメータの1つが、前記カメラの前記取り付け誤差がない状態からの光軸周りの回転の量を表すロール取り付け誤差パラメータである
ことを特徴とする請求項25,26,27,28,29または30記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項32】
前記炉壁画像に表示される前記炉入口または前記炉壁のレンガ目地が直線となる、前記カメラに取り付けられたレンズの歪曲の量を決定する
ことを特徴とする請求項25,26,27,28,29,30または31記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項33】
前記取り付け誤差パラメータを用いて、校正後の前記炉壁を正面から見た視点変換画像から前記炉壁画像への座標変換の情報を算出し、
該座標変換の情報を記憶装置に保存する
ことを特徴とする請求項25,26,27,28,29,30,31または32記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【請求項34】
前記取り付け誤差パラメータを記憶装置に保存する
ことを特徴とする請求項25,26,27,28,29,30,31,32または33記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2011−126990(P2011−126990A)
【公開日】平成23年6月30日(2011.6.30)
【国際特許分類】
【出願番号】特願2009−286423(P2009−286423)
【出願日】平成21年12月17日(2009.12.17)
【出願人】(502369746)住友重機械プロセス機器株式会社 (29)
【Fターム(参考)】
【公開日】平成23年6月30日(2011.6.30)
【国際特許分類】
【出願日】平成21年12月17日(2009.12.17)
【出願人】(502369746)住友重機械プロセス機器株式会社 (29)
【Fターム(参考)】
[ Back to top ]