工作物を取り扱い、組み立て、または機械加工するための自動化された機械を作動させるためのデバイス
【課題】工作機械の、より直感的でフレキシブルで、効率的で、更に安全な作動または制御を可能にする。
【解決手段】作動装置２０は、マニュアル操作アクションを入力するための第１入力装置２１と、無接触操作アクションを入力するための第２入力装置２２とを備え、無接触操作アクションを入力するための第２入力装置２２は、前記オペレータの無接触アクションを検出するためのセンサシステム５０と、このセンサシステム５０により検出されるオペレータの無接触アクションにより、オペレータのコマンドトリガー操作アクションを検出するための検出ユニット６０とを備える。
【解決手段】作動装置２０は、マニュアル操作アクションを入力するための第１入力装置２１と、無接触操作アクションを入力するための第２入力装置２２とを備え、無接触操作アクションを入力するための第２入力装置２２は、前記オペレータの無接触アクションを検出するためのセンサシステム５０と、このセンサシステム５０により検出されるオペレータの無接触アクションにより、オペレータのコマンドトリガー操作アクションを検出するための検出ユニット６０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
工作物（または加工物）を取り扱い、組み立て、または機械加工するための自動化された機械、特に数値制御工作機械を作動させるためのデバイスに関する。この作動デバイスは、機械の機械機能を制御および／またはモニタするグラフィックユーザーインターフェースをディスプレイするためのスクリーンを有するディスプレイ装置と、機械のオペレータによる機械の機械機能および／またはグラフィックユーザーインターフェースの機能を制御するコマンドトリガー、とくにマニュアル操作アクションを入力するための作動装置と、オペレータによる機械の機械機能および／またはグラフィックユーザーインターフェースの機能を制御するための関連する制御コマンドとなるようにコマンドトリガー操作アクションを実施するためのコントローラとを備える。
【０００２】
更に本発明は、自動化された機械を作動させるための上記デバイスを含む加工部品を取り扱い、組み立て、または機械加工するための自動化された機械、特に数値制御工作機械に関する。
【背景技術】
【０００３】
公知の作動デバイスを使用することにより、従来技術で公知の、工作物を取り扱い、組み立て、または機械加工するための機械、例えば数値制御工作機械の作動時または機械制御時には、機械のオペレータステーションで実行される、純粋にマニュアル操作アクションによる操作が行われる。ここで、マニュアルで操作可能な操作要素、例えばアルファニューメニカルキーボード、機械固有の動作のための更に別の入力キー、制御ダイアル、ソフトキー、コンピュータマウスなどが使用され、機械のコントローラへの命令を伝えるようになっている。
【０００４】
マニュアル操作アクションのフィードバックは、オペレータステーションにあるスクリーン上のグラフィックユーザーインターフェースを通して実質的に出力されるが、オプションとして信号ライトを介して出力することもできる。機械のマニホールド制御またはモニタ機能、およびパラメータ変更から機械の軸の変位までのレンジおよび機械の機能の切り替えに対して操作アクションを行うことができる。
【０００５】
オペレータステーションによる工作物を取り扱い、組み立て、または機械加工するための自動化された数値制御機械のマニュアル制御に関し、例えば従来技術ではシーメンス社のＣＮＣ工作機械のためのＳＩＮＹＭＥＲＩＫ制御が知られている。この制御は、工作機械の機能を制御し、オペレータによりグラフィックユーザーインターフェースの機能を制御するよう、工作物を取り扱い、組み立て、または機械加工するための自動化された機械において、オペレータステーションをセットアップすることを可能にするグラフィックユーザーインターフェースを含むソフトウェアを提供している。
【０００６】
従来技術では、オペレータの操作アクションは次のように実行される。機械のオペレータは、コントローラまたは作動デバイスによって提供される制御または作動機能の範囲内で機械のコントローラへ何を伝えたいか、またはコントローラもしくは個々の軸およびアクチュエータが何をすべきかの考えを抱いている。例えば、オペレータがグラフィックユーザーインターフェースの所定のスクリーンマスクを見たり、または工作機械、アセンブリデバイス、グリッパーまたは同等物が工作物に対して移動するよう命令したい場合がある。この制御過程では、オペレータは、対応する操作フィールドにおいて特定の操作要素またはあるシーケンスの操作要素を直接およびマニュアルで操作することにより、オペレータは操作アクションを伝える。
【０００７】
作動速度はそれぞれの操作フィールドがどれだけ人間工学的に設計されているか、更にオペレータがその操作フィールドをどれだけ巧みに取り扱うかに応じて決まる。グラフィックユーザーインターフェースの種々のスクリーンマスクの切り換えは、ほとんどいわゆるソフトキー、すなわちスクリーンに隣接するキーを使って実行され、そのキーの機能はそれぞれのマスクに応じて変化し、それぞれの機能は、キーに直接隣接するスクリーン上に示される。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
オペレータは、操作フィールドのキーを押す前に常にまず操作すべきキーがどこにあるかを見なければならず、オペレータが正しいキーを押すかどうかも見なければならない。このケースでは、制御操作フィールドでの操作は、直感的には実行できず、特に操作要素とアイコンタクトをしないで実行することはできない。
【０００９】
更に、機械自体のオペレータステーションでは、オペレータは操作アクションを直接マニュアルでしか実行できないという問題が生じる。機械の機械加工スペース内またはオペレータステーションからある距離にある機械の部品におけるメンテナンス作業をする場合に、例えば機械内の機械加工スペース内を見るために機械に接近するとき、オペレータが操作アクションを実行することはできない。人および／または機械に対する危険性があるような危険な状況が生じた際に、安全性の観点に起因して必要とされる、機械における迅速な緊急停止をトリガーできる可能性さえも、マシンの緊急停止スイッチを直接かつマニュアルで操作することにより可能となるだけである。かかる状況が生じたときに、オペレータが緊急停止スイッチの近くにいない場合、オペレータは貴重な時間を失うことになる。その理由は、オペレータは必要な緊急停止をトリガーする前に、まず緊急停止スイッチの所までに行かなければならないからである。
【００１０】
本発明の目的は、操作要素に触れるだけで、作動デバイスにおいて常に直接かつマニュアルで実行されるオペレータの操作アクションを行う、従来技術で知られている工作物を取り扱い、組み立て、または機械加工するための自動化機械を作動させるための作動デバイスに関し、機械の、より直感的でフレキシブルで、効率的で、更に安全な作動または制御を可能にするよう、かかる作動デバイスでの作動性および作動可能性を改良することにある。
【課題を解決するための手段】
【００１１】
本発明の上記目的を達成するために、工作物を取り扱い、組み立て、または機械加工するための自動化機械を作動させるための独立請求項に記載のデバイスだけでなく、かかるデバイスを含む工作物を取り扱い、組み立て、または機械加工するための自動化された機械も提案する。従属請求項は、本発明の好ましい実施形態に関するものである。
【００１２】
本発明は、マニュアルで実行されるオペレータの操作アクションにより、工作物を取り扱い、組み立てまたは機械加工するための自動化された機械を作動させるための従来技術から公知の作動デバイスのマニュアル操作の外に、作動性を補充する別の作動可能な選択肢を提供するという概念に基づくものであり、この概念では機械の、より直感的、フレキシブル、効率的かつより安全な作動または制御を可能にするよう、機械を作動したり制御するための無接触操作アクションとしてのオペレータの無接触アクションを検出し、認識できる。
【００１３】
この過程において、オペレータの無接触操作アクションを、例えば光学的に、および／または音響的に、適宜検出することができる。従って、本発明によれば、従来の直接かつマニュアル操作の可能性の外に、別の無接触操作の可能性を提供でき、これによって機械の作動性または制御性全体をオペレータに対して実質的により直感的、フレキシブル、効率的およびより安全なものにできる。
【００１４】
従来のマニュアル操作の可能性と、本発明の追加的な無接触操作の可能性とを組み合わせることが可能になったので、オペレータの好みに従い、機械の作動および制御もオペレータがよりフレキシブルかつ効率的に有利に実行することが可能となる。更に、無接触操作アクションによる作動は、基本的にはより直感的となるように設計でき、ここで、自分にとってより直感的であるように見える場合に、マニュアル操作アクションまたは対応する無接触操作アクションのいずれかを、オペレータは自分の直感に応じて実行できる。
【００１５】
本発明によれば、より効率的で、かつ直感的な操作も提供できる。その理由は、操作前のマニュアル操作アクションと対照的に、オペレータはまず外観によりマニュアルで操作できる操作要素を探す必要はなく、無接触操作アクションを直接実行できるからである。これと同時に、オペレータがそれぞれの操作アクションを実行するとき、特に手のジェスチャーのような操作アクションの光学的認識または音響的操作アクションの検出を使用するときに、オペレータにとって関心があるように見えるグラフィックユーザーインターフェース上の情報を見ることができるか、または作動性の安全性、効率性およびフレキシビリティを更に大きく改善できるよう、機械加工スペース内を見ることもできる。
【００１６】
本発明によれば、機械を作動させるためにオペレータは、もはやオペレータステーションで直接操作アクションを実行するということだけに限定されず、オペレータは自らがオペレータステーションに直接立っていないときでも、提供される無接触操作の可能性を使用することにより、操作アクションを実行できるというさらに重要な利点が得られる。このことにより、オペレータは特に機械を操作するときに、オペレータステーションにある直接マニュアル動作に適した位置から歩いて離れることができ、オプションとして機械の部品上の、または機械加工スペース内の良好な視界を得ることができ、更に機械を作動させ、または制御するための無接触操作アクションを実行することも可能となる。このことは、危険な状況が生じたときの安全性に適した、機械上の緊急停止スイッチをトリガーするのに特に適している。その理由は、オペレータは時間をかけて最も近い緊急停止スイッチの所まで行く必要はなく、必要であれば無接触状態で直接かつ迅速に停止スイッチをトリガーできるからである。
【００１７】
本発明の意義におけるオペレータの光学的に検出可能な無接触操作アクションはオペレータが片手または両手を使って実行できる、コンピュータで実施される光学的画像処理方法により好ましく認識できる、オペレータの所定のジェスチャーアクション、およびオペレータが自分の顔で実行できる、コンピュータで実行される光学的画像処理方法によって好ましく認識できるオペレータが行う模倣操作アクションを含む。かかる模倣（まね）をする操作アクションは、例えば眼の動きにより適当な態様（例えば見ている方向の検出、まぶたの動きの検出）により実現できる。
【００１８】
本発明の意義における、オペレータの音響的に検出可能な無接触操作アクションは、コンピュータで実施される音声認識を使って認識できるような所定の音声コマンドを含むことが好ましい。しかしながら、これら操作アクションは、好ましい実施形態に従い、人の叫び声または悲鳴の声の大きさを検出することだけを含んでもよい。これにより、例えば声の大きさの限界値よりも大きい人の叫びおよび／または限界値を超える時間的長さの人の叫びが検出されるとすぐに、機械において緊急停止をした場合、特に機械における緊急停止をトリガーするための操作アクションに対する、機械における安全性をかなり改善できる。従って、オペレータが緊急停止のトリガーを必要とするような危険な状況におかれ、同時に機械の緊急停止スイッチに達することができない場合でも、緊急停止をトリガーできる。
【００１９】
要約すれば、本発明は、工作物を取り扱い、組み立て、または機械加工するための自動化された機械、例えば数値制御工作機械の操作性を極めて適当に拡張できるようにし、機械の作動デバイス上の操作要素に触れることによる従来公知の直接マニュアル操作の可能性の外に、更に別の作動可能な選択肢を創出することにより、機械をより効率的、フレキシブル、直感的、更により安全に設計することを可能にするので、機械のオペレータは、無接触操作アクションによって、機械において作動コマンドまたは制御コマンドをトリガーできる。
【００２０】
本発明の第１の様相によれば工作物を取り扱い、組み立て、または機械加工するための自動化された機械を作動させるためのデバイス、特に数値制御工作機械を作動させるためのデバイスが提案される。
【００２１】
第１の様相に係わるデバイスは、機械の機械機能を制御および／またはモニタするグラフィックユーザーインターフェースをディスプレイするためのスクリーンを有するディスプレイ装置と、機械のオペレータによる機械の機械機能および／またはグラフィックユーザーインターフェースの機能を制御するコマンドトリガー、とくにマニュアル操作アクションを入力するための作動装置と、オペレータによる機械の機械機能および／またはグラフィックユーザーインターフェースの機能を制御するための関連する制御コマンドとなるようにコマンドトリガー操作アクションを実施するためのコントローラとを備える。
【００２２】
本発明によれば、作動デバイスはマニュアル操作アクションを入力するための装置と、無接触操作アクションを入力するための装置とを含む。この場合、無接触操作アクションを入力するための手段は、オペレータの無接触アクションを検出するためのセンサシステムと、センサシステムによって検出されたオペレータの無接触アクションによるオペレータのコマンドトリガー操作アクションを検出するための検出装置とを含む。
【００２３】
従って、本発明によれば、作動デバイスは操作要素への接触、例えばキーボードの操作キーの操作、マウスの操作、ジョイスティック操作、ソフトキー、制御ダイアル、スイッチおよび／またはボタンの操作によるマニュアル操作アクションを入力するための従来公知の入力装置と、センサシステムを使って光学的および／または音響的に検出することが好ましく、検出装置を使って検出される無接触操作アクションを入力するための入力装置を含む。上記のように、これによって工作物を取り扱い、組み立て、または機械加工するための自動化された機械の操作性を拡張し、機械をより効率的に、よりフレキシブルに、より直感的に、更により安全となるような設計をすることが可能となる。
【００２４】
本発明の特に適当な好ましい実施形態によれば、無接触操作アクションを入力するための装置は、オペレータの無接触操作アクションを光学的に検出するような対策が講じられている。これによって、オペレータの無接触の物理的アクションを光学的に検出できるセンサシステムを設けることにより、オペレータの異なるアクションの極めて広い範囲を光学的に検出できるという利点が得られ、この場合、これら光学的に検出される操作アクションは、コンピュータで実行される画像処理を使って評価し、認識できる。オペレータのかかる光学的に検出可能なアクションとして、オペレータの姿勢、模倣動作、ジェスチャーの変化だけでなく、物理的な運動、例えば腕の動き、頭の動き（例えばうなずき、または頭を振ること）がある。ここで、電子およびコンピュータで実施される画像処理により、これら操作アクションを認識し、個々の作動コマンドまたは作動機能に関連するあらかじめ定めた操作アクションにこれら操作アクションをオプションとして一致させることができるので、コントローラを使用することにより、これら作動コマンドまたは作動機能を実行できる。
【００２５】
この場合、センサシステムは、オペレータの模倣アクションおよびジェスチャーアクションを光学的に検出するための少なくとも１台のカメラを含むカメラシステムを有する。更に検出装置は、カメラシステムのセンサ信号に基づきオペレータの無接触操作アクションを光学的に検出するために、画像認識を実行するようになっている画像処理ユニットを含む。特に好ましい実施形態によれば、カメラシステムは、オペレータの模倣アクションおよびジェスチャーアクションを光学的に検出するよう、互いに離間した状態に配置された少なくとも２台のカメラを有し、画像処理ユニットは、カメラシステムのセンサ信号に基づき、三次元画像認識を実行するようになっている。
【００２６】
近年、電子画像処理における個人の光学的に認識可能なアクションを、光学的に認識する技術分野は、大きな進歩を遂げ、例えばデジタルメディア技術のためのフラウンホーファー研究所（Fraunhofer-Institut
Fur Digitale Medientechnologie）によって研究中である。この目的のために、デジタルメディア技術のためのフラウンホーファー研究所は、例えばカメラシステムにより光学的な眼または瞳の検出を実行できるようにする方法および技術を開発した。このシステムでは、人のまぶたの動き（まばたき）だけでなく、見ている方向も、簡単なカメラ、例えばウェブカメラから成るカメラシステムを含む簡単なハードウェア手段と協働させて、画像処理ソフトウェアを使用することによって、信頼できる状態で認識できる。
【００２７】
かかるカメラシステムでは、少なくとも２台の離間したカメラを使用することによって、既に三次元画像認識が可能となっている。例えばウェブサイトwww.idmt.fraunhofer.deでの「統合アイトラッカー（Integrated Eyetracker）」のシステムに関する論文を参照されたい。この論文によれば、統合アイトラッカーの記載されているシステムは、見ている方向の無接触で完全に無較正の３Ｄ決定を行うことを可能にしている。特殊なミニチュアカメラを使用することにより、極めて小さいスペースでも、この眼トラッキングシステムを設置することができ、２台以上のカメラを使用して画像を２００ｆｐｓで処理することにより、各画像を得た後にリアルタイムで、見ている方向に関する情報を得ることができる。特にこの眼トラッキングシステムは、瞳の位置を１ｍｍ未満の精度で測定しながら、見ている方向の認識精度を１度未満にできる。ユーザーまでの距離は、使用する対物レンズの焦点距離だけで決まり、ユーザーの移動範囲はほとんど制限されない。その理由は、２台のカメラが眼を捕捉できる限り、ユーザーはカメラシステムの全視覚範囲内を実際に移動できるからである。
【００２８】
従って、オペレータパネルの位置からスタートすると、複数のカメラを適当に配置することにより、カメラシステムの拡張に起因して、ユーザーの移動性を連続的に拡張でき、実際には操作すべき機械のまわりの全範囲に拡張できる。従って、簡単な技術手段を用いて作動すべき、または制御すべき機械のまわりの全範囲にて、原則的にはオペレータの見る方向を認識することが可能である。これに反し、純粋にマニュアルで操作できるオペレータパネルを介した従来の操作可能性の場合、オペレータステーションの位置では操作は、直接マニュアル操作だけに限定されて不適当である。
【００２９】
ジェスチャーの認識に関し、デジタルメディア技術のためのフラウンホーファー研究所は、画像処理ソフトウェアと組み合わせて簡単なカメラシステムによりユーザーのジェスチャーを光学的に検出し、認識できるようにする、「GestureID」と表示される技術も開発した。例えば、www.idmt.fraunhofer.de上の「GestureID」のシステムに関する論文を参照されたい。この論文によれば、記載されているシステムは、人の視覚の詳細な研究を使用することによって開発された物体認識アルゴリズムに基づくものであり、このアルゴリズムでは、予備処理アルゴリズムが人のジェスチャーを局所化する所定のビジュアルシーンの必要なすべての情報をフィルタにかけ、この情報を認識モジュールに転送するようになっており、認識モジュールは検出されたジェスチャーを分析し、その後、このジェスチャーにリンクされた応答をトリガーするようになっている。更に、例えばマイクロソフト社の公知のビデオゲームコンソールを制御するために、最近開発された三次元画像処理センサシステムではジェスチャーの認識が更に可能である。かかる三次元画像処理センサは、特にオペレータの姿勢、模倣、ジェスチャーおよび身体部分の動き、例えば腕の動き、頭の動き（例えばうなずきまたは頭を振ること）の変化を含む、広い範囲の無接触操作アクションの検出および認識を可能にしている。
【００３０】
特に好ましい実施形態によれば、カメラシステムは、オペレータの眼を光学的に捕捉するようになっており、画像処理ユニットは、例えばデジタルメディア技術のためのフラウンホーファー研究所の上記眼トラッキングシステム（国際特許出願第ＷＯ０３／０６５８８６Ａ１号およびＷＯ２００６／０３２２５３Ａ１号も参照）によれば、画像処理ユニットは、オペレータの眼の光学的に捕捉された瞳に基づき、オペレータが見ている方向を認識するようになっている。このカメラシステムは、特に工作物を取り扱い、組み立て、または機械加工するための自動化された機械、特に数値制御工作機械を作動させ、または制御するために特に有利に使用できる。その理由は、例えばオペレータが自分の眼を機械の特定の機械部品に向けていることが認識された場合、かかる機械でのグラフィックユーザーインターフェースを制御するためのカーソル位置を無接触で得るようグラフィックユーザーインターフェース上の見ている位置の認識の他に、見ている方向の認識も広範囲に使用できる。更に例えば見ている方向のこのような認識はグラフィックユーザーインターフェース上のモニタ情報をオペレータに示すのに特に有利に使用できる。またオプションとして更に見ている構成部品に関する制御の可能性を提供する。この構造部品は再び特に無接触またはマニュアルで、別の操作アクションによりトリガーできる。
【００３１】
画像処理ユニットは、オペレータの眼の内部の眼または瞳のサイズの変化を検出するようになっていることが好ましい。ここで、オペレータの眼または瞳が急激に拡大したことが検出された場合、コントローラが機械における緊急停止をトリガーするようになっていることが好ましい。特にこのコントローラは、オペレータの眼または瞳の急激な拡大が検出され、同時にオペレータが見ている方向が機械の機械加工スペースに向いていると認識された場合、機械における緊急停止をトリガーするようになっていることが好ましく、かつそのようなことが特に適す。この実施形態は、工作物を取り扱い、組み立て、または機械加工するために、操作すべき機械における安全性をかなり高めることができるという利点を提供できる。その理由は、（例えば機械の機械加工スペースにおける）危険な状況を光学的に認識することによりトリガーされ、認識された急激な眼または瞳の拡大によって認識できるオペレータのショックを、遅延（この遅延は純粋に直接的なマニュアル操作の場合、オペレータが緊急停止スイッチを積極的に操作するまでの比較的長い反応時間によって自然に生じるものである）を生じることなく、直接緊急停止を即座にトリガーするための直接コマンドに変換できる。
【００３２】
画像処理ユニットは、認識された、見ている方向に基づき、グラフィックユーザーインターフェースでのオペレータが見ている位置を検出するようになっていることが好ましい。このことによって、ユーザーの見ている方向を使ってグラフィックユーザーインターフェース上のカーソル位置をガイドするという事実により、オペレータが自分の手を更に使用することなく、オペレータがグラフィックユーザーインターフェース上のカーソルまたはカーソル位置を直感的かつ効率的に制御できるという利点が得られる。
【００３３】
好ましくは、コントローラは、スクリーン上のオペレータが見ている検出された方向に基づき、グラフィックユーザーインターフェースのスクリーン部分を選択または、追うようになっている。従って、ユーザーは他の操作アクションのために自分の手を自由にしたまま、別のマニュアルアクションを行わずに、グラフィックユーザーインターフェースのスクリーン部分を選択したり、スクリーン部分を眼で追うことができるので、作動デバイスのグラフィックユーザーインターフェースの制御を更に改善できる。
【００３４】
好ましくは、コントローラは、スクリーン上のオペレータが見ている検出された方向に基づき、グラフィックユーザーインターフェースのインタラクティブな要素を起動するようになっている。従って、オペレータは他の操作アクションのために自分の手を自由にしたまま、別のマニュアルアクションを行わずに、グラフィックユーザーインターフェースのインタラクティブな要素を起動できるので、作動デバイスのスクリーン上のグラフィックユーザーインターフェースのコントローラを更に改善できる。
【００３５】
好ましくは、コントローラは、スクリーン上のオペレータが見ている検出された位置に基づき、グラフィックユーザーインターフェースの複数のスクリーンマスクのディスプレイを切り換えるようになっている。従って、オペレータは他の操作アクションのために自分の手を自由にしたまま、別のマニュアルアクションを行わずに、グラフィックユーザーインターフェースの複数のスクリーンマスクのディスプレイをシフトできるので、作動デバイスのスクリーン上のグラフィックユーザーインターフェースのコントローラを更に改善できる。
【００３６】
好ましくは、画像処理ユニットは、認識された、オペレータが見ている方向に基づき、機械加工スペース内の機械の構成部品のオペレータが見ている位置を検出するようになっている。この特に有利な実施形態は、グラフィックユーザーインターフェースを無接触制御するために、見ている位置を決定することの上記利用とは別個に、またはその代替方法として、工作機械の構成部品に対する見ている位置の認識を拡張できる。
【００３７】
好ましくは、コントローラは、機械の構成部品上のオペレータが見ている検出位置に基づき、グラフィックユーザーインターフェース上の構成部品に関連した情報または制御マスクをディスプレイするようになっている。この場合、先行する面倒なマニュアル操作アクションにより、オペレータがまず構成部品を選択することなく、別のマニュアルまたは無接触操作アクションにより構成部品の機能を直接制御できるよう、機械のうちの見られている構成部品に関する情報および／または利用可能な制御アクションをグラフィックユーザーインターフェース上でオペレータにディスプレイできる。
【００３８】
好ましくは、画像処理ユニットは、オペレータの光学的に捕捉された眼に基づき、オペレータのまぶたの動きを認識するようになっている。好ましくは、検出装置は、検出されたまぶたの動きに基づき、まぶたの動きのパターンを検出するようになっており、１つのまぶたの動きパターンは、まぶたの動きの回数およびまぶたの動きの間の時間インターバルを含み、コントローラは、所定のインターバル内の所定のまぶたの動きの回数を有する、検出された所定のまぶたの動きパターンを無接触操作アクションを確認するための確認制御コマンドに割り当てるようになっている。これによって、（例えば安全上の理由により必要とされ得る）グラフィックユーザーインターフェースによる問い合わせがくり返された場合に、前に与えられたコマンドの簡単な許可または拒否に関する作動コマンドのようなまぶたの動き（まばたき）だけにより、オペレータは好ましい効率的な態様で簡単な作動コマンドを制御することが可能となる。ここで、例えば決定すべき時間インターバル内の１回、２回またはｎ回のまばたき、または１回、２回、またはｎ回のまぶたの動きと制御機能の許可または拒否および機械機能のトリガーの操作アクションとをあらかじめ定義するか、またはあらかじめ設定できる。
【００３９】
別の特に好ましい実施形態によれば、カメラシステムは、オペレータの両手を光学的に捕捉するようになっており、画像処理ユニットは、オペレータのマニュアルジェスチャーアクションを検出するようになっている。既にこれまで述べたように、かかるシステムは、デジタルメディア技術のためのフランホーファー研究所のジェスチャー認識システム「GestureID」またはマイクロソフト社のビデオゲームコンソールを制御するために開発された三次元画像認識センサシステムに従い、かかるシステムを設計できる。ここで、オペレータがセンサシステムのセンサレンジ内にジェスチャーアクションを維持する限り、例えばオペレータまたはオペレータの両手がカメラシステムの少なくとも２台のカメラの視覚レンジ内にある限り、三次元画像認識方法におけるジェスチャー認識を保証することもできる。従って、操作すべき機械のレンジ内の各位置が少なくとも２台のカメラによって捕捉されるよう、機械のまわりにカメラシステムのカメラが配置されている場合、カメラシステムを適当に拡張することによって、操作すべき機械のまわりの全レンジ内の見ている方向の検出と類似するようにジェスチャー認識を実行することが可能である。しかしながら、純粋にマニュアル操作式のオペレータパネルを介した従来の操作可能性の場合、操作はオペレータステーショの位置における直接マニュアル操作だけに不適当に限定される。
【００４０】
好ましくは、画像処理ユニットは、複数の所定のジェスチャーコマンドのうちの一部のジェスチャーコマンドを認識するようになっており、所定の各ジェスチャーコマンドは、１つの特定のコマンドトリガー操作アクションに関連している。このことは、無接触ジェスチャー認識により、別の可能性に変換できるようオペレータが学習するだけでよい所定のコマンドトリガー操作アクションに明らかに関連付けできる複数のジェスチャーコマンドをあらかじめ定めることができるという利点となっている。オペレータが所定の制御コマンドまたは操作コマンドを支持したい場合、オペレータは片手または両手でカメラシステムの視覚レンジ内で制御コマンドまたは操作コマンドをトリガーする操作アクションを実行するだけでよい。すなわちこのコマンドに割り当てられているジェスチャーを行うだけでよい。ここで、まず親指を立てるような種々の多くのジェスチャーが可能である。特にオペレータが自分の指を使用することによって（例えば交換すべき工具または工作物などを選択するための）入力すべき数字を示すような操作ジェスチャーアクションを使用して数値をあらかじめ決定するようにすることを考えつくことさえもできる。ここで、片手または両手の（１本から１０本の指の）上に上げた指の数は、１〜１０または０〜９の数字を示す。オペレータの腕または手をホールドアップすることをコマンドトリガー操作アクションと定義することもできる。例えば機械における緊急停止を即座にトリガーするために、オペレータが両腕をホールドアップすること（明白なジェスチャー）を利用できる。特に、簡単な手段で、操作すべき機械のまわりの全レンジをカバーするカメラシステムにおいて、従来の作動デバイスの場合のように、近くの緊急停止スイッチまで行く必要がないように、機械のまわりの任意の位置から、緊急停止を即座にかつ直接トリガーできる。従って、機械の安全性を相当改善することが可能である。
【００４１】
本発明の、別の特に適当な好ましい実施形態によれば、無接触操作アクションを入力するためのデバイスが、オペレータの無接触操作アクションを音響的に検出するような対策が講じられる。この場合、センサシステムは、オペレータの音響的アクションを検出するためのマイクシステムを有することが好ましい。従って、実質的により効率的、直感的かつフレキシブルとなるように、操作すべき機械での操作可能性をかなり改善し、設計できる。特に自動車におけるナビゲーションシステムを制御するために、今日既に信頼できる状態で使用できる音声認識を実行すると、特に好ましい結果が得られる。その理由は、音声コマンドを使用することによる制御は、最も直感的な制御方法のうちの１つを提供できるからである。ここで、多くの機械の機能すなわち機械での作動機能を、オペレータが大声で言わなければならない不明確な音声コマンドに割り当てることができる。複数のマイクを適切に使用すると、機能をトリガーするコマンドを指示するのに、機械のまわりの全レンジにおいて、かかる言語による操作アクションを好ましく実施できるようになる。
【００４２】
特に適した実施形態も、危険な状況における緊急停止の迅速なトリガーに関連できる。例えばマイクシステムによって検出される全レンジにおいて、音声コマンド「緊急停止」としゃべることにより、マニュアルで操作しなければならなかった、最も近くの緊急停止ボタンまで行かなくても、機械における迅速な緊急停止をトリガーできる。
【００４３】
好ましくは、検出装置は、マイクシステムによって検出されるオペレータのスピーチ入力を認識するための音声認識ユニットを有する。好ましくは、音声認識ユニットは、複数の所定の音声コマンドからオペレータの一部の音声コマンドを認識するようになっており、各所定の音声コマンドは、１つの特定のコマンドトリガー操作アクションと関連している。上記のように、これにより、対応する特定のコマンドをトリガーするオペレータの言葉の「はい」、「いいえ」、「工具を交換」、「オン」または「作動スタート」および／または「緊急停止」を含む複数の音声コマンドを定義することが可能となる。更に、機械の構成部品を選択または制御するために、「Ｘ軸」、「Ｙ軸」、「Ｚ軸」、「Ａ軸」、「Ｂ軸」、「工具交換器」、「パレット」「ドア」「チップコンベア」、「回転テーブル」、「スピンドル」などの音声コマンドによる構成部品の指定を直接実行できるようにすることを好ましく考えつくことができる。
【００４４】
好ましくは、音声認識ユニットは、マイクシステムにより検出された音声コマンドのスピーチパターンを検出するようになっており、コントローラは、記憶され、関連したスピーチパターンを有するオペレータをログオンし、ログオンされたオペレータに関連するスピーチパターンに対応する検出されたスピーチパターンを有するピックアップ音声コマンドだけを実行するようになっている。これによって、作動のために機械に実際にログオンされた（従って制御の認定がされた）オペレータの音声コマンドだけを有利に実行することが可能となる。ここで、認識された音声コマンドのパターンが機械のログオンされているオペレータのスピーチパターンに一致しないと認識された場合、別の人物（例えば近くにある機械のオペレータ）の音声コマンドまたは叫びを無視できる。従って、操作すべき機械を作動させることを意図していない音声コマンドの誤った実行を好ましく防止できる。
【００４５】
好ましくは、検出装置は、マイクシステムが捕捉したオペレータの叫びまたは悲鳴、および大声を検出するようになっており、所定の声の大きさの限界値よりも大きい大声を有するオペレータの叫びまたは悲鳴が検出装置により検出された場合に、コントローラは、機械上で緊急停止をトリガーするようになっている。これによって、機械に危険な状況が生じたときに、まず最初にマニュアル操作式緊急停止スイッチまで行かなくても、迅速な緊急停止をトリガーできる別の能力を提供できるので、機械の安全性を更に改善できる。特にこの実施形態は、危険な状況が生じたことにより、オペレータがケガをするか、またはケガをし得る状況（例えばオペレータの体の一部または衣服がまだ作動中の機械の部品に巻き込まれた場合）であって、オペレータまたは関係する他の人のケガまたは更なるオペレータのケガを防止するために即座に緊急停止が必要とされるのにオペレータが自らマニュアル操作式緊急停止スイッチまで行けない状況に対して、適正に使用できる。この適当な実施形態によれば、例えば音響的に検出された叫びまたは悲鳴が、所定の大きさまたは所定の時間的長さを超えた場合、その音響的に検出された叫びまたは悲鳴に基づき、迅速な緊急停止をトリガーするようにできる（例えばこの緊急停止はオペレータがケガをした場合にオペレータが苦痛の悲鳴をあげ始めたことによってもトリガーされるが、この悲鳴は、もともとは緊急停止を意図していないが、緊急停止をトリガーすることを緊急に示唆している）。
【００４６】
更に、特に適した実施形態によれば、操作コマンドを無接触入力するための入力装置は、個人に関連した状態でそれぞれのオペレータに対して較正されるようになっており、入力装置は、オペレータへの較正が個人に関連した較正データに基づいて実行されるように、個人に関連した較正データをインポートするためのデータインターフェースを有することが好ましい。既にこれまで述べたように、ほとんどの画像認識方法および音声認識方法では、これらの方法を個々のオペレータに適合させたり、または較正する必要がないことが多い。しかしながら、一部のケースでは、例えば画像処理ユニットにオペレータの高さを入力したり伝送することにより、見ている方向の認識を最適にするか、またはログオンされたオペレータの個々のスピーチパターンを音声認識ユニットに入力または伝送することにより、上記のように音声認識を最適にするようオペレータ固有の較正を実行することがまだ好ましい。この目的のために、オペレータがログオンされるごとに、または機械が始動されるごとに、再び較正を実行する必要がなく、オペレータがログオンされるときに個人に関連した較正データが自動的にインポートされるか、またはより効率的かつ時間を節約するような方法で較正を実行できるよう、機械を始動することが特に適当である。好ましいことに、このケースにおける較正データとして、音声認識ユニットを較正するためのオペレータに関連したスピーチパターンおよび／または画像処理ユニットを較正するためのオペレータに関連する身体のサイズのデータがある。
【００４７】
この目的のために作動デバイスの好ましい個々の実施形態の上記特徴を別々に、または組み合わせて使用することができ、この場合、異なる無接触操作の可能性を組み合わせると、より直感的、効率的かつより安全となるように作動可能な選択肢を相乗的に設計できる。オペレータの好みにより、オペレータが無接触操作の可能な選択肢のうちの１つ以上をやめたい場合、当然ながら前記１つ以上の無接触操作の選択肢の各々を個々に、または組み合わせて一時的に無効にすることができる。従って、（例えば音声認識を起動または無効にする選択肢に基づき）音響的に検出可能な無接触操作の選択肢を使用するかどうか、および／または（例えば画像処理、見ている方向の認識、見ている位置の認識および／またはジェスチャー認識を起動または無効にする選択肢に基づき）光学的に検出可能な無接触操作の選択肢を使用するかどうかをオペレータが選択できるようにすることを保証できる。
【００４８】
本発明の第２の様相によれば、本発明の第１の様相の上記実施形態のうちの１つ以上に係わる、工作物を取り扱い、組み立て、または機械加工するための自動化された機械を作動させるためのデバイスを含む、工作物を取り扱い、組み立て、または機械加工するための自動化機械が提供される。本発明の作動デバイスと関連して、これまでそれぞれ説明するように、実質的に同じ可能な選択肢、実施形態およびそれらに関連する利点が結果として得られる。
【００４９】
特に好ましい実施形態によれば、この機械は、工作物を機械加工するための数値制御工作機械である。作動のためのデバイスを、工作機械の数値制御装置例えば工作機械のプログラマブルロジック制御装置（ＰＬＣ制御装置）および／または工作機械の数値制御装置（ＮＣ制御装置）に接続することが好ましい。更に、好ましい実施形態における作動デバイスを、工作機械の緊急停止制御回路に直接接続してもよい。
【００５０】
デバイスを使用することにより制御可能な工作機械の機械機能は、工作機械を始動すること、工作機械をコンフィギュアすること、工作機械をセットアップすること、ゼロポイントを設定すること、レスキュー機能、工作機械の緊急停止を起動すること、診断による障害探査、メンテナンス、プログラム管理、工具の取り扱い、パレットの取り扱い、工具の挿入、工具の較正、工具の交換、工作機械のＮＣ軸およびアクチュエータの起動および制御を含むＮＣ制御機能および／または数値制御のプログラミングを含む。
【００５１】
要約すれば、本発明は、機械の作動デバイス上の操作要素に触れることによる、これまで公知の直接マニュアル操作可能な選択肢の他に、無接触操作アクションによって機械のオペレータが機械での作動コマンドまたは制御コマンドをトリガーできるようにする作動可能な選択肢を提供することにより、工作物を取り扱い、組み立て、または機械加工する自動化された機械、例えば数値制御工作機械の作動可能性を拡張し、この工作機械をより効率的、よりフレキシブル、より直感的となるように設計できるようにするものである。
【００５２】
添付図面および本発明の好ましい実施形態を参照し、本発明の上記様相およびそれ以外の好ましい様相について説明する。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態に係わるフライス盤を作動させ、制御するための作動デバイス２を含む工作物をフライス加工するための数値制御フライス盤１を例として示す。
【図２】本発明の実施形態に係わる作動デバイス２の概略構造体を例として示す。
【図３】本発明の第１実施形態および第２実施形態にそれぞれ係わる無接触操作アクションを入力するための入力する装置２２を例として示す。
【図４】本発明の第３実施形態に係わる無接触操作アクションを入力するための入力装置２２を例として示す。
【発明を実施するための形態】
【００５４】
以下、添付図面を使用し、本発明の好ましい実施形態について詳細に説明する。しかしながら本発明は、ここに記載する実施形態だけに限定されるものではない。むしろ本発明は特許請求の範囲に記述すべきものである。図面および実施形態における同じ要部および／または類似した要部を同一参照番号で示す。詳細な説明の末尾に使用する参照番号のリストを記載する。
【００５５】
本発明の一実施形態に係わるフライス盤１を作動させ、制御するためのデバイス２（端的に述べれば、このデバイスを以下の記載において作動デバイス２と称す）を含む、工作物をフライス加工するための数値制御フライス盤１を例として示す。しかしながら本発明は、本実施形態の場合のようなフライス盤のための作動デバイスだけに限定されるものではなく、フライス盤、ボール盤、フライス／ボール工作機械、ユニバーサルフライス盤、マシニングセンター、旋盤、自動旋盤などの他の数値制御工作機械を作動させるためにも使用できる。更に本発明は、製造所および工場からの工作物を取り扱い、組み立て、または機械加工するための種々の自動化機械を作動させるためにも有利に使用できる。
【００５６】
図１に示された本実施形態では、フライス盤１は、フライス盤１のワークスピンドル１ｄ内に保持されたフライス工具１ｅにより、機械加工すべき工作物をクランプするための機械加工スペース１ａの内部にて、機械のベッド上に配置された回転テーブル１ｂを含む。このワークスピンドル１ｄは、フライス盤のスピンドルヘッド１ｃ上に配置されており、このスピンドルヘッドは、変位できるようにフライス盤１のマシンスタンドに取り付けられている。回転テーブル１ｂ上で機械加工すべき工作物は、複数のＣＮＣ制御リニア軸線および／または回転軸、好ましくは５本の数値制御軸により、工具１ｅに対して移動できるようになっている。
【００５７】
従来知られている作動デバイス（例えばＳＩＮＵＭＥＲＩＫ機械制御および作動用ソフトウェアでセットアップされた作動デバイス）の類似として、作動デバイス２は工作機械１の制御可能な機械機能を制御できる。機械の設計によっては、これら制御可能な工作機械は、特に工作機械をスタートさせること、工作機械をコンフィギュアすること、工作機械をセットアップすること、ゼロポイントをセットすること、レスキュー機能、工作機械の緊急停止を起動すること、診断用障害探査、メンテナンス、プログラム管理、ツールの取り扱い、パレットの取り扱い、工具の挿入、工具の較正、工具の変更、工作機械のＮＣ軸およびアクチュエータの機動および制御を含むＮＣ制御機能、および／または数値制御のプログラミングを含むことができる。この目的のために、作動デバイスは工作機械１の数値制御装置（例えばＣＮＣコントローラ）に接続されている。更にこの作動デバイスは、工作機械１のメモリプログラマブル制御装置（それぞれＳＰＳおよびＰＬＣ）および／または緊急停止制御回路にも接続できる。
【００５８】
図１に示された作動デバイス２は、工作機械１の機械機能を制御し、監督するためのグラフィックユーザーインターフェースをディスプレイするためのスクリーン１１を含むディスプレイ装置１０と、工作機械１のオペレータにより工作機械１の機械機能およびグラフィックユーザーインターフェースの機能を制御するコマンドトリガー操作アクションを入力するための作動装置２０とを、外部から見えるように含む。
【００５９】
図２は、本発明の一実施形態に係わる作動デバイス２の概略構造体を例として示す。この作動装置２は、工作機械１の機械機能を制御し、管理するためのグラフィックユーザーインターフェースをディスプレイするためのスクリーン１１を含む、図１に既に示されたディスプレイ装置１０と、工作機械１のオペレータにより工作機械１の機械機能およびグラフィックユーザーインターフェースの機能を制御するコマンドトリガー操作アクションを入力するための作動装置２０とを含む。この作動装置２０は、マニュアル操作アクションを入力するための第１入力装置２１を含む。この目的のために、入力装置２１は、直接かつマニュアル操作できる複数の操作要素２１ａ〜２１ｆ、例えばアルファニューメリカルキーボードのキー、コンピュータマウス、タッチスクリーン（オプションとしてスクリーン１１に関連する）、ソフトキー、制御ダイアル、スイッチ、ボタンなどを含む。
【００６０】
更に作動デバイス２は、コマンドトリガー操作アクションを実行するためのコントローラ３０を備える。これら操作アクションは、オペレータにより作動装置に入力され、オペレータにより工作機械１の機械機能およびグラフィックユーザーインターフェースの機能を制御するための関連する制御コマンドに入力されたものであり、次にインターフェース３１を介して工作機械１、例えば工作機械１のＣＮＣ制御装置に、またはオプションとして工作機械１のＰＬＣ制御装置または緊急停止回路に伝送できる。
【００６１】
マニュアル操作アクションを入力するための第１入力装置２１の外に、作動装置２０は、オペレータの無接触アクションを検出するためのセンサシステム５０、およびセンサシステム５０によって検出されたオペレータ無接触操作アクションを使用することにより、オペレータのコマンドトリガー操作アクションを検出するための検出装置６０を備えた、無接触操作アクションを入力するための第２入力装置２２を更に含む。この場合、センサシステム５０は、（例えばカメラおよび／またはマイクにより）オペレータの無接触操作アクションを光学的および／または音響的に検出するようになっている。検出装置６０は、光学的信号のための電子画像処理方法および／または音響信号のための処理手段、例えば電子音声認識により、センサシステム５０によって光学的または音響的に検出されたオペレータの無接触アクションを検出し、これらアクションをあらかじめ定めた無接触操作アクションとして識別するようになっている。あらかじめ定めた無接触操作アクションは、所定の制御または作動コマンドに関連しており、これらコマンドは、検出装置６０によってそれぞれの操作アクションが認識された後に、工作機械１へ伝送される。すなわちコントローラ３０によって実施される。
【００６２】
更に、作動デバイス２は、データインターフェース２２ａ（例えばＵＳＢインターフェース、ＣＤまたはディスクドライブ、ＲＦＩＤインターフェースなど）を備え、このインターフェースを介して第２入力装置２２のためのユーザー固有の較正データが、例えば工作機械１におけるオペレータのログオン手順のフレーム内でインポートできる。更にこの較正データは、工作機械１の始動時にオペレータの認証グレードをアンロックするのにも使用でき、よってオペレータはログオンされ、更にオペレータの認証グレードを使用することによりその認証グレードに応じてオペレータに対する所定の機械機能をアンロックしたりロックしたりすることができる。作動コマンドを無接触入力するための第２入力装置２２は、個人に関連するよう、それぞれのオペレータに対して較正されるようになっている。次に、このオペレータに対する較正は、インポートされた個人に関連する較正データに基づいて実行してもよい。かかる較正データは、例えば音声認識ユニットを較正するための、オペレータに関連するスピーチパターンおよび／または画像処理ユニットを較正するためのオペレータに関連する身体測定データを含むことができる。
【００６３】
図３は、本発明の第１実施形態または第２実施形態に係わる、無接触操作アクションを入力するための入力装置２２を例として示す。図３に示された入力装置２２のセンサシステム５０は、例えばオペレータが行う模倣（まね）したジェスチャーアクションを光学的に検出するための４台のカメラ５１ａ〜５１ｄを含むカメラシステム５１を備える。
【００６４】
従って、入力装置２２の検出装置６０は、カメラシステム５１のセンサ信号に基づき、画像認識を実行するようになっている画像処理ユニット６１を備える。特に第１実施形態に係わるカメラ５１ａ〜５１ｄは、オペレータの模倣アクションを光学的に検出するようになっている。これとは別に（またはこれに加え）、第２実施形態に係わるカメラ５１ａ〜５１ｄは、オペレータのジェスチャーアクションを光学的に検出するようになっている。画像処理ユニット６１は、カメラ５１ａ〜５１ｄのうちの少なくとも２台によって検出されたカメラシステム５１のセンサ信号に基づき、三次元の画像認識を実行するようになっている。
【００６５】
この目的のために、図３には例として４台のカメラが設けられている。その理由は、少なくとも２台のカメラによって検出され、よってオペレータの操作アクションの三次元認識が可能なエリアを有利に拡張できるからである。ジェスチャーを認識する場合、１台のカメラで既に十分である。見ている方向を有利に認識するのに必要であり、ジェスチャー認識の場合にかなり良好な結果を得ることができる画像処理ユニット６１を使用することにより、三次元画像認識をするには少なくとも２台のカメラが望ましい。この場合、最適なケースでは、工作機械１のまわりの全範囲内において、少なくとも２台のカメラによりそれぞれオペレータの任意の可能な位置を検出できるように多数のカメラが設けられる。
【００６６】
第１実施形態によれば、カメラシステム５１は、オペレータの眼または瞳を光学的に検出するようになっており、画像処理ユニット６１は、オペレータの眼の光学的に検出された瞳に基づき、オペレータが見ている方向を認識するようになっている。この見ている方向は、画像処理ユニット６１が検出された、見ている方向に基づき、グラフィックユーザーインターフェースにてオペレータの見ている方向を検出するようになっているということにより、例えば特に適した態様で、作動デバイス２のグラフィックユーザーインターフェースを制御するのに使用できる。
【００６７】
次に、コントローラ３０は、例えばオペレータが見ている、スクリーン１１上の検出された位置に基づき、グラフィックユーザーインターフェースのスクリーン部分を選択し、スクリーン１１上の、オペレータが見ている検出された位置に基づき、グラフィックユーザーインターフェースのインタラクティブな要素を起動し、スクリーン１１上のオペレータが見ている検出された位置に基づき、グラフィックユーザーインターフェースの複数のスクリーンマスクのディスプレイを切り換えるか、またはディスプレイ上のグラフィックユーザーインターフェースのこれらスクリーンマスクを縮小または拡大したり、これらスクリーンマスクのスクロールを行うようにできる。画像処理ユニット６１が、見ている認識方向に基づき、機械加工スペース１ａ内の工作機械１の構成部品上の、オペレータが見ている位置を検出するようになっている場合、工作機械１内のアプリケーションを更に改良できる。コントローラ３０は、特に適した態様で、工作機械１の部品上のオペレータが見ている検出された位置に基づき、グラフィックユーザーインターフェース上の構成部品に関連する情報または制御マスクをディスプレイするようにできる。この場合、オペレータはこの構成部品をわざわざマニュアルで選択したり、起動したりする必要はない。
【００６８】
このカメラシステム５１がオペレータの眼または瞳を検出するようになっている場合、画像処理ユニット６１がオペレータの光学的に検出された眼に基づき、オペレータのまぶたの動きを認識するようになっていることが更に好ましい。この場合、検出装置６０は、検出されたまぶたの動きに基づき、まぶたの動きパターンを検出するようになっていることが好ましく、この場合、まぶたの動きパターンは、まぶたの動きの回数と、そのまぶたの動きの間の時間インターバルを含むことができる。コントローラ３０は、所定時間インターバル内のまぶたの動きの所定の回数を含む、検出された所定のまぶたの動きパターンと、無接触操作アクションを許可または拒否するための、許可もしくは拒否制御コマンドとを関連付けるようにできる。
【００６９】
工作機械１に関する安全性のかなりの改良を必要とする第１実施形態に係わる作動デバイス２の特に適した設計は、オペレータの眼における眼のサイズまたは瞳のサイズの変化を検出するようになっている画像処理ユニット６１と、オペレータの眼または瞳の急激な拡大が検出され、オペレータが見ている方向が工作機械１の機械加工スペース１ａを向いていると認識された場合に、工作機械１上の緊急停止をトリガーするようになっているコントローラ３０により、実行できる。すなわちこの場合、眼または瞳の急激な拡大は、工作機械１の機械加工スペース１ａにおける危険な状況の光学的認識に起因するオペレータのショックに対する反射反応であると見なすことができる。この場合、オペレータの反応時間を待つことに起因する遅延を生じることなく、工作機械１で迅速な緊急停止をトリガーできる。
【００７０】
本発明の第２実施形態によれば、カメラシステム５１は、オペレータの手または腕を光学的に検出するようになっており、画像処理ユニット６１はオペレータのマニュアルジェスチャーアクションを認識するようになっている。従って、画像処理ユニット６１は、複数の所定のジェスチャーコマンドのうちの、あるジェスチャーコマンドを検出するようになっており、所定の各ジェスチャーコマンドは、特定のコマンドトリガー操作アクションに関連している。従って、オペレータは簡単な所定のジェスチャー（特に手のジェスチャー）を使うことにより、簡単な無接触状態で制御または作動コマンドを実行できる。
【００７１】
図４は、本発明の第３実施形態に係わる無接触操作アクションを入力するための入力装置２２を例として示す。このケースにおける入力装置２２のうちのセンサシステム５０は、オペレータの音響アクションを検出するためのマイクシステム５２を含み、このシステムは、例として２つのマイク５２ａおよび５２ｂを含む。音響検出をするには、１つのマイク５２ａで十分であるが、オペレータの音響アクションを検出するためのレンジを拡張できるように、第２のマイク５２ｂ（または必要であれば更なるマイク）を配置してもよい。更に、複数のマイクを設ける場合に、音響的アクション中のオペレータの位置に応じたマイク５２ａにおける信号の受信とマイク５２ｂにおける信号の受信（更に他の任意のマイクにおける信号の受信）との間の時間遅延に基づき、オペレータの位置に関する位置情報を計算してもよい。
【００７２】
図４では、検出装置６０は、マイクシステム５２によって検出されるオペレータの音声入力を認識するための音声認識ユニット６２を含む。この音声認識ユニット６２は、複数の所定の音声コマンドからオペレータの音声コマンドを認識するようになっており、所定の各スピーチコマンドが特定の１つのコマンドトリガー操作アクションと関連している。従って、第３実施形態によれば、オペレータは音響的音声コマンドにより（例えば「はい」、「いいえ」、「ＯＫ」、「停止」、「緊急停止」および同様なコマンドを使用することにより）オペレータは対応する制御コマンドを指示でき、これら音声コマンドは、入力装置２２で認識され、コントローラ３０によって実行できる。
【００７３】
ここで、この実施形態に係わる音声認識ユニット６２は、マイクシステム５２によって検出された音声コマンドのスピーチパターンを検出するようになっており、コントローラ３０は、更に工作機械１に対し、記憶され、関連付けされたスピーチパターンを有するオペレータをログオンし、ログオンされたオペレータに関連するスピーチパターンに対応する、検出されたスピーチパターンを有する、検出された音声コマンドだけを実行するようになっている。この場合、例えばデータインターフェース２２ａを使用することにより、較正中にスピーチパターンを作成できる。従って、音声コマンドが誤ったスピーチパターンを有する、最も近い工作機械１にいるオペレータの音声コマンドが、誤って使用されて工作機械１を制御してしまうことを好ましく防止できる。その理由は、コントローラ３０は、ログオンされたオペレータのスピーチパターンを有する音声コマンドしか、実行できないからである。
【００７４】
検出装置６０がマイクシステム５２によって検出されるオペレータの叫びまたは悲鳴、およびオペレータが出す大声を検出するようにすることにより、工作機械１での安全性のかなりの改良を必要とする第３実施形態に係わる作動デバイス２の特に適した設計を提供できる。この場合、所定の騒音限界値よりも高い騒音を有するオペレータの叫びまたは悲鳴が検出装置６０によって検出された場合に、コントローラ３０が工作機械１において緊急停止を迅速かつ自動的にトリガーするようにできる。
【００７５】
以上で、本発明の好ましい実施形態について説明した。上記実施形態の特徴事項、特に第１実施形態、第２実施形態および第３実施形態、並びにそれらの変形例の特徴事項を別々に使用してもよいし、互いに任意に組み合わせてもよい。種々の無接触の操作可能な選択肢を組み合わせた場合、相乗的な組み合わせの場合の工作機械の作動性を、よりフレキシブル、より直感的、より効率的およびより安全となるように設計できる。個人の好みにより、オペレータは無接触アクションの可能な選択肢の１つ以上をやむを得ず控えたい場合、当然ながら、無接触アクションの可能な選択肢の１つ以上を別々に、または組み合わせて一時的に無効するような対策を講じてもよい。従って、（例えば音声認識を起動または除勢できる可能な選択肢に基づき）音響的に検出可能な無接触の可能な選択肢を使用するかどうか、および／または（例えば画像処理、見ている方向の認識、見て位置の認識および／またはジェスチャー認識を起動または除勢する能力に基づき）光学的に検出可能な操作に可能な選択肢を使用するかどうかを、オペレータが選択できることを保証できる。
【００７６】
要約すれば、本発明は、工作物を取り扱い、組み立て、または機械加工するための自動化された機械、例えば数値制御工作機械の作動性を極めて有利に拡張できるようにし、更に工作機械の作動デバイス上の操作要素に触れることによる、これまで知られている直接マニュアル操作の可能な選択肢の外に、無接触操作アクションにより工作機械において作動コマンドまたは制御コマンドを工作機械のオペレータがトリガーできるようにする別の操作の可能な選択肢を提供することにより、より効率的、よりフレキシブル、より直感的、更により安全にできる。
【符号の説明】
【００７７】
１ 工作機械
２ 作動デバイス
１０ ディスプレイ装置
１１ スクリーン
２０ 作動装置
２１ （マニュアル入力のための）第１入力装置
２１ａ、２１ｂ、２１ｃ、２１ｄ、２１ｅ、２１ｆ 操作要素
２２ （無接触入力のための）第２入力装置
２２ａ データインターフェース
３０ コントローラ
３１ インターフェース
５０ センサシステム
５１ カメラシステム
５１ａ、５１ｂ、５１ｃ、５１ｄ カメラ
５２ マイクシステム
５２ａ、５２ｂ マイク
６０ 検出装置
６１ 画像処理ユニット
６２ 音声認識ユニット
【技術分野】
【０００１】
工作物（または加工物）を取り扱い、組み立て、または機械加工するための自動化された機械、特に数値制御工作機械を作動させるためのデバイスに関する。この作動デバイスは、機械の機械機能を制御および／またはモニタするグラフィックユーザーインターフェースをディスプレイするためのスクリーンを有するディスプレイ装置と、機械のオペレータによる機械の機械機能および／またはグラフィックユーザーインターフェースの機能を制御するコマンドトリガー、とくにマニュアル操作アクションを入力するための作動装置と、オペレータによる機械の機械機能および／またはグラフィックユーザーインターフェースの機能を制御するための関連する制御コマンドとなるようにコマンドトリガー操作アクションを実施するためのコントローラとを備える。
【０００２】
更に本発明は、自動化された機械を作動させるための上記デバイスを含む加工部品を取り扱い、組み立て、または機械加工するための自動化された機械、特に数値制御工作機械に関する。
【背景技術】
【０００３】
公知の作動デバイスを使用することにより、従来技術で公知の、工作物を取り扱い、組み立て、または機械加工するための機械、例えば数値制御工作機械の作動時または機械制御時には、機械のオペレータステーションで実行される、純粋にマニュアル操作アクションによる操作が行われる。ここで、マニュアルで操作可能な操作要素、例えばアルファニューメニカルキーボード、機械固有の動作のための更に別の入力キー、制御ダイアル、ソフトキー、コンピュータマウスなどが使用され、機械のコントローラへの命令を伝えるようになっている。
【０００４】
マニュアル操作アクションのフィードバックは、オペレータステーションにあるスクリーン上のグラフィックユーザーインターフェースを通して実質的に出力されるが、オプションとして信号ライトを介して出力することもできる。機械のマニホールド制御またはモニタ機能、およびパラメータ変更から機械の軸の変位までのレンジおよび機械の機能の切り替えに対して操作アクションを行うことができる。
【０００５】
オペレータステーションによる工作物を取り扱い、組み立て、または機械加工するための自動化された数値制御機械のマニュアル制御に関し、例えば従来技術ではシーメンス社のＣＮＣ工作機械のためのＳＩＮＹＭＥＲＩＫ制御が知られている。この制御は、工作機械の機能を制御し、オペレータによりグラフィックユーザーインターフェースの機能を制御するよう、工作物を取り扱い、組み立て、または機械加工するための自動化された機械において、オペレータステーションをセットアップすることを可能にするグラフィックユーザーインターフェースを含むソフトウェアを提供している。
【０００６】
従来技術では、オペレータの操作アクションは次のように実行される。機械のオペレータは、コントローラまたは作動デバイスによって提供される制御または作動機能の範囲内で機械のコントローラへ何を伝えたいか、またはコントローラもしくは個々の軸およびアクチュエータが何をすべきかの考えを抱いている。例えば、オペレータがグラフィックユーザーインターフェースの所定のスクリーンマスクを見たり、または工作機械、アセンブリデバイス、グリッパーまたは同等物が工作物に対して移動するよう命令したい場合がある。この制御過程では、オペレータは、対応する操作フィールドにおいて特定の操作要素またはあるシーケンスの操作要素を直接およびマニュアルで操作することにより、オペレータは操作アクションを伝える。
【０００７】
作動速度はそれぞれの操作フィールドがどれだけ人間工学的に設計されているか、更にオペレータがその操作フィールドをどれだけ巧みに取り扱うかに応じて決まる。グラフィックユーザーインターフェースの種々のスクリーンマスクの切り換えは、ほとんどいわゆるソフトキー、すなわちスクリーンに隣接するキーを使って実行され、そのキーの機能はそれぞれのマスクに応じて変化し、それぞれの機能は、キーに直接隣接するスクリーン上に示される。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
オペレータは、操作フィールドのキーを押す前に常にまず操作すべきキーがどこにあるかを見なければならず、オペレータが正しいキーを押すかどうかも見なければならない。このケースでは、制御操作フィールドでの操作は、直感的には実行できず、特に操作要素とアイコンタクトをしないで実行することはできない。
【０００９】
更に、機械自体のオペレータステーションでは、オペレータは操作アクションを直接マニュアルでしか実行できないという問題が生じる。機械の機械加工スペース内またはオペレータステーションからある距離にある機械の部品におけるメンテナンス作業をする場合に、例えば機械内の機械加工スペース内を見るために機械に接近するとき、オペレータが操作アクションを実行することはできない。人および／または機械に対する危険性があるような危険な状況が生じた際に、安全性の観点に起因して必要とされる、機械における迅速な緊急停止をトリガーできる可能性さえも、マシンの緊急停止スイッチを直接かつマニュアルで操作することにより可能となるだけである。かかる状況が生じたときに、オペレータが緊急停止スイッチの近くにいない場合、オペレータは貴重な時間を失うことになる。その理由は、オペレータは必要な緊急停止をトリガーする前に、まず緊急停止スイッチの所までに行かなければならないからである。
【００１０】
本発明の目的は、操作要素に触れるだけで、作動デバイスにおいて常に直接かつマニュアルで実行されるオペレータの操作アクションを行う、従来技術で知られている工作物を取り扱い、組み立て、または機械加工するための自動化機械を作動させるための作動デバイスに関し、機械の、より直感的でフレキシブルで、効率的で、更に安全な作動または制御を可能にするよう、かかる作動デバイスでの作動性および作動可能性を改良することにある。
【課題を解決するための手段】
【００１１】
本発明の上記目的を達成するために、工作物を取り扱い、組み立て、または機械加工するための自動化機械を作動させるための独立請求項に記載のデバイスだけでなく、かかるデバイスを含む工作物を取り扱い、組み立て、または機械加工するための自動化された機械も提案する。従属請求項は、本発明の好ましい実施形態に関するものである。
【００１２】
本発明は、マニュアルで実行されるオペレータの操作アクションにより、工作物を取り扱い、組み立てまたは機械加工するための自動化された機械を作動させるための従来技術から公知の作動デバイスのマニュアル操作の外に、作動性を補充する別の作動可能な選択肢を提供するという概念に基づくものであり、この概念では機械の、より直感的、フレキシブル、効率的かつより安全な作動または制御を可能にするよう、機械を作動したり制御するための無接触操作アクションとしてのオペレータの無接触アクションを検出し、認識できる。
【００１３】
この過程において、オペレータの無接触操作アクションを、例えば光学的に、および／または音響的に、適宜検出することができる。従って、本発明によれば、従来の直接かつマニュアル操作の可能性の外に、別の無接触操作の可能性を提供でき、これによって機械の作動性または制御性全体をオペレータに対して実質的により直感的、フレキシブル、効率的およびより安全なものにできる。
【００１４】
従来のマニュアル操作の可能性と、本発明の追加的な無接触操作の可能性とを組み合わせることが可能になったので、オペレータの好みに従い、機械の作動および制御もオペレータがよりフレキシブルかつ効率的に有利に実行することが可能となる。更に、無接触操作アクションによる作動は、基本的にはより直感的となるように設計でき、ここで、自分にとってより直感的であるように見える場合に、マニュアル操作アクションまたは対応する無接触操作アクションのいずれかを、オペレータは自分の直感に応じて実行できる。
【００１５】
本発明によれば、より効率的で、かつ直感的な操作も提供できる。その理由は、操作前のマニュアル操作アクションと対照的に、オペレータはまず外観によりマニュアルで操作できる操作要素を探す必要はなく、無接触操作アクションを直接実行できるからである。これと同時に、オペレータがそれぞれの操作アクションを実行するとき、特に手のジェスチャーのような操作アクションの光学的認識または音響的操作アクションの検出を使用するときに、オペレータにとって関心があるように見えるグラフィックユーザーインターフェース上の情報を見ることができるか、または作動性の安全性、効率性およびフレキシビリティを更に大きく改善できるよう、機械加工スペース内を見ることもできる。
【００１６】
本発明によれば、機械を作動させるためにオペレータは、もはやオペレータステーションで直接操作アクションを実行するということだけに限定されず、オペレータは自らがオペレータステーションに直接立っていないときでも、提供される無接触操作の可能性を使用することにより、操作アクションを実行できるというさらに重要な利点が得られる。このことにより、オペレータは特に機械を操作するときに、オペレータステーションにある直接マニュアル動作に適した位置から歩いて離れることができ、オプションとして機械の部品上の、または機械加工スペース内の良好な視界を得ることができ、更に機械を作動させ、または制御するための無接触操作アクションを実行することも可能となる。このことは、危険な状況が生じたときの安全性に適した、機械上の緊急停止スイッチをトリガーするのに特に適している。その理由は、オペレータは時間をかけて最も近い緊急停止スイッチの所まで行く必要はなく、必要であれば無接触状態で直接かつ迅速に停止スイッチをトリガーできるからである。
【００１７】
本発明の意義におけるオペレータの光学的に検出可能な無接触操作アクションはオペレータが片手または両手を使って実行できる、コンピュータで実施される光学的画像処理方法により好ましく認識できる、オペレータの所定のジェスチャーアクション、およびオペレータが自分の顔で実行できる、コンピュータで実行される光学的画像処理方法によって好ましく認識できるオペレータが行う模倣操作アクションを含む。かかる模倣（まね）をする操作アクションは、例えば眼の動きにより適当な態様（例えば見ている方向の検出、まぶたの動きの検出）により実現できる。
【００１８】
本発明の意義における、オペレータの音響的に検出可能な無接触操作アクションは、コンピュータで実施される音声認識を使って認識できるような所定の音声コマンドを含むことが好ましい。しかしながら、これら操作アクションは、好ましい実施形態に従い、人の叫び声または悲鳴の声の大きさを検出することだけを含んでもよい。これにより、例えば声の大きさの限界値よりも大きい人の叫びおよび／または限界値を超える時間的長さの人の叫びが検出されるとすぐに、機械において緊急停止をした場合、特に機械における緊急停止をトリガーするための操作アクションに対する、機械における安全性をかなり改善できる。従って、オペレータが緊急停止のトリガーを必要とするような危険な状況におかれ、同時に機械の緊急停止スイッチに達することができない場合でも、緊急停止をトリガーできる。
【００１９】
要約すれば、本発明は、工作物を取り扱い、組み立て、または機械加工するための自動化された機械、例えば数値制御工作機械の操作性を極めて適当に拡張できるようにし、機械の作動デバイス上の操作要素に触れることによる従来公知の直接マニュアル操作の可能性の外に、更に別の作動可能な選択肢を創出することにより、機械をより効率的、フレキシブル、直感的、更により安全に設計することを可能にするので、機械のオペレータは、無接触操作アクションによって、機械において作動コマンドまたは制御コマンドをトリガーできる。
【００２０】
本発明の第１の様相によれば工作物を取り扱い、組み立て、または機械加工するための自動化された機械を作動させるためのデバイス、特に数値制御工作機械を作動させるためのデバイスが提案される。
【００２１】
第１の様相に係わるデバイスは、機械の機械機能を制御および／またはモニタするグラフィックユーザーインターフェースをディスプレイするためのスクリーンを有するディスプレイ装置と、機械のオペレータによる機械の機械機能および／またはグラフィックユーザーインターフェースの機能を制御するコマンドトリガー、とくにマニュアル操作アクションを入力するための作動装置と、オペレータによる機械の機械機能および／またはグラフィックユーザーインターフェースの機能を制御するための関連する制御コマンドとなるようにコマンドトリガー操作アクションを実施するためのコントローラとを備える。
【００２２】
本発明によれば、作動デバイスはマニュアル操作アクションを入力するための装置と、無接触操作アクションを入力するための装置とを含む。この場合、無接触操作アクションを入力するための手段は、オペレータの無接触アクションを検出するためのセンサシステムと、センサシステムによって検出されたオペレータの無接触アクションによるオペレータのコマンドトリガー操作アクションを検出するための検出装置とを含む。
【００２３】
従って、本発明によれば、作動デバイスは操作要素への接触、例えばキーボードの操作キーの操作、マウスの操作、ジョイスティック操作、ソフトキー、制御ダイアル、スイッチおよび／またはボタンの操作によるマニュアル操作アクションを入力するための従来公知の入力装置と、センサシステムを使って光学的および／または音響的に検出することが好ましく、検出装置を使って検出される無接触操作アクションを入力するための入力装置を含む。上記のように、これによって工作物を取り扱い、組み立て、または機械加工するための自動化された機械の操作性を拡張し、機械をより効率的に、よりフレキシブルに、より直感的に、更により安全となるような設計をすることが可能となる。
【００２４】
本発明の特に適当な好ましい実施形態によれば、無接触操作アクションを入力するための装置は、オペレータの無接触操作アクションを光学的に検出するような対策が講じられている。これによって、オペレータの無接触の物理的アクションを光学的に検出できるセンサシステムを設けることにより、オペレータの異なるアクションの極めて広い範囲を光学的に検出できるという利点が得られ、この場合、これら光学的に検出される操作アクションは、コンピュータで実行される画像処理を使って評価し、認識できる。オペレータのかかる光学的に検出可能なアクションとして、オペレータの姿勢、模倣動作、ジェスチャーの変化だけでなく、物理的な運動、例えば腕の動き、頭の動き（例えばうなずき、または頭を振ること）がある。ここで、電子およびコンピュータで実施される画像処理により、これら操作アクションを認識し、個々の作動コマンドまたは作動機能に関連するあらかじめ定めた操作アクションにこれら操作アクションをオプションとして一致させることができるので、コントローラを使用することにより、これら作動コマンドまたは作動機能を実行できる。
【００２５】
この場合、センサシステムは、オペレータの模倣アクションおよびジェスチャーアクションを光学的に検出するための少なくとも１台のカメラを含むカメラシステムを有する。更に検出装置は、カメラシステムのセンサ信号に基づきオペレータの無接触操作アクションを光学的に検出するために、画像認識を実行するようになっている画像処理ユニットを含む。特に好ましい実施形態によれば、カメラシステムは、オペレータの模倣アクションおよびジェスチャーアクションを光学的に検出するよう、互いに離間した状態に配置された少なくとも２台のカメラを有し、画像処理ユニットは、カメラシステムのセンサ信号に基づき、三次元画像認識を実行するようになっている。
【００２６】
近年、電子画像処理における個人の光学的に認識可能なアクションを、光学的に認識する技術分野は、大きな進歩を遂げ、例えばデジタルメディア技術のためのフラウンホーファー研究所（Fraunhofer-Institut
Fur Digitale Medientechnologie）によって研究中である。この目的のために、デジタルメディア技術のためのフラウンホーファー研究所は、例えばカメラシステムにより光学的な眼または瞳の検出を実行できるようにする方法および技術を開発した。このシステムでは、人のまぶたの動き（まばたき）だけでなく、見ている方向も、簡単なカメラ、例えばウェブカメラから成るカメラシステムを含む簡単なハードウェア手段と協働させて、画像処理ソフトウェアを使用することによって、信頼できる状態で認識できる。
【００２７】
かかるカメラシステムでは、少なくとも２台の離間したカメラを使用することによって、既に三次元画像認識が可能となっている。例えばウェブサイトwww.idmt.fraunhofer.deでの「統合アイトラッカー（Integrated Eyetracker）」のシステムに関する論文を参照されたい。この論文によれば、統合アイトラッカーの記載されているシステムは、見ている方向の無接触で完全に無較正の３Ｄ決定を行うことを可能にしている。特殊なミニチュアカメラを使用することにより、極めて小さいスペースでも、この眼トラッキングシステムを設置することができ、２台以上のカメラを使用して画像を２００ｆｐｓで処理することにより、各画像を得た後にリアルタイムで、見ている方向に関する情報を得ることができる。特にこの眼トラッキングシステムは、瞳の位置を１ｍｍ未満の精度で測定しながら、見ている方向の認識精度を１度未満にできる。ユーザーまでの距離は、使用する対物レンズの焦点距離だけで決まり、ユーザーの移動範囲はほとんど制限されない。その理由は、２台のカメラが眼を捕捉できる限り、ユーザーはカメラシステムの全視覚範囲内を実際に移動できるからである。
【００２８】
従って、オペレータパネルの位置からスタートすると、複数のカメラを適当に配置することにより、カメラシステムの拡張に起因して、ユーザーの移動性を連続的に拡張でき、実際には操作すべき機械のまわりの全範囲に拡張できる。従って、簡単な技術手段を用いて作動すべき、または制御すべき機械のまわりの全範囲にて、原則的にはオペレータの見る方向を認識することが可能である。これに反し、純粋にマニュアルで操作できるオペレータパネルを介した従来の操作可能性の場合、オペレータステーションの位置では操作は、直接マニュアル操作だけに限定されて不適当である。
【００２９】
ジェスチャーの認識に関し、デジタルメディア技術のためのフラウンホーファー研究所は、画像処理ソフトウェアと組み合わせて簡単なカメラシステムによりユーザーのジェスチャーを光学的に検出し、認識できるようにする、「GestureID」と表示される技術も開発した。例えば、www.idmt.fraunhofer.de上の「GestureID」のシステムに関する論文を参照されたい。この論文によれば、記載されているシステムは、人の視覚の詳細な研究を使用することによって開発された物体認識アルゴリズムに基づくものであり、このアルゴリズムでは、予備処理アルゴリズムが人のジェスチャーを局所化する所定のビジュアルシーンの必要なすべての情報をフィルタにかけ、この情報を認識モジュールに転送するようになっており、認識モジュールは検出されたジェスチャーを分析し、その後、このジェスチャーにリンクされた応答をトリガーするようになっている。更に、例えばマイクロソフト社の公知のビデオゲームコンソールを制御するために、最近開発された三次元画像処理センサシステムではジェスチャーの認識が更に可能である。かかる三次元画像処理センサは、特にオペレータの姿勢、模倣、ジェスチャーおよび身体部分の動き、例えば腕の動き、頭の動き（例えばうなずきまたは頭を振ること）の変化を含む、広い範囲の無接触操作アクションの検出および認識を可能にしている。
【００３０】
特に好ましい実施形態によれば、カメラシステムは、オペレータの眼を光学的に捕捉するようになっており、画像処理ユニットは、例えばデジタルメディア技術のためのフラウンホーファー研究所の上記眼トラッキングシステム（国際特許出願第ＷＯ０３／０６５８８６Ａ１号およびＷＯ２００６／０３２２５３Ａ１号も参照）によれば、画像処理ユニットは、オペレータの眼の光学的に捕捉された瞳に基づき、オペレータが見ている方向を認識するようになっている。このカメラシステムは、特に工作物を取り扱い、組み立て、または機械加工するための自動化された機械、特に数値制御工作機械を作動させ、または制御するために特に有利に使用できる。その理由は、例えばオペレータが自分の眼を機械の特定の機械部品に向けていることが認識された場合、かかる機械でのグラフィックユーザーインターフェースを制御するためのカーソル位置を無接触で得るようグラフィックユーザーインターフェース上の見ている位置の認識の他に、見ている方向の認識も広範囲に使用できる。更に例えば見ている方向のこのような認識はグラフィックユーザーインターフェース上のモニタ情報をオペレータに示すのに特に有利に使用できる。またオプションとして更に見ている構成部品に関する制御の可能性を提供する。この構造部品は再び特に無接触またはマニュアルで、別の操作アクションによりトリガーできる。
【００３１】
画像処理ユニットは、オペレータの眼の内部の眼または瞳のサイズの変化を検出するようになっていることが好ましい。ここで、オペレータの眼または瞳が急激に拡大したことが検出された場合、コントローラが機械における緊急停止をトリガーするようになっていることが好ましい。特にこのコントローラは、オペレータの眼または瞳の急激な拡大が検出され、同時にオペレータが見ている方向が機械の機械加工スペースに向いていると認識された場合、機械における緊急停止をトリガーするようになっていることが好ましく、かつそのようなことが特に適す。この実施形態は、工作物を取り扱い、組み立て、または機械加工するために、操作すべき機械における安全性をかなり高めることができるという利点を提供できる。その理由は、（例えば機械の機械加工スペースにおける）危険な状況を光学的に認識することによりトリガーされ、認識された急激な眼または瞳の拡大によって認識できるオペレータのショックを、遅延（この遅延は純粋に直接的なマニュアル操作の場合、オペレータが緊急停止スイッチを積極的に操作するまでの比較的長い反応時間によって自然に生じるものである）を生じることなく、直接緊急停止を即座にトリガーするための直接コマンドに変換できる。
【００３２】
画像処理ユニットは、認識された、見ている方向に基づき、グラフィックユーザーインターフェースでのオペレータが見ている位置を検出するようになっていることが好ましい。このことによって、ユーザーの見ている方向を使ってグラフィックユーザーインターフェース上のカーソル位置をガイドするという事実により、オペレータが自分の手を更に使用することなく、オペレータがグラフィックユーザーインターフェース上のカーソルまたはカーソル位置を直感的かつ効率的に制御できるという利点が得られる。
【００３３】
好ましくは、コントローラは、スクリーン上のオペレータが見ている検出された方向に基づき、グラフィックユーザーインターフェースのスクリーン部分を選択または、追うようになっている。従って、ユーザーは他の操作アクションのために自分の手を自由にしたまま、別のマニュアルアクションを行わずに、グラフィックユーザーインターフェースのスクリーン部分を選択したり、スクリーン部分を眼で追うことができるので、作動デバイスのグラフィックユーザーインターフェースの制御を更に改善できる。
【００３４】
好ましくは、コントローラは、スクリーン上のオペレータが見ている検出された方向に基づき、グラフィックユーザーインターフェースのインタラクティブな要素を起動するようになっている。従って、オペレータは他の操作アクションのために自分の手を自由にしたまま、別のマニュアルアクションを行わずに、グラフィックユーザーインターフェースのインタラクティブな要素を起動できるので、作動デバイスのスクリーン上のグラフィックユーザーインターフェースのコントローラを更に改善できる。
【００３５】
好ましくは、コントローラは、スクリーン上のオペレータが見ている検出された位置に基づき、グラフィックユーザーインターフェースの複数のスクリーンマスクのディスプレイを切り換えるようになっている。従って、オペレータは他の操作アクションのために自分の手を自由にしたまま、別のマニュアルアクションを行わずに、グラフィックユーザーインターフェースの複数のスクリーンマスクのディスプレイをシフトできるので、作動デバイスのスクリーン上のグラフィックユーザーインターフェースのコントローラを更に改善できる。
【００３６】
好ましくは、画像処理ユニットは、認識された、オペレータが見ている方向に基づき、機械加工スペース内の機械の構成部品のオペレータが見ている位置を検出するようになっている。この特に有利な実施形態は、グラフィックユーザーインターフェースを無接触制御するために、見ている位置を決定することの上記利用とは別個に、またはその代替方法として、工作機械の構成部品に対する見ている位置の認識を拡張できる。
【００３７】
好ましくは、コントローラは、機械の構成部品上のオペレータが見ている検出位置に基づき、グラフィックユーザーインターフェース上の構成部品に関連した情報または制御マスクをディスプレイするようになっている。この場合、先行する面倒なマニュアル操作アクションにより、オペレータがまず構成部品を選択することなく、別のマニュアルまたは無接触操作アクションにより構成部品の機能を直接制御できるよう、機械のうちの見られている構成部品に関する情報および／または利用可能な制御アクションをグラフィックユーザーインターフェース上でオペレータにディスプレイできる。
【００３８】
好ましくは、画像処理ユニットは、オペレータの光学的に捕捉された眼に基づき、オペレータのまぶたの動きを認識するようになっている。好ましくは、検出装置は、検出されたまぶたの動きに基づき、まぶたの動きのパターンを検出するようになっており、１つのまぶたの動きパターンは、まぶたの動きの回数およびまぶたの動きの間の時間インターバルを含み、コントローラは、所定のインターバル内の所定のまぶたの動きの回数を有する、検出された所定のまぶたの動きパターンを無接触操作アクションを確認するための確認制御コマンドに割り当てるようになっている。これによって、（例えば安全上の理由により必要とされ得る）グラフィックユーザーインターフェースによる問い合わせがくり返された場合に、前に与えられたコマンドの簡単な許可または拒否に関する作動コマンドのようなまぶたの動き（まばたき）だけにより、オペレータは好ましい効率的な態様で簡単な作動コマンドを制御することが可能となる。ここで、例えば決定すべき時間インターバル内の１回、２回またはｎ回のまばたき、または１回、２回、またはｎ回のまぶたの動きと制御機能の許可または拒否および機械機能のトリガーの操作アクションとをあらかじめ定義するか、またはあらかじめ設定できる。
【００３９】
別の特に好ましい実施形態によれば、カメラシステムは、オペレータの両手を光学的に捕捉するようになっており、画像処理ユニットは、オペレータのマニュアルジェスチャーアクションを検出するようになっている。既にこれまで述べたように、かかるシステムは、デジタルメディア技術のためのフランホーファー研究所のジェスチャー認識システム「GestureID」またはマイクロソフト社のビデオゲームコンソールを制御するために開発された三次元画像認識センサシステムに従い、かかるシステムを設計できる。ここで、オペレータがセンサシステムのセンサレンジ内にジェスチャーアクションを維持する限り、例えばオペレータまたはオペレータの両手がカメラシステムの少なくとも２台のカメラの視覚レンジ内にある限り、三次元画像認識方法におけるジェスチャー認識を保証することもできる。従って、操作すべき機械のレンジ内の各位置が少なくとも２台のカメラによって捕捉されるよう、機械のまわりにカメラシステムのカメラが配置されている場合、カメラシステムを適当に拡張することによって、操作すべき機械のまわりの全レンジ内の見ている方向の検出と類似するようにジェスチャー認識を実行することが可能である。しかしながら、純粋にマニュアル操作式のオペレータパネルを介した従来の操作可能性の場合、操作はオペレータステーショの位置における直接マニュアル操作だけに不適当に限定される。
【００４０】
好ましくは、画像処理ユニットは、複数の所定のジェスチャーコマンドのうちの一部のジェスチャーコマンドを認識するようになっており、所定の各ジェスチャーコマンドは、１つの特定のコマンドトリガー操作アクションに関連している。このことは、無接触ジェスチャー認識により、別の可能性に変換できるようオペレータが学習するだけでよい所定のコマンドトリガー操作アクションに明らかに関連付けできる複数のジェスチャーコマンドをあらかじめ定めることができるという利点となっている。オペレータが所定の制御コマンドまたは操作コマンドを支持したい場合、オペレータは片手または両手でカメラシステムの視覚レンジ内で制御コマンドまたは操作コマンドをトリガーする操作アクションを実行するだけでよい。すなわちこのコマンドに割り当てられているジェスチャーを行うだけでよい。ここで、まず親指を立てるような種々の多くのジェスチャーが可能である。特にオペレータが自分の指を使用することによって（例えば交換すべき工具または工作物などを選択するための）入力すべき数字を示すような操作ジェスチャーアクションを使用して数値をあらかじめ決定するようにすることを考えつくことさえもできる。ここで、片手または両手の（１本から１０本の指の）上に上げた指の数は、１〜１０または０〜９の数字を示す。オペレータの腕または手をホールドアップすることをコマンドトリガー操作アクションと定義することもできる。例えば機械における緊急停止を即座にトリガーするために、オペレータが両腕をホールドアップすること（明白なジェスチャー）を利用できる。特に、簡単な手段で、操作すべき機械のまわりの全レンジをカバーするカメラシステムにおいて、従来の作動デバイスの場合のように、近くの緊急停止スイッチまで行く必要がないように、機械のまわりの任意の位置から、緊急停止を即座にかつ直接トリガーできる。従って、機械の安全性を相当改善することが可能である。
【００４１】
本発明の、別の特に適当な好ましい実施形態によれば、無接触操作アクションを入力するためのデバイスが、オペレータの無接触操作アクションを音響的に検出するような対策が講じられる。この場合、センサシステムは、オペレータの音響的アクションを検出するためのマイクシステムを有することが好ましい。従って、実質的により効率的、直感的かつフレキシブルとなるように、操作すべき機械での操作可能性をかなり改善し、設計できる。特に自動車におけるナビゲーションシステムを制御するために、今日既に信頼できる状態で使用できる音声認識を実行すると、特に好ましい結果が得られる。その理由は、音声コマンドを使用することによる制御は、最も直感的な制御方法のうちの１つを提供できるからである。ここで、多くの機械の機能すなわち機械での作動機能を、オペレータが大声で言わなければならない不明確な音声コマンドに割り当てることができる。複数のマイクを適切に使用すると、機能をトリガーするコマンドを指示するのに、機械のまわりの全レンジにおいて、かかる言語による操作アクションを好ましく実施できるようになる。
【００４２】
特に適した実施形態も、危険な状況における緊急停止の迅速なトリガーに関連できる。例えばマイクシステムによって検出される全レンジにおいて、音声コマンド「緊急停止」としゃべることにより、マニュアルで操作しなければならなかった、最も近くの緊急停止ボタンまで行かなくても、機械における迅速な緊急停止をトリガーできる。
【００４３】
好ましくは、検出装置は、マイクシステムによって検出されるオペレータのスピーチ入力を認識するための音声認識ユニットを有する。好ましくは、音声認識ユニットは、複数の所定の音声コマンドからオペレータの一部の音声コマンドを認識するようになっており、各所定の音声コマンドは、１つの特定のコマンドトリガー操作アクションと関連している。上記のように、これにより、対応する特定のコマンドをトリガーするオペレータの言葉の「はい」、「いいえ」、「工具を交換」、「オン」または「作動スタート」および／または「緊急停止」を含む複数の音声コマンドを定義することが可能となる。更に、機械の構成部品を選択または制御するために、「Ｘ軸」、「Ｙ軸」、「Ｚ軸」、「Ａ軸」、「Ｂ軸」、「工具交換器」、「パレット」「ドア」「チップコンベア」、「回転テーブル」、「スピンドル」などの音声コマンドによる構成部品の指定を直接実行できるようにすることを好ましく考えつくことができる。
【００４４】
好ましくは、音声認識ユニットは、マイクシステムにより検出された音声コマンドのスピーチパターンを検出するようになっており、コントローラは、記憶され、関連したスピーチパターンを有するオペレータをログオンし、ログオンされたオペレータに関連するスピーチパターンに対応する検出されたスピーチパターンを有するピックアップ音声コマンドだけを実行するようになっている。これによって、作動のために機械に実際にログオンされた（従って制御の認定がされた）オペレータの音声コマンドだけを有利に実行することが可能となる。ここで、認識された音声コマンドのパターンが機械のログオンされているオペレータのスピーチパターンに一致しないと認識された場合、別の人物（例えば近くにある機械のオペレータ）の音声コマンドまたは叫びを無視できる。従って、操作すべき機械を作動させることを意図していない音声コマンドの誤った実行を好ましく防止できる。
【００４５】
好ましくは、検出装置は、マイクシステムが捕捉したオペレータの叫びまたは悲鳴、および大声を検出するようになっており、所定の声の大きさの限界値よりも大きい大声を有するオペレータの叫びまたは悲鳴が検出装置により検出された場合に、コントローラは、機械上で緊急停止をトリガーするようになっている。これによって、機械に危険な状況が生じたときに、まず最初にマニュアル操作式緊急停止スイッチまで行かなくても、迅速な緊急停止をトリガーできる別の能力を提供できるので、機械の安全性を更に改善できる。特にこの実施形態は、危険な状況が生じたことにより、オペレータがケガをするか、またはケガをし得る状況（例えばオペレータの体の一部または衣服がまだ作動中の機械の部品に巻き込まれた場合）であって、オペレータまたは関係する他の人のケガまたは更なるオペレータのケガを防止するために即座に緊急停止が必要とされるのにオペレータが自らマニュアル操作式緊急停止スイッチまで行けない状況に対して、適正に使用できる。この適当な実施形態によれば、例えば音響的に検出された叫びまたは悲鳴が、所定の大きさまたは所定の時間的長さを超えた場合、その音響的に検出された叫びまたは悲鳴に基づき、迅速な緊急停止をトリガーするようにできる（例えばこの緊急停止はオペレータがケガをした場合にオペレータが苦痛の悲鳴をあげ始めたことによってもトリガーされるが、この悲鳴は、もともとは緊急停止を意図していないが、緊急停止をトリガーすることを緊急に示唆している）。
【００４６】
更に、特に適した実施形態によれば、操作コマンドを無接触入力するための入力装置は、個人に関連した状態でそれぞれのオペレータに対して較正されるようになっており、入力装置は、オペレータへの較正が個人に関連した較正データに基づいて実行されるように、個人に関連した較正データをインポートするためのデータインターフェースを有することが好ましい。既にこれまで述べたように、ほとんどの画像認識方法および音声認識方法では、これらの方法を個々のオペレータに適合させたり、または較正する必要がないことが多い。しかしながら、一部のケースでは、例えば画像処理ユニットにオペレータの高さを入力したり伝送することにより、見ている方向の認識を最適にするか、またはログオンされたオペレータの個々のスピーチパターンを音声認識ユニットに入力または伝送することにより、上記のように音声認識を最適にするようオペレータ固有の較正を実行することがまだ好ましい。この目的のために、オペレータがログオンされるごとに、または機械が始動されるごとに、再び較正を実行する必要がなく、オペレータがログオンされるときに個人に関連した較正データが自動的にインポートされるか、またはより効率的かつ時間を節約するような方法で較正を実行できるよう、機械を始動することが特に適当である。好ましいことに、このケースにおける較正データとして、音声認識ユニットを較正するためのオペレータに関連したスピーチパターンおよび／または画像処理ユニットを較正するためのオペレータに関連する身体のサイズのデータがある。
【００４７】
この目的のために作動デバイスの好ましい個々の実施形態の上記特徴を別々に、または組み合わせて使用することができ、この場合、異なる無接触操作の可能性を組み合わせると、より直感的、効率的かつより安全となるように作動可能な選択肢を相乗的に設計できる。オペレータの好みにより、オペレータが無接触操作の可能な選択肢のうちの１つ以上をやめたい場合、当然ながら前記１つ以上の無接触操作の選択肢の各々を個々に、または組み合わせて一時的に無効にすることができる。従って、（例えば音声認識を起動または無効にする選択肢に基づき）音響的に検出可能な無接触操作の選択肢を使用するかどうか、および／または（例えば画像処理、見ている方向の認識、見ている位置の認識および／またはジェスチャー認識を起動または無効にする選択肢に基づき）光学的に検出可能な無接触操作の選択肢を使用するかどうかをオペレータが選択できるようにすることを保証できる。
【００４８】
本発明の第２の様相によれば、本発明の第１の様相の上記実施形態のうちの１つ以上に係わる、工作物を取り扱い、組み立て、または機械加工するための自動化された機械を作動させるためのデバイスを含む、工作物を取り扱い、組み立て、または機械加工するための自動化機械が提供される。本発明の作動デバイスと関連して、これまでそれぞれ説明するように、実質的に同じ可能な選択肢、実施形態およびそれらに関連する利点が結果として得られる。
【００４９】
特に好ましい実施形態によれば、この機械は、工作物を機械加工するための数値制御工作機械である。作動のためのデバイスを、工作機械の数値制御装置例えば工作機械のプログラマブルロジック制御装置（ＰＬＣ制御装置）および／または工作機械の数値制御装置（ＮＣ制御装置）に接続することが好ましい。更に、好ましい実施形態における作動デバイスを、工作機械の緊急停止制御回路に直接接続してもよい。
【００５０】
デバイスを使用することにより制御可能な工作機械の機械機能は、工作機械を始動すること、工作機械をコンフィギュアすること、工作機械をセットアップすること、ゼロポイントを設定すること、レスキュー機能、工作機械の緊急停止を起動すること、診断による障害探査、メンテナンス、プログラム管理、工具の取り扱い、パレットの取り扱い、工具の挿入、工具の較正、工具の交換、工作機械のＮＣ軸およびアクチュエータの起動および制御を含むＮＣ制御機能および／または数値制御のプログラミングを含む。
【００５１】
要約すれば、本発明は、機械の作動デバイス上の操作要素に触れることによる、これまで公知の直接マニュアル操作可能な選択肢の他に、無接触操作アクションによって機械のオペレータが機械での作動コマンドまたは制御コマンドをトリガーできるようにする作動可能な選択肢を提供することにより、工作物を取り扱い、組み立て、または機械加工する自動化された機械、例えば数値制御工作機械の作動可能性を拡張し、この工作機械をより効率的、よりフレキシブル、より直感的となるように設計できるようにするものである。
【００５２】
添付図面および本発明の好ましい実施形態を参照し、本発明の上記様相およびそれ以外の好ましい様相について説明する。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態に係わるフライス盤を作動させ、制御するための作動デバイス２を含む工作物をフライス加工するための数値制御フライス盤１を例として示す。
【図２】本発明の実施形態に係わる作動デバイス２の概略構造体を例として示す。
【図３】本発明の第１実施形態および第２実施形態にそれぞれ係わる無接触操作アクションを入力するための入力する装置２２を例として示す。
【図４】本発明の第３実施形態に係わる無接触操作アクションを入力するための入力装置２２を例として示す。
【発明を実施するための形態】
【００５４】
以下、添付図面を使用し、本発明の好ましい実施形態について詳細に説明する。しかしながら本発明は、ここに記載する実施形態だけに限定されるものではない。むしろ本発明は特許請求の範囲に記述すべきものである。図面および実施形態における同じ要部および／または類似した要部を同一参照番号で示す。詳細な説明の末尾に使用する参照番号のリストを記載する。
【００５５】
本発明の一実施形態に係わるフライス盤１を作動させ、制御するためのデバイス２（端的に述べれば、このデバイスを以下の記載において作動デバイス２と称す）を含む、工作物をフライス加工するための数値制御フライス盤１を例として示す。しかしながら本発明は、本実施形態の場合のようなフライス盤のための作動デバイスだけに限定されるものではなく、フライス盤、ボール盤、フライス／ボール工作機械、ユニバーサルフライス盤、マシニングセンター、旋盤、自動旋盤などの他の数値制御工作機械を作動させるためにも使用できる。更に本発明は、製造所および工場からの工作物を取り扱い、組み立て、または機械加工するための種々の自動化機械を作動させるためにも有利に使用できる。
【００５６】
図１に示された本実施形態では、フライス盤１は、フライス盤１のワークスピンドル１ｄ内に保持されたフライス工具１ｅにより、機械加工すべき工作物をクランプするための機械加工スペース１ａの内部にて、機械のベッド上に配置された回転テーブル１ｂを含む。このワークスピンドル１ｄは、フライス盤のスピンドルヘッド１ｃ上に配置されており、このスピンドルヘッドは、変位できるようにフライス盤１のマシンスタンドに取り付けられている。回転テーブル１ｂ上で機械加工すべき工作物は、複数のＣＮＣ制御リニア軸線および／または回転軸、好ましくは５本の数値制御軸により、工具１ｅに対して移動できるようになっている。
【００５７】
従来知られている作動デバイス（例えばＳＩＮＵＭＥＲＩＫ機械制御および作動用ソフトウェアでセットアップされた作動デバイス）の類似として、作動デバイス２は工作機械１の制御可能な機械機能を制御できる。機械の設計によっては、これら制御可能な工作機械は、特に工作機械をスタートさせること、工作機械をコンフィギュアすること、工作機械をセットアップすること、ゼロポイントをセットすること、レスキュー機能、工作機械の緊急停止を起動すること、診断用障害探査、メンテナンス、プログラム管理、ツールの取り扱い、パレットの取り扱い、工具の挿入、工具の較正、工具の変更、工作機械のＮＣ軸およびアクチュエータの機動および制御を含むＮＣ制御機能、および／または数値制御のプログラミングを含むことができる。この目的のために、作動デバイスは工作機械１の数値制御装置（例えばＣＮＣコントローラ）に接続されている。更にこの作動デバイスは、工作機械１のメモリプログラマブル制御装置（それぞれＳＰＳおよびＰＬＣ）および／または緊急停止制御回路にも接続できる。
【００５８】
図１に示された作動デバイス２は、工作機械１の機械機能を制御し、監督するためのグラフィックユーザーインターフェースをディスプレイするためのスクリーン１１を含むディスプレイ装置１０と、工作機械１のオペレータにより工作機械１の機械機能およびグラフィックユーザーインターフェースの機能を制御するコマンドトリガー操作アクションを入力するための作動装置２０とを、外部から見えるように含む。
【００５９】
図２は、本発明の一実施形態に係わる作動デバイス２の概略構造体を例として示す。この作動装置２は、工作機械１の機械機能を制御し、管理するためのグラフィックユーザーインターフェースをディスプレイするためのスクリーン１１を含む、図１に既に示されたディスプレイ装置１０と、工作機械１のオペレータにより工作機械１の機械機能およびグラフィックユーザーインターフェースの機能を制御するコマンドトリガー操作アクションを入力するための作動装置２０とを含む。この作動装置２０は、マニュアル操作アクションを入力するための第１入力装置２１を含む。この目的のために、入力装置２１は、直接かつマニュアル操作できる複数の操作要素２１ａ〜２１ｆ、例えばアルファニューメリカルキーボードのキー、コンピュータマウス、タッチスクリーン（オプションとしてスクリーン１１に関連する）、ソフトキー、制御ダイアル、スイッチ、ボタンなどを含む。
【００６０】
更に作動デバイス２は、コマンドトリガー操作アクションを実行するためのコントローラ３０を備える。これら操作アクションは、オペレータにより作動装置に入力され、オペレータにより工作機械１の機械機能およびグラフィックユーザーインターフェースの機能を制御するための関連する制御コマンドに入力されたものであり、次にインターフェース３１を介して工作機械１、例えば工作機械１のＣＮＣ制御装置に、またはオプションとして工作機械１のＰＬＣ制御装置または緊急停止回路に伝送できる。
【００６１】
マニュアル操作アクションを入力するための第１入力装置２１の外に、作動装置２０は、オペレータの無接触アクションを検出するためのセンサシステム５０、およびセンサシステム５０によって検出されたオペレータ無接触操作アクションを使用することにより、オペレータのコマンドトリガー操作アクションを検出するための検出装置６０を備えた、無接触操作アクションを入力するための第２入力装置２２を更に含む。この場合、センサシステム５０は、（例えばカメラおよび／またはマイクにより）オペレータの無接触操作アクションを光学的および／または音響的に検出するようになっている。検出装置６０は、光学的信号のための電子画像処理方法および／または音響信号のための処理手段、例えば電子音声認識により、センサシステム５０によって光学的または音響的に検出されたオペレータの無接触アクションを検出し、これらアクションをあらかじめ定めた無接触操作アクションとして識別するようになっている。あらかじめ定めた無接触操作アクションは、所定の制御または作動コマンドに関連しており、これらコマンドは、検出装置６０によってそれぞれの操作アクションが認識された後に、工作機械１へ伝送される。すなわちコントローラ３０によって実施される。
【００６２】
更に、作動デバイス２は、データインターフェース２２ａ（例えばＵＳＢインターフェース、ＣＤまたはディスクドライブ、ＲＦＩＤインターフェースなど）を備え、このインターフェースを介して第２入力装置２２のためのユーザー固有の較正データが、例えば工作機械１におけるオペレータのログオン手順のフレーム内でインポートできる。更にこの較正データは、工作機械１の始動時にオペレータの認証グレードをアンロックするのにも使用でき、よってオペレータはログオンされ、更にオペレータの認証グレードを使用することによりその認証グレードに応じてオペレータに対する所定の機械機能をアンロックしたりロックしたりすることができる。作動コマンドを無接触入力するための第２入力装置２２は、個人に関連するよう、それぞれのオペレータに対して較正されるようになっている。次に、このオペレータに対する較正は、インポートされた個人に関連する較正データに基づいて実行してもよい。かかる較正データは、例えば音声認識ユニットを較正するための、オペレータに関連するスピーチパターンおよび／または画像処理ユニットを較正するためのオペレータに関連する身体測定データを含むことができる。
【００６３】
図３は、本発明の第１実施形態または第２実施形態に係わる、無接触操作アクションを入力するための入力装置２２を例として示す。図３に示された入力装置２２のセンサシステム５０は、例えばオペレータが行う模倣（まね）したジェスチャーアクションを光学的に検出するための４台のカメラ５１ａ〜５１ｄを含むカメラシステム５１を備える。
【００６４】
従って、入力装置２２の検出装置６０は、カメラシステム５１のセンサ信号に基づき、画像認識を実行するようになっている画像処理ユニット６１を備える。特に第１実施形態に係わるカメラ５１ａ〜５１ｄは、オペレータの模倣アクションを光学的に検出するようになっている。これとは別に（またはこれに加え）、第２実施形態に係わるカメラ５１ａ〜５１ｄは、オペレータのジェスチャーアクションを光学的に検出するようになっている。画像処理ユニット６１は、カメラ５１ａ〜５１ｄのうちの少なくとも２台によって検出されたカメラシステム５１のセンサ信号に基づき、三次元の画像認識を実行するようになっている。
【００６５】
この目的のために、図３には例として４台のカメラが設けられている。その理由は、少なくとも２台のカメラによって検出され、よってオペレータの操作アクションの三次元認識が可能なエリアを有利に拡張できるからである。ジェスチャーを認識する場合、１台のカメラで既に十分である。見ている方向を有利に認識するのに必要であり、ジェスチャー認識の場合にかなり良好な結果を得ることができる画像処理ユニット６１を使用することにより、三次元画像認識をするには少なくとも２台のカメラが望ましい。この場合、最適なケースでは、工作機械１のまわりの全範囲内において、少なくとも２台のカメラによりそれぞれオペレータの任意の可能な位置を検出できるように多数のカメラが設けられる。
【００６６】
第１実施形態によれば、カメラシステム５１は、オペレータの眼または瞳を光学的に検出するようになっており、画像処理ユニット６１は、オペレータの眼の光学的に検出された瞳に基づき、オペレータが見ている方向を認識するようになっている。この見ている方向は、画像処理ユニット６１が検出された、見ている方向に基づき、グラフィックユーザーインターフェースにてオペレータの見ている方向を検出するようになっているということにより、例えば特に適した態様で、作動デバイス２のグラフィックユーザーインターフェースを制御するのに使用できる。
【００６７】
次に、コントローラ３０は、例えばオペレータが見ている、スクリーン１１上の検出された位置に基づき、グラフィックユーザーインターフェースのスクリーン部分を選択し、スクリーン１１上の、オペレータが見ている検出された位置に基づき、グラフィックユーザーインターフェースのインタラクティブな要素を起動し、スクリーン１１上のオペレータが見ている検出された位置に基づき、グラフィックユーザーインターフェースの複数のスクリーンマスクのディスプレイを切り換えるか、またはディスプレイ上のグラフィックユーザーインターフェースのこれらスクリーンマスクを縮小または拡大したり、これらスクリーンマスクのスクロールを行うようにできる。画像処理ユニット６１が、見ている認識方向に基づき、機械加工スペース１ａ内の工作機械１の構成部品上の、オペレータが見ている位置を検出するようになっている場合、工作機械１内のアプリケーションを更に改良できる。コントローラ３０は、特に適した態様で、工作機械１の部品上のオペレータが見ている検出された位置に基づき、グラフィックユーザーインターフェース上の構成部品に関連する情報または制御マスクをディスプレイするようにできる。この場合、オペレータはこの構成部品をわざわざマニュアルで選択したり、起動したりする必要はない。
【００６８】
このカメラシステム５１がオペレータの眼または瞳を検出するようになっている場合、画像処理ユニット６１がオペレータの光学的に検出された眼に基づき、オペレータのまぶたの動きを認識するようになっていることが更に好ましい。この場合、検出装置６０は、検出されたまぶたの動きに基づき、まぶたの動きパターンを検出するようになっていることが好ましく、この場合、まぶたの動きパターンは、まぶたの動きの回数と、そのまぶたの動きの間の時間インターバルを含むことができる。コントローラ３０は、所定時間インターバル内のまぶたの動きの所定の回数を含む、検出された所定のまぶたの動きパターンと、無接触操作アクションを許可または拒否するための、許可もしくは拒否制御コマンドとを関連付けるようにできる。
【００６９】
工作機械１に関する安全性のかなりの改良を必要とする第１実施形態に係わる作動デバイス２の特に適した設計は、オペレータの眼における眼のサイズまたは瞳のサイズの変化を検出するようになっている画像処理ユニット６１と、オペレータの眼または瞳の急激な拡大が検出され、オペレータが見ている方向が工作機械１の機械加工スペース１ａを向いていると認識された場合に、工作機械１上の緊急停止をトリガーするようになっているコントローラ３０により、実行できる。すなわちこの場合、眼または瞳の急激な拡大は、工作機械１の機械加工スペース１ａにおける危険な状況の光学的認識に起因するオペレータのショックに対する反射反応であると見なすことができる。この場合、オペレータの反応時間を待つことに起因する遅延を生じることなく、工作機械１で迅速な緊急停止をトリガーできる。
【００７０】
本発明の第２実施形態によれば、カメラシステム５１は、オペレータの手または腕を光学的に検出するようになっており、画像処理ユニット６１はオペレータのマニュアルジェスチャーアクションを認識するようになっている。従って、画像処理ユニット６１は、複数の所定のジェスチャーコマンドのうちの、あるジェスチャーコマンドを検出するようになっており、所定の各ジェスチャーコマンドは、特定のコマンドトリガー操作アクションに関連している。従って、オペレータは簡単な所定のジェスチャー（特に手のジェスチャー）を使うことにより、簡単な無接触状態で制御または作動コマンドを実行できる。
【００７１】
図４は、本発明の第３実施形態に係わる無接触操作アクションを入力するための入力装置２２を例として示す。このケースにおける入力装置２２のうちのセンサシステム５０は、オペレータの音響アクションを検出するためのマイクシステム５２を含み、このシステムは、例として２つのマイク５２ａおよび５２ｂを含む。音響検出をするには、１つのマイク５２ａで十分であるが、オペレータの音響アクションを検出するためのレンジを拡張できるように、第２のマイク５２ｂ（または必要であれば更なるマイク）を配置してもよい。更に、複数のマイクを設ける場合に、音響的アクション中のオペレータの位置に応じたマイク５２ａにおける信号の受信とマイク５２ｂにおける信号の受信（更に他の任意のマイクにおける信号の受信）との間の時間遅延に基づき、オペレータの位置に関する位置情報を計算してもよい。
【００７２】
図４では、検出装置６０は、マイクシステム５２によって検出されるオペレータの音声入力を認識するための音声認識ユニット６２を含む。この音声認識ユニット６２は、複数の所定の音声コマンドからオペレータの音声コマンドを認識するようになっており、所定の各スピーチコマンドが特定の１つのコマンドトリガー操作アクションと関連している。従って、第３実施形態によれば、オペレータは音響的音声コマンドにより（例えば「はい」、「いいえ」、「ＯＫ」、「停止」、「緊急停止」および同様なコマンドを使用することにより）オペレータは対応する制御コマンドを指示でき、これら音声コマンドは、入力装置２２で認識され、コントローラ３０によって実行できる。
【００７３】
ここで、この実施形態に係わる音声認識ユニット６２は、マイクシステム５２によって検出された音声コマンドのスピーチパターンを検出するようになっており、コントローラ３０は、更に工作機械１に対し、記憶され、関連付けされたスピーチパターンを有するオペレータをログオンし、ログオンされたオペレータに関連するスピーチパターンに対応する、検出されたスピーチパターンを有する、検出された音声コマンドだけを実行するようになっている。この場合、例えばデータインターフェース２２ａを使用することにより、較正中にスピーチパターンを作成できる。従って、音声コマンドが誤ったスピーチパターンを有する、最も近い工作機械１にいるオペレータの音声コマンドが、誤って使用されて工作機械１を制御してしまうことを好ましく防止できる。その理由は、コントローラ３０は、ログオンされたオペレータのスピーチパターンを有する音声コマンドしか、実行できないからである。
【００７４】
検出装置６０がマイクシステム５２によって検出されるオペレータの叫びまたは悲鳴、およびオペレータが出す大声を検出するようにすることにより、工作機械１での安全性のかなりの改良を必要とする第３実施形態に係わる作動デバイス２の特に適した設計を提供できる。この場合、所定の騒音限界値よりも高い騒音を有するオペレータの叫びまたは悲鳴が検出装置６０によって検出された場合に、コントローラ３０が工作機械１において緊急停止を迅速かつ自動的にトリガーするようにできる。
【００７５】
以上で、本発明の好ましい実施形態について説明した。上記実施形態の特徴事項、特に第１実施形態、第２実施形態および第３実施形態、並びにそれらの変形例の特徴事項を別々に使用してもよいし、互いに任意に組み合わせてもよい。種々の無接触の操作可能な選択肢を組み合わせた場合、相乗的な組み合わせの場合の工作機械の作動性を、よりフレキシブル、より直感的、より効率的およびより安全となるように設計できる。個人の好みにより、オペレータは無接触アクションの可能な選択肢の１つ以上をやむを得ず控えたい場合、当然ながら、無接触アクションの可能な選択肢の１つ以上を別々に、または組み合わせて一時的に無効するような対策を講じてもよい。従って、（例えば音声認識を起動または除勢できる可能な選択肢に基づき）音響的に検出可能な無接触の可能な選択肢を使用するかどうか、および／または（例えば画像処理、見ている方向の認識、見て位置の認識および／またはジェスチャー認識を起動または除勢する能力に基づき）光学的に検出可能な操作に可能な選択肢を使用するかどうかを、オペレータが選択できることを保証できる。
【００７６】
要約すれば、本発明は、工作物を取り扱い、組み立て、または機械加工するための自動化された機械、例えば数値制御工作機械の作動性を極めて有利に拡張できるようにし、更に工作機械の作動デバイス上の操作要素に触れることによる、これまで知られている直接マニュアル操作の可能な選択肢の外に、無接触操作アクションにより工作機械において作動コマンドまたは制御コマンドを工作機械のオペレータがトリガーできるようにする別の操作の可能な選択肢を提供することにより、より効率的、よりフレキシブル、より直感的、更により安全にできる。
【符号の説明】
【００７７】
１ 工作機械
２ 作動デバイス
１０ ディスプレイ装置
１１ スクリーン
２０ 作動装置
２１ （マニュアル入力のための）第１入力装置
２１ａ、２１ｂ、２１ｃ、２１ｄ、２１ｅ、２１ｆ 操作要素
２２ （無接触入力のための）第２入力装置
２２ａ データインターフェース
３０ コントローラ
３１ インターフェース
５０ センサシステム
５１ カメラシステム
５１ａ、５１ｂ、５１ｃ、５１ｄ カメラ
５２ マイクシステム
５２ａ、５２ｂ マイク
６０ 検出装置
６１ 画像処理ユニット
６２ 音声認識ユニット
【特許請求の範囲】
【請求項１】
工作物を取り扱い、組み立て、または機械加工するための自動化された機械を作動させるためのデバイスであって、
・機械（１）の機械機能を制御および／またはモニタするグラフィックユーザーインターフェースをディスプレイするためのスクリーン（１１）を有するディスプレイ装置（１０）と、
・マニュアル操作アクションを入力するための第１入力装置（２１）および無接触操作アクションを入力するための第２入力装置（２２）を含み、機械（１）のオペレータによる機械（１）の機械機能および／またはグラフィックユーザーインターフェースの機能を制御するコマンドトリガー操作アクションを入力するための作動装置（２０）とを備え、
無接触操作アクションを入力するための前記第２装置（２２）は、
前記オペレータの無接触アクションを検出するためのセンサシステム（５０）と、
・前記センサシステム（５０）により検出された前記オペレータの前記無接触アクションにより、前記オペレータのコマンドトリガー操作アクションを検出するための検出装置（６０）と、
・前記機械（１）の機械機能および／または前記オペレータによる前記グラフィックユーザーインターフェースの機能を制御するための関連する制御コマンドとなるようにマニュアルまたは無接触状態で入力されるコマンドトリガー操作アクションを実施するためのコントローラ（３０）とを備える、自動化された機械を作動させるためのデバイス。
【請求項２】
前記センサシステム（５０）は、前記オペレータの模倣アクションおよびジェスチャーアクションを光学的に検出するための少なくとも１台のカメラ（５１ａ）を含むカメラシステム（５１）を有し、前記検出装置（６０）は、前記カメラシステムのセンサ信号に基づき、画像認識を実行するようになっている画像処理ユニット（６１）を含むことを特徴とする、請求項１に記載のデバイス。
【請求項３】
前記カメラシステム（５１）は、前記オペレータの模倣アクションおよびジェスチャーアクションを光学的に検出するよう、互いに離間した状態に配置された少なくとも２台のカメラ（５１ａ、５１ｂ、５１ｃ、５１ｄ）を有し、前記画像処理ユニット（６１）は、前記カメラシステム（５１）のセンサ信号に基づき、三次元画像認識を実行するようになっていることを特徴とする、請求項２に記載のデバイス。
【請求項４】
前記カメラシステム（５１）は、前記オペレータの眼を光学的に捕捉するようになっており、前記画像処理ユニット（６１）は、前記オペレータの眼の光学的に捕捉された瞳に基づき、前記オペレータの見る方向を認識するようになっていることを特徴とする、請求項３に記載のデバイス。
【請求項５】
前記画像処理ユニット（６１）は、前記オペレータの眼または瞳のサイズの変化を検出するようになっており、オペレータの急激な眼または瞳の拡大が検出された場合、またはオペレータの急激な眼または瞳の拡大が検出され、前記オペレータの見ている方向が機械の機械加工スペースに向いていると認識された場合に、機械（１）での緊急停止をトリガーするようになっていることを特徴とする、請求項３または４に記載のデバイス。
【請求項６】
前記画像処理ユニット（６１）は、前記認識された、オペレータが見ている方向に基づき、前記グラフィックユーザーインターフェースでの前記オペレータが見ている位置を検出するようになっていることを特徴とする、請求項４または５に記載のデバイス。
【請求項７】
前記コントローラ（３０）は、前記スクリーン（１１）上の前記オペレータが見ている検出された方向に基づき、前記グラフィックユーザーインターフェースのスクリーン部分を選択するようになっていることを特徴とする、請求項６に記載のデバイス。
【請求項８】
前記コントローラ（３０）は、前記スクリーン（１１）上の前記オペレータが見ている検出された方向に基づき、前記グラフィックユーザーインターフェースのインタラクティブな要素を起動するようになっていることを特徴とする、請求項６または７に記載のデバイス。
【請求項９】
前記コントローラ（３０）は、前記スクリーン（１１）上の前記オペレータが見ている検出された位置に基づき、前記グラフィックユーザーインターフェースの複数のスクリーンマスクのディスプレイを切り換えるようになっていることを特徴とする、請求項６〜８のうちのいずれか１項に記載のデバイス。
【請求項１０】
前記画像処理ユニット（６１）は、前記認識された、オペレータが見ている方向に基づき、前記機械加工スペース内の前記機械（１）の構成部品上の前記オペレータが見ている位置を検出するようになっていることを特徴とする、請求項４〜９のうちのいずれか１項に記載のデバイス。
【請求項１１】
前記コントローラ（３０）は、前記機械（１）の前記構成部品上の前記オペレータが見ている検出位置に基づき、前記グラフィックユーザーインターフェース上の構成部品に関連した情報または制御マスクをディスプレイするようになっていることを特徴とする、請求項１０に記載のデバイス。
【請求項１２】
前記画像処理ユニット（６１）は、前記オペレータの光学的に捕捉された眼に基づき、前記オペレータのまぶたの動きを認識するようになっていることを特徴とする、請求項２〜１１のうちのいずれか１項に記載のデバイス。
【請求項１３】
前記検出装置（６０）は、前記検出されたまぶたの動きに基づき、まぶたの動きのパターンを検出するようになっており、１つのまぶたの動きパターンは、まぶたの動きの回数およびまぶたの動きの間の時間インターバルを含み、前記コントローラ（３０）は、所定のインターバル内の所定のまぶたの動きの回数を有する、検出された所定のまぶたの動きパターンを無接触操作アクションを確認するための確認制御コマンドに割り当てるようになっていることを特徴とする、請求項１２に記載のデバイス。
【請求項１４】
前記カメラシステム（５１）は、前記オペレータの両手を光学的に捕捉するようになっており、前記画像処理ユニット（６１）は、前記オペレータのマニュアルジェスチャーアクションを検出するようになっていることを特徴とする、請求項２〜１３のうちのいずれか１項に記載のデバイス。
【請求項１５】
前記画像処理ユニット（６１）は、複数の所定のジェスチャーコマンドのうちの一部のジェスチャーコマンドを認識するようになっており、所定の各ジェスチャーコマンドは、１つの特定のコマンドトリガー操作アクションに関連していることを特徴とする、請求項１４に記載のデバイス。
【請求項１６】
前記センサシステム（５０）は、前記オペレータの音響アクションを検出するためのマイクシステム（５２）を有することを特徴とする、請求項１〜１５のうちのいずれか１項に記載のデバイス。
【請求項１７】
前記検出装置（６０）は、前記マイクシステム（５２）によって検出される前記オペレータのスピーチ入力を認識するための音声認識ユニット（６２）を有することを特徴とする、請求項１６に記載のデバイス。
【請求項１８】
前記音声認識ユニット（６２）は、複数の所定の音声コマンドから前記オペレータの一部の音声コマンドを認識するようになっており、各所定の音声コマンドは、１つの特定のコマンドトリガー操作アクションと関連していることを特徴とする、請求項１７に記載のデバイス。
【請求項１９】
前記音声認識ユニット（６２）は、前記マイクシステム（５２）を使用することにより検出された音声コマンドのスピーチパターンを検出するようになっており、前記コントローラ（３０）は、記憶され、関連したスピーチパターンを有するオペレータを機械（１）にログオンし、前記ログオンされたオペレータに関連するスピーチパターンに対応する検出されたスピーチパターンを有するピックアップ音声コマンドだけを実行するようになっていることを特徴とする、請求項１７または１８に記載のデバイス。
【請求項２０】
前記検出された装置（６０）は、前記マイクシステム（５２）が捕捉した前記オペレータの叫びまたは悲鳴、および大声を検出するようになっており、前記所定の声の大きさの限界値よりも大きい大声を有する前記オペレータの叫びまたは悲鳴が前記検出装置（６０）により検出された場合に、前記コントローラ（３０）は、前記機械（１）上で緊急停止をトリガーするようになっていることを特徴とする、請求項１６〜１９のうちのいずれか１項に記載のデバイス。
【請求項２１】
操作コマンドを無接触入力するための前記第２入力装置（２２）は、個人に関連した状態でそれぞれのオペレータに対して較正されるようになっており、前記第２入力装置（２２）は、前記オペレータへの較正が個人に関連した較正データに基づいて実行されるように、個人に関連した較正データをインポートするためのデータインターフェース（２２ａ）を有することを特徴とする、請求項１〜２０のうちのいずれか１項に記載のデバイス。
【請求項２２】
前記較正データは、音声認識ユニット（６２）を較正するための前記オペレータに関連するスピーチパターンを含むことを特徴とする、請求項２１に記載のデバイス。
【請求項２３】
前記較正データは、画像処理ユニット（６１）を較正するための、前記オペレータに関連する身体測定データを含むことを特徴とする、請求項２１または２２に記載の作動デバイス。
【請求項２４】
請求項１〜２３のうちのいずれか１項に記載のデバイス（２）を含む、工作物を取り扱い、組み立て、または機械加工するための自動化された機械。
【請求項２５】
前記機械は、数値制御工作機械（１）であり、請求項１〜２４のうちのいずれか１項に記載の前記デバイス（２）は、前記工作機械の数値コントローラに接続されていることを特徴とする、請求項２４に記載の機械。
【請求項２６】
前記デバイスを使用することにより制御可能な前記工作機械（１）の機械機能は、前記工作機械を始動すること、前記工作機械をコンフィギュアすること、前記工作機械をセットアップすること、ゼロポイントを設定すること、レスキュー機能、前記工作機械の緊急停止を起動すること、診断による障害探査、メンテナンス、プログラム管理、工具の取り扱い、パレットの取り扱い、工具の挿入、工具の較正、工具の交換、工作機械のＮＣ軸およびアクチュエータの起動および制御を含むＮＣ制御機能および／または数値制御のプログラミングを含むことを特徴とする、請求項２５に記載の機械。
【請求項１】
工作物を取り扱い、組み立て、または機械加工するための自動化された機械を作動させるためのデバイスであって、
・機械（１）の機械機能を制御および／またはモニタするグラフィックユーザーインターフェースをディスプレイするためのスクリーン（１１）を有するディスプレイ装置（１０）と、
・マニュアル操作アクションを入力するための第１入力装置（２１）および無接触操作アクションを入力するための第２入力装置（２２）を含み、機械（１）のオペレータによる機械（１）の機械機能および／またはグラフィックユーザーインターフェースの機能を制御するコマンドトリガー操作アクションを入力するための作動装置（２０）とを備え、
無接触操作アクションを入力するための前記第２装置（２２）は、
前記オペレータの無接触アクションを検出するためのセンサシステム（５０）と、
・前記センサシステム（５０）により検出された前記オペレータの前記無接触アクションにより、前記オペレータのコマンドトリガー操作アクションを検出するための検出装置（６０）と、
・前記機械（１）の機械機能および／または前記オペレータによる前記グラフィックユーザーインターフェースの機能を制御するための関連する制御コマンドとなるようにマニュアルまたは無接触状態で入力されるコマンドトリガー操作アクションを実施するためのコントローラ（３０）とを備える、自動化された機械を作動させるためのデバイス。
【請求項２】
前記センサシステム（５０）は、前記オペレータの模倣アクションおよびジェスチャーアクションを光学的に検出するための少なくとも１台のカメラ（５１ａ）を含むカメラシステム（５１）を有し、前記検出装置（６０）は、前記カメラシステムのセンサ信号に基づき、画像認識を実行するようになっている画像処理ユニット（６１）を含むことを特徴とする、請求項１に記載のデバイス。
【請求項３】
前記カメラシステム（５１）は、前記オペレータの模倣アクションおよびジェスチャーアクションを光学的に検出するよう、互いに離間した状態に配置された少なくとも２台のカメラ（５１ａ、５１ｂ、５１ｃ、５１ｄ）を有し、前記画像処理ユニット（６１）は、前記カメラシステム（５１）のセンサ信号に基づき、三次元画像認識を実行するようになっていることを特徴とする、請求項２に記載のデバイス。
【請求項４】
前記カメラシステム（５１）は、前記オペレータの眼を光学的に捕捉するようになっており、前記画像処理ユニット（６１）は、前記オペレータの眼の光学的に捕捉された瞳に基づき、前記オペレータの見る方向を認識するようになっていることを特徴とする、請求項３に記載のデバイス。
【請求項５】
前記画像処理ユニット（６１）は、前記オペレータの眼または瞳のサイズの変化を検出するようになっており、オペレータの急激な眼または瞳の拡大が検出された場合、またはオペレータの急激な眼または瞳の拡大が検出され、前記オペレータの見ている方向が機械の機械加工スペースに向いていると認識された場合に、機械（１）での緊急停止をトリガーするようになっていることを特徴とする、請求項３または４に記載のデバイス。
【請求項６】
前記画像処理ユニット（６１）は、前記認識された、オペレータが見ている方向に基づき、前記グラフィックユーザーインターフェースでの前記オペレータが見ている位置を検出するようになっていることを特徴とする、請求項４または５に記載のデバイス。
【請求項７】
前記コントローラ（３０）は、前記スクリーン（１１）上の前記オペレータが見ている検出された方向に基づき、前記グラフィックユーザーインターフェースのスクリーン部分を選択するようになっていることを特徴とする、請求項６に記載のデバイス。
【請求項８】
前記コントローラ（３０）は、前記スクリーン（１１）上の前記オペレータが見ている検出された方向に基づき、前記グラフィックユーザーインターフェースのインタラクティブな要素を起動するようになっていることを特徴とする、請求項６または７に記載のデバイス。
【請求項９】
前記コントローラ（３０）は、前記スクリーン（１１）上の前記オペレータが見ている検出された位置に基づき、前記グラフィックユーザーインターフェースの複数のスクリーンマスクのディスプレイを切り換えるようになっていることを特徴とする、請求項６〜８のうちのいずれか１項に記載のデバイス。
【請求項１０】
前記画像処理ユニット（６１）は、前記認識された、オペレータが見ている方向に基づき、前記機械加工スペース内の前記機械（１）の構成部品上の前記オペレータが見ている位置を検出するようになっていることを特徴とする、請求項４〜９のうちのいずれか１項に記載のデバイス。
【請求項１１】
前記コントローラ（３０）は、前記機械（１）の前記構成部品上の前記オペレータが見ている検出位置に基づき、前記グラフィックユーザーインターフェース上の構成部品に関連した情報または制御マスクをディスプレイするようになっていることを特徴とする、請求項１０に記載のデバイス。
【請求項１２】
前記画像処理ユニット（６１）は、前記オペレータの光学的に捕捉された眼に基づき、前記オペレータのまぶたの動きを認識するようになっていることを特徴とする、請求項２〜１１のうちのいずれか１項に記載のデバイス。
【請求項１３】
前記検出装置（６０）は、前記検出されたまぶたの動きに基づき、まぶたの動きのパターンを検出するようになっており、１つのまぶたの動きパターンは、まぶたの動きの回数およびまぶたの動きの間の時間インターバルを含み、前記コントローラ（３０）は、所定のインターバル内の所定のまぶたの動きの回数を有する、検出された所定のまぶたの動きパターンを無接触操作アクションを確認するための確認制御コマンドに割り当てるようになっていることを特徴とする、請求項１２に記載のデバイス。
【請求項１４】
前記カメラシステム（５１）は、前記オペレータの両手を光学的に捕捉するようになっており、前記画像処理ユニット（６１）は、前記オペレータのマニュアルジェスチャーアクションを検出するようになっていることを特徴とする、請求項２〜１３のうちのいずれか１項に記載のデバイス。
【請求項１５】
前記画像処理ユニット（６１）は、複数の所定のジェスチャーコマンドのうちの一部のジェスチャーコマンドを認識するようになっており、所定の各ジェスチャーコマンドは、１つの特定のコマンドトリガー操作アクションに関連していることを特徴とする、請求項１４に記載のデバイス。
【請求項１６】
前記センサシステム（５０）は、前記オペレータの音響アクションを検出するためのマイクシステム（５２）を有することを特徴とする、請求項１〜１５のうちのいずれか１項に記載のデバイス。
【請求項１７】
前記検出装置（６０）は、前記マイクシステム（５２）によって検出される前記オペレータのスピーチ入力を認識するための音声認識ユニット（６２）を有することを特徴とする、請求項１６に記載のデバイス。
【請求項１８】
前記音声認識ユニット（６２）は、複数の所定の音声コマンドから前記オペレータの一部の音声コマンドを認識するようになっており、各所定の音声コマンドは、１つの特定のコマンドトリガー操作アクションと関連していることを特徴とする、請求項１７に記載のデバイス。
【請求項１９】
前記音声認識ユニット（６２）は、前記マイクシステム（５２）を使用することにより検出された音声コマンドのスピーチパターンを検出するようになっており、前記コントローラ（３０）は、記憶され、関連したスピーチパターンを有するオペレータを機械（１）にログオンし、前記ログオンされたオペレータに関連するスピーチパターンに対応する検出されたスピーチパターンを有するピックアップ音声コマンドだけを実行するようになっていることを特徴とする、請求項１７または１８に記載のデバイス。
【請求項２０】
前記検出された装置（６０）は、前記マイクシステム（５２）が捕捉した前記オペレータの叫びまたは悲鳴、および大声を検出するようになっており、前記所定の声の大きさの限界値よりも大きい大声を有する前記オペレータの叫びまたは悲鳴が前記検出装置（６０）により検出された場合に、前記コントローラ（３０）は、前記機械（１）上で緊急停止をトリガーするようになっていることを特徴とする、請求項１６〜１９のうちのいずれか１項に記載のデバイス。
【請求項２１】
操作コマンドを無接触入力するための前記第２入力装置（２２）は、個人に関連した状態でそれぞれのオペレータに対して較正されるようになっており、前記第２入力装置（２２）は、前記オペレータへの較正が個人に関連した較正データに基づいて実行されるように、個人に関連した較正データをインポートするためのデータインターフェース（２２ａ）を有することを特徴とする、請求項１〜２０のうちのいずれか１項に記載のデバイス。
【請求項２２】
前記較正データは、音声認識ユニット（６２）を較正するための前記オペレータに関連するスピーチパターンを含むことを特徴とする、請求項２１に記載のデバイス。
【請求項２３】
前記較正データは、画像処理ユニット（６１）を較正するための、前記オペレータに関連する身体測定データを含むことを特徴とする、請求項２１または２２に記載の作動デバイス。
【請求項２４】
請求項１〜２３のうちのいずれか１項に記載のデバイス（２）を含む、工作物を取り扱い、組み立て、または機械加工するための自動化された機械。
【請求項２５】
前記機械は、数値制御工作機械（１）であり、請求項１〜２４のうちのいずれか１項に記載の前記デバイス（２）は、前記工作機械の数値コントローラに接続されていることを特徴とする、請求項２４に記載の機械。
【請求項２６】
前記デバイスを使用することにより制御可能な前記工作機械（１）の機械機能は、前記工作機械を始動すること、前記工作機械をコンフィギュアすること、前記工作機械をセットアップすること、ゼロポイントを設定すること、レスキュー機能、前記工作機械の緊急停止を起動すること、診断による障害探査、メンテナンス、プログラム管理、工具の取り扱い、パレットの取り扱い、工具の挿入、工具の較正、工具の交換、工作機械のＮＣ軸およびアクチュエータの起動および制御を含むＮＣ制御機能および／または数値制御のプログラミングを含むことを特徴とする、請求項２５に記載の機械。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−２３４５４９（Ｐ２０１２−２３４５４９Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−１０５０３２（Ｐ２０１２−１０５０３２）
【出願日】平成２４年５月２日（２０１２．５．２）
【出願人】（５０６３８１５９９）ディッケル マホ プロンテン ゲーエムベーハー (16)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１２−１０５０３２（Ｐ２０１２−１０５０３２）
【出願日】平成２４年５月２日（２０１２．５．２）
【出願人】（５０６３８１５９９）ディッケル マホ プロンテン ゲーエムベーハー (16)
【Ｆターム（参考）】
[ Back to top ]