三次元ＣＡＤシステム
【課題】 入出力に仮想空間と現実空間を融合するＭＲシステムを利用した三次元ＣＡＤシステムを提供することを目的とする。
【解決手段】 サーバーとネットワークを介して接続された複数の複合現実感の提示機能を有するクライアントからなる三次元ＣＡＤシステムであって、前記複合現実感の提示機能を有するクライアントは、前記サーバーで生成した三次元モデルと前記他のクライアントによる設計データと連動した動作シミュレーションとの少なくともいずれか一方を現実空間の映像に重畳して表示することを特徴とする。
【解決手段】 サーバーとネットワークを介して接続された複数の複合現実感の提示機能を有するクライアントからなる三次元ＣＡＤシステムであって、前記複合現実感の提示機能を有するクライアントは、前記サーバーで生成した三次元モデルと前記他のクライアントによる設計データと連動した動作シミュレーションとの少なくともいずれか一方を現実空間の映像に重畳して表示することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーバーと、当該サーバーとネットワークを介して接続された複数のクライアントとからなる三次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｅｓｉｇｎ）システムに関する。また、本発明は、三次元ＣＡＤシステムにおけるサーバーシステム及び三次元ＣＡＤシステムにおけるクライアントＣＡＤシステムに関する。さらに、仮想空間と現実空間を重畳して表示し体験者に複合現実感を提示するＭＲ（Ｍｉｘｅｄ Ｒｅａｌｌｉｔｙ）システムに関する。
【背景技術】
【０００２】
従来、機械設計の分野では三次元ＣＡＤシステムが用いられており、機構、及び機構の構成部品を立体的に表示しながら設計を行うことが可能となっている。
【０００３】
この種のシステムにおいては、例えばアクチュエーターやモーター等の能動部品やセンサー等の制御するための制御プログラムの開発を支援するため、機構を実際に組立することなく、各構成部品の動作をシミュレートする機能を有している。このようなシミュレーションの可能な三次元ＣＡＤシステムは、例えば特許文献１に開示されている。
【特許文献１】特開２００６−１９５９７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のようなＣＡＤシステムでは入力が２次元画面のＧＵＩ形式になるので、実際のユーザーが使用するような感覚でパラメータを入力することが難しい。また、その結果である三次元コンピュータグラフィックスの表示に関しても二次元のディスプレイでは結果を感覚的につかむのには物足りないことがある。
【０００５】
本発明は、上記従来技術の課題を解決するためになされたものである。具体的には、本発明は、他のＣＡＤシステムによって設計されたデータを利用した動作シミュレーションを行いながら設計を行うことを可能とし、さらに入出力に仮想空間と現実空間を融合するＭＲシステムを利用した三次元ＣＡＤシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明における三次元ＣＡＤシステムは、サーバーとネットワークを介して接続された複数のクライアントからなる三次元ＣＡＤシステムであって、前記複数のクライアントの少なくとも一つは、ユーザーの視点からの現実空間の映像にコンピュータグラフィックスによる映像を重畳表示する複合現実感の提示機能を備えており、前記サーバーは、データを蓄積するデータ蓄積部と、前記各クライアントからの要求に応じて前記データ蓄積部よりデータを読み出しあるいは書き込み、かつ三次元モデル及び当該三次元モデルの動作シミュレーションを生成する演算部とを備えており、前記サーバーは、前記演算部によって、任意のクライアントによる設計に基づいて生成された三次元モデルに対して他のクライアントによる設計データを反映させることによって生成した前記三次元モデルの動作シミュレーションのデータを生成し、生成した当該動作シミュレーションのデータを前記任意のクライアントへ前記ネットワークを介して送信し、前記任意のクライアントは、前記サーバーから送信された前記動作シミュレーションのデータを受け取って設計を行う画面を表示させることにより、前記他のクライアントによる設計データと連動した動作シミュレーションを表示させ、前記複合現実感の提示機能を有するクライアントは、前記サーバーで生成した三次元モデルと前記他のクライアントによる設計データと連動した動作シミュレーションとの少なくともいずれか一方を現実空間の映像に重畳して表示することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、他のＣＡＤシステムによって設計されたデータを利用した動作シミュレーションを行いながら設計を行うことを可能とし、さらに入出力に仮想空間と現実空間を融合するＭＲシステムを利用した三次元ＣＡＤシステムを提供することが出来る。
【発明を実施するための最良の形態】
【０００８】
［第一の実施形態］
以下、図面を参照して本発明の実施形態を説明する。
【０００９】
図１は、本実施形態における三次元ＣＡＤシステムの基本構成を示す図である。同図において、１００はシステムの中枢部を構成するサーバー、１１０は装置を構成する機構部の設計を行うクライアントとしてのメカＣＡＤである。１２０は装置の電気回路部の設計を行うためのクライアントとしての電気ＣＡＤである。また、１３０は装置の機構部及び電気回路部の制御を行うプログラム（ファームウエア）の開発及び開発支援のためのクライアントとしてのファーム開発支援ツール、１４０はレンズユニット等の光学部品の設計を行う光学ＣＡＤ、１５０は実写映像（現実空間の映像）にＣＧを合成し、表示する提示機能を有するＭＲシステムである。
【００１０】
これらのサーバー１００と、メカＣＡＤ１１０、電気ＣＡＤ１２０、ファーム開発支援ツール１３０、光学ＣＡＤ１４０及びＭＲシステム１５０とからなる任意のクライアントとは、ネットワーク１６０を介して接続されている。そして、各クライアント１１０〜１５０とサーバー１００間、複数のクライアント１１０〜１５０間でサーバー１００を介して各種データの送受信が行われる。
【００１１】
サーバー１００内には、演算部１０１とデータ蓄積部１０２が備えられている。演算部１０１は、各クライアント１１０〜１５０からの要求にしたがってデータ蓄積部１０２より必要なデータを取り出し、記憶し、演算処理を実行する。そして、設計対象である装置の三次元モデルの生成や、各種動作のシミュレーションのためのデータを生成し、データ蓄積部１０２に記憶あるいは各クライアント１１０〜１５０へダウンロードされる処理を実行する。
【００１２】
各クライアント１１０〜１５０の構成について説明すると、メカＣＡＤ１１０は、設計に用いる機構部品の形状及び動作データと、それら機構部品を組み合わせて機構部を設計するためのアプリケーション等により、機械設計環境を構成する。同様に、電気ＣＡＤ１２０は、装置の電気回路に関する各種回路部品、回路構成、回路図、各種動作パラメータ等のデータと、それらのデータに基づいて回路設計を行うアプリケーション等により、回路設計環境を構成する。光学ＣＡＤ１４０は、レンズ形状、光学特性、レンズユニットとしての光学的な構造に関するデータと、それらのデータに基づいてレンズユニット等の光学設計を行うアプリケーション等により、光学設計環境を構成する。
【００１３】
また、ファーム開発支援ツール１３０には、装置の機構部、電気回路、光学機構部の動作を制御するためのファームウエアすなわちプログラムが格納されている。そして、後述するように他のクライアント（メカＣＡＤ１１０、電気ＣＡＤ１２０、光学ＣＡＤ１４０）のそれぞれにおける最新のデータあるいは設計環境を共有して、リアルタイムで動作シミュレーションを行うことができるように構成される。ＭＲシステム１５０は現実空間の映像とサーバー１００内で形成される三次元モデルを重畳して表示する。
【００１４】
このようなシステムにより、各クライアント１１０〜１５０において実行される設計にしたがい、その設計に必要なデータがサーバー１００のデータ蓄積部１０２から読み出されて各クライアントへと供給される。一方、各クライアント１１０〜１５０において行われる設計動作は、リアルタイムでサーバー１００の演算部１０１へとアップロードされ、サーバー１００内で装置（機構部）の三次元モデルが形成される。この三次元モデルのデータは、データ蓄積部１０２に記憶され、また各クライアント１１０〜１５０からの要求に応じて要求元のクライアントへとダウンロードされる。要求元クライアントでは、ダウンロードした三次元モデルを、必要に応じて自身の設計データを反映させた上で表示したり、三次元モデルを用いたシミュレーションを行ったりすることが可能となる。
【００１５】
図２は、本実施形態の三次元ＣＡＤシステムに係る各クライアント１１０〜１５０のハードウエア構成例を示すブロック図である。
【００１６】
クライアント１１０〜１５０は、いずれも汎用的なコンピュータ２００によって構成可能である。コンピュータ２００は、その制御部としてのＣＰＵ２０１、コンピュータ２００が起動する時にＣＰＵ２０１が実行するブートプログラムや、コンピュータ２００のハードウエアに依存する各種のプログラムを格納したＲＯＭ２０２を有する。ＲＡＭ２０３は、ＣＰＵ２０１が実行するプログラム及びＣＰＵ２０１が演算に使用するデータ等を格納する。通信インターフェース（Ｉ／Ｆ）２０４は、ネットワーク１５０を介してサーバー１００と通信するためのインターフェースである。コンピュータ２００は、さらに、ディスプレイ２０５、プリンタ２０６、マウス２０７、キーボード２０８、ハードディスクドライブ２０９、ＦＤドライブ２１０、ＣＤ−ＲＯＭドライブ２１１を備えている。
【００１７】
クライアントをＣＡＤとして機能させるためのアプリケーションプログラムや、オペレーティングシステムなどは、ハードディスクドライブ２０９に記憶されているものとする。
【００１８】
ＣＰＵ２０１は、ＲＯＭ２０２やハードディスクドライブ２０９に格納されたプログラム（実行時にはＲＡＭ２０３に展開される）に基づいて動作し、コンピュータ２００内の各部の制御を行う。通信Ｉ／Ｆ２０４は、ネットワーク１５０を介して他の装置（クライアント又はサーバー）等と通信を行う。ハードディスクドライブ２０９は、コンピュータ２００がユーザーに提供する機能を実現するためのプログラム及びデータを格納し、ＲＡＭ２０３を介してＣＰＵ２０１に提供する。ＦＤドライブ２１０やＣＤ−ＲＯＭドライブ２１１は、ＦＤ２１２やＣＤ−ＲＯＭ２１３等のリムーバブルメディアよりプログラムやデータを読み込み、ＲＡＭ２０３へ供給する。内部バス２１４は、コンピュータ２００内の各装置を接続するためのものである。
【００１９】
なお、サーバー１００もまた、ＣＰＵ２０１が実行するプログラムをサーバー１００の機能を実現するものに変更することで、図２に示すコンピュータ２００により実現可能である。
【００２０】
図３は、サーバー１００の機能構成例を示すブロック図である。
【００２１】
サーバー１００は、演算部１０１とデータ蓄積部１０２とで構成される。データ蓄積部１０２は、例えばハードディスクドライブ２０９のような記憶装置により実現される。そして、クライアントであるメカＣＡＤ１１０、電気ＣＡＤ１２０、光学ＣＡＤ１４０、ファーム開発支援ツール１３０、ＭＲシステム１５０に対応したメカデータ３０１、電気データ３０３、光学データ３０４、ファームデータ３０２を記憶、蓄積する。
【００２２】
たとえば、メカＣＡＤ１１０に対応するメカデータ３０１には、機構設計に必要な各種機構部品や、アクチュエーター、モーター等の能動部品の構成、サイズ、形状、各種特性などのデータが格納される。さらに、クライアントのメカＣＡＤ１１０において設計された機構モデルデータが格納されている。そして、登録された部品やデータの形状・属性等を管理し、プロセッサー部３０９よりの要求に基づいて、演算部１０１に必要なデータを渡す。他の電気データ３０３、光学データ３０４、ファームデータ３０２についても同様である。すなわち、電気データ３０３には電気回路部品に関するデータと、電気ＣＡＤ１２０で設計された電気回路データが格納される。光学データ３０４には、光学部品に関するデータと、光学ＣＡＤ１４０で設計された光学設計データが、ファームデータ３０２にはファーム開発支援ツール１３０で作成したファームウエアデータがそれぞれ格納されている。
【００２３】
そして、例えばＣＰＵ２０１により実現される演算部１０１は、メカデータ用のデータ変換部３０５、ファームデータ用のデータ変換部３０６、電気データ用のデータ変換部３０７及び光学データ用のデータ変換部３０８を備える。また、プロセッサー部３０９は、データ変換部３０５〜３０８が変換したデータをプログラムに基づいて演算処理する。このデータ変換部３０５〜３０８は、データ蓄積部１０２から、メカデータ３０１、電気データ３０３、光学データ３０４、ファームデータ３０２を、クライアントからの指示に基づいて読み出す。そして、たとえば機構設計であれば、要求元クライアントの設計環境に応じて、メカデータを変換する。具体的には、メカデータ３０１から読み出した登録部品データについて、表示スケール、装置への取り付け位置、姿勢等を、予め登録されている、クライアントが取り扱い可能な特性、仕様にしたがってデータ変換する。なお、メカＣＡＤ１１０が要求元クライアントの場合など、要求元クライアントでデータ変換は必須ではない。これにより、異なるＣＡＤシステム間で設計データの相互利用が可能になる。変換後のデータは、プロセッサー部３０９へと渡し、要求元のクライアントへ提供される。
【００２４】
同様に、電気データ３０３は、クライアント１１０〜１４０からの指示にしたがって読み出される。そして、要求元クライアントが取り扱い可能な形式にデータ変換部３０７で変換され、プロセッサー部３０９を通じて要求元クライアントへと供給される。
【００２５】
他の光学データ３０４、ファームデータ３０２についても同様で、それぞれ要求のあったクライアントへと、その要求にしたがったデータ形式に変換した後、プロセッサー３０９を介してクライアントへと供給される。
【００２６】
すなわち、クライアントであるメカＣＡＤ１１０より出された要求信号は、ネットワーク１５０を介してサーバー１００の演算部１０１内のプロセッサー部３０９へ供給される。プロセッサー部３０９は、要求信号と、ＲＡＭ２０３及びハードディスク２０９に格納されたプログラムとに基づいて、必要なデータをデータ蓄積部１０２へ要求する。データ蓄積部１０２は、要求されたデータ３０１，３０２，３０３，３０４を読み出し、対応する其々のデータ変換部３０５，３０６，３０７，３０８へ渡す。
【００２７】
各々のデータ変換部３０５〜３０８は、ＲＡＭ２０３やハードディスク２０９に記憶されたデータ変換プログラムに基づいてデータ変換を行い、プロセッサー部３０９へ提供する。プロセッサー部３０９は提供された変換データを用いてシミュレーション等の演算を行い、その演算結果をネットワーク１６０を介して要求元クライアントであるメカＣＡＤ１１０へ提供する。メカＣＡＤ１１０は、その演算結果をディスプレイ２０５へ表示したり、ファイルとしてハードディスク２０９へ格納したりする。これらの流れは、クライアント１２０、１３０、１４０共に同様である。
【００２８】
図４は、要求元クライアントとサーバー１００との間のコマンド及びデータの流れを示した図である。
【００２９】
図４では、ＭＲシステム１５０が要求元クライアントである場合を例として示している。図４には、実際にサーバー１００とＭＲシステム１５０との間で双方向に行われる各種データの流れと、処理の内容を示している。また、メカ設計者（ＭＲシステム１５０のユーザー）が、本実施形態における三次元ＣＡＤシステムを使って機構部を設計する場合の各種操作及びデータの送受信の手順を示している。ここで、図４の上から下へと処理の流れが移行するが、各ステップの処理は並行して行うことが可能である。
【００３０】
ステップＳ４００で、メカ設計者は、ＭＲシステム１５０を起動し、メカＣＡＤ１１０において設計しているモデルを実写映像と重畳してＭＲ空間上で観察する。図４の処理の詳細は、後述する。本実施形態では図５に示すようにそのモデルをカメラとする。
【００３１】
図５はＭＲ空間を表した図である。カメラ５０１はメカＣＡＤ１１０によって描画されたメカ設計者の視点に基づくコンピュータグラフィックスである。カメラ５０１は、位置姿勢センサーが装備されたカメラを模した模型５０５の位置姿勢などの状態に表示位置姿勢が連動する。模型５０５の位置姿勢はＨＭＤ（ヘッドマウントディスプレイ）５０４に装備された物体位置姿勢計測部６０７によって計測される。カメラ５０１にはシャッターボタン５０２がついており、模型５０５のシャッターボタンに連動する。ユーザー５０３は５０４をかぶり、カメラ５０１を操作している。
【００３２】
図６はＨＭＤ５０４およびＭＲシステム１５０の構成を示したものである。ＭＲシステム１５０は以下のものから構成される。現実画像入力部６０２、画像合成部６０３、複合現実感画像出力部６０４、カメラ位置姿勢計測部６０５、仮想物体入力部６０６、物体位置姿勢計測部６０７を備えている。
【００３３】
ヘッドマウンテッドディスプレイ（ＨＭＤ）５０４は左カメラ６３２と右カメラ６３３と左現実画像出力部６３４と右現実画像出力部１３５と複合現実感画像入力部６３６と画像表示部６３７を備えている。
【００３４】
再び図５に戻り、ユーザー５０３の動作について説明する。ユーザー５０３の指には位置姿勢センサーが接続されている。ユーザー５０３は模型５０５を持ちカメラ５０１を操作している。ユーザー５０３はカメラ５０１のシャッターボタン５０２を押そうとする。ユーザー５０３の指はシャッターボタン５０２に徐々に近づいていく。本来はシャッターボタン５０２が押された位置にユーザー５０３の指が到達した時に、カメラ５０１のシャッターボタン５０２が押されたというシミュレーションが開始する。
【００３５】
しかし、実際に到達してからシミュレーションを始めるとシミュレーションに時間がかかり、ユーザー５０３が押した直後に押した結果のコンピュータグラフィックスが得られない場合がある。実際にユーザー５０３の指が到達する前に実際にシミュレーションを行いその結果を保存しておく。図４に戻り、以上の流れを図４のフローチャートを用いて説明する。
【００３６】
ステップ４００でシステムが起動した後、ステップＳ４０１で位置姿勢センサーがユーザー５０３の指の位置を測定する。ステップＳ４０２で、ＭＲシステムがユーザー５０３の指の位置がシャッターボタン５０２が押された位置にあるかどうか判定する。もし所定の位置にあればステップＳ４０６に進む。所定の位置になければステップＳ４０３に進む。
【００３７】
ステップＳ４０３では所定の位置まで到達していないが所定の位置にあとわずかで到達しそうか判定する。あとわずかで到達しそうだと判定されればステップＳ４０８へ進む。ステップＳ４０８ではユーザー５０３の指が所定の位置に到達した場合に対応するシミュレーションを行う。次にステップＳ４０９に進みステップＳ４０８のシミュレーション結果をデータ蓄積部１０２に保存する。
【００３８】
サーバー１００はステップＳ４０６でデータ蓄積部１０２から先行シミュレーション結果を取り出す。次にステップＳ４１２に進んでメカＣＡＤ１１０用のデータに変換し、当該データをメカＣＡＤ１１０に配信する。次にサーバー１００ではステップＳ４０７に、メカＣＡＤ１１０ではステップＳ４１０に進む。ステップＳ４１０ではサーバー１００から先行シミュレーション結果を取得し表示する。次にＭＲシステム１５０でステップＳ４０４に進みス実写にステップＳ４１０で表示したコンピュータグラフィックスを重畳表示する。
【００３９】
サーバー１００ではステップＳ４０７で本来のシミュレーションを行う。次にステップＳ４１３に進んでメカＣＡＤ１１０用のデータに変換し、当該データをメカＣＡＤ１１０に配信する。次にメカＣＡＤ１１０ではステップＳ４１１に進み、サーバー１００から本来のシミュレーション結果を取得し表示する。次にＭＲシステム１５０でステップＳ４０５に進み実写にステップ４１１で表示したコンピュータグラフィックスを重畳表示する。
【００４０】
以上説明したように、ユーザー５０３の指の位置に応じて現実空間の環境を予測し、先行して行うシミュレーションを決定することにより、ユーザー５０３は遅延を感じずに、ＭＲ空間を体験することが出来る。
【００４１】
［第二の実施形態］
第二の実施形態の基本構成は第一の実施形態と同じである。違いはシミュレーション開始の条件である。第一の実施形態ではＭＲシステム１５０がサーバー１００でのシミュレーションを開始した。本実施形態ではメカＣＡＤ１１０がサーバー１００でのシミュレーションを開始する。
【００４２】
図７のフローチャートを説明する。ＭＲシステム１５０はステップＳ７００で操作を開始する。次にステップＳ７１４で模型５０５の位置姿勢計測を行い、その出力値をメカＣＡＤ１１０に送信する。
【００４３】
次にメカＣＡＤ１１０においてステップＳ７０１に進み、位置姿勢の計測値をＭＲシステム１５０から受信し、カメラ５０１の位置姿勢をその計測値に設定する。次にステップＳ７０２に進み、そのときにシミュレーションを行う条件であればサーバー１００のステップＳ７０６へ進む。そうでなければステップＳ７０３に進む。先行してシミュレーションを行う条件（シミュレーションを行う順序）は、例えば、処理にかかる時間が最小になるように設定してもよい。
【００４４】
ステップＳ７０３では先行してシミュレーションする条件か判断する。先行してシミュレーションする条件であると判断された場合、サーバー１００のステップＳ７１０に進む。そうでなければステップＳ７０１に進む。
【００４５】
サーバー１００のステップＳ７１０では先行シミュレーションを行う。上記処理により、シミュレーションを行う順序が変更され、シミュレーション遅延を防止することが出来る。
【００４６】
次にステップＳ７１１において先行シミュレーションの結果をデータ蓄積部１０２に保存する。
【００４７】
サーバー１００のステップＳ７０６では先行シミュレーションの結果をデータ蓄積部１０２から取り出す。次にステップＳ７０７に進んでそのデータをメカＣＡＤ１１０用に変換し、ステップＳ７０８に進む。また並行してメカＣＡＤ１１０のステップＳ７１２に進み、先行シミュレーションの結果を受信して表示する。次にＭＲシステム１５０のステップＳ７０４に進み、ステップＳ７１２で表示したコンピュータグラフィックスに実写画像を合成して表示する。
【００４８】
サーバー１００のステップＳ７０８では現在の条件においてシミュレーションを実施する。次にステップＳ７０９に進んでメカＣＡＤ１１０用のデータに変換し、そのデータをメカＣＡＤ１１０に送信し、メカＣＡＤ１１０のステップＳ７１３に進む。メカＣＡＤ１１０のステップＳ７１３では先行シミュレーションの結果を受信して表示する。次にＭＲシステム１５０のステップＳ７０５に進み、ステップＳ７１３で表示したコンピュータグラフィックスに実写を合成して表示する。
【００４９】
［第三の実施形態］
基本構成は第一の実施形態と同じである。違いはシミュレーション遅延時の制御方法である。第一の実施形態および第二の実施形態ではシミュレーションの遅れを先行シミュレーションで解決したが、本実施形態では、高精度なシミュレーションを行うことはできないが、高速な処理が可能である遅延しない簡易なシミュレーション方法を用意して遅延を防ぐ。
【００５０】
図８のフローチャートにおいて説明する。ＭＲシステム１５０はステップＳ８００で操作を開始する。次にステップＳ８０１に進み、ユーザー５０３の動作を計測する。次にステップＳ８０２に進み、シミュレーションを行うか判断する。シミュレーションを行う場合はサーバー１００のステップＳ８０７とステップＳ８０９へ進む。このステップは並行して動作する。ステップＳ８０９は本来のシミュレーションを行い、ステップＳ８０９では遅延しない簡易なシミュレーションを行う。次にステップＳ８０８へ進む。ステップＳ８０８ではステップＳ８０７の処理が終わっていればステップＳ８０７で処理した結果をデータ変換し、ＭＲシステム１５０へ送信する。また、ステップＳ８０７の処理が終わっていなければステップＳ８０９の処理結果をデータ変換し、ＭＲシステム１５０へ送信する。
【００５１】
ＭＲシステム１５０のステップＳ８０６へ進み、シミュレーション結果を描画し、現実画像と合成表示する。次にステップＳ８００へ進む。
【００５２】
このように、ＭＲ・機構・電気・ソフト・光学が統合された設計環境を実現でき、相互にシミュレーションを行うことができるので、試作品の組立が完成していない状況でも完成品としてのシミュレーションが可能となる。さらに、ユーザー５０３は視覚的にその動きを確認でき、開発設計環境が大幅に改善され、設計試作回数・台数の削減が行え、開発設計コストを大幅に改善することができる。
【００５３】
また、本発明によれば、サーバーとＭＲシステムと複数のクライアントからなる三次元ＣＡＤシステムにおいて、各クライアントによってそれぞれ設計されたデータを互いに共有できる。たとえば機構・電気回路・ソフトウエア・光学部品等、それぞれ別個に設計される要素を統合したシミュレーションを行うことができる。そのため、試作品の組立が完成していない状況でも完成品としてのシミュレーションが可能となり、開発設計環境が大幅に改善され、設計試作回数・台数の削減が行え、開発設計コストを大幅に改善することができる。また、開発段階においても設計対象をシミュレートすることができ、また視覚的にその動きを三次元的に確認できるので、他の設計者との間での並行設計・共同検討・仕様ミスの軽減等を図ることが可能となる。
【図面の簡単な説明】
【００５４】
【図１】本実施形態における三次元ＣＡＤシステムの基本構成を示す図である。
【図２】三次元ＣＡＤシステムに係る各クライアントのハードウエア構成のブロック図である。
【図３】サーバーの構成を示すブロック図である。
【図４】第一の実施形態におけるクライアントのＭＲシステム、メカＣＡＤとサーバーとの間のコマンド及びデータの流れを示した図である。
【図５】ユーザーが仮想のカメラを操作しているところを示した図である。
【図６】ＭＲシステムの詳細を表した図である。
【図７】第二の実施形態におけるクライアントのＭＲシステム、メカＣＡＤとサーバーとの間のコマンド及びデータの流れを示した図である。
【図８】第三の実施形態におけるクライアントのＭＲシステムとサーバーとの間のコマンド及びデータの流れを示した図である。
【符号の説明】
【００５５】
１００ サーバー
１１０ メカＣＡＤ
１２０ 電気ＣＡＤ
１３０ ファーム開発支援ツール
１４０ 光学ツール
１５０ ＭＲシステム
１６０ ネットワーク
【技術分野】
【０００１】
本発明は、サーバーと、当該サーバーとネットワークを介して接続された複数のクライアントとからなる三次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｅｓｉｇｎ）システムに関する。また、本発明は、三次元ＣＡＤシステムにおけるサーバーシステム及び三次元ＣＡＤシステムにおけるクライアントＣＡＤシステムに関する。さらに、仮想空間と現実空間を重畳して表示し体験者に複合現実感を提示するＭＲ（Ｍｉｘｅｄ Ｒｅａｌｌｉｔｙ）システムに関する。
【背景技術】
【０００２】
従来、機械設計の分野では三次元ＣＡＤシステムが用いられており、機構、及び機構の構成部品を立体的に表示しながら設計を行うことが可能となっている。
【０００３】
この種のシステムにおいては、例えばアクチュエーターやモーター等の能動部品やセンサー等の制御するための制御プログラムの開発を支援するため、機構を実際に組立することなく、各構成部品の動作をシミュレートする機能を有している。このようなシミュレーションの可能な三次元ＣＡＤシステムは、例えば特許文献１に開示されている。
【特許文献１】特開２００６−１９５９７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のようなＣＡＤシステムでは入力が２次元画面のＧＵＩ形式になるので、実際のユーザーが使用するような感覚でパラメータを入力することが難しい。また、その結果である三次元コンピュータグラフィックスの表示に関しても二次元のディスプレイでは結果を感覚的につかむのには物足りないことがある。
【０００５】
本発明は、上記従来技術の課題を解決するためになされたものである。具体的には、本発明は、他のＣＡＤシステムによって設計されたデータを利用した動作シミュレーションを行いながら設計を行うことを可能とし、さらに入出力に仮想空間と現実空間を融合するＭＲシステムを利用した三次元ＣＡＤシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明における三次元ＣＡＤシステムは、サーバーとネットワークを介して接続された複数のクライアントからなる三次元ＣＡＤシステムであって、前記複数のクライアントの少なくとも一つは、ユーザーの視点からの現実空間の映像にコンピュータグラフィックスによる映像を重畳表示する複合現実感の提示機能を備えており、前記サーバーは、データを蓄積するデータ蓄積部と、前記各クライアントからの要求に応じて前記データ蓄積部よりデータを読み出しあるいは書き込み、かつ三次元モデル及び当該三次元モデルの動作シミュレーションを生成する演算部とを備えており、前記サーバーは、前記演算部によって、任意のクライアントによる設計に基づいて生成された三次元モデルに対して他のクライアントによる設計データを反映させることによって生成した前記三次元モデルの動作シミュレーションのデータを生成し、生成した当該動作シミュレーションのデータを前記任意のクライアントへ前記ネットワークを介して送信し、前記任意のクライアントは、前記サーバーから送信された前記動作シミュレーションのデータを受け取って設計を行う画面を表示させることにより、前記他のクライアントによる設計データと連動した動作シミュレーションを表示させ、前記複合現実感の提示機能を有するクライアントは、前記サーバーで生成した三次元モデルと前記他のクライアントによる設計データと連動した動作シミュレーションとの少なくともいずれか一方を現実空間の映像に重畳して表示することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、他のＣＡＤシステムによって設計されたデータを利用した動作シミュレーションを行いながら設計を行うことを可能とし、さらに入出力に仮想空間と現実空間を融合するＭＲシステムを利用した三次元ＣＡＤシステムを提供することが出来る。
【発明を実施するための最良の形態】
【０００８】
［第一の実施形態］
以下、図面を参照して本発明の実施形態を説明する。
【０００９】
図１は、本実施形態における三次元ＣＡＤシステムの基本構成を示す図である。同図において、１００はシステムの中枢部を構成するサーバー、１１０は装置を構成する機構部の設計を行うクライアントとしてのメカＣＡＤである。１２０は装置の電気回路部の設計を行うためのクライアントとしての電気ＣＡＤである。また、１３０は装置の機構部及び電気回路部の制御を行うプログラム（ファームウエア）の開発及び開発支援のためのクライアントとしてのファーム開発支援ツール、１４０はレンズユニット等の光学部品の設計を行う光学ＣＡＤ、１５０は実写映像（現実空間の映像）にＣＧを合成し、表示する提示機能を有するＭＲシステムである。
【００１０】
これらのサーバー１００と、メカＣＡＤ１１０、電気ＣＡＤ１２０、ファーム開発支援ツール１３０、光学ＣＡＤ１４０及びＭＲシステム１５０とからなる任意のクライアントとは、ネットワーク１６０を介して接続されている。そして、各クライアント１１０〜１５０とサーバー１００間、複数のクライアント１１０〜１５０間でサーバー１００を介して各種データの送受信が行われる。
【００１１】
サーバー１００内には、演算部１０１とデータ蓄積部１０２が備えられている。演算部１０１は、各クライアント１１０〜１５０からの要求にしたがってデータ蓄積部１０２より必要なデータを取り出し、記憶し、演算処理を実行する。そして、設計対象である装置の三次元モデルの生成や、各種動作のシミュレーションのためのデータを生成し、データ蓄積部１０２に記憶あるいは各クライアント１１０〜１５０へダウンロードされる処理を実行する。
【００１２】
各クライアント１１０〜１５０の構成について説明すると、メカＣＡＤ１１０は、設計に用いる機構部品の形状及び動作データと、それら機構部品を組み合わせて機構部を設計するためのアプリケーション等により、機械設計環境を構成する。同様に、電気ＣＡＤ１２０は、装置の電気回路に関する各種回路部品、回路構成、回路図、各種動作パラメータ等のデータと、それらのデータに基づいて回路設計を行うアプリケーション等により、回路設計環境を構成する。光学ＣＡＤ１４０は、レンズ形状、光学特性、レンズユニットとしての光学的な構造に関するデータと、それらのデータに基づいてレンズユニット等の光学設計を行うアプリケーション等により、光学設計環境を構成する。
【００１３】
また、ファーム開発支援ツール１３０には、装置の機構部、電気回路、光学機構部の動作を制御するためのファームウエアすなわちプログラムが格納されている。そして、後述するように他のクライアント（メカＣＡＤ１１０、電気ＣＡＤ１２０、光学ＣＡＤ１４０）のそれぞれにおける最新のデータあるいは設計環境を共有して、リアルタイムで動作シミュレーションを行うことができるように構成される。ＭＲシステム１５０は現実空間の映像とサーバー１００内で形成される三次元モデルを重畳して表示する。
【００１４】
このようなシステムにより、各クライアント１１０〜１５０において実行される設計にしたがい、その設計に必要なデータがサーバー１００のデータ蓄積部１０２から読み出されて各クライアントへと供給される。一方、各クライアント１１０〜１５０において行われる設計動作は、リアルタイムでサーバー１００の演算部１０１へとアップロードされ、サーバー１００内で装置（機構部）の三次元モデルが形成される。この三次元モデルのデータは、データ蓄積部１０２に記憶され、また各クライアント１１０〜１５０からの要求に応じて要求元のクライアントへとダウンロードされる。要求元クライアントでは、ダウンロードした三次元モデルを、必要に応じて自身の設計データを反映させた上で表示したり、三次元モデルを用いたシミュレーションを行ったりすることが可能となる。
【００１５】
図２は、本実施形態の三次元ＣＡＤシステムに係る各クライアント１１０〜１５０のハードウエア構成例を示すブロック図である。
【００１６】
クライアント１１０〜１５０は、いずれも汎用的なコンピュータ２００によって構成可能である。コンピュータ２００は、その制御部としてのＣＰＵ２０１、コンピュータ２００が起動する時にＣＰＵ２０１が実行するブートプログラムや、コンピュータ２００のハードウエアに依存する各種のプログラムを格納したＲＯＭ２０２を有する。ＲＡＭ２０３は、ＣＰＵ２０１が実行するプログラム及びＣＰＵ２０１が演算に使用するデータ等を格納する。通信インターフェース（Ｉ／Ｆ）２０４は、ネットワーク１５０を介してサーバー１００と通信するためのインターフェースである。コンピュータ２００は、さらに、ディスプレイ２０５、プリンタ２０６、マウス２０７、キーボード２０８、ハードディスクドライブ２０９、ＦＤドライブ２１０、ＣＤ−ＲＯＭドライブ２１１を備えている。
【００１７】
クライアントをＣＡＤとして機能させるためのアプリケーションプログラムや、オペレーティングシステムなどは、ハードディスクドライブ２０９に記憶されているものとする。
【００１８】
ＣＰＵ２０１は、ＲＯＭ２０２やハードディスクドライブ２０９に格納されたプログラム（実行時にはＲＡＭ２０３に展開される）に基づいて動作し、コンピュータ２００内の各部の制御を行う。通信Ｉ／Ｆ２０４は、ネットワーク１５０を介して他の装置（クライアント又はサーバー）等と通信を行う。ハードディスクドライブ２０９は、コンピュータ２００がユーザーに提供する機能を実現するためのプログラム及びデータを格納し、ＲＡＭ２０３を介してＣＰＵ２０１に提供する。ＦＤドライブ２１０やＣＤ−ＲＯＭドライブ２１１は、ＦＤ２１２やＣＤ−ＲＯＭ２１３等のリムーバブルメディアよりプログラムやデータを読み込み、ＲＡＭ２０３へ供給する。内部バス２１４は、コンピュータ２００内の各装置を接続するためのものである。
【００１９】
なお、サーバー１００もまた、ＣＰＵ２０１が実行するプログラムをサーバー１００の機能を実現するものに変更することで、図２に示すコンピュータ２００により実現可能である。
【００２０】
図３は、サーバー１００の機能構成例を示すブロック図である。
【００２１】
サーバー１００は、演算部１０１とデータ蓄積部１０２とで構成される。データ蓄積部１０２は、例えばハードディスクドライブ２０９のような記憶装置により実現される。そして、クライアントであるメカＣＡＤ１１０、電気ＣＡＤ１２０、光学ＣＡＤ１４０、ファーム開発支援ツール１３０、ＭＲシステム１５０に対応したメカデータ３０１、電気データ３０３、光学データ３０４、ファームデータ３０２を記憶、蓄積する。
【００２２】
たとえば、メカＣＡＤ１１０に対応するメカデータ３０１には、機構設計に必要な各種機構部品や、アクチュエーター、モーター等の能動部品の構成、サイズ、形状、各種特性などのデータが格納される。さらに、クライアントのメカＣＡＤ１１０において設計された機構モデルデータが格納されている。そして、登録された部品やデータの形状・属性等を管理し、プロセッサー部３０９よりの要求に基づいて、演算部１０１に必要なデータを渡す。他の電気データ３０３、光学データ３０４、ファームデータ３０２についても同様である。すなわち、電気データ３０３には電気回路部品に関するデータと、電気ＣＡＤ１２０で設計された電気回路データが格納される。光学データ３０４には、光学部品に関するデータと、光学ＣＡＤ１４０で設計された光学設計データが、ファームデータ３０２にはファーム開発支援ツール１３０で作成したファームウエアデータがそれぞれ格納されている。
【００２３】
そして、例えばＣＰＵ２０１により実現される演算部１０１は、メカデータ用のデータ変換部３０５、ファームデータ用のデータ変換部３０６、電気データ用のデータ変換部３０７及び光学データ用のデータ変換部３０８を備える。また、プロセッサー部３０９は、データ変換部３０５〜３０８が変換したデータをプログラムに基づいて演算処理する。このデータ変換部３０５〜３０８は、データ蓄積部１０２から、メカデータ３０１、電気データ３０３、光学データ３０４、ファームデータ３０２を、クライアントからの指示に基づいて読み出す。そして、たとえば機構設計であれば、要求元クライアントの設計環境に応じて、メカデータを変換する。具体的には、メカデータ３０１から読み出した登録部品データについて、表示スケール、装置への取り付け位置、姿勢等を、予め登録されている、クライアントが取り扱い可能な特性、仕様にしたがってデータ変換する。なお、メカＣＡＤ１１０が要求元クライアントの場合など、要求元クライアントでデータ変換は必須ではない。これにより、異なるＣＡＤシステム間で設計データの相互利用が可能になる。変換後のデータは、プロセッサー部３０９へと渡し、要求元のクライアントへ提供される。
【００２４】
同様に、電気データ３０３は、クライアント１１０〜１４０からの指示にしたがって読み出される。そして、要求元クライアントが取り扱い可能な形式にデータ変換部３０７で変換され、プロセッサー部３０９を通じて要求元クライアントへと供給される。
【００２５】
他の光学データ３０４、ファームデータ３０２についても同様で、それぞれ要求のあったクライアントへと、その要求にしたがったデータ形式に変換した後、プロセッサー３０９を介してクライアントへと供給される。
【００２６】
すなわち、クライアントであるメカＣＡＤ１１０より出された要求信号は、ネットワーク１５０を介してサーバー１００の演算部１０１内のプロセッサー部３０９へ供給される。プロセッサー部３０９は、要求信号と、ＲＡＭ２０３及びハードディスク２０９に格納されたプログラムとに基づいて、必要なデータをデータ蓄積部１０２へ要求する。データ蓄積部１０２は、要求されたデータ３０１，３０２，３０３，３０４を読み出し、対応する其々のデータ変換部３０５，３０６，３０７，３０８へ渡す。
【００２７】
各々のデータ変換部３０５〜３０８は、ＲＡＭ２０３やハードディスク２０９に記憶されたデータ変換プログラムに基づいてデータ変換を行い、プロセッサー部３０９へ提供する。プロセッサー部３０９は提供された変換データを用いてシミュレーション等の演算を行い、その演算結果をネットワーク１６０を介して要求元クライアントであるメカＣＡＤ１１０へ提供する。メカＣＡＤ１１０は、その演算結果をディスプレイ２０５へ表示したり、ファイルとしてハードディスク２０９へ格納したりする。これらの流れは、クライアント１２０、１３０、１４０共に同様である。
【００２８】
図４は、要求元クライアントとサーバー１００との間のコマンド及びデータの流れを示した図である。
【００２９】
図４では、ＭＲシステム１５０が要求元クライアントである場合を例として示している。図４には、実際にサーバー１００とＭＲシステム１５０との間で双方向に行われる各種データの流れと、処理の内容を示している。また、メカ設計者（ＭＲシステム１５０のユーザー）が、本実施形態における三次元ＣＡＤシステムを使って機構部を設計する場合の各種操作及びデータの送受信の手順を示している。ここで、図４の上から下へと処理の流れが移行するが、各ステップの処理は並行して行うことが可能である。
【００３０】
ステップＳ４００で、メカ設計者は、ＭＲシステム１５０を起動し、メカＣＡＤ１１０において設計しているモデルを実写映像と重畳してＭＲ空間上で観察する。図４の処理の詳細は、後述する。本実施形態では図５に示すようにそのモデルをカメラとする。
【００３１】
図５はＭＲ空間を表した図である。カメラ５０１はメカＣＡＤ１１０によって描画されたメカ設計者の視点に基づくコンピュータグラフィックスである。カメラ５０１は、位置姿勢センサーが装備されたカメラを模した模型５０５の位置姿勢などの状態に表示位置姿勢が連動する。模型５０５の位置姿勢はＨＭＤ（ヘッドマウントディスプレイ）５０４に装備された物体位置姿勢計測部６０７によって計測される。カメラ５０１にはシャッターボタン５０２がついており、模型５０５のシャッターボタンに連動する。ユーザー５０３は５０４をかぶり、カメラ５０１を操作している。
【００３２】
図６はＨＭＤ５０４およびＭＲシステム１５０の構成を示したものである。ＭＲシステム１５０は以下のものから構成される。現実画像入力部６０２、画像合成部６０３、複合現実感画像出力部６０４、カメラ位置姿勢計測部６０５、仮想物体入力部６０６、物体位置姿勢計測部６０７を備えている。
【００３３】
ヘッドマウンテッドディスプレイ（ＨＭＤ）５０４は左カメラ６３２と右カメラ６３３と左現実画像出力部６３４と右現実画像出力部１３５と複合現実感画像入力部６３６と画像表示部６３７を備えている。
【００３４】
再び図５に戻り、ユーザー５０３の動作について説明する。ユーザー５０３の指には位置姿勢センサーが接続されている。ユーザー５０３は模型５０５を持ちカメラ５０１を操作している。ユーザー５０３はカメラ５０１のシャッターボタン５０２を押そうとする。ユーザー５０３の指はシャッターボタン５０２に徐々に近づいていく。本来はシャッターボタン５０２が押された位置にユーザー５０３の指が到達した時に、カメラ５０１のシャッターボタン５０２が押されたというシミュレーションが開始する。
【００３５】
しかし、実際に到達してからシミュレーションを始めるとシミュレーションに時間がかかり、ユーザー５０３が押した直後に押した結果のコンピュータグラフィックスが得られない場合がある。実際にユーザー５０３の指が到達する前に実際にシミュレーションを行いその結果を保存しておく。図４に戻り、以上の流れを図４のフローチャートを用いて説明する。
【００３６】
ステップ４００でシステムが起動した後、ステップＳ４０１で位置姿勢センサーがユーザー５０３の指の位置を測定する。ステップＳ４０２で、ＭＲシステムがユーザー５０３の指の位置がシャッターボタン５０２が押された位置にあるかどうか判定する。もし所定の位置にあればステップＳ４０６に進む。所定の位置になければステップＳ４０３に進む。
【００３７】
ステップＳ４０３では所定の位置まで到達していないが所定の位置にあとわずかで到達しそうか判定する。あとわずかで到達しそうだと判定されればステップＳ４０８へ進む。ステップＳ４０８ではユーザー５０３の指が所定の位置に到達した場合に対応するシミュレーションを行う。次にステップＳ４０９に進みステップＳ４０８のシミュレーション結果をデータ蓄積部１０２に保存する。
【００３８】
サーバー１００はステップＳ４０６でデータ蓄積部１０２から先行シミュレーション結果を取り出す。次にステップＳ４１２に進んでメカＣＡＤ１１０用のデータに変換し、当該データをメカＣＡＤ１１０に配信する。次にサーバー１００ではステップＳ４０７に、メカＣＡＤ１１０ではステップＳ４１０に進む。ステップＳ４１０ではサーバー１００から先行シミュレーション結果を取得し表示する。次にＭＲシステム１５０でステップＳ４０４に進みス実写にステップＳ４１０で表示したコンピュータグラフィックスを重畳表示する。
【００３９】
サーバー１００ではステップＳ４０７で本来のシミュレーションを行う。次にステップＳ４１３に進んでメカＣＡＤ１１０用のデータに変換し、当該データをメカＣＡＤ１１０に配信する。次にメカＣＡＤ１１０ではステップＳ４１１に進み、サーバー１００から本来のシミュレーション結果を取得し表示する。次にＭＲシステム１５０でステップＳ４０５に進み実写にステップ４１１で表示したコンピュータグラフィックスを重畳表示する。
【００４０】
以上説明したように、ユーザー５０３の指の位置に応じて現実空間の環境を予測し、先行して行うシミュレーションを決定することにより、ユーザー５０３は遅延を感じずに、ＭＲ空間を体験することが出来る。
【００４１】
［第二の実施形態］
第二の実施形態の基本構成は第一の実施形態と同じである。違いはシミュレーション開始の条件である。第一の実施形態ではＭＲシステム１５０がサーバー１００でのシミュレーションを開始した。本実施形態ではメカＣＡＤ１１０がサーバー１００でのシミュレーションを開始する。
【００４２】
図７のフローチャートを説明する。ＭＲシステム１５０はステップＳ７００で操作を開始する。次にステップＳ７１４で模型５０５の位置姿勢計測を行い、その出力値をメカＣＡＤ１１０に送信する。
【００４３】
次にメカＣＡＤ１１０においてステップＳ７０１に進み、位置姿勢の計測値をＭＲシステム１５０から受信し、カメラ５０１の位置姿勢をその計測値に設定する。次にステップＳ７０２に進み、そのときにシミュレーションを行う条件であればサーバー１００のステップＳ７０６へ進む。そうでなければステップＳ７０３に進む。先行してシミュレーションを行う条件（シミュレーションを行う順序）は、例えば、処理にかかる時間が最小になるように設定してもよい。
【００４４】
ステップＳ７０３では先行してシミュレーションする条件か判断する。先行してシミュレーションする条件であると判断された場合、サーバー１００のステップＳ７１０に進む。そうでなければステップＳ７０１に進む。
【００４５】
サーバー１００のステップＳ７１０では先行シミュレーションを行う。上記処理により、シミュレーションを行う順序が変更され、シミュレーション遅延を防止することが出来る。
【００４６】
次にステップＳ７１１において先行シミュレーションの結果をデータ蓄積部１０２に保存する。
【００４７】
サーバー１００のステップＳ７０６では先行シミュレーションの結果をデータ蓄積部１０２から取り出す。次にステップＳ７０７に進んでそのデータをメカＣＡＤ１１０用に変換し、ステップＳ７０８に進む。また並行してメカＣＡＤ１１０のステップＳ７１２に進み、先行シミュレーションの結果を受信して表示する。次にＭＲシステム１５０のステップＳ７０４に進み、ステップＳ７１２で表示したコンピュータグラフィックスに実写画像を合成して表示する。
【００４８】
サーバー１００のステップＳ７０８では現在の条件においてシミュレーションを実施する。次にステップＳ７０９に進んでメカＣＡＤ１１０用のデータに変換し、そのデータをメカＣＡＤ１１０に送信し、メカＣＡＤ１１０のステップＳ７１３に進む。メカＣＡＤ１１０のステップＳ７１３では先行シミュレーションの結果を受信して表示する。次にＭＲシステム１５０のステップＳ７０５に進み、ステップＳ７１３で表示したコンピュータグラフィックスに実写を合成して表示する。
【００４９】
［第三の実施形態］
基本構成は第一の実施形態と同じである。違いはシミュレーション遅延時の制御方法である。第一の実施形態および第二の実施形態ではシミュレーションの遅れを先行シミュレーションで解決したが、本実施形態では、高精度なシミュレーションを行うことはできないが、高速な処理が可能である遅延しない簡易なシミュレーション方法を用意して遅延を防ぐ。
【００５０】
図８のフローチャートにおいて説明する。ＭＲシステム１５０はステップＳ８００で操作を開始する。次にステップＳ８０１に進み、ユーザー５０３の動作を計測する。次にステップＳ８０２に進み、シミュレーションを行うか判断する。シミュレーションを行う場合はサーバー１００のステップＳ８０７とステップＳ８０９へ進む。このステップは並行して動作する。ステップＳ８０９は本来のシミュレーションを行い、ステップＳ８０９では遅延しない簡易なシミュレーションを行う。次にステップＳ８０８へ進む。ステップＳ８０８ではステップＳ８０７の処理が終わっていればステップＳ８０７で処理した結果をデータ変換し、ＭＲシステム１５０へ送信する。また、ステップＳ８０７の処理が終わっていなければステップＳ８０９の処理結果をデータ変換し、ＭＲシステム１５０へ送信する。
【００５１】
ＭＲシステム１５０のステップＳ８０６へ進み、シミュレーション結果を描画し、現実画像と合成表示する。次にステップＳ８００へ進む。
【００５２】
このように、ＭＲ・機構・電気・ソフト・光学が統合された設計環境を実現でき、相互にシミュレーションを行うことができるので、試作品の組立が完成していない状況でも完成品としてのシミュレーションが可能となる。さらに、ユーザー５０３は視覚的にその動きを確認でき、開発設計環境が大幅に改善され、設計試作回数・台数の削減が行え、開発設計コストを大幅に改善することができる。
【００５３】
また、本発明によれば、サーバーとＭＲシステムと複数のクライアントからなる三次元ＣＡＤシステムにおいて、各クライアントによってそれぞれ設計されたデータを互いに共有できる。たとえば機構・電気回路・ソフトウエア・光学部品等、それぞれ別個に設計される要素を統合したシミュレーションを行うことができる。そのため、試作品の組立が完成していない状況でも完成品としてのシミュレーションが可能となり、開発設計環境が大幅に改善され、設計試作回数・台数の削減が行え、開発設計コストを大幅に改善することができる。また、開発段階においても設計対象をシミュレートすることができ、また視覚的にその動きを三次元的に確認できるので、他の設計者との間での並行設計・共同検討・仕様ミスの軽減等を図ることが可能となる。
【図面の簡単な説明】
【００５４】
【図１】本実施形態における三次元ＣＡＤシステムの基本構成を示す図である。
【図２】三次元ＣＡＤシステムに係る各クライアントのハードウエア構成のブロック図である。
【図３】サーバーの構成を示すブロック図である。
【図４】第一の実施形態におけるクライアントのＭＲシステム、メカＣＡＤとサーバーとの間のコマンド及びデータの流れを示した図である。
【図５】ユーザーが仮想のカメラを操作しているところを示した図である。
【図６】ＭＲシステムの詳細を表した図である。
【図７】第二の実施形態におけるクライアントのＭＲシステム、メカＣＡＤとサーバーとの間のコマンド及びデータの流れを示した図である。
【図８】第三の実施形態におけるクライアントのＭＲシステムとサーバーとの間のコマンド及びデータの流れを示した図である。
【符号の説明】
【００５５】
１００ サーバー
１１０ メカＣＡＤ
１２０ 電気ＣＡＤ
１３０ ファーム開発支援ツール
１４０ 光学ツール
１５０ ＭＲシステム
１６０ ネットワーク
【特許請求の範囲】
【請求項１】
サーバーとネットワークを介して接続された複数のクライアントからなる三次元ＣＡＤシステムであって、
前記複数のクライアントの少なくとも一つは、ユーザーの視点からの現実空間の映像にコンピュータグラフィックスによる映像を重畳表示する複合現実感の提示機能を備えており、
前記サーバーは、データを蓄積するデータ蓄積部と、前記各クライアントからの要求に応じて前記データ蓄積部よりデータを読み出しあるいは書き込み、かつ三次元モデル及び当該三次元モデルの動作シミュレーションを生成する演算部とを備えており、
前記サーバーは、前記演算部によって、任意のクライアントによる設計に基づいて生成された三次元モデルに対して他のクライアントによる設計データを反映させることによって生成した前記三次元モデルの動作シミュレーションのデータを生成し、生成した当該動作シミュレーションのデータを前記任意のクライアントへ前記ネットワークを介して送信し、 前記任意のクライアントは、前記サーバーから送信された前記動作シミュレーションのデータを受け取って設計を行う画面を表示させることにより、前記他のクライアントによる設計データと連動した動作シミュレーションを表示させ、
前記複合現実感の提示機能を有するクライアントは、前記サーバーで生成した三次元モデルと前記他のクライアントによる設計データと連動した動作シミュレーションとの少なくともいずれか一方を現実空間の映像に重畳して表示することを特徴とする三次元ＣＡＤシステム。
【請求項２】
前記複合現実感の提示機能を有するクライアントは、現実空間の環境を計測する手段を更に有し、計測したデータを前記ネットワークを介して前記サーバーへ送信し、
前記サーバーは前記計測したデータに従って前記演算部を制御して三次元モデルを生成することを特徴とする請求項１に記載の三次元ＣＡＤシステム。
【請求項３】
前記複合現実感の提示機能を有するクライアントは、計測した前記現実空間の環境を、前記ネットワークを介して前記任意のクライアントに送信し、前記他のクライアントによる設計データと連動した動作シミュレーションの表示を制御することを特徴とする請求項２に記載の三次元ＣＡＤシステム。
【請求項４】
前記演算部の制御は、前記複合現実感の提示機能を有するクライアントから現実空間の環境を入力し上記三次元モデル及び当該三次元モデルの動作シミュレーションの結果を現実空間に重畳して出力するまでの時間により演算を制御することを特徴とする請求項２もしくは３に記載の三次元ＣＡＤシステム。
【請求項５】
前記時間により制御される演算は、前記時間が最小になるように、順序が制御された演算であることを特徴とする請求項４に記載の三次元ＣＡＤシステム。
【請求項６】
前記時間により制御される演算は、前記現実空間の環境をあらかじめ予測して、その予測に従って開始される演算であることを特徴とする請求項４に記載の三次元ＣＡＤシステム。
【請求項７】
前記現実空間の環境は、ユーザーの動作を含むことを特徴とする請求項２乃至６のいずれかに記載の三次元ＣＡＤシステム。
【請求項８】
前記ユーザーの動作は、ユーザーに取り付けたセンサーにより計測されることを特徴とする請求項７に記載の三次元ＣＡＤシステム。
【請求項９】
前記現実空間の環境は、ユーザーが観察している三次元モデルを模した模型の状態を含むことを特徴とする請求項２乃至６のいずれかに記載の三次元ＣＡＤシステム。
【請求項１０】
前記三次元モデルを模した模型の状態は、三次元モデルに装備されたセンサーにより計測されることを特徴とする請求項９に記載の三次元ＣＡＤシステム。
【請求項１】
サーバーとネットワークを介して接続された複数のクライアントからなる三次元ＣＡＤシステムであって、
前記複数のクライアントの少なくとも一つは、ユーザーの視点からの現実空間の映像にコンピュータグラフィックスによる映像を重畳表示する複合現実感の提示機能を備えており、
前記サーバーは、データを蓄積するデータ蓄積部と、前記各クライアントからの要求に応じて前記データ蓄積部よりデータを読み出しあるいは書き込み、かつ三次元モデル及び当該三次元モデルの動作シミュレーションを生成する演算部とを備えており、
前記サーバーは、前記演算部によって、任意のクライアントによる設計に基づいて生成された三次元モデルに対して他のクライアントによる設計データを反映させることによって生成した前記三次元モデルの動作シミュレーションのデータを生成し、生成した当該動作シミュレーションのデータを前記任意のクライアントへ前記ネットワークを介して送信し、 前記任意のクライアントは、前記サーバーから送信された前記動作シミュレーションのデータを受け取って設計を行う画面を表示させることにより、前記他のクライアントによる設計データと連動した動作シミュレーションを表示させ、
前記複合現実感の提示機能を有するクライアントは、前記サーバーで生成した三次元モデルと前記他のクライアントによる設計データと連動した動作シミュレーションとの少なくともいずれか一方を現実空間の映像に重畳して表示することを特徴とする三次元ＣＡＤシステム。
【請求項２】
前記複合現実感の提示機能を有するクライアントは、現実空間の環境を計測する手段を更に有し、計測したデータを前記ネットワークを介して前記サーバーへ送信し、
前記サーバーは前記計測したデータに従って前記演算部を制御して三次元モデルを生成することを特徴とする請求項１に記載の三次元ＣＡＤシステム。
【請求項３】
前記複合現実感の提示機能を有するクライアントは、計測した前記現実空間の環境を、前記ネットワークを介して前記任意のクライアントに送信し、前記他のクライアントによる設計データと連動した動作シミュレーションの表示を制御することを特徴とする請求項２に記載の三次元ＣＡＤシステム。
【請求項４】
前記演算部の制御は、前記複合現実感の提示機能を有するクライアントから現実空間の環境を入力し上記三次元モデル及び当該三次元モデルの動作シミュレーションの結果を現実空間に重畳して出力するまでの時間により演算を制御することを特徴とする請求項２もしくは３に記載の三次元ＣＡＤシステム。
【請求項５】
前記時間により制御される演算は、前記時間が最小になるように、順序が制御された演算であることを特徴とする請求項４に記載の三次元ＣＡＤシステム。
【請求項６】
前記時間により制御される演算は、前記現実空間の環境をあらかじめ予測して、その予測に従って開始される演算であることを特徴とする請求項４に記載の三次元ＣＡＤシステム。
【請求項７】
前記現実空間の環境は、ユーザーの動作を含むことを特徴とする請求項２乃至６のいずれかに記載の三次元ＣＡＤシステム。
【請求項８】
前記ユーザーの動作は、ユーザーに取り付けたセンサーにより計測されることを特徴とする請求項７に記載の三次元ＣＡＤシステム。
【請求項９】
前記現実空間の環境は、ユーザーが観察している三次元モデルを模した模型の状態を含むことを特徴とする請求項２乃至６のいずれかに記載の三次元ＣＡＤシステム。
【請求項１０】
前記三次元モデルを模した模型の状態は、三次元モデルに装備されたセンサーにより計測されることを特徴とする請求項９に記載の三次元ＣＡＤシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−６６８９８（Ｐ２０１０−６６８９８Ａ）
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願番号】特願２００８−２３１１８９（Ｐ２００８−２３１１８９）
【出願日】平成２０年９月９日（２００８．９．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願日】平成２０年９月９日（２００８．９．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]