携帯電子機器及び制御方法
【課題】撮影部が、3次元の形状を示すパラメーターの算出に用いられる映像が投射された被写体を、光軸の合った状態で撮影できるようにすること。
【解決手段】携帯電子機器は、第1光学系を介して映像を被写体に投射する投射部と、映像が投射された被写体を第2光学系を介して撮影する撮影部と、前記撮影部により撮影された画像を記憶する記憶部とを有し、前記投射部は、第1の映像を被写体に投射し、前記投射部が前記第1の映像を投射している場合において特定の条件が満たされたときに、前記投射部は、3次元の形状を示すパラメーターの算出に用いられる第2の映像を前記被写体に投射し、前記撮影部は、前記第2の映像が投射された被写体を撮影し、前記記憶部は、前記第2の映像が投射された被写体の画像を記憶する。
【解決手段】携帯電子機器は、第1光学系を介して映像を被写体に投射する投射部と、映像が投射された被写体を第2光学系を介して撮影する撮影部と、前記撮影部により撮影された画像を記憶する記憶部とを有し、前記投射部は、第1の映像を被写体に投射し、前記投射部が前記第1の映像を投射している場合において特定の条件が満たされたときに、前記投射部は、3次元の形状を示すパラメーターの算出に用いられる第2の映像を前記被写体に投射し、前記撮影部は、前記第2の映像が投射された被写体を撮影し、前記記憶部は、前記第2の映像が投射された被写体の画像を記憶する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像を被写体に投射する機能を備えた携帯電子機器及び制御方法に関する。
【背景技術】
【0002】
携帯電話機又はデジタルカメラなどの携帯電子機器が、投射機能及び撮影機能の両方を備える技術が知られている(例えば、特許文献1又は2)。特許文献3には、携帯電話機の投射部及び撮影部を用いて、被写体の3次元形状を測定するシステムが記載されている。このシステムにおいて、携帯電話機の投射部は、明部と暗部とからなる明暗像を被写体に投射し、撮影部は、明暗像が投射された被写体を撮影する。撮影された画像データに基いて、空間コード法又は位相シフト法により被写体の3次元形状が測定される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−292428号公報
【特許文献2】特開2008−276126号公報
【特許文献3】特開2011−106931号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
投射部及び撮影部が携帯電子機器の異なる位置に設けられると、投射部の光軸と撮影部の光軸とは、異なる方向を向く可能性がある。この場合、撮影部は、光軸が合わない状態で、明暗像が投射された被写体を撮影することになる。このような状態で撮影された画像データが被写体の3次元形状の測定に用いられると、正確な測定ができなかったり、また、画像データの補正処理に時間がかかる場合がある。そこで、本発明は、撮影部が、3次元の形状を示すパラメーターの算出に用いられる映像が投射された被写体を、光軸の合った状態で撮影できるようにすることを目的とする。
【課題を解決するための手段】
【0005】
上述の課題を解決するため、本発明は、第1光学系を介して映像を被写体に投射する投射部と、前記映像が投射された被写体を第2光学系を介して撮影する撮影部と、前記撮影部により撮影された画像を記憶する記憶部とを有し、前記投射部は、第1の映像を被写体に投射し、前記投射部が前記第1の映像を投射している場合において特定の条件が満たされたときに、前記投射部は、3次元の形状を示すパラメーターの算出に用いられる第2の映像を前記被写体に投射し、前記撮影部は、前記第2の映像が投射された被写体を撮影し、前記記憶部は、前記第2の映像が投射された被写体の画像を記憶する携帯電子機器を提供する。この携帯電子機器によれば、撮影部が、第2の映像が投射された被写体を光軸の合った状態で撮影できる。
【0006】
好ましい態様において、前記第1光学系の光軸と前記第2光学系の光軸とが相対的に移動するように、前記投射部及び前記撮影部の少なくとも一方が移動することを特徴とする。この携帯電子機器によれば、投射部の光軸と撮影部の光軸とを合わせることができる。
【0007】
別の好ましい態様において、この携帯電子機器は、第1面及び前記第1面と異なる第2面を有する筐体を有し、前記投射部は、前記第1面に設けられ、前記撮影部は、前記第2面に設けられていることを特徴とする。この携帯電子機器によれば、投射部と撮影部とが同じ面に設けられる場合と比較して、投射部と撮影部とを携帯電子機器に内蔵させることが容易になる。
【0008】
別の好ましい態様において、前記筐体は、第1のパーツと、当該第1のパーツにヒンジを介して連結された第2のパーツとを有し、前記第1のパーツは、前記第1面を有し、前記第2のパーツは、前記第2面を有することを特徴とする。この携帯電子機器によれば、携帯電子機器が一のパーツのみで構成されている場合と比較して、投射部の光軸と撮影部の光軸とを合わせることが容易になる。
【0009】
別の好ましい態様において、この携帯電子機器は、前記記憶部により記憶された、前記第2の映像が投射された被写体の画像に基いて、前記被写体の3次元の形状を示すパラメーターを算出する算出部を有することを特徴とする。この携帯電子機器によれば、投射部の光軸と撮影部の光軸とが合った状態で、被写体の3次元形状を測定することができる。
【0010】
別の好ましい態様において、この携帯電子機器は、前記算出部により算出されたパラメーターを外部装置に送信する送信部を有することを特徴とする。この携帯電子機器によれば、投射部の光軸と撮影部の光軸とが合った状態で測定された、被写体の3次元形状を示すパラメーターを外部装置が取得することができる。
【0011】
別の好ましい態様において、前記撮影部は、前記第1の映像が投射された被写体を撮影し、前記撮影部により撮影された、前記第1の映像が投射された被写体の画像の決められた領域に前記第1の映像があるか否かを判断する判断部を備え、前記特定の条件は、前記判断部により前記決められた領域に前記第1の映像があると判断されたことであることを特徴とする。この携帯電子機器によれば、撮影部が、第2の映像が投射された被写体を光軸の合った状態で撮影できる。
【0012】
別の好ましい態様において、この携帯電子機器は、前記第1の映像が投射された被写体の画像を表示する表示部と、前記第2の映像の投射を開始させるための要求を受け付ける受付部とを備え、前記撮影部は、前記第1の映像が投射された被写体を撮影し、前記特定の条件は、前記表示部が、前記画像を表示しているときに、前記受付部が前記要求を受け付けたことであることを特徴とする。この携帯電子機器によれば、撮影部が、第2の映像が投射された被写体を光軸の合った状態で撮影できる。
【0013】
別の好ましい態様において、この携帯電子機器は、前記投射部又は前記撮影部を駆動する駆動部を有することを特徴とする。この携帯電子機器によれば、投射部の光軸と撮影部の光軸とを自動で合わせることができる。
【0014】
また、本発明は、第1光学系を介して映像を被写体に投射する投射部と、前記映像が投射された被写体を第2光学系を介して撮影する撮影部と、前記撮影部により撮影された画像を記憶する記憶部とを有する携帯電子機器の制御方法であって、前記投射部が、第1の映像を被写体に投射する工程と、前記投射部が前記第1の映像を投射している場合において特定の条件が満たされたときに、前記投射部が、3次元の形状を示すパラメーターの算出に用いられる第2の映像を前記被写体に投射する工程と、前記撮影部が、前記第2の映像が投射された被写体を撮影する工程と、前記記憶部が、前記第2の映像が投射された被写体の画像を記憶する工程とを有する制御方法を提供する。この制御方法によれば、撮影部が、第2の映像が投射された被写体を光軸の合った状態で撮影できる。
【図面の簡単な説明】
【0015】
【図1】実施形態に係る携帯電話機の機能的構成を示すブロック図。
【図2】携帯電話機のハードウェア構成を示すブロック図。
【図3】パラメーターの算出の処理を示すフローチャート。
【図4】携帯電話機1の概観図。
【図5】校正用映像が被写体に投射された状態の例を示す図。
【図6】携帯電話機を正面側から見た斜視図。
【図7】被写体、投射ユニット、及び撮影ユニットの位置関係を示す図。
【図8】計測用映像が被写体に投射された状態の例を示す図。
【図9】計測用映像が投射された被写体の撮影画像を示した図。
【図10】変形例1に係る携帯電話機を背面側から見た斜視図。
【図11】変形例2に係る携帯電話機の機能的構成を示すブロック図。
【図12】変形例3に係る携帯電話機の機能的構成を示すブロック図。
【図13】変形例3に係る携帯電話機のハードウェア構成を示すブロック図。
【図14】変形例4に係るアタッチメント部材を示す図。
【発明を実施するための形態】
【0016】
図1は、本発明の一実施形態に係る携帯電話機1の機能的構成を示すブロック図である。携帯電話機1は、投射部11、撮影部12、記憶部13、判断部14、算出部15、及び送信部16を有する携帯電子機器である。投射部11は、第1光学系を介して第1の映像又は第2の映像を被写体に投射する。撮影部12は、第1の映像及び第2の映像が投射された被写体を、第2光学系を介して撮影する。記憶部13は、撮影部により撮影された画像を記憶する。判断部14は、第1の映像が被写体に投射されているときに、特定の条件が満たされているか否かを判断する。特定の条件とは、第1光学系の光軸と第2光学系の光軸とに関する条件であり、例えば、両者の光軸が合っているという条件である。算出部15は、前記記憶部13により記憶された、第2の映像が投射された被写体の画像に基いて、被写体の3次元の形状を示すパラメーターを算出する。送信部16は、算出部により算出されたパラメーターを他の携帯電話機又はパーソナルコンピューターなどの外部装置に送信する。
【0017】
図2は、携帯電話機1のハードウェア構成を示すブロック図である。携帯電話機1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM103(Random Access Memory)、投射ユニット104、撮影ユニット105、液晶ディスプレイ106、操作部107、音声入出力部108、及び通信部109を有する。CPU101は、プログラムを実行することにより携帯電話機1の各部を制御する制御装置である。ROM102は、各種のプログラム及びデータを記憶した不揮発性の記憶装置である。ROM102は、被写体の3次元形状を測定するためのプログラムを記憶する。RAM103は、データを記憶する揮発性の記憶装置である。投射ユニット104は、液晶パネル1041、光源ランプ1042、投射レンズ1043、及び液晶駆動回路1044を有する液晶プロジェクターである。液晶パネル1041は、マトリクス状に配置された複数の画素を有する。液晶パネル1041は、光源ランプ1042から放射された光の透過率を、画素毎に変調するライトバルブとして用いられる。液晶パネル1041により変調された光は、投射レンズ1043(第1光学系の一例)により拡大され、投射される。液晶駆動回路1044は、液晶パネル1041を駆動するための駆動信号を生成する。撮影ユニット105は、撮影レンズ1051、CCD(Charge Coupled Device)1052、及び信号処理回路1053を有するカメラである。撮影レンズ1051(第2光学系の一例)は、光を携帯電話機1の内部に取り込む。CCD1052は、撮影レンズ1051により取り込まれた光から電気信号を生成するイメージセンサーとして用いられる。この電気信号は、静止画又は動画を表す。信号処理回路1053は、CCD1052により生成された電気信号をデジタル信号に変換する。液晶ディスプレイ106は、携帯電話機1を操作するためのメニュー画面又は各種情報を表示する。液晶ディスプレイ106は、また、撮影ユニット105により被写体を撮影するときのファインダーとして機能する。操作部107は、テンキー、クリアキー、及びカーソルキーなどの複数の操作子を備え、利用者の操作を受け付ける。操作部107は、また、撮影ユニット105のシャッターを切るためのシャッターボタンとして用いられる。操作部107は、液晶ディスプレイ106の表示面に重ねて設けられたタッチパネルであってもよい。音声入出力部108は、マイクロフォンなどの収音部材、スピーカーなどの放音部材、及びDSP(Digital Signal Processor)などの音声処理回路を有する。通信部109は、アンテナ及び通信回路を備え、ネットワークを介してサーバー又は他の携帯電話機などと通信する。
【0018】
図2においてCPU101により制御された投射ユニット104は、投射部11の一例である。CPU101により制御された撮影ユニット105は、撮影部12の一例である。CPU101により制御されたROM102及びRAM103は、記憶部13の一例である。CPU101は、判断部14及び算出部15の一例である。CPU101により制御された通信部109は、送信部16の一例である。
【0019】
図3は、本実施形態に係るパラメーターの算出の処理を示すフローチャートである。この処理により、携帯電話機1は、被写体の3次元の形状を示すパラメーターを算出する。以下の処理は、利用者が、操作部107を操作して被写体の3次元形状を測定するためのプログラムを起動することにより開始する。利用者は、投射ユニット104が光を投射する範囲内に被写体がくるように、携帯電話機1を構える。
【0020】
図4は、携帯電話機1の概観図である。以下では、携帯電話機1の筐体が有する面のうち、操作部107を有する面を「正面」と、正面と反対の面を「背面」と表現する。また、正面と背面以外の面を「側面」と表現する。側面は、第1の側面(第1面の一例)と、当該第1の側面よりも面積が大きい第2の側面とを有する。各図の関係を示すため、携帯電話機の図面には、3次元直交座標系のX軸、Y軸、Z軸を示す座標記号を記した。座標記号のうち、内側が白い円の中に黒い円を描いた記号は、紙面奥側から手前側に向かう軸を表している。図4(A)は、携帯電話機1を背面側から見た斜視図である。携帯電話機1は、筐体の第1の側面に投射ユニット104を有する。携帯電話機1は、筐体の背面(第2面の一例)に撮影ユニット105を有する。この例で、撮影ユニット105は、Z軸に平行な回転軸Pを中心に回転する。この回転機構には所定の間隔でノッチが複数設けられており、撮影ユニット105は、ノッチに応じた回転角の位置で静止する。利用者が指で押す等により力を加えると、撮影ユニット105は、次のノッチの位置まで回転する。撮影ユニット105の回転軸は、撮影レンズ1051の中心とはずれている。利用者は、投射ユニット104を被写体に向けて携帯電話機1を構える。図4(B)及び(C)は、携帯電話機1を第2の側面側から見た図である。撮影ユニット105は、撮影レンズ1051と背面とのなす角度が大きくなる方向(図4(B)の矢印で示された方向)に突出する。図4(B)は、撮影レンズ1051と背面とのなす角度が0°の初期状態を示す。図4(C)は、撮影レンズ1051と背面とのなす角度が90°の状態を示す。利用者は、撮影ユニット105を突出させて、撮影レンズ1051と背面とのなす角度を調整する。利用者は、撮影ユニット105が被写体を向くように撮影ユニット105を引き出す。撮影ユニット105が回転することにより、投射レンズ1043の光軸と撮影レンズ1051の光軸とは相対的に移動する。
【0021】
再び図3を参照する。ステップS1において、投射ユニット104は、校正用映像(第1の映像の一例)を投射する。校正用映像とは、投射ユニット104の光軸を示す映像である。校正用映像は、被写体において投射ユニット104の光軸と撮影ユニット105の光軸とを合わせるために投射される。「光軸を合わせる」とは、被写体において複数の光軸を閾値の範囲内の距離に近づけることをいう。この閾値は、被写体の3次元の形状を示すパラメーターの誤差が所定の誤差範囲内に収まるように定められる。CPU101は、校正用映像をROM102から読み出し、RAM103に書き込む。液晶駆動回路1044は、RAM103から校正用映像を読み出し、液晶パネル1041を駆動するための駆動信号を生成する。液晶駆動回路1044は、駆動信号を液晶パネル1041に出力する。液晶パネル1041は、駆動信号に基いて、校正用映像を表示する。利用者は、投射ユニット104により投射された校正用映像が被写体に投射されるように、携帯電話機1の位置や、被写体に対する角度を調整する。
【0022】
図5は、校正用映像Cが被写体2に投射された状態の例を示す図である。この例において、被写体2は、テーブルの上に置かれている円柱である。校正用映像Cは、ばつ印(×)の画像である。利用者は、さらに校正用映像Cの焦点が被写体2の表面上にくるように、携帯電話機1と被写体2との距離を調整する。
【0023】
再び図3を参照する。ステップS2において、撮影ユニット105は、校正用映像Cが投射された被写体2を撮影する。利用者は、被写体2が撮影レンズ1051に映るように、撮影ユニット105を移動させる。CCD1052は、撮影された映像を示す電気信号を生成する。信号処理回路1053は、CCD1052から出力された信号をデジタル信号に変換し、この信号により示される、1フレームごとの撮影画像を示すデータをRAM103のバッファー領域に記憶する。液晶ディスプレイ106は、バッファー領域から撮影画像を読み出して表示する。ステップS3において、CPU101は、特定の条件が満たされたか、具体的には、撮影された画像(以下、「撮影画像」という。)の中央部(決められた領域の一例)に校正用映像Cがあるか否かを判断する。中央部とは、撮影画像の中心を含み予め定められた大きさを有する領域をいう。CPU101は、撮影画像の中央部にあたる部分の画像をRAM103から読み出し、この中に校正用映像Cを示す画像が含まれているか否を判断する。校正用映像Cが撮影画像の中央部にあると判断された場合(ステップS3:YES)、CPU101は、処理をステップS4に移行する。校正用映像Cが撮影画像の中央部にないと判断された場合(ステップS3:NO)、撮影ユニット105は、ステップS2において被写体2の撮影を継続する。
【0024】
図6は、携帯電話機1を正面側から見た斜視図である。携帯電話機1は、正面に液晶ディスプレイ106及び操作部107を有する。図6では、液晶ディスプレイ106に、校正用映像Cが投射された被写体2の撮影画像が表示されている。液晶ディスプレイ106は、校正用映像Cが投射されているときは、照準用画像Aを表示する。照準用画像とは、撮影画像の中央部を示し、撮影ユニット105の照準を被写体に合わせるのに用いられる画像である。図6では、照準用画像Aは、破線で表された四角形である。図6(A)では、照準用画像Aが示す領域内に校正用映像Cは含まれていないため、CPU101は、校正用映像Cが撮影画像の中央部にないと判断する。図6(B)では、照準用画像Aが示す領域内に校正用映像Cが含まれているため、CPU101は、校正用映像Cが撮影画像の中央部にあると判断する。利用者は、図6(A)の状態から図6(B)の状態になるように、撮影レンズ1051の角度を変える。
【0025】
図7は、校正用映像Cが撮影画像の中央部にあるとき(図6(B))における、被写体2、投射ユニット104、及び撮影ユニット105の位置関係を示す図である。2本の破線は、それぞれ投射ユニット104及び撮影ユニット105の光軸を表す。校正用映像Cが撮影画像の中央部にあるとき、投射ユニット104の光軸と撮影ユニット105の光軸とは、被写体2の表面上で合わさる。この状態になると、CPU101は、校正用映像Cが撮影画像の中央部にあると判断する。
【0026】
再び図3を参照する。ステップS4において、投射ユニット104は、計測用映像(第2の映像の一例)を被写体2に投射する。計測用映像とは、被写体の3次元の形状を示すパラメーターの算出に用いられる映像である。計測用映像は、複数の映像パートにより構成される。ステップS4では、これら複数の映像パートのうち、カウンターの値に応じた一の映像パートが読み出されて投射される。カウンターの値は、ステップS4において1ずつ加算され、更新される。カウンターの値は、初期値として「1」が設定される。CPU101は、計測用映像のうちカウンターの値に応じた映像パートをROM102から読み出し、RAM103に書き込む。液晶駆動回路1044は、RAM103から映像パートを読み出し、液晶パネル1041を駆動するための駆動信号を生成する。液晶駆動回路1044は、駆動信号を液晶パネル1041に出力する。液晶パネル1041は、駆動信号に基いて、映像パートを表示する。
【0027】
図8は、計測用映像Mが被写体2に投射された状態の例を示す図である。計測用映像Mは、直線の縞を含み明部と暗部とで構成された明暗像である。計測用映像Mが、被写体の表面上に投射されると、縞は被写体の形状に沿って歪む。計測用映像Mは、例えば、6種類の映像パートにより構成される。これらの映像パートは、明部及び暗部の幅がそれぞれ異なる。6種類の映像パートのうち、3種類は縦縞の縦縞映像、残りの3種類は横縞の横縞映像である。それぞれの映像パートは、予め定められた時間(例えば、5秒間)ずつ、被写体2に投射される。映像パートの順番としては、例えば、3種類の縦縞映像がそれぞれ投射された後、3種類の横縞映像がそれぞれ投射される。この場合、カウンターの値「1」〜「3」は縦縞映像の3種類の映像パートに対応し、また、「4」〜「6」は横縞映像の3種類の映像パートに対応する。
【0028】
再び図3を参照する。ステップS5において、撮影ユニット105は、計測用映像Mが投射された被写体2を撮影する。利用者は、計測用映像Mが投射されたときの状態で携帯電話機1を構える。CCD1052は、再び、撮影された映像の電気信号を生成する。信号処理回路1053は、CCD1052により生成された電気信号をデジタルデータに変換し、1フレームごとの撮影画像としてRAM103のバッファー領域に記憶する。液晶ディスプレイ106は、バッファー領域から撮影画像を読み出して表示する。ステップS5において、撮影ユニット105は、投射ユニット104が一の映像パートを投射している間、被写体2の撮影を継続する。
【0029】
図9は、計測用映像Mが投射された被写体2の撮影画像を示した図である。液晶ディスプレイ106は、計測用映像Mが投射されているときは、照準用画像Aを表示しない。
【0030】
再び図3を参照する。ステップS6において、CPU101は、計測用映像Mが投射された被写体2の撮影画像の1フレームをRAM103に記憶する。CPU101は、映像パートが投射されている間に自動的に、撮影画像を記憶する。例えば、CPU101は、映像パートが投射されてから一定の時間経過後の撮影画像を記憶する。ステップS7において、CPU101は、所定の回数、撮影画像を記憶したか否かを判断する。所定の回数は、映像パートの種類と同じ回数であり、ここでは6回である。具体的には、CPU101は、カウンターの値が「6」であった場合、所定の回数、撮影画像を記憶したと判断する。カウンターの値が「5」以下であった場合、CPU101は、まだ所定の回数、撮影画像を記憶していないと判断する。所定の回数、撮影画像を記憶したと判断された場合(ステップS7:YES)、CPU101は、処理をステップS8へと移行する。所定の回数、撮影画像を記憶していないと判断された場合(ステップS7:NO)、CPU101は、処理をステップS4に移行し、カウンターの値に1を加算する。この場合、投射ユニット104は、再びステップS4において、更新後のカウンターの値に対応する映像パートの計測用映像Mを投射する。このように、計測用映像Mが投射されている間に、6フレーム(合計6枚)の撮影画像がRAM103に記憶される。
【0031】
ステップS8において、CPU101は、RAM103に記憶された、計測用映像Mが投射された被写体2の撮影画像から、被写体2の3次元の形状を示すパラメーターを算出する。例えば、CPU101は、いわゆる空間コード法により、撮影ユニット105が撮影した6枚の撮影画像における各画素の明滅から被写体2の3次元の形状を示すパラメーターを算出する。ステップS9において、通信部109は、CPU101により算出されたパラメーターを携帯電話機又はパーソナルコンピューターなどの外部装置に送信する。外部装置は、受信したパラメーターを利用して種々の処理を行う。例えば、外部装置は、いわゆる3D画像を生成し、これを画面に表示する。別の例で、外部装置は、被写体の3次元のサイズを示す数値を算出し、これを画面に表示する。この携帯電話機1によれば、投射ユニット104の光軸と撮影ユニット105の光軸とが合った状態で撮影ユニット105が被写体を撮影するので、3次元形状の正確な測定及び補正処理の短縮化が実現される。
【0032】
<変形例>
本発明は、上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下で説明する変形例のうち、2つ以上のものが組み合わされて用いられてもよい。
【0033】
(1)変形例1
図10は、変形例1に係る携帯電話機3を背面側から見た斜視図である。携帯電話機3は、折りたたみ型(クラムシェル型)の携帯電話機である。携帯電話機3の筐体は、パーツ31(第1のパーツの一例)とパーツ32(第2のパーツの一例)を有する。パーツ31とパーツ32とは、ヒンジ33を介して連結される。このように、携帯電話機は、筐体が一つのパーツで構成されたストレート型のものに限られない。パーツ31は、第1の側面に投射ユニット104を有する。パーツ32は、背面に撮影ユニット105を有する。図10(A)は、携帯電話機3を開いた状態を示す図である。パーツ31とパーツ32の第2の側面がヒンジ33を介して同一直線上にくるように携帯電話機3を開くと、投射ユニット104の光軸と、撮影ユニット105の光軸とは、互いに垂直方向を向いた状態となる。図10(B)は、パーツ31を背面方向(図10(A)の矢印方向)に移動させて、投射ユニット104の光軸と撮影ユニット105の光軸とを合わせた状態を示す図である。利用者は、パーツ31又はパーツ32を背面方向に回転させて、投射ユニット104の光軸と撮影ユニット105の光軸とを合わせる。図10(B)では、投射ユニット104の光軸と撮影ユニット105の光軸とは点Dで合わさっている。
【0034】
(2)変形例2
図11は、変形例2に係る携帯電話機1の機能的構成を示すブロック図である。図11に示すように携帯電話機1は、判断部14の代わりに表示部17及び受付部18を備えていてもよい。表示部17は、校正用映像が投射された被写体の画像を表示する。受付部18は、投射ユニット104による計測用映像の投射を開始させるための要求を受け付ける。表示部17及び受付部18以外の構成は、図1と同じであるため、説明を省略する。
この場合、図3のステップS3の判断に用いられる特定の条件は、液晶ディスプレイ106が、校正用映像が投射された被写体の画像を表示しているときに、操作部107が、計測用映像の投射を開始させるための操作を受け付けたという条件である。すなわち、CPU101は、操作部107が、利用者による計測用映像の投射を開始させるための操作を受け付けたか否かを判断する。利用者は、液晶ディスプレイ106を見て、例えば、撮影画像の中央部に校正用映像Cがきたときに、計測用映像の投射を開始させるための操作を行う。操作部107が計測用映像の投射を開始させるための操作を受け付けたと判断された場合(ステップS3:YES)、CPU101は、処理をステップS4に移行する。操作部107が計測用映像の投射を開始させるための操作を受け付けていないと判断された場合(ステップS3:NO)、撮影ユニット105は、ステップS2において被写体2の撮影を継続する。この例で、液晶ディスプレイ106は、表示部17の一例である。また、操作部107は、受付部18の一例である。
【0035】
(3)変形例3
図12は、変形例3に係る携帯電話機1の機能的構成を示すブロック図である。図12に示すように携帯電話機1は、駆動部19を備えていてもよい。駆動部19は、投射部11又は撮影部12を駆動する。駆動部19以外の構成は、図1と同じであるため、説明を省略する。
【0036】
図13は、変形例3に係る携帯電話機1のハードウェア構成を示すブロック図である。変形例3において携帯電話機1は、モーター駆動回路110、及びモーター111を有する。モーター駆動回路110は、モーター111を駆動する。CPU101により制御されたモーター駆動回路110及びモーター111は、駆動部17の一例である。モーター111は、撮影ユニット105を回転軸Pを中心に回転させる。この回転により、撮影ユニットの光軸は移動する。モーター駆動回路110は、例えば、図4(B)の状態から図4(C)の状態へと撮影ユニット105を回転させるための信号をモーター111に出力する。図4(B)の状態から図4(C)の状態へと回転する間、所定の間隔(時間間隔または回転角の間隔)で、ステップS3の判断が行われる。ステップS3において撮影画像の中央部に校正用画像があると判断されると、CPU101は、撮影ユニット105の回転を停止するように、モーター駆動回路110を制御する。こうして、撮影画像の中央部に構成用画像が位置した状態で、撮影ユニット105は停止する。なお、モーター111は、撮影ユニット105に代わり投射ユニット104を移動してもよい。また、投射ユニット104及び撮影ユニット105の双方にモーターを設け、両者を移動してもよい。
【0037】
(4)変形例4
図14は、変形例4に係るアタッチメント部材40を示す図である。撮影ユニット105の光軸と投射ユニット104の光軸との位置関係を相対的に変化させる方法は、撮影ユニット105を回転させるものに限定されない。変形例4において、撮影ユニット105の光軸の向きを変化させるアタッチメント部材40が用いられる。図14(A)は、アタッチメント部材40が装着された携帯電話機1を背面側から見た斜視図である。図14(B)は、アタッチメント部材40が装着された携帯電話機1を第2の側面側から見た図である。アタッチメント部材40は、撮影ユニット105を覆うように、筐体の背面に装着される。アタッチメント部材40は、ミラーやプリズムなどの光学系部材を有しており、撮影ユニット105の光軸の向きを変化させる。アタッチメント部材40は、装着後の撮影ユニット105の光軸と投射ユニット104の光軸とがある点で交わるように設計されている。
【0038】
(5)変形例5
投射ユニット104の光軸と撮影ユニット105の光軸とがあっているかどうかの判断において用いられる、撮影画像の「決められた領域」は、撮影画像の中央部に限定されない。この領域は、例えば、撮影画像の中心から予め定められた距離にある点を含む領域であってもよい。別の例で、この領域は、矩形でなくてもよい。
【0039】
(6)変形例6
図3のステップS6において、CPU101が撮影画像をRAM103に記憶する動作は、利用者がシャッターを切ったことを契機に行われても良い。この場合、利用者は、液晶ディスプレイ106に表示された撮影画像を見ながら(ファインダーを見ながら)、シャッターボタンを操作してシャッターを切る。
【0040】
(7)変形例7
CPU101が、被写体2の3次元の形状を示すパラメーターを算出する方法は、空間コード法に限定されない。CPU101は、光切断法又は位相シフト法などによりパラメーターを算出してもよい。この場合、計測用映像は、それぞれの方法で用いられる映像パートにより構成される。
【0041】
(8)変形例8
図3のステップS9において、携帯電話機1は、パラメーターを外部装置に送信することなく、液晶ディスプレイ106に、3D画像を表示してもよい。別の例で、携帯電話機1は、撮影画像をサーバーに送信し、サーバーがパラメーターを算出してもよい。
【0042】
(9)その他
計測用映像Mは、静止画に限らず、動画であってもよい。
携帯電子機器は、携帯電話機に限定されない。携帯電子機器は、例えば、デジタルカメラ、プロジェクター、テレビジョンであってもよい。
投射ユニット104は、液晶プロジェクターに限定されない。投射ユニット104は、例えば、DLP(登録商標:Digital Light Processing)など他の方式のプロジェクターであってもよい。
【符号の説明】
【0043】
1…携帯電話機、11…投射部、12…撮影部、13…記憶部、14…判断部、15…算出部、16…送信部、17…表示部、18…受付部、19…駆動部、101…CPU、102…ROM、103…RAM、104…投射ユニット、1041…液晶パネル、1042…光源ランプ、1043…投射レンズ、1044…液晶駆動回路、105…撮影ユニット、1051…撮影レンズ、1052…CCD、1053…信号処理回路、106…液晶ディスプレイ、107…操作部、108…音声入出力部、109…通信部、110…モーター駆動回路、111…モーター、2…被写体、3…携帯電話機、31,32…パーツ、33…ヒンジ、40…アタッチメント部材
【技術分野】
【0001】
本発明は、映像を被写体に投射する機能を備えた携帯電子機器及び制御方法に関する。
【背景技術】
【0002】
携帯電話機又はデジタルカメラなどの携帯電子機器が、投射機能及び撮影機能の両方を備える技術が知られている(例えば、特許文献1又は2)。特許文献3には、携帯電話機の投射部及び撮影部を用いて、被写体の3次元形状を測定するシステムが記載されている。このシステムにおいて、携帯電話機の投射部は、明部と暗部とからなる明暗像を被写体に投射し、撮影部は、明暗像が投射された被写体を撮影する。撮影された画像データに基いて、空間コード法又は位相シフト法により被写体の3次元形状が測定される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−292428号公報
【特許文献2】特開2008−276126号公報
【特許文献3】特開2011−106931号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
投射部及び撮影部が携帯電子機器の異なる位置に設けられると、投射部の光軸と撮影部の光軸とは、異なる方向を向く可能性がある。この場合、撮影部は、光軸が合わない状態で、明暗像が投射された被写体を撮影することになる。このような状態で撮影された画像データが被写体の3次元形状の測定に用いられると、正確な測定ができなかったり、また、画像データの補正処理に時間がかかる場合がある。そこで、本発明は、撮影部が、3次元の形状を示すパラメーターの算出に用いられる映像が投射された被写体を、光軸の合った状態で撮影できるようにすることを目的とする。
【課題を解決するための手段】
【0005】
上述の課題を解決するため、本発明は、第1光学系を介して映像を被写体に投射する投射部と、前記映像が投射された被写体を第2光学系を介して撮影する撮影部と、前記撮影部により撮影された画像を記憶する記憶部とを有し、前記投射部は、第1の映像を被写体に投射し、前記投射部が前記第1の映像を投射している場合において特定の条件が満たされたときに、前記投射部は、3次元の形状を示すパラメーターの算出に用いられる第2の映像を前記被写体に投射し、前記撮影部は、前記第2の映像が投射された被写体を撮影し、前記記憶部は、前記第2の映像が投射された被写体の画像を記憶する携帯電子機器を提供する。この携帯電子機器によれば、撮影部が、第2の映像が投射された被写体を光軸の合った状態で撮影できる。
【0006】
好ましい態様において、前記第1光学系の光軸と前記第2光学系の光軸とが相対的に移動するように、前記投射部及び前記撮影部の少なくとも一方が移動することを特徴とする。この携帯電子機器によれば、投射部の光軸と撮影部の光軸とを合わせることができる。
【0007】
別の好ましい態様において、この携帯電子機器は、第1面及び前記第1面と異なる第2面を有する筐体を有し、前記投射部は、前記第1面に設けられ、前記撮影部は、前記第2面に設けられていることを特徴とする。この携帯電子機器によれば、投射部と撮影部とが同じ面に設けられる場合と比較して、投射部と撮影部とを携帯電子機器に内蔵させることが容易になる。
【0008】
別の好ましい態様において、前記筐体は、第1のパーツと、当該第1のパーツにヒンジを介して連結された第2のパーツとを有し、前記第1のパーツは、前記第1面を有し、前記第2のパーツは、前記第2面を有することを特徴とする。この携帯電子機器によれば、携帯電子機器が一のパーツのみで構成されている場合と比較して、投射部の光軸と撮影部の光軸とを合わせることが容易になる。
【0009】
別の好ましい態様において、この携帯電子機器は、前記記憶部により記憶された、前記第2の映像が投射された被写体の画像に基いて、前記被写体の3次元の形状を示すパラメーターを算出する算出部を有することを特徴とする。この携帯電子機器によれば、投射部の光軸と撮影部の光軸とが合った状態で、被写体の3次元形状を測定することができる。
【0010】
別の好ましい態様において、この携帯電子機器は、前記算出部により算出されたパラメーターを外部装置に送信する送信部を有することを特徴とする。この携帯電子機器によれば、投射部の光軸と撮影部の光軸とが合った状態で測定された、被写体の3次元形状を示すパラメーターを外部装置が取得することができる。
【0011】
別の好ましい態様において、前記撮影部は、前記第1の映像が投射された被写体を撮影し、前記撮影部により撮影された、前記第1の映像が投射された被写体の画像の決められた領域に前記第1の映像があるか否かを判断する判断部を備え、前記特定の条件は、前記判断部により前記決められた領域に前記第1の映像があると判断されたことであることを特徴とする。この携帯電子機器によれば、撮影部が、第2の映像が投射された被写体を光軸の合った状態で撮影できる。
【0012】
別の好ましい態様において、この携帯電子機器は、前記第1の映像が投射された被写体の画像を表示する表示部と、前記第2の映像の投射を開始させるための要求を受け付ける受付部とを備え、前記撮影部は、前記第1の映像が投射された被写体を撮影し、前記特定の条件は、前記表示部が、前記画像を表示しているときに、前記受付部が前記要求を受け付けたことであることを特徴とする。この携帯電子機器によれば、撮影部が、第2の映像が投射された被写体を光軸の合った状態で撮影できる。
【0013】
別の好ましい態様において、この携帯電子機器は、前記投射部又は前記撮影部を駆動する駆動部を有することを特徴とする。この携帯電子機器によれば、投射部の光軸と撮影部の光軸とを自動で合わせることができる。
【0014】
また、本発明は、第1光学系を介して映像を被写体に投射する投射部と、前記映像が投射された被写体を第2光学系を介して撮影する撮影部と、前記撮影部により撮影された画像を記憶する記憶部とを有する携帯電子機器の制御方法であって、前記投射部が、第1の映像を被写体に投射する工程と、前記投射部が前記第1の映像を投射している場合において特定の条件が満たされたときに、前記投射部が、3次元の形状を示すパラメーターの算出に用いられる第2の映像を前記被写体に投射する工程と、前記撮影部が、前記第2の映像が投射された被写体を撮影する工程と、前記記憶部が、前記第2の映像が投射された被写体の画像を記憶する工程とを有する制御方法を提供する。この制御方法によれば、撮影部が、第2の映像が投射された被写体を光軸の合った状態で撮影できる。
【図面の簡単な説明】
【0015】
【図1】実施形態に係る携帯電話機の機能的構成を示すブロック図。
【図2】携帯電話機のハードウェア構成を示すブロック図。
【図3】パラメーターの算出の処理を示すフローチャート。
【図4】携帯電話機1の概観図。
【図5】校正用映像が被写体に投射された状態の例を示す図。
【図6】携帯電話機を正面側から見た斜視図。
【図7】被写体、投射ユニット、及び撮影ユニットの位置関係を示す図。
【図8】計測用映像が被写体に投射された状態の例を示す図。
【図9】計測用映像が投射された被写体の撮影画像を示した図。
【図10】変形例1に係る携帯電話機を背面側から見た斜視図。
【図11】変形例2に係る携帯電話機の機能的構成を示すブロック図。
【図12】変形例3に係る携帯電話機の機能的構成を示すブロック図。
【図13】変形例3に係る携帯電話機のハードウェア構成を示すブロック図。
【図14】変形例4に係るアタッチメント部材を示す図。
【発明を実施するための形態】
【0016】
図1は、本発明の一実施形態に係る携帯電話機1の機能的構成を示すブロック図である。携帯電話機1は、投射部11、撮影部12、記憶部13、判断部14、算出部15、及び送信部16を有する携帯電子機器である。投射部11は、第1光学系を介して第1の映像又は第2の映像を被写体に投射する。撮影部12は、第1の映像及び第2の映像が投射された被写体を、第2光学系を介して撮影する。記憶部13は、撮影部により撮影された画像を記憶する。判断部14は、第1の映像が被写体に投射されているときに、特定の条件が満たされているか否かを判断する。特定の条件とは、第1光学系の光軸と第2光学系の光軸とに関する条件であり、例えば、両者の光軸が合っているという条件である。算出部15は、前記記憶部13により記憶された、第2の映像が投射された被写体の画像に基いて、被写体の3次元の形状を示すパラメーターを算出する。送信部16は、算出部により算出されたパラメーターを他の携帯電話機又はパーソナルコンピューターなどの外部装置に送信する。
【0017】
図2は、携帯電話機1のハードウェア構成を示すブロック図である。携帯電話機1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM103(Random Access Memory)、投射ユニット104、撮影ユニット105、液晶ディスプレイ106、操作部107、音声入出力部108、及び通信部109を有する。CPU101は、プログラムを実行することにより携帯電話機1の各部を制御する制御装置である。ROM102は、各種のプログラム及びデータを記憶した不揮発性の記憶装置である。ROM102は、被写体の3次元形状を測定するためのプログラムを記憶する。RAM103は、データを記憶する揮発性の記憶装置である。投射ユニット104は、液晶パネル1041、光源ランプ1042、投射レンズ1043、及び液晶駆動回路1044を有する液晶プロジェクターである。液晶パネル1041は、マトリクス状に配置された複数の画素を有する。液晶パネル1041は、光源ランプ1042から放射された光の透過率を、画素毎に変調するライトバルブとして用いられる。液晶パネル1041により変調された光は、投射レンズ1043(第1光学系の一例)により拡大され、投射される。液晶駆動回路1044は、液晶パネル1041を駆動するための駆動信号を生成する。撮影ユニット105は、撮影レンズ1051、CCD(Charge Coupled Device)1052、及び信号処理回路1053を有するカメラである。撮影レンズ1051(第2光学系の一例)は、光を携帯電話機1の内部に取り込む。CCD1052は、撮影レンズ1051により取り込まれた光から電気信号を生成するイメージセンサーとして用いられる。この電気信号は、静止画又は動画を表す。信号処理回路1053は、CCD1052により生成された電気信号をデジタル信号に変換する。液晶ディスプレイ106は、携帯電話機1を操作するためのメニュー画面又は各種情報を表示する。液晶ディスプレイ106は、また、撮影ユニット105により被写体を撮影するときのファインダーとして機能する。操作部107は、テンキー、クリアキー、及びカーソルキーなどの複数の操作子を備え、利用者の操作を受け付ける。操作部107は、また、撮影ユニット105のシャッターを切るためのシャッターボタンとして用いられる。操作部107は、液晶ディスプレイ106の表示面に重ねて設けられたタッチパネルであってもよい。音声入出力部108は、マイクロフォンなどの収音部材、スピーカーなどの放音部材、及びDSP(Digital Signal Processor)などの音声処理回路を有する。通信部109は、アンテナ及び通信回路を備え、ネットワークを介してサーバー又は他の携帯電話機などと通信する。
【0018】
図2においてCPU101により制御された投射ユニット104は、投射部11の一例である。CPU101により制御された撮影ユニット105は、撮影部12の一例である。CPU101により制御されたROM102及びRAM103は、記憶部13の一例である。CPU101は、判断部14及び算出部15の一例である。CPU101により制御された通信部109は、送信部16の一例である。
【0019】
図3は、本実施形態に係るパラメーターの算出の処理を示すフローチャートである。この処理により、携帯電話機1は、被写体の3次元の形状を示すパラメーターを算出する。以下の処理は、利用者が、操作部107を操作して被写体の3次元形状を測定するためのプログラムを起動することにより開始する。利用者は、投射ユニット104が光を投射する範囲内に被写体がくるように、携帯電話機1を構える。
【0020】
図4は、携帯電話機1の概観図である。以下では、携帯電話機1の筐体が有する面のうち、操作部107を有する面を「正面」と、正面と反対の面を「背面」と表現する。また、正面と背面以外の面を「側面」と表現する。側面は、第1の側面(第1面の一例)と、当該第1の側面よりも面積が大きい第2の側面とを有する。各図の関係を示すため、携帯電話機の図面には、3次元直交座標系のX軸、Y軸、Z軸を示す座標記号を記した。座標記号のうち、内側が白い円の中に黒い円を描いた記号は、紙面奥側から手前側に向かう軸を表している。図4(A)は、携帯電話機1を背面側から見た斜視図である。携帯電話機1は、筐体の第1の側面に投射ユニット104を有する。携帯電話機1は、筐体の背面(第2面の一例)に撮影ユニット105を有する。この例で、撮影ユニット105は、Z軸に平行な回転軸Pを中心に回転する。この回転機構には所定の間隔でノッチが複数設けられており、撮影ユニット105は、ノッチに応じた回転角の位置で静止する。利用者が指で押す等により力を加えると、撮影ユニット105は、次のノッチの位置まで回転する。撮影ユニット105の回転軸は、撮影レンズ1051の中心とはずれている。利用者は、投射ユニット104を被写体に向けて携帯電話機1を構える。図4(B)及び(C)は、携帯電話機1を第2の側面側から見た図である。撮影ユニット105は、撮影レンズ1051と背面とのなす角度が大きくなる方向(図4(B)の矢印で示された方向)に突出する。図4(B)は、撮影レンズ1051と背面とのなす角度が0°の初期状態を示す。図4(C)は、撮影レンズ1051と背面とのなす角度が90°の状態を示す。利用者は、撮影ユニット105を突出させて、撮影レンズ1051と背面とのなす角度を調整する。利用者は、撮影ユニット105が被写体を向くように撮影ユニット105を引き出す。撮影ユニット105が回転することにより、投射レンズ1043の光軸と撮影レンズ1051の光軸とは相対的に移動する。
【0021】
再び図3を参照する。ステップS1において、投射ユニット104は、校正用映像(第1の映像の一例)を投射する。校正用映像とは、投射ユニット104の光軸を示す映像である。校正用映像は、被写体において投射ユニット104の光軸と撮影ユニット105の光軸とを合わせるために投射される。「光軸を合わせる」とは、被写体において複数の光軸を閾値の範囲内の距離に近づけることをいう。この閾値は、被写体の3次元の形状を示すパラメーターの誤差が所定の誤差範囲内に収まるように定められる。CPU101は、校正用映像をROM102から読み出し、RAM103に書き込む。液晶駆動回路1044は、RAM103から校正用映像を読み出し、液晶パネル1041を駆動するための駆動信号を生成する。液晶駆動回路1044は、駆動信号を液晶パネル1041に出力する。液晶パネル1041は、駆動信号に基いて、校正用映像を表示する。利用者は、投射ユニット104により投射された校正用映像が被写体に投射されるように、携帯電話機1の位置や、被写体に対する角度を調整する。
【0022】
図5は、校正用映像Cが被写体2に投射された状態の例を示す図である。この例において、被写体2は、テーブルの上に置かれている円柱である。校正用映像Cは、ばつ印(×)の画像である。利用者は、さらに校正用映像Cの焦点が被写体2の表面上にくるように、携帯電話機1と被写体2との距離を調整する。
【0023】
再び図3を参照する。ステップS2において、撮影ユニット105は、校正用映像Cが投射された被写体2を撮影する。利用者は、被写体2が撮影レンズ1051に映るように、撮影ユニット105を移動させる。CCD1052は、撮影された映像を示す電気信号を生成する。信号処理回路1053は、CCD1052から出力された信号をデジタル信号に変換し、この信号により示される、1フレームごとの撮影画像を示すデータをRAM103のバッファー領域に記憶する。液晶ディスプレイ106は、バッファー領域から撮影画像を読み出して表示する。ステップS3において、CPU101は、特定の条件が満たされたか、具体的には、撮影された画像(以下、「撮影画像」という。)の中央部(決められた領域の一例)に校正用映像Cがあるか否かを判断する。中央部とは、撮影画像の中心を含み予め定められた大きさを有する領域をいう。CPU101は、撮影画像の中央部にあたる部分の画像をRAM103から読み出し、この中に校正用映像Cを示す画像が含まれているか否を判断する。校正用映像Cが撮影画像の中央部にあると判断された場合(ステップS3:YES)、CPU101は、処理をステップS4に移行する。校正用映像Cが撮影画像の中央部にないと判断された場合(ステップS3:NO)、撮影ユニット105は、ステップS2において被写体2の撮影を継続する。
【0024】
図6は、携帯電話機1を正面側から見た斜視図である。携帯電話機1は、正面に液晶ディスプレイ106及び操作部107を有する。図6では、液晶ディスプレイ106に、校正用映像Cが投射された被写体2の撮影画像が表示されている。液晶ディスプレイ106は、校正用映像Cが投射されているときは、照準用画像Aを表示する。照準用画像とは、撮影画像の中央部を示し、撮影ユニット105の照準を被写体に合わせるのに用いられる画像である。図6では、照準用画像Aは、破線で表された四角形である。図6(A)では、照準用画像Aが示す領域内に校正用映像Cは含まれていないため、CPU101は、校正用映像Cが撮影画像の中央部にないと判断する。図6(B)では、照準用画像Aが示す領域内に校正用映像Cが含まれているため、CPU101は、校正用映像Cが撮影画像の中央部にあると判断する。利用者は、図6(A)の状態から図6(B)の状態になるように、撮影レンズ1051の角度を変える。
【0025】
図7は、校正用映像Cが撮影画像の中央部にあるとき(図6(B))における、被写体2、投射ユニット104、及び撮影ユニット105の位置関係を示す図である。2本の破線は、それぞれ投射ユニット104及び撮影ユニット105の光軸を表す。校正用映像Cが撮影画像の中央部にあるとき、投射ユニット104の光軸と撮影ユニット105の光軸とは、被写体2の表面上で合わさる。この状態になると、CPU101は、校正用映像Cが撮影画像の中央部にあると判断する。
【0026】
再び図3を参照する。ステップS4において、投射ユニット104は、計測用映像(第2の映像の一例)を被写体2に投射する。計測用映像とは、被写体の3次元の形状を示すパラメーターの算出に用いられる映像である。計測用映像は、複数の映像パートにより構成される。ステップS4では、これら複数の映像パートのうち、カウンターの値に応じた一の映像パートが読み出されて投射される。カウンターの値は、ステップS4において1ずつ加算され、更新される。カウンターの値は、初期値として「1」が設定される。CPU101は、計測用映像のうちカウンターの値に応じた映像パートをROM102から読み出し、RAM103に書き込む。液晶駆動回路1044は、RAM103から映像パートを読み出し、液晶パネル1041を駆動するための駆動信号を生成する。液晶駆動回路1044は、駆動信号を液晶パネル1041に出力する。液晶パネル1041は、駆動信号に基いて、映像パートを表示する。
【0027】
図8は、計測用映像Mが被写体2に投射された状態の例を示す図である。計測用映像Mは、直線の縞を含み明部と暗部とで構成された明暗像である。計測用映像Mが、被写体の表面上に投射されると、縞は被写体の形状に沿って歪む。計測用映像Mは、例えば、6種類の映像パートにより構成される。これらの映像パートは、明部及び暗部の幅がそれぞれ異なる。6種類の映像パートのうち、3種類は縦縞の縦縞映像、残りの3種類は横縞の横縞映像である。それぞれの映像パートは、予め定められた時間(例えば、5秒間)ずつ、被写体2に投射される。映像パートの順番としては、例えば、3種類の縦縞映像がそれぞれ投射された後、3種類の横縞映像がそれぞれ投射される。この場合、カウンターの値「1」〜「3」は縦縞映像の3種類の映像パートに対応し、また、「4」〜「6」は横縞映像の3種類の映像パートに対応する。
【0028】
再び図3を参照する。ステップS5において、撮影ユニット105は、計測用映像Mが投射された被写体2を撮影する。利用者は、計測用映像Mが投射されたときの状態で携帯電話機1を構える。CCD1052は、再び、撮影された映像の電気信号を生成する。信号処理回路1053は、CCD1052により生成された電気信号をデジタルデータに変換し、1フレームごとの撮影画像としてRAM103のバッファー領域に記憶する。液晶ディスプレイ106は、バッファー領域から撮影画像を読み出して表示する。ステップS5において、撮影ユニット105は、投射ユニット104が一の映像パートを投射している間、被写体2の撮影を継続する。
【0029】
図9は、計測用映像Mが投射された被写体2の撮影画像を示した図である。液晶ディスプレイ106は、計測用映像Mが投射されているときは、照準用画像Aを表示しない。
【0030】
再び図3を参照する。ステップS6において、CPU101は、計測用映像Mが投射された被写体2の撮影画像の1フレームをRAM103に記憶する。CPU101は、映像パートが投射されている間に自動的に、撮影画像を記憶する。例えば、CPU101は、映像パートが投射されてから一定の時間経過後の撮影画像を記憶する。ステップS7において、CPU101は、所定の回数、撮影画像を記憶したか否かを判断する。所定の回数は、映像パートの種類と同じ回数であり、ここでは6回である。具体的には、CPU101は、カウンターの値が「6」であった場合、所定の回数、撮影画像を記憶したと判断する。カウンターの値が「5」以下であった場合、CPU101は、まだ所定の回数、撮影画像を記憶していないと判断する。所定の回数、撮影画像を記憶したと判断された場合(ステップS7:YES)、CPU101は、処理をステップS8へと移行する。所定の回数、撮影画像を記憶していないと判断された場合(ステップS7:NO)、CPU101は、処理をステップS4に移行し、カウンターの値に1を加算する。この場合、投射ユニット104は、再びステップS4において、更新後のカウンターの値に対応する映像パートの計測用映像Mを投射する。このように、計測用映像Mが投射されている間に、6フレーム(合計6枚)の撮影画像がRAM103に記憶される。
【0031】
ステップS8において、CPU101は、RAM103に記憶された、計測用映像Mが投射された被写体2の撮影画像から、被写体2の3次元の形状を示すパラメーターを算出する。例えば、CPU101は、いわゆる空間コード法により、撮影ユニット105が撮影した6枚の撮影画像における各画素の明滅から被写体2の3次元の形状を示すパラメーターを算出する。ステップS9において、通信部109は、CPU101により算出されたパラメーターを携帯電話機又はパーソナルコンピューターなどの外部装置に送信する。外部装置は、受信したパラメーターを利用して種々の処理を行う。例えば、外部装置は、いわゆる3D画像を生成し、これを画面に表示する。別の例で、外部装置は、被写体の3次元のサイズを示す数値を算出し、これを画面に表示する。この携帯電話機1によれば、投射ユニット104の光軸と撮影ユニット105の光軸とが合った状態で撮影ユニット105が被写体を撮影するので、3次元形状の正確な測定及び補正処理の短縮化が実現される。
【0032】
<変形例>
本発明は、上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下で説明する変形例のうち、2つ以上のものが組み合わされて用いられてもよい。
【0033】
(1)変形例1
図10は、変形例1に係る携帯電話機3を背面側から見た斜視図である。携帯電話機3は、折りたたみ型(クラムシェル型)の携帯電話機である。携帯電話機3の筐体は、パーツ31(第1のパーツの一例)とパーツ32(第2のパーツの一例)を有する。パーツ31とパーツ32とは、ヒンジ33を介して連結される。このように、携帯電話機は、筐体が一つのパーツで構成されたストレート型のものに限られない。パーツ31は、第1の側面に投射ユニット104を有する。パーツ32は、背面に撮影ユニット105を有する。図10(A)は、携帯電話機3を開いた状態を示す図である。パーツ31とパーツ32の第2の側面がヒンジ33を介して同一直線上にくるように携帯電話機3を開くと、投射ユニット104の光軸と、撮影ユニット105の光軸とは、互いに垂直方向を向いた状態となる。図10(B)は、パーツ31を背面方向(図10(A)の矢印方向)に移動させて、投射ユニット104の光軸と撮影ユニット105の光軸とを合わせた状態を示す図である。利用者は、パーツ31又はパーツ32を背面方向に回転させて、投射ユニット104の光軸と撮影ユニット105の光軸とを合わせる。図10(B)では、投射ユニット104の光軸と撮影ユニット105の光軸とは点Dで合わさっている。
【0034】
(2)変形例2
図11は、変形例2に係る携帯電話機1の機能的構成を示すブロック図である。図11に示すように携帯電話機1は、判断部14の代わりに表示部17及び受付部18を備えていてもよい。表示部17は、校正用映像が投射された被写体の画像を表示する。受付部18は、投射ユニット104による計測用映像の投射を開始させるための要求を受け付ける。表示部17及び受付部18以外の構成は、図1と同じであるため、説明を省略する。
この場合、図3のステップS3の判断に用いられる特定の条件は、液晶ディスプレイ106が、校正用映像が投射された被写体の画像を表示しているときに、操作部107が、計測用映像の投射を開始させるための操作を受け付けたという条件である。すなわち、CPU101は、操作部107が、利用者による計測用映像の投射を開始させるための操作を受け付けたか否かを判断する。利用者は、液晶ディスプレイ106を見て、例えば、撮影画像の中央部に校正用映像Cがきたときに、計測用映像の投射を開始させるための操作を行う。操作部107が計測用映像の投射を開始させるための操作を受け付けたと判断された場合(ステップS3:YES)、CPU101は、処理をステップS4に移行する。操作部107が計測用映像の投射を開始させるための操作を受け付けていないと判断された場合(ステップS3:NO)、撮影ユニット105は、ステップS2において被写体2の撮影を継続する。この例で、液晶ディスプレイ106は、表示部17の一例である。また、操作部107は、受付部18の一例である。
【0035】
(3)変形例3
図12は、変形例3に係る携帯電話機1の機能的構成を示すブロック図である。図12に示すように携帯電話機1は、駆動部19を備えていてもよい。駆動部19は、投射部11又は撮影部12を駆動する。駆動部19以外の構成は、図1と同じであるため、説明を省略する。
【0036】
図13は、変形例3に係る携帯電話機1のハードウェア構成を示すブロック図である。変形例3において携帯電話機1は、モーター駆動回路110、及びモーター111を有する。モーター駆動回路110は、モーター111を駆動する。CPU101により制御されたモーター駆動回路110及びモーター111は、駆動部17の一例である。モーター111は、撮影ユニット105を回転軸Pを中心に回転させる。この回転により、撮影ユニットの光軸は移動する。モーター駆動回路110は、例えば、図4(B)の状態から図4(C)の状態へと撮影ユニット105を回転させるための信号をモーター111に出力する。図4(B)の状態から図4(C)の状態へと回転する間、所定の間隔(時間間隔または回転角の間隔)で、ステップS3の判断が行われる。ステップS3において撮影画像の中央部に校正用画像があると判断されると、CPU101は、撮影ユニット105の回転を停止するように、モーター駆動回路110を制御する。こうして、撮影画像の中央部に構成用画像が位置した状態で、撮影ユニット105は停止する。なお、モーター111は、撮影ユニット105に代わり投射ユニット104を移動してもよい。また、投射ユニット104及び撮影ユニット105の双方にモーターを設け、両者を移動してもよい。
【0037】
(4)変形例4
図14は、変形例4に係るアタッチメント部材40を示す図である。撮影ユニット105の光軸と投射ユニット104の光軸との位置関係を相対的に変化させる方法は、撮影ユニット105を回転させるものに限定されない。変形例4において、撮影ユニット105の光軸の向きを変化させるアタッチメント部材40が用いられる。図14(A)は、アタッチメント部材40が装着された携帯電話機1を背面側から見た斜視図である。図14(B)は、アタッチメント部材40が装着された携帯電話機1を第2の側面側から見た図である。アタッチメント部材40は、撮影ユニット105を覆うように、筐体の背面に装着される。アタッチメント部材40は、ミラーやプリズムなどの光学系部材を有しており、撮影ユニット105の光軸の向きを変化させる。アタッチメント部材40は、装着後の撮影ユニット105の光軸と投射ユニット104の光軸とがある点で交わるように設計されている。
【0038】
(5)変形例5
投射ユニット104の光軸と撮影ユニット105の光軸とがあっているかどうかの判断において用いられる、撮影画像の「決められた領域」は、撮影画像の中央部に限定されない。この領域は、例えば、撮影画像の中心から予め定められた距離にある点を含む領域であってもよい。別の例で、この領域は、矩形でなくてもよい。
【0039】
(6)変形例6
図3のステップS6において、CPU101が撮影画像をRAM103に記憶する動作は、利用者がシャッターを切ったことを契機に行われても良い。この場合、利用者は、液晶ディスプレイ106に表示された撮影画像を見ながら(ファインダーを見ながら)、シャッターボタンを操作してシャッターを切る。
【0040】
(7)変形例7
CPU101が、被写体2の3次元の形状を示すパラメーターを算出する方法は、空間コード法に限定されない。CPU101は、光切断法又は位相シフト法などによりパラメーターを算出してもよい。この場合、計測用映像は、それぞれの方法で用いられる映像パートにより構成される。
【0041】
(8)変形例8
図3のステップS9において、携帯電話機1は、パラメーターを外部装置に送信することなく、液晶ディスプレイ106に、3D画像を表示してもよい。別の例で、携帯電話機1は、撮影画像をサーバーに送信し、サーバーがパラメーターを算出してもよい。
【0042】
(9)その他
計測用映像Mは、静止画に限らず、動画であってもよい。
携帯電子機器は、携帯電話機に限定されない。携帯電子機器は、例えば、デジタルカメラ、プロジェクター、テレビジョンであってもよい。
投射ユニット104は、液晶プロジェクターに限定されない。投射ユニット104は、例えば、DLP(登録商標:Digital Light Processing)など他の方式のプロジェクターであってもよい。
【符号の説明】
【0043】
1…携帯電話機、11…投射部、12…撮影部、13…記憶部、14…判断部、15…算出部、16…送信部、17…表示部、18…受付部、19…駆動部、101…CPU、102…ROM、103…RAM、104…投射ユニット、1041…液晶パネル、1042…光源ランプ、1043…投射レンズ、1044…液晶駆動回路、105…撮影ユニット、1051…撮影レンズ、1052…CCD、1053…信号処理回路、106…液晶ディスプレイ、107…操作部、108…音声入出力部、109…通信部、110…モーター駆動回路、111…モーター、2…被写体、3…携帯電話機、31,32…パーツ、33…ヒンジ、40…アタッチメント部材
【特許請求の範囲】
【請求項1】
第1光学系を介して映像を被写体に投射する投射部と、
前記映像が投射された被写体を第2光学系を介して撮影する撮影部と、
前記撮影部により撮影された画像を記憶する記憶部と
を有し、
前記投射部は、第1の映像を被写体に投射し、
前記投射部が前記第1の映像を投射している場合において特定の条件が満たされたときに、前記投射部は、3次元の形状を示すパラメーターの算出に用いられる第2の映像を前記被写体に投射し、
前記撮影部は、前記第2の映像が投射された被写体を撮影し、
前記記憶部は、前記第2の映像が投射された被写体の画像を記憶する
携帯電子機器。
【請求項2】
前記第1光学系の光軸と前記第2光学系の光軸とが相対的に移動するように、前記投射部及び前記撮影部の少なくとも一方が移動する
ことを特徴とする請求項1に記載の携帯電子機器。
【請求項3】
第1面及び前記第1面と異なる第2面を有する筐体を有し、
前記投射部は、前記第1面に設けられ、
前記撮影部は、前記第2面に設けられている
ことを特徴とする請求項1又は2に記載の携帯電子機器。
【請求項4】
前記筐体は、第1のパーツと、当該第1のパーツにヒンジを介して連結された第2のパーツとを有し、
前記第1のパーツは、前記第1面を有し、
前記第2のパーツは、前記第2面を有する
ことを特徴とする請求項3に記載の携帯電子機器。
【請求項5】
前記記憶部により記憶された、前記第2の映像が投射された被写体の画像に基いて、前記被写体の3次元の形状を示すパラメーターを算出する算出部
を有する請求項1乃至4のいずれか一項に記載の携帯電子機器。
【請求項6】
前記算出部により算出されたパラメーターを外部装置に送信する送信部
を有する請求項5に記載の携帯電子機器。
【請求項7】
前記撮影部は、前記第1の映像が投射された被写体を撮影し、
前記撮影部により撮影された、前記第1の映像が投射された被写体の画像の決められた領域に前記第1の映像があるか否かを判断する判断部を備え、
前記特定の条件は、前記判断部により前記決められた領域に前記第1の映像があると判断されたこと
である請求項1乃至6のいずれか一項に記載の携帯電子機器。
【請求項8】
前記第1の映像が投射された被写体の画像を表示する表示部と、
前記第2の映像の投射を開始させるための要求を受け付ける受付部と
を備え、
前記撮影部は、前記第1の映像が投射された被写体を撮影し、
前記特定の条件は、前記表示部が、前記画像を表示しているときに、前記受付部が前記要求を受け付けたこと
である請求項1乃至6のいずれか一項に記載の携帯電子機器。
【請求項9】
前記投射部又は前記撮影部を駆動する駆動部
を有する請求項1乃至8のいずれか一項に記載の携帯電子機器。
【請求項10】
第1光学系を介して映像を被写体に投射する投射部と、
前記映像が投射された被写体を第2光学系を介して撮影する撮影部と、
前記撮影部により撮影された画像を記憶する記憶部と
を有する携帯電子機器の制御方法であって、
前記投射部が、第1の映像を被写体に投射する工程と、
前記投射部が前記第1の映像を投射している場合において特定の条件が満たされたときに、前記投射部が、3次元の形状を示すパラメーターの算出に用いられる第2の映像を前記被写体に投射する工程と、
前記撮影部が、前記第2の映像が投射された被写体を撮影する工程と、
前記記憶部が、前記第2の映像が投射された被写体の画像を記憶する工程と
を有する制御方法。
【請求項1】
第1光学系を介して映像を被写体に投射する投射部と、
前記映像が投射された被写体を第2光学系を介して撮影する撮影部と、
前記撮影部により撮影された画像を記憶する記憶部と
を有し、
前記投射部は、第1の映像を被写体に投射し、
前記投射部が前記第1の映像を投射している場合において特定の条件が満たされたときに、前記投射部は、3次元の形状を示すパラメーターの算出に用いられる第2の映像を前記被写体に投射し、
前記撮影部は、前記第2の映像が投射された被写体を撮影し、
前記記憶部は、前記第2の映像が投射された被写体の画像を記憶する
携帯電子機器。
【請求項2】
前記第1光学系の光軸と前記第2光学系の光軸とが相対的に移動するように、前記投射部及び前記撮影部の少なくとも一方が移動する
ことを特徴とする請求項1に記載の携帯電子機器。
【請求項3】
第1面及び前記第1面と異なる第2面を有する筐体を有し、
前記投射部は、前記第1面に設けられ、
前記撮影部は、前記第2面に設けられている
ことを特徴とする請求項1又は2に記載の携帯電子機器。
【請求項4】
前記筐体は、第1のパーツと、当該第1のパーツにヒンジを介して連結された第2のパーツとを有し、
前記第1のパーツは、前記第1面を有し、
前記第2のパーツは、前記第2面を有する
ことを特徴とする請求項3に記載の携帯電子機器。
【請求項5】
前記記憶部により記憶された、前記第2の映像が投射された被写体の画像に基いて、前記被写体の3次元の形状を示すパラメーターを算出する算出部
を有する請求項1乃至4のいずれか一項に記載の携帯電子機器。
【請求項6】
前記算出部により算出されたパラメーターを外部装置に送信する送信部
を有する請求項5に記載の携帯電子機器。
【請求項7】
前記撮影部は、前記第1の映像が投射された被写体を撮影し、
前記撮影部により撮影された、前記第1の映像が投射された被写体の画像の決められた領域に前記第1の映像があるか否かを判断する判断部を備え、
前記特定の条件は、前記判断部により前記決められた領域に前記第1の映像があると判断されたこと
である請求項1乃至6のいずれか一項に記載の携帯電子機器。
【請求項8】
前記第1の映像が投射された被写体の画像を表示する表示部と、
前記第2の映像の投射を開始させるための要求を受け付ける受付部と
を備え、
前記撮影部は、前記第1の映像が投射された被写体を撮影し、
前記特定の条件は、前記表示部が、前記画像を表示しているときに、前記受付部が前記要求を受け付けたこと
である請求項1乃至6のいずれか一項に記載の携帯電子機器。
【請求項9】
前記投射部又は前記撮影部を駆動する駆動部
を有する請求項1乃至8のいずれか一項に記載の携帯電子機器。
【請求項10】
第1光学系を介して映像を被写体に投射する投射部と、
前記映像が投射された被写体を第2光学系を介して撮影する撮影部と、
前記撮影部により撮影された画像を記憶する記憶部と
を有する携帯電子機器の制御方法であって、
前記投射部が、第1の映像を被写体に投射する工程と、
前記投射部が前記第1の映像を投射している場合において特定の条件が満たされたときに、前記投射部が、3次元の形状を示すパラメーターの算出に用いられる第2の映像を前記被写体に投射する工程と、
前記撮影部が、前記第2の映像が投射された被写体を撮影する工程と、
前記記憶部が、前記第2の映像が投射された被写体の画像を記憶する工程と
を有する制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2013−74477(P2013−74477A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−212172(P2011−212172)
【出願日】平成23年9月28日(2011.9.28)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願日】平成23年9月28日(2011.9.28)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
[ Back to top ]