撮像装置、同期制御方法、再生装置及び立体映像撮像システム
【課題】２台のカメラを用いて立体映像の処理を行う場合に、この処理のタイミングを正確に合わせること。
【解決手段】第１のカメラ１は、操作部１１と、垂直同期信号毎に第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御するカメラ制御部１３を有する。そして、第１のカメラ１は、第２のカメラ２が所定期間の経過後に指示された動作を開始するタイミング及び操作入力による指示を第２のカメラ２通知すると共に、操作入力がされた時点より所定期間の経過後に通知した動作を行う。これにより、第１のカメラ１及び第２のカメラ２は、操作入力によって指示される処理の開始又は停止を同時に行うことを可能とする。
【解決手段】第１のカメラ１は、操作部１１と、垂直同期信号毎に第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御するカメラ制御部１３を有する。そして、第１のカメラ１は、第２のカメラ２が所定期間の経過後に指示された動作を開始するタイミング及び操作入力による指示を第２のカメラ２通知すると共に、操作入力がされた時点より所定期間の経過後に通知した動作を行う。これにより、第１のカメラ１及び第２のカメラ２は、操作入力によって指示される処理の開始又は停止を同時に行うことを可能とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、例えば、２台のカメラが撮像した映像から立体映像（３Ｄ映像）を生成する場合に適用して好適な撮像装置、同期制御方法、再生装置及び立体映像撮像システムに関する。
【背景技術】
【０００２】
従来、ユーザの左右の眼の視差に合わせて設置される２台のカメラが撮像した同一の被写体の映像を用いて、ユーザが立体視することができる立体映像（３Ｄ映像）を生成する技術がある。立体映像を撮像するためには、２台のカメラの動作を合わせて、映像記録の開始若しくは停止、又は映像再生の開始若しくは停止（以下、単に「処理の開始又は停止」と呼ぶ。）を行っていた。
【０００３】
特許文献１には、ビデオカメラに複数台のビデオテープレコーダを直列に接続し、記録用信号が伝送される第１のコネクタと、状態確認信号のリターンが伝送される第２のコネクタが双方向に接続される技術について開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１６３６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来の立体映像撮像システムでは、２台のカメラ間で互いに動作を制御する連携機能を有していなかった。このため、ユーザが２台のカメラに対してそれぞれ操作入力を行っても、操作入力のタイミングがずれることにより、２台のカメラが同時に処理の開始又は停止を行うことはできなかった。ここで、２台のカメラで行われる処理の開始又は停止のタイミングは、カメラ毎に撮像し、又は再生する映像信号の処理フレームが厳密に合っていなければ、立体視して再生される映像に違和感が生じ、立体映像として不完全なものとなる。このため、撮像した後に、２台のカメラが生成したそれぞれのクリップファイルに付されるタイムコード等を用いて別途処理フレームの開始又は停止タイミングを合わせる作業が必要であった。
【０００６】
また、上記の特許文献１には、複数台のビデオテープレコーダに状態を確認させながら連続して処理を実行する技術が開示されているが、この技術はあくまでもビデオテープレコーダを連携して動作させる場合に用いられるにすぎない。このため、立体映像を撮像するために２台のカメラを用いる場合には、映像の記録又は再生を厳密に制御することは考慮されていない。
【０００７】
本開示はこのような状況に鑑みて成されたものであり、２台の撮像装置を用いて立体映像の処理を行う場合に、この処理のタイミングを正確に合わせることを目的とする。
【課題を解決するための手段】
【０００８】
本開示に係る撮像装置は、操作入力により動作を指示し、レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御する。また、撮像素子が発生させる垂直同期信号の発生回数を第１の処理フレームのフレーム数として計数する。また、制御信号を伝送する制御ラインで撮像装置に接続される他の撮像装置であって、他の撮像装置が有する第２の撮像素子が発生させ、他の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数を求める。ここで、第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出する。そして、第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、他の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び操作入力による指示を他の撮像装置に通知する。これと共に、操作入力がされた時点より所定期間の経過後に通知した動作を行うと共に、操作入力がされた時点より所定期間の経過後に通知した動作を行うものである。
【０００９】
このようにしたことで、２台の撮像装置間で所定期間の経過後に指示された動作を開始するタイミングで操作入力による指示を行うことが可能となった。
【発明の効果】
【００１０】
本開示によれば、第１の撮像装置は、他の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び操作入力による指示を他の撮像装置に通知すると共に、操作入力がされた時点より所定期間の経過後に通知した動作を行う。これにより、２台の撮像装置を用いて立体映像を処理する場合に、操作入力によって指示される動作を同時に行うことが可能となり、処理の開始又は停止の精度を高めることができる。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施の形態における立体映像撮像システムの外部構成例を示すブロック図である。
【図２】本開示の一実施の形態における立体映像撮像システムの内部構成例を示すブロック図である。
【図３】本開示の一実施の形態における第１のカメラ及び第２のカメラが互いに処理動作のタイミングを制御する例を示すタイムチャートである。
【図４】本開示の一実施の形態における第１のカメラの処理例を示すフローチャートである。
【図５】本開示の一実施の形態における同期制御部が行うカメラ制御部のインタフェースの処理例を示すフローチャートである。
【図６】本開示の一実施の形態における同期制御部が行うユーザインタフェース制御部のインタフェースの処理例を示すフローチャートである。
【図７】本開示の一実施の形態における同期制御部が行う送受信制御部のインタフェースの処理例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、発明を実施するための形態（以下、実施の形態とする。）について説明する。なお、説明は以下の順序で行う。
１．一実施の形態（２台のカメラの同期制御：立体映像撮像システムの例）
２．変形例
【００１３】
＜１．一実施の形態＞
［２台のカメラの同期制御の例］
【００１４】
以下、本開示の一実施の形態について、添付図面を参照して説明する。本実施の形態では、２台のカメラ（撮像装置）を用いて処理の開始又は停止のタイミングを同期した上で立体映像を撮像する立体映像撮像システム１０に適用した例（以下、「本例」という。）について説明する。この立体映像撮像システム１０では、２台のカメラの処理の開始又は停止の同期を制御する同期制御方法が用いられる。
【００１５】
図１は、立体映像撮像システム１０の外部構成例を示す。
立体映像撮像システム１０は、１秒間に同一のフレーム数で同一の画サイズの２次元映像を撮像する撮像装置として第１のカメラ１及び第２のカメラ２を備える。第１のカメラ１及び第２のカメラ２は、共通するライン端子を備える。そして、第１のカメラ１及び第２のカメラ２は、このライン端子に接続され、シリアル通信が可能な同期制御ライン３によって、互いに映像の記録又は再生等の処理をフレーム単位で同期する制御を行う同期制御信号を通信パケットに入れて送受信できる。
【００１６】
また、第１のカメラ１及び第２のカメラ２は、ユーザがそれぞれ操作入力により各部に動作を指示する操作部１１を備える。操作部１１には、例えば、カメラ本体にある操作スイッチ（録画ボタン、再生ボタン等）や不図示のリモートコントローラ、プッシュボタン、トグルスイッチ、タッチパネルディスプレイ等が用いられる。
【００１７】
また、立体映像撮像システム１０は、第１のカメラ１及び第２のカメラ２から入力した映像信号を３Ｄの立体映像信号に変換する信号変換装置４を備える。信号変換装置４は、２Ｄ又は３Ｄで映像を表示することが可能な表示装置５に２Ｄ又は３Ｄの映像信号を出力する。
【００１８】
信号変換装置４は、第１のカメラ１及び第２のカメラ２からＥＥ（Electric to Electric Mode）映像信号又はＰｌａｙ映像信号を受け取る。ＥＥ映像信号とは、第１のカメラ１及び第２のカメラ２が撮像した２Ｄの映像信号をそのまま２Ｄの平面映像として表示することを表示装置５に指示する信号である。すなわち、第１のカメラ１及び第２のカメラ２が出力した映像信号を、ＨＤＤ等の記録部を経由することなく、表示装置５に対する出力として直接取り出される信号である。Ｐｌａｙ映像信号とは、第１のカメラ１及び第２のカメラ２が再生した２Ｄの映像信号を３Ｄの立体映像として表示することを表示装置５に指示する信号である。
【００１９】
そして、信号変換装置４は、第１のカメラ１及び第２のカメラ２から入力した２Ｄの映像信号を３Ｄの映像信号として１つにまとめた通信パケットを表示装置５に出力する。そして、表示装置５が２Ｄの映像を表示する２Ｄ表示モードに設定されている場合には、第１のカメラ１及び第２のカメラ２から入力する映像信号を選択し、左右映像のうちどちらかを選択した映像を２Ｄの平面映像として表示する。一方、表示装置５が立体映像を表示する３Ｄ表示モードに設定されている場合には、３Ｄの立体映像として表示する。
【００２０】
第１のカメラ１及び第２のカメラ２は、立体映像の撮像時に設置台（ＲＩＧ）６に設置される。一般に、第１のカメラ１及び第２のカメラ２のズームを１倍とし、レンズの間隔を人間の眼に合わせて第１のカメラ１及び第２のカメラ２を配置する。このとき撮像した２Ｄ映像を合わせた立体映像は自然な立体物としてユーザが視認できることが知られている。
【００２１】
しかし、筐体が大きな第１のカメラ１及び第２のカメラ２を水平方向に並べると人間の目の幅より広い視差で被写体を撮像してしまい、ユーザが視認する立体映像に違和感が生じてしまう。このため、ハーフミラー７を備えた設置台６に第１のカメラ１及び第２のカメラ２を設置する。このＴき、被写体の像光がハーフミラー７を介して直接入力する位置に第１のカメラ１を配置し、被写体の像光がハーフミラー７に反射して入力する位置に第２のカメラ２を配置する。これにより、第１のカメラ１及び第２のカメラ２が備えるレンズの光軸が垂直に交わるように、第１のカメラ１及び第２のカメラ２が設置される。
【００２２】
図２は、立体映像撮像システム１０の内部構成例を示す。
第１のカメラ１と第２のカメラ２は、共に同じ機能ブロックを有する。このため、以下の説明では、第１のカメラ１の内部構成例について説明する。以下の説明では、第１のカメラ１の処理を説明するため、第１のカメラ１を「自機」と呼び、第２のカメラ２を「他機」と呼ぶ場合がある。
【００２３】
第１のカメラ１は、操作部１１からの操作入力を受け付けるユーザインタフェース制御部１２と、撮像動作を制御するカメラ制御部１３と、ＲＡＭ１４を備える。ユーザインタフェース制御部１２は、操作部１１がタッチパネルディスプレイである場合には、グラフィカルユーザインターフェース（ＧＵＩ：Graphical User Interface）を画面上に表示する。また、不図示の記録部に記録された映像の再生を制御する再生制御部１５と、映像を記録部に記録する際の制御を行う記録制御部１６を備える。また、撮像動作や映像の再生又は記録を第２のカメラ２の処理と同期して行うように第２のカメラ２の動作を制御する同期制御部１７を備える。また、各種のカウンタ値を記憶するＲＡＭ１８と、同期制御ライン３を伝送する通信パケットの送受信を制御する送受信制御部１９を備える。
【００２４】
ユーザインタフェース制御部１２は、操作部１１が備える不図示のボタンによる操作入力の受付処理、不図示のリモートコントローラから受け取る操作入力の受付処理、無線ＬＡＮ等のリモートによる操作入力の受付処理を行う。また、タッチパネル等のグラフィカルユーザインターフェースから入力された操作入力による指示等を処理し、各種のメニューやメッセージをタッチパネルディスプレイ等に表示する処理を行う。さらに、ユーザインタフェース制御部１２は、操作部１１から受け付けた操作入力による指示を同期制御部１７に通知する。
【００２５】
カメラ制御部１３は、不図示のレンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に第１の処理フレームで映像信号を出力する不図示の第１の撮像素子を有する撮像部の動作を制御する撮像制御部として用いられる。なお、第２のカメラ２は、第２の撮像素子を有する撮像部を有する。ここで、カメラ制御部１３は、不図示のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子、映像処理プロセッサ、レンズ等が含まれる光学系駆動部の駆動を制御する。また、カメラ制御部１３は、撮像素子が出力する映像信号を画素単位で補正したり、光学系駆動部に対してオートフォーカス処理やオートホワイトバランス処理等の制御を行ったりする。
【００２６】
ＲＡＭ１４には、カメラ制御部１３から得たフレーム毎の垂直同期信号が発生した数を計数する垂直同期信号カウンタ２０により、処理フレームのフレーム数として用いられる垂直同期信号カウンタ値が書き込まれる。この垂直同期信号カウンタ２０は、撮像素子が発生させる垂直同期信号の発生回数を第１の処理フレームのフレーム数として計数する計数部として用いられる。そして、垂直同期信号カウンタ２０は、撮像時にカメラ制御部１３が制御する撮像素子から割り込まれる垂直同期信号の数を計数しており、ＲＡＭ１４は、垂直同期信号カウンタ２０によって書き込まれた垂直同期信号の数を記憶する。
【００２７】
再生制御部１５は、不図示の記録メディアに対するクリップファイルの書込み、読出し等のアクセス処理、クリップ情報の処理やクリップファイルのデコード処理の制御等を行う。第１のカメラ１は、１回の記録開始から停止までに撮像した映像信号が含まれる映像ファイルを「クリップ」という単位で管理しており、クリップファイル毎に記録メディアに対して書き込み又は読み出すことが可能である。記録制御部１６は、記録メディアに対するアクセス処理、クリップファイルの生成処理、削除されたクリップファイルを復元するサルベージ処理や映像信号のエンコード処理の制御等を行う。
【００２８】
同期制御部１７は、第２のカメラ２に以下の通知を行う。制御信号を伝送する同期制御ライン３で接続される他の撮像装置である第２のカメラ２であって、第２のカメラ２が有する第２の撮像素子が発生させ、第２のカメラ２から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数を受ける。そして、同期制御部１７は、第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出する。さらに、同期制御部１７は、第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、第２のカメラ２が所定期間の経過後に指示された動作を開始するタイミング及び操作入力による指示を第２のカメラ２に通知する。このとき、第１のカメラ１は、操作入力がされた時点より所定期間の経過後に通知した動作を行う。
【００２９】
また、同期制御部１７は、第１の処理フレームの垂直同期信号と第２の処理フレームの垂直同期信号が発生するタイミングを予め合わせておく。ここで、第２のカメラ２が第２の処理フレームの間に挿入されている垂直同期信号の発生回数を第２の処理フレームのフレーム数として計数する。このとき、第２の撮像素子が垂直同期信号を発生させる度に第２のカメラ２から受け取った第２の処理フレームのフレーム数と、第１の処理フレームのフレーム数との間で算出したフレーム数の差分値が複数のフレーム期間で一定であるか求める。そして、差分値が複数のフレーム期間で一定である場合には、算出した第２の処理フレームのフレーム数に複数のフレーム期間を加えたフレーム数を第２のカメラ２が動作を開始するタイミングとして第２のカメラ２に通知する。このような制御により、第１のカメラ１は、第２のカメラ２が指示される動作を開始するタイミングを制御する。なお、操作部１１の操作入力によって「指示される動作」には、撮像の開始若しくは停止又は映像再生の開始若しくは停止のいずれかが含まれ、第１及び第２の処理フレームには、撮像フレーム又は再生フレームのいずれかが含まれる。
【００３０】
このように同期制御部１７は、第１のカメラ１及び第２のカメラ２の間における垂直同期信号のカウンタ値の差分を求めたり、動作指示のタイミングを第２のカメラ２と同期して行わせたりする制御を行う。なお、同期制御部１７が行う処理の詳細については後述するものの、図４〜図７のフローチャートに示す処理は全て同期制御部１７が行うことになる。
【００３１】
また、同期制御部１７は、カメラ制御部１３に対してデータを送受信するインタフェースを持っており、送受信制御部１９に対する送受信制御部インタフェース処理を行う。この処理は、送受信制御部１９に対するインタフェースを担当するモジュールによって行われる。ＲＡＭ１８は、第１のカメラ１及び第２のカメラ２が互いに受け取った垂直同期信号のカウンタ値、第１のカメラ１が行う動作指示や動作指示の開始のトリガとなる垂直同期信号のカウンタ値等を記憶する。
【００３２】
送受信制御部１９は、通信パケットの送信受付処理、通信パケットを第２のカメラ２に送る処理、通信パケットを規定の通信プロトコルに合わせて変換する処理、ライン端子等を含む通信デバイスの制御処理等を行う。同期制御部１７は、処理の開始又は停止のタイミングを同期するために実行する処理フレームの開始タイミング（本例では、垂直同期信号カウンタ値の発生回数に基づく。）を計算する。そして、送受信制御部１９が第２のカメラ２に行う動作を指示する制御データと処理フレーム数を第２のカメラ２に送ることを依頼する。
【００３３】
第１のカメラ１は、第２のカメラ２に対してゲンロックを行うことによって、第１のカメラ１及び第２のカメラ２の処理フレームを事前に同期する。この同期は、垂直同期信号の発生タイミングで行われており、この同期タイミングのズレ量は約１ライン程度の時間内に収まるよう同期制御部１７が制御する。本例では、第１のカメラ１をメインとし、第２のカメラ２をサブとする主従関係による制御が行われ、第１のカメラ１の指示により、第１のカメラ１の処理フレームに合わせて、第２のカメラ２の処理フレームの同期が制御される。
【００３４】
上述したように、第１のカメラ１及び第２のカメラ２の処理フレームの開始タイミングはゲンロックにより同期される。そして、第１のカメラ１及び第２のカメラ２は、各カメラで動作するソフトウェアプログラムがそれぞれ計数した垂直同期信号カウンタ値の差分値を検出する。ここで、垂直同期信号は処理フレームが開始するタイミングで現れており、第１のカメラ１の同期制御部１７は、この差分値によって第２のカメラ２が動作する処理フレームのフレーム数を把握する。このため、メインとなる第１のカメラ１は、ユーザの操作入力による処理の開始又は停止を行うための動作指示を受け取ると、１〜数フレーム後のタイミングで、第１のカメラ１と同時に処理の開始又は停止を行うように第２のカメラ２の動作を制御する。このようにして、第１のカメラ１は、第２のカメラ２の処理のタイミングを第１のカメラ１の処理のタイミングであるフレーム毎に合わせる同期制御を行っている。
【００３５】
カメラ間で伝送される通信パケットは、コマンドの種類を示す“Ｋフィールド（４バイト）”と、データ長を示す（４バイト）“Ｌフィールド”と、データの内容を示す“Ｖフィールド（最大６４バイト）”で構成される。Ｋフィールドには、同期を指示するデータが格納され、Ｖフィールドには、自機が行う処理の開始又は停止を示すデータ内容が格納される。例えば、Ｋフィールドに垂直同期信号カウンタ値の通知を示すデータが含まれると、Ｖフィールドには、自機の垂直同期信号カウンタ値が含まれる。また、Ｋフィールドにクリップファイルのフォーマットを通知する情報が含まれると、Ｖフィールドには、映像の画サイズ、フレームレート、ビットレートを示す情報が含まれる。
【００３６】
同期制御ライン３を介して通信パケットを送受信することで、ソフトウェアプログラムの制御による第１のカメラ１及び第２のカメラ２は、互いにフレーム毎にタイミングを合わせて処理を行うことが可能となる。このため、同じタイミングで撮像された映像の記録を開始し又は停止する動作をフレーム毎に合わせて同時に行ったり、同一フォーマットのコンテンツをフレーム毎に合わせて同時に再生し又は停止する処理が可能となる。
【００３７】
なお、第１のカメラ１及び第２のカメラ２は、映像を同期して再生する再生装置としても用いられる。この場合、同期制御ライン３で接続される他の再生装置として第２のカメラ２が用いられる。このとき、垂直同期信号カウンタ２０は、第２のカメラ２の再生制御部１５が再生する映像信号の第１のフレームの間に挿入される垂直同期信号の発生回数を、第２のカメラ２が第２の処理フレームのフレーム数として計数する。次に、第２のカメラ２が有する撮像素子が発生させ、第２のカメラ２から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数を求める。この発生回数と、第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出する。そして、第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、第２のカメラ２が所定期間の経過後に指示された動作を開始するタイミング及び操作入力による指示を第２のカメラ２に通知する。このとき、第１のカメラ１は、動作を開始するタイミング及び操作入力による指示を第２のカメラ２に通知すると共に、操作入力がされた時点より所定期間の経過後に通知した動作を行う。なお、操作部１１の操作入力によって指示される動作には、撮像の開始若しくは停止のいずれかが含まれ、第１及び第２の処理フレームには、撮像フレーム又は再生フレームのいずれかが含まれる。
【００３８】
図３は、第１のカメラ１によって第２のカメラ２動作タイミングが制御される例を示すタイミングチャートである。
図３Ａは、第１のカメラ１及び第２のカメラ２の同期を制御していない状態におけるタイミングチャートの例を示す。
第１のカメラ１及び第２のカメラ２は、それぞれ異なるタイミングで発生した垂直同期信号を開始のタイミングを合わせるために利用し、隣り合う垂直同期信号の期間内で定まる処理フレームに基づいて撮像又は再生の処理を行う。第１のカメラ１及び第２のカメラ２は、同じフレームレートの処理フレームで動作するが、例えば、ユーザが各カメラの操作部１１を操作して電源をオンしたタイミングは厳密に合わせることが困難であり、処理フレームが立ち上がるタイミングが異なる。このため、従来のように処理フレームが開始したタイミングが異なったまま被写体を撮像すると、撮像後に処理の開始又は停止を合わせる作業が必要であった。
【００３９】
図３Ｂは、第１のカメラ１の処理フレームに基づいてゲンロックされた第２のカメラ２の処理フレームの例を示す。
本例では、第１のカメラ１の処理フレームの開始タイミングに第２のカメラ２の処理フレームの開始タイミングを合わせる制御を行っており、第１のカメラ１の垂直同期信号を処理フレームの開始タイミングを合わせる同期信号として用いている。そして、第２のカメラ２は、同期制御ライン３を介して第１のカメラ１から伝送される同期制御信号により処理フレームのゲンロックを行う。なお、第１のカメラ１及び第２のカメラ２は同じ構成としたカメラであるので、第２のカメラ２の処理フレームを同期信号として利用して第１のカメラ１の処理フレームをゲンロックすることも可能である。
【００４０】
ここで、第１のカメラ１及び第２のカメラ２の処理フレームの開始タイミングを合わせる処理について説明する。
始めに、第１のカメラ１は、処理フレームの最初のタイミングとして垂直同期信号が発生した瞬間に、計数した垂直同期信号カウンタ値を、同期制御ライン３を経由して第２のカメラ２に通知する。この垂直同期信号カウンタ値は、処理フレームのカウンタ値カウンタ値として用いられる
【００４１】
同様に、第２のカメラ２は、処理フレームの最初のタイミングとして垂直同期信号が発生した瞬間に、計数した垂直同期信号カウンタ値を、同期制御ライン３を経由して第１のカメラ１に通知する。図３Ｂでは、説明の便宜のため、第１のカメラ１の垂直同期信号カウンタ値をｎ，ｎ＋１，…と数え、第２のカメラ２の垂直同期信号カウンタ値をｍ，ｍ＋１，…と数える。
【００４２】
第１のカメラ１及び第２のカメラ２は、互いに１フレームの期間内に垂直同期信号カウンタ値を通知し合う。この動作は、数フレームにわたって行われる。そして、第１のカメラ１の同期制御部１７は、第１のカメラ１の垂直同期信号カウンタ値から、数フレームにわたって取得した第２のカメラ２の垂直同期信号カウンタ値を減じた差分値Δを求める。本例では、差分値Δ＝ｎ−ｍとして値が求まり、複数フレームにわたって求めた差分値Δが連続して同じ値である場合に、差分値Δが平均値として求まる。
【００４３】
ここで、第２のカメラ２の（ｍ＋３）フレーム目のように、（ｍ＋３）フレームのカウンタ値が、第１のカメラ１の同じ（ｍ＋３）フレーム内で通知されず、次の（ｍ＋４）フレームで通知される場合がある。例えば第１の処理フレームの期間内に第１の処理フレームのフレーム数を第２のカメラ２に通知できない場合、又は第２のカメラ２から第１の処理フレームの期間内に第２の処理フレームのフレーム数を受け取ることができない場合がある。このとき、第１のカメラ１の同期制御部１７は、第１の処理フレームに続くフレーム期間にわたって第１の処理フレームのフレーム数を第２のカメラ２に通知する。あるいは、第１のカメラ１は、第２のカメラ２から第２の処理フレームのフレーム数を受け取る。これにより、第１のカメラ１及び第２のカメラ２は、互いに確実に処理フレームのフレーム数を通知することができる。
【００４４】
図３Ｂに示すように、同期制御部１７は、所定の回数以上にわたって求めた同じ差分値Δとは異なる第２の差分値Δ′を所定の回数未満にわたって求めた場合に、第２の差分値Δ′を破棄する。図３Ｂの例では、第２の差分値Δ′は、Δ′＝（ｎ＋４）−（ｍ＋３）＝ｎ−ｍ＋１として求められる。このように、突発的に平均値から外れた第２の差分値Δ′については破棄される。このようにして、第１のカメラ１の同期制御部１７は、第１のカメラ１の処理フレームに対して第２のカメラ２の処理フレームがどれだけずれているかを差分値Δによって把握できる。
【００４５】
図３Ｃは、第１のカメラ１及び第２のカメラ２が実際に処理の開始又は停止を行うタイミングの例を示す。
図３Ｂに示したように、第１のカメラ１の同期制御部１７は、差分値Δを把握している。ここで、図３Ｃでは、説明の便宜のため、第１のカメラ１の処理フレームをｘ，ｘ＋１，…と数え、第２のカメラ２の処理フレームをｙ，ｙ＋１，…と数える。
【００４６】
そして、同期制御部１７は、（ｘ＋５）フレーム目から処理の開始又は停止を行う場合に、第２のカメラ２に対して、（ｘ＋５−Δ）フレームのカウンタ値を、（ｙ＋５）フレームのカウンタ値に上書きする指示を行う。このとき、第２のカメラ２の同期制御部１７は、（ｙ＋５）フレームのカウンタ値を（ｘ＋５−Δ）フレームのカウンタ値に書き換える。これにより、第１のカメラ１及び第２のカメラ２は、同じフレームのカウンタ値として図中に星印で示される同じタイミングで処理の開始又は停止を行うことができる。
【００４７】
次に、立体映像撮像システム１０の処理例として、特に同期制御部１７の処理例を図４〜図７を参照して説明する。なお、本例では、第１のカメラ１をメインとして用いるため、同期制御部１７について説明するが、第２のカメラ２をメインとして用いた場合であっても、第２のカメラ２は、以下に説明する同期制御部１７と同様の処理を行うことが可能である。
【００４８】
図４は、第１のカメラ１の処理例を示す。
始めに、第１のカメラ１及び第２のカメラ２のライン端子に同期制御ライン３が接続されると、ユーザによって行われる不図示のメニュー画面を用いた操作部１１の操作入力により、同期制御ラインモードがオンされる（ステップＳ１）。同期制御ラインモードがオンされると、第１のカメラ１がメイン、第２のカメラ２がサブとする主従関係の下、第１のカメラ１及び第２のカメラ２の間で映像の撮像処理又は映像の再生処理をカメラ毎の処理フレームで同期して行うことが可能となる。一方、同期制御ラインモードがオフされると、各カメラは独立して動作するため、互いに影響を与えない。
【００４９】
次に、第１のカメラ１及び第２のカメラ２は、同期制御ライン３を介し、互いに垂直同期信号カウンタ値をシリアル通信により通知し合う（ステップＳ２）。次に、第１のカメラ１の同期制御部１７は、自機の垂直同期信号カウンタ値と第２のカメラ２から受け取った垂直同期信号カウンタ値の差分を検出する。このとき、第１のカメラ１は、同じ差分値がＮフレーム連続したら確定する（本例では、５フレーム）（ステップＳ３）。
【００５０】
次に、第１のカメラ１が操作部１１に受けた入力操作に伴い発生した操作信号により処理の開始又は停止の指示を受ける。この指示により、第１のカメラ１は、第２のカメラ２に指示するために要する通信時間を考慮して、数フレーム後における処理フレームのカウンタ値を指定して、第２のカメラ２に動作の指示を送る（ステップＳ４）。図３に示したタイミングチャートでは、５フレーム後に実行することが示される。
【００５１】
このようにして、第１のカメラ１及び第２のカメラ２は、同じタイミングで発生した垂直同期信号のタイミングに合わせて、同じ動作を行う（ステップＳ５）。これにより、ユーザは、第１のカメラ１を操作するだけで、同じ動作を第２のカメラ２に行わせることができる。
【００５２】
次に、図５〜図７を参照して、同期制御部１７が行う各部に対するインタフェースの処理例を説明する。以下の説明では、同期制御部１７が各制御部との間でデータの入出力を行う処理を「インタフェースの処理」と呼ぶ。
【００５３】
図５は、同期制御部１７が行うカメラ制御部１３のインタフェースの処理例を示す。
始めに、同期制御部１７は、撮像素子が発生する垂直同期信号の割り込みを待つ（ステップＳ１１）。垂直同期信号の割り込みが発生すると、垂直同期信号カウンタ２０がＲＡＭ１４に垂直同期信号カウンタ値を書き込む。そして、同期制御部１７は、垂直同期信号カウンタをＲＡＭ１４から取得する（ステップＳ１２）。
【００５４】
垂直同期信号カウンタ値は、第１のカメラ１を電源オンした後、垂直同期信号カウンタ２０によって“０”から“２５５”まで繰り返しカウントアップされる。なお、垂直同期信号カウンタ２０が計数を開始した時点における垂直同期信号カウンタ値はランダムな値をとる。また、第１のカメラ１及び第２のカメラ２の同期が安定していれば、差分値Δは固定値であり、その都度、動作を開始する時点における垂直同期信号カウンタ値の絶対値を計算している。このため、垂直同期信号カウンタ値そのものを“０”にリセットする必要がない。
【００５５】
次に、同期制御部１７は、ＲＡＭ１４から読み出した垂直同期信号カウンタ値を第２のカメラ２に送信する（ステップＳ１３）。垂直同期信号カウンタ値を送信する処理は、カメラ制御部１３のインタフェースを処理するモジュールが行う。そして、同期制御部１７が送受信制御部１９へ送信を依頼することによって送信処理が行われる。
【００５６】
次に、同期制御部１７は、自機の垂直同期信号カウンタ値が、第２のカメラ２が動作を開始する時点における垂直同期信号カウンタ値と等しいか否かを判断する（ステップＳ１４）。等しい場合に同期制御部１７は、再生制御部１５又は記録制御部１６に対して映像の再生指示又は記録指示を行う（ステップＳ１５）。異なる場合に同期制御部１７は、何も処理を行わず、処理を終了する。
【００５７】
図６は、同期制御部１７が行うユーザインタフェース制御部１２のインタフェースの処理例を示す。
始めに、同期制御部１７は、ユーザの操作入力により発生する操作信号からなる動作指示を待つ（ステップＳ２１）。ただし、ユーザからの動作指示は、処理フレームのどのタイミングで来るかが不定である。このため、同期制御部１７は動作指示を受けた後、垂直同期信号が発生するタイミングである処理フレームの先頭から指示された動作を開始できるように、第２のカメラ２との間で垂直同期信号が同じタイミングで発生するようにゲンロックを行っている。
【００５８】
また、第１のカメラ１は、第２のカメラ２に対して操作信号を送ることにより、操作部１１によって操作入力された動作指示を通知する。ただし、第２のカメラ２に操作信号が到着するタイミングは定かでなく、実際にどのタイミングで動作が行われるか不明である。そこで、第１のカメラ１及び第２のカメラ２は、互いに垂直同期信号カウンタ２０が計数する垂直同期信号カウンタ値から差分値Δを予め求めている。これにより、差分値Δを考慮した上で第１のカメラ１及び第２のカメラ２が同期して動作を開始することが可能な垂直同期信号カウンタ値を計算している。
【００５９】
次に、第１のカメラ１の同期制御部１７は、第２のカメラ２から受け取った垂直同期信号カウンタ値によって確定した差分値Δから、第２のカメラ２が動作を開始する時点における垂直同期信号カウンタ値を計算する（ステップＳ２２）。また、第１のカメラ１の同期制御部１７は、ステップＳ２２の処理と並行して、第１のカメラ１が動作を開始する時点における垂直同期信号カウンタ値を計算する（ステップＳ２３）。
【００６０】
ステップＳ２１の次工程において、ステップＳ２３に分岐した破線は、第１のカメラ１がサブとなった場合に実行さえる処理を意味する。この処理は、操作部１１から受け取る動作指示のパラメータが自機のカウンタ値なのか、他機のカウンタ値なのかによって実行する処理が変わるためである。そして、同期制御部１７は、動作指示が行われる操作信号や動作を開始する時点における垂直同期信号カウンタ値を第２のカメラ２へ送信し（ステップＳ２４）、処理を終了する。
【００６１】
図７は、同期制御部１７が行う送受信制御部１９のインタフェースの処理例を示す。
始めに、第１のカメラ１の同期制御部１７は、送受信制御部１９から受け取る垂直同期信号カウンタ値の受信を待つ（ステップＳ３１）。第２のカメラ２から垂直同期信号カウンタ値が受信されなければ処理を終了する。
【００６２】
一方、送受信制御部１９が第２のカメラ２から垂直同期信号カウンタ値を受信すると（ステップＳ３２）、送受信制御部１９は、ＲＡＭ１８に垂直同期信号カウンタ値を書き込む。その後、同期制御部１７は、ＲＡＭ１８から垂直同期信号カウンタを取得する（ステップＳ３３）。そして、同期制御部１７は、ＲＡＭ１４から読み出した自機の垂直同期信号カウンタ値とＲＡＭ１８から読み出した第２のカメラ２の垂直同期信号カウンタ値の差分値Δを計算する（ステップＳ３４）。
【００６３】
同期制御部１７は、１フレームごとに差分値Δを計算しており、最新の差分値Δは、ステップＳ３４にて計算される。以下の説明において、同期制御部１７が１フレーム前に計算した差分は、１フレーム前の垂直同期信号カウンタ値によって求まる値であるため、「前回差分」と呼び、ステップＳ３４にて計算した差分値Δを「今回差分」と呼ぶ。そして、同期制御部１７は、今回差分が前回差分に等しいか否かを判断する（ステップＳ３５）。そして、同期制御部１７は、差分値Δが複数回にわたって一定値であるか否かを判断するため、ＲＡＭ１４には、今回差分と前回差分が等しかった場合にこの回数を加算する差分確定カウンタ値を書き込む（ステップＳ３６）。
【００６４】
そして、同期制御部１７は、差分値Δが差分確定カウンタ値を増加することのできる値であるか、第２の差分値Δ′に相当する異常値であるかを判断する（ステップＳ３７）。異常値である場合には処理を行わない。一方、差分値Δが差分確定カウンタ値を増加することのできる値であれば、次処理のステップＳ３８により、前回差分を確定差分に上書きする処理が行われる。
【００６５】
本例では、垂直同期信号カウンタ値の差分値Δを確定するために、差分確定カウンタ値を用いている。例えば、上述した図３Ｃに示したように、同期制御ライン３を伝送される通信パケットが遅延した場合には、今回差分と前回差分が異なる場合がある。このような場合に今回差分として求めた差分値Δを破棄できるようにするため、Ｎ回（本例では、５回）連続して今回差分と前回差分が同じ値とならない場合、正しい差分値Δと見なさない制御を行う。
【００６６】
ここで、同期制御部１７は、差分値Δが変わった際に、変わった差分値Δを一旦「前回差分」としてＲＡＭ１４に書き込んでおく。その後、同じ差分値Δが求められると、ＲＡＭ１４内の差分確定カウンタ値を１増やす。さらに、連続して今回差分と前回差分が同じ値となる場合には、その度に差分確定カウンタ値を増やし続ける。このようにして、Ｎフレームにわたって今回差分と前回差分が同じ値となる場合に、上述した差分値Δで表される「確定した差分値」が求まる（ステップＳ３８）。さらに、Ｎ回連続して今回差分と前回差分が同じ値となる場合には、差分確定カウンタ値である“Ｎ”の値を差分確定カウンタ値に上書きして処理を終了する（ステップＳ３９）。なお、“Ｎ”の値は、今回差分と前回差分が同じ値となる度に増えていく。
【００６７】
ステップＳ３５の処理において、前回差分が今回差分と異なる場合には、ＲＡＭ１４に書き込まれている前回差分を今回差分で更新した上で（ステップＳ４０）、差分確定カウンタ値を初期値“１”に書き換える（ステップＳ４１）。その後、ステップＳ３１〜Ｓ３９の処理を繰り返して、今回差分で示した値が確定差分Δとなるか求める。
【００６８】
なお、第１のカメラ１がサブとして設定され、第２のカメラ２がメインとして設定される場合がある。このとき、第１のカメラ１の送受信制御部１９は、第２のカメラ２から操作信号を受け取り、第１のカメラ１の同期制御部１７は、第２のカメラ２によって指示される動作を解釈する（ステップＳ４２）。さらに、第１のカメラ１の送受信制御部１９は、第２のカメラ２から動作を開始する時点における垂直同期信号カウンタ値を受信し（ステップＳ４３）、この垂直同期信号カウンタ値を第１のカメラ１のＲＡＭ１８に書き込む。そして、ステップＳ４３の処理に並行して、第１のカメラ１の同期制御部１７は、確定した差分値から自機の動作を開始する時点における垂直同期信号カウンタ値を計算し（ステップＳ４４）、第２のカメラ２によって制御された動作を行う。
【００６９】
以上説明した一実施の形態に係る立体映像撮像システム１０によれば、主従関係を有する第１のカメラ１及び第２のカメラ２を用いて、互いに垂直同期信号の発生タイミングを合わせた上で、垂直同期信号カウンタ値の差分値Δを求めている。そして、この差分値Δを考慮した上で実際に処理の開始又は停止が行われるフレーム数を定めて、このフレーム数に至った時点で処理の開始又は停止を同時に行うことができる。このとき、ユーザは、例えば、メインとなる第１のカメラ１の操作部１１に対して操作入力を行うだけで、第２のカメラ２は第１のカメラ１と同じ動作をする。これにより、２台のカメラの処理の開始又は停止を処理フレームの開始タイミングに合わせて厳密に制御することができる。
【００７０】
また、処理フレームの開始タイミングを映像信号の垂直同期信号の発生タイミングに合わせたことにより、処理フレーム毎の動作を正確に合わせることができる。こんとあめ、被写体を撮像した後、処理フレームを合わせ込む作業が不要となり、編集作業が効率化する。また、映像の再生時においても２台のカメラで同期して再生動作を行わせることができ、処理フレームのずれによる立体映像の違和感をなくすことができる。
【００７１】
また、差分値Δは、所定の回数以上にわたって求めており、値の信頼性が高い。このため、差分値Δを用いて処理フレームの合わせ込みを容易に行うことが可能である。また、ユーザにとっては第１のカメラ１の操作を行えば自動的に第２のカメラ２が同期して動作するため、処理の開始又は停止を合わせることを意識しなくてもよい。
【００７２】
また、異常値として求めた第２の差分値Δ′は破棄されるため、第２の差分値Δ′による同期制御への影響が及ばない。この点からも第１のカメラ１及び第２のカメラ２の同期制御の信頼性を高めることができる。
【００７３】
＜２．変形例＞
また、上述した実施の形態では、第１のカメラ１及び第２のカメラ２を上下方向に設置した例を説明したが、第１のカメラ１及び第２のカメラ２の筐体を小型化することにより、水平方向に並べて設置してもよい。
【００７４】
また、同期制御ライン３は、送受信制御部１９に接続される有線ケーブルとして用いた例を説明したが、送受信制御部１９を無線の通信規格に対応したアダプタとすることにより、通信パケットを無線伝送するようにしてもよい。
【００７５】
また、上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。
【００７６】
また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。
【００７７】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００７８】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。
【００７９】
また、本開示は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
【００８０】
なお、本開示は以下のような構成も取ることができる。
（１）操作入力により動作を指示する操作部と、
レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に前記第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御する撮像制御部と、
前記撮像素子が発生させる前記垂直同期信号の発生回数を計数する計数部と、
制御信号を伝送する制御ラインで接続される他の撮像装置であって、前記他の撮像装置が有する第２の撮像素子が発生させ、前記他の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記他の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記他の撮像装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行う制御部と、を備える
撮像装置。
（２）前記計数部は、前記撮像素子が発生させる前記垂直同期信号の発生回数を前記第１の処理フレームのフレーム数として計数し、
前記制御部は、前記第１の処理フレームの垂直同期信号と前記第２の処理フレームの垂直同期信号が発生するタイミングを予め合わせ、前記他の撮像装置が前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を前記第２の処理フレームのフレーム数として計数する場合に、前記第２の撮像素子が前記垂直同期信号を発生させる度に前記他の撮像装置から受け取った前記第２の処理フレームのフレーム数と、前記第１の処理フレームのフレーム数との間で算出したフレーム数の差分値が複数のフレーム期間で一定である場合に算出した前記第２の処理フレームのフレーム数に前記複数のフレーム期間を加えたフレーム数を前記他の撮像装置が動作を開始するタイミングとして前記他の撮像装置に通知する
前記（１）記載の撮像装置。
（３）前記制御部は、前記第１の処理フレームの期間内に前記第１の処理フレームのフレーム数を前記他の撮像装置に通知できない場合、又は前記他の撮像装置から前記第１の処理フレームの期間内に前記第２の処理フレームのフレーム数を受け取ることができない場合に、前記第１の処理フレームに続くフレーム期間にわたって前記第１の処理フレームのフレーム数を前記他の撮像装置に通知し、又は前記他の撮像装置から前記第２の処理フレームのフレーム数を受け取る
前記（１）又は（２）記載の撮像装置。
（４）前記制御部は、所定の回数以上にわたって求めた前記差分値とは異なる第２の差分値を前記所定の回数未満にわたって求めた場合に、前記第２の差分値を破棄する
前記（１）〜（３）のいずれかに記載の撮像装置。
（５）前記操作部の操作入力によって指示される動作には、撮像の開始若しくは停止のいずれかが含まれ、前記第１及び第２の処理フレームには、撮像フレーム又は再生フレームのいずれかが含まれる
前記（１）〜（３）のいずれかに記載の撮像装置。
（６）操作入力により動作を指示することと、
レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に前記第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御することと、
前記撮像素子が発生させる前記垂直同期信号の発生回数を計数することと、
制御信号を伝送する制御ラインで接続される他の撮像装置であって、前記他の撮像装置が有する第２の撮像素子が発生させ、前記他の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記他の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記他の撮像装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行うことと、を含む
同期制御方法。
（７）操作入力により動作を指示する操作部と、
記録部から読み出されて再生される映像信号の第１の処理フレームの間に挿入されている垂直同期信号の発生回数を計数する計数部と、
制御信号を伝送する制御ラインで接続される他の再生装置であって、前記他の再生装置が有する第２の撮像素子が発生させ、前記他の再生装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記他の再生装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記他の再生装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行う制御部と、を備える
再生装置。
（８）操作入力により動作を指示する第１の操作部と、
レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に前記第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御する第１の撮像制御部と、
前記第１の撮像素子が発生させる前記垂直同期信号の発生回数を計数する第１の計数部と、
制御信号を伝送する制御ラインで接続される第２の撮像装置であって、前記第２の撮像装置が有する第２の撮像素子が発生させ、前記第２の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記第２の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記第２の撮像装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行う第１の制御部と、を有する第１の撮像装置と、
レンズを介して入射する被写体の入射光により第２の処理フレームの間に挿入されている垂直同期信号毎に前記第２の処理フレームで映像信号を出力する第２の撮像素子を有する第２の撮像部の動作を制御する第２の撮像制御部と、
前記撮像素子が発生させる前記垂直同期信号の発生回数を計数する第１の計数部と、
前記第２の撮像素子が発生させる前記垂直同期信号の発生回数を計数する第２の計数部と、
前記第１の撮像装置に第２の処理フレームの間に挿入されている垂直同期信号の発生回数を通知し、前記第１の撮像装置から受け取った前記所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示に基づいて、前記操作入力がされた時点より前記所定期間の経過後に指示された動作を行う第２の制御部と、を有する第２の撮像装置と、を備える
立体映像撮像システム。
【符号の説明】
【００８１】
１…第１のカメラ、２…第２のカメラ、３…同期制御ライン、４…信号変換装置、５…表示装置、６…設置台、７…ハーフミラー、１０…立体映像撮像システム、１１…操作部、１２…ユーザインタフェース制御部、１３…カメラ制御部、１４…ＲＡＭ、１５…再生制御部、１６…記録制御部、１７…同期制御部、１８…ＲＡＭ、１９…送受信制御部、２０…垂直同期信号カウンタ
【技術分野】
【０００１】
本開示は、例えば、２台のカメラが撮像した映像から立体映像（３Ｄ映像）を生成する場合に適用して好適な撮像装置、同期制御方法、再生装置及び立体映像撮像システムに関する。
【背景技術】
【０００２】
従来、ユーザの左右の眼の視差に合わせて設置される２台のカメラが撮像した同一の被写体の映像を用いて、ユーザが立体視することができる立体映像（３Ｄ映像）を生成する技術がある。立体映像を撮像するためには、２台のカメラの動作を合わせて、映像記録の開始若しくは停止、又は映像再生の開始若しくは停止（以下、単に「処理の開始又は停止」と呼ぶ。）を行っていた。
【０００３】
特許文献１には、ビデオカメラに複数台のビデオテープレコーダを直列に接続し、記録用信号が伝送される第１のコネクタと、状態確認信号のリターンが伝送される第２のコネクタが双方向に接続される技術について開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１６３６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来の立体映像撮像システムでは、２台のカメラ間で互いに動作を制御する連携機能を有していなかった。このため、ユーザが２台のカメラに対してそれぞれ操作入力を行っても、操作入力のタイミングがずれることにより、２台のカメラが同時に処理の開始又は停止を行うことはできなかった。ここで、２台のカメラで行われる処理の開始又は停止のタイミングは、カメラ毎に撮像し、又は再生する映像信号の処理フレームが厳密に合っていなければ、立体視して再生される映像に違和感が生じ、立体映像として不完全なものとなる。このため、撮像した後に、２台のカメラが生成したそれぞれのクリップファイルに付されるタイムコード等を用いて別途処理フレームの開始又は停止タイミングを合わせる作業が必要であった。
【０００６】
また、上記の特許文献１には、複数台のビデオテープレコーダに状態を確認させながら連続して処理を実行する技術が開示されているが、この技術はあくまでもビデオテープレコーダを連携して動作させる場合に用いられるにすぎない。このため、立体映像を撮像するために２台のカメラを用いる場合には、映像の記録又は再生を厳密に制御することは考慮されていない。
【０００７】
本開示はこのような状況に鑑みて成されたものであり、２台の撮像装置を用いて立体映像の処理を行う場合に、この処理のタイミングを正確に合わせることを目的とする。
【課題を解決するための手段】
【０００８】
本開示に係る撮像装置は、操作入力により動作を指示し、レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御する。また、撮像素子が発生させる垂直同期信号の発生回数を第１の処理フレームのフレーム数として計数する。また、制御信号を伝送する制御ラインで撮像装置に接続される他の撮像装置であって、他の撮像装置が有する第２の撮像素子が発生させ、他の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数を求める。ここで、第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出する。そして、第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、他の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び操作入力による指示を他の撮像装置に通知する。これと共に、操作入力がされた時点より所定期間の経過後に通知した動作を行うと共に、操作入力がされた時点より所定期間の経過後に通知した動作を行うものである。
【０００９】
このようにしたことで、２台の撮像装置間で所定期間の経過後に指示された動作を開始するタイミングで操作入力による指示を行うことが可能となった。
【発明の効果】
【００１０】
本開示によれば、第１の撮像装置は、他の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び操作入力による指示を他の撮像装置に通知すると共に、操作入力がされた時点より所定期間の経過後に通知した動作を行う。これにより、２台の撮像装置を用いて立体映像を処理する場合に、操作入力によって指示される動作を同時に行うことが可能となり、処理の開始又は停止の精度を高めることができる。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施の形態における立体映像撮像システムの外部構成例を示すブロック図である。
【図２】本開示の一実施の形態における立体映像撮像システムの内部構成例を示すブロック図である。
【図３】本開示の一実施の形態における第１のカメラ及び第２のカメラが互いに処理動作のタイミングを制御する例を示すタイムチャートである。
【図４】本開示の一実施の形態における第１のカメラの処理例を示すフローチャートである。
【図５】本開示の一実施の形態における同期制御部が行うカメラ制御部のインタフェースの処理例を示すフローチャートである。
【図６】本開示の一実施の形態における同期制御部が行うユーザインタフェース制御部のインタフェースの処理例を示すフローチャートである。
【図７】本開示の一実施の形態における同期制御部が行う送受信制御部のインタフェースの処理例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、発明を実施するための形態（以下、実施の形態とする。）について説明する。なお、説明は以下の順序で行う。
１．一実施の形態（２台のカメラの同期制御：立体映像撮像システムの例）
２．変形例
【００１３】
＜１．一実施の形態＞
［２台のカメラの同期制御の例］
【００１４】
以下、本開示の一実施の形態について、添付図面を参照して説明する。本実施の形態では、２台のカメラ（撮像装置）を用いて処理の開始又は停止のタイミングを同期した上で立体映像を撮像する立体映像撮像システム１０に適用した例（以下、「本例」という。）について説明する。この立体映像撮像システム１０では、２台のカメラの処理の開始又は停止の同期を制御する同期制御方法が用いられる。
【００１５】
図１は、立体映像撮像システム１０の外部構成例を示す。
立体映像撮像システム１０は、１秒間に同一のフレーム数で同一の画サイズの２次元映像を撮像する撮像装置として第１のカメラ１及び第２のカメラ２を備える。第１のカメラ１及び第２のカメラ２は、共通するライン端子を備える。そして、第１のカメラ１及び第２のカメラ２は、このライン端子に接続され、シリアル通信が可能な同期制御ライン３によって、互いに映像の記録又は再生等の処理をフレーム単位で同期する制御を行う同期制御信号を通信パケットに入れて送受信できる。
【００１６】
また、第１のカメラ１及び第２のカメラ２は、ユーザがそれぞれ操作入力により各部に動作を指示する操作部１１を備える。操作部１１には、例えば、カメラ本体にある操作スイッチ（録画ボタン、再生ボタン等）や不図示のリモートコントローラ、プッシュボタン、トグルスイッチ、タッチパネルディスプレイ等が用いられる。
【００１７】
また、立体映像撮像システム１０は、第１のカメラ１及び第２のカメラ２から入力した映像信号を３Ｄの立体映像信号に変換する信号変換装置４を備える。信号変換装置４は、２Ｄ又は３Ｄで映像を表示することが可能な表示装置５に２Ｄ又は３Ｄの映像信号を出力する。
【００１８】
信号変換装置４は、第１のカメラ１及び第２のカメラ２からＥＥ（Electric to Electric Mode）映像信号又はＰｌａｙ映像信号を受け取る。ＥＥ映像信号とは、第１のカメラ１及び第２のカメラ２が撮像した２Ｄの映像信号をそのまま２Ｄの平面映像として表示することを表示装置５に指示する信号である。すなわち、第１のカメラ１及び第２のカメラ２が出力した映像信号を、ＨＤＤ等の記録部を経由することなく、表示装置５に対する出力として直接取り出される信号である。Ｐｌａｙ映像信号とは、第１のカメラ１及び第２のカメラ２が再生した２Ｄの映像信号を３Ｄの立体映像として表示することを表示装置５に指示する信号である。
【００１９】
そして、信号変換装置４は、第１のカメラ１及び第２のカメラ２から入力した２Ｄの映像信号を３Ｄの映像信号として１つにまとめた通信パケットを表示装置５に出力する。そして、表示装置５が２Ｄの映像を表示する２Ｄ表示モードに設定されている場合には、第１のカメラ１及び第２のカメラ２から入力する映像信号を選択し、左右映像のうちどちらかを選択した映像を２Ｄの平面映像として表示する。一方、表示装置５が立体映像を表示する３Ｄ表示モードに設定されている場合には、３Ｄの立体映像として表示する。
【００２０】
第１のカメラ１及び第２のカメラ２は、立体映像の撮像時に設置台（ＲＩＧ）６に設置される。一般に、第１のカメラ１及び第２のカメラ２のズームを１倍とし、レンズの間隔を人間の眼に合わせて第１のカメラ１及び第２のカメラ２を配置する。このとき撮像した２Ｄ映像を合わせた立体映像は自然な立体物としてユーザが視認できることが知られている。
【００２１】
しかし、筐体が大きな第１のカメラ１及び第２のカメラ２を水平方向に並べると人間の目の幅より広い視差で被写体を撮像してしまい、ユーザが視認する立体映像に違和感が生じてしまう。このため、ハーフミラー７を備えた設置台６に第１のカメラ１及び第２のカメラ２を設置する。このＴき、被写体の像光がハーフミラー７を介して直接入力する位置に第１のカメラ１を配置し、被写体の像光がハーフミラー７に反射して入力する位置に第２のカメラ２を配置する。これにより、第１のカメラ１及び第２のカメラ２が備えるレンズの光軸が垂直に交わるように、第１のカメラ１及び第２のカメラ２が設置される。
【００２２】
図２は、立体映像撮像システム１０の内部構成例を示す。
第１のカメラ１と第２のカメラ２は、共に同じ機能ブロックを有する。このため、以下の説明では、第１のカメラ１の内部構成例について説明する。以下の説明では、第１のカメラ１の処理を説明するため、第１のカメラ１を「自機」と呼び、第２のカメラ２を「他機」と呼ぶ場合がある。
【００２３】
第１のカメラ１は、操作部１１からの操作入力を受け付けるユーザインタフェース制御部１２と、撮像動作を制御するカメラ制御部１３と、ＲＡＭ１４を備える。ユーザインタフェース制御部１２は、操作部１１がタッチパネルディスプレイである場合には、グラフィカルユーザインターフェース（ＧＵＩ：Graphical User Interface）を画面上に表示する。また、不図示の記録部に記録された映像の再生を制御する再生制御部１５と、映像を記録部に記録する際の制御を行う記録制御部１６を備える。また、撮像動作や映像の再生又は記録を第２のカメラ２の処理と同期して行うように第２のカメラ２の動作を制御する同期制御部１７を備える。また、各種のカウンタ値を記憶するＲＡＭ１８と、同期制御ライン３を伝送する通信パケットの送受信を制御する送受信制御部１９を備える。
【００２４】
ユーザインタフェース制御部１２は、操作部１１が備える不図示のボタンによる操作入力の受付処理、不図示のリモートコントローラから受け取る操作入力の受付処理、無線ＬＡＮ等のリモートによる操作入力の受付処理を行う。また、タッチパネル等のグラフィカルユーザインターフェースから入力された操作入力による指示等を処理し、各種のメニューやメッセージをタッチパネルディスプレイ等に表示する処理を行う。さらに、ユーザインタフェース制御部１２は、操作部１１から受け付けた操作入力による指示を同期制御部１７に通知する。
【００２５】
カメラ制御部１３は、不図示のレンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に第１の処理フレームで映像信号を出力する不図示の第１の撮像素子を有する撮像部の動作を制御する撮像制御部として用いられる。なお、第２のカメラ２は、第２の撮像素子を有する撮像部を有する。ここで、カメラ制御部１３は、不図示のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子、映像処理プロセッサ、レンズ等が含まれる光学系駆動部の駆動を制御する。また、カメラ制御部１３は、撮像素子が出力する映像信号を画素単位で補正したり、光学系駆動部に対してオートフォーカス処理やオートホワイトバランス処理等の制御を行ったりする。
【００２６】
ＲＡＭ１４には、カメラ制御部１３から得たフレーム毎の垂直同期信号が発生した数を計数する垂直同期信号カウンタ２０により、処理フレームのフレーム数として用いられる垂直同期信号カウンタ値が書き込まれる。この垂直同期信号カウンタ２０は、撮像素子が発生させる垂直同期信号の発生回数を第１の処理フレームのフレーム数として計数する計数部として用いられる。そして、垂直同期信号カウンタ２０は、撮像時にカメラ制御部１３が制御する撮像素子から割り込まれる垂直同期信号の数を計数しており、ＲＡＭ１４は、垂直同期信号カウンタ２０によって書き込まれた垂直同期信号の数を記憶する。
【００２７】
再生制御部１５は、不図示の記録メディアに対するクリップファイルの書込み、読出し等のアクセス処理、クリップ情報の処理やクリップファイルのデコード処理の制御等を行う。第１のカメラ１は、１回の記録開始から停止までに撮像した映像信号が含まれる映像ファイルを「クリップ」という単位で管理しており、クリップファイル毎に記録メディアに対して書き込み又は読み出すことが可能である。記録制御部１６は、記録メディアに対するアクセス処理、クリップファイルの生成処理、削除されたクリップファイルを復元するサルベージ処理や映像信号のエンコード処理の制御等を行う。
【００２８】
同期制御部１７は、第２のカメラ２に以下の通知を行う。制御信号を伝送する同期制御ライン３で接続される他の撮像装置である第２のカメラ２であって、第２のカメラ２が有する第２の撮像素子が発生させ、第２のカメラ２から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数を受ける。そして、同期制御部１７は、第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出する。さらに、同期制御部１７は、第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、第２のカメラ２が所定期間の経過後に指示された動作を開始するタイミング及び操作入力による指示を第２のカメラ２に通知する。このとき、第１のカメラ１は、操作入力がされた時点より所定期間の経過後に通知した動作を行う。
【００２９】
また、同期制御部１７は、第１の処理フレームの垂直同期信号と第２の処理フレームの垂直同期信号が発生するタイミングを予め合わせておく。ここで、第２のカメラ２が第２の処理フレームの間に挿入されている垂直同期信号の発生回数を第２の処理フレームのフレーム数として計数する。このとき、第２の撮像素子が垂直同期信号を発生させる度に第２のカメラ２から受け取った第２の処理フレームのフレーム数と、第１の処理フレームのフレーム数との間で算出したフレーム数の差分値が複数のフレーム期間で一定であるか求める。そして、差分値が複数のフレーム期間で一定である場合には、算出した第２の処理フレームのフレーム数に複数のフレーム期間を加えたフレーム数を第２のカメラ２が動作を開始するタイミングとして第２のカメラ２に通知する。このような制御により、第１のカメラ１は、第２のカメラ２が指示される動作を開始するタイミングを制御する。なお、操作部１１の操作入力によって「指示される動作」には、撮像の開始若しくは停止又は映像再生の開始若しくは停止のいずれかが含まれ、第１及び第２の処理フレームには、撮像フレーム又は再生フレームのいずれかが含まれる。
【００３０】
このように同期制御部１７は、第１のカメラ１及び第２のカメラ２の間における垂直同期信号のカウンタ値の差分を求めたり、動作指示のタイミングを第２のカメラ２と同期して行わせたりする制御を行う。なお、同期制御部１７が行う処理の詳細については後述するものの、図４〜図７のフローチャートに示す処理は全て同期制御部１７が行うことになる。
【００３１】
また、同期制御部１７は、カメラ制御部１３に対してデータを送受信するインタフェースを持っており、送受信制御部１９に対する送受信制御部インタフェース処理を行う。この処理は、送受信制御部１９に対するインタフェースを担当するモジュールによって行われる。ＲＡＭ１８は、第１のカメラ１及び第２のカメラ２が互いに受け取った垂直同期信号のカウンタ値、第１のカメラ１が行う動作指示や動作指示の開始のトリガとなる垂直同期信号のカウンタ値等を記憶する。
【００３２】
送受信制御部１９は、通信パケットの送信受付処理、通信パケットを第２のカメラ２に送る処理、通信パケットを規定の通信プロトコルに合わせて変換する処理、ライン端子等を含む通信デバイスの制御処理等を行う。同期制御部１７は、処理の開始又は停止のタイミングを同期するために実行する処理フレームの開始タイミング（本例では、垂直同期信号カウンタ値の発生回数に基づく。）を計算する。そして、送受信制御部１９が第２のカメラ２に行う動作を指示する制御データと処理フレーム数を第２のカメラ２に送ることを依頼する。
【００３３】
第１のカメラ１は、第２のカメラ２に対してゲンロックを行うことによって、第１のカメラ１及び第２のカメラ２の処理フレームを事前に同期する。この同期は、垂直同期信号の発生タイミングで行われており、この同期タイミングのズレ量は約１ライン程度の時間内に収まるよう同期制御部１７が制御する。本例では、第１のカメラ１をメインとし、第２のカメラ２をサブとする主従関係による制御が行われ、第１のカメラ１の指示により、第１のカメラ１の処理フレームに合わせて、第２のカメラ２の処理フレームの同期が制御される。
【００３４】
上述したように、第１のカメラ１及び第２のカメラ２の処理フレームの開始タイミングはゲンロックにより同期される。そして、第１のカメラ１及び第２のカメラ２は、各カメラで動作するソフトウェアプログラムがそれぞれ計数した垂直同期信号カウンタ値の差分値を検出する。ここで、垂直同期信号は処理フレームが開始するタイミングで現れており、第１のカメラ１の同期制御部１７は、この差分値によって第２のカメラ２が動作する処理フレームのフレーム数を把握する。このため、メインとなる第１のカメラ１は、ユーザの操作入力による処理の開始又は停止を行うための動作指示を受け取ると、１〜数フレーム後のタイミングで、第１のカメラ１と同時に処理の開始又は停止を行うように第２のカメラ２の動作を制御する。このようにして、第１のカメラ１は、第２のカメラ２の処理のタイミングを第１のカメラ１の処理のタイミングであるフレーム毎に合わせる同期制御を行っている。
【００３５】
カメラ間で伝送される通信パケットは、コマンドの種類を示す“Ｋフィールド（４バイト）”と、データ長を示す（４バイト）“Ｌフィールド”と、データの内容を示す“Ｖフィールド（最大６４バイト）”で構成される。Ｋフィールドには、同期を指示するデータが格納され、Ｖフィールドには、自機が行う処理の開始又は停止を示すデータ内容が格納される。例えば、Ｋフィールドに垂直同期信号カウンタ値の通知を示すデータが含まれると、Ｖフィールドには、自機の垂直同期信号カウンタ値が含まれる。また、Ｋフィールドにクリップファイルのフォーマットを通知する情報が含まれると、Ｖフィールドには、映像の画サイズ、フレームレート、ビットレートを示す情報が含まれる。
【００３６】
同期制御ライン３を介して通信パケットを送受信することで、ソフトウェアプログラムの制御による第１のカメラ１及び第２のカメラ２は、互いにフレーム毎にタイミングを合わせて処理を行うことが可能となる。このため、同じタイミングで撮像された映像の記録を開始し又は停止する動作をフレーム毎に合わせて同時に行ったり、同一フォーマットのコンテンツをフレーム毎に合わせて同時に再生し又は停止する処理が可能となる。
【００３７】
なお、第１のカメラ１及び第２のカメラ２は、映像を同期して再生する再生装置としても用いられる。この場合、同期制御ライン３で接続される他の再生装置として第２のカメラ２が用いられる。このとき、垂直同期信号カウンタ２０は、第２のカメラ２の再生制御部１５が再生する映像信号の第１のフレームの間に挿入される垂直同期信号の発生回数を、第２のカメラ２が第２の処理フレームのフレーム数として計数する。次に、第２のカメラ２が有する撮像素子が発生させ、第２のカメラ２から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数を求める。この発生回数と、第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出する。そして、第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、第２のカメラ２が所定期間の経過後に指示された動作を開始するタイミング及び操作入力による指示を第２のカメラ２に通知する。このとき、第１のカメラ１は、動作を開始するタイミング及び操作入力による指示を第２のカメラ２に通知すると共に、操作入力がされた時点より所定期間の経過後に通知した動作を行う。なお、操作部１１の操作入力によって指示される動作には、撮像の開始若しくは停止のいずれかが含まれ、第１及び第２の処理フレームには、撮像フレーム又は再生フレームのいずれかが含まれる。
【００３８】
図３は、第１のカメラ１によって第２のカメラ２動作タイミングが制御される例を示すタイミングチャートである。
図３Ａは、第１のカメラ１及び第２のカメラ２の同期を制御していない状態におけるタイミングチャートの例を示す。
第１のカメラ１及び第２のカメラ２は、それぞれ異なるタイミングで発生した垂直同期信号を開始のタイミングを合わせるために利用し、隣り合う垂直同期信号の期間内で定まる処理フレームに基づいて撮像又は再生の処理を行う。第１のカメラ１及び第２のカメラ２は、同じフレームレートの処理フレームで動作するが、例えば、ユーザが各カメラの操作部１１を操作して電源をオンしたタイミングは厳密に合わせることが困難であり、処理フレームが立ち上がるタイミングが異なる。このため、従来のように処理フレームが開始したタイミングが異なったまま被写体を撮像すると、撮像後に処理の開始又は停止を合わせる作業が必要であった。
【００３９】
図３Ｂは、第１のカメラ１の処理フレームに基づいてゲンロックされた第２のカメラ２の処理フレームの例を示す。
本例では、第１のカメラ１の処理フレームの開始タイミングに第２のカメラ２の処理フレームの開始タイミングを合わせる制御を行っており、第１のカメラ１の垂直同期信号を処理フレームの開始タイミングを合わせる同期信号として用いている。そして、第２のカメラ２は、同期制御ライン３を介して第１のカメラ１から伝送される同期制御信号により処理フレームのゲンロックを行う。なお、第１のカメラ１及び第２のカメラ２は同じ構成としたカメラであるので、第２のカメラ２の処理フレームを同期信号として利用して第１のカメラ１の処理フレームをゲンロックすることも可能である。
【００４０】
ここで、第１のカメラ１及び第２のカメラ２の処理フレームの開始タイミングを合わせる処理について説明する。
始めに、第１のカメラ１は、処理フレームの最初のタイミングとして垂直同期信号が発生した瞬間に、計数した垂直同期信号カウンタ値を、同期制御ライン３を経由して第２のカメラ２に通知する。この垂直同期信号カウンタ値は、処理フレームのカウンタ値カウンタ値として用いられる
【００４１】
同様に、第２のカメラ２は、処理フレームの最初のタイミングとして垂直同期信号が発生した瞬間に、計数した垂直同期信号カウンタ値を、同期制御ライン３を経由して第１のカメラ１に通知する。図３Ｂでは、説明の便宜のため、第１のカメラ１の垂直同期信号カウンタ値をｎ，ｎ＋１，…と数え、第２のカメラ２の垂直同期信号カウンタ値をｍ，ｍ＋１，…と数える。
【００４２】
第１のカメラ１及び第２のカメラ２は、互いに１フレームの期間内に垂直同期信号カウンタ値を通知し合う。この動作は、数フレームにわたって行われる。そして、第１のカメラ１の同期制御部１７は、第１のカメラ１の垂直同期信号カウンタ値から、数フレームにわたって取得した第２のカメラ２の垂直同期信号カウンタ値を減じた差分値Δを求める。本例では、差分値Δ＝ｎ−ｍとして値が求まり、複数フレームにわたって求めた差分値Δが連続して同じ値である場合に、差分値Δが平均値として求まる。
【００４３】
ここで、第２のカメラ２の（ｍ＋３）フレーム目のように、（ｍ＋３）フレームのカウンタ値が、第１のカメラ１の同じ（ｍ＋３）フレーム内で通知されず、次の（ｍ＋４）フレームで通知される場合がある。例えば第１の処理フレームの期間内に第１の処理フレームのフレーム数を第２のカメラ２に通知できない場合、又は第２のカメラ２から第１の処理フレームの期間内に第２の処理フレームのフレーム数を受け取ることができない場合がある。このとき、第１のカメラ１の同期制御部１７は、第１の処理フレームに続くフレーム期間にわたって第１の処理フレームのフレーム数を第２のカメラ２に通知する。あるいは、第１のカメラ１は、第２のカメラ２から第２の処理フレームのフレーム数を受け取る。これにより、第１のカメラ１及び第２のカメラ２は、互いに確実に処理フレームのフレーム数を通知することができる。
【００４４】
図３Ｂに示すように、同期制御部１７は、所定の回数以上にわたって求めた同じ差分値Δとは異なる第２の差分値Δ′を所定の回数未満にわたって求めた場合に、第２の差分値Δ′を破棄する。図３Ｂの例では、第２の差分値Δ′は、Δ′＝（ｎ＋４）−（ｍ＋３）＝ｎ−ｍ＋１として求められる。このように、突発的に平均値から外れた第２の差分値Δ′については破棄される。このようにして、第１のカメラ１の同期制御部１７は、第１のカメラ１の処理フレームに対して第２のカメラ２の処理フレームがどれだけずれているかを差分値Δによって把握できる。
【００４５】
図３Ｃは、第１のカメラ１及び第２のカメラ２が実際に処理の開始又は停止を行うタイミングの例を示す。
図３Ｂに示したように、第１のカメラ１の同期制御部１７は、差分値Δを把握している。ここで、図３Ｃでは、説明の便宜のため、第１のカメラ１の処理フレームをｘ，ｘ＋１，…と数え、第２のカメラ２の処理フレームをｙ，ｙ＋１，…と数える。
【００４６】
そして、同期制御部１７は、（ｘ＋５）フレーム目から処理の開始又は停止を行う場合に、第２のカメラ２に対して、（ｘ＋５−Δ）フレームのカウンタ値を、（ｙ＋５）フレームのカウンタ値に上書きする指示を行う。このとき、第２のカメラ２の同期制御部１７は、（ｙ＋５）フレームのカウンタ値を（ｘ＋５−Δ）フレームのカウンタ値に書き換える。これにより、第１のカメラ１及び第２のカメラ２は、同じフレームのカウンタ値として図中に星印で示される同じタイミングで処理の開始又は停止を行うことができる。
【００４７】
次に、立体映像撮像システム１０の処理例として、特に同期制御部１７の処理例を図４〜図７を参照して説明する。なお、本例では、第１のカメラ１をメインとして用いるため、同期制御部１７について説明するが、第２のカメラ２をメインとして用いた場合であっても、第２のカメラ２は、以下に説明する同期制御部１７と同様の処理を行うことが可能である。
【００４８】
図４は、第１のカメラ１の処理例を示す。
始めに、第１のカメラ１及び第２のカメラ２のライン端子に同期制御ライン３が接続されると、ユーザによって行われる不図示のメニュー画面を用いた操作部１１の操作入力により、同期制御ラインモードがオンされる（ステップＳ１）。同期制御ラインモードがオンされると、第１のカメラ１がメイン、第２のカメラ２がサブとする主従関係の下、第１のカメラ１及び第２のカメラ２の間で映像の撮像処理又は映像の再生処理をカメラ毎の処理フレームで同期して行うことが可能となる。一方、同期制御ラインモードがオフされると、各カメラは独立して動作するため、互いに影響を与えない。
【００４９】
次に、第１のカメラ１及び第２のカメラ２は、同期制御ライン３を介し、互いに垂直同期信号カウンタ値をシリアル通信により通知し合う（ステップＳ２）。次に、第１のカメラ１の同期制御部１７は、自機の垂直同期信号カウンタ値と第２のカメラ２から受け取った垂直同期信号カウンタ値の差分を検出する。このとき、第１のカメラ１は、同じ差分値がＮフレーム連続したら確定する（本例では、５フレーム）（ステップＳ３）。
【００５０】
次に、第１のカメラ１が操作部１１に受けた入力操作に伴い発生した操作信号により処理の開始又は停止の指示を受ける。この指示により、第１のカメラ１は、第２のカメラ２に指示するために要する通信時間を考慮して、数フレーム後における処理フレームのカウンタ値を指定して、第２のカメラ２に動作の指示を送る（ステップＳ４）。図３に示したタイミングチャートでは、５フレーム後に実行することが示される。
【００５１】
このようにして、第１のカメラ１及び第２のカメラ２は、同じタイミングで発生した垂直同期信号のタイミングに合わせて、同じ動作を行う（ステップＳ５）。これにより、ユーザは、第１のカメラ１を操作するだけで、同じ動作を第２のカメラ２に行わせることができる。
【００５２】
次に、図５〜図７を参照して、同期制御部１７が行う各部に対するインタフェースの処理例を説明する。以下の説明では、同期制御部１７が各制御部との間でデータの入出力を行う処理を「インタフェースの処理」と呼ぶ。
【００５３】
図５は、同期制御部１７が行うカメラ制御部１３のインタフェースの処理例を示す。
始めに、同期制御部１７は、撮像素子が発生する垂直同期信号の割り込みを待つ（ステップＳ１１）。垂直同期信号の割り込みが発生すると、垂直同期信号カウンタ２０がＲＡＭ１４に垂直同期信号カウンタ値を書き込む。そして、同期制御部１７は、垂直同期信号カウンタをＲＡＭ１４から取得する（ステップＳ１２）。
【００５４】
垂直同期信号カウンタ値は、第１のカメラ１を電源オンした後、垂直同期信号カウンタ２０によって“０”から“２５５”まで繰り返しカウントアップされる。なお、垂直同期信号カウンタ２０が計数を開始した時点における垂直同期信号カウンタ値はランダムな値をとる。また、第１のカメラ１及び第２のカメラ２の同期が安定していれば、差分値Δは固定値であり、その都度、動作を開始する時点における垂直同期信号カウンタ値の絶対値を計算している。このため、垂直同期信号カウンタ値そのものを“０”にリセットする必要がない。
【００５５】
次に、同期制御部１７は、ＲＡＭ１４から読み出した垂直同期信号カウンタ値を第２のカメラ２に送信する（ステップＳ１３）。垂直同期信号カウンタ値を送信する処理は、カメラ制御部１３のインタフェースを処理するモジュールが行う。そして、同期制御部１７が送受信制御部１９へ送信を依頼することによって送信処理が行われる。
【００５６】
次に、同期制御部１７は、自機の垂直同期信号カウンタ値が、第２のカメラ２が動作を開始する時点における垂直同期信号カウンタ値と等しいか否かを判断する（ステップＳ１４）。等しい場合に同期制御部１７は、再生制御部１５又は記録制御部１６に対して映像の再生指示又は記録指示を行う（ステップＳ１５）。異なる場合に同期制御部１７は、何も処理を行わず、処理を終了する。
【００５７】
図６は、同期制御部１７が行うユーザインタフェース制御部１２のインタフェースの処理例を示す。
始めに、同期制御部１７は、ユーザの操作入力により発生する操作信号からなる動作指示を待つ（ステップＳ２１）。ただし、ユーザからの動作指示は、処理フレームのどのタイミングで来るかが不定である。このため、同期制御部１７は動作指示を受けた後、垂直同期信号が発生するタイミングである処理フレームの先頭から指示された動作を開始できるように、第２のカメラ２との間で垂直同期信号が同じタイミングで発生するようにゲンロックを行っている。
【００５８】
また、第１のカメラ１は、第２のカメラ２に対して操作信号を送ることにより、操作部１１によって操作入力された動作指示を通知する。ただし、第２のカメラ２に操作信号が到着するタイミングは定かでなく、実際にどのタイミングで動作が行われるか不明である。そこで、第１のカメラ１及び第２のカメラ２は、互いに垂直同期信号カウンタ２０が計数する垂直同期信号カウンタ値から差分値Δを予め求めている。これにより、差分値Δを考慮した上で第１のカメラ１及び第２のカメラ２が同期して動作を開始することが可能な垂直同期信号カウンタ値を計算している。
【００５９】
次に、第１のカメラ１の同期制御部１７は、第２のカメラ２から受け取った垂直同期信号カウンタ値によって確定した差分値Δから、第２のカメラ２が動作を開始する時点における垂直同期信号カウンタ値を計算する（ステップＳ２２）。また、第１のカメラ１の同期制御部１７は、ステップＳ２２の処理と並行して、第１のカメラ１が動作を開始する時点における垂直同期信号カウンタ値を計算する（ステップＳ２３）。
【００６０】
ステップＳ２１の次工程において、ステップＳ２３に分岐した破線は、第１のカメラ１がサブとなった場合に実行さえる処理を意味する。この処理は、操作部１１から受け取る動作指示のパラメータが自機のカウンタ値なのか、他機のカウンタ値なのかによって実行する処理が変わるためである。そして、同期制御部１７は、動作指示が行われる操作信号や動作を開始する時点における垂直同期信号カウンタ値を第２のカメラ２へ送信し（ステップＳ２４）、処理を終了する。
【００６１】
図７は、同期制御部１７が行う送受信制御部１９のインタフェースの処理例を示す。
始めに、第１のカメラ１の同期制御部１７は、送受信制御部１９から受け取る垂直同期信号カウンタ値の受信を待つ（ステップＳ３１）。第２のカメラ２から垂直同期信号カウンタ値が受信されなければ処理を終了する。
【００６２】
一方、送受信制御部１９が第２のカメラ２から垂直同期信号カウンタ値を受信すると（ステップＳ３２）、送受信制御部１９は、ＲＡＭ１８に垂直同期信号カウンタ値を書き込む。その後、同期制御部１７は、ＲＡＭ１８から垂直同期信号カウンタを取得する（ステップＳ３３）。そして、同期制御部１７は、ＲＡＭ１４から読み出した自機の垂直同期信号カウンタ値とＲＡＭ１８から読み出した第２のカメラ２の垂直同期信号カウンタ値の差分値Δを計算する（ステップＳ３４）。
【００６３】
同期制御部１７は、１フレームごとに差分値Δを計算しており、最新の差分値Δは、ステップＳ３４にて計算される。以下の説明において、同期制御部１７が１フレーム前に計算した差分は、１フレーム前の垂直同期信号カウンタ値によって求まる値であるため、「前回差分」と呼び、ステップＳ３４にて計算した差分値Δを「今回差分」と呼ぶ。そして、同期制御部１７は、今回差分が前回差分に等しいか否かを判断する（ステップＳ３５）。そして、同期制御部１７は、差分値Δが複数回にわたって一定値であるか否かを判断するため、ＲＡＭ１４には、今回差分と前回差分が等しかった場合にこの回数を加算する差分確定カウンタ値を書き込む（ステップＳ３６）。
【００６４】
そして、同期制御部１７は、差分値Δが差分確定カウンタ値を増加することのできる値であるか、第２の差分値Δ′に相当する異常値であるかを判断する（ステップＳ３７）。異常値である場合には処理を行わない。一方、差分値Δが差分確定カウンタ値を増加することのできる値であれば、次処理のステップＳ３８により、前回差分を確定差分に上書きする処理が行われる。
【００６５】
本例では、垂直同期信号カウンタ値の差分値Δを確定するために、差分確定カウンタ値を用いている。例えば、上述した図３Ｃに示したように、同期制御ライン３を伝送される通信パケットが遅延した場合には、今回差分と前回差分が異なる場合がある。このような場合に今回差分として求めた差分値Δを破棄できるようにするため、Ｎ回（本例では、５回）連続して今回差分と前回差分が同じ値とならない場合、正しい差分値Δと見なさない制御を行う。
【００６６】
ここで、同期制御部１７は、差分値Δが変わった際に、変わった差分値Δを一旦「前回差分」としてＲＡＭ１４に書き込んでおく。その後、同じ差分値Δが求められると、ＲＡＭ１４内の差分確定カウンタ値を１増やす。さらに、連続して今回差分と前回差分が同じ値となる場合には、その度に差分確定カウンタ値を増やし続ける。このようにして、Ｎフレームにわたって今回差分と前回差分が同じ値となる場合に、上述した差分値Δで表される「確定した差分値」が求まる（ステップＳ３８）。さらに、Ｎ回連続して今回差分と前回差分が同じ値となる場合には、差分確定カウンタ値である“Ｎ”の値を差分確定カウンタ値に上書きして処理を終了する（ステップＳ３９）。なお、“Ｎ”の値は、今回差分と前回差分が同じ値となる度に増えていく。
【００６７】
ステップＳ３５の処理において、前回差分が今回差分と異なる場合には、ＲＡＭ１４に書き込まれている前回差分を今回差分で更新した上で（ステップＳ４０）、差分確定カウンタ値を初期値“１”に書き換える（ステップＳ４１）。その後、ステップＳ３１〜Ｓ３９の処理を繰り返して、今回差分で示した値が確定差分Δとなるか求める。
【００６８】
なお、第１のカメラ１がサブとして設定され、第２のカメラ２がメインとして設定される場合がある。このとき、第１のカメラ１の送受信制御部１９は、第２のカメラ２から操作信号を受け取り、第１のカメラ１の同期制御部１７は、第２のカメラ２によって指示される動作を解釈する（ステップＳ４２）。さらに、第１のカメラ１の送受信制御部１９は、第２のカメラ２から動作を開始する時点における垂直同期信号カウンタ値を受信し（ステップＳ４３）、この垂直同期信号カウンタ値を第１のカメラ１のＲＡＭ１８に書き込む。そして、ステップＳ４３の処理に並行して、第１のカメラ１の同期制御部１７は、確定した差分値から自機の動作を開始する時点における垂直同期信号カウンタ値を計算し（ステップＳ４４）、第２のカメラ２によって制御された動作を行う。
【００６９】
以上説明した一実施の形態に係る立体映像撮像システム１０によれば、主従関係を有する第１のカメラ１及び第２のカメラ２を用いて、互いに垂直同期信号の発生タイミングを合わせた上で、垂直同期信号カウンタ値の差分値Δを求めている。そして、この差分値Δを考慮した上で実際に処理の開始又は停止が行われるフレーム数を定めて、このフレーム数に至った時点で処理の開始又は停止を同時に行うことができる。このとき、ユーザは、例えば、メインとなる第１のカメラ１の操作部１１に対して操作入力を行うだけで、第２のカメラ２は第１のカメラ１と同じ動作をする。これにより、２台のカメラの処理の開始又は停止を処理フレームの開始タイミングに合わせて厳密に制御することができる。
【００７０】
また、処理フレームの開始タイミングを映像信号の垂直同期信号の発生タイミングに合わせたことにより、処理フレーム毎の動作を正確に合わせることができる。こんとあめ、被写体を撮像した後、処理フレームを合わせ込む作業が不要となり、編集作業が効率化する。また、映像の再生時においても２台のカメラで同期して再生動作を行わせることができ、処理フレームのずれによる立体映像の違和感をなくすことができる。
【００７１】
また、差分値Δは、所定の回数以上にわたって求めており、値の信頼性が高い。このため、差分値Δを用いて処理フレームの合わせ込みを容易に行うことが可能である。また、ユーザにとっては第１のカメラ１の操作を行えば自動的に第２のカメラ２が同期して動作するため、処理の開始又は停止を合わせることを意識しなくてもよい。
【００７２】
また、異常値として求めた第２の差分値Δ′は破棄されるため、第２の差分値Δ′による同期制御への影響が及ばない。この点からも第１のカメラ１及び第２のカメラ２の同期制御の信頼性を高めることができる。
【００７３】
＜２．変形例＞
また、上述した実施の形態では、第１のカメラ１及び第２のカメラ２を上下方向に設置した例を説明したが、第１のカメラ１及び第２のカメラ２の筐体を小型化することにより、水平方向に並べて設置してもよい。
【００７４】
また、同期制御ライン３は、送受信制御部１９に接続される有線ケーブルとして用いた例を説明したが、送受信制御部１９を無線の通信規格に対応したアダプタとすることにより、通信パケットを無線伝送するようにしてもよい。
【００７５】
また、上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。
【００７６】
また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。
【００７７】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００７８】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。
【００７９】
また、本開示は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
【００８０】
なお、本開示は以下のような構成も取ることができる。
（１）操作入力により動作を指示する操作部と、
レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に前記第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御する撮像制御部と、
前記撮像素子が発生させる前記垂直同期信号の発生回数を計数する計数部と、
制御信号を伝送する制御ラインで接続される他の撮像装置であって、前記他の撮像装置が有する第２の撮像素子が発生させ、前記他の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記他の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記他の撮像装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行う制御部と、を備える
撮像装置。
（２）前記計数部は、前記撮像素子が発生させる前記垂直同期信号の発生回数を前記第１の処理フレームのフレーム数として計数し、
前記制御部は、前記第１の処理フレームの垂直同期信号と前記第２の処理フレームの垂直同期信号が発生するタイミングを予め合わせ、前記他の撮像装置が前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を前記第２の処理フレームのフレーム数として計数する場合に、前記第２の撮像素子が前記垂直同期信号を発生させる度に前記他の撮像装置から受け取った前記第２の処理フレームのフレーム数と、前記第１の処理フレームのフレーム数との間で算出したフレーム数の差分値が複数のフレーム期間で一定である場合に算出した前記第２の処理フレームのフレーム数に前記複数のフレーム期間を加えたフレーム数を前記他の撮像装置が動作を開始するタイミングとして前記他の撮像装置に通知する
前記（１）記載の撮像装置。
（３）前記制御部は、前記第１の処理フレームの期間内に前記第１の処理フレームのフレーム数を前記他の撮像装置に通知できない場合、又は前記他の撮像装置から前記第１の処理フレームの期間内に前記第２の処理フレームのフレーム数を受け取ることができない場合に、前記第１の処理フレームに続くフレーム期間にわたって前記第１の処理フレームのフレーム数を前記他の撮像装置に通知し、又は前記他の撮像装置から前記第２の処理フレームのフレーム数を受け取る
前記（１）又は（２）記載の撮像装置。
（４）前記制御部は、所定の回数以上にわたって求めた前記差分値とは異なる第２の差分値を前記所定の回数未満にわたって求めた場合に、前記第２の差分値を破棄する
前記（１）〜（３）のいずれかに記載の撮像装置。
（５）前記操作部の操作入力によって指示される動作には、撮像の開始若しくは停止のいずれかが含まれ、前記第１及び第２の処理フレームには、撮像フレーム又は再生フレームのいずれかが含まれる
前記（１）〜（３）のいずれかに記載の撮像装置。
（６）操作入力により動作を指示することと、
レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に前記第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御することと、
前記撮像素子が発生させる前記垂直同期信号の発生回数を計数することと、
制御信号を伝送する制御ラインで接続される他の撮像装置であって、前記他の撮像装置が有する第２の撮像素子が発生させ、前記他の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記他の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記他の撮像装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行うことと、を含む
同期制御方法。
（７）操作入力により動作を指示する操作部と、
記録部から読み出されて再生される映像信号の第１の処理フレームの間に挿入されている垂直同期信号の発生回数を計数する計数部と、
制御信号を伝送する制御ラインで接続される他の再生装置であって、前記他の再生装置が有する第２の撮像素子が発生させ、前記他の再生装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記他の再生装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記他の再生装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行う制御部と、を備える
再生装置。
（８）操作入力により動作を指示する第１の操作部と、
レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に前記第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御する第１の撮像制御部と、
前記第１の撮像素子が発生させる前記垂直同期信号の発生回数を計数する第１の計数部と、
制御信号を伝送する制御ラインで接続される第２の撮像装置であって、前記第２の撮像装置が有する第２の撮像素子が発生させ、前記第２の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記第２の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記第２の撮像装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行う第１の制御部と、を有する第１の撮像装置と、
レンズを介して入射する被写体の入射光により第２の処理フレームの間に挿入されている垂直同期信号毎に前記第２の処理フレームで映像信号を出力する第２の撮像素子を有する第２の撮像部の動作を制御する第２の撮像制御部と、
前記撮像素子が発生させる前記垂直同期信号の発生回数を計数する第１の計数部と、
前記第２の撮像素子が発生させる前記垂直同期信号の発生回数を計数する第２の計数部と、
前記第１の撮像装置に第２の処理フレームの間に挿入されている垂直同期信号の発生回数を通知し、前記第１の撮像装置から受け取った前記所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示に基づいて、前記操作入力がされた時点より前記所定期間の経過後に指示された動作を行う第２の制御部と、を有する第２の撮像装置と、を備える
立体映像撮像システム。
【符号の説明】
【００８１】
１…第１のカメラ、２…第２のカメラ、３…同期制御ライン、４…信号変換装置、５…表示装置、６…設置台、７…ハーフミラー、１０…立体映像撮像システム、１１…操作部、１２…ユーザインタフェース制御部、１３…カメラ制御部、１４…ＲＡＭ、１５…再生制御部、１６…記録制御部、１７…同期制御部、１８…ＲＡＭ、１９…送受信制御部、２０…垂直同期信号カウンタ
【特許請求の範囲】
【請求項１】
操作入力により動作を指示する操作部と、
レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に前記第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御する撮像制御部と、
前記撮像素子が発生させる前記垂直同期信号の発生回数を計数する計数部と、
制御信号を伝送する制御ラインで接続される他の撮像装置であって、前記他の撮像装置が有する第２の撮像素子が発生させ、前記他の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記他の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記他の撮像装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行う制御部と、を備える
撮像装置。
【請求項２】
前記計数部は、前記撮像素子が発生させる前記垂直同期信号の発生回数を前記第１の処理フレームのフレーム数として計数し、
前記制御部は、前記第１の処理フレームの垂直同期信号と前記第２の処理フレームの垂直同期信号が発生するタイミングを予め合わせ、前記他の撮像装置が前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を前記第２の処理フレームのフレーム数として計数する場合に、前記第２の撮像素子が前記垂直同期信号を発生させる度に前記他の撮像装置から受け取った前記第２の処理フレームのフレーム数と、前記第１の処理フレームのフレーム数との間で算出したフレーム数の差分値が複数のフレーム期間で一定である場合に算出した前記第２の処理フレームのフレーム数に前記複数のフレーム期間を加えたフレーム数を前記他の撮像装置が動作を開始するタイミングとして前記他の撮像装置に通知する
請求項１記載の撮像装置。
【請求項３】
前記制御部は、前記第１の処理フレームの期間内に前記第１の処理フレームのフレーム数を前記他の撮像装置に通知できない場合、又は前記他の撮像装置から前記第１の処理フレームの期間内に前記第２の処理フレームのフレーム数を受け取ることができない場合に、前記第１の処理フレームに続くフレーム期間にわたって前記第１の処理フレームのフレーム数を前記他の撮像装置に通知し、又は前記他の撮像装置から前記第２の処理フレームのフレーム数を受け取る
請求項２記載の撮像装置。
【請求項４】
前記制御部は、所定の回数以上にわたって求めた前記差分値とは異なる第２の差分値を前記所定の回数未満にわたって求めた場合に、前記第２の差分値を破棄する
請求項３記載の撮像装置。
【請求項５】
前記操作部の操作入力によって指示される動作には、撮像の開始若しくは停止のいずれかが含まれ、前記第１及び第２の処理フレームには、撮像フレーム又は再生フレームのいずれかが含まれる
請求項４記載の撮像装置。
【請求項６】
操作入力により動作を指示することと、
レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に前記第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御することと、
前記撮像素子が発生させる前記垂直同期信号の発生回数を計数することと、
制御信号を伝送する制御ラインで接続される他の撮像装置であって、前記他の撮像装置が有する第２の撮像素子が発生させ、前記他の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記他の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記他の撮像装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行うことと、を含む
同期制御方法。
【請求項７】
操作入力により動作を指示する操作部と、
記録部から読み出されて再生される映像信号の第１の処理フレームの間に挿入されている垂直同期信号の発生回数を計数する計数部と、
制御信号を伝送する制御ラインで接続される他の再生装置であって、前記他の再生装置が有する撮像素子が発生させ、前記他の再生装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記他の再生装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記他の再生装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行う制御部と、を備える
再生装置。
【請求項８】
操作入力により動作を指示する第１の操作部と、
レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に前記第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御する第１の撮像制御部と、
前記第１の撮像素子が発生させる前記垂直同期信号の発生回数を計数する第１の計数部と、
制御信号を伝送する制御ラインで接続される第２の撮像装置であって、前記第２の撮像装置が有する第２の撮像素子が発生させ、前記第２の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記第２の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記第２の撮像装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行う第１の制御部と、を有する第１の撮像装置と、
レンズを介して入射する被写体の入射光により第２の処理フレームの間に挿入されている垂直同期信号毎に前記第２の処理フレームで映像信号を出力する第２の撮像素子を有する第２の撮像部の動作を制御する第２の撮像制御部と、
前記撮像素子が発生させる前記垂直同期信号の発生回数を計数する第１の計数部と、
前記第２の撮像素子が発生させる前記垂直同期信号の発生回数を計数する第２の計数部と、
前記第１の撮像装置に第２の処理フレームの間に挿入されている垂直同期信号の発生回数を通知し、前記第１の撮像装置から受け取った前記所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示に基づいて、前記操作入力がされた時点より前記所定期間の経過後に指示された動作を行う第２の制御部と、を有する第２の撮像装置と、を備える
立体映像撮像システム。
【請求項１】
操作入力により動作を指示する操作部と、
レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に前記第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御する撮像制御部と、
前記撮像素子が発生させる前記垂直同期信号の発生回数を計数する計数部と、
制御信号を伝送する制御ラインで接続される他の撮像装置であって、前記他の撮像装置が有する第２の撮像素子が発生させ、前記他の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記他の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記他の撮像装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行う制御部と、を備える
撮像装置。
【請求項２】
前記計数部は、前記撮像素子が発生させる前記垂直同期信号の発生回数を前記第１の処理フレームのフレーム数として計数し、
前記制御部は、前記第１の処理フレームの垂直同期信号と前記第２の処理フレームの垂直同期信号が発生するタイミングを予め合わせ、前記他の撮像装置が前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を前記第２の処理フレームのフレーム数として計数する場合に、前記第２の撮像素子が前記垂直同期信号を発生させる度に前記他の撮像装置から受け取った前記第２の処理フレームのフレーム数と、前記第１の処理フレームのフレーム数との間で算出したフレーム数の差分値が複数のフレーム期間で一定である場合に算出した前記第２の処理フレームのフレーム数に前記複数のフレーム期間を加えたフレーム数を前記他の撮像装置が動作を開始するタイミングとして前記他の撮像装置に通知する
請求項１記載の撮像装置。
【請求項３】
前記制御部は、前記第１の処理フレームの期間内に前記第１の処理フレームのフレーム数を前記他の撮像装置に通知できない場合、又は前記他の撮像装置から前記第１の処理フレームの期間内に前記第２の処理フレームのフレーム数を受け取ることができない場合に、前記第１の処理フレームに続くフレーム期間にわたって前記第１の処理フレームのフレーム数を前記他の撮像装置に通知し、又は前記他の撮像装置から前記第２の処理フレームのフレーム数を受け取る
請求項２記載の撮像装置。
【請求項４】
前記制御部は、所定の回数以上にわたって求めた前記差分値とは異なる第２の差分値を前記所定の回数未満にわたって求めた場合に、前記第２の差分値を破棄する
請求項３記載の撮像装置。
【請求項５】
前記操作部の操作入力によって指示される動作には、撮像の開始若しくは停止のいずれかが含まれ、前記第１及び第２の処理フレームには、撮像フレーム又は再生フレームのいずれかが含まれる
請求項４記載の撮像装置。
【請求項６】
操作入力により動作を指示することと、
レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に前記第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御することと、
前記撮像素子が発生させる前記垂直同期信号の発生回数を計数することと、
制御信号を伝送する制御ラインで接続される他の撮像装置であって、前記他の撮像装置が有する第２の撮像素子が発生させ、前記他の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記他の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記他の撮像装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行うことと、を含む
同期制御方法。
【請求項７】
操作入力により動作を指示する操作部と、
記録部から読み出されて再生される映像信号の第１の処理フレームの間に挿入されている垂直同期信号の発生回数を計数する計数部と、
制御信号を伝送する制御ラインで接続される他の再生装置であって、前記他の再生装置が有する撮像素子が発生させ、前記他の再生装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記他の再生装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記他の再生装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行う制御部と、を備える
再生装置。
【請求項８】
操作入力により動作を指示する第１の操作部と、
レンズを介して入射する被写体の入射光により第１の処理フレームの間に挿入されている垂直同期信号毎に前記第１の処理フレームで映像信号を出力する第１の撮像素子を有する撮像部の動作を制御する第１の撮像制御部と、
前記第１の撮像素子が発生させる前記垂直同期信号の発生回数を計数する第１の計数部と、
制御信号を伝送する制御ラインで接続される第２の撮像装置であって、前記第２の撮像装置が有する第２の撮像素子が発生させ、前記第２の撮像装置から通知される第２の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第１の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第２の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記第２の撮像装置が所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示を前記第２の撮像装置に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行う第１の制御部と、を有する第１の撮像装置と、
レンズを介して入射する被写体の入射光により第２の処理フレームの間に挿入されている垂直同期信号毎に前記第２の処理フレームで映像信号を出力する第２の撮像素子を有する第２の撮像部の動作を制御する第２の撮像制御部と、
前記撮像素子が発生させる前記垂直同期信号の発生回数を計数する第１の計数部と、
前記第２の撮像素子が発生させる前記垂直同期信号の発生回数を計数する第２の計数部と、
前記第１の撮像装置に第２の処理フレームの間に挿入されている垂直同期信号の発生回数を通知し、前記第１の撮像装置から受け取った前記所定期間の経過後に指示された動作を開始するタイミング及び前記操作入力による指示に基づいて、前記操作入力がされた時点より前記所定期間の経過後に指示された動作を行う第２の制御部と、を有する第２の撮像装置と、を備える
立体映像撮像システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２０４９８７（Ｐ２０１２−２０４９８７Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６６２５４（Ｐ２０１１−６６２５４）
【出願日】平成２３年３月２４日（２０１１．３．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２４日（２０１１．３．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]