Chapter 3: 눈·조종기·컴퓨팅을 붙인다 — 카메라, 텔레옵, GPU, 치구

개요

카메라를 USB에 연결했다고 로봇 셀이 시각 학습 준비를 마친 것은 아니다. 화면에 VR 포즈가 보인다고 텔레오퍼레이션할 수 있는 것도 아니다. 유용한 단위는 동기화된 센싱·권한 시스템이다. 모든 영상에는 알려진 기하와 시간이 있어야 하고, 모든 조작자 명령에는 유효 상태가 붙어야 한다. 컴퓨팅은 동시 최대 부하에 맞춰야 하며, 물리 셀은 워크스테이션과 독립적으로 정지할 수 있어야 한다.

이 장은 이 시스템을 구매와 인수 시험의 언어로 바꾼다. 특정 고사양 워크스테이션 견적을 반복하지 않는다. 가져온 견적 대화는 질문 목록으로는 유용하지만 근거가 아니다. 현재 공식 사양과 원 논문으로 용량 등급을 정하고, 실제 셀의 측정값으로 그 등급이 충분한지 판정한다.

여기서 알고리즘은 의도적으로 뒤로 미룬다. 미래 VLA가 영상·언어·고유감각·행동을 함께 쓰더라도 잘못된 optical frame, 덮어쓴 timestamp, 테이블 충격에 움직이는 카메라 마운트를 고칠 수는 없다. RL·VLA·world model 자체는 #S12와 #S13의 주제다. 이 장은 그 모델이 물려받을 신뢰 가능한 데이터 평면을 만든다.

이 장을 읽고 나면... - headline 해상도가 아니라 과제 기하를 기준으로 fixed, wrist, RGB-D, stereo, triggered industrial camera를 고를 수 있다. - Meta Quest급 VR, handheld controller, SpaceMouse형 joystick, tracker, optical hand tracking, glove, mechanical leader가 실제 제공하는 움직임·피드백을 구분할 수 있다. - 동시 workload와 측정된 episode bandwidth로 GPU memory, host RAM, network, storage를 산정할 수 있다. - table, mount, cable relief, UPS, hardwired stop, guarding, operator access를 하나의 셀로 명세할 수 있다. - Codex에 simulator-only test, 명시적 failure state, safety 권한 금지를 포함한 bounded adapter·audit를 요청할 수 있다.

3.1 셀은 시간 인덱스를 가진 권한 그래프다

장치를 고르기 전에 그래프 두 장을 그린다. 데이터 그래프는 빛과 조작자 움직임에서 출발해 driver, timestamp, transform, buffer, recorder, model로 간다. 권한 그래프는 사람의 의도에서 출발해 clutch/deadman, workspace limit, IK 또는 retargeting, robot controller, 독립된 stop hardware로 간다. 한 구성요소가 데이터 그래프에서는 정상이어도 권한 그래프에서는 위험할 수 있다. Tracker는 신뢰도가 무효인데도 그럴듯한 숫자를 계속 보낼 수 있고, 카메라는 과거 queue의 timestamp를 가진 선명한 영상을 보여줄 수 있다.

각 stream에는 통합 전에 여섯 항목을 적는다. 물리량, 좌표계, clock, nominal rate, validity signal, stop decision owner다. “120 Hz hand pose”만으로는 부족하다. 어떤 landmark를 어느 frame으로 표현하고 어느 clock으로 stamp하며 어떤 confidence·tracking flag를 붙여 어떤 제한된 robot command로 바꾸는지가 있어야 interface contract다.

Transform graph는 frame 이름 모음이 아니라 시간 인덱스를 가진 그래프다 ^[8]. 이 사실은 구매 판단을 바꾼다. 단단한 camera bracket은 측정계의 일부다. PTP camera도 clock path 전체를 설계해야 쓸모가 있다. Wireless tracker에는 stale-pose policy가 필요하다. Leader device도 nominal mapping이 1:1이더라도 clutch가 필요하다.

그림 3.1 — 동기화된 sensing·authority architecture. 원본 개념도.

모든 장치에 한 장짜리 interface sheet를 만든다. Connector와 power, 지원 OS와 SDK version, frame convention, timestamp origin, calibration artifact, 예상 loss mode, simulator substitute를 기록한다. 이 문서는 Chapter 4의 입력이다. ROS 2 topic, TF, QoS, lifecycle state는 이 계약을 운반해야지 새로 발명해서는 안 된다.

3.2 카메라 기하: brochure가 아니라 과제를 본다

가장 작은 task feature와 가장 심한 occlusion에서 시작한다. Fixed overview camera는 robot reachable workspace 전체와 조작자 손이 들어올 margin을 봐야 한다. Wrist camera는 object·gripper·table과 충돌하지 않는 가장 가까운 거리에서 contact region을 분해해야 한다. Side camera는 overview view에 숨은 insertion error나 depth error를 보여야 한다. 같은 occlusion을 보는 중복 view 세 개는 multi-camera design이 아니다.

VLA-ready collection의 실용적 시작은 fixed oblique overview RGB 또는 RGB-D 한 대, wrist 또는 near-wrist view 한 대, bimanual·insertion용 lateral view 한 대다. Episode 사이 viewpoint를 고정한다. Calibration target을 table center뿐 아니라 실제 높이와 corner에 둔다. Intrinsics, distortion model, exposure, white balance, depth scale, camera-to-base와 camera-to-tool transform을 모두 versioned artifact로 저장한다.

RealSense D455는 depth 1280×720에서 최대 90 fps를 명시하고, OAK-D Pro는 on-device processing을 제공한다. 그러나 어느 headline도 robot-state timestamp alignment를 입증하지 않는다. ^{[14] [18]}

D455의 명시된 minimum operating range 0.6 m와 OAK-D Pro의 ideal depth range 시작점 0.7 m는 가까운 eye-in-hand geometry에 불리할 수 있다 ^{[14] [18]}. 제품을 배제하라는 뜻이 아니다. 구매 전에 실제 wrist-to-object distance를 재현하라는 뜻이다. 반사 tool, transparent container, dark object, repetitive texture, finger occlusion을 실제 sample로 시험한다. Stereo/depth camera 네 종 비교 연구도 성능이 scene·object 조건에 묶여 있음을 보여준다 ^[4].

해상도는 자원 예산이지 트로피가 아니다. 해상도가 올라가면 pixel throughput, VRAM, encoder load, storage, annotation cost도 올라간다. Lens, working distance, lighting, viewpoint를 고정한 뒤에도 task feature가 보이지 않을 때만 높인다. 많은 manipulation dataset에서는 oversized image 하나보다 안정된 기하와 시간이 더 재사용 가능한 근거를 만든다.

Calibration은 wizard가 아니라 실험이다

Intrinsic calibration은 ray가 pixel로 가는 mapping을, hand-eye calibration은 camera와 robot frame 사이 rigid transform을 구한다. AX=XB와 같은 고전식은 여전히 토대다 ^{[25] [23]}. 현대 workflow에는 pose diversity, held-out pose, uncertainty, periodic revalidation을 더해야 한다. Reprojection error가 낮아도 coverage 부족이나 target bias가 숨어 있을 수 있다 ^[31]. Uncertainty-aware 연구는 robot pose error를 정확한 상수로 취급하지 말아야 함을 강화한다 ^[28].

따라서 인수 시험은 fitting에 쓰지 않은 pose를 남긴다. Working volume 여러 영역에 known target을 두고 calibrated chain으로 위치를 예측한 뒤, 영역별 translation·orientation residual을 보고한다. Raw image, detected point, robot state, solver version, result, mounting photo를 저장한다. Mount 이동, lens refocus, wrist tool 교체가 생기면 관련 calibration을 명시적으로 무효화한다.

3.3 카메라 시간: clock뿐 아니라 사건을 동기화한다

Clock synchronization, exposure synchronization, data alignment는 서로 다르다. PTP는 device clock을 맞출 수 있고 hardware trigger는 exposure를 맞출 수 있다. 어느 쪽도 frame이 queue 없이 recorder에 도착한다고 보장하지 않는다. USB transport, decoding, GPU copy, middleware queue, batching이 exposure 이후 age를 더한다. Timestamp 관계와 end-to-end arrival delay를 함께 측정한다.

Hardware trigger와 PTP를 갖춘 global-shutter camera는 commodity RGB-D camera보다 감사 가능한 synchronization path를 만들 수 있지만 integration cost가 더 높다. PTP precision은 clock과 network 전체 설계에 달려 있다. ^{[1] [2] [4]}

대표 ace 2 model은 5 MP global-shutter, 2600×2160, default 65 fps, hardware trigger를 명시한다 ^[3]. 이는 triggered path의 근거이지 그 모델을 사라는 명령이 아니다. Lens, lighting, trigger wiring, network interface, storage test, 별도 metric-depth 전략이 필요하다. 반대로 slow pick-and-place에서는 측정된 alignment error가 task tolerance 안이라면 commodity RGB-D가 충분할 수 있다.

여러 stream에 동시에 보이는 visual 또는 electrical event로 timestamp audit를 한다. Logged signal로 켜는 LED, camera와 robot state가 함께 보는 moving wand, image와 motor data에 보이는 gripper closure가 예다. Offset, jitter, episode 중 drift, dropped frame, frame age의 95th/99th percentile을 구한다. 계획한 모든 camera와 recorder를 켠 상태로 반복한다. Unloaded test는 contention을 숨긴다.

제한된 Codex prompt — timestamp audit “이 repository에서 camera 세 대, robot joint state, teleoperation stream 하나를 위한 simulator-first timestamp audit를 설계해라. 먼저 현재 message schema와 clock source를 조사하라. Interface table, offset/jitter/drift/frame-age 측정 계획, synthetic delayed·reordered·missing sample test를 만들어라. Device API를 추측하지 말고, real hardware에 연결하지 말며, robot command를 내리지 마라. 모든 threshold는 configuration에 두고 clock provenance가 불명이면 audit를 fail하라. 관련 test 실행과 diff review로 끝내라.”

이 prompt는 마법의 synchronizer가 아니라 감사 가능한 도구를 요구한다. Human team이 task speed와 geometry에서 tolerance를 정해야 한다. Robot이 멈춰 있을 때 30 ms offset은 무의미할 수 있지만 빠른 contact에서는 치명적일 수 있다. 올바른 gate는 유행하는 latency 숫자가 아니라 task 공간의 spatial error다.

3.4 조작자 입력은 정보와 피드백으로 고른다

Teleoperation device는 네 독립 축이 있다. Absolute 대 incremental motion, hand/finger observability, operator feedback, embodiment match다. “VR 지원”은 어느 것도 답하지 않는다. Meta Quest급 headset·controller는 OpenXR runtime을 통해 mobile 6-DoF pose를 줄 수 있다. 그러나 robot adapter는 reference space, recentering, tracking validity, clutch, headset sleep·tracking-volume 이탈 시 동작을 정의해야 한다 ^[16].

Handheld 6-DoF controller는 Cartesian end-effector demonstration의 좋은 기본값이다. Button으로 clutch, gripper toggle, mode selection, deadman을 구현하기 쉽다. SpaceMouse형 장치는 책상에서 더 단순하고 bounded incremental motion에 잘 맞는다. Gamepad·3-axis joystick은 coarse mode에 저렴하고 견고하지만 translation·rotation 동시 제어에 mode switch 부담이 생긴다.

Leap Motion 같은 optical hand tracking은 controller를 없애고 finger landmark를 드러낸다. Dexterous hand retargeting prototype에 매력적이지만 self-occlusion, object occlusion, ambiguous contact, missing haptics가 핵심 문제가 된다. Glove는 joint sensing을 더 지속적으로 제공하고 visual occlusion에 강할 수 있지만 fit, calibration, wireless transport, battery, morphology mapping을 검증해야 한다. Prop나 handheld gripper에 붙인 tracker는 absolute rigid-body motion을 얻고 grasp state는 다른 sensor에 맡길 수 있다.

Mechanical leader는 가장 큰 commitment다. Joint correspondence, proprioception, 때로 force feedback을 직접 만들 수 있지만 workspace를 차지하고 hand/arm별 co-design이 필요하다. 자체 calibration, backlash, singularity, pinch hazard도 생긴다. 최근 DEXOP·DOGlove는 추가 hardware가 demonstration rate나 contact awareness를 높일 수 있음을 보여주지만 transparent bilateral teleoperation과 같지는 않다 ^{[6] [7]}.

Leap Motion Controller 2는 최대 120 fps를 명시하지만, 2024년 공식 notice에는 rotated view 또는 no tracking을 보인 unit이 기록돼 있다. ^{[26] [27]}

이 notice는 특정 batch 문제이므로 모든 unit에 일반화하면 안 된다. 그러나 중요한 negative evidence다. Commissioning에는 nominal frame-rate check뿐 아니라 known-pose sanity test와 tracking-loss test가 필요하다. 모든 consumer tracker에 같은 원칙을 적용한다.

MANUS Quantum Metagloves는 120 Hz sampling과 최대 7.5 ms signal latency를 명시하지만, 여기에는 transport, retargeting, IK, control, feedback latency가 포함되지 않는다. ^[19]

현재 product page는 Windows 지원, 제한된 wireless range, battery duration도 명시한다. 이를 integration constraint로 다룬다. Main robot workstation이 Ubuntu라면 별도 Windows capture host가 허용되는지, clock을 어떻게 맞추는지, packet을 어떻게 넘기는지, stale input이 무엇인지 정한다. Glove data rate는 robot loop rate가 아니다.

Robot ground truth를 이용한 독립 시험은 VIVE Ultimate Tracker precision이 operating condition에 따라 달라지며 모든 조건에서 fixed-camera capture와 같지 않음을 보여준다. ^{[12] [10]}

Inside-out tracking은 lighting, scene texture, occlusion, radio condition, runtime state에 의존한다. 실제 path와 speed에서 tracker를 시험하고 fixed-camera 또는 robot-ground-truth reference와 비교한다. Coarse teaching에는 훌륭한 장치가 millimeter insertion에는 부적합할 수 있다.

그림 3.2 — Leap Motion Controller 2 desktop 설치 예시. 출처: Ultraleap 공식 hand-tracking documentation; 교육적 공정 이용.

3.5 Pose에서 command로: IK보다 validity가 먼저다

Operator device가 무조건적인 “desired robot pose”를 바로 publish하면 안 된다. Raw observation, device frame, reference space, timestamp, validity flag, button, calibration version을 publish 또는 log한다. 별도 mapping layer가 clutch offset, scale, workspace bound, rate limit, robot-frame transform을 적용한다. IK·retargeting은 그 경계 뒤에 온다. Chapter 8에서 전체 leader–follower loop를 만들지만, 여기서는 이를 시험할 정보를 보존하는 것이 요구사항이다.

OpenXR는 reference-space와 tracking-state semantics를 노출하므로 adapter는 invalid tracking을 전달해야 하며 마지막 pose를 무기한 replay하면 안 된다. ^[16]

Tracking이 invalid하면 보통 새 motion target 생성을 중단하고, 이미 검증된 controller path를 통해 bounded hold를 요청하며, deliberate reacquisition을 요구한다. 정확한 stop behavior는 검증된 robot application design의 책임이다. Adapter는 safety controller가 아니다. “Hold last pose”도 last velocity replay나 integrated target 지속과 같지 않다.

SpaceMouse는 finger pose나 haptic contact 없이 six-DoF incremental motion을 제공하므로 glove 또는 mechanical leader와 동등하지 않다. ^{[9] [6] [7]}

이 제한은 종종 장점이다. Incremental input과 spring-centered device, clutch, conservative scale은 첫 통합에서 검사하기 쉽다. Absolute VR frame이나 hand retargeting을 더하기 전에 command path를 검증한다. DexPilot·AnyTeleop 같은 optical system은 더 넓은 arm-hand retargeting을 보여주지만 occlusion, morphology, no-force-feedback 한계도 드러낸다 ^{[11] [24]}.

제한된 Codex prompt — simulator-only OpenXR adapter “Repository의 현재 interface를 조사한 뒤 simulator-only OpenXR input adapter를 구현하라. Raw pose, reference-space identifier, timestamp, position/orientation validity, tracking flag, controller button을 보존하라. Configurable clutch, scale, workspace bound, velocity limit, watchdog를 추가하라. Tracking이 invalid 또는 stale이면 새 target을 내지 말고 explicit fault state를 노출하라. Fake runtime으로 recentering, discontinuity, packet loss, recovery를 시험하라. Real-robot transport를 추가하지 말고 기존 controller limit를 우회하지 말며 safety-rated라고 부르지 마라. Test 실행과 짧은 acceptance report로 끝내라.”

3.6 컴퓨팅은 prestige가 아니라 workload로 정한다

Workload를 네 가지로 나눈다. Robot I/O와 recording, visual simulation/rendering, policy inference, model training이다. Peak가 같은 시간에 올 수도 있고 다른 machine에 올 수도 있다. Robot I/O에는 predictable scheduling과 network isolation이 중요하다. Simulation에는 GPU memory와 rendering throughput, inference에는 bounded latency, training에는 memory capacity·utilization·recoverable job이 중요하다. 거대한 workstation 하나도 training이 GPU·storage·network를 포화시키면 나쁜 controller host다.

Isaac Sim 5.0은 minimum desktop tier로 32 GB RAM, RTX 4080급 GPU, 16 GB VRAM을 명시한다. 이는 모든 VLA workload에 충분하다는 사양이 아니다. Large model, multi-camera rendering, concurrent process에는 더 많은 memory가 필요할 수 있다. ^[21]

같은 공식 page는 64 GB RAM과 16 GB RTX 5080급을 “good”, 48 GB RTX PRO 6000 Blackwell급을 “ideal”로 제시한다 ^[21]. 이는 Isaac Sim platform tier이지 보편 구매 처방이 아니다. VLA training은 이를 넘을 수 있고 ROS 2 control·recording host는 훨씬 적게 필요할 수 있다. 2026 Isaac Sim paper도 platform description이며 benchmark condition을 일괄 workstation ranking으로 바꾸면 안 된다 ^[22].

가운데 등급은 vendor minimum이 아니라 engineering guidance다. 실제 scene·model에서 peak allocated/reserved GPU memory, host RAM, encoder, GPU utilization, thermal throttling, frame latency를 측정한다. Driver/runtime 변화의 headroom을 남긴다. Training이 드물다면 robot 옆에 최고급 GPU를 두기보다 remote capacity를 사는 편이 합리적일 수 있다.

Model-training environment에 emergency stop, protective stop, low-level safety path를 맡기지 않는다. Experiment orchestration은 restart 가능해야 한다. Model crash나 out-of-memory는 episode를 끝내야지 operator에게 command stream이 살아 있는지 추측하게 해서는 안 된다.

3.7 Network와 storage: episode를 재구성할 수 있게 한다

Network를 최소 두 논리 영역으로 설계한다. Latency-sensitive robot/control traffic과 high-volume camera/storage traffic이다. 작은 lab에서는 managed hardware를 공유할 수 있지만 VLAN, addressing, firewall, multicast, PTP, bandwidth assumption을 문서화한다. Industrial GigE camera는 긴 cable과 PTP를 제공할 수 있고 consumer USB camera는 contention을 host controller로 옮긴다 ^{[1] [2]}. Port 수만 세지 말고 실제 cable path와 USB root hub를 그린다.

Disk를 고르기 전에 uncompressed upper bound를 구한다. RGB stream의 초당 byte는

다. C는 bytes per pixel, f는 fps다. 1920×1080, 3-byte, 30 fps RGB stream 세 개는 약 560 MB/s, compression·container overhead 전 시간당 약 2.0 TB다. 1280×720, 16-bit, 30 fps depth stream 하나가 약 55 MB/s를 더한다. Compression은 크게 줄일 수 있지만 motion, noise, codec, quality에 따라 달라진다. 실제 p95 write bandwidth와 episode size를 측정한다.

Camera, robot, teleoperator, force, tactile stream에는 공통 episode clock과 calibration version이 필요하다. Sample rate만으로는 alignment를 재구성할 수 없다. ^{[2] [5] [8]}

Episode manifest에는 start/end time, task/reset ID, robot·end-effector configuration, device serial, firmware/driver version, calibration hash, clock source, topic/stream schema version, dropped-sample counter, operator intervention, stop/fault event, checksum을 넣는다. 가능하면 raw device observation을 보존한다. Mapping 오류를 고친 뒤 derived action을 다시 만들 수 있다.

UMI는 시험한 setup에서 1 cm 미만, 4도 미만 tracking error를 보고하고 relative trajectory와 latency matching을 명시한다. 이 측정은 다른 camera, robot, environment를 인증하지 않는다. ^[5]

UMI가 중요한 이유는 latency와 action representation을 사후 처리 문제가 아니라 data interface로 다루기 때문이다. FastUMI는 22개 task, 10,000개가 넘는 demonstration으로 collection을 확장하지만 tracker dependence는 여전히 hardware dependence다 ^[29]. DexUMI는 두 dexterous-hand platform에서 transfer를 보고하지만 hand-specific exoskeleton과 통제된 camera relation이 필요하다 ^[30]. Dataset을 만든 interface assumption을 함께 기록해야 한다.

그림 3.3 — 한 episode 안의 여러 시간과 provenance. 원본 개념도.

Storage lifecycle을 둔다. Acquisition에는 빠른 local NVMe, validation 뒤에는 immutable episode package, accepted episode에는 replicated project storage, rejected raw data에는 문서화된 deletion policy를 쓴다. Full disk, unplugged destination, permission error, partial episode 복구를 시험한다. 마지막 1분을 조용히 버리는 recorder는 data-integrity fault다.

3.8 테이블, 마운트, 전원, 독립 정지

물리 support는 안전과 데이터 품질을 함께 바꾼다. Flexible table은 robot base와 world camera의 상대 위치를 움직인다. Camera tripod는 configuration file을 바꾸지 않고도 밀릴 수 있다. 늘어진 wrist-camera cable은 payload를 바꾸고 pinch zone에 들어갈 수 있다. 차광하지 않은 광원은 시간에 따라 exposure를 바꾼다. Table, post, lighting, cable chain, fixture를 metrology hardware로 취급한다.

Manufacturer mounting pattern으로 robot을 고정하고 예상 acceleration에서 table stiffness를 확인한다. 가능하면 fixed camera를 robot base에 기준한 rigid structure에 단다. Adjustable joint에는 witness mark나 tamper indicator를 둔다. Power와 data를 가능한 분리하고 움직이는 transition마다 strain relief를 설치한다. Service loop는 reachable pinch·sweep volume 밖에 둔다.

현재 application-level safety standard는 tool, workpiece, layout, operation을 포함한 integrated robot application·cell에 안전 책임을 둔다 ^[15]. Collaborative-capable arm만으로 camera boom, sharp gripper, heavy fixture, operator access가 안전해지지 않는다. Qualified local risk assessment가 guarding, enabling, speed/force limit, validation을 결정한다.

UPS는 log 보존이나 shutdown을 위해 선택한 전자장치를 유지한다. 별도 설계·검증 없이는 safety function이 아니다. Robot controller, workstation, switch, camera, storage가 함께 ride through할지 정한다. Mixed behavior는 clean shutdown보다 나쁠 수 있다. Camera는 사라지는데 controller만 살아 있거나 recorder는 살아 있지만 clock master를 잃을 수 있다.

Operator가 robot path에 들어가지 않고 physical E-stop·enabling control에 닿게 배치한다. Software cancellation, protective stop, emergency stop을 개념·전기적으로 구분한다. Reset도 시험한다. Recovery에는 intentional action이 필요하고 queued teleoperation target이 replay되면 안 된다.

3.9 목적별 네 가지 조립안

다음 조립안은 Chapter 2의 arm·hand 목적을 확장한다. 고정 BOM이 아니라 인수 가능한 interface를 가진 시작점이다.

조립안 A — 저비용 학습과 pick/place

Low-cost leader–follower arm 또는 compact education arm, fixed RGB/RGB-D 한 대, mechanical leader 또는 simple gamepad를 쓴다. Modest computer로 640×480급 stream을 기록할 수 있다. 공식 SO-101 example은 640×480 30 fps를 쓰고 robot ID별 calibration을 보존한다 ^[13]. 단단한 작은 table, device에 맞는 physical power cutoff, casual access를 막는 enclosure를 둔다.

인수 목표는 industrial repeatability가 아니다. Calibrated leader·follower, 검증된 시간의 camera 한 대, 반복 가능한 reset-and-pick episode 20개, 설명 안 되는 dropped frame 0, 복구 가능한 dataset이라는 완결 loop다. High-speed contact, heavy payload, industrial safety function은 검증할 수 없다.

조립안 B — 신뢰할 ROS 2·MoveIt 연구

Supported research arm과 parallel gripper, overview RGB-D 한 대, compact wrist RGB 한 대, SpaceMouse 또는 handheld controller를 쓴다. Driver, visualization, recording을 GPU contention 없이 실행하는 capture/control host를 고른다. Managed switch, rigid camera post, calibration board, robot-rated base, E-stop integration, controlled access boundary를 더한다.

Hardware를 enable하기 전에 operator command 하나를 simulator 끝까지 통과시킨다. SpaceMouse는 hidden state가 적어 scaling, clutch, frame direction, rate limit, watchdog를 검증하기 좋다 ^[9]. Chapter 4에서는 이 physical interface contract를 ROS 2 node, topic, action, TF, lifecycle transition으로 바꾼다.

조립안 C — VLA-ready vision·teleoperation collection

Supported arm-hand pair, fixed overview·side camera와 wrist view, Quest급 OpenXR input 또는 tracked controller, vision/teleop 등급 workstation을 쓴다. Fast motion이나 cross-camera timing이 지배하면 hardware-trigger global-shutter를 정당화할 수 있다. 그렇지 않으면 검증된 RGB-D가 integration cost를 줄인다. 빠른 local acquisition storage, replicated project storage, calibration versioning, scene-independent clock audit를 둔다.

인수 목표는 policy score가 아니라 synchronized episode다. Manifest, p95/p99 frame age, clock drift, dropped-frame count, tracking-loss event, operator intervention, robot state와 image가 맞는 replay를 요구한다. 미래 language label·model output은 raw sensor provenance와 분리한다.

조립안 D — contact-rich dexterous manipulation

Chapter 2에서 payload, cabling, tactile access, spare, simulator asset을 인수한 torque-capable arm·dexterous hand를 쓴다. 여러 high-quality view와 force/tactile logging, calibrated glove·haptic glove·mechanical exoskeleton 중 하나를 더한다. Multi-camera replay와 learning에는 큰 GPU가 유용하지만 deterministic capture와 safe control은 독립적으로 유지한다.

Mechanical·haptic interface는 contact awareness를 높일 수 있지만 feedback이 자동으로 transparent·stable한 것은 아니다. 고전 teleoperation 연구는 delay 아래 stability–transparency tension을 보여준다 ^{[20] [17]}. Human·robot state, force limit, saturation, intervention을 함께 기록한다. 이 조립안이 비싼 이유는 compute만이 아니라 observability와 embodiment를 사기 때문이다.

3.10 인수일: synchronized episode 하나를 끝까지 만든다

조립안 C를 구체 walkthrough로 삼자. 먼저 robot, tool, camera post, lens, lighting, switch, clock을 고정한다. 셀 사진을 찍고 device ID, firmware, driver version을 기록한다. Intrinsics, fixed-camera extrinsics, wrist-camera hand-eye transform, controller-to-robot mapping을 calibration한다. 모든 chain을 held-out pose로 검증한다.

그림 3.4 — OAK-D Pro 공식 제품 이미지. 출처: Luxonis 공식 hardware documentation; 교육적 공정 이용.

둘째, robot disabled 또는 simulation 상태에서 실행한다. Controller를 workspace 전체로 움직이고 recenter를 두 번 수행한다. Tracker를 가리고 controller를 view 밖으로 빼고 runtime을 pause한 뒤 reconnect한다. Adapter가 각 invalid state를 노출해야 한다. Mapping은 새 target 생성을 중단해야 하고 recovery에는 clutch reacquisition이 필요하다. 전 과정을 기록한다.

셋째, 모든 camera와 recorder를 동시에 load한다. 대표 motion·lighting pattern을 계획 episode보다 길게 실행한다. Timestamp offset, drift, frame age, lost sample, CPU/GPU memory, temperature, write rate, storage growth를 측정한다. 별도의 safe test에서 disk boundary를 채워 acquisition이 명시적으로 실패하는지 확인한다.

넷째, qualified supervision과 autonomous policy가 없는 상태에서 power·stop을 시험한다. Software cancellation, protective behavior, physical E-stop, controlled UPS shutdown, restart를 각각 다른 case로 검증한다. Reset 뒤 buffered target이 실행되지 않아야 한다. 모든 process가 재시작됐다는 이유로 workstation이 셀이 안전하다고 판정해서는 안 된다.

마지막으로 scripted reset을 사용해 짧은 teleoperated trial을 최소 20개 기록한다. 같은 frame·calibration version으로 side-by-side replay한다. 움직임이 성공해 보여도 provenance가 빠진 episode는 거부한다. 이 gate 뒤에만 learning pipeline이 데이터를 읽게 한다.

인수 체크리스트

• [ ] 모든 camera에 intrinsics, distortion, exposure, serial, held-out residual report가 저장됐다.
• [ ] 모든 camera-to-base/tool, operator-to-robot transform에 version과 invalidation rule이 있다.
• [ ] Full concurrent load에서 offset, drift, p95/p99 frame age, dropped sample을 측정했다.
• [ ] Tracking invalidity, recentering, stale input, disconnect, deliberate reacquisition을 시험했다.
• [ ] 실제 workload에서 GPU/host memory, encoder, network, storage headroom을 측정했다.
• [ ] Episode manifest에 clock, calibration, schema version, fault, intervention, checksum이 있다.
• [ ] Robot base, camera, lighting, fixture, cable이 task 동안 기계적으로 안정됐다.
• [ ] UPS behavior, E-stop, protective behavior, guarding, reset, queued-command clearing을 독립 검증했다.
• [ ] Teleoperation target이 hardware에 가기 전에 simulator-only와 read-only test가 통과했다.
• [ ] Calibration, data integrity, network, safety validation, cell release의 실명 owner가 있다.

3.11 근거 경계, 논쟁, 기존 서베이와의 연결

Official datasheet는 connector, range, rate, supported platform claim의 일차 자료다. 독립 ranking은 아니다. Peer-reviewed 또는 primary experiment는 정의된 setup을 비교하지만 그 error·success number는 다른 room, camera, robot, controller를 인증하지 않는다. Company demo는 interface를 발견하는 데 유용하다. Task definition, denominator, failure accounting, reproducible setting이 없다면 acceptance threshold가 될 수 없다.

두 논쟁은 조건부로 남겨야 한다. 첫째, consumer RGB-D·inside-out tracking은 저렴하고 통합이 빠르다. Industrial trigger/PTP capture는 더 감사 가능하지만 비싸다. Slow pick/place는 전자가, fast multi-view contact-sensitive measurement는 후자가 유리할 수 있다. 둘째, optical input은 자유롭고 portable하다. Mechanical leader는 correspondence와 feedback을 주지만 embodiment-specific hardware를 요구한다. 답은 task tolerance와 data objective가 정한다.

이 장은 #S1의 commercial hand와 #S9의 simulator-era 맥락을 product list 복사 없이 갱신한다. 새 결론은 운영적이다. Hand, camera, simulator는 versioned interface와 measured acceptance gate를 통과해야 셀에 들어온다. Broad VLA·agentic robotics synthesis는 뒤로 미루지만 여기서 만든 data provenance와 authority boundary는 후속 volume의 전제다.

더 깊은 project-specific reading은 Terry의 UMI 노트(KO, EN), DexUMI 노트(KO, EN), DEXOP 노트(KO, EN)에서 볼 수 있다. 이 링크는 읽기 보조 자료이며 위 주장의 근거는 원출처다.

열린 질문과 반복되는 failure mode

Wireless runtime, 별도 OS, proprietary filtering이 사이에 있으면 end-to-end pose truth를 알기 어렵다. PTP는 unknown sensor pipeline을 고칠 수 없다. High-rate glove는 sensing하지 않는 contact force를 보여주지 못한다. Large GPU는 inconsistent camera geometry를 보상하지 못한다. Camera를 늘리면 occlusion은 줄지만 clock, calibration edge, storage, failure combination은 곱해진다.

Brand보다 symptom을 본다. Static overlay는 좋은데 moving overlay가 나쁘면 time error를 의심한다. Workspace 한 corner에서 consistent error가 나면 geometric coverage를 본다. Recenter 뒤 sudden jump는 reference-space handling 문제일 수 있다. Live view는 정상인데 replay가 틀리면 manifest나 queue fault다. Robot state는 안정적인데 operator validity가 없으면 adapter semantics가 위험하다. Maintenance 뒤 calibration drift는 추적하지 않은 physical change를 뜻한다.

제조 셀 적용 체크포인트

Part I을 끝내기 전에 cell-interface release를 freeze한다. Task envelope, camera field of view와 calibration residual, input device와 validity semantics, peak compute/load measurement, episode schema와 retention, network/clock topology, physical drawing, stop/guarding design, named owner를 담는다. Version을 부여하고 모든 experiment가 이를 인용하게 한다.

최소 go/no-go review에는 다섯 질문이 있다.

1. Task: 실제 speed·lighting에서 critical feature와 occlusion을 모두 관측할 수 있는가?
2. Authority: Input loss, stale state, recentering, saturation, reset 각각에 시험된 bounded outcome이 있는가?
3. Data: Raw stream, clock, transform, calibration, schema version으로 accepted episode를 재구성할 수 있는가?
4. Capacity: Full concurrent workload가 headroom을 두고 latency, memory, bandwidth, thermal, retention gate를 통과하는가?
5. Safety와 ownership: Software와 독립적으로 셀을 멈출 수 있고 qualified person이 integrated layout·recovery를 승인했는가?

답이 하나라도 불명이면 셀은 “거의 준비됨”이 아니다. Hardware authority를 넓히기 전에 실행할 named experiment가 남아 있는 것이다.

다음에 배울 것

Chapter 4는 이 hardware contract를 software motion으로 바꾼다. Camera·operator schema는 ROS 2 topic, long-running motion은 action, transform은 time-indexed TF edge가 된다. Driver에는 lifecycle state가 생기고 QoS·discovery가 workstation–robot network를 만난다. 다음 핵심 질문은 “pose를 어떻게 publish하는가?”가 아니다. “어느 process가 valid하고 timed된 observation을 bounded controller request로 바꿀 권한을 가지며 failure가 어떻게 보이는가?”다.

주석이 있는 연구 경로

아래 자료는 teleoperation, calibration과 data capture를 더 깊이 확인하기 위한 경로다. 성공률을 빌려오는 목록이 아니라, 어떤 가정·interface·실험을 원문에서 비교해야 하는지에 따라 묶었다. 각 결과는 해당 platform과 protocol에 한정해 읽는다.

참고문헌

1. Basler AG (2026a). Basler ace 2 Camera Family. 공식 제품 문서.
2. Basler AG (2026b). Precision Time Protocol for Basler GigE Cameras. 공식 기술 문서.
3. Basler AG (2026c). Basler ace 2 a2A2600-64ucBAS Specification. 공식 제품 사양.
4. Borghi et al. (2025). Empirical Comparison of Four Stereoscopic Depth Sensing Cameras for Robotics Applications. arXiv:2501.07421.
5. Chi et al. (2024). Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots. RSS 2024, arXiv:2402.10329.
6. Fang et al. (2025a). DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation. arXiv:2509.04441.
7. Fang et al. (2025b). DOGlove: Dexterous Manipulation with a Low-Cost Open-Source Haptic Force Feedback Glove. RSS 2025, arXiv:2502.07730.
8. Foote, T. (2013). tf: The Transform Library. IEEE TePRA. DOI: 10.1109/TePRA.2013.6556373.
9. Franka Robotics (2026). Franka SpaceMouse Teleoperation Example. 공식 repository.
10. Grunwald et al. (2024). Evaluating the Precision of the HTC VIVE Ultimate Tracker under Varied Conditions. arXiv:2409.01947.
11. Handa et al. (2020). DexPilot: Vision-Based Teleoperation of Dexterous Robotic Hand-Arm System. ICRA 2020, arXiv:1910.03135.
12. HTC VIVE (2026). VIVE Ultimate Tracker Developer Guidelines and Product Support. 공식 개발 문서.
13. Hugging Face LeRobot / TheRobotStudio (2025). SO-101 Hardware and Calibration Guide. 공식 문서.
14. Intel RealSense (2025). Intel RealSense D455 Product Specification. 공식 제품 사양.
15. ISO (2025). ISO 10218-2:2025 Robotics — Safety Requirements — Part 2. International Standard, edition 3.
16. Khronos Group (2024). OpenXR 1.1 Specification. 공식 specification.
17. Lawrence, D. A. (1993). Stability and Transparency in Bilateral Teleoperation. IEEE Transactions on Robotics and Automation. DOI: 10.1109/70.258054.
18. Luxonis (2025). OAK-D Pro Technical Specification. 공식 제품 사양.
19. MANUS (2026). MANUS Quantum Metagloves Technical Specifications. 공식 제품 문서.
20. Niemeyer, G., and Slotine, J.-J. E. (1991). Stable Adaptive Teleoperation. IEEE Journal of Oceanic Engineering. DOI: 10.1109/48.64895. [Niemeyer & Slotine, 1991]
21. NVIDIA (2025). Isaac Sim 5.0 System Requirements. 공식 platform requirements.
22. NVIDIA Isaac Sim Team (2026). NVIDIA Isaac Sim: Enabling Scalable, GPU-Accelerated Simulation for Robotics. arXiv:2606.03551.
23. Park, F. C., and Martin, B. J. (1994). Robot Sensor Calibration: Solving AX=XB on the Euclidean Group. IEEE Transactions on Robotics and Automation. DOI: 10.1109/70.326576. [Park & Martin, 1994]
24. Qin et al. (2023). AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System. RSS 2023. DOI: 10.15607/RSS.2023.XIX.015.
25. Tsai, R. Y., and Lenz, R. K. (1989). Position and Orientation Calibration of a Robot Camera as a Pan-Tilt Unit. IEEE Transactions on Robotics and Automation. DOI: 10.1109/70.34770. [Tsai & Lenz, 1989]
26. Ultraleap (2024a). Leap Motion Controller 2 Datasheet. Issue 15.
27. Ultraleap (2024b). Leap Motion Controller 2 December 2024 Calibration Notice. 공식 support notice.
28. Ulrich, M., and Hillemann, M. (2024). Uncertainty-Aware Hand–Eye Calibration. IEEE Transactions on Robotics 40. DOI: 10.1109/TRO.2023.3330609. [Ulrich & Hillemann, 2024]
29. Wu et al. (2024). FastUMI: A Scalable and Hardware-Independent Universal Manipulation Interface with Dataset. arXiv:2409.19499.
30. Xu et al. (2025). DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation. CoRL 2025, PMLR 305.
31. Zhang, Z. (2000). A Flexible New Technique for Camera Calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. DOI: 10.1109/34.888718.