Part II: 로봇 소프트웨어 스택을 이해한다

Chapter 6: 시뮬레이터는 하나가 아니다 — Isaac Sim, Isaac Lab, MuJoCo의 역할

집필일: 2026-07-14 최종수정일: 2026-07-14

개요

“어떤 simulator를 설치할까?”는 첫 질문으로 적절하지 않다. Tabletop project에는 robot/scene asset, RGB·depth rendering, rigid/contact dynamics, 수천 개 parallel learning environment, ROS 2 integration과 regression test가 필요하다. 한 product가 여러 역할을 할 수 있지만 모든 역할에서 자동으로 최고가 되지는 않는다. Simulator 선택은 brand contest가 아니라 책임 배치다.

NVIDIA stack은 layer로 보면 쉽다. OpenUSD는 composed scene을 표현하고, Isaac Sim은 sensor·asset·physics·ROS bridge를 포함한 robotics application이며, Isaac Lab은 task와 learning environment layer다. PhysX 또는 emerging Newton이 physics 책임을 실행한다. MuJoCo는 compact MJCF model과 control/contact experiment에 강한 별도 stack이고, MJX와 MuJoCo Playground는 batched learning workflow를 확장한다. 이름이 겹쳐 보여도 동의어가 아니다.

이 장은 sensor-rich digital twin과 GPU learning에서 Isaac이 강한 때, RL·contact-rich·in-hand manipulation에서 MuJoCo가 필요한 이유, 두 engine을 fragile live co-simulation 없이 연결하는 방법을 설명한다. 상태는 2026-07-14 기준이다. 결과는 (Chapter 7)의 first-motion runbook에 쓰는 staged install/validation plan이다.

이 장을 읽고 나면... - asset, application, learning environment, physics, ROS와 validation 책임을 component별로 배치할 수 있다. - classical test, RL, imitation/VLA data, agentic robotics에 맞는 simulator workflow를 고를 수 있다. - contact-rich task에 MuJoCo가 유용한 이유와 sensor/digital twin에서 Isaac Sim이 강한 이유를 설명할 수 있다. - URDF, USD, MJCF 사이에서 invariant를 검사하며 robot model을 옮길 수 있다. - asset, task semantics, dataset, checkpoint와 log로 engine을 연결할 수 있다.

1. NVIDIA stack을 역할로 분해한다

OpenUSD, Isaac Sim, Isaac Lab, PhysX 또는 Newton은 서로 바꿔 부르는 product name이 아니라 각각 asset, application, learning layer와 physics responsibility다 [1] [5] [3] [4]. OpenUSD는 prim, reference, variant, transform과 schema를 compose한다. Isaac Sim은 scene authoring, sensor, articulation, physics, synthetic data와 ROS 2를 묶는다. Isaac Lab은 observation, action, reward, reset과 parallel environment를 구조화한다. Backend가 dynamics와 contact를 계산한다.

이 구분은 두 오해를 막는다. USD asset이 load됐다고 dynamics가 검증된 것이 아니고, learning environment가 simulator kernel인 것도 아니다. Importer, application, task code, physics backend 중 하나만 바뀌어도 result가 달라질 수 있으므로 각 layer의 version과 owner를 남긴다.

Isaac Sim의 sensor rendering과 ROS 2 bridging은 그것을 robot safety controller로 만들지도, contact fidelity를 입증하지도 않는다 [5] [5] [19]. Bridge는 image, joint, clock을 publish하고 simulated command를 받을 수 있지만 real arm·tool·table·stop path를 certify하지 않는다. Photoreal image도 friction, compliance, tendon과 impact accuracy의 증거가 아니다.

책임 기본 component PASS evidence 뜻하지 않는 것
Scene composition OpenUSD path, unit, variant, reference 안정 inertia/contact 정확성
Robotics app Isaac Sim robot, sensor, bridge, reproducible scene learning throughput/safety
Learning task Isaac Lab observation/action/reward/reset test physics fidelity
Dynamics PhysX/Newton config held-out trajectory/contact metric sensor realism
Real integration ROS 2/vendor controller interface/timing match simulator safety authority
그림 6.1. OpenUSD의 scene composition, Isaac Sim의 robotics application, Isaac Lab의 task semantics, PhysX 또는 experimental Newton integration의 physics 책임을 분리한다. Newton Project 1.0 standalone release와 Isaac integration은 같은 지원 상태로 취급하지 않으며, 실제 vendor controller와 safety authority는 simulator 밖에 둔다.

그림 6.1 — NVIDIA simulation stack의 책임 경계와 실제 제어·안전 경계. 원본 개념도.

2. Isaac Sim과 Isaac Lab으로 시작할 때

핵심 risk가 scene과 sensing이면 Isaac Sim이 자연스럽다. 여러 RGB/depth camera, lighting, occlusion, calibration, synthetic data, fixture와 digital-twin review가 대표적이다. Team이 USD asset을 유지하고 perception, planning, operator visualization과 learning에 같은 scene을 써야 할 때도 좋다. 같은 scene에서 많은 task instance와 rollout이 필요하면 Isaac Lab을 붙인다 [14] [5].

Classical planning에서는 joint direction, collision geometry, TCP, camera frame, planning scene과 ROS command/state interface를 검증한다. 처음부터 visual quality를 높이지 않는다. Scale/collision이 맞는 gray-box scene이 inertial이 틀린 아름다운 scene보다 낫다.

Imitation/VLA에서는 camera coverage, observation schema, action representation, timestamp alignment와 dataset writer를 시험한다. Synthetic image는 perception augmentation이지 real calibration과 failure data의 대체물이 아니다. Agentic robotics는 high-level task dry run과 recovery-state test에 simulator를 쓰되 LLM을 servo/safety loop에 넣지 않는다.

4.5 migration 과정의 Isaac Lab namespace와 workflow 변화 때문에 tutorial version pinning은 필수다 [3]. 오래된 tutorial을 current install에 복사하면 package name, import, config 또는 workflow 차이로 실패한다. Isaac Sim, Isaac Lab commit/release, CUDA/OS, driver, asset과 example branch를 한 tuple로 고정한다.

Newton 1.0은 2026년 3월 released software가 되어 cutoff에서 beta-only description을 대체했다 [6] [7] [4]. 2025 beta article은 현재 support contract가 아니다. 그래도 Newton은 task별로 qualification할 backend이지 측정 없이 stable PhysX experiment를 다시 쓰라는 이유가 아니다.

Isaac 설치 ladder

  1. OS, GPU/driver, Isaac Sim/Lab, backend, ROS 2와 repo revision을 고정한다.
  2. Custom robot 전에 official minimal example을 실행한다.
  3. Static robot에서 meter, axis, limit, mass, collision을 확인한다.
  4. ROS 없이 joint 하나를 command해 sign/state를 본다.
  5. Camera 하나를 추가해 intrinsic, extrinsic, stamp, depth unit과 frame을 검증한다.
  6. ROS bridge를 추가해 Chapter 4의 interface/time gate를 재실행한다.
  7. Standalone scene invariant가 통과한 뒤 Isaac Lab task를 붙인다.
  8. Throughput tuning 전 deterministic seed와 short trajectory regression을 저장한다.

3. MuJoCo가 필요한 이유와 시점

연구 질문이 compact dynamics, control, contact, tendon, equality constraint, actuator semantics와 parameter iteration에 집중되면 MuJoCo가 유용하다 [8]. In-hand manipulation, underactuated/tendon hand, force/impedance와 camera realism보다 control step이 중요한 RL이 이에 해당한다. Isaac에서 contact가 불가능하다는 뜻이 아니라 MuJoCo가 필요한 model/solver knob를 더 작고 직접적인 experiment surface로 줄 수 있다는 뜻이다.

MJCF는 actuator, tendon, constraint, friction loss, force range와 solver parameter를 노출해 compact dynamics/contact experiment를 가능하게 한다 [9] [8]. URDF가 link/joint kinematics를 주더라도 dexterous hand에는 MJCF-specific coupling, tendon, contact와 sensor semantics가 필요할 수 있다. Parameter가 많다는 것은 측정 기회이자 demo에 overfit할 위험이다.

Contact-rich hand에는 task success보다 작은 probe가 필요하다. Free-fall energy, joint step response, fingertip force–displacement, static friction threshold, slip, tendon coupling, grasp hold와 short trajectory를 hardware와 비교한다. Policy success는 잘못된 contact model의 exploit를 숨길 수 있다.

MJX와 MuJoCo Playground는 batched learning을 가속하지만 feature parity와 numerical behavior는 environment별로 확인해야 한다 [10] [11]. Small CPU MuJoCo reference와 reset, one-step transition, termination, reward component, short rollout을 비교한 뒤 scale한다. Backend, precision, solver, batch와 hardware를 보고한다.

보고된 MuJoCo-Warp의 MJX 대비 475-fold manipulation speedup은 hardware/task-specific이며 universal accuracy ranking이 아니다 [6]. 다른 GPU, hand, solver, batch와 contact workload에 multiplier를 옮기지 않는다. Local benchmark에는 throughput 옆에 fidelity와 stability를 둔다.

MuJoCo가 매력적인 때 Acceptance test 경고
Tendon/coupled hand joint–tendon mapping, force visual match로 불충분
In-hand contact slip, force, penetration, replay solver overfit 가능
Batched RL CPU/GPU transition/reward parity throughput task-specific
Controller 연구 step, delay, saturation sim torque와 vendor loop 다름
그림 6.2. MuJoCo Playground technical report가 제시한 다양한 environment와 실제 하드웨어 transfer 사례의 개요. Humanoid, quadruped, LEAP hand와 Franka arm이 포함되지만, 이 그림 자체는 특정 custom model의 fidelity나 sim-to-real 정확도를 입증하지 않는다.

그림 6.2 — MuJoCo Playground가 다루는 환경·플랫폼 범위. 출처: Zakka et al., MuJoCo Playground technical report, Figure 1.

4. URDF, USD, MJCF는 geometry를 공유해도 semantics가 다르다

URDF는 link, joint, inertial, visual, collision과 extension을 담는 일반적 robot description이다. USD는 scene composition과 physics schema를 포함하고, MJCF는 MuJoCo simulation/actuator/contact semantics를 담는다. Conversion은 file-format 번역이 아니라 model reconstruction과 test다.

URDF, USD와 MJCF는 겹치지만 drive, contact, tendon, constraint와 sensor semantics가 다를 수 있다 [12] [13] [9]. Importer가 drive gain을 추론하거나 fixed joint를 merge할 수 있고 exporter가 USD feature를 보존하지 못할 수 있다. Canonical engineering source와 backend overlay를 유지하고 반복 round-trip을 피한다.

Invariant Cross-format test Failure 의미
Topology name, parent, type, axis kinematics 변경
Geometry bounding box, known distance unit/mesh transform 오류
Limits position/velocity/effort command envelope 변경
Dynamics mass, CoM, inertia, free response backend divergence
Actuation sign, gain, saturation, coupling action semantics 다름
Contact pair, friction, compliance, penetration 아직 task 비교 불가
Sensors frame, unit, rate, noise, stamp observation mismatch

Vendor URDF를 seed로 USD에 import한 뒤 drive/material/sensor를 명시적으로 보강한다. 같은 measured kinematics/inertial에서 MJCF를 만들고 actuator/tendon/contact를 추가한다. 모든 source field와 override mapping을 manifest에 남긴다.

5. Isaac과 MuJoCo는 contract와 data로 연결한다

Isaac과 MuJoCo는 보통 live lockstep으로 실행하기보다 validated asset, task semantics, trajectory, checkpoint와 log를 교환한다 [12] [9] [10]. Universal bidirectional converter 근거도 없다. Live co-simulation은 clock, step order, state reconciliation, latency와 contact ownership을 추가한다. 한 timestep에 두 engine이 정말 필요하지 않으면 offline/episode handoff가 더 auditable하다.

Shared contract에는 observation name/unit/frame/rate/normalization, action frame/controller/scale/clipping/delay, reset/randomization/termination/reward/success, asset/calibration/identification version, probe trajectory/seed/episode schema, checkpoint backend metadata를 넣는다.

MuJoCo에서 train하고 Isaac에서 camera/perception integration을 검증하거나, Isaac Lab에서 train하고 MuJoCo를 independent dynamics check로 쓸 수 있다. 두 번째 engine은 reality proof가 아니라 backend exploit detector다. Deployment는 real held-out test를 별도로 통과한다.

6. Brand가 아니라 experiment로 고른다

Photorealistic sensing, dynamics fidelity, contact fidelity와 RL throughput은 별개 축이며 universal winning engine은 없다 [5] [8] [14] [15]. 각 축을 task metric으로 평가한다. TACTO는 dedicated tactile sensing layer의 필요를 보여 주며 모든 engine의 tactile fidelity가 같음을 뜻하지 않는다 [15].

Experiment 첫 stack 두 번째 check 처음 최적화하지 않을 것
Classical planning/ROS URDF→MoveIt + Isaac/Gazebo scene fake hardware/real state RL throughput
Sensor digital twin USD+Isaac Sim+ROS bridge real calibration log contact reward
GPU RL Isaac Lab 또는 maintained MJX CPU/other-engine transition photoreal material
Contact-rich hand RL MJCF/MuJoCo 또는 qualified Newton hardware force/slip probe headline FPS
Imitation/VLA Isaac sensor scene+real episode schema real replay synthetic volume
Agentic robotics task/recovery sandbox deterministic API test LLM servo/safety

Tactile-skin sim-to-real 사례는 Terry의 한국어영어 글에서 볼 수 있다. ExoStart의 sensorized human interface는 한국어영어로 연결된다. Simulator action과 real demonstration interface가 같은 semantics인지 확인할 때 유용하다.

7. 단계별 설치와 검증 workflow

A. 설치 전 contract

Task, observation, action, reset, success, controller와 deployment interface를 쓴다. Geometry/sensing, contact/control, parallel learning 중 primary risk를 고르고 primary engine 하나와 optional checker 하나를 정한다. Hardware, OS, GPU driver, simulator, backend, Python, ROS와 asset version을 pin한다.

B. Static/one-step

Task 없이 robot 하나를 load하고 invariant를 확인한다. 작은 joint command에서 sign, limit, state와 timestep을 본다. Gravity/free response 뒤 tool, object, contact, sensor, ROS bridge를 하나씩 추가한다.

C. Common regression

Named pose, free-space trajectory, joint step, object drop, static grasp, slip ramp, camera calibration target와 reset determinism을 실행한다. State/action trajectory와 config를 저장한다. Cross-engine difference는 bitwise identity가 아니라 task tolerance로 평가한다.

D. Learning scale

One environment→small batch→production batch 순으로 간다. Reward decomposition, termination, NaN/penetration, determinism, memory와 steps/s를 비교한다. Semantics가 pass한 뒤 throughput을 optimize한다.

E. Policy validation

Training engine의 held-out seed/range, 필요하면 second engine, recorded real trajectory, supervised hardware 순으로 평가한다. 같은 observation/action wrapper를 쓰고 mismatch를 기록한다. Simulator가 real motion을 authorize하지 않는다.

Gate PASS artifact Stop condition
Install version manifest/minimal example unsupported tuple
Asset cross-format invariant report axis/unit/mass mismatch
Dynamics probe/error budget unexplained energy/contact
Sensors intrinsic/extrinsic/time/noise report frame/unit/stamp mismatch
Learning transition/reward/termination parity backend semantics 차이
ROS fake command/state/clock trace duplicate authority/stale state
Policy held-out/real-gated report simulator-only success
그림 6.3. Canonical measurement와 engineering source에서 USD/Isaac 및 MJCF/MuJoCo overlay를 따로 만들고, engine별 invariant probe와 공통 task schema를 통과시킨다. Engine 사이는 asset, trajectory, checkpoint, log, episode를 offline으로 교환하고 held-out replay와 divergence check 뒤 supervised hardware로 간다.

그림 6.3 — Universal converter나 live lockstep을 가정하지 않는 cross-engine asset·data·evaluation bridge. 원본 개념도.

8. 목적별 네 가지 실제 workflow

Classical planning/ROS 검증

Classical cell에서는 ROS/MoveIt interface를 authoritative contract로 둔다. Arm과 installed tool을 Isaac Sim 또는 scene simulator에 넣되 success를 visual similarity가 아니라 joint name, TF, collision, controller action과 trajectory replay로 판단한다. Learning framework는 필요 없다. Home, pre-grasp, obstacle avoidance, cancel, collision rejection을 같은 scene hash와 bag으로 재현하는 것이 deliverable이다. Simulator joint state를 real driver와 같은 topic/action contract로 노출하더라도 speed scaling, protective stop과 vendor interpolation은 mock 범위 밖이라고 명시한다.

GPU RL

State transition과 reward를 사람이 검사할 수 있는 environment 하나에서 시작한다. Isaac scene, sensor와 GPU physics가 task를 정의한다면 Isaac Lab이 자연스럽다. Maintained MuJoCo environment와 compact contact/control model이 중심이면 MJX/Playground가 자연스럽다. Reset distribution, action clipping, observation normalization, reward component와 termination이 written contract와 맞은 뒤 batch를 늘린다. Aggregate steps/s만 보고하지 말고 simulated seconds per wall-clock second, invalid contact, NaN, reset rate와 memory를 함께 본다. 지나친 substep으로 숫자만 커지면 useful throughput이 아니다.

Policy가 training backend의 numerical artifact를 쓰는지 검사하려면 solver, timestep, friction 또는 delay를 작은 범위에서 바꾸고 behavior를 본다. 이 randomization은 measured uncertainty 뒤에 온다. 실제 근거 없이 모든 parameter를 넓게 흔들면 task가 다른 문제가 되고 policy failure 원인을 해석할 수 없다.

Imitation/VLA data

Episode schema를 engine 사이의 shared product로 둔다. Isaac은 wrist/external camera와 occlusion을 render하고, MuJoCo는 recorded action 아래 dynamics를 검증할 수 있다. 두 engine은 action reference frame, unit, timestamp, camera calibration ID, task phase와 termination을 똑같이 소비해야 한다. Named checkpoint에서 pose, joint, contact와 image timestamp divergence를 비교한다.

Synthetic episode의 volume 자체는 deployment evidence가 아니다. Real camera noise, exposure, depth hole, operator delay, failed grasp와 intervention label에 어떤 대응이 있는지 적는다. VLA model이 scene description을 잘 이해해도 action wrapper가 real controller semantics와 다르면 deployment할 수 없다. Simulation에서는 stale observation, missing camera, delayed action과 rejected command를 episode failure로 기록해 downstream model이 “아무 일도 없었다”로 학습하지 않게 한다.

Contact-rich dexterous hand

Joint zero, coupling, fingertip geometry, actuator response와 representative friction을 측정한 뒤 MJCF 또는 qualified Isaac/Newton model을 만든다. Free joint motion, tendon coupling, static grasp, slip, rolling, impact를 하나의 task success로 합치지 않고 별도 probe로 둔다. Probe가 통과한 뒤 training하고, action/observation equivalence가 입증된 경우에만 second backend에서 policy를 replay한다. 마지막은 reduced-energy hardware다.

Cross-engine success가 real force trace에서 실패하면 policy success가 아니라 model failure다. 반대로 contact trajectory가 조금 달라도 task-relevant slip margin과 force peak가 acceptance 안이면 bitwise agreement는 필요 없다. Metric은 task risk에 맞춰 정한다.

Workflow Authoritative artifact 최소 regression 다음 단계 조건
Classical ROS interface + scene hash named pose, collision, cancel fake/sim trajectory semantics 일치
RL task schema + backend tuple one-step, reward, reset, rollout small batch 안정 후 scale
Imitation/VLA episode schema + calibration recorded-action replay/time hidden conversion 없이 field 일치
Dexterous contact measured model + probes force, slip, coupling, penetration held-out hardware error budget 통과

9. Bounded Codex prompt


내 task, robot file, sensor, ROS interface, learning requirement와 제공한 공식 version
문서만 읽어라. 설치하거나 파일을 수정하지 말라. Need를 asset/scene, sensor rendering,
dynamics/contact, batched learning, ROS integration, validation으로 분류하라.

Primary simulator 하나와 checker 최대 하나를 추천하고 exact tuple, evidence, missing
feature, test, stop condition을 적어라. Rendering에서 fidelity를, marketing에서 throughput을
추론하지 말라. Decision table과 minimal staged install plan을 반환하라.

URDF, USD metadata/export report, MJCF를 read-only로 비교하라. Link, joint, axis, limit,
inertial, collision, drive/actuator, tendon/coupling, contact, sensor, frame mapping을 만들고
lost/inferred/backend-only/unknown을 표시하라. Asset을 자동 rewrite하지 말라.

Human이 canonical source와 overlay를 승인할 수 있도록 invariant test, tolerance와 blocker를
반환하라. Live co-simulation bridge나 real hardware connection은 만들지 말라.

Simulator/fake interface에서 named pose, joint step, trajectory, object drop, static grasp,
slip ramp, reset, observation/action, reward, termination regression을 제안하라. Seed,
timestep, solver, precision, version을 pin하라. Comparable episode summary를 저장하고
task metric으로 mismatch를 표시하라. Test 통과를 위해 collision/force limit을 약화하지 말라.

10. 근거 등급, 논쟁점과 한계

OpenUSD, Isaac, Newton, MuJoCo, importer와 Playground claim은 공식 documentation/repository를 썼다. Dynamics, GPU simulation과 tactile simulation은 primary paper를 썼다. Vendor throughput은 특정 configuration 보고이지 independent accuracy ranking이 아니다.

Isaac 대 MuJoCo는 조건부다. Scene composition, sensor realism, ROS integration과 한 GPU workflow가 중요하면 Isaac이 강하다. Compact actuator/tendon/contact semantics와 control iteration이 중요하면 MuJoCo가 강하다. Task/action/observation과 validation metric을 고정한 뒤 비교한다.

Throughput과 fidelity는 한 축이 아니다. 빠른 step은 randomization을 늘리지만 missing feature와 다른 numerics가 있을 수 있다. 느린 calibrated contact model이 특정 hand에는 더 유용하고, approximate high-throughput model이 robust search에는 맞을 수 있다. Speed와 held-out error를 함께 보고한다.

한계: version은 2026-07-14 이후 바뀐다. 공식 문서는 모든 contact를 independent validate하지 않는다. Converter는 incomplete하고 tactile/deformable behavior는 model-specific이다. Second engine도 reality가 아니며 simulator success는 cell risk assessment와 vendor safety를 대신하지 않는다 [19].

제조 셀 적용 체크포인트

Camera-guided pick cell에서는 USD/Isaac Sim을 fixture/sensor layout에, MoveIt/ROS를 interface regression에, real log를 calibration truth에 배치한다. Gripper가 free-space close만 하면 MuJoCo 이득이 작을 수 있다. Slip-sensitive in-hand 연구로 바뀌면 같은 action/episode schema를 유지하며 MJCF hand/object와 contact probe를 추가한다.

asset_version, backend/version, timestep/solver, randomization, calibration_id, observation_schema, action_schema, controller_model, seed, probe_metrics, checkpoint, real_episode_id를 기록한다. Asset, physics, learning, ROS, calibration과 safety owner를 분리한다.

결정 PASS evidence Owner
Primary role named risk/metric 하나 experiment lead
Asset equivalence invariant report asset owner
Physics held-out trajectory/contact budget physics owner
Sensors real calibration/noise 비교 perception owner
Learning reward/action/reset parity, local throughput learning owner
Integration ROS/fake regression integration owner
Deployment supervised real gate, independent stop robot/safety owner

다음에 배울 것

Simulator 역할과 handoff가 정해졌다. Chapter 7에서는 static description, fake controller, physics simulation, drives-disabled connection, 작은 joint motion, Cartesian motion과 grasp 순으로 first movement를 실행한다. Simulator는 다음 gate를 authorize하지 않고 human-owned runbook에 evidence를 제공한다.

넘어가기 전에 primary engine 하나, 그것이 검증하지 못하는 것, simulation과 reality에서 공통 실행할 probe 세 개를 적는다. 모든 simulator를 설치하는 것보다 이 작은 error budget이 더 유용하다.

주석이 있는 연구 경로

아래 자료는 simulator scope, sensor model과 fidelity를 더 깊이 확인하기 위한 경로다. 성공률을 빌려오는 목록이 아니라, 어떤 가정·interface·실험을 원문에서 비교해야 하는지에 따라 묶었다. 각 결과는 해당 platform과 protocol에 한정해 읽는다.

경로 연결된 primary source 읽을 때의 질문
기초와 정의 TacEx: GelSight Tactile Simulation in Isaac Sim; A Survey of Sim-to-Real Methods in RL; Sparsh: Self-Supervised Touch Representations for Vision-Based Tactile Sensing; Planning Through Contact: A Unifying Approach to Manipulation; Solving Rubik’s Cube with a Robot Hand; Brax: A Differentiable Physics Engine for Large Scale Rigid Body Simulation 용어와 system boundary를 원 논문의 model·assumption으로 확인한다.
구현과 측정 X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real; Learning Quadrupedal Locomotion via Differentiable Simulation; AnyTouch: Learning Unified Static-Dynamic Representation across Multiple Visuo-Tactile Sensors; Preparing for the Unknown: Learning a Universal Policy with Online System Identification; dm_control: Software and Tasks for Continuous Control; EmbodieDreamer: Real2Sim2Real via Embodied World Modeling hardware, dataset, controller와 metric이 이 장의 workflow에 실제로 대응하는지 확인한다.
반례와 확장 Human2Sim2Robot: Crossing the Human-Robot Embodiment Gap with Sim-to-Real RL using One Human Demonstration; Humanoid-Gym: Reinforcement Learning for Humanoid Robot with Zero-Shot Sim2Real Transfer; V-REP: a Versatile and Scalable Robot Simulation Framework; Learning Dexterous In-Hand Manipulation; SAPIEN: A SimulAted Part-based Interactive ENvironment; Can Context Bridge the Reality Gap? 다른 embodiment와 task에서 무엇이 깨지는지 비교하고 universal threshold로 일반화하지 않는다.

참고문헌

  1. OpenUSD (2026). OpenUSD Documentation. Official documentation.
  2. NVIDIA et al. (2026). NVIDIA Isaac Sim Reference Architecture. arXiv:2606.03551.
  3. Isaac Lab (2026). Isaac Lab Migration Guide. Official documentation.
  4. Newton (2026a). Newton Physics Repository. Official repository.
  5. NVIDIA (2026a). Isaac Sim ROS 2 Bridge. Official documentation.
  6. NVIDIA (2026b). Newton 1.0 Contact-Rich Manipulation. Official release.
  7. NVIDIA (2025). Isaac Lab and Newton Beta. Official article.
  8. Todorov, E., et al. (2012). MuJoCo. IEEE/RSJ IROS. DOI: 10.1109/IROS.2012.6386109.
  9. MuJoCo (2026a). MJCF XML Reference. Official documentation.
  10. Zakka, K., et al. (2025). MuJoCo Playground Technical Report. Technical report.
  11. Google DeepMind (2026). MuJoCo Playground Repository. Official repository.
  12. NVIDIA (2026c). Isaac Sim URDF Importer. Official documentation.
  13. NVIDIA (2026d). Isaac Sim URDF Exporter. Official documentation.
  14. Makoviychuk, V., et al. (2021). Isaac Gym. arXiv:2108.10470.
  15. Wang, S., et al. (2022). TACTO. IEEE RA-L. arXiv:2012.08456.
  16. Jakobi, N., et al. (1995). Noise and the Reality Gap. ECAL. DOI: 10.1007/3-540-59496-5_337.
  17. Tobin, J., et al. (2017). Domain Randomization. arXiv:1703.06907.
  18. Kasolowsky, U., & Bäuml, B. (2024). Fine Manipulation Using a Tactile Skin. IROS 2024.
  19. ISO (2025). ISO 10218-2:2025. International Standard.