PAN 2
NexusAi 요약: PAN 2는 구조화된 텍스트와 선택적 이미지를 짧은 시뮬레이션 영상으로 변환하는 연구용 월드 모델입니다. 통합된 개념 추론 기능과 잠재 확산 기반 지각 백본을 통해 에이전트와 연구자가 행동의 결과를 미리 살펴볼 수 있습니다.
NexusAi 개요
일반적인 작업 흐름은 먼저 개념 추론 모델이 자유 형식 프롬프트를 시간 정보가 포함된 구조화된 캡션으로 바꾸고, 이어서 지각 파이프라인이 해당 캡션을 바탕으로 영상을 생성하는 방식입니다. 저장소에는 체크포인트 변환 및 프롬프트 생성 스크립트와 GPU별 generate.py 작업자를 실행하는 방법이 포함되어 있습니다. 생성된 mp4 파일과 함께 재현성을 위한 설정 메타데이터도 저장됩니다.
기능 및 기술 범위
PAN 2는 최종 제작용 영상보다 시뮬레이션 예측이 필요한 AI 연구자, 로봇공학 팀, 기술 제품 개발자를 주 대상으로 합니다. 에이전트 계획 루프의 프로토타이핑, 물리적 추론 성능 평가, 평가·커리큘럼 설계·통제된 사용자 연구를 위한 합성 영상 제작에 유용합니다. 특히 해석 가능성과 구조화된 조건 입력 형식이 중요한 경우에 적합합니다.
- 텍스트로 설명한 행동의 결과를 최대 20초 길이의 짧은 영상으로 시뮬레이션합니다.
- 영상 이어 만들기와 맥락 제공을 위해 첫 프레임을 선택적으로 입력할 수 있습니다.
- 확산 백본의 조건 입력으로 활용되는, 시간 정보가 포함된 구조화 캡션을 생성합니다.
- 고정된 텍스트 인코더의 토큰 한도와 형식에 맞도록 프롬프트를 재작성합니다.
- 하나의 확산 체크포인트와 diffusers 기반 로컬 추론 안내를 제공합니다.
엔지니어가 PAN 2를 선택하는 이유
평가 대상
저장소의 README에 따라 확산 체크포인트를 다운로드하고 HF 캐시를 통해 고정 구성 요소(Qwen3.5-9B 텍스트 인코더, Wan 2.2 VAE)를 가져오세요. 제공된 스크립트로 transformer 파일을 변환하고 CKPT_PATH를 변환된 디렉터리로 설정한 다음, GPU별로 inference/inference.sh 또는 generate.py를 실행합니다. 기본 샘플러 설정과 환경 변수는 문서에 안내되어 있습니다. 생성 전에 프롬프트를 재작성하고, 요청과 출력을 검사할 수 있도록 pan2-guardrail을 적용하세요.
NexusAi: 시뮬레이션 추론과 행동 조건부 시각 예측을 위한 실용적인 연구 도구입니다.
시작하기
PAN 2는 세련된 제작용 영상보다 해석 가능한 조건부 예측을 우선하는 연구용 시뮬레이터입니다. 구조화된 개념 추론 모델과 대규모 확산 지각 백본을 결합한 것이 강점으로, 권장 안전장치와 함께 사용하면 에이전트 계획 연구, 통제된 데이터셋 구축, 물리적 추론 연구에 적합합니다.
도구를 열고 핵심 제품 경험을 검토하세요.
계정을 만들거나 기존 워크스페이스에 접속하세요.
자신의 작업으로 속도, 품질, 적합성을 판단하세요.
최종 결정 전에 유사한 AI 도구를 확인하세요.
PAN 2
MBZUAI 산하 Institute of Foundation Models (IFM)은 멀티모달 이해와 시뮬레이션을 위한 파운데이션 모델을 연구합니다. IFM은 월드 모델링과 에이전트 추론 분야에서 재현 가능한 실험을 지원하기 위해 연구 코드, 체크포인트, 문서를 개발합니다.
PAN 2는 언어 기반 개념 추론 모델과 29B 규모의 잠재 확산 지각 백본을 결합해 행동 조건에 따른 최대 20초 길이의 영상 결과를 시뮬레이션합니다. 관측값(선택적 첫 프레임과 텍스트) 및 텍스트로 설명한 행동 계획을 입력하면, 개념 모듈이 시간 정보가 포함된 구조화된 월드 상태 캡션을 생성하고 확산 백본이 이를 바탕으로 영상을 합성합니다. 영상 잠재 표현은 전용 VAE로 디코딩됩니다. 공개된 자료에는 diffusers 형식의 확산 체크포인트, generate.py를 사용한 로컬 생성 안내, 프롬프트 재작성 지침, 안전장치, 정밀도 및 스텝 기본값이 포함되어 있습니다. PAN 2는 사실적인 영상 구현보다 해석하고 검증할 수 있는 예측이 중요한 시뮬레이션 추론, 로봇 계획 연구, 제어된 영상 합성을 위해 설계되었습니다.
PAN 2 방문
댓글 (0)
댓글이 없습니다