PAN 2

Viện Mô hình Nền tảng (IFM) tại MBZUAI tập trung phát triển các mô hình nền tảng phục vụ hiểu và mô phỏng đa phương thức. IFM xây dựng mã nghiên cứu, checkpoint và tài liệu hướng đến các thí nghiệm có thể tái lập trong lĩnh vực mô hình hóa thế giới và suy luận của tác tử.

PAN 2 kết hợp bộ suy luận khái niệm dựa trên ngôn ngữ với nền tảng tri giác khuếch tán tiềm ẩn 29B để mô phỏng kết quả video theo điều kiện hành động, với thời lượng tối đa 20 giây. Với đầu vào gồm một quan sát (khung hình đầu tiên không bắt buộc, kèm văn bản) và kế hoạch hành động được mô tả bằng văn bản, mô-đun khái niệm tạo chú thích trạng thái thế giới có cấu trúc, gắn với mốc thời gian; sau đó, nền tảng khuếch tán tổng hợp các latent video, được giải mã bằng VAE chuyên dụng. Các tài nguyên được phát hành bao gồm checkpoint khuếch tán theo bố cục diffusers, hướng dẫn tạo video cục bộ bằng generate.py, cùng chỉ dẫn về viết lại prompt, cơ chế bảo vệ và thiết lập mặc định cho độ chính xác/số bước. PAN 2 hướng đến suy luận mô phỏng, nghiên cứu lập kế hoạch robot và tổng hợp video có kiểm soát, trong đó các dự đoán dễ diễn giải và kiểm chứng quan trọng hơn độ trung thực ảnh chân thực.