MagicAnimate

Active

شعار کوتاه:انیمیشن تصاویر انسانی سازگار با زمان با استفاده از مدل‌های انتشار

به‌روزرسانی شده:۳۰ مهر ۱۴۰۵

Domain Rating:

شبکه‌های اجتماعی:-

نسل‌کننده انیمیشن هوش مصنوعی تولیدکننده ویدئو با هوش مصنوعی ویدئو و انیمیشن تولیدکننده آواتار با هوش مصنوعی رایگان متن‌باز API در دسترس برای توسعه‌دهندگان اپلیکیشن وب مبتنی بر ابر

باز کردن وب‌سایت

مشاهده وب‌سایت

چیست MagicAnimate?

MagicAnimate یک چارچوب متن‌باز مبتنی بر انتشار است که یک تصویر مرجع و یک ویدیو حرکت را به یک کلیپ انیمیشنی تبدیل می‌کند. پیوستگی زمانی را حفظ می‌کند، هویت تصویر مرجع را نگه می‌دارد و انتقال حرکت cross-ID و حوزه‌های ناشناخته‌ای مانند نقاشی‌های روغنی و شخصیت‌های فیلم را پشتیبانی می‌کند. نمایش‌های آنلاین در Hugging Face و Replicate و Colab در دسترس است.

نحوه استفاده MagicAnimate?

1. مدل پایه Stable Diffusion v1.5 و VAE تنظیم‌دقیق‌شده با MSE را دانلود کنید. 2. نقاط بازرسی MagicAnimate را دانلود کنید. 3. محیط conda را (Python ≥3.8، CUDA ≥11.3، ffmpeg) با `conda env create -f environment.yml` ایجاد کنید. 4. آن را با `conda activate manimate` فعال کرده و به‌صورت محلی اجرا کنید، یا نمایش میزبانی‌شده در Hugging Face یا Replicate یا Colab را امتحان کنید.

MagicAnimate ویژگی‌های اصلی

انیمیشن سازگار با زمان

چارچوب مبتنی بر انتشار که پیوستگی حرکت را میان فریم‌ها حفظ کرده و هویت تصویر مرجع را وفادارانه نگه می‌دارد.

هدایت تصویر با ویدیو حرکت

هر تصویر مرجع را با استفاده از یک ویدیو هدایت‌کننده متحرک کنید؛ انتقال حرکت cross-ID و حوزه‌های ناشناخته مانند نقاشی‌های روغنی و شخصیت‌های فیلم را پشتیبانی می‌کند.

یکپارچه‌سازی متن به تصویر

با مدل‌های انتشار متن به تصویر مانند DALL·E 3 کار می‌کند و تصاویر تولیدشده از درخواست را با حرکات پویا زنده می‌کند.

نمایش آنلاین و API

به‌صورت محلی از طریق conda اجرا کنید، یا از نمایش میزبانی‌شده در Hugging Face و Replicate و Colab و همچنین API Replicate برای تولید برنامه‌ای ویدیو استفاده کنید.

MagicAnimate موارد استفاده

متحرک کردن عکس پرتره با ویدیو رقص یا حالت مرجع

زنده کردن نقاشی‌های روغنی یا شخصیت‌های فیلم با حرکت واقع‌گرایانه

تولید کلیپ‌های انیمیشنی کوتاه برای پروژه‌های خلاقانه و پژوهشی

تعبیه انیمیشن ویدیو در یک اپلیکیشن از طریق API Replicate

MagicAnimate سوالات متداول

MagicAnimate چیست؟

MagicAnimate یک چارچوب متن‌باز مبتنی بر انتشار است که از یک تصویر مرجع و یک ویدیو حرکت هدایت‌کننده، ویدیوی انیمیشنی تولید می‌کند و در عین حال پیوستگی زمانی را حفظ می‌کند.

چه کسی MagicAnimate را ساخته است؟

MagicAnimate توسط آزمایشگاه Show Lab دانشگاه ملی سنگاپور با همکاری ByteDance ساخته شده است.

چگونه MagicAnimate را اجرا کنم؟

مدل پایه Stable Diffusion v1.5، VAE تنظیم‌دقیق‌شده با MSE و نقاط بازرسی MagicAnimate را دانلود کنید، سپس محیط conda را (Python ≥3.8، CUDA ≥11.3، ffmpeg) ایجاد کرده و با `conda activate manimate` فعال کنید.

آیا می‌توانم بدون نصب امتحان کنم؟

می‌توانید از نمایش آنلاین در Hugging Face یا Replicate یا Colab استفاده کنید، یا API Replicate را برای تولید ویدیوهای انیمیشنی فراخوانی کنید.

محدودیت‌های فعلی چیست؟

ممکن است اعوجاج‌های جزئی روی صورت و دست‌ها ظاهر شود و پیکربندی پیش‌فرض ورودی‌های به سبک انیمه را به سمت واقع‌گرایی متمایل کند که شاید نیازمند تنظیم نقاط بازرسی باشد.