| תמונה | מוצר | מחיר | קיבולת |
|---|
הבנת קיבולת המודל
קיבולת המודל מתייחסת למספר הפרמטרים שמכיל מודל AI (למשל 70B = 70 מיליארד פרמטרים). מודלים גדולים יותר דורשים בדרך כלל יותר זיכרון וכוח מחשוב, אך יכולים להציע שיפור באיכות ההסקה והפלט.
דיוק (FP16 / FP8 / FP4) משפיע על כמות הזיכרון שנדרשת עבור קיבולת מודל נתונה: פורמטים בעלי דיוק נמוך מפחיתים בערך בחצי את דרישות הזיכרון בכל שלב (FP16 → FP8 → FP4), על חשבון דיוק הפלט.
| גודל מודל | זיכרון אופייני (FP16) | זיכרון אופייני (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |