Microsoft pridal do Copilot+ PC model DeepSeek R1
Spoločnosť Microsoft oznámila integráciu destilovaných verzií modelu DeepSeek R1 do svojich Copilot+ počítačov.
Tento krok nasleduje po nedávnom pridaní modelu R1 do platformy Azure AI Foundry, čo umožňuje vývojárom testovať a vytvárať cloudové aplikácie a služby s využitím tohto modelu.
Modely budú najprv dostupné pre zariadenia vybavené čipmi Snapdragon X, procesormi Intel Core Ultra 200V a následne pre počítače s AMD Ryzen AI 9. Prvým dostupným modelom bude DeepSeek-R1-Distill-Qwen-1.5B s 1,5 miliardami parametrov, pričom väčšie a výkonnejšie modely s 7 a 14 miliardami parametrov budú nasledovať. Tieto modely budú k dispozícii na stiahnutie prostredníctvom nástroja Microsoft AI Toolkit.
Microsoft optimalizoval tieto modely pre zariadenia s neurónovými procesorovými jednotkami (NPU). Operácie náročné na prístup k pamäti sú spracovávané na CPU, zatiaľ čo výpočtovo náročné operácie, ako je transformer blok, bežia na NPU. Tento prístup umožnil dosiahnuť rýchly čas odozvy (130 ms) a priepustnosť 16 tokenov za sekundu pre krátke vstupy (do 64 tokenov).
Proces „modelovej destilácie“ spočíva v prenose znalostí z veľkého AI modelu (pôvodný DeepSeek R1 má 671 miliárd parametrov) do menšieho modelu. Hoci destilovaný model je menej schopný ako plná verzia, jeho menšia veľkosť umožňuje prevádzku na bežnom spotrebiteľskom hardvéri bez potreby drahých špecializovaných AI zariadení.
Tento vývoj naznačuje, že Microsoft, napriek svojej silnej podpore a investíciám do OpenAI, je otvorený integrácii rôznych AI modelov do svojich služieb, vrátane tých od spoločnosti DeepSeek.