Microsoft-მა 2.8-ტრილიონპარამეტრიანი AI მოდელის წინასწარი სწავლება დაასრულა

Microsoft-მა ხელოვნური ინტელექტის ახალი მოდელის, MAI-Base-2-ის, წინასწარი სწავლება დაასრულა. კომპანიის განცხადებით, მოდელმა ტესტირებისას ყველა შემოწმებულ ღია წონების მქონე მოდელს აჯობა, ხოლო კონკურენტ მოდელთან შესადარებელი შედეგების მისაღწევად მას 12-ჯერ ნაკლები გამოთვლითი რესურსი დასჭირდა.

MAI-Base-2-ის საერთო მოცულობა 2.8 ტრილიონ პარამეტრს შეადგენს, თუმცა თითოეული ამოცანის შესრულებისას მოდელი მათგან მხოლოდ 80 მილიარდს ააქტიურებს. ეს მიდგომა, რომელიც Mixture-of-Experts არქიტექტურის სახელით არის ცნობილი, გამოთვლითი რესურსების უფრო ეფექტიანად გამოყენებას უწყობს ხელს.

Microsoft-ის ინფორმაციით, ოთხი სხვადასხვა შეფასების მიხედვით, MAI-Base-2-ის სწავლების პროცესი DeepSeek-V4-Pro-Base-თან შედარებით 4.2-დან 12.3-ჯერ უფრო ეფექტიანი იყო გამოთვლითი რესურსების გამოყენების თვალსაზრისით. ამასთან, წინა მოდელთან, MAI-Base-1-თან შედარებით, სწავლების მეთოდოლოგიის ეფექტიანობა 6.3-დან 12.7-ჯერ გაიზარდა.

მოდელის სწავლებისთვის Microsoft-მა აგვისტოსა და სექტემბერში 38 დღის განმავლობაში 16,000 Nvidia GB200 გრაფიკული პროცესორი გამოიყენა. სწავლებისას გამოყენებული მონაცემები დაახლოებით 50 ტრილიონ ტოკენს მოიცავდა. უნიკალური ტოკენების რაოდენობა ივნისში გამოშვებულ MAI-Base-1-თან შედარებით დაახლოებით 36%-ით გაიზარდა.

კომპანიის განცხადებით, მოდელი ორიგინალურ მონაცემებზე გაწვრთნეს და არა სხვა ხელოვნური ინტელექტის სისტემებიდან ცოდნის გადატანის, ე.წ. distillation-ის მეთოდით. Microsoft-ისთვის ეს მნიშვნელოვანი განსხვავებაა, რადგან კომპანია მომავალში მოდელის წონების ლიცენზირებას სანდო პარტნიორებისთვის Azure AI Foundry-ის მეშვეობით განიხილავს.

შედეგების გაუმჯობესებას Microsoft მონაცემთა ხარისხის, მოდელის არქიტექტურისა და სწავლების ინფრასტრუქტურის განვითარებას უკავშირებს. ახალი მოდელის სწავლების პროცესში კომპანიამ ვიზუალური მონაცემებიც თავიდანვე ჩართო — სურათებთან დაკავშირებული მასალა სასწავლო მონაცემების დაახლოებით 18%-ს შეადგენდა.

MAI-Base-2-ის გამოშვება Microsoft-ის სტრატეგიის კიდევ ერთი ნაბიჯია, რომლის მიზანიც საკუთარი მოწინავე AI მოდელების შექმნა და გარე მომწოდებლებზე დამოკიდებულების შემცირებაა. კომპანია საკუთარ მოდელებს პროდუქტებსა და კორპორაციულ მომხმარებლებთან ინტეგრირებისთვის ავითარებს.

ამ ეტაპზე Microsoft-ს MAI-Base-2-ის კომერციული ხელმისაწვდომობის თარიღი და ფასი არ დაუსახელებია. მოდელი ჯერ დამატებითი სწავლებისა და ოპტიმიზაციის ეტაპზეა, ხოლო კომპანია უკვე MAI-Base-3-ის განვითარებისთვისაც ემზადება.