Appleovi istraživači nedavno su skinuli veo s domišljatog internog sustava objavivši istraživanje o njemu na virtualnim stranicama arXiva. Iz njega se saznaje da tvrtka za ubrzavanje internih AI zadataka koristi oblačni sustav nazvan Minions, koji pomoću komponenti Minion Server, Minion Executor i Minion Watchdog brine o učinkovitom, sigurnom i uspješnom obavljanju pojedinih dijelova zadataka. Bit koncepta jest da se Mac konfiguracije koje unutar tvrtke miruju i trenutačno ne izvršavaju nikakav važan zadatak upregnu u obavljanje raznih AI zadataka – tipično je riječ o poslovima usmjerenima na AI inferenciju – koji tako mogu učinkovito pomoći, a time se ublažavaju izazovi koje stvara manjak performansi.
Razvoj AI-ja trenutačno u biti ograničava to što ne postoji „beskonačna količina” hardverskih resursa koji bi pomogli da se postigne potrebna računalna snaga, a na to učinkovit i domišljat odgovor daje Appleov sustav Minions, koji je zapravo oblačna „infrastruktura” temeljena na GPU-u, namijenjena izričito obavljanju internih zadataka. Tom se metodom red čekanja AI zadataka može znatno skratiti: dok su prije zadaci na odgovarajuće GPU resurse morali čekati u redu i dulje od 10 sati, s novim sustavom to se može smanjiti na minute, zahvaljujući sustavu Minions, u okviru kojega se veći zadaci dijele na više manjih podzadataka, a njihovo izvršavanje nadzire Minions Watchdog. Zadaci se mogu obavljati s otvorenim transformerskim modelima Hugging Facea, a uz Ollamu se za generiranje teksta mogu angažirati i veliki jezični modeli — oboje je dostupno svim internim Macovima koji sudjeluju u radu infrastrukture Minions.
Temelj sustava koji radi čini Minion Server, koji okuplja zadatke i, podijeljene na manje podzadatke, povjerava ih dostupnim Mac konfiguracijama koje su upravo u mirovanju. Na njima mora raditi i aplikacija Minion Executor, koja putem REST API-ja sama „povlači” zadatke jer ne postoji središnji sustav za raspoređivanje – kad je jedan zadatak gotov, može doći sljedeći. Pojedini podzadaci smještaju se u PostgreSQL bazu podataka, iz koje im flota Macova pristupa, a gotov posao vraća poslužitelju.
U proces naravno mogu zapeti greške, a njih filtrira Minion Watchdog: pojedini članovi flote Macova svakih pet minuta šalju informacije o radu, pa se brzo otkriva ako neki zadatak iz nekog razloga nije obavljen. U tom se slučaju podzadatak vraća u red čekanja, a može ga preuzeti neki drugi Mac. Korisnik Maca može odrediti i raspored obavljanja zadataka, to jest može označiti tim ili projekt čiji zadaci imaju prednost, no moguće je i da sustav radi dinamički, odnosno da dostupne zadatke izvršava redom.
O obavljanju zadataka i mogućim napomenama sudionici su naravno bili obaviješteni, pa su se rad i dostupnost sustava mogli učinkovito rasporediti, budući da sustav Minions radi samo ako na Macovima radi Minion Executor, što zahtijeva dogovor.
Metoda je domišljata i učinkovita, no čak i unutar tvrtke otvara neka pitanja u vezi s pouzdanošću i povjerljivim postupanjem s podacima, što nastoje riješiti tako da zadatke povjeravaju samo Macovima u skupini koja radi na dotičnom projektu, a oni na njima mogu raditi izolirano, kao zasebna flota, i za to dobivaju vlastitu bazu podataka.
Razvoj sustava Minions naravno se ovdje ne zaustavlja: kao sljedeći korak istraživači bi ga željeli primijeniti i za distribuirano treniranje modela, a potencijal vide i u većem mjerilu, primjerice unutar većih tvrtki, gdje bi dostupni Macovi na gore opisani način mogli raditi na vlastitim korporativnim zadacima. Moguće bi bilo čak i da se kao velika globalna zajednica poduzetni korisnici priključe sličnom sustavu, u kojemu bi se na sličan način moglo osloniti na računalnu snagu Macova, čime bi se brojni perspektivni zadaci mogli obaviti učinkovitije i brže. Potonje naravno otvara mnoga pitanja, ali budući da je zasad samo na razini ideje, na izradu konkretnog sustava treba još pričekati.
