Com muntar un appliance d'IA local amb Ubuntu Core 26 en una màquina virtual

Canonical ha publicat un tutorial que serveix d’aperitiu per a qui vulgui experimentar amb Ubuntu Core 26 abans de comprometre’s amb maquinari dedicat. La idea és senzilla: aixecar una màquina virtual, instal·lar un snap d’inferència i acabar amb un appliance d’IA que respon per una API compatible amb OpenAI. Tot en local, sense núvol pel mig i sense tocar cap equip físic fins que tinguis clar què vols muntar.

Ubuntu Core és la versió d’Ubuntu pensada per a appliances, dispositius edge, robòtica i sistemes industrials. És minimalista i del tot basada en snaps, cosa que canvia força la manera de treballar respecte a un Ubuntu Server clàssic. El tutorial fa servir aquesta naturalesa per mostrar el flux complet, des de la prova en VM fins al camí que porta a una imatge de producció.

Aixecar la màquina i posar el model a funcionar

El punt de partida és Multipass, que descarrega la imatge de Core 26 i arrenca la VM amb una sola ordre:

multipass launch core26 -n aibox --cpus 4 --memory 10GB --disk 16GB

Quatre CPU, 10 GB de memòria i 16 GB de disc. Un cop a dins, la càrrega de treball entra amb un altre snap:

sudo snap install gemma4

El snap gemma4 s’encarrega d’instal·lar el runtime i la configuració del model que millor encaixen amb la màquina amfitriona, així que no cal barallar-se amb dependències ni muntar l’entorn a mà. Pots comprovar que el servei és viu amb gemma4 status.

Per defecte la inferència escolta només a localhost dins la VM. Per obrir-la a l’equip amfitrió s’ajusten dues opcions del snap:

sudo gemma4 set http.host=0.0.0.0 webui.http.host=0.0.0.0 --assume-yes

A partir d’aquí tens dos punts d’entrada. L’API compatible amb OpenAI queda a http://<IP-de-la-VM>:8336/v1, cosa que et permet apuntar qualsevol client que ja parli aquest protocol sense reescriure res. I la interfície web, per provar a mà, a http://<IP-de-la-VM>:8337.

Per què el model d’appliance importa

El que és interessant no és només que funcioni, sinó com està separat. El sistema base d’Ubuntu Core queda aïllat de la càrrega de l’aplicació: el snap entrega la capa d’IA, els serveis corren com a components gestionats i la configuració es fa per opcions del snap, no editant fitxers del sistema a mà. Això redueix els punts on alguna cosa es pot trencar i deixa el sistema operatiu sempre en un estat conegut.

Aquesta mateixa separació és la que facilita el salt a producció. La instal·lació manual del snap és el flux de desenvolupament; quan vols portar això a maquinari real, defineixes una imatge d’Ubuntu Core a mida mitjançant model assertions. Una assertion descriu quins snaps van inclosos, la seva configuració, els permisos i les polítiques d’actualització, de manera que el dispositiu arrenca ja amb tot muntat i sense que ningú hagi d’instal·lar res a mà.

La resta del model encaixa amb aquesta filosofia: actualitzacions transaccionals, snaps d’aplicació que s’actualitzen de manera independent, rollback si alguna cosa surt malament i gestió centralitzada de flotes amb Landscape quan tens molts equips repartits. Si véns del món dels servidors tradicionals, aquest enfocament de “tot és un snap immutable i reproduïble” es nota sobretot quan has de mantenir centenars de dispositius en llocs on ningú entrarà per SSH a arreglar coses.

Per a qui estigui valorant IA a l’edge, aquest tutorial és una manera barata de tocar el model d’appliance sense comprar res. Muntes la VM, la trenques, la tornes a muntar i, quan tinguis clar el disseny, el trasllades a una imatge de Core per al maquinari que toqui.

Font

Article original de Canonical al blog d’Ubuntu: A look into Ubuntu Core 26: Building a local AI inference appliance in a virtual machine. Publicat per Canonical.