Presentazione: Scalare l'infrastruttura degli agenti AI al di là del prototipo con Ray
23 ottobre 2026 · 2 min di lettura
I relatori discutono il passaggio degli agenti AI dai prototipi FastAPI locali a sistemi di produzione resilienti su Kubernetes usando Ray. Condividono insight operativi su topologia RayCluster, gestione della memoria stateful, auto-scaling su traffico dinamico e design resilienti del piano di controllo, evidenziando guardrail critici, configurazioni multi-regione e pipeline di valutazione LLM-as-a-judge.
Deepak Mohanakumar Chandramouli è un Senior ML Engineering Leader di Apple con oltre 20 anni di esperienza in sistemi distribuiti e infrastrutture dati e calcolo scalabili. Bhumik Vinodkumar Thakkar è un Senior Software Engineer di Apple, esperto di intelligenza artificiale e sistemi distribuiti su larga scala.
QCon AI è un evento focalizzato interamente sulla disciplina ingegneristica necessaria a scalare questi carichi di lavoro in modo sicuro. Offre accesso diretto ai playbook architetturali e alle metriche di fallimento che le organizzazioni peer usano in produzione.
Durante la sessione viene presentato un esempio di agente pianificatore di viaggi. L'agente utilizza strumenti per cercare destinazioni in base a parametri stagionali, consultare le condizioni meteorologiche e comporre un itinerario giornaliero. L'esecuzione prevede fasi di pianificazione, chiamata di strumenti e sintesi dei risultati, con controllo orchestrale sia deterministico sia non deterministico.
Vengono discussi i blocchi costruttivi dell'agente: modello linguistico, strumenti, memoria e prompt. Si sottolinea l'importanza dei guardrail di sicurezza in tutte le fasi di esecuzione, dalla ricezione della richiesta alla sintesi dei risultati. Viene illustrato come l'osservabilità tramite trace permetta di ispezionare il ciclo di ragionamento e verificare che l'agente si comporti come desiderato. Viene inoltre illustrato come l'auto-scaling dinamico su RayCluster supporti il traffico variabile in produzione.