NetApp aposta em pNFS para infraestruturas de fábricas de inteligência artificial

A NetApp selecionou o pNFS como a tecnologia para se posicionar no mercado de fábricas de inteligência artificial.

Essa extensão da especificação NFS, surgida no início dos anos 2000, promove acessos paralelos ao desagregar o servidor de metadados. A NetApp optou pelo agencement de dados chamado Flex Files, que permite a agregação de servidores NFS em um único espaço de nomes. A empresa considera essa solução ideal para a escala de fábricas de inteligência artificial, pois evita a carga de coordenação que ocorre com pontos de montagem separados.

A empresa descartou a opção de NAS empresarial com arquitetura de tudo compartilhado, principalmente por não operar essa desagregação. A NetApp também não foi convencida pelo Lustre, pois seu servidor de metadados é monolítico. A empresa acredita que a prática comum de particionar o espaço de nomes apenas desloca o gargalo de desempenho. Além disso, o Lustre exige a manutenção de um núcleo específico em cada nó, enquanto o pNFS já está integrado nativamente ao Linux.

Para complementar sua estratégia, a NetApp integrou a tecnologia Lattice, que possui um motor de execução em espaço de usuário baseado em um plano de autoridade compartilhado via cluster RonDB. Essas características facilitam a escalabilidade para até 72 nós e permitem a criação de instâncias de servidores de metadados efêmeras. A orquestração com a infraestrutura de armazenamento utiliza chamadas RPC diretas, e o motor implementa atualmente a personalidade NFSv4.2/pNFS.

O projeto Lattice, publicado em fonte aberta com apoio da Linux Foundation, evoluiu para um modelo de núcleo aberto com a ajuda do laboratório de Los Alamos. Módulos de hierarquização, repartição ponderada e reestruturação de dados foram desenvolvidos pela PEAK:IO, empresa que foi adquirida pela NetApp.

O sistema Novus deve fornecer mais de 100 terabytes por segundo de largura de banda agregada em uma escala de zettaoctet, com escalonamento quase linear. Atualmente, os dados precisam estar em baías ONTAP, sem opção de armazenamento definido por software, e o servidor de metadados opera em hardware x86.