Planejamento de plataforma GenAI corporativa exige abordagem estruturada

Um projeto de GenAI pode ser iniciado facilmente com tecnologias específicas, como LangChain, banco de dados de vetores, Kubernetes, Kafka, e desenvolvimento de pipelines RAG. No entanto, para uma plataforma corporativa, esse passo é frequentemente prematuro.

As principais questões arquitetônicas surgem não no momento de invocar um modelo de linguagem, mas em torno dele. Questões como quem pode acessar dados, onde os direitos são verificados, quais componentes precisam ser escaláveis independentemente, como a sistema se comporta em caso de falha de um provedor externo e o que deve ser incluído na versão inicial são cruciais.

Antes de escolher tecnologias, é essencial estabelecer a meta da plataforma, os usuários e os requisitos de funcionalidade, operação e segurança. A estrutura da plataforma deve priorizar o controle de acesso, com autenticação via um provedor de identidade corporativa, garantindo que os usuários vejam apenas os dados autorizados e que todas as interações com dados sensíveis sejam registradas em um log de auditoria.

Os requisitos não funcionais são frequentemente confundidos com a implementação. A plataforma deve resistir à falha de um único componente, mas isso é apenas uma das muitas maneiras de abordar o problema. Entre os requisitos definidos estão carga de trabalho, tempo de resposta, disponibilidade, escalabilidade, segurança, auditoria, recuperação de falhas e prazos de armazenamento de dados.

O tempo de resposta completo deve ser igual ou inferior a 20 segundos para até 1 milhão de documentos ou 10 milhões de partes. É importante notar que a tecnologia não deve ser um fim em si mesma. Pode-se estabelecer a necessidade de resiliência sem incluir Kubernetes na versão mínima viável (MVP).