Gremlin 발표, 서비스 신뢰성 분석 AI 에이전트 '포사이트' 일반 출시

이 시스템은 Gremlin이 구축한 '실패 아틀라스'를 기반으로 권장안을 도출한다. 이는 10년 이상, 수십만 개의 분산 시스템에서 진행된 고장 주입 실험 기록이다. Gremlin은 시스템 데이터를 대형 언어 모델 훈련에 사용하지 않으며, 대신 플랫폼 데이터와 실패 아틀라스를 활용해 에이전트가 결정을 내리게 하고, 검색·요약·설명에는 LLM을 보조적으로 사용한다.

핵심 기술적 특징은 폐쇄형 검증 루프다. 테스트가 약점을 드러내면 시스템이 변경안을 제안하고 원래 테스트를 재실행한다. Gremlin에 따르면 포사이트 AI는 엔지니어 승인 없이 테스트를 실행하거나 보완안을 적용하지 않는다. 이는 엔지니어가 변경 사항에 대해 책임을 지게 하면서도 분석과 반복 작업을 자동화한다.

서비스는 자연어 요청을 통해 보고서와 대시보드를 생성한다. 차트, 표, 탭, 링크 등을 포함하며 신뢰성 점수 변화와 팀이 해결한 위험을 보여준다. 이는 신뢰성 팀이 직면한 familiar 문제인, 사고가 발생하지 않았을 경우 가시적 증거가 부족하다는 점을 해결한다.

정보지 칼럼니스트 제이슨 잉글리시는 관측 가능성과 AI SRE 제품이 유용하지만 largely reactive라고 평가한다. 보통 이미 발생한 문제에 대한 텔레메트리에서 시작한다는 지적이다. 고장 주입은 이미 발생한 사고 전에 통제된 실패 조건을 만들어 서비스의 반응을 기록한다는 점에서 다르다.

잉글리시는 신뢰성 프로그램이 단순히 소프트웨어 패키지로 설치될 수 없다고 경고한다. 지속적인 결과를 위해서는 엔지니어링과 관리 전반에 걸친 공유된 소유권과 책임감이 여전히 필요하다. 이는 포사이트 AI가 테스트와 약속을 조정할 수 있지만, 조직이 허용할 위험을 결정하고 제안된 변경 사항이 진행돼야 한다는 자격 때문이다. 인텔리섹스는 Gremlin이 고객사임을 공개했다.

이번 출시는 CI/CD 파이프라인에 자동화된 회복력 검증을 bring하는 다른 노력들과 함께한다. 최근 InfoQ에서 다룬 바에 따르면 구글 클라우드의 고장 엔지니어링 권고안은 현실적인 실패 조건, 제한된 폭발 반경, CI/CD를 통한 지속적인 자동화를 권고한다. 위크도 AI를 이용해 로그 해석과 보완안 제안에 활용하면서도 배포와 핵심 인프라 결정은 인력에 남겨두는 방식을 사용했다.

이러한 통제는 포사이트 AI의 승인 경계와 유사하다. 다만 더 자율적인 모델과 차별된다. 클라우드플레어의 에이전트 개발 수명주기 제안은 테스트, 배포 및 유지보수를 에이전트가 더 많이 관리하도록 envisage한다. Gremlin은 현재 supervised approach를 사용하며, 에이전트가 테스트와 변경안을 제안하지만 사람이 승인하도록 한다.

연구원 샌디프 바타차리아는 AI 기반 SRE 자동화에 대한 링크드인 토론에서, 조직은 여전히 에이전트를 구성하고 메트릭을 통해 행동을 평가하며 모델과 인프라가 변할 때마다 조정할 전문가가 필요하다고 주장했다. 이는 Gremlin의 supervised 모델에 대한 유용한 테스트가 된다: 자동화는 반복 작업을 줄일 수 있지만, 동시에 엔지니어가 평가해야 할 새로운 시스템을 만든다.

앰플리파이 파트너스의 일반 파트너 마이크 도버는 포사이트 AI를 "당신을 위해 리프트를 하는 트레이너"에 비유했다. 이는 반복 테스트에 초점을 맞춘 제품의 특징을 capture하지만, 현재까지의 증거는 Gremlin과 베타 프로그램에서 나왔다. 회사는 아직 비교 정확도 데이터, 거짓 양성률 또는 상세한 베타 결과를 공개하지 않았다.

Gremlin은 아마존과 넷플릭스 출신 엔지니어에 의해 설립됐다. 안드루스는 두 회사 모두에서 신뢰성 업무를 담당했으며, 넷플릭스의 chaos monkey는 자동화된 고장 주입을 대중화하는 데 기여했다. 포사이트 AI는 실험을 실행하는 것을 넘어 테스트 선택, 결과 해석, 수정안 제안 및 장기간 확인까지 이 접근 방식을 확장한다. 이번 출시는 신뢰 위험을 incidents 전에 식별하고 해결할 수 있는 기술을 성공적으로 검증한 베타 기간 이후다.