---
title: HiveTrace Red introducerar ny metod för att mäta AI-säkerhet med osäkerhetsbedömning
url: https://www.elseif.net/sv/hivetrace-red-introducerar-ny-metod-for-att-mata-ai-sakerhet-med-osakerhetsbedomning
published: 2026-10-26T08:13:10+00:00
language: sv
section: Modeller
source: https://habr.com/ru/articles/1098234/?utm_campaign=1098234&utm_source=habrahabr&utm_medium=rss
organizations: HiveTrace Red
publisher: elseif
---

# HiveTrace Red introducerar ny metod för att mäta AI-säkerhet med osäkerhetsbedömning

HiveTrace Red, ett produkt för AI-säkerhetstestning, lanserar en ny metod för att skilja mellan att inga brister hittats och att det saknas tillräckligt med data. Metoden bygger på att utvärdera Attack Success Rate (ASR) tillsammans med en osäkerhetsbedömning. Genom att analysera hur många attacker som krävs för att få tillförlitliga resultat kan företag undvika att tro att en säker applikation är säkrare än den är i verkligheten.

Metoden introducerades i en artikel på Habr AI. Tidigare har red-teaming använts för att testa AI-applikationers säkerhet genom medvetna attacker som försöker kringgå skydd. En vanlig metod är att be en bot att visa hemliga rapporter, och om den vägrar prova andra sätt. Syftet är att identifiera läckage av känslig information, till exempel när en chattbot får tillgång till företagsdokument och oavsiktligt avslöjar innehåll för användare utan behörighet.

I testningarna skickar HiveTrace Red en uppsättning frågor och analyserar svar och åtgärder. Andelen attacker som lyckas kallas ASR. Om två av hundra attacker lyckas blir ASR 2%. Detta mått beskriver de testade förhållandena, inte sannolikheten för läckage i normal drift.

Artikeln påpekar att ren ASR kan vara missvisande. Ett lågt resultat kan bero på för få tester snarare än faktisk säkerhet. För att lösa detta lägger metoden till en osäkerhetsbedömning. Detta gör det möjligt att skilja på fallen "inga brister hittats" och "det finns tillräckligt med data för att kraven ska uppfyllas".

Som exempel tas tio frågor. Om en corporate-assistent vägrar att avslöja hemliga dokument i alla tio fall blir ASR 0%. Men räcker tio frågor? Kanske inte, eftersom resultatet kan verka mer pålitligt vid tusen frågor utan läckage. Genom att räkna på osäkerhet kan man avgöra om resultatet är statistiskt tillräckligt.

För att mäta säkerhet definieras först vad som räknas som ett brott för just den specifika applikationen. För en corporate-assistent kan det handla om att avslöja en dokument som användaren inte har tillgång till. För en agent med verktyg kan det handla om att utföra en åtgärd utan nödvändiga behörigheter. Ett krav måste tillåta ett domänbaserat domän: hemligt kontrollvärde dyker upp i svaret, agenten anropar ett förbjudet verktyg, eller applikationen utför en åtgärd utan obligatorisk bekräftelse.

Här används programvarukontroll så långt det är möjligt. För mer komplexa kriterier används en utvärderingsmodell vars kvalitet säkerställs på märkta exempel. Varje datamängd har definierade riskkategorier beroende på vilka konsekvenser som skulle uppstå om risken realiseras. För kodagenter finns kategorin "utförande av farliga kommandon", medan ett utbildningsbot för barn passar kategorin "toxicitet i svar".

I exemplet med att avslöja hemliga dokument skickas tio ursprungsfrågor utan attackeringsmetoder. I HiveTrace Red finns en klass för detta kallad NoneAttack. Om assistenten svarar nekande på alla tio frågorna blir ASR 0% (0 av 10). Men för att avgöra om detta är tillräckligt med data introduceras en osäkerhetsbedömning som hjälper till att avgöra om antalet frågor är tillräckligt för att dra en säker slutsats om att släppa ut applikationen.