AI-verktyg kartlägger AI:s DNA

Ny metod ger insyn i modeller

Var kommer informationen ifrån som en AI använder för att skapa innehåll? Det är en fråga som är central för AI-säkerhet – och ett nytt verktyg från Cisco hjälper till med att besvara den.

Model Provenance Kit är ett nytt verktyg som just gjorts tillgängligt på det öppna kodarkivet GitHub. Det är utvecklat av säkerhetsexperter på Cisco för att ge alla som använder AI-språkmodeller bättre insyn i hur modellen är uppbygd och hur dess släktträd ser ut.

Många organisationer som tillämpar AI-modeller i det dagliga arbetet börjar med att ladda ner en befintlig, öppet tillgänglig modell från bibliotek som till exempel Hugging Face. Därefter finjusterar man modellen, isolerar den och tränar den på egna data. Men ofta dokumenteras dessa justeringar bristfälligt eller inte alls.

Det kan exempelvis leda till att man driftsätter modeller som har inbyggda säkerhetsluckor eller är sårbar för yttre påverkan, eller att en modell har dolda bias och andra felkällor som gör den olämplig för uppgiften. Det kan också göra att modeller används trots att de inte är förenliga med EU AI Act och andra lagar och regelverk.

Att kartlägga AI:s försörjningskedja är därför viktigt för att säkerställa ansvarsfull AI-användning.
”Tänk dig Model Provenance Kit som ett DNA-test för AI-modeller. Idag är försörjningskedjan för AI, från vilka dataset som använts för träning till utrullningen av en färdig modell, ogenomskinlig. Dokumentteringen av öppna modellbibliotek kan vara falsk, och viktiga detaljer i metadata kan vara raderade eller ändrade”, skriver utvecklarna Ehsan Aghaei, Amy Chang, Ankit Garg och Sanket Mendapara i ett gemensamt blogginlägg.

Precis som ett traditionellt DNA-test ger information om biologisk härkomst, undersöker verktyget den digitala kärnan av modellen, både metadata och de parametrar som styr hur modellen tolkar, läser och skapar nytt innehåll.

Modellen testas i en flerstegsprocess; först genom en snabb screening av hur den är uppbyggd för att kartlägga släktskapet med andra modeller. I nästa steg gör Model Provenance Kit en djupare analys av olika unika faktorer som inte påverkas vid anpassningar, och olika viktningar för modellträning.

Verktyget gör det möjligt att jämföra två olika modeller eller att scanna en modell och sedan jämföra den mot en ”fingeravtrycksdatabas” som till en början omfattar 150 olika basmodeller, men som ständigt kommer att utökas.

”När modeller kontinuerligt finjusteras, destilleras, slås samman och paketeras är modellfilerna inte längre statiska tillgångar. Härstamning blir svårare att spåra och lättare att dölja och att svara på frågan ’varifrån kommer den här modellen?’ behöver ett mer nyanserat tillvägagångssätt. Vår release av Model Provenance Kit är ett steg mot att erbjuda en evidensbaserad approach för att kartlägga modellers ursprung”, skriver utvecklarna.

2026-05-13 - Industritorget