Detaljerad sökning

SENASTE NYTT

- Nyheter inom industrivärlden
Tipsa

Förgiftad träningsdata

Ett hot mot stora språkmodeller
Dataförgiftning har blivit ett allt större hot mot stora språkmodeller (LLM). Det innebär att felaktig eller vilseledande data matas in i den träningsdata som språkmodellen använder när den svarar på en fråga. I förlängningen betyder det att prestandan och förtroendet för stora språkmodeller försämras. Dataförgiftning utgör också en säkerhetsrisk när en angripare till exempel påverkar en AI-driven kundtjänst att styra användarna till en webbplats för nätfiske.

– Ansvaret för att upptäcka och motarbeta dataförgiftning ligger hos utvecklarna av språkmodellerna. Men det är viktigt att alla som använder en modell som utsatts hämtar den nya, uppdaterade versionen så snart den blir tillgänglig, på samma sätt som man gör med all annan programvara som bygger på öppen källkod, säger Peter Graymon, ansvarig för Barracuda Networks i Norden.

Stora språkmodeller används för att exempelvis driva chattbottar och generera text. De tränas på stora mängder insamlad data som sedan används för att skapa mer data, allt enligt de regler och mönster de lärt sig. Kvalitetsdata leder till bra resultat medan undermålig eller felaktig data genererar dåliga resultat. Förgiftad träningsdata som används när man skapar en LLM gör också att en angripare kan kontrollera hur modellen beter sig när den används.

Ofta finns det ingen tydlig ekonomisk fördel med dataförgiftning men det kan bidra till att sprida felaktigheter, förstärka fördomar och skada varumärken. En språkmodell som beter sig på oväntade och farliga sätt urholkar förtroendet för både tekniken och den organisation som skapade eller implementerade den.

– Det tog inte lång tid för cyberkriminella och andra som vill påverka sin omgivning att börja med dataförgiftning. De kan nu undergräva tillförlitligheten, noggrannheten och säkerheten i tjänster som används av väldigt många människor, säger Peter Graymon.

Datamanipulation ett annat hot mot generativa AI-modeller
Datamanipulation är ett annat sätt att missbruka stora språkmodeller. Det innebär att en angripare skickar meddelanden till den generativa AI-botten för att försöka manipulera den att kringgå sin instruktion eller bryta logiken i prompten. Datamanipulation kan användas för att komma åt information som inte är publik men som ett företag kopplat till sin LLM. I förlängningen kan det användas för utpressning eller försäljning. Det kan också användas för att få en LLM att uttrycka sig skadligt för företaget eller fördelaktigt för användaren.

Ett exempel på datamanipulation är när ett kanadensiskt flygbolag tvingades följa en återbetalningspolicy som skapats av en AI-driven chatbott. Detta är känt som en ”hallucination” där AI-modellen ger ett felaktigt eller missvisande svar eftersom den inte har det faktiska svaret men ändå vill ge ett.

Sammanfattningsvis kan det vara så att det största hotet mot stora språkmodeller inte kommer från avsiktliga handlingar utförda av människor utan snarare från dålig data som genereras av andra AI-modeller.

Läs mer om dataförgiftning och datamanipulation på Barracudas hemsida»

Om du vill prata mer om IT-säkerhet, dataförgiftning och datamanipulation är du välkommen att kontakta Peter Graymon, Barracuda Networks, telefon: 0709-17 80 14, e-post: pgraymon@barracuda.com
2024-04-09 - Industritorget

SENASTE NYTT

- Nyheter inom industrivärlden
Tipsa

ONE startar ny containerlinje

20 240 51 6Över Helsingborgs Hamn

IVECO Göteborg fyller 25 år

20 240 51 6Firar med testkörning och goda erbjudanden

Smart och klimatanpass­ad vattenhantering

20 240 51 6Visas upp på Stockholm Smart City

Byggföretag i Umeå på frammarsch

20 240 51 6Breddar verksamheten mot privatmarknaden

M-Files utökar med nya GenAI-funktioner

20 240 51 6Och stöd för Microsoft Copilot

TT tar plats i känt landmärke

20 240 51 6När Newsec hyr ut 1 100 kvm i Skanstull

ELESA vinner Good Design® Award

20 240 51 5För innovativa M.2000-SWM

Ny YSTA Sopvals Proffs L

20 240 51 5Med uppsamlingsbox från YstaMaskiner AB

Clara blir VP Strategy & Transformation

20 240 51 5Från och med den 15 maj 2024

Jordfelsbrytare uppfyller europeiska standarder

20 240 51 5Laddboxar uppfyller äntligen alla säkerhetskrav

71% av styrelser tonar ner cyberriskernas allvar

20 240 51 5T-säkerhetschefer pressas tona ner cyberrisker

Generativ AI förändrar mjukvaruutvecklingen

20 240 51 5Nytt forskningsprojekt från Solita och ISS

Sårbarheter utnyttjas 43 procent snabbare

20 240 51 5Men ransoware minskar

Jättetak får nytt luftrenande tätskikt

20 240 51 5Tätskikt som förbättrar luftkvaliteten

Normative lanserar idag flera nya funktioner

20 240 51 5Nästa generation av CO2-reducerande funktioner

Devoteam köper upp konsultföretaget ProCori

20 240 51 5Och stärker sin position i Norden

Red Hat integrerar generativ AI

20 240 51 5I hela hybridmolnportföljen med Red Hat Lightspeed

Stort gap mellan säker­hetsteam och ledning

20 240 51 5Utsätter företag för ökade cyberrisker

Nytt rekord

20 240 51 5För produktionskapacitet inom biodrivmedel

Nordic Solar påbörjar byggandet

20 240 51 5Av sin största svenska solcellspark

SE Automation sluter strategiskt partnerskap

20 240 51 5Med BILA Automation för att driva automationsprojekt

Missa inte Huaweis kampanj

20 240 51 5Kampanj på batteripaket Luna2000-5-E0

Montico ny utbildningsaktör

20 240 51 4Stor efterfrågan inom industrin

YstaMaskiner present­erar nytt kättinghuvud

20 240 51 4Kättinghuvud RX 133 från GreenTec i Danmark

Vårt modulära PLC

20 240 51 4Skräddarsytt för dina behov

Handla bra grejer till jobbet

20 240 51 4Till extra bra priser

Allt fler superdatorer drivs med AMD

20 240 51 4MD tar ledningen bland superdatorer

AMD har lanserat nya processorer

20 240 51 4AMD Ryzen 7 8700F och AMD Ryzen 5 8400F

Optimizely uppmärk­sammas som ledare

20 240 51 4I 2024 Gartner® Magic Quadrant™

Komprimerade pappers­handdukar från Tork

20 240 51 4Ger dubbel påfyllning

Större monter än någonsin

20 240 51 4För Scantruck på Svenska Maskinmässan

Ny lösning snabbar på sökningar

20 240 51 4I stora datakluster och AI-arbetslaster

Easee offentligör elstatistik

20 240 51 4Transparens som gynnar hela samhället

Momentum Group förvärvar WH-service

20 240 51 4Stärker positionen inom industriteknik

Eaton öppnar ny fabrik i Finland

20 240 51 4Möter efterfrågan av energieffektiva UPS-system

Lunds nya labb

20 240 51 4Kombinerar moderna utrymmen med en klassisk look

ServiceNow utökar samarbeten

20 240 51 4Med Microsoft och Nvidia

Skicka in pressmeddelande
Verdion har säkrat ett förvärv
20 240 51 4
Prao ska höja status på plåtslagaryrket
20 240 51 4
Castellum hyr ut 6 919 kvm i centrala Linköping
20 240 51 4
FactoryTalk Optix
20 240 51 3
FANUC Nordic välkomnar Bob Struijk som VD
20 240 51 3
Anpassning och bearbetning
20 240 51 3
Swecons marknadschef framtidsspanar
20 240 51 3
Lättanvänd mjukvara för byggledning
20 240 51 3
8 av 10 elever går direkt ut i arbete
20 240 51 3
Mia Rolf är ny VD för Pingday
20 240 51 3
54% av företag inom supply chain och logistik
20 240 51 3
Ungt Stjärnskott revolu­tionerar säljbranschen
20 240 51 3
Frågor och svar om utveckling och testning
20 240 51 3
Män använder AI mer än kvinnor
20 240 51 3
Uppsving i framtidstro hos svenska småföretag
20 240 51 3
ZEISS är redo för Elmia Verktygsmaskiner
20 240 51 3
Levererar tillgänglig generativ AI-innovation
20 240 51 3
Skifte på hyresbostadsmarknaden
20 240 51 3
Anna ny verksamhets­arkitekt på Swedsec
20 240 51 3
Swecon ny återförsäljare
20 240 51 0
Ruggade IT-lösningar för försvar och säkerhet
20 240 51 0
Produktivitet i fokus
20 240 51 0
Rädda reliken
20 240 51 0
En vecka kvar till Elmia Produktionsmässor
20 240 51 0
Vidareutvecklat OEM-slangpumpar
20 240 51 0
Utökar AI-flexibilitet över hybridmolnet
20 240 51 0
10 år som VD
20 240 51 0
Nyttja både plastens och metallens egenskaper
20 240 50 9
RobotCenter Laxå säljer Svetsrobotstation
20 240 50 8
Cold forging via sourcing groups
20 240 50 8
Upptäck Innovationen
20 240 50 8
Olsons utökar produktkatalogen
20 240 50 8
Belysning och indikering i samma lampa
20 240 50 8
ServiceNow inleder årlig konferens Knowledge
20 240 50 8
Red Hat blir en del av AI Swedens uppdrag
20 240 50 8
2024-05-08
Mindre än 1 år efter brandenFörbättrad produktionseffektivitet Veeam lanserar Kasten V7.0 Zaptec växer 14% Glöm inte kolmonoxid­larmet till din båt!
2024-05-07
Industritorget expanderar Lasermaskiner för precision och effektivitet Låt oss integreraProtolabs utökar funktionaliteten RMS har allt för lagret
2024-05-06
Swecon erbjuder tilt­spinner för minigrävareInspodagen 2024 i TanåsABB utvidgar portföljenSvensk vindkraftexpertis eftertraktad i TysklandBOLIST Byggfest
2024-05-03
Högsta EMC klassifice­ringen för militärt brukSätt kryss i kalendern för 14-17 majWho we are, We are Jens S!Elektrifierade bygg­arbetsplatser är möjligaHar du din biljett till Elmia Automation ännu?
2024-05-02
Ny styrelseordförande i NORDIC A/SNy tillverkare - Conta-clip!KEWAB Rental byter namn till Swecon RentalArbetsplattformar för industriella behovNu är vårt senaste industrimagasin här!

För besökare

För medlemmar

Utökad annonsering

Digital medieproduktion

industritorget.se

Industritorget Sweden AB
+46 35 260 32 00
support@industritorget.se

industritorget.se | Sveriges mest besökta industrisajt