Säkerhet och integritet för maskininlärning

Mål

Kursen syftar till att ge studenterna förståelse för säkerhetsfrågor och skydd av integritet i moderna maskininlärningssystem samt introducera centrala begrepp för att säkerställa tillförlitligheten i sådana system. Kursen kombinerar teoretisk kunskap med praktiska färdigheter för att utveckla robusta, integritetsbevarande och tillförlitliga maskininlärningssystem. Efter avslutad kurs skall den studerande kunna:

• Redogöra för de viktigaste säkerhets- och integritetsriskerna i moderna maskininlärningssystem.
• Tillämpa hotmodellering och säkerhetsanalysmetoder för att identifiera och bedöma risker i maskininlärningspipelines, inklusive nya attackmodeller såsom AI-assisterade angripare.
• Konstruera och implementera säkerhets- och integritetsattacker mot maskininlärningssystem, utveckla motsvarande försvar och empiriskt utvärdera deras effektivitet.
• Förklara grundläggande principer för att bygga tillförlitliga maskininlärningssystem och relatera dessa till verkliga tillämpningar.
• Samarbeta och kommunicera resultaten av ett grupprojekt, inklusive implementering, dokumentation och presentation/demonstration.

Innehåll

• Sårbarhetsanalys och hotmodellering för maskininlärningssystem som används i olika domäner (t.ex. vård, nätverkshantering och industriella miljöer) och med olika träningsmetoder, inklusive övervakad inlärning, förstärkningsinlärning, distribuerad inlärning och generativa modeller, med hänsyn till nya angriparkapaciteter såsom AIassisterade attacker.
• Säkerhet: adversariella exempel, data- och modellförgiftning, backdoor-attacker samt försvar mot dessa attacker, inklusive robust träning och detektion.
• Integritet: Modelextraktion, medlemskapsinferens, läckage av känslig träningsdata, obehörig användning av modeller och dataset, säker driftsättning av modeller samt tekniker för integritetsbevarande maskininlärning.
• Begrepp och terminologi relaterade till regulatorisk efterlevnad, styrning, tillförlitlighet, rättvisa och bias-mitigering i moderna AI-tillämpningar.