Systémy AI existujú už desaťročia, ale keď sa ChatGPT objavil v našich životoch, vložil možnosti AI do rúk každého. Nová éra modelov s otvoreným zdrojovým kódom a LLM (Large Language Models) vytvorila nové prostredie hrozieb. Aktéri hrozieb môžu teraz túto technológiu využívať pri svojej zákernej činnosti. Organizácie tiež začleňujú systémy LLM bez toho, aby plne pochopili hrozbu, ktorú môžu predstavovať. Technológie ako Retrieval Augmented Generation (RAG) umožňujú organizáciám využívať svoje údaje s najmodernejšími modelmi, ako sú ChatGPT a Claude, bez toho, aby potrebovali komplexnú infraštruktúru školení a budovania vlastných modelov. V tejto prednáške preskúmame, ako aktéri hrozieb používajú AI pri svojich útokoch a ponoríme sa do diskusií o týchto metódach, ktoré sa odohrávajú v kriminálnom podzemí. Preskúmame aj útoky známe ako „útek z väzenia“, ktoré sú navrhnuté tak, aby obchádzali bezpečnostné opatrenia zavedené spoločnosťami ako OpenAI a Claude, aby zabránili zneužitiu ich veľkých jazykových modelov (LLM). Okrem toho sa budeme zaoberať rýchlymi injekčnými útokmi, ktoré sa špecificky zameriavajú na systémy založené na AI, čo má vplyv na aplikácie, ktoré sa spoliehajú na AI, ako sú systémy Retrieval-Augmented Generation (RAG). Nakoniec navrhneme stratégie na zmiernenie týchto typov útokov. Kľúčové poznatky: Publikum odíde z tejto prednášky s jasnejším pochopením prostredia hrozieb AI, rôznych typov útokov a tipov na ich zmiernenie.