Preskočiť na hlavný obsah

Príspevky

Zobrazujú sa príspevky so štítkom bezpečnosť

Bezpečnostný audit AI agentov: prompt injection, tool use, oprávnenia a ochrana dát

Firemný AI chatbot odpovedá na otázky. AI agent môže robiť podstatne viac. Môže: čítať firemné dokumenty, prehľadávať CRM, pracovať s e-mailmi, vyhľadávať na internete, vytvárať objednávky, meniť údaje v databáze, odosielať e-maily, spúšťať API operácie, pracovať so súbormi, a koordinovať ďalších agentov. Práve tým sa mení aj bezpečnostný problém. Pri klasickom chatbotovi sa často pýtame: „Dokáže model povedať niečo, čo by nemal?“ Pri agentovi musíme navyše riešiť: „Dokáže agent urobiť niečo, čo by nemal?“ To je zásadný rozdiel. Ak chatbot odpovie nesprávne, vzniká informačný problém. Ak agent s oprávnením na prácu s CRM, e-mailom alebo platbami urobí nesprávnu akciu, môže vzniknúť bezpečnostný alebo obchodný incident. Preto nestačí agentovi pripraviť dobrý masterprompt. Nestačí mu napísať: „Nikdy nezdieľaj citlivé informácie a vždy sa správaj bezpečne.“ Bezpečnosť agentového systému musí byť postavená aj mimo samotného modelu: v architektú...

AI vám napísala aplikáciu. Kto skontroluje, či je bezpečná?

Pred niekoľkými rokmi znamenalo vytvorenie webovej aplikácie návrh architektúry, programovanie, testovanie a často týždne či mesiace vývoja. Dnes dokáže človek pomocou AI coding nástrojov vytvoriť funkčný prototyp za výrazne kratší čas. Popíše požiadavku. AI pripraví databázu. Vytvorí prihlasovanie. Doplní API. Pridá administráciu. Pripraví formuláre. Napojí platobnú bránu. Pomôže aplikáciu nasadiť. A na prvý pohľad všetko funguje. Používateľ sa vie registrovať. Administrátor sa vie prihlásiť. Dáta sa ukladajú. API odpovedá. Objednávka prejde. Práve v tomto bode však vzniká veľmi dôležitá otázka: Kto overil, že aplikácia je nielen funkčná, ale aj bezpečná? Funkčnosť a bezpečnosť totiž nie sú to isté. Aplikácia môže dokonale plniť zadanie a zároveň obsahovať chybu, ktorá umožní používateľovi pristupovať k údajom iného používateľa. Môže správne ukladať formulár a pritom nedostatočne validovať vstup. Môže mať prihlasovanie, ale nedostatočnú kontro...