изкуствен интелект

Спонсорирани от държавата хакерски групи от страни като Китай и Иран използват възможностите на ChatGPT, за да подобрят своите офанзивни кибер операции.  

Според доклада Influence and Cyber Operations: An Update на OpenAI случаите на употреба варират от отстраняване на грешки в злонамерен код до генериране на съдържание за фишинг кампании и дезинформация в социалните медии. 

Един от забележителните случаи включва китайска кампания, наречена SweetSpecter. Тя използва ChatGPT за шпиониране, изследване на уязвимости и разработване на зловреден софтуер. Групата дори е насочила неуспешна фишинг атака срещу служители на OpenAI. 

CyberAv3ngers, иранска група, свързана с Корпуса на гвардейците на ислямската революция, пък изследва уязвимостите в индустриалните системи с помощта на AI модела. Освен това тя е генерирала скриптове за потенциални атаки срещу критична инфраструктура. 

Друга иранска група – STORM-0817 – е разчитала на ChatGPT за разработване на зловреден софтуер за Android. Той е способен да открадне чувствителни потребителски данни, включително контакти, регистър на обажданията и информация за местоположението. 

Мащабно нарушение на данните в базиран на изкуствен интелект кол център в Близкия изток разкри над 10 милиона разговора между потребители, оператори и AI агенти. Пробивът е включвал неоторизиран достъп до таблото за управление на платформата.  

От компанията за киберсигурност Resecurity предупреждават, че откраднатата информация може да бъде използвана за социално инженерство, фишинг схеми и други злонамерени дейности. Името на платформата все още не е ясно, но Infosecurity Magazine твърди, че тя се използва широко във финтех индустрията и електронната търговия.  

Този пробив подчертава нарастващата уязвимост на базираните на AI платформи, които се използват все повече за подобряване на обслужването на клиентите.  

Въпреки че предлагат персонализирана, ефективна комуникация, те също така представляват значителна заплаха за поверителността на данните, ако бъдат компрометирани. Така че внимателно обмисляйте каква информация споделяте при взаимодействие с тях и при всички случаи избягвайте въвеждането на критични лични или фирмени данни. 

  

Според ново проучване на CybSafe и National Cybersecurity Alliance (NCA) повече от 1/3 (38%) от служителите споделят чувствителна служебна информация с AI инструменти без разрешението на работодателя си.  

Това поведение е особено силно изразено сред по-младите поколения – около половината (46%) от анкетираните представители на поколението Z и 43% от милениалите признават, че го правят. 

Проучването също така установява, че 52% от респодентите разкриват, че все още не са преминали никакво обучение за безопасно използване на AI. 

Въпреки фрапиращия процент на служителите, които споделят критична информация с AI модели, 2/3 от анкетираните (65%) изразяват загриженост относно киберпрестъпленията, свързани с AI. Повече от половината (52%) смятат, че технологията ще затрудни откриването на измами, а 55% – че тя ще влоши сигурността в интернет. 

Тази статистика е изключително притеснителна, тъй като въвеждането на служебни данни в AI чатбот без подходящи мерки за сигурност може да доведе до сериозни рискове: 

• изтичане на критична информация; 
• злоупотреба с данни; 
• нарушаване на регламенти като GDPR; 
• употребата им за фишинг атаки и социално инженерство. 

Затова компаниите трябва да провеждат постоянни обучения по киберсигурност за служителите си и да въведат ясни процеси и строги правила за работа със служебни данни.  

 

Разработчиците в почти всички организации (83%) използват AI за генериране на код, което притеснява лидерите в областта на киберсигурността. 

Това е един от основните изводи от новото проучване на доставчикът на услуги за управление на машинна идентичност Venafi – Organizations Struggle to Secure AI-Generated and Open Source Code. То показва, че макар 72% от CISO да смятат, че нямат друг избор, освен да позволят използването на AI, 92% от тях имат опасения, свързани с това. 63% дори са обмисляли да забранят използването на технологията в кодирането заради рисковете за сигурността.   

Тъй като развитието на AI и особено на GenAI е изключително бързо, 66% от CISO смятат, че не могат да бъдат в крак с него. Още по-голям брой (78%) са убедени, че генерираният от AI код ще доведе организацията им до проблеми със сигурността. 59% са изключително притеснени.   

Първите три опасения, които най-често се посочват от участниците в проучването, са:   

• разработчиците ще станат прекалено зависими от AI, което ще доведе до понижаване на стандартите;
• кодът, написан с AI, няма да бъде ефективно проверяван за качество;   
• AI ще използва остарели библиотеки с отворен код, които не са добре поддържани.  

Криптографията е от съществено значение за защитата на данните в софтуерните приложения, но разработчиците често правят грешки при използването на криптографските API. Затова навременното им откриване е изключително важно. 

В търсене на най-добрия начин да се прави това, изследователи от Техническия университет в Клаустхал, Германия, и CUBE Global, Австралия, сравняват възможностите на ChatGPT и традиционните инструменти за анализ. AI чатботът на OpenAI не само демонстрира средни F-score (метрика, използвана за оценка на ефективността на моделите за машинно обучение) от 86% в 12 категории криптографски грешки, но првъзхожда в някои от тях CryptoGuard, водещ инструмент за статистически анализ. Например, ChatGPT постига 92,43% F-score при откриването на предсказуеми ключове в сравнение със 76,92% на CryptoGuard. 

При усъвършенстване на подсказките чатботът на OpenAI се представя още по-добре, като увеличава средните си F-score до 94,6%. По този начин той надминава най-съвременните инструменти в 10 от 12 категории и постига почти идентични резултати в останалите две. 

Изкуственият интелект (AI) бързо се превръща от помощен инструмент в автономен участник на полето на киберсигурността, променяйки го из основи, акцентират от анализаторската платформа AI Cyber Insights в своя доклад „AI in Cybersecurity – Q2 2024 Insights”. Но използването на технологията трябва винаги да бъде обвързано с разбирането, че тя все още е в началните си етапи на развитие и идва със своите проблеми на растежа. 

AI дава огромен потенциал за надграждане на инструментите и стратегиите за информационна сигурност в няколко области: 

• подобрява процеса на Threat Modeling – проиграване на хипотетични сценарии и тестове за идентифициране на уязвимости, подпомагане на оценката на риска и предлагане на коригиращи действия; 
• подкрепя SOAR (Security orchestration, automation and response) технологиите, които координират, изпълняват и автоматизират задачите между различни потребители и инструменти в рамките на една платформа; 
• автоматизира сканирането на уязвимости, приоритизира рисковете и прави препоръки за стратегии за отстраняване на грешки. По този начин AI повишава ефективността на процесите за управление на уязвимостите; 
• анализира моделите и езика на комуникация, за да идентифицира опити за социално инженерство – често използвана тактика в кибератаките, като повишава значително възможностите за откриване на фишинг имейли. 

Но AI може да бъде използван и от злонамерени участници – както за създаване на по-сложни и по-унищожителни киберзаплахи, така и за експлоатация на пробойни в самата технология.  

Пример за това е AI червеят (worm) Morris II, създаден от изследователи по сигурността, за да демонстрира уязвимостите на водещи GenAI платформи като ChatGPT и Gemini. Той краде чувствителни данни и разпространява зловреден софтуер в мрежите. Ако подобен инструмент бъде създаден от киберпрестъпници, би представлявал значителен риск за крайните потребители и бизнесите. 

Според компанията за киберсигурност Wiz критични уязвимости може да има и в платформите от типа AI-като-услуга (AI-as-a-service). Replicate, например, може да бъде много полезна, тъй като събира различни големи езикови модели (LLM) с отворен код, но има и един важен недостатък – потенциално излага на риск чувствителни данни на изградените на нея AI модели.  

Самите LLM също имат присъщи уязвимости, известни като Prompt Injection Vulnerability. Те могат да бъдат екплоатирани: 

• директно (jailbreaking) – злонамереният потребител успява да презапише или разкрие основните системни команди и да манипулира поведението на модела; 
• индиректно – LLM приема входни данни, контролирани от нападател, от външни източници като интернет страници или файлове. 

Успешното експлоатиране на Prompt Injection Vulnerability може да доведе както до изтичане на поверителна информация, така и до манипулиране на критични за бизнеса процеси. 

Изводът от тези примери е, че изкуственият интелект е мощно оръжие за защита, но също така може лесно да се превърне в „ахилесова пета“ за организациите. Затова не бързайте, запленени от конкурентните предимства, които обещава той. Интеграцията на инструменти и услуги, базирани на AI, трябва винаги да бъде основана на внимателно проучване на силните и слабите страни на всяка една платформа поотделно. Независимо дали става дума за киберсигурност или други бизнес процеси.