изкуствен интелект

Новооткрита уязвимост позволява заобикаляне на защитните механизми на ChatGPT с помощта на шестнайсетично кодирани инструкции. Откритието, направено чрез bug bounty програмата за откриване на грешки в сигурността 0Din, повдига сериозни въпроси относно сигурността на AI системите. 

Новата jailbreaking тактика позволява на потребителите да заобиколят вградените ограничения на ChatGPT чрез кодиране на злонамерени инструкции. В демонстрация на Марко Фигероа, мениджър по сигурността на AI в Mozilla, ChatGPT е накаран да генерира експлойт код на Python за известна уязвимост. Това обикновено е забранено от системата. 

Изследователят разкрива и втора техника, използваща емоджита за заобикаляне на защитите. Чрез специално форматирана заявка системата е подведена да създаде инструмент за SQL инжекция. 

„Този пробив демонстрира нуждата от по-усъвършенствани мерки за сигурност в AI моделите, особено по отношение на кодирането“, коментира Фигероа пред CybersecurityNews.

OpenAI, компанията зад ChatGPT, е реагирала бързо и въпросните уязвимостите вече са отстранени. Този случай обаче подчертава нуждата от усъвършенствани функции за защита на AI платформите, включително подобрена контекстуална осведоменост и по-стабилни механизми за филтриране.  

Организациите, от своя страна, трябва да останат бдителни и да следят най-новите разработки в областта на атаките, базирани на AI, за да се предпазят от тези нови заплахи. 

 

Apple предлага до 1 млн. USD възнаграждение на всеки, който успее да пробие защитата на нейната система Private Cloud Compute (PCC). Тя захранва най-взискателните от изчислителна гледна точка задачи на AI платформата на компанията – Apple Intelligence. 

За целта гигантът от Купертино за първи път създава Виртуална изследователска среда (Virtual Research Environment) и предоставя изходния код на няколко „ключови компонента“ на системата. Този набор от инструменти позволява извършването на оценки на сигурността на PCC директно от Mac. 

Максималната награда е за идентифициране на уязвимости, които биха могли да застрашат основните защити и механизмите за поверителност на платформата.  

За да подпомогне усилията на изследователите по сигурността, Apple публикува „Ръководство за сигурност на Private Cloud Compute“. То описва подробно как различните компоненти на PCC работят заедно, за да осигурят високи нива на поверителност за обработката на изкуствен интелект в облака.  

 

Все повече организации обмислят пълномащабната интеграция на системи с изкуствен интелект (AI). В малко от тях обаче в този процес са въвлечени екипите за киберсигурност.

45% от респондентите в ново проучване на ISACA посочват, че не участват в разработването, внедряването или прилагането на решения за AI. В същото време едва 35% от 1800 специалисти казват, че участват в разработването на подобни решения и политики.

AI се използва от различни звена в една организация, а хакерите вече разработват набори от инструменти за използването му като входна точка за кибератаки. Така че тази тенденция крие много рискове, между които:

• отравяне на данни, което компрометира процеса на обучение на AI;
• вграждане на „задни вратички“ в моделите, които позволяват неоторизиран достъп впоследствие;
• атаки към компонентите, участващи в разработването и внедряването на AI модели;
• кражба на модели, при която нападателите използват слабостите на системата, за да деактивират защитните ѝ механизми.

Затова е задължително киберсигурността винаги да бъде основна част от процеса на имплементация на подобни системи.

 

 

Спонсорирани от държавата хакерски групи от страни като Китай и Иран използват възможностите на ChatGPT, за да подобрят своите офанзивни кибер операции.  

Според доклада Influence and Cyber Operations: An Update на OpenAI случаите на употреба варират от отстраняване на грешки в злонамерен код до генериране на съдържание за фишинг кампании и дезинформация в социалните медии. 

Един от забележителните случаи включва китайска кампания, наречена SweetSpecter. Тя използва ChatGPT за шпиониране, изследване на уязвимости и разработване на зловреден софтуер. Групата дори е насочила неуспешна фишинг атака срещу служители на OpenAI. 

CyberAv3ngers, иранска група, свързана с Корпуса на гвардейците на ислямската революция, пък изследва уязвимостите в индустриалните системи с помощта на AI модела. Освен това тя е генерирала скриптове за потенциални атаки срещу критична инфраструктура. 

Друга иранска група – STORM-0817 – е разчитала на ChatGPT за разработване на зловреден софтуер за Android. Той е способен да открадне чувствителни потребителски данни, включително контакти, регистър на обажданията и информация за местоположението. 

Мащабно нарушение на данните в базиран на изкуствен интелект кол център в Близкия изток разкри над 10 милиона разговора между потребители, оператори и AI агенти. Пробивът е включвал неоторизиран достъп до таблото за управление на платформата.  

От компанията за киберсигурност Resecurity предупреждават, че откраднатата информация може да бъде използвана за социално инженерство, фишинг схеми и други злонамерени дейности. Името на платформата все още не е ясно, но Infosecurity Magazine твърди, че тя се използва широко във финтех индустрията и електронната търговия.  

Този пробив подчертава нарастващата уязвимост на базираните на AI платформи, които се използват все повече за подобряване на обслужването на клиентите.  

Въпреки че предлагат персонализирана, ефективна комуникация, те също така представляват значителна заплаха за поверителността на данните, ако бъдат компрометирани. Така че внимателно обмисляйте каква информация споделяте при взаимодействие с тях и при всички случаи избягвайте въвеждането на критични лични или фирмени данни. 

  

Според ново проучване на CybSafe и National Cybersecurity Alliance (NCA) повече от 1/3 (38%) от служителите споделят чувствителна служебна информация с AI инструменти без разрешението на работодателя си.  

Това поведение е особено силно изразено сред по-младите поколения – около половината (46%) от анкетираните представители на поколението Z и 43% от милениалите признават, че го правят. 

Проучването също така установява, че 52% от респодентите разкриват, че все още не са преминали никакво обучение за безопасно използване на AI. 

Въпреки фрапиращия процент на служителите, които споделят критична информация с AI модели, 2/3 от анкетираните (65%) изразяват загриженост относно киберпрестъпленията, свързани с AI. Повече от половината (52%) смятат, че технологията ще затрудни откриването на измами, а 55% – че тя ще влоши сигурността в интернет. 

Тази статистика е изключително притеснителна, тъй като въвеждането на служебни данни в AI чатбот без подходящи мерки за сигурност може да доведе до сериозни рискове: 

• изтичане на критична информация; 
• злоупотреба с данни; 
• нарушаване на регламенти като GDPR; 
• употребата им за фишинг атаки и социално инженерство. 

Затова компаниите трябва да провеждат постоянни обучения по киберсигурност за служителите си и да въведат ясни процеси и строги правила за работа със служебни данни.  

 

Разработчиците в почти всички организации (83%) използват AI за генериране на код, което притеснява лидерите в областта на киберсигурността. 

Това е един от основните изводи от новото проучване на доставчикът на услуги за управление на машинна идентичност Venafi – Organizations Struggle to Secure AI-Generated and Open Source Code. То показва, че макар 72% от CISO да смятат, че нямат друг избор, освен да позволят използването на AI, 92% от тях имат опасения, свързани с това. 63% дори са обмисляли да забранят използването на технологията в кодирането заради рисковете за сигурността.   

Тъй като развитието на AI и особено на GenAI е изключително бързо, 66% от CISO смятат, че не могат да бъдат в крак с него. Още по-голям брой (78%) са убедени, че генерираният от AI код ще доведе организацията им до проблеми със сигурността. 59% са изключително притеснени.   

Първите три опасения, които най-често се посочват от участниците в проучването, са:   

• разработчиците ще станат прекалено зависими от AI, което ще доведе до понижаване на стандартите;
• кодът, написан с AI, няма да бъде ефективно проверяван за качество;   
• AI ще използва остарели библиотеки с отворен код, които не са добре поддържани.  

Криптографията е от съществено значение за защитата на данните в софтуерните приложения, но разработчиците често правят грешки при използването на криптографските API. Затова навременното им откриване е изключително важно. 

В търсене на най-добрия начин да се прави това, изследователи от Техническия университет в Клаустхал, Германия, и CUBE Global, Австралия, сравняват възможностите на ChatGPT и традиционните инструменти за анализ. AI чатботът на OpenAI не само демонстрира средни F-score (метрика, използвана за оценка на ефективността на моделите за машинно обучение) от 86% в 12 категории криптографски грешки, но првъзхожда в някои от тях CryptoGuard, водещ инструмент за статистически анализ. Например, ChatGPT постига 92,43% F-score при откриването на предсказуеми ключове в сравнение със 76,92% на CryptoGuard. 

При усъвършенстване на подсказките чатботът на OpenAI се представя още по-добре, като увеличава средните си F-score до 94,6%. По този начин той надминава най-съвременните инструменти в 10 от 12 категории и постига почти идентични резултати в останалите две. 

Изкуственият интелект (AI) бързо се превръща от помощен инструмент в автономен участник на полето на киберсигурността, променяйки го из основи, акцентират от анализаторската платформа AI Cyber Insights в своя доклад „AI in Cybersecurity – Q2 2024 Insights”. Но използването на технологията трябва винаги да бъде обвързано с разбирането, че тя все още е в началните си етапи на развитие и идва със своите проблеми на растежа. 

AI дава огромен потенциал за надграждане на инструментите и стратегиите за информационна сигурност в няколко области: 

• подобрява процеса на Threat Modeling – проиграване на хипотетични сценарии и тестове за идентифициране на уязвимости, подпомагане на оценката на риска и предлагане на коригиращи действия; 
• подкрепя SOAR (Security orchestration, automation and response) технологиите, които координират, изпълняват и автоматизират задачите между различни потребители и инструменти в рамките на една платформа; 
• автоматизира сканирането на уязвимости, приоритизира рисковете и прави препоръки за стратегии за отстраняване на грешки. По този начин AI повишава ефективността на процесите за управление на уязвимостите; 
• анализира моделите и езика на комуникация, за да идентифицира опити за социално инженерство – често използвана тактика в кибератаките, като повишава значително възможностите за откриване на фишинг имейли. 

Но AI може да бъде използван и от злонамерени участници – както за създаване на по-сложни и по-унищожителни киберзаплахи, така и за експлоатация на пробойни в самата технология.  

Пример за това е AI червеят (worm) Morris II, създаден от изследователи по сигурността, за да демонстрира уязвимостите на водещи GenAI платформи като ChatGPT и Gemini. Той краде чувствителни данни и разпространява зловреден софтуер в мрежите. Ако подобен инструмент бъде създаден от киберпрестъпници, би представлявал значителен риск за крайните потребители и бизнесите. 

Според компанията за киберсигурност Wiz критични уязвимости може да има и в платформите от типа AI-като-услуга (AI-as-a-service). Replicate, например, може да бъде много полезна, тъй като събира различни големи езикови модели (LLM) с отворен код, но има и един важен недостатък – потенциално излага на риск чувствителни данни на изградените на нея AI модели.  

Самите LLM също имат присъщи уязвимости, известни като Prompt Injection Vulnerability. Те могат да бъдат екплоатирани: 

• директно (jailbreaking) – злонамереният потребител успява да презапише или разкрие основните системни команди и да манипулира поведението на модела; 
• индиректно – LLM приема входни данни, контролирани от нападател, от външни източници като интернет страници или файлове. 

Успешното експлоатиране на Prompt Injection Vulnerability може да доведе както до изтичане на поверителна информация, така и до манипулиране на критични за бизнеса процеси. 

Изводът от тези примери е, че изкуственият интелект е мощно оръжие за защита, но също така може лесно да се превърне в „ахилесова пета“ за организациите. Затова не бързайте, запленени от конкурентните предимства, които обещава той. Интеграцията на инструменти и услуги, базирани на AI, трябва винаги да бъде основана на внимателно проучване на силните и слабите страни на всяка една платформа поотделно. Независимо дали става дума за киберсигурност или други бизнес процеси.