изкуствен интелект

През изминалата година уязвимостите в API, свързани с изкуствен интелект (AI), са се увеличили с 1205%.

57% от задвижваните от AI API са достъпни отвън, а при 89% липсва сигурно удостоверяване. Едва 11% са приложили надеждни мерки за сигурност, сочат данните от 2025 API ThreatStats Report на Wallarm.

Пропуските в механизмите за автентикация остават критичен проблем – 89% от API, задвижвани от AI, са уязвими. Това важи както за наследените, така и за по-новите интерфейси. На този фон, нарушенията на API се утрояват през 2024 г.

А примерите от реалния свят дебело подчертават мащаба на рисковете. Пробивът в API на Dell например изложи на риск 49 милиона записа през май 2024 г. В сферата на здравеопазването Ascension Health се сблъска с опустошителен пробив в API, който засегна 5,6 милиона пациенти през декември.

Приложно-програмните интерфейси се превръщат в гръбнак на интеграцията на AI. И тъй като заплахите, свързани с API, продължават да се увеличават, бизнесите трябва да дадат приоритет на сигурността, за да защитят своите операции, данни и репутация.

 

Служителите споделят широк спектър от данни в инструменти за генеративен изкуствен интелект (GenAI). Това оправдава колебанието на много организации да възприемат използването на технологията.

Всеки път, когато потребител въвежда данни в свой промпт за ChatGPT или друг подобен инструмент, информацията се поглъща от големия езиков модел. След това тя се използва за обучение на следващото поколение на алгоритъма. Опасенията са, че информацията може да бъде извлечена по-късно чрез уязвимости в моделите, ако не е осигурена подходяща защита на данните за въпросната услуга.

От Harmonic.ai са анализирали хиляди промптове, подадени от потребители в GenAI платформи като Copilot, ChatGPT, Gemini, Claude и Perplexity. Общо 8,5% от анализираните заявки са включвали поверителни данни.

Те попадат в една от петте категории: данни за клиенти, данни за служители, правни и финансови данни, данни за сигурност, чувствителен код.

Според изследователите данните за клиенти заемат най-голям дял от подканите – 45,77%. Тези за служители съставляват 27% от чувствителните подсказки в проучването на Harmonic.

Това показва, че GenAI инструментите все повече се използват за вътрешни процеси. Те включват прегледи на представянето, решения за наемане и дори определяне на годишните бонуси.

Правната и финансовата информация не е толкова често изложена на риск – 14,88% от случаите, но когато това се случи, носи голям корпоративен риск.

Тази статистика показва, че бизнесите трябва да обучават своите служители какво е подходящо да сподеят с моделите за генеративен изкуствен интелект и какво не. Въвеждането на стриктни политики за киберсигурност и работа с вътрешна информация е задължително условие за защита на критичните данни на една организация.

Хакерите все по-често използват изкуствен интелект (AI), за да подобрят качеството и ефективността на своите онлайн измами. Те варират от романтични и инвестиционни схеми до такива за наемане на работа.

Някои от често срещаните кампании включват използване на текст, изображения и видеоклипове, генерирани от AI, за:

• създаване на реалистични профили в социалните мрежи за социално инженерство, фишинг и измами;
• комуникация в реално време от името на организации, ръководители или институции с цел получаване на плащания или информация;
• създаване на рекламни материали и страници за привличане на жертви в измамни инвестиционни схеми;
• фалшиви порнографски изображения или видеоклипове на жертви или публични личности с цел изнудване;
• генериране на реалистични изображения и видеоклипове на природни бедствия и конфликти с цел набиране на дарения за фалшиви благотворителни организации.

Ето какво трябва да направите, за да се предпазите от подобни измами, според ФБР:

• създайте тайна дума или фраза със семейството си, с която да потвърждавате самоличността си;
• търсете фини несъвършенства в изображенията/видеоклиповете (напр. изкривени ръце, неправилни лица, странни сенки или нереалистични движения);
• слушайте внимателно, за да можете да откриете неестествен тон или избор на думи в обажданията. Подобни знаци издават гласовото клониране, генерирано от AI;
• ограничете публично достъпното съдържание на лицето/гласа си. Настройте акаунтите си в социалните мрежи като лични и ограничете последователите си до доверени хора;
• проверявайте информацията, която получавате, както и организацията, от която идва. След това се свържете, като използвате официален номер;
• никога не споделяйте поверителна информация с непознати онлайн или по телефона.

Новооткрита уязвимост позволява заобикаляне на защитните механизми на ChatGPT с помощта на шестнайсетично кодирани инструкции. Откритието, направено чрез bug bounty програмата за откриване на грешки в сигурността 0Din, повдига сериозни въпроси относно сигурността на AI системите. 

Новата jailbreaking тактика позволява на потребителите да заобиколят вградените ограничения на ChatGPT чрез кодиране на злонамерени инструкции. В демонстрация на Марко Фигероа, мениджър по сигурността на AI в Mozilla, ChatGPT е накаран да генерира експлойт код на Python за известна уязвимост. Това обикновено е забранено от системата. 

Изследователят разкрива и втора техника, използваща емоджита за заобикаляне на защитите. Чрез специално форматирана заявка системата е подведена да създаде инструмент за SQL инжекция. 

„Този пробив демонстрира нуждата от по-усъвършенствани мерки за сигурност в AI моделите, особено по отношение на кодирането“, коментира Фигероа пред CybersecurityNews.

OpenAI, компанията зад ChatGPT, е реагирала бързо и въпросните уязвимостите вече са отстранени. Този случай обаче подчертава нуждата от усъвършенствани функции за защита на AI платформите, включително подобрена контекстуална осведоменост и по-стабилни механизми за филтриране.  

Организациите, от своя страна, трябва да останат бдителни и да следят най-новите разработки в областта на атаките, базирани на AI, за да се предпазят от тези нови заплахи. 

 

Apple предлага до 1 млн. USD възнаграждение на всеки, който успее да пробие защитата на нейната система Private Cloud Compute (PCC). Тя захранва най-взискателните от изчислителна гледна точка задачи на AI платформата на компанията – Apple Intelligence. 

За целта гигантът от Купертино за първи път създава Виртуална изследователска среда (Virtual Research Environment) и предоставя изходния код на няколко „ключови компонента“ на системата. Този набор от инструменти позволява извършването на оценки на сигурността на PCC директно от Mac. 

Максималната награда е за идентифициране на уязвимости, които биха могли да застрашат основните защити и механизмите за поверителност на платформата.  

За да подпомогне усилията на изследователите по сигурността, Apple публикува „Ръководство за сигурност на Private Cloud Compute“. То описва подробно как различните компоненти на PCC работят заедно, за да осигурят високи нива на поверителност за обработката на изкуствен интелект в облака.  

 

Все повече организации обмислят пълномащабната интеграция на системи с изкуствен интелект (AI). В малко от тях обаче в този процес са въвлечени екипите за киберсигурност.

45% от респондентите в ново проучване на ISACA посочват, че не участват в разработването, внедряването или прилагането на решения за AI. В същото време едва 35% от 1800 специалисти казват, че участват в разработването на подобни решения и политики.

AI се използва от различни звена в една организация, а хакерите вече разработват набори от инструменти за използването му като входна точка за кибератаки. Така че тази тенденция крие много рискове, между които:

• отравяне на данни, което компрометира процеса на обучение на AI;
• вграждане на „задни вратички“ в моделите, които позволяват неоторизиран достъп впоследствие;
• атаки към компонентите, участващи в разработването и внедряването на AI модели;
• кражба на модели, при която нападателите използват слабостите на системата, за да деактивират защитните ѝ механизми.

Затова е задължително киберсигурността винаги да бъде основна част от процеса на имплементация на подобни системи.

 

 

Спонсорирани от държавата хакерски групи от страни като Китай и Иран използват възможностите на ChatGPT, за да подобрят своите офанзивни кибер операции.  

Според доклада Influence and Cyber Operations: An Update на OpenAI случаите на употреба варират от отстраняване на грешки в злонамерен код до генериране на съдържание за фишинг кампании и дезинформация в социалните медии. 

Един от забележителните случаи включва китайска кампания, наречена SweetSpecter. Тя използва ChatGPT за шпиониране, изследване на уязвимости и разработване на зловреден софтуер. Групата дори е насочила неуспешна фишинг атака срещу служители на OpenAI. 

CyberAv3ngers, иранска група, свързана с Корпуса на гвардейците на ислямската революция, пък изследва уязвимостите в индустриалните системи с помощта на AI модела. Освен това тя е генерирала скриптове за потенциални атаки срещу критична инфраструктура. 

Друга иранска група – STORM-0817 – е разчитала на ChatGPT за разработване на зловреден софтуер за Android. Той е способен да открадне чувствителни потребителски данни, включително контакти, регистър на обажданията и информация за местоположението. 

Мащабно нарушение на данните в базиран на изкуствен интелект кол център в Близкия изток разкри над 10 милиона разговора между потребители, оператори и AI агенти. Пробивът е включвал неоторизиран достъп до таблото за управление на платформата.  

От компанията за киберсигурност Resecurity предупреждават, че откраднатата информация може да бъде използвана за социално инженерство, фишинг схеми и други злонамерени дейности. Името на платформата все още не е ясно, но Infosecurity Magazine твърди, че тя се използва широко във финтех индустрията и електронната търговия.  

Този пробив подчертава нарастващата уязвимост на базираните на AI платформи, които се използват все повече за подобряване на обслужването на клиентите.  

Въпреки че предлагат персонализирана, ефективна комуникация, те също така представляват значителна заплаха за поверителността на данните, ако бъдат компрометирани. Така че внимателно обмисляйте каква информация споделяте при взаимодействие с тях и при всички случаи избягвайте въвеждането на критични лични или фирмени данни. 

  

Според ново проучване на CybSafe и National Cybersecurity Alliance (NCA) повече от 1/3 (38%) от служителите споделят чувствителна служебна информация с AI инструменти без разрешението на работодателя си.  

Това поведение е особено силно изразено сред по-младите поколения – около половината (46%) от анкетираните представители на поколението Z и 43% от милениалите признават, че го правят. 

Проучването също така установява, че 52% от респодентите разкриват, че все още не са преминали никакво обучение за безопасно използване на AI. 

Въпреки фрапиращия процент на служителите, които споделят критична информация с AI модели, 2/3 от анкетираните (65%) изразяват загриженост относно киберпрестъпленията, свързани с AI. Повече от половината (52%) смятат, че технологията ще затрудни откриването на измами, а 55% – че тя ще влоши сигурността в интернет. 

Тази статистика е изключително притеснителна, тъй като въвеждането на служебни данни в AI чатбот без подходящи мерки за сигурност може да доведе до сериозни рискове: 

• изтичане на критична информация; 
• злоупотреба с данни; 
• нарушаване на регламенти като GDPR; 
• употребата им за фишинг атаки и социално инженерство. 

Затова компаниите трябва да провеждат постоянни обучения по киберсигурност за служителите си и да въведат ясни процеси и строги правила за работа със служебни данни.  

 

Разработчиците в почти всички организации (83%) използват AI за генериране на код, което притеснява лидерите в областта на киберсигурността. 

Това е един от основните изводи от новото проучване на доставчикът на услуги за управление на машинна идентичност Venafi – Organizations Struggle to Secure AI-Generated and Open Source Code. То показва, че макар 72% от CISO да смятат, че нямат друг избор, освен да позволят използването на AI, 92% от тях имат опасения, свързани с това. 63% дори са обмисляли да забранят използването на технологията в кодирането заради рисковете за сигурността.   

Тъй като развитието на AI и особено на GenAI е изключително бързо, 66% от CISO смятат, че не могат да бъдат в крак с него. Още по-голям брой (78%) са убедени, че генерираният от AI код ще доведе организацията им до проблеми със сигурността. 59% са изключително притеснени.   

Първите три опасения, които най-често се посочват от участниците в проучването, са:   

• разработчиците ще станат прекалено зависими от AI, което ще доведе до понижаване на стандартите;
• кодът, написан с AI, няма да бъде ефективно проверяван за качество;   
• AI ще използва остарели библиотеки с отворен код, които не са добре поддържани.