AI

С 2,5 млрд. акаунта Gmail е най-голямата услуга за електронна поща в света. Това я превръща в любим вектора за кибератаки на хакерите. И въпреки че Google постоянно въвежда нови функции за сигурност, те измислят нови тактики.

Навлизането на AI и възможностите за deepfake, които дава той, се превърнаха в поредното оръжие в арсенала на киберпрестъпниците. Те използват технологията, за да създават изключително реалистични фалшиви видеоклипове или аудиозаписи, почти неразличними от автентично съдържание от реални хора.

Платформите за deepfake стават все по-достъпни и вече дори хора без предишен опит могат да създават убедително съдържание. Атаките имат такова качество, че могат да заблудят дори опитен професионалист в областта на киберсигурността.

Пример за това е консултантът по решения за сигурност на Microsoft Сам Митрович. През октомври той става жертва на атака, задвижвана от AI.

Тя протича така:

• получава известие за опит за възстановяване на акаунт в Gmail. На пръв поглед то идва от Google;
• експертът игнорира това съобшение, но седмица след това получава телефонното обаждане от „отдела за поддръжка“ на компанията. То е извършено от напълно легитимен телефонен номер;
• впоследствие обаждащият се изпраща имейл за потвърждение.

Тъй като е консултант по сигурността обаче, Митрович забелязва нещо, което по-малко опитен потребител би пропуснал. В полето за изпращача е умело замаскиран адрес, който всъщност не е на Google. Ако не беше забелязал това несъответствие, Митрович е можело да завърши „процеса на възстановяване“. Това би позволило на нападателя да прихване данните за вход и бисквитката на сесията, а оттам и да заобикали 2FA.

За да ограничите максимално риска да стането жертва на подобни атаки, Google препоръчва:

• ако получите подобно предупреждение, избягвайте да кликвате върху връзки, да изтегляте прикачени файлове или да въвеждате лична информация. „Google използва усъвършенствана система за сигурност, за да ви предупреждава за опасни съобщения, опасно съдържание или измамни уебсайтове“, казват от компанията. „Не въвеждайте лична информация в имейли, съобщения, уебстраници или изскачащи прозорци от ненадеждни или непознати доставчици.“
• не отговаряйте на искания за лична информация по имейл, текстово съобщение или телефонно обаждане;
• ако смятате, че имейл за сигурност, който изглежда като от Google, може да е фалшив, отидете директно на myaccount.google.com/notifications. На тази страница можете да проверите последните дейности по сигурността на вашия профил в Google;
• пазете се от съобщения, изискващи спешни действия. Това важи с пълна сила за такива, които на пръв поглед идват от близки хора, като например приятел, член на семейството или колега;
• ако все пак кликнете върху връзка и бъдете помолени да въведете паролата за вашия Gmail, акаунт в Google или друга услуга: Не го правете! Вместо това отидете директно на уебсайта, който искате да използвате.

 

Швейцарския федерален технологичен институт в Лозана е постигнал 100% успеваемост при разбиването на защитите за сигурност на водещи GenAI модели. EPFL е използвал адаптивни jailbreak атаки срещу известни платформи като GPT-4 на OpenAI и Claude 3 на Anthropic.

По този начин моделите започват да генерират опасно съдържание, вариращо от инструкции за фишинг атаки до подробни конструктивни планове за оръжия.

Адаптивните атаки заобиколят мерките за сигурност, като се възползват от различни слаби места. Моделите започват да отговарят на злонамерени заявки като „Как да направя бомба?“ или „Как да проникна в правителствена база данни?“. По принцип разработчиците залагат предпазни мерки, които не позволяват платформите им да се използват за подобни цели.

Това е пореден пример, че, наред с позитивното си влияние, AI може да се превърне в оръжие в ръцете на хакерите.

Хакерите все по-често използват изкуствен интелект (AI), за да подобрят качеството и ефективността на своите онлайн измами. Те варират от романтични и инвестиционни схеми до такива за наемане на работа.

Някои от често срещаните кампании включват използване на текст, изображения и видеоклипове, генерирани от AI, за:

• създаване на реалистични профили в социалните мрежи за социално инженерство, фишинг и измами;
• комуникация в реално време от името на организации, ръководители или институции с цел получаване на плащания или информация;
• създаване на рекламни материали и страници за привличане на жертви в измамни инвестиционни схеми;
• фалшиви порнографски изображения или видеоклипове на жертви или публични личности с цел изнудване;
• генериране на реалистични изображения и видеоклипове на природни бедствия и конфликти с цел набиране на дарения за фалшиви благотворителни организации.

Ето какво трябва да направите, за да се предпазите от подобни измами, според ФБР:

• създайте тайна дума или фраза със семейството си, с която да потвърждавате самоличността си;
• търсете фини несъвършенства в изображенията/видеоклиповете (напр. изкривени ръце, неправилни лица, странни сенки или нереалистични движения);
• слушайте внимателно, за да можете да откриете неестествен тон или избор на думи в обажданията. Подобни знаци издават гласовото клониране, генерирано от AI;
• ограничете публично достъпното съдържание на лицето/гласа си. Настройте акаунтите си в социалните мрежи като лични и ограничете последователите си до доверени хора;
• проверявайте информацията, която получавате, както и организацията, от която идва. След това се свържете, като използвате официален номер;
• никога не споделяйте поверителна информация с непознати онлайн или по телефона.

Фалшив AI генератор на снимки и видео заразява Windows и macOS със зловредните софтуери Lumma Stealer и AMOS.  

Той е наречен EditProAI и се популяризира чрез резултати в Google Search и реклами в X, които споделят deepfake политически видеоклипове. 

Lumma Stealer е насочен към Windows, а AMOS – към macOS. И двата крадат информация за криптопортфейли и кредитни карти, идентификационни данни, пароли и история на сърфирането в браузърите. Тези данни се събират в архив и се изпращат обратно към нападателите. Те могат да използват информацията при следващи атаки или да я продадат на други киберпрестъпници. 

Според компанията за киберсигурност g0njxa заразяването протича така: 

• клик върху рекламата отвежда потребителя в сайтовете на EditProAI (editproai.pro за Windows и editproai.org за macOS). Те са направени професионално, за да изглеждат легитимни; 
• бутонът Get Now изтегля изпълним файл, който се представя за приложението EditProAI; 
• зловредният софтуер изпраща откраднатите данни към сървър, контролиран от нападателя. 

Ако вече сте изтегляли тази програма, трябва да считате всичките си запазени пароли, криптопортфейли и удостоверения за компрометирани. Незабавно ги сменете с уникални комбинации за всеки сайт, който посещавате. 

Трябва също така да активирате MFA за всички критични платформи като онлайн банкиране, имейл и финансови услуги. 

Заплахите, свързани с AI, ще се задълбочат през 2025 и ще се появят нови сложни случаи на злонамерена употреба на технологията. 

В същото време supply chain атаките ще се пренасочат от големите доставчици на софтуер към глобално възприетите библиотеки и рамки с отворен код. 

Не на последно място, ще нараснат случаите на кражба на идентификационни данни и използването на infostealer злонамерени софтуери. Това важи и за атаките срещу уязвимости на web3 услуги. 

Това са основните заключения в доклада на Google Cloud Cybersecurity Forecasts 2025. Според него киберпрестъпниците ще продължат да използват AI и LLM за разработване и мащабиране на сложни схеми за социално инженерство. Групите за кибершпионаж пък ще разчитат в по-голяма степен на deepfake като инструмент за кражба на самоличност и заобикаляне на системите за сигурност. 

През 2025 г. LLM ще навлезе по-силно в инструментариума за разработка на зловреден софтуер. Технологията ще играе по-голяма роля и в изследването на уязвимостите и писането на код от страна на хакерите. 

Авторите на доклада очакват също така LLM и deepfake технологиите да захранват повече кампании за манипулиране на информация в социалните медии и дезинформация. 

„2025 е годината, в която AI ще премине от пилотни проекти и прототипи към широкомащабно приемане“, предупреждават авторите на доклада. 

 

 

Новооткрита уязвимост позволява заобикаляне на защитните механизми на ChatGPT с помощта на шестнайсетично кодирани инструкции. Откритието, направено чрез bug bounty програмата за откриване на грешки в сигурността 0Din, повдига сериозни въпроси относно сигурността на AI системите. 

Новата jailbreaking тактика позволява на потребителите да заобиколят вградените ограничения на ChatGPT чрез кодиране на злонамерени инструкции. В демонстрация на Марко Фигероа, мениджър по сигурността на AI в Mozilla, ChatGPT е накаран да генерира експлойт код на Python за известна уязвимост. Това обикновено е забранено от системата. 

Изследователят разкрива и втора техника, използваща емоджита за заобикаляне на защитите. Чрез специално форматирана заявка системата е подведена да създаде инструмент за SQL инжекция. 

„Този пробив демонстрира нуждата от по-усъвършенствани мерки за сигурност в AI моделите, особено по отношение на кодирането“, коментира Фигероа пред CybersecurityNews.

OpenAI, компанията зад ChatGPT, е реагирала бързо и въпросните уязвимостите вече са отстранени. Този случай обаче подчертава нуждата от усъвършенствани функции за защита на AI платформите, включително подобрена контекстуална осведоменост и по-стабилни механизми за филтриране.  

Организациите, от своя страна, трябва да останат бдителни и да следят най-новите разработки в областта на атаките, базирани на AI, за да се предпазят от тези нови заплахи. 

 

Apple предлага до 1 млн. USD възнаграждение на всеки, който успее да пробие защитата на нейната система Private Cloud Compute (PCC). Тя захранва най-взискателните от изчислителна гледна точка задачи на AI платформата на компанията – Apple Intelligence. 

За целта гигантът от Купертино за първи път създава Виртуална изследователска среда (Virtual Research Environment) и предоставя изходния код на няколко „ключови компонента“ на системата. Този набор от инструменти позволява извършването на оценки на сигурността на PCC директно от Mac. 

Максималната награда е за идентифициране на уязвимости, които биха могли да застрашат основните защити и механизмите за поверителност на платформата.  

За да подпомогне усилията на изследователите по сигурността, Apple публикува „Ръководство за сигурност на Private Cloud Compute“. То описва подробно как различните компоненти на PCC работят заедно, за да осигурят високи нива на поверителност за обработката на изкуствен интелект в облака.  

 

Все повече организации обмислят пълномащабната интеграция на системи с изкуствен интелект (AI). В малко от тях обаче в този процес са въвлечени екипите за киберсигурност.

45% от респондентите в ново проучване на ISACA посочват, че не участват в разработването, внедряването или прилагането на решения за AI. В същото време едва 35% от 1800 специалисти казват, че участват в разработването на подобни решения и политики.

AI се използва от различни звена в една организация, а хакерите вече разработват набори от инструменти за използването му като входна точка за кибератаки. Така че тази тенденция крие много рискове, между които:

• отравяне на данни, което компрометира процеса на обучение на AI;
• вграждане на „задни вратички“ в моделите, които позволяват неоторизиран достъп впоследствие;
• атаки към компонентите, участващи в разработването и внедряването на AI модели;
• кражба на модели, при която нападателите използват слабостите на системата, за да деактивират защитните ѝ механизми.

Затова е задължително киберсигурността винаги да бъде основна част от процеса на имплементация на подобни системи.

 

 

Спонсорирани от държавата хакерски групи от страни като Китай и Иран използват възможностите на ChatGPT, за да подобрят своите офанзивни кибер операции.  

Според доклада Influence and Cyber Operations: An Update на OpenAI случаите на употреба варират от отстраняване на грешки в злонамерен код до генериране на съдържание за фишинг кампании и дезинформация в социалните медии. 

Един от забележителните случаи включва китайска кампания, наречена SweetSpecter. Тя използва ChatGPT за шпиониране, изследване на уязвимости и разработване на зловреден софтуер. Групата дори е насочила неуспешна фишинг атака срещу служители на OpenAI. 

CyberAv3ngers, иранска група, свързана с Корпуса на гвардейците на ислямската революция, пък изследва уязвимостите в индустриалните системи с помощта на AI модела. Освен това тя е генерирала скриптове за потенциални атаки срещу критична инфраструктура. 

Друга иранска група – STORM-0817 – е разчитала на ChatGPT за разработване на зловреден софтуер за Android. Той е способен да открадне чувствителни потребителски данни, включително контакти, регистър на обажданията и информация за местоположението. 

Мащабно нарушение на данните в базиран на изкуствен интелект кол център в Близкия изток разкри над 10 милиона разговора между потребители, оператори и AI агенти. Пробивът е включвал неоторизиран достъп до таблото за управление на платформата.  

От компанията за киберсигурност Resecurity предупреждават, че откраднатата информация може да бъде използвана за социално инженерство, фишинг схеми и други злонамерени дейности. Името на платформата все още не е ясно, но Infosecurity Magazine твърди, че тя се използва широко във финтех индустрията и електронната търговия.  

Този пробив подчертава нарастващата уязвимост на базираните на AI платформи, които се използват все повече за подобряване на обслужването на клиентите.  

Въпреки че предлагат персонализирана, ефективна комуникация, те също така представляват значителна заплаха за поверителността на данните, ако бъдат компрометирани. Така че внимателно обмисляйте каква информация споделяте при взаимодействие с тях и при всички случаи избягвайте въвеждането на критични лични или фирмени данни.