Новооткрита уязвимост в ChatGPT разкрива пропуските в защитата на AI системите

Новооткрита уязвимост позволява заобикаляне на защитните механизми на ChatGPT с помощта на шестнайсетично кодирани инструкции. Откритието, направено чрез bug bounty програмата за откриване на грешки в сигурността 0Din, повдига сериозни въпроси относно сигурността на AI системите. 

Новата jailbreaking тактика позволява на потребителите да заобиколят вградените ограничения на ChatGPT чрез кодиране на злонамерени инструкции. В демонстрация на Марко Фигероа, мениджър по сигурността на AI в Mozilla, ChatGPT е накаран да генерира експлойт код на Python за известна уязвимост. Това обикновено е забранено от системата. 

Изследователят разкрива и втора техника, използваща емоджита за заобикаляне на защитите. Чрез специално форматирана заявка системата е подведена да създаде инструмент за SQL инжекция. 

„Този пробив демонстрира нуждата от по-усъвършенствани мерки за сигурност в AI моделите, особено по отношение на кодирането“, коментира Фигероа пред CybersecurityNews.

OpenAI, компанията зад ChatGPT, е реагирала бързо и въпросните уязвимостите вече са отстранени. Този случай обаче подчертава нуждата от усъвършенствани функции за защита на AI платформите, включително подобрена контекстуална осведоменост и по-стабилни механизми за филтриране.  

Организациите, от своя страна, трябва да останат бдителни и да следят най-новите разработки в областта на атаките, базирани на AI, за да се предпазят от тези нови заплахи.