Новооткрита уязвимост позволява заобикаляне на защитните механизми на ChatGPT с помощта на шестнайсетично кодирани инструкции. Откритието, направено чрез bug bounty програмата за откриване на грешки в сигурността 0Din, повдига сериозни въпроси относно сигурността на AI системите.
Новата jailbreaking тактика позволява на потребителите да заобиколят вградените ограничения на ChatGPT чрез кодиране на злонамерени инструкции. В демонстрация на Марко Фигероа, мениджър по сигурността на AI в Mozilla, ChatGPT е накаран да генерира експлойт код на Python за известна уязвимост. Това обикновено е забранено от системата.
Изследователят разкрива и втора техника, използваща емоджита за заобикаляне на защитите. Чрез специално форматирана заявка системата е подведена да създаде инструмент за SQL инжекция.
„Този пробив демонстрира нуждата от по-усъвършенствани мерки за сигурност в AI моделите, особено по отношение на кодирането“, коментира Фигероа пред CybersecurityNews.
OpenAI, компанията зад ChatGPT, е реагирала бързо и въпросните уязвимостите вече са отстранени. Този случай обаче подчертава нуждата от усъвършенствани функции за защита на AI платформите, включително подобрена контекстуална осведоменост и по-стабилни механизми за филтриране.
Организациите, от своя страна, трябва да останат бдителни и да следят най-новите разработки в областта на атаките, базирани на AI, за да се предпазят от тези нови заплахи.
-
-
-
-
-
