Криптографията е от съществено значение за защитата на данните в софтуерните приложения, но разработчиците често правят грешки при използването на криптографските API. Затова навременното им откриване е изключително важно.
В търсене на най-добрия начин да се прави това, изследователи от Техническия университет в Клаустхал, Германия, и CUBE Global, Австралия, сравняват възможностите на ChatGPT и традиционните инструменти за анализ. AI чатботът на OpenAI не само демонстрира средни F-score (метрика, използвана за оценка на ефективността на моделите за машинно обучение) от 86% в 12 категории криптографски грешки, но првъзхожда в някои от тях CryptoGuard, водещ инструмент за статистически анализ. Например, ChatGPT постига 92,43% F-score при откриването на предсказуеми ключове в сравнение със 76,92% на CryptoGuard.
При усъвършенстване на подсказките чатботът на OpenAI се представя още по-добре, като увеличава средните си F-score до 94,6%. По този начин той надминава най-съвременните инструменти в 10 от 12 категории и постига почти идентични резултати в останалите две.