ChatGPT может писать смарт-контракты

Пара исследователей из Salus Security, блокчейн-компании по обеспечению безопасности с офисами в Северной Америке, Европе и Азии, недавно опубликовали исследование, демонстрирующее таланты GPT-4, когда дело доходит до анализа и аудита смарт-контрактов.

Как оказалось, искусственный интеллект (ИИ) довольно хорош в генерации и синтаксическом анализе кода, но вы бы не захотели использовать его в качестве аудитора безопасности.

Согласно статье:

“GPT-4 может быть полезным инструментом для проведения аудита смарт-контрактов, особенно при анализе кода и предоставлении подсказок об уязвимостях. Однако, учитывая его ограничения в обнаружении уязвимостей, в настоящее время он не может полностью заменить профессиональные инструменты аудита и опытных аудиторов.”

Исследователи Salus использовали набор данных из 35 смарт-контрактов (называемый SolidiFI-benchmark vulnerability library), который содержал в общей сложности 732 уязвимости, чтобы оценить способность ИИ обнаруживать потенциальные слабые места в системе безопасности по семи распространенным типам уязвимостей.

Согласно их выводам, ChatGPT хорош в обнаружении истинных положительных результатов — реальных уязвимостей, которые вне тестовой среды стоило бы исследовать. Точность тестирования превысила 80%.

Однако у него есть очевидная проблема с генерацией ложноотрицательных результатов. Это выражается в статистике, называемой “частота отзыва”, и в экспериментах команды Salus частота отзыва GPT-4 была всего лишь 11% (чем выше, тем лучше).

Это указывает, как пришли к выводу исследователи, “на отсутствие возможностей обнаружения уязвимостей GPT-4, при этом максимальная точность составляет всего 33%”. Таким образом, исследователи рекомендуют использовать специальные инструменты аудита и старые добрые человеческие ноу-хау для аудита смарт-контрактов, пока системы искусственного интеллекта, такие как GPT-4, не будут запущены в эксплуатацию.

“Подводя итог, GPT-4 может быть полезным инструментом для проведения аудита смарт-контрактов, особенно при анализе кода и предоставлении подсказок об уязвимостях. … При использовании GPT-4 его следует комбинировать с другими методами и инструментами аудита для повышения общей точности и эффективности аудита ”.

Источник