Những điểm chính:
- Coinbase cho biết ChatGPT không đáp ứng các yêu cầu về độ chính xác được tích hợp trong quy trình đánh giá bảo mật của nền tảng.
- Có 20 bài kiểm tra được thực hiện, 5/8 bài sai. ChatGPT đã đánh dấu nhầm nội dung rủi ro cao thành rủi ro thấp.
- ChatGPT không đáp ứng các tiêu chuẩn về độ chính xác, nhưng nó đã cho thấy đủ tiềm năng để Coinbase thực hiện nhiều thử nghiệm hơn.
Coinbase đã ban hành một tài liệu nói rằng ChatGPT có thể nhanh chóng đánh giá rủi ro hợp đồng thông minh nhưng không đáp ứng các yêu cầu về độ chính xác được xây dựng trong quy trình xem xét bảo mật của Coinbase.
Coinbase đã sử dụng ChatGPT để thực hiện đánh giá mã thông báo tự động bằng cách sử dụng khung đánh giá mã thông báo ERC20 của nền tảng và so sánh kết quả với các đánh giá bảo mật mã thông báo tiêu chuẩn.
Nhóm Bảo mật Blockchain tận dụng các công cụ tự động hóa nội bộ được phát triển để hỗ trợ các kỹ sư bảo mật trong việc xem xét các hợp đồng thông minh ERC20/721 trên quy mô lớn.
Coinbase đã so sánh 20 điểm rủi ro hợp đồng thông minh giữa ChatGPT và đánh giá bảo mật của con người và ChatGPT đã tạo ra kết quả tương tự như đánh giá của con người 12 lần. Nhưng ChatGPT đã đánh dấu nhầm các tài sản có rủi ro cao thành rủi ro thấp trong 5/8 lần bỏ lỡ.
Mặc dù ChatGPT khác với tiêu chuẩn chính xác để chứng minh rõ ràng rằng nó nên được tích hợp vào quy trình xem xét nội dung của Coinbase, nhưng nó đã cho thấy đủ tiềm năng để nền tảng tiếp tục nghiên cứu thêm.
Nền tảng này cho biết một khi các quy trình tự động hoặc thông minh có thể chứng minh mức độ chính xác như các quy trình hiện có của chúng, những công cụ này sẽ chỉ được sử dụng như một công cụ hỗ trợ, không phải công cụ hỗ trợ, không phải công cụ chính.
Conor Grogan, giám đốc nền tảng giao dịch tiền điện tử Coinbase, đã đưa hợp đồng Ethereum trực tiếp vào phiên bản mới nhất của chatbot phổ biến, GPT-4, và nó đã chỉ ra nhiều lỗ hổng bảo mật và khu vực bề mặt nơi hợp đồng thông minh có thể bị khai thác, ông nói trong một bài đăng trên Twitter vào ngày 14 tháng 3.
Grogan đã đăng một ảnh chụp màn hình phân tích của bot AI, dường như cho thấy ChatGPT có thể xác định chính xác các vấn đề và lỗ hổng nghiêm trọng, vì nó kết luận rằng không nên sử dụng hợp đồng thông minh được phân tích vì nó chứa các lỗ hổng nghiêm trọng và dựa trên một kế hoạch bất hợp pháp.
Các thử nghiệm hợp đồng thông minh trước đây trên phiên bản đầu tiên của ChatGPT cũng đã có thể phát hiện ra các lỗi mã, nhưng nó chỉ dừng lại ở một mức độ nhất định.
