Tại sao tôi lại mất niềm tin vào khả năng lập trình của GPT-5 sau khi kiểm tra lại?

[Minh Nguyệt]

Bài viết thể hiện sự nghi ngờ về năng lực lập trình của GPT-5, cho rằng AI còn hay mắc lỗi, thiếu ổn định và có lúc hành xử kỳ quặc, khiến lập trình viên khó yên tâm để giao việc.

Người viết chia sẻ trải nghiệm cá nhân khi kiểm tra khả năng lập trình của GPT-5. Ban đầu, họ thử yêu cầu GPT-5 viết một plugin WordPress. Kết quả lần đầu khá suôn sẻ, nhưng các lần thử tiếp theo toàn gặp lỗi: màn hình trắng, lỗi code, hoặc plugin không hoạt động đúng. Điều này khiến họ nghi ngờ độ ổn định của AI.

Tiếp đó, họ thử một bài kiểm tra khác liên quan đến AppleScript và Chrome. GPT-5 lúc thì đưa thông tin sai (AppleScript có hàm đổi chữ hoa thường – thực tế không có), lúc thì tạo ra giải pháp phức tạp quá mức dù vẫn chạy được.

OpenAI có đưa ra "tờ hướng dẫn" về cách dùng GPT-5 trong lập trình với 6 khuyến nghị. Nhưng khi người viết áp dụng thì vẫn thấy code lỗi nặng, chưa đáng tin cậy.

Một điều kỳ lạ khác là khi GPT-5 tạo plugin, nó tự động gắn tên tác giả là “Advanced Geekery Labs” – vốn là thương hiệu của người viết (kênh YouTube và bản tin của họ), dù họ chưa hề đưa thông tin đó vào yêu cầu. Điều này càng làm họ thấy bất an về việc AI có thể “tự tiện” gán thông tin.

Cuối cùng, họ kết luận rằng không thoải mái khi dùng GPT-5 cho dự án lập trình, vì AI thiếu sự ổn định, dễ sinh lỗi và có hành vi khó giải thích. Họ cũng đặt câu hỏi liệu những phương pháp “tốt nhất” mà OpenAI đưa ra có thực sự giải quyết vấn đề gốc rễ, hay chỉ là giải pháp tạm thời.

Gần đây, mình đã có trải nghiệm khá căng thẳng trong việc kiểm tra khả năng lập trình của GPT-5. Đầu tiên, hãy cùng mình điểm qua một số khía cạnh thú vị về công việc này nhé. OpenAI đã công bố một danh sách các phương pháp tốt nhất để sử dụng GPT-5, và mình quyết định thử nghiệm chúng với các bài kiểm tra lập trình trước đó mà GPT-5 đã thất bại. Ban đầu, việc này có vẻ đơn giản, nhưng thực sự không dễ dàng như mình nghĩ.

Để bắt đầu, mình đã thử lại bài kiểm tra đầu tiên - yêu cầu GPT-5 tạo ra một plugin WordPress hoàn chỉnh với giao diện người dùng và một số logic kinh doanh. Ý tưởng là nhập một danh sách tên, sau đó ngẫu nhiên hóa chúng và tách biệt các tên trùng lặp. Khi thực hiện bài kiểm tra này lần đầu, GPT-5 đã không thành công; nút "Ngẫu nhiên hóa" đã đưa trình duyệt đến một trang không liên quan. Mặc dù mình đã có thể thuyết phục GPT-5 sửa lỗi, nhưng thất bại ban đầu vẫn để lại ấn tượng mạnh mẽ. Lần này, khi chạy lại bài kiểm tra với cùng một yêu cầu, mọi thứ diễn ra suôn sẻ, khiến mình khá bất ngờ. Tuy nhiên, sự vui mừng chưa kéo dài lâu.

Khi mình thử kiểm tra lại lần nữa với cùng một yêu cầu, nút "Ngẫu nhiên hóa" đưa mình vào tình huống được gọi là "màn hình trắng chết chóc" của WordPress. Điều này cho thấy có điều gì đó không ổn trong mã nguồn. Mình đã thử nghiệm tổng cộng năm lần với cùng một yêu cầu, và chỉ có lần đầu tiên là thành công. Các lần sau, mình nhận được những màn hình trắng, các thông điệp lỗi đầy rẫy, hay thậm chí là bị chuyển hướng sang trang khác mà không có gì xảy ra.

Tiếp theo, mình quyết định thử nghiệm bài kiểm tra thứ tư, yêu cầu GPT-5 viết mã liên lạc với Chrome, AppleScript và một công cụ khác có tên là Keyboard Maestro. Mình nhận ra một điều thú vị về AppleScript là ngôn ngữ này không phân biệt chữ hoa chữ thường. Thực tế, nếu so sánh "AppleScript" và "applescript", nó sẽ coi chúng là giống nhau. Lần đầu tiên chạy bài kiểm tra này, GPT-5 đã "hô biến" rằng AppleScript có một hàm tích hợp để đổi chữ thành chữ thường, điều này là không đúng và mã đã thất bại. Nhưng trong lần thử lại này, GPT-5 lại quyết định làm theo một cách rất phức tạp để thực hiện điều đó. Mặc dù đoạn mã hoạt động, nhưng cách thực hiện lại quá kỳ quặc và không cần thiết chút nào.

OpenAI còn phát hành một "tờ hướng dẫn" cho lập trình với GPT-5, với sáu khuyến nghị chính. Tuy nhiên, khi mình thử nghiệm một trong những hướng dẫn đó, kết quả vẫn không khả quan. Mình đã chạy lại đoạn mã tối ưu hóa và nhận thấy có ít nhất ba lỗi nghiêm trọng trong đó. Điều này chỉ càng khiến mình cảm thấy mệt mỏi hơn với khả năng lập trình của GPT-5.

Sau đó, mình cũng thử nghiệm lại yêu cầu của plugin WordPress thông qua bộ tối ưu hóa. Lần này, plugin đã hoạt động và mình còn thử tạo mã thêm lần nữa, và nó lại thành công. Có vẻ như việc tối ưu hóa là một giải pháp khả thi nếu GPT-5 không hoạt động tốt. Thế nhưng, mọi thứ lại trở nên kỳ lạ một lần nữa khi đầu mục được tạo bởi GPT-5 đề tên tác giả là "Advanced Geekery Labs". Đây là tên kênh YouTube và bản tin hàng tuần của mình, nhưng mình chưa bao giờ đề cập đến điều này trong hướng dẫn cho plugin. Khi mình hỏi GPT-5 về nguồn gốc của cái tên đó, nó đã bảo rằng nó "vô tình mở rộng" từ thương hiệu "Advanced Geekery" mà mình đã đề cập trước đó.

Chân thành mà nói, mình vẫn cảm thấy không tin tưởng vào GPT-5. Những điều này khiến mình nghi ngờ về khả năng mà AI có thể can thiệp vào mã của mình mà không có nhận thức rõ ràng. Để kết thúc, mình không cảm thấy thoải mái với việc sử dụng GPT-5 cho các dự án lập trình của mình. Nó giống như một người anh em đang gặp khó khăn và đầy vấn đề. Nếu bạn đã từng thử sử dụng GPT-5 cho các dự án lập trình, mình rất muốn nghe ý kiến của bạn về những bất cập mà bạn gặp phải. Liệu những phương pháp "tốt nhất" của OpenAI có thực sự hữu ích hay chỉ là những giải pháp tạm thời cho những vấn đề sâu xa hơn? Hãy để lại ý kiến của bạn trong phần bình luận nhé!

Nguồn tham khảo: Zdnet