Grok-2 Tăng Tốc Xử Lý Sau Khi Được Viết Lại Code Trong 3 Ngày

Grok-2, mô hình ngôn ngữ lớn (LLM) chatbot của xAI – công ty do Elon Musk sáng lập – đã gây tiếng vang lớn trong tuần qua khi ra mắt với mức phí đăng ký 8 USD/tháng trên mạng xã hội X.

Mới đây, cả hai phiên bản Grok-2 và Grok-2 mini (phiên bản rút gọn, được thiết kế để chạy nhanh hơn nhưng ít mạnh mẽ hơn) đều đã được cải thiện tốc độ phân tích thông tin và đưa ra phản hồi. Điều này đạt được sau khi hai lập trình viên tại xAI viết lại toàn bộ code xử lý suy luận chỉ trong vòng 3 ngày.

Theo như Igor Babuschkin, một lập trình viên của xAI, chia sẻ trên mạng xã hội X:

“Grok-2 mini hiện tại đã nhanh hơn gấp đôi so với ngày hôm qua. Trong ba ngày qua, @lm_zheng và @MalekiSaeed đã viết lại toàn bộ code xử lý suy luận của chúng tôi bằng SGLang. Điều này cũng cho phép chúng tôi vận hành mô hình Grok-2 lớn, vốn yêu cầu xử lý suy luận đa máy chủ, với tốc độ hợp lý. Cả hai mô hình không chỉ nhanh hơn mà còn chính xác hơn một chút. Hãy chờ đón những cải tiến về tốc độ tiếp theo!”

Grok 2 mini is now 2x faster than it was yesterday. In the last three days @lm_zheng and @MalekiSaeed rewrote our inference stack from scratch using SGLang (https://t.co/M1M8BlXosH). This has also allowed us to serve the big Grok 2 model, which requires multi-host inference, at a… pic.twitter.com/G9iXTV8o0z

— ibab (@ibab) August 23, 2024

Theo bài đăng của Babuschkin, hai lập trình viên đảm nhiệm việc này là Lianmin Zheng và Saeed Maleki.

Để viết lại code xử lý suy luận cho Grok-2, họ đã sử dụng SGLang, một hệ thống mã nguồn mở (giấy phép Apache 2.0) hiệu quả cao để thực thi các chương trình mô hình ngôn ngữ phức tạp, đạt được hiệu suất cao hơn gấp 6.4 lần so với các hệ thống hiện có.

SGLang được phát triển bởi các nhà nghiên cứu từ Đại học Stanford, Đại học California, Berkeley, Đại học Texas A&M và Đại học Giao thông Thượng Hải. Hệ thống này tích hợp ngôn ngữ front-end với thời gian chạy back-end để đơn giản hóa việc lập trình các ứng dụng mô hình ngôn ngữ.

SGLang rất linh hoạt, hỗ trợ nhiều mô hình, bao gồm Llama, Mistral và LLaVA, và tương thích với các mô hình có trọng số mở và dựa trên API như GPT-4 của OpenAI. Khả năng tối ưu hóa việc thực thi thông qua tái sử dụng bộ nhớ đệm tự động và xử lý song song trong một chương trình duy nhất khiến SGLang trở thành một công cụ mạnh mẽ cho các nhà phát triển làm việc với các mô hình ngôn ngữ quy mô lớn.

Điểm Nổi Bật Về Hiệu Suất Của Grok-2 và Grok-2-Mini

Bên cạnh đó, trong bản cập nhật mới nhất của bảng xếp hạng Lmsys Chatbot Arena – một bảng xếp hạng đánh giá hiệu suất của các mô hình AI – Grok-2 đã giành vị trí thứ 2 với số điểm ấn tượng là 1293, dựa trên 6686 lượt bình chọn.

Điều này đưa Grok-2 lên vị trí thứ hai (thật trùng hợp) trong số những mô hình AI mạnh mẽ nhất thế giới, ngang hàng với mô hình Gemini-1.5 Pro của Google và chỉ sau ChatGPT-4o phiên bản mới nhất của OpenAI.

Grok-2-mini, cũng được hưởng lợi từ những cải tiến gần đây, đã leo lên vị trí thứ 5, tự hào với số điểm 1268 từ 7266 lượt bình chọn, chỉ sau GPT-4o mini và Claude 3.5 Sonnet.

Cả hai mô hình đều là tài sản độc quyền của xAI, phản ánh cam kết của công ty trong việc phát triển công nghệ AI.

Grok-2 đã tạo được sự khác biệt, đặc biệt là trong các tác vụ toán học, nơi nó xếp hạng #1. Mô hình này cũng giữ vững vị trí trong các hạng mục khác nhau, bao gồm Câu hỏi hóc búa, Lập trình và Tuân theo hướng dẫn, nơi nó luôn nằm trong top đầu.

Hiệu suất này đặt Grok-2 vượt lên trên các mô hình nổi bật khác như GPT-4o của OpenAI (tháng 5 năm 2024), hiện xếp hạng #4.

Phát Triển Tương Lai

Theo phản hồi của Babuschkin trên X, lợi thế chính của việc sử dụng Grok-2-mini so với mô hình Grok-2 đầy đủ là tốc độ được cải thiện.

Is speed the main reason for using mini versus full Grok 2?

— O G R E → Dennis (@ogre_codes) August 23, 2024

Tuy nhiên, Babuschkin cam kết rằng xAI sẽ tiếp tục cải thiện tốc độ xử lý của Grok-2-mini, điều này có thể khiến nó trở thành một lựa chọn hấp dẫn hơn nữa cho người dùng tìm kiếm hiệu suất cao với chi phí tính toán thấp hơn.

Việc Grok-2 và Grok-2-mini được thêm vào bảng xếp hạng Chatbot Arena và hiệu suất vượt trội của chúng đã thu hút sự chú ý đáng kể trong cộng đồng AI.

Thành công của các mô hình này là minh chứng cho sự đổi mới không ngừng của xAI và cam kết của họ trong việc vượt qua ranh giới của những gì AI có thể đạt được.

Khi xAI tiếp tục tinh chỉnh các mô hình của mình, lĩnh vực AI có thể kỳ vọng những cải tiến hơn nữa về cả tốc độ và độ chính xác, giữ cho Grok-2 và Grok-2-mini luôn dẫn đầu trong lĩnh vực phát triển AI.