Mô hình Dracarys mã nguồn mở thổi bùng ngọn lửa lập trình AI

Đối với những người hâm mộ bộ phim truyền hình Game of Thrones của HBO, thuật ngữ “Dracarys” mang một ý nghĩa rất đặc biệt. Dracarys là từ dùng để ra lệnh cho rồng phun lửa.

Mặc dù không có con rồng nào trong thế giới thực của trí tuệ nhân tạo (AI), nhưng nhờ có Abacus.ai, thuật ngữ Dracarys giờ đây cũng mang một ý nghĩa nhất định. Dracarys là tên của một họ mô hình ngôn ngữ lớn (LLM) mã nguồn mở mới dành cho lập trình.

Abacus.ai là nhà cung cấp nền tảng và công cụ phát triển mô hình AI, vốn không còn xa lạ với việc sử dụng tên của những con rồng hư cấu cho công nghệ của mình. Trước đó vào tháng 2, công ty đã phát hành Smaug-72B. Smaug là tên của con rồng trong cuốn sách giả tưởng kinh điển The Hobbit. Trong khi Smaug là một LLM đa năng, Dracarys được thiết kế để tối ưu hóa các tác vụ lập trình.

Đối với bản phát hành ban đầu, Abacus.ai đã áp dụng cái gọi là “công thức Dracarys” cho lớp mô hình 70 tỷ tham số. Công thức này bao gồm tinh chỉnh tối ưu hóa cùng các kỹ thuật khác.

“Đó là sự kết hợp của bộ dữ liệu đào tạo và các kỹ thuật tinh chỉnh giúp cải thiện khả năng lập trình của bất kỳ LLM mã nguồn mở nào,” Bindu Reddy, Giám đốc điều hành và đồng sáng lập của Abacus.ai nói với VentureBeat. “Chúng tôi đã chứng minh rằng nó cải thiện cả Qwen-2 72B và LLama-3.1 70b.”

Gen AI cho các tác vụ lập trình là một lĩnh vực đang phát triển

Thị trường chung cho gen AI trong lĩnh vực phát triển ứng dụng và lập trình là một lĩnh vực đầy sôi động.

Người tiên phong trong lĩnh vực này là GitHub Copilot, giúp các nhà phát triển hoàn thành mã và các tác vụ phát triển ứng dụng. Nhiều công ty khởi nghiệp bao gồm Tabnine và Replit cũng đã và đang xây dựng các tính năng mang sức mạnh của LLM đến với các nhà phát triển.

Sau đó, tất nhiên là có các nhà cung cấp LLM. Dracarys cung cấp một phiên bản tinh chỉnh của mô hình đa năng Llama 3.1 của Meta. Sonnet của Anthropic’s Claude 3.5 cũng nổi lên vào năm 2024 như một LLM phổ biến và có năng lực cho lập trình.

“Claude 3.5 là một mô hình lập trình rất tốt nhưng nó là một mô hình nguồn đóng,” Reddy nói. “Công thức của chúng tôi cải thiện mô hình nguồn mở và Dracarys-72B-Instruct là mô hình lập trình tốt nhất trong lớp của nó.”

Những con số đằng sau Dracarys và khả năng lập trình AI của nó

Theo điểm chuẩn của LiveBench cho các mô hình mới, có một sự cải thiện rõ rệt với công thức Dracarys.

LiveBench cung cấp điểm số lập trình là 32,67 cho mô hình meta-llama-3.1-70b-instruct turbo. Phiên bản được tinh chỉnh Dracarys nâng hiệu suất lên 35,23. Đối với qwen2, kết quả thậm chí còn tốt hơn. Mô hình qwen2-72b-instruct hiện có điểm số lập trình là 32,38. Sử dụng công thức Dracarys nâng điểm số đó lên 38,95.

Mặc dù qwen2 và Llama 3.1 là những mô hình duy nhất hiện có công thức Dracarys, nhưng Abacus.ai có kế hoạch cho nhiều mô hình hơn trong tương lai.

“Chúng tôi cũng sẽ phát hành các phiên bản Dracarys cho Deepseek-coder và Llama-3.1 400b,” Reddy nói.

Cách Dracarys sẽ giúp ích cho việc lập trình doanh nghiệp

Có một số cách mà các nhà phát triển và doanh nghiệp có thể hưởng lợi từ hiệu suất lập trình được cải thiện mà Dracarys hứa hẹn.

Abacus.ai hiện cung cấp trọng số mô hình trên Hugging Face cho cả mô hình dựa trên Llama và Qwen2. Reddy lưu ý rằng các mô hình được tinh chỉnh hiện cũng có sẵn như một phần của dịch vụ Doanh nghiệp của Abacus.ai.

“Chúng là những lựa chọn tuyệt vời cho các doanh nghiệp không muốn gửi dữ liệu của họ đến các API công cộng như OpenAI và Gemini,” Reddy nói. “Chúng tôi cũng sẽ cung cấp Dracarys trên dịch vụ ChatLLM cực kỳ phổ biến của chúng tôi, dịch vụ dành cho các nhóm nhỏ và chuyên gia nếu có đủ người quan tâm.”