AI21 ra mắt Jamba 1.5, nâng cấp mô hình lai Transformer SSM, mở đường cho trí tuệ nhân tạo Agentic

Transformer là nền tảng của kỷ nguyên trí tuệ nhân tạo tạo sinh hiện đại, nhưng nó không phải là cách duy nhất để xây dựng một mô hình.

AI21 vừa cho ra mắt các phiên bản mới của mô hình Jamba, kết hợp Transformer với phương pháp mô hình Không gian trạng thái có cấu trúc (SSM). Jamba 1.5 mini và Jamba 1.5 large mới được xây dựng dựa trên những cải tiến ban đầu mà công ty đã ra mắt với việc phát hành Jamba 1.0 vào tháng 3. Jamba sử dụng phương pháp SSM được gọi là Mamba. Mục tiêu của Jamba là kết hợp những ưu điểm tốt nhất của Transformer và SSM. Cái tên Jamba thực chất là từ viết tắt của kiến ​​trúc Joint Attention and Mamba (Jamba). Lời hứa của kiến ​​trúc SSM Transformer kết hợp là hiệu suất và độ chính xác tốt hơn so với cách tiếp cận riêng lẻ có thể cung cấp.

“Chúng tôi đã nhận được phản hồi tuyệt vời từ cộng đồng, bởi vì về cơ bản đây là mô hình quy mô sản xuất dựa trên Mamba đầu tiên và vẫn là một trong số ít mô hình mà chúng tôi có”, Or Dagan, Phó chủ tịch sản phẩm của AI21 nói với VentureBeat. “Đó là một kiến ​​trúc mới lạ mà tôi nghĩ đã bắt đầu một số cuộc tranh luận về tương lai của kiến ​​trúc trong LLM và liệu Transformer có còn tồn tại hay chúng ta cần một thứ gì đó khác.”

Với dòng Jamba 1.5, AI21 đang bổ sung thêm nhiều khả năng cho mô hình bao gồm gọi hàm, chế độ JSON, đối tượng tài liệu có cấu trúc và chế độ trích dẫn. Công ty hy vọng rằng những bổ sung mới sẽ làm cho hai mô hình trở nên lý tưởng để tạo ra các hệ thống trí tuệ nhân tạo Agentic. Cả hai mô hình cũng có cửa sổ ngữ cảnh lớn 256K và là mô hình Hỗn hợp chuyên gia (MoE). Jamba 1.5 mini cung cấp tổng cộng 52 tỷ và 12 tỷ tham số hoạt động. Jamba 1.5 large có 398 tỷ tham số tổng thể và 94 tỷ tham số hoạt động.

Cả hai mô hình Jamba 1.5 đều khả dụng theo giấy phép mở. AI21 cũng cung cấp hỗ trợ và dịch vụ thương mại cho các mô hình. Công ty cũng có quan hệ đối tác với AWS, Google Cloud, Microsoft Azure, Snowflake, Databricks và Nvidia.

Có gì mới trong Jamba 1.5 và cách nó sẽ thúc đẩy trí tuệ nhân tạo Agentic

Jamba 1.5 Mini và Large giới thiệu một số tính năng mới được thiết kế để đáp ứng nhu cầu phát triển của các nhà phát triển AI:

• Chế độ JSON để xử lý dữ liệu có cấu trúc

• Trích dẫn để tăng cường trách nhiệm giải trình

• API tài liệu để cải thiện quản lý ngữ cảnh

• Khả năng gọi hàm

Theo Dagan, những bổ sung này đặc biệt quan trọng đối với các nhà phát triển đang làm việc trên các hệ thống trí tuệ nhân tạo Agentic. Các nhà phát triển sử dụng rộng rãi JSON (Ký hiệu đối tượng JavaScript) để truy cập và xây dựng quy trình làm việc của ứng dụng.

Dagan giải thích rằng việc bổ sung hỗ trợ JSON cho phép các nhà phát triển dễ dàng xây dựng các mối quan hệ đầu vào/đầu ra có cấu trúc giữa các phần khác nhau của quy trình làm việc. Ông lưu ý rằng hỗ trợ JSON là rất quan trọng đối với các hệ thống AI phức tạp hơn, vượt ra ngoài việc chỉ sử dụng mô hình ngôn ngữ. Mặt khác, tính năng trích dẫn hoạt động cùng với API tài liệu mới.

“Chúng tôi có thể dạy mô hình rằng khi bạn tạo ra thứ gì đó và bạn có tài liệu trong đầu vào của mình, vui lòng phân bổ các phần có liên quan cho tài liệu”, Dagan nói.

Chế độ trích dẫn khác với RAG như thế nào, cung cấp cách tiếp cận tích hợp cho trí tuệ nhân tạo Agentic

Người dùng không nên nhầm lẫn chế độ trích dẫn với Tạo bằng cách truy xuất nâng cao (RAG), mặc dù cả hai cách tiếp cận đều dựa trên dữ liệu phản hồi để cải thiện độ chính xác.

Dagan giải thích rằng chế độ trích dẫn trong Jamba 1.5 được thiết kế để hoạt động cùng với API tài liệu của mô hình, cung cấp cách tiếp cận tích hợp hơn so với quy trình làm việc RAG truyền thống. Trong thiết lập RAG điển hình, các nhà phát triển kết nối mô hình ngôn ngữ với cơ sở dữ liệu vectơ để truy cập các tài liệu có liên quan cho một truy vấn hoặc tác vụ nhất định. Sau đó, mô hình sẽ cần học cách kết hợp hiệu quả thông tin đã truy xuất đó vào quá trình tạo của nó.

Ngược lại, chế độ trích dẫn trong Jamba 1.5 được tích hợp chặt chẽ hơn với chính mô hình. Điều này có nghĩa là mô hình được đào tạo để không chỉ truy xuất và kết hợp các tài liệu có liên quan mà còn trích dẫn rõ ràng nguồn thông tin mà nó sử dụng trong kết quả đầu ra của nó. Điều này cung cấp khả năng minh bạch và truy xuất nguồn gốc tốt hơn so với quy trình làm việc LLM truyền thống, trong đó lý luận của mô hình có thể mờ hơn.

AI21 cũng hỗ trợ RAG. Dagan lưu ý rằng công ty của ông cung cấp giải pháp RAG đầu cuối của riêng mình dưới dạng dịch vụ được quản lý bao gồm truy xuất tài liệu, lập chỉ mục và các thành phần cần thiết khác.

Hướng tới tương lai, Dagan cho biết AI21 sẽ tiếp tục nỗ lực nâng cao các mô hình của mình để phục vụ nhu cầu của khách hàng. Cũng sẽ có một trọng tâm liên tục vào việc kích hoạt trí tuệ nhân tạo Agentic.

“Chúng tôi cũng hiểu rằng chúng tôi cần vận hành và thúc đẩy giới hạn với các hệ thống trí tuệ nhân tạo Agentic và cách thức lập kế hoạch và thực hiện được xử lý trong lĩnh vực đó”, Dagan nói.