OpenAI Ra Mắt Mô Hình GPT-4o Long Output Với Khả Năng Xử Lý Văn Bản Gấp 16 Lần
Mặc dù OpenAI được cho là đang đối mặt với khó khăn về tài chính, công ty tiên phong trong lĩnh vực trí tuệ nhân tạo (AI) này vẫn không ngừng cho ra mắt các mô hình và bản cập nhật mới.
Mới đây, OpenAI đã âm thầm công bố một trang web giới thiệu mô hình ngôn ngữ lớn (LLM) mới: GPT-4o Long Output. Đây là phiên bản nâng cấp của mô hình GPT-4o ra mắt vào tháng 5, nhưng có kích thước đầu ra được mở rộng đáng kể: lên đến 64.000 token đầu ra thay vì 4.000 token ban đầu của GPT-4o – tăng gấp 16 lần.
Token là các đơn vị biểu diễn số của các khái niệm, cấu trúc ngữ pháp và tổ hợp chữ cái, con số được tổ chức dựa trên ý nghĩa ngữ nghĩa của chúng đằng sau một LLM.
Ví dụ, từ “Xin chào” là một token, và “chào” cũng vậy. Bạn có thể xem bản demo tương tác về token hoạt động thông qua Tokenizer của OpenAI tại đây.
Bằng cách cung cấp khả năng xuất ra số lượng token gấp 16 lần với biến thể GPT-4o Long Output mới, OpenAI hiện đang mang đến cho người dùng – và đặc biệt hơn là các nhà phát triển bên thứ ba xây dựng trên giao diện lập trình ứng dụng (API) của mình – cơ hội nhận được câu trả lời dài hơn từ chatbot, có thể dài bằng một cuốn tiểu thuyết khoảng 200 trang.
Tại Sao OpenAI Lại Ra Mắt Mô Hình Có Đầu Ra Dài Hơn?
Quyết định giới thiệu khả năng xuất đầu ra mở rộng này của OpenAI xuất phát từ phản hồi của khách hàng cho thấy nhu cầu về ngữ cảnh đầu ra dài hơn.
Người phát ngôn của OpenAI giải thích với VentureBeat: “Chúng tôi đã nghe phản hồi từ khách hàng của mình rằng họ muốn có ngữ cảnh đầu ra dài hơn. Chúng tôi luôn thử nghiệm những cách thức mới để có thể đáp ứng tốt nhất nhu cầu của khách hàng”.
Giai đoạn thử nghiệm alpha dự kiến sẽ kéo dài trong vài tuần, cho phép OpenAI thu thập dữ liệu về mức độ hiệu quả của đầu ra mở rộng đáp ứng nhu cầu của người dùng.
Khả năng nâng cao này đặc biệt thuận lợi cho các ứng dụng yêu cầu đầu ra chi tiết và mở rộng, chẳng hạn như chỉnh sửa mã và cải thiện khả năng viết.
Bằng cách cung cấp đầu ra mở rộng hơn, mô hình GPT-4o có thể cung cấp các phản hồi toàn diện và sắc thái hơn, điều này có thể mang lại lợi ích đáng kể cho các trường hợp sử dụng này.
Phân Biệt Giữa Ngữ Cảnh và Đầu Ra
Kể từ khi ra mắt, GPT-4o đã cung cấp cửa sổ ngữ cảnh tối đa 128.000 – số lượng token mà mô hình có thể xử lý trong bất kỳ tương tác nào, bao gồm cả token đầu vào và đầu ra.
Đối với GPT-4o Long Output, cửa sổ ngữ cảnh tối đa này vẫn ở mức 128.000.
Vậy làm cách nào OpenAI có thể tăng số lượng token đầu ra lên gấp 16 lần từ 4.000 lên 64.000 token trong khi vẫn giữ tổng số cửa sổ ngữ cảnh ở mức 128.000?
Tất cả là nhờ một phép toán đơn giản: mặc dù GPT-4o ban đầu từ tháng 5 có tổng số cửa sổ ngữ cảnh là 128.000 token, nhưng một tin nhắn đầu ra của nó bị giới hạn ở mức 4.000.
Tương tự, đối với cửa sổ mini GPT-4o mới, ngữ cảnh tổng thể là 128.000 nhưng đầu ra tối đa đã được nâng lên 16.000 token.
Điều đó có nghĩa là đối với GPT-4o, người dùng có thể cung cấp tối đa 124.000 token làm đầu vào và nhận được tối đa 4.000 đầu ra từ mô hình trong một lần tương tác. Họ cũng có thể cung cấp nhiều token hơn làm đầu vào nhưng nhận được ít hơn làm đầu ra, trong khi tổng số vẫn là 128.000 token.
Đối với GPT-4o mini, người dùng có thể cung cấp tối đa 112.000 token làm đầu vào để nhận được đầu ra tối đa 16.000 token.
Đối với GPT-4o Long Output, tổng số cửa sổ ngữ cảnh vẫn được giới hạn ở mức 128.000. Tuy nhiên, hiện tại, người dùng có thể cung cấp tối đa 64.000 token giá trị đầu vào để đổi lấy tối đa 64.000 token đầu ra – nghĩa là, nếu người dùng hoặc nhà phát triển của một ứng dụng được xây dựng dựa trên nó muốn ưu tiên phản hồi LLM dài hơn trong khi hạn chế đầu vào.
Trong mọi trường hợp, người dùng hoặc nhà phát triển phải đưa ra lựa chọn hoặc đánh đổi: họ có muốn hy sinh một số token đầu vào để có được đầu ra dài hơn trong khi tổng số vẫn là 128.000 token? Đối với những người dùng muốn có câu trả lời dài hơn, GPT-4o Long Output hiện cung cấp tùy chọn này.
Định Giá Cạnh Tranh và Phù Hợp
Mô hình GPT-4o Long Output mới được định giá như sau:
6 USD cho mỗi 1 triệu token đầu vào
18 USD cho mỗi 1 triệu token đầu ra
So với mức giá GPT-4o thông thường là 5 USD cho mỗi triệu token đầu vào và 15 USD cho mỗi triệu token đầu ra, hoặc thậm chí GPT-4o mini mới ở mức 0,15 USD cho mỗi triệu đầu vào và 0,60 USD cho mỗi triệu đầu ra, bạn có thể thấy nó được định giá khá cạnh tranh, tiếp tục tuyên bố gần đây của OpenAI rằng họ muốn biến AI mạnh mẽ trở nên hợp lý và dễ tiếp cận với nhiều người dùng là nhà phát triển.
Hiện tại, quyền truy cập vào mô hình thử nghiệm này được giới hạn trong một nhóm nhỏ các đối tác đáng tin cậy. Người phát ngôn cho biết thêm: “Chúng tôi đang tiến hành thử nghiệm alpha trong vài tuần với một số lượng nhỏ các đối tác đáng tin cậy để xem liệu đầu ra dài hơn có giúp ích cho các trường hợp sử dụng của họ hay không.”
Tùy thuộc vào kết quả của giai đoạn thử nghiệm này, OpenAI có thể xem xét mở rộng quyền truy cập cho cơ sở khách hàng rộng lớn hơn.
Triển Vọng Tương Lai
Thử nghiệm alpha đang diễn ra sẽ cung cấp những hiểu biết quý báu về các ứng dụng thực tế và lợi ích tiềm năng của mô hình đầu ra mở rộng.
Nếu phản hồi từ nhóm đối tác ban đầu là tích cực, OpenAI có thể xem xét việc cung cấp khả năng này rộng rãi hơn, cho phép nhiều người dùng hơn được hưởng lợi từ các khả năng đầu ra nâng cao.
Rõ ràng, với mô hình GPT-4o Long Output, OpenAI hy vọng sẽ giải quyết được nhiều yêu cầu của khách hàng hơn và cung cấp năng lượng cho các ứng dụng yêu cầu phản hồi chi tiết.
