Dojo Tesla: Lịch sử phát triển

Elon Musk không muốn Tesla chỉ là một nhà sản xuất ô tô. Ông muốn Tesla trở thành một công ty trí tuệ nhân tạo (AI), một công ty tìm ra cách để xe tự lái.

Chìa khóa cho sứ mệnh đó là Dojo, siêu máy tính do Tesla tự xây dựng được thiết kế để đào tạo mạng lưới thần kinh Lái xe tự động hoàn toàn (FSD). FSD thực tế không hoàn toàn tự lái; nó có thể thực hiện một số tác vụ lái xe tự động, nhưng vẫn yêu cầu con người chú ý phía sau tay lái. Nhưng Tesla cho rằng với nhiều dữ liệu hơn, nhiều năng lực tính toán hơn và đào tạo nhiều hơn, họ có thể vượt qua ngưỡng từ gần như tự lái sang tự lái hoàn toàn.

Và đó là lúc Dojo phát huy tác dụng.

Musk đã hé lộ về Dojo được một thời gian, nhưng vị giám đốc điều hành này đã tăng cường các cuộc thảo luận về siêu máy tính này trong suốt năm 2024. Tầm quan trọng của Dojo đối với Tesla có thể là điều sống còn – với doanh số bán xe điện sụt giảm, các nhà đầu tư muốn đảm bảo rằng Tesla có thể đạt được khả năng tự chủ. Dưới đây là dòng thời gian của các lần đề cập và hứa hẹn về Dojo.

2019: Lần đầu tiên Dojo được nhắc đến

22 tháng 4 – Tại Ngày hội Tự hành của Tesla, nhà sản xuất ô tô đã cho đội ngũ AI của mình lên sân khấu để nói về Autopilot và Lái xe tự động hoàn toàn, cũng như AI cung cấp năng lượng cho cả hai. Công ty chia sẻ thông tin về các con chip do Tesla tự xây dựng được thiết kế đặc biệt cho mạng lưới thần kinh và xe tự lái.

Trong sự kiện này, Musk hé lộ về Dojo, tiết lộ rằng đó là một siêu máy tính để đào tạo AI. Ông cũng lưu ý rằng tất cả những chiếc xe Tesla được sản xuất vào thời điểm đó đều sẽ có tất cả phần cứng cần thiết cho khả năng tự lái hoàn toàn và chỉ cần cập nhật phần mềm.

2020: Musk bắt đầu cuộc hành trình quảng bá Dojo

2 tháng 2 – Musk cho biết Tesla sẽ sớm có hơn một triệu xe được kết nối trên toàn thế giới với các cảm biến và khả năng tính toán cần thiết cho khả năng tự lái hoàn toàn – và chào mời khả năng của Dojo.

“Dojo, siêu máy tính đào tạo của chúng tôi, sẽ có thể xử lý một lượng lớn dữ liệu đào tạo video & chạy hiệu quả các mảng không gian siêu việt với một số lượng lớn các tham số, nhiều bộ nhớ & băng thông cực cao giữa các lõi. Sẽ có thêm thông tin về điều này sau.”

14 tháng 8 – Musk nhắc lại kế hoạch của Tesla nhằm phát triển một máy tính đào tạo mạng lưới thần kinh có tên Dojo “để xử lý một lượng lớn dữ liệu video”, gọi nó là “một con quái vật”. Ông cũng cho biết phiên bản đầu tiên của Dojo “còn khoảng một năm nữa”, tức là ngày ra mắt sẽ vào khoảng tháng 8 năm 2021.

31 tháng 12 – Elon cho biết Dojo không cần thiết, nhưng nó sẽ giúp xe tự lái tốt hơn. “Không đủ để an toàn hơn người lái xe, Autopilot cuối cùng cần phải an toàn hơn người lái xe hơn 10 lần.”

2021: Tesla chính thức công bố Dojo

19 tháng 8 – Nhà sản xuất ô tô chính thức công bố Dojo tại Ngày hội AI đầu tiên của Tesla, một sự kiện nhằm thu hút các kỹ sư gia nhập đội ngũ AI của Tesla. Tesla cũng giới thiệu con chip D1 của mình, mà nhà sản xuất ô tô cho biết họ sẽ sử dụng – cùng với GPU của Nvidia – để cung cấp năng lượng cho siêu máy tính Dojo. Tesla lưu ý rằng cụm AI của họ sẽ chứa 3.000 con chip D1.

12 tháng 10 – Tesla phát hành sách trắng Công nghệ Dojo, “hướng dẫn về các định dạng & số học dấu phẩy động có thể định cấu hình của Tesla”. Sách trắng phác thảo một tiêu chuẩn kỹ thuật cho một loại số học dấu phẩy động nhị phân mới được sử dụng trong mạng lưới thần kinh học sâu và có thể được triển khai “hoàn toàn bằng phần mềm, hoàn toàn bằng phần cứng hoặc kết hợp giữa phần mềm và phần cứng.”

2022: Tesla tiết lộ tiến độ của Dojo

12 tháng 8 – Musk cho biết Tesla sẽ “triển khai Dojo theo từng giai đoạn. Sẽ không cần mua thêm nhiều GPU trong năm tới.”

30 tháng 9 – Tại Ngày hội AI lần thứ hai của Tesla, công ty tiết lộ rằng họ đã lắp đặt tủ Dojo đầu tiên, thử nghiệm tải trọng 2,2 megawatt. Tesla cho biết họ đang xây dựng một ô mỗi ngày (bao gồm 25 con chip D1). Tesla trình diễn Dojo trên sân khấu chạy mô hình Stable Diffusion để tạo ra hình ảnh do AI tạo ra về “Cybertruck trên sao Hỏa.”

Điều quan trọng là, công ty đặt mục tiêu hoàn thành một cụm Exapod đầy đủ vào quý 1 năm 2023 và cho biết họ có kế hoạch xây dựng tổng cộng bảy Exapod ở Palo Alto.

2023: Một ‘ván cược đầy mạo hiểm’

19 tháng 4 – Musk nói với các nhà đầu tư trong báo cáo thu nhập quý đầu tiên của Tesla rằng Dojo “có tiềm năng cải thiện chi phí đào tạo theo cấp số nhân” và cũng “có tiềm năng trở thành một dịch vụ có thể bán được mà chúng tôi sẽ cung cấp cho các công ty khác theo cách tương tự như Amazon Web Services cung cấp dịch vụ web.”

Musk cũng lưu ý rằng ông ấy sẽ “coi Dojo như một canh bạc đầy mạo hiểm”, nhưng là một “canh bạc đáng để thực hiện.”

21 tháng 6 – Tài khoản Tesla AI X đăng tải rằng mạng lưới thần kinh của công ty đã có mặt trên các phương tiện của khách hàng. Chuỗi bài đăng bao gồm một biểu đồ với dòng thời gian về năng lực tính toán hiện tại và dự kiến của Tesla, trong đó đặt ngày bắt đầu sản xuất Dojo vào tháng 7 năm 2023, mặc dù không rõ điều này đề cập đến con chip D1 hay bản thân siêu máy tính. Musk nói rằng cùng ngày Dojo đã được kết nối và chạy các tác vụ tại các trung tâm dữ liệu của Tesla.

Công ty cũng dự đoán rằng khả năng tính toán của Tesla sẽ lọt vào top 5 trên toàn thế giới vào khoảng tháng 2 năm 2024 (không có dấu hiệu nào cho thấy điều này đã thành công) và Tesla sẽ đạt 100 exaflop vào tháng 10 năm 2024.

19 tháng 7 – Tesla lưu ý trong báo cáo thu nhập quý hai của mình rằng họ đã bắt đầu sản xuất Dojo. Musk cũng cho biết Tesla có kế hoạch chi hơn 1 tỷ USD cho Dojo đến năm 2024.

6 tháng 9 – Musk đăng trên X rằng Tesla bị hạn chế bởi khả năng tính toán đào tạo AI, nhưng Nvidia và Dojo sẽ khắc phục điều đó. Ông cho biết việc quản lý dữ liệu từ khoảng 160 tỷ khung hình video mà Tesla nhận được từ xe hơi của mình mỗi ngày là cực kỳ khó khăn.

2024: Kế hoạch mở rộng quy mô

24 tháng 1 – Trong cuộc gọi thu nhập quý 4 và cả năm của Tesla, Musk một lần nữa thừa nhận rằng Dojo là một dự án rủi ro cao, lợi nhuận cao. Ông cũng cho biết Tesla đang theo đuổi “con đường kép của Nvidia và Dojo“, rằng “Dojo đang hoạt động” và đang “thực hiện các công việc đào tạo.” Ông lưu ý Tesla đang mở rộng quy mô và có “kế hoạch cho Dojo 1.5, Dojo 2, Dojo 3 và những thứ tương tự.”

26 tháng 1 – Tesla công bố kế hoạch chi 500 triệu USD để xây dựng siêu máy tính Dojo ở Buffalo. Sau đó, Musk hạ thấp khoản đầu tư này, đăng trên X rằng mặc dù 500 triệu USD là một khoản tiền lớn, nhưng nó “chỉ tương đương với hệ thống 10 nghìn H100 từ Nvidia. Tesla sẽ chi nhiều hơn thế cho phần cứng của Nvidia trong năm nay. Số tiền đặt cược để cạnh tranh trong lĩnh vực AI ít nhất là vài tỷ đô la mỗi năm vào thời điểm này.”

30 tháng 4 – Tại Hội nghị chuyên đề Công nghệ Bắc Mỹ của TSMC, công ty cho biết ô đào tạo thế hệ tiếp theo của Dojo – D2, đặt toàn bộ ô Dojo lên một tấm silicon duy nhất, thay vì kết nối 25 con chip để tạo thành một ô – đã được sản xuất, theo IEEE Spectrum.

20 tháng 5 – Musk lưu ý rằng phần phía sau của nhà máy Giga Texas sẽ bao gồm việc xây dựng “một cụm siêu máy tính siêu dày đặc, làm mát bằng nước.”

4 tháng 6 – Một báo cáo của CNBC tiết lộ Musk đã chuyển hướng hàng nghìn con chip Nvidia dành riêng cho Tesla sang X và xAI. Sau khi ban đầu nói rằng báo cáo là sai, Musk đăng trên X rằng Tesla không có địa điểm nào để gửi chip Nvidia để bật chúng, do việc xây dựng tiếp tục ở phần mở rộng phía nam của Giga Texas, “vì vậy chúng sẽ chỉ nằm trong kho.” Ông lưu ý phần mở rộng sẽ “chứa 50 nghìn H100 để đào tạo FSD.”

Ông cũng đăng:

“Trong số khoảng 10 tỷ USD chi tiêu liên quan đến AI mà tôi đã nói Tesla sẽ thực hiện trong năm nay, khoảng một nửa là nội bộ, chủ yếu là máy tính suy luận AI và cảm biến do Tesla thiết kế có trong tất cả ô tô của chúng tôi, cộng với Dojo. Để xây dựng các siêu cụm đào tạo AI, phần cứng của NVidia chiếm khoảng 2/3 chi phí. Dự đoán tốt nhất hiện tại của tôi về việc mua Nvidia của Tesla là từ 3 đến 4 tỷ USD trong năm nay.”

1 tháng 7 – Musk tiết lộ trên X rằng các phương tiện Tesla hiện tại có thể không có phần cứng phù hợp cho mô hình AI thế hệ tiếp theo của công ty. Ông nói rằng việc tăng số lượng tham số lên khoảng 5 lần với AI thế hệ tiếp theo “rất khó đạt được nếu không nâng cấp máy tính suy luận của phương tiện.”

Thách thức nguồn cung Nvidia

23 tháng 7 – Trong cuộc gọi thu nhập quý hai của Tesla, Musk cho biết nhu cầu về phần cứng của Nvidia “cao đến mức thường khó kiếm được GPU.”

“Vì vậy, tôi nghĩ rằng điều này đòi hỏi chúng tôi phải nỗ lực nhiều hơn nữa cho Dojo để đảm bảo rằng chúng tôi có khả năng đào tạo mà chúng tôi cần”, Musk nói. “Và chúng tôi thấy một con đường để cạnh tranh với Nvidia với Dojo.”

Một biểu đồ trong bộ tài liệu dành cho nhà đầu tư của Tesla dự đoán rằng năng lực đào tạo AI của Tesla sẽ tăng lên khoảng 90.000 GPU tương đương H100 vào cuối năm 2024, tăng từ khoảng 40.000 vào tháng 6. Cuối ngày hôm đó trên X, Musk đăng tải rằng Dojo 1 sẽ có “khoảng 8 nghìn H100 tương đương đào tạo trực tuyến vào cuối năm.” Ông cũng đăng ảnh chụp siêu máy tính, có vẻ như sử dụng lớp vỏ thép không gỉ giống tủ lạnh giống như Cybertruck của Tesla.

XXX

30 tháng 7 – AI5 còn khoảng 18 tháng nữa mới được sản xuất hàng loạt, Musk cho biết trong một bài đăng trả lời một người nào đó tuyên bố thành lập câu lạc bộ “chủ sở hữu Tesla HW4/AI4 tức giận vì bị bỏ lại phía sau khi AI5 ra mắt.”

3 tháng 8 – Musk đăng trên X rằng ông đã tham quan “cụm siêu máy tính Tesla tại Giga Texas (còn gọi là Cortex).” Ông lưu ý rằng nó sẽ được tạo thành từ khoảng 100.000 GPU H100/H200 Nvidia với “bộ nhớ khổng lồ để đào tạo video cho FSD & Optimus.”