OpenAI và Broadcom công bố chip Jalapeño tối ưu suy luận LLM ở quy mô trung tâm dữ liệu
OpenAI và Broadcom cho biết đã cùng thiết kế một chip ASIC chuyên dụng mang tên Jalapeño, tối ưu cho suy luận mô hình ngôn ngữ lớn và dự kiến triển khai tại các trung tâm dữ liệu trước cuối năm. Con chip được tùy biến theo lộ trình công nghệ của OpenAI nhằm cải thiện hiệu năng trên mỗi watt và giảm sự phụ thuộc vào nhà cung cấp GPU bên ngoài như Nvidia. Hiện chưa có dữ liệu hiệu năng thực đo đầy đủ, và báo cáo kỹ thuật chi tiết sẽ được công bố trong vài tháng tới.