Microsoft ra mắt BitNet b1.58 2B4T, mô hình AI nén 1-bit với 2 tỷ tham số, dễ dàng chạy trên CPU phổ thông

[Hue Hoang]

Microsoft vừa công bố BitNet b1.58 2B4T, mô hình AI nén 1-bit lớn nhất từng được phát triển với 2 tỷ tham số. BitNet b1.58 2B4T mã nguồn mở theo giấy phép MIT, cho phép mọi người truy cập và sử dụng miễn phí. BitNet là AI nén đặc biệt khi trọng số chỉ nhận giá trị -1, 0, 1, giúp giảm mạnh nhu cầu bộ nhớ và tăng tốc độ tính toán. Mô hình được huấn luyện trên 4 tỷ tokens (tương đương khoảng 33.000.000 cuốn sách), vượt trội về quy mô so với nhiều mô hình hiện nay. BitNet b1.58 2B4T có...

Đọc bài gốc tại đây