Xu hướng mô hình ngôn ngữ nhỏ: Tiết kiệm chi phí, năng lượng và vẫn hiệu quả đáng kinh ngạc

[Màu của em]

Mô hình ngôn ngữ lớn (LLM) hoạt động hiệu quả nhờ quy mô khổng lồ với hàng trăm tỷ tham số, giúp chúng nhận diện mẫu và kết nối tốt hơn, từ đó trở nên mạnh mẽ và chính xác hơn. Tuy nhiên, việc huấn luyện LLM tiêu tốn tài nguyên tính toán khổng lồ. Google đã chi khoảng 191 triệu USD để huấn luyện mô hình Gemini 1.0 Ultra của họ. LLM cũng tiêu thụ năng lượng đáng kể khi xử lý mỗi yêu cầu. Theo Viện Nghiên cứu Điện lực, một truy vấn đến ChatGPT tiêu thụ gấp khoảng 10...

Đọc bài gốc tại đây