Bước vào thế giới trí tuệ nhân tạo cục bộ thoạt nhìn có vẻ là một nhiệm vụ khó khăn, nhưng thực tế là chúng ta đang sống trong thời kỳ hoàng kim. Bạn không còn cần đến trung tâm dữ liệu dưới tầng hầm để thực hiện suy luận mô hình ; ngày nay, với một nhóm được cấu hình tốt, bạn có thể sở hữu trợ lý cá nhân của riêng mình mà không phụ thuộc vào điện toán đám mây hay các gói đăng ký hàng tháng.
Khi nói về việc chạy mô hình cục bộ, về cơ bản chúng ta đang đề cập đến giai đoạn suy luận , tức là khi một mô hình đã được huấn luyện xử lý dữ liệu mới để đưa ra câu trả lời. Không giống như huấn luyện, một nhiệm vụ khổng lồ đòi hỏi hàng nghìn GPU, suy luận dễ quản lý hơn nhiều, và đây là nơi chip của Apple tạo ra tác động mạnh mẽ nhờ khả năng quản lý năng lượng hiệu quả và kiến trúc tiên tiến.
Bí quyết thành công: Bộ nhớ thống nhất
Nếu có một điều làm nên sự khác biệt của máy Mac, đó chính là Kiến trúc Bộ nhớ Thống nhất (UMA) . Trên máy tính PC truyền thống, bạn phải di chuyển dữ liệu từ RAM hệ thống sang VRAM của card đồ họa, và đó là nơi mất đi thời gian quý báu. Với các chip M4, M3 Ultra và các chip tương tự, CPU và GPU sử dụng chung một vùng bộ nhớ, giảm đáng kể độ trễ khi xử lý các tensor.
Điều này rất quan trọng khi chúng ta muốn tải các LLM (Large Language Models) có kích thước trung bình hoặc lớn. Ví dụ, một chiếc Mac Studio với dung lượng RAM dồi dào có thể chứa được các mô hình mà trên PC sẽ cần đến vài card đồ họa NVIDIA A6000 , dẫn đến tiết kiệm chi phí đáng kể và trên hết là tiết kiệm điện năng, vì mức tiêu thụ điện chỉ bằng một phần nhỏ so với một máy tính để bàn chơi game.
Lượng tử hóa và định dạng: Làm thế nào để mô hình phù hợp
Để ngăn chặn một mô hình với 70 nghìn tỷ tham số làm sập máy tính của bạn, chúng tôi sử dụng lượng tử hóa . Về cơ bản, điều này liên quan đến việc giảm độ chính xác của các số (từ FP32 xuống INT8 hoặc thậm chí 4 bit), giúp thu nhỏ mô hình và tăng tốc độ phản hồi mà không làm cho nó trở nên "ngu ngốc" hoặc mất tính nhất quán.
- GGUF: Đây là định dạng được ưa chuộng đối với những người sử dụng CPU hoặc kết hợp cả CPU và GPU. Đó là một tệp duy nhất chứa mọi thứ cần thiết và là tiêu chuẩn cho... cuộc gọi.cpp.
- GPTQ: Được thiết kế đặc biệt để hoạt động trên GPU, tối ưu hóa tốc độ xử lý.
- Bộ căng an toàn: Đây là một lựa chọn an toàn hơn nhiều so với các tệp .bin truyền thống, vì nó ngăn chặn việc thực thi mã độc hại khi tải mô hình.
Các công cụ thiết yếu để thiết lập môi trường của bạn
Nếu bạn không muốn phải vật lộn với giao diện dòng lệnh ngay từ đầu, có một số lựa chọn rất đơn giản. LM Studio có lẽ là công cụ thân thiện với người dùng nhất: đó là giải pháp tất cả trong một với giao diện đồ họa cho phép bạn chạy các mô hình AI cục bộ và khởi chạy chúng chỉ bằng một cú nhấp chuột. Bạn thậm chí có thể thiết lập máy chủ API tương thích với OpenAI cục bộ để tích hợp AI vào các ứng dụng của riêng mình.
Mặt khác, chúng ta có Ollama , viên ngọc quý dành cho những ai thích một giải pháp nhẹ nhàng hơn hoặc dựa trên dòng lệnh. Nó là mã nguồn mở và tích hợp liền mạch với Open WebUI , cho phép bạn có giao diện giống hệt ChatGPT nhưng chạy hoàn toàn trên phần cứng của bạn. Hướng dẫn nhanh về cách chạy LLM cục bộ với Ollama cũng có sẵn. Đối với những người tìm kiếm hiệu suất tối đa trên macOS, khung MLX của Apple là tùy chọn tối ưu để tận dụng tối đa sức mạnh của phần cứng Apple.
Vấn đề nan giải về phần cứng: Tính di động hay sức mạnh xử lý thô?
Nhiều nhà nghiên cứu và phát triển đang phân vân giữa hai lựa chọn. Lựa chọn đầu tiên là đầu tư mạnh vào một chiếc MacBook Pro M4 Max với dung lượng bộ nhớ lớn (như 128GB). Ưu điểm là tốc độ lặp lại nhanh chóng : bạn có thể thử nghiệm quy trình RAG (Recovery Augmented Generation) ở quán cà phê hoặc trên máy bay mà không cần kết nối từ xa.
Một giải pháp khác là kết hợp Mac Studio với một máy tính xách tay cấu hình thấp. Studio là một "quái vật" về tản nhiệt; bạn có thể để nó chạy các tác vụ suy luận dài hàng giờ mà quạt không phát ra tiếng ồn như động cơ phản lực cất cánh. Tuy nhiên, điều này lại gây ra rắc rối khi truy cập từ xa , yêu cầu bạn phải đồng bộ hóa môi trường và dữ liệu giữa hai máy khác nhau, điều này có thể làm gián đoạn quá trình sáng tạo của bạn.
Các trường hợp sử dụng thực tế và hạn chế
Với một chiếc Mac Mini M4 hoặc một chiếc MacBook Pro cấu hình tốt, bạn có thể thiết lập hệ thống RAG với các cơ sở dữ liệu vector như ChromaDB hoặc Qdrant, tạo các trợ lý mã cục bộ với Aider, hoặc tự động chuyển đổi video thành văn bản bằng AI cục bộ để trích xuất các đặc điểm. Điều này lý tưởng cho việc tạo mẫu và đánh giá hành vi của các mô hình lượng tử hóa với từ 7 tỷ đến 70 tỷ tham số.
Tuy nhiên, đừng kỳ vọng quá nhiều. Việc huấn luyện mô hình chuyên sâu hoặc tinh chỉnh phức tạp không phải là thế mạnh của những cỗ máy này. Nếu quy trình làm việc của bạn phụ thuộc nhiều vào hệ sinh thái NVIDIA CUDA , bạn sẽ gặp một số trở ngại, vì Metal (API của Apple) không phải là sự thay thế hoàn hảo, mặc dù khoảng cách đã thu hẹp đáng kể đối với suy luận.
Người viết đam mê về thế giới byte và công nghệ nói chung. Tôi thích chia sẻ kiến thức của mình thông qua viết lách và đó là những gì tôi sẽ làm trong blog này, cho bạn thấy tất cả những điều thú vị nhất về tiện ích, phần mềm, phần cứng, xu hướng công nghệ, v.v. Mục tiêu của tôi là giúp bạn điều hướng thế giới kỹ thuật số một cách đơn giản và thú vị.