Memasuki dunia kecerdasan buatan tempatan mungkin kelihatan seperti tugas yang sukar pada mulanya, tetapi realitinya ialah kita berada di zaman kegemilangan. Anda tidak lagi memerlukan pusat data bawah tanah untuk melakukan inferens model ; hari ini, dengan pasukan yang dikonfigurasikan dengan baik, anda boleh mempunyai pembantu peribadi anda sendiri yang tidak bergantung pada awan atau langganan bulanan.
Apabila kita bercakap tentang menjalankan model secara tempatan, kita pada asasnya merujuk kepada fasa inferens , iaitu apabila model terlatih memproses data baharu untuk memberi kita jawapan. Tidak seperti latihan, yang merupakan tugas besar yang memerlukan beribu-ribu GPU, inferens jauh lebih mudah diurus, dan di sinilah cip Apple memberi impak yang kuat hasil daripada pengurusan kuasa yang cekap dan seni bina inovatifnya.
Rahsia kejayaan: Ingatan Bersatu
Jika ada satu perkara yang membezakan Mac, ia adalah Seni Bina Memori Bersepadu (UMA) . Pada PC tradisional, anda perlu memindahkan data dari RAM sistem ke VRAM kad grafik, dan di situlah masa berharga hilang. Dengan M4, M3 Ultra dan cip yang serupa, CPU dan GPU menggunakan kolam memori yang sama, sekali gus mengurangkan kependaman secara drastik semasa mengendalikan tensor.
Ini penting apabila kita ingin memuatkan LLM (Model Bahasa Besar) sederhana atau besar. Contohnya, Mac Studio dengan jumlah RAM yang banyak boleh menampung model yang dalam dunia PC memerlukan beberapa kad NVIDIA A6000 , menghasilkan penjimatan kos yang besar dan, yang paling penting, bil elektrik, kerana penggunaannya adalah sebahagian kecil daripada apa yang akan digunakan oleh menara permainan.
Pengkuantuman dan Format: Cara menjadikan model sesuai
Untuk mengelakkan model dengan 70 trilion parameter daripada merosakkan mesin anda, kami menggunakan kuantisasi . Pada asasnya, ini melibatkan pengurangan ketepatan nombor (beralih daripada FP32 kepada INT8 atau 4 bit), yang mengecilkan model dan mempercepatkan tindak balas tanpa menjadikannya "bodoh" atau menyebabkannya kehilangan koheren.
- GGUF: Ia merupakan format pilihan bagi mereka yang menggunakan CPU atau gabungan CPU dan GPU. Ia merupakan satu fail yang mengandungi semua yang diperlukan dan merupakan standard untuk call.cpp.
- GPTQ: Direka khusus untuk beroperasi pada GPU, mengoptimumkan kelajuan pemprosesan.
- Pengawal Keselamatan: Pilihan yang jauh lebih selamat daripada fail .bin tradisional, kerana ia menghalang pelaksanaan kod berniat jahat semasa memuatkan model.
Alat penting untuk menyediakan persekitaran anda
Jika anda tidak mahu bersusah payah dengan terminal dari awal, terdapat beberapa pilihan yang sangat mudah. LM Studio mungkin merupakan alat yang paling mesra pengguna: ia merupakan penyelesaian semua-dalam-satu dengan antara muka grafik yang membolehkan anda menjalankan model AI secara setempat dan melancarkannya dengan satu klik. Anda juga boleh menyediakan pelayan API serasi OpenAI setempat untuk mengintegrasikan AI ke dalam aplikasi anda sendiri.
Sebaliknya, kita ada Ollama , permata mahkota bagi mereka yang lebih suka sesuatu yang lebih ringan atau berasaskan baris arahan. Ia sumber terbuka dan berintegrasi dengan lancar dengan Open WebUI , membolehkan anda mempunyai antara muka yang serupa dengan ChatGPT tetapi berjalan sepenuhnya pada perkakasan anda. Panduan ringkas untuk menjalankan LLM tempatan dengan Ollama juga tersedia. Bagi mereka yang mahukan prestasi maksimum pada macOS, rangka kerja MLX Apple ialah pilihan yang dioptimumkan untuk memanfaatkan sepenuhnya silikon syarikat.
Dilema Perkakasan: Kemudahalihan atau Kuasa Mentah?
Ramai penyelidik dan pembangun terpinga-pinga antara dua hala. Pilihan pertama adalah menggunakan MacBook Pro M4 Max dengan memori yang banyak (seperti 128GB). Kelebihannya ialah lelaran yang pantas : anda boleh berada di kedai kopi atau di atas kapal terbang menguji saluran paip RAG (Recovery Augmented Generation) tanpa bergantung pada sambungan jauh.
Alternatifnya ialah kombinasi Mac Studio dan komputer riba yang ringan. Studio ini merupakan sebuah mesin fotokopi terma yang hebat; anda boleh membiarkannya menjalankan inferens yang panjang selama berjam-jam tanpa kipas berbunyi seperti enjin jet yang sedang berlepas. Walau bagaimanapun, ini menimbulkan geseran akses jauh , yang memerlukan anda menyegerakkan persekitaran dan data antara dua mesin berbeza, yang boleh mengganggu aliran kreatif anda.
Kes penggunaan dan batasan dunia sebenar
Dengan Mac Mini M4 atau MacBook Pro yang lengkap, anda boleh menyediakan sistem RAG dengan pangkalan data vektor seperti ChromaDB atau Qdrant, mencipta pembantu kod setempat dengan Aider atau menyalin video secara automatik menggunakan AI setempat untuk mengekstrak ciri. Ia sesuai untuk membuat prototaip dan menilai tingkah laku model terkuantum dengan antara 7 bilion dan 70 bilion parameter.
Walau bagaimanapun, jangan harapkan keajaiban. Latihan model intensif atau penalaan halus yang kompleks bukanlah kekuatan mesin ini. Jika aliran kerja anda sangat bergantung pada ekosistem NVIDIA CUDA , anda akan menghadapi beberapa halangan, kerana Metal (API Apple) bukanlah pengganti yang lancar, walaupun jurangnya telah mengecil dengan ketara untuk inferens.
Penulis yang bersemangat tentang dunia bait dan teknologi secara umum. Saya suka berkongsi pengetahuan saya melalui penulisan, dan itulah yang akan saya lakukan dalam blog ini, menunjukkan kepada anda semua perkara yang paling menarik tentang alat, perisian, perkakasan, trend teknologi dan banyak lagi. Matlamat saya adalah untuk membantu anda mengemudi dunia digital dengan cara yang mudah dan menghiburkan.