Memasuki dunia kecerdasan buatan lokal mungkin tampak seperti tugas yang menakutkan pada awalnya, tetapi kenyataannya kita berada di zaman keemasan. Anda tidak lagi membutuhkan pusat data di ruang bawah tanah untuk melakukan inferensi model ; saat ini, dengan tim yang terkonfigurasi dengan baik, Anda dapat memiliki asisten pribadi sendiri yang tidak bergantung pada cloud atau langganan bulanan.
Ketika kita berbicara tentang menjalankan model secara lokal, pada dasarnya kita merujuk pada fase inferensi , yaitu ketika model yang telah dilatih memproses data baru untuk memberikan jawaban kepada kita. Tidak seperti pelatihan, yang merupakan tugas monumental yang membutuhkan ribuan GPU, inferensi jauh lebih mudah dikelola, dan di sinilah chip Apple memberikan dampak yang kuat berkat manajemen daya yang efisien dan arsitektur inovatifnya.
Rahasia kesuksesan: Memori Terpadu
Jika ada satu hal yang membedakan Mac, itu adalah Unified Memory Architecture (UMA) . Pada PC tradisional, Anda harus memindahkan data dari RAM sistem ke VRAM kartu grafis, dan di situlah waktu berharga terbuang. Dengan chip M4, M3 Ultra, dan yang serupa, CPU dan GPU mengambil data dari kumpulan memori yang sama, sehingga secara drastis mengurangi latensi saat menangani tensor.
Hal ini sangat penting ketika kita ingin memuat LLM (Large Language Model) berukuran sedang atau besar. Misalnya, Mac Studio dengan RAM yang cukup besar dapat mengakomodasi model yang di dunia PC akan membutuhkan beberapa kartu NVIDIA A6000 , sehingga menghasilkan penghematan biaya yang sangat besar dan, yang terpenting, penghematan tagihan listrik, karena konsumsi dayanya hanya sebagian kecil dari yang digunakan oleh komputer gaming tower.
Kuantisasi dan Format: Bagaimana membuat model yang sesuai
Untuk mencegah model dengan 70 triliun parameter menyebabkan komputer Anda mengalami crash, kami menggunakan kuantisasi . Pada dasarnya, ini melibatkan pengurangan presisi angka (dari FP32 ke INT8 atau bahkan 4 bit), yang mengecilkan model dan mempercepat respons tanpa membuatnya "bodoh" atau menyebabkannya kehilangan koherensi.
- GGUF: Ini adalah format yang disukai bagi mereka yang menggunakan CPU atau kombinasi CPU dan GPU. Ini adalah file tunggal yang berisi semua yang dibutuhkan dan merupakan standar untuk panggilan.cpp.
- GPTQ: Dirancang khusus untuk berjalan di GPU, mengoptimalkan kecepatan pemrosesan.
- Pengaman: Opsi yang jauh lebih aman daripada file .bin tradisional, karena mencegah eksekusi kode berbahaya saat memuat model.
Alat-alat penting untuk menyiapkan lingkungan Anda
Jika Anda tidak ingin repot dengan terminal sejak awal, ada beberapa pilihan yang sangat mudah. LM Studio mungkin merupakan alat yang paling ramah pengguna: ini adalah solusi lengkap dengan antarmuka grafis yang memungkinkan Anda menjalankan model AI secara lokal dan meluncurkannya hanya dengan satu klik. Anda bahkan dapat menyiapkan server API yang kompatibel dengan OpenAI secara lokal untuk mengintegrasikan AI ke dalam aplikasi Anda sendiri.
Di sisi lain, kita memiliki Ollama , permata mahkota bagi mereka yang lebih menyukai sesuatu yang lebih ringan atau berbasis baris perintah. Ini adalah perangkat lunak sumber terbuka dan terintegrasi dengan mulus dengan Open WebUI , memungkinkan Anda memiliki antarmuka yang identik dengan ChatGPT tetapi berjalan sepenuhnya di perangkat keras Anda. Panduan singkat untuk menjalankan LLM lokal dengan Ollama juga tersedia. Bagi mereka yang mencari kinerja maksimal di macOS, kerangka kerja MLX Apple adalah pilihan yang dioptimalkan untuk mendapatkan hasil maksimal dari silikon perusahaan.
Dilema Perangkat Keras: Portabilitas atau Kekuatan Mentah?
Banyak peneliti dan pengembang dihadapkan pada dua pilihan. Pilihan pertama adalah menggunakan MacBook Pro M4 Max dengan memori yang besar (seperti 128GB). Keuntungannya adalah iterasi yang cepat : Anda dapat berada di kedai kopi atau di pesawat untuk menguji pipeline RAG (Recovery Augmented Generation) tanpa bergantung pada koneksi jarak jauh.
Alternatifnya adalah kombinasi Mac Studio dan laptop ringan. Studio ini sangat efisien dalam hal pendinginan; Anda dapat membiarkannya menjalankan inferensi panjang selama berjam-jam tanpa kipasnya berbunyi seperti mesin jet yang sedang lepas landas. Namun, ini menimbulkan kendala akses jarak jauh , yang mengharuskan Anda untuk menyinkronkan lingkungan dan data antara dua mesin yang berbeda, yang dapat mengganggu alur kerja kreatif Anda.
Kasus penggunaan dan keterbatasan di dunia nyata
Dengan Mac Mini M4 atau MacBook Pro yang mumpuni, Anda dapat menyiapkan sistem RAG dengan basis data vektor seperti ChromaDB atau Qdrant, membuat asisten kode lokal dengan Aider, atau secara otomatis mentranskripsikan video menggunakan AI lokal untuk mengekstrak fitur. Ini ideal untuk membuat prototipe dan mengevaluasi perilaku model terkuantisasi dengan antara 7 miliar dan 70 miliar parameter.
Namun, jangan mengharapkan keajaiban. Pelatihan model intensif atau penyempurnaan yang kompleks bukanlah keunggulan mesin-mesin ini. Jika alur kerja Anda sangat bergantung pada ekosistem NVIDIA CUDA , Anda akan menghadapi beberapa kendala, karena Metal (API Apple) bukanlah pengganti yang sempurna, meskipun kesenjangan tersebut telah menyempit secara signifikan untuk inferensi.
Penulis yang bersemangat tentang dunia byte dan teknologi secara umum. Saya suka berbagi ilmu melalui tulisan, dan itulah yang akan saya lakukan di blog ini, menunjukkan kepada Anda semua hal paling menarik tentang gadget, perangkat lunak, perangkat keras, tren teknologi, dan banyak lagi. Tujuan saya adalah membantu Anda menavigasi dunia digital dengan cara yang sederhana dan menghibur.