Apa itu LiteLLM, bagaimana cara kerjanya, dan untuk apa digunakan dalam proyek AI?

Ketika sebuah perusahaan mulai bereksperimen dengan kecerdasan buatan generatif, mereka dengan cepat menemui hambatan: Terdapat puluhan model, masing-masing dengan API, parameter, dan keunikan tersendiri.OpenAI di satu sisi, Anthropic di sisi lain, Google dengan pendekatannya sendiri, penyedia lokal, model sumber terbuka… dan setiap perubahan membutuhkan penulisan ulang kode, pengelolaan kredensial yang berbeda, dan penanganan format respons yang tidak kompatibel. Pada akhirnya, waktu terbuang untuk "infrastruktur" teknis alih-alih menciptakan produk yang bermanfaat.

Dalam konteks itu, LiteLLM tampak sebagai semacam "Batu Rosetta" untuk LLM. LiteLLM adalah lapisan abstraksi dan gerbang yang memungkinkan Anda berkomunikasi dengan lebih dari seratus model AI menggunakan, pada dasarnya, bahasa yang sama: API OpenAI.Tidak masalah apakah aplikasi Anda menggunakan GPT-4o, Claude 3.5, Gemini, model Vertex AI, Ollama, atau Hugging Face: aplikasi Anda selalu mengirimkan struktur permintaan yang sama dan selalu menerima jenis respons yang sama, sementara LiteLLM menangani penerjemahan, perutean, pencatatan biaya, dan penegakan kebijakan keamanan.

Sebenarnya apa itu LiteLLM?

LiteLLM adalah proyek sumber terbuka yang menyatukan akses ke lebih dari 100 model bahasa dan model multimodal.LiteLLM membungkus API dari berbagai penyedia dalam antarmuka yang kompatibel dengan OpenAI. Secara konseptual, ia bertindak sebagai perantara antara kode Anda dan ekosistem LLM, sehingga Anda berpikir dalam hal "model logis" (alias) dan LiteLLM menangani komunikasi dengan model sebenarnya di sisi lain.

Dari sudut pandang praktis, LiteLLM memiliki dua bagian yang berbeda namun saling melengkapi: SDK Python yang ringan dan server proxy (LLM Gateway)SDK dirancang untuk pengembang yang ingin dengan cepat mengintegrasikan beberapa LLM ke dalam kode mereka tanpa perlu menyiapkan layanan tambahan. Sementara itu, proxy ditujukan untuk tim, MLOps, dan organisasi yang membutuhkan kontrol biaya terpusat, keamanan, observabilitas, dan ketersediaan tinggi.

Berkat arsitektur ini, Anda dapat menulis kode integrasi sekali dan menggunakannya kembali dengan penyedia mana pun.Jika hari ini Anda menggunakan GPT-4 dan besok Anda ingin mencoba Claude 3.5 atau model lokal di Ollama, biasanya Anda hanya perlu mengubah nilai parameternya. model atau alias yang Anda definisikan di pengaturan proxy, tanpa mengubah hal lainnya.

Poin penting lainnya adalah bahwa LiteLLM Hal ini menstandarisasi tidak hanya panggilan, tetapi juga format respons.Hasil keluaran model secara konsisten ditampilkan di bawah struktur tipe berikut: response['choices'][0]['message']['content']Hal ini sangat menyederhanakan pekerjaan dengan kerangka kerja seperti LangChain atau LlamaIndex, atau dengan backend apa pun yang mengharapkan struktur OpenAI yang umum.

Mengapa lapisan seperti LiteLLM dibutuhkan dalam ekosistem LLM?

Dunia model bahasa sedang berkembang pesat: OpenAI, Anthropic, Google, Meta, penyedia layanan cloud seperti Azure atau Bedrock, dan platform seperti Hugging Face atau Ollama Mereka terus menerbitkan dan memperbarui model-modelnya. Masing-masing memiliki API, batasan penggunaan, format token, dan nuansa autentikasi yang berbeda, belum lagi penagihan dan manajemen kredensial.

Keragaman itu merupakan sebuah keuntungan karena Ini memungkinkan Anda untuk memilih model optimal untuk setiap kasus penggunaan: teks kreatif, penalaran, kode, visi, suara, video, dll.Namun, hal ini juga menciptakan kompleksitas yang sangat besar: jika perusahaan Anda benar-benar ingin menjadi multi-LLM, Anda akhirnya mereplikasi logika integrasi, penyimpanan kunci, manajemen kuota, dan metrik di setiap layanan. Selain itu, risiko ketergantungan pada vendor meningkat jika kode Anda terikat erat pada API tertentu.

LiteLLM mengatasi masalah itu secara langsung dengan menciptakan Lapisan akses LLM standar yang dapat diterapkan baik secara lokal maupun di cloud.Secara internal, proyek ini mendukung:

• Model bisnis seperti GPT-4o dan keluarganya, Claude 3.5, Gemini, model Vertex AI, AWS Bedrock, Azure OpenAI, dll.
• Model sumber terbuka dan lokal melalui integrasi dengan Ollama, Hugging Face, dan server inferensi seperti vLLM.
• Model multimoda (teks, gambar, dan dalam beberapa kasus video) melalui penyedia khusus seperti RunwayML atau Fal.ai.

Dengan mempertaruhkan hal ini, LiteLLM bertindak sebagai "pusat" utama tempat alias model, kebijakan penggunaan, rute cadangan, dan strategi perutean didefinisikan.Bagi tim, itu berarti mereka dapat bereksperimen dengan model baru atau mengganti pemasok tanpa mengganggu pelanggan yang sudah dalam tahap produksi.

Komponen utama: Python SDK dan Server Proksi

SDK LiteLLM dalam Python adalah cara paling langsung untuk memulai.Anda menginstalnya dengan pip, mengkonfigurasi kunci API melalui variabel lingkungan, dan memanggilnya. litellm.completion(...) atau fungsi yang setara, sama seperti yang Anda lakukan dengan OpenAI SDK. Perbedaannya adalah di sini Anda dapat meneruskan sebagai model pengidentifikasi apa pun yang didukung, misalnya:

model="gpt-4o" untuk OpenAI atau model="anthropic/claude-3-5-sonnet-20240620" untuk Anthropic, menggunakan fungsi dan format pesan yang sama.

Opsi ini ideal ketika Anda sedang membuat prototipe, melakukan pengujian individual, atau menyusun proyek-proyek kecil. di mana Anda tidak memerlukan gateway khusus. Mengubah model hampir selalu bermuara pada memodifikasi serangkaian teks.

Pilar besar lainnya adalah Server Proksi LiteLLM, juga disebut Gerbang LLMDi sini kita berbicara tentang layanan terpusat (biasanya diimplementasikan pada Docker atau Kubernetes) yang dilalui oleh semua permintaan LLM dari organisasi Anda. Dari sana, hal-hal berikut dikelola:

• Alias ​​model didefinisikan dalam config.yaml, yang mengarah ke pemasok dan model tertentu.
• Kunci API virtual untuk peralatan atau aplikasi, masing-masing dengan anggaran, batasan penggunaan, dan izinnya sendiri.
• Aturan perutean lanjutandengan mekanisme fallback antar model, penyeimbangan beban, dan pemilihan berdasarkan biaya atau latensi.
• Pencatatan log dan pengamatan terpusattermasuk latensi, kesalahan, petunjuk, dan respons (dengan opsi anonimisasi).

Di banyak perusahaan, proksi menjadi titik masuk wajib untuk semua layanan yang ingin menggunakan LLM, sesuatu yang sangat mirip dengan API Gateway tradisional tetapi khusus dalam AI generatif.

Memulai dengan LiteLLM: instalasi, Docker, dan pendaftaran model

Jika Anda ingin melakukan sedikit perubahan pada proxy LiteLLM, cara paling mudah adalah... Kloning repositori resmi dan jalankan kontainer dengan Docker Compose.Alur tipikalnya akan seperti ini (dengan menyederhanakan perintah):

• Kloning repositori GitHub.
• Buat file .env dengan dua kunci penting: KUNCI_UTAMA_LITELLM (untuk mengakses panel dan mengelola model) dan KUNCI GARAM KECIL (untuk mengenkripsi kredensial pemasok).
• Bangun infrastruktur dengan docker-compose up.

Setelah dihidupkan, Anda biasanya mengakses http://localhost:4000 dan Anda masuk dengan pengguna administrator. (yang dapat Anda ubah) dan kunci utama yang ditentukan dalam lingkungan tersebut. Dari antarmuka web tersebut, dimungkinkan untuk mendaftarkan model baru, meninjau penggunaan, membuat kunci virtual, dan lain sebagainya.

Mendaftarkan model baru relatif mudah: Di panel, buka “Model >> Tambah model” dan pilih penyedia.Kemudian Anda memasukkan kunci API yang sesuai, menentukan alias internal yang akan dimiliki model ini (misalnya, Llama3.2-90B-UltrafastDan, jika Anda mau, Anda dapat menyesuaikan parameter seperti biaya per token atau jumlah maksimum token masuk dan keluar. Abstraksi nama ini memungkinkan Anda menggunakan alias yang lebih ramah pengguna daripada pengidentifikasi panjang dari penyedia.

Dalam praktiknya, banyak orang memanfaatkan hal ini untuk menampilkan model-model berkinerja tinggi seperti yang dari Groqyang menonjol karena latensi inferensi yang sangat rendah berkat LPU perangkat kerasnya. Di panel, Anda dapat mendaftarkan model Groq dengan nama aslinya (misalnya, llama-3.2-90b-text-preview) dan, dari luar, sebut saja apa pun yang Anda inginkan tanpa memengaruhi logika aplikasi Anda.

Metode penyebaran lain yang sangat umum adalah dengan menggunakan secara langsung. citra LiteLLM dalam kontainer Docker di sebelah a config.yamltanpa perlu mengkloning seluruh repositori. Di dalam YAML tersebut Anda mendefinisikan sebuah model_list Dengan setiap alias dan parameter koneksi (model sebenarnya, API dasar, kunci, dll.), Anda memasang file sebagai volume ke dalam kontainer dan mengekspos port 4000 ke jaringan internal Anda.

Cara membuat permintaan ke LiteLLM (menggunakan SDK-nya sendiri, OpenAI SDK, dan cURL)

Setelah proxy berfungsi, hal termudah yang dapat dilakukan adalah... perlakukan seolah-olah itu adalah titik akhir OpenAI.Ini berarti bahwa SDK atau klien apa pun yang kompatibel dengan API OpenAI dapat diarahkan ke sana. base_url dari LiteLLM Anda dan manfaatkan alias model yang telah Anda konfigurasi.

Jika Anda menggunakan LiteLLM SDK di Python, Rekomendasinya adalah untuk secara eksplisit menyebutkan pemasok dan modelnya. dalam parameter modelmengikuti pola "proveedor/nombre_modelo". Sebagai contoh:

model="groq/Llama3.2-90B-Ultrafast"

Bagian selanjutnya dari pengumuman tersebut serupa dengan OpenAI: Anda mengiriminya daftar pesan beserta informasinya. role (pengguna, sistem, asisten) dan kontennya, Anda dapat mengaktifkan stream=True untuk menerima teks dalam potongan-potongan dan memproses setiap potongan dalam sebuah perulangan. SDK mengekspos delta dalam struktur seperti ini: chunk['choices'][0]['delta']['content'].

Jika Anda lebih suka menggunakan SDK OpenAI resmi, caranya bahkan lebih sederhana: Anda mengkonfigurasi klien dengan base_url="http://tu-litellm" dan kunci API “virtual” (yang bisa berupa string apa pun jika Anda telah mendefinisikannya seperti itu di proxy), dan Anda memanggilnya client.chat.completions.create Seperti biasa. Dalam skenario ini, satu-satunya hal yang berubah adalah nilai dari model, yang akan menjadi alias yang Anda definisikan di LiteLLM, tanpa perlu menyertakan penyedia.

Terakhir, Anda selalu memiliki pilihan untuk langsung menarik cURL ke titik akhir /v1/chat/completions dari gateway Anda. Dalam hal ini, Anda mengirimkan objek JSON yang berisi model, daftar pesan, dan flag streaming jika diperlukan, dan LiteLLM akan merespons seperti API OpenAI resmi. Pendekatan ini sangat bagus untuk pengujian terminal cepat, skrip dalam bahasa lain, atau debugging.

Fitur-fitur canggih: perutean, mekanisme cadangan, biaya, dan kemampuan pengamatan.

LiteLLM bukan sekadar "bungkus cantik" untuk menghindari mempelajari 20 SDK; Dirancang untuk produksi dan mencakup seluruh siklus hidup integrasi dengan LLM.Beberapa kemampuan utama:

Perutean tingkat lanjut dan toleransi kesalahanAnda dapat menentukan rantai model cadangan: jika model utama gagal, melebihi kuota, atau kehabisan kapasitas, LiteLLM secara otomatis mencoba lagi dengan model berikutnya dalam daftar. Selain itu, ia mendukung berbagai strategi penyeimbangan beban (berdasarkan biaya, latensi, atau bobot) untuk mendistribusikan beban ke beberapa penerapan model yang sama atau model yang setara.

Pelacakan biaya dan anggaranServer Proxy menawarkan Pelacakan pengeluaran secara real-time berdasarkan pemasok, kunci virtual, pengguna, atau tim.Ini memungkinkan Anda untuk menetapkan batasan bulanan atau harian: jika sebuah tim melebihi anggarannya, permintaan dapat diblokir atau diturunkan ke paket yang lebih murah. Bagi seorang manajer produk atau CTO, ini adalah alat yang sangat berguna untuk menghindari kejutan pada tagihan AI.

Observabilitas terpusatLiteLLM Sistem ini mencatat input, output, latensi, dan kesalahan di satu titik.Hal ini mempermudah proses debugging dan pemantauan kualitas. Terdapat integrasi siap pakai dengan berbagai alat seperti Langfuse, Helicone, Datadog, dan OpenTelemetry, serta sistem pencatatan log tradisional. Di lingkungan yang teregulasi, Anda dapat mengkonfigurasi bagaimana dan seberapa banyak yang akan dicatat, dan bahkan menganonimkan sebagian dari prompt.

Dukungan multimodalMeskipun fokus awalnya adalah pada model teks, LiteLLM telah memperluas kapasitasnya untuk menangani gambar dan video. melalui penyedia layanan tertentu. Semua ini dilakukan sambil mempertahankan filosofi "antarmuka yang sama, model yang berbeda", yang memudahkan untuk bereksperimen dengan pembuatan gambar, video, atau alur kerja campuran tanpa perlu mendesain ulang integrasi.

Manajemen tim dan keselamatanMelalui panel proksi, Anda dapat Menerbitkan kunci API virtual dengan izin dan anggaran tertentu.Ini berarti pengguna akhir tidak pernah melihat kunci sebenarnya dari OpenAI, Anthropic, dll., melainkan "token" internal yang dipetakan LiteLLM ke kredensial utama. Anda juga dapat membatasi model mana yang dapat digunakan setiap tim, mengkonfigurasi kuota per proyek, atau mensyaratkan header tertentu untuk keperluan audit.

Keamanan, manajemen kunci, dan konteks serangan dalam rantai pasokan

Di tengah booming AI, Keamanan telah menjadi faktor penting, terutama terkait pengelolaan kunci dan ketergantungan pihak ketiga.Ekosistem Python, khususnya, telah mengalami beberapa serangan rantai pasokan pada PyPI dalam beberapa tahun terakhir, dengan paket-paket berbahaya mencuri token, mengeksfiltrasi data, atau memodifikasi pipeline CI/CD.

Kampanye seperti GlassWorm/ForceMemo, di mana repositori GitHub diretas untuk mencuri kredensial....atau insiden seperti pelanggaran Ultralytics, yang memengaruhi paket perangkat lunak penglihatan komputer yang banyak digunakan. Serangan typo-squatting (misalnya, paket dengan nama yang hampir identik dengan "colorama") yang menyisipkan pintu belakang ke lingkungan produksi juga marak terjadi.

Dalam kasus khusus LiteLLM, Sampai saat ini, belum ada bukti yang terkonfirmasi bahwa paket tersebut diretas melalui serangan rantai pasokan.Beberapa masalah di GitHub menunjukkan adanya masalah dengan konsumsi memori atau lonjakan CPU, tetapi belum ada kerentanan yang dapat dieksploitasi atau kebocoran data yang terkait dengan proyek tersebut yang dilaporkan. Meskipun demikian, dalam lingkungan yang dinamis seperti ini, dapat dimengerti bahwa tim keamanan berada dalam keadaan siaga tinggi.

Bagi para pendiri, CTO, dan manajer platform, mengambil tindakan pencegahan ekstra adalah hal yang masuk akal: Verifikasi asal dan reputasi paket, gunakan alat penandatanganan dan verifikasi (seperti Sigstore), dan pantau perilaku anomali pada server dan kontainer.Jika ada kecurigaan, rotasi kredensial yang agresif dan audit akses dalam pipeline dan deployment adalah langkah yang tepat, baik itu dependensi yang mencurigakan berupa LiteLLM atau paket kunci lainnya.

Konfigurasi teknis, prasyarat, dan penerapan dengan Docker Compose

Agar LiteLLM dapat berfungsi stabil dalam lingkungan yang serius, Ada sejumlah persyaratan dasar yang harus didefinisikan dengan baik.Pertama, Anda memerlukan versi Python yang kompatibel (jika Anda akan menggunakan SDK atau skrip admin), dan pengelola paket seperti pip dan editor yang layak (VS Code, PyCharm, atau yang serupa) untuk mengembangkan integrasi Anda.

Selain itu, Anda harus memiliki akun dengan penyedia LLM yang akan Anda ajak bekerja sama. (OpenAI, Anthropic, Google Cloud, AWS, Hugging Face, dll.) dan kunci API yang sesuai. Biasanya, ini dimuat sebagai variabel lingkungan atau melalui pengelola rahasia (Vault, AWS Secrets Manager, GCP Secret Manager, dll.), dan kemudian LiteLLM menggunakannya secara aman.

Mengenai konfigurasi, Terdapat dua blok penting: variabel lingkungan LiteLLM dan file konfigurasi proxy.Di antara yang pertama, berikut ini yang paling menonjol:

• KUNCI_UTAMA_LITELLM: kunci utama untuk mengakses panel administrasi.
• KUNCI GARAM KECIL: kata kunci yang digunakan untuk mengenkripsi dan mendekripsi kredensial penyedia.
• Kunci API pemasok (misalnya, OPENAI_API_KEY, ANTHROPIC_API_KEY, Dll).

Setelah berkas config.yaml Tentukan model mana yang diekspos melalui proxy dan di bawah alias mana.Setiap entri dalam model_list biasanya mencakup model_name yang akan dilihat oleh aplikasi Anda, model penyedia sebenarnya, referensi ke kunci API (sering dideklarasikan sebagai os.environ/NOMBRE_VARIABLE) dan penyesuaian seperti detail atau parameter spesifik model.

Docker Compose sangat praktis untuk Mengatur instance LiteLLM beserta dependensi seperti Redis (untuk caching), basis data, atau alat observabilitas.Setiap layanan berjalan dalam kontainernya sendiri, memberikan isolasi, reproduksibilitas, dan penskalaan horizontal yang mudah seiring pertumbuhan lalu lintas. Dengan satu file YAML, Anda dapat menentukan bagaimana semua komponen terhubung dan menerapkan seluruh tumpukan di lingkungan pengembangan, staging, dan produksi dengan perintah yang hampir sama.

LiteLLM vs. Gerbang LLM Lainnya

Di pasar yang bergerak begitu cepat, LiteLLM bersaing dengan (dan sekaligus melengkapi) solusi seperti OpenRouter, Portkey, atau Kong AI Gateway.Semua solusi tersebut menangani masalah mendasar yang sama: memusatkan dan menstandarisasi akses ke berbagai model, tetapi dengan perbedaan signifikan dalam pendekatan dan penerapannya.

LiteLLM menonjol karena Sepenuhnya open source, dapat dihosting sendiri, dan tanpa biaya token.Anda mengelola infrastruktur (baik itu server sederhana atau klaster Kubernetes) dan hanya membayar tagihan LLM dan penyedia hosting. Hal ini menjadikannya sangat menarik bagi perusahaan yang menginginkan kendali maksimal atas data dan kepatuhan terhadap peraturan, atau yang menangani informasi sensitif yang tidak dapat keluar dari jaringan mereka.

OpenRouter, di sisi lain, Fungsi utamanya adalah sebagai SaaS terpadu yang mengekspos ratusan model melalui satu API yang dikelola oleh mereka.Ini sangat praktis karena Anda tidak perlu melakukan deployment apa pun, tetapi itu berarti Anda harus melepaskan sebagian kendali atas aliran data dan membayar biaya tambahan kecil di atas biaya token. Ini mungkin masuk akal jika Anda memprioritaskan kemudahan daripada kendali.

Portkey dan Kong AI Gateway diposisikan lebih sebagai platform pengamatan, keamanan, dan tata kelola tingkat lanjutDengan fitur-fitur yang sangat mumpuni untuk dunia perusahaan, LiteLLM cenderung lebih menarik ketika open source dan fleksibilitas menjadi prioritas, sementara keunggulan lainnya mungkin lebih menarik jika Anda sudah memiliki tumpukan gateway API dan alat observabilitas yang mapan.

Singkatnya, LiteLLM sangat cocok untuk tim yang menginginkan gerbang AI yang dapat mereka audit, modifikasi, dan terapkan di mana pun mereka membutuhkannya.tanpa sepenuhnya bergantung pada pihak ketiga. Dan jika sewaktu-waktu Anda perlu mengintegrasikannya dengan gateway atau framework lain seperti LangChain atau LlamaIndex, fakta bahwa ia meniru API OpenAI membuat segalanya jauh lebih mudah.

Implikasi praktis bagi pengembang, produk, dan MLOps

Mengadopsi LiteLLM bukan hanya perubahan teknis, tetapi juga... Hal ini berdampak pada cara tim berpikir dan bekerja dengan AI.Bagi para pengembang, manfaat yang paling jelas adalah penghematan waktu: alih-alih mempelajari tiga atau empat SDK yang berbeda, mereka hanya perlu mengelola satu SDK dan fokus pada logika bisnis. Lebih sedikit "perekat" dan lebih banyak fungsionalitas nyata.

Untuk profil kepemimpinan produk atau teknis, Nilainya terletak pada visibilitas dan pengendalian biaya.Dengan adanya satu titik acuan untuk melihat model mana yang digunakan, berapa biayanya, tim mana yang paling banyak mengonsumsi token, dan dampak apa yang ditimbulkan oleh perubahan dari model yang mahal ke model yang lebih murah, akan memberikan ruang gerak yang lebih luas dalam memprioritaskan inisiatif dan menyesuaikan anggaran.

Di bidang MLOps dan platform AI, LiteLLM dapat menjadi inti dari strategi multi-LLMDari situ, kebijakan penggunaan ditetapkan, alat observabilitas diintegrasikan, alur cadangan diatur, dan layanan umum disediakan untuk seluruh organisasi (“AI sebagai layanan internal”). Hal ini juga menyiratkan tanggung jawab baru: mengelola infrastruktur secara tangguh, mengotomatiskan penyebaran, memantau kinerja dan latensi, serta mengikuti perkembangan proyek secara cermat di GitHub.

Semua ini terjadi secara paralel dengan tren yang mendasarinya: Industri ini bergeser dari pemikiran tentang "model apa yang akan digunakan" menjadi "aplikasi apa yang akan dibangun dan kombinasi model apa yang paling memungkinkan saya untuk melakukannya."LiteLLM, dengan mengurangi hambatan dalam pengujian dan penggabungan model, berada pada posisi yang tepat untuk masa depan aplikasi yang didorong oleh berbagai LLM dan SLM khusus yang berkolaborasi satu sama lain.

Berdasarkan semua hal di atas, mudah untuk memahami mengapa LiteLLM telah menjadi pemain yang begitu menonjol dalam ekosistem AI: Hal ini secara nyata mengurangi kompleksitas dalam bekerja dengan banyak model, meningkatkan pengendalian biaya dan keamanan, serta membuka pintu bagi perusahaan dari berbagai ukuran untuk serius mengejar pendekatan multi-LLM tanpa terjebak dalam detail implementasi.Jika tantangan Anda saat ini adalah untuk menjinakkan kekacauan API AI yang tersebar di seluruh tumpukan teknologi Anda, menempatkan lapisan LiteLLM di tengah seringkali merupakan salah satu langkah yang paling menguntungkan.