Apa itu LLM Tanpa Sensor?

LLM tanpa sensor adalah model bahasa berbobot terbuka yang telah dimodifikasi untuk mengurangi sebagian perilaku penolakan yang ditemukan pada asisten AI standar. Model ini memberikan pengguna kendali lebih besar atas perilaku model, sehingga sangat relevan bagi mereka yang menjalankan dan bereksperimen dengan LLM secara lokal.

Apa itu LLM Tanpa Sensor?

Sebagian besar asisten AI modern dilatih untuk mengikuti aturan keamanan dan menolak permintaan tertentu. Perilaku ini dapat berasal dari penyetelan instruksi, pelatihan preferensi, prompt sistem, dan bagian lain dari model atau aplikasi.

LLM tanpa sensor umumnya adalah model yang telah dimodifikasi atau dilatih untuk mengurangi sebagian perilaku penolakan tersebut. Tidak ada definisi teknis tunggal untuk "tanpa sensor". Pembuat model yang berbeda dapat menggunakan metode yang berbeda, dan model yang dihasilkan dapat berperilaku cukup berbeda.

Beberapa model tanpa sensor dibuat melalui fine-tuning tambahan. Model lainnya menggunakan teknik yang memodifikasi perilaku tertentu dalam model yang sudah ada. Istilah ini juga dapat merujuk pada model yang digambarkan sebagai abliterated, meskipun abliterasi adalah teknik spesifik, bukan sinonim untuk setiap model tanpa sensor.

Tanpa Sensor Bukan Berarti Tanpa Batasan

Menghapus atau mengurangi perilaku penolakan tidak membuat model menjadi lebih mampu. Model tanpa sensor tetap dapat menghasilkan informasi yang salah, salah memahami instruksi, atau menolak permintaan tertentu.

• Kemampuan tetap penting: Model yang lebih kecil tidak akan menjadi penalar yang lebih baik hanya karena perilaku penolakannya telah diubah.
• Kualitas bervariasi: Model tanpa sensor dapat berbeda secara signifikan tergantung pada model dasarnya dan cara modifikasinya.
• Perilaku tidak dijamin: Model tanpa sensor mungkin tetap menolak beberapa permintaan atau mengikuti instruksi secara tidak konsisten.
• Perilaku keamanan dapat berubah: Mengurangi penolakan juga dapat menghapus beberapa pengaman yang merupakan bagian dari pelatihan model asli.

Oleh karena itu, lebih bermanfaat untuk menganggap "tanpa sensor" sebagai deskripsi perilaku model, bukan jaminan tentang apa yang dapat dilakukan model.

Tanpa Sensor vs Berbobot Terbuka vs Model Dasar

Istilah-istilah ini sering digunakan bersamaan, tetapi menggambarkan aspek yang berbeda dari sebuah LLM.

Kategori-kategori ini dapat tumpang tindih. Model tanpa sensor dapat berbobot terbuka dan didasarkan pada model yang sudah ada. Model tersebut juga dapat berupa fine-tune atau modifikasi lain dari model tersebut. Label saja tidak menjelaskan secara persis bagaimana model itu dibuat.

Mengapa Menjalankan LLM Tanpa Sensor Secara Lokal?

Menjalankan LLM tanpa sensor secara lokal memberi pengguna kendali lebih besar atas model dan lingkungannya. Alih-alih bergantung pada layanan AI yang dihosting, model berjalan pada perangkat keras yang dikendalikan oleh pengguna.

• Kendali: Anda memilih model, perangkat lunak inferensi, dan konfigurasi.
• Privasi: Prompt dan respons yang dihasilkan dapat tetap berada dalam lingkungan komputasi Anda sendiri.
• Kustomisasi: Model berbobot terbuka dapat dimodifikasi, di-fine-tune, dan dikonfigurasi untuk berbagai beban kerja.
• Penggunaan offline: Model yang dihosting secara lokal tidak perlu mengirim prompt ke layanan AI eksternal.
• Eksperimen: Pengembang dan peneliti dapat membandingkan versi dan modifikasi model yang berbeda.

Inferensi lokal juga memberi Anda kendali atas perangkat keras yang menjalankan model. Hal ini menjadi penting seiring bertambahnya ukuran model.

Perangkat Keras Apa yang Dibutuhkan LLM Tanpa Sensor?

Model tanpa sensor umumnya memiliki persyaratan perangkat keras yang sama dengan model dasar yang menjadi dasarnya. Faktor utamanya adalah ukuran model, kuantisasi, panjang konteks, dan pengaturan inferensi.

Model yang lebih besar membutuhkan lebih banyak memori daripada model yang lebih kecil. Kuantisasi dapat mengurangi memori yang dibutuhkan untuk memuat model, sehingga model yang lebih besar menjadi praktis dijalankan pada GPU dengan VRAM yang lebih sedikit.

VRAM juga digunakan oleh proses inferensi itu sendiri. KV cache dan data runtime lainnya membutuhkan memori tambahan, dan jendela konteks yang lebih panjang dapat meningkatkan jumlah memori yang dibutuhkan.

Ini berarti memilih model hanyalah sebagian dari perencanaan penyiapan LLM lokal. GPU harus memiliki VRAM yang cukup tersedia untuk model dan beban kerja yang ingin Anda jalankan.

Coba di DaDesktop

Jika Anda ingin menjalankan LLM tanpa sensor tanpa membeli dan memasang perangkat keras GPU sendiri, DaDesktop menyediakan desktop cloud dengan sumber daya GPU khusus. Anda dapat menjalankan beban kerja LLM lokal di DaDesktop atau membandingkan opsi GPU yang tersedia berdasarkan model yang ingin Anda jalankan.