Model Keputusan AI: Perbedaannya dengan LLM

Model keputusan belakangan ini menarik perhatian sebagai pendekatan AI yang berbeda. Salah satu yang paling banyak dibicarakan adalah Jev dari TypeSafe AI. Jev menghasilkan pilihan terstruktur, skor, dan estimasi keyakinan, bukan teks.

Meskipun model AI tradisional telah membuat prediksi dan klasifikasi selama bertahun-tahun, Jev berfokus pada pembuatan keputusan terstruktur yang dapat langsung digunakan oleh perangkat lunak. Pendekatan ini menawarkan cara lain untuk membangun aplikasi AI, terutama ketika sistem perlu mengevaluasi informasi dan memilih apa yang terjadi selanjutnya.

Bagaimana cara kerja Jev?

Dengan LLM tradisional, Anda mengirim prompt dan menerima teks yang dihasilkan. Bahkan saat Anda meminta JSON, aplikasi harus menangani respons dan memvalidasi isinya sebelum menggunakannya.

Jev bekerja secara berbeda. Anda memberikan konteks, menentukan pertanyaan yang ingin dijawab, dan menetapkan jenis jawaban yang diharapkan. Jev mengembalikan hasil terstruktur yang dapat langsung diproses oleh aplikasi Anda.

Jev mendukung tiga jenis pertanyaan utama:

• Pilihan: Memilih opsi dari daftar yang Anda tentukan, seperti penagihan, dukungan teknis, atau penjualan.
• Skor: Menilai sesuatu berdasarkan skala berurutan, seperti prioritas rendah, sedang, atau tinggi.
• Ya atau tidak: Memperkirakan probabilitas bahwa suatu pernyataan benar, seperti apakah tiket dukungan memerlukan perhatian manusia.

Anda dapat mengajukan beberapa pertanyaan tentang input yang sama dalam satu permintaan. Misalnya, aplikasi dukungan dapat mengklasifikasikan tiket, menilai urgensinya, dan memperkirakan apakah manusia perlu meninjaunya. Jev mengembalikan hasilnya dalam format terstruktur sehingga aplikasi dapat memutuskan langkah selanjutnya.

Model keputusan vs. LLM

LLM dan model keputusan memiliki tujuan yang berbeda. LLM dapat menjelaskan keputusan, menghasilkan konten, menulis kode, atau menalar melalui tugas yang kompleks. Jev dirancang untuk keputusan terfokus dengan output yang telah ditentukan.

Perbedaannya bukan berarti LLM tidak dapat membuat keputusan. LLM juga dapat mengklasifikasikan informasi dan mengembalikan data terstruktur. Jev dibangun secara khusus untuk tugas tersebut, tanpa menghasilkan respons bebas yang harus ditafsirkan oleh aplikasi.

Hal ini dapat membuatnya berguna untuk keputusan yang berulang dan terdefinisi dengan baik. Untuk tugas yang memerlukan penjelasan terperinci, output kreatif, atau penalaran multi-langkah yang kompleks, LLM tetap menjadi alat yang lebih sesuai.

Apa itu skor keyakinan?

Salah satu fitur utama Jev adalah outputnya mencakup probabilitas dan informasi keyakinan. Nilai-nilai ini membantu pengembang menilai seberapa kuat model mendukung suatu jawaban.

Misalnya, aplikasi dukungan pelanggan dapat menanyakan apakah sebuah tiket perlu dieskalasi. Jika model menunjukkan probabilitas tinggi bahwa eskalasi diperlukan, aplikasi dapat mengirim tiket tersebut ke tim dukungan senior. Jika hasilnya tidak pasti, tiket dapat dikirim untuk ditinjau manusia.

Namun, keyakinan tidak menjamin kebenaran. Model bisa sangat yakin tetapi tetap membuat keputusan yang salah. Pengembang harus menguji hasilnya terhadap contoh nyata dan memilih ambang batas yang sesuai dengan konsekuensi dari setiap keputusan.

Penting juga untuk membedakan probabilitas suatu jawaban dari skor keyakinan yang terpisah. Makna pastinya bergantung pada jenis output. Aplikasi harus mengikuti dokumentasi model daripada memperlakukan setiap angka yang dikembalikan sebagai pengukuran yang sama.

Di mana model keputusan dapat berguna?

Klasifikasi dan perutean

Banyak aplikasi perlu menyortir informasi masuk sebelum memprosesnya. Platform dukungan dapat mengklasifikasikan permintaan berdasarkan topik dan mengirimkannya ke tim yang tepat. Aplikasi bisnis dapat mengategorikan dokumen, email, atau umpan balik pelanggan.

Jev dapat mengembalikan kategori dari daftar yang telah ditentukan, sehingga aplikasi dapat merutekan item tanpa mengurai paragraf yang dihasilkan.

Penilaian dan evaluasi

Model keputusan juga dapat mengevaluasi informasi berdasarkan skala yang ditentukan. Misalnya, aplikasi dapat menilai tiket dukungan berdasarkan urgensi, memberi skor dokumen untuk relevansi, atau menilai apakah respons memenuhi kriteria tertentu.

Hasilnya dapat digunakan untuk memberi peringkat item, memprioritaskan pekerjaan, atau mengidentifikasi kasus yang memerlukan tinjauan lebih lanjut. Kualitas keputusan ini tetap bergantung pada model dan seberapa baik kriteria menggambarkan tugas tersebut.

Agen AI dan pemilihan alat

Agen AI menggunakan model untuk memutuskan tindakan yang akan diambil. Agen dapat memilih alat, mengklasifikasikan permintaan, atau menentukan apakah tugas memerlukan informasi tambahan.

LLM serbaguna dapat membuat keputusan ini sebagai bagian dari penalarannya. Model keputusan dapat menangani pilihan yang lebih sempit sebelum agen bertindak.

Misalnya, alur kerja khusus yang menggunakan Hermes Agent dapat memanfaatkan Jev untuk mengklasifikasikan tugas masuk sebelum meneruskannya ke agen. Ini juga dapat membantu menentukan alur kerja mana yang harus menangani permintaan. Hal ini memerlukan integrasi khusus daripada mengandalkan dukungan bawaan yang diasumsikan.

Model keputusan tidak boleh dianggap sebagai kontrol keamanan tersendiri. Jika agen dapat menjalankan perintah atau mengubah file, izin dan aturan deterministik harus menegakkan tindakan mana yang diizinkan. Klasifikasi model dapat menginformasikan proses tersebut, tetapi tidak boleh menggantikannya.

Alternatif untuk Jev

Jev adalah bagian dari jenis model yang lebih luas yang dirancang untuk menghasilkan keputusan terstruktur. OpenJev dan Laya adalah dua proyek lain yang layak dieksplorasi saat membandingkan pendekatan.

OpenJev

OpenJev adalah proyek terbuka yang terkait dengan pendekatan Jev. Proyek ini layak diteliti jika Anda ingin mengeksplorasi implementasi di luar layanan terhosting. Sebelum menggunakannya, periksa ketersediaannya saat ini, persyaratan perangkat keras, fitur yang didukung, dan lisensinya.

Laya

Laya adalah model keputusan sumber terbuka dari Convai Innovations. Model ini berfokus pada tugas seperti memilih dari opsi yang telah ditentukan, menilai informasi, dan menjawab pertanyaan ya-atau-tidak. Model ini mungkin relevan jika Anda ingin mengevaluasi model yang dapat dijalankan di lingkungan Anda sendiri.

Proyek-proyek ini harus dibandingkan berdasarkan kinerja aktual, bukan hanya kemampuan yang dinyatakan. Gunakan data pengujian yang sama dan ukur akurasi, latensi, kebutuhan sumber daya, dan seberapa baik estimasi keyakinannya sesuai dengan hasil nyata.

Bisakah Anda menjalankan model keputusan secara lokal?

Menjalankan model secara lokal memberi Anda kendali lebih besar atas lingkungan perangkat lunak dan tempat data diproses. Namun, opsi penerapan yang tersedia berbeda-beda menurut proyek. Jev ditawarkan melalui API, sementara alternatif sumber terbuka mungkin menyediakan opsi untuk menjalankan inferensi pada perangkat keras Anda sendiri.

Persyaratan perangkat keras bergantung pada ukuran model, penggunaan memori, dan throughput. Beberapa model dapat berjalan pada CPU, sementara yang lain mendapat manfaat dari GPU, terutama saat memproses banyak permintaan.

Jika Anda ingin bereksperimen dengan model AI lokal, DaDesktop menyediakan desktop cloud dengan opsi GPU khusus. Anda dapat menggunakannya untuk pengembangan dan pengujian tanpa membeli GPU kelas atas untuk komputer lokal Anda.

Pelajari lebih lanjut tentang menjalankan LLM lokal atau jelajahi lingkungan agen AI.

Kapan sebaiknya Anda menggunakan model keputusan?

Model keputusan berguna ketika aplikasi memerlukan jawaban yang telah ditentukan yang dapat memicu langkah berikutnya yang spesifik. Model ini dapat melengkapi LLM dengan menangani klasifikasi, penilaian, dan perutean sementara model generatif menangani bahasa dan penalaran yang lebih kompleks.

Pilihan terbaik bergantung pada aplikasi Anda. Uji model terhadap data Anda sendiri, bandingkan dengan pengklasifikasi konvensional dan LLM, serta ukur akurasi, latensi, dan biaya. Untuk keputusan penting, sertakan tinjauan manusia dan pengaman jika diperlukan.

Ingin membicarakan kasus penggunaan Anda? Hubungi kami dan kami akan mengarahkan Anda ke jalur yang tepat.