finecutfilms.com – Kolaborasi antara tim riset Yandex, Institute of Science and Technology (IST) Austria, Inovasi Kompresi NeuralMagic, dan King Abdullah University of Science and Technology (KAUST) telah menghasilkan dua metode kompresi inovatif untuk large language model (LLM). Metode ini, yang di kenal sebagai Additive Quantization of Language Models (AQLM) dan PV-Tuning, mengusung potensi besar dalam mengoptimalkan model bahasa yang besar. Dengan demikian, pengembangan ini bisa merombak cara kita menggunakan dan mengelola LLM.

Pertama-tama, pengembangan kedua metode ini di klaim mampu mengurangi ukuran model hingga 8 kali lipat tanpa mengorbankan kualitas respons. Lebih lanjut, keterangan yang di terima oleh Kompas.com pada Selasa (23/7/2024) mengungkapkan bahwa kualitas respons model tetap terjaga hingga 95 persen. Dengan kata lain, AQLM dan PV-Tuning tidak hanya memampatkan model tetapi juga memastikan performa tetap optimal.

Metode AQLM: Kuantisasi Aditif untuk Kompresi Ekstrem

Metode pertama, AQLM, memanfaatkan pendekatan kuantisasi aditif untuk melakukan kompresi model bahasa. Secara khusus, pendekatan ini melibatkan pemetaan himpunan besar menjadi himpunan kecil. Karena itu, metode ini secara konvensional di gunakan untuk pengambilan informasi. Namun, AQLM dapat mempertahankan dan bahkan meningkatkan akurasi model meskipun mengalami kompresi ekstrem. Sebagai tambahan, hal ini memungkinkan LLM di gunakan pada perangkat sehari-hari seperti komputer rumah dan smartphone, serta mengurangi penggunaan memori secara signifikan.

Baca Juga : Kualitas Tidur: Sangat Penting Menurut Para Pakar

Selain itu, sistem AQLM menawarkan solusi untuk kompresi model yang berpotensi tinggi dalam pemanfaatannya di berbagai perangkat. Dengan kata lain, perangkat yang sebelumnya tidak dapat menjalankan model besar kini bisa menggunakan LLM berkat teknik ini. Sebagai hasilnya, pengurangan ukuran model dapat mempermudah aksesibilitas teknologi canggih dalam kehidupan sehari-hari.

PV-Tuning: Mengatasi Kesalahan dalam Proses Kompresi Inovasi Kompresi

Di sisi lain, PV-Tuning berfungsi untuk mengatasi kesalahan yang mungkin timbul selama proses kompresi model. Dengan menggunakan metode ini, pengembang dapat memastikan bahwa kualitas model tetap terjaga meskipun model di kompresi secara signifikan. Seiring dengan itu, ketika AQLM dan PV-Tuning di gabungkan, hasil yang optimal di peroleh, memungkinkan model memberikan respons berkualitas tinggi bahkan pada sumber daya penyimpanan yang terbatas.

Lebih lanjut, PV-Tuning memainkan peran penting dalam memastikan bahwa model tetap akurat dan fungsional setelah mengalami kompresi. Karena itu, metode ini sangat penting dalam menjaga kualitas output dari LLM yang telah di perkecil ukurannya.

Evaluasi dan Manfaat Potensial dari Metode Terbaru Inovasi Kompresi

Sementara itu, penilaian atas efektivitas AQLM dan PV-Tuning di lakukan secara ketat. Sebagai contoh, evaluasi di lakukan menggunakan model-model sumber terbuka yang populer seperti Llama 2, Llama 3, dan Mistral. Dalam proses ini, kualitas jawaban model di evaluasi berdasarkan tolok ukur bahasa Inggris, yaitu WikiText2 dan C4. Hasilnya, metode tersebut berhasil mempertahankan kualitas jawaban hingga 95 persen meskipun model di kompresi hingga 8 kali lipat.

Dengan demikian, AQLM dan PV-Tuning menawarkan penghematan sumber daya yang substansial. Misalnya, model Llama 2 dengan 13 miliar parameter yang telah di kompresi dapat berjalan hanya dengan satu GPU, di bandingkan dengan sebelumnya yang memerlukan hingga empat GPU. Oleh karena itu, biaya perangkat keras bisa di kurangi secara signifikan, memungkinkan perusahaan rintisan, peneliti perorangan, dan penggemar LLM untuk menjalankan model tingkat lanjut di komputer mereka sehari-hari.

Aplikasi Baru dan Penggunaan Model Terkompresi Inovasi Kompresi

Di samping itu, metode AQLM dan PV-Tuning memungkinkan penggunaan model pada perangkat dengan sumber daya penyimpanan yang terbatas. Dengan begitu, aplikasi baru seperti smartphone, speaker canggih, dan berbagai perangkat sehari-hari lainnya dapat memanfaatkan teknologi LLM. Karena itu, integrasi LLM canggih dalam perangkat tersebut memungkinkan fitur seperti pembuatan teks dan gambar, bantuan suara, rekomendasi yang di personalisasi, dan terjemahan bahasa secara real-time.

Lebih jauh lagi, model yang di kompresi dengan metode ini dapat beroperasi hingga empat kali lebih cepat karena memerlukan lebih sedikit komputasi. Selain itu, para pengembang dan peneliti di seluruh dunia sudah dapat mengakses AQLM dan PV-Tuning yang tersedia di GitHub. Sebagai tambahan, materi pelatihan yang di sediakan di platform tersebut memberikan panduan untuk mempelajari LLM yang dikompresi secara efektif untuk berbagai aplikasi.

Secara keseluruhan, metode AQLM dan PV-Tuning menandai kemajuan signifikan dalam teknologi kompresi LLM. Di tulis bersama oleh para peneliti dari. IST Austria dan Neural Magic, artikel ilmiah tentang metode ini telah di presentasikan di International. Conference on Machine Learning (ICML), salah satu konferensi pembelajaran mesin paling bergengsi di dunia. Dengan demikian, kontribusi ini memberikan dampak positif bagi pengembangan teknologi LLM di masa depan.