Nvidia, yang selalu ingin memberikan insentif untuk pembelian GPU terbarunya, merilis alat yang memungkinkan pemilik kartu GeForce RTX 30 Series dan 40 Series menjalankan chatbot bertenaga AI secara offline di PC Windows.
Disebut Obrolan dengan RTX, alat ini memungkinkan pengguna untuk menyesuaikan model GenAI sesuai dengan ChatGPT OpenAI dengan menghubungkannya ke dokumen, file, dan catatan yang kemudian dapat dikueri.
“Daripada mencari melalui catatan atau konten yang disimpan, pengguna cukup mengetikkan pertanyaan,” tulis Nvidia dalam postingan blog. “Misalnya, seseorang dapat bertanya, 'Restoran apa yang direkomendasikan pasangan saya saat berada di Las Vegas?' dan Obrolan dengan RTX akan memindai file lokal yang ditunjuk oleh pengguna dan memberikan jawaban sesuai konteks.”
Mengobrol dengan RTX default untuk model sumber terbuka startup AI Mistral tetapi mendukung model berbasis teks lainnya termasuk Meta's Llama 2. Nvidia memperingatkan bahwa mengunduh semua file yang diperlukan akan memakan cukup banyak penyimpanan — 50GB hingga 100GB, tergantung pada modelnya ) terpilih.
Saat ini, Obrolan dengan RTX berfungsi dengan format teks, PDF, .doc, .docx, dan .xml. Mengarahkan aplikasi ke folder yang berisi file apa pun yang didukung akan memuat file tersebut ke dalam kumpulan data penyempurnaan model. Selain itu, Chat dengan RTX dapat mengambil URL playlist YouTube untuk memuat transkripsi video dalam playlist, memungkinkan model mana pun yang dipilih untuk menanyakan kontennya.
Sekarang, ada batasan tertentu yang perlu diingat, yang dijabarkan oleh Nvidia dalam panduan caranya.
Kredit Gambar: Nvidia
Obrolan dengan RTX tidak dapat mengingat konteks, artinya aplikasi tidak akan mempertimbangkan pertanyaan sebelumnya saat menjawab pertanyaan lanjutan. Misalnya, jika Anda bertanya “Burung apa yang umum di Amerika Utara?” dan tindak lanjuti dengan “Apa warnanya?,” Ngobrol dengan RTX tidak akan mengetahui bahwa Anda sedang membicarakan burung.
Nvidia juga mengakui bahwa relevansi respons aplikasi dapat dipengaruhi oleh berbagai faktor, beberapa faktor lebih mudah dikontrol dibandingkan faktor lainnya — termasuk penyusunan pertanyaan, performa model yang dipilih, dan ukuran kumpulan data yang disempurnakan. Meminta fakta-fakta yang tercakup dalam beberapa dokumen kemungkinan besar akan menghasilkan hasil yang lebih baik
hasil daripada meminta ringkasan dokumen atau kumpulan dokumen. Dan kualitas respons umumnya akan meningkat dengan kumpulan data yang lebih besar — begitu juga dengan mengarahkan Chat dengan RTX ke lebih banyak konten tentang subjek tertentu, kata Nvidia.
Jadi Ngobrol dengan RTX lebih merupakan mainan daripada apa pun yang bisa digunakan dalam produksi. Namun, ada sesuatu yang bisa dikatakan untuk aplikasi yang mempermudah menjalankan model AI secara lokal — yang merupakan tren yang sedang berkembang.
Dalam laporan baru-baru ini, Forum Ekonomi Dunia memperkirakan pertumbuhan “dramatis” pada perangkat terjangkau yang dapat menjalankan model GenAI secara offline, termasuk PC, ponsel pintar, perangkat internet of things, dan peralatan jaringan. Alasannya, kata WEF, adalah manfaat yang jelas: tidak hanya karena model offline secara inheren lebih pribadi – data yang diproses tidak pernah meninggalkan perangkat yang digunakan – namun latensinya lebih rendah dan lebih hemat biaya dibandingkan model yang dihosting di cloud.
Tentu saja, mendemokratisasi alat untuk menjalankan dan melatih model membuka pintu bagi aktor jahat — Google Penelusuran sepintas menghasilkan banyak listingan model yang disesuaikan dengan konten beracun dari sudut web yang tidak bermoral. Namun para pendukung aplikasi seperti Chat dengan RTX berpendapat bahwa manfaatnya lebih besar daripada kerugiannya. Kita harus menunggu dan melihat.
