Model AI generatif yang menyeluruh dan sangat dapat digeneralisasikan pernah menjadi hal yang populer, dan bisa dibilang masih demikian. Namun seiring dengan semakin banyaknya vendor cloud, baik besar maupun kecil, yang ikut serta dalam persaingan AI generatif, kita melihat sejumlah model baru yang berfokus pada pelanggan potensial yang berkantong tebal: perusahaan.
Contoh kasus: Snowflake, perusahaan komputasi awan, hari ini meluncurkan Arctic LLM, model AI generatif yang digambarkan sebagai “tingkat perusahaan.” Tersedia di bawah lisensi Apache 2.0, Arctic LLM dioptimalkan untuk “beban kerja perusahaan,” termasuk menghasilkan kode database, kata Snowflake, dan gratis untuk penelitian dan penggunaan komersial.
“Saya pikir ini akan menjadi landasan yang memungkinkan kami – Snowflake – dan pelanggan kami membangun produk tingkat perusahaan dan benar-benar mulai menyadari janji dan nilai AI,” kata CEO Sridhar Ramaswamy dalam konferensi pers. “Anda harus menganggap ini sebagai langkah pertama kami, namun besar, dalam dunia AI generatif, dan masih banyak lagi yang akan datang.”
Model perusahaan
Rekan saya Devin Coldewey baru-baru ini menulis tentang betapa gencarnya serangan model AI generatif yang tidak akan ada habisnya. Saya sarankan Anda membaca tulisannya, namun intinya adalah: Model adalah cara mudah bagi vendor untuk membangkitkan semangat untuk penelitian dan pengembangan mereka dan model juga berfungsi sebagai saluran bagi ekosistem produk mereka (misalnya, hosting model, penyesuaian, dan sebagainya) .
LLM Arktik tidak berbeda. Model andalan Snowflake dalam a keluarga model AI generatif yang disebut ArktikArctic LLM — yang membutuhkan waktu sekitar tiga bulan, 1.000 GPU, dan $2 juta untuk pelatihannya — hadir setelah DBRX dari Databricks, model AI generatif yang juga dipasarkan sebagai model yang dioptimalkan untuk ruang perusahaan.
Snowflake membuat perbandingan langsung antara Arctic LLM dan DBRX dalam materi persnya, mengatakan bahwa Arctic LLM mengungguli DBRX dalam dua tugas pengkodean (Snowflake tidak menentukan bahasa pemrograman mana) dan SQL generasi. Perusahaan mengatakan Arctic LLM juga lebih baik dalam tugas-tugas tersebut dibandingkan Llama 2 70B dari Meta (tetapi bukan Llama 3 70B yang lebih baru) dan Mixtral-8x7B dari Mistral.
Snowflake juga mengklaim bahwa LLM Arktik mencapai “kinerja terdepan” pada tolok ukur pemahaman bahasa umum yang populer, MMLU. Namun, saya akan mencatat bahwa sementara MMLU dimaksudkan untuk mengevaluasi kemampuan model generatif untuk bernalar melalui masalah logika, ini mencakup tes yang dapat diselesaikan melalui hafalan, jadi ambillah poin-poin itu dengan sebutir garam.
“LLM Arktik menjawab kebutuhan spesifik dalam sektor perusahaan,” Baris Gultekin, kepala AI di Snowflake, mengatakan kepada TechCrunch dalam sebuah wawancara, “menyimpang dari aplikasi AI umum seperti menulis puisi untuk fokus pada tantangan berorientasi perusahaan, seperti pengembangan SQL co- pilot dan chatbot berkualitas tinggi.”
LLM Arktik, seperti DBRX dan model generatif Google yang berkinerja terbaik saat ini, Gemini 1.5 Pro, merupakan perpaduan arsitektur pakar (MoE). Arsitektur Kementerian Lingkungan Hidup pada dasarnya memecah tugas pemrosesan data menjadi beberapa subtugas dan kemudian mendelegasikannya ke model “ahli” yang lebih kecil dan terspesialisasi. Jadi, meskipun LLM Arktik berisi 480 miliar parameter, ia hanya mengaktifkan 17 miliar parameter dalam satu waktu — cukup untuk menggerakkan 128 model ahli yang terpisah. (Parameter pada dasarnya menentukan keterampilan model AI dalam suatu masalah, seperti menganalisis dan menghasilkan teks.)
Snowflake mengklaim bahwa desain yang efisien ini memungkinkannya untuk melatih LLM Arktik pada kumpulan data web publik terbuka (termasuk Web Sempurna, C4, Piyama Merah Dan Kode Bintang) dengan harga “kira-kira seperdelapan harga model serupa.”
Berlari kemana-mana
Snowflake menyediakan sumber daya seperti templat pengkodean dan daftar sumber pelatihan bersama Arctic LLM untuk memandu pengguna melalui proses menyiapkan dan menjalankan model serta menyempurnakannya untuk kasus penggunaan tertentu. Namun, menyadari bahwa hal tersebut kemungkinan besar merupakan pekerjaan yang mahal dan rumit bagi sebagian besar pengembang (menyempurnakan atau menjalankan LLM Arktik memerlukan sekitar delapan GPU), Snowflake juga berjanji untuk membuat LLM Arktik tersedia di berbagai host, termasuk Hugging Face, Microsoft Azure , Layanan hosting model AI, dan platform AI generatif perusahaan Lamini.
Namun inilah intinya: Arctic LLM akan tersedia Pertama di Cortex, platform Snowflake untuk membangun aplikasi dan layanan yang didukung AI dan pembelajaran mesin. Tidak mengherankan jika perusahaan ini menjadikannya sebagai cara pilihan untuk menjalankan LLM Arktik dengan “keamanan”, “tata kelola”, dan skalabilitas.
“Impian kami di sini adalah, dalam waktu satu tahun, memiliki API yang dapat digunakan oleh pelanggan kami sehingga pengguna bisnis dapat langsung berkomunikasi dengan data,” kata Ramaswamy. “Itu akan terjadi mudah bagi kami untuk berkata, 'Oh, kami tunggu saja beberapa model open source dan kami akan menggunakannya. Sebaliknya, kami melakukan investasi mendasar karena kami berpikir [it’s] akan memberikan nilai lebih bagi pelanggan kami.”
Jadi saya bertanya-tanya: Untuk siapa sebenarnya LLM Arktik selain pelanggan Snowflake?
Dalam lanskap yang penuh dengan model generatif “terbuka” yang dapat disesuaikan untuk tujuan apa pun, LLM Arktik tidak terlihat menonjol. Arsitekturnya mungkin memberikan peningkatan efisiensi dibandingkan beberapa opsi lain di luar sana. Namun saya tidak yakin bahwa hal ini akan cukup dramatis untuk menjauhkan perusahaan dari banyak model generatif ramah bisnis lainnya yang terkenal dan didukung (misalnya GPT-4).
Ada juga satu hal yang tidak disukai LLM Arktik untuk dipertimbangkan: konteksnya yang relatif kecil.
Dalam AI generatif, jendela konteks mengacu pada data masukan (misalnya teks) yang dipertimbangkan model sebelum menghasilkan keluaran (misalnya lebih banyak teks). Model dengan jendela konteks kecil cenderung melupakan konten percakapan terkini, sedangkan model dengan konteks lebih besar biasanya menghindari kesalahan ini.
Konteks LLM Arktik berkisar antara ~8.000 dan ~24.000 kata, bergantung pada metode penyesuaian — jauh di bawah model seperti Claude 3 Opus dari Anthropic dan Gemini 1.5 Pro dari Google.
Snowflake tidak menyebutkannya dalam pemasaran, namun LLM Arktik hampir pasti memiliki keterbatasan dan kekurangan yang sama dengan model AI generatif lainnya — yaitu, halusinasi (yaitu menjawab permintaan dengan salah dengan percaya diri). Itu karena LLM Arktik, bersama dengan model AI generatif lainnya yang ada, adalah mesin probabilitas statistik — yang, sekali lagi, memiliki jendela konteks kecil. Ia menebak berdasarkan sejumlah besar contoh data mana yang paling “masuk akal” untuk ditempatkan di mana (misalnya kata “pergi” sebelum “pasar” dalam kalimat “Saya pergi ke pasar”). Pasti akan salah menebak – dan itu adalah “halusinasi.”
Seperti yang ditulis Devin dalam artikelnya, hingga terobosan teknis besar berikutnya, peningkatan bertahap adalah hal yang harus kita nantikan dalam domain AI generatif. Namun hal ini tidak akan menghentikan vendor seperti Snowflake untuk memperjuangkannya sebagai pencapaian besar, dan memasarkannya dengan segala manfaatnya.
