OktoAI (sebelumnya dikenal sebagai OctoML), hari ini mengumumkan peluncuran OctoStack, solusi end-to-end barunya untuk menerapkan model AI generatif di private cloud perusahaan, baik itu on-premise atau di virtual private cloud dari salah satu vendor besar , termasuk AWS, Google, Microsoft dan Azure, serta Coreweave, Lambda Labs, Snowflake, dan lainnya.
Pada awalnya, OctoAI berfokus hampir secara eksklusif pada pengoptimalan model agar berjalan lebih efektif. Berdasarkan Apache TVM kerangka kompiler pembelajaran mesin, perusahaan kemudian meluncurkan platform TVM-as-a-Service dan, seiring waktu, memperluasnya menjadi penawaran penyajian model lengkap yang menggabungkan bagian pengoptimalannya dengan platform DevOps. Dengan munculnya AI generatif, tim kemudian meluncurkan platform OctoAI yang dikelola sepenuhnya untuk membantu penggunanya melayani dan menyempurnakan model yang ada. OctoStack, pada intinya, adalah platform OctoAI, tetapi untuk penerapan pribadi.
Kredit Gambar: OktoAI
Saat ini, CEO dan salah satu pendiri OctoAI Luis Ceze memberi tahu saya, perusahaan ini memiliki lebih dari 25.000 pengembang di platformnya dan ratusan pelanggan yang membayar dalam produksi. Banyak dari perusahaan-perusahaan ini, kata Ceze, adalah perusahaan-perusahaan asli GenAI. Namun, pasar perusahaan tradisional yang ingin mengadopsi AI generatif jauh lebih besar, jadi mungkin tidak mengherankan jika OctoAI kini juga mengincar mereka dengan OctoStack.
“Satu hal yang menjadi jelas adalah, ketika pasar perusahaan beralih dari eksperimen ke tahun lalu ke penerapan, satu hal, mereka semua melihat-lihat karena mereka gugup dalam mengirimkan data melalui API,” kata Ceze. “Kedua: banyak dari mereka juga telah melakukan komputasi sendiri, jadi mengapa saya harus membeli API ketika saya sudah memiliki komputasi sendiri? Dan ketiga, tidak peduli sertifikasi apa yang Anda dapatkan dan seberapa besar nama yang Anda miliki, mereka merasa AI mereka sama berharganya dengan data mereka dan mereka tidak ingin mengirimkannya. Jadi, ada kebutuhan yang sangat jelas di perusahaan agar penerapannya berada di bawah kendali Anda.”
Ceze mencatat bahwa tim telah membangun arsitektur untuk menawarkan SaaS dan platform yang dihosting untuk sementara waktu. Dan meskipun platform SaaS dioptimalkan untuk perangkat keras Nvidia, OctoStack dapat mendukung lebih banyak perangkat keras, termasuk GPU AMD dan Inferensi AWS akselerator, yang pada gilirannya membuat tantangan pengoptimalan menjadi agak sulit (sambil juga memanfaatkan kekuatan OctoAI).
Penerapan OctoStack seharusnya mudah dilakukan oleh sebagian besar perusahaan, karena OctoAI menyediakan platform dengan container read-to-go dan grafik Helm terkait untuk penerapan. Bagi pengembang, API tetap sama, tidak peduli apakah mereka menargetkan produk SaaS atau OctoAI di cloud pribadi mereka.
Kasus penggunaan perusahaan kanonik tetap menggunakan peringkasan teks dan RAG untuk memungkinkan pengguna mengobrol dengan dokumen internal mereka, namun beberapa perusahaan juga menyempurnakan model ini pada basis kode internal mereka untuk menjalankan model pembuatan kode mereka sendiri (mirip dengan apa yang kini ditawarkan GitHub untuk pengguna Copilot Enterprise).
Bagi banyak perusahaan, kemampuan untuk melakukan hal tersebut di lingkungan yang aman dan sepenuhnya berada di bawah kendali mereka adalah hal yang memungkinkan mereka menerapkan teknologi ini ke dalam produksi untuk karyawan dan pelanggan mereka.
“Untuk kasus penggunaan kami yang sensitif terhadap kinerja dan keamanan, model yang memproses data panggilan harus dijalankan di lingkungan yang menawarkan fleksibilitas, skala, dan keamanan,” kata Joshua Kennedy-White, CRO di Apate AI. “OctoStack memungkinkan kami menjalankan model khusus yang kami butuhkan dengan mudah dan efisien, dalam lingkungan yang kami pilih, dan memberikan skala yang dibutuhkan pelanggan kami.”
