Startup Perancis telah mengumpulkan investasi awal yang besar untuk “merancang ulang infrastruktur komputasi” bagi pengembang yang ingin membangun dan melatih aplikasi AI dengan lebih efisien.
FlexAIdemikian sebutan perusahaan tersebut, telah beroperasi secara sembunyi-sembunyi sejak Oktober 2023, namun perusahaan yang bermarkas di Paris ini secara resmi diluncurkan pada hari Rabu dengan pendanaan sebesar €28,5 juta ($30 juta), sambil memberikan bocoran mengenai produk pertamanya: layanan cloud on-demand untuk pelatihan AI.
Ini adalah sedikit perubahan untuk putaran benih, yang biasanya berarti silsilah pendiri yang sangat besar – dan itulah yang terjadi di sini. Salah satu pendiri dan CEO FlexAI Brijesh Tripathi sebelumnya adalah seorang insinyur desain senior di raksasa GPU dan sekarang menjadi kesayangan AI Nvidia, sebelum menduduki berbagai peran teknik dan arsitek senior di Apple; Tesla (bekerja langsung di bawah Elon Musk); Zoox (sebelum Amazon mengakuisisi startup mengemudi otonom); dan, yang terbaru, Tripathi adalah VP cabang platform AI dan komputasi super Intel, AXG.
Salah satu pendiri dan CTO FlexAI Datanglah ke Tiongkok memiliki CV yang mengesankan juga, menjabat di berbagai peran teknis di perusahaan termasuk Nvidia dan Zynga, dan baru-baru ini mengisi peran CTO di startup Perancis Lifen, yang mengembangkan infrastruktur digital untuk industri kesehatan.
Putaran unggulan dipimpin oleh Alpha Intelligence Capital (AIC), Elaia Partners, dan Heartcore Capital, dengan partisipasi dari Frst Capital, Motier Ventures, Partech, dan CEO InstaDeep Karim Beguir.
Tim FlexAI di Paris
Teka-teki komputasi
Untuk memahami apa yang Tripathi dan Kilani coba lakukan dengan FlexAI, pertama-tama ada baiknya memahami apa yang dihadapi oleh pengembang dan praktisi AI dalam hal mengakses “komputasi”; ini mengacu pada kekuatan pemrosesan, infrastruktur, dan sumber daya yang diperlukan untuk menjalankan tugas komputasi seperti memproses data, menjalankan algoritme, dan menjalankan model pembelajaran mesin.
“Menggunakan infrastruktur apa pun di bidang AI itu rumit; ini bukan untuk orang yang lemah hati, dan bukan untuk mereka yang tidak berpengalaman,” kata Tripathi kepada TechCrunch. “Hal ini mengharuskan Anda mengetahui terlalu banyak tentang cara membangun infrastruktur sebelum Anda dapat menggunakannya.”
Sebaliknya, ekosistem cloud publik yang telah berkembang selama beberapa dekade terakhir menjadi contoh bagus bagaimana sebuah industri muncul dari kebutuhan pengembang untuk membangun aplikasi tanpa terlalu mengkhawatirkan masalah back-end.
“Jika Anda seorang pengembang kecil dan ingin menulis sebuah aplikasi, Anda tidak perlu tahu di mana aplikasi itu dijalankan, atau apa bagian belakangnya — Anda hanya perlu menjalankan instans EC2 (Amazon Elastic Compute cloud) dan Anda sudah selesai,” kata Tripathi. “Saat ini Anda tidak dapat melakukan hal tersebut dengan komputasi AI.”
Di bidang AI, pengembang harus mengetahui berapa banyak GPU (unit pemrosesan grafis) yang mereka perlukan untuk saling terhubung melalui jenis jaringan apa, yang dikelola melalui ekosistem perangkat lunak yang sepenuhnya menjadi tanggung jawab mereka untuk menyiapkannya. Jika GPU atau jaringan mengalami kegagalan, atau jika ada sesuatu dalam rangkaian tersebut yang tidak beres, maka pengembang bertanggung jawab untuk mengatasinya.
“Kami ingin membawa infrastruktur komputasi AI ke tingkat kesederhanaan yang sama dengan cloud tujuan umum — ya, setelah 20 tahun, tetapi tidak ada alasan mengapa komputasi AI tidak dapat memperoleh manfaat yang sama,” kata Tripathi. “Kami ingin mencapai titik di mana menjalankan beban kerja AI tidak mengharuskan Anda menjadi ahli pusat data.”
Dengan iterasi produknya saat ini yang berjalan dengan segelintir pelanggan beta, FlexAI akan meluncurkan produk komersial pertamanya akhir tahun ini. Ini pada dasarnya adalah layanan cloud yang menghubungkan pengembang ke “komputasi virtual heterogen,” yang berarti bahwa mereka dapat menjalankan beban kerja mereka dan menerapkan model AI di berbagai arsitektur, membayar berdasarkan penggunaan daripada menyewa GPU berdasarkan dolar per jam.
GPU adalah roda penggerak penting dalam pengembangan AI, misalnya berfungsi untuk melatih dan menjalankan model bahasa besar (LLM). Nvidia adalah salah satu pemain terkemuka di bidang GPU, dan salah satu penerima manfaat utama dari revolusi AI yang dipicu oleh OpenAI dan ChatGPT. Dalam 12 bulan sejak OpenAI meluncurkan API untuk ChatGPT pada Maret 2023, yang memungkinkan pengembang memasukkan fungsionalitas ChatGPT ke dalam aplikasi mereka sendiri, saham Nvidia melonjak dari sekitar $500 miliar menjadi lebih dari $2 triliun.
LLM bermunculan dari industri teknologi, seiring dengan melonjaknya permintaan GPU. Namun GPU mahal untuk dijalankan, dan menyewanya dari penyedia cloud untuk pekerjaan kecil atau kasus penggunaan ad-hoc tidak selalu masuk akal dan bisa sangat mahal; inilah alasan AWS mencoba persewaan berbatas waktu untuk proyek AI yang lebih kecil. Namun menyewa tetaplah menyewa, itulah sebabnya FlexAI ingin menghilangkan kompleksitas mendasar dan membiarkan pelanggan mengakses komputasi AI sesuai kebutuhan.
“Multicloud untuk AI”
Titik awal FlexAI adalah sebagian besar pengembang tidak melakukannya Sungguh peduli sebagian besar GPU atau chip siapa yang mereka gunakan, apakah itu Nvidia, AMD, Intel, Graphcore, atau Cerebras. Perhatian utama mereka adalah kemampuan mengembangkan AI dan membangun aplikasi sesuai keterbatasan anggaran mereka.
Di sinilah konsep “komputasi AI universal” FlexAI hadir, di mana FlexAI memperhitungkan kebutuhan pengguna dan mengalokasikannya ke arsitektur apa pun yang masuk akal untuk pekerjaan tertentu, menangani semua konversi yang diperlukan di berbagai platform, baik itu Infrastruktur Intel Gaudi, Rocm AMD atau CUDA Nvidia.
Artinya pengembang hanya fokus membangun, melatih, dan menggunakan model, kata Tripathi. “Kami mengurus semua yang ada di bawahnya. Kegagalan, pemulihan, keandalan, semuanya dikelola oleh kami, dan Anda membayar untuk apa yang Anda gunakan.”
Dalam banyak hal, FlexAI bertujuan untuk mempercepat AI apa yang telah terjadi di cloud, yang berarti lebih dari sekadar mereplikasi model bayar per penggunaan: Ini berarti kemampuan untuk beralih ke “multicloud” dengan bersandar pada manfaat yang berbeda. infrastruktur GPU dan chip yang berbeda.
Misalnya, FlexAI akan menyalurkan beban kerja spesifik pelanggan tergantung pada prioritas mereka. Jika perusahaan memiliki anggaran terbatas untuk pelatihan dan menyempurnakan model AI mereka, mereka dapat mengaturnya dalam platform FlexAI untuk mendapatkan hasil komputasi maksimal. Ini mungkin berarti menggunakan Intel untuk komputasi yang lebih murah (tetapi lebih lambat), namun jika pengembang memiliki proyek kecil yang memerlukan keluaran tercepat, maka hal tersebut dapat disalurkan melalui Nvidia.
FlexAI pada dasarnya adalah “agregator permintaan,” yang menyewakan perangkat keras itu sendiri melalui cara tradisional dan, menggunakan “hubungan kuat” dengan orang-orang di Intel dan AMD, mengamankan harga preferensial yang tersebar di seluruh basis pelanggannya. Ini tidak berarti mengesampingkan gembong Nvidia, tetapi mungkin juga berarti demikian — dengan Intel dan AMD berjuang untuk sisa GPU tertinggal setelah Nvidia — ada insentif besar bagi mereka untuk bermain-main dengan agregator seperti FlexAI.
“Jika saya dapat membuatnya berhasil bagi pelanggan dan mendatangkan puluhan hingga ratusan pelanggan ke infrastruktur mereka, maka mereka akan berhasil [Intel and AMD] akan sangat bahagia,” kata Tripathi.
Hal ini berbeda dengan pemain cloud GPU serupa seperti CoreWeave dan Lab Lambdayang berfokus pada perangkat keras Nvidia.
“Saya ingin komputasi AI mencapai titik di mana komputasi awan untuk tujuan umum saat ini berada,” kata Tripathi. “Anda tidak bisa melakukan multicloud dengan AI. Anda harus memilih perangkat keras tertentu, jumlah GPU, infrastruktur, konektivitas, dan kemudian memeliharanya sendiri. Saat ini, itulah satu-satunya cara untuk benar-benar mendapatkan komputasi AI.”
Ketika ditanya siapa sebenarnya mitra peluncurannya, Tripathi mengatakan bahwa dia tidak dapat menyebutkan nama mereka semua karena kurangnya “komitmen formal” dari beberapa di antara mereka.
“Intel adalah mitra yang kuat, mereka pasti menyediakan infrastruktur, dan AMD adalah mitra yang menyediakan infrastruktur,” ujarnya. “Tetapi ada kemitraan lapis kedua yang sedang dilakukan dengan Nvidia dan beberapa perusahaan silikon lainnya yang belum siap kami bagikan, namun semuanya sudah tergabung dalam MOU. [memorandums of understanding] sedang ditandatangani sekarang.”
Efek Elon
Tripathi lebih dari siap untuk menghadapi tantangan di masa depan, karena ia pernah bekerja di beberapa perusahaan teknologi terbesar di dunia.
“Saya cukup tahu tentang GPU; Saya biasa membuat GPU,” kata Tripathi tentang masa kerjanya selama tujuh tahun di Nvidia, yang berakhir pada tahun 2007 ketika ia bergabung dengan Apple saat perusahaan itu meluncurkan iPhone pertama. “Di Apple, saya menjadi fokus dalam memecahkan masalah nyata pelanggan. Saya ada di sana ketika Apple mulai membangun SoC pertama mereka [system on chips] untuk telepon.”
Tripathi juga menghabiskan dua tahun di Tesla dari 2016 hingga 2018 sebagai pemimpin teknik perangkat keras, di mana ia akhirnya bekerja langsung di bawah Elon Musk selama enam bulan terakhir setelah dua orang di atasnya tiba-tiba meninggalkan perusahaan.
“Di Tesla, hal yang saya pelajari dan saya terapkan dalam startup saya adalah tidak ada kendala selain sains dan fisika,” ujarnya. “Apa yang dilakukan saat ini bukanlah cara yang seharusnya atau perlu dilakukan. Anda harus mengejar hal yang benar untuk dilakukan berdasarkan prinsip pertama, dan untuk melakukan itu, hilangkan setiap kotak hitam.”
Tripathi terlibat dalam transisi Tesla untuk membuat chipnya sendiri, sebuah langkah yang kemudian ditiru oleh GM dan Hyundai, serta produsen mobil lainnya.
“Salah satu hal pertama yang saya lakukan di Tesla adalah mencari tahu berapa banyak mikrokontroler yang ada di dalam mobil, dan untuk melakukan itu, kami benar-benar harus memilah-milah sekumpulan kotak hitam besar dengan pelindung logam dan casing di sekelilingnya, untuk mengetahui berapa banyak mikrokontroler yang ada di dalam mobil. temukan mikrokontroler yang sangat kecil di sana,” kata Tripathi. “Dan kami akhirnya meletakkannya di atas meja, meletakkannya dan berkata, 'Elon, ada 50 mikrokontroler di dalam mobil. Dan terkadang kami membayar margin 1.000 kali lipat karena produk tersebut dilindungi dan dilindungi dalam casing logam besar.' Dan dia berkata, 'ayo kita buat sendiri.' Dan kami melakukan itu.”
GPU sebagai jaminan
Melihat lebih jauh ke depan, FlexAI juga mempunyai aspirasi untuk membangun infrastrukturnya sendiri, termasuk pusat data. Hal ini, kata Tripathi, akan didanai oleh pembiayaan utang, berdasarkan tren terkini yang telah memunculkan banyak pesaing di sektor ini. termasuk CoreWeave Dan Lambda Labs menggunakan chip Nvidia sebagai jaminan untuk mendapatkan pinjaman – daripada memberikan lebih banyak ekuitas.
“Para bankir sekarang tahu cara menggunakan GPU sebagai jaminan,” kata Tripathi. “Mengapa memberikan ekuitas? Sebelum kami menjadi penyedia komputasi sesungguhnya, nilai perusahaan kami tidak akan cukup untuk menghasilkan ratusan juta dolar yang diperlukan untuk berinvestasi dalam membangun pusat data. Jika kita hanya melakukan ekuitas, kita akan hilang ketika uangnya habis. Namun jika kami benar-benar menyimpannya pada GPU sebagai jaminan, mereka dapat mengambil GPU tersebut dan menyimpannya di pusat data lain.”
