Sudah menjadi kebenaran universal sifat manusia bahwa pengembang yang membuat kode tidak boleh menjadi pihak yang mengujinya. Pertama-tama, kebanyakan dari mereka sangat membenci tugas itu. Kedua, seperti halnya protokol audit yang baik, mereka yang melakukan pekerjaan tidak seharusnya menjadi pihak yang memverifikasinya.
Maka tidak mengherankan jika pengujian kode dalam segala bentuknya – pengujian kegunaan, pengujian khusus bahasa atau tugas, pengujian end-to-end – telah menjadi fokus dari semakin banyak startup AI generatif yang terus berkembang. Setiap minggu, TechCrunch meliput hal serupa lainnya Antitesis (mengumpulkan $47 juta); CodiumAI (mengumpulkan $11 juta) QA Wolf (mengumpulkan $20 juta). Dan yang baru bermunculan setiap saat, seperti lulusan baru Y Combinator sesaat.
Lainnya adalah startup berusia satu tahun AI baru, lulusan akselerator Akademi Luar Biasa yang mengumpulkan putaran pra-seed sebesar $1 juta. Mereka berupaya mengungguli para pesaingnya dengan alat pengujian end-to-end dengan melanggar banyak aturan Silicon Valley tentang bagaimana startup harus beroperasi, kata CEO pendiri Zach Smith kepada TechCrunch.
Jika pendekatan Y Combinator standar dimulai dari skala kecil, Nova AI menargetkan perusahaan skala menengah hingga besar dengan basis kode yang kompleks dan kebutuhan yang mendesak saat ini. Smith menolak menyebutkan nama pelanggan mana pun yang menggunakan atau menguji produknya kecuali untuk menggambarkan mereka sebagai sebagian besar perusahaan rintisan yang didukung ventura tahap akhir (seri C atau lebih) di bidang e-niaga, fintech, atau produk konsumen, dan “pengalaman pengguna yang berat. Waktu henti untuk fitur-fitur ini memakan biaya.”
Teknologi Nova AI menyaring kode pelanggannya untuk secara otomatis membuat pengujian secara otomatis menggunakan GenAI. Hal ini terutama diarahkan pada integrasi berkelanjutan dan lingkungan pengiriman/penerapan berkelanjutan (CI/CD) di mana para insinyur terus-menerus mengirimkan potongan-potongan ke dalam kode produksi mereka.
Ide Nova AI berasal dari pengalaman Smith dan salah satu pendirinya Jeffrey Shih ketika mereka menjadi insinyur yang bekerja di perusahaan teknologi besar. Smith adalah mantan Googler yang bekerja di tim terkait cloud yang membantu pelanggan menggunakan banyak teknologi otomatisasi. Shih sebelumnya bekerja di Meta (sebelumnya juga di Unity dan Microsoft) dengan spesialisasi AI langka yang melibatkan data sintetis. Sejak saat itu, mereka telah menambahkan salah satu pendiri ketiga, ilmuwan data AI Henry Li.
Aturan lain yang tidak diikuti oleh Nova AI: sementara banyak sekali startup AI yang membangun GPT OpenAI yang terdepan di industri, Nova AI menggunakan Chat GPT-4 OpenAI sesedikit mungkin, hanya untuk membantunya menghasilkan beberapa kode dan melakukan beberapa tugas pelabelan . Tidak ada data pelanggan yang dimasukkan ke OpenAI.
Sementara OpenAI menjanjikan hal itu data mereka yang menggunakan rencana bisnis berbayar tidak digunakan untuk melatih modelnya, perusahaan masih tidak mempercayai OpenAI, kata Smith kepada kami. “Saat kami berbicara dengan perusahaan besar, mereka berkata, 'Kami tidak ingin data kami masuk ke OpenAI,” kata Smith.
Tim teknik di perusahaan besar bukanlah satu-satunya yang merasakan hal ini. OpenAI sedang menangkis dari sejumlah tuntutan hukum dari mereka yang tidak ingin karya mereka digunakan untuk pelatihan model, atau yakin bahwa hasil karya mereka tidak sah dan tidak dibayar.
Nova AI sangat bergantung pada model open source seperti Llama yang dikembangkan oleh Meta dan Kode Bintang (dari komunitas BigCoder, yang dikembangkan oleh ServiceNow dan Hugging Face), serta membuat modelnya sendiri. Mereka belum menggunakan Gemma Google dengan pelanggan, namun telah mengujinya dan “melihat hasil yang baik,” kata Smith.
Misalnya, dia menjelaskan bahwa penggunaan umum OpenAI GPT4 adalah untuk “menghasilkan penyematan vektor” pada data sehingga model LLM dapat menggunakan vektor tersebut untuk penelusuran semantik. Penyematan vektor menerjemahkan potongan teks menjadi angka sehingga LLM dapat melakukan berbagai operasi, seperti mengelompokkannya dengan potongan teks serupa lainnya. Nova AI menggunakan GPT4 OpenAI untuk ini pada kode sumber pelanggan, tetapi tidak akan mengirimkan data apa pun ke OpenAI.
“Dalam hal ini, alih-alih menggunakan model penyematan OpenAI, kami menerapkan model penyematan sumber terbuka kami sendiri sehingga ketika kami perlu menjalankan setiap file, kami tidak hanya mengirimkannya ke OpenAi,” jelas Smith.
Meskipun tidak mengirimkan data pelanggan ke OpenAI dapat menenangkan perusahaan, model AI open source juga lebih murah dan lebih dari cukup untuk melakukan tugas spesifik yang ditargetkan, demikian temuan Smith. Dalam hal ini, mereka bekerja dengan baik untuk tes menulis.
“Industri LLM terbuka benar-benar membuktikan bahwa mereka dapat mengalahkan GPT 4 dan penyedia domain besar ini, ketika Anda melakukan hal yang sangat sempit,” katanya. “Kami tidak perlu menyediakan model besar yang dapat memberi tahu Anda apa yang nenek Anda inginkan untuk ulang tahunnya. Benar? Kita perlu menulis tes. Dan itu saja. Jadi model kami disesuaikan secara khusus untuk hal tersebut.”
Model open source juga mengalami kemajuan pesat. Misalnya, Meta baru-baru ini memperkenalkan versi baru Llama yang mendapatkan penghargaan di kalangan teknologi dan mungkin meyakinkan lebih banyak startup AI untuk mencari alternatif OpenAI.
