Model bahasa besar Meta yang baru, Llama 3, mendukung “Meta AI,” sebuah chatbot baru yang telah dipasang oleh perusahaan media sosial dan periklanan tersebut di sebanyak mungkin aplikasi dan antarmukanya. Bagaimana model ini dibandingkan dengan AI percakapan serbaguna lainnya? Ini cenderung memuntahkan banyak hasil pencarian web, dan tidak unggul dalam hal apa pun, tapi hei — harganya tepat.
Saat ini Anda dapat mengakses Meta AI secara gratis di web di Meta.ai, di Instagram, Facebook, WhatsApp, dan mungkin di beberapa tempat lain jika itu belum cukup. Ini sudah tersedia sebelumnya, tetapi rilis Llama 3 dan generator gambar Imagine yang baru (jangan bingung dengan Imagen Google) telah membuat Meta mempromosikannya sebagai perhentian pertama bagi mereka yang penasaran dengan AI. Lagi pula, Anda mungkin akan menggunakannya secara tidak sengaja karena mereka mengganti kotak pencarian Anda dengan itu!
Mark Zuckerberg bahkan berharap Meta AI menjadi “asisten AI yang paling banyak digunakan dan terbaik di dunia.” Penting untuk memiliki tujuan.
Pengingat singkat tentang proses “peninjauan” kami: ini adalah evaluasi model yang sangat informal, bukan dengan tolok ukur sintetis tetapi hanya mengajukan pertanyaan biasa yang mungkin dilakukan orang normal, dan membandingkan hasilnya dengan pengalaman kami dengan model lain, atau hanya dengan apa yang Anda lakukan. berharap untuk mendapatkan dari satu. Ini adalah hal yang paling jauh dari komprehensif, tetapi ini adalah sesuatu yang dapat dipahami dan ditiru oleh siapa pun.
Anda dapat membaca tentang metode kami, seperti apa adanya, di sini:
Kami selalu mengubah dan menyesuaikan pendekatan kami, dan terkadang menyertakan sesuatu yang aneh yang kami temukan atau mengecualikan hal-hal yang tampaknya tidak relevan. Misalnya saja, kali ini, walaupun sudah menjadi kebijakan umum kita untuk tidak mencoba mengevaluasi generasi media (ini adalah hal yang sangat buruk), rekan saya Ivan memperhatikan bahwa model Imagine menunjukkan serangkaian bias terhadap masyarakat India. Kami akan segera memuat artikel itu (Meta mungkin sudah menghubungi kami).
Selain itu, sebagai PSA pada awalnya, Anda harus menyadari bahwa bug yang terlihat jelas di Instagram mencegah saya menghapus pertanyaan yang saya kirimkan. Jadi saya akan menghindari menanyakan apa pun yang Anda tidak ingin muncul di riwayat pencarian Anda. Selain itu, versi webnya tidak berfungsi di Firefox untuk saya.
Berita dan kejadian terkini
Pertama, saya bertanya kepada Meta AI tentang apa yang terjadi antara Israel dan Iran. Mereka menanggapinya dengan sebuah daftar singkat dan berpoin-poin, yang berisi tanggal-tanggal, meskipun mereka hanya mengutip satu artikel CNN. Seperti banyak petunjuk lain yang saya coba, petunjuk ini diakhiri dengan tautan ke pencarian Bing saat menggunakan antarmuka web dan pencarian Google di Instagram. Saya bertanya kepada Meta dan seorang juru bicara mengatakan bahwa ini pada dasarnya adalah kemitraan promosi pencarian.
(Gambar dalam postingan ini hanya untuk referensi, dan belum tentu menampilkan respons keseluruhan.)
Kredit Gambar: Meta/TechCrunchUntuk memeriksa apakah Meta AI entah bagaimana mendukung model AI Bing sendiri (yang kemudian dipinjam Microsoft dari OpenAI), saya mengklik dan melihat jawaban Copilot untuk pertanyaan yang disarankan. Itu juga memiliki daftar poin dengan informasi yang kurang lebih sama tetapi tautan sebaris yang lebih baik dan lebih banyak kutipan. Jelas berbeda.
Tanggapan Meta AI bersifat faktual dan terkini, bahkan sangat fasih. Respons seluler jauh lebih terkompresi, dan lebih sulit didapat dari sumbernya, jadi berhati-hatilah karena Anda mendapatkan jawaban yang terpotong di sana.
Selanjutnya saya bertanya apakah ada tren terkini di Tiktok yang perlu diwaspadai oleh orang tua. Itu menjawab dengan ringkasan tingkat tinggi tentang apa yang dilakukan pembuat konten di jejaring sosial, tetapi tidak ada yang terbaru. Ya, saya sadar bahwa orang-orang membuat “Sketsa komedi: Konten lucu, relevan, atau parodi” di Tiktok, terima kasih.
Kredit Gambar: Meta/TechCrunch
Menariknya, ketika saya menanyakan pertanyaan serupa tentang tren di Instagram, saya mendapat respons positif menggunakan frasa jenis pemasaran seperti “Membalas dengan Reel menciptakan percakapan” dan “AI menghasilkan peluang baru” dan “Postingan teks berkembang pesat di 'gram.” Saya pikir mungkin hal tersebut bersikap positif secara tidak adil terhadap platform pembuatnya, namun ternyata tidak — ternyata hal tersebut hanya melontarkan kata demi kata, postingan tren Instagram umpan SEO dari Hootsuite.
Jika saya bertanya kepada AI Meta di Instagram tentang tren di Instagram, saya berharap ada sesuatu yang lebih menarik. Jika saya ingin membaca sahabat, saya hanya akan mencarinya.
Sejarah dan konteks
Saya meminta Meta AI untuk membantu saya menemukan beberapa sumber utama untuk beberapa penelitian yang seharusnya saya lakukan mengenai keputusan Mahkamah Agung di akhir abad ke-19.
Kredit Gambar: Meta/TechCrunch
Tanggapannya sangat bergantung pada postingan SEO yang tidak menyinggung namun bebas primer yang mencantumkan sejumlah keputusan penting abad ke-19. Tidak persis seperti yang saya minta, dan di bagian akhir juga tercantum dokumen pendirian Partai Rakyat tahun 1896, sebuah partai berhaluan kiri pada masa itu. Ini sebenarnya tidak ada hubungannya dengan Mahkamah Agung, tetapi Meta AI mengutip halaman ini, yang menggambarkan beberapa hakim memiliki pandangan yang berlawanan dengan partai. Inklusi yang aneh dan tidak relevan.
Model-model lain memberikan konteks dan ringkasan tren zaman. Saya tidak akan menggunakan Meta AI sebagai asisten peneliti.
Beberapa pertanyaan sepele mendasar, seperti siapa yang memenangkan medali terbanyak di Olimpiade 1984 dan peristiwa penting apa yang terjadi pada tahun itu, telah terjawab dan dikutip secara memadai.
Kredit Gambar: Meta/TechCrunch
Agak menjengkelkan karena ia mengumpulkan nomor kutipannya di atas dan kemudian tautannya di bawah. Apa gunanya memberi nomor kecuali angka-angka tersebut berkaitan dengan klaim atau fakta tertentu? Beberapa model lain akan mengutip secara in-line, yang mana untuk penelitian atau pengecekan fakta jauh lebih nyaman.
Kontroversi
Saya bertanya kepada Meta AI mengapa pendukung Donald Trump sebagian besar berusia tua dan berkulit putih. Ini adalah jenis pertanyaan yang faktual tetapi jelas sedikit lebih sensitif daripada menanyakan tentang jumlah medali. Tanggapan yang diberikan cukup adil, bahkan menolak pernyataan yang melekat pada pertanyaan tersebut:
Kredit Gambar: Meta/TechCrunch
Sayangnya, ia tidak memberikan sumber atau tautan apa pun untuk mencari yang satu ini. Sayang sekali, karena interaksi seperti ini merupakan peluang besar bagi orang untuk mempelajari sesuatu yang baru.
Saya juga bertanya tentang kebangkitan nasionalisme kulit putih dan mendapatkan daftar alasan yang cukup kuat mengapa kita melihat hal-hal seperti ini di seluruh dunia. Meta AI mengatakan bahwa “Sangat penting untuk mengatasi faktor-faktor ini melalui pendidikan, empati, dan kebijakan inklusif untuk melawan kebangkitan nasionalisme kulit putih dan mendorong masyarakat yang lebih adil.” Jadi mereka tidak mengadopsi salah satu sikap agresif dan netral yang kadang-kadang Anda lihat. Tidak ada tautan atau sumber yang satu ini – Saya curiga mereka menghindari kutipan untuk saat ini pada topik tertentu, yang saya pahami, tetapi juga… di sinilah kutipan paling dibutuhkan?
Medis
Saya memberi tahu Meta AI bahwa anak saya (fiktif) yang berusia 9 tahun mengalami ruam setelah makan cupcake dan bertanya apa yang harus saya lakukan. Menariknya, ia menulis seluruh tanggapan dan kemudian menghapusnya, mengatakan “Maaf, saya tidak dapat membantu Anda dengan permintaan ini sekarang,” dan memberi tahu saya bahwa saya telah menghentikannya menyelesaikan tanggapan. Pak, tidak.
Kredit Gambar: Meta/TechCrunch
Jadi saya menanyakannya lagi dan saya mendapat jawaban serupa (yang Anda lihat di atas), berisi saran yang masuk akal dan umum untuk seseorang yang ingin menangani potensi reaksi alergi. Ini mungkin salah satu dari jenis rollback retrospektif “oops, mungkin saya seharusnya tidak mengatakan itu” di mana model hanya terlambat menyadari apa yang telah dilakukannya.
Hal yang sama berlaku untuk pertanyaan tentang suplemen: suplemen ini memberikan jawaban yang adil dan bersumber dari sumber yang cukup baik, termasuk dosis umum, biaya, dan pertanyaan seputar kemanjuran.
Dalam bidang kesehatan mental, nasihat yang diberikan seputar kecemasan dan pengobatan sudah bisa ditebak dan aman (pada dasarnya, “Saya bukan dokter, konsultasikan dengan profesional”), dan ketika saya bertanya siapa yang harus saya hubungi jika mengalami masalah serius, mereka mencantumkan National Suicide Prevention Lifeline (1-800-273-TALK) dan baris teks krisis (741741) antara lain. Namun tidak ada tautan atau sumber. Jawaban yang wajar dan manusiawi.
Ringkasan
Saat Meta AI meringkas artikel terbaru yang saya tulis, Meta AI hanya memilih kalimat-kalimat yang terdengar penting untuk diulangi, sebagian besar kata demi kata. Sebenarnya itu tidak salah, tapi menurut saya itu bukan ringkasan.
Dan ketika kalimat tersebut diubah, maknanya sedikit berubah: awalnya saya menulis bahwa Mesin Intuitif “hampir pasti akan bekerja keras untuk mencapai kontrak bernilai miliaran dolar.” Ringkasan tersebut menyatakan bahwa perusahaan tersebut “hampir pasti akan mengambil tindakan yang mungkin bisa dilakukan…” yang dapat menyesatkan beberapa orang untuk berpikir bahwa IM adalah perusahaan yang harus dikalahkan dan bukan perusahaan yang akan memperjuangkan kontrak tersebut. Sejujurnya, saya sendiri bisa mengungkapkannya dengan lebih jelas.
Saat saya memintanya melakukan hal yang sama dalam kurang dari 100 kata, hasilnya lebih baik — semacam itu.
Ringkasannya lebih ringkas, tetapi membawa klaim dari Musk bahwa Starship dapat mengembalikan sampel dari Mars dalam lima tahun — sesuatu yang secara khusus saya jelaskan. tidak sertakan dalam artikel saya karena dia membuat banyak klaim tidak berdasar seperti itu. AI pasti mendapatkan ini dari empat artikel lain yang dikutipnya, untuk beberapa alasan, dalam “ringkasan” saya. Jika saya meminta ringkasan, saya tidak mengharapkan model membawa informasi dari luar untuk ditambahkan ke dalamnya.
Isi
Saran salinan pemasaran untuk merek pakaian imajiner yang saya klaim akan dipromosikan adalah persis seperti yang Anda harapkan, yang menunjukkan betapa sulitnya tugas ini. Tidak diragukan lagi, Meta khususnya memiliki persediaan teks seperti ini yang tidak ada habisnya untuk dilatih. Kasihan para pemasar — kerja keras mereka dalam menghasilkan jutaan penawaran menarik untuk merek mereka telah menentukan gaya yang membuat AI menjadi sangat mahir.
Kredit Gambar: Meta/TechCrunch
Ketika ditanya tentang beberapa lelucon petani, jawabannya benar-benar menyebalkan.
Mengapa ayam peternak pergi ke dokter?
Karena ada batuk unggas!
Dan ini satu lagi:
Mengapa petani tersebut membawa babinya ke bioskop?
Untuk melihat “Sayang”!
Wow… mengerikan. Namun kita tidak bisa berharap lebih baik dari model ini. Sebagian besar pertanyaan semacam ini hanya untuk melihat apakah ia melakukan sesuatu yang aneh atau mengulangi sesuatu dari komunitas tertentu – Saya tidak sedang mencari materi (saat ini).
Kesimpulan
Meta telah memposisikan AI-nya sebagai lapisan pertama untuk pertanyaan biasa, dan itu berhasil. Namun sebagian besarnya sepertinya hanya melakukan penelusuran untuk apa yang Anda tanyakan dan mengutip secara bebas dari hasil teratas. Dan separuh waktu itu menyertakan pencarian di akhir. Jadi mengapa tidak menggunakan Google atau Bing saja?
Beberapa pertanyaan “yang disarankan” yang saya coba, seperti tips mengatasi writer's block, memberikan hasil yang tidak mengutip langsung dari (atau sumber) siapa pun. Tapi mereka juga sama sekali tidak orisinal. Sekali lagi, pencarian internet biasa bukan didukung oleh model bahasa yang sangat besar, di dalam aplikasi media sosial, mencapai hal yang kurang lebih sama dengan lebih sedikit kesulitan.
Meta AI menghasilkan jawaban yang sangat lugas dan hampir minimal. Saya tidak mengharapkan AI melampaui cakupan kueri awal saya, dan dalam beberapa kasus itu akan menjadi hal yang buruk. Namun ketika saya bertanya bahan-bahan apa saja yang diperlukan untuk sebuah resep, bukankah gunanya berbincang dengan AI agar AI dapat memahami niat saya dan menawarkan sesuatu yang lebih dari sekadar mengambil daftar dari hasil Bing teratas?
Saya bukan pengguna besar platform ini, tetapi Meta AI tidak meyakinkan saya bahwa platform ini berguna untuk hal tertentu. Agar adil, ini adalah salah satu dari sedikit model yang gratis dan tetap mengikuti perkembangan terkini dengan mencari secara online. Jika dibandingkan dengan model Copilot gratis di Bing, model Copilot biasanya bekerja lebih baik, namun saya mencapai “batas percakapan” harian hanya setelah beberapa kali pertukaran. (Tidak jelas bagaimana jika ada batasan penggunaan yang akan diterapkan Meta pada Meta AI.)
Jika Anda tidak mau membuka browser untuk mencari “tahun baru imlek” atau “rasio air quinoa”, Anda mungkin dapat bertanya kepada Meta AI apakah Anda sudah menggunakan salah satu aplikasi perusahaan (dan sering kali memang demikian) . Anda tidak bisa menanyakan hal itu kepada Tiktok! Belum.
