Ikhsan Aryo Digdo
Merahputih.com - Amazon Web Services (AWS) sedang menyelidiki dugaan bahwa Perplexity AI melanggar aturannya dengan menggunakan crawler yang dihosting di server AWS untuk mengabaikan Protokol Pengecualian Robot.
Wired pada pekan ini melaporkan bahwa protokol tersebut adalah standar web yang menggunakan file robots.txt untuk menentukan apakah bot diizinkan mengakses halaman tertentu. Meski mengikuti protokol ini bersifat sukarela, crawler dari perusahaan terkemuka biasanya mematuhinya.
Amazon menemukan mesin virtual yang dihosting di server AWS dengan alamat IP 44.221.181.252, yang diduga dioperasikan oleh Perplexity AI, mengabaikan instruksi robots.txt situs web mereka.
Mesin itu dilaporkan mengunjungi properti Condé Nast, termasuk Wired, sebanyak ratusan kali selama tiga bulan terakhir untuk mengambil konten mereka. Mesin itu juga mengunjungi situs-situs seperti The Guardian, Forbes, dan The New York Times.
Baca juga:
Untuk memverifikasi aktivitas ini, Wired memasukkan tajuk berita atau deskripsi singkat artikelnya ke dalam chatbot Perplexity, yang kemudian memberikan hasil mirip dengan artikel tersebut dengan atribusi minimal.
Reuters belum lama ini memberitakan Perplexity bukan satu-satunya perusahaan AI yang mengabaikan file robots.txt untuk mengumpulkan konten guna melatih model bahasa besar.
AWS menyatakan persyaratan layanannya melarang aktivitas ilegal, dan pelanggan bertanggung jawab untuk mematuhi ketentuan tersebut.
AWS mengaku menerima laporan dugaan penyalahgunaan dari berbagai sumber dan sedang menyelidiki laporan yang diberikan Wired sebagai bagian dari protokol standar. (waf)
