SULAWESI UTARA — Google, OpenAI, Anthropic, dan Microsoft berkomitmen menghormati direktif robots.txt baru yang memungkinkan penerbit memblokir pengambilan konten untuk pelatihan AI generatif. Kesepakatan ini mengadopsi proposal Kevin Kelley dari Anthropic yang sedang dibahas di IETF, menggantikan kebutuhan mendaftar crawler satu per satu. Anthropic sudah menerapkannya lebih dulu, sementara Microsoft dan Google menyusul pada 2027.
Empat perusahaan AI terbesar dunia menyatakan dukungan terhadap sinyal standar yang memungkinkan pemilik situs menentukan sendiri apakah kontennya boleh dipakai untuk melatih model kecerdasan buatan. Langkah ini menjawab keluhan penerbit yang selama ini harus menambal robots.txt dengan aturan terpisah untuk tiap penyedia crawler.
Proposal yang diadopsi ditulis Kevin Kelley, technical lead for standards di Anthropic, dan kini tengah dibahas di Internet Engineering Task Force (IETF), organisasi standar terbuka untuk internet. Google dan OpenAI mengonfirmasi komitmen tersebut lewat pengumuman resmi masing-masing.
Pemilik situs cukup menambahkan satu blok user agent khusus di file robots.txt untuk menolak pengambilan data pelatihan AI. Formatnya seperti ini:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Baris "Disallow" memblokir crawler yang bertugas mengumpulkan materi pelatihan AI. Sementara bagian "Allow" memberi ruang bagi pemilik situs untuk tetap membuka halaman tertentu, misalnya press kit atau halaman informasi publik.
Penting dicatat, direktif ini tidak mematikan crawling secara keseluruhan dan tidak menghapus konten dari hasil pencarian Google. Google menafsirkan sinyal tersebut secara spesifik sebagai larangan bagi user agent "Google-Extended", crawler yang mengumpulkan bahan untuk melatih model Gemini.
Bagi media dan pemilik situs di Indonesia, sinyal ini menyederhanakan pengaturan hak atas konten. Selama ini praktiknya tidak seragam: tiap perusahaan AI memakai nama crawler berbeda, sehingga penerbit harus riset dan menulis aturan terpisah untuk Google, OpenAI, Anthropic, dan Microsoft.
Satu file robots.txt kini bisa berlaku untuk keempatnya sekaligus. Namun ada batasan yang perlu dipahami: direktif ini tidak bisa membatalkan scraping yang sudah terjadi sebelumnya. Jika sebuah halaman sudah pernah diambil, kontennya sudah berada di tangan perusahaan tersebut. Sinyal baru hanya mencegah pengambilan di masa depan.
Anthropic menjadi yang tercepat dan sudah mulai mendukung direktif ini. Microsoft menjadwalkan dukungan penuh pada 1 Februari 2027. Google menyusul pada awal 2027, sedangkan OpenAI berjanji mengimplementasikannya dalam beberapa bulan ke depan.
Perbedaan jadwal itu berarti perlindungan bagi penerbit belum seragam dalam waktu dekat. Situs yang memasang sinyal ini tetap perlu memantau log server untuk memastikan crawler benar-benar mematuhi aturan, setidaknya sampai seluruh perusahaan menuntaskan implementasinya.
Bagi pengguna awam, perubahan ini tidak berdampak langsung pada cara mencari informasi di Google. Yang berubah adalah posisi tawar pemilik konten terhadap perusahaan AI yang selama ini mengambil data secara bebas untuk melatih model bahasa besar.