Alat kecerdasan buatan (AI) menjadi bahan pokok bagi pengembang web. Kami menggunakannya untuk menulis dan memecahkan masalah, menganalisis data, dan banyak lagi. Kami menemukan kegunaan baru untuk model ini setiap hari.
Kelemahannya adalah bagaimana model AI mengumpulkan informasi. Mereka mengikis web dan mengindeks data. Misalnya, AI tidak “tahu” WordPress tanpa mengindeks pertama dokumentasi terkait, tutorial, dan cuplikan kode. Itu tidak menyulap jawaban dari udara tipis.
Ada beberapa masalah dengan ini. Pertama, praktik ini kontroversial tentang hak cipta. Bolehkah Chatgpt atau Gemini mempelajari konten yang dilindungi hak cipta dan mengemasnya kembali kepada penggunanya? Konsekuensi hukum dan moral berada di luar keahlian kami. Jadi, kami akan fokus pada gajah lain di ruangan itu.
Bot yang digunakan oleh model AI dapat menjadi mimpi buruk lalu lintas untuk beberapa situs web. Seberapa buruk itu? Wikimedia mengklaim penggunaan bandwidthnya naik 50% karena pencakar AI.
Mungkin itu kasus yang ekstrem, mengingat ukuran Wikimedia. Namun, organisasi yang lebih kecil juga dapat merasakan dampaknya. Ini mengenai pemilik situs web di dompet dan kinerja situs mereka.
Memblokir bot AI adalah salah satu cara untuk memerangi masalah ini. Mari kita lihat bagaimana menjaga alat -alat ini dari memonopoli sumber daya server Anda (belum lagi mengambil konten Anda).
Memblokir bot ai tidak mudah
Menjaga berbagai bot di teluk biasanya membutuhkan penambahan entri ke situs Anda robots.txt mengajukan. Itu memberi tahu bot tertentu itu tidak diterima. Terserah bot untuk menghormati instruksi Anda.
Mesin pencari biasanya patuh. Tetapi alat AI tampaknya memiliki masalah dengan permintaan tersebut. Laporan menunjukkan bahwa beberapa perusahaan abaikan robots.txt dan situs merangkak terlepas dari itu. Jadi, ini bukan perbaikan lengkap dan cepat yang mungkin Anda pikirkan.
Selain itu, alat dan model baru sedang dirilis sepanjang waktu. Masing -masing melepaskan pasukan bot yang berbeda di web. Jadi, bahkan jika Anda bisa memblokir setiap bot melalui robots.txtselalu ada lagi yang bisa ditemukan. Ini adalah permainan virtual whack-a-mole.
Hasilnya adalah proses yang tidak sempurna untuk menjauhkan bot AI dari konten Anda. Ini membutuhkan pemeriksaan rutin untuk memastikan Anda memblokir semua bot yang diketahui. Dan bahkan itu tidak mudah.
Berita baiknya adalah bahwa penyedia layanan dan pengembang individu melacak. Di bagian selanjutnya, kita akan menggali solusi mereka.
Metode untuk memblokir bot AI sial itu
Lonjakan lalu lintas dari model AI menjadi lebih umum, mengarah ke beberapa alat baru untuk memerangi mereka. Tidak ada yang 100% efektif, tetapi mereka dapat membantu memperlambat bot dan menghemat bandwidth yang berharga.
Berikut adalah beberapa opsi yang layak untuk dicoba:
ai.robots.txt
Berikut solusi pemblokiran bot manual yang dapat Anda gunakan dengan situs web apa pun. Ini adalah daftar terbuka perayap web yang dikenal milik model AI. Daftar ini diperbarui secara berkala untuk memasukkan bot baru saat mereka online.
Paket dilengkapi dengan tiga metode untuk memblokir:
robots.txt: Daftar agen pengguna untuk menempel ke situs Andarobots.txtmengajukan. Ini adalah pengingat bahwa aturan yang ditetapkan dalam file ini sukarela. Tidak ada jaminan bot akan menghormati permintaan Anda..htaccess: File ini berfungsi dengan server web Apache dan akan memblokir bot dari mengakses situs Anda. Bot dengan agen pengguna yang cocok mengunjungi situs Anda akan menerima pesan kesalahan. Ini lebih baik untuk perlindungan konten, tetapi pelanggar berulang dapat terus memalu situs Anda.nginx-block-ai-bots.conf: File konfigurasi ini untuk server nginx berfungsi serupa dengan.htaccessfile di atas.
Metode ini membutuhkan pemeliharaan berkelanjutan tetapi mudah diatur, asalkan Anda memiliki akses server. Periksa daftar bot yang diperbarui dan perbarui file Anda sesuai.
Blokir AI Crawlers
Blokir AI Crawlers adalah plugin WordPress yang secara otomatis mengubah situs Anda robots.txt mengajukan. Instal dan blokir bot AI yang dikenal dengan satu klik.
Ini adalah alat praktis untuk situs WordPress karena bot baru dapat ditambahkan melalui pembaruan plugin. Ini mengurangi beban pada pemilik situs web dan menampilkan filosofi “set dan lupakan”.
Cloudflare AI Labyrinth
Solusi Cloudflare untuk memerangi bot AI adalah menggunakan (menunggu untuk itu) AI generatif. Alat Labyrinth AI mereka masuk ke dalam action ketika mendeteksi perayapan situs yang tidak sah. Ini mengarahkan kembali bot yang menyinggung ke satu set konten yang dihasilkan AI. Dari sana, bot membuang -buang waktu dan sumber daya pemindaian halaman web palsu.
Perusahaan juga menggunakan jebakan ini untuk mengidentifikasi aktor buruk. Ini menambahkan mereka ke daftar di mana mereka dapat diblokir untuk selamanya.
CloudFlare adalah jaringan pengiriman konten (CDN) yang ada di antara pengunjung dan server web Anda. Menjebak dan memblokir bot AI pada level ini mencegah mereka mengakses situs Anda, menghemat beberapa bandwidth.
Ini adalah alat otomatis dan tidak memerlukan konfigurasi. Pengguna CloudFlare dapat menyalakannya dan bersantai.
Kendalikan siapa yang merangkak situs web Anda
Untuk semua kenyamanan alat AI, ada kekhawatiran tentang bagaimana mereka mendapatkan konten. Mengizinkan bot mereka akses yang tidak terkekang ke situs web bermasalah. Perusahaan yang terlalu bersemangat dapat memperlambat situs Anda dan memakan sumber daya server Anda.
Masalahnya kemungkinan akan menjadi lebih buruk, mengingat tidak adanya regulasi. Perusahaan AI dapat memilih untuk tidak mematuhi robots.txt permintaan, dan tidak ada yang membuatnya. Itu membuat pemilik situs, host web, dan perusahaan keamanan untuk mengambil kendur.
Situasinya mirip dengan Fighting Spam. Kami menggunakan kombinasi alat manual dan otomatis untuk mengurangi masalah ini. Namun, beberapa aktor buruk pasti menyelinap melalui celah.
Tidak ada solusi di atas yang sempurna, tetapi mereka memberikan bantuan dari fenomena baru ini. Di sini berharap masa depan membawa metode baru yang lebih efektif untuk menempatkan bot di tempat mereka.
Atas
