File robots.txt sing disimpen ing root situs web bakal nyatakake robot web kaya labels search engine apa direktori lan file sing diijini nyusup. Gampang nggunakake file robots.txt, nanging ana sawetara perkara sing kudu sampeyan eling:
- Robot web topi ireng bakal nglirwakake file robots.txt sampeyan. Jenis sing paling umum yaiku bot malware lan robot-robot sing nggoleki alamat email kanggo panen.
- Sawetara programmer anyar bakal nulis robot-robot sing nglirwakake file robots.txt. Iki biasane dilakoni kanthi kesalahan.
- Sapa bisa ndeleng file robots.txt sampeyan. Wong-wong iku tansah disebut robots.txt lan tansah disimpen ing root saka situs web.
- Pungkasan, yen wong nyambung menyang file utawa direktori sing dikecualake saka file robots.txt saka kaca sing ora dikecualake dening file robots.txt, mesin telusur bisa nemokake.
Aja nggunakake file robots.txt kanggo ndhelikake apa-apa sing penting. Nanging, sampeyan kudu nglebokake informasi penting ing sandhi sing aman utawa ninggalake web kanthi bener.
Cara Nganggo File Sampel Iki
Nyalin teks saka sampel sing paling cedhak karo apa sing pengin dilakoni, lan paste menyang file robots.txt. Ngganti robot, direktori, lan jeneng file kanggo cocog konfigurasi sing disenengi.
Two Basic Robots.txt Files
Anggota-agen: *
Disallow: /
Berkas iki ngendika manawa robot (User-agent: *) sing ngakses ngirim ora nglirwakake saben kaca ing situs kasebut (Disallow: /).
Anggota-agen: *
Disallow:
Berkas iki ngendika manawa robot (User-agent: *) sing ngakses bisa diijini saben kaca ing situs kasebut (Disallow:).
Sampeyan uga bisa nindakake iki kanthi ninggalake file robots.txt sing kosong utawa ora nduweni siji ing situs sampeyan.
Nglindhungi Spesifik Direktori Saka Robot
Anggota-agen: *
Disallow: / cgi-bin /
Disallow: / temp /
Berkas iki ngandharake yen robot (Agen-agen: *) sing ngakses ngirim ora nggatekake direktori / cgi-bin / lan / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Nglindhungi Kaca-kaca Spesifik Saka Robot
Anggota-agen: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
Berkas iki ngendikan manawa robot (Agen-agen: *) sing ngakses ngirim ora nglirwakake file /jenns-stuff.htm lan /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Nyegah Robot Spesifik saka Ngakses Site
User-agent: Lycos / xx
Disallow: /
Berkas iki ngendika menawa bot Lycos (User-agent: Lycos / xx) ora diijini akses ing ngendi wae ing situs kasebut (Disallow: /).
Ngidini Mung Akses Robot Spesifik
Anggota-agen: *
Disallow: /
Agen panganggo: Googlebot
Disallow:
Berkas iki pisanan ngidini kabeh robot-robot kaya kita nindakake ing ndhuwur, banjur kanthi tegas ngidini Googlebot (User-agent: Googlebot) duwe akses menyang kabeh (Disallow:).
Gabungan Multiple Lines kanggo Njaluk Kanthi Exclusions Pengin
Nalika iku luwih apik kanggo nggunakake baris Agen-inclusive banget, kaya Anggota-agen: *, sampeyan bisa minangka tartamtu sing kaya. Elinga yen robot-robot bisa maca file kasebut. Dadi yen baris pisanan ngomong yen kabeh robot diblokir saka kabeh, lan banjur ing file kasebut, kabeh robot diijini akses menyang kabeh, robot bakal nduweni akses menyang kabeh.
Yen sampeyan ora yakin manawa sampeyan wis nulis file robots.txt kanthi bener, sampeyan bisa nggunakake Alat Webmaster Google kanggo mriksa file robots.txt utawa nulis sing anyar.