Semalt: Conas Darodar Robots.txt a Bhac

Is gnáthchomhad téacs é comhad Robots.txt ina bhfuil treoracha maidir leis an gcaoi ar chóir do chraoltóirí gréasáin nó bots suíomh a chraobháil. Tá a bhfeidhmiú le feiceáil i róbónna innill chuardaigh atá coitianta i go leor suíomhanna Gréasáin optamaithe. Mar chuid den Phrótacal um Eisiamh Robots (REP), tá comhad robots.txt ina ghné riachtanach d’ábhar innéacsaithe láithreán gréasáin chomh maith le cur ar chumas freastalaí iarratais úsáideora a fhíordheimhniú dá réir.

Míníonn Julia Vashneva, Bainisteoir Sinsearach Rathúlachta Custaiméirí Semalt , gur gné de Optamú Inneall Cuardaigh (SEO) é an nasc, a bhaineann le trácht a fháil ó fearainn eile laistigh de do nideoige. Maidir leis na naisc "lean" chun sú nasc a aistriú, tá sé riachtanach comhad robots.txt a áireamh ar do shuíomh óstála láithreán chun gníomhú mar theagascóir ar an gcaoi a n-idirghníomhaíonn an freastalaí le do shuíomh. Ón gcartlann seo, tá na treoracha i láthair trí ligean nó dícheadú a dhéanamh ar an gcaoi a n-iompraíonn roinnt gníomhairí úsáideora ar leith.

Formáid Bhunúsach comhad robots.txt

Tá dhá líne riachtanacha i gcomhad robots.txt:

Gníomhaire úsáideora: [ainm gníomhaire úsáideora]

Dícheadú: [teaghrán URL gan a bheith crawled]

Ba cheart go mbeadh an dá líne seo i gcomhad robots.txt iomlán. Mar sin féin, is féidir go mbeadh línte iomadúla gníomhairí úsáideora agus treoracha i gcuid acu. D’fhéadfadh go mbeadh gnéithe cosúil le ceadanna, dícheadú nó moilleanna crawlála sna horduithe seo. De ghnáth bíonn briseadh líne ann a scarann gach tacar treoracha. Tá gach ceann de na treoracha ceadaithe nó dícheadaithe scartha leis an mbriseadh líne seo, go háirithe i gcás na robots.txt le línte iolracha.

Samplaí

Mar shampla, d’fhéadfadh go mbeadh cóid mar seo a leanas i gcomhad robots.txt:

Gníomhaire úsáideora: darodar

Dícheadaíodh: / breiseán

Dícheadaíodh: / API

Dícheadú: / _comments

Sa chás seo, is comhad bloc robots.txt é seo a chuireann srian ar crawler gréasáin Darodar rochtain a fháil ar do shuíomh Gréasáin. Sa chomhréir thuas, blocálann an cód gnéithe den suíomh Gréasáin mar fhorlíontáin, API, agus an chuid tuairimí. Ón eolas seo, is féidir buntáistí iomadúla a bhaint amach as comhad téacs robot a fhorghníomhú go héifeachtach. Is féidir le comhaid Robots.txt a bheith in ann a lán feidhmeanna a chomhlíonadh. Mar shampla, is féidir leo a bheith réidh le:

1. Lig do gach ábhar crawlers gréasáin isteach ar leathanach suíomh Gréasáin. Mar shampla;

Gníomhaire úsáideora: *

Dícheadaíodh:

Sa chás seo, is féidir rochtain a fháil ar an ábhar úsáideora go léir trí aon crawler gréasáin a iarrtar air teacht ar shuíomh Gréasáin.

2. Cuir bac ar ábhar gréasáin ar leith ó fhillteán ar leith. Mar shampla;

Gníomhaire úsáideora: Googlebot

Dícheadaíodh: / example-subfolder /

Baineann an chomhréir seo ina bhfuil ainm gníomhaire úsáideora Googlebot le Google. Cuireann sé srian ar an bot rochtain a fháil ar aon leathanach gréasáin sa téad www.ourexample.com/example-subfolder/.

3. Cuir bac ar crawler gréasáin ar leith ó leathanach gréasáin ar leith. Mar shampla;

Gníomhaire úsáideora: Bingbot

Dícheadú: /example-subfolder/blocked-page.html

Baineann an bot Bing-ghníomhaire úsáideora le crawlers gréasáin Bing. Cuireann an cineál seo robots.txt comhad srian ar an crawler gréasáin Bing rochtain a fháil ar leathanach ar leith leis an tsreang www.ourexample.com/example-subfolder/blocked-page.

Eolas tábhachtach

  • Ní úsáideann gach úsáideoir do chomhad robts.txt. D’fhéadfadh sé go gcinnfeadh úsáideoirí áirithe neamhaird a dhéanamh air. I measc an chuid is mó de na crawlers gréasáin sin tá Trojans agus malware.
  • Le go mbeidh comhad Robots.txt le feiceáil, ba cheart go mbeadh sé ar fáil san eolaire láithreán gréasáin barrleibhéil.
  • Tá na carachtair "robots.txt" cás-íogair. Mar thoradh air sin, níor cheart duit iad a athrú ar bhealach ar bith lena n-áirítear caipitliú roinnt gnéithe.
  • Is fearann poiblí é an "/robots.txt". Is féidir le duine ar bith a bheith in ann an fhaisnéis seo a fháil ach í a chur le hinneachar aon URL. Níor cheart duit sonraí nó leathanaigh riachtanacha a innéacsú a theastaíonn uait go bhfanfadh siad príobháideach.