Robotak: maitasuna eta gorrotoa

Azken bi egunetan webgune hau askoz hobeto dabil, ez dakit nabaritu duzuen. Plonera pasatu ginenetik errendimendu arazo handiak izan ditugu. Kontua da lehendik eduki asko zegoela, blog asko, sarrera asko, eta blog bakoitzak etiketa asko. Horrek orri kopuruan eragiten du. Googlek 18.000 orri baino gehiago indexatuta ditu eibar.org webgunean eta hori, sarbidea mugatuta dugula toki askotara!

Eta Google ez da bakarra. Yahoo dago, eta MSN, eta Nsyght, Yodao, Gigablast, Kilomonkey eta ezagutzen ez ditugun beste ehundaka bilatzaile. Bakoitzak bere BOT-a (roBOT) dauka, etengabe webguneetan nabigatzen ari diren programa batzuk, dena irakurri eta indexatzeko. Klik egile nekaezinak dira robot hauek. Googleren robotak Googlebot izena du adibidez, eta Yahoorenak Slurp.

Denek jakin nahi dute zer dagoen Eibar.org-en, beraien emaitzetan erakusteko. Horrek ikaragarrizko karga eragiten du webgunean, jo ta su ari bait da zerbitzaria, edukia bilatzaileentzat prestatzen. Kontutan izan webguneko elementu guztiak direla dinamikoak, eskatzen diren momentuan sortzen direnak.

Soluzioak badaude eta Erralek martxan jarrita ditu, Squid bezalako katxe kudeatzaileak adibidez. Squid-ek webguneko elementuak gordetzen ditu, berriz sortu beharrik ez izateko. Kontua da bilatzaile hauek ez dabiltzala orri bisitatuenetan, portadan erakusten direnetan bakarrik. Barru-barruan sartzen dira, lotura absurduenean ere klik eginez, eta hori absurdua denez, inork ez du lehenago bisitatu, eta ez da katxean egoten.

robots.txt, soluzio radikala

Herenegun erabaki genuen modu tenporalean behintzat robotei sarrera debekatzea. Horretarako robots.txt fitxategia erabiltzen da. Fitxategi horretan robotei esaten diegu webgunearen zein zatitan sartu daitezkeen eta zeinetan ez. Hau ez da erabiltzaile arrunten aukera bat, webguneen administratzaileen esku dagoena baizik. robots.txt fitxategiak egiten ikasi hemen

Azkar nabaritu dugu eragina. Atzo eta gaur ondo nabigatu daiteke webgune honetan. Hau beste gauza bat da.

Baina, bizi gaitezke robotik gabe?

Ez dut uste. Beharrezkoak dira. Jendea Googlera joan eta bilaketa egiten du, eta zure webgunea ez badu aurkitzen, ez zara existitzen. Beraz, robots.txt-a aldatu eta gaurtik aurrera Googleri sartzen utzi diogu. Izan ere Google bidez dator webgune honetako bisitarien erdia, eta beste webgune batzuetan ehuneko hau oraindik handiagoa da.

Ez zaigu neurria gustatzen, Interneten neutralitatearen aurka doa eta. Baina momentu honetan beste soluziorik ez dugu, eta hau ere nahikoa izango den ezin dugu jakin. Ikusiko dugu egun pare batean nola doan gauza, eta epe ertainean jarraitu beharko dugu soluzio bila.

Bisitariok nabaritu duzue aldaketa?