Edukira salto egin | Salto egin nabigazioara

Tresna pertsonalak

Eibarko peoria, San Blasa baino hobia
Hemen zaude: Hasiera / Blogak / Teknosexua / Robotak: maitasuna eta gorrotoa

Robotak: maitasuna eta gorrotoa

Gari Araolaza 2008/05/16 07:21
Bilatzaileen robotetaz ari naiz, sareko web orri guztiak bisitatzen dituzten horietaz. Beharrezkoak dira, baina arazo asko sortzen dituzte ere.

Azken bi egunetan webgune hau askoz hobeto dabil, ez dakit nabaritu duzuen. Plonera pasatu ginenetik errendimendu arazo handiak izan ditugu. Kontua da lehendik eduki asko zegoela, blog asko, sarrera asko, eta blog bakoitzak etiketa asko. Horrek orri kopuruan eragiten du. Googlek 18.000 orri baino gehiago indexatuta ditu eibar.org webgunean eta hori, sarbidea mugatuta dugula toki askotara!

Eta Google ez da bakarra. Yahoo dago, eta MSN, eta Nsyght, Yodao, Gigablast, Kilomonkey eta ezagutzen ez ditugun beste ehundaka bilatzaile. Bakoitzak bere BOT-a (roBOT) dauka, etengabe webguneetan nabigatzen ari diren programa batzuk, dena irakurri eta indexatzeko. Klik egile nekaezinak dira robot hauek. Googleren robotak Googlebot izena du adibidez, eta Yahoorenak Slurp.

Denek jakin nahi dute zer dagoen Eibar.org-en, beraien emaitzetan erakusteko. Horrek ikaragarrizko karga eragiten du webgunean, jo ta su ari bait da zerbitzaria, edukia bilatzaileentzat prestatzen. Kontutan izan webguneko elementu guztiak direla dinamikoak, eskatzen diren momentuan sortzen direnak.

Soluzioak badaude eta Erralek martxan jarrita ditu, Squid bezalako katxe kudeatzaileak adibidez. Squid-ek webguneko elementuak gordetzen ditu, berriz sortu beharrik ez izateko. Kontua da bilatzaile hauek ez dabiltzala orri bisitatuenetan, portadan erakusten direnetan bakarrik. Barru-barruan sartzen dira, lotura absurduenean ere klik eginez, eta hori absurdua denez, inork ez du lehenago bisitatu, eta ez da katxean egoten.

robots.txt, soluzio radikala

Herenegun erabaki genuen modu tenporalean behintzat robotei sarrera debekatzea. Horretarako robots.txt fitxategia erabiltzen da. Fitxategi horretan robotei esaten diegu webgunearen zein zatitan sartu daitezkeen eta zeinetan ez. Hau ez da erabiltzaile arrunten aukera bat, webguneen administratzaileen esku dagoena baizik. robots.txt fitxategiak egiten ikasi hemen

Azkar nabaritu dugu eragina. Atzo eta gaur ondo nabigatu daiteke webgune honetan. Hau beste gauza bat da.

Baina, bizi gaitezke robotik gabe?

Ez dut uste. Beharrezkoak dira. Jendea Googlera joan eta bilaketa egiten du, eta zure webgunea ez badu aurkitzen, ez zara existitzen. Beraz, robots.txt-a aldatu eta gaurtik aurrera Googleri sartzen utzi diogu. Izan ere Google bidez dator webgune honetako bisitarien erdia, eta beste webgune batzuetan ehuneko hau oraindik handiagoa da.

Ez zaigu neurria gustatzen, Interneten neutralitatearen aurka doa eta. Baina momentu honetan beste soluziorik ez dugu, eta hau ere nahikoa izango den ezin dugu jakin. Ikusiko dugu egun pare batean nola doan gauza, eta epe ertainean jarraitu beharko dugu soluzio bila.

Bisitariok nabaritu duzue aldaketa?

Txus
Txus dio:
2008/05/16 13:07

Ez dut uste gehiegi balioko dizuen, baina google reader-ek feedburner erabiltzen duenez ez dauka inolako arazorik.

Jozulin
Jozulin dio:
2008/05/16 18:37

Robotak diozu? Kontuz robotekin:

http://www.flickr.com/photos/51035610542@N01/sets/72157594291346788/

Eta bai, askoz ere arinago dabil orain eibar.org.

Joxe Aranzabal
Joxe Aranzabal dio:
2008/05/16 13:51

Aupa, Gari! Nik izugari igarri dut aldaketa: orain askoz ere bizkorrago datoz Eibar.org-eko kontuak. Lehen, berriz, nekagarria zen, oso. Zorionak, beraz.

tolon
tolon dio:
2008/05/17 20:37

Aupa Gari !!

Guk horrelako arazoak eduki izan ditugu, eta apachek berak ere ematen du katxea kudeatzeko aukera.

Delicious-en sarrera dexente dauzkat gai honekin (apache tag-arekin), hemen adibide pare bat:

http://plone.org/documentation/tutorial/optimizing-plone/tutorial-all-pages http://mnm.uib.es/gallir/posts/2006/09/26/819/

Seguru hau ere probatu dezuela, baina bueno, badaezpada ere.

Hontaz aparte, guk arazo bat genuen memoria ia guztia erabiltzen zuelako (zerbitzaria zahar xamarra da), eta swap partizioa ez genuen ondo eskalatuta. Hau konpontzeko swap memoria gehitu genion partizioko swap-ari fitxategi baten bidez swap gehiago sortuz.

Ondo segi.

jolaus
jolaus dio:
2008/05/16 12:38

Aupa Gari

Oso ekarpen ona Gari. Betidanik entzun izan ditut robot.txt inguruko komentarioak baina sekula ez dut garbi izan zer egiten duten eta zertarako diren. Artikulu honekin nituen zalantzak argitu zaizkit. Eskerrik asko.

Gari
Gari dio:
2008/05/17 09:40

Eskerrik asko erantzun duzuenoi. Ez nuke aditzera eman nahi robotak galeraztea denik soluzioa eta horrela geldituko garela. Robotei bidea ixtea soluzio azkarrena eta erradikalena da, baina webgune honen errendimendua hobetzen jarraitu behar dugu pixkanaka.

Iruzkina gehitu

Erantzuna formulario hau betez utzi dezakezu. Formatua testu arruntarena da. Web eta e-posta helbideak automatikoki klikagarri agertuko dira.

Galdera: Zenbat dira hiru ken lau (idatzi zenbakiz) ?
Erantzuna:
Aurkezpena

naiz. Teknogauza guzti hauetaz idazteko sortu nuen bloga, baina orain gai eta maiztasun librean nabil.