Robots.txt – co vše do něj zahrnout

pr0gr4mm3r

(4 hodnocení)

13. 7. 2011 19:59:37

Zdravím.

K webu vytvářím soubor robots.txt, kterým chci omezit vyhledávače, aby se nevrtaly tam, kde nechci.

Zajímá mě, co vše je a co není vhodné robotům zakazovat.

Zakázal jsem něco, co bych neměl?

Zapomněl jsem něco důležitého zahrnout?

Není zbytečné zakazovat přístup do konkrétních souborů php (např. config), přestože nic nevracejí? Šlo mi jen o to, aby si potenciální útočník nemohl snadno vyčíst mou souborovou a adresářovou strukturu z výsledků hledání.

Nechci, aby mi robot zaindexoval např. obrázky pro pozadí tlačítek, apod.

Děkuji za reakce.

13. 7. 2011 19:59:37

https://webtrh.cz/diskuse/robots-txt-co-vse-do-nej-zahrnout#reply655253

(39 hodnocení)

13. 7. 2011 20:41:28

ani jedno z toho nepatri do robots.txt

pokud jsou to veci na ktere nelinkujes z webu, tj. pouzivas je interne v aplikaci, "nema sanci" je robot najit, takze neni duvod je tam psat.

timhle jsi akorat pripadnemu utocnikovi ulehcil praci, ze vi, kde co ma hledat. pokud je ale dobre udelana aplikace a zabezpeceni, stejne tim nic neziska.

druha vec je, ze /core/, /tmp/ a config stejne spravne patri mimo webroot, takze nejsou pristupny pres http.

13. 7. 2011 20:41:28

https://webtrh.cz/diskuse/robots-txt-co-vse-do-nej-zahrnout#reply655252

Daniel Pospíšil

(13 hodnocení)

13. 7. 2011 20:49:19

Jak pise wt, naopak upozornis na adresare, kde nema co kdo delat :)

13. 7. 2011 20:49:19

https://webtrh.cz/diskuse/robots-txt-co-vse-do-nej-zahrnout#reply655251

pr0gr4mm3r

(4 hodnocení)

13. 7. 2011 20:53:18

Takže by tam mohl zůstat jen /theme/, protože na webu vede cesta k JavaScriptům, stylům, apod?

13. 7. 2011 20:53:18

https://webtrh.cz/diskuse/robots-txt-co-vse-do-nej-zahrnout#reply655250

Daniel Pospíšil

(13 hodnocení)

13. 7. 2011 21:05:40

Urcite jenom theme a ostatni zabezpecit proti pristupu do slozek (samozrejme vcetne theme)...

13. 7. 2011 21:05:40

https://webtrh.cz/diskuse/robots-txt-co-vse-do-nej-zahrnout#reply655249

pr0gr4mm3r

(4 hodnocení)

13. 7. 2011 21:11:25

Zakázat přístup do složky všem z venku stačí přes htaccess?:

A pro theme (kde se přistupuje z venku) bych musel specifikovat user-agenty?

13. 7. 2011 21:11:25

https://webtrh.cz/diskuse/robots-txt-co-vse-do-nej-zahrnout#reply655248

Daniel Pospíšil

(13 hodnocení)

13. 7. 2011 21:15:50

Tohle uz je na odborniky, tady se nechytam :)

13. 7. 2011 21:15:50

https://webtrh.cz/diskuse/robots-txt-co-vse-do-nej-zahrnout#reply655247

(39 hodnocení)

13. 7. 2011 21:21:44

jj, "deny from all" na tohle staci, ale stejne je lepsi to mit mimo webroot.

ten adresar s obr/css/js bych neresil, obzvlast pokud nebudes mit aktivni dirlist, tak ti tam zadny hodny bot (google, ...) nepujde (nenajde seznam tech souboru, to co linkujes z webstranek stejne nevypisuje ve vysledkach). zli boti stejne se tim neridi. to s ua by bylo spatne reseni. mohl bys tim "odriznout" i koho nechces.

13. 7. 2011 21:21:44

https://webtrh.cz/diskuse/robots-txt-co-vse-do-nej-zahrnout#reply655246

pr0gr4mm3r

(4 hodnocení)

13. 7. 2011 21:27:32

Umístit tyto věci mimo webroot určitě není špatný nápad. Předchozí webhoster mi něco podobného neumožňoval, tak jsem si na to nezvykl, ale upravím to tak jak mi radíš.

Adresář theme blokovat nebudu, napíšu ho pouze do robots.txt a budu spoléhat na slušnost vyhledávačů. Ono v tom adresáři není nic špatného, ale nechci, aby si někdo vygoogloval grafické prvky mého webu (např. odrážky, buttony,...). Pokud si to někdo bude chtít stáhnout, tak má možnost přes prohlížeč, ale aspoň na to omylem nenarazí přes Google Obrázky a nebude si myslet že je to royalty free.

Mockrát děkuji všem za rady, myslím že mám teď aspoň v něčem jasno :-)

13. 7. 2011 21:27:32

https://webtrh.cz/diskuse/robots-txt-co-vse-do-nej-zahrnout#reply655245

(20 hodnocení)

14. 7. 2011 17:52:33

ja tyhle slozky vetsinou ve webrootu mam (nebavi me to mit rozdelene), jen proste zakazu pristup zvenci pomoci htaccess... coz bohate staci... navic pokud chces scripty v tech adresarich ochranit jeste vic, budes mit v hlavni souboru definovanou promennou kterou nikde jinde nedefinujes a na zacatku kazdeho chraneneho souboru budes mit neo ve stylu if(!isset(PROMENA)) die('sory, pristup nepovolen') :)

14. 7. 2011 17:52:33

https://webtrh.cz/diskuse/robots-txt-co-vse-do-nej-zahrnout#reply655244

Pro odpověď se přihlašte.

Přihlásit