nastaveni robots.txt

Muskwa

(25 hodnocení)

1. 9. 2007 14:32:20

Ahoj,

prosím poradili byste někdo s tím, jak nastavit robots.txt?

Mám na webu složku:

public_html/shop, která je takto přesměrovaná pomocí .htaccess

# RewriteCond $1 !^shop/

# RewriteCond %{HTTP_HOST} ^shop.example.cz

# Rewriterule (.*) /shop/$1

Zatím to ale není hotové a nerad bych, aby mi do toho lezl třeba google a začal něco indexovat... v robots.txt jsem zakázal složku /shop/, ale nevím, jak nastavit, aby tam googlebot nevlezl přes shop.example.cz?

//trochu OT - až potom budu chtít začít indexovat, tak bych měl to Disallow /shop/ ponechat, a nechat jenom subdoménu, aby nebyly duplicity, že jo?

Dík!

1. 9. 2007 14:32:20

https://webtrh.cz/diskuse/nastaveni-robots-txt#reply18204

Tomáš Kapler

1. 9. 2007 20:02:43

no jestli je subdoména ve vlastním adresáří, tak pak do toho adresaáře dát robots.txt a zakázat vše.

a jestli je to zároveň subsložka u domény druhé úrovně (což je btw kravina), tak přidat jen disallow na /nazev-složky do robots.txt na doméně druhé úrovně.

robots.txt je platný vždy pro celou doménu (libovolné úrovně) a jen tu konkrétní doménu, nikoliv tedy její poddomény (kteréžto mohou být někde úplně jinde, takže by to nedávalo smysl)

1. 9. 2007 20:02:43

https://webtrh.cz/diskuse/nastaveni-robots-txt#reply18203

Muskwa

(25 hodnocení)

1. 9. 2007 21:43:35

no k téhle složce lze přistupovat dvěma způsoby:

www.example.cz/shop

shop.example.cz/

udělal jsem to kvůli drupalu, který tu stránku zablokuje a hodí 404, pokud napíšu www.example.cz/shop - někde jsem to našel na jejich fórech

btw proč myslíš, že to je blbost? jako je fakt, že rozdíl moc velký není, ale opticky mi to připadá lepší?...

takže stačí nechat v centrálním robots.txt zablokováno /shop/ ?

1. 9. 2007 21:43:35

https://webtrh.cz/diskuse/nastaveni-robots-txt#reply18202

Muskwa

(25 hodnocení)

2. 9. 2007 08:18:14

omyl, blbě jsem to popisoval...

potřeboval bych zablokovat http://shop.neco.cz/index.php?x=y

ted jsem to overoval ve webmaster tools a tamto predtim nefunguje... na tu subdomenu mi to rika "not in the domain"... pak ale nevím, co mám dělat, když je tato subdoména zároveď "www.neco.cz/shop" ?

Dík moc za jakoukoliv pomoc!

2. 9. 2007 08:18:14

https://webtrh.cz/diskuse/nastaveni-robots-txt#reply18201

Jakub Stacho

(20 hodnocení)

2. 9. 2007 14:48:26

Nejjednodušší bude ručně vytvořit subdoménu shop a do ní vložit robots.txt, který bude zakazovat index.php. Pokud jsem tě teda správně pochopil...

Samotné PHP to nerozliší, protože ono nepozná, jak byla stránka volána. Pokud otevřeš adresu example.com/neco, stejně si mod_rewrite vyžádá index.php?neco=neco...

Stejně ale trochu nechápu smysl tvého snažení, protože pokud na tu ošklivou adresu nepovede žádný odkaz, vyhledávač si to sám nevymyslí...

2. 9. 2007 14:48:26

https://webtrh.cz/diskuse/nastaveni-robots-txt#reply18200

jirin

(5 hodnocení)

2. 9. 2007 14:56:00

Nevim, zda tomu prilis rozumim, ale proc neudelat robots.txt pres mod_rewrite na php skript a tam rozlisovat co se realne vola a to pripadne vyblokovat

Ja tak resim napriklad sitemapy, mam nekolik subdomen a tam kdyz se vola subdomena.exapmle.cz/sitemap.xml smeruju na sitemap.php v rootu a tam si vyberu co potrebuju...

2. 9. 2007 14:56:00

https://webtrh.cz/diskuse/nastaveni-robots-txt#reply18199

Kovboj

(13 hodnocení)

2. 9. 2007 15:50:25

A jde ti opravdu jen o vyhledávače nebo aby to tam zatím 'nikdo nelezl'?

Nebylo by jednodušší dát na začátek skriptu nějakou jednoduchou podmínku, aby se obsah zobrazil jen na tvojí IP a ostatní aby viděli nějaky text typu 'under construction'?

2. 9. 2007 15:50:25

https://webtrh.cz/diskuse/nastaveni-robots-txt#reply18198

Jakub Stacho

(20 hodnocení)

2. 9. 2007 16:04:27

No, nebo do htaccess přidat něco jako

2. 9. 2007 16:04:27

https://webtrh.cz/diskuse/nastaveni-robots-txt#reply18197

Muskwa

(25 hodnocení)

2. 9. 2007 16:48:24

Nejjednodušší bude ručně vytvořit subdoménu shop a do ní vložit robots.txt, který bude zakazovat index.php. Pokud jsem tě teda správně pochopil...

to bych rád, ale moc těmhle věcem ještě nerozumím... zatím jsem rád, že jsem tady na fóru našel kód, ten vložil do .htaccess a směruje se to do tý složky v public_html

ohledně té subdomény - na jiném hostingu, co jsem kdysi měl, stačilo v rootu webu vytvořit adresář a ta byla hned subdoména - tam kde hostuji teď, když vytvořím složku v rootu, tak mi to hodí 500 Internal Server Error :( ... když jsem se ptal na podpoře, řekli mi, že nastavit tohle je placená služba, tak jsem to nakonec udělal tak, jak píšu... kdyby někdo věděl co s tím jde dělat, případně přesně mám napsat podpoře, pls poraďte.

A jde ti opravdu jen o vyhledávače nebo aby to tam zatím 'nikdo nelezl'?

no zatím mi jde o hlavně o to, aby se to nezačalo indexovat, než vytvořím definitivní strukturu přes mod_rewrite... počítám, že lidi tam nepolezou, páč nikde na tu subdoménu není žádný odkaz. Doufám, že googlebot si to taky nenajde, když nejsou nikde odkazy, ale chtěl jsem tohle pro jistotu...

No, nebo do htaccess přidat něco jako

deny from all
allow from 123.123.123.123

tohle vypadá zajímavě, to ale musím napsat až do toho .htaccess pro tu subdoménu, co?

Dík za pomoc, hlavně pokud byste věděli jak udělat tu samotnou subdoménu...

2. 9. 2007 16:48:24

https://webtrh.cz/diskuse/nastaveni-robots-txt#reply18196

jirin

(5 hodnocení)

2. 9. 2007 17:09:42

Snad nechteji platit za to, ze chces mit subdomenu, tu snad kazdy nabizi zdarma ne? Jestli ne, doporučuji přechod.

Jinak pokud nidke neodkazujes google by to nemel mit, jak najit, google najde jen nove zalozene domeny ale subdomeny snad ne

2. 9. 2007 17:09:42

https://webtrh.cz/diskuse/nastaveni-robots-txt#reply18195

Jakub Stacho

(20 hodnocení)

2. 9. 2007 17:26:47

Pokud si nemůžeš vytvořit subdoménu tak prostě přidej mod_rewrite podmínku, která bude při volání shop.example.com/robots.txt podstrkávat obsah nějakého robots.txt, které může být fyzicky uloženo kdekoliv jinde.

2. 9. 2007 17:26:47

https://webtrh.cz/diskuse/nastaveni-robots-txt#reply18194

Pro odpověď se přihlašte.

Přihlásit