vlastní data v cz má snad jen Seznam, o jiném masivním českém crawleru nevím, není to technicky snadná disciplíná. I ten odkazovaný od gransyho používá http://commoncrawl.org jako zdroj dat.

Proč musí být český a co je za problém s ahrefs?

27. 12. 2019 20:38:13

https://webtrh.cz/diskuse/cesky-nastroj-na-pocet-backlinku/#reply1430127

Vladimír Pilný

(62 hodnocení)

27. 12. 2019 20:42:59

Zajímá mě český trh, možná i jako budoucí konkurence. Takže tu nic pořádného nemáme.

27. 12. 2019 20:42:59

https://webtrh.cz/diskuse/cesky-nastroj-na-pocet-backlinku/#reply1430126

Jan Horák (Gransy)

(22 hodnocení)

27. 12. 2019 20:46:28

Napsal Wladass;1560843
Zajímá mě český trh, možná i jako budoucí konkurence. Takže tu nic pořádného nemáme.

Zamerovat se pouze na CZ trh je ekonomicka sebevrazda a technicky polopeklo.

27. 12. 2019 20:46:28

https://webtrh.cz/diskuse/cesky-nastroj-na-pocet-backlinku/#reply1430125

TomasX

(4 hodnocení)

27. 12. 2019 21:11:22

max. ale jako zájmový projekt, nic pro zisk. Technicky to je velice obtížné, tj. bude to stát zdroje i lidi. Cpex dělá něco podobného, mají 70 % českého trhu a stejně jen tak tak vychází peněžně, protože si musí lidi najímat.

Dělat to globálně je zas vstup do velké konkurence. Osobně na tomhle poli nevidím potenciál.

27. 12. 2019 21:11:22

https://webtrh.cz/diskuse/cesky-nastroj-na-pocet-backlinku/#reply1430124

Vladimír Pilný

(62 hodnocení)

27. 12. 2019 21:16:26

Pro mě je to další z funkcí, která může pomoci lidem k registraci expirované domény.

27. 12. 2019 21:16:26

https://webtrh.cz/diskuse/cesky-nastroj-na-pocet-backlinku/#reply1430123

Jan Horák (Gransy)

(22 hodnocení)

27. 12. 2019 21:18:02

Napsal TomášX;1560846
max. ale jako zájmový projekt, nic pro zisk. Technicky to je velice obtížné, tj. bude to stát zdroje i lidi. Cpex dělá něco podobného, mají 70 % českého trhu a stejně jen tak tak vychází peněžně, protože si musí lidi najímat.
Dělat to globálně je zas vstup do velké konkurence. Osobně na tomhle poli nevidím potenciál.

Ja v tom potencial vidim a umim ho i vyuzit :D Ale pokud me data z CC za dva mesice delaji 10TB v DB, kterou mam na NVMe discich, tak je to proste ekonomicka sebevrazda :D (A to mam jen data pro stats :) Takze ani neresim content webu jako takovyho, opravdu jen linky sem / tam , zdroje obrazku a RSS/JS :) A pokud resim vlastni crawler (ano, mam svuj kterym dokazu sbirat vse potrebne a libovolne si ho upravit), tak potrebuju navic vykon/traffic na sber dat ktery uz mam jinak od CC. Pak si teprve clovek zacne vazit toho kolik stoji Ahrefs/Majestic :D

---------- Příspěvek doplněn 27.12.2019 v 21:20 ----------

Napsal Wladass;1560848
Pro mě je to další z funkcí, která může pomoci lidem k registraci expirované domény.

Tak proc si nezaplatis Ahrefs/Majestic, a nedas tyhle info jako premium fce ? Nikdo nepotrebuje stahovat data pro 1,3M domen a ty co potrebuji se rozhodnout pro nejaky konkretni z uzsiho vyberu par tisic domen si nebudou platit cely ucty - presne pro takovy se hodi mit toto jako premium sluzbu

Jedinej duvod proc to nemam je to, ze jsem linej se stavet se samostatnym interface (GUI) pro tu hromadu dat co mam vcetne placenych sluzeb, atd ... a mam proste svy majoritni prace az az :)

27. 12. 2019 21:18:02

https://webtrh.cz/diskuse/cesky-nastroj-na-pocet-backlinku/#reply1430122

TomasX

(4 hodnocení)

27. 12. 2019 22:25:32

Napsal gransy;1560849
Ja v tom potencial vidim a umim ho i vyuzit :D Ale pokud me data z CC za dva mesice delaji 10TB v DB, kterou mam na NVMe discich, tak je to proste ekonomicka sebevrazda :D (A to mam jen data pro stats :) Takze ani neresim content webu jako takovyho, opravdu jen linky sem / tam , zdroje obrazku a RSS/JS :) A pokud resim vlastni crawler (ano, mam svuj kterym dokazu sbirat vse potrebne a libovolne si ho upravit), tak potrebuju navic vykon/traffic na sber dat ktery uz mam jinak od CC. Pak si teprve clovek zacne vazit toho kolik stoji Ahrefs/Majestic

mít 10TB na nvme discích může být drahá sranda a není to nutnost. Umím postavit 100TB real time key value databázi s indexy za asi 40 tis měsíčně či 2M jednorázově za jednu lokalitu. Tohle jsou reálné ceny, které platí klienti. Na nvme většinou db nedáváme, jen cache a transakční logy, indexy, nikoliv data, bez raidu to nikdo neriskne.

Mít crawler jako SW není nijak vzácné, jak ale píšeš, slabé místo je trafik a databáze na ukládání. U vlastního HW stojí každý PB od 6M, u pronajatého stovky tisíc měsíčně. 10Gb/s linka jen do českého nix/cedry vyjde na tisíce měsíčně a kapacitně nemusí stačit.

Nevidím potenciál vzhledem ke vstupním nákladům, infrastrukturu musíš mít ještě dříve než začneš mít spousty klientů, bez dat jim nemáš co ukazovat.

Pak je tady další problém, často si tyhle clusterové databáze neumíš postavit sám, stejně tak ti je někdo musí udržovat. Schopného admina/programátora vyškolím za tři měsíce, v praxi to ale trvá i dva roky než se tým o to umí postarat sám. V tomhle právě nevidím potenciál, protože se podobné věci pro klienty stavím a je to dost drahé.

27. 12. 2019 22:25:32

https://webtrh.cz/diskuse/cesky-nastroj-na-pocet-backlinku/#reply1430121

Jan Horák (Gransy)

(22 hodnocení)

27. 12. 2019 22:29:48

Napsal TomášX;1560861
mít 10TB na nvme discích může být drahá sranda a není to nutnost. Umím postavit 100TB real time key value databázi s indexy za asi 40 tis měsíčně či 2M jednorázově za jednu lokalitu. Tohle jsou reálné ceny, které platí klienti. Na nvme většinou db nedáváme, jen cache a transakční logy, indexy, nikoliv data, bez raidu to nikdo neriskne.
Mít crawler jako SW není nijak vzácné, jak ale píšeš, slabé místo je trafik a databáze na ukládání. U vlastního HW stojí každý PB od 6M, u pronajatého stovky tisíc měsíčně. 10Gb/s linka jen do českého nix/cedry vyjde na tisíce měsíčně a kapacitně nemusí stačit.
Nevidím potenciál vzhledem ke vstupním nákladům, infrastrukturu musíš mít ještě dříve než začneš mít spousty klientů, bez dat jim nemáš co ukazovat.
Pak je tady další problém, často si tyhle clusterové databáze neumíš postavit sám, stejně tak ti je někdo musí udržovat. Schopného admina/programátora vyškolím za tři měsíce, v praxi to ale trvá i dva roky než se tým o to umí postarat sám. V tomhle právě nevidím potenciál, protože se podobné věci pro klienty stavím a je to dost drahé.

NVMe Disky pouzivam, protoze me pro realtime agregace pod Elasticem vychazeji nejlepe :) Ale tam samozrejme narazim pak na cenovy problem jak pises.

Jinak naprosto souhlasim s tim co pises, az jen na to ze se to da resit levneji, jen porad je to daleko za hranicemi Wladassova rozpoctu, ktery nepokryva ani placeny account u Ahrefs/Majestic :D

27. 12. 2019 22:29:48

https://webtrh.cz/diskuse/cesky-nastroj-na-pocet-backlinku/#reply1430120

Vladimír Pilný

(62 hodnocení)

27. 12. 2019 22:49:00

Já si nepotřebuji platit ahrefs, nebo Majestic. Já mám tyhle data zdarma a přemýšlím, jak je nejlépe využít.

27. 12. 2019 22:49:00

https://webtrh.cz/diskuse/cesky-nastroj-na-pocet-backlinku/#reply1430119

Jan Horák (Gransy)

(22 hodnocení)

27. 12. 2019 22:57:29