Naprogramovani SW v pythonu na sosani dat

8. 2. 2021 12:31:55

ahoj,

mám technicky dotaz a (popřípadě za kolik by to někdo napsat v pythonu). Zvladne se v pythonu napsat (mam něco podbného, lehciho ale na jiný web v PHP) SW, kde by se naklikalo třeba 50x (a vice) konrteních URL , napriklad jde presne o tohle https://suchen.mobile.de/fahrzeuge/search.html?dam=0&isSearchRequest=true&ms=8800;10&sfmr=false&vc=Car kde by pak python do SQL zkopirroval a ulozil par dat, tedy: celkovy pocet nabizených aut (95), a pak detekoval jednotlive nabidky (jde to vyselektovat v HTML kde to najde) a je tam vždy odkaz na dané auto kde v URL je specificke ID pro danou nabidku, to by pak ulozil (vždy vse do SQL) jeho odkaz, plus prodejní cenu, nazev, EZ a dalsi data co jsou v nahledu a jdou pevne v HTML lehce najitelné. Pak další menší perlička aby sám python přesel na následující stranku a z tama by vysoola data o autech a tak pokracoval dokud nedojde do konce (tedy že dalsi stranka uz nejde). Předem děkuji za info jestli tohle python zvlada a jak moc je to asi slozite napsat nebo kolik by to rovnou stálo.

Předem diky

8. 2. 2021 12:31:55

https://webtrh.cz/diskuse/naprogramovani-sw-v-pythonu-na-sosani-dat/#reply1477460

(20 hodnocení)

8. 2. 2021 12:49:15

Ano, python, php, javascript, go, rust, to je fuk v cem to napises, vsude jde udelat co potrebujes :) Cenove se tyhle veci pohybovali od tisicovek do desetitisic, seslo hlavne an tom jak byl cilovej web zabezopecenej proti robotickymu dataminingu, protoze napsat samotnej parsing je vetsinou easy, na den prace treba, nekdy ani ne, ale kdyz te weby pak blokujou, tak se kolem musi delat dalsi kod co dokaze ty omezeni obchazet nebo s nima pracovat a to uz je dopredu neodhadnutelny.

8. 2. 2021 12:49:15

https://webtrh.cz/diskuse/naprogramovani-sw-v-pythonu-na-sosani-dat/#reply1477459

Venturi

(5 hodnocení)

8. 2. 2021 13:00:09

Napsal Aleš Jiříček;1614832
Ano, python, php, javascript, go, rust, to je fuk v cem to napises, vsude jde udelat co potrebujes :) Cenove se tyhle veci pohybovali od tisicovek do desetitisic, seslo hlavne an tom jak byl cilovej web zabezopecenej proti robotickymu dataminingu, protoze napsat samotnej parsing je vetsinou easy, na den prace treba, nekdy ani ne, ale kdyz te weby pak blokujou, tak se kolem musi delat dalsi kod co dokaze ty omezeni obchazet nebo s nima pracovat a to uz je dopredu neodhadnutelny.

v PHP mám práve neco pobného na jiný web, a jak pises stalo to 1000 Kč, ale bylo to min dat na sosaní, a taky jsem měl problem že po 1000 nacteni to bloklo IP adresu, ale vyresili jsem to nakonec postupným sosaním, že po 1 sekunde rozestup a max 999 za 24 hodin. Ovšem oni si to chraní spíše že jinak jsou ty data placená.

Ale pravda urcite by mě zajima aj nastavba co pak dal, a minimalne nastaveni rychlosti nacteni webu (at to naraz nenacita 50 webu) a max dotazu za urcity casový esek, ale to se uz pak zmeni ve zdrojovem kodu, dle zkušeností.

8. 2. 2021 13:00:09

https://webtrh.cz/diskuse/naprogramovani-sw-v-pythonu-na-sosani-dat/#reply1477458

Petr Simecka

21. 11. 2023 10:25:15

Python ma knihovny, pomoci kterych to lze udelat napr.

Beautiful soup pro Web scraping

MySQL client pro MySQL (samozrejme jsou knihovny i pro jine databae)

Vse ostatni zalezi na detailech - hlavni problem jsou ty Web stranky, ktere asi maji ruznou strukturu

21. 11. 2023 10:25:15

https://webtrh.cz/diskuse/naprogramovani-sw-v-pythonu-na-sosani-dat/#reply1522707

Jan Čejka

(1 hodnocení)

21. 11. 2023 10:56:45

Dost se toho dá v Pythonu udělat s knihovnami requests a BeatifulSoup.

Problém může být, pokud jsou to stránky renderované na straně klienta (třeba v Reactu).

Teď jsem takhle řešil dva weby pomocí knihoven selenium a seleniumbase.

21. 11. 2023 10:56:45

https://webtrh.cz/diskuse/naprogramovani-sw-v-pythonu-na-sosani-dat/#reply1522711

kurnik98

(3 hodnocení)

21. 11. 2023 11:13:22

Ano, python, php, javascript, go, rust, to je fuk v cem to napises, vsude jde udelat co potrebujes :) Cenove se tyhle veci pohybovali od tisicovek do desetitisic, seslo hlavne an tom jak byl cilovej web zabezopecenej proti robotickymu dataminingu, protoze napsat samotnej parsing je vetsinou easy, na den prace treba, nekdy ani ne, ale kdyz te weby pak blokujou, tak se kolem musi delat dalsi kod co dokaze ty omezeni obchazet nebo s nima pracovat a to uz je dopredu neodhadnutelny.

21. 11. 2023 11:13:22

https://webtrh.cz/diskuse/naprogramovani-sw-v-pythonu-na-sosani-dat/#reply1522713

Pro odpověď se přihlašte.

Přihlásit