Vytvoření robota - automatický nákup na eshopu - náročnost

Čau,
není to úplně poptávka, ta bude následovat, jde mi o zjištění ceny.

Jsou eshopy, kde se čas od času prodává něco sběratelskýho, drahýho, exkluzivního, investičního atd., hlídací pes je k ničemu, protože ten refreshuje párkrát za den, a to zboží je pryč v řádů minut, takže to chce robota na míru.

Jde mi o to, jak náročný je naprogramovat takovou fičuru, která zjistí prodej danýho předěmtu hned v čase jeho zveřejnění (asi díky napojení na hlídacího psa) na eshopu a dokáže to i koupit/vložit do košíku.

Díky za info.

Trosku to rozved, lebo

hlídací pes je k ničemu, protože ten refreshuje párkrát za den

hned v čase jeho zveřejnění (asi díky napojení na hlídacího psa)

si odporuje. Bude sa cakat na zmenu stavu naskladnenia na presnej url? Alebo sa bude tovar priamo vyhladavat (napr. pouzitim klucovych - presnych - frazi) ? Jedna sa o jeden eshop, alebo ich bude viac?

Sám tvrdíš, že "hlídací pes je k ničemu, protože ten refreshuje párkrát za den", tak potom nechápu to "napojení na hlídacího psa" v dalším odstavci.

Obecně bych to viděl na nějaký node.js, python, bash, ... prostě něco, co si může v konzoli na serveru běžet 24/7 a třeba jednou za minutu zkontrolovat eshop (většina PHP hostingů neumožňuje minutový cron a delší intervaly ti jsou zas k ničemu protože za 15 minut už to zboží může být pryč, ale pokud bys takový našel, tak teoreticky může být i PHP).

Taky je otázka, jak moc to chceš mít rozšiřitelný do budoucna. Jednoúčelový skript je levnější, ale zas bude dražší přidávat další e-shopy.

Nebo jestli má programátor ten skript kontrolovat na memory leak, aby se ti třeba po 2 měsících nestalo, že skript sežere všechnu volnou RAMku a spadne kvůli tomu že si sám nebo nějaká knihovna 3. strany po sobě neumí uklidit.

Chceš, aby ti programátor ten skript upravil v případě, že se změní HTML kód e-shopu? (Protože v tu chvíli je pravděpodobnost, že ten skript přestane fungovat)

A nakonec bys měl do poptávky uvést i odkazy na konkrétní e-shopy, případně detaily těch produktů na eshopu, a jak konkrétně se pozná, že je zrovna ten produkt k dispozci. To umožní, abys dostal víc relevantní nabídky a nemusel to pak s každým řešit individuálně.

---

Takže ve výsledku hrubě odhaduju 5k až 30k.

ne:
Jde o jeden eshop, běží na shoptetu, jestli je to podstatný, a s tím psem to bylo jen přirovnání, protože jak to funguje přesně nevím, ale napadají mě dva scénáře: 1) Pes to vidí hned, ale zaštěká až při pravidelným intervalu, třeba každých 30 minut, nebo 2) Pes to vidí jen při kontrole každých 30 minut a štěká hned.

Jestli se bude čekat na změnu naskladnění, nebo vyhledávání netuším, podle toho, co je lepší, to já fakt nevím.

Petr
Hele asi by si stačilo pro tenhle jeden konkrétní případ, nicméně univerzální by byl taky fajn. Konkretizovat veřejně nechci.

ten produkt ktory chces kupit existuje na nejakej url, len je "vypredany", a naskladni sa raz za cas?

alebo sa dany produkt pri predaji vzdy na novo vytvori?

Produkt má URL.

osobne by som to rozdelil na dve casti..

jeden script bude "master", ktory bude obsahovat co a kde sa hlada.. v nom sa bude dat upravit trebars sledovana url.. a pod..

niekolko scriptov bude "slave", rozmiestnenych na niekolkych low-cost hostingoch s cronom.. slave sa najprv opyta master-a, ci a co ma zistovat a potom kontaktuje eshop.. vyhodou viacerych slave-ov bude to, ze si budu konkurovat (vacsia sanca odchytu), a prevadzkovatel eshopu to hned neodstreli (aspon je teda mensia sanca)..

a kludne to moze byt v php

Nevím, jakého konkrétního hlídacího psa máš na mysli (odhaduju nějakou interní featuru Shoptetu, kde si můžeš dát upozornění na mail, že produkt je skladem), ale pokud nemáš možnost upravovat jeho zdroják, tak to přes něj nepůjde zjistit jinak než v tomhle intervalu.

Shoptet, produkt má stálou URL a jen není skladem. To jsou dostatečný informace a programátor si to pak už může nasimulovat (vytvoří si testovací e-shop na Shoptetu a bude produktu ručně v adminu dávat různý množství skladem).

hele zas tak slozity to neni, programoval sem takovy systemy skoro co sem na internetu, protoze sem magor do automatizace...

Uskali vidim v tom, ze je treba ty roboty prakticky porad hlidat ze bezi jak maj a ze se na strance nezmenilo vubec nic v celym procesu co by zpusobilo selhani... To znamena ze budes muset napsat system co bude zaroven kontrolovat robota, ze bezi a dela co ma a zaroven hlidat, ze se na webu nezmenilo nic a tudiz robot je stale schopen objednavat, cimz se to cele trochu komplikuje, furt nic nemozneho... Ale I pro zkusenenho vyvojare uz to muze vzit par dni na takovou tu zakladni kostru co bude dostatecne robustni aby sama sebe uhlidala... na jeden eshop... musel by ses vic rozepsat, aby se dalo mluvit min obecne... Pokud by ti stacilo naky obecnejsi hlidani a upozornovani a proces by sis dokoncil sam, cely by se to dost zjednodusilo...

co som zbezne kukol, tak produkty skladom maju form na vlozenie do kosika, cize staci sledovat ci na predmetnej url je tento form..

objednavka by prebehla naprogramovanym odosielanim post requestov (pokial tam nie je csrf, ak je tak sa to da tiez vyriesit), bez sledovania obsahu stranky. Najcastejsie sa meni dizajn stranok, samotna logika aplikacie nie tak casto.

samokontrolny robot, to je uz ina kava, tam naozaj treba ratat niekolko dni a to uz nebude za hubicku

Dík Aleši, ono by stačilo mít to jen po ruce, protože vždycky dopředu víš den, kdy se to bude prodávat, takže by se nasadil vždycky jen na ten den.

hele zas tak slozity to neni, programoval sem takovy systemy skoro co sem na internetu, protoze sem magor do automatizace...

ja som tiez tymto zacinal.. :D ak si dobre pamatam, moj prvy robot "vykradal" mp3 z roznych databaz :D

Ale Zufankuv pes je rychly a hlavne sberatelske jsou prodane v radu minut:)

Ale ano, slo by to...

Zo zvedavosti, ako by sa to technicky riesilo? Vidim totiz problem v javascripte. Stiahnut si nejaku stranku a prechadzat odkazy je hracka, lenze v dnesnej dobe je plno webov bez JS absolutne nefunkcnych takze treba nejaky embedovany browser engine ktory vie interpretovat JS a simulovat plnohodnotneho uzivatela. Ked som robil este s PHP tak sa na akceptacne testy pouzivalo Selenium. Ale pride mi to pre nieco taketo dost nestastne riesenie, tak ma zaujima co dnes fici na taketo veci(Casper/PhantomJS, Servo...)?

99% webu prece bez problemu donutis treba vytvorit objednávku odesláním serie http pozadavku. Skoro zadny weby ani dneska nekontrolujou jestlis to udelal prohlizecem nebo automatem. Tzn. Ti staci v naprosty vetsine případů curl a trochu vynalezavosti, jak na cteni dat tak na odesilani... Jo, delame i o dost slozitejsi veci, to už si proste rozjedes prohlížecovy jadro jako samostatnej program a nasimulujes celyho cloveka :D ale to je treba fakt hodne vyjimecne...

Riesi sa to "zaostalym" http protokolom. Dopredu zistis ake requesty su potrebne k pozadovanemu cielu a tie napodobujes. Ziadny podobny robot sa neserie s celkovym kontextom. JS je len obalka a netvori ziadny problem.

Původně odeslal Michal Kubíček

Ale Zufankuv pes je rychly a hlavne sberatelske jsou prodane v radu minut:)

Ale ano, slo by to...

No prave proto moc rychly neni, resp. roboti jsou rychlejsi.

je to jednoduchý pokud eshop není chráněn proti robotům (google recaptcha, cloudflare atd.). Občas bývá komplikace, že se to blbě testuje.

Pokud jde o Žufánka, budeš bojovat proti hodně rychlým robotům, kluci tady kolem mě se předháněji. Je to u ajťáků oblíbený.

:(((

Nechces napsat na eshop, ze pokud bude mit k dispozici dane zbozi, ze to hned koupis? Muzes jim poslat rovnou zalohu.

Kktina psat bota na tento jeden produkt.

Původně odeslal Oleg

Nechces napsat na eshop, ze pokud bude mit k dispozici dane zbozi, ze to hned koupis? Muzes jim poslat rovnou zalohu.

Pobavils :DDDD

Původně odeslal vodička

Pobavils :DDDD

Proc?

Protoze se prodava treba 50 ks a zajemcu jsou tisice? Tak to uplne nechodi u sberatelskych kousku, ze jim napises, at ti jeden podrzi :D

Původně odeslal vodička

Protoze se prodava treba 50 ks a zajemcu jsou tisice? Tak to uplne nechodi u sberatelskych kousku, ze jim napises, at ti jeden podrzi :D

Je to prece vec domluvy, zavolej, zeptej se. Kupujes rytinu, grafiku?

Ne, neni to vec domluvy, takhle to fakt nefunguje, navic zufanek neni zadnej lidumil :(

A minutové spouštění cronu (když to v základu většina hostingů nemá) používám https://cron-job.org Jediné omezení je, že script nesmí běžet déle než 30 vteřin. Takže by se o to mohl starat i PHP skript. Minimálně na zjištění jestli se aktuálně produkt dá koupit. S tím komplet nákupem už si nejsem tak jistý, ale docela bych věřil, že Shoptet bude mít ošetřené post požadavky z jiné url.

Vim jiste, ze to jde, protoze ty kusy se prodaj v radu minut a to neni lidsky mozny.

ano jde, majitel to myslím psal na facebooku, když si tam stěžovali, že to nejde koupit.

Jako mohli tam dát nějakou ochranu no, bylo by to pak víc pro lidi, ale nedivim se.

Zufanek na FB postoval ve stories, ze bylo vyprodano behem 12 vterin. A ze aspon vi, koho pro priste zablokovat...