Scrapovani FB skupiny ktere jsem clenem – Selenium, atd

Ahoj, Pro moderatory: Toto neni poptavka vyvoje ale vec k diskuzi :) Vyvijet si chci sam :) Potrebuju pro nejaky interni domaci ucely scrapovat nektere FB skupiny kde jsem clenem, jejichz prispevky nejsou verejne dostupne. Konkretne prispevky ostatnich clenu ktere obsahuji vzdy fotku s nejakym popisem. Pokud se nepletu, je v tuto chvili uz prakticky jedina moznost to udelat pres “simulaci” uzivatele, napriklad pres Selenium ve spojeni s Chrome headless. Jenze zaboha se nemuzu dostat ani pres login. Stranku v poradku nactu, odklepnu cookie listu, vyplnim udaje, ale at pouziju jakykoliv zpusob odeslani prihlasovaciho formulare, stranka se prakticky jen reloadne bez prihlaseni. Muj dotaz zni - ma tu nekdo s tim realne zkusenosti z aktualne fungujiciho projektu? Pokud ano, jakou technologii pouzivate? Nejsem omezeny na zadny jazyk, muze to byt tedy v cemkoliv co pojede na Linuxu. Pripadne neznate nekdo funkcni knihovnu abych nedelal to co jiz nekdo udelal predemnou :) na Gitu jsem nebyl moc uspesny. Diky!

Těch proměnných může být více, které ovlivní to, jestli tě FB vyhodnotí jako robota nebo ne, je ideální když to děláš ze svého připojení a ne ze serverů, tam k tomu je háklivější.Tady je ukázka Selenium kódu z aktuálního běžícího projektu jedné velké instituce, která si takhle stahuje data pro hlídání rychlosti odpovědí své podpory.driver.get('https://www.facebook.com/')email = WebDriverWait(driver, 11).until(expected_conditions.element_to_be_clickable((by.CSS_SELECTOR,"input")))password = WebDriverWait(driver, 12).until(expected_conditions.element_to_be_clickable((by.CSS_SELECTOR,"input")))email.clear()password.clear()email.send_keys("test@example.com")password.send_keys("xxx")login = WebDriverWait(driver, 11).until(expected_conditions.element_to_be_clickable((by.CSS_SELECTOR,"button"))).click()Mám pozitivní zkušenosti s https://github.com/kevinzg/facebook-scraper, graph api poté také umožňuje některé údaje získat, tohle procházení webu ti dává občas náhodné výsledky a je těžké umět stáhnout vše.

pokud se přes přihlašování vůbec nedostaneš, máš možnost místo login/password použít cookies z prohlížeče, kde jsi přihlášený, to je takový malý hack, abys mohl jít dál a problém s přihlašováním vyřešil později (pokud se nevyřeší sám). Ono i v tomhle seleniu se nechce přihlašovat příliš často jinak opět hrozí, že ti to přestane jít.

Diky moc! Na ten facebook-scraper mrknu, vypada to zive, tak to vyzkousim. Ja to mam ted v Go ... a mam toto: selname := `//input` selpass := `//input` chromedp.EmulateViewport(1920, 2000), chromedp.Navigate(`https://www.facebook.com/`), chromedp.CaptureScreenshot(&b1), chromedp.WaitVisible(selpass), chromedp.Click(`//button`, chromedp.NodeVisible), chromedp.Sleep(2 * time.Second), chromedp.SendKeys(selname,****), chromedp.SendKeys(selpass,****), chromedp.Sleep(2 * time.Second), chromedp.Click(`//button`, chromedp.NodeVisible), chromedp.WaitVisible(`//body`), chromedp.CaptureScreenshot(&b2), a byt jsem zkousel vybirat ten button jak pres type, tak pres alt text, tak jsem nedocilil toho aby to zafungovalo. Nakonec jak si me nasmeroval tim, ze to fakticky nemam spatne, tak jsem zkusil teda jinou vec: na tom webu je jediny form, tak proste submitnu ten: selname := `//input` selpass := `//input` form := `//form` chromedp.EmulateViewport(1920, 2000), chromedp.Navigate(`https://www.facebook.com/`), chromedp.CaptureScreenshot(&b1), chromedp.WaitVisible(selpass), chromedp.Click(`//button`, chromedp.NodeVisible), chromedp.Sleep(2 * time.Second), chromedp.SendKeys(selname,****), chromedp.SendKeys(selpass,****), chromedp.Sleep(2 * time.Second), chromedp.Submit(form), chromedp.WaitVisible(`//body`), chromedp.CaptureScreenshot(&b2), A tady se mi podarilo uspesne prihlasit! Takze dekuju za nakopnuti, a jdu vyzkouset tu knihovnu :) H.

Nemáš za co, s FB to jsou vždy voloviny a pak rádi rozbíjí a mění cokoliv, někdy musíš dělat opravu dvakrát to měsíce, někdy to rok funguje bez problémů.Tu knihovnu jsme používali na podzim na hackethon, je živá a měla by kolem ní být komunita.