Zadejte hledaný výraz...

Import RSS feedu cez Cloudflare DDOS ochranu (5 sekund)

Zdar.
Riesil niekto stahovanie RSS na ftp zo zdroja, ktory ma Cloudflare tzv (under attack) DDOS ochranu?
Mam v php jednoduchy kod:
set_time_limit(0);
$fp = fopen ('./news.xml', 'w+');
$ch = curl_init('https://demosite.com/feed/');
curl_setopt($ch, CURLOPT_FILE, $fp);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 120);
curl_setopt($ch, CURLOPT_TIMEOUT, 120);
curl_exec($ch);
curl_close($ch);
fclose($fp);
Klasika, otvorit subor, nahrat feed, ulozit.
Lenze dany web ma Cloudflare ochranu 5 sekund s naslednym redirectom na feed.
Teraz mi to ulozi len stranku s info od Cloudflare.
Skusal som viac veci zo stackoverflow + google + rozne WP rss importery, ale bez uspechu.
Je to vobec v PHP realizovatelne?
Diky moc.
4. 3. 2022 07:30:44
https://webtrh.cz/diskuse/import-rss-feedu-cez-cloudflare-ddos-ochranu-5-sekund#reply1499083
TomasX
verified
rating uzivatele
(4 hodnocení)
4. 3. 2022 08:51:27
to přesměrování probíhá přes js, je těžké obejít CF obranu, která se ještě mění v čase. Požádej druhou stranu, aby pro tuhle adresu vypnula ochranu a aby využila CF CDN pro distribuci těhle souborů (nebo aspoň cachování). Je chyba provozovatele, že má zapnutou JS bránu i pro adresy, které se mají strojově zpracovávat.
4. 3. 2022 08:51:27
https://webtrh.cz/diskuse/import-rss-feedu-cez-cloudflare-ddos-ochranu-5-sekund#reply1499082
@TomášX
Dík.
Ono to bude trosku problem asi. Ide o Ukrajinsky dennik, resp. 3 denniky s touto ochranou feedu (I'm under attack).
Tak sa poobzeram ci nie je nejake JS riesiene s header.
4. 3. 2022 09:14:02
https://webtrh.cz/diskuse/import-rss-feedu-cez-cloudflare-ddos-ochranu-5-sekund#reply1499081
TomasX
verified
rating uzivatele
(4 hodnocení)
4. 3. 2022 09:21:12
v tom případě můžeš využít ty různé headless prohlížeče ala phantomjs a jiné, ty přes to procházejí dobře.
4. 3. 2022 09:21:12
https://webtrh.cz/diskuse/import-rss-feedu-cez-cloudflare-ddos-ochranu-5-sekund#reply1499080
Pro odpověď se přihlašte.
Přihlásit