AWS Lambda – využití

Ahoj, rád bych se zeptal, zda někdo již máte zkušenost a tedy praktické využitá pro službu od AWS Lambda? Zajímalo by mě na jaké projekty se dá využít. Případně zda by šlo využít tak, že by se mi díky této funkci spouštěla transformace XML souboru na základě určitých XSLT šablon. Díky za sdílení zkušeností a případnou reakci ohledně mého námětu.

Ano, šlo by to tak využít, ale musel bys mít externí aplikaci, která bude lambdu provolávat, s tím ale předpokládám počítáš.Lambda je užitečná na vše, co potřebuješ volat jen nárazově (platíš za dobu, kdy je aktivní) a nepotřebuješ databázi a na data ti stačí jen omezeně s3.Použití na transformace různých souborů je právě jeden z nejlepších use casů, máš totiž pod kontrolou kdy a jak často to budeš volat (narozdíl od webu, kdy ti rozpočet vysají roboti). Na s3 si umístíš data a pak si budeš provolávat lambdu a budeš soubory zpracovávat ideálně hromadně a nikoliv průběžně. Zpracovat takhle tisíce dokumentů může být otázka pár minut s náklady pár centů a to celé s vysokou dostupností. Takže OCR, generování pdf, transformace atd. jsou dobrá cesta.

Napsal TomášX;1659872

Ano, šlo by to tak využít, ale musel bys mít externí aplikaci, která bude lambdu provolávat, s tím ale předpokládám počítáš.

Lambda je užitečná na vše, co potřebuješ volat jen nárazově (platíš za dobu, kdy je aktivní) a nepotřebuješ databázi a na data ti stačí jen omezeně s3.

Použití na transformace různých souborů je právě jeden z nejlepších use casů, máš totiž pod kontrolou kdy a jak často to budeš volat (narozdíl od webu, kdy ti rozpočet vysají roboti). Na s3 si umístíš data a pak si budeš provolávat lambdu a budeš soubory zpracovávat ideálně hromadně a nikoliv průběžně. Zpracovat takhle tisíce dokumentů může být otázka pár minut s náklady pár centů a to celé s vysokou dostupností. Takže OCR, generování pdf, transformace atd. jsou dobrá cesta.

Strašně nerad to dělám, ale protože mám hodně velké zkušenosti se Serverless, tak bych tě dost opravil. Prvně na pravidelné spouštění lambdy nepotřebuješ jí nějak externě provolávat, AWS má scheduler, nestojí nic. Druhá věc, při nahrání souborů do S3 jí můžeš zavěsit na event, a hned po nahrání souborů spustit. Výhoda lambdy je nízká cena u menšího počtu spuštění, nemusíš platit nic měsíčně za provoz a i třeba 1.000 spuštění stojí pár centů. Celé tohle souvisí s event driven architekturou, což je nové paradigma, že je vždy nějaký event, který vyvolá nějakou činnost (cron, nahrání souboru do S3, API call apod.). Taky bych řekl, že u lambdy je snazší maintanence, můžeš si jí přeprogramovat ve webové konzoli. Ještě doporučuji prostudovat si Step functions, ty ti umožní řešit i třeba dlouhodobější věci a být aktivní až jeden rok, opět bez paušálu.

ale to je pořád vůči lambdě externí služba, ne? :) Je přeci jedno, jestli použiji cloudwatch, eventbridge nebo něco vlastního, pořád to je externí volání lambdy.Buzení přes s3 jsem právě záměrně nezmiňoval, může to být past, kdy si zbytečně spouštím lambdu příliš často a nemám nad tím kontrolu, není pak ani kontrola nad tím, jestli se provolala řádně pro všechny vstupy. Tady tazatel očividně s tím moc nedělá, rovnou jsem ho naváděl na řešení, aby si to provolával sám, věděl jak to dopadlo, mohlo to spustit znovu pro stejný vstup a odbavoval si to v nějaké vlastní pajplajně. Různí s3 klienti se chovají různě a někdy to může vést k netransperentnímu stavu, když člověk neví, jaká je architektura, raději se tomu vyhíbám.Běžný use case může být takový, že mi soubory na s3 přibývají průběžně jak probíhá nějaký fyzický proces, ale já jednou za třeba půl den tam vběhnu cronem a nechám je všechny zpracovat, tak je cena lambdy zanedbatelná a mám jí přesně pod dohledem. Automatické zpracování dat na s3 přes event může vést k dopředu nejasným nákladům a i 100 % uptime lambdy, raději doporučuji se tomu vyhnout.

jinak samozřemě děkuji za doplnění a opravu, ne vždy vše napíšu správně a vhodně

Napsal TomášX;1659897

 není pak ani kontrola nad tím, jestli se provolala řádně pro všechny vstupy.

Tady se plete monitoring funkce, myslím že zrovna u lambdy je jednoduché napsat chybu do Logu a přes cloudwatch si monitorovat objevení řetězce a pomocí SNS si třeba poslat upozornění na mail, že funkce failuje. To co vy zmiňujete, nerad bych to tahal do roviny osobních názorů, ale je to opravdu váš názor odlišný od architektury a doporučení AWS.

Automatické zpracování dat na s3 přes event může vést k dopředu nejasným nákladům a i 100 % uptime lambdy

Myslím, že to je vaše osobní stanovisko, osobní use-case, nějaká zkušenost a mylný závěr. V každém případě doporučuji náklady sledovat, dá se to nastavit, a vždy to může začít někde ujíždět, a pak je třeba zásah, těch pastí je v cloudu hodně. Já třeba pro svoje osobní účely mám virtuální kartu od mBank s daným rozpočtem, a tu zaregistrovanou v cloudech, aby mi to tam nějak nesmyslně nevystřelilo, i když se mi to ještě nestalo. Osobně dělám 20 let systémáka, posledních 5 let DevOps a denně AWS, a s vašimi názory bych se neztotožnil, a myslím že ani žádný z našich architektů. Tím nechci říct, že tu osobní zkušenost nemáte, myslím že jí máte, a že jste si vyřešil vlastní problém v režimu "duck-tape fix", a že pro vás to takto funguje, otázkou je jestli "duck-tape fix" dávat někomu jako dobrou radu.

tak se podívej v jakém kontextu se tady bavíme, ppeta0 se ptá, jestli je možné použít lambda a případně na co. Není řešením vychrlit spousty souvisejících služeb a ubít tazatele množstvím informací. Ani ten výčet, co jsi tady poskytl přece není konečný a na každém normálním projektu by to bylo o dost košatější. Tady si někdo chce vyzkoušet lambdu, chci mu doporučit takové řešení, aby si jí mohl vyzkoušet.Navrhovat, šachovat a říkat co je nejlepší bez naprosté znalosti domény a projektu? Opravdu?Ano, event-driven a spoléhání pouze na to, že chybu v kódu správně ošetřím a zaloguji. Já vím, odpověď je třeba SQS a řešit integritu zpracování přes fronty. Někdy výrazně zjednodušená odpověď může být přínosnější než přesná, ale složitá, do těhle podrobnosti jsem už nechtěl zabírat, lze čekat, že tazatel nemá žádné zkušenosti s AWS.A víš, že se vyčerpáním limitu na kartě nezbavíš smluvní povinnosti uhradit služby Amazonu?Šachovat s množstvím let zkušeností a opírat se o anonymní architekty je strašně dětinské chování, to přece nemám zapotřebí, ne?

A víš, že se vyčerpáním limitu na kartě nezbavíš smluvní povinnosti uhradit služby Amazonu?

To je sice pravda, ale jsi v lepší pozici, můžeš podat reklamaci, případně poprosit o odpuštění, když to vzniklo nedopatřením (Amazon to schvaluje), případně je to Amazon, kdo se musí domáhat svojí pohledávky, nikoliv ty. Vždycky je lepší být v pozici toho, kdo musí být žalován, než v pozici toho, kdo musí druhou stranu žalovat. Třeba proto, když jsem opouštěl nájmy jsem započítával kauci do posledního nájmu, protože by mě majitel musel zažalovat (což při zpoždění jednoho nájmu nejde, a jinak by úroky byly nízké), případně o každé poškození by mě musel žalovat, zatímco když já mu tu kauci nechám, a pak jí chci vrátit a on si tam započte něco co nemá (což se mi stalo), tak já se musím domáhat (což není k nákladům optimální). Jestli si myslíš, že se s tebou Amazon bude kvůli pár desítkám tisíc soudit, kort pokud vznikly třeba nedopatřením, tak jsi na omylu, navíc jakmile to dáš třeba novinářům (hrál jsem si s Amazonem, ale naskočilo mi tam 30.000 Kč, protože jsem zapomněl puštěnou funkci) a vyjde o tom článek, tak si fakt Amazon, Google i třeba Microsoft, dokážet spočítat, že ničit si reputaci a 3 roky soudit kvůli 30.000 Kč nemá cenu.---------- Příspěvek doplněn 16.03.2023 v 15:06 ----------

Šachovat s množstvím let zkušeností a opírat se o anonymní architekty je strašně dětinské chování, to přece nemám zapotřebí, ne?

Hele já to považuji za relavantní ve většině diskuzí, třeba kamarád se se mnou dohaduje o státním rozpočtu a investování, a v životě neviděl státní rozpočet ani z rychlovlaku, a nepřečetl ani jednu knížku o financích a je v dluzích a já považuji za relevantní sdělit, že mé názory, jako člověka co přečetl tisíce stránek knih o financích a čte výroční zprávy ČNB a investoval miliony, že náš názor prostě není rovnocený. Stejně tak, pokud ty si hraješ s AWS, a já mám certifikace, zkušenosti s účty v milionech dolarů a pracuji pro největší firmy na světě a zabývám se tím roky, a pro tebe je to hobby, stejně tak bych řekl, že náš pohled nemůže být rovnocený. Klidně se nad tím ošívej, ale když půjdeš do posilovny, taky si nenajmeš tlustého trenéra, co tam bude pít kolu. A je to zcela regulérní otázka "proč by tu někdo měl poslouchat tvoje rady, jaká je tvoje kvalifikace?".

Ano, je lepší peníze mít u sebe, ale ignorovat a čekat jestli ho budou vymáhat není přece řešení. O vysokém účtu víš dříve než dojde k zaplacení. Tohle může tak nějak fungovat u jednotlivce, jako firma si to moc dovolit nemůžeš. Věřím, že to víš, ale ta věta, že stačí mít virtuální kartu bez peněz jako řešení vysokých účtů vypadá bez kontextu jako nebezpečné doporučení.To si asi nerozumíme, pro někoho může být hobby i prací, nejsem ničí zaměstnanec, pohybuji se na trhu volnou nohou a mezi mé zákazníky patří třeba Moneta, kde jsem měl prsty v migraci do AWS, pravidelně mě můžeš potkat na prague aws user group, kde občas i něco řeknu, ať už za sebe nebo v barvách klientů.

Ano, je lepší peníze mít u sebe, ale ignorovat a čekat jestli ho budou vymáhat není přece řešení.

Nemyslím si, že bys měl nějaké výzvy ignorovat, to jsem snad ani nepsal, a myslím že by ses k tomu měl postavit určitě čelem, pokud bude nějaký problém a aktivně to řešit. Možná jsem nesdělil všechny detaily, za to se omlouvám.

To si asi nerozumíme, pro někoho může být hobby i prací, nejsem ničí zaměstnanec, pohybuji se na trhu volnou nohou a mezi mé zákazníky patří třeba Moneta, kde jsem měl prsty v migraci do AWS, pravidelně mě můžeš potkat na prague aws user group, kde občas i něco řeknu, ať už za sebe nebo v barvách klientů.

Tak třeba tebe se to zrovna netýká, já to jen zmiňuji, protože se pravidelně na internetu setkávám s tím, že třeba člověk radí jak podnikat a jak fungují zákony, na vše reaguje za 5 minut, a když mu položím otázku, jestli má vůbec živnosťák, tak se odmlčí a zmizí. A tohle je skoro pravidlo, kdy mi třeba i pražáci co celý život bydlí v paneláku vysvětlují o tom, jak funguje život v baráku. Je to až neskutečné, ale setkávám se s tím denně, líbí se mi na to výraz "profesor teoretik". Jsem rád, že to není tvůj případ, klidně napiš do PM a někdy se můžeme potkat, rád poznám nové lidi z oboru.