RxJava & Hystrix - Perfect match for distributed applications
1 like1,015 views
These are polish slides for talk during 2015 Confitura PL held in Warsaw
RxJava & Hystrix - Perfect match for distributed applications
- 1. Czyli dwa pierwsze importy w architekturze rozproszonej RxJava & Hystrix Mateusz ‘Serafin’ Gajewski confitura 2015
- 2. Kim jestem? @wendigo Solutions Architect obszarów: ❖ Finansowego, ❖ Płatnościowego, ❖ Analityki danych Główne zainteresowania: ❖ Skalowalność, ❖ Odporność na awarie, ❖ Przetwarzanie danych, ❖ Klastry obliczeniowe Mateusz Gajewski
- 3. Agenda ❖ Rozproszone i reaktywne systemy, ❖ Jak ułatwić sobie życie narzędziami OSS, ❖ Kilka luźnych przemyśleń
- 5. Architektura rozproszona Główne cechy: ❖ współbieżność komponentów, ❖ niezależne awarie komponentów, ❖ brak globalnego zegara
- 7. Systemy reaktywne ❖ responsywność, ❖ odporność na błędy, ❖ elastyczność, ❖ sterowanie zdarzeniami i wiadomościami
- 8. responsywność ~ górne ograniczenie na czas przetwarzania potrzebne: optymalizacja i zrównoleglenie nieblokujących operacji
- 9. odporność ~ tolerancja na błędy i awarie potrzebne: izolacja i obsługa
- 10. Platforma Allegro ❖ architektura master-master, ❖ 250+ mikrousług na JVM (kolejne w drodze), ❖ 4 prywatne AZ w 2 DC (4.500 VMs) + AWS, ❖ setki różnych technologii, ❖ dziesiątki niezależnych systemów storage’owych…
- 11. Co złego się może wydarzyć?
- 13. Źródła opóźnień ❖ GC (JVM), ❖ noisy neighbours (cloud), ❖ stan sieci, ❖ wolumen danych, ❖ nieoptymalna implementacja, ❖ obciążenie klastra...
- 14. Źródła awarii ❖ logika biznesowa, ❖ implementacja techniczna, ❖ problemy sieciowo-sprzętowe, ❖ błąd operatora, ❖ prawo Murphy’ego ;)
- 15. Smutna prawda: spontaniczne awarie i wzrost czasów odpowiedzi będą zdarzać się cały czas
- 16. Musimy nauczyć się niwelować ich efekty używając odpowiednich narzędzi.
- 17. RxJava 1.0+ Hystrix 1.4+ &
- 18. RxJava “Biblioteka do tworzenia asynchronicznych i opartych o zdarzenia programów z wykorzystaniem obserwowalnych sekwencji”
- 22. Observable<T> vs pozostałe typy wartości skalarne sekwencje sync T getData() Iterable<T> getData() async Future<T> getData() Observable<T> getData()
- 23. Składanie operatorów getDataFromNetwork() // Observable<T> .skip(10) .take(5) .map(value -> value + " transformed") .subscribe(value -> { System.out.println("Received => " + value); });
- 24. Jak nas to przybliża do responsywności i odporności na błędy?
- 25. Cała magia leży w dostępnych operatorach (100+) ;)
- 32. Zunifikowana obsługa błędów a.zipWith(b, (x, y) -> x + " " + y) .subscribe( value -> { System.out.println("onNext(" + value + ")"); }, error -> { System.out.println("onError(" + error + ")"); }, () -> { System.out.println("onCompleted"); } );
- 33. Reactive pull back-pressure Operatory: onBackpressure*, sample, throttle,...
- 34. Przykład z warsztatów RX Allegro client .getServices() // Observable<Service> .flatMap( service -> client .getInstances(service) // Observable<Instance> .onErrorResumeNext(Observable.<Instance>empty()) .timeout(500, TimeUnit.MILLISECONDS) .retry(3), 16) .subscribe(System.out::println);
- 35. RxJava - podsumowanie ❖ łatwe tworzenie kodu asynchronicznego, ❖ zunifikowana obsługa błędów, ❖ dostepność operatorów z zaawansowaną mechaniką (DRY), ❖ wysoka wydajność (ring buffers FTW), ❖ ukrywamy wewnętrzną implementację (sync vs async), ❖ kontrola nad back-pressure, ❖ testowalność kodu (wirtualny czas)
- 36. Hystrix “Biblioteka zaprojektowana do kontroli opóźnień, zapewnienia niezawodności oraz izolacji dostępu do zdalnych systemów. ”
- 39. Hystrix(Observable)Command = logika biznesowa + logika statycznego fallbacku + strategia izolacji + konfiguracja + metryki
- 40. Strategia izolacji Pozwala oddzielić od siebie, przerwać po przekroczeniu czasu i ograniczyć ilość równolegle wykonywanych komend: ❖ Oparta o pule wątków ❖ Oparta o semafory
- 42. Izolacja Izolujemy siebie od awarii zdalnego systemu Chronimy zdalny system od “zalania” go żądaniami po odzyskaniu sprawności
- 43. Co jeszcze fajnego? ❖ dynamiczna zmiana parametrów (Archaius), ❖ strumień metryk (SSE), ❖ dashboard (Turbine), ❖ łatwe użycie za pomocą AOP, ❖ batchowanie komend (Request Collapsing), ❖ cache’owanie komend (Request Caching), ❖ natywne wsparcie RxJava
- 44. RxJava + Hystrix = ❤
- 45. Wnioski ❖ programowanie asynchroniczne nie musi być trudne, ❖ domeny awarii mogą być ograniczone, ❖ opóźnienia można kontrolować, ❖ RxJava i Hystrix można wprowadzić w każdym momencie życia projektu ;)
- 46. Pytania?
- 47. Dzięki!
- 48. Znajdziesz nas: Blog: allegrotech.io Twitter: @allegrotechblog pracuj z nami kariera.allegro.pl