"Standardowa edukacja zapewni Ci przeżycie. Samokształcenie - fortunę".   Jim Rohn

"Jeśli trwacie w nauce mojej, jesteście prawdziwie moimi uczniami i POZNACIE PRAWDĘ ,A PRAWDA WAS WYZWOLI"    - Jezus z Nazaretu


Big Data (II)


Eksploracja stosu Big Data

Jak w przypadku każdej ważnej architektury danych, powinieneś zaprojektować model, który całościowo przyjrzy się temu, jak wszystkie elementy muszą się ze sobą łączyć. Choć na początku zajmie to trochę czasu, zaoszczędzi wiele godzin pracy i frustracji podczas kolejnych wdrożeń. Musisz myśleć o big data jako o strategii, a nie o projekcie. Dobre zasady projektowania mają kluczowe znaczenie podczas tworzenia (lub rozwijania) środowiska do obsługi dużych zbiorów danych - niezależnie od tego, czy mamy do czynienia z pamięcią masową, analizą, raportowaniem czy aplikacjami. Środowisko musi uwzględniać sprzęt, oprogramowanie infrastrukturalne, oprogramowanie operacyjne, oprogramowanie do zarządzania, dobrze zdefiniowane interfejsy programowania aplikacji (API), a nawet narzędzia programistyczne. Twoja architektura będzie musiała być w stanie sprostać wszystkim podstawowym wymaganiom, które omawiamy w Części 1:

•  Zdobyć
•  Zintegrować
•  Organizować
•  Analizować
•  Działać

Rysunek poniższy przedstawia warstwową architekturę referencyjną, którą wprowadziliśmy w Części 1.



Może być wykorzystana jako struktura do myślenia o technologiach Big Data, które mogą spełniać wymagania funkcjonalne projektów Big Data. Jest to kompleksowy zestaw i możesz początkowo skupić się na pewnych aspektach w oparciu o konkretny problem, którym się zajmujesz. Jednak ważne jest, aby zrozumieć cały stos, aby być przygotowanym na przyszłość. Bez wątpienia użyjesz różnych elementów stosu w zależności od problemu, który rozwiązujesz.


Big Data (I)


Zagłębianie się w komponenty technologii Big Data

Jak omówiono w kilku pierwszych częściach, duże zbiory danych dotyczą strumieni danych o dużej objętości i często dużej prędkości o bardzo zróżnicowanych typach danych. Wielu doświadczonych architektów oprogramowania i programistów wie, jak łatwo rozwiązać jedną lub nawet dwie z tych sytuacji. Na przykład, jeśli masz do czynienia z dużymi ilościami danych transakcyjnych z wymaganiami dotyczącymi odporności na awarie, możesz zdecydować się na wdrożenie nadmiarowych klastrów relacyjnych baz danych w centrum danych z bardzo szybką infrastrukturą sieciową. Podobnie, jeśli wymagania mają zintegrować różne typy danych z wielu znanych i anonimowych źródeł, wybór może polegać na skonstruowaniu rozszerzalnego metamodelu kierującego dostosowanym magazynem danych. Jednak być może nie miałeś luksusu tworzenia konkretnych wdrożeń w znacznie bardziej dynamicznym świecie Big Data. Gdy wyprowadzasz się ze świata, w którym jesteś właścicielem i ściśle kontrolujesz swoje dane, musisz stworzyć model architektoniczny do obsługi tego typu środowiska hybrydowego. To nowe środowisko wymaga architektury, która rozumie zarówno dynamiczną naturę dużych zbiorów danych, jak i wymóg zastosowania wiedzy do rozwiązania biznesowego. . W tej części przyjrzymy się rozważaniom architektonicznym związanym z big data. Zagłębiamy się również nieco głębiej w stos technologii Big Data, który przedstawiliśmy w Części 1.


Wesprzyj Szkołę, kliknij w Reklamę…Dziękujemy…