Wydarzenia‎ > ‎Archiwum‎ > ‎

MapReduce TechTalk

Serdecznie zapraszamy na TechTalk na temat "Map Reduce", który poprowadzi Witold Jarnicki, programista Google.

Abstrakt: MapReduce to model programowania służący przetwarzaniu i generowaniu dużych zbiorów danych. Użytkownik przygotowuje funkcję mapującą (ang. Map) przetwarzającą pary klucz-wartość, która generuje zbiór pośrednich par klucz-wartość.
Drugą funkcją jest funkcja redukująca (ang. Reduce) która scala zbiór pośrednich par przyporządkowanych do tego samego klucza.

Wiele praktycznych problemów można wyrazić w takim modelu. Dzięki takiemu podziałowi rozwiązanie problemu może być automatycznie zrównoleglone i wykonane na dużej liczbie komputerów. System wykonawczy MapReduce dba o szczegóły techniczne dotyczące podziału danych, szeregowania kawałków zadań na komputerach, błędy sprzętowe oraz całą komunikację. W ten sposób tworzenie programów jest prostsze i szybsze. Implementacja MapReduce w Google przetwarza wiele terabajtów danych na tysiącach maszyn.

Jako otwarte oprogramowanie dostępny jest Hadoop, który inspirowany jest opublikowaną specyfikacją MapReduce.

Data: Czwartek, 19 stycznia, godzina 14:00
Miejsce: Instytut Informatyki UJ, ul. Łojasiewicza 6, sala 0089
Comments