Nie jesteś zalogowany | zaloguj się

Wydział Matematyki, Informatyki i Mechaniki Uniwersytetu Warszawskiego

  • Skala szarości
  • Wysoki kontrast
  • Negatyw
  • Podkreślenie linków
  • Reset

Aktualności — Wydarzenia

Seminarium "DeSeR: Dane, strumienie, rozpraszanie"

 

EvenDB: Optimizing Key-Value Storage for Spatial Locality


Prelegent: Maciej Herdon

2023-12-14 12:15

Zastosowania wykorzystujące pamięć klucz-wartość(KV) często manifestują dużą lokalność danych, przykładowo kiedy wiele elementów posiada identyczne prefixy kluczy. Ten powszechny wzorzec dostępu jest niewystarczająco wykorzystywany przez wszechobecną strukturę Log-structured merge-tree znajdującą się u podstaw wysokoprzepustowych magazynów KV w obecnych czasach. Zespół Yahoo Research przedstawia EvenDB, trwały magazyn KV uniwersalnego przeznaczenia, zoptymalizowany pod kątem obciążenia z dużą lokalnością danych. EvenDB łączy przestrzenne partycjonowanie danych z LSM-podobnym wsadowym I/O, przez co osiąga wysoką wydajność, zapewnia spójność danych przy wielowątkowym dostępie oraz ogranicza amplifikację zapisów. W eksperymentach z danymi z produkcji wielkiej platformy analitycznej, EvenDB sprawuje się lepiej niż dotychczasowe rozwiązania state-of-art. Np. na zbiorze danych o wielkości 256GB, EvenDB importuje dane 4.4 raza szybciej niż RocksDB oraz redukuje amplifikację zapisu prawie czterokrotnie. W tradycyjnym benchmarku “Yahoo! Cloud Serving Benchmark” z obciążeniem pozbawionym lokalności danych, EvenDB dorównuje RocksDB i istotnie przewyższa pozostałe badane rozwiązania open-source.