Wektoryzacja do parsowania gigabajtów danych plików JSON w ciągu sekund

Prelegent(ci)

Piotr Ulanowski

Afiliacja

MIMUW

Termin

21 marca 2024 12:15

Pokój

p. 4060

Tytuł w języku angielskim

Parsing Gigabytes of JSON per Second

Seminarium

Seminarium "DeSeR: Dane, strumienie, rozpraszanie"

---

Referat będzie bazował na publikacji: https://arxiv.org/pdf/1902.08318.pdf

Na początku wyjaśnię, czym dokładnie jest proces parsowania w przypadku plików JSON, oraz na jakie problemy można napotkać w trakcie tego procesu. Następnie uzasadnię, dlaczego warto w ogóle zajmować się tym tematem i optymalizować ten proces. Wtedy krótko omówię inne rozwiązanie Mison i jakie jego części można zoptymalizować przy pomocy wektoryzacji.

Po wstępie, omówię algorytm oraz kolejne etapy parsowania plików opisane w tej publikacji. Powiem jak twórcy poradzili sobie z różnymi przypadkami brzegowymi i typami danych. Ostatecznie pokażę, jak rozwiązanie zaprezentowane przez twórców wyróżnia się na tle pozostałych.

Na sam koniec wspomnę o innych typach plików, które są często parsowane gigabajtami i jakie algorytmy do ich parsowania istnieją.

---