Parsing Gigabytes of JSON per Second

Speaker(s)

Piotr Ulanowski

Affiliation

MIMUW

Date

March 21, 2024, 12:15 p.m.

Room

room 4060

Title in Polish

Wektoryzacja do parsowania gigabajtów danych plików JSON w ciągu sekund

Seminar

Seminarium "DeSeR: Dane, strumienie, rozpraszanie"

---

Referat będzie bazował na publikacji: https://arxiv.org/pdf/1902.08318.pdf

Na początku wyjaśnię, czym dokładnie jest proces parsowania w przypadku plików JSON, oraz na jakie problemy można napotkać w trakcie tego procesu. Następnie uzasadnię, dlaczego warto w ogóle zajmować się tym tematem i optymalizować ten proces. Wtedy krótko omówię inne rozwiązanie Mison i jakie jego części można zoptymalizować przy pomocy wektoryzacji.

Po wstępie, omówię algorytm oraz kolejne etapy parsowania plików opisane w tej publikacji. Powiem jak twórcy poradzili sobie z różnymi przypadkami brzegowymi i typami danych. Ostatecznie pokażę, jak rozwiązanie zaprezentowane przez twórców wyróżnia się na tle pozostałych.

Na sam koniec wspomnę o innych typach plików, które są często parsowane gigabajtami i jakie algorytmy do ich parsowania istnieją.

---