Dogfood: Resource allocation in supercomputers and clouds

Dogfooding to szeroko stosowana praktyka przemysłu informatycznego, w której pracownicy testują wczesne wersje produktów używając ich w swoim codziennym życiu. Podczas wykładu będę przekonywał, że alokacja zasobów w superkomputerach i chmurach może być takim obszarem testów pomysłów algorytmicznych ze względu na nietrywialne problemy, zainteresowanie przemysłu, standardowe dane testowe i ciągle zmieniające się platformy i sposoby ich wykorzystania. Zaprezentuję nasze wyniki dotyczące dostosowania algorytmów szeregowania do pakowania zadań w centrum obliczeniowym tak, by ograniczać zakłócenia wydajności. Alokacja zasobów w chmurze może być również modelowana problemem pakowania stochastycznego. Pokażę, że realistyczne instancje problemu mogą być efektywnie pakowane prostymi heurystykami opartymi na prawie wielkich liczb.

Dogfooding is a widely used practise of the software industry: new versions of products are first tested by asking the company's own employees to use the products in their lives. In this talk I will argue that allocation in clouds and supercomputers is a perfect playground (a dogfood) for ideas in algorithmics - with non-trivial problems, significant industry interest, standard data sets and ever evolving platforms and usage scenarios. I will present our recent results on how job scheduling algorithms can be adjusted to packing tasks in a cloud datacenter to minimize performance interference. Cloud resource allocation might be also modelled as stochastic bin packing. However, in a somewhat contrasting result, I will show that realistic instances might be packed efficiently by simple, Gaussian-based greedy algorithms.