Alistarh Group
Verteilte Algorithmen und Systeme
Verteilung war im letzten Jahrzehnt ein wesentlicher Trend der Informatik: Prozessorarchitekturen sind mehrkernig, während Großsysteme für maschinelles Lernen und Datenverarbeitung über mehrere Maschinen oder sogar Datenzentren verteilbar sind. Die Alistarh-Gruppe arbeitet an Algorithmen, die diese Entwicklung nutzen können, indem sie skalierbare Software entwickelt – diese verbessert die Performance, sobald mehr Rechenleistung verfügbar ist.
Diese fundamentale Veränderung zu verteiltem Rechnen bringt aufregende offene Fragen mit sich: Wie gestalten wir Algorithmen, die jedes letzte Stück Performance aus der derzeitigen Generation der Computer-Architektur nutzen können? Wie entwickeln wir zukünftige Architekturen, um skalierbarere Algorithmen zu unterstützen? Gibt es klare Abstraktionen, um Hochleistungs-Verteilung für Programmierer zugänglich zu machen? Die Forschung der Alistarh-Gruppe konzentriert sich auf die Beantwortung dieser Fragen. Insbesondere ist die Gruppe daran interessiert, effiziente und praktische Algorithmen für grundlegende Probleme der verteilten Datenverarbeitung zu entwickeln, die inhärenten Grenzen verteilter Systeme zu verstehen und neue Wege zur Überwindung dieser Grenzen zu entwickeln. Ein besonderer Fokus in den letzten Jahren war das verteilte maschinelle Lernen.
Group Leader
Administrative Support
Christine Francois
Assistant to Professors
+43 2243 9000 1098
On this site:
Team
Laufende Projekte
Verteiltes Machine Learning | Gleichzeitige Datenstrukturen und Anwendungen | Molekulare Berechnung
Publikationen
Aksenov V, Alistarh D-A, Drozdova A, Mohtashami A. 2023. The splay-list: A distribution-adaptive concurrent skip-list. Distributed Computing. 36, 395–418. View
Markov I, Vladu A, Guo Q, Alistarh D-A. 2023. Quantized distributed training of large models with convergence guarantees. Proceedings of the 40th International Conference on Machine Learning. ICML: International Conference on Machine Learning, PMLR, vol. 202, 24020–24044. View
Shevchenko A, Kögler K, Hassani H, Mondelli M. 2023. Fundamental limits of two-layer autoencoders, and achieving them with gradient methods. Proceedings of the 40th International Conference on Machine Learning. ICML: International Conference on Machine Learning, PMLR, vol. 202, 31151–31209. View
Nikdan M, Pegolotti T, Iofinova EB, Kurtic E, Alistarh D-A. 2023. SparseProp: Efficient sparse backpropagation for faster training of neural networks at the edge. Proceedings of the 40th International Conference on Machine Learning. ICML: International Conference on Machine Learning, PMLR, vol. 202, 26215–26227. View
Frantar E, Alistarh D-A. 2023. SparseGPT: Massive language models can be accurately pruned in one-shot. Proceedings of the 40th International Conference on Machine Learning. ICML: International Conference on Machine Learning, PMLR, vol. 202, 10323–10337. View
ReX-Link: Dan Alistarh
Karriere
seit 2017 Assistant Professor, Institute of Science and Technology Austria (ISTA)
2016 – 2017 “Ambizione Fellow”, Computer Science Department, ETH Zurich
2014 – 2016 Researcher, Microsoft Research, Cambridge, UK
2014 – 2016 Morgan Fellow, Downing College, University of Cambridge, UK
2012 – 2013 Postdoc, Massachusetts Institute of Technology, Cambridge, USA
2012 PhD, EPFL, Lausanne, Switzerland
Ausgewählte Auszeichnungen
2018 ERC Starting Grant
2015 Awarded Swiss National Foundation “Ambizione” Fellowship
2014 Elected Morgan Fellow at Downing College, University of Cambridge
2012 Postdoctoral Fellowship of the Swiss National Foundation
2011 Best Paper Award at the International Conference on Distributed Computing and Networking
