Alistarh Group
Deep Algorithms and Systems Lab (DASLab)
Künstliche Intelligenz hat in den letzten zehn Jahren massive Fortschritte gemacht, mit Durchbrüchen in verschiedenen Anwendungen und Aufgabenbereichen. Die Nachhaltigkeit dieses Fortschrittstempos ist jedoch fraglich: Der Rechenaufwand, der für das Training und den Einsatz modernster KI-Modelle erforderlich ist, ist exponentiell gestiegen. Dadurch werden Innovationen möglicherweise behindert und es kommt zu Ungleichheiten in Bezug auf Fachwissen und wirtschaftliche Vorteile.
Die Alistarh-Gruppe arbeitet daran, diese Hindernisse zur Demokratisierung der KI zu beseitigen, indem sie Trainings- und Inferenzalgorithmen entwickelt, die deutlich effizienter sind als traditionelle Algorithmen. Zu diesem Zweck entwickeln wir neue Algorithmen für das Lernen über komprimierte (z. B. „sparse“ oder quantisierte) Darstellungen sowie effiziente System-Implementierungen, die Komprimierungs-Gewinne in der Praxis nutzen können.
Group Leader
Administrative Support
Christine Francois
Assistant to Professors
+43 2243 9000 1098
Team
Laufende Projekte
Effiziente Schulung und Inferenz für massive KI-Modelle | Groß angelegtes verteiltes maschinelles Lernen | Adaptive gleichzeitige Datenstrukturen | Grundlegende Grenzen der verteilten Berechnung
Publikationen
Wu D, Modoranu I-V, Safaryan M, Kuznedelev D, Alistarh D-A. 2024. The iterative optimal brain surgeon: Faster sparse recovery by leveraging second-order information. 38th Conference on Neural Information Processing Systems. NeurIPS: Neural Information Processing Systems, Advances in Neural Information Processing Systems, vol. 37. View
Modoranu I-V, Safaryan M, Malinovsky G, Kurtic E, Robert T, Richtárik P, Alistarh D-A. 2024. MICROADAM: Accurate adaptive optimization with low space overhead and provable convergence. 38th Conference on Neural Information Processing Systems. , Advances in Neural Information Processing Systems, vol. 37. View
Ashkboos S, Mohtashami A, Croci ML, Li B, Cameron P, Jaggi M, Alistarh D-A, Hoefler T, Hensman J. 2024. QuaRot: Outlier-free 4-bit inference in rotated LLMs. 38th Conference on Neural Information Processing Systems. NeurIPS: Neural Information Processing Systems, Advances in Neural Information Processing Systems, vol. 37. View
Malinovskii V, Mazur D, Ilin I, Kuznedelev D, Burlachenko K, Yi K, Alistarh D-A, Richtarik P. 2024. PV-tuning: Beyond straight-through estimation for extreme LLM compression. 38th Conference on Neural Information Processing Systems. NeurIPS: Neural Information Processing Systems, Advances in Neural Information Processing Systems, vol. 37. View
Frantar E. 2024. Compressing large neural networks : Algorithms, systems and scaling laws. Institute of Science and Technology Austria. View
ReX-Link: Dan Alistarh
Karriere
Seit 2022 Professor, Institute of Science and Technology Austria (ISTA)
2017 – 2022 Assistant Professor, Institute of Science and Technology Austria (ISTA)
2016 – 2017 „Ambizione Fellow“, Computer Science Department, ETH Zurich, Schweiz
2014 – 2016 Researcher, Microsoft Research, Cambridge, UK
2014 – 2016 Morgan Fellow, Downing College, University of Cambridge, UK
2012 – 2013 Postdoc, Massachusetts Institute of Technology, Cambridge, USA
2012 PhD, EPFL, Lausanne, Schweiz
Ausgewählte Auszeichnungen
2023 ERC Proof of Concept Grant
2018 ERC Starting Grant
2015 Awarded Swiss National Foundation “Ambizione” Fellowship
2014 Elected Morgan Fellow at Downing College, University of Cambridge
2012 Postdoctoral Fellowship of the Swiss National Foundation
2011 Best Paper Award at the International Conference on Distributed Computing and Networking
