Название исследуемой задачи:	Адаптивное сжатие в распределенной оптимизации
Тип научной работы:	НИР
Автор:	Фанис Адикович Хафизов
Научный руководитель:	к.ф.-м.н., Безносиков Александр Николаевич

Abstract

В данной работе рассматривается проблема распределённого обучения больших моделей (например, современных нейросетей), когда вычисления необходимо распараллеливать между несколькими устройствами. Основная сложность в таких системах заключается в высокой стоимости коммуникации при передаче больших объёмов градиентов. Мы предлагаем семейство операторов адаптивного сжатия, которые учитывают важность координат и тем самым снижают трафик, сохраняя качество сходимости. В экспериментальной части показано, что предлагаемые операторы могут работать не хуже классических вариантов RandK и TopK, а в ряде случаев достигают сопоставимого качества с TopK.

Research publications

Presentations at conferences on the topic of research

Software modules developed as part of the study

1. A python package mylib with all implementation here.
2. A code with all experiment visualisation here. Can use colab.