- Средняя смена для самостоятельного обучения (arXiv)
Автор: Соруш Аббаси Кохпаегани, Аджинкя Теджанкар, Хамед Пирсиаваш.
Аннотация: самые последние алгоритмы самоконтролируемого обучения (SSL) изучают особенности, сопоставляя экземпляры изображений или группируя изображения, а затем сопоставляя кластеры изображений. Мы вводим простой алгоритм среднего сдвига, который изучает представления, группируя изображения вместе, не сопоставляя их друг с другом и не перенимая большую часть априорной структуры кластеров. Мы просто сдвигаем вложение каждого изображения, чтобы оно было близко к среднему его соседей. Поскольку в наших условиях ближайший сосед всегда является еще одним дополнением к тому же изображению, наша модель будет идентична BYOL при использовании только одного ближайшего соседа вместо 5, как в наших экспериментах. Наша модель достигает 72,4% линейной оценки ImageNet с ResNet50 на 200 эпох, превосходя BYOL. Наш код доступен здесь: https://github.com/UMBCvision/MSF
2. Разбиение пространства и поиск режима регрессии с помощью алгоритма, основанного на среднем сдвиге (arXiv)
Автор: Ванли Цяо, Амарда Шеху.
Аннотация: Алгоритм среднего сдвига (MS) — это непараметрический метод, используемый для кластеризации точек выборки и поиска локальных режимов ядерных оценок плотности с использованием идеи, основанной на итеративном градиентном восхождении. В этой статье мы разрабатываем основанный на среднем сдвиге алгоритм для оценки режимов функций регрессии и разделения выборочных точек во входном пространстве. Мы доказываем сходимость последовательностей, сгенерированных алгоритмом, и выводим неасимптотические скорости сходимости оцененных локальных мод для базовой модели регрессии. Мы также демонстрируем полезность алгоритма для обнаружения данных с помощью приложения для данных о биомолекулярной структуре. Кратко обсуждается расширение алгоритма среднего сдвига с ограничениями подпространства (SCMS), используемого для выделения гребней регрессионных функций.
