В среде ML'щиков прямо захайпились сети Колмогорова-Арнольда - https://arxiv.org/abs/2404.19756
А насколько по вашему безумная идея попробовать другие варианты апроксимации функций на рёбрах сети. Математически базис рядов Фурье вроде как лучше должен на эту задачу ложиться, нежели сплайны.
Вот тут чувак попробовал как раз ряды Фурье https://news.ycombinator.com/item?id=40222212
В целом насчет хайпа вокруг KAN даже не знаю, статья выглядит прямым нарушением принципа the bitter lesson: давайте перейдем на что-то не GPU-friendly ради выигрыша в размере модели.
ответить
Fun fact, ставящий под сомнение осмысленность модели: ее не попробовали ни на каких реальных данных. Как мне кажется, вариантов три:
- оно настолько бесполезное что даже на мнисте не завелось
- завелось, но результаты такие что стремно показать
- просто забили - неправдоподобная версия(ну странно же придумать новую архитектуру, описать ее теоретическое обоснование преимуществ и не попробовать ее ну хотя бы на паре первых попавшихся датасетов с kaggle)
ответить
