главная новое лучшее написать
3

Итак, я попытался сделать нейросетевую классификацию по тредам, и не преуспел. Давайте попробуем погенерить новые идеи. Я пробовал много чего, лучшую точность из моих попыток дал catboost поверх эмбеддингов от предобученного intfloat/multilingual-e5-large, точность вышла 52%, балансированная точность 28%.

Трейновые данные - 138 постов: https://mega.nz/file/Buk32Drb#mi0FXrowDxgPYMrVJZtn1Z8rBal24K0JtL5062135cI
Тестовые данные - 100 постов: https://mega.nz/file/Y3snXKxZ#Bz93pnHhbwAjqW9VvtlRgwqv4EM5TS7O95j034v_C38

Описание данных:
* id - id поста. Ссылка на пост имеет вид notq.ru/{id}
* rating - рейтинг поста на момент парсинга
* author - автор поста
* title - заголовок
* text - тело поста
* thematic - целевая переменная, тема поста

Темы:
* culture
* education
* history
* meta
* prog
* science
* other

1 finder 26-01-2024

А куда сабмиты сдавать? :)
Тебе куда-то разметку test прислать, или как посчитать, что у меня вместо 52%? В test.xlsx разметки нет.

ответить
1 finder 26-01-2024

в train не размечена 31 строчка, как думаешь, это other?

ответить
2 anonymous 26-01-2024

Да, выглядит как other. Вот размеченный тест, я что-то не подумал про оценку и на автомате из теста метки дропнул

ответить
1 finder 26-01-2024

https://disk.yandex.ru/d/BR5NIA5ufnjyMQ
на дворе 2024 год, так что вот разметка от GPT-4, accuracy по твоей разметке 66% (если я нигде не набажил)

я просмотрел несовпадения оценок и именно грубых ошибок совсем немного, больше такого:

prog education Какие дисциплины (помимо алгоритмов и структур данных, БД, непосредственно ЯП, математики) должен знать грамотный разработчик ПО?
other education Инвестиции в себя
other history Как ЦРУ добывало финансирование проекта MK Ultra

так что я, пожалуй, прикину на пальцах, сколько это будет стоить, и если это единицы долларов на сотню постов, то тупо внедрю :)

ответить
1 anonymous 30-01-2024

Я прикинул - 2-5К токенов на пост, то есть на 100 постов до 500к токенов, то есть где-то 5 баксов на GPT4-turbo, или пол-бакса на GPT-3.5. Выглядит не слишком плохо. Одного прогона для каждого поста достаточно же, да?

ответить
1 finder 30-01-2024

Да с такими ценами даже несколько разных промптов можно, и голосовать между ними. Но тут был один, да

ответить