Я кандидат наук в области машинного обучения и задумался о создании инструмента, который позволит любому обучать собственную ИИ-модель для помощи в модерации контента на форумах Discourse. Интересно ли это вам?
Я знаю, что существует Google Perspective API, но оно довольно общее. Моя идея заключается в создании плагина, где вы можете модерировать посты, а система автоматически обучает текстовый классификатор на основе ваших действий. Например, если вы пометите пост как содержащий токсичные высказывания или не по теме, система научится на этом примере и сможет помечать похожие посты или даже предварительно модерировать их.
Текстовые классификаторы (используемые, например, на форумах) существуют уже давно.
Обычно такой вид классификации и оценки текста выполняется с помощью байесовских классификаторов.
Если вы выполните поиск в Google по ключевым словам:
bayesian classifier ruby
и/или
bayesian classifier javascript
то найдёте множество библиотек и примеров классификации текста с использованием байесовских классификаторов.
Мы на протяжении многих лет использовали различные байесовские классификаторы для модерации постов на форумах, обнаружения спама и других задач; при этом мы реализовали собственный код для обучения классификатора, когда модераторы выполняют действия по модерации.
Одна из потенциальных проблем заключается в том, что многие задачи модерации — это не просто наказание, а более сложные действия, такие как «закрыть тему на 12 часов», «сделать эту запись вики-постом» или «переместить это в другую категорию».