Это ошибка или я что-то делаю не так?
Настройки размера файла установлены на 17 МБ, и я попытался загрузить MP4 размером 12,2 МБ
Как вы это изменили? Вы следовали инструкциям по адресу Change the maximum attachment/upload size?
Хорошо, я только что сделал это в настройках.
Можно ли изменить настройки загрузки так, чтобы разрешить их только подписчикам?
Есть две темы на эту тему, и это невозможно.
Если вы ещё не сделали этого, рекомендую быстро поискать базовую информацию — возможно, на этот вопрос уже отвечали ранее 
Однако Джей прав:
Разрешение загрузок файлов некоторым пользователям, но не другим, может создать неудобства как пользователям, так и администраторам. Внешние ссылки по своей природе ненадёжны: они могут устареть в будущем или, что ещё хуже, автоматически замениться на другой контент. Это уже случалось на одном из моих форумов.
Существует компонент темы Restrict uploads, который блокирует загрузку файлов для пользователей с низким уровнем доверия. Возможно, вы могли бы расширить его функционал, чтобы он работал на основе групп, а не уровней доверия.