Em breve alguém com muito mais competência explicará como as coisas realmente são, mas eu afirmo que é porque convites são um recurso como um todo que pode ser usado de forma errada. Existe o compartilhamento que faz quase a mesma coisa, mas é mais seguro contra spammers e usuários mal-intencionados.
Tenho total certeza de que os distintivos não têm papel algum nisso. Distintivos são apenas imagens e parte da cultura de gamificação, e não dão absolutamente nada além de algum conteúdo secundário na página de perfil.