Tras una mayor investigación, de hecho lo estaba codificando mal.
Esto es lo que terminé, para que conste:
return_payload = base64.b64encode(parse.urlencode(kwargs).encode("utf-8"))
h = hmac.new(secret.encode("utf-8"), return_payload, digestmod=hashlib.sha256)
resp = requests.post(
".../admin/users/sync_sso",
data={"sso": return_payload, "sig": h.hexdigest()}
headers={...}
)
Y si estás haciendo la redirección, asegúrate de usar parse.urlencode para eso de {"sso"…}.