Passei algum tempo tentando replicá-lo, mas não consegui.
Verifiquei Chat::MessagesQuery, Chat::ListChannelMessages e a ação do controller através de nossas especificações e manualmente em uma instância local também. O parâmetro page_size é levado em consideração como esperado, assim como o parâmetro direction.
@Nima1 você tem certeza de que está usando o endpoint correto? Ele deve ter api nele, assim: /chat/api/channels/3/messages?target_message_id=40&direction=past&page_size=5.
Outra coisa que não verifiquei é se ele se comporta de maneira diferente em stable. Sua instância está atualizada com o branch tests-passed?