いいえ、ボタンはその場にとどまります。ボタン内のアイコンが180度回転しているだけです。transform: rotate(180deg) を適用すると、以下のようになります。
transform: rotate(180deg)
「最初の版へ移動」ボタンは文書の先頭を指し、「最後の版へ移動」ボタンは文書の末尾を指します。