Tijdelijke 503-fouten bij front-end door HAProxy

Voor iedereen die meerdere webcontainers draait, is er nog een extra punt om over na te denken: waar Sidekiq draait.

503s hebben alleen invloed op webverzoeken, maar als Sidekiq uitvalt, stopt je site stilzwijgend met het verwerken van achtergrondtaken (e-mails, samenvattingen, badges, webhooks). Een nette manier om dit af te handelen is door Sidekiq zijn eigen container te geven en het uitgeschakeld te houden op de webknooppunten.

Discourse gebruikt runit onder de motorkap: elke service in /etc/service/* start, tenzij er een bestand met de naam down in de directory staat. Dat is alle controle die nodig is.

Hier is een voorbeeld van een speciale Sidekiq worker:

worker.yml — Alleen Sidekiq
templates:
  - "templates/postgres.template.yml"
  - "templates/redis.template.yml"
  - "templates/sshd.template.yml"
  - "templates/web.template.yml"
  - "templates/web.ratelimited.template.yml"

expose: []   # geen HTTP-poorten

env:
  DISCOURSE_DB_HOST: data
  DISCOURSE_REDIS_HOST: data
  DISCOURSE_HOSTNAME: "forum.example.com"
  # pas je bestaande geheimen / SMTP-instellingen aan

hooks:
  after_code:
    - exec:
        cd: $home
        cmd:
          # webservices uitschakelen
          - mkdir -p /etc/service/puma  && touch /etc/service/puma/down
          - mkdir -p /etc/service/nginx && touch /etc/service/nginx/down
          # Sidekiq inschakelen
          - rm -f /etc/service/sidekiq/down

run:
  - exec: echo "Sidekiq worker container starten"

Op de webcontainers (app1/app2) moet het tegenovergestelde worden gedaan - houd Puma en Nginx ingeschakeld, maar voeg toe:

hooks:
  after_code:
    - exec:
        cd: $home
        cmd:
          - mkdir -p /etc/service/sidekiq && touch /etc/service/sidekiq/down

Met deze opstelling balanceert HAProxy alleen de webcontainers, terwijl Sidekiq blijft draaien in de worker. Op die manier worden achtergrondtaken niet onderbroken wanneer je je webknooppunten opnieuw opbouwt of roteert.