配置 Discourse - 环境 AWS Linux 2 AMI 和 Apache2 (httpd)

大家好

我已经仔细阅读了文档,并查阅了已发布的配置设置和建议,尝试针对我的特殊情况进行了调整。

对于看似非常简单的事情,令人难以置信的是,所有提出的解决方案都未能奏效,这让人感到极度沮丧。

我们的环境:

  • 我们运行的是 AWS EC2 实例,具体为 AWS Linux 2 AMI;
  • 已安装并配置了 Apache2;
  • 该实例属于 AWS 目标组,并由我们的 AWS 负载均衡器引用;
  • 我们的 SSL/TLS 证书由 AWS 提供,并与负载均衡器关联;
  • 我们的域名提供商是 name.com
  • 在我们的设置中,多个子域名通过 CNAME 记录进行路由,全部指向 AWS 负载均衡器,后者再将流量分发到 EC2 实例;
  • 所有通过负载均衡器路由并面向网页用户的流量都是安全的;
  • 在我们的服务器上,我们运行三个独立的 Node.js Express 应用程序;
  • 端口在 Express 服务器设置中定义,目前为 3000、4000 和 5000 端口;
  • Apache 根据子域名将流量路由到相应的 Web 应用,例如:
<VirtualHost *:80>
    ServerName subdomain.domain.io
    ProxyPreserveHost On
    ProxyPass "/" "http://localhost:4000/"
    ProxyPassReverse "/" "http://localhost:4000/"
</VirtualHost>

当前状态:

  • Docker 正在运行;
  • Discourse 应用(容器)正在运行;
  • 所有 Express 应用都在运行,并且已被 Apache 正确路由。

注意事项:

  • 我最初尝试按照文档说明在不暴露端口的情况下构建应用,但未能成功;随后我尝试将 8000 端口通过 HTTP 的 80 端口暴露出来;
  • 根据我的简单理解,Docker 就像一栋房子,而各种容器则是其中的房间。Docker 决定了应用的访问方式,即访问哪个“房间”。我暴露 8000 端口的想法是,既然 8000 端口已暴露,我就可以像其他 Express 应用一样引用该端口。但这种方法并不奏效。以下是我在 Apache 中尝试的配置示例:
# FAQ(DISCOURSE 路由)

<VirtualHost *:80>
    ServerName discourse.domain.io
    ProxyPreserveHost On
    ProxyPass "/" "http://localhost:8000/"
    ProxyPassReverse "/" "http://localhost:8000/"
</VirtualHost>
  • 一个简单的测试是尝试在服务器上通过浏览器访问 localhost:8000。该服务器是安装了 Chromium 的 AWS 实例。localhost:8000 无法解析这一事实表明存在问题,说明我的理解中缺少某些关键内容。我的 Web 应用能够在 Express 设置中指定的端口上运行并可访问,我原本以为 Docker 容器也应如此。

补充说明:

  • 我意识到一种可能的解决方案是在 Apache 和 Docker 之前部署 NGINX,将来自 discourse.domain.io 的流量路由到本地服务器的 8000 端口(即 Docker 容器暴露的端口),同时将 *.domain.io 的其他所有流量路由到 Apache 的 9000 端口,然后修改虚拟主机配置,将来自 9000 端口的流量路由到相应的应用,例如:
# EXPRESS 应用在 Apache 中的路由

<VirtualHost *:9000>
    ServerName other_sub_domains.domain.io
    ProxyPreserveHost On
    ProxyPass "/" "http://localhost:4000/"
    ProxyPassReverse "/" "http://localhost:4000/"
</VirtualHost>
  • 但在我看来,这完全没有必要。如果域名 discourse.domain.io 已路由到 Apache,而 Apache 接收到请求后尝试将其路由,那么只需将其指向 Docker 容器暴露的端口即可。
  • 此外,如果服务器本机的 localhost:8000 都无法解析,那么上述方案也无法奏效。

目前,当我尝试访问我的 Discourse Docker 容器时,Chrome 浏览器会返回 502 错误。(见上方截图)。

app.yml 文件摘录:

## 这是 Discourse Docker 容器的独立一体化模板
##
## 修改此文件后,您必须重新构建
## /var/discourse/launcher rebuild app
##
## 编辑时请务必非常小心!
## YAML 文件对空格或对齐错误极其敏感!
## 请访问 http://www.yamllint.com/ 验证此文件

templates:
  - "templates/postgres.template.yml"
  - "templates/redis.template.yml"
  - "templates/web.template.yml"
  - "templates/web.ratelimited.template.yml"
  - "templates/web.socketed.template.yml"
## 如果您想添加 Lets Encrypt(https),请取消注释以下两行
  #- "templates/web.ssl.template.yml"
  #- "templates/web.letsencrypt.ssl.template.yml"

## 此容器应暴露哪些 TCP/IP 端口?
## 如果您希望 Discourse 与 Apache 或 nginx 等其他 Web 服务器共享端口,
## 请参阅 https://meta.discourse.org/t/17247 获取详细信息
expose:
  - "8000:80"   # http
  #- "443:443" # https

params:
  db_default_text_search_config: "pg_catalog.english"

  ## 将 db_shared_buffers 设置为总内存的最大 25%。
  ## 将由 bootstrap 根据检测到的 RAM 自动设置,您也可以覆盖
  #db_shared_buffers: "256MB"

  ## 可能改善排序性能,但会增加每个连接的内存使用量
  #db_work_mem: "40MB"

  ## 此容器应使用哪个 Git 版本?(默认:tests-passed)
  #version: tests-passed

env:
  LC_ALL: en_US.UTF-8
  LANG: en_US.UTF-8
  LANGUAGE: en_US.UTF-8
  # DISCOURSE_DEFAULT_LOCALE: en

  ## 支持的并发 Web 请求数量?取决于内存和 CPU 核心数。
  ## 将由 bootstrap 根据检测到的 CPU 自动设置,您也可以覆盖
  #UNICORN_WORKERS: 3

  ## TODO: 此 Discourse 实例将响应的域名
  ## 必填。Discourse 无法仅使用 IP 地址运行。
  DISCOURSE_HOSTNAME: 'discourse.domain.io'

  ## 如果您希望容器以与上述相同的主机名(-h 选项)启动,请取消注释
  #DOCKER_USE_HOSTNAME: true

  ## TODO: 初始注册时将设为管理员和开发者的逗号分隔邮箱列表
  ## 示例:'user1@example.com,user2@example.com'
  DISCOURSE_DEVELOPER_EMAILS: 'user@domain.io'

  ## TODO: 用于验证新账户和发送通知的 SMTP 邮件服务器
  # SMTP 地址、用户名和密码为必填项
  # 警告:SMTP 密码中的 '#' 字符可能导致问题!
  DISCOURSE_SMTP_ADDRESS: email-smtp.us-east-1.amazonaws.com
  DISCOURSE_SMTP_PORT: 587
  DISCOURSE_SMTP_USER_NAME: ******
  DISCOURSE_SMTP_PASSWORD: ******
  #DISCOURSE_SMTP_ENABLE_START_TLS: true           # (可选,默认为 true)
  #DISCOURSE_SMTP_DOMAIN: ******    # (某些提供商要求)
  #DISCOURSE_NOTIFICATION_EMAIL: ******  # (发送通知的地址)

  ## 如果您添加了 Lets Encrypt 模板,请取消注释以下行以获取免费 SSL 证书
  #LETSENCRYPT_ACCOUNT_EMAIL: me@example.com

  ## 此 Discourse 实例的 HTTP 或 HTTPS CDN 地址(配置为拉取)
  ## 请参阅 https://meta.discourse.org/t/14857 获取详细信息
  #DISCOURSE_CDN_URL: https://discourse-cdn.example.com
  
  ## Maxmind 地理位置 IP 地址查询密钥
  ## 请参阅 https://meta.discourse.org/t/-/137387/23 获取详细信息
  #DISCOURSE_MAXMIND_LICENSE_KEY: 1234567890123456

## Docker 容器是无状态的;所有数据都存储在 /shared 中
volumes:
  - volume:
      host: /var/discourse/shared/standalone
      guest: /shared
  - volume:
      host: /var/discourse/shared/standalone/log/var-log
      guest: /var/log

## 插件请放在此处
## 请参阅 https://meta.discourse.org/t/19157 获取详细信息
hooks:
  after_code:
    - exec:
        cd: $home/plugins
        cmd:
          - git clone https://github.com/discourse/docker_manager.git

## 构建后运行的任何自定义命令
run:
  - exec: echo "开始自定义命令"
  ## 如果您想设置首次注册的“发件人”邮箱地址,请取消注释并修改:
  ## 获取首次注册邮件后,请重新注释该行。只需运行一次。
  #- exec: rails r "SiteSetting.notification_email='info@unconfigured.discourse.org'"
  - exec: echo "结束自定义命令"

我的域名、邮箱地址和邮箱配置都是正确的。如前所述,我不需要 SSL/TLS 配置。

请求:

  • NGINX 方案是否是唯一能让此设置正常运行的方法?如果是,是否有更清晰的说明可供参考?我目前无法为了运行 Discourse 而从头开始重建服务器,且没有成功保证。
  • Discourse behind reverse proxy and https - #2 by itsbhanusharma 中,@Dark Matter 提供了一个 Apache2 解决方案,但我认为该方案并未考虑 Node.js Express 环境,而且由于我的 localhost:8000 无法解析,我不确定该方案是否可行:
<VirtualHost *:80>
  ServerAdmin webmaster@localhost
  ServerName  discourse.example.com
  DocumentRoot /website/discourse

  RewriteEngine On
  ProxyPreserveHost On
  ProxyRequests Off
  ProxyPass / unix:/var/discourse/shared/socket-only/nginx.http.sock|http://localhost/
  ProxyPassReverse  / unix:/var/discourse/shared/socket-only/nginx.http.sock|http://localhost/
  ErrorLog /var/log/apache2/discourse.error.log
  LogLevel warn
  CustomLog /var/log/apache2/discourse.access.log combined

  RewriteCond %{SERVER_NAME} =discourse.example.com
  RewriteRule ^ https://%{SERVER_NAME}%{REQUEST_URI} [END,NE,R=permanent]
</VirtualHost>
  • 问题是否出在我的 Discourse 配置上?或者问题可能在于我的 Apache 路由(我怀疑)?还是我遗漏了某些更基础的内容?
  • 我认为解决这个问题将对未来的许多用户有所帮助。
  • 最佳方案是在服务器本地直接路由到 Discourse。
  • 其次是通过 URL 进行路由。

此致
马修·卢卡斯

这对我来说太复杂了,无法完全理解,所以这更像是一个猜测,而不是一个解决方案。如果问题在于你无法通过 localhost 连接到正在运行的 Docker 容器,你可以尝试使用 Docker IP。也有可能使用 WebSocket 模板并使用 socket 而不是端口。有人认为这在很多方面都是更优选的。

MKJ 的主观 Discourse 部署配置 可能对你有用。

@pfaffman@Matthew_Lucas 已经在使用了带插槽的模板……

我肯定会为我的外部代理使用 localhost,这应该可以与 expose 设置配合使用。我不认为它需要使用 docker IP。而且我也不认为这会因为这个原因而仅在 Apache 位于 docker 容器前面时失败。

您可能需要进行标头配置 — 请参阅 Add an offline page to display when Discourse is rebuilding or starting up - #2 by codinghorror

我一直在尽力忘记 Apache 配置,但我认为您需要弄清楚如何用 Apache 复制 Nginx 配置的这一部分。

    proxy_set_header Host $http_host;
    proxy_http_version 1.1;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto https;
    proxy_set_header X-Real-IP $remote_addr;

特别是,我认为如果没有 Host 标头,它将无法正常工作。

由于您没有使用 HTTPS,您应该能够使用 tcpdump 捕获数据包跟踪,以确切了解出了什么问题。

但是,为什么要将 Apache 放在那里呢?这只是多此一举。如果我尝试类似的操作,我会让 Amazon 负载均衡器直接与 EC2 实例上的 8000 端口通信。我假设您无论如何都会在 ELB 上终止 HTTPS。我怀疑他们的负载均衡器知道要添加的正常标头,而无需您指定它们,但如果不是,显然可以设置它们。只需确保防火墙可以访问该端口。

我怀疑我还能提供多少有价值的信息,但希望其中一些能帮助您完成配置。祝您好运。

在已有 HTTPD 反向代理的 AWS EC2 Linux 上安装 Docker 和 Discourse

大家好,

我已经解决了问题。我重新从头开始,进行了干净的 Docker 和 Discourse 安装。我的具体步骤如下:

前提假设

• 您已拥有一个 AWS EC2 Linux 实例
• 您可以通过 SSH 访问该 EC2 实例
• Apache 2 已在您的服务器上配置并运行

通过 SSH 访问您的 EC2 实例

  1. 打开 CMD / 终端

  2. 通过 SSH 登录到 AWS EC2 实例

连接到 EC2 实例后的屏幕示例

执行系统更新

  1. 在控制台/终端中运行以下命令执行系统更新

$ sudo yum update

安装 Docker

  1. 在控制台/终端中运行以下命令搜索 AWS Docker 软件包

$ sudo yum search docker

  1. 在控制台/终端中运行以下命令获取版本信息

$ sudo yum info docker

  1. 在控制台/终端中运行以下命令安装 Docker

$ sudo yum install docker

  1. 在控制台/终端中运行以下命令为默认的 ec2-user 添加组 membership,以便您可以无需使用 sudo 命令即可运行所有 Docker 命令
$ sudo usermod -a -G docker ec2-user
$ id ec2-user

# 无需注销即可重新加载 Linux 用户的 Docker 组分配

$ newgrp docker
  1. 在控制台/终端中运行以下命令安装 docker-compose
# 1. 获取 pip3(Python 安装包)
$ sudo yum install python3-pip
 
# 2. 然后运行以下任意一条命令
$ sudo pip3 install docker-compose # 使用 root 权限
 
# 或
 
$ pip3 install --user docker-compose # 出于安全原因不使用 root 权限

# 检查权限
$ sudo chmod -v +x /usr/local/bin/docker-compose
  1. 在控制台/终端中运行以下命令启用 Docker 服务,使其在启动时自动运行

$ sudo systemctl enable docker.service

  1. 在控制台/终端中运行以下命令启动 Docker 服务

$ sudo systemctl start docker.service

  1. 在控制台/终端中运行以下命令检查 Docker 服务是否正在运行,输出将类似于以下内容

一些有用的基础 Docker 命令:

# Docker 版本
$ docker version

# Docker Compose 版本
$ docker-compose version

# 启动 Docker 服务
$ sudo systemctl start docker.service

# 停止 Docker 服务
$ sudo systemctl stop docker.service

# 重启 Docker 服务
$ sudo systemctl restart docker.service

# Docker 服务状态
$ sudo systemctl status docker.service

安装 Discourse

  1. 创建 Discourse 文件夹

$ sudo mkdir /var/discourse

  1. 将 Discourse Docker 镜像克隆到新创建的目录

$ sudo git clone https://github.com/discourse/discourse_docker.git /var/discourse

  1. 将 standalone.yml 文件复制到 containers 文件夹

$ cp /var/discourse/samples/standalone.yml /var/discourse/containers/discourse.yml

  1. 按如下方式编辑新的 discourse.yml 文件(重要部分包括 HTTP 的暴露端口和 SMTP 的电子邮件详情,请在文件中修改,不要直接复制粘贴)

编辑选项:

1. 您可以使用 nano 并通过命令行/终端进行编辑
2. 在 AWS 上,如果您使用带有 PLUMA 的 MATE 桌面环境,可以使用 PLUMA 编辑文件
3. 您可以使用 WINSCP 通过 SSH 登录到机器,并通过 Windows GUI 编辑文件

## 这是全功能的独立 Discourse Docker 容器模板
##
## 修改此文件后,您必须重新构建
## /var/discourse/launcher rebuild app
##
## 编辑时请*非常*小心!
## YAML 文件对空格或缩进错误极其敏感!
## 如有需要,请访问 http://www.yamllint.com/ 验证此文件

templates:
  - "templates/postgres.template.yml"
  - "templates/redis.template.yml"
  - "templates/web.template.yml"
  ## 取消注释下一行以启用 IPv6 监听器
  #- "templates/web.ipv6.template.yml"
  - "templates/web.ratelimited.template.yml"
  ## 如果您想添加 Lets Encrypt (https),请取消注释这两行
  #- "templates/web.ssl.template.yml"
  #- "templates/web.letsencrypt.ssl.template.yml"

## 此容器应暴露哪些 TCP/IP 端口?
## 如果您希望 Discourse 与另一个 Web 服务器(如 Apache 或 nginx)共享端口,
## 请参阅 https://meta.discourse.org/t/17247 了解详情
expose:
  - "8080:80"   # http(在本地端口 8080 运行,Docker 端口为 80)
  #- "443:443" # https(请确保此行已注释)

params:
  db_default_text_search_config: "pg_catalog.english"

  ## 将 db_shared_buffers 设置为总内存的最大 25%。
  ## 将根据检测到的 RAM 自动设置,您也可以覆盖
  #db_shared_buffers: "256MB"

  ## 可以提高排序性能,但会增加每个连接的内存使用量
  #db_work_mem: "40MB"

  ## 此容器应使用哪个 Git 修订版本?(默认:tests-passed)
  #version: tests-passed

env:
  LC_ALL: en_US.UTF-8
  LANG: en_US.UTF-8
  LANGUAGE: en_US.UTF-8
  # DISCOURSE_DEFAULT_LOCALE: en

  ## 支持多少并发 Web 请求?取决于内存和 CPU 核心数。
  ## 将根据检测到的 CPU 自动设置,您也可以覆盖
  #UNICORN_WORKERS: 3

  ## TODO: 此 Discourse 实例将响应的域名
  ## 必填项。Discourse 无法仅使用裸 IP 地址运行。
  DISCOURSE_HOSTNAME: 'faq.mobiloan.io'

  ## 如果您希望容器以与上述相同的 hostname(-h 选项)启动,请取消注释
  #DOCKER_USE_HOSTNAME: true

  ## TODO: 初始注册时将设为管理员和开发者的逗号分隔电子邮件列表
  ## 示例:'user1@example.com,user2@example.com'
  DISCOURSE_DEVELOPER_EMAILS: ‘在此输入电子邮件’

  ## TODO: 用于验证新账户和发送通知的 SMTP 邮件服务器
  # SMTP 地址、用户名和密码为必填项
  # 警告:SMTP 密码中的字符 '#' 可能导致问题!
  DISCOURSE_SMTP_ADDRESS: 在此输入 SMTP 地址
  DISCOURSE_SMTP_PORT: 587
  DISCOURSE_SMTP_USER_NAME: 在此输入用户名
  DISCOURSE_SMTP_PASSWORD: 在此输入密码
  DISCOURSE_SMTP_ENABLE_START_TLS: true           # (可选,默认为 true,我们使用 Amazon SES)

 

  #DISCOURSE_SMTP_DOMAIN: discourse.example.com    # (某些提供商要求)
  #DISCOURSE_NOTIFICATION_EMAIL: noreply@discourse.example.com    # (发送通知的地址)

  ## 如果您添加了 Lets Encrypt 模板,请取消注释以下行以获取免费 SSL 证书
  #LETSENCRYPT_ACCOUNT_EMAIL: me@example.com

  ## 此 Discourse 实例的 HTTP 或 HTTPS CDN 地址(配置为拉取)
  ## 请参阅 https://meta.discourse.org/t/14857 了解详情
  #DISCOURSE_CDN_URL: https://discourse-cdn.example.com
  
  ## MaxMind 地理位置 IP 地址查询的许可证密钥
  ## 请参阅 https://meta.discourse.org/t/-/137387/23 了解详情
  #DISCOURSE_MAXMIND_LICENSE_KEY: 1234567890123456

## Docker 容器是无状态的;所有数据都存储在 /shared 中
volumes:
  - volume:
      host: /var/discourse/shared/standalone
      guest: /shared
  - volume:
      host: /var/discourse/shared/standalone/log/var-log
      guest: /var/log

## 插件放在此处
## 请参阅 https://meta.discourse.org/t/19157 了解详情
hooks:
  after_code:
    - exec:
        cd: $home/plugins
        cmd:
          - git clone https://github.com/discourse/docker_manager.git

## 构建后运行的任何自定义命令
run:
  - exec: echo "开始自定义命令"
  ## 如果您想设置首次注册的'From'电子邮件地址,请取消注释并修改:
  ## 收到首次注册邮件后,请重新注释该行。该行只需运行一次。
  #- exec: rails r "SiteSetting.notification_email='info@unconfigured.discourse.org'"
  - exec: echo "结束自定义命令"
  1. 文件编辑并保存后,在终端中运行以下命令重新构建 Discourse 应用

$ /var/discourse/launcher rebuild discourse

注意:如果您的 yaml 文件名称不同,请将 discourse 替换为您的 yaml 文件名

请注意,重新构建需要一些时间。

  1. 应用重新构建完成后,应用应运行在 8080 端口。要验证这一点,请在终端中运行以下命令

$ sudo lsof -i -P -n | grep LISTEN

端口输出示例

注意:Docker 监听 8080 端口,httpd(Apache)监听 80 端口。

在流量路由方面,Apache 将接收 Web 请求,并在适当时将其路由到 8080 端口的 Discourse 容器。

为了确保路由正常,您必须在 Apache 配置文件中配置虚拟主机。

Apache 虚拟主机配置

  1. Apache 配置文件位于 /etc/httpd/conf.d/00-virtualhosts.conf。httpd / apache / apache2 是不同版本的 Apache。如果您未使用 httpd 服务,您的文件可能位于不同位置,但虚拟主机配置在此情况下是相同的。

编辑选项:

1. 您可以使用 nano 并通过命令行/终端进行编辑
2. 在 AWS 上,如果您使用带有 PLUMA 的 MATE 桌面环境,可以使用 PLUMA 编辑文件
3. 您可以使用 WINSCP 通过 SSH 登录到机器,并通过 Windows GUI 编辑文件

通过添加以下内容编辑 /etc/httpd/conf.d/00-virtualhosts.conf 文件:

# FAQ(DISCOURSE 路由)

<VirtualHost *:80>
  	ServerName  sub.domain.com
  	ProxyPreserveHost On
    ProxyPass "/" "http://localhost:8080/"
    ProxyPassReverse "/" "http://localhost:8080/"
</VirtualHost>
  1. 您需要创建相应的 CNAME DNS 记录,将子域名指向您的 AWS 服务器/负载均衡器。

我们的设置稍微复杂一些,因为我们有域名提供商,它将所有流量路由到 AWS 负载均衡器。

负载均衡器通过 AWS 提供的证书处理我们的 SSL/TLS。

负载均衡器还将流量路由到 AWS 实例。

Apache 安装在 AWS 实例上,并将流量路由到我们的:

  • Node Express 应用程序
  • Docker / Discourse 应用程序。

结论

这只是其中一种解决方案,但它是与我们现有设置兼容的解决方案。

特别感谢:

@Kane York 关于 Discourse 的文章,
@Axel Fernandes 在 Medium 上的文章及其关于下载必要 Discourse 文件的笔记,
@Vivek Gite 来自 nixCraft 以及他在 cyberciti 上关于在 AWS Linux 2 上安装 Docker 的文章。