업데이트 = 💀

[anon48433008]

안녕하세요

업데이트를 잘 챙겨서, 업데이트가 필요하다는 것을 보고 실행했는데, 그 결과 관리자 화면 외에는 UI가 전혀 표시되지 않았습니다.

SSH로 접속하여 서버 업데이트를 진행해 모든 것이 정상인지 확인해 보았지만, 해결되지 않았습니다.

롤백을 시도했는데 다음과 같은 메시지가 떴습니다.

안전 모드(Safe Mode)로 진입하여 부팅을 시도했는데, 부분적인 UI만 표시되었습니다.

로그인할 수 없으며, 내 사용자 이름은 사용 가능하다고 하고, 내 이메일은 존재하지 않는다고 합니다.

도움이 필요하니 도와주셨으면 좋겠습니다. 감사합니다.

---

수정: 서버를 재부팅했는데 다음과 같은 결과가 나왔습니다.

변화가 없어서 가입(Register) 페이지로 가서 이제 백업을 해야겠다고 생각했습니다.

여기서도 마찬가지였습니다.

---

수정: 다른 창에서 새로고침을 했더니 가입이 가능한 것 같았습니다.

그 다음

여전히 해결되지 않았습니다.

---

SSH로 확인해 보니 여전히 이전 상태 그대로였습니다.

---

수정

DISCOURSE DOCTOR Sun Nov 12 01:54:06 UTC 2023
OS: Linux ip-10-0-159-37 6.2.0-1015-aws #15~22.04.1-Ubuntu SMP Fri Oct  6 21:37:24 UTC 2023 x86_64 x86_64 x86_64 GNU/Linux


Found containers/app.yml

==================== YML SETTINGS ====================
DISCOURSE_HOSTNAME=forum.full30.com
SMTP_ADDRESS=smtp.sendgrid.net
DEVELOPER_EMAILS=REDACTED 
SMTP_PASSWORD=REDACTED 
SMTP_PORT=587
SMTP_USER_NAME=apikey
LETSENCRYPT_ACCOUNT_EMAIL=REDACTED  LETSENCRYPT_ACCOUNT_EMAIL

==================== DOCKER INFO ====================
DOCKER VERSION: Docker version 24.0.7, build afdd53b

DOCKER PROCESSES (docker ps -a)

CONTAINER ID   IMAGE                 COMMAND        CREATED        STATUS                      PORTS     NAMES
0be0150fecde   local_discourse/app   "/sbin/boot"   5 months ago   Exited (5) 11 minutes ago             app

==================== SERIOUS PROBLEM!!!! ====================
app not running!
Attempting to rebuild
==================== REBUILD LOG ====================
x86_64 arch detected.
Ensuring launcher is up to date
Fetching origin
Launcher is up-to-date
Stopping old container
+ /usr/bin/docker stop -t 600 app
app
2.0.20231023-1945: Pulling from discourse/base
Digest: sha256:2b0eb484d20888cc2daadb690dcfa73522105650c1420212e99345a36a424d77
Status: Image is up to date for discourse/base:2.0.20231023-1945
docker.io/discourse/base:2.0.20231023-1945
/usr/local/lib/ruby/gems/3.2.0/gems/pups-1.2.1/lib/pups.rb
/usr/local/bin/pups --stdin
I, [2023-11-12T01:54:13.829288 #1]  INFO -- : Reading from stdin
I, [2023-11-12T01:54:13.834181 #1]  INFO -- : > locale-gen $LANG && update-locale
I, [2023-11-12T01:54:13.862453 #1]  INFO -- : Generating locales (this might take a while)...
Generation complete.

I, [2023-11-12T01:54:13.862638 #1]  INFO -- : > mkdir -p /shared/postgres_run
I, [2023-11-12T01:54:13.865023 #1]  INFO -- : 
I, [2023-11-12T01:54:13.865390 #1]  INFO -- : > chown postgres:postgres /shared/postgres_run
I, [2023-11-12T01:54:13.867489 #1]  INFO -- : 
I, [2023-11-12T01:54:13.867791 #1]  INFO -- : > chmod 775 /shared/postgres_run
I, [2023-11-12T01:54:13.869643 #1]  INFO -- : 
I, [2023-11-12T01:54:13.869925 #1]  INFO -- : > rm -fr /var/run/postgresql
I, [2023-11-12T01:54:13.871930 #1]  INFO -- : 
I, [2023-11-12T01:54:13.872203 #1]  INFO -- : > ln -s /shared/postgres_run /var/run/postgresql
I, [2023-11-12T01:54:13.874058 #1]  INFO -- : 
/tmp/discourse-debug.txt

[simon]

이것은 중요한 것 같습니다:

Warning: Could not create server TCP listening socket *:6379: bind: Address already in use

Redis는 6379 포트에서 실행될 것으로 예상됩니다.

Redis 서버를 생성하지 못하는 것이 마이그레이션에 문제를 일으킬 수 있을까요?

Error: relation "summary_sections" already exists

어떤 이유에서인지 summary_sections 테이블을 생성하는 마이그레이션이 다시 실행되고 있습니다. 로그에 다른 중복 테이블 오류가 있나요?

그리고 다른 질문은, 최근 백업 파일이 있는지입니다.

[anon48433008]

@simon

최근 백업 파일이 있나요?

ㅋㅋ 네, 저도 대략 같은 추측을 했을 것 같아요. 안타깝게도 서버를 확인해 보니 최신 백업이 11월 5일로 표시되고 있네요. 관리자 계정에 로그인할 수 없어서 Discourse가 더 새로운 백업을 생성했는지 확인할 수 없어요.

하지만… 이건 오늘 아침의 상황입니다.

관리자 대시보드에 로그인해서 백업을 수행할 수 없다면 정말 뾰족한 수가 없나요?

답변 주셔서 감사합니다. 일주일 전 백업이라도 빠르게 다시 시작할 수 있기를 바랍니다.

로버트

[anon48433008]

@simon

로그에 중복 테이블 오류가 더 있나요?

로그에 대해 너무 잘 모르겠습니다. 5년 동안 이 일을 해왔지만 문제가 거의 없고 쉽게 수리할 수 있어서 관심을 가질 이유가 없었거든요. 물어볼 기술 팀도 없어서, 제가 가져와서 게시할 수 있도록 알려주실 수 있을까요? 그리고 업로드하면 닥터 파일처럼 내용이 편집(redacted)되나요?

[anon65426961]

저도 이 최신 업데이트를 통해 새 사이트를 설치하는 과정에서 문제를 겪었습니다. 설치를 실수로 중단한 것 같고, 그 결과 사이트가 업데이트가 완료되었다는 메시지와 동시에 긴급 업데이트가 필요하다는 메시지를 동시에 표시했습니다. 하지만 방금 최신 업데이트를 마쳤기 때문에 업데이트를 진행할 수 없다고도 했습니다.

콘솔에서 앱을 다시 구축하는 방법으로 문제를 해결했으며, 백업에서 복원할 필요는 없었습니다.

백업에서 사이트를 다시 시작하는 방법도 알면 좋겠습니다. 어떻게 해야 하는지 모르겠습니다.

[anon48433008]

다시 시도해 보기 위해 다음을 실행했습니다.

cd /var/discourse
git pull
./launcher rebuild app

그리고 다시

아래와 같은 오류/경고가 발생했습니다.

다시 Doctor를 실행했지만 도움이 되지 않았습니다. 보고서는 저장해 두었지만 새로운 내용은 없었습니다.

[anon65426961]

다시 재빌드를 진행했는데 비슷한 오류가 발생했습니다:

137:M 12 Nov 2023 13:09:14.143 # Warning: Could not create server TCP listening socket *:6379: bind: Address already in use
137:M 12 Nov 2023 13:09:14.143 # Failed listening on port 6379 (TCP), aborting.

그러나 여전히 진행 중입니다. 이전에 이 오류를 본 적이 있는 것 같지만 설치 자체는 완료되었습니다.

현재 ssh로 root 권한으로 서버 콘솔에 로그인되어 있나요?

설치 중 완료되는 데 걸리는 시간이 꽤 오래 걸리는 경우가 몇 번 있었는데, 10분 이상 걸리는 것 같아서 처음에는 충돌이 난 줄 알았지만 충분히 기다리니 완료되었습니다.

잘못된/미충족된 peer dependency에 대한 오류가 많이 발생했습니다.

그리고 "background saving terminated with success,"라는 줄에서 멈추는데, 이는 마치 종료된 것처럼 들리지만 실제로는 그렇지 않습니다. 이 단계에서 다음 단계로 넘어가기까지 10분 정도 걸릴 수 있습니다.

[lubezniy (Victor Lyubezny)]

로그 세부 정보를 보려면 다음과 같이 할 수 있습니다:

root로 로그인하거나 "sudo su"를 실행합니다.
그 다음 다음 명령을 실행합니다:

cd /var/discourse
./launcher enter app
tail -f log/production.log

마지막 명령을 실행한 후 Discourse에 HTTP 요청을 보내야 합니다. 그러면 셸에 새로운 오류 메시지가 표시됩니다. 이후 Ctrl+C를 눌러 tail 명령 실행을 중단하고 메시지를 확인하거나 복사할 수 있습니다.

컨테이너 셸을 종료하려면 exit 명령을 사용할 수 있습니다.

[anon48433008]

@anon65426961

ssh as root

네

@lubezniy

마지막 명령을 실행한 후 HTTP 요청을 보내야 합니다

Error response from daemon: Container 0be0150fecde6af5e98c0f12b97d24ccc1333fee2e96f02174ac63b79df8efbc is not running
tail: cannot open ‘log/production.log’ for reading: No such file or directory
tail: no files remaining

curl "https://forum.full30.com"으로 HTTP 요청을 시도해 보았습니다.

그리고 다음과 같은 결과를 얻었습니다.

curl: (3) URL using bad/illegal format or missing URL

그러니까… 아마도 제가 HTTP 요청이 무엇을 의미하는지 단순히 이해하지 못한 것 같습니다

[simon]

@anon48433008

가장 최근 날짜는 11월 5일로 보입니다.

가장 최근의 백업이 그 날짜이고, 저는 이 분야의 전문가가 아니므로 여기서 조언을 드리는 것이 적절하지 않을 것 같습니다.

제가 파악한 바로는, Warning: Could not create server TCP listening socket *:6379 경고는 마이그레이션 오류와는 관련이 없을 가능성이 큽니다. 예를 들어:

INFO -- cd /var/www/discourse and su discourse -c 'bundle exec rake db:migrate'

ERROR: database "discourse" already exists

Error: role "discourse" already exists

Error: relation "summary_sections" already exists

이러한 오류들은 데이터베이스가 어떤 형태로든 손상되었음을 시사하는 것 같습니다. bundle exec rake db:migrate 명령어(위에서 공유한 로그 스니펫의 INFO 섹션에 포함되어 있습니다)는 Discourse가 데이터베이스의 schema_migrations 테이블을 확인하여 이전에 실행된 마이그레이션이 무엇인지 파악하도록 트리거합니다. 이를 통해 동일한 마이그레이션이 여러 번 실행되는 것을 방지합니다. 따라서 제 추측으로는 데이터베이스의 schema_migrations 테이블이 손상되었거나, db/migrations 폴더에 중복된 항목이 어떻게든 들어갔거나, db/migrations 폴더 내의 파일 이름이 어떻게든 변경되었을 가능성이 있습니다. 이러한 상황들이 발생하는 원인이 무엇일지는 확실하지 않습니다.

./launcher enter app 명령으로 앱에 진입하여 거기서 마이그레이션을 수동으로 실행해 보아도 좋을 것 같습니다. 하지만 당장 그렇게 하지 마세요. 런처 스크립트에 대해 더 잘 아는 누군가가 이 게시물을 보고 제가 잘못 쓴 부분을 수정해 주기를 바랍니다.

[anon48433008]

여러분의 의견, 혹은 누구의 의견이든 궁금합니다.

다시 서버를 이전할 계획을 세우고 있는데, 이 문제들이 PG::DuplicateTable: ERROR: relation "summary_sections" already exists 같은 “이미 존재함” 오류에 집중되어 있는 것 같아서, 지금이 좋은 시점일까요?

이전이 도움이 될까요?

[simon]

@anon48433008

이동하는 것이 도움이 될까요?

그렇게 하면 문제가 해결될 것 같습니다. 최신 백업 파일을 가져와서 새 설치를 만들어 보는 것도 나쁘지 않을 것입니다.

[anon48433008]

@simon

새로운 설치 생성

사이트가 이미 새로운 설치인 것으로 인식하는 것 같습니다. 제 스크린샷 중 일부를 참고해 주세요.

이것은 단순히 safemode를 사용했을 때 발생했습니다. 업데이트만으로 꽤 상당한 크래시가 발생했는데, 제 discourse 인스턴스만 영향을 받아 무너진 것이라 더 기이합니다.

git pull 등을 수행했지만 새 빌드를 만드는 것과 차이가 없다고 생각합니다. 제가 잘못 이해하고 있다면 어떻게 다른지 알려주세요.

[anon48433008]

시도해 봤습니다

./launcher start-cmd app

./launcher cleanup

18MB의 이미지를 삭제하고 새로 pull/rebuild/fail/doctor를 실행했는데도 여전히 해결되지 않았습니다.

APP에 접속하면 모든 정보가 여전히 존재하긴 합니다. 그 점은 다행이죠.

[Firepup650 (Firepup Sixfifty)]

중복 테이블 오류를 무시해도 안전하다고 95% 확신합니다. (우리 포럼에서 업그레이드할 때마다 이 오류를 보았던 기억이 나거든요.)

[anon48433008]

@Firepup650

무시해도 안전합니다

무시했는데도 여전히 온라인으로 복귀할 수 없어요.

@anon65426961

잘못된/충족되지 않은 peer dependency에 대한 오류가 많습니다.

이 오류들에 대해 어떻게 생각하시나요?

[Firepup650 (Firepup Sixfifty)]

재빌드에서 전체 로그를 게시해 주시겠어요?

[deoxyseia (Elvis Inche Arzapalo)]

어제에도 같은 문제가 발생했습니다. 이전 업데이트에서도 비슷한 증상이 있어서 서버 문제라고 생각하고 임시 해결을 위해 아래 명령어를 실행했습니다.

/launcher rebuild app

최신 백업을 다운로드하여 새 서버를 배포했습니다. 백업 복원이 너무 쉬웠고, 이상하게도 모든 것이 이미 업데이트되어 있었습니다.

[anon48433008]

@deoxyseia

/launcher rebuild app

FAILED
--------------------
Pups::ExecError: cd /var/www/discourse && su discourse -c 'bundle exec rake db:migrate' failed with return #<Process::Status: pid 645 exit 1>
Location of failure: /usr/local/lib/ruby/gems/3.2.0/gems/pups-1.2.1/lib/pups/exec_command.rb:132:in `spawn'
exec failed with the params {"cd"=>"$home", "hook"=>"db_migrate", "cmd"=>["su discourse -c 'bundle exec rake db:migrate'"]}
bootstrap failed with exit code 1
** FAILED TO BOOTSTRAP ** please scroll up and look for earlier error messages, there may be more than one.
./discourse-doctor may help diagnose the problem.
adb2c505fd2f1289f44586496fea24ff31264f73c26eb524baf16602a189f
root@ip-10-0-159-37:/var/discourse#

@deoxyseia

deploy a new server.

이것이 정확히 무엇을 의미합니까?

[anon48433008]

@Firepup650

리빌드 시 전체 로그를 게시해 주시겠어요?

네, 우선 어떤 부분을 삭제해야 하나요?