디스코URS 독성 분수

커스터마이징 플러그인
1
:information_source: 요약 웹 스크레이퍼가 정상적으로 작동하지 않을 경우 이를 오염시킬 수 있는 숨겨진 링크를 콘텐츠에 추가합니다.
:hammer_and_wrench: 리포지토리 링크 https://github.com/elmuerte/discourse-poison-fountain
:open_book: 설치 가이드 Discourse에서 플러그인 설치하는 방법

기능

생성된 모든 페이지에 오염된 콘텐츠가 있는 페이지로의 링크를 추가합니다. 악의적인 웹 스크레이퍼가 이 콘텐츠를 소비하여 LLM을 훈련시키는 데 사용하면 결과 모델에 부정적인 영향을 미칠 수 있습니다.

이러한 링크는 사용자에게 숨겨져 있으며, rel="nofollow"로 표시되고 기본적으로 robots.txt가 웹 스파이더에게 이 콘텐츠를 사용하지 말라고 지시합니다. 숨겨진 링크는 인증되지 않은 요청에만 추가됩니다.

이 플러그인은 기본적으로 RNSAFFN의 오염된 콘텐츠를 사용합니다. 자세한 정보는 해당 페이지를 참조하세요. 설정에서 오염 소스를 변경할 수 있습니다.

오염된 콘텐츠는 /dpf/<some-random-slug>/<id>와 같은 URL을 가진 페이지에서 제공됩니다. 기본 구성을 사용하면 /dpf/ 경로에서 몇 번 요청하는 IP에 대해 fail2ban 규칙을 만들어 악의적인 스크레이퍼를 차단할 수 있습니다.

구성

플러그인을 설치하고 활성화하기만 하면 백그라운드에서 자동으로 작동하기 시작합니다. 추가 설정을 조정할 수도 있습니다.

설정

설정 및 설명 테이블을 포함합니다.

이름 설명
poison_fountain_source 오염된 페이지에서 제공될 콘텐츠를 생성하는 웹사이트입니다.
poison_fountain_textual_only 오염 소스에서 텍스트 콘텐츠만 허용합니다. 이를 통해 바이너리 콘텐츠의 제공을 방지합니다.
poison_fountain_force_plain_text 소스가 HTML과 같은 다른 형식이라고 하더라도 콘텐츠를 항상 text/plain으로 제공합니다.
poison_fountain_update_robots_txt 기본적으로 활성화되어 있으며, 오염된 콘텐츠를 제외 목록에 추가합니다. robots.txt를 준수하는 웹 스파이더는 오염된 콘텐츠를 완전히 무시합니다.
poison_fountain_cache_hours 새 콘텐츠를 가져오기 전에 콘텐츠를 캐시할 시간(시간 단위). 최대 24시간.
poison_fountain_entries 유지할 오염된 항목의 수
poison_fountain_link_count 생성된 HTML 페이지에 추가할 링크의 수

이 프로젝트는 RNSAFFN과 관련이 없습니다. 이 프로젝트는 그들의 서비스와의 통합을 제공합니다. 이 통합은 유사하게 작동하는 다른 서비스를 사용하도록 구성할 수 있습니다.

이 플러그인을 사용하면 사용 중인 poison fountain이 생성한 콘텐츠를 신뢰하고 이를 전달하게 된다는 점을 인식해야 합니다. 기본적으로 이 플러그인은 이 콘텐츠를 “대부분 무해하게” 만들기 위해 텍스트 콘텐츠만 일반 텍스트로 제공하려고 시도합니다.

8개의 좋아요
2

이 아이디어가 마음에 들어요. 공유해 주셔서 감사합니다.

클라우드플레어가 사용하는 robots.txt 파일 (기존 파일에 추가됨) (아래에도 첨부했습니다)

이런 것에 관심이 있는 분들을 위해 :slight_smile:

# As a condition of accessing this website, you agree to abide by the following
# content signals:

# (a)  If a Content-Signal = yes, you may collect content for the corresponding
#      use.
# (b)  If a Content-Signal = no, you may not collect content for the
#      corresponding use.
# (c)  If the website operator does not include a Content-Signal for a
#      corresponding use, the website operator neither grants nor restricts
#      permission via Content-Signal with respect to the corresponding use.

# The content signals and their meanings are:

# search:   building a search index and providing search results (e.g., returning
#           hyperlinks and short excerpts from your website's contents). Search does not
#           include providing AI-generated search summaries.
# ai-input: inputting content into one or more AI models (e.g., retrieval
#           augmented generation, grounding, or other real-time taking of content for
#           generative AI search answers).
# ai-train: training or fine-tuning AI models.

# ANY RESTRICTIONS EXPRESSED VIA CONTENT SIGNALS ARE EXPRESS RESERVATIONS OF
# RIGHTS UNDER ARTICLE 4 OF THE EUROPEAN UNION DIRECTIVE 2019/790 ON COPYRIGHT
# AND RELATED RIGHTS IN THE DIGITAL SINGLE MARKET.

# BEGIN Cloudflare Managed content

User-agent: *
Content-Signal: search=yes,ai-train=no
Allow: /

User-agent: Amazonbot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

# END Cloudflare Managed Content

User-agent: *
Disallow: /lp
Disallow: /feedback
Disallow: /langtest


Sitemap: https://www.crawlstop.com/sitemap.xml