DeepSeek 4.1 flash max로 테스트를 진행했습니다.
전체 기록은 여기 있습니다: https://gisthost.github.io/?28dedf78da999ccca5b5b4feb1d58fc9/index.html
이 테스트는 다소 오염(contamination)이 있었는데, dv 컨테이너에서 테스트를 수행했고, 어느 시점에 에이전트가 MCP에 의존하기보다 Docker를 사용하여 변경 사항을 만드는 것이 더 효율적이라고 판단했기 때문입니다.
이미지 생성에는 Qwen 3 Image를 사용했습니다.
시각(eyes)을 위해 에이전트에게 chrome-devtools-mcp를 제공했습니다. 이를 통해 Linux에서 chromium을 사용하도록 쉽게 구성할 수 있으며, 이것이 제 일반적인 선택입니다:
"chromium-devtools": {
"command": "npx",
"args": [
"-y",
"chrome-devtools-mcp@latest",
"--headless=true",
"--executable-path=/usr/bin/chromium",
"--chrome-arg=--no-sandbox",
"--chrome-arg=--disable-dev-shm-usage"
]
},
전체 실행은 드라이버와 서브 에이전트 모두 DeepSeek 4.1 flash에 의존했습니다.
term-llm.com을 사용하여 TUI 모드로 구동했습니다:
결과:
관찰 사항
브리프(brief)가 중요합니다. 훌륭한 브리프가 있으면 결과도 훌륭할 것이며, 형편없는 브리프라면 LLM의 자의적 판단에 맡겨질 수밖에 없습니다. 훌륭한 브리프는 구조와 색상, 예시 등을 구체적으로 다루어야 합니다.
DeepSeek 4.1 flash는 이 테스트에서 매우 뛰어난 성능을 보였으며 비용도 매우 저렴했습니다. 캐시 읽기 비율 99%, 읽은 토큰 280만으로, 비피크 시간대에는 약 1.52달러, 피크 시간대에는 3.04달러가 소요되었을 것입니다. Astra는 토큰 효율성이 훨씬 높으므로 이는 공정한 비교가 아니지만, 참고로 Astra의 유사한 토큰 수 기준 비용은 325달러입니다.
보수적으로 추정하더라도, 토큰 효율성을 고려하더라도 Astra로 이와 같은 디자인을 만드는 데 50~100달러가 소요될 것이라 예상합니다. 현재 API 비용으로는 1.50달러에 이를 수 있는 것은 불가능합니다.
저는 OpenCode go 플랜에서 이를 실행했으며, 월 10달러 플랜에서 거의 소모된 느낌을 받지 않았습니다:
이 실행에서 몇 가지 인상적인 점이 있었습니다. 수 시간 동안 무인 상태로 실행할 수 있었으며, OP의 정확히 동일한 브리프에 대해 성실하고 신중하게 작동했습니다. 브리프의 모든 항목을 다루려고 시도했으며, 모든 것을 세심하게 테스트했습니다.
많은 부분을 정확히 구현했으며 디자인도 견고합니다.
그럼에도 불구하고 이는 GPT 6 Astra는 아닙니다. 제 눈에 이 디자인은 더 LLM적인 느낌이 듭니다. 여백, 폰트, 디테일에 대한 주의를 Astra와 비교할 수 없었습니다. 또한 Astra와 같은 수준의 시각적 정밀도(fidelity)가 없음이 분명했으며, 1차 반복 이후에도 명백한 시각적 오류가 많았습니다. 단점으로는 프롬프트를 주면 대부분의 오류를 수정할 수 있었습니다.
어떤 이유에서인지 이 한 가지는 수정을 거부했습니다:
하지만 나머지 특이한 문제들은 잘 처리되었습니다.
빌드에서 가장 인상적인 부분은 얼마나 깔끔하게 유지하려 했는지를 보여주는 점입니다.
- 증거를 위한 폴더를 생성했습니다.
- 테마를 깔끔하게 엔지니어링하여 여러 파일로 나누고 심지어 테스트까지 시도했습니다.
전반적으로, 50~100배 더 저렴한 모델에게서 Astra 수준의 결과를 기대하지는 말아야 하지만, 도구로서 분명히 비용의 일부로 매우 흥미로운 결과를 생산할 수 있습니다.
사후적으로, dv 컨테이너에서 테마를 직접 빌드한 후 업로드하는 것이 YOLO 모드로 안전하게 실행할 수 있고 설정이 매우 쉬우므로 더 나은 방법이라고 생각합니다.
다음 주에 이 주위에 몇 가지 실험을 더 시도하고 몇 가지 예시를 더 게시할 예정입니다.