브라우저 자동화가 20개 동시 실행 근처에서 깨진다는 경험담
한 Reddit 사용자는 Node에서 Playwright 스크래퍼를 운영하다가 동시 실행이 18개쯤 되자 문제가 생겼다고 말했습니다. 시간초과, 메모리 급증, websocket 끊김, queue 정지, OOM 종료가 있었다고 설명했습니다. 32GB 메모리를 추가했지만 근본 해결은 아니었다고 했고, Chrome 121 이후 staging 환경에서 OOM 종료가 났다고 썼습니다.
핵심 포인트
- 작성자는 Node에서 Playwright 스크래퍼를 운영 중이었다고 말했습니다.
- 동시 실행 18개 근처에서 시간초과와 메모리 문제가 생겼다고 했습니다.
- websocket 끊김과 queue 정지도 함께 겪었다고 설명했습니다.
- 32GB 메모리를 추가했지만 해결책으로 보지는 않았습니다.
- Chrome 121 이후 staging에서 OOM 종료가 났다고 썼습니다.
용어 한 줄 설명
- Node
- 자바스크립트 프로그램을 컴퓨터에서 실행하게 해주는 환경입니다.
- Playwright
- 웹사이트를 자동으로 열고 클릭하게 해 주는 도구입니다.
- websocket
- 서버와 프로그램이 계속 연결된 채로 데이터를 주고받는 통신 방식입니다.
- queue
- 처리할 일을 순서대로 쌓아 두는 대기줄입니다.
- staging
- 실제 고객에게 공개하기 전에 미리 확인하는 테스트 환경입니다.
- AI 에이전트
- 사람 대신 정보를 찾거나 작업을 처리하도록 만든 AI 프로그램입니다.
- 토큰 비용
- AI가 글을 읽고 답할 때 처리한 글자 조각 수에 따라 드는 비용입니다.
- 브라우저 기반
- 크롬이나 사파리 같은 웹브라우저에서 바로 쓰는 방식입니다.