시리즈: 공공데이터에서 영업 시그널을 자동으로 발굴하기까지 (마지막 편), 14편 읽기
요즘 가장 많이 듣는 질문
이 프로젝트 이야기를 하면 십중팔구는 이렇게 물어본다.
"그거 요즘 AI로 딸깍하면 되는 거 아닌가요? Claude Code 같은 거로 만들면 금방 되지 않나요?"
오해하지 말자. 이 시스템의 상당 부분을 AI 도구의 도움을 받아 만들었다. 실제로 그러했다. 그리고 그 경험에서 배운 걸 솔직하게 이야기하겠다.
AI가 잘한 것
수백 개의 커밋, 100개 이상의 수집 모듈, 수십 개의 서비스 모듈. 이 규모를 만드는 데 AI 도구 없이는 효율적으로 진행하기 어려웠을 것이다.
AI가 큰 도움이 된 영역
- 템플릿 기반 수집기 생성: 기본 구조가 같은 수집기를 새 소스에 맞게 변형. 하루에 14~28개의 새 수집기를 추가한 날도 있었다.
- 보일러플레이트 코드: HTML 파서, 날짜 추출, 데이터 정규화 같은 반복적 코드
- 에러 디버깅: 에러 메시지를 주면 원인을 분석하고 수정안 제시
- 스크립트 작성: 데이터 품질 검사, 배치 처리, 마이그레이션 스크립트
- 문서화: 코드 구조, API 스펙, 운영 가이드 작성
AI 도구로 생산성이 5~10배는 높아졌다. 혹자는 그 이상일 수도.
AI가 못한 것
그런데 AI가 못한 것들이 있다. 그리고 이게 핵심이다.
1. 도메인 지식을 대체하지 못한다
"이 사이트는 서버 사이드 렌더링이니까 HTTP 요청으로 가능하다" vs "이건 JavaScript로 그리니까 브라우저가 필요하다", 이 판단은 사람이 직접 사이트를 들여다보고 내려야 한다. AI에게 "이 사이트 수집기 만들어줘"라고만 하면, 당연히 동작하지 않는 코드가 나온다.
2. 엣지 케이스를 예측하지 못한다
"이 사이트는 SSL 인증서가 만료되어 있어서 별도 처리가 필요하다", "이 기관은 URL에 서명을 붙이는 방식이라 단순 접근이 안 된다", 이런 예외 케이스는 실제로 부딪혀봐야 안다. AI에게 미리 알려줄 수 없다.
3. 품질 판단을 대신하지 못한다
"이 데이터가 맞는가?", 이 질문에 답하려면 데이터의 맥락을 알아야 한다. 과기부 예산이 300억으로 나왔는데, 이게 맞는 숫자인지 아닌지는 그 분야를 아는 사람만 판단할 수 있다.
4. 운영 판단을 대신하지 못한다
"이 사이트가 3일째 응답이 없는데, 서버 점검인가 아니면 우리가 차단당한 건가?", 이런 운영 판단은 경험에서 나온다.
"딸깍"의 진실
솔직히 말하면 이렇다.
AI로 수집기 하나를 만드는 건 30분이면 된다. 하지만 그 수집기가 실제로 안정적으로 동작하게 만드는 데는 하루가 걸린다. AI가 만든 코드를 돌려보고, 에러를 잡고, 엣지 케이스를 처리하고, 다시 돌려보고, 이 순환을 반복해야 한다.
그리고 그게 30개 사이트에 대해 각각 이루어져야 한다.
그리고 수집기만으로는 안 된다. 데이터 정규화, 품질 검증, 스코어링, 교차 연결, 대시보드, 알림 시스템, 이 모든 게 맞물려 돌아가야 한다.
진짜 병목: 구축이 아니라 유지
"AI로 딸깍" 논의에서 가장 놓치는 것이 있다. 유지보수.
시스템을 만드는 건 시작일 뿐이다. 진짜 어려운 건 매일 돌리는 것이다.
- 정부 사이트가 리뉴얼되면 수집기가 깨진다 → 누군가 고쳐야 한다
- 새로운 소스가 추가된다 → 누군가 새 수집기를 만들어야 한다
- 데이터 품질이 떨어진다 → 누군가 원인을 찾고 고쳐야 한다
- LLM 비용이 늘어난다 → 누군가 최적화해야 한다
이 "누군가"는 AI가 아니라 사람이다. 도메인을 이해하고, 운영 경험이 있고, 판단을 내릴 수 있는 사람.
그러면 AI의 역할은 뭐냐
가장 정확한 비유는 이거다.
AI는 훌륭한 주니어 개발자다. 시키는 대로 빨리 잘한다. 하지만 시키는 사람이 필요하다. 방향을 정해주고, 결과를 검증하고, 예외 상황을 알려주는 사람.
"AI로 딸깍하면 된다"는 말은 "주니어 개발자가 있으면 된다"는 말과 같다. 맞는 말이다. 하지만 그 주니어를 이끄는 시니어 없이는 안 된다. 무엇을 만들어야 하는지, 왜 만들어야 하는지, 어떤 품질이어야 하는지를 아는 사람 말이다.
기술은 쉬워졌다. 진짜로. AI 덕분에 구축 속도는 5배, 10배 빨라졌다.
하지만 무엇을 만들어야 하는지 아는 것, 데이터를 이해하는 것, 품질을 판단하는 것, 운영을 지속하는 것, 이건 AI로 딸깍할 수 없다. 이게 이 프로젝트를 하면서 배운 가장 큰 교훈이다.
15편의 끝에서
시리즈의 첫 질문은 이거였다.
"이 입찰, 경쟁사는 어떻게 미리 알고 준비했지?"
15편의 여정을 거쳐, 답은 명확해진다. 그들은 공고를 본 게 아니라 시그널을 봤다. 그 시그널을 사람이 아니라 시스템으로 추적했다. 그리고 그 시스템은 AI로 만들어졌지만, AI만으로는 만들 수 없었다.
이 시리즈가 공공데이터 활용을 고민하는 누군가에게, 또는 AI 시대의 데이터 프로젝트의 현실을 알고 싶었던 누군가에게 도움이 되었기를 바란다.
질문이나 의견은 sales@cliwant.com으로 보내주시면 답해드린다.
