엔지니어링 팀은 더 빠르게 일하기 위해 AI를 도입했고, 한 가지 지표로 보면 실제로 효과가 있었습니다. Bain의 2026년 기술 리더 설문조사에 따르면 AI를 활용한 개발자는 약 21% 더 많은 작업을 완료하지만, 리뷰 시간은 약 91% 증가합니다. Bain의 결론은 분명합니다. 이제 사람의 리뷰가 핵심 제약 요소라는 것입니다. 이 결과는 휴먼 인 더 루프 AI 에이전트를 도입하는 모든 조직에 중요합니다. 에이전트의 모든 결과물이 사람의 책상 위로 올라오면 그 사람이 병목이 되고, 에이전트를 더 늘릴수록 대기열만 길어지기 때문입니다.
이 글에서는 데이터가 말해 주는 내용, 산출량보다 리뷰 부담이 더 빠르게 커지는 이유, 그리고 루프 안의 사람이 작업을 다시 하는 대신 증거를 확인할 수 있도록 에이전트 핸드오프를 설계하는 방법을 살펴봅니다.
AI로 엔지니어는 빨라졌지만, 리뷰는 느려졌습니다
이제 도입 여부는 더 이상 문제가 아닙니다. Google의 2025 DORA 연구는 소프트웨어 개발 전문가의 AI 도입률이 90%까지 급증했으며, 이러한 도입이 더 높은 소프트웨어 delivery 처리량과 연관되어 있다고 보고했습니다. 더 많은 코드, 더 많은 변경, 더 많은 티켓이 시스템을 통과하고 있습니다.
확장되지 못한 것은 검증입니다. 2026년 4월에 진행된 Bain의 293명 기술 리더 대상 Tech and Engineering Survey는 이를 수치로 보여 줍니다. 완료된 작업은 약 21% 늘었지만, 리뷰에 쓰는 시간은 약 91% 늘었습니다. 작업이 올바른지 사람이 확인하는 속도보다 작업이 도착하는 속도가 더 빠릅니다.
DORA 팀은 AI를 증폭기로 설명합니다. 이들의 표현에 따르면 AI의 주된 역할은 "조직의 기존 강점과 약점을 확대하는 것"입니다. 이미 부담이 컸던 리뷰 프로세스는 유입되는 물량이 늘어난다고 해서 쉬워지지 않습니다. 오히려 더 시끄러워질 뿐입니다.

휴먼 인 더 루프 AI 에이전트가 리뷰 한계에 부딪히는 이유
휴먼 인 더 루프는 사람이 AI 운영에 적극 참여하여 지침, 피드백, 감독을 제공하는 시스템을 말합니다. 프로덕션 시스템에서 동작하는 AI 에이전트의 경우, 이러한 감독은 대개 에이전트가 찾아낸 내용을 사람이 읽고 다음 조치를 결정하는 것을 의미합니다. 모델 자체는 타당합니다. 문제는 처리 용량입니다.
에이전트는 다섯 배, 리뷰어는 한 명
Bain의 응답자들은 팀당 에이전트 수가 거의 다섯 배로 늘어날 것으로 예상합니다. 각 에이전트가 "원인은 데이터베이스입니다"와 같은 결론만 돌려준다면, 리뷰어는 신뢰하기 전에 추론 과정을 처음부터 재구성해야 합니다. 대시보드를 다시 열고, 쿼리를 다시 실행하고, 로그를 다시 읽어야 합니다. 그렇게 되면 에이전트가 덜어 준 일은 거의 없고, 리뷰어는 이제 검증해야 할 답변이 다섯 배로 늘어납니다.
같은 Bain 기사는 한 대규모 엔지니어링 조직의 대응 방식도 소개합니다. 주당 약 1,300건의 AI 작성 pull request가 병합되며, 모두 다른 변경과 동일한 사람의 리뷰를 거칩니다. 사람의 리뷰는 그대로 유지됩니다. 바뀌어야 할 것은 리뷰 한 건에 드는 작업량입니다.
운영 현장에서도 같은 패턴이 나타나고 있습니다
이것은 코딩에만 해당하는 이야기가 아닙니다. 같은 보고서의 Bain 사이버 보안 챕터는 AI 기반 스캐닝으로 취약점 알림이 최대 여덟 배까지 증가했다고 지적하며, 비교적 단순한 수정은 "휴먼 인 더 루프" 방식으로 자동화할 것을 권장합니다.
온콜 팀은 이 계산을 잘 압니다. Google SRE 가이드에 따르면 포스트모템을 포함해 온콜 인시던트 하나를 처리하는 데 평균 약 6시간이 걸리며, 그래서 12시간 교대당 인시던트를 2건으로 제한합니다. AI SRE 에이전트가 조사하는 모든 알림은 결국 사람이 무엇을 할지 결정하는 것으로 끝납니다. 그 사람이 결과를 신뢰하기 위해 조사를 처음부터 반복해야 한다면, 인시던트 처리 시간은 이전과 다를 바 없습니다.
사람의 리뷰를 빠르게 만드는 요소
해법은 사람을 없애는 것이 아닙니다. 에이전트가 돌려주는 내용을 바꾸는 것입니다. Bain의 응답자들은 안전, 리스크, 거버넌스 가드레일을 에이전트 확장의 최우선 요인(43%)으로 꼽았고, 41%는 위험도가 높은 변경을 사람에게 넘기는 위험 등급별 모델을 기대합니다. 좋은 AI 에이전트 거버넌스는 리뷰어가 지금 무엇을 보고 있는지 정확히 알려 주므로 리뷰를 더 빠르게 만듭니다.
실행 전에 범위 정하기
리뷰어는 경계를 이미 알고 있을 때 더 빠르게 움직입니다. 에이전트 거버넌스에 관한 Microsoft의 가이드는 에이전트가 기능 수행에 필요한 특정 데이터 소스에만 접근하도록 허용할 것을 권고합니다. 에이전트의 역할, 데이터, 도구가 사전에 정해져 있으면 리뷰어는 에이전트가 그 밖에 무엇을 건드렸는지 궁금해할 필요가 없습니다.
답변과 함께 제공되는 증거
증거와 함께 도착한 결론은 직접 확인할 수 있는 결론입니다. 즉 실행한 쿼리, 그 쿼리가 반환한 결과, 그리고 결론의 근거가 된 시그널이 포함되어야 합니다. Forrester는 기준을 분명히 제시합니다. 자율적으로 수행된 모든 조치는 기록되어야 하며 감사인에게 소명할 수 있어야 합니다. 감사인을 만족시키는 바로 그 기록이, 엔지니어가 처음부터 다시 시작하지 않고도 근본 원인을 확인할 수 있게 해 줍니다.
위험도에 맞춘 승인
모든 결과물에 같은 수준의 검토가 필요한 것은 아닙니다. Forrester는 범위가 한정된 작업부터 승인 게이트와 롤백 경로를 갖추고 에이전트를 시작한 뒤, 통제 수단이 효과를 입증함에 따라 자율성을 넓혀 가라고 권고합니다. 조치 내용, 영향 범위, 되돌릴 수 있는지 여부를 명시한 승인 요청은 리뷰어가 한 번 읽고 결정할 수 있게 해 줍니다.

AI SRE와 인시던트 대응에 적용하기
14:25에 체크아웃 서비스에서 지연 시간 알림이 발생했다고 가정해 보겠습니다. 결론만 돌려주는 에이전트는 "잘못된 배포 때문일 가능성이 높습니다"라고 답합니다. 그러면 리뷰어는 이를 입증하는 데 30분을 씁니다.
증거 우선 에이전트는 14:20의 배포 이벤트, 14:22부터 한계치에 고정된 커넥션 풀 메트릭, 로그의 타임아웃 건수, 샘플링된 트레이스의 p95 지연 시간을 제시하고, 승인을 기다리는 단계별 롤백까지 함께 제안합니다. 리뷰어는 네 가지 증거를 훑어보고 롤백 범위를 확인한 뒤 결정합니다. 같은 사람, 같은 책임이지만 재작업은 훨씬 줄어듭니다.
에이전트 수가 늘어날수록 AI 인시던트 대응에 필요한 변화가 바로 이것입니다. 사람은 루프 안에 남아 있지만, 루프는 더 짧아집니다. 조사와 의사 결정을 분리하는 방법을 더 자세히 알고 싶다면 에이전트가 조사하고 사람이 결정하는 IT 운영 속 AI에 관한 글을 참고하세요.
Toby AI Agents가 돕는 방식
Toby AI Agents는 기존 텔레메트리를 기반으로 TrueWatch 워크스페이스 안에서 동작하는 AI 팀원입니다. 앞서 설명한 핸드오프를 중심으로 설계되었습니다.
- 직접 설정하는 범위. 각 에이전트의 역할, 데이터 범위, 사용할 수 있는 도구를 직접 정의합니다. 역할에는 SRE, Security, AppDev, FinOps, Custom이 있습니다.
- 조사 후 결과 제공. 에이전트는 조사하고, 점검을 수행하고, 제안하는 수정안과 함께 결과를 돌려줍니다. 예를 들어 SRE Agent는 지정된 서비스의 메트릭, 로그, 트레이스를 읽고 유력한 원인, 증거, 그리고 승인 대기 중인 롤백 또는 스케일링 변경안을 전달합니다.
- 모든 실행에 남는 증거. 각 실행에는 호출한 도구, 반환된 결과, 답변의 근거가 되는 증거가 기록됩니다.
- 모든 변경은 사용자의 승인으로. 시스템을 변경하는 모든 작업은 사용자의 승인을 기다립니다. 승인 요청에는 조치 내용, 범위, 되돌릴 수 있는지 여부가 표시되며, 승인 또는 거절을 선택할 수 있습니다.
- 팀이 이미 일하는 곳에서. 에이전트는 대시보드, 알림, DQL 쿼리, Slack, 모바일에서 작동하며, 시간 범위, 서비스, 필터 등의 컨텍스트를 이어받고, 알림, 일정, 질문에 따라 실행됩니다.
이러한 통제 수단의 설계 철학이 궁금하다면 Toby AI Agents에 신뢰를 설계한 방법을 읽어 보세요.

FAQ
휴먼 인 더 루프 AI 에이전트란 무엇인가요?
조사나 분석 같은 작업을 수행한 뒤 의사 결정을 사람에게 넘기는 AI 에이전트입니다. 사람은 결과를 검토하고, 특히 프로덕션 시스템을 변경하는 조치를 승인하거나 거절합니다.
AI는 왜 리뷰 시간을 늘리나요?
Bain의 2026년 설문조사에 따르면 AI를 활용한 개발자는 약 21% 더 많은 작업을 완료하지만 리뷰 시간은 약 91% 증가합니다. 산출물이 많아지면 검증할 것도 많아지고, 근거 증거가 없는 결과물은 리뷰어가 신뢰하기 위해 작업을 반복하게 만듭니다.
AI 에이전트 거버넌스는 어떻게 리뷰 속도를 높이나요?
명확한 범위, 기록된 증거, 위험도 기반 승인은 에이전트가 무엇에 접근할 수 있었는지, 무엇을 발견했는지, 무엇을 하려는지를 리뷰어에게 알려 줍니다. 그 덕분에 리뷰는 새로운 조사가 아니라 증거 확인 작업이 됩니다.
Toby AI Agents가 프로덕션을 임의로 변경하나요?
아니요. Toby AI Agents는 지정된 범위 안에서 조사하고 수정안을 제안합니다. 모든 변경은 사용자의 승인을 기다리며, 각 실행에는 호출한 도구, 반환된 결과, 답변의 근거가 되는 증거가 기록됩니다.
조사는 맡기고, 결정은 직접
AI는 이미 작업을 더 빠르게 만들었습니다. 다음 단계는 사람을 배제하지 않으면서 리뷰를 더 빠르게 만드는 것입니다. 범위가 정해지고 증거가 갖춰진 결과를 돌려주고 승인을 기다리는 에이전트는 엔지니어가 주도권을 유지하게 하면서, 재확인에 쓰던 시간을 돌려줍니다. Toby AI Agents 작동 방식 살펴보기.

