옵저버빌리티란 무엇인가? 정의, 이점 및 도구

옵저버빌리티란 메트릭, 로그, 성능 지표와 같은 외부 출력값을 분석하여 복잡한 시스템이나 애플리케이션의 내부 상태를 모니터링, 측정, 이해하는 능력을 의미합니다.

이러한 대규모 실시간 및 수집 데이터의 출력값은 크로스 도메인 데이터 상관 분석과 머신러닝의 적용과 함께 선제적인 인사이트, 자동화된 분석, 실행 가능한 인텔리전스를 제공합니다.

시스템은 오직 출력값만으로 현재 상태를 추정할 수 있을 때 **“관찰 가능하다(observable)”**고 간주됩니다. 외부 출력값이 세분화될수록 시스템의 옵저버빌리티는 향상되며, 문제의 근본 원인을 더 빠르고 정확하게 파악하고 해결할 수 있습니다.

현대의 분산 소프트웨어 시스템과 클라우드 컴퓨팅 환경에서 옵저버빌리티는 애플리케이션과 인프라의 안정성, 성능, 보안을 보장하는 데 있어 점점 더 중요한 역할을 하고 있습니다.

배경

**“옵저버빌리티(observability)”**라는 용어는 동적 시스템을 원하는 수준으로 유지하기 위해 이를 기술하고, 이해하고, 자동화하는 공학 분야의 제어 이론(control theory)에서 유래했습니다. 그 예로는 시스템의 피드백을 기반으로 파이프를 통과하는 물의 흐름이나 오르막과 내리막에서 차량의 속도를 자동으로 제어하는 것을 들 수 있습니다.

옵저버빌리티는 어떻게 작동하는가?

IT 및 클라우드 컴퓨팅 환경에서 옵저버빌리티는 다양한 시스템 구성 요소에서 가능한 많은 데이터를 수집, 집계, 분석하도록 설계된 소프트웨어 도구와 방식에 기반하며, 데이터가 처리 및 사용을 위해 다른 시스템으로 전송되는 가장 중요한 시점에 시스템의 내부 상태를 종합적으로 파악할 수 있게 해줍니다.

이러한 구성 요소에는 하드웨어 및 네트워크 인프라, 애플리케이션, 서버리스 서비스, 미들웨어, 데이터베이스가 포함됩니다.

옵저버빌리티의 3가지 요소

옵저버빌리티의 작동 방식을 이해하기 위해서는 옵저버빌리티의 기반이 되는 세 가지 유형의 텔레메트리 데이터, 즉 옵저버빌리티의 3가지 요소를 살펴보는 것이 중요합니다.

- 로그(Logs)

- 메트릭(Metrics)

- 트레이스(Traces)

옵저버빌리티 솔루션을 통해 이 세 가지 요소가 결합되면 분산 시스템에 대한 깊은 가시성을 제공하고, 팀이 다양한 문제의 근본 원인을 파악할 수 있게 해줍니다. 이는 애플리케이션과 네트워크를 효과적으로 모니터링, 트러블슈팅, 디버깅하고 시스템 성능을 개선하는 데 도움이 됩니다. 목표는 고객 경험 기대치, 서비스 수준 협약(SLA), 그리고 기타 비즈니스 요구 사항을 충족하는 것입니다.

로그

로그는 특정 시점에 발생한 모든 이벤트에 대한 상세하고 변경 불가능한 텍스트 기록으로, 발생 시점을 나타내는 타임스탬프와 컨텍스트를 제공하는 페이로드를 포함합니다. 로그는 모든 소프트웨어, 사용자 행동, 네트워크 활동에서 생성됩니다.

개발자는 트러블슈팅과 디버깅을 위해 이러한 로그를 ‘재생(play back)’하여 활용할 수 있습니다. 이러한 상세 정보와 함께 로그에는 유용한 메타데이터와 추가 데이터가 포함되어 있어 쿼리하기가 더 쉽습니다. 시스템 상태에 대한 유용한 정보를 얻는 검증된 방법으로서, 로그는 시스템에 문제가 발생했을 때 가장 먼저 확인하는 곳입니다.

옵저버빌리티 솔루션은 로그 및 이벤트 데이터를 다른 성능 인사이트와 함께 중앙에서 관리하여, 팀이 로그를 일일이 파헤치는 수고를 덜어주고 전체 기업 차원의 가시성을 제공합니다. 옵저버빌리티 솔루션은 향후 분석을 위해 로그를 카탈로그화하거나, 사전에 정의된 이벤트에 대해 특정 알림 작업을 실행하도록 할 수도 있습니다.

이를 통해 대응 시간이 크게 향상되어, 팀이 동일한 문제의 재발을 방지하고 해결하기 위한 선제적인 솔루션을 마련할 수 있게 됩니다.

메트릭

메트릭은 타임스탬프, 이름, KPI, 값 등 특정 속성을 포함하여 일정 시간 간격에 걸쳐 측정된 수치 값입니다. 메트릭은 계산, 집계 또는 평균화가 가능하도록 설계되어 있습니다. 로그와 달리 메트릭은 기본적으로 구조화되어 있어 쿼리가 더 쉽고 저장 공간 최적화에 유리하며, 더 오랜 기간 보관할 수 있습니다.

메트릭의 예로는 5분 동안 애플리케이션이 사용하는 메모리 또는 CPU 용량을 측정하거나, 사용량이 급증하는 동안 애플리케이션이 겪는 지연 시간을 측정하는 것을 들 수 있습니다.

기업들은 이제 거의 모든 업무에 메트릭을 적용하여, 성공을 정의하고 초기 단계에서 트렌드를 파악해 최선의 대응 방향을 결정하는 데 활용하고 있습니다.

메트릭은 시간에 따른 트렌드나 이상 징후를 보여줄 수 있지만, 문제가 발생했을 때는 제한적인 인사이트만 제공하는 경우가 많습니다. 옵저버빌리티 솔루션은 메트릭을 활용하여 정확한 시스템 성능 값을 측정하고 대응 방안을 마련합니다. 서비스 수준 지표, 지연 시간, 다운타임 값과 같은 항목에 대한 시스템 데이터 포인트로부터 메트릭을 구축함으로써, 옵저버빌리티 솔루션은 조직에 전체 또는 특정 시스템 성능에 대한 실행 가능한 시각화를 제공하여 잠재적인 문제 지점이나 성능 병목 현상을 한발 앞서 파악할 수 있도록 돕습니다.

트레이스

트레이스는 분산 시스템을 통과하는 사용자 요청의 전체 여정을 나타냅니다. 요청이 호스트 시스템을 통과하는 동안 수행되는 모든 작업(“스팬(span)”이라고 함)에는 해당 작업을 수행하는 마이크로서비스와 관련된 중요한 데이터가 인코딩됩니다. 이 요청은 UI나 모바일 앱에서 시작하여 전체 분산 아키텍처를 거쳐 다시 사용자에게 돌아올 수 있습니다.

간단히 말해, 트레이스는 요청을 처리하기 위해 수행된 모든 작업, 한 접점에서 다른 접점으로 이어지는 호출 체인, 호출 시간, 그리고 각 홉(hop) 간의 지연 시간을 기록합니다.

하나 이상의 스팬을 포함하는 트레이스를 살펴보면 분산 시스템을 통과하는 경로를 추적하고 병목 현상이나 장애의 원인을 파악할 수 있습니다.

옵저버빌리티 솔루션은 근본 원인을 파악하기 위한 이슈 추적 작업을 중앙에서 처리합니다. 이는 수동으로 수행할 경우 분산 네트워크에서 매우 까다로운 작업이며, 클라우드 네트워크, 엣지 서버, IoT가 포함되면서 더욱 복잡해지고 있습니다. 분산 트레이싱(또는 분산 요청 트레이싱)을 통해 옵저버빌리티 솔루션은 기업 전체에 걸쳐 도메인 및 시스템에 구애받지 않는 시스템 기능 가시성을 제공할 수 있습니다.

옵저버빌리티 솔루션이 활용하는 3가지 요소

옵저버빌리티 솔루션은 세 가지 유형의 텔레메트리 데이터를 실시간으로 통합하고 연계할 수 있는 단일 통합 콘솔을 제공합니다. 이를 통해 DevOps, 사이트 신뢰성 엔지니어링(SRE) 팀, IT 담당자 등 개별 팀들은 애플리케이션 성능 문제를 나타내거나 그 원인 또는 해결책이 될 수 있는 이벤트를 완전히 이해할 수 있는 전체적이고 맥락적인 정보를 얻게 됩니다. 이러한 팀들은 문제가 언제 발생하는지, 더 중요하게는 왜 발생하는지를 파악할 수 있습니다. 이것이 바로 옵저버빌리티 솔루션을 사용하는 가치입니다.

또한, 애플리케이션, 네트워크, 시스템 전반에서 장애를 신속하게 파악하고 해결될 때까지 영향을 받은 시스템을 지속적으로 모니터링할 수 있어, IT 운영팀이 오류로 인해 최종 사용자 경험에 영향을 주지 않으면서 끊김 없는 서비스 제공을 보장하는 데 매우 중요한 역할을 합니다.

옵저버빌리티가 필요한 이유

옵저버빌리티는 복잡한 시스템에 대한 더 큰 제어력을 제공하기 때문에 소프트웨어 개발에서 그 중요성이 점점 커지고 있습니다.

디지털 전환을 추진하는 과정에서 모든 규모의 조직들이 애플리케이션을 현대화하고, 마이크로서비스를 도입하며, 분산 시스템 아키텍처에 의존하기 시작했습니다. 또한 애자일 개발, 지속적 통합 및 지속적 배포(CI/CD), DevOps, 다양한 프로그래밍 언어 등 현대적인 개발 방식을 빠르게 도입하고 있습니다.

이 모든 것은 서로 다른 클라우드, 시스템, 애플리케이션, 데이터베이스 인프라에 걸친 복잡하고 다양하며 분산된 IT 환경을 만들어냅니다.

옵저버빌리티가 해결하는 과제

이는 다음과 같은 질문으로 이어집니다. 이 모든 것을 어떻게 관리할 것인가? 현재 기술의 도입은 과거의 단순한 모니터링 시스템으로는 해결할 수 없는 특정한 문제들을 야기합니다. 예를 들면 다음과 같습니다.

분산 시스템

훨씬 더 많은 상호 연결된 구성 요소로 이루어진 분산 시스템에서는 발생할 수 있는 장애의 수와 유형도 더 많아집니다. 분산 시스템이 지속적으로 업데이트됨에 따라 새로운 유형의 장애가 발생할 가능성도 점점 커지고 있습니다.

게다가 분산 환경 내의 문제는 이해하기가 훨씬 더 어렵습니다. 분산 환경은 단순한 환경보다 더 많은 “알지 못하는 미지의 요소(unknown unknowns)”를 만들어내기 때문입니다. 모니터링은 “알고 있는 미지의 요소(known unknowns)”만을 감시할 수 있기 때문에 복잡한 환경의 문제를 완전히 해결하지 못합니다.

옵저버빌리티는 분산 시스템의 예측 불가능성에 더 적합합니다. 문제가 발생했을 때 “X가 작동하지 않는 이유는 무엇인가?” 또는 “지금 지연 시간을 증가시키는 원인은 무엇인가?”와 같이 시스템 동작에 대한 질문을 던질 수 있게 해줍니다.

클라우드 환경과 클라우드 네이티브 인프라

분산 시스템의 주요 구성 요소로서, 하이브리드 클라우드, 멀티클라우드 전략, 클라우드 네이티브 인프라가 마이크로서비스, 서버리스 기능, 컨테이너 기술의 형태로 기업들 사이에서 점점 더 많이 도입되고 있습니다. 클라우드, 온프레미스, 또는 이 둘을 모두 사용하여 실행되는 수천 개의 프로세스는 클라우드 인프라로 인해 한층 복잡해진 분산 시스템에서 그 출처를 추적해야 합니다.

옵저버빌리티 도구는 기존 IT 모니터링 기법으로는 어려운 이러한 분산 아키텍처 내의 수많은 통신 경로와 상호 의존성을 추적할 수 있습니다. 또한 애플리케이션과 서비스가 어디에 배포되어 있는지와 관계없이, 그리고 점점 더 많이 생성되는 방대한 데이터에 대해서도 전체 IT 인프라를 조망할 수 있게 해줍니다.

엣지 디바이스

사물인터넷(IoT) 기기의 증가는 이러한 환경을 모니터링하고 관리하는 데 있어 새로운 과제를 낳았습니다. 이를 위해서는 실시간 인사이트와 빠른 대응 시간이 필요하며, 데이터 수집을 위한 경량 에이전트 구축, 엣지 환경에 적합한 데이터 형식 및 프로토콜 사용, 강력한 보안 및 개인정보 보호 기능을 갖춘 분산형 데이터 처리 및 분석 기법의 도입이 요구될 수 있습니다.

옵저버빌리티 도구는 기존 모니터링 시스템의 기능을 확장하여, 팀에게 전체 IT 스택에 대한 더 큰 가시성과 인사이트를 제공함으로써 문제의 근본 원인을 신속하게 파악하고 분석 및 트러블슈팅을 강화할 수 있게 합니다. 이를 통해 조직은 애플리케이션과 비즈니스에 대한 예측과 전망을 선제적으로 수립할 수 있습니다.

옵저버빌리티와 모니터링, 무엇이 다른가?

옵저버빌리티에 대해 흔히 제기되는 질문 중 하나는 모니터링과의 차이점입니다. 옵저버빌리티와 모니터링의 핵심적인 차이는, 모니터링은 사후 대응적(reactionary)이고 옵저버빌리티는 선제적 대응(proactive response)에 기반한다는 점입니다.

본질적으로 모니터링은 무엇을 모니터링해야 하는지 지시받은 후에만 작동할 수 있으며, 사전에 무엇이 중요한지 알고 있어야 합니다. 반면 옵저버빌리티는 시간에 따른 시스템의 동작을 관찰하고 관련된 질문을 던짐으로써 무엇이 중요한지를 스스로 파악할 수 있게 해줍니다.

모니터링

모니터링은 시스템 데이터를 수집하고 분석하여 시간에 따른 시스템 성능을 관찰하는 행위입니다. 모니터링 도구는 오류를 추적하고 문제를 파악하며 알림과 통지를 전송하는 데 도움을 줍니다. 모니터링은 팀이 사용자 경험에 영향을 미치는 로딩 시간과 같은 인프라 및 애플리케이션의 현재 상태를 이해하고 추론하는 데 도움이 됩니다.

옵저버빌리티

옵저버빌리티는 모니터링을 넘어서, 실행 가능한 인사이트를 제공함으로써 문제 해결 속도를 높이는 데 도움을 줍니다. 옵저버빌리티 전략은 발생한 사건을 더 깊이 파고들어 그 이면에서 일어나고 있는 “원인(root cause)”을 밝혀냅니다. 이러한 실행 가능한 인사이트는 전체적인 데이터 성능을 기반으로 높은 정확성을 갖도록 설계됩니다.

대부분의 기업은 하드웨어와 소프트웨어 전반에 걸친 일련의 메트릭을 감시하고 알림 시스템을 구축하여 환경을 지속적으로 모니터링합니다. 메트릭 값이 설정된 임계치를 벗어나면 알림이 발생합니다. 하지만 모니터링은 메트릭 값이 왜 설정된 임계치를 초과했는지에 대한 근본 원인을 제공하지 않기 때문에, 완전한 옵저버빌리티라고 할 수 없습니다.

간단히 말해, 모니터링 솔루션은 무언가 잘못되었다는 사실은 알려주지만 왜 잘못되었는지는 알려주지 못합니다. 옵저버빌리티 솔루션은 무언가 잘못된 이유를 제공하여, 문제의 원인을 찾아내기 위한 추가적인 작업을 줄여줍니다.

옵저버빌리티의 이점은 무엇인가?

옵저버빌리티 솔루션은 IT 생태계 전반에서 통합된 인사이트를 제공함으로써, 시스템 성능 최적화에 집중하는 개발자 워크플로우를 더 원활하고 관리하기 쉽게 만들어주는 다양한 이점을 제공합니다.

이러한 이점은 다음과 같습니다.

• ‘알지 못하는 미지의 요소’를 발견하고 해결하는 더 높은 가시성: 옵저버빌리티 솔루션은 복잡한 분산 시스템 전반에 대한 중앙 집중형 대시보드 뷰를 기업에 제공하여, 존재하는지조차 몰랐던 문제를 드러낼 수 있습니다. 이는 옵저버빌리티의 핵심 장점 중 하나로, IT 인프라의 사각지대를 제거하면서 인시던트 대응력을 강화하는 능력입니다. 옵저버빌리티는 결코 알지 못했거나 살펴볼 생각조차 하지 못했던 상황을 발견한 다음, 근본 원인을 파악하여 해결 속도를 높여줍니다.

• 선제적인 문제 해결: 풀스택 옵저버빌리티를 통해 개발 중이나 개발 후에도 오류와 그 근본 원인을 쉽게 파악할 수 있습니다. 이를 통해 팀은 문제를 발견하는 데 그치지 않고 수정에 집중하고, 나아가 문제를 해결하기 위한 자동화 단계를 선제적으로 구현할 수 있습니다. 개발 초기 단계에서 문제를 발견하고 해결하면 애초에 영향이 발생하는 것을 방지할 수 있어 사용자 경험 개선에도 도움이 됩니다.

• 성능 및 비용 최적화: 옵저버빌리티 솔루션은 시스템 병목 현상이나 활용도가 낮은 리소스와 같은 개선 영역을 파악하여 성능을 향상시키고 리소스 할당을 더 효율적으로 만들 수 있습니다. 이를 통해 불필요한 리소스 비용을 파악하고 제거하여 비용을 절감할 수 있습니다.

• 개발 가속화: 옵저버빌리티는 모니터링과 트러블슈팅의 효율성을 높여 개발 프로세스를 더욱 원활하게 만듭니다. 이는 배포 속도의 향상과 함께, 엔지니어가 비즈니스와 고객의 요구를 충족하기 위한 혁신에 더 많은 시간을 투자할 수 있게 해줍니다.

• 데이터 기반 의사 결정: 옵저버빌리티 솔루션은 시스템 성능과 동작에 대한 최신 정보를 제공하여, 최대의 효과와 지속적인 개선을 위한 데이터 기반 의사 결정을 가능하게 합니다.

옵저버빌리티는 어떻게 구현하는가?

옵저버빌리티를 달성하기 위해서는 적절한 텔레메트리 데이터를 수집할 수 있도록 시스템과 앱에 올바른 도구를 갖춰야 합니다. 자체 도구를 구축하거나, 오픈소스 소프트웨어를 활용하거나, 상용 옵저버빌리티 솔루션을 구매하여 관찰 가능한 시스템을 만들 수 있습니다.

자체 구축, 오픈소스, 상용 솔루션 중 무엇을 선택하든, 옵저버빌리티 도구에서 확인해야 할 사항은 다음과 같습니다.

• 전체 시스템에서 현대적인 이벤트 처리 기법을 지원해야 합니다. 이는 전체 시스템에서 관련된 모든 정보를 수집하고, 가치 있는 신호를 관련 없는 노이즈로부터 분리하며, 팀이 이를 해결할 수 있도록 컨텍스트를 추가하는 것을 의미합니다. TrueWatch는 전체 기술 스택을 추적하고 모니터링할 수 있는 20개 이상의 기능을 제공하여, 내부 운영에 대한 깊은 가시성을 통해 유용한 인사이트와 선제적인 트러블슈팅을 지원합니다.
• 사용자 친화적이고 배우거나 사용하기 쉬워야 합니다. 이를 통해 옵저버빌리티 솔루션이 워크플로우에 원활하게 통합되어 기업이 옵저버빌리티의 이점을 누릴 수 있습니다.
• 현재 사용 중인 도구와 통합되고 IT 시스템의 언어와 프레임워크를 지원해야 합니다. 선택한 옵저버빌리티 솔루션의 도구가 현재 스택과 맞지 않는다면 옵저버빌리티 도입은 실패할 수밖에 없습니다. TrueWatch는 AWS, Azure, Google Cloud, Huawei Cloud, Tencent Cloud를 포함한 세계 6대 클라우드를 비롯해 400개 이상의 통합을 지원합니다. 어떤 프로그램을 사용하든, TrueWatch는 원활하게 통합되어 운영을 지원합니다.
• 실시간 데이터와 컨텍스트를 제공해야 합니다. 대시보드, 리포트, 쿼리를 통해 이벤트 발생 즉시 실시간으로 확인할 수 있어야 하며, 이를 통해 팀은 문제의 범위와 영향, 그리고 신속한 해결 방법을 쉽게 파악할 수 있습니다.
• 집계된 데이터를 시각화하여 인사이트를 빠르고 쉽게 이해할 수 있는 형태로 제공해야 합니다. TrueWatch는 데이터 기능과 다양한 메트릭을 대시보드, 인터랙티브 요약, 그래프, 그래픽 구성 요소 및 기타 시각화 형태로 제공합니다.
• 머신러닝을 활용하여 데이터를 자동으로 집계, 연계, 우선순위화, 정리함으로써 이상 징후 및 기타 보안 인시던트를 더 빠르게 감지하고 대응할 수 있어야 합니다.
• 마지막으로, 선택한 옵저버빌리티 솔루션은 배포 속도, 시스템 안정성, 고객 경험과 같이 비즈니스에 중요한 지표를 실질적으로 개선하여 비즈니스 가치를 창출해야 합니다. TrueWatch 사용자는 MTTR을 최대 8배 단축하고 비용을 50% 절감하는 등 해결 시간 단축 효과를 얻을 수 있습니다.

마무리

최대 87%의 조직이 옵저버빌리티 전문가를 두고 있는 것으로 나타난 만큼(옵저버빌리티 현황에 대한 최신 연구 참조), 다양한 IT 환경 전반에서 시스템을 정상적으로 작동시키기 위해 옵저버빌리티는 지금 그 어느 때보다 중요해졌습니다.

20개 이상의 기능과 400개 이상의 통합을 갖춘 TrueWatch는 전체 IT 스택에 대한 완전한 가시성을 제공하며, 애플리케이션과 인프라를 최적화하는 데 필요한 알림과 인사이트를 이해하기 쉬운 시각화 형태로 제공합니다.