탐지율 90%인데 경보가 실제 공격일 확률은 왜 더 낮을까

탐지기가 실제 공격을 90% 잡더라도 공격 자체가 드문 모집단에서는 경보 가운데 실제 공격의 비율이 낮을 수 있습니다. 가정한 10,000건에서 참양성은 90건, 거짓양성은 495건이므로 경보 정밀도는 90/585로 약 15%입니다.

탐지율은 공격 건수가 분모이고 오탐률은 정상 건수가 분모입니다. 경보 중 실제 공격 비율은 전체 경보 건수가 분모라서 탐지율과 같지 않습니다.

탐지율과 경보 정밀도는 다른 질문입니다

탐지기의 ‘90%’라는 숫자를 보면 경보 열 건 중 아홉 건이 공격이라고 생각하기 쉽습니다. 그러나 탐지율이 말하는 것은 실제 공격 가운데 탐지된 비율입니다. 경보 정밀도는 반대로 경보를 받은 사건 중 실제 공격인 비율을 묻습니다. 두 비율은 분모가 다릅니다. 공격이 드문 환경에서 정상 사건이 많이 들어오면, 작은 오탐률만으로도 공격보다 많은 거짓 경보가 나올 수 있습니다.

NIST SP 800-55 Vol. 1 Final은 조직의 보안 측정치를 목적에 맞게 정하고 우선순위를 두어 평가하는 방법을 안내합니다. 여기서 사용할 수치는 NIST나 특정 제품의 측정 결과가 아니라 베이즈 정리를 연습하기 위한 가정입니다. 탐지 시스템의 기술 종류와 운영 맥락은 NIST SP 800-94 Final(2007)이 설명하지만, 2012년 SP 800-94 Rev. 1은 초안 상태로 공개된 뒤 NIST가 폐기했다고 현재 출판 기록에 적혀 있습니다. 이 글은 그 폐기된 초안을 근거로 삼지 않습니다.

10,000건으로 경보를 직접 세어 봅니다

전체 사건을 10,000건으로 잡습니다. 이 가운데 실제 공격은 100건, 정상 사건은 9,900건이라고 가정합니다. 탐지기가 공격의 90%를 잡으면 참양성은 100×0.90=90건입니다. 정상 사건의 5%에서 경보가 잘못 발생한다고 가정하면 거짓양성은 9,900×0.05=495건입니다. 나머지 공격 10건은 놓친 공격이고, 정상 사건 9,405건은 올바르게 조용히 지나간 사건입니다.

경보 585건 중 실제 공격은 90건입니다. 따라서 경보 정밀도는 90÷585이고 백분율로 약 15%입니다. 정확한 비율을 유지하려면 90/585라고 쓰면 됩니다. 반면 탐지율은 90÷100=90%입니다. ‘경보를 받은 사건이 실제 공격일 확률’과 ‘실제 공격이 경보에 잡힐 비율’은 서로 다른 조건부 비율입니다. 숫자 90%가 낮은 기초율을 덮어 주지는 않습니다.

같은 결과를 비율식으로도 쓸 수 있습니다. 공격 기초율은 전체의 1%, 탐지율은 90%, 정상 오탐률은 5%입니다. 경보 정밀도는 (90%×1%)÷[(90%×1%)+(5%×99%)]입니다. 식의 분자에는 전체에서 실제 공격 경보가 차지하는 몫이 들어가고, 분모에는 실제 공격 경보와 정상 오탐이 합쳐져 들어갑니다. 직접 건수를 세면 분자는 90, 분모는 90+495=585이므로 90/585가 됩니다. 이 식은 공격 기초율이 작은 조건에서 정상 사건의 몫도 계산에 포함해야 하는 이유를 보여 줍니다.

측정하려면 기간과 판정 기준도 고정해야 합니다

1. 먼저 공격 여부를 사후에 판정할 기준과 라벨의 신뢰도를 정합니다.
2. 같은 기간·환경에서 실제 공격 수와 정상 사건 수를 구분합니다.
3. 실제 공격 중 탐지된 수를 세어 탐지율을 구합니다.
4. 정상 사건 중 경보가 발생한 수를 세어 오탐률을 구합니다.
5. 경보 전체 중 검증된 공격 수를 나눠 경보 정밀도를 구하고, 운영자가 감당할 수 있는 경보량과 함께 평가합니다.

숫자는 평가 단위가 바뀌면 달라집니다. 하루의 경보를 한 건으로 묶는지, 로그 한 줄씩 세는지에 따라 모집단과 중복이 달라질 수 있습니다. 분석가가 아직 확인하지 않은 경보를 공격으로 계산하지 말고, 오탐·미탐 라벨이 나중에 수정되는지도 기록해야 합니다. 탐지율 하나만 올리는 최적화는 경보량이나 정상 사용자 영향과 충돌할 수 있으므로, 목적에 맞는 측정치를 함께 살펴야 합니다.

회상 연습: 공격이 더 드물어지면 어떻게 될까요

다른 수치는 그대로 두고 전체 10,000건에서 공격이 20건뿐이라고 합시다. 탐지율은 90%, 나머지 정상 9,980건의 오탐률은 5%입니다. 참양성과 거짓양성을 각각 계산해 경보 정밀도를 구해 보세요. 계산 결과가 장비 자체의 고정 성능이라고 말할 수 있는지도 판단해 보세요.

참양성은 20×90%=18건입니다. 거짓양성은 9,980×5%=499건입니다. 전체 경보는 517건이므로 정밀도는 18/517로, 3%보다 조금 높습니다. 탐지율은 여전히 90%라고 가정했지만 공격 기초율이 줄면서 경보 중 실제 공격 비율이 낮아졌습니다. 이 역시 지정한 모집단과 가정에만 맞는 계산이지 실제 탐지기의 측정치나 미래 성능 보장은 아닙니다.

경보를 해석할 때는 한 숫자에 기대기보다 질문을 먼저 고르면 좋습니다. 실제 공격을 얼마나 놓치는지 알고 싶다면 탐지율을, 경보를 조사했을 때 공격일 가능성을 알고 싶다면 정밀도를 봅니다. 어느 쪽이든 검증 기간, 공격 정의, 기초율, 정상 라벨을 함께 적어야 다른 시점의 결과와 비교할 수 있습니다.