IPsec 전송 모드와 터널 모드는 패킷 구조가 어떻게 다른가

전송 모드는 원래 IP 헤더를 유지한 채 IPsec 보호 헤더를 그 뒤, 상위 계층 데이터 앞에 둡니다. 터널 모드는 기존 IP 패킷 전체를 캡슐화하고 그 앞에 IPsec 처리용 새 outer IP 헤더를 둡니다.

터널 모드에서는 outer 주소가 보안 게이트웨이 같은 IPsec endpoint를 가리킬 수 있고, inner 주소는 원래 통신 상대를 나타냅니다. AH와 ESP의 세부 보호 범위는 다르므로 모드와 보안 프로토콜을 함께 확인해야 합니다. 아래 주소는 문서용 가상 예시입니다.

전송은 기존 헤더 뒤에, 터널은 새 헤더 바깥에 둡니다

두 모드의 가장 쉬운 구별은 기존 IP 패킷을 통째로 감싸는지입니다. Transport mode는 기존 IP 헤더를 그대로 두고 AH 또는 ESP 헤더를 그 뒤에 배치합니다. Tunnel mode는 원래 IP packet을 inner packet으로 보존해 캡슐화하고, 그 앞에 보안 처리 endpoint 사이에서 쓰는 outer IP header를 추가합니다. 따라서 패킷 구조를 그리면 전송 모드는 IP 원본 헤더 | AH/ESP | TCP/UDP | 데이터, 터널 모드는 IP 외부 헤더 | AH/ESP | IP 내부 헤더 | TCP/UDP | 데이터로 볼 수 있습니다. 실제 필드 보호는 AH/ESP 및 선택한 SA 옵션에 따라 다릅니다.

게이트웨이 VPN에서는 두 쌍의 주소가 보입니다

노트북이 원격 업무 서버로 자료를 보낸다고 합시다. 전송 모드에서는 이 원래 IP 헤더 뒤에 보호 헤더가 들어갑니다. 두 IPsec endpoint가 노트북과 서버라면 원래 주소 쌍이 통신의 끝점으로 남습니다. RFC 4301은 host 사이 end-to-end 서비스에 transport mode가 일반적으로 쓰일 수 있다고 설명합니다. ESP를 선택한 transport mode에서는 next-layer protocol이 보호 대상이며 IP header와 ESP보다 앞선 extension header는 보호 대상이 아닙니다. AH는 선택 가능한 IP header 부분을 추가로 보호할 수 있지만 transit에서 변경될 값은 제외될 수 있습니다.

이번에는 사무실과 지점의 보안 게이트웨이가 양쪽 IPsec SA를 종단한다고 합시다. 원래 packet은 안쪽에 들어가며 outer header는 두 gateway 주소로 이동합니다. 그 안의 inner header는 여전히 원래 클라이언트에서 업무 서버를 향합니다. 중간 라우터는 outer 주소로 터널 endpoint까지 packet을 전달하고, 지점 gateway가 보호를 해제한 뒤 inner packet을 업무 서버 쪽으로 보냅니다. 주소 두 쌍의 역할을 섞으면 터널의 endpoint와 원래 통신 상대를 잘못 적게 됩니다.

패킷 그림을 그리는 다섯 단계

1. 보호 전 원본 IP의 source와 destination을 먼저 적습니다.
2. SA가 transport인지 tunnel인지 확인합니다.
3. Transport면 기존 IP 헤더 뒤에 보안 헤더를 표시하고, tunnel이면 기존 packet 앞에 새 outer IP header를 추가합니다.
4. Outer endpoint 주소와 inner 원래 주소를 구별합니다.
5. 마지막으로 AH/ESP가 선택된 위치에서 어떤 필드·payload를 보호하는지 확인합니다.

터널 모드는 VPN이라는 이름이나 gateway 장비에서만 쓸 수 있다고 외우지는 마세요. RFC 4301은 둘 사이의 흔한 역할 차이를 설명하지만, host도 두 mode를 지원할 수 있고 구체적인 Security Association endpoint에 따라 사용 방식이 정해집니다. 반대로 gateway가 포함된 SA는 보통 tunnel mode여야 하며 표준에 예외 조건도 있습니다. 시험 답안의 기본 비교는 간결하게 쓰되, 구현이나 실제 packet 분석에서는 endpoint와 옵션을 함께 보세요.

ESP tunnel mode는 tunneled inner packet을 보호하지만 outer IP header 자체는 ESP 보호 대상이 아닙니다. AH tunnel mode는 규정에 따라 outer header의 일부와 tunneled packet 전체를 보호할 수 있습니다. 따라서 ‘터널 모드면 외부 주소까지 암호화된다’는 설명도 틀릴 수 있습니다. ESP에서 confidentiality가 선택됐더라도 outer IP header는 라우팅을 위해 남아야 하며, 패킷의 최종 보호 범위는 mode와 protocol을 함께 적어야 합니다.

터널이라는 말만 보고 주소 쌍을 하나로 적지 않습니다

흔한 오류는 두 모드 모두 기존 IP 헤더를 새 gateway 주소로 바꾼다고 설명하는 것입니다. 기존 헤더를 감싸 새 outer header를 추가하는 것이 터널 모드의 핵심입니다. 또 transport mode에서 기존 헤더가 남아 있다고 해서 IPsec이 그 모든 필드의 무결성이나 기밀성을 보호한다고 단정할 수는 없습니다. ESP인지 AH인지, 주소 필드가 바뀌는 값인지, 실제로 어떤 service가 선택됐는지 확인해야 합니다. #38의 AH와 ESP 비교를 적용하면 패킷 구조와 보호 서비스를 한 답안에 연결할 수 있습니다.

inner 주소와 outer 주소를 각자 말해 봅니다

회상 연습: 지점 VPN에서 outer header의 목적지는 지점 gateway이고, inner packet 목적지는 업무 서버입니다. 두 주소는 각각 누구를 가리키며 transport mode와 다른 구조는 무엇인가요? Outer 목적지는 IPsec 처리 endpoint, inner 목적지는 원래 업무 통신 상대입니다. Tunnel mode는 원래 IP packet을 보존해 캡슐화한 뒤 새 outer IP header를 붙입니다. 이 예시는 직접 만든 학습 자료이며 실제 기출이나 집중 180제 카드가 아닙니다. 상품 구성은 /decks/security#focus-180에서 확인할 수 있습니다.