초고속 네트워크의 핵심, RoCE 개념부터 실무 고려사항까지 정리

서버와 스토리지, 가상화 클러스터, AI 학습 환경에서는 네트워크가 단순히 데이터를 지나가게 하는 통로에 머물지 않습니다.

CPU 사용률, 지연 시간, 스토리지 응답 속도, 클러스터 확장성까지 네트워크 설계의 영향을 함께 받습니다.

RoCE는 이런 환경에서 자주 등장하는 고속 네트워크 기술입니다. 

이름만 보면 어렵게 느껴질 수 있지만, 핵심은 Ethernet 네트워크에서 RDMA라는 빠른 데이터 전송 방식을 사용하도록 만드는 기술입니다. 

RoCE를 이해하면 고속 Ethernet 환경에서 서버, 스토리지, 클러스터가 데이터를 주고받는 방식을 더 정확히 볼 수 있습니다.

이 글에서는 RoCE가 무엇인지, 왜 등장했는지, RoCE v1과 RoCE v2는 어떻게 다른지, 그리고 NVMe over Fabrics, SMB Direct, AI 클러스터 같은 실제 인프라 구성에서 어떤 의미를 갖는지 정리합니다.

장점만 보는 것이 아니라 도입 전 확인할 네트워크 조건과 운영상 주의점도 함께 살펴보겠습니다.

---

RoCE는 어떤 기술인가

RoCE는 RDMA over Converged Ethernet의 약자입니다.

RDMA는 Remote Direct Memory Access, 즉 원격 직접 메모리 접근을 뜻합니다.

일반적인 네트워크 통신에서는 애플리케이션 데이터가 운영체제 커널, TCP/IP 스택, NIC를 거치며 여러 번 복사되고 처리됩니다. 반면 RDMA는 서버의 메모리와 다른 서버의 메모리 사이에서 데이터를 더 직접적으로 주고받을 수 있도록 설계된 방식입니다.

RoCE는 이 RDMA 방식을 Ethernet 네트워크 위에서 사용할 수 있게 합니다. 

Ethernet은 기존 데이터센터에서 가장 널리 쓰이는 네트워크 기반이기 때문에, RoCE는 별도의 InfiniBand 패브릭을 구성하지 않고도 RDMA의 장점을 가져오려는 목적에서 사용됩니다. 

RoCE의 핵심은 Ethernet 위에서 RDMA 방식의 메모리 직접 전송을 사용할 수 있게 하는 것입니다.

다만 RoCE는 단순히 빠른 랜카드를 꽂는 개념으로 이해하면 부족합니다. 

서버 NIC, 스위치, 케이블, VLAN, MTU, QoS, 혼잡 제어 설정이 함께 맞아야 의도한 성능과 안정성을 기대할 수 있습니다. 

특히 손실이 적은 네트워크 흐름을 유지하는 것이 중요하기 때문에 일반 TCP/IP 네트워크보다 설계와 검증 항목이 더 많아집니다.

 

---

왜 RoCE가 등장했는가

서버 성능이 높아지고 SSD와 NVMe 스토리지 속도가 빨라지면서, 네트워크는 점점 더 중요한 병목 지점이 되었습니다.

과거에는 디스크 자체가 느려서 네트워크 지연 시간이 크게 드러나지 않는 경우가 많았습니다.

하지만 NVMe SSD, 고성능 가상화 클러스터, 대규모 분산 처리 환경에서는 작은 지연 시간 차이도 전체 응답 속도에 영향을 줄 수 있습니다.

기존 TCP/IP 기반 통신은 범용성과 안정성이 높지만, 고성능 스토리지나 클러스터 통신에서는 CPU 처리 부담과 데이터 복사 비용이 문제가 될 수 있습니다. 

이때 RDMA는 CPU 개입을 줄이고, 네트워크 어댑터가 데이터 전송을 더 많이 처리하도록 만들어 지연 시간과 CPU 사용률을 낮추는 방향으로 접근합니다.

InfiniBand는 RDMA에 강한 대표적인 고성능 네트워크입니다. 

하지만 기존 Ethernet 기반 데이터센터에서는 장비, 운영 경험, 케이블링, 스위치 운영 체계가 이미 Ethernet에 맞춰져 있는 경우가 많습니다. RoCE는 Ethernet을 그대로 사용하면서도 CPU 개입과 데이터 복사 부담을 줄이기 위해 등장했습니다.

즉 RoCE는 고성능 전용 네트워크의 장점을 Ethernet 환경에 가져오려는 시도라고 볼 수 있습니다. 

그래서 클라우드, 가상화, 스토리지, AI 서버 인프라처럼 대역폭과 지연 시간, 운영 비용을 함께 봐야 하는 환경에서 검토 대상이 될 수 있습니다.

 

---

RoCE v1과 RoCE v2는 어떻게 다른가

RoCE를 이해할 때 가장 먼저 헷갈리는 부분은 RoCE v1과 RoCE v2입니다.

둘 다 Ethernet에서 RDMA를 사용하기 위한 기술이지만, 네트워크 계층에서 다루는 방식이 다릅니다.

RoCE v1은 Ethernet 링크 계층 기반으로 동작합니다. 

쉽게 말하면 같은 Layer 2 네트워크 안에서 사용하는 방식에 가깝습니다. 

라우터를 넘어가는 일반적인 IP 라우팅 환경보다는 동일한 Ethernet 브로드캐스트 도메인 안에서의 활용을 전제로 이해하는 것이 좋습니다.

RoCE v2는 UDP/IP 위에서 동작하는 방식입니다. 

그래서 RoCE v2는 IP 네트워크에서 라우팅이 가능하며, 데이터센터의 Leaf-Spine 구조나 여러 서브넷을 포함한 구성에서 더 유연하게 검토될 수 있습니다. 현재 데이터센터 설계에서는 라우팅이 가능한 RoCE v2를 기준으로 검토하는 경우가 많습니다.

비슷한 기술로는 InfiniBand, iWARP, NVMe/TCP가 있습니다. 

InfiniBand는 고성능 전용 패브릭에 가깝고, iWARP는 TCP 기반 RDMA 방식입니다. 

NVMe/TCP는 RDMA가 아니라 표준 TCP/IP 위에서 NVMe over Fabrics를 구현하는 방식입니다. 

RoCE는 이들 사이에서 Ethernet 인프라를 활용하면서 낮은 지연 시간과 낮은 CPU 사용률을 노리는 선택지라고 이해할 수 있습니다.

 

---

서버·스토리지·네트워크 구성에서는 어디에 쓰이는가

RoCE는 서버 간 통신, 스토리지 접속, 클러스터 내부 트래픽처럼 빠른 응답과 높은 처리량이 필요한 구간에서 검토됩니다.

대표적인 예가 NVMe over Fabrics입니다.

NVMe over Fabrics는 NVMe 스토리지를 서버 내부 PCIe 장치처럼만 쓰는 것이 아니라, 네트워크를 통해 원격 NVMe 스토리지에 접근하도록 만드는 구조입니다. 이때 RoCE는 RDMA 기반 전송 방식으로 활용될 수 있습니다.

Windows 환경에서 SMB Direct가 RDMA 지원 네트워크 어댑터를 사용해 파일 서버 성능을 높이는 기능으로 쓰일 수 있습니다. Hyper-V over SMB, SQL Server 파일 공유 스토리지, Windows 기반 클러스터 구성에서는 네트워크 파일 접근이 로컬 스토리지처럼 느껴지는 것이 중요할 수 있습니다.

이때 RDMA는 높은 처리량, 낮은 지연 시간, 낮은 CPU 사용률을 기대하게 만드는 요소입니다.

AI 클러스터와 고성능 컴퓨팅 환경에서도 RoCE가 언급됩니다. 

GPU 서버 간 데이터 교환, 분산 학습, 체크포인트 저장, 고속 스토리지 접근에서는 네트워크 지연과 혼잡이 성능에 영향을 줄 수 있습니다. 

RoCE는 NVMe over Fabrics, SMB Direct, 가상화 클러스터, AI 학습 클러스터처럼 지연 시간과 CPU 부하가 중요한 구간에서 활용될 수 있습니다.

다만 모든 네트워크 구간에 RoCE가 필요한 것은 아닙니다. 

일반 업무망, 인터넷 연결, 단순 백업망처럼 지연 시간보다 안정성, 호환성, 운영 단순성이 더 중요한 구간에서는 일반 TCP/IP 기반 구성이 더 적합할 수도 있습니다. 

적용 위치를 정할 때는 워크로드의 I/O 패턴과 장애 대응 방식을 함께 봐야 합니다.

---

실제 운영 환경에서 확인해야 하는 구성 요소

RoCE 구성에서 중요한 것은 RDMA 지원 NIC만이 아닙니다.

서버의 NIC 펌웨어, 드라이버, 운영체제 RDMA 지원 여부, 스위치의 DCB 기능, PFC, ECN, QoS, MTU, 케이블 품질, 포트 속도, 라우팅 설계가 함께 맞아야 합니다.

한쪽 서버만 RDMA를 지원하거나, 스위치에서 필요한 흐름 제어가 빠져 있으면 기대한 성능이 나오지 않거나 일반 TCP/IP 경로로 동작할 수 있습니다.

PFC는 Priority Flow Control의 약자로, 특정 우선순위 트래픽에 대해 프레임 손실을 줄이기 위해 사용하는 흐름 제어 기능입니다. 

ECN은 Explicit Congestion Notification의 약자로, 네트워크 혼잡을 표시해 송신 측이 전송 속도를 조절하도록 돕는 방식입니다. RoCE v2 환경에서는 이런 혼잡 제어와 흐름 제어 설정이 특히 중요합니다.

RoCE 성능은 NIC만으로 결정되지 않고, 스위치의 PFC, ECN, 버퍼, QoS 설정까지 함께 맞아야 안정적으로 나옵니다. 

또한 운영 중에는 RDMA 트래픽과 일반 트래픽을 어떻게 분리할지, VLAN과 QoS를 어떻게 구성할지, 장애가 발생했을 때 TCP 경로로 전환되는지, 멀티패스나 이중화 구성이 어떻게 보이는지 확인할 필요가 있습니다.

스토리지 운영에서는 성능 테스트도 중요합니다. 

단순한 파일 복사 속도만 보는 것이 아니라 지연 시간, IOPS, CPU 사용률, 패킷 드롭, 재전송, 스위치 버퍼 사용률, PFC pause 카운터를 함께 확인해야 합니다.

특히 백업, 스냅샷, 복제, 장애 조치처럼 순간적으로 트래픽이 몰리는 작업에서는 혼잡 상태를 같이 봐야 합니다.

 

---

장점과 한계, 도입 전 확인할 부분

RoCE의 장점은 분명합니다.

고속 Ethernet 기반에서 RDMA를 활용해 낮은 지연 시간, 높은 처리량, 낮은 CPU 사용률을 기대할 수 있습니다.

서버가 네트워크 전송에 쓰는 CPU 부담을 줄이면 애플리케이션, 가상머신, 데이터베이스, 스토리지 서비스에 더 많은 자원을 배분할 수 있습니다. 특히 고성능 스토리지와 대규모 클러스터에서는 이런 차이가 전체 인프라 체감 성능에 영향을 줄 수 있습니다.

하지만 RoCE는 운영 난이도도 함께 봐야 합니다. 

일반 Ethernet 네트워크처럼 연결만 되면 충분한 구조가 아니라, 손실과 혼잡을 줄이기 위한 스위치 설정과 검증이 필요합니다.

PFC 설정이 잘못되면 특정 트래픽이 다른 트래픽에 영향을 주거나, 혼잡이 퍼지는 문제가 생길 수 있습니다. 

ECN, QoS, 버퍼, MTU가 장비마다 다르게 동작할 수 있다는 점도 확인해야 합니다.

RoCE는 빠른 기술이지만 네트워크 설계와 운영 기준이 따라오지 않으면 장애 원인 파악이 더 어려워질 수 있습니다. 

장애가 발생했을 때 애플리케이션 문제인지, NIC 드라이버 문제인지, 스위치 혼잡인지, PFC pause 폭증인지, 스토리지 응답 지연인지 구분해야 하기 때문입니다.

도입 전에는 먼저 워크로드를 나누어 봐야 합니다. 

낮은 지연 시간이 중요한지, CPU 사용률 절감이 필요한지, 기존 Ethernet 운영 체계를 유지해야 하는지, InfiniBand 또는 NVMe/TCP와 비교했을 때 운영 부담을 감당할 수 있는지 검토해야 합니다. 

테스트 환경에서는 정상 상태뿐 아니라 포트 장애, 스위치 장애, 트래픽 폭증, 백업 시간대 같은 예외 상황도 함께 확인하는 것이 좋습니다.

 

---

마무리

RoCE는 Ethernet 기반 데이터센터에서 RDMA의 장점을 활용하기 위한 기술입니다.

단순히 빠른 네트워크 카드 하나로 끝나는 기술이 아니라, 서버 NIC, 스위치, 운영체제, 스토리지 프로토콜, 혼잡 제어, 모니터링 체계를 함께 맞춰야 하는 인프라 기술에 가깝습니다.

NVMe over Fabrics, SMB Direct, 가상화 클러스터, AI 서버 인프라처럼 지연 시간과 CPU 사용률이 중요한 환경에서는 RoCE가 유용한 선택지가 될 수 있습니다. 

반대로 운영 단순성, 장비 호환성, 장애 분석 편의성이 더 중요한 환경에서는 NVMe/TCP나 일반 TCP/IP 기반 구성이 더 현실적인 선택이 될 수도 있습니다.

RoCE는 고성능 Ethernet을 더 적극적으로 활용하는 방법이지만, 도입 전에는 성능 목표와 운영 난이도를 함께 비교해야 합니다.