대규모 사진 공유 서비스 저장소 절감을 위한 재압축 기술

본 논문은 사진 공유 서비스가 급격히 증가하는 사용자 수와 고해상도·고품질 이미지 업로드로 인해 겪는 저장소 확장 문제를 해결하고자, JPEG 이미지에 특화된 재압축 기법을 제안한다. 기존에 서비스가 활용하고 있는 분산 이레이저 코딩, 복제, 이미지 리사이징, 품질 파라미터 감소와 같은 방법들은 각각 한계가 있다. 특히 JPEG 자체가 이미 자연 이미지의 통계적 특성을 활용해 압축했음에도 불구하고, 대규모 서비스 환경에서는 추가적인 압축 여지가 존재한다는 점을 발견한다. 핵심 아이디어는 두 가지 코덱, ROMP와 L‑ROMP를 도입하는 것이다. ROMP는 “Recompression Of Many Photos”의 약자로, 서비스 전체에 걸쳐 하나의 거대한 코딩 테이블을 메모리 상에 유지한다. 전통적인 JPEG은 각 파일에 작은 Huffman 테이블을 포함하지만, 이 테이블을 별도로 저장하지 않고 공유함으로써 테이블 자체가 차지하는 비트를 절감한다. 또한, 큰 테이블을 사용함으로써 더 정교한 엔트로피 코딩이 가능해져, 평균 15 %의 무손실 압축률을 달성한다. 이 과정은 단일 패스(single‑pass)로 수행되며, 복호화 시에도 동일한 테이블을 메모리에서 참조해 빠르게 JPEG 포맷으로 복원한다. L‑ROMP는 ROMP의 손실 버전으로, 인간 시각에 거의 차이를 느끼지 못하도록 설계된 새로운 양자화 매트릭스를 적용한다. 기존 JPEG 품질 파라미터를 낮추는 방식은 이중 양자화로 인해 눈에 띄는 왜곡을 초래하지만, L‑ROMP는 원본 JPEG의 DCT 계수를 재정렬하고 새로운 양자화를 적용하면서도 디코더와 호환성을 유지한다. 실험 결과 평균 28 %의 비트레이트 감소를 보이며, 주관적 품질 테스트에서 ‘지각적으로 무차별’ 수준을 확인한다. 시스템 설계 측면에서 논문은 압축·복호화 지연을 0.1 초 이하, 이상적으로는 50 ms 미만으로 제한한다는 목표를 제시한다. 이는 사용자 사진 다운로드 시 레이턴시 증가를 최소화하기 위함이다. 기존 재압축 기법인 PackJPG는 약 20 %의 추가 압축을 제공하지만 복호화 복잡도가 높아 40 % 이상의 다운로드 지연을 초래한다. Lepton은 PackJPG보다 복호화가 빠르지만 여전히 ROMP/L‑ROMP에 비해 복잡도가 높다. ROMP와 L‑ROMP는 메모리 상에 코딩 테이블을 상주시키고 단일 패스 처리만을 수행함으로써 60 ms 이하의 복호화 시간을 보장한다. 운용 시점에서는 두 코덱을 업로드 파이프라인과 다운로드 파이프라인에 각각 삽입한다. 업로드 단계에서는 트랜스코더가 사진을 받아 즉시 ROMP/L‑ROMP로 재압축하고, 압축된 형태를 백엔드 스토리지에 저장한다. 다운로드 단계에서는 캐시(디바이스 캐시, 엣지 캐시, 오리진 캐시) 중 최초로 사진을 찾은 레이어에서 복호화·전송한다. 복호화가 캐시 레이어에서 이루어지면 백엔드 스토리지에 대한 요청이 감소하고, 네트워크 대역폭 사용량도 줄어든다. 실험 시 5‑11 %의 백엔드 요청 감소, 15‑31 %의 광역망 대역폭 절감, 16 %의 외부 대역폭 절감 효과를 확인했으며, 99 th 퍼센타일 다운로드 지연이 500 ms 가량 단축되는 결과를 얻었다. 스토리지 절감 효과는 단순히 압축률만을 의미하지 않는다. 서비스가 사진을 복제하거나 이레이저 코딩을 적용하는 경우, 저장된 논리 크기가 실제 물리적 저장량에 비례한다. ROMP와 L‑ROMP를 적용하면 논리 크기가 0.5 × – 0.9 × 수준으로 감소하여, 복제·코딩에 따른 추가 저장 비용도 크게 절감된다. 결론적으로, 이 논문은 대규모 사진 공유 서비스라는 특수 도메인에서 코딩 테이블을 공유하고, 저복잡도 재압축·복호화 파이프라인을 설계함으로써 저장 효율과 서비스 품질을 동시에 향상시키는 실용적인 솔루션을 제시한다. 제안된 ROMP와 L‑ROMP는 기존 JPEG 표준과 완전 호환되며, 실제 운영 환경(특히 Facebook의 사진 스택)에서의 평가를 통해 저장 비용 절감, 네트워크 대역폭 절감, 레이턴시 개선 등 다각적인 이점을 입증한다.