문자열 알고리즘과 데이터 구조 최신 동향

이 설문 논문은 문자열 매칭과 인덱싱 분야가 현재 직면하고 있는 복합적인 도전 과제를 체계적으로 정리한다. 서두에서는 디지털 도서관, 전자 상거래, 유전체 데이터베이스 등에서 텍스트 양이 급증하고 있음을 지적하고, 이러한 대규모 텍스트를 효율적으로 검색하기 위해서는 단순한 선형 스캔이 불가능하므로 인덱스가 필수적임을 강조한다. 인덱스는 사용자가 제공한 문자열(또는 문자열 집합)의 위치를 빠르게 찾아주는 영구적인 데이터 구조이며, 이는 정보 검색 시스템의 첫 번째 단계에 해당한다. 첫 번째 핵심 이슈는 I/O 서브시스템이다. 기계식 디스크는 메모리 대비 10⁵배 정도 느리며, 이러한 격차는 기술 발전에 따라 더욱 확대된다. 따라서 알고리즘 설계 시 디스크 접근을 최소화하는 것이 핵심 성능 결정 요인이다. 논문은 외부 메모리 모델을 도입해 내부 메모리(M)와 외부 메모리(디스크) 사이의 데이터 전송을 페이지(B) 단위로 추상화한다. 이 모델에서 성능 평가는 ‘랜덤 I/O 횟수’와 ‘벌크 I/O 횟수’를 기준으로 한다. 랜덤 I/O는 높은 시크 타임으로 비용이 크고, 벌크 I/O는 연속적인 페이지 접근으로 비용이 낮다. 이러한 차이를 활용해 인덱스 구조를 설계하면 디스크 대역폭과 캐시 효율을 동시에 최적화할 수 있다. 두 번째 이슈는 지원해야 할 쿼리 유형과 인덱싱 대상 데이터이다. 크게 워드 기반 인덱스와 풀텍스트 인덱스로 나뉜다. 워드 기반 인덱스는 토큰화가 가능한 자연어 텍스트에 적합하며, 역색인(inverted file) 형태로 구현된다. 일반적인 단어 검색, 접두사 검색, 정규식 및 근사 매칭을 빠르게 수행할 수 있지만, 비토큰화 텍스트(예: 유전체 서열)나 임의의 서브스트링 검색에는 한계가 있다. 반면 풀텍스트 인덱스는 접미사 트리, 접미사 배열, String B‑tree 등으로 구성되어 어떠한 문자열이라도 효율적으로 검색할 수 있다. 다만 구조가 복잡하고 추가적인 메모리를 요구한다. 논문은 각각의 장·단점을 비교하고, 최신 연구에서 두 접근법을 혼합하거나 압축 기법을 적용해 공간 효율성을 높이는 방안을 제시한다. 세 번째 핵심은 공간·시간 트레이드오프이다. 풀텍스트 인덱스는 일반적으로 워드 기반 인덱스보다 더 많은 저장 공간을 차지한다. 그러나 저장 매체의 비용이 지속적으로 하락하고, 압축 기술이 발전함에 따라 인덱스 자체를 압축하는 것이 실용적이다. 압축은 단순히 저장 용량을 줄이는 것을 넘어, 캐시 적중률을 높이고 디스크 전송량을 감소시켜 전체 알고리즘 성능을 향상시킨다. 특히 ‘기회주의 인덱스(opportunistic index)’ 개념은 입력 데이터의 엔트로피에 비례한 압축률을 달성하면서도 서브스트링 검색 기능을 유지한다. 이러한 인덱스는 기존 압축기(gzip, bzip2)와 비슷한 공간을 차지하지만, 검색 속도는 수 밀리초 수준으로 매우 빠르다. 네 번째 이슈는 문자열 트랜잭션과 인덱스 캐싱이다. 현대 시스템에서는 문자열 데이터에 대한 삽입·삭제·수정이 빈번히 일어나며, 이는 인덱스의 동적 유지보수와 캐시 일관성 문제를 야기한다. 논문은 동시성 제어, 트랜잭션 로그, 복구 메커니즘을 포함한 전체 시스템 설계가 필요함을 강조한다. 또한, 인덱스 캐시를 효율적으로 관리하기 위해 최근 연구에서 제안된 LSM‑tree 기반 접근법이나 메모리 내 압축 구조를 활용한 방법을 소개한다. 전체적으로 저자는 인덱스 설계가 알고리즘 이론, 데이터베이스 시스템, 압축 공학, 하드웨어 아키텍처 등 다학제적 지식을 요구한다고 주장한다. 이를 위해 연구자들은 (1) 외부 메모리 모델에 기반한 I/O 비용 분석, (2) 워드 기반·풀텍스트 기반 인덱스의 기능·성능 비교, (3) 압축을 통한 공간 절감과 성능 향상, (4) 동적 트랜잭션 처리와 캐시 관리라는 네 축을 통합적으로 고려해야 한다고 제언한다. 마지막으로, 현재의 연구 공백으로는 (i) 대규모 데이터에 대한 실험적 평가 표준화, (ii) 압축 인덱스의 I/O 최적화, (iii) 실시간 업데이트를 지원하는 풀텍스트 인덱스 설계가 남아 있음을 지적한다.