최근 자연어 처리(NLP) 분야, 특히 대규모 언어 모델(LLM)의 급격한 발전은 인간의 개입 없이 자연어 문장을 형식 논리식으로 자동 변환하는 가능성을 열어주었다. 이러한 변환은 자동 추론을 가능하게 하고, 소프트웨어 시스템에서 디버깅, 루프 불변식 탐색, 사양 준수 검증 등을 지원한다. 그러나 LLM이 생성하는 환각(hallucination)‑즉, 부정확하거나 허위인 출력은 논리 변환 작업에서 치명적인 오류를 초래한다. 본 연구는 영어 문장을 논리식으로 변환한 뒤, 이를 합성곱 정규형(CNF)으로 전환하여 SAT 솔버에 입력할 수 있는 새로운 프레임워크를 제안한다. 프레임워크는 자체 정의한 문법을 활용한 고전적 NLP 기법, 심볼릭 연산 라이브러리, 그리고 환각을 억제하도록 미세조정된 언어 모델을 결합한다. 초기 실험에서, 서로 다른 문법 설정으로 미세조정된 모델이 원본 모델이 만든 동일 유형의 환각을 의도적으로 교정할 수 있음을 확인하였다. 따라서 제안된 시스템은 신뢰할 수 있는 CNF 생성을 제공한다.
💡 논문 핵심 해설 (Deep Analysis)
본 논문은 자연어‑논리 변환 작업에서 LLM의 환각 문제를 완화하기 위한 실용적인 접근법을 제시한다는 점에서 의미가 크다. 첫째, 저자는 “자연어 → 논리식 → CNF”라는 3단계 파이프라인을 명확히 정의하고, 각 단계에서 발생할 수 있는 오류 원인을 분석한다. 특히, 논리식 생성 단계에서 LLM이 문맥을 오해하거나 논리 연산자를 잘못 선택하는 경우가 빈번히 발생한다는 점을 지적하고, 이를 자체 정의 문법으로 제한함으로써 모델이 허용된 구조 내에서만 출력을 생성하도록 강제한다. 이러한 문법 기반 필터링은 기존의 후처리 방식보다 사전 예방적이며, 오류 전파를 최소화한다는 장점이 있다.
둘째, 심볼릭 연산 라이브러리를 활용해 생성된 논리식을 형식적으로 검증하고, 자동으로 CNF로 변환하는 모듈을 구축하였다. 이 과정에서 변환 규칙이 명시적으로 구현되므로, 변환 과정 자체가 검증 가능하고 재현성이 확보된다. 이는 연구 재현성을 중시하는 학계와 산업 현장에서 큰 강점으로 작용한다.
셋째, 저자는 LLM을 기존 사전 학습 모델에서 특정 문법과 변환 규칙에 맞추어 미세조정함으로써 “환각 교정” 능력을 부여했다. 실험 결과, 미세조정된 모델은 원본 모델이 만든 동일 유형의 오류를 의도적으로 수정했으며, 이는 모델이 문법적 제약을 내부화했음을 시사한다. 다만, 실험이 “초기 단계”에 머물러 있어 데이터 규모, 문법 다양성, 복잡한 자연어 문장에 대한 일반화 능력 등에 대한 정량적 평가가 부족하다.
한계점으로는 (1) 문법 정의가 비교적 제한적이며, 복합 문장이나 비형식적 표현에 대한 적용 가능성이 낮다. (2) 미세조정에 사용된 데이터셋과 그 규모가 명시되지 않아, 다른 도메인에 대한 전이 학습 가능성을 판단하기 어렵다. (3) CNF 변환 후 SAT 솔버와의 연동 성능, 즉 실제 소프트웨어 검증 파이프라인에서의 효율성에 대한 실험이 부재하다.
향후 연구에서는 (가) 보다 포괄적인 자연어 문법 집합을 설계하고, 다중 언어 지원을 확대함으로써 국제적인 적용성을 높이는 것이 필요하다. (나) 대규모 다변량 데이터셋을 활용한 미세조정과 교차 검증을 통해 모델의 일반화 능력을 정량화해야 한다. (다) 생성된 CNF를 실제 프로그램 검증, 모델 체크, 혹은 자동 테스트 생성 등에 통합하여 엔드‑투‑엔드 성능을 평가함으로써 실용성을 입증할 수 있다. 전반적으로 본 연구는 LLM 기반 논리 변환의 신뢰성을 향상시키는 초석을 제공하며, 향후 형식 검증 도구와의 시너지 효과를 기대하게 만든다.
📄 논문 본문 발췌 (Excerpt)
## [LLM 기반 자연어-논리 변환 및 CNF 생성 프레임워크]
**자연어 처리 (NLP)**는 스위스의 언어학자 페르디난트 드 소쉬르(Ferdinand de Saussure)에 의해 처음 개념화되었다. 그는 언어 의미가 내재적 관계와 대조를 통해 형성된다는 아이디어를 제시하였다. 공유되는 언어 구조는 의사소통을 가능하게 한다. 1950년, 앨런 튜링(Alan Turing)은 “생각하는 기계"라는 개념을 제안하며, 텔레타이프 프린터를 통해 인간과 의사소통할 수 있는 기계의 인지 능력을 시사했다. 현대 NLP는 인간의 언어를 이해하고 맥락에 맞는 응답을 생성하는 데 중요한 역할을 한다. 이를 통해 애플의 시리(Siri)와 아마존의 알렉사(Alexa)와 같은 지능형 보조 기능이 개인화된 도움을 제공하고 사용자 요청을 자율적으로 처리할 수 있게 되었다.
**대규모 언어 모델 (LLM)**은 심층 학습 방법론을 사용하여 훈련된 고급 인공지능 모델로, 방대한 데이터셋으로 훈련되어 인간과 유사한 텍스트 콘텐츠를 생성할 수 있다. 트랜스포머(Transformer) 아키텍처에 기반을 둔 이러한 모델들은 복잡한 언어적 미묘함과 긴 범위의 텍스트 의존성을 포착하도록 설계되어 기계 번역, 대화형 상호작용 및 콘텐츠 생성과 같은 고급 기능을 수행할 수 있다. LLM은 다양한 연구 및 산업 분야에서 적용 가능성을 보여주며, OpenAI의 ChatGPT는 이러한 기술의 일상적인 활용을 대표하는 사례이다.
**환상(Hallucination)**은 언어 모델에서 발생하는 현상으로, 훈련 데이터 패턴에 기반하여 기억된 정보를 바탕으로 허위, 음모성 들이 포함된 출력을 생성한다. 환상의 결과는 사용자를 혼란스럽게 하는 경미한 불일치부터 중요한 오류까지 다양하게 나타날 수 있으며, 번역, 소프트웨어 개발 또는 자율 시스템과 같은 민감한 분야에서 치명적일 수 있다. LLM의 환상을 줄이는 것은 신뢰성, 안전성과 실용성을 보장하는 데 매우 중요하며, 이러한 모델을 중요한 또는 민감한 맥락에 배포할 때 특히 그렇다.
환상을 줄이기 위한 한 가지 접근법은 미세 조정된 모델을 사용하는 것이다. 미세 조정된 모델은 특정 작업 도메인에 최적화된 사전 훈련된 기계 학습 모델로, 더 작은 도메인별 데이터셋을 통해 표적 훈련을 통해 일반 모델보다 우수한 성능을 보여준다. 미세 조정을 통해 모델 매개변수는 정교하게 조정되어 정확도와 일반화 능력을 향상시킨다. 이 접근법은 초기 대규모 훈련에서 획득한 언어 이해를 활용하여 특정 작업에 대한 모델의 초점을 정제한다.
최근 LogicLLaMA와 LOGIC-LM과 같은 연구는 미세 조정을 통해 LLM을 특수 작업에 맞추는 혁신을 보여주었다. LogicLLaMA는 NL-FOL 쌍의 검증된 데이터셋에 대해 LLaMA를 미세 조정하여 자연어에서 첫 번째 순서 논리(FOL)로 번역하고 강화 학습과 인간 피드백(RLHF)을 통해 환상을 줄인다. 마찬가지로, LOGIC-LM은 LLMs와 상징 솔버를 통합하여 자연어를 구조화된 상징 표현으로 변환하고, 솔버 피드백을 사용하여 자기 정교화를 통해 논리 추론 정확도를 향상시킨다. 이러한 연구는 미세 조정과 피드백 루프의 중요성을 강조하며, 특히 논리 번역 작업에서 모델 생성 오류를 줄이는 데 필수적이다.
이러한 혁신에 기반하여 본 연구에서는 Lang2Logic이라는 새로운 프레임워크를 소개한다. Lang2Logic은 자연어 처리 및 계산 논리 사이의 격차를 메우기 위해 설계된 프레임워크로, 자연어 입력을 결합 논리(CNF) 형식으로 변환한다. 이를 통해 인간이 읽을 수 있는 진술들을 기계가 처리할 수 있는 논리 표현으로 변환하여 SAT 문제 해결을 위한 접근성을 높인다. Lang2Logic은 상징 계산 라이브러리와 사용자 정의 문법 기반 파싱 접근 방식을 통합하여 자연어에서 CNF로의 정확한 변환을 보장한다.
이 구조화된 파이프라인은 불완전 자연어에서 SAT 문제 표현으로의 종단 간 변환을 가능하게 한다. 이를 통해 SAT 솔버는 인간이 읽을 수 있는 입력을 직접 처리할 수 있게 되어 실제 세계 문제에 대한 해결책을 찾는 데 도움이 된다.
Lang2Logic 프레임워크는 영문 텍스트를 CNF로 변환하는 것을 목표로 한다. 이는 SAT 솔버에게 필수적인 작업이며, 이러한 솔버는 일반적으로 CNF 표현을 기반으로 작동한다. Lang2Logic은 세 가지 핵심 구성 요소로 구성된다:
자연어에서 논리 표현으로: 이 단계에서는 ChatGPT o1-mini API를 사용하여 자연어 입력을 논리 표현으로 번역한다. o1-mini 모델의 프롬프트는 반복되는 변수를 확인하고, 구조화된 형식의 논리 표현을 출력하며, Sympy 변환기와의 호환성을 보장하기 위해 설계되었다. ChatGPT API의 사용은 문법 정의를 하드코딩할 필요성을 제거하여 변환 과정을 간소화한다. 그러나 입력 크기가 증가함에 따라 비용이 증가하고 성능에 변동성이 발생할 수 있다는 단점이 있다. NLTK는 이러한 문제를 완화하기 위해 사용된다. NLTK의 Punkt 토큰화기를 사용하여 텍스트를 문장으로 분할함으로써 o1-mini 모델은 각 문장을 독립적으로 처리하여 오류 발생 가능성을 줄인다. 문장별 처리는 모델이 더 정확한 논리 표현을 생성하도록 한다. 예시 1은 영문 문장을 동등한 명제 논리 표현으로 변환하는 것을 보여준다.
예시 1:
입력 문장: 서커스는 페리스 휠이나 롤러코스터 중 하나를 가지고 있다.
논리 표현: Or(P, Q)에서 P는 “서커스는 페리스 휠을 가지고 있다"를 나타내고, Q는 “서커스는 롤러코스터를 가지고 있다"를 나타낸다.
2. 논리 표현에서 CNF 변환: 자연어 입력이 논리 표현으로 변환되면 다음 단계에서는 이러한 표현을 CNF로 변환한다. 이를 위해 Lark 파서와 사전 정의된 문법을 사용한다. 각 논리 표현은 다음과 같은 방식으로 처리된다:
파싱: 각 줄은 Lark 파서를 통과하여 파스 트리 생성. 파스 트리는 변수와 논리 연산자를 구조화된 계층으로 구성하여 논리 구조를 명확하게 나타낸다.
Sympy 변환: 파스 트리를 읽는 사용자 정의 함수는 파스 트리를 Sympy 표현으로 변환한다. Sympy는 이러한 표현을 CNF 형태로 변환하는 데 사용된다.
