Title: Human-Inspired Learning for Large Language Models via Obvious Record and Maximum-Entropy Method Discovery
ArXiv ID: 2512.12608
발행일: 2025-12-14
저자: Hong Su
📝 초록 (Abstract)
대형 언어 모델(LLMs)은 큰 규모의 코퍼스에서 일반적인 패턴을 추출하는데 뛰어나지만, 희귀하거나 저자원 상황, 또는 이전에 보지 못한 시나리오-예를 들어 특수 하드웨어 배포 문제나 비정상적인 IoT 기기 동작 등-에서는 이러한 경우들이 학습 데이터에서 희박하게 나타나기 때문에 어려움을 겪습니다. 또한, LLMs은 주로 암시적 매개변수 메모리를 의존하기 때문에 명시적으로 방법을 획득하고 회고하며 정제하는 능력이 제한되어, 대부분 직관에 기반한 예측기로서 작동합니다. 본 논문은 희귀 경험에서 인간이 어떻게 학습하는지에 영감을 받아 두 가지 보완적인 메커니즘을 통합하는 인간 영감 학습 프레임워크를 제안합니다. 첫 번째, 명시적 기록은 원인-결과 또는 질문-해결책 관계를 상징적 메모리로 저장하여 단일 또는 불규칙한 경험에서도 지속적인 학습이 가능하게 합니다. 두 번째, 최대 엔트로피 방법 탐색은 의미적으로 다른 방법을 우선시하고 보존함으로써 시스템이 일반적인 다음 토큰 예측에서 간과되는 다양한 및 소수의 전략을 포착할 수 있게 합니다. 60개의 의미적으로 다양한 질문-해결책 쌍에 대한 벤치마크 검증은 제안된 엔트로피 지향 접근법이 보다 강력한 미보기 질문 커버리지와 랜덤 기준보다 훨씬 큰 내부 다양성을 달성하며, 이는 더 일반화 가능하고 인간 영감을 받은 방법을 발견하는 효과를 입증합니다.
💡 논문 핵심 해설 (Deep Analysis)
이 논문은 대형 언어 모델(LLMs)의 한계를 극복하기 위해 인간 학습 과정에서 영감을 얻는 새로운 접근법을 제안하고 있습니다. LLMs은 큰 규모의 데이터로부터 일반적인 패턴을 추출하는 데 탁월하지만, 희귀하거나 저자원 상황에서는 이러한 패턴이 데이터 내에 충분히 나타나지 않아 예측 능력이 제한됩니다. 이 문제를 해결하기 위해 논문은 두 가지 메커니즘을 통합하는 인간 영감 학습 프레임워크를 제안합니다: 첫 번째로, ‘명시적 기록’은 원인-결과 또는 질문-해결책 관계를 상징적 메모리에 저장하여 단일 또는 불규칙한 경험에서도 지속적인 학습이 가능하게 합니다. 두 번째로, ‘최대 엔트로피 방법 탐색’은 의미적으로 다른 방법을 우선시하고 보존함으로써 다양한 및 소수의 전략을 포착할 수 있게 합니다. 이를 통해 LLMs는 더 일반화 가능한 인간 영감 학습 방법을 획득하게 되며, 이는 희귀 상황에서의 예측 능력을 크게 향상시킵니다.
📄 논문 본문 발췌 (Excerpt)
대형 언어 모델(LLMs)은 큰 규모의 코퍼스에서 일반적인 패턴을 추출하는데 뛰어나지만, 희귀하거나 저자원 상황, 또는 이전에 보지 못한 시나리오-예를 들어 특수 하드웨어 배포 문제나 비정상적인 IoT 기기 동작 등-에서는 이러한 경우들이 학습 데이터에서 희박하게 나타나기 때문에 어려움을 겪습니다. 또한, LLMs은 주로 암시적 매개변수 메모리를 의존하기 때문에 명시적으로 방법을 획득하고 회고하며 정제하는 능력이 제한되어, 대부분 직관에 기반한 예측기로서 작동합니다.
본 논문은 희귀 경험에서 인간이 어떻게 학습하는지에 영감을 받아 두 가지 보완적인 메커니즘을 통합하는 인간 영감 학습 프레임워크를 제안합니다. 첫 번째, 명시적 기록은 원인-결과 또는 질문-해결책 관계를 상징적 메모리로 저장하여 단일 또는 불규칙한 경험에서도 지속적인 학습이 가능하게 합니다. 두 번째, 최대 엔트로피 방법 탐색은 의미적으로 다른 방법을 우선시하고 보존함으로써 시스템이 일반적인 다음 토큰 예측에서 간과되는 다양한 및 소수의 전략을 포착할 수 있게 합니다.
60개의 의미적으로 다양한 질문-해결책 쌍에 대한 벤치마크 검증은 제안된 엔트로피 지향 접근법이 보다 강력한 미보기 질문 커버리지와 랜덤 기준보다 훨씬 큰 내부 다양성을 달성하며, 이는 더 일반화 가능하고 인간 영감을 받은 방법을 발견하는 효과를 입증합니다.
