'Computer Science / Machine Learning' 카테고리의 모든 글
이 논문은 소매 판매 예측 분야에서 LSTM 네트워크의 효율성과 정확성을 극대화하는 방법에 대해 깊이 있게 탐구하고 있다. 특히, 이 연구는 자원 제약을 가진 소규모 및 중소 규모 매장에서도 효과적인 AI 기반 예측 시스템을 구축할 수 있도록 하는 모델 압축 기법의 중요성을 강조한다. 기술적 혁신성 이 논문은 LSTM 네트워크를 압축하는 다양한 방법론을 체계적으로 평가하고, 특히 64개 은닉 유닛을 가진 모델이 가장 높은 예측 정확도를 보이는 것을 발견했다. 이는 표준 LSTM(128개 은닉 유닛)보다 메모리 사용량을 줄이고 추론
: 본 논문은 엘립소이드의 복잡성을 측정하는 VC 차원에 대한 심층적인 연구를 수행한다. 이는 학습 이론에서 중요한 개념으로, 데이터 분석 및 모델 선택에 활용된다. 1. VC 차원의 정의와 중요성 VC 차원은 집합이 얼마나 복잡한 형태를 가질 수 있는지를 측정하는 지표로, 경험적 과정 이론, 통계 및 계산 학습 이론, 그리고 이산 기하학 등 다양한 분야에서 활용된다. 특히, VC 차원은 데이터의 복잡성을 측정하고 모델 선택에 중요한 역할을 한다. 2. 엘립소이드와 가우시안 혼합 모델 엘립소이드는 d차원 공간에서 정의되는 집합으로,
본 논문은 불확실한 레이블을 다루는 방법으로서 새로운 SVM 분류 기법을 제안하고, 이를 통해 실제 생활에서 발생하는 주석 문제에 대응하려고 합니다. 이 연구의 핵심 아이디어는 확률적 레이블을 도입하여 불확실성을 처리하는 것입니다. 1. 문제 정의와 배경 전통적인 감독 학습에서는 데이터 세트를 전문가에게 레이블링하는 과정이 필요합니다. 그러나 이는 많은 응용 분야에서 어려움을 겪게 되며, 특히 의료 영상 분야에서는 참조 병리 정보 없이 악성 조직을 윤곽선으로 그릴 때 이러한 문제점이 발생합니다. 이로 인해 훈련 데이터에 부정확한 클
이 논문은 “데이터 복잡도 인식 딥 모델 성능 예측”이라는 주제로, 모델 설계 단계에서 사전적으로 성능을 추정할 수 있는 경량화된 두 단계 프레임워크를 제시한다. 첫 번째 단계는 데이터 자체의 통계적·구조적 특성을 기반으로 베이스라인 성능을 예측한다. 여기에는 데이터 분산, 클래스 불균형, 이미지 해상도, 텍스트 길이 등 다양한 메트릭이 포함되며, 이러한 특성은 기존 연구에서 모델 복잡도와 직접적인 상관관계를 보인 바 있다. 두 번째 단계는 모델 아키텍처(예: 레이어 수, 파라미터 규모, 연산량)와 주요 하이퍼파라미터(학습률, 배치
본 연구는 그래프 신경망(GNN) 학습을 대규모 실세계 그래프에 적용하기 위해 외부 스토리지를 활용하는 ‘스토리지 기반’ 접근법의 근본적인 한계를 짚어낸다. 기존 연구들은 주로 메모리 한계를 극복하기 위해 NVMe SSD와 같은 고속 저장소를 이용했지만, 그래프 구조가 매우 불규칙하고 엣지와 노드가 수백만~수십억 수준으로 분산돼 있기 때문에 학습 과정에서 발생하는 수십만~수백만 개의 작은 I/O 요청을 효율적으로 병합하거나 스케줄링하지 못한다. 이러한 ‘소형 I/O 폭주’는 스토리지의 순차 전송 대역폭을 활용하지 못하게 만들고, 결
본 논문은 레이더 에코 외삽(Radar Echo Extrapolation, REE) 분야에서 가장 시급한 문제인 도메인 전이와 데이터 분포 변화 에 대한 해결책을 제시한다. 기존의 딥러닝 기반 REE 모델은 대규모 레이더 시퀀스를 학습해 단기 강수 예보를 수행하지만, 학습 단계에서 사용된 지역·시즌·기후 조건에 강하게 의존한다. 따라서 새로운 지역이나 극한 강수 상황에 적용하면 성능이 급격히 저하되는 것이 일반적이다. 1. 핵심 아이디어와 기여 테스트‑시점 학습(Test‑Time Training, TTT) 적용 : 모델 파라미터를
본 논문이 다루는 온라인 영향력 최대화(Online Influence Maximization, OIM) 문제는 전통적인 정적 IM과 달리 시간에 따라 시드 집합을 동적으로 선택해야 하는 상황을 전제로 한다. 여기서 ‘전체 밴딧(full‑bandit) 피드백’이라는 가정은 에이전트가 매 라운드마다 선택한 시드 집합에 의해 실제로 발생한 확산 규모(즉, 전체 활성화된 노드 수)만을 관찰한다는 의미이며, 이는 각 노드별 활성화 여부나 네트워크의 인접 행렬 등 추가적인 구조적 정보를 전혀 제공하지 않는다. 이러한 제한된 피드백 환경에서는
본 논문은 데이터 과학 실무에서 가장 빈번히 마주치는 ‘데이터는 유한하고 완전하다’는 가정을 근본적으로 뒤흔든다. 전통적인 배치 기반 워크플로우는 고정된 데이터셋을 한 번에 메모리로 로드하거나 단일 패스로 처리한다는 전제하에 설계되었으며, 이는 센서 스트림, 금융 거래 로그, 시스템 이벤트와 같이 시간에 따라 지속적으로 생성되는 데이터와는 근본적으로 맞지 않는다. 저자는 이러한 불일치를 해결하기 위해 Causify DataFlow라는 통합 컴퓨테이셔널 모델을 제안한다. 첫째, 프레임워크는 DAG를 선언적으로 정의하고, 동일한 정의를
본 논문은 Azuma 부등식의 변형에 대해 깊이 있게 분석하고 있다. 기존 Azuma 부등식은 확률적 과정에서 중요한 역할을 하는데, 특히 마르팅알의 수렴성을 보장하는 강력한 도구이다. 그러나 이 부등식은 모든 시간 t에 대해 |Zt|가 상수 b 이내로 제한되어야 한다는 엄격한 가정을 필요로 하며, 이는 실제 문제에서 적용하기 어려운 경우가 많다. 본 논문에서는 이러한 한계를 극복하고자 마르팅알의 각 항이 고확률로 큰 값을 가지더라도 Azuma 부등식을 일반화하는 새로운 변형을 제시한다. 이를 통해, '거의 경계가 있는' 마르팅알에
본 논문은 깊이 이미지로부터 임의의 관절 구조를 가진 물체의 3D 자세를 추정하는 문제에 대해 진화 알고리즘을 활용한 새로운 접근법을 제시한다. 이 연구는 기존의 방법들이 사전 훈련이나 도메인 특정 지식에 크게 의존하고, 이를 일반화하기 위한 추가적인 노력이 필요하다는 한계점을 극복하려고 시도한다. 1. 문제 정의와 접근 방식 자세 추정은 물체의 관절 구조를 기반으로 깊이 이미지에서 물체의 위치와 자세를 결정하는 과정이다. 본 논문에서는 이 문제를 모델 기반 추정 문제로 정의하고, 진화 알고리즘을 활용하여 최적의 자세 매개변수를 찾
본 논문은 가변 길이 시퀀스, 특히 쇼핑몰 내 고객의 이동 경로와 같은 복합적인 시간·공간 데이터를 생성하는 문제에 초점을 맞춘다. 전통적인 미니배치 학습에서는 동일 배치 내에 길이가 크게 다른 시퀀스가 섞이게 되는데, 이는 그래디언트의 스케일 차이를 야기하고 최적화 과정에서 불안정성을 초래한다. 특히 GAN 기반 생성 모델은 판별자가 “길이 자체”를 쉽게 구분하는 단축(shortcut) 전략을 취할 위험이 있는데, 이는 실제 의미 있는 패턴(예: 방문 순서, 체류 시간)보다 길이 차이에만 민감하게 반응하게 만든다. 결과적으로 생성
HISTOGRAPH는 그래프 신경망(GNN) 분야의 중요한 발전을 이끌어내며, 특히 노드 임베딩의 진화와 공간적 상호작용을 동시에 모델링하는 데 중점을 두고 있습니다. 이러한 접근법은 기존 GNN 아키텍처를 개선하고, 다양한 그래프 관련 작업에서 우수한 성능을 달성할 수 있는 새로운 방향성을 제시합니다. 기술적 혁신성: HISTOGRAPH의 핵심 혁신 중 하나는 역사적 활성화 추적 입니다. 이 접근법은 GNN이 메시지 전달과 집계를 통해 노드 임베딩을 생성하는 과정에서 발생한 시간적 경로를 고려합니다. 각 노드의 층별 표현을 시퀀스
이 논문은 콘크리트 구조물 내에서 염화물의 시간 경과 변화에 미치는 혼합물 조성의 영향을 분석하는데 초점을 맞추고 있다. 이를 위해 다양한 머신러닝 알고리즘을 사용하여 데이터 주도적 접근법을 적용한다. 연구 방법론은 간단한 선형 회귀, k 최근접 이웃 회귀, 커널 리지 회귀와 복잡한 서포트 벡터 회귀, 가우시안 프로세스 회귀, 다층 퍼셉트론(MLP), 게이트 순환 유닛(GRU)을 포함한다. 각 알고리즘의 성능은 다양한 지표를 통해 평가되며, 특히 GPR 모델은 명확하고 설명 가능한 추세를 제공하여 숨겨진 상관관계를 드러내는 데 효과
본 논문은 워프 코르텍스 아키텍처를 통해 대형 언어 모델(LLM)의 병렬 추론 능력을 크게 향상시키는 방법을 제시한다. 이 아키텍처는 에이전트가 독립적인 프로세스가 아닌 비동기 스레드로서 동작하도록 설계되어, 가중치와 컨텍스트 메모리의 복잡도를 크게 줄인다. 특히, 토폴로지 데이터 분석(TDA)에서 유래한 하이브리드 랜드마크 기법을 통해 KV 캐시를 점 클라우드로 취급하고, 증인 복잡체에 영감을 받은 희박화 방법을 적용하여 컨텍스트의 지속적 호모로지 특성을 유지하면서 메모리 사용량을 크게 줄일 수 있다. 논문에서 제시된 워프 코르텍
Mixture‑of‑Experts(MoE) 구조는 수백에서 수천 개의 전문가 중 일부만을 선택적으로 활성화함으로써 계산 비용을 크게 절감한다는 장점이 있다. 그러나 전문가들이 실제로 서로 다른 기능을 수행하도록 만들기 위해서는 “전문가 다양성”이 필수적이며, 이를 달성하기 위한 다양한 정규화 기법이 제안되어 왔다. 본 논문에서는 가장 직관적인 접근법 중 하나인 가중치 직교 손실을 적용하여 전문가 간의 기하학적 차이를 강제하고, 그 효과를 다각도로 평가하였다. 첫 번째 실험에서는 가중치 공간 중복도(MSO, Mean Subspace
이 논문은 컨포멀 예측이 실제 운영 환경에서 마주치는 ‘분포 변동(distribution shift)’에 얼마나 취약한지를 코로나19라는 전 세계적 충격을 이용해 실증적으로 보여준다. 연구자는 8개의 공급망 관련 태스크를 선정하고, 팬데믹 이전과 이후의 데이터 특성을 Jaccard 지수를 통해 정량화하였다. 흥미롭게도, Jaccard 지수가 거의 0에 가까워 특징 자체는 거의 변하지 않았음에도 불구하고, 예측 구간의 실제 커버리지는 0 %에서 86.7 %까지 극단적인 차이를 보였다. 이는 컨포멀 방법이 단순히 특징 분포의 변화를 감
이 논문은 대규모 언어 모델(LLM)의 극저비트 양자화에 있어 기존 이중 이진 분해(Double Binary Factorization, DBF)의 구조적 한계를 정확히 짚어낸다. DBF는 가중치를 부호 행렬과 스케일(엔벨로프) 행렬의 곱으로 표현하는데, 부호를 1비트로 고정하고 스케일을 실수값으로 두어 메모리 사용량을 크게 줄인다. 그러나 스케일 파라미터가 모든 랭크 성분에 동일하게 적용되면서, 모델이 표현할 수 있는 크기 변동 폭이 제한된다. 특히, 랭크‑R 분해에서 R이 커질수록 각 성분이 동일한 크기 프로파일을 공유하게 되므로
판별 모델은 입력 데이터를 직접 라벨에 매핑하는 방식으로 학습한다. 이 과정에서 모델은 훈련 데이터에 존재하는 통계적 패턴을 최적화하지만, 라벨과 직접적인 인과관계가 없는 특징—예를 들어 배경 색, 촬영 각도, 혹은 텍스트에서 흔히 나타나는 특정 단어—에 과도하게 의존할 위험이 있다. 이러한 스퓨리어스 특징은 훈련 데이터 내에서는 라벨과 높은 상관관계를 보이지만, 실제 배포 환경에서 사소한 분포 이동이 발생하면 급격히 사라진다. 결과적으로 판별 모델은 “단축(shortcut)”을 이용해 높은 정확도를 달성하지만, 일반화 능력은 크게
대형 언어 모델(LLM)은 수억에서 수조 개의 파라미터를 보유하고 있어, 실제 서비스 환경에서 메모리와 연산 비용을 크게 절감하기 위해 사후 양자화(post‑training quantization, PTQ)가 필수적이다. 그러나 LLM의 가중치와 활성값에는 “이상치(outlier)”라 불리는 극단적인 값들이 존재한다. 이러한 이상치는 양자화 단계에서 스케일링을 크게 잡아야 하므로, 전체 분포가 과도하게 압축되고 결과적으로 정밀도가 크게 떨어진다. 기존 연구는 이 문제를 해결하기 위해 회전(rotation) 기법을 도입했는데, 회전은
HOLOGRAPH 논문은 인과 구조 학습이라는 오래된 문제에 최신 인공지능 기술을 수학적으로 결합한 시도라 할 수 있다. 전통적인 인과 발견 방법은 조건부 독립성 검정이나 구조적 방정식 모델을 기반으로 하지만, 관측 데이터만으로는 동일한 마르코프 등가 클래스 내의 여러 그래프를 구분하기 어렵다. 이 한계를 극복하기 위해 연구자들은 외부 지식, 특히 인간이 만든 지식 그래프나 도메인 전문가의 의견을 사전확률로 도입해 왔다. 최근에는 LLM이 방대한 텍스트 코퍼스를 학습함으로써 “인과적 직관”을 내포하고 있다는 점에 주목해, LLM을
본 연구는 베이지안 신경망(BNN)에서 라플라스 근사의 한계를 정확히 짚어낸 뒤, 리만 기하학을 도입해 이를 극복하려는 시도를 보여준다. 전통적인 라플라스 근사는 MAP(최대 사후 확률) 추정점 주변을 유클리드 거리 기반의 다변량 정규분포로 근사한다. 그러나 딥러닝 모델은 수백만 차원의 파라미터 공간에 복잡한 비선형 구조와 다중 대칭(예: 레이어 순열, 스케일 변환 등)를 가지고 있어, 손실 표면은 극도로 얇고 긴 골짜기 형태를 띤다. 이런 상황에서 유클리드 메트릭은 실제 곡률을 무시하고, 결과적으로 과도하게 축소된 혹은 과도하게
This paper addresses the challenge of designing efficient deep learning (DL) solutions for Internet of Things (IoT) devices, which often have severe constraints on memory and computational power. These limitations can prevent IoT units from executing DL models that typically require significant reso
This paper explores how neural networks maintain their performance and structure during training by showing that the weight matrices do not significantly deviate from their initial values. The authors demonstrate that even with minor changes in weights, the network can still achieve rapid convergenc
This paper discusses a method for improving the learning efficiency of deep neural networks by utilizing structural information from program code. The authors aim to enhance the effectiveness of machine learning in analyzing and optimizing complex programs. Traditional methods often struggle with ca
: 본 논문은 템플릿 기반 학습 모델을 통해 새로운 관찰 데이터를 이해하는 방법에 대해 설명하고 있다. 이 모델은 주로 관찰 데이터 간의 유사성 탐색과 비교를 통해 새로운 개념을 학습하고 추상화하는데 초점을 맞추고 있다. 1. 템플릿 기반 학습 모델의 구성 요소 기하학적 묘사 : 이 모델은 관찰 데이터를 기하학적으로 묘사하는 방식을 사용한다. 이를 통해 객체의 경계와 형태를 정확하게 파악할 수 있다. 인간 시각 신경 시스템에 영감 받은 설명자 : 인간의 시각 인지 과정에서 중요한 역할을 하는 요소들을 모델링하여, 더 정교한 데이터
검색어를 입력하세요