Machine Learning

Handling uncertainties in SVM classification

본 논문은 불확실한 레이블을 다루는 방법으로서 새로운 SVM 분류 기법을 제안하고, 이를 통해 실제 생활에서 발생하는 주석 문제에 대응하려고 합니다. 이 연구의 핵심 아이디어는 확률적 레이블을 도입하여 불확실성을 처리하는 것입니다. 1. 문제 정의와 배경 전통적인 감독 학습에서는 데이터 세트를 전문가에게 레이블링하는 과정이 필요합니다. 그러나 이는 많은 응용 분야에서 어려움을 겪게 되며, 특히 의료 영상 분야에서는 참조 병리 정보 없이 악성 조직을 윤곽선으로 그릴 때 이러한 문제점이 발생합니다. 이로 인해 훈련 데이터에 부정확한 클

June 20, 2011

Accelerating Storage-Based Training for Graph Neural Networks

본 연구는 그래프 신경망(GNN) 학습을 대규모 실세계 그래프에 적용하기 위해 외부 스토리지를 활용하는 ‘스토리지 기반’ 접근법의 근본적인 한계를 짚어낸다. 기존 연구들은 주로 메모리 한계를 극복하기 위해 NVMe SSD와 같은 고속 저장소를 이용했지만, 그래프 구조가 매우 불규칙하고 엣지와 노드가 수백만~수십억 수준으로 분산돼 있기 때문에 학습 과정에서 발생하는 수십만~수백만 개의 작은 I/O 요청을 효율적으로 병합하거나 스케줄링하지 못한다. 이러한 ‘소형 I/O 폭주’는 스토리지의 순차 전송 대역폭을 활용하지 못하게 만들고, 결

Machine Learning Computer Science Network

Data Complexity-aware Deep Model Performance Forecasting

이 논문은 “데이터 복잡도 인식 딥 모델 성능 예측”이라는 주제로, 모델 설계 단계에서 사전적으로 성능을 추정할 수 있는 경량화된 두 단계 프레임워크를 제시한다. 첫 번째 단계는 데이터 자체의 통계적·구조적 특성을 기반으로 베이스라인 성능을 예측한다. 여기에는 데이터 분산, 클래스 불균형, 이미지 해상도, 텍스트 길이 등 다양한 메트릭이 포함되며, 이러한 특성은 기존 연구에서 모델 복잡도와 직접적인 상관관계를 보인 바 있다. 두 번째 단계는 모델 아키텍처(예: 레이어 수, 파라미터 규모, 연산량)와 주요 하이퍼파라미터(학습률, 배치

Computer Science Data Machine Learning Model

REE-TTT: Highly Adaptive Radar Echo Extrapolation Based on Test-Time Training

본 논문은 레이더 에코 외삽(Radar Echo Extrapolation, REE) 분야에서 가장 시급한 문제인 도메인 전이와 데이터 분포 변화 에 대한 해결책을 제시한다. 기존의 딥러닝 기반 REE 모델은 대규모 레이더 시퀀스를 학습해 단기 강수 예보를 수행하지만, 학습 단계에서 사용된 지역·시즌·기후 조건에 강하게 의존한다. 따라서 새로운 지역이나 극한 강수 상황에 적용하면 성능이 급격히 저하되는 것이 일반적이다. 1. 핵심 아이디어와 기여 테스트‑시점 학습(Test‑Time Training, TTT) 적용 : 모델 파라미터를

Computer Science Machine Learning

LOFA: Online Influence Maximization under Full-Bandit Feedback using Lazy Forward Selection

본 논문이 다루는 온라인 영향력 최대화(Online Influence Maximization, OIM) 문제는 전통적인 정적 IM과 달리 시간에 따라 시드 집합을 동적으로 선택해야 하는 상황을 전제로 한다. 여기서 ‘전체 밴딧(full‑bandit) 피드백’이라는 가정은 에이전트가 매 라운드마다 선택한 시드 집합에 의해 실제로 발생한 확산 규모(즉, 전체 활성화된 노드 수)만을 관찰한다는 의미이며, 이는 각 노드별 활성화 여부나 네트워크의 인접 행렬 등 추가적인 구조적 정보를 전혀 제공하지 않는다. 이러한 제한된 피드백 환경에서는

January 02, 2026

Causify DataFlow: A Framework For High-performance Machine Learning Stream Computing

본 논문은 데이터 과학 실무에서 가장 빈번히 마주치는 ‘데이터는 유한하고 완전하다’는 가정을 근본적으로 뒤흔든다. 전통적인 배치 기반 워크플로우는 고정된 데이터셋을 한 번에 메모리로 로드하거나 단일 패스로 처리한다는 전제하에 설계되었으며, 이는 센서 스트림, 금융 거래 로그, 시스템 이벤트와 같이 시간에 따라 지속적으로 생성되는 데이터와는 근본적으로 맞지 않는다. 저자는 이러한 불일치를 해결하기 위해 Causify DataFlow라는 통합 컴퓨테이셔널 모델을 제안한다. 첫째, 프레임워크는 DAG를 선언적으로 정의하고, 동일한 정의를

Framework Machine Learning Computer Science Learning Data

A Variant of Azumas Inequality for Martingales with Subgaussian Tails

본 논문은 Azuma 부등식의 변형에 대해 깊이 있게 분석하고 있다. 기존 Azuma 부등식은 확률적 과정에서 중요한 역할을 하는데, 특히 마르팅알의 수렴성을 보장하는 강력한 도구이다. 그러나 이 부등식은 모든 시간 t에 대해 |Zt|가 상수 b 이내로 제한되어야 한다는 엄격한 가정을 필요로 하며, 이는 실제 문제에서 적용하기 어려운 경우가 많다. 본 논문에서는 이러한 한계를 극복하고자 마르팅알의 각 항이 고확률로 큰 값을 가지더라도 Azuma 부등식을 일반화하는 새로운 변형을 제시한다. 이를 통해, '거의 경계가 있는' 마르팅알에

October 14, 2011

Mathematics Machine Learning Computer Science

Computer Science Artificial Intelligence Machine Learning Computer Vision

Pose Estimation from a Single Depth Image for Arbitrary Kinematic Skeletons

본 논문은 깊이 이미지로부터 임의의 관절 구조를 가진 물체의 3D 자세를 추정하는 문제에 대해 진화 알고리즘을 활용한 새로운 접근법을 제시한다. 이 연구는 기존의 방법들이 사전 훈련이나 도메인 특정 지식에 크게 의존하고, 이를 일반화하기 위한 추가적인 노력이 필요하다는 한계점을 극복하려고 시도한다. 1. 문제 정의와 접근 방식 자세 추정은 물체의 관절 구조를 기반으로 깊이 이미지에서 물체의 위치와 자세를 결정하는 과정이다. 본 논문에서는 이 문제를 모델 기반 추정 문제로 정의하고, 진화 알고리즘을 활용하여 최적의 자세 매개변수를 찾

June 28, 2011

Length-Aware Adversarial Training for Variable-Length Trajectories: Digital Twins for Mall Shopper Paths

본 논문은 가변 길이 시퀀스, 특히 쇼핑몰 내 고객의 이동 경로와 같은 복합적인 시간·공간 데이터를 생성하는 문제에 초점을 맞춘다. 전통적인 미니배치 학습에서는 동일 배치 내에 길이가 크게 다른 시퀀스가 섞이게 되는데, 이는 그래디언트의 스케일 차이를 야기하고 최적화 과정에서 불안정성을 초래한다. 특히 GAN 기반 생성 모델은 판별자가 “길이 자체”를 쉽게 구분하는 단축(shortcut) 전략을 취할 위험이 있는데, 이는 실제 의미 있는 패턴(예: 방문 순서, 체류 시간)보다 길이 차이에만 민감하게 반응하게 만든다. 결과적으로 생성

Computer Science Learning Data Machine Learning

Data-Driven Assessment of Concrete Mixture Compositions on Chloride Transport via Standalone Machine Learning Algorithms

이 논문은 콘크리트 구조물 내에서 염화물의 시간 경과 변화에 미치는 혼합물 조성의 영향을 분석하는데 초점을 맞추고 있다. 이를 위해 다양한 머신러닝 알고리즘을 사용하여 데이터 주도적 접근법을 적용한다. 연구 방법론은 간단한 선형 회귀, k 최근접 이웃 회귀, 커널 리지 회귀와 복잡한 서포트 벡터 회귀, 가우시안 프로세스 회귀, 다층 퍼셉트론(MLP), 게이트 순환 유닛(GRU)을 포함한다. 각 알고리즘의 성능은 다양한 지표를 통해 평가되며, 특히 GPR 모델은 명확하고 설명 가능한 추세를 제공하여 숨겨진 상관관계를 드러내는 데 효과

January 03, 2026

Learning from Historical Activations in Graph Neural Networks

HISTOGRAPH는 그래프 신경망(GNN) 분야의 중요한 발전을 이끌어내며, 특히 노드 임베딩의 진화와 공간적 상호작용을 동시에 모델링하는 데 중점을 두고 있습니다. 이러한 접근법은 기존 GNN 아키텍처를 개선하고, 다양한 그래프 관련 작업에서 우수한 성능을 달성할 수 있는 새로운 방향성을 제시합니다. 기술적 혁신성: HISTOGRAPH의 핵심 혁신 중 하나는 역사적 활성화 추적 입니다. 이 접근법은 GNN이 메시지 전달과 집계를 통해 노드 임베딩을 생성하는 과정에서 발생한 시간적 경로를 고려합니다. 각 노드의 층별 표현을 시퀀스

January 03, 2026

Computer Science Network Learning Machine Learning

Computer Science Machine Learning

Warp-Cortex: An Asynchronous, Memory-Efficient Architecture for Million-Agent Cognitive Scaling on Consumer Hardware

본 논문은 워프 코르텍스 아키텍처를 통해 대형 언어 모델(LLM)의 병렬 추론 능력을 크게 향상시키는 방법을 제시한다. 이 아키텍처는 에이전트가 독립적인 프로세스가 아닌 비동기 스레드로서 동작하도록 설계되어, 가중치와 컨텍스트 메모리의 복잡도를 크게 줄인다. 특히, 토폴로지 데이터 분석(TDA)에서 유래한 하이브리드 랜드마크 기법을 통해 KV 캐시를 점 클라우드로 취급하고, 증인 복잡체에 영감을 받은 희박화 방법을 적용하여 컨텍스트의 지속적 호모로지 특성을 유지하면서 메모리 사용량을 크게 줄일 수 있다. 논문에서 제시된 워프 코르텍

January 03, 2026

Conformal Prediction Under Distribution Shift: A COVID-19 Natural Experiment

이 논문은 컨포멀 예측이 실제 운영 환경에서 마주치는 ‘분포 변동(distribution shift)’에 얼마나 취약한지를 코로나19라는 전 세계적 충격을 이용해 실증적으로 보여준다. 연구자는 8개의 공급망 관련 태스크를 선정하고, 팬데믹 이전과 이후의 데이터 특성을 Jaccard 지수를 통해 정량화하였다. 흥미롭게도, Jaccard 지수가 거의 0에 가까워 특징 자체는 거의 변하지 않았음에도 불구하고, 예측 구간의 실제 커버리지는 0 %에서 86.7 %까지 극단적인 차이를 보였다. 이는 컨포멀 방법이 단순히 특징 분포의 변화를 감

January 01, 2026

Geometric Regularization in Mixture-of-Experts: The Disconnect Between Weights and Activations

Mixture‑of‑Experts(MoE) 구조는 수백에서 수천 개의 전문가 중 일부만을 선택적으로 활성화함으로써 계산 비용을 크게 절감한다는 장점이 있다. 그러나 전문가들이 실제로 서로 다른 기능을 수행하도록 만들기 위해서는 “전문가 다양성”이 필수적이며, 이를 달성하기 위한 다양한 정규화 기법이 제안되어 왔다. 본 논문에서는 가장 직관적인 접근법 중 하나인 가중치 직교 손실을 적용하여 전문가 간의 기하학적 차이를 강제하고, 그 효과를 다각도로 평가하였다. 첫 번째 실험에서는 가중치 공간 중복도(MSO, Mean Subspace

January 01, 2026

Generative Classifiers Avoid Shortcut Solutions

판별 모델은 입력 데이터를 직접 라벨에 매핑하는 방식으로 학습한다. 이 과정에서 모델은 훈련 데이터에 존재하는 통계적 패턴을 최적화하지만, 라벨과 직접적인 인과관계가 없는 특징—예를 들어 배경 색, 촬영 각도, 혹은 텍스트에서 흔히 나타나는 특정 단어—에 과도하게 의존할 위험이 있다. 이러한 스퓨리어스 특징은 훈련 데이터 내에서는 라벨과 높은 상관관계를 보이지만, 실제 배포 환경에서 사소한 분포 이동이 발생하면 급격히 사라진다. 결과적으로 판별 모델은 “단축(shortcut)”을 이용해 높은 정확도를 달성하지만, 일반화 능력은 크게

December 31, 2025

More Than Bits: Multi-Envelope Double Binary Factorization for Extreme Quantization

이 논문은 대규모 언어 모델(LLM)의 극저비트 양자화에 있어 기존 이중 이진 분해(Double Binary Factorization, DBF)의 구조적 한계를 정확히 짚어낸다. DBF는 가중치를 부호 행렬과 스케일(엔벨로프) 행렬의 곱으로 표현하는데, 부호를 1비트로 고정하고 스케일을 실수값으로 두어 메모리 사용량을 크게 줄인다. 그러나 스케일 파라미터가 모든 랭크 성분에 동일하게 적용되면서, 모델이 표현할 수 있는 크기 변동 폭이 제한된다. 특히, 랭크‑R 분해에서 R이 커질수록 각 성분이 동일한 크기 프로파일을 공유하게 되므로

December 31, 2025

HOLOGRAPH: Active Causal Discovery via Sheaf-Theoretic Alignment of Large Language Model Priors

HOLOGRAPH 논문은 인과 구조 학습이라는 오래된 문제에 최신 인공지능 기술을 수학적으로 결합한 시도라 할 수 있다. 전통적인 인과 발견 방법은 조건부 독립성 검정이나 구조적 방정식 모델을 기반으로 하지만, 관측 데이터만으로는 동일한 마르코프 등가 클래스 내의 여러 그래프를 구분하기 어렵다. 이 한계를 극복하기 위해 연구자들은 외부 지식, 특히 인간이 만든 지식 그래프나 도메인 전문가의 의견을 사전확률로 도입해 왔다. 최근에는 LLM이 방대한 텍스트 코퍼스를 학습함으로써 “인과적 직관”을 내포하고 있다는 점에 주목해, LLM을

Machine Learning Computer Science Model

OptRot: Mitigating Weight Outliers via Data-Free Rotations for Post-Training Quantization

대형 언어 모델(LLM)은 수억에서 수조 개의 파라미터를 보유하고 있어, 실제 서비스 환경에서 메모리와 연산 비용을 크게 절감하기 위해 사후 양자화(post‑training quantization, PTQ)가 필수적이다. 그러나 LLM의 가중치와 활성값에는 “이상치(outlier)”라 불리는 극단적인 값들이 존재한다. 이러한 이상치는 양자화 단계에서 스케일링을 크게 잡아야 하므로, 전체 분포가 과도하게 압축되고 결과적으로 정밀도가 크게 떨어진다. 기존 연구는 이 문제를 해결하기 위해 회전(rotation) 기법을 도입했는데, 회전은

Computer Science Data Machine Learning

Tubular Riemannian Laplace Approximations for Bayesian Neural Networks

본 연구는 베이지안 신경망(BNN)에서 라플라스 근사의 한계를 정확히 짚어낸 뒤, 리만 기하학을 도입해 이를 극복하려는 시도를 보여준다. 전통적인 라플라스 근사는 MAP(최대 사후 확률) 추정점 주변을 유클리드 거리 기반의 다변량 정규분포로 근사한다. 그러나 딥러닝 모델은 수백만 차원의 파라미터 공간에 복잡한 비선형 구조와 다중 대칭(예: 레이어 순열, 스케일 변환 등)를 가지고 있어, 손실 표면은 극도로 얇고 긴 골짜기 형태를 띤다. 이런 상황에서 유클리드 메트릭은 실제 곡률을 무시하고, 결과적으로 과도하게 축소된 혹은 과도하게

Computer Science Network Machine Learning

Machine Learning Computer Science Statistics Network Distributed Computing

Distributed Deep Convolutional Neural Networks for the Internet-of-Things

This paper addresses the challenge of designing efficient deep learning (DL) solutions for Internet of Things (IoT) devices, which often have severe constraints on memory and computational power. These limitations can prevent IoT units from executing DL models that typically require significant reso

July 30, 2021