빅데이터 교육 실습 종합 보고서

본 연구는 세 가지 보완적인 분석을 통해 빅데이터 프로젝트의 통합적 접근 방식을 취합니다. 첫 번째 사례 연구는 에피슨(Epsilon) 데이터셋에 초점을 맞추며, 다중층 퍼셉트론(MLP)을 사용하여 2000개의 특징과 100,000개의 인스턴스로 훈련되었습니다. PyTorch와 GPU 가속(CUDA)을 활용하여 100개의 학습 에포크 후 88.98%의 정확도를 달성했습니다.

두 번째 분석은 멕시코 관광 리뷰 데이터셋인 Rest-Mex에 집중하며, 다중 클래스 감정 분류를 위한 완전한 파이프라인을 구현합니다. 텍스트 전처리 기법, 토큰화, 불용어 제거, 레마티제이션을 적용한 후, CountVectorizer 또는 TF-IDF를 사용하여 벡터화했습니다. 감독 학습 분류 모델은 3가지 클래스(긍정적, 부정적, 중립)로 카테고리화하여 과다 집계의 문제를 해결하기 위해 클래스 가중 기법을 사용했습니다.

마지막 분석은 IMDb 영화 설명 데이터셋을 다루며, 심층 텍스트 분석을 통합합니다. TF-IDF(5,000개의 특징과 해싱TF 및 minDocFreq=3)를 사용하여 설명, 제목, 메타데이터의 85,855개의 영화에 대한 지능형 컨텍스트 임푸테이션 시스템이 구현되었습니다. 최적화된 XGBoost 회귀기(36개의 하이퍼파라미터 조합과 3-폴드 교차 검증)는 RMSE 0.6001과 R² 0.79를 달성하여 지속적인 등급 예측에 대한 성능을 보여주었습니다.

감정 분석은 설명의 분포를 밝혀냈으며(중립 46.83%, 긍정적 32.65%, 부정적 20.52%), 이 정보는 추가 기능으로 통합되었습니다. 탐색적 분석은 크리스토퍼 놀란(8.22), 사티아지트 레이(8.02), 하야오 미야자키(8.01)와 같은 감독자의 평균 등급이 높은 것을 확인했습니다. 또한, 영화-노르(6.64), 생물(6.62), 역사(6.54) 장르는 가장 높은 평균 등급을 받은 것으로 나타났습니다.

이러한 방법론의 진화는 이진 분류(Epsilon), 감정 분석(Rest-Mex), 지속적인 등급 예측(IMDb)에 걸쳐 다양한 규모와 데이터 유형의 기계 학습 기법을 통합합니다. 이는 다중 도메인에서 빅데이터 분석을 위한 강력한 프레임워크를 확립합니다.

대규모 이진 분류, Shalev-Shwartz 외 (2011)는 SVM을 위한 효율적인 스토카스 서브그라디언트 하강 알고리즘인 페가소스를 개발했습니다. 이 알고리즘은 ϵ 정확도에 도달하기 위해 1/λϵ의 반복 복잡도를 달성하며, 각 반복은 단일 학습 예제에 작동합니다. 이는 대규모 텍스트 분류 문제에 특히 적합합니다.

페가소스의 접근 방식은 원시 목적 함수에 직접 작업하여 메모리 사용을 줄이는 장점이 있습니다. 이는 고차원 데이터셋인 Epsilon과 같은 경우 중요한 이점입니다. 보고된 실험 결과는 페가소스가 전통적인 SVM 방법보다 최대 한 순서(기준)의 속도 향상을 보여주며, 85% 이상의 이진 분류 정확도를 달성했습니다. 연구는 알고리즘의 수렴이 훈련 세트 크기가 아닌 정규화 매개변수 λ에 직접적으로 의존한다는 것을 입증합니다.

Verma와 Verma (2019)는 볼리우드 영화에 대한 예측 모델을 개발하기 위해 감독 학습 알고리즘(랜덤 포레스트, 로지스틱 회귀, SVM, 적응형 트리 부스팅)을 사용했습니다. 이러한 모델은 92%의 이진 분류 정확도를 달성했습니다. 그들의 작업은 음악 등급, IMDb 순위, 스크린 수와 같은 요소를 주요 예측자로 식별했습니다. 최상의 성능을 보이는 시스템은 스페인어 사전 학습된 RoBERTa를 사용하여 관광 도메인 적응을 통해 구축되었습니다. F1-점수(0.78)로 다중 클래스 분류에 대한 감정, 0.94로 국가 분류에 대한 분류 정확도를 달성했습니다. LKE-IIMAS 팀은 데이터 증강 기법을 통해 불균형한 소수 클래스를 균형 잡히게 하기 위해 역 번역 백번역 기술을 구현했습니다. 이 연구는 스페인어 텍스트 데이터에 대한 컨텍스트 트랜스포머의 효과를 보여줍니다. 또한, ‘쉬움’ 메트릭을 제안하여 각 감정 속성의 예측이 얼마나 어려운지(쉬움=0.38) 또는 쉬운지(쉬움=0.50)를 측정했습니다.

Epsilon 데이터셋은 고성능 벤치마크 데이터셋으로, 대규모 고차원 이진 분류 작업을 위한 알고리즘의 효율성과 분산 컴퓨팅 시스템을 테스트하기 위해 설계되었습니다.

데이터셋은 400,000개의 훈련 샘플과 100,000개의 검증 샘플로 구성됩니다. 각 기록은 2,000개의 열로 설명되며, 첫 번째 열은 클래스 레이블(0 또는 1)을 나타내고 나머지 2,000개는 숫자 특징입니다. 전체 데이터셋의 추정 크기는 약 11GB입니다. 이 수업에서는 데이터셋을 5등분하여 자원 관리를 용이하게 하고 평가를 용이하게 했습니다.

Epsilon은 복잡하고 익명화된 데이터 변환을 통해 생성되었습니다. 그 목표는 특징의 의미가 아닌 계산적 도전을 제시하는 것입니다:

• 확장성: 기계 학습 알고리즘과 분산 컴퓨팅 시스템(예: Apache Spark)의 효율성을 평가하여 대규모, 고차원 데이터 로드를 처리합니다.
• 고차원성: 정규화와 과적합 관리에서 모델의 성능을 향상시키는 방법을 연구합니다. 모델은 2,000개의 입력 변수(특징)를 가지고 있으며, 상관관계는 미미합니다.

개별 데이터셋 처리는 로컬 환경에서 알고리즘 성능을 평가하고 세부 비교 결과를 얻는 데 유용했습니다.

분할 전략은 특정 조합의 두 알고리즘을 5개의 “인스턴스” 또는 평가에 할당하여 더 견고한 관점을 제공하기 위해 설계되었습니다. 다음 표는 작업 분배와 알고리즘 조합을 요약합니다.

…(본문이 길어 생략되었습니다. 전체 내용은 원문 PDF를 참고하세요.)…