keum님의 블로그

용어정의

https://huggingface.co/blog/agent-glossary?utm_source=chatgpt.com Harness, Scaffold, and the AI Agent Terms Worth Getting RightWe’re on a journey to advance and democratize artificial intelligence through open source and open science.huggingface.co HUGGING FACE AGENT GLOSSARYAgent 시대 핵심 용어 8개 한눈에 이해하기Model · Scaffold · Harness · Context Engineering · Tool · Skill · Sub-agent · RL EnvironmentHugg..

Mamba

Mamba와 Attention Hybrid: 2026년 LLM은 왜 Transformer만 쓰지 않을까?대형 언어 모델의 Context Length가 점점 길어지면서 새로운 문제가 중요해지고 있습니다.바로:수십만 개의 Token을 어떻게 효율적으로 처리할 것인가?입니다.Transformer의 핵심인 Attention은 매우 강력합니다.하지만 Sequence가 길어질수록 계산량과 메모리 사용량이 크게 증가합니다.그래서 등장한 대표적인 대안이 State Space Model(SSM)이고, 현재 가장 유명한 SSM 계열 아키텍처가 Mamba입니다.그런데 최근 LLM들은 Transformer를 완전히 버리고 Mamba만 사용하는 방향으로 가지 않고 있습니다.오히려:Mamba+Attention+Sparse MoE..

MoE (Mixture-of-Experts)

MoE부터 LatentMoE까지: 2026년 LLM 아키텍처의 핵심 변화대형 언어 모델(LLM)의 성능을 높이는 가장 단순한 방법은 모델의 파라미터를 늘리는 것입니다.하지만 모델이 커질수록 문제가 생깁니다.Parameter ↑ ↓Model Capacity ↑ ↓연산량(FLOPs) ↑메모리 사용량 ↑추론 비용 ↑예를 들어 Dense Transformer가 70B 규모라면, 추론 과정에서 대부분의 파라미터가 계속 계산에 참여합니다.이 문제를 해결하기 위해 등장한 대표적인 구조가 Mixture-of-Experts(MoE) 입니다.최근에는 여기서 한 단계 더 나아가, 단순히 계산량만 줄이는 것이 아니라 메모리와 GPU 간 통신 비용까지 줄이기 위한 LatentMoE가 등장하고 있습니다.목차MoE란 무..

LLM 기술 스택

대분류핵심기술2026 키워드① 모델 아키텍처Transformer, MoE, SSM/HybridSparse MoE, Mamba+Attention, Active Params② Pre-training대규모 사전학습데이터 품질, synthetic data, compute 효율③ Post-trainingSFT, RL, DistillationRLVR, Agentic RL, Multi-teacher Distillation④ Reasoning추론 능력Test-time Compute, Reasoning Budget, Verifier⑤ Agent도구 사용·행동Harness, Tool Use, Sub-agent, MCP⑥ Context/Memory장기 기억·지식 연결Long Context, Context Engineerin..

[ref] Bai, J., Fan, W., Hu, Q., Zong, Q., Li, C., Tsang, H. T., ... & Song, Y. (2026, July). Autoschemakg: Autonomous knowledge graph construction through dynamic schema induction from web-scale corpora. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 20557-20584).1. 핵심 혁신: '엔티티'를 넘어 '이벤트'와 '개념'으로의 확장기존의 정보 추출(IE) 방식은 명사 위주의..

학생때는 저작권이니, 논문이니 정말 자유로웠다.학생이라 받은 혜택도 많았다. But, 입사한 이후로 어떤 프로그램을 쓸 때 주의해야한다. 나는 이제까지 Conda를 사용했다.근데 이게 문득 그냥 쓰면 문제가 있을 것 같았다.따라서 저작권, 라이센스 문제 없는 방법을 탐색하였다. miniconda를 설치하여 문법 그대로 사용하면서 라이센스 문제 없도록 방법을 찾았다.방법:1. miniconda 설치2. conda-forge 사용 * conda-forge: 전 세계 커뮤니티가 유지하는 오픈소스 * conda의 defaults 사용 금지, defaults = 회사에서 운영하는 앱스토어 (기업용 라이선스 있음)구체적인 방법conda config --remove channels defaultsconda co..

h에 왜 제곱근이 붙어있는가? 근데 왜 분산이 같아야 하는가?

2. Flow and Diffusion Models이전 섹션에서 우리는 생성 모델링(generative modeling)을 데이터 분포 p_data로부터 샘플링하는 것으로 정형화했습니다.나아가, 우리는 우리의 목표를 정형화했습니다: 즉, z ~ p_data인 샘플을 반환하는 알고리즘인 생성 모델을 구축하는 것입니다. 이 섹션에서는 적절하게 구성된 미분 방정식의 시뮬레이션으로서 생성 모델이 어떻게 구축될 수 있는지 설명합니다.예를 들어, 흐름 매칭(flow matching)과 확산 모델(diffusion models)은 각각 상미분 방정식(ODEs)과 확률 미분 방정식(SDEs)의 시뮬레이션을 포함합니다. 따라서 이 섹션의 목표는 이 노트의 나머지 부분에서 계속 사용될 이러한 생성 모델을 정의하고 구축하는..

A Reminder on Probability Theory확률론 1장을 시작에 확률론을 어느정도 알아야한다고 한다.따라서 부록에 있는 확률론을 먼저 습득하고 넘어가자.A. 확률론에 대한 복습이 절에서는 확률론의 기초 개념들을 간략하게 요약합니다. 본 섹션의 일부 내용은 [26]에서 인용되었습니다.A.1 확률 벡터 (Random vectors)