전체 글3183 Map-Reduce란 Map-Reduce(맵리듀스)는 하나의 컴퓨터로 처리하기 힘들 만큼 방대한 양의 빅데이터를 여러 대의 컴퓨터에 나누어 병렬로 처리하는 소프트웨어 프레임워크(소프트웨어 구조)입니다. 구글이 2004년에 발표했으며, 대용량 데이터 처리의 대명사인 아파치 하둡(Apache Hadoop)의 핵심 기술로 잘 알려져 있습니다.이름 그대로 데이터를 나누는 Map(맵) 단계와 데이터를 합치는 Reduce(리듀스) 단계가 핵심입니다.💡 아주 쉬운 비유: 백과사전에서 특정 단어 개수 세기도서관에 있는 1,000권짜리 백과사전에서 '인공지능'이라는 단어가 총 몇 번 나오는지 세어야 한다고 가정해 봅시다. 혼자서 다 읽으려면 몇 달이 걸릴 것입니다. 이때 맵리듀스 방식을 쓰면 다음과 같이 해결합니다.분할 (Splitting.. 2026. 9. 8. LLMOps LLMOps (Large Language Model Operations)는 대형 언어 모델(LLM)의 개발, 배포, 운영, 평가, 유지보수에 이르는 전체 생명주기(Lifecycle)를 안정적이고 효율적으로 관리하기 위한 방법론이자 시스템 아키텍처입니다. 기존 MLOps(기계학습 운영)에서 프롬프트 엔지니어링, RAG(검색 증강 생성), 환각 제어 등 LLM만의 특수한 요구사항이 추가된 확장 버전입니다.앞서 논의하신 MRM(모형 위험 관리), LLM Judge, 환각 탐지, Red-Teaming 등의 요구사항은 모두 이 LLMOps 체계를 구축하기 위한 핵심 구성 요소들입니다.LLMOps의 4대 핵심 영역은 다음과 같습니다.1. 파운데이션 모델 적응 및 RAG 파이프라인 관리프롬프트 엔지니어링 및 관리: .. 2026. 9. 7. Flower 연합학습 프레임워크 설치 및 실행 연합학습 (Federated Learning)이란 분산학습의 일종으로 중앙 서버가 사용자의 데이터를 수집하고 학습하는 중앙 학습 방식에서 벗어나 개별 사용자들이 직접 모델을 학습하고 중앙서버는 이를 결합 (Aggregation)하는 방식으로 학습을 진행하는 기술입니다. 개별 사용자들은 자신의 데이터를 서버에게 직접 전달하지 않기 때문에 자신의 데이터의 제 3자에 대한 노출을 방지할 수 있어 데이터 프라이버시 목적을 달성하기 용이합니다. 연합학습은 일반적인 분산학습보다 학습 상황에 대한 조금 더 까다로운(?) 조건을 가정하며 그로 인한 학습 방식 및 결과에 대해 차이가 있다고 할 수 있습니다. 일반적인 분산학습의 목적은 여러 학습 자원 (e.g., GPU)를 사용하기 위해 중앙서버 통제하에 여러개의 노드.. 2026. 9. 4. 한국지능정보사회진흥원(NIA)이 발간한 ‘AI 학습데이터 구축 안내서’ [국문/PDF/31p AI 학습데이터 구축 안내서 소개한국지능정보사회진흥원(NIA)은 인공지능(AI) 시대를 맞이해 누구나 고품질의 학습데이터를 효율적으로 구축할 수 있도록 ‘AI 학습데이터 구축 안내서(2025)’를 작성 및 배포하였습니다. 이 문서는 단순한 기술 매뉴얼이 아니라, AI 학습의 핵심 자원인 데이터의 수집·정제·가공 과정을 전 국민이 이해하고 실무에서 바로 적용할 수 있게 구성된 종합 가이드입니다.최근 OpenAI, Meta 등 글로벌 AI 기업들이 초거대 모델 경쟁을 위해 대규모 데이터 확보에 나서면서, 데이터 품질이 AI 경쟁력의 핵심 요소로 떠오르고 있습니다. 이에 따라 한국 정부는 ‘AI 고속도로’ 전략을 중심으로 양질의 데이터 확충과 표준화된 절차 마련을 추진 중입니다.본 안내서는 그 일환으로, 공공.. 2026. 9. 4. 행정안전부, 공공데이터의 인공지능 친화적 관리 가이드라인 v1.0 발간 [국문/PDF&Markdown/70p] 공공데이터의 인공지능 친화적 관리 가이드라인 소개1536×1024 278 KB공공데이터의 인공지능 친화적 관리 가이드라인 v1.0발행 기관: 행정안전부, 한국지능정보사회진흥원(NIA)발간일/공개일: 2026년 3월 31일 / 2026년 4월 24일가이드라인 다운로드: 자료실 페이지, [PDF / Markdown]단순 개방을 넘어 AI 학습에 적합한 공공데이터 관리의 새 기준대규모 언어모델(LLM)과 생성형 AI의 확산으로 데이터는 국가 경쟁력을 좌우하는 핵심 인프라로 자리 잡았습니다. 민원 응대, 정책 설명, 법령 질의응답, 행정문서 초안 작성 등 공공 분야에서도 AI 활용 사례가 빠르게 늘어나고 있으며, 이에 따라 공공데이터 역시 단순한 CSV 파일 개방 수준을 넘어 AI 모델이 직접 학습하고 추론할 .. 2026. 9. 4. 이전 1 2 3 4 ··· 637 다음