전체 글3197 AI 수집부터 보안, AI 연계까지 이어지는 데이터 파이프라인의 핵심 개념 [ 소스 시스템 ] (상이한 엑셀 스키마 변환) │ ▼ (CDC / 배치 ETL) [ 원시 데이터 레이어 ] ➔ 원본 상태 그대로 유입 및 저장 │ ▼ (데이터 정제 및 가공) [ Feature 레이어 ] ➔ AI 모델 학습/추론용 특성 데이터 생성 │ ├─▶ [ 보안 볼트 ] ➔ 민감 원문 데이터 암호화 격리 보관 │ │ │ ▼ (마스킹 처리) │ [ 비식별화 데이터 ] ➔ 안전하게 변환된 데이터 가독성 확보 │ │ ▼ ▼ [ Feature 서빙 API ] ➔ 외부 서비스 및 AI 모델에 실시간 데이터 제공 │ .. 2026. 9. 10. AI 추론 서빙, gRPC 현재 Triton Inference Server, TorchServe, TensorFlow Serving 등 대표적인 AI 서빙 프레임워크들은 이미 gRPC를 핵심 프로토콜로 지원하고 있습니다. 이유는 크게 세 가지입니다.🌐 HTTP/3의 등장이 미치는 영향HTTP/3는 TCP 대신 UDP 기반의 QUIC 프로토콜을 사용합니다. 이는 패킷 손실이 발생해도 다른 스트림이 막히지 않는(Head-of-Line Blocking 해소) 혁신적인 기술입니다.🔮 앞으로의 전망: 무엇을 선택해야 할까?앞으로 모든 서빙이 gRPC로 통일되지는 않으며, 아키텍처의 위치에 따라 분화될 것입니다.요약하자면, 실시간성·대용량 데이터·서버 간 통신이 중요하다면 지금이라도 gRPC 도입을 적극 고려하시는 것이 좋습니다. 반면,.. 2026. 9. 10. model drift의 개념과 원인(data drift, label drift, concept drift)/AI | 머신러닝 1. 들어가며 머신러닝 프로젝트을 수행할 때 성능이 좋은 모델을 개발하고 배포했다고 해서 할 일이 다 끝난 것은 아닙니다. 배포한 모델이 잘 돌아가고 있는지, 예상한대로 결과를 주고 있는지 관찰하는 "모니터링"은 유지보수를 위해 필수적인 과정이죠. 본 포스트에서는 머신러닝 모델을 모니터링할 때 사용하는 "드리프트(drift)"라는 개념과 그 원인에 대해 알아보겠습니다. 2. 모델 드리프트 from Wikipedia Drifting(motorsport) 우리가 개발한 머신러닝 모델이 항상 완벽한 데이터를 입력으로 받지는 않습니다. 모델을 개발할 때 수행하는 여러 전처리 과정들을 생각하면 바로 이해가 되죠. 이런 전처리를 수행하고도 완전히 비어있거나 불완전하거나 혹은 개발 때 학습하지 못했었던 데이터들이 .. 2026. 9. 10. vLLM 소개 및 설치 가이드 2025. 3. 28. 11:08/오픈소스 목차 목차 1. vLLM 이란? 2. vLLM vs Ollama vLLM Ollama Summary 3. Install pip uv conda Using Docker 4. Usage Python API OpenAI 호환 API 서버 5. Model 오늘은 vLLM 에대해서 간단하게 알아보고 설치하는 방법까지 알아보려고 한다.1. vLLM 이란?vLLM은 Versatile Large Language Model Serving System의 약자로, 대규모 언어 모델(LLM)을 효율적으로 서빙하기 위한 오픈소스 라이브러리이다.높은 처리량과 낮은 지연 시간을 목표로 설계되었으며, 특히 GPU 환경에서 LLM 추론 성능을 극대화해 준다는 특징이 있으며,VLLM은 Pa.. 2026. 9. 10. 'DeepSeek(메인 LLM)'과 'vLLM(서빙 프레임워크)' 조합 1. DeepSeek 모델 파일 vs GPU 메모리 로딩저장 상태 (SSD/HDD): 컴퓨터 하드디스크나 스토리지에 저장된 DeepSeek 모델은 수백 GB에 달하는 거대한 파일(가중치 데이터) 상태입니다. 이 상태로는 연산을 할 수 없습니다.로딩 상태 (GPU VRAM): AI가 답변을 생성하기 위해 이 모델 파일을 GPU의 고속 메모리(VRAM)로 통째로 불러오는(Loading) 과정이 필수적입니다. DeepSeek처럼 덩치가 큰 모델은 GPU 메모리를 엄청나게 많이 차지하기 때문에, 보통 여러 개의 GPU(Multi-GPU)에 나누어 담게 됩니다.2. 여기서 vLLM의 역할은 무엇인가?vLLM은 DeepSeek 같은 거대 언어 모델을 효율적으로 서비스(서빙)하기 위해 사용하는 전용 엔진(소프트웨어).. 2026. 9. 10. 이전 1 2 3 4 ··· 640 다음