본문 바로가기

프로그램 활용182

AI Vector Database 구축 실습 Vector Database   실습 환경 구성Database 구축qdrant DBmilvus DBpostgres (pgvector)Dataset 다운로드Library 설치SQuAD v2.0 Dataset란?Embedding 함수 구성실습 수행Qdrantmilvuspgvector 실습 환경 구성 Database 구축qdrant DBdocker pull qdrant/qdrant docker run -p 6333:6333 -p 6334:6334 qdrant/qdrantBash복사milvus DBwget https://github.com/milvus-io/milvus/releases/download/v2.3.3/milvus-standalone-docker-compose.yml -O docker-compose... 2024. 12. 4.
AI Llama3를 내 PC에서 무료로 사용하는 방법 (GPT4All & RAG) 출처: https://reviewinsight.blog/2024/06/20/llama3%EB%A5%BC-%EB%82%B4-pc%EC%97%90%EC%84%9C-%EB%AC%B4%EB%A3%8C%EB%A1%9C-%EC%82%AC%EC%9A%A9%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95-gpt4all-rag/이번 글은 오픈 소스 모델인 Llama3를 사용해 내 PC에서 ChatGPT와 같은 LLM을 사용하는 방법이며 검색증강생성 기술인 RAG를 사용해 내가 보유한 데이터 안에서 검색해서 답변을 해주는 방법에 대해 알아보려고 합니다.ChatGPT를 사용하다보면 아래와 같은 고민 생각을 하게 됩니다.1> 보안 유출이 걱정되는데 내 PC에서 LLM 모델을 돌릴 수는 없을까?2> 비즈니스 .. 2024. 12. 4.
GPT4All: 로컬 환경에서 안전하게 LLM 실행하기 출처: https://fornewchallenge.tistory.com/entry/%F0%9F%94%92GPT4All-%EB%A1%9C%EC%BB%AC-%ED%99%98%EA%B2%BD%EC%97%90%EC%84%9C-%EC%95%88%EC%A0%84%ED%95%98%EA%B2%8C-LLM-%EC%8B%A4%ED%96%89%ED%95%98%EA%B8%B0안녕하세요! 오늘은 로컬에서 대규모 언어 모델(LLM)을 실행할 수 있는 GPT4All 애플리케이션에 대해 알아보겠습니다. 최근 인공지능의 발전과 함께 LLM이 다양한 응용 분야에서 뛰어난 성능을 보여주고 있으며, 특히 자연어 처리(NLP) 분야에서 많은 주목을 받고 있지만, 대부분의 고성능 상용 LLM은 클라우드 기반으로 운영되며, 이는 데이터 프라이버.. 2024. 12. 4.
클라우드 환경 구축 구름 플랫폼 포럼 구름 플랫폼 포럼구름 플랫폼 구성 구름 OS 데비안 기반 개방형 운영체제로 안전한 업무환경을 위한 구름 플랫폼 운용 기반을 제공합니다. 공격면 제거(클라우드 업무환경에 필요한 SW 선별) 구름 플랫폼(보안프gooroom.krhttps://gooroom.kr/content/intro/ 2024. 11. 30.
AI 나만의 데이터로 GPT 활용-local LLM 구축 도전기 (2): Ollama-LLaMa 출처: https://medtalk.tistory.com/entry/%EB%82%98%EB%A7%8C%EC%9D%98-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%A1%9C-GPT-%ED%99%9C%EC%9A%A9-local-LLM-%EA%B5%AC%EC%B6%95-%EB%8F%84%EC%A0%84%EA%B8%B0-2-Ollama-LLaMa지난 번 글에서는 LangChain기반 AI 모델 구축의 일반적인 내용을 담았고 이번에는 실제 구축한 LLM 모델에 대해 설명하고자 한다. 이로서 인터넷 서버를 통하지 않고 local computer인 내 노트북, 내 데스크톱 PC에서 LLM을 구축하고 내가 쌓은 의학지식을 이용한 Retrieval Augmented Generation-기반 LLM 모델을 가.. 2024. 11. 30.