프로그램 활용171 AI Ollama 설치와 운영 : 로컬 환경에서 대규모 언어 모델을 쉽게 실행하기 출처: https://blog.oriang.net/68최근 LLM 서비스들이 점점 더 널리 사용되고 있지만, 개인정보 보호와 비용 문제로 인해 고민하는 사용자들이 많습니다. 특히 폐쇄망 환경에서 오픈소스 기반 모델을 로컬 환경에서 실행할 수 있다면 이러한 고민들이 해소가 되겠죠. Ollama는 클라우드에 의존하지 않고, 개인 컴퓨터에서 대형 언어 모델을 직접 실행할 수 있는 솔루션으로, 인터넷 연결이 불필요한 폐쇄망에서도 동작할 수 있어 괜찮은 대안이 될 수 있습니다. 지금부터 공개된 LLM 모델들을 로컬에서 직접 실행하고 관리할 수 있도록 해주는 Ollama에 대해 알아보겠습니다. ollama 만을 활용해 llama 3.1 모델로 추론할 경우 아래와 같이 활용될 수 있습니다. 그런데 우리가 AI를.. 2024. 12. 5. ollama 설치 및 사용법 ollama 다운로드 ㅁ 설치 후 powershell에서#>ollama listㅁ 모델 다운로드 2024. 12. 5. AI 2024년에 시도해 볼 만한 상위 5가지 벡터 데이터베이스 출처: https://meetcody.ai/ko/blog/2024%EB%85%84%EC%97%90-%EC%8B%9C%EB%8F%84%ED%95%B4-%EB%B3%BC-%EB%A7%8C%ED%95%9C-%EC%83%81%EC%9C%84-5%EA%B0%80%EC%A7%80-%EB%B2%A1%ED%84%B0-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B2%A0%EC%9D%B4%EC%8A%A4/ 벡터화된 데이터베이스 또는 벡터 저장소라고도 하는 벡터 데이터베이스는 고차원 벡터의 효율적인 저장과 검색을 위해 만들어진 특수 데이터베이스 범주에 속합니다.데이터베이스 맥락에서 벡터는 다차원 공간 내의 위치를 나타내는 체계적인 일련의 숫자 값을 나타냅니다. 벡터의 각 구성 요소는 고유한 특징 또는 차원에 해.. 2024. 12. 4. AI [DB]. 벡터 데이터베이스(Vector database) ChromaDB 사용해보기 출처: https://velog.io/@acdongpgm/DB.-%EB%B2%A1%ED%84%B0-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B2%A0%EC%9D%B4%EC%8A%A4Vector-database-ChromaDB-%EC%82%AC%EC%9A%A9%ED%95%B4%EB%B3%B4%EA%B8%B0최근에 RAG, LangChain 등ChatGPT의 단점을 보완해주는 알고리즘, 프레임워크들이 등장함에 따라벡터 데이터 베이스(Vector Database)역시 주목을 받고 있다.What is Vector Database?벡터 DB는 벡터 데이터를 저장하고 검색하기 위한 데이터베이스입니다. 일반적인 데이터베이스는 텍스트, 숫자, 날짜 등의 형태의 데이터를 저장하고 검색하는 데에 사용되지만,.. 2024. 12. 4. AI Vector Database 구축 실습 Vector Database 실습 환경 구성Database 구축qdrant DBmilvus DBpostgres (pgvector)Dataset 다운로드Library 설치SQuAD v2.0 Dataset란?Embedding 함수 구성실습 수행Qdrantmilvuspgvector 실습 환경 구성 Database 구축qdrant DBdocker pull qdrant/qdrant docker run -p 6333:6333 -p 6334:6334 qdrant/qdrantBash복사milvus DBwget https://github.com/milvus-io/milvus/releases/download/v2.3.3/milvus-standalone-docker-compose.yml -O docker-compose... 2024. 12. 4. 이전 1 2 3 4 5 ··· 35 다음
