설치 (5) 썸네일형 리스트형 vLLM - 01. Getting Started vLLM란?Github: https://github.com/vllm-project/vllm?tab=readme-ov-fileDocumentation: https://docs.vllm.ai/en/stable/대규모 언어 모델(LLM)의 효율적인 실행을 위한 오픈소스 시스템입메모리 사용 최적화와 고성능 추론을 목표로 설계되었습니다.기존보다 더 큰 언어 모델을 적은 자원으로도 실행할 수 있으며, 빠른 응답 속도를 가짐✔️ PagedAttentionvLLM의 핵심 기술 중 하나로 GPU 메모리를 작은 블록으로 나누어 관리불필요한 메모리 할당을 줄이고, 동시에 여러 요청을 처리설치✔️ 설치 옵션Installation (기본 설치): 일반적인 GPU 환경에서의 기본 설치 방법. CUDA가 설치된 환경을 위한 것.I.. Gradio - 01. Getting Started Gradio란?https://www.gradio.app/https://www.gradio.app/guides/quickstart오픈소스 Python 패키지머신러닝 모델, API 또는 임의의 Python 함수에 대한 데모나 웹 애플리케이션을 신속하게 구축내장된 공유 기능으로 몇 초 만에 공개 링크 생성JavaScript, CSS, 또는 웹 호스팅 경험이 필요 없음설치Python 3.10 또는 그 이상이 필요가상환경에서 설치 권장: https://www.gradio.app/main/guides/installing-gradio-in-a-virtual-environment# 가상환경 생성 - linux# python -m venv gradio-env# source gradio-env/bin/activatepip.. Ollama - 01. 설치 및 기본 사용 Ollama란?https://ollama.com/ ollama는 대규모 언어 모델(Large Language Models, LLMs)을 로컬 환경에서 쉽게 실행할 수 있게 해주는 오픈소스 프레임워크입니다. 이 도구는 복잡한 AI 모델을 개인용 컴퓨터나 서버에서 간편하게 구동할 수 있도록 설계되었습니다. ✔️ 주요 목적LLMs의 접근성 향상로컬 환경에서의 AI 모델 실행 간소화다양한 AI 모델의 쉬운 관리 및 사용✔️ ollama의 특징과 장점로컬 실행인터넷 연결 없이 모델 사용 가능데이터 프라이버시 및 보안 강화지연 시간 감소로 빠른 응답 속도사용 편의성간단한 명령어로 모델 다운로드 및 실행복잡한 설정 없이 바로 사용 가능사용자 친화적인 CLI 인터페이스다양한 모델 지원:Llama 3.1, Phi 3, .. PostgreSQL - 03 (설치 - ubuntu) 설치 환경 설치는 2023년 12월 25일 기준으로 진행하였습니다. ubuntu 버전 확인 lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 20.04.3 LTS Release: 20.04 Codename: focal 최종 설치 될 PostgreSQL 버전(설치 후 확인) psql --version psql (PostgreSQL) 12.16 (Ubuntu 12.16-0ubuntu0.20.04.1) 패키지 최신화 패키지 목록 업데이트 패키지 목록을 업데이트 합니다. sudo apt update Hit:1 http://repo.ncloud.com/ubuntu focal InRelease Get:2 ht.. PostgreSQL - 01 (설치 - Windows) 설치 프로그램 다운로드 PostgreSQL 공식 사이트에 접속합니다. 설치 시점은 2023년 12월 24일 입니다. 저와 화면이 다를 수 있습니다. Download 버튼을 클릭합니다. Windows를 클릭합니다. Download the installer를 클릭합니다. Windows x86-64의 최신 버전 16.1을 설치 하기 위해 노란형광펜 부분을 클릭합니다. 다운로드 페이지로 이동되면서 파일이 다운로드 됩니다. 설치 탐색기의 다운로드 폴더로 이동하여 postgresql-16.1-1-windows-x64.exe 파일을 실행합니다. 설치 프로그램이 실행 되면 예를 클릭하여 설치를 진행 합니다. Next를 클릭합니다. 설치 디렉토리를 설정 합니다. 저는 초기값을 사용 하였습니다. Next를 클릭합니다. 설.. 이전 1 다음
