인공지능 (19) 썸네일형 리스트형 LLM - NVIDIA GPU 종류 ✔️ 인공지능 학습과 추론에 NVIDIA GPU를 많이 사용 하는 이유NVIDIA가 병렬 컴퓨팅 플랫폼인 CUDA를 개발 - AI 가속에 대한 조기 투자대부분의 AI/ML 프레임워크(TensorFlow, PyTorch)가 CUDA에 최적화됨 - 소프트웨어 생태계독적에 가까운 시장 점유율NVIDIA의 대표적인 GPURTX 3090RTX 4090RTX A5000RTX A6000A100H100특징 비교하드웨어 사양 보다 AI 학습에 관련된 특징을 중심으로 비교특징RTX 3090RTX 4090RTX A5000RTX A6000A100H100메모리24GB GDDR6X24GB GDDR6X24GB GDDR648GB GDDR640GB HBM2 / 80GB HBM2e80GB HBM3연산(FP32)35.6 TFLOPS82... OpenAI GPTs - 02. GPT Action 연습 실제 API 서버를 구축하고 GPT Action을 사용하여 API 호출을 실행하는 방법을 연습합니다. GitHub: https://github.com/just-record/gpts_practice_202410 - 전체 코드연습 내용도시의 현재 날씨 정보 가져오기 - get방식도시의 현재 날씨 정보 가져오기 - post방식도시의 현재 날씨 정보 가져오기 - API Key 사용하여 인증설치# 터미널에서 실행pip install fastapipip install uvicornpip request1. Get 방식API 서버 구축 - Getapp.py: FastAPI 사용from fastapi import FastAPI, HTTPExceptionimport uvicornapp = FastAPI(title="Sim.. OpenAI GPTs - 01. GPT Action GPTs란https://openai.com/index/introducing-gpts/ChatGPT의 맞춤형 버전: 사용자가 특정 목적에 맞게 커스터마이징 가능GPT 빌더나 편집기를 통해 쉽게 자신만의 GPTs를 만들고 편집 가능instructions(지침), extra knowledge(추가지식), and any combination of skills(다양한 기능)을 결합 가능다른사람과 공유 가능사용법✔️ 다른 블로그 포스트 참조https://spartacodingclub.kr/blog/how-to-use-gptshttps://www.magicaiprompts.com/docs/gpts-complete-guide/how-to-use-gpts/GPT Actionhttps://platform.openai.co.. vLLM - 02. vLLM 연습하기 기본 사용을 시작으로 하여 생각나는 대로 연습해 보았습니다.기본 사용기본적인 사용 방법으로 시작from vllm import LLM, SamplingParams# Initialize the model# llm = LLM(model="facebook/opt-125m")llm = LLM(model="gpt2")# Set up the promptprompt = "Tell me a short story about a robot learning to paint:"# Set up sampling parameterssampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=1000)# Generate the outputoutput = llm.ge.. vLLM - 01. Getting Started vLLM란?Github: https://github.com/vllm-project/vllm?tab=readme-ov-fileDocumentation: https://docs.vllm.ai/en/stable/대규모 언어 모델(LLM)의 효율적인 실행을 위한 오픈소스 시스템입메모리 사용 최적화와 고성능 추론을 목표로 설계되었습니다.기존보다 더 큰 언어 모델을 적은 자원으로도 실행할 수 있으며, 빠른 응답 속도를 가짐✔️ PagedAttentionvLLM의 핵심 기술 중 하나로 GPU 메모리를 작은 블록으로 나누어 관리불필요한 메모리 할당을 줄이고, 동시에 여러 요청을 처리설치✔️ 설치 옵션Installation (기본 설치): 일반적인 GPU 환경에서의 기본 설치 방법. CUDA가 설치된 환경을 위한 것.I.. Ollama - 01. 설치 및 기본 사용 Ollama란?https://ollama.com/ ollama는 대규모 언어 모델(Large Language Models, LLMs)을 로컬 환경에서 쉽게 실행할 수 있게 해주는 오픈소스 프레임워크입니다. 이 도구는 복잡한 AI 모델을 개인용 컴퓨터나 서버에서 간편하게 구동할 수 있도록 설계되었습니다. ✔️ 주요 목적LLMs의 접근성 향상로컬 환경에서의 AI 모델 실행 간소화다양한 AI 모델의 쉬운 관리 및 사용✔️ ollama의 특징과 장점로컬 실행인터넷 연결 없이 모델 사용 가능데이터 프라이버시 및 보안 강화지연 시간 감소로 빠른 응답 속도사용 편의성간단한 명령어로 모델 다운로드 및 실행복잡한 설정 없이 바로 사용 가능사용자 친화적인 CLI 인터페이스다양한 모델 지원:Llama 3.1, Phi 3, .. Hugging Face - 02. Transformers - AutoClass Transformer공식문서: https://huggingface.co/docs/transformers/index위의 공식 문서를 연습 한 곳: https://github.com/just-record/huggingface_practice 🤗 Transformers는 최신의 사전 훈련된 모델을 쉽게 다운로드하고 훈련할 수 있는 API와 도구를 제공합니다.설치pip install transformers, datasets, evaluate, acceleratepip install torch # PyTorchpip install tensorflow # TensorFlowAutoClasshttps://huggingface.co/docs/transformers/autoclass_tutorial Aut.. Hugging Face - 01. Transformers - Pipelines Transformer공식문서: https://huggingface.co/docs/transformers/index위의 공식 문서를 연습 한 곳: https://github.com/just-record/huggingface_practice 🤗 Transformers는 최신의 사전 훈련된 모델을 쉽게 다운로드하고 훈련할 수 있는 API와 도구를 제공합니다.설치pip install transformers, datasets, evaluate, acceleratepip install torch # PyTorchpip install tensorflow # TensorFlowPipelinehttps://huggingface.co/docs/transformers/v4.44.0/en/main_classes.. 이전 1 2 3 다음