분류 전체보기 (94) 썸네일형 리스트형 LLM - NVIDIA GPU 종류 ✔️ 인공지능 학습과 추론에 NVIDIA GPU를 많이 사용 하는 이유NVIDIA가 병렬 컴퓨팅 플랫폼인 CUDA를 개발 - AI 가속에 대한 조기 투자대부분의 AI/ML 프레임워크(TensorFlow, PyTorch)가 CUDA에 최적화됨 - 소프트웨어 생태계독적에 가까운 시장 점유율NVIDIA의 대표적인 GPURTX 3090RTX 4090RTX A5000RTX A6000A100H100특징 비교하드웨어 사양 보다 AI 학습에 관련된 특징을 중심으로 비교특징RTX 3090RTX 4090RTX A5000RTX A6000A100H100메모리24GB GDDR6X24GB GDDR6X24GB GDDR648GB GDDR640GB HBM2 / 80GB HBM2e80GB HBM3연산(FP32)35.6 TFLOPS82... OpenAI GPTs - 02. GPT Action 연습 실제 API 서버를 구축하고 GPT Action을 사용하여 API 호출을 실행하는 방법을 연습합니다. GitHub: https://github.com/just-record/gpts_practice_202410 - 전체 코드연습 내용도시의 현재 날씨 정보 가져오기 - get방식도시의 현재 날씨 정보 가져오기 - post방식도시의 현재 날씨 정보 가져오기 - API Key 사용하여 인증설치# 터미널에서 실행pip install fastapipip install uvicornpip request1. Get 방식API 서버 구축 - Getapp.py: FastAPI 사용from fastapi import FastAPI, HTTPExceptionimport uvicornapp = FastAPI(title="Sim.. OpenAI GPTs - 01. GPT Action GPTs란https://openai.com/index/introducing-gpts/ChatGPT의 맞춤형 버전: 사용자가 특정 목적에 맞게 커스터마이징 가능GPT 빌더나 편집기를 통해 쉽게 자신만의 GPTs를 만들고 편집 가능instructions(지침), extra knowledge(추가지식), and any combination of skills(다양한 기능)을 결합 가능다른사람과 공유 가능사용법✔️ 다른 블로그 포스트 참조https://spartacodingclub.kr/blog/how-to-use-gptshttps://www.magicaiprompts.com/docs/gpts-complete-guide/how-to-use-gpts/GPT Actionhttps://platform.openai.co.. Python - asser assert란조건을 테스트하는 디버깅 문: 운영환경에서는 사용 하지 않음조건이 참이면 정상적으로 실행이 계속됩니다.거짓이면 AssertionError가 발생✔️ 사용 사례함수 인수 또는 출력이 유효한지 확인프로그램을 실행하는 동안 특정 조건이 사실인지 확인문장 구조✔️ 기본 문장assert condition ✔️ 메시지 포함assert condition, message예제 코드✔️ 조건이 참이면 정상적으로 실행x = 10assert x > 0, "x must be positive" ✔️ 조건이 거짓이면 AssertionError 발생x = -10assert x > 0, "x must be positive"실행 결과Traceback (most recent call last): File "assert.py.. vLLM - 02. vLLM 연습하기 기본 사용을 시작으로 하여 생각나는 대로 연습해 보았습니다.기본 사용기본적인 사용 방법으로 시작from vllm import LLM, SamplingParams# Initialize the model# llm = LLM(model="facebook/opt-125m")llm = LLM(model="gpt2")# Set up the promptprompt = "Tell me a short story about a robot learning to paint:"# Set up sampling parameterssampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=1000)# Generate the outputoutput = llm.ge.. vLLM - 01. Getting Started vLLM란?Github: https://github.com/vllm-project/vllm?tab=readme-ov-fileDocumentation: https://docs.vllm.ai/en/stable/대규모 언어 모델(LLM)의 효율적인 실행을 위한 오픈소스 시스템입메모리 사용 최적화와 고성능 추론을 목표로 설계되었습니다.기존보다 더 큰 언어 모델을 적은 자원으로도 실행할 수 있으며, 빠른 응답 속도를 가짐✔️ PagedAttentionvLLM의 핵심 기술 중 하나로 GPU 메모리를 작은 블록으로 나누어 관리불필요한 메모리 할당을 줄이고, 동시에 여러 요청을 처리설치✔️ 설치 옵션Installation (기본 설치): 일반적인 GPU 환경에서의 기본 설치 방법. CUDA가 설치된 환경을 위한 것.I.. Gradio - 01. Getting Started Gradio란?https://www.gradio.app/https://www.gradio.app/guides/quickstart오픈소스 Python 패키지머신러닝 모델, API 또는 임의의 Python 함수에 대한 데모나 웹 애플리케이션을 신속하게 구축내장된 공유 기능으로 몇 초 만에 공개 링크 생성JavaScript, CSS, 또는 웹 호스팅 경험이 필요 없음설치Python 3.10 또는 그 이상이 필요가상환경에서 설치 권장: https://www.gradio.app/main/guides/installing-gradio-in-a-virtual-environment# 가상환경 생성 - linux# python -m venv gradio-env# source gradio-env/bin/activatepip.. Ollama - 01. 설치 및 기본 사용 Ollama란?https://ollama.com/ ollama는 대규모 언어 모델(Large Language Models, LLMs)을 로컬 환경에서 쉽게 실행할 수 있게 해주는 오픈소스 프레임워크입니다. 이 도구는 복잡한 AI 모델을 개인용 컴퓨터나 서버에서 간편하게 구동할 수 있도록 설계되었습니다. ✔️ 주요 목적LLMs의 접근성 향상로컬 환경에서의 AI 모델 실행 간소화다양한 AI 모델의 쉬운 관리 및 사용✔️ ollama의 특징과 장점로컬 실행인터넷 연결 없이 모델 사용 가능데이터 프라이버시 및 보안 강화지연 시간 감소로 빠른 응답 속도사용 편의성간단한 명령어로 모델 다운로드 및 실행복잡한 설정 없이 바로 사용 가능사용자 친화적인 CLI 인터페이스다양한 모델 지원:Llama 3.1, Phi 3, .. 이전 1 2 3 4 ··· 12 다음