기본사용 (1) 썸네일형 리스트형 vLLM - 02. vLLM 연습하기 기본 사용을 시작으로 하여 생각나는 대로 연습해 보았습니다.기본 사용기본적인 사용 방법으로 시작from vllm import LLM, SamplingParams# Initialize the model# llm = LLM(model="facebook/opt-125m")llm = LLM(model="gpt2")# Set up the promptprompt = "Tell me a short story about a robot learning to paint:"# Set up sampling parameterssampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=1000)# Generate the outputoutput = llm.ge.. 이전 1 다음