LLM을 더 빠르게 서빙하는 법, KV 캐싱 & Speculative Decoding
42 min
LLM을 더 빠르게 서빙하는 법 - KV 캐싱 - Paged Attention - vLLM - Speculative Decoding - OpenAI 프롬프트 캐싱 - OpenAI Predicted Outputs Physical intelligence, - AI 로봇 - Action 모델
AI 종사자들의 스터디 AI, 테크, 개발 관련 최신 소식, 연구 들을 공유합니다. 학생때부터 항상 스터디를 우리끼리만 하는 것이 아까워서 채널 개설했습니다.
42 min
LLM을 더 빠르게 서빙하는 법 - KV 캐싱 - Paged Attention - vLLM - Speculative Decoding - OpenAI 프롬프트 캐싱 - OpenAI Predicted Outputs Physical intelligence, - AI 로봇 - Action 모델
47 min
State of AI 2024년 보고서나 나왔습니다 NVIDIA의 독주체제는 계속 될 것인지. 앞으로는 어떤 AI 시장 변화가 있을 것인지. 살펴보죠.
42 min
LLM을 더 빠르게 서빙하는 법 - KV 캐싱 - Paged Attention - vLLM - Speculative Decoding - OpenAI 프롬프트 캐싱 - OpenAI Predicted Outputs Physical intelligence, - AI 로봇 - Action 모델
47 min
State of AI 2024년 보고서나 나왔습니다 NVIDIA의 독주체제는 계속 될 것인지. 앞으로는 어떤 AI 시장 변화가 있을 것인지. 살펴보죠.
–
0 ratings from members
Rate this podcast
Log in to rate and review the shows you listen to.
No reviews yet — be the first member to rate "수도리부트".
This podcast, its content and its artwork are not owned by, affiliated with, or endorsed by Castquire.
Keep listening
Up next