RT

WebGPU使ってブラウザ内だけでVicunaを動かすWeb LLM、速い！まだブラウザ対応は限定的だけど、流石GPUアクセラレーションかかってるだけあってLlama.cppとかより明らかにサクサク返答返ってくる mlc.ai/web-llm/#chat-… pic.twitter.com/0EEI45cp1q

https://twitter.com/needle/status/1647893760376971269?s=61&t=ALaBXfqI0BmIiYTmFKldKg