松尾研のLLM使うサンプルプログラム、色々削ったらトゥートできるくらい短くなった。
pythonでtorchとtransformesセットアップすれば最新のLLMが自宅で動かせるとか凄い時代た。

import torch, transformers
u="matsuo-lab/weblab-10b-instruction-sft"
m=transformers.AutoModelForCausalLM.from_pretrained(u,torch_dtype=torch.float16)
t=transformers.AutoTokenizer.from_pretrained(u,use_fast=False)
p=transformers.pipeline("text-generation",model=m,tokenizer=t,device=0)
print(p("プロンプト",max_length=160,pad_token_id=t.pad_token_id)[0]['generated_text'])