そりゃやる人出るよね〜
https://gigazine.net/news/20230410-samsung-chatgpt-security-leak/
GitHubに機密情報あげる人もいるし、コレはツールどうこうという話では無く根本的な教育の話な気がする。
でもまぁ会社としては規制する方向になっちゃううんだろうなぁ
「機械学習エンジニアのためのTransformers」読了。
わからない所は流し読みしつつ読んだけど、概要は理解できた気がする。
https://www.oreilly.co.jp/books/9784873119953/
魔法のように見えるGPTも仕組みとしては単純で、単語間のつながりをいろんな観点(文法とか文脈とか)で学習させ、そのモデルを使って入力された単語の次に来る確率が高い単語を出力してるだけだった。
文法とか文脈の観点(マルチヘッドアテンション)は明示的に教えるのではなく、大量のデータを学習する過程で自動で獲得するのホント面白い。
RTX4090でRWKVの14Bモデルが動かせるようになったので最新のモデルを試してみたところ、微妙に変な事言っているけど会話が成立するようになってきた。
大分賢くなってる
https://huggingface.co/BlinkDL/rwkv-4-raven/blob/main/RWKV-4-Raven-14B-v7-EngAndMore-20230404-ctx4096.pth
2026年までに10モデルか。
レクサス入れると現在RZ450e、bZ4Xの2モデル。
あと8モデルもほんとに出せるのかな
https://www3.nhk.or.jp/news/html/20230407/k10014031931000.html
Alexa用のChatGPTスキルもいくつか出てるけど何だかイマイチ。
簡単に作れそうだから自分で作って調整する方が良さそう
https://audiostart.info/2023/03/30/alexa-chat/