最初に出くわしたのがLiteLLM、つまり軽いLLMである。
　
　
AIの構造は
①LLM (=大規模言語構造) と
②AIモデル
のふたつであるが両方ともローカル環境に入れようとすると
②AIモデルには GPU と呼ばれる超高速処理のCPUが
必要となりこれはPCサーバーでも100万円以上する高価なものである。

■ LiteLLMの登場

　
　
そこでLLMでもLiteLLMと呼ばれる比較的軽量なLLMが発表された。
LiteLLMはオープン系の言語で開発されたLLMであるので
IBM i PASE環境への導入を試みた。
LiteLLMがもしIBM i に導入されて稼働することができたら
世界中のどのAIモデルが相手であってもIBM iと会話することが
できるようになる。
しかしLiteLLMはオープン・ソースであるため多くのオープン系の
ソースでコンパイルされている。
IBM i PASE環境に導入できるものもあれば導入できないものもあった。
IBM AIXをサポートルしているものであれば PASE環境にも
導入できたはずであるがAIと協力して相当試してみたが
IBM i OS 7.1～7.6をすべて試しても成功しなかった。

■ ローカルLLM

　
　
次に米国IBM のSEが llamaというローカルLLMなるものを
見つけてきてIBM i PASE環境に導入して稼働させることに
成功したというニュースを見つけた。
ただしIBM SEは導入途中で多くのメモリー・オーバーや
エラーにぶつかったが回避する方法も公開していたが
実際のエラーはそれ以外も多くてあまり役には立たなかった。
しかし最終的にはllamaというローカルLLMをVer7.3で
稼働させることに成功した。
しかしこのローカルLLMに対応しているAIモデルの数が
あまりにも少ない。
動作させたところまずかなり動作が遅い。
「こんにちは」とAI,に声をかけると返ってくるのには
10分以上かかる。
おまけに日本語は支離滅裂でIBM iを知ってるか?と聞くと
「IBM iとは何ですか?」という相当オバカなAIであった。
返事をするのに10分以上かかることは米国SEも
紹介してはいなかった。

いずれにせよ期待したローカルLLMもLiteLLM同様
実用レベルではなかった。