RPG

551. LiteLLM はIBM iには移植できない

■ AIゲートウェイとは

 
 
AIの処理構造は
①大規模言語モデル(LLM)
②推論サーバー

の二つから成り立っていると既に解説したが
IBM iがクラウドAIにデータ・ベース情報(ソース)を
提示したりAIからの結果をIBM iに反映しようとすると
IBM i上に②推論サーバーを置いて
クラウドのAIモデルと直接会話できるようにする必要がある。
このようにローカルに配置されてクラウドAIと
会話できる②推論サーバーのことを
AIゲートウェイと呼ぶ。

■ LiteLLM とは

AIゲートウェイの中で最も有名なものがLiteLLMと呼ばれる
Pythonで書かれたオープン・ソースである。
LiteLLMは100種類以上のAIモデルと会話が可能となっている。
このLiteLLMは1Pythonで書かれているオープン・ソースなので
IBM i のPASE環境で実行できる可能性がある。

しかし調べた結果LiteLLLMはPythonだけでなく
Rustという言語のモジュールも使用しており
導入や実行にはRustコンパイラーも必要であることがわかった。
このようなRustなどのオープン系のモジュールは
AIXには移植されているがIBM iのPASE環境用には
なく無理やり導入はできても
実行時のエラーになりVer7.1~7.5まであらゆる
方法でAIと相談しながらも試してみたが
IBM i PASE環境はAIXなどからも遅れていて
LiteLLMの導入および実行は不可能という結論に至った。

このIBM i PASE環境の遅れは米国IBMにも強く要望として
出しており米国IBMも受け止めたようである。

■ AIゲートウェイの開発

LiteLLM のIBM i Portingが無理という結論を受けて
(株)オフィスクアトロではPythonを使って
直接、AIモデルと対話することに成功した。
LiteLLMのようにいきなり100種類以上のAIモデルとの
会話はできないが主要なAIモデルとの
会話を現在進めており一方では
IBM iからこのAIゲートウェイとのインターフェースも
進めているところである。

■ 目標とするAIアシスタント

目標とするAIアシスタントはIBMユーザーが社内で
使っている既存の適用業務プログラムのどれかを
見本というかお手本として同じような100%社内仕様に
準じたプログラムをAIに生成させることである。
フリー・フォーマットを正義として押し付けるのではなく
社内向けの使いやすいわかりやすいソースを
目指すべきである。

..AIの時代はもう始まっている。AIを制したものだけが
次の時代を生き抜くことになる。
IBM iのAI最新情報は第79回技術ショート・セミナーで。