2024年7月26日 JIMUC総会　Watson分科会活動報告

Kazuki Masuda

2024年11月10日読了時間: 1分

https://www.slideshare.net/slideshow/jimuc-watson-2024-07-26-granite-8b-japanese-vs-gpt-4/273156557

- **活動日程と方法**

- 9月から7月まで毎月第3水曜日にZoomで開催

- 2月には新春オープンセミナーを実施

- **主な活動内容**

- テーマ討議、テストシート配布と分担、テスト結果の集計

- プロンプト改善と再テストの実施

- Granite日本語対応版のリリースと評価

- **LLM（大規模言語モデル）の動向**

- GPT-4 Turbo、Google Gemini、GPT4oの発表

- Graniteの日本語対応が遅れている

- Chatbot arenaでの評価結果（GPT-4が首位、Graniteはランク外）

- **2023年度のテーマ**

- IBM Granite vs OpenAI GPT-4の比較

- RAG（Retrieval-Augmented Generation）の導入と評価

- **技術的な課題と改善点**

- プロンプトのフォーマット調整、ハイパーパラメーターの調整

- 例を与えることでLLMの性能向上を図る

- Graniteの日本語対応に関する課題と改善提案

- **テスト結果**

- GPT-4とGraniteの比較テスト結果（GPT-4が高評価）

- Graniteの課題（不適切な回答、ハルシネーションなど）の解消

- **2024年度の活動方針**

- Watson分科会から生成AI分科会への移行

- Azure OpenAI ServiceのLLMを用いた技術検証

- RAGによる複合機能チャットボットの開発

- 生成系AIと既存アプリケーションの連動に関する課題解決

- **連絡先**

- Elementum Consulting LLC

Elementum Consulting