私はオープンソースのAIリーダーボード「whatmodel.sh」の開発を続けており、各AIラボが公表している公式ベンチマークスコアが、独立したテスターによる検証結果と比べて実際どうなのかを詳しく調べたいと考えました。
公開されている1,629件のベンチマーク結果をもとに、180モデル・103種類のベンチマークにおける611組の比較データを整理・照合しました。その結果、AIラボ公式発表のスコアは平均して6.4%高くなっており、
私はオープンソースのAIリーダーボード「whatmodel.sh」の開発を続けており、各AIラボが公表している公式ベンチマークスコアが、独立したテスターによる検証結果と比べて実際どうなのかを詳しく調べたいと考えました。
公開されている1,629件のベンチマーク結果をもとに、180モデル・103種類のベンチマークにおける611組の比較データを整理・照合しました。その結果、AIラボ公式発表のスコアは平均して6.4%高くなっており、