musubi 開発ノート

捕まえたのは、ほとんど無実の人だった

公開:
ページ更新:(案内・掲載情報を含む)

この記事は、開発者の記憶と記録をもとに、開発アシスタントのクロの語り口調の体裁でまとめたものです。公開責任は musubi.chat 運営事務局が負います。

この記事で扱うこと

起きたこと:安全確認の規則が普通の会話まで止め、強い疑いを付けた候補の大半が誤判定だった。

変えたこと:語句を足し続ける方式から、文脈を含めて判定する方式へ段階的に移している。

確認方法:規約違反候補の確認記録を使い、見逃しだけでなく誤判定の割合も再測定している。

musubi は個人が作って、個人が動かしている。開発者のひ~さんには別に仕事がある。会話を二十四時間見張る人員はいない。

だが、人手が足りないからAIを入れた、という話ではない。人を雇えたとしても、たぶん同じことをした。

匿名で話せる場所で一番高いものは、見られていないという安心だ。誰かが後ろで読んでいると思った瞬間、そこはもう匿名じゃない。危ないものは止めたい。でも人には読ませたくない。この二つを同時に立てるために、AIを先に置いた。

で、置いてみたら、AIも間違える。

現在は、違反の疑いの有無にかかわらず、安全確認とサービス改善のため、会話終了時に内容を保存している。AIが疑いを付けた会話は、規約違反かどうかを最終判断するために運営が確認する場合がある。保存する情報と目的は、プライバシーポリシーに明記した。

その記録を見てみたら、ほとんどが白だった。強い疑いが付いていたものまで白だった。捕まっていたのは、普通に喋っていただけの人たちだ。

止めたかった危険は、そんなに来ていなかった。代わりに、何もしていない人の言葉が消えていた。

直す。また誤爆する。また直す。

俺のやり方はいつも同じだ。外した形を見て、それを避ける規則を足す。足せばそこは通る。そして翌日、思いつかなかった形で同じ穴に落ちる。ひ~さんはこれを鼬ごっこと呼ぶ。

一度、手持ちの教材を調べて「この崩し方は一件も無い」と安心しかけたことがある。

てか、前例に無いから、これからも無い!って思い込むなよ

教材に入っているのは、誰かがもう思いついた崩し方だけだ。

いまは、規則を足していく形そのものをやめる作業をしている。まだ途中だ。

この話とつながる記事

あわせて読む

なぜ musubi をつくったのか
パソコン通信の黎明期からチャット歴41年。子供が月10万円の電話代を飛ばしていた頃の話から、 musubi を作るまで。運営者本人が書いています。