いちばん恐れていたことが、起きました
公開:
ページ更新:(案内・掲載情報を含む)
この記事の記載者は、musubi の開発・運営者のひ~さんです。公開責任は musubi.chat 運営事務局が負います。作った理由は別の文章にも書いています。
この記事で扱うこと
起きたこと:登録して間もないアカウントが、お金の話からLINEへ誘う、投資詐欺によく見られる勧誘をしていた。伏字をよける送り方でIDを送り、交換に応じてしまった利用者もいた。
運営の判断:当該アカウントの利用を制限した。伏字を機械的に強めると普通の会話まで窮屈になるため入口を塞ぐところまでにとどめ、通報とブロックによる自治を呼びかけることにした。
書いた人:musubi の開発・運営者本人。利用者からの報告と、規約に基づき保持された記録の確認にもとづく。
musubi を作る前から、ずっと恐れていたことがあります。匿名の場で知り合ったばかりの相手に、外の世界へ通じる線を渡してしまうこと。そして、その線の先で被害に遭うことです。
先日、それが実際に起きました。何が起きたのか。そして musubi が、なぜ最初からこの一点を一番の目標にして作られているのか。それを書いておきます。
何が起きたのか
登録して間もないあるアカウントが、短いあいだに何人もの方と会話をしていました。
最初に気づいたのは、ある利用者さんでした。その相手とのやりとりに違和感を覚えて、運営に知らせてくださったのです。日本語が少しぎこちない。話がなぜかお金のほうへ向かう。貯金はあるのかと聞かれる。こちらにお金の余裕がないと分かると、急に会話を切り上げて出ていく。
ここで一つ、はっきりお伝えしておきます。運営が皆さんの会話を普段から読むことはありません。運営が会話を確認するのは、通報やご報告があった時と、AIの自動判定で規約違反の疑いが出た時だけです。その場合も、確認と対応に必要な範囲にとどめています。
今回は、ご報告に加えて、AIが別の会話で外部への誘導を検知していました。私がその記録を確認したところ、このアカウントは別の方との会話で、資産の管理や「仕事の収入だけに頼らない暮らし」といった話を持ち出し、LINEへ移ろうと誘っていました。投資詐欺の勧誘によく見られる流れです。
musubi では、連絡先にあたるIDは伏字になります。このアカウントは、それをよけるような送り方でIDを送りつけていました。そしてお相手の中には、同じやり方で自分のIDを送り返し、交換に応じてしまった方がいました。
このアカウントには利用制限の措置を取りました。けれど、IDを交換してしまった方がその後LINEでどんなやりとりをしているのか、私には分かりません。追うこともできません。
外に出た線は、追えない
musubi が守れるのは、musubi の中にいる間だけです。
中にいる間なら、ブロックすればその相手とはもう当たりません。通報もできます。会話の記録も、規約の範囲で確認できます。でも、一度外に出た線には、運営の手は届きません。相手はもう、musubi を通さずにあなたへ連絡する手段を持っています。
そして、その先で何か起きた時に被害を負うのは、IDを渡してしまったご本人です。お金を失うのも、怖い思いをするのも、運営ではなくご本人です。
だから私は、これを musubi を作る前から一番の懸念として考えてきました。
最初から、これを潰すために作った
私は長いあいだ、別の2ショットチャットを使っていました。気が合った人とまた話すには、連絡先を交換するしかない場所でした。そこでは、グレーゾーンの行為をしていることを、当事者が自慢げに話してくることがありました。交換した先で何が行われているのかは、外からは誰にも見えません。知り合ったばかりの相手を、そういう場所へ連れ出せてしまう仕組みだったのです。
だから musubi を作る時、設計の第一の目標に置いたのは「連絡先を外に出させないこと」でした。人を集めることでも、便利にすることでもなく、まずそれです。
ただ、止めるだけでは不便なだけの場所になります。気が合った人とまた話したい、という気持ちは自然なものです。だから先に「待ち人」を作りました。お互いが「また話したいな」を押せば、連絡先がなくても次に呼び合えて、伝言も残せる。外に出なくても関係を続けられるようにしてから、IDやURLを伏字にしました。
伏字にしているのは、LINEなどのIDだけではありません。URLも同じです。URLが一つあれば、相手を別のサイトへ連れ出せます。その行き先は、musubi のような見守りの目が届かない場所かもしれませんし、投資話や登録を持ちかけるために用意されたページかもしれません。IDの交換を止めても、URLで外へ連れ出せてしまえば、守りに穴が空いたままになります。だから、どちらも同じように扱っています。
その一方で、普段の会話の中でサービスの名前を口にすることまでは止めていません。「Xで見た」「インスタの猫がかわいい」といった話は、そのまま相手に届きます。止めたいのは、知らない相手を外へ連れ出す線そのものです。皆さんの会話を縛ることではありません。
外に出る理由をなくしておけば、それでも外へ連れ出そうとする相手だけが浮き上がって見えます。今回のアカウントが、まさにそうでした。
防ぎきれなかったこと
正直に書きます。今回、伏字の仕組みだけでは防ぎきれませんでした。
では、もっと厳しくすればいいのか。私はそうは考えていません。それらしい文字の並びを片っ端から機械的に伏せていけば、普通の会話まで巻き込まれます。何でもない一言が伏字になり、文の意味が壊れ、話すこと自体が窮屈になります。それは、守りたかった場所を自分の手で壊すことです。
伏字が受け持つのは、外へ出る線の入口を塞ぐところまでです。その先は、仕組みだけでは守りきれません。
そこで musubi には、もう一つの守りがあります。利用者の皆さん自身の手です。
「おかしい」と思ったら
musubi には「通報」があります。短い期間に一定の数の通報が集まると、その相手はマッチングできなくなります。通報したことは、相手には知らされません。ブロックすれば、その相手とはもう当たりません。こちらも相手には伝わりません。
今回、最初に気づいてくださったのは利用者さんでした。仕組みより先に、人が気づいたのです。その気づきが通報という形で集まれば、運営が動く前に、相手はもう誰とも話せなくなります。
お金の話を持ち出される。外のサービスへ誘われる。IDを、普通ではない形で送ってくる。どれか一つでも「おかしい」と感じたら、ためらわずに通報とブロックを使ってください。
私が初めてチャットに触れたパソコン通信の時代、チャットは利用者同士で守り合う、自治の場所でした。musubi も、そういう場所でありたいと思っています。皆さんの一押しが、まだその相手に出会っていない誰かを守ります。
この話とつながる記事
- 「待ち人」を作った理由一期一会の musubi に、なぜ「また話せる仕組み」を作ったのか。運営者本人が書きました。
- 教えてくれないなら、と言われる前になぜ連絡先の交換を制限しているのか。
- 捕まえたのは、ほとんど無実の人だったなぜAIに会話を見せているのか。そして、ほとんど無実の人を捕まえていた話。
あわせて読む
なぜ musubi をつくったのか
パソコン通信の黎明期からチャット歴41年。子供が月10万円の電話代を飛ばしていた頃の話から、
musubi を作るまで。運営者本人が書いています。