koruri/NGワードの摘み取り

koruri

NGワードの摘み取り †

koruri は自動文章収集botなので、好むもの好まざるものに限らず集めていきます。

大抵は文や単語と言ったレベルに砕く事で気にならなくなっていくのですが、それでもやっぱり不適切なワードと言うのが混ざることになります。簡単な所では顔文字のパーツとかmecabで認識できずへんなところで区切られた単語だとか、そういった意味をなさないもの。単語としては妥当だけれども、ランダムに組み合わせると攻撃性を持ってしまう単語だとか。現れると良い気分がしない忌み言葉だとか。

るりぺこ。が発するに不適切なワードというものがあります。

今のところそういう不適切なワードやゴミのは人間が目視で確認して弾くしかないと思います。実際に、るりぺこ。を公開するに当たり一番時間がかかった準備はこのNGワードの摘み取り作業でした。

そのように、人の手を介在しなければならない部分というのがあり、koruri やるりぺこ。は完全に自動で文章を生成してはいないことになります。ちょっとしたジレンマです。

なんとか簡略化できないか †

目視で除去作業を行っても、やっぱり何らかの形で表示されてしまうことがあるようです。

そういった場合、DMでるりぺこ。に指摘すると自動的にDBから削除するといったソーシャル的なチェック機構があってもよいのかもしれません。

単語チェック †

今のところ単語チェックは、作者個人用のチェックCGIページでちびちびと行っています。(未公開品)

WEBインタフェースで出て欲しくないワードにチェックを入れていくだけなのですが、WEBにしたことでタッチパネルスマートフォンでのチェックが快適に行えこれはこれで良い感じです。

表示されて欲しくないワードのチェックというよりは、へんなところで分断されているゴミ文字や記号の除去といった意味合いが強いところです。