AIに作業をさせると、量は増やせます。増えたぶん、それが合っているかを確かめる量も増えます。
そこを目で見て確かめようとして、同じ欄を3回続けて落としました。1回落とすたびにチェックリストを強くして、それでも3回落としました。
いま弊社が取っている形は、3段です。
- AIに作業をさせる
- 🔴 その結果は、目でもAIでも確かめない。数えられる形にして、プログラムに数えさせる
- 🔴 それでも最後に、人が実物を1回見る
⚠ 2番の「プログラム」は、AIのことではありません。決めた条件どおりに数えるだけの、短いプログラムのことです。AIがやった仕事をAIに確かめさせても、あまり意味がありません。同じ考え方で見るからです。
この記事の本題は3番です。プログラムに数えさせたあとに、穴が4つ残りました。その4つが、人の目をどこに置くべきかを教えてくれました。
材料：AIに作らせた資料で、3回、同じ欄を落としました
| 1回目 | ある資料で、決まった欄が空のまま出てきた | → チェックリストにその項目名を書き足した |
| 2回目 | 同じ欄が空だった | →「納品前にチェックリストを1行ずつ当てる」と書き足した |
| 3回目 | また同じ欄だった | → ここで、書き足すのをやめた |
🔴 さらに4件目も落ちていました。指摘されるまで、気づいていませんでした。
対策は毎回、正しい方向でした。項目を足すのも、1行ずつ当てると決めるのも、間違っていません。それでも同じ場所を落としました。
なぜ、目で見るチェックリストは効かないのか
原因は注意不足ではありません。「目で確認する」という方法そのものです。
確認する側に残るのは、「確認した」という記憶だけです。実際に1行ずつ照らし合わせたかどうかは、あとから区別がつきません。そして、本人はそれを自覚できません。
自覚できないので、反省しても次に同じことが起きます。対策の文言を強くしても再発します。強くした文言を読むのも、同じ目だからです。
🔴 そして、これはAIに確認させても同じです。「もう一度チェックリストを当ててください」と頼めば、AIは当てたと答えます。当てたかどうかを、こちらは確かめられません。作業をした側と確認をする側が同じなら、見落とす場所も同じです。
⭐ そこで、こう決めました。「同じ失敗が2回起きたら、3回目の文言を書かない。数えられる形にして、プログラムに数えさせる」
数える側は、頼まれたことを忘れず、飽きず、同じ条件で毎回同じ答えを返します。「当てたつもり」がありません。
それでも、プログラムに移したあとに穴が4つ残りました
穴① 数える網が、狭いことがある
ある一覧の「いちばん大きい番号」をプログラムに探させたら、次は200番だと出ました。実際には257番まで存在していました。
原因は、番号を拾う条件が3桁の途中までしか見ていなかったことです。プログラムは正しく動いていました。網が狭かっただけです。
⭐ だから、網を書いたら「拾った件数」と「実際にある件数」を突き合わせます。拾った件数だけを見ていると、網の外は永久に見えません。
穴② 嘘の警告は、その項目を丸ごと殺す
毎朝走る点検に、新しい検査を1つ足しました。ところが、その検査を書くときに参照した資料が、古いままでした。
結果、正常な状態を「欠けている」と判定する検査ができました。そのままなら、毎朝1〜3行、嘘の警告が出続けるところでした。
🔴 嘘の警告が続くと、人はその項目を見なくなります。「またあれか」で読み飛ばすようになり、本物が混ざった日に効きません。
⭐ 検査は、実際のデータで空振りが0になるまで詰めてから運用に載せます。空振りの多い検査は、無いよりも悪いです。「見ているつもりの項目」を1つ作ってしまうからです。
穴③ 異常のほうが、間違っていることがある
⭐ これは、この前に公開した記事2本の作業中に、実際に起きたことです。
公開直後に画像の大きさを測ったら「高さ0」と出ました。使っているテーマには、それに近い既知の問題があります。形が一致していたので、そのまま直しに行きかけました。
直す前に、すでに正しく表示されている別の記事を、同じ手順で測りました。同じ「0」でした。
壊れていたのは記事ではなく、測り方のほうでした。画面で見れば、画像は正しく出ていました。
🔴 知っている失敗の形に似ていると、確かめずに当てはめてしまいます。だから、異常が出たら、直す前に「正常だと分かっているもの」を同じ手順で測ります。両方に出るなら、異常なのは測り方です。
穴④ 🔴 基準そのものが間違っていると、その間違いが正確に量産される
これがいちばん深い穴でした。
自分の電子書籍を出すとき、縦書きの中で半角の英数字が横に寝てしまうのを直す作業がありました。どこを直すかの基準は、手元の手順書に書いてありました。「1桁の数字は寝ない。2桁以上が寝る」と。
その基準でプログラムに拾わせ、148か所を直しました。検品も通りました。そして「完成しました」と報告しました。
🔴 ところが、河内が実機の画面を写真で見て、1桁の数字が寝ていることに気づきました。
中身を開いて確かめたら、半角の数字はすべて寝ていました。1桁だけ例外ということはありませんでした。手順書の記述が誤っていたのです。しかもその誤りは「実測」として書かれており、6日間そのまま信じられていました。
直しは148か所から302か所へ増えました。
⚠ プログラムは、何も間違えていません。間違った基準を、正確に、大量に適用しただけです。そして検品も通ります。検品は同じ基準で書かれているからです。
だから、人の目は無くなりません。置き場所が変わります
プログラムに数えさせる目的は、人が見る量を減らすことではありません。人の目を、チェックリストの項目から「実物」へ移すことです。
上の縦書きの件も、見つけたのはチェックリストではありませんでした。実機の画面を写真で見た人です。プログラムの検査は、その時点で全部通っていました。
同じことが、別の場所でも起きています。
- 広告記事380件を一括で修正したとき、2日で見落としが9件出ました。🔴 そのうち6件は、人が見つけたものです。だから、実際に出た9件をそのまま検査項目に作り替えました。机の上で考えた項目ではないので、抜けにくくなります
- 動画64本の公開予約を入れたとき、検査は全部通っていました（予定と実物の合致64本・食い違い0・タグの数・余分な空白0件・公開設定は64本とも意図どおり）。それでも、題と中身が違うものが2本ありました。見つかったのは、画面の中ではなく手元のファイルと突き合わせたときです
⭐ 問い直す一言は、これです。「何を数えたか」ではなく「何を数えていないか」。
足し算が合っていても、捕まりません
ある資料に、画像の枚数を「約80枚」と書きました。実際は129枚でした。
🔴 厄介なのは、書いたときの足し算が合っていたことです。23枚＋1枚＋56枚＝80枚。計算は正しいのです。
落ちていたのは、ファイル名の付き方が2通りあって、片方が視野に入っていなかったことでした。自分が見た範囲の中では辻褄が合うので、検算しても捕まりません。
⭐ だから、件数を文書に書く前に、数える命令を1回打って、その数を写します。頭の中の足し算を書きません。
いま使っている形
- 同じ失敗が2回起きたら、3回目の文言を書かない。数えられる形にしてプログラムへ移す
- 数える網も点検する。拾った件数と、実際にある件数を突き合わせる
- 空振りが0になるまで詰めてから運用に載せる。嘘の警告は、その項目を殺す
- 異常が出たら、直す前に「正常なもの」を同じ手順で測る
- 🔴 最後に、人が実物を見る工程を残す。プログラムが見ているのは基準であって、実物ではない
- 実際に出た見落としを、そのまま検査項目に変える。机の上で作らない
- 件数は、書く前に数える
この話の限界
⚠ この7つでも、落ちるときは落ちます。落ちる回数を減らした形であって、0にした形ではありません。
⚠ ここに挙げたのは「見つかったもの」だけです。見つかっていないものは数えようがありません。実際にはもっとあると考えています。
🔴 そして、見つけても直せないことがあります。
ある告知文で、使う言葉が本文とずれていないかをプログラムで数えました。本文では16回ある言い方が、告知では別の言い方になっていました。告知文は8か所直しました。
ただし、直せたのはそこまででした。すでに投稿したもの2本と、予約を入れて動きだしていたもの11本は、ずれたまま残りました。
⭐ 検査は、出す前に回すから意味があります。出したあとに見つけても、直せる先は限られます。
弊社の考え方
AIを使うと、作業の量は増やせます。増えるぶん、確かめる量も増えます。そこを目で見ようとすると、いちばん先に壊れるのが確認の工程です。
ですので、「AIに何をさせるか」と同じ重さで、「その結果をどう数えるか」を先に決めます。
そして、数え終わったあとに、人が実物を1回見ます。プログラムが見ているのは基準であって、実物ではないからです。基準が間違っていれば、その間違いを正確に量産して、検査も通します。
関連する話を2本書いています（→ 記事を1本出すまでに、17の段があります／商品が変わると、調べたことは使えません）。ご相談はインターネットマーケティングのページ、あるいはお問い合わせからどうぞ。
