生成AIに任せていいか迷ったら、答えを知っている問題を1つ出す。当てたら任せる
先に結論です。生成AIに新しい仕事を任せるかどうかは、雰囲気で決めなくてよい。
こちらが答えを知っている問題を1つ、答えを伏せて出す。当てたら任せる。外したら、まだ任せない。
今年の7月に初めてこのやり方で決め、その後も別の仕事で同じ形で試しました。その7月の話です。
足すのは得意で、消すのは苦手
私は奈良で、従業員が私一人の会社をやっています。お客さまの会社とは月に一度ほど会議があり、議事録をもとに、案件ごとに1ページの一覧を生成AIに更新させています。今決まっていること、まだ決まっていないこと、次に話すこと。
更新のやり方は簡単で、記録を置いているサービスの中で、議事録と一覧を渡して「更新して」と頼むだけです。ところが何社かで試すと、同じことが毎回起きました。新しく決まったことを足すのは正確なのに、古くなった行を消すのが甘い。
決着した論点が残る。置き換わった決まりの古いほうが残る。前提がなくなった決まりも、そのまま。
生成AIの癖として、私はそう受け取りました。
頼み方を変えれば見つかるのか、分からなかった
そこで、消し残しを探すだけの仕事を、更新とは別に頼むことにしました。1ページ全体を読んで、「これは古いのでは」という行を見つけ、私に聞いてくる仕事です。
迷ったのは、それを生成AIに任せていいかでした。更新のついでに「古い行はないか」と聞いても、見つけられなかった相手です。同じ生成AIに同じ1ページを渡して、頼み方を変えるだけで今度は見つかるのか。
できそうかどうかを、私は雰囲気でしか言えませんでした。
答えを知っている問題を、答えを伏せて出す
たまたま手元に、消し残しが2つ残っている一覧がありました。私は答えを知っていて、まだ直していない。これを直さずに、そのまま試験問題にしました。
消し残しの場所は教えない。点検の頼み方の文を渡して、古くなっている行を挙げてもらう。
2つとも挙げてきたら合格、1つでも落としたら不合格。入社試験のようなものです。
このとき私が生成AIに言ったのは、「今全部をやるのは非効率です。まずは１ページから試すべきです」でした。全部の案件を一度に試すこともできましたが、1ページで合否が出るなら、それで足ります。
合格。ただし、満点ではなかった
結果は、こうでした。
私が答えを知っていた消し残し2つは、両方とも挙げてきた。合格
私も気づいていなかった消し残しを、もう1つ見つけた
間違いもあった。期限つきで今も生きている決まりを、「古い」と判定した
間違えたのは、どちらも「一回限りの日程が書いてあるが、まだ期限が来ていない」行でした。生きているかどうかは私にしか分からない。だから、生成AIに渡す頼み方の文に「期限つきの決まりは、期限が来るまで残す」と1行足しました。
変わったのは道具ではなく、仕事の切り方
更新のついでには見つけられなかったものを、探すだけの仕事に切り出して頼むと、同じ生成AIが見つけました。道具が変わったのではなく、頼む仕事の切り方が変わっただけです。
私の仕事では、どの生成AIを使うかで決まることより、仕事をどう切って渡すかで決まることのほうが多い。この試験は、それを目の前で見せてくれました。
最初は、1ページを貼って頼んだだけ
この消し残し探しは、今は毎週月曜の朝に自動で動いています。進めている案件の一覧を全部読み、古そうな行を見つけると、「この行は消してよいですか」という質問の形で私に届く。私は、はい・いいえで答えるだけです。
ただ、自動にしたのはあとの話です。最初の試験は、1ページを生成AIに貼って頼んだだけでした。普段使っている生成AIの画面で、同じことができます。
つまずきも書いておきます
一つ目は、さっきの間違いです。生成AIの判定をそのまま通していたら、まだ生きている決まりを消していました。だから今も、消すかどうかの最後の答えは私が出しています。
見つけるのは生成AI、消すのは人。この線は、試験の結果から引きました。
二つ目は、試験問題が手元にないと試せないことです。今回は、たまたま直していない消し残しがあったので試せました。それ以来、「あとで答え合わせができるもの」を見つけたら、すぐ直さずに1つ取っておくようにしています。
次に何かを任せたくなったとき、それが次の試験問題です。
向くのは、答えが1つに決まる仕事
注文書と請求書の突き合わせ、問い合わせの仕分け、古い記述の洗い出し。合っているか間違っているかがはっきり言えるものから始めると、合否が引けます。見積や文章のように「作る」仕事は、何を合格とするかが決めにくいので、最初の1問には向きません。
外したら、まだ任せない。そのときは、仕事をもう少し小さく切って、もう1問出します。私の場合も、更新のついでではだめで、探すだけに切ったら通りました。
社員のいる会社なら、答えを知っているのは社長ではなく、その仕事をしている人です。問題を出すのも、合否を決めるのも、その人がいい。
どの仕事で、どの問題を出すかは、会社ごとに違います。それを一緒に選ぶのが、私の仕事です。
伺って、目の前で1問出してみる。帰るとき、試した問題と結果が手元に残ります。30分の無料相談（オンライン）でも、1問なら出せます。
任せるかどうかは、雰囲気ではなく、1問の合否で決める。それだけです。
