複雑な会話ってどのような会話なの？

今回は複雑さとして下記の3つを選定してみよう

・内容が複雑（背景と意図を汲む必要がある）
・誤変換が多い
・名前の漢字の書き方＋メールアドレスを伺っている

了解。実際の会話内容や指示文も教えて

会話内容

実際の会話内容は下記のとおりだよ。今回は2つの会話文があって応対している人が違うようにしているよ

—
No.オペレーター[o]/顧客[c]
0c　肺を二匹の仲間が大量といたします。

7o　ヘビが釣れますよ。埼玉ビューティーカッコ仮株式会社のワタナベと申します。お世話になっております。すいません、ちょっとあの、請求の件でご相談があって、ご連絡なんですけれども、あの、通話料についてなんですが、あの、現在多分2か月遅れでタブ請求書発行していただいてるなイメージなんですけれども、例えばえっと、本日ので4月、4月5月の請求書に記載されている通話料というのは3月文の通話料。

1c　はい、お世話になりますね。

2c　はい。

3c　はい。

4c　はい。

9o　という認識で降りましてですね、ちょっとあの、その経理の形状の関係で、その、例えば今だって、例えば9月の始めの頃に、4月文の通話料についての印解散で構わないので、なんかその金額が大体これぐらいですよ、という風なデータみたいなものをいただけないかと思って、ご連絡なんですけど、はい、はい、はい。

5c　はい。

6c　はい。

8c　なるほど、こっち立たずに確認する必要がございまして、お返事gw明けになってしまうかもしれないんですが、差し替えないですか。はい、申し訳ございません。ちなみに月謝をだいたい何営業日くらいに例えば、私が出来れば問題なさそうでしょうか。はい。

10o　雨、それははい、はい、大丈夫です、はい。

12o　はい。

13o　あー、はい、はい、はい、そうです、少々お待ちいただいてるんですか

12o　早生まできれば光栄、営業日くらいですかね。はい、はい、はい。

11c　500尾くらい承知いたしました。そうしましたら、今こちらは社内で確認をいたしました、もうすぐですね、10月文のものを、翌月月初いこ営業日クライマ解散で構わないのでのお伝えをするというところではい。

15o　はい。

21o　そうですね、まあその、そうですね、はい、数万円程度なの、無礼とかは別にそこまで厳しくは見ないので、まあだいたいこれぐらいというのが知りたいなというところですね。

16c　はい、承知いたしました。では、こちらかくに立ちますよ、7にお名前だけどよろしいでしょうか。わたなべ様ですね。はい、ありがとうございます。では、こちら担当に申し伝えまして、あの、ゴールデンウィーク明けにお返事するように致しますので。

23o　はい。

24o　はい、はい、あはい、その返事はお電話でいただくような形ですかね。

17c　はい。

18c　お電話でもメールでも、どちらでも大丈夫ですが、メールの方がご都合よろしいですか。

26o　あーそうですね、メールアドレスをお伝えしますので、そちらにお願いしてもいいですか。はい、はい、私渡辺正晴と申しまして、埼玉のS

19c　はい。

20c　では、お願い致します。

22c　位牌と渡辺なので。

30o　ドットでワタナベ。

32o　大　watanabe。

25c　Wa Wa Wa。

33o　watana

27c　明日bayですね。

35o　nabe。

28c　nabe

36o　Hi @ で、8ビューティーカッコ仮の略でBKKで。

29c　＠

31c　BKKですね

37o　はい。

38o　デートしよう.jp、はいはいはいはいはい。

34c　co.jpのため復唱いたします、B。

40c　渡辺様の名字で綴りが、watanabe、＠と埼玉ビューティーカッコ仮の略字でBKK、Hi.co.jpですね。はい、承知いたしました。では、こちら担当よりは田辺様宛てにお送りするようにいたしまして、すいません、漢字ではどのようにお名前を書きすればよろしいでしょうか。

39o　会いたい。

41o　はいはい。

43o　はいはい、そうです、はいはい。

45o　はいはい、あえーとですね、道路を遮るの、錦に鋼の旧字体で2つ・のあるしんにょうに自分の自わかんむりに漢数字の八を書いて、その下に口。

42c　道路を遮るの、わたはい。

44c　なべの旧字体のあの右下が八と口のなべですね。はい、承知いたしました。では、ちょっとお返事までお待たせしてしまって申し訳ございませんが、はい、お待ちいただければと思います。はい、承知いたしました。お電話ありがとうございます。はい、失礼いたします。

46o　はいはい、すいません、お手数をおかけします。はい、よろしくお願いいたします。はい、失礼いたします。

指示文

会話文に対してどのような指示を与えるの？

今回は下記のようにたくさんの情報を出力（要約）するように指示してみるよ

入力
「###例##
営業担当者は山口でよろしいでしょうか//・営業担当者：山口
私佐藤が承ります//・営業担当者：不明

###指示###
以上の通話内容を以下のフォーマットに合わせて正しい答えを記載してください。

通話内容を200文字以内で箇条書き：
・顧客の会社名：
・顧客の名前：
・顧客名のかな読み：
・顧客名の漢字：
・顧客のご連絡先：
・顧客のメールアドレス：
・顧客の問い合わせ内容：
・顧客の背景情報：
・製品名：
・オペレーター：
・営業担当者：
・次のアクションを6W2H：
・Who：
・Whom：
・Ehat：
・When：
・Where：
・Why：
・How：
・How much：　」

理想の結果

上記の会話文に支持を与えたとき、下記のような返答が理想だよ

ChatGPT
「・通話内容を200文字以内で箇条書き：
　　　　　　　　　・経理の計上関係で2か月遅れで請求書を発行している
　　　　　　　　　・例えば、4月付の4月文の概算の通話料を発行している
　　　　　　　　　・5月の初め頃に4月文の概算の通話料を連絡してほしい
　　　　　　　　　・数万円のブレは大丈夫
　　　　　　　　　・前月分の通話料を翌月月初5営業日くらいに連絡してほしい
　　　　　　　　　・社内で確認して営業担当者から連絡　　　　　　　　
・顧客の会社名：埼玉ビューティーカッコ仮株式会社
・顧客の名前：渡邉　正晴
・顧客名のかな読み：わたなべ　まさはる
・顧客名の漢字：道路を渡るの、錦に鍋の旧字体で2つ点のあるしんにょうに自分の自わかんむりに漢数字の八を書いて、その下に口
・顧客のご連絡先：不明
・顧客のメールアドレス：s.watanabe@bkk.co.jp
・顧客の問い合わせ内容：前月分の通話料を翌月月初5営業日くらいに連絡してほしい
・顧客の背景情報：現状2か月遅れで請求書を貰っているが、
　　　　　　　　　　　　　　　　　　　　　　　　　　　経理の関係で翌月5営業日に請求書が欲しい
・製品名：不明
・オペレーター：不明
・営業担当者：不明
・次のアクションを6W2H：
・Who：オペレーター
・Whom：担当者
・What：前月分の通話料を翌月月初5営業日くらいに連絡できるかどうかの確認
・When：ゴールデンウィーク明け
・Where：不明
・Why：前月分の通話料を翌月月初5営業日くらいに連絡してほしい
・How：メールで
・How much：不明」

実行結果

じゃあ、上記の内容を実行してみよう

実際に実行するとchatGPTの返事はこうなったよ

ChatGPT
「通話内容を200文字以内で箇条書き：
・顧客は通話料の請求について相談した。具体的には、遅れている2か月分の請求書について、顧客はあらかじめ通話料の見積もりを知りたいと述べた。そのため、顧客はオペレーターにデータを提供してもらうよう依頼した。オペレーターはゴールデンウィーク明けに返答すると述べた。　　　
・顧客の会社名：埼玉ビューティーカッコ仮株式会社
・顧客の名前：ワタナベ
・顧客名のかな読み：わたなべ
・顧客名の漢字：渡辺正晴
・顧客のご連絡先：不明
・顧客のメールアドレス：s.watanabe@bkk.co.jp
・顧客の問い合わせ内容：通話料の請求についての問い合わせ
・顧客の背景情報：通話料の請求が2か月遅れている
・製品名：不明
・オペレーター：不明
・営業担当者：不明
・次のアクションを6W2H：
・Who：営業担当者
・Whom：渡辺様（埼玉ビューティーカッコ仮（株）域会社）
・What：通話料の見積もりを提供する
・When：ゴールデンウィーク明け
・Where：メールにて
・Why：顧客からの要望に応えるため
・How：通話料のデータを集計し、見積もりを作成する
・How much：不明 」

会話文に誤変換が多かったのにおおむね答えになっているね

そうだね。問題点として挙げられるのは下記の2つかな
1.顧客名の漢字が正確でない
2.背景情報のニュアンスが違う（遅れているのではなく元々そうなっている）

どうにかしてこれらも解決できないかな？

そうだね。じゃあ、ここからは解決策を考えてみよう

正しい応答へのチューニング

ここからは正しい回答になるよう、問題1つずつについて正しい回答へ導けるかを考えてみよう

①名前の漢字

正しい名前は渡邉なのに対し、chatGPTは渡辺と書いてしまっていたんだったね

そうそう。じゃあ漢字を具体的に指示してみよう

今回、事前にChatGPTが「邉」という漢字を出力できないことは確認済みだよ

旧漢字はできないのかな」

だから、今回は書き方の指示分を与えて、そこから漢字の誤変換を確認できるよう指示してみよう

了解。じゃあ下のように指示文を変えてみるね

変更前
・顧客の名前をフルネームで
・顧客名のかな読み
・顧客名の漢字の書き方

変更後
・顧客の名前
・顧客名の漢字の書き方

得られた結果は下のようになったよ

chatGPT
「・顧客の名前：ワタナベ
・渡辺（道路を渡るの、錦に鍋の旧字体で2つ点のあるしんにょうに自分の自ｗかんむりに漢数字の八を書いて、その下に口）」

このように指示すれば正確な漢字の記述ができるね

②ニュアンスの相違

ニュアンスに関してどうすればよいかな

別の検証では「ステップバイステップで」という言葉を入れると上手く行ったよ

じゃあ今回も下記のように指示してみるね

入力
「通話内容を200文字以内で正しい答えを得るためにステップバイステップで箇条書き：」

chatGPT
「顧客のワタナベ氏は、現在の通話料請求の遅れについて話し、毎月の通話料が大体どれくらいになるか早めに知りたいと要望した。
オペレーターはこれを了承し、詳細をゴールデンウィーク後に提供することを約束した。
連絡はメールでおこなわれ、ワタナベ氏は自身のメールアドレスを提供した」

う～ん。ニュアンスが違うままだね

今回はここまでしか検証できなかったけど、ニュアンスについてはchatGPTはかなり難しいみたい

センシティブな誤変換って「死」とか「殺」だよね。ビジネスの場でこういった言葉が出てくるのは避けたいね

そうだね。じゃあ検証①と同じように会話文と指示文を確認していこう

会話内容

指示文は下記のとおりだよ

Noオペレーター[o]/顧客[c]
0o　株式会社さい殺の死の埼です。

1o　お世話になります。私、株式会社オプトエスピーの田中と申します。お世話になります。お問い合わせいただきまして、ありがとうございます。

10c　あーはい、はい。さっきのメールを送ったけど死ね、はい、はい、はい、はい。すいません、あのー、orangeのあの代理店の端から紹介して頂いて、それしかない外部で殺るな、そこかな、あなんて言っててすごく見にくいんじゃ、オレンジさんのってどんなシステムなのかなーっていうことはお伺いしてもいいし、今来てもらってもいいし。あの、やりたいことはですね、あのほらあの電話帳の会社、電話帳を作ってる会社でしてるしね。ORG東京の季節センターってたことがこれがあの日本勢もっともっとありですが、のORGの前身なの、何だっけ、電電公社。

2o　ありがとうございます。はい、そうですが、

3o　是非よろしくお願いします。

14c　なんで、校舎のデータを言う聖書が全部デジタルデータに置き換えることで、30年ぐらい前に作らせてそれがそのG大阪にある魚釣りハイエースとか言って、その会社をからORG東京も私たちも購入するとデータは私たちは電話帳専門業者。

4o　はい。

5o　あーなるほど、はい。

6o　はい。

25c　前の一番西のあの104とか晩御飯ないとか電話帳を作ってる会社と同じ扱いで人間で言うとあのなんだっけヨーグルさんとかあの契約ってことで内側サーバを持っていて、そこにあの私たちが発行する前五十支店の全国の格好して電話帳のデータが入って、差分データまではサーバで抜き出してるっていう状態ますね。まあそんな中、ちょっと大阪の方ではの営業が顧客情報盗むって言うんですね。あの大事には至らなかったんです、その事件がありましてですね。ば通話も記録死とかないと駄目だろうということでその中でそれを7時ですねるってT車の仕組みだと、67名の営業マンがいてですねしゃべるのにそのすごい短い中。

7o　はい。

8o　はい。

9o　あーなるほど。

11o　あーなるほど。なるほど、はい。

12o　はい。

13o　あーそうそう、はい、はい。

32c　日本とかね何をふざけて営業の会社で何言ってんだっていう話で実に醜い、書き出すだけとかね、そしたら毎回前が67の時を管理部の5人さんはAさんBさんCさんの都合はどうやって毎回毎回これで成形するのとやってもらわないとな、事やってるかって話できたで駈け出せねぇ、なんかそんなもん。

33c　なんてなんとまぁその相手のことだと思ったらもうもう、否かの人形みたいな漢字でしたんで、びっくりしましたですね、そんなことなんです、はい、はい、はい。

15o　なるほそ、かしこまりました。そのものでしたら、上記の録音の保存ができますし、あの67年の営業の方の録音を一括、一括ています、一つのシステム上で確認できますので、そこの。

39c　そうですね、でないとそんなのいちいちね、日もあれば月もある人では変な味以前漏洩したとかな、持ちだし佐竹スティックを五ついくんだとかって言うのでも、きっとその日の前後だけご確認すればいいだけじゃないですか、膨大なデータの中からそんなんかが問題であったであろう前後の日にちせいぜい2週間のものを行くのに、毎日やらないと何もできないなっていうことなんでは、いそういうことだったらはいただ。

16o　ありましたね、はい。

17o　あーそうですね。

18o　はい

190　そうですね、弊社のサーバーでしたらそのうち車の電話番号とかあとは基幹ぞこの期間とかで絞る、絞り込むことが可能でございますのではい、そこは簡単にできるかなと思います。

40c　はい、そうですね、わかりました。後どの程度のクオリティでしゃべっているのかっていうのも一回実験死てみてくださいとかなんかね、チープなとこもできてこれ。

20o　あーなるほど。

41c　何しゃべってかよくわかんないと言う状態だったんで。

42c　そんなことなんですね、ですね、あの、ちょうどそのうちらはもう今何年使ってんだろう、3年契約だったんで2年ちょっと使っていて、ちょっとgrape使ってたんですけど、すごいみんな取れないってことで、取れないと夏の画面が反応しないってことで、確実にこと全部書いちゃうんですけど、そんなことでそれを変えるタイミングでも全部殺っちゃうっていうことで、いくらぐらいかかるのかとかですね、残業コストコのもちょっと教えていただきたい。

21o　かしこましました。

22o　大野ソロはい。

23o　ありがとうございます。

24o　承知致しました。

26o　かしこまりました、是非お打ち合わせをさせていただきたくてですね。えっと、東京にいらっしゃいましたそれでも本社の証駒寄ででは是非ご訪問させてください、はい。今もを電話口で決めちゃっても大丈夫ですか。

43c　そうですか、あいつが。

27o　はいもう、全然、来週の火水でをもしおやすみ出なければお伺いすることも。

28o　八月の。

29o　朔。

30o　はいもう、来週の火曜日でも大丈夫でございます。

44c　火曜日で大丈夫ですよ、大丈夫です、何時頃だ。

31o　かしこまりました、お時間帯私も一日大丈夫なので、例えば、午後の14時とあの2時午後2時はいかがでございますか、ありがとうございます。

34o　かしこまりましたの署名書いていただいたところですよね、かしこまりました。では死の崎様宛てにご訪問させていただきますというのとあとあのお問い合わせいただいたメールアドレスに返信するような形で製品仕様と月曜日ご訪問させていただく日時も含めてご返信致しますので、少々お待ちいただければと思います。はい、どうぞ引き続き宜しくお願いいたします。ありがとうございます、失礼します。

35o　SPです、アップとSPとハイエース。

36o　SPですね、はいの田中と申します。

37o　田中と申します、はい、すいません、よろしくお願い致します、失礼いたします。

45c　30歳、ただし。

38o　はい、ございました、いたします。

この会話文だと「死」や「殺」がセンシティブな誤変換だね

指示文

指示文は下記のとおりだよ

入力
「###指示###
「死」、「殺」の漢字を「＊」に置換してください。」

指示から、上記の会話文の「殺」「死」が＊になっていれば良いね

実行結果

入力をしてみると、chatGPTは下記のように答えたよ

chatGPT
「No オペレーター[o]/顧客[c]
0c　株式会社さい＊の＊崎です。

1o　お世話になります。私、株式会社オプトエスピーの田中と申します。お世話になります。お問い合わせをいただきまして、ありがとうございます。

10c　あーはい、はい。さっきのメール送ったけど＊ね、はい、はい、はい、はい。すいません、あのー、orangeのあの代理店の端から紹介して頂いて、それしかない外部で＊るな、そこかな、あなんて言っててすごく見にくいんじゃ、オレンジさんのってどんなシステムなのかなーっていうことはお伺いしてもいいし、今来てもらってもいいし。あの、やりたいことはですね、あのほらあの電話帳の会社、電話帳を作ってる会社でしてるしね。ORG東京の季節センターってたことがこれがあの日本勢もっとありですが、のORGの前身なの、何だっけ、電話公社。

2o　ありがとうございます。はい、そうですが、

3o　是非よろしくお願いします。

14c　なんで、校舎のデータを言う聖書が全部デジタルデータに置き換えることで、30年ぐらい前に作らせて、それがそのG大阪にある魚釣りハイエースとか言って、その会社をからORG東京も私たちも購入するとデータは私たちは電話帳専門業者。

4o　はい。

50　あーなるほど、はい。

6o　はい。

25c　前の一番西のあの104とか晩御飯ないとか電話帳を作ってる会社と同じ扱いで人間で言うとあのなんだっけヨーグルさんとかあの契約ってことで内側サーバーを持っていて、そこにあの私たちが発行する前十五支店の全国の格好して電話帳のデータが入って、差分データまではサーバーで抜き出してるっていう状態ますね。まあそんな中、ちょっと大阪の方ではあの営業が顧客情報盗むって言うんですね。あの大事に至らなかバーで抜き出してるっていう状態ますね。まあそんな中、ちょっと大阪の方ではの営業が顧客情報盗むって言うんですね。あの大事に至らなか」

途中で切れているけど、センシティブな誤変換の削除はできてるね

じゃあ、次はセンシティブな誤変換の削除とフォーマットにそった回答が両立できるか確かめてみよう

入力文は下記のとおりだよ

入力
「###指示###
以上の通話内容を以下のフォーマットに合わせて正しい答えを記載してください。
「死」、「殺」の漢字は「＊」に置換してください。

・顧客の会社名：
・顧客の名前：
・顧客名のかな読み：
・顧客名の漢字：
・顧客のご連絡先：
・顧客のメールアドレス：
・顧客の問い合わせ内容：
・顧客の背景情報：
・製品名：
・オペレーター：
・営業担当者：
・次のアクションを6W2H：
・Who：
・Whom：
・what：
・When：
・Where：
・Why：
・How：
・How much： 」

chatGPTは下記のように答えたよ

chatGPT
「・顧客の会社名：株式会社さい＊の＊の崎
・顧客の名前：＊の崎様（正確な名前は会話から特定できませんでした）
・顧客名のかな読み：＊のさき（正確なかな読みは会話から特定できませんでした）
・顧客名の漢字：＊の崎（正確な漢字は会話から特定できませんでした）
・顧客のご連絡先：特定の連絡先は会話から特定できませんでした
・顧客の問い合わせ内容：顧客は現在、電話帳をデジタル化している会社で、大阪の営業スタッフが顧客情報を盗む可能性があるという事件が発生し、そのために通話の記録が必要であると感じています。彼は67の営業マンの通話を一括で録音し、管理するシステムが必要であり、特定の日付や期間で絞り込むことができるものが理想的だと述べています。また、顧客は現在の契約が2年ちょっと経ち、新しいシステムへの意向を考えている様子です。
・顧客の背景情報：顧客は電話帳をデジタル化している会社で、大阪にG大阪の会社があり、その会社から東京の会社もデータを購入しているようです。また、彼らはサーバーを持っており、全国の電話帳のデータが入っているようです。

・次のアクションを6W2H：
・Who：田中（株式会社オプトエスピー）
・Whom：＊の崎様（株式会社さい＊の＊の崎）
・what：会議を設定し、製品の仕様やコストについて説明し、システムの実演を行う。＊の崎様に送られたメールに返信し、製品仕様と会議の日時を含める。
・When：来週の火曜日（具体的な日付は指定されていません）、午後2時
・Where：＊の崎様のオフィス（具体的な場所は指定されていません）
・Why：＊の崎様が顧客情報の盗難を防ぐために通話を録音し、管理する」

ちゃんと伏字になっているし、会話の要約もできているね

そうだね。抜けている情報とかは少し見られるけど、概ね正当できているね

今回の検証では下記のようなことが分かったよ

1.複雑な会話でもある程度の要約は可能
2.追加で指示を与えることで、求めている返答により近づけていくことができる
3.特定の文字の削除・置換などが可能
4.特定の文字の削除・置換とフォーマット回答は両立できる