iOS 13.2 では、Siriや音声入力で使用する「音声データ」の扱いを設定できるようになったようなので、やり方をメモしておきます。
「音声データ」をAppleに提供しない設定にする!
[Siriおよび音声入力の改善]を無効にする。「Siriおよび音声入力解析について...」をタップすると詳しい内容を確認できます。
これで、Siriや音声入力時に使用した音声データが、Appleに利用される事はないと思います。 (このように設定しておけば、音声データは送信されるが、送信したデータをAppleが保存したり、音声解析機能の改善のために音声データを人が直接聞いたりする事はないと思う)
ただ、「Siriおよび音声入力解析について...」の説明をざっくり読んで判断したことなので、音声データが100% 利用されない事を保証するわけではありません。やっておいた方が安心という程度に考えた方が良いかも。
ちなみに「Siriおよび音声入力の改善」の設定項目は、iOS 13.2から追加された機能なので、旧バージョンでは利用できません。