聊什么来什么，你跟我说手机没偷听？

聊什么来什么，你跟我说手机没偷听？

来源丨果壳

作者丨沈之寒

你正坐着和朋友聊天，把手机扔在桌子上。 你问他，家里暖气不热怎么办？ 晚上，你在小红书的信息流中读到《教你放暖气》。 你吃了一惊，心想：“你的手机又被窃听了吗？” 因为你从来没有主动搜索过类似的话题。

如果确实存在“应用监控对话”，其目的多半是为了各类应用平台信息、产品、广告的精准推送，但这却是众多获取个人信息（或隐私）方式中最敏感和最不敏感的一种。 ）。 “预算”类型。 之所以被反复提及，是因为用户总能找到“巧合”，但很难证明它们。 相关商业公司只是否认，无法拿出反驳证据。

如果应用程序真的一直通过麦克风听我们说话，可行吗？

语音助手首先受到质疑

人们确实抓住了智能音箱和语音助手的把柄。 亚马逊Alexa曾经误解命令，将“无意中听到”的对话录音发送给用户地址簿中的朋友，证明麦克风窃听并非凭空想象。

2018年，一对居住在俄勒冈州的夫妇突然接到朋友的电话，朋友告诉他们，他们收到了Echo智能音箱的聊天录音。 在确认了谈话的细节后，他们相信自己被偷听了。

他们向亚马逊寻求解释，对方出面解释，有可能是参与对话的人听起来像“Alexa”，从而将其吵醒。 在随后的对话中，Alexa 将其误认为是“发送语音消息”的请求，并将其误认为是联系人。 亚马逊表示，这种情况发生的几率极小，但意外还是有的。

如果麦克风没有一直监听，智能音箱怎么知道用户已经呼叫了呢？ 乍一看，似乎很有道理。

2020年，一位产品经理在（技术分享社区）写了一篇文章来解释这种困惑。 他以 Siri 为例，表示 Siri 确实在“听”，但它“听不懂”，直到被“Hey Siri”触发才开始理解你的指令。

Siri确实在“听”，但它“听不懂”丨图源Giphy

因为Siri只是听懂了你在呼唤它，它就已经耗费了很大的“力气”。 落在麦克风上的声音将以0.01秒为一帧，每次20帧（0.2s），并会输入到深度神经网络进行本地计算。 深度神经网络将这些声音转换为概率密度函数。 当函数值达到阈值时，主处理器被激活。 在主处理器被激活之前，是协处理器处理声音并做这些事情。

所谓协处理器可以理解为功能和功耗有限的辅助处理器，允许用户在屏幕关闭时访问一些“永远开启”的功能。 例如，它有助于共享和处理来自加速度计、陀螺仪等的数据，并提高手机电池寿命。 （否则，你的步数是如何计算的？）当“Hey Siri”功能推出时，它帮助 Siri 处理声音。 Siri 明白，如果你不想让它听到声音，它就会“从左耳进，从右耳出”。

该应用程序会与语音助手相同吗？ 如果它“进左耳”但“出右耳”怎么办？

“Hey Siri”可以看作是苹果的“底层应用”，是写在系统内部的。 相比之下，iOS系统上的应用程序调用系统权限时，用户就不会这么“不敏感”了。

从技术上讲是可以的，但不值得

2019年，国内一个开发团队编写了一款应用。 演示中，App获得“录音”权限后，锁屏并在后台监听。 开发者对着麦克风说道：“今晚吃什么？” 服务器收到应用上传的语音转文本消息。 为了证明，不顾一切限制，“应用程序在后台监听用户所说的话”仅从技术角度来看是可行的。

为什么强调“仅在技术上”？ 因为完全绕过用户的注意力，实现“偷听”是非常困难的。 2017 年，广告主管加西亚·马丁内斯 (García Martínez) 在《连线》杂志上撰文。 他表示，如果听到的一切都通过麦克风记录下来，那么它在功能上就等同于用户并且“永远在打电话”。

如果通过麦克风记录下你听到的一切，功能上就相当于用户和“永远在线”丨图源Giphy

有人做了一个实验，录制一小时（采样率48khz，比特率），文件大小达到112.39M，功耗6%。 长时间录音低功耗，功耗不是很大。 如果多个App、多个SDK同时使用此方法，手机会变得越来越烫。

如果你手头正好有6，你会发现打开Siri设置时，“嘿Siri只能在充电时使用”。 得益于低功耗的 M9 协处理器，苹果在 6s 推出时才首次添加了一直监听的“Hey Siri”功能。

低功耗长时间录制，功耗不是很大，十个一起用会怎样？丨图片来源

你很难想象“实时传输”能产生多少用户数据。 马丁内斯假设用户每天使用手机的时间有半天。 按照当时的计算，“网络通话”的平均单向传输速率约为每人每天130MB。 当时，仅美国就有 1.5 亿日活跃用户，每天产生约 20PB 的数据。 数据库中存储了300PB的数据，每天处理的数据量约为600TB。 这样，监控产生的音频数据是每天需要处理的音频数据的33倍。 即使公司规模如此之大，也难以承受其重量。

如果采用语音压缩技术，然后分段发送到服务器进行存储，然后进行处理呢？

以iLBC语音编解码器为例，采用20ms的帧格式，编码后语音数据速率为15.2Kbps，每分钟数据量为112KB。 即使用户每天只监控1小时，每年产生的数据也会消耗用户2.5GB的内存。

也许有人还有疑问。 现在这条路已经行不通了，手机和应用厂商可以在本地将“语音转文本”，过滤提取有价值的信息，然后上传到后台服务器。 除了做后台计算会“吞噬”CPU，导致手机性能下降之外，成本也不低。

以 0.006 美元/15 秒的价格向第三方出售其“语音转文本”服务。 一天 24 小时转录的成本（对于一名用户）为 12,614 美元，即使每天转录 1 小时也是 525 美元。

2021年初，时任（中国）应用治理工作组技术专家何彦哲表示，经过实验和测试，没有发现任何应用在上传语音信息后存在窃听行为。

来来来，我们简单测试一下

根据各平台的隐私政策，接入麦克风是为了淘宝与AI客服沟通，抖音是为了拍摄短视频作品，百度是为了语音搜索。

我做了一个针对个人消费者的测试，想证实两个怀疑，这三个主流应用是否在无意识的情况下（未启用麦克风）记录了我的对话； 并将其用于应用程序的个性化推荐和广告系统。

为此，我尽可能避免了其他变数，使用了抹掉所有内容和设置的7 Plus，并升级到iOS15以上进行测试。 并注册了上述三个应用程序的新帐户。

淘宝首先获得了麦克风权限，将其置于前台，连续两天将与乒乓球相关的音频和对话“输入”到麦克风中，每次超过30分钟。 然后将应用程序置于后台并重复上述操作。 抖音、百度重复以上操作。

经过两天的测试，我开始检查。 首先，当我尝试在三个应用程序中启用麦克风（无论是语音搜索还是视频录制）时，手机状态栏中都会出现麦克风激活提示。

在淘宝的推荐页面下，我向下滚动了100页（标准版，每页大约有4个推荐结果），没有推荐与乒乓球相关的产品和广告； 在抖音的推荐页下，我连续刷了100页视频，没有任何与乒乓球相关的视频内容； 同样在百度的前100个推荐结果中，也没有与之相关的新闻标题。

至少在这个实验中，应用程序在调用麦克风时无法被忽视，也没有将我的谈话内容和周围环境的声音“翻译”成个性化的推荐。

认为麦克风正在窃听，这是我的问题吗？

就像开头提到的“供暖”例子一样，基于社交媒体上用户的理解，你可能已经被准确地贴上了“年轻女性”和“北京漂流”的标签。 恰巧“北京供暖”这个话题很火。 该帖子本可以在推特上发布给 100,000 个具有相同主题标签的人，包括您，理所当然地认为您正在被监视。

这可能是确认偏差（bias）在起作用。 确认偏差是一种心理学概念，它就像大脑中的过滤器一样，过滤掉你认为正确的东西。 并无意识地过滤掉其他与需求无关的信息，选择性关注。 也称为“视网膜效应”或“妊娠效应”。

确认偏差就像大脑中的过滤器丨图片来源Giphy

类似的例子很常见。 2008年美国大选期间，研究人员发现，支持奥巴马当选的选民购买了更多正面描绘奥巴马的书籍，而反对者则是批评奥巴马的书籍的主要购买者。 很多时候我们不可避免地带入了这种“主观性”，这是影响我们大脑做出正确判断的主观因素。

您和您的男朋友出去散步，讨论您最近的搬家以及要购买什么品牌的投影仪。 结果你晚上回家刷手机。 不仅有中介在社交媒体上推荐你看房，淘宝还给你推送了一台新的投影仪。 这时候，你正要向男朋友炫耀，“我说，手机肯定是骚扰我们了。” 等等，冷静一下，回想一下，你出门的时候没带手机。

出现这种情况，或许是因为你男朋友已经在网上浏览过如何挑选投影仪了。 并且由于你们在网络上互为好友，互相转发等行为都被监控，并被广告系统标记为“共同兴趣”。

那么广告系统已经这么成熟了吗？

不需要！ 实在没必要​​！

至少在商业消费领域，通过“窃听”获得的用户数据质量不一定高，但成本极高，企业不需要为此付出代价。

2018年，今日头条在被质疑通过麦克风获取个人隐私时做出回应。 他们的做法是“除非用户明确点击授权，否则无法接收到用户的语音信号”。

几乎所有主要应用程序都采取了类似的立场。 因为对于第三方应用来说，他们几乎不可能在不被用户察觉的情况下进行监听，或者突破系统权限。 iOS14()升级后，只要激活麦克风，屏幕上方下拉状态栏就会有提示。

与麦克风窃听相比，商业公司有更成熟的“肖像”方法。 你看到的那些精准推送，基本上都可以归因于大数据分析的结果。

投影仪厂商如果想要投放广告，可以找任意一个互联网平台投放，后者会根据授权信息中具有“投影仪”、“电影”等相关标签的用户进行推送。 整个投放过程是通过程序化广告系统自动完成的。

那么这些相关标签是如何建立的呢？

App获取的第一个信息是移动设备识别码，在手机上称为IMEI，在手机上称为IDFA。 这与注册或登录应用程序无关，即使没有，用户的行为数据也会被收集。 在这些行为数据中，你做了什么（查看、评论、购买等）、停留时长、是一时兴起还是长期需求等，都被赋予了不同的权重，构成了行为的基本组成部分。兴趣模型。

你看到的那些精准推送基本上可以归因于大数据分析的结果丨图片来源Giphy

模型在观察你一段时间后，可以给你一定的“兴趣标签”评分，并用多个兴趣标签值来描述一个日益“立体”的你。 商业公司对无数的“你”进行分类，向和你一样的人推送同样的广告。 让你产生平台似乎比你更了解自己的“错觉”。 应用程序可以根据您的 IDFA 跟踪您在其他应用程序上的行为。 这就是为什么你刚刚在淘宝搜索“投影仪”，当你使用抖音时，你看到了淘宝的投影仪广告。

如今的广告系统也可以通过“依赖”的方式向您推荐。 为了隐私保护，iOS13增加了如果想要获取Wi-Fi名称，在调用该接口之前需要获取用户的位置权限。 因为通过Wi-Fi信息可以定位用户的地理位置。 但这并不意味着如果您不授予位置权限，该应用程序就无法锁定您。 App还可以被同一局域网下的设备追踪。

因此，iOS 14 中新增了“本地网络”权限。如果 App 想要访问同一局域网下的其他设备，则需要经过您的授权（在此之前不需要）。

通过获取设备的MAC地址（唯一网络标识符），你可以知道所连接的电子设备型号以及你在某个局域网下的“关系链”。 如果每天晚上有几个用户同时连接一个Wi-Fi，那么应用程序判断他们很有可能是一家人。 在“大数据”的加持下，你可以找到MAC地址和IMEI号的对应关系，推送给你和家人的内容将交叉共享。

事实上，该应用暗中收集大家信息的行为并不是来自于“监听”。

2020年，浙江大学、多伦多大学、加拿大麦吉尔大学的学者展示了一项研究成果，移动应用程序可以在无需用户授权的情况下利用内置加速度传感器收集声音振动信号。 这种通过陀螺仪、加速度计等其他传感器来恢复语音数据，而不是使用麦克风等录音设备，然后利用深度学习等技术来恢复语音数据的技术被称为旁道恢复技术。

同样不容易被注意到的还有SDK，它嵌入在App中，提供特定的功能，方便开发者开发。 “当应用A和应用B都使用同一个广告SDK时，那么A和B中收集的数据可能会上传到这个SDK中，A和B之间自然形成数据共享。你对A的搜索记录和使用习惯可能是反映在B上。” 浙江大学计算机科学与技术学院周亚金教授说道。 今年工信部共查出13款嵌入第三方SDK非法收集用户设备信息的应用程序。

2021年，国家网信办发布了关于33款App非法收集、使用个人信息的通知，其中包括一些大家熟悉的输入法产品。

如果商业公司真的试图获取用户信息，麦克风监控的性价比太低了丨图片来源Giphy

这些非法的信息收集方式会给我们一种被“监控”的错觉。 如果商业公司真的试图获取用户信息（甚至窃取用户隐私），方法有很多种。 相比之下，麦克风监控的性价比就太低了。

那么我的担忧可以解决吗？

手机厂商正试图打消人们对于“用麦克风窃听”的顾虑和误解。

如上所述，iOS14()升级后，只要打开麦克风，屏幕顶部就会有下拉状态栏的提示。 App想要突破移动操作系统的限制，直接调用硬件功能，实现用户无感知的录音操作几乎是不可能的。 利用系统漏洞、安装恶意程序等，具有极高的技术难度和法律成本。

麦克风激活提示丨图源手机截图

第一部个人信息保护法颁布。 它规定，个人信息的处理应当在充分事先通知的前提下取得个人同意，不得误导、欺骗、胁迫。

同时，个人信息的收集应限制在实现处理目的的最小范围内，不允许过度收集个人信息。 个人信息处理应当遵循公开、透明的原则，公开个人信息处理规则，明确处理目的、方式和范围。 这规定了接收到的语音数据的放置位置以及处理方式。

苹果此前表示，通过“Hey Siri”发送到服务器的语音将按照隐私政策进行处理，这相当于给出一个随机的设备标识符，用完后“扔掉”。 iOS15更新后，希望Siri语音处理能够本地化（目前国内不支持）。

如果用户想要打消“被窃听的担忧”，我们在客户端还能做什么呢？

当用户首次安装应用程序时，他们可以拒绝调用麦克风的权限。 对于已经在使用的应用，用户可以在“设置—应用设置—应用管理—某应用—权限管理—录音”路径下关闭该应用对麦克风的访问； iOS用户可以进入“设置—隐私与安全—麦克风”，勾选请求访问麦克风的应用程序，然后将其关闭。

个性化广告已经成为互联网广告较为常见的模式，推荐结果的出现并不意味着App实施了监控。

iOS14.5更新后，IDFA的开关状态由“默认开启”更改为“默认询问”。 如果您之前没有注意过这一点，可以在“设置-隐私和安全-跟踪”下检查哪些应用程序使用标识符来跟踪您，并将其关闭。

关闭程序化广告，广告的相关性就会降低丨图片来源Giphy

当然，当你在应用程序中看到个性化广告时，你总是会感到焦虑，常常担心哪些行为暴露了你的信息和偏好。 现在您可以手动关闭它们。

2019年，澎湃新闻记者发现，关闭今日头条程序化广告后，用户看到的广告数量没有变化，但广告的相关性会下降。 南都对2020年《个人信息安全年度报告》中的50款热门应用进行了评估，发现其中有6款没有提供关闭个性化推荐的选项。 两年后，这些头部应用都添加了这个选项。

个性化推荐选项一般在应用程序的相应设置中。 以淘宝为例，通过“我的淘宝-设置-隐私-推荐管理-关闭个性化推荐”。

好了，现在电话就不会“急于接听”了。