警惕算法经济的风险和作恶可能

2021年9月3日，中国证监会科技监管局局长姚前在2021年服贸会金融服务专题展期间举行的“2021中国国际金融科技论坛”上表示。

姚前称，首先是算法滥用。算法规则的背后是商业利益。为了追求利益最大化，算法有可能违背社会公平、道德和人性，比如大数据杀熟，同样的商品或服务，老客户的价格反而比新客户要贵。只推荐给人们能潜在带来商业利益的东西，而不是最适合、最恰当的东西。可能滥用人性弱点，过度激发、劝服、诱导客户，使人习惯于被喂养，不自觉地对算法投放的产品沉迷上瘾。只有算法逻辑，没有考虑人性，将人“异化”为简单的数据、商品和工具。算法的具体原理和参数只有运营企业的少部分人才能知道，有可能产生利益侵占问题。有的企业可能利用算法作恶，比如为了扩大流量，推送耸人听闻的虚假信息；推荐虚假产品。

其次是算法偏见。算法的数据可能不一定全面，片面的数据得到的结果必然导致某种偏见。算法的设计者是人，算法设计师乃至企业管理者、价值观的偏见可能被嵌入算法。算法的“技术光环”容易让人盲从所谓的“科学”，但实质上有些算法却存在很大程度的不可解释性，比如类似“黑箱子”的机器学习算法；机器学习算法侧重于相关性分析，而不是因果分析，可能产生错误的勾连与判断；基于历史数据的机器学习算法隐含着“过去决定未来”逻辑，以历史宿命论定义和标签每个人，某种程度上也是一种偏见。

另外，算法鸿沟也值得重视。算法通常是隐秘的，或是专利，或是商业秘密。即便公开，也因技术门槛，也不是每个人都能看懂。这就形成新的数字鸿沟。不懂算法的人群在利益受损时有可能并不知情，即便知情，也可能无力举证和对抗。

姚前还表示，在特定领域，算法还可能引致特定风险。比如在金融领域，智能算法给出的资产配置建议有可能是推荐了与金融机构自身利益高度攸关的产品，涉嫌利益侵占；智能算法形成信息茧房，强化投资者偏见，容易掩盖金融风险复杂性，引诱过度消费和负债，甚至误导投资者；智能算法若存在歧视，则损害投资者公平性；智能算法趋同导致“羊群效应”，加大金融顺周期风险等。

因算法背后有一些风险，各国的监管部门高度关注算法隐含的风险。例如，欧盟《一般数据保护条例》（GDPR）第22条对自动化决策加以限制，如果某种包括数据分析在内的自动化决策会对数据主体产生法律效力或对其造成类似的重大影响，数据主体有权不受上述决策的限制。又例如，针对智能算法在投资顾问中的应用，美国证券交易委员会（SEC）、英国金融业监管局（FINRA）、澳大利亚证券和投资委员会（ASIC）出台了具体的智能投顾监管指引。

对于中国而言，也采取也一些措施。2018年发布的《关于规范金融机构资产管理业务的指导意见》也提出，要避免智能算法顺周期性风险、羊群效应等相关规定。2020年12月，中共中央印发《法治社会建设实施纲要（2020-2025年）》，提出要制定完善算法推荐、深度伪造等新技术应用的规范管理办法，要加强对大数据、云计算和人工智能等新技术研发应用的规范引导。网信办就《互联网信息服务算法推荐管理规定》向社会公开征求意见指出，