|
声音
|
|
□ 张欣
近日，北京互联网法院作出首例涉及算法风控系统引发人身权益侵权纠纷的生效判决。经审理，法院认定被告某征婚交友平台运营者实施算法进行风控尽到了合理注意义务并采取预防措施，并无主观过错，不构成侵权，驳回了原告李某的诉讼请求。该案是一起经典的算法侵权纠纷案件，与算法主体责任、用户权利以及算法侵权救济等议题密切相关。
此案中，算法风控系统判定原告李某具有网络诈骗风险，是基于用户在平台上与其他用户的聊天记录短期内多次被检测到“金融”“基金”“加微信”等“杀猪盘”诈骗案件所涉高频词汇。因此平台对其账户进行了封号处理，并向其他网友提示“该账号可能存在异常”“不要与之发生金钱来往”等警示信息。依据民法典和个人信息保护法的相关规定，用户在平台上的聊天记录属于个人信息。算法风控系统通过检测用户聊天记录关键词识别异常点，并自动予以标签化警示的行为，即属于典型的以自动化方式检索、使用个人信息的处理行为。
依据个人信息保护法相关规定，处理个人信息应当保证个人信息的质量，避免因个人信息不准确、不完整对个人权益造成不利影响。在大数据时代，算法已经成为“第三只手”，实质上发挥着资源调配与机会供给的功能。如果平台掌握的个人信息不准确、不完整，与之相关的算法决策就可能对用户产生不利影响。因此强调个人信息的质量，要求数据的完整与准确，已经成为全球立法共识。
此外，个人信息保护法也确立了自动化决策结果的公平、公正原则，《互联网信息服务算法推荐管理规定》也明确规定了推荐算法的公正公平和科学合理原则，《新一代人工智能治理原则——发展负责任的人工智能》更是在安全可控原则下明确指出人工智能系统应不断提升可靠性、可控性、抗干扰性。由此可见，无论是基于公共利益依法履行监管责任，还是为了推进平台日常业务的正常开展，平台对其运行的算法风控系统均具有质量保证义务。平台应当定期审核、评估、验证算法机制机理、模型、数据和应用结果，避免因模型设计缺陷导致不当处理个人信息从而对用户产生不利影响。
在实践中，反欺诈检测等风控模型在区分噪音和异常点之间的确面临技术挑战。不过，需要明确的是，尽管平台算法风控系统具有行为目的和主观意图的正当性，但如果算法风控系统缺乏精细化判定异常风险的能力，则表明该算法设计还需要进行完善和优化。
考虑到利用个人信息开展自动化决策的信息应用场景属于高风险处理活动，我国立法从事前、事中、事后的全生命周期视角赋予用户一系列权利。首先，法律保护用户对个人信息被处理的决定权和选择权。因此在隐私政策中，平台应以清晰易懂的语言，向用户真实、完整地披露其个人信息可能被用于算法风控，确保用户在充分知情的前提下自愿、明确作出同意。
其次，通过自动化决策方式作出对用户权益有重大影响的决定时，用户有权要求平台作出解释和说明，并有权拒绝仅通过自动化决策的方式作出决定。
最后，当用户认为平台因个人信息不准确、不完整，或者因算法模型存在缺陷，影响自动化决策结果的公平、公正，并对个人产生不利影响时，可以提出异议并获得救济。救济的方式包括要求平台对算法决策进行人工干预，复核自动化决策结果是否基于准确、完整的个人信息公平、公正地作出，并可以要求更正错误或者不当的决策结果。
算法社会已经全面来临。算法作为新型基础设施正扩展式嵌入到公共和商业场景之中。如何构建鼓励算法行业发展与规制不当运用的算法治理秩序是司法裁判和法律创制共同关注的话题。在这起案件中，法院确立了认定平台合理注意义务的评估框架，对于构建共治共享的算法安全秩序具有重要意义。但与此同时，平台企业也应当意识到作为算法设计者和运行者，还应积极采取措施开发和设计可靠性和可控性更强的算法，以保证算法决策的质量与实效。
(作者系对外经济贸易大学法学院副教授、数字经济与法律创新研究中心执行主任）
|
|
|
| 合理构建算法安全秩序
|
|
|
|
|
|
| （ 2022-11-23 ） 稿件来源： 法治日报声音 |
|
|
□ 张欣
近日，北京互联网法院作出首例涉及算法风控系统引发人身权益侵权纠纷的生效判决。经审理，法院认定被告某征婚交友平台运营者实施算法进行风控尽到了合理注意义务并采取预防措施，并无主观过错，不构成侵权，驳回了原告李某的诉讼请求。该案是一起经典的算法侵权纠纷案件，与算法主体责任、用户权利以及算法侵权救济等议题密切相关。
此案中，算法风控系统判定原告李某具有网络诈骗风险，是基于用户在平台上与其他用户的聊天记录短期内多次被检测到“金融”“基金”“加微信”等“杀猪盘”诈骗案件所涉高频词汇。因此平台对其账户进行了封号处理，并向其他网友提示“该账号可能存在异常”“不要与之发生金钱来往”等警示信息。依据民法典和个人信息保护法的相关规定，用户在平台上的聊天记录属于个人信息。算法风控系统通过检测用户聊天记录关键词识别异常点，并自动予以标签化警示的行为，即属于典型的以自动化方式检索、使用个人信息的处理行为。
依据个人信息保护法相关规定，处理个人信息应当保证个人信息的质量，避免因个人信息不准确、不完整对个人权益造成不利影响。在大数据时代，算法已经成为“第三只手”，实质上发挥着资源调配与机会供给的功能。如果平台掌握的个人信息不准确、不完整，与之相关的算法决策就可能对用户产生不利影响。因此强调个人信息的质量，要求数据的完整与准确，已经成为全球立法共识。
此外，个人信息保护法也确立了自动化决策结果的公平、公正原则，《互联网信息服务算法推荐管理规定》也明确规定了推荐算法的公正公平和科学合理原则，《新一代人工智能治理原则——发展负责任的人工智能》更是在安全可控原则下明确指出人工智能系统应不断提升可靠性、可控性、抗干扰性。由此可见，无论是基于公共利益依法履行监管责任，还是为了推进平台日常业务的正常开展，平台对其运行的算法风控系统均具有质量保证义务。平台应当定期审核、评估、验证算法机制机理、模型、数据和应用结果，避免因模型设计缺陷导致不当处理个人信息从而对用户产生不利影响。
在实践中，反欺诈检测等风控模型在区分噪音和异常点之间的确面临技术挑战。不过，需要明确的是，尽管平台算法风控系统具有行为目的和主观意图的正当性，但如果算法风控系统缺乏精细化判定异常风险的能力，则表明该算法设计还需要进行完善和优化。
考虑到利用个人信息开展自动化决策的信息应用场景属于高风险处理活动，我国立法从事前、事中、事后的全生命周期视角赋予用户一系列权利。首先，法律保护用户对个人信息被处理的决定权和选择权。因此在隐私政策中，平台应以清晰易懂的语言，向用户真实、完整地披露其个人信息可能被用于算法风控，确保用户在充分知情的前提下自愿、明确作出同意。
其次，通过自动化决策方式作出对用户权益有重大影响的决定时，用户有权要求平台作出解释和说明，并有权拒绝仅通过自动化决策的方式作出决定。
最后，当用户认为平台因个人信息不准确、不完整，或者因算法模型存在缺陷，影响自动化决策结果的公平、公正，并对个人产生不利影响时，可以提出异议并获得救济。救济的方式包括要求平台对算法决策进行人工干预，复核自动化决策结果是否基于准确、完整的个人信息公平、公正地作出，并可以要求更正错误或者不当的决策结果。
算法社会已经全面来临。算法作为新型基础设施正扩展式嵌入到公共和商业场景之中。如何构建鼓励算法行业发展与规制不当运用的算法治理秩序是司法裁判和法律创制共同关注的话题。在这起案件中，法院确立了认定平台合理注意义务的评估框架，对于构建共治共享的算法安全秩序具有重要意义。但与此同时，平台企业也应当意识到作为算法设计者和运行者，还应积极采取措施开发和设计可靠性和可控性更强的算法，以保证算法决策的质量与实效。
(作者系对外经济贸易大学法学院副教授、数字经济与法律创新研究中心执行主任）
|
|
|
