欧盟委员会关于制定人工智能在选举过程中的使用建议的公告是一个必要且受欢迎的步骤。这表明欧洲机构开始理解人工智能对公共空间、信息流通以及公民形成政治观点的机制所带来的变革的广度。
然而,这场辩论有可能局限于技术逻辑,而问题本质上是一个民主和社会问题。
近年来,公众的注意力几乎完全集中在最明显的现象上:深度伪造、合成图像、操纵视频、自动化的虚假军队或协调的虚假信息运动。所有这些都是现实的威胁,必须认真对待。但它们只是一个更深层现象的可见部分。对欧洲民主的真正挑战不是虚假内容的存在。真正的挑战是出现能够组织、分发和放大集体注意力的技术系统,这在整个人类历史上都是前所未有的。
在我看来,未来的欧洲选举不会首先被现实的伪造所决定,而是由对可见性的无形管理所决定。谁生产信息并不是最重要的,而是谁控制着将这些信息提供给数百万人的机制。这就是为什么欧洲的辩论必须从简单的内容问题转向信息基础设施的问题。一个虚假的视频可以被识别,一张操纵的照片可以被验证,或者一个伪造的信息可以被拆解。
更困难的是识别一个算法决定某种情感、某个主题或某个政治行为者需要获得异常、重复和不成比例的曝光的时刻。这里是当代社会的根本脆弱性所在,我们必须理解,我们不仅生活在一个虚假信息的时代,而是生活在一个放大的时代。
传统上,公共空间是通过相对可见的机构组织的:媒体、政党、大学、公民组织、舆论领袖。今天,公众舆论形成过程的一个重要部分是由自动推荐系统介导的,这些系统根据不透明的标准运作,并且首先是为了捕获注意力而优化。这种转变实质上改变了民主竞争的性质,因为我们不再仅仅看到思想之间的对抗,而是看到算法可见性之间的竞争。政党、政府、利益团体、外部行为者和激进组织争夺对分发公众注意力的基础设施的访问。
人工智能不仅仅是一个内容生产工具,它成为了公共空间的结构性参与者,并影响公共议程、集体优先事项、风险感知,甚至社会现实的定义。这就是为什么我认为委员会的建议必须只是一个更雄心勃勃的过程的第一步。
欧洲需要一种范式转变。
首先,我们必须在选举期间开发独立的审计机制,以审查推荐和算法放大系统。当组织信息流通的机制几乎不可能从外部评估时,民主无法有效运作。我们不仅需要知道谁支付了政治广告,还需要知道它是如何被放大的。此外,识别操纵内容是不够的,我们还需要理解它是如何到达数百万人的。我们现在观察到的是效果,但我们必须理解机制。
其次,欧洲需要系统性工具来测量信息脆弱性。目前我们测量通货膨胀、失业、贫困、经济竞争力或创新水平,但我们甚至没有考虑测量一个社会抵御信息操控的能力。我们应该测量信息的无序程度,测量知识的碎片化程度和对合法知识来源的信任程度。不幸的是,我们没有意识到我们应该测量公民的认知自主性。所有这些都已成为民主运作的战略变量,而在缺乏这些工具的情况下,欧洲将继续在危机发生后反应,而不是在其影响变得明显之前。
第三,有必要建立一个永久的民主韧性基础设施,而不仅仅是临时工作组或充满建议的定期报告。我们需要永久的制度能力,将学术研究、选举当局、监管机构、公民社会和数字平台连接起来。
欧洲民主保护伞是一个有希望的开始,但它的成功将取决于从防御性方法转向前瞻性方法的能力。我们不应仅仅回应信息攻击,而应发展识别脆弱性的能力,以便在它们被利用之前。
同时,欧洲必须避免一个重要的陷阱。对新威胁的回应不应导致过度限制言论自由或将数字空间转变为一个普遍监控的系统。民主不能通过削弱自身价值的方法来捍卫。因此,透明度、可审计性和平台责任必须成为欧洲数字治理的核心原则。
要明确,根本问题不是人工智能的存在,而是权力在一个由人工智能管理大量信息、塑造注意力和影响集体行为的社会中的分配。因此,关于人工智能和选举的辩论实际上是关于民主未来的辩论,而不是关于技术的辩论。我们讨论的是公民做出自主决策的能力,尤其是关于公共审议的完整性。讨论是关于信任、合法性和社会凝聚力。
欧洲需要关于在选举中使用人工智能的建议,但更重要的是:它需要一种理论和适应算法时代的民主韧性政策。否则,我们将面临对工具的监管,而忽视了当代民主运作的社会和认知环境的深刻转变。
罗马尼亚2024年场景,一个警告
罗马尼亚可能是这一新的民主脆弱性时代最相关的欧洲案例研究。2024年的选举危机不仅仅是一个内部政治争议,它是欧盟首次直接面对选举过程可能受到数字平台、推荐算法、协调行为和不透明信息操作的显著影响的时刻。
宪法法院取消第一轮总统选举,欧洲委员会对TikTok的后续调查以及关于外部干预的辩论使罗马尼亚成为新的民主风险的欧洲实验室。除了政治和法律争议,罗马尼亚案例提出了一个根本性的问题:在数字民主中需要保护什么?投票结果?竞选的公正性?还是公民形成选举意见的信息生态系统?
在我看来,罗马尼亚案例的主要教训是,民主机构准备检查投票箱、竞选资金和选举程序,但对分析塑造集体注意力的数字基础设施的准备要少得多。在罗马尼亚,问题不仅仅是虚假信息的存在或俄罗斯的混合战争,问题是对某些分发和放大机制产生不成比例的可见性的怀疑。这也是为什么欧洲调查不仅关注内容,还关注推荐系统的运作以及其操控的可能性。
罗马尼亚案例表明,21世纪的选举脆弱性不再仅仅出现在投票日,它开始于几个月前,在个性化内容流、自动推荐系统、影响者网络、数字社区和将注意力转变为政治资源的生态系统中。对于欧盟的近期历史来说,选举危机首次促使对数字平台在影响民主过程中的作用进行调查。这应该成为整个欧洲的警钟。因此,罗马尼亚的教训不仅是关于选举安全的教训,而是关于建立一代新的民主机构的必要性,这些机构能够理解和监测算法权力。
到目前为止,民主必须捍卫言论自由免受审查,未来十年的挑战将是捍卫公民在一个由自动影响系统塑造的信息环境中的自主性。在这方面,罗马尼亚并不是一个欧洲例外,罗马尼亚是一个欧洲警告。
然而,这场辩论有可能局限于技术逻辑,而问题本质上是一个民主和社会问题。
近年来,公众的注意力几乎完全集中在最明显的现象上:深度伪造、合成图像、操纵视频、自动化的虚假军队或协调的虚假信息运动。所有这些都是现实的威胁,必须认真对待。但它们只是一个更深层现象的可见部分。对欧洲民主的真正挑战不是虚假内容的存在。真正的挑战是出现能够组织、分发和放大集体注意力的技术系统,这在整个人类历史上都是前所未有的。
在我看来,未来的欧洲选举不会首先被现实的伪造所决定,而是由对可见性的无形管理所决定。谁生产信息并不是最重要的,而是谁控制着将这些信息提供给数百万人的机制。这就是为什么欧洲的辩论必须从简单的内容问题转向信息基础设施的问题。一个虚假的视频可以被识别,一张操纵的照片可以被验证,或者一个伪造的信息可以被拆解。
更困难的是识别一个算法决定某种情感、某个主题或某个政治行为者需要获得异常、重复和不成比例的曝光的时刻。这里是当代社会的根本脆弱性所在,我们必须理解,我们不仅生活在一个虚假信息的时代,而是生活在一个放大的时代。
传统上,公共空间是通过相对可见的机构组织的:媒体、政党、大学、公民组织、舆论领袖。今天,公众舆论形成过程的一个重要部分是由自动推荐系统介导的,这些系统根据不透明的标准运作,并且首先是为了捕获注意力而优化。这种转变实质上改变了民主竞争的性质,因为我们不再仅仅看到思想之间的对抗,而是看到算法可见性之间的竞争。政党、政府、利益团体、外部行为者和激进组织争夺对分发公众注意力的基础设施的访问。
人工智能不仅仅是一个内容生产工具,它成为了公共空间的结构性参与者,并影响公共议程、集体优先事项、风险感知,甚至社会现实的定义。这就是为什么我认为委员会的建议必须只是一个更雄心勃勃的过程的第一步。
欧洲需要一种范式转变。
首先,我们必须在选举期间开发独立的审计机制,以审查推荐和算法放大系统。当组织信息流通的机制几乎不可能从外部评估时,民主无法有效运作。我们不仅需要知道谁支付了政治广告,还需要知道它是如何被放大的。此外,识别操纵内容是不够的,我们还需要理解它是如何到达数百万人的。我们现在观察到的是效果,但我们必须理解机制。
其次,欧洲需要系统性工具来测量信息脆弱性。目前我们测量通货膨胀、失业、贫困、经济竞争力或创新水平,但我们甚至没有考虑测量一个社会抵御信息操控的能力。我们应该测量信息的无序程度,测量知识的碎片化程度和对合法知识来源的信任程度。不幸的是,我们没有意识到我们应该测量公民的认知自主性。所有这些都已成为民主运作的战略变量,而在缺乏这些工具的情况下,欧洲将继续在危机发生后反应,而不是在其影响变得明显之前。
第三,有必要建立一个永久的民主韧性基础设施,而不仅仅是临时工作组或充满建议的定期报告。我们需要永久的制度能力,将学术研究、选举当局、监管机构、公民社会和数字平台连接起来。
欧洲民主保护伞是一个有希望的开始,但它的成功将取决于从防御性方法转向前瞻性方法的能力。我们不应仅仅回应信息攻击,而应发展识别脆弱性的能力,以便在它们被利用之前。
同时,欧洲必须避免一个重要的陷阱。对新威胁的回应不应导致过度限制言论自由或将数字空间转变为一个普遍监控的系统。民主不能通过削弱自身价值的方法来捍卫。因此,透明度、可审计性和平台责任必须成为欧洲数字治理的核心原则。
要明确,根本问题不是人工智能的存在,而是权力在一个由人工智能管理大量信息、塑造注意力和影响集体行为的社会中的分配。因此,关于人工智能和选举的辩论实际上是关于民主未来的辩论,而不是关于技术的辩论。我们讨论的是公民做出自主决策的能力,尤其是关于公共审议的完整性。讨论是关于信任、合法性和社会凝聚力。
欧洲需要关于在选举中使用人工智能的建议,但更重要的是:它需要一种理论和适应算法时代的民主韧性政策。否则,我们将面临对工具的监管,而忽视了当代民主运作的社会和认知环境的深刻转变。
罗马尼亚2024年场景,一个警告
罗马尼亚可能是这一新的民主脆弱性时代最相关的欧洲案例研究。2024年的选举危机不仅仅是一个内部政治争议,它是欧盟首次直接面对选举过程可能受到数字平台、推荐算法、协调行为和不透明信息操作的显著影响的时刻。
宪法法院取消第一轮总统选举,欧洲委员会对TikTok的后续调查以及关于外部干预的辩论使罗马尼亚成为新的民主风险的欧洲实验室。除了政治和法律争议,罗马尼亚案例提出了一个根本性的问题:在数字民主中需要保护什么?投票结果?竞选的公正性?还是公民形成选举意见的信息生态系统?
在我看来,罗马尼亚案例的主要教训是,民主机构准备检查投票箱、竞选资金和选举程序,但对分析塑造集体注意力的数字基础设施的准备要少得多。在罗马尼亚,问题不仅仅是虚假信息的存在或俄罗斯的混合战争,问题是对某些分发和放大机制产生不成比例的可见性的怀疑。这也是为什么欧洲调查不仅关注内容,还关注推荐系统的运作以及其操控的可能性。
罗马尼亚案例表明,21世纪的选举脆弱性不再仅仅出现在投票日,它开始于几个月前,在个性化内容流、自动推荐系统、影响者网络、数字社区和将注意力转变为政治资源的生态系统中。对于欧盟的近期历史来说,选举危机首次促使对数字平台在影响民主过程中的作用进行调查。这应该成为整个欧洲的警钟。因此,罗马尼亚的教训不仅是关于选举安全的教训,而是关于建立一代新的民主机构的必要性,这些机构能够理解和监测算法权力。
到目前为止,民主必须捍卫言论自由免受审查,未来十年的挑战将是捍卫公民在一个由自动影响系统塑造的信息环境中的自主性。在这方面,罗马尼亚并不是一个欧洲例外,罗马尼亚是一个欧洲警告。