熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

编者按:从硅谷到华强北,从莫斯科到以色列,从实验室到办公室,从课堂到战场,全球人工智能(AI)技术飞速发展,等不及人们争论出个结果,就已经快速应用到人类世界的方方面面。

AI治理课题随之变得极为紧迫和现实。

日前,中国向联合国大会提交的“加强人工智能能力建设国际合作决议”,获得美国联署,获得通过。两个大国在AI问题上携起手来,促进全人类共享智能红利。

这是中国在AI治理问题上推动全球合作的最新进展。

2023年10月,习近平主席宣布中国提出《全球人工智能治理倡议》,愿同各国加强交流和对话,共同促进全球人工智能健康有序安全发展。

今年5月,习近平主席在法国进行国事访问期间,与马克龙总统共同发布《中法关于人工智能和全球治理的联合声明》。

今年2月,印尼在全球人工智能伦理论坛上提出了在全球人工智能治理时要考虑到“全球南方”,国际社会大多数的声音,也应认真倾听。

面对这一全球挑战,中国是何立场,有何抓手?如何平衡斗争与团结?应当依靠谁,团结谁?科工力量与华东师范大学国际传播研究院全球南方研究中心主任熊节进行了深入探讨,以下是此次对话实录:

科工力量:对全球AI治理来说,AI武器化可能是我们面临的显性问题,AI武器化有哪些途径?

熊节:在我们不久前的探讨中,参考了美国去年11月由拜登总统所发布的《关于人工智能的安全、可靠、可信发展和使用的总统令》及白宫的解读。

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

2023年11月,美国总统拜登签署了《关于人工智能的安全、可靠、可信发展和使用的总统令》(Executive Order on the Safe,Secure,and Trustworthy Development and Use of Artificial Intelligenc)。新华网

我们之所以借鉴美国的观点,是因为美国在人工智能技术方面最为先进;同时,历史上,美国在将科学技术武器化方面也处于领先地位。因此,我们应该首先参考美国的思路,了解他们如何看待这一问题。

从总统令中,我们可以看到几个主要方向:第一种是人工智能对关键基础设施的影响,可能产生交通、能源、化学、生物、辐射和数字空间等领域的影响。随着整个社会的数字化程度越来越高,基础设施越来越多地采用计算机数字化管理,人工智能的应用也在增加,数字世界的攻防战一直持续不断,在人工智能被引入后,对抗性会更强。

第二种是利用人工智能进行危险生物材料研发的风险。这一点在拜登总统令中被特别强调,必须引起我们注意。解读中提到,政府采购需要与私营部门合作,列出筛选后的供应商清单。我们从中可以推断,美国不但已有厂商在进行相关工作,而且这些厂商希望通过影响政策来垄断相关业务,防止其他企业介入。这些企业的活动内容值得我们深入关注。

由于现阶段蛋白质合成技术在很大程度上依赖于“穷举法”,而人工智能无疑能大幅提高这一过程的效率和准确性。如果这种技术被用于危险目的,比如战争,那么它也能大幅提高生物武器的制造效率。鉴于美国在这方面的历史记录并不良好——德特里克堡生物实验室曾经接受日本731部队的所谓科研成果,并且曾在朝鲜战场、越南战场多次使用生化武器,这一点必须警惕。

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

位于美国马里兰州的德特里克堡生物实验室中新网

第三点是利用AI生成内容来制造欺诈和假新闻的风险。以前,造谣传谣主要是通过文字内容,如今配合人工智能深度伪造等相应技术,现在视频造假内容也越来越多。我们已经看到,宣传战、舆论战都是美国混合战争的关键组成部分,人工智能技术将在其中发挥重要作用。

科工力量:类比“核俱乐部”、“太空俱乐部”,现在美国明显正在努力推动“AI俱乐部”,您认为AI武器化能否成功?

熊节:我认为一定会成功。从最初的木棒到后来的各种技术,人类有一种不好的传统,那就是将一切能够武器化的东西都武器化。另外,如果与“核俱乐部”相对防止了核扩散的情况相比,我觉得AI大模型的扩散是更令人担忧的问题。当初,核武器的出现,很快就形成了一种“末日威慑”,相比之下,AI的武器化在单次打击的毁灭力上没有那么强,因此其带来的恐惧心理相对较低,但另一方面,AI的可获得性却比核武器大大提高,软件可以零成本复制,大模型复制起来可能稍微困难一些,但最多也只需处理几百GB的数据,如今要控制一个AI大模型的扩散几乎是不可能的,各种犯罪团体、极端主义团体都可能获得大模型。

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

ChatGPTpixabay

科工力量:包括中国在内的南方国家怎么应对?

熊节:7月1日,第78届联合国大会通过了一份重要决议《加强人工智能能力建设国际合作决议》,这份决议由中国主提,140多国参加决议联署。

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

7月1日,联合国通过《加强人工智能能力建设国际合作决议》现场中国日报

这份决议强调人工智能发展应坚持以人为本、智能向善、造福人类的原则,鼓励通过国际合作和实际行动帮助各国特别是发展中国家加强人工智能能力建设,增强发展中国家在人工智能全球治理中的代表性和发言权,倡导开放、公平、非歧视的商业环境,支持联合国在国际合作中发挥中心作用,实现人工智能包容普惠可持续发展,助力实现联合国2030年可持续发展议程。

这与将AI武器化、用于谋求霸权地位的立场和做法形成鲜明对比。

从社会主义新中国立场和传统出发,我们的态度是,不追求武器化,但不放弃武器化。我们不会主动侵略或欺负别国,但要维持和平,首先需要有斗争的能力,武器是这种能力的重要部分,如果没有武器化的能力,就可能面临挨打的风险。

技术上,数字世界的攻防往往是一体的,我们需要的是坚固的“盾”,但前提是拥有足够锋利的矛,才能帮助我们识别和防范各种高度动态化的威胁。如果我们想要促进赛博空间的和平,其方式可能不是通过每个国家都拥有最强的武器来形成相互威慑,而是通过普及更有效的防范措施,让所有国家都能受益,这样,AI武器可能就难以发挥作用了。

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

pixabay

科工力量:AI治理背后仍然是数字主权的问题?

熊节:是的,数字主权这个课题比较新,多数相关的论文也都是在2019年之后发表的。我是做全球南方研究的,以个人经验来看,许多南方国家对此还没有重视,甚至没什么概念。

首先,让我们来探讨一个总体的概念:数字主权究竟是什么?我们之前已经讨论过对数字主权的两种从根本上截然不同的观点,一种观点认为,数字空间是一个全新领域,一片新的“处女地”,在这里,权利、义务和法律都与现实完全不同,人们可以完全自由地活动,这主要是西方、尤其是美国的观点,因为最强大的几家科技巨头都在美国;另一种观点则认为,数字空间是国家物理疆域的自然延伸,国家主权的概念也从领土、领空、领海延伸到数字空间,这也是中国政府的立场。

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

前CIA职员爱德华·斯诺登曾将两份绝密资料交给了英国《卫报》和美国《华盛顿邮报》,曝出了震惊世界的棱镜门。全世界都意识到了当数字主权不在自己手中,竟会带来如此巨大的麻烦。新华社

从我的观察来看,特朗普担任总统后,由于美国的一些行为,其他国家才开始纷纷意识到在数字空间建立主权的重要性。

主张数字主权的目的有几个:首先是保障国家安全,这涉及到刚才的“AI武器化”的话题。我们已经清楚地看到,如果无法控制数字空间,一个国家的政权和主权安全将十分脆弱,利用社交媒体影响选举的例子已经很多,在AI技术的加持下,影响舆论的工具变得极大丰富。

第二个目的是数字经济的主导权。今天,数字经济已经是国民经济的重要组成部分,有一些研究者认为,在不远的将来,数字经济参与GDP的比重可能高达60%。问题在于,这块经济“蛋糕”是由谁来掌控?——是国家?本国企业?还是那些超级跨国企业(主要是美国企业)?

第三个目的是保护本国的数据安全和个人隐私。公民的数据安全和个人隐私应当由本国法律保护?还是放到Google服务器上,接受美国法律的保护?这无疑是一个重要的问题。

构建面对AI的攻防体系,实际上是实践数字主权和国家安全目标的一个方面、一种方式。

在很大程度上,数字主权是一个整体概念,需要技术和政策层面共同来实现,它要求在多个方面实现独立自主。

第一是对数据的自主权——能否将国家产生的数据掌握在自己手中;

第二是基础建设的自主权,主要指的是新的数字基础设施——硬件、软件、云服务以及网络设施等。例如,欧洲目前面临这一问题,尽管GDPR原则上要求数据自主,但由于软件和硬件不在自己的控制之下,这一规定实际上意义不大,数据还是被美国科技巨头拿走了。政府要求大企业将数据留在国内,但实际执行程度取决于政府与跨国企业的博弈和相互依赖程度。

第三是科技的自主权。在中国,除了当前受到广泛关注的芯片领域外,还有许多其他科技领域正在被“卡脖子”。如果科技不能自主,基础建设的自主性也会受到限制。

第四是治理的自主权,在前三项的基础上,国家是否有能力提出并实施自己的数字空间治理理论、体系和方案?当前,美国学者强烈反对以中国为代表的互联网治理制度,他们声称,互联网应该是一个开放自由的领域,这种所谓自由和开放实际上意味着对处于强势地位的美国企业和美国技术敞开大门。

除了中国外,几乎所有重要的国际互联网领域,尤其是软件层面,都是受到美国大企业控制的。因此,AI治理问题,背后是一个关于数字世界治理能力的系统问题。

关于数字主权问题,当前可以明显地看到几个不同的立场。美国对此持强烈反对态度,从政府到学术界和企业界均是如此。世界经济论坛曾发布一份白皮书,积极主张跨境数据的自由流动,他们建议其他国家不应限制数据的流动,甚至包括涉及犯罪的数据——他们声称:如果政府需要,可以和掌握数据的大企业协调来获得这些数据。——当然,在特朗普过去几年不遗余力地强调“美国第一”和单边制裁的教育下,这种观点在许多人看来已经颇为荒谬。但这代表了美国政府、企业界、学术界的共识,他们非常反对数字主权的概念。

欧洲方面的立场是重视数字主权,并积极推动相关事务,这大约是从斯诺登事件,尤其是当默克尔得知自己的电话被监听后开始的。欧盟的GDPR在2018年5月生效,被视为“史上最严”的数据保护立法,企业在发生数据泄露事故的情况下可能会面临高达年收入4%的罚款,但欧盟很快发现,光罚款不解决问题,于是欧盟又在2020年9月成立云基础设施组织“盖亚X(Gaia-X)”,作为是欧盟实现数字主权的核心工具之一,它被视为欧盟打破美国公司在云基础设施领域垄断地位的重要举措。

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

维基解密曾在2015年宣称,美国国家安全局(NSA)窃听德国前总理默克尔及其最亲密顾问的电话长达多年,并对德国前任总理的下属进行了秘密监视。新华社

中国在全球南方中比较特殊。根据我的研究,中国至少从2006年就开始非常强调数字主权。中国明确主张将网络空间视为现实空间的延伸,强调精神文明建设的重要性。从那时起,中国在这方面一直有着清晰的认识,并稳步推进。从效果上看,中国在科技自主和治理制度方面都取得了良好的成果,尽管在科技前沿还有一些卡脖子的领域、参与国际治理方面还有一定差距,但总体而言,中国在数字主权方面是相当有力的。

科工力量:您提到对于欧盟这样的经济体来说,数字主权的独立自主都成问题,对于广大南方国家就更困难了,这怎么办?

熊节:是的,这个观察很重要。

全球南方国家目前面临的首要问题在主观意识上,包括印度、巴西和南非等体量较大的国家,广大南方国家中的大多数还没有意识到数字主权的重要性,没有形成对数字主权系统性整体性的认知,策略上也显得不够成熟。

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

今年2月,第二届人工智能伦理问题国际论坛在斯洛文尼亚举行央视

今年2月,印尼官员在联合国框架下的全球人工智能伦理论坛上提出,在制定全球人工智能(AI)治理时要考虑到“全球南方”,这是一个积极的信号。值得一提的是,今年正值和平共处五项原则诞生70周年,这一系列简洁、清晰、明确的国际关系指引正是在印尼诞生的,未来或许可以讨论将和平共处五项原则引入到数字空间。

最近,中国领导人在一次讲话中提到,欢迎更多全球南方国家加入数字经济和绿色发展的国际经贸合作框架。包括之前的数字丝绸之路倡议,这些都是非常好的提议。

个人认为,在推广中国的数字治理能力和经验的过程中,我们应该明确提出数字主权作为一个课题,如果我们不主动构建这一框架,可能会被别人利用。中国正在帮助全球许多国家建设基础设施,包括华为、中兴等企业也作为数字基础设施的建设者正在走出去,并且已经遭遇了所谓“危害国家安全”的莫须有的抹黑。我们应该主动考虑抛出和构建这个话题,而不是等待被迫回应。

科工力量:中国的立场向来是反对霸权、反对垄断。ChatGPT推出后,OpenAI+英伟达芯片+CUDA生态似乎成了全球人工智能的唯一解。而华为(昇腾芯片、盘古大模型)、讯飞(大模型)为代表的中国科技企业,在这个问题上的自我定位是“为世界提供多一种选择”,对于南方国家来说,“多一种选择”有意义吗?

熊节:我认为今天的世界对于人工智能的发展存在一种迷思,也关乎Open AI的大语言模型GPT在历史上的地位问题。我们需要纠正一个观点,过去两年,人们可能过度夸大了GPT的作用,错误地认为它即将实现通用人工智能,但事实并非如此,GPT并不是真正的“通用大模型”解决方案,它只是专门针对人类语言进行特化的一个垂类模型,由于它能够与人类进行对话,使人们更容易将其联想到真正的“智能”,但它仍然不是通用的,只是专注于语言处理的大模型。

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

大语言模型手机应用pixabay

我们需要认识到,人工智能的发展方向是多样的。大语言模型本质上是一种语言处理的AI工具,计算机是通过人类语言接收信息来“理解”世界的,换句话说,这些信息对机器来说是“二手”的。今年以来,市场上“具身智能”概念很热,中国在具身智能上也有产业链优势。具身智能并不限于人形机器人,而是泛指具有实体,并通过多种传感器收集物理世界信息的人工智能系统。许多AI的工业应用,实际上都可以视为具身智能。这些系统获取的数据是直接的,即计算机通过各种传感器直接与物理世界交互,而非通过人类语言再转换为机器语言。

如果我们将视野从纯粹的虚拟世界扩展到虚拟+实体,我们会发现,不但人工智能的发展方向是多元的,GPT只是众多发展方向中的一种,而且中国在一些领域可能已经领先于美国,例如一些电商平台带来的低价,其中一大部分降本空间就来自所谓的“黑灯工厂”和“黑灯物流”,由于生产和物流过程中可以最大程度减少人工干预,因此可以实现24小时不间断的自动化运转,这是人工智能已经给我们很多人带来的红利。

单极和垄断导向的是效率低下,在经济学中,市场竞争被认为是推动效率和创新的关键因素,因此“第二选择”是至关重要的。对于全球南方国家而言,如果没有中国,他们或许别无选择,也无需考虑。但现在,所谓一生二,二生三,三生万物,摆在眼前的不但有美国的方案,有中国的方案,还会有欧洲的方案,不久前中法两国刚刚达成的《中法关于人工智能和全球治理的联合声明》,不要忘记,无线通信行业从3G到4G,从4G到5G的发展过程中,就是中欧联手,形成了世界标准。

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

《中华人民共和国和法兰西共和国关于人工智能和全球治理的联合声明》外交部

在构建人类命运共同体的数字空间时,中国的目标不是取代美国成为单极,而是希望各国能够实现独立自主的发展,同时又能实现互联互通和共享繁荣。我们必须承认,单极体系的构建相对简单,而一个多极化、多元化的架构无疑更具挑战性,目前,我们可能还没有一个明确的答案,也不一定能很快找到答案。因为构建这样一个架构的过程,既是技术层面的,也是治理层面的。它需要中国和全球南方国家共同探讨,在民主的政治框架下形成共识。

在这个过程中,中国的角色定位首先是美国数字霸权的挑战者,我们首先是作为“第二选择”的提供者,以及新理念、新经济的践行者和示范者,这不仅包括技术创新,还包括产品开发和治理经验的分享。我们的目标是为全人类的数字空间提供公共价值,而不仅仅是人工智能技术的发展。

科工力量:在高文院士看来,中国发展人工智能,有数据、应用场景和理工科青年人才数量方面的优势,但大师级别的高端人才缺乏仍是短板。您认为,我们要发展人工智能的治理能力,IT工程师是能够依靠的力量吗?

熊节:我认为我们社会对科学技术的看法需要进行一定程度的调整,特别是最近二三十年的发展中,科学研究的本质已经发生了显著变化。科学研究的前沿领域如今已不再是完全依赖纯粹的理论或思辨性研究,更多是要基于工程的实践研究。

以欧洲的粒子对撞机实验室为例,他们发表一篇论文经常会有上千个作者,这不仅是因为研究的复杂性,也是因为需要众多工程人员的协作才能完成实验。不但产学研应当结合,而且科学研究本身已经离不开工程问题,大师的洞察力和思辨能力虽然重要,但已不是唯一的决定性因素,科学技术研究的方式已经进入了一个新的时代,但全社会对此的认识还不够清晰,我们仍然存在一种观念,即科学研究是以思辨为主,而技术工程是实践为主,这种将科学与技术工作割裂开来的观念已经过时。

要讨论程序员或软件工程师是否构成新的工人阶级,我们应该首先认识到工程技术是科学前沿发展的必要条件。科学前沿的推进不再仅仅是实验室里少数人通过思辨来实现的,而是整个行业——包括制造芯片、编写平台、云计算、应用开发、数据分析和数据呈现等一大批工程师共同努力的结果。

从这个角度来看,我们可以理解为什么美国的AI技术的发展可能已经落后,尽管在普林斯顿、MIT等高校中可能有在最前沿的算法和人工智能方法上取得重大突破的大师,但如果缺乏真实的产业场景和工程人员,并不足以支撑整个人工智能学科的前沿发展。科学的前沿是通过整个工程、应用和市场大环境共同推进的,所有从业者都是推动科技前沿发展的重要组成部分。我们不能期望仅通过高校培养出能够获得诺贝尔奖或者菲尔茨奖的大师,就能大幅度推进人工智能技术的前沿。这是一个错误的想法。

科工力量:从这个角度来说,中国在人工智能发展和治理上的实践,对广大南方国家也有借鉴意义,因为各国的实际情况和产业场景都是丰富多样的,人才也是可以培养的。

熊节:是的,但广大亚非拉国家首先需要意识到这个问题,其次,需要尽快加入到这个快速发展的业态里面来,目前,很多国家在这个问题上缺乏足够的技术能力,同时缺乏相应的思考,在没有技术能力,没有工程环境的情况下,他们甚至无法思考这个问题——思考了也没有用,没有实践支撑的话,可能连有意义的问题都找不到。所以中国必须要引领,把全球南方纳入到人工智能发展的进程里面来,让更多的国家的本土人才都能够参与,通过参与实践提升他们的能力,然后再回馈他们自己国家的发展。

科工力量:我提一个比较功利的问题,这么做对中国有什么好处呢?

熊节:人类命运共同体看似理想主义,其实也非常现实。

从2015年11月的中央扶贫工作会议召开到今天过去,中国通过扶贫攻坚、开发农村和县域经济下沉市场以及基础设施建设,使更多人具备购买力,将更多地区市场纳入整体的国内国际经济双循环之中,从而扩大了经济规模。

同理,只有全球南方国家普遍实现了发展,并走上各自的现代化道路,才能扩大整个全球市场的规模,工业化和现代化是必要的,只有在满足了基本生活需求之后,人们才会对更多的物质产品产生需求,从而形成真正的需求市场,中国的产品到当地,当地生产的产品也卖到中国,才会有人民币的国际循环,才能为中国企业提供拓展自身发展空间的机会。所以,人类命运共同体不仅是一个愿景,还代表了实现全球经济循环的具体途径和中国经济发展的真正未来。

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

中国助力非洲农业现代化计划新华社

科工力量:所以我们才会从根子愿意推动技术普惠,那么在实践中还会有怎样的困难?

熊节:首先,我们有责任主动帮助南方国家对AI祛魅,推动技术普惠,我们承担着教育的责任。如今与过去反殖民斗争时期不同,当时的压迫是显性的,像法农这样的思想家,通过深入思考就能形成反殖民的理论,就能教育非洲人民进行斗争。当前,我们面临着AI武器化、数字鸿沟扩大以及人们对未知技术的天生恐惧等问题,在数字主权问题上,如果没有技术基础和工程能力,人们甚至无法开始思考这个问题。因此,中国有责任去发挥引领作用。

其次,我们需要建立一种更具体、更实际的机制,要将中国、俄罗斯、沙特、印尼、新加坡等等国家的相关领域专家聚集在一起,例如在金砖+的体系下形成一个紧密合作的工作组,共同探讨数字主权问题。

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

金砖合作模式助力全球南方发展中新网

需要研究的问题是非常具体也非常紧迫的:我们需要达成什么目标,如何实现这些目标,以及如何构建一个多边治理结构。这不仅是一个技术问题,也是一个经济和政治问题。同时,还要积极开展合纵连横,团结法国、德国以及美国所有意识到数字霸权和反垄断重要性的专家、工程师和技术人员,建立一个开放、开源的平台,促进共同研究和讨论。这些问题已经迫在眉睫,需要我们立即着手探讨和解决。

历史上,开源软件社区对软件的民主化进程起了很大的作用,西方的很多技术专家和工程师在开源软件运动中扮演了重要角色。

但现在我们应该看到,开源软件社区在面对数字主权问题时也表现出了一些局限性,例如他们有过度盲目依赖技术实现民主的倾向,对区块链、Solid等技术抱了不切实际的过高期望,并且往往回避与政府的交互和协作。而且据我观察,很多西方的开源人士对中国存在很大误解,对中国的数字主权和数字“一带一路”抱持怀疑态度。

我认为,我国的学者和政策研究者应当就数字主权问题主动形成理论叙事,主动与全球开源社区展开辩论,在辩论中识别谁是我们的朋友,并找到协作共建的方式。

参考资料:

印尼提出全球人工智能治理应考虑“全球南方”,

https://www.medcom.id/cn/technology/read/2024/02/05/35565

联合国临时报告:为人类治理人工智能,

https://www.un.org/zh/ai-advisory-body

中国《全球人工智能治理倡议》,

http://vancouver.china-consulate.gov.cn/zt_0/zggcdd100nxszt/202311/t20231109_11176352.htm

中国为全球AI治理注入新动能,

http://cn.chinadaily.com.cn/a/202404/12/WS6618c8a4a3109f7860dd925c.html

【海外智库观察238期】人工智能工具需适应“全球南方”对于可解释性的需求,

https://hub.baai.ac.cn/view/37482

中法关于人工智能和全球治理的联合声明,

https://baike.baidu.com/item/%E4%B8%AD%E6%B3%95%E5%85%B3%E4%BA%8E%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%92%8C%E5%85%A8%E7%90%83%E6%B2%BB%E7%90%86%E7%9A%84%E8%81%94%E5%90%88%E5%A3%B0%E6%98%8E/64398174?fr=ge_ala

Flanagan, A.J., AlSaeed, N. and Warren, S. (2020) A Roadmap for Cross-Border Data Flows: Future-Proofing Readiness and Cooperation in the New Data Economy, World Economic Forum. Available at: https://www3.weforum.org/docs/WEF_A_Roadmap_for_Cross_Border_Data_Flows_2020.pdf (Accessed: 02 March 2024).

熊节 | 人工智能治理:中美联合国握手,哪里求同,哪里存异?

本文系观察者网独家稿件,文章内容纯属作者个人观点,不代表平台观点,未经授权,不得转载,否则将追究法律责任。关注观察者网微信guanchacn,每日阅读趣味文章。

(0)
上一篇 2天前
下一篇 2天前

猜你喜欢