上海 AI 应用乱象整治首阶段收官:处置违规账号 1.8 万余个,下架智能体 1.4 万余个 - 极速电竞APP
上海市委网信办就“清朗·整治 AI 应用乱象”专项行动的首个阶段发布了公告,该行动自 2026 年 4 月下旬启动,旨在解决一系列 AI 应用中的突出问题,包括未履行备案登记义务、安全审核能力不足、数据投毒、生成内容标识不清以及滥用 AI 技术等。
为推进此项工作,上海市委网信办于 5 月 13 日召集了互联网内容平台、电商平台、应用商店、开源社区等五类共 17 家重点网站平台,部署了具体要求并指导其完善安全和举报机制。随后,稀宇、千问、小红书、哔哩哔哩、拼多多等平台于 5 月 15 日发布了专项治理公告,同时上海举报中心开通了专项举报渠道,已收到 20 余件涉 AI 类举报和市民反映线索。
在专项行动的第一阶段,上海市委网信办指导这 17 家重点平台进行了自查自纠。在此期间,共清理拦截了超过 487 万条包含“AI 生成”标识缺失的工具教程、数据投毒、未经授权的“换脸拟声”内容、AI 谣言以及低俗内容等违法违规信息。此外,还处置了超过 1.8 万个违规账号,下架了超过 1.4 万个违规智能体,查处了 1300 余件违规商品,并对屡次违规账号采取了分级约束和封禁措施。各平台也根据自身特点展开了治理:稀宇下架了“一键脱衣”和赌球博彩等智能体,并打击了利用 AI 编写病毒和钓鱼软件的行为;小红书清除了 AI 代运营账号,禁止销售带有 AI 标识移除的商品,并推进与制作平台的隐式标识互认;哔哩哔哩在内容发布页面强化了“AI 生成”标签的必选要求;魔搭社区则清理了涉低俗内容的的数据集,加强了开源模型的审核管理。同时,上海市委网信办委托专业机构对 32 款用户量大的 AI 产品进行了巡查测试,并对 4 家企业进行了现场检查,重点督导其整改 AI 标识落实不到位和平台安全审核能力不足等问题。
在协同治理方面,上海市委网信办加强了与各区网信办的协作,举办了 16 场 AI 安全合规培训,并对未完成备案的模型服务进行了排查和安全评估。目前,上海已完成 169 款大模型的备案,以及 183 款调用已备案模型 API 的生成式人工智能应用的登记。在浦东软件园举办了关于“AI 场景落地中的安全挑战和合规赋能”的沙龙,推动政企对话。针对医疗和政务等重点领域,联合市数据局优化了政务智能应用测评验证中心,并制定了安全规范,同时依托医疗大模型应用检测验证中心保障医疗 AI 应用安全。此外,还联合市市场监管局调研了头部企业,探索源头治理途径。
针对未成年人保护和拟人化 AI 服务规范,上海市委网信办已围绕即将于 2026 年 7 月 15 日生效的《人工智能拟人化互动服务管理暂行办法》开展了多项准备工作,向近百家平台进行了法规宣贯,指导其推进合规建设。针对未成年人模式存在的问题,如身份核验失效和不良内容生成,督导企业严格落实身份核验,防范情感依赖和消费诱导,并对问题突出的应用进行了监管执法。
专项行动的第二阶段将重点关注利用 AI 技术生成“数字泔水”、制作发布虚假信息、散播暴力低俗内容、仿冒他人、侵害未成年人权益以及从事网络水军活动等问题,并将持续清理违法违规信息,依法处置违规账号和平台。上海市委网信办将通过专项举报入口持续接受公众提供的违规线索。
留下你的精彩评论