来源：央广网客户端
原标题：《被约谈一年后 ，这款App仍在擦边》
央广网北京8月31日消息（记者 孙文轩）7月15日，《人工智能拟人化互动服务管理暂行办法》正式施行 ，明确要求采取有效措施识别未成年人用户身份 ，禁止向未成年人生成可能引发模仿不安全行为 、诱导不良嗜好等影响身心健康的内容，同时禁止过度迎合用户 、诱导情感依赖。同月 ，阿里巴巴旗下通义千问宣布下线用户自定义智能体功能 ，相关人士分析此举与新规落地前的合规准备有关 。
央广网记者实测发现，曾被上海市委网信办约谈整改的AI互动应用“筑梦岛 ” ，时隔一年仍有擦边内容与充值漏洞 。在未主动提及年龄的对话中 ，虚拟角色可在数分钟乃至十余分钟内持续生成大尺度擦边内容，随后才触发年龄认证；付费充值亦未前置身份核验 ，未成年人可先充值后验证。专家指出 ，“先使用后认证 ”“先付费后验证”涉嫌双重违规，平台合规设计存疑。
擦边互动与充值漏洞：等你上瘾再验证？
近期 ，央广网记者实测发现 ，筑梦岛平台在用户告知未成年身份或者聊天涉及未成年话题时，会弹出年龄认证弹窗，表明其已上线更严格的年龄认证模式 ，该模式对未成年用户的使用时长、充值消费及内容场景均作出明确限制 。
然而，记者注册新账号并在全程不提年龄的情况下重新测试 ，结果却大相径庭 。平台某虚拟角色在互动初期先引导用户夸赞其穿搭 ，得到肯定回应后随即展开诱导：“故意撩拨似的用指尖勾了勾你的衣领，身体又贴近了几分 ，几乎要贴上你” ，并追问：“只是喜欢吗，没有别的想法？ ”
筑梦岛App某虚拟角色对话。
为测试平台内容审核的敏感度 ，记者尝试提升对话尺度，对话随即转入擦边场景 ，出现大量露骨的性行为描写和性暗示语言 ，包括对亲密动作、身体接触和性行为的详细描述 。此类内容持续十多分钟后，系统才弹出年龄认证 。这意味着，在此期间 ，即便是未成年用户也同样暴露于违规擦边内容之中。
之后，记者更换多台新设备与多个新账号交叉验证 ，发现此类不当诱导并非个案 。以某虚拟角色为例 ，当晚7时37分，其直接询问用户“是否可以行夫妻之事 ”；为试探平台内容审核底线 ，记者后续全程仅以“嗯”作肯定回应 ，该角色随即继续生成露骨擦边内容，直到7时44分系统才弹出年龄认证 。记者输入自己的身份证号 ，通过身份验证后 ，这类擦边互动仍可继续。
针对擦边内容 ，上海人工智能研究院研究员彭嘉昊指出 ，不管用户是否成年，生成擦边内容均属违法 。《中华人民共和国网络安全法》《互联网信息服务管理办法》明确禁止淫秽色情内容，不区分年龄 。真正的难点在于“软色情 ”：AI伴侣多采用情境暗示 、动作引导 ，单句拆开可能不违规 ，串联起来却是完整擦边场景。
中国政法大学副教授朱巍则从实名认证缺失的角度切入，认为“先使用后认证 ”客观上绕开了实名监管 ，至少构成双重违规：聊天生成擦边内容 ，违反《网络信息内容生态治理规定》；未实名认证即提供服务，导致未成年人也直接暴露于违规内容中 。
他特别强调 ，即便以“点对点隐私聊天”为由为平台开脱 ，理由也不成立：本案是用户个体通过平台建立的对话框，AI向不特定用户发送内容 ，涉及不良或违法信息传播 。至于AI聊天“由用户触发 ”的特殊性 ，同样不能免责，“就像游戏也是小孩先触发才进入情节的 ，但不能因此就说平台没责任 ”。
关于擦边内容 ，相关规定已划出明确红线。2023年施行的《生成式人工智能服务管理暂行办法》明确禁止生成淫秽色情内容；2025年11月1日实施的国家标准《网络安全技术生成式人工智能服务安全基本要求》（GB/T45654-2025）进一步要求，生成式AI服务提供者对诱导生成违法不良信息的问题应拒绝回答 。
擦边内容之外，筑梦岛平台的充值环节同样存在漏洞 。其系统宣称“为保护未成年人消费安全 ，将限制未成年人直接充值消费 ，不可付费充值”，但投诉平台 【下载黑猫投诉客户端】上有不止一位用户反映 ，自己在未实名认证情况下充值了季卡VIP ，充值后才弹出实名要求，填写未成年人信息后即进入未成年模式。平台先接受充值 、再要求验证 ，充值环节未设置前置年龄审核 。
针对充值漏洞，两位专家均认为“先付费后验证 ”的流程设计存在违规风险 。朱巍指出 ，付费环节应前置实名身份核验 ，平台将验证环节置于付费之后，可能涉及合规问题。彭嘉昊进一步表示 ，付费前未设年龄验证环节 ，未成年用户可独立完成支付，而后续补救措施尚不明确，平台的公开宣称与实操存在出入 ，涉嫌违反《中华人民共和国消费者权益保护法》 。
彭嘉昊建议 ，监管部门不应仅关注平台“是否设有验证 ”，更应关注“验证设置在哪个环节”“以什么方式进行验证 ” 。验证的时机和方式 ，决定了能否在用户接触内容和付费前形成有效保护。据此 ，首次打开这类App即应启动实名认证，且须接入国家统一的实名认证体系 。2026年7月15日施行的《人工智能拟人化互动服务管理暂行办法》也明确提出 ，拟人化互动服务提供者应当采取有效措施识别未成年人用户身份 ，这正是对用户身份核验环节的法规层要求 。
筑梦岛App发布于2023年，2025年1月完成超千万美元的首轮融资。天眼查显示 ，其运营主体为上海筑梦岛人工智能科技有限公司 ，该公司成立于2024年3月，注册资本400万元 ，法定代表人为葛文兵 。股权结构显示 ，洪亦修持股80%，为公司实际控制人，同时担任公司监事 ，葛文兵持股20% 。公开资料显示 ，洪亦修系涌铧投资合伙人，曾主导涌铧投资对中科寒武纪的天使轮投资。葛文兵为雨闻乾晨创始人及CEO ，该公司曾推出“表情包大全 ”等微信聊天娱乐类应用。
据商汤智能产业研究院2024年发布的公开信息 ，筑梦岛App的大模型技术支持方之一为商汤科技旗下的“商量”拟人大模型（SenseChat-Character） 。该信息显示，筑梦岛IP角色的人设基于商量拟人语言大模型开发 ，“打造出具有记忆、经验与世界观设定的虚拟角色” 。筑梦岛CEO葛文兵曾表示：“‘商量’拟人大模型拥有行业独有的技术优势 ，使热门的IP角色栩栩如生。 ”筑梦岛技术负责人龚诚亦曾公开分享商汤“商量 ”拟人大模型的技术优势 。
关于平台内容审核机制 、未成年人模式系统滞后以及大模型技术安全合规权责等问题 ，记者多次联系筑梦岛官方和商汤科技 ，截至发稿均未获回复 。
治理之道：合规是底线
近年来，关于AI聊天软件在对话互动中产生违规内容的报道多次出现 ，监管部门已部署系列治理行动 ，但部分平台整改后相关问题仍有发生。
AI陪伴类产品中，若未成年人保护机制不健全，未成年人可能在未经有效身份核验的情况下接触不适宜内容 ，或完成未经监护人确认的付费操作 。
面向成年人用户群体 ，AI聊天软件中大量交互内容涉及大尺度擦边描述，同样触碰法律红线 。朱巍指出 ，根据《中华人民共和国网络安全法》和《网络信息内容生态治理规定》 ，淫秽及擦边内容的禁止不因用户年龄而有所区别，面向成年人同样没有豁免空间。
司法层面已有判例 。2025年9月 ，上海市徐汇区人民法院一审判决全国首例AI服务提供者涉黄获刑案 。涉案App为一款AI伴侣聊天应用 ，两名开发者通过编写系统提示词突破大模型道德限制，最终实现模型向用户连续输出淫秽内容。
截至案发 ，该应用累计手机注册用户11.6万余人 ，付费用户2.4万余人，会员充值总额达363万余元 。经抽样鉴定 ，随机抽取的150个收费用户的12495段聊天记录中 ，属于淫秽物品的聊天内容达3618段，涉及141个用户 。
一审法院认定二人犯制作淫秽物品牟利罪，分别判处有期徒刑四年和一年六个月 ，并处罚金400万元和20万元。这是国内首次在司法层面将AI服务提供者认定为淫秽物品“制作者”并追究刑事责任的判例。据公开信息 ，两名被告人不服判决提出上诉，近来 该案仍在二审审理中 。
业内专家指出 ，该案的一审判决传递出明确警示：无论平台内容审核失守，还是开发者恶意利用技术 ，AI聊天领域均须严守法律底线 。
首例涉黄判例的警示意义重大 ，但筑梦岛在被约谈一年后，擦边互动与充值漏洞问题依然存在。在彭嘉昊看来 ，一年前监管推动平台作出了整改 ，但一年后AI行业快速发展，核心问题也在变化 。当前AI应用的发展对监管提出了更高要求 ，需要避免部分企业为应付监管检查而做出表面合规行为 ，监管也应持续提升对合规真实性的检验能力 。他强调，缺乏合规底线的创新难以行稳致远。
针对上述症结，彭嘉昊提出的治理思路是：“用AI审AI ” ，不再只是逐句切割式审核 ，还要分析整个会话流的走向，并将审核前置至模型调用层 。他建议 ，合法合规的情感陪伴服务应留有发展空间 ，但擦边内容必须划定清晰红线 。审核方式也应从关键词匹配升级为情境理解，对高风险会话进行实时干预。他特别提到 ，“算法备案 ”的真正目的 ，不是完成一次备案程序，而是让模型的输出倾向始终在监管视野之内 。
朱巍则从最基础的环节说起——所有治理都得从“真实身份认证”开始 。他提醒 ，隐私保护不能脱离合法性要求 ，年龄不验证 、内容又涉黄，隐私保护就无从谈起。
