韩国广播媒体通信委员会（방미통위）正在为能够与用户建立情感关系的生成型人工智能（AI）制定用户保护体系。
根据10日的消息，委员会正在进行《人工智能用户保护法》的政策研究。该法案的核心是保障用户权利，并为在使用人工智能服务过程中发生的损害提供救济的制度基础。
对人工智能用户保护的需求日益增加，原因在于生成型人工智能服务的角色迅速扩大。生成型人工智能不仅提供一般信息，还提供咨询和情感交流。与用户的语气、偏好和过去对话进行记忆的“伴侣AI”和关系型聊天机器人也在不断普及。
实际上，基于人工智能的服务如Scatter Lab的“Zeta”和Lutton的“Crack”正在快速增长。Zeta的月活跃用户数（MAU）从2024年4月的58,069人增加到上个月的1,586,178人，增长了约27倍。Crack的月活跃用户数从去年4月的218,050人增加到今年8月的538,841人，增长了约2.5倍。
在此过程中，人工智能可能会助长用户的自残和犯罪行为，青少年可能会对服务产生情感依赖或过度沉迷等新问题也随之浮现。由于同样的问题在不同的对话上下文中可能产生不同的回答，现有的方式难以事先确认其有害性。
关于青少年保护措施的有效性也引发了质疑。美国加州大学欧文分校和阿拉巴马大学的研究团队在2月发布的预印本《行动胜于言辞：调查人工智能聊天机器人的年龄限制政策》显示，研究团队对五种主要人工智能聊天机器人进行了1,050次实验，结果发现没有成功阻止儿童用户访问服务的案例。
引导成年人提供帮助的案例也仅有2例。研究团队指出：“仅仅在用户协议中明确最低使用年龄并不能有效限制儿童的实际访问。”
当发生损害时，责任归属和救济程序不明确也是一个待解决的问题。信息通信政策研究院（KISDI）在其《人工智能服务用户保护法律引入方案研究》中指出，现有的信息通信相关法律体系无法充分应对人工智能服务的风险和用户损害。KISDI认为，有必要设立专门处理人工智能服务相关争议的争议调解委员会。
在海外，强化人工智能聊天用户保护的举措也在持续进行。去年，美国联邦贸易委员会（FTC）对OpenAI、谷歌、Meta等主要企业进行了调查，关注人工智能聊天机器人对儿童和青少年的影响及安全措施。
加利福尼亚州在今年1月要求人工智能伴侣聊天机器人企业告知用户其并非与人类对话，并制定应对自残风险和未成年人性内容的安全措施。
※ 本报道经人工智能（AI）系统翻译与编辑。
