编译 | 佳慧
编辑 | 云鹏
智东西10月10日消息，据英国《金融时报》报道，谷歌DeepMind、OpenAI、Anthropic等AI领域的领先公司，正在制定一套AI模型可以遵守的价值观和原则，以防止AI模型被滥用，这被称为AI宪法。
随着OpenAI、Meta等公司竞相商业化AI，AI研究人员认为，防止这些AI系统出现例如生成有害内容、错误信息等问题的防护措施，难以跟上AI的发展步伐。因此，AI科技公司制定AI宪法，试图让AI从中学习价值观和原则，并在没有大量人类干预的情况下保持自我约束。
据英国《金融时报》报道，使AI软件拥有诚实、尊重和宽容等积极特质已经成为生成式AI发展的核心。但制定AI宪法的方法并非万无一失，它往往带有AI工程师和计算机科学家的主观色彩，并且难以为AI的安全护栏进行有效评估。
一、RLHF方法和“红队测试”是确保AI安全的关键，但效果有限
OpenAI称，ChatGPT现在可以提供看、听、说三个方面的服务，即用图片和文字回答用户的提问，以及使用语音与用户对话。Meta也宣布，将为通讯软件WhatsApp和图片社交软件Instagram中的数十亿用户提供一个AI助手和多个聊天机器人。
在各大科技公司争相发展AI技术并将AI商业化的时候，据英国《金融时报》报道，AI研究人员认为，防止AI系统出错的安全防护措施没有跟上AI发展的脚步。
一般情况下，各大科技公司主要依赖RLHF方法（基于人类反馈的强化学习方法）来处理AI生成回复的问题，这是一种从人类偏好中学习的方法。
为了应用RLHF方法，各大科技公司会雇佣大量承包商团队来审查其AI模型的回复，并对回复进行“好”或“坏”的评分。通过足够多的分析和打分，AI模型会逐渐适应这些判断，并在之后回复的时候过滤掉那些“坏”的回复。
据英国《金融时报》报道，从表面上看，RLHF方法的处理过程可以完善AI模型的回复，但之前在OpenAI工作并曾经帮助开发RLHF方法的Amodei称，该方法还是很原始。他认为RLHF方法不太准确或有针对性，并且在整个处理过程中，有很多影响团队评分的因素。
正是看到了RLHF方法的弊端，有一些公司就尝试使用替代方案，以确保其AI系统的道德性和安全性。
▲OpenAI“红队测试”（图源：英国《金融时报》）
例如，去年，OpenAI就招聘了50名学者和专家来测试GPT-4模型的极限。在六个月时间里，来自化学、核武器、法律、教育和错误信息等多个学科领域的专家团队对GPT-4模型进行“定性探究和对抗性测试”，试图打破GPT-4模型的安全防线，使其系统发生混乱。这个过程被称为“红队测试”。谷歌DeepMind和Anthropic也用过“红队测试”来发现其软件的弱点并进行修复。
不过据英国《金融时报》报道，虽然RLHF方法和“红队测试”是确保AI安全的关键，但它们并不能完全解决AI输出有害内容的问题。
二、谷歌等公司创建AI宪法，模型规则更明确但比较主观
现在，为了解决AI可能输出有害内容的问题，包括谷歌DeepMind、OpenAI、Anthropic在内的一些AI领先公司正在创建AI宪法，建立一套他们的AI模型可以遵守的价值观和原则，以防止AI模型被滥用。并且期望达到在没有大量人类干预的情况下，AI也能保持自我约束的目标。
例如，谷歌DeepMind的研究人员发表了一篇论文，为聊天机器人Sparrow定义了的一套自己的规则，旨在实现“有益、正确和无害”的对话。其中一条规则就要求AI“选择负面、侮辱、骚扰或仇恨最少的回复”。
作为该论文的作者之一，谷歌DeepMind的高级研究科学家Laura Weidinger认为，他们制定的这套规则不是固定不变的，它实际上是建立一种灵活的机制，随着时间的推移，其中的规则应该进行更新。
Anthropic也已经发布了自己的AI宪法。Anthropic的首席执行官兼联合创始人Dario Amodei称，人类不知道如何理解AI模型的内部发生了什么，建立一套宪法章程，可以让规则更加透明、明确，这样任何使用AI模型的人都将知道接下来会发生什么，并且如果模型不遵循原则，人类可以有章程依据与其争论。
但据英国《金融时报》报道，创建AI宪法的公司都发出过警告，说AI宪法的章程还在制定过程中，并不能完全反应所有人和所有文化的价值观，因为这些章程暂时是由员工选择的。
▲谷歌DeepMind研究人员正在致力于开发AI可以遵循的宪法（图源：英国《金融时报》）
例如，谷歌DeepMind为Sparrow制定的规则就公司内部员工确定的，但DeepMind计划在未来把其他人纳入规则确定的名单。Anthropic发布的AI宪法也是由公司领导编制的规则，借鉴了DeepMind发布的原则，以及《联合国人权宣言》、苹果服务条款等外部资源。同时Amodei称，Anthropic正在进行一个实验，通过某种参与式过程来反映外部专家的价值观，以此更加民主地确定其AI宪法规则。
悉尼大学的AI伦理研究员Rebecca Johnson去年曾在谷歌工作过一段时间，分析了谷歌的语言模型，如LaMDA和PaLM。AI宪法章程的现状正如她说，AI模型内部的价值观和规则，以及测试它们的方法，往往由AI工程师和计算机科学家创建，他们是带有自己特定的世界观的。
Johnson还说，工程师们尝试解决AI模型的内部规则带有主观色彩的问题，但人性是混乱的、无法解决的。并且，据英国《金融时报》报道，有事实证明，制定AI宪法的方法并非万无一失。
今年7月，卡内基梅隆（Carnegie Mellon University）和旧金山AI安全中心的研究人员成功突破了，包括OpenAI的ChatGPT、谷歌的Bard、Anthropic的Claude在内的，所有领先的AI模型的防护栏。他们在恶意的请求的代码末尾添加了一系列随机字符，就成功绕过了模型的过滤器和基础宪法规则。
AI安全研究公司Conjecture的研究院兼首席执行官Connor Leahy说，当前的AI系统非常脆弱，以至于人们只需要使用一个越狱提示，它就会完全脱离轨道，并开始做完全相反的事情。
同时，还有研究人员认为，AI安全面临的最大挑战就是弄清AI的安全护栏是否真正起作用。AI模型是开放式的，它面向无数人来接收信息并回答问题，但AI模型内部的规则是有限的人群制定的，目前很难为AI的安全护栏进行有效评估。Amodei说，Anthropic正在研究如何利用AI本身进行更好的评估。
结语：科技公司试图增强AI自我约束能力，AI安全防护发展仍然滞后
随着AI技术出现在人们的视野以及科技公司商业化AI，从最初的机器学习到现在的生成式AI，这一技术正在不断拓展其能力和应用领域。伴随而来的就是一系列问题，例如使用AI是否安全？AI会不会提供错误信息或者有害信息？以及越来越强大的AI会不会被坏人利用？
从RLHF到“红队测试”，AI科技公司也在不断尝试各种方法来降低AI可能带来的负面影响，增强AI安全防护能力。现在，谷歌DeepMind、OpenAI、Anthropic等AI领域的领先公司也在通过制定AI宪法的方法，提升AI系统的自我约束能力，以确保其安全可靠性。
但据英国《金融时报》报道，RLHF和“红队测试”无法完全解决AI输出有害内容的问题，制定AI宪法的方法也存在主观色彩较强、难以为AI的安全护栏进行有效评估等问题，AI安全防护的发展相对于AI应用技术的发展，是比较滞后的。因此，我们将持续关注各大AI公司，了解他们未来会对AI安全防护方法做出怎样的更新。
,AI宪法要来了？谷歌OpenA谭明明撞宝马事件全过程 I联手制定，AI也要讲价值观和原则了相关：
雷军造车，更被动了作者 | 柴旭晨编辑 | 张晓玲首款新车还“犹抱琵琶半遮面”，小米造车就开始准备开拓“B计划”了。近期，小米在其官方招聘页面上线了多个汽车业务相关职位，包括增程系统设计开发工程师、燃油系统工程师、排气系统工程师等。并且其对应聘者要求不低。其中，增程系统设计开发工程师须有3年以上设计开发或供应商产品管理的经验；动力燃油系统工程师则需有5年及以上主流 OEM 或供应商相关经验，完整量产项目经历。不少市场人士..
被哈马斯绑架的德国女孩母亲称其还活着当地时间10月7日，加沙-以色列边境附近举办的音乐会遭哈马斯袭击，现场发现至少260具尸体。一名失踪的德国公民莎妮·洛克（Shani Luk）引发舆论关注。俄新社10月10日报道，莎妮的母亲在德国一档新闻频道中表示，“我们收到消息称，莎妮还活着，但头部受了重伤，情况危急。”她呼吁德国政府尽一切可能将女儿紧急从加沙地带撤离。莎尼的母亲称，“每一分钟都至关重要，我们请求，不，我们要求德国政府迅速采取行动，让莎妮离开加..
汤因比的名言，点出了巴以冲突不断的最深层原因历史学家汤因比说过：”一个民族的所有苦难，都是这个民族的民众自己选择的结果。”这句话放之四海而皆准，放到正陷入冲突的巴以双方更是恰如其分。从以色列一方说，这次遭受袭击死伤惨重，真是一点都不让人意外。犹太人自己曾遭受亡国之苦，二战前更是被希特勒关进集中营里杀得近乎绝种，当时不管巴勒斯坦人愿意也好，不愿意也罢，总之是在联合国操办下，在人家巴勒斯坦人的地盘上，给了你一个容身之地让你建国，从此满世界游荡..
以媒：哈马斯经济部门负责人在空袭中丧生【环球网报道】据以色列“i24 NEWS”10日最新报道，以色列国防军发言人称，在对加沙地带空袭中，哈马斯经济部门负责人贾瓦德·阿布·沙马拉死亡，其负责管理该组织的财务。“i24 NEWS”称，早些时候，巴勒斯坦媒体报道称，以色列国防军在一次袭击中杀死了另一名哈马斯高级成员扎卡里亚·阿布·马马尔。
回望历次中东战争，才能理解今天的巴以冲突从犹太人决定在“以色列地”建立国家开始，阿以冲突就从未停止。其间大大小小的战争和冲突，令约旦河岸满目疮痍，圣城之下难觅和平。今天的战火既是五十年前赎罪日战争的重演，也是这百年间中东土地上的又一场深重的灾难。1967年6月6日，就在庆祝建国19周年三个星期后，以色列遭到了三个阿拉伯国家的攻击：埃及、叙利亚、约旦。在埃及总统纳赛尔的领导下，阿拉伯联军决心速战速决。以色列这一新建国家处于生死存亡之际。1967年5..
犹太神话，该终结了文 | 北方朔风最近随着哈马斯武装的军事行动，巴以矛盾的激烈程度，上升到了本世纪以来的最高水平，如果以色列国防军大规模集结进入加沙地带，我们有可能看到本世纪以来最为惨烈的人道主义灾难与巷战。其他地区势力也发表了相关声明，表示如果情况升级，会下场进行干预。与此同时，这场冲突也远不局限于军事空间，在互联网舆论之中，博弈也非常激烈——这种事情也不是第一次发生了，似乎中文互联网成了另一个战场。而在这场舆..
访问中国后，他们不去日韩了据法新社10日报道，美国驻日本大使馆当天表示，由美国参议院多数党领袖查克•舒默率领的参议院两党代表团在访问北京后，取消了访问韩国和日本的行程。美国大使馆在一份新闻稿中表示：“由于外部事件，代表团的日本之行已被取消。”图为10月7日，舒默一行抵达上海。该代表团原计划访问完中国后前往日本和韩国，并在本周日在东京举行新闻发布会。美国大使馆发言人告诉法新社，韩国之行也被取消，但拒绝详细说明“外部事件”具体指..
哈马斯领导人：战争结束前不会和以色列进行换俘当地时间2023年10月10日，加沙城，以色列军队发动袭击后，一座高楼发生火灾，浓烟滚滚。日前有消息人士透露称，以色列与巴勒斯坦伊斯兰抵抗运动（哈马斯）可能展开互换俘虏谈判。但哈马斯领导人伊斯梅尔·哈尼亚当地时间10月10日表示，只有在战争结束后才能解决换俘的问题。当地时间2023年10月10日，加沙地带，以色列士兵在巡逻。哈尼亚在一份声明中称，哈马斯已将此决定告知此前与之联系并提出换俘方案的各方。哈尼亚还赞扬了“..
巴勒斯坦与以色列，真的是“农夫与蛇”吗？驳几个巴以问题讨论中，最常见的谬误。巴以关系是“农夫与蛇”？第一，是巴勒斯坦和以色列是否是“农夫与蛇”的关系。在很多中国读者的想象中，是巴勒斯坦的阿拉伯人在二战时期“好心收留”了在欧洲被迫害，无家可归的犹太人，结果犹太人在战后“鸠占鹊巢”，非要在原本属于阿拉伯人的领土上建国。这其实是一个因为对中东史无知造成的谬误。与地处东亚一隅，历史上虽然历经改朝换代、但能始终保持主体民族意识不变，所以特别强调..
浙江余姚发现汉六朝时期聚落遗址 中新社宁波10月10日电 (谢盼盼)位于浙江省余姚市第一实验小学地块的考古成果9日公布，在该校操场区域新发现的遗址为汉六朝时期余姚县城外一处聚落居址。考古发掘还原了当时水井、灰坑等生活遗迹，出土了类型丰富的陶瓷器遗物，为研究这一时期余姚江流域的居民饮用水问题提供了翔实的案例。 据余姚县志记载，位于当地梨洲街道学弄的余姚市第一实验小学校址是宋至明清时期余姚县学宫所在地。 今年4月至7月，为配合..