来源: 财经光年公众号
美国财政部长耶伦访问中国期间，曾经点了几盘名为“见手青”的毒蘑菇，挑事的美国媒体认为毒蘑菇让耶伦在访华期间产生了幻觉，出卖了美国的利益。回到美国后，耶伦否认了这种说法，认为烹饪到位的毒蘑菇“非常美味”，自己身体没有任何不适。而谷歌花了6000万美元收购的AI训练语料，却由于“烹饪”方法不到位，让食用语料的谷歌AI中毒，真的产生了幻觉。
最近，谷歌发现旗下的AI Overview状况频出，不仅提出了“披萨配胶水”的黑暗料理，还“建议”用户吃石头补充矿物质和维生素、喝尿治疗肾结石、被响尾蛇咬了用冰块冷敷伤口、感到抑郁可以跳金门大桥等，甚至提出“毒药对人体很好”的离谱结论。
收到大量的用户反馈后，谷歌禁用了某些搜索的AI Overview功能，并对其进行修复和优化。
AI Overview大翻车
和此前Bard一样，AI Overview也是对手们兵临城下时，谷歌仓促应战的产物。
AI Overview正是此次发布会推出的搜索升级功能，该功能将AI结果加入到搜索结果呈现。正式发布前，AI Overview已经过一年时间的测试，期间处理了超过10亿次查询。尽管谷歌为将AI集成进搜索做了精心设计，但体验过后，AI Overview差异性有限，产品性能更是一言难尽。
作为危机公关的一部分，谷歌官方不得不下场回应称，离谱的回答仅在十分罕见的提问中出现的，不代表大多数人的经历。
事实上，诸如“我每天应该吃多少石头？”之类的问题的确属于引导性提问。然而谷歌在面对这类陷阱式的提问时，不仅没能甄别其中的逻辑漏洞，反而有理有据地给出了有害的答案——“加州大学伯克利分校的地质学家表示建议每天至少吃一块小石头，因为石头中含有的矿物质和维生素有益消化系统健康。”倘或一些不明真相的网友选择信任权威，开始每天食用石头，后果将不堪设想。
对于这种一本正经地胡说八道，谷歌CEO劈柴哥（Sundar Pichai）回复称，上述回答产生的根本原因是生成式AI的固有缺陷——幻觉问题，而这个问题目前尚无解决方案。
资深人工智能专家郭涛向财经光年表示，幻觉问题虽无法根治，但可以通过技术降低其出现的频率：
一是增加数据多样性，通过收集更多样化的训练数据，提高AI模型的泛化能力，减少对特定数据集的依赖；
二是改进模型架构，使用更复杂的神经网络结构、增加模型的深度或宽度等，提高模型的性能和泛化能力；
三是引入对抗性训练，向模型输入故意制造的错误样本，提高模型的鲁棒性，使其能更好地处理异常输入。
成也贴吧 败也贴吧
HITCon安全会议上的相关研究成果显示，只需“污染”不到0.7%的数据集，就能绕开防御机制，大幅降低大模型输出内容的准确性。当大模型被投喂的数据集含有误导性信息时，其给出的结果必然同样失真。这正是谷歌在这次翻车中的失职之处，不加筛选地给大模型投喂了“有毒”的语料。
例如“如何不让芝士从披萨上面滑落”的问题，AI Overview的回答是，“给酱汁中加入八分之一的无毒胶水，可以使其更粘稠，有助于芝士粘附”。这一答案随后被扒出来自Reddit 一则11年前的恶搞帖子；而在建议抑郁的网友“跳下金门大桥”的回答中则明晃晃地标注着“一位Reddit 用户建议”。
大模型热潮让Reddit实实在在体验了一把泼天富贵：一方面，Reddit得以将UGC内容授权用于模型训练，仅和谷歌的授权协议每年就价值6000万美元，最近还敲定了和OpenAI的合作；另一方面，谷歌AI搜索的算法更新让Reddit网站流量激增126%，今年一季度收入同比增长了48%。
不得不说，大模型为贴吧这一PC时代的产物打开了变现的新思路。不过，谷歌每年花费6000万美元买来的语料库，最终训练出的成果竟如此上不得台面。
深度科技研究院院长张孝荣认为，弱智吧数据质量相对较高是个特例。在使用贴吧内容进行大模型训练时，有以下注意点：
需要对原始语料进行清洗和处理，以去除水贴、广告、谩骂等不良内容；
需要对语料进行标注和分类，以便更好地训练模型；
此外，还需要注意模型的泛化性和可解释性，通过一定的策略扩充训练数据集，以确保模型在不同场景下的表现和适用性。
AI搜索是好生意吗？
当下，AI搜索是海内外AI创业团队的重要方向之一。
Similarweb数据显示，主打AI搜索的创业公司Perplexity今年前三月的流量持续增长，分别为4560万、4954万和6149万，最新估值已超过25亿美元。
今年3月，谷歌任命进入公司20年的老将Liz Reid担任生成式搜索业务的负责人，还将前搜索质量和排名主管Pandu Nayak任命为谷歌搜索首席科学家。这次重大的高管洗牌彰显了谷歌对AI搜索志在必得的信心。
郭涛表示，AI Overview对谷歌的搜索广告业务是把双刃剑：
一方面，它可以帮助谷歌更好地理解用户需求和行为，从而提供更加精准的搜索结果和广告推荐；
另一方面，AI Overview的误导性内容也可能会影响用户对谷歌搜索的信任度和满意度，进而影响广告收入。
来源: 财经光年公众号
