2026 年的数据荒越来越近，硅谷大厂们已经为 AI 训练数据抢疯了！它们纷纷豪掷十数亿美元，希望把犄角旮旯里的照片、视频、聊天记录都给挖出来。不过，如果有一天 AI 忽然吐出了我们的自拍照或者隐私聊天，该怎么办？

　　谁能想到，我们多年前的聊天记录、社交媒体上的陈年照片，忽然变得价值连城，被大科技公司争相疯抢。

　　图像托管网站 Photobucket 的陈年旧数据，本来已经多年无人问津，但如今，它们正在被各大互联网公司疯抢，用来训练 AI 模型。

　　为此，科技巨头们愿意拿出实打实的真金白银。比如，每张照片价值 5 美分到 1 美元，每个视频价值超过 1 美元，具体情况取决于买家和素材种类。

　　而最近闹得轰轰烈烈的 Meta 图像生成器大翻车事件，更是让 AI 的训练数据「刻板印象」暴露无遗。

　　根据路透社报道，在 2000 年代，Photobucket 处于巅峰期，拥有 7000 万用户。而今天，这家顶级网站的用户已经骤降到了 200 万人。

　　CEO Ted Leonard 开心地透露，目前已经有多家科技公司找上门来，愿意重金购买公司的 130 亿份照片和视频。

　　而且，他们还想要更多！据说，一位买家表示，自己想要超过 10 亿个视频，而这，已经远远超出了 Photobucket 能提供的数量。

　　根据 Epoch 研究所的分析，到 2026 年，科技公司很可能会耗尽互联网上所有的高质量数据，因为他们消耗数据的速度，远远超过了数据的生成速度！

　　训练 ChatGPT 的数据，是从互联网上免费抓取的。Sora 的训练数据来源不详，CTO Murati 接受采访时支支吾吾的表现，险些又让 OpenAI 大翻车。

　　虽然 OpenAI 表示，自己的做法完全合法，但前方还有一堆版权诉讼在等着他们。而其他大科技公司都跟着学乖了，大家都在悄悄地为付费墙和登录屏幕背后的锁定内容付费。

　　如今，无论是陈旧的聊天记录，还是被遗忘的社交媒体上褪色的旧照片，忽然都变成了价值连城的东西。而各大公司已经纷纷出动，急于寻找版权所有者的授权。毕竟，私人收藏的东西，是无法抓取的。

　　虽然很多公司对于这个不透明的 AI 市场规模表示缄默，但 Business Research Insights 等研究人员认为，目前市场规模约为25 亿美元，并预测十年内可能会增长近300 亿美元。

　　对科技公司来说，如果不能使用免费抓取的网页数据档案，比如 Common Crawl，那成本会是一个很可怕的数字。

　　但是一连串版权诉讼和监管热潮，已经让他们别无选择。甚至，硅谷已经出现了一个新兴的行业 —— 数据经纪人。而图片、视频供应商们，也随之赚得盆满钵满。

　　手快的公司，早就反应过来了。ChatGPT 在 2022 年底亮相的几个月内，Meta、谷歌、亚马逊和苹果就已经迅速和图片库提供商 Shutterstock 达成协议，使用库中的数亿份图像、视频和音乐文件进行训练。

　　而 Shutterstock 的竞争对手 Freepik，也已经有了两位大买家，2 亿张图片档案中的大部分，会以 2 至 4 美分的价格授权。

　　OpenAI 当然也不会落后，它不仅是 Shutterstock 的早期客户，还与包括在内的至少四家新闻机构签署了许可协议。

　　这批公司获得了与播客、短视频和与数字助理互动等现实世界内容的授权，同时还建立了短期合同工网络，从头开始定制视觉效果和语音样本。

　　作为代表之一的Defined.ai，已经把自己的内容卖给了谷歌、Meta、苹果、亚马逊、微软等多家科技大厂。

　　其中，一张图片卖 1 到 2 美元，一部短视频卖 2 到 4 美元，一部长片每小时可以卖到 100 到 300 美元，文本的市价则是每字 0.001 美元。

　　一位巴西数据商表示，为了获得犯罪现场、冲突暴力和手术的图像，他需要从警察、自由摄影记者和医学生手里去买。

　　他补充说，他的公司雇用了习惯于看到暴力伤害的护士来脱敏和标注这些图像，这对未经训练的眼睛来说是令人不安的。

　　而将图像脱敏、标注的工作，则交给惯于看到暴力伤害的护士，毕竟未经训练的人眼看到这些图像，会很不安。

　　专家发现，AI 会反刍训练数据，比如，它们会吐出 Getty Images 水印，逐字输出文章的段落，甚至再现真人图像。

　　也就是说，几十年前某人发布的私人照片或私密想法，很可能在不知情的情况下，被 AI 模型原样吐了出来！

　　这些数据不是人类直接创造的，而是由 AI 模型生成的文本、图像和代码，也就是说，这些系统通过学习自己产生的内容来进步。

　　只要我们能够跨过合成数据的关键阈值，即让模型能够自主创造出高质量的合成数据，那么一切问题都将迎刃而解。

　　专家发现，模型如果只依赖于自我生成的数据，可能会不断重复自己的错误和局限，陷入一个自我加强的循环中。

　　这些系统所需的数据，就像是在丛林中寻找一条路径，如果它们仅仅依赖于合成数据，就可能在丛林里迷路。

　　对此，OpenAI 正在探索如何让两个不同的人工智能模型协作，共同生成更高质量、更可靠的合成数据。其中一个负责生成数据，另一个则负责评估。

　　2020 年 1 月，约翰斯・霍普金斯大学的理论物理学家 Jared Kaplan 与 9 位 OpenAI 研究人员共同发表了一篇具有里程碑意义的人工智能论文。

　　正如一个学生通过阅读更多书籍能学到更多知识一样，大语言模型能通过更多的信息更精确地识别文本模式。

　　在吸收了这些数据后，GPT-3 展现出了惊人的文本生成能力 —— 它不仅可以撰写博客文章、诗歌，甚至还能编写自己的计算机程序。

　　2023 年，谷歌发布的 PaLM 2，在训练 token 上更是达到了 3.6 万亿 —— 几乎是牛津大学博德利图书馆自 1602 年以来收集手稿数量的两倍。

　　在 OpenAI，研究团队多年来一直在收集、清理数据，并将其汇集成巨大的文本库，用以训练公司的语言模型。

　　他们从 GitHub 这个计算机代码库中提取信息，收集了国际象棋走法的数据库，并利用 Quizlet 网站上关于高中考试和作业的数据。

　　为了下一代 AI 模型的开发，总裁 Brockman 决定亲自披挂上阵。在他的带领下，团队开发出了一款全新名的语音识别工具 Whisper，可以快速准确地转录播客、有声读物和视频。

　　有趣的是，谷歌其实早就知道 OpenAI 在利用 YouTube 视频收集数据，但从未想过要出面阻止。

　　而如果要对 OpenAI 的行为大加指责，他们不仅会暴露自己，甚至还会引发公众更加强烈的反应。

　　不仅如此，那些储存在 Google Docs、Google Sheets 等应用里的数十亿文字数据，也是谷歌的目标。

　　2023 年 6 月，谷歌的法律部门要求隐私团队修改服务条款，从而扩展公司对消费者数据的使用权限。

　　据员工透露，他们被明确指示要在 7 月发布新的条款，因为那时大家的注意力都在即将到来的假期上。

　　为了能够超越 ChatGPT，小扎不分昼夜地催促公司的高管和工程师加快开发一个能与之竞争的聊天机器人。

　　尽管 Meta 掌管着庞大的社交网络资源，但不仅用户没有保留帖子的习惯（很多人会删除自己之前的发布），而且 Facebook 毕竟也不是一个大家习惯发高质量长文的地方。

　　生成式 AI 副总裁 Ahmad Al-Dahle 向高层透露，为了开发出一个模型，他的团队几乎利用了网络上所有可找到的英文书籍、论文、诗歌和新闻文章。

　　2023 年 3 月到 4 月，公司的商务发展负责人、工程师和律师几乎每天都在密集会议，试图找到解决方案。

　　他们考虑了为获取新书的完整版权支付每本 10 美元的可能性，并讨论了收购出版了斯蒂芬・金等作者作品的 Simon & Schuster 的想法。

　　与此同时，他们还讨论了未经允许就对网络上的书籍、论文等作品进行摘要的做法，并考虑进一步「吸收」更多内容，哪怕这可能招致法律诉讼。

　　好在，作为行业标杆的 OpenAI，就在未经授权的情况下使用了版权材料，而 Meta 或许可以参考这一「市场先例」。

　　根据录音，Meta 的高管们决定借鉴 2015 年作家协会（Authors Guild）对谷歌的法庭判决。

　　在那个案例中，谷歌被允许扫描、数字化并在在线数据库中编目书籍，因为它仅在线上复制了作品的一小部分，并且改变了原作，这被认定为合理使用。

　　最近，外媒 The Verge 的记者在多次尝试后发现，Meta 的 AI 图像生成工具并不能创建一张东亚男性和白人女性同框的图片。

　　不管 prompt 是「亚洲男性与白人朋友」、「亚洲男性与白子」、「亚洲女性与白人丈夫」，还是经过魔改的「一位亚洲男性和一位白人女性带着狗微笑」，都于事无补。

　　比如「亚洲男性和高加索女性的婚礼日」这个 prompt，得到的却是一张身穿西装的亚洲男性与身着旗袍 / 和服混搭的亚洲女性的图像……

　　举个例子，Meta 总是将「亚洲女性」描绘成东亚面孔，似乎忽略了印度作为世界上人口最多国家的事实。与此同时，「亚洲男性」多为年长者，而亚洲女性却总是年轻化。

　　简而言之，问题不在于代码本身，而在于模型训练时所使用的数据集不够丰富，没有充分覆盖所有可能的场景。

　　在美国媒体中，「亚洲人」通常就是指东亚人，不符合这一单一形象的亚洲人几乎从文化意识中被抹去，即便是符合的人也在主流媒体中被边缘化。

　　广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。