Издание 404 Media рассказало, что крупнейшие компании в сфере ИИ вроде Anthropic закупают миллионы книг ради обучения своих нейронных моделей, уничтожая сами книги в процессе.
Для успешного обучения ИИ-модель должна опираться на высококачественные данные, но, из-за того, что интернет уже долгое время заполнен посредственным ИИ-контентом, разработчики решили повысить качество своих баз, закупая бумажные книги.
Онлайн-база данных ISBNdb содержит более 110 миллионов книг и с некоторых пор предлагает услуги по оптовой закупке книг для ИИ-компаний вплоть до миллиона экземпляров за заказ. Многие продавцы, опрошенные изданием, сообщили о многократном росте продаж бумажных книг. 404 Media по ряду косвенных признаков сделало вывод, что наиболее масштабные закупки книг осуществляются именно со стороны компаний вроде Anthropic.
Во время одного из судебных исков против компании бывший глава Google Books Том Харви подтвердил, что Anthropic использует метод переработки книг, разделяя их и подавая постранично в высокопроизводительный сканер, в результате чего были уничтожены миллионы книг.
Издание обеспокоено, что многие редкие и ценные издания могут оказаться навсегда утраченными, а простые люди могут об этом даже не узнать, при этом сами базы данных компаний остаются недоступными для пользователей, поэтому прочитать эти книги как-то иначе может не представиться возможным.