LJSear.ch. Все архивы ЖЖ с 2000 по 2015 год

arbitr57 — 19.01.2017 Год назад заработал бесплатный сервис LJSear.ch, в котором собраны архивы русскоязычной части LiveJournal за 2000–2015 годы.


Вот что рассказал о новом сервисе на сайте lifehacker.ru создатель сервиса Роман (kukutz):
Что такое LJSear.ch?
Это более терабайта архивов ЖЖ. Проиндексированы и доступны для поиска 340 миллионов постов и 1 миллиард комментариев с 2000-го по осень 2015 года. И всё это с привычными для поиска по блогам инструментами: ограничение по автору, по дате, по сообществу. Новые записи не индексируются, поскольку мы рассматриваем наш проект как архивный, мемориальный. Проект полностью некоммерческий, никакой рекламы и иных способов заработка не предполагает.
Зачем нужен сервис?
Осенью 2015 года возможности поиска по блогам Яндекса были ограничены только последним месяцем. Объяснение было простым: подавляющее большинство пользователей ищет информацию, связанную с недавними записями, и глубокий поиск для них избыточен. Это правда. Последнего месяца достаточно для задач вроде регулярного vanity search или мониторинга отзывов о каком-то свежем событии. Но есть задачи и более глубокие, исследовательские. Я считаю, что в ЖЖ случилась или как минимум нашла своё отражение почти вся русскоязычная культура нулевых годов. Значение этого архива трудно переоценить. Когда Яндекс закрыл поиск по архивам, я очень огорчился, поскольку убеждён, что это собрание информации должно быть сохранено для человечества. Ну и попросил у Яндекса архивы, а он внезапно согласился и дал их. Последние полгода на мне лежала ответственность за то, чтобы эти данные не пропали. Я позвал на помощь друзей, и среди них нашлись те, кто согласился помочь понять, можно ли сделать информацию доступной для поиска. Мы создали сервис LJSear.ch и вроде бы довели его до вменяемого состояния.
Кому может быть интересен проект?
Поскольку новые записи не индексируются, то аудитория, на которую я рассчитываю, это исследователи. Как в прямом смысле слова исследователи культурных пластов нулевых годов, так и просто настоящие или бывшие пользователи ЖЖ, которые хотят найти что-то, что было написано в те годы. А потому я не стал ограничивать максимальное время выполнения поискового запроса: исследователь может подождать выполнения сложного запроса и минуту, и две. При этом, конечно, простые запросы выполняются быстро, а если сервис обнаруживает, что запросов сейчас много, он включает управляемую деградацию, в том числе ограничивает тайм-аут запроса.

Я попробовал и ввел в поиск arbitr57. Среди разной всякой информации нашел даже благодарность себе.


Вспомнил. 6 лет назад, во дворе дома в Купчино, где жила savfor какой-то маньяк порезал колеса у её автомобиля. Конечно, надо было помочь хорошей девушке.
Каждый может найти для себя что-то полезное.
Создателю сервиса Роману (kukutz) и его друзьям-помощникам большое человеческое спасибо за нелегкий труд!

Оставить комментарий

Популярные посты:

• Ранее
• Архив