Вообще конечно выборы — это профанация редкая

Текстовая дата ужимается в разы. Те будет файл размером меньше чем влезает на один компакт диск < 650Мб. Не Двд даже на котором 4,700Мб, и не Блюрей на котором до 24,000Мб. На один старый компакт диск с музыкой влезет короче.
Что стоит сначала убрать дубликаты? И не учитывать их. И кстати заодно завести уголовные дела... Потом сравнить с данными о реально людях платящих налоги скажем для всех старше 25ти лет, чтоб зарезать нелегалов. У SSN есть такие данные. Удалить всех неплательщиков. Остаток проверить на соответствие с базой по умершим, чтоб отсечь мёртвые души. И выдать народу реальный результат. Я не большой специалист в базах данных, но за часа два—три наверно справился бы с задачей.