самый быстрый "драйвер" базы данных...

can — 23.01.2017

я на выходных  помимо интересного знакомства, провел много времени мучая
базу данных, как заимпортировать туда миллионы строк.
все привычные драйверы не давли нужную скорость и я не хотел часами ждать пока зальется.

я перепробовал все прогрессивные методы и они давали конечно не плохие результаты.
но потом я постиг дзен.. .. что можно вставлять в базу и без драйвера и без инсерта.

делается это так :)

pv /mnt/archive/net.zone.gz | zcat |  python qimport.py net --skip 51 | psql dss

тоесть моя маленькая прога на лету конвертирует и генерирует поток, прикидываясь родным дапмпом от постгри,
это дурацкий метод, дает фантастическую скорость
23000 записей в секунду :), и упирается в производительность жесткого диска и самого сервера.
который лепит по 100 мегов в секунду на диск. так как там просто поток текстовой инфы.

самая быстрая и надежная часть программы -  эта та которой нет.

ПС.
потоков кстати можно несколько создать паралельно, запустив из скрипта дочерние процессы и тоже
писать им в stdin.

Оставить комментарий

Популярные посты:

nero

Что нужно знать о технологии напыления нитрида титана на различные поверхности

eirc63

когда папа - абьюзер

koparev

Отречение от царя, или Бесноватые

vikond65

Штурм снежного городка

gornomari

Рисунки от искусственного интеллекта

d_sanin

Ни убавить, ни прибавить

alex_rozoff

Размышления о прокрустике Лема и критериях успешности в бане у

amarok_man

Зеленский купил особнячок Карла III

matsam

Израиль

• Ранее
• Архив