самый быстрый "драйвер" базы данных...

can — 23.01.2017

я на выходных  помимо интересного знакомства, провел много времени мучая
базу данных, как заимпортировать туда миллионы строк.
все привычные драйверы не давли нужную скорость и я не хотел часами ждать пока зальется.

я перепробовал все прогрессивные методы и они давали конечно не плохие результаты.
но потом я постиг дзен.. .. что можно вставлять в базу и без драйвера и без инсерта.

делается это так :)

pv /mnt/archive/net.zone.gz | zcat |  python qimport.py net --skip 51 | psql dss

тоесть моя маленькая прога на лету конвертирует и генерирует поток, прикидываясь родным дапмпом от постгри,
это дурацкий метод, дает фантастическую скорость
23000 записей в секунду :), и упирается в производительность жесткого диска и самого сервера.
который лепит по 100 мегов в секунду на диск. так как там просто поток текстовой инфы.

самая быстрая и надежная часть программы -  эта та которой нет.

ПС.
потоков кстати можно несколько создать паралельно, запустив из скрипта дочерние процессы и тоже
писать им в stdin.

Оставить комментарий

Популярные посты:

macer

Использование прокси для SMM: автоматизация и управление несколькими аккаунтами

irina_chisa

Домо-о-о-ой!

aniskin1968

Шампанское, лимонад, консервы и яблоки .... (хабаровские работяги пытаются

sevabashirov

Сравнительная величина главнѣйшихъ городовъ постъ-совѣтскаго пространства 1897

uctopuockon_pyc

Вспоминая Танафи

berowra_story

Эвкалипт - вдовье дерево.

prilepin

Увы, так

dymontiger

Атмосферные фотографии из 90-ых (13.02.24)

foto_history

Случайное фото

• Ранее
• Архив