Александр Соркин aka Киби ([info]kibizoid) wrote,
@ 2005-01-11 21:52:00
Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Entry tags:help, lj, recovery, software, warning

LJ backup. Сохранение ЖЖ.
Кому как, а для меня с моей параноей этот вопрос очень важен. Интернет не вечен, да и к тому же не стабилен. То, что ЖЖ может "накрыться" в любой момент и никто не возместит полученного морального ущерба - наверняка написано в лицензионном соглашении, под которым мы все поставили свою виртуальную подпись, заводя свой аккаунт.

Кстати, если кто хранит подборку закладок на чужие дневники (memories) - попробуйте проверьте - наверняка сейчас некоторые записи стали недоступны. Бывает, их удаляют. Бывает, меняют права доступа. А бывает - закрывается и весь дневник пользователя.

Я нашёл несколько способов сохранения своего (или чужого) дневника:

1) вручную сохранить каждую страницу в любимом броузере;
2) натравить на livejournal.com один из Offline Browser'ов;
3) заказать на спец сайте предоставляющем такую услугу сохранение своего дневника;
4) или использовать специализированную утилиту.

Способ первый - кондовый


Открываем очередной пост и жмем "Файл/Сохранить как..."

Плюсы: не надо ничего искать - всё в наших руках. Сохраняются и комментарии и картинки и избранное и информация о пользователе.

Минусы: вся работа ручная. Если дневник большой - замаешься сохранять.

Способ второй - усовершенствованный первый


Берём Offline Explorer, Teleport Pro или какой ещё загрузчик сайтов, настраиваем проект и качаем. Лучше всего в качестве корневой взять страницу "Календарь".

Плюсы: опять же, сохраняются и комментарии и картинки и избранное.

Минусы: надо разбираться с настройками программы для скачивания. К тому же, структура ЖЖ достаточно разветвлённая (это если постов много). И надо тщательно настроить проект, чтобы в него не попадали ненужные страницы (другие дневники, справка ЖЖ, посторонние сайты со всем содержимым и т.д.).

Способ третий, LJBook


Идём на LJBook (http://ljbook.com) и просим сохранить наш дневник.

Русскоязычный ЖЖ в исполнении LJBook

Плюсы: на выходе - книжка в PDF (а если заплатить денежку, так ещё и с картинками в большом разрешении). Книжка имеет удобное содержание и активные сслыки на онлайновый оригинал.

Минусы: нужно отдавать свой пароль в чужие руки. Глючит с русским текстом - может это только с моим журналом, но у меня вышел совершенно нечитаемый документ.

Способ четвёртый


Есть несколько спец программ для сохранения ЖЖ. Перечислю найденные и опробованные мною:

LJSM 2.5


Консольная программка (написана на PERL'е), 700 Кб, автор [info]ati, несмотря на украинский домен, из Москвы, http://ryzh.kiev.ua/ljsm/.

LJSM

Плюсы: грузит комменты, картинки, закладки (memories), по количеству настроек не уступает другим программам. Может синхронизировать локальную копию журнала, загружая только недостающие записи. Может загружать записи за определённый период времени. Создаёт удобный файл с содержанием дневника. Есть утилита для верстки файла-книжки со всеми записями. Может переводить дневник из UTF-8 в обычный ASCII код. Линуксоидам радость - утилита работает не только под Виндами.

Минусы: нет графического интерфейса - только командная строка. Путает порядок некоторых записей (тех, которые в пределах одного месяца опубликованы "задним числом").

LiveJournal Backup 1.0.4


Windows GUI утилитка, 508 Кб, автор вроде из Англии, http://ljbackup.yamnet.co.uk.

LiveJournal Backup 1.0.4

Плюсы: поиск по скачанному, экспорт в различные форматы и с настройкой, какие записи экспортировать (приватные, публичные, для друзей). Может делать содержание с настройками группировки записей (по году/месяцу/дню). Сохраняет отдельно комментарии, отдельно исходные записи.

Минусы: не заточен под UTF-8 вообще и русский язык в частности. То есть все тексты будут выглядеть следующим образом "‚РѕРј, что выброшен ар". Не скачивает картинки и избранное. Почему-то не сохраняет комментарии - выдает ошибку "download corrupt".

Alexf LJ Downloader ( Jan 7 2005)


Windows GUI утилитка, 284 Кб, автор вроде как из России, http://win32utils.com/alj/.

Alexf LJ Downloader

Плюсы: Поддерживает русский язык. Имеет хорошую поисковую систему (с учётом морфологии русского языка), вот только результаты выдает в неочевидном виде - надо вручную открывать файл Search/Results.html и обновлять его после каждого поиска. Может обновлять записи с комментариями. Сохраняет многостраничные и свёрнутые комментарии. Программа находится в горячей фазе разработки. Автор - русскоязычный, значит будет русский интерфейс.

Минусы:загрузка скрытых или подзамочных записей зависит от настроек ЖЖ и Internet Explorer'a (срок окончания авторизации на сайте ЖЖ должен быть неограниченным). Программа не сохраняет избранное. Неочевиден порядок нажатия кнопок для получения нужного результата (можно ли вызвать "GET" не нажимая перед этим "INDEX" и можно ли независимо от этого скачать картинки?). Нет индексного файла с содержанием дневника. Дневник не может быть отсортирован по дате добавления записи и не учитывает публикацию "задним числом". Большой файл со всеми записями сохраняется без картинок (все ссылки - на оригинальные файлы в Интернете).

Выводы


В итоге я пользуюсь консольной утилитой LJSM - создал один раз ярлык для загрузки своего журнала, так что в настройках ковыряться пришлось только один раз:

ljsm.exe -i 3 -d 2004/1:2005/12 -u kibizoid:***** kibizoid - сохраняет журнал
ljsm.exe -r -m -I -i 3 -d 2004/1:2005/1 -u kibizoid:***** kibizoid - сохраняет избранное

Однако, если развитие программки Alexf LJ Downloader не остановится, в скором времени я перейду на нее - поисковая система в ней хорошая.



(Post a new comment)


[info]angerona
2005-01-12 10:45 am UTC (link)
Есть еще ljarchive:

http://fawx.com/ljArchive/

Мне нрaвится больше всех перечисленных следующим: удобных интерфейс, скaчивaет все (включaя коменты) потрясaюще быстро, поиск тоже очень быстрый, с русским никaких проблем. Есть дополнительные встроенные игрушки типa грaфического изобрaжения количествa зaписей и т.д.

Минусы: не скaчивaет memories и не кaчaет журнaлы других людей или сообществ -- нaдо иметь пaроль к журнaлу, который кaчaешь.

(Reply to this) (Thread)

Клёвая программа!
[info]kibizoid
2005-01-12 09:30 pm UTC (link)
Из плюсов расписанных на ейном сайте заинтересовали следующие:

Статистика по журналу с отрисовкой графиков регулярности ведения дневника и количества комментариев.

Система плагинов. Потому как это значит, что можно добавить своих функций (или уломать кого-нибудь написать их). Сразу пришла идея о конверторе кодировок.

Из обидных минусов: плагин составления психологического среза автора дневника работает только для англоязычных записей. Потому как в процессе анализа используется небольшой проранжированный английский словарь (3200 слов)...

(Reply to this) (Parent)(Thread)

(Reply from suspended user)

[info]vitaly_kaplan
2005-01-12 11:12 am UTC (link)
Скачал LJSM, действительно, удобная штучка. Сохранил свой журнал. Только вот теперь я не знаю, как пакетно переконвертировать все html из UTF-8 в Win1251. Думал, что HtmlChanger умеет это делать, но глубоко ошибся. Он не знает кодировки UTF-8. Есть что-то посовременнее?

(Reply to this) (Thread)


[info]kibizoid
2005-01-12 09:11 pm UTC (link)
У LJSM есть ключик - конвертировать записи на лету.

А я храню их в UTF-8 (уж не помню почему - может это конвертирование не без глюков), а перевожу в Win1251 только большой файл со всеми записями. А это можно сделать и средствами Internet Explorer's - открываешь файл в UTF-8 и просишь его сохранить, указав нужную кодировку. IE 6.0 переводит отлично!

(Reply to this) (Parent)(Thread)


[info]vitaly_kaplan
2005-01-12 09:21 pm UTC (link)
Сань, про ключик LJSM я заметил уже после того, как весь журнал выкачал. Уже в кодировке UTF-8. Причём получается-то не один большой файл со всеми записями, а куча файлов, рассованных по папкам, соответственно годам и месяцам. И конвертить эксплорером каждый из них отдельно в 1251 - это же гемморой ещё тот. Потому и интересует программка для пакетной перекодировки. HtmlChanger всем был бы хорош, только вот старенький он, не знает UTF-8.

(Reply to this) (Parent)(Thread)

Cуперперекодировщик
[info]kibizoid
2005-01-12 10:10 pm UTC (link)
http://www.rusf.ru/books/yo/xcode.html

Консольная, с автоопределителем кодировок, 14 разных кодировок, с исходным кодом, и самое главное - с правильно мыслящим автором. :))


1 Зачем нужен ещё один перекодировщик?
В природе существует очень много программ, которые перекодируют между разными кодировками кириллического алфавита. Эти функции встроены в специализированные HTML-редакторы, в драйверы клавиатуры и т.п. Тем не менее, анализ существующего положения дел показывает, что все эти способы страдают хотя бы одним из перечисленных ниже изъянов:

1. Необратимость перекодировки1.
2. Неаккуратность с буквой Ё.
3. Необходимость явного выбора кодировки.
4. Небольшой набор кодировок.
5. Работа только под какой-либо определённой платформой (Win32, DOS, и т.п.)
6. Сложности с применением в пакетном режиме (как, например, перекодировать все файлы в поддиректории в заданную кодировку, независимо от исходной?)
7. Объём перекодируемого файла ограничен оперативной памятью.
8. Отсутствие режима командной строки.

Перекодировщик xcode является платформо-независимой программой, которая лишена всех этих недостатков.

(Reply to this) (Parent)(Thread)

Re: Cуперперекодировщик
[info]yu_khristich
2007-12-10 01:50 am UTC (link)
UTF не поддерживается ):

(Reply to this) (Parent)(Thread)

(Reply from suspended user)

[info]nuorinainen
2006-10-01 08:22 pm UTC (link)
И чем Вы перекодировали в итоге? Сейчас мучаюсь такой же проблемой.

(Reply to this) (Parent)(Thread)


[info]vitaly_kaplan
2006-10-02 06:20 am UTC (link)
Сейчас уже точно не помню. Кажется, всё-таки заново всё выкачал, уже указав правильную кодировку.

(Reply to this) (Parent)

(Reply from suspended user)
Ещё одна прога для сохранения ЖЖ
[info]kibizoid
2005-01-12 10:16 pm UTC (link)

AnVir LiveJournal Download


http://anvir.com/ljdownload.htm

Маленькая, сохраняет только в один файл, жёстко привязана к IExplorer'у, имеет простой интерфейс.

(Reply to this)


[info]eky
2005-01-14 01:35 am UTC (link)
wget -r http://www.livejournal.com/users/имя_юзера

выкачивает весь журнал

(Reply to this) (Thread)


[info]kibizoid
2005-01-14 10:57 pm UTC (link)
Что за программа такая? Качалка сайтов?

(Reply to this) (Parent)


[info]frambueso
2008-01-16 09:32 am UTC (link)
и где это набирать?

(Reply to this) (Parent)(Thread)


[info]eky
2008-01-17 01:01 am UTC (link)
http://ru.wikipedia.org/wiki/Wget
http://pages.interlog.com/~tcharron/wgetwin.html

(Reply to this) (Parent)

(Deleted post)

[info]eky
2008-05-19 10:37 am UTC (link)
так wget и под винду имеет сборку

(Reply to this) (Parent)


[info]anton
2005-01-17 01:17 am UTC (link)
Единственное, что мне не нравится в ljsm — это формат, котором она сохраняет комменты. В итоге, я решил, что удобнее написать это самому, и сделал у себя на сервере периодически обновляемую копию журнала, обновление которой стоит просто в кроне. А проблему с комментами решаю, просто пропустив всё через чуть-чуть переработанный тридер.

А поиск.. Гм.. Пока с этим хорошо справляется GDS на локальной машине, но, наверное, всё же напишу свой, слишком хочется иметь это как веб-сервис, а не заниматься вручную.

(Reply to this) (Thread)


[info]kibizoid
2006-03-17 10:05 am UTC (link)
Последняя версия LJSM (2.8) умеет скачивать записи через разворачиватель тредов.

(Reply to this) (Parent)(Thread)


[info]anton
2006-03-17 10:10 am UTC (link)
Спасибо, я знаю. Мы договорились с [info]ati:)
Скоро исправлю авторизацию.

(Reply to this) (Parent)(Thread)

(Reply from suspended user)

[info]arris_krain
2006-03-17 01:52 pm UTC (link)
только бы где скачать эту последнюю версию?

(Reply to this) (Parent)(Thread)


[info]kibizoid
2006-03-17 07:55 pm UTC (link)
А что, ссылка в исходном моём посте не работает?

http://www.offtopia.net/ljsm/ljsm.html
http://ljsm.feechki.org/
http://ryzh.kiev.ua/ljsm/

(Reply to this) (Parent)(Thread)


[info]arris_krain
2006-03-19 02:10 am UTC (link)
Все, спасибо, я понял.

Правда немного запутался в ключах, ну да ладно.

(Reply to this) (Parent)

Как же это я такое упустил?
[info]kibizoid
2005-01-26 10:30 pm UTC (link)
http://www.livejournal.com/export.bml - стандартный способ экспорта из журнала. Работает хорошо. Насколько можно судить - совместим с ЖЖ на все 100 процентов. По определению :))

Минус один - за раз экспортирует только записи за один, указанный вручную, месяц. И не экспортирует комментарии/избранное.

(Reply to this) (Thread)

Re: Как же это я такое упустил?
[info]frambueso
2008-01-16 09:31 am UTC (link)
"И не экспортирует комментарии"

тогда грош цена ему )

(Reply to this) (Parent)


[info]gxost
2006-03-17 09:24 am UTC (link)
Странно, вот тут уже есть LJSM версии 2.8 ;)

(Reply to this) (Thread)


[info]kibizoid
2006-03-17 09:48 am UTC (link)
Чего странного? Обзор я писал 11 января 2005 года - с тех пор много чего изменилось. Наверняка появились новые версии программ.

Но за ссылку - спасибо!

(Reply to this) (Parent)


[info]mkosta94
2006-03-17 03:43 pm UTC (link)
никаких гарантий что лжсм не передаст логин:пароль автору. увы

(Reply to this) (Thread)


[info]kibizoid
2006-03-17 07:50 pm UTC (link)
Товарищ, Вы явно не в теме. Учите перл и смотрите исходники - благо автор LJSM'a выложил свой скрипт в исходных кодах. http://www.offtopia.net/ljsm/ljsm-2.8.zip

Позор на Вашу голову! Почувствуйте разницу между проприетарным Windows (где точно нет никаких гарантий) и программами с открытыми исходными кодами.

(Reply to this) (Parent)(Thread)


[info]mkosta94
2006-03-17 09:06 pm UTC (link)
не видел что он выложил исходник stfup

(Reply to this) (Parent)(Thread)


[info]kibizoid
2006-03-17 10:54 pm UTC (link)
RTFM и никаких проблем.

(Reply to this) (Parent)


[info]iaerox
2006-04-10 07:13 pm UTC (link)
А как закачать сохранённый днев на livejournal обратно? (если всё удалится)

(Reply to this) (Thread)


[info]marbert
2006-07-25 10:58 pm UTC (link)
очч хороший вопрос, действительно, как быть обратно?.. и потом, все бэкап-программы сохраняют содержимое, но упускают само оформление...

(Reply to this) (Parent)(Thread)


[info]iaerox
2006-07-26 09:49 am UTC (link)
Ну оформление можно ручками один раз сохранить.
А вот проблема закачать есть..

(Reply to this) (Parent)(Thread)


[info]danila_bas
2006-09-19 07:26 am UTC (link)
И как, решилась проблема?

(Reply to this) (Parent)(Thread)


[info]iaerox
2006-09-19 05:07 pm UTC (link)
забил на поиск решения.

(Reply to this) (Parent)

Ключ -Х в ljsm и патч
[info]danila_bas
2006-09-19 07:44 am UTC (link)
На сайте программы LJSM прочитал что ключ -X (скачивание постов в XML) начиная с версии 2.8. не работает.
И что, чтобы вернуть эту функцилнальность нужно пропатчить Perl скрипт (ljsm.pl) с помощью ljsm_X_patch.diff
Как в Windows можно патчить Perl скрипты?

(Reply to this) (Thread)

Re: Ключ -Х в ljsm и патч
[info]yeziz
2006-12-24 02:37 pm UTC (link)
Утилитой diff. Есть ее портинг на Windows: http://gnuwin32.sourceforge.net/packages/diffutils.htm

(Reply to this) (Parent)


[info]atelman
2006-12-22 08:59 pm UTC (link)
Глюк с LJsm.
Если задать ключик -a (по описанию сохраняет и посты и меморисы), то сохраняет только меморисы.
Без ключиков пишет вроде все, пока еще качается.
Запускаю с ключиками -i3 -I -O -r username

(Reply to this) (Thread)


[info]dema
2007-01-11 11:28 pm UTC (link)
>Если задать ключик -a (по описанию сохраняет и посты и меморисы), то сохраняет только меморисы.
+1

(Reply to this) (Parent)


[info]sibmax
2007-04-18 06:41 am UTC (link)
Добрый день

а скриптик LJSM у кого из-за прокси с авторизацией работает?
какие то непонятки у меня с ним...

(Reply to this)


[info]aliot17
2007-06-16 11:25 am UTC (link)
уважаемый kibizoid! помогите, пожалуйста, сделать резервную копию журнала! я пытаюсь бэкапить его при помощи ljsm но ключ -X в виндовой версии 2.8 не работает, а как запустить патч, я не знаю

(Reply to this)


[info]frambueso
2008-01-16 09:29 am UTC (link)
А платные юзеры не имеют дополнительной возможности сохранять свой ЖЖ средствами самого ЖЖ?
Где-то я об этом читал...

(Reply to this)


[info]smoothtalker
2008-08-02 09:39 pm UTC (link)
сохранил всё LJSM, вот только не могу понять куда, что-то я совсем туплю Х_Х хэлп плз )))

(Reply to this)


Create an Account
Forgot your login or password?
Login w/ OpenID
English • Español • Deutsch • Русский…