[d | b-bro-hr-l-m-med-mi-mu-o-ph-r-s-sci-tran-tv-x | vg | au-tr | a-aa-c-fi-jp-rm-tan-to-vn | gf | an-azu-bg-dn-fr-hau-ls-ma-maid-me-mo-ne-old_o-p-sos-sp-t-w | misc-vnd | stat ]
[Burichan] [Futaba] [Gurochan] - [Архив] [Главная]

[Назад]
Ответ
Leave these fields empty (spam trap):
Имя
E-mail
Тема
Сообщение
Файл
Подтверждение
Пароль (для удаления файлов и сообщений)
ЗАПРЕЩЕНО:
  • детская эротика/порнография
  • троллинг
  • политика
 
  • Поддерживаемые типы файлов: GIF, JPG, PNG
  • Максимально допустимый размер файлов: 8192KB.
  • Изображения, размер которых превышает 200x200 пикселей, будут уменьшены.
  • Максимальное количество бампов треда: 250.

Файл: 1528844368547.gif -(28480 B, 326x327, 1149376086477.gif) Изображение уменьшено, кликните для отображения оригинала
28480 No.107  

Тред для отчётах об известных поломках и предпринятых действиях.

>> No.108  

Проблемы на данный момент:

  1. Грабилка не поддерживает слияние тредов. Тред, более не доступный по оригинальному адресу, считается удалённым. Вместе со всеми постами, да. Из предполагаемых путей решения пока только костыли, которые мне очень не хочется имплементировать.
  2. Слияние /an/ и /o/, фактически, создало новый раздел, ибо там совершенно новая нумерация. Быть может и было бы веселее создать /ano/ (потому что это и есть /ano/, см. http://ii.yakuji.moe/d/res/246209.html ), мне и всем новичкам будет гораздо проще, если это станет новым /o/. Что делать со старым /o/? Какой-нибудь o_old, я не знаю. Да, мне настолько не хочется переписывать на лету все ссылки только ради одной доски.
  3. html весят в совокупности слишком много, а большую часть времени они лежат без дела. Перестройка (надстройки над) Вакабы в разработке, но пока что мне лень начать даже тестирование. Я знаю, что там можно постить и портировал большую часть мод-функционала зато.
>> No.109  

Сегодня на Ычане произошли две вещи:

  1. В /b/ ввели имена файлов. Я не буду распространяться здесь о моём личном мнении об имплементации. В любом случае, это не является проблемой, и у всех файлов, запощенных после нововведения, будет отображаться имя файла. Имена у файлов, запощенных до этого, не появятся, даже если на данный момент они присутствуют на Ычане. По крайней мере до того как А/д/министрация не уберёт затирание.
  2. На всех досках исчез префикс "Файл: " перед ссылкой на прикреплённое изображение в посте. Это серьёзная проблема, повлекшая остановку всей грабилки на пару часов, потому что в ограниченных условиях удалённого дебагинга у меня не было уверенности, что посты парсятся правильно.

Далее следует подробное описание п.2.

Проблема заключалась в том, что "Файл: " было якорным выражением, за которое зацеплялся парсер информации о файле. Соответственно, с его исчезновением парсер не мог соотнести отрывки html с тем, что он искал. Соответственно, у постов не сохранялись изображения.
17:48 MSK. Обнаружено, что данное изменение затрагивает все доски (http://ii.yakuji.moe/b/res/4737901.html#4738238), после чего вскоре была остановлена грабилка. Даже если целостность самих постов и гарантировалась (что нельзя было проверить на тот момент), было решено пренебречь возможными удалениями за два часа ради облегчения восстановления изображений.
19:09. Исправленная грабилка запущена и подхватила все живые посты после этого, вместе с картинками.
20:13. Обнаружен баг, который прекращал отрисовку /stat/ до отдачи грабилки первой команды. Из-за невнимательности, исправленная версия не была запущена вплоть до 23:18.
01:28. Посты без изображений, оставленные в период с ~14:00 по 16:09, восстановлены репарсингом постов. Если среди них затерялись посты с md5 вместо имени файла, то они сохранились в таковом формате.
01:58. Посты без изображений, оставленные в период с 16:09 по ~17:48, восстановлены репарсингом постов. Задержка в 30 минут связана с ошибочными параметрами поиска для репарсинга.

Выводы
За последние два года Ычан начал меняться, и меняться непредсказуемо. Изменение может произойти в любое время, не быть никак задокументировано, и быть крайне незаметно на глаз. В связи с этим, парсинг регулярками даёт о себе знать.
Тем не менее, я не считаю, что есть правильный ответ на этот вопрос. У нас уже есть пример изменения внутренней структуры, что не затронула грабилку, но убило нумерацию постов в треде на самом Ычане, потому что использовало XPath. От внезапных изменений не застрахован никто. Поэтому на данный момент я не буду рассматривать замену парсера, потому что не вижу, как ямогу гарантировать защиту себя от дальнейших изменений.

Внешний вид этого архива стремится в точности повторять Ычан. И он будет показывать имена файлов в /b/. С этим всё в порядке.
Тем не менее, я принял решение не убирать "Файл: " из выдачи. Не столько чтобы напомнить об этом инциженте, но потому что считаю, что оно выглядит ужасно, особенно у постов с удалёнными изображениями/тумбнейлами.

>> No.110  

По неизвестным причинам, последнее время (с неделю?), грабилка может уйти в софтлок.
Поражённый тред перестаёт даже проверять доски. Софтлок может поразить даже общий механизм контроля.

Причины выясняются.

>> No.111  

>>110
В некоторых разделах клинила автомодерация, так-как скрипт пытался перезаписать файл с правами только на чтение. Программа ожидала ручного разрешения ситуации на сервере.

Почему вообще это происходило, выясняется.

>> No.124  

>>108
2 решено. 3 Скорее более скоро чем через полгода.
Алсо, в /n/теперь новости.

>> No.127  

Это багтрекер?

Из каких соображений из тредов удаляется <div id="thread-NNNNNNNNN">, в который на Ычане обернуты все посты в оном треде? Без их куда как менее удобно парсить, особенно первый пост.

>> No.128  

>>127
Он не удаляется, он просто не генерируется. Стандартное поведение Вакабы и Ычана... как минимум до 2012-14. К понедельнику могу поправить, впрочем.

>> No.129  

>>128

>как минимум до 2012-14

Хм, смотрел на Ычане древние архивные треды — оно там есть. И в тредах 11 года с архива РПГ — тоже.

>> No.130  

>>129
И правда. Мог спутать с чем-то другим, значит.

Тем не менее, это всё ещё не является стандартным поведением Вакабы.

Новые страницы будут генерироваться с дивом, старые пока трогать не буду.

>> No.131  

>>108

  1. Было решено около недели назад. На данный момент, впрочем, тред остаётся не перенесённым. Наверное, более лучшим решением было бы позволить посты к тредом относиться как 1:много, но это достаточно редкая вещь, имхо. С другой стороны, возможны поломанные ссылки. И значит самый правильный выход - резолвить ссылки через жс или динамикой. А это п.3
>> No.134  

Со вчерашнего дня автомодерация и перестройка досок были выведены в параллельный поток и больше не блокируют работу грабилки (и не требует ручного запуска!). Добавлены и sanity check, но вывод пока никуда не идёт.



Удалить сообщение []
Пароль
[d | b-bro-hr-l-m-med-mi-mu-o-ph-r-s-sci-tran-tv-x | vg | au-tr | a-aa-c-fi-jp-rm-tan-to-vn | gf | an-azu-bg-dn-fr-hau-ls-ma-maid-me-mo-ne-old_o-p-sos-sp-t-w | misc-vnd | stat ]
[Burichan] [Futaba] [Gurochan] - [Архив] [Главная]