[d | an-b-bro-hr-l-m-med-mi-mu-o-ph-r-s-sci-tran-tv-x | vg | au-tr | a-aa-c-fi-jp-rm-tan-to-vn | gf | azu-bg-dn-fr-hau-ls-ma-maid-me-mo-ne-old_o-p-sos-sp-t-w | misc-vnd | stat ]
[Burichan] [Futaba] [Gurochan] - [Архив] [Главная]

[Назад]
Ответ
Leave these fields empty (spam trap):
Имя
E-mail
Тема
Сообщение
Файл
Подтверждение
Пароль (для удаления файлов и сообщений)
ЗАПРЕЩЕНО:
  • детская эротика/порнография
  • троллинг
  • политика
 
  • Поддерживаемые типы файлов: GIF, JPG, PNG
  • Максимально допустимый размер файлов: 8192KB.
  • Изображения, размер которых превышает 200x200 пикселей, будут уменьшены.
  • Максимальное количество бампов треда: 100.

Файл: 1528844368547.gif -(28480 B, 326x327, 1149376086477.gif) Изображение уменьшено, кликните для отображения оригинала
28480 No.107  

Тред для отчётах об известных поломках и предпринятых действиях.

>> No.108  

Проблемы на данный момент:

  1. Грабилка не поддерживает слияние тредов. Тред, более не доступный по оригинальному адресу, считается удалённым. Вместе со всеми постами, да. Из предполагаемых путей решения пока только костыли, которые мне очень не хочется имплементировать.
  2. Слияние /an/ и /o/, фактически, создало новый раздел, ибо там совершенно новая нумерация. Быть может и было бы веселее создать /ano/ (потому что это и есть /ano/, см. http://ii.yakuji.moe/d/res/246209.html ), мне и всем новичкам будет гораздо проще, если это станет новым /o/. Что делать со старым /o/? Какой-нибудь o_old, я не знаю. Да, мне настолько не хочется переписывать на лету все ссылки только ради одной доски.
  3. html весят в совокупности слишком много, а большую часть времени они лежат без дела. Перестройка (надстройки над) Вакабы в разработке, но пока что мне лень начать даже тестирование. Я знаю, что там можно постить и портировал большую часть мод-функционала зато.
>> No.109  

Сегодня на Ычане произошли две вещи:

  1. В /b/ ввели имена файлов. Я не буду распространяться здесь о моём личном мнении об имплементации. В любом случае, это не является проблемой, и у всех файлов, запощенных после нововведения, будет отображаться имя файла. Имена у файлов, запощенных до этого, не появятся, даже если на данный момент они присутствуют на Ычане. По крайней мере до того как А/д/министрация не уберёт затирание.
  2. На всех досках исчез префикс "Файл: " перед ссылкой на прикреплённое изображение в посте. Это серьёзная проблема, повлекшая остановку всей грабилки на пару часов, потому что в ограниченных условиях удалённого дебагинга у меня не было уверенности, что посты парсятся правильно.

Далее следует подробное описание п.2.

Проблема заключалась в том, что "Файл: " было якорным выражением, за которое зацеплялся парсер информации о файле. Соответственно, с его исчезновением парсер не мог соотнести отрывки html с тем, что он искал. Соответственно, у постов не сохранялись изображения.
17:48 MSK. Обнаружено, что данное изменение затрагивает все доски (http://ii.yakuji.moe/b/res/4737901.html#4738238), после чего вскоре была остановлена грабилка. Даже если целостность самих постов и гарантировалась (что нельзя было проверить на тот момент), было решено пренебречь возможными удалениями за два часа ради облегчения восстановления изображений.
19:09. Исправленная грабилка запущена и подхватила все живые посты после этого, вместе с картинками.
20:13. Обнаружен баг, который прекращал отрисовку /stat/ до отдачи грабилки первой команды. Из-за невнимательности, исправленная версия не была запущена вплоть до 23:18.
01:28. Посты без изображений, оставленные в период с ~14:00 по 16:09, восстановлены репарсингом постов. Если среди них затерялись посты с md5 вместо имени файла, то они сохранились в таковом формате.
01:58. Посты без изображений, оставленные в период с 16:09 по ~17:48, восстановлены репарсингом постов. Задержка в 30 минут связана с ошибочными параметрами поиска для репарсинга.

Выводы
За последние два года Ычан начал меняться, и меняться непредсказуемо. Изменение может произойти в любое время, не быть никак задокументировано, и быть крайне незаметно на глаз. В связи с этим, парсинг регулярками даёт о себе знать.
Тем не менее, я не считаю, что есть правильный ответ на этот вопрос. У нас уже есть пример изменения внутренней структуры, что не затронула грабилку, но убило нумерацию постов в треде на самом Ычане, потому что использовало XPath. От внезапных изменений не застрахован никто. Поэтому на данный момент я не буду рассматривать замену парсера, потому что не вижу, как ямогу гарантировать защиту себя от дальнейших изменений.

Внешний вид этого архива стремится в точности повторять Ычан. И он будет показывать имена файлов в /b/. С этим всё в порядке.
Тем не менее, я принял решение не убирать "Файл: " из выдачи. Не столько чтобы напомнить об этом инциженте, но потому что считаю, что оно выглядит ужасно, особенно у постов с удалёнными изображениями/тумбнейлами.

>> No.110  

По неизвестным причинам, последнее время (с неделю?), грабилка может уйти в софтлок.
Поражённый тред перестаёт даже проверять доски. Софтлок может поразить даже общий механизм контроля.

Причины выясняются.

>> No.111  

>>110
В некоторых разделах клинила автомодерация, так-как скрипт пытался перезаписать файл с правами только на чтение. Программа ожидала ручного разрешения ситуации на сервере.

Почему вообще это происходило, выясняется.

>> No.124  

>>108
2 решено. 3 Скорее более скоро чем через полгода.
Алсо, в /n/теперь новости.



Удалить сообщение []
Пароль
[d | an-b-bro-hr-l-m-med-mi-mu-o-ph-r-s-sci-tran-tv-x | vg | au-tr | a-aa-c-fi-jp-rm-tan-to-vn | gf | azu-bg-dn-fr-hau-ls-ma-maid-me-mo-ne-old_o-p-sos-sp-t-w | misc-vnd | stat ]
[Burichan] [Futaba] [Gurochan] - [Архив] [Главная]