[d | an-b-bro-fr-gf-hr-l-m-maid-med-mi-mu-ne-o-old_o-p-ph-r-s-sci-sp-t-tran-tv-w-x | bg-vg | au-mo-tr | a-aa-abe-azu-c-dn-fi-hau-jp-ls-ma-me-rm-sos-tan-to-vn | misc-tenma-vndev | dev-stat]
[Burichan] [Futaba] [Gurochan] [Tomorrow] [Архив-Каталог-RSS] [Главная]

Файл: -(121 KB, 320x480)
121 No.4115706  

Уважаемые Сырны, недавно просто искал всякие картинки в Google и случайно наткнулся на такую:

http://www.sword-girls.com/Img/Card/200033L.jpg

Я подумал "Хм, а ведь это же можно ссылку потискать и может ещё чего найду.
И да, я оказался прав. Рядом с этой лежит очень много картинок, например эта:

http://www.sword-girls.com/Img/Card/100106L.jpg

Сам сайт оказался не на http://www.sword-girls.com/, а на http://www.sword-girls.com/Default.aspx.
Посему у меня возник вопрос:
А какой же граббер сможет гарантировано скачать мне все картинки, начиная с 000000L.jpg и заканчивая 999999.jpg (если таковые имеются).
Прошу всех Сырен поделиться знаниями в этой области и посоветовать очень хорошие и действенные методы или программы.

>> No.4115708  
Файл: -(127 KB, 320x480)
127

Скажу сразу, что через IDM (Internet DownLoad Manager) я уже пробовал.

Через главный домен http://zeonix.co.kr/ он не находит эти картинки.
Через домен http://www.sword-girls.com/default.aspx он находит их штук 7 от силы.
Если же попытаться ограбить http://www.sword-girls.com/, то он вообще ничего не находит.

>> No.4115710  

Извини, но зачем тебе это?

>> No.4115711  

>>4115710
Я бака.
Просто хочу посмотреть все эти карточки, сколько бы их не было.

>> No.4115723  

баш + вгет

>> No.4115724  
Файл: -(48 KB, 674x600)
48

>>4115723

>> No.4115729  

>>4115711
A этот сайт тебе знаком?
http://s-s.chan.sankakucomplex.com/
Тут можно искать картиночки и по ходужникам и по тегам. Может разберешься для меня как скачать все работы hairu, например?

>> No.4115733  

>>4115724
У тебя ОС какая, дурашка?

>> No.4115734  

>>4115724
for x in {1..999999}; do tmp="http://www.sword-girls.com/Img/Card/$(printf "%06d" $x)L.jpg"; wget $tmp; done

>> No.4115735  
Файл: -(202 KB, 320x480)
202

>>4115733
Windows 7 (64X), Пиратская

>> No.4115737  

>>4115735
Ну а что ты тогда тут делаешь?

>> No.4115742  

>>4115737
Ищу помощи...

>> No.4115754  
Файл: -(16 KB, 581x322)
16

Cygwin + wget, качаешь нужную версию с https://cygwin.com/install.html, в установщике выбираешь [x] дополнительный пакет wget.
Тот пост я удалил, ибо там zsh, а в баше такое не заработает. Самое очевидное, конечно, сделать

for i in {000000..999999}

(>>4115734 на заметку!), но я где-то читал, что такая конструкция, особенно на таких интервалах, жрёт много памяти. Так что

for (( i = 0; i <= 999999; ++i )); do
printf -v j '%06d' "$i"
wget "http://www.sword-girls.com/Img/Card/${j}L.jpg"
done
>> No.4115758  
Файл: -(122 KB, 904x1280)
122

>>4115754
Так, установил CygWin, нашёл в нём пакет WGet.
Запустил данную конструкцию.
Что-то начало работать.

А куда это всё пойдёт в итоге?
Если она найдёт картинку по адресу, она её автоматически куда-то скачает?

>> No.4115762  
Файл: -(579 KB, 700x934)
579

>>4115754
Он последовательно что ли работает? Зачем так жить?

>> No.4115777  

Опять я фигню написал!
>>4115758

> А куда это всё пойдёт в итоге?
> Если она найдёт картинку по адресу, она её автоматически куда-то скачает?

<каталог-куда-ты-установил-cygwin>\home\<username>
>>4115762
Да ;_;
Держи, 20 -- число одновременно работающих wget'ов:

for (( i = 0; i <= 999999; )); do
for (( j = 0; j < 20; ++j,++i)); do
printf -v k '%06d' "$i"
wget -nv "http://www.sword-girls.com/Img/Card/${k}L.jpg" &
done
wait
done
>> No.4115778  
Файл: -(64 KB, 540x540)
64

>>4115777
20 параллельных запросов - потолок?
Есть ли разграничение количества запросов по ОЗУ?

>> No.4115781  

>>4115778

> 20 параллельных запросов - потолок?

Нет, это я только для примера же. Можешь увеличить.

> Есть ли разграничение количества запросов по ОЗУ?

Не понял. Много памяти оно жрать не должно.

>> No.4115789  
Файл: -(139 KB, 320x480)
139
>> No.4115788  
Файл: -(209 KB, 900x1200)
209

>>4115781
То есть можно даже 1000 задать?
Хитрые глаза жадной Сырны

>> No.4115795  

>>4115788
Тебя сервер может отправить далеко на юг, если его мучать очень сильно будешь.

>> No.4115798  

>>4115788
Наверное, нет смысла. Вопрос в том, во что оно упрётся быстрее -- в скорость твоих интернетов, или скорость эмуляции POSIX'ного API Cygwin'ов плюс создания новых процессов виндой.

Я надеюсь, ты используешь версию из >>4115777, а не удалённого поста? А то там баг же!

>> No.4115800  

>>4115795
Вот, кстати, да.

>> No.4115802  
Файл: -(44 KB, 600x255)
44

>>4115798
Да, исправленный код. Спасибо!

>> No.4115806  
Файл: -(113 KB, 320x480)
113

Ох ты, помню, я играл какое-то время в английскую версию, даже денег немножко дал, но ее вскоре закрыли. Сейчас вроде бы есть какие-то фанатские реинкарнации.

>> No.4116357  
Файл: -(140 KB, 320x480)
140

>>4115798
Оно работает!
Оно живое!
Проснулся я такой и увидел приятные картинки в заветной папке!
Спасибо!

>> No.4116359  

>>4115723
Вопрос не совсем по теме треда, но все же. Есть ли какие-то +- универсальные грабберы картинок для различных сайтов? В которые ты вбиваешь сайт, шаблон лмнка на картинку регексп, грубо говоря и оно качает?
инби4: сам напиши

>> No.4116366  
Файл: -(71 KB, 768x536)
71

>>4116359
Если не секрет, с какого года пользуешься интернетом?
До 2000 года все мои знакомые использовали пикрелейтед.
Имхо, для сложных случаев ничего лучше и не придумали, а для простых хватает wget -e robots=off -kpcr -I "*/src" <thread>

>> No.4116370  

>>4116366
В интернетах я года с 2009. Но по-настоящему вылез за пределы вконтактика я ими начал пользоваться уже на 1 курсе.

За прогу спасибо, сейчас буду шаманить.

>> No.4116371  

>>4116366
А я скучаю по старым иконкам
и недолюбливаю современные плоские односложные фигуры

>> No.4116385  

>>4115706
Можно самому алгоритм создать. Я сам хотел бы научиться, где и как это делать, с радостью, да вот времени нет. Но структуру примерно представляю

>> No.4116790  
Файл: -(870 KB, 1097x816)
870

Уиии! Девчачий Визг
Спасибо, Сырны!

>> No.4116818  
Файл: -(751 KB, 640x960)
751

При желании и Вайфу 2Х можно спокойно сделать картинки более-менее хорошего качества.

>> No.4116821  

>>4116790
Не забудь потом паком поделиться.
мимолениваябака

>> No.4116826  
Файл: -(580 KB, 640x960)
580

>>4116821
На Google Drive если залью, устроит?

>> No.4116829  
Файл: -(121 KB, 320x480)
121

>>4115806
А вообще хочу бывалых спросить, так как не знаю корейского и нет времени даже начинать играть в эту игру.

В ней есть какой-то LORE или история? Потому что если смотреть с самых первых карточек и до самых последних, можно увидеть, как несколько лоли растут и превращаются из девочек в боевых девушек.

>> No.4116831  

>>4116826
Yep.

>> No.4116833  
Файл: -(747 KB, 640x960)
747

>>4116831

Try this:
https://drive.google.com/open?id=0B8R-fL-rCvj-SnEtMVItc3NmYVE

В придачу чудный сайт, с которым можно картинки, которые понравились сделать покрасивше:
http://waifu2x.udp.jp/

>> No.4116844  
Файл: -(185 KB, 850x962)
185

>>4116357
Пожалуйста.

>> No.4116967  
Файл: -(141 KB, 320x480)
141

http://www.swordgirls.org/card#!100004

Кажется эта игра больше, чем кажется...

>> No.4117009  

>>4115706
А я разочаровался в собирательстве картинок. Вот если бы я так или иначе не терял все те картинки, которые проходили через меня, а сохранил бы по день сей, то мне бы, наверное, на хватило и моего добавочного ЖД.
Мне как-то стало противно от моего скопидомничества, и я удалил все картинки, кроме двух любимых художников, артов из любимого тайла, и буквально две-три понравившиеся картинки. Всё остальное - децигигабайты хентая, простые аниме-арты, арты посвещённые играм и бесконечное бордовское прочее-прочее-прочее-прочее отправилось в никуда. Я наконец-то нашёл ту самую книгу - «Как перестать сохранять картинки и начать жить».

>> No.4117032  

>>4116833

> В придачу чудный сайт

Если бы ещё кто-то из наших чудных хацкеров смог прогнать весь пак, через эту программу. Я на хабе даже видел мануал, но не осилил.

>> No.4117283  
Файл: -(577 KB, 1280x1920)
577

>>4116829
Лор там в основном виден из фраз на картах и сюжетных эпизодов. Большая часть игры состоит из гринда ресурсов в данжах, чтобы крафтить и апгрейдить карты. Ну пвп тоже есть конечно.

>> No.4117328  

>>4117032
Там-же в консоле.
Переходишь в папку с картинками.
Создаешь папку "converted".

for fn in ls *.jpg; do curl -o converted/$fn.jpg -F "file=@$fn" -F "style=art" -F "noise=2" -F "scale=2" http://waifu2x.udp.jp/api; done

Наверное команда упрется в какие-то лимиты пусть >>4115754-кун поправит.

А вообще-то плохой тон насиловать так чужой сервер, я б советовал поднять свой и сделать локально, ссылка на гитхаб есть

>> No.4117358  
Файл: -(161 KB, 640x960)
161

>>4117328

> Наверное команда упрется в какие-то лимиты

Наверное, только в скорость обработки на сервере. Да и они там наверняка выставили какие-то лимиты на кол-во запросов с одного IP на единицу времени.

> пусть >>4115754-кун поправит

Разве что

for fn in `ls *.jpg`

-> for fn in *.jpg

Вообще, на гитхабе сказано:

> If you are a windows user, I recommend you to use waifu2x-caffe(Just download from releases tab) or waifu2x-conver-cpp.

У waifu2x-caffe есть гуй, где можно указать каталог с картинками, но он требует установки CUDA-драйвера для того, чтобы апскейлить на видеокарте.
waifu2x-converter-cpp не требует, вот, что у меня получилось с

waifu2x-converter_x64.exe --scale_ratio 2 -i 200033L.jpg
>> No.4117369  
Файл: -(154 KB, 640x960)
154

...а вот что -- c

waifu2x-converter_x64.exe --scale_ratio 2 --noise_level 2 -i 200033L.jpg

Могу написать, как им автоматически апскейльнуть все картинки.

>> No.4117401  

>>4117328
Пробую. Поехало работать. Сейчас посчитаю, как закончит.

>> No.4117411  

Как-то пробовал на bush написать скрипт, который переименует все файлы в каталоге, но так и не вышло. Не совсем понятно как например сделать одну цифру, которая увеличивает свой размер.

Где вы учили bush?

>> No.4117439  
Файл: -(687 KB, 640x960)
687

#!/bin/bash
a=$RANDOM
for x in *.sh
do
mv "$x" "$a".sh
a=$RANDOM
done

Хотя вот порылся и написал, а раньше так пугался. Только теперь осталось разобраться, как контролировать размер случайности.

>> No.4117630  
Файл: -(475 KB, 600x847)
475

>>4117411
Примерах из других скриптов, гугл. Часто советуют ABSG, но я его не читал, поэтому ничего сказать не могу. Лучше всего, конечно, — прочитать man bash.

> bush

-_-

> Не совсем понятно как например сделать одну цифру, которая увеличивает свой размер.
shopt -s nullglob # чтобы *.jpg раскрывалось в пустой список, если таких не найдено
i=1
for f in *.jpg; do
echo "$i. $f"
(( ++i )) # увеличить i на 1
done

>>4117439

> #!/bin/bash

Лучше #!/usr/bin/env bash — не везде bash лежит в /bin.

> Только теперь осталось разобраться, как контролировать размер случайности.

Остаток от деления?

echo $(( RANDOM % 10 ))
>> No.4117654  
Файл: -(796 KB, 640x960)
796

>>4117630

> -_-

Постоянно хочется написать баш как bush, фигня какая-то. Извиняюсь. С десяток раз ошибался и продолжаю.

> ABSG

Слишком огромный. Может пользоваться, как справочником.

> echo "$i. $f"

Что означает здесь точка? Замену?

> (())

Особое спасибо, я думал поеду как складывать и проводить математические операции без "", так как без ограничений считается все строкой и конкатенация строк происходит при сложении.

>> No.4117680  
Файл: -(210 KB, 850x1203)
210

>>4117654

> Что означает здесь точка? Замену?

Просто точка же. То есть, будет выведено: значение i, точка, пробел, значение f.

> Особое спасибо

Был рад помочь.

>> No.4118601  
Файл: -(36 KB, 647x580)
36

>>4117411
Есть для этого специальная команда — rename.

> Где вы учили bush?

Нигде же. Оно само. Достаточно понимать на базовом уровне английский, читать маны и каждый день сидеть в консоли. Мозг всё сам впитает коли молодой. Консоль великая вещь.

>> No.4118611  

>>4117630
Везде лежит в /bin/. Заморачиваться с env имеет смысл лишь с другими скриптовыми интерпретаторами — python, ruby, perl, etc.

>> No.4118634  

>>4118611
А вот и нет! FHS требует только /bin/sh: http://www.pathname.com/fhs/pub/fhs-2.3.html#BINESSENTIALUSERCOMMANDBINARIES
/usr/bin/env, правда, оно тоже не требует, но даже системы, где всё остальное лежит где-то не там, предоставляют его для того, чтобы на них вообще работали скрипты. На NixOS, например, в /bin лежит только один sh, а в /usr/bin — только env. Всё остальное, в т.ч. bash — в /nix/store/…, которые в PATH.

>> No.4118650  

>>4118634

> приводить в пример никому неизвестный дистрибутив который сам признается, что там нашаманено с путями и вoобще "state of art"

Занудничаешь. Че мне эти лохматые стандарты, на которые и сaми-то дистростроители кладут, когда есть практика. И в этой практике sh никому давно не уперся, а дефолтный шелл в дистрибутиве — bash и лежит он в /bin/ (по крайней мере, там может лежать симлинк).

>> No.4118659  
Файл: -(149 KB, 850x862)
149

>>4118650
Кого ты цитируешь?

Я думаю, что ради того, чтобы скрипт был переносимым, можно и лишные восемь символов потрудиться написать. Если же ты уверен, что он будет крутиться только там, где bash действительно лежит в /bin, то да, можешь не писать. Я же не заставляю, просто сказал «лучше» же.

>> No.4119731  
Файл: -(188 KB, 482x600)
188

>>4116833
Огромное спасибо!

>> No.4120036  

>>4118601

> rename.

Поздно, башем уже сделал и вроде уже написал. Все равно спасибо за расширение кругозора.




[d | an-b-bro-fr-gf-hr-l-m-maid-med-mi-mu-ne-o-old_o-p-ph-r-s-sci-sp-t-tran-tv-w-x | bg-vg | au-mo-tr | a-aa-abe-azu-c-dn-fi-hau-jp-ls-ma-me-rm-sos-tan-to-vn | misc-tenma-vndev | dev-stat]
[Burichan] [Futaba] [Gurochan] [Tomorrow] [Архив-Каталог-RSS] [Главная]