Rss
Facebook
Twitter
Google+
ЖЖ
Вконтакте
Instagram
звоните нам
главный редактор
Как портятся профессиональные сообщества?
Портятся они от большого количества личностей, которым надо самоутверждаться за чужой счет.
Задаю вопрос:
Суть: сайт берёт инфу из базы и выдаёт её. При этом раз в день происходит формирование таблицы заново.
Вопрос: Как реализуется одновременное записывание новых данных и уничтожение старых без сбоя? (по времени их выдёргивать?)
Суть: формируется массив из нескольких тысяч элементов циклом и после обработки. потом циклом записывается в базу.
Вопрос: правильно ли выбран порядок действий, и не переполниться ли допустимое количество элементов. Как просчитать что быстрее: сформировать массив или обращаться к базе?
Суть: в процессе выполнения идёт запрос на сервер, ставящий ограничения по количеству запросов в секунду.
Вопрос: как выяснить, как часто скрипт выполняет запрос?
Сортировано по акуальности.
community.livejournal.com/ru_webdev/2954
Диалоги:
(sergiej) – (первый комментатор, с комментария начинает флудный тред. Из пяти-десяти комментариев чувака, все содержат отсылки на моё незнание предмета, намёки на своё знание предмета и ни в одном комментарии нет даже намёка на решение вопроса, даже одним словом.)
У вас два выхода: или поучиться как с базами работать, или подумать.
я:
То есть вы знаете ответ, но не хотите раскрывать сакраментальное знание?
(sergiej)
1. Как реализуется одновременное записывание новых данных и уничтожение старых без сбоя? (по времени их выдёргивать?)
да как угодно реализуется, база выполнит в точности вашу команду без сбоя. Какую логику замены данных вы хотите реализовать – ваше дело, поэтому предлагаю подумать
2. правильно ли выбран порядок действий, и не переполниться ли допустимое количество элементов. Как просчитать что быстрее: сформировать массив или обращаться к базе?
непонятно какие у вас элементы, нужен ли вообще массив или эту операцию можно на базе сделать в итерациях чтение-анализ-замена. (моё примечание: на самом деле там всё понятно в вопросе, а этот коммент позволяет сомневать в профпригодности того, кто его пишет, заметим, что он же ответа так и не дал ни в одном комменте, скрытое издевательство поймёт любой, кто разбирается в вопросе)
“Суть: в процессе выполнения идёт запрос на сервер, ставящий ограничения по количеству запросов в секунду.
Вопрос: как выяснить, как часто скрипт выполняет запрос?”
Это несвязанный набор слов. Какой скрипт, какие запросы, на какой сервер?
Я:
“да как угодно реализуется, база выполнит в точности вашу команду без сбоя.”
Что правда? Реально выполнит?
Вы всегда стараетесь показать, что знаете всё лучше всех, а все вокруг идиоты? Не можете предложить методики, как это сделали все, кроме вас, то и не надо. Бред зачем писать?
“Это несвязанный набор слов. Какой скрипт, какие запросы, на какой сервер?”
Поражаюсь вашему чванству. Ощущение, что вы первоклашка, который вообще ничего предложить не может, но пальцы веером и грудь колесом.
Спасибо, ваши услуги не требуются.
(hpashka) – модератор – вторым комментарием к посту предлагает дельное решение для первого пункта (правда единственно ценное в контексте вопроса тем, что позволяет мне узнать интересный для меня способ, а пацану продемонстировать мне знание слова Транзакция, подобное решение очевидным образом просто сожрёт ресурс, но главное ведь выпендриться), там же отмечает, что я пишу бред, спускается ниже и присоединяется к флудеру.
> Ощущение, что вы первоклашка
Ты – ебаный первокурсник. Тебе предложили то, что нужно сделать. Просто подумать. Научиться работать с транзакциями, потому что половина вопросов типа “ссуть” – это реально набор слов.
Далее обращаюсь к модерам в личку, с просьбой выдать разрешение на стирание флуда.
ответ:
(ashykoshka) – модератор, пол женский
БАН
“Уважаемый”, если Вы сами хамите вместо того, чтоб учиться, то хотя бы не позорились бы и не жаловались другому смотрителю (т.е. мне) на флуд и “плохое поведение” hpashka.
Так бы Вы, возможно еще остались бы в сообществе. Чувство юмора у меня есть, но пятница закончилась до написания Вами поста, а мат я не люблю.
А будете мне в личку сорить – забаню и в своем жж
Поведение молодых людей понятно. Им надо самоутвердиться, показать, какие они умные.
Поведение дамы тоже понятно, надо самоутвердиться, показать свою власть.
Мне же надо получить ответы на три грёбаных вопроса, без того, чтобы прыщавые курицы раздавали мне баны, а прыщавые подростки рассказывали какие они умные и какой я глупый.
Забавно, что тёлка почему-то полагает, что меня интересует её ЖЖ каким-то боком. Это ещё раз показывает психологическое состояние, когда надо показать свою важность. Впрочем вообще интересно, когда модератор профессионального сообщества не знает что такое кэш Яндекса (см скриншот – феерическая тупая идиотка), и чем вопрос о том: “что делать”, отличается от вопроса “как делать”. За сиськи берут? Особенно конечно доставляет, что человек, модератор webdev, не умеющий пользоваться поисковиком, призывает меня учиться и пользоваться гуглом. Девочка, сходи сама туда.
Так что российский сегмент интернета быстро и круто катиться к тому, что на любом профессиональном форуме вместо ответа на вопрос, вам скажут: вы дурак, после чего вас забанит модератор. Скатывание российских профессиональных коммюнити на уровень рассадника флуда, был очевиден, ведь Россия это членомерка, тут меряются длиной носок ботинок, телефонами, машинами. Без измерения длины члена и размера сисек, тут просто не могут обходиться.
Что характерно, оба флудера настаивали на заведомо неверном решении через транзакции, хотя правильное решение вне сомнения указало около пяти человек: временная таблица. Зато два флудера показали всем, что они знают слово транзакция, что хорошо сработало на неграмотную девушку, которая обвинила меня в том, что я не учусь, на основе того, что не знал такого способа. Моё же предложение следующее: всем троим быть скромнее и тише, тогда ваша тупость, безграмотность и спесь не будут бросаться в глаза.
==
yuretz73
Jan. 16th, 2010 08:38 am (UTC)
Ладно бы это была беда только интернет-сообществ… Во вполне солидных *реальных* профессиональных конторах сейчас часто та же фигня. На тебя смотрят как на идиота и оскорбляют, хотя потому что сами ничего не знают. А задача самоутверждения сейчас для всех задача номер один, любой ценой, превыше всех других жизненных целей.
Link | Reply | Thread
_steppenwolf
Jan. 16th, 2010 08:56 pm (UTC)
Тем хуже для контор, они же частные, правда?
Link | Reply | Parent | Thread
yuretz73
Jan. 16th, 2010 11:29 pm (UTC)
Если бы таких контор было несколько — да. Но когда некомпетентность становится ГЛОБАЛЬНЫМ явлением — то уже хуже для всех, увы.
Link | Reply | Parent | Thread
pythonx
Jan. 16th, 2010 11:11 am (UTC)
Это – нормальная ситуация, такое происходит везде и повсеместно, не только в профессиональных сообществах или профессиональных компаниях. Так себя ведут и макаки в стае, и детишки в школе, и заключенные в тюрьме, и члены совета директоров на заседании. Грёбаные законы этологии никак не отменяются.
Link | Reply | Thread
_steppenwolf
Jan. 16th, 2010 08:54 pm (UTC)
Так одно дело базар, другое – сообщество академаев. Научное сообщество тем и отличается, что есть система отсева флудеров.
Link | Reply | Parent | Thread
yuretz73
Jan. 16th, 2010 11:33 pm (UTC)
***Научное сообщество тем и отличается, что есть система отсева флудеров
Которая в силу естественного отбора приводит к возникновению суперфлудеров, умеющих флудить так, что система их не отсекает, а, наоборот, это уже ОНИ кого хотят — отсекают…
Link | Reply | Parent | Thread
friendlystrnger
Jan. 18th, 2010 01:18 am (UTC)
и по моим наблюдениям
2004-2006 в русскоязычном сегменте были переломными, куда-то подевались все профессионалы, остались одни пионеры да какие-то недоучки, гнущие пальцы :)
зы: так а в чем проблема-то? какая бд?
Link | Reply | Thread
_steppenwolf
Jan. 18th, 2010 08:16 am (UTC)
Re: и по моим наблюдениям
mysql.
ну единственное решение, это временная, так как раз в час мне надо полностью переписать всю таблицу, не обращаясь к ней, так как я натягиваю результат по всем данным.
А потом видно проще перебросить обращения на временную, и потом наполнять уже предыдущую.
Ну мне так кажется. Можно наверное и транзакцию сделать, но чисто интуитивно мне кажется, что это зря кушать ресурс.
А проблема, что я не могу оценить что и как кушает ресурс: обращение к базе или скажем несколькотысячэлементный массив.
Ну и третья проблема: скрипт долбит сервер чужой (жж и долбит), а там ограничения на обращения. И опять же не понятно как выяснить частоту.
Link | Reply | Parent | Thread
friendlystrnger
Jan. 18th, 2010 02:21 pm (UTC)
Re: и по моим наблюдениям
так, давайте методом “сверху-вниз” ;)
– у вас (?) есть скрипт, который кому-то (?) отправляет запросы?
где он запускается? на вашей машине или на чужой, если второе, то как вы можете контролировать его работу, если можете
– бд ваша или на чужом сервере? какой у вас туда доступ?
насчет переписывания таблиц:
– в mysql есть команда rename table, это чтобы не меняя кода, подсовывать скриптам разные таблицы ;)
– самый быстрый способ загрузить данные – одним запросом LOAD DATA из текстового файла (если есть доступ, если нет, то через sql dump с “длинными” insert-ами)
– причем тут транзакции? :)
Link | Reply | Parent | Thread
_steppenwolf
Jan. 18th, 2010 02:31 pm (UTC)
Re: и по моим наблюдениям
“в mysql есть команда rename table”
О!!! Спасибо.
“- у вас (?) есть скрипт, который кому-то (?) отправляет запросы?
где он запускается? на вашей машине или на чужой, если второе, то как вы можете контролировать его работу, если можете”
С локалки (апач) гружу файл с жж
file_get_contents($file);
в мануалах жж пишут, что нельзя чаще чем 5 раз в секунду обращаться, а я не пойму, как измерить время.
Link | Reply | Parent | Thread
friendlystrnger
Jan. 18th, 2010 03:14 pm (UTC)
Re: и по моим наблюдениям
если на одной и той же машине все происходит, то лучше скидывать данные в обычный текстовый файл (tab delimited) и потом подгружать его в mysql через load data…
>нельзя чаще чем 5 раз в секунду обращаться
– можно лог обращений вести, в локальном файле, записывая все свои операции – удобно для мониторинга
– можно тупо создать и потом “открывать/закрывать” файл с определенным именем, тогда по времени последнего доступа посчитать разницу с текущим временем ;) таймстампы в секундах – очень удобно ;)
Link | Reply | Parent | Thread
_steppenwolf
Jan. 18th, 2010 03:18 pm (UTC)
Re: и по моим наблюдениям
Спасибо, великолепно.
Link | Reply | Parent | Thread
friendlystrnger
Jan. 18th, 2010 03:23 pm (UTC)
Re: и по моим наблюдениям
еще есть cron – знаете? можно на него повесить скрипт, чтоб стартовал в поределенное время или через заданное кол-во секунд/минут и загружал подготовленные данные…
кароче – полная свобода для творчества :)
Link | Reply | Parent | Thread
_steppenwolf
Jan. 18th, 2010 03:28 pm (UTC)
Re: и по моим наблюдениям
У меня весь скрипт на нём будет висеть.
Но я боюсь, что сервер на который запрос пойдёт заблокирует ip, поэтому пока просто ставил sleep после каждого запроса.
Link | Reply | Parent | Thread
friendlystrnger
Jan. 18th, 2010 03:30 pm (UTC)
Re: и по моим наблюдениям
эээ, я имел ввиду, что один скрипт подготавливает данные (всё время?)
а другой стартует периодически и заливает их куда надо
Link | Reply | Parent | Thread
_steppenwolf
Jan. 18th, 2010 04:47 pm (UTC)
Re: и по моим наблюдениям
ну собственно что-то в этом духе и будет.
Link | Reply | Parent | Thread
_steppenwolf
Jan. 18th, 2010 08:28 am (UTC)
Re: и по моим наблюдениям
“2004-2006 в русскоязычном сегменте были переломными, куда-то подевались все профессионалы, остались одни пионеры да какие-то недоучки, гнущие пальцы :)”
Просто интернет расширился, а в жж убрали инвайт.
Хабр вон значительно отличается.
Link | Reply | Parent | Thread
_steppenwolf
Jan. 18th, 2010 08:43 am (UTC)
Re: и по моим наблюдениям
и более простой вопрос:
есть где-то справочник по таким алгоритмам? скажем мне в универе давали только по надобности алгоритм ньютона сравнения, а методики физики описаны в рамках подготовки к психометрии, это методики, которые используются каждый день, но отсутствуют в справочниках и учебниках, и изучаются только на семинарах: например получать решение 200/x=100/1 умножением, а не раскрыванием итд.
не верю, что нет книжечки.
Link | Reply | Parent | Thread
friendlystrnger
Jan. 18th, 2010 02:24 pm (UTC)
Re: и по моим наблюдениям
не совсем понял про какие алгоритмы речь
лично мне мало что пригодилось из того, чему нас учили, хотя там были годичный курс по базам данных, и все 5 лет всяко-разного программирования… точнее, все полезное можно было неторопясь пройти за 2 года! :->
Link | Reply | Parent | Thread
_steppenwolf
Jan. 18th, 2010 02:33 pm (UTC)
Re: и по моим наблюдениям
“не совсем понял про какие алгоритмы речь”
То, что недавно журналисты обозвали
“трюком” – методики для работы.
Например выявление элемента из массива, когда сначала сравнивается с серединой, потом с середины остатка итд – алгоритм Ньютона.
В физике например для работы надо знать десяток трюков, иначе работа становится “в лоб”, а это долго.
Link | Reply | Parent | Thread
friendlystrnger
Jan. 18th, 2010 03:16 pm (UTC)
Re: и по моим наблюдениям
а, это уже курс прикладной математики :)
это не книжечки, это томА! ;)
по названиям алгоритмов посмотрите, например:
https://ru.wikipedia.org/wiki/%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D1%81%D0%BE%D1%80%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D0%B8
Link | Reply | Parent | Thread
( 21 comments — Leave a comment )
Profile
main
_steppenwolf
_steppenwolf
Visual ART
Опросы
Насилие и грабежи в России
Какая поза ваша любимая?
Опрос: Электронный формат книг
Что я готов/а сделать чтоб дышать чистым воздухом?
Куда исчезли тараканы?
Выборы 2008 – проголосуем по честному
Цитаты
Каждый имеет право свободно искать, получать, передавать, производить и распространять информацию любым законным способом.
Гарантируется свобода массовой информации. Цензура запрещается.
Конституция РФ
Фото
Синай
Алтай
Немцов в Новосибирске 2010
Митинг КПРФ октябрь 2010
Яшин в Новосибирске
Яшин и блогеры
9-е Мая 2010
Монстрация 2010
Монстрация 2010
Жу жу жу
Демократический фронт 1991
Links
Помоги
Дом Чешира
Вижуаль АРТ
Мой персональный архитектор
Мой юрист
зафрендить меня
Мой ещё один персональный архитектор
Мой врач
Моя настольная книга
Моя ещё одна настольная книга
ИноСМИ
Им можно отдать старый комп
Купите майку
Рейтинг блогов (Тёма)
Рейтинг блогов (Хуюгл)
Рейтинг блогов (Блоzzета)
Tags
“Москва” против Сибири claimer classified consumer reports funny genetic modified mac os mail margolin garden in jerusalem music photography unser kampf via ljapp war in gaza Бердск Практика выживания Розовый Кот Сибирь УЮТ алтай арбатский барон унгерн видео видео новосибирск винтик и шпунтик где я хочу жить городецкий движение бюргеров движение наши демократия демонстрация дом актёра есть идея жулики в науке законный отстрел быдла зарисовки города новосибирска золотая нива зоопарк иерусалим израиль искитим квартирник кемерово кн красноярск круглый стол кулинария лампы накаливания лицемеры лоботомия лукьяненко медведи в Сибири медицина мелочи жизни менты мишель томас монстрация москва московские оккупанты моя кошка наркотики небесные сферы независимость незаконный отстрел быдла нелигитимные узурпаторы в кремле немцов неонацисты новосибирск обзор обзор виртуальных знакомств озеленение опросы отделение от России открытки падение москвы политика политики полиция преданья протесты пенсионеров реклама рецензии к фильмам речетатив роспотребнадзор сакартвело сб свободный интернет сибирские берсеки синай тени теракт технион томск тусовка узурпаторы указы президента учебники фашизм фига фотография фсб хайфа хакамада цдака цензура частная собственность священна и неприко шиловники шум экология экспропирация этимология Ἔξοδος 舞踏
View my Tags page
Page Summary
yuretz73 : (no subject) [+2]
pythonx : (no subject) [+2]
friendlystrnger : и по моим наблюдениям [+14]
