Вы здесьВопрос к линуксоидам
Опубликовано пн, 09/11/2009 - 00:30 пользователем larin
Как определить, берётся ли файл из кэша или с диска? Точнее, нужен список файлов, за, скажем, час, которые читались с диска. Те, которые брались из кэша - не интересуют.
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
Isais RE:Рекс Стаут - С прискорбием извещаем [редакция 2001 г.] 1 день
sd RE:Ух, как я не люблю спамеров! 1 день klepik.u RE:Подайте бедному копеечку на книжку с литреса... 2 дня tvnic RE:FineReader 14: Баг или нет! 2 дня Смолькин Игорь RE:Прошу удалить мои книги 3 дня sem14 RE:«Не забыть бы тогда, не простить бы и не потерять!»-1 ... 5 дней lopotun RE:Смешной способ обхода блокировки РКН 1 неделя sova007 RE:Правила пользования библиотекой Либрусек 1 неделя STAR-MAN RE:Тисяча вікон і один журавель 1 неделя msnaumov RE:Прощай, Атлантида! 2 недели sibkron RE:Премия Национального круга книжных критиков США (National... 2 недели sem14 RE:Шпионы и разведчики 2 недели Nucte RE:Соня, уйди! Софья Толстая: взгляд мужчины и женщины 3 недели yut RE:Проблемы с доступом в либрусек 3 недели sibkron RE:Кока 3 недели sibkron RE:Нетленный прах 3 недели Lyka RE:Вечером 3 недели sibkron RE:История разведенной арфистки 3 недели Впечатления о книгах
Joel про Ладыженский: Один плюс один (Научная фантастика)
20 04 Редкий шлак. К старым Олдям сиё имеет чуть меньшее отношение, чем к мусорному бачку, куда эта книжка улетела со свистом через пять минут после начала чтения. Оценка: нечитаемо
Joel про Кэмпбелл: Ночь шрамов (Фэнтези)
20 04 Хм, странно, но я почему-то пропустил в отзывах эту давно прочитанную и вполне себе замечательную книжку. Исправляю ошибку и рекомендую к чтению всем, кому нравится Dishonored, паропанк, некрофантастика, армии монстров, геноцид, ……… Оценка: отлично!
Joel про Мьюир: Гидеон из Девятого дома (Героическая фантастика, Фэнтези)
20 04 Прекрасно. По стилю это текстовый комикс или боевик (несколько напоминающий такой же убойный "Кодекс Дипгейта" Алана Кэмпбелла; на русском есть только первая часть - "Ночь шрамов", остальное на ингрише), по сюжету же - некрофантастика, ……… Оценка: отлично!
скунс про Щепетнов: Ботаник (Альтернативная история, Боевая фантастика, Фэнтези)
20 04 Понравилась книга , продолжение прочту Оценка: хорошо
irukan про Ланцов: Сирота (Альтернативная история, Самиздат, сетевая литература)
20 04 Хорошо зашла книга! Наш современник в шестнадцатом веке. Стартовые условия - самый минимум. Задача - выжить. Ждём продолжения Оценка: отлично!
Ultima2m про Валериев: Начало [CИ] (Альтернативная история, Самиздат, сетевая литература)
20 04 Автор искренне благодарит всех участников литературных форумов «В Вихре Времен»..." Когда вижу в аннотации благодарность участникам форума "ВВВ", удаляю книги не читая. Без оценки
ne_fanat про Дронт: Отставник [litres] (Героическая фантастика, Фэнтези, Попаданцы)
20 04 Обидно. Что это всего лишь замена "Опалы". Уважаемый автор. Не бросай цикл. Пиши дальше. Пожалуйста. Оценка: отлично!
Iron Man про Маканин: За чертой милосердия (Социальная фантастика, Современная проза)
20 04 Эта повесть изначально была издана под названием "Долог наш путь" ("Знамя", № 4, 1991). Вещь сильная, но тяжёлая (для психики). На ночь глядя перечитывать не будешь. И в то же время - прочитав, никогда не отправишь её ………
Ultima2m про Стоев: За последним порогом. Нижний мир [СИ] (Боевая фантастика, Фэнтези)
20 04 Серия неплоха, но довольно однообразна. ГГ всех нагибает, учится непонятной магии, интригует... Для пары книжек сюжет неплохой, однако, 4 книги я не осилил. Оценка: неплохо
vectors про Тайниковский
20 04 Сплошной "треш и содомия". Литературный уровень текста и на пятый класс не тянет, язык примитивный, в высшее педагогическое образование автора верится с трудом. А вот столбостроительная бурса вполне вероятна. Грамотность ………
Lena Stol про Царев: Круги на воде (Боевая фантастика, Детективная фантастика, Самиздат, сетевая литература)
20 04 Сначала интересно, но потом утомили постоянные прыжки героя во времени и пространстве, и авторские флэшбеки. |
Комментарии
Отв: Вопрос к линуксоидам
Может вам просто помочь с оптимизацией раздачи файлов?
А так просто на логи накатить любой анализатор логов который выдаст список самого популярного, а так с сервера с 5 винтами я выжимаю до 800 мегабит на 500-700 одновременных коннектов.
Отв: Вопрос к линуксоидам
5 винтов SAS или обычных SATA?
что-то у меня два сата тянут не больше ста, и то с трудом.
Может потому, что миллион мелких файлов.
Отв: Вопрос к линуксоидам
а last-access-time разве не поможет? ИМХО, если файл читался с диска - время обновится, если из кеша - останется прежним
Отв: Вопрос к линуксоидам
Кстати, а чей именно кеш имеется в виду ? У файловой системы - свой, у Apache|Squid - свои, и вот их-то cache hits вполне можно увидеть в соответствующих логах.
Отв: Вопрос к линуксоидам
Есть мнение, что здесь скорее nginx.
А он, по моим ощущениям (основанным на достаточно беглом знакомстве) документирован... несколько хуже Индейца.
Отв: Вопрос к линуксоидам
Только вот... Сбор такого рода статистики --- дело небыстрое и весьма ресурсоёмкое.
У меня же здесь к тов. Ларину немного другой вопрос: какая файловая система используется? Параметры файловой системы стандартные/умолчательные или она уже оптимизировалась под конкретную ситуацию (с учётом величины нагрузки --- необходимо).
Отв: Вопрос к линуксоидам
Для начала неплохо бы посмотреть какая именно софтина читает файлы. Если просто логически - там что кэш сопоставим с размером диска? Вряд ли, а значит в кэше файлов принципе мало.
Отв: Вопрос к линуксоидам
Боюсь что здесь дело в тонкой настройке нгинкса для отдачи файлов.
Юзаю файловую систему xfs, она куда адекватнее работает чем екст3 в некоторых моментах.
От сасов отказался, в силу того что на бесплатном софте могу поиметь большую производительности с сата дисков, да и объемы данных у меня внушительные, ну а так есть файлопомойка с музыкой там тоже куча мелких файлов.
Отв: Вопрос к линуксоидам
Радикально может решить вопрос io дискового только 10й райд. Лучше всего если это будет 6 рабочих дисков + спер диск.
В принципе файлохранилище может быть расположено в отдельном сервере и выделенным гигабит линком подключено в сервер раздающий контент.
Или на этом отдельном сервере живет акселерирующий прокси и объема дисков достаточно что бы закешировать все, а записи книг (на чтение и выкачку) сделаны максимально дружественными к кешированию.
--------------------
Пока писал пришел на ум вариант с SSD диском на который надо залинковать все файлы которые в топе или вообще все (если оно лезет :). На hd оставить только логи и базу, вообщем часто меняющуюся информацию. SSD имеет ноутбучный формат и влезет в корпус :).
Отв: Вопрос к линуксоидам
на опеннете указали на:
---8<-----
http://sourceware.org/systemtap/
в частности http://sourceware.org/systemtap/examples/io/iostats.stp
---8<-----
Отв: Вопрос к линуксоидам
Варианты замечательны своей радикальностью.
Не то чтобы они не приходили мне в голову.
Но как-то не готов я вбухивать десятки тысяч евро в железо.
Нет у Либрусека таких доходов, увы.
Пришлось решать проблему более бюджетными способами - добавил диск и памяти в соседний сервер и перенёс туда часть файлов.
Полегчало.