Re[13]: Быстрый lookup по гиганским ip таблицам. Как?
От: gyraboo  
Дата: 27.05.21 11:15
Оценка:
Здравствуйте, imh0, Вы писали:

I>>>То есть, ты предлагаешь использовать хеши. Тут как раз и проблема. Надо быстрее. (


G>>Не просто хэш, а хэш с ключом, основанным на селективных признаках, вычисленных для конкретного набора ip-адресов. Это как раз и есть "быстрее", чем просто хэш-таблица на основе ключа "от балды".


I>Вспомнил еще у хеша есть проблема — расширение/сокращение таблицы очень долгое. Запросы сыпятся а мы таблицу расширям. То есть помимо 18-20 миллинов запросв в сек, требуется еще и стабильное, предсказуемое и гарантированное время реакции.


Ну так есть же lock-free rehashing структуры.

И ещё один фактор ускорения поиска — это использовать многопоточность и задействовать все ядра процессора.

И ещё вариант — если есть современная видюха, её параллельную архитектуру тоже можно круто задействовать, как для хранения так и для поиска.
Отредактировано 27.05.2021 11:17 gyraboo . Предыдущая версия . Еще …
Отредактировано 27.05.2021 11:17 gyraboo . Предыдущая версия .
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.