Сообщение Re[13]: Быстрый lookup по гиганским ip таблицам. Как? от 27.05.2021 11:15
Изменено 27.05.2021 11:17 gyraboo
Re[13]: Быстрый lookup по гиганским ip таблицам. Как?
Здравствуйте, imh0, Вы писали:
I>>>То есть, ты предлагаешь использовать хеши. Тут как раз и проблема. Надо быстрее. (
G>>Не просто хэш, а хэш с ключом, основанным на селективных признаках, вычисленных для конкретного набора ip-адресов. Это как раз и есть "быстрее", чем просто хэш-таблица на основе ключа "от балды".
I>Вспомнил еще у хеша есть проблема — расширение/сокращение таблицы очень долгое. Запросы сыпятся а мы таблицу расширям. То есть помимо 18-20 миллинов запросв в сек, требуется еще и стабильное, предсказуемое и гарантированное время реакции.
Ну так есть же lock-free rehashing структуры.
И ещё один фактор ускорения поиска — это использовать многопоточность и задействовать все ядра процессора.
I>>>То есть, ты предлагаешь использовать хеши. Тут как раз и проблема. Надо быстрее. (
G>>Не просто хэш, а хэш с ключом, основанным на селективных признаках, вычисленных для конкретного набора ip-адресов. Это как раз и есть "быстрее", чем просто хэш-таблица на основе ключа "от балды".
I>Вспомнил еще у хеша есть проблема — расширение/сокращение таблицы очень долгое. Запросы сыпятся а мы таблицу расширям. То есть помимо 18-20 миллинов запросв в сек, требуется еще и стабильное, предсказуемое и гарантированное время реакции.
Ну так есть же lock-free rehashing структуры.
И ещё один фактор ускорения поиска — это использовать многопоточность и задействовать все ядра процессора.
Re[13]: Быстрый lookup по гиганским ip таблицам. Как?
Здравствуйте, imh0, Вы писали:
I>>>То есть, ты предлагаешь использовать хеши. Тут как раз и проблема. Надо быстрее. (
G>>Не просто хэш, а хэш с ключом, основанным на селективных признаках, вычисленных для конкретного набора ip-адресов. Это как раз и есть "быстрее", чем просто хэш-таблица на основе ключа "от балды".
I>Вспомнил еще у хеша есть проблема — расширение/сокращение таблицы очень долгое. Запросы сыпятся а мы таблицу расширям. То есть помимо 18-20 миллинов запросв в сек, требуется еще и стабильное, предсказуемое и гарантированное время реакции.
Ну так есть же lock-free rehashing структуры.
И ещё один фактор ускорения поиска — это использовать многопоточность и задействовать все ядра процессора.
И ещё вариант — если есть современная видюха, её параллельную архитектуру тоже можно круто задействовать.
I>>>То есть, ты предлагаешь использовать хеши. Тут как раз и проблема. Надо быстрее. (
G>>Не просто хэш, а хэш с ключом, основанным на селективных признаках, вычисленных для конкретного набора ip-адресов. Это как раз и есть "быстрее", чем просто хэш-таблица на основе ключа "от балды".
I>Вспомнил еще у хеша есть проблема — расширение/сокращение таблицы очень долгое. Запросы сыпятся а мы таблицу расширям. То есть помимо 18-20 миллинов запросв в сек, требуется еще и стабильное, предсказуемое и гарантированное время реакции.
Ну так есть же lock-free rehashing структуры.
И ещё один фактор ускорения поиска — это использовать многопоточность и задействовать все ядра процессора.
И ещё вариант — если есть современная видюха, её параллельную архитектуру тоже можно круто задействовать.