Здравствуйте, Twirl, Вы писали:
T>Как это наиболее эффективно реализовать хранение и обработку такого количества информации?
В виде базы данных. Далее, в зависимости от дополнительных условий, описанная Вами абстрактная проблема может преобразоваться в конкретные задачи:
Как извлечь данные из текстовых файлов и поместить их в таблицы реляционной базы данных (например, MS SQL, Oracle или My SQL)? Какой DB-сервер выгоднее выбрать? Какие должны быть таблицы и рилейшены?
Как самостоятельно создать файловую базу данных? Какие абстрактные типы данных выгоднее использовать для хранения данных? Какие будут таблицы в этой файловой базе данных?
Как сгруппировать существующие лог-файлы по каталогам? И как лучше организовать поиск по существующим лог-файлам без изменения их формата?
Каждая задача имеет свои технические решения. Чтобы подойти к решениям, Вам для начала нужно выбрать задачу. А выбрать её будет можно только после того, как Вы определитесь, какие будут запросы к базе данных, какая будет на неё нагрузка и какая будет допустимая наихудшая производительность для каждого запроса при полной нагрузке.
