Существует ли прога, которую можно натравить на некий архив данных (размер 1000 Гб) и оно найдет там все дубликаты папок (т.е. папки с одинаковым содержимым) а затем дубликаты файлов?
Здравствуйте, Shmj, Вы писали:
S>Существует ли прога, которую можно натравить на некий архив данных (размер 1000 Гб) и оно найдет там все дубликаты папок (т.е. папки с одинаковым содержимым) а затем дубликаты файлов?
существует.
даже существуют проги, которые находят дубликаты изображений. даже если эти одно из изображений другого размера и разрешения.
Здравствуйте, Stanislaw K, Вы писали:
S>>Существует ли прога, которую можно натравить на некий архив данных (размер 1000 Гб) и оно найдет там все дубликаты папок (т.е. папки с одинаковым содержимым) а затем дубликаты файлов? SK>существует.
Вы знаете как шизофреники отвечают на вопрос — "у вас есть часы?". Говорят — да, есть. Но человек то время хотел узнать.
Мне интересно кто какими прогами пользовался и что можете порекомендовать.
Здравствуйте, Shmj, Вы писали:
S>>>Существует ли прога, которую можно натравить на некий архив данных (размер 1000 Гб) и оно найдет там все дубликаты папок (т.е. папки с одинаковым содержимым) а затем дубликаты файлов? SK>>существует.
S>Вы знаете как шизофреники отвечают на вопрос — "у вас есть часы?". Говорят — да, есть. Но человек то время хотел узнать.
Тот, кто хочет узнать время спрашивает "подскажите пожалуйста — который сейчас час?"
S>Мне интересно кто какими прогами пользовался и
dupdetector,
auslogics duplicate file finder.
S> что можете порекомендовать.
разгрести это руками и больше не допускать бардака.
Здравствуйте, Stanislaw K, Вы писали:
SK>даже существуют проги, которые находят дубликаты изображений. даже если эти одно из изображений другого размера и разрешения.
Вот только работают они слишком примитивно. Просто выводят дубликаты файлов
А обычно дублируются целые папки, а иногда и части папок.
И хороший дедупликатор должен выявлять дубликаты на этом уровне.
Я для разбора изображений написал скрипт, который раскладывает фото по папкам (год-дата-папка). Причем все фото в папке удовлетворяют условиям:
— все они от одной даты (снималось одно и то же событие)
— все они сделаны с одного фотоаппарата (так отсеиваются скопированные фото от других людей)
— все их копии лежат в одних и тех же папках (так отсеиваются полные копии папок, и, например, отделяются "хорошие" фото скопированные в соседнюю папку)
— в папке лежат названия папок, в которых лежат исходные фото (это позволяет получить контекст сделанного фото — название мероприятия, источник фото и т.п.)
Остается пробежаться по папкам и переименовать их, подглядывая в названия.
SK>>даже существуют проги, которые находят дубликаты изображений. даже если эти одно из изображений другого размера и разрешения.
Б>Вот только работают они слишком примитивно. Просто выводят дубликаты файлов
ну, как примитивно? я вот помню сохранял прон с одного сайта в одну папку, а прон с другого сайта в другую.
как это обычно бывает на сайтах с проном, они друг у друга заимствуют контент. и я натравил дедупликатор.
дедупликатор нашёл большинство дублей. не смотря на то, что в одной папке картинка jpg лежала 1024х800, а в другой png 640х480, или bmp 800х600, или gif.
естественно, никакой метаинформации там изначально не было, даты создания файлов можно считать случайными, crc32 очевидно не совпадают.
Здравствуйте, Stanislaw K, Вы писали:
SK>dupdetector, SK>auslogics duplicate file finder.
В общем, ни одна из прог не подошла.
Мне нужно сначала на основе целых папок. К примеру, если две папки полностью одинаковые — нет смысла мне показывать каждый фал по отдельности. А вот если папки разные, но файлы там похожие (почти одинаковые) — то желательно так же отобразить процент схожести.
Здравствуйте, Shmj, Вы писали:
S>В общем, ни одна из прог не подошла.
S>Мне нужно сначала на основе целых папок. К примеру, если две папки полностью одинаковые — нет смысла мне показывать каждый фал по отдельности. А вот если папки разные, но файлы там похожие (почти одинаковые) — то желательно так же отобразить процент схожести.
S>Мне нужно сначала на основе целых папок. К примеру, если две папки полностью одинаковые — нет смысла мне показывать каждый фал по отдельности. А вот если папки разные, но файлы там похожие (почти одинаковые) — то желательно так же отобразить процент схожести.
По каталогам вроде умел WinMerge сравнивать. Но без процентов конечно (степень похожести это вообще субъективное ).
).
