Здравствуйте, m1st, Вы писали:


M>Подскажите, куда копать?

Наивное решение — floodfill.
Быстрое решение — через ориентированную площадь, наименьший общий делитель и теорему Пика.

Если линейный размер исходного многоугольника принять равным D, то временная сложность floodfill (и прочих модификаций, уже предложенные в этой теме) будет Ω(ND+D²), а сложность с использованием теоремы Пика — O(NlogD) времени и O(1) памяти.