Flera grannar till Dannemora Mineral har den senaste tiden störts av både damm och oljud alla tider på dygnet.