某乡政府为落实县计生委下达的超生罚款文件，对没有超生的李某等30余户村民作出罚款处罚决定。被拒绝后，乡派出所采取每户一人被关押的方式逼迫各户交纳罚款。李某等村民提起行政诉讼应以（ ）为被告。