茶山瑶语属于侗水语支,讲话近于侗语。茶山瑶脱胎于湘西侗族,南宋初期,茶山瑶的祖先从湘西出发,随岳家军追剿曹成叛军来到广西桂林、贺州,又进入江西吉安泰和县、广东南雄珠玑巷,其后从广东辗转到广西梧州、滕县、平南,最后进入金秀大瑶山居住。茶山瑶十二姓,其中苏姓至迟在宋高宗绍兴十六年(1145年)已进入大瑶山居住了。