赛夏族是最早与平地汉族文化接触的土著族之一，尤其是氏族姓氏的汉化，诸如豆、高、朱、丝、夏、樟、日、根、蟹、芎、狮、风、藩、钱、胡、詹等姓，与汉族一模一样。

赛夏族共4600多人，是台湾高山族中人数最少的一族，也是分布范围最狭窄的一族。主要分布于新竹县五峰乡的五指山区、苗栗县狮潭乡和南庄乡的加里山区。居住的高度约在海拔500—1500米之间。

赛夏族古称“狮设族”，分为南北两方言群。北赛夏群又称大隘群，大致分布于鹅公吉山北麓一带；南赛夏群又称东河群，则分布于鹅公吉山南麓附近。历来受东北泰雅族强大势力威胁，西部又受平地汉人的影响，所以大部分赛夏族人不是和泰雅族人混居，就是因接近平地，而被编入普通行政区域中，故而其文化习俗受此影响较大。

赛夏族人是以地域和亲属关系的图腾氏族为社会组织的基本构成单位。三五同姓（同图腾）家族聚居为一个聚落并形成一个基本地域团体，也是与氏族祭团一致的单元。若干个毗邻的聚落联合成一个村落，村落中的同姓家族则组成各姓氏的氏族祭团，是各姓共有耕地、渔区及互助的单位。再次则若干个毗邻的村落联合成一个部落，是共有猎区及祭典的单位。最后，若干个同区域的部落联合成一个部落同盟，也就是现在所称的南赛夏群或北赛夏群。

在经济生产活动方面，赛夏族早期也是从事游耕、山地烧垦和山区狩猎。后来渐渐受到周围强势力民族的压迫，土地利用范围逐渐狭窄，而转变为定耕农业和林业的形态。

赛夏族与泰雅族、布农族等一样，也有黥面的风俗。据说这代表着青少年男女已成年的标志，同时也是为了增加外表美丽的装饰，来引起异性的注意力。另外，他们住家房屋竣工的祭祀也很有意思。每逢住家房屋建筑完成时，要召集亲族及建屋者，举行建筑祭祀。宴会在黄昏举行，大家聚集在室内，由屋主站在家的中央，以少量的酒、米饭及猪肉，向主梁告祭，呼请祖灵来饷用。仪式完毕，亲族即可饮宴，酒宴方酣又歌又舞，至深夜才散席。若被招待的客人很多，则分成几次举行，而祭告的仪式也要举行好几次。

赛夏人以敌人亡灵祭拜为主要的传统祭祀活动，即矮灵祭，又称“二年祭”、“达爱祭”，源于古神话。相传远古时代，台湾原住民达爱人身材不及3尺，肤色如墨，俗称“小黑人”，性情刚强，擅长变换术，箭术超群，行动迅捷，来去飘忽。原与赛夏人友好，曾向赛夏人传授农耕、歌舞与巫术等，带来风调雨顺、五谷丰登。后因达爱人调戏赛夏人妻女，赛夏人不堪凌辱，却无奈慑于其剽悍凶顽，难以力胜，遂设计智取。他们暗中砍断达爱人必经的枇杷桥桥桩，加以伪装，使其不露蛛丝马迹。是日黄昏，达爱人聚会桥上，大桥断裂，爱达人落江溺死。其中一对夫妇幸免，两人教授达爱歌舞于朱姓赛夏人后，便远遁浊水溪。临行，叮嘱赛夏人每两年祭祀遭难的达爱亡灵一次，祭祀期间须谨言慎行，恪守禁忌。后来，谷物歉收，瘟疫横行，赛夏人为之震慑，遂遵嘱举行祭灵大典，以禳交纳吉，相沿成习，是为“矮灵祭”。

祭仪通常由南、北祭团长老“约绳纪日”，于农历十月十三日至十八日举行，由朱姓主祭。包括迎灵、娱灵与逐灵等仪式。祭前，采茅草编环作结悬挂于房前屋后、农具家什以及人之身躯等，以为禳祓，并遣人往达爱人的山洞遗址鸣镐，延请其亡灵，与祖灵赴祭。娱灵场火把通明，人们高唱“矮灵祭歌”，挽手成圈状，与达爱亡灵欢歌共舞，通宵达旦。第三天凌晨始，吟歌送灵，共捣粟作糕，上山采竹，为亡灵回归准备干粮和手杖；第五天人们歌舞逐灵，抛矛掷石，恫吓呐喊，最后，以毁榛斩木告诫亡灵远遁。