水準儀主要由望遠鏡、水準器和基座三部分組成。
望遠鏡是用來瞄準遠方目标的。水準器有管水準器和圓水準器兩種,管水準器是用來指示視準軸是否水平,圓水準器用來指示豎軸是否豎直。基座用來支承儀器的上部并與三腳架連接。