计算器一般由运算器、 控制器、 存储器、 键盘、 显示器、 电源和一些可选 外围设备及电子配件，通过人工或机器设备组成。低档计算器的运算器、控制器由 数字逻辑电路实现简单的串行 运算，其随机存储器只有一、二个单元，供累加存储用。
高档计算器由 微处理器和只读存储器实现各种复杂的运算程序，有较多的随机存储单元以存放输入程序和数据。 键盘是计算器的输入部件，一般采用接触式或传感式。为减小计算器的尺寸，一键常常有多种功能。显示器是计算器的输出部件，有发光二极管显示器或液晶显示器等。除显示 计算结果外，还常有溢出指示、错误指示等。计算器电源采用交流转换器或 电池，电池可用交流转换器或 太阳能转换器再充电。
为节省电能， 计算器都采用 CMOS工艺制作的大规模 集成电路（见互补金属-氧化物- 半导体集成电路），并在内部装有 定时不操作 自动断电 电路。计算器可选用的 外围设备有微型打印机、盒式磁带机和磁卡机等。从某种角度而言，广义的“ 计算机”是包括“电子计算器”的。电子计算器中也有 集成电路，但计算器的功能简便，价格更加便宜，利于携带与稳定性好。在过去，诸如算盘、纳皮尔骨头、数学表书籍、工程计算尺或机械加法机（adding machine）在数值计算上扮演辅助角色。计算器这词原本指的是以纸笔运行数学计算的职业人士，这样的半手动计算工作既繁重又易出错。
