想成为魔法少女吗？来和VBA签订契约吧，浅谈公卫自动化报表。

yangshujian520 · 发表于 2023-5-5 17:42:55

tsinfneg 发表于 2023-1-27 16:23) G6 e+ e2 L* v/ K6 w
两本入门的书，也足够用了。基本了三到四天就能完全掌握。第一本是本地疫情防控部门数据专班培训用的。第二 ...

哪本好入门，鄙人小白

rml1981 · 发表于 2023-5-6 09:16:47

tsinfneg 发表于 2023-1-27 09:41
' e2 t: f: l4 D$ |6 ~% H* K- L1 Y用python不好吗，一是下一步办公软件都要国产化，python是开源的编程语言，国产操作系统完全支持；二是可以 ...

N牛人，Python用的这么牛，机器学习这块如何，大神加下好友

tsinfneg · 发表于 2023-5-17 17:53:13

rml1981 发表于 2023-5-6 09:16
! F; f! Q' o, E# U& b/ rN牛人，Python用的这么牛，机器学习这块如何，大神加下好友

机器学习我试过keras,目前在用pytorch，建议在监测预警工作中试试LSTM（长短期记忆模型），可以较好的对时间序列建模，并进行预测。

tsinfneg · 发表于 2023-5-17 18:01:12

本帖最后由 tsinfneg 于 2023-5-17 18:02 编辑

以下是我为目前工作写的程序中，pytorch神经网络LSTM模型部分的主要代码。
'''torch 机器学习'''
# 定义预测
class Predict():
   # data 数据列表，n_steps数据分割步长
   def __init__(self,data,n_steps):
      self.data = data
      self.n_steps = n_steps

   # 序列分割，
   def split_df(self):
      X, y = list(), list()
      for i in range(len(self.data)):
         # 确定最后一个分段
         end_ix = i + self.n_steps
         # 确定分段结束
         if end_ix > len(self.data)-1:
            break
         # 开始分段，x为分段中各个元素，y为每个分段后的第一个元素
         seq_x = self.data[i:end_ix]
         seq_y = self.data[end_ix]
         X.append(seq_x)
         y.append(seq_y)
      return array(X), array(y)


# 定义模型
class LSTM(nn.Module):
"""
   input_dim: 数据的特征数
   hidden_dim:隐藏层神经元个数
   num_layers:LSTM的层数
   output_dim:预测的特征数
"""
def __init__(self, input_dim,hidden_dim, num_layers, output_dim):
      super(LSTM, self).__init__()
      self.input_dim = input_dim
      self.hidden_dim = hidden_dim
      self.num_layers = num_layers

      # 实例化模型，batch_frist = True表明输入格式为（batch, seq_dim, feature_dim）
      self.lstm = nn.LSTM(input_dim, hidden_dim, num_layers, batch_first = True)
      # 在LSTM后再增加一个全链接层，由于是回归，所以不能在线性层后增加激活函数，作用是加入长短期结果对新结果影响度的权重。
      self.fc = nn.Linear(hidden_dim, output_dim)

def forward(self, x):
      # 初始化的隐藏元和记忆元,通常它们的维度是一样的，设定初始的隐藏层为0，x(0)就是batch_size
      h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_dim).requires_grad_()
      #
      c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_dim).requires_grad_()
      # hn,cn是所有层最后一个隐藏元和记忆元的输出
      out, (hn, cn) = self.lstm(x, (h0.detach(), c0.detach()))
      # 用全链接层处理
      out = self.fc(out)
      return out

# 定义对未知的预测方法,x为预测天数。
def predict(self,samples,x,model):
      # 生成一个空序列用于存放结果
      results = []
      for i in range(x):

#    # 使用最后一组数据预测一个新数据
         result = model(samples[-1].reshape(-1,1,self.input_dim))
         # 转换结果格式，方便数据拼接
         result = result.detach().numpy()[:,-1,0]
         # 将结果定稿空序列
         results.append(result)
         # 更改最后一组数据格式，用于拼接
         a = samples[-1].detach().numpy()
         a = a.reshape(self.input_dim)
         # 取最后一组数据后4个元素，加上新预测的结果，组成新的计算数据
         sample = np.append(a[1:],result)
         # 整理数据格式
         sample = sample.reshape((1,1,self.input_dim))
         samples1 = np.concatenate((samples,sample),axis=0)
         samples = torch.from_numpy(samples1)

         # X1 = np.concatenate((samples,sample),axis=0)

      return samples

# 机器学习数据准备
def data_std(df,input_dim):
# 数据准备
df1 = df[["检测日期","比例(%)"]]
#df = df.set_index("检测日期")
df1["比例(%)"] = df1["比例(%)"].astype(np.float32)
data = df1["比例(%)"].tolist()
# 按步长划分数据
lstm = pytorchlstm.Predict(data,input_dim)
X, y = lstm.split_df()
X = X.astype(np.float32)
y = y.astype(np.float32)

# 按pytorch要求变换数据格式
X = X.reshape(-1,1,input_dim)
y = y.reshape(-1,1,1)
X = torch.from_numpy(X)
y = torch.from_numpy(y)
return X,y

# 模型训练
def model_train(X,y,input_dim,hidden_dim, num_layers, output_dim,num_epochs):

# 建立损失函数和优化器
model = pytorchlstm.LSTM(input_dim,hidden_dim, num_layers, output_dim)
# 设定loss_fn采用的是均方差
loss_fn = nn.MSELoss(reduction='mean')
# 模型的学习率定为0.01
optimiser = torch.optim.Adam(model.parameters(), lr=0.01)

# 开始训练
# 设定一个空列表，用于传入每次循环的偏差
hist = np.zeros(num_epochs)
for t in range(num_epochs):
         # Initialise hidden state
         # Don't do this if you want your LSTM to be stateful
         # model.hidden = model.init_hidden()

         # Forward pass

      # 将梯度归零
      optimiser.zero_grad()

      # 前向传播计算
      y_pred = model(X)
      # 计算损失偏差，在前面已经设定loss_fn采用的是均方差
      loss = loss_fn(y_pred, y)
      # 每训练一百次，打印一次均方差
      if t % 100 == 0 and t !=0:
         print("Epoch ", t, "MSE: ", loss.item())
      # 将本次循环的均方差的值传入空列表
      hist[t] = loss.item()


      # 将偏差回传，用于调整各层各节点参数
      loss.backward()

      # 更新权重参数。
      optimiser.step()

# 最终的偏差值
loss = loss_fn(y_pred, y).item()
# plt.plot(range(num_epochs),hist)
# plt.show()
print(loss)

# 保存模型
torch.save(model, "model/torch_model0504.pth")

# 数据预测
def pred(input_dim,X,y,pre):
## 读取模型
model = torch.load('model/torch_model0504.pth')
# 预测
samples = X
# 生成一个空序列用于存放结果
results = []
for i in range(pre):

      # 使用最后一组数据预测一个新数据
      result = model(samples[-1].reshape(-1,1,input_dim))
      # 转换结果格式，方便数据拼接
      result = result.detach().numpy()[:,-1,0]
      # 将结果定稿空序列
      results.append(result)
      # 更改最后一组数据格式，用于拼接
      a = samples[-1].detach().numpy()
      a = a.reshape(input_dim)
      # 取最后一组数据后4个元素，加上新预测的结果，组成新的计算数据
      sample = np.append(a[1:],result)
      # 整理数据格式便于循环输入模型
      sample = sample.reshape((1,1,input_dim))
      samples1 = np.concatenate((samples,sample),axis=0)
      samples = torch.from_numpy(samples1)

# 对已有数据进行计算
y_pred = model(samples.reshape(-1,1,input_dim))

# 将结果由torch格式转换为numpy格式
pred_value = y_pred.detach().numpy()[:,-1,0]
# 将训练用的y由torch格式转换为numpy格式。方便plt绘图，分析模型质量
true_value = y.detach().numpy()[:,-1,0]

# pred_value1 = np.append(pred_value, results)

pred_value1 = pred_value
return pred_value1

tsinfneg · 发表于 2023-5-17 18:07:52

本帖最后由 tsinfneg 于 2023-5-17 18:10 编辑

入门神书，这一本读完可以应付日常绝大多数工作。但神经网络建模还得再往深的学，因为需要用到面向对象编程。这本书只讲了面向过程编程。

Gohankx · 发表于 2023-5-30 10:42:04

给大佬递茶，我也是苦于繁琐的报表，最近正在探寻自动化

EpidemicZzz · 发表于 2023-8-29 16:52:06

这才是精品帖，提高工作效率

flymds· · 发表于 2023-12-26 17:07:58

baisenes 发表于 2023-1-27 11:24
5 ~2 ^' R, }3 i0 x疫情管理初期，我曾经尝试过上黑魔法，无奈其他人根本不会用。最后变成我不但要维护一份数据库，还要维护 ...

我也是疫情初学vba，简单的自动化。楼主更是大牛，学习！

929769610 · 发表于 2024-1-9 10:18:07

无事逛论坛，每天都有新收获

账号		自动登录	找回密码
密码			立即注册

[经验] 想成为魔法少女吗？来和VBA签订契约吧，浅谈公卫自动化报表。

点评