数据清理方法数据

Juthi62624

由于轻微的人为错误或数据录入人员的无能，数据传输过程中可能会出现结构性错误。 修复数据结构时应注意的一些事项包括：印刷错误、语法错误等等。数据结构主要涉及分类数据。 在这里，我们纠正拼写错误的单词并总结太长的类别标题。这非常重要，因为长类别标题可能无法完全显示在图表上。 为了更好地说明，请考虑下图，该图显示了在社区中执行某些项目的专员的合同总金额和支付的金额。

结构 从上图我们观察到 应该大写，给我们 建立 太长，应该进行总结，以便标题 日本电话号码清单 可以在图表上完整显示。 也应该是 医院 。 消除了数据结构中的不一致之后，条形图变得更加清晰。 过滤掉异常值 为了提高模型的性能，您应该删除异常值。离群值是与数据集中其他观察值显着不同的数据点。 离群值非常棘手，因为它们与其他观察结果属于同一类型，使它们看起来很受欢迎，但与其他观察结果有很大不同。



例如，特定数据点可能像数据集中的其他观测值一样是数字，但结果可能是一个很大的 ，其余的在范围 之间。 尽管某些模型存在问题，但删除异常值应该有正当理由。异常值可能是由不太可能是真实数据的测量误差引起的，也可能是抓取更大数据集的结果。 异常值可以让您更深入地了解您的模型，而其他观察则无法做到这一点。因此，从数据中删除异常值时应该小心。 处理缺失数据 由于数据收集过程中的错误或受访者的不回答偏差，您可能最终会在数据中出现缺失值。