数据建模的步骤

热门文章

• 01

  某风电能源：构建企业数据平台，消除数据壁垒，强化产供销协同

  阅读量：944

• 02

  如何做好数据分析？

  阅读量：1869

• 03

  免费下载excel办公软件_Smartbi电子表格下载

  阅读量：5643

• 04

  大数据分析软件哪家好？

  阅读量：2725

• 05

  数据可视化平台推荐，还免费！

  阅读量：867

• 06

  去哪找数据？怎么挖掘？

  阅读量：2195

文章目录

数据建模的步骤（一）制订目标&sma&<p><span style="font-size: 14px;">制订目标的前提是理解业务，明确要解决的商业现实问题是什么？</span></p><p><span style="font-size: 14px;">如：在社交平台KOL中，存在假粉丝的情况，如何识别假粉就是一个要解决的现实问题。</span></p>

数据建模的步骤（二）数据理解与准备&sma&<p><span style="font-size: 14px;">基于要解决的现实问题，理解和准备数据，一般需要解决以下问题：</span></p><p><span style="font-size: 14px;">需要哪些数据指标（即特征提取）？（如：哪些指标能区别真粉和假粉？）</span></p><p><span style="font-size: 14px;">数据指标的含义是什么？</span></p><p><span style="font-size: 14px;">数据的质量如何？（如：是否存在缺失值？）</span></p><p><span style="font-size: 14px;">数据能否满足需求？</span></p><p><span style="font-size: 14px;">数据还需要如何加工？（如：转换数据指标，将类别型变量转化为0-1哑变量，或将连续型数据转化为有序变量）</span></p><p><span style="font-size: 14px;">探索数据中的规律和模式，进而形成假设。</span></p><p><span style="font-size: 14px;">需要注意的是，数据准备工作可能需要尝试多次。因为在复杂的大型数据中，较难发现数据中存在的模式，初步形成的假设可能会被很快推翻，这时一定要静心钻研，不断试错。</span></p><p><span style="font-size: 14px;">数据建模</span><span style="font-size: 14px;">后需要评估模型的效果，因此一般需要将数据分为训练集和测试集。</span></p>

数据建模的步骤（三）建立模型&sma&<p><span style="font-size: 14px;">在准备好的数据基础上，建立数据模型，这种模型可能是机器学习模型，也可能不需要机器学习等高深的算法。选择什么样的模型，是根据要解决的问题（目标）确定的。</span></p><p><span style="font-size: 14px;">当然可以选择两个或以上的模型对比，并适当调整参数，使模型效果不断优化。</span></p>

数据建模的步骤（四）模型评估&sma&<p><span style="font-size: 14px;">模型效果的评估有两个方面：一是模型是否解决了需要解决的问题（是否还有没有注意和考虑到的潜在问题需要解决）；二是模型的精确性（误差率或者残差是否符合正态分布等）。</span></p><p><span style="font-size: 14px;">如：在识别KOL假粉的问题中，需要评估的是：</span></p><p><span style="font-size: 14px;">模型能否识别出假粉？</span></p><p><span style="font-size: 14px;">识别的误差率是多少？粉丝识别误差率=（假粉误认为真粉的数量+真粉误认为假粉的数量）/总粉丝数</span></p>

数据建模的步骤（五）结果呈现&sma&<p><span style="font-size: 14px;">结果呈现主要关注以下三个方面：</span></p><p><span style="font-size: 14px;">模型解决了哪些问题？</span></p><p><span style="font-size: 14px;">解决效果如何？</span></p><p><span style="font-size: 14px;">如何解决问题？具体操作步骤是什么？</span></p>

数据建模的步骤（六）模型部署&sma&<p><span style="font-size: 14px;">通过大量数据解决了一个或多个重要的现实问题，需要将方案落实下去，一般情况下需要通过线上技术环境部署落实，从而为后面不断优化模型、更好地解决问题打下基础。</span></p><p><span style="font-size: 14px;">交由工程人员部署技术环境，需要数据建模团队撰写需求文档，并确保工程人员理解需求文档的内容，才能达到较好的模型部署效果。</span></p>

专题推荐