1、这解释了为什么在我们较早地尝试使用列表和字典时更改了全局变量的原因。由于列表和字典是可变的，因此更改它们(即使在函数内部)也将更改列表或字典本身，而对于不可变的数据类型则不是这种情况。

2、列表和字典等可变数据类型的行为有所不同。它们可以被更新。因此，例如，让我们列出一个非常简单的列表：

3、让我们进入处理传统数据的两种常用技术。

4、现在，让我们进入细节!

5、即使我们创建了多个列表变量，只要它们指向同一个列表，更改该列表时它们也会全部更新，如下面的代码所示：

6、现在，让我们编写一个将字典作为参数的函数，以查看在函数内部对全局字典变量进行修改时是否也会对其进行修改。

7、为此，我们将编写一个名为的函数make_percentages()，该函数将字典作为参数并将计数转换为百分比。我们需要从零开始计数，然后对字典中的每个值进行迭代，然后将它们添加到计数中，以便获得评分的总数。然后，我们将再次遍历字典，并对每个值进行一些数学运算以计算百分比。

8、让我们将原始数据变成美丽的东西!

9、当我们每5秒记录一次股价时会发生什么?还是每一秒钟?我们得到了一个庞大的数据集，需要大量内存，磁盘空间和各种技术来从中提取有意义的信息。

10、那么，这里到底发生了什么?我们碰到了可变和不可变数据类型之间的差异。

11、数据清理

12、考虑基本的客户数据。*(使用的数据集来自我们的SQL课程)

13、您还会经常看到它以字母“V”为特征。如“大数据的3V”中所述。有时我们可以拥有5、7甚至11个“V”的大数据。它们可能包括–您对大数据的愿景，大数据的价值，您使用的可视化工具或大数据一致性中的可变性。等等…

14、如果您尚未了解方法，请不要担心。它们在我们的Python中级课程中已涉及到，但是对于本教程而言，您需要知道的是它的.copy()工作方式如下.end()：

15、什么是原始数据?

16、原始数据(也称为“原始事实”或“原始数据”)是您已累积并存储在服务器上但未被触及的数据。这意味着您无法立即对其进行分析。我们将原始数据的收集称为“数据收集”，这是我们要做的第一件事。

17、通过这种方法，我们可以像initial_list函数一样安全地传递一个可变的全局变量，并且不会更改全局值，因为函数本身会创建一个副本，然后对该副本执行其操作。

18、让我们以“金融交易数据”为例。

19、但是，大数据则是另外一回事了。

20、为了什么应用程序的比例下降到每一个年龄分级，我们需要知道应用程序的总数，所以我们先设置一个所谓的新的变量total，以0通过在每个键，然后循环a_dictionary，将它添加到total。

21、是整数，整数是不可变的数据类型。如果数据类型是不可变的，则意味着它一旦创建便无法更新。如果这样做a+=1，我们实际上5并没有更新到6。在下面的动画中，我们可以看到：

22、让我们看一下处理大数据的一些特定于案例的技术。

23、我们收集原始数据，然后进行处理以获得有意义的信息。

24、功能中的内存隔离

25、这意味着您将需要从许多来源中提取“营销支出”信息。换句话说，就是“大数据”。

26、作为最大的社区之一，“Facebook”会跟踪其用户的姓名，个人数据，，，录制的消息等。这意味着他们的数据种类繁多。全世界有20亿用户，其服务器上存储的数据量巨大。

27、这是上面代码中实际发生的动画的可视化：

28、想象一下，您已经编制了一份调查表，以收集有关男女购物习惯的数据。假设您想确定谁在周末花了更多钱。但是，当您完成数据收集后，您会发现80%的受访者是女性，而只有20%是男性。

29、就像我们在列表中看到的一样content_ratings，即使仅在make_percentages()我们创建的函数内部对其进行了修改，我们的全局变量也已更改。

30、例如，在您收集的某些客户数据中，您可能有一个注册年龄为932岁或“英国”为名字的人。在进行任何分析之前，您需要将此数据标记为无效或更正。这就是数据预处理的全部内容!

31、让我们研究一下在预处理传统和大原始数据时应用的技术吗?

32、无论哪种最佳解决方案，都必须先清理数据并处理缺失值，然后才能进一步处理数据。

33、和数字数据

34、在查看输出之前，让我们快速回顾一下上面发生的事情。在将应用程序年龄分级的字典分配给变量后content_ratings，我们创建了一个名为的新函数make_percentages()，该函数带有一个参数：a_dictionary。

35、您在此处看到的数据集中，有一列包含观察日期，被视为分类数据。还有一列包含股票价格的数字数据。

36、我们可以查看的另一个示例是每日历史股价数据。

37、但是，当我们使用globalcontent_ratings作为该新函数的参数时会发生什么呢?

38、但是，以下是您必须记住的最重要的标准：

39、数据屏蔽

40、这不是一件容易的事，这导致学者和从业人员开发出执行“文本数据挖掘”的方法。

41、您是否想更好地了解传统数据与大数据之间的区别，在哪里可以找到数据以及可以使用哪些技术来处理数据?

42、大数据具有更多数据类型，并且它们具有更广泛的数据清理方法。有一些技术可以验证数字像是否已准备好进行处理。并且存在一些特定方法来确保文件的质量足以继续进行。

43、传统数据和大数据都将为您提高客户满意度奠定坚实的基础。但是这些数据会有问题，因此在进行其他任何操作之前，您都必须对其进行处理。

44、在这里，我们不仅在谈论数字和文字。大数据通常意味着处理像，文件，移动数据等。

45、正如我们可以看到上面的功能工作正常，以及全球变量的值number_1，并number_2没有不改变，即使我们用它们作为参数，并在我们的函数的参数名称。这是因为Python将函数的变量存储在与全局变量不同的内存位置中。它们是孤立的。因此，变量number_1在全局范围内可以具有一个值(5)，而在函数内部则可以具有不同的值(50)，在此将其隔离。

46、https://toutiao/i6836270942046388748/

47、我们已经看到，对number_1函数内部的上述变量执行的操作不会影响其全局值。但是number_1是一个整数，这是一个非常基本的数据类型。如果我们尝试使用不同的数据类型(例如列表)进行相同的实验，会发生什么?在下面，我们将创建一个名为的函数duplicate_last()，该函数将在我们将其作为参数传递的任何列表中复制最终条目。

48、)a最初指向5。

49、数据清理的目的是处理不一致的数据。这可以有多种形式。假设您收集了包含美国各州的数据集，并且四分之一的名称拼写错误。在这种情况下，您必须执行某些技术来纠正这些错误。您必须清除数据;线索就是名字!

50、一旦完成，我们要做的就是a_dictionary再次循环遍历，将每个条目除以总数，然后将结果乘以100。这将为我们提供带有百分比的字典。

51、如我们所见，即使仅在函数中更改了全局值，此处的全局值也initial_list已更新!

52、但是如何避免产生错觉呢?

53、数据改组

54、在下面，我们将.copy()在函数本身内部使用。这将确保我们可以在不更改作为参数传递给它的全局变量的情况下使用它，python函数控制列表和词典https://aaa-cg/data/2321.html并且无需记住要.copy()为传递的每个参数添加参数。

55、文本数据挖掘

56、可变和不可变数据类型

57、列表是一组值，其中的值可以改变元组也是一组值，其中的值不能改变列表与元组可以相互转换集合是一组唯一的无顺序的值字典是无固定顺序的键值对

58、完成数据处理后，您将获得所需的宝贵和有意义的信息。我希望我们对传统数据与大数据之间的差异以及我们如何处理它们有所了解。

59、但是，再次使用该方法意味着我们需要记住.copy()每次将字典传递给make_percentages()函数时都要添加。如果我们要经常使用此函数，则最好将复制实现到函数本身中，这样就不必记住这样做了。

60、让我们再来看一下我们为列表编写的函数，并对其进行更新，以使函数内部发生的变化不会改变initial_list。我们需要做的就是将传递给函数的参数从initial_list更改为initial_list.copy()

61、也称为“数据清理”或“数据清理”。

62、从数据集中对观察结果进行混洗就像对一副纸牌进行混洗一样。这将确保您的数据集不会出现由于有问题的数据收集而导致的有害模式。数据改组是一种改善预测性能并有助于避免产生误导性结果的技术。

63、处理大数据的技术

64、在这种情况下，您发现的趋势将更趋向于女性。解决此问题的最佳方法是应用平衡技术。例如，从每个组中抽取相等数量的受访者，则该比率为50/50。

65、Python的函数(内置函数和我们自己编写的自定义函数)是处理数据的关键工具。但是他们对数据的处理可能会有些混乱，如果我们不知道发生了什么，可能会导致分析中的严重错误。

66、数字像数据

67、另一个标签是“分类的”–在这里您正在处理数学无法处理的信息。例如，一个人的职业。请记住，数据点仍然可以是数字，而不是数字。他们的出生日期是一个数字，您不能直接操纵它来给您更多的信息。

68、现在，专注于最后一列。这显示了客户提出投诉的次数。您可以操纵这些数字。将它们加在一起以给出总数的投诉是有用的信息，因此，它们是数字数据。

69、想想以数字格式存储的大量文本。嗯，正在进行许多旨在从数字资源中提取特定文本信息的科学项目。例如，您可能有一个数据库，该数据库存储了来自学术论文的有关“营销支出”(您的研究主要主题)的信息。大数据分析技术有哪些https://aaa-cg/data/2272.html如果源的数量和数据库中存储的文本量足够少，则可以轻松找到所需的信息。通常，尽管数据巨大。它可能包含来自学术论文，博客文章，平台，私有文件等的信息。

70、一般来说，我们不希望函数更改全局变量，即使它们包含诸如列表或字典之类的可变数据类型也是如此。那是因为在更复杂的分析和程序中，我们可能经常使用许多不同的功能。如果所有人都在更改他们正在处理的列表和词典，则很难跟踪正在更改的内容。

71、变量名的a作用类似于指向的指针5，它可以帮助我们5在需要时进行检索。

72、那么，“数据预处理”的目的是什么?

73、好吧，这是一个详细的过程，但概括地说，混洗是一种使数据随机化的方法。如果我从数据集中获取前100个观察值，则不是随机样本。最高的观察值将首先被提取。如果我对数据进行混洗，那么可以肯定的是，当我连续输入100个条目时，它们将是随机的(并且很可能具有代表性)。

74、值得庆幸的是，有一个简单的方法可以解决此问题：我们可以使用内置的Python方法来复制列表或字典.copy()。

75、我们将使用包含有关客户的文本信息的此表来给出数字变量和分类变量之间差异的清晰示例。

76、要了解Python如何处理函数内部的全局变量，让我们做一些实验。我们将创建两个全局变量number_1和number_2，并将它们分配给整数5and10。然后，我们将这些全局变量用作执行一些简单数学运算的函数中的参数。我们还将变量名用作函数的参数名。然后，我们将查看函数内部的所有变量用法是否已影响这些变量的全局值。

77、顾名思义，“大数据”是为超大数据保留的术语。

78、一类是“数字”–如果您要存储每天售出的商品数量，那么您就在跟踪数值。这些是您可以操纵的数字。例如，您可以计算出每天或每月销售的平均商品数量。

79、列表和词典呢?

80、在处理大数据时，目标是尽可能快地从中提取模式。我们在哪里遇到大数据?

81、当您使用大数据时，事情会变得更加复杂。除了“数字”和“分类”数据之外，您还有更多的选择，例如：

82、为了使这一点更加现实，我们将使用Python基础知识课程中AppleStore.csv使用的数据集中的数据(可在此处数据)。

83、在python函数控制列表和词典中，我们研究了可变数据类型和可变数据类型之间的区别，可变数据类型可以更改，可变数据类型不能更改。我们了解了如何使用该方法.copy()制作可变数据类型(如列表和字典)的副本，以便我们可以在不更改其全局值的情况下在函数中使用它们。

84、注意第一列，它显示了分配给不同客户的ID。您无法操纵这些数字。“平均”ID不会给您任何有用的信息。这意味着，即使它们是数字，它们也没有数值，并且是分类数据。

85、处理传统数据的技术

86、数据预处理

87、如果将a附加3到此列表的末尾，我们不仅会指向list_1其他列表，还会直接更新现有列表：

88、在收集到足够的原始数据之后，要做的第一件事就是我们所谓的“数据预处理”。这是一组操作，会将原始数据转换为更易理解且对进一步处理有用的格式。

89、“数据”是一个广义术语，可以指“原始事实”，“处理后的数据”或“信息”。为了确保我们在同一页面上，让我们在进入细节之前将它们分开。

90、)a+=1运行，并将指针从5移到6，实际上并没有改变number5。

91、如我们所见，修改函数以创建字典的副本，然后仅在该副本中将计数更改为百分比已使我们能够执行所需的操作，而无需实际更改content_ratings。

92、在下面的代码段中，我们从一个字典开始，该字典包含数据集中每个年龄等级的应用程序数量的计数(因此，有4,433个应用程序的等级为“4+”，987个应用程序的等级为“9+”，等等。)。假设我们要为每个年龄等级计算一个百分比，这样我们就可以了解到哪个年龄等级在AppStore中最常见。

93、这些是处理数据时必须采取的第一步，因此这是一个不错的起点，特别是如果您正在考虑从事数据科学职业!

94、要了解可变(可变)和不可变(不变)之间的区别，研究一下Python如何实际处理这些变量是有帮助的。

95、在下面，我们将.copy()在函数本身内部使用。这将确保我们可以在不更改作为参数传递给它的全局变量的情况下使用它，并且无需记住要.copy()为传递的每个参数添加参数。

96、这涉及将数据点标记为正确的数据类型，换句话说，按类别排列数据。

97、您是否应该忽略客户的整个记录?还是您可以输入其余客户的平均年龄?

98、文字数据

99、它试解决数据收集中可能出现的问题。

100、大数据需要大量的存储空间，通常在许多计算机之间分布。其大小以TB，PB甚至EB为单位

101、答案是：在越来越多的行业和公司中。这是一些著名的例子。

102、让我们开始考虑一个简单的变量赋值：

103、好吧，将它们分开很容易!

104、我们将传统数据分为两类：

105、在python函数控制列表和词典中，我们将仔细研究Python在函数内部进行操作时如何对待不同的数据类型，并学习如何确保仅在需要更改数据时才更改数据。

106、如我们所见，这解决了我们的问题。原因如下：using.copy()创建列表的单独副本，因此指向initial_list自身的a_list是新副本，而不是指向自身initial_list。a_list之后，对该单独的列表(而不是列表initial_list本身)进行的任何更改，因此的全局值initial_list不变。

107、保持可变数据类型不变

108、我们可以将数据视为传统数据或大数据。如果您不熟悉此想法，则可以想象包含分类和数字数据的表格形式的传统数据。该数据被结构化并存储在可以从一台计算机进行管理的数据库中。收集传统数据的一种方法是对人进行调查。要求他们以1到10的等级来评估他们对产品或体验的满意程度。

109、如何处理原始数据?

110、在Python中，数据类型可以是可变的(可变的)或不可变的(不变的)。尽管我们在Python入门中使用的大多数数据类型都是不可变的(包括整数，浮点数，字符串，布尔值和元组)，但列表和字典却是可变的。这意味着全局列表或字典即使在函数内部使用时也可以更改，就像我们在上面的示例中看到的那样。

111、“缺失的价值观”是您必须处理的其他事情。并非每个客户都会为您提供所需的所有数据。经常会发生的是，客户会给您他的名字和职业，而不是他的年龄。在这种情况下您能做什么?

112、*这是我们在课程Python课程中使用的内容。

113、数字数据

114、像数据改组一样，“数据屏蔽”可能很复杂。它用随机和假数据隐藏原始数据，并允许您进行分析并将所有机密信息保存在安全的地方。将数据屏蔽应用于大数据的一个示例是通过“机密性保留数据挖掘”技术。

115、该.copy()方法也适用于词典。与列表一样，我们可以简单地添加.copy()参数到传递函数的位置，以创建一个副本，该副本将用于该函数，而无需更改原始变量：

116、但是，该解决方案仍然不是完美的，因为.copy()每次传递参数给函数时，我们都必须记住要添加，否则就有可能意外更改的全局值initial_list。如果我们不想为此担心，我们实际上可以在函数内部创建该列表副本：

117、如果您想维持可靠的业务或活动，则必须保留机密信息。共享个人详细信息时，您必须对信息应用一些“数据屏蔽”技术，以便您可以在不损害参与者隐私的情况下进行分析。

118、传统数据是大多数人习惯的数据。例如，“订单管理”可帮助您跟踪销售，购买，电子商务和工作订单。

119、我想这一步会挤在原始数据和处理之间!也许我们应该在这里添加一个部分...

120、https://toutiao/i6820650243210609166/