pyspark没有模块名称错误

2024-02-28

这是我正在遵循的教程中的确切代码。我的同学使用相同的代码没有收到此错误:

ImportError                                Traceback (most recent call last)

<ipython-input-1-c6e1bed850ab> in <module>()
----> 1 from pyspark import SparkContext
      2 sc = SparkContext('local', 'Exam_3')
      3 
      4 from pyspark.sql import SQLContext
      5 sqlContext = SQLContext(sc)

ImportError: No module named pyspark

这是代码:

from pyspark import SparkContext
sc = SparkContext('local', 'Exam_3')
from pyspark.sql import SQLContext    
sqlContext = SQLContext(sc)
data = sc.textFile("exam3")
parsedData = data.map(lambda line: [float(x) for x in line.split(',')])
retail = sqlContext.createDataFrame(parsedData, 
     ['category_name','product_id', 'product_name', 'product_price'])
retail.registerTempTable("exam3")
print parsedData.take(3)

你没有pyspark安装在您正在使用的 python 安装可用的位置。要确认这一点,请在命令行终端上使用virtualenv激活后,输入您的 REPL (python)并输入import pyspark:

$ python
Python 3.5.0 (default, Dec  3 2015, 09:58:14) 
[GCC 4.2.1 Compatible Apple LLVM 7.0.0 (clang-700.1.76)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import pyspark
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named 'pyspark'

如果您看到No module name 'pyspark'ImportError 你需要安装该库。退出 REPL 并输入:

pip install pyspark

然后重新输入 repl 以确认其有效:

$ python
Python 3.5.0 (default, Dec  3 2015, 09:58:14) 
[GCC 4.2.1 Compatible Apple LLVM 7.0.0 (clang-700.1.76)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import pyspark
>>>

请注意,激活虚拟环境至关重要。当位于虚拟环境的目录中时:

$ source bin/activate

这些说明适用于基于 UNIX 的计算机,并且对于 Windows 会有所不同。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

pyspark没有模块名称错误 的相关文章

  • Python argparse 作为函数

    以这种方式获取命令行参数有什么本质上的错误吗 我的意思是把参数解析放入它自己的函数中 它会被认为是非 Pythonic 或更严重吗 usr bin python import argparse def getArgs argv None p
  • 使用 JPype - 如何访问 JDBC 元数据函数

    我在用着杰 德贝API https launchpad net jaydebeapi它使用 JPype 加载 FileMaker 的 JDBC 驱动程序并提取数据 但我也希望能够获取所有表的列表在数据库中 In the JDBC 文档 ht
  • Firefox 中的文件下载对话框

    我正在使用firefox进行selenium python编程 自动开始下载并保存文件 我已经完成了所有操作 但无法下载csv文件 我的python版本是2 6 6 我的selenium版本是最新版本 我也尝试使用以下链接 即 fp web
  • 配置 PIP 以在代理后面工作

    我已经安装了 python 3 4 3 附带pip 我想从代理后面使用 pip 所以我执行了以下操作 Created C Users foo pip pip ini并添加了代理配置部分 proxy export http proxy my
  • 如何从 Windows 7 PC 上完全卸载 Python 2.7

    从这里安装了Python 2 7 https www python org downloads release python 279 https www python org downloads release python 279 然后我
  • 来自多元 t 分布的样本 python

    我想知道Python中是否有一个从多元学生t分布中采样的函数 我有包含 14 个元素的均值向量 14x14 协方差矩阵和自由度 我想从这个 t 分布中采样一个向量 对于一维情况 我使用 stats t rvs df loc scale 并且
  • 为什么 pandas.DataFrame.update 会更改更新后的数据帧的数据类型?

    出于显而易见的原因 我想在更新后将列的数据类型保留为 int 有什么想法为什么这不能按预期工作吗 import pandas as pd df1 pd DataFrame a 1 b 2 c foo a 3 b 4 c baz df2 pd
  • ipython/jupyter 中的 tk 问题

    我正在尝试编写一个用于从 ipython jupyter 笔记本启动的 gui 但在笔记本中使用 tkinter 时遇到了麻烦 特别是在让 tk gui 窗口正常关闭方面 如何从 jupyter 制作 启动 tkinter gui 然后在不
  • 我可以在pycharm中的断点处进入交互模式吗

    我是一个相当新的 Pycharm 3 用户 正在从事 django 项目 我可以在 pycharm3 中的断点处进入交互模式吗 这可能吗 当程序在断点处停止时 我尝试过工具 gt 打开调试命令行 但我没有看到控制台打开 我怎样才能让它发挥作
  • 统计Sweep算子的Python实现

    我正在学习一些用书中缺失的数据进行统计的技术 缺失数据的统计分析作者 利特尔和鲁宾 对于处理单调无响应数据来说 一个特别有用的函数是扫频操作员 详情见第 148 151 页 我知道 R 模块gmm有swp函数可以做到这一点 但我想知道是否有
  • pandas groupby 并转换为 json 列表

    我有一个如下所示的 pandas 数据框 idx f1 f2 f3 1 a a b 2 b a c 3 a b c 87 e e e 我需要将其他列转换为基于索引列的字典列表 所以 最终结果应该是 idx features 1 f1 a f
  • 将具有多个时区的 pandas 列转换为单个时区

    Problem 我在 pandas DataFrame 中有一个列 其中包含带有时区的时间戳 此列中有两个不同的时区 我需要确保只有一个 这是该列末尾的输出 260003 2019 05 21 12 00 00 06 00 260004 2
  • django-allauth:电子邮件确认

    我已经设置了 django allauth 并在新用户注册时使用电子邮件确认 效果很好 但在确认电子邮件中 我得到 Hello from example com You re receiving this e mail because us
  • 无法使用 wxPython 打开在 folium 中生成的本地 HTML 文件

    我目前正在尝试将 GPS 坐标绘制为地图上的标记 并在 wxPython 中显示结果 我使用 folium 绘制坐标标记并生成 HTML 文件 import folium fmap folium Map 43 5321 172 6362 z
  • 在 Python 中通过网络发送对象的最佳方式是什么? [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 我需要通过网络发送对象 我将使用 Twisted 并且我刚刚开始查看它的文档 据我所知 python实现套接字的唯一方式是通过文本 那么我如何使
  • 如何在 FastAPI Swagger API 中按方法类型对方法进行排序?

    如何在 FastAPI Swagger 自动文档中设置 API 方法的排序顺序 我希望所有方法按类型分组 GET POST PUT DELETE 这个答案 https stackoverflow com questions 24951268
  • Django - 渲染到字符串无法加载 CSS

    我正在尝试使用 Django 1 8 render to string 通过管理命令将 html 转换为 pdf 而不是使用 View request 以下代码可以将模板转换为 pdf 但它无法将 CSS 加载到模板中 def html t
  • 如何将 Django 数据库中的模板标签解释/渲染为 HTML

    我正在尝试添加带有来自 Django 管理站点的图像的帖子 但安全 自动转义关闭过滤器无法解释 Django 的模板标签 My input and page look like 复制图像地址 给出http 127 0 0 1 8000 7B
  • 如何将动态数据传递给装饰器

    我正在尝试编写一个基本的 CRUD 控制器类来执行以下操作 下列的 class BaseCrudController model field validation template dir expose self template dir
  • Pandas 数据框可对多列和要列出的值进行字典

    我有一个数据框 id key a1 1 a2 1 a3 1 a4 2 a5 2 a6 3 我想创建一本字典key作为机器号 并且id列作为列表 like 1 a1 a2 a3 2 a4 a5 3 a6 我可以先使用 groupby 然后再使

随机推荐

  • 保护 CRTP:私有析构函数是唯一的解决方案吗?

    如何避免 template
  • Spring Security 中的 @Order(SecurityProperties.ACCESS_OVERRIDE_ORDER) 与 ManagementServerProperties.ACCESS_OVERRIDE_ORDER

    问题1 在Spring Security中 到底有什么功能 Order SecurityProperties ACCESS OVERRIDE ORDER Spring文档说明如下 但我不确定我是否理解清楚 要覆盖访问规则而不更改任何其他自动
  • 为什么 SqlAzureExecutionStrategy 不处理错误:19 - 物理连接不可用

    完整异常 System Data Entity Core EntityCommandExecutionException An error occurred while executing the command definition Se
  • 用Java Unix 套接字连接到MySql 以避免JDBC 的TCP/IP 开销?

    是否可以使用 Java 建立与 MySql 的 Unix 套接字连接以避免 JDBC 的 TCP IP 开销 有谁知道一个图书馆 或几个图书馆 也许 可以实现这一点 此外 mySQL JDBC 驱动程序经过了很长一段时间的打磨 并进行了多项
  • 实施苹果推送通知的步骤是什么?

    我是这个主题的新手 需要一些指导来在我的应用程序中实现 Apple 推送通知 我已经创建了我的 appID 并为其配置了 Apple 推送通知 我已经下载了配置文件并在 iPhone 上安装了该应用程序 我还编写了Apple文档提供的以下代
  • 如何在路线更改时重置滚动位置?

    我在 Angular JS 上度过了最初的几个小时 并尝试用它编写 SPA 但是 在更改路线时 滚动位置在更改路线后仍保持在当前位置 这意味着 如果有人读完第二页上的一半文本 则在切换到第二页后 此人将在第二页时最终位于页面中间 假设页面同
  • Java 正则表达式提供任何性能优势吗?

    在Java中 当我们尝试使用正则表达式进行模式匹配时 例如获取输入字符串并使用正则表达式来确定它是否是数字 如果不是 则抛出异常 在这种情况下 我理解 使用正则表达式使代码比我们获取字符串的每个字符 检查它是否是数字 如果不是则抛出异常更简
  • Python 中的 RSS 提要解析器库 [关闭]

    Closed 此问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我正在寻找一个好的 python 库来帮助我解析 RSS 提要 有人用过 feedparser 吗 任何
  • 如何在 Firemonkey 中加载自定义光标?

    我需要在我的 Firemonkey 桌面项目中使用自定义光标 我可以在 VCL 项目中使用 LoadCursorFromFile 在我的项目中加载自定义光标 我尝试对 Firemonkey 执行相同的操作 但它没有加载光标 有没有什么工作方
  • 如何使用 jQuery 清空输入字段

    我在移动应用程序中 使用输入字段来命令用户提交号码 当我返回并返回到输入字段显示输入字段中显示的最新数字输入的页面时 有没有办法在每次加载页面时清除该字段 shares keyup function payment 0 calcTotal
  • 如何在 Scala 中减去列表中的两个连续元素?

    我想用 Scala 中的数字减去列表中的两个连续元素 例如 我有这个清单 val sortedList List 4 5 6 我想要一个像这样的输出列表diffList 1 1 where 5 4 1 and 6 5 1 我尝试了以下代码
  • 无法使用 [self theMethod:] 调用类方法

    我正在尝试在 Objective C 中编写一个类方法 当我声明该方法时 该项目构建得很好 但每当我尝试调用该方法时 构建都会失败 这是我的代码 头文件 import
  • 使浅层 GIT 存储库变得不那么浅

    我为指定标签创建浅克隆 git clone branch v0 1 3 depth 1 file c usr sites smc 此后 克隆的存储库中仅包含标签 v0 1 3 和相关文件 它没有该标签之前或之后的所有更改的历史记录 据我所知
  • 在非常大的文件中快速搜索字符串

    在包含字符串的文件中搜索行的最快方法是什么 我有一个包含要搜索的字符串的文件 这个小文件 smallF 包含大约 50 000 行 如下所示 搜索字符串1字符串搜索2字符串搜索3 我必须在一个更大的文件中搜索所有这些字符串 大约1亿行 如果
  • 实体ORM设计

    我有四个实体 一个大猩猩 一个健康检查 发射器和一个微芯片 我有一个关于将这些实体连接在一起的问题 大猩猩每年进行 3 4 次健康检查 因此它们是 OneToMany 每只大猩猩normally在其生命过程中拥有 1 个微芯片 在健康检查期
  • Android Studio 2.3 中的 Gradle 缩进问题

    每次我在 AS 2 3 中创建一个新的 Activity 时 它都会弄乱 build gradle 缩进 从而导致这样的错误 错误 无法获取 org gradle api internal artifacts dsl dependency
  • 测试数字是否在循环区间内

    假设我们有一个数字圈 范围从 180 到 180 看起来像这样 180 180 90 90 0 圆的一部分始终沿顺时针方向扫过 如何判断一个数字是在扫描区间之内还是之外 在以下示例 I O 中 前两个数字表示间隔 第三个数字是正在检查的数字
  • 使用selenium webdriver java 4.0v捕获网络流量

    我想捕获 Chromedriver 窗口中生成的网络流量 我发现可以使用 selenium 4 0 DevTools 实用程序来完成此操作 但我找不到如何操作或良好的文档 https www selenium dev selenium do
  • hive hadoop 上可用的数据可视化工具

    请推荐一些可以在 Hive Hadoop 上运行的可视化工具 唯一的事情是 它应该接受Hive 这取决于您想要的数据分析和可视化类型 如果您打算使用专有工具 那么Tableau http www tableausoftware com so
  • pyspark没有模块名称错误

    这是我正在遵循的教程中的确切代码 我的同学使用相同的代码没有收到此错误 ImportError Traceback most recent call last