概览记录Hadoop安装使用过程遇到的问题与解决方案。因为在公司都是使用搭建好的集群,所以一般没有什么配置上的问题.这里主要记录在自己搭建的伪分布式集群中遇到的问题. 报错：Connection refused运行hadoop jar share/hadoop/mapreduce/hadoop-ma ...
PySpark安装使用
概览这里不直接安装原生的Spark，因为目前没必要，所以仅仅记录下PySpark的安装和使用过程中遇到的坑。 安装在Spark的官方的安装界面就提到了PySpark的安装方式就是直接运行pip install pyspark。这当然是可以的，但是我们一般不直接这样做，主要是因为Anaconda的依赖 ...
梅贾的窃魂卷(3/25)——Annotations
Overview整理下关于Python中Type Checking的资料。主要参考realpython.关于Type Checking，这篇文章主要是基于mypy来讲的，另外微软的pyright用着也还可以（还是有Bug…），可以和Vscode一起用。 Annotations在variable, f ...
梅贾的窃魂卷(2/25)——Context Managers(with)
为什么需要Context Managers(Motivation)先来看一个读写文件的例子。 f = open('hello.txt', 'w')f.write('hello, world')# 一些其他操作等f.close() 很明显，在执行f.write和其他操作的时候可能会出错，这就会导致我们 ...
梅贾的窃魂卷(1/25)——Decorator and Closure
为什么需要装饰器(MotivaMotion)存在即合理。在开始之前，我们必须先搞清楚我们为什么需要装饰器,亦即我们可以用它来做什么。总的来说用处很多，下面我们举几个例子。 计时器,日志记录比如说我们想要测试一些函数的运行时间。在函数不多的时候，我们可以分别计时测试。 比如对函数func: def f ...
梅贾的窃魂卷(0/25)——始末
这样，他就不会因为自己经验知识有限而陷于无助；不用再次去发现他人早已发现过的事物，重蹈他人的覆辙，重犯他人的错误。他可以继承他人的成果，继续前进。换句话说，语言使得人类有了进步的可能。 ——《语言学的邀请》 始末我时常感谢很多人，其中一种就是 ...
OpenCV4.1.0 on Ubuntu16.04
安装编译大致流程主要的参考资料还是官方文档, 不过这里在设置Python路径方面并没有写的特别详细，所以参考了Medium文章，这里是用了conda来创建了一个独立虚拟环境，使得路径的配置显得更加清晰。(此外也可以用virtualenv, 类似可以参考pyimagesearch)。Medium文章中 ...
Mysql8.0 in Ubuntu16.04
5.7版本更新到8.0好久每用过MySQL了，最近重新学下，发现已经更新到8.0了…原来的是5.7。不过在stackoverflow查到更新是比较简单的。 更新的过程按照第一个答案说的直接执行就可以，这里不再重复。