windows环境下使用MyEclipse调用hadoop集群

之前看网上说要想在windows下访问hadoop集群需要安装cygwin,但是我嫌安装这东西麻烦,所以没弄,但是今天根据linux下使用hadoop插件的eclipse建的一个项目来在Myeclipse下建了一个同样的项目,引入同样的jar包,然后执行调用Hadoop的程序竟然可以执行,大喜。不知道是我一开始理解错了,还是什么原因,总之现在我的windows不用安装cygwin也能通过Myeclipse调用hadoop了。

具体方法是:
1.在MyEclipse下新建一个java project
2.将hadoop/lib下的所有jar包加到project中,可以直接新建一个src folder,也可以添加外面jar引用
3.将hadoop目录下的以hadoop开头的几个jar也引入到project
4.在程序中调用hdfs时需将namenode hostname改成namenode ip

1
2
String dfsUrl = "hdfs://192.168.1.8:9000";
fs = FileSystem.get(URI.create(dfsUrl), new Configuration());