大数据_站长网

使用Zeppelin来实现大数据分析的可视化

所属栏目：[大数据] 日期：2021-03-08 热度：99

Apache Zeppelin是ASF的一个孵化项目，实现了基于web的在线代码编辑与数据可视化。有点类似Spark-Shell的REPL。其结果可以直接用图表来展示，解决了前端白痴的苦逼。 Zeppelin官网我们可以直接下载 zeppelin-0.5.6-incubating-bin-all.tgz ，然后部署到服务[详细]
初识聚类算法:K均值、凝聚层次聚类和DBSCAN

所属栏目：[大数据] 日期：2021-03-08 热度：153

http://blog.sina.com.cn/s/blog_62186b460101ard2.html 聚类分析就仅根据在数据中发现的描述对象及其关系的信息，将数据对象分组 ( 簇 ) 。其目标是，组内的对象相互之间是相似的，而不同组中的对象是不同的。组内相似性越大，组间差别越大，聚类就越好。[详细]
基于K－Means的文本聚类

所属栏目：[大数据] 日期：2021-03-08 热度：173

http://blog.csdn.net/freesum/article/details/7376006 何为聚类 ? ? ? ? “聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集（subset）,这样让在同一个子集中的成员对象都有相似的一些属性。”?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?[详细]
R在文本挖掘与分析的妙用：分词、画词云

所属栏目：[大数据] 日期：2021-03-08 热度：121

报道大数据企业：大数据产品、大数据方案、 ? 大数据人物分享大数据干货：大数据书籍、大数据报告、大数据视频本文转自蔡捕头的新浪博客。欢迎更多优质原创文章投稿给大数据人：289585305@qq.com 摘要：要分析文本内容，最常见的分析方法是提取文本中[详细]
10EB量级的基因大数据处理技术

所属栏目：[大数据] 日期：2021-03-08 热度：160

Java学习网（www.javalearns.com）提拱 10EB量级的基因大数据处理技术很荣幸在这里跟大家分享大家以前很少接触到的领域的大数据情况。其实生命科学的大数据还处在比较初始的阶段，否则国家也不会现在才开始提出精准医学这样的概念。所谓精准医学想通过大数[详细]
数据分析与挖掘学习（一）

所属栏目：[大数据] 日期：2021-03-08 热度：71

数据分析与挖掘过程一. 定义挖掘目标一般的数据挖掘任务包括： 1. 分类与预测 2. 聚类分析 3. 关联规则 4. 时序模式 5. 偏差检验 6. 智能推荐二. 数据取样抽取一个与挖掘目标相关的样本子集，标准是 1. 相关性 2. 可靠性 3. 有效性而不是选用全部数据做[详细]
Acdream 1210 Chinese Girls#39; Amusement（大数模板运算 + 找

所属栏目：[大数据] 日期：2021-03-08 热度：93

传送门 Chinese Girls’ Amusement Time Limit: 2000/1000MS (Java/Others) Memory Limit: 128000/64000KB (Java/Others) Submit Statistic Next Problem Problem Description You must have heard that the Chinese culture is quite different from that o[详细]
??攻略｜13招神技让你在数据科学和数据分析工作中脱颖而出

所属栏目：[大数据] 日期：2021-03-07 热度：58

简介：我有幸在很早参与了一个大数据科学项目，我非常喜欢其中的工作，甚至我意识到我的努力可以增加一些公司的价值。然而，可悲的是，只有不到30%的数据科学项目最终实施了。我备受打击的意识到我的努力被浪费了。但是，我不是唯一的一个。几乎，每一个分[详细]
基因数据处理46之cloud-scale-bwamem安装（compile.pl安装没问题

所属栏目：[大数据] 日期：2021-03-07 热度：115

版本：https://github.com/ytchen0323/cloud-scale-bwamem/releases/tag/v0.2.1 1.需要设置spark路径： !--systemPath/cluster/spark/spark-1.3.1-bin-hadoop2.4/lib/spark-assembly-1.3.1-hadoop2.4.0.jar/systemPath -- systemPath /home/hadoop/cloud/spa[详细]
基因数据处理44之cloud-scale-bwamem安装

所属栏目：[大数据] 日期：2021-03-07 热度：161

cloud-scale-bwamem是在spark等云环境上实现bwa-mem算法，加速对全基因组匹配的处理 1.下载： git clone https: //github.com/ytchen0323/cloud-scale-bwamem.git 2.编译： mvn clean package 3.编译成功： [INFO] ----------------------------------------[详细]
基因数据处理50之cs-bwamem、bwa、snap、bwa-mem与art比较

所属栏目：[大数据] 日期：2021-03-07 热度：160

直接看结果：（1）art仿真数据： hadoop @Master :~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem $ cat G38L100c50Nhs20 .aln ##ART_Illumina read_length 100 @CM art_illumina -ss HS20 -i GRCH38chr1L3556522 .fna -l 100 -c 50 -o G38L100c50Nhs20 -rs 1[详细]
基因数据处理45之cloud-scale-bwamem安装（compile.pl安装有问题

所属栏目：[大数据] 日期：2021-03-07 热度：189

脚本： hadoop @Master :~/xubo/tools/cloud-scale-bwamem $ cat compile.pl #! /usr/bin/perl system "mvn clean package" ;chdir "./src" ;system "mvn package -PotherOutputDir" ;chdir "./main/jni_fpga" ;system "mvn package -PotherOutputDir" ;chdi[详细]
基因数据处理51之cs-bwamem集群版运行*

所属栏目：[大数据] 日期：2021-03-07 热度：165

将master的local改为集群就可以了。集群运行结果：问题：匹配50条的时候，bwa和snap都是生成50条。但是cs-bwamem会生成492条，其中25和50条重读的很多，匹配位置不同。不知道为啥？记录： D: 1 win7javajdkbinjava -Didea.launcher.port= 7538 "-Di[详细]
《剑指offer》:[16]打印1到最大的N位数

所属栏目：[大数据] 日期：2021-03-07 热度：108

题目：输入数字N，按顺序打印从1到最大的n位十进制数。比如输入3，则打印出1、2、3一直到最大的三位数即：999. 乍一看这个题目很简单，我们很快就会写出下面的代码： void onetoN(int n){int number=1;for(int i=0;in;i++){number*=10;}for(int i=1;inumber;[详细]
基因数据处理52之cs-bwamem集群版运行（1千万条100bp的reads）

所属栏目：[大数据] 日期：2021-03-07 热度：66

1.art生成模拟序列： art_illumina -ss HS20 -i GRCH38BWAindex/GRCH38chr1L3556522 . fna -l 100 -c 10000000 -o g38L100c10000000Nhs20 2.上传到hdfs，制定partition数 spark-submit --class cs .ucla .edu .bwaspark .BWAMEMSpark --master spark://maste[详细]
NDK开发 - JNI数组数据处理

所属栏目：[大数据] 日期：2021-03-07 热度：151

很多时候利用 NDK 开发都是为了对数据进行加密操作，因为单纯的 Java 太容易被反编译了，加密算法也就很容易被破解，而利用 C/C++ 开发可以加大破解难度。文件的数据加密就需要通过 byte 数组传给 JNI。传送门： NDK开发 - JNI数组数据处理 JNI 中的数组分[详细]
利用BI搭建零售业数据信息平台

所属栏目：[大数据] 日期：2021-03-07 热度：130

某百货公司是全市规模最大的以零售为主、多元化经营的股份制商业企业。拥有员工数千人，经营国内外品牌2300余种，年商品销售额逾10亿人元。销售体量如此庞大的企业近几年在IT建设上出现了问题，集团内部的信息化数据有些跟不上业务扩张的步伐。虽然该集团很[详细]
数据处理---Spring Batch之基础

所属栏目：[大数据] 日期：2021-02-28 热度：69

? ? ? Spring框架提供了强大的底层结构，基于此，Spring出现了很多方面的应用。Spring Batch就是其一，它是一个轻量级的，完全面向Spring的批处理框架，可以应用于企业级大量的数据处理系统。Spring Batch以POJO和大家熟知的Spring框架为基础，使开发者更容[详细]
数据处理---Spring Batch之实践

所属栏目：[大数据] 日期：2021-02-28 热度：168

上面介绍了Spring Batch的基本概念和简单的demo项目，显然这些还是不够实际使用的。下面我们来更多的代码实践。 ? ? ? ? 在上面的基础项目上面，我们来更多的修改： ? ? ? ? 不用项目默认的hsql DB，用mysql,让ItemReader,ItemWriter 支持mysql； ? ? ? ? 支[详细]
Pentaho BI Server的启动过程详解（二）

所属栏目：[大数据] 日期：2021-02-28 热度：177

时隔好久现在接着上一篇来继续聊一下Pentaho BI Server的启动过程，今天主要讲的就一个类PentahoSystem。软件版本 Pentaho BIServer 5.0.1-ce 关于PentahoSystem 在上一篇文章里已经介绍过在SolutionContextListener中当应用启动时分调用PentahoSystem的ini[详细]
【最强干货】关于文本挖掘的资料（文献，报告，策略，代码）

所属栏目：[大数据] 日期：2021-02-28 热度：157

查看之前文章请点击右上角，关注并且查看历史消息所有文章全部分类和整理，让您更方便查找阅读。请在页面菜单里查找。今天没有策略研究推送。有几篇文章还需再研究一下好久没有给大家干货啦今天给大家一些干货福利文本挖掘方面的资料文献，[详细]
暴力：大数加法

所属栏目：[大数据] 日期：2021-02-28 热度：109

Description The I-number of x is defined to be an integer y,which satisfied the the conditions below: 1. yx; 2. the sum of each digit of y(under base 10) is the multiple of 10; 3. among all integers that satisfy the two conditions above,y[详细]
数据处理---Spring Batch之进阶

所属栏目：[大数据] 日期：2021-02-28 热度：56

有了前面两篇的基础之后，我们一起来聊聊更高级的关于Spring Batch的话题。比如Job 配置；自定义各种Listener；控制步骤流程；自定义Reader,Processor,Writer；并行处理。这些东西在Spring Batch的使用中很多可能会需要的，当然还有更多的内容，最好找下文档[详细]
什么是BI ? 哪些行业需要用到BI？

所属栏目：[大数据] 日期：2021-02-28 热度：108

什么是BI?哪些行业需要用到BI？ BI——就是分析利用企业已有的各种商用数据来了解企业的经营状况和外部环境，从而为企业的经营决策提供数据支撑。下面我们来详细分解下：企业应用BI的目标即是期望通过对来自不同的数据源进行统一处理及管理，把数据变成信[详细]
[每月好书] 写给大家看的算法书（来自漫画帝国的图解算法书：轻

所属栏目：[大数据] 日期：2021-02-28 热度：148

和老规矩一样，本月月考的奖品就是《写给大家看的算法书》两本。不知道什么是月考的同学，请补习下面文章：每月送书活动来袭,免费哦! 另外，为了避免每次月考都是相同的同学获得最高奖，从上次月考开始，获得过最高奖（得到过书）的同学，将不能获得最高奖[详细]

7720

299