二十一世纪,互联网新科技层出不穷。伴随着大数据、云技术以及整个算力的发展,人工智能技术的研究及应用也迅速壮大,在语音、图像和自然语言方面取得了卓越的成绩。更为重要的是,政府也在大力发展数字经济,包括党的十九届四中全会首次增列了“数据”作为生产要素,这也进一步反映了随着经济活动数字化转型的加快,数据对提高生产效率的乘数作用凸显,成为最具时代特征新生产要素的重要变化。个推作为专业的数据智能服务商,于2010年成立至今,在大数据技术的发展过程中,收获了一些成果,也得到了自己的经验和体会。 2019年3月,个推(每日互动,…

2021年9月20日 0条评论 2点热度 阅读全文

项目概述 1.1. 项目建设背景 XX市是一个农业大市, 位于云南省东北部, 金沙江下游, 滇、川、黔三省结合部。地理坐标在东经102°52’ ~105°18’、北纬26°18’ ~28°40’之间,全市辖10县1区, 总面积2.3万km2。由于受乌蒙山脉和五莲山脉以及江河深切割,形成陡峻峡谷,西南高、东北低,北部最低海拔(富源县滚坎坝) 267m,南部最高海拔( 巧家县药山)4040m, 相对高差3773 m。由于水平位置和垂直高度的差异,构成境内地形复杂,气候多变,具有明显的立体气候、立体农业的特点,农、林、牧…

2021年9月20日 0条评论 2点热度 阅读全文

本套系列博客从真实商业环境抽取案例进行总结和分享,并给出Spark商业应用实战指导,请持续关注本套博客。版权声明:本套Spark商业应用实战归作者(秦凯新)所有,禁止转载,欢迎学习。 kafka 商业环境实战-kafka生产环境规划 kafka 商业环境实战-kafka生产者和消费者吞吐量测试 kafka 商业环境实战-kafka生产者Producer参数设置及参数调优建议 kafka 商业环境实战-kafka集群管理重要操作指令运维兵书 kafka 商业环境实战-kafka集群Broker端参数设置及调优准则建议…

2021年9月20日 0条评论 0点热度 阅读全文

版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。版权声明:禁止转载,欢迎学习。 kafka商业环境实战系列 作者:秦凯新 地址:于深圳 kafka 商业环境实战-kafka生产环境规划 kafka 商业环境实战-kafka生产者和消费者吞吐量测试 kafka 商业环境实战-kafka生产者Producer参数设置及参数调优建议 1. Producer核心工作流程 Producer首先使用用户主…

2021年9月20日 0条评论 0点热度 阅读全文

鄙人的新书《Elasticsearch权威指南》正式出版发行,欢迎购买!本书由华为、中兴高级技术专家全面审读并撰序,助您挑战百万年薪 购书链接: 《Elasticsearch权威指南》 欢迎关注鄙人公众号,技术干货随时看! 鄙人的新书,欢迎订阅! 《elasticsearch7完全开发指南》 https://wenku.baidu.com/view/8ff2ce94591b6bd97f192279168884868762b8e7 《kibana权威指南》 https://wenku.baidu.com/view/2…

2021年9月20日 0条评论 0点热度 阅读全文

Linkis 编译文档 目录 1. 全量编译 Linkis 2. 编译单个模块 3. 编译某个引擎 4. 如何修改Linkis的依赖的Hadoop、Hive、Spark版本 5. 编译前端管理台 1.全量编译 Linkis 编译环境要求: 必须 JDK8 以上,Oracle/Sun 和 OpenJDK都支持。 从 git 获取项目代码后,使用 maven 编译项目安装包。 请注意:官方推荐使用 Hadoop-2.7.2、Hive-1.2.1、Spark-2.4.3 和 Scala-2.11.8 对 Linkis 进…

2021年9月1日 0条评论 0点热度 阅读全文

创建用户一般分四步: 第一步:创建临时表空间(可选) 第二步:创建数据表空间 第三步:创建用户并制定表空间 第四步:给用户授予权限   1.创建用户之前要创建"临时表空间",若不创建则默认的临时表空间为temp。 CREATE TEMPORARY TABLESPACE TRAFFIC_TEMP TEMPFILE '/home/oracle/tablespace/TRAFFIC_TEMP.DBF' SIZE 32M AUTOEXTEND ON NEXT 32M MASIZE UNLIMITED EXTENT…

2021年8月28日 0条评论 15点热度 阅读全文

大数据背景 对于业务数据数据量的暴增,用户智能化需求提升。在这个DT的时代,大数据的开发也就应运而生了,大数据开发必须解决两个问题,大数据量如何统一存储,大数据量如何统一计算。针对这些问题产生了很多大数据方面的技术框架。到今天为止,大数据方面的技术可以说已经相当成熟,BAT在大数据方面都应用十分的广泛,大数据量的分析使得数据更有了价值,运营有了通过大数据的分析可以做出精确的营销计划,通过收集用户的操作日志,分析用户行为,给出用户精确和有价值的推荐。人工智能也是通过海量数据做分析,通过算法做出智能准确的行为。 大数据…

2021年8月28日 0条评论 7点热度 阅读全文

文章目录 Hadoop 常见面试题 1. mr 工作原理 2. split 机制 3. namenode,datanode,secondaryNameNode分别是干什么的? 4. mr on yarn 工作原理 5. fsimage 和 edits 是干什么的?为什么要使用? 6. hdfs 工作原理 7. block 副本放置策略 Hive 常见面试题 1. 简述Hive工作原理 2. hive 内部表和外部表区别 3. 分区和分桶的区别 3.1 分区 3.2 分桶 4. 将数据直接上传到分区目录(hdfs)上…

2021年8月22日 0条评论 9点热度 阅读全文

前言 在之前咱们有介绍过,使用微服务架构有很多好处,并且在各个方面都有其独特的优势,但是,每一件事情都不是绝对的,使用微服务架构同时也充满着挑战。因此,我们必须在开始进行微服务架构设计时,进行全盘考虑,权衡利弊,才能做出合理的选择,取得最佳的设计效果。 在微服务架构设计中,对复杂系统进行拆分之后,会不会产生一些新的问题呢?比如微服务之间的相互调用和通信会不会很复杂?由于每个微服务都有独立的数据库,那么分散的数据管理怎么保证数据的一致性?如果单个微服务的功能变更,会不会影响到多个微服务的正常运行?诚然,这些问题是确实…

2021年8月16日 0条评论 11点热度 阅读全文