前言
众所周知,在做开发的时候使用传统的通过数据库搜索查询数据的方式的时候,如果数据库数据不多的情况下还能比较正常的做好及时搜索的需求,但是随着大数据的井喷式发展,数据量级几乎是呈现指数增长,如果还是通过传统的方式来进行搜索数据库的数据,那就要等待非常久的时间来等待搜索结果,数据体量很大的情况下非常影响用户的体验,要想解决这种问题,使用的数据搜索引擎采用的是Elasticsearch来进行搜索的。那么本文就来分享一下Elasticsearch的使用入门,方便查阅使用。
Elasticsearch定义
首先,来了解一下Elasticsearch,它是一个分布式可扩展高实时的搜索和分析引擎,可以很轻松的让高量级数据具有搜索分析和探寻能力,其自身的水平伸缩性可以让数据在生产环境下具有更高价值。
(资料图)
其次,Elasticsearch其实是一个建立在Apache Lucene全文搜索引擎基础上的搜索引擎,它是基于RESTful web接口。一般情况下,Elasticsearch会和Logstash数据收集和日志解析引擎、Kibana分析和可视化平台一起开发使用的,三者组成了一个集成解决方案,组合称为“Elastic Stack”。其中,Elasticsearch 是位于Elastic Stack核心的分布式搜索和分析引擎;Logstash 和 Beats则是有助于收集、聚合和丰富用户的数据并将其存储在 Elasticsearch 中;Kibana 则是画用户能够以交互方式探索、可视化和分享对数据的见解,并且进行管理和监控堆栈的操作。Elasticsearch支持分布式,所以不需要用户配置注册中心,只需提供一个RESTful web接口,就可以随时调用该接口来使用Elasticsearch了。
最后,Elasticsearch是通过Java来实现的,而且是基于Apache许可条款下的开源产品,也是目前很流行的企业级搜索引擎。Elasticsearch设计用于云计算中,Elasticsearch 是索引、搜索和分析发生的地方,它能够达到实时搜索,具有稳定、可靠、快速、安装使用方便等特点。
Elasticsearch实现原理
Elasticsearch的实现其实过程不复杂,主要就是:首先,用户把数据提交到Elasticsearch数据库中,然后通过分词控制器把对应的语句分词处理,接着把其权重和分词结果都存入到数据中,当用户进行搜索数据的时候,根据权重把结果进行排序、打分处理,最后把返回的结果返回给用户显示。
Elasticsearch的作用
话又说回来了,文章开头讲到在实际开发中使用传统的通过数据库搜索查询数据,如果数据不多的情况下能正常的做好及时搜索的需求,但是数据体量很大的时候使用传统的方式来进行搜索数据库的数据,那就要等待非常久的时间,这种情况下非常影响用户的体验,要想解决这样的问题,就需要使用Elasticsearch来进行搜索查询操作。
而且Elasticsearch 给所有类型的数据提供来一个近乎实时的搜索和分析功能且支持多租户,无论是有结构化、非结构化文本、数字数据、地理空间数据,Elasticsearch 都能以快速搜索的方式高效地存储和索引数据,可以用于搜索各种文档。使用者可以超越简单的数据检索和聚合信息来发现数据中的趋势和模式,随着数据和查询量的增加,Elasticsearch 的分布式特性让部署能够随之无缝的增长。
且Elasticsearch是分布式的,意味着索引可以被分成分片的,比如每个分片可以有0个或多个副本;每个节点托管一个或多个分片,并且充当协调器将操作委托给正确的分片的。相关数据通常存储在同一个索引中,这个索引是由一个或多个主分片和零个或多个复制分片组成,但是一经创建了索引,就不能更改主分片的数量。分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索,是一个实时分析的分布式搜索引擎。
又有Elasticsearch支持实时GET请求,它比较适合作为NoSQL数据存储,但是缺少分布式事务。Elasticsearch可以扩展到上百台服务器,处理PB级别的结构化或非结构化数据,其实关于Elasticsearch只需要知道3个关键字:分布式、实时、搜索引擎,即可。
腾讯云ES
腾讯云 Elasticsearch Service(ES)是基于开源引擎打造的云端全托管 ELK 服务,集成 X-Pack 特性、独有高性能自研内核、QQ 分词、集群巡检、一键升级等优势能力,引入极致性价比的腾讯自研星星海服务器。轻松管理和运维集群,高效构建日志分析、运维监控、信息检索、数据分析等业务。
Elasticsearch集群安装
可以直接去腾讯云官网下载ES:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.2.zip。
然后下载Elasticsearch的镜像,可以直接通过稻壳去下载:
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.17.1还有filebeat镜像和kibana镜像的下载,同理:
docker pull docker.elastic.co/kibana/kibana:7.17.1和
docker pull docker.elastic.co/beats/filebeat:7.17.1注意:这里不在介绍安装包的下载以及解压,JDK安装和环境变量的设置等基础操作。
经过Elasticsearch的安装,直接elasticsearch -d后台执行,重启服务之后即可。
Elasticsearch使用
由于篇幅问题,本文以Elasticsearch的查询集群日志功能的简单使用为例子来介绍。
经过上面的集群安装之后需要进行一些提前准备工作:
1、注册并登录腾讯云官网,然后找到并进入https://console.cloud.tencent.com/es;
2、如果首次使用,需要新建创建“新建集群”,创建集群之后进入集群详情;
3、集群详情页找到日志模块,然后查看集群运行的日志信息;
4、通过腾讯云管理平台可以按照时间范围和关键字搜索来查询对应的集群日志信息;
5、通过命令docker compose logs 来查看容器运行日志信息。
具体信息如下所示:
[root@chen]# docker compose logs |headefk-kibana-1 | {"type":"log","@timestamp":"2023-02-07T01:23:47+00:00","tags":["info","plugins-service"],"pid":7,"message":"Plugin "metrics" is disabled."}efk-kibana-1 | {"type":"log","@timestamp":"2023-01-20T01:23:47+00:00","tags":["info","http","server","Pre"],"pid":7,"message":"http server running at http://0.0.0.0:5601"}...6、最后就是通过查询集群日志来解决集群运行遇到的问题。
7、注意的地方。
1⃣️设置索引
PUT */_settings{"index.indexing.slowlog.threshold.index.debug" : "5ms","index.indexing.slowlog.threshold.index.info" : "50ms","index.indexing.slowlog.threshold.index.warn" : "100ms","index.search.slowlog.threshold.fetch.debug" : "10ms","index.search.slowlog.threshold.fetch.info" : "50ms","index.search.slowlog.threshold.fetch.warn" : "100ms","index.search.slowlog.threshold.query.debug" : "100ms","index.search.slowlog.threshold.query.info" : "200ms","index.search.slowlog.threshold.query.warn" : "1s"}2⃣️查询集群日志的关键字查询语法和lucene的查询语法一样。
如制定关键词:message:NAME,又如多条件组合查询:level:INFO and ip:10.0.1.2。
3⃣️Elasticsearch Service会默认开启GC日志。
GC日志会展示日志的时间、节点IP、级别等信息。
最后
本文关于Elasticsearch入门指南的简单介绍,想必读者会有所收获,Elasticsearch 自从诞生以来,它应用的地方越来越广泛,特别是在大数据领域,功能也越来越强大。由于 Elasticsearch 集群的稳定性,决定了其业务发展的高度,对于一个应用来说其稳定是第一目标,比如腾讯云基于 Elasticsearch 构建的平台服务,帮助电商应用程序、网站等提供安全、高可靠、低成本、低延时、高吞吐量的个性化搜索,使得 Elasticsearch 在更多的地方应用,让我们期待Elasticsearch带来的新的技术革命吧!
参考文献
官方文档:https://cloud.tencent.com/product/es?from=10680
-
全球速看:【ES三周年】写给ES开发者的Elasticsearch入门指南首先,来了解一下Elasticsearch,它是一个分布式可扩展高实时的搜索和分析引擎,可以很轻松的让高量级数据具有搜索分析和探寻能力,其自身的水 -
全球快播:苗青_关于苗青的简介1、苗青(MiaoQing),1992年出生于山西省晋城市,毕业于北京电影学院,中国大陆女演员。凭借出众的外形和表演 -
快播:BEC高级考试难度如何BEC高级考试难度如何,客观的讲,BEC中级的总体难度应该在六级之上,阅读写作和六级持平,听力难于六级,还有口语部分。商务英语初级难度比我 -
天天看热讯:抖音小黄鸭多少钱_抖音小黄鸭你们好,最近小活发现有诸多的小伙伴们对于抖音小黄鸭多少钱,抖音小黄鸭这个问题都颇为感兴趣的,今天小活为大家梳理了下,一起 -
焦点播报:奈飞的会员保卫战奈飞的会员保卫战 为了寻求用户增长,奈飞决定将打击会员共享账户推广到更多地区。奈飞需要持续深耕优质内容构筑竞争壁垒,不断提升用户体 -
世界热讯:食材_茄子窍门食材_茄子窍门,茄子的窍门做法——烤茄子 -
【全球热闻】荣信文化2月10日快速回调以下是荣信文化在北京时间2月10日09:40分盘口异动快照:2月10日,荣信文化盘中快速回调,5分钟内跌幅超过2%,截至9点40分,报27 6元,成交5776 -
环球信息:王二妮的歌曲大全100首经典_王二妮的歌曲大全1、2017年1月12日王二妮推出单曲《吉祥中国年》和《过年的味道》。2、2017年2月11日,登上中央电视台元宵晚 -
热推荐:王者荣耀远古生物图片_王者荣耀远古生物介绍1、最近很多王者荣耀的玩家都在问,游戏里有哪些上古生物?最近王者荣耀开始了一个新的活动游戏,要求我们杀死远古生物。很多玩家玩了这么多年 -
全球通讯!韩版《簪中录》曾遭抵制,开播表现平庸,悬疑感不足,爱情线太过一开始关注韩剧《青春月谭》,是因为韩国购买了《簪中录》的改编制作版权,我想着内地因为粉丝和某位前男艺人的问题,没能播成的《簪中录》, -
每日速看!称骨算命歌诀您的位置:首页>风水命理>称骨算命歌男版来看看你的命运吧称骨算命歌男版来看看你的命运吧甜枣2018-06 -
每日头条!动物简笔画大全步骤图 图解_动物简笔画大全步骤图1、第一步;先用铅笔勾勒出小恐龙的表情。2、第二步;然后用铅笔画小恐龙和西瓜的手。西瓜在嘴巴下面。注意两边的距离和双手的 -
焦点要闻:侠盗猎车手圣安地列斯刷车工具介绍_侠盗猎车手圣安地列斯刷车器大家好,很多人对侠盗猎车手圣安地列斯刷车工具,侠盗猎车手圣安地列斯刷车器这个问题还不太了解,小慧现在来为大家解答,让我们一起来看看吧 -
世界热点!媳妇怀孕了送什么礼物,无法抗拒的礼品推荐媳妇怀孕了送什么礼物,媳妇怀孕,当然少不了要送上自己的一点新意了。送媳妇礼物要考虑很多,送好了可增进情感,大家喜欢。既然 -
今日热议:个体户交社保划算吗?个体户购买社保流程个体户购买社保流程个体户购买社保流程如下:1 单位持营业执照及组织机构代码证原件及复印件到社保机构办理社保登记,领取社会保险申请表;2 单 -
当前关注:农历四月十八,农历四月十八是什么星座你好楼主,农历4月18日的生日,阳历是6月2号,楼主你是双子座,双子座:5月22日~6月21日星座是按阳历(公历)日期划 -
全球热议:久违啦!多国旅游从业者暖心“告白”中国游客柬埔寨、菲律宾等国旅游业从业者日前接受新华社记者采访时,纷纷表达对中国游客的热烈欢迎和对旅游市场复苏的信心 -
环球实时:拉菲多少钱一瓶算高档_拉菲多少钱一瓶1、真正的拉菲酒庄(全名:拉菲·罗斯柴尔德酒庄,法文:ChâteauLafiteRothschild)是要万元以上一 -
环球今热点:自然数包括小数吗 自然数简介1、自然数不包括小数。自然数是由零开始包括正整数,一个接一个正无穷的集合,用来表示物体个数的数,所以自然数不包括小数。2、自然数简介如 -
世界焦点!1家发行人主体信用评级下调,央行公开市场净投放量4860亿元|债市纵览据国家统计局网站消息,2022年12月份,全国工业生产者出厂价格同比下降0 7%,环比下降0 5%;工业生产者购进价格同比上涨0 3%,环比下降0 4%。2 -
环球热点!开会发言讲话开场白_开场白怎么写1、一代雄才—康熙大帝,一生好学问,爱读书。2、无论是传统文化、还是西方自然科学,康熙都孜孜以求,他还经常教导皇子要认真 -
焦点速看:3D组号大师2.21、《3D组号大师》包含K线图表包含8大类100多种走势图,拥有独特的选号缩水版面,软件针对初、中级彩民的优秀入门软 -
观焦点:瑞士威戈手表什么档次中高档级别。Wenger腕表是独具特色的品脾了,在很多喜好户外活动的盆友心中中是优选的知名品牌,它主打产品的许多商品全是有品质的确保的,例 -
环球即时:本赛季五大联赛球队场均进球数榜:拜仁居首,曼城次席,巴黎第三德转盘点了本赛季五大联赛球队场均进球数排行榜,其中拜仁场均2 95球居首,曼城次席,巴黎第三。以下为具体数据:1、拜仁,56球,场均2 95球2 -
世界微资讯!芝加哥农产品期价8日上涨芝加哥期货交易所玉米、小麦和大豆期价8日全线上涨。当天,芝加哥期货交易所玉米市场交投最活跃的3月合约收于每蒲式耳6 785美元,比前一交易日 -
今日热议:情侣无核酸乘公交向司机脸上喷雾 行为恶劣让人气愤!如今,国内疫情还没有结束,波及多个省份城市,疫情之下,出行携带核酸检测阴性报告非常重要。这不,一对情侣无核酸乘公交被拦下,竟然向司机 -
当前资讯!颜宁任院长的深圳医学科学院招聘:不定编制不定级别,非传统事业单位颜宁任院长的深圳医学科学院招聘:不定编制不定级别,非传统事业单位 -
今日最新!2022疫情防控个人心得工作总结精选7篇通过总结,人们可以把零散的、肤浅的感性认识上升为系统、深刻的理性认识,从而得出科学的结论,以便改正缺点,吸取经验教训,使今后的工作少 -
世界实时:网站开发工具是什么_最常用的网站开发工具最常用的网站开发工具1 电源模型这是一个线框和模拟工具包,可用于PowerPoint。它集成了800多个用户界面元素。它 -
热推荐:Comunicacion1、《Comunicacion》是ErnestoCheGuevara演唱的歌曲,收录于专辑《Crónicasd
