Linux設(shè)置虛擬內(nèi)存的教學(xué)與實戰(zhàn)教程
什么是虛擬內(nèi)存?
先直接摘抄一段 wikipedia 上的介紹。
虛擬內(nèi)存是計算機(jī)系統(tǒng)內(nèi)存管理的一種技術(shù)。它使得應(yīng)用程序認(rèn)為它擁有連續(xù)的可用的內(nèi)存(一個連續(xù)完整的地址空間),而實際上,它通常是被分隔成多個物理內(nèi)存碎片,還有部分暫時存儲在外部磁盤存儲器上,在需要時進(jìn)行數(shù)據(jù)交換。
對于 C 語言里面的變量,我們可以使用 & 運(yùn)算符來獲得其地址, 既然是虛擬地址,就是指這個地址是虛擬的。
虛擬地址機(jī)制不是必須的,在簡單的單片機(jī)中,編寫的代碼編譯時都需要指定物理 RAM 空間分布,不會有虛擬地址的概念,地址就是指在 RAM 中的物理地址。
- 虛擬內(nèi)存(之所以稱為虛擬內(nèi)存,是和系統(tǒng)中的邏輯內(nèi)存和物理內(nèi)存相對而言的,邏輯內(nèi)存是站在進(jìn)程角度看到的內(nèi)存,因此是程序員關(guān)心的內(nèi)容。而物理內(nèi)存是站在處理器角度看到的內(nèi)存,由操作系統(tǒng)負(fù)責(zé)管理。虛擬內(nèi)存可以說是映射到這兩種不同視角內(nèi)存的一個技術(shù)手段。)技術(shù)就是一種由操作系統(tǒng)接管的按需動態(tài)內(nèi)存分配的方法,它允許程序不知不覺中使用大于實際物理空間大小的存儲空間(其實是將程序需要的存儲空間以頁的形式分散存儲在物理內(nèi)存和磁盤上),所以說虛擬內(nèi)存徹底解放了程序員,從此程序員不用過分關(guān)心程序的大小和載入,可以自由編寫程序了,繁瑣的事情都交給操作系統(tǒng)去做吧。
- SWAP(意思是“交換”、“實物交易”)分區(qū)是Linux的交換分區(qū)。它的功能就是在內(nèi)存不夠的情況下,操作系統(tǒng)先把內(nèi)存中暫時不用的數(shù)據(jù),存到硬盤的交換空間,騰出內(nèi)存來讓別的程序運(yùn)行,當(dāng)請求的數(shù)據(jù)不在內(nèi)存中時,系統(tǒng)產(chǎn)生卻頁中斷,內(nèi)存管理器便將對應(yīng)的內(nèi)存頁重新從硬盤調(diào)入物理內(nèi)存。(需要嚴(yán)重注意的是它和內(nèi)存映射文件的區(qū)別,linux虛擬內(nèi)存或者說交換分區(qū)是在磁盤中有一個指定的區(qū)域即swap。)交換分區(qū)實際存在于磁盤中,不過Linux系統(tǒng)可以將它當(dāng)作內(nèi)存使用,當(dāng)物理真實內(nèi)存不足的時候交換分區(qū)就可以和真實內(nèi)存進(jìn)行數(shù)據(jù)交換。簡單地說就是從磁盤里拿出一塊空間當(dāng)作內(nèi)存的儲備區(qū)。雖說磁盤被拿來當(dāng)作內(nèi)存使用,但是速度還是磁盤的速度。
介紹
在我們自己的購買的服務(wù)器環(huán)境中,一般是買的1g的內(nèi)存,但是當(dāng)服務(wù)器里面的東西裝的比較多的時候就會導(dǎo)致內(nèi)存不夠用了,本文將模擬一個真實的內(nèi)存不夠用的情況下,如何通過修改虛擬內(nèi)存來讓系統(tǒng)正常運(yùn)行,我們這里的環(huán)境是搭建一個ElasticSearch搜索的環(huán)境,但是我們的服務(wù)器內(nèi)存只有1g,下面將演示如何在將1g的虛擬內(nèi)存修改為4G。
搭建ElasticSearch環(huán)境
現(xiàn)在我們的服務(wù)器環(huán)境是空的,什么都沒有,我們這里先將ElasticSearch上傳到服務(wù)器,然后將jdk和ElasticSearch安裝好。
安裝jdk
安裝教程后面更新(該文章主要介紹設(shè)置虛擬內(nèi)存,安裝這些東西主要是模擬一個內(nèi)存不夠的狀態(tài))
安裝ElasticSearch
安裝鏈接后面更新(該文章主要介紹設(shè)置虛擬內(nèi)存,安裝這些東西主要是模擬一個內(nèi)存不夠的狀態(tài))
啟動ElasticSearch
啟動ElasticSearch,會發(fā)現(xiàn)啟動的時候報錯了,原因是我們的服務(wù)器現(xiàn)在的內(nèi)存并不能滿足ElasticSearch需要的內(nèi)存。
[esyonghu@localhost elasticsearch-6.4.0]$ ./bin/elasticsearch [1] 3228 [esyonghu@localhost elasticsearch-6.4.0]$ Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x000000008a660000, 1973026816, 0) failed; error='Cannot allocate memory' (errno=12) # # There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (mmap) failed to map 1973026816 bytes for committing reserved memory. # An error report file with more information is saved as: # logs/hs_err_pid3228.log [esyonghu@localhost elasticsearch-6.4.0]$
查看我們的服務(wù)器的內(nèi)存,使用命令 free,可以看到我們服務(wù)器的內(nèi)存是1g, 這個時候就需要我們修改虛擬內(nèi)存來解決該問題了。
[esyonghu@localhost elasticsearch-6.4.0]$ free -m total used free shared buffers cached Mem: 980 582 397 2 23 245 -/+ buffers/cache: 313 667 Swap: 0 0 0 [esyonghu@localhost elasticsearch-6.4.0]$
創(chuàng)建swap文件
進(jìn)入/usr目錄
[root@localhost usr]$ pwd /usr [root@localhost usr]$
創(chuàng)建swap文件夾,并進(jìn)入該文件夾
[root@localhost usr]# mkdir swap [root@localhost usr]# cd swap/ [root@localhost swap]# pwd /usr/swap [root@localhost swap]#
創(chuàng)建swapfile文件,使用命令dd if=/dev/zero of=/usr/swap/swapfile bs=1M count=4096
[root@localhost swap]# dd if=/dev/zero of=/usr/swap/swapfile bs=1M count=4096 記錄了4096+0 的讀入 記錄了4096+0 的寫出 4294967296字節(jié)(4.3 GB)已復(fù)制,15.7479 秒,273 MB/秒 [root@localhost swap]#
查看swap文件
使用命令du -sh /usr/swap/swapfile,可以看到我們創(chuàng)建的這個swap文件為4g
[root@localhost swap]# du -sh /usr/swap/swapfile 4.1G /usr/swap/swapfile [root@localhost swap]#
將目標(biāo)設(shè)置為swap分區(qū)文件
1、使用命令mkswap /usr/swap/swapfile將swapfile文件設(shè)置為swap分區(qū)文件
[root@localhost swap]# mkswap /usr/swap/swapfile mkswap: /usr/swap/swapfile: warning: don't erase bootbits sectors on whole disk. Use -f to force. Setting up swapspace version 1, size = 4194300 KiB no label, UUID=5bd241ff-5375-449d-9975-5fdd429df784 [root@localhost swap]#
激活swap區(qū),并立即啟用交換區(qū)文件
使用命令swapon /usr/swap/swapfile
[root@localhost swap]# swapon /usr/swap/swapfile [root@localhost swap]#
使用命令free -m 來查看現(xiàn)在的內(nèi)存,可以看到里面的Swap分區(qū)變成了4095M,也就是4G內(nèi)存。
[root@localhost swap]# free -m total used free shared buffers cached Mem: 980 910 70 3 8 575 -/+ buffers/cache: 326 654 Swap: 4095 0 4095 [root@localhost swap]#
設(shè)置開機(jī)自動啟用虛擬內(nèi)存,在etc/fstab文件中加入如下命令
1、使用vim編輯器打開/etc/fstab文件
2、在文件中加入如下內(nèi)容
/usr/swap/swapfile2 swap swap defaults 0 0
使用reboot命令重啟服務(wù)器
1、輸入reboot 命令來重啟
[root@localhost swap]# reboot Broadcast message from liaocheng@localhost.localdomain (/dev/pts/1) at 3:56 ... The system is going down for reboot NOW! [root@localhost swap]# Connection to 192.168.136.142 closed by remote host. Connection to 192.168.136.142 closed. [進(jìn)程已完成]
2、重啟完成過后使用free -m 命令來查看現(xiàn)在的內(nèi)存是否掛在上了。
[root@localhost swap]# free -m
total used free shared buffers cached
Mem: 980 910 70 3 8 575
-/+ buffers/cache: 326 654
Swap: 4095 0 4095
再次啟動ElasticSearch看看是否還會報內(nèi)存不足的錯誤
1、還是切換到esyonghu去啟動(這里為什么要使用es用戶啟動就先不介紹了,這是elasticsearch里面的知識,這里只是用elasticsearch來模擬內(nèi)存不足的情況),可以看到已經(jīng)不會有內(nèi)存不足的問題了。
[esyonghu@localhost elasticsearch-6.4.0]$ ./bin/elasticsearch &
[1] 2898
[esyonghu@localhost elasticsearch-6.4.0]$ [2019-03-06T04:00:24,841][INFO ][o.e.n.Node ] [] initializing ...
[2019-03-06T04:00:24,928][INFO ][o.e.e.NodeEnvironment ] [dMy5nR5] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [7.6gb], net total_space [17.3gb], types [rootfs]
[2019-03-06T04:00:24,928][INFO ][o.e.e.NodeEnvironment ] [dMy5nR5] heap size [1.9gb], compressed ordinary object pointers [true]
[2019-03-06T04:00:25,018][INFO ][o.e.n.Node ] [dMy5nR5] node name derived from node ID [dMy5nR5fThaBb-Q2T0txdA]; set [node.name] to override
[2019-03-06T04:00:25,018][INFO ][o.e.n.Node ] [dMy5nR5] version[6.4.0], pid[2898], build[default/tar/595516e/2018-08-17T23:18:47.308994Z], OS[Linux/2.6.32-696.el6.x86_64/amd64], JVM[Oracle Corporation/Java HotSpot(TM) 64-Bit Server VM/1.8.0_181/25.181-b13]
[2019-03-06T04:00:25,018][INFO ][o.e.n.Node ] [dMy5nR5] JVM arguments [-Xms2g, -Xmx2g, -XX:+UseConcMarkSweepGC, -XX:CMSInitiatingOccupancyFraction=75, -XX:+UseCMSInitiatingOccupancyOnly, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djna.nosys=true, -XX:-OmitStackTraceInFastThrow, -Dio.netty.noUnsafe=true, -Dio.netty.noKeySetOptimization=true, -Dio.netty.recycler.maxCapacityPerThread=0, -Dlog4j.shutdownHookEnabled=false, -Dlog4j2.disable.jmx=true, -Djava.io.tmpdir=/tmp/elasticsearch.24Q3S9AE, -XX:+HeapDumpOnOutOfMemoryError, -XX:HeapDumpPath=data, -XX:ErrorFile=logs/hs_err_pid%p.log, -XX:+PrintGCDetails, -XX:+PrintGCDateStamps, -XX:+PrintTenuringDistribution, -XX:+PrintGCApplicationStoppedTime, -Xloggc:logs/gc.log, -XX:+UseGCLogFileRotation, -XX:NumberOfGCLogFiles=32, -XX:GCLogFileSize=64m, -Des.path.home=/home/esyonghu/elasticsearch-6.4.0, -Des.path.conf=/home/esyonghu/elasticsearch-6.4.0/config, -Des.distribution.flavor=default, -Des.distribution.type=tar]
[2019-03-06T04:00:28,022][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [aggs-matrix-stats]
[2019-03-06T04:00:28,023][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [analysis-common]
[2019-03-06T04:00:28,023][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [ingest-common]
[2019-03-06T04:00:28,023][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [lang-expression]
[2019-03-06T04:00:28,023][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [lang-mustache]
[2019-03-06T04:00:28,023][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [lang-painless]
[2019-03-06T04:00:28,023][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [mapper-extras]
[2019-03-06T04:00:28,023][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [parent-join]
[2019-03-06T04:00:28,023][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [percolator]
[2019-03-06T04:00:28,023][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [rank-eval]
[2019-03-06T04:00:28,023][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [reindex]
[2019-03-06T04:00:28,023][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [repository-url]
[2019-03-06T04:00:28,023][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [transport-netty4]
[2019-03-06T04:00:28,023][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [tribe]
[2019-03-06T04:00:28,024][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [x-pack-core]
[2019-03-06T04:00:28,024][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [x-pack-deprecation]
[2019-03-06T04:00:28,024][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [x-pack-graph]
[2019-03-06T04:00:28,024][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [x-pack-logstash]
[2019-03-06T04:00:28,024][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [x-pack-ml]
[2019-03-06T04:00:28,024][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [x-pack-monitoring]
[2019-03-06T04:00:28,024][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [x-pack-rollup]
[2019-03-06T04:00:28,024][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [x-pack-security]
[2019-03-06T04:00:28,024][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [x-pack-sql]
[2019-03-06T04:00:28,024][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [x-pack-upgrade]
[2019-03-06T04:00:28,024][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded module [x-pack-watcher]
[2019-03-06T04:00:28,025][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded plugin [analysis-ik]
[2019-03-06T04:00:28,025][INFO ][o.e.p.PluginsService ] [dMy5nR5] loaded plugin [analysis-pinyin]
[2019-03-06T04:00:31,315][INFO ][o.e.x.s.a.s.FileRolesStore] [dMy5nR5] parsed [0] roles from file [/home/esyonghu/elasticsearch-6.4.0/config/roles.yml]
[2019-03-06T04:00:32,017][INFO ][o.e.x.m.j.p.l.CppLogMessageHandler] [controller/2947] [Main.cc@109] controller (64 bit): Version 6.4.0 (Build cf8246175efff5) Copyright (c) 2018 Elasticsearch BV
[2019-03-06T04:00:32,495][DEBUG][o.e.a.ActionModule ] Using REST wrapper from plugin org.elasticsearch.xpack.security.Security
[2019-03-06T04:00:32,768][INFO ][o.e.d.DiscoveryModule ] [dMy5nR5] using discovery type [zen]
[2019-03-06T04:00:33,628][INFO ][o.e.n.Node ] [dMy5nR5] initialized
[2019-03-06T04:00:33,628][INFO ][o.e.n.Node ] [dMy5nR5] starting ...
[2019-03-06T04:00:33,860][INFO ][o.e.t.TransportService ] [dMy5nR5] publish_address {192.168.136.142:9300}, bound_addresses {[::]:9300}
[2019-03-06T04:00:33,884][INFO ][o.e.b.BootstrapChecks ] [dMy5nR5] bound or publishing to a non-loopback address, enforcing bootstrap checks
[2019-03-06T04:00:36,995][INFO ][o.e.c.s.MasterService ] [dMy5nR5] zen-disco-elected-as-master ([0] nodes joined)[, ], reason: new_master {dMy5nR5}{dMy5nR5fThaBb-Q2T0txdA}{ldgTZ1XZSfOpda9uP4treA}{192.168.136.142}{192.168.136.142:9300}{ml.machine_memory=1028210688, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}
[2019-03-06T04:00:37,003][INFO ][o.e.c.s.ClusterApplierService] [dMy5nR5] new_master {dMy5nR5}{dMy5nR5fThaBb-Q2T0txdA}{ldgTZ1XZSfOpda9uP4treA}{192.168.136.142}{192.168.136.142:9300}{ml.machine_memory=1028210688, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}, reason: apply cluster state (from master [master {dMy5nR5}{dMy5nR5fThaBb-Q2T0txdA}{ldgTZ1XZSfOpda9uP4treA}{192.168.136.142}{192.168.136.142:9300}{ml.machine_memory=1028210688, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true} committed version [1] source [zen-disco-elected-as-master ([0] nodes joined)[, ]]])
[2019-03-06T04:00:37,058][INFO ][o.e.x.s.t.n.SecurityNetty4HttpServerTransport] [dMy5nR5] publish_address {192.168.136.142:9200}, bound_addresses {[::]:9200}
[2019-03-06T04:00:37,058][INFO ][o.e.n.Node ] [dMy5nR5] started
[2019-03-06T04:00:37,177][INFO ][o.w.a.d.Monitor ] try load config from /home/esyonghu/elasticsearch-6.4.0/config/analysis-ik/IKAnalyzer.cfg.xml
[2019-03-06T04:00:37,179][INFO ][o.w.a.d.Monitor ] try load config from /home/esyonghu/elasticsearch-6.4.0/plugins/ik/config/IKAnalyzer.cfg.xml
[2019-03-06T04:00:37,888][INFO ][o.e.m.j.JvmGcMonitorService] [dMy5nR5] [gc][4] overhead, spent [486ms] collecting in the last [1.2s]
[2019-03-06T04:00:38,435][WARN ][o.e.x.s.a.s.m.NativeRoleMappingStore] [dMy5nR5] Failed to clear cache for realms [[]]
[2019-03-06T04:00:38,469][INFO ][o.e.l.LicenseService ] [dMy5nR5] license [c91cae39-79d7-4a0e-b40b-b1918a45f80c] mode [trial] - valid
[2019-03-06T04:00:38,477][INFO ][o.e.g.GatewayService ] [dMy5nR5] recovered [5] indices into cluster_state
[2019-03-06T04:00:38,902][WARN ][o.e.x.s.a.s.m.NativeRoleMappingStore] [dMy5nR5] Failed to clear cache for realms [[]]
[2019-03-06T04:00:39,106][INFO ][o.e.c.r.a.AllocationService] [dMy5nR5] Cluster health status changed from [RED] to [YELLOW] (reason: [shards started [[mynote2][2]] ...]).
2、現(xiàn)在使用free -m來查看內(nèi)存使用情況, 可以看到swap已經(jīng)被使用了1.7G
[esyonghu@localhost elasticsearch-6.4.0]$ free -m
total used free shared buffers cached
Mem: 980 916 64 0 3 33
-/+ buffers/cache: 880 100
Swap: 4095 1735 2360
[esyonghu@localhost elasticsearch-6.4.0]$
總結(jié)
以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,如果有疑問大家可以留言交流,謝謝大家對腳本之家的支持。
相關(guān)文章
函數(shù)sync、fsync與fdatasync的總結(jié)整理(必看篇)
下面小編就為大家?guī)硪黄瘮?shù)sync、fsync與fdatasync的總結(jié)整理(必看篇)。小編覺得挺不錯的?,F(xiàn)在就分享給大家。也給大家做個參考。一起跟隨小編過來看看吧2016-12-12
搭建自己的個人服務(wù)器(個人電腦公網(wǎng)訪問配置篇)
搭建自己的個人服務(wù)器,主要涉及服務(wù)器上的防火墻和端口權(quán)限、路由器端口轉(zhuǎn)發(fā)、端口映射等,需要的朋友可以參考下2023-08-08
Ubuntu18.04 一鍵升級Python所有第三方包 及安裝python包的方法
pip 是 Python 包管理工具,該工具提供了對Python 包的查找、下載、安裝、卸載的功能。這篇文章給大家介紹Ubuntu18.04 一鍵升級Python所有第三方包 ,感興趣的朋友一起看看吧2019-10-10
Centos8最小化部署安裝OpenStack Ussuri的詳細(xì)教程
這篇文章主要介紹了Centos8最小化部署安裝OpenStack Ussuri的詳細(xì)教程,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-08-08
淺談實時計算框架Flink集群搭建與運(yùn)行機(jī)制
Flink是一個框架和分布式處理引擎,用于對無界和有界數(shù)據(jù)流進(jìn)行有狀態(tài)計算。Flink被設(shè)計在所有常見的集群環(huán)境中運(yùn)行,以內(nèi)存執(zhí)行速度和任意規(guī)模來執(zhí)行計算2021-06-06
centos6.5 安裝hadoop1.2.1的教程詳解【親測版】
這篇文章主要介紹了centos6.5 安裝hadoop1.2.1的教程詳細(xì),該教程小編親測過,非常不錯,值得推薦給大家,需要的朋友可以參考下2018-08-08
Ubuntu18.04安裝Pycharm教程的實現(xiàn)
這篇文章主要介紹了Ubuntu18.04安裝Pycharm教程的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
vmware10.0破解版安裝centos的詳細(xì)步驟
這篇文章主要為大家詳細(xì)介紹了vmware10.0破解版安裝centos的詳細(xì)步驟,具有一定的參考價值,感興趣的小伙伴們可以參考一下2017-10-10

