成人性生交大片免费看视频r_亚洲综合极品香蕉久久网_在线视频免费观看一区_亚洲精品亚洲人成人网在线播放_国产精品毛片av_久久久久国产精品www_亚洲国产一区二区三区在线播_日韩一区二区三区四区区区_亚洲精品国产无套在线观_国产免费www

主頁 > 知識庫 > Postgresql中xlog生成和清理邏輯操作

Postgresql中xlog生成和清理邏輯操作

熱門標(biāo)簽:濟南外呼網(wǎng)絡(luò)電話線路 移動外呼系統(tǒng)模擬題 電話機器人怎么換人工座席 地圖標(biāo)注要花多少錢 天津開發(fā)區(qū)地圖標(biāo)注app 江蘇400電話辦理官方 電銷機器人能補救房產(chǎn)中介嗎 廣州電銷機器人公司招聘 400電話申請客服

0 前言

1、2部分是對XLOG生成和清理邏輯的分析,XLOG暴漲的處理直接看第3部分。

1 WAL歸檔

# 在自動的WAL檢查點之間的日志文件段的最大數(shù)量
checkpoint_segments = 
# 在自動WAL檢查點之間的最長時間
checkpoint_timeout = 
# 緩解io壓力
checkpoint_completion_target = 
# 日志文件段的保存最小數(shù)量,為了備庫保留更多段
wal_keep_segments = 
# 已完成的WAL段通過archive_command發(fā)送到歸檔存儲
archive_mode = 
# 強制timeout切換到新的wal段文件
archive_timeout = 
max_wal_size = 
min_wal_size =

1.1 不開啟歸檔時

文件數(shù)量受下面幾個參數(shù)控制,通常不超過

(2 + checkpoint_completion_target) * checkpoint_segments + 1

checkpoint_segments + wal_keep_segments + 1個文件。

如果一個舊段文件不再需要了會重命名然后繼續(xù)覆蓋使用,如果由于短期的日志輸出高峰導(dǎo)致了超過

3 * checkpoint_segments + 1個文件,直接刪除文件。

1.2 開啟歸檔時

文件數(shù)量:刪除歸檔成功的段文件

抽象來看一個運行的PG生成一個無限長的WAL日志序列。每段16M,這些段文件的名字是數(shù)值命名的,反映在WAL序列中的位置。在不用WAL歸檔的時候,系統(tǒng)通常只是創(chuàng)建幾個段文件然后循環(huán)使用,方法是把不再使用的段文件重命名為更高的段編號。

當(dāng)且僅當(dāng)歸檔命令成功時,歸檔命令返回零。 在得到一個零值結(jié)果之后,PostgreSQL將假設(shè)該WAL段文件已經(jīng)成功歸檔,稍后將刪除段文件。一個非零值告訴PostgreSQL該文件沒有被歸檔,會周期性的重試直到成功。

2 PG源碼分析

2.1 刪除邏輯

觸發(fā)刪除動作

RemoveOldXlogFiles
> CreateCheckPoint
> CreateRestartPoint

wal_keep_segments判斷(調(diào)用這個函數(shù)修改_logSegNo,然后再傳入RemoveOldXlogFiles)

static void
KeepLogSeg(XLogRecPtr recptr, XLogSegNo *logSegNo)
{
 XLogSegNo segno;
 XLogRecPtr keep;
 XLByteToSeg(recptr, segno);
 keep = XLogGetReplicationSlotMinimumLSN();
 /* compute limit for wal_keep_segments first */
 if (wal_keep_segments > 0)
 {
 /* avoid underflow, don't go below 1 */
 if (segno = wal_keep_segments)
  segno = 1;
 else
  segno = segno - wal_keep_segments;
 }
 /* then check whether slots limit removal further */
 if (max_replication_slots > 0  keep != InvalidXLogRecPtr)
 {
 XLogSegNo slotSegNo;
 XLByteToSeg(keep, slotSegNo);
 if (slotSegNo = 0)
  segno = 1;
 else if (slotSegNo  segno)
  segno = slotSegNo;
 }
 /* don't delete WAL segments newer than the calculated segment */
 if (segno  *logSegNo)
 *logSegNo = segno;
}

刪除邏輯

static void
RemoveOldXlogFiles(XLogSegNo segno, XLogRecPtr endptr)
{
  ...
  ...
 while ((xlde = ReadDir(xldir, XLOGDIR)) != NULL)
 {
 /* Ignore files that are not XLOG segments */
 if (strlen(xlde->d_name) != 24 ||
  strspn(xlde->d_name, "0123456789ABCDEF") != 24)
  continue;
 /*
  * We ignore the timeline part of the XLOG segment identifiers in
  * deciding whether a segment is still needed. This ensures that we
  * won't prematurely remove a segment from a parent timeline. We could
  * probably be a little more proactive about removing segments of
  * non-parent timelines, but that would be a whole lot more
  * complicated.
  *
  * We use the alphanumeric sorting property of the filenames to decide
  * which ones are earlier than the lastoff segment.
  */
 if (strcmp(xlde->d_name + 8, lastoff + 8) = 0)
 {
  if (XLogArchiveCheckDone(xlde->d_name))
        # 歸檔關(guān)閉返回真
        # 存在done文件返回真
        # 存在.ready返回假
        # recheck存在done文件返回真
        # 重建.ready文件返回假
  {
  /* Update the last removed location in shared memory first */
  UpdateLastRemovedPtr(xlde->d_name);
        
        # 回收 或者 直接刪除,清理.done和.ready文件
  RemoveXlogFile(xlde->d_name, endptr);
  }
 }
 }
  ...
  ...
}

2.2 歸檔邏輯

static void
pgarch_ArchiverCopyLoop(void)
{
 char xlog[MAX_XFN_CHARS + 1];
  
  # 拿到最老那個沒有被歸檔的xlog文件名
 while (pgarch_readyXlog(xlog))
 {
 int  failures = 0;
 for (;;)
 {
  /*
  * Do not initiate any more archive commands after receiving
  * SIGTERM, nor after the postmaster has died unexpectedly. The
  * first condition is to try to keep from having init SIGKILL the
  * command, and the second is to avoid conflicts with another
  * archiver spawned by a newer postmaster.
  */
  if (got_SIGTERM || !PostmasterIsAlive())
  return;
  /*
  * Check for config update. This is so that we'll adopt a new
  * setting for archive_command as soon as possible, even if there
  * is a backlog of files to be archived.
  */
  if (got_SIGHUP)
  {
  got_SIGHUP = false;
  ProcessConfigFile(PGC_SIGHUP);
  }
  # archive_command沒設(shè)的話不再執(zhí)行
      # 我們的command沒有設(shè)置,走的是這個分支
  if (!XLogArchiveCommandSet())
  {
  /*
   * Change WARNING to DEBUG1, since we will left archive_command empty to 
   * let external tools to manage archive
   */
  ereport(DEBUG1,
   (errmsg("archive_mode enabled, yet archive_command is not set")));
  return;
  }
      # 執(zhí)行歸檔命令!
  if (pgarch_archiveXlog(xlog))
  {
  # 成功了,把.ready改名為.done
  pgarch_archiveDone(xlog);
  /*
   * Tell the collector about the WAL file that we successfully
   * archived
   */
  pgstat_send_archiver(xlog, false);
  break;  /* out of inner retry loop */
  }
  else
  {
  /*
   * Tell the collector about the WAL file that we failed to
   * archive
   */
  pgstat_send_archiver(xlog, true);
  if (++failures >= NUM_ARCHIVE_RETRIES)
  {
   ereport(WARNING,
    (errmsg("archiving transaction log file \"%s\" failed too many times, will try again later",
     xlog)));
   return; /* give up archiving for now */
  }
  pg_usleep(1000000L); /* wait a bit before retrying */
  }
 }
 }
}

2.3 ready生成邏輯

static void
XLogWrite(XLogwrtRqst WriteRqst, bool flexible)
{
...
      if (finishing_seg)
  {
  issue_xlog_fsync(openLogFile, openLogSegNo);
  /* signal that we need to wakeup walsenders later */
  WalSndWakeupRequest();
  LogwrtResult.Flush = LogwrtResult.Write; /* end of page */
        # 歸檔打開  wal_level >= archive
  if (XLogArchivingActive())
          # 生成ready文件
   XLogArchiveNotifySeg(openLogSegNo);
  XLogCtl->lastSegSwitchTime = (pg_time_t) time(NULL);
...

2.4 總結(jié)

ready文件只要滿足archive_mode=on和wal_lever>=archive,就總會生成(XLogWrite函數(shù)調(diào)用生成)

因為archive_command設(shè)置空,所以ready文件的消費完全由外部程序控制

done文件的處理由PG完成,兩個地方會觸發(fā)done文件處理,檢查點和重啟點

處理多少done文件受wal_keep_segments和replication_slot控制(KeepLogSeg函數(shù))

3 WAL段累積的原因(長求總?)

注意:無論如何注意不要手動刪除xlog文件

注意:checkpoint產(chǎn)生的日志回不立即生成ready文件,是在下一個xlog后一塊生成的

3.1 ReplicationSlot

打開流了復(fù)制槽

-- 流復(fù)制插槽
-- 如果restart_lsn和當(dāng)前XLOG相差非常大的字節(jié)數(shù), 需要排查slot的訂閱者是否能正常接收XLOG, 
-- 或者訂閱者是否正常. 長時間不將slot的數(shù)據(jù)取走, pg_xlog目錄可能會撐爆
select pg_xlog_location_diff(pg_current_xlog_location(),restart_lsn), * 
from pg_replication_slots;

刪除

select pg_drop_replication_slot('xxx');

刪除后PG會在下一個checkpoint清理xlog

3.2 較大的wal_keep_segments

檢查參數(shù)配置,注意打開這個參數(shù)會使xlog和ready有一定延遲

3.3 回收出現(xiàn)問題

如果不使用PG自動回收機制,數(shù)據(jù)庫依賴外部程序修改.ready文件,需要檢測回收進程

(archive_mode=on archive_command='')

3.4 檢查點間隔過長

檢查參數(shù)配置

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • postgresql 性能參數(shù)配置方式
  • postgresql SQL語句變量的使用說明
  • postgresql 實現(xiàn)查詢出的數(shù)據(jù)為空,則設(shè)為0的操作
  • postgresql 補齊空值、自定義查詢字段并賦值操作
  • Postgresql去重函數(shù)distinct的用法說明
  • postgresql 12版本搭建及主備部署操作
  • 淺談PostgreSQL和SQLServer的一些差異

標(biāo)簽:溫州 榆林 昭通 海西 寶雞 辛集 杭州 濮陽

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Postgresql中xlog生成和清理邏輯操作》,本文關(guān)鍵詞  Postgresql,中,xlog,生成,和,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Postgresql中xlog生成和清理邏輯操作》相關(guān)的同類信息!
  • 本頁收集關(guān)于Postgresql中xlog生成和清理邏輯操作的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    欧美福利视频在线观看| h视频在线观看免费网站| 日韩欧美在线视频日韩欧美在线视频| 在线观看亚洲大片短视频| 伦理片一区二区三区| 777精品伊人久久久久大香线蕉| 日本婷婷久久久久久久久一区二区| 99久久99久久精品免费看小说.| 国产一区二区三区电影在线观看| 人成免费电影一二三区在线观看| 蜜臀久久久久久久| 精品在线视频免费观看| 欧美在线精品一区二区三区| 国产高清免费av在线| 美女写真久久影院| 国产在线精选视频| 天天操中文字幕| 国产传媒一区二区| 亚洲一区二区中文| 亚洲综合另类小说| 欧美 日韩 国产一区二区在线视频| 裸体网站视频| 日本高清久久久| 精品一区二区三区在线观看国产| 久久久久久久伊人| 97高清免费视频| 独立日3在线观看完整版| 男女无套免费视频网站动漫| 91午夜视频| 一区二区三区在线播放欧美| 97se亚洲综合在线| 久久国产精品免费一区| 麻豆一区二区麻豆免费观看| 精品影院一区二区久久久| 欧美经典影片视频网站| 91精品视频一区| 日韩欧美亚洲国产| 亚洲精品国产一区二区| 91在线公开视频| 国户精品久久久久久久久久久不卡| 欧美一区二区在线| 182午夜在线观看| 奇米精品一区二区三区在线观看| 北条麻妃在线观看| 亚洲天堂视频网站| www.中文字幕在线观看| 超碰在线观看免费版| 无码国产69精品久久久久同性| 久久亚洲不卡| 欧美国产日韩一区二区在线观看| 国产精品电影院| 久久久99精品| 懂色av蜜臀av粉嫩av分享吧| 日本免费高清一区二区| 久久久久久无码精品人妻一区二区| 7777免费精品视频| 欧美三片在线视频观看| 国产欧美在线观看| 精品国产av鲁一鲁一区| 亚洲午夜电影网| 高清中文字幕在线| 91精品久久久久久久久不口人| 国产a√精品区二区三区四区| 亚洲一区二区三区精品中文字幕| 欧美激情第8页| 两个人hd高清在线观看| 亚洲精品精品亚洲| 蜜桃av在线播放| 琪琪久久久久日韩精品| av久久网站| 欧美久久精品| 日本免费一区二区三区四区| 亚洲精品乱码日韩| 国产伦精品一区二区三区妓女| 国产极品美女高潮无套嗷嗷叫酒店| 精品少妇无遮挡毛片| 亚州av电影免费在线观看| 91大神在线观看线路一区| 制服丝袜在线一区| 国产精品美女www| 国内毛片毛片毛片毛片| a级毛片免费高清视频| 国产乱码在线观看| av一区二区三区在线观看| 日韩精品中文字幕在线| 亚洲电影在线播放| 人人妻人人澡人人爽人人欧美一区| 少妇伦子伦精品无吗| 国产精品成人一区二区不卡| 99久久久国产精品| 变态另类ts人妖一区二区| 国产黄色片在线观看| 国产美女精品| 黄瓜视频在线免费观看| 九九九九免费视频| 国产99午夜精品一区二区三区| 久久精品视频91| 欧美福利在线播放| 欧美性xxxx极品高清hd直播| 国产精品免费一区二区三区| 神马午夜精品91| 亚洲一本大道| 伊人久久大香线蕉综合热线| 在线免费黄网| 精品产品国产在线不卡| 精品176极品一区| 国产福利在线免费| 国产精品高潮视频| 欧美大片网站| 91传媒视频免费| 在线免费看av片| 国产一区二区影视| 日韩电影免费网站| 九九热在线免费观看| 亚洲激情在线观看视频免费| 老鸭窝一区二区久久精品| 一本色道69色精品综合久久| 国产伦久视频在线观看| 波多野结衣av在线免费观看| 欧美电影免费提供在线观看| 中文字幕久热精品视频免费| 亚洲成人黄色片| 日本视频一区二区| 久草在线资源站资源站| 精品视频一区二区三区在线观看| 91精品在线观看入口| 北岛玲一区二区| 欧美性猛交xxxxxxxx| 精品国产一区二区三区麻豆免费观看完整版| 在线欧美福利| 精品国产va久久久久久久| 日韩欧美精品电影| 日韩国产一区二| 精品影片一区二区入口| 午夜精产品一区二区在线观看的| 日韩夫妻性生活xx| 在线播放蜜桃麻豆| 免费高清在线观看免费| 很黄很a的视频| 韩国女主播一区二区| 亚洲一区二区视频| 亚洲一区精品视频| 免费日韩视频| 狠狠色综合日日| 黄色的视频在线观看免费| 蜜臀av午夜一区二区三区| 91欧美精品成人综合在线观看| 精品久久久久久中文字幕大豆网| 婷婷综合在线观看| 女同激情久久av久久| av色综合久久天堂av综合| 91亚洲va在线va天堂va国| 欧美国产日韩xxxxx| 中日韩在线观看视频| 热舞福利精品大尺度视频| jlzzjlzz国产精品久久| 日韩va亚洲va欧美va久久| 国产一区二区三区无遮挡| 老司机免费视频一区二区| 日本一区二区三区播放| 国内精品视频一区二区三区| 日本一区二区不卡高清更新| 亚洲网在线观看| 综合天堂久久久久久久| 免费国产在线观看| 美女羞羞视频在线观看| 酒色婷婷桃色成人免费av网| 北条麻妃一区二区三区| 成人黄色在线免费观看| 国产精品国产三级国产| av噜噜在线观看| 日韩一区二区三免费高清| 久久久国产精品麻豆| 欧美日韩第二页| 国产成人精品国内自产拍免费看| 在线观看日韩av电影| 亚洲国产aⅴ天堂久久| 欧美日韩综合在线免费观看| 午夜伦欧美伦电影理论片| 国产女优一区| 激情综合久久| 国产原创在线观看| 在线能看的黄色| 精品久久久久久久久久久久久久久久| 精品成人久久av| 欧美大交乱xxxxbbbb| 欧美性猛交视频| 欧美日韩综合一区二区| 国产精品露脸视频| av网站在线不卡| 在线精品小视频| 26uuu亚洲国产精品| 日韩一二三区在线观看| 国产美女性感在线观看懂色av| 日韩五码在线| 国产jizz18女人高潮| eeuss影院18www免费| 欧美在线观看黄| 亚洲第一久久影院| 国产在线观看91一区二区三区| 中文字幕在线有码| 成人永久免费视频| 国产精品极品美女粉嫩高清在线| 日韩精品视频在线看| 亚洲日本中文字幕免费在线不卡| 中文字幕久热| 疯狂做受xxxx欧美肥白少妇| 色视频www在线播放国产| 丰满少妇久久久久久久| 国产精品久久久久久久久晋中| 欧美午夜精品久久久久免费视| 成人h动漫免费观看网站| 国产成人久久久精品一区| 欧美日韩高清区| av中文字幕一区二区三区| 国产精品久久精品国产| 日本中文字幕在线| 91精品国产成人| 亚洲成av人片在线观看www| 青青a在线精品免费观看| 亚洲日韩视频| 综合久久久久久久| 成人免费在线视频观看| 亚洲精品乱码久久久久久不卡| 看国产成人h片视频| 一区二区三区欧洲区| 老司机久久99久久精品播放免费| 蜜桃极品自拍av| 久久草视频在线看| 美女扒开尿口让男人操| 熟妇人妻无乱码中文字幕真矢织江| 亚洲va欧美va天堂v国产综合| 91天堂在线观看| 一区二区在线中文字幕电影视频| 亚洲少妇一区二区| 性欧美性free| 国 产 黄 色 大 片| 中文字幕2019第三页| 欧美日韩国产亚洲沙发| 色偷偷888欧美精品久久久| 中文字幕乱码一区二区免费| 国产高清不卡无码视频| 伊人精品久久久久7777| 亚洲精品成人av| 日本青青草视频| 日本高清中文字幕二区在线| 神马国产精品影院av| 国产在线小视频| 日韩在线播放视频| 亚洲一区二区成人在线观看| 欧洲视频一区二区三区| 一本一道波多野毛片中文在线| 5g国产欧美日韩视频| 亚洲精品国产一区二| 一区二区三区欧美精品| 麻豆av一区| 成人动漫视频在线| 超碰免费97在线观看| 老鸭窝一区二区久久精品| 精品人妻无码一区二区三区蜜桃一| 欧美日韩一区二区在线免费观看| 美女露隐私免费网站| 国产亚洲高清一区| 久久久久亚洲无码| 中字幕一区二区三区乱码| 午夜精品福利一区二区三区av| 免费av在线网址| 天天av天天翘天天综合网色鬼国产| 污视频网站免费看| 先锋在线亚洲| 国产一二三在线| 日日摸夜夜添夜夜添精品视频| 性折磨bdsm欧美激情另类| 欧美日韩午夜剧场| fc2在线中文字幕| 蜜月aⅴ免费一区二区三区| 狠狠色丁香婷婷综合久久片| 136福利视频导航| 激情综合色综合啪啪开心| japonensisjava老师可播放| 久久一二三四区| 欧美调教网站| 2018中文字幕在线| 人人精品视频| 日本丰满大乳奶| 国产精品一区二区三| 你懂得视频网站| 风韵丰满熟妇啪啪区老熟熟女| 中文字幕 久热精品 视频在线| 久久这里只精品最新地址| 亚洲一区站长工具| 最新中文字幕亚洲| 99精品国产高清一区二区| 岛国av免费在线| 久久99精品久久久久久久青青日本| 成人免费在线电影网| 国产极品模特精品一二| 成人免费一区二区三区视频网站| 一区二区三区日本久久久| xxxxhd欧美精品| 毛毛毛毛毛毛毛片123| 三级在线观看网站| 在线观看黄色| 亚洲欧美在线第一页| 678五月天丁香亚洲综合网| 波多野结衣在线观看视频| 精品国偷自产国产一区| 色一情一乱一伦一区二区三欧美| 精品亚洲一区二区三区四区五区高| 亚洲视频在线一区二区| 僵尸世界大战2 在线播放| 777久久久精品一区二区三区| 五月天av网站| 精品国产欧美成人夜夜嗨| 国产精品视频观看| 一区二区三区四区精品在线视频| 2021av网| 香蕉视频一区| 亚洲欧洲在线一区| 男人天堂手机在线观看| 欧美一区二区三区爽大粗免费| heyzo高清中文字幕在线| 狠狠色成人综合网图片区| 国模套图日韩精品一区二区| 男男电影完整版在线观看| 白虎精品一区| 国产九色在线播放九色| 亚洲一区二区三区加勒比|