成人性生交大片免费看视频r_亚洲综合极品香蕉久久网_在线视频免费观看一区_亚洲精品亚洲人成人网在线播放_国产精品毛片av_久久久久国产精品www_亚洲国产一区二区三区在线播_日韩一区二区三区四区区区_亚洲精品国产无套在线观_国产免费www

主頁 > 知識庫 > python保存大型 .mat 數(shù)據(jù)文件報錯超出 IO 限制的操作

python保存大型 .mat 數(shù)據(jù)文件報錯超出 IO 限制的操作

熱門標(biāo)簽:陜西金融外呼系統(tǒng) 激戰(zhàn)2地圖標(biāo)注 唐山智能外呼系統(tǒng)一般多少錢 白銀外呼系統(tǒng) 海南400電話如何申請 公司電話機器人 哈爾濱ai外呼系統(tǒng)定制 廣告地圖標(biāo)注app 騰訊外呼線路

python 保存 .mat 文件的大小是有限制的,似乎是 5G 以內(nèi),如果需要保存幾十個 G 的數(shù)據(jù)的話,可以選用其他方式,

比如 h5 文件

import h5py
def h5_data_write(train_data, train_label, test_data, test_label, shuffled_flag):
    print("h5py文件正在寫入磁盤...")
    
    save_path = "../save_test/" + "train_test_split_data_label_" + shuffled_flag + ".h5"
    with h5py.File(save_path, 'w') as f:
        f.create_dataset('train_data', data=train_data)
        f.create_dataset('train_label', data=train_label)
        f.create_dataset('test_data', data=test_data)
        f.create_dataset('test_label', data=test_label)
    print("h5py文件保存成功!")
def h5_data_read(filename):
    """
        keys() : 獲取本文件夾下所有的文件及文件夾的名字
        f['key_name'] : 獲取對應(yīng)的對象
    """
    file = h5py.File(filename,'r')
    train_data = file['train_data'][:]
    train_label = file['train_label'][:]
    test_data = file['test_data'][:]
    test_label = file['test_label'][:]
    return train_data, train_label, test_data, test_label

補充:通過python 讀MATLAB數(shù)據(jù)文件 *.mat

背景

在做deeplearning過程中,使用caffe的框架,一般使用matlab來處理圖片(matlab處理圖片相對簡單,高效),用python來生成需要的lmdb文件以及做test產(chǎn)生結(jié)果。

所以某些matlab從圖片處理得到的label信息都會以.mat文件供python讀取,同時也python產(chǎn)生的結(jié)果信息也需要matlab來做進一步的處理(當(dāng)然也可以使用txt,不嫌麻煩自己處理結(jié)構(gòu)信息)。

介紹

matlab和python間的數(shù)據(jù)傳輸一般是基于matlab的文件格式.mat,python中numpy和scipy提供了一些函數(shù),可以很好的對.mat文件的數(shù)據(jù)進行讀寫和處理。

在這里numpy作用是提供Array功能映射matlab里面的Matrix,而scipy提供了兩個函數(shù)loadmat和savemat來讀寫.mat文件。

下面是一個簡單的測試程序

具體的函數(shù)用法可以看幫助文檔:

import scipy.io as sio 
import matplotlib.pyplot as plt 
import numpy as np 
 
#matlab文件名 
matfn=u'E:/python/測試程序/162250671_162251656_1244.mat' 
data=sio.loadmat(matfn) 
 
plt.close('all') 
xi=data['xi'] 
yi=data['yi'] 
ui=data['ui'] 
vi=data['vi'] 
plt.figure(1) 
plt.quiver( xi[::5,::5],yi[::5,::5],ui[::5,::5],vi[::5,::5]) 
plt.figure(2) 
plt.contourf(xi,yi,ui) 
plt.show()  
sio.savemat('saveddata.mat', {'xi': xi,'yi': yi,'ui': ui,'vi': vi}) 

示例2

import scipy.io as sio
import numpy as np
 
###下面是講解python怎么讀取.mat文件以及怎么處理得到的結(jié)果###
load_fn = 'xxx.mat'
load_data = sio.loadmat(load_fn)
load_matrix = load_data['matrix'] #假設(shè)文件中存有字符變量是matrix,例如matlab中save(load_fn, 'matrix');當(dāng)然可以保存多個save(load_fn, 'matrix_x', 'matrix_y', ...);
load_matrix_row = load_matrix[0] #取了當(dāng)時matlab中matrix的第一行,python中數(shù)組行排列
 
###下面是講解python怎么保存.mat文件供matlab程序使用###
save_fn = 'xxx.mat'
save_array = np.array([1,2,3,4])
sio.savemat(save_fn, {'array': save_array}) #和上面的一樣,存在了array變量的第一行
 
save_array_x = np.array([1,2,3,4])
save_array_y = np.array([5,6,7,8])
sio.savemat(save_fn, {'array_x': save_array_x, 'array_x': save_array_x}) #同理,

鑒于以后的目標(biāo)主要是利用現(xiàn)有的Matlab數(shù)據(jù)(.mat或者.txt),主要考慮python導(dǎo)入Matlab數(shù)據(jù)的問題。以下代碼可以解決python讀取.mat文件的問題。

主要使用sicpy.io即可。

sicpy.io提供了兩個函數(shù)loadmat和savemat,非常方便。

# adapted from http://blog.csdn.net/rumswell/article/details/8545087
import scipy.io as sio  
#import matplotlib.pyplot as plt
from pylab import *
import numpy as np   
 
matfn='E:\\Pythonrun\\myuse\\matdata.mat'   # the path of .mat data
data=sio.loadmat(matfn)  
xx=data['matdata']
figure(1)
plot(xx)
show()

以下代碼是讀入txt數(shù)據(jù)并轉(zhuǎn)換成數(shù)組,方法比較笨,更有效的方法待研究。

from numpy import * 
def file2list(filename):  

    fr = open(filename)  
    array = fr.readlines() #以文件中的每行為一個元素,形成一個list列表  
    num = len(array)  
    returnMat = zeros((num,3))#初始化元素為0的,行號數(shù)個列表,其中每個元素仍是列表,元素數(shù)是3,在此表示矩陣  
    index = 0   
 
    for line in array:  
        line = line.strip()#去掉一行后的回車符號  
        linelist = line.split(' ')#將一行根據(jù)分割符,劃分成多個元素的列表  
        returnMat[index,:] = linelist[0:3]#向矩陣賦值,注意這種賦值方式比較笨拙  
        index +=1  
    return returnMat
 
fname = 'E:\\Pythonrun\\myuse\\num_data.txt'
data= file2list(fname)

補充:Python 讀寫 Matlab Mat 格式數(shù)據(jù)

1. 非 matlab v7.3 files 讀寫

import scipy.io as sio
import numpy
# matFile 讀取
matFile = 'matlabdata.mat'
datas = sio.loadmat(matFile)
# 加載 matFile 內(nèi)的數(shù)據(jù)
# 假設(shè) mat 內(nèi)保存的變量為 matlabdata
matlabdata = datas['matlabdata']
# matFile 寫入
save_matFile = 'save_matlabdata.mat'
save_matlabdata = np.array([1,2,3,4,5])
sio.savemat(save_matFile, {'array':save_matlabdata})

2. matlab v7.3 files 讀取

如果 matlab 保存 data 時,采用的是 ‘-v7.3',scipy.io.loadmat函數(shù)加載數(shù)據(jù)會出現(xiàn)錯誤:

File "/usr/local/lib/python2.7/dist-packages/scipy/io/matlab/mio.py", line 64, in mat_reader_factory
    raise NotImplementedError('Please use HDF reader for matlab v7.3 files')
NotImplementedError: Please use HDF reader for matlab v7.3 files

可以采用:

import h5py
with h5py.File('matlabdata.mat', 'r') as f:
    f.keys() # matlabdata.mat 中的變量名
datas = h5py.File('matlabdata.mat')['matlabdata'].value

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • python利用Excel讀取和存儲測試數(shù)據(jù)完成接口自動化教程
  • python pickle存儲、讀取大數(shù)據(jù)量列表、字典數(shù)據(jù)的方法
  • Python數(shù)據(jù)分析入門之教你怎么搭建環(huán)境
  • Python入門之使用pandas分析excel數(shù)據(jù)
  • python 存儲json數(shù)據(jù)的操作
  • 詳解python數(shù)據(jù)結(jié)構(gòu)之棧stack
  • 詳解python數(shù)據(jù)結(jié)構(gòu)之隊列Queue
  • python中必會的四大高級數(shù)據(jù)類型(字符,元組,列表,字典)
  • python學(xué)習(xí)之panda數(shù)據(jù)分析核心支持庫
  • Python基礎(chǔ)之操作MySQL數(shù)據(jù)庫
  • Python數(shù)據(jù)分析入門之?dāng)?shù)據(jù)讀取與存儲

標(biāo)簽:常德 四川 益陽 惠州 黔西 鷹潭 上海 黑龍江

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《python保存大型 .mat 數(shù)據(jù)文件報錯超出 IO 限制的操作》,本文關(guān)鍵詞  python,保存,大型,.mat,數(shù)據(jù),;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《python保存大型 .mat 數(shù)據(jù)文件報錯超出 IO 限制的操作》相關(guān)的同類信息!
  • 本頁收集關(guān)于python保存大型 .mat 數(shù)據(jù)文件報錯超出 IO 限制的操作的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    久久久www成人免费毛片麻豆| 五月婷婷激情综合| 人妻va精品va欧美va| 久久精品国产**网站演员| 91video| 国产精品17p| 日本高清免费在线视频| 亚洲男人av| 中文字幕一区二区三区人妻在线视频| 久久久精品一区二区三区| 亚洲一区二区三区视频在线播放| 18禁一区二区三区| 日韩欧美有码在线| 四虎精品一区二区免费| 国产在线视频网址| 性欧美18xxxhd| 欧美男同视频网| 奇米四色中文综合久久| 国产视频二区在线观看| 人妻人人澡人人添人人爽| 天堂中文字幕一二区| 亚洲日本乱码在线观看| 久久亚洲私人国产精品va媚药| 自拍偷拍亚洲一区| 日韩久久免费电影| a在线观看视频| 亚洲自拍偷拍网址| 日韩动漫一区| 久久男人中文字幕资源站| 国产精品久久久久久影院8一贰佰| 亚洲成在人线免费观看| 国产精品综合网站| 99在线观看视频免费| 精品女同一区二区三区在线观看| 欧美激情亚洲视频| 3d欧美精品动漫xxxx无尽| 国产精品色在线网站| 在线观看亚洲电影| 中文字幕视频在线免费欧美日韩综合在线看| 国产成人av影院| 综合久久十次| 久久九九国产精品怡红院| 亚州欧美一区三区三区在线| 热久久精品免费视频| 午夜精品一区二区三区在线视| 91精品久久久久久久久久久久久| 午夜精品久久久久久不卡8050| 亚洲免费一级片| 国产精品成人av久久| 久久久人成影片一区二区三区观看| 日韩欧美精品在线观看| 一区二区三国产精华液| 欧美黄色a视频| 国产男女激情视频| 色乱码一区二区三区88| 亚洲国产成人精品电影| 欧美国产日韩xxxxx| 免费国产自久久久久三四区久久| 亚洲成人1区| 激情五月激情综合网| 国产精品免费麻豆入口| 国产精品人成电影在线观看| 品久久久久久久久久96高清| 国产精品丝袜xxxxxxx| 好男人中文字幕官网| 成人亚洲一区二区三区| 国产大学生粉嫩无套流白浆| 欧美调教femdomvk| 婷婷综合在线观看| av一区二区三区四区| 欧美精品情趣视频| 亚洲欧美日韩综合在线| 不许穿内裤随时挨c调教h苏绵| 国产乱码精品一区二区三区忘忧草| 深夜黄色小视频| 中文字幕高清在线免费播放| 黄网站免费看| 亚洲一二三专区| 国产91露脸合集magnet| 久久亚洲精品视频| 亚洲欧美久久婷婷爱综合一区天堂| 亚洲一级片av| 色视频网站在线观看| 精品免费av在线| 欧美资源在线| 国产系列电影在线播放网址| 婷婷av一区二区三区| 国产一区二区三区站长工具| 色豆豆成人网| 精品女厕厕露p撒尿| av播放在线观看| 亚洲综合视频1区| 国产777精品精品热热热一区二区| 亚洲人成网站色在线观看| 99精品国产一区二区三区不卡| 黑人一级大毛片| 国产福利片在线| 色八戒一区二区三区| 五月天丁香社区| 亚洲国产日韩欧美在线观看| 韩国av一区二区三区在线观看| 香蕉视频污视频| 欧美在线关看| 日韩电影视频免费| 激情欧美丁香| 日韩成人视屏| 日韩中文字幕组| 91精品国产777在线观看| 日韩在线视频线视频免费网站| 日韩精选在线| 久久久久久久久久久成人| 国产高清中文字幕| 日本黄色录像视频| 欧美日韩国产精品一区二区三区四区| 美女网站在线看| 国产xxx视频| 91av福利| 无码无套少妇毛多18pxxxx| 亚洲二区精品| 国产69精品久久久久777| 久久久久久欧美精品se一二三四| 国产老肥熟一区二区三区| 色悠久久久久综合先锋影音下载| 亚洲成人av中文字幕| 成人免费一区二区三区视频| yellow中文字幕久久| 中文字幕在线乱| 欧美精品www在线观看| 欧美精品色哟哟| 国产精品国产精品国产专区| 日本二区在线观看| 久久午夜免费视频| 国产精品1luya在线播放| av综合网站| 欧美精品在线视频观看| 国产美女精品写真福利视频| 91视频观看视频| 日本免费一区二区三区视频观看| 91麻豆精品国产91| 国产精品综合| 91日韩在线视频| 日韩毛片视频在线看| 欧美日韩在线中文| 亚洲狠狠婷婷综合久久久久图片| 欧美日韩精品一区二区三区| 久久撸在线视频| 黄色动漫在线观看| 欧美三级在线播放| 久久99国产成人小视频| 欧洲亚洲国产日韩| 四虎影视4hu4虎成人| 免费羞羞视频网站| 国产suv精品一区二区68| 韩国日本在线视频| 国产精品旅馆在线| 国产精品日产欧美久久久久| 国产精品揄拍500视频| 九九热视频免费| 黄色大秀av大片| 日韩精品99| av国产精品| 免费观影入口看日本视频| 无码一区二区精品| 免费av网站观看| 黄页网站在线观看免费| 99久久精品国产一区| 国产一区在线免费观看| 秋霞福利视频| 国产欧美一区二区三区四区| 污污视频网站在线免费观看| 91p在线观看| 欧美视频在线视频精品| 国产一区二区三区免费不卡| 久久久久久黄色| 久久大胆人体| 最新天堂网www| 一区二区在线观看免费视频播放| 少妇太紧太爽又黄又硬又爽| 日产精品久久久久久久蜜臀| 91九色porny视频| 亚洲精品一线二线三线无人区| 国产男女爽爽爽| 九色一区二区| 亚洲a一级视频| 成人日韩在线视频| 国产精品美女一区二区| 欧美在线观看不卡| 日韩欧美黄色| 91精品国产高清自在线看超| 88xx成人精品| 日日噜噜夜夜狠狠久久丁香五月| 懂色av蜜桃av| 欧美色图17p| 国产美女www爽爽爽| 日韩黄色一级大片| 日韩激情在线视频| 久久99亚洲网美利坚合众国| 在线日韩中文| 久久99精品久久久久久青青91| 亚洲精品第一国产综合野草社区| 欧美先锋资源| 亚洲影视一区二区三区| 欧美一区二区三区思思人| 92国产精品久久久久首页| 欧美wwwsss9999| 亚洲一区美女视频在线观看免费| 激情综合丝袜美女一区二区| 欧美第一页在线| 国产日韩换脸av一区在线观看| 色婷婷热久久| 亚洲成人77777| 红杏aⅴ成人免费视频| 欧美视频你懂的| 欧美日韩国产欧| 国产香蕉97碰碰久久人人| 国产麻豆一区二区三区| 美女福利视频在线观看| 先锋影音av男人站| 国内精品久久久久久不卡影院| 久草在线成人| 国产精品国产精品国产专区不蜜| 亚洲福利视频网站| 日韩高清三级| 丁香花在线影院| 欧亚精品中文字幕| 中文字幕日本一区二区| 精品av导航| 欧美人善zozσ性伦交| 在线观看视频日韩| 国产av一区二区三区| 免费在线观看一区二区三区| 在线中文一区| 99re6热只有精品免费观看| 神马久久av| 亚洲第一天堂网| 三级黄色录像视频| 噜噜噜久久亚洲精品国产品麻豆| 最新黄色网址在线观看| 国产成人久久精品麻豆二区| 国内精品久久久久国产盗摄免费观看完整版| 性欧美精品孕妇| 国产精品国产精品国产| 欧美日韩另类图片| 国内视频一区二区| 欧美成人精品一区二区三区在线看| 成年网站在线观看视频| 国产精品99久| 日本午夜精品视频| 欧美女v视频| 色88888久久久久久影院野外| 国内不卡的二区三区中文字幕| 亚洲黄色av网站| 日本不卡在线观看视频| 我的公把我弄高潮了视频| 男男电影完整版在线观看| 欧美日韩精品免费看| 香港欧美日韩三级黄色一级电影网站| 欧美日韩尤物久久| 国产传媒一区二区三区| 日韩毛片无码永久免费看| 麻豆影视在线| www午夜视频| 精品欧美一区二区三区免费观看| 成人国产在线激情| 一级毛片免费高清中文字幕久久网| 国产精品18久久久久久vr| 91久久麻豆| 手机在线免费看毛片| 久久综合五月婷婷| 6080yy精品一区二区三区| av资源在线观看免费高清| 91人成网站www| 99精品一区二区三区无码吞精| 怡红院怡春院首页| 中文字幕久久久| 日韩欧美中文字幕在线视频| 91精品国产一区二区在线观看| 亚洲色欲色欲www| 中文不卡1区2区3区| 欧美一区电影| 久久久久人妻一区精品色| 一本高清dvd不卡在线观看| 国产一级又黄| 国产女优一区| 蜜臀av中文字幕| 国产精品一区一区三区| 91久久精品国产91性色69| 国产午夜亚洲精品理论片色戒| 国产精品视频一区二区三区四区五区| 日韩av毛片在线观看| 欧美黑人一级爽快片淫片高清| 久久国产精品电影| 亚洲欧美成人一区二区在线电影| 日本人妻伦在线中文字幕| 国产欧美日韩精品一区| 999国产精品999久久久久久| 蜜桃成人免费视频| 91成人天堂久久成人| 蜜臀av一区二区三区| 99国产精品久久| www..69.hd| 国产精品你懂的在线观看| 欧美床上激情在线观看| 久草成人在线| 怡红院成永久免费人全部视频| 青青草观看免费视频在线| 稀缺呦国内精品呦| 国产日产一区| 亚欧洲精品在线视频| 亚洲国产精品久久久久婷婷老年| 国产亚洲精品一区二555| 精品国产综合| 欧美日韩免费高清一区色橹橹| 777午夜精品免费视频| 久久精品2019中文字幕| 懂色av噜噜一区二区三区av| 国产婷婷在线视频| 又大又长粗又爽又黄少妇视频| 欧美激情极品| 欧美lavv| 欧美一区午夜精品| 亚洲免费av网址| 欧美成人影院在线播放| 欧美人与物videos另类| 一本在线免费视频| 成人性生交大片免费观看网站| 国产精品久久久久久9999| 蜜桃视频在线观看视频|