\
编码员们大家好!
本文介绍了一个开源工具,它能够处理本地和远程 csv 文件、加载和打印信息,然后将列映射到 django 类型。当数据集变大、excel不支持自定义报告或通过数据表进行完整数据操作时,通常需要处理csv文件,并且需要api。
当前的功能列表可以进一步扩展,以将 csv 文件映射到数据库表/模型并完全生成仪表板 web 应用程序。
源代码:appseed 服务的 csv 处理器部分(开源)
在开始讲解代码和用法之前,我们先总结一下工具的特点:
加载本地和远程文件
打印值
打印检测到的列类型
将映射类型打印到 django 模型
按照 readme 中的说明克隆项目源并使其可用后,可以通过 cli 执行 csv 解析器。安装完成后,我们可以使用以下一行代码调用 cvs 处理器:
$ python manage.py tool_inspect_source -f media/tool_inspect/csv_inspect.json
该工具执行以下任务:
验证输入
找到 csv 文件(如果找不到则错误退出)
加载信息并检测列类型
检测 django 列类型
打印前 10 行
同样可以应用于本地和远程文件。例如,我们可以通过运行这个单行代码来分析臭名昭著的 titanic.cvs:
$ python manage.py tool_inspect_source -f media/tool_inspect/csv_inspect_distant.json # output > processing .media ool_inspectcsv_inspect_distant.json |-- file: https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv |-- type: csv field csv type django types ----------- ---------- ------------------------------------------ passengerid int64 models.integerfield(blank=true, null=true) survived int64 models.integerfield(blank=true, null=true) pclass int64 models.integerfield(blank=true, null=true) name object models.textfield(blank=true, null=true) sex object models.textfield(blank=true, null=true) age float64 models.floatfield(blank=true, null=true) sibsp int64 models.integerfield(blank=true, null=true) parch int64 models.integerfield(blank=true, null=true) ticket object models.textfield(blank=true, null=true) fare float64 models.floatfield(blank=true, null=true) cabin object models.textfield(blank=true, null=true) embarked object models.textfield(blank=true, null=true) [1] - passengerid,survived,pclass,name,sex,age,sibsp,parch,ticket,fare,cabin,embarked [2] - 1,0,3,"braund, mr. owen harris",male,22,1,0,a/5 21171,7.25,,s [3] - 2,1,1,"cumings, mrs. john bradley (florence briggs thayer)",female,38,1,0,pc 17599,71.2833,c85,c [4] - 3,1,3,"heikkinen, miss. laina",female,26,0,0,ston/o2. 3101282,7.925,,s [5] - 4,1,1,"futrelle, mrs. jacques heath (lily may peel)",female,35,1,0,113803,53.1,c123,s [6] - 5,0,3,"allen, mr. william henry",male,35,0,0,373450,8.05,,s [7] - 6,0,3,"moran, mr. james",male,,0,0,330877,8.4583,,q [8] - 7,0,1,"mccarthy, mr. timothy j",male,54,0,0,17463,51.8625,e46,s [9] - 8,0,3,"palsson, master. gosta leonard",male,2,3,1,349909,21.075,,s [10] - 9,1,3,"johnson, mrs. oscar w (elisabeth vilhelmina berg)",female,27,0,2,347742,11.1333,,s ... (truncated output)
以下是该工具的相关部分:
立即学习“Python免费学习笔记(深入)”;
加载信息并事先检查源是本地还是远程
print( '> processing ' + arg_json ) print( ' |-- file: ' + json_data['source'] ) print( ' |-- type: ' + json_data['type' ] ) print( ' ') tmp_file_path = none if 'http' in json_data['source']: url = json_data['source'] r = requests.get(url) tmp_file = h_random_ascii( 8 ) + '.csv' tmp_file_path = os.path.join( dir_tmp, tmp_file ) if not file_write(tmp_file_path, r.text ): return json_data['source'] = tmp_file_path else: if not file_exists( json_data['source'] ): print( ' > err loading source: ' + json_data['source'] ) return csv_types = parse_csv( json_data['source'] )
分析标头并将检测到的类型映射到 django 类型。
对于表格视图,使用 tabulate library:
csv_types = parse_csv( json_data['source'] ) #pprint.pp ( csv_types ) table_headers = ['field', 'csv type', 'django types'] table_rows = [] for t in csv_types: t_type = csv_types[t]['type'] t_type_django = django_fields[ t_type ] table_rows.append( [t, t_type, t_type_django] ) print(tabulate(table_rows, table_headers))
最后一步是打印csv数据:
csv_data = load_csv_data( json_data['source'] ) idx = 0 for l in csv_data: idx += 1 print( '['+str(idx)+'] - ' + str(l) ) # truncate output .. if idx == 10: print( ' ... (truncated output) ' ) break
此时,代码为我们提供了获取 csv 信息、数据类型以及 django 对应的数据类型的权限。该映射可以轻松扩展为任何框架,如 flask、express 或 nextjs。
django 的类型映射是这样的:
# Pandas Type django_fields = { 'int' : 'models.IntegerField(blank=True, null=True)', 'integer' : 'models.IntegerField(blank=True, null=True)', 'string' : "models.TextField(blank=True, null=True)", 'string_unique' : "models.TextField(blank=True, null=False, unique=True)", 'object' : "models.TextField(blank=True, null=True)", 'object_unique' : "models.TextField(blank=True, null=False, unique=True)", 'int64' : 'models.IntegerField(blank=True, null=True)', 'float64' : 'models.FloatField(blank=True, null=True)', 'bool' : 'models.BooleanField(null=True)', }
此工具正在积极开发中,以下是后续步骤:
将该工具连接到更多数据源,例如远程/本地数据库(sqlite、mysql、pgsql)、json
为任何框架生成模型:fastapi、flask、express、nextjs
在顶部生成安全的 api
使用 tailwind/bootstrap 生成服务器端分页数据表进行样式化
感谢您的阅读!
对于那些有兴趣做出贡献的人,请随时加入新的 appseed 平台并在 discord 上与社区联系:
appseed - 面向开发者的开源平台
appseed 社区 - 3k+ discord 成员
以上就是CSV - 在 Python 中处理本地和远程文件的详细内容,更多请关注本网内其它相关文章!