UCOCloud云服务架构初步设计

UCOCloud云服务架构初步设计

在前一段时间考虑云服务的时候,大致整理了一个系统架构。只是业余工作,和公司工作无关。 借用了一下云服务的概念,目前通过服务端的程序为用户提供对应的数据服务。而整个架构是在满足工程计算方面的实际需求,而不进行过度设计。 1. 整体特点 UcoCloud架构如下图所示,主要包括web前端、Master主控服务以及一系列的Worker工作机。 UcoCloud以Master服务为核心,负责任务队列、调度以及Worker的管理,不涉及具体业务。这里的Master服务不同与Gate服务,如果后来业务需要可以增加Gate服务,从而支持多个Master。 Worker承担具体业务,可以不同类型,可以随时增加更多worker来增强计算能力。 Web前端只是一个Master服务交互的界面,与用户进行交互。 必要时可以增加专门的File Server。 (more…)
阅读 2,602 views 次
使用VS2008进行远程调试

使用VS2008进行远程调试

无聊的技术笔记: 环境:VS2008 sp1 调试机(A):win7 32bit         被调试机(B): xp 32bit 即在B机上运行程序,A机上进行调试。 ------------------------------------ 最简单的步骤如下: B机上 (1) B机上的建立一个与A机当前账户相同的用户名,密码相同,管理员权限。 (2) 在B机安装rdbgsetup.exe,位于VS2008安装光盘上,选择对应的OS类型。 (3) 在B机上打开组策略(gpedit.msc),修改“网络访问:本地账户的共享与安全模式”,选择“经典-本地账户以自己身份验证” (4) B机上打开Remote Debuging Monitor A机上 选择Debug-Attach to Process Qualifier: 通过浏览找到对应B机。 注意 需要注意防火墙要对相关端口放行。 其他的就和本机调试一致。
阅读 3,120 views 次
2011年专业技术回顾-Q3

2011年专业技术回顾-Q3

上接: 2011年专业技术回顾-Q2 2011年专业技术回顾-Q3   7. 2011年7月 到了7月份,各种的外部环境开始微妙起来。有限元部分进展尚可,但是整体进度已经是严重地落后于估计。 在五一假期的时候,提到了几个问题。这些问题的恶劣后果还在继续,而且越来越严重。从产品来说,还完全看不到目标。不收敛的迭代,让人心里最最不安。 很多时候抱怨一些技术上的当断不断,但是工作毕竟都要人来做,水平有高有低。公司里缺少整体软件技术上的架构师。各自为政的条件下,还要求产品稳定可靠的话,只能要求大家都是天才。但是很不幸,没有天才。关键岗位的庸才用严重的影响战斗力。时间很值钱很值钱,对于创业型的公司来说,不能尽快拿出可用的产品就是死。以前的种种习惯虽然尽量避免,但是骨子里的东西哪有那么容易改变。 吊车分析还在缓慢缓慢地前进,其他一些也在推进。 既然脑袋是一团浆糊,既然必须有人去做,那就继续浆糊着做吧。 7月底,软件通过了住建部的鉴定。外部的不确定因素都已经扫清,成败与否已经完全取决于自己,取决于产品。但是目前的状况,我坚定地认为,10月1号不可能,2012年的元旦也不可能。 8. 2011年8月 预计8月8号的首场发布会因为各种原因取消。 各种工作还在继续,位移的管理增加了稀疏存储式的映射存储,效果很好。ICF的性能持续进化,很好。 stl中的map在大量应用时是内存的杀手之一。 9. 2011年9月 到了9月份,好像一切都更加忙碌起来了。但是有限元的部分很可控,至少功能和性能上都是稳定收敛逐步改进的,只会越来越好,而不是过山车。 9月份的事情很多,也是很开心的一个月。 9号,在北京进行了首场发布会,挺好的。讲的也很好。 11号,911事件10周年,很多事情值得反思。 12号,中秋节,这一年以来,第一次休了3天。 17号,参加了好友的精彩婚礼。总结了一些道理。凡事都有很多妥协,不管是员工还是老板。不管是工作还是其他。 18号,九一八事变80周年,很多谎言在今天还是继续。 ------------------- 这个月喝了几次粥,相当的开心。 这个月,开始用qq音乐在晚上加班的时候来听歌。很不错,整理list的过程就很不错。 这个月,加班已久,考虑过走路与健康和心情的问题,多走走路,无论对于身体还是心情都会很好。 这是今年以来最开心的一个月。 后续: 2011年专业技术回顾-Q4
阅读 2,456 views 次
2011年专业技术回顾-Q2

2011年专业技术回顾-Q2

  (上接 2011年专业技术回顾-Q1) 4. 2011年4月 到了4月份,有很大一部分工作已经转向了测试和调试。框架的程序计算已经接近完善,剪力墙的工作还剩余几个单元需要处理。作为墙的超级单元凝聚和后续求解的框架已定。 从这一个月开始,犯了一个巨大的错误,确切地说是由于某些妥协带来严重的后果。 曾经不止一次的提起,相对于能力,态度更加重要。如果态度不端正不认真,即使能力再强,都不能做出成果,更何况没有能力。 这个月份,有限元求解核心开始向基础计算软件提供服务,效果不错。 5. 2011年5月 五一假期只休息了一天。 从这个月开始,公司统一的强制性加班。以前周三周五晚上休息,现在没有了。 平淡的工作,开始处理异形柱、地基梁等一些细节问题。 这一个月,终于决心在有限元内部对节点、单元的ID进行内部编码,外部输入的作为Tag存在。这是一个很大的改进,不再对外部编码进行连续性之类的依赖。而且能很好的兼容可以申请专利的节点、单元编码格式。 这个月,工作越来越忙,但是心情不错。 6. 2011年6月 有限元程序已经基本上稳定。这个月开始逐步的解决各种专项计算。最最坑爹的是所谓规定水平力。 其他的活荷载随机不利布置,施工模拟、人防计算等,在死活单元技术的支持下,都不是问题。 ------------------------------- 工作辛苦,但是心情不错。 后续: 2011年专业技术回顾-Q3 2011年专业技术回顾-Q4
阅读 2,266 views 次
2011年专业技术回顾-Q1

2011年专业技术回顾-Q1

今天是Xmas Eve,加班之余也回顾一下过去的一年。 今年是历史最最忙碌的一年,接近于1年的6x12小时的工作。有开心也有不开心,但总归算是开心。 这一年的事情很多。 1. 2011年元旦 从这一天开始,从原公司交接完了工作,到了现在的单位,开始了一份充满了艰辛和挑战的工作。 与合得来的一些老朋友一起工作是很愉悦的,对进度也比较乐观。 人员合作上,4-2的的提议被否决。 这一年的事实证明,人员不再多而在精。不能做事情的人员还是需要尽早清理,否则有百害而无一利。 2011.1.8 搬家,结束了上下班1小时多的奔波,每天开始和10号线打交道。 -------------------------月份分割线----------------------------- 2. 2011年2月 简短的春节过后,继续紧张的工作。 这一个月的工作中,提出了有限元计算核心中的几个核心概念,很有价值,也很值得欣慰。 (1)单元分组与死活单元 在酝酿和研究Midas Gen后,坚定地提出单元分组的概念,并将死活单元技术作为核心底层支撑技术。阻力很大,被怀疑,所幸在和求解器部分充分沟通后得到共鸣和支持,后续的大量专项计算在这项技术支持下顺理成章的完成。 (2)影子模型的概念 由于10版新规范中要求同时计算折减与不折减,甚至要求计算强制刚性板假定(很坑爹)。于是讨论提出影子模型的概念(Shaddow Model)。影子模型是基本模型在不同场景下的投影,但是逻辑上的一个完整的模型。 -------------------小段分割线---------------------------- 另外有几个程序开发上的基础设施也在这个时候成型,不断获益。 (1)ICF存储 数据存储采用专门设计带索引的二进制数据块文件,我称之为Indexed Chunk File,简称ICF。ICF作为数据存取的唯一管理者。在宣传材料,称为为异构模型数据库。ICF工作在后台,但是丰功伟绩。 (2)统一的log机制 这是每个软件都应该具备的基础设施,但是在这里没有。在有限元核心程序开发开始的第一天,就建立了单件式的log机制,采用观察者模式进行log分发。所以后续不管是控制台输出还是log到文件,还是再后来图形界面上的异步log输出,都只需要注册一个log handle。 (3)健全的资源监控机制 作为有限元分析核心,系统资源是最大的性能瓶颈。所以在一开始就建立了完善的资源监控,可以随时向log中输出当前资源状态和变化,后续调优中基本上完全依靠这一基础设施。 (more…)
阅读 1,833 views 次
用Python写东西的笔记

用Python写东西的笔记

自从最近这次换工作以后,空闲时间一下子变得奢侈起来,博客最近也写得少了,一些喜欢的小东西也无暇顾及。 ------------------无聊分割线------------------------- 一直对python很钟情,不过最近很少用,能记得比较完整的程序就是“用Python做了个Spider”,当时在一个Linode的VPS上跑了几个月。最近处理数据时候又重新用python来做,做完之后还是继续感慨它的便利性。 用python的一个最大的优点就是可以快速的迭代式开发,不断的重构,这一点在这次体会尤深。 其中有几次跳跃式的重构如下: 第一次的重构在书写了几个数据段的解析函数之后,决定定制一个规则,然后通过解析规则来处理各种字段。于是有了一个大约20条记录的标签库(后来再加一个文件解析的时候又增加了6行),然后就处理了近30种数据段,而且可以很方便的定制扩充。 第二次重构在输出报告的完成了一个数据段的汇总后,抽象出了一个Report类,完全控制报告的输出。也就有了后来用css+html的报告时候的顺理成章。 另外一次不大的重构,在于利用的简化的有限状态自动机的思想来处理各种特殊情况。当然只是思想而不是一个完整的自动机。 这一条在N年前给sudidi同学的abaqus数据文件提取工具中就大体考虑过,可以说轻车熟路。 后来用配置文件来设置参数,打包exe。从开始学习到成功,大约花了30分钟,代码10行,我爱python。 除去一些修饰性的代码和css样式表,核心代码不到500行。如果用c++的话,代码量至少要翻2倍,时间2倍不止。 Eclipse+PyDev是目前开发python程序的不二选择,除去log外,一个完善的Debug环境还是很赞的。 ------------------无聊分割线2-------------------- 有些东西记下来权当笔记,免得以后再找。 1.  文件路径的相关处理 用 os.path 就完全解决所有问题,包括路径拼接、路径拆分、相对路径提取、文件存在性判断、文件遍历、递归遍历等等。相关函数有: os.path.join os.path.basename os.path.exists os.makedirs os.path.isdir os.path.splitext 2. 文件的遍历 目录下的文件遍历有两种,一种是os.listdir,一种是用os.walk。如果需要递归,则后者更为方便。 1: files = os.listdir(proj_dir) 2: for f in files: 3: filepath = os.path.join(proj_dir,f) 4: if os.path.isdir(filepath): continue 5: if f.find('----')>-1: 6: shutil.copy(filepath, self.REPORT_DETAIL_DIR) 使用os.walk则很容易进行遍历: 1: for root,dirs,files in os.walk(proj_list_dir, True): 2: for f in files: 3: pass 3. 文件的复制 对于文件、文件夹、目录树的拷贝删除可以使用shutil相关函数,注意有些条件,比如目标目录不能存在之类。 shutil.copytree shutil.rmtree shutil.copy 4. 乱码 如果能用utf-8统一处理是最好,但是如果在window下面,并且和平常文件打交道多的话,可能也需要其他编码。这时候需要注意系统的编码格式。下面这段代码有帮助。 1: default_encoding = 'gbk' 2: if...
阅读 2,087 views 次