作业将csv文件导入希冀平台更多-上传文件至远程桌面
首先将数据上传到hadoop服务器
这里,建议先根据希冀平台的教程跑通 WordCount 项目。注意 Hadoop MapReduce 作业要求输出目录不能预先存在,以防止数据覆盖或丢失。Deepseek chat
使用cat命令查看文件存储格式观察到使用换行分割一组数据,逗号分隔一项数据
关于代码实现,有以下几个思考,可选择性采纳:
根据数据格式自定义Writable并重写toString函数
readline已经被废弃,建议使用BufferReader
直接全部使用LongWritable传输,在必要时转换为float格式
作业代码以下仅供参考
123456789101112131415161718192021222324252627282930313233343536373839import java.io.IOException;import java.time.LocalDate;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.i ...
我是sb,我没报上六级
20250920 那几天在丰矿地找可用的论文做复现填充对照组
周末&周一闲得无聊,要了点活,做了一下entropy在结果正确和失败的对比实验。没区别。
继续仔细阅读了 Don’t Overthink It: A Survey of Efficient R1-style Large Reasoning Models 这篇综述,目的是找论文。
令人遗憾的是我找的论文都有较大的复现难度,代码问题有点多如 SimPO: Simple Preference Optimization with a Reference-Free Reward 这篇论文由于近半年它的依赖更新,导致环境配置困难(尝试五遍无法打赢,已经尽力使用这篇文章当时的环境……) (令我十分遗憾,这篇文章的作者之一是chendanqi,在算法竞赛领域有一个以她命名的trick叫做cdq分治,就是她提出的。),事实上通过检查issue看得出之前(指今年1月以前)复现这篇文章并没有那么困难……
阅读 DAST: Difficulty-Adaptive Slow Thinking for Large Rea ...
Part1步骤3ssh连接hadoop服务器1234ssh masterssh slave1ssh slave2ssh slave3
建议开启五个tab,最后一个是主机,不执行任何ssh命令
terminal开启更多tab左上角file->open tab
步骤4在master的tab中执行:
1bash /scripts/hadoop/start-hadoop.sh
在主机tab中执行:
12mkdir -p ~/Desktop/workspace/hdfs_opcd ~/Desktop/workspace/hdfs_op
步骤5如果需要创建多层目录,可以使用参数“-p”
主机tab:
查看目录列表
1hadoop fs -ls /
创建目录
1hadoop fs -mkdir /newDir
删除目录
1hadoop fs -rm -r /newDir
步骤6查看当前目录位置
1pwd
创建hello.txt
1echo "hello" > hello.txt
将文件放入数据库
1hadoop fs -put hello.txt /newDir
查看数 ...
Abstract: 读了些论文,做了些复现,帮jungle做了个验证
Don’t Overthink It: A Survey of Efficient R1-style Large Reasoning Models这是一篇探讨在acc不降的情况下token length缩短的综述。
Chain of Draft: Thinking Faster by Writing Less此篇被知乎老哥锐评为一句“with 5 words at most.”的prompt水了一篇论文token length缩短效果不错,与jungle保持一致,但根据我的额外测试,在更加复杂的问题上表现不佳,相比之下jungle的acc好很多这篇论文很短,用词很简单,以至于我二三十分钟就读完了,打破纪录!
Beyond the 80/20 Rule: High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning选择较高信息熵的20%的token来训练会让效果更好mark了,十分有智慧
The Unr ...
MotivationContributions大量数据的强化学习GRPO蒸馏强大的小模型图片放到图床上这个过程应该自动化。
STL 与库函数pb_ds 库其中 gp_hash_table 使用的最多,其等价于 unordered_map ,内部是无序的。
123#include <bits/extc++.h>#include <ext/pb_ds/assoc_container.hpp>template<class S, class T> using omap = __gnu_pbds::gp_hash_table<S, T, myhash>;
查找后继 lower_bound、upper_boundlower 表示 ,upper 表示 。使用前记得先进行排序。
12345//返回a数组[start,end)区间中第一个>=x的地址【地址!!!】cout << lower_bound(a + start, a + end, x);cout << lower_bound(a, a + n, x) - a; //在a数组中查找第一个>=x的元素下标upper_bound(a, a + n, k) - lower_bound ...
串子串与子序列
中文名称
常见英文名称
解释
子串
连续的选择一段字符(可以全选、可以不选)组成的新字符串
子序列
从左到右取出若干个字符(可以不取、可以全取、可以不连续)组成的新字符串
kmp
应用:
在字符串中查找子串;
最小周期:字符串长度-整个字符串的 ;
最小循环节:区别于周期,当字符串长度 时,等于最小周期,否则为 。
以最坏 的时间计算 在 中出现的全部位置。
12345678910111213std::vector<int> get_next(std::string& t) { std::vector<int> next(t.size()); next[0] = -1; for (int i = 0, j = -1; i < (int)t.size();) { if (j == -1 || t[i] == t[j]) { ++i, ++j; next[i] = j; } else ...
二维几何库实数类实现(双精度)123456789using Real = int;using Point = complex<Real>; Real cross(const Point &a, const Point &b) { return (conj(a) * b).imag();} Real dot(const Point &a, const Point &b) { return (conj(a) * b).real();}
平面几何必要初始化字符串读入浮点数12345678910111213141516const int Knum = 4;int read(int k = Knum) { string s; cin >> s; int num = 0; int it = s.find('.'); if (it != -1) { // 存在小数点 num = s.size() - it - 1; // 计算小数位数 s.erase(s.begin ...
博弈论巴什博奕
有 个石子,两名玩家轮流行动,按以下规则取石子:
规定:每人每次可以取走 个石子,拿到最后一颗石子的一方获胜。
双方均采用最优策略,询问谁会获胜。
两名玩家轮流报数。
规定:第一个报数的人可以报 ,后报数的人需要比前者所报数大 ,率先报到 的人获胜。
双方均采用最优策略,询问谁会获胜。
(其中 ),后手必胜(后手可以控制每一回合结束时双方恰好取走 个,重复 轮后即胜利);
(其中 ),先手必胜(先手先取走 个,之后控制每一回合结束时双方恰好取走 个,重复 轮后即胜利)。
扩展巴什博弈
有 颗石子,两名玩家轮流行动,按以下规则取石子:。
规定:每人每次可以取走 个石子,如果最后剩余物品的数量小于 个,则不能再取,拿到最后一颗石子的一方获胜。
双方均采用最优策略,询问谁会获胜。
时,后手必胜;
(其中 ) 时,后手必胜(这些数量不够再取一次,先手无法逆转局面);
(其中 ) 时,先手必胜;
(其中 ) 时,先手必胜(这些数量不够再取一次,后手无法逆转局面);
Nim 博弈
有 堆石子,给出每一堆的石子数量,两 ...
三维几何及常见例题三维几何必要初始化点线面封装12345678910111213141516171819202122232425262728293031323334353637struct Point3 { ld x, y, z; Point3(ld x_ = 0, ld y_ = 0, ld z_ = 0) : x(x_), y(y_), z(z_) {} Point3 &operator+=(Point3 p) & { return x += p.x, y += p.y, z += p.z, *this; } Point3 &operator-=(Point3 p) & { return x -= p.x, y -= p.y, z -= p.z, *this; } Point3 &operator*=(Point3 p) & { return x *= p.x, y *= p.y, z *= p.z, *this; } Point3 &am ...

















